〔記者卓怡君／台北報導〕AI風潮襲捲今年台北國際電腦展，AI晶片廠創鑫智慧（Neuchips）在今年台北國際電腦展推出整合RAG（Retrieval-Augmented Generation，檢索增強生成）與LLM（Large Language Model，大型語言模型）的端到端（end-to-end AI）解決方案，創鑫智慧執行長劉景慈指出，除了透過台積電7奈米製程推出生成式AI卡，創鑫智慧也正在規劃採用5奈米製程的下一代生成式AI晶片。
劉景慈表示，創鑫智慧採用自行研發、台積電7奈米製程製造的ASIC－Raptor生成式AI晶片，製作成能夠安裝至小型電腦或工作站的Viper生成式AI卡及整合式的LLM解決方案，無須額外投入人力、電力、空間等成本，即可結合軟硬體合作夥伴打造企業專屬應用。
劉景慈表示，Viper生成式AI卡內建Raptor生成式AI處理器，能夠大幅度卸載生成式AI工作負載對於CPU的負擔，其中嵌入引擎（Embedding Engine）可強化流程中，向量相似度檢索（Vector Similarity Search）的效率及精準度，一體達成檢索增強與生成等工作，強化流程應用與系統效能最佳化，RAG能夠在不重新訓練LLM的前提下，從外部擷取新資訊並整合，節省大量重新訓練AI模型的時間與成本，同時提升推論準確性，並根據企業應用需求進行微調。
創鑫智慧指出，公司致力研發高能效AI ASIC，本週推出的整合RAG與LLM的端到端解決方案，可搭配企業內部既有硬體系統即可部署本地端GPT節能加速方案，可顯著降低企業導入LLM的時間與總擁有成本，該解決方案支援多種開源的中文、英文大型語言模型，包含台灣可信任生成式AI模型TAIDE，讓政府等機敏單位能擁有AI賦能優勢。
一手掌握經濟脈動 點我訂閱自由財經Youtube頻道
不用抽 不用搶 現在用APP看新聞 保證天天中獎 點我下載APP 按我看活動辦法