〔記者卓怡君/台北報導〕AI推論加速晶片廠商創鑫智慧(Neuchips) 將於5月20至23日台北國際電腦展(COMPUTEX 2025) 會場展示革命性的N3000晶片系列及Viper PCIe加速卡,創鑫智慧執行長劉景慈表禦,該加速卡可為生成式AI中大型語言模型(LLM)推論應用,帶來突破性的能源效率,成為專為地端部署設計的成本效益方案。
AI時代到來,讓台北國際電腦展再度成為全球焦點,今年創鑫智慧在會場展示的N3000晶片系列及Viper PCIe加速卡,聚焦可全面支援英特爾(Intel)和超微(AMD)的CPU,同時兼容Ubuntu和Windows作業系統,滿足用戶地端應用的多樣化需求。
劉景慈指出,創鑫智慧推出的Viper PCIe半高半寬加速卡,專為LLM推論設計,具備優異能源效率,單卡支援最多14B參數模型,雙卡可達24B,四卡配置甚至能處理高達70B參數的大型模型,完全滿足多種LLM推論需求,舉凡Llama、Mistral、Gemma、Qwen、Phi、TAIDE,甚至Deepseek蒸餾的模型,都在支援清單中。
創鑫智慧董事長林永隆說明,創鑫智慧加速卡平均功耗僅45瓦,相當於一個普通燈泡的耗電量,顯著低於現有解決方案,在大型語言模型運算通常需要消耗大量能源的情況下,創鑫智慧的解決方案為企業提供了節能高效的LLM推論選擇,有效應對AI發展過程中可能面臨的能源挑戰。
此外,創鑫智慧解決方案的最大優勢,在於消除了高昂的月費訂閱成本,讓企業能以一次性投資擁有自己的AI推論基礎設施,專為地端部署設計的方案,不僅降低了長期運營成本,還提高了數據安全性,使企業能完全掌控自己的AI資產。
劉景慈表示,本次展會上,創鑫智慧將攜手新加坡商楓葉資訊科技和工業電腦品牌超恩,展示其加速卡廣泛的硬體兼容性與系統支援,值得注意的是,這些小型系統無需額外電力配置,便可運行複雜的生成式AI應用。
此外,高登智慧和myLLM也將在創鑫智慧攤位展示基於其硬體的整合應用方案。高登智慧將展示以其核心「ShareGuru SQLPilot 系統」為基礎,所開發的全地端高準確度AI會議記錄查詢分析系統,以及創鑫智慧AI客服系統。
創鑫智慧已成為國家實驗研究院國家高速網路與計算中心(國研院國網中心)推論硬體成員之一,透過國網中心TAIWAN AI RAP高效能生成式AI開發平台架構,使用創鑫智慧自家AI加速方案提供官網客服推論服務,大幅降低雲端服務成本,國網中心的混合雲方案也可確保資料安全與隱私。
一手掌握經濟脈動 點我訂閱自由財經Youtube頻道
不用抽 不用搶 現在用APP看新聞 保證天天中獎 點我下載APP 按我看活動辦法