粉絲團
Google日前發表最新AI壓縮技術TurboQuant。（路透資料照）
TurboQuant可將AI模型的記憶體大減少6倍
〔財經頻道／綜合報導〕科技大廠Google日前發表最新AI壓縮技術TurboQuant，這項可以將AI模型中在推論過程中所需的記憶體大幅減少，這一消息傳出後震撼了業界，也讓市場開始質疑記憶體晶片的榮景是否能夠延續。
TurboQuant是一種旨在解決「鍵值快取（Key-Value Cache）」瓶頸問題的演算法，Google將鍵值快取描述為「數位作弊表」，他實際上充當了AI模型的短期記憶。每當大型語言模型處理一段對話時，都會將過去的計算結果儲存在這個快取中，這樣就無需從頭開始計算。
隨著對話愈長，這份表就愈大，佔用GPU（圖型處理器）記憶體的速度就愈快。雖然可以透過壓縮資訊來增加這張「作弊表」的容量，但他仍會很快被填滿，然而，壓縮可能會導致模型出現「幻覺」或是出錯。
TurboQuant旨在解決其中的一些問題，Google研究人員表示，TurboQuant將AI模型中的鍵值記憶體大小減少了至少6倍，並將速度提高了8倍，且不影響模型準確性。
市場聽說AI相關的記憶體使用量減少了6倍，這可能會讓那些從記憶體類股熱潮中獲利的投資人感到擔憂，因為這些公司的漲勢是建立在AI對記憶體處理器和儲存容量不斷成長的需求之上。
Evercore分析師達里亞納尼（Amit Daryanani）指出，Google推出的TurboQuant為大幅降低AI工作負載的記憶體提供了一條途徑。如果TurboQuant能夠獲得顯著發展，可能會對DRAM（動態隨機存取記憶體）和NAND（儲存型快閃記憶體）等記憶體的長期需求預期構成壓力。
受到Google最新技術的打擊，美國記憶體晶片股單週市值蒸發近1000億美元。（彭博資料照）
美光單週市值蒸發700億美元
受到Google最新技術的打擊，美國記憶體晶片股單週市值蒸發近1000億美元（約新台幣3.20兆元）。
其中以美國記憶體大廠美光科技表現最慘烈，單週市值蒸發超過700億美元（約新台幣2.24兆元），跌幅達15％。去年，標普500指數當中表現最好的快閃記憶體製造商晟碟（SanDisk）單週市值蒸發約150億美元（約新台幣4808.25億元）；記憶體公司威騰電子（Western Digital）和希捷（Seagate）市值也分別蒸發了數十億美元。
加州資產管理公司Informed Momentum Company投資長普倫帝斯（Travis Prentice）表示，這些股票已經經歷了巨大的上漲，因此任何微小的消息都可能導致股價下跌，這是合乎邏輯的情況。
普倫帝斯補充，記憶體類股的上漲行情看起來還沒有結束，但市場預期很高，因此獲利了結是明智之舉，尤其是在當前動盪的市場環境下。
分析師認為，TurboQuant技術出現實際上代表晶片需求增加，而不是減少。（路透資料照）
效能更強的AI模型 需用更多記憶體
專家表示，雖然TurboQuant技術可以減少記憶體使用量，但對記憶體需求減緩的擔憂有些過頭了。普遍觀點認為，儘管Google宣佈記憶體使用量可能減少，但這將推動AI技術的進步和普及。因此，TurboQuant技術出現實際上代表晶片需求增加，而不是減少。
一些分析人士指出，提高資源利用率往往會導致資源消耗增加，因為效率提升會開啟以前不存在的用途。
摩根大通（JPMorgan）報告就提到了這一論點，報告中認為，記憶體消耗短期內不會受到威脅。SemiAnalysis分析師也提到，解決瓶頸問題可以提升AI硬體的效能，而效能更強的模型最終需要的是更多的記憶體，而不是更少記憶體。
摩根士丹利（Morgan Stanley）分析師在報告中寫道，TurboQuant等效率提升技術可以減少運行AI模型所需的基礎設施。如果模型能夠在不損失性能的前提下，大幅降低記憶體需求，那麼每次查詢的服務成本將明顯下降，進而提升AI的盈利能力。原本需要雲端叢集的模型現在可以部署在當地的硬體上，有效降低了大規模部署AI的門檻。
Sandisk財務長威索索（Luis Visoso）在與美銀證券（BofA Securities）分析師的對話中也談到這一議題。威索索指出，TurboQuant可以提升超大規模資本支出的投資報酬率，而這種效率的提升，反過來又可能推動需求上升。
分析師表示，HBM的需求預計不會受到影響。（彭博資料照）
TurboQuant的效率提升 真正威脅是NAND快閃記憶體
分析師也很快意識到，並非所有記憶體市場領域都同樣感到恐慌，TurboQuant的效率提升僅限於推論和鍵值快取，這代表真正的威脅來自NAND快閃記憶體，而非高頻寬記憶體（HBM）。
HBM是輝達AI加速器的核心零件，也為微軟（Microsoft）、Meta等公司的訓練基礎設施提供動力。彭博產業研究分析師希爾佛曼（Jake Silverman）撰文指出，由於需要將模型權重儲存在GPU記憶體中，HBM的需求以及美光生產的DRAM需求可能不會受到影響，NAND的需求將面臨更深遠的長期影響。
大摩分析師表示，TurboQuant透過減少記憶體使用和數據傳出，明顯提升了推論效率，但他並沒有降低對HBM等核心記憶體的需求。
韓媒也認為，該國兩大記憶體廠商三星電子Samsung Electronics）和SK海力士（SK Hynix）預計將受惠於TurboQuant技術商業化。三星證券研究員表示，如果採用TurboQuant演算法，可以降低推論成本，需求將爆炸性成長。
一手掌握經濟脈動 點我訂閱自由財經Youtube頻道
不用抽 不用搶 現在用APP看新聞 保證天天中獎 點我下載APP 按我看活動辦法
