在生成式與代理式AI應用快速演進之際，記憶體成為目前AI運算架構的主要瓶頸。科技媒體《Wccftech》報導指出，原本由輝達率先採用、具備可升級特性的記憶體標準SOCAMM，如今吸引AMD與高通（Qualcomm）相繼展開整合評估，市場預期該標準有望成為下一波AI記憶體主流技術。
根據《韓國經濟新聞》報導，三大晶片巨頭輝達、AMD與高通正積極測試SOCAMM模組於AI伺服器與推論平台的應用潛力，特別是在處理代理式AI（Agentic AI）過程中需要的大量即時記憶體需求。
SOCAMM：兼顧彈性與節能的AI時代記憶體
被譽為「HBM第二」的SOCAMM（系統級晶片先進記憶體模組）是一款基於LPDDR DRAM架構所延伸的創新模組，雖然核心技術來自低功耗領域，但與傳統LPDDR或HBM相比，SOCAMM具備明顯的結構優勢，其記憶體模組非焊接（non-soldered）於主機板，可實現模組化升級，同時具備功耗與容量的平衡。
目前輝達已在其Rubin平台與即將推出的Vera Rubin AI叢集中導入第二代SOCAMM模組（SOCAMM 2），預計今年將部署多達80萬組模組；該模組搭配HBM形成混合架構，使記憶體容量得以擴展至數TB等級，對於代理式AI模型中需要同時保留百萬級Token狀態的運算尤為重要。
AMD vs 高通設計不同：強化功率調控並簡化主機板設計
與輝達初期版本的設計不同，AMD與高通正考慮將兩顆DRAM排成「雙列方形配置」，並且將電源管理IC（PMIC）直接整合於模組上，藉此提升模組的高速穩定性與功率調控精度。這樣的設計不僅使SOCAMM能在更高頻率下運作，更能大幅簡化主機板端的供電與佈線結構，有助於AI伺服器整體的系統成本與熱設計優化。
雖然SOCAMM在頻寬方面仍不及HBM，但其「低功耗、高容量、可模組化升級」的特性，使其成為AI記憶體架構中不可或缺的角色；特別是在代理式AI中，模型不僅要「思考」，還需「記得」數百萬Token的即時狀態，SOCAMM能作為短期暫存記憶體使用，搭配HBM進行層級記憶體管理，形成一種「HBM主記憶＋SOCAMM次記憶」的運算新架構。
市場分析指出，隨著SOCAMM模組的技術擴散，未來可能像HBM一樣，成為高效能運算與AI推論平台的基本配備。
美光搶先卡位 產業鏈競爭升溫
目前美光（Micron）為首批SOCAMM記憶體模組的製造商之一，圖片顯示模組體積緊湊，具備高擴展性。隨著AMD與高通加入SOCAMM戰局，預期包括SK海力士、三星電子與其他記憶體模組廠亦將加快相應開發腳步，掀起新一波記憶體產能與供應鏈競賽。
未來隨著更多AI加速器與資料中心平台導入SOCAMM架構，有望牽動全球AI伺服器設計與記憶體標準的變革，也可能催生下一代更具彈性的AI硬體生態系統。
