Micron 在 Hot Chips 2026 直指 AI 記憶體牆問題持續惡化，運算力每兩年成長 3 倍，HBM 頻寬卻僅提升不到 2 倍，未來仍待先進封裝與製程技術補上落差。
Micron 表示運算力成長但記憶體頻寬追不上
隨著 AI 大型語言模型規模持續膨脹，記憶體正逐漸從「配角」變成拖累整體系統效能的關鍵瓶頸。美光 (Micron) 近日在 Hot Chips 2026 研討會上，由其 HBM 設計架構研究員 Raghu Sreeramaneni 親自上陣，向業界揭露外界早有耳聞、但如今被證實正在惡化的問題：AI 晶片的運算能力，正以遠快於記憶體頻寬的速度往前衝刺，兩者之間的落差被業界稱為「記憶體牆」(Memory Wall)。
根據美光公布的資料，AI 加速器的運算效能大約每兩年成長 3 倍，但以 HBM 為代表的 2.5D 附掛式記憶體，頻寬提升幅度卻只有不到 2 倍。這代表著，即便晶片本身的算力愈來愈強，只要記憶體供不上資料，處理器就只能「空轉等待」，實際發揮出來的效能自然大打折扣。美光將整體記憶體架構區分為三種類型：2.5D 附掛式記憶體、2.5D 進階記憶體，以及尚在發展中的記憶體內運算 (Processing-in-memory) DRAM，也顯示產業正朝多元路線尋找解方。
這個問題並非紙上談兵。美光在簡報中特別提到，Meta 旗下 Llama 3 的訓練論文就曾點名，訓練過程中發生的非預期中斷事件裡，有高達 17% 是由 HBM 相關問題所導致，直接說明記憶體穩定性對大型模型訓練的重要性早已不容忽視。
那麼，為什麼 HBM 至今仍是 AI 晶片記憶體的首選？美光解釋，一般 AI 系統的運作會在「記憶體受限」與「運算受限」兩種狀態間切換：當處理器等待資料時，系統處於記憶體受限階段；一旦資料供應速度追上運算需求，系統才會真正進入運算受限、火力全開的狀態。HBM 的價值就在於把記憶體頻寬的天花板往上拉高，讓更多對記憶體吞吐量敏感的 AI 工作負載，能在觸及頻寬瓶頸之前發揮更高效能。
以目前美光的旗艦產品 HBM4 為例，頻寬最高可達每秒 2800 GB，I/O 數量是 HBM3E 的兩倍，通道數同樣翻倍。事實上，HBM 每一代都在資料傳輸速率、虛擬通道數量、堆疊密度與堆疊高度上持續進化，堆疊層數也已從最初的 4 層一路推進到 16 層，往 20 層邁進的技術路線雖然存在，但同時也伴隨相當棘手的散熱與機構挑戰。
與傳統 DDR 型 DRAM 相比，HBM 的優勢十分明顯。DDR5 的頻寬大約落在 300 GB/s (部分方案可達 1 TB/s)，而典型 GPU 搭配的 HBM 配置頻寬則可達 5.3 TB/s，差距高達 15 至 17 倍；每顆 HBM3E 裸晶的 Bank 數量也達到 128 個，HBM4 更進一步倍增至 256 個，平行處理能力遠勝傳統 DDR。不過 HBM 並非毫無代價，在容量上，DDR 方案透過多組 DIMM 仍佔有優勢，且 HBM 若要達到相同密度，所需矽晶圓面積約為傳統方案的 3 倍。
隨著 HBM 堆疊愈疊愈高，另一個現實問題浮上檯面：散熱。美光坦言，這其實不完全是「功耗」問題，而是「功率密度」問題，負責承載大部分先進功能的基礎裸晶，會因為堆疊層數增加、晶粒活動量提高而首當其衝。以典型的 GPU 系統級封裝為例，四組 12 層 HBM 堆疊所佔的矽晶圓面積，可達整體矽晶圓面積的 90%，等於是 GPU 本身矽晶面積的 8 倍之多，記憶體在整個封裝裡的份量遠比外界想像得更吃重。
為了緩解散熱壓力，美光提出多項對策，包括液冷散熱與混合鍵合 (Hybrid Bonding) 等技術，同時也在研發新一代先進封裝方案。其中，融合鍵合 (Fusion Bonding) 技術可支援單位微米等級的極細間距，讓更多資料得以在封裝內部順暢流通，同時減少 DRAM 裸晶堆疊之間的介電層數量，藉此改善整體熱阻表現。美光同時也在探索更高速、更貼合記憶體特性的 SerDes 傳輸介面設計，並持續研究將 HBM 堆疊推進到 16 層以上的可行性，但坦言相關技術仍有大量工作尚待突破。
美光在簡報中強調，HBM 已是支撐當前 AI 系統運作不可或缺的基礎，憑藉先進堆疊技術、極致平行架構與精密封裝工藝，提供了傳統 DDR 記憶體難以企及的頻寬、密度與能源效率表現。然而通往未來的道路並不平坦，持續存在的記憶體牆問題，加上散熱、可靠性、晶片封裝交互作用以及堆疊高度不斷攀升等多重挑戰交織，都需要產業上下游持續投入跨領域的技術創新，才能讓 AI 系統的效能天花板持續往上突破。
延伸閱讀
