AI 運算需求正快速成長，對資料中心基礎設施的要求也隨之提升。要滿足此需求，必須全方位進行創新：CPU、GPU、網路技術、軟體、電力與散熱技術皆需在機櫃與資料中心層級高效協同運作。AMD 致力於在不增加功耗的前提下提升能源 efficiency，提供更強大的 AI 效能，同時改善整體擁有成本 (TCO)，並協助客戶加速擴展規模。
AMD 達成機櫃級 AI 能源效率 4 倍提升
AMD 資深副總裁暨院士 Sam Naffziger 表示：「下一波 AI 效率的提升，將取決於運算晶片、記憶體、互連技術、軟體與機櫃級系統設計之間更緊密的協同最佳化。AMD 預估截至 2026 年實現 4 倍的效率提升，充分展現 AMD 整體策略的成效，以及 AMD 在全系統層級所取得的卓越進展，使進度大幅超前，加速邁向 2030 年目標。」
預期實現的效率提升目標
根據具代表性的 AI 訓練工作負載，AMD 所預估的機櫃級能源效率提升，預計將在 2030 年前帶來以下兩大相關效益之一：
- 相同的運算能力，消耗更少資源：預計約 2 座 2030 年的 AMD 機櫃，即可提供相當於 570 座 2024 年機櫃的運算能力，使用階段的用電量降低 20 倍，碳排放強度降低 28 倍。
- 相同的能源消耗，提供更多運算能力：或者，在消耗相同能源的條件下，以每瓦每秒浮點運算次數 (FLOPs/watt) 計算，效率提升預計可帶來 20 倍的運算能力提升。
AMD 推動效率提升的作法
AMD 正致力於透過運算架構、製程技術、記憶體頻寬、資料傳輸、互連技術、軟體以及系統級協同設計等方面的進展，提升整個 AI 技術堆疊的能源效率。其目標是在無需讓能源消耗以相同速度成長的前提下，大幅提升運算效能。
隨著 AI 基礎設施從單一節點擴展至完整機櫃，效率越來越取決於 CPU、GPU、記憶體、網路技術、儲存與軟體之間的協同運作能力。AMD 正採用系統級協同設計，透過跨產品線團隊的合作，協助降低效能瓶頸、提升資料傳輸效率，並改善全平台的每瓦效能。
效率提升的三大基石
除了軟體最佳化之外，推動 AI 系統效能的三大核心要素為：運算能力、記憶體頻寬與互連頻寬。先進製程技術與架構改進有助於提升每瓦浮點運算效能；先進架構與記憶體整合技術可提升頻寬；而高速互連技術與更緊密的整合則能提升網路頻寬。結合這些創新技術，AMD 預期至 2030 年，每瓦 AI 效能將相較於 2024 年提升 20 倍。
記憶體與互連技術的核心作用
現代 AI 工作負載仰賴大量資料的高效傳輸。提升記憶體頻寬、頻寬密度與每瓦頻寬，有助於為運算引擎持續提供資料，同時減少電力浪費。高頻寬記憶體、更大容量的快取記憶體，以及記憶體與運算單元之間更緊密的整合，皆能減少不必要的資料傳輸，進而降低能源消耗。
隨著大型模型與工作負載日益仰賴 GPU、CPU 及其他系統元件之間的高效協作，互連技術也已成為打造高效 AI 基礎設施的重要一環。高速擴展型 (scale-up) 互連技術能協助大型系統降低效能瓶頸，並更有效率地共享資料。
AMD 軟硬體全方位提升能源效率
硬體提供基礎，而軟體則能持續釋放效率潛能。AMD ROCm 軟體堆疊、開放標準以及與客戶的緊密合作，協助開發人員與企業在 AMD 平臺上更有效率地部署 AI 工作負載。開放產業體系亦能為 AI 與高效能運算部署提供更廣泛的最佳化支援。
這些最佳化成果能同時提升大規模 AI 訓練與推論工作負載的表現。隨著 AI 應用規模持續擴展，提升吞吐量並降低每個生成 Token 所消耗的能源，變得日益關鍵。
為客戶帶來的價值與優勢
客戶需要在有限的可用能源下獲得更多實用的運算能力。AMD 所提出的機櫃級效率提升預測，可協助 AI 及 HPC 客戶在資料中心層級的功耗與散熱基礎設施方面實現效率提升，而這些往往是限制運算效能提升的因素。更高的能源效率有助於降低營運電耗、改善整體擁有成本，並支援更具永續性的 AI 及 HPC 成長。
