AMD 宣布推出 AMD Instinct MI300X 加速器，為生成式人工智慧 (AI) 帶來領先業界的記憶體頻寬，並能為大型語言模型 (Large Language Model，LLM) 訓練與推論提供領先效能。同時也推出 AMD Instinct MI300A 加速處理單元 (APU)，結合最新 AMD CDNA 3 架構與 “Zen 4” CPU，為高效能運算 (HPC) 與 AI 工作負載帶來突破性效能，促進 AI 產業發展。
AMD 發表 Instinct MI300 系列 AI 解決方案
AMD 總裁 Victor Peng 表示，AMD Instinct MI300 系列加速器以我們的最先進技術打造，帶來領先效能並能夠在大規模雲端與企業部署。透過 AMD 的領先硬體、軟體與開放產業體系方案，雲端供應商、OEM 與 ODM 正在推出技術，助力企業採用和部署 AI 解決方案。
微軟採用最新 AMD Instinct 加速器產品組合，近期宣布全新 Azure ND MI300x v5 虛擬機器 (VM) 系列，為 AI 工作負載進行最佳化並由 AMD Instinct MI300X 加速器挹注效能。此外，位在美國勞倫斯利佛摩國家實驗室 (Lawrence Livermore National Laboratory，LLNL) 的超級電腦 El Capitan 採用 AMD Instinct MI300A APU，預期成為第二台搭載 AMD 核心的 exascale 等級超級電腦，可在完全部署時帶來超越 2 exaflops 的雙精度效能。Oracle Cloud Infrastructure (OCI) 計劃新增基於 AMD Instinct MI300X 的裸機執行個體 (bare metal instance) 至其 AI 高效能加速運算執行個體。基於 MI300X 的執行個體與超快 RDMA 網路預計將支援 OCI Supercluster。
各大 OEM 廠商也在 AMD Advancing AI 活動展示加速運算系統。戴爾科技集團展示採用 8 個 AMD Instinct MI300 系列加速器的 Dell PowerEdge XE9680 伺服器以及為生成式 AI 推出的全新 Dell Validated Design，其搭配基於 AMD ROCm 的 AI 框架。HPE 近期發表首款超級運算 HPE Cray Supercomputing EX255a accelerator blade，搭載 AMD Instinct MI300A APU，預期將於 2024 年稍早開始供貨。聯想宣布其設計支援全新 AMD Instinct MI300 系列加速器，計畫於 2024 上半年開始供貨。美超微 (Supermicro) 宣布其 H13 世代加速伺服器的全新產品採用第 4 代 AMD EPYC 處理器與 AMD Instinct MI300 系列加速器。
AMD Instinct MI300X 加速器
AMD Instinct MI300X 加速器基於全新 AMD CDNA 3 架構。相較前一代 AMD Instinct MI250X 加速器，MI300X 為 AI 與 HPC 工作負載帶來近 40% 的運算單元提升、高達 1.5 倍的記憶體容量提升以及高達 1.7 倍的峰值理論記憶體頻寬提升，同時支援 FP8 與稀疏性 (sparsity) 等的全新數學格式。
現今的 LLM 持續增加尺寸與複雜度，需要龐大的記憶體和運算能力。AMD Instinct MI300X 加速器配備最優異的 192GB HBM3 記憶體容量以及每秒 5.3TB 的峰值記憶體頻寬，提供不斷增加且要求嚴苛的 AI 工作負載所需效能。AMD Instinct 平台為領先生成式 AI 平台，奠基於產業標準 OCP 設計與 8 個 MI300X 加速器，提供領先業界的 1.5TB HBM3 記憶體容量。AMD Instinct 平台的產業標準設計讓 OEM 合作夥伴可將 MI300X 加速器設計至現有的 AI 產品中並簡化部署，以及加速採用基於 AMD Instinct 加速器的伺服器。
相較 NVIDIA H100 HGX，AMD Instinct 平台在執行 BLOOM 176B 等 LLM 推論時提供高達 1.6 倍的吞吐量效能提升。此外，其為市場上唯一能夠在單個 MI300X 加速器上執行 Llama2 等 70B 參數模型的選擇，可簡化企業級 LLM 部署並帶來卓越的總擁有成本 (TCO)。
AMD Instinct MI300A APU
AMD Instinct MI300A APU 為全球首款為 HPC 與 AI 打造的資料中心 APU，憑藉 3D 封裝技術與第 4 代 AMD Infinity 架構在 HPC 和 AI 交匯時提供領先的重要工作負載效能。MI300A APU 結合高效能 AMD CDNA 3 GPU 核心、最新 AMD “Zen 4” x86 CPU 核心與新一代 128GB HBM3 記憶體，相較前一代 AMD Instinct MI250X，在 FP32 HPC 與 AI 工作負載提供高達 1.9 倍的每瓦效能提升。
能源效率對 HPC 和 AI 社群至關重要，然而這些工作負載極其依賴資料和資源。AMD Instinct MI300A APU 受益於將 CPU 與 GPU 核心整合到帶來高效率平台的單一封裝，同時為加速訓練最新的 AI 模型提供運算效能。AMD 正以 30x25 目標為能源效率開創創新途徑，計劃從 2020 年至 2025 年間將用於 AI 訓練與 HPC 的伺服器處理器與加速器能源效率提升 30 倍。
APU 優勢代表 AMD Instinct MI300A APU 搭配統一記憶體與快取記憶體資源可為客戶帶來簡易的程式化設計 GPU 平台、高效能運算、快速的 AI 訓練以及優異的能源效率，以應對要求最嚴苛的 HPC 和 AI 工作負載。
ROCm 軟體與產業體系合作夥伴
AMD 宣布推出最新 AMD ROCm 6 開放軟體平台，這也體現公司向開源社群貢獻最先進的函式庫之承諾，推動 AMD 開發開源 AI 軟體的願景。ROCm 6 軟體代表 AMD 軟體工具重大提升的一步，相較前一代硬體與軟體，其在 MI300 系列加速器執行 Llama 2 text generation 時帶來高達 8 倍的 AI 加速效能提升。此外，ROCm 6 為 FlashAttention、HIPGraph 與 vLLM 等多個生成式 AI 全新關鍵功能新增支援。AMD 位居獨特優勢，可透過 Hugging Face、PyTorch 與 TensorFlow 等最受廣泛使用的開源 AI 軟體模型、演算法與框架，驅動創新、簡化部署 AMD AI 解決方案與釋放生成式 AI 的真正潛力。
AMD 也透過收購 Nod.AI 與 Mipsology 持續投資軟體能力，同時藉由 Lamini、MosaicML 等策略產業體系合作夥伴關係，為企業客戶執行 LLM，以及憑藉 AMD ROCm 即可於 AMD Instinct 加速器執行 LLM 訓練，且毋須變動程式碼。
產品規格
