AMD Frontier 超級電腦近期已實現 1 千萬億參數的大型語言模型 (LLM) 運行，與 ChatGPT GPT-4 相媲美，而且僅使用 Frontier 電腦 1/10 成功力。
AMD Frontier 開創千萬億次 LLM 新紀錄
AMD Frontier 是世界領先的超級電腦，也是目前唯一運作中的 Exascale 級機器，由 AMD EPYC 和 Instinct 硬體驅動，不僅提供頂級高效能計算 (HPC) 效能，也是地球上第二高效的超級電腦。它由橡樹嶺國家實驗室 (ORNL) 於美國田納西州設計並運營，擁有近 870 萬顆核心，達 1.194 Exaflop/s 的計算速度。
據報導，Frontier 團隊通過高效運用超級電腦硬體，通過最佳化和微調模型訓練過程，實現訓練 22 億、1750 億和 1 千萬億參數的顯著成果。過程中，團隊使用高達 3000 個 AMD MI250X AI 加速器，但實際上，Frontier 超級電腦目前共擁有 37000 個 MI250X，足見其完整效能會有多驚人。
Really exciting results in training AI models on Frontier, the world's largest supercomputer. This is a 1 Trillion parameter LLM run on 3k Frontier MI250X GPUs. To put this in perspective: 1 trillion parameters is on the scale of chatGPT/GPT-4.
Paper at: https://t.co/hT7Er0GVYY
— Nicholas Malaya (@nicholasmalaya) January 5, 2024
AMD 目前正在開發 MI300 系列加速器，將在全新的超級電腦中配備更為強大的 ROCm 6.0 生態系統，進一步加速 AI 性能。隨著生成式 AI 技術的持續進步，市場對計算能力的需求將日益增長，我們未來可能只會看到更多類似的破表紀錄出現。
延伸閱讀
