MLCommons 於美國時間 9/11 針對 60 億個參數的大型語言 GPT-J，以及電腦視覺和自然語言處理模型發表 MLPerf Inference v3.1 效能基準測試結果。英特爾提交 Habana Gaudi2 加速器、第 4 代 Intel Xeon 可擴充處理器和 Intel Xeon CPU Max系 列的測試結果，其中不僅顯示英特爾在 AI 推論方面可提供具競爭力的效能表現，更強化英特爾在 AI 運算方面的承諾，讓 AI 更容易大規模地落實應用。
英特爾 Habana Gaudi2 加速器展現傑出性能
「正如同近期 MLCommons 的結果，展示出英特爾擁有強勁、極具競爭力的 AI 產品組合，能夠滿足客戶對於高效能、高效率深度學習模型推論和訓練的需求，適合用在最小到最大的各種 AI 模型，並提供領先的性價比。」
－Sandra Rivera 英特爾執行副總裁暨資料中心和 AI 事業群總經理
在今年 6 月更新的 MLCommons AI 訓練和 Hugging Face 效能基準測試，驗證了 Gaudi2 在最先進視覺語言模型方面的效能優勢；而 9/11 的結果近一步強化英特爾是滿足 AI 運算需求，能夠替代同類型競品的可行方案。
每位客戶均有獨特的考量，而英特爾提供可解決一連串 AI 工作負載推論與訓練難題的產品，將 AI 落實到每個角落。英特爾的 AI 產品讓客戶能夠根據各自的效能、效率和成本目標，在選擇最佳 AI 解決方案時擁有靈活性和選項，同時協助客戶打破封閉的生態系。
Habana Gaudi2 結果：Habana Gaudi2 的 GPT-J 推論效能結果，為其極具競爭力的效能提供有力的驗證。
- Gaudi2 在 GPT-J-99 和 GPT-J-99.9 的伺服器查詢 (query) 和離線樣本推論效能，分別為每秒 78.58 個查詢和每秒 84.08 個樣本。
- Gaudi2 的效能是 NVIDIA A100 的 2.4 倍 (伺服器) 和 2 倍 (離線)。
- Gaudi2 的提交結果使用 FP8，在此新資料類型的準確度高達 99.9％。
Gaudi2 大約每 6 週至 8 週釋出一次軟體更新，英特爾預期在 MLPerf 基準測試中繼續提升效能並擴大模型覆蓋範圍。
Intel Xeon 結果：英特爾提交第 4 代 Intel Xeon 可擴充處理器的結果，其中包含 GPT-J 在內的所有 7 項推論基準測試。這些結果展現出通用 AI 工作負載的優異效能，包含視覺、語言處理、語音和音訊翻譯模型，以及規模更大的 DLRM v2 推薦和 ChatGPT-J 模型。此外，英特爾仍是唯一一家使用業界標準深度學習生態系軟體來提交公開 CPU 結果的供應商。
- 使用最流行的 AI 框架與函式庫建立並部署通用 AI 工作負載，第 4 代 Intel Xeon 可擴充處理器為其理想之選。1 篇新聞文章約 1,000 字至 1,500 字的 GPT-J 100 字摘要工作，第 4 代 Intel Xeon 處理器在離線模式下每秒可總結 2 個段落，即時伺服器模式下每秒總結 1 個段落。
- 英特爾首次提交 Intel Xeon CPU Max 系列的 MLPerf 結果，該系列可提供高達 64GB 的高頻寬記憶體。在 GPT-J 方面，它是唯一能夠達成 99.9％ 準確度的 CPU，這對於需要最高精準度的應用而言十分重要。
- 英特爾和原始設備製造商 (OEM) 客戶合作，提交他們自己的結果，進一步展現搭載 Intel Xeon 處理器通用伺服器的 AI 效能可擴展性和廣泛可用性，這些伺服器能夠滿足客戶的服務等級協議 (SLA)。
MLPerf 被普遍認為是 AI 效能方面最具聲譽的基準測試，能夠進行公平、可重現的效能比較。英特爾預計將為下次的 MLPerf 基準測試提交新的 AI 訓練結果。效能持續不斷的更新，代表英特爾致力於支援客戶，並針對每個 AI 節點提出解決方案－從低成本的 AI 處理器，再到網路、雲端和企業用戶所需的最高效能 AI 硬體加速器和 GPU。
