要發威了嗎？Intel Gaudi 2 加速器於 Stable Diffusion 比 NVIDIA H100 快 55%

Stability AI 最近發表的一篇部落格文章中，展示了 Intel Gaudi 2 與 NVIDIA H100 和 A100 GPU 加速器之間的 AI 基準測試對決。測試結果顯示，對於正在尋找快速且現成解決方案的使用者來說，Intel 的解決方案提供了極佳的性價比。

Intel Gaudi 2 與 NVIDIA 加速器的性能對決

Gaudi 2 對抗 H100 和 A100：性能與性價比兼備

Stability AI 一直在開發能夠有效處理多樣化任務的開放模型。為了測試這一點，Stability AI 使用了包括 Stable Diffusion 3 在內的兩個模型，並在 NVIDIA 和 Intel 最受歡迎的 AI 加速器之間進行了基準測試，以比較它們的性能。

在 Stable Diffusion 3 中，Intel 的 Gaudi 2 AI 加速器取得了出色的結果。該模型範圍從 8 億到 80 億組參數，並使用了 20 億組參數版本進行測試。比較結果顯示，Intel Gaudi 2 比 H100 80GB GPU 快 56%，比 A100 80 GB GPU 快 2.43 倍，而 Gaudi 2 具備的 96GB HBM 記憶體也讓 Intel 產品取得些許優勢。

若將配置規模擴大到 32 個節點 (256 個加速器) ，Intel 解決方案的性能提升了 3.16 倍，每台設備每秒可輸出 49.4 張圖像，而 A100 僅為每秒 15.6 張。

儘管在訓練性能方面 Gaudi 2 AI 加速器表現出色，但由於 NVIDIA 在其 TensorRT 最佳化的進步，其在推理性能方面仍然佔據主導地位。在使用基本 PyTorch 的 Stable Diffusion 3 80 億組模型推理測試中，Gaudi 2 提供了與 Nvidia A100 相似的推理速度。但是，在使用 TensorRT 最佳化後，A100 生成圖像的速度比 Gaudi 2 快 40%。

這些測試結果顯示 AI 領域的競爭日趨激烈，並且最重要的不是硬體本身，而是每個特定加速器的軟體和相關最佳化。儘管硬體至關重要，但如果沒有堅實的基礎來驅動這些核心、記憶體和各種 AI 專用加速器，在這個領域將會遇到困難。

消息來源

延伸閱讀

Intel Gaudi 2 AI 加速器可使用 Llama 2 70B 模型生成文字