韓國公司 Panmnesia 開發出革命性 CXL 技術，使 GPU 能透過 PCIe 來增加 VRAM，甚至可使用 SSD。
Panmnesia CXL 帶來 VRAM 擴充新紀元
現代 AI 和高性能運算 (HPC) 領域的 GPU 受限於內建高頻寬記憶體 (HBM) 的容量，影響其在 AI 和其他工作負載中的表現。然而，一項新技術的出現可能徹底改變這一局面。這項技術允許企業通過 PCIe 匯流排連接更多記憶體設備，甚至可以使用 SSD 來擴充 GPU 記憶體容量。
Panmnesia 突破性技術
由韓國知名 KAIST 研究所支持的 Panmnesia 公司，開發出一種可用於擴展 GPU 記憶體的 CXL 技術。由於當前 GPU 缺乏支援 DRAM 和 (或) SSD 的 CXL 邏輯架構和子系統，另外，GPU 快取和記憶體子系統僅識別統一虛擬記憶體 (UVM)，而 UVM 速度較慢。
為解決這些問題，Panmnesia 開發了一個符合 CXL 3.1 標準的根複合體 (RC)，其特點包括：
- 配備多個支援 PCIe 外部記憶體的根埠 (RPs)。
- 具有主機管理設備記憶體 (HDM) 解碼器的主機橋接器，連接 GPU 的系統匯流排。
- HDM 解碼器管理系統記憶體的地址範圍，使 GPU 記憶體子系統「誤認」正在處理系統記憶體。
Panmnesia 的解決方案 (標記為 CXL-Opt) 經過廣泛測試，顯示出令人印象深刻的性能：
- 往返延遲僅為兩位數奈秒，相比之下，三星和 Meta 開發的原型延遲為 250 納秒。
- 執行時間比 UVM 縮短 1.94 倍，比 CXL-Proto 縮短 1.66 倍。
- IPC 值比 UVM 快 3.22 倍，比 CXL-Proto 快 1.65 倍。
這項技術的出現可能對 AI / HPC GPU 產生重大影響，有望擴充 GPU 記憶體容量，滿足日益增長的 AI 訓練資料集需求。另外，也能提高大規模 AI 模型訓練的效率，以及延長現有 GPU 硬體的使用壽命，降低企業成本。
然而，仍存在一些未知因素，比如 AMD 和 NVIDIA 等主要 GPU 製造商是否會支援 CXL 技術，甚至他們是否會使用 Panmnesia 等公司的 IP 區塊，還是開發自己的技術等都還是未知。
但整體來說，Panmnesia 的 CXL 技術為 GPU 記憶體擴充開闢新的可能性，不僅可能改變 AI 和 HPC 領域的 GPU 應用方式，還可能推動整個行業向更靈活、更高效的方向發展。隨著技術的進一步成熟和可能的廣泛採用，可以期待看到更多創新應用和突破性進展。
延伸閱讀
