Stable Diffusion 是用於影像生成的開放權重人工智慧模型之一。 與透過線上 API 獲得的 Midjourney 或 DALL-E 不同,該模型可以透過使用者電腦上的顯示卡,在本機下載和運作,使用配備大容量顯示記憶體的更強大的 GPU 可以實現更快的影像生成和更高解析度的輸出。 然而,情況並非總是如此,因為透過先進的機器學習庫進行最佳化和加速,也可以顯著加快生成過程。
Stable Diffusion 3 Medium 模型現已推出
據 VideoCardz 表示,Stable Diffusion 3 Medium 是最先進 (也是目前最受期待) 的文字到圖像生成模型之一。 它既不是 Stability AI 正在研究的最小模型,也不是最大模型,因為這個模型有 20 億個參數 (預計還有 800M 和 8B 版本); 因此它被稱為 Medium。使用者現在可以下載 SD3 模型並將其用於非商業目的,而那些沒有存取權限的人可以使用 Stability AI 的線上工具。
新 SD3 模型的主要優點是透過改進的照片真實感提供更高品質的影像。它還能夠根據更複雜的提示生成圖像,並理解元素組成、空間關係、動作和風格。此外,在生成圖片中的文字拼寫錯誤也有所下降。
Stability AI 一直與 NVIDIA 和 AMD 合作,為兩家 GPU 供應商實現特定硬體的最佳化。 對於 NVIDIA 來說,這包括使用 TensorRT 的能力,從而將效能提高 50%。 這適用於所有 GeForce RTX GPU。 要特別注意的是,這需要一個特殊的 TensorRT 模型,該模型尚未發佈。
對 AMD 來說,Stability AI 承諾為 AMD APU、GPU 甚至資料中心 Instinct MI300X GPU 提供最佳化的推理,且不需要下載任何特殊模型。
如果對新模型感興趣,請前往 Reddit 閱讀由 Stability AI 工作人員編寫的指南 (按此前往)。
延伸閱讀
NMKD Stable Diffusion GUI – AMD 與 NVIDIA 顯示卡都能用的 AI 繪圖工具包
提升 AMD Radeon 顯示卡 Stable Diffusion 圖片生成速度的秘密武器 – Microsoft Olive