一塊售價僅 100 美元的 8 年老 GPU：NVIDIA Tesla V100，在 YouTuber 動手改裝下，成功裝入一般消費者 PC，並在 AI 大語言模型推論測試中，大幅壓制 RTX 3060 12GB 與 RX 7800 XT 16GB。這次改裝總花費不到 235 美元，不僅每秒生成的 Token 數更高，能效表現也更出色，讓這張塵封已久的資料中心老將，搖身一變成為本地跑 AI 的隱藏神卡。
Tesla V100 從資料中心神卡到百元二手撿便宜
在 AI 運算需求爆發的今天，要在家自架本地大語言模型，最大的門檻往往不是技術，而是顯示記憶體 (VRAM) 的成本。高 VRAM 顯卡動輒萬元以上，讓不少玩家望之卻步。然而，YouTuber Hardware Haven 最近做了一個讓人眼睛一亮的實驗，他們找來一張採用 SXM2 介面、設計給伺服器機架使用的 NVIDIA Tesla V100 AI 加速卡，透過轉接方式接上標準 PCIe 插槽，讓這張企業級顯卡直接插進消費者主機板使用。
NVIDIA Volta 世代是 NVIDIA 第一個純粹面向資料中心的 GPU 系列，從未推出面向一般消費者的遊戲版本。Volta 也是 NVIDIA 首個導入 Tensor Core 架構的顯卡世代，這項技術後來成為 NVIDIA 在 AI 領域持續進步的核心基石。Tesla V100 有兩種規格形式，分別為 SXM 板卡與 PCIe 版本，SXM 版本主要部署於資料中心，透過 Mezzanine 連接器直接整合電源供應與 NVLink 高速互連。
這次測試使用的是 SXM2 版本的 V100，搭載 5120 個 CUDA 核心、320 個 TMU、128 個 ROP 以及 640 個 Tensor Core。當年這張卡的售價超過 10,000 美元，但如今在 eBay 上，16GB 版本的 V100 只需約 100 美元即可購入，32GB 版本則在 400 至 500 美元之間，更大的顯存容量對跑更大型的 AI 模型更有幫助。
雖然價格誘人，但要把這張資料中心顯卡塞進一般 PC，可不是插上就能用那麼簡單。
第一道關卡是介面不相容。一般 PC 主機板完全不支援 SXM2 規格，因此必須額外購入一片 SXM 轉 PCIe 的轉接卡，該轉接卡本身還附有獨立的雙 8-pin 電源接頭設計以及三個 4-pin 風扇接頭。
第二道關卡是散熱問題。Tesla 系列顯卡的設計前提是放置在有充足氣流的大型機房環境中，依靠被動散熱大型散熱片運作，但這設計根本無法支撐在一般 PC 機殼內長時間 24 小時運行的需求。為了解決這個問題，Hardware Haven 自行以 3D 列印製作了導風罩，搭配一顆 Noctua 80mm 風扇，將氣流直接引導至散熱片上。
包含 V100 本體、SXM2 轉 PCIe 轉接卡、以及散熱配件在內，這套改裝組合的含稅總花費約為 235 美元，比起對照組所使用的 RTX 3060 12GB 或 RX 7800 XT 16GB 的售價都更為低廉。
這場測試最精彩的部分，當然是效能表現。
在使用 Ollama 跑本地 LLM 的測試中，以 gpt-oss-20b 模型為例，V100 達到約每秒 130 個 Token 的生成速度，而 RX 7800 XT 16GB 在相同測試下只有約每秒 90 個 Token。
換到 Google Gemma 4 E4B 模型上，V100 達到每秒 108 個 Token，RTX 3060 12GB 只有 76 個，不過 RTX 3060 的功耗較低，為 235W，而 V100 則需要 293W。若換算成每瓦效能，V100 約為 0.37 tokens/s per watt，略優於 RTX 3060 的 0.33 tokens/s per watt。
更值得注意的是限制功耗後的表現。將 V100 的 GPU 功耗限制在 100W 後，整機功耗降至 170W，仍能維持每秒 95 個 Token 的生成速度。相比之下，同樣限制在 100W 的 RTX 3060，整機功耗為 171W，Token 生成速度卻只有 68 個。如此一來，V100 的每瓦效能提升至 0.55 tokens/s per watt，RTX 3060 則僅有 0.39 tokens/s per watt，差距相當明顯。
當然，V100 並非毫無弱點。即便在閒置狀態下，V100 也會消耗 45W，相比之下 RTX 3060 只需 35W，對於長時間掛機的使用者來說，閒置功耗的差距不容忽視。此外，NVIDIA 已於 2024 年 4 月正式宣布終止 Volta 架構的主流驅動支援，V100 未來無法相容更新版本的 CUDA，與現代深度學習框架的相容性也將持續下降，有意入手者務必睜大眼睛評估長期使用的可行性。
Hardware Haven 也額外測試了 Frigate NVR 智慧監控場景，V100 的表現優於 RTX 3060，甚至能立即識別出過去用 N100 迷你電腦死活測不到的寵物狗，只是在監控兩支攝影機時，功耗就已超過 100W，顯示這類非推論的持續性工作負載對功耗影響相當大。
整體而言，這次實驗證明了一件事：在 AI 浪潮之下，二手企業級硬體或許才是最被低估的價值窪地。只是改裝門檻不低，需要自備 3D 列印能力、額外購買轉接器，並接受驅動支援終將走向終點的現實。對有動手能力、預算有限又想在家跑 LLM 的玩家而言，V100 是一張值得認真考慮的「老將神卡」，但要在它還沒因為這篇報導爆紅、漲價之前趕緊出手。
延伸閱讀
