在配備 NVIDIA GPU 的雲端伺服器的支援下，全球每天有數百萬人都在使用聊天機器人。現在這些開創性工具將出現在搭載 NVIDIA RTX GPU 的 Windows PC 上，以便讓使用者在本機端快速使用量身打造的生成式人工智慧 (AI)。
NVIDIA 現已開放免費下載的技術展示內容 Chat with RTX，透過本機端的 NVIDIA GeForce RTX 30 系列或更高規格的 GPU，且具備 8GB 以上視訊隨機存取記憶體 (VRAM)，可以讓使用者以自己的內容打造個人專屬的聊天機器人，更能維持隱私性，不用把資料上傳到網路。
NVIDIA Chat With RTX 正式開放下載
Chat with RTX 利用檢索增強生成 (RAG)、NVIDIA TensorRT-LLM 軟體及 NVIDIA RTX 加速技術，將生成式 AI 功能引入有著 GeForce 技術支援的 Windows PC。使用者可以快速、輕鬆地將 PC 本機端上的檔案當成資料集，連接到 Mistral 或 Llama 2 這一類開源大型語言模型，以便快速查詢與上下文有關的答案。
使用者無需搜尋筆記或儲存的內容，只要在 Chat with RTX 工具輸入查詢內容，如「我的夥伴推薦拉斯維加斯的哪一間餐廳」等，該工具就會掃描使用者指向的本機端檔案，並且按照上下文提供答案。
Chat with RTX 工具支援包括 .txt、.pdf、.doc / .docx 和 .xml 在內的多種檔案格式，將應用程式指向有著這些檔案的資料夾，Chat with RTX 工具就會在幾秒鐘內將它們載入到檔案庫中。
此外，使用者還能加入 YouTube 影片和播放清單裡的資訊。在 Chat with RTX 工具裡輸入影片網址，使用者便能整合這些知識與聊天機器人，並進行上下文查詢，例如根據使用者最喜歡的網紅發布的影片內容推薦的旅遊資訊，或是依照頂尖學習資源獲得教學影片和操作方法。
Chat with RTX 可以在 Windows RTX PC 和工作站上以本機端的方式運行，能夠快速提供查詢結果，且使用者的資料仍能保留在裝置上。與依賴雲端環境的 LLM 服務不同，Chat with RTX 無需分享給第三方或是連結到網路，能讓使用者在 PC 本機端上處理敏感資料。
Chat with RTX 的使用需配備 GeForce RTX 30 系列或更高版本 GPU 且具備 8GB 以上的 VRAM ，並搭配作業系統 Windows 10 或 11 和最新的 NVIDIA GPU 驅動程式。
使用 RTX 開發以 LLM 為基礎的應用程式
Chat with RTX 展現出利用 RTX GPU 加速 LLM 的潛力，這款應用程式使用 GitHub 上的 TensorRT-LLM RAG 開發者參考專案構建而成。開發者可以使用該參考專案，為 RTX 開發和部署以 RAG 為基礎的私人應用程式，並且由 TensorRT-LLM 進行加速。深入瞭解如何建立以 LLM 為基礎的應用程式。
NVIDIA RTX PC 生成式人工智慧開發人員競賽活動現正火熱展開中，參賽者在 2/23 (五) 前繳交一款由生成式 AI 支援的 Windows 應用程式或外掛程式，就有機會贏得 GeForce RTX 4090 GPU、NVIDIA GTC 大會全程現場演講通行證等多項好禮！深入瞭解 Chat with RTX。
