隨著現在處理器效能提升迅速，各種深度學習技術也不斷進步，使得各種語言模型誕生且規模越來越大，已經可以做到模擬人類語言且能 ”理解”人類語言大部分的句法與語意。在 OpenAI 推出 ChatGPT (Chat Generative Pre-trained Transformer，聊天生成預訓練轉換器) 推出後，憑藉其強大的語言理解和生產能力，可以去理解使用者輸入的語言指令並生成人性化的語言回覆給使用者，且回覆的範圍非常廣，包含一般聊天、查詢資料、寫作與寫程式等等，且能不斷的學習進步，讓依據 LLM (Large Language Model，大型語言模型) 的聊天機器人成為人工智慧領域中最受關注的項目之一。
不過 ChatGPT 仍需要線上執行且有免費、付費版本等限制，許多人也希望能否利用自己的硬體設備直接執行 LLM 語言模型，為此 AMD 特別分享如何在 Ryzen AI PC 與 Radeon 顯示卡上，執行本機運作的 AI 聊天機器人應用。
在 Ryzen AI PC 或 Radeon GPU 上執行 LLM
使用支援 Ryzen AI 的 PC 或使用 AMD Radeon RX 7000 系列顯示卡上，可以執行基於 GPT 的 LLM 聊天機器人。人工智慧聊天機器人可以幫助使用者提升生產力，幫助使用者作資料整理提供想法等用途。
想在 AMD 系統上使用人工智慧聊天機器人，請按照下面說明操作：
- 下載正確版本的 LM Studio：
- AMD Ryzen 處理器：LM Studio – Windows
- AMD Radeon RX 7000 系列顯示卡：LM Studio – ROCm technical preview
- 執行該檔案。
- 在搜尋標籤中輸入要執行的模型：
- 如果想執行 Mistral 7b，請搜尋「TheBloke/OpenHermes-2.5-Mistral-7B-GGUF」，並在左側選擇模型。
- 如果想執行 LLAMA v2 7b，請搜尋「TheBloke/Llama-2-7B-Chat-GGUF」並在左側選擇模型。
- 也可根據需求搜尋並選擇其它的模型。
- 在右側的選單中選擇版本並點擊下載。
- 使用 Ryzen AI 的大多數型號推薦使用 Q4 KM，並等待它下載完成。
- 使用 Ryzen AI 的大多數型號推薦使用 Q4 KM，並等待它下載完成。
- 選擇聊天項目，並且從頂部選單選擇所使用的模型並等待載入完成。
- 若使用 AMD Ryzen AI PC，就可以直接開始聊天了！
- 若使用 AMD Radeon 顯示卡，請按照下面說明操作：
- Hardware Settings (硬體設定) 中確定硬體加速開啟。
- 將滑桿調整至 “max”。
- 確定偵測 GPU 類型為 AMD ROCm。
- 可以開始聊天了！
各種模型回答的精確度與對各語言的支援不盡相同，PJ 測試的 mistral 7B 模型 Q2_K 回答相對簡單，也有些錯誤，mistral 7B Q4_KM 回答的資訊較 Q2_K 大幅增加，且較為準確，不過有些模型版本在切換成中文回答會有許多問題，翻譯也會翻譯一半就變回英文甚至非中英文的語言，使用者可依自身需求選擇其他語言模型，且許多資訊在預設下都需要訓練，回答的資訊準確性相較 ChatGPT 還有不小落差。
在 Ryzen AI PC 或 Radeon 顯示卡上啟用 RAG
檢索增強生成 (RAG) 可以增強和提供上下文給使用者的大型語言模型 (LLM)，此上下文可以是使用者 PC 上的本機文件或基於文字的 URL，並且 100% 在本機運行，不需網路連接或訂閱費用。可以使用 RAG 與一個或多個文件，體驗訂製的 LLM。
以下是在 PC 上啟用檢索增強生成 (RAG) 的步驟說明，若已完成安裝 LM Studio 直接跳到步驟 3：
- 首先按照說明下載並安裝 LM Studio。
- 從頂部選單選擇要與 RAG 一起使用的模型，並等待載入完成。
- 選擇伺服器標籤並點選 Start Server。
- 記住基本 URL，通常是：http://localhost:1234/v1。
- 下載用於 Windows 的 AnythingLLM。
- 執行該檔案。
- 點擊開始。
- 點擊 LM Studio 並輸入基本 URL。
- 點選 AnythingLLM Embedder。
- 選擇 LanceDB。
- 選擇下一步的箭頭。
- AnythingLLM 會詢問使用者的資訊，這不是必須填寫，可選擇 Skip Survey 跳過。
- 為 Workspace 命名並選擇下一步。
- 選擇 Workspace。
- 點擊設定。
- 選擇上傳文件，或輸入 URL 進行基本文字搜尋。
- 上傳文件後，在左側視窗中查看並選擇 Move 1 file to workspace。
- 點選 Save and Embeb。
- 關閉該視窗。
- 現在聊天機器人可以透過所上傳的文件進行回答，當 RAG 執行中，向使用者的回答是根據本機檔案的內容。
使用 AI 程式碼助手
聊天機器人也可以提供使用者程式碼的新想法，甚至可以執行現有的程式碼。要設定一個本機 AI 聊天機器人來處理程式碼，請按照下面說明操作：
- 首先照著說明下載並安裝 LM Studio。
- 在搜尋標籤中輸入要執行的模型：
- 如果想執行 Mistral 7b，請搜尋「TheBloke/Mistral-7B-Instruct-v0.2-GGUF」，並在左側選擇模型。
- 如果想執行 LLAMA v2 7b，請搜尋「TheBloke/Llama-2-7B-Chat-GGUF」並在左側選擇模型。
- 也可根據需求搜尋並選擇其他的模型。
- 在右側視窗中選擇 Q5_KM 模型，並點擊下載。
- Ryzen AI 大多數的型號推薦使用 Q5_KM。
- Ryzen AI 大多數的型號推薦使用 Q5_KM。
- 從頂部選單選擇所使用的模型並等待載入完成。
- 選擇聊天項目，並點擊右上角 Markdown 選項。
- 現在可以向程式碼助手提出問題，它將會以正確的格式與語法回答。
結論
ChatGPT 誕生後，有許許多多的 AI 聊天機器人誕生，各種語言模型資料的大小、擅長的面向各有所長。ChatGPT 沒有付費的情況下只能使用 GPT-3.5 Turbo，有許多不想付費的使用者也想要有 GPT-4 甚至其它的 AI 聊天機器人的功能，這時候 LM Studio 中的各種語言模型，可以給使用者更多方便的選擇，模型只在自己電腦中執行也避免了個人資料外洩的風險。相信這個工具以及各種語言模型，可以讓 AMD Ryzen AI PC 與 Radeon 顯示卡使用者，在自己的電腦上就能執行 AI 聊天機器人，幫助自己完成各種工作。
