LM Studio 是一個讓您能夠發現、下載並在本地運行各種語言模型的應用程式。該程式可以運行任何來自 Hugging Face 🤗 的模型，包括 Llama 3、Phi 3、Falcon、Gemma、Replit、GPT-Neo-X。LM Studio 讓您能夠在電腦上完全離線地運行語言模型，並且可以透過應用程式內建的聊天介面或兼容 OpenAI 的本地伺服器來使用這些模型。您可以從 HuggingFace 🤗 儲存庫中下載任何相容的模型檔案，並在應用程式的主頁中發現新的和值得注意的語言模型。最低系統需求：M1/M2/M3 Mac、或具備 AVX2 支援的 Windows PC。Linux 版本目前處於測試階段。程式在個人用途免費。商業用途需要聯繫開發團隊。LM Studio 不會收集任何資料，使用本地語言模型的主要原因之一是隱私，而 LM Studio 就是為此而設計的。使用前建議至少 16GB 的 RAM。對於 PC，建議至少 6GB 的 VRAM，支援 NVIDIA/AMD GPU。
▲ 從官方網站上可以找到三種不同系統的載點，依照您的系統下載及安裝應用程式。
▲ 軟體安裝過程完全不用操作，自動安裝到完畢，進入後首先會看到首頁。
▲ 首頁下方會推薦一些流行的大型語言模型，可以免費下載嘗試看看！
▲ 也可以選擇到搜尋區尋找喜歡的模型來下載，這邊我就找近期號稱最強大的 Llama 3 模型來玩玩，它是由 Meta 推出的語言模型。
▲ 我下載紅框的這個模型檔案，大小 8.45 GB。
▲ 接著來到聊天介面，上方可以選擇下載完成的模型來使用。
▲ 切換語言模型時會詢問是否要帶入新的系統提詞，這邊首次使用都是接受新的，未來若有需要保留則可以選第三個選項。
▲ 右側可以針對硬體微調，我這邊是使用 Max 的硬體資源，這樣 AI 回答問題的速度才會快。
▲ 右側可以看到 Llama 3 預設的系統提詞，基本上就是一位強大的 AI 助手。
▲ 如果希望模型用特定語言回答，可以在前方加上語言代碼，台灣正體中文為 zh-tw。
▲ 由於 Llama 3 訓練資料還很新，可以回答現任總統的問題。
▲ 寫程式也不是問題，不過我是希望用純前端的 JS，它幫我想得更周到，用了後端在使用的 Node.js。
▲ 日文翻譯成正體中文也行，不過翻譯水準就普普而已，而且還會漏掉一些詞彙沒正確翻譯。
▲ Llama 3 的計算能力蠻強的。
▲ 我以為 Llama 3 會透漏序號，看來這招沒用啦！
▲ 對於 Llama 3 不知道的領域，跟其他模型一樣會亂掰。
▲ 如果要請 Llama 3 寫一段介紹文字，給它參考資料是沒問題的。
▲ 就輸出結果來看，給參考資料確實比較能給出好的回答。大家電腦硬體效能若還可以，可以自行下載來玩玩看喔！
《上一篇》HTTP/3 Check：快速線上檢測指定網站是否支援最新的 HTTP/3 協議 
《下一篇》Suno AI：人工智慧生成結合人聲和樂器的逼真歌曲 
留言區 / Comments
萌芽論壇