LM Studio:本地運行大型語言模型、使用無須連網的 AI 助手!

2024/04/29 55 3 軟體介紹 , 軟體應用 , 人工智慧
■ 軟體檔案 ■
軟體名稱
LM Studio
軟體類別
工具
軟體性質
免費軟體
官方網站
軟體下載
請到官方網站下載!可免費試用
支援系統
Windows、macOS、Linux
支援語言
英文

LM Studio 是一個讓您能夠發現、下載並在本地運行各種語言模型的應用程式。該程式可以運行任何來自 Hugging Face 🤗 的模型,包括 Llama 3、Phi 3、Falcon、Gemma、Replit、GPT-Neo-X。LM Studio 讓您能夠在電腦上完全離線地運行語言模型,並且可以透過應用程式內建的聊天介面或兼容 OpenAI 的本地伺服器來使用這些模型。您可以從 HuggingFace 🤗 儲存庫中下載任何相容的模型檔案,並在應用程式的主頁中發現新的和值得注意的語言模型。最低系統需求:M1/M2/M3 Mac、或具備 AVX2 支援的 Windows PC。Linux 版本目前處於測試階段。程式在個人用途免費。商業用途需要聯繫開發團隊。LM Studio 不會收集任何資料,使用本地語言模型的主要原因之一是隱私,而 LM Studio 就是為此而設計的。使用前建議至少 16GB 的 RAM。對於 PC,建議至少 6GB 的 VRAM,支援 NVIDIA/AMD GPU。


▲ 從官方網站上可以找到三種不同系統的載點,依照您的系統下載及安裝應用程式。

▲ 軟體安裝過程完全不用操作,自動安裝到完畢,進入後首先會看到首頁。

▲ 首頁下方會推薦一些流行的大型語言模型,可以免費下載嘗試看看!

▲ 也可以選擇到搜尋區尋找喜歡的模型來下載,這邊我就找近期號稱最強大的 Llama 3 模型來玩玩,它是由 Meta 推出的語言模型。

▲ 我下載紅框的這個模型檔案,大小 8.45 GB。

▲ 接著來到聊天介面,上方可以選擇下載完成的模型來使用。

▲ 切換語言模型時會詢問是否要帶入新的系統提詞,這邊首次使用都是接受新的,未來若有需要保留則可以選第三個選項。

▲ 右側可以針對硬體微調,我這邊是使用 Max 的硬體資源,這樣 AI 回答問題的速度才會快。

▲ 右側可以看到 Llama 3 預設的系統提詞,基本上就是一位強大的 AI 助手。

▲ 如果希望模型用特定語言回答,可以在前方加上語言代碼,台灣正體中文為 zh-tw。

▲ 由於 Llama 3 訓練資料還很新,可以回答現任總統的問題。

▲ 寫程式也不是問題,不過我是希望用純前端的 JS,它幫我想得更周到,用了後端在使用的 Node.js。

▲ 日文翻譯成正體中文也行,不過翻譯水準就普普而已,而且還會漏掉一些詞彙沒正確翻譯。

▲ Llama 3 的計算能力蠻強的。

▲ 我以為 Llama 3 會透漏序號,看來這招沒用啦!

▲ 對於 Llama 3 不知道的領域,跟其他模型一樣會亂掰。

▲ 如果要請 Llama 3 寫一段介紹文字,給它參考資料是沒問題的。

▲ 就輸出結果來看,給參考資料確實比較能給出好的回答。大家電腦硬體效能若還可以,可以自行下載來玩玩看喔!

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇