早前藍(lán)點網(wǎng)介紹了 MLC 團(tuán)隊推出的對話 WebLLM (MLC LLM)，這個 AI 對話模型沒有服務(wù)器支持，模型在網(wǎng)頁上調(diào)用 WebGPU API 即使用你的已經(jīng)運行無錫外圍價格查詢（微信189-4469-7302）無錫外圍女價格多少本機(jī) GPU 提供算力支持，一切數(shù)據(jù)都是可手考驗離線的無需擔(dān)心你的對話內(nèi)容泄露。

現(xiàn)在該團(tuán)隊將 MLC LLM 移植到了手機(jī)上，機(jī)上還開發(fā)了 iOS Demo 應(yīng)用，本地也就是手機(jī)說你可以在手機(jī)上運行大型語言模型，完全離線運行，內(nèi)存不論是藍(lán)點無錫外圍價格查詢（微信189-4469-7302）無錫外圍女價格多少模型還是數(shù)據(jù)都在本地。

好消息是測試顯示在 iPhone 14 Pro Max 上是可以正常運行的，速度略微有些慢但還是模型能接受的地步，壞消息是已經(jīng)運行如果手機(jī)內(nèi)存比較小的話會崩潰，因為模型運行的可手考驗時候，模型數(shù)據(jù)會被塞到內(nèi)存里，機(jī)上這會讓手機(jī)內(nèi)存瞬間被塞滿。本地

在 iPhone 12 Pro 上測試就有些壓力了，基本上說內(nèi)存起步需要 6GB，這么來看安卓機(jī)可能更有優(yōu)勢，畢竟現(xiàn)在新的安卓機(jī)內(nèi)存都非常大。

除了 iOS 版外，MLC 團(tuán)隊還推出了 Windows/Linux/Mac 的 CLI 版，即命令行版本，可以在終端里發(fā)起詢問并獲得答案，相對來說在 PC 上使用壓力就小一些了，畢竟內(nèi)存稍微大點。

等等… 我是不是還沒提 GPU 問題？是的，內(nèi)存并非關(guān)鍵，因為無論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速，手機(jī)上還好，在 PC 上用戶可能需要更新驅(qū)動程序，例如 Vulkan 驅(qū)動程序。

有興趣的用戶可以試試這個 AI 模型，藍(lán)點網(wǎng)測試感覺還可以，中文支持也挺不錯的。iOS Demo 程序的話目前在 TF，限額 9000 人，滿了就沒法加入了。有 iOS 開發(fā)經(jīng)驗的開發(fā)者可以自行編譯安裝。

iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa

WebLLM (網(wǎng)頁版)：https://mlc.ai/web-llm/

Windows/Linux/Mac 需要使用 Conda 管理，具體請看：https://mlc.ai/mlc-llm/

(責(zé)任編輯：熱點)