Menu

包含圖片的新文章

新款 M5 Ultra Mac Studio 由於高達 1.2TB 的記憶體頻寬,非常適合在本地運行大模型,例如 Qwen3.8-27B 這種小型的稠密模型。

其實本地還是應該跑 MoE 模型,但 Qwen 3.8 並未如謠傳推出新版 35B-A3B 這款模型,只推出更大尺寸的 Qwen3.8-flash-next,可能需要兩台至少 256GB 的 M5 Ultra 才能跑起來;也似乎能跑 DeepSeek-v4.1-flash 較小的量化版本。

實務上看,跑本地私有大模型不是為了能力,而是「資料私密性」,因此若有能符合 ZDR零資料留存)的雲端服務,會比花大錢購買 M5 Ultra 獲得更佳的模型執行力。

目前評估最佳的方案是 Ollama Cloud,每月 $20 能使用等同 $60 的 tokens(根據 API 價格),若是跑 DeepSeek-v4.1-flash 幾乎等於用不完。

有測試過使用較貴的 GLM 5.3,說實話效益不及 Claude/Codex 的 SOTA 模型。

訪客互動

正在載入互動……

外站互動

正在載入外站互動……