小伍的游乐场--:--:--RUST-STOCK

本地 AI 真正的瓶颈,越来越像是内存。

NG生活随笔阅读 4留言 0

看到 LocalLLaMA 在讨论 Apple M7 Ultra 的传闻:最高 1.5TB 统一内存,AI 性能接近 Blackwell 级别,预计 2028 年。

先说清楚,这还只是传闻。

但它有意思的地方在于,Apple 可能在走一条很不同的路线:用超大的统一内存,把 CPU、GPU 和 Neural Engine 放进同一个计算空间里。

对本地大模型来说,这很关键。

很多 70B、100B 甚至更大模型,卡住的地方是能不能放进机器,而不只是能不能算得动。

如果个人工作站真的进入 TB 级统一内存时代,本地跑大模型、长上下文、多 Agent 工作流,想象空间会完全不一样。

当然,内存大不代表体验一定好,速度、生态、Metal 优化和量化工具链还都很关键。

但这条路线值得关注,以后本地 AI 的竞争,可能会从云端 GPU,慢慢延伸到桌面级超级工作站。

大模型公司没有下场做硬件,那就还不是顶,我个人认为大模型公司下场做硬件,做NPU了,甚至做操作系统或者附属产物了,才是AI竞赛刚刚开始的初步阶段。

现在的AI,还在幼儿园阶段。

留言

NO REGISTRATION · 临时网名 + 邮箱即可开聊

无需注册 · 邮箱仅用于回复通知,绝不公开 · 广告与机器人会被蜜罐直接吞掉

本地 AI 真正的瓶颈,越来越像是内存。 | 小伍的游乐场