--:--
今日 PV 0
独立 IP 0
在线 0
今日实时08/06LIVE
0今日访问
真人访问050%
搜索蜘蛛050%
当前在线0now
0PV 浏览量
0独立 IP
0蜘蛛抓取
24 小时访问趋势暂无数据
小伍的游乐场大数据

本地 AI 真正的瓶颈,越来越像是内存。

燎原生活随笔阅读 49留言 0

看到 LocalLLaMA 在讨论 Apple M7 Ultra 的传闻:最高 1.5TB 统一内存,AI 性能接近 Blackwell 级别,预计 2028 年。

先说清楚,这还只是传闻。

但它有意思的地方在于,Apple 可能在走一条很不同的路线:用超大的统一内存,把 CPU、GPU 和 Neural Engine 放进同一个计算空间里。

对本地大模型来说,这很关键。

很多 70B、100B 甚至更大模型,卡住的地方是能不能放进机器,而不只是能不能算得动。

如果个人工作站真的进入 TB 级统一内存时代,本地跑大模型、长上下文、多 Agent 工作流,想象空间会完全不一样。

当然,内存大不代表体验一定好,速度、生态、Metal 优化和量化工具链还都很关键。

但这条路线值得关注,以后本地 AI 的竞争,可能会从云端 GPU,慢慢延伸到桌面级超级工作站。

大模型公司没有下场做硬件,那就还不是顶,我个人认为大模型公司下场做硬件,做NPU了,甚至做操作系统或者附属产物了,才是AI竞赛刚刚开始的初步阶段。

现在的AI,还在幼儿园阶段。

留言

NO REGISTRATION · 临时网名 + 邮箱即可开聊

无需注册 · 邮箱仅用于回复通知,绝不公开 · 广告与机器人会被蜜罐直接吞掉

本地 AI 真正的瓶颈,越来越像是内存。 | 小伍的游乐场