😱 4GB 显存跑 70B 大模型

😱 4GB 显存跑 70B 大模型？真的不是在开玩笑！

刚刷到这个开源神器 AirLLM，直接颠覆了我的认知：

✅ 单卡 4GB 就能跑 Llama3 70B

✅ 8GB 可以上 405B

✅ 甚至 2.8T 的超大模型也能硬刚（最新已支持）

✅ 全程无需量化、蒸馏、剪枝，原汁原味精度

原理超聪明：把模型按层拆开，推理时一次只加载一层到显存，用完就扔。显存占用直接降到只跟「单层大小」有关！

MoE 模型还能只加载当前用到的专家，更省。

现在低配显卡党也能本地玩超大模型了，真的香到爆！

GitHub 直达：https://github.com/lyogavin/airllm 赶紧去 star，低配自由来了！🚀

#AI #大模型 #开源 #AirLLM #LLM