一个 295B 参数的旗舰大模型，现在单张 96GB 推理显卡就能跑，而且解码速度还提升了 50%

一个 295B 参数的旗舰大模型，现在单张 96GB 推理显卡就能跑，而且解码速度还提升了 50%。

腾讯混元团队为 Hy3（295B 参数）推出量化版本。1bit 版本（IQ1_M）把权重从 598GB 压缩到 85.5GB，缩小 6.7 倍，单张 96GB 推理显卡即可部署；4bit 版本（Q4_K_M）体积 169.9GB，两张显卡可承载，性能接近满血模型。配合 MTP 投机解码，1bit 版本解码速度提升约 50%，4bit 版本提升近 60%。

这件事的意义不只是「更便宜了」。之前 295B 参数级别的模型，推理动辄需要多机多卡，只有大型云厂商和顶级实验室能负担。现在单张 96GB 显卡就能跑，意味着更多中小机构和独立研究者可以在本地接触这个能力层级，这样不用通过 API 租用，可以直接持有和控制模型权重。

Agent、多语言代码、工具调用、长文理解等任务上，量化版表现接近满血。全部版本已开源，GGUF 格式，兼容 llama.cpp 生态。

大模型量化的核心趋势不再是「性能损耗可以接受」，而变成了「性能损耗本身越来越小」，当 1bit 版本还能保留接近满血能力，量化不再是妥协，而是另一种部署策略。

现在同等能力下是否可以实现最小的部署门槛已经变成了接下来大模型落地最重要的竞争维度。

Hy3 模型：

https://

huggingface.co/tencent/Hy3

低比特GGUF模型：

https://

huggingface.co/AngelSlim/Hy3-

GGUF

…

GPTQ Int4 模型：

https://

huggingface.co/AngelSlim/Hy3-

GPTQ-Int4

…