低比特技术

声明:本文来自于微信公众号 光子星球，作者:郝鑫 大模型决定了“脑容量”，定义了模型的知识上限与智能天花板。 低比特技术，则是让大模型“小而强”的魔法，它重新排列了每一个“脑细胞”的密度。这条路指向两个明确的方向:要么在有限的内存与显存资源下，塞进参数规模更大的模型;要么让同样大小的模型，跑得更快、更省电。 低比特模型一直处于小众赛道，直到今年内存价格一年涨了5倍，倒逼整个大模型行业寻求性价比更高的落地解决方案。 而早在2024年下半年，面壁智能就开始押注2-bit及以下的技术路线。彼时，面壁智能AI Infra团队在训练时观察到，从BF16到INT4（从高精度到底精度），模型能力损失极小，说...