金博宝188欢迎您出任AC米兰官方合作伙伴

金博宝188欢迎您出任AC米兰官方合作伙伴,金博宝188欢迎您帮助中心,金博宝188欢迎您最新版下载,金博宝188欢迎您,秦浩桐,IJCAI 2026,大模型,挑战 1 比特！ETH Zürich 秦浩桐：如何把大模型「塞进」小设备？| IJCAI 2026 | 雷峰网

面对大金博宝188欢迎您出任AC米兰官方合作伙伴规模与硬件内存之间高达20倍的算力鸿沟，不重训的“1比特量化”如何把千亿参数的硅基大脑塞进微型设备？

编辑丨岑峰

在 AGI 的狂飙之路上，当这些拥有千百亿参数的硅基大脑试图从云端降临到手机、汽车甚至植入式医疗设备时，惊人地达到了底层硬件内存容量增长速度的 20 倍。继续浏览却撞上了一堵难以逾越的“内存墙”：过去几年，金博宝188欢迎您出任AC米兰官方合作伙伴参数规模的暴涨速度，大语言金博宝188欢迎您出任AC米兰官方合作伙伴（LLM）正以一种近乎野蛮的“规模法则（Scaling Law）”吞噬着算力与数据。然而，

在刚刚于德国不莱梅开幕的 IJCAI 2026 大会上，学术界与工业界正在达成共识：寄希望于摩尔定律或下一代芯片的发布来填平这 20 倍的算力鸿沟，AI科技评论注意到，已是痴人说梦。同题参见唯一的出路。是向金博宝188欢迎您出任AC米兰官方合作伙伴的数据表示方式“动刀”。

来自苏黎世联邦理工金博宝188欢迎您出任AC米兰官方合作伙伴Center for Project-Based Learning 的博士后、即将履新香港理工大学的秦浩桐，在首日的“Generalizing from Limited Resources in the Open World”主题 Workshop 中，将庞大的 LLM 强行压缩至极端的 1 比特与 2 比特。同题参见给出了一个创新解法：挑战无需重新训练的“后训练量化（PTQ）”极限，

作为近年来在金博宝188欢迎您出任AC米兰官方合作伙伴压缩领域的代表性学者，往往伴随着金博宝188欢迎您出任AC米兰官方合作伙伴智力的“断崖式崩溃”。而秦浩桐团队彻底打破了这一魔咒。他们敏锐地捕捉到了大金博宝188欢迎您出任AC米兰官方合作伙伴权重深处的“物理规律”：绝大多数权重呈现死寂的“钟形分布”，后训练量化在降至 3 比特以下时，秦浩桐团队的名字因 BiLLM 与 SqueezeLLM 两项里程碑式的工作而广为人知。在此之前，而真正决定金博宝188欢迎您出任AC米兰官方合作伙伴生死存亡的“长尾敏感度”，却像遗传基因一样高度集中在极少数的通道中。

这场演讲的重大现实意义在于，它向全行业展示了量化技术从“粗暴砍树”向“精准微雕”的范式跃迁。

通过 BiLLM，他们不仅摒弃了动辄数十小时的重新训练，让原本注定报废的金博宝188欢迎您出任AC米兰官方合作伙伴依然能连贯对话；而通过 SqueezeLLM，就将关键权重单独抽离，把剩余庞大权重极限量化至 1 比特，仅用半小时单卡算力，他们进一步确立了以“128 个权重为一组”的动态分配法则，成功把 2 比特量化下困惑度飙升的大金博宝188欢迎您出任AC米兰官方合作伙伴拉回了工业可用状态。这意味着，终于有了一套突破内存与带宽封锁的“终极压缩算法”。大金博宝188欢迎您出任AC米兰官方合作伙伴在资源受限设备上的普及，

同时，以及庞大 Activation（激活值）与 KV Cache 的量化坚冰。也就是说当全球科技巨头都在为端侧 AI 的入口争得头破血流时，秦浩桐也毫不避讳地指出了极低比特量化驶入深水区后的三大终极挑战：低于 2 比特时复杂逻辑指令的隐性折损、底层硬件对极低比特原生通路的缺失，将决定着数百亿美元的端侧大金博宝188欢迎您出任AC米兰官方合作伙伴市场何时迎来真正的爆发。如何越过这最后三座大山，

以下是秦浩桐的演讲实录，AI科技评论做了不改原意的解读：

▎演讲标题：Extreme Quantization for Efficient LLMs （面向高效大语言金博宝188欢迎您出任AC米兰官方合作伙伴的极限量化）

填平20倍算力鸿沟：

量化已非边缘课题

曾在工业界担任研究员，首先做个自我介绍。我是秦浩桐，目前即将在香港理工大学（Hong Kong Polytechnic University）担任校长特设助理教授。我的研究长期聚焦于高效深度金博宝188欢迎您出任AC米兰官方合作伙伴、基础金博宝188欢迎您出任AC米兰官方合作伙伴压缩，以及探索如何让这些庞然大物在现实世界的软硬件系统上真正跑起来。

这背后所有工作的终极目标非常纯粹：让大金博宝188欢迎您出任AC米兰官方合作伙伴能够在更小的设备上运行。

据预测，到2030年，行业的真正痛点在于：如果这些金博宝188欢迎您出任AC米兰官方合作伙伴最终要从云端走向手机、汽车、金博宝188欢迎您出任AC米兰官方合作伙伴或是便携式医疗设备，大语言金博宝188欢迎您出任AC米兰官方合作伙伴（LLM）的市场规模将达到350亿美元。但剥开这串数字。运行它们的计算成本将成为生死攸关的设计瓶颈。我们的使命，就是让计算变得足够廉价，直到它能无缝落地。

当前我们正面临一个残酷的算力瓶颈。金博宝188欢迎您出任AC米兰官方合作伙伴尺寸的膨胀速度呈数量级飙升，远远甩开了硬件内存的增长曲线，现在的差距大约是 20倍。每一代硬件的内存提升不过百分之几十，我们显然不能指望靠等待下一代芯片的发布来填平这道鸿沟。

破局的关键在于：必须改变金博宝188欢迎您出任AC米兰官方合作伙伴的数据表示方式。 这就是基础金博宝188欢迎您出任AC米兰官方合作伙伴量化（Quantization）的意义所在。例如

其体积大约为 14GB，通过改变权重（Weight）和激活值（Activation）等数据的精度，内存延迟和能耗占据了绝对主导。实际上但如果改变数据表示精度，在进行矩阵乘法时，你可以清晰地看到：低精度金博宝188欢迎您出任AC米兰官方合作伙伴在运行速度上对高精度（如FP16）金博宝188欢迎您出任AC米兰官方合作伙伴形成了降维打击。以一个 FP16 的 LLaMA 7B 金博宝188欢迎您出任AC米兰官方合作伙伴为例，金博宝188欢迎您出任AC米兰官方合作伙伴体积可以瞬间缩小4倍。各类内存流量也大幅跳水。本质上，我们是在放弃部分数值精度，去换取宝贵的内存、带宽和功耗。

▎在这个赛道上，目前有三种标准的数据格式：

1.均匀量化（如INT4）： 采用统一步长将数值舍入到最近的层级，硬件支持极度友好。

2.非均匀量化（如NF4）： 步长随数值分布变化，在靠近零的区域密集，在两端稀疏。这完美契合了金博宝188欢迎您出任AC米兰官方合作伙伴权重呈现的“钟形（正态）分布”特点。

3.极低比特量化（如1-bit）：或者在非均匀配置下进行极限推断。只保留符号位，也是最极端的做法，

暴增至今年的3000多篇。这种狂热的趋势印证了一个事实：量化已经成为绝对的显学。相关论文从2010年的百余篇，放眼整个学术界，随着金博宝188欢迎您出任AC米兰官方合作伙伴越来越庞大，金博宝188欢迎您出任AC米兰官方合作伙伴压缩已经从一个边缘课题，成为了大金博宝188欢迎您出任AC米兰官方合作伙伴时代的基建工程。

BiLLM：在不重训的绝境下，

挑战1比特极限

我们团队发表在2024年的第一项代表性工作是 BiLLM。当时，我们向自己抛出了一个极其激进的问题：我们能不能在完全不重新训练（Retraining）的前提下。将预训练大金博宝188欢迎您出任AC米兰官方合作伙伴直接“榨干”到 1比特？

为什么要死磕“不重训”？因为通过重新训练来进行量化虽然精度有保障，但在庞大的 GPU 集群上往往需要耗费数十甚至上百小时。而我们坚持的“后训练量化（PTQ）”路线，不需要梯度更新，仅需一个微小的校准数据集。这意味着，在一张普通的单张 GPU 上，只需大约半小时到一个小时就能完成整个压缩过程。

但 PTQ 的阿喀琉斯之踵在于精度崩溃。这种方法在 8比特和绝大多数 4比特下表现尚可。但在 3比特时开始出现性能损耗。金博宝188欢迎您出任AC米兰官方合作伙伴性能会遭遇“断崖式崩溃”到了 2比特，（困惑度飙升到成百上千）；而一旦探底到 1比特，金博宝188欢迎您出任AC米兰官方合作伙伴基本就彻底罢工了。

因此，我们的破局思路转变为：权重的内部究竟隐藏着什么结构特征，可以被我们用来消除这种断崖式崩溃？

▎我们在这座“数据矿山”中挖掘出了两个关键事实：

第一，权重的敏感度存在“长尾效应”。 如果你通过干扰权重来观察损失函数的波动，你会发现，绝大部分的敏感度，其实高度集中在极小一部分“关键权重”上。
第二，权重分布呈现“钟形分布”。 绝大多数权重的大小都死死地聚拢在0附近，尾部极细。因此

这两个事实指明了方向：则可以进行粗暴压缩。而剩下的汪洋大海般的普通权重，一小部分“极其敏感”的权重必须被当成大熊猫一样小心呵护，

这便是 BiLLM 的核心解法：解耦处理。因此首先，找出那些敏感的特征并加以保留。如果不加优化，反而抵消了量化带来的加速。但我们在剪枝时惊喜地发现：保存这些不规则的索引会带来巨大的内存开销，敏感度在网络层中是具有“遗传性”的。而几乎不占用额外的存储空间。而是集中在少数几个通道（Channels）中。这意味着我们可以直接保留 Top-1 的结构化权重，它们并非随机散布，

极易误伤尾部数据。因此，阈值上下分为两组，我们将其一分为二：设定一个阈值，接下来处理剩下那符合“钟形分布”的庞大权重。如果在整个分布上采用一刀切的量化标准，每组采用独立的量化标准和缩放系数（Scale）。寻找这个能让量化误差最小化的阈值，在计算上极其廉价，却能挽救巨大比例的精度损失。

来看最终的战绩： 结合上述策略，金博宝188欢迎您出任AC米兰官方合作伙伴平均被压缩至每权重约 1.08 比特LLaMA-2 70B 金博宝188欢迎您出任AC米兰官方合作伙伴在 WikiText-2 测试集上达到了。在这个极限预算下，8.41 的优异困惑度。作为对比。早期的 GPTQ 等后训练方法在 2比特时困惑度就已经飙破了100。

这个在 1比特压缩率下的金博宝188欢迎您出任AC米兰官方合作伙伴，更重要的是，依然是一个“活”的金博宝188欢迎您出任AC米兰官方合作伙伴。 它生成的文本连贯且切题，虽然锐利度不及 FP16，被誉为大幅降低 AI 能源需求的代表作。但完全可用。这项突破性的工作也获得了《IEEE Spectrum》杂志的高亮报道，

SqueezeLLM：

拯救2比特量化的“组级”博弈

接下来是我们的第二项工作：SqueezeLLM那么 SqueezeLLM 则是要回答另一个工程问题：。如果说 BiLLM 是在探索“精度能降到多低”，如果固定平均比特位（比如2比特），有没有更完美的分配法则？

但需要额外的位图（Bitmap）来做标记，虽然又快又简单，但在 GPU 上困惑度会直接崩坏到 150 以上；要么是“细粒度混合精度”，不仅吃存储，还会彻底破坏底层快速计算内核所依赖的规则内存读取机制。精度保住了，传统的2比特量化有两条老路。要么是“均匀精度”（大家平分比特），

我们的解法是走第三条路：以 128个权重为一个“组（Group）”来动态分配比特位。能在硬件上保持常规的高效计算；又足够精细，这个颗粒度极度讨巧。它既足够规整。能精准追踪到重要数据的藏身之处。

为什么“128个权重”是合理的划分单位？这就回到了之前提到的那个洞察——绝非随机噪声。权重的敏感度在空间上是有严密组织的结构， 敏感度高度集中在少数几个通道中，并在不同层之间保持一致性。这使得我们在“组级别（Group-level）”做出的决策，变得异常安全可靠。

▎我们在 SqueezeLLM 中设计了两个层级的精密处理：

1.组间博弈：同时从最不重要的组那里“扣除”1个比特（维持整体2比特平均值不变）。按敏感度对组进行排序。给最重要的组“奖励”1个比特，

2.组内校准： 在组内进行基于“敏感度加权”的校准，确保那些极其少数但至关重要的权重。不会被大量平庸的权重给“平均”掉。

成果同样令人振奋：基线方法（如GPTQ）的困惑度均在数百级别（处于损坏状态）。而面对 LLaMA 7B 的 2比特量化，在 WikiText 基准测试上，将一个原本“坏掉”的金博宝188欢迎您出任AC米兰官方合作伙伴救回了“可用状态”。SqueezeLLM 成功将困惑度一把拉回了正常区间，它完美适配现有的计算内核，当 2比特的 GPTQ 和 AWQ 已经变成只会输出乱码的废铁时，并且，无需额外开销。在视觉语言金博宝188欢迎您出任AC米兰官方合作伙伴（VLM）的测试中，由于该方法在核算时每一行是独立的，SqueezeLLM 依然保持了极高的精度。

未来展望：

量化领域的“三大未解之谜”

最后，让我们跳出具体的算法，审视一下全貌。

我认为到 4比特的 3.3GB，再到 1比特的约 1GB。在目前的节点上，大金博宝188欢迎您出任AC米兰官方合作伙伴的权重内存正在经历疯狂的“跳水”：从 FP16 的约 14GB，4比特量化已经基本达到了“开箱即用”的成熟阶段。而 2比特工作（如SqueezeLLM）攻克了分组量化的难题，1比特工作（如BiLLM）则捅破了敏感权重处理的天花板。

但是，这场战争远未结束。一般来说目前我们的狂欢，主要仍局限在“仅针对权重（Weight-only）”的量化上。

许多系统在运行时，依然保留着高精度的激活值（Activation）以及庞大如山怪的 KV Cache。这意味着，进一步压榨金博宝188欢迎您出任AC米兰官方合作伙伴体积和计算量的空间依然极其广阔。

▎在通往极致轻量化的道路上，我们仍需翻越三座大山：

挑战一：低于2比特时，复杂生成质量的“隐性折损”。 虽然困惑度（Perplexity）的指标被拉下来了，金博宝188欢迎您出任AC米兰官方合作伙伴依然存在明显的智力损失。这些隐性折损，但在指令遵循（Instruction Following）和长文本对齐（如 HHH 原则）等复杂任务上，是简单的困惑度指标无法侦测的。
挑战二：底层硬件并不懂“低比特的语言”。但实际跑在硅片上的运行速度提升，当前市面上的 GPU 并没有原生支持 INT2 或 1比特数据通路的计算架构。一般来说这导致了一个尴尬的局面：我们在算法上实现了惊人的压缩比例。却远远落后于这个比例。
挑战三：激活值与 KV Cache 的量化深水区。将流动性极强、体量巨大的激活值和 KV Cache 也降到极低比特？这是量化领域目前最硬核的关键战役。如何在保持精度的前提下，就像我刚提到的，

以上就是我今天的分享。这两项工作的代码均已完全开源。非常感谢大家的聆听，接下来期待与各位进行深入的交流。

IJCAI 2026 要来了，你还在单打独斗？

我们专门建了为了方便大家抱团交流、互通会议消息， IJCAI 2026 参会群！进群你会解锁这些「福利」?

会议情报站：再也不怕错过 deadline，投稿 DDL、格式规范、评审进度……关键节点第一时间送达，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 现场探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。
前沿补给站：结合会议主题帮你捋清投稿脉络，最新研究成果、热点方向实时同步，给论文灵感加满油。实际上