配资合作网跳过“逐字生成”！蚂蚁集团赵俊博：扩散模型让我们能直接修改Token

蚂蚁来源：长江金融配资网站：富华优配官网日期：2025-12-16 13:59:58 查看：148

当主流大语言模型还在采用自回归架构时配资合作网，有人已经盯上了扩散架构。

在本次量子位 MEET2026 智能未来大会上，浙江大学百人计划研究员、博士生导师，蚂蚁集团资深技术专家赵俊博表示：

扩散架构在推理过程中可以直接修改和控制 token，而不需要像自回归模型那样重新生成整段内容。

这意味着，相比自回归模型，扩散模型理论上有望实现更快的生成速度以及更低的计算成本。

基于此，他和团队将重点押注于扩散架构，并致力于探索扩散语言模型独有的 Scaling Law。

而作为这一探索的关键里程碑，他们近期发布并开源了LLaDA 2.0，率先将扩散语言模型做到千亿体量。

赵俊博坦言，该领域在训练与推理层面仍处早期，但发展势头迅猛，已吸引包括谷歌、字节在内的巨头及一批初创公司积极布局。

编者注：就在 MEET2026 智能未来大会结束后，赵俊博和团队也发布了全新的技术报告，揭示了千亿体量扩散语言模型背后的关键技术选择。

报告标题：LLaDA2.0: Scaling Up Diffusion Language Models to 100B

报告链接（github）：https://github.com/inclusionAI/LLaDA2.0/blob/main/tech_report.pdf

为了完整体现赵俊博的思考，在不改变原意的基础上，量子位对演讲内容进行了编辑整理，希望能给你带来更多启发。

MEET2026 智能未来大会是由量子位主办的行业峰会，近 30 位产业代表与会讨论。线下到场参会观众近 1500 人，线上直播观众 350 万 +，获得了主流媒体的广泛关注与报道。

核心观点梳理

所有生成模型本质上都是在拟合数据分布。自回归模型提供了一种拟合方式，它将整体分布拆解为一系列遵循单向因果顺序的条件概率来逐步建模。但这种方式并不是唯一的路径。

开源模型 LLaDA 采用扩散语言模型架构，暂不考虑 MoE 的情况下，在相同的计算量和性能目标下，LLaDA 所需的参数规模可以比自回归模型更小。

扩散架构在推理过程中可以直接修改和控制 token，而不需要像自回归模型那样重新生成整段内容。

在计算受限情况下，LLaDA 采用"完形填空"式预测，相比自回归模型更为" hungry "，对数据需求更大、吸收数据更快。

LLaDA 与自回归模型的 Scaling Law 存在差异，已验证 LLaDA 可以扩展到千亿规模，但继续往上会面临新的挑战。

……

以下为赵俊博演讲全文：

押注扩散语言模型的 Scaling Law

大家好，今天我稍微讲点不一样的，来一场技术上的脱口秀。

刚才几位嘉宾已反复提及，目前主流的大语言模型几乎都基于自回归架构构建。但我接下来介绍的，我们最近开源的全新系列模型——架构完全不同。

要想了解不同之处何在，先让我们来厘清几个基本概念。

相信大家都很熟悉 Midjourney、Sora、Emu Video 等图像 / 视频赛道的热门模型，实际上，它们里面都有一个非常明确的机制叫扩散。

何谓扩散？简单来说就是加噪后再去噪，从噪声中恢复图像。

所有的 Auto-Regressive Model（AR，自回归模型）基本都遵循同一机制——给定前 N 个词，要求模型预测并生成第 N+1 个词，然后基于前 N+1 个词，再去预测第 N+2 个词，依此类推。

而扩散语言模型另辟蹊径，可能有些观众也知道这个东西叫 Masked Diffusion Language Models，我们看一下它的解码过程，简单来说它的机制不是"做接龙"，而是"做完形填空"。

如图所示，给定一句话之后我们会 Mask（遮盖）掉一部分词，再让它恢复，这就非常像我们小时候做的完形填空。

而我们现在要做的，就是 Diffusion Language Model（dLLM，扩散语言模型）的 Scaling Law。

为什么做这件事？其实这是我们的一个赌注。

本质上来说，所有的大模型只要是生成模型，都是对 P ( X ) ，也就是对本身数据分布的拟合。

自回归模型提供了一种拟合方式，它将整体分布拆解为一系列遵循单向因果顺序的条件概率来逐步建模。但这种方式并不是唯一的路径。

下图由新加坡国立大学 SEA AI 研究员Jinjie Ni提供，里面点明了几个非常重要的观点。

第一，在计算受限的情况下，基于"完形填空"这一方式进行预测的扩散语言模型，比一般的自回归模型需要的数据量更大，即所谓的" hungry "，在数据上能吃得更快。

第二，同样是 dense 结构（先不管 MoE），在参数和计算量相同的情况下，其实 dLLM 可以做得比 AR 更小。

所谓的" Super Data Learners "，如果了解图像或视频的扩散模型就会知道，它们有个特点——你可以一直训练。

比如我们现在所有的自回归模型，基本上训练到多个 epoch，效果就不再变动，数据也就这样了。

而在同样数据集、同样架构下，红色那条代表 Diffusion 的曲线可以一直训——跟图像领域观测到的现象一致，确实可以一直做训练。

第三是 Diffusion 独有的优势。都知道 CoT（思维链）和 RL（强化学习），或者说见识过 DeepSeek 上的深度思考过程。这个东西我之前做了个比喻，AR 像一个不能带草稿纸的考生：

进了考场之后不允许写提纲，跟下棋一样落子无悔，在解所有题的时候落笔无悔。写下一个 token 就钉死，再写下一个，没有给你任何机会回头修改。中间写错了有一个 CoT 的机制，就好像"突然有一个 token 说这个地方好像中间有一步算错了，我再重新开始"。

实际上这就解释了为什么会有 test-time scaling —— AR 在推理侧的 token efficiency 其实并不高，有一些简单的问题也要推理很久，生成很多 token。

如图所示，我们正在进行的研究叫Editable and Controllable Generation（等待跑通中），是指在 Diffusion 框架下，随时"做完形填空"、随时改；不像 DeepSeek-R1 或 OpenAI-o1 必须整段 token 推倒重来，我们可以直接在推理过程里改 token。