12B参数反超975B！Thinking Machines发布Inkling大模型的技术解析
核心事件
Thinking Machines发布了首款自研大模型Inkling，参数量高达9750亿，并同步开源。该模型最引人注目的特性是其轻量版本Inkling-Small（总参数276B、激活12B）在多项基准测试中超越了975B的大模型版本。
性能对比：小参数为何能反超？
根据官方数据，Inkling-Small在以下基准测试中表现突出：
| 基准测试 | Inkling-Small (12B) | Inkling (975B) |
|---|---|---|
| HLE带工具 | 46.6% | 46.0% |
| GPQA Diamond | 88.3% | 87.2% |
| IFBench指令遵循 | 83.4% | 79.8% |
| SWEBench Verified | 77.4% | 77.6% |
这一结果引发了行业关注：为什么激活参数仅12B的模型能在多项指标上超越975B的大模型？
技术架构分析
MoE架构设计
Inkling大体沿用DeepSeek-V3的MoE（混合专家）设计：
- 每层256个路由专家 + 2个共享专家
- 每个token激活6个路由专家
- 采用基于sigmoid的路由器和无辅助损失的负载均衡偏置
注意力机制创新
与传统Transformer不同，Inkling采用了独特的注意力机制：
- 滑动窗口层与全局层以5:1比例交错排列
- 配合8个KV头
- 使用相对位置嵌入而非RoPE，长序列外推表现更佳
- 在key/value投影后及残差分支汇入前加入短卷积操作
多模态处理
- 音频输入以dMel频谱图形式送入
- 图像被切成40×40像素patch通过四层hMLP编码
- 两者经轻量嵌入层后与文本token一起处理，不依赖外部编码器
可控思考深度：效率与性能的平衡
Inkling引入了"可控思考深度"(controllable thinking effort)设计，开发者可通过effort参数在0.2到0.99之间调节推理投入。
关键数据：在Terminal Bench 2.1（智能体编程基准）上，Inkling达到与Nemotron 3 Ultra相同分数时，生成的token量只有后者约三分之一。
对于需要大规模调用模型的生产场景，这意味着显著的成本和延迟下降。
训练过程揭秘
大规模强化学习
- RL规模达3000万次以上rollout，分两次长时间连续运行完成
- 起步阶段先用开源模型（包括Kimi K2.5）生成的合成数据做SFT引导
- 在AIME、HLE、GPQA等推理评测的留出集上，奖励值呈现log线性的持续增长
涌现现象：思维链压缩
随着RL推进，模型自动学会更简洁的思维链风格：
- 早期："We need to understand the operator"
- 后期："We need determine eigenvalue problem"（省略冠词和连接词）
团队强调这并非奖励函数刻意优化，而是效率压力驱动的自发压缩。
优化器策略
- 大矩阵权重用Muon
- 其他参数用Adam
- 权重衰减强度与学习率平方耦合，保持模型权重整体规模稳定
安全与校准能力
Inkling在安全性方面表现优异：
- FORTRESS对抗性测试78.0%，为同类开源模型最高
- 良性查询通过率95.9%，不存在过度拒绝问题
团队通过对大量已解决的真实世界问题使用proper scoring rules做强化学习来训练校准能力，并专门设计了带弃权感知奖励的短答事实QA数据集。
商业定位：不做最强，做最能改
Thinking Machines的收入来源主要靠微调，自研平台Tinker专门卖模型定制服务。
演示亮点：团队展示了让Inkling在Tinker上给自己写微调任务、自己跑训练、自己评估结果的操作，甚至可以调成禁止说字母e。
Inkling在设计竞技场Design Arena表现不错，排在开源模型中第二位，仅次于GLM5.2。可以一次性设计出9页的精美排版PDF。
开发者资源
- Tinker平台上线Inkling，提供64K和256K两种上下文长度选项，限时五折
- 同步更新cookbook，新增三个展示音频能力的微调教程
- 开源tml-renderer工具用于可靠采样和后训练中的工具调用、推理内容及多模态输入处理
- Tinker控制台内新增Inkling Playground限时免费开放
行业启示
Inkling的发布给AI行业带来几点启示：
- 参数不是唯一指标：通过优化训练方法和架构设计，小参数模型可以在特定任务上超越大参数模型
- 可控推理成本：effort参数设计为生产环境提供了灵活的性价比选择
- 开源生态价值：Thinking Machines选择开源9750亿参数模型，依托定制服务盈利，体现了不同的商业模式
- 自动化微调：模型能自我生成微调任务，代表了Agent化开发的趋势
目前Inkling正在完成最后测试，之后将释放全部权重。