Aleph Alpha 发布 Kolibri-1:78B 参数只激活 3.46B,Apache 2.0 的首个「德英双语」主权推理模型
Aleph Alpha 在 10 月 3 日把 Kolibri-1 丢到了 Hugging Face 上,Apache 2.0 许可,权重直接可以拉。这家德国公司给它的定位写得很直白:一个主攻德语和英语的「sovereign open-weight model」。对看惯了中美厂商刷榜的人来说,这条新闻的分量不在跑分数字本身,而在它是欧洲自己拿出来的东西——模型、tokenizer、训练管线全是自家研发的。
先说工程上最扎眼的一点。Kolibri-1 是 78B 总参数的 MoE,但每个 token 只激活 3.46B。这意味着它的计算成本接近一个 3B 的小模型,同时保留了七八十亿量级的容量。它用 4:1 的滑动窗口 GQA 注意力来控制长上下文的成本,384 个专家每层路由 6 个。推理上挂的是 aleph-alpha-inference 这个 vLLM 插件,一条 vllm serve Aleph-Alpha/Kolibri-1 命令就能带着 reasoning 和 tool calling 跑起来,上下文默认 262k,想上到 1M 就加个 --max-model-len 1048576。
上下文这边它能顶到 1,048,576 tokens,官方自己的建议是复杂任务和追求吞吐的服务保持在 262,144 以内,别拿满配硬撑。训练量也给得实在:20T token 预训练,加 3.44T 中训和 201B 的长上下文阶段,768 张 B200 跑 21 天,算力账单是 6.4e23 FLOPs,总能耗估算约 9.5×10² MWh。
对中文读者来说,真正值得读的不是这些参数,而是它对德语的执念。Aleph Alpha 专门做了一套叫 UniBPE 的 tokenizer,用 Unigram 目标去选 BPE 合并,针对德语这种爱拼复合词的语言做压缩,训练数据里德语占了 23.9%。官方给的数据是德语压缩到 4.7 bytes/token,英语 4.2,两边都没明显牺牲。这种深度优先于广度的取舍——只做两门语言而不是一百门——是它跟大厂通用模型最不一样的地方,也是最像「主权模型」的地方。
推理和 agent 这块它做得比较完整:有显式的 reasoning mode,reasoning_effort 可以调 low / medium / high,也能直接关掉;tool calling 是 Hermes 风格,跟 reasoning 能叠加,函数 schema 走标准 OpenAI 兼容接口传。在 Agentic 类目上它的 EN 平均拿到 63.4,跟同量级最强的打平,TerminalBench 和 Tau 系列也都在第一梯队。官方还在模型卡里专门说明,Kolibri 是给人审完再执行的协作系统,不是无人值守自治系统——这是对着 EU AI Act 写的责任边界,国内团队搭 agent 时也可以拿它当个参考。
跑分表里有句值得留意的自白:RL 训练里它明显做了政治偏见的过滤和消解,专门提了训练语料里混过中文模型生成的数据、会带来某种倾向。这不是贬损谁,是它在公开文档里承认一个现实风险并给出缓解措施。看模型卡看惯了的人,会知道这种坦白比把一切包装得像白纸更可信。
权重授权是 Apache 2.0,但模型卡末尾有一行免责声明:许可只覆盖仓库里的权重和配置文件,不延伸到背后的代码、架构、训练方法。也就是说你拿到的是能跑的模型,Aleph Alpha 保留训练工艺的知识产权。这对想完整复现研究的人是个提醒,对只想部署产品的人影响不大——部署需要的都在。
对想做德语市场、或者要德英混合业务的团队来说,Kolibri-1 是目前开源阵营里少见的原生双语选择,EU AI Act 合规和公共部门场景是它明摆着的卖点。至于它能不能在欧洲的政务、工业、法务这些场景里真正立住,还取决于后续生态和客户案例,一次发布说明不了全部。权重已经在仓库里躺着,拉下来跑跑看,成本也不高。