电信系开源 29B-A4B 编码模型 Xing4.0:全 Ascend 训练、256K 上下文,还带 SWE-bench 75 分

扫一眼 Xing4.0-29B-A4B

昨天扫 Hugging Face 的时候刷到 Venastine-Research 上传的 Xing4.0-29B-A4B-GGUF,光 GGUF 模型本月下载就有 1.4 万多次。这个 Xing 系列其实是老熟人——TeleChat 的换代,现在由中国电信人工智能科技有限公司在维护。让我停下来多看两眼的,一是它号称同规模里第一支全程在昇腾 NPU 上用 MindSpore 训出来的模型,二是一堆 Agent 和编码 benchmark 的分数,看着有点凶。

它是个什么路数:29B 总参、每 token 只激活 4B,走 MoE,64 个路由专家、每 token 激活 4 个,另带 1 个共享专家。注意力用 MLA,40 层,原生 256K 上下文,官方说能扩到 512K。架构上写了 mHC + MLA + MTP,主打多步规划、工具调用、长上下文下的复杂推理链执行。这些词看着绕,落到实际就是它想干的活是 Agent、是编码、是那种一步接着一步、上下文越来越长的工程任务,而不是一问一答的聊天机器人。

训练侧看点比较实在。它跑在昇腾 910C 上,配合 MindSpore/MindFormers,做了一堆细粒度 MoE 通信优化、选择性重计算、DVM 自动图算融合、以及昇腾 C 的 mHC 融合算子。官方给的数字是全套优化下来,训练吞吐比开箱状态提升了大约 96%。同等算力时间下多出近一倍吞吐,对算力账单敏感的团队来说是实打实的账。

部署和生态兼容这层也铺得比较全。推理能用 vLLM、SGLang、KTransformers,微调支持 LLaMA-Factory 和 MindFormers,还专门对齐了 OpenCode、Claude Code、OpenClaw、Hermes 这些 Agent 框架。也就是说它不光给权重,还想着让手上的 Agent 工作流能直接切过去跑,不用返工适配。对想拿它做垂直应用的人来说,轻量微调到意图分类、合同审查、表格理解、知识库问答这些场景,门槛设计得比较低。

benchmark 要提醒一句:全是官方自测,参考价值有,但别当最终结论。分数里最抓眼的是 SWE-bench Verified 75.00,直接压过 Gemma4-26B-A4B 的 53.00,和 Qwen3.6-35B-A3B 的 76.00 差不多咬在一个量级。Agent 相关的 Terminal-Bench 2.1 拿了 57.50,比 Gemma4 的 30.00 高出近一倍,也比 Qwen3.6 的 51.50 高;DeepresearchBII 60.80 也是三家里最高。Claw-Eval 76.55、AA.LCR 61.00 也都不错。但它的 AIME2026 90.00 是三家里最低的,IFBench 69.67、Tau3-Bench 64.63 也排在后面——这其实很正常,一个面向 Agent 和工程任务调优的模型,纯推理和指令跟随本来就不是它的强项。SWE-bench Multilingual 66.00 也略低于 Qwen3.6。

这些分数背后有条件,官方标注得还算清楚:SWE-bench Verified 用的是 210K 上下文窗口,Terminal-Bench 是 24 小时超时取 3 次平均,DeepresearchBII 开了 Exa MCP server,上下文 256K。这些高分是在很宽的上下文、很长的 token 预算下跑出来的,跟现实里一个 Agent 任务在有限预算内能不能稳定跑完,是两个问题。别拿分数直接换算成「我本地部署也这样」。

GGUF 量化档位从 2-bit 的 IQ2_M(9.9GB)一路到 16-bit 的 F16(62.5GB),中间 Q4_K_M 19GB、Q6_K 25.7GB、Q8_0 33.2GB,还带了 MTP 变体。想在本地跑的人,按显存挑 Q4 或 Q5 基本够用,32G 显存的机器都能跑一跑。

一个保留意见放在最后:这个模型权重是 Venastine 仓库上的第三方 GGUF 量化,base model 是 XingChen-AGI/Xing4.0-29B-A4B,官方 GitHub 在 XingChen-AGI 名下。我还没看到这份 X4.0 专门的系统训练报告,论文引用里挂的还是 TeleChat3-MoE 和 TeleChat2/2.5 那两篇老论文。所以关于昇腾训练细节、96% 吞吐提升这些说法,出处只有 model card 本身,谨慎当「厂商自述」看待比较合适。模型本身能开源、能把 Agent 分数堆到这个位置,这个趋势倒是真的。