148GB 砍到 22.1GB，740 亿参数模型塞进笔记本，老黄把软硬件一起端上来了

2026年10月18日

老黄这次是真把模型和电脑一起端上来了。英伟达开放了 Nemotron 3.5 Bolt 的模型权重，原本约 148GB，一刀砍掉约 85%，压到 22.1GB。另一边，搭载 RTX Spark 的笔记本在 10 月 16 日全球发售，联想、微软等厂商的新机正式登场。模型瘦身的目标很明确：让 740 亿参数的家底，在 24GB 级本地部署的笔记本上也能跑起来。

Bolt 每次生成 token 只激活约 90 亿参数，但 740 亿参数都备着，工具调用、图片和视频输入都支持，代码和图表也能交给它读。在英伟达自己的测试里，量化版 Bolt 在 Terminal-Bench 2.1 拿到 50.98%，在 BrowseComp 拿到 66.75%——一个考终端操作，一个考上网找信息，都是 Agent 接活时绕不开的功课。Ollama 已经列出 OpenClaw、Hermes 等框架的启动入口，也就是说，开发者能让熟悉的 Agent 直接换上本地模型，联网搜索照常联网，推理则交给自己的电脑。

瘦身的过程挺曲折。Bolt 的底子来自这次一起发布的 1200 亿参数 Nemotron 3.5 Super VL，后者面向企业 Agent，图表、文档、视频都能读。团队先把模型从 1200 亿参数压到 740 亿，再把受损的能力练回来。麻烦出在看屏幕上——父模型在 ScreenSpot Pro 得分 41.6%，刚压缩完、还没补视觉训练的 Bolt 直接掉到 0。于是用每轮约 660 万张图像训练视觉适配器，再做视觉任务微调，把成绩拉回 39.79%。眼力补回来了，体积还没过关，740 亿参数按 BF16 精度保存，光权重就约 148GB，连最高 128GB 统一内存的 RTX Spark 笔记本都装不下。

真正压体积靠的是量化。专家权重压到约 2bit，其他部分保留不同精度，再用「量化感知蒸馏」向教师模型补课，权重终于瘦到 22.1GB。装得下还得跑得快，Bolt 请来一个叫 LiLiCorr 的小模型先打草稿，主模型再成批验收。在英伟达的代码生成测试中，搭载 RTX Spark 的 128GB 版 Surface Laptop Ultra，让 Bolt 跑到了约 84 token/s。

不过，22.1GB 只是权重的账单。真到了配电脑的时候，还要给缓存、视觉模块和加速小模型留位置。按 Unsloth 的短上下文建议，32GB 内存或统一内存可作为规划起点，48 至 64GB 更宽裕。Artificial Analysis 拿 Ling 3.0 Flash 量化后来试这道门槛，光权重就有 77GB，64GB MacBook Pro 和 32GB 显存 RTX 5090 都装不下，128GB 的 RTX Spark 笔记本还能继续跑。旗舰显卡也会遇到这种尴尬，算得再快，模型太大照样进不了门。

RTX Spark 的硬件层面，Blackwell RTX GPU 和 Grace CPU 集成在一颗超级芯片里，CPU 与 GPU 共用最高 128GB 统一内存。英伟达把 OpenClaw 和 Hermes 列进了发售时的应用生态，并提供引导安装。这台电脑也不只养 AI，RTX Spark 首发支持数百款游戏，Photoshop 和 Premiere 的原生支持也通过首发测试版提供，处理完 AI 任务还能接着剪片、玩游戏。

还有更小的一档在路上。Nemotron 3.5 Bolt E4B 4GB 计划 10 月 23 日推出，面向本地语音助手、交互角色等场景。Super VL 接企业里的复杂活，Bolt 把日常 Agent 任务搬进笔记本，E4B 再去照顾更轻巧的设备。老黄的算盘很直接：开放模型，让更多 AI 任务用上用户手边的 GPU；新电脑开卖，再把这份需求接过来。

本地 Agent 跑起来之后，那点体感确实是实在的：文件、工具和负责推理的模型在同一台电脑上碰头，少了一趟趟往云端的来回。模型少走一次弯路，屏幕前的人就少等一轮。至于省下来的时间最后拿去干什么，那就是另一回事了。

相关链接