皮克斯老大拿中国相机扫园区,禾赛这套「三维数据引擎」到底在憋什么大活?
皮克斯园区那盏经典大台灯,被一台中国相机扫进了 3D 世界
旁边的彩球、树木,连地面的光影一起被记录下来。操刀的人是皮克斯 RenderMan 创意负责人 Dylan Sisson,相机来自禾赛,名叫 Kosmo。把电影公司的园区扫描进电脑,乍看像一次技术炫技,可顺着这条线往下看,会发现它和最近 AI 圈最热的方向撞到了一起。
这里得先把一件容易被忽略的事说清楚:AI 要走出屏幕,得先有一个靠谱的地方练手。就在文章写的这个时间点,刚开放的 Gemini 4 Argon 已经被谷歌用于探索机器人任务,官方演示里波士顿动力的 Spot 先在仿真环境练习踩垃圾桶踏板,再去现实里把易拉罐丢进去。而电影人也有类似的烦恼——眼前这条街很漂亮,怎样把它完整带进电脑,让导演随时换机位,让艺术家接着改?
10月14日,禾赛正式发布三维世界数据引擎 Kosmo 与云平台 Kosmo World,同时推出全球首款集成 8K 影像系统的 AI 空间相机 Kosmo One。一家以激光雷达闻名的公司,开始把真实世界转成可反复使用的三维数据。影视创作与具身智能看似隔着十万八千里,却在这里找到了交集。
皮克斯的「御用渲染器」用它干了什么
要搞懂 Kosmo 的杀伤力,得先看看它在皮克斯手里掀起了多大的风浪。皮克斯旗下的 RenderMan 是好莱坞绝对的「御用神级渲染器」,从《玩具总动员》开启电脑动画时代,到后来的《阿凡达》《星球大战》《曼达洛人》,几十年里拿下无数奥斯卡最佳视觉效果奖。而它的灵魂人物之一 Dylan Sisson,前阵子提着一台禾赛的 Kosmo 空间相机,走到皮克斯加州总部的标志性广场上,把那盏巨型台灯(Luxo Lamp)和经典红黄蓝三色球扫进了电脑。
传统好莱坞团队要把这样的实景搬进电脑做特效,得安排一支几十人的专业扫描和测绘团队,架着重型设备在现场待上好几天,拍成千上万张不同曝光的照片,再由高薪模型师花两三个星期手工拓扑、贴图、抠细节。Dylan 拿着 Kosmo 在短时间内完成微秒级的数据采集,数据导入 Houdini,再接入 RenderMan 28 测试版的渲染工作流。凭借 3DGS 技术与激光雷达的毫米级精度融合,皮克斯广场的每一寸地砖、跳跳灯金属外壳上的斑驳反光,被完整还原在数字空间里。他甚至用 RenderMan 的风格化渲染工具做了艺术二次创作,把真实大楼变成带手绘笔触、油画质感的世界,还专门出了一套官方教学案例。
好莱坞找上门其实在禾赛计划之外。CEO 李一帆坦言,Kosmo 本来是为机器人训练做的,影视圈的热情是品质带来的「意外惊喜」。皮克斯负责渲染的老大给的评价是:这类技术一直存在,但从没见过完成度这么高的产品。
几百万搭的景,它一周搞定
对剧组来说,这条路径还有个很实在的吸引力:省工夫,也省预算。过去拍电影,剧组最怕勘景和搭景:主创满世界飞,勘景动辄吃掉前期筹备预算的 30%;搭一个上万平米的欧洲街景,施工队要干上两个月,烧掉几百万上千万,拍完一拆全成建筑垃圾。现在用 Kosmo,一个人一天就能完成现场数字化采集,勘景成本有望从前期预算的 30% 直降到 5%;万平米的街道实景,扫描加重建编辑只需一周,综合成本能省下高达 80%。更关键的是,场景里的每棵树、每扇窗都变成了可交互、可编辑的三维资产,白天随时调成黑夜,灯光能重新布置,补拍时直接调出已有资产在虚拟棚里拍就行。
这台设备某种程度上是被客户「逼」出来的。测绘、建筑行业不断来要更高精度的激光雷达,从几厘米做到毫米级,东西够好就愿意多付钱。但一颗高精度雷达只是开始,客户还得配齐摄像头、惯导和计算平台,再整合成一套系统。禾赛于是决定把这套集成工作也接过来,直接做成一台完整的设备,连里面那颗激光雷达都是为毫米级精度和小体积重新开发的。
普通相机也能拍照片、录视频,Kosmo One 多做了哪一步?看一张桌子的照片你能认出桌子,可要知道桌沿离机器人多远、台面多高,或恢复拍摄时相机的位置,还需要额外空间信息。Kosmo One 把激光雷达、8K 影像系统、一英寸大底 CMOS 和高精度 IMU 装进同一台设备:雷达测距离,影像记录颜色和纹理,IMU 跟踪设备运动,对空间几何、影像与设备位姿做微秒级同步采集,重建系统再拼成三维场景。其中的关键技术叫 3D Gaussian Splatting,简称 3DGS。它的做法说起来「很土」:扫描时把各个角度的光都采一遍,拼成一个信息量高得多的模型,从哪儿看都是真实的那一面,镜头可以在重建空间里移动。
需要说明的是,8K 指镜头本身的最高采集分辨率,最终导出成片最高是 6K。几何精度达到毫米级,普通室内 100 平米大概 15 分钟能扫完,具体看户型复不复杂、要求高不高;开机直接扫,中间有智能引导,断了能一键续扫,数据扔给 Kosmo World 云平台跑就行。
机器人上课,得把距离算准
电影里一处场景首先得让观众相信,机器人走过去还得知道哪里能走、哪里会撞、伸手能不能碰到目标。假设它要拿起柜台上的杯子,训练场景里杯子位置偏了一截,再好看的画面也救不了抓空的手。禾赛 CTO 向少卿把这个难题概括为数据的「不可能三角」:高质量、大规模、低成本,很难同时拿到。照片视频记录了画面,距离、相机位姿和真实空间关系还要额外获取;纯仿真能批量生成,材质、摩擦和形变却容易偏离现场;真机遥操足够真实,又要投入设备、人力和时间。李一帆举过例子:同一个场景让纯视觉模型重建,桌子歪了椅子歪了,因为全靠概率猜,200 个特征猜对 150 个就没法用,激光雷达能把 200 个全做准。
Kosmo World 底层的 Kosmo Spatial Core(KSC)会在一次重建中生成三种空间对齐的数据:3DGS 还原场景外观,mesh 表达物体表面与结构、为拆分物体和设置碰撞交互打基础,depth 记录空间距离、帮助把物体落在准确坐标上。三种数据来自同一个场景,机器人眼里的柜台和仿真系统里做碰撞计算的柜台必须待在同一位置。KSC 还能识别每个物体的语义属性,把静态模型变成可交互的智能对象,没扫到的盲区由原生 AIGC 自动推断补全,甚至能根据具体机器人自带相机的特性做视觉适配。
在发布会现场,禾赛晒出一个已经跑通的真实商业闭环——Sharpa 机器人在 DQ 冰淇淋门店打冰淇淋。「在 DQ 打一杯暴风雪冰淇淋」对机器人来说简直是地狱级考题:门店灯光复杂、不锈钢机器表面全在反光、取杯子力道大了会捏扁、接冰淇淋位置偏两毫米就洒一地。过去专业团队人工建模还原一家门店约需 300 个小时,现在拎着 Kosmo 进店 15 分钟扫完直接生成高保真三维训练场。Sharpa 机器人在数字孪生门店特训后,真机上岗失败案例跌到原来十分之一,任务成功率飙到 99%。禾赛三位联合创始人李一帆、向少卿、孙恺也共同创立了 Sharpa,同一支创始团队恰好连接起空间数据采集和机器人使用数据的两端。现场 Kosmo 还与银河通用、原力灵机签订战略合作。
对世界模型来说,这样的门店还有另一种用法:让 AI 在脑子里「逛店」。基于同一个精准三维空间,KSC 在云端能自动衍生上万条机器人训练轨迹。按禾赛测算,相比用真机采集高质量轨迹数据,花同样的钱,Kosmo 的数据获取效率能提升 100 倍以上,具体幅度随场景规模、轨迹数量和参数设置变化。李一帆把 Kosmo 称为「顺 AI」的产品:AI 越强能解决的问题越多,反而越需要真实世界的原材料,纯 AIGC 只是拿已有信息反复「编」,不会带来新信息。如今同一份真实空间数据正流向更多工作流,禾赛面向 RenderMan、Houdini、UE 等创作平台,以及英伟达 Isaac Sim、Isaac Lab 等机器人仿真平台开放数据与三维资产。9 月云栖大会上,Kosmo 与近 10 亿月活的高德达成战略合作,首批重建的「重美术馆」「偏锋画廊」已上线扫街榜「飞行街景」;文旅这边与联合国合作伙伴 TRIC 合作,以成都杜甫草堂为蓝本打造沉浸式数字艺术作品。
李一帆那句「数字AI已经起飞,而物理AI的基础设施仍亟待建设」,道出了 Kosmo 背后的另一层野心。他说这并不叫「转型」,转型是造飞机的去卖大米,而禾赛攒下的光机电设计、定制芯片和成本质量体系本来就不只属于汽车,往机器人走是能力的外延。禾赛给自己划了两条路线:三维世界数据引擎把现实变成训练与创作素材,Kosmo 是这条路线的首次系统性产品化落地;机器人运动引擎让机器真正动手,核心是动力模组。驱动和关节占掉一台机器人一半以上成本,相当于电车时代的电池,而此前根本没有成熟供应链——第一批做灵巧手的团队,小马达得从电动牙刷里拆。采用禾赛动力模组的 Sharpa Wave(W01)触觉灵巧手具备 22 个主动自由度,已进入英伟达 Isaac GR00T 人形机器人参考方案;按公布数据,其动力模组体积比同类缩小 37%,功率密度提升至 3 倍,截至 2026 年第二季度末已交付超过 1 万套。
过去十年禾赛做的是让机器看见世界,下一个十年的口号是让机器人理解并改变世界。皮克斯拿它的相机搞创作,机器人用它的数据练干活,世界模型也有了真实参照。下一场考验就在真实的柜台前——AI 要走出来干活,得先把这个世界学明白。
相关链接
- 原始报道:https://www.aiera.com.cn/asi-post.html?id=118892