这台一个人做的 3D 小短片,动捕和实时语音都来自他自己的表演
Hacker News 上挂了个 Show HN 项目,标题叫「I'll Call You Later」,一个跑在浏览器里的交互式 3D 短片。本来这种 solo 作品我一般扫一眼就划走,但这个有点不一样,因为它把两件通常很难凑在一起的事做进了同一个东西里——真正的 AI 动捕表演,加上一段能实时对话的语音。
作者是 Jashwanth Palleti,一个人做完的。故事很短,深夜的车里,城市街道,红灯,车流,一通电话。不需要安装,直接用浏览器打开就能跑,技术栈是 React 加 Three.js,通过 React Three Fiber 搭的。
真正让我停下来细看的,是角色动作怎么来的。他没拿现成动画库来填,而是自己用手机录像,把这段影像喂给 AI 做人体姿态估计,转成 SMPL-X 的骨骼动作,再重定向到一个 3D 角色上。也就是说,屏幕上那些动作其实是作者自己的表演,连声音也是他自己的。脸是 3D 角色模型,不是扫他自己的脸。这个管线放在两年前几乎是独立开发者很难碰的东西,现在一个人用现成工具就能串起来,挺说明问题的。
再往后还有一段交互层。短片结尾,你可以直接用语音跟角色说话,他会以角色身份回答,用的是 LiveKit 加 OpenAI 的实时语音。作者还留了个 guide 模式,在 film.jashtechno.com/?director 那个入口可以问他这个片子是怎么做出来的,直接语音对话的入口则在 ?talk 那个参数后面。相当于观众不只是看,还能在结尾跟这个角色聊两句,问做工过程也行。
技术细节上,质量档会适配设备,作者自己说最好在桌面端 Chrome 配耳机看。他公开求的反馈集中在三点:动作本身、低端设备上的性能表现、还有语音对话的体验。这个反馈清单其实暴露了这类项目的真实痛点——动捕表演好不好看、低配机器跑不跑得动 WebGL、实时语音链路稳不稳,这三个问题几乎决定了这种「可对话 3D 短片」能不能从 demo 变成能日常打开的东西。
我不确定这套姿态估计到 SMPL-X 的管线具体用了哪些开源库,材料里没细说,但这不妨碍它作为一个信号被读:当一个能自己上镜、自己配音、再把 AI 动捕和实时语音打包进浏览器的独立项目出现时,「一个人做一部可交互影片」这个组合,已经不再需要动画公司级别的预算了。
浏览器里跑 3D 加上实时语音,最容易被吐槽的其实是体验崩在低端设备上。作者自己也把低端机性能列为求反馈的重点,说明他心里有数。这类项目最怕的就是桌面端好看、手机一开就卡成幻灯片,所以质量分档和设备的自适配成了藏在表面下真正的功夫。