添加新评论

单步91%,串起来就露馅

单步91%,串起来就露馅

十一月初,arXiv 上挂出一篇苹果的论文,名字挺长,《Perceptive Humanoid Motion from Simulation》。说的是让人形机器人去一个没提前扫描过、也没建过图的陌生房间里干活。系统叫 HALO,最后拿来做验证的本体是宇树的 G1。

传开得最快的数字是 91%:六个真实环境,三百六十次单项任务,平均成功率 91%。转发出去的标题基本都写成"苹果披露机器人大脑进展"。

我是把论文往下翻的那类人。往下翻看到的是另外两组数。三种组合任务,每种跑十次,平均 70%。里面最长那条链,俯身绕过障碍、走到目标前面、再把箱子推开,十次里成五次。

91%、70%、50%。这三个数排在一起,比单个 91% 有意思得多。

这不是机器人的毛病,是看数字的习惯

单看 91%,我觉得是很能打的成绩。做这行的都知道从仿真搬到真实环境要掉多少,能不靠预建地图就把动作做下来,本身就说明控制那一层稳了。

问题出在这三个数被拆开用的时候。

车间里这笔账早就算过。一道工序良率 91%,听着挺好。四道串起来,0.91 乘四次,不到七成。做制造的人从来不为某一道 91% 高兴,他问的是最短那道在哪。

我们的漏斗也这么骗过人

我做的是理财业务的前端,天天跟漏斗打交道。一个定期产品的申购链路:卡片曝光、点进详情、选金额、确认、支付完成。单看每一步的转化,除了最后一环,前面几环都能有个八九成,报表上很好看。整条拉通,剩下的点位数个得过来。

有一年我们专门做了"每步都提一点"的优化,前四步各抠出一两个点,大盘基本没动。漏得最狠的那一段没人碰。原因是那一段要动支付和风控,前端排期排不进去,谁都不愿意去开那个口。

还有一回更直接。AB 实验上线,页面上所有单点指标全绿,显著正向。业务大盘纹丝不动。这种事在我们这边不是孤例,后来团队看数据有个不成文的顺序:先看整条漏斗,再回头挑单点。

机器人的 91% 和 50%,跟我们报表上的"每步九成的漏斗",是同一种东西。

91% 里有多少人垫的

回到论文。我觉得最有价值的一句话反倒没什么人引用:新增物理任务仍然需要人工写提示词、设计动作关键帧,部分动作还用了人类视频或者动捕素材。

也就是说那个 91%,不太是"机器自己学会了一百件事",更像"人把动作定义清楚之后,机器把执行这一环做稳了"。

这不丢人,真的。演示阶段本来就是这么过来的。但宣传口径应该不一样。

我现在判断一个模型或者 Agent 到底通不通用,只问一个问题:接一个新场景,人要往里写多少东西。

如果每个新场景都得重新写提示词、标关键帧、补素材,那脚手架还在楼上,只是外面刷了层漆。这条不只对机器人成立。今年看了好几个号称"通用"的 Agent,一问新增业务场景的接入成本,答不上来。

十次样本,其实分不太清

组合任务每种只有十次测试。十次成七次和十次成五次,中间的置信区间宽得吓人。

说实话,70% 和 50% 这两档,我现在的把握是分不清。可能是样本本来就少,也可能这几条链难度差别没那么夸张。作者团队在论文里把这些数字写得很朴素,没往大了说;简化成"91%"是转发那一步发生的。

扯远了,回来。

同一个星期还有两条相关的消息。一条是国内一家人形机器人公司的负责人讲,用现在最好的多模态模型直接让机器人去抓一个大件,成功率接近百分之百,但精密装配差得远,这块大概一两年能解决。另一条是英伟达那边十月中旬放出来的一项研究,大意是通用大模型本身就带一点通用拾取放置的能力。

我的读法有点不一样。做手机的、做模型的这些"没有本体"的公司往机器人里挤,同时本体厂商在说"简单活早会了,难的是毫米级"。这两拨人讲的不是同一件事,但都成立。前者在证明大脑可以复用,后者在说身体的精度是另一道墙。哪边先撞墙,我现在看不准。

看到漂亮数字,先问三句

粒度是谁定的。链条几步。样本多少。

这三句不问,91% 和 50% 在你眼里是同一个数字。

如果团队里正在把 AI 功能往生产推,我会建议验收口径别只写"单场景准确率"。补一条"跨场景连着做几步",跑一周真实数据再谈上线。这条我自己也没完全做到,我们今年的指标还是偏单点,正在改。

另一条是给汇报用的:那页 PPT 上,把 91% 和 50% 放同一页。只留好看的数字,早晚被人拆穿。谁拆穿不重要,重要的是拆穿通常发生在你已经排了三个月之后。

还剩一个问题我暂时没想明白。一个能力,单步成功率要高到什么程度,才可以开始谈链条;什么时候还不到谈的时候,因为链条本身会被单步拖死。今年这问题碰到过几次,还没攒出一个答案。

You voted 1. Total votes: 7