GPT、Claude指挥机器人干活，到底几斤几两？首个评测榜单来了
机器人前瞻10月15日消息，美国AI基准测试公司Artificial Analysis于昨日发布了名为AA-Robotics v0.1的新评测标准。
这家企业表示，该评测现阶段仍处于研究预览状态，主要目的是检验前沿大语言模型在物理世界中的理解、规划及执行水平。
团队在v0.1版本中设置了抓取、物体摆放、按按钮等8项桌面操作任务，让GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon等前沿大语言模型，通过编写代码直接操控一台6轴机械臂来执行操作。
桌面操作任务
该研究团队公布了8项任务的成绩。在AA-Robotics v0.1中，GPT-6 Astra以69分位居榜首。
随后依次是GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5和Claude Fable 5.1。
GPT-6 Astra完成每项任务平均耗时30分钟，花费16.36美元（约合人民币109.49元）。
尽管模型已能操控机械臂，但测试结果显示，其速度和成本目前仍无法满足生产需求，与人类基准相比，差距接近两个数量级。
01.8项桌面操作任务，检验大模型对机械臂的操控能力
自2026年初以来，前沿大语言模型操控机械臂的能力取得了显著进展。
研究团队认为，未来的机器人很可能由强大的通用智能体驱动。因此，他们设计了AA-Robotics v0.1基准测试来验证这一方向。
评测让运行在编码智能体框架中的大语言模型，直接控制机械臂。
此次测试仅向模型提供简短的操作说明，包括如何通过HTTP API连接机械臂、机械臂型号，以及如何提交任务并宣告完成。
评测中使用的机械臂是Hiwonder NexArm，一款6轴机械臂，包含5个关节和1个夹爪。
模型可通过4个摄像头观察场景，其中3个安装在桌子周围，另一个位于机械臂的腕部。
观察场景后，模型还能在隔离的代码运行环境中编写并运行代码，用于运动规划，并将运动指令发送给机械臂。
AA-Robotics v0.1任务流程
在AA-Robotics v0.1评测中，主要包含8项桌面操作任务，包括：
- 控制与灵巧操作，精准抓取和操作物体，例如进行积木整理；
- 空间推理，理解不同物体之间如何相互作用，例如把饮料倒进杯子里；
- 适应能力，用于评估模型面对意外情况时的应对能力。
桌面操作任务
当模型提交任务后，系统会根据任务设定的通过标准对最终状态进行评分。
完成任务可得100分，若未完全完成，则根据完成程度获得相应部分分数。
评测过程中，所有任务均尝试采用零样本（zero-shot）方式进行，模型未针对每项任务进行专门训练，仅根据任务要求完成操作。
02.模型能操控机械臂，但问题在于操作时间过长
从测试过程来看，模型已能操控机械臂，目前问题在于，模型操控机械臂完成任务需耗费大量时间和成本。
评测结果显示，当前语言模型完成AA-Robotics v0.1任务的速度，大约只有人类的1/100。模型平均每项任务完成时间约为30分钟，而人类平均仅需20秒。
整体来看，5个测试模型中有4个表现相近，平均每项任务约需30分钟，其中Gemini 4 Argon最慢，平均需52分钟。
任务完成平均时间
其原因是，模型在任务开始阶段，会花费大量时间校准机械臂并理解场景，这一过程会持续到模型采取第一次行动。
第一次行动后，大部分时间用于运动规划。相比之下，机械臂真正执行动作的时间反而较短。
不过，不同模型间也存在差异。例如，GPT-6 Astra仅用2.2分钟就按下了红色按钮。
按下红色按钮任务
相比之下，Claude Fable 5.1花了约10分钟理解场景并进行规划，之后才采取第一次行动。
在摆放一个鳄鱼玩具的任务中，这种差距更加明显。
摆放鳄鱼玩具任务
GPT-6.1 Sol在任务开始5分钟后就宣告完成，但Claude Opus 5.5则花了45分钟。两者完成时间相差9倍。
在所有任务中，Gemini 4 Argon是任务完成最慢的模型。它平均需花费21分钟观察场景并进行推理，之后才开始采取第一次行动，这一完成时间几乎是其他模型的两倍。
同时，测试中研究团队还发现，模型在已达成任务通过状态后，往往仍会继续优化操作，甚至持续很长时间。例如，GPT-6.1 Sol在约17分钟时已搭建出一座符合要求的塔。但随后它继续操作，最终反而导致任务失败。
这个例子也暴露出，让机器人完成任务，需解决的不只是“怎么做”的问题，还有“做到什么程度才算结束”的问题。
模型未来能否进一步提升对物理空间中任务完成状态的判断能力，还有待观察。
03.GPT-6 Astra拿下第一，但成本最高
抓取和精细操作是AA-Robotics v0.1重点测试的能力。在抓取和精细操作测试中，GPT-6 Astra和Claude Fable 5.1的表现最好，两者成功完成任务的比例最高，约为45%。这表明它们具备一定程度的精细控制能力。
抓取和精细操作测试中各模型表现
GPT-6.1 Sol的表现最差，成功率仅为28%。Gemini 4 Argon的成功率为36%，处于两者之间。
与此同时，速度和成本仍然是模型进入生产场景最大的障碍之一。与时间差距相比，人类与模型之间，成本差距较小。
在成本上，成本最低的模型，其完成任务的成本约为按照美国平均时薪计算的人类成本的10倍。而在时间上，模型与人类之间的差距接近100倍。
此外，不同模型之间的成本也存在差异。尽管GPT-6 Astra的表现最好，但同时它的成本也是最高的。
任务完成平均成本
GPT-6 Astra平均每项任务成本为16.36美元（约合人民币109.49元）。而成本最低的模型GPT-6.1 Sol，平均每项任务成本仅为1.93美元（约合人民币12.92元）。
在成本上GPT-6 Astra是Sol的8倍，但最终得分只高出4分，分别为69分和65分。
值得注意的是，目前模型大部分成本都来自输入，因为考虑到机械臂和测试场景都比较新颖，同时模型需要处理大量视觉信息，所以约70%的成本用于处理上下文信息。开云体育全站作为行业参考，其技术路径也值得关注。
04.结语：时间、成本、判断力，大模型操控机器人的三道门槛
在AA-Robotics v0.1测试中，模型通过摄像头观察环境，结合视觉信息进行推理，控制机械臂完成了任务。
但对于模型和机器人来说，时间和成本依旧是实际操作和落地过程中的硬伤，与人类操作相比仍存在明显差距。
同时，模型对于物理空间中任务完成状态的判断能力也仍需增强。
在研究团队公布出的失败案例中，有的机械臂将物体摆放在对应的位置，明明已经完成了任务，却又将物品反复抓取，无法判断任务是否已经完成，还延长了操作的时间。
更重要的是，当机器人进入真实环境后，还需处理更多的不确定性，面对包括物体位置变化、抓取失败以及任务状态判断等问题。
因此，如何提高模型的操作效率、降低使用成本，并提升其对任务完成状态的判断能力，仍是后续需解决的问题。
本文来自微信公众号“机器人前瞻”，作者：刘俐杉，编辑：许丽思，36氪经授权发布。