一句话指挥机器人组团打工,还能越干越聪明?这波物理AI有点夯


编辑|Red Panda 「小狗,去找你的好朋友瓦力,打个招呼。」收到指令,机器狗立马朝瓦力走去,主动打起了招呼。 再来一句:「给瓦力跳个舞吧。」好家伙,它还真跳上了。只见机器狗在展台上扭动身体,一段颇有喜感的舞蹈说来就来。 找朋友、打招呼、跳舞 …… 这只机器狗,是真听劝。 视频链接:https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw 10 月 20 日上午,2026 物理 AI 与世界模型大会在南京开幕。图灵奖得主通过视频分享前沿判断,院士与产业界嘉宾齐聚现场,一批创新成果也在展区集中亮相。 在爱思科技 ( Agnes AI )的展区,过去要让机器狗完成这样的动作,往往离不开人工遥控。现在,用户只需说出想要的结果,剩下的工作就交给 AI。 这背后究竟发生了什么? 展区的工作台给出了线索:机器狗的摄像头视角、设备状态、模型发出的工具调用,以及设备正在执行的动作,都被整合在同一个界面中。 原来,用户给出的是一句话,系统还要理解任务、观察环境、调用设备,再根据执行反馈推进下一步。 可这中间这条链路怎么打通? 爱思科技给出的答案,不只在模型里,还在连接模型与现实设备的执行框架中。 在自研的全模态模型基础上,他们构建了一套智能体运行框架,负责连接模型、工具、任务状态与执行流程,再通过设备接入协议 MHS(Model Hardware Standard,模型硬件标准),将这套能力延伸至物理硬件。 过去的机器人更多依赖遥控,爱思科技创始人杨通曾提到,而 Agnes Harness 希望让设备具备更强的自主决策与协作能力,学会沟通、思考并解决问题。 所谓 「万物共脑」 ,大抵也是这个意思。 沿着展台逛下去,我们发现,机器狗找到瓦力、主动打招呼,也只是一个切面。把每个可编程设备变成一个硅基生命,将技术野心转化为真实的生产力,才是这家公司想要的。 一句话就能指挥多台设备,咋做到? 让 Go2 用英语向小车打招呼,再让小车用英语回应。然后让小车播放《YMCA》,Go2 随着节奏跳舞 30 秒。 在现场一段演示里,机器狗 Go2 和机器人小车 Car01 接到了一项共同任务。 一句指令,同时涉及两台设备、多个动作,以及明确的执行顺序和时长要求。系统不仅要理解每一步要做什么,还得协调不同设备,把整件事办完。 Agnes Harness 是怎么拆解这条任务链的? 视频链接:https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw 从展示的工具调用记录来看,系统首先调用 list_media 查询音频资源,确认音乐文件存在。 随后分别调用两台设备的 look 功能,读取摄像头画面,检查现场情况。 接着,系统通过 say 功能安排双方用英语打招呼、回应。 问候结束后,小车调用 play_audio 播放音乐,Go2 通过 action 执行舞蹈动作。 每一步操作都会留下相应的工具调用记录,设备的执行状态也随之更新。 还有一个值得注意的细节。 第一段舞蹈结束后,系统发现用户要求的 30 秒时长尚未满足,于是继续发起下一段动作调用。 也就是说,一次工具调用结束,并不意味着整个任务结束。系统还需要对照最初的目标,检查当前进度,再决定下一步行动。 从查找资源、观察环境,到组织对话、协调音乐与舞蹈,Agnes Harness 做的,是把一句自然语言指令转化为一条能够持续推进的任务流程。 这背后的运作逻辑,离不开一套分工明确、协同运作的「人体系统」—— Agnes Harness 由大脑(LLM)、小脑(决策模型)、反射弧(Workflow)、记忆/主动性(Agent Loop)、学习能力(RSI/TTT)、身体(MHS)组成。 以模型能力为基础,Agnes Harness 组织任务与执行流程,通过工具及设备接口连接业务系统和物理设备。 大脑(LLM)负责想清楚要什么。面对用户需求,它要识别任务目标、梳理步骤关系,形成高层行动计划。 小脑负责结构化决策。JEV 模型会结合当前状态和可选行动,做出决策,与大脑分工协作,推动系统根据实际情况跟进任务。 反射弧(Workflow)负责把一连串动作串起来。 复杂任务往往涉及多个步骤,有些需要按顺序执行,有些则可以并行推进。Workflow 将这些环节组织起来,让前一步的结果能够衔接下一步。 Agent Loop 牢牢盯住任务,确保事情持续推进 。 它维护执行上下文与任务状态,记录哪些操作已经完成、工具返回了什么结果,还有哪些目标尚未达成,并据此决定接下来该做什么。这样,系统就不会因为一次工具调用结束而停下来。 至于机器狗、小车、机械臂这些硬件设备,它们才是负责干活的身体,需要通过统一的接入机制,才能被脑和中枢神经发现和调用。 而承担着连

about image