快讯科技财经汽车社会旅游娱乐时尚健康生活科学教育

热搜：极空间携手打包出售灵羊小咩便荔于古德伍德前5个月全远东酒店实第31届上海 2026央行一

首页 > 科技

斯坦福团队新作：喊话就能指导机器人，任务成功率暴增，网友：特斯拉搞快点

发布时间: 2024-04-08 08:54:59 来源：量子位

观看：328

来自ALOHA团队

斯坦福的ALOHA家务机器人团队，发布了最新研究成果——

项目名为Yell At Your Robot（简称YAY），有了它，机器人的“翻车”动作，只要喊句话就能纠正了！

而且机器人可以随着人类的喊话动态提升动作水平、即时调整策略，并根据反馈持续自我改进。

比如在这个场景中，机器人没能完成系统设定的“把海绵放入袋子”的任务。

这时研究者直接朝它喊话，“用海绵把袋子撑得再开一些”，之后就一下子成功了。

而且，这些纠正的指令还会被系统记录下来，成为训练数据，用于进一步提高机器人的后续表现。

有网友看了说，既然已经能朝着机器人喊话了，那汽车是不是也快点安排上，还在线点名特斯拉和其自动驾驶软件总监Ashok Elluswamy。

成果发布后，前谷歌机器人高级研究员Eric Jang，前DeepMind研究员、斯坦福客座教授Karol Hausman等一众大佬也纷纷表示了肯定和赞许。

那么，用喊话调整的机器人，都能实现什么样的动作呢？

喊话就能发号施令

利用YAY技术调教后，机器人以更高的成功率挑战了物品装袋、水果混合和洗盘子这三项复杂任务。

这三种任务的特点是都需要两只手分别完成不同的动作，其中一只手要稳定地拿住容器并根据需要调整姿态，另一只手则需要准确定位目标位置并完成指令，而且过程中还涉及海绵这种软性物体，拿捏的力度也是一门学问。

以打包装袋这个任务为例，机器人在全自主执行的过程中会遇到各种各样的困难，但通过喊话就能见招拆招。

只见机器人在将装袋的过程中不小心把海绵掉落了下来，然后便无法再次捡起。

这时，开发者直接朝它喊话，口令就是简单的“往我这边挪一挪，然后往左”。

当按照指令做出动作后，第一次还是没成功，但机器人记住了“往左”这个指令，再次左移之后便成功把海绵捡起来了。

但紧接着就出现了新的困难——袋子的口被卡住了。

这时只要告诉它再把袋子打开一点点，机器人就“心领神会”，调整出了一系列后续动作，并最终成功完成任务。

而且不只是能纠正错误，任务的细节也能通过喊话实时调整，比如在装糖的任务中，开发者觉得机器人拿的糖有点多了，只要喊出“少一点”，机器人就会将一部分糖果倒回盒子。

进一步地，人类发出的这些指令还会被系统记录并用作微调，以提高机器人的后续表现。

比如在刷盘子这项任务中，经过微调之后的机器人清洁力度更强，范围也变大了。

统计数据表明，机器人在经历这种微调之后，平均任务成功率提高了20%，如果继续加入喊话指令还能继续提高。

而且这样的指令-微调过程可以迭代进行，每迭代一次机器人的表现都能有所提升。

那么，YAY具体是如何实现的呢？

人类教诲“铭记在心”

架构上，整个YAY系统主要由高级策略和低级策略这两个部分组成。

其中高级策略负责生成指导低级策略的语言指令，低级策略则用于执行具体动作。

具体来说，高级策略将摄像头捕捉到的视觉信息编码，与相关知识结合，然后由Transformer生成包含当前动作描述、未来动作预测等内容的指令。

而低级策略接收到语言指令后，会解析这些指令中的关键词，并映射到机器人关节的目标位置或运动轨迹。

同时，YAY系统引入了实时的语言纠正机制，人类的口头命令优先级最高——经识别后，直接传递给低级策略用于执行。

且在这个过程中命令会被系统记录并用于微调高级策略——通过学习人类提供的纠正性反馈，逐渐减少对即时口头纠正的依赖，从而提高长期任务的自主成功率。

在完成基础训练并已经在真实环境中部署后，系统仍然可以继续收集指令信息，不断地从反馈中学习并进行自我改进。

作者简介

本项目的第一作者是斯坦福大学的学生研究员Lucy X. Shi，2019年毕业于人大附中后进入南加州大学就读计算机科学专业。

其间，Lucy曾到英伟达实习研究多模态大模型，并曾与知名AI学者Jim Fan博士合作。

她的论文曾连续两年被机器人顶会CoRL收录，还入选过NeurIPS，本人还被DeepMind邀请发表过演讲。

Lucy的导师Chelsea Finn是斯坦福计算机科学和电气工程系助理教授，谷歌学术论文引用数超4.7万，此前还在Google Brain工作过一段时间。

包括本项目在内，在ALOHA团队发表的一系列论文当中，Finn总是作为通讯作者出现。

此外，ALOHA团队的Tony Z. Zhao、Sergey Levine等研究人员，也是本文的共同作者。

论文地址：
https://arxiv.org/abs/2403.12910

南方财经全媒体记者吴立洋上海报道日前，2024中国家电及消费电子博览会（AWE）在上海新国际博览中心闭幕。作为一年一度的家电产业盛会，AWE既是各大厂商展示新技术与新产品的重要节点，也是科技日报从哈尔滨工业大学获悉，北京时间2024年3月20日8时31分28秒，“天都一号”“天都二号”通导技术试验星伴随探月工程四期鹊桥二号中继星任务搭乘长征八号遥三运载火箭从文昌航天发射场发射记者3月20日从西安交通大学第二附属医院获悉，该院皮肤病院夏育民教授科研团队研究设计了一种靶向抗双链抗体的D型模拟肽（D-ALW多肽）纳米微粒，成功应用于MRL/lpr红斑狼疮小鼠模型的治疗，为目前红斑记者3月17日从浙江大学获悉，该校医学院附属第二医院王良静教授团队、附属邵逸夫医院陈淑洁主任医师团队联合研究发现，一种肠道菌群产生的小分子代谢物吲哚丙酸，可以增强抗癌药物抗PD-1单抗对结 3月23日消息，京东与OPPO战略合作协议签约仪式举行，双方签订未来三年OPPO在京东全渠道实现销售额同比增长100%的目标。在签约仪式上，OPPO高级副CEO、首席产品官刘作虎表示，2024年线上突破是OPPO中国区作为月之暗面的创始人，杨植麟常把他的AGI梦想形容为“登月计划”，长文本就是这个伟大计划的第一步。但现在，随着Kimi的爆火出圈，赛道瞬间变得拥挤，24小时内，阿里、360、百度紧急“出手”，纷。

本文链接：斯坦福团队新作：喊话就能指导机器人，任务成功率暴增，网友：特斯拉搞快点http://www.sushuapos.com/show-2-4629-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：游戏周报：沐瞳科技与拳头游戏握手言和；索尼互娱总裁Jim Ryan正式退休

下一篇：抱抱脸Open了OpenAI的秘密武器，网易参与复现

斯坦福团队新作：喊话就能指导机器人，任务成功率暴增，网友：特斯拉搞快点

喊话就能发号施令

人类教诲“铭记在心”

作者简介

热门资讯

推荐资讯

科技最热文章