凯西不会跳舞。至少现在还没有。但它最近迈出了第一步。你得先走再跑!

卡西是一个亮黄色的、两条腿的人类大小的机器人，它最近学会了用一种名为“卡西”的人工智能走路强化学习．

甚至在迈出第一步之前，来自加州大学伯克利分校的研究团队就使用模拟来查看它是否准备好在广阔的世界中首次亮相。研究人员分享了他们的研究成果麻省理工科技评论在文章中，忘了波士顿动力吧。这个机器人学会了走路。他们的研究双足机器人鲁棒参数化运动控制的强化学习，可用在这里．

波士顿动力公司令人印象深刻的视频让它看起来很简单

波士顿动力公司多年来一直在发布他们机器人的精彩视频，提高了人们对机器人移动的期望。去年年底，他们发布了一个视频跳舞机器人的视频已经被观看了3000多万次。

“这些视频可能会让一些人认为这是一个可以解决的简单问题，”加州大学伯克利分校的李中宇(音译)说麻省理工科技评论．“但要让类人机器人在人类环境中可靠地运行和生活，我们还有很长的路要走。”

强化学习

编程一个双足机器人在各种环境中行走所需的代码量是惊人的。与在光滑平坦的地面上行走相比，在岩石小径上上坡需要不同的控制和平衡。人行道与铺着地毯的走廊有不同的摩擦系数。

健壮性和多功能性是很难实现的。这就是机器人专家转向强化学习的原因。

研究人员报告说，稳定双足机器人的经典方法往往“缺乏适应环境变化的能力”。然而，强化学习使机器人能够通过试错自我学习。强化学习使Cassie能够在走路和跌倒时自我学习。

首先，学习虚拟行走

由于它们的体积和不稳定性，两条腿的机器人即使是最微小的失误也很容易绊倒和摔倒。因此，伯克利的团队让凯西在上路前在虚拟环境中学习。

试错法包括错误，通常是很多错误。但一个真正的机器人的故障可能是危险的，昂贵的，或两者兼而有之。物理上精确的模拟环境，例如Simscape多体^TM在将自动算法部署到昂贵的机器人硬件上之前，它有助于验证自动算法，而这正是伯克利的研究人员所做的。就像战斗机飞行员在控制昂贵的飞机之前在飞行模拟器中学习飞行一样，Cassie在模拟环境中学习走路。

该团队使用了两个级别的虚拟环境。首先，一个模拟版本的Cassie通过利用一个广泛的现有机器人运动数据库来学习走路。他们将这种模拟转移到第二个虚拟环境Simscape Multibody中，该虚拟环境以很高的精度复制了真实世界的物理。

机器人学会了许多不同的动作，比如蹲着走路、搬运东西、转弯和蹲着。一旦凯西证明了它的能力Simscape，将习得的行走模型加载到实际机器人上。

“真正的凯西能够使用在模拟中学习的模型行走，而不需要任何额外的微调。它可以在崎岖和湿滑的地形上行走，可以承受意想不到的负荷，也可以在被推后恢复过来。在测试过程中，Cassie还损坏了右腿的两个马达，但它能够调整自己的运动来补偿。”

-麻省理工科技评论

所以，虽然你必须在跑之前走，但事实证明，如果你是一个机器人，最好先在模拟中测试你是否准备好了走路。

欲了解更多信息:

• 要了解更多关于强化学习的内容，请查看这个生物启发独腿机器人．
• 要学习在Simscape中模拟物理系统的基础知识，请查看本文免费，两小时的入门教程．