AI帮助双足机器人学会自行行走，还可以旋转和跳跃加速

编译| 熊大宝

编辑| 李水清

智动智4月19日报道，近日，加州大学伯克利分校的一个研究团队打造了一款两足机器人（Casey），它可以通过AI强化学习来学会自己行走，而不是通过直接编程或模仿来学习。

与传统的经典模型方法相比，强化学习不需要建模。 相反，它使用AI学习框架以“试错”的方式进行自主训练，类似于婴儿学习走路。 它主动适应环境，逐渐进行敏捷、稳定、多样的行走。 行动。 除了行走之外，它还会不断学习跑步、跳跃等新技能，还可以实现自动速度调节。

未来，基于AI强化学习技术，运动机器人也将变得更加敏捷。

1.AI模拟训练学会走路，无需像婴儿一样摔倒从头开始

双足机器人的形状与我们的腿相似，比其他形状的机器人更容易进入为人类设计的城市环境。

为了帮助人们学会像人类一样独立行走，研究小组将这个过程想象成婴儿学习走路。 虽然婴儿不会直接学会站立和行走，但他们可以通过一次又一次的站立、跌倒、迈步来记住行走的步骤，并最终学会直立行走。

学习走路也是如此。 但为了防止机器人在学习过程中摔倒损坏实际硬件，研究团队采用仿真转实传输技术在仿真环境中进行训练，在高保真模拟器中进行评估，最后进行部署给机器人。

在模拟中，机器人接收到直立行走等描述目标的信息后，AI引擎可以帮助它记住行走步骤，在此基础上添加更多信息，最终学会直立行走。 此外，它还可以学习如何在轻微滑倒时防止跌倒，或者如何在被侧面推动时恢复。

一旦机器人学会在模拟中行走，研究人员就会将这些知识转移给机器人进行现实世界的操作。 在后续实践中，研究人员计划继续在机器人中进行强化学习，看看它能走多远。

2.步态库中的强化学习，让步态更加灵活稳定

基于强化学习（RL）方法，研究团队希望通过系统学习的方法学会更敏捷地行走。 强化学习自动跟踪机器人，又称强化学习、评估学习，是一种在环境交互中以“试错”方式实现特定目标的智能体学习。

在此之前，研究人员经常控制双足机器人进行机械建模。 但该方法难以对复杂地面进行建模，机器人缺乏适应环境变化和运动稳定性的能力。

基于强化学习的行走控制器

RL方法训练策略允许机器人模拟步态库中的步态，并通过随机训练增加其行为的多样性。 这种多样性的增加可以应对过去无法建模的地面摩擦变化等环境因素，并在随机环境中保持灵活性和鲁棒性。

3. AI追踪行走环境，自动调节行走速度和高度。

基于RL方法，研究人员建立了自适应速度行走控制器。

该控制器可以通过AI跟踪步行环境并给予其适当的步行策略。

不同场景下的步行策略

在实验中，它能够执行各种敏捷行为，例如快速向前和向后行走、侧向行走、改变行走高度以及偏航时转身。

此外，它还可以从路障等外部随机干扰中恢复。

结论：AI强化学习帮助机器人移动更敏捷

基于步态库的参考动作，AI强化学习可以帮助双足机器人学习行走、转弯、蹲下等运动状态，并跟踪其行走环境，实现自动调速、转弯等功能，让机器人更好地实现运动过程中所需的性能。 灵活性和稳健性。

未来，AI强化学习也将在此基础上帮助双足机器人等机器人学习更加动态、敏捷的行为，帮助它们轻松应对复杂、未知的环境。