Google让四足机器人跟狗学习灵活的移动

Google在最新的机器人研究中,让机器人透过仿效动物的动作,以学习敏捷的运动方式,研究人员认为,他们的方法可以促进机器人的发展,让机器人足以完成现实世界中的工作,像是在多层仓库或是履行中心里运输物料。

Google提到,动物能够毫不费力地做出复杂的动作,一旦机器人也能学会这些灵活的动作,就能够部署在现实世界中,处理复杂的工作。目前的机器人技能,不少都是使用增强学习技术,但过程仍需要许多人工参与,而要设计其中的奖励函式,需要有丰富的专家知识,且每个机器人技能,都需要经过繁琐费时的奖励函式调校过程。

另外,将增强学习应用在有腿的机器人上,不仅演算法的效能要够好,还要有一个安全的机制,能够在倒下后自己站起来,过程不需要人类频繁的协助。因此研究人员提出了一个框架,以动物的运动剪辑影片,训练增强学习模型,使机器人可以在现实世界中模仿动物运动的控制策略。

由于研究人员使用四足机器人,所以采用狗作为机器人的动作导师,透过影片为系统提供不同的参考动作,训练四足机器人执行像是快速步行或是动态跳跃等各种敏捷动作。研究人员会先在模拟环境训练机器人政策,接着再使用自适应技术将训练好的政策,转移到真实世界中,该技术会利用真实机器人的资料,高效地自适应政策。

研究人员收集各种动物狗的运动影片剪辑,并使用增强学习训练控制政策,来模仿狗的动作,利用物理模拟训练政策,在每个时步追踪参照的运动姿势,透过对不同的参照动作使用不同的奖励函式,就能够训练同一个机器人模仿不同的动作技能。

但由于模拟终究是模拟,跟真实世界依然有差距,因此直接将模拟的结果,用在真实机器人上效果并不佳,研究人员使用潜在空间适应(Latent Space Adaptation)技术,将虚拟训练的政策转移到真实世界应用中;机器人可以利用少于8分钟的真实资料,就能让政策适应实际情况。

这项研究的成果惊人,四足机器人不只能从影片学会狗一般的走路、追尾巴转或是倒退走等动作,还能从动画师制作的动画中,学习动态跳跃转头等复杂动作。

Author: bwh