告别CPU，加速100-1000倍！只用GPU就能完成物理模拟和强化学习训练( 二 ) 编译|王晔校对|青暮IsaacGym由英

为了解决这些瓶颈问题，我们提出了IsaacGym——一个端到端的高性能机器人模拟平台。它可以运行一个端到端的GPU加速训练管道，使研究人员能够克服上述限制，在连续控制任务中实现100倍-1000倍的训练速度。
IsaacGym利用NVIDIAPhysX提供了一个GPU加速的模拟后端，使其能够以使用高度并行才能实现的速度来收集机器人RL所需的经验数据。它提供了一个基于PyTorch张量的API来访问GPU上的物理模拟结果。观察张量可以作为策略网络的输入，产生的行动张量可以直接反馈给物理系统。我们注意到，其他研究人员最近已经开始尝试使用与IsaacGym类似的方法，在硬件加速器上运行端到端训练。
通过端到端方法，包括观察、奖励和动作缓存的整个学习过程可以直接在GPU上进行，无需从CPU上读回数据。这种设置允数以万计的模拟环境在一个GPU上同时进行，使研究人员能够只使用一个小型GPU服务器就能解决以前无法完成的任务，轻松地在桌面级计算机上运行以前需要在整个数据中心才能进行的实验。
IsaacGym为创建和填充机器人及物体的场景提供了一个简单的API ，支持从常见的URDF和MJCF文件格式加载数据。每个环境可根据需要被复制多次，并且同时保留了副本的可变性（例如通过DomainRandomization来合成新数据）。在不与其他环境互动的情况下，这些环境可以同时进行模拟。而且，研究人员用一个完全由GPU加速的模拟和训练管道降低了研究的门槛，使其可以用一个GPU解决以前只能在大规模CPU集群上实现的任务。
IsaacGym还包括一个基本的近似策略优化（PPO）执行和一个简单的RL任务系统，用户可以根据需要替换其他任务系统或RL算法。虽然一些研究使用PyTorch ，但用户也应该能够通过进一步的定制与TensorFlow训练库整合。图2提供了该系统的概览。

文章图片
图2：IsaacGym管道的图示。 TensorAPI为Python代码提供了一个接口，可以直接在GPU上启动PhysX后端，获取和设置模拟器状态，从而使整个RL训练管道的速度提高100-1000倍，同时提供高保真模拟和与现有机器人模型连接的能力。
2表征模拟性能
研究人员首先将模拟性能描述为环境数量的函数。当改变这个数字时，目的是通过按比例减少horizonlength（即PPO的步骤数，计算奖励前智能体的执行步骤数）来保持RL智能体观察到的整体经验不变，以便进行公平的比较。虽然我们在后面提供了许多环境的详细训练研究，但这里只描述了Ant、Humanoid和ShadowHand的模拟性能，因为它们足够复杂，可以测试模拟的极限，也代表了复杂性的逐步增加。这三种环境都使用前馈网络进行训练。
蚂蚁（Ant）

文章图片

文章图片
图3：蚂蚁实验的奖励和有效FPS与并行环境的数量有关。最佳训练时间是在8192个环境和16个horizonlength的情况下实现的。
研究人员首先用标准的蚂蚁环境进行实验，在这个环境中，训练智能体在平地上运动。我们发现，随着智能体数量的增加，训练时间如预期的那样减少了，也就是当把环境的数量从256个增加为8192个（增加了5个数量级）后，使得达到7000奖励的训练时间减少了一个数量级，训练时间从1000秒（约16.6分钟）减少到100秒（约1.6分钟）。然而，请注意，蚂蚁在单个GPU上仅用20秒就达到了3000奖励的高性能运动。
由于蚂蚁是最简单的模拟环境之一，如图3(b)所示，每秒并行环境步骤的数量可高达700K 。由于horizonlength减少，当环境数量从8192增加到16384时，没有观察到收益。