前言：

本文基于之前进行一次整理的调研工作（不过现在基本上每个框架我也都用过），想着写的还挺详细的整理一下分享

不过肯定还要很多疏漏和不足之处，还多多望批评指正！

Orbit vs Gym

issac lab的framework 实际上是orbit的，但是isaac sim update到了4.0所以原来siaac sim 2023.1.1上面的orbit迁到isaac sim4.0变成了isaac lab

Orbit采用模块化设计，可通过逼真的场景和快速准确的刚体和变形体模拟，轻松高效地创建机器人环境。通过 ORBIT，我们提供了一套难度各异的基准任务–从单步开柜和折布到多步任务（如房间重组）。为了支持不同的观察和行动空间，我们将固定手臂和移动机械手与不同的物理传感器和运动发生器结合在一起。借助基于 GPU 的并行化技术，ORBIT 可在几分钟内从手工或专家解决方案中训练强化学习策略和收集大型演示数据集。总之，我们提供了一个开源框架，其中包含 16 种机器人平台、4 种传感器模式、10 种运动发生器、20 多个基准任务以及 4 个学习库的封装程序。通过这个框架，我们旨在支持各种研究领域，包括表征学习、强化学习、模仿学习以及任务和运动规划。

统一模块化

orbit的统一模块化设计使得创建具有逼真场景和高保真度的机器人环境变得简单高效（不过得在熟悉各种接口的基础上才会简单

ORBIT的模块化特性使其易于扩展，支持未来的更多任务和应用。

之前使用的体验是：模块化主要体现在orbit的代码框架把一类任务比如manipulation放在一块配置，不同于使用omni的时候每一次新的任务都得全部再配置一遍；但是用户理解和使用一个模块化系统可能需要更长的时间；

多种学习方式，多样化基准任务、多阶段任务

ORBIT支持强化学习（RL）、从演示学习（LfD）、运动规划等多种机器人学习范式，比Isaac Gym更加全面；

ORBIT包含超过20个基准任务，涵盖从简单到复杂的多种任务；

ORBIT支持多阶段任务，例如房间重组等，可能比Isaac Gym更加适合复杂的任务和长期学习过程。

PBR Tracing，GPU加速的并行化

PBR Tracing

基于物理的渲染过程。 PBR是一种着色和渲染技术，用于更精确的描述光如何与物体表面互动。

虽然Isaac Gym也利用了GPU进行加速，但ORBIT通过利用NVIDIA Isaac Sim的GPU加速实时物理渲染和最先进的物理引擎，可能在仿真真实性和渲染质量方面有所提升。

利用基于GPU的并行化，ORBIT可以在几分钟内训练强化学习策略，并收集大量来自手工制作或专家解决方案的演示数据集。

动力学支持

Deformable objects：Isaac gym没有，isaac sim支持

传感器

Orbit4种传感器模式，相对于Gym有对于LiDAR支持；

机器人平台

ORBIT支持16种机器人平台，这比isaac Gym提供的选择更多

Gym无Mobile-M

ROS/ROS2

Gym不支持

Orbit vs Omni

Orbit、Omni isaac gym envs均在isaac sim2023.1.1上，Orbit相对于omni主要在于统一、模块化设计，更多基准任务的拓展方面优势

Isaac lab vs Orbit

新版本Isaac sim还可通过兼容性检查器轻松集成 VSCode、为强化学习提供多 GPU 支持、通过 RTX 传感器平铺渲染提高性能、优化缓存和着色器管理。

• 首先对于Isaac lab个人只有亲自使用过才知道的不同点发现：

  • 代码框架：RL训练框架分为direct和manager 2种，direct和之前的OIGE（omni isaac gyym envs）比较像（基本一毛一样），manager模块化程度极高，和Orbit一样的；总体来说就是OIGE+Orbit结合版！如果有使用过原来的框架的话，代码迁移起来比较容易

  • 传感器：Lab中支持TiledCamera，能够加载更多场景；起码原来OIGE只加载32个带camera训练的，lab里面放的官方example直接上了256个，而且还要Depth版本和RGB版本训练的，可以说相当方便了！

Isaac Sim 的其他新功能包括：

• 易于使用 PIP 安装和用于导入机器人等的向导。

• 合成数据生成 (SDG) 速度提升高达 80%，从而提升性能

• 支持 COCO 格式和用于姿态估计的自定义写入器的新 SDG 格式。

• ROS 2 启动支持，提供端到端工作流程，并为基于图像的发行商提供更好的性能。

• 更多内置机器人支持：包括 Universal Robots UR20、UR30 和 Boston Dynamics Spot.还有许多人形机器人，包括 1X Neo、Unitree H1、Agility Digital、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 Xiaopeng PX5。

具体的人工智能模型需要大量的真实和合成数据，NVIDIA Isaac Lab 是一个基于 Isaac Sim 平台构建的GPU 加速、轻量级、性能优化的轻量级参考应用程序，专门针对机器人学习进行了优化，适用于机器人基础模型训练。Isaac Lab 针对强化、模仿和迁移学习进行了优化，并且能够训练集所有类型的机器人实例，包括 NVIDIA 今年 GTC 上推出的 Project GR00T 人形机器人通用基础模型。

其他对比

	Isaac gym envs	Omni isaac gym envs	orbit	Isaac lab
发布时间	2021	2023？2022	2024.2	2024
仿真器	Isaac gym已经停止维护，但是用起来简单	Isaac sim 2023.1.1，目前应该sim4.0去clone也没问题		Isaac sim 4.0+
模型格式	URDF and MJCF files	usd文件，可以在sim中将urdf转usd
仿真内容	provide fast and reasonably accurate rigid-body contact dynamics but do not include physically-based rendering (PBR), deformable objects simulation or ROS support [15] out-of-the-box. ——机械臂没有deformable-body manipulation	rigid and deformable body simulation fulfill these gaps through GPU-accelerated real-time PBR and state-of-the-art physics engine.
			16 robotic platforms, 4 sensor modalities, 10 motion generators, more than 20 benchmark tasks, and wrappers to 4 learning libraries
渲染效果	无高保真的渲染
ROS/ROS2	×	√
Running in the cloud		running in the cloud using Isaac Automator
sim2real	√
Future work			渲染速度：ORBIT 可以显著地模拟高达125,000帧每秒的物理效果；然而，相机渲染目前受限于总计270帧每秒，这是在RTX 3090上十个相机同时渲染640×480图像的结果。尽管这个数字与其他框架相当，但我们正在通过基于GPU的加速积极提高渲染速度。 模拟器（如渲染、传感器和物理）保真度：刚性接触建模和软体有限元方法的有效性，但定量研究整个模拟器（如渲染、传感器和物理）的保真度仍是未来探索的领域 集成触觉传感器和六轴力矩传感器 增加对原生文件（如URDF和OBJ）的支持，而不是USDs

Isaac sim不断更新的缺点：在文件格式转换的时候（urdf-->usd）不同版本的sim导出的usd文件放到高版本里面可能会出现问题