英伟达发布最新AI AgentEureka，搭载GPT-4模型，实现多项复杂任务

英伟达的研究团队近日发布了一项令人瞩目的成果——全新的AI AgentEureka。Eureka搭载了强大的GPT-4模型，通过生成奖励函数的方式，使机器人能够完成多项复杂的任务。这些任务不仅包括一些常见的动作，如转笔、打开抽屉、抛球等，还包括一些看似简单但实则难以实现的动作。

Eureka的成就令人瞩目，尤其是在转笔这项技能上。对于人类来说，转笔是一项需要依靠大量练习和技巧才能掌握的技能。即便依靠人类逐帧制作动画，也难以达到Eureka所展示的高水准。研究结果显示，Eureka在超过80%的任务中都超越了人类专家，使机器人的平均性能提升了50%以上。

Eureka的关键创新在于采用了一种混合梯度架构，结合了无梯度的情境学习和强化学习。这个系统充分利用了GPT-4的零样本生成、代码编写以及上下文改进功能，对奖励执行策略进行优化。在外循环中，GPT-4细化奖励函数，而内循环则使用强化学习来训练机器人控制器。这种方法让机器人能够通过强化学习来掌握复杂的技能，而不需要特定的提示工程和奖励模版。

Eureka还支持一种新形式的上下文强化学习，它能够将人类操作员的反馈融入自然语言中，以引导和调整奖励功能。在对29种不同的开源RL环境进行基准测试时，Eureka在83%的测试中超越了人类，并实现了52%的改进。这些测试环境包括10种不同的机器人形态，如四足机器人、四旋翼机器人、双足机器人和机械手等。

最令人惊讶的是，Eureka在处理复杂、高维电机控制的任务上表现更佳，有时甚至与人类奖励的相关性负相关。这表明它的策略在某些情况下比人类策略更为有效，类似于AlphaGo在下棋策略上的表现。

这项研究由英伟达、宾夕法尼亚大学、加州理工学院和德州大学奥斯汀分校的研究人员合作完成，其中近半数研究人员都是华人。这一成就为机器人学习和强化学习领域带来了革命性的突破，也引发了广泛的关注和期待。