摘要
论文Gradient Boosting Reinforcement Learning介绍了梯度增强强化学习（GBRL），它将梯度增强树（GBT）与强化学习（RL）结合。作者指出，尽管神经网络在各种任务中取得了显著成果，但它们通常缺乏可解释性，不适合处理分类数据或在边缘设备上实现轻量级应用。而GBT自然适合这些要求。GBRL将GBT的优势扩展到RL领域，在各种任务中实现了竞争性性能，尤其是在具有结构化或分类特征的领域。此外，作者还提供了高性能的GPU加速实现。
论文作者为来自Nvidia的Benjamin Fuhrer, Chen Tessler和Gal Dalal。
论文内容概要如下：
一、引言
引言强调了需要可解释并能够有效处理实际任务中常见的结构化和分类数据的RL解决方案。作者指出，当前基于神经网络的解决方案在这些要求上表现不佳。他们提出了GBRL，以利用GBT在RL场景中的优势，从而填补这一关键空白。
二、贡献
- GBT用于RL：展示了GBT在RL中作为函数近似器的可行性，通过实现各种actor-critic算法。
- 基于树的Actor-Critic架构：介绍了一种用于策略和价值函数的共享架构，减少了内存和计算需求。
- 现代GBT RL库：提供了一个基于CUDA的GPU加速GBT框架，可与流行的RL库无缝集成。
三、相关工作
本文讨论了GBT的相关工作及其在RL中的有限应用。它回顾了GBT在回归、分类和排序方面的进展，并将其与所提出的GBRL框架进行了比较。
四、预备知识
本节介绍了马尔可夫决策过程（MDP）和RL中的actor-critic方法的基础知识。还解释了GBT及其在函数梯度下降中的使用。
五、梯度增强强化学习
核心部分描述了GBRL如何将GBT适应于RL中的actor-critic算法。该方法涉及通过迭代地增长树的集合来优化RL目标。本文还解决了RL中的独特挑战，如非平稳状态分布和在线学习。
六、实验
实验旨在评估GBRL在各种RL任务中的表现，并与基于神经网络的方法进行比较。测试环境包括经典控制任务、高维矢量化问题和分类任务。结果表明，GBRL在结构化和分类环境中表现良好，但在Atari-RAM等非结构化任务中表现较差。
七、结果总结
- GBRL在结构化任务中与神经网络具有竞争力。
- 结合PPO（近端策略优化）的GBRL表现尤为出色。
- 像XGBoost和CatBoost这样的标准GBT库在RL任务中不如GBRL高效。
八、结论
本文总结道，GBRL成功地将GBT整合到RL工具中，提供了适用于结构化数据环境的可解释且高效的解决方案。未来的工作可能集中在解决如集成大小和计算效率等限制上。
九、限制和未来方向
作者承认存在集成大小增长和计算效率等挑战。他们建议探索树修剪、集成压缩和动态集成管理等潜在的未来研究领域。此外，将GBT与需要可微分Q函数的算法集成仍然是一个开放的挑战。
十、总结
论文介绍了一种通过将梯度增强树与强化学习相结合的创新方法。该方法解决了神经网络在可解释性和处理结构化/分类数据方面的局限性，提供了一种在特定领域具有竞争力的替代方案。提供的GPU加速实现和详细的实验突出了GBRL在各种RL任务中的实际应用性和优势。
GBRL on GitHub: https://github.com/NVlabs/gbrl