强化学习开源库汇总

yikexiangsishu

本文主要汇总了目前斗劲受欢迎的强化学习开源仓库的信息，简要介绍了每个库中包含的算法、实现及状态等信息。

# Ray https://github.com/ray-project/ray
简介：Ray是UCBerkeley RISELab开发的分布式编程框架，此中的RLlib提供了很多的强化学习算法撑持。
算法覆盖度：斗劲全面，撑持常见的PPO、SAC、TD3、IMPALA、DQN等算法。
分布式撑持：撑持，Ray本身就提供了不错的分布式撑持。
后端撑持：TensorFlow + PyTorch
是否维护：是。
GitHub star：21.5k

# Baselines https://github.com/openai/baselines
# StableBaseline3 https://github.com/DLR-RM/stable-baselines3
简介：Baselines是OpenAI开源的基准RL算法库，StableBaseline3是Baselines目前还在维护的社区扩展版本。
算法覆盖度：斗劲全面，撑持常见的PPO、SAC、TD3、TRPO、TQC等算法。
分布式撑持：不撑持。
后端撑持：Baselines是TensorFlow，StableBaseline3则是PyTorch
是否维护：StableBaseline3还在维护，Baselines已经不维护了。
GitHub Star：12.8k

# SpiningUp https://github.com/openai/spinningup
简介：OpenAI的强化学习入门教程库，尽管包含的算法斗劲有限，但是讲解斗劲清晰，适合初学者。
算法覆盖度：一般，主要包罗PPO、DDPG、TD3、SAC。
分布式撑持：不撑持。
后端撑持：TensorFlow + PyTorch
是否维护：否。
GitHub Star：7.1k

# ACME https://github.com/deepmind/acme
# TRFL https://github.com/deepmind/trfl
# RLAX https://github.com/deepmind/rlax
简介：DeepMind开源的RL算法库，此中ACME中包含完整的算法实现，TRFL、RLAX则分袂是TensorFlow与Jax版本的RL loss函数的实现。
算法覆盖度：斗劲全面，主要包罗D4PG、MPO、IMPALA、R2D2、PPO、CQL、RND等算法。尽管RLAX、TRFL中还包含很多其他算法的loss实现，但ACME中没有包含完整的算法实现。
分布式撑持：撑持，DeepMind还开源了一些分布式训练有关的库。
后端撑持：TensorFlow + Jax
是否维护：是。
GitHub Star：2.7k

# ReAgent https://github.com/facebookresearch/ReAgent
# TorchRL https://github.com/facebookresearch/rl
# RLMeta https://github.com/facebookresearch/rlmeta
# TorchBeast https://github.com/facebookresearch/torchbeast
# RELA https://github.com/facebookresearch/rela
# ELF https://github.com/facebookresearch/ELF
简介：Meta的一系列开源RL库，搞不清楚为什么要做这么多库。
算法覆盖度：ReAgent主要包罗DQN、PPO、SAC、TD3、C51等，撑持分布式。
                    TorchRL主要包罗DQN、PPO、SAC、DDPG。
                    RLMeta主要就是DQN和PPO，通过moolib撑持分布式。
                    TorchBeast主要操作PyTorch实现了IMPALA算法， 撑持分布式，不在维护。
                    RELA主要包罗Ape-X和R2D2，提供了使用TorchScript进行推理加速的参考，不再维护。
                    ELF主要包罗A3C，操作环境并行与数据批措置实现加速，不再维护。
分布式撑持：ReAgent，RLMeta和TorchBeast提供分布式撑持。
后端撑持：PyTorch
是否维护：TorchBeast，RELA和ELF不再维护。
GitHub Star：3.2k

# Coach https://github.com/IntelLabs/coach
简介：由IntelLab开发的强化学习库，在实现中强调模块化与解耦。
算法覆盖度：斗劲全面，Rainbow、A3C、PPO、SAC、TD3等算法都有。
分布式撑持：否。
后端撑持：TensorFlow
是否维护：否。
GitHub Star：2.2k

# TF-Agent https://github.com/tensorflow/agents
简介：TensorFlow项目下的强化学习库。
算法覆盖度：一般，基本就是PPO、DQN、SAC、TD3这些算法。
分布式撑持：不撑持。
后端撑持：TensorFlow
是否维护：是。
GitHub Star：2.3k

# SEED RL https://github.com/google-research/seed_rl
简介：Google开发的分布式RL框架，主要提供框架的分布式思路。
算法覆盖度：一般，撑持PPO、IMPALA、R2D2、SAC等算法。
分布式撑持：撑持。
后端撑持：TensorFlow
是否维护：否。
GitHub Star：739

# Dopamine https://github.com/google/dopamine
简介：Google开发的强化学习库，主要撑持值学习方式。
算法覆盖度：一般，主要是DQN、C51、Rainbow、IQN、SAC等值学习的方式。
分布式撑持：不撑持。
后端撑持：TensorFlow
是否维护：还在维护，但是看起来没有增加新算法的筹算。
GitHub Star：9.9k

# DI-engine https://github.com/opendilab/DI-engine
简介：由上海人工智能尝试室主导开源的RL平台，好处是各种算法都非常全。
算法覆盖度：全面，除了PPO、IMPALA、SAC等RL算法外，还撑持QMIX、MAPPO等多智能体算法，GAIL等仿照学习算法，CQL、DT等离线学习算法。
分布式撑持：不撑持。
后端撑持：PyTorch
是否维护：是。
GitHub Star：632

# PARL https://github.com/PaddlePaddle/PARL
简介：百度开源的基于PaddlePaddle的RL算法库，里面也包含之前参加比赛的一些方案。
算法覆盖度：斗劲全面，撑持DQN、PPO、TD3、SAC、CQL、QMIX、MADDPG等算法。
分布式撑持：撑持。
后端撑持：PaddlePaddle，还有部门PyTorch的撑持。
是否维护：是。
GitHub Star：2.7k

# OpenSpiel https://github.com/deepmind/open_spiel
简介：DeepMind开发的棋牌相关的算法库，如果是有关不完全信息博弈相关的可以参考下。
算法覆盖度：在棋牌游戏方面斗劲齐全，CFR、MCTS等相关算法都有。
分布式撑持：不撑持。
后端撑持：TensorFlow + PyTorch + Jax
是否维护：是。
GitHub Star：3.3k

# IsaacGym https://github.com/NVIDIA-Omniverse/IsaacGymEnvs
# CuLE https://github.com/NVlabs/cule
简介：CuLE是一个GPU加速的Atari学习环境，IsaacGym则是一个GPU加速的机器人相关的物理引擎。
算法覆盖度：一般，项目的目的主要是为环境提供加速。
分布式撑持：不撑持。
后端撑持：PyTorch
是否维护：CuLE维护不频繁，IsaacGym还在维护。
GitHub Star：521

自杀664

都接触过，然后我觉得最优秀的你没有推荐

街道主任_

请问哪个最优秀？告知一下[红心]