[原创] 强化学习框架 rlpyt 安装及试跑

查看关于 rlpyt 的更多文章请点击这里。

之前我写了一篇强化学习框架 rlpyt 的简介。通常，刚接触一个框架，在安装好它之后，一般都是要先把它的一个最简单的demo跑起来看看会不会有什么问题。所以在本文中继续讲一下安装以及试运行的过程。

▶ 安装
安装其实很简单，在 rlpyt 的GitHub主页上已经写得非常清楚。这里重复一遍：
✎ 拷贝代码到本地

git clone https://github.com/astooke/rlpyt.git

✎ 使用Anaconda安装 rlpyt（在这个过程中会安装其依赖的PyTorch）

cd rlpyt
conda env create -f linux_[cpu|cuda9|cuda10].yml

rlpyt 目录下有4个配置文件：linux_cpu.yml，linux_cuda10.yml，linux_cuda9.yml，macos_cpu.yml，取决于你要安装 rlpyt 的目标OS是什么系统，以及是否有GPU，以及CUDA的版本（使用 nvidia-smi 可以查看 CUDA Version），从而选择对应的配置文件。
另外：
✔ .yml 文件里的 Python版本定义的是 3.7，如果习惯用 3.6，改成3.6也可以。
✔ macos_cpu.yml 里的PyTorch没有定义版本，可以指定成 1.2。
✔ 如果执行 conda env create xxx 命令的时候提示“Segmentation fault”错误，可以先用 conda clean -a 命令清理，再重新执行一次应该就OK了。
文章来源：https://www.codelast.com/
▶ 试跑
✎ 切换到刚安装的Anaconda环境

source activate rlpyt

✎ 设置 PYTHONPATH 环境变量

export PYTHONPATH=path_to_rlpyt:$PYTHONPATH

其中，path_to_rlpyt 是git clone到本地的 rlpyt 的根目录路径。
文章来源：https://www.codelast.com/
✎ 选择一个最简单的例子来跑
examples/ 目录下有很多例子，它们是按复杂性来排序的，example_1.py 最简单，因此可以选择跑这个例子。注意 atari_dqn_async_*.py 这几个例子是要有GPU才能跑的，因为async模式只在有GPU的时候才有意义），所以如果你是在没有GPU的个人PC上跑的话，不要跑这几个async example。

cd examples/
python example_1.py

虽然 example_1 是最简单的例子，但偏偏跑它是最有可能失败的，有可能会遇到以下几个问题：
✔ glibc版本问题

ImportError: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /home/codelast/.anaconda/envs/rlpyt/lib/python3.6/site-packages/torch/lib/libshm.so)

def build_array(example, leading_dims, share_memory=False):
    a = np.asarray(example)
    if a.dtype == "object":
        raise TypeError("Buffer example value cannot cast as np.dtype==object.")
    constructor = np_mp_array if share_memory else np.zeros
    if not isinstance(leading_dims, (list, tuple)):
        leading_dims = (leading_dims,)
    return constructor(shape=leading_dims + a.shape, dtype=a.dtype)