原文：

1. Gym安装 安装

本人环境是.04 + + .6.2

git clone https://github.com/openai/gym
cd gym
sudo pip install -e .[all]

这里pip -e .[all]是安装所有的，如果不想这么做可以pip -e .安装基本项，之后手动安装所需要的。注意要使用管理员权限来安装，否则会报错！

安装完成后，我们运行一个小的demo验证是否顺利安装，这里用-v0 下的1000帧验证：

import gym
env = gym.make('CartPole-v0')
env.reset()  #重置环境
for _ in range(1000):  #1000帧
    env.render()  #每一帧重新渲染环境
    env.step(env.action_space.sample()) # take a random action

运行结果应当是这样的：

正常来说我们应当在立杆滑出屏幕之前把环境停止掉，之后的会介绍。

如果想看看别的环境是什么样子的，可以将-v0替换成-v0, -v0等，这些环境都来自Env基类。

可以查看 Gym所有环境的列表：

from gym import envs
print(envs.registry.all())

2. Gym使用 （观察）

上面的例子中，是随机的，如果想要在每个步骤中做出比采取随机行动更好的，那么实际了解对环境的影响可能会很好。

环境的step 函数返回需要的信息，step 函数返回四个值、、done、info，下面是具体信息：

每一个时间步长，Agent 都选择一个，返回一个和。

下面这个示例通过调用reset来启动，它返回一个初始。 所以要改进代码的更恰当的方法是当done返回为True，终止当前的：

import gym
env = gym.make('CartPole-v0')
for i_episode in range(20):
    observation = env.reset()
    for t in range(100):
        env.render()
        print(observation)
        action = env.action_space.sample()
        observation, reward, done, info = env.step(action)
        if done:
            print("Episode finished after {} timesteps".format(t+1))
            break

结果与之前不同的是每次立杆将要倒下去，环境重置，并且每帧返回也就是立杆位置的观察信息。

这段代码中，每次done返回True（立杆将要倒下去的时候）重置环境，然后每一帧都返回来监视当前模型。

（空间）

之前的示例都用了随机，那么这些是如何表示的呢？每个环境都带有描述有效动作和观察结果的一级Space对象：

import gym
env = gym.make('CartPole-v0')
print(env.action_space)
#> Discrete(2)
print(env.observation_space)
#> Box(4,)

space 允许固定范围的非负数。这个例子里，立杆的运动只有向左和向右，因此在这种情况下，有效的动作是0或1. Box空间表示一个n维框，这个示例中立杆在一个二维空间中，所以有效的观察将是4个数字的数组。 也可以检查Box的范围：

print(env.observation_space.high)
#> array([ 2.4       ,         inf,  0.20943951,         inf])
print(env.observation_space.low)
#> array([-2.4       ,        -inf, -0.20943951,        -inf])

Box和是最常用的，可以从space进行抽样或检查属于它的内容：

from gym import spaces
space = spaces.Discrete(8) # Set with 8 elements {0, 1, 2, ..., 7}
x = space.sample()
assert space.contains(x)
assert space.n == 8

很多环境中这些数据并不是像这个简单的示例这么直观，不过只要你的模型足够优秀，自己没必要试着解释这些数据。