OpenAI Universe の World Of Bits 環境の用意
こちらの記事の続きになります。
上記記事にも書いてますが、pytest が通ってないので、今後、不具合が出てくる可能性あり。どうにかしたい…。
Mini World Of Bits benchmark
Mini World Of Bits benchmark とは、強化学習エージェントによるWeb操作のベンチマークです (そのまま)。言葉で説明するより、公式ページの動画を見るのが早いです。
OpenAI Universe は、様々な強化学習タスクに対して、ピクセルとキーボード、マウスをインターフェースにエージェントを学習、テストさせられる環境です。そして、World Of Bits はその中の Web タスク向け環境といった感じです。
前提知識として、Universe は、Agent サイドのプログラムと、Environment サイドの Docker コンテナの 2 つが動きます。この 2 つの間で reward、state や action がやり取りされるイメージです。
インストール
今回は、Ubuntu 16.04 の上の Docker に Agent、Environment の両方を動かすようにしました。どのような構成にするかは色々あると思いますが、この構成だとホスト側の pip などの環境を汚さないので楽です。詳しくは、最初に紹介したページに載せてあります。簡単に流れを説明すると
- Docker をインストール
- 適当なイメージに pip で Universe をインストールしてく Dockerfile を作る
docker build- 公式リポジトリ の
docker runのオプションを参考にコンテナ作成 - コンテナ内で World Of Bits の Starter Code を走らせる
- ホストから
vnc://localhost:5900に画面共有でアクセス
最後の画面共有でアクセスするのは、ブラウザで http://localohost:15800/viewer/?password=openai にアクセスできなかったからです。GitHub の issue でも同じようなことを言ってる人がいたので、こうするほかないのかな？
アクセスできるとこんな感じになります。
イェーイ😃
まとめ
以上で、OpenAI Universe World Of Bits の環境が用意できました！
Web 自動操作するエージェント作るぞ！
