読者です 読者をやめる 読者になる 読者になる

Itsukaraの日記

最新IT技術を勉強・実践中。最近はDeep Learningに注力。

Montezuma' Revengeの到達部屋でDeepMindを超えました!

Deep Reinforcement LearningAtariのゲームMontezuma's Revengeを攻略した結果をOpenAI Gymにアップしたことを 前回記事で書きましたが、その時の平均スコア(448点)に対し、同じ設定で更に高い平均点(1127点)が得られましたので、再度、OpenAI Gymにアップしました。今回は、最初の部屋の左側に進出しています*1
gym.openai.com

今回、DeepMindの論文で到達していなかった部屋に到達し、DeepMindを超えました*2。下記マップのピンクに塗られた部分が、今回到達した部屋です。
f:id:Itsukara:20161014230731p:plain

ピンクの部屋のうち、右側の2つは動画が撮れましたので、下記に載せておきます(10/17 11:15 更新)。
youtu.be

ちなみに、下記は、スタートした部屋の左側の部屋にある宝箱を取った動画です(10/17 11:15 更新)。これまで通れなかったLaser Barrierを超えることが出来ました。
youtu.be

更に、今回、これまでの最高得点3500点を取ること出来ました。下記がその動画です(10/17 11:15 更新)。分かり難いですが、0:50あたりでSpiderを倒しているところがあり、これで3000点取れています。Montezuma's Revengeの点数詳細は、Webに載っているマニュアルをご覧ください。Swordを持った状態でCreatureに触れると、Creatureをkillし点数が入ります。最初の部屋やその右側の部屋にいるSkullの点数は2000点で、Spiderの点数は3000点です。
youtu.be

*1:最初の部屋には鍵が1つしか無いため、左か右のいずれか1つにしか行けない

*2:平均手数では超えていませんが...