Itsukaraの日記

最新IT技術を勉強・実践中。最近はDeep Learningに注力。

【DL、RL、A3C+】Montezumaで最高得点2600点取得の不思議さ

直前の記事で、Montezumaで最高得点2600点が出たことを書きましたが、これはとても不思議なことです。

つまり、49M STEPSのTraining中に2600点が出なかったのに、プレイ動画生成での10回程度のプレイ時に26000点が出たのは、確率的に見て非常に不思議ということです。

試しにゲームプレイ回数と2500点取得回数を数えてみました。

平均点が500超えになった33M STEPS〜49M STEPSでのゲームプレイ回数は7469回で、そのうち2500点だったのは84回と、僅か1.1%です。プレイ動画生成での10回程度のプレイで2500点が出ること自体が確率的に小さいのに、まして2600点出るとは、あまりにも確率が小さすぎます。

これは偶然ではなく、必然である可能性があります。

Traingin時と動画生成時でのアクション選択に何らかの違いがあるか確認してみる必要があると感じました。