DRL用にGoogle Cloud Platformの無料試用枠を使ってましたが、サンフランシスコに行っている間、何故か、学習が進まなくなり、帰国後に確認したところ、Googleから通告が来ていて、GCPアカウントが削除されていました。やはり、無料試用枠の複数回利用は、検…

Montezuma's Revengeのスライド更新時に、OpenAI Gymの方から結構詳しく聞かれた「pseudo-countの実装方法」を書き忘れたので、再更新しました。ソースを読めば分かると思っていましたが、それほどわかりやすいソースでもないので... （この後、誤りに気付き…

現在、サンフランシスコに来ており、昨日、Montezuma's Revengeの強化学習の件で、OpenAIのInterviewを受けました。いろいろと質問があり、そこで答えたことや、それ以外も含めてスライドの内容を追加・修正いたしました。ご興味のある方はご覧ください。ち…

A3Cをベースにした環境で、Montezuma's RevengeのDeep Reinforcement Learningを行っていますが、thread毎に多様性を持たせた効果が示せました。(12/7訂正)下記サイト掲載の学習状況をご覧ください。 http://52.193.119.202/montezuma-x/00index.html 上記サ…

Thread毎の環境の多様性を高めた実験で、これまでの最高得点である3600点を取得した動画が撮れました。結構良い動きをしているように見えます。ただ、ライフが減っても気にしない動きをしています。ライフが減るイベントをうまく回避できれば、もっと先まで…

懲りずに続けているMontezuma's Revengeの実験ですが、到達部屋が１つ増えましたので(下図最下段の右端)、スライドを更新しました。下記がこれまでの到達部屋です。なお、Thread毎の環境の多様性を高めた実験の途中結果を下記に置きました。今のところ、SCOR…

VMを1台に限定すればGCPを後数日使える想定でしたが、今朝、クレジットを使い切りました。1日毎に課金をチェックするらしく、残りクレジットが420円であることに気がついた時には、既に、残りクレジットがもっと少なかったようです。何も実験しないのは寂し…

ニュースを読んでいたら、SORACOMが海外に進出した話が書かれていたので、一時マイブームだったIOT関連でいくつか記事を書いたことを思い出しました。itsukara.hateblo.jpSORACOMのドングル+SIMを買ったりしたのですが、今は全く使っていません。WIFIにしか…

当方のサイトで2番目にアクセスが多い記事は下記であることが分かりました。ただ、Windows上のDockerではGPUを使えなかったので、結局、1週間ぐらいでDockerを捨て、Ubuntuをデュアルブートでインストールしています。その後、Windowsを使う時間よりも、Ubun…

6月頃まで、Webからの自動情報収集(スクレイピング)がマイブームだったので、結構記事を書いたのですが、現在は、ほとんどアクセスされておらず、残念です。実は、スクレイピングのツールとしても使えるSeleniumは、元々、Webインターフェースを持ったプログ…

久しぶりに、本ブログのアクセス解析を見たら、下記が最多アクセス記事でした。itsukara.hateblo.jp実は、上記の記事には続きがあるので、興味のある方は、下記をアクセスすると、Android関連の記事を纏めて確認できます。ご参考まで。itsukara.hateblo.jp …

久しぶりに、本ブログのアクセス解析を見たら、下記の記事が意外とアクセスされていることに気が付きました。itsukara.hateblo.jpそこで、マウスコンピューターのサポートサイトで、電源が入らない場合の診断を試したところ、「PCケース(フロントスイッチ部)…

GCPの無料試用期間がほぼ終了したので、最後の学習結果を下記に置きました。 http://52.193.119.202/montezuma-v3/00index.html 正確には、残り日数が6日で、残りクレジットが420円となりました。上記学習結果を見ると、gcp10だけは今後も訪問部屋が増える可…

相変わらず続けているMontezuma's Revengeの実験ですが、pseudo-countを各部屋ごとに持つように変更したところ、到達部屋が１つ増えましたので(ROOM 20、DeepMindの論文には未記載)、スライドを更新しました(p.16、p.18、p.20を微修正。p.19を追加)。なお、p…