Itsukaraの日記

最新IT技術を勉強・実践中。最近はDeep Learningに注力。

2016-01-01から1年間の記事一覧

【DRL,Montezuma】GCPアカウントが停止し続行不能。残念!

DRL用にGoogle Cloud Platformの無料試用枠を使ってましたが、サンフランシスコに行っている間、何故か、学習が進まなくなり、帰国後に確認したところ、Googleから通告が来ていて、GCPアカウントが削除されていました。やはり、無料試用枠の複数回利用は、検…

【DRL, Montezuma】スライド再更新+再々更新

Montezuma's Revengeのスライド更新時に、OpenAI Gymの方から結構詳しく聞かれた「pseudo-countの実装方法」を書き忘れたので、再更新しました。ソースを読めば分かると思っていましたが、それほどわかりやすいソースでもないので... (この後、誤りに気付き…

OpenAIのInterviewでのフィードバック受けスライド更新

現在、サンフランシスコに来ており、昨日、Montezuma's Revengeの強化学習の件で、OpenAIのInterviewを受けました。いろいろと質問があり、そこで答えたことや、それ以外も含めてスライドの内容を追加・修正いたしました。ご興味のある方はご覧ください。ち…

【DRL, Montezuma】thread毎多様性の効果確認!(12/7修正)

A3Cをベースにした環境で、Montezuma's RevengeのDeep Reinforcement Learningを行っていますが、thread毎に多様性を持たせた効果が示せました。(12/7訂正)下記サイト掲載の学習状況をご覧ください。 http://52.193.119.202/montezuma-x/00index.html 上記サ…

【DRL, Montezuma】これまでの最高得点3600点取得動画

Thread毎の環境の多様性を高めた実験で、これまでの最高得点である3600点を取得した動画が撮れました。結構良い動きをしているように見えます。ただ、ライフが減っても気にしない動きをしています。ライフが減るイベントをうまく回避できれば、もっと先まで…

【DRL, Montezuma】到達部屋追加でスライド更新(20161205)

懲りずに続けているMontezuma's Revengeの実験ですが、到達部屋が1つ増えましたので(下図最下段の右端)、スライドを更新しました。下記がこれまでの到達部屋です。なお、Thread毎の環境の多様性を高めた実験の途中結果を下記に置きました。今のところ、SCOR…

【DRL, Montezuma】thread毎にパラーメータを変える機能を追加

VMを1台に限定すればGCPを後数日使える想定でしたが、今朝、クレジットを使い切りました。1日毎に課金をチェックするらしく、残りクレジットが420円であることに気がついた時には、既に、残りクレジットがもっと少なかったようです。何も実験しないのは寂し…

SORACOMは海外に進出したのですね

IOT

ニュースを読んでいたら、SORACOMが海外に進出した話が書かれていたので、一時マイブームだったIOT関連でいくつか記事を書いたことを思い出しました。itsukara.hateblo.jpSORACOMのドングル+SIMを買ったりしたのですが、今は全く使っていません。WIFIにしか…

tensorflowを試すなら、やはりLinuxが良い? [12/3更新]

当方のサイトで2番目にアクセスが多い記事は下記であることが分かりました。ただ、Windows上のDockerではGPUを使えなかったので、結局、1週間ぐらいでDockerを捨て、Ubuntuをデュアルブートでインストールしています。その後、Windowsを使う時間よりも、Ubun…

スクレイピング関連記事は人気が無くて残念

6月頃まで、Webからの自動情報収集(スクレイピング)がマイブームだったので、結構記事を書いたのですが、現在は、ほとんどアクセスされておらず、残念です。実は、スクレイピングのツールとしても使えるSeleniumは、元々、Webインターフェースを持ったプログ…

Android Studio関連記事(ご参考)

久しぶりに、本ブログのアクセス解析を見たら、下記が最多アクセス記事でした。itsukara.hateblo.jp実は、上記の記事には続きがあるので、興味のある方は、下記をアクセスすると、Android関連の記事を纏めて確認できます。ご参考まで。itsukara.hateblo.jp …

マウスコンピュータPC:電源スイッチ修理で25,000円??

久しぶりに、本ブログのアクセス解析を見たら、下記の記事が意外とアクセスされていることに気が付きました。itsukara.hateblo.jpそこで、マウスコンピューターのサポートサイトで、電源が入らない場合の診断を試したところ、「PCケース(フロントスイッチ部)…

【DRL, Montezuma】GCPの無料試用期間がほぼ終了

GCPの無料試用期間がほぼ終了したので、最後の学習結果を下記に置きました。 http://52.193.119.202/montezuma-v3/00index.html 正確には、残り日数が6日で、残りクレジットが420円となりました。上記学習結果を見ると、gcp10だけは今後も訪問部屋が増える可…

【DRL, Montezuma】スライドを再更新

相変わらず続けているMontezuma's Revengeの実験ですが、pseudo-countを各部屋ごとに持つように変更したところ、到達部屋が1つ増えましたので(ROOM 20、DeepMindの論文には未記載)、スライドを更新しました(p.16、p.18、p.20を微修正。p.19を追加)。なお、p…

ブラウザ画面を印刷するときの小技

ブラウザ画面を印刷したときに、色々な広告が表示され邪魔な場合があります。そんな時、HTMLのDOM(Document Object Model)やブラウザのDeveloper Toolsを知っていれば、広告を簡単に削除できます。参考までに、削除方法を書いておきます。なお、ブラウザの拡…

「Pythonで体験する 深層学習」第5章輪講資料アップロード

本日、Do2dle(ドゥードゥル)研究会の輪講があり、当方が担当した「Pythonで体験する 深層学習」第5章の輪講資料を説明しました。輪講資料を作るのにかなり間が掛かり、もったいないので、slideshareにアップロードしました。 Pythonで体験する深層学習 5…

【DRL, Montezuma】スライドを更新

到達した部屋が以前よりもかなり増えているので、スライドを更新しました(p.18)。また、到達した部屋に至る動画もスライドの途中に追加しました。 日本語版 DeepMind論文(2016/6) 「Unifying Count-Based Exploration and Intrinsic Motivation 」 記載のPse…

【DRL, Montezuma】Room18, 19に到達しました

最近は、定職についたため、なかなかDeepLearningのソースコードをいじる機会がなく、同じソースコードのままで、色々とパラメーターを変えて試しています。その結果、新たに、Room18、19に到達しましたので、動画を下記にアップしました。 youtu.beDeepMind…

英語スライドなのに、日本からのアクセスが多い Why?

Montezuma's Revengeの件を英語スライドにしたら、結局、10日強で200件のアクセスがありましたが、アクセス元は日本・米国・中国が15:6:3の比率で、なぜか日本からのアクセスが多かったです。Why?上記、合計が200にならないのも気になりますが...

OpenAI Gymとのテレコンの反省から英語版スライドを作成

以前の記事で、OpenAI Gymから$250のご支援を頂くことになったことを書きましたが、その関係で、本日OpenAI Gymの方と電話会議をする機会がありました。OpenAI Gymにアップロードしたプログラムのことを説明したのですが、英語版のスライドを用意していなか…

OpenAI GymにMontezuma' Revengeの最高得点更新

以前の記事で、Montezuma's Revengeの最高得点をOpenAI Gymサイトにアップしたことを書きましたが、さらに高い点数が出ましたので、更新しました。前回1127点に対して、今回は1284点と約150点アップしました。gym.openai.com

DRLの学習状況をスマホからいつでも見れるようにしました

昨日から、自宅にいることが少なくなったため、外出先でスマホからDRLの学習状況をすぐに見れるようにしました。具体的には、AWSの無料枠で動かしているEC2 VMにapache2を導入し、gcpの各VMでの学習曲線(.png)と到達ルーム(.rooms)をapache2のドキュメントル…

Montezuma's RevengeのRoom8到達動画が出来ました

以前の記事で、DeepMindが未到達の部屋Room3, 8, 9に到達できたことを書きましたが、前回の時点ではRoom8到達動画がありませんでした。今回、Room8の到達動画が得られましたので、youtubeにアップしました。ちなみに、Room8は、下記でピンクに塗られている一…

小技:GCPインスタンスのIPアドレス一覧

GCP (Google Cloud Platform)のPreemptible VM Instancesを活用し、無料枠内で4CPUのVM Instance 6台を2か月運用する予定ですが、Preemptible VM Instancesは24時間で自動的に停止するので、停止したVMを検出して自動再起動するようにしています。詳細は、以…

VM再起動対応で入れたthread間同期は影響がありそう

前回記事で、自宅PCとGCPで学習曲線が極端に異なる事を書きました。その原因として、VM再起動対応で入れたthread間の同期の影響も考えられるので、確認しました。結果、影響がありそうです。自宅PCは仮想コア8でthread数8に対し、GCPは仮想コア4でthread数4…

自宅PCとGCPで学習曲線が極端に異なる

独自DRL環境(A3C + Pseudo-Code + On-Highscore-Learning)の評価はGCP(Google Cloud Platform)で進めているのですが、同じ条件で評価しても、自宅PCと学習曲線が極端に異なる場合があることが分かりました。念の為、両方共2回評価したのですが、自宅PCでは0.…

OpenAI Gymから$250のご支援を頂くことになりました

OpenAI GymにMontezuma's Revengeの評価結果を出した件、ついでに評価用AWSクレジット$250クレジットに応募したところ、OKが出ました。OpenAI Gymにアップロードした甲斐がありました。これで、GPUを使った高速な評価ができそうです。

DRL学習プログラムのVM再起動対応強化の準備中

前回記事で、VM再起動のDRL学習プログラムへの影響を書きましたが、この解決に向けて、全ThreadのPseudo-count情報をsave/loadする機能を作成中です。そのためには、Thread間での同期処理が必要であり、これを誤ると後で発見するのが大変なので、まずはテス…

VM再起動の学習への影響

前回記事に記載のように、GCPの格安な「Preemptible VM Instance」を使って、独自機能付DRL(A3C+Pseudo-count+On-Highscore-Learning(OHL)の実験中です。具体的には、Montezuma's Revengeへの適用実験をしていますが、Preemptible VM InstanceによるVM再起動…

DRLでの格安なGCP Preemptible VM Instanceの利用方法

DRL(Deep Reinforcement Learning)の環境としてGoogle Cloud Platform(GCP)の無料枠($300まで and 2ヶ月まで無料)を使っていますが、当方のDRL環境に合ったマシン(4CPU+8GBメモリ)を通常通り使用すると$90/月掛かるため、$300では3台月強が上限となります。…