Deep Learning
2年ぐらい前にやったMontezuma's Revengeの強化学習の実験結果を入れていたhttpサーバーの「AWS無料お試し期間」が切れたので、期限がないGoogle Cloud Platform無料枠に引っ越した*1。httpサーバーのURLはSlideShareのスライドにも書いてたので、スライド中…
1年半以上前に作成、約1年前に最終更新した2つのスライドのPageViewが、1万超/1万4千超となりました。それなりに見て頂いているようで、嬉しいです。ちなみに、英語版と日本語版の中身は、基本的に同じです。英語版スライドの効果と思いますが、最近、外人…
会社で自分のブログ記載の情報を使いたかったので、当方のハンドル名「itsukara」で検索したら、自分のブログやGithubがトップ3に載っていた。 試しに、スマホのchromeで検索したら、1位と2位だった。 スマホのchromeでの検索結果 非常に嬉しかったので、思…
本日のJuly Tech Fest 2017での発表資料を、SlideShare にアップしました。タイトルは以前と変わりませんが、これまでDo2dle勉強会、WBAI、国際学会(Multimedia & Artificial Intelligence)で発表した資料の集大成となります。 強化学習による 「Montezuma's…
海外のイベントから講演依頼があった下記の件、参加することに決めました。先ほどRegistrationを済ませたところです。itsukara.hateblo.jp
2017/5/12に開催された"「『人工』知能と知能を考えるための61冊」を読む #3"に参加しました。 peatix.comスクエアエニックスのゲームAI開発責任者である三宅陽一郎さんが、自分と出来るだけ分野が離れた人と話したいと出版社にお願いし、弁護士の水野祐さん…
7月にポルトガルのリスボンで開催されるMultimedia & Artificial Intelligence 2017というイベントにスピーカーとして招待したいと連絡が来たのですが、単なる釣りか、参加する価値があるか、確認中です。誰か、このイベントのことを聞いたことがある方がい…
今後、Montezuma's Revengeの強化学習に、色々と機能を追加してみようと思いますが、ここ何ヶ月も現状版コードを動かしたことがないので、まずは、現状版コードを動かし、ある程度学習が進んだ状態でのcheckpointを取ってます。PCの画面としては、下記のよう…
論文(https://arxiv.org/abs/1704.05539)で、OpenAI GymのMontezum's Revengeでの当方の結果が引用されました。とても嬉しいです! 下記(p.9)のItsukaraです。上記は、OpenAI GymのMontezum's Revenge(下記)からの抜粋です。 gym.openai.com当方は、2016/10/1…
強化学習による「Montezuma's Revenge」への挑戦についてのスライド(日本語版)、SIG-WBAオフ会で本日発表したのを機に更新したのですが、状態のループ(時間を考慮しない影響)の説明が不十分だったので追記しました。 強化学習による 「Montezuma's Revenge」…
強化学習による「Montezuma's Revenge」への挑戦についてのスライド(日本語版)がかなり古かったので、SIG-WBAオフ会で本日発表したのを機に更新しました。 強化学習による 「Montezuma's Revenge」への挑戦 from 孝好 飯塚 www.slideshare.net
昨日参加した人工知能関連イベント(下記)、DNC (Differentiable Neural Computers)に関し発表と活発な議論があり、とても勉強になりました。また、久しぶりに人工知能関連の会話ができ、非常に楽しめました。 https://do2dle.connpass.com/event/53552/今回…
http://itsukara.hateblo.jp/entry/2017/01/29/064926:embed:先週の記事で書いた線画着色(PaintsChanier)の件、久しぶりに最新版をダウンロードして試してみたら、当方の貧弱なGPU RAM(2GB)でも動くようになっており、サイズが500x500位の画像では3秒ぐらい…
線画着色の件、最新版(2017/1/31 21:39; 03739fd)を本家github(下記)からダウンロードして試したところ、残念ながら、特に速くなったり、機能が追加されている気はしません。また、残念ながら、色が妙に青みがかっています。github.com 1/29ダウンロード版で…
2つ前の記事で、ROOM#7の訪問が増えることで、ROOM#1の学習状態に影響を与えるようだと書きましたが、現在行っている学習でも、同じようなことが起こっているようなので、ご報告します。正確な理由は不明ですが、なぜか、これらの間には相関が大きいように見…
Montezuma's Revengeの強化学習において、平均スコアだけでは、学習状況が良くわからないので、各種状況を表示するツールを追加しました(plot2.pyとall-plot)。これらを用い、下記のような感じで学習状況をモニタしながら実験を進めています。ご参考まで。 …
Montezua's Revengeの強化学習で、下記のように、Scoreが0になり回復しない場合がありましたが、原因を少し分析してみました。 Scoreが0になり回復しない状況調査 Scoreが0になった後は、ROOM#1でPanama Joeが死にまくるのかと思っていましたが、これは誤っ…
あけましておめでとうございます。 相変わらず、Montezuma's Revengeの強化学習実験を行っています。 GCPから自宅PCへ 昨年は、GCP (Google Cloud Platform)の無料枠($300、3ヶ月以内)を使い、格安のPreemptible VMを活用し、一度に8個の学習を行っていたの…
DRL用にGoogle Cloud Platformの無料試用枠を使ってましたが、サンフランシスコに行っている間、何故か、学習が進まなくなり、帰国後に確認したところ、Googleから通告が来ていて、GCPアカウントが削除されていました。やはり、無料試用枠の複数回利用は、検…
Montezuma's Revengeのスライド更新時に、OpenAI Gymの方から結構詳しく聞かれた「pseudo-countの実装方法」を書き忘れたので、再更新しました。ソースを読めば分かると思っていましたが、それほどわかりやすいソースでもないので... (この後、誤りに気付き…
現在、サンフランシスコに来ており、昨日、Montezuma's Revengeの強化学習の件で、OpenAIのInterviewを受けました。いろいろと質問があり、そこで答えたことや、それ以外も含めてスライドの内容を追加・修正いたしました。ご興味のある方はご覧ください。ち…
本日、Do2dle(ドゥードゥル)研究会の輪講があり、当方が担当した「Pythonで体験する 深層学習」第5章の輪講資料を説明しました。輪講資料を作るのにかなり間が掛かり、もったいないので、slideshareにアップロードしました。 Pythonで体験する深層学習 5…