2016-01-01から1年間の記事一覧
これまで書きましたように、A3Cにpseudo-countを入れたコード(A3C+)で、Atari2600のMontezuma's Revengeで最高得点2500点が出たり、平均得点が400点を超えるなど、良い結果が得られています。学習途中でi-node不足で異常終了したため、既存pseudo-countデー…
昨日(8/31)、全脳アーキテクチャ勉強会のオフ会に参加したところ、NTT研究所の山田さんがVariational Autoencoderの話をされ、MNISTのデータに対して20ノードの中間層まで圧縮できる話を伺いました。これだけ圧縮すると、いわゆる「おばあちゃんニューロン」…
直前の記事記載のように、A3c+でMontezuma's Revenge学習中にi-node不足で途中終了したので、終了前のpseudo-countデータ無しで途中再開して試しています。学習曲線は以下のようになってます。 平均得点が元のレベル元に戻るまで5M STEPS弱掛かってしまいま…
直前の記事で、pseudo-countの保存機能の無い版のソースコードを公開したと書きましたが、やはり、pseudo-count無しの途中再開は、中断前の平均得点に戻るまで時間が掛かりそうです。下記が、pseudo-count無しでの再開の状況です。誰か、pseudo-countのセー…
DeepMind社の論文[「[1606.01868] Unifying Count-Based Exploration and Intrinsic Motivation」記載のpseudo-countのA3C on pythonでの実装について、防備録を残しておきます。なお、論文は抽象化して書かれていますが、当方の当面のターゲットはAtari2600…
直前の記事で途中経過を記載した件、途中でエラーとなり終了してしまいました。「No space left on device ...」と出ていますが、「df -h」でみると容量はまだ余っている様子。よく見ると「os.makedirs」でエラーが出ているので、i-node不足の可能性があり、…
少し前の記事で記載しましたように、Deep LearningのA3C論文再現コードに、最新論文の手法(pseudo-count)を加えて改造し、トライアル実行中です。途中経過ですが、非常に良好なので報告させていただきます。下記のように、18M STEPS辺りから平均点数が急激に…
8/26の記事で記載しましたように、Deep LearningのA3C論文再現コードに独自の改造を加えて色々試しています。A3Cだけでは殆ど点数が取れないゲーム「Montezuma's Revenge」で高得点を取ることが現在の目標です。A3C論文再現コードを書いたmiyosudaさんから、…
直前の記事の続きです。400点の動画も撮れましたので、載せておきます。100点取れていれば、400点になるのは、ごく簡単ですね。ご参考まで。 youtu.be 注意 コマンドを少し改造しました。最新版をGithubからfetchのうえ、動画変換は、下記コマンドを利用くだ…
相変わらず、Deep LearningのA3C論文再現コードを改造して遊んでいます。以前に書きましたように、Montezuma's Revengeでは、殆どのエピソード(1回のゲーム)で得点が0です。しかし、得点が得られた時にプレイ動画を見たいと思いました。そこで、プログラムを…
下記で電力会社を東京電力に切り替えると書きましたが、切り替え完了しました。 itsukara.hateblo.jp 8/9に申し込んで、8/19に切り替えが完了したので、わずか10日間ですみました。申し込みの際にWebに書かれた情報では2か月ぐらい掛かるとのことでしたが、…
AWSが期間限定(8月23日12:00～25日12:00までの48時間限定)で、$25分の無料利用クーポンをプレゼントするキャンペーン中です。性能の非常に低いインスタンスならば元々1年間無料で使えますが、それに加えて$25分を自由に使えるというものです。機械学習のイン…
Deep Learningの実験にクラウドは欠かせないと感じており、Google Cloud Platform (GCP)やAmazon Web Servicesの無料試用枠を活用しています。今後は、Microsoft AzureやIBM Softlayerの無料試用枠も活用する予定です。実験にあたっては、色々なクラウドで同…
一度誤った情報を書いてしまったので、削除の上、新たに書かせて頂きます。 経緯 相変わらずA3C再現コードを、Breakoutでの学習曲線の変化を確認していますが、私が参加している勉強会Do2dleでは、A3Cの論文でSOREが低いMontezuma's RevengeのSCOREを上げる…
下記で、東京電力「でんき家計簿」のデータ自動抽出ツールを微修正したことを書いたのですが、これでもうまく動作しない方がいて、そのやりとりに時間が掛かってしまいました。itsukara.hateblo.jpそこで、Github掲載のREADME.mdに、下記注意事項を追記しま…
下記でDeepMindのDQN再現コードを試行した話を書きましたが、当方のマシンではメモリが16GBしかないため、Replay Memoryが0.4M個に制限されていました。そこで、試しにReplay Memoryをメモリ上で圧縮する処理を入れてみたところ、Replay Memory用のメモリサ…
下記でDeep Learningの最新技術A3Cでゲームbreakoutを試したことを書きましたが、よく考えたら学習済networkをgithubにアップロードするのを忘れていました。先ほどgithubにアップロードしました。試したい方はどうぞ。itsukara.hateblo.jptensorflowが動く…
Tensorboardのグラフが貧弱なので、自分でグラフ化ツールを試作した話を下記で書きましたが、多少アップデートしたので掲載します。少しでも役立つ方がいれば幸いです。itsukara.hateblo.jp新版では、グラフを一度表示後、ファイルに順次追加されていくデー…
Do2dle勉強会という機械学習関連の勉強会に参加しており、月に２〜３回のペースで集まって、本の輪講などを行っています。一人で本を読んでいるのと異なり、勉強会では本の内容に関して色々と議論するので、とても刺激になって楽しいです。ちなみに、Do2dle…
下記の記事で書いたA3C再現コードの修正版をGithubに載せました(pull request中)。 ご参考まで。 itsukara.hateblo.jp 掲載場所 修正版：https://github.com/Itsukara/async_deep_reinforce 「Branch」で「breakout」を選択してZIPファイルをダウンロードす…
かなり以前の記事(下記)で、東京電力「でんき家計簿」の時間別グラフのデータ自動抽出ツールのことを書きましたが、試された方から「動かない！」とのコメントを2件いただきました。少し反応が遅れてしまいましたが修正しましたので、Githubから最新版を入手…
7/30(日)に開催されたシンギュラリティサロンに行ってきました。「人類を再発明するのに必要なこと」というタイトルで、理化学研究所の高橋 恒一が講演を行いました。少し怪しげなタイトルと感じたのですが、かなり真面目な話で、シンギュラリティに対する取…
Tensorflowでは、ゲームSCOREなどのスカラ値をTensorboardでグラフ化してくれるのはありがたいのですが、グラフが荒すぎます。また、移動平均など、当然必要と思われる機能がありません。せめて、移動平均ぐらいは出して欲しいです。試しに、ゲームSCOREとそ…
前回の記事で書きましたように、DeepMind社の最新論文Asynchronous Methods for Deep Reinforcement Learning、16 Jun 2016に書かれた手法A3C(Asynchronous Advantage Actor-critic)の再現コードをGithubで見つけたので、実際に走らせて試行中。 Pongの学習…
DeepMind社が有名になるキッカケとなった論文「Playing Atari with Deep Reinforcement Learningの内容を実装して試した記事「DQNをKerasとTensorFlowとOpenAI Gymで実装する」を、深層学習の輪講メンバーで読みながら、実際に実行させて試しています。必要…
７月の初旬から読み始め機械学習の本（下記）を読み終えました。内容的には、機械学習というよりも、古典的なデータ分析の話が中心でした。数学的な解説もしっかりと書いてあり、勉強にはなりました。これで、機械学習の基本となる本は、一応読了しました。I…
前回の記事でデスクトップPC(マウスコンピューター)にメモリを追加し、その後、32GBのメモリを活用できるようにWindows10に移行した話を書きましたが、いろいろ対策をしても結局うまくいかず、メモリ増設は諦めました。デスクトップPCのハードが不調になった…
先週(2016/7/04-10)行った自宅ITインフラ強化の内容をメモ代わりに記載します。 デスクトップPCにメモリ追加(16GB) 機械学習ではメモリが足りなくなる可能性もあり、早々にメモリを追加しました(16GB)。現在、メモリはかなり安くなっており、約7000円で16G追…
2～3日間、デスクトップPCが起動しなかったので、ノートPCにTensorFlowとChainerを入れて試してましたが、性能が非常に悪かったです。ノートPCはWindows10で、その上でVirtualBox上を動かし、さらにその上でUbuntuを動かしてました。余りに遅いので、Windows…
マウスコンピュータPCのユーザですが、電源ボタンを押しても何の反応もなくなり、非常に困りました。Webによると、マウスコンピュータは電源が弱いとのこと。しかし、当方の場合、原因は電源ボタンでした。もしかしたら、他のユーザで、同様の現象によりマウ…
