【DRL, Montezuma】到達部屋追加でスライド更新(２０１６１２０５）
懲りずに続けているMontezuma's Revengeの実験ですが、到達部屋が１つ増えましたので(下図最下段の右端)、スライドを更新しました。下記がこれまでの到達部屋です。
なお、Thread毎の環境の多様性を高めた実験の途中結果を下記に置きました。今のところ、SCOREが０点で貼り付く現象は置きておらず、そこそこ順調です。gcp70のグラフを見ると、SCOREが何回も0点になっていますが、しぶとく、400点に回復しています。ただ、残念ながら、点数はあまり上がっていません。
- thread毎多様性実験途中結果：http://52.193.119.202/montezuma-x/00index.html
ちなみに、DeepMindの論文記載の到達部屋は下記であり、到達部屋に関してはDeepMindを超えています。
【DRL, Montezuma】thread毎にパラーメータを変える機能を追加
VMを1台に限定すればGCPを後数日使える想定でしたが、今朝、クレジットを使い切りました。1日毎に課金をチェックするらしく、残りクレジットが420円であることに気がついた時には、既に、残りクレジットがもっと少なかったようです。
何も実験しないのは寂しいので、結局、またGCP無料試用を始めました。試用開始に際し、氏名、住所、電話番号、クレジットカード番号などを入力するのですが、電話番号とクレジットカードは複数持っていたので、これらは変えたところ、特に問題なく、新しい試用を開始することが出来ました。googleさん、ありがとうございます。
せっかくGCPを再度使えるようにしたので、thread毎にパラメータを変える機能を追加しました。学習履歴長(tes)、pseudo-rewardを計算するときの係数(psc_beta)、指数(psc_pow)をthread毎に変えられるようにしました。
thread毎にtes, psc_beta, psc_powを指定するオプションは、「--tes-list、--psc-beta-list、psc-pow-list」の3つで、「--tes-list=29,29,29,29,40,40,40,40」といった書き方になります。
このように実行時オプションで指定したら、とても見にくかったので、結局、各VM毎にこれらのパラメータをyamlファイル化し、「--yaml=yamlファイル名」で取り込めるようにしました。yamlファイルの例は下記です。実行時オプションと共用できるように、listではなく、文字列にしています。
tes_list : "40 ,40 ,40 ,40 ,29 ,29 ,29 ,29 "
psc_beta_list: "0.018 ,0.018 ,0.018 ,0.018 ,0.020 ,0.020 ,0.020 ,0.020 "
psc_pow_list : "2.0 ,2.0 ,2.0 ,2.0 ,2.2 ,2.2 ,2.2 ,2.2 "
トレーニング状況確認用の画面作成スクリプトも多少変え、thread毎のパラメータを表示するようにしました。確認画面例はここをご覧ください。ちなみに、まだ学習を始めたばかりなので、thread毎のパラーメータ多様化の効果は分かりません。
これで実験が容易になったので、しばらくは、これで実験する予定です。
SORACOMは海外に進出したのですね
ニュースを読んでいたら、SORACOMが海外に進出した話が書かれていたので、一時マイブームだったIOT関連でいくつか記事を書いたことを思い出しました。
SORACOMのドングル+SIMを買ったりしたのですが、今は全く使っていません。WIFIにしか繋がらないため、情報をインターネットにアップできる場所が限定され、あまり使えないと思ったことが一因です。
ちなみに、IOTがマイブームの時に、マイコン、定電圧電源、コンデンサ、抵抗、配線、LEDなど、電子小物関連の部品をたくさん買ってしまったのですが、全く使っておらず、ゴミに近い状態になっています。勿体ない買い物をしてしまいました。とはいえ、中国から電子部品を買うと、驚くほど安く買えるので、すべて合わせても1万円も行きませんが...
それにしても、このSORACOMは、結局、SOFTBANKに買われてしまうのではないかと思っていたのですが、まだ、単独の企業として頑張っているようですね。
tensorflowを試すなら、やはりLinuxが良い？ [12/3更新]
当方のサイトで2番目にアクセスが多い記事は下記であることが分かりました。ただ、Windows上のDockerではGPUを使えなかったので、結局、1週間ぐらいでDockerを捨て、Ubuntuをデュアルブートでインストールしています。その後、Windowsを使う時間よりも、Ubuntuを使う時間の方が長くなってしまいました。それでも、その時書いた記事が今でもアクセスされているのは、なんだか懐かしい気がしました。
DockerでGPUが使えないのは、基盤として使っているOracle VirtualBoxでGPUを使えないからです。これが解決すると、かなり便利になるのですが...
訂正[2016/12/3]
先ほど見たら、WindowsでもGPUが使えるTensorflowがリリースされた模様です。
https://www.tensorflow.org/versions/r0.12/get_started/os_setup.html#pip-installation-on-windows
むしろ、Windowsの方が、簡単にインストールできるように見えます。
https://www.tensorflow.org/versions/r0.12/get_started/os_setup.html#pip-installation
For Windows users, you can also install the GPU version of the binary with: bash $ pip install tensorflow-gpu Unfortunately, this command is not yet available for Linux or Mac GPU binaries due to their sizes exceeding the Pypi limit.
スクレイピング関連記事は人気が無くて残念
Android Studio関連記事(ご参考）
久しぶりに、本ブログのアクセス解析を見たら、下記が最多アクセス記事でした。
実は、上記の記事には続きがあるので、興味のある方は、下記をアクセスすると、Android関連の記事を纏めて確認できます。ご参考まで。
ちなみに、2か月ぐらい前までは、下記の記事が一番アクセスされていました。なお、Oracle Java Certified Programmer Silverを取得した際は、満点を目指して勉強していたので、かなり詳しくなりましたが、あまりにもJavaのプログラムを書いていないため、細かいところは忘れてしまいそうです。人の話す言語と同じで、プログラミング言語も、使わないとだめですね。
itsukara.hateblo.jp
世の中の関心も、JavaからAndroid Studioに移ったということでしょうか...
ちなみに、最近使っているプログラム言語は、Pythonばかりです。
昨日は、たまたま、VLOOKUPを多用して異様に時間が掛かるEXCELシートの高速化にチャレンジしました。再計算に数時間も掛かるEXCELシートを高速化し、10秒位になりました。ただ、高速化前と異なる結果が出ることがあり、見直しが必要そうです。
それにしても、今回の高速化で「遅いものを速くすること」が、とても好きであることに、改めて気が付きました。、
マウスコンピュータPC：電源スイッチ修理で25,000円？？
久しぶりに、本ブログのアクセス解析を見たら、下記の記事が意外とアクセスされていることに気が付きました。
そこで、マウスコンピューターのサポートサイトで、電源が入らない場合の診断を試したところ、「PCケース(フロントスイッチ部)の故障が考えられます。」との診断結果がちゃんと書かれていました。これはこれで良かったと思います。
以前に電話した際は、「そのような原因だったことはない」と言われたので、「FAQに、電源スイッチの不良のも必ず書くべき」と強く念を押した甲斐があったという気がします。
ただ、そのあとに書かれている下記の記載が問題です。
診断ID ： MC01000008
概算修理費用 ： \25,000-（税別）
電源スイッチの交換だけなのに、なぜ費用が25,000円
