「深層学習」の省略された数式を自分で確認しました
深層学習を最初から読み始めたのですが、省略してある数式の部分がよく分からなかったので、自分で計算して確認しました。
二値分類のロジスティック関数と微分、尤度、誤差関数と微分
1.1 ロジスティック関数(Sigmoid関数)
(2.3.1)
1.2 ロジスティック関数の微分(uで微分した結果)
(2.3.2)
1.2.1 ロジスティック関数の微分式の確認
1.2.1.1 ロジスティック関数の微分式の左辺
(2.3.2a)
1.2.1.1 ロジスティック関数の微分式の右辺
(2.3.2b)
1.3 尤度(データが得られる確率(をパラメータとして記載)
(2.7.1a)
(2.7.1b)
(2.7.1c)
(2.7.1d)
1.4 誤差関数(尤度の対数をとり、符号を反転させた値。この値を最小化したい)
(2.8)
1.5.1 誤差関数の微分(まず、とをパラメータとして記載)
(2.8.1a)
(2.8.1b)
(2.8.1c)
(2.8.1d)]
以上のように、誤差関数の微分は、非常に簡単な式になる()。
1.5.2 誤差関数の微分(をパラメータとして記載)
(2.8.2a)
(2.8.2b)
多クラス分類のロジスティック関数と微分、尤度、誤差関数と微分
2.1 ロジスティック関数(Softmax関数)
(2.9)
k番目以外のユニットの出力を含めた式で、。
2.2.1 ロジスティック関数の微分(で微分した結果)
(2.9.1)
2.2.1.1 ロジスティック関数の微分式の確認
まず、を以下のように変形。
(2.9.2a)
(2.9.2b)
ここで、下記を満たすようにを定義する。
(2.9.2c)
すると、次のように指数部を纏めることができる。
(2.9.2d)
はに対して定数なので、次のsigmoid関数で表現できる。
(2.9.2e)
sigmoidの性質から、上記をで微分すると下記が得られる。
(2.9.2f)
2.2.2 ロジスティック関数の微分(に対し、で微分した結果)
(2.9.3a)
(2.9.3b)
2.3 尤度(データが得られる確率。をパラメータとして記載)
(2.10.1a)
(2.10.1b)
2.4 誤差関数(尤度の対数をとり、符号を反転させた値。この値を最小化したい)
(2.11)
2.5.1 誤差関数の微分(まず、とをパラメータとして記載)
(2.11.1a)
(2.11.1b) (以下、の記載は省略)
(2.11.1c) (2.9.2f、2.9.3より)
(2.11.1d)
(2.11.1d)
(2.11.1f)
(2.11.1g) (より)
以上のように、誤差関数の微分は、非常に簡単な式になる()。
2.5.2 誤差関数の微分( とをパラメータとして記載)
(2.11.2a)
(2.11.2b)
2.5.3 誤差関数の微分(をパラメータとして記載)
(2.11.3a)
(2.11.3b)
感想
手で書いた式を入力するのは非常に疲れました。最初は、はてな記法でそのまま書こうとしたのですが、かなり疲れたので、下記の記事を参考にさせて頂き、少し楽ができました。ありがとうございました。
機械学習で勾配降下法の収束を加速できるか、ちょっと試行
深層学習のp.37に、誤差関数の谷底に高低差が少ない場合に収束が遅くなることへの対策として、「3.6.5 モメンタム」というものが書かれていました。これは、重み係数の修正量を計算するときに、前回の修正量の定数倍を加えるというもの。
機械学習から離れて、単に、関数の谷底を求めるだけならば、上記よりも、ニュートン法を用いたほうが良いと感じました。ただ、ニュートン法では、2次微分が必要であり、一般には2次微分を求めるのは難しいため、あまり使われていないと、どこかに書かれてました(どの本か忘れた)。
機械学習の理解を深めるために簡単なBackward Propagationプログラムを自作したので、これにニュートン法的なプログラムを入れ込んで少し試してました。
具体的には、谷底近くの曲面の形状を、各次元で2次関数で近似し、収束を高速化できないか試しました。
各次元で2次関数ということは、各次元で1次微分が1次関数ということなので、(l)回目の重みに対する誤差の勾配をとしたとき、2つの点とを結ぶ直線がx軸と交差する点(y=0となる点)を求めれば良いだけであり、簡単に計算できます。
繰り返し毎の誤差の変化がある程度少なくなってきたところで上記を行うと、確かに収束は速くなりました。ただ、誤差が非常に小さくなると、2つの点が非常に近くなり、直線の傾きを計算する際の誤差が大きくなり、の値が発散してしまいます。これを防ぐには、値が発散しそうなに対しては、モメンタムを用いれば良さそうな気がします。
なお、上記は、非常に単純な場合(2層のパーセプトロンで「XOR」を学習する場合)で試しただけです。
ちなみにニュートン法は、かなり古典的な手法なのでもっと最新の数学的手法を用いれば、勾配降下法の収束を、もっと加速できるのではないか? 数学の専門家が機械学習に加われば、機械学習が飛躍的に高速化する可能性があるのではないか? などと、夢想しているところです。
2週間ぐらい前まで、上記の試行と、別の試行を行っていたのですが、これに時間を掛けていたせいで、1カ月ぐらい前に買った本を読むのが遅れてしまいました。色々と夢想も良いかなと思っていたのですが、まずは、機械学習の基礎をしっかりと理解して、TensorFlowを自由自在に活用できるようになることを、当面の目標しようと思います。
追記
上記、の新しい値として、谷底となる点でのの値を使っていました。図で例示すると、下図の赤い点でした。なお、下図は機械学習で実際に使った値ではなく、近似対象が4次曲線であった場合を例として、計算で谷底を推定した図です。
ちなみに、横軸がの値で、縦軸はの値です。また、青い線は近似対象として試した4次曲線で、2つの青い点は直近2回のの値です。青い線と重なった赤い曲線は、「直近の2回のの値と、そこでの1次微分値を元に近似した2次曲線」です。赤い点は計算で推定した谷底の点で、斜めの黒線は最直近のでの接線、水平の黒線は(推定された)谷底での接線です。
いきなり谷底となるの推定値を使うのは、やりすぎですね。せめて、通常のニュートン法と同じように、谷底での接線と、直近のでの接線との交点を使うべきですね(下記の図のオレンジの点)。
なお、下記のグラフは、谷底の部分を拡大してます。図示した部分での実際の曲線は殆ど水平です。縦軸は「+3.035」を基準とした差分を表しており、上端と下端での差は、わずか0.001です。
また本を買ってしまった(シンギュラリティ関連)+読書状況
本日、気晴らしに外出した際に、本屋で立ち読みしていたら、シンギュラリティ関連の本があり、ついつい買ってしまいました。まだ読んでいない本や、読みかけの本が沢山あるのに... 先日、機械学習関連の輪講に出てから、本の購入に関する心理的なタガが外れた気がします。
技術書と異なり熟考する必要はないので、楽しみながら読もうと思います。
本日買った本
- 作者: 児玉哲彦
- 出版社/メーカー: ダイヤモンド社
- 発売日: 2016/03/21
- メディア: Kindle版
- この商品を含むブログ (2件) を見る
- 作者: 海猫沢めろん
- 出版社/メーカー: 講談社
- 発売日: 2016/05/18
- メディア: 新書
- この商品を含むブログ (4件) を見る
以前に買って途中までしか読んでいなかった本
下記、以前に買って、1/3ぐらい読んだのですが、最初の1/3は、シンギュラリティの必然性に関し、同じようなことが繰り返し書いてあり、少し飽きてしまいました。そのため、残りの部分を読まずに放置してました。改めて後半をパラパラめくったところ、後半はシンギュラリティの内容が書かれてているので、この本も、後半含めて読もうと思いいます。
シンギュラリティは近い [エッセンス版]―人類が生命を超越するとき
- 作者: レイ・カーツワイル,NHK出版
- 出版社/メーカー: NHK出版
- 発売日: 2016/04/26
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (2件) を見る
機械学習関連の読書状況
既に購入した機械学習関連の本は、深層学習を中心に読んでます。
以前に買った本で誤った説明が書いてあった「畳み込みニューラルネットワークのフィルター係数の逆伝搬方法」が一番気になったので、「Chapter 6 畳み込みニューラルネット」の「6.7 勾配の計算」を読んでいたのですが、少し分かりにくかったので、自分のために補足しておきます。(他の読者の方にも役立つようなことがあればうれしいですが...)
p.96で、重み行列の勾配としてという表記が出てきて分かりにくいと感じました。どうやら、を表しているらしいので、そのように書いてくれれば分かりやすかったのですが... 表記を変えて書き直して見ます。
本に書かれている下記の関係から始めます。(ちなみに、は全てのフィルターを並べたベクトル、は「(l-1)層のユニットi」と「(l)層のユニットj」の係数をから取り出すベクトル(1要素のみ1で他は0)」)
上記をの番目の要素で偏微分すると:
単純に、誤差関数をで偏微分し、がの関数であることと、上記を使うと下記になります。
ちなみに、本では、をと書いています。上記の右辺は、本のp.96の最後の式と同じですが、一般的な表記になっています。
後は、の式の前後に書かれたの計算式を使えば、の値が計算できます。これでに対するの勾配が求められるので、後は、通常と同様に、この値を元にの値を調整すれば良いです。
書き方が一般的ならば自明な式なので、一般的な書き方にして欲しかったです。
機械学習関連の本を何冊か買いました
本日、機械学習の勉強会に参加しました。30名ぐらいが参加し、3つぐらいのグループに分かれて活動しており、その中で、本の輪講を行っているグループに参加しました。
勉強会のタイトルには「初心者歓迎」とは書いてありましたが、みなさん、何らかの形で機械学習に係っている方で、TensorFlowなどを実際に使っている模様。そのうえで、中身を勉強したいということで、活動しているとのこと。しかし、輪講も既に13回目なので、本を1冊読み終わり、2冊目も来週で読了予定という状態でした。
私自身も、機械学習の中身が知りたいと思っていたので、参加しましたが、改めて、本をちゃんと読んだ方が良いと感じ、本日、何冊か購入しました。購入した本は、輪講で使われている本と、Amazonで評判が良いものを選びました。当面は、本を読んで、基礎的な部分を勉強する予定です。
購入した本
- 作者: 岡谷貴之
- 出版社/メーカー: 講談社
- 発売日: 2015/04/08
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (10件) を見る
- 作者: 中井悦司
- 出版社/メーカー: 技術評論社
- 発売日: 2015/10/17
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (1件) を見る
深層学習 Deep Learning (監修:人工知能学会)
- 作者: 麻生英樹,安田宗樹,前田新一,岡野原大輔,岡谷貴之,久保陽太郎,ボレガラダヌシカ,人工知能学会,神嶌敏弘
- 出版社/メーカー: 近代科学社
- 発売日: 2015/11/05
- メディア: 単行本
- この商品を含むブログ (1件) を見る
- 作者: 小高知宏
- 出版社/メーカー: オーム社
- 発売日: 2016/05/21
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (2件) を見る
以前に購入して失敗した本
実は、1カ月ぐらい前に、機械学習関連の本を買ったのですが、内容や図の記号に関して説明が抜けている部分があったり、明らかに誤植と思われる部分が何箇所もあり、途中までしか読んでいませんでした。後からAmazonで見たら、評価が非常に悪かったので、評価を見ずに買ったことを後悔していました。やはり、評判は重要ですね。
- 作者: 山下隆義
- 出版社/メーカー: 講談社
- 発売日: 2016/02/23
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (5件) を見る
ちなみに、内容が酷くて頭に来たので、私自身もカスタマーレビューを書き、掲載頂きました。
とりあえず、AWS無料枠の利用開始
AWS Summit Tokyo 2016に登録した人には、通常の1年間の無料利用枠に加えて、25 ドル分の無料利用クーポンプレゼントを頂けるとのこと。期限が6月30日だったので、とりあえず、AWS無料枠でアカウントを作成し、クーポンの申請を完了しました。クーポンを頂けるのは、1か月以内とのこと。
まだEC2インスタンスは作っていませんが、セキュリティ認証情報設定(特に安全のためのMFA設定)、IAM(Identity and Access Management)でのIAMユーザ作成(MFA設定含む)、グループの作成・ポリシー割り当て、使わないリージョンの無効化などを行い、準備だけは、ほぼ完了しました。
ただ、Linux環境はVirtualBoxで間に合うので、当面はAWSの必要性は薄いですが...
25ドルクーポンをもらったら、AWS固有のサービス(無料枠の範囲外が多い)を何か使ってみようと思います。
TensorFlowの勉強を再開しました
色々とわき道にそれていましたが、UDACITYのDeep Learning無料コースの勉強を、ようやく再開しました。
環境構築
まずは、TensorFlowを使う環境を再構築しました。DockerのTensorFlow環境は既にあったのですが、WindowsのDocker環境には、色々制限があることが分かったので、いくつかの環境構築を構築しました。
WindowsでのDocker環境の制限
対応策
上記「1.」と「2.」に関しては、VirutalBoxの仮想化環境にUbuntuをインストールし、AnacondaやTensorFlowを自分でインストールしました。それほど難しくなかったので、初めからDockerを使わずに、VitualBoxを使えば良かったと思います。
上記「3.」に関しては、Dockerで使えないか、VirtualBoxで使えないか、など、いろいろと調べたのですが、結局ダメでした。そこで、Windowsが入っているPCの、あまり使っていないHDDに、Ubuntuを直接インストールしました。Webでの情報によると、GPUを使った場合、CPUに比べて性能が20倍~50倍ぐらい速くなるとのこと。かなり期待していたのですが、PCのグラフィックボードが貧弱なせいか、CPUの6倍しか出ませんでした。ちなみに、CPUはi7-4770K、GPUはGTX760、メモリは16GBと、2~3年前の標準機です。
UDACITYのAssignmentsに取り組み中
以前に途中までやったUDACITYのTensorFlow Assignmentsを再開しました。このAssignmentsには、課題(Problem)がいくつか書かれており、その課題の回答が見つからなかったので、取り組み結果を追記したファイルを「https://github.com/Itsukara/TensorFlow-UDACITY-tryout:GitHub)にアップロードしました。
最初のAssignmentは、データの加工・整理のみです。対象となるデータはNOTMNISTというものなのですが、他の機械学習でよく使われるMNISTと異なり、あまり整理されていないデータとのこと。課題への取り組みの一環で、中身を表示して確認したところ、全体が真っ白な画像が1%以上も含まれていました。また、人間が見ても、何の文字かわかり難いようなものも含まれています。参考までに、データの一部を表示した結果を下記に載せます。結構、ゴミが混じっている気がします。
今後
UDACITYのAssignmentはNOTMNISTから始まり、いきなり通常とは異なるデータを扱うことになっています。少しイレギュラーな気がしたので、もう少し標準の機械学習から勉強した方が良いのではないかと思い始めています。例えば、TensorFLowの本家のTutorialは、標準的なデータであるMINISTから始めているので、そちらの方が良いかも... あるいは、TensorFlowよりも前に、scikit-learnぐらい見て置いた方が良いのではないか? また、機械学習の理論面も、少し勉強した方が良いのではないか? など、改めて、少し迷い始めています。
SORACOMはIOT専用と思ったほうが良い
IOTのテスト用にSORACOMのSIM+USBドングルを買ったのですが、メモリ量が数十KB程度のマイコンでは繋がらないので、WindowsノートPCで使おうと思っていました。しかし、改めてSORACOMサイトで料金を確認したところ、通信回線が上りの場合は料金が安いのですが、下りでは3倍以上高く、IOT以外での使用には向いていないことが分かりました。
具体的な料金は、下記です。通常時間と深夜で異なり、深夜の方が安くなっています。深夜は、下りも0.2円/MBと安くなりますが、これは、ファームウェアなどのダウンロードを想定しているとのこと。
- 通常時間帯(日本時間 午前6:00-翌 午前2:00)
料金クラス | 通信速度(上り・下り) | 利用料金(上り・下り)(税別) |
---|---|---|
s1.minimum | 32 kbps | 0.2 円 / MB・0.6 円 / MB |
s1.slow | 128 kbps | 0.22 円 / MB・0.7 円 / MB |
s1.standard | 512 kbps | 0.24 円 / MB・0.8 円 / MB |
s1.fast | 2 Mbps | 0.3 円 / MB・1 円 / MB |
- 深夜時間帯(日本時間 午前2:00-午前6:00)
料金クラス | 通信速度(上り・下り) | 利用料金(上り・下り)(税別) |
---|---|---|
s1.minimum | 32 kbps | 0.2 円 / MB・0.2 円 / MB |
s1.slow | 128 kbps | 0.2 円 / MB・0.2 円 / MB |
s1.standard | 512 kbps | 0.2 円 / MB・0.2 円 / MB |
s1.fast | 2 Mbps | 0.2 円 / MB・0.2 円 / MB |
単に従量制で安いSIMということならば、FREETEL SIMの方が良いですね。こちらは、上りと下りの違いもなく、LTEなので通信速度が最大220Mbps出ます。IOTで使う場合も、条件によっては、FREETELの方が安くなります(データ量が多い場合)。
SORACOMの一番の利点は、SORACOMコンソールで、SIMの休止・再開ができる点、通信量を簡単に把握できる点、沢山のSIMを纏めて管理できる点などであり、やはりIOT専用と思ったほうが良いですね。逆に、IOT以外に使うのには向いていないことが、今回分かりました。SORACOMは、IOTをターゲットとしてスタートした会社ですから、当然ではありますが...
今回購入したUSBドングルは、SORACOM以外でも使えると思うので、別のSIMも検討予定です。なお、1000円分のクーポンが活用できるので、当面はSORACOM SIMを利用予定です。