Google Researchの実験は大規模過ぎて他で追随不能
久しぶりにAI関連の記事を読みたいと思い、Google Reseachの2020の纏め記事を見て初めて知ったのですが、Googleは機械翻訳の実験として600 Billion個のパラメータを持ったモデル(1パラメータが4Byteとすると2.4TB)を2048台のTPU v3で学習させるという超大規模な実験をやってますね。
2048代のTPU v3を4日間使ったので、一般の人が使った場合の利用料金を計算すると、2048[TPU]/32[TPU/v3-32-pod]*32[$/hours]*24[hours/day]*4[day]=$196,608=約2000万円です。
一回の試行でこれだけのお金が掛かり、1回で成果が得られるとは限らないので、大学などの教育機関ではとても無理ですね。
というか、これを上回る実験をできるのは中国くらいかも。中国は目的を達成するためならば資金に上限を感じさせないので、勝てる気がしますが、他の団体、国では無理そうな気がします。
- Google Reseachの2020の纏め記事
- 引用論文 arxiv.org GShard enabled us to scale up multilingual neural machine translation Transformer model with Sparsely-Gated Mixture-of-Experts beyond 600 billion parameters using automatic sharding. We demonstrate that such a giant model can efficiently be trained on 2048 TPU v3 accelerators in 4 days to achieve far superior quality for translation from 100 languages to English compared to the prior art.
