パラメータ数 N と学習トークン数 D を入れると、学習に必要な計算量の目安 6ND(FLOPs)と、推論1トークンあたりの計算量 2N、チンチラ則による目安の学習トークン数 20N を計算します。学習時間や費用を見積もる最初の一歩に使えます。
学習計算量(FLOPs)計算ツール(6ND・チンチラ則)
パラメータ数Nと学習トークン数Dから、学習の計算量(約6ND)と推論の計算量、チンチラ則の目安トークン数を計算します。
使い方
- パラメータ数 N を「B(10億)」単位で入力します。
- 学習トークン数 D を同じく「B(10億)」単位で入力します。
- 学習計算量・推論計算量・チンチラ則の目安と、D÷N(1パラメータあたりのトークン数)を確認します。
計算式
学習計算量 C ≈ 6 × N × D(FLOPs)
推論 ≈ 2 × N(FLOPs/トークン)
チンチラ則の目安 D ≈ 20 × N
1トークンの順伝播で約2N回、逆伝播で約4N回の浮動小数点演算が必要になるため、合わせて約6Nとなり、それを学習トークン数 D 回くり返すと考えます。チンチラ則は、決まった計算量の中で性能を最もよくするには、パラメータ数の約20倍のトークンで学習するのがよい、という研究にもとづく目安です。
計算例
初期値の「N=1B、D=20B」で計算します。
- C = 6×1.000×10^9×2.000×10^10 = 1.200×10^20 FLOPs
- 1PFLOP/s で動かし続けた日数に換算すると約1.39日分
- 推論は1トークンあたり 2N = 2.000×10^9 FLOPs
- チンチラ則の目安:20×N = 20Bトークン(D÷N=20 なので目安どおり)
結果の見方
計算量 C は N と D の積で決まります。同じ計算量でも、大きなモデルを少ないトークンで学習するか、小さなモデルを多くのトークンで学習するかを選べます。D÷N が20より大きく小さいモデルを長く学習させる設定は、学習には余分な計算がかかっても、推論のコストを抑えたいときに選ばれることがあります。
求めた C は、学習時間・GPU費用計算ツールにそのまま入力できます。
モデルの大きさとチンチラ則の目安
パラメータ数ごとに、目安のトークン数(20N)で学習した場合の計算量です。
| N | 目安の D(20N) | 計算量 6ND |
|---|---|---|
| 1B | 20B | 1.2×10^20 |
| 7B | 140B | 約5.9×10^21 |
| 70B | 1.4T | 約5.9×10^23 |
目安どおりに学習する場合、計算量は N の2乗に比例して増えます。モデルを10倍にすると、計算量は約100倍になります。
このため、大きなモデルほど学習の費用は急に増えていきます。
求めた計算量を、使うGPUの実効性能で割ると学習時間になります。次の学習時間・GPU費用計算ツールで続けて試算できます。
また、同じ計算量でもパラメータ数とトークン数の配分によって、完成したモデルの推論コストは大きく変わります。
注意点
- 6ND は概算です。注意機構の、系列長に比例して増える計算は含まれていません。系列長が長い場合は実際の計算量が増えます。
- 勾配チェックポイントで順伝播をやり直す場合、計算量はさらに増えます。
- チンチラ則の「20倍」は一つの研究による目安で、データの質や目的によって最適な値は変わります。
- FLOPs(計算の回数)と FLOPS(1秒あたりの計算回数)は別のものです。
学習計算量 6NDのよくある質問
Q. 6NDとは何ですか?
A. パラメータ数Nのモデルを学習トークン数Dで学習するときの計算量の目安です。1トークンあたり順伝播で約2N、逆伝播で約4Nの演算がかかることから来ています。
Q. チンチラ則とは何ですか?
A. 決まった計算量で性能を最もよくするには、パラメータ数とトークン数をバランスよく増やすべきだという考え方で、目安としてトークン数はパラメータ数の約20倍とされます。
Q. 推論の計算量はどう見積もりますか?
A. 1トークンを生成するのに約2N FLOPsが目安です。生成するトークン数をかければ、応答1回あたりのおおよその計算量になります。
