学習計算量6ND計算ツール|チンチラ則

パラメータ数 N と学習トークン数 D を入れると、学習に必要な計算量の目安 6ND(FLOPs)と、推論1トークンあたりの計算量 2N、チンチラ則による目安の学習トークン数 20N を計算します。学習時間や費用を見積もる最初の一歩に使えます。

学習計算量(FLOPs)計算ツール(6ND・チンチラ則)

パラメータ数Nと学習トークン数Dから、学習の計算量(約6ND)と推論の計算量、チンチラ則の目安トークン数を計算します。

使い方

  1. パラメータ数 N を「B(10億)」単位で入力します。
  2. 学習トークン数 D を同じく「B(10億)」単位で入力します。
  3. 学習計算量・推論計算量・チンチラ則の目安と、D÷N(1パラメータあたりのトークン数)を確認します。

計算式

学習計算量 C ≈ 6 × N × D(FLOPs)
推論 ≈ 2 × N(FLOPs/トークン)
チンチラ則の目安 D ≈ 20 × N

1トークンの順伝播で約2N回、逆伝播で約4N回の浮動小数点演算が必要になるため、合わせて約6Nとなり、それを学習トークン数 D 回くり返すと考えます。チンチラ則は、決まった計算量の中で性能を最もよくするには、パラメータ数の約20倍のトークンで学習するのがよい、という研究にもとづく目安です。

計算例

初期値の「N=1B、D=20B」で計算します。

  • C = 6×1.000×10^9×2.000×10^10 = 1.200×10^20 FLOPs
  • 1PFLOP/s で動かし続けた日数に換算すると約1.39日分
  • 推論は1トークンあたり 2N = 2.000×10^9 FLOPs
  • チンチラ則の目安:20×N = 20Bトークン(D÷N=20 なので目安どおり)

結果の見方

計算量 C は N と D の積で決まります。同じ計算量でも、大きなモデルを少ないトークンで学習するか、小さなモデルを多くのトークンで学習するかを選べます。D÷N が20より大きく小さいモデルを長く学習させる設定は、学習には余分な計算がかかっても、推論のコストを抑えたいときに選ばれることがあります。

求めた C は、学習時間・GPU費用計算ツールにそのまま入力できます。

モデルの大きさとチンチラ則の目安

パラメータ数ごとに、目安のトークン数(20N)で学習した場合の計算量です。

N 目安の D(20N) 計算量 6ND
1B 20B 1.2×10^20
7B 140B 約5.9×10^21
70B 1.4T 約5.9×10^23

目安どおりに学習する場合、計算量は N の2乗に比例して増えます。モデルを10倍にすると、計算量は約100倍になります。

このため、大きなモデルほど学習の費用は急に増えていきます。

求めた計算量を、使うGPUの実効性能で割ると学習時間になります。次の学習時間・GPU費用計算ツールで続けて試算できます。

また、同じ計算量でもパラメータ数とトークン数の配分によって、完成したモデルの推論コストは大きく変わります。

注意点

  • 6ND は概算です。注意機構の、系列長に比例して増える計算は含まれていません。系列長が長い場合は実際の計算量が増えます。
  • 勾配チェックポイントで順伝播をやり直す場合、計算量はさらに増えます。
  • チンチラ則の「20倍」は一つの研究による目安で、データの質や目的によって最適な値は変わります。
  • FLOPs(計算の回数)と FLOPS(1秒あたりの計算回数)は別のものです。

学習計算量 6NDのよくある質問

Q. 6NDとは何ですか?

A. パラメータ数Nのモデルを学習トークン数Dで学習するときの計算量の目安です。1トークンあたり順伝播で約2N、逆伝播で約4Nの演算がかかることから来ています。

Q. チンチラ則とは何ですか?

A. 決まった計算量で性能を最もよくするには、パラメータ数とトークン数をバランスよく増やすべきだという考え方で、目安としてトークン数はパラメータ数の約20倍とされます。

Q. 推論の計算量はどう見積もりますか?

A. 1トークンを生成するのに約2N FLOPsが目安です。生成するトークン数をかければ、応答1回あたりのおおよその計算量になります。