学習時間・GPU費用計算ツール|MFU

総計算量(FLOPs)とGPU1枚の性能、GPU枚数、実効利用率(MFU)を入れると、学習にかかるおおよその時間を計算します。GPU1枚1時間あたりの単価を入れると費用もわかります。性能と単価は例の値なので、使う環境の値に置き換えてください。

学習時間・GPU費用計算ツール(FLOPs・TFLOPS・MFUから)

総計算量(FLOPs)・GPU性能・枚数・実効利用率(MFU)から、モデルの学習にかかる時間と費用を概算します。

使い方

  1. 総計算量を入力します。1.2e20 のような指数表記も使えます。学習計算量(6ND)計算ツールの結果を入れると便利です。
  2. GPU1枚の性能(TFLOPS)、枚数、実効利用率(MFU)を入力します。初期値の100TFLOPS・40%は例の値です。
  3. 費用も知りたい場合は、GPU1枚1時間あたりの単価(円)を入力します。

計算式

実効性能 = GPU1枚の性能 × 枚数 × MFU
学習時間(秒)= 総計算量 ÷ 実効性能
費用 = 学習時間(時間)× 枚数 × 1時間あたりの単価

MFU(Model FLOPs Utilization)は、GPU の理論上の性能のうち、モデルの計算に実際に使えている割合です。通信待ちやメモリの読み書きなどがあるため、100%にはなりません。

計算例

初期値の「総計算量1.2×10^20、100TFLOPS、8枚、MFU40%、単価500円」で計算します。

  • 実効性能:100×8×40% = 320TFLOPS(3.200×10^14 FLOPS)
  • 学習時間:1.2×10^20÷3.2×10^14 = 375,000秒 = 約104.2時間(約4.3日)
  • GPU時間:104.2×8 = 約833GPU時間
  • 費用:833.3×500円 = 約416,667円

結果の見方

学習時間は MFU に反比例します。MFU が40%から20%に下がると、時間も費用も2倍になります。MFU は実装の工夫、通信の速さ、バッチサイズなどで大きく変わるため、いくつかの値で試して幅を持たせて見積もるのがおすすめです。

GPU の枚数を増やすと時間は短くなりますが、理想的には費用(GPU時間×単価)は変わりません。実際には枚数が増えるほど通信の負担で MFU が下がりやすく、費用が増えることがあります。

MFU による学習時間の違い

計算例と同じ条件(1.2×10^20 FLOPs、100TFLOPS、8枚)で、MFU だけを変えた場合です。

MFU 学習時間
20% 約208.3時間
30% 約138.9時間
40% 約104.2時間
50% 約83.3時間

見積もりでは、楽観的な値と悲観的な値の両方で計算しておくと、予算の幅をつかみやすくなります。

求めた時間に、評価や再実行のための余裕(たとえば2〜3割)を足しておくと、予定がずれにくくなります。

また、途中で設定を変えて学習をやり直すことも多いため、試行の回数も見込んでおくと現実的な予算になります。

注意点

  • あくまで概算です。評価、チェックポイントの保存、障害からの再開、ハイパーパラメータの探索などにかかる時間や費用は含まれていません。
  • GPU の性能は精度(FP32、BF16、FP8 など)によって大きく異なります。学習で使う精度の値を入れてください。
  • カタログの性能値には、特定の条件でしか出ない値が書かれている場合があります。
  • 単価には、ストレージやデータ転送などの費用は含まれていません。

学習時間とGPU費用のよくある質問

Q. MFUとは何ですか?

A. GPUの理論性能のうち、モデルの計算に実際に使われている割合です。通信やメモリの待ち時間があるため、実際には理論値よりかなり低くなるのが普通です。

Q. 学習時間はどう計算しますか?

A. 総計算量(FLOPs)を、GPU1枚の性能×枚数×MFUで割ると秒数が出ます。3,600で割ると時間になります。

Q. GPUを増やすと費用は下がりますか?

A. 理想的には時間が短くなる分、GPU時間の合計は同じなので費用は変わりません。実際は枚数が増えるとMFUが下がりやすく、費用が増えることもあります。