総計算量(FLOPs)とGPU1枚の性能、GPU枚数、実効利用率(MFU)を入れると、学習にかかるおおよその時間を計算します。GPU1枚1時間あたりの単価を入れると費用もわかります。性能と単価は例の値なので、使う環境の値に置き換えてください。
学習時間・GPU費用計算ツール(FLOPs・TFLOPS・MFUから)
総計算量(FLOPs)・GPU性能・枚数・実効利用率(MFU)から、モデルの学習にかかる時間と費用を概算します。
使い方
- 総計算量を入力します。1.2e20 のような指数表記も使えます。学習計算量(6ND)計算ツールの結果を入れると便利です。
- GPU1枚の性能(TFLOPS)、枚数、実効利用率(MFU)を入力します。初期値の100TFLOPS・40%は例の値です。
- 費用も知りたい場合は、GPU1枚1時間あたりの単価(円)を入力します。
計算式
実効性能 = GPU1枚の性能 × 枚数 × MFU
学習時間(秒)= 総計算量 ÷ 実効性能
費用 = 学習時間(時間)× 枚数 × 1時間あたりの単価
MFU(Model FLOPs Utilization)は、GPU の理論上の性能のうち、モデルの計算に実際に使えている割合です。通信待ちやメモリの読み書きなどがあるため、100%にはなりません。
計算例
初期値の「総計算量1.2×10^20、100TFLOPS、8枚、MFU40%、単価500円」で計算します。
- 実効性能:100×8×40% = 320TFLOPS(3.200×10^14 FLOPS)
- 学習時間:1.2×10^20÷3.2×10^14 = 375,000秒 = 約104.2時間(約4.3日)
- GPU時間:104.2×8 = 約833GPU時間
- 費用:833.3×500円 = 約416,667円
結果の見方
学習時間は MFU に反比例します。MFU が40%から20%に下がると、時間も費用も2倍になります。MFU は実装の工夫、通信の速さ、バッチサイズなどで大きく変わるため、いくつかの値で試して幅を持たせて見積もるのがおすすめです。
GPU の枚数を増やすと時間は短くなりますが、理想的には費用(GPU時間×単価)は変わりません。実際には枚数が増えるほど通信の負担で MFU が下がりやすく、費用が増えることがあります。
MFU による学習時間の違い
計算例と同じ条件(1.2×10^20 FLOPs、100TFLOPS、8枚)で、MFU だけを変えた場合です。
| MFU | 学習時間 |
|---|---|
| 20% | 約208.3時間 |
| 30% | 約138.9時間 |
| 40% | 約104.2時間 |
| 50% | 約83.3時間 |
見積もりでは、楽観的な値と悲観的な値の両方で計算しておくと、予算の幅をつかみやすくなります。
求めた時間に、評価や再実行のための余裕(たとえば2〜3割)を足しておくと、予定がずれにくくなります。
また、途中で設定を変えて学習をやり直すことも多いため、試行の回数も見込んでおくと現実的な予算になります。
注意点
- あくまで概算です。評価、チェックポイントの保存、障害からの再開、ハイパーパラメータの探索などにかかる時間や費用は含まれていません。
- GPU の性能は精度(FP32、BF16、FP8 など)によって大きく異なります。学習で使う精度の値を入れてください。
- カタログの性能値には、特定の条件でしか出ない値が書かれている場合があります。
- 単価には、ストレージやデータ転送などの費用は含まれていません。
学習時間とGPU費用のよくある質問
Q. MFUとは何ですか?
A. GPUの理論性能のうち、モデルの計算に実際に使われている割合です。通信やメモリの待ち時間があるため、実際には理論値よりかなり低くなるのが普通です。
Q. 学習時間はどう計算しますか?
A. 総計算量(FLOPs)を、GPU1枚の性能×枚数×MFUで割ると秒数が出ます。3,600で割ると時間になります。
Q. GPUを増やすと費用は下がりますか?
A. 理想的には時間が短くなる分、GPU時間の合計は同じなので費用は変わりません。実際は枚数が増えるとMFUが下がりやすく、費用が増えることもあります。
