浮動小数点精度計算ツール|FP16・BF16・INT8

FP32・FP16・BF16・FP8(E4M3・E5M2)・INT8・INT4 などの数値形式について、ビット構成・最大値・最小正規数・有効桁数の目安を一覧で比較します。パラメータ数を入力すると、各形式でAIモデルの重みを保存するのに必要なメモリ量も計算できます。

浮動小数点の精度・メモリ計算ツール(FP32・FP16・BF16・FP8・INT8・INT4)

FP32・FP16・BF16・FP8・INT8・INT4 のビット構成・最大値・最小正規数・有効桁数を比較し、パラメータ数からモデルの重みのメモリ量を計算します。

使い方

  1. 調べたい数値形式を選びます。
  2. モデルのパラメータ数を10億(B)単位で入力します(例:7 = 70億)。
  3. 選んだ形式の性質と、全形式を比べた表が表示されます。

計算式

浮動小数点数は「符号1ビット・指数 e ビット・仮数 m ビット」でできています。値はIEEE 754 などの定義から次のように求めます。

バイアス = 2^(e−1) − 1
最大値 = 2^(最大指数) × (2 − 2^−m)
最小正規数 = 2^(1 − バイアス)
有効桁数(10進)≒ (m + 1) × log10(2)
メモリ(バイト) = パラメータ数 × ビット数 ÷ 8

FP8 E4M3 は無限大を持たない方式(すべてのビットが1の組み合わせだけをNaNに使う)が広く使われており、最大値は448です。INT8・INT4 は2の補数の符号付き整数です。

計算例

BF16 で70億パラメータのモデルの場合です。

BF16 は符号1・指数8・仮数7の16ビットです。バイアスは 2^7 − 1 = 127、最小正規数は 2^−126 ≒ 1.175 × 10^−38、最大値は約3.390 × 10^38 で、FP32 とほぼ同じ範囲を表せます。有効桁数は (7+1) × log10(2) ≒ 2.41桁です。メモリは 7,000,000,000 × 16 ÷ 8 = 14 GB(約13.04 GiB)になります。

形式 ビット 最大値 70億パラメータのメモリ
FP32 32 約3.403 × 10^38 28 GB
FP16 16 65,504 14 GB
BF16 16 約3.390 × 10^38 14 GB
FP8 E4M3 8 448 7 GB
INT4 4 7 3.5 GB

結果の見方

  • 指数ビットが多いほど表せる範囲が広く、仮数ビットが多いほど細かい値を表せます。
  • FP16 は最大値が65,504と小さいため、学習では値があふれないような工夫(損失スケーリングなど)が使われることがあります。BF16 は範囲が広いぶん精度が粗くなります。
  • INT8・INT4 は量子化で使われ、元の値を表すためのスケール係数を別に持ちます。

メモリ量の目安を形式ごとに比べる

パラメータ数が同じでも、数値形式によって必要なメモリは大きく変わります。FP32では1パラメータあたり4バイト、FP16とBF16では2バイト、INT8では1バイト、INT4では0.5バイトです。そのため、FP32で28 GBのモデルは、BF16で14 GB、INT4では3.5 GBになります。ビット数を減らすほどメモリは少なくなりますが、表せる値の細かさも下がるため、精度が落ちる可能性があります。量子化の方法やモデルによって精度の下がり方は違うため、実際の用途で品質を確かめてから使い分けましょう。

注意点

  • 表示しているメモリは重みだけの量です。推論ではKVキャッシュや作業領域、学習では勾配やオプティマイザの状態が追加で必要になります。
  • 量子化したモデルは、スケールなどの付加情報のぶん実際のファイルサイズが少し大きくなります。
  • FP8 には E4M3 と E5M2 など複数の形式があり、実装によって細かな仕様が違う場合があります。
  • GB は10^9バイトです。GPUのメモリ表示(GiB)と比べるときは換算に注意してください。

数値形式とモデルのメモリのよくある質問

Q. FP16とBF16はどちらがよいですか?

A. 用途によります。BF16 はFP32と同じ範囲を表せるため学習で値があふれにくく、FP16 は仮数ビットが多いぶん細かい値を表せます。使うハードウェアが対応しているかも確認しましょう。

Q. 70億パラメータのモデルを動かすのに必要なメモリは?

A. 重みだけならFP16/BF16で約14 GB、INT8で約7 GB、INT4で約3.5 GBです。実際には推論時の作業領域などが追加で必要です。

Q. 有効桁数とは何ですか?

A. 10進数で何桁くらいまで正確に表せるかの目安です。FP32は約7.2桁、FP16は約3.3桁、BF16は約2.4桁です。