データ分割計算ツール|訓練・検証・テスト

データ件数と訓練・検証・テストの比率、バッチサイズ、エポック数を入れると、各データの件数と1エポックのステップ数、総ステップ数を計算します。学習率スケジュールの設定や、学習時間の見積もりに使えるツールです。

訓練・検証・テスト分割 計算ツール(ステップ数)

データ件数と分割比率、バッチサイズ、エポック数から、訓練・検証・テストの件数と1エポックのステップ数、総ステップ数を計算します。

使い方

  1. データ件数と、訓練・検証・テストの比率を入力します。70/15/15 でも 0.7/0.15/0.15 でもかまいません。
  2. バッチサイズとエポック数を入力し、最後の端数バッチを使うか捨てるか(drop_last)を選びます。
  3. 各データの件数、1エポックのステップ数、総ステップ数、最後のバッチの件数が表示されます。

計算式

検証の件数   = ⌈n × 検証の比率 ÷ 比率の合計⌉
テストの件数 = ⌈n × テストの比率 ÷ 比率の合計⌉
訓練の件数   = n − 検証 − テスト
1エポックのステップ数 = ⌈訓練 ÷ バッチサイズ⌉(drop_last=False)
                      = ⌊訓練 ÷ バッチサイズ⌋(drop_last=True)
総ステップ数 = 1エポックのステップ数 × エポック数

⌈ ⌉ は切り上げ、⌊ ⌋ は切り捨てです。検証とテストを切り上げ、残りを訓練にする方法は、scikit-learn の train_test_split と同じ考え方です。

3つのデータの役割

訓練データはモデルのパラメータを学習するため、検証データはハイパーパラメータの調整や学習を止めるタイミング(早期終了)の判断のため、テストデータは最後に一度だけ性能を確かめるために使います。テストデータを調整に使うと、性能を実際より高く見積もってしまうので注意しましょう。データが少ない場合は、検証データを分けずに交差検証を使う方法もあります。

計算例

初期値の n = 10,000件、比率 70/15/15、バッチサイズ32、10エポック、drop_last=False で計算します。

  • 検証 = ⌈10000 × 0.15⌉ = 1,500件、テスト = 1,500件、訓練 = 10000 − 1500 − 1500 = 7,000件
  • 1エポックのステップ数 = ⌈7000 ÷ 32⌉ = 219(7000 ÷ 32 = 218.75)
  • 最後のバッチは 7000 − 218 × 32 = 24件です。
  • 総ステップ数 = 219 × 10 = 2,190
  • 検証のステップ数は ⌈1500 ÷ 32⌉ = 47 です。

結果の見方

  • 総ステップ数は、学習率スケジュール(コサイン減衰など)の総ステップ数として使います。
  • 1エポックのステップ数は、ログを出す間隔やチェックポイントを保存する間隔を決める目安になります。
  • drop_last=True にすると、端数のデータ(この例では24件)はそのエポックの学習に使われません。シャッフルしていれば、外れるデータは毎回変わります。

注意点

  • 端数の扱いはライブラリや書き方によって違います。訓練を切り捨てで決める方法もあるため、件数が1件ずれることがあります。
  • 分類問題でクラスに偏りがある場合は、層化抽出(stratify)でクラスの割合をそろえて分割するのが一般的です。件数の計算は同じです。
  • 時系列データはランダムに分けず、時間の順に分割します。
  • 複数GPUで学習する場合や、勾配累積を使う場合は、1ステップあたりの件数が変わるので総ステップ数も変わります。
  • 検証データのステップ数は、検証時のバッチサイズを訓練と同じにした場合の値です。

データ分割とステップ数のよくある質問

Q. 訓練・検証・テストの比率はどれくらいが一般的ですか?

A. 70/15/15 や 80/10/10 がよく使われます。データが非常に多い場合は、検証とテストの割合を小さくしても十分な件数を確保できます。

Q. drop_last は True と False のどちらがよいですか?

A. 既定は False が多く、すべてのデータを使えます。バッチ正規化を使っていて最後のバッチがとても小さくなる場合などに True が選ばれます。

Q. ステップ数とイテレーション数は同じですか?

A. ミニバッチ1回分のパラメータ更新を1ステップ(1イテレーション)と呼ぶのが一般的で、同じ意味で使われます。