学習率スケジュール計算ツール|Warmup対応

初期学習率・総ステップ数・方式を入力すると、主要なステップでの学習率を表にまとめます。Step decay、Exponential、Cosine、Linear warmup+Cosine に対応し、指定したステップの学習率や平均学習率も確認できます。

学習率スケジュール 計算ツール(Step・Cosine・Warmup)

初期学習率と総ステップ数、方式(Step decay・Exponential・Cosine・Warmup+Cosine)から、各ステップの学習率を表にします。

使い方

  1. 初期(最大)学習率と総ステップ数を入力し、方式を選びます。
  2. 方式に応じて、減衰の間隔 s と減衰率 γ、ウォームアップのステップ数、最小学習率を設定します。
  3. 確認したいステップの学習率と、10%刻みの学習率の表が表示されます。

計算式

Step decay  : lr = lr₀ × γ^floor(t/s)
Exponential : lr = lr₀ × γ^(t/s)
Cosine      : lr = lr_min + ½(lr₀ − lr_min)(1 + cos(πt/T))
Warmup+Cosine:
  t < W : lr = lr₀ × t ÷ W
  t ≥ W : lr = lr_min + ½(lr₀ − lr_min)(1 + cos(π(t−W)/(T−W)))

lr₀ は初期学習率、t は現在のステップ、T は総ステップ数、s は減衰の間隔、γ は減衰率、W はウォームアップのステップ数、lr_min は最小学習率です。

スケジュールを使う理由

学習の初めは大きめの学習率で素早く損失を下げ、終盤は小さな学習率で細かく調整すると、安定して良い結果に近づきやすくなります。一定の学習率のままだと、終盤に最小点の周りで行ったり来たりしやすいためです。

計算例

初期値の lr₀ = 0.001、T = 1000、方式 Warmup+Cosine、W = 100、lr_min = 0 で、ステップ500の学習率を求めます。

  • t = 500 は W 以上なので、コサイン側の式を使います。
  • (t − W) ÷ (T − W) = 400 ÷ 900 = 0.4444
  • lr = 0.5 × 0.001 × (1 + cos(π × 0.4444)) = 0.00058682
ステップ 学習率 初期比
0 0 0%
50 0.0005 50%
100 0.001 100%
500 0.00058682 58.68%
1000 0 0%

t = 0〜999 の平均学習率は 0.0005 です。

結果の見方

  • ウォームアップ中は学習率が直線的に上がり、ステップ W で最大になります。学習初期の不安定さを抑える目的で使われます。
  • コサインは序盤と終盤の変化がゆるやかで、中盤に大きく下がります。
  • Step decay は s ステップごとに階段状に γ 倍、Exponential は同じ割合で連続的に下がります。
  • 平均学習率は、方式どうしで「全体としてどれくらいの大きさで学習するか」を比べる目安になります。

注意点

  • ここでのステップは、ライブラリによって「エポック」単位のこともあります。PyTorch の StepLR などはエポックごとに更新する使い方が一般的です。
  • ウォームアップの開始値(0から始めるか、小さな値から始めるか)や、t を0始まりにするか1始まりにするかは実装によって違います。
  • 総ステップ数は「1エポックのステップ数 × エポック数」です。データ分割計算ツールで求めた値を使うと便利です。
  • 最適な学習率やスケジュールはモデルとデータによって変わります。表は設定の確認用として使ってください。
  • 学習率を急に下げると損失が一段下がることがあります。Step decay で損失が階段状に変化するのはこのためです。
  • 途中から学習を再開する場合は、スケジュールのステップ数も保存して引き継ぐ必要があります。

学習率スケジュールのよくある質問

Q. ウォームアップは何ステップにすればよいですか?

A. 決まった値はありませんが、総ステップ数の数%〜10%程度に設定する例がよく見られます。学習初期に損失が不安定なら長めにするなど、様子を見て調整します。

Q. Step decay と Exponential の違いは何ですか?

A. Step decay は s ステップごとに一気に γ 倍になる階段状、Exponential は毎ステップ少しずつ下がり、s ステップでちょうど γ 倍になる連続的な減衰です。

Q. 最小学習率は0でよいですか?

A. 0でも問題なく使えます。学習の最後まで少しだけ更新を続けたい場合は、初期学習率の1%程度などの小さな値を設定することもあります。