初期学習率・総ステップ数・方式を入力すると、主要なステップでの学習率を表にまとめます。Step decay、Exponential、Cosine、Linear warmup+Cosine に対応し、指定したステップの学習率や平均学習率も確認できます。
学習率スケジュール 計算ツール(Step・Cosine・Warmup)
初期学習率と総ステップ数、方式(Step decay・Exponential・Cosine・Warmup+Cosine)から、各ステップの学習率を表にします。
使い方
- 初期(最大)学習率と総ステップ数を入力し、方式を選びます。
- 方式に応じて、減衰の間隔 s と減衰率 γ、ウォームアップのステップ数、最小学習率を設定します。
- 確認したいステップの学習率と、10%刻みの学習率の表が表示されます。
計算式
Step decay : lr = lr₀ × γ^floor(t/s)
Exponential : lr = lr₀ × γ^(t/s)
Cosine : lr = lr_min + ½(lr₀ − lr_min)(1 + cos(πt/T))
Warmup+Cosine:
t < W : lr = lr₀ × t ÷ W
t ≥ W : lr = lr_min + ½(lr₀ − lr_min)(1 + cos(π(t−W)/(T−W)))
lr₀ は初期学習率、t は現在のステップ、T は総ステップ数、s は減衰の間隔、γ は減衰率、W はウォームアップのステップ数、lr_min は最小学習率です。
スケジュールを使う理由
学習の初めは大きめの学習率で素早く損失を下げ、終盤は小さな学習率で細かく調整すると、安定して良い結果に近づきやすくなります。一定の学習率のままだと、終盤に最小点の周りで行ったり来たりしやすいためです。
計算例
初期値の lr₀ = 0.001、T = 1000、方式 Warmup+Cosine、W = 100、lr_min = 0 で、ステップ500の学習率を求めます。
- t = 500 は W 以上なので、コサイン側の式を使います。
- (t − W) ÷ (T − W) = 400 ÷ 900 = 0.4444
- lr = 0.5 × 0.001 × (1 + cos(π × 0.4444)) = 0.00058682
| ステップ | 学習率 | 初期比 |
|---|---|---|
| 0 | 0 | 0% |
| 50 | 0.0005 | 50% |
| 100 | 0.001 | 100% |
| 500 | 0.00058682 | 58.68% |
| 1000 | 0 | 0% |
t = 0〜999 の平均学習率は 0.0005 です。
結果の見方
- ウォームアップ中は学習率が直線的に上がり、ステップ W で最大になります。学習初期の不安定さを抑える目的で使われます。
- コサインは序盤と終盤の変化がゆるやかで、中盤に大きく下がります。
- Step decay は s ステップごとに階段状に γ 倍、Exponential は同じ割合で連続的に下がります。
- 平均学習率は、方式どうしで「全体としてどれくらいの大きさで学習するか」を比べる目安になります。
注意点
- ここでのステップは、ライブラリによって「エポック」単位のこともあります。PyTorch の StepLR などはエポックごとに更新する使い方が一般的です。
- ウォームアップの開始値(0から始めるか、小さな値から始めるか)や、t を0始まりにするか1始まりにするかは実装によって違います。
- 総ステップ数は「1エポックのステップ数 × エポック数」です。データ分割計算ツールで求めた値を使うと便利です。
- 最適な学習率やスケジュールはモデルとデータによって変わります。表は設定の確認用として使ってください。
- 学習率を急に下げると損失が一段下がることがあります。Step decay で損失が階段状に変化するのはこのためです。
- 途中から学習を再開する場合は、スケジュールのステップ数も保存して引き継ぐ必要があります。
学習率スケジュールのよくある質問
Q. ウォームアップは何ステップにすればよいですか?
A. 決まった値はありませんが、総ステップ数の数%〜10%程度に設定する例がよく見られます。学習初期に損失が不安定なら長めにするなど、様子を見て調整します。
Q. Step decay と Exponential の違いは何ですか?
A. Step decay は s ステップごとに一気に γ 倍になる階段状、Exponential は毎ステップ少しずつ下がり、s ステップでちょうど γ 倍になる連続的な減衰です。
Q. 最小学習率は0でよいですか?
A. 0でも問題なく使えます。学習の最後まで少しだけ更新を続けたい場合は、初期学習率の1%程度などの小さな値を設定することもあります。
