二次関数 f(x)=a(x−b)² に勾配降下法を使ったとき、各ステップの x・勾配・損失を表にして、収束・振動・発散を判定します。学習率の大きさで結果がどう変わるかを、数値で確かめながら理解できます。
勾配降下法 計算ツール(1変数の二次関数・発散判定)
f(x)=a(x−b)²を学習率ηで勾配降下したときの各ステップのxと損失を表にし、収束・振動・発散を判定します。
使い方
- 関数の係数 a(正の値)と最小点 b、初期値 x₀ を入力します。
- 学習率 η とステップ数を入力します。
- 判定(収束・振動・発散)、最後の x と損失、各ステップの表を確認します。
計算式
f(x) = a(x − b)²
f'(x) = 2a(x − b)
更新式 : x ← x − η × f'(x)
変形 : x_t − b = (1 − 2aη)^t × (x₀ − b)
縮小率 : r = 1 − 2aη
1ステップごとに、最小点 b からのずれが r 倍になります。|r| < 1 なら収束、|r| > 1 なら発散します。つまり 0 < η < 1/a なら収束し、η = 1/(2a) のとき1ステップで最小点に届きます。
この例で学べること
機械学習のモデルは、損失関数の値が小さくなる方向へパラメータを少しずつ動かして学習します。その基本が勾配降下法で、どれだけ動かすかを決めるのが学習率です。二次関数は最小点がはっきりしていて、学習率と収束の関係を式で正確に表せるため、勾配降下法の動きを理解する教材としてよく使われます。学習率を0.1、0.5、0.9、1.1と変えて、表の動きを比べてみてください。
計算例
初期値の a = 1、b = 3、x₀ = 0、η = 0.1、20ステップで計算します。
- r = 1 − 2 × 1 × 0.1 = 0.8 なので収束します。
- ステップ0:x = 0、勾配 = −6、損失 = 9
- ステップ1:x = 0 − 0.1 × (−6) = 0.6、損失 = 5.76
- ステップ2:x = 1.08、損失 = 3.6864
- 20ステップ後:x = 3 − 0.8²⁰ × 3 = 2.965412、損失 = 0.001196
発散しない学習率の上限は 1/a = 1、最速の学習率は 1/(2a) = 0.5 です。
結果の見方
| r = 1 − 2aη | 動き |
|---|---|
| 0 < r < 1 | 同じ側から最小点に近づきます。r が1に近いほど遅くなります。 |
| r = 0 | 1ステップで最小点に到達します。 |
| −1 < r < 0 | 最小点を飛び越え、左右に振動しながら近づきます。 |
| r = −1 | 同じ2点を行き来し、収束も発散もしません。 |
| r < −1 | 振動しながら遠ざかり、発散します。 |
学習率が小さすぎると収束が遅く、大きすぎると振動や発散が起きる、という勾配降下法の基本的な性質がそのまま確認できます。
注意点
- このツールは1変数の二次関数という単純な例です。実際のニューラルネットワークの損失は複雑な形をしているため、上限の式がそのまま当てはまるわけではありません。
- 多変数の二次関数では、曲がり方がもっとも急な方向(ヘッセ行列の最大固有値)で学習率の上限が決まります。
- 実際の学習では、確率的勾配降下法(SGD)のようにミニバッチの勾配を使うため、値はばらつきながら下がります。
- a は0より大きい値にしてください。a が負だと最小点のない関数になります。
- ステップ数は1,000までです。値が極端に大きくなった場合は、オーバーフローとして計算を止めます。
勾配降下法(1変数)のよくある質問
Q. 学習率が大きすぎるとなぜ発散するのですか?
A. 1回の更新で最小点を大きく飛び越え、反対側のより遠い位置に移ってしまうためです。この関数では η が 1/a を超えると、毎回ずれが大きくなります。
Q. 学習率はどのように決めればよいですか?
A. 実際の学習では、いくつかの値を試して損失の下がり方を比べるのが一般的です。0.1、0.01、0.001のように10倍刻みで試し、うまくいく範囲を絞り込みます。
Q. 振動しながら収束するのは問題ですか?
A. 最終的に収束するなら大きな問題ではありませんが、無駄な動きが多く遅くなりがちです。学習率を少し下げると、まっすぐ近づくようになります。
