局所最適解とは?:機械学習の落とし穴
機械学習の目的は、与えられた情報から最も良い予測をするための計算方法、つまり模型を組み立てることです。この模型作りで大切なのは、模型の良し悪しを測るための物差し、つまり評価の基準となる数値を定めることです。この数値は、模型の出来が悪いほど大きくなり、良いほど小さくなるように設定します。もしくは、反対に、良いほど数値が大きくなるように設定する場合もあります。目指すのは、この数値が最も小さくなる、あるいは最も大きくなる模型を見つけることです。この数値が最も良い値をとる点を最適解と呼びます。最適解には、大きく分けて二つの種類があります。一つは全体最適解、もう一つは局所最適解です。
全体最適解とは、あらゆる模型の中で最も評価数値が良い、つまり一番良い模型に対応する点です。例えるなら、広い山脈の中で一番高い山頂のようなものです。この山頂に辿り着けば、これ以上高い場所は他にないと断言できます。一方、局所最適解とは、周りを見渡した限りでは一番良いように見えるものの、実際にはもっと良い点が存在する可能性がある点です。これは、山脈の途中で登った小さな丘の頂上のようなものです。その丘の頂上にいる限り、周りを見渡しても他に高い場所はありません。しかし、山脈全体で見れば、もっと高い山頂が他に存在するかもしれません。このように、局所最適解は、全体で見れば最適ではないものの、その周辺だけを見ると最適に見えるため、本当の最適解を見つけるための邪魔になることがあります。機械学習では、この局所最適解という罠に囚われず、真の全体最適解を見つけ出す方法が常に模索されています。目指すは山脈で一番高い山頂であり、途中の小さな丘で満足して立ち止まってはいけません。