局所最適解

ある範囲では一番良いように見えて、全体で見るとそうではないもの、これを局所最適解と言います。身近な例で考えてみましょう。山登りで、目の前にある小さな丘を登りきったとします。あたりを見回すと、そこは確かに周りのどの地点よりも高い場所です。だからといって、本当に一番高い場所 reached the summit に辿り着いたと言えるでしょうか？もっと遠くには、もっと高い山が隠れているかもしれません。この小さな丘は、全体で見れば最適な場所、つまり一番高い山頂ではないのです。これが局所最適解です。一部分だけを見て全体を把握していないと、このような落とし穴にハマってしまうのです。 特に、機械学習の分野では、この局所最適解という考え方がとても大切です。機械学習では、最適化手順、言い換えると一番良い答えを見つける手順のことを最適化アルゴリズムと言いますが、この最適化アルゴリズムで局所最適解に引っかかってしまうことがよくあります。代表的な最適化アルゴリズムの一つに勾配降下法というものがあります。勾配降下法は、山を下るようにデータの傾斜に沿って一番良い答えを探し出す方法です。しかし、この方法では小さな谷、つまり局所最適解に落ちてしまうと、そこから抜け出せなくなることがあります。一度小さな谷に落ちてしまうと、アルゴリズムはそこから抜け出すことができず、真の最適解、つまり一番良い答えを見つけることができないのです。まるで深い谷底に迷い込んでしまった登山家のようです。 このように、局所最適解は機械学習の分野では重要な課題であり、様々な工夫をしてこの問題を避ける、あるいは解決するための研究が続けられています。

機械学習の目的は、与えられた情報から最も良い予測をするための計算方法、つまり模型を組み立てることです。この模型作りで大切なのは、模型の良し悪しを測るための物差し、つまり評価の基準となる数値を定めることです。この数値は、模型の出来が悪いほど大きくなり、良いほど小さくなるように設定します。もしくは、反対に、良いほど数値が大きくなるように設定する場合もあります。目指すのは、この数値が最も小さくなる、あるいは最も大きくなる模型を見つけることです。この数値が最も良い値をとる点を最適解と呼びます。最適解には、大きく分けて二つの種類があります。一つは全体最適解、もう一つは局所最適解です。 全体最適解とは、あらゆる模型の中で最も評価数値が良い、つまり一番良い模型に対応する点です。例えるなら、広い山脈の中で一番高い山頂のようなものです。この山頂に辿り着けば、これ以上高い場所は他にないと断言できます。一方、局所最適解とは、周りを見渡した限りでは一番良いように見えるものの、実際にはもっと良い点が存在する可能性がある点です。これは、山脈の途中で登った小さな丘の頂上のようなものです。その丘の頂上にいる限り、周りを見渡しても他に高い場所はありません。しかし、山脈全体で見れば、もっと高い山頂が他に存在するかもしれません。このように、局所最適解は、全体で見れば最適ではないものの、その周辺だけを見ると最適に見えるため、本当の最適解を見つけるための邪魔になることがあります。機械学習では、この局所最適解という罠に囚われず、真の全体最適解を見つけ出す方法が常に模索されています。目指すは山脈で一番高い山頂であり、途中の小さな丘で満足して立ち止まってはいけません。