局所解

鞍点とは、幾つもの広がりを持つ空間における、関数のとある点での特徴を表す言葉です。ある方向から見ると谷底のように最も低い点に見え、別の方向から見ると山の頂上のように最も高い点に見える、そんな不思議な点のことを指します。ちょうど、馬の鞍のような形を思い浮かべると分かりやすいでしょう。 山の頂上は、どの向きに下っても必ず値が小さくなります。これは極大点と呼ばれる点です。逆に、谷底はどの向きに上っても値が大きくなり、極小点と呼ばれます。しかし、鞍点はこれらとは大きく異なります。鞍点は、ある方向には値が小さくなり、別の方向には値が大きくなるという性質を持っています。そのため、全体の形としては、単純な山の頂上や谷底とは異なり、もっと複雑な起伏を持った形になります。 この鞍点という複雑な形の点が、機械学習では時として問題を引き起こすことがあります。機械学習では、関数の値が最も小さくなる点、つまり最適な解を見つけ出すことが目標となります。しかし、学習の過程で鞍点に捕まってしまうと、そこが谷底（極小点）ではないにもかかわらず、それ以上低い場所が見つからず、最適な解に辿り着けないということが起こるのです。まるで、広い土地の中で小さな谷底に迷い込んでしまい、周りを見ても山ばかりで、本当の谷底への道が分からなくなってしまうようなものです。そのため、鞍点をいかに避けるか、あるいは鞍点から脱出する方法は、機械学習における重要な課題の一つとなっています。