機械学習

訓練では99%の精度なのに本番では使い物にならない——機械学習で最も多い失敗が過学習です。なぜ起きるのか、どう防ぐのか、代表的な対策を優先度順に整理して解説します。この記事は「機械学習の評価指標まとめ（回帰・分類の指標一覧と選び方）」の一部...

画像や動画に映る特定のものを探し出し、その場所を特定する技術、それが物体検出です。この技術の良し悪しを測るには様々な方法がありますが、中でも平均適合率（mAP）は重要な指標です。mAPは0から1までの数値で表され、1に近いほど、その検出の正確さが高いことを示します。物体検出の仕組みを簡単に説明すると、まずモデルが画像の中から「これは探しているものかもしれない」という部分を提案します。これを予測と言います。次に、その予測が実際に探しているものとどの程度一致しているかを評価します。ここで適合率という指標が登場します。適合率は、予測がどれだけ正確かを表す数値です。しかし、適合率だけでは、本当に探しているものを見逃していないかを判断できません。そこで、再現率という指標も用います。再現率は、実際に画像に写っている探しているもののうち、どれだけの割合を正しく見つけられたかを表します。mAPは、この適合率と再現率を組み合わせた指標です。様々な条件で適合率と再現率を計算し、その平均を取ることによって、モデルの全体的な性能を評価します。mAPが1に近いほど、より多くのものを、より正確に見つけられると言えるでしょう。例えば、自動運転技術には、歩行者や車などを正確に見つけることが不可欠です。そのため、自動運転に用いる物体検出モデルには高いmAP値が求められます。mAP値が高いほど、より安全な自動運転を実現できるからです。近年、深層学習技術の進歩によって物体検出の精度は大きく向上し、それに伴い、このmAPの重要性もますます高まっています。

身近な例えを用いると、ある人がどの集団に属するかを、その人に近い人々が属する集団を参考に決める方法が、機械学習における「k近傍法」です。この方法は、複雑な計算式や高度な数学の知識を必要とせず、データ間の距離という分かりやすい概念に基づいて分類を行います。新しいデータがどの集団に属するかを予測する際、k近傍法は、既に集団分けされている既存のデータとの距離を測ります。距離の測り方にはいくつか種類がありますが、一般的には、データの各要素の差の二乗和の平方根を計算する、ユークリッド距離がよく用いられます。例えば、データが２つの数値で表される場合、二点間の直線距離を求めるのと同じ計算方法です。このようにして、既存のデータそれぞれについて、新しいデータとの距離を計算し、距離が近い順にk個のデータを選び出します。kは、利用者が事前に決めておく正の整数値です。次に、選ばれたk個のデータの中で、最も数の多い集団に、新しいデータを分類します。例えば、kの値を５に設定し、距離が近い５個のデータの中に、Aの集団に属するデータが３個、Bの集団に属するデータが２個あった場合、新しいデータはAの集団に分類されます。このように、k近傍法は、多数決の原理を用いて新しいデータの所属先を決定します。このkの値は、予測の正確さに大きく影響します。kの値が小さすぎると、周りの少し変わったデータ、いわゆる「外れ値」の影響を受けやすく、予測結果が不安定になります。逆に、kの値が大きすぎると、本来は異なる集団に属するデータの影響を受けてしまい、予測の精度が低下する可能性があります。ちょうど良いkの値は、扱うデータの性質や予測の目的により異なるため、試行錯誤しながら最適な値を見つけることが重要です。k近傍法は、その分かりやすさから、機械学習の入門として最適な手法と言えるでしょう。

機械学習では、集めた情報を使って、コンピュータに色々なことを学習させます。学習した結果が、本当に役立つものなのかを確かめる必要があります。そのために使う方法の一つが、交差検証です。交差検証は、限られた量の情報を有効に使うための工夫です。例えるなら、料理のレシピを少しの材料で試し、改良していくようなものです。材料を全部使って一度だけ料理を作るのではなく、材料を分けて何回か料理を作ります。具体的には、集めた情報をいくつかのグループに分けます。そして、ある一つのグループを除いた残りのグループを使ってコンピュータに学習させます。残しておいたグループを使って、学習した結果がどれくらい正しいかを調べます。これを、残しておいたグループを変えながら繰り返します。それぞれのグループを順番にテスト用として使い、それ以外のグループを学習用として使うことで、全てのデータが学習とテストに使われます。この方法の利点は、少ない情報でも学習結果の確かさを調べることができる点です。全ての情報を学習に使い、別のデータでテストできれば理想ですが、十分な情報がない場合、交差検証が役立ちます。交差検証によって、コンピュータが学習したことが、特定の情報だけに合うのではなく、他の新しい情報にも役立つことが確認できます。つまり、本当に役立つ知識をコンピュータが学習できたかを確認できるのです。交差検証は、機械学習の様々な場面で使われており、より信頼性の高い学習結果を得るために重要な方法です。

機械学習は、まるで職人が長年の経験を通して腕を磨くように、計算機が大量の情報を学ぶことで賢くなっていく技術です。人間が一つ一つ手順を教えなくても、計算機自身が情報の中から規則性やパターンを見つけ出し、将来の予測や判断に役立てることができます。例えば、お店の過去の売上記録やお客さんの情報を計算機に学習させると、将来の売上の見込みやお客さんがどんな商品を買うのかを予測することができるようになります。これは、過去の情報から売れ行きと曜日や天気、お客さんの年齢などの関係性を計算機が自ら見つけ出すためです。まるでベテランの店員さんが経験に基づいて売れ行きを予想するようなものです。また、写真に写っているものが何かを判断する画像認識や、話している言葉を文字にする音声認識など、様々な分野で使われています。例えば、犬と猫の写真を大量に学習させることで、新しい写真を見せてもどちらが犬でどちらが猫かを判断できるようになります。これは、人間が犬と猫の特徴を言葉で説明しなくても、計算機が自ら画像データの中からそれぞれの見た目の特徴を学習するからです。このように、機械学習はデータという経験を積むことで賢くなっていくため、データが多ければ多いほど、その精度は高くなります。そして、様々な分野での活用が期待されており、私たちの生活をより便利で豊かにしてくれる可能性を秘めています。まるで、熟練した職人の技術が私たちの生活を支えているように、機械学習も将来、様々な場面で活躍していくことでしょう。

学習曲線とは、機械学習のモデルがどれくらい上手に学習できているかを示す、いわば成績表のようなものです。これはグラフで表され、横軸には学習に使ったデータの量、縦軸にはモデルの成績を示します。成績は、例えば、どれくらい正確に答えを出せるか、あるいはどれくらい間違えるかで測ります。このグラフは、モデルの成長過程を視覚的に捉えるための便利な道具です。グラフの線が右上がりであれば、学習データが増えるほどモデルの成績も良くなっている、つまり学習がうまく進んでいることを示します。逆に、グラフの線が平らになっていれば、データを増やしてもモデルの成績が向上していない、つまり学習の効果が頭打ちになっていることを意味します。学習曲線を見ることで、私たちはモデルにどのくらいの量のデータを与えればよいかを判断できます。もし、曲線がまだ右上がりで伸びしろがありそうなら、もっと多くのデータを与えて学習させることで、さらに良い成績を期待できます。しかし、曲線がすでに平らになっているなら、データを増やしても効果は薄いため、他の方法、例えばモデルの構造を変えるなどを検討する必要があります。学習曲線には、大きく分けて二つの種類があります。一つは学習データに対する成績を示す「訓練曲線」、もう一つは学習に使っていない未知のデータに対する成績を示す「検証曲線」です。訓練曲線はモデルが学習データをどれだけうまく覚えているかを示すのに対し、検証曲線はモデルが新しいデータに対してどれだけうまく対応できるか、つまりモデルの本当の力を示します。理想的な学習曲線は、訓練曲線と検証曲線がどちらも右上がりで、かつ互いに近い状態です。これは、モデルが学習データを過度に暗記することなく、新しいデータにもうまく対応できる汎化能力が高いことを示しています。もし、訓練曲線は右上がりなのに検証曲線が平ら、あるいは下がっている場合は、モデルが学習データを暗記しすぎて新しいデータに対応できていない「過学習」の状態になっている可能性があります。