評価指標

「対数損失」とは、機械学習の世界で、特に分類問題を扱う際に、モデルの良し悪しを測る大切な物差しです。この物差しは、ただ予測が当たったか外れたかだけでなく、予測の確信度合いも見てくれます。例えば、明日の天気のように、ある出来事が起こるかどうかを予測する機械を想像してみてください。この機械が、雨が降る確率を90%と予測したとします。もし実際に雨が降れば、この機械は良い仕事をしたと言えるでしょう。しかし、もし雨が降らなかった場合、この機械の予測は外れてしまいます。ここで、対数損失の出番です。対数損失は、機械がどのくらい自信を持って予測したかを測ることで、より詳しい評価を可能にします。対数損失の値が小さいほど、機械は自信を持って正しい予測をしていることを示します。逆に、対数損失の値が大きい場合は、機械の予測に自信がないか、あるいは間違った予測をしている可能性が高いことを意味します。例えば、先ほどの天気予報の機械が、雨が降る確率を50%と予測したとします。これは、機械が「雨が降るかもしれないし、降らないかもしれない」と迷っている状態を表しています。もし実際に雨が降らなかったとしても、50%の予測では、機械が間違ったというよりは、どちらとも言えないと判断したと解釈できます。このような場合、対数損失の値は比較的小さくなります。つまり、対数損失は、予測の確実性を評価することで、機械の性能をより正確に把握できる指標なのです。対数損失は、ただ予測の正誤を数えるだけでなく、予測の確信度も考慮に入れるため、実社会での様々な場面で役立ちます。例えば、病気の診断や金融商品のリスク評価など、重大な決定を下す必要がある場合、予測の信頼性を理解することは非常に重要です。対数損失を用いることで、機械の予測の信頼度を評価し、より的確な判断材料を得ることが可能になります。このように、対数損失は、機械学習の分野で欠かせない指標と言えるでしょう。

機械学習の分野では、予測モデルの良し悪しを測る物差しがいくつかあります。その中で、『適合率』という尺度は、モデルの正確さを測る重要な指標の一つです。具体的に言うと、ある事柄を『そうだ』と予測した中で、実際に『そうだ』であったものの割合を示すのが適合率です。例として、迷惑メールのフィルターを考えてみましょう。日々届くメールの山の中から、迷惑メールを自動で見分けてくれる便利な機能です。このフィルターが、迷惑メールだと判断したメールの中に、本当に迷惑メールが含まれている割合が、まさに適合率に当たります。迷惑メールではない普通のメールを、間違って迷惑メールだと判断してしまう、いわゆる『誤り』が少ないほど、適合率は高くなります。別の例として、病気の診断を考えてみましょう。ある病気の検査で「陽性」と判定された人のうち、実際にその病気を患っている人の割合が適合率です。つまり、本当に病気の人を正しく診断できた割合を示しています。検査で「陰性」と判定されたにも関わらず、実際には病気を患っている「偽陰性」は、適合率には影響しません。適合率はあくまでも「陽性」と判定された人のみに焦点を当てています。適合率は、０から１の間の値で表されます。１に近いほど正確な予測であることを示し、逆に０に近いと予測の精度は低いと言えます。例えば、適合率が０．９の場合、予測が当たっている割合は９割です。０．５の場合は、半分の予測しか当たっていないことになります。このように、適合率はモデルの性能を評価する上で、非常に重要な役割を果たしています。

複数の種類に分ける作業で、機械学習の成果を測る物差しの一つに、マクロF1値というものがあります。これは、例えば、写真を見てそれが猫か犬か人間かを当てるような問題、迷惑メールを見分ける、お客さんをグループに分けるといった時に役立ちます。特に、三つ以上の種類に分ける場合、それぞれの種類の正解率をまとめて評価する必要があります。このマクロF1値は、まさにそのための物差しです。それぞれの種類の正解率を測るF1値というものをまず計算し、それらの平均値を算出することで、全体的な性能を測ります。この方法の利点は、データの偏りに左右されにくいことです。つまり、ある種類のデータが非常に多くても、その種類の正解率だけが全体の評価に過剰な影響を与えることはありません。例えば、犬の写真が大量にあって、猫や人間のデータが少ない場合でも、猫や人間の認識精度が低くても、犬の認識精度が高ければ全体の評価が高くなってしまう、ということが起きにくくなります。それぞれの種類の正解率を平等に評価できるため、データの数が種類によって大きく異なる場合でも、信頼できる評価結果を得られます。このことから、マクロF1値は、現実世界の様々な問題に適用できる、とても便利な物差しと言えるでしょう。