再現率

記事数:(4)

偽陽性と偽陰性とは?分類の誤りを理解して正しく評価する方法を解説 機械学習

偽陽性と偽陰性とは?分類の誤りを理解して正しく評価する方法を解説

機械学習の分野では、作った模型の良し悪しを色々な角度から調べることが大切です。そのための便利な道具の一つに、混同行列というものがあります。これは、結果が「ある」か「ない」かの二択で表される問題を扱う時に特に役立ちます。例えば、病気の検査で「病気である」か「病気でない」かを判断する場合などです。混同行列は、模型の出した答えと本当の答えを比べ、四つの種類に分けて数えます。模型が「ある」と答えて、実際に「ある」場合を「真陽性」と言います。これは、検査で「病気である」と出て、実際に病気だった場合と同じです。模型が「ある」と答えたのに、実際は「ない」場合を「偽陽性」と言います。これは、健康なのに検査で「病気である」と出てしまった場合に当たります。逆に、模型が「ない」と答えて、実際は「ある」場合を「偽陰性」と言います。これは、病気なのに検査で「病気でない」と出てしまった、見逃しの場合です。最後に、模型が「ない」と答えて、実際も「ない」場合を「真陰性」と言います。これは、健康で、検査でも「病気でない」と出た場合です。このように、四つの種類の数を把握することで、模型の正確さだけでなく、どんなふうに間違えやすいかなども分かります。例えば、偽陽性が多ければ、必要のない検査や治療に導く可能性があります。偽陰性が多ければ、病気を見逃してしまう可能性があり、どちらも深刻な問題につながる可能性があります。混同行列を使うことで、ただ正解した数がどれだけあるかを見るだけでなく、模型のより詳しい特徴を掴むことができるのです。
感度(再現率/Recall)とは?分類モデルの見逃しを防ぐ評価指標を解説 機械学習

感度(再現率/Recall)とは?分類モデルの見逃しを防ぐ評価指標を解説

「感度」とは、統計学や機械学習といった分野で、検査や予測の精度を測るための大切な指標のひとつです。簡単に言うと、本当にそうであるものの中で、どれくらい正しくそうだと判断できたのかを表す割合です。例として、病気の診断を考えてみましょう。ある病気に実際にかかっている人たちを対象に検査を行ったとします。この時、感度は「実際に病気に罹患している人のうち、検査で正しく陽性と判定された人の割合」を表します。もし感度が100%であれば、病気の人全員が検査で陽性と判定されます。しかし、現実的には100%の感度を達成することは難しいです。感度は0から1までの値で表され、1に近いほど検査や予測の性能が高いと言えます。つまり、感度が高いほど、実際に該当するものをより正確に見つけることができます。例えば、ある病気の検査で感度が0.9だとすると、実際にその病気にかかっている人のうち90%が正しく陽性と判定されることを意味します。残りの10%の人は、実際には病気にかかっているにもかかわらず、検査では陰性と判定されてしまう「偽陰性」となります。感度を理解する上で重要なのは、「既に該当すると分かっているものに対する精度」を表しているという点です。病気の診断以外にも、商品の不良品検出や災害の予測など、様々な場面でこの指標が用いられます。例えば、工場で製造された製品の中から不良品を見つけ出す検査を想定してみましょう。この場合、感度は「実際に不良品である製品のうち、検査で正しく不良品と判定された製品の割合」を示します。感度は、特異度という別の指標と組み合わせて使われることが多く、両者を比較することで、検査や予測の全体的な性能をより深く理解することができます。特異度は、実際には該当しないものの中から、どれくらい正しく該当しないと判断できたのかを表す割合です。感度と特異度を共に高く保つことが理想的ですが、実際にはどちらかを優先する必要がある場合も少なくありません。状況に応じて適切な指標を用いることが重要です。
ROC曲線とAUCとは?分類モデルの性能を正しく評価する方法を解説 機械学習

ROC曲線とAUCとは?分類モデルの性能を正しく評価する方法を解説

二値分類とは、対象を二つの種類に区分けする作業のことです。例えば、健康診断の結果から、病気に罹患しているかいないかを判断する場合や、メールが迷惑メールかそうでないかを判別する場合などが挙げられます。このような二値分類の精度を測る方法の一つに受信者動作特性曲線、略してROC曲線と呼ばれるものがあります。ROC曲線は、縦軸に真陽性率、横軸に偽陽性率をとって描かれるグラフです。真陽性率とは、実際に陽性であるものの中から、正しく陽性と予測できた割合のことです。病気の診断で例えるなら、実際に病気に罹患している人の中で、検査によって正しく病気と診断できた人の割合です。これは、感度や再現率とも呼ばれます。一方で、偽陽性率とは、実際は陰性であるものの中から、誤って陽性と予測した割合のことです。病気の診断の例では、実際には健康な人の中で、検査によって誤って病気と診断されてしまった人の割合に当たります。ROC曲線を描くためには、様々な閾値を用います。閾値とは、陽性と陰性を区別する境界線の値のことです。この閾値を変化させることで、真陽性率と偽陽性率の値が変化し、ROC曲線が描かれます。理想的な分類モデルは、真陽性率が高く、偽陽性率が低い、つまり、病気の人を正しく病気と診断し、健康な人を誤って病気と診断することが少ないモデルです。ROC曲線上で、左上に近いほど理想的なモデルと言えます。ROC曲線を見ることで、様々な閾値におけるモデルの性能を一度に評価できるため、特定の閾値だけに頼った評価よりも、より多角的で詳細な分析が可能になります。これは、目的に合わせて最適な閾値を選択する際に役立ちます。例えば、病気の早期発見を重視する場合には、多少偽陽性率が高くなっても、真陽性率の高い閾値を選ぶ方が良いでしょう。このように、ROC曲線は二値分類モデルの性能評価において重要な役割を果たします。
F1スコアとは?適合率と再現率のバランスを測る評価指標を解説 機械学習

F1スコアとは?適合率と再現率のバランスを測る評価指標を解説

「F1スコア」とは、機械学習の分野で使われる、分類モデルの良し悪しを測るための重要な指標です。この数値は、0から1までの間の値を取り、1に近づくほど、そのモデルの性能が高いことを示します。完全に正しい予測をする理想的なモデルでは1となり、反対に全く予測できないモデルでは0になります。F1スコアを理解するためには、「適合率」と「再現率」という二つの概念を知る必要があります。適合率とは、モデルが「正しい」と判断したものの中で、実際にどれだけが正しかったのかを表す割合です。例えば、あるモデルが10個のデータに対して「正しい」と予測し、そのうち8個が実際に正しかった場合、適合率は8割となります。一方、再現率とは、実際に「正しい」データ全体の中で、モデルがどれだけの割合を「正しい」と予測できたのかを表す割合です。例えば、実際に正しいデータが全部で20個あり、モデルがそのうち10個を「正しい」と予測できた場合、再現率は5割となります。F1スコアは、この適合率と再現率の両方を考慮した指標です。なぜなら、高い適合率だけ、あるいは高い再現率だけを追求すると、モデルの性能に偏りが生じてしまうからです。例えば、適合率だけを重視しようとすると、モデルは自信のあるものだけを「正しい」と予測するようになり、結果として多くの正しいデータを見逃してしまう可能性があります。逆に、再現率だけを重視しようとすると、モデルは少しでも可能性のあるものを全て「正しい」と予測するようになり、結果として多くの誤った予測をしてしまう可能性があります。F1スコアは、適合率と再現率の調和平均を取ることで、これらのバランスを保ち、より実用的な評価を実現しています。そのため、F1スコアは、様々な分野での分類問題において、モデルの性能を測るための指標として広く活用されています。