Recall

記事数:(4)

再現率：機械学習の指標

機械学習の分野、特にものを仕分ける問題において、どれくらい正確に見つけられているかを測る大切な尺度の一つに、再現率というものがあります。これは、本来見つけるべきもののうち、実際にどれだけの割合を見つけられたかを示す数値です。例えば、健康診断で病気を発見する検査を考えてみましょう。実際に病気にかかっている人たちの集団を思い浮かべてください。この中で、検査によって正しく病気だと診断された人の割合が再現率です。言い換えると、病気の人を見落とさずに、どれだけの割合で正しく診断できたかを表しています。もう少し具体的に説明するために、りんご農園でのりんごの収穫を例に挙げてみましょう。熟したりんごだけを収穫したいとします。熟したりんご全体を「実際に収穫すべきりんご」とします。収穫作業の後、集められたりんごの中に、熟したりんごがいくつか含まれていました。この「集められた熟したりんご」が「正しく収穫されたりんご」です。この時、実際に木になっている熟したりんご全体の中で、どれだけの割合を収穫できたかを計算したものが再現率です。もし、熟したりんごが100個木になっているにも関わらず、収穫された熟したりんごが80個だった場合、再現率は80%となります。再現率は0から1までの値で表され、1に近いほど見落としが少ない、つまり性能が良いと判断されます。もし再現率が1であれば、見つけるべきものは全て漏れなく見つけられたことを意味します。反対に、再現率が0に近い場合は、見つけるべきもののほとんどが見落とされていることを意味し、検査やモデルの改善が必要となります。このように、再現率は、機械学習モデルの性能評価において重要な役割を果たす指標です。

ROC曲線とAUCによるモデル評価

二値分類とは、対象を二つの種類に区分けする作業のことです。例えば、健康診断の結果から、病気に罹患しているかいないかを判断する場合や、メールが迷惑メールかそうでないかを判別する場合などが挙げられます。このような二値分類の精度を測る方法の一つに受信者動作特性曲線、略してROC曲線と呼ばれるものがあります。 ROC曲線は、縦軸に真陽性率、横軸に偽陽性率をとって描かれるグラフです。真陽性率とは、実際に陽性であるものの中から、正しく陽性と予測できた割合のことです。病気の診断で例えるなら、実際に病気に罹患している人の中で、検査によって正しく病気と診断できた人の割合です。これは、感度や再現率とも呼ばれます。一方で、偽陽性率とは、実際は陰性であるものの中から、誤って陽性と予測した割合のことです。病気の診断の例では、実際には健康な人の中で、検査によって誤って病気と診断されてしまった人の割合に当たります。 ROC曲線を描くためには、様々な閾値を用います。閾値とは、陽性と陰性を区別する境界線の値のことです。この閾値を変化させることで、真陽性率と偽陽性率の値が変化し、ROC曲線が描かれます。理想的な分類モデルは、真陽性率が高く、偽陽性率が低い、つまり、病気の人を正しく病気と診断し、健康な人を誤って病気と診断することが少ないモデルです。ROC曲線上で、左上に近いほど理想的なモデルと言えます。 ROC曲線を見ることで、様々な閾値におけるモデルの性能を一度に評価できるため、特定の閾値だけに頼った評価よりも、より多角的で詳細な分析が可能になります。これは、目的に合わせて最適な閾値を選択する際に役立ちます。例えば、病気の早期発見を重視する場合には、多少偽陽性率が高くなっても、真陽性率の高い閾値を選ぶ方が良いでしょう。このように、ROC曲線は二値分類モデルの性能評価において重要な役割を果たします。

予測精度を測る指標たち

機械学習の世界では、学習した模型の良し悪しを測る物差しがいくつかあります。特に、二つの答えからどちらかを選ぶ問題では、正解率、適合率、再現率、そしてF値といった物差しがよく使われます。これらはそれぞれ違った角度から模型の出来栄えを調べており、全体的な良し悪しを判断する上で大切な役割を担っています。この記事では、これらの物差しについて詳しく説明し、それぞれの意味やどのように使い分けるのかを深く理解することを目指します。まず、正解率は、全体の中でどれだけの割合で正解できたかを示す最も基本的な物差しです。しかし、正解と不正解の数が大きく偏っている場合には、正解率だけでは模型の真の実力を測れないことがあります。例えば、めったに起こらない病気の診断では、常に「病気ではない」と答える模型でも高い正解率が出てしまう可能性があります。そこで、適合率が登場します。適合率は、模型が「病気である」と判断した中で、実際に病気だった人の割合を示します。これは、誤った診断を減らす上で重要な指標となります。一方、再現率は、実際に病気だった人の中で、模型が正しく「病気である」と診断できた人の割合を示します。これは、見落としを少なくする上で重要な指標となります。適合率と再現率は、トレードオフの関係にあることが多く、どちらかを高くしようとすると、もう一方が低くなってしまう傾向があります。例えば、病気の診断で、少しでも疑わしければ「病気である」と判断する模型は、再現率は高くなりますが、適合率は低くなります。逆に、確実な場合のみ「病気である」と判断する模型は、適合率は高くなりますが、再現率は低くなります。そこで、適合率と再現率のバランスを考えた指標がF値です。F値は、適合率と再現率の調和平均であり、両方の指標を同時に高くすることを目指す際に役立ちます。これらの指標の特性を理解することで、より適切な模型選びや改良に繋げることが可能になります。それぞれの指標が持つ意味合いを理解し、状況に応じて適切な指標を用いることで、より精度の高い機械学習模型を構築することができます。

予測精度を測る指標たち

機械学習の予測モデルの良し悪しを見極めることは、モデルを選ぶ時や、より良いモデルを作る上でとても大切です。特に、結果が「はい」か「いいえ」の二択になるような問題では、正解率、適合率、再現率、F値といったものがよく使われます。これらの尺度はそれぞれモデルの性能を様々な角度から見ており、目的に合わせてどれを使うかを決めることが重要です。この尺度たちをしっかり理解することで、モデルの評価を適切に行い、より正確な予測モデルを作ることができます。正解率は、全体の予測のうちどれくらい正解したかを表す最も基本的な尺度です。例えば、100個のデータのうち80個を正しく予測できた場合、正解率は80%となります。しかし、正解率はデータの偏りに影響されやすいという欠点があります。例えば、「はい」のデータが90個、「いいえ」のデータが10個というような場合、「はい」とだけ予測するモデルでも90%の正解率が出てしまいます。このような場合、正解率だけでモデルの性能を判断するのは危険です。適合率は、「はい」と予測したデータのうち、実際に「はい」だったデータの割合を表します。これは「はい」と予測した結果の信頼性を示す尺度と言えます。一方、再現率は、実際に「はい」であるデータのうち、どれくらいを「はい」と予測できたかを表します。これは、見落としなく「はい」のデータを捉えられているかを示す尺度です。例えば、病気の診断においては、病気の人を見逃さないことが重要なので、再現率を重視する必要があります。逆に、スパムメールの検出では、普通のメールをスパムと誤判定しないことが重要なので、適合率を重視する必要があります。 F値は、適合率と再現率の調和平均で、両方の尺度をバランスよく考慮した指標です。適合率と再現率のどちらか一方だけが極端に高い場合、F値は低くなります。そのため、F値が高いモデルは、適合率と再現率のバランスが良いモデルと言えます。これらの指標を理解し、目的に合わせて適切な指標を用いることで、より良いモデルの評価と選択を行うことができます。