AUC

記事数:(4)

ROC曲線とAUCによるモデル評価

二値分類とは、対象を二つの種類に区分けする作業のことです。例えば、健康診断の結果から、病気に罹患しているかいないかを判断する場合や、メールが迷惑メールかそうでないかを判別する場合などが挙げられます。このような二値分類の精度を測る方法の一つに受信者動作特性曲線、略してROC曲線と呼ばれるものがあります。 ROC曲線は、縦軸に真陽性率、横軸に偽陽性率をとって描かれるグラフです。真陽性率とは、実際に陽性であるものの中から、正しく陽性と予測できた割合のことです。病気の診断で例えるなら、実際に病気に罹患している人の中で、検査によって正しく病気と診断できた人の割合です。これは、感度や再現率とも呼ばれます。一方で、偽陽性率とは、実際は陰性であるものの中から、誤って陽性と予測した割合のことです。病気の診断の例では、実際には健康な人の中で、検査によって誤って病気と診断されてしまった人の割合に当たります。 ROC曲線を描くためには、様々な閾値を用います。閾値とは、陽性と陰性を区別する境界線の値のことです。この閾値を変化させることで、真陽性率と偽陽性率の値が変化し、ROC曲線が描かれます。理想的な分類モデルは、真陽性率が高く、偽陽性率が低い、つまり、病気の人を正しく病気と診断し、健康な人を誤って病気と診断することが少ないモデルです。ROC曲線上で、左上に近いほど理想的なモデルと言えます。 ROC曲線を見ることで、様々な閾値におけるモデルの性能を一度に評価できるため、特定の閾値だけに頼った評価よりも、より多角的で詳細な分析が可能になります。これは、目的に合わせて最適な閾値を選択する際に役立ちます。例えば、病気の早期発見を重視する場合には、多少偽陽性率が高くなっても、真陽性率の高い閾値を選ぶ方が良いでしょう。このように、ROC曲線は二値分類モデルの性能評価において重要な役割を果たします。

ROC曲線とAUCによるモデル評価

二値分類問題を扱う際には、モデルの性能を測るための方法が必要です。例えば、病気の有無や商品の購入見込みなど、二つの可能性の中からどちらかを予測する状況を想像してみてください。このような場面で活躍するのが「受信者動作特性曲線」、略してROC曲線です。ROC曲線は、グラフを用いてモデルの性能を視覚的に評価することを可能にします。この曲線は、縦軸と横軸にそれぞれ重要な指標を配置して描かれます。縦軸には真陽性率、横軸には偽陽性率をとります。真陽性率とは、実際に陽性であるデータを正しく陽性と予測できた割合のことです。例えば、実際に病気である人を正しく病気と診断できた割合がこれにあたります。一方、偽陽性率とは、実際には陰性であるデータを誤って陽性と予測してしまった割合のことです。例えば、健康な人を誤って病気と診断してしまう割合です。 ROC曲線は、様々な閾値における真陽性率と偽陽性率の組み合わせをプロットすることで描かれます。閾値とは、陽性と陰性を分ける境目となる値のことです。この閾値を変化させることで、真陽性率と偽陽性率も変化します。理想的なモデルは、真陽性率が高く、かつ偽陽性率が低いモデルです。つまり、ROC曲線においては、左上に近いほど優れた性能を示すと言えます。 ROC曲線の下部の面積（AUC）も重要な指標です。AUCは、0から1までの値を取り、1に近いほどモデルの性能が良いことを示します。AUCが0.5の場合は、ランダムな分類と変わりません。つまり、ROC曲線とAUCを用いることで、モデルの性能を視覚的にそして数値的に評価することができるのです。

ROC曲線：モデル評価の指標

「受信者動作特性曲線」と呼ばれるROC曲線は、二つの状態に分ける問題において、予測モデルの良し悪しを判断する際に用いられる図です。この図は、様々な判定の基準となる値における真陽性率と偽陽性率を点で示し、それらを線でつないで曲線を描いたものです。真陽性率とは、実際に陽性であるものを正しく陽性と予測できた割合のことです。例えば、病気の人を正しく病気と診断できた割合です。一方、偽陽性率とは、実際は陰性であるものを誤って陽性と予測した割合のことです。例えば、健康な人を誤って病気と診断してしまった割合です。判定の基準となる値を「閾値」と言います。この閾値を変えることで、真陽性率と偽陽性率の値も変化します。ROC曲線はこの閾値の変化に伴う真陽性率と偽陽性率の変化を視覚的に示してくれます。理想的な予測モデルは、真陽性率は100%で、偽陽性率は0%になります。これは、全ての場合において完全に正しい予測ができている状態です。しかし、現実の予測モデルでは、真陽性率を高めようとすると偽陽性率も高くなり、逆に偽陽性率を低めようとすると真陽性率も低くなるという、いわば「あちらを立てればこちらが立たず」の関係があります。ROC曲線はこの関係性を視覚的に表すことで、予測モデルの性能を様々な角度から評価することを可能にします。例えば、病気の診断においては、病気を正しく見つけることも大切ですが、健康な人を誤って病気と診断することも大きな問題です。ROC曲線を使うことで、これらのバランスを考えながら、状況に合わせた最適な閾値を決めることができます。閾値を高く設定すれば、健康な人を病気と診断する可能性は低くなりますが、病気の人を見逃す可能性が高くなります。逆に、閾値を低く設定すれば、病気の人を見逃す可能性は低くなりますが、健康な人を病気と診断する可能性が高くなります。ROC曲線は、このようなトレードオフを理解し最適な閾値を選択する上で非常に役立ちます。

ＡＵＣ：機械学習モデルの性能評価

分類する機械の良し悪しを測るために、色々な方法があります。その中で、「ＡＵＣ」というものが注目されています。これは「えーゆーしー」と読み、「受信者動作特性曲線下の面積」を省略した言葉です。一体どんなものなのでしょうか。ＡＵＣは、主に二つの選択肢から一つを選ぶ問題で、機械の性能を測る時に使われます。例えば、迷惑メールか普通のメールかを見分ける、商品を買うか買わないかを予測する、病気か健康かを判断する、といった具合です。このような問題を二値分類問題と呼びます。ＡＵＣは、この二値分類問題を扱う機械が、どれくらいうまく二つの選択肢を分けられるかを表す数値です。この数値は、０から１までの間の値を取ります。もしＡＵＣが１に近い値であれば、その機械は非常に優秀で、ほとんど間違えることなく二つの選択肢を分類できます。逆に、ＡＵＣが０に近い値であれば、その機械はあまり役に立たず、分類の精度は低いと言えます。ちょうど真ん中の０．５であれば、でたらめに選んでいるのと変わりません。ＡＵＣは、「受信者動作特性曲線」と呼ばれるグラフの下の面積で表されます。このグラフは、機械がどれくらい正しく分類できたかを視覚的に示すものです。グラフの面積が大きいほど、つまりＡＵＣの値が大きいほど、機械の性能が高いことを意味します。ＡＵＣは、様々な機械学習の方法を比べる際に、とても便利な道具です。それぞれの機械学習の方法でＡＵＣを計算し、その値を比べることで、どの方法が最も適しているかを判断することができます。そのため、機械学習の分野では、ＡＵＣは広く使われている重要な指標なのです。