マクロF1値：多クラス分類の評価指標
AIを知りたい
先生、「マクロF1」ってなんですか？よく聞くんですけど、うまく説明できません。
AIエンジニア
そうだね。「マクロF1」は、AIの性能、特に分類問題を扱うときによく使われる指標だよ。複数のグループを分類した結果が、全体としてどれくらい優れているかを測るものなんだ。
AIを知りたい
複数のグループですか？たとえば、猫、犬、鳥を分類する時とかでしょうか？
AIエンジニア
その通り！猫、犬、鳥それぞれをどれくらい正確に分類できたかを個別に見て、その平均を取ったものが「マクロF1」なんだ。値は0から1の間で、1に近いほど全体的な分類性能が良いと言えるんだよ。
macro-F1とは。
人工知能で使われる言葉「全体Ｆ１」について説明します。この言葉は統計学や機械学習で使われており、値は０から１の間になります。１に近いほど良い値です。
指標の概要
複数の種類に分ける作業で、機械学習の成果を測る物差しの一つに、マクロF1値というものがあります。これは、例えば、写真を見てそれが猫か犬か人間かを当てるような問題、迷惑メールを見分ける、お客さんをグループに分けるといった時に役立ちます。
特に、三つ以上の種類に分ける場合、それぞれの種類の正解率をまとめて評価する必要があります。このマクロF1値は、まさにそのための物差しです。それぞれの種類の正解率を測るF1値というものをまず計算し、それらの平均値を算出することで、全体的な性能を測ります。
この方法の利点は、データの偏りに左右されにくいことです。つまり、ある種類のデータが非常に多くても、その種類の正解率だけが全体の評価に過剰な影響を与えることはありません。例えば、犬の写真が大量にあって、猫や人間のデータが少ない場合でも、猫や人間の認識精度が低くても、犬の認識精度が高ければ全体の評価が高くなってしまう、ということが起きにくくなります。
それぞれの種類の正解率を平等に評価できるため、データの数が種類によって大きく異なる場合でも、信頼できる評価結果を得られます。このことから、マクロF1値は、現実世界の様々な問題に適用できる、とても便利な物差しと言えるでしょう。
| 項目 | 説明 |
|---|---|
| マクロF1値 | 複数の種類に分ける作業での機械学習の成果を測る指標 |
| 用途 | 写真分類（例：猫、犬、人間）、迷惑メール判別、顧客グループ分けなど |
| 計算方法 | 各種類のF1値の平均値 |
| 利点 | データの偏りに左右されにくい（例：犬のデータが多くても、猫や人間の認識精度が低ければ全体の評価は高くなりにくい） |
| 特徴 | それぞれの種類の正解率を平等に評価できるため、データ数が異なる場合でも信頼できる評価結果を得られる |
算出方法
「まとめた計算のやり方」について説明します。このやり方は「マクロ エフワン ち」と呼ばれるものです。この「マクロ エフワン ち」は、いくつかの種類に分かれたもののそれぞれで計算した「エフワン ち」を、全て足し合わせて、種類の数で割ることで求められます。
では、「エフワン ち」はどうやって計算するのでしょうか。「エフワン ち」は「てきごう りつ」と「さいげん りつ」という二つの値を使って計算します。この二つは、どちらも当たっているかどうかの割合を表すものですが、少しだけ見方が違います。
「てきごう りつ」は、機械が「これだ！」と選んだものの中で、実際に正解だったものの割合です。例えば、機械が10個のリンゴを選んで、そのうち7個が本当に赤いリンゴだった場合、「てきごう りつ」は7割です。
一方、「さいげん りつ」は、本当に赤いリンゴ全体の中で、機械が正しく赤いリンゴだと選べたものの割合です。例えば、全部で20個の赤いリンゴがある中で、機械が14個の赤いリンゴを選べた場合、「さいげん りつ」は7割です。
「エフワン ち」は、この「てきごう りつ」と「さいげん りつ」を組み合わせたもので、両方の値が高いほど良いと考えられています。つまり、機械が「これだ！」と選んだものが、実際に正解である割合が高く、かつ、本当に正解のものを見逃す割合が低いほど、「エフワン ち」の値は高くなります。
このようにして、種類ごとに「エフワン ち」を計算し、それらを平均することで「マクロ エフワン ち」を求めます。この方法は、それぞれの種類のデータの数が大きく違っていたとしても、偏った結果になりにくいという利点があります。
他の指標との比較
他のやり方と比べてどれが良いか、見ていきましょう。色々な種類がある中で、正解率やマイクロＦ１値といったものが挙げられます。
正解率は、全体の中でどれだけの割合を正しく分けられたかを示すものです。例えば、全体で１００個のデータがあり、そのうち８０個を正しく分類できた場合、正解率は８０％となります。一見良さそうに見えますが、それぞれのグループの出来不出来は分かりません。例えば、ある特定のグループのデータが少なくて、そのグループの分類が全くできていなかったとしても、全体のデータ数が多ければ正解率には大きな影響を与えません。つまり、データの偏りによって見えにくい部分が出てきてしまうのです。
マイクロＦ１値は、全てのデータをまとめて計算します。真陽性、偽陽性、偽陰性といった値を全部足し合わせて計算するため、データ量の多いグループの影響が大きくなってしまいます。あるグループのデータが非常に多く、そのグループの分類精度が高ければ、他のグループの精度が低くても、マイクロＦ１値は高くなる可能性があります。これは、少ないデータのグループが見過ごされてしまうという問題につながります。
これらの指標と比べて、マクロＦ１値は、それぞれのグループの出来不出来を均等に見ていきます。それぞれのグループでＦ１値を計算し、その平均値を算出します。つまり、データの量に関係なく、それぞれのグループがどれくらい正しく分類できているかを公平に評価できます。特に、それぞれのグループが同じくらい重要で、データの偏りが大きい場合には、マクロＦ１値を使うのが良いでしょう。
| 指標 | 説明 | 長所 | 短所 | 適した状況 |
|---|---|---|---|---|
| 正解率 | 全体の中で正しく分類できた割合 | 理解しやすい | データの偏りに影響されやすい、グループごとの性能が不明 | データの偏りがなく、全体的な性能を評価する場合 |
| マイクロF1値 | 全データをまとめて計算し、真陽性、偽陽性、偽陰性を用いて算出 | 全体的な性能を評価できる | データ量の多いグループの影響を受けやすい、少ないデータのグループが見過ごされる可能性がある | データの偏りがなく、全体的な性能を評価する場合 |
| マクロF1値 | 各グループのF1値の平均値 | データ量に関係なく、各グループの性能を公平に評価できる | – | 各グループが同程度に重要で、データの偏りが大きい場合 |
値の範囲と解釈
マクロF1値は、モデルの性能を測るための重要な指標の一つで、その値は常に0から1までの範囲で表されます。この値は、完全一致で予測が完璧な状態を1とし、全く予測できていない状態を0としています。つまり、値が1に近づくほどモデルの性能が高いことを示しています。
一般的に、マクロF1値が0.7以上であれば、そのモデルは良好な性能を持っていると判断されます。しかし、この基準は絶対的なものではありません。扱うデータの性質や、達成したい目的によって、適切な基準値は変化します。例えば、人の命に関わる医療診断のような分野では、非常に高い精度が求められます。このような場合には、マクロF1値が0.9以上でなければ、実用化は難しいでしょう。一方、インターネット上の情報を分類するようなタスクでは、0.7程度の値でも十分な性能を発揮する場合があります。
このように、マクロF1値を解釈する際には、状況に合わせて判断する必要があります。目指す成果水準は何か、許容できる誤りの範囲はどの程度か、などを考慮に入れなければなりません。また、マクロF1値単独で判断するのではなく、他の指標も合わせて総合的に判断することが重要です。それぞれの指標が持つ意味合いを理解し、複数の指標を組み合わせて分析することで、より正確で多角的な評価が可能になります。状況に応じて適切な指標を選び、多角的に評価することで、モデルの真価を見極めることができます。
| マクロF1値 | 性能評価 | 適用分野例 |
|---|---|---|
| 0 | 全く予測できていない | – |
| 0.7 | 良好な性能 | インターネット上の情報分類 |
| 0.9以上 | 非常に高い精度 | 医療診断 |
| 1 | 完全一致(完璧) | – |
活用事例
様々な分野における多クラス分類問題において、マクロF1値は精度評価の重要な指標として活用されています。これは、各カテゴリのF1値を単純平均することで算出される指標であり、データの偏りに左右されない公平な評価を可能にします。
例えば、自然言語処理の分野では、文章の自動分類や書き手の感情を分析する際に、マクロF1値が用いられています。ニュース記事を経済、政治、スポーツといった様々なカテゴリに分類するタスクや、商品のレビューから利用者の満足度や不満を推定するタスクなど、複数のカテゴリに分類する必要がある場合に、この指標は有効です。それぞれのカテゴリの予測精度を均等に評価することで、特定のカテゴリへの偏りを抑えた、バランスの良いモデルを構築できます。
画像認識の分野でも、マクロF1値は重要な役割を果たします。写真に写っている物体を識別する、あるいは場面の状況を分類するといったタスクにおいて、データの偏りはしばしば発生します。例えば、犬や猫といった一般的な物体の画像は多く入手できますが、特定の種類の鳥や昆虫の画像は少ないかもしれません。このようなデータの偏りがある状況下でも、マクロF1値を用いることで、各カテゴリの認識精度を公平に評価し、偏りの影響を受けにくい、信頼性の高いモデルを開発できます。
さらに、医療の分野においても、マクロF1値の活用が進んでいます。病気の種類を特定する、あるいは適切な治療方針を決定するといったタスクにおいて、正確な予測が求められます。例えば、様々な病気の診断において、発症頻度の低い希少疾患のデータは、一般的な病気のデータに比べて少なくなる傾向があります。このようなデータの偏りがある場合でも、マクロF1値を利用することで、各病気の診断精度を公平に評価し、より正確で信頼できる医療診断システムの構築に貢献することができます。このように、マクロF1値は、データの偏りに robust な指標として、様々な分野で活用され、モデルの評価と改善に役立っています。
| 分野 | タスク例 | マクロF1値の利点 |
|---|---|---|
| 自然言語処理 | 文章の自動分類、感情分析（例: ニュース記事のカテゴリ分類、レビューの満足度分析） | カテゴリの予測精度を均等に評価し、特定カテゴリへの偏りを抑えたモデル構築が可能 |
| 画像認識 | 物体識別、場面の状況分類（例: 写真の物体識別） | データの偏り（例: 犬猫画像が多い、特定の鳥や昆虫画像が少ない）がある状況下でも、各カテゴリの認識精度を公平に評価 |
| 医療 | 病気の診断、治療方針の決定 | データの偏り（例: 希少疾患データが少ない）がある場合でも、各病気の診断精度を公平に評価し、正確で信頼できる診断システム構築に貢献 |
まとめ
多くの種類に分ける問題において、作った模型の良し悪しを測るには様々な方法がありますが、マクロF1値は特に重要な指標です。この値は、それぞれの種類のデータの量のばらつきに左右されにくく、どの種類に対しても平等に評価できるという長所を持っています。
マクロF1値は、それぞれの種類に対するF1値を計算し、その平均値を取ることで求められます。F1値自体は、正解率と再現率の調和平均で、両方の指標をバランス良く反映した値です。正解率は、模型が正解と判断したものの中で、実際に正解だったものの割合を示します。一方で再現率は、実際に正解であるもの全体の中で、模型が正解と判断できたものの割合を示します。つまり、F1値が高いほど、正解を見つける能力と、間違いを少なくする能力の両方が高いことを意味します。
マクロF1値は、これらのF1値を種類ごとに計算し、その平均値を取ることで、模型全体の性能を把握できるようにします。これにより、特定の種類のデータが多い少ないに関係なく、模型の全体的な性能を公平に評価できます。例えば、ある種類だけが極端に少ない場合、その種類のデータに対する評価が全体の評価に大きく影響してしまう可能性があります。しかし、マクロF1値を用いることで、このような偏りを抑え、より信頼性の高い評価を得ることができます。
他の指標、例えば単純な正解率などでは、データの量の偏りが評価結果に大きく影響してしまうことがあります。しかし、マクロF1値はデータの偏りに強く、バランスの悪いデータに対しても安定した評価を提供します。そのため、実用面で非常に役立つ指標と言えます。様々な分野の多くの種類に分ける問題で活用されており、模型の評価や改善に欠かせない指標と言えるでしょう。マクロF1値を正しく理解し、使うことで、より性能の高い分類模型を作ることが可能になります。
