誤差

記事数:(4)

予測精度を測る指標：相対絶対誤差

統計や機械学習の世界では、予測モデルの良し悪しを測る物差しが必要です。作った予測モデルがどれくらい正確に未来を当てられるのか、これはとても大切なことです。その物差しの１つに、相対絶対誤差というものがあります。相対絶対誤差は、よくＲＳＥと略されて呼ばれます。機械学習のモデルは、与えられた情報をもとに、これからどうなるかを予測します。例えば、明日の気温や商品の売れ行きなどです。しかし、どんなに優れたモデルでも、予測が完全に当たることはまずありません。必ず、本当の値との間にずれが生じます。このずれの大きさを測る尺度こそが、ＲＳＥなのです。ＲＳＥは、予測のずれを相対的な値で表します。相対的というのは、本当の値を基準にしてずれの大きさを考えるということです。例えば、１０００円の商品の売上げを８００円と予測した場合と、１００円の商品の売上げを８０円と予測した場合では、どちらも２００円のずれですが、１００円の商品の方がずれの割合が大きいと言えます。ＲＳＥはこのような割合を考慮に入れて計算されます。具体的な計算方法は、まず予測値と本当の値の差を計算し、その絶対値を求めます。絶対値とは、正負の符号を無視した値のことです。次に、本当の値それぞれと、本当の値全体の平均との差の絶対値を計算し、それらを平均します。最後に、最初の値をこの値で割ることで、ＲＳＥが算出されます。ＲＳＥは常に０以上の値になります。そして、ＲＳＥの値が小さいほど、予測の精度が高いことを示します。もしＲＳＥが０であれば、それは予測が完全に当たっている、つまり予測値と本当の値が全く同じであることを意味します。ＲＳＥが０に近いほど、モデルの予測はより正確で、モデルの性能が良いと言えるでしょう。

平均絶対偏差：データのばらつきを測る

平均絶対偏差は、データのばらつき具合を測るものさしの一つです。ばらつき具合とは、データの値が平均値からどれくらい離れているかを示すものです。平均絶対偏差は、平均偏差や絶対偏差とも呼ばれます。平均絶対偏差の計算方法は以下のとおりです。まず、データのそれぞれの値と平均値との差を計算します。次に、それぞれの差の絶対値を求めます。絶対値とは、数の正負の符号を無視した値のことです。例えば、３の絶対値は３、−３の絶対値も３です。最後に、これらの絶対値の平均値を計算します。この平均値が平均絶対偏差です。平均絶対偏差は、データの中心、つまり平均値からの平均的な距離を表しています。平均絶対偏差の値が大きいほど、データのばらつき具合が大きいことを示します。逆に、値が小さいほど、データは平均値の近くに集まっていることを示します。例えば、ある商品の毎日の売り上げ個数を記録したデータがあるとします。このデータの平均絶対偏差を計算することで、売り上げ個数が平均値からどれくらい変動しているかを把握することができます。これは、在庫管理や販売戦略の立案に役立ちます。1日の売り上げ個数が大きく変動する場合、在庫を多めに持っておく必要があるかもしれません。逆に、売り上げ個数が安定している場合は、在庫を少なく抑えることができます。平均絶対偏差には、外れ値の影響を受けにくいという特徴があります。外れ値とは、他のデータから大きく離れた値のことです。例えば、ほとんどのデータが０から１０の範囲にあるのに、一つだけ１００という値がある場合、この１００という値は外れ値と考えられます。外れ値は、平均値などの統計量に大きな影響を与えますが、平均絶対偏差は外れ値の影響を受けにくいため、データに外れ値が含まれている場合でも、ばらつき具合を正しく評価することができます。

アルゴリズム

平均絶対偏差：データのばらつきを測る

情報を詳しく調べたり整理したりする作業の中で、データがどれくらい散らばっているかを理解することはとても大切です。平均値だけではデータの全体像を捉えきれない場合がよくあります。例えば、ある地域の平均年収が500万円だったとしましょう。一見すると、そこそこ豊かな地域のように思えますが、実は少数の高所得者によって平均値が押し上げられているかもしれません。大部分の住民は年収300万円で、ごく一部の人が1000万円以上の年収を得ている可能性も考えられます。このような状況では、平均年収という一つの数字だけで判断すると、実態を見誤ってしまう危険性があります。そこで、データの散らばり具合を測る尺度として、平均絶対偏差が役に立ちます。平均絶対偏差とは、それぞれのデータが平均値からどれくらい離れているかを平均した値です。具体的な計算方法は、まず各データと平均値の差を計算します。次に、その差の絶対値を求めます。絶対値とは、マイナスの符号を取り除いた値のことです。最後に、これらの絶対値をすべて足し合わせ、データの個数で割ります。こうして求められた平均絶対偏差は、データの散らばり具合を直感的に理解するのに役立ちます。平均絶対偏差が大きいほど、データは平均値から遠く離れた値が多く、散らばりが大きいことを示しています。逆に、平均絶対偏差が小さい場合は、データは平均値の近くに集まっており、散らばりが小さいことを意味します。平均絶対偏差を理解することで、データの分布や特徴をより深く把握することができます。平均値だけでなく、平均絶対偏差も合わせて見ることで、データの背後にある真の姿が見えてきます。例えば、二つの地域の平均年収が同じでも、平均絶対偏差が大きく異なる場合があります。これは、収入の分布に大きな違いがあることを示唆しています。平均絶対偏差を用いることで、このような違いを明確に捉えることができるのです。

アルゴリズム

相対絶対誤差：機械学習モデル評価の新基準

機械学習の模型をきちんと吟味することは、模型作りにおいて大変大切なことです。けれども、色々な資料を使って学習させた複数の模型を比べたい場合、吟味の方法が適切でないと、間違った判断をしてしまうかもしれません。例えば、ある模型は特定の資料に絞って高い能力を示す一方で、別の資料では低い能力しか示さないという状況はよくあります。これは、資料の特徴、例えば資料の範囲やばらつき、極端な値の有無などが、模型の能力に大きな影響を与えるためです。ある資料では、模型が資料の特徴をうまく捉え、高い精度で予測できるかもしれません。しかし、別の資料では、その資料の特徴が模型の学習内容と大きく異なっている場合、予測精度が下がるのも当然です。このような、資料によって模型の能力が変わることを「過学習」と呼ぶこともあります。過学習が起きると、特定の資料に特化した模型になってしまい、新しい資料への対応力が低くなってしまいます。真に使える模型を作るためには、色々な資料に対応できる能力、つまり汎化性能が重要になります。汎化性能の高い模型は、見たことのない新しい資料に対しても、高い精度で予測することができます。このような状況下で、模型の本当の能力を公平に吟味するためには、資料の特徴に左右されない、より幅広く使える吟味方法が必要です。例えば、複数の資料を使って模型を吟味する方法や、資料を分割して学習と吟味に使う方法などがあります。これらの方法を適切に用いることで、より信頼性の高い模型の吟味が可能になります。そして、より良い模型を作り、実社会の様々な課題解決に役立てることができるのです。