誤差

記事数:(4)

機械学習

予測精度を測る指標:相対絶対誤差

統計や機械学習の世界では、予測モデルの良し悪しを測る物差しが必要です。作った予測モデルがどれくらい正確に未来を当てられるのか、これはとても大切なことです。その物差しの1つに、相対絶対誤差というものがあります。相対絶対誤差は、よくRSEと略されて呼ばれます。 機械学習のモデルは、与えられた情報をもとに、これからどうなるかを予測します。例えば、明日の気温や商品の売れ行きなどです。しかし、どんなに優れたモデルでも、予測が完全に当たることはまずありません。必ず、本当の値との間にずれが生じます。このずれの大きさを測る尺度こそが、RSEなのです。 RSEは、予測のずれを相対的な値で表します。相対的というのは、本当の値を基準にしてずれの大きさを考えるということです。例えば、1000円の商品の売上げを800円と予測した場合と、100円の商品の売上げを80円と予測した場合では、どちらも200円のずれですが、100円の商品の方がずれの割合が大きいと言えます。RSEはこのような割合を考慮に入れて計算されます。 具体的な計算方法は、まず予測値と本当の値の差を計算し、その絶対値を求めます。絶対値とは、正負の符号を無視した値のことです。次に、本当の値それぞれと、本当の値全体の平均との差の絶対値を計算し、それらを平均します。最後に、最初の値をこの値で割ることで、RSEが算出されます。 RSEは常に0以上の値になります。そして、RSEの値が小さいほど、予測の精度が高いことを示します。もしRSEが0であれば、それは予測が完全に当たっている、つまり予測値と本当の値が全く同じであることを意味します。RSEが0に近いほど、モデルの予測はより正確で、モデルの性能が良いと言えるでしょう。
アルゴリズム

平均絶対偏差:データのばらつきを測る

平均絶対偏差は、データのばらつき具合を測るものさしの一つです。ばらつき具合とは、データの値が平均値からどれくらい離れているかを示すものです。平均絶対偏差は、平均偏差や絶対偏差とも呼ばれます。 平均絶対偏差の計算方法は以下のとおりです。まず、データのそれぞれの値と平均値との差を計算します。次に、それぞれの差の絶対値を求めます。絶対値とは、数の正負の符号を無視した値のことです。例えば、3の絶対値は3、−3の絶対値も3です。最後に、これらの絶対値の平均値を計算します。この平均値が平均絶対偏差です。 平均絶対偏差は、データの中心、つまり平均値からの平均的な距離を表しています。平均絶対偏差の値が大きいほど、データのばらつき具合が大きいことを示します。逆に、値が小さいほど、データは平均値の近くに集まっていることを示します。 例えば、ある商品の毎日の売り上げ個数を記録したデータがあるとします。このデータの平均絶対偏差を計算することで、売り上げ個数が平均値からどれくらい変動しているかを把握することができます。これは、在庫管理や販売戦略の立案に役立ちます。1日の売り上げ個数が大きく変動する場合、在庫を多めに持っておく必要があるかもしれません。逆に、売り上げ個数が安定している場合は、在庫を少なく抑えることができます。 平均絶対偏差には、外れ値の影響を受けにくいという特徴があります。外れ値とは、他のデータから大きく離れた値のことです。例えば、ほとんどのデータが0から10の範囲にあるのに、一つだけ100という値がある場合、この100という値は外れ値と考えられます。外れ値は、平均値などの統計量に大きな影響を与えますが、平均絶対偏差は外れ値の影響を受けにくいため、データに外れ値が含まれている場合でも、ばらつき具合を正しく評価することができます。
機械学習

相対絶対誤差:機械学習モデル評価の新基準

機械学習の模型をきちんと吟味することは、模型作りにおいて大変大切なことです。けれども、色々な資料を使って学習させた複数の模型を比べたい場合、吟味の方法が適切でないと、間違った判断をしてしまうかもしれません。 例えば、ある模型は特定の資料に絞って高い能力を示す一方で、別の資料では低い能力しか示さないという状況はよくあります。これは、資料の特徴、例えば資料の範囲やばらつき、極端な値の有無などが、模型の能力に大きな影響を与えるためです。ある資料では、模型が資料の特徴をうまく捉え、高い精度で予測できるかもしれません。しかし、別の資料では、その資料の特徴が模型の学習内容と大きく異なっている場合、予測精度が下がるのも当然です。 このような、資料によって模型の能力が変わることを「過学習」と呼ぶこともあります。過学習が起きると、特定の資料に特化した模型になってしまい、新しい資料への対応力が低くなってしまいます。 真に使える模型を作るためには、色々な資料に対応できる能力、つまり汎化性能が重要になります。汎化性能の高い模型は、見たことのない新しい資料に対しても、高い精度で予測することができます。このような状況下で、模型の本当の能力を公平に吟味するためには、資料の特徴に左右されない、より幅広く使える吟味方法が必要です。 例えば、複数の資料を使って模型を吟味する方法や、資料を分割して学習と吟味に使う方法などがあります。これらの方法を適切に用いることで、より信頼性の高い模型の吟味が可能になります。そして、より良い模型を作り、実社会の様々な課題解決に役立てることができるのです。