ロバスト性

ドロップアウトは、複雑な計算を行う機械学習、特に多くの層を持つ深層学習において、学習済みモデルの性能を向上させるための技術です。深層学習では、モデルが学習に用いるデータに過度に適応してしまう「過学習」という問題がよく発生します。過学習とは、いわば「試験問題の答えだけを丸暗記してしまう」ような状態です。この状態では、試験問題と全く同じ問題が出れば満点を取ることができますが、少し問題が変化すると全く解けなくなってしまいます。同様に、過学習を起こした深層学習モデルは、学習に用いたデータには高い精度を示しますが、新しい未知のデータに対しては予測精度が落ちてしまいます。ドロップアウトは、この過学習を防ぐための有効な手段の一つです。 ドロップアウトは、学習の各段階で、幾つかの計算の部品を意図的に働かないようにするという、一見不思議な方法を取ります。計算の部品に当たるニューロンを、一定の確率でランダムに選び、一時的に活動を停止させるのです。停止したニューロンは、その時の学習には一切関与しません。これは、学習に用いるデータの一部を意図的に隠蔽することに似ています。一部の情報が欠けていても正しく答えを導き出せるように、モデルを訓練するのです。 ドロップアウトを用いることで、モデルは特定のニューロンに過度に依存するのを防ぎ、より多くのニューロンをバランス良く活用するようになります。全体像を把握する能力が向上し、結果として、未知のデータに対しても高い精度で予測できるようになります。これは、一部分が隠されていても全体像を把握できるように訓練された成果と言えるでしょう。ドロップアウトは、複雑なモデルをより賢く、より柔軟にするための、強力な技術なのです。