積層オートエンコーダ:過去の手法
複数の自動符号化機を積み重ねたものを積層自動符号化機と呼びます。これは、与えられた情報から本質的な特徴を見つけるための仕組みです。自動符号化機とは、情報をより簡潔な形に変換し、その簡潔な形から元の情報を復元できるように学習する仕組みです。例えるなら、たくさんの書類を要約し、その要約から元の書類の内容を思い出せるように訓練するようなものです。積層自動符号化機は、この自動符号化機を何層にも重ねて作られています。
最初の層では、入力情報から単純な特徴(例えば、画像であれば色の濃淡や輪郭など)を抽出します。次の層では、前の層で見つけた特徴を組み合わせて、より複雑な特徴(例えば、目や鼻などのパーツ)を見つけ出します。さらに層を重ねるごとに、より高度で抽象的な特徴(例えば、顔全体や表情など)を捉えることができるようになります。これは、積み木を組み合わせて、家や車など複雑な形を作る過程に似ています。単純な積み木から始まり、徐々に複雑な構造を作り上げていくのです。
このように、積層自動符号化機は情報の階層的な表現を学習することができます。つまり、表面的な特徴から深層的な特徴まで段階的に理解していくことができるのです。このため、画像認識や自然言語処理といった様々な分野で役立ってきました。例えば、画像に写っている物体が何かを認識したり、文章の意味を理解したりするのに利用されてきました。まるで熟練した職人が、素材の性質から完成形までを理解し、作品を作り上げていくように、積層自動符号化機は情報の本質を捉え、様々な応用を可能にするのです。