累計報酬

機械学習の中で、試行錯誤を通して学習していく方法を強化学習と呼びます。人間の学習と似ていて、赤ちゃんの歩き方を学ぶ過程を想像してみてください。最初は転んだり、うまく歩けなかったりするかもしれません。しかし、何度も繰り返すうちに、どのように足を動かし、バランスを取れば良いのかを徐々に理解し、最終的には上手に歩けるようになります。強化学習もこれと同じように、機械が様々な行動を試してみて、その結果に応じて学習を進めていきます。 強化学習の目的は、環境との関わりの中で得られる報酬の合計値を最大にすることです。先ほどの赤ちゃんの例で言えば、歩くことができた時の達成感や喜びが報酬にあたります。機械も同様に、目的を達成した時に報酬が与えられ、より多くの報酬を得られるように行動を調整していきます。この報酬を最大化するために、機械は最適な行動戦略を学ぶ必要があります。どの場面でどのような行動をとれば、最も多くの報酬を得られるかを試行錯誤しながら学習していくのです。 この学習過程において、状態価値関数というものが重要な役割を担います。状態価値関数は、機械が現在置かれている状況が良い状態なのか悪い状態なのかを評価する関数です。例えば、赤ちゃんが歩いている途中で、平坦な道にいるのか、それともでこぼこした道にいるのかによって、転ぶ危険性は変わってきます。平坦な道は安全で良い状態、でこぼこした道は危険で悪い状態と言えるでしょう。状態価値関数は、このように機械が置かれている状況の良し悪しを数値化し、将来どのくらいの報酬が得られるかを予測します。そして、この予測に基づいて、機械は次にどのような行動をとるべきかを決めるのです。つまり状態価値関数は、機械が最適な行動を選択するための羅針盤のような役割を果たしていると言えるでしょう。