動的計画法

マルコフ決定過程モデルは、不確実な状況で、次に何をすればよいかを決めるときに役立つ強力な道具です。このモデルは、現在の状況に応じて行動を選ぶと、将来の状況がどのように変化するかを確率で表します。ちょうど、サイコロを振るとどの目が出るかわからないように、将来の状況も確実には予測できませんが、ある程度の確率で変化していく様子を捉えることができます。 このモデルは、現在の状況だけが将来の状況に影響を与えるという考え方を持っています。つまり、過去の状況は関係なく、今の状況さえわかれば、次に何が起こるかを予測できるということです。これをマルコフ性といいます。この性質のおかげで、計算が比較的簡単になり、様々な分野で使われています。例えば、ロボットがどのように動けば目的地にたどり着けるか、倉庫にどれだけの商品を保管しておけばよいか、お金をどのように運用すれば利益を増やせるか、といった問題を解決するのに役立ちます。 マルコフ決定過程モデルは、状態、行動、遷移確率、報酬という四つの要素でできています。状態とは、システムが取りうる様々な状況のことです。例えば、ロボットの位置や、倉庫の在庫量、現在の資産額などが状態にあたります。行動とは、それぞれの状態で選べる選択肢のことです。ロボットの進む方向、商品の発注量、投資する商品の種類などが行動にあたります。遷移確率は、ある状態で特定の行動をとったときに、次にどの状態に移るかの確率です。例えば、ロボットが北に進むと決めたときに、実際に北に進む確率、倉庫に商品を発注したときに、その商品が予定通り届く確率などです。最後は報酬です。報酬は、ある状態で特定の行動をとったときに得られる利益や損失のことです。ロボットが目的地に到達したときに得られる点数、商品を販売して得られる利益、投資で得られる収益などが報酬にあたります。これらの要素を組み合わせることで、どんな行動をとれば最も多くの利益を得られるか、といった最適な行動計画を立てることができます。