【強化学習】n-step TD 法 - 一番使われる基礎的手法だよ【強化学習の基礎アルゴリズム】RL vol. 17  

これは私の勝手な想像ですが、以下のような歴史がある気がします。 ・古典強化学習ではn-stepの不安定さが分散だと思われていた ・深層強化学習が発達（ここで古典強化学習から10年以上は時代が進んでいる） ・オフライン強化学習という分野が出てきて学習の不安定さが本格的に研究されだした 　→分布シフトについても研究が進む ・n-stepの不安定さが分布シフトに基づくものだとして解決策が編みだされた なのでかなり最近出てきた考え方だと思っています。

なるほど！そうなんですね！ ありがとうございます！！！！！ 最近の研究は全然知りませんでした、、🙇‍♀️ たしかに、SARSA は安定するけど Q はシフトがあって不安定というのは、とても良く分かります。 なんの Q を推定してるのか、よくわからないですものね、、、。 ありがとうございます！ 後々のシリーズで補足入れようと思います。 私もとても勉強になりました。 ありがとうございました！！！！！

ご視聴コメントありがとうございます！ 例外はありますが、基本的には Q か使われる印象です。 ただ、将棋 AI や囲碁 AI など、行動の後の状態が確定している場合は、Q ではなく V が使われています。 そのような違いと認識していますが、実践経験はほぼないので、現場では違う使い分けもあるかもしれません。 実際にやるときは分野の慣習を参考にすると良いと思います！