ロボット制御のための深層強化学習入門と最前線

《フィジカルAIを支える中核理論》

【提携セミナー】

主催：株式会社情報機構

〇問題設定等の基礎から、行われてきた様々な理論・アルゴリズムの改善と、国内外の最新ヒューマノイドロボットが採用している強化学習の主要な枠組みまで。
〇深層強化学習の基礎から最新動向まで、目的意識ベースで体系的に解説します！

◆　はじめに

強化学習（Reinforcement Learning: RL）は、近年のフィジカルAIを支える中核的な理論の一つとして、大きな期待が寄せられています。本セミナーでは、ロボットの高度な運動制御技術の最前線とも言える強化学習について、以下の内容を目的意識ベースで体系的に解説します。

基礎：強化学習の問題設定（マルコフ決定過程など）のレベルから、基礎を固めます。

理論とアルゴリズム：深層強化学習（Deep RL）としてこれまで行われてきた様々な理論・アルゴリズムの改善について、その背景と目的を明確にしながら解説します。

最新の枠組み：世界的に開発・量産が急加速している最新ヒューマノイドロボットが採用している、近年の強化学習の主要な枠組みについても、そのエッセンスを簡潔にご紹介します。

本セミナーを通して、受講者の皆様が強化学習をロボット制御に応用するための確かな基礎知識と、最新動向を理解する視点を養うことを目指します。

◆　受講後、習得できること

• 深層強化学習の基礎
• ロボット制御に関する最新動向
  など

◆　受講対象者

• 深層強化学習の基礎知識を身につけたい方
• 最先端のロボット制御を実装したい方
• 近年のフィジカルAIについて理解を深めたい方

◆　必要な予備知識

大学１～２年度の数学知識（線形代数、微積分・偏微分、確率）

担当講師

国立情報学研究所　情報学プリンシプル研究系　助教　小林 泰介 氏

講師紹介
2016年9月に名古屋大学大学院を修了，博士（工学）取得．2016年11月から2022年3月まで奈良先端大学院大学助教．2022年4月から現在まで国立情報学研究所／総合研究大学院大学助教．
2016年4月から10月まで日本学術振興会特別研究員，2018年5月から2019年3月までミュンヘン工科大学滞在研究員，2020年12月から2022年3月までJSTさきがけ研究者．
専門はロボットの運動制御，機械学習理論．

セミナープログラム（予定）

１．強化学習とは
1.1　強化学習の目的
1.2　マルコフ決定過程
1.3　学習すべき要素

２．基礎となるアルゴリズム
2.1　価値関数の学習：TD学習
2.2　方策関数の学習：方策勾配法

３．深層強化学習への発展
3.1　学習を安定化・効率化させるテクニック
3.1.1　経験再生
3.1.2　ターゲットネットワーク
3.2　最新のActor-Criticアルゴリズム
3.2.1　方策更新の制限：PPO
3.2.2　方策エントロピーの最大化：SAC

４．モデルベース強化学習
4.1　世界モデルの学習
4.2　世界モデルの活用例

５．ドメイン知識を活用した発展
5.1　Sim-to-Real転移
5.2　Guided強化学習

＜質疑応答＞

公開セミナーの次回開催予定

開催日

2026年2月16日(月)　13:00-17:00　＊途中、小休憩を挟みます。

開催場所

Zoomによるオンラインセミナー

オンライン配信のご案内

★　Zoomによるオンライン配信

★　見逃し視聴

については、こちらをご参照ください

受講料

【オンライン受講（見逃し視聴なし）】：1名 46,200円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき35,200円

【オンライン受講（見逃し視聴あり）】：1名 51,700円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき40,700円

＊学校法人割引；学生、教員のご参加は受講料50％割引。

備考

●配布資料はPDFなどのデータで配布いたします。ダウンロード方法などはメールでご案内いたします。

• 配布資料に関するご案内は、開催1週前～前日を目安にご連絡いたします。
  
• 準備の都合上、開催1営業日前の12:00までにお申込みをお願いいたします。
  （土、日、祝日は営業日としてカウントしません。）
• セミナー資料の再配布は対応できかねます。必ず期限内にダウンロードください。

●当日、可能な範囲でご質問にお答えします。（全ての質問にお答えできない可能性もございます。何卒ご了承ください。）

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー（見逃し視聴なし）】、【オンラインセミナー（見逃し視聴あり）】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。