ハンズオンで学ぶPythonによる強化学習の基礎

《強化学習アルゴリズムを自ら実装・応用するためのはじめの一歩》

【提携セミナー】

主催：株式会社情報機構

〇Pythonによるハンズオンを通じ、古典的な強化学習から最新の深層強化学習まで体系的に学ぶ！
〇基礎概念や代表的アルゴリズムから、Q学習・深層Qネットワークの適用と実装、学習過程の可視化と結果の評価、ハイパーパラメータ調整や学習失敗時の対処法まで。

◆　はじめに：

本セミナーでは，Pythonによるハンズオンを通じて，古典的な強化学習から最新の深層強化学習まで体系的に学びます．単なる理論の解説ではなく，エージェントがどのように試行錯誤しながら学習するのかについて，実際にコードを書き，可視化しながら理解することを重視します．古典的なQ学習（強化学習）の多腕バンディット問題から最新の深層Qネットワーク（深層強化学習）のCartPoleへの適用および実装までを体験し，強化学習アルゴリズムを自ら実装・応用できる力を身につけます．

◆　受講対象者：

• Pythonを用いた機械学習・AI技術（特に強化学習）に興味のある技術者の方
• 強化学習をこれから学びたい方，または基礎から体系的に理解したい方
• 業務へ活かすため，強化学習アルゴリズムの基礎知識や実装方法を習得したい方
• 強化学習を学んだことはあるが，なぜ学習できるのかを十分理解できていない方
• ゲームAI，ロボティクス，自律制御などへの応用に興味のある方
• 実際にPythonコードを書きながら，強化学習を体験的に学びたい方
• 本テーマに興味のある方ならどなたでも受講可能です

◆　必要な予備知識：

• 高校卒業レベルの数学の知識
• Pythonの基礎文法（条件分岐，繰り返し処理，関数など）の知識
• Pythonによる簡単なデータ処理・可視化の基礎知識
• 強化学習やニューラルネットワークの予備知識があると理解しやすくなりますが，必須ではありません

◆　本セミナーで習得できること：

• 強化学習の基礎概念（エージェント，環境，報酬，状態，行動）の理解
• Q学習や深層Qネットワークなどの代表的アルゴリズムの基礎知識
• Pythonを用いた強化学習アルゴリズムの実装方法
• Q学習や深層Qネットワークにおける学習過程の可視化と結果の評価方法
• 強化学習におけるハイパーパラメータ調整や学習失敗時の対処法
  など

ハンズオン実習環境ご準備のお願い：Google Colaboratory使用

• セミナー途中に随時 Google Colaboratory を用いたハンズオンでの実習を行います。動作する環境のご準備をお願いします。

〇Google Colaboratory
https://colab.research.google.com/

※以下3点を満たせば、問題なく利用できるかと存じます。
1）「Googleアカウント」および「Google Colaboratoryが動作するWebブラウザ」のご準備
2）上記リンクへアクセスができる
3）ページ上部の「＋ コード」に例えば「1+1」と入力、実行し答えが出力される

※セキュリティ設定などにより、Google Colaboratoryが利用できない場合がございます。必ず事前に当日の視聴環境でご利用可能かご確認ください。

担当講師

愛知県立大学　情報科学部　情報科学科　教授　小林 邦和 氏

■ご略歴：
山口大学工学部助手，同助教，愛知県立大学情報科学部准教授を経て，2017年4月より現職．2026年4月より，愛知県立大学次世代ロボット研究所副所長を兼務．この間，ヒューストン大学工学部医用生体工学科の客員研究員を兼任．博士(工学)．

■ご専門および得意な分野・研究：
機械学習(人工知能)，知能ロボティクス，ソフトコンピューティング

■本テーマ関連学協会でのご活動：
米国電気電子学会(IEEE)，アメリカ人工知能学会(AAAI)，電子情報通信学会，電気学会，人工知能学会，計測自動制御学会，言語処理学会，ロボカップ日本委員会の各会員．
電気学会技術シーズ創出に向けた機械学習協同研究委員会委員長(2012～2014年)，電気学会学習アルゴリズムの高度化を指向した機械学習技術協同研究委員会委員長(2014～2016年)，ICAROB国際プログラム委員会委員(2014～2019年)，電気学会システム技術委員会1号委員(2017年～2023年)，あいちロボカップAP2020開催委員会競技専門部会部会員(2019～2020年)，電気学会論文誌特集号編修小委員会委員長(2022年)などを歴任．
現在，Journal of Robotics, Networking and Artificial Life編集委員(2014年～)，電気学会論文誌特集号編修小委員会委員(2014年～)，ICAROB国際組織委員会委員(2019年～)，ロボカップ日本委員会理事(2019年～)などを務める．

セミナープログラム（予定）

１．強化学習の基礎
1）機械学習の概要
a）教師あり学習・教師なし学習・強化学習の違い
b）エージェント・環境・報酬
2）強化学習の応用例
a）ゲームAI（Atari，マリオAI，AlphaGo）
b）ロボティクス（自律移動，制御最適化）
3）セミナーのゴール

２．多腕バンディット（スロットマシン）問題
1）多腕バンディット問題
2）バンディットの価値推定
3）プレイヤーの行動戦略（探索vs活用）
4）ハンズオン
a）バンディット・エージェント・方策の実装
b）ハイパーパラメータの相違による性能比較

３．マルコフ決定過程（MDP）と動的計画法
1）MDP（エージェントと環境との相互作用）
2）ベルマン方程式
a）状態価値関数
b）行動価値関数
3）動的計画法
a）方策評価
b）方策改善
c）価値反復法
4）ハンズオン
a）グリッドワールド環境の実装
b）価値反復法の実装

４．Q学習
1）モデルベースvsモデルフリー
2）Q学習のアルゴリズムと学習方法
3）ハンズオン
a）グリッドワールド環境におけるQ学習の実装
b）学習過程の可視化

５．深層強化学習（深層Qネットワーク）
1）ニューラルネットワーク導入の理由
2）深層Qネットワーク（DQN）の基本構造
a）ニューラルネットワークによるQ関数の近似
b）経験再生
c）ターゲットネットワーク
3）DQNのアルゴリズムと学習方法
4）ハンズオン
a）DQNの実装
b）CartPole問題における動作確認

６．まとめ
1）最新動向
2）質疑応答

【注意事項】

当日の進行状況に応じて，ハンズオン演習はすべての項目が取り上げられない可能性があります．

公開セミナーの次回開催予定

開催日

2026年8月20日(木)　10:30-16:30　＊途中、お昼休みや小休憩を挟みます。

開催場所

Zoomによるオンラインセミナー

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

受講料

【オンライン受講（見逃し視聴なし）】：1名 51,700円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき40,700円

【オンライン受講（見逃し視聴あり）】：1名 57,200円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき46,200円
＊「見逃し視聴あり」でお申込の場合、当日のご参加が難しい方も後日セミナー動画の視聴が可能です。

＊学校法人割引；学生、教員のご参加は受講料50％割引。

配布資料

※配布資料等について

●配布資料はPDFなどのデータで配布いたします。ダウンロード方法などはメールでご案内いたします。

• 配布資料に関するご案内は、開催1週前～前日を目安にご連絡いたします。
  
• 準備の都合上、開催1営業日前の12:00までにお申込みをお願いいたします。
  （土、日、祝日は営業日としてカウントしません。）
• セミナー資料の再配布は対応できかねます。必ず期限内にダウンロードください。

備考

●当日、可能な範囲でご質問にお答えします。（全ての質問にお答えできない可能性もございます。何卒ご了承ください。）

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー（見逃し視聴なし）】、【オンラインセミナー（見逃し視聴あり）】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。