★コミュニケーション中に人が表出する言語・非言語マルチモーダル情報

（言語・音声・視線・姿勢・ジェスチャ・生体情報など）を統合的に処理することによって，

その人の行動や感情，態度，個性といった内面状態を推定する技術に関して解説！

★会話ロボット・インタラクティブシステムへの応用に関する最新の研究動向を紹介！

音声・言語・画像・生体データの融合と

少量データからの機械学習・マルチモーダル機械学習技術

【提携セミナー】

主催：株式会社情報機構

マルチモーダル情報処理技術は会話ロボットを初めとする人工知能システムのための，インターフェイスを構築する上で重要であり，ユーザの態度推定に基づいて適応的に振る舞うロボットなど，人に寄り添う人工知能の実現に欠かせない．

本講義では，コミュニケーション中に人が表出する言語・非言語マルチモーダル情報　（言語・音声・視線・姿勢・ジェスチャ・生体情報など）を統合的に処理することによって，その人の行動や感情，態度，個性といった内面状態を推定する技術に関して解説を行う．また会話ロボット・インタラクティブシステムへの応用に関する最新の研究動向を紹介する．

◆受講後、習得できること

マルチモーダル情報処理の基礎，社会的信号処理の基礎，マルチモーダル機械学習の基礎，
マルチモーダルインタラクション研究の最新の動向

◆受講対象者

マルチモーダル処理，非言語情報から内面状態を推定する技術，
マルチモーダル対話ロボットなどの研究に興味のある，企業・アカデミックの研究者の皆様

◆必要な予備知識など

パターン認識，機械学習，マルチメディア処理（言語，音声，画像）の基礎
※予備知識がない場合でも，問題ないようにセミナーの内容を構成しています．

担当講師

北陸先端科学技術大学院大学 先端科学技術研究科
情報科学系 准教授 博士（工学） 岡田 将吾 先生

【専門】:知能情報学/マルチモーダルインタラクション/社会的信号処理/機械学習/
マルチモーダル処理，機械学習，データマイニングを用いた人間の行動理解，
コミュニケーション中の内面状態の推定モデルの構築とインタラクティブシステム・会話ロボット/エージェントへの応用に従事

セミナープログラム（予定）

1. マルチモーダル社会的信号処理の導入

2. マルチモーダル社会的信号処理のための理論
1. 社会言語学の知見

2. 社会心理学の知見

3. 社会的信号処理に用いるマルチモーダル情報処理のための基礎
3-1．音声情報処理
3-2．画像情報処理
3-3.言語情報処理
3-4.生体情報，その他のセンサ情報処理

4. 社会的信号処理のためのＡＩ技術
4-1.機械学習基礎
①分類・回帰学習
②転移学習，弱教師付き学習
4-2.マルチモーダル機械学習

5. 社会的信号処理モデルの構築方法
5-1. データコーパスの収集
5-2. 心理学の知見を利用した正解ラベルデータの作成方法
5-3. 入力モダリティの選定
5-4. マルチモーダル特徴量の抽出
5-5. マルチモーダル情報の機械学習・評価
5-6. 社会的信号処理の応用実例
① マルチメディアコンテンツ解析
②マルチモーダル感情認識
・生体信号処理に基づく認識
・対話ロボットとの対話満足度の認識
・外部言語知識を利用した感情に紐づく情報の拡張
・複数のコーパスを用いた感情認識
③コミュニケーション・プレゼンテーション能力の推定
④運転行動データに基づく認知機能の推定
⑤行動情報に基づくストレス推定
⑥行動データに基づく認知症傾向の推定
⑦マルチモーダル会話ロボット
⑧ユーザの内的状態推定に基づくロボットの会話戦略
⑨ユーザの面接対話スキル判定機能を備えた就職面接訓練エージェントシステム

公開セミナーの次回開催予定

開催日

未定

開催場所

未定

受講料

未定

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

※配布資料・講師への質問等について

●配布資料は、印刷物を郵送もしくはメール送付のどちらかを検討中です。
お申込については4営業日前までのお申込みを推奨します。
それ以降でもお申込みはお受けしておりますが（開催1営業日前の12:00まで）、
テキストが郵送となった場合、資料の到着がセミナー後になる可能性がございます。

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。