〇Transformerの基本的な仕組みから始まり，

画像認識やVision and Language分野における最新の研究動向について解説！

深層学習によるVision and Languageの最前線

≪Transformerの基本的な仕組みから画像認識やVision and Language分野における最新の研究動向について≫

【提携セミナー】

主催：株式会社情報機構

Transformerの登場以来，画像認識と自然言語処理の融合領域（Vision and Language）の研究が急速に進んでおり，様々な応用がなされている．本講座では，Transformerの基本的な仕組みから始まり，画像認識やVision and Language分野における最新の研究動向について解説する．

◆受講後、習得できること

• Transformerの基本的な知識
• 画像認識，Vision and Language分野における最新の研究動向

◆受講対象者

• 深層学習による画像認識の最新動向を把握したい方
• 画像と言語の融合領域の最新動向を把握したい方
• Transformerの基礎を知りたい方

◆必要な予備知識など

深層学習，機械学習に関する最低限の知識

◆講演中のキーワード

Vision and Language
Transformer
言語モデル（Language model）
基盤モデル（Foundation model）

担当講師

東北大学 大学院情報科学研究科 助教 菅沼 雅徳 先生

■ご略歴：
2017年9月 横浜国立大学博士後期課程　卒業
2017年10月-2021年9月 理化学研究所AIPセンター　特別研究員
2018年10月-現在 東北大学大学院情報科学研究科　助教

■ご専門および得意な分野・研究：
画像認識
深層学習による画像と言語（Vision and Language）

セミナープログラム（予定）

１． Vision and Languageにおける深層学習の現在
1.1 画像付き質問応答でヒトの性能を超えた
1.2 非常に高精細な画像生成も可能に
1.3 そのほか最新の研究紹介

２． Transformerの基礎
2.1 基本構成
2.2 注意機構（attention）
2.3 Encoder/Decoder
2.4 BERTによる革新
① BERTの基礎
② BERTの学習方法
③ BERTの応用
2.5 GPT-3の衝撃
① 言語モデルの基礎
② GPT-1/2/3の学習方法
③ GPT-1/2/3の応用（zero/few-shot learning）
2.6 Vision Transformerの基礎
① 基本構成
② DeiT
③ Swin Transformer
④ そのほか最新の研究紹介

３． Vision and Languageの基礎
3.1 問題設定
3,2 よく扱われるタスクの紹介（VQA, Image captioning, Text to image generationなど）
3.3 画像特徴量の抽出（Grid/Region feature）
3.4 事前学習（Masked Language modeling, Image-Text matching）
3.3 最新の研究動向
① CLIPによるパラダイムシフト
② 大量のimage/textデータを用いた事前学習
③ 言語情報を利用した画像認識
④ 最新手法の紹介

４． より現実的な応用へ～外部知識を必要とする画像付き質問応答～
4.1 問題設定（ベンチマークの紹介）
4.2 知識グラフを用いた方法
4.3 言語モデルを用いた方法
4.4 明示的な知識を用いた方法
4.5 最新の研究紹介

５． Vision and Languageの今後
5.1 現状の課題
5.2 今後の展望

公開セミナーの次回開催予定

開催日

2022年10月7日（金）　12:30-16:30

開催場所

Zoomによるオンラインセミナー

受講料

【オンラインセミナー（見逃し視聴なし）】：1名41,800円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき30,800円

【オンラインセミナー（見逃し視聴あり）】：1名47,300円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき36,300円

＊学校法人割引；学生、教員のご参加は受講料50％割引。

　●録音・録画行為は固くお断り致します。

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

配布資料・講師への質問等について
●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー（見逃し視聴なし）】、【オンラインセミナー（見逃し視聴あり）】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。