★期待が高まるマルチモーダルAIへの可能性を秘めた有望技術！

Transformerモデルの動作原理から応用技術まで詳解します！

自然言語処理技術における

Transformerモデルの基礎・応用技術と

今後の展望

【提携セミナー】

主催：株式会社技術情報協会

講座内容

近年、自然言語処理（NLP）技術におけるブレークスルーとして登場したTransformerモ デルは、画像処理への応用や、画像・言語など異なるデータを統合するマルチモーダルAIへの応 用も可能である事から、AI技術の新たな潮流を生み出す可能性のある、極めて有望な技術である。 本講演では、Transformerモデルの登場したそもそものタスクである、NLPにおけるTransformerモデ ルの動作について詳細に解説し、Transformerモデルの動作原理について学ぶ。さらに、NLP以外 の分野におけるTransformerモデルの採用例について紹介する事で、Transformerモデルの今後の 発展について展望する。講演の前半では、Transformerモデルの登場から今後登場するであろう技 術まで、その概要を紹介する事で、技術の大きな潮流を把握する。また後半では、より詳細に Transformerモデルの動作を紹介し、技術的な理解を深める。

習得できる知識

• 自然言語処理AIの最新技術動向を解説
• Transformerモデルの動作原理から応用技術まで学べる
• マルチモーダルAIに向けた技術の展望を把握できる

担当講師

フリーランスエンジニア・機械学習コンサルタント　坂本 俊之氏

セミナープログラム（予定）

1．Transformerモデルの登場
1.1 自然言語処理技術の歴史
1.2 BERT登場の衝撃
1.3 様々なTransformerモデルの登場
1.4 パラメーター数競争の時代へ

2．自然言語処理AIとは
2.1 様々な自然言語処理タスク
2.2 巨大コーパスと事前学習モデル
2.3 汎用モデルの公開競争
2.4 日本語と国家間デバイド

3．マルチモーダルAIとは
3.1 マルチモーダルAIの現状
3.2 TransformerとマルチモーダルAI
3.3 NLPによるセミ汎用AI
3.4 真の汎用AI時代へ向けて

4．Transformerの技術
4.1 Transformerモデルの基礎
4.2 Self-Attention機構
4.3 Normalization機構
4.4 単語埋め込み層

5．Transformerモデルの学習
5.1 Masked Language Modelとは
5.2 BERTにおける学習
5.3 Whole-Wordな学習
5.4 BERT亜種の差違

6．Language Model
6.1 GPTにおける学習
6.2 GPTにおける文章生成
6.3 T5モデル
6.4 aMLPモデル

7．Transformerモデルの応用
7.1 文章のクラス分類
7.2 文章の抽出
7.3 抽象型要約
7.4 マルチモーダルTransformer

【質疑応答】

公開セミナーの次回開催予定

開催日

2022/4/20（水）10:30~16:30

開催場所

Zoomによるオンライン受講

受講料

1名につき55,000円(消費税込､資料付)
〔1社2名以上同時申込の場合1名につき49,500円(税込)〕

技術情報協会主催セミナー　受講にあたってのご案内

• Live配信セミナーの接続確認・受講手順は こちら をご確認ください。
• お申込み・お支払い方法に関するご案内はこちら をご確認ください。

備考

‐

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

※お申込後はキャンセルできませんのでご注意ください。

※申し込み人数が開催人数に満たない場合など、状況により中止させていただくことがございます。