★近年注目されているTransformerモデルとは何か！
★自然言語処理、画像処理、音声認識への応用までわかりやすく解説します！！

Transformerの基礎と最新応用展開

《BERT、ViT、Conformer》

【提携セミナー】

主催：株式会社技術情報協会

講座内容

・RNNに基づくエンコーダ・デコーダモデル
・Transformer
・Transformerの応用

【講演趣旨】
人工知能の各分野において近年注目を集めている深層学習モデル 「Transformer」について解説します。Transformerモデルは、機械翻訳や自動要約、対話 システムなど自然言語処理の多くのタスクで従来モデルの性能を凌駕し、今ではデファク トスタンダードなモデルになりつつあります。また、自然言語処理の分野に限らず、画像処 理、音声認識など様々な分野に応用され、成功を収めています。

本セミナーでは、その Transformerについて基礎から解説します。また、Transformerの典型的なモデルの解説に とどまらず、自然言語処理、画像処理、音声認識に応用した最新モデルも概説します。

習得できる知識

・Transformerの基礎
・Transformerの応用
・自然言語処理、画像処理、音声認識の最新モデルを概説

担当講師

同志社大学　理工学部　情報システムデザイン学科　准教授　田村 晃裕氏

セミナープログラム（予定）

1. RNNに基づくエンコーダ・デコーダモデル
1.1 RNN
1.2 エンコーダ・デコーダモデル
1.3 RNNに基づくエンコーダ・デコーダモデル
1.4 注意機構の導入

2. Transformer
2.1 Transformerの概要
2.2 Transformerの長所
2.3 Transformerの短所
2.4 Transformerの各コンポーネント
2.4.1 位置エンコーディング
2.4.2 注意機構
2.4.3 順伝搬層
2.4.4 残差接続と層正規化

3. Transformerの応用
3.1 自然言語処理への応用（BERT）
3.1.1 マスク化言語モデル
3.1.2 次文予測
3.1.3 ファインチューニング
3.2 画像処理への応用（ViT）
3.2.1 パッチ埋め込み
3.2.2 ViTのTransformerブロック
3.3 音声認識への応用（Conformer）
3.3.1 畳み込み演算（pointwiseとdepthwise）
3.3.2 Conformerブロック

公開セミナーの次回開催予定

開催日

未定

開催場所

未定

受講料

未定

技術情報協会主催セミナー　受講にあたってのご案内

• Live配信セミナーの接続確認・受講手順は こちら をご確認ください。
• お申込み・お支払い方法に関するご案内はこちら をご確認ください。

備考

資料は事前に紙で郵送いたします。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

※お申込後はキャンセルできませんのでご注意ください。

※申し込み人数が開催人数に満たない場合など、状況により中止させていただくことがございます。