○Transformerの概要や各コンポーネントなどの基礎から、自然言語処理

BERT）、画像処理（ViT）、大規模言語モデル（GPT）への応用まで！

Transformerの基礎から

自然言語処理などへの最新応用技術まで

【提携セミナー】

主催：株式会社情報機構

人工知能の各分野において近年注目を集めている深層学習モデル「Transformer」について解説します。Transformerの典型的なモデルの解析にとどまらず、自然言語処理、画像処理に応用した最新モデルも概説します。

◆受講後、習得できること

• Transformerの基礎知識
• Transformerの自然言語処理への応用方法
• Transformerの画像認識への応用方法
  など

◆受講対象者

本テーマに興味のある方なら、どなたでも受講可能です。

◆必要な予備知識など

• ニューラルネットワークの基礎知識（順伝搬型ニューラルネットワーク、活性化関数、誤差逆伝搬）

◆事前に目を通しておくと理解が深まる文献

必須ではないが、書籍「ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装」（斎藤 康毅著・オライリージャパン）を一読すると理解を深めやすい。

担当講師

同志社大学　理工学部　情報システムデザイン学科　准教授

田村 晃裕 先生

セミナープログラム（予定）

１．RNNに基づくエンコーダ・デコーダモデル
１）RNN
２）エンコーダ・デコーダモデル
３）RNNに基づくエンコーダ・デコーダモデル
４）注意機構の導入

２．Transformer
１）Transformerの概要
２）Transformerの長所
３）Transformerの短所
４）Transformerの各コンポーネント
ア）位置エンコーディング
イ）注意機構
ウ）順伝搬層
エ）残差接続と層正規化

３．Transformerの応用
１）自然言語処理への応用（BERT）
ア）マスク化言語モデル
イ）次文予測
ウ）ファインチューニング
２）画像処理への応用（ViT）
ア）パッチ埋め込み
イ）ViTのTransformerブロック
３）大規模言語モデルへの応用（GPT）

＜質疑応答＞

公開セミナーの次回開催予定

開催日

未定

開催場所

未定

受講料

未定

●録音・撮影行為は固くお断り致します。
●講義中の携帯電話の使用はご遠慮下さい。
●講義中のパソコン使用は、講義の支障や他の方の迷惑となる場合がありますので、極力お控え下さい。
　　場合により、使用をお断りすることがございますので、予めご了承下さい。
　　＊ＰＣ実習講座を除きます。

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

※配布資料・講師への質問等について

●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
　（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。