★現在AI分野の技術として成功を収めているTransformerに焦点を絞り，

その基本構成を解説するとともに利用時のコツなどの知見も共有します．

Transformer

(系列変換モデル, ニューラル言語モデル)

の詳解

【提携セミナー】

主催：株式会社情報機構

人工知能（AI）関連の中心的な技術として深層学習が主流となり，ここ数年で多くの課題の性能が飛躍的に向上しました．その深層学習技術の一つとして，2017年に発表されたTransformerと呼ばれる深層ニューラルネットワークが，現在多くの分野の多くの課題で幅広く利用されています．例えば，オンラインで提供されている機械翻訳サービスや，自然言語処理分野を超えて一般向けにも話題に上がるようになったGPT-3などのニューラル言語モデルも中身はTransformerを利用しています．

そこで本講座では，現在のAI関連技術の中核となる技術の一つであるTransformerに焦点を絞り，その計算の仕組みや直感的な解釈，扱う際の注意点など，Transformerに対する理解を深めるために必要な情報を詳しく解説します．

◆受講後、習得できること

• Transformerが何か／どのような仕組みで構成されているかを説明できるようになる
• Transformerを用いた自然言語処理をする上でのコツを習得
• 自然言語処理における言語モデルの位置付けや利用方法を習得
• 系列変換（Encoder-decoder）モデルによる機械翻訳や対話ボットの仕組みを理解できる

◆受講対象者

• 深層学習や自然言語処理に関する初歩的な技術／知識を既に有している方
• 今後，深層学習を用いて自然言語処理に取り組む予定がある方
• 最近の翻訳や対話ボットなどがどのように動いているかを知りたい方
• 世間を騒がせているGPT-3などの言語モデルが具体的にどのような仕組みで動いているかを知りたい方

担当講師

東北大学 データ駆動科学・AI教育研究センター　教授 博士（工学）

鈴木 潤 先生

セミナープログラム（予定）

1.導入：自然言語処理と深層学習
1.1　自然言語処理のおさらいと代表的な応用タスクの確認
1.2　深層学習／深層ニューラルネットワーク（DNN）のおさらい
1.3　自然言語処理でDNNを使う典型例の確認
1.4　自然言語処理でDNNを使うことのメリット／デメリットおよび注意点

2.Transformer概観
2.1　Transformerを構成する各部品の紹介 -機械翻訳を例にして-
2.2　なぜTransformerが成功したのか
2.3　うまく使うコツ／注意すべきこと
2.4　Transformerに付随して利用される各種テクニックの紹介

3.Transformer利用例1：系列変換（encoder-decoder）モデル
3.1　機械翻訳以外の系列変換モデルの利用例（対話，文章校正，文書要約など）
3.2　系列変換モデルの解釈

4.Transformer利用例2：言語モデル
4.1　次単語予測型のニューラル言語モデル
4.2　マスク型のニューラル言語モデル
4.3　事前学習済みニューラル言語モデルを用いた自然言語処理
4.4　ニューラル言語モデルの解釈

5.自然言語処理タスク以外への発展
5.1　音声処理分野での利用例
5.2　画像処理分野での利用例

6.最近の研究動向/発展
6.1　長い系列に対する取り組み
6.2　計算効率向上に関する取り組み
6.3　何を学習しているのかを解釈する取り組み
6.4　その他様々な改良

7.まとめ（現状と今後の展望）

（質疑応答）

公開セミナーの次回開催予定

開催日

2021年9月17日（金）　13:00-16:30

開催場所

Zoomによるオンラインセミナー

受講料

1名41,800円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき30,800円

※学校法人割引；学生、教員のご参加は受講料50％割引

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）

●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。