最新の自然言語処理技術に興味がある方に向けて、

Transformerモデルの動作原理を解説。

BERTのソースコードを読み解く！

Transformerによる自然言語処理AI

≪BERTと文章生成モデルの動作原理をソースコードから読み解く≫

【提携セミナー】

主催：株式会社情報機構

自然言語処理の技術はニューラルネットワークの登場と共に大きく発展し、現在では「Transformer」と呼ばれるモデルを使用することが一般的になっています。本セミナーでは、Transformerの動作原理と、様々な種類があるTransformerモデルの特徴について解説します。また、セミナーの後半では、Transformerモデルの蓬矢となったBERT及び、文章生成モデルであるGPT2の動作を、実際のソースコードを読み解きながら解説します。

◆◆受講対象者

• 最新の自然言語処理技術に興味がある技術者
• BERTのソースコードを読んでみたが挫折したプログラマー

◆必要な予備知識など

• Tensorflow等、ニューラルネットワークを扱うプログラムに、ある程度の知識がある
• Pythonプログラミングに、ある程度の知識がある
• 前提として、形態素解析や日本語文章の分かち書きなどについて、ある程度の知識があることが望ましい

担当講師

機械学習エンジニア　坂本俊之 先生

セミナープログラム（予定）

1．自然言語処理概論

1.1．自然言語処理とは
1.2．自然言語処理技術の推移
1.3．Transformerモデルの登場
1.4．BERTとその派生モデル
1.5．その他のTransformerモデル
1.6．巨大パラメーター時代

2．Transformerモデルの動作原理

2.1．Transformerモデルの特徴
2.2．Transformerにおけるテキストエンコード
2.3．単語埋め込みベクトル
2.4．位置埋め込みベクトル
2.5．Self-Attention機構
2.6．Transformerモデルの学習方法

3．BERTのソースコードを読み解く

3.1．Tensorflow1系のコーディングスタイル
3.2．BERTのモデルクラス
3.3．Self-Attention関数
3.4．Transformerの実装
3.5．出力層の実装
3.6．損失関数の実装

4．GPT-2のソースコードを読み解く

4.1．Encoder-Decoderモデル
4.2．入力コンテキスト長
4.3．Encoderのステータス
4.4．Dense関数とconv1d関数
4.5．Top-K、Top-Pパラメーター
4.6．文章生成ループ

公開セミナーの次回開催予定

開催日

2022年3月28日（月）　12:30-16:30

開催場所

Zoomによるオンラインセミナー

受講料

【オンラインセミナー（見逃し視聴なし）】：1名41,800円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき30,800円
【オンラインセミナー（見逃し視聴あり）】：1名47,300円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき36,300円

※学校法人割引；学生、教員のご参加は受講料50％割引

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

配布資料・講師への質問等について
●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー（見逃し視聴なし）】、【オンラインセミナー（見逃し視聴あり）】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。