Transformerによる自然言語処理AI【提携セミナー】

Transformerによる自然言語処理AI【提携セミナー】

このセミナーは終了しました。次回の開催は未定です。

おすすめのセミナー情報

開催日時 2022/3/28(月)12:30-16:30
担当講師

坂本 俊之 氏

開催場所

Zoomによるオンラインセミナー

定員 -
受講費 【オンラインセミナー(見逃し視聴なし)】:41,800円
【オンラインセミナー(見逃し視聴あり)】:47,300円
最新の自然言語処理技術に興味がある方に向けて、
Transformerモデルの動作原理を解説。
BERTのソースコードを読み解く!

 

Transformerによる自然言語処理AI

 

≪BERTと文章生成モデルの動作原理をソースコードから読み解く≫

 

【提携セミナー】

主催:株式会社情報機構

 


 

自然言語処理の技術はニューラルネットワークの登場と共に大きく発展し、現在では「Transformer」と呼ばれるモデルを使用することが一般的になっています。本セミナーでは、Transformerの動作原理と、様々な種類があるTransformerモデルの特徴について解説します。また、セミナーの後半では、Transformerモデルの蓬矢となったBERT及び、文章生成モデルであるGPT2の動作を、実際のソースコードを読み解きながら解説します。

 

◆受講対象者

  • 最新の自然言語処理技術に興味がある技術者
  • BERTのソースコードを読んでみたが挫折したプログラマー

 

◆必要な予備知識など

  • Tensorflow等、ニューラルネットワークを扱うプログラムに、ある程度の知識がある
  • Pythonプログラミングに、ある程度の知識がある
  • 前提として、形態素解析や日本語文章の分かち書きなどについて、ある程度の知識があることが望ましい

 

担当講師

機械学習エンジニア 坂本俊之 先生

 

セミナープログラム(予定)

1.自然言語処理概論

1.1.自然言語処理とは
1.2.自然言語処理技術の推移
1.3.Transformerモデルの登場
1.4.BERTとその派生モデル
1.5.その他のTransformerモデル
1.6.巨大パラメーター時代

 

2.Transformerモデルの動作原理

2.1.Transformerモデルの特徴
2.2.Transformerにおけるテキストエンコード
2.3.単語埋め込みベクトル
2.4.位置埋め込みベクトル
2.5.Self-Attention機構
2.6.Transformerモデルの学習方法

 

3.BERTのソースコードを読み解く

3.1.Tensorflow1系のコーディングスタイル
3.2.BERTのモデルクラス
3.3.Self-Attention関数
3.4.Transformerの実装
3.5.出力層の実装
3.6.損失関数の実装

 

4.GPT-2のソースコードを読み解く

4.1.Encoder-Decoderモデル
4.2.入力コンテキスト長
4.3.Encoderのステータス
4.4.Dense関数とconv1d関数
4.5.Top-K、Top-Pパラメーター
4.6.文章生成ループ

 

公開セミナーの次回開催予定

開催日

2022年3月28日(月) 12:30-16:30

 

開催場所

Zoomによるオンラインセミナー

 

受講料

【オンラインセミナー(見逃し視聴なし)】:1名41,800円(税込、資料付)
*1社2名以上同時申込の場合、1名につき30,800円
【オンラインセミナー(見逃し視聴あり)】:1名47,300円(税込、資料付)
*1社2名以上同時申込の場合、1名につき36,300円

 

※学校法人割引;学生、教員のご参加は受講料50%割引

 

オンライン配信のご案内

★ Zoomによるオンライン配信

については、こちらをご参照ください

 

備考

配布資料・講師への質問等について
●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
(開催1週前~前日までには送付致します)。
*準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
(土、日、祝日は営業日としてカウント致しません。)

●当日、可能な範囲で質疑応答も対応致します。
(全ての質問にお答えできない可能性もございますので、予めご容赦ください。)
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

 

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー(見逃し視聴なし)】、【オンラインセミナー(見逃し視聴あり)】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。

おすすめのセミナー情報

製造業eラーニングTech e-L講座リスト

製造業向けeラーニングライブラリ

アイアール技術者教育研究所の講師紹介

製造業の新入社員教育サービス

技術者育成プログラム策定の無料相談受付中

スモールステップ・スパイラル型の技術者教育

技術の超キホン

機械設計マスターへの道

生産技術のツボ

早わかり電気回路・電子回路

早わかり電気回路・電子回路

品質保証塾

機械製図道場

スぺシャルコンテンツ
Special Contents

導入・活用事例

テキスト/教材の制作・販売