★自然言語処理分野における10年間の進展を事前学習済みモデルの観点から俯瞰できる。

大規模事前学習済み言語モデルの進展と動向

【提携セミナー】

主催：株式会社情報機構

Word2vecの登場以降ELMo，BERTといった事前学習済みモデルの発展により自然言語処理における各タスクの精度は飛躍的に向上した．

本講座ではそれらの発展を順に説明し，ChatGPTやGPT-4といった産業上重要な位置を占めると考えられるモデルの歴史的な位置づけを把握することを助ける．

◆受講後、習得できること

• 事前学習済み言語モデルのネットワーク構造の理解
• 事前学習済み言語モデルの体系的な理解
• 事前学習済み言語モデルの適用タスクの理解
• 事前学習済み言語モデルの発展可能性の把握
• 事前学習済み言語モデル進展の歴史の把握

担当講師

奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域 渡辺研究室 准教授 博士（工学） 上垣外 英剛 先生

■主経歴等
2022年4月 – 現在 奈良先端科学技術大学院大学 先端科学技術研究科 准教授
2018年4月 – 2022年3月 東京工業大学 科学技術創成研究院 助教
2017年4月 – 2018年3月 NTT コミュニケーション科学基礎研究所 リサーチアソシエイト

■専門および得意な分野・研究
自然言語処理を専門とし，近年は時に自然言語生成と知識グラフの補完のタスクに取り組んでいる．

■本テーマ関連の専門学協会等での委員会活動
2022年4月 – 現在 情報処理学会 自然言語処理研究会 運営委員
2021年3月 – 現在 自然言語処理 編集委員
2020年7月 – 2021年3月 言語処理学会年次大会 大会実行委員会 大会実行委員

セミナープログラム（予定）

1.本日紹介する内容

2.単語分散表現とその利用
2.1　word2vec
2.2　word2vecの派生
2.3　言語モデル
2.3.1　再帰型ニューラルネットワーク
2.3.2　Long short-term memory (LSTM)
2.4　系列変換モデル (seq2seq)
2.4.1　エンコーダ・デコーダ
2.4.2　注意付きエンコーダ・デコーダ

3.事前学習済み言語モデル
3.1　ELMo
3.2　Transformer
3.3　BERT
3.4　BERTの派生
3.5　系列変換モデル

4.大規模事前学習済み言語モデル (LLM)

5.最新の動向

（質疑応答）

公開セミナーの次回開催予定

開催日

2023年7月27日（木）　13:00-15:30

開催場所

Zoomによるオンラインセミナー

受講料

【オンラインセミナー（見逃し視聴なし）】：1名33,000円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき22,000円

【オンラインセミナー（見逃し視聴あり）】：1名38,500円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき27,500円

＊学校法人割引；学生、教員のご参加は受講料50％割引。

●録音・録画行為は固くお断り致します。

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

※配布資料・講師への質問等について

●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー（見逃し視聴なし）】、【オンラインセミナー（見逃し視聴あり）】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。