★自然言語処理における表現学習と負例サンプリングの進展を学ぶことができます．

自然言語処理における表現学習と

負例サンプリング損失の進展

【提携セミナー】

主催：株式会社情報機構

Word2vecの登場以降，自然言語処理分野では大規模データで学習された事前学習済みの表現を利用することが盛んに行われている．特に近年のBERTの登場以降にはこれらの事前学習済みの表現はタスク解決において必須のものとなりつつある．

本講座ではこれらの事前学習済みのモデルの進展と併せてそれを実現するための学習法の一つである負例サンプリングについての紹介を行う．

◆受講後、習得できること

• 単語ベクトルに関する基礎的な知識
• 負例サンプリングに関する基礎的な知識
• 事前学習済み言語モデルに関する基礎的な知識
• 知識グラフ埋め込みに関する基礎的な知識
• 昨今の埋め込み学習における負例サンプリングの利用状況に関する知識

担当講師

奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域 渡辺研究室 准教授 博士（工学） 上垣外 英剛 先生

■主経歴等
2022年4月 – 現在 奈良先端科学技術大学院大学 先端科学技術研究科 准教授
2018年4月 – 2022年3月 東京工業大学 科学技術創成研究院 助教
2017年4月 – 2018年3月 NTT コミュニケーション科学基礎研究所 リサーチアソシエイト

■専門および得意な分野・研究
自然言語処理を専門とし，近年は特に自然言語生成と知識グラフの補完のタスクに取り組んでいる．

■本テーマ関連の専門学協会等での委員会活動
2022年4月 – 現在 情報処理学会 自然言語処理研究会 運営委員
2021年3月 – 現在 自然言語処理 編集委員
2020年7月 – 2021年3月 言語処理学会年次大会 大会実行委員会 大会実行委員

セミナープログラム（予定）

1.単語埋め込みと負例サンプリング
1.1　単語埋め込みの概要
1.2　単語埋め込みの利用
1.3　単語埋め込みの学習
1.4　単語埋め込み学習のための負例サンプリング

2.事前学習済み言語モデル
2.1　事前学習済み言語モデルの概要
2.2　事前学習済み言語モデルの利用
2.3　事前学習済み言語モデルの学習
2.4　事前学習済み言語モデルを学習するための負例サンプリング

3.知識グラフの補完
3.1　知識グラフの概要
3.2　知識グラフの利用
3.3　知識グラフの補完についての紹介
3.4　知識グラフ埋め込みについての概要
3.5　知識グラフ埋め込みを学習するための負例サンプリング

4.表現学習に関する講演者の近年の研究の紹介

（質疑応答）

公開セミナーの次回開催予定

開催日

2023年1月31日（火）　13:00-15:30

開催場所

Zoomによるオンラインセミナー

受講料

【オンラインセミナー（見逃し視聴なし）】：1名33,000円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき22,000円

【オンラインセミナー（見逃し視聴あり）】：1名38,500円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき27,500円

＊学校法人割引；学生、教員のご参加は受講料50％割引。

●録音・録画行為は固くお断り致します。

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

※配布資料・講師への質問等について

●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー（見逃し視聴なし）】、【オンラインセミナー（見逃し視聴あり）】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。