★昨今の自然言語処理全般の最重要基盤技術となっているニューラル言語モデル

（例:BERT）に関して，その基本構成を解説するとともに

利用時のコツなどの知見も共有します．

BERT活用入門

【提携セミナー】

主催：株式会社情報機構

人工知能（AI）関連の中心的な技術として深層学習が主流となり，ここ数年で多くの課題の性能が飛躍的に向上しました．自然言語処理の研究分野では，2017年から2018年にかけてニューラル言語モデルを自然言語処理全般の課題に適用する取り組みがなされました．その結果，多くの自然言語処理の課題で，これまでと比べて飛躍的に性能が向上することが確かめられ，それを契機に自然言語処理において必須の基盤技術とみなされるようになりました．特にBERTやGPT-3といったニューラル言語モデルは，一般向けのニュースにも取り上げられるほど，その技術が広く知られるに至っています．
そこで本講座では，現在の自然言語処理技術の中核となるニューラル言語モデルに関して，その計算の仕組みや直感的な解釈，扱う際の注意点など，ニューラル言語モデルに対する理解を深めるために必要な情報を詳しく解説します．また，実践として実際にサービスとして利用する際に気を付けるべき点なども，できる限り説明していく予定です．

◆受講後、習得できること

• 自然言語処理における現在のニューラル言語モデルの位置付けや利用方法を習得
• ニューラル言語モデル（BERT）を用いた自然言語処理サービスを作成する上でのコツを習得
• ニューラル言語モデルがどのような仕組みで動作しているかを説明できるようになる

◆受講対象者

• 深層学習や自然言語処理に関する初歩的な技術／知識を既に有している方
• 今後，ニューラル言語モデルを用いて自然言語処理に取り組む予定がある方
• 世間を騒がせているBERT／GPT-3などのニューラル言語モデルに関して実際に何がすごいのかを知りたい方

担当講師

東北大学 データ駆動科学・AI教育研究センター　教授 博士（工学） 鈴木 潤 先生

■主経歴
2001年　日本電信電話株式会社入社　コミュニケーション科学基礎研究所にて自然言語処理・機械学習・人工知能の研究に従事
2018年　東北大学 大学院情報科学研究科 准教授
2020年　東北大学 データ駆動科学・AI教育研究センター　教授

■専門・得意分野
自然言語処理・機械学習・人工知能の研究開発

■本テーマ関連の学会・協会等での委員会活動など
一般社団法人言語処理学会　代議員（2018-2021）http://www.anlp.jp/daigiin.html
言語処理学会　会誌編集委員会委員（2013, 2014）
言語処理学会　第27回年次大会プログラム委員長（2021）
Computational Linguistics Journal Editorial Board（2015-2017） http://www.mitpressjournals.org/journals/coli/editorial

セミナープログラム（予定）

1.導入：自然言語処理の現状確認
1.1　自然言語処理のおさらいと代表的な応用タスクの確認
1.2　自然言語処理における深層学習／深層ニューラルネットワークの位置づけ

2.ニューラル言語モデルが基盤技術へ至る過程
2.2　歴史的背景
2.2　なぜニューラル言語モデルが成功したのか（成功の要件）

3.ニューラル言語モデル詳解
3.1　BERT（マスク型ニューラル言語モデル）
3.2　GPT-2/3（生成型ニューラル言語モデル）
3.3　BART/T5（系列変換に基づくニューラル言語モデル）
3.4　それぞれのモデルの使い分け方／得意不得意の解説

4.実用でうまく使うためのコツ
4.1　うまく使う上で事前に認識しておくべき前提
4.2　ファインチューニング時に気をつけること
4.3　適切な入力データの整形方法
4.4　多段階学習
4.5　信頼性の高くないデータを扱うため時に気をつけること

5.最近の研究動向／発展
5.1　ニューラル言語モデルそのものの解釈に関する研究動向
5.2　モデル／データ活用／計算コストに改善に関する取り組み
5.3　その他様々な改良

6.まとめ

（質疑応答）

公開セミナーの次回開催予定

開催日

未定

開催場所

未定

受講料

未定

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

配布資料・講師への質問等について
●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。