★BERTと呼ばれる自然言語処理のための深層学習モデルと

その活用方法の基本的な理解を目指します。

★自然言語処理における深層学習手法の基礎的な内容と、

BERTの基盤となっているTransformerと呼ばれるモデルについてもご紹介します。

深層学習を用いた自然言語処理技術

≪Transformer・BERTの基本的な考え方≫

【提携セミナー】

主催：株式会社情報機構

この10年ほどのニューラルネットワークに基づく深層学習の技術の発展によって、いわゆる人工知能と呼ばれる多くの分野で飛躍的な進歩がありました。人間のことばを対象とする自然言語処理の分野でも、様々な問題に対する処理性能が大きく向上し、注目を集めています。

本セミナーでは、BERTと呼ばれる自然言語処理のための深層学習モデルとその活用方法の基本的な理解を目標に、自然言語処理における深層学習手法の基礎的な内容と、BERTの基盤となっているTransformerと呼ばれるモデルについて紹介します。

◆受講後、習得できること

・BERTとその応用に関する基礎知識
・Transformerの基礎知識
・ニューラル機械翻訳の基礎知識
・自然言語処理で用いられる深層学習の基礎知識

◆受講対象者

・機械学習を用いたメディア処理のご経験をお持ちで、自然言語処理における深層学習についての知見を得たいと考えている方
・自然言語処理のツールは使ったことがあるが、その仕組みを理解したいと考えている方
・自然言語処理に興味があり、TransformerやBERT等のキーワードは聞いたことがあるが、その考え方や活用方法について大まかに知りたい方

◆必要な予備知識など

予備知識
・機械学習の予備知識としての確率・統計
・（できたら）機械学習の基礎的なモデル（ロジスティック回帰等）

さらに理解を深めるための書籍
・自然言語処理の基礎，例えば書籍「自然言語処理〔改訂版〕 (放送大学教材)」（黒橋禎夫 著）
・自然言語処理における機械学習，例えば書籍「自然言語処理シリーズ 1言語処理のための機械学習入門」（コロナ社，高村大也 著）

◆キーワード

深層学習、系列変換(seq2seq)モデル、Transformer、BERT、事前学習

担当講師

奈良先端科学技術大学院大学 先端科学技術研究科
情報科学領域／データ駆動型サイエンス創造センター
准教授 須藤 克仁 先生

セミナープログラム（予定）

1　ニューラルネットワークの基礎
1) ロジスティック回帰
ロジスティック（シグモイド）関数，最尤推定，勾配降下法
2) 多層ニューラルネットワーク
全結合層，活性化関数
3) 誤差逆伝播による学習
合成関数の微分，勾配降下法，勾配消失問題

2　深層学習による系列変換モデル
1) 回帰型ニューラルネットワーク (RNN)
単純なRNN・LSTM・GRU
2) RNNによる系列変換モデル
エンコーダ・デコーダモデル，系列長と精度の問題
3) 注視機構を持つ系列変換モデル
種々の注視機構

3　Transformerとその応用
1) RNNによる系列変換モデルの課題
直列計算の短所
2) Transformerの構成要素
自己注視，位置符号化，複数ヘッド注視
3) Transformerの学習
学習の並列化
4) Transformerの応用（機械翻訳を中心に）
機械翻訳，音声認識，画像処理等への広がり

4　BERTとその応用
1) BERTの構成
Transformerの応用，文対入力
2) BERTの学習
マスクされた入力記号の復元，次文予測
3) BERTの応用（文書分類、質問応答等）
文書分類，質問応答，その他の応用例

公開セミナーの次回開催予定

開催日

未定

開催場所

未定

受講料

未定

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

配布資料・講師への質問等について
●配布資料は、印刷物を郵送もしくはメール送付のどちらかを検討中です。
お申込については4営業日前までのお申込みを推奨します。
それ以降でもお申込みはお受けしておりますが（開催1営業日前の12:00まで）、
テキストが郵送となった場合、資料の到着がセミナー後になる可能性がございます。

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。