自然言語処理モデル「BERT」及び その各種改良モデルの基礎と利用方法【提携セミナー】

自然言語処理セミナー

自然言語処理モデル「BERT」及び その各種改良モデルの基礎と利用方法【提携セミナー】

このセミナーは終了しました。次回の開催は未定です。

開催日時 2021/07/06(火)10:30-16:30
担当講師

新納 浩幸 氏

開催場所

Zoomによるオンラインセミナー

定員 -
受講費 【オンラインセミナー(見逃し視聴なし)】:47,300円
【オンラインセミナー(見逃し視聴あり)】:52,800円

★自然言語処理に利用されているディープラーニング手法の中で

最も注目されている BERTについて詳しく解説!

★難解な BERTをやさしく理解!何ができるのか、簡単に利用するにはどうすればよいのか等々・・

★自身のタスクに特化した利用方法・有用な軽量化手法等、各種モデルの活用法を紹介します!

 

自然言語処理モデル「BERT」及び
その各種改良モデルの基礎と利用方法

 

【提携セミナー】

主催:株式会社情報機構

 


 

2018年末に Google が発表した事前学習済みモデル BERT は、それまでの自然言語処理の解析方法を一変させました。その後の自然言語処理の研究は今日に至るまで BERT を中心に進められたと言って良く、現在、自然言語処理で利用されるディープラーニング手法の中で、最も注目されている手法と言えます。

 

それほど画期的なモデルである BERT ですが、その利用にあたっては、アルゴリズムが複雑で実際に何をやっているのかわかりにくい・また BERT のモデルは巨大なため学習に多大な時間が必要となり、処理速度も遅くなってしまう等の課題が挙げられます。

また、どうやって利用したら良いかわからないという意見も見受けられます。

 

本講座では、まず BERT とは何であるのかを解説した後に、文書分類と品詞タグ付けを実際のタスクとして、どのように BERT を使うのかを説明します。また BERT をスクラッチから構築する方法や、対象領域のコーパスを利用してBERT を追加学習する方法も解説します。

 

また後半には BERT を各種方向に改良したモデルを紹介し、その利用方法を解説します。具体的には、主に BERT を小型軽量化したモデルを中心に解説します。その他 SentenceBERT、ELECTRA、Longformer、RoBERTa、Reformer、BART などを解説します。

 

◆ 受講対象者

・BERT を利用をしたい方
・自然言語処理システムの構築に関わっている方
・HuggingFace のライブラリの利用方法を知りたい方
・Transformer 系の技術に興味を持たれている方

 

◆ 本セミナーで習得できること:
・BERT の基礎知識
・BERT の利用方法
・BERT の構築方法
・BERT の小型軽量化の技術
・BERT の各種改良モデルの概要

 

担当講師

茨城大学 工学部 情報工学科 教授  新納 浩幸 氏

 

セミナープログラム(予定)

1. BERT の基礎
BERT には何を入力して何が出力されるのか、そしてその出力を使って何ができるのかの大枠を示します。また BERT の処理の核となる Self-Attention の技術を系列変換と辞書構造の捉え方から説明します。BERT 層はSelf-Attention に様々な工夫を加えて構成された層です。この BERT 層についても解説します。

1-1) BERT の入出力
1-2) Self-Attention
1-3) BERT 層

 

2. BERT の利用
ここでは日本語 BERT モデルの具体的な利用例として文書分類を扱います。ライブラリとしてHuggingFace の transformers を利用して、BERT の fine-tuning と feature based の各々の処理方法を解説します。また実際に日本語 BERT を利用する際には Tokenizer の利用やバッチ処理の部分が問題になるので、その点も合わせて解説します。最後に応用的なタスクとして品詞タグ付けや2文入力タイプのタスクに対する BERT の利用方法も示します。

2-1) HuggingFace の transformers
2-2) Tokenizer
2-3) fine-tuning
2-4) feature based の利用
2-5) バッチ処理
2-6) 品詞タグ付け
2-7) 2文入力タイプのタスク

 

3. BERT の構築
既存の BERT モデルではなく、自身のタスクに特化した BERT モデルを利用したい場合も多いと思います。そのために BERT をスクラッチから構築する方法と、既存の BERT を初期値として更に自身のコーパスを使って追加学習する方法を解説します。

3-1) 構築環境の準備
3-2) スクラッチからの構築
3-3) 追加学習

 

4. BERT の軽量化
BERT は高性能なモデルですが、欠点もいくつかあります。その1つはモデルが巨大すぎることです。そのため学習に多大な時間が必要ですし、推論の処理も遅いです。この問題の対処のために BERT を小型軽量化する研究が活発に行われています。その中で蒸留というモデル圧縮手法を利用した DistilBERT を解説します。その他有用な BERT の軽量化手法を紹介します。

4-1) DistilBERT
4-2) DistilBERT の学習
4-3) Poor Man’s BERT
4-4) MobileBERT
4-5) その他の BERT 軽量化モデル

 

5. BERT の改良、発展
BERT の出現以来、様々な方向で BERT の改良、発展が行われています。ここではその中でも特に有用あるいは重要と考えられるモデルとして、SentenceBERT、ELECTRA、Longformer、RoBERTa、Reformer 及び BARTを紹介します。

5-1) SentenceBERT
5-2) ELECTRA
5-3) Longformer
5-4) RoBERTa
5-5) Reformer
5-6) BART

 

  <質疑応答>

 

公開セミナーの次回開催予定

開催日

2021年7月6日(火) 10:30-16:30

 

開催場所

【Live受講】 Live配信セミナー(リアルタイム配信) ※会社・自宅にいながら学習可能です※

 

オンライン配信のご案内

★ Zoomによるオンライン配信

★ 見逃し視聴

については、こちらをご参照ください

 

受講料

【オンラインセミナー(見逃し視聴なし)】

47,300円(税込、資料付) *1社2名以上同時申込の場合、36,300円

 

【オンラインセミナー(見逃し視聴あり)】

52,800円(税込、資料付) *1社2名以上同時申込の場合、41,800円

 

*学校法人割引;学生、教員のご参加は受講料50%割引

 

配布資料

配布資料は、印刷物を郵送もしくはメール送付のどちらかを検討中です。
お申込については4営業日前までのお申込みを推奨します。
それ以降でもお申込みはお受けしておりますが(開催1営業日前の12:00まで)、
テキストが郵送となった場合、資料の到着がセミナー後になる可能性がございます。

 

備考

当日、可能な範囲で質疑応答も対応致します。
(全ての質問にお答えできない可能性もございますので、予めご容赦ください。)

本講座で使用する資料や配信動画は著作物であり、無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

 

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【オンラインセミナー(見逃し視聴なし)】、【オンラインセミナー(見逃し視聴あり)】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。

 

おすすめのセミナー情報

技術セミナー検索

製造業向けeラーニング_講座リスト

在宅勤務者用WEBセミナーサービス

スモールステップ・スパイラル型の技術者教育プログラム

資料ダウンロード

講師紹介

技術の超キホン

そうだったのか技術者用語

機械設計マスター

技術者べからず集

工場運営A to Z

生産技術のツボ

技術者のための法律講座

機械製図道場

公式Facebookページ

スぺシャルコンテンツ
Special Contents

導入・活用事例

テキスト/教材の制作・販売