★現在、自然言語処理分野において中心的存在となっている

BERT および各種発展モデルの利用法を、例を示しながらわかりやすく解説します。

自然言語処理モデル BERT 及びその発展形の

Transformer ベースの各種モデル

（BART、GPT-2、T5、GPT-3）の

基礎と利用方法

【提携セミナー】

主催：株式会社情報機構

7月22日『画像認識の革新モデル ViT（Vision Transformer）の基礎とその利用法』とセットで受講が可能です。

本講座は Transformer の代表的モデルである BERT の解説とその利用法及び構築法を中心に解説します。また BERT を生成系に発展させた BART や GPT-2、またより汎用なモデルに拡張した T5 や GPT-3 についても解説し、それらモデルの利用例を示します。
Transformer は attention を利用して、ベクトルの集合をベクトルの集合に変換する機構であり、近年、言語処理や画像処理で活発に研究されています。そして Transformer の代表的なモデルが BERT であり、BERT の登場は、自然言語処理の解析方法を一変させました。その後の自然言語処理の研究は今日に至るまで BERT を中心に進められたと言えるでしょう。

本講座ではまず BERT とは何であるかを解説した後に、文書分類と品詞タグ付けをタスクとして、どのように BERT を使うのかを説明します。また BERT をスクラッチから構築する方法や、対象領域のコーパスを利用して BERT を追加学習する方法も解説します。
BERT は強力ですが、基本的には、分類タスクに利用されるもので、生成タスクに直接利用することはできません。BART や GPT-2 は生成タスクに利用できるようにBERT を発展させたモデルです。T5 や GPT-3 はより汎用的に利用できる Transformer の事前学習済みモデルです。現在では、日本語の T5 のモデルが公開されており、ここでは要約をタスクとしてT5 モデルの利用法を解説します。
また GPT-3 は prompt programming という仕組みを利用して様々な問題を解くことができます。GPT-3 により何ができ、何ができないのかを解説します。また GPT-3 API によるモデルの利用例を示します。

◆　受講対象者

• BERT モデルを利用したい方
• 自身のタスク向けに BERT モデルを構築したい方
• Transformer 系の技術に興味を持たれている方
• BART、T5、GPT-2 モデルを利用をしたい方
• GPT-3 に興味を持たれている方
  など

• ◆　本セミナーで習得できること：
• BERTの基礎知識
• BERTの利用方法
• BERTの構築方法
• BART、T5、GPT-2 モデルの利用方法
• GPT-3 の概要
  など

担当講師

茨城大学 工学部　情報工学科　教授 　新納 浩幸 氏

セミナープログラム（予定）

1. BERT の基礎
BERT には何を入力して何が出力されるのか、そしてその出力を使って何ができるのかの大枠を示します。また BERT の処理の核となる Self-Attention の技術を系列変換と辞書構造の捉え方から説明します。BERT 層はSelf-Attention に様々な工夫を加えて構成された層です。この BERT 層についても解説します。

　1-1) BERT の入出力
　1-2) Self-Attention
　1-3) BERT 層

2. BERT の利用
ここでは日本語 BERT モデルの具体的な利用例として文書分類を扱います。ライブラリとしてHuggingFace の transformers を利用して、BERT の fine-tuning と feature based の各々の処理方法を解説します。また実際に日本語 BERT を利用する際には Tokenizer の利用やバッチ処理の部分が問題になるので、その点も合わせて解説します。最後に応用的なタスクとして品詞タグ付けや２文入力タイプのタスクに対する BERT の利用方法も示します。

　2-1) HuggingFace の transformers
　2-2) Tokenizer
　2-3) fine-tuning
　2-4) feature based の利用
　2-5) バッチ処理
　2-6) 品詞タグ付け
　2-7) 2文入力タイプのタスク

3. BERT の構築
既存の BERT モデルではなく、自身のタスクに特化した BERT モデルを利用したい場合も多いと思います。そのために BERT をスクラッチから構築する方法と、既存の BERT を初期値として更に自身のコーパスを使って追加学習する方法を解説します。

　3-1) 構築環境の準備
　3-2) スクラッチからの構築
　3-3) 追加学習

4. Transformer ベースの生成モデル
BERT は基本的には分類タスクに対するもので、生成タスクに直接利用することはできません。BART は BERT を生成タスクにも利用できるように発展させたものです。また GPT-2 は Transformer をベースとしたテキスト生成モデルです。
ここでは BART と GPT-2 の概要を解説します。また京都大学から日本語 BART モデル、そして rinna から日本語 GPT-2 モデルが公開されているので、それぞれのモデルの利用法を解説します。

4-1) BART
　4-2) 日本語 BART モデルとその利用
　4-3) GPT-2
　4-4) 日本語 GPT-2 モデルとその利用

5. Transformer ベースの汎用モデル
BERT は強力なモデルですが、下流のタスクの出力の形式に応じて学習方法が変わります。T5 は入出力をテキストにすることで様々なタスクに対応する汎用的な事前学習モデルです。HuggingFace に日本語の T5 モデルが公開されているので、ここでは要約タスクにモデルを利用してみます。
また GPT-3 は Transformer ベースの生成モデルですが、Prompt Programming という仕組みを利用して様々な問題を解くことができます。ここでは GPT-3 の概要を解説します。また GPT-3 API によるモデルの利用例を示します。

　5-1) T5
　5-2) 日本語 T5 モデルとその利用
　5-3) GPT-3
　5-4) GPT-3 API の利用

　　＜質疑応答＞

公開セミナーの次回開催予定

開催日

2022年7月8日（金）　12:30-16:30

開催場所

【Live受講】 Live配信セミナー（リアルタイム配信）　※会社・自宅にいながら学習可能です※

オンライン配信のご案内

★　Zoomによるオンライン配信

★　見逃し視聴

については、こちらをご参照ください

受講料

『自然言語処理モデルBERT（7月8日）』のみのお申込みの場合
【オンラインセミナー（見逃し視聴なし）】：1名41,800円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき30,800円

【オンラインセミナー（見逃し視聴あり）】：1名47,300円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき36,300円

『画像認識モデルViT（7月22日）』と合わせてお申込みの場合
（同じ会社の違う方でも可。※二日目の参加者を備考欄に記載下さい。）
【オンラインセミナー（見逃し視聴なし）】：1名61,600円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき50,600円⇒割引は全ての受講者が両日参加の場合に限ります

【オンラインセミナー（見逃し視聴あり）】：1名72,600円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき61,600円⇒割引は全ての受講者が両日参加の場合に限ります

＊学校法人割引；学生、教員のご参加は受講料50％割引。

●録音・録画行為は固くお断り致します。

備考

●配布資料は、印刷物を郵送で送付致します。
お申込の際はお受け取り可能な住所をご記入ください。
お申込みは4営業日前までを推奨します。
それ以降でもお申込みはお受けしておりますが（開催1営業日前の12:00まで）、
テキスト到着がセミナー後になる可能性がございます。

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【(オンライン)7月8日のみ参加（見逃視聴なし）】、【(オンライン)7月8日のみ参加（見逃視聴あり）】、【(オンライン)7月8日・7月22日　両日参加（見逃視聴なし）】、【(オンライン)7月8日・7月22日　両日参加（見逃視聴あり）】のいずれかから、ご希望される受講形態をメッセージ欄に明記してください。