○前処理、Attentionほか知っておきたい大規模言語モデルの仕組みから、

ユースケースやアプリケーション開発のポイント、技術展望および考えられる社会への影響まで。

○ChatGPTのデモも交えて解説します。

ChatGPTなど大規模言語モデルの概要から

最新動向と活用事例、今後の展望まで

【提携セミナー】

主催：株式会社情報機構

ChatGPTの登場は、自然言語処理研究における一つのマイルストーンだけでなく、広範囲にわたって社会に大きな影響を与えています。自動要約や翻訳、文章の校正、キャッチコピーの作成、詩の生成など、その便利さが認識され、多方面で利用されるようになっています。しかしその一方で、新たな社会問題も懸念されつつあります。

本講演では、ChatGPTの基本的な仕組み、実際の活用事例、そして使用上の注意点について解説します。さらに、社会全体への影響についても掘り下げ、このテクノロジーがどのように私たちの日常生活や働き方を変え、また新たな課題を生む可能性があるかについても触れていきます。

◆受講後、習得できること

• 大規模言語モデルの基礎知識
• ChatGPTの使い方、注意点
• 大規模言語モデルをめぐる課題と展望
  など

◆受講対象者

• ChatGPTの仕組みと最新の研究動向について知りたい方
• ChatGPTの活用例、使う上でのコツなどを知りたい方
• ChatGPTを使ったアプリケーション開発に興味がある方
• その他、本テーマに興味がある方。

◆必要な予備知識など

予備知識として基礎的な数学（ベクトル、行列）、プログラミング知識（Python, Google Collaboratory）、英語があると良いですが、必須ではありません。

担当講師

東北大学　大学院情報科学研究科　准教授　坂口 慶祐 氏

専門は自然言語処理。2005年早稲田大学第一文学部哲学専修卒業。2006年英国University of Essex心理神経言語学修士課程卒業。理化学研究所脳科学総合研究センター、日本IBMシステムズエンジニアリング社を経て、2013年奈良先端科学技術大学院大学情報科学研究科修士課程卒業、2018年米国Johns Hopkins UniversityにてPh.D. (Computer Science) を取得。米国Allen Institute for Artificial Intelligence（AI2）リサーチサイエンティストを経て、2022年より現職。

セミナープログラム（予定）

１．大規模言語モデルに至る背景
1.1. 言語モデル
1.2. N-gram 言語モデル
1.3. 大規模言語モデルの進化

２．大規模言語モデルの仕組み
2.1. 大規模言語モデル：入出力
2.2. Transformer: Encoder-Decoder
2.3. 前処理: word embedding
2.4. 前処理: positional encoding
2.5. 自己注意機構: self-attention
2.6. Attentionの可視化
2.7. Multi-head attention
2.8. Masked self-attention
2.9. （自己教師あり）事前学習
2.10. Instruction (fine-)tuning
2.11. 人間のフィードバックからの強化学習
2.12. 大規模言語モデル: パラメータサイズと用途

３．事例とChatGPTのデモ
3.1. (Chat)GPTを使ってみよう: ChatGPT
3.2. (Chat)GPTを使ってみよう: OpenAI API
3.3. ユースケース: 機械翻訳
3.4. ユースケース: 英文添削
3.5. ユースケース: ビジネスメール作成
3.6. ユースケース: プログラム生成
3.7. プロンプト用例集リスト
3.8. (Chat)GPT使用上の注意点

４．大規模言語モデルの現状と今後の展開
4.1. 大規模言語モデルのベンチマーキング
4.2. 大規模言語モデルのハルシネーション
4.3. 大規模言語モデルと記号（シンボル）
4.4. 大規模言語モデルのマルチモーダル化

５．GPT4を活用したアプリケーション開発のポイント
5.1. 生成AI市場予測
5.2. GPT4を活用したアプリケーション開発
5.3. GPT plugin
5.4. OpenAI Function Calling

６．ChatGPTの今後、そして社会への影響
6.1. APIを組み合わせたアプリケーション開発
6.2. 教育現場でのChatGPTの活用
6.3. 人間の創造力と著作権
6.4. その他、社会への影響

＜質疑応答＞

※プログラムについては多少の内容変更、アップデートの可能性があります。

公開セミナーの次回開催予定

開催日

未定

開催場所

未定

受講料

未定

オンライン配信のご案内

★　Zoomによるオンライン配信

については、こちらをご参照ください

備考

※配布資料・講師への質問等について

●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
（開催1週前～前日までには送付致します）。
＊準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
（土、日、祝日は営業日としてカウント致しません。）

●当日、可能な範囲で質疑応答も対応致します。
（全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
●本講座で使用する資料や配信動画は著作物であり
無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。