★今話題のChatGPTの要素である、関連言語モデルと要素技術を理解し、ビジネスへの活用に備える！

ChatGPTに代表される

大規模言語モデルに用いられた諸技法

【実習つき】

【提携セミナー】

主催：株式会社情報機構

大規模言語モデル (LLM: Large Language Modeling) を用いた生成 AI は，先進国主要七カ国会議，いわゆるサミットでも議題として取り上げられるほどの活況を呈しています。chatGPT の出力を，御神託と考えるような輩や，ビジネス応用を考える向きも存在するほどです。このように生成 AI は，我々の社会に及ぼす影響が大きい技術ですが，その内部はどのように動作しているでしょうか。

今回は，次に来る技術を予測する縁とするためにも，生成 AI の内部動作を歴史的な背景も含めて点描することを試みます。後半では，理解を深めるためにもハンズオンによる実習を用意しました。簡単なデモンストレーションを含めたハンズオンにより，用いられている技術の本質を議論する機会を提供いたします。

◆受講後、習得できること

HuggingFace の model hub を利用したコード実装

◆講演中のキーワード

Transformer, 大規模言語モデル (LLM), GPT, BERT, プロンプトエンジニアリング, ゼロショット転移，ファインチューニング

担当講師

東京女子大学 情報処理センター　助手　浅川伸一 先生

＊ 希望者は講師との名刺交換が可能です

東京女子大学情報処理センター勤務
1994年 早稲田大学大学院 修了，1991年 文教大学人間科学部 助手，1994年 東京女子大学情報処理センター 助手

* 早稲田大学卒業後，エルマンネットの考案者ジェフ・エルマンに師事。以来人間の高次認知機能をシミュレートする研究に従事。
主な著書： AI白書 2019,2018 (2019年, アスキー出版,共著)， 深層学習教科書ディープラーニング G検定（ジェネラリスト）公式テキスト (2018年，翔泳社，共著), Pythonで体験する深層学習(コロナ社, 2016)， ディープラーニング，ビッグデータ，機械学習あるいはその心理学(新曜社, 2015)， ニューラルネットワークの数理的基礎, 脳損傷とニューラルネットワークモデル，神経心理学への適用例」いずれも守一雄他編「コネクショニストモデルと心理学」(2001) 北大路書房

■所属学会等：
日本人工知能学会，日本神経回路学会，日本認知科学会，自然言語処理学会，情報処理学会，日本心理学会，日本認知科学会，IEEE 等

セミナープログラム（予定）

◎本セミナーでは「Google Colaboratory」を用いた演習を行います。

• 使用するプログラムは事前に送付予定です。
• 実習にあたりPCをご持参ください。事前にgoogle chromeのインストールをお願い致します。
• 最低限のgoogle colaboratryの操作は説明いたしますが、予め操作に慣れていれば
  理解が促進されるかと思います。

◎Googleのアカウントとブラウザがあれば、本講演のPythonプログラムは実行可能です．
https://colab.research.google.com/
1）上記リンクにアクセスできる
2）ページ上部の「＋ コード」に例えば「1+1」と入力、実行し答えが出力される
上記2点を満たせば、問題なく利用できるかと存じます。
※よくあるケースとして、セキュリティ設定のご関係で上記にアクセスできない事がございます。
必ず事前にご確認の上、もし可能でしたらアクセスできる設定にご変更お願い致します。

【座学パート】大規模言語モデルの内訳

• Transformer: マルチヘッド注意機構，位置符号化器，埋め込み表現，ソフトマックス関数
• 事前訓練とファインチューニング: マスク言語モデル，次文予測
• GTP-4: 符号化器・復号化器モデルを用いた画像と言語との融合
• プロンプトエンジニアリング
• 幻覚，ミスアラインメントの抑制，回避。RLHF (人間のフィードバックによる強化学習): 報酬モデルと代理方針最適化 (Proximal Policy Optimization)

【実習パート】

Hugging Face の model hub の 2, 3 を題材にして，実際のファンチューニングの実装を行います。

※質疑応答は逐次ご自由にどうぞ

公開セミナーの次回開催予定

開催日

2023年8月24日（木）　10:30-16:30　　※途中、お昼休みと小休憩を挟みます。

開催場所

【会場受講】[東京・大井町]きゅりあん4階第1特別講習室

受講料

1名47,300円(税込、資料付)
＊1社2名以上同時申込の場合、1名につき36,300円
＊学校法人割引；学生、教員のご参加は受講料50％割引。

備考

●録音・撮影行為は固くお断り致します。
●講義中の携帯電話の使用はご遠慮下さい。
●講義中のパソコン使用は、講義の支障や他の方の迷惑となる場合がありますので、極力お控え下さい。
場合により、使用をお断りすることがございますので、予めご了承下さい。
＊ＰＣ実習講座を除きます。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。