Transformerニューラルネットの原理と

産業現場応用への研究

≪生成AIの技術基盤Transformerは言語分野以外でもすごいか？≫

【提携セミナー】

主催：サイエンス＆テクノロジー株式会社

受講可能な形式：【Live配信(アーカイブ配信付)】のみ

生成AIブームの火付け役でもあるChat-GPT(Generative Pre-trained Transformer)など
革新的なTransformerニューラルネットを基盤とした技術とその応用可能性に
ご関心をお持ちの方におススメの１講。

進化・普及を続けるAIの技術基盤である「Transformer」の原理を学びながら、
言語分野以外への応用も推し量り、画像処理による注意箇所の抽出や、構造予測に時系列変化点抽出など、
産業現場での応用の種となるような研究動向も紹介します。

メーカ技術者、大学教授、機械学習コンサルと合計40年の経験から実践現場を熟知している講師が、
機械学習などの予備知識がない方にも安心してご参加頂けるよう、分かりやすく解説します！

【キーワード】機械学習，生成AI，ニューラルネット，Transformer，産業現場，時系列，言語モデル

セミナー趣旨

ChatGPTはその自然な会話で世界を驚かせましたが，その基盤技術は革新的なニューラルネットである”Transformer”であることは意外と知られていません。ChatGPTがすごいのではなくてTransformerがすごいのです。徐々に内部計算エンジンであるTransformerの産業応用にも目が向き始めた段階にあります。

本セミナーでは，まずAI機械学習の入り口である「ニューラルネットとは？」から初めて，その産業現場，時系列データや単語系列へ適用を学びます。そのうえで，大規模言語モデルの内部コアであるTransformerニューラルネットの数式原理を分かりやすく丁寧に説明します。内部はベクトル行列計算だけであることに驚かれるでしょう。

そして，Transformer言語応用にとどまらず画像や予測といった産業現場応用への適用を目指す最先端研究の実例紹介し，将来の展望を受講生とディスカッションします。数学や機械学習の予備知識が全くない状態からの受講を仮定していますので，ご安心ください。

得られる知識

• 生成AIの言語以外の産業応用の可能性と研究動向。
• ChatGPTや従来機械学習の内部計算原理の基礎中の基礎理解。
• ディープラーニングやTransformerの内部計算アルゴリズム知識。

受講対象

• 企業技術者で，産業現場の機械学習応用の将来動向を知りたい方。
• 生成AIの言語以外の産業応用について興味がある方々。
• ChatGPTや従来機械学習の使用経験はあるが内部計算原理を理解したい方々。
• 生成AI技術基盤Transformerの応用分野拡大の研究動向が知りたい方々。
• ディープラーニングやTransformerの内部計算をごく基礎から勉強したい方々。

担当講師

N研究所(株) 代表取締役社長　博士（工学）　蜷川 忠三　氏

【専門】機械学習，電力工学，制御工学
【兼任】岐阜大学　工学部電気電子情報工学科　客員教授

セミナープログラム（予定）

１．AI機械学習の現状
1.1 AI機械学習の位置づけ
教師有／無し学習，ニューラルネット，強化学習
1.2 産業応用への適用現状
事例：欠陥画像と検査，切削音と工具寿命，他

２．ニューラルネットの基礎
2.1 MLP型ディープラーニング
ベクトル行列計算，活性化関数とは
事例：設備電力制御に適用・性能評価
2.2 系列型LSTM
再帰型系列ニューラルネットの基礎原理
事例：突発事象予測に適用・性能評価

３．言語機械学習の基礎
3.1 単語符号化
埋込みベクトル化，なぜベクトルか？
単語意味の演算，文脈意味分布
3.2 生成AIの登場
大規模言語モデル：GPT・BERT

４．生成AIのTransformerニューラルネット
4.1 生成AIの技術基盤Transformer
Transformerの内部アーキテクチャ
豊富な情報を与える単語位置ベクトル
単語間の関係性を抽出するQKV Attention機構
4.2 Transformer応用：自然言語から産業現場へ
自然言語応用のみならす系列データ処理の素質

５．Transformer産業応用の研究事例
5.1 画像処理
ViTの画像Patch系列による注意個所の抽出
5.2 系列予測
TFTによる時系列変化点抽出の説明性能
5.3 構造予測
AlfaFold２によるタンパク質構造生成予測

６．産業への可能性と課題
6.1 Transformerと産業現場の現実
産業現場データ収集困難さと対策
系列予測とTransformer内部計算説明性
6.2 展望

□質疑応答□

公開セミナーの次回開催予定

開催日

未定

開催場所

未定

受講料

未定

※１名様でオンライン配信セミナーを受講する場合、上記特別価格になります。
※※お申込みフォームのメッセージ欄に【テレワーク応援キャンペーン希望】とご記載ください。
※他の割引は併用できません。

★【S&T会員登録】と【E-Mail案内登録】の詳細についてはこちらをご参照ください。

※E-Mail案内登録をご希望の方は、申込みフォームのメッセージ本文欄に「E-Mail案内登録希望」と記載してください。ご登録いただくと、今回のお申込みからE-mail案内登録価格が適用されます。

配布資料

製本テキスト(開催日の4、5日前に発送予定)
※開催まで4営業日～前日にお申込みの場合、セミナー資料の到着が、
開講日に間に合わない可能性がありますこと、ご了承下さい。
Zoom上ではスライド資料は表示されますので、セミナー視聴には差し支えございません。

オンライン配信のご案内

※【Live配信（zoom使用）対応セミナー】についてはこちらをご参照ください

※【WEBセミナー：アーカイブ受講対応セミナー】についてはこちらをご参照ください

備考

※講義中の録音・撮影はご遠慮ください。
※開催日の概ね1週間前を目安に、最少催行人数に達していない場合、セミナーを中止することがございます。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。