音・振動・画像・センサデータを統合する

マルチモーダルAIによる

異常検知・故障診断の基礎と実践

≪信号処理・特徴抽出、センサフュージョン、Transformer、生成AI、XAIまで≫

【提携セミナー】

主催：株式会社R&D支援センター

◆セミナー趣旨

製造設備、機械、インフラ、モビリティ、医療・ヘルスケアなどのさまざまな分野において、AIを利用した異常検知や状態推定への関心が高まっています。

一方、実際の対象から得られる情報は、画像だけ、音だけ、振動だけといった単一の情報に限られるものではありません。例えば機械設備では、外観画像に加えて、動作音、振動、温度、電流などの複数の情報が得られます。これらを適切に組み合わせることで、単一のセンサだけでは検出が困難な異常を捉えたり、誤検知を低減したりすることが期待できます。

このように、性質の異なる複数の情報をAIによって統合して解析する技術が「マルチモーダルAI」です。

本講座では、マルチモーダルAIを理解するために必要となる信号処理、特徴抽出、機械学習・深層学習の基礎から解説し、音響・振動・画像・各種センサ時系列データの解析方法、さらに複数の情報を統合するEarly Fusion、Feature-level Fusion、Late Fusion、Attention、Transformerなどについて、できるだけ直感的に説明します。

また、実際の研究開発で問題となる「異常データが十分に集められない」「センサによってデータ量や時間軸が異なる」「一部のセンサ情報が欠損する」「学習時と実環境でデータの性質が変化する」といった問題についても取り上げます。

さらに、自己教師あり学習、Contrastive Learning、Foundation Model、生成AI、Few-shot／Zero-shot Learningなどの最新技術や、SHAP、Grad-CAM等の説明可能AI（XAI）についても解説し、AIによる異常検知・状態推定システムを実際の研究開発へ導入する際の考え方を体系的に紹介します。

数式やAI理論のみを中心とするのではなく、**「どのようなデータを取得すべきか」「どのセンサを組み合わせるべきか」「どの段階で情報を統合すればよいか」「AIの判断結果をどのように評価すればよいか」**という実務上の観点を重視します。

◆習得できる知識

受講者は本講座を通して、以下の知識・考え方を習得できます。

• マルチモーダルAIとセンサフュージョンの基本的な考え方
• 音・振動・画像・センサ時系列データの特徴と前処理方法
• FFT、STFT、スペクトログラム等を用いた信号の特徴抽出
• CNN、Autoencoder等による異常検知・状態推定
• Early Fusion、Feature-level Fusion、Late Fusionの違いと使い分け
• Attention、Cross Attention、Transformerを利用した異種データの統合方法
• 異常データが少ない場合のAI構築方法
• 自己教師あり学習、Contrastive Learning、Few-shot／Zero-shot Learningの考え方
• Foundation Model・生成AIをセンサデータ解析へ応用するための基礎知識
• SHAP、Grad-CAM等によるAI判断根拠の可視化
• Accuracy、Precision、Recall、F1、ROC/AUC等による性能評価
• 実環境におけるノイズ、センサ欠損、Domain Shiftへの対応
• 自社の対象に対して「どのセンサを選び、どのようにAIへ入力すべきか」を考えるための指針

◆受講対象

本講座は、以下のような方を対象とします。

• 製造業、機械、電機・電子、自動車、設備、インフラ等の研究開発・技術担当者
• AIを利用した異常検知・故障診断・状態監視に取り組んでいる方
• 音響・振動・画像・各種センサデータを扱っている方
• 複数のセンサ情報を組み合わせて認識精度を向上させたい方
• AIを導入したものの、誤検知や見逃し、データ不足等に悩んでいる方
• マルチモーダルAI、Transformer、Foundation Modelなどの最新技術を研究開発へ取り入れたい方
• AIによる判定結果の信頼性や説明可能性に関心のある方

◆必要な前提知識

AI・機械学習・信号処理についての専門的な予備知識は必須としません。
高校～大学初年度程度の数学的知識があれば理解できるよう、基本的な考え方から説明します。
PythonやAIプログラミングの経験も必須ではありません。
CNN、Autoencoder、Transformer等についても、本講座内で必要な基礎事項から解説します。

担当講師

埼玉大学 大学院理工学研究科 教授　島村 徹也 氏

＜講師紹介＞
ディジタル信号処理を専門とし、音声・音響信号処理、画像処理、無線通信、生体信号処理、センサ信号処理、AI・深層学習など、幅広い分野の研究に長年従事している。
これまで、ディジタル信号処理を基盤として、ノイズ除去、特徴抽出、信号品質評価、音声・音響認識、画像品質評価、異常検知、センサフュージョン、機械学習・深層学習などに関する研究を展開してきた。特に近年は、従来の信号処理とAI・深層学習を融合し、実環境で取得される音響・画像・生体・各種センサデータから有用な情報を抽出・認識・推定する技術の研究を進めている。
研究対象は、音声・音響、画像、無線通信、生体信号、各種センサ信号など多岐にわたり、単一種類のデータ解析にとどまらず、異なる性質を持つ複数の情報を統合して認識・推定性能を向上させるマルチモーダルAI、センサフュージョンにも取り組んでいる。また、AIによる異常検知・品質評価、説明可能AI（XAI）、深層学習を利用した実環境信号解析など、産業応用を意識した研究を幅広く進めている。
これまでに査読付き学術論文160編以上、国際会議論文・発表350件以上の研究実績を有し、国内外の大学・研究機関・企業等との共同研究にも取り組んできた。研究成果を学術研究にとどめることなく、実際のセンシング、診断、評価、認識システムへ展開することを重視している。
また、大学における教育・研究活動に加え、長年にわたり企業の研究者・技術者を対象とした技術セミナー・講演を多数担当している。ディジタル信号処理、音声・音響信号処理、画像処理・画像品質評価、AI・深層学習、生体信号処理、センサデータ解析などをテーマとして、基礎理論から最新技術、実際の研究開発への応用まで幅広く解説してきた。
本講座では、こうした「信号処理」と「AI」の双方にわたる研究・教育経験を生かし、音・振動・画像・各種センサデータを個別に解析する方法だけではなく、それらを統合するマルチモーダルAIについて体系的に解説する。特に、企業の研究開発現場で重要となる、
• どのようなセンサ・データを取得すべきか
• 音・振動・画像・時系列データをどのように前処理・特徴抽出するか
• 複数のセンサ情報をどの段階で統合すべきか
• 異常データが少ない場合にどのようにAIを構築するか
• AIによる誤検知・見逃しをどのように評価するか
• AIが「なぜ異常と判断したのか」をどのように説明するか
• 学習環境と実際の使用環境の違いにどのように対応するか
といった実践的な問題を重視し、従来の信号処理から深層学習、Transformer、Foundation Model、生成AI、説明可能AI（XAI）までを一つの流れとして解説する。

セミナープログラム（予定）

１．マルチモーダルAIと異常検知・状態推定の基礎
1-1　AIによる異常検知・状態推定とは
1-2　教師あり学習と教師なし学習
1-3　正常・異常データをどのように考えるか
1-4　単一センサによる異常検知の限界
1-5　マルチモーダルAIとは
1-6　センサフュージョンとの関係
1-7　音・振動・画像・温度・電流等から得られる情報
1-8　複数センサを利用するメリットとデメリット
1-9　Early　Fusion／Feature　Fusion／Late　Fusion
1-10　マルチモーダルAIの代表的な応用例

２．音・振動・センサ時系列データのAI解析
2-1　時系列信号の基本的な考え方
2-2　サンプリングと前処理
2-3　実環境で問題となるノイズ
2-4　FFTによる周波数解析
2-5　STFTとスペクトログラム
2-6　Wavelet解析
2-7　時間領域・周波数領域の特徴量
2-8　音響・振動データを画像として扱う方法
2-9　CNNによる信号分類
2-10　Autoencoderによる異常検知
2-11　正常データしか得られない場合の異常検知

３．画像AIによる異常検知
3-1　画像認識とCNN
3-2　Transfer　Learning
3-3　物体検出（Object　Detection）
3-4　Segmentation
3-5　Autoencoderによる画像異常検知
3-6　少量の異常画像しかない場合の対応
3-7　Vision　Transformer（ViT）
3-8　画像だけでは検出できない異常とは
3-9　音・振動情報を組み合わせる意義

４．マルチモーダルAIによる情報統合
―　本講座の中心技術
4-1　複数センサ情報をどこで統合するか
4-2　Early　Fusion
4-3　Feature-level　Fusion
4-4　Late／Decision-level　Fusion
4-5　各方式の長所・短所と使い分け
4-6　音＋画像の統合
4-7　振動＋画像の統合
4-8　音＋振動の統合
4-9　複数時系列センサの統合
4-10　Attentionによる重要情報の選択
4-11　Cross　Attentionによる異種情報の統合
4-12　Transformerによるマルチモーダル解析
4-13　時間同期が異なるセンサをどう扱うか
4-14　データ量・サンプリング周波数が異なる場合
4-15　一部センサが欠損した場合
4-16　「センサを増やせば精度は上がる」のか
4-17　最適なセンサ組合せを考える方法

５．少量データと最新AI技術
―　Transformer・Foundation　Model・生成AI
5-1　実際の異常検知でデータが集まらない理由
5-2　Data　Augmentation
5-3　Transfer　Learning
5-4　自己教師あり学習（Self-supervised　Learning）
5-5　Contrastive　Learning
5-6　Few-shot　Learning
5-7　Zero-shot　Learning
5-8　Transformerによる時系列解析
5-9　Foundation　Modelとは
5-10　Vision／Audio／Time-series　Foundation　Model
5-11　Vision-Language／Audio-Language　Model
5-12　生成AIによる学習データ生成
5-13　Diffusion　Modelの利用可能性
5-14　マルチモーダルFoundation　Modelの今後

６．AIの信頼性・XAIと実システムへの導入
6-1　AI性能をどのように評価するか
6-2　Accuracyだけでは不十分な理由
6-3　Precision／Recall／F1
6-4　ROC／AUC
6-5　異常検知における誤検知と見逃し
6-6　説明可能AI（XAI）とは
6-7　SHAPによる特徴量重要度の評価
6-8　Grad-CAMによる画像判断根拠の可視化
6-9　Attentionの可視化
6-10　どのセンサが判定に寄与したのかを調べる
6-11　センサノイズ・センサ故障への対応
6-12　学習環境と実環境の違い　―　Domain　Shift
6-13　実環境でAI性能が低下する原因
6-14　マルチモーダルAIシステム構築時の注意点
6-15　今後の技術動向と研究開発への導入指針

質疑応答

公開セミナーの次回開催予定

開催日

【LIVE配信】2026/11/13（金） 10:30～16:30
【アーカイブ配信】11/16～11/24

開催場所

【WEB限定セミナー】※会社やご自宅でご受講下さい。

受講料

非会員： 55,000円 （本体価格：50,000円）
会員： 46,200円 （本体価格：42,000円）

非会員の方は1名につき55,000円（税込み）です。
会員の方もしくは新規会員登録していただいた方の受講料は以下の通りです。
★1名で申込の場合、46,200円（税込）に割引になります。
★2名以上同時申込の場合、1名につき半額の27,500円（税込）に割引になります。
※参加者全員の会員登録が必要です。登録料や年会費などは一切かかりません。

※セミナー主催者の会員登録をご希望の方は、申込みフォームのメッセージ本文欄に「R&D支援センター会員登録希望」と記載してください。ご登録いただくと、今回のお申込みから会員受講料が適用されます。

※R&D支援センターの会員登録とは？
ご登録いただきますと、セミナーや書籍などの商品をご案内させていただきます。
すべて無料で年会費・更新料・登録費は一切かかりません。

LIVE配信のご案内

こちらをご参照ください

備考

• 本セミナーは「Zoom」を使ったWEB配信セミナーとなります。

• セミナー資料は開催前日までにお送りいたします。無断転載、二次利用や講義の録音、録画などの行為を固く禁じます。

お申し込み方法

★下のセミナー参加申込ボタンより、必要事項をご記入の上お申し込みください。

★【LIVE配信】、【アーカイブ配信】のどちらかご希望される受講形態をメッセージ欄に明記してください。