IT・デジタル関連の最新情報や企業事例をいち早くキャッチ
>>さくマガのメールマガジンに登録する
「AIを活用したいけど、どのような技術を選べばいいのかわからない」、「画像認識だけでなく、音声も扱えるAIがほしい」といった悩みを抱える方も多いのではないでしょうか。
昨今注目される「マルチモーダルAI」はテキスト、画像、音声といった複数のデータを同時に処理できる技術です。この記事では、マルチモーダルAIの基本的な仕組みから活用事例まで、体系的に解説します。
マルチモーダルAIとは
マルチモーダルAIは、テキスト、画像、音声、動画といった異なる種類のデータを同時に処理できる人工知能技術です。
「モーダル」は情報の種類や形式を表し、「マルチ」は複数を意味します。そのため、「複数の形式の情報を扱える」という意味でマルチモーダルAIと呼ばれています。
これまでのAI（シングルモーダルAI）は、テキストだけ、画像だけというように、一つの種類のデータしか扱えませんでした。しかし、マルチモーダルAIは複数の種類のデータを組み合わせて処理できます。たとえば、防犯カメラの映像と音声を組み合わせることで、映像だけでは判断できないリスクを検知できます。
マルチモーダルAIが注目されている理由は、人間の判断に近い処理ができるからです。
人間は目で見た情報、耳で聞いた音、手で触れた感触など、五感から得た情報を組み合わせて状況を判断します。マルチモーダルAIもこれに近い処理ができるため、より正確な判断や予測が可能になります。
AI・ディープラーニングに最適な高火力GPUサーバー
>>サービスの詳細を見る
マルチモーダルAIの学習方法
マルチモーダルAIは、異なる種類のデータ間の関係を学習することで機能します。
たとえば、楽器を演奏している映像と音声を学習させると、「楽器を持っている人から音が聞こえる」という関係性を理解します。このように同時に起こっている異なる情報の関係を「共起関係」と呼びます。
学習方法は主に2つです。
一つは人が正解を教える「教師あり学習」です。もう一つは、AIが自分で関係性を見つける「自己教師的学習」です。
たとえば、映像と音声の関係を学習する場合、教師あり学習では「この音はあの人物の声である」と教えます。これに対し、自己教師的学習ではAIが自分で「この映像の人物の口の動きと、この音声が一致している」という関係を見つけ出します。
マルチモーダルAIのメリットとデメリット
ここからは、マルチモーダルAIのメリットとデメリットについてご紹介します。
マルチモーダルAIのメリットは主に2つあります。
- 認証システムの精度の高さ
- 人間に近い判断能力
最近注目されているLLM（大規模言語モデル）とも密接な関係があります。LLMは主にテキストを扱うAIですが、マルチモーダルAIの技術を組み合わせることで、画像や音声も理解できるようになっています。
次に、マルチモーダルAIにはデメリットも存在します。
デメリットは主に2つあります。
- プライバシーの侵害
- ディープフェイクによるご情報の拡散
メリット1：認証システムの精度の高さ
マルチモーダルAIを使用した認証システムは、複数の生体情報を照合することで、より安全な本人確認を実現します。
たとえば、指紋と静脈パターンを組み合わせた認証では、指紋センサーで指紋を読み取ると同時に、赤外線で静脈パターンも確認します。その結果、偽の指紋による不正アクセスを防ぐことが可能です。
これまでのシングルモーダル認証では、「顔認証だけ」、「指紋認証だけ」といった単一情報での確認でした。そのため、写真や偽造指紋などでシステムを欺くことが可能でした。
しかし、マルチモーダル認証では、顔の形状と体温分布、声紋と口の動きなど、複数の情報を組み合わせることで、なりすましをほぼ不可能にしています。
また、一つの認証方式が機能しない場合でも、ほかの方式でバックアップできるため、システムの信頼性も向上させられるでしょう。
メリット2：人間に近い判断能力
マルチモーダルAIは、私たちが自然におこなっている五感を組み合わせた判断を真似できます。
たとえば、介護施設での見守りシステムでは、カメラの映像だけでなく、マイクで拾った音声、各種センサーのデータを組み合わせて入居者の状態を判断します。映像から転倒を検知し、音声から苦痛の声を認識し、センサーでバイタルデータの変化を捉えることで、より正確に異常を把握することが可能です。
また、工場の製品検査では、製品の外観写真、X線画像、超音波検査データなどの検査結果から総合的に判断します。人間のベテラン検査員は、見た目、音、触感といった情報を総合して製品の良否を判断しますが、マルチモーダルAIもこれに近い処理ができます。
たとえば、製品の表面キズを画像で確認しながら、内部の欠陥を超音波データで検出し、さらに動作音の異常も検知するといった具合です。
こうした人間に近い判断能力により、より確実な品質管理が可能になっています。
デメリット1：プライバシーの侵害
マルチモーダルAIは、顔写真や音声など、私たちのさまざまな情報を学習できます。この技術は多くのメリットをもたらす一方で、個人情報が不正に利用されるリスクも高まります。
たとえば、入退室で顔認証システムを導入する場合、従業員の顔データを企業が管理することになります。とくに顔データは、個人を特定する強力な情報ですが、もし漏えいや不正利用をされた場合、個人のプライバシー侵害だけでなく、企業の信用失墜にもつながりかねません。
企業が顔認証を導入する際にはの事前説明や同意取得、慎重なデータ管理、リスク発生時の体制構築などに注意することが大切です。
デメリット2：ディープフェイクによるご情報の拡散
マルチモーダルAIの発展により、高精度なコンテンツ生成ができるようになりましたが、ディープフェイクという新たな社会課題を生み出しています。ディープフェイクは、誤情報を拡散し、個人の名誉を毀損したり社会不安をあおり立てたりと、深刻な問題を引き起こす恐れがあります。
マルチモーダルAIを使う際は、誰がつくったものかが明確にわかるように記録を残したり、本物か偽物かを見分けるためのディープフェイク検出ツールなどを活用すると安心です。
マルチモーダルAIの活用事例
ここからは産業別の活用事例を紹介します。
| 産業・分野 | 活用事例 |
| 医療産業 | 医療ビッグデータの活用 |
| 自動車産業 | 完全自動運転の実現 |
| 製造業 | 産業用ロボットの活用 |
| セキュリティ分野 | 監視システムの精度向上 |
| マーケティング分野 | 膨大な市場データの分析 |
| エンターテインメント分野 | 複数のデータを組み合わせたコンテンツ制作 |
医療産業｜医療ビッグデータの活用
医療産業では、電子カルテ、画像診断、検査データなどを組み合わせた「診断支援システム」の活用が進められています。
NECと理化学研究所が開発した診断支援システムは、前立腺がんの早期発見と治療計画の最適化を期待されています。このシステムは電子カルテのテキストデータ、がん組織の画像データなどを組み合わせて分析します。
これまでは医師が個々のデータを個別に確認して判断をくだしていましたが、このシステムによってデータを統合的に分析できるようになりました。
その結果、再発予測の精度が約10%向上し、より適切な治療計画の立案が可能になりました。また、医療費や医療従事者の負担も抑えられると期待されています。
自動車産業｜完全自動運転の実現
自動車産業では、カメラ、センサー、音声認識を統合した「自動運転システム」の開発が進められています。
Turing社は2029年までに「どのような場所でもハンドル操作なしで自動走行できる」レベル5の完全自動運転の実現を目指しています。
このシステムの核となる技術がマルチモーダルAIです。レベル5の運転には「解釈」「想像」「決断」「交渉」という4つの機能を持たせる必要があり、それを実現できる可能性が高いのがマルチモーダルAIだからです。
画像認識だけでなく、音声認識や自然言語入力を含む必要で、そのためにはLLMが必須とされています。
製造業｜産業用ロボットの活用
製造業では、画像認識、力覚センサー、音声認識を組み合わせた産業用ロボットを開発しています。
デンソーウェーブ社が、ベッコオフオートメーション社やエクサウィーザーズ社と共同開発した、産業用マルチモーダルAIロボットは、これまでのロボットでは難しかった繊細な作業を可能にしました。
このロボットは360度の全天球カメラや複数のセンサーを駆使し、画像や角度、スピード、触覚といった情報をインプットします。それらをもとに2本のロボットアームで作業をおこないます。
人間の手のように指の関節がある「多指ハンド」により、サラダの盛り付けなどの繊細な作業すら可能になります。
セキュリティ分野｜監視システムの精度向上
セキュリティ分野では、映像と音声を組み合わせて監視システムの精度向上を目指しています。
NTTデータの新型監視システムは、防犯カメラの映像とマイクからの音声を組み合わせて、より精密な異常検知を実現しています。
これまでの監査システムでは、映像だけでは判断できない迷惑行為（たむろしながら大声を出す）などの検出はできませんでした。とくに大規模施設では防犯カメラの数が多く、人の手に頼るのも限界がありました。
マルチモーダルAIにより映像と音声を組み合わせて分析し、迷惑行為の検出もできると期待されています。精度を高めた異常検知が可能となるでしょう。
マーケティング分野｜膨大な市場データの分析
マーケティング分野でのマルチモーダルAIの活用は、市場データの分析を大きく変えています。
従来の分析では、人間が時間をかけて市場調査やSWOT分析をおこなっていましたが、マルチモーダルAIの導入により、より速く、より正確な分析が可能になると考えられます。
とくに注目すべき点は、「定量的データ」と「定性的データ」の統合分析です。売上データや市場調査の数値といった定量データに加えて、店舗のカメラ映像や顧客の会話内容といった定性データも分析できます。
マルチモーダルAIはこうした異なる種類のデータを組み合わせて処理し、より深い洞察を導き出します。たとえば、商品の購買データと店舗内での顧客の行動映像を組み合わせることで、購買の決め手となる要因を特定できるでしょう。
エンターテインメント分野｜複数のデータを組み合わせたコンテンツ制作
マルチモーダルAIは、エンターテイメントのコンテンツ制作を大きく変えています。
たとえば、Gen-2 by Runwayは、テキストや画像から新しい動画を生成できる技術を提供し、専門的な知識がなくても手軽に動画制作をおこなえます。
またNExT-GPTは文字、画像、動画、音声など、あらゆる形式のデータを組み合わせて新しいコンテンツをつくれます。音声を入力すると対応する動画をつくったり、動画から内容を説明するテキストを生成したりできます。
このようにマルチモーダルAIによって一人のクリエイターでも多様な表現が可能になり、コンテンツ制作の可能性が大きく広がっています。
マルチモーダルAIの活用には高性能なGPUが必須
マルチモーダルAIは、複数のデータを同時に処理するため、大きな計算能力が必須です。とくに画像や動画の処理は一度に大量のデータを扱うため、通常のCPUでは処理が追いつきません。
このような処理には高性能なGPUを使用することで、遅延なくリアルタイムでの判断が可能になります。
さくらインターネットでは、「高火力 PHY」と「高火力 DOK」を提供しています。
「高火力 PHY」はNVIDIA H100 GPU を8基搭載したベアメタルサーバーで、大規模な言語モデルの開発や複雑なAI処理に適しています。継続的な大規模開発に向いています。
「高火力 DOK」は、コンテナー型のGPUクラウドサービスで、必要なときだけGPUを利用できる従量課金制のサービスです。
秒単位での課金で、GPUを0.06円/秒から利用でき、初期費用も不要です。短期的な開発や実験、小規模なAI処理に適しています。
まとめ
マルチモーダルAIは、人間の五感に近い情報処理能力を持つ技術です。いくつもの種類のデータを組み合わせて処理することで、より正確な判断や予測が可能になります。
医療診断の精度向上から自動運転の実現、製品検査の自動化まで、すでにさまざまな分野で実用化が進んでいます。
ただし、その活用には高性能なGPUが欠かせません。導入時には処理能力とコストのバランスを考慮する必要があります。
今後、技術の発展とともに、さらに多くの産業でマルチモーダルAIの活用が広がっていくでしょう。
特集
