人工知能（AI）の進歩により、特定の状況の認識、分析、判断をAIが担うことで、医療機器はよりインテリジェントに動作するようになりました。AIは、ソフトウェアがよりインテリジェントに、ほぼ人間のように動作することで、ハードウェアの自律性が向上することを目指しています。AIがデジタル画像や動画を解釈して理解し、人間の目に相当する機能をコンピュータに持たせ、コンピュータによる視覚の実現を研究する「コンピュータ・ビジョン」という分野があります。コンピュータ・ビジョンシステムは、人間の視覚と同じように、光学センサによって伝えられたデータに基づいて、能動的な判断を提供することを目指しています。
マルチスペクトル・イメージングに関する無料のテックガイドをダウンロード
マルチスペクトル・イメージングに関する無料ウェビナー。
医療用画像処理では、放射線医学や心臓血管の血流を追跡する血流スキャンの分野でAIの普及が急速に進んでいますが、そのほかの医療分野では、可視領域や近赤外線領域（NIR）に感度を持つ光学センサが患者のモニタリング、診断、デジタル病理学、光干渉断層撮影、外科手術などで臨床医を支援しています。
さまざまな目的で数多くの機械学習の手法が開発されていますが、どれもあるポイントに向かって機器の改善や学習を支援するという目標を持っています。コンピュータ・ビジョンを基盤として視覚情報を処理するAIに適用される機械学習の手法の中で、最も一般的でよく知られているのがディープラーニングです。これにより、医療の専門家が認識できる範囲を超えたデータ構造とパターンを見つけることができます。
ディープラーニングのアルゴリズムがうまく機能するには、膨大な量のデータが必要です。特定の課題を解決するために、大量のデータを使って非常に高度なアルゴリズムを教え込む必要がありますが、ほとんどの医療用画像処理アプリケーションでは大量のデータが生成されますので、教え込むのに十分な量の学習データを用意できます。このようなアルゴリズムは、リアルタイムに体内を画像化する非侵襲検査アプリケーション向けの学習に適しています。
医療用画像データにディープラーニングを適用することでメリットが得られるアプリケーションの例として、ヒトの細胞組織の画像解析や生体光イメージングなどが挙げられます。新しい診断方法を開発しようとする場合、医療用画像処理で重要な問題となるのが生体光イメージングです。
生体組織は組成が不均一であるため、光学特性にいくつもの空間的な変動があります。生体組織に入ってきた光は、さまざまなレベルで拡散されます。組織が吸収する波長は、その分子組成によって異なります。治療濃度域内のスペクトルと治療濃度域外のスペクトルでの光の吸収は、特定の組織層の指紋スペクトルとして機能します。
マルチスペクトル・カメラを利用すれば、複雑に重ね合う組織の構造をキャプチャできるため、ディープラーニングの手法が適用できます。これにより、より効率的にインテリジェントなパターンマッチングが可能になりますので、病理組織を正しく特定し、AIの意思決定プロセスの堅牢性をテストすることができます。
AIとコンピュータ・ビジョンの組み合わせで期待できるもう一つのアプリケーションに、外科手術の視覚補助システムがあります。これには、マルチスペクトル・イメージングまたは単板式カメラが用いられます。術野画像がAIエンジンに送られると、血管や腫瘍などの特定の部位が自動的に強調表示されるので、外科医は、顕微鏡やカメラといったさまざまな光学システムの組み合わせにサポートされています。
光学系やICGなどのトレーサを使うことで、外科手術の視覚補助システム向けに設計されたマルチスペクトル・カメラやAIに連動させた従来のRGBカメラが、ターゲットとなる病理組織を指し示してくれるため、蛍光イメージングを用いた手術でも効率的に機能することができます。
手術で使用されるカメラは、高フレームレートかつ適切な解像度で優れたコントラストと色表現を備えた高品質の画像を提供することが必須です。少なくとも、30 fps以上で1280×780ピクセルのHD解像度をサポートしている必要があります。
より一般的なのは60 fpsのフルHD（1920×1080）で、標準的な家庭用薄型テレビと同等の画像を提供します。細部がさらに鮮明に見えるように、4Kディスプレイを導入している手術室もあります。その場合、4K画面に表示する画像を生成するには、少なくとも3840～4096ピクセルの水平解像度を備えたカメラが必要となります。
800万画素や1200万画素、2000万画素、2500万画素など、4Kディスプレイに対応できる解像度のカメラはいくつかありますが、その多くは60 fpsのフレームレートに対応していますので、人間の目が認識できる最小周波数よりもはるかに滑らかなビデオサンプリングを提供できます。
近い将来、ライブ手術用のディスプレイが60 fpsで8K解像度を提供できるようになるでしょう。これには、フレームレートを維持できる4500万画素以上の解像度と超高速インタフェースを備えたカメラが必要となります。ただし、現在のフルHDや4Kであっても、高解像度のリアルタイム映像配信システムは、処理装置やディスプレイ装置に大量のデータを転送する必要があることは言うまでもありません。
AIエンジンを通る画像データでは、関連するインテリジェント処理に応じて、縮小、修正、選択、変換などが行われ、アプリケーションに適合させることができます。いずれの場合でも、銅ケーブルや光ファイバケーブルを使用する10GigE Vision、または同軸ケーブルを介したCoaXPressなどの高速インタフェースを使用することで、RAWデータを比較的長距離にわたって中断することなく転送できます。デジタル病理学やデジタルスキャン、コンピュータを利用した病理診断の場合でも同様のアプローチを適用できます。バーチャルスライドとも呼ばれるWSI（Whole Slide Imaging）では、デジタル化された画像の検出、セグメント化、診断、解析を担うAIと組み合わせた高速マシンビジョンカメラが必要となります。
初期の医療用画像システムでは、主にRGBセンサが使用されていましたが、現在では、可視スペクトルに限定されないマルチスペクトル・カメラを利用したシステムのほうが多く見られるようになりました。マルチスペクトル・カメラを利用したシステムは、可視光領域以外のスペクトルも含めて、複数のスペクトル・バンドで同時に画像を捉えることができます。これにより、可視スペクトルでは見られない特性が明らかになります。さまざまなNIR蛍光技術を利用することで、腫瘍や血管をはじめ、執刀医が腫瘍細胞と周辺組織を判別する手掛かりになるように、視覚的に「タグ付け」したり、強調表示したりすることができます。
マルチスペクトル・イメージングは、スペクトル・スコープとマシンビジョンの世界を組み合わせて、新しい画像処理の可能性を生み出します。マルチスペクトル・イメージング・システムにAIを組み込めば、可視スペクトルを超えて画像データを抽出し、解釈するという強力なツールになります。これにより、特定のアプリケーションを支援するため、それぞれに適したスペクトル構成の作成を簡素化することができます。
RGB、モノクロ、マルチスペクトルのいずれのイメージングシステムでも、AIエンジンと組み合わせることで、人間の知覚を超えて状況を観察・評価できるため、臨床医の診断精度の向上をより高いレベルで強化、支援することが可能です。また、マシンビジョンカメラをNvidia JetsonやNvidia Xavierなどの組み込みモジュールに接続することで、AIエンジンをマシンビジョンシステムのハードウェアの一部にすることもできます。
関連コンテンツ
ユーザー自身がマルチスペクトル・エリアスキャンカメラを設計し、見えなかったものもわかるように。
JAIのマルチスペクトル・カスタマイズ技術
Flex-Eyeで貴社のビジョンシステムに、より最適なマルチスペクトル・カメラを導入できます。JAIオリジナルのFlex-Eyeテクノロジーにより、光の波長帯（可視光波長、近赤外波長の両方）の幅と位置をカスタマイズし、Fusionシリーズの2CMOSまたは3CMOS搭載カメラにカスタム設計プロセスを組み合わせることで、必要とする正確な画像データを取得できるのです。センサは、320万画素または160万画素から選択していただきます。高速10 GigEインタフェースを採用し、マルチストリーム出力を備えています。JAI独自のプリズム技術により、動きや視野角にかかわらず、波長帯域ごとに完全に一致した角度・エリアを同時に撮像することができます。食品の選別や農業、医薬品など、幅広い用途で利用されるビジョンシステムに最適なソリューションを提供します。
Fusion Flex-Eyeの詳細
Fusionシリーズのマルチスペクトル・カメラが持つ技術の詳細については、ぜひこちらもお読みください。
Fusionシリーズカメラのマルチスペクトル・イメージング
無料テックガイド「マルチスペクトル・イメージング」
医療用および産業用マシンビジョンシステムのためのマルチスペクトル・イメージングに関する無料のテックガイドをダウンロードすることができます。
ダウンロードはこちら
ウェブキャスト：マルチスペクトル・アプリケーションへのプリズム分光式カメラの応用
マルチスペクトル・カメラの実現手法にはいくつかのアプローチがあり、どの方式を選択するかでプロジェクトの成否が大きく関わってきます。マルチスペクトル・イメージングを必要とするビジョンシステムを設計されている方は、このウェビナーでプリズム分光式のマルチスペクトル・カメラが、なぜ他のマルチスペクトルの手法よりも優れているのか、より正しく、より深くご理解いただけます。
ご視聴はこちら
お問い合わせはこちら
医療用およびライフサイエンス・アプリケーションに求められる要件を満たす最適なカメラを見つけるお手伝いをJAIがいたします。
お問い合わせフォーム