パナソニック ホールディングス株式会社は、世界最高感度※1でハイパースペクトル画像※2を撮影する技術を、医療や宇宙探索の分野で活用が進む圧縮センシング技術※3を用いて開発した。
本技術により、肉眼では判別できないわずかな色の違いを、従来のカラーカメラ※4と同様の操作性で識別できるようになり、画像分析・認識の精度向上が可能になる。
こうしたハイパースペクトル画像撮影を実証した世界初の研究成果として、ベルギーの研究機関であるimecとの連名で英国科学雑誌「Nature Photonics」のオンライン版に2023年1月23日に掲載された。
概要
画像認識技術の進化に伴い、画像データを産業的に利用し効率化・省人化・省エネルギー化を可能にする、マシンビジョンの応用が広がっている。
マシンビジョンでは画像をコンピュータで認識するため、人間が知覚できない情報、たとえば連続的な色変化（スペクトル情報）を用いた解析が可能になる。スペクトル情報をもつ画像はハイパースペクトル画像と呼ばれ、マシンビジョンの応用範囲を拡大する役割が期待されている。
従来のハイパースペクトル画像撮影では、プリズムなどの光学素子や、特定の色（波長）の光を選択的に通すフィルタが用いられていた。しかし、これらの方法は光を波長ごとに分けて検出するため、波長の数に反比例して光の利用効率、つまり感度が低下するという物理的な制約があった。
そのため、撮影時には晴れた日の屋外に匹敵する明るさの照明（照度10,000ルクス以上）が必要となり、操作性・汎用性に難がありました。
今回開発したハイパースペクトル画像撮影技術では、観測データを“間引く”ことで効率的に取得し、演算処理で“間引かれる前”のデータを復元する、圧縮センシング技術を応用した。これは、医療現場でのMRI検査やブラックホール観測でも使われている手法である。
複数波長の光を通し画像データを適切に“間引く”特殊フィルタをイメージセンサ上に搭載し（図1）、独自のデジタル画像処理アルゴリズムによりデータを復元した。
図1 開発したハイパースペクトル画像撮影技術の概要
ソフトウェアが色を分ける機能の一部を担うことで、従来技術の課題であった波長数と感度の制約を突破した。これにより、世界最高感度のハイパースペクトル画像撮影（図2）、さらには室内照明（550ルクス）下での動画撮影（図3）を実現した。
図2 開発品と従来品の感度比較と、開発品のハイパースペクトル画像撮影結果
（a）：550ルクスの照明下において開発品で撮影した画像
（b）：550ルクスの照明下において従来品で撮影した画像
（c）：色見本を並べ、開発品で20波長分のハイパースペクトル画像を撮影した結果
図3 開発した特殊フィルタと独自アルゴリズムで撮影した動画の1フレームと抽出されたスペクトル情報（LED照明の特徴的なスペクトルが見えている）
今後は本技術の活用により、色情報に基づいて高精度に画像分析・認識を行う新たなセンシングソリューションや、高感度なハイパースペクトル画像撮影技術によるマシンビジョン用途の拡大を、パートナー様との共創も検討しながら目指していく。
特長
1. 複数波長の光をランダムに通す特殊フィルタを用いた観測データの“間引き”取得により、物理的制約を超えた感度向上が可能
2. 世界最高感度（従来比約10倍）のハイパースペクトル画像撮影により、室内照明（550ルクス）で鮮明な撮影を実現
3. 独自のアルゴリズムでフレームレート※5を動画レベル（>30fps）に向上し、カラーカメラ並みの操作性でスペクトル情報の取得を実現
詳細はこちら：https://news.panasonic.com/jp/press/data/2023/01/jn230126-1/jn230126-1.html
・関連情報
発表論文：Video-rate hyperspectral camera based on a CMOS-compatible random array of Fabry-Perot filters （著者：八子 基樹、山岡 義和、清原 孝行、細川 誓、野田 晃浩、Klaas Tack、Nick Spooren、平澤 拓、石川 篤）
https://www.nature.com/articles/s41566-022-01141-5
※1：2023年1月26日時点。
※2：光の波長ごとに取得された画像の中で、波長数が4以上のものをマルチスペクトル画像、さらに波長数が概ね10以上のものをハイパースペクトル画像と呼ぶ。
※3：少ない観測データからより多くの信号を復元する手法。観測対象データがある表現空間（たとえば周波数空間）では偏った分布になるという性質（スパース性）を利用する。MRIの高速化技術に応用されているが、近年ブラックホールの観測にも使われた。
※4：赤、緑、青の三種類のフィルタをイメージセンサ上に搭載し、三色の比率で色を表現するカメラ。デジタルカメラやスマートフォン搭載のカメラはほぼこれにあたる。
※5：動画が1秒あたり何枚の画像で構成されているかを示す指標で、fps（frames per second）という単位で表される。一般的なテレビ映像は30fpsである。
■問い合わせ
パナソニック ホールディングス株式会社
Email：crdpress@ml.jp.panasonic.com
コメントを残す