連続画像を取得するスナップショット型リアルタイムハイパースペクトルカメラ「HS02/HS03」 | マシンビジョン大全｜FA（ファクトリーオートメーション）用途で活用する事例を紹介するウェブメディア | マシンビジョン大全

ハイパースペクトルカメラにおいてはスキャニングが前提となるプッシュブルーム方式カメラが、研究用途から産業界へと応用範囲が広がってきている。分光精度も高く、各波長帯に対応するセンサ種類も豊富なためアプリケーションは非常に広範囲である。

しかしながら画像取得には一定時間必要であり、動体に対しては撮像が難しい。本稿では、近年開発が進むスナップショット型センサを搭載したPhotonfocus社製カメラを紹介しながら、リアルタイムハイパースペクトルカメラの特徴、留意点と応用について記載する。

はじめに

ハイパースペクトルカメラは、科学技術分野で活用されるようになってからかなりの年月が経過し、いわゆる通常のカメラでは取得できない詳細な分光データを得ることにより、対象となる物質の分布解析が行われてきた。さらに各波長のデータ解析により特定位置の特徴を抽出し、画像から直接観測できない事象を検出することも多々実用化されている。

ハイパースペクトルカメラの構造には分光方式によりいくつかの方式があるが、現在最も一般的また信頼性の高いプッシュブルーム方式（ラインスキャン方式）に加え、一定領域を同時にデータ採取するスナップショット方式の製品が活用され始めている。

スイスに所在するセンサ、カメラ開発メーカのPhotonfocus社より新たに投入されたスナップショット型センサを搭載したカメラシリーズを紹介する。

分光データ（ハイパースペクトルキューブ）

一般産業用にハイパースペクトルカメラの応用が注目されてきているが、活用に当ってはそのデータ構成を認識する必要がある。通常のエリアカメラでは2次元の座標平面（x-y）に光の強度（I）が付加された3次元データとして、またカラーカメラにおいても同様に3原色それぞれの3次元データとして扱われる。

ハイパースペクトルカメラでは、カラーカメラが3原色であるのに対して分光波長の数だけ3次元データが存在するため膨大なデータ量となる。図1のような概念であるが、各座標に対して波長（λ）それぞれの強度（I）があることを認識する必要がある。

図1　ハイパースペクトルキューブの概念図

すなわち4次元データ（ハイパースペクトルキューブ）と称される所以である。実際のデータ活用においては波長（λ）ごとに分離すれば、同一平面上の光強度（I）という概念はエリアカメラと違いはなく、それぞれの波長データの違いや相関関係を演算すれば特徴を抽出することが可能になる（図2）。

図2　ハイパースペクトルカメラによるジャガイモの判別
（左：モノクロ／中央：カラーカメラ／右：ハイパースペクトルカメラの疑似カラー化）

プッシュブルーム方式分光カメラ

多様な波長データを取得するハイパースペクトルカメラといえども、基本的には2次元センサを使ったカメラであるが、必要な波長に分光する機構が必要になる。この分光には様々な方法があるが、現在最も一般的な方式となっているのがプッシュブルーム方式である。

この分光方式に利用されるユニットとして回析格子（グレーティング、スリット）やプリズム分光器等があり、2次元センサと組み合わされて構成される。回析格子の場合は光の回析と干渉を利用した分光、プリズムの場合は境界面における屈折現象を利用した分光であるがどちらも複数の波長データを1度に取得できるが、2次元センサに対して分光展開する構造から1回の撮像は1次元を対象とするしかない。

したがって2次元空間のデータを取得するためには、スキャナのように空間掃引し2次元データへの蓄積が必要になる（図3）。

このように、空間掃引タイプのハイパースペクトルカメラでは、カメラあるいは対象物を平行移動させる機構が必要になるため、装置自体が複雑かつ大型化する傾向にある。さらにカメラを動かす場合は、対象物を静止した状態で撮像しないと正確なデータを取得することができない。

図3　プリズム分光型ハイパースペクトルカメラ

スナップショット型分光カメラ

ベルギーのナノエレクトロニクス研究センターであるimecが開発した分光センサは、これまでの方式とは異なり、センサの表面に直接分光フィルタ（ファブリーペロー干渉型）を組み込むMEMS構造をしている。

この微細構造を実現したことにより1画素（5.5×5.5μm）単位で異なる波長に分光可能なセンサとなっている。　Photonfocus社が今回製品化したハイパースペクトルカメラは、このimecセンサを搭載した4機種（スナップショット型2種、ラインスキャン型2種）とマルチスペクトルカメラ1機種である。

ラインスキャン型フィルタは前項で説明したプリズム分光器と同じ方式であり割愛するが、スナップショット型フィルタは、470～630nmの波長を約15nmの波長単位で分光する可視光領域カメラと、600～975nmの波長を約10～15nmの波長単位で分光する可視近赤外領域カメラの2機種がある。代表例として可視近赤外領域の25バンドスナップショット型センサの構造を図4に示す。

図4　5×5モザイク構造25バンドフィルタ

このセンサのベースは2,048×1,088ピクセルの200万画素センサであり、600～975nmの波長を1画素ごとに分光するフィルタが縦横5ピクセルずつ並んだブロックとして横409個、縦217個並んでいる。

各ブロックの特定波長画素の受光データを集めることで1波長に付き409×217ピクセルの画像データ（分光強度）を生成し、1フレームで25波長（バンド）のデータを一括取得することが可能である。

したがって、連続画像を撮るカメラであればハイパースペクトル画像の動画を生成することが可能である反面、各波長の画像は縦横ともに5画素ごとに間引いたポイントのデータであり、厳密にはプッシュブルーム方式のように同一点の分光画像ではない。

カメラに装着されるレンズ画角とワークディスタンスで定まる撮像対象の分解能は各波長とも同じであるが、それぞれが近接点のデータを取得していることを認識すべきである（図5、6）。

図5　25バンドセンサ分光感度特性

図6　16バンドセンサ分光感度特性

またこのセンサを活用するには、センサの有効範囲外のスペクトルリークや不要な2次応答を排除するために、光学的バンドパスフィルタを装着することも付け加えておく。このようにスナップショット型にも長所・短所があるが、プッシュブルーム型を補う方式として新たなハイパースペクトルイメージングの応用に活用できる方式である（表1）。

表1　25バンド／16バンドセンサ仕様

Photonfocusハイパースペクトルカメラ「HS02/HS03」

Photonfocus社のMV1-D2048-1088-HS02/03-G2シリーズは前述のimec製センサを搭載したカメラであり、一般的に普及しているGigEインタフェイスで接続する産業用カメラでもある（図7）。

図7　Photonfocus社ハイパースペクトルカメラ

カメラの撮像速度はフルフレーム42fpsであり、25バンドそれぞれの分光データを毎秒42枚取得できる。これにより動きのある対象物のリアルタイム分光を可能にし、あるいはUAV搭載などにより広範囲な分光データを短時間で取得できる（表2）。

表2　MV1-D2048-1088-HS02/03-G2カメラ仕様

ハイパースペクトラルカメラ用SDK

Photonfocus社のハイパースペクトラルカメラには別途、専用のソフトウェア開発用キット（SDK）がある。出力ハイパーキューブは、ENVI Band Sequential（BSQ）ファイル形式で保存され、システム設定とセンサ情報を含むヘッダーファイルと、ハイパースペクトルデータをRAW形式で含むファイルが含まれる。

センサのハイパースペクトル画像のデモザイク処理は、各バンドのデータを同じ規則的なグリッドに再サンプリングして、スペクトル画像のすべてのバンドを整列させることによって行われる。またセンサ固有のキャリブレーションファイルの情報を解析しスペクトル補正（高次およびクロストーク信号の除去）を行う（図8）。

図8　SDKでの処理

リアルタイムハイパースペクトルカメラの応用

スナップショット型ハイパースペクトルカメラの特徴は何よりも被写体の動きに制約されることなく、リアルタイムに動画レベルでデータ取得できることである。現在開発されている本センサの波長領域は可視～近赤外に限定されるが、それでもなお、様々な応用分野が確認されている。図9はその代表例となる応用例分布である。

図9　ハイパースペクトル応用分野例

生体分野においては、蛍光イメージングでのピーク波長の確認、植物クロロフィル吸収帯反射による植生指数の算出、術中の血液酸素濃度観察・管理、皮膚組織の発色検査などが挙げられる。また炭化水素有機化合物（エタノール、ベンゼン、芳香族、ETBE、MTBE、トルエン）の反応もこの領域にあり具体的な応用が期待される。