遠赤外線カメラとディープラーニングを応用し新たなマーケット開拓

現在、自動運転およびドライビングアシスタントでは昼夜を問わずあらゆる天候下での安全性の確保が最重要の課題となっている。

人間の眼に代わるマシンビジョンを遠赤外線カメラとディープラーニングとの組み合わせにより歩行者や動物の検知能力を飛躍的に向上を計る。その際の遠赤外線のセンサ能力は重要な要素となる。また、その技術を応用して新たなマーケットを開拓を考察する。

はじめに

図1は、真っ暗な夜、郊外の街灯のない道路で70～80ｍ先の歩行者をディープラーニングで検知した図である。

図1　Pedestrian in Night Time（夜間の歩行者検知）
（左：弊社TWV640カメラ／右：フルHD 可視光のアクションカメラ）

まだ、ライブラリの最適化前の形状認識のみでの結果であるが、今後、遠赤（遠赤外線）カメラの温度情報とライブラリの最適化で検知距離はさらに伸ばせる（図2）。

図2　温度情報を用い検知性能向上

次に濃霧での試験を示す。一般的に遠赤は水を通らないので不向きであるが、濃霧は視界3mぐらいであり検知確率は下がったが、10～15mまで可能であった（図3）。

図3　Pedestrian in fog（夜間濃霧の歩行者検知）
（左：弊社TWV640カメラ／右：フルHD 可視光のアクションカメラ）

さらに、遠赤は逆光とは無縁であるため、普通の昼間や夜間と変わらず検知が可能であった（図4）。　弊社ではNextyエレクトロニクスと共同でディープラーニングを応用して自動車運転の環境下での検知をチェックしてきた。

図4　Back light（逆光）
（左：弊社TWV640カメラ／右：フルHD 可視光のアクションカメラ）

すでに遠赤カメラでのあらゆる天候下でのテストで朝、昼、夜、逆光、霧、雨、雪、トンネル、非常に込み入った街中等で安定したセンシングが可能であったため、ディープラーニングとの組み合わせでどの程度の検知性能を確保できるかテストしてきた。

結果として、遠赤の画像はCMOSセンサの画像に近くライブラリ作りが行いやすく、昼夜を問わず同じような画像が出るので扱いやすい。

また、人間や動物の温度帯は遠赤の最も感度の高い波長帯にあるのでセンシングしやすいことがわかった。したがってCMOSセンサとの補完が成り立ちフュージョンにはうってつけである。

BAE Systemsの遠赤カメラの沿革

弊社では46ミクロンセルから開発を始め28、17、12 ミクロンへと進んでいる（図5）。現在、12ミクロンのVGA60Hz非冷却センサが4年前より量産の主流となっている。

図5　12 µm pixel FPAs enable lower cost, higher resolution or FoV Systems

業界初の1,920×1,200 60Hz非冷却センサ（図6）TWV1912、60Hzで撮影したものですが、手前のラスベガスのビル群および遠くの山々の山肌が見えるほど鮮明写っています。

図6　世界初の1,920×1,200遠赤外線センサ
写真はSierraOlympic社より提供

これが7.5μm～13.5μmの遠赤外線をセンシングしたものとは思えない出来栄えである。今年の末に量産出荷される。セルはVGAと同じものを使用し安定している。

12 ミクロンのセルサイズで最高性能の実現

弊社では遠赤外線センサの性能比較を実施した。まずは、雨の中でのテスト結果であるが、結果は図7のとおりだった。TWV640は12μmピッチだが、他社ではまだサンプルもない状況であったため、セル面積が約2倍である17μmのものを使用した。

図7　雨の中での他社との比較

通常、セル面積は性能に寄与するが、TWV640は他社を圧倒する結果となった。空気の澄んだ晴れの日は、差異がほとんどなかったが、雨ではゲインを上げる必要があり、他社のカメラでは、ノイズが発生し画面が見ずらくなった。

TWV640ではゲインを上げる必要はあるが、ほとんどノイズの発生はなかった。もう少し、詳しいテスト比較をしたのが図8である。弊社は12ミクロンのセル、他3社は17ミクロンのセル。

図8　遠赤外線センサの性能比較

マテリアルは、弊社が他2社と同様VOX（酸化バナジウム）のマイクロボロメタで他1社はアモルファスシリコンを使用している。性能指標の1つとなるNETD（感度）をレンズF1.0を用い、TemporalフィルタをON/OFF（オプションがある場合）で測定した。OFFの状態では弊社とA社がそれぞれ35mK、40mK（オプションなし）となった。

B社、C社はスペック外となった。ONにした場合、弊社を含む 3 社が 50mK 以下でスペック内となり、C社はスペック外だった。また、Time Constant（熱時定数）はTWV640が最小で60Hz動作に対して、十分に余裕があった。

A社の場合、15msと大きく、動作ボケが発生した。ノイズに関しては、TWV640が非常に低く、特に、Spatial NoiseやROW Noiseが約1/2.5と低い。さらに、クロストークや焼きつきについても起こりにくく、高い性能を示した。

TWV640は12μmでありながら17μmの他社を圧倒した。TWV640はカメラのコンパクト化や将来のコストダウン化を可能にする。　この結果は、弊社の数々の基本特許と技術革新によるものである。

図9では弊社と他社のセルの画像を比較している。ご覧のとおり弊社のセルは一層MEMS構造で高いFill Factor、熱分離、製造のしやすさ、均一性、スケーラブルであることがわかる。

図9　セル画像比較

新たなマーケット開拓

1）自動車マーケット
今日、ドライビングアシスタントおよび自動運転の目覚ましい発展に伴い、昼夜を問わずあらゆる天候の状態での安全性の確保が最重要の課題となっている。特にディープラーニング等のAIシステムにおいては、安全性だけではなく安心が重要な要素となる。

そのためには、あらゆる状況下での検知能力の大幅な向上が必要となる。前述したように、弊社では、3年前よりNextyエレクトロニクスの協力を得て、弊社遠赤カメラとディープラーニングでいろいろな天候、昼夜、逆光等で実験繰り返し遠赤カメラの優位性を実証してきた。

最近では、カメラ単体からディープラーニングの組み合わせおよび各種センサとのフュージョン、ステレオカメラなど1テストカーあたり7台の遠赤カメラを使う研究もスタートしている。

2）建機、農機マーケット
　建機、農業のマーケットでは、みちびき等のGPSを使い24時間運転が技術的に可能になってきている。ただし、安全性が確保できなければ実用化が難しい。

このマーケットでは天候、昼夜、逆光のほか粉塵の中で人間や動物を検知する必要がある。遠赤カメラは粉塵や煙には非常に強く長い距離で検知が可能となる。

3）セキュリティマーケット
　遠赤カメラは、24時間監視の必要なところやクリティカルファシリティで使われてきた。今後、ディープラーニングとの組み合わせにより人間の介在なしにアクティブに使うことができ、テロ対策、密漁監視、密輸監視、沿岸監視、河川監視、火山監視、ドローン監視などますます重要性が高まっている。

4）ロボットマーケット
ロボットは、自動車、建機、農機での遠赤のファンクションに加え、正確な位置制御が必要となる。県境はまだ始まったばかりで、今後に期待したい。

5）インダストリアルマーケット
　遠赤カメラはサーモグラフィとして使えるので、熱管理用途には重要な役割を担う。今後、めがね型のディスプレイからARディスプレイの普及により各種工程管理や保守管理分野に広がりを見せている。さらに、パルス熱伝播を応用して非破壊検査（金属疲労、ウェルディング等）応用されつつある。