車載用遠赤外線カメラシステム

遠赤外線(FIR:Far Infrared Rays)カメラは、物体から放射される遠赤外線を映像化できることから、光源に左右されることなく夜間の遠方撮影や画像認識が可能となる。

自動運転おけるセンシングデバイスとして、ほかにはない重要な性能をもつため、今後の自動運転センシング技術として注目されている。本稿では自社で開発した車載用FIRカメラシステムの優位性や開発経緯について紹介する。

車載用 FIR カメラシステムについて

JVC ケンウッドは古くからオーディオ&ヴィジュアル、ビデオカメラを軸としたAV機器メーカであるが、自動車搭載機器の市場拡大により、カーオーディオはもちろん、ナビゲーションやドライブレコーダなどの車載機器の販売も伸びている。

なかでもドライブレコーダは、昨今の安心・安全志向の高まりや外的要因からの保護需要などから急速に市場拡大している。そのドライブレコーダにおいて重要な技術となるカメラ映像技術は、ビデオカメラで培った映像技術が核となり、映像の視認性や証拠能力の高さで高評価を得ている。

その映像技術を最大限活かし、FIRカメラ開発と画像認識技術の相互開発により他社にない車載用FIRカメラシステムの構築を目指し、開発を行っている(図1)。

図1 FIRカメラシステム全体図

開発目標と特徴

1)高性能画像認識システム技術
 車載用FIRカメラシステムとして最も有効な機能である夜間の人物認識を高次元で実現するために、認識アルゴリズムの開発と並行して高画質カメラユニットの開発を行った。

この2つの技術は互いの性能との関係性が深く、相互に開発することで大きな開発効果をもつ。特に一番の特徴であるヘッドライトの届かない遠方の人物を早期に認識して警告することについて、各々開発レベルを高めることで 100m を超える遠方認識が可能となった(図2)。

図2 距離100m人物認識

また、開発した認識アルゴリズムは検出用の辞書を切り替えることにより動物認識にも使用可能、人物と動物の異なる対象物を1つのアルゴリズムで検出を行うことが可能である。

2)小型、低コストと車載用途信頼性確保
現在市場に出ている車載用FIRカメラは30万円を超える価格設定となり、一部のハイエンドクラスの車両にしか設定されていない。また、外形も大きく搭載自由度を奪うことにもつながり、普及の妨げの一因となっている。

FIRカメラ本体は遠赤外線の特性によりフロントガラスを透過しないため、車載用途においては室内ではなくフロントグリルなどの車外に搭載される。そのため雨・雪にさらされることはもちろん、砂利などの飛来物に対しても耐久性が必要となる。

通常、遠赤外線の透過率が高いゲルマニウムなどの高価な保護窓により信頼性を確保するが、専用レンズを開発することにより信頼性を確保し保護窓を除去、小型化と同時に低コストを実現した(図3)。

図3 従来品と本開発品カメラユニット

画像認識システムについても専用のCPUやGPUを必要としない軽量アルゴリズムの開発により、1つの汎用CPUにカメラシステムと認識システムとを同時に実装が可能となり、高価な専用CPUを使用することなく認識システムが搭載できるため、ECUシステムの簡略化と低コストを実現した。

FIR カメラのユーザメリット
1)市街地
 夜間における歩行者の死亡事故率は昼間の約2.5倍となり、その多くは市街地で発生している。歩行者が多いのは当然として、なぜ街灯など明るい場所でも事故が起きるのか?その一因は照明が生み出すコントラスト差にあるといえる。図4、5に市街地のシーンにおける例を示す。各被写体の輝度は次のとおり。

• 人:2cd/m 2 以下
• 道路:2cd/m 2
• 看板:300cd/m 2
• 街灯:3,000cd/m 2

人間の目は感じられる光の範囲が120dBといわれ、たとえば同じ視界にある輝度1cd~100万cdの物まで見えているということになる。図4、5のシーンでは視界の中に街灯、看板、歩行者などが入っているが、それぞれの輝度差は認識できないほど大きなものではない。

図4 市街地画像

図5 市街地輝度

しかし、運転者はより明るいものに注意が向いてしまう傾向があり、黒い服と白い服では識別度合が違うのと同じように、ほかに明かりがあると逆に認識されないシーンが多々ある。

看板や街灯など他の明かりに注意が向き暗い歩行者の発見が遅れる、明るい交差点を曲がった先の暗い道にいた歩行者の発見が遅れるなど事故の要因となる。このようなシーンでも、FIRカメラは周辺光源に左右されることなく人物を認識、運転者への警告を行うことが可能となる(図6)。

図6 市街地シーン
(左:可視カメラ画像/右:FIRカメラ画像)

2)ヘッドライトの逆光
次のシーンはヘッドライトの逆光による消失現象である。この現象は、たとえば横断歩道を渡る人物が対向車のヘッドライト付近にいる場合に、ヘッドライトの明かりにより輝度の低い人物が消えてしまう現象をいう。

このような場合、可視カメラおよび、近赤外線カメラではヘッドライトの逆光により人物が識別不能となる(図7)。

図7 歩道 可視カメラ映像

しかし、FIRカメラは光の影響を受けないため、対向車のヘッドライトが直射されるシーンでも安定して撮影が可能となる(図8)。つまり、対向車や町中の照明等に影響されることなく、人物など検出が可能である。

図8 FIRカメラ映像

以上のように、FIRカメラのユーザメリットは照明のない郊外地などでの人物認識はもちろん、市街地でも発生しうる人身事故に対し、有効な対応手段であるといえる。

開発事例

1)高性能認識アルゴリズム開発
FIRカメラは、言わば熱源より発する赤外光を映像化するものである。被写体の温度差が大きいものはコントラストが高く、温度差の少ないものはコントラストが低くなる。

認識性能として危惧されるのが、夏場の体温に近い環境温度になった際のコントラスト低下による認識不能である。図9のような人間の体温に近い外気温36~37度の環境においてコントラストがほとんどなくなり、認識不能となる。

図9 高温時画像

この問題に対し、認識アルゴリズムの開発、カメラ画質改善により認識不能温度範囲を狭めることに成功した(図10)。認識アルゴリズムは一般的なHOG(Histograms of Oriented Gradients)などの局所的特徴量を用いるのではなく、独自に開発したアルゴリズムを用いることで背景やノイズに強い画像認識システムを実現した。

図10 高温時 対策画像

カメラ映像は回路S/N減少、AE制御の細分化、デジタル画像処理の改良によりコントラストの改善を行った。画像は外気温36度の同じ映像を上記対策を入れることで改善した例で、従来認識できなかったものが識別可能になることがわかる。

2)環境温度による影響
車外に搭載されるFIRカメラ本体は、フロントグリルなど温度変化の多い場所に設置することが多い。ラジエータの熱、直射日光、真冬の冷気にもさらされるため、FIRカメラ本体の温度変化は非常に大きなものとなる。

FIRカメラセンサは熱を映し出すものであり、センサ周辺温度にも非常に影響を受けやすい。そのため、センサ、レンズ、外装、基板などの温度変化は、カメラの被写体温度変化の何倍もの出力影響を受けることとなる。

さらに、前述のカバーガラスをもたない構造を採用していることで、温度変化の影響を受けやすい。図11は、カメラ内部温度に対し外気温が高い状態(約40℃)を撮影したものである。

図11 高温輻射による影響

周辺の部品から輻射される遠赤外線により、画像周辺部の映像が白くなっていることがわかる。この問題に対し様々な検討を行い、カメラ全体の構造とレンズ設計を見直すことにより対処することができた。

特にレンズは材質や光学設計、レンズボディ機構設計までの最適化が必要となり、構造設計技術はもちろん光学設計技術も必要であるため、レンズメーカの協力も得て解決に至った。

市場動向と今後の開発予定

TSR“Automotive Sensing System Market Analysis 2017”によると、車載用FIR+NIRカメラは年10%程度の伸びが予測されているが、他の車載センサが20%を超える伸びを見せている中では普及拡大率は鈍い(図12)。

図12 TSR“Automotive Sensing System Market Analysis 2017” data

主な原因は、自動車センシングにおけるセンサ単価はおおよそ100ドルといわれている中で、同リポートによるとFIRカメラ単体での価格は500ドル付近とかなり高価である。

加えて、可視カメラの高感度化、アクティブLEDヘッドライトの普及など、夜間でも一定レベルで自動運転に対応できる環境が整い、高価なセンサに投資する必要性が低いためと考える。

しかし、自動運転機能において他のセンサでは補えない機能をFIRカメラはもっている。光源がまったくない環境でその物体が何か判別できることである。

現在の自動運転の主軸が可視カメラによる物体認識であることからも、映像化し認識することは必要不可欠な機能であり、夜間においてもその機能は重要な要素となる。

2018年3月Uber社が起こした痛ましい事故などは、FIRカメラがあれば防げた可能性が高い事例となる。自動運転レベルが上がるにつれセンサフュージョンが必要な中、FIRカメラがその一翼を担う可能性は高い。こうした状況を打破すべく、今後の自社の車載用FIRカメラ開発は、以下を主軸に開発を行う。

1.次世代センサレイも含めさらなる低コストと小型システム開発
2.次世代アルゴリズム開発やセンサフュージョンによる独自アプリケーションの開発
3.ADAS機能におけるユーザビリティの統合開発

システムコストの削減、高付加価値ソリューション開発を達成し、自動運転における車載デバイスとして、重要な役割を担えるよう開発を進める。

※映像情報MOOK:赤外線イメージング&センシング~センサ・部品から応用システムまで~より転載

■問い合わせ
株式会社 JVCケンウッド
TEL:042-646-6224
E-mail:takahashi.jun39@jvckenwood.com
https://www.jvckenwood.com/

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください