最先端のディープラーニングで実現する 高精度かつローコストな ドライバー・キャビンモニタリングシステム「CoDriver」

ドライバーモニタリングシステムは、居眠りやわき見、体調急変といったドライバーの状態を検知するシステムである。

近年、事故防止機能の一部として実用化が進んでおり、ADAS(先進運転支援システム)からスタートした自動運転化レベルが進む過程で、不可欠な技術としてドライバーモニタリングシステムへの注目度がさらに高まっている。

本稿では、ドライバーモニタリングシステムの紹介と機能的特長について解説する。

市場動向とドライバーモニタリングの必要性

ドライバーモニタリングの市場規模は、2017年から2025年にかけて200億円から1,000億円以上に成長すると予測(2018年 富士キメラ総研調べ)されている。

自動運転車は、レベル2の部分自動運転から実用化が進んでいるが、レベル4以上の完全自動運転車の実現までは、運転主体がドライバーとなる。

そのため自動制御が不可能になった場合、自動運転から手動運転への切り替え時に、ドライバーが運転可能な状態かを事前に判断する機能が必須と考えられている。これに伴い、より高度なドライバーモニタリングシステムが求められている。

また最近の傾向としては、車室内カメラでドライバーのモニタリングのみならず、Euro NCAP対応として子供の置き去りやチャイルドシートの検出、さらに完全自動運転サービスカーやシェアカー向けの車室内モニタリングや乗員の行動監視等、キャビンモニタリングの用途でも搭載率が高まると考えられている。

ソフトウェアソリューションとしての「CoDriver」

ユビキタスAIコーポレーションが取り扱うドライバー・キャビンモニタリングシステム「CoDriver」(Jungo Connectivity Ltdによって開発および所有されている)は、最先端のディープラーニング・機械学習・コンピュータビジョンアルゴリズムを利用して、ソフトウェアのみでビデオストリームを解析し、ドライバーや乗員・車室内の状況をリアルタイムに検知するモニタリングシステムのコアソフトウェアである。

乗員が特別な器具を装着する必要はなく、用途によって既存のセンサの置き換えによるコストカットも期待されている。

「CoDriver」は40以上の特許取得済みアルゴリズムをもち、ドライバーの視線や顔の位置と向き、骨格のサイズや動き等を下位レベルの数値データで提供すると同時に、その数値データに基づいて上位レベルの状態を示す居眠り、わき見、暴力行為等の情報を提供する(図1)。

図1 顔位置・視線検知

キャビンモニタリングとしては、シートに座っている人の有無や乗降者の人数カウント、個人認証、性別・年齢推測、物体検知、体調不良や暴力行為・迷惑行為などの行動まで、車室内のあらゆる情報を把握することにより、新たなサービスや安全配慮など多くの付加価値をつけることが可能になる(図2)。

図2 キャビンモニタリングシステム

RGBカメラとIRカメラの組み合わせによるメリット

これまでは、通常の日中撮影用のRGB用カメラと夜間の低照度時の撮影用のIRカメラが別になっており、ハードコスト的にも消費電力的にも障壁があった。

しかし、近年RGB-IRカメラが実用化されたことにより、1台のカメラでソフト的にRGBモードとIRモードをダイナミックに切り替え、光が取れない低照度の夜間のみIRを使用し、ある程度照度が確保できるときはRGBで解析できるようになった。

「CoDriver」では、上記のドライバー・キャビンモニタリングにRGBとIRを組み合わせた顔検出と視線追跡システムを採用しているため、近距離でのIRを使わずに、40cm~5mの距離から精度の高い顔検出と視線追跡を可能にし、低照度環境やサングラス越しの検出や追跡が必要な場合のみIRを使う(図3)。

図3 典型的な視線追跡システムからのサンプル画像

これまでの類似したシステムでは、たとえばヘッドマウント眼鏡やヘッドセット等を用いて非常に近くから顔検出・視線追跡を行うか、もしくは目からの反射を使って視線を検出する角膜反射のために40cm~120cm程の近距離からのIRライトが必要だった。

つまり、通常850nmまたは940nmのIRのLEDを使用し、IRを通すためだけに狭帯域フィルタを使うことになるため、IRを用いた際に眼鏡やサングラスの反射が多くなる。

また、IRライト多用による高いシステムコストとLEDによる消費電力が高くなるだけではなく、人物の目にIRライトがあたる必要があるため複数人の視線を追跡できない。

さらに、IRライトと視線を算出するためのカメラセンサ間での幾何学計算のためカメラやIRライトの設置場所に制限がある等数多くの課題があった(図4)。

図4 センサが捉える光子
出典:OmniVision

当システムは、必ずしも照明を必要とせず顔検出と視線追跡ができるため、精度が高いにもかかわらず消費電力を抑えつつ上記の問題点を解決できる。

非常に低照度な環境や、サングラスを通して視線を追跡する場合にはIRが必要となるが、それ以外ではIRは不要となり結果として眼鏡やサングラスの反射を軽減できる。

そのため、IRのLED削減によるコストカットや消費電力の低減と熱問題の解消、人物から離れていている場合や複数人の視線追跡が可能など、あらゆるメリットを生み出す。さらに高解像度カメラも不要となるため、VGAで十分にドライバーモニタリングを実現できる(図5)。

図5 新技術サンプル画像

さいごに

今後のドライバーモニタリングには、より高い精度とあらゆるユースケースに対応できる機能が求められるようになる。2019年6月に「CoDriver 1.11」がリリースされ、基本機能の精度向上はもちろん、ドライバーの行動予測や手の検知、忘れ物検出などの機能も加わった。

今年度中にはジェスチャーや話者の検知、オーディオプロセスとの組み合わせ、フュージョンなどさまざまなセンサの代わりとなる機能追加に加え、車外センシングにも対応を予定している。

進化する「CoDriver」は、車のドライバー・キャビンモニタリングのみならず、列車やトラム、飛行機など車以外の乗り物にも応用できる。

さらに、医療やセキュリティ、ゲームやロボット、パーソナルアシスタントや広告、テレビや家電などの分野にも応用範囲を広げることであろう。

※映像情報インダストリアル2019年7・8月号より転載

■問い合わせ
株式会社ユビキタスAIコーポレーション
TEL:03-3493-7981
E-mail:sales@ubiquitous-ai.com
https://www.ubiquitous-ai.com/

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください