東芝デバイス＆ストレージ株式会社（以下、東芝）は、車載カメラからの入力映像を画像処理した後に自動車周辺の車線、車両、歩行者、標識などを検出して、検出結果を出力する画像認識プロセッサLSI Visconti TM ファミリーを開発し、商品化している。
これらのプロセッサは、画像認識のために必要な各種処理を行う画像処理アクセラレータを搭載していることが特徴であり、低消費電力で高度な画像認識処理をリアルタイムで実現できる。
1.Visconti TM ファミリー開発の経緯
東芝は、郵便自動区分機を製品化以来数々の画像認識応用システムを開発してきた。これらの製品を実現するための画像認識アルゴリズムの研究を重ね、それらをバックボーンとしてVisconti TM ファミリーは画像認識応用システムのノウハウ、アルゴリズムやライブラリの知見、画像処理プロセッサのアーキテクチャからどのようなハードウェア、ソフトウェアが望ましいかを検討し、開発している（図1）。
図1 画像認識プロセッサTM ファミリーロードマップ
東芝は、90年代から画像認識プロセッサLSI開発に取り組み、2001年にテストチップを発表、さらなる改良を積み重ね、2003年に第1世代製品のTM を発表し、2004年から先進運転支援システムや監視カメラ等に採用された。
2011年には、人物認識に適した画像処理アクセラレータ群の搭載に加え、新たにカラーカメラに対応した Visconti TM 2 シリーズの製品化に続き、2013年にARM®Cortex®-A9 MP Coreを追加搭載したVisconti TM 3シリーズを製品化した。
現在、夜間の歩行者認識をさらに向上させるVisconti TM 4シリーズを開発した。近年、自動車の安全技術は急速に進歩しており、先進運転支援システムの急速な普及や、EuroNCAP（European New Car Assessment Program）の安全性能試験項目への、自動車や歩行者を対象とした自動緊急ブレーキの追加、さらに自動運転へと広がりを見せている。
2.技術特徴、優勢性
Visconti TMファミリーは、先進運転支援システムに求められる、様々な画像認識処理をハードウェア化することで、認識処理を高速に実行できる処理性能の高さと低消費電力動作を高いレベルでバランス良く実現する。
画像認識処理の各ステップで多用される画像処理を、きわめて高速にかつ低消費電力で実行する画像処理アクセラレータを搭載する。
Visconti TMファミリーは、魚眼・広角レンズの歪を補正したり、視点変換を行うアフィン変換アクセラレータに加え、ノイズ低減・エッジ検出・色空間変換などの画像処理を行うフィルタ・アクセラレータ、ヒストグラム作成を行うヒストグラム・アクセラレータおよびステレオカメラ視差計算や動き検知を行うマッチング・アクセラレータを搭載している。
Visconti TM 2とVisconti TM 3シリーズは、人物認識に適した輝度勾配方向ヒストグラム（HOG:Histograms of Oriented Gradients/CoHOG:Co-Occurrence Histograms of Oriented Gradients）特徴量を扱うHOGアクセラレータを搭載し、静止した歩行者もリアルタイムに検知が可能である。
現在、開発中のVisconti TM 4シリーズは、従来製品で対応していた輝度勾配方向ヒストグラムだけではなく新方式の色情報を用いた特徴量を加えた複合特徴量を扱うEnhanced CoHOGアクセラレータを搭載し、夜間の歩行者認識をさらに向上している（図2）。
図2 TM 4シリーズの画像認識処理の流れ
2.1 複数の画像認識アプリケーションの同時実行
メディア プロセッシング エンジンMPE（Media Processing Engine）は、東芝オリジナルの低消費電力32ビットRISCコアのMeP（Media embedded Processor）に画像処理などマルチメディア処理に適したコプロセッサIVC2または第2世代のIVC2F（Image recognition VLIW Coprocessor with FPU）を実装する。
また、1命令で複数のデータを同時に演算するSIMD（Single Instruction stream Multiple Data stream）技術と複数の命令を同時に発行できるVLIW（Very Long Instruction Word）技術を実現する。
第2世代のIVC2Fは、倍精度浮動小数点演算を効率よく実施することが可能である。TMファミリーは、MPEを複数個搭載したマルチコア構成のため、複数の画像認識アプリケーションの同時実行を実現する（図3）。
図3 TM 4シリーズのブロック図
具体的には一般障害物検知、赤信号認識、運転者監視、車線逸脱警報・車線維持支援、車両および歩行者の衝突警報・回避支援、対向車ヘッドライトや先行車テールランプ検知によるハイ・ロービーム切替え支援、電光掲示タイプを含む速度規制などの標識の認識などのアプリケーションを同時に処理することができ、高度な先進運転支援が可能になる（図4）。
図4 車載前方監視カメラを用いた安全機能
2.2 複合特徴量による東芝独自の認識アルゴリズム
Visconti TM 2とVisconti TM 3シリーズは、東芝独自の画像特徴量である輝度勾配方向共起ヒストグラムCoHOGを搭載する。
さらにVisconti TM 4シリーズは、色情報に関する色勾配方向共起ヒストグラムColor-CoHOG、エッジ直交方向色差分共起ヒストグラムCoHED（Co-occurrence Histograms of pairs of Edge orientations and color Differences）、直線方向色差分共起ヒストグラムCoHD（Co-occurrence Histograms of color Differences）、2次カラーヒストグラム（Color Histogram）といった4種類の特徴量の処理を追加する。
これらの特徴量を組み合わせて画像認識をすることにより、夜間など背景と対象物の輝度差が少ない画像に対しても高い認識性能を実現した。夜間歩行者認識は従来機種での昼間歩行者認識と同等レベルに性能を向上させる（図5）。
図5 TM 4シリーズの夜間歩行者認識
2.3 不特定の障害物（静止障害物）検知
新製品は単眼カメラの時系列画像情報から静止障害物の3次元形状の再構成が可能になり、事前に対象物を登録したパターン認識だけでは難しかった不特定の静止障害物の検知ができる。
自動車の前方あるいは後方監視カメラシステムにおいて、路上の予期せぬ落下物や見落とした静止障害物の有無検知、その障害物の位置や高さ・幅の推定などが可能になる。
また、3次元再構成情報を利用することで、増大する認識対象物の探索候補を削減し、パターン認識を高速に処理することが可能となり、より迅速な運転支援・制御の実現が可能となる（図6）。
図6 TM 4シリーズの3次元再構成技術
3.アプリケーション実施例
Visconti TM ファミリーは、車両のフロントカメラによる自動緊急ブレーキなどの予防安全装置以外に車室内カメラによる運転者の個人認証による盗難防止や顔向き認識による脇見・居眠り運転警報などを実現できる。
さらに、複数のカメラ入力画像をリアルタイムに処理し、後方歩行者検出衝突警報や鳥瞰表示駐車支援など様々な運転支援のためのアプリケーションを実現する（図7）。
図7 TM ファミリーのADASアプリケーション
4.高度運転支援、自動運転の実現に向けて
東芝は、従来の画像処理技術に加えて、パートナーと人工知能技術（Deep Neural Network-Intellectual Property（DNN-IP））の開発に取り組んでいる。
これをVisconti TM ファミリーに搭載することで、多様な対象物の認識、および検知精度の飛躍的な向上および、DSP（Digital Signal Processor）やGPU（Graphics Processing Unit）搭載システムよりも低消費電力での画像処理を実現する（図8）。
図8 DNN-IPを用いた画像認識のイメージ（画像提供：株式会社デンソー）
上：実写の画像 下：DNN-IPを用いて、対象物を判別した画像
今後、より安全で快適な車社会を目指し、自動車市場では先進運転支援システムの重要性がより高まるとともに、将来的には自動運転のニーズが高まっていくことが見込まれている。
東芝は、拡大するニーズに対応すべく、今後もVisconti TM ファミリーを中心に、車載向け半導体製品を積極的に提案していく。
※映像情報インダストリアル2017年8月号『自動車産業で活用される画像技術』特集より転載
■問い合わせ
東芝デバイス＆ストレージ株式会社
TEL.044-548-2821
https://toshiba.semicon-storage.com/jp/company.html
コメントを残す