当社では3次元ビジョンソリューションとして、2台のカメラを使用したステレオビジョンをFPGAで実現するためのIPコア製品「Stereo Vision IP Suite」を提供している。「Stereo Vision IP Suite」は、様々な分野の組み込み製品にステレオビジョンの仕組みを導入することが可能である。本稿では、「Stereo Vision IP Suite」を具体的に紹介する。
Stereo Vision IP Suiteとは
「Stereo Vision IP Suite」とは、東京工業大学のアルゴリズムをベースに、当社とインテル®（旧アルテラ）が共同で開発、製品化したものであり、ステレオカメラの精度を出すために必要な「補正・校正」、「自動校正」、2台のカメラの視差を利用して対象物の距離を算出する「ステレオマッチング」、物体を検知する「物体検知・追跡」の4つの機能を提供する商品である。この4つの機能について具体的に紹介する（図1）。
図1 システムブロック図
「補正・校正」は、ステレオマッチングに不可欠な歪みなどを取り除いた画像を生成する機能である。カメラの歪みを除去すると同時に、左右カメラの水平および垂直方向等の位置が合うように調整するための「補正」処理と、回転方向等の位置を調整するための「校正」処理を同時に行う独自の補正校正アルゴリズムにより、少ない回路規模で処理することが可能である（図2）。
図2 補正イメージ
「自動校正」は、運用環境の温度や振動等の影響により発生する物理的なズレを校正する機能である。カメラ設置後の入力画像を利用し定期的に自動で校正することにより、カメラ設置時の距離測定精度を維持することが可能である（図3）。
図3 自動校正
「ステレオマッチング」は、2つのカメラ画像の視差から距離情報を生成する機能である。マッチング方式として、SAD（Sum of Absolute Difference）を採用することで、少ない回路規模と低消費電力での処理が可能となり、サブピクセルまでの距離計算や、オクルージョン、特異点除去等の各種ノイズ除去フィルタを搭載しているため、高い精度でのマッチングが可能である（図4）。
図4 ステレオマッチング
「物体検知・追跡」は、ステレオマッチングで生成した距離情報を基に、立体物を検知して、その物体の距離（位置）と大きさを数値化するとともに、フレーム間で物体を追跡し同一物体の移動情報（方向・速度）を数値化する機能である。FPGAを利用することでMPU/DSPよりも高フレームレートでの物体検知が可能である（図5）。
図5 物体検知・追跡
ステレオビジョンの特長と優位性
昨今、広く使用されているセンシング技術として、ステレオビジョンやミリ波レーダ、LiDAR（Light Detection and Ranging、ライダー）がある。 ステレオビジョンは、同一の物体を2つのカメラで異なる視点から観測した際に得られるカメラ画像を用いて、物体の距離や位置等を三角測量の原理に基づいて計測するセンシング手法である。
安価な可視光カメラを用いて得られた画像から、複数の立体物の大きさ、距離、位置、速度等を瞬時に検出することができる。それに対してミリ波レーダは、ミリ波を照射し反射波をセンサで捉えることで、物体までの距離や方向を計測するセンサである。雨、霧、逆光、夜間等の影響を受けず長距離の測定が可能だが、視野角が狭く、物体の材質依存性が高いことが特徴である。
LiDARは、赤外線レーザーの角度を変えて照射することで、周囲の障害物を3次元的に把握できる超高性能なセンサである。視野角も広く180度以上の視野を得ることができるが、赤外線が減衰するため長距離の測定には不向きであり、非常に高価なセンサである。
他のセンサに比べてステレオビジョンは、広い視野角と物体の材質依存性が少ないセンサであり、長距離の測定が可能である。また、得られたカメラ画像は、後段の画像認識（ディープラーニング等）にも使用することも可能である（表1）。
表1 他のセンサとの比較
市場ニーズに対する課題と対策
ステレオカメラは、ロボットビジョンなどのFA機器用途や、防犯・セキュリティ対策などの監視カメラ用途で広く注目されており、これらの用途では、距離および位置情報に加え物体を識別する機能が必要とされている。ステレオビジョンでは、得られる距離と位置の情報を基に物体を検知することは可能だが、物体を識別することができない。
そこで当社では、FPGAを使用したステレオビジョンと組み込みAI技術を組み合わせ、物体検知に加え物体の識別が可能となる、高速・低遅延・低コストのステレオビジョンシステムを開発した（図6）
図6 物体の識別
さいごに
今後、ステレオカメラはロボットビジョンや、防犯・セキュリティなどの様々な分野での活用が見込まれている。当社は、お客様の使用用途に合わせてステレオビジョンを活用してソリューションの提供をしている。ステレオカメラを活用して製品開発を検討される場合は、ぜひご相談いただきたい。
■お問い合わせ
富士ソフト株式会社
TEL.050-3000-2102
E-mail：et-solution@fsi.co.jp
HP：https://www.fsi-embedded.jp/
コメントを残す