e-con Systems社 TARA-ステレオビジョンカメラ

カメラを用いて、物体の形態を数量化し立体形状を把握する3次元ビジョン技術は今日、様々な分野での活用が広がっている。従来、物体までの位置を計測するにはレーザー光線の反射を用いて距離を測定するTOF方式が一般的ではあったが、高速CMOSカメラ、画像処理技術のオープン化と計算処理能力向上により、2つのカメラを用いて得られるステレオ画像からの距離測定技術が注目されている。

本稿で紹介するe-con Systems社の「TARA」は、あらかじめ2つのCMOSカメラを基板に固定し、ケースと一体化することにより、簡単かつ高速に画像の奥行き情報を得ることのできる製品である。

概要

TARAはUVC（USB Video Class）準拠の3Dカメラで、ONセミコンダクター社のMT9V024センサを採用、USB3.0インタフェイスを用いて非圧縮のステレオWVGA（（752×480）x2）解像度の画像を60fpsのフレームレートでホストPCに送ることができる（図1）。

このとき、2つの画像は完全に同期されているため、左右のカメラの視差情報により、物体のまでの距離を測定するアプリケーションに用いることができる。TARAはユーザが自由にステレオカメラアルゴリズムを開発し、プロダクトデザインのなかに取り込むことができるように設計されている。

このステレオカメラはデプスセンシング、ディスパリティマップ、点群処理、マシンビジョン、ドローン、3Dビデオ録画、外科ロボットなど多様なアプリケーションに使うことができる。

図1　TARAの外観写真（筐体あり）

特長

ステレオカメラからの画像情報から奥行き情報を計算するためには、2つの画像の差分（disparity)を用いる。このため、使用されるカメラはフレーム単位で完全に同期されている必要がある。

TARAではCMOSセンサにONセミコンダクター社のグローバルシャッタ型CMOSセンサMT9V024を採用しており、高速（60fps）かつローリングシャッタ現象の影響を受けない、画像取り込みを実現している。ステレオカメラを構成する2つのセンサは基板に60mmの間隔で固定され、ハウジングに収められている。

また、従来2つのセンサでステレオカメラを構成する際に必要となるキャリブレーション処理については工場出荷時において、あらかじめキャリブレーション処理が行われているため、ユーザはすぐにアプリケーション開発をスタートすることができる。

TARAは6軸のIMU（3軸ジャイロ、3軸加速度センサ）を内蔵し、このIMUのデータはストリーミング出力される映像に付加されて出力されるため、IMU情報と完全に同期したロボティクスアプリケーション開発を可能としている。

TARAの主な仕様

表1にTARAの主な仕様を示す。

表1　TARAの主な仕様

ソフトウェア開発環境について

TARAには、TARASDKソフトウェアが付属され、TARAを制御するために必要となるAPIが用意される。TARASDKソフトウェアはWindows用ならびに Linux 用が標準で用意される。SDK はOpenCVと統合機能があり、OpenCVの豊富な機能をすぐに使用することができる。ホストPCまたは組み込みシステムでSDKを実行するために、SDKの外部に特別なドライバは必要としない。

また、WindowsならびにLinux API Manualには、アプリケーションを構築する際に行うことができる様々なAPI呼び出しの詳細が記載されており、たとえばAPIを通じてカメラのキャリブレーションファイルにアクセスができる。図 3 にTARASDKを使用する際のブロックダイアグラムを示す。

図3　TARASDKブロックダイアグラム
(Windows用、Linux 版では DirectShow Frameworkに代わり、V4L2Frameworkとなる）

TARASDKにはいくつかのサンプルアプリケーションプログラムが付属しており、すぐに距離を測るなどの機能をテストすることが可能である。図4にサンプルアプリケーションのひとつTARADepthViewr.exeの例を示す。

右下のウィンドウにキャプチャしている画面の深さ情報がカラーで表示される。また、任意の箇所にマウスポインタを置くと、その位置までの距離がリアルタイムに表示される。

図4　 SDK内のサンプルアプリケーション（TARADepthViewer.exe）

アプリケーション例

マシンビジョンによるアプリケーションは多岐に渡り、いまさら例を挙げるまでもないが、ステレオカメラを用いた応用例として、以下が挙げられる。

• 小売店における自動レジ：
商品の認識、個数を確認する際に必要となる立体情報の取得

• 物流現場における貨物の仕分け：
瞬時に箱の大きさを3次元情報で把握

• 入退出管理システム：
データセンターなどのセキュリティが重要となる出入口上部に設置することにより、共連れなどの検知を行う。また、商業施設における入場者／退場者数のカウントにも用いられる。

• 自動ナビゲーションシステム：
SLAM（Simultaneously Localization and Mapping）技術を用いることにより、自律移動ロボットや、倉庫などにおける障害物検知

• セキュリティシステム：
虹彩認証システムにおける精度向上のため、顔までの距離を補助的に測る

• 3Dペインティング：
VR用コンテンツ作成の手段に用いられる、3Dペインティングの入力デバイス。

これらの応用事例については、すでに国内においてもいくつか応用事例がある。

e-con Systems社について

e-con Systems社について簡単に紹介する（https://www.e-consystems.com/）。同社はインドチェンナイ（旧名マドラス）に本社を置く会社であり、CMOSカメラモジュールならびにSOM（システム・オン・モジュール）を中心に製品開発ならびに開発受託を行っている。

従業員の大半はエンジニアであり、カメラモジュール・SOMの開発のみならず、Linux、Android、デバイスドライバ、ミドルウェア、アプリケーションソフトウェアの開発および筐体、基板設計、FPGA設計、バッテリ回路の設計などハードウェアの開発ならびにカスタマの要求に応じたシステム設計のカスタマイズサービスを行っている。

TARAのカスタマイズについても対応が可能である。すでに、国内においてもベースラインの変更、レンズの変更などいくつかの対応を行っている。