最近の自動車に装備のセンサ群を見てもわかるように外界検出などのためにはターゲットまでの距離・ターゲットの3D形状・3D情報を取得することが重要になってきている。その流れのなか、コンパクトで高性能なToFカメラが待望されていたと思われる。
ここで紹介するLucid Vision Labs社（以下、Lucid社）の世界最高性能ToFカメラHeliosは、SONYのToF用に開発された撮像素子を使用してLucid社がカメラ化したものである。
撮像素子そのものがもたらす性能はもちろん、キャリブレーションにおいてもよく作り込まれており高性能なToFカメラになっている。ROSにも対応しロボット用途も意識している。
本稿では本カメラの紹介をし、計測例を示しながら特性に触れ、今後の展開についても述べる。
SONY IMX556を搭載したToFカメラ「Helios」
Helios（図1）のハードウェアはSONYのDepthSenseテクノロジーを体現した撮像素子IMX556PLRと光源となる4個のVCSEL（Vertical Cavity Surface Emitting Laser）を統合したものである。以下で高精度ToFカメラを実現する場合のキーとなったテクノロジーを見ていくことにする 1～4） 。
図1 Helios外観
1）CAPD（current assisted photonic demodulator）
ToF技術は基本的には光源からの光が反射して返るまでの時間を計測する。直接送受の時間差を計測する方法もあるが、このセンサではcontinuous wave（CW）変調という特別な方法を使う。
これはまたCW phase-shift、間接ToF（indirect Time of Flight）とも呼ばれる。単発の光パルスの遅延を測るかわりに連続変調された光を照射して、この照射光と反射光の間の位相シフト量を求めて距離の計算に使う。
位相シフト量を輝度値の差に置き換えて計測する方式であり、出射タイミングに同期した0°、90°、180°、270°の4種の輝度信号を用いる。
IMX556のCAPDピクセル構造では図2のように蓄積のための接合部（b1、b2）を2つもち、制御電流のコントロールにより光で生起した電荷をどちらに蓄積していくか制御できる 5） 。
図2 CAPD構造
したがって1つの位相信号の蓄積期間でb1、b2による2つの輝度信号が得られる。たとえば0°のb1と180°のb2は同じ信号でありこれらを加えることで光電変換時の揺らぎ成分をキャンセルできる（図3）。
図3 b1＋b2による揺らぎ除去
レーザ出射ONOFFにかかわらず存在する外乱光による反射光成分についてはb1信号-b2信号を作ってやることでキャンセルできる（図4）。
図4 受光の蓄積期間を表すタイミング図
ターゲット面の反射率、距離による減衰成分は信号ゲインとみなせるので［0°の輝度値］／［90°の輝度値］のように比をとることでキャンセルできる。この値は位相シフト量と1対1に対応している。これらの原理により正確な位相シフト量を計算できる。
2）裏面照射CMOS
CAPDは効果的な復調フォトダイオード内部の電子の蓄積手段を提供する。しかし反射光は邪魔されることなくフォトダイオードに到達しなければならない。
SONYの裏面照射テクノロジーは最大限の光がフォトダイオードに到達することを保証する。従来の前面CMOSデザインと異なり裏面照射センサはワイア層をフォトダイオードの下に置いて光感度を向上させている。
この配置により入射光の一部を遮る可能性のあるワイアや部品を入射面からなくした。
3）VCSEL
距離計算用に使用される出射光源はToFカメラの性能に対しとても重要な役割を果たす。信頼性を上げるためHeliosでは4個のVCSEL（Vertical Cavity Surface Emitting Laser）を採用し変調光を出射している。
VCSELの出射光は850nmの狭帯域でピークパワーが高く、立上り立下りが早くToFに適している。850nmで狭帯域であるので可視光領域光（380～740nm）を含まず、他の2Dカメラと干渉しない。
また、端面出射型に比べ、コヒーレンシーが低いのでスペックルが発生しない。さらにこの波長は受光側の感度が高い（図5）。ピークパワーが高いことで反射戻り光が増し、ノイズが減り、外乱光への耐性が増し、距離計算の精度が上がる。
図5 受光側量子効率
キャリブレーション
Heliosに限らず、ToF型3Dセンサでは誤差のもととなる要因がいくつかあり、それらにキャリブレーションなどで対応しない限り、計測レンジ内での高い精度は望めない。
要因としては、ワーキングディスタンス、温度、画角（方位角）などがあるがHeliosではこれらの要因のレンジごとに丁寧にキャリブレーションがなされており、キャリブレーションデータは個別のカメラごとに埋め込まれている。
計測時にはこれを読み出し、カメラ内でこのデータで補正された計測値が計算され、出力される。これにより高い精度を保証している。
仕様
計測例
Heliosで計測したいくつかの例について紹介する。
1）人物[Near Modeによる]
図6は人物を撮影しZ座標（光軸方向）値で色付けしたものである。衣類の厚みや顔の造作までとらえられているのがわかる。
図6 人物 前面と側面
2）チェッカーボード[Far Modeによる]
水平に置いたA1サイズのチェッカーボードを斜め上から計測した。距離は最近点が1,330mm最遠点が2,010mmである。黒地については反射光が戻らず計測できないので白地部分だけで評価する。図7に面に平行な方向から見た短辺を示した。キャリブレーションによる補正が有効になされていて、直線であることが確認できる。
図7 チェッカーボード（上）、短辺（下）
3）植物[Near Modeによる]
図8の写真の植物を計測した。距離15cmで一巡するように色付けしたものが図9である。葉の形・配置がよくとらえられている。
図8 ターゲット植物
図9 植物のpointcloud表示
今後の展望
1）Helios Embedded
Lucid社から、2019年末、Heliosの画像取り込み出力部だけが独立した形のHelios Embeddedが出荷予定である。
これは、現在AI, DeepLearning分野で注目されているJetson TX2 にHeliosの距離計算のもとになるraw画像データをMIPIコネクタを通じて送るものであり、Jetson側での距離計算は提供するArenaSDKがサポートする（図10）。
図10 Helios EmbeddedとJetson TX2
TX2と組み合わせるときraw画像がフレームデータとして得られることでAIシステムとしてのパフォーマンス向上が期待できる。
2）RGBDplus
ビュープラスは距離データ（3Dデータ）とともにテクスチャデータも必要な用途向けにHelios＋2カラーカメラで構成される。カラーテクスチャ同期 ToF カメラシステム「RGBDplus」を開発中で2019年末に発売予定である。
このシステムではHeliosの3D出力と両端のカメラ画面のキャリブレーションがなされ3D出力の各点に対し対応した点のテクスチャ（RGB）情報が提供される（図11）。
図11 RGBDplus外観
おわりに
Lucid社ToFカメラHeliosについて紹介した。HeliosはSONYのDepthSenseテクノロジーを体現したIMX556と光源となる4個のVCSEL（Vertical Cavity Surface Emitting Laser）を統合したものであり、優れたキャリブレーション技術と相まって高精度で距離レンジの広いToFカメラである。
その特性を説明するための計測例を交えて紹介した。またJetson TX2とのI/Fを備えたHelios Embeddedと弊社のテクスチャとPointCloudデータをセットで出力するシステムRGBDplusについても紹介した。これらが画像計測を含む計測の分野で広く使われることを願っている。
参考文献
1） Helios 紹介. https://thinklucid.com/helios-time-of-flight-tof-camera/
2） Helios Datasheet. https://thinklucid.com/product/helios-time-of-flight-imx556/
3） Helios Tech Brief. https://thinklucid.com/tech-briefssony-depthsense-how-it-works/
4） SONY ニュースリリース. https://www.sony.co.jp/SonyInfo/News/Press/201706/17-059/index.html
業界最小画素の裏面照射型Time of Flight方式距離画像センサーを開発（2017/6/17）
5） CAPDテクノロジ. D. Van Nieuwenhove, W. Van der Tempel, R. Grootjans and M. Kuijk.“Time-of-flight Optical Ranging Sensor Based on a Current Assisted Photonic Demodulator”ProceedingsSymposiumIEEE/LEOSBeneluxChapter, 2006,Eindhoven
■問い合わせ
株式会社ビュープラス
TEL：03-3514-2772
E-mail：vpcontact@viewplus.co.jp
http://www.viewplus.co.jp/
コメントを残す