ユーザーのアプリケーションに対して柔軟な対応が可能なTOF方式の3次元計測カメラ

物体認識や距離計測・監視といった市場において、情報収集の主体であるカメラからの2次元画像情報に加えて3次元情報の活用に対する需要が増えている。

対象物までの距離情報を「点」で取得するだけではなく、対象物を含む画像全体の距離を「面」で得たい場合に有効なのがTOFカメラである。

TOFカメラは距離データとIR画像を同時に出力可能で、出力データは機械学習、AI処理などにも活用できる3次元センサのひとつとして注目されている。

東京エレクトロンデバイス株式会社では、ユーザーの使用用途に合わせたカスタマイズや、組み込み用途にも対応できるモジュールタイプのTOFカメラを提供している。他のセンサやアプリケーションソフトウェア等との組み合わせも含めたソリューション提案を行っていく。

TOFカメラとは

TOFとはTime Of Flightの略で、照射した光線が対象に当たり、反射光が戻るまでにかかる時間から距離を計測する技術を指す。このTOF方式を用いた測距センサを搭載したカメラを一般にTOFカメラと呼ぶ。

TOFカメラでは、撮像した画素1ピクセルごとに距離情報が出力されるため、画面に映る範囲全体の距離情報を1フレームごとに取得することが可能である（図1）。

図1　TOFカメラ概要

TOFカメラの特徴

反射光を取得しその値から距離計測するという手法であるので、対象物の反射率の差や計測環境による影響を受け、その影響が誤差となり精度に直結するため、TOFカメラではmm単位以下の精度を必要とする「計測」用途よりも、対象の形状や動きを捉える「認識」や「監視」の用途に適しているといえる。

また、距離データを用いて認識したい測定エリアを絞ることや、対象物を背景と切り分ける（マスキングする）ことで、物体の認識や監視のためのデータをよりクリアに抽出できる。

さらに、距離データを立体形状の認識・識別のために用いることも可能である。2次元カメラだけで同様の処理を行うには、複雑な画像処理により背景を分離する必要があり、立体形状の認識を行うには複数台のカメラが必要となる。表1に3次元計測方式の比較を示す。

表1　3次元計測方式の比較

広がる用途

前述のとおり、TOFカメラは「計測」用途よりも「認識」や「監視」の用途がメインになるが、その中でも、人間を認識してカウントや見守りをする、または動きの検知やジェスチャ認識をする等のアプリケーションへの応用が期待されている。

複数のセンサやカメラを組み合わせたソリューションが増えていく中で3次元情報を必要とされる場面は、今後さらに拡大すると考えられる（図2、3）。

図2　TOFカメラの認識・検出対象の例

図3　応用例―人流検知のシステム構成

TOFカメラモジュールの特徴（東京エレクトロンデバイス株式会社：3D TOFカメラモジュール）

TOFカメラを用いて近距離から遠距離にわたってさらなる精度向上を図るためには、反射光を効率よく捉えるとともに、より高速に距離測定の処理を行う必要がある。

そのため、3D TOFカメラモジュールでは太陽光のスペクトル強度の低い赤外波長940nmを使用するセンサを搭載することで、取得できる反射光を多く捉えることを実現した。

加えて、当該センサは距離画像をフレーム単位で取得するため、レーザーで対象物をスキャンして測距する方式に比べて高フレームレートでの撮像が可能となり、動く対象物の撮像における距離画像のゆがみを抑えることができる。

また、基板を複数枚構成として機能を分割することで、ユーザーが製品に採用する際にカスタマイズが必要となった場合には、受託開発でそれぞれの基板に対しての開発を柔軟に対応できる形状になっている。

開発環境

東京エレクトロンデバイスでは、TOFカメラモジュールと一緒に、Windows7, 10およびUbuntu18.04用のサンプルアプリケーション提供しており、各パラメータをGUIにて調整可能である。

さらにAPIについてもSDKでの提供を行うため、ユーザーは都度レジスタアクセス等を行う必要なく画像処理に専念できる（図4）。

図4　3D-TOFカメラとともに提供されるサンプルアプリケーション

今後の展開

TOFカメラ単体での活用だけではなく、TOFカメラ・画像処理ソフトウェア・クラウドの3点を組み合わせることによって、人を自動で検知し測定エリア内の人のカウント・追跡するといった「見える化」を行うことができる。このような人の動きの「見える化」は、省人化などの課題に対しての解決策を探る糸口になると期待される。

また、植物工場での生育監視や収穫ロボットへの応用、物流分野への応用や、自動運転化のための3Dデータ収集等、計測データを収集するだけでなくクラウド上でデータを解析することで、データ活用の幅を広げることに期待できる。

IoTにおいては、TOFはセンサのひとつとして3Dデータを取得するために有用であるといえる。東京エレクトロンデバイスでは、新製品であるTB-TOF-EA930SU-IVを2019年末にリリース予定である（図5）。