拡張された3DビジョンIDSが3Dカメラデータの操作をシンプル化 | マシンビジョン大全｜FA（ファクトリーオートメーション）用途で活用する事例を紹介するウェブメディア | マシンビジョン大全

3Dカメラデータによる環境認識により、以前は人間でしか成し得なかった、多数の画期的な適用事例が実現した。これにより、ロボットは人間と同じような方法で物体を認識し、さまざまな状況に自律的に対応できるようになった。

寸法や作業場での位置に加えて、基準とする物体と比較した差異や欠陥について正確な判断を下すこともできる。3Dカメラとカメラデータの操作は非常に複雑で、アプリケーションの開発には多大な準備とセットアップ時間が必要になる。

特にマルチカメラアプリケーションやロボットとの組み合わせでは、データを有効に使用するためには複数の座標系への校正が必要である。システムとの依存度が高いため、有効なデータを生成するために、システムでアプリケーションを直接開発しなければならないことも多々ある。

さらに、多くの3Dカメラの視界と解像度は、広い作業空間に対しては不十分である。新しいEnsenso SDK 2.2と、Ensenso Xシリーズの新しい5MPバージョンを開発するにあたり、こうした要件を考慮した。細部にわたって数多くの改善を実装し、はるかに容易に統合できるようになった。

速度と品質を最適化した多様なモデル

Ensenso 3Dカメラは、静止物体にも移動物体にも適している。FlexView技術を高度なSCアルゴリズム（シーケンス照合）と組み合わせて、カメラモデル N35、X36 1.3 MP、X36 5 MPのビンピッキングまたは高精度物体比較の精度を最適化する。

可動式の高性能プロジェクタはランダムパターンを投影し、テスト被写体の表面構造を画像として作成する。SCアルゴリズムはこの出力を使用して3D物体データを計算する。画像ペア（最大16）を追加して精度を向上できる。

Ensensoは、連続するコンベアベルトの上や、カメラ自体が動く場合など、移動する被写体を扱う用途にも適しており、カメラモデル N30、X30 1.3 MP、X30 5 MPで利用できる。

最適化されたSGMアルゴリズム（セミグローバルマッチング）で、1つの画像ペアから高精度の奥行情報の取得が可能になっている。IDS WebサイトのEnsensoカメラ選択ツールを使うと、各用途に適したカメラを容易に見つけ出せる。

センサの解像度を増やして視野を拡大

2台のSony IMX264 5MP画像センサを搭載したEnsenso 3Dカメラファミリーは、以前の1.3MPバージョンと比較して3D画像解像度がおよそ35％向上し、視界はおよそ20％拡大している。

容積120×80×100cmの梱包されたユーロパレット全体を撮影するとき、カメラとテスト被写体との距離を1.5mから1.25mにまで縮められる。この結果、元のセンサ解像度の使用効率もさらに向上する。

ピクセルノイズが低いSony製センサを組み合わせたため、計算された奥行き情報（Z情報）が、以前の0.43mmから0.2mmという優れた結果に向上している。

計算の高速化によって組み込み用途に対応

センサが強力になれば、当然データ量が増え、結果が出るまでの処理時間が長引く可能性がある。5MPモデルによる基準測定により、完全な3D画像になるまでの画像ペアの画像一致の処理時間が約4倍になったことが確認された。

それでも、16組の高解像度5MP画像ペアによるシーケンス照合の完全な3D画像計算にかかる時間は、約2.5秒ほどであった。これは、ほとんどの用途にとって十分な結果である。

さらに速度が必要な用途では、5MP画像ペアのセミグローバルマッチングにより、計算時間はわずか1.1秒で満足な精度を得られる。重要な計算はCUDAに最適化され、大量のデータや関連する時間のロスに対処する。

NVIDIA GPUによって計算能力が追加され、使用するGPUと対応するアルゴリズムのパラメータ化に応じて、約5倍にまで処理が高速化される。CUDAのサポートにより、3Dアプリケーションは組み込み環境にとって興味深いものとなった。

適切なプラットフォームとして、NVIDIA Jetson TX2ボードが挙げられる。ステレオ計算は256個のCUDAコアにアクセスでき、その後のHALCON Embeddedを使用した画像処理を、空いているARM CPUで実行することが可能だ。

マルチカメラ機能

Ensensoソフトウェアライブラリには多数の便利な機能があり、複数のカメラを1つの用途で連携させることができる。異なるビューと位置を使用して、複数のカメラの座標系を相互に調整するか、実世界の固定点に調整して物体の統一オブジェクト座標に校正する必要がある。

カメラをロボットと連携させて、動きをカメラデータと調整する必要がある場合、ハンドアイ校正も実行できる。統合校正ウィザードがユーザー操作を補助する。

追加のEnsensoステレオカメラのほかに、SDKによって、同じアプリケーションの単眼2D uEyeカメラの統合と校正も非常にシンプルになる。3Dアプリケーションでの検査品質および測定結果は、2Dカメラの能力によって大幅に改善される。

ステレオカメラでは境界領域にある物体の特定は困難だが、2Dカメラのエッジ検出や色認識によって、十分に補完できる。さらに、2Dカメラはバーコードの内容といった追加情報の取得も可能である。Ensensoソフトウェアは、両方の技術の統合を最適化している。

専用に開発した校正パターンも、マルチカメラシステムのセットアップと調節に役立つ。NxLibライブラリは、複数の校正板を使用して、任意のサイズの物体の座標と、カメラ相互の相対位置を認識する。この一部はカメラによってカバーされ、相互に同期ができる。

仮想化による開発とデバッグの簡素化

「File Cameras」および「Virtual Cameras」拡張は、特にアプリケーション開発者にとって便利である。アルゴリズムと処理を改善するため、同一データを複数回デバッグすることが必要である。

ファイルカメラはシステム上で実際のカメラと同様に動作するが、画像はデータセットが格納されたローカルフォルダから得られる点が異なる。この方法でアプリケーションシーケンスを繰り返しシミュレーションできる。

「デモプログラムのバーチャルシーンNxView」

実際のシステムにアクセスしたり状況を再現したりする必要はない。これは理想的なデバッグツールでもあり、ユーザーは問題のあるデータセットを保存して、画像処理の専門家に提供できる。

このようにすると、エラーを簡単に再現できる。「仮想カメラ」では、シミュレーションをオフライン環境で実行できる。データ品質、完全性、解像度、シーンのノイズを、さまざまなカメラモデルで評価できる。

STLまたはPLY形式（3次元データの保存に一般的なファイル形式）のオブジェクトを、目的に応じてインポート、描画、位置決めできる。これにより、実際のシステムをセットアップしなくても、さまざまな種類の検査プロセスの性能評価を実施できる。

手動でのモデル作成に代わるシーンエディタが統合済みである。箱の中にさまざまな部品がばらばらに入っているビンピッキング用途も簡単にシミュレーションできる。

ランダム機能により、仕分けされていないパーツフィーディングの現場など、無数の変数のある状況をテストできる。各Ensensoモデルを「仮想カメラ」として適用できる。

システムをセットアップする前に、該当するモデルをオンラインカメラ選択ツール ^※1から選択してシミュレーションできる。この両方のツールを使用して、3D用途についても事前調査や最適化を容易に実施することが可能となる。
※1 https://jp.ids-imaging.com/ensensofinder.html