Baslerのエンベデッドビジョン活用事例

本稿では、Baslerのエンベデッドビジョン活用事例を2例取り上げる。

1つはAI搭載型セルフレジのライブデモンストレーションを実施について、そして、もう1つはエンベデッドワールド2019において実施されたIoTセンサにより画像データをより効率的かつスマートに識別することが可能なエンベデッドビジョンシステムのライブデモンストレーションについて紹介する。

活用事例1：AI搭載型セルフレジ

BaslerはAI搭載型セルフレジのライブデモンストレーションを実施した。このセルフレジにはカメラが組み込まれており、買い物カゴの中身を素早く読み取って価格を表示することができる。

デモンストレーションの中では、AIとエンベデッドビジョンを組み合わせることにより、豊かな暮らしに貢献するその革新性な機能の数々を紹介した。

よりコンパクトかつ高性能に進化し、低コスト・省電力・省スペースが求められる用途での活用が進んでいるエンベデッドビジョン。

業務の自動化や簡易化を図るためにエンベデッドビジョンを導入している業界の中には、もちろんリテール業も含まれる。

リテール業では、買い物を便利にする機器として、ベルトコンベヤ上を流れる商品のバーコードをスキャナで読み取って記録する機能などが搭載されたセルフレジが注目されている。

従来のセルフレジは色や形状から商品を識別するが、この方法では照明条件などが変化した場合に読み取り精度が低下する恐れがあった。そこで登場したのがAI搭載型セルフレジである（写真1）。

最新のAI技術を活用すれば、環境の変化にかかわらず、バーコードなしで大量かつ多種類の商品を素早く簡単に読み取れるようになる。AIとムダのないエンベデッドビジョン。

Baslerがその両方を組み合わせて開発したセルフレジが、今まさにリテール業の新たな可能性を切り拓こうとしている。

写真1

AI搭載型セルフレジのソリューション

今年2月にドイツ・ニュルンベルクで開催されたエンベデッドワールド2019において、BaslerはNXPセミコンダクターズ社の協力の下、AI搭載型セルフレジのデモンストレーションを行った。

このセルフレジにはカメラが組み込まれており、買い物カゴの中身を撮影した後、学習済みのニューラルネットワークがその映像を基にして、顔認証と同じ方法で全商品を素早く読み取り、合計価格を表示する。

デモンストレーションで紹介したAI搭載型セルフレジは、間もなく実際の売り場に導入される予定である。

1）ハードウェア
今回のAI搭載型セルフレジは、新たに登場予定のBaslerエンベデッドビジョンキットを使用して開発されたもので、最先端のエッジコンピューティングを含め、様々な技術が使用されている（写真2）。主な構成機器は次のとおり。

・dart MIPI対応BCON搭載モデル（センサ：オン・セミコンダクター社製AR1335）
・NXPセミコンダクターズ社製SoC i.MX 8QuadMax
・i.MX 8QuadMax用プロセッシングボード
・SMARC 2.0対応キャリアボード

写真2

2）ソフトウェア
AI搭載型セルフレジに使用されているソフトウェアには、大きく分けてシステムソフトウェアとアプリケーションソフトウェアの2種類がある。

エンベデッドシステムであるセルフレジをスムーズに動作させるためには、システムソフトウェアの各コンポネントをつなぎ合わせ、一貫して機能するようにしなければならない。

今回のセルフレジにはBaslerが長年にわたって蓄積してきたソフトウェア技術（BSP、Yoctoなど）が使用されており、ムダのない高性能なエンベデッドシステムに仕上がっている。

一方、アプリケーションソフトウェアはIrida Labs社がカスタマイズしたコンボリューショナルニューラルネットワーク（以下、CNN）を基に開発された（写真3）。

このCNNには最先端技術であるディープラーニングとエッジコンピューティングが使用されており、どんな環境にも素早く的確に対応できるようになっている。

また、エッジ処理を採用しているため、商品情報の学習はホスト側、推論はエッジ（端末）側で行う。

写真3

3）特長
Baslerのセルフレジの特長を以下に挙げる。

・IoTを活用することにより、ホスト側で学習した商品情報をエッジ側で素早く利用できるなど、商品の追加やスケールアップが簡単。
・高性能なカメラを搭載しているため、迅速かつ正確な推論が可能。
・業界で定評のある製品寿命の長いハードウェアを使用。
・IoTとエンベデッドシステムを融合することにより、低コストでムダのないデザインを実現。
・コンパクトなので様々な場所に設置可能。
・年中無休の24時間営業店舗を含め、どんな店舗においてもレジ清算の高速化、レジ待ち行列の解消、大量の商品の処理が可能であるなど、人件費の削減や顧客満足度の向上に最適。

活用事例2：スマートIoTセンサ活用のエンベデッドビジョンシステム

クラウド上でイメージセンサをはじめとする幅広いセンサをスマートに接続することが可能なモノのインターネット（以下、IoT）。

IoTを活用すれば、画像データを解析して後続処理に利用したり、クラウド上でメンテナンス作業（ファームウェアのアップデート、撮影のセットアップなど）を行ったりすることができる。

画像認識システムが今、ますます多くの用途で重視されるようになっており、たとえばシンプルな例を挙げると、カメラの撮影データをクラウド上に転送して解析し、識別するシステムなどがある。

しかし、カメラをはじめとするIoTセンサは、非常に狭い帯域幅でしかクラウドに接続することができない場合が多く、大容量の画像データの転送に膨大な時間がかかる。

このような問題の解決策として、低フレームレートによる撮影や画像データの大幅な圧縮が考えられるが、フレームレートを下げたために肝心な部分が撮影できていなかったり、データの過度な圧縮が画像情報のロスにつながったりするなど、満足のいく結果がなかなか得られないのが現状である。

しかも、データを小さく圧縮したとしても帯域幅が足りない可能性が高く、撮影画像がクラウド上にアップロードされるまでにレイテンシが発生することも考慮すると、リアルタイムな処理は非常に困難であるといえる。

Baslerエンベデッドビジョンシステムのソリューション

画像データの効果的な解析方法の1つとして、エッジ処理と呼ばれるものがある。この方法ではエッジ側、つまりカメラ内で撮影対象物の特徴を識別し、解析データ（画像の識別情報）のみをクラウド上に転送する。

そのため、帯域幅が非常に狭くても、クラウドへのデータのアップロードや後続処理をスムーズに行うことができる。

1）ハードウェアとアプリケーションソフトウェア
Baslerでは、展示会において賞も獲得したエンベデッドビジョンキットを使用し、エッジ側にスマートIoTセンサを搭載したエンベデッドビジョンシステムを開発した（写真4）。システム構成は次のとおり。

・Basler dart MIPI対応BCON搭載モデル（写真5）
・96BoardsTM仕様のプロセッシングボード（Qualcomm®社製SoCSnapdragonTM搭載）
・96BoardsTM仕様のメザニンボード（カメラモジュールとプロセッシングボードを直接接続可能）

写真4

写真5

このエンベデッドビジョンシステムは、カメラモジュールからインポートした画像データをプロセッシングボード上で直接処理するため、高いフレームレートで撮影することができる（図1）。

図1 エンベデッドビジョンシステムの構造

開発の際には、さまざまなレゴフィギュア（大工、宇宙飛行士、コックなど）と交通標識を使用し、それぞれの違いを識別させた。

識別作業は人工知能（AI）が行うが、ニューラルネットワーク（ディープラーニング）の中でも特殊なコンボリューショナルニューラルネットワーク（CNN）を採用することにより、処理能力を大幅に向上させている。

ニューラルネットワークを構築するには、最初にサンプル画像を使用して撮影対象物の特徴を覚えさせなければならない。

この「学習」の工程では、処理能力の高いハードウェア（高性能なグラフィックカード）が必要になる。

しかも、要件を満たすハードウェアを準備したとしても、学習には最低でも数日の時間を要する。

代替案としては、アマゾンウェブサービスがレンタルしているハードウェアクラスタを学習に使用する方法もある。

ニューラルネットワークの学習が終了した後は、実際の識別作業に必要な設定情報をプロセッシングボードに転送する。

なお、プロセッシングボードはデプロイメント用の処理能力が低いもので十分である。

転送が完了すると、最終的なハードウェア（エンベデッドプロセッシングプラットフォームなど）上で学習が完了したニューラルネットワークを利用し、「推論」と呼ばれる実際の処理を行うことができるようになる。

今回SoCに採用したSnapdragonは、処理能力の高いヘテロジニアスアーキテクチャ（CPU：Kryo（クアッドコア）、GPU：Adreno 530、DSP：Hexagon 680）になっており、一般的な画像処理に最適である。

特にGPU（Graphic Processing Unit）とDSP（Digital Signal Processor）は、CNNを利用した推論に理想的なハードウェアであるいえる。

Baslerでは、2種類のCNNにレゴフィギュアと交通標識を学習させた。学習済みのCNNの容量はわずか数メガバイトと非常に小さいため、接続環境が悪い（帯域幅が狭い）場合でも、クラウドからエッジデバイスにスムーズに転送できる。

レゴフィギュア用のCNNが転送されると、エッジデバイスがレゴフィギュアを高い精度で識別し、狭い帯域幅でも少ないレイテンシで識別結果をクラウド上にアップロードする。

しかも、交通標識を識別させたい場合は、同じエッジデバイスに交通標識用のCNNを転送するだけで済む。

このほか、優れた拡張性も大きな特長で、エッジデバイス同士をクラウドで接続し、OTA（Over The Air）と呼ばれる無線ネットワーク機能を利用して制御すれば、複数のカメラモジュールの設定変更やメンテナンス作業（ファームウェアのアップデート、別の識別作業に使用するCNNの追加など）を同時に実施できる。

2）メリット
今回採用した方法のメリットは次のとおり。

・狭い帯域幅でもセンサとクラウド間でスムーズな接続を構築できる。
・クラウド上のアプリケーションがセンサからの情報を検知するまでのレイテンシが少ない。
・OTAを利用できるため、複数のセンサのリモートメンテナンス（センサの設定変更、ファームウェアのアップデート、別の識別作業に使用するCNNの追加など）にも最適。