遠隔通信システムとAIを活用した VR映像解析のビジネス展開について

株式会社クリーク･アンド･リバー社のグループ株式会社VR Japanは、360度ライブ映像を低遅延配信で双方向アノテーションを実現し、当該映像を表示・視聴・操作するためのVRデバイス専用ビューアによってインタラクティブなコミュニケーションを実現するVR遠隔教育通信システムを開発した。

このシステムは現在、遠隔地にいる医師とリアルタイムのやり取りや遠隔にいる医師が行っている診療のサポート、さらには医療における実技指導の遠隔集合教育を実現することを目指して、痛みの疾患に対する治療法の研究活動と普及活動を推進している一般社団法人日本整形内科学研究会の協力のもと検証を進めている。

本稿では、このVR遠隔医療教育通信技術と撮影映像を解析する技術を使った各種のソリューション活用例について紹介する。

VR技術による遠隔集合教育の革新性～人間の五感を拡張する仮想現実の世界

VR機器で代表的なデバイスであるVRゴーグル（VR-HMD）（図1）はヘッドセットのレンズを通じて、主に人間の視覚と聴覚のバーチャルな空間を再現している。

図1　（株）VR Japanおよび（株）クリーク・アンド・リバー社が主に扱うVRデバイスのラインナップ

五感のうちの視覚と聴覚だけでも、没入感の高い仮想体験を与えられることができるという点で非常に価値の高いものだといえる。今後も発展していくVR技術により、人間の五感全ての再現も期待されている（図2）。

図2　人間の五感を拡張する仮想現実の世界

株式会社VR Japanで今後取り組んでいくVR事業では、「視覚」「聴覚」「触覚」「嗅覚」「味覚」の技術的発展を次のように考えている。

1）視覚
VRで高い没入感のある映像表現として空間認識を可能とする360度映像とトラッキングシステムが重要である。このトラッキングシステムとは加速度センサやジャイロセンサ、または外部カメラのセンサでVRデバイスの向きや位置情報を追跡する技術のことである。

この技術によりVRデバイスを装着したユーザーが歩く、振り向くなどすると視聴映像も追随し、その空間にいるような没入感を与えることが可能となる。

2）聴覚
トラッキングシステムにより得られる空間認識に倣い、実際に人が音を認知する状況と同じ条件の元で収録したステレオ音声を利用することで音に対する距離感、方向性などの聞こえ方の差異をシミュレートすることが可能となる。

3）触覚
電極や振動でVRのフィードバックが得られるグローブ型デバイスや手のひら全体の動きをキャプチャして、手の甲側に伸びたアームで指を引っ張る。

それにより、「物に触った時の反発力を得るバッテリー駆動型のデバイス」、および「手のジェスチャによって機器の操作が可能となるモーションセンサ」を組み合わせることでVR空間内で物をつかんだ際の感触がリアルに再現可能となる。

4）嗅覚
VRデバイスに匂いを再現する複数のカートリッジを搭載しコンテンツ内の利用者操作に応じて空気中に匂いを送出することで仮想空間内の匂いを発生させることが可能である。

5）味覚
「触覚」「嗅覚」で表した技術を用いてVRデバイスから提供する映像は食べたいものを表示し、その食べ物の匂いを送出することで実際に食べているものと違った架空の食事を楽しむことができるような実験が進んでいる。

これによって仮想空間では食べたいものを食べたいだけ食べ、実際に食べているのはヘルシーな食材とすることでカロリー制限をしたり、食べすぎを抑制したりといったダイエット等の用途が期待される。

VRを視聴デバイスとした遠隔通信システム

VR遠隔通信システムは（図3）、対象となる撮影現場の様子を写した360度映像を低遅延・高画質・リアルタイムに配信する。

図3　VR遠隔通信システム概要図

結果、撮影現場を遠隔地からでも強い臨場感をもちながらライブ実況の形でVRデバイスにより視聴できることを実現した。

視聴する360度映像に対して双方向コメント機能、360度アノテーション、同時注釈等の対話機能を充実させることで、物理的な距離を超越して遠隔の撮影現場へのコミットメントを確実なものとしている。

ラズベリーパイカメラによるCNN（Convolution Neural Network）を駆使した画像分類

ARMプロセッサを搭載したシングルボードコンピュータであるラズベリーパイにカメラモジュールを搭載し、取得した映像・画像に対してさまざまな処理が行えるような機能を実装することができる。

当社では市販されているVRカメラの採用にとどまらず、こうしたオリジナルのカメラを製作～利用することでディープラーニングを駆使して画像解析を行っている。

当社のディープラーニングは人間の手を介さずPoc（概念実証実験）やネットワークの学習を繰り返して画像特徴量を自動抽出できるよう目指しており、人工ディープニューラルネットワークの一種で　あるConvolutional neural network（関数gを平行移動しながら関数fに重ね足し合わせる二項演算）により画像や動画認識の処理を行う。

図4は防水等を施した全天候型の360度カメラを用いて屋外市場を撮影し、リアルタイムに監視と買い物客の属性と滞留時間を分析している。

図4　ラズベリーパイカメラによるConvolution Neural Networkを駆使した画像分類

撮影映像は特徴を抽出するために幾重のフィルタをかけ重畳積分により評価導出を行っており、分類される情報はタグの設定により必要対象を発見しメール等でアラートを行える。

VR遠隔通信と映像解析技術の融合～日本の経済・産業が再び復活するために

日本の少子化・高齢化が到来する中、多くの分野の日本国内市場は衰退の一途を辿り、日本の先行き展望に明るい材料はないと言われて久しい。

この日本の置かれた危機的状況を勘案した時、かつて世界一の名を欲しい侭にした製造業（ものづくり）の空洞化を食い止め、対策を講じることが限られた資金・資源・時間に照らし重要であると当社は考えている。

すなわち日本のクラフトマンシップである工房や工場、仕事場で自己の技と鍛錬により職務を遂行し、「安心・安全」の真髄である彼らの物づくりの息吹を伝えることが日本の経済・産業が再び奇跡の復活を成し遂げ、かつての輝きを取り戻し、さらには過去にも増して輝く上で必要とされているのである。

図5は製造業（ものづくり）と消費者との新しい関係づくりとして、移動中の消費者をターゲットに「移動者特有の行動や心理に着目したプロモーション」を表している。

図5　製造業（ものづくり）と消費者との新しい関係づくり

ここでは取扱商品の製造プロセスをどこの誰がどのような思いで作っているかを、生産者自身が全国各地の消費者にVRソリューションを用いて臨場感をもって伝えていくこととしている。

移動者を買い物客に変えるためのキラーコンテンツ～不可視情報の獲得

消費者庁の調査によると、リーズナブルな価格で高品質な商品を手に入れ支出を抑えたい意識と普段の支出を抑えることで高価格で高品質な商品も購入したいという、いわゆる厳選購入の意識が現在の消費者に現れている。

一方、商業環境の充実（コンビニ、駅デパ）によって移動中に衝動的な買い物を行う人が4割を占めるデータもあることから移動者のインサイトを捉え、商品売り場における「見た目ではわからない」不可視情報（商品の製造プロセス）を生産者とともに仮想体験させるVRプロモーションが有効であると考えられる。

生産者自身とともに体験する臨場感溢れるVRコンテンツの視聴は、ライブ配信によるインタラクティブなコミュニケーションも相まって、生産者の自信＝安心・安全を最大限に消費者へアピールでき、他競合商品との差別化となり得る。

また、Convolutional neural networkのAIによる移動者（店頭客）の分析を行うことで、自社製品の長期にわたるファンの発見育成のためのプロファイリングの礎～絆づくりに寄与することになると思われる（図6）。

図6　移動者を買い物客に変えるためのキラーコンテンツ

VR実況映像の遠隔配信システムとAIによる視聴側の属性・行動の解析

個々の生産現場に適応した設置方法によりVRカメラを配置。撮影した映像を遠隔各所の拠点（全国の取り扱い店舗）に配信し、その映像をリアルタイムに視聴してアノテーション同期を行うシステム構成（図7）となる。

図7　VR Liveプロモーションのシステム構成図

このシステムは、配信元の生産現場の商品の製造プロセスを、非常に高い臨場感の中で、リアルタイムに視聴させることを可能するものであり、いわゆる遠隔にある場所の空間認識に基づいた遠隔地で起きていることを仮想体験させるものである。

またこの本稿におけるソリューションシステムは、視聴する側の店舗にラズベリーパイカメラを設置することで視聴者や店舗内の顧客の属性・行動の解析を可能としている。

VRビデオオンデマンド映像の遠隔同期制御システムによるコミュニケーション

商品内容やアピールポイントを360度映像に収め、ビデオオンデマンド配信の形で視聴側がいつでも視聴すること、さらには配信映像に対する解説や相互の質疑応答等をリアルタイムに複数、多人数で行えるシステムとなる。

図8では商品の解説・説明の対象相手をディーラー・バイヤーと想定し、事前にダウンロードした視聴者側のゴーグル映像を生産者側が遠隔で操作制御を行いながらリアルタイムに進行していくイメージとなる。

図8　VR VOD（ビデオオンデマンド）プロモーションのシステム構成図

複数、多人数の視聴者側が商品の質問を行いたい場合は、ゴーグルの専用ビューアに実装された所定の挙手アイコンを使い表示申請すると、生産者側の操作端末に同期表示される。

複数多人数とのコミュニケーションを統制することを鑑み、生産者側の発声許可承認を得られた者のみが質問を行うことができる。

遠隔通信システムのプラットフォーム

当社では遠隔ソリューションシステムの利用者に向けたサービスとしてコンテンツの配信・更新／メンテナンス／ユーザー管理（ログイン・DL・UP・履歴等）／スケジュールカレンダー管理機能といった専用のプラットフォームを用意し、長期間・大規模な遠隔ソリューションの活用や対外ビジネスが行えるような決済機能やプラットフォームのカスタマイズによる専用利用も提案ベースで行うことが可能である（図9）。