新しい白黒偏光撮像素子（SONY製）の登場で偏光カメラが入手しやすくなり、偏光情報の利用の機運が高まっている。弊社で扱うカラー偏光カメラはこの撮像素子のカラー版を搭載している。
カラー情報のほかに偏光情報も取りだせることで、従来のカラー画像処理に偏光情報を付け加えるのみならず、本来なら直反射により失われる成分を補正できる可能性が出てきた。
また、RGBの色ごとの偏光の違いはさらに詳細な情報を含んでいる。本稿ではカラー偏光カメラの原理の説明と、カラーであることの利点を撮像・処理例を交えて見ていきたい。
カラー偏光カメラの仕組み
偏光カメラで使用する撮像素子は図1のように0、45、90、135°の偏光子が従来の撮像素子の上に規則的に作り込まれている。各素子上のレンズの下に偏光子をおくことでクロストークを低く抑えられる。
図1 白黒偏光撮像素子構造
一方、カラー偏光撮像素子では図2のようなフィルタによりRGB各色について偏光情報が得られるようになっている。これらの撮像素子を実装したカメラは普通のカラー・白黒カメラのような動作をし、raw画像を得られるが、PC等の取り込み処理側で、上記素子並びの知識を使うことで偏光度・偏光角度等の偏光パラメータを計算することができる。
図2 カラー偏光撮像素子フィルタ
従来の白黒・カラーの輝度情報も得られるため、画像処理に利用できるパラメータが輝度値以外に増えることになる。これは画像処理の適用分野が増える・識別性能が上がることを意味する。弊社ではこの素子を組み込んだLucid社のカメラを扱っており現在唯一のカラーのタイプである。カメラの外観を図3に、仕様を表1に示す
図3 カラー偏光カメラVP-PHX050S-Q外観
表1 カラー偏光カメラ仕様表
偏光カメラの処理
偏光の解析では、対象から入光する光はある角度の直線偏光と無偏光からなり、観察者の前に置いた偏光板を回転させて回転角に対する輝度値は、図4のようにサイン波状に変化すると考える。
直反射が起こっている場合、図4のImaxが直反射がもっとも強い角度、Iminが最も弱く拡散光（diffuse）成分のみになる角度の輝度値を示す。
図4 偏光角度対輝度値のグラフ
サイン波状に変化する前提では、図4のサイン波を求めるのにすべての角度で輝度値を求める必要はなく、図にあるように0、45、90、135°の輝度値があればサイン波の振幅・位相・オフセットを推定できる。
画面上の各点で個別にこの推定ができるので、立体形状で面の法線がさまざまな方向を向いている対象にも対応でき、画像処理・画像計測の分野で適用できると考える。
偏光演算制御ソフトウェアLPView
弊社で開発したソフトウェアでカメラのシャッタ等の制御・RAW画像の取込み・偏光情報（DoLP, AoLP等）の計算と画像化と表示・画像の保存等を行う。
表示はリアルタイムで行い、対象の偏光情報の時間的変化も捉えることができる。連続保存も可能である。本稿で提示する画像はすべてLPViewで取り込み画像化処理したものである（図5）。
図5 LPView操作画面
カメラには12bitADCを搭載しているので12bit取り込みもできるようになっている。偏光関連画像はダイナミックレンジを必要な場面も多いので12bit取り込みは必須な機能である。表2に主な仕様を示す。
表2 LPViewの主な仕様
カラー偏光カメラ応用例1
画像処理分野では従来から対象の直反射を軽減するために、偏光フィルタをカメラの前に置き回転してベストな角度をさぐることが行われてきた。
本カメラでは4偏光角度の画像が一度に取得でき、そこから直反射最大の輝度、最小の輝度が計算で得られ、しかも場所ごとに計算するため、反射面法線方向が複数ある立体形状であっても1枚の取得画像から直反射を軽減した画像が計算で構成できる。
ステレオ処理でマッチングを取る場合などには直反射は障害になることも多く、それを軽減する偏光ステレオカメラシステムを現在開発中である。
図6は顔を撮影したものである。左上の4角度画像（元画像から0、45、90、135°偏光角度の画像を抽出して田の字に並べたもの）では偏光角度（法線角）が部分部分で異なる「てかり」が見られる。
図6 カラー偏光カメラによる顔画像
左上：4角度画像 右上：偏光度画像
左下：偏光角度（偏光度で変調） 右下：Imin（Diffuse）
右下画像Imin（Diffuse成分に相当）ではそれが取り除かれている。図7に紹介するのは黒フェルト地に黒ネジを置いたものがターゲットでピッキング場面等を想定した。
図7 黒地に黒ネジ画像
左上：元画像 右上：偏光度画像
左下：偏光角度（偏光度で変調） 右下：Imin（HDR処理あり）
普通の可視カメラでは困難であろうと思われるが偏光情報を利用すると上手く識別できそうである。偏光角度画像にはネジの溝の角度がみてとれるしImin画像ではHDR処理はしているが黒地に黒とは思えないコントラストが得られている。
カラー偏光カメラ応用例2
車載して外を観察することを考える。図8はガラスへの映り込みがある中で社内を観察する例である。4角度画像では別の方向のガラスへの映り込みがあるが右下のImin画像では全面側面両方の映り込みを取り除いていることがわかる。
図8 映り込みの除去
2×2左上画像では側面窓のどれかに映り込みが見られ
るが、Imin（Diffuse）右下では映り込みが軽減されている。
カラー偏光カメラ応用例3
素材や素材の状態の検出について考える。図9は車の陰になっているマンホールと通過後のマンホールを比べている。左上のMean画像では陰になると見えづらくなるが偏光度の画像では影響が少ない。
図9 車通過中（上）と通過前（下）のマンホールのフタ
図10は路面に水をまいているところだが、元画像ではわかりにくいところを、偏光角度画像（右）では水がかかったところとそうでないところが区別しやすくなっている。
このように偏光情報を利用すると色だけを使う画像識別に比べ、パラメータが増え照明条件の変化に対しても安定な識別システムを構築できると考えられる。
図10 水をまいた路面
元画像（左）に対し偏光角度画像（右）では水ぬれがわかりやすい
カラー偏光カメラ応用例 4
透明物体などの性質を調べるのに性質が既知の光として直線偏光光などを透過照明に使用し、試料を通過した光を偏光カメラで受けて偏光状態を調べ、試料の状態を知るという分野がある。
そこでは偏光状態がわかっている光（直線偏光、円偏光など）S0を照射し、透過してくる光の各部の偏光状態S1を計測し作用子Bの性質を求め、それを全面にわたって行い応力分布を推定する 2） 。
S1=B S0
上記の式にて表現した時の作用子Bを求めることになる。エポキシ、ビニールなどではストレスが加わるとストレスの大きさに応じて光学的性質が変わり、透過光に影響を及ぼす。透過光の偏光状態の変化を計測することでストレスを間接的に知ることができる。図11はビニールを引っ張り、偏光カメラで観察しているところである。
図11 実験風景（ビニールの下に偏光板を使った照明あり）
図12はLPView画像であり、ストレスおよびストレスによって対象が変形した様子がわかる。図13は4角度画像であるが、角度ごとに色縞の出方が異なっていることがわかる。偏光角度ごとに色縞が出て、しかも縞の色目が異なるという現象はカラーカメラだからこそ検出できる。
図12 ビニールの偏光度（左）と偏光度で輝度変調した偏光角度（右）※LPViewによる偏光計算画像表示
図13 4角度画像
媒質を通過することで起こる偏光状態の変化は、直線偏光のまま偏光方向だけ変わるケースと光の振動方向2方向のうち一方が他方より位相が遅れるケースがある 4） 。後者の場合、位相量は波長に依存するのでその違いは色の違いとして現れる。色の違いは波長オーダーの情報を含む。
おわりに
ビュープラスで取り扱っているカラー偏光カメラと応用について紹介した。カラー偏光カメラでは普通のカラーカメラで得られるRGB信号のほかに、偏光情報が得られる。偏光情報はそれ自体を識別パラメータとして使えるほか、直反射等で劣化した輝度情報を復元できる可能性がある。
さらに色ごとの偏光情報は波長オーダの偏光現象の違いを反映しており、単純なRGB＋偏光情報を越える詳細情報を与えうると考える。画像処理の世界でこのカラー・偏光情報の利用が広がることを期待している。最後に宇都宮大学大谷教授には偏光全般について有益なアドバイスをいただいた 3）。ここに感謝の意を表する。
■ 参考文献
1） 裏面照射型4方向偏光CMOSイメージセンサを利用したリアルタイム反射成分分離・応用信号処理技術 栗田ほか（SSII2018)
2） 光弾性法による応力分布測定技術の現状と展望, 梅崎（精密工学会誌Vol.79, No.7, 2013）
3） 宇都宮大学大谷研究室 URL：http://www.otanilab.org
4） 鶴田「応用工学Ⅱ」培風館（1993）
5） ビュープラス 偏光関連動画 http://www.viewplus.co.jp/product_lucid/1_index_detail.html#box-chapter-3
■問い合わせ
株式会社ビュープラス
TEL：03-3514-2772
E-mail：vpcontact@viewplus.co.jp
http://www.viewplus.co.jp/
コメントを残す