生産ラインにおける自動化ニーズの高まりに伴って画像処理の活用シーンが増え続ける中で、画像処理プログラム開発の効率化は自動化推進における重要な課題である。
富士通は、長年培ってきた最適化・機械学習技術と画像処理技術を融合し、生産ラインにおける部品実装や外観検査の画像処理プログラムを自動で生成する技術を開発し、アプリケーションソフトウェアとして製品化した。
本稿では、画像処理プログラム自動生成技術の説明と合せて、アプリケーションの特長や活用事例を紹介する。
開発の経緯
ものづくりの現場では、生産性向上や品質向上を目的として、組立や検査工程の自動化が推進されている。特に近年では、労働人口の減少に伴って人材の確保が難しくなっていることから、自動化のニーズがますます高まっている。
組立や検査工程の自動化の実現においては、物体の位置認識や外観の良否判定のために画像処理を活用することが必須の状況である。
しかし、ものづくり分野における画像処理エンジニアの数は限られていることに加え、機種の追加や環境の変化に対応して画像処理プログラムを迅速に作成および修正することが求められるため、画像処理エンジニアには大きな負荷がかかっていた。
このような状況の中で自動化を加速するためには、画像処理エンジニアが開発するレベルのプログラムを、専門のエンジニアでなくても容易かつ迅速に作成可能なシステムが必要である。
富士通株式会社および株式会社富士通研究所では、ものづくり分野における画像処理技術に加え、最適化・機械学習技術を長年にわたり培ってきた。
これらの技術を応用して画像処理プログラムを自動生成する技術を確立し、FUJITSU Manufacturing Industry Solution COLMINA Service AI-Pro（以下、AI-Pro）として製品提供している。製品画面を図1に、AI-Proで自動生成可能な画像処理プログラムの種類を図2に示す。
図1 AI-Proの画面（良否判定における学習画像の選択画面）
図2 AI-Proで自動生成可能な画像処理プログラムの種類
画像処理プログラム自動生成技術
画像処理プログラムは、一般的に、複数の基本的な画像処理フィルタや特徴抽出の組合せと、閾値等のパラメータの組合せから構成される。
画像処理エンジニアは、対象と位置決めや検査といった目的に対して、適当な画像処理フィルタ等の選択とパラメータ調整をすることで画像処理プログラムを開発する。
AI-Proで採用している画像処理プログラム自動生成技術は、画像処理エンジニアが画像処理フィルタ等の適切な組合せやパラメータを検討することを、計算機の処理能力を使い模擬している。
最適化の一手法である遺伝的アルゴリズムをベースに、画像処理エンジニアの画像処理フィルタ選択やパラメータ調整に関する知見・ノウハウを加えることで、画像処理フィルタやパラメータ等の組合せを効率的に探索し、良好な画像処理プログラムを得ることができる。
図3に遺伝的アルゴリズムを用いた画像処理プログラム自動生成の概要を示す。画像処理フィルタなどの画像処理関数を遺伝子として扱い、その集合を画像処理プログラムとする。
図3 遺伝的アルゴリズムを用いた画像処理プログラムの自動生成の概要
遺伝的アルゴリズムでは、複数の画像処理プログラム（親の集団）の中から、両親（父・母）となる2つのプログラムを無作為に選択し、この両親を合成した画像処理プログラム（子）を複数生成する。次に、生成された各々の子に対して評価を行う。
評価は、あらかじめ準備していた学習用画像データを子のプログラムに入力し得られた出力と、あらかじめ学習用画像データに対して付与した正解データを比較し、出力と正解データが近ければ高い評価を与えることで行う。
高い評価を得られるプログラムを次世代の親として残し、親の集団として加える。新たにできた親の集団を使い、子のプログラムの生成と評価を行う一連の処理を繰り返すことで、評価の高い（認識や判定の性能が高い）画像処理プログラムを生成する 1） 。
検査工程の自動化に用いる良否判定には、遺伝的アルゴリズムに加えて機械学習の一手法であるサポートベクターマシンを分類器として採用している。画像処理フィルタと特徴量の選択に加えて、分類器の生成までの一連処理の組合せを、遺伝的アルゴリズムにより最適化している（図4） 2） 。
図4 良否判定のプログラム構造と最適化
AI-Proの特徴
画像処理プログラム自動生成技術をベースに製品化したアプリケーションソフトウェア「AI-Pro」がもつ代表的な特長を以下に示す。
1）少ない画像枚数で学習可能
製造現場では、画像が集まらないというケースは多い。特に良否判定を対象とするケースでは、良品の画像は集まっても、不良品の画像が集まらないというケースも多く、トライアルも困難というケースが少なくない。
AI-Proでは、画像処理エンジニアのノウハウを組み入れることで、少ない画像枚数でも効率的に学習することができる。
不良モードが少なく判定容易な対象であれば、良品画像10枚、不良品画像10枚程度で良好な判定性能が得られるケースもある。たとえば以下のような利用シーンでは、少ない画像枚数で良好な結果が得られた。
• 部品の有り無し／位置ズレ
• ラベルの貼り間違い
• 部品表面の加工痕（良品と不良品の境目が曖昧）
2）画像処理プログラムの構造が見える
AI-Proで生成したプログラム構造は可視化されるため、エンジニアにとってプログラムを採用する際の安心感や納得性が高まる。
近年注目されているDeep Learningでは、基本的に処理内容が不明であるため、ものづくり現場への導入を検討するエンジニアにとって抵抗感が強い。このプログラムの構造が見えるという特長は、エンジニアの方から高い評価をいただいている。
3）オンプレミスで学習環境を構築可能
ものづくりの現場では、画像等も含めてものづくりに関するデータを会社の外に出すことは禁止されていることが多く、クラウド型の学習環境の使用は困難なケースも多い。この点を考慮し、AI-Proはオンプレミスでの導入を前提に開発・提供されている。
4）学習環境を容易に構築可能
Deep Learningをベースとしたアプリケーションを使用する場合、GPUが必須などハイスペックな環境が要求されるため、環境構築に手間とコストがかかる。
AI-Proは、Windowsベースの標準的なPCで動作するため環境構築が容易であり、特殊な設定を必要とせずインストールして直ぐに使用することできる。AI-Proの推奨動作環境を表1に示す。
表1 推奨動作環境
5）実行環境を容易に構築可能
学習により生成した画像処理プログラムは、自動組立機／検査機の制御ソフトに容易に組み込むことができる。
AI-Proに付属して提供されるダイナミックリンクライブラリ（DLL）を動的にリンクした後、画像処理プログラムの定義ファイルを指定して API を呼び出せばよい。ライブラリは、Visual C++、Visual C#、Visual Basic、Python用を準備している。
6）ランタイムライセンスフリー
画像処理プログラムの自動機での実行（生成した画像処理プログラムとライブラリの使用）は、AI-Proを購入した会社内であれば追加費用なく実施でき、導入設備が増える場合に大きなコストメリットを享受できる。
AI-Proの主な仕様（表2）
表2 AI-Proの主な仕様
活用事例
富士通のものづくりにおける活用事例を2件紹介する。
1）透明部品におけるエッジ認識の安定化
1件目は、光デバイスの組立工程における活用事例である。1mm程度の透明部品を高精度に固定するために、画像処理を活用して部品のエッジを認識する必要があった。
しかし、部品や照明環境のバラつきによってエッジの見え方が変化するためエッジの誤検出が多発しており、ラインの生産性が低下することに加え、画像処理プログラムの修正作業が大きな負荷となっていた。
ここで、エッジの見え方が異なる画像20枚程度を学習用画像として準備し、AI-Proを適用したところ、バラつきに対してロバストな誤検出の少ない画像処理プログラムを半日程度で作成することができた。
その後、学習用画像の追加と複数回の学習と評価を経て、認識率を55％から97％に高め、ラインの生産性を大きく改善した。
2）ケーブルの差し込み不良検知
2件目は、情報端末の組立工程における活用事例である。情報端末は小型・薄型化が進んでいるため、薄いフレキシブルケーブルとコネクタを使用した接続が多用されている。
接続作業の難易度が高いことに加え、目視による接続確認も難しく、ケーブルがコネクタに十分に差し込まれない不良が発生していた。
差し込み不良検知のために、良否判定で一般的に利用される画像処理手法を試したが、明らかな差し込み不良は検知できるが、微妙な差し込み不良の判定は困難であった。
ここで、AI-Proの適用と撮像安定化を実施することで、微妙な差し込み不良の判定が可能となった。良否判定の正解率が100％に近い値であったことに加え、特別な環境構築が必要なく容易に導入・運用できる点が高く評価され、生産ラインへの正式適用となった。
今後の展開
最適化と機械学習の技術開発を進め、認識・判定性能の向上と学習スピードの向上を目指していくことに加え、ものづくり現場での導入・運用の観点を重視してアプリケーションのレベルアップを図っていく。
さらに生産システムとの連携を進め、学習データの蓄積と画像処理状況の監視による画像処理プログラムの自律的改善システムへの展開を目指していく。
※ Windows、Visual C++、Visual C#、Visual Basicは、マイクロソフト社の登録商標。
※Coreは、インテル社の登録商標。
■ 参考文献
1） 長門毅ほか：生産ラインにおける画像処理プログラムの自動生成技術. FUJITSU. 66, 5, p.27-33 (09, 2015)
2） 長門毅ほか：生産ラインにおける機械学習技術の応用. FUJITSU. 67, 3, p.66-72 (05, 2016)
※映像情報インダストリアル2018年9月号『画像認識は新たな次元』特集より転載
■問い合わせ
富士通株式会社
富士通コンタクトライン
TEL.0120-933-200
E-mail：contact-aipro-support@cs.jp.fujitsu.com
http://www.fujitsu.com/jp/solutions/industry/manufacturing/monozukuri-total-support/colmina/service-ai-pro/
コメントを残す