JP7090899B2 - 符号化された照明パターンを用いる画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、分光分析分野や三次元計測分野において用いられる、視差のある複数の画像を処理するのに好適な画像処理装置および画像処理プログラムに関するものである。

従来、分光分析分野や三次元計測分野においては、分析対象または計測対象となる被写体について、視差のある画像（分光画像を含む）を複数取得し、各画像間において対応する画素の位置合わせを行うことにより、マルチスペクトルデータや三次元形状データを取得するようになっている。

例えば、特開２０１６－１３８７８９号公報には、波長の異なる複数の分光画像を光学モジュールから同期して取得し、各分光画像をマッチング処理して得られたマルチスペクトルデータを解析することにより、検査対象物に混入した異物等を検査する分光イメージングシステムが提案されている（特許文献１）。

特開２０１６－１３８７８９号公報

しかしながら、特許文献１においても用いられており、従来より上記位置合わせの方法として知られるステレオマッチング法等においては、被写体の表面に際立った模様がない場合には、撮像した複数の画像間において対応する画素を見つけることができないという問題がある。

このような問題を解決するために、模様のない被写体に対しては、ドットパターン等を投影することによって、対応する画素を探索する技術も提案されている。しかしながら、従来のドットパターン等には、全く照明されない部分が存在するため、分光画像を撮像する場合には、スペクトルデータを取得できない部分が発生してしまうという問題がある。

本発明は、このような問題点を解決するためになされたものであって、視差のある複数の画像内に撮像した被写体が無模様であっても、各画像間において対応する画素を位置合わせするとともに、分光画像におけるスペクトルデータを漏れなく取得することができる画像処理装置および画像処理プログラムを提供することを目的としている。

本発明に係る画像処理装置は、視差のある複数の画像内に撮像した被写体が無模様であっても、各画像間において対応する画素を位置合わせするとともに、分光画像におけるスペクトルデータを漏れなく取得するという課題を解決するために、被写体に投影するための照明パターンを投影装置に送信するとともに、前記照明パターンが投影された被写体について同時に撮像された複数の画像を一または複数の撮像装置から取得し、前記照明パターンに基づいて各画像における各画素の位置合わせ処理を実行する画像処理装置であって、前記照明パターンは、同一輝度値の画素群からなるブロックを複数有してなる照明領域を全面に有しているとともに、前記各ブロックの輝度値が０（黒）以外のランダムな値に設定されている。

また、本発明の一態様として、各ブロックに設定するランダムな輝度値の枯渇を防止するとともに、照明パターンを明確化して認識ミスを抑制するという課題を解決するために、前記照明パターンは、所定形状の前記照明領域を複数配置してなり、これら各照明領域を構成する各ブロックの輝度値は、同一パターンの照明領域が存在しないようにランダムな値に設定されていてもよい。

さらに、本発明の一態様として、各画像のマッチング処理を効率化および高速化するという課題を解決するために、前記照明パターンは、前記照明領域である、複数の縦格子線と、複数の横格子線と、前記縦格子線および前記横格子線によって囲まれた矩形状の複数のグリッドとから構成されており、少なくとも前記縦格子線および前記横格子線を構成する各ブロックの輝度値が、同一パターンの前記縦格子線および同一パターンの前記横格子線が存在しないようにランダムな値に設定されていてもよい。

また、本発明の一態様として、縦格子線および横格子線を抽出し、光切断法としてのデータを取得するという課題を解決するために、前記縦格子線および前記横格子線を構成する各ブロックの輝度値の範囲と、前記グリッドを構成する各ブロックの輝度値の範囲は、所定の閾値より小さい範囲と大きい範囲の一方と他方に設定されており、前記撮像装置によって撮像された各画像に対して前記閾値による二値化処理を実行してもよい。

さらに、本発明の一態様として、低輝度でＳＮ比（Signal-Noise ratio）が小さい画像であっても、高精度に位置合わせするという課題を解決するために、前記撮像装置によって撮像された各画像に対して微分処理を実行した後、前記照明領域ごとに微分値のスケールを合わせるための正規化処理を実行してもよい。

また、本発明の一態様として、食品等に混入する異物を検査するための従来の食品異物検査装置と同等の検査速度で様々な形状の被写体を検査でき、異物を高精度かつ高速度に自動検査するという課題を解決するために、前記撮像装置は、複数の分光画像を同時に撮像する多眼式分光イメージングカメラであり、前記画像処理装置は、前記分光画像における各画素を位置合わせ処理して得られるマルチスペクトルデータを解析することにより、前記被写体に混入する異物を検出してもよい。

さらに、本発明の一態様として、正確なマルチスペクトルデータや三次元形状データを確実に取得するという課題を解決するために、前記位置合わせ処理に失敗した照明領域が存在する場合、下記（ａ），（ｂ）のうち、少なくともいずれか一方の処理を実行する画像処理装置であってもよい。
（ａ）前記位置合わせ処理が成功した他の照明領域またはマッチング度合が最大の照明領域に基づいて補間して位置合わせする補間処理。
（ｂ）前記照明パターンとは異なる照明パターンを投影装置に送信するとともに、前記異なる照明パターンが投影された被写体について同時に取得された複数の画像を一または複数の撮像装置から取得し、前記異なる照明パターンに基づいて各画像における各画素の位置合わせ処理を再び行うリトライ処理。

本発明に係る画像処理プログラムは、視差のある複数の画像内に撮像した被写体が無模様であっても、各画像間において対応する画素を位置合わせするとともに、分光画像におけるスペクトルデータを漏れなく取得するという課題を解決するために、被写体に投影するための照明パターンを投影装置に送信するステップと、前記照明パターンが投影された被写体について同時に撮像された複数の画像を一または複数の撮像装置から取得するステップと、前記照明パターンに基づいて各画像における各画素の位置合わせ処理を実行するステップと、をコンピュータに実行させる画像処理プログラムであって、前記照明パターンは、同一輝度値の画素群からなるブロックを複数有してなる照明領域を全面に有しているとともに、前記各ブロックの輝度値が０（黒）以外のランダムな値に設定されている。

本発明によれば、視差のある複数の画像内に撮像した被写体が無模様であっても、各画像間において対応する画素を位置合わせするとともに、分光画像におけるスペクトルデータを漏れなく取得することができる。

本発明に係る画像処理装置および画像処理プログラムの一実施形態を示すブロック図である。 本実施形態の照明パターンを示す全体図およびその一部の拡大図である。 本実施形態の照明領域とブロックとの関係を示す拡大図である。 本実施形態において、グリッドのマッチング処理を示す図である。 本実施形態において、縦格子線および横格子線のみが唯一となるように設定された照明パターンの一例を示す図である。 本実施形態において、縦格子線および横格子線を設けず、各グリッドが唯一となるように設定された照明パターンの一例を示す図である。 本実施形態において、低輝度の照明パターンを微分処理した例を示す図である。 本実施形態において、（ａ）照明パターン全体のうち、一部の照明領域（グリッド）の位置合わせ処理に失敗した場合、（ｂ）ある照明領域（グリッド）の一部が欠落して位置合わせ処理に失敗した場合を示す図である。 本実施形態の画像処理装置および画像処理プログラムによって実行される処理を示すフローチャートである。 本実施例１において、位置合わせ性能を評価する際に行った各照明領域のマッチング動作を示す図である。 本実施例１において、（ａ）微分処理および正規化処理を実行しない場合、および（ｂ）各処理を実行した場合における、位置合わせ性能の評価結果を示すグラフである。

以下、本発明に係る画像処理装置および画像処理プログラムの一実施形態について図面を用いて説明する。

本実施形態の画像処理装置１は、図１に示すように、被写体に投影するための照明パターンを投影装置２に送信するとともに、当該照明パターンが投影された被写体について同時に撮像された複数の画像を撮像装置３から取得し、照明パターンに基づいて各画像における各画素の位置合わせ処理を実行するためのものである。以下、各構成について説明する。なお、本発明において、画像とは、一般的なカラー画像やグレースケール画像のみならず、分光画像を含む概念である。

投影装置２は、符号化された照明パターンを被写体に投影するためのものである。具体的には、投影装置２は、ＤＬＰ（Digital Light Processing）プロジェクタ、液晶プロジェクタ、ＬＣＯＳ（Liquid Crystal On Silicon）プロジェクタ等によって構成されている。そして、投影装置２は、画像処理装置１から照明パターンが送られてくると、当該照明パターンを被写体に向けて投影するようになっている。

撮像装置３は、照明パターンが投影された被写体を撮像するものである。具体的には、撮像装置３は、複数の分光画像を同時に撮像する多眼式分光イメージングカメラや、単一の画像を撮像する単眼式カメラ等によって構成されている。そして、撮像装置３が多眼式分光イメージングカメラの場合、一の撮像装置３によって同時に撮像された複数の分光画像が画像処理装置１へ送信される。また、撮像装置３が単眼式カメラの場合、複数の撮像装置３によって同時に撮像された複数の画像が画像処理装置１へ送信される。いずれの場合も、視差のある複数の画像がスナップショット方式で同時に取得される。

画像処理装置１は、パーソナルコンピュータ等のコンピュータによって構成されており、図１に示すように、主として、本実施形態の画像処理プログラム１ａや各種データを記憶する記憶手段４と、各種の演算処理を実行し後述する各構成部として機能する演算処理手段５とを有している。以下、各構成手段について詳細に説明する。

記憶手段４は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成されており、各種データを記憶するとともに、演算処理手段５が各種の演算処理を実行する際のワーキングエリアとして機能するものである。本実施形態において、記憶手段４は、図１に示すように、プログラム記憶部４１と、照明パターン記憶部４２と、画像記憶部４３とを有している。

プログラム記憶部４１には、本実施形態の画像処理プログラム１ａがインストールされている。そして、演算処理手段５が、画像処理プログラム１ａを実行することにより、画像処理装置１としてのコンピュータを後述する各構成部として機能させるようになっている。

照明パターン記憶部４２は、被写体に投影するための照明パターンを記憶する領域である。本実施形態において、照明パターンは、図２に示すように、複数の縦格子線と、複数の横格子線と、これら縦格子線および横格子線によって囲まれた矩形状の複数のグリッドとから構成されている。

また、本実施形態において、縦格子線、横格子線およびグリッドのそれぞれは、図３に示すように、同一輝度値の画素群からなるブロックを複数有してなる照明領域であり、この照明領域を照明パターンの全面に有している。そして、縦格子線、横格子線およびグリッドのそれぞれを構成する各ブロックの輝度値が、同一パターンの縦格子線、同一パターンの横格子線および同一パターンのグリッドが存在しないように、０（黒）以外のランダムな値に設定されている。例えば、０から２５５までの２５６段階のグレースケールの場合、１～２５５のうちいずれかの値によってランダムに符号化される。

以上のように符号化された照明パターンによれば、被写体の表面に所定の模様が投影されるため、視差のある複数の画像間において対応する画素の位置合わせ処理を行うことが可能となる。また、投影装置２が照明パターンの全面で被写体を照射し、照明として機能するため、光が当たらない部分が存在しない。このため、分光イメージングカメラ等で撮像した場合、スペクトルデータが漏れなく取得される。

さらに、照明領域が同一輝度値の画素群からなるブロックによって構成されているため、各ブロックに設定するランダムな輝度値が枯渇することがない。また、画素単位で輝度値を設定する場合と比較して、照明パターンが明確となり、認識に失敗してしまうことが抑制される。

また、本実施形態の照明パターンによれば、縦格子線、横格子線およびグリッドの相対位置関係が既知となる。このため、例えば、図４（ａ）に示すように、グリッドＡ，Ｂのそれぞれについてマッチングする場合、グリッドＡがマッチングできると、当該グリッドＡとの相対位置関係に基づいて、グリッドＢの対応グリッドを特定する。そして、図４（ｂ）に示すように、対応グリッドの周囲に存在するグリッドのみが、グリッドＢの探索範囲として限定されるため、各画像のマッチング処理が効率化および高速化する。

ただし、照明パターンは上述した構成に限定されるものではなく、照明領域を全面に有しており、各ブロックの輝度値が０（黒）以外のランダムな値に設定されている限り、適宜変更することができる。例えば、上述したマッチング処理の効率化および高速化の観点からは、格子線同士またはグリッド同士の相対位置関係が既知であればよい。このため、少なくとも縦格子線および横格子線を構成する各ブロックの輝度値が、同一パターンの縦格子線および同一パターンの横格子線が存在しないようにランダムな値に設定してもよい。この場合、各グリッドは同一パターンであっても、縦格子線および横格子線を構成する４本の線分によって唯一に定義できるためである。例えば、図５に示すように、グリッドＸは、当該グリッドＸを取り囲む四方の線分（横１，横２，縦１，縦２）によって定義することができる。

あるいは、図６に示すように、縦格子線および横格子線を設けず、複数のグリッドを隙間なく配置し、各グリッドを構成する各ブロックの輝度値が、同一パターンのグリッドが存在しないようにランダムな値に設定してもよい。この構成によっても、グリッド同士の相対位置関係が既知となるためである。

また、本実施形態では、撮像素子として、水平方向および垂直方向にフォトダイオードを並べたＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を備えた撮像装置３の使用を想定している。このため、縦方向または横方向の直線のみからなる照明パターンとすることで、幾何学的な歪みの発生を抑制するとともに、マッチング処理を簡素化・高速化している。しかしながら、幾何学的な歪みの影響を無視しうるのであれば、照明パターンは、格子状のパターンに限定されるものではなく、斜線や曲線等を含む所定形状の照明領域を複数配置してなり、これら各照明領域を構成する各ブロックの輝度値が、同一パターンの照明領域が存在しないようにランダムな値に設定されていればよい。

さらに、ハイスペックなコンピュータ等によって、上述したマッチング処理の高速化を担保しうるのであれば、照明パターンを複数の照明領域に分割することなく、照明パターン全面にランダムな輝度値のブロックを隙間なく配置したものでもよい。すなわち、本発明に係る照明パターンは、少なくとも同一輝度値の画素群からなるブロックを複数有してなる照明領域を全面に有しているとともに、各ブロックの輝度値が０（黒）以外のランダムな値に設定されていればよい。

なお、本実施形態において、縦格子線および横格子線を構成する各ブロックの輝度値の範囲と、グリッドを構成する各ブロックの輝度値の範囲は、所定の閾値より小さい範囲と大きい範囲の一方と他方に設定されている。このため、本実施形態の照明パターンが撮像された画像に対し、前記閾値による二値化処理を実行すると、縦格子線および横格子線が抽出されるため、光切断法としてのデータを取得することが可能となる。

また、本実施形態において、照明パターン記憶部４２には、後述するリトライ処理を実行するために、模様の異なる複数種類の照明パターンが記憶されている。

画像記憶部４３は、撮像装置３によって撮像された画像を記憶する領域である。本実施形態において、画像記憶部４３は、後述する画像取得部によって同時に取得された複数の画像を１つの画像セットとして保存するようになっている。

演算処理手段５は、ＣＰＵ（Central Processing Unit）等によって構成されており、プログラム記憶部４１にインストールされた画像処理プログラム１ａを実行することにより、図１に示すように、照明パターン送信部５１と、画像取得部５２と、微分処理部５３と、正規化処理部５４と、二値化処理部５５と、位置合わせ処理部５６と、補間処理部５７と、異物検出処理部５８として機能するようになっている。以下、各構成部についてより詳細に説明する。

照明パターン送信部５１は、照明パターンを投影装置２へ送信するものである。本実施形態において、照明パターン送信部５１は、照明パターン記憶部４２に保存されている照明パターンを読み出し、当該照明パターンを投影装置２へ送信するようになっている。なお、本実施形態では、一度作成した照明パターンを全ての撮影に対して使い回すことが可能である。このため、画像を撮影するたびに、新たな照明パターンを作成して送信する必要がない。

画像取得部５２は、撮像装置３から画像を取得するものである。本実施形態において、画像取得部５２は、被写体が撮像装置３の画角内に入っているタイミングで、一または複数の撮像装置３に対し、複数の画像をスナップショット方式で同時に撮像させる。そして、それらの撮像装置３から複数の画像を取得し、画像記憶部４３に保存するようになっている。

微分処理部５３は、画像に対して微分処理を実行するものである。本実施形態において、微分処理部５３は、Ｓｏｂｅｌフィルタ等の微分フィルタを用いた微分処理機能を有している。そして、微分処理部５３は、撮像された画像に輝度値が小さい部分がある場合、縦方向および横方向の両方向に微分処理し、照明パターンを強調するようになっている。

正規化処理部５４は、微分処理された画像に対して、照明領域ごとに微分値のスケールを合わせるための正規化処理を実行するものである。本実施形態において、正規化処理部５４は、マッチング処理する単位である照明領域（縦格子線、横格子線およびグリッド）ごとに、各画素の微分値の最大値と最小値を特定し、これら最大値および最小値に基づいて、複数の縦格子線、複数の横格子線および複数のグリッドの間で微分値のスケールを合わせるようになっている。

例えば、図７に示すように、原パターンに対する輝度値が２５％である低輝度の照明パターンは視認しにくくなるが、微分処理および正規化処理を実行することにより、照明パターンが強調されて見やすくなる。以上のように、本実施形態では、低輝度な画像に対しては、微分処理を実行した後、照明領域ごとに微分値のスケールを合わせるための正規化処理を実行するようになっている。これにより、低輝度でＳＮ比が小さい画像であっても、高精度に位置合わせすることが可能となる。

二値化処理部５５は、撮像装置３によって撮像された各画像に対して、所定の閾値よる二値化処理を実行するものである。本実施形態の照明パターンは、縦格子線および横格子線を構成する各ブロックの輝度値の範囲と、グリッドを構成する各ブロックの輝度値の範囲とが、所定の閾値より小さい範囲と大きい範囲の一方と他方に設定されている。このため、二値化処理部５５が前記閾値による二値化処理を実行すると、縦格子線および横格子線が抽出され、光切断法としてのデータが取得される。

位置合わせ処理部５６は、照明パターンに基づいて各画像における各画素の位置合わせ処理を実行するものである。本実施形態において、位置合わせ処理部５６は、ステレオマッチング法等のアルゴリズムを用いて、視差のある複数の画像において対応する画素を探索し、その画素間のズレを補正することにより、位置合わせするようになっている。これにより、分光画像の場合には、正確なマルチスペクトルデータが得られることとなり、三次元計測用の画像であれば、正確な三次元形状データが得られることとなる。

補間処理部５７は、位置合わせ処理に失敗した照明領域が存在する場合、補間処理を実行するものである。本実施形態において、補間処理部５７は、例えば、図８（ａ）に示すように、照明パターン全体のうち、一部の照明領域（グリッド（６，Ｇ））の位置合わせ処理に失敗した場合、当該照明領域の周囲に存在する他の照明領域（グリッド（５，Ｆ）～（５，Ｈ），（６，Ｆ），（６，Ｈ），（７，Ｆ）～（７，Ｈ））の位置合わせ処理が成功しているか否かを確認する。そして、成功していれば、これらの一意に特定できる各グリッドの位置関係が既知であるため、補間処理部５７は、周囲のグリッドに基づいて、グリッド（６，Ｇ）の位置を補間する。

また、本実施形態において、補間処理部５７は、図８（ｂ）に示すように、ある照明領域（グリッド）の一部が欠落して位置合わせ処理に失敗した場合、各照明領域のランダムパターンは唯一であるため、照明領域の中で一致する部分が存在し、そのマッチング度合が最大の照明領域を特定する。そして、当該照明領域と位置合わせすることにより、各画像間の位置ずれが算出されるため、補間処理部５７は、周囲の位置ずれ量に基づいて、欠落部分の位置ずれ量を補間するようになっている。

また、本実施形態において、位置合わせ処理に失敗した照明領域が存在する場合であって、補間処理にも失敗した場合、または前記補間処理の代わりに、リトライ処理を実行してもよい。このリトライ処理は、最初に照射した照明パターンとは異なる照明パターンを投影装置２に送信するとともに、当該異なる照明パターンが投影された被写体について同時に撮像された複数の画像を一または複数の撮像装置３から取得し、前記異なる照明パターンに基づいて各画像における各画素の位置合わせ処理を再び行う処理である。

すなわち、本実施形態では、位置合わせ処理に失敗した照明領域が存在する場合、下記（ａ），（ｂ）のうち、少なくともいずれか一方の処理を実行するようになっている。
（ａ）位置合わせ処理が成功した他の照明領域またはマッチング度合が最大の照明領域に基づいて補間して位置合わせする補間処理。
（ｂ）位置合わせ処理に失敗した照明パターンとは異なる照明パターンを投影装置２に送信するとともに、異なる照明パターンが投影された被写体について同時に取得された複数の画像を一または複数の撮像装置３から取得し、異なる照明パターンに基づいて各画像における各画素の位置合わせ処理を再び行うリトライ処理。

異物検出処理部５８は、分光画像から得られたマルチスペクトルデータに基づいて、食品等の被写体に混入する人毛等の異物を検出するものである。本実施形態において、異物検出処理部５８は、被写体のマルチスペクトルデータについて主成分分析等の解析を実行し、被写体の特徴量と異物の特徴量についての分布を取得する。そして、異物検出処理部５８は、被写体の特徴量とは異なる分布を有する特徴量が検出されたとき、被写体に異物が混入していることを検出するようになっている。

つぎに、本実施形態の画像処理装置１および画像処理プログラム１ａの作用について、図９のフローチャートを参照しつつ説明する。なお、以下の説明では、コンベアによって搬送される被写体の画像（分光画像）を撮像し、当該画像に基づいて被写体に混入している異物を検出する例について説明する。

本実施形態の画像処理装置１および画像処理プログラム１ａを使用するに際しては、まず、事前準備として、予め作成した照明パターンを照明パターン記憶部４２に記憶させておく。なお、本実施形態では、リトライ処理を実行できるように、模様の異なる複数種類の照明パターンを照明パターン記憶部４２に記憶させておく。

つぎに、照明パターン送信部５１が、照明パターンを投影装置２へ送信すると（ステップＳ１）、当該投影装置２からコンベア上の所定位置に照明パターンが投影される。そして、当該所定位置を被写体が通過するタイミングで、撮像装置３が被写体の画像を同時に複数撮像すると、画像取得部５２が各画像を取得する（ステップＳ２）。

これにより、被写体の表面上に照明パターンが投影された状態の画像が複数得られるため、被写体が無模様であっても、視差のある複数の画像間において対応する画素を位置合わせすることが可能となる。また、照明パターンの全面に設けられた照明領域は、輝度値が０（黒）以外のブロックで構成されているため、被写体の全体が照射される。このため、分光画像を撮像した際には、スペクトルデータが漏れなく取得される。さらに、本実施形態では、スナップショット方式により、一回の撮像で被写体の分光画像が取得されるため、多数の被写体を検査する場合等には、検査速度が高速化される。

つづいて、本実施形態では、ステップＳ２で取得された画像に輝度値が小さい部分がある場合（ステップＳ３：ＹＥＳ）、各画像に対して微分処理部５３が微分処理を実行した後（ステップＳ４）、正規化処理部５４が照明領域ごとに正規化処理を実行し（ステップＳ５）、微分値のスケールを合わせる。これにより、低輝度でＳＮ比が小さい画像であっても、照明パターンが強調され高精度に位置合わせすることが可能となる。

つぎに、ステップＳ５の実行後、またはステップＳ２で取得された各画像に輝度値が小さい部分がない場合（ステップＳ３：ＮＯ）、本実施形態では、光切断法としてデータを取得する必要があるか否かを判定する。そして、当該データが必要な場合（ステップＳ６：ＹＥＳ）、二値化処理部５５が、各画像に対して二値化処理を実行する（ステップＳ７）。これにより、本実施形態の照明パターンからは、縦格子線および横格子線が抽出されるため、仮に、マルチスペクトルデータや三次元形状データの取得に失敗した場合でも、光切断法としてのデータが取得される。

ステップＳ７の実行後、または光切断法のデータが不要な場合（ステップＳ６：ＮＯ）、位置合わせ処理部５６が、照明パターンに基づいて各画像における各画素の位置合わせ処理を実行する（ステップＳ８）。これにより、分光画像を撮像した場合には、正確なマルチスペクトルデータが得られる。また、三次元計測用の画像を撮像した場合には、正確な三次元形状データが得られる。

つづいて、本実施形態では、ステップＳ８の位置合わせ処理に失敗した照明領域が存在する場合（ステップＳ９：ＹＥＳ）、補間処理部５７が補間処理を実行するか、またはリトライ処理を実行する（ステップＳ１０）。補間処理によれば、照明パターン全体のうち、一部の照明領域の位置合わせ処理に失敗した場合でも、補間処理部５７が当該照明領域の位置を補間する。また、ある照明領域の一部が欠落して位置合わせ処理に失敗した場合でも、補間処理部５７が当該欠落部分の位置ずれ量を補間する。このため、表面に細かな凹凸を有し、位置合わせが困難な被写体であっても、高精度にマッチングする。

また、リトライ処理によれば、最初に照射した照明パターンとは異なる照明パターンを用いて、上述したステップＳ１からステップＳ９までの処理を繰り返す。このため、上記補間処理に失敗した場合等であっても、各画素の位置合わせ処理が成功するまでリトライされ、マルチスペクトルデータや三次元形状データがより確実に取得される。

ステップＳ８の位置合わせ処理に成功すると（ステップＳ９：ＮＯ）、異物検出処理部５８が、分光画像から得られたマルチスペクトルデータに基づいて、被写体に混入する異物を検出する（ステップＳ１１）。これにより、従来、食品工場等で既に導入されているＸ線異物検査装置や金属検出器と同等の検査速度で、様々な形状の被写体を検査することが可能となる。このため、従来、目視により検査されている、人毛、プラスチック片、虫等の異物を高精度かつ高速度に自動検査することが可能となる。

以上のような本発明に係る画像処理装置１および画像処理プログラム１ａによれば、以下のような効果を奏する。
１．視差のある複数の画像内に撮像した被写体が無模様であっても、各画像間において対応する画素を位置合わせすることができ、分光画像におけるスペクトルデータを漏れなく取得することができる。
２．各ブロックに設定するランダムな輝度値の枯渇を防止することができ、照明パターンを明確化して認識ミスを抑制することができる。
３．各画像のマッチング処理を効率化および高速化することができる。
４．縦格子線および横格子線を抽出し、光切断法としてのデータを取得することができる。
５．低輝度でＳＮ比が小さい画像であっても、高精度に位置合わせすることができる。
６．従来の検査装置と同等の検査速度で様々な形状の被写体を検査でき、異物を高精度かつ高速度に自動検査することができる。
７．正確なマルチスペクトルデータや三次元形状データを確実に取得することができる。

つぎに、本発明に係る画像処理装置１および画像処理プログラム１ａの具体的な実施例について説明する。

本実施例１では、本実施形態の画像処理装置１および画像処理プログラム１ａによって実行される位置合わせ性能を理論的に評価するシミュレーション実験を行った。

実験条件としては、被写体として、表面に模様が無く、平面形状の被写体を設定した。また、照明パターンとしては、図２に示すように、１５本の縦格子線、１３本の横格子線、および１６８個のグリッドから構成され、プロジェクタで出力可能な８ビット階調のパターンを使用した。そして、同一の平均輝度値（１～９９％）を有する照明パターンの画像を２枚用意し、各照明パターンを構成する各照明領域毎のパターン（縦格子線、横格子線、グリッドの各パターン）が一致するかどうかを評価した。

評価項目としては、平均輝度値をパラメータとして「その照明領域のパターンが完全に一致するか否か」と、そのときの「評価値」を算出した。各照明領域のマッチングには、テンプレートマッチング手法として正規化差分二乗和を使用した。この正規化差分二乗和は、値が最小（０）になる場合のマッチング度合が最も高いため、１から正規化差分二乗和を引いたものを評価値とし、完全にマッチしたときの評価値が最大（１）となるようにした。すなわち、評価値は、一致しない場合は０となり、一致する場合は０より大きく、１以下の値となる。なお、一致しないということは、本来一意である照明領域のパターンが、他の照明領域のパターンと区別がつかなくなっている状態を意味する。

以上の条件下において、図１０に示すように、縦格子線は水平方向にスキャンし、横格子線は垂直方向にスキャンし、グリッドはラスタースキャンして、テンプレートマッチングを行い、各輝度値における評価値を算出した。また、別途、各照明パターンに上述した微分処理および正規化処理を行った場合の評価値を算出した。この結果を図１１に示す。なお、図１１では、位置合わせできた場合は、その評価値をプロットし、位置合わせできなかった場合は、評価値を０としてプロットした。

図１１（ａ）に示すように、微分処理および正規化処理を実行しない場合でも、輝度値が５２～５３％程度になったところで評価値が上昇し、位置合わせできることが確認された。なお、照明領域別の評価値を見ると、横格子線が最も位置合わせしやすく、グリッドが最も位置合わせしにくいことがわかる。一方、図１１（ｂ）に示すように、微分処理および正規化処理を実行した場合、どの照明領域についても、３％以上の輝度値があれば、ほぼ位置合わせできることが確認された。

以上の本実施例１によれば、本発明に係る照明パターンによって、被写体が無模様であっても、複数の画像間において対応する画素を位置合わせできることが示された。また、微分処理および正規化処理を実行することによって位置合わせ性能が向上することが示された。

なお、本発明に係る画像処理装置１および画像処理プログラム１ａは、前述した実施形態に限定されるものではなく、適宜変更することができる。

例えば、上述した本実施形態では、撮像した画像が低輝度でＳＮ比が小さい場合、微分処理および正規化処理を実行しているが、常に高輝度の画像を撮像しうる環境下等では、必ずしも実行する必要はない。また、上述した本実施形態では、位置合わせ処理に失敗した場合、補間処理やリトライ処理を実行しているが、必ずしも実行する必要はなく、失敗した被写体については目視によって検査してもよい。

本発明に係る画像処理装置１および画像処理プログラム１ａは、分光分析分野や三次元計測分野で利用するのに好適である。例えば、分光分析分野では、マルチスペクトルデータに基づいて食品等に混入する異物を検出するための異物検出装置としての利用可能性がある。また、三次元計測分野では、ロボットハンド等によって把持しようとする対象物の三次元形状を求めるための三次元形状測定装置としての利用可能性がある。

１ 画像処理装置
１ａ 画像処理プログラム
２ 投影装置
３ 撮像装置
４ 記憶手段
５ 演算処理手段
４１ プログラム記憶部
４２ 照明パターン記憶部
４３ 画像記憶部
５１ 照明パターン送信部
５２ 画像取得部
５３ 微分処理部
５４ 正規化処理部
５５ 二値化処理部
５６ 位置合わせ処理部
５７ 補間処理部
５８ 異物検出処理部

Claims (8)

1. 被写体に投影するための照明パターンを投影装置に送信するとともに、前記照明パターンが投影された被写体について同時に撮像された複数の画像を一または複数の撮像装置から取得し、前記照明パターンに基づいて各画像における各画素の位置合わせ処理を実行する画像処理装置であって、
   前記照明パターンは、同一輝度値の画素群からなるブロックを複数有してなる照明領域を全面に有しているとともに、前記各ブロックの輝度値が０（黒）以外のランダムな値に設定されている、前記画像処理装置。
2. 前記照明パターンは、所定形状の前記照明領域を複数配置してなり、これら各照明領域を構成する各ブロックの輝度値は、同一パターンの照明領域が存在しないようにランダムな値に設定されている、請求項１に記載の画像処理装置。
3. 前記照明パターンは、前記照明領域である、複数の縦格子線と、複数の横格子線と、前記縦格子線および前記横格子線によって囲まれた矩形状の複数のグリッドとから構成されており、
   少なくとも前記縦格子線および前記横格子線を構成する各ブロックの輝度値が、同一パターンの前記縦格子線および同一パターンの前記横格子線が存在しないようにランダムな値に設定されている、請求項１または請求項２に記載の画像処理装置。
4. 前記縦格子線および前記横格子線を構成する各ブロックの輝度値の範囲と、前記グリッドを構成する各ブロックの輝度値の範囲は、所定の閾値より小さい範囲と大きい範囲の一方と他方に設定されており、前記撮像装置によって撮像された各画像に対して前記閾値による二値化処理を実行する、請求項３に記載の画像処理装置。
5. 前記撮像装置によって撮像された各画像に対して微分処理を実行した後、前記照明領域ごとに微分値のスケールを合わせるための正規化処理を実行する、請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記撮像装置は、複数の分光画像を同時に撮像する多眼式分光イメージングカメラであり、前記画像処理装置は、前記分光画像における各画素を位置合わせ処理して得られるマルチスペクトルデータを解析することにより、前記被写体に混入する異物を検出する、請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記位置合わせ処理に失敗した照明領域が存在する場合、下記（ａ），（ｂ）のうち、少なくともいずれか一方の処理を実行する、請求項１から請求項６のいずれかに記載の画像処理装置；
   （ａ）前記位置合わせ処理が成功した他の照明領域またはマッチング度合が最大の照明領域に基づいて補間して位置合わせする補間処理；
   （ｂ）前記照明パターンとは異なる照明パターンを投影装置に送信するとともに、前記異なる照明パターンが投影された被写体について同時に取得された複数の画像を一または複数の撮像装置から取得し、前記異なる照明パターンに基づいて各画像における各画素の位置合わせ処理を再び行うリトライ処理。
8. 被写体に投影するための照明パターンを投影装置に送信するステップと、
   前記照明パターンが投影された被写体について同時に撮像された複数の画像を一または複数の撮像装置から取得するステップと、
   前記照明パターンに基づいて各画像における各画素の位置合わせ処理を実行するステップと、
   をコンピュータに実行させる画像処理プログラムであって、
   前記照明パターンは、同一輝度値の画素群からなるブロックを複数有してなる照明領域を全面に有しているとともに、前記各ブロックの輝度値が０（黒）以外のランダムな値に設定されている、前記画像処理プログラム。

Images