JP2011165007A - 検査システム、その方法及びプログラム - Google Patents
検査システム、その方法及びプログラム Download PDFInfo
- Publication number
- JP2011165007A JP2011165007A JP2010028201A JP2010028201A JP2011165007A JP 2011165007 A JP2011165007 A JP 2011165007A JP 2010028201 A JP2010028201 A JP 2010028201A JP 2010028201 A JP2010028201 A JP 2010028201A JP 2011165007 A JP2011165007 A JP 2011165007A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate
- reference image
- captured
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明の検査システムは、固定されておらず、不確定な位置で検査対象の外観を撮像し撮像画像とする撮像装置と、予め検査対象を撮像した参照画像を記憶する記憶部と、撮像装置の撮像座標上の撮像画像を、参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理部と、参照画像と比較画像とを比較するマッチング処理部とを備える。
【選択図】図1
Description
しかしながら、この作業員による目視検査は、作業員の熟練度による検査における良否判定のバラツキ、また、製品の不良を見逃すことにより、作業員が心理的な負担を受けることになる。
また、検査の判定を検査記録により再確認する場合、この検査記録における良否判定自体が各作業者によってばらついているため、過去の良否判定の見直しを高い精度にて行えないという問題もある。
例えば、固定されたカメラにより撮影された画像と、予め用意された画像とのテンプレートマッチングにより、製品に対する部品の取り付けの有無を確認する外観検査装置が提案されている(例えば、特許文献1を参照)。
また、カメラをロボットハンドに取り付け、このカメラの撮影した画像により外観検査を行う外観検査装置が提案されている(例えば、特許文献2を参照)。
この構成により、本発明は、作業員が手に持った撮像装置により、検査対象の外観である撮像画像を撮影しても、この撮像画像をテンプレートである参照画像の撮影位置に合わせることができ、撮像画像と参照画像との比較を行うことが可能となる。
この結果、この発明によれば、作業員が手に携帯しているため、撮像位置が固定されず、常に不確定な撮像位置でも、参照画像と比較する比較画像を得ることができるため、従来の外観検査装置のように、撮像装置を固定する装置を配置する作業スペースと、その装置の設備の煩雑な交換とを必要としない。
また、この発明によれば、作業員が携帯して検査用の撮像画像を撮像するが、作業員自身が外観検査の判定を行う訳ではないので、検査ミスなどが発生した場合においても、作業者の心理的負担を低減することができる。
この構成により、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列を生成し、この生成したホモグラフィ行列を用いて、撮像画像を座標変換し、撮像座標を、参照画像と同様の参照撮像座標とした比較画像を生成する。
このため、ホモグラフィ行列が既知でなくとも、撮像画像の撮像座標を、参照画像と同様の参照撮像座標とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
この構成により、ホモグラフィ行列を誤差行列により補正する処理を行った後、補正したホモグラフィ行列により、撮像座標の撮像画像を、参照画像と同様の参照撮像座標上の比較画像に座標変換を行うようにしている。
このため、ホモグラフィ行列が既知でなくとも、撮像座標の撮像画像を、参照画像と同様の参照撮像座標の比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
この構成により、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列を生成し、この生成したホモグラフィ行列を用いて、撮像画像を座標変換し、撮像座標を、参照画像と同様の参照撮像座標とした比較画像を生成する。
このため、ホモグラフィ行列が既知でなくとも、撮像画像の撮像座標を、参照画像と同様の参照撮像座標とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
この構成により、画像処理部がホモグラフィ行列生成部の生成するホモグラフィ行列により、一旦、撮像画像を座標変換し、参照画像と同様の参照撮像座標の比較画像とし、参照画像のテンプレート画像と、比較画像から形状抽出した画像との形状比較を行う。
このため、参照画像と比較画像との形状が大きく異なる場合、再度撮像画像の入力から外観検査を行うため、撮像画像の撮像した位置及び傾きが参照画像と大きく異なることで、良品を不良品とする誤った判定を抑制することができ、より作業員の手にした撮像装置で検査を行うことを容易とすることが可能である。
この検査システムは、作業員が手にしたカメラなどの撮像装置により、例えば、プリント基板の電子部品の実装面を撮像した撮像画像と、予め検査対象の電子部品の実装面(良品もしくは不良品である)を撮像した参照画像とを比較して、製品の良否を判断する。
以下、上述した本発明の実施形態を詳細に説明する。
以下、図面を参照して、本発明の第1の実施形態について説明する。図1は、この発明の第1の実施形態による検査システムの構成例を示す概略ブロック図である。
同図において、検査システムは、画像検査装置1と撮像装置2とから構成されている。
画像検査装置1は、入力処理部11、画像処理部12、マッチング処理部13及び参照画像記憶部14を備えている。
撮像装置2は、デジタルカメラまたはデジタルビデオカメラ等の画像を撮像する装置であり、作業員Pにより携帯されている。作業員Pは、撮像装置2により検査対象の製品Tの外観を撮像する。レンジファインダを用いて距離画像を得るようにしてもよい。
また、入力処理部11は、撮像装置2がデジタルビデオカメラの場合、所定の周期にてサンプリングして、サンプリングした画像データを撮像画像として画像処理部12へ出力する。
参照画像記憶部14は、検査対象の製品が良品の場合、あるいは不良品の場合の外観の画像データである、基準となる参照画像が記憶されている。以下においては、参照画像として良品の場合の製品の外観を撮像した画像を用いた場合を説明する。
カメラC1のカメラ座標J1と、カメラC2のカメラ座標J2とは、互いに2次元座標である座標πにある製品の面を撮像しているが、製品Tの面を撮像した位置及び傾きが異なるため、互いに空間的に異なる位置に配置された2次元座標系となっている。
このため、参照画像をテンプレートとして、外観検査のためのマッチング処理を行う場合には、カメラ座標J1をカメラ座標J2の座標系に対応させる必要がある。
ホモグラフィ行列Hは、3×3行列であり、下記(1)式により表され、例えば、ワールド座標系において、カメラ座標J1を、カメラ座標J2に変換させる。すなわち、この(2)式において、A1及びA2はそれぞれカメラC1、カメラC2のカメラ特有の内部パラメータであり、Rはカメラ座標J2に対するカメラ座標J1の回転ベクトルであり、tはカメラ座標J2に対するカメラ座標J1の並進ベクトルであり、dはカメラC1のレンズ中心から平面πに対する垂線の長さ、nは平面πにおけるカメラC1のカメラ座標J1での法線ベクトルである。
ワールド座標系において、座標点P*と座標点Pとに対してホモグラフィ行列Hによる対応関係は、以下の(2)式として表される。
ホモグラフィ行列は3×3の行列であり、9個の成分を持つが、定数倍の自由度があるので、どれか一つの成分を定数に固定して、未知数は8個であるとみなせる。対応点として座標点が4組あれば、それぞれカメラ座標の2軸(X軸、Y軸)の成分を持っているので、8個の連立方程式を立てることが出来、未知数が決定できる。
ここで、撮像画像の撮像位置が参照画像の撮像位置近傍にある場合、後述する行列^Gには単位行列が用いられる。この単位行列は、例えばカメラ座標J1の各画素を座標変換した場合、同一のカメラ座標J1となる行列である。
このため、画像処理部12は、参考文献(”Homography−based 2D Visual Tracking and Servoing”、S.Benhimane and E.Malis、The International Journal of Robotics Reserch 2007;26;661)等に記載されている一般的なESM法(Efficient Second−order Minimization Method;効率的2次最小化法、)を用いた座標変換処理を行う。座標変換を行うことができれば、これ以外の手法を用いるようにしてもよい。
一方、ESM法においては、全画素の各々の輝度値(階調度)を用いてホモグラフィ行列を生成している。
ここで、画像処理部12は、図3に示すように、座標変換においてホモグラフィ行列Hではなく^GG(x)を用いている。ここで、^GとHとは同一の行列である。また、G(x)は、誤差ベクトルである。
ESM法のアルゴリズムは、ホモグラフィ行列^Gにより透視投影変換を行い、誤差行列G(x)によりさらに回転及び並進処理を行うことで、ワールド座標系において、撮像画像のカメラ座標J1の各画素の座標値を、参照画像のカメラ座標J2の各画素の座標値に近づける操作を行うものである。
まず、画像処理部12は、ホモグラフィ行列^GG(x)を用い、カメラ座標J1の撮像画像の座標点p(画素)を、カメラ座標J2の参照画像と同一平面に対して透視投影変換する。これにより、カメラ座標系J1の座標点p*に対応したカメラ座標系J2における座標点pは以下の(3)式により求められる。(3)式において、w(G)は座標変換に用いる透視投影変換行列である。
また、画像処理部12は、この座標点w(^GG(x))(p*)の画素の輝度値I(w(^GG(x))(p*))を、参照画像記憶部14の参照画像から読み出す。
画像処理部12は、カメラ座標系J1における座標値p*の画素の輝度値を読み出し、輝度値I(w(^GG(x))(p*))から、輝度値I*(p*)を減算して誤差を算出する。
また、このとき、画像処理部12は、撮像画像の各画素を座標変換し、参照画像と同一の画素数にする。すなわち、カメラ座標J2における参照画像の座標範囲をはみ出した部分の画素(参照画像の画素と重ならない画素)に座標変換された画素を破棄し、参照画像の座標範囲に入る画素(参照画像の画素と重なる画素)のみを比較画像とする。
ここで、二乗和が最小となるG(x)における要素xを求めるアルゴリズムとしては、ESM法で用いたアルゴリズムではなく、KLT(Kanade−Lucas−Tomasi)法等を用いても良い。
また、マッチング処理部13は、差分の二乗和を求めるのではなく、以下の(8)式に示す相関係数により類似度を求めるように構成しても良い。この(8)式において、Tiは参照画像の画素iの輝度値であり、TMは参照画像における全画素の輝度値の平均値であり、Piは比較画像の画素iの輝度値であり、PMは比較画像の全画素の輝度値の平均値である。
本実施形態は、後述する他の実施形態に対して、対応点の検索を行っていないが、例えば、撮像画像が参照画像近傍の画像の場合、すなわちカメラ座標J1とカメラ座標J2とがほぼ重なる位置である場合に有効に用いることができる。
入力処理部11は、撮像装置2から製品Tが撮像された撮像画像のデータを、画像処理部12に対して出力する。撮像装置2による製品Tの撮像は、作業者Tが撮像装置2を手に持って、製品Tの各面の撮像することにより行われる。ここで、作業者Tはいずれの面を、撮像装置2により撮像しているかを示す識別情報を、入力処理部11に対して入力する。
画像処理部12は、入力処理部11から供給される撮像画像を所定の周期において、内部記憶部に格納する。
次に、画像処理部12は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部14から読み込み、内部記憶部に格納する。
次に、画像処理部12は、すでに説明したように、ESM法により、ワールド座標系におけるカメラ座標J1からカメラ座標J2に座標変換するホモグラフィ行列を求め、カメラ座標J1における撮像画像の各画素の座標を、カメラ座標J2における比較画像の各画素の座標に変換する。
マッチング処理部13は、比較画像と参照画像との対応する座標点における輝度値を、二乗和あるいは相関値を用いて、類似度を抽出し、この抽出した類似度により、撮像した製品Tの面が良品か不良品かのいずれであるかの判定を行う。
そして、マッチング処理部13は、例えば、(7)式を用いた差の二乗和あるいは相関値等により、比較画像の参照画像に対する類似度を求めた場合、予め設定した閾値以下の場合、参照画像と比較画像とが一致したと判定して良品を示す信号を出力する。
一方、マッチング処理部13は、予め設定した閾値を超えた場合、参照画像と比較画像とが一致しないと判定して不良品を示す信号を出力する。
この結果、製品Tに対して常に撮像装置2を固定しておく必要が無く、作業者がその度に撮像装置2により任意の位置から、製品Tの各面の撮像を行うことができ、撮像装置2を固定する装置を配置する作業スペースと、製造ライン変更に伴う煩雑な装置設備の交換作業とを必要とせず、かつ作業員自身が外観検査の判定を行わないので、作業者の心理的負担を低減することができる。
次に、図面を参照して、本発明の第2の実施形態について説明する。図5は、この発明の第2の実施形態による検査システムの構成例を示す概略ブロック図である。
同図において、検査システムは、第1の実施形態と同様に、画像検査装置1と撮像装置2とから構成されている。
画像検査装置1は、入力処理部11、画像処理部22、マッチング処理部13、参照画像記憶部14、対応点検出部15及びホモグラフィ行列作成部16を備えている。図1の第1の実施形態と同様の構成については同一の符号を付し、その説明を省略する。
図6は撮像画像の特徴点と、参照画像の特徴点とを比較し、類似した点を対応点として抽出する処理を説明する図である。
対応点検出部15は、撮像画像の特徴点D1を選択し、この特徴点D1の特徴量と、参照画像の全ての特徴点との比較を、以下の(9)式により行う。
このため、対応点検出部15は、特徴点D1と特徴点DP1とのユークリッド距離dが12と、全ての組合せのなかで最も小さいため、撮像画像の特徴点D1と、参照画像の特徴点DP1とを対応点として組合せに設定する。
そして、対応点検出部15は、撮像画像の特徴点を順次選択し、選択した特徴点毎に、参照画像の特徴点各々とのユークリッド距離を求め、最小となるユークリッド距離を有する参照画像の特徴点を、選択した特徴点の対応点とする。
ここで、対応点検出部15は、後述するホモグラフィ行列の算出に必要な対応点を、4組以上求める。
画像処理部22は、ホモグラフィ行列生成部16の生成したホモグラフィ行列Hを用いて、カメラ座標J1の撮像画像の各画素の座標点を座標変換し、カメラ座標J2における比較画像を生成する。この座標変換により、カメラ座標J2の参照画像と同様の位置及び傾きである撮像画像として、比較画像を得ることができる。
図7のフローチャートにおいて、ステップS21、ステップS28、ステップS29の各々は、第1の実施形態の図4のフローチャートにおけるステップS1、ステップS4、ステップS5とそれぞれ同様のため説明を省略する。また、本実施形態においては、第1の実施形態におけるESMによる座標変換処理を行っていない。SIFTなどにより抽出した特徴点から正確な対応点が抽出できれば、ESMによるカメラ座標J1とカメラ座標J2との合わせ込みが必要ではない。
このESMの処理の有無は、検査対象毎に撮像画像及び参照画像における特徴点の数の比較、あるいは特徴量のユークリッド距離の大きさなどを実験により求めておく。
次に、対応点検出部15は、内部記憶部に記憶している撮像画像(ステップS21において入力された撮像画像)における特徴点の抽出を、SIFTまたはSURF等を用いて行う。
そして、対応点検出部15は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部14から読み込み、内部記憶部に格納する。
次に、対応点検出部15は、内部記憶部に記憶している参照画像における特徴点の抽出を、SHIFを用いて行う。
撮像画像及び参照画像の特徴点の抽出が終了すると、対応点検出部15は、撮像画像の特徴点を順次1つ選択し、この選択した撮像画像の特徴点と、参照画像の全特徴点の各々との特徴量のユークリッド距離を求め、選択した撮像画像の特徴点とのユークリッド距離が最も小さい参照画像の特徴点を、選択した撮像画像の特徴点との対応点として抽出する。
また、対応点検出部15は、上述した特徴点の組合せとしての対応点において、この対応点における最も小さなユークリッド距離が予め設定した値より小さい場合、この撮像画像の特徴点と参照画像の特徴点とを、対応点として抽出しないように構成しても良い。
次に、ホモグラフィ行列生成部16は、抽出された対応点のなかから、特徴量のユークリッドが小さい方から4つの対応点を抽出し、この4つの対応点を用いてホモグラフィ行列を求める。
すなわち、ホモグラフィ行列生成部16は、対応点毎に組み合わされている特徴点の座標を用い、4つの(2)式を生成し、この4つの式を連立して解くことにより、ホモグラフィ行列Hの未定要素を求めて、ホモグラフィ行列Hを生成する。
画像処理部22は、ホモグラフィ行列生成部16が求めたホモグラフィ行列により、カメラ座標J1における2次元平面上の撮像画像を座標変換し、カメラ座標J2の2次元平面上の比較画像を生成する。
この後段の処理であるステップS28及びステップS29の各々は、それぞれ図4のフローチャートのステップS4、ステップS5と同様のため、説明を省略する。
この結果、製品Tに対して常に撮像装置2を固定しておく必要が無く、作業者がその度に撮像装置2により任意の位置から、製品Tの各面の撮像を行うことができ、撮像装置2を固定する装置を配置する作業スペースと、製造ライン変更に伴う煩雑な装置設備の交換作業とを必要とせず、かつ作業員自身が外観検査を行わないので、作業者の心理的負担を低減することができる。
このため、ホモグラフィ行列が既知でなくとも、カメラ座標J1の撮像画像を、参照画像と同様のカメラ座標J2に座標変換して比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
次に、本発明の第3の実施形態について説明する。第3の実施形態の構成は、第2の実施形態と同様である。以下、第2の実施形態と異なる動作を説明する。
第3の実施形態が第2の実施形態と異なる点は、画像処理部22がホモグラフィ行列Hを用いて、(3)式から(6)式により、カメラ座標J1の2次元平面上の撮像画像を、カメラ座標J2の2次元平面上の比較画像に座標変換することにある。
図8のフローチャートにおいて、ステップS31からステップS36の各々は、それぞれ図7のフローチャートのステップS21からステップS26と同様であり、説明を省略する。また、ステップS39及びステップS40の各々は、図7のフローチャートのステップS28、ステップS29と同様であり、説明を省略する。
次に、画像処理部12は、ワールド座標系におけるカメラ座標J1からカメラ座標J2に座標変換するホモグラフィ行列H及び参照画像の各画素の輝度値を用い、第1の実施形態において説明したESM法により、ホモグラフィ行列^G(H)に対する誤差行列G(x)を求め、カメラ座標J1における撮像画像の各画素の座標を、カメラ座標J2における比較画像の各画素の座標に座標変換する。
この後段の処理であるステップS39及びステップS40の各々は、それぞれ図7のフローチャートのステップS28、ステップS29と同様のため、説明を省略する。
このため、ホモグラフィ行列が既知でなくとも、カメラ座標J1の撮像画像を、参照画像と同様のカメラ座標J2の比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
次に、本発明の第4の実施形態について説明する。第4の実施形態の構成は、第3の実施形態と同様である。以下、第3の実施形態と異なる動作を説明する。
第3の実施形態と異なる点は、まず、第1の実施形態と同様にESMを行いた座標変換処理を行う。そして、座標変換したカメラ座標J2における座標値w(^GG(x))(p*)の画素の輝度値と、変換前のカメラ座標J1の座標値p*の画素の輝度値との差分の二乗和による類似度(後述する(7)式)、あるいは相関値による類似度(後述する(8)式)を求め、この類似度が予め設定した閾値に対して低い場合、第2の実施形態と同様にホモグラフィ行列の生成を行う。
ステップS31:
入力処理部11は、撮像装置2から製品Tが撮像された撮像画像のデータを、画像処理部12に対して出力する。撮像装置2による製品Tの撮像は、作業者Tが撮像装置2を手に持って、製品Tの各面の撮像することにより行われる。ここで、作業者Tはいずれの面を、撮像装置2により撮像しているかを示す識別情報を、入力処理部11に対して入力する。
画像処理部12は、入力処理部11から供給される撮像画像を所定の周期において、内部記憶部に格納する。
そして、対応点検出部15は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部14から読み込み、内部記憶部に格納する。
次に、画像処理部12は、すでに説明したように、ESM法により、ワールド座標系におけるカメラ座標J1からカメラ座標J2に座標変換するホモグラフィ行列を求め、カメラ座標J1における撮像画像の各画素の座標を、カメラ座標J2における比較画像の各画素の座標に変換する。
そして、画像処理部12は、座標変換したカメラ座標J2における座標値w(^GG(x))(p*)の画素の輝度値と、変換前のカメラ座標J1の座標値p*の画素の輝度値との差分を全画素で加算し、この加算値の逆数を類似度とし予め設定した閾値を超える場合、類似しているとして、ホモグラフィ行列^Gと得られた誤差行列Gとにより、撮像画像の各画素の座標変換を行い、比較画像を生成して処理をステップS39へ進め、一方、類似度が予め設定した閾値より低い場合、類似していないとして処理をステップS32へ進める。
以降の処理は、第3の実施形態と同様であるため、説明を省略する。
本実施形態によれば、撮像画像を参照画像の撮像位置近傍で撮像することにより、ホモグラフィ行列を求めることなく、行列^Gを対角行列とし、誤差行列G(x)により微調整を行うことで、テンプレートマッチングの処理を行うことが可能となるため、高速化することができる。
次に、本発明の第5の実施形態について説明する。第5の実施形態の構成は、第2及び第3の実施形態と同様である。以下、第3の実施形態と異なる動作を説明する。
第5の実施形態が第3の実施形態と異なる点は、画像処理部22がホモグラフィ行列Hを生成した後、このホモグラフィ行列Hにより、カメラ座標J1の撮像画像を、参照画像と同様なカメラ座標J2の比較画像に座標変換し、座標変換後の形状が参照画像の形状と大きく異なっていた場合、撮像画像が異なる位置を撮像したり、あるいは参照画像を撮像した位置と大幅にずれていて座標変換の可能範囲を超えているとして、現在処理している撮像画像を破棄し、新たに次に入力処理部11がサンプリングする撮像画像に対して新たに処理を開始することにある。
図10のフローチャートにおいて、ステップS51からステップS56の各々は、それぞれ図9のフローチャートのステップS31からステップS36と同様であり、説明を省略する。また、ステップS60及びステップS61の各々は、図9のフローチャートのステップS39、ステップS40と同様であり、説明を省略する。
画像処理部22は、ホモグラフィ行列生成部16から入力されるホモグラフィ行列Hにより、このホモグラフィ行列Hにより、カメラ座標J1の撮像画像を、参照画像と同様であるカメラ座標J2の比較画像に座標変換する。
画像処理部22は、参照画像記憶部14に予め記憶されている、参照画像における製品の形状抽出したテンプレート画像と、比較画像から形状抽出した画像との形状比較を行う。
ここで、画像処理部22は、形状抽出として撮像画像のエッジ検出を行い、この検出したエッジの画像とテンプレート画像との類似度を、(7)式または(8)式により類似度を求め、この類似度が予め設定している数値より小さい場合、異なる形状と判定する。
一方、画像処理部22は、テンプレート画像と、比較画像から形状抽出した画像との形状が同様の場合、処理をステップS59へ進める。
次に、画像処理部12は、第1の実施形態において説明したように、ESM法により、ワールド座標系におけるカメラ座標J1からカメラ座標J2に座標変換するホモグラフィ行列を求め、カメラ座標J1における撮像画像の各画素の座標を、カメラ座標J2における比較画像の各画素の座標に変換する。
この後段の処理であるステップS60及びステップS61の各々は、それぞれ図8のフローチャートのステップS39、ステップS40と同様のため、説明を省略する。
また、図10のフローチャートに対して、ステップS58と同様の処理を、ステップS69及びステップS60の間に追加する構成としても良い。
また、ステップS58における座標変換がうまく行われたか否かの判定として、参照画像と比較画像との画像の比較を、上述した形状比較により行うのではなく、色の情報を用いて行うように、画像処理部22を構成しても良い。例えば、変換される前の撮像画像における座標p*の画素の色情報(RGBの各々の階調度)と、変換された後の比較画像における座標pの画素の色情報とを比較し、予め設定された閾値を超える差分があれば、同様でないと判定する。
これにより、撮像画像の撮像した位置及び傾きが参照画像と大きく異なることに起因する、良品を不良品とする誤った判定を抑制することができ、作業員の手にした撮像装置で検査を行うことをさらに容易にすることが可能である。
また、予め複数の参照画像を準備しておき、各参照画像と撮像画像との類似の比較を行い、全てと類似した場合、あるいは予め設定した数以上に類似した場合を良品として判定(参照画像が不良品の場合には不良品と判定)するように構成しても良い。
なお、上述の実施形態において、平面画像に関する座標変換を説明したが、対象が3Dであっても本システムは有効である。3D復元には、8点以上の対応点があればよいので、平面と同様の手法(SIFT,SURF等を使う)で取り扱うことができる。3Dの場合は、座標変換にホモグラフィ行列を使いず、ホモグラフィ行列のような3×3の行列を使って座標変換を行う。
なお、図1及び図5における画像処理部12、22、マッチング処理部13、対応点検出部15及びホモグラフィ行列生成部16は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、この画像処理部12、22は専用のハードウェアにより実現されるものであってもよく、また、この処理部30はメモリおよびCPU(中央演算装置)により構成され、処理部30の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、以上説明した実施形態において、テンプレートマッチング処理より前に撮影画像をテンプレート画像と同じ画素数にする場合には、SIFT、SURF等の処理の後(座標変換後)に対象領域の切り取り(対応点位置が分るので、切り出す画素領域もわかる)を行うか、ESMで座標変換した後に対象領域の切り取りを行う。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Claims (7)
- 固定されておらず、不確定な位置で検査対象の外観を撮像し撮像画像とする撮像装置と、
予め基準となる前記検査対象を撮像した参照画像を記憶する記憶部と、
前記撮像装置の撮像座標上の前記撮像画像を、前記参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理部と、
前記参照画像と前記比較画像とを比較するマッチング処理部と
を備えることを特徴とする検査システム。 - 前記画像処理部が、前記撮像座標上の前記撮像画像を前記参照画像と同様の参照撮像座標に座標変換するホモグラフィ行列を、前記撮像画像に乗算して、前記参照画像と同様の参照撮像座標上の前記比較画像を生成する
ことを特徴とする請求項1に記載の検査システム。 - 前記画像処理部が、
前記撮像座標上の前記撮像画像を前記参照画像と同様の参照撮像座標に座標変換するホモグラフィ行列と、当該ホモグラフィ行列の誤差を補正する誤差行列とを、前記撮像画像に対し乗算し、得られた比較画像と参照画像との各画素の輝度値の差の二乗和を求め、この二乗和が最小となる前記誤差行列を求め、この求めた誤差行列と前記ホモグラフィ行列とにより、前記撮像座標上の前記撮像画像を、前記参照画像と同様の参照撮像座標上に座標変換し、変換結果を前記比較画像として出力することを特徴とする請求項1に記載の検査システム。 - 前記撮像画像と前記参照画像とにおける特徴点を求め、この特徴点の特徴量が類似する組合せを、前記撮像画像と前記参照画像との対応点として抽出する対応点検出部と、
前記対応点である撮像画像及び参照画像の各々の特徴点の座標値を用い、前記ホモグラフィ行列を求めるホモグラフィ行列生成部と
をさらに有することを特徴とする請求項2または請求項3に記載の検査システム。 - 前記画像処理部が、
前記比較画像と、前記参照画像との類似性を求め、当該類似性が予め設定した値以下の場合、前記撮像画像を他の撮像画像に変更し、検査処理を再度行うことを特徴とする請求項4に記載の検査システム。 - 請求項1から請求項5のいずれか一項に記載の検査システムを動作させる検査方法であり、
画像処理部が、固定されておらず、不確定な位置で撮像を行う撮像装置により撮像された検査対象の外観である撮像画像を入力し、前記撮像装置の撮像座標上の前記撮像画像を、予め基準となる前記検査対象の参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理過程と、
マッチング処理部が、前記参照画像と前記比較画像とを比較するマッチング処理過程と
を有する検査方法。 - 請求項1から請求項5のいずれか一項に記載の検査システムの機能をコンピュータに実行させるためのプログラムであり、
画像処理部が、固定されておらず、不確定な位置で撮像を行う撮像装置により撮像された検査対象の外観である撮像画像を入力し、前記撮像装置の撮像座標上の前記撮像画像を、予め基準となる前記検査対象の参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理ステップと、
マッチング処理部が、前記参照画像と前記比較画像とを比較するマッチング処理ステップと
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010028201A JP5600954B2 (ja) | 2010-02-10 | 2010-02-10 | 検査システム、その方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010028201A JP5600954B2 (ja) | 2010-02-10 | 2010-02-10 | 検査システム、その方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011165007A true JP2011165007A (ja) | 2011-08-25 |
JP5600954B2 JP5600954B2 (ja) | 2014-10-08 |
Family
ID=44595605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010028201A Expired - Fee Related JP5600954B2 (ja) | 2010-02-10 | 2010-02-10 | 検査システム、その方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5600954B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014123193A (ja) * | 2012-12-20 | 2014-07-03 | Kddi Corp | フィールド作業支援装置 |
JP2015158427A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社東芝 | 3次元変形量計測装置および3次元変形量計測方法 |
US9129358B2 (en) | 2012-02-01 | 2015-09-08 | Seiko Epson Corporation | Inspecting apparatus, robot apparatus, inspecting method, and inspecting program |
JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
JP2018124798A (ja) * | 2017-02-01 | 2018-08-09 | 東芝テック株式会社 | 画像探索装置および画像探索プログラム |
JP2022040209A (ja) * | 2016-05-20 | 2022-03-10 | マジック リープ, インコーポレイテッド | 畳み込み画像変換推定を実行するための方法およびシステム |
JP2023525283A (ja) * | 2020-09-25 | 2023-06-15 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07131779A (ja) * | 1993-09-10 | 1995-05-19 | Sony Corp | 図形検査方法及び図形検査装置 |
JP2004199542A (ja) * | 2002-12-20 | 2004-07-15 | Fuji Xerox Co Ltd | 画像検査装置、プログラム、記憶媒体 |
JP2004342067A (ja) * | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | 画像処理方法、画像処理装置、及びコンピュータプログラム |
JP2008021161A (ja) * | 2006-07-13 | 2008-01-31 | Mitsubishi Fuso Truck & Bus Corp | 走行状態判定装置 |
JP2009505543A (ja) * | 2005-08-17 | 2009-02-05 | ウェセックス テクノロジー オプト−エレクトロニック プロダクツ リミテッド | 手持ち型画像処理装置 |
JP2009171242A (ja) * | 2008-01-16 | 2009-07-30 | Nippon Telegr & Teleph Corp <Ntt> | 画像間の特徴点の対応付方法、画像間の特徴点の対応付装置、画像間の特徴点の対応付プログラム及びそのプログラムを記録した記録媒体。 |
-
2010
- 2010-02-10 JP JP2010028201A patent/JP5600954B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07131779A (ja) * | 1993-09-10 | 1995-05-19 | Sony Corp | 図形検査方法及び図形検査装置 |
JP2004199542A (ja) * | 2002-12-20 | 2004-07-15 | Fuji Xerox Co Ltd | 画像検査装置、プログラム、記憶媒体 |
JP2004342067A (ja) * | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | 画像処理方法、画像処理装置、及びコンピュータプログラム |
JP2009505543A (ja) * | 2005-08-17 | 2009-02-05 | ウェセックス テクノロジー オプト−エレクトロニック プロダクツ リミテッド | 手持ち型画像処理装置 |
JP2008021161A (ja) * | 2006-07-13 | 2008-01-31 | Mitsubishi Fuso Truck & Bus Corp | 走行状態判定装置 |
JP2009171242A (ja) * | 2008-01-16 | 2009-07-30 | Nippon Telegr & Teleph Corp <Ntt> | 画像間の特徴点の対応付方法、画像間の特徴点の対応付装置、画像間の特徴点の対応付プログラム及びそのプログラムを記録した記録媒体。 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129358B2 (en) | 2012-02-01 | 2015-09-08 | Seiko Epson Corporation | Inspecting apparatus, robot apparatus, inspecting method, and inspecting program |
JP2014123193A (ja) * | 2012-12-20 | 2014-07-03 | Kddi Corp | フィールド作業支援装置 |
JP2015158427A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社東芝 | 3次元変形量計測装置および3次元変形量計測方法 |
JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
US10452949B2 (en) | 2015-11-12 | 2019-10-22 | Cognex Corporation | System and method for scoring clutter for use in 3D point cloud matching in a vision system |
JP2022040209A (ja) * | 2016-05-20 | 2022-03-10 | マジック リープ, インコーポレイテッド | 畳み込み画像変換推定を実行するための方法およびシステム |
JP7241210B2 (ja) | 2016-05-20 | 2023-03-16 | マジック リープ, インコーポレイテッド | 畳み込み画像変換推定を実行するための方法およびシステム |
JP2018124798A (ja) * | 2017-02-01 | 2018-08-09 | 東芝テック株式会社 | 画像探索装置および画像探索プログラム |
JP2023525283A (ja) * | 2020-09-25 | 2023-06-15 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 |
JP7490082B2 (ja) | 2020-09-25 | 2024-05-24 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 |
Also Published As
Publication number | Publication date |
---|---|
JP5600954B2 (ja) | 2014-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5600954B2 (ja) | 検査システム、その方法及びプログラム | |
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
US20110228052A1 (en) | Three-dimensional measurement apparatus and method | |
CN111699514A (zh) | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 | |
JP2014131257A (ja) | 画像補正システム、画像補正方法及びプログラム | |
CN109247068A (zh) | 用于滚动快门补偿的方法和设备 | |
JP2003244521A (ja) | 情報処理方法、装置および記録媒体 | |
JP5156601B2 (ja) | 形状測定装置およびプログラム | |
WO2014045508A1 (ja) | 検査装置、検査方法、および検査プログラム | |
JP5297779B2 (ja) | 形状測定装置およびプログラム | |
CN112270719B (zh) | 相机标定方法、装置及*** | |
CN113129383A (zh) | 手眼标定方法、装置、通信设备及存储介质 | |
JP2004271292A (ja) | 校正器及びステレオカメラ位置姿勢校正装置 | |
JPH1079029A (ja) | 立体情報検出方法及びその装置 | |
KR20120075899A (ko) | 수중 모니터링을 위한 수중카메라 영상의 스티칭 방법 | |
CN117333367A (zh) | 基于图像局部特征的图像拼接方法、***、介质及装置 | |
CN117218633A (zh) | 一种物品检测方法、装置、设备及存储介质 | |
JP2011095131A (ja) | 画像処理方法 | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
JP5671135B2 (ja) | 位置検出装置およびそれを搭載した外観検査装置 | |
JP2008014857A (ja) | プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム | |
KR101326095B1 (ko) | 영상융합장치 및 그 방법 | |
CN110930344B (zh) | 一种目标的质量确定方法、装置、***及电子设备 | |
JP2020149162A (ja) | 情報処理装置、画像処理プログラム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120928 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120928 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5600954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |