JP4612088B2 - 画像処理方法、塗装検査方法及び装置 - Google Patents

Description

本発明は、画像信号に対して微分処理を行なう画像処理技術に関し、更に、画像処理技術を利用する塗装検査技術に関する。

撮像素子から得られた画像信号には、その用途によって、ユーザが残しておきたい画像部分とユーザにとって不要な画像部分からなるものがある。ユーザにとって不要な画像部分は、周辺に対して濃度変化が大きい。従って、濃度変化が大きい部分を検出することによって、ユーザが不要な画像部分を検出することができる。こうして、ユーザが不要な画像部分を検出することができれば、それを除去すればよい。

特許文献１には、ノイズ等により劣化した画像に対して、適切なエッジを形成し、原画に近い高品質な画像を形成する方法が記載されている。特許文献２には、低周波及び高周波のノイズを低減する画像処理技術が記載されている。

特開平８−１６８００４号公報 特開２００４−３０３０７５号公報

濃度変化を算出する技術として、ソーベルフィルタ、メディアンフィルタ等が知られている。しかしながら、従来の技術では、ユーザが残しておきたい画像部分ばかりでなく、不要な画像部分も検出する可能性がある。

本発明の目的は、ユーザにとって必要な画像部分を残し、不要な画像部分を除去する画像処理方法を提供することにある。

本発明の画像処理方法では、先ず、原画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出す。これを基準画素ａｉ（ｉ＝１〜ｋ）とする。次に、基準画素毎に近接領域を設定し、近接領域における類似濃度の平均値を算出する。次に、基準画素毎に広領域を設定し、広領域における類似濃度の平均値を算出する。最後に、原画像の画像データより、広領域における類似濃度の平均値を減算し、両者の差分を求める。

本発明によると、微分処理においてユーザにとって必要な画像部分を残し、不要な画像部分を除去することができる。

図１を参照して、自動車の車体の塗装の検査方法の概略を説明する。塗装検査装置は、自動車の車体１０に照明光を照射する照明装置１１、車体の像を拡大又は縮小する光学系（レンズユニット）１２、車体のデジタル像を撮像するカメラ１３、及び、車体の像から塗装の欠陥を検出する画像処理装置１４を有する。カメラ１３はＣＣＤカメラであってよい。画像処理装置１４は、記憶装置、演算処理装置、及び、メモリを備えた通常のコンピュータであってよい。このようなコンピュータには、入力装置、表示装置及びプリンタが備えられている。本例の塗装検査装置は、自動車の車体の表面を小さな領域に分割し、各領域について、塗装の検査を自動的に行なうように構成されている。塗装検査装置は、図示しないロボットによって自動車の車体の周囲を移動する。

図２を参照して、画像処理装置における塗装の欠陥の検出処理の手順を説明する。先ず、ステップＳ１０１にて、画像処理装置１４に設けられた演算処理装置は、カメラから画像データを取り込み、それをメモリ又は記憶装置に格納する。ステップＳ１０２にて、演算処理装置は、画像データに対して微分処理を行なう。それによって、画像データの濃度変化が得られる。この濃度変化が大きい領域は、欠陥である可能性があるが、欠陥以外の可能性もある。ドア、ドアノブ、窓ガラス、ヘッドランプ等の縁では、濃度変化が大きい。本発明の微分処理によると、欠陥以外の濃度変化が大きい画像部分を除去する。そのため、欠陥の検出を効率的に実施することができる。微分処理は、以下に図４を参照して、詳細に説明する。ステップＳ１０３にて、演算処理装置は、画像データに対してノイズ除去処理を行なう。ノイズ除去処理は、画像データの平滑化である。ステップＳ１０４にて、演算処理装置は、画像データを２値化する。それによって、画像は、濃度が濃い領域と濃度が薄い領域の２つの領域に分けられる。例えば、画像は、黒色と白色に分けられる。この２値画像により、欠陥候補を検出することができる。例えば、白色の領域は、欠陥候補であると判定する。ステップＳ１０５にて、演算処理装置は、マスク処理を行なう。即ち、２値画像より、マスクエリアを除去する。ドアノブ、窓ガラス、ヘッドランプ等は、塗装を行なわないので、マスクエリアとなる。最後に、ステップＳ１０６にて、演算処理装置は、欠陥を検出する。ステップＳ１０４にて検出された欠陥候補のうち、マスクエリア以外のものを塗装の欠陥であると判定する。

図３はカメラから取り込んだ原画像３０１と、微分処理を行い、２値化処理を行なった画像３０２、３０３の例を示す。原画像３０１には、ユーザが残したい画像領域、即ち、塗装の欠陥３０１１と、ユーザが除去したい画像領域３０１２が含まれる。ユーザが除去したい画像領域３０１２は、例えば、ドアノブ、窓ガラス、ヘッドランプ等である。ユーザが除去したい画像領域３０１２の縁は濃度変化が大きい。従来の技術によって微分処理された画像３０２では、ユーザが除去したい画像領域３０１２の縁、即ち、濃度変化が大きい領域３０２２が残っている。そのため、塗装の欠陥３０２１を検出するとき、誤検出が生じる可能性がある。本発明によって微分処理された画像３０３では、ユーザが除去したい画像領域３０１２の縁は除去されている。従って、塗装の欠陥３０３１を検出するときに、誤検出が生じることはない。

図４を参照して本発明による微分処理方法を説明する。ステップＳ２０１にて、画像処理装置１４に設けられた演算処理装置は、原画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出す。これを基準画素ａｉ（ｉ＝１〜ｋ）とする。これらの基準画素の濃度を、ｐｉ（ｉ＝１〜ｋ）とする。ピッチが１画素なら、全ての画素を順に取り出すことになる。画素を取り出す順番は、画素データを構成する画素の走査順であってよい。ステップＳ２０２にて、演算処理装置は、基準画素毎に近接領域を設定し、近接領域における類似濃度の平均値を算出する。近接領域における類似濃度の平均値の算出方法は、後に、図５を参照して詳細に説明する。

ステップＳ２０３にて、演算処理装置は、基準画素毎に広領域を設定し、広領域における類似濃度の平均値を算出する。広領域における類似濃度の平均値の算出方法は、後に図６を参照して詳細に説明する。最後に、ステップＳ２０４にて、演算処理装置は、原画像の画像データより、広領域における類似濃度の平均値を減算し、両者の差分を求める。こうして得られた差分データでは、原画像３０１におけるユーザが除去したい画像領域３０１２の縁は除去され、ユーザが残したい画像領域、即ち、塗装の欠陥のみが残る。

図５を参照して、図４のステップＳ２０２の近接領域における類似濃度の平均値の算出方法を説明する。ステップＳ３０１にて、演算処理装置は、基準画素ａｉ（ｉ＝１〜ｋ）毎に、その基準画素の周囲の所定の領域を設定する。これを近接領域Ａｉ（ｉ＝１〜ｋ）とする。近接領域Ａｉに含まれる画素数は、全ての近接領域において同一であることが好ましい。しかしながら、基準画素が、画像の縁に存在する場合には、近接領域に含まれる画素数は、それより少なくてもよい。

ステップＳ３０２にて、演算処理装置は、各近接領域Ａｉについて、それに含まれる画素のうち、基準画素ａｉの濃度ｐｉとの差が小さい濃度の画素を、濃度差が小さい順に所定の数だけ取り出す。即ち、基準画素ａｉの濃度ｐｉに対して類似の濃度の画素を取り出す。例えば、ｎ個の画素ｃｉｊ（ｊ＝１〜ｎ、但し、ｎは近接領域Ａｉに含まれる画素数に等しいか又はそれより小さい）を取り出したものとする。ステップＳ３０３にて、演算処理装置は、ｎ個の画素ｃｉｊ（ｊ＝１〜ｎ）の濃度の平均値を算出する。この濃度の平均値を、ｃｍｉ（ｉ＝１〜ｋ）とする。これが、近接領域における類似濃度の平均値である。

図６を参照して、図４のステップＳ２０３の広領域における類似濃度の平均値の算出方法を説明する。ステップＳ４０１にて、演算処理装置は、基準画素ｂｉ（ｉ＝１〜ｋ）毎に、その基準画素の周囲の所定の領域を設定する。これを広領域Ｂｉ（ｉ＝１〜ｋ）とする。但し、ここで設定する広領域Ｂｉは、ステップＳ３０１にて設定した近接領域Ａｉより大きい。広領域Ｂｉに含まれる画素数は、全ての広領域において同一であることが好ましい。しかしながら、基準画素が、画像の縁に存在する場合には、広領域に含まれる画素数は、それより少なくてもよい。

ステップＳ４０２にて、演算処理装置は、各広領域Ｂｉについて、それに含まれる画素のうち、近接領域における類似濃度の平均値との差が小さい濃度の画素を、濃度差が小さい順に所定の数だけ取り出す。即ち、近接領域における類似濃度の平均値ｃｍｉに対して類似の濃度の画素を取り出す。例えば、ｍ個の画素ｃｉｊ（ｊ＝１〜ｍ、但し、ｍは領域Ｂｉに含まれる画素数より小さい）を取り出したものとする。ステップＳ４０３にて、演算処理装置は、ｍ個の画素ｃｉｊ（ｊ＝１〜ｍ）の濃度の平均値を算出する。この濃度の平均値を、ｃａｍｉ（ｉ＝１〜ｋ）とする。これが、広領域における類似濃度の平均値である。

次に、図７を参照して、本発明の微分処理の原理を説明する。図７の画像７０１は、９×１２画素からなり、そこに、ユーザが残したい画像部分、即ち、塗装の欠陥７１１が含まれる。通常、塗装の欠陥は、複数の画素に亘って広がっているが、ここでは、説明の便宜上、塗装の欠陥７１１は１画素のみを占めるものとする。画像７０１では、塗装の欠陥７１１の近傍にパネルエッジ部のように、比較的長い領域に延びる濃度勾配が大きい画像部分が存在しない。網目の各々に示された数字は、各画素の濃度（輝度）の値を示す。従って、濃度が高い画素、即ち、明るい画素では、数値が大きく、濃度が低い画素、即ち、暗い画素では、数値が小さい。塗装の欠陥７１１の濃度は１０、それ以外の画素の濃度は２００とする。

微分処理では、画像７０１を構成する画素より、順番に、１画素づつ取り出す。これを基準画素とする。基準画素の濃度を、その周囲の画素の濃度と比較する。基準画素が、塗装の欠陥７１１の場合、基準画素とその周囲の画素の濃度の差は、２００−１０＝１９０となる。従って、塗装の欠陥７１１を識別することができる。この場合、周囲の画素の濃度として、近接領域における類似濃度の平均値を用いても、広領域における類似濃度の平均値を用いても、結果は同一である。

図８に示す画像８０１は、パネル部８０２とパネルエッジ部８０３からなり、パネル部８０２に塗装の欠陥８１１が含まれる。塗装の欠陥８１１は、パネルエッジ部８０３の近くに存在する。網目の各々に示された数字は、各画素の濃度（輝度）の値を示す。ここでは、図５のステップＳ３０１にて設定する近接領域Ａｉを、基準画素の周囲の８画素（３×３画素）からなる領域とし、図６のステップＳ４０１にて設定する広領域Ｂｉを、基準画素の周囲の８０画素（９×９画素）からなる領域とする。また、図５のステップＳ３０２及び図６のステップＳ４０２にて取り出す画素数を１個であるとする。従って、図５のステップＳ３０３及び図６のステップＳ４０３では、取り出した画素の濃度の平均値を求めるが、この平均値は、前のステップにて取り出した１個の画素の濃度となる。

基準画素がパネル部８０２にある場合、図４のステップＳ２０２の近接領域における類似濃度の平均値を計算すると、２００となる。図４のステップＳ２０３の広領域における類似濃度の平均値を計算すると、２００となる。従って、図４のステップＳ２０４の差分を計算すると、差分＝２００−２００＝０となる。

基準画素がパネルエッジ部８０３にある場合、図４のステップＳ２０２の近接領域における類似濃度の平均値を計算すると、１０となる。図４のステップＳ２０３の広領域における類似濃度の平均値を計算すると、１０となる。従って、図４のステップＳ２０４の差分を計算すると、差分＝１０−１０＝０となる。

基準画素が塗装の欠陥８１１にある場合、図４のステップＳ２０２の近接領域における類似濃度の移動平均は、２００となる。図４のステップＳ２０３の広領域における類似濃度の移動平均は、２００となる。従って、図４のステップＳ２０４の差分を計算すると、差分＝２００−１０＝１９０となる。

従って、塗装の欠陥８１１では、差分の値が大きいが、パネル部８０２とパネルエッジ部８０３では、差分の値が小さい。そのため、パネルエッジ部８０３における濃度勾配が除去され、塗装の欠陥８１１を検出することができる。

図９に示す画像９０１は、パネル部９０２とパネルエッジ部９０３からなり、パネルエッジ部９０３に塗装の欠陥９１１が接触している。基準画素がパネル部９０２とパネルエッジ部９０３にある場合は、図８の画像８０１の場合と同様であり、図４のステップＳ２０４の差分を計算すると、差分＝１０−１０＝０となる。基準画素が塗装の欠陥９１１にある場合、図４のステップＳ２０２の近接領域における類似濃度の移動平均は、１０となる。図４のステップＳ２０３の広領域における類似濃度の移動平均は、１０となる。従って、図４のステップＳ２０４の差分を計算すると、差分＝１０−１０＝０となる。

従って、図９の画像９０１のように、塗装の欠陥９１１がパネルエッジ部９０３に接触している場合には、塗装の欠陥９１１とパネルエッジ部９０３を区別することができない。したがって、塗装の欠陥９１１を検出することができない。

本発明による微分処理では、塗装の欠陥の近傍には、パネルエッジが存在しないことが好ましい。更に、本発明によると、除去すべき濃度変化は、パネルエッジのように、比較的広い範囲に延びていることが好ましい。従って、本発明によると、塗装の欠陥は、パネルエッジから離れて、孤立的に存在している場合には、塗装の欠陥を検出し、且つ、パネルエッジ部の濃度勾配による画像を除去することができる。即ち、図９の画像９０１のように、塗装の欠陥９１１がパネルエッジ部９０３に接触している場合には、塗装の欠陥を検出することができなくなり、その場合には、近接領域の設定方法を変更すればよい。

例えば、図９の画像９０１において、基準画素が、塗装の欠陥に存在する場合、近接領域を、基準画素の濃度と異なる濃度の画素が含まれるように設定し、近接領域における類似濃度の平均を算出するときに、基準画素の濃度と異なる画素が多数含まれるように選択すればよい。例えば、基準画素が、塗装の欠陥に存在する場合、近接領域をパネル部内に設定してもよい。

更に、広領域を、近接領域における類似濃度の平均値と異なる濃度の画素が含まれるように設定し、広領域における類似濃度の平均を算出するときに、近接領域における類似濃度の平均値と異なる画素が多数含まれるように選択すればよい。

以上本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明について様々な変更が可能であることは当業者によって容易に理解されよう。

本発明の画像処理方法は、自動車の車体の塗装検査装置における塗装の欠陥の検出処理に適用可能であるが、他の技術分野における画像処理技術に適用可能である。

本発明による自動車の車体の塗装検査装置の概略を示す図である。 本発明による自動車の車体の塗装検査装置における塗装の欠陥の検出処理の概略を示す図である。 本発明による自動車の車体の塗装検査装置における画像の例を示す図である。 本発明による微分処理の概略を示す図である。 本発明による微分処理における近接領域における類似濃度の平均値の算出処理の概略を示す図である。 本発明による微分処理における広領域における類似濃度の平均値の算出処理の概略を示す図である。 本発明による微分処理の原理を説明する図である。 本発明による微分処理の原理を説明する図である。 本発明による微分処理の原理を説明する図である。

符号の説明

１０…車体、１１…照明装置、１２…レンズユニット、１３…カメラ、１４…画像処理装置、３０１、３０２…画像、３０１２…ノイズ、３０１３、３０２３…塗装の欠陥

Claims (3)

1. 演算処理装置と記憶装置とを有する画像処理装置を用いて、画像データを微分処理する方法において、
   前記演算処理装置によって、撮像装置によって得られた画素毎の濃度を含む画像データを取得する画像データ取得ステップと、
   前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ａｉ（ｉ＝１〜ｋ）とする基準画素取得ステップと、
   前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素の周囲に、所定の領域を設定し、それを近接領域Ａｉとする近接領域設定ステップと、
   前記演算処理装置によって、前記近接領域Ａｉ毎に、前記基準画素の濃度との差が小さい濃度の画素を、濃度差が小さい順に前記近接領域Ａｉに含まれる画素数より少ない所定の数だけ取り出す第１の類似濃度取得ステップと、
   前記演算処理装置によって、前記近接領域の各々について、前記第１の類似濃度取得ステップにて取り出した画素の濃度の平均値を演算する第１の類似濃度平均演算ステップと、
   前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素の周囲に、前記近接領域より大きい所定の領域を設定し、それを広領域Ｂｉとする広領域設定ステップと、
   前記演算処理装置によって、前記広領域Ｂｉ毎に、前記第１の類似濃度平均演算ステップにて演算した平均値との差が小さい濃度の画素を、濃度差が小さい順に前記広領域Ｂｉに含まれる画素数より少ない所定の数だけ取り出す第２の類似濃度取得ステップと、
   前記演算処理装置によって、前記広領域の各々について、前記第２の類似濃度取得ステップにて取り出した画素の濃度の平均値を演算する第２の類似濃度平均演算ステップと、
   前記演算処理装置によって、前記基準画素の濃度と、前記第２の類似濃度平均演算ステップにて演算した平均値の差を演算するステップと、
   を有する画像処理方法。
2. 照明装置によって車両の車体に照明光を照射するステップと、
   撮像装置によって車体のデジタル像を撮像するステップと、
   演算処理装置と記憶装置とを有する画像処理装置によって、車体の像に対して微分処理を行うステップと、該微分処理を行なった画像データより塗装の欠陥を検出するステップと、を有する塗装検査方法において、
   前記微分処理を行なうステップは、
   前記演算処理装置によって、撮像装置によって得られた画素毎の濃度を含む画像データを取得する画像データ取得ステップと、
   前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ａｉ（ｉ＝１〜ｋ）とする基準画素取得ステップと、
   前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素の周囲に、所定の領域を設定し、それを近接領域Ａｉとする近接領域設定ステップと、
   前記演算処理装置によって、前記近接領域Ａｉ毎に、前記基準画素の濃度との差が小さい濃度の画素を、濃度差が小さい順に前記近接領域Ａｉに含まれる画素数より少ない所定の数だけ取り出す第１の類似濃度取得ステップと、
   前記演算処理装置によって、前記近接領域の各々について、前記第１の類似濃度取得ステップにて取り出した画素の濃度の平均値を演算する第１の類似濃度平均演算ステップと、
   前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素の周囲に、前記近接領域より大きい所定の領域を設定し、それを広領域Ｂｉとする広領域設定ステップと、
   前記演算処理装置によって、前記広領域Ｂｉ毎に、前記第１の類似濃度平均演算ステップにて演算した平均値との差が小さい濃度の画素を、濃度差が小さい順に前記広領域Ｂｉに含まれる画素数より少ない所定の数だけ取り出す第２の類似濃度取得ステップと、
   前記演算処理装置によって、前記広領域の各々について、前記第２の類似濃度取得ステップにて取り出した画素の濃度の平均値を演算する第２の類似濃度平均演算ステップと、
   前記演算処理装置によって、前記基準画素の濃度と、前記第２の類似濃度平均演算ステップにて演算した平均値の差を演算するステップと、
   を有する塗装検査方法。
3. 車両の車体に照明光を照射する照明装置と、車両の車体の像を拡大又は縮小する光学系と、車体のデジタル像を撮像する撮像装置と、車体の像から塗装の欠陥を検出する画像処理装置と、を有し、該画像処理装置は、記憶装置、演算処理装置、及び、メモリを備えた塗装検査装置において、
   前記演算処理装置は、撮像装置から画素毎の濃度を含む画像データを取得し、前記画像データに対して微分処理を行うように構成され、
   前記微分処理は、
   前記演算処理装置によって、撮像装置によって得られた画素毎の濃度を含む画像データを取得し、前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ａｉ（ｉ＝１〜ｋ）とし、前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素の周囲に、所定の領域を設定し、それを近接領域Ａｉとし、前記近接領域Ａｉ毎に、前記基準画素の濃度との差が小さい濃度の画素を、濃度差が小さい順に前記近接領域Ａｉに含まれる画素数より少ない所定の数だけ取り出し、前記取り出した画素の濃度の平均値を演算し、それを第１の平均値とし、
   前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素の周囲に、前記近接領域より大きい所定の領域を設定し、それを広領域Ｂｉとし、前記広領域Ｂｉ毎に、前記平均値との差が小さい濃度の画素を、濃度差が小さい順に前記広領域Ｂｉに含まれる画素数より少ない所定の数だけ取り出し、
   前記広領域の各々について、前記取り出した画素の濃度の平均値を演算し、それを第２の平均値とし、前記基準画素の濃度と、前記第２の平均値の差を演算するように構成されていることを特徴とする塗装検査装置。
   

Images