JP3947581B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP3947581B2
JP3947581B2 JP15551896A JP15551896A JP3947581B2 JP 3947581 B2 JP3947581 B2 JP 3947581B2 JP 15551896 A JP15551896 A JP 15551896A JP 15551896 A JP15551896 A JP 15551896A JP 3947581 B2 JP3947581 B2 JP 3947581B2
Authority
JP
Japan
Prior art keywords
image
processing
pattern
morphological
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15551896A
Other languages
Japanese (ja)
Other versions
JPH103546A (en
Inventor
隆史 吉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP15551896A priority Critical patent/JP3947581B2/en
Publication of JPH103546A publication Critical patent/JPH103546A/en
Application granted granted Critical
Publication of JP3947581B2 publication Critical patent/JP3947581B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、濃淡モルフォロジー処理を領域切り出し処理を利用した画像処理装置に関するものである。
【0002】
【従来の技術】
従来より、濃淡モルフォロジー処理を用いて、画像パターンの高輝度領域を抽出する方法としてTop−hat変換処理、低輝度領域を抽出する方法としてWell変換処理が、更にエッジ領域を抽出する方法としてモルフォロジーエッジ変換処理が提案されている(電子情報通信学会論文誌Vol.J78−D−II No.7の「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」)。
【0003】
ここで、濃淡モルフォロジー処理の基本式であるErosion(収縮)処理、Dilation(膨張)処理、Opening(収縮した後膨張)処理及びClosing(膨張した後収縮)処理と、上記したTop−hat変換処理、Well変換処理、モルフォロジーエッジ(Edge)変換処理の各式とを以下に示す。
【0004】
オリジナルの濃淡画像パターンをf(x)、構造要素(モルフォロジー処理の作用範囲)をB(Bを構成する1つの画素をベクトルbで表すものとする)、そしてB^(Bの対称)を下記(1)式、Bx(Bをベクトルxだけ平行移動したB)を下記(2)式で表されるものとする。
【0005】
【数1】

Figure 0003947581
【0006】
【数2】
Figure 0003947581
【0007】
すると、Erosion処理、Dilation処理、Opening処理、Closing処理、Top−hat変換、Well変換、Edge変換は、それぞれ下記の如く表される。
【0008】
【数3】
Figure 0003947581
【0009】
図13は、上述した各処理のうち、基本的な4演算処理の処理例を示したものである。すなわち、図13(a)はMinkowski和、同図(b)はMinkowsky差、同図(c)はDilation処理、同図(d)はErosion処理を示したもので、ここでは、Minkowski和とDilation処理で同じ作用範囲B(またはB^)を、Minkowski差とErosion処理で同じ作用範囲B(またはB^)を設定した例である。
【0010】
図13より、Dilation処理はいわゆる画像膨張処理、Erosion処理では画像縮小処理となっていることがわかる。
また、上記式でわかるように、Top−hat変換処理画像パターンはOpening処理で消失した領域であり、モルフォロジー処理の作用範囲Bに含まれる領域サイズ内の高輝度領域を抽出することができる。同様に、Well変換処理画像パターンはClosing処理に於ける増分領域であり、モルフォロジー処理の作用範囲Bに含まれる領域サイズ内の低輝度領域を抽出することができる。
【0011】
尚、モルフォロジー処理の作用範囲は、或る画素を中心とするモルフォロジー処理半径内に含まれる処理領域と考えることができることから、ここでは「モルフォロジー処理の作用範囲」と「モルフォロジー処理半径」とは同義として扱うものとする。
【0012】
【発明が解決しようとする課題】
ところで、上述した従来技術では、モルフォロジー処理半径は定数であり、切り出すべきパターン領域のサイズ変動に対する考慮がなされていない。例えば、特開平4−336384号公報には、照明ムラや試料のばらつき等の外乱の影響を受けずに自動検査可能なパターン検査装置が記載されているが、モルフォロジー処理半径を越える領域サイズを持つパターン領域を抽出することはできないものであった。
【0013】
例えば、画像パターンを用いた傷検査では発生した傷の大きさによっては、傷領域の抽出が不可能となる。ここで、モルフォロジー処理半径を大きくすれば、Well変換及びTop−hat変換を用いて基本的にはどんなサイズの領域でも抽出できることが、擬似欠陥パターン(濃淡の変化がないにもかかわらず近傍の濃淡変化に影響されて切り出されてしまうパターン領域)の発生や、背景ムラによる中小パターン領域の消失/融合等が多く生じることが考えられるので、単にモルフォロジー処理半径を大きくすればよい訳ではない。
【0014】
また、複数サイズのモルフォロジー処理半径を用いてパターン領域切り出し処理を行う場合には、モルフォロジー処理自体が非常に計算量の多い処理のため、実時間処理には適用困難である(電子情報通信学会論文誌Vol.J78−D−II No.11の「最大最小型画像フィルタリングの高速演算手法」)、という課題を有している。
【0015】
この発明は上記実状に鑑みてなされたものであり、画像パターン内の特定のパターン領域を抽出するのに最適なモルフォロジー処理半径を決定するパターン領域切り出し処理を行う画像処理装置を提供することを目的とする。
【0016】
【課題を解決するための手段】
すなわちこの発明は、画像取り込み手段により取り込まれた画像パターンから特定のパターン領域を濃淡モルフォロジー処理により切り出すパターン領域切り出し手段を備えた画像処理装置において、上記パターン領域切り出し手段は、画像取り込み手段により取り込まれた上記画像パターンから抽出された輝度に関する特徴量を用いて上記特定パターン領域の画素情報を抽出し、この画素情報を利用して抽出されるべき上記特定のパターン領域のサイズが切り出し可能なモルフォロジー処理半径を予測し、このモルフォロジー処理半径をパラメータとして濃淡モルフォロジー処理を行いパターン領域を切り出すことを特徴とする。
【0019】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
図1は、この発明の第1の実施の形態に係る画像検査装置の概略構成を示したブロック図である。
【0020】
図1に於いて、画像検査装置1は、装置外部より入力画像を取り込む画像取り込み部2と、パターン領域切り出し部3と、パターン分類部4とから構成されている。そして、上記パターン領域切り出し部3はモルフォロジー処理半径決定処理部5と、濃淡モルフォロジー処理部6で構成され、また上記パターン分類部4は分類特徴抽出処理部7と、特徴分類処理部8とで構成されている。
【0021】
このような構成に於いて、先ず画像取り込み部2にて、撮像素子等で入力された入力画像パターンのうち画像検査対象となる領域が取り込まれ、この領域がパターン領域切り出し部3に供給される。
【0022】
パターン領域切り出し部3では、特定のパターン領域を切り出すために濃淡モルフォロジー処理が用いられる。そして、この濃淡モルフォロジー処理の重要な入力パラメータとして、モルフォロジー処理半径がある。これにより、モルフォロジー処理半径以内のサイズを有する高輝度領域または低輝度領域が、切り出し可能である。
【0023】
したがって、モルフォロジー処理半径決定処理部5では、画像取り込み部2から取り込まれた画像パターンから抽出された特徴量(例えば、輝度ヒストグラム情報等)が用いられて、抽出されるべき特定のパターン領域のサイズが切り出し可能なモルフォロジー処理半径が予測される。この予測したモルフォロジー処理半径が入力パラメータとして、濃淡モルフォロジー処理部6にて、濃淡モルフォロジー処理が行われ、パターン領域切り出しが行われる。
【0024】
上述したように、濃淡モルフォロジー処理のうち、Top−hat変換処理では高輝度のパターン領域が、またWell変換処理では低輝度のパターン領域が切り出される。この切り出されたパターン領域が、パターン分類部4に供給される。
【0025】
パターン分類部4では、先ず、分類特徴抽出処理部7にて、切り出されたパターン領域からパターン分類に有用な特徴量が算出される。次いで、特徴分類処理部8にて、前もって作成されている分類辞書パターン(図示せず)の特徴量と比較される。その比較の結果、最も類似した分類辞書パターンに付加された分類ラベルが、分類結果として画像検査装置1から出力される。
【0026】
次に、図2のフローチャートを参照して、モルフォロジー処理半径決定処理の動作を説明する。
画像取り込み部2によって検査画像が取り込まれ(ステップS1)、入力された検査画像パターンから、輝度ヒストグラム情報である輝度平均値μとその標準偏差σが先ず求められる(ステップS2)。次いで、検査画像パターンの(μ+ασ)値以上の画素が抽出されて(ステップS3)、その画素情報を基にTop−hat変換処理のためのモルフォロジー処理半径が決定される(ステップS4)。その後、濃淡モルフォロジー処理が行われて(ステップS7)、高輝度領域が抽出される。
【0027】
また、上記ステップS3と同時に、検査画像パターンの(μ−βσ)値以下の画素が抽出される。そして、上記ステップS4と同時に、該画素情報を基にWell変換処理のためのモルフォロジー処理半径が決定される(ステップS6)。その後、濃淡モルフォロジー処理により低輝度領域が抽出される。
【0028】
尚、上記α及びβは任意の定数である。
図3は、モルフォロジー処理半径決定処理の他の動作例を説明するフローチャートで、図2のフローチャートの変形例である。
【0029】
すなわち、図2と同様に輝度ヒストグラム情報を用いているが、輝度ヒストグラムの最大変化点を利用した画素抽出を行うものである。
画像取り込み部2により検査画像が取り込まれ(ステップS11)、入力された検査画像パターンから、輝度ヒストグラム情報である輝度平均値μが求められる(ステップS12)。次いで、検査画像パターンの輝度ヒストグラムでμから高輝度側での最大変化点が求められる(ステップS13)。そして、その最大変化点またはその近傍以上の画素が抽出されて(ステップS14)、Top−hat変換処理のためのモルフォロジー処理半径が決定される。その後、濃淡モルフォロジー処理が行われて(ステップS19)、高輝度領域が抽出される。
【0030】
また、検査画像パターンの輝度ヒストグラムでμから低輝度側での最大変化点が求められ(ステップS16)、その最大変化点またはその近傍以上の画素が抽出される(ステップS17)。そして、Well変換処理のためのモルフォロジー処理半径が決定された(ステップS18)後、濃淡モルフォロジー処理により低輝度領域が抽出される。
【0031】
図4(a)及び(b)は、上述したステップS7及び19のモルフォロジー処理半径を予測するための具体的な方法について説明するフローチャートである。これらのモルフォロジー処理半径の決定方法は、図2及び図3のフローチャートで抽出された画素情報を利用している。
【0032】
図4(a)に示されるフローチャートに於いて、先ず、前処理により抽出された画素の画素数xがカウントされ(ステップS21)る。そして、該画素数xがある閾値nより少ないか否かが判定され(ステップS22)、少ないならば抽出されるべきパターン領域のサイズは大きくないとして、モルフォロジー処理半径rとして最低値の1または2が決定される(ステップS23)。
【0033】
一方、上記ステップS22にて、画素数xが上記閾値n以上ならば、ある程度のサイズを有するパターン領域が存在することが考えられるとして、モルフォロジー処理半径rが以下の方法で予測されて決定される。
【0034】
すなわち、抽出された画素の散らばり具合が、画素重心cからの2次元位置分散度δから求められる(ステップS24)。2次元位置分散度δが大きいほど、抽出された画素は散らばっているとしてモルフォロジー処理半径rが小さく、反対に2次元位置分散度δが小さいほどモルフォロジー処理半径rが大きくなる。具体的には、例えば、モルフォロジー処理半径rは下記(3)式のようになる。
【0035】
【数4】
Figure 0003947581
ここで、aは任意の定数である。
【0036】
また、図4(b)は、上記ステップS22で、画素数xが上記閾値n以上の場合の、モルフォロジー処理半径rの予測の他の例を説明するフローチャートである。したがって、ステップS21〜S23の処理については、同図(a)のフローチャートと同じであるので説明は省略する。
【0037】
上記ステップS22に於いて、画素数xが上記閾値n以上ならば、抽出された画素のラン長を用いてモルフォロジー処理半径rが決定される。すなわち、ある1次元軸として、X軸またはX軸+θ方向について抽出画素が走査されて画素ラン長が計測され、その最大ラン長Xmax が求められる(ステップS26)。ここで、θは任意の角度(例えば45°等)である。
【0038】
また、別の1次元軸として、Y軸またはY軸+θ方向について抽出画素が走査されて、同様に最大ラン長Ymax が求められる(ステップS27)。そして、モルフォロジー処理半径rとして、r=min(Xmax ,Ymax )、すなわち、Xmax とYmax のうち小さいラン長がモルフォロジー処理半径rとされる(ステップS28)。
【0039】
このようにすれば、最低限必要なモルフォロジー処理半径を獲得することができる。尚、1次元軸方向にX軸やY軸を回転させた軸を持たせているのは、検査画像パターンに水平/垂直方向の傷等が発生し易いことからである。
【0040】
この実施の形態では、切り出されるべきパターン領域が変形していても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを決定することができる。
【0041】
上述した実施の形態では、モルフォロジー処理半径の獲得に画像パターンの輝度ヒストグラムを利用しているが、図5の変形例では画像パターンの輝度情報をそのまま利用して、各種の輝度レベルでスライスした時のラン長を用いている。
【0042】
すなわち、図5のフローチャートに於いて、検査画像が取り込まれると(ステップS31)、検査画像パターンに対して、ある座標軸方向(X軸等)の1次元パターンが各輝度レベルでスライス、すなわち2値化されて黒ラン長が計測される(ステップS32)。ここで、黒ランの端部は検査画像パターンの端部を含まないものが選択される。これは、照明ムラ等で検査画像パターンの周辺部が明るかったり暗かったりすることで、このムラが悪影響を及ぼさないようにするためである。次いで、上記黒ラン長がある範囲内のものについて、その平均値Xave (または最大値)が求められる(ステップS33)。
【0043】
同様にして、他の座標軸方向(Y軸等)の1次元パターンが各輝度レベルでスライスされて、黒ラン長が計測される(ステップS34)。ここで、やはり黒ランの端部は検査画像パターンの端部を含まないものが選択される。更に、Top−hat変換処理で用いられるモルフォロジー処理半径rとして、r=min(Xave ,Yave )が決定される。
【0044】
また、上記ステップS32〜S35と並行して、以下のステップS36〜S39が行われる。すなわち、Well変換処理のモルフォロジー処理半径rとして、先ず、検査画像パターンに対して、ある座標軸方向(X軸等)の1次元パターンが各輝度レベルでスライスされて白ラン長が計測される(ステップS36)。次いで、上述したTop−hat変換処理用と同様にXave とYave が求められ(ステップS37、S38)、その最小ラン長が設定される(ステップS39)。
【0045】
このように、Well変換処理ではTop−hat変換処理用と異なり、黒ラン長ではなく白ラン長(画素の存在しないドットのラン長)から求められる。
この変形例では、切り出されるべきパターン領域が非常に薄い濃淡パターンであっても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを決定することができる。
【0046】
次に、この発明の第2の実施の形態について説明する。
図6は、この第2の実施の形態に係る画像検査装置の概略構成を示すブロック図である。
【0047】
図6に於いて、この画像検査装置のパターン領域切り出し部11は、ランクフィルタによる画像縮小処理部12と、モルフォロジー処理半径決定処理部13と、濃淡モルフォロジー処理部11とから構成されている。この第2の実施の形態と上述した第1の実施の形態との相違点は、パターン領域切り出し部11に画像縮小処理部12が設けられていることである。パターン領域切り出し部11以外の画像取り込み部2やパターン分類部4は、上述した第1の実施の形態と同様であるため、以下の説明では一部説明を省略する。
【0048】
パターン領域切り出し部11では、画像取り込み部2からの画像パターンが画像縮小処理部12でブロックに分割され、Top−hat変換処理用とWell変換処理用に別々に縮小画像パターンが作成される。モルフォロジー処理半径決定処理部13では、画像取り込み部2からの画像パターンから抽出された特徴量(例えば、輝度ヒストグラム情報等)が用いられて、抽出されるべき特定のパターン領域のサイズを切り出し可能なモルフォロジー処理半径が予測される。
【0049】
この予測されたモルフォロジー処理半径が入力パラメータとして、濃淡モルフォロジー処理部14にて濃淡モルフォロジー処理が行われ、パターン領域切り出しが行われる。濃淡モルフォロジー処理のうち、Top−hat変換処理では高輝度のパターン領域が、またWell変換処理では低輝度のパターン領域が切り出される。この切り出されたパターン領域が、次段のパターン分類部4内の分類特徴抽出処理部7に入力される。パターン分類部4では、パターン分類に有用な特徴量が分類特徴抽出処理部7にて算出され、図6には示されないが、次段の特徴分類処理部にて処理され、最終的に分類結果として出力される。
【0050】
次に、図7のフローチャートを参照して、ランクフィルタによる画像縮小処理と続くモルフォロジー処理半径決定処理の動作について説明する。
先ず、画像取り込み部2により画像が取り込まれ(ステップS41)、取り込まれた画像パターンが、m×nドットのブロックに分割される(ステップS42)。
【0051】
次に、ランクフィルタを用いて縮小画像パターンを作成するが、Top−hat変換処理用と、Well変換処理用で縮小画像パターンの作成方法が異なる。
Top−hat変換処理では、相対的に高輝度を有する領域が抽出されるため、ランクフィルタのうちの最大値フィルタが用いられて、各ブロックの輝度最大値を代表値として縮小画像パターンが作成される(ステップS43)。反対に、Well変換処理では、相対的に低輝度の領域が抽出されるため、ランクフィルタのうちの最小値フィルタが用いられて、各ブロックの輝度最小値を代表値として縮小画像パターンが作成される(ステップS47)。
【0052】
そして、各濃淡モルフォロジー変換処理用の縮小画像パターンが用いられて、モルフォロジー処理半径決定処理部13にて、モルフォロジー処理半径決定処理が実施される。このモルフォロジー処理半径決定処理では、高輝度領域抽出用と低輝度領域抽出用で別々に処理される。
【0053】
Top−hat変換処理のためのモルフォロジー処理半径を予測決定するにあたり、最大値フィルタによる縮小画像パターンの輝度平均値μとその標準偏差σが求められる(ステップS44)。次いで、検査画像パターンの(μ+ασ)値以上の画素が抽出されて(ステップS45)、その画素情報を基にモルフォロジー処理半径が決定される(ステップS46)。
【0054】
また、Well変換処理のためのモルフォロジー処理半径を予測決定するのには、最小値フィルタによる縮小画像パターンの検査画像パターンの輝度平均値μとその標準偏差σが求められる(ステップS48)。次いで、(μ−βσ)値以下の画素が抽出されて(ステップS49)、その画素情報を基にモルフォロジー処理半径が決定される(ステップS50)。ここで、α及びβは任意の定数である。
【0055】
上記ステップS46及びS50の後、濃淡モルフォロジー処理51が濃淡モルフォロジー処理部14でなされる(ステップS51)。
また、図8は、図7のフローチャートの変形例である。図8のフローチャートでは、図7と同様にランクフィルタによる画像縮小処理を実施し、モルフォロジー処理半径決定処理では輝度ヒストグラム情報を用いてモルフォロジー処理半径を予測しているが、輝度ヒストグラムの最大変化点を利用した画素抽出を行っている点が異なる。
【0056】
すなわち、画像が取り込まれて(ステップS61)、画像パターンがm×nドットのブロックに分割される(ステップS62)。Top−hat変換処理では、各ブロックの輝度最大値を代表値として縮小画像パターンが作成され(ステップS63)、Well変換処理では、各ブロックの輝度最小値を代表値として縮小画像パターンが作成される(ステップS68)。
【0057】
そして、濃淡モルフォロジー変換処理用の縮小画像パターンから、Top−hat変換処理について、輝度ヒストグラム情報である輝度平均値μが求められる(ステップS64)。次いで、最大値フィルタによる縮小画像パターンの輝度ヒストグラムでμから高輝度側での最大変化点が求められ(ステップS65)、その最大変化点またはその近傍以上の画素が抽出されて(ステップS66)、Top−hat変換処理のためのモルフォロジー処理半径が決定される(ステップS67)。
【0058】
また、Well変換処理についても、最小値フィルタによる縮小画像パターンの輝度ヒストグラムで、輝度平均値μから低輝度側での最大変化点が求められる(ステップS69、S70)。そして、その最大変化点またはその近傍以上の画素が抽出されて(ステップS71)、Well変換処理のためのモルフォロジー処理半径が決定される(ステップS72)。
【0059】
尚、上述した第1の実施の形態と同様に、モルフォロジー処理半径の決定方法は、図4のフローチャートに示される方法を用いることができる。
以上の実施の形態では、モルフォロジー処理半径の獲得に縮小画像パターンの輝度ヒストグラムを利用しているが、これに限られるものではない。
【0060】
図9のフローチャートは、第2の実施の形態に於ける更なる変形例で、縮小画像パターンの輝度情報をそのまま利用して、各種の輝度レベルでスライスした時のラン長を用いている。
【0061】
先ず、検査画像が取り込まれて(ステップS81)、画像パターンがm×nドットのブロックに分割される(ステップS82)。そして、該検査画像パターンに対して、最大値フィルタと最小値フィルタを作用させて縮小画像パターンとされる(ステップS83、S88)。
【0062】
次いで、、Top−hat変換処理の場合、最大値フィルタによる縮小画像パターンのある座標軸方向(X軸等)の1次元パターンが、各輝度レベルでスライス、すなわち2値化されて黒ラン長が計測される(ステップS84)。ここで、黒ランの端部は検査画像パターンの端部を含まないものが選択される。
【0063】
次に、この黒ラン長がある範囲内のものについて、その平均値Xave (または最大値)が求められる(ステップS85)。同様に、他の座標軸方向(Y軸等)の1次元パターンが、、各輝度レベルでスライスされて黒ラン長が計測される(ステップS86)。やはり、黒ランの端部は検査画像パターンの端部を含まないものが選択される。そして、Top−hat変換処理で用いられるモルフォロジー処理半径rとして、r=min(Xave ,Yave )が決定される(ステップS87)。
【0064】
一方、 Well変換処理のモルフォロジー処理半径rとしては、最小値フィルタによる縮小画像パターンに対して、上記Top−hat変換処理用と同様にXave とYave が求められて、その最小ラン長が設定される(ステップS89〜S92)。但し、Top−hat変換処理用とは、黒ラン長ではなく白ラン長(画素の存在しないドットのラン長)から求められる点が異なっている。
【0065】
そして、上記ステップS87及びS92の後、濃淡モルフォロジー処理がなされる。
この実施の形態に於いては、ランクフィルタによる縮小画像パターンを用いているため、切り出すべきパターン領域のサイズ差が小さくなり、濃淡モルフォロジー処理によるパターン領域の切り出しに対する影響を小さくすることができる。
【0066】
次に、この発明の第3の実施の形態を説明する。
図10は、この発明の第3の実施の形態に係る画像検査装置の概略構成を示すブロック図である。
【0067】
図10に於いて、この画像検査装置のパターン領域切り出し部16は、ランクフィルタによる画像縮小処理部17と、複数の濃淡モルフォロジー処理部181 、182 、183 、…と、モルフォロジー処理半径判定処理部19とから構成されている。この第3の実施の形態と上述した第2の実施の形態とは、パターン領域切り出し部16に於いてランクフィルタによる画像縮小処理部17の次段に複数の濃淡モルフォロジー処理部181 、182 、183 、…が存在すること、及びその後の処理としてモルフォロジー処理半径判定処理部19が設けられていることが異なる。
【0068】
尚、パターン領域切り出し部16以外の画像取り込み部2やパターン分類部は上述した第2の実施の形態と同様であるため、以下の説明では一部説明を省略する。
【0069】
パターン領域切り出し部16では、画像取り込み部2からの画像パターンが画像縮小処理部17でブロックに分割され、Top−hat変換処理用とWell変換処理用に別々に縮小画像パターンが作成される。複数の濃淡モルフォロジー処理部181 、182 、183 、…では、それぞれ異なるモルフォロジー処理半径を入力パラメータとして動作され、それぞれのモルフォロジー処理半径に対応したパターン領域の抽出が行われる。
【0070】
そして、モルフォロジー処理半径判定処理部19では、各濃淡モルフォロジー処理部181 、182 、183 、…の出力画像パターンから抽出された特徴量(例えば、輝度ヒストグラム情報等)が用いられて、抽出されるべき特定のパターン領域が切り出されている濃淡モルフォロジー処理画像パターンが判定される。その判定して切り出されたパターン領域が、次のパターン分類部の分類特徴抽出処理部7に入力され、最終的にパターン分類結果として出力される。
【0071】
図11(a)及び(b)は、モルフォロジー処理半径判定処理の具体的動作を説明するフローチャートである。
先ず、モルフォロジー処理半径判定処理の方法1として、図11(a)のフローチャートを参照して説明する。
【0072】
モルフォロジー処理半径判定処理が開始されると、モルフォロジー処理半径を異にする各濃淡モルフォロジー処理画像パターンの平均輝度値μと、その標準偏差σが求められる(ステップS101)。そして、前もって作成しておいた基準(正常)画像パターンのμとσの存在範囲から、最も乖離した値を有する濃淡モルフォロジー処理画像パターンが求められる(ステップS102)。
【0073】
ここで、求められた濃淡モルフォロジー処理画像パターンの領域抽出結果は、そのまま判定結果として用いられる(ステップS103)。或いは、上記ステップS102で求められた濃淡モルフォロジー処理画像パターンのモルフォロジー処理半径以下の小さいモルフォロジー処理半径による濃淡モルフォロジー処理画像パターンの領域抽出結果の論理和(OR)領域を、判定結果とすることもできる(ステップS104)。
【0074】
また、図11(b)のフローチャートは、モルフォロジー処理半径判定処理の方法2を説明するものである。
この場合、モルフォロジー処理半径判定処理が開始されると、単純に全ての濃淡モルフォロジー処理画像パターンの領域抽出結果の論理和(OR)領域が、判定結果として用いられる(ステップS105)。
【0075】
上述した第3の実施の形態では、各種サイズのモルフォロジー処理半径を用いて濃淡モルフォロジー処理を実際に行っているため、モルフォロジー処理半径の予測誤差は小さくなる。また、縮小画像パターンに対して濃淡モルフォロジー処理を実行しているため、高速処理が可能となっている。
【0076】
次に、この発明の第4の実施の形態を説明する。
図12は、この発明の第4の実施の形態に係る画像検査装置の概略構成を示すブロック図である。
【0077】
図12に於いて、この画像検査装置のパターン領域切り出し部21は、ランクフィルタによる画像縮小処理部22と、モルフォロジー処理半径決定処理部23と、濃淡モルフォロジー処理部24及び25を有し、この濃淡モルフォロジー処理部25には、画像取り込み部2と濃淡モルフォロジー処理部24の出力が供給されるように構成されている。
【0078】この第4の実施の形態と上述した第2の実施の形態との相違点は、ランクフィルタによる縮小画像パターンに対する濃淡モルフォロジー処理部24の後処理として、画像取り込み部2からの画像パターンに対して、再度濃淡モルフォロジー処理部25で濃淡モルフォロジー処理を作用させている点である。パターン領域切り出し部21以外の画像取り込み部2やパターン分類部は、上述した第2の実施の形態と同様であるため、以下の説明では一部説明を省略する。
【0079】
パターン領域切り出し部21では、画像取り込み部2からの画像パターンが画像縮小処理部22でブロックに分割され、Top−hat変換処理用とWell変換処理用に別々に縮小画像パターンが作成される。次いで、モルフォロジー処理半径決定処理部23では、画像取り込み部2からの画像パターンから抽出された特徴量(例えば、輝度ヒストグラム情報等)が用いられて、抽出されるべき特定のパターン領域のサイズを切り出し可能なモルフォロジー処理半径が予測される。
【0080】
この予測された複数処理半径が入力パラメータとして、濃淡モルフォロジー処理部24にて、濃淡モルフォロジー処理が行われてパターン領域切り出しが行われる。濃淡モルフォロジー処理のうち、Top−hat変換処理では高輝度のパターン領域が、またWell変換処理では低輝度のパターン領域が切り出される。
【0081】
この切り出されたパターン領域(ブロック)はランクフィルタを作用させた縮小画像パターンであるため、その切り出されたパターン領域(ブロック)に対応する位置の元のサイズの画像パターンに於いて、再度濃淡モルフォロジー処理が、濃淡モルフォロジー処理部25で実施される。入力パラメータとしてのモルフォロジー処理半径は、画像縮小処理の縮小率に対応して拡大されたものが用いられる。この再濃淡モルフォロジー処理により切り出されたパターン領域が、次のパターン分類部内の分類特徴抽出処理部7に入力される。
【0082】
これにより、より正確なパターン領域の抽出が可能となる。
尚、この発明の上記実施の形態によれば、以下の如き構成を得ることができる。
【0083】
(1) 処理対象となる画像パターンが入力される画像取り込み手段と、この画像取り込み手段から取り込まれた画像パターンから特定のパターン領域を濃淡モルフォロジー処理により切り出すパターン領域切り出し手段とを備える画像処理装置に於いて、
上記パターン領域切り出し手段は、切り出すべきパターン領域の半径を予測し、該領域の半径の予測値以下のパターン領域を切り出すための画像パターンに応じて濃淡モルフォロジー処理半径を決定するモルフォロジー処理半径決定処理手段を有することを特徴とする画像処理装置。
【0084】
(2) 上記画像取り込み手段から取り込んだ画像パターンを画像縮小処理するランクフィルタ処理手段を更に具備し、
上記パターン領域切り出し手段は、上記画像縮小処理された縮小画像パターンの輝度ヒストグラム情報を用いて上記濃淡モルフォロジー処理半径を決定することを特徴とする上記(1)に記載の画像処理装置。
【0085】
(3) 上記ランクフィルタ処理手段による縮小画像パターンの濃淡モルフォロジー処理で切り出された特定のパターン領域に対応する上記画像取り込み手段から取り込んだ画像パターンの部分領域に対して、再度濃淡モルフォルジー処理を行うことで、切り出すべき特定のパターン領域を元の画像パターンから再切り出しする濃淡モルフォオジー処理手段を更に具備することを特徴とする上記(2)に記載の画像処理装置。
【0086】
(4) 上記モルフォロジー処理半径決定処理手段は、モルフォロジー処理半径設定処理手段若しくはモルフォロジー処理半径判定処理手段を備えていることを特徴とする上記(1)に記載の画像処理装置。
【0087】
(5) 上記モルフォロジー処理半径設定処理手段及び上記モルフォロジー処理半径判定処理手段の何れか一方は、上記画像取り込み手段から取り込んだ画像パターンの輝度ヒストグラム情報を用いてモルフォロジー処理半径を決定することを特徴とする上記(4)に記載の画像処理装置。
【0088】
(6) 上記モルフォロジー処理半径設定処理手段は、上記画像パターンの輝度平均値μ及び標準偏差σを求め、μ+ασ以上(但し、αは任意の定数)の輝度を有する画素数と同画素の座標位置分散度を特徴量として高輝度領域のモルフォロジー処理半径設定を行い、μ−βσ以下(但し、βは任意の定数)の輝度を有する画素数及び同画素の座標位置分散度を特徴量として低輝度領域のモルフォロジー処理半径設定を行うことを特徴とする上記(5)に記載の画像処理装置。
【0089】
(7) 上記モルフォロジー処理半径設定処理手段は、上記画像パターンの輝度平均μを求め、この輝度平均μから高輝度側での輝度ヒストグラムの最大変化点若しくはその近傍以上の輝度を有する画素数と同画素の座標位置分散度を特徴量として高輝度領域のモルフォロジー処理半径設定を行い、上記輝度平均μから低輝度側での輝度ヒストグラムの最大変化点の及びその近傍以下の輝度を有する画素数と同画素の座標位置分散度を特徴量として低輝度領域のモルフォロジー処理半径設定を行うことを特徴とする上記(5)に記載の画像処理装置。
【0090】
(8) 上記モルフォロジー処理半径設定処理手段は、上記画像パターンの輝度平均値μ及び標準偏差σを求め、μ+ασ以上(但し、αは任意の定数)の輝度を有する画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として高輝度領域のモルフォロジー処理半径設定を行い、μ−βσ以下(但し、βは任意の定数)の輝度を有する画素数及び同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として低輝度領域のモルフォロジー処理半径設定を行うことを特徴とする上記(5)に記載の画像処理装置。
【0091】
(9) 上記モルフォロジー処理半径設定処理手段は、上記画像パターンの輝度平均μを求め、この輝度平均μから高輝度側での輝度ヒストグラムの最大変化点若しくはその近傍以上の輝度を有する画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として高輝度領域のモルフォロジー処理半径設定を行い、上記輝度平均μから低輝度側での輝度ヒストグラムの最大変化点及びその近傍以下の輝度を有する画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として低輝度領域のモルフォロジー処理半径設定することを特徴とする上記(5)に記載の画像処理装置。
【0092】
(10) 上記モルフォロジー処理半径設定処理手段は、上記画像取り込み手段から取り込んだ画像パターンの複数の特定座標軸方向の輝度値を、複数の輝度閾値でスライスした時の黒ラン長及び白ラン長から成る画素ラン長を特徴量として濃淡モルフォロジー処理半径を設定することを特徴とする上記(4)に記載の画像処理装置。
【0093】
(11) 上記ランクフィルタ処理手段は、最大値フィルタ及び最小値フィルタから成るランクフィルタを有することを特徴とする上記(2)に記載の画像処理装置。
【0094】
(12) 上記ランクフィルタ処理手段は、上記画像取り込み手段から取り込んだ画像パターンをm×nドット(但し、m,nは任意の定数)のブロックに分割し、濃淡モルフォロジー処理のうちTop−hat変換処理用の画像縮小処理として各ブロック領域の最大輝度値をそのブロック領域の代表値とし、Well変換処理用には各ブロック領域の最小輝度値を用いることを特徴とする上記(2)に記載の画像処理装置。
【0095】
(13) 上記モルフォロジー処理半径決定処理手段は、上記ランクフィルタ処理手段のうち上記最大値フィルタによる縮小画像パターンを用いて輝度平均値μと標準偏差σを求め、μ+ασ以上(但し、αは任意の定数)の輝度を有する画素数と同画素の座標位置分散度を特徴量として高輝度領域のモルフォロジー処理半径決定を行い、上記ランクフィルタ処理手段の上記最小値フィルタによる縮小画像パターンを用いて、μ−βσ以下(但し、βは任意の定数)の輝度を有する画素数及び同画素の座標位置分散度を特徴量として低輝度領域のモルフォロジー処理半径決定を行うことを特徴とする上記(12)に記載の画像処理装置。
【0096】
(14) 上記モルフォロジー処理半径決定処理手段は、上記ランクフィルタ処理手段のうち上記最大値フィルタによる縮小画像パターンの輝度平均μを求め、この輝度平均μから高輝度側での輝度ヒストグラムの最大変化点またはその近傍以上の輝度を有する画素数と同画素の座標位置分散度を特徴量として高輝度領域のモルフォロジー処理半径決定を行い、上記ランクフィルタ処理手段の上記最小値フィルタによる縮小画像パターンの輝度平均μから低輝度側での輝度ヒストグラムの最大変化点またはその近傍以下の輝度を有する画素数と同画素の座標位置分散度を特徴量として低輝度領域のモルフォロジー処理半径決定を行うことを特徴とする上記(12)に記載の画像処理装置。
【0097】
(15) 上記モルフォロジー処理半径決定処理手段は、上記ランクフィルタ処理手段のうち上記最大値フィルタによる縮小画像パターンを用いて、輝度平均値μ及び標準偏差σを求め、μ+ασ以上(但し、αは任意の定数)の輝度を有する画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として高輝度領域のモルフォロジー処理半径決定を行い、上記ランクフィルタ処理手段の上記最小値フィルタによる縮小画像パターンを用いて、μ−βσ以下(但し、βは任意の定数)の輝度を有する画素数及び同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として低輝度領域のモルフォロジー処理半径決定を行うことを特徴とする上記(12)に記載の画像処理装置。
【0098】
(16) 上記モルフォロジー処理半径設定処理手段は、上記ランクフィルタ処理のうち上記最大値フィルタによる縮小画像パターンの輝度平均μを求め、この輝度平均μから高輝度側でのヒストグラムの最大変化点またはその近傍以上の輝度を有する画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として高輝度領域のモルフォロジー処理半径設定を行い、上記ランクフィルタ処理手段の上記最小値フィルタによる縮小画像パターンの輝度平均μから低輝度側での輝度ヒストグラムの最大変化点またはその近傍以下の輝度を有する画素数と複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を特徴量として低輝度領域のモルフォロジー処理半径設定を行うことを特徴とする上記(12)に記載の画像処理装置。
【0099】
(17) 上記パターン領域切り出し手段は、上記画像取り込み手段から取り込んだ画像パターンを、最大値フィルタ及び最小値フィルタから成るランクフィルタにより画像縮小処理するランクフィルタ処理手段を更に具備し、このランクフィルタ処理手段のうち上記最大値フィルタによる縮小画像パターンの複数の特定座標軸方向の輝度値を複数の輝度閾値でスライスした時の画素ラン長である黒ラン長を特徴量として高輝度領域のモルフォロジー処理半径決定を行い、上記ランクフィルタ処理手段の上記最小値フィルタによる縮小画像パターンの複数の特定座標軸方向の輝度値を複数の輝度閾値でスライスした時の画素ラン長である白ラン長を特徴量として低輝度領域のモルフォロジー処理半径決定を行うことを特徴とする上記(1)に記載の画像処理装置。
【0100】
(18) 上記パターン領域切り出し手段は、上記画像取り込み手段から取り込んだ画像パターンをm×nドット(但し、m,nは任意の定数)のブロックに分割し、濃淡モルフォロジー処理のうちTop−hat変換処理用の画像縮小処理として各ブロック領域の最大輝度値をそのブロック領域の代表値とし、Well変換処理用には各ブロック領域の最小輝度値を用いて画像縮小処理するランクフィルタ処理手段と、その縮小画像画像パターンに対して各種サイズの濃淡モルフォロジー処理半径を用いて濃淡モルフォロジー処理した結果から、濃淡モルフォロジー処理半径を判定するモルフォロジー処理半径判定手段とを更に具備することを特徴とする上記(1)に記載の画像処理装置。
【0101】
(19) 上記モルフォロジー処理半径判定処理手段は、各種サイズの濃淡モルフォロジー処理半径を用いて濃淡モルフォロジー処理した処理画像パターンの第1の輝度ヒストグラム情報と、基準画像パターンを濃淡モルフォロジー処理した処理画像パターンの第2の輝度ヒストグラム情報との比較処理によって、濃淡モルフォロジー処理半径を判定することを特徴とする上記(18)に記載の画像処理装置。
【0102】
上記(1)、(4)の構成による画像処理装置は、図1、図6、図10及び図12が対応する。モルフォロジー処理半径を予測する位置が、濃淡モルフォロジー処理の前段に存在するか後段に存在するかによって、モルフォロジー処理半径設定処理手段とモルフォロジー処理半径判定処理手段とを区別している。上記(1)、(4)の構成によれば、モルフォロジー処理半径設定処理手段若しくはモルフォロジー処理半径判定手段によって、切り出すべきパターン領域のサイズを予測/判定可能としている。したがって、従来の固定サイズのモルフォロジー処理半径による濃淡モルフォロジー処理のように、パターン領域のサイズによっては切り出すことができないという障害が少なくなる。
【0103】
上記(2)、(11)の構成の画像処理装置は図6、図7及び図8が対応する。上記(2)、(11)の構成によれば、モルフォロジー処理半径決定処理の前処理として、ランクフィルタによる画像縮小処理を行っている。ランクフィルタを用いる縮小画像パターンでは、切り出すべきパターン領域のサイズ差が小さくなるため、濃淡モルフォロジー処理によるパターン領域の切り出しに対する影響を小さくできる。また、モルフォロジー処理半径を求めるための特徴量として縮小画像パターンの輝度ヒストグラム情報(輝度平均値や輝度分散値等)を利用しているため、取り込み画像パターンの輝度変化や背景ムラに影響されにくいパターン領域切り出しを行うことができる。
【0104】
上記(3)の構成の画像処理装置は、図12が対応する。上記(3)の構成によれば、ランクフィルタ処理で縮小した画像パターンから抽出されたパターン領域に対応する元の画像のパターンに対して再度濃淡モルフォロジー処理を実施する。したがって、より正確なパターン領域の抽出が可能となる。
【0105】
上記(5)の構成による画像処理装置は、図2、図3、図7、図8及び図11が対応する。そして、上記(5)の構成によれば、モルフォロジー処理半径設定処理またはモルフォロジー処理半径判定処理に於いて、モルフォロジー処理半径を求めるための特徴量として画像パターンの輝度ヒストグラム情報(輝度平均値や輝度分散値等)を利用している。そのため、画像取り込み手段からの取り込み画像パターンの輝度変化や背景ムラに影響されにくいパターン領域切り出しを行うことができる。
【0106】
上記(6)の構成による画像処理装置は、図2及び図4が対応する。上記(6)の構成によれば、モルフォロジー処理半径設定処理に於いて、モルフォロジー処理半径を求めるための特徴量として画像パターンの輝度ヒストグラム情報(輝度平均値及びその標準偏差)により切り出された画素の画素数と同画素の座標位置分散度を利用している。したがって、切り出された画素の2次元分布範囲が小さければ(すなわち、パターン領域サイズが相対的に大きい)モルフォロジー処理半径は大きく、2次元分布範囲が大きい(すなわち、パターン領域サイズが相対的に小さい)モルフォロジー処理半径は小さく設定される。
【0107】
上記(7)の構成の画像処理装置は、図3及び図4が対応する。上記(7)の構成によれば、モルフォロジー処理半径設定処理に於いて、モルフォロジー処理半径を求めるための特徴量として画像パターンの輝度ヒストグラム情報(輝度平均値と輝度ヒストグラムの最大変化点)により切り出された画素の画素数と同画素の座標位置分散度を利用している。したがって、切り出された画素の2次元分布範囲が小さければ(すなわち、パターン領域サイズが相対的に大きい)モルフォロジー処理半径は大きく、2次元分布範囲が大きい(すなわち、パターン領域サイズが相対的に小さい)とモルフォロジー処理半径は小さく設定される。
【0108】
上記(8)の構成の画像処理装置は、図2及び図4が対応する。尚、ラン長とは上記で切り出した画素パターンで、その1次元方向に於ける一続きの画素列のドット数である。上記(8)の構成によれば、モルフォロジー処理半径設定処理に於いて、モルフォロジー処理半径を求めるための特徴量として画像パターンの輝度ヒストグラム情報(輝度平均値及びその標準偏差)により切り出された画素の画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を利用している。したがって、切り出すべきパターン領域が変形していても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを設定することができる。
【0109】
上記(9)の構成の画像処理装置は、図3及び図4が対応する。上記(9)の構成によれば、モルフォロジー処理半径設定処理に於いて、モルフォロジー処理半径を求めるための特徴量として、画像パターンの輝度ヒストグラム情報(輝度平均値と輝度ヒストグラムの最大変化点)により切り出された画素の画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を利用している。したがって、切り出すべきパターン領域が変形していても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを設定することができる。
【0110】
上記(10)の構成の画像処理装置は、図5及び図1が対応する。上記(10)の構成にて、複数の輝度閾値でスライスするとは、複数の輝度レベルでの2値化処理を示しており、白ラン長はある2値化画像パターンの0値のラン長であり、黒ラン長とは1値のラン長である。これにより、モルフォロジー処理半径設定処理に於いて、モルフォロジー処理半径を求めるための特徴量として画像パターンの特定座標軸方向の輝度値の複数の輝度閾値でスライスした時の画素ラン長(白及び黒ラン長)を利用している。したがって、切り出すべきパターン領域が変形していたり薄い濃淡パターンであっても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを設定することができる。
【0111】
上記(12)の構成の画像処理装置は、図7及び図8が対応する。上記(12)の構成によれば、Top−hat変換処理用の画像縮小処理として各ブロック領域の最大輝度値をそのブロック領域の代表値とし、Well変換処理用には各ブロック領域の最小輝度値を用いている。このようにすることで、Top−hat変換処理では抽出すべき高輝度領域が画像縮小処理で消失せず、またWell変換処理では低輝度領域が画像縮小処理で消失することがない。
【0112】
上記(13)の構成の画像処理装置は、図7及び図4が対応する。上記(13)の構成によれば、モルフォロジー処理半径決定処理に於いて、モルフォロジー処理半径を求めるための特徴量としてランクフィルタによる縮小画像パターンの輝度ヒストグラム情報(輝度平均値及びその標準偏差)により切り出された画素の画素数と同画素の座標位置分散度を利用している。したがって、切り出された画素の2次元分布範囲が小さければ(すなわち、パターン領域サイズが相対的に大きい)とモルフォロジー処理半径は大きく、2次元分布範囲が大きい(すなわち、パターン領域サイズが相対的に小さい)とモルフォロジー処理半径は小さく決定される。
【0113】
上記(14)の構成の画像処理装置は、図8及び図4が対応する。上記(14)の構成によれば、モルフォロジー処理半径決定処理に於いて、モルフォロジー処理半径を求めるための特徴量としてランクフィルタによる縮小画像パターンの輝度ヒストグラム情報(輝度平均値と輝度ヒストグラムの最大変化点)により切り出された画素の画素数と同画素の座標位置分散度を利用している。したがって、切り出された画素の2次元分布範囲が小さければ(すなわち、パターン領域サイズが相対的に大きい)モルフォロジー処理半径は大きく、2次元分布範囲が大きい(すなわち、パターン領域サイズが相対的に小さい)とモルフォロジー処理半径は小さく決定される。
【0114】
上記(15)の構成の画像処理装置は、図7及び図4が対応する。上記(15)の構成によれば、モルフォロジー処理半径決定処理に於いて、モルフォロジー処理半径を求めるための特徴量としてランクフィルタによる縮小画像パターンの輝度ヒストグラム情報(輝度平均値及びその標準偏差)により切り出された画素の画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を利用している。したがって、切り出すべきパターン領域が変形していても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを決定することができる。
【0115】
上記(16)の構成の画像処理装置は、図8及び図4が対応する。上記(16)の構成によれば、上記モルフォロジー処理半径設定処理に於いて、モルフォロジー処理半径を求めるための特徴量としてランクフィルタによる縮小画像パターンの輝度ヒストグラム情報(輝度平均値と輝度ヒストグラムの最大変化点)により切り出された画素の画素数と同画素の複数の特定座標軸方向の画素ラン長の最大値のうちの最小画素ラン長を利用している。したがって、切り出すべきパターン領域が変形していても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを設定することができる。
【0116】
上記(17)の構成の画像処理装置は、図9及び図6が対応する。そして、上記(17)の構成で複数の輝度閾値でスライスするとは、複数の輝度レベルでの2値化処理を示しており、白ラン長はある2値化画像パターンの0値のラン長であり、黒ラン長とは1値のラン長である。モルフォロジー処理半径決定処理に於いて、Top−hat変換処理用モルフォロジー処理半径を求めるための特徴量として最大値フィルタによる縮小画像パターンの複数の特定座標軸方向の輝度値を複数の輝度閾値でスライスした時の黒ラン長と、最小値フィルタによる縮小画像パターンの複数の特定座標軸方向の輝度値を複数の輝度閾値でスライスした時の白ラン長を利用している。したがって、切り出すべきパターン領域が変形していたり薄い濃淡パターンであっても、パターン領域切り出しに必要なモルフォロジー処理半径の最小サイズを決定することができる。
【0117】
上記(18)の構成の画像処理装置は、図10及び図11が対応する。上記(18)の構成によれば、各種サイズのモルフォロジー処理半径を用いた濃淡モルフォロジー処理の前処理としてランクファイルによる画像縮小処理を行い、また各濃淡モルフォロジー処理の結果を基に適切なモルフォロジー処理半径の判定処理を行っている。各種サイズのモルフォロジー処理半径を用いて濃淡モルフォロジー処理を行っているため、モルフォロジー処理半径の予測誤差が小さい。また、縮小画像パターンに対して濃淡モルフォロジー処理を実行しているため高速処理が可能となっている。
【0118】
上記(19)の構成の画像処理装置は、図11が対応する。上記(19)の構成によれば、モルフォロジー処理半径判定処理に於いて、基準(正常)画像パターンの濃淡モルフォロジー処理画像パターンの輝度ヒストグラム情報と比較している。切り出すべき領域パターンが実際に切り出されると、濃淡モルフォロジー処理画像パターンの輝度分散値が必然的に大きくなるため、該判定処理に利用できることになる。
【0119】
【発明の効果】
以上のようにこの発明によれば、画像パターン内の特定のパターン領域を抽出するのに最適なモルフォロジー処理半径を決定するパターン領域切り出し処理を行う画像処理装置を提供することができる。
【図面の簡単な説明】
【図1】この発明の第1の実施の形態に係る画像検査装置の概略構成を示したブロック図である。
【図2】モルフォロジー処理半径決定処理の動作を説明するフローチャートである。
【図3】図2の変形例で、モルフォロジー処理半径決定処理の他の動作例を説明するフローチャートである。
【図4】ステップS7及び19のモルフォロジー処理半径を予測するための具体的な方法について説明するフローチャートである。
【図5】図2の更に変形例で、モルフォロジー処理半径決定処理の他の動作例を説明するフローチャートである。
【図6】この発明の第2の実施の形態に係る画像検査装置の概略構成を示すブロック図である。
【図7】第2の実施の形態による、ランクフィルタによる画像縮小処理と続くモルフォロジー処理半径決定処理の動作について説明するフローチャートである。
【図8】図7の変形例で、ランクフィルタによる画像縮小処理と続くモルフォロジー処理半径決定処理の動作について説明するフローチャートである。
【図9】図7の更なる変形例で、ランクフィルタによる画像縮小処理と続くモルフォロジー処理半径決定処理の動作について説明するフローチャートである。
【図10】この発明の第3の実施の形態に係る画像検査装置の概略構成を示すブロック図である。
【図11】モルフォロジー処理半径判定処理の具体的動作を説明するフローチャートである。
【図12】この発明の第4の実施の形態に係る画像検査装置の概略構成を示すブロック図である。
【図13】基本的な4演算処理の処理例を説明するもので、(a)はMinkowski和を示した図、(b)はMinkowsky差を示した図、(c)はDilation処理を示した図、(d)はErosion処理を示した図である。
【符号の説明】
1 画像検査装置、
2 画像取り込み部、
3、11、16、21 パターン領域切り出し部、
4 パターン分類部、
5、13、19、23 モルフォロジー処理半径決定処理部、
6、14、181 、182 、183 、…、24、25 濃淡モルフォロジー処理部、
7 分類特徴抽出処理部、
8 特徴分類処理部、
12、17、22 画像縮小処理部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that uses area segmentation processing for density morphological processing.
[0002]
[Prior art]
Conventionally, Top-hat conversion processing is used as a method for extracting a high luminance region of an image pattern by using density morphological processing, Well conversion processing is used as a method for extracting a low luminance region, and Morphological edge as a method for further extracting an edge region. A conversion process has been proposed (Electronic Information and Communication Society Journal Vol. J78-D-II No. 7, "Extraction of microcalcification image by morphological filter using multiple structural elements").
[0003]
Here, Erosion (shrinkage) processing, Dilation (expansion) processing, Opening (expansion after contraction) processing and Closing (expansion after contraction) processing, which are basic expressions of the density morphological processing, and the above-described Top-hat conversion processing The equations for the well conversion process and the morphological edge (edge) conversion process are shown below.
[0004]
The original grayscale image pattern is f (x), the structural element (the range of operation of the morphological processing) is B (one pixel constituting B is represented by a vector b), and B ^ (symmetric of B) is The expression (1), Bx (B obtained by translating B by the vector x) is represented by the following expression (2).
[0005]
[Expression 1]
Figure 0003947581
[0006]
[Expression 2]
Figure 0003947581
[0007]
Then, the erosion process, the dilation process, the opening process, the closing process, the top-hat conversion, the well conversion, and the edge conversion are respectively expressed as follows.
[0008]
[Equation 3]
Figure 0003947581
[0009]
FIG. 13 shows a processing example of basic four arithmetic processing among the above-described processing. 13A shows the Minkowski sum, FIG. 13B shows the Minkowski difference, FIG. 13C shows the Dilation process, and FIG. 13D shows the Erosion process. Here, the Minkowski sum and Dilation are shown. This is an example in which the same action range B (or B ^) is set in the process, and the same action range B (or B ^) is set in the Minkowski difference and the Erosion process.
[0010]
From FIG. 13, it can be seen that the Dilation process is a so-called image expansion process, and the Erosion process is an image reduction process.
Further, as can be seen from the above formula, the Top-hat conversion processing image pattern is a region disappeared by the Opening processing, and a high luminance region within the region size included in the action range B of the morphological processing can be extracted. Similarly, the well conversion process image pattern is an incremental area in the closing process, and a low luminance area within the area size included in the action range B of the morphological process can be extracted.
[0011]
In addition, since the operation range of the morphological processing can be considered as a processing region included in the morphological processing radius centered on a certain pixel, the “operation range of the morphological processing” and “morphological processing radius” are synonymous here. Shall be treated as
[0012]
[Problems to be solved by the invention]
By the way, in the above-described prior art, the morphology processing radius is a constant, and no consideration is given to the size variation of the pattern region to be cut out. For example, Japanese Patent Laid-Open No. 4-336384 describes a pattern inspection apparatus capable of automatic inspection without being affected by disturbances such as illumination unevenness and sample variation, but has a region size exceeding the morphological processing radius. The pattern area cannot be extracted.
[0013]
For example, in a wound inspection using an image pattern, it is impossible to extract a wound area depending on the size of a wound that has occurred. Here, if the morphological processing radius is increased, it is possible to extract a region of any size basically by using the Well transform and the Top-hat transform. It is conceivable that there will be many occurrences of pattern regions that are cut out due to changes, and the disappearance / fusion of small and medium pattern regions due to background unevenness, so it is not necessary to simply increase the morphological processing radius.
[0014]
In addition, when pattern region cutout processing is performed using morphological processing radii of multiple sizes, the morphological processing itself is very computationally intensive and difficult to apply to real-time processing. Vol. J78-D-II No. 11 “High-speed calculation method of maximum and minimum type image filtering”).
[0015]
The present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus that performs a pattern region cutout process for determining an optimum morphology processing radius for extracting a specific pattern region in an image pattern. And
[0016]
[Means for Solving the Problems]
That is, the present invention relates to an image processing apparatus comprising a pattern region cutout unit that cuts out a specific pattern region from the image pattern fetched by the image fetching unit by means of shading morphological processing, wherein the pattern region cutout unit is fetched by the image fetching unit. Using the feature value related to luminance extracted from the above image pattern Extract the pixel information of the specific pattern area and use this pixel information Should be extracted the above It is characterized in that a morphological processing radius capable of cutting out the size of a specific pattern region is predicted, and the pattern region is cut out by performing density morphological processing using this morphological processing radius as a parameter.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of an image inspection apparatus according to the first embodiment of the present invention.
[0020]
In FIG. 1, an image inspection apparatus 1 includes an image capturing unit 2 that captures an input image from the outside of the apparatus, a pattern region cutout unit 3, and a pattern classification unit 4. The pattern region cutout unit 3 includes a morphology processing radius determination processing unit 5 and a light and shade morphology processing unit 6, and the pattern classification unit 4 includes a classification feature extraction processing unit 7 and a feature classification processing unit 8. Has been.
[0021]
In such a configuration, first, the image capturing unit 2 captures a region to be image-inspected from the input image pattern input by the imaging device or the like, and this region is supplied to the pattern region clipping unit 3. .
[0022]
The pattern area cutout unit 3 uses a light / dark morphological process to cut out a specific pattern area. An important input parameter for the density morphological processing is a morphological processing radius. Thereby, a high-luminance area or a low-luminance area having a size within the morphological processing radius can be cut out.
[0023]
Therefore, the morphological processing radius determination processing unit 5 uses the feature amount (for example, luminance histogram information) extracted from the image pattern captured from the image capturing unit 2 to use the size of a specific pattern region to be extracted. The morphological processing radius that can be cut out is predicted. Using the predicted morphology processing radius as an input parameter, the density morphological processing unit 6 performs the density morphological processing and performs pattern region extraction.
[0024]
As described above, in the density morphological process, a high-luminance pattern area is extracted in the Top-hat conversion process, and a low-luminance pattern area is extracted in the Well conversion process. The cut pattern area is supplied to the pattern classification unit 4.
[0025]
In the pattern classification unit 4, first, the classification feature extraction processing unit 7 calculates feature quantities useful for pattern classification from the extracted pattern region. Next, the feature classification processing unit 8 compares the feature amount with a classification dictionary pattern (not shown) created in advance. As a result of the comparison, the classification label added to the most similar classification dictionary pattern is output from the image inspection apparatus 1 as the classification result.
[0026]
Next, the operation of the morphological process radius determination process will be described with reference to the flowchart of FIG.
An inspection image is captured by the image capturing unit 2 (step S1), and a luminance average value μ and its standard deviation σ, which are luminance histogram information, are first obtained from the input inspection image pattern (step S2). Next, pixels that are equal to or larger than the (μ + ασ) value of the inspection image pattern are extracted (step S3), and a morphological processing radius for the Top-hat conversion processing is determined based on the pixel information (step S4). Thereafter, a light and shade morphology process is performed (step S7), and a high luminance region is extracted.
[0027]
Simultaneously with step S3, pixels having a value equal to or smaller than the (μ−βσ) value of the inspection image pattern are extracted. Simultaneously with step S4, a morphological processing radius for the well conversion processing is determined based on the pixel information (step S6). Thereafter, a low luminance region is extracted by a light and shade morphology process.
[0028]
Note that α and β are arbitrary constants.
FIG. 3 is a flowchart for explaining another operation example of the morphological process radius determination process, which is a modification of the flowchart of FIG.
[0029]
That is, luminance histogram information is used as in FIG. 2, but pixel extraction is performed using the maximum change point of the luminance histogram.
An inspection image is captured by the image capturing unit 2 (step S11), and a luminance average value μ, which is luminance histogram information, is obtained from the input inspection image pattern (step S12). Next, the maximum change point on the high luminance side is obtained from μ in the luminance histogram of the inspection image pattern (step S13). Then, pixels at or above the maximum change point or the vicinity thereof are extracted (step S14), and the morphology processing radius for the Top-hat conversion processing is determined. Thereafter, a light and shade morphology process is performed (step S19), and a high luminance region is extracted.
[0030]
Further, the maximum change point on the low luminance side is obtained from μ in the luminance histogram of the inspection image pattern (step S16), and the pixels at or above the maximum change point are extracted (step S17). Then, after the morphological process radius for the well conversion process is determined (step S18), the low luminance region is extracted by the density morphological process.
[0031]
FIGS. 4A and 4B are flowcharts illustrating a specific method for predicting the morphological process radius in steps S7 and S19 described above. These morphological processing radius determination methods use the pixel information extracted in the flowcharts of FIGS.
[0032]
In the flowchart shown in FIG. 4A, first, the number x of pixels extracted by preprocessing is counted (step S21). Then, it is determined whether or not the number of pixels x is smaller than a certain threshold value n (step S22). If the number x is small, it is assumed that the size of the pattern region to be extracted is not large. Is determined (step S23).
[0033]
On the other hand, in step S22, if the number of pixels x is equal to or greater than the threshold value n, it is considered that there is a pattern region having a certain size, and the morphological processing radius r is predicted and determined by the following method. .
[0034]
That is, the degree of dispersion of the extracted pixels is obtained from the two-dimensional position dispersion δ from the pixel centroid c (step S24). The larger the two-dimensional positional dispersion δ is, the smaller the morphological processing radius r is because the extracted pixels are scattered. On the contrary, the smaller the two-dimensional positional dispersion δ is, the larger the morphological processing radius r is. Specifically, for example, the morphology processing radius r is expressed by the following equation (3).
[0035]
[Expression 4]
Figure 0003947581
Here, a is an arbitrary constant.
[0036]
FIG. 4B is a flowchart for explaining another example of the prediction of the morphology processing radius r when the number of pixels x is equal to or greater than the threshold value n in step S22. Accordingly, the processes in steps S21 to S23 are the same as those in the flowchart of FIG.
[0037]
In step S22, if the number of pixels x is equal to or greater than the threshold value n, the morphology processing radius r is determined using the run length of the extracted pixels. That is, as a certain one-dimensional axis, the extracted pixel is scanned in the X axis or X axis + θ direction, the pixel run length is measured, and the maximum run length Xmax is obtained (step S26). Here, θ is an arbitrary angle (for example, 45 °, etc.).
[0038]
As another one-dimensional axis, the extracted pixel is scanned in the Y-axis or Y-axis + θ direction, and the maximum run length Ymax is similarly obtained (step S27). Then, as the morphology processing radius r, r = min (Xmax, Ymax), that is, the smaller run length of Xmax and Ymax is set as the morphology processing radius r (step S28).
[0039]
In this way, the minimum required morphological processing radius can be obtained. The reason why the X axis and the Y axis are rotated in the one-dimensional axis direction is that the inspection image pattern is likely to be damaged in the horizontal / vertical direction.
[0040]
In this embodiment, even if the pattern region to be cut out is deformed, the minimum size of the morphological process radius necessary for cutting out the pattern region can be determined.
[0041]
In the embodiment described above, the luminance histogram of the image pattern is used to acquire the morphological processing radius. However, in the modified example of FIG. 5, when the luminance information of the image pattern is used as it is and sliced at various luminance levels. The run length is used.
[0042]
That is, in the flowchart of FIG. 5, when an inspection image is captured (step S31), a one-dimensional pattern in a certain coordinate axis direction (such as the X axis) is sliced at each luminance level with respect to the inspection image pattern, that is, binary. The black run length is measured (step S32). Here, the end of the black run that does not include the end of the inspection image pattern is selected. This is to prevent the unevenness of the peripheral portion of the inspection image pattern from being bright or dark due to uneven illumination, and so on. Next, an average value Xave (or maximum value) is obtained for the black run length within a certain range (step S33).
[0043]
Similarly, one-dimensional patterns in other coordinate axis directions (such as the Y axis) are sliced at each luminance level, and the black run length is measured (step S34). Here, the end of the black run is selected so as not to include the end of the inspection image pattern. Further, r = min (Xave, Yave) is determined as the morphological processing radius r used in the Top-hat conversion processing.
[0044]
Further, the following steps S36 to S39 are performed in parallel with the above steps S32 to S35. That is, as the morphological process radius r of the Well conversion process, first, a white run length is measured by slicing a one-dimensional pattern in a certain coordinate axis direction (X axis or the like) at each luminance level with respect to the inspection image pattern (Step S1). S36). Next, Xave and Yave are obtained in the same manner as for the Top-hat conversion process described above (steps S37 and S38), and the minimum run length is set (step S39).
[0045]
In this way, unlike the Top-hat conversion process, the Well conversion process is obtained from the white run length (the run length of a dot in which no pixel exists) instead of the black run length.
In this modification, even if the pattern area to be cut out is a very thin gray pattern, the minimum size of the morphological process radius necessary for cutting out the pattern area can be determined.
[0046]
Next explained is the second embodiment of the invention.
FIG. 6 is a block diagram showing a schematic configuration of the image inspection apparatus according to the second embodiment.
[0047]
In FIG. 6, the pattern region cutout unit 11 of the image inspection apparatus includes an image reduction processing unit 12 using a rank filter, a morphological processing radius determination processing unit 13, and a shading morphological processing unit 11. The difference between the second embodiment and the first embodiment described above is that an image reduction processing unit 12 is provided in the pattern region cutout unit 11. Since the image capturing unit 2 and the pattern classification unit 4 other than the pattern region cutout unit 11 are the same as those in the first embodiment described above, a part of the description is omitted in the following description.
[0048]
In the pattern area cutout unit 11, the image pattern from the image capturing unit 2 is divided into blocks by the image reduction processing unit 12, and reduced image patterns are created separately for the Top-hat conversion process and the Well conversion process. The morphological processing radius determination processing unit 13 can extract the size of a specific pattern region to be extracted by using the feature amount (for example, luminance histogram information) extracted from the image pattern from the image capturing unit 2. Morphology processing radius is predicted.
[0049]
Using the predicted morphology processing radius as an input parameter, the density morphological processing unit 14 performs density morphological processing, and pattern region extraction is performed. Among the light and dark morphological processes, a high luminance pattern area is extracted in the Top-hat conversion process, and a low luminance pattern area is extracted in the Well conversion process. The extracted pattern region is input to the classification feature extraction processing unit 7 in the pattern classification unit 4 at the next stage. In the pattern classification unit 4, feature quantities useful for pattern classification are calculated by the classification feature extraction processing unit 7 and are not shown in FIG. 6, but are processed by the next-stage feature classification processing unit, and finally the classification result Is output as
[0050]
Next, with reference to the flowchart of FIG. 7, the operation of the image reduction process by the rank filter and the subsequent morphological process radius determination process will be described.
First, an image is captured by the image capturing unit 2 (step S41), and the captured image pattern is divided into blocks of m × n dots (step S42).
[0051]
Next, a reduced image pattern is created using a rank filter, but the reduced image pattern creation method is different for the Top-hat conversion process and the Well conversion process.
In the Top-hat conversion process, an area having relatively high luminance is extracted, and therefore, a maximum value filter among rank filters is used, and a reduced image pattern is created using the luminance maximum value of each block as a representative value. (Step S43). On the other hand, in the well conversion process, a relatively low luminance area is extracted, and therefore, a minimum value filter among rank filters is used, and a reduced image pattern is created using the luminance minimum value of each block as a representative value. (Step S47).
[0052]
Then, using the reduced image pattern for each light and shade morphological conversion process, the morphological process radius determination processing unit 13 performs the morphological process radius determination process. In this morphological process radius determination process, processing is separately performed for high-luminance area extraction and low-luminance area extraction.
[0053]
In predicting and determining the morphological processing radius for the Top-hat conversion process, the average luminance value μ of the reduced image pattern and its standard deviation σ by the maximum value filter are obtained (step S44). Next, pixels that are equal to or larger than the (μ + ασ) value of the inspection image pattern are extracted (step S45), and a morphological processing radius is determined based on the pixel information (step S46).
[0054]
In addition, in order to predict and determine the morphological processing radius for the well conversion processing, the luminance average value μ and the standard deviation σ of the inspection image pattern of the reduced image pattern by the minimum value filter are obtained (step S48). Next, pixels having a value equal to or less than the (μ−βσ) value are extracted (step S49), and the morphology processing radius is determined based on the pixel information (step S50). Here, α and β are arbitrary constants.
[0055]
After the steps S46 and S50, the light and dark morphology process 51 is performed by the light and dark morphology process unit 14 (step S51).
FIG. 8 is a modification of the flowchart of FIG. In the flowchart of FIG. 8, the image reduction process by the rank filter is performed as in FIG. 7, and the morphological process radius is predicted using the luminance histogram information in the morphological process radius determination process, but the maximum change point of the luminance histogram is determined. The difference is that pixel extraction is performed.
[0056]
That is, an image is captured (step S61), and the image pattern is divided into blocks of m × n dots (step S62). In the Top-hat conversion process, a reduced image pattern is created using the luminance maximum value of each block as a representative value (step S63), and in the Well conversion process, a reduced image pattern is created using the luminance minimum value of each block as a representative value. (Step S68).
[0057]
Then, the luminance average value μ, which is luminance histogram information, is obtained for the Top-hat conversion process from the reduced image pattern for the light / dark morphological conversion process (step S64). Next, the maximum change point on the high brightness side is obtained from μ in the brightness histogram of the reduced image pattern by the maximum value filter (step S65), and the pixels at or near the maximum change point are extracted (step S66). A morphology processing radius for Top-hat conversion processing is determined (step S67).
[0058]
Also for the well conversion process, the maximum change point on the low luminance side is obtained from the luminance average value μ in the luminance histogram of the reduced image pattern by the minimum value filter (steps S69 and S70). Then, pixels at or above the maximum change point or the vicinity thereof are extracted (step S71), and a morphological process radius for the well conversion process is determined (step S72).
[0059]
As in the first embodiment described above, the method shown in the flowchart of FIG. 4 can be used as the method for determining the morphology processing radius.
In the above embodiment, the luminance histogram of the reduced image pattern is used to acquire the morphology processing radius, but the present invention is not limited to this.
[0060]
The flowchart of FIG. 9 is a further modification of the second embodiment, and uses run lengths obtained by slicing at various brightness levels using the brightness information of the reduced image pattern as it is.
[0061]
First, an inspection image is captured (step S81), and the image pattern is divided into blocks of m × n dots (step S82). Then, a reduced value image pattern is formed by applying a maximum value filter and a minimum value filter to the inspection image pattern (steps S83 and S88).
[0062]
Next, in the case of Top-hat conversion processing, a one-dimensional pattern in the coordinate axis direction (X axis or the like) having a reduced image pattern by the maximum value filter is sliced at each luminance level, that is, binarized to measure the black run length. (Step S84). Here, the end of the black run that does not include the end of the inspection image pattern is selected.
[0063]
Next, an average value Xave (or maximum value) is obtained for the black run length within a certain range (step S85). Similarly, one-dimensional patterns in other coordinate axis directions (Y-axis and the like) are sliced at each luminance level, and the black run length is measured (step S86). Again, the end of the black run is selected not including the end of the inspection image pattern. Then, r = min (Xave, Yave) is determined as the morphology processing radius r used in the Top-hat conversion process (step S87).
[0064]
On the other hand, as the morphology processing radius r of the Well conversion process, Xave and Yave are obtained for the reduced image pattern by the minimum value filter as in the Top-hat conversion process, and the minimum run length is set. (Steps S89 to S92). However, it differs from the Top-hat conversion processing in that it is obtained not from the black run length but from the white run length (the run length of the dot in which no pixel exists).
[0065]
Then, after steps S87 and S92, a light and dark morphology process is performed.
In this embodiment, since the reduced image pattern by the rank filter is used, the size difference between the pattern areas to be cut out is reduced, and the influence on the cutout of the pattern area by the density morphological process can be reduced.
[0066]
Next explained is the third embodiment of the invention.
FIG. 10 is a block diagram showing a schematic configuration of an image inspection apparatus according to the third embodiment of the present invention.
[0067]
In FIG. 10, the pattern region cutout unit 16 of the image inspection apparatus includes an image reduction processing unit 17 using a rank filter, and a plurality of light and shade morphology processing units 18. 1 , 18 2 , 18 Three ,... And a morphological process radius determination processing unit 19. In the third embodiment and the second embodiment described above, in the pattern area cutout unit 16, a plurality of density morphological processing units 18 are provided in the next stage of the image reduction processing unit 17 using the rank filter. 1 , 18 2 , 18 Three Are different from each other and a morphological process radius determination processing unit 19 is provided as a subsequent process.
[0068]
Since the image capturing unit 2 and the pattern classification unit other than the pattern region cutout unit 16 are the same as those in the second embodiment described above, a part of the description will be omitted in the following description.
[0069]
In the pattern area cutout unit 16, the image pattern from the image capturing unit 2 is divided into blocks by the image reduction processing unit 17, and reduced image patterns are created separately for the Top-hat conversion process and the Well conversion process. Multiple shade morphological processing units 18 1 , 18 2 , 18 Three ,... Are operated with different morphological processing radii as input parameters, and pattern areas corresponding to the morphological processing radii are extracted.
[0070]
In the morphology processing radius determination processing unit 19, each light and shade morphology processing unit 18. 1 , 18 2 , 18 Three ,... Are used to determine a light and dark morphology processed image pattern in which a specific pattern region to be extracted is cut out. The pattern region cut out by the determination is input to the classification feature extraction processing unit 7 of the next pattern classification unit, and is finally output as a pattern classification result.
[0071]
FIGS. 11A and 11B are flowcharts for explaining the specific operation of the morphological process radius determination process.
First, the method 1 of the morphological process radius determination process will be described with reference to the flowchart of FIG.
[0072]
When the morphological process radius determination process is started, an average luminance value μ and a standard deviation σ thereof are obtained for each light and shade morphological process image pattern having different morphological process radii (step S101). Then, a light and shade morphology processed image pattern having the most deviated value is obtained from the existing range of μ and σ of the reference (normal) image pattern created in advance (step S102).
[0073]
Here, the obtained region extraction result of the light and shade morphology processing image pattern is used as it is as a determination result (step S103). Alternatively, a logical sum (OR) region of the region extraction result of the light and shade morphologically processed image pattern with a small morphological processing radius equal to or smaller than the morphologically processed radius of the light and dark morphologically processed image pattern obtained in step S102 can be used as the determination result. (Step S104).
[0074]
Moreover, the flowchart of FIG.11 (b) demonstrates the method 2 of a morphological process radius determination process.
In this case, when the morphological process radius determination process is started, the logical sum (OR) area of the area extraction results of all the grayscale morphological process image patterns is simply used as the determination result (step S105).
[0075]
In the third embodiment described above, since the density morphological process is actually performed using the morphological process radii of various sizes, the prediction error of the morphological process radius is reduced. In addition, since the density morphological process is performed on the reduced image pattern, high-speed processing is possible.
[0076]
Next explained is the fourth embodiment of the invention.
FIG. 12 is a block diagram showing a schematic configuration of an image inspection apparatus according to the fourth embodiment of the present invention.
[0077]
In FIG. 12, a pattern region cutout unit 21 of this image inspection apparatus includes an image reduction processing unit 22 using a rank filter, a morphology processing radius determination processing unit 23, and light and shade morphology processing units 24 and 25. The morphology processing unit 25 is configured to be supplied with the outputs of the image capturing unit 2 and the light and shade morphology processing unit 24.
The difference between the fourth embodiment and the second embodiment described above is that the image pattern from the image capturing unit 2 is post-processed as the density morphological processing unit 24 for the reduced image pattern by the rank filter. Against Light and shade again This is the point that the morphological processing section 25 causes the density morphological processing to act. Since the image capturing unit 2 and the pattern classification unit other than the pattern region cutout unit 21 are the same as those in the second embodiment described above, a part of the description will be omitted in the following description.
[0079]
In the pattern area cutout unit 21, the image pattern from the image capture unit 2 is divided into blocks by the image reduction processing unit 22, and reduced image patterns are created separately for the Top-hat conversion process and the Well conversion process. Next, the morphology processing radius determination processing unit 23 uses the feature amount (for example, luminance histogram information) extracted from the image pattern from the image capturing unit 2 to cut out the size of a specific pattern region to be extracted. Possible morphological processing radii are predicted.
[0080]
Using the predicted multiple processing radii as an input parameter, the density morphological processing unit 24 performs density morphological processing to perform pattern region segmentation. Among the light and dark morphological processes, a high luminance pattern area is extracted in the Top-hat conversion process, and a low luminance pattern area is extracted in the Well conversion process.
[0081]
Since this cut out pattern area (block) is a reduced image pattern in which a rank filter is applied, in the image pattern of the original size at the position corresponding to the cut out pattern area (block), the tone morphology is again obtained. The processing is performed by the light and shade morphology processing unit 25. As the morphological processing radius as the input parameter, an enlarged one corresponding to the reduction ratio of the image reduction processing is used. The pattern region cut out by this re-darkening morphology process is input to the classification feature extraction processing unit 7 in the next pattern classification unit.
[0082]
As a result, a more accurate pattern area can be extracted.
In addition, according to the said embodiment of this invention, the following structures can be obtained.
[0083]
(1) An image processing apparatus comprising: an image capturing unit to which an image pattern to be processed is input; and a pattern region extracting unit that extracts a specific pattern region from the image pattern captured from the image capturing unit by a density morphological process. In
The pattern area cutout means predicts the radius of the pattern area to be cut out, and determines the density morphological process radius according to the image pattern for cutting out the pattern area below the predicted value of the radius of the area. An image processing apparatus comprising:
[0084]
(2) further comprising rank filter processing means for performing image reduction processing on the image pattern captured from the image capturing means;
The image processing apparatus according to (1), wherein the pattern region cutout unit determines the light and shade morphology processing radius using luminance histogram information of the reduced image pattern subjected to the image reduction processing.
[0085]
(3) The density morphological process is performed again on the partial area of the image pattern captured from the image capturing means corresponding to the specific pattern area cut out by the density morphological process of the reduced image pattern by the rank filter processing means. The image processing apparatus according to (2), further comprising a density morphological processing means for re-cutting a specific pattern region to be cut out from the original image pattern.
[0086]
(4) The image processing apparatus according to (1), wherein the morphology processing radius determination processing means includes a morphology processing radius setting processing means or a morphology processing radius determination processing means.
[0087]
(5) One of the morphological processing radius setting processing means and the morphological processing radius determination processing means determines the morphological processing radius using luminance histogram information of the image pattern captured from the image capturing means. The image processing apparatus according to (4).
[0088]
(6) The morphological processing radius setting processing means obtains the luminance average value μ and the standard deviation σ of the image pattern, and the coordinate position of the same pixel as the number of pixels having luminance of μ + ασ or more (where α is an arbitrary constant). Set the morphological processing radius of the high-luminance region using the degree of dispersion as a feature quantity. Low brightness using the number of pixels with brightness of μ-βσ or less (where β is an arbitrary constant) and the coordinate position dispersion degree of the pixel as the feature quantity. The image processing apparatus according to (5), wherein a morphological processing radius of an area is set.
[0089]
(7) The morphological processing radius setting processing means obtains a luminance average μ of the image pattern, and is the same as the number of pixels having a luminance equal to or higher than the maximum change point of the luminance histogram on the high luminance side from the luminance average μ. Set the morphological processing radius of the high-brightness region using the pixel position dispersion degree as the feature amount, and the same as the number of pixels having the brightness below the maximum change point of the brightness histogram on the low-brightness side from the brightness average μ and the vicinity thereof. The image processing apparatus according to (5), wherein the morphological processing radius of the low luminance region is set using the pixel coordinate position dispersion as a feature amount.
[0090]
(8) The morphological processing radius setting processing means obtains an average luminance value μ and a standard deviation σ of the image pattern, and a plurality of pixels having the same number of pixels having a luminance of μ + ασ or more (where α is an arbitrary constant). A pixel having a luminance of a morphological process radius of a high-luminance region using the minimum pixel run length among the maximum pixel run lengths in the specific coordinate axis direction as a feature amount and having a luminance of μ−βσ or less (where β is an arbitrary constant) The morphological processing radius of the low-luminance region is set using the minimum pixel run length of the number and the maximum pixel run length in the specific coordinate axis direction of the same pixel as the feature amount. Image processing device.
[0091]
(9) The morphological processing radius setting processing means obtains the luminance average μ of the image pattern, and is the same as the number of pixels having luminance at or above the maximum change point of the luminance histogram on the high luminance side from the luminance average μ. Set the morphological processing radius of the high luminance area using the minimum pixel run length among the maximum values of the pixel run length in the specific coordinate axis direction of the pixel as the feature amount, and set the maximum luminance histogram on the low luminance side from the above luminance average μ Setting the morphological processing radius of the low-luminance region using the minimum pixel run length among the maximum number of pixel run lengths in the direction of the specific coordinate axis of the same pixel and the number of pixels having luminance below or near the change point as a feature amount The image processing apparatus according to (5), characterized in that it is characterized in that
[0092]
(10) The morphological processing radius setting processing means comprises a black run length and a white run length when the luminance values in the direction of the specific coordinate axes of the image pattern captured from the image capturing means are sliced with a plurality of luminance thresholds. The image processing apparatus according to (4), wherein the light and shade morphology processing radius is set using the pixel run length as a feature amount.
[0093]
(11) The image processing apparatus according to (2), wherein the rank filter processing means includes a rank filter including a maximum value filter and a minimum value filter.
[0094]
(12) The rank filter processing unit divides the image pattern captured from the image capturing unit into blocks of m × n dots (where m and n are arbitrary constants), and performs Top-hat conversion in the density morphological processing. The maximum luminance value of each block area is used as a representative value of the block area as the image reduction process for processing, and the minimum luminance value of each block area is used for the well conversion process. Image processing device.
[0095]
(13) The morphological processing radius determination processing means obtains a luminance average value μ and a standard deviation σ using a reduced image pattern by the maximum value filter of the rank filter processing means, and is equal to or larger than μ + ασ (where α is an arbitrary value) The morphological processing radius of the high-luminance region is determined using the number of pixels having a constant) and the coordinate position variance of the same pixel as the feature amount, and using the reduced image pattern by the minimum value filter of the rank filter processing means, μ The above (12) is characterized in that the morphological processing radius of the low luminance region is determined by using the number of pixels having luminance of −βσ or less (where β is an arbitrary constant) and the coordinate position dispersion degree of the pixels as feature amounts. The image processing apparatus described.
[0096]
(14) The morphological processing radius determination processing means obtains the luminance average μ of the reduced image pattern by the maximum value filter of the rank filter processing means, and the maximum change point of the luminance histogram on the high luminance side from the luminance average μ. Alternatively, the morphological processing radius of the high luminance region is determined using the number of pixels having luminance equal to or higher than the vicinity and the coordinate position dispersion of the same pixel as a feature amount, and the luminance average of the reduced image pattern by the minimum value filter of the rank filter processing means The morphological processing radius of the low luminance region is determined by using the number of pixels having luminance less than or equal to the maximum change point of the luminance histogram on the low luminance side from μ and the coordinate position dispersion degree of the same pixel as the feature amount. The image processing apparatus according to (12) above.
[0097]
(15) The morphological processing radius determination processing means obtains the luminance average value μ and the standard deviation σ using the reduced image pattern by the maximum value filter of the rank filter processing means, and is equal to or larger than μ + ασ (where α is an arbitrary value) The morphological processing radius of the high luminance region is determined by using the minimum pixel run length among the maximum number of pixel run lengths in the direction of the specific coordinate axis of the same pixel as the number of pixels having the luminance of Using the reduced image pattern obtained by the minimum value filter of the processing means, the maximum number of pixels having a luminance of μ−βσ or less (where β is an arbitrary constant) and the pixel run length in the direction of a plurality of specific coordinate axes of the same pixel The image processing apparatus according to (12), wherein the morphological processing radius of the low-luminance region is determined using the minimum pixel run length as a feature amount.
[0098]
(16) The morphological processing radius setting processing means obtains the luminance average μ of the reduced image pattern by the maximum value filter in the rank filter processing, and the maximum change point of the histogram on the high luminance side from the luminance average μ or the Set the morphological processing radius of the high-luminance region using the minimum pixel run length among the maximum number of pixel run lengths in the direction of the specific coordinate axis of the same pixel as the number of pixels having the luminance equal to or higher than the neighborhood, and the rank filter processing The maximum number of pixels having the luminance at or below the maximum change point of the luminance histogram on the low luminance side from the luminance average μ of the reduced image pattern by the minimum value filter and the maximum value of the pixel run length in a plurality of specific coordinate axes The morphological processing radius of the low luminance region is set using the minimum pixel run length as a feature amount, The image processing apparatus according to 12).
[0099]
(17) The pattern area cutout means further includes rank filter processing means for reducing the image of the image pattern taken from the image taking means by a rank filter including a maximum value filter and a minimum value filter. Of the means, the morphological processing radius of the high luminance region is determined by using the black run length, which is the pixel run length when the luminance values in the specific coordinate axis directions of the reduced image pattern obtained by the maximum value filter are sliced with a plurality of luminance thresholds as the feature amount. The brightness of the reduced image pattern by the minimum value filter of the rank filter processing means is sliced with a plurality of brightness thresholds and the white run length, which is the pixel run length when sliced with a plurality of brightness thresholds, is used as a feature amount. (1) above, wherein the morphological processing radius of the region is determined. The image processing apparatus described.
[0100]
(18) The pattern area cutout unit divides the image pattern captured from the image capture unit into blocks of m × n dots (where m and n are arbitrary constants), and performs Top-hat conversion in the density morphological process. Rank filter processing means for performing image reduction processing using the minimum luminance value of each block area as a representative value of the block area as a representative value of the block area for image reduction processing for processing, The above (1), further comprising a morphological processing radius determination means for determining a density morphological processing radius based on a result of density morphological processing using a density morphological processing radius of various sizes on the reduced image pattern. An image processing apparatus according to 1.
[0101]
(19) The morphological processing radius determination processing means includes the first luminance histogram information of the processed image pattern subjected to the density morphological processing using the density morphological processing radii of various sizes, and the processed image pattern obtained by performing the density morphological processing on the reference image pattern. The image processing apparatus according to (18), wherein the density morphology processing radius is determined by a comparison process with the second luminance histogram information.
[0102]
The image processing apparatuses having the configurations (1) and (4) correspond to FIGS. 1, 6, 10 and 12. FIG. The morphological processing radius setting processing means and the morphological processing radius determination processing means are distinguished depending on whether the position at which the morphological processing radius is predicted is present in the preceding stage or subsequent stage of the light and shade morphological processing. According to the configurations (1) and (4), the size of the pattern area to be cut out can be predicted / determined by the morphological process radius setting processing means or the morphological process radius determining means. Therefore, unlike the conventional density morphological process using a fixed-size morphological process radius, there is less obstacle that the pattern area cannot be cut out depending on the size of the pattern area.
[0103]
The image processing apparatuses having the configurations (2) and (11) correspond to FIGS. According to the configurations of (2) and (11) above, the image reduction processing by the rank filter is performed as preprocessing of the morphological processing radius determination processing. In the reduced image pattern using the rank filter, the size difference between the pattern areas to be cut out becomes small, so that the influence on the cutout of the pattern area by the density morphological process can be reduced. In addition, since the brightness histogram information (brightness average value, brightness variance value, etc.) of the reduced image pattern is used as the feature quantity for obtaining the morphological processing radius, the pattern is less susceptible to changes in brightness of the captured image pattern and background unevenness. Region extraction can be performed.
[0104]
The image processing apparatus having the configuration (3) corresponds to FIG. According to the configuration of (3) above, the density morphological process is performed again on the pattern of the original image corresponding to the pattern area extracted from the image pattern reduced by the rank filter process. Therefore, a more accurate pattern area can be extracted.
[0105]
The image processing apparatus having the configuration (5) corresponds to FIG. 2, FIG. 3, FIG. 7, FIG. According to the configuration of (5) above, in the morphological process radius setting process or the morphological process radius determination process, the luminance histogram information (luminance average value and luminance variance) of the image pattern is used as a feature amount for obtaining the morphological process radius. Value). For this reason, it is possible to perform pattern region extraction that is not easily influenced by the luminance change or background unevenness of the image pattern captured from the image capturing means.
[0106]
The image processing apparatus having the configuration (6) corresponds to FIG. 2 and FIG. According to the configuration of (6) above, in the morphological process radius setting process, the pixel extracted from the luminance histogram information (luminance average value and its standard deviation) of the image pattern as a feature amount for obtaining the morphological process radius. The number of pixels and the coordinate position variance of the same pixel are used. Therefore, if the two-dimensional distribution range of the cut out pixels is small (that is, the pattern region size is relatively large), the morphology processing radius is large, and the two-dimensional distribution range is large (that is, the pattern region size is relatively small). The morphological processing radius is set small.
[0107]
The image processing apparatus having the configuration (7) corresponds to FIG. 3 and FIG. According to the configuration of (7) above, in the morphological process radius setting process, it is extracted from the luminance histogram information (luminance average value and maximum change point of the luminance histogram) of the image pattern as a feature amount for obtaining the morphological process radius. The number of pixels and the coordinate position dispersion of the same pixel are used. Therefore, if the two-dimensional distribution range of the cut out pixels is small (that is, the pattern region size is relatively large), the morphology processing radius is large, and the two-dimensional distribution range is large (that is, the pattern region size is relatively small). And the morphological processing radius is set small.
[0108]
The image processing apparatus having the configuration (8) corresponds to FIGS. The run length is the pixel pattern cut out above, and is the number of dots in a continuous pixel row in the one-dimensional direction. According to the configuration of (8) above, in the morphological process radius setting process, the pixels extracted from the luminance histogram information (luminance average value and its standard deviation) of the image pattern as a feature amount for obtaining the morphological process radius. The minimum pixel run length among the maximum values of the pixel run lengths in the direction of the specific coordinate axis of the same pixel as the number of pixels is used. Therefore, even if the pattern area to be cut out is deformed, the minimum size of the morphological process radius necessary for cutting out the pattern area can be set.
[0109]
FIG. 3 and FIG. 4 correspond to the image processing apparatus having the configuration (9). According to the configuration of (9) above, in the morphological process radius setting process, the feature amount for obtaining the morphological process radius is extracted from the luminance histogram information (the average luminance value and the maximum change point of the luminance histogram) of the image pattern. The minimum pixel run length among the maximum number of pixel run lengths in the direction of the specific coordinate axis of the same pixel as the number of pixels is used. Therefore, even if the pattern area to be cut out is deformed, the minimum size of the morphological process radius necessary for cutting out the pattern area can be set.
[0110]
The image processing apparatus having the configuration (10) corresponds to FIGS. In the configuration of (10) above, slicing with a plurality of luminance thresholds indicates binarization processing at a plurality of luminance levels, and the white run length is a zero-value run length of a certain binarized image pattern. Yes, the black run length is a single run length. Thus, in the morphological process radius setting process, the pixel run length (white and black run lengths) when sliced with a plurality of luminance threshold values of the luminance value in the specific coordinate axis direction of the image pattern as a feature amount for obtaining the morphological process radius. ). Therefore, even if the pattern area to be cut out is deformed or is a thin shading pattern, the minimum size of the morphological processing radius necessary for cutting out the pattern area can be set.
[0111]
The image processing apparatus having the configuration (12) corresponds to FIGS. According to the configuration of (12) above, the maximum luminance value of each block area is used as a representative value of the block area as the image reduction process for Top-hat conversion processing, and the minimum luminance value of each block area is used for the Well conversion process. Is used. By doing so, the high-intensity area to be extracted is not lost in the image reduction process in the Top-hat conversion process, and the low-intensity area is not lost in the image reduction process in the Well conversion process.
[0112]
The image processing apparatus having the configuration (13) corresponds to FIGS. According to the configuration of the above (13), in the morphological process radius determination process, as a feature quantity for obtaining the morphological process radius, it is extracted by the luminance histogram information (luminance average value and its standard deviation) of the reduced image pattern by the rank filter. The number of pixels and the coordinate position dispersion of the same pixel are used. Therefore, if the two-dimensional distribution range of the cut out pixels is small (that is, the pattern region size is relatively large), the morphological processing radius is large, and the two-dimensional distribution range is large (that is, the pattern region size is relatively small). ) And the morphological processing radius are determined to be small.
[0113]
The image processing apparatus having the configuration (14) corresponds to FIGS. According to the configuration of (14) above, in the morphological process radius determination process, the luminance histogram information of the reduced image pattern by the rank filter (the luminance average value and the maximum change point of the luminance histogram) is used as a feature amount for obtaining the morphological process radius. ) And the coordinate position dispersion degree of the same pixel as the number of pixels cut out by the above method. Therefore, if the two-dimensional distribution range of the cut out pixels is small (that is, the pattern region size is relatively large), the morphology processing radius is large, and the two-dimensional distribution range is large (that is, the pattern region size is relatively small). And the morphological processing radius is determined to be small.
[0114]
The image processing apparatus having the configuration (15) corresponds to FIGS. According to the configuration of (15) above, in the morphological process radius determination process, as a feature quantity for obtaining the morphological process radius, it is cut out by the luminance histogram information (luminance average value and its standard deviation) of the reduced image pattern by the rank filter. The minimum pixel run length among the maximum number of pixel run lengths in the direction of the specific coordinate axis of the same pixel as the number of pixels is used. Therefore, even if the pattern area to be cut out is deformed, the minimum size of the morphological process radius necessary for cutting out the pattern area can be determined.
[0115]
The image processing apparatus having the configuration (16) corresponds to FIGS. According to the configuration of (16), in the morphological process radius setting process, the luminance histogram information of the reduced image pattern by the rank filter (the luminance average value and the maximum change in the luminance histogram) is used as a feature amount for obtaining the morphological process radius. The minimum pixel run length is used among the maximum number of pixel run lengths in the direction of the specific coordinate axis of the same pixel as the number of pixels cut out by (dot). Therefore, even if the pattern area to be cut out is deformed, the minimum size of the morphological process radius necessary for cutting out the pattern area can be set.
[0116]
The image processing apparatus having the configuration (17) corresponds to FIGS. In the configuration (17), slicing with a plurality of luminance thresholds indicates binarization processing at a plurality of luminance levels, and the white run length is a zero-value run length of a certain binarized image pattern. Yes, the black run length is a single run length. In the morphological process radius determination process, when slicing the luminance values in the specific coordinate axis directions of the reduced image pattern by the maximum value filter as a feature quantity for obtaining the morphological process radius for the Top-hat conversion process with a plurality of luminance thresholds Black run lengths and white run lengths obtained by slicing brightness values in a plurality of specific coordinate axis directions of a reduced image pattern by a minimum value filter with a plurality of brightness thresholds are used. Therefore, even if the pattern region to be cut out is deformed or is a thin gray pattern, the minimum size of the morphological process radius necessary for cutting out the pattern region can be determined.
[0117]
The image processing apparatus having the configuration (18) corresponds to FIGS. According to the configuration of the above (18), the image reduction processing is performed by the rank file as the pre-processing of the density morphological processing using the morphological processing radii of various sizes, and the appropriate morphological processing radius is based on the result of each density morphological processing. Judgment processing is performed. Since the density morphological processing is performed using the morphological processing radii of various sizes, the prediction error of the morphological processing radius is small. Further, since the density morphological process is performed on the reduced image pattern, high-speed processing is possible.
[0118]
The image processing apparatus having the configuration (19) corresponds to FIG. According to the configuration of (19) above, in the morphological process radius determination process, it is compared with the luminance histogram information of the light and dark morphologically processed image pattern of the reference (normal) image pattern. When the region pattern to be cut out is actually cut out, the luminance dispersion value of the density morphologically processed image pattern inevitably increases, so that it can be used for the determination processing.
[0119]
【The invention's effect】
As described above, according to the present invention, it is possible to provide an image processing apparatus that performs a pattern region cut-out process that determines an optimal morphology processing radius for extracting a specific pattern region in an image pattern.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image inspection apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart for explaining an operation of a morphological process radius determination process;
FIG. 3 is a flowchart for explaining another operation example of the morphological process radius determination process in the modified example of FIG. 2;
FIG. 4 is a flowchart illustrating a specific method for predicting the morphological processing radius in steps S7 and S19.
FIG. 5 is a flowchart for explaining another operation example of the morphological process radius determination process in a further modification of FIG. 2;
FIG. 6 is a block diagram showing a schematic configuration of an image inspection apparatus according to a second embodiment of the present invention.
FIG. 7 is a flowchart for explaining operations of an image reduction process using a rank filter and a subsequent morphological process radius determination process according to the second embodiment;
FIG. 8 is a flowchart for explaining the operation of the image reduction process by the rank filter and the subsequent morphological process radius determination process in the modified example of FIG. 7;
FIG. 9 is a flowchart illustrating an operation of image reduction processing by a rank filter and subsequent morphological processing radius determination processing in a further modification of FIG. 7;
FIG. 10 is a block diagram showing a schematic configuration of an image inspection apparatus according to a third embodiment of the present invention.
FIG. 11 is a flowchart for explaining a specific operation of a morphological process radius determination process;
FIG. 12 is a block diagram showing a schematic configuration of an image inspection apparatus according to a fourth embodiment of the present invention.
FIGS. 13A and 13B are diagrams illustrating an example of basic four arithmetic processing, where FIG. 13A illustrates a Minkowski sum, FIG. 13B illustrates a Minkowski difference, and FIG. 13C illustrates Dilation processing. FIG. 4D is a diagram showing the erosion process.
[Explanation of symbols]
1 image inspection equipment,
2 Image capture unit,
3, 11, 16, 21 pattern area cutout section,
4 pattern classification part,
5, 13, 19, 23 Morphology processing radius determination processing unit,
6, 14, 18 1 , 18 2 , 18 Three ,..., 24, 25 Light and shade morphology processing unit,
7 classification feature extraction processing unit,
8 feature classification processing unit,
12, 17, 22 Image reduction processing unit.

Claims (8)

画像取り込み手段により取り込まれた画像パターンから特定のパターン領域を濃淡モルフォロジー処理により切り出すパターン領域切り出し手段を備えた画像処理装置において、
上記パターン領域切り出し手段は、画像取り込み手段により取り込まれた上記画像パターンから抽出された輝度に関する特徴量を用いて上記特定パターン領域の画素情報を抽出し、この画素情報を利用して抽出されるべき上記特定のパターン領域のサイズが切り出し可能なモルフォロジー処理半径を予測し、このモルフォロジー処理半径をパラメータとして濃淡モルフォロジー処理を行いパターン領域を切り出すことを特徴とする画像処理装置。
In an image processing apparatus provided with a pattern region cutout unit that cuts out a specific pattern region from the image pattern captured by the image capture unit by grayscale morphological processing,
The pattern area cutout means should extract pixel information of the specific pattern area using the feature quantity related to the brightness extracted from the image pattern captured by the image capture means, and should be extracted using this pixel information the image processing apparatus characterized by predicting a possible morphology processing radius cutout the size of the specific pattern area, cut out pattern region subjected to shading morphology processing the morphology processing radius as a parameter.
請求項1に記載の画像処理装置において、
上記パターン領域切り出し手段は、上記画像取り込み手段により取り込まれた画像パターンを画像縮小処理するランクフィルタ処理手段を更に備え、ランクフィルタ処理手段で画像縮小処理された縮小画像パターンの輝度ヒストグラム情報を用いて上記特定パターン領域の画素情報を抽出し、この画素情報を利用して上記モルフォロジー処理半径を決定することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The pattern region cutout means further includes rank filter processing means for performing image reduction processing on the image pattern captured by the image capture means, and uses luminance histogram information of the reduced image pattern subjected to image reduction processing by the rank filter processing means. An image processing apparatus , wherein pixel information of the specific pattern area is extracted and the morphological processing radius is determined using the pixel information .
請求項2に記載の画像処理装置において
上記パターン領域切り出し手段は、上記ランクフィルタ処理手段で画像縮小された縮小画像パターンの輝度ヒストグラム情報を用いて上記濃淡モルフォロジー処理半径をパラメータとして濃淡モルフォロジー処理で切り出された画像パターンの部分領域に対して、再度濃淡モルフォロジー処理を行い元の画像パターンから特定のパターン領域を切り出すことを特徴とする画像処理装置。
Oite the image processing apparatus according to claim 2,
The pattern area cutout means uses the luminance histogram information of the reduced image pattern reduced in image by the rank filter processing means, with respect to the partial area of the image pattern cut out by the light and dark morphology process using the light and dark morphology process radius as a parameter . An image processing apparatus characterized by performing density gradation processing again to cut out a specific pattern region from an original image pattern.
請求項2に記載の画像処理装置において、The image processing apparatus according to claim 2,
上記ランクフィルタ処理手段は、最大値フィルタ及び最小値フィルタから成ることを特徴とする画像処理装置。The rank filter processing means comprises a maximum value filter and a minimum value filter.
請求項2に記載の画像処理装置において、The image processing apparatus according to claim 2,
ランクフィルタ処理手段は、上記画像取り込み手段から取り込んだ画像パターンをm×nドット(但し、m、nは任意の定数)のブロックに分割し、濃淡モルフォロジー処理のうちTop−hat変換処理用の画像縮小処理として各ブロックThe rank filter processing unit divides the image pattern captured from the image capturing unit into blocks of m × n dots (where m and n are arbitrary constants), and is an image for Top-hat conversion processing in the density morphological processing. Each block as reduction processing 領域の最大輝度値をそのブロック領域の代表値とし、Well変換処理用には各ブロック領域の最小輝度値を用いることを特徴とする画像処理装置。An image processing apparatus using a maximum luminance value of a region as a representative value of the block region and using a minimum luminance value of each block region for well conversion processing.
請求項1に記載の画像処理装置において、The image processing apparatus according to claim 1.
上記パターン領域切り出し手段は、上記画像取り込み手段から取り込んだ画像パターンをm×nドット(但し、m、nは任意の定数)のブロックに分割し、濃淡モルフォロジー処理のうちTop−hat変換処理用の画像縮小処理として各ブロック領域の最大輝度値をそのブロック領域の代表値とし、Well変換処理用には各ブロック領域の最小輝度値を用いて画像縮小するランクフィルタ処理手段と、The pattern region cutout unit divides the image pattern captured from the image capture unit into blocks of m × n dots (where m and n are arbitrary constants), and is used for Top-hat conversion processing in the density morphological processing. Rank filter processing means for reducing the image using the minimum luminance value of each block area for the well conversion process, using the maximum luminance value of each block area as a representative value of the block area as image reduction processing;
その縮小画像パターンに対して各種サイズの濃淡モルフォロジー処理半径を用いて濃淡モルフォロジー処理した結果から、濃淡モルフォロジー処理半径を判定するモルフォロジー処理半径判定手段とを備えたことを特徴とする画像処理装置。An image processing apparatus, comprising: a morphological processing radius determination unit that determines a density morphological processing radius based on a result of density morphological processing performed on the reduced image pattern using a density morphological processing radius of various sizes.
請求項6に記載の画像処理装置において、The image processing apparatus according to claim 6.
上記モルフォロジー処理半径判定手段は、各種サイズの濃淡モルフォロジー処理半径を用いて濃淡モルフォロジー処理した処理画像パターンの第1の輝度ヒストグラム情報と、基準画像パターンを濃淡モルフォロジー処理した処理画像パターンの第2の輝度ヒストグラム情報との比較処理によって、濃淡モルフォロジー処理半径を判定することを特徴とする画像処理装置。The morphological processing radius determination means includes first luminance histogram information of the processed image pattern processed by the density morphological processing using the density morphological processing radii of various sizes, and a second luminance of the processed image pattern obtained by performing the density morphological processing on the reference image pattern. An image processing apparatus that determines a light / dark morphological processing radius by a comparison process with histogram information.
請求項1に記載の画像処理装置において、The image processing apparatus according to claim 1.
上記パターン領域切り出し手段は、上記画像取り込み手段から取り込んだ画像パターンの複数の特定座標軸方向の輝度値を、複数の輝度閾値でスライスした時の黒ラン長及び白ラン長から成る画像ラン長を特徴量として濃淡モルフォロジー処理半径を設定することを特徴とする画像処理装置。The pattern region cutout means is characterized by an image run length composed of a black run length and a white run length when the brightness values in the directions of a plurality of specific coordinate axes of the image pattern taken from the image take-in means are sliced with a plurality of brightness threshold values. An image processing apparatus characterized by setting a light and dark morphological processing radius as an amount.
JP15551896A 1996-06-17 1996-06-17 Image processing device Expired - Fee Related JP3947581B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15551896A JP3947581B2 (en) 1996-06-17 1996-06-17 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15551896A JP3947581B2 (en) 1996-06-17 1996-06-17 Image processing device

Publications (2)

Publication Number Publication Date
JPH103546A JPH103546A (en) 1998-01-06
JP3947581B2 true JP3947581B2 (en) 2007-07-25

Family

ID=15607819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15551896A Expired - Fee Related JP3947581B2 (en) 1996-06-17 1996-06-17 Image processing device

Country Status (1)

Country Link
JP (1) JP3947581B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2872664A1 (en) 2004-07-01 2006-01-06 Nextream France Sa DEVICE AND METHOD FOR PRE-TRAITEMEBNT BEFORE ENCODING A SEQUENCE OF VIDEO IMAGES
JP5272890B2 (en) * 2009-05-21 2013-08-28 ソニー株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JPH103546A (en) 1998-01-06

Similar Documents

Publication Publication Date Title
Shafait et al. Efficient implementation of local adaptive thresholding techniques using integral images
US7292375B2 (en) Method and apparatus for color image processing, and a computer product
EP0712094A2 (en) A multi-windowing technique for threshholding an image using local image properties
KR101224164B1 (en) Pre- processing method and apparatus for license plate recognition
EP3176751A1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
JPH06203154A (en) Image processor
US6360009B2 (en) Image segmentation apparatus and method
JPH041866A (en) Method and device for image processing
JP3947581B2 (en) Image processing device
US7460702B2 (en) Entropy filter, and area extracting method using the filter
KR20030026983A (en) Text discrimination method and related apparatus
US20040052428A1 (en) Image processing system
KR20060007901A (en) Apparatus and method for automatic extraction of salient object from an image
JP3906221B2 (en) Image processing method and image processing apparatus
Mandal et al. Human visual system inspired object detection and recognition
KR102361444B1 (en) System and method of quality adjustment of object detection based on polyggon
JP4728297B2 (en) Two-dimensional code reading apparatus and method
JP4409713B2 (en) Document image recognition apparatus and recording medium
JPH0830728A (en) Binarization device for image
JP4253265B2 (en) Shadow detection apparatus, shadow detection method and shadow detection program, image processing apparatus using shadow detection apparatus, image processing method using shadow detection method, and image processing program using shadow detection program
Chehdi et al. A blind system to identify and filter degradations affecting an image
JP2007257242A (en) White line recognition device
JP2628863B2 (en) Visual recognition device
JP2646569B2 (en) Multi-value image evaluation device and threshold value determination device using the device
JP2956151B2 (en) Image processing method and apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees