JPH064670A - 濃淡画像のパターンマッチング装置 - Google Patents
濃淡画像のパターンマッチング装置Info
- Publication number
- JPH064670A JPH064670A JP4188639A JP18863992A JPH064670A JP H064670 A JPH064670 A JP H064670A JP 4188639 A JP4188639 A JP 4188639A JP 18863992 A JP18863992 A JP 18863992A JP H064670 A JPH064670 A JP H064670A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- picture
- model
- pattern matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】パターンマッチングの相関演算の計算量を減少
させると共に、入力画像が回転していてもパターンマッ
チングを正しく行うことを可能とする。 【構成】モデル画像１を膨張および収縮処理して膨張画
像７および収縮画像８を生成した後、膨張画像７および
収縮画像８の各構成画素の濃度データを２次微分する。
膨張画像７および収縮画像８についての各２次微分値を
異なるしきい値と比較して各しきい値を越える画素を選
択する。選択された画素についてモデル画像１の濃度デ
ータをサンプリングすると、膨張画像７のエッジ位置近
傍外側の画像部分３４と、収縮画像８のエッジ位置近傍
内側の画像部分３５とが抽出され、これら画像部分３
４，３５についてのみ入力画像の濃度データとの間で相
関演算を行う。
させると共に、入力画像が回転していてもパターンマッ
チングを正しく行うことを可能とする。 【構成】モデル画像１を膨張および収縮処理して膨張画
像７および収縮画像８を生成した後、膨張画像７および
収縮画像８の各構成画素の濃度データを２次微分する。
膨張画像７および収縮画像８についての各２次微分値を
異なるしきい値と比較して各しきい値を越える画素を選
択する。選択された画素についてモデル画像１の濃度デ
ータをサンプリングすると、膨張画像７のエッジ位置近
傍外側の画像部分３４と、収縮画像８のエッジ位置近傍
内側の画像部分３５とが抽出され、これら画像部分３
４，３５についてのみ入力画像の濃度データとの間で相
関演算を行う。
Description
【０００１】
【産業上の利用分野】この発明は、対象物を撮像して得
られた濃淡画像について、対象物のモデル画像を用い
て、パターンマッチングを行うための濃淡画像のパター
ンマッチング装置に関する。
られた濃淡画像について、対象物のモデル画像を用い
て、パターンマッチングを行うための濃淡画像のパター
ンマッチング装置に関する。
【０００２】
【従来の技術】従来、対象物を撮像して得られた濃淡画
像からパターンマッチングの手法を用いて対象物の位置
などを求めることが行われている。図８は、正規化相関
濃淡マッチング法を説明するための図であって、同図
中、１は予め用意された矩形状のモデル画像、２は入力
された濃淡画像（以下、「入力画像」という）である。
このモデル画像１により入力画像が１画素ずつ全画面に
わたり走査され、走査位置Ｐj 毎にモデル画像１と入力
画像２との一致度合を相関演算により求め、相関値が最
大となるモデル画像１の走査位置Ｐj から対象物の位置
などが求められる。
像からパターンマッチングの手法を用いて対象物の位置
などを求めることが行われている。図８は、正規化相関
濃淡マッチング法を説明するための図であって、同図
中、１は予め用意された矩形状のモデル画像、２は入力
された濃淡画像（以下、「入力画像」という）である。
このモデル画像１により入力画像が１画素ずつ全画面に
わたり走査され、走査位置Ｐj 毎にモデル画像１と入力
画像２との一致度合を相関演算により求め、相関値が最
大となるモデル画像１の走査位置Ｐj から対象物の位置
などが求められる。
【０００３】いまモデル画像１が入力画像２上のｊ番目
の走査位置Ｐj （Ｘj ，Ｙj ）にあるとき、モデル画像
１におけるｉ番目の画素の濃度データをＭi 、入力画像
２の対応する画素の濃度データをＩi 、モデル画像１の
構成画素数をｎとすると、走査位置Ｐj における相関値
ｒ2 （Ｘj ，Ｙj ）はつぎの(1) 式で与えられる。
の走査位置Ｐj （Ｘj ，Ｙj ）にあるとき、モデル画像
１におけるｉ番目の画素の濃度データをＭi 、入力画像
２の対応する画素の濃度データをＩi 、モデル画像１の
構成画素数をｎとすると、走査位置Ｐj における相関値
ｒ2 （Ｘj ，Ｙj ）はつぎの(1) 式で与えられる。
【０００４】
【数１】
【０００５】
【発明が解決しようとする課題】(1) 式から明らかなよ
うに、従来は、モデル画像１の全ての構成画素の濃度デ
ータＭi について、入力画像２の対応する画素の濃度デ
ータＩi との間で相関演算を行っているが、モデル画像
１の全ての構成画素がパターンマッチングの対象となっ
ているため、相関演算の計算量が膨大となり、処理時間
が長くかかるという問題があった。
うに、従来は、モデル画像１の全ての構成画素の濃度デ
ータＭi について、入力画像２の対応する画素の濃度デ
ータＩi との間で相関演算を行っているが、モデル画像
１の全ての構成画素がパターンマッチングの対象となっ
ているため、相関演算の計算量が膨大となり、処理時間
が長くかかるという問題があった。
【０００６】そこで発明者は、先般、対象物のモデル画
像１を用いて、入力画像２のパターンマッチングを行う
のに、モデル画像１のエッジ位置近傍の画素を選択し、
そのエッジ位置近傍の各画素についてのみ対象物のモデ
ル画像１と入力画像２との相関値を演算する方式を開発
した。
像１を用いて、入力画像２のパターンマッチングを行う
のに、モデル画像１のエッジ位置近傍の画素を選択し、
そのエッジ位置近傍の各画素についてのみ対象物のモデ
ル画像１と入力画像２との相関値を演算する方式を開発
した。
【０００７】図９および図１０は、この方式を具体的に
実施する場合の原理説明図である。図９（１）は、対象
物のモデル（この場合、文字「Ａ」）を撮像して得られ
たモデル画像１を示したもので、同図中、３が文字Ａの
白っぽい画像部分、４が背景の黒っぽい画像部分であ
る。
実施する場合の原理説明図である。図９（１）は、対象
物のモデル（この場合、文字「Ａ」）を撮像して得られ
たモデル画像１を示したもので、同図中、３が文字Ａの
白っぽい画像部分、４が背景の黒っぽい画像部分であ
る。
【０００８】このモデル画像１のある水平ライン６に沿
う各画素の濃度データ（０〜２５５階調）を図で表す
と、図１０（１）に示すとおりである。また各画素の濃
度データを微分した値は図１０（２）に示すとおりであ
り、さらにその２次微分値は図１０（３）に示すとおり
である。また、この２次微分値の絶対値は図１０（４）
に示すような形となる。
う各画素の濃度データ（０〜２５５階調）を図で表す
と、図１０（１）に示すとおりである。また各画素の濃
度データを微分した値は図１０（２）に示すとおりであ
り、さらにその２次微分値は図１０（３）に示すとおり
である。また、この２次微分値の絶対値は図１０（４）
に示すような形となる。
【０００９】各画素の２次微分値の絶対値は所定の正の
しきい値ＴＨと比較し、このしきい値ＴＨより大きな値
をとる画素をパターンマッチングの対象画素として選択
する。
しきい値ＴＨと比較し、このしきい値ＴＨより大きな値
をとる画素をパターンマッチングの対象画素として選択
する。
【００１０】図１０（５）は前記しきい値ＴＨにより２
値化された２値化データ、すなわちパターンマッチング
の対象画素の範囲を示しており、前記２値化データによ
りモデル画像１の濃度データをサンプリングすると、図
１０（６）のようなサンプリングデータが得られる。
値化された２値化データ、すなわちパターンマッチング
の対象画素の範囲を示しており、前記２値化データによ
りモデル画像１の濃度データをサンプリングすると、図
１０（６）のようなサンプリングデータが得られる。
【００１１】図９（２）はこのようにしてサンプリング
された濃度データより成る濃淡画像５を示しており、サ
ンプリングされた濃度データには文字Ａの画像部分３に
ついての濃度データ、すなわちエッジの内側近傍の画素
列３ａの濃度データと、背景の画像部分４についての濃
度データ、すなわちエッジの外側近傍の画素列４ａの濃
度データとが同程度に含まれる。
された濃度データより成る濃淡画像５を示しており、サ
ンプリングされた濃度データには文字Ａの画像部分３に
ついての濃度データ、すなわちエッジの内側近傍の画素
列３ａの濃度データと、背景の画像部分４についての濃
度データ、すなわちエッジの外側近傍の画素列４ａの濃
度データとが同程度に含まれる。
【００１２】前記モデル画像１により入力画像２を１画
素ずつ全画面にわたり走査し、走査位置毎に前記２値化
データによりサンプリングされたモデル画像１の濃度デ
ータと入力画像の濃度データとの間で相関演算を行い、
その相関値が最大となるモデル画像１の走査位置から対
象物の位置が求められる。
素ずつ全画面にわたり走査し、走査位置毎に前記２値化
データによりサンプリングされたモデル画像１の濃度デ
ータと入力画像の濃度データとの間で相関演算を行い、
その相関値が最大となるモデル画像１の走査位置から対
象物の位置が求められる。
【００１３】ところがこの方式によれば、適正な姿勢の
対象物を撮像した場合は問題はないが、対象物の姿勢が
傾いて入力画像２が図８の破線ａで示すように、いずれ
か方向にわずかに回転していると、正しいパターンマッ
チングを行えず、位置計測が困難な場合が生ずる。
対象物を撮像した場合は問題はないが、対象物の姿勢が
傾いて入力画像２が図８の破線ａで示すように、いずれ
か方向にわずかに回転していると、正しいパターンマッ
チングを行えず、位置計測が困難な場合が生ずる。
【００１４】この発明は、上記問題に着目してなされた
もので、パターンマッチングの対象画素を効率的に削減
することにより、相関演算の計算量を減少して処理時間
を短縮させ、しかも入力画像が回転していても正しいパ
ターンマッチングが行える濃淡画像のパターンマッチン
グ装置を提供することを目的とする。
もので、パターンマッチングの対象画素を効率的に削減
することにより、相関演算の計算量を減少して処理時間
を短縮させ、しかも入力画像が回転していても正しいパ
ターンマッチングが行える濃淡画像のパターンマッチン
グ装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】この発明は、対象物のモ
デル画像を用いて、入力された濃淡画像のパターンマッ
チングを行う装置において、前記モデル画像を膨張処理
して膨張画像を生成する膨張画像生成手段と、前記モデ
ル画像を収縮処理して収縮画像を生成する収縮画像生成
手段と、前記膨張画像および収縮画像のエッジ位置近傍
の画素を選択する画素選択手段と、前記画素選択手段に
より選択されたエッジ位置近傍の画素について対象物の
モデル画像と入力された濃淡画像との相関値を演算する
演算手段とを備えたものである。
デル画像を用いて、入力された濃淡画像のパターンマッ
チングを行う装置において、前記モデル画像を膨張処理
して膨張画像を生成する膨張画像生成手段と、前記モデ
ル画像を収縮処理して収縮画像を生成する収縮画像生成
手段と、前記膨張画像および収縮画像のエッジ位置近傍
の画素を選択する画素選択手段と、前記画素選択手段に
より選択されたエッジ位置近傍の画素について対象物の
モデル画像と入力された濃淡画像との相関値を演算する
演算手段とを備えたものである。
【００１６】請求項２の発明は、請求項１に記載された
濃淡画像のパターンマッチング装置であって、前記画素
選択手段は、前記膨張画像の各構成画素の濃度データを
２次微分して得られた値が第１のしきい値を越える画素
を選択する第１の画素選択手段と、前記収縮画像の各構
成画素の濃度データを２次微分して得られた値が第２の
しきい値を越える画素を選択する第２の画素選択手段と
を備えたものである。
濃淡画像のパターンマッチング装置であって、前記画素
選択手段は、前記膨張画像の各構成画素の濃度データを
２次微分して得られた値が第１のしきい値を越える画素
を選択する第１の画素選択手段と、前記収縮画像の各構
成画素の濃度データを２次微分して得られた値が第２の
しきい値を越える画素を選択する第２の画素選択手段と
を備えたものである。
【００１７】
【作用】モデル画像の膨張画像および収縮画像の各エッ
ジ位置近傍の画素について、モデル画像と入力された濃
淡画像との相関値を演算するので、入力された濃淡画像
がいずれか方向に回転していても、正しいパターンマッ
チングが行われ、位置計測が可能である。また相関演算
の対象を膨張画像および収縮画素の各エッジ位置近傍の
画素に限定するので、パターンマッチングの対象画素が
効率的に削減され、相関演算の計算量が減少し、処理時
間が短縮される。
ジ位置近傍の画素について、モデル画像と入力された濃
淡画像との相関値を演算するので、入力された濃淡画像
がいずれか方向に回転していても、正しいパターンマッ
チングが行われ、位置計測が可能である。また相関演算
の対象を膨張画像および収縮画素の各エッジ位置近傍の
画素に限定するので、パターンマッチングの対象画素が
効率的に削減され、相関演算の計算量が減少し、処理時
間が短縮される。
【００１８】請求項２のパターンマッチング装置では、
膨張画像の各構成画素の濃度データを２次微分して得ら
れた値が第１のしきい値を越える画素と、収縮画像の各
構成画素の濃度データを２次微分して得られた値が第２
のしきい値を越える画素とを選択するので、モデル画像
のエッジを挟んで両側近傍の画素が確実に抽出される。
膨張画像の各構成画素の濃度データを２次微分して得ら
れた値が第１のしきい値を越える画素と、収縮画像の各
構成画素の濃度データを２次微分して得られた値が第２
のしきい値を越える画素とを選択するので、モデル画像
のエッジを挟んで両側近傍の画素が確実に抽出される。
【００１９】
【実施例】図１〜図３は、この発明にかかる濃淡画像の
パターンマッチング装置の原理を説明するための原理説
明図である。図１（１）は、対象物のモデル（この場
合、文字「Ａ」）を撮像して得られたモデル画像１であ
り、３が文字Ａの画像部分、４が背景の画像部分であ
る。この例では、文字Ａの画像部分３は白く、背景の画
像部分４は黒いが、これに限らず、入力画像２に応じ
て、白黒反転したモデル画像を用いることもできる。
パターンマッチング装置の原理を説明するための原理説
明図である。図１（１）は、対象物のモデル（この場
合、文字「Ａ」）を撮像して得られたモデル画像１であ
り、３が文字Ａの画像部分、４が背景の画像部分であ
る。この例では、文字Ａの画像部分３は白く、背景の画
像部分４は黒いが、これに限らず、入力画像２に応じ
て、白黒反転したモデル画像を用いることもできる。
【００２０】図１（２）は、前記モデル画像１を膨張処
理することにより生成された膨張画像７を示し、図１
（２）′は前記モデル画像１を収縮処理することにより
生成された収縮画像８を示す。なお図２（２）（２）′
において、破線ｂは膨張または収縮処理前のモデル画像
１のエッジである。また膨張、収縮の各処理は、入力画
像の回転度合に応じて複数回行う。
理することにより生成された膨張画像７を示し、図１
（２）′は前記モデル画像１を収縮処理することにより
生成された収縮画像８を示す。なお図２（２）（２）′
において、破線ｂは膨張または収縮処理前のモデル画像
１のエッジである。また膨張、収縮の各処理は、入力画
像の回転度合に応じて複数回行う。
【００２１】前記膨張画像７のある水平ライン９に沿う
各画素の濃度データ（０〜２５５階調）を図で表したの
が図２（１）である。また前記収縮画像７の同じ水平ラ
イン９に沿う各画素の濃度データ（０〜２５５階調）を
図で表したので図３（１）である。
各画素の濃度データ（０〜２５５階調）を図で表したの
が図２（１）である。また前記収縮画像７の同じ水平ラ
イン９に沿う各画素の濃度データ（０〜２５５階調）を
図で表したので図３（１）である。
【００２２】前記膨張画像７および収縮画像８は、モデ
ル画像１を所定の演算子を用いて画像処理することによ
り生成され、図４にその生成方法が具体的に示してあ
る。図４において、３０はモデル画像１を矢印方向へ走
査するための縦３画素×横３画素の矩形状のマスクであ
って、このマスク３０の中心に位置するモデル画像１の
画素が着目画素３１である。
ル画像１を所定の演算子を用いて画像処理することによ
り生成され、図４にその生成方法が具体的に示してあ
る。図４において、３０はモデル画像１を矢印方向へ走
査するための縦３画素×横３画素の矩形状のマスクであ
って、このマスク３０の中心に位置するモデル画像１の
画素が着目画素３１である。
【００２３】膨張画像７は、モデル画像１のマスク走査
において、モデル画像３１の着目画素３１の濃度データ
を、マスク３０内の９画素のうち、最も明るい画素の濃
度データに順次置き換えてゆくことにより生成される。
また収縮画像７は、モデル画像１のマスク走査におい
て、モデル画像３１の着目画素３１の濃度データを、マ
スク３０内の９画素のうち、最も暗い画素の濃度データ
に順次置き換えてゆくことにより生成される。
において、モデル画像３１の着目画素３１の濃度データ
を、マスク３０内の９画素のうち、最も明るい画素の濃
度データに順次置き換えてゆくことにより生成される。
また収縮画像７は、モデル画像１のマスク走査におい
て、モデル画像３１の着目画素３１の濃度データを、マ
スク３０内の９画素のうち、最も暗い画素の濃度データ
に順次置き換えてゆくことにより生成される。
【００２４】前記膨張画像７の各画素の濃度データを微
分した値は図２（２）に示すとおりであり、さらにその
２次微分値は図２（３）に示すとおりである。また前記
収縮画像８の各画素の濃度データを微分した値は図３
（２）に示すとおりであり、さらにその２次微分値は図
３（３）に示すとおりである。
分した値は図２（２）に示すとおりであり、さらにその
２次微分値は図２（３）に示すとおりである。また前記
収縮画像８の各画素の濃度データを微分した値は図３
（２）に示すとおりであり、さらにその２次微分値は図
３（３）に示すとおりである。
【００２５】前記膨張画像７についての各画素の２次微
分値は、正の第１のしきい値ＴＨ１と比較され、この第
１のしきい値ＴＨ１より大きな値をとる画素が選択され
る。図２（４）には前記第１のしきい値ＴＨ１により２
値化された２値化データが示してある。
分値は、正の第１のしきい値ＴＨ１と比較され、この第
１のしきい値ＴＨ１より大きな値をとる画素が選択され
る。図２（４）には前記第１のしきい値ＴＨ１により２
値化された２値化データが示してある。
【００２６】前記収縮画像８についての各画素の２次微
分値は、負の第２のしきい値ＴＨ２と比較され、この第
２のしきい値ＴＨ２より小さな値をとる画素が選択され
る。図３（４）には前記第２のしきい値ＴＨ２により２
値化された２値化データが示してある。
分値は、負の第２のしきい値ＴＨ２と比較され、この第
２のしきい値ＴＨ２より小さな値をとる画素が選択され
る。図３（４）には前記第２のしきい値ＴＨ２により２
値化された２値化データが示してある。
【００２７】図２（４）に示す前記２値化データにより
モデル画像１の濃度データをサンプリングすると、図１
（３）に示すような濃淡画像３２が得られる。この濃淡
画像３２において、３４はサンプリングされた濃度デー
タにより生成される画像部分であって、この画像部分３
４は膨張画像７のエッジ位置の近傍外側に位置する。
モデル画像１の濃度データをサンプリングすると、図１
（３）に示すような濃淡画像３２が得られる。この濃淡
画像３２において、３４はサンプリングされた濃度デー
タにより生成される画像部分であって、この画像部分３
４は膨張画像７のエッジ位置の近傍外側に位置する。
【００２８】また図３（４）に示す前記２値化データに
よりモデル画像１の濃度データをサンプリングすると、
図１（３）′に示すような濃淡画像３３が得られる。こ
の濃淡画像３３において、３５はサンプリングされた濃
度データにより生成される画像部分であって、この画像
部分３５は収縮画像８のエッジ位置の近傍内側に位置す
る。
よりモデル画像１の濃度データをサンプリングすると、
図１（３）′に示すような濃淡画像３３が得られる。こ
の濃淡画像３３において、３５はサンプリングされた濃
度データにより生成される画像部分であって、この画像
部分３５は収縮画像８のエッジ位置の近傍内側に位置す
る。
【００２９】図１（３）の画像部分３４はモデル画像１
におけるエッジの外側近傍の背景の画像部分４に相当
し、また図１（３）′の画像部分３５はモデル画像１に
おけるエッジの内側近傍の文字Ａの画像部分３に相当し
ており、これら画像部分３４，３５が合成された図１
（４）に示す濃淡画像３６では、モデル画像１の背景の
画像部分４についての濃度データと文字Ａの画像部分３
についての濃度データとが同程度に含まれる。なお図１
（４）において、破線ｂはモデル画像１のエッジであ
り、各画像部分３４，３５はこのエッジｂの近傍ではあ
るが、入力画像の回転を許容する分だけ相互に離れて位
置している。
におけるエッジの外側近傍の背景の画像部分４に相当
し、また図１（３）′の画像部分３５はモデル画像１に
おけるエッジの内側近傍の文字Ａの画像部分３に相当し
ており、これら画像部分３４，３５が合成された図１
（４）に示す濃淡画像３６では、モデル画像１の背景の
画像部分４についての濃度データと文字Ａの画像部分３
についての濃度データとが同程度に含まれる。なお図１
（４）において、破線ｂはモデル画像１のエッジであ
り、各画像部分３４，３５はこのエッジｂの近傍ではあ
るが、入力画像の回転を許容する分だけ相互に離れて位
置している。
【００３０】前記モデル画像１を１画素ずつ移行させて
入力画像を全画面にわたり走査し、走査位置毎に前記２
値化データによりサンプリングされたモデル画像１の濃
度データと入力画像２の濃度データとの間で相関演算を
行い、その相関値が最大となるモデル画像１の走査位置
から対象物の位置が求められる。この場合に、入力画像
２が図８の破線ａのようにわずかに回転していても、モ
デル画像１の膨張画像７と収縮画像８とのエッジ近傍か
ら相関演算の対象画素を選択しているので、モデル画像
１および入力画像２のいずれについても対象物の画像部
分と背景の画像部分とから濃度データがサンプリングさ
れて、正しいパターンマッチングが行われることにな
る。
入力画像を全画面にわたり走査し、走査位置毎に前記２
値化データによりサンプリングされたモデル画像１の濃
度データと入力画像２の濃度データとの間で相関演算を
行い、その相関値が最大となるモデル画像１の走査位置
から対象物の位置が求められる。この場合に、入力画像
２が図８の破線ａのようにわずかに回転していても、モ
デル画像１の膨張画像７と収縮画像８とのエッジ近傍か
ら相関演算の対象画素を選択しているので、モデル画像
１および入力画像２のいずれについても対象物の画像部
分と背景の画像部分とから濃度データがサンプリングさ
れて、正しいパターンマッチングが行われることにな
る。
【００３１】図５は、上記の原理に基づくパターンマッ
チング装置の回路構成例を示す。図示例の装置は、カメ
ラ１０と濃淡画像処理部１１とモニタ１２とで構成され
ており、濃淡画像処理部１１はＡ／Ｄ変換器１３，膨張
・収縮処理部２５，微分計測部１４，ＬＵＴ１５，画像
メモリ１６，１７，２値メモリ１８，表示制御部１９，
Ｄ／Ａ変換器２０，制御部２１などを含む。
チング装置の回路構成例を示す。図示例の装置は、カメ
ラ１０と濃淡画像処理部１１とモニタ１２とで構成され
ており、濃淡画像処理部１１はＡ／Ｄ変換器１３，膨張
・収縮処理部２５，微分計測部１４，ＬＵＴ１５，画像
メモリ１６，１７，２値メモリ１８，表示制御部１９，
Ｄ／Ａ変換器２０，制御部２１などを含む。
【００３２】前記Ａ／Ｄ変換器１３はカメラ１０より濃
淡画像のアナログ信号を入力してディジタル信号に変換
する。このディジタル信号を構成する各画素の濃度デー
タは例えば２５６階調のいずれか値をとる。対象物のモ
デルを撮像して得られた濃淡画像（モデル画像１）は、
Ａ／Ｄ変換器１３を経て膨張・収縮処理部２５に入力さ
れると共に、一方の画像メモリ１６に格納される。また
計測対象物を撮像して得られた入力画像２は、Ａ／Ｄ変
換器１３を経て他方の画像メモリ１７に格納される。各
画像メモリ１６，１７は濃度データを画素単位で記憶す
る。
淡画像のアナログ信号を入力してディジタル信号に変換
する。このディジタル信号を構成する各画素の濃度デー
タは例えば２５６階調のいずれか値をとる。対象物のモ
デルを撮像して得られた濃淡画像（モデル画像１）は、
Ａ／Ｄ変換器１３を経て膨張・収縮処理部２５に入力さ
れると共に、一方の画像メモリ１６に格納される。また
計測対象物を撮像して得られた入力画像２は、Ａ／Ｄ変
換器１３を経て他方の画像メモリ１７に格納される。各
画像メモリ１６，１７は濃度データを画素単位で記憶す
る。
【００３３】前記膨張・収縮処理部２５は、モデル画像
１を１ないし複数回膨張処理して膨張画像７を生成する
と共に、モデル画像１を１ないし複数回収縮処理して収
縮画像８を生成する。前記微分計測部１４は、膨張画像
７と収縮画像８とにつき、各画素の濃度データをそれぞ
れ２次微分して２値微分値を得る。
１を１ないし複数回膨張処理して膨張画像７を生成する
と共に、モデル画像１を１ないし複数回収縮処理して収
縮画像８を生成する。前記微分計測部１４は、膨張画像
７と収縮画像８とにつき、各画素の濃度データをそれぞ
れ２次微分して２値微分値を得る。
【００３４】前記ＬＵＴ１５は、微分計測部１４より与
えられる膨張画像７の各画素の２次微分値を前記した第
１のしきい値ＴＨ１で２値化し、また収縮画像８の各画
素の２次微分値を前記した第２のしきい値ＴＨ２で２値
化するためのものである。このＬＵＴ１５に２次微分値
に相応したアドレス信号が与えられると、対応するアド
レス領域より２値化データが出力される。膨張画像７に
ついての２値化データと収縮画像８についての２値化デ
ータとは組み合わされて２値メモリ１８に画素単位で格
納される。
えられる膨張画像７の各画素の２次微分値を前記した第
１のしきい値ＴＨ１で２値化し、また収縮画像８の各画
素の２次微分値を前記した第２のしきい値ＴＨ２で２値
化するためのものである。このＬＵＴ１５に２次微分値
に相応したアドレス信号が与えられると、対応するアド
レス領域より２値化データが出力される。膨張画像７に
ついての２値化データと収縮画像８についての２値化デ
ータとは組み合わされて２値メモリ１８に画素単位で格
納される。
【００３５】前記表示制御部１９はモニタ１２の画像表
示動作を制御するためのもので、モデルや計測対象物に
ついての濃淡画像信号や２値化データを入力してそのい
ずれかをＤ／Ａ変換器２０へ出力する。Ｄ／Ａ変換器２
０は入力信号をアナログ信号に変換してモニタ１２へ出
力する。
示動作を制御するためのもので、モデルや計測対象物に
ついての濃淡画像信号や２値化データを入力してそのい
ずれかをＤ／Ａ変換器２０へ出力する。Ｄ／Ａ変換器２
０は入力信号をアナログ信号に変換してモニタ１２へ出
力する。
【００３６】前記制御部２１は、制御・演算の主体であ
るＣＰＵ２２と、プログラムが格納されるＲＯＭ２３
と、各種データを記憶させるＲＡＭ２４とを含む。前記
ＣＰＵ２２はプログラムに従い装置全体の動作を制御
し、画像メモリ１６，１７，２値メモリ１８，ＲＡＭ２
４に対するデータの読み書きを行いつつ、パターンマッ
チングに関わる各種演算や処理を実行する。
るＣＰＵ２２と、プログラムが格納されるＲＯＭ２３
と、各種データを記憶させるＲＡＭ２４とを含む。前記
ＣＰＵ２２はプログラムに従い装置全体の動作を制御
し、画像メモリ１６，１７，２値メモリ１８，ＲＡＭ２
４に対するデータの読み書きを行いつつ、パターンマッ
チングに関わる各種演算や処理を実行する。
【００３７】図６は、パターンマッチングの対象画素を
選択するための処理の流れをステップ１〜ステップ６
（図中、各ステップは「ＳＴ」で示す）で示す。
選択するための処理の流れをステップ１〜ステップ６
（図中、各ステップは「ＳＴ」で示す）で示す。
【００３８】同図のステップ１で、ＣＰＵ２２はＬＵＴ
１５の各アドレス領域に膨張画像７および収縮画像８に
ついての２値化処理を行うための２値データを設定す
る。ステップ２でカメラ１０により対象物のモデルが撮
像されると、そのモデル画像１は濃淡画像処理部１１に
取り込まれて画像メモリ１６に格納されると共に、膨張
・収縮処理部２５によりモデル画像１の膨張画像７と収
縮画像８とが生成される（ステップ３）。
１５の各アドレス領域に膨張画像７および収縮画像８に
ついての２値化処理を行うための２値データを設定す
る。ステップ２でカメラ１０により対象物のモデルが撮
像されると、そのモデル画像１は濃淡画像処理部１１に
取り込まれて画像メモリ１６に格納されると共に、膨張
・収縮処理部２５によりモデル画像１の膨張画像７と収
縮画像８とが生成される（ステップ３）。
【００３９】つぎのステップ４で微分計測部１４は膨張
画像７と収縮画像８とを２次微分処理してそれぞれの２
次微分値を算出する。膨張画像７および収縮画像８につ
いての各画素の２次微分値に相応するアドレス信号がＬ
ＵＴ１５に与えられると、ＬＵＴ１５は該当するアドレ
ス領域より２値化データを出力する（ステップ５）。膨
張画像７についての２値化データと収縮画像８について
の２値化データとは組み合わされて２値メモリ１８に画
素単位で格納される（ステップ６）。
画像７と収縮画像８とを２次微分処理してそれぞれの２
次微分値を算出する。膨張画像７および収縮画像８につ
いての各画素の２次微分値に相応するアドレス信号がＬ
ＵＴ１５に与えられると、ＬＵＴ１５は該当するアドレ
ス領域より２値化データを出力する（ステップ５）。膨
張画像７についての２値化データと収縮画像８について
の２値化データとは組み合わされて２値メモリ１８に画
素単位で格納される（ステップ６）。
【００４０】図７は、前記ＣＰＵ２２によるパターンマ
ッチングの制御手順をステップ１〜ステップ１７で示
す。同図のステップ１でＣＰＵ２２はＲＡＭ２４のワー
クエリアの内容をクリアして初期化した後、計測対象物
を撮像して得られた入力画像２を濃淡画像処理部１１に
取り込み、Ａ／Ｄ変換後に画像メモリ１７に格納する
（ステップ２，３）。
ッチングの制御手順をステップ１〜ステップ１７で示
す。同図のステップ１でＣＰＵ２２はＲＡＭ２４のワー
クエリアの内容をクリアして初期化した後、計測対象物
を撮像して得られた入力画像２を濃淡画像処理部１１に
取り込み、Ａ／Ｄ変換後に画像メモリ１７に格納する
（ステップ２，３）。
【００４１】つぎのステップ４でモデル画像１の走査位
置Ｐj を計数するＣＰＵ２２の内部のカウンタｊをゼロ
に設定して、モデル画像１を入力画像２上の最初の走査
位置Ｐ0 （Ｘ0 ，Ｙ0 ）に設定する。つぎのステップ５
でＣＰＵ２２はモデル画像１における画素位置を計数す
るためのカウンタｉをゼロに設定した後、つぎのステッ
プ６でＣＰＵ２２は２値メモリ１８を参照してモデル画
像１における最初の画素位置（ｘ0 ，ｙ0 ）の２値化デ
ータを読み取る。
置Ｐj を計数するＣＰＵ２２の内部のカウンタｊをゼロ
に設定して、モデル画像１を入力画像２上の最初の走査
位置Ｐ0 （Ｘ0 ，Ｙ0 ）に設定する。つぎのステップ５
でＣＰＵ２２はモデル画像１における画素位置を計数す
るためのカウンタｉをゼロに設定した後、つぎのステッ
プ６でＣＰＵ２２は２値メモリ１８を参照してモデル画
像１における最初の画素位置（ｘ0 ，ｙ0 ）の２値化デ
ータを読み取る。
【００４２】もしその２値化データが「１」であれば、
ステップ７の判定が「ＹＥＳ」となってステップ８へ進
み、ＣＰＵ２２は最初の画素位置（ｘ0 ，ｙ0 ）のモデ
ル画像１の濃度データＭi と、入力画像２の対応する画
素位置の濃度データＩi とを各画像メモリ１６，１７よ
り読み出し、つぎのステップ９で前記した式における
Ｉi ・Ｍi ，Ｉi 2 ・Ｍi 2 を算出する。
ステップ７の判定が「ＹＥＳ」となってステップ８へ進
み、ＣＰＵ２２は最初の画素位置（ｘ0 ，ｙ0 ）のモデ
ル画像１の濃度データＭi と、入力画像２の対応する画
素位置の濃度データＩi とを各画像メモリ１６，１７よ
り読み出し、つぎのステップ９で前記した式における
Ｉi ・Ｍi ，Ｉi 2 ・Ｍi 2 を算出する。
【００４３】つぎにＣＰＵ２２は、ステップ９の算出値
を用いて累積加算値ΣＩi ・Ｍi ，ΣＩi ・ΣＭi ，Σ
Ｉi 2 ，（ΣＩi ）2 ，ΣＭi 2 ，（ΣＭi ）2 を算出
してＲＡＭ２４のワークエリアに記憶させる（ステップ
１０）。もし前記のステップ７において、２値化データ
が「０」であると判定されたとき、ステップ８〜１０は
スキップされて前記の演算が省略される。
を用いて累積加算値ΣＩi ・Ｍi ，ΣＩi ・ΣＭi ，Σ
Ｉi 2 ，（ΣＩi ）2 ，ΣＭi 2 ，（ΣＭi ）2 を算出
してＲＡＭ２４のワークエリアに記憶させる（ステップ
１０）。もし前記のステップ７において、２値化データ
が「０」であると判定されたとき、ステップ８〜１０は
スキップされて前記の演算が省略される。
【００４４】つぎのステップ１１では、ＣＰＵ２２は前
記カウンタｉの値がモデル画像１の総画素数に達したか
否かを判定しており、その判定が「ＮＯ」であれば、ス
テップ１２でカウンタｉの値をインクリメントし、ＣＰ
Ｕ２２はモデル画像１におけるつぎの画素位置（ｘ1 ，
ｙ1 ）の２値化データを読み取り、前記と同様の手順を
実行する。
記カウンタｉの値がモデル画像１の総画素数に達したか
否かを判定しており、その判定が「ＮＯ」であれば、ス
テップ１２でカウンタｉの値をインクリメントし、ＣＰ
Ｕ２２はモデル画像１におけるつぎの画素位置（ｘ1 ，
ｙ1 ）の２値化データを読み取り、前記と同様の手順を
実行する。
【００４５】モデル画像１における全ての画素位置につ
いて上記手順が繰り返し実行されると、ステップ１１の
判定が「ＹＥＳ」となり、つぎのステップ１３でＣＰＵ
２２はステップ１０の算出値を用いて(1) 式の演算を実
行し、最初の走査位置（Ｘ0，Ｙ0 ）での相関値ｒ
2 （Ｘ0 ，Ｙ0 ）を算出する。
いて上記手順が繰り返し実行されると、ステップ１１の
判定が「ＹＥＳ」となり、つぎのステップ１３でＣＰＵ
２２はステップ１０の算出値を用いて(1) 式の演算を実
行し、最初の走査位置（Ｘ0，Ｙ0 ）での相関値ｒ
2 （Ｘ0 ，Ｙ0 ）を算出する。
【００４６】つぎのステップ１４では、ＣＰＵ２２はそ
の相関値ｒ2 （Ｘ0 ，Ｙ0 ）と相関値の最大値とを比較
する。この場合、相関値の最大値はゼロに初期設定され
ているから、ステップ１４の判定は「ＹＥＳ」となり、
ステップ１５で前記相関値ｒ2 （Ｘ0 ，Ｙ0 ）を相関値
の最大値としてＲＡＭ２４に記憶させ、さらにステップ
１６で走査位置Ｐ0 の座標（Ｘ0 ，Ｙ0 ）を対象物の位
置（Ｘ´，Ｙ´）としてＲＡＭ２４に記憶させる。な
お、もしステップ１４の判定が「ＮＯ」であれば、ステ
ップ１５，１６はスキップされ、相関値の最大値は更新
されない。
の相関値ｒ2 （Ｘ0 ，Ｙ0 ）と相関値の最大値とを比較
する。この場合、相関値の最大値はゼロに初期設定され
ているから、ステップ１４の判定は「ＹＥＳ」となり、
ステップ１５で前記相関値ｒ2 （Ｘ0 ，Ｙ0 ）を相関値
の最大値としてＲＡＭ２４に記憶させ、さらにステップ
１６で走査位置Ｐ0 の座標（Ｘ0 ，Ｙ0 ）を対象物の位
置（Ｘ´，Ｙ´）としてＲＡＭ２４に記憶させる。な
お、もしステップ１４の判定が「ＮＯ」であれば、ステ
ップ１５，１６はスキップされ、相関値の最大値は更新
されない。
【００４７】つぎのステップ１７では、モデル画像１の
走査位置Ｐi が最終位置に達したか否かをカウンタｊの
値により判定しており、この場合、その判定は「ＮＯ」
であるから、ＣＰＵ２２はステップ１８でカウンタｊを
インクリメントして、モデル画像１を入力画像２上のつ
ぎの走査位置Ｐ1 （Ｘ1 ，Ｙ1 ）に設定し、上記と同様
の手順を実行する。
走査位置Ｐi が最終位置に達したか否かをカウンタｊの
値により判定しており、この場合、その判定は「ＮＯ」
であるから、ＣＰＵ２２はステップ１８でカウンタｊを
インクリメントして、モデル画像１を入力画像２上のつ
ぎの走査位置Ｐ1 （Ｘ1 ，Ｙ1 ）に設定し、上記と同様
の手順を実行する。
【００４８】このようにして入力画像２の全画面をモデ
ル画像１により走査しつつ全ての走査位置Ｐj で上記手
順を実行することにより相関値が最大となる走査位置Ｐ
j の座標（Ｘ´，Ｙ´）が得られ、ステップ１７の判定
が「ＹＥＳ」になったとき、ＣＰＵ２２はパターンマッ
チングを終了させる。
ル画像１により走査しつつ全ての走査位置Ｐj で上記手
順を実行することにより相関値が最大となる走査位置Ｐ
j の座標（Ｘ´，Ｙ´）が得られ、ステップ１７の判定
が「ＹＥＳ」になったとき、ＣＰＵ２２はパターンマッ
チングを終了させる。
【００４９】なお上記実施例では、２値メモリ１８の内
容を参照し、２値化データが「１」のときモデル画像１
の濃度データＭi をその都度画像メモリ１６より読み出
しているが、パターンマッチングに先立ち、２値化デー
タが「１」のモデル画像１における画素の濃度データＭ
i を画素位置の座標（ｘi ，ｙi ）とともにＲＡＭ２４
などにテーブル化して記憶させておいてもよい。
容を参照し、２値化データが「１」のときモデル画像１
の濃度データＭi をその都度画像メモリ１６より読み出
しているが、パターンマッチングに先立ち、２値化デー
タが「１」のモデル画像１における画素の濃度データＭ
i を画素位置の座標（ｘi ，ｙi ）とともにＲＡＭ２４
などにテーブル化して記憶させておいてもよい。
【００５０】
【発明の効果】この発明は上記のように、モデル画像を
膨張および収縮の各処理を行って膨張画像および収縮画
像を生成した後、膨張画像および収縮画像の各エッジ位
置近傍の画素につきモデル画像と入力された濃淡画像と
の相関値を演算するようにしたから、入力された濃淡画
像がいずれか方向に回転していても、正しいパターンマ
ッチングが行われ、位置計測が可能である。また相関演
算の対象画素を膨張画像および収縮画素の各エッジ位置
近傍の画素に限定するから、パターンマッチングの対象
画素を効率的に削減でき、相関演算の計算量が減少し、
処理時間を短縮できる。
膨張および収縮の各処理を行って膨張画像および収縮画
像を生成した後、膨張画像および収縮画像の各エッジ位
置近傍の画素につきモデル画像と入力された濃淡画像と
の相関値を演算するようにしたから、入力された濃淡画
像がいずれか方向に回転していても、正しいパターンマ
ッチングが行われ、位置計測が可能である。また相関演
算の対象画素を膨張画像および収縮画素の各エッジ位置
近傍の画素に限定するから、パターンマッチングの対象
画素を効率的に削減でき、相関演算の計算量が減少し、
処理時間を短縮できる。
【００５１】請求項２のパターンマッチング装置では、
膨張画像の各構成画素の濃度データを２次微分して得ら
れた値が第１のしきい値を越える画素と、収縮画像の各
構成画素の濃度データを２次微分して得られた値が第２
のしきい値を越える画素とを選択するようにしたから、
モデル画像のエッジを挟んで両側近傍の画素を確実に抽
出できるという効果がある。
膨張画像の各構成画素の濃度データを２次微分して得ら
れた値が第１のしきい値を越える画素と、収縮画像の各
構成画素の濃度データを２次微分して得られた値が第２
のしきい値を越える画素とを選択するようにしたから、
モデル画像のエッジを挟んで両側近傍の画素を確実に抽
出できるという効果がある。
【図１】この発明にかかる濃淡画像のパターンマッチン
グ装置の原理を説明するための原理説明図である。
グ装置の原理を説明するための原理説明図である。
【図２】膨張画像についての各処理段階の処理結果を示
す説明図である。
す説明図である。
【図３】収縮画像についての各処理段階の処理結果を示
す説明図である。
す説明図である。
【図４】膨張画像および収縮画像の生成方法を示す説明
図である。
図である。
【図５】この発明の一実施例にかかる濃淡画像のパター
ンマッチング装置の回路構成例を示すブロック図であ
る。
ンマッチング装置の回路構成例を示すブロック図であ
る。
【図６】パターンマッチングの対象画素を選択する処理
の流れを示すフローチャートである。
の流れを示すフローチャートである。
【図７】ＣＰＵによるパターンマッチングの制御手順を
示すフローチャートである。
示すフローチャートである。
【図８】従来の正規化相関濃淡マッチング法を示す説明
図である。
図である。
【図９】従来例を改良した方式の原理を示す原理説明図
である。
である。
【図１０】図９の改良方式についての各処理段階の処理
結果を示す説明図である。
結果を示す説明図である。
１０ カメラ １１ 濃淡画像処理部 １４ 微分計測部 １５ ＬＵＴ ２１ 制御部 ２２ ＣＰＵ ２３ ＲＯＭ ２４ ＲＡＭ ２５ 膨張・収縮処理部
Claims (2)
- 【請求項１】 対象物のモデル画像を用いて、入力され
た濃淡画像のパターンマッチングを行う装置において、 前記モデル画像を膨張処理して膨張画像を生成する膨張
画像生成手段と、 前記モデル画像を収縮処理して収縮画像を生成する収縮
画像生成手段と、 前記膨張画像および収縮画像のエッジ位置近傍の画素を
選択する画素選択手段と、 前記画素選択手段により選択されたエッジ位置近傍の画
素について対象物のモデル画像と入力された濃淡画像と
の相関値を演算する演算手段とを備えて成る濃淡画像の
パターンマッチング装置。 - 【請求項２】前記画素選択手段は、前記膨張画像の各構
成画素の濃度データを２次微分して得られた値が第１の
しきい値を越える画素を選択する第１の画素選択手段
と、前記収縮画像の各構成画素の濃度データを２次微分
して得られた値が第２のしきい値を越える画素を選択す
る第２の画素選択手段とを備えている請求項１に記載さ
れた濃淡画像のパターンマッチング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18863992A JP3223385B2 (ja) | 1992-06-22 | 1992-06-22 | 濃淡画像のパターンマッチング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18863992A JP3223385B2 (ja) | 1992-06-22 | 1992-06-22 | 濃淡画像のパターンマッチング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH064670A true JPH064670A (ja) | 1994-01-14 |
| JP3223385B2 JP3223385B2 (ja) | 2001-10-29 |
Family
ID=16227234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18863992A Expired - Fee Related JP3223385B2 (ja) | 1992-06-22 | 1992-06-22 | 濃淡画像のパターンマッチング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3223385B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195583A (ja) * | 2000-01-14 | 2001-07-19 | Canon Inc | 位置検出装置及びそれを用いた露光装置 |
| JP2009223414A (ja) * | 2008-03-13 | 2009-10-01 | Hitachi High-Technologies Corp | 一致度計算装置及び方法、プログラム |
| JP2013061771A (ja) * | 2011-09-13 | 2013-04-04 | Glory Ltd | 画像特徴抽出方法及び画像特徴抽出装置並びにこれを用いた画像照合方法及び画像照合装置 |
-
1992
- 1992-06-22 JP JP18863992A patent/JP3223385B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195583A (ja) * | 2000-01-14 | 2001-07-19 | Canon Inc | 位置検出装置及びそれを用いた露光装置 |
| JP4532640B2 (ja) * | 2000-01-14 | 2010-08-25 | キヤノン株式会社 | 位置検出装置及びそれを用いた露光装置 |
| JP2009223414A (ja) * | 2008-03-13 | 2009-10-01 | Hitachi High-Technologies Corp | 一致度計算装置及び方法、プログラム |
| JP2013061771A (ja) * | 2011-09-13 | 2013-04-04 | Glory Ltd | 画像特徴抽出方法及び画像特徴抽出装置並びにこれを用いた画像照合方法及び画像照合装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3223385B2 (ja) | 2001-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110274908B (zh) | 缺陷检查装置、缺陷检查方法以及计算机可读记录介质 | |
| JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| CN112567229A (zh) | 缺陷检查装置、缺陷检查方法及其程序 | |
| JPH0591411A (ja) | 画像処理装置 | |
| JPH06348850A (ja) | 濃淡画像処理装置 | |
| JP3223384B2 (ja) | 濃淡画像のパターンマッチング装置 | |
| JP3223385B2 (ja) | 濃淡画像のパターンマッチング装置 | |
| JPH06113139A (ja) | 画像２値化装置 | |
| JP6788929B1 (ja) | 被検物判定用の画像処理装置及び画像処理方法 | |
| JP3127598B2 (ja) | 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法 | |
| JP2004219291A (ja) | 画面の線欠陥検出方法及び装置 | |
| JPH0735699A (ja) | 表面欠陥検出方法およびその装置 | |
| JPH0310107A (ja) | 濃淡パターンマッチングによる検査方法 | |
| JP2004219072A (ja) | 画面のスジ欠陥検出方法及び装置 | |
| JPH09245166A (ja) | パターンマッチング装置 | |
| CN117474932B (zh) | 对象分割方法和装置、电子设备及存储介质 | |
| JP3252574B2 (ja) | 画像処理装置 | |
| JP3109237B2 (ja) | 画像中の線分構成画素抽出方法および線分判定方法 | |
| JP3728184B2 (ja) | 画像処理システム | |
| JPH10143673A (ja) | 画像処理装置 | |
| JPH08334476A (ja) | 検査領域設定方法およびその装置ならびにその装置を用いた検査装置 | |
| JP2841866B2 (ja) | 画像処理装置および方法ならびにその応用装置 | |
| JP3175946B2 (ja) | 物***置計測方法およびその装置 | |
| JP2002230564A (ja) | 輪郭抽出装置、方法および輪郭抽出プログラム | |
| JP3112693B2 (ja) | 図形数算出装置及び図形数算出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080824 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |