JP3277723B2 - 対象物載置方向判別方法及びその装置 - Google Patents
対象物載置方向判別方法及びその装置Info
- Publication number
- JP3277723B2 JP3277723B2 JP25657294A JP25657294A JP3277723B2 JP 3277723 B2 JP3277723 B2 JP 3277723B2 JP 25657294 A JP25657294 A JP 25657294A JP 25657294 A JP25657294 A JP 25657294A JP 3277723 B2 JP3277723 B2 JP 3277723B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- imaging
- reference data
- reference position
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】本発明はパレット上に可動状態に
載置された対象物の向きを正確に判別しうる対象物載置
方向判別方法及びその装置に関する。
載置された対象物の向きを正確に判別しうる対象物載置
方向判別方法及びその装置に関する。
【0002】
【従来の技術】自動車部品の一部であるエンジンを製造
するために、加工ラインの前工程で作成されたエンジン
のヘッド部分である粗材をパレットに複数個載せて加工
ラインの入口に配置されたトラバーサまで搬入し、加工
ラインに順次投入する工程が設けられている。トラバー
サには複数の型式のエンジンのヘッドが搬入されてくる
ので、加工ラインに投入する前に各粗材が使用されるエ
ンジンの型式を判別する必要がある。更に、粗材は、縦
横混在した状態でパレット上に載置されているので、各
エンジンの型式の全ての粗材を同じ方向に整えてから加
工ラインに投入される。このようなパレット上の粗材の
型式の判別並びにパレット上の載置方向の判別は、エン
ジン製造の自動化を図るうえにおいても重要な役割を果
たしている。
するために、加工ラインの前工程で作成されたエンジン
のヘッド部分である粗材をパレットに複数個載せて加工
ラインの入口に配置されたトラバーサまで搬入し、加工
ラインに順次投入する工程が設けられている。トラバー
サには複数の型式のエンジンのヘッドが搬入されてくる
ので、加工ラインに投入する前に各粗材が使用されるエ
ンジンの型式を判別する必要がある。更に、粗材は、縦
横混在した状態でパレット上に載置されているので、各
エンジンの型式の全ての粗材を同じ方向に整えてから加
工ラインに投入される。このようなパレット上の粗材の
型式の判別並びにパレット上の載置方向の判別は、エン
ジン製造の自動化を図るうえにおいても重要な役割を果
たしている。
【0003】このパレット上に載せられた粗材の型式並
びに載置方向を判別する方法として濃淡パターンマッチ
ングによる方法が用いられている。これは、対象物とな
る粗材を撮像することで得られた画像データの濃淡パタ
ーンを検出し、それをモデルとなる画像データの濃淡パ
ターンと照合することで型式並びに方向を判別する方法
である。
びに載置方向を判別する方法として濃淡パターンマッチ
ングによる方法が用いられている。これは、対象物とな
る粗材を撮像することで得られた画像データの濃淡パタ
ーンを検出し、それをモデルとなる画像データの濃淡パ
ターンと照合することで型式並びに方向を判別する方法
である。
【0004】図6は、濃淡パターンマッチングを用いて
パレット上に載せられた粗材の型式並びに載置方向を判
別し加工ラインに粗材を順次投入する直交ロボットを示
した図である。この直交ロボットは、X、Y、Z方向及
びθ方向の4軸のロボットであり、フォークリフトでト
ラバーサに搬入されたパレット上の粗材を取り出し、所
定の向きに揃えてから加工ラインに順次投入する。図6
においてはパレットは4段に重ねられており、それぞれ
に10個の粗材が載せられているが、1パレット内に粗
材を各層10個ずつ並べ,それを4層に積み重ねたもの
としても良い。粗材が取り出され空になったパレットは
排出される。直交ロボットの先端部には、パレットの上
から爪で引っかけて粗材を取り出す粗材取出部2と粗材
に向けて光を照射するリング照明4とが配設され、更に
粗材を撮像するCCDカメラ6及び光源ユニット8が設
けられている。これらの構成を用いて、画像を入力する
ことになる。
パレット上に載せられた粗材の型式並びに載置方向を判
別し加工ラインに粗材を順次投入する直交ロボットを示
した図である。この直交ロボットは、X、Y、Z方向及
びθ方向の4軸のロボットであり、フォークリフトでト
ラバーサに搬入されたパレット上の粗材を取り出し、所
定の向きに揃えてから加工ラインに順次投入する。図6
においてはパレットは4段に重ねられており、それぞれ
に10個の粗材が載せられているが、1パレット内に粗
材を各層10個ずつ並べ,それを4層に積み重ねたもの
としても良い。粗材が取り出され空になったパレットは
排出される。直交ロボットの先端部には、パレットの上
から爪で引っかけて粗材を取り出す粗材取出部2と粗材
に向けて光を照射するリング照明4とが配設され、更に
粗材を撮像するCCDカメラ6及び光源ユニット8が設
けられている。これらの構成を用いて、画像を入力する
ことになる。
【0005】図7は、直交ロボットで取り扱う対象物で
あるエンジンのヘッド部分を上から見たときの概略図で
ある。図7から明らかなように、エンジンの型式によっ
て特有の位置又は個数のバルブリフタ穴10が設けられ
ている。このバルブリフタ穴10は、設計上変更される
ことが少ない。また、円錐形状をしているので濃淡パタ
ーンが出やすい。従って、対象物がエンジンのヘッド部
分の場合、バルブリフタ穴10の位置関係を認識するこ
とで粗材の型式を判別することができる。
あるエンジンのヘッド部分を上から見たときの概略図で
ある。図7から明らかなように、エンジンの型式によっ
て特有の位置又は個数のバルブリフタ穴10が設けられ
ている。このバルブリフタ穴10は、設計上変更される
ことが少ない。また、円錐形状をしているので濃淡パタ
ーンが出やすい。従って、対象物がエンジンのヘッド部
分の場合、バルブリフタ穴10の位置関係を認識するこ
とで粗材の型式を判別することができる。
【0006】図8は、パレット上に載置された粗材の型
式並びに載置方向を判別する処理を示したフローチャー
トであり、以下、この図に基づいて粗材の載置方向を判
別する方法について説明する。
式並びに載置方向を判別する処理を示したフローチャー
トであり、以下、この図に基づいて粗材の載置方向を判
別する方法について説明する。
【0007】リング照明4からの光を粗材に照らしてC
CDカメラ6で撮像することで粗材の画像を入力し図示
しない画像処理装置に送る(ステップ101)。撮像さ
れた画像は、黒白のパターンのデータとなるが、この黒
白パターンの輪郭線を抽出しその輪郭線から各エンジン
の型式の特徴となるバルブリフタ穴10の部位を抽出す
る(ステップ102)。これは、輪郭線の中から特定の
大きさの円周長、面積である閉包図形を形成する線のみ
を抽出することで可能となる。この抽出されたバルブリ
フタ穴10の部位のデータと各エンジンの型式のモデル
となるデータとを照合する、いわゆるモデルマッチング
を行うことにより、対象物である粗材がいずれかのエン
ジンの型式に該当するかを認識する(ステップ10
3)。
CDカメラ6で撮像することで粗材の画像を入力し図示
しない画像処理装置に送る(ステップ101)。撮像さ
れた画像は、黒白のパターンのデータとなるが、この黒
白パターンの輪郭線を抽出しその輪郭線から各エンジン
の型式の特徴となるバルブリフタ穴10の部位を抽出す
る(ステップ102)。これは、輪郭線の中から特定の
大きさの円周長、面積である閉包図形を形成する線のみ
を抽出することで可能となる。この抽出されたバルブリ
フタ穴10の部位のデータと各エンジンの型式のモデル
となるデータとを照合する、いわゆるモデルマッチング
を行うことにより、対象物である粗材がいずれかのエン
ジンの型式に該当するかを認識する(ステップ10
3)。
【0008】このように、モデルとなる閉包図形と撮像
画像から得られた輪郭線から抽出された特定の輪郭線
(閉包図形)とを照合することで、撮像画像から余計な
輪郭線が抽出されていたとしてもパレット上に載置され
た粗材の型式を判別することができる。これは、粗材が
パレット上に載置された方向が一定でなくても判別可能
である。輪郭線を抽出し照合する方法は、従来の2値化
処理を用いたモデルマッチング処理と異なり対象物にお
ける輪郭線を強調して抽出するため外乱光に強くまた照
度変化にも強い。従って、対象物がエンジンのヘッドの
ように凹凸のある場合に適していると言えよう。
画像から得られた輪郭線から抽出された特定の輪郭線
(閉包図形)とを照合することで、撮像画像から余計な
輪郭線が抽出されていたとしてもパレット上に載置され
た粗材の型式を判別することができる。これは、粗材が
パレット上に載置された方向が一定でなくても判別可能
である。輪郭線を抽出し照合する方法は、従来の2値化
処理を用いたモデルマッチング処理と異なり対象物にお
ける輪郭線を強調して抽出するため外乱光に強くまた照
度変化にも強い。従って、対象物がエンジンのヘッドの
ように凹凸のある場合に適していると言えよう。
【0009】型式が判別されると、次に粗材の載置方向
を判別する(ステップ104)。バルブリフタ穴の配置
及び個数は、各型式により異なるため型式の判別として
利用するには有効であるが、各粗材における各バルブリ
フタ穴には他のバルブリフタ穴と識別できるような特徴
がないため、バルブリフタ穴の形状、配置のみで載置方
向を識別することは困難である。従って、バルブリフタ
穴ではなく粗材上の他の位置で濃淡パターンマッチング
を行うことで載置方向を判別することになる。従来で
は、図7に示したようにバルブリフタ穴10の重心位置
11から特定のオフセットを持たせた位置(特定領域)
において、濃淡パターンマッチング処理を行う。この特
定領域には、各型式において特有の形状を有する部位で
あるはずなので、この位置のモデルとなる濃淡データと
撮像された画像から得られた濃淡データを比較すること
で方向判別をすることができる。図7(a)、(b)に
示した第1のポイント12及び第2のポイント14がそ
れぞれ前記特定領域となる。第2のポイント14は、第
1のポイント12に対して前記重心位置11を中心とし
た点対称な位置となる。なお、モデルとなる濃淡データ
を相関モデルという。
を判別する(ステップ104)。バルブリフタ穴の配置
及び個数は、各型式により異なるため型式の判別として
利用するには有効であるが、各粗材における各バルブリ
フタ穴には他のバルブリフタ穴と識別できるような特徴
がないため、バルブリフタ穴の形状、配置のみで載置方
向を識別することは困難である。従って、バルブリフタ
穴ではなく粗材上の他の位置で濃淡パターンマッチング
を行うことで載置方向を判別することになる。従来で
は、図7に示したようにバルブリフタ穴10の重心位置
11から特定のオフセットを持たせた位置(特定領域)
において、濃淡パターンマッチング処理を行う。この特
定領域には、各型式において特有の形状を有する部位で
あるはずなので、この位置のモデルとなる濃淡データと
撮像された画像から得られた濃淡データを比較すること
で方向判別をすることができる。図7(a)、(b)に
示した第1のポイント12及び第2のポイント14がそ
れぞれ前記特定領域となる。第2のポイント14は、第
1のポイント12に対して前記重心位置11を中心とし
た点対称な位置となる。なお、モデルとなる濃淡データ
を相関モデルという。
【0010】図9は、図8に示した方向判別処理の詳細
を示したフローチャートであり、この図を用いて方向判
別処理について説明する。
を示したフローチャートであり、この図を用いて方向判
別処理について説明する。
【0011】まず、画像処理装置に予め型式毎に決めら
れた前記相関モデルをロードする。すでにいずれかの型
式であるかは判別されているので、対応する型式の相関
モデルのみがロードされる(ステップ201)。次に、
第1のポイント12の撮像画像から得られた濃淡データ
をロードし(ステップ202)、相関モデルと比較・照
合することで第1のポイント12における相関値(一致
度)を算出する(ステップ203)。相関値と所定のス
レッシュレベルとを比較し(ステップ204)、相関値
がそのスレッシュレベルより大きければ正規方向と判断
する(ステップ205)。図10は、各粗材に対する型
式毎の相関値を示した図であり、通常、正常な場合の相
関値は、図10のように安定してスレッシュレベルを越
える。図11は、各粗材に対する相関値を示した図であ
り、スレッシュレベル0.72との関係を示している。
図11における粗材Aのように相関値が所定のスレッシ
ュレベル以下であれば、第2のポイント14の撮像した
画像から得られた濃淡データをロードし(ステップ20
6)、相関モデルと比較・照合することで第2のポイン
ト14における相関値(一致度)を算出する(ステップ
207)。なお、全ての粗材が正規な方向と逆に載置さ
れていれば図12のようになる。相関値と所定のスレッ
シュレベルとを比較し(ステップ208)、相関値が所
定のスレッシュレベルより大きければ、粗材は反転され
た向きに載置されていたと判断する(ステップ20
9)。相関値が所定のスレッシュレベル以下であれば、
方向の判別不可能と判断する(ステップ210)。
れた前記相関モデルをロードする。すでにいずれかの型
式であるかは判別されているので、対応する型式の相関
モデルのみがロードされる(ステップ201)。次に、
第1のポイント12の撮像画像から得られた濃淡データ
をロードし(ステップ202)、相関モデルと比較・照
合することで第1のポイント12における相関値(一致
度)を算出する(ステップ203)。相関値と所定のス
レッシュレベルとを比較し(ステップ204)、相関値
がそのスレッシュレベルより大きければ正規方向と判断
する(ステップ205)。図10は、各粗材に対する型
式毎の相関値を示した図であり、通常、正常な場合の相
関値は、図10のように安定してスレッシュレベルを越
える。図11は、各粗材に対する相関値を示した図であ
り、スレッシュレベル0.72との関係を示している。
図11における粗材Aのように相関値が所定のスレッシ
ュレベル以下であれば、第2のポイント14の撮像した
画像から得られた濃淡データをロードし(ステップ20
6)、相関モデルと比較・照合することで第2のポイン
ト14における相関値(一致度)を算出する(ステップ
207)。なお、全ての粗材が正規な方向と逆に載置さ
れていれば図12のようになる。相関値と所定のスレッ
シュレベルとを比較し(ステップ208)、相関値が所
定のスレッシュレベルより大きければ、粗材は反転され
た向きに載置されていたと判断する(ステップ20
9)。相関値が所定のスレッシュレベル以下であれば、
方向の判別不可能と判断する(ステップ210)。
【0012】このように、まずは第1のポイント12の
相関値を算出しスレッシュレベルと比較することで正規
方向か否かを判別し、正規方向でなければ点対称の位置
にある第2のポイント14の相関値を算出し、相関値が
スレッシュレベルより大きければ粗材は反転していると
判別する。このようにして、粗材の載置方向が判別され
ると、画像処理装置は、粗材の位置を算出し(ステップ
105)、その位置を図示しないロボット制御装置に伝
えると、ロボット制御装置は、直交ロボットの粗材取出
部を動作させて、パレット上の粗材を取り出し、所定の
向きに揃えてから加工ラインに順次投入することにな
る。
相関値を算出しスレッシュレベルと比較することで正規
方向か否かを判別し、正規方向でなければ点対称の位置
にある第2のポイント14の相関値を算出し、相関値が
スレッシュレベルより大きければ粗材は反転していると
判別する。このようにして、粗材の載置方向が判別され
ると、画像処理装置は、粗材の位置を算出し(ステップ
105)、その位置を図示しないロボット制御装置に伝
えると、ロボット制御装置は、直交ロボットの粗材取出
部を動作させて、パレット上の粗材を取り出し、所定の
向きに揃えてから加工ラインに順次投入することにな
る。
【0013】
【発明が解決しようとする課題】ところで、同じ位置を
CCDカメラで撮像したとしても、撮像視野における位
置により多少見え方が異なるため濃淡データが異なって
くる。例えば、図7(b)の第1のポイント12の特徴
部分を取り出した図が図13(a)であり、図13
(a)のA−A’断面図が図13(b)とすると、CC
Dカメラがp1、p2、p3の位置にある場合、同じ部
位の長さdが異なって見えてしまう。また、粗材自体の
載置のばらつき、影の影響等によっても濃淡データは異
なってくる。このように、同じ形状の部位であってもC
CDカメラと粗材との位置関係により撮像される画像の
濃淡データが異なることは明らかである。
CCDカメラで撮像したとしても、撮像視野における位
置により多少見え方が異なるため濃淡データが異なって
くる。例えば、図7(b)の第1のポイント12の特徴
部分を取り出した図が図13(a)であり、図13
(a)のA−A’断面図が図13(b)とすると、CC
Dカメラがp1、p2、p3の位置にある場合、同じ部
位の長さdが異なって見えてしまう。また、粗材自体の
載置のばらつき、影の影響等によっても濃淡データは異
なってくる。このように、同じ形状の部位であってもC
CDカメラと粗材との位置関係により撮像される画像の
濃淡データが異なることは明らかである。
【0014】しかしながら、従来の方法においては、相
関モデルは各型式に各1つしか用意されていないので、
前述した方法で算出した相関値は、撮像視野内における
各ポイント12、14の位置により異なってくる。従っ
て、同じ部位であったとしても撮像視野内の各ポイント
12、14の位置によって相関値はスレッシュレベル以
下になる場合もあり得る。すなわち、粗材が正規なある
いは逆の方向に載置されていたのにもかかわらず、正常
に方向判別できない場合が起こってしまう。正常に判別
できなければ判別不可能な粗材として取り扱われるため
直交ロボットを一旦停止しその粗材を取り除かなくては
ならなくなる。
関モデルは各型式に各1つしか用意されていないので、
前述した方法で算出した相関値は、撮像視野内における
各ポイント12、14の位置により異なってくる。従っ
て、同じ部位であったとしても撮像視野内の各ポイント
12、14の位置によって相関値はスレッシュレベル以
下になる場合もあり得る。すなわち、粗材が正規なある
いは逆の方向に載置されていたのにもかかわらず、正常
に方向判別できない場合が起こってしまう。正常に判別
できなければ判別不可能な粗材として取り扱われるため
直交ロボットを一旦停止しその粗材を取り除かなくては
ならなくなる。
【0015】仮に、スレッシュレベルを低く(例えば図
11のように0.55に)した場合は、許容範囲を大き
く持たせることにより正規なあるいは逆の方向であると
確実に認識させることができる一方で、逆の方向に載置
されていたり不良品であるのにもかかわらず誤って正規
な方向と判別してしまうおそれが生じてしまう。従っ
て、スレッシュレベルは、あまり低く設定することはで
きない。
11のように0.55に)した場合は、許容範囲を大き
く持たせることにより正規なあるいは逆の方向であると
確実に認識させることができる一方で、逆の方向に載置
されていたり不良品であるのにもかかわらず誤って正規
な方向と判別してしまうおそれが生じてしまう。従っ
て、スレッシュレベルは、あまり低く設定することはで
きない。
【0016】本発明は以上のような問題を解決するため
になされたものであり、その目的は、対象物の載置方向
の判別処理を対象物の視野内の位置に応じて行うことに
より、その信頼性を向上させる対象物載置方向判別方法
及びその装置を提供することにある。
になされたものであり、その目的は、対象物の載置方向
の判別処理を対象物の視野内の位置に応じて行うことに
より、その信頼性を向上させる対象物載置方向判別方法
及びその装置を提供することにある。
【0017】
【課題を解決するための手段】以上のような目的を達成
するために、本発明に係る対象物載置方向判別方法は、
対象物を撮像し得られた画像の特定領域の濃淡データと
基準データとを照合することで対象物の置かれた向きを
判別する対象物載置方向判別方法において、撮像視野内
における対象物上の基準位置を検出するステップと、撮
像視野を複数の領域に分割したときに、検出した基準位
置が撮像視野内においていずれの領域に存在するのかを
調べるステップと、前記領域毎に予め設定された基準デ
ータの中から基準位置が存在する領域に設定した基準デ
ータを選択するステップと、を有し、前記各領域それぞ
れに対象物上の基準位置が存在するときの相関モデルを
設定し、その設定した各相関モデルを各領域における前
記基準データとして予め設定しておくことによって、一
の対象物に対して複数の基準データを設定したことを特
徴とする。
するために、本発明に係る対象物載置方向判別方法は、
対象物を撮像し得られた画像の特定領域の濃淡データと
基準データとを照合することで対象物の置かれた向きを
判別する対象物載置方向判別方法において、撮像視野内
における対象物上の基準位置を検出するステップと、撮
像視野を複数の領域に分割したときに、検出した基準位
置が撮像視野内においていずれの領域に存在するのかを
調べるステップと、前記領域毎に予め設定された基準デ
ータの中から基準位置が存在する領域に設定した基準デ
ータを選択するステップと、を有し、前記各領域それぞ
れに対象物上の基準位置が存在するときの相関モデルを
設定し、その設定した各相関モデルを各領域における前
記基準データとして予め設定しておくことによって、一
の対象物に対して複数の基準データを設定したことを特
徴とする。
【0018】また、本発明に係る対象物載置方向判別装
置は、対象物を撮像し得られた画像の特定領域の濃淡デ
ータと基準データとを照合することで対象物の置かれた
向きを判別する対象物載置方向判別装置において、対象
物を撮像する撮像手段と、撮像視野内における対象物上
の基準位置を検出する基準位置検出手段と、撮像視野を
複数の領域に分割したときに、各領域それぞれに対象物
上の基準位置が存在するときの相関モデルを設定し、そ
の設定した各相関モデルを各領域における基準データと
して予め設定しておくことによって、一の対象物に対し
て設定された複数の基準データを記憶する基準データ記
憶手段と、前記基準位置検出手段によって検出された基
準位置が撮像視野内においていずれの領域に存在するの
かを調べると共に、前記基準データ記憶手段に記憶され
た基準データの中から基準位置が存在する領域に設定し
た基準データを選択する基準データ選択手段と、前記特
定領域の濃淡データと前記基準データ選択手段により選
択された基準データとを照合・判定する濃淡データ照合
手段と、を有することを特徴とする。
置は、対象物を撮像し得られた画像の特定領域の濃淡デ
ータと基準データとを照合することで対象物の置かれた
向きを判別する対象物載置方向判別装置において、対象
物を撮像する撮像手段と、撮像視野内における対象物上
の基準位置を検出する基準位置検出手段と、撮像視野を
複数の領域に分割したときに、各領域それぞれに対象物
上の基準位置が存在するときの相関モデルを設定し、そ
の設定した各相関モデルを各領域における基準データと
して予め設定しておくことによって、一の対象物に対し
て設定された複数の基準データを記憶する基準データ記
憶手段と、前記基準位置検出手段によって検出された基
準位置が撮像視野内においていずれの領域に存在するの
かを調べると共に、前記基準データ記憶手段に記憶され
た基準データの中から基準位置が存在する領域に設定し
た基準データを選択する基準データ選択手段と、前記特
定領域の濃淡データと前記基準データ選択手段により選
択された基準データとを照合・判定する濃淡データ照合
手段と、を有することを特徴とする。
【0019】
【作用】従って、本発明に係る対象物載置方向判別方法
においては、撮像され得られた対象物の特定領域の濃淡
データと基準データとを照合する際、対象物上の基準位
置のある領域に設定された基準データを選択し当該濃淡
データと比較・照合するようにしたので、撮像手段と対
象物との位置関係により同じ部位の見え方が変わる場合
があったとしても対象物の載置された方向を確実に判別
することができる。
においては、撮像され得られた対象物の特定領域の濃淡
データと基準データとを照合する際、対象物上の基準位
置のある領域に設定された基準データを選択し当該濃淡
データと比較・照合するようにしたので、撮像手段と対
象物との位置関係により同じ部位の見え方が変わる場合
があったとしても対象物の載置された方向を確実に判別
することができる。
【0020】また、本発明に係る対象物載置方向判別装
置によれば、基準位置検出手段は、撮像手段の撮像視野
内における対象物上の基準位置を検出する。基準データ
選択手段は、基準データ記憶手段に記憶された基準デー
タの中から当該検出した基準位置のある領域に設定され
た基準データを選択する。濃淡データ照合手段は、対象
物の撮像された画像の特定領域の濃淡データと当該選択
された基準データとを照合・判定するようにしたので、
撮像手段と対象物との位置関係により同じ部位の見え方
が変わる場合があったとしても対象物の載置された方向
を確実に判別することができる。
置によれば、基準位置検出手段は、撮像手段の撮像視野
内における対象物上の基準位置を検出する。基準データ
選択手段は、基準データ記憶手段に記憶された基準デー
タの中から当該検出した基準位置のある領域に設定され
た基準データを選択する。濃淡データ照合手段は、対象
物の撮像された画像の特定領域の濃淡データと当該選択
された基準データとを照合・判定するようにしたので、
撮像手段と対象物との位置関係により同じ部位の見え方
が変わる場合があったとしても対象物の載置された方向
を確実に判別することができる。
【0021】
【実施例】以下、図面に基づいて、本発明の好適な実施
例を説明する。
例を説明する。
【0022】図1は、本発明に係る対象物載置方向判別
装置の一実施例を示したブロック構成図である。本装置
は、対象物である粗材を撮像する撮像手段としての撮像
部20と、撮像視野内における粗材上の基準位置を検出
する基準位置検出手段としての基準位置検出部22と、
撮像視野を複数に分割した領域毎に設定された相関モデ
ルを記憶する基準データ記憶手段としてのメモリ24
と、メモリ24に記憶された相関モデルの中から基準位
置検出部22で検出された基準位置に応じた相関モデル
を選択する基準データ選択手段としての相関モデル選択
部26と、詳細は後述するが撮像画像上の特定領域の濃
淡データと相関モデル選択部26により選択された相関
モデルとを照合・判定する濃淡データ照合手段としての
濃淡データ照合部28と、で構成される。撮像部20
は、図6におけるCCDカメラ6に相当する。また、基
準位置検出部22、メモリ24、相関モデル選択部26
及び濃淡データ照合部28は、通常の画像処理装置内に
構成される。
装置の一実施例を示したブロック構成図である。本装置
は、対象物である粗材を撮像する撮像手段としての撮像
部20と、撮像視野内における粗材上の基準位置を検出
する基準位置検出手段としての基準位置検出部22と、
撮像視野を複数に分割した領域毎に設定された相関モデ
ルを記憶する基準データ記憶手段としてのメモリ24
と、メモリ24に記憶された相関モデルの中から基準位
置検出部22で検出された基準位置に応じた相関モデル
を選択する基準データ選択手段としての相関モデル選択
部26と、詳細は後述するが撮像画像上の特定領域の濃
淡データと相関モデル選択部26により選択された相関
モデルとを照合・判定する濃淡データ照合手段としての
濃淡データ照合部28と、で構成される。撮像部20
は、図6におけるCCDカメラ6に相当する。また、基
準位置検出部22、メモリ24、相関モデル選択部26
及び濃淡データ照合部28は、通常の画像処理装置内に
構成される。
【0023】本装置においてパレット上に載置された粗
材の向きを判別する際、従来と同様に撮像画像上の特定
領域の濃淡データと基準データとを照合するわけである
が、本実施例において特徴的なことは、粗材上の基準位
置の存在する領域(エリア)に設定された相関モデルを
選択し、その選択した相関モデルと濃淡データとを比較
・照合するようにしたので、撮像部20と対象物との位
置関係により同じ部位、すなわち特定領域の見え方が影
等の影響により変わる場合があったとしても粗材の載置
された方向を確実に判別することができる。
材の向きを判別する際、従来と同様に撮像画像上の特定
領域の濃淡データと基準データとを照合するわけである
が、本実施例において特徴的なことは、粗材上の基準位
置の存在する領域(エリア)に設定された相関モデルを
選択し、その選択した相関モデルと濃淡データとを比較
・照合するようにしたので、撮像部20と対象物との位
置関係により同じ部位、すなわち特定領域の見え方が影
等の影響により変わる場合があったとしても粗材の載置
された方向を確実に判別することができる。
【0024】まず、本実施例における相関モデルについ
て説明する。従来では、各型式に1つの相関モデルを用
意していた。そして、撮像画像から輪郭線を抽出して得
られた濃淡データのうち特定領域、すなわち図7におけ
る第1及び第2のポイント12、14の濃淡データと相
関モデルとを照合することで粗材の載置方向を判別して
いた。本実施例では、撮像視野内における粗材の位置に
より特定部位の長さが変わって見えることや影の影響等
で同じ粗材を撮像したとしてもその粗材の濃淡データが
変わることに注目し、撮像視野を複数の領域に分割し、
各領域毎に相関モデルを設定したことを特徴としてい
る。つまり、1つの型式に対して撮像視野内の領域に応
じた複数の相関モデルを設定することになる。図2は、
撮像視野を3分割にした場合の例を示した図である。図
2においては、撮像視野30をエリア30a、30b、
30cに分割する。また、この図2(a)、(b)、
(c)には、図7に示した粗材上のバルブリフタ穴1
0、重心位置11、第1のポイント12及び図13
(a)にも示した粗材の輪郭線の一部も同時に示されて
いるが、撮像視野内における第1のポイント12の位置
により見え方が変わることは明らかである。従って、本
実施例においては各領域毎に設定されたいずれかの相関
モデルを選択し、第1あるいは第2のポイント12、1
4の濃淡データと比較・照合するようにした。
て説明する。従来では、各型式に1つの相関モデルを用
意していた。そして、撮像画像から輪郭線を抽出して得
られた濃淡データのうち特定領域、すなわち図7におけ
る第1及び第2のポイント12、14の濃淡データと相
関モデルとを照合することで粗材の載置方向を判別して
いた。本実施例では、撮像視野内における粗材の位置に
より特定部位の長さが変わって見えることや影の影響等
で同じ粗材を撮像したとしてもその粗材の濃淡データが
変わることに注目し、撮像視野を複数の領域に分割し、
各領域毎に相関モデルを設定したことを特徴としてい
る。つまり、1つの型式に対して撮像視野内の領域に応
じた複数の相関モデルを設定することになる。図2は、
撮像視野を3分割にした場合の例を示した図である。図
2においては、撮像視野30をエリア30a、30b、
30cに分割する。また、この図2(a)、(b)、
(c)には、図7に示した粗材上のバルブリフタ穴1
0、重心位置11、第1のポイント12及び図13
(a)にも示した粗材の輪郭線の一部も同時に示されて
いるが、撮像視野内における第1のポイント12の位置
により見え方が変わることは明らかである。従って、本
実施例においては各領域毎に設定されたいずれかの相関
モデルを選択し、第1あるいは第2のポイント12、1
4の濃淡データと比較・照合するようにした。
【0025】図3は、本実施例における対象物載置方向
判別方法の処理を示したフローチャートであり、以下、
この図に基づいて処理を説明する。なお、本実施例にお
ける判別処理の処理概要は従来と同様なので図8をその
まま用い、図9に示した従来と同様の処理には同じ符号
を付ける。
判別方法の処理を示したフローチャートであり、以下、
この図に基づいて処理を説明する。なお、本実施例にお
ける判別処理の処理概要は従来と同様なので図8をその
まま用い、図9に示した従来と同様の処理には同じ符号
を付ける。
【0026】粗材を撮像し得られた画像からバルブリフ
タ穴10の部位を抽出し照合、特定することで粗材の型
式を認識する(ステップ101〜103)。型式が判別
されると、次に粗材の載置方向を判別するわけであるが
(ステップ104)、本実施例においては、最初に基準
位置としてバルブリフタ穴10の重心位置11を算出す
る(ステップ301)。各バルブリフタ穴10の位置
は、粗材の型式を判別したときに検出されているので、
重心位置11は容易に求めることができる。
タ穴10の部位を抽出し照合、特定することで粗材の型
式を認識する(ステップ101〜103)。型式が判別
されると、次に粗材の載置方向を判別するわけであるが
(ステップ104)、本実施例においては、最初に基準
位置としてバルブリフタ穴10の重心位置11を算出す
る(ステップ301)。各バルブリフタ穴10の位置
は、粗材の型式を判別したときに検出されているので、
重心位置11は容易に求めることができる。
【0027】次に、重心位置11が求められるとパレッ
ト上における粗材の傾き角度を算出する(ステップ30
2)。つまり、フォークリフトがパレットの搬送する際
の震動等でパレット上の粗材が載置されたときの位置か
らずれる場合がある。この場合、元の位置から大きくず
れてCCDカメラ6の撮像視野から粗材が外れた場合
は、CCDカメラ6をX、Y方向に移動させて見つけ出
すことができる。ただし、粗材を撮像するとき、図4
(a)、(b)のように各粗材がバルブリフタ穴10の
並びと正規な方向とが一致している等粗材がパレット上
の基準となる位置のままであれば理想的であるが、図4
(c)、(d)のように方向判別の基準となる方向から
ずれている場合が多い。各ポイント12、14を正しく
得るためにその傾き角度を得なければならない。この傾
き角度は、バルブリフタ穴10の並びと正規な方向との
ずれ量を算出すれば容易に求めることができる。傾き角
度が求まれば、その分画像処理装置内の座標系において
回転座標変換を行うことにより正規な方向又は逆の方向
に調整することができるので、後の処理において第1及
び第2のポイント12、14の濃淡データを正しく得る
ことができる。
ト上における粗材の傾き角度を算出する(ステップ30
2)。つまり、フォークリフトがパレットの搬送する際
の震動等でパレット上の粗材が載置されたときの位置か
らずれる場合がある。この場合、元の位置から大きくず
れてCCDカメラ6の撮像視野から粗材が外れた場合
は、CCDカメラ6をX、Y方向に移動させて見つけ出
すことができる。ただし、粗材を撮像するとき、図4
(a)、(b)のように各粗材がバルブリフタ穴10の
並びと正規な方向とが一致している等粗材がパレット上
の基準となる位置のままであれば理想的であるが、図4
(c)、(d)のように方向判別の基準となる方向から
ずれている場合が多い。各ポイント12、14を正しく
得るためにその傾き角度を得なければならない。この傾
き角度は、バルブリフタ穴10の並びと正規な方向との
ずれ量を算出すれば容易に求めることができる。傾き角
度が求まれば、その分画像処理装置内の座標系において
回転座標変換を行うことにより正規な方向又は逆の方向
に調整することができるので、後の処理において第1及
び第2のポイント12、14の濃淡データを正しく得る
ことができる。
【0028】次に、粗材の重心位置11が撮像視野内に
おけるどのエリアに存在するかを調べる(ステップ30
3)。これは、撮像視野内における重心位置11がわか
っているので容易にわかる。重心位置11がどのエリア
に含まれるかわかると、該当するエリアの相関モデルを
ロードする。この相関モデルに関しては既に述べた。こ
の後の第1のポイント12の濃淡データのロード、スレ
ッシュレベルとの比較・照合(ステップ202〜20
5)、第2のポイント14の濃淡データのロード、スレ
ッシュレベルとの比較・照合(ステップ206〜21
0)等は従来と同様なので省略する。本実施例では、前
述したように同じ見え方のする相関モデルを選択するよ
うにしたので、より正確な相関値を得ることができ、そ
の結果、信頼性の高い方向判別を行うことができる。
おけるどのエリアに存在するかを調べる(ステップ30
3)。これは、撮像視野内における重心位置11がわか
っているので容易にわかる。重心位置11がどのエリア
に含まれるかわかると、該当するエリアの相関モデルを
ロードする。この相関モデルに関しては既に述べた。こ
の後の第1のポイント12の濃淡データのロード、スレ
ッシュレベルとの比較・照合(ステップ202〜20
5)、第2のポイント14の濃淡データのロード、スレ
ッシュレベルとの比較・照合(ステップ206〜21
0)等は従来と同様なので省略する。本実施例では、前
述したように同じ見え方のする相関モデルを選択するよ
うにしたので、より正確な相関値を得ることができ、そ
の結果、信頼性の高い方向判別を行うことができる。
【0029】図5は、正規な方向に粗材が載置され各エ
リア30a、30b、30cに重心位置11が存在した
ときの従来例と本実施例における判別結果を示した図で
ある。この内容から明らかなように、本実施例によれば
いずれのエリアにおいても確実に正規方向に粗材が載置
されていることを判別できることが理解できる。
リア30a、30b、30cに重心位置11が存在した
ときの従来例と本実施例における判別結果を示した図で
ある。この内容から明らかなように、本実施例によれば
いずれのエリアにおいても確実に正規方向に粗材が載置
されていることを判別できることが理解できる。
【0030】以上のように、本実施例によれば、3分割
したエリア30a、30b、30c毎に相関モデルを設
定し、その相関モデルの中から撮像画像におけるバルブ
リフタ穴10の重心位置11の存在するエリアに対応し
た相関モデルをロードし相関値を算出するようにしたの
で、CCDカメラ6と粗材との位置関係、影等の影響を
受けることなく確実にパレット上の粗材の載置方向を判
別することができる。従って、スレッシュレベルを低く
設定する必要がなく判別処理の信頼性を向上することが
できる。
したエリア30a、30b、30c毎に相関モデルを設
定し、その相関モデルの中から撮像画像におけるバルブ
リフタ穴10の重心位置11の存在するエリアに対応し
た相関モデルをロードし相関値を算出するようにしたの
で、CCDカメラ6と粗材との位置関係、影等の影響を
受けることなく確実にパレット上の粗材の載置方向を判
別することができる。従って、スレッシュレベルを低く
設定する必要がなく判別処理の信頼性を向上することが
できる。
【0031】なお、本発明は、撮像視野を複数の領域に
分割して、各領域毎に相関モデルを設定したことを特徴
とするので、上記実施例のように撮像視野を正規な方向
に沿って3分割した場合に限られるわけではないが、本
実施例のように対象物がパレット上のエンジンのヘッド
部分であり長方形に近い形状の場合は、正規な方向に沿
った3分割で正常に載置方向を判別可能である。分割方
法は、対処物の形状、特徴部位等により決めることにな
る。
分割して、各領域毎に相関モデルを設定したことを特徴
とするので、上記実施例のように撮像視野を正規な方向
に沿って3分割した場合に限られるわけではないが、本
実施例のように対象物がパレット上のエンジンのヘッド
部分であり長方形に近い形状の場合は、正規な方向に沿
った3分割で正常に載置方向を判別可能である。分割方
法は、対処物の形状、特徴部位等により決めることにな
る。
【0032】また、上記実施例では、基準位置をバルブ
リフタ穴の重心位置とし特定領域を重心位置から点対称
の位置としたが、これらも対象物の形状、特徴部位等に
より任意に設定すればよい。従って、上記実施例では重
心位置と特定領域とが異なる領域に分かれる可能性はあ
るが、これは、基準位置又は特定領域の設定を変更すれ
ばよい。本実施例においては、スレッシュレベルの範囲
内である。
リフタ穴の重心位置とし特定領域を重心位置から点対称
の位置としたが、これらも対象物の形状、特徴部位等に
より任意に設定すればよい。従って、上記実施例では重
心位置と特定領域とが異なる領域に分かれる可能性はあ
るが、これは、基準位置又は特定領域の設定を変更すれ
ばよい。本実施例においては、スレッシュレベルの範囲
内である。
【0033】
【発明の効果】本発明によれば、撮像視野を複数の領域
に分割し、1つの対象物に対しても各領域毎に基準デー
タを設定し、対象物の特定領域の濃淡データと基準デー
タとを照合する際、対象物上の基準位置のある領域に設
定された基準データを選択し当該濃淡データと比較・照
合するようにしたので、撮像手段と対象物との位置関
係、影等の影響により同じ特定領域の見え方が変わる場
合があったとしてもそれらの影響を受けることなく対象
物の載置された方向を確実に判別することが可能とな
る。
に分割し、1つの対象物に対しても各領域毎に基準デー
タを設定し、対象物の特定領域の濃淡データと基準デー
タとを照合する際、対象物上の基準位置のある領域に設
定された基準データを選択し当該濃淡データと比較・照
合するようにしたので、撮像手段と対象物との位置関
係、影等の影響により同じ特定領域の見え方が変わる場
合があったとしてもそれらの影響を受けることなく対象
物の載置された方向を確実に判別することが可能とな
る。
【0034】従って、向きを判別する際に用いるスレッ
シュレベルを低く設定する必要がなく判別処理の信頼性
を向上することが可能となる。
シュレベルを低く設定する必要がなく判別処理の信頼性
を向上することが可能となる。
【図1】本発明に係る対象物載置方向判別装置の一実施
例を示したブロック構成図である。
例を示したブロック構成図である。
【図2】本実施例において、撮像視野内を3分割し、そ
れぞれのエリアに粗材が撮像されたときの例を示した図
である。
れぞれのエリアに粗材が撮像されたときの例を示した図
である。
【図3】本実施例における対象物載置方向判別方法の処
理を示したフローチャートである。
理を示したフローチャートである。
【図4】本実施例において、撮像視野内の粗材の載置方
向を示した図である。
向を示した図である。
【図5】本実施例において、正規な方向に粗材が載置さ
れ各エリアに重心位置が存在したときの従来例と本実施
例における判別結果を示した図である。
れ各エリアに重心位置が存在したときの従来例と本実施
例における判別結果を示した図である。
【図6】直交ロボットを示した図である。
【図7】対象物である各エンジンのヘッド部分を上から
見たときの概略図である。
見たときの概略図である。
【図8】パレット上に載置された粗材の型式並びに載置
方向を判別する処理を示したフローチャートである。
方向を判別する処理を示したフローチャートである。
【図9】従来の対象物載置方向判別方法の処理を示した
フローチャートである。
フローチャートである。
【図10】各粗材に対する型式毎の相関値を示した図で
ある。
ある。
【図11】各粗材の相関値とスレッシュレベルとの関係
を示した図である。
を示した図である。
【図12】各粗材の相関値とスレッシュレベルとの関係
を示した図である。
を示した図である。
【図13】(a)は図7(b)に示した第1のポイント
の特徴部分の概略図、(b)は(a)のA−A’線で切
断したときの断面図である。
の特徴部分の概略図、(b)は(a)のA−A’線で切
断したときの断面図である。
6 CCDカメラ 10 バルブリフタ穴 11 重心位置 12 第1のポイント 14 第2のポイント 20 撮像部 22 基準位置検出部 24 メモリ 26 相関モデル選択部 28 濃淡データ照合部28 30 撮像視野 30a、30b、30c エリア
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G06T 7/60 150 G06T 7/60 150P (58)調査した分野(Int.Cl.7,DB名) B25J 13/08 B25J 19/04 G01B 11/26 G06T 1/00 300 G06T 7/00 300 G06T 7/60 150
Claims (2)
- 【請求項1】 対象物を撮像し得られた画像の特定領域
の濃淡データと基準データとを照合することで対象物の
置かれた向きを判別する対象物載置方向判別方法におい
て、 撮像視野内における対象物上の基準位置を検出するステ
ップと、 撮像視野を複数の領域に分割したときに、検出した基準
位置が撮像視野内においていずれの領域に存在するのか
を調べるステップと、前記 領域毎に予め設定された基準データの中から基準位
置が存在する領域に設定した基準データを選択するステ
ップと、 を有し、前記各領域それぞれに対象物上の基準位置が存
在するときの相関モデルを設定し、その設定した各相関
モデルを各領域における前記基準データとして予め設定
しておくことによって、一の対象物に対して複数の基準
データを設定したことを特徴とする対象物載置方向判別
方法。 - 【請求項2】 対象物を撮像し得られた画像の特定領域
の濃淡データと基準データとを照合することで対象物の
置かれた向きを判別する対象物載置方向判別装置におい
て、 対象物を撮像する撮像手段と、 撮像視野内における対象物上の基準位置を検出する基準
位置検出手段と、 撮像視野を複数の領域に分割したときに、各領域それぞ
れに対象物上の基準位置が存在するときの相関モデルを
設定し、その設定した各相関モデルを各領域における基
準データとして予め設定しておくことによって、一の対
象物に対して設定された複数の基準データを記憶する基
準データ記憶手段と、 前記基準位置検出手段によって検出された基準位置が撮
像視野内においていずれの領域に存在するのかを調べる
と共に、前記基準データ記憶手段に記憶された基準デー
タの中から基準位置が存在する領域に設定した基準デー
タを選択する基準データ選択手段と、 前記特定領域の濃淡データと前記基準データ選択手段に
より選択された基準データとを照合・判定する濃淡デー
タ照合手段と、 を有することを特徴とする対象物載置方向判別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25657294A JP3277723B2 (ja) | 1994-10-21 | 1994-10-21 | 対象物載置方向判別方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25657294A JP3277723B2 (ja) | 1994-10-21 | 1994-10-21 | 対象物載置方向判別方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08118273A JPH08118273A (ja) | 1996-05-14 |
JP3277723B2 true JP3277723B2 (ja) | 2002-04-22 |
Family
ID=17294506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25657294A Expired - Fee Related JP3277723B2 (ja) | 1994-10-21 | 1994-10-21 | 対象物載置方向判別方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3277723B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1094991A (ja) * | 1996-09-24 | 1998-04-14 | Mazda Motor Corp | 物品位置検出方法及び装置 |
JP5527213B2 (ja) * | 2008-11-06 | 2014-06-18 | 日本電気株式会社 | 画像向き判定装置、画像向き判定方法及び画像向き判定プログラム |
JP5373470B2 (ja) * | 2009-04-28 | 2013-12-18 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | モデリング装置、磁気共鳴イメージング装置、モデリング方法、およびプログラム |
JP5787642B2 (ja) * | 2011-06-28 | 2015-09-30 | キヤノン株式会社 | 対象物保持装置、対象物保持装置の制御方法、およびプログラム |
JP7243453B2 (ja) * | 2019-05-28 | 2023-03-22 | 株式会社島津製作所 | X線撮影装置 |
-
1994
- 1994-10-21 JP JP25657294A patent/JP3277723B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08118273A (ja) | 1996-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3051279B2 (ja) | バンプ外観検査方法およびバンプ外観検査装置 | |
JPH11328408A (ja) | データ処理装置および方法、情報記憶媒体 | |
JP2002539566A (ja) | 基準ダイの選択装置及び方法 | |
JP3277723B2 (ja) | 対象物載置方向判別方法及びその装置 | |
CN112985515B (zh) | 一种产品紧固件装配合格性检测方法、***及存储介质 | |
JP3109620B2 (ja) | 物体判別装置 | |
KR20190119801A (ko) | 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법 | |
CN115020286A (zh) | 一种用于晶粒的分选挑拣方法及*** | |
JPH0953915A (ja) | 重なり状態認識方法 | |
JP3718613B2 (ja) | 画像イメージによる硬貨真偽判定方法及び装置 | |
JPH06294633A (ja) | ファスナー自動検査方法及び検査装置 | |
JP2562047B2 (ja) | 対象物体の位置姿勢認識方法 | |
JP3919207B2 (ja) | 外観検査装置 | |
US11983862B2 (en) | Inspection device and method for checking an object produced by sintering for defects | |
JP3348938B2 (ja) | 位置認識装置 | |
JPH07113962B2 (ja) | 画像処理方法 | |
JPH0894335A (ja) | 画像処理検品装置 | |
KR20230039849A (ko) | Cnn기반 스마트펙토리 적용을 위한 비정형화 부품의 불량 판별 시스템 | |
JPS59114681A (ja) | 形状認識方式 | |
JPH07146943A (ja) | 円形物の認識方法 | |
JPH0520459A (ja) | パターン認識方法およびその装置 | |
CN114782509A (zh) | 工件废料检测方法、***及装置 | |
JPH1026659A (ja) | 画像センサの欠陥素子判定装置 | |
JP3200748B2 (ja) | マーク検査方法 | |
JPH06309437A (ja) | パターン検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080215 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090215 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100215 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |