JP3769857B2

JP3769857B2 - Method for creating reference image for pattern matching

Info

Publication number: JP3769857B2
Application number: JP01663797A
Authority: JP
Inventors: 茂生岡水; 美昭木村
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1997-01-30
Filing date: 1997-01-30
Publication date: 2006-04-26
Anticipated expiration: 2017-01-30
Also published as: JPH10213420A

Description

【０００１】
【発明の属する技術分野】
【０００２】
本願発明は、パターンマッチングに用いる基準画像作成方法に関するものである。
【従来の技術】
【０００３】
例えば、ロボットを用いた自動車の自動組立ラインにおいては、ボディに設けられたボルト穴等のワーク取付基準点をカメラ等の撮像手段で撮像するとともに、その画像を表示する画面上での撮像位置の座標を読み取ることにより、上記基準点ないしボディ全体としての位置を検出する方法が採用されてきている。
【０００４】
つまり、図１１に示すように、ボディに設けられた基準穴と同一の形状を有する２値化データのパターンからなる基準画像（換言すれば、テンプレートＡ）を設定した上で、カメラで撮像した基準穴の画像Ｂが表示された画面Ｐ上で上記テンプレートＡを走査させ、この画面Ｐ上で該テンプレートＡと基準穴の画像Ａ′とがマッチングしたときの該テンプレートＡの中心座標（Ｘ，Ｙ）を読み取ることにより、上記基準穴ないしボディの位置を検出する方法が採用されてきているのである。
【０００５】
ところで、上記のような方法を採用する場合、例えばボディの色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等の条件により、基準穴の画像が明確に撮像されない場合が生ずることがある。すると、テンプレートを走査させて基準穴の画像とマッチングしても、これらがマッチングしたとは判断されない場合が生ずる。
【０００６】
上記のような不具合に対処する方法として、上記した条件（即ち、ボディの色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）を考慮した複数のテンプレートを用意し、これらのテンプレートと実画像とをマッチングさせる方法がある。
【０００７】
上記の方法を採用する場合、パターンマッチングにおいて実画像とマッチングさせるための複数のテンプレート（即ち、基準画像）を作成する必要があるが、該テンプレート用の基準データを現物の認識から求めることが考えられる。
【発明が解決しようとする課題】
【０００８】
上記したように、現物の認識から基準データを求めようとした場合、対象となる基準データとして、各種条件（例えば、ボディの色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に適合した現物データを画像として取り込み、これらを基準画像とする必要が生ずる。つまり、基準データの取り込みのためには、自動組立ライン上における任意のステーションにデータ取込用のボディをその都度停める必要が生ずるのである。従って、全基準画像を作成するためには、相当な時間（例えば、少なくとも１カ月以上）が必要となるのである。
【０００９】
本願発明は、上記の点に鑑みてなされたもので、パターンマッチングにおいて用いられる複数の基準画像を短期間且つ容易に作成できるようにすることを目的とするものである。
【課題を解決するための手段】
【００１０】
本願発明の第１の基本構成では、上記課題を解決するための方法として、物品に形成された穴部を撮像手段により撮像し、該撮像手段により得られた実際の画像とパターンマッチングさせる基準画像を作成する方法において、一つの基準画像を、所定の条件に基づいて加工することにより他の複数の基準画像を作成するに当たって、前記所定の条件が撮像時に用いられる照明の照射方向とされ、前記基準画像は、前記照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部とされるようにしている。
【００１１】
上記のような方法を採用したことにより、一つの基準画像データに対して所定の条件（例えば、撮像時に用いられる照明の照射方向、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づく加工を施すことにより、実際の画像とパターンマッチングさせるための複数の基準画像（例えば、照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部）を短期間で作成することができる。
【００１２】
前記基準画像を、前記穴部の周辺の色に基づいて背景色を決定したものとする場合もある。
【００１３】
前記一つの基準画像を、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段により撮像されたものとする場合もある。
【００１４】
また、前記一つの基準画像を、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段以外の撮像手段により撮像されたものとする場合もある。
【発明の実施の形態】
【００１５】
以下、添付の図面を参照して、本願発明の好適な実施の形態について詳述する。
【００１６】
このパターンマッチングに用いる基準画像作成方法は、次のような装置を用いて行われる。
【００１７】
この基準画像作成装置は、図１に示すように、自動車のボディ１に形成された対象個所（例えば、穴部１２）を自動組立ライン上に設置された作業設備であるロボット２に搭載された撮像手段（例えば、カメラ）３と、該カメラ３により撮像して得られた一つの基準画像Ａが取り込まれるとともにロボットコントローラとしての機能も有している画像処理装置４と、かくして取り込まれた基準画像Ａがフロッピィディスク等の媒体を介してダウンロードされる画像編集用パソコン５とを備えて構成されている。
【００１８】
前記画像処理装置４は、図４に示すように、カメラ３により撮像された撮像データ（即ち、アナログデータ）をデジタルデータに変換するＡ／Ｄ変換手段６、フレームメモリ手段７、メモリ手段８、表示手段９、画像処理を行うとともにロボット２の作動制御をも行うコントロール部（即ち、ＣＰＵ）１０および外部入出力手段１１を備えて構成されており、前記メモリ手段８は、ボディ１の表面を小平面単位で構成され、三次元空間内でのボディ１の位置を前記小平面毎に記述されたモデルの対象個所（例えば、穴部１２）を記憶するモデル記憶手段として作用するものとされている。
【００１９】
前記画像編集用パソコン５は、画像処理装置４からダウンロードされた一つの基準画像Ａを所定の条件（例えば、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づいて加工して複数の基準画像Ｂ，Ｃ，Ｄ（図２参照）を編集するものとされている。
【００２０】
ここで、基準画像Ｂは、基準画像Ａにおけるボディ１（即ち、背景）の色を変化させて得られたものであり、図７（イ）に示す背景色Ｋは、明から暗までを４段階（例えば、明→やや明→やや暗→暗）に分けたものが作成されることとなっている。また、背景色Ｋが黒の場合、穴部１２との境界の判断が困難であるため、図７（ロ）に示すように、明暗シキイ値Ｍを１５に設定し、該シキイ値Ｍに基づいて明暗判断を行うようにしてもよい。
【００２１】
また、基準画像Ｃは、図５に示すように、穴部１２に照射される照明Ｉの角度を変化させた場合に得られる影の部分Ｃ′の画像とされており、図８に示すように、影の部分Ｃ′の形状の異なるものが作成される。即ち、穴部１２が円形の場合、図８（イ）あるいは（ロ）に点線で示すように、影の部分Ｃ′を内方あるいは外方へ移動させて作成されるし、穴部１２が矩形の場合、図８（ハ）、（ニ）に点線で示すように、影の部分Ｃ′を内方あるいは外方へ移動させて作成される。
【００２２】
さらに、基準画像Ｄは、図６に示すように、自動組立ラインにおける治具１３との干渉等に起因して変形した穴部１２の形状とされており、変形部分Ｄ′の位置が異なるものが作成される。即ち、穴部１２が円形の場合、図９（イ）に点線で示すように、変形部分Ｄ′を円周方向に移動させて作成されるし、穴部１２が矩形の場合、図９（ロ）に点線で示すように、対角線の交点を中心として回転させて作成されたり、図９（ハ）に点線で示すように、一辺に平行に移動させて作成される。
【００２３】
なお、本実施の形態においては、撮像手段としてロボット２に搭載されたカメラ３を採用しているが、デジタルカメラ等の外部カメラ１４を撮像手段として採用し、該外部カメラ１４により撮像された基準画像データを画像編集用パソコン５にダウンロードするようにしてもよい。
【００２４】
次に、上記装置による基準画像作成方法について、図１０に示すフローチャートを参照して詳述する。
【００２５】
ステップＳ₁において自動車のボディ１に形成された対象個所である穴部１２をロボット２に搭載されたカメラ３あるいは外部カメラであるデジタルカメラ１４により撮像し、一つの基準画像Ａとして画像処理装置４に取り込む。ついで、ステップＳ₂において前記基準画像Ａのデータをフロッピィディスク等の媒体を介して画像編集用パソコン５にダウンロードする。
【００２６】
そして、ステップＳ₃において、画像編集用パソコン５を用いて、前記基準画像Ａを所定の条件（例えば、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づいて加工して複数の基準画像Ｂ，Ｃ，Ｄ（図２参照）を編集作成する。
【００２７】
しかる後、ステップＳ₄において上記のようにして得られた基準画像Ａ〜Ｄを画像処理装置４へアップロードし（図３参照）、これらの基準画像Ａ〜Ｄをパターンマッチング用のテンプレートとして用いる。つまり、図１１に示すように、カメラ３で撮像した基準穴の画像Ｂが表示された画面Ｐ上で上記テンプレートＡ〜Ｄのいずれかを走査させ、この画面Ｐ上で該テンプレートＡ〜Ｄのいずれかと基準穴の画像Ａ′とがマッチングしたときの該テンプレートＡ〜Ｄの中心座標（Ｘ，Ｙ）を読み取ることにより、上記基準穴ないしボディの位置を検出するのである。
【００２８】
上記した本実施の形態にかかる基準画像作成方法と従来の方法とを比較してみると、表１に示す差異がある。
【００２９】
【表１】

【００３０】
上記したように本実施の形態においては、ロボット２のカメラ３あるいは外部カメラ１４により撮像された一つの基準画像Ａのデータを、画像処理装置４とのデータ授受により画像編集用パソコン５に取り込み、該基準画像Ａのデータに対して所定の条件（例えば、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づく加工を施すことにより、実際の画像Ａ′とパターンマッチングさせるための複数の基準画像Ｂ〜Ｄを短期間で作成することができる。
【００３１】
なお、従来視覚センサー付きのロボットのオフラインティーチングの実用化は、動作部分のみ可能であった。そのため視覚の画像取りの部分はどうしても現物が必要で、完全オフラインティーチングができなかったが、本実施の形態におけるように外部で基準画像データを作成することができるようにすれば、視覚処理部分のオフライン化が可能となる。
【００３２】
また、上記実施の形態においては、２値化画像に基づいて説明したが、例えば、グレー画像またはカラー画像を用いてもよい。
【発明の効果】
【００３３】
本願発明によれば、一つの基準画像データに対して所定の条件（例えば、撮像時に用いられる照明の照射方向、背景の色の種類や汚れの有無、あるいは照明の反射、もしくは自動組立ラインにおける治具との干渉等に起因する基準穴の変形等）に基づく加工を施すようにしているので、実際の画像とパターンマッチングさせるための複数の基準画像（例えば、照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部）を短期間で作成することができるという優れた効果がある。
【図面の簡単な説明】
【図１】本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法を実行するための装置の概略構成図である。
【図２】本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法において基準画像作成状態を示す概略構成図である。
【図３】本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法において基準画像教示状態を示す概略構成図である。
【図４】本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成装置における画像処理装置の構成を示すブロック図である。
【図５】物体の対象個所（即ち、穴部）を撮像する方法の一つを示す説明図である。
【図６】物体の対象個所（即ち、穴部）の形状変化の一例を示す説明図である。
【図７】（イ）は背景色を示す基準画像図、（ロ）は背景色が黒の場合における穴部と背景色との境界を決定するために用いられるシキイ値を示す図である。
【図８】（イ）、（ロ）は穴部が円形の場合における影部の異なる基準画像の作成方法を説明する図、（ハ）、（ニ）は穴部が矩形の場合における基準画像の作成方法を説明する図である。
【図９】（イ）は穴部が円形の場合における変形部分の位置の異なる基準画像の作成方法を説明する図、（ロ）、（ハ）は穴部が矩形の場合における変形部分の位置の異なる基準画像の作成方法を説明する図である。
【図１０】本願発明の実施の形態にかかるパターンマッチングに用いる基準画像作成方法の手順を示すフローチャートである。
【図１１】パターンマッチングの方法を説明するための説明図である。
【符号の説明】
１は物体（ボディ）、２はロボット、３は撮像手段（カメラ）、４は画像処理装置、５は画像編集用パソコン、１２は対象個所（穴部）、１３は治具、１４は外部カメラ（デジタルカメラ）、Ａは一つの基準画像、Ｂ〜Ｄは編集作成された基準画像、Ａ′は実際の画像。[0001]
BACKGROUND OF THE INVENTION
[0002]
The present invention relates to a reference image creation method used for pattern matching.
[Prior art]
[0003]
For example, in an automatic assembly line of an automobile using a robot, a work attachment reference point such as a bolt hole provided in a body is imaged by an imaging means such as a camera, and an imaging position on a screen displaying the image is displayed. A method of detecting the position of the reference point or the entire body by reading the coordinates has been adopted.
[0004]
That is, as shown in FIG. 11, after setting a reference image (in other words, template A) composed of a binarized data pattern having the same shape as the reference hole provided in the body, the image is taken by the camera. The template A is scanned on the screen P on which the image B of the reference hole is displayed, and the center coordinates (X, X) of the template A when the template A and the image A ′ of the reference hole are matched on the screen P are displayed. A method of detecting the position of the reference hole or body by reading Y) has been adopted.
[0005]
By the way, when adopting the above method, for example, depending on conditions such as the type of body color, the presence or absence of dirt, reflection of illumination, or deformation of the reference hole due to interference with jigs in the automatic assembly line, etc. In some cases, the reference hole image is not clearly captured. Then, even if the template is scanned and matched with the image of the reference hole, it may not be determined that these match.
[0006]
As a method for dealing with the above-mentioned problems, the above-mentioned conditions (that is, the color of the body, the presence or absence of dirt, the reflection of illumination, or the deformation of the reference hole due to interference with the jig in the automatic assembly line, etc.) There is a method of preparing a plurality of templates considering the above and matching these templates with actual images.
[0007]
When the above method is adopted, it is necessary to create a plurality of templates (that is, reference images) for matching with an actual image in pattern matching. However, it is considered that reference data for the templates is obtained from recognition of the actual product. It is done.
[Problems to be solved by the invention]
[0008]
As described above, when the reference data is obtained from the recognition of the actual product, the target reference data includes various conditions (for example, the type of body color, the presence or absence of dirt, the reflection of illumination, or the automatic assembly line). It is necessary to capture the actual data conforming to the deformation of the reference hole due to the interference with the jig or the like as an image and use these as the reference image. In other words, in order to capture the reference data, it is necessary to stop the data capturing body at any station on the automatic assembly line. Therefore, a considerable time (for example, at least one month or more) is required to create all reference images.
[0009]
The present invention has been made in view of the above points, and an object of the present invention is to allow a plurality of reference images used in pattern matching to be easily created in a short period of time.
[Means for Solving the Problems]
[0010]
In the first basic configuration of the present invention, as a method for solving the above-described problem, a reference image for picking up an image of a hole formed in an article with an image pickup means and pattern matching with an actual image obtained by the image pickup means. In creating a plurality of other reference images by processing one reference image based on a predetermined condition, the predetermined condition is an illumination direction used at the time of imaging, The reference image is a shadow portion formed by moving from the irradiation direction to the inside of the hole portion based on the shape of the hole portion on the irradiation direction side of the illumination .
[0011]
By adopting the method as described above, predetermined conditions (for example, the illumination direction of illumination used at the time of imaging , the presence or absence of stains, the reflection of illumination, or the like for one reference image data, or A plurality of reference images (for example, the illumination direction side of illumination ) for pattern matching with an actual image by performing processing based on, for example, deformation of a reference hole caused by interference with a jig in an automatic assembly line Based on the shape of the hole part, a shadow part formed by moving from the irradiation direction to the inside of the hole part can be created in a short period of time.
[0012]
In some cases, a background color of the reference image is determined based on a color around the hole.
[0013]
In some cases, the one reference image may be captured by an imaging unit provided in a work facility that performs a predetermined work on a target portion of an object.
[0014]
The one reference image may be captured by an imaging unit other than the imaging unit provided in a work facility that performs a predetermined operation on the target portion of the object.
DETAILED DESCRIPTION OF THE INVENTION
[0015]
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0016]
The reference image creation method used for this pattern matching is performed using the following apparatus.
[0017]
As shown in FIG. 1, the reference image creating apparatus is mounted on a robot 2 that is a work facility in which a target portion (for example, a hole 12) formed in a body 1 of an automobile is installed on an automatic assembly line. An image pickup means (for example, camera) 3, an image processing apparatus 4 in which one reference image A obtained by imaging with the camera 3 is captured and also has a function as a robot controller, and the reference thus captured The image editing personal computer 5 is provided with an image A downloaded via a medium such as a floppy disk.
[0018]
As shown in FIG. 4, the image processing apparatus 4 includes an A / D conversion unit 6 that converts image data (that is, analog data) captured by the camera 3 into digital data, a frame memory unit 7, a memory unit 8, The display unit 9 includes a control unit (that is, a CPU) 10 that performs image processing and also controls the operation of the robot 2 and an external input / output unit 11, and the memory unit 8 covers the surface of the body 1. It is configured in units of small planes, and acts as a model storage unit that stores the target location (for example, the hole 12) of the model in which the position of the body 1 in the three-dimensional space is described for each of the small planes. Yes.
[0019]
The image editing personal computer 5 uses a single reference image A downloaded from the image processing device 4 under predetermined conditions (for example, background color type, presence or absence of dirt, illumination reflection, or jig in an automatic assembly line). A plurality of reference images B, C, and D (refer to FIG. 2).
[0020]
Here, the reference image B is obtained by changing the color of the body 1 (that is, the background) in the reference image A, and the background color K shown in FIG. What is divided into stages (for example, light → slightly light → slightly dark → dark) is to be created. Further, when the background color K is black, it is difficult to determine the boundary with the hole 12, so the light / dark threshold value M is set to 15 based on the threshold value M as shown in FIG. The light / dark judgment may be performed.
[0021]
Further, as shown in FIG. 5, the reference image C is an image of a shadow portion C ′ obtained when the angle of the illumination I irradiated to the hole 12 is changed, as shown in FIG. In addition, the shadow portions C ′ having different shapes are created. That is, when the hole 12 is circular, it is created by moving the shadow portion C ′ inward or outward as indicated by the dotted line in FIG. In the case of a rectangle, it is created by moving the shadow portion C ′ inward or outward as indicated by the dotted line in FIGS.
[0022]
Furthermore, as shown in FIG. 6, the reference image D has the shape of the hole 12 deformed due to interference with the jig 13 in the automatic assembly line, and the position of the deformed portion D ′ is different. Is created. That is, when the hole 12 is circular, it is created by moving the deformed portion D ′ in the circumferential direction as shown by a dotted line in FIG. 9A. When the hole 12 is rectangular, FIG. It is created by rotating around the intersection of diagonal lines as shown by a dotted line in (b), or by moving parallel to one side as shown by a dotted line in FIG.
[0023]
In the present embodiment, the camera 3 mounted on the robot 2 is used as the imaging unit. However, an external camera 14 such as a digital camera is used as the imaging unit, and the reference imaged by the external camera 14 is used. The image data may be downloaded to the image editing personal computer 5.
[0024]
Next, a reference image creation method using the above apparatus will be described in detail with reference to a flowchart shown in FIG.
[0025]
In step S ₁ , the hole 12, which is a target portion formed in the body ₁ of the automobile, is captured by the camera 3 mounted on the robot 2 or the digital camera 14, which is an external camera, and the image processing device 4 is used as one reference image A. Into. Then, to download the data of the reference image A in step S ₂ to the image editing computer 5 via the medium such as a floppy disk.
[0026]
Then, in step S _3, using an image editing computer 5, a jig in the reference image A predetermined conditions (e.g., presence or absence of the color type and dirt background or reflection of the illumination, or automated assembly line, And a plurality of reference images B, C, and D (see FIG. 2) are edited and created.
[0027]
Thereafter, (see FIG. 3) the reference image A~D obtained as described above was uploaded to the image processing apparatus 4 in step S _4, using these reference images A~D as a template for pattern matching. That is, as shown in FIG. 11, any one of the templates A to D is scanned on the screen P on which the image B of the reference hole captured by the camera 3 is displayed, and the templates A to D are scanned on the screen P. The position of the reference hole or body is detected by reading the center coordinates (X, Y) of the templates A to D when any of the images matches the reference hole image A ′.
[0028]
When comparing the above-described reference image creation method according to the present embodiment and the conventional method, there are differences shown in Table 1.
[0029]
[Table 1]

[0030]
As described above, in the present embodiment, the data of one reference image A captured by the camera 3 or the external camera 14 of the robot 2 is taken into the image editing personal computer 5 by exchanging data with the image processing device 4. Predetermined conditions for the data of the reference image A (for example, deformation of the reference hole due to the type of background color, presence or absence of dirt, reflection of illumination, interference with jigs in the automatic assembly line, etc.) By applying the processing based on the above, a plurality of reference images B to D for pattern matching with the actual image A ′ can be created in a short period of time.
[0031]
Conventionally, the offline teaching of a robot with a visual sensor could only be put into practical use. For this reason, the actual image acquisition part is inevitably necessary, and complete offline teaching cannot be performed. However, if reference image data can be created externally as in the present embodiment, the visual processing part It is possible to go offline.
[0032]
In the above-described embodiment, the description is based on the binarized image. However, for example, a gray image or a color image may be used.
【The invention's effect】
[0033]
According to the present invention, predetermined conditions (for example, the direction of illumination used at the time of imaging, the type of background color, the presence or absence of dirt, the reflection of illumination, or the recovery in an automatic assembly line) can be applied to one reference image data. Since the processing based on the deformation of the reference hole due to the interference with the tool or the like is performed, a plurality of reference images for pattern matching with the actual image (for example, the hole on the irradiation direction side of the illumination) The shadow portion formed by moving from the irradiation direction to the inside of the hole portion based on the shape of the film can be produced in a short period of time.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an apparatus for executing a reference image creation method used for pattern matching according to an embodiment of the present invention.
FIG. 2 is a schematic configuration diagram showing a reference image creation state in the reference image creation method used for pattern matching according to the embodiment of the present invention;
FIG. 3 is a schematic configuration diagram showing a reference image teaching state in a reference image creating method used for pattern matching according to an embodiment of the present invention;
FIG. 4 is a block diagram showing a configuration of an image processing apparatus in a reference image creation apparatus used for pattern matching according to an embodiment of the present invention.
FIG. 5 is an explanatory diagram showing one method for imaging a target portion (that is, a hole) of an object.
FIG. 6 is an explanatory diagram illustrating an example of a shape change of a target portion (that is, a hole) of an object.
7A is a reference image diagram illustrating a background color, and FIG. 7B is a diagram illustrating a threshold value used to determine a boundary between a hole and a background color when the background color is black.
FIGS. 8A and 8B are diagrams illustrating a method of creating a reference image with different shadows when the hole is circular, and FIGS. 8C and 8D are reference images when the hole is rectangular. It is a figure explaining the production method of.
FIGS. 9A and 9B are diagrams illustrating a method of creating a reference image in which the position of the deformed portion is different when the hole is circular, and FIGS. 9B and 9C are the positions of the deformed portion when the hole is rectangular. It is a figure explaining the production method of the reference image from which these differ.
FIG. 10 is a flowchart showing a procedure of a reference image creation method used for pattern matching according to the embodiment of the present invention.
FIG. 11 is an explanatory diagram for explaining a pattern matching method;
[Explanation of symbols]
1 is an object (body), 2 is a robot, 3 is an imaging means (camera), 4 is an image processing device, 5 is an image editing personal computer, 12 is a target portion (hole), 13 is a jig, and 14 is an external camera. (Digital camera), A is one reference image, B to D are edited and created reference images, and A 'is an actual image.

Claims

物品に形成された穴部を撮像手段により撮像し、該撮像手段により得られた実際の画像とパターンマッチングさせる基準画像を作成する方法であって、一つの基準画像を、所定の条件に基づいて加工することにより他の複数の基準画像を作成するに当たって、前記所定の条件が撮像時に用いられる照明の照射方向とされており、前記基準画像は、前記照明の照射方向側における前記穴部の形状に基づいて照射方向から穴部の内方に移動させて形成された影部とされていることを特徴とするパターンマッチングに用いる基準画像作成方法。A method of imaging a hole formed in an article by an imaging unit and creating a reference image for pattern matching with an actual image obtained by the imaging unit, wherein one reference image is based on a predetermined condition In creating a plurality of other reference images by processing , the predetermined condition is an illumination direction used for imaging, and the reference image is the shape of the hole on the illumination direction side of the illumination A reference image creating method used for pattern matching, characterized in that the shadow portion is formed by moving inward of the hole from the irradiation direction based on the above .

前記穴部は、所定形状の位置決め手段を挿入することにより物体の位置決めを行うためのものとされており、前記基準画像は、前記位置決め手段の先端形状に基づいて穴部の外方に移動させて形成された影部とされていることを特徴とする前記請求項１記載のパターンマッチングに用いる基準画像作成方法。The hole portion is for positioning an object by inserting a positioning means having a predetermined shape, and the reference image is moved outward of the hole portion based on the tip shape of the positioning means. reference image creation method used for pattern matching of claim 1, wherein the there is a shadow portion formed Te.

前記基準画像は、前記穴部の周辺の色に基づいて背景色を決定したものとされていることを特徴とする前記請求項１記載のパターンマッチングに用いる基準画像作成方法。The reference image, the reference image generating method used for pattern matching of claim 1, wherein that it is assumed that to determine the background color based on the color of the periphery of the hole.

前記一つの基準画像は、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段により撮像されたものとされていることを特徴とする前記請求項１ないし請求項３のいずれか一項記載のパターンマッチングに用いる基準画像作成方法。The said one reference | standard image shall be imaged by the imaging means provided in the working equipment which performs predetermined work with respect to the object location of the object, The said Claim 1 thru | or 3 characterized by the above-mentioned. A reference image creation method used for pattern matching according to claim 1.

前記一つの基準画像は、物体の対象個所に対して所定の作業を行う作業設備に設けられた撮像手段以外の撮像手段により撮像されたものとされていることを特徴とする前記請求項１ないし請求項３のいずれか一項記載のパターンマッチングに用いる基準画像作成方法。The said one reference | standard image shall be imaged by the imaging means other than the imaging means provided in the working equipment which performs predetermined work with respect to the object target part, The said Claim 1 thru | or characterized by the above-mentioned. A reference image creation method used for pattern matching according to claim 3 .