JPH08271223A - Device for recognizing object position - Google Patents

Abstract

PURPOSE: To accurately recognize a position of an object by extracting the contour line of a detection object from an image which is formed by collating the extracted contour line with that of a stored recognition target for judging whether they are identical, and judging upper/lower positions based on the information on the density of the image when the detection targets overlap. CONSTITUTION: The image information of an image pick-up region 17 is generated by an image reading part 5 from the image pick-up output of a camera 4 for inputting image and is binarized by a feature extraction part 7 to detect the contour lines of parts P1 and P2 placed at a region 17. A model comparison part 11 reads model information stored at a model storage part 9 and compares it with the contour line information to obtain the type and layout information of the parts P1 and P2 for constituting the contour line. An overlapping state judgment part 13 judges the overlapping of parts from the layout information of the parts P1 and P2 and transmits the information to an upper/lower judgment part 15 when the parts overlap. The judgment part 13 judges the upper/lower relationship from the combination of overlapped parts, position information, and image information from the image reading part 5 and transmits the information to a robot controller 3, thus picking parts.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は，物体の位置を認識
するための装置に関し，詳しくは，機械組立用ロボット
が組立対象となる部品を検知したり，搬送用ロボットが
移動経路を認識したりするときに用いられる装置であっ
て，複数の検出対象物が重なっている場合であっても，
認識対象物体の位置を速やかに，且つ，正確に認識する
ことが可能な物体の位置認識装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for recognizing the position of an object, and more specifically, a machine assembly robot detects a component to be assembled, and a transfer robot recognizes a movement path. Even when a plurality of detection objects are overlapped with each other,
The present invention relates to an object position recognizing device capable of quickly and accurately recognizing the position of a recognition target object.

【０００２】[0002]

【従来の技術】昨今，工場やオフィス内では，作業の省
力化，安全性向上のために，機械を組み立てる組立ロボ
ット，製品や材料を仕分ける仕分けロボット，及び，物
品を搬送するための搬送用ロボット等の様々なオートメ
ーション技術が用いられている。上記組立ロボット，仕
分けロボットには，処理の対象となる組立部品や製品・
材料等の位置を的確に検出する機能が必要とされ，ま
た，搬送用ロボットには，ロボットの移動に伴って搬送
経路の周辺にある柱や梁，通路の形状を認識して搬送経
路が正確であるか否かをチェックする機能等が必要とさ
れる。このような機能を実現するための技術として，例
えば，小松技報 1988 Vol.34No.121 pp42-49 に提案さ
れた装置がある。この装置は，機械を組み立てる時に用
いられる組立ロボットに部品の位置を認識させるための
部品検出装置である。その従来技術の内容について，図
１１乃至図１３を参照して説明する。図１１は，従来の
部品検出装置（以下，単に「装置」という。）５１を含
むシステムの概略構成を示す模式図である。装置５１
は，画像入力用カメラ５３と画像処理部５５とを備え
る。画像入力用カメラ５３が，部品Ｐ_11, Ｐ₁₂，Ｐ₁₃を
撮像すると，その撮像出力に基づいて，画像処理部５５
が後述する所定の処理を施すことにより，部品の位置情
報を生成する。画像処理部５５が生成した部品位置情報
は，ロボットコントローラ５７へ送出され，このロボッ
トコントローラ５７の制御により，ロボット（図示を省
略）が部品Ｐ₁₁〜Ｐ₁₃の中から処理対象となる部品を選
び出して掴み取る。2. Description of the Related Art Recently, in factories and offices, in order to save labor and improve safety, an assembly robot for assembling machines, a sorting robot for sorting products and materials, and a transfer robot for transferring articles. Various automation technologies are used. The above-mentioned assembly robots and sorting robots include the assembly parts and products
A function to accurately detect the position of materials etc. is required, and the transfer robot recognizes the shapes of the pillars, beams, and paths around the transfer path as the robot moves, and the transfer path is accurate. It is necessary to have a function to check whether or not As a technique for realizing such a function, for example, there is a device proposed in Komatsu Technical Report 1988 Vol.34 No.121 pp42-49. This device is a component detection device that allows an assembly robot used when assembling a machine to recognize the position of a component. The contents of the related art will be described with reference to FIGS. 11 to 13. FIG. 11 is a schematic diagram showing a schematic configuration of a system including a conventional component detection device (hereinafter, simply referred to as “device”) 51. Device 51
Includes an image input camera 53 and an image processing unit 55. When the image input camera 53 images the parts P _11, P ₁₂ , and P ₁₃ , the image processing unit 55 is based on the image output.
Performs the predetermined processing described later to generate the position information of the component. The component position information generated by the image processing unit 55 is sent to the robot controller 57, and the robot controller 57 controls the robot (not shown) to select a component to be processed from the components P _{11 to} P _13. And grab it.

【０００３】上記画像処理部５５の処理について更に詳
しく述べる。図１２（ａ）は，装置５１が認識対象とす
る丸棒形状のモデル部品Ｐ_m の外観図である。また，図
１２（ｂ）は，図１２（ａ）の線Ａ−Ａ′におけるモデ
ル部品Ｐ_m の明度分布を示す特性図である。図示したよ
うに，特性図には丸棒形状の部品の曲面に対応した曲線
が描かれている。画像処理部５５は，認識対象とする部
品Ｐ₁₁と部品Ｐ₁₂と同一形状のモデル部品Ｐ_m の明度分
布特性を予め記憶しておく。装置５１の部品検出動作が
開始され，画像入力用カメラ５３により撮像動作が行わ
れると，画像処理部５５は，画像入力用カメラ５３の撮
像出力に基づいて，図１３（ａ）に示す画像情報を生成
する。そして，画像処理部５５は，所定の間隔で明度計
測線を設定し，各計測線上で画像の明度を計測する。例
えば，図１３（ａ）における計測線Ｂ₁ −Ｂ₁ ′に対応
する明度分布の特性図を図１３（ｂ）に示す。The processing of the image processing section 55 will be described in more detail. FIG. 12A is an external view of a round bar-shaped model component P _m that is recognized by the device 51. 12B is a characteristic diagram showing the lightness distribution of the model component P _{m along} the line AA ′ in FIG. As shown in the figure, a curve corresponding to the curved surface of the round bar-shaped part is drawn in the characteristic diagram. The image processing unit 55 stores in advance the lightness distribution characteristics of the component P ₁₁ and the model component P _m having the same shape as the component P ₁₂ to be recognized. When the component detection operation of the device 51 is started and the image capturing camera 53 performs the image capturing operation, the image processing unit 55, based on the image capturing output of the image input camera 53, the image information shown in FIG. To generate. Then, the image processing unit 55 sets lightness measurement lines at predetermined intervals and measures the lightness of the image on each measurement line. For example, a characteristic diagram of the lightness distribution corresponding to the measurement line B ₁ -B ₁ ′ in FIG. 13A is shown in FIG. 13B.

【０００４】続いて，画像処理部５５は，計測した明度
分布特性において，予め記憶しているモデル部品Ｐ_m の
明度分布特性と近似する部分を検出する。図１３（ｂ）
に示した例では，計測線Ｂ₁ −Ｂ₁ ′における区間Ｃ₁₁
と区間Ｃ₁₂とがモデル部品Ｐ _m の明度分布特性と近似し
た特性を示しているので，画像処理部５５は両区間内に
モデル部品Ｐ_m と同一の部品が存在する可能性があると
判断する。尚，特性図において区間Ｃ₁₄にも丸棒形状の
部品が存在することが示されているが，モデル部品Ｐ_m
の特性とは異なっているので，画像処理部５５は，区間
Ｃ ₁₄の部品は認識対象部品ではないと判断する。次に，
画像処理部５５は，各計測線上で検出されたモデル部品
Ｐ_m と近似する部分が連続する長さを調べ，所定の幾何
学的な補正処理により部品の軸方向の長さを求める。例
えば，区間Ｃ₁₁の特性が連続する長さ，即ち部品Ｐ₁₁の
軸方向の長さがモデル部品Ｐ_m と近似するので，画像処
理部５５は，部品Ｐ₁₁がモデル部品Ｐ_m と同一であると
判断する。一方，区間Ｃ₁₂の特性は，計測線Ｂ₂ −
Ｂ₂ ′上（対応する特性図は省略）では見つからないの
で，その長さを求めることができず，画像処理部５５
は，部品Ｐ₁₂がモデル部品Ｐ_m ではないと判断する。画
像処理部５５は，検出した部品Ｐ₁₁の位置情報のみをロ
ボットコントローラ１７へ送信する。ロボットコントロ
ーラ５７は送られてきた位置情報に基づいてロボットを
制御し，部品Ｐ₁₁を掴み取る動作を行わせる。部品Ｐ₁₁
を掴み取った後には部品Ｐ₁₂，Ｐ₁₃についての検出が可
能となる。Next, the image processing unit 55 displays the measured brightness.
In the distribution characteristic, the model component P stored in advance is stored._mof
A part that is close to the brightness distribution characteristic is detected. FIG. 13 (b)
In the example shown in, the measurement line B₁-B₁Section C in ′₁₁
And section C₁₂Is a model part P _mAnd the lightness distribution characteristic of
Since the image processing unit 55 has the characteristics shown in FIG.
Model part P_mThere is a possibility that the same parts as
to decide. In addition, section C in the characteristic diagram₁₄Also in the shape of a round bar
Although it is shown that a part exists, the model part P_m
Since the characteristics of the image processing unit 55 are different,
C ₁₄It is determined that the part of No. is not the recognition target part. next,
The image processing unit 55 is a model part detected on each measurement line.
P_mCheck the length of the continuous part of
The axial length of the component is obtained by geometrical correction processing. An example
For example, section C₁₁Of continuous characteristics, that is, part P₁₁of
Axial length is model part P_mImage processing
The processing unit 55 is a part P.₁₁Is a model part P_mIs the same as
to decide. On the other hand, section C₁₂Is the measurement line B₂−
B₂'Not found above (corresponding characteristic diagram omitted)
Therefore, the length cannot be obtained, and the image processing unit 55
Is the part P₁₂Is a model part P_mDetermine not. Picture
The image processing unit 55 detects the detected component P₁₁Location information only
It is transmitted to the bot controller 17. Robot control
The robot 57 based on the position information sent to the robot
Control and parts P₁₁The action to grab is performed. Part P₁₁
After grasping the part P₁₂, P₁₃Can be detected
It works.

【０００５】[0005]

【発明が解決しようとする課題】上述したように従来の
部品検出装置は，複数の部品が重なっている時には，最
上方の部品のみしか認識できず，下方の部品については
認識できない。そのため，対象とすべき全ての部品をロ
ボットに掴み取らせるためには，最上方の部品をロボッ
トで掴み取らせてから，再度，撮像動作を行った後に画
像処理を行って，最上方にある部品の位置を認識しなお
すという手順を繰り返さなければならず，従って，部品
の数に応じて撮像及び画像処理の回数が増え，それと共
に，ロボットの動作が中断する回数が増え，待機時間も
長くなってしまうという欠点があった。また，上記従来
の部品検出装置は，明度分布により部品の形状を認識す
るので，部品表面における模様や汚れ，鏡面反射等によ
り明度分布に偏りがあるとモデル部品との照合処理が行
い難くなり，部品を誤認識することがあった。本発明
は，かかる実情に鑑み考え出されたものであり，その目
的は，複数の検出対象物が重なっている場合であって
も，個々の認識対象物体の位置を速やかに，且つ，正確
に認識することが可能な物体の位置認識装置を提供する
ことにある。As described above, the conventional component detecting device can recognize only the uppermost component and not the lower component when a plurality of components overlap each other. Therefore, in order for the robot to grab all the target parts, the robot grabs the uppermost part, then performs the imaging operation again and then performs the image processing, and the uppermost part is placed. It is necessary to repeat the procedure of re-recognizing the positions of the parts. Therefore, the number of times of imaging and image processing is increased according to the number of parts, and at the same time, the number of times the robot operation is interrupted is increased and the waiting time is long. It had the drawback of becoming Further, since the above-described conventional component detection device recognizes the shape of the component based on the lightness distribution, if the lightness distribution is biased due to patterns, stains, specular reflection, etc. on the surface of the component, it becomes difficult to perform collation processing with the model component. Sometimes the parts were misrecognized. The present invention has been conceived in view of such circumstances, and an object thereof is to quickly and accurately determine the position of each recognition target object even when a plurality of detection targets overlap. It is to provide a position recognition device for an object that can be recognized.

【０００６】[0006]

【課題を解決するための手段】上記目的を達成するため
に，第１の発明は，検出対象物が配置された所定の領域
を撮像する撮像部と，上記撮像部の出力に基づいて上記
所定の領域に含まれる画像情報を生成する画像情報生成
部と，上記画像情報生成部により生成された画像情報に
含まれる上記検出対象物の輪郭線の情報を抽出する輪郭
線抽出部と，特定の認識対象物体の輪郭線の情報を予め
記憶するモデル情報記憶部と，上記モデル情報記憶部か
ら読み出した特定の認識対象物体の輪郭線の情報と上記
輪郭線抽出部により抽出された上記検出対象物の輪郭線
の情報とを照合し，該照合結果に基づいて上記検出対象
物と上記特定の認識対象物体との同一性を判定する輪郭
線照合部と，上記輪郭線照合部からの出力に基づいて上
記所定の領域内で複数の検出対象物が重なっているか否
かを判断する重なり状態判断部と，上記重なり状態判断
部により複数の検出対象物が重なっていると判断された
場合に，上記画像情報生成部が生成した画像情報におけ
る画像の濃度分布に基づいて，上記複数の検出対象物の
上記撮像部の光軸方向の位置関係を判定する上下位置判
定部とを具備してなることを特徴とする物体の位置認識
装置である。In order to achieve the above object, a first aspect of the present invention is directed to an image pickup section for picking up an image of a predetermined area in which a detection object is arranged, and the above-mentioned predetermined section based on the output of the image pickup section. An image information generation unit that generates image information included in the area, a contour line extraction unit that extracts information about the contour line of the detection target included in the image information generated by the image information generation unit, and a specific A model information storage unit that stores in advance information about the contour line of the recognition target object, information about the contour line of the specific recognition target object read from the model information storage unit, and the detection target object extracted by the contour line extraction unit. Based on the output from the contour line collating unit, which collates with the information of the contour line and determines the identity between the detection target object and the specific recognition target object based on the collation result. Within the above specified area The overlapping state determination unit that determines whether or not a plurality of detection targets overlap, and the image information generation unit generates when the overlapping state determination unit determines that a plurality of detection targets overlap. Position recognition of an object, comprising: a vertical position determination unit that determines the positional relationship of the plurality of detection objects in the optical axis direction based on the image density distribution in the image information. It is a device.

【０００７】また第２の発明は，検出対象物が配置され
た所定の領域を撮像する撮像部と，上記撮像部の出力に
基づいて上記所定の領域に含まれる画像情報を生成する
画像情報生成部と，上記画像情報生成部により生成され
た画像情報に含まれる上記検出対象物の輪郭線の情報を
抽出する輪郭線抽出部と，特定の認識対象物体の輪郭線
の情報を予め記憶するモデル情報記憶部と，上記モデル
情報記憶部から読み出した特定の認識対象物体の輪郭線
の情報と上記輪郭線抽出部により抽出された上記検出対
象物の輪郭線の情報とを照合し，該照合結果に基づいて
上記検出対象物と上記特定の認識対象物体との同一性を
判定する輪郭線照合部と，上記輪郭線照合部からの出力
に基づいて上記所定の領域内で複数の検出対象物が重な
っているか否かを判断する重なり状態判断部と，上記所
定の領域に対して予め定められた規則に従ったドットパ
ターン光を照射する照射部と，上記所定の領域に検出対
象物が配置されていない状態で上記照射部からドットパ
ターン光を照射した場合の各ドットに対応する輝点の画
像を予め記憶する基準ドット画像記憶部と，上記所定の
領域に検出対象物が配置された状態での輝点の画像と上
記基準ドット画像記憶部に記憶された輝点の画像とに基
づいて，上記各ドットに対応する輝点の３次元座標を算
出する輝点位置算出手段と，上記重なり状態判断部によ
り複数の検出対象物が重なっていると判断された場合
に，上記輝点位置算出部により算出された輝点の３次元
座標の差異に基づいて，上記複数の検出対象物の位置関
係を判定する上下位置判定部とを具備してなることを特
徴とする物体の位置認識装置である。A second aspect of the present invention is an image pickup section for picking up an image of a predetermined area in which a detection object is arranged, and image information generation for generating image information included in the predetermined area based on the output of the image pickup section. Unit, a contour line extraction unit that extracts information about the contour line of the detection target included in the image information generated by the image information generation unit, and a model that stores information about the contour line of a specific recognition target object in advance. The information storage unit and the contour line information of the specific recognition target object read from the model information storage unit are collated with the contour line information of the detection target object extracted by the contour line extraction unit, and the collation result is obtained. A contour line matching unit that determines the identity of the detection target object and the specific recognition target object based on the above, and a plurality of detection target objects within the predetermined region based on the output from the contour line matching unit. Whether or not they overlap An overlapping state determination unit that cuts off, an irradiation unit that irradiates the predetermined region with dot pattern light according to a predetermined rule, and the irradiation in a state where the detection target is not arranged in the predetermined region. A reference dot image storage unit that stores in advance an image of a bright spot corresponding to each dot when a dot pattern light is radiated from a portion, and an image of the bright spot in a state in which the detection target is arranged in the predetermined area. Bright spot position calculation means for calculating the three-dimensional coordinates of the bright spot corresponding to each dot based on the image of the bright spot stored in the reference dot image storage portion, and a plurality of detections by the overlapping state determination portion When it is determined that the objects overlap, the vertical position determination that determines the positional relationship of the plurality of detection objects based on the difference in the three-dimensional coordinates of the bright spots calculated by the bright spot position calculation unit With department Be Te is the position recognition device of the object, wherein.

【０００８】更に第３の発明は，検出対象物が配置され
た所定の領域を撮像する撮像部と，上記撮像部の出力に
基づいて上記所定の領域に含まれる画像情報を生成する
画像情報生成部と，上記画像情報生成部により生成され
た画像情報に含まれる上記検出対象物の輪郭線の情報を
抽出する輪郭線抽出部と，特定の認識対象物体の輪郭線
の情報を予め記憶するモデル情報記憶部と，上記モデル
情報記憶部から読み出した特定の認識対象物体の輪郭線
の情報と上記輪郭線抽出部により抽出された上記検出対
象物の輪郭線の情報とを照合し，該照合結果に基づいて
上記検出対象物と上記特定の認識対象物体との同一性を
判定する輪郭線照合部と，上記輪郭線照合部からの出力
に基づいて上記所定の領域内で複数の検出対象物が重な
っているか否かを判断する重なり状態判断部と，上記所
定の領域に対して予め定められた規則に従ったドットパ
ターン光を照射する照射部と，上記所定の領域に検出対
象物が配置されていない状態で上記照射部からドットパ
ターン光を照射した場合の各ドットに対応する輝点の画
像を予め記憶する基準ドット画像記憶部と，上記所定の
領域に検出対象物が配置された状態での輝点の画像と上
記基準ドット画像記憶部に記憶された輝点の画像とに基
づいて，上記各ドットに対応する輝点の３次元座標を算
出する輝点位置算出手段と，上記重なり状態判断部によ
り複数の検出対象物が重なっていると判断された場合
に，上記画像情報生成部が生成した画像情報における画
像の濃度分布と，上記輝点位置算出部により算出された
輝点の３次元座標の差異とに基づいて，上記複数の検出
対象物の上記撮像部の光軸方向の位置関係を判定する上
下位置判定部とを具備してなることを特徴とする物体の
位置装置である。Further, a third aspect of the present invention is an image pickup section for picking up an image of a predetermined area in which a detection object is arranged, and image information generation for generating image information included in the predetermined area based on the output of the image pickup section. Unit, a contour line extraction unit that extracts information about the contour line of the detection target included in the image information generated by the image information generation unit, and a model that stores information about the contour line of a specific recognition target object in advance. The information storage unit and the contour line information of the specific recognition target object read from the model information storage unit are collated with the contour line information of the detection target object extracted by the contour line extraction unit, and the collation result is obtained. A contour line matching unit that determines the identity of the detection target object and the specific recognition target object based on the above, and a plurality of detection target objects within the predetermined region based on the output from the contour line matching unit. Whether or not they overlap An overlapping state determination unit that cuts off, an irradiation unit that irradiates the predetermined region with dot pattern light according to a predetermined rule, and the irradiation in a state where the detection target is not arranged in the predetermined region. A reference dot image storage unit that stores in advance an image of a bright spot corresponding to each dot when a dot pattern light is radiated from a portion, and an image of the bright spot in a state in which the detection target is arranged in the predetermined area. Bright spot position calculation means for calculating the three-dimensional coordinates of the bright spot corresponding to each dot based on the image of the bright spot stored in the reference dot image storage portion, and a plurality of detections by the overlapping state determination portion When it is determined that the objects overlap each other, the density distribution of the image in the image information generated by the image information generation unit and the difference in the three-dimensional coordinates of the bright points calculated by the bright point position calculation unit are detected. On the basis of A position device of the object, characterized by comprising; and a determining vertical position determining unit to positional relationship in the optical axis direction of the imaging unit of the plurality of detection objects.

【０００９】上記第１の発明によれば，撮像部は，検出
対象物が配置された所定の領域を撮像する。画像情報生
成部は，上記撮像部の出力に基づいて上記所定の領域に
含まれる画像情報を生成する。輪郭線抽出部は，上記画
像情報生成部により生成された画像情報に含まれる検出
対象物の輪郭線の情報を抽出する。これに先立ってモデ
ル情報記憶部には，特定の認識対象物体の輪郭線の情報
を予め記憶しておく。輪郭線照合部は，上記モデル情報
記憶部から読み出した特定の認識対象物体の輪郭線の情
報と前記輪郭線抽出部により抽出された検出対象物の輪
郭線の情報とを照合し，その照合結果に基づいて検出対
象物と特定の認識対象物体との同一性を判定する。こう
して上記輪郭線照合部からの出力に基づいて，重なり状
態判断部が所定の領域内に複数の検出対象物が重なって
いるか否かを判断することができる。上記重なり状態判
断部により複数の検出対象物が重なっていると判断され
た場合に，上下位置判定部は，前記画像情報生成部が生
成した画像情報における重なり部における画像の濃度分
布に基づいて複数の検出対象物の撮像部の光軸方向の位
置関係，即ち高さ関係を判定する。こうして重なった状
態の物体を１回の撮像画像から３次元的に認識すること
ができる。According to the first aspect of the invention, the image pickup section picks up an image of a predetermined area in which the object to be detected is arranged. The image information generation unit generates image information included in the predetermined area based on the output of the imaging unit. The contour extracting unit extracts information about the contour of the detection target included in the image information generated by the image information generating unit. Prior to this, the model information storage unit stores in advance information about the contour line of a specific recognition target object. The contour line collation unit collates the contour line information of the specific recognition target object read from the model information storage unit with the contour line information of the detection target object extracted by the contour line extraction unit, and the collation result Based on the above, the identity of the detection target object and the specific recognition target object is determined. Thus, based on the output from the contour line collating unit, the overlapping state judging unit can judge whether or not a plurality of detection objects overlap in a predetermined area. When the overlapping state determination unit determines that a plurality of detection objects are overlapping, the vertical position determination unit determines a plurality of positions based on the density distribution of the image in the overlapping portion in the image information generated by the image information generation unit. The positional relationship in the optical axis direction, that is, the height relationship of the imaging unit of the detection target is determined. Thus, the objects in the overlapping state can be recognized three-dimensionally from one captured image.

【００１０】第２の発明によれば，撮像部は，検出対象
物が配置された所定の領域を撮像する。上記撮像部の出
力に基づいて画像情報生成部は，上記所定の領域に含ま
れる画像情報を生成する。輪郭線抽出部は，上記画像情
報生成部により生成された画像情報に含まれる検出対象
物の輪郭線の情報を抽出する。これに先立ってモデル情
報記憶部には，特定の認識対象物体の輪郭線の情報を予
め記憶しておく。輪郭線照合部は，モデル情報記憶部か
ら読み出した特定の認識対象物体の輪郭線の情報と前記
輪郭線抽出部により抽出された検出対象物の輪郭線の情
報とを照合し，その照合結果に基づいて検出対象物と特
定の認識対象物体との同一性を判定する。同一性が成立
した場合，上記輪郭線照合部からの出力に基づいて，重
なり状態判断部は上記所定の領域内で複数の検出対象物
が重なっているか否かを判断することができる。一方，
照射部は，上記所定の領域に対して予め定められた規則
に従ったドットパターン光を照射する。上記所定の領域
に検出対象物が配置されていない状態で上記照射部から
ドットパターン光を照射した場合の各ドットに対応する
輝点の画像を基準ドット画像記憶部に予め記憶してお
く。輝点位置算出手段は，上記所定の領域に検出対象物
が配置された状態での輝点の画像と，基準ドット画像記
憶部に記憶された輝点の画像とに基づいて，各ドットに
対応する輝点の３次元座標を算出する。前記重なり状態
判断部により，複数の検出対象物が重なっていると判断
された場合には，上下位置判定部は，輝点位置算出部に
より算出された３次元座標の差異に基づいて，複数の検
出対象物の重なり部分の撮像部の光軸方向の位置関係を
判定する。これによっても１回の撮像処理で複数物体の
３次元的位置関係が認識される。According to the second aspect of the invention, the image pickup section picks up an image of a predetermined area in which the detection object is arranged. The image information generation unit generates image information included in the predetermined area based on the output of the imaging unit. The contour extracting unit extracts information about the contour of the detection target included in the image information generated by the image information generating unit. Prior to this, the model information storage unit stores in advance information about the contour line of a specific recognition target object. The contour line collating unit collates the information on the contour line of the specific recognition target object read from the model information storage unit with the information on the contour line of the detection target object extracted by the contour line extracting unit, and based on the collation result, Based on this, the identity of the detection target object and the specific recognition target object is determined. When the identity is established, the overlapping state determination unit can determine whether or not a plurality of detection objects overlap within the predetermined region based on the output from the contour line matching unit. on the other hand,
The irradiation unit irradiates the predetermined area with dot pattern light according to a predetermined rule. An image of a bright spot corresponding to each dot when the dot pattern light is irradiated from the irradiation unit in a state where the detection target is not arranged in the predetermined region is stored in the reference dot image storage unit in advance. The bright spot position calculating means corresponds to each dot based on the image of the bright spot in the state where the detection object is arranged in the predetermined area and the image of the bright spot stored in the reference dot image storage unit. Calculate the three-dimensional coordinates of the bright spot. When the overlapping state determination unit determines that a plurality of detection objects are overlapping, the vertical position determination unit determines a plurality of the plurality of detection targets based on the difference in the three-dimensional coordinates calculated by the bright spot position calculation unit. The positional relationship in the optical axis direction of the imaging unit of the overlapping portion of the detection target is determined. Also by this, the three-dimensional positional relationship of a plurality of objects is recognized by one imaging process.

【００１１】第３の発明によれば，撮像部は，検出対象
物が配置された所定の領域を撮像する。上記撮像部の出
力に基づいて画像情報生成部は，上記所定の領域に含ま
れる画像情報を生成する。輪郭線抽出部は，上記画像情
報生成部により生成された画像情報に含まれる検出対象
物の輪郭線の情報を抽出する。これに先立ってモデル情
報記憶部には，特定の認識対象物体の輪郭線の情報を予
め記憶しておく。輪郭線照合部は，上記モデル情報記憶
部から読み出した特定の認識対象物体の輪郭線の情報と
前記輪郭線抽出部により抽出された検出対象物の輪郭線
の情報とを照合し，その照合結果に基づいて検出対象物
と特定の認識対象物体との同一性を判定する。同一性が
成立した場合，上記輪郭線照合部からの出力に基づい
て，重なり状態判断部は，所定の領域内で複数の検出対
象物が重なっている否かを判断することができる。一
方，照射部は，所定の領域に対して予め定められた規則
に従ったドットパターン光を照射する。上記所定の領域
に検出対象物が配置されていない状態で上記照射部から
ドットパターン光を照射した場合の各ドットに対応する
輝点の画像を基準ドット画像記憶部に予め記憶してお
く。次いで上記所定の領域に検出対象物が配置された状
態での輝点の画像と，基準ドット画像記憶部に記憶され
た輝点の画像とに基づいて，輝点位置算出手段が，各ド
ットに対応する輝点の３次元座標を算出する。前記重な
り状態判断部により，複数の検出対象物か重なっている
と判断された場合には，上下位置判定部は，前記画像情
報生成部が生成した画像情報における画像の濃度分布
と，輝点位置算出部により算出された輝点の３次元座標
の差異とに基づいて重なり部における複数の検出対象物
の撮像部の光軸方向の位置関係を判定する。重なり部に
おける画像の濃度分布と，輝点の３次元座標の両方が重
なり部の３次元認識に用いられるので，認識精度が著し
く向上する。According to the third aspect of the invention, the image pickup section picks up an image of a predetermined area in which the object to be detected is arranged. The image information generation unit generates image information included in the predetermined area based on the output of the imaging unit. The contour extracting unit extracts information about the contour of the detection target included in the image information generated by the image information generating unit. Prior to this, the model information storage unit stores in advance information about the contour line of a specific recognition target object. The contour line collation unit collates the contour line information of the specific recognition target object read from the model information storage unit with the contour line information of the detection target object extracted by the contour line extraction unit, and the collation result Based on the above, the identity of the detection target object and the specific recognition target object is determined. When the identity is established, the overlapping state determination unit can determine whether or not a plurality of detection objects overlap within a predetermined area based on the output from the contour line matching unit. On the other hand, the irradiation unit irradiates a predetermined area with dot pattern light according to a predetermined rule. An image of a bright spot corresponding to each dot when the dot pattern light is irradiated from the irradiation unit in a state where the detection target is not arranged in the predetermined region is stored in the reference dot image storage unit in advance. Then, based on the image of the bright spots in the state where the detection object is arranged in the predetermined area and the image of the bright spots stored in the reference dot image storage unit, the bright spot position calculating means determines the dot Calculate the three-dimensional coordinates of the corresponding bright spot. When the overlapping state determination unit determines that a plurality of detection objects are overlapping, the vertical position determination unit determines the image density distribution in the image information generated by the image information generation unit and the bright spot position. Based on the difference in the three-dimensional coordinates of the bright points calculated by the calculation unit, the positional relationship in the optical axis direction of the imaging units of the plurality of detection objects in the overlapping unit is determined. Since both the image density distribution in the overlapping portion and the three-dimensional coordinates of the bright spots are used for the three-dimensional recognition of the overlapping portion, the recognition accuracy is significantly improved.

【００１２】[0012]

【発明の実施の形態】以下，添付図面を参照して本発明
を具体化した実施の形態について説明し，本発明の理解
に供する。尚，以下の第１乃至第３の各実施形態は，機
械組立用ロボットが複数の部品の中から組立に用いる部
品を選び出して掴み取るときに，部品の位置を検出する
ために用いられる部品検出装置の構成を示すが，これら
は本発明を具体化した一例であって，本発明の技術的範
囲を限定する性格のものではない。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments embodying the present invention will be described below with reference to the accompanying drawings to provide an understanding of the present invention. The following first to third embodiments detect a part used for detecting the position of a part when the machine assembly robot selects and grabs a part to be used for assembly from a plurality of parts. The configuration of the apparatus will be shown below, but these are examples of embodying the present invention and are not of the nature to limit the technical scope of the present invention.

【００１３】［第１実施形態］はじめに，図１乃至図５
を参照して，第１実施形態について説明する。図１は，
第１実施形態に係る部品検出装置（以下，単に「装置」
と言う。）１の構成を示すブロック図である。装置１
は，機械組立用ロボット（図示を省略）のコントローラ
３（破線で図示）に接続され，ロボット（図示を省略）
が，配置プレート１６上に配置された複数の部品の中か
ら組立に用いられる部品を選び出して掴み取る場合に，
対象となる部品の位置を検出し，その検出情報をロボッ
トコントローラ３へ出力する。装置１は，画像入力用カ
メラ４と，画像取込み部５と，特徴抽出部７と，モデル
記憶部９と，モデル照合部１１と，重なり状態判断部１
３と，上下判定部１５とを含む。画像入力用カメラ４
は，配置プレート１６の上方に配設される。画像入力用
カメラ４は，部品検出時に撮像動作を行う。以下の説明
では，画像入力用カメラ４が撮像する領域を撮像領域１
７という。図示において，破線で示した撮像領域１７内
に検出部品Ｐ₁ ，Ｐ₂ が配置されている。画像入力用カ
メラ４の撮像出力は，画像取込み部５へ送られる。画像
取込み部５は，撮像出力に基づいて撮像領域１７の画像
情報を生成する。画像取込み部５が生成する画像情報
は，撮像領域１７内の光学的な濃度分布を表す濃淡画像
である。[First Embodiment] First, FIG. 1 to FIG.
The first embodiment will be described with reference to FIG. Figure 1
The component detection device according to the first embodiment (hereinafter, simply “device”)
Say 2) is a block diagram showing the configuration of No. 1). Device 1
Is connected to a controller 3 (shown by a broken line) of a machine assembly robot (not shown), and the robot (not shown)
However, when selecting and grasping a component used for assembly from a plurality of components arranged on the arrangement plate 16,
The position of the target component is detected and the detection information is output to the robot controller 3. The device 1 includes an image input camera 4, an image capture unit 5, a feature extraction unit 7, a model storage unit 9, a model matching unit 11, and an overlapping state determination unit 1.
3 and an up / down determination unit 15. Image input camera 4
Are arranged above the arrangement plate 16. The image input camera 4 performs an imaging operation when detecting a component. In the following description, the area imaged by the image input camera 4 is referred to as the imaging area 1
7 In the figure, the detection components P ₁ and P ₂ are arranged in the imaging area 17 indicated by the broken line. The imaging output of the image input camera 4 is sent to the image capturing section 5. The image capturing unit 5 generates image information of the image pickup area 17 based on the image pickup output. The image information generated by the image capturing unit 5 is a grayscale image that represents the optical density distribution in the imaging region 17.

【００１４】特徴抽出部７は，画像取込み部５が生成し
た濃淡画像に対して，所定の閾値を基準にした２値化処
理を施し，濃度が高い部分と濃度が低い部分との境界線
を検出する。この境界線は，撮像領域１７内に部品が配
置されている場合には，その配置されている箇所の輪郭
線となる。即ち，本実施形態では，検出部品Ｐ₁ ，Ｐ ₂
の表面と，撮像領域１７内の部品が配置されていない部
分（以下，「背景部分」という。）１８との光学的な濃
度分布の差異を利用して，部品が配置されている箇所の
輪郭線を求める。尚，特徴抽出部７における輪郭線検出
処理を正確に行うために，検出部品Ｐ₁ ，Ｐ₂ の表面と
背景部分１８の表面との濃度差が大きくなるように配置
プレート１６を白色にして検出部品Ｐ₁ ，Ｐ₂ を黒色に
したり，検出部品の反射を抑制する塗装を施したりする
ことが望ましい。更に，特徴抽出部７は，検出した輪郭
線に含まれる頂点を抽出する。そして，特徴抽出部７
は，抽出した頂点の数，座標，輪郭線上での並び，頂点
角度，及び頂点間の線分の長さを算出する。一方，モデ
ル記憶部９は，認識対象とする部品（以下，「モデル部
品」という。）Ｐ_r ，Ｐ_s ，Ｐ_t ，Ｐ_u の頂点数，座
標，輪郭線上での並び，頂点角度，及び頂点間の線分の
長さをモデル情報として予め記憶しておく。尚，検出部
品Ｐ₁はモデル部品Ｐ_r と，検出部品Ｐ₂ はモデル部品
Ｐ_s とそれぞれ同一であるものとする。The feature extracting unit 7 is generated by the image capturing unit 5.
Binarization processing based on a predetermined threshold for grayscale images
The boundary line between the high density part and the low density part
Is detected. This boundary line has parts placed in the imaging area 17.
If placed, the contour of the place where it is placed
Become a line. That is, in this embodiment, the detection component P₁, P ₂
Surface and the part where the parts in the imaging area 17 are not placed
Minute (hereinafter referred to as "background portion") 18 and optical density
By using the difference in the degree distribution,
Find the contour line. In addition, the contour line detection in the feature extraction unit 7
In order to perform the processing accurately, the detection component P₁, P₂Surface of
Arranged so that the density difference with the surface of the background portion 18 becomes large
Plate 16 is made white and detection part P₁, P₂To black
Or apply a coating that suppresses the reflection of detection parts
Is desirable. Further, the feature extraction unit 7 detects the detected contour.
Extract the vertices contained in the line. Then, the feature extraction unit 7
Is the number of extracted vertices, coordinates, arrangement on the outline, vertices
Calculate the angle and the length of the line segment between the vertices. On the other hand, the model
The memory unit 9 includes components to be recognized (hereinafter, “model unit”).
Goods ". ) P_r, P_s, P_t, P_uNumber of vertices
Marks, arrangement on contour line, vertex angle, and line segment between vertices
The length is stored in advance as model information. The detector
Product P₁Is a model part P_rAnd the detection component P₂Is a model part
P_sAnd the same respectively.

【００１５】モデル照合部１１は，特徴抽出部７から出
力された輪郭線情報を受けるとモデル記憶部９に記憶さ
れているモデル情報を読み出す。モデル照合部１１は，
輪郭線情報とモデル情報とを照合し，輪郭線を構成する
部品の種類とその配置情報を求める。配置情報は，対応
するモデル情報と輪郭線情報との間で座標変換マトリク
スを求めること等により算出される。尚，ここで言う配
置情報とは，配置プレート１６上での２次元的な位置情
報のことである。重なり状態判断部１３は，モデル照合
部１１から出力された部品の配置情報によって部品が重
なっているか否かを判断し，その判断結果に応じて，部
品が重なっているか否かを表す重なり部品情報を上下判
定部１５へ送る。重なり状態判断部１３は，部品が重な
っていると判断した場合には，重なり部品情報の中に，
重なっている部品（以下，「重なり部品」という。）の
組合せと重なっている位置とを対応付けた情報を含ませ
て送る。上下判定部１５は，送られてきた重なり部品情
報が，部品が重なっていることを表す時には，重なり部
品情報に含まれる重なり部品の組合せ及び重なっている
位置についての情報と，画像取込み部５が生成した濃淡
画像とに基づいて，重なり部品の上下関係即ち画像入力
用カメラ４の光軸方向の位置関係を判定する。上下判定
部１５は，判定結果に基づいて，部品が重なっているこ
とを表す情報と，重なり部品の組合せと，その上下関係
を表す情報とを含む上下判定情報をロボットコントロー
ラ３へ送る。また，上下判定部１５は，重なり部品情報
が部品が重なっていないことを表す時には，部品が重な
っていないことを表す情報のみを上下判定情報に含ませ
てロボットコントローラ３へ送る。Upon receiving the contour line information output from the feature extraction unit 7, the model matching unit 11 reads out the model information stored in the model storage unit 9. The model matching unit 11
The contour line information and the model information are collated with each other, and the types of parts constituting the contour line and their arrangement information are obtained. The arrangement information is calculated by, for example, obtaining a coordinate conversion matrix between corresponding model information and contour line information. The placement information referred to here is two-dimensional position information on the placement plate 16. The overlapping state determination unit 13 determines whether or not the components overlap based on the placement information of the components output from the model matching unit 11, and the overlapping component information indicating whether or not the components overlap according to the determination result. Is sent to the up / down determination unit 15. When the overlapping state determination unit 13 determines that the parts are overlapped, the overlapped state information includes
Information including a combination of overlapping parts (hereinafter, referred to as “overlapping parts”) and an overlapping position is included and transmitted. When the received overlapping part information indicates that the parts overlap each other, the upper / lower determination unit 15 determines that the image capturing unit 5 has information about the combination of overlapping parts and the overlapping position included in the overlapping part information. Based on the generated grayscale image, the vertical relationship of the overlapping parts, that is, the positional relationship of the image input camera 4 in the optical axis direction is determined. Based on the determination result, the up / down determination unit 15 sends to the robot controller 3 up / down determination information including information indicating that parts overlap, a combination of overlapping parts, and information indicating a vertical relationship between the parts. Further, when the overlapping part information indicates that the parts do not overlap, the up / down determination unit 15 sends only the information indicating that the parts do not overlap to the up / down determination information to the robot controller 3.

【００１６】ロボットコントローラ３には，モデル照合
部１１から送られてくる部品の配置情報と，上下判定部
１５から送られてくる上下判定情報とが入力される。ロ
ボットコントローラ３は，部品の配置情報と共に，重な
り部品の上下関係を表す情報が得られるので，部品の重
なり状態に応じた手順で部品をピッキングさせるように
ロボットの動作を制御することができる。次に，装置１
の画像処理の詳細について図２乃至図５を参照して説明
する。図２及び図３は，装置１による画像処理の内容を
示す模式図である。装置１の部品検出処理の過程では，
図２（ａ）〜（ｃ），図３（ａ）〜（ｃ）の順で，画像
情報が処理される。例では，配置プレート１６上に検出
部品Ｐ₁ ，Ｐ₂ が図１に示した状態で配置されている場
合の画像が示されている。To the robot controller 3, the placement information of the parts sent from the model matching unit 11 and the up / down determination information sent from the up / down determination unit 15 are input. Since the robot controller 3 can obtain the arrangement information of the parts and the information indicating the vertical relationship of the overlapping parts, the robot controller 3 can control the operation of the robot so as to pick the parts in a procedure according to the overlapping state of the parts. Next, the device 1
Details of the image processing will be described with reference to FIGS. 2 to 5. 2 and 3 are schematic diagrams showing the contents of image processing by the device 1. In the process of the component detection processing of the device 1,
The image information is processed in the order of FIGS. 2A to 2C and FIGS. 3A to 3C. In the example, an image when the detection components P ₁ and P ₂ are arranged on the arrangement plate 16 in the state shown in FIG. 1 is shown.

【００１７】装置１の部品検出処理が開始されると，画
像入力用カメラ４が撮像領域１７を撮像する。画像入力
用カメラ４の撮像出力は，画像取込み部５へ送られ，画
像取込み部５は，送られてきた撮像出力に基づいて図２
（ａ）に示す濃淡画像を生成する。尚，本実施形態で
は，検出対象とされる部品として，表面が黒色又は黒色
に近い明度が低い色のものを用い，それに対して，配置
プレート１６は白色又は白色に近い明度が高い色に着色
している。そのため，濃淡画像は，検出部品Ｐ₁，Ｐ₂
が配置されている部分では，濃い灰色の画像Ｆ₁ ，Ｆ₂
となり，一方，部品が配置されていない背景部分１８に
対応する箇所は白色又は白色に近い淡い灰色の画像Ｆ₃
となる。図示では，濃い灰色の画像を斜線で示し，白色
又は白色に近い淡い灰色の画像を白色で示す。図２
（ｂ）は，画像取込み部が生成した濃淡画像に対して，
特徴抽出部７が２値化処理を施し，その結果として生成
された２値化画像である。２値化画像では，閾値を基準
にして，濃淡画像が黒色又は白色の画像のいずれかに変
換される。図示では，検出部品Ｐ₁ ，Ｐ₂ の画像Ｆ₁ ，
Ｆ₂ が黒色画像（図示にて格子線にて示す）Ｆ₄ に，背
景部分１８の画像Ｆ₃ が白色画像Ｆ₅ に変換されてい
る。When the component detection process of the apparatus 1 is started, the image input camera 4 images the image pickup area 17. The image pickup output of the image input camera 4 is sent to the image pickup section 5, and the image pickup section 5 receives the image pickup output shown in FIG.
The grayscale image shown in (a) is generated. It should be noted that in the present embodiment, as the parts to be detected, those whose surface is black or a color having a low brightness close to black are used, whereas the arrangement plate 16 is colored white or a color having a high brightness close to white. are doing. Therefore, the grayscale image is detected by the detection components P ₁ and P _2.
The dark gray images F ₁ , F ₂
On the other hand, the portion corresponding to the background portion 18 in which no component is arranged is white or a light gray image F ₃ close to white.
Becomes In the figure, a dark gray image is indicated by diagonal lines, and a white or light gray image close to white is indicated by white. Figure 2
(B) is for the grayscale image generated by the image capturing unit,
It is a binarized image generated as a result of the feature extraction unit 7 performing binarization processing. In the binarized image, the grayscale image is converted into either a black or white image based on the threshold value. In the figure, the images F ₁ of the detection components P ₁ and P ₂ ,
F ₂ is converted into a black image (shown by grid lines in the figure) F ₄ , and the image F ₃ of the background portion 18 is converted into a white image F ₅ .

【００１８】続いて，特徴抽出部７は，図２（ｃ）に示
したように２値化画像における黒色画像Ｆ₄ の輪郭線Ｆ
₆ を抽出する。次に，特徴抽出部７は，図３（ａ）に示
したように，輪郭線画像Ｆ₆ に含まれる頂点Ｃ₁ 〜Ｃ₁₂
を抽出する。前述したように，本実施形態では輪郭線の
特徴を表す情報として，頂点の数，座標，輪郭線上での
並び，頂点角度，及び頂点間の線分の長さを算出する。
特徴抽出部７は算出した輪郭線情報をモデル照合部１１
へ送る。図３（ｂ）は，モデル照合部１１にて行われる
部品照合処理の内容を示す図である。モデル照合部１１
は，輪郭線情報に含まれる頂点列の情報の中で，モデル
記憶部９に記憶されているモデル情報に対応する部分を
探し出す。前述したように，モデル情報は，モデル部品
の頂点列の情報である。図３（ｂ）にて，モデル照合部
１１が，頂点Ｃ₁ ，Ｃ₆ ，Ｃ₇ ，Ｃ₁₂はモデル部品Ｐ_r
の頂点情報に対応し，頂点Ｃ₃ ，Ｃ₄ ，Ｃ₉ ，Ｃ₁₀はモ
デル部品Ｐ_s の頂点情報に対応すると判断して，それぞ
れ部品輪郭線Ｆ₈ ，Ｆ₉ を抽出した状態を示している。
この処理により，撮像領域１７内に配置されている検出
部品Ｐ₁ ，Ｐ₂ とモデル記憶部９に記憶されるているＰ
_r ，Ｐ_s との同一性が判定され，更に，モデル部品
Ｐ_r ，Ｐ _s の頂点座標と部品輪郭線Ｆ₈ ，Ｆ₉ の頂点座
標との間の座標変換マトリクスを算出して検出部品の配
置情報を生成する。生成された部品の配置情報は，ロボ
ットコントローラ３へ送られると共に，重なり状態判断
部１３へ送られる。重なり状態判断部１３は，送られて
きた配置情報に基づいて，検出部品が重なっているか否
かを判断する。検出部品が重なっているか否かは，例え
ば，既に抽出されている頂点の位置情報に基づいて，部
品輪郭線Ｆ₈ ，Ｆ₉ の各線分が交差しているか否か等を
判定することにより判断できる。図３（ｂ）では，頂点
Ｃ₂，Ｃ₅ ，Ｃ₈ ，Ｃ₁₁にて囲まれた領域（破線にて示
す）にて検出部品Ｐ₁ ，Ｐ₂が重なっていると判断され
る。この領域のことを以下の説明では重なり領域Ｒとい
う。Subsequently, the feature extraction unit 7 is shown in FIG.
As described above, the black image F in the binarized image_FourContour line F
₆To extract. Next, the feature extraction unit 7 is shown in FIG.
As described above, the contour line image F₆Vertex C included in₁~ C₁₂
To extract. As described above, in this embodiment, the contour line
As the information showing the features, the number of vertices, the coordinates, and the outline
Calculate the alignment, the vertex angle, and the length of the line segment between the vertices.
The feature extraction unit 7 uses the calculated contour line information as the model matching unit 11
Send to. FIG. 3B is performed by the model matching unit 11.
It is a figure which shows the content of a parts collation process. Model matching unit 11
Is the model in the vertex sequence information included in the contour information.
The portion corresponding to the model information stored in the storage unit 9
Find out. As mentioned above, model information is model parts.
Of the vertex sequence of In FIG. 3B, the model matching unit
11 is the vertex C₁, C₆, C₇, C₁₂Is a model part P_r
Corresponding to the vertex information of C₃, C_Four, C₉, C_TenIs
Dell part P_sIt is judged that it corresponds to the vertex information of
Part outline F₈, F₉Shows the extracted state.
By this processing, detection located in the imaging area 17 is detected.
Part P₁, P₂And P stored in the model storage unit 9
_r, P_sAnd the model parts
P_r, P _sCoordinates of parts and contour line F₈, F₉Apex of
The coordinate conversion matrix between the target and
Generates placement information. The generated component placement information is
To the controller 3 and determine the overlapping state
Sent to section 13. The overlapping state determination unit 13 is sent to
Whether the detection parts overlap based on the arrangement information
Judge. Whether or not the detection parts overlap
For example, based on the position information of the already extracted vertices,
Product outline F₈, F₉Check whether each line segment of
It can be judged by judging. In FIG. 3 (b), the vertex
C₂, C_Five, C₈, C₁₁Area surrounded by
Detection part P₁, P₂Are determined to overlap
It This area is called an overlapping area R in the following description.
U

【００１９】図３（ｃ）は，上下判定部１５により行わ
れる上下判定処理の内容を示す模式図である。上下判定
部１５は，検出部品の上下を判定するために以下の処理
を行う。上下判定部１５は，検出部品Ｐ₁ ，Ｐ₂ が重な
っていると判断された重なり領域Ｒに対して，輪郭線Ｆ
₉ の内側の領域であって，重なり領域Ｒの内側から外側
へと輪郭線Ｆ₈ を横切る２つの領域をエッジ検出領域Ｒ
ａ₁ ，Ｒａ₂ とする。更に，上下判定部１５は，輪郭線
Ｆ₈ の内側の領域であって，重なり領域Ｒの内側から外
側へと輪郭線Ｆ₉ を横切る２つの領域をエッジ検出領域
Ｒｂ₁ ，Ｒｂ₂とする。上下判定部１５は，濃淡画像に
対して，エッジ検出領域Ｒａ₁ ，Ｒａ₂ ，Ｒｂ ₁ ，Ｒｂ
₂ のそれぞれの内部における画像の濃度エッジを検出す
る。ここでいう濃度エッジとは濃度勾配が最大になる方
向であり，以下の説明では，濃度エッジのことを単に
「エッジ」という。エッジは，上下判定部１５に備えら
れたエッジ検出機能を用いて求められる。In FIG. 3C, the upper / lower determination unit 15 performs
It is a schematic diagram which shows the content of the up-down determination process performed. Vertical judgment
The unit 15 performs the following processing to determine the top and bottom of the detection component.
I do. The upper / lower determination unit 15 includes a detection component P₁, P₂Is heavy
For the overlapping area R that is determined to be
₉Inside of the overlap area R from inside to outside
To F₈Edge detection area R
a₁, Ra₂And Further, the up / down determination unit 15 determines the contour line
F₈Inside the overlapping area R and outside
Contour F to the side₉Edge detection area
Rb₁, Rb₂And The upper / lower determination unit 15 converts the grayscale image
On the other hand, the edge detection area Ra₁, Ra₂, Rb ₁, Rb
₂The density edge of the image inside each of the
It The density edge here is the one with the maximum density gradient.
Therefore, in the following explanation, we simply refer to the density edge.
It is called "edge". The edge is provided in the up / down determination unit 15.
It is obtained by using the edge detection function.

【００２０】エッジ検出機能について説明する。上下判
定部１５は，濃淡画像に含まれる画像に対して，図４に
示すソーベルフィルタを施し，水平方向，垂直方向にお
ける勾配値Ｇｈ，Ｇｖを求める。（ａ）は水平方向の，
（ｂ）は垂直方向の勾配値を算出するためのソーベルフ
ィルタである。そして，上下判定部１５は，エッジの方
向θを式（１）にて算出し，更に，エッジ方向の勾配値
であるエッジ強度Ｇθを式（２）にて算出する。The edge detection function will be described. The up / down determination unit 15 applies the Sobel filter shown in FIG. 4 to the image included in the grayscale image, and obtains the gradient values Gh and Gv in the horizontal and vertical directions. (A) is horizontal
(B) is a Sobel filter for calculating the gradient value in the vertical direction. Then, the up / down determination unit 15 calculates the edge direction θ by the equation (1), and further calculates the edge strength Gθ that is the gradient value in the edge direction by the equation (2).

【数１】 図５は，エッジの分布を表す模式図であり，例として，
エッジ検出領域Ｒａ₁の内部について示している。図５
にて，エッジは矢印ａ₁₀〜ａ₁₉のように分布している。
エッジ検出領域Ｒａ₁ では，検出部品Ｐ₁ と検出部品Ｐ
₂ とが重なる部分で検出部品の表面の段差が生じる。従
って，この部分を撮像して得られた濃淡画像では，２つ
の検出部品Ｐ₁ ，Ｐ₂ の輪郭線Ｆ₈ ，Ｆ₉ の境界部分で
高濃度領域Ｒｈ（斜線にて示す）が生じる。この高濃度
領域Ｒｈと周辺の低濃度領域との間でエッジ強度は最大
となるので，エッジが矢印ａ₁₁，ａ₁₃，ａ₁₄，ａ₁₅，ａ
₁₇，ａ₁₉のように分布する。また，エッジ検出領域Ｒａ
₁ では，検出部品Ｐ₁ ，Ｐ ₂ の表面における模様や汚
れ，表面反射等によって，フラットな部分でも濃度分布
に偏りが生じることがある。矢印ａ₁₀，ａ₁₂，ａ₁₆，ａ
₁₈は，このような濃度分布の偏りによって生じたエッジ
である。[Equation 1]FIG. 5 is a schematic diagram showing the distribution of edges. As an example,
Edge detection area Ra₁It shows the inside. Figure 5
And the edge is arrow a_Ten~ A₁₉It is distributed like.
Edge detection area Ra₁Then, the detection component P₁And detection part P
₂A step on the surface of the detection component occurs at the portion where and overlap. Obedience
Then, in the grayscale image obtained by imaging this part, two
Detection part P₁, P₂Contour line F₈, F₉At the border of
A high-concentration region Rh (shown by diagonal lines) is generated. This high concentration
The edge strength is maximum between the area Rh and the surrounding low density area
Therefore, the edge is arrow a₁₁, A₁₃, A₁₄, A_Fifteen, A
₁₇, A₁₉It is distributed like. In addition, the edge detection area Ra
₁Then, the detection component P₁, P ₂Patterns and stains on the surface of
Due to surface reflection, etc., the concentration distribution can be achieved even in flat areas.
May be biased. Arrow a_Ten, A₁₂, A₁₆, A
₁₈Is an edge caused by such a bias in the concentration distribution.
Is.

【００２１】上下判定部１５は，これらのエッジａ₁₀〜
ａ₁₉の内，検出部品Ｐ₁ の輪郭線Ｆ ₈ に直交する方向に
近いエッジを選択する。これにより，異なる検出部品が
重なった段差によるエッジａ₁₁，ａ₁₃，ａ₁₄，ａ₁₅，ａ
₁₇，ａ₁₉のみが選択され，表面の模様，汚れや表面反射
等によるエッジａ₁₀，ａ₁₂，ａ₁₆，ａ₁₈は除外される。
そして，上下判定部１５は，選択したエッジの強度の合
計値を算出する。選択したエッジａ₁₁，ａ₁₃，ａ₁₄，ａ
₁₅，ａ₁₇，ａ₁₉のそれぞれの強度をＧａ₁₁，Ｇａ₁₃，Ｇ
ａ₁₄，Ｇａ₁₅，Ｇａ₁₇，Ｇａ₁₉とすると，エッジ強度の
合計値Ｓａ₁ は，Ｓａ₁ ＝Ｇａ₁₁＋Ｇａ₁₃＋Ｇａ₁₄＋Ｇ
ａ₁₅＋Ｇａ₁₇＋Ｇａ₁₉の式にて算出される。上下判定部
１５は，上述した処理と同様の処理を他のエッジ検出領
域Ｒａ₂ ，Ｒｂ₁ ，Ｒｂ₂ に対しても施し，それぞれで
エッジ強度の合計値Ｓａ₂ ，Ｓｂ₁，Ｓｂ₂ を算出す
る。そして，上下判定部１５は，強度合計値Ｓａ₁ ，Ｓ
ａ₂ ，Ｓｂ₁ ，Ｓｂ₂ について，Ｓａ₁ ＋Ｓａ₂ ＞Ｓｂ
₁ ＋Ｓｂ₂ であれば，検出部品Ｐ₂ の上にＰ₁ があり，
Ｓａ₁ ＋Ｓａ₂ ＜Ｓｂ₁ ＋Ｓｂ₂ であれば，検出部品Ｐ
₁ の上にＰ₂ があると判定する。これにより，ロボット
によりピックアップする部品の順序が決定される。The up / down determination unit 15 determines these edges a._Ten~
a₁₉Of the detection parts P₁Contour line F ₈In the direction orthogonal to
Select near edges. This allows different detection components
Edge a due to overlapping steps₁₁, A₁₃, A₁₄, A_Fifteen, A
₁₇, A₁₉Only selected, surface patterns, dirt and surface reflections
Edge a by etc._Ten, A₁₂, A₁₆, A₁₈Is excluded.
Then, the up / down determination unit 15 determines whether the strengths of the selected edges match.
Calculate the measured value. Selected edge a₁₁, A₁₃, A₁₄, A
_Fifteen, A₁₇, A₁₉Ga of each intensity of₁₁, Ga₁₃, G
a₁₄, Ga_Fifteen, Ga₁₇, Ga₁₉Then the edge strength
Total value Sa₁Is Sa₁= Ga₁₁+ Ga₁₃+ Ga₁₄+ G
a_Fifteen+ Ga₁₇+ Ga₁₉It is calculated by the formula. Top / bottom judgment unit
15 is a process similar to the above process for other edge detection areas.
Area Ra₂, Rb₁, Rb₂Also given to each
Sum of edge strength Sa₂, Sb₁, Sb₂Calculate
It Then, the upper / lower determination unit 15 determines that the total intensity value Sa₁, S
a₂, Sb₁, Sb₂About Sa₁+ Sa₂> Sb
₁+ Sb₂If so, the detection component P₂On top of₁There is
Sa₁+ Sa₂<Sb₁+ Sb₂If so, the detection component P
₁On top of₂It is determined that This makes the robot
Determines the order of parts to be picked up.

【００２２】以上，本発明の第１実施形態の構成を説明
した。上述した構成の特徴について述べる。上記画像入
力用カメラ４により，検出対象物が配置された所定の領
域を撮像する撮像部が構成されている。上記画像取込み
部５により，撮像部の出力に基づいて所定の領域に含ま
れる画像情報を生成する画像情報生成部が構成されてい
る。上記特徴抽出部７により，画像情報生成部により生
成された画像情報に含まれる検出対象物の輪郭線の情報
を抽出する輪郭線抽出部が構成されている。上記モデル
記憶部９により，特定の認識対象物体の輪郭線の情報を
予め記憶するモデル情報記憶部が構成されている。上記
モデル照合部１１により，モデル情報記憶部から読み出
した特定の認識対象物体の輪郭線の情報と輪郭線抽出部
により抽出された検出対象物の輪郭線の情報とを照合
し，該照合結果に基づいて検出対象物と特定の認識対象
物体との同一性を判定する輪郭線照合部が構成されてい
る。上記重なり状態判断部１３により，輪郭線照合部か
らの出力に基づいて所定の領域内で複数の検出対象物が
重なっているか否かを判断する重なり状態判断部が構成
されている。上記上下判定部１５により，重なり状態判
断部により複数の検出対象物か重なっていると判断され
た場合に，画像情報生成部が生成した画像情報における
画像の濃度分布に基づいて，複数の検出対象物の撮像部
の光軸方向の位置関係を判定する上下位置判定部が構成
されている。The configuration of the first embodiment of the present invention has been described above. The features of the above configuration will be described. The image input camera 4 constitutes an image pickup section for picking up an image of a predetermined area in which the detection target is arranged. The image capturing section 5 constitutes an image information generating section that generates image information included in a predetermined area based on the output of the image capturing section. The feature extraction unit 7 constitutes a contour line extraction unit that extracts information about the contour line of the detection target included in the image information generated by the image information generation unit. The model storage unit 9 constitutes a model information storage unit that stores in advance information about the contour line of a specific recognition target object. The model collation unit 11 collates the contour line information of the specific recognition target object read from the model information storage unit with the contour line information of the detection target object extracted by the contour line extraction unit, and the collation result is obtained. A contour line matching unit that determines the identity of the detection target object and the specific recognition target object based on the configuration is configured. The overlapping state determination unit 13 constitutes an overlapping state determination unit that determines whether or not a plurality of detection objects overlap in a predetermined area based on the output from the contour line matching unit. When the upper / lower determination unit 15 determines that the plurality of detection targets overlap with each other by the overlapping state determination unit, a plurality of detection targets are detected based on the image density distribution in the image information generated by the image information generation unit. A vertical position determination unit that determines the positional relationship of the imaging unit of the object in the optical axis direction is configured.

【００２３】上述した第１実施形態によれば，１回の撮
像動作とそれに続く画像処理のみにより，検出部品の配
置情報と上下関係に関する情報とが得られるので，最上
方にある部品を掴みとって移動させてから，再度，撮像
動作及び画像処理を繰り返す必要がなく，ロボットの動
作の中断回数が減少し，また，ロボットの待機時間を短
縮できる。また，上下判定については，エッジの方向に
より上下判定に用いるべきエッジのみが抽出されるの
で，検出部品の表面の模様や汚れ，鏡面反射等による濃
度分布の偏りに起因した誤判定が生じることを防止でき
る。According to the above-described first embodiment, the arrangement information of the detected components and the information regarding the vertical relationship can be obtained by only one image pickup operation and the subsequent image processing, so that the uppermost component can be grasped. Since it is not necessary to repeat the imaging operation and the image processing again after moving the robot, the number of interruptions of the robot operation can be reduced and the waiting time of the robot can be shortened. In addition, regarding the up / down determination, since only the edges to be used for the up / down determination are extracted depending on the edge direction, erroneous determination due to uneven density distribution due to patterns and dirt on the surface of the detection component or specular reflection may occur. It can be prevented.

【００２４】［第２実施形態］次に，本発明の第２実施
形態を図６乃至図９を参照して説明する。尚，第２実施
形態において上述の第１実施形態と同様の機能を有する
ものには，同一の符号を付けて示す。図６は，第２実施
形態に係る部品検出装置（以下，単に「装置」と言
う。）２０の構成を示すブロック図である。装置２０
は，装置１の画像取込み部５と上下判定部１５とに代え
て，画像取込み部２５と上下判定部２７とを含む。更に
装置２０は，レーザ投光器２１と，レーザフィルタ２３
と，ドットパターン光基準位置記憶部２９と，ドットパ
ターン光３次元位置算出部３１と，切換スイッチ３３と
を含む。レーザ投光器２１とレーザフィルタ２３とは，
撮像領域１７に対して，所定の規則に従って光軸が並ぶ
ドットパターン光を照射するための手段である。レーザ
投光器２１は，画像取込み部２５からの指令信号に応答
して，レーザ光を出射する。レーザフィルタ２３は，例
えば，複数のファイバーグレーティングを直交させて構
成され，レーザ投光器２１の光軸上に配設される。レー
ザ投光器２１から出射されたレーザ光が，レーザフィル
タ２３を透過すると，直交する複数のファイバーグレー
ティングにより回析作用が生じ，透過光は，所定の規則
に従って光軸が並ぶドットパターン光となる。本実施形
態では，このドットパターン光を利用して，検出部品の
上下関係を判定する。[Second Embodiment] Next, a second embodiment of the present invention will be described with reference to FIGS. 6 to 9. In the second embodiment, components having the same functions as those in the first embodiment described above are designated by the same reference numerals. FIG. 6 is a block diagram showing the configuration of a component detection device (hereinafter, simply referred to as “device”) 20 according to the second embodiment. Device 20
Includes an image capturing section 25 and an up / down determination section 27 instead of the image capturing section 5 and the up / down determination section 15 of the apparatus 1. Further, the device 20 includes a laser projector 21 and a laser filter 23.
A dot pattern light reference position storage unit 29, a dot pattern light three-dimensional position calculation unit 31, and a changeover switch 33. The laser projector 21 and the laser filter 23 are
It is a means for irradiating the image pickup area 17 with dot pattern light whose optical axes are aligned according to a predetermined rule. The laser projector 21 emits laser light in response to a command signal from the image capturing section 25. The laser filter 23 is configured by, for example, a plurality of fiber gratings orthogonal to each other, and is arranged on the optical axis of the laser projector 21. When the laser light emitted from the laser projector 21 passes through the laser filter 23, a diffractive action occurs due to a plurality of orthogonal fiber gratings, and the transmitted light becomes dot pattern light whose optical axes are arranged in accordance with a predetermined rule. In this embodiment, the dot pattern light is used to determine the vertical relationship of the detection components.

【００２５】画像取込み部２５は，画像入力用カメラ４
とレーザ投光器２１とに接続され，必要に応じて，画像
入力用カメラ４に撮像指令を，レーザ投光器２１にレー
ザ光出射指令を送る。画像取込み部２５は，１回の部品
検出処理にて，２種類の画像情報を生成する。その内の
１種類は，画像取込み部２５が画像入力用カメラ４とレ
ーザ投光器２１との両方に指令信号を送り，撮像領域１
７にドットパターン光が照射された状態で画像入力用カ
メラ４に撮像動作を行わせ，その撮像出力に基づいて生
成する画像情報である。以下の説明では，これをドット
パターン画像という。もう１種類は，画像取込み部２５
が画像入力用カメラ４にのみ指令信号を送り，自然光が
照射された状態での撮像により得られる画像であり，第
１実施形態の画像取込み部５が生成するのと同様の濃淡
画像である。尚，ドットパターン光の照射時と非照射時
とに係わらず，画像取込み部２５が生成する画像は，撮
像領域１７の濃淡を表す画像であるが，本実施形態で
は，上記「ドットパターン画像」と区別するために，単
に「濃淡画像」という場合は，ドットパターン光を照射
していない状態で自然光により撮像した画像のことを表
す。切換スイッチ３３は，画像取込み部２５が生成した
画像情報の出力先を切り換えるための手段である。切換
スイッチ３３は，画像取込み部２５の出力がドットパタ
ーン画像であるときは，画像取込み部２５の出力端子を
ドットパターン光３次元位置算出部３１への伝送経路に
接続し，画像取込み部２５の出力が濃淡画像であるとき
は，画像取込み部２５の出力端子を特徴抽出部７への伝
送経路に接続する。The image capturing unit 25 is used by the image input camera 4
And a laser projector 21, and sends an image pickup command to the image input camera 4 and a laser beam emission command to the laser projector 21 as necessary. The image capturing unit 25 generates two types of image information in one component detection process. In one of them, the image capturing unit 25 sends a command signal to both the image input camera 4 and the laser projector 21, and the image capturing area 1
The image information is generated based on the image pickup output by causing the image input camera 4 to perform an image pickup operation in a state where the dot pattern light is emitted to the image pickup device 7. In the following description, this is called a dot pattern image. The other type is the image capture unit 25.
Is an image obtained by sending a command signal only to the image input camera 4 and picked up in a state where natural light is radiated, and is a gray image similar to that generated by the image capturing unit 5 of the first embodiment. It should be noted that the image generated by the image capturing unit 25 is an image showing the light and shade of the imaging region 17 regardless of whether the dot pattern light is irradiated or not, but in the present embodiment, the "dot pattern image" is used. In order to distinguish it from the above, the term “grayscale image” simply refers to an image captured by natural light in a state where dot pattern light is not irradiated. The changeover switch 33 is means for changing the output destination of the image information generated by the image capturing section 25. When the output of the image capturing unit 25 is a dot pattern image, the changeover switch 33 connects the output terminal of the image capturing unit 25 to the transmission path to the dot pattern light three-dimensional position calculating unit 31, and When the output is a grayscale image, the output terminal of the image capturing unit 25 is connected to the transmission path to the feature extracting unit 7.

【００２６】ドットパターン光基準位置記憶部２９は，
配置プレート１６上に検出部品が配置されていないとき
に，ドットパターン光が照射された状態で画像入力用カ
メラ４が撮像した場合の情報であって，配置プレート１
６上に形成される輝点の重心位置の情報を予め記憶して
おく。ドットパターン光３次元位置算出部３１には，画
像取込み部２５からドットパターン画像が送られる。ド
ットパターン光３次元位置算出部３１は，ドットパター
ン画像が送られて来ると，ドットパターン光基準位置記
憶部２９から輝点の基準位置情報を読み出し，ドットパ
ターン画像に含まれる輝点の位置と基準位置との差異に
基づいて，ドットパターン画像に含まれる輝点の３次元
座標を算出する。３次元座標の算出処理の詳細について
は後述する。上下判定部２７には，画像取込み部２５が
生成した濃淡画像と，重なり状態判断部１３が出力した
重なり部品情報とが送られる。上下判定部２７が，第１
実施形態の上下判定部１５と異なる点は，上下判定部２
７は，ドットパターン光３次元位置算出部３１が算出し
た輝点の３次元座標に基づいて検出部品の上下を判定す
ることである。上下判定部２７は，第１実施形態の上下
判定部１５と同様の上下判定情報をロボットコントロー
ラ３へ送る。The dot pattern light reference position storage unit 29
This is information when the image input camera 4 takes an image in a state where the dot pattern light is irradiated when the detection component is not arranged on the arrangement plate 16.
Information on the position of the center of gravity of the bright spot formed on 6 is stored in advance. The dot pattern image is sent from the image capturing unit 25 to the dot pattern light three-dimensional position calculation unit 31. When the dot pattern image is sent, the dot pattern light three-dimensional position calculation unit 31 reads the reference position information of the bright spot from the dot pattern light reference position storage unit 29, and determines the position of the bright spot included in the dot pattern image. The three-dimensional coordinates of the bright points included in the dot pattern image are calculated based on the difference from the reference position. Details of the three-dimensional coordinate calculation process will be described later. The grayscale image generated by the image capturing unit 25 and the overlapping component information output by the overlapping state determination unit 13 are sent to the upper / lower determination unit 27. The upper / lower determination unit 27 is the first
The difference from the vertical determination unit 15 of the embodiment is that the vertical determination unit 2
7 is to determine the up and down of the detection component based on the three-dimensional coordinates of the bright spot calculated by the dot pattern light three-dimensional position calculation unit 31. The up / down determination unit 27 sends the same up / down determination information as that of the up / down determination unit 15 of the first embodiment to the robot controller 3.

【００２７】次に，図７と図８とを参照して，ドットパ
ターン光３次元位置算出部３１の処理の詳細について説
明する。図７は，ドットパターン光を照射している時に
撮像した画像であり，（ａ）は配置プレート１６上に検
出部品が配置されていない状態の画像であり，（ｂ）は
検出部品が配置されている状態での画像である。また，
図８は輝点の３次元座標を算出する方法を示す模式図で
ある。図７（ａ）に示したように，検出部品が配置され
ていない状態では，ドットパターン光の各ドットの輝点
は規則的に一定間隔で並んで形成される。一方，検出部
品が配置されている状態では，図７（ｂ）に示したよう
に，検出部品の立体形状や配置位置に応じて輝点の形成
位置が変化する。図８は，ドットパターン光の照射によ
り形成される輝点の３次元位置を算出する方法を示す図
である。同図において，画像入力用カメラ４の焦点距離
ｌ，画像入力用カメラ４のレンズとレーザフィルタ２３
の高さをｈ，レンズとレーザフィルタ２３との距離を
ｄ，輝点の画像上での移動量をδとする。また，画像情
報内での輝点画像Ｎ₁ ，Ｎ₂ の座標を撮像面におけるＵ
−Ｖ座標にて，それぞれ（ｕ，ｖ），（ｕ，ｖ＋δ）に
て表す。部品表面に形成された輝点のＸ−Ｙ−Ｚ３次元
座標は，式（３）により算出することができる。Next, the details of the processing of the dot pattern light three-dimensional position calculating section 31 will be described with reference to FIGS. 7 and 8. 7A and 7B are images taken while irradiating the dot pattern light. FIG. 7A is an image in a state where the detection component is not arranged on the arrangement plate 16, and FIG. 7B is a state where the detection component is arranged. It is an image in the state of being. Also,
FIG. 8 is a schematic diagram showing a method for calculating the three-dimensional coordinates of bright spots. As shown in FIG. 7A, in a state in which the detection component is not arranged, the bright spots of the dots of the dot pattern light are formed regularly at regular intervals. On the other hand, in the state where the detection component is arranged, as shown in FIG. 7B, the formation position of the bright spot changes according to the three-dimensional shape and the arrangement position of the detection component. FIG. 8 is a diagram showing a method of calculating a three-dimensional position of a bright spot formed by irradiation with dot pattern light. In the figure, the focal length 1 of the image input camera 4, the lens of the image input camera 4 and the laser filter 23
Is h, the distance between the lens and the laser filter 23 is d, and the amount of movement of the bright spot on the image is δ. In addition, the coordinates of the bright spot images N ₁ and N _{2 in} the image information are set to U on the imaging surface.
In the −V coordinate, they are represented by (u, v) and (u, v + δ), respectively. The XYZ three-dimensional coordinate of the bright spot formed on the surface of the component can be calculated by the equation (3).

【数２】 図７（ａ）に示した画像に含まれる輝点の基準位置は，
予めドットパターン光記憶部２９に記憶されている。そ
して，ドットパターン光３次元位置算出部３１は，上下
判定部２７から輝点座標の算出要求があった場合に，図
７（ｂ）に示すドットパターン画像に含まれる輝点を検
出する。次に，ドットパターン光３次元位置算出部３１
は，ドットパターン光基準位置記憶部２９から各輝点に
対応する基準位置情報を読み出し，上記式（３）を用い
て各輝点の３次元座標を算出する。[Equation 2] The reference position of the bright spot included in the image shown in FIG.
It is stored in the dot pattern light storage unit 29 in advance. Then, the dot pattern light three-dimensional position calculation unit 31 detects a bright point included in the dot pattern image shown in FIG. 7B when the upper / lower determination unit 27 requests the calculation of bright point coordinates. Next, the dot pattern light three-dimensional position calculation unit 31
Reads the reference position information corresponding to each bright point from the dot pattern light reference position storage unit 29, and calculates the three-dimensional coordinates of each bright point using the above equation (3).

【００２８】次に，図９を参照して上下判定部２７の処
理内容について説明する。第１実施形態にて説明したよ
うに，モデル照合部１１により部品の配置情報が算出さ
れ，また，重なり状態判断部１５により複数の部品が重
なっている位置が検出される（図３（ｂ）参照）。上下
判定部２７は，検出部品Ｐ₁ ，Ｐ₂ の輪郭線Ｆ₈ ，Ｆ ₉
の内側にある輝点の中から，重なり領域Ｒの外側にある
輝点を検出する。そして，上下判定部２７は，検出した
輝点の３次元座標をドットパターン光３次元位置算出部
３１に算出するように要求する。この要求に応答して，
ドットパターン光３次元位置算出部３１から輝点の３次
元座標が送られて来ると，上下判定部２７は，輝点の３
次元座標に基づいて検出部品Ｐ₁ ，Ｐ₂ の表面の平面方
程式を求める。Next, with reference to FIG.
I will explain the reason. As explained in the first embodiment
As described above, the model matching unit 11 calculates the placement information of the parts.
In addition, the overlapping state determination unit 15 causes multiple parts to overlap.
The position where is turned on is detected (see FIG. 3 (b)). Up and down
The determination unit 27 detects the detection component P₁, P₂Contour line F₈, F ₉
Out of the overlapping area R from the bright spots inside
Detects bright spots. Then, the up / down determination unit 27 detects
Dot pattern light 3D position calculation unit for 3D coordinates of bright spots
31 request to calculate. In response to this request,
From the dot pattern light three-dimensional position calculation unit 31, the third
When the original coordinates are sent, the up / down determination unit 27 determines that the bright spot is 3
Detection component P based on the dimensional coordinates₁, P₂Plane of the surface of
Find the equation.

【００２９】次に，上下判定部２７は，重なり領域Ｒ
（図９にて斜線で示す）の重心位置を求め，その重心に
おける検出部品Ｐ₁ ，Ｐ₂ の表面の高さを平面方程式か
ら算出する。例えば，検出部品Ｐ₁ の平面方程式がＰａ
・Ｘ＋Ｑａ・Ｙ＋Ｚ＝Ｄａであり，検出部品Ｐ₂ の平面
方程式がＰｂ・Ｘ＋Ｑｂ・Ｙ＋Ｚ＝Ｄｂである場合に，
重なり領域Ｒの重心の座標が（Ｇｘ，Ｇｙ）であれば，
重なり領域Ｒの重心における検出部品Ｐ₁ の表面の高さ
Ｚａは，Ｚａ＝Ｄａ−Ｐａ・Ｇｘ−Ｑａ・Ｇｙとなり，
検出部品Ｐ₂ の表面の高さＺｂは，Ｚｂ＝Ｄｂ−Ｐｂ・
Ｇｘ−Ｑｂ・Ｇｙとなる。上下判定部２７は，算出した
部品表面の高さＺａ，Ｚｂを用いて，Ｚａ＞Ｚｂであれ
ば，検出部品Ｐ₁ が上であり，Ｚａ＜Ｚｂであれば，検
出部品Ｐ₂が上であると判定する。例ではＺａ＞Ｚｂで
あり，検出部品Ｐ₁ が上であると判定される。ロボット
コントローラ３はこの上下判定の結果を受けて，上にあ
る部品から順に掴み取る。Next, the upper / lower determination unit 27 determines the overlapping area R
The position of the center of gravity (indicated by diagonal lines in FIG. 9) is obtained, and the height of the surface of the detection components P ₁ and P _{2 at} the center of gravity is calculated from the plane equation. For example, the plane equation of the detection component P ₁ is Pa
When X + Qa · Y + Z = Da and the plane equation of the detection component P ₂ is Pb · X + Qb · Y + Z = Db,
If the coordinates of the center of gravity of the overlapping region R are (Gx, Gy),
The height Za of the surface of the detection component P ₁ at the center of gravity of the overlapping region R is Za = Da−Pa · Gx−Qa · Gy,
The height Zb of the surface of the detection component P ₂ is Zb = Db−Pb ·
It becomes Gx-Qb · Gy. The upper / lower determination unit 27 uses the calculated component surface heights Za and Zb to detect the detection component P ₁ if Za> Zb and the detection component P ₂ if Za <Zb. Judge that there is. In the example, Za> Zb, and it is determined that the detection component P ₁ is above. The robot controller 3 receives the result of the up / down determination and sequentially picks up the parts from the upper side.

【００３０】以上に本発明の第２実施形態を説明した。
上述した第２実施形態の構成の特徴について述べる。上
記レーザ投光器２１とレーザフィルタ２３とにより，所
定の領域に対して予め定められた規則に従ったドットパ
ターン光を照射する照射部が構成されている。上記ドッ
トパターン光記憶位置２９により，所定の領域に検出対
象物が配置されていない状態でドットパターン光を照射
した場合の各ドットに対応する輝点の画像を予め記憶す
る基準ドット画像記憶部が構成されている。上記ドット
パターン光３次元位置算出部３１により，所定の領域に
検出対象物が配置された状態での輝点の画像と，基準ド
ット画像記憶部に記憶された輝点の画像とに基づいて，
各ドットに対応する輝点の３次元座標を算出する輝点位
置算出手段が構成されている。また，上記上下判定部２
７により，重なり状態判断部により複数の検出対象物が
重なっていると判断された場合に，輝点位置算出部によ
り算出された輝点の３次元座標の差異に基づいて，複数
の検出対象物の撮像部の光軸方向の位置関係を判定する
上下位置判定部が構成されている。更に，上記画像入力
用カメラ４と，上記画像取込み部２５と，上記特徴抽出
部７と，上記モデル記憶部９と，上記モデル照合部１１
と，上記重なり状態判断部１３とが，それぞれ，第１実
施形態にて説明した撮像部と，画像情報生成部と，輪郭
線抽出部と，モデル情報記憶部と，輪郭線照合部と，重
なり状態判断部とに相当する。The second embodiment of the present invention has been described above.
The features of the configuration of the second embodiment described above will be described. The laser projector 21 and the laser filter 23 constitute an irradiation unit that irradiates a predetermined area with dot pattern light according to a predetermined rule. By the dot pattern light storage position 29, a reference dot image storage unit that stores in advance an image of a bright spot corresponding to each dot when the dot pattern light is emitted in a state where the detection target is not arranged in a predetermined area is stored. It is configured. Based on the image of the bright spots in the state where the detection object is arranged in a predetermined area and the image of the bright spots stored in the reference dot image storage unit,
A bright spot position calculating means for calculating the three-dimensional coordinates of the bright spot corresponding to each dot is configured. Also, the upper / lower determination unit 2
When the overlapping state determination unit determines that the plurality of detection objects are overlapped by 7, the plurality of detection objects are detected based on the difference in the three-dimensional coordinates of the bright spots calculated by the bright spot position calculation unit. A vertical position determination unit that determines the positional relationship of the image capturing unit in the optical axis direction is configured. Further, the image input camera 4, the image capturing unit 25, the feature extraction unit 7, the model storage unit 9, and the model matching unit 11
And the overlapping state determination unit 13 respectively overlap the imaging unit, the image information generation unit, the contour line extraction unit, the model information storage unit, the contour line collation unit described in the first embodiment. It corresponds to the state determination unit.

【００３１】上述した第２実施形態によれば，第１実施
形態と同様に，装置２０の１回の処理により，最上方に
ある部品を掴み取って移動させてから，再度，部品検出
処理を繰り返す必要がなく，ロボットの動作を中断させ
る回数が減少し，また，ロボットの待機時間を短縮する
ことができる。また，検出部品の上下判定については，
ドットパターン光の輝点の形成位置の変化に基づいて判
定処理を行うので，検出部品の表面における模様や汚
れ，鏡面反射等による濃度分布の偏りに起因した判定の
誤りが生じることを防止できる。更には，検出部品の上
下判定を行う場合に，自然光の元での濃淡画像を使用せ
ず，レーザ投光器２１とレーザフィルタ２３とにより構
成される照射部から照射したドットパターン光の画像を
用いるので，装置２０の周辺における照明の変化が生じ
た場合であっても，上下判定の誤りが生じることを防止
できる。According to the above-described second embodiment, similarly to the first embodiment, the uppermost part is grasped and moved by one processing of the device 20, and then the parts detection processing is performed again. It is not necessary to repeat, the number of times the robot operation is interrupted is reduced, and the robot standby time can be shortened. Also, regarding the up / down determination of the detection parts,
Since the determination process is performed based on the change in the formation position of the bright spot of the dot pattern light, it is possible to prevent an error in the determination due to the deviation of the density distribution due to a pattern or stain on the surface of the detection component, specular reflection, or the like. Furthermore, when performing the up / down determination of the detection component, the image of the dot pattern light emitted from the irradiation unit configured by the laser projector 21 and the laser filter 23 is used instead of using the grayscale image under the natural light. Even if the illumination changes around the device 20, it is possible to prevent an error in the up / down determination.

【００３２】［第３実施形態］次に，本発明の第３実施
形態を図１０を参照して説明する。尚，第３実施形態に
おいて，上述の第１実施形態及び第２実施形態と同様の
機能を有するものには，同一の符号を付けて示す。図１
０は，第３実施形態に係る部品検出装置（以下，単に
「装置」と言う）４０の構成を示すブロック図である。
装置４０は，第２実施形態の装置２０の上下判定部２７
に代えて上下判定部４１を含む。更に，装置４０では，
切換スイッチ３３から特徴抽出部７へと連絡する情報の
伝送経路から別の伝送経路を分岐させ，この伝送経路を
上下判定部４１に接続している。他の構成については，
第２実施形態と同様である。上下判定部４１について説
明する。上下判定部４１には，重なり状態判断部１３か
ら重なり部品情報が送られてくる。上下判定部４１は送
られてきた重なり部品情報が，複数の検出部品が重なっ
ていることを表す場合に，第１実施形態にて説明したエ
ッジ検出処理と，第２実施形態にて説明した平面方程式
算出処理との両方の処理を行う。上下判定部４１は，エ
ッジ検出処理を行う場合に，画像取込み部２５が生成し
た濃淡画像を用い，一方，平面方程式算出処理を行う場
合に，ドットパターン光３次元位置算出部３１に輝点の
３次元座標を算出させ，その値に基づいて平面方程式を
求める。[Third Embodiment] Next, a third embodiment of the present invention will be described with reference to FIG. In the third embodiment, components having the same functions as those in the first and second embodiments described above are designated by the same reference numerals. FIG.
0 is a block diagram showing a configuration of a component detection device (hereinafter, simply referred to as “device”) 40 according to the third embodiment.
The device 40 is the upper / lower determination unit 27 of the device 20 of the second embodiment.
Instead, it includes a vertical determination unit 41. Furthermore, in the device 40,
Another transmission path is branched from the transmission path of the information communicated from the changeover switch 33 to the feature extraction unit 7, and this transmission path is connected to the up / down determination unit 41. For other configurations,
This is similar to the second embodiment. The up / down determination unit 41 will be described. The overlapping part information is sent from the overlapping state judging unit 13 to the upper and lower judging unit 41. The upper / lower determination unit 41, when the sent overlapping part information indicates that a plurality of detected parts are overlapped, performs the edge detection process described in the first embodiment and the plane described in the second embodiment. Both the equation calculation process and the equation calculation process are performed. The upper / lower determination unit 41 uses the grayscale image generated by the image capturing unit 25 when performing edge detection processing, while it uses the grayscale image generated by the image capturing unit 25, and when the plane equation calculation processing is performed, the dot pattern light three-dimensional position calculation unit 31 displays bright spots. Calculate the three-dimensional coordinates and obtain the plane equation based on the calculated values.

【００３３】上下判定部４１は，判定の対象となる検出
部品の高さの差についての所定の閾値を予め記憶してお
く。そして，上下判定部４１は，判定の対象となる検出
部品Ｐ₁ ，Ｐ₂ の重なり領域Ｒの重心における高さＺ
ａ，Ｚｂを平面方程式（第２実施形態にて説明）を用い
て算出し，｜Ｚａ−Ｚｂ｜≧閾値であれば，平面方程式
算出処理によって得られた高さに基づいて上下判定を行
う。また，｜Ｚａ−Ｚｂ｜＜閾値であれば，エッジ検出
処理にて上下判定を行う。尚，エッジ検出処理と平面方
程式算出処理とのいずれの処理を用いるかを判断する基
準は，上述した閾値を用いる方法の他，対象となる検出
部品の種類や，装置４０が設置される環境等を考慮して
望ましい方法を用いるようにしても良い。The upper / lower determination unit 41 stores in advance a predetermined threshold value for the difference in height of the detection components to be determined. Then, the up / down determination unit 41 determines the height Z at the center of gravity of the overlapping region R of the detection components P ₁ and P ₂ to be determined.
a and Zb are calculated using a plane equation (described in the second embodiment), and if | Za−Zb | ≧ threshold, upper / lower determination is performed based on the height obtained by the plane equation calculation process. If | Za−Zb | <threshold value, upper / lower determination is performed by the edge detection processing. The criteria for determining which of the edge detection processing and the plane equation calculation processing is to be used are, in addition to the method using the threshold value described above, the type of the target detection component, the environment in which the device 40 is installed, etc. In consideration of the above, a desirable method may be used.

【００３４】以上に本発明の第３実施形態を説明した。
上記第３実施形態の構成の特徴について述べる。上記上
下判定部４１により，重なり状態判断部により複数の検
出対象物が重なっていると判断された場合に，画像情報
生成部が生成した画像情報における画像の濃度分布と，
輝点位置算出部により算出された輝点の３次元座標とに
基づいて，複数の検出対象物の撮像部の光軸方向の位置
関係を判定する上下位置判定部が構成されている。ま
た，上記画像入力用カメラ４が，第１実施形態にて説明
した撮像部に相当し，上記レーザ投光器２１及びレーザ
フィルタ２３が，第２実施形態にて説明した照射部に相
当する。更に，上記特徴抽出部７とモデル記憶部９とモ
デル照合部１１と，重なり状態判断部１３とが，それぞ
れ，第１実施形態にて説明した輪郭線抽出部と，モデル
情報記憶部と，輪郭線照合部と，重なり状態判断部に相
当する。更にまた，上記画像取込み部２５と，ドットパ
ターン光基準位置記憶部２９と，ドットパターン光３次
元位置算出部３１とが，それぞれ，第２実施形態にて説
明した画像情報生成部と，基準ドット画像記憶部と，輝
点位置算出部とに相当する。The third embodiment of the present invention has been described above.
The features of the configuration of the third embodiment will be described. When the upper / lower determination unit 41 determines that the plurality of detection objects are overlapped by the overlapping state determination unit, the image density distribution in the image information generated by the image information generation unit,
A vertical position determination unit that determines the positional relationship in the optical axis direction of the imaging units of the plurality of detection objects is configured based on the three-dimensional coordinates of the bright spots calculated by the bright spot position calculation unit. Further, the image input camera 4 corresponds to the image pickup section described in the first embodiment, and the laser projector 21 and the laser filter 23 correspond to the irradiation section described in the second embodiment. Further, the feature extraction unit 7, the model storage unit 9, the model matching unit 11, and the overlapping state determination unit 13 respectively include the contour line extraction unit, the model information storage unit, and the contour described in the first embodiment. It corresponds to the line matching unit and the overlapping state determination unit. Furthermore, the image capturing unit 25, the dot pattern light reference position storage unit 29, and the dot pattern light three-dimensional position calculation unit 31 respectively include the image information generation unit and the reference dot described in the second embodiment. It corresponds to an image storage unit and a bright spot position calculation unit.

【００３５】上述した第３実施形態によれば，第１実施
形態及び第２実施形態と同様に，複数の検出部品が重な
っている場合であっても，最上方になる部品を掴み取っ
て移動させてから再度部品検出処理を繰り返す必要がな
く，ロボットの動作の中断回数が減少し，また，ロボッ
トの待機時間も短縮できる。また，検出部品の上下判定
処理については，エッジ検出処理と平面方程式算出処理
との両方を備えるので，検出部品の種類や状態，装置が
設置される周辺の環境等に応じて望ましい処理を選択す
ることができる。According to the above-described third embodiment, similarly to the first and second embodiments, even when a plurality of detection components overlap, the uppermost component is grabbed and moved. Since it is not necessary to repeat the component detection process after the operation, the number of interruptions of the robot operation can be reduced and the robot waiting time can be shortened. Further, since the detection component upper / lower determination processing includes both edge detection processing and plane equation calculation processing, a desired processing is selected according to the type and state of the detection component, the surrounding environment in which the device is installed, and the like. be able to.

【００３６】[0036]

【実施例】上記した第２及び第３の実施形態では重なり
部品にドットパターンを照射しない状態で画像情報生成
部において取り込んだ濃淡画像を２値化してその輪郭画
像を得る。また重なり部品にドットパターンを照射し，
上記画像生成部によりドットパターン画像を取り込み，
これを２値化処理して背景画像からドットパターンを抽
出する。このように背景画像から部品画像及びドットパ
ターンを抽出するために２値化処理が必要であるが，こ
のような２値化のためのしきい値を一定に設定しておい
たのでは次のような問題がある。即ち，部品の位置計測
を無人で連続計測する場合，背景部分の明るさが変化し
たり，部品部分の明るさが変化することがあり，背景画
像から部品画像又はドットパターン画像を正確に抽出で
きなくなる場合がある。このように一定不変のしきい値
では，安定して部品の位置を認識することができない。
このような撮像対象の明るさが変化する場合にそれに合
わせて濃淡画像及びドットパターン画像の２値化のため
のしきい値を自動的に変化させる手法について図１４〜
図１６を参照して説明する。図１４は暗い背景に，それ
よりも明るい部品がおかれている場合の濃淡画像の明度
のヒストグラムである。この場合図に示すように背景
（明るい部分）に相当する山と，部品（暗い部分）に相
当する山が分離して現れる（双方性）。この２つの山の
間の谷にしきい値ｔを設定すれば部品を背景から分離で
きる。双方性のあるヒストグラムの谷の値を求める手法
として，判別基準法，Ｐ−タイル法，モード法等が良く
知られている。[Embodiment] In the above-described second and third embodiments, the grayscale image captured by the image information generating unit is binarized in a state where the overlapping parts are not irradiated with the dot pattern, and the contour image is obtained. Also, irradiating overlapping parts with a dot pattern,
The dot pattern image is taken in by the image generation unit,
This is binarized to extract a dot pattern from the background image. In this way, the binarization process is required to extract the component image and the dot pattern from the background image. However, if the threshold value for such binarization is set to be constant, There is such a problem. That is, when the position measurement of a part is continuously performed unattended, the brightness of the background part may change or the brightness of the part part may change, and the part image or dot pattern image can be accurately extracted from the background image. It may disappear. In this way, it is not possible to stably recognize the position of a component with a constant and invariant threshold value.
A method for automatically changing the threshold value for binarization of the grayscale image and the dot pattern image in accordance with such a change in the brightness of the imaging target will be described with reference to FIGS.
This will be described with reference to FIG. FIG. 14 is a histogram of the brightness of a grayscale image when a brighter component is placed on a dark background. In this case, as shown in the figure, a mountain corresponding to the background (light part) and a mountain corresponding to the part (dark part) appear separately (bilaterality). The component can be separated from the background by setting the threshold value t in the valley between these two peaks. As a method for obtaining a valley value of a bilateral histogram, a discrimination criterion method, a P-tile method, a mode method and the like are well known.

【００３７】一例として判別基準法をこの物***置認識
装置に適用した場合に付いて説明する。他のしきい値決
定法も周知であるからここでは説明しない。判別基準法
は，あるしきい値ｔの評価基準（判別基準）を決めてお
き，それが最大になるｔを選択するものである。即ち，
しきい値ｔが与えられれば，それによって画像が２種類
の領域Ｒ₁ とＲ₂ に分けられる。理想的には，各Ｒ
_i （ｉ＝１，２）の領域内の明るさの差が小さくて，領
域間の明るさの差が大きくなるｔを評価基準によって選
択する。このことを式で表せば次のようになる。画像全
体の明るさの平均をμ_T ，分散をσ_T ² とする。Ｒ₁ と
Ｒ₂ が全体に占める面積の割合をω₁ とω₂ とする（ω
₁ ＋ω₂ ＝１）。Ｒ₁ とＲ₂ の平均的明るさをμ_1,μ₂
とすれば，いわゆるクラス間分散σ_B ² は次の式て定義
される。 σ_B ² ＝ω₁ （μ₁ −μ_T ）² ＋ω₂ （μ₂ −μ_T ）² ＝ ω₁ ω₂ （μ₁ −μ₂ ）² クラス間分散σ_B ² はしきい値ｔによって変化するの
で，σ_B ² （ｔ）と書くことにする。しきい値ｔに対す
る判別基準η（ｔ）は η（ｔ）＝σ_B ² （ｔ）／σ_T ² で与えられる。画像の明るさの範囲をｋ₁ からｋ₂ まで
とすれば，ｔをｋ₁ からｋ₂ まで１ずつ変化させながら
η（ｔ）の値を計算し，それが最大値をとるようなｔを
しきい値とすればよい。As an example, the discrimination criterion method is used for this object position recognition.
The case where the invention is applied to an apparatus will be described. Other threshold decision
The conventional method is also well known and will not be described here. Discrimination standard method
Has decided the evaluation standard (discrimination standard) of a certain threshold t
Then, the maximum t is selected. That is,
If a threshold value t is given, two types of images
Region R₁And R₂It is divided into Ideally, each R
_iThe difference in brightness in the area (i = 1, 2) is small,
Select t that makes the difference in brightness between regions large according to the evaluation criteria.
Choose. This can be expressed in the following way. All images
The average body brightness is μ_T, Variance σ_T ²And R₁When
R₂Is the ratio of the area occupied by₁And ω₂And (ω
₁+ Ω₂= 1). R₁And R₂The average brightness of_1,μ₂
Then, the so-called interclass variance σ_B ²Is defined as
Is done. σ_B ²= Ω₁(Μ₁-Μ_T)²+ Ω₂(Μ₂-Μ_T)² = Ω₁ω₂(Μ₁-Μ₂)² Interclass variance σ_B ²Changes depending on the threshold t
And σ_B ²I will write (t). For threshold t
The discrimination criterion η (t) is η (t) = σ_B ²(T) / σ_T ² Given in. Image brightness range is k₁To k₂Until
Then t is k₁To k₂While changing by 1
Calculate the value of η (t) and find t such that it takes the maximum value.
It may be a threshold value.

【００３８】上記判別基準法を使って判別基準η（ｔ）
が最大となる画像の明るさ（しきい値ｔを自動的に設定
して明るさが０〜ｔを背景領域とし，ｔ〜２５５を部品
領域とすることにより背景部分から部品領域を抽出する
ことができる。またドットパターン画像の明るさのヒス
トグラムは，図１５に示すように背景に相当する山と，
部品に相当する山と，ドットパターン（輝点）に相当す
る山の３つの山が現れる。背景から部品を分離するしき
い値ｔ₁ はすでに上記判別分析法で求まっている。ヒス
トグラム中のｔ₁ 以上の山に注目すると，山が２つ存在
する。従って，ｔ₁ 以上の領域に対して，上記判別基準
法を使えば，部品とドットパターンを分離する最適しき
い値ｔ₂ を求めることができる。従ってレベルｔ ₂ 〜２
５５が輝点領域となる。ドットパターン画像における２
値化しきい値を求める別の方法について説明する。ドッ
トパターン画像は濃淡画像にドットパターンを照射した
画像なので，ドットパターンが照射された位置以外の明
るさは濃淡画像と同じである。今，ドットパターン画像
の各画素の値から濃淡画像の各画素の値を引き，生成さ
れた新しい画像を「ドットパターン画像Ｂ」とする。 「ドットパターン画像Ｂ」＝「ドットパターン画像」−
「濃淡画像」Discrimination criterion η (t) using the above discrimination criterion method
Image brightness that maximizes (the threshold t is set automatically)
The brightness is 0 to t as the background area, and t to 255 is the part
Extract the part area from the background part by setting it as an area
be able to. Also, the brightness of the dot pattern image
The togram has a mountain corresponding to the background, as shown in FIG.
Equivalent to a mountain corresponding to a part and a dot pattern (bright spot)
Three mountains appear. A threshold to separate parts from the background
Value t₁Has already been determined by the above discriminant analysis method. Hiss
T in the togram₁If you pay attention to the above mountains, there are two mountains.
I do. Therefore, t₁For the above areas, the above discrimination criteria
Method, the optimal method for separating parts and dot patterns
Value t₂Can be asked. Therefore, level t ₂~ 2
55 is the bright spot region. 2 in dot pattern image
Another method of obtaining the threshold value will be described. Dodge
For the pattern image, a grayscale image was irradiated with a dot pattern.
Since it is an image, the light is not at the position where the dot pattern is illuminated.
Rusa is the same as the grayscale image. Now dot pattern image
The value of each pixel of the grayscale image is subtracted from the value of each pixel of
The new image thus created is referred to as "dot pattern image B". "Dot pattern image B" = "Dot pattern image"-
"Gray image"

【００３９】すると，「ドットパターン画像Ｂ」のドッ
トパターンが照射されている位置以外の明るさは，０付
近となり，明るさのヒストグラムは，図１６のように双
方性を示す。従って，「ドットパターン画像Ｂ」の明る
さのヒストグラムに対して，判別基準法を使えば，２値
化しきい値ｔ₂ を自動的に求めることができ，明るさの
レベルがｔ₂ 〜２５５の領域が輝点領域になる。また上
記第２及び第３の実施形態では，検出されたドットパタ
ーン画像と，基準ドットパターン画像との比較に基づい
て輝点の３次元座標を演算し重なった物体の上下位置関
係を上下位置判定部により判定するが，重なり領域での
重心における上下位置の差が輝点の計測精度以下の場合
は上記判定の意味がなく，判定の労が無駄になる。従っ
て上下位置判定部において重なり領域での重心における
上下位置の差が輝点の計測精度以下か否かを先に検出し
て，判定を行うか否かを決めることが望ましい。この場
合の計測精度は次のようにして予め演算しておく。Then, the brightness other than the position where the dot pattern of "dot pattern image B" is irradiated is close to 0, and the brightness histogram shows both sides as shown in FIG. Therefore, if the discrimination criterion method is used for the brightness histogram of the “dot pattern image B”, the binarization threshold value t ₂ can be automatically obtained, and the brightness level is from t _{2 to} 255. The area becomes a bright spot area. In the second and third embodiments, the three-dimensional coordinates of the bright spots are calculated based on the comparison between the detected dot pattern image and the reference dot pattern image to determine the vertical position relationship of the overlapping objects. However, if the difference between the upper and lower positions of the center of gravity in the overlapping area is less than the measurement accuracy of the bright spots, the above determination has no meaning and the determination work is wasted. Therefore, it is desirable that the upper / lower position determination unit first detects whether or not the difference between the upper and lower positions of the center of gravity in the overlapping area is equal to or less than the measurement accuracy of the bright spot, and determines whether or not to make the determination. The measurement accuracy in this case is calculated in advance as follows.

【００４０】図８を基礎とする（３）式の Ｚ＝ｈ² δ／（ｄｌ＋ｈδ） から，Ｚ＝０における輝点の上下方向の計測精度ΔＺは
上記（３）式をδで微分することにより ΔＺ＝（ｈ² ／ｄｌ）Δδ となる。このΔＺを上下位置判定のしきい値として設定
しておき，上下位置判定部において，重なり領域の重心
の上下位置の差が，上記上下位置判定しきい値ΔＺ以下
の場合は，輝点の上下位置の差は計測精度以下になるの
で，上下判定を行わない（判定する意味がない）。上記
上下判定限界しきい値以上の場合は，上記第２及び第３
実施形態通り上下位置の判定を行う。このようにして判
定の無駄と精度の低下を回避することができる。From Z = h ² δ / (dl + hδ) in the equation (3) based on FIG. 8, the vertical measurement accuracy ΔZ at Z = 0 is obtained by differentiating the equation (3) by δ. Therefore, ΔZ = (h ² / dl) Δδ. This ΔZ is set as a threshold value for vertical position determination, and if the difference between the vertical positions of the centers of gravity of the overlapping areas is less than or equal to the vertical position determination threshold ΔZ in the vertical position determination unit, the vertical position of the bright spot Since the difference in position is less than the measurement accuracy, up / down determination is not performed (it has no meaning). If the upper and lower judgment limit thresholds are exceeded, the second and third
The vertical position is determined as in the embodiment. In this way, it is possible to avoid waste of determination and deterioration of accuracy.

【００４１】更に，上記第１〜第３の実施形態ではいず
れも，モデル情報記憶部から読み出したモデルの認識対
象物体の輪郭線情報と上記輪郭抽出部により抽出された
上記検出対象物の輪郭線とを照合し，両者の同一性を判
定するが，同一性が正しいか否かの検証は行われていな
い。しかし上記実施形態での同一性の判定では，偶然同
一の輪郭が抽出される可能性も否定できず，物体認識の
精度を上げるためには，上記検証が必要である。以下は
上記のような同一と判定された輪郭が正しく物体の輪郭
であるか否かを検証する手法の一例である。即ち，図１
７（ａ）において，モデル照合部（輪郭線照合部）１１
から出力された輪郭線情報アから部品の端点を結んで得
られる閉領域はＸ₁ ，Ｘ₂ ，Ｘ₃ の３つである。これら
の各閉領域の面積と閉領域内の濃淡画像部分の面積の割
合を検証適合度として各閉領域毎に演算する。 検証適合度＝（ある閉領域内側における濃淡画像領域の
面積）／（ある閉領域の面積） この検証適合度は，０から１までの値を取り，１に近い
程適合度は高い。従って上記演算で得られた適合度が予
め定めたしきい値以上であれば抽出された輪郭が正しい
物体の輪郭であると判断できるので，この部品の位置情
報を次の重なり状態判断部１３に送る。またしきい値未
満の場合は，正しい物体の輪郭を抽出していないと判断
できるので，物体として採用しない。図７の場合，閉領
域Ｘ₁ 及びＸ₂ は正しい物体の輪郭を表わし，閉領域Ｘ
₃ は物体として採用できない。Further, in any of the first to third embodiments, the contour line information of the recognition target object of the model read from the model information storage unit and the contour line of the detection target object extracted by the contour extraction unit. , And the identity of the two is determined, but verification of whether or not the identity is correct has not been performed. However, in the determination of the identity in the above embodiment, the possibility that the same contour is accidentally extracted cannot be denied, and the above verification is necessary in order to improve the accuracy of object recognition. The following is an example of a method for verifying whether the contours determined to be the same as the above are correct contours of the object. That is, FIG.
7 (a), the model matching unit (contour line matching unit) 11
Closed area obtained by connecting the end points of the components from the output contour line information A from is three _{X 1, X 2, X 3} . The ratio of the area of each closed area and the area of the grayscale image portion in the closed area is calculated for each closed area as the verification suitability. Verification suitability = (area of grayscale image area inside a certain closed area) / (area of a certain closed area) This verification suitability takes a value from 0 to 1, and the closer to 1, the higher the suitability. Therefore, if the conformity obtained by the above calculation is greater than or equal to a predetermined threshold value, it can be determined that the extracted contour is the contour of the correct object, and the position information of this component is then sent to the next overlapping state determination unit 13. send. If it is less than the threshold value, it can be determined that the correct contour of the object has not been extracted, so it is not adopted as the object. In the case of FIG. 7, the closed regions X ₁ and X ₂ represent the correct contour of the object,
₃ cannot be adopted as an object.

【００４２】[0042]

【発明の効果】以上説明したように，第１の物体の位置
認識装置によれば，検出対象物が配置された所定の領域
が撮像され，その撮像出力に基づいて生成された画像上
方に含まれる検出対象物の輪郭線の情報が抽出される。
抽出された輪郭線の情報と，予め記憶してある特定の認
識対象物体の輪郭線の情報とが照合されることにより，
検出対象物と特定の認識対象物体との同一性が判定さ
れ，更に，判定出力に基づいて複数の検出対象物が重な
っているか否かが判断される。そして，複数の検出対象
物が重なっていると判断された場合には，画像の濃度分
布に基づいて，複数の検出対象物の撮像の光軸方向にお
ける位置関係が判定される。これにより，複数の検出対
象物が重なっている場合であっても，速やかに，且つ，
正確に認識対象物体の位置を認識することが可能とな
る。As described above, according to the position recognizing device for the first object, the predetermined area in which the detection object is arranged is imaged and included in the upper part of the image generated based on the imaging output. Information of the contour line of the detected detection target is extracted.
By collating the extracted contour line information with the pre-stored contour line information of the specific recognition target object,
The identity between the detection target and the specific recognition target object is determined, and further, it is determined based on the determination output whether or not the plurality of detection targets overlap. Then, when it is determined that the plurality of detection objects overlap, the positional relationship in the optical axis direction of the imaging of the plurality of detection objects is determined based on the density distribution of the image. As a result, even when a plurality of detection targets overlap, quickly and
It is possible to accurately recognize the position of the recognition target object.

【００４３】また，第２の物体の位置認識装置によれ
ば，検出対象物が配置された所定の領域が撮像され，そ
の撮像出力に基づいて生成された画像情報に含まれる検
出対象物の輪郭線の情報が抽出される。抽出した輪郭線
の情報と予め記憶してある特定の認識対象物体の輪郭線
の情報とが照合されることにより，検出対象物と特定の
認識対象物体との同一性が判定され，更に，判定出力に
基づいて，複数の検出対象物が重なっているか否かが判
断される。一方，所定の領域に対して予め定められた規
則に従ってドットパターン光が照射され，所定の領域に
検出対象物が配置された状態での輝点の画像と，予め記
憶されている所定の領域に検出対象物が配置されていな
い状態でドットパターン光を照射した場合の各ドットに
対応する輝点の画像とに基づいて，各ドットに対応する
輝点の３次元座標が算出される。そして，複数の検出対
象物が重なっていると判断された場合には，輝点の３次
元座標に基づいて，複数の検出対象物の撮像の光軸方向
における位置関係が判定される。これにより，複数の検
出対象物が重なっている場合であっても，速やかに，且
つ，正確に，認識対象物体の位置を認識することが可能
となる。また，認識対象物体の位置を認識するために用
いられる輝点の画像は，所定のドットパターン光を照射
した状態で撮像されるので，本発明の物体の位置認識装
置以外の照明手段や自然光等による照明の変化に影響さ
れることなく，認識対象物体の位置関係を判定すること
ができる。Further, according to the second object position recognition apparatus, the predetermined area in which the detection object is arranged is imaged, and the contour of the detection object included in the image information generated based on the imaging output is detected. The line information is extracted. By comparing the extracted contour line information with the previously stored contour line information of the specific recognition target object, the identity between the detection target object and the specific recognition target object is determined, and further, the determination is performed. Based on the output, it is determined whether or not a plurality of detection objects overlap. On the other hand, a dot pattern light is irradiated to a predetermined area according to a predetermined rule, and an image of a bright spot in a state where the detection target object is arranged in the predetermined area and a predetermined area stored in advance. The three-dimensional coordinates of the bright spot corresponding to each dot are calculated based on the image of the bright spot corresponding to each dot when the dot pattern light is emitted in the state where the detection target is not arranged. Then, when it is determined that the plurality of detection targets overlap, the positional relationship in the optical axis direction of the imaging of the plurality of detection targets is determined based on the three-dimensional coordinates of the bright spots. This makes it possible to quickly and accurately recognize the position of the recognition target object even when a plurality of detection targets overlap. Further, since the image of the bright spot used for recognizing the position of the object to be recognized is imaged in the state where the predetermined dot pattern light is irradiated, illumination means other than the object position recognition device of the present invention, natural light, etc. The positional relationship of the recognition target object can be determined without being affected by the change in illumination due to.

【００４４】更に，第３の物体の位置認識装置によれ
ば，検出対象物が配置された所定の領域が撮像し，その
撮像出力に基づいて生成された画像情報に含まれる検出
対象物の輪郭線の情報が抽出される。抽出した輪郭線の
情報と予め記憶してある特定の認識対象物体の輪郭線の
情報とが照合されることにより，検出対象物と特定の認
識対象物体との同一性が判定され，更に，判定出力に基
づいて，複数の検出対象物か重なっているか否かが判断
される。一方，所定の領域に対して予め定められた規則
に従ったドットパターン光が照射され，所定の領域に検
出対象物が配置された状態での輝点の画像と，予め記憶
してある所定の領域に検出対象物が配置されていない状
態でドッドパターン光を照射した場合の各度に対応する
輝点の画像とに基づいて，各ドットに対応する輝点の３
次元座標が算出される。そして，複数の検出対象物が重
なっていると判断された場合には，画像の濃度分布と，
輝点の３次元座標とに基づいて複数の検出対象物の撮像
の光軸方向における位置関係が判定される。これによ
り，複数の検出対象物が重なっている場合であっても，
速やかに，且つ，正確に認識対象物体の位置を認識する
ことが可能となる。Further, according to the third object position recognizing device, the predetermined area in which the detection object is arranged is imaged, and the contour of the detection object included in the image information generated based on the imaging output is detected. The line information is extracted. By comparing the extracted contour line information with the previously stored contour line information of the specific recognition target object, the identity between the detection target object and the specific recognition target object is determined, and further, the determination is performed. Based on the output, it is determined whether or not a plurality of detection objects overlap. On the other hand, a predetermined area is irradiated with dot pattern light according to a predetermined rule, and an image of a bright spot in a state where the detection target object is arranged in the predetermined area and a predetermined stored predetermined image Based on the image of the bright spot corresponding to each time when the dod pattern light is radiated in a state where the detection target is not arranged in the area,
Dimensional coordinates are calculated. When it is determined that a plurality of detection objects overlap, the density distribution of the image,
The positional relationship in the optical axis direction of the imaging of the plurality of detection objects is determined based on the three-dimensional coordinates of the bright spots. As a result, even when multiple detection targets overlap,
The position of the recognition target object can be quickly and accurately recognized.

【図面の簡単な説明】[Brief description of drawings]

【図１】 本発明の第１実施形態に係る物体の位置認識
装置の構成を示すブロック図。FIG. 1 is a block diagram showing a configuration of an object position recognition device according to a first embodiment of the present invention.

【図２】 本発明の第１実施形態に係る物体の位置認識
装置の画像処理の内容を示す模式図。FIG. 2 is a schematic diagram showing the contents of image processing of the object position recognition apparatus according to the first embodiment of the present invention.

【図３】 本発明の第１実施形態に係る物体の位置認識
装置の画像処理の内容を示す模式図。FIG. 3 is a schematic diagram showing the content of image processing of the object position recognition apparatus according to the first embodiment of the present invention.

【図４】 エッジ検出にて用いられる画像処理用フィル
タの内容を示す図であり，（ａ）は水平方向，（ｂ）は
垂直方向のフィルタの説明図。FIG. 4 is a diagram showing the contents of an image processing filter used in edge detection, in which (a) is a horizontal direction filter and (b) is a vertical direction filter explanatory diagram.

【図５】 複数の検出部品が重なっている領域でのエッ
ジの検出方法を示す模式図。FIG. 5 is a schematic diagram showing a method of detecting an edge in a region where a plurality of detection components overlap.

【図６】 本発明の第２実施形態に係る物体の位置認識
装置の構成を示すブロック図。FIG. 6 is a block diagram showing a configuration of an object position recognition device according to a second embodiment of the present invention.

【図７】 ドットパターン光が照射されている状態の画
像であり，（ａ）は撮像領域内に検出部品が配置されて
いない状態，（ｂ）は撮像領域内に検出部品が配置され
ている状態を表す模式図。7A and 7B are images in a state in which dot pattern light is irradiated, FIG. 7A shows a state in which no detection component is arranged in the image pickup region, and FIG. 7B shows a state in which the detection component is arranged in the image pickup region. The schematic diagram showing a state.

【図８】 ドットパターン光の照射により形成される輝
点の３次元位置の算出方法を示す模式的斜視図。FIG. 8 is a schematic perspective view showing a method of calculating a three-dimensional position of a bright spot formed by irradiation with dot pattern light.

【図９】 検出部品が重なっている部分での部品表面の
高さを平面方程式を用いて求める方法を示す模式図。FIG. 9 is a schematic diagram showing a method of obtaining the height of the component surface in a portion where the detection components overlap, using a plane equation.

【図１０】 本発明の第３実施形態に係る物体の位置認
識装置の構成を示すブロック図。FIG. 10 is a block diagram showing the configuration of an object position recognition device according to a third embodiment of the present invention.

【図１１】 従来の物体の位置認識装置の構成を示すブ
ロック図。FIG. 11 is a block diagram showing a configuration of a conventional object position recognition device.

【図１２】 従来の物体の位置認識装置により計測され
る検出部品の明度分布の一例を示す図であり，（ａ）は
計測位置を示す模式的平面図，（ｂ）は明度分布を示す
特性図。FIG. 12 is a diagram showing an example of the brightness distribution of a detection component measured by a conventional object position recognition device, (a) is a schematic plan view showing the measurement position, and (b) is a characteristic showing the brightness distribution. Fig.

【図１３】 従来の物体の位置認識装置により計測され
る複数の検出部品が重なっている場合の明度分布の一例
を示す図であり，（ａ）は計測位置を示す模式的平面
図，（ｂ）は明度分布を示す特性図。FIG. 13 is a diagram showing an example of the brightness distribution in the case where a plurality of detection components measured by a conventional object position recognition device are overlapped, (a) is a schematic plan view showing the measurement position, ) Is a characteristic diagram showing the lightness distribution.

【図１４】 濃淡画像のヒストグラム。FIG. 14 is a histogram of a grayscale image.

【図１５】 ドットパターン画像のヒストグラム。FIG. 15 is a histogram of a dot pattern image.

【図１６】 ドットパターン画像Ｂのヒストグラム。16 is a histogram of dot pattern image B. FIG.

【図１７】 輪郭線情報から得られた閉領域の例をしめ
す概念図。FIG. 17 is a conceptual diagram showing an example of a closed region obtained from contour line information.

【符号の説明】[Explanation of symbols]

１，２０，４０…部品検出装置 ３…ロボットコントローラ ４…画像入力用カメラ ５，２５…画像取込み部 ７…特徴抽出部 ９…モデル記憶部 １１…モデル照合部 １３…重なり状態判断部 １５，２７，４１…上下判定部 １７…撮像領域 ２１…レーザ投光器 ２３…レーザフィルタ ２９…ドットパターン光基準位置記憶部 ３１…ドットパターン光３次元位置算出部 Ｐ₁ ，Ｐ₂ …検出部品1, 20 and 40 ... Component detection device 3 ... Robot controller 4 ... Image input camera 5, 25 ... Image capture unit 7 ... Feature extraction unit 9 ... Model storage unit 11 ... Model collation unit 13 ... Overlap state determination unit 15, 27 , 41 ... Vertical determination unit 17 ... Imaging area 21 ... Laser projector 23 ... Laser filter 29 ... Dot pattern light reference position storage unit 31 ... Dot pattern light three-dimensional position calculation unit P ₁ , P ₂ ... Detection component

Claims (6)

【特許請求の範囲】[Claims] 【請求項１】 検出対象物が配置された所定の領域を撮
像する撮像部と，上記撮像部の出力に基づいて上記所定
の領域に含まれる画像情報を生成する画像情報生成部
と，上記画像情報生成部により生成された画像情報に含
まれる上記検出対象物の輪郭線の情報を抽出する輪郭線
抽出部と，特定の認識対象物体の輪郭線の情報を予め記
憶するモデル情報記憶部と，上記モデル情報記憶部から
読み出した特定の認識対象物体の輪郭線の情報と上記輪
郭線抽出部により抽出された上記検出対象物の輪郭線の
情報とを照合し，該照合結果に基づいて上記検出対象物
と上記特定の認識対象物体との同一性を判定する輪郭線
照合部と，上記輪郭線照合部からの出力に基づいて上記
所定の領域内で複数の検出対象物が重なっているか否か
を判断する重なり状態判断部と，上記重なり状態判断部
により複数の検出対象物が重なっていると判断された場
合に，上記画像情報生成部が生成した画像情報における
画像の濃度分布に基づいて，上記複数の検出対象物の上
記撮像部の光軸方向の位置関係を判定する上下位置判定
部と，を具備してなることを特徴とする物体の位置認識
装置。1. An image pickup section for picking up an image of a predetermined area in which a detection target is arranged, an image information generation section for generating image information included in the predetermined area based on an output of the image pickup section, and the image. A contour line extraction unit that extracts information about the contour line of the detection target included in the image information generated by the information generation unit; a model information storage unit that stores in advance information about the contour line of a specific recognition target object; The contour line information of the specific recognition target object read from the model information storage unit is collated with the contour line information of the detection target object extracted by the contour line extraction unit, and the detection is performed based on the collation result. A contour line matching unit that determines the identity between the target object and the specific recognition target object, and whether or not a plurality of detection target objects overlap in the predetermined region based on the output from the contour line matching unit. Overlapping condition When the determination unit and the overlapping state determination unit determine that the plurality of detection targets overlap, the plurality of detection targets are detected based on the image density distribution in the image information generated by the image information generation unit. A position recognition apparatus for an object, comprising: a vertical position determination unit that determines a positional relationship of the imaging unit of the object in the optical axis direction. 【請求項２】 検出対象物が配置された所定の領域を撮
像する撮像部と，上記撮像部の出力に基づいて上記所定
の領域に含まれる画像情報を生成する画像情報生成部
と，上記画像情報生成部により生成された画像情報に含
まれる上記検出対象物の輪郭線の情報を抽出する輪郭線
抽出部と，特定の認識対象物体の輪郭線の情報を予め記
憶するモデル情報記憶部と，上記モデル情報記憶部から
読み出した特定の認識対象物体の輪郭線の情報と上記輪
郭線抽出部により抽出された上記検出対象物の輪郭線の
情報とを照合し，該照合結果に基づいて上記検出対象物
と上記特定の認識対象物体との同一性を判定する輪郭線
照合部と，上記輪郭線照合部からの出力に基づいて上記
所定の領域内で複数の検出対象物が重なっているか否か
を判断する重なり状態判断部と，上記所定の領域に対し
て予め定められた規則に従ったドットパターン光を照射
する照射部と，上記所定の領域に検出対象物が配置され
ていない状態で上記照射部からドットパターン光を照射
した場合の各ドットに対応する輝点の画像を予め記憶す
る基準ドット画像記憶部と，上記所定の領域に検出対象
物が配置された状態での輝点の画像と上記基準ドット画
像記憶部に記憶された輝点の画像とに基づいて，上記各
ドットに対応する輝点の３次元座標を算出する輝点位置
算出手段と，上記重なり状態判断部により複数の検出対
象物が重なっていると判断された場合に，上記輝点位置
算出部により算出された輝点の３次元座標の差異に基づ
いて，上記複数の検出対象物の位置関係を判定する上下
位置判定部と，を具備してなることを特徴とする物体の
位置認識装置。2. An image pickup section for picking up an image of a predetermined area in which a detection object is arranged, an image information generation section for generating image information included in the predetermined area based on the output of the image pickup section, and the image. A contour line extraction unit that extracts information about the contour line of the detection target included in the image information generated by the information generation unit; a model information storage unit that stores in advance information about the contour line of a specific recognition target object; The contour line information of the specific recognition target object read from the model information storage unit is collated with the contour line information of the detection target object extracted by the contour line extraction unit, and the detection is performed based on the collation result. A contour line matching unit that determines the identity between the target object and the specific recognition target object, and whether or not a plurality of detection target objects overlap in the predetermined region based on the output from the contour line matching unit. Overlapping condition A determination unit, an irradiation unit that irradiates the predetermined area with dot pattern light according to a predetermined rule, and a dot pattern from the irradiation unit in the state where the detection target is not arranged in the predetermined area. A reference dot image storage unit that stores in advance a bright spot image corresponding to each dot when irradiated with light, a bright spot image in a state where a detection target is arranged in the predetermined area, and the reference dot image Bright spot position calculation means for calculating the three-dimensional coordinates of the bright spot corresponding to each dot based on the image of the bright spot stored in the storage unit, and the plurality of detection objects are overlapped by the overlapping state determination unit. And a vertical position determination unit that determines the positional relationship of the plurality of detection objects based on the difference in the three-dimensional coordinates of the bright spots calculated by the bright spot position calculation unit. Specially equipped Position recognition device of the object to be. 【請求項３】 検出対象物が配置された所定の領域を撮
像する撮像部と，上記撮像部の出力に基づいて上記所定
の領域に含まれる画像情報を生成する画像情報生成部
と，上記画像情報生成部により生成された画像情報に含
まれる上記検出対象物の輪郭線の情報を抽出する輪郭線
抽出部と，特定の認識対象物体の輪郭線の情報を予め記
憶するモデル情報記憶部と，上記モデル情報記憶部から
読み出した特定の認識対象物体の輪郭線の情報と上記輪
郭線抽出部により抽出された上記検出対象物の輪郭線の
情報とを照合し，該照合結果に基づいて上記検出対象物
と上記特定の認識対象物体との同一性を判定する輪郭線
照合部と，上記輪郭線照合部からの出力に基づいて上記
所定の領域内で複数の検出対象物が重なっているか否か
を判断する重なり状態判断部と，上記所定の領域に対し
て予め定められた規則に従ったドットパターン光を照射
する照射部と，上記所定の領域に対象物が配置されてい
ない状態で上記照射部からドットパターン光を照射した
場合の各ドットに対応する輝点の画像を予め記憶する基
準ドット画像記憶部と，上記所定の領域に検出対象物が
配置された状態での輝点の画像と上記基準ドット画像記
憶部に記憶された輝点の画像とに基づいて，上記各ドッ
トに対応する輝点の３次元座標を算出する輝点位置算出
手段と，上記重なり状態判断部により複数の検出対象物
が重なっていると判断された場合に，上記画像情報生成
部が生成した画像情報における画像の濃度分布と，上記
輝点位置算出部により算出された輝点の３次元座標の差
異とに基づいて，上記複数の検出対象物の上記撮像部の
光軸方向の位置関係を判定する上下位置判定部と，を具
備してなることを特徴とする物体の位置認識装置。3. An image pickup section for picking up an image of a predetermined area in which a detection target is arranged, an image information generation section for generating image information included in the predetermined area based on the output of the image pickup section, and the image. A contour line extraction unit that extracts information about the contour line of the detection target included in the image information generated by the information generation unit; a model information storage unit that stores in advance information about the contour line of a specific recognition target object; The contour line information of the specific recognition target object read from the model information storage unit is collated with the contour line information of the detection target object extracted by the contour line extraction unit, and the detection is performed based on the collation result. A contour line matching unit that determines the identity between the target object and the specific recognition target object, and whether or not a plurality of detection target objects overlap in the predetermined region based on the output from the contour line matching unit. Overlapping condition A judging unit, an irradiating unit that irradiates the predetermined area with dot pattern light according to a predetermined rule, and a dot pattern light from the irradiating unit in a state where an object is not arranged in the predetermined area. Of a bright spot corresponding to each dot in the case of irradiation with a reference dot image storage unit, and an image of a bright spot and a reference dot image storage in which a detection target is arranged in the predetermined area. The bright spot position calculation means for calculating the three-dimensional coordinates of the bright spot corresponding to each dot based on the image of the bright spot stored in the section, and the overlapping state determination unit overlap the plurality of detection objects. If it is determined that the plurality of image information is generated, the plurality of image density distributions based on the image density distribution in the image information generated by the image information generation unit and the difference in the three-dimensional coordinates of the bright spots calculated by the bright spot position calculation unit Detection target Position recognition device of the object, characterized by comprising anda vertical position determination unit determines the positional relationship between the optical axis of the imaging unit. 【請求項４】 上記画像情報生成部により生成された画
像を２値化するためのしきい値を自動的に設定する画像
情報しきい値設定手段と，上記撮像部により撮像された
輝点画像を２値化するためのしきい値を自動的に設定す
る輝点情報しきい値設定手段とを具備してなる請求項２
若しくは請求項３に記載の物体の位置認識装置。4. An image information threshold value setting means for automatically setting a threshold value for binarizing the image generated by the image information generating section, and a bright spot image captured by the image capturing section. 3. A bright spot information threshold value setting means for automatically setting a threshold value for binarizing the threshold value.
Alternatively, the position recognition device for an object according to claim 3. 【請求項５】 上記上下位置判定部により検出された検
出対象物間の上下位置の差が，予め設定した所定のしき
い値よりも小さい時には，両対象物間の上下差を０と判
定する請求項３若しくは請求項４記載の物体の位置認識
装置。5. The vertical difference between the objects is determined to be 0 when the vertical position difference between the detection objects detected by the vertical position determination unit is smaller than a predetermined threshold value set in advance. The position recognition device for an object according to claim 3 or 4. 【請求項６】 上記輪郭線照合部が，照合結果が正しい
部品の位置情報を表しているか否かを検証する検証部を
含んでなる請求項３若しくは請求項４記載の物体の位置
認識装置。6. The object position recognition device according to claim 3, wherein the contour line matching unit includes a verification unit that verifies whether or not the matching result represents correct position information of the component.