JP5839671B2 - 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium - Google Patents
3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium Download PDFInfo
- Publication number
- JP5839671B2 JP5839671B2 JP2011204945A JP2011204945A JP5839671B2 JP 5839671 B2 JP5839671 B2 JP 5839671B2 JP 2011204945 A JP2011204945 A JP 2011204945A JP 2011204945 A JP2011204945 A JP 2011204945A JP 5839671 B2 JP5839671 B2 JP 5839671B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- edge
- image
- information
- captured images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
この発明は、複数の撮像部により異なる場所から対象物を撮像して得られる撮像画像に対してステレオマッチング処理を行って、三次元における対象物の位置および姿勢を求める技術に関する。 The present invention relates to a technique for performing stereo matching processing on captured images obtained by imaging a target object from different locations by a plurality of imaging units to obtain the position and orientation of the target object in three dimensions.
特許文献１では、複数のカメラから対象物を撮像した結果に基づいて、対象物の三次元モデルを生成する三次元モデリング技術が記載されている。このような三次元モデリング技術では、異なる場所から対象物を撮像して得られる複数の撮像画像に対してステレオマッチング処理が施される。このステレオマッチング処理では、対象物の同一部分に対応する位置が複数の撮像画像の各々から求められて相互に対応付けられるとともに、こうして対応付けられた位置での各撮像画像間の視差が求められる。このような対応付けの結果、撮像画像の各位置での視差を示した二次元画像（視差画像）が求められる。そして、この視差画像に基づいて、対象物の三次元モデルを生成することができる。 Patent Document 1 describes a three-dimensional modeling technique for generating a three-dimensional model of an object based on results of imaging the object from a plurality of cameras. In such a three-dimensional modeling technique, a stereo matching process is performed on a plurality of captured images obtained by imaging a target object from different locations. In this stereo matching process, positions corresponding to the same part of the target object are obtained from each of the plurality of captured images and associated with each other, and the parallax between the captured images at the associated positions is thus obtained. . As a result of such association, a two-dimensional image (parallax image) showing the parallax at each position of the captured image is obtained. Then, based on this parallax image, a three-dimensional model of the object can be generated.
ところで、機械部品や電子部品等の部品を組み立てる産業用ロボットに、上述のような技術を応用することが考えられる。具体例を挙げると、このような産業用ロボットとしては、部品を取り上げて移動させるアームを用いて部品を組み立てるものがある。この際、部品を確実に取り上げるには、三次元における部品の位置および姿勢を正確に把握する必要がある。そこで、上述のように、異なる場所から部品を撮像して得られる複数の撮像画像にステレオマッチング処理を施して、三次元における部品の位置・姿勢を認識し、この認識結果に基づいて産業用ロボットのアームを制御することが考えられる。 By the way, it is conceivable to apply the above-described technology to an industrial robot for assembling parts such as mechanical parts and electronic parts. As a specific example, there is an industrial robot that assembles parts using an arm that picks up and moves the parts. At this time, in order to reliably pick up the part, it is necessary to accurately grasp the position and orientation of the part in three dimensions. Therefore, as described above, a stereo matching process is performed on a plurality of captured images obtained by imaging parts from different locations to recognize the position and orientation of the parts in three dimensions, and the industrial robot is based on the recognition result. It is conceivable to control the arm.
この際、三次元における部品の位置および姿勢を正確に認識するにあたっては、部品の特にエッジ部分の視差が重要となる。つまり、ステレオマッチング処理では、複数の撮像画像の間でパターンの類似する位置どうしが部品の同一部分に対応するとして、互いに対応付けられる。このような対応付けは、パターンの変化が急峻なエッジ部分に対しては高い精度で実行される。一方で、画像パターンの変化が緩やかな他の部分については、対応付けの精度が低下する。このように、対応付けの精度は、部品のエッジ部分で高くなる一方、その他の部分で低くなる傾向を有する。したがって、三次元における部品の位置および姿勢の認識動作を、対応付けの精度の高い部品のエッジ部分の視差に基づいて実行することが好適となる。 At this time, in order to accurately recognize the position and orientation of the component in three dimensions, the parallax of the edge portion of the component is particularly important. That is, in the stereo matching process, positions where patterns are similar between a plurality of captured images correspond to the same part of the components, and are associated with each other. Such association is executed with high accuracy for an edge portion where the pattern change is steep. On the other hand, associating accuracy decreases for other portions where the change in the image pattern is slow. As described above, the matching accuracy tends to be high at the edge portion of the component, but low at the other portions. Therefore, it is preferable to execute the recognition operation of the position and orientation of the component in three dimensions based on the parallax of the edge portion of the component with high matching accuracy.
この発明は上記課題に鑑みなされたものであり、三次元における対象物（部品）の位置および姿勢の認識動作を、対象物のエッジ部分の視差に基づいて実行することを可能とし、これによって当該認識動作を正確に実行することを可能とする技術の提供を目的とする。 The present invention has been made in view of the above problems, and enables recognition operation of the position and orientation of an object (part) in three dimensions based on the parallax of the edge portion of the object. An object of the present invention is to provide a technique capable of accurately executing a recognition operation.
この発明にかかる三次元位置・姿勢認識装置は、上記目的を達成するために、複数の撮像部から対象物を撮像することで、互いに異なる場所から前記対象物を撮像した複数の撮像画像を取得する画像取得部と、複数の撮像画像についてステレオマッチング処理を行って、複数の撮像画像間の視差を示す視差情報を取得する視差取得部と、撮像画像からエッジを抽出して、対象物のエッジを示すエッジ情報を取得するエッジ抽出部と、エッジ情報が示す対象物のエッジ上の位置での視差を、視差情報に含まれる視差から抽出する視差抽出部と、視差抽出部が抽出した視差に基づいて、三次元における対象物の位置および姿勢を認識する認識部と、を備え、エッジ抽出部は、複数の撮像画像のうちの一の撮像画像からエッジを抽出して得られる対象物のエッジ画像を、エッジ情報として求め、視差取得部は、一の撮像画像の各位置での視差を示す視差画像を、視差情報として求め、視差抽出部は、視差画像にエッジ画像を重ね合わせることで、エッジ画像が示す対象物のエッジ上の位置での視差を、視差画像に含まれる視差から抽出することを特徴としている。 In order to achieve the above object, the three-dimensional position / posture recognition apparatus according to the present invention captures a plurality of captured images obtained by capturing the target object from different locations by capturing the target object from a plurality of imaging units. An image acquisition unit that performs stereo matching processing on a plurality of captured images to acquire parallax information indicating parallax between the plurality of captured images, and extracts an edge from the captured image to obtain an edge of the object An edge extraction unit that acquires edge information indicating the parallax, a parallax extraction unit that extracts a parallax at a position on the edge of the object indicated by the edge information from the parallax included in the parallax information, and a parallax extracted by the parallax extraction unit based on, and a recognition unit for recognizing position and orientation of objects in three dimensions, the edge extraction section, pairs obtained by extracting an edge from the captured image of the plurality of captured images An edge image of the object is obtained as edge information, the parallax acquisition unit obtains a parallax image indicating the parallax at each position of one captured image as parallax information, and the parallax extraction unit superimposes the edge image on the parallax image Thus, the parallax at the position on the edge of the object indicated by the edge image is extracted from the parallax included in the parallax image .
この発明にかかる産業用ロボットは、上記目的を達成するために、部品を取って移動させる部品移動手段と、上記の三次元位置・姿勢認識装置と、三次元位置・姿勢認識装置により対象物としての部品の三次元での位置および姿勢を認識した結果に基づいて、部品移動手段を制御する制御手段とを備えることを特徴としている。 In order to achieve the above object, an industrial robot according to the present invention uses a component moving means for moving a component as a target, the three-dimensional position / posture recognition device, and the three-dimensional position / posture recognition device as an object. And a control means for controlling the part moving means based on the result of recognizing the position and orientation of the part in three dimensions.
また、この発明にかかる三次元位置・姿勢認識方法は、上記目的を達成するために、互いに異なる場所から対象物を撮像した複数の撮像画像を取得する画像取得工程と、複数の撮像画像についてステレオマッチング処理を行って、複数の撮像画像間の視差を示す視差情報を取得する視差取得工程と、撮像画像からエッジを抽出して、対象物のエッジを示すエッジ情報を取得するエッジ抽出工程と、エッジ情報が示す対象物のエッジ上の位置での視差を、視差情報に含まれる視差から抽出する視差抽出工程と、視差抽出工程が抽出した視差に基づいて、三次元における対象物の位置および姿勢を認識する認識工程と、を備え、エッジ抽出工程は、複数の撮像画像のうちの一の撮像画像からエッジを抽出して得られる対象物のエッジ画像を、エッジ情報として求め、視差取得工程は、一の撮像画像の各位置での視差を示す視差画像を、視差情報として求め、視差抽出工程は、視差画像にエッジ画像を重ね合わせることで、エッジ画像が示す対象物のエッジ上の位置での視差を、視差画像に含まれる視差から抽出することを特徴としている。 Further, in order to achieve the above object, the three-dimensional position / posture recognition method according to the present invention includes an image acquisition step of acquiring a plurality of captured images obtained by capturing an object from different locations, and stereo for the plurality of captured images. A parallax acquisition step of performing parallax information indicating parallax between a plurality of captured images by performing a matching process; an edge extraction step of extracting edge from the captured image and acquiring edge information indicating the edge of the object; The parallax extraction process for extracting the parallax at the position on the edge of the object indicated by the edge information from the parallax included in the parallax information, and the position and orientation of the object in three dimensions based on the parallax extracted by the parallax extraction process and a recognition step of recognizing the edge extraction process, an edge image of the object obtained by extracting an edge from the captured image of the plurality of captured images, edge Obtained as information, the parallax acquisition step obtains parallax images indicating parallax at each position of one captured image as parallax information, and the parallax extraction step represents the edge image by superimposing the edge image on the parallax image It is characterized in that the parallax at the position on the edge of the object is extracted from the parallax included in the parallax image .
また、この発明にかかるプログラムは、上記目的を達成するために、互いに異なる場所から対象物を撮像した複数の撮像画像を取得する画像取得機能と、複数の撮像画像についてステレオマッチング処理を行って、複数の撮像画像間の視差を示す視差情報を取得する視差取得機能と、撮像画像からエッジを抽出して、対象物のエッジを示すエッジ情報を取得するエッジ抽出機能と、エッジ情報が示す対象物のエッジ上の位置での視差を、視差情報に含まれる視差から抽出する視差抽出機能と、視差抽出機能が抽出した視差に基づいて、三次元における対象物の位置および姿勢を認識する認識機能とを、コンピューターに実現させ、エッジ抽出機能は、複数の撮像画像のうちの一の撮像画像からエッジを抽出して得られる対象物のエッジ画像を、エッジ情報として求め、視差取得機能は、一の撮像画像の各位置での視差を示す視差画像を、視差情報として求め、視差抽出機能は、視差画像にエッジ画像を重ね合わせることで、エッジ画像が示す対象物のエッジ上の位置での視差を、視差画像に含まれる視差から抽出することを特徴としている。 Further, in order to achieve the above object, the program according to the present invention performs an image acquisition function for acquiring a plurality of captured images obtained by capturing an object from different locations, and a stereo matching process for the plurality of captured images, A parallax acquisition function for acquiring parallax information indicating parallax between a plurality of captured images, an edge extraction function for extracting edge from a captured image and acquiring edge information indicating the edge of the target object, and an object indicated by the edge information A parallax extraction function for extracting the parallax at the position on the edge from the parallax included in the parallax information, and a recognition function for recognizing the position and orientation of the object in three dimensions based on the parallax extracted by the parallax extraction function; and to realize the computer, the edge extraction function, an edge image of the object obtained by extracting an edge from the captured image of the plurality of captured images Obtained as edge information, the parallax acquisition function obtains parallax images indicating parallax at each position of one captured image as parallax information, and the parallax extraction function superimposes the edge image on the parallax image, The parallax at the position on the edge of the object to be shown is extracted from the parallax included in the parallax image .
また、この発明にかかる記録媒体は、上記目的を達成するために、上記のプログラムが記録されており、コンピューターにより読み取りが可能であることを特徴としている。 In order to achieve the above object, a recording medium according to the present invention records the above program and is readable by a computer.
このように構成された発明（三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体）では、互いに異なる場所から対象物を撮像した複数の撮像画像に対してステレオマッチング処理が実行されて、複数の撮像画像間の視差を示す視差情報が取得される。また、撮像画像からエッジが抽出されて、対象物のエッジを示すエッジ情報が取得される。そして、エッジ情報が示す対象物のエッジ上の位置での視差が、視差情報に含まれる視差から抽出されるとともに、こうして抽出された視差に基づいて、三次元における対象物の位置および姿勢が認識される。これにより、対象物のエッジ部分の視差に基づいて、三次元における対象物の位置および姿勢を認識することが可能となり、その結果、当該認識動作を正確に実行することが可能となる。 In the invention configured in this way (three-dimensional position / posture recognition device, industrial robot, three-dimensional position / posture recognition method, program, recording medium), a plurality of picked-up images obtained by picking up objects from different places are used. Then, the stereo matching process is executed, and parallax information indicating the parallax between the plurality of captured images is acquired. Further, an edge is extracted from the captured image, and edge information indicating the edge of the object is acquired. Then, the parallax at the position on the edge of the object indicated by the edge information is extracted from the parallax included in the parallax information, and the position and orientation of the object in three dimensions are recognized based on the extracted parallax. Is done. Thereby, based on the parallax of the edge part of a target object, it becomes possible to recognize the position and attitude | position of a target object in three dimensions, As a result, it becomes possible to perform the said recognition operation | movement correctly.
ここで、エッジ抽出部は、複数の撮像画像のうちの一の撮像画像からエッジを抽出して得られる対象物のエッジ画像を、エッジ情報として求めるように、三次元位置・姿勢認識装置を構成している。 Here, the edge extraction unit configures the three-dimensional position / posture recognition apparatus so as to obtain, as edge information, an edge image of an object obtained by extracting an edge from one of the plurality of captured images. Is doing .
この際、視差取得部は、一の撮像画像の各位置での視差を示す視差画像を、視差情報として求めるように、三次元位置・姿勢認識装置を構成している。 In this case, the parallax acquisition unit parallax images indicating the parallax at each position one of the captured image, as determined as the parallax information, constitute the three-dimensional position and orientation recognition device.
そして、このようにエッジ画像と視差画像を求めた上で、視差抽出部は、視差画像にエッジ画像を重ね合わせることで、エッジ画像が示す対象物のエッジ上の位置での視差を、視差画像に含まれる視差から抽出するように、三次元位置・姿勢認識装置を構成している。これによって、視差（視差画像）から視差を抽出する上述の動作を簡便に実行することができる。
Then, after obtaining the edge image and the parallax image in this way, the parallax extraction unit superimposes the edge image on the parallax image, thereby obtaining the parallax at the position on the edge of the object indicated by the edge image. to extract from the parallax included in and constitute a three-dimensional position and orientation recognition device. Thereby, the above-described operation for extracting the parallax from the parallax (parallax image) can be easily performed.
また、視差取得部は、複数の撮像画像それぞれのエピポーラ線を平行にする画像変換を行って、当該画像変換後の複数の撮像画像についてステレオマッチングを実行するように、三次元位置・姿勢認識装置を構成しても良い。このように、複数の撮像画像それぞれのエピポーラ線を平行にすることで、ステレオマッチングを簡便に実行することが可能となる。 In addition, the parallax acquisition unit performs image conversion to make the epipolar lines of the plurality of captured images parallel to each other, and performs stereo matching for the plurality of captured images after the image conversion. May be configured. Thus, stereo matching can be easily executed by making the epipolar lines of each of the plurality of captured images parallel to each other.
また、認識部は、視差抽出部が抽出した視差を三次元での情報に変換して三次元情報を生成するとともに、三次元情報と対象物の外形を示すモデルとをマッチングさせて、三次元における対象物の位置および姿勢を認識するように、三次元位置・姿勢認識装置を構成しても良い。つまり、この発明では、対象物のエッジ部分での視差が求められており、換言すれば、対応付けの精度の高い位置での視差が求められている。そして、このような視差から求めた三次元情報に対して対象物の外形を示すモデルをマッチングさせることで、三次元における対象物の位置および姿勢を正確に認識することができる。 The recognizing unit converts the parallax extracted by the parallax extracting unit into three-dimensional information to generate three-dimensional information, and also matches the three-dimensional information with a model indicating the outer shape of the object, The three-dimensional position / posture recognition apparatus may be configured to recognize the position and posture of the target object. In other words, in the present invention, the parallax at the edge portion of the object is obtained. In other words, the parallax at the position with high accuracy of association is obtained. Then, by matching a model indicating the outer shape of the target object with the three-dimensional information obtained from such parallax, the position and orientation of the target object in three dimensions can be accurately recognized.
三次元における対象物の位置および姿勢の認識動作を、対象物のエッジ部分の視差に基づいて実行することが可能となり、これによって当該認識動作を正確に実行することが可能となる。 The recognition operation of the position and orientation of the target object in three dimensions can be executed based on the parallax of the edge portion of the target object, thereby enabling the recognition operation to be executed accurately.
図１は、本発明を適用可能な双腕ロボットの一例を模式的示す斜視図である。図２は、図１の双腕ロボットが具備する電気的構成を模式的に示すブロック図である。図１および以下に示す図では、鉛直方向をｚ軸方向とするｘｙｚ直交座標軸を適宜示すこととする。 FIG. 1 is a perspective view schematically showing an example of a double-arm robot to which the present invention can be applied. FIG. 2 is a block diagram schematically showing the electrical configuration of the double-arm robot of FIG. In FIG. 1 and the drawings shown below, xyz orthogonal coordinate axes having the vertical direction as the z-axis direction are shown as appropriate.
双腕ロボット１は、ロボット本体２とこのロボット本体２の動作を制御するコンピューター３で構成される。ロボット本体２は、胴体部２１に２本のアーム２２を取り付けた概略構成を備える。詳しくは、各アーム２２は、駆動モーターＭ23に接続された肩関節２３を介して取り付けられている。そして、駆動モーターＭ23で肩関節２３を回転させることで、アーム２２を動かすことができる。 The double-arm robot 1 includes a robot body 2 and a computer 3 that controls the operation of the robot body 2. The robot body 2 has a schematic configuration in which two arms 22 are attached to the body portion 21. Specifically, each arm 22 is attached via a shoulder joint 23 connected to a drive motor M23. The arm 22 can be moved by rotating the shoulder joint 23 with the drive motor M23.
また、各アーム２２の先端には、手首関節２４を介してハンド２５が取り付けられている。この手首関節２４には駆動モーターＭ24が接続されている。したがって、駆動モーターＭ24で手首関節２４を回転させることで、ハンド２５の向きを変えることができる。さらに、ハンド２５には駆動モーターＭ25が接続されており、駆動モーターＭ25によりハンド２５を開閉させることができる。 A hand 25 is attached to the tip of each arm 22 via a wrist joint 24. A drive motor M24 is connected to the wrist joint 24. Therefore, the direction of the hand 25 can be changed by rotating the wrist joint 24 with the drive motor M24. Further, a drive motor M25 is connected to the hand 25, and the hand 25 can be opened and closed by the drive motor M25.
そして、双腕ロボット１は、駆動モーターＭ23〜Ｍ25を制御することで、部品トレイ９の上に並ぶ部品９１（機械部品、電子部品）をハンド２５で掴んで所定位置まで運んだり、ハンド２５を回転させて部品９１の姿勢を変えたり、ハンド２５から部品９１を放して所定位置に載置したりといった種々の動作を実行できる。つまり、このような各種動作を組み合わせて実行することで、双腕ロボット１は、部品９１を組み立てることができる。 Then, the double-arm robot 1 controls the drive motors M23 to M25 so that the components 91 (mechanical components and electronic components) arranged on the component tray 9 are grasped by the hand 25 and carried to a predetermined position. Various operations such as changing the posture of the component 91 by rotating it or releasing the component 91 from the hand 25 and placing it at a predetermined position can be executed. That is, the two-arm robot 1 can assemble the component 91 by executing such various operations in combination.
また、２本のアーム２２の一方には、２つの撮像カメラＣ1、Ｃ2が取り付けられている。これら撮像カメラＣ1、Ｃ2は一方のアーム２２と一体的に移動しつつ、部品９１を適宜撮像するものである。そして、後述するように、撮像カメラＣ1、Ｃ2により部品９１を撮像した結果に基づいて、アーム２２およびハンド２５の動作が制御されて、部品９１の組立が実行される。 Further, two imaging cameras C 1 and C 2 are attached to one of the two arms 22. These imaging cameras C1 and C2 image the component 91 as appropriate while moving integrally with one arm 22. As will be described later, the operations of the arm 22 and the hand 25 are controlled based on the result of imaging the component 91 by the imaging cameras C1 and C2, and the assembly of the component 91 is executed.
さらに、双腕ロボット１は、胴体部２１から上方に延びる首部２６と、首部２６の先端に取り付けられた頭部２７を有している。これら首部２６および頭部２７は、鉛直方向ｚおよび当該方向ｚを中心とする回転方向Ｄrに一体的に移動できる。 Further, the double-arm robot 1 has a neck portion 26 extending upward from the body portion 21 and a head portion 27 attached to the tip of the neck portion 26. The neck portion 26 and the head portion 27 can move integrally in a vertical direction z and a rotation direction Dr with the direction z as a center.
このようなロボット本体２の動作は、コンピューター３により制御される。コンピューター３は、ドライバー４と、三次元認識部５とを具備している。ドライバー４は、コンピューター３により読み取りが可能な記録媒体６に記録されたプログラム７を読み出す機能を果たす。このような記録媒体６としては、例えば、ＣＤ(Compact Disc)、ＤＶＤ(Digital Versatile Disc)、ＵＳＢ(Universal Serial Bus)メモリー等の種々のものが挙げられる。そして、ドライバー４が記録媒体６から読み出したプログラム７に従って、三次元認識部５が三次元認識を行う。 Such an operation of the robot body 2 is controlled by the computer 3. The computer 3 includes a driver 4 and a three-dimensional recognition unit 5. The driver 4 functions to read the program 7 recorded on the recording medium 6 that can be read by the computer 3. Examples of such a recording medium 6 include various types such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a USB (Universal Serial Bus) memory. Then, according to the program 7 read out from the recording medium 6 by the driver 4, the three-dimensional recognition unit 5 performs three-dimensional recognition.
この三次元認識部５は、制御回路５０によって他の構成回路５１〜５６を制御する概略構成を備えるものであり、コンピューター３に備えられたＣＰＵ(Central Processing Unit)およびメモリーにより実現される。続いて、三次元認識部５が実行する三次元認識の説明を通じて、三次元認識部５の構成について説明する。 The three-dimensional recognition unit 5 includes a schematic configuration in which the other configuration circuits 51 to 56 are controlled by the control circuit 50, and is realized by a CPU (Central Processing Unit) and a memory provided in the computer 3. Next, the configuration of the three-dimensional recognition unit 5 will be described through the description of the three-dimensional recognition performed by the three-dimensional recognition unit 5.
図３は、三次元認識で実行される動作のフローの一例を示すフローチャートである。図４は、三次元認識で行われる画像処理の一例を模式的に示した図である。図４の各欄の左上では、図３のフローチャートにおいて当該欄内に示す画像処理が実行されるステップが示されている。ここでは、四角錐台の部品９１の三次元における位置および姿勢を認識する場合を例示して説明する。 FIG. 3 is a flowchart showing an example of a flow of operations executed in the three-dimensional recognition. FIG. 4 is a diagram schematically illustrating an example of image processing performed in three-dimensional recognition. In the upper left of each column in FIG. 4, steps in which the image processing shown in the column in the flowchart in FIG. 3 is executed are shown. Here, a case will be described in which the position and orientation of the part 91 of the quadrangular pyramid are recognized in three dimensions.
三次元認識では、制御回路５０が撮像カメラＣ1、Ｃ2に撮像指令を出力すると、撮像カメラＣ1、Ｃ2のそれぞれが認識対象である部品９１の画像を撮像して、制御回路５０に出力する。こうして、異なる場所から部品９１を撮像した２枚の撮像画像Ｉ1、Ｉ2が取得される（ステップＳ１０１）。 In the three-dimensional recognition, when the control circuit 50 outputs an imaging command to the imaging cameras C1 and C2, each of the imaging cameras C1 and C2 captures an image of the component 91 that is a recognition target and outputs it to the control circuit 50. In this way, two captured images I1 and I2 obtained by imaging the component 91 from different locations are acquired (step S101).
これら２枚の撮像画像Ｉ1、Ｉ2は、平行化回路５１で平行化処理を受けた後にステレオマッチング回路５２へ出力される。この平行化回路５１は、制御回路５０から受け取った撮像画像Ｉ1、Ｉ2それぞれのエピポーラ線を平行にする平行化処理（画像変換）を撮像画像Ｉ1、Ｉ2に対して行うものである（ステップＳ１０２）。 These two captured images I 1 and I 2 are output to the stereo matching circuit 52 after being subjected to parallelization processing by the parallelization circuit 51. The parallelization circuit 51 performs parallelization processing (image conversion) on the captured images I1 and I2 to make the epipolar lines of the captured images I1 and I2 received from the control circuit 50 parallel (step S102). .
図４のステップＳ１０１、１０２の欄に示すように、それぞれのエピポーラ線が平行となった撮像画像Ｉ1、Ｉ2のｙ軸は一致している。ただし、ｘ軸方向には撮像画像Ｉ1、Ｉ2が視差を有することから、撮像画像Ｉ1、Ｉ2のｘ軸は一致していない。図４ではこの点を考慮して、撮像画像Ｉ1、Ｉ2のｘ座標に対して互いに異なる符合ｘ1、ｘ2が付されている。 As shown in the columns of steps S101 and S102 in FIG. 4, the y-axes of the captured images I1 and I2 in which the epipolar lines are parallel to each other match. However, since the captured images I1 and I2 have parallax in the x-axis direction, the x-axis of the captured images I1 and I2 does not match. In FIG. 4, in consideration of this point, different signs x1, x2 are attached to the x coordinates of the captured images I1, I2.
平行化回路５１で平行化処理を受けた撮像画像Ｉ1、Ｉ2は、ステレオマッチング回路５２に出力される。そして、ステレオマッチング回路５２は、撮像画像Ｉ1、Ｉ2に対してステレオマッチング処理を行う（ステップＳ１０３）。このステレオマッチング処理では、２つの撮像画像Ｉ1、Ｉ2の間でパターンの類似する位置（微小領域）どうしが部品９１の同一部分に対応するとして、互いに対応付けられる。 The captured images I 1 and I 2 that have undergone the parallel processing by the parallel circuit 51 are output to the stereo matching circuit 52. Then, the stereo matching circuit 52 performs stereo matching processing on the captured images I1 and I2 (step S103). In this stereo matching process, positions (small areas) having similar patterns between the two captured images I1 and I2 are associated with each other on the assumption that they correspond to the same part of the component 91.
具体的に説明すると、撮像画像Ｉ1中の注目位置と、この注目位置を通るエピポーラ線上にある撮像画像Ｉ2中の各位置との間でパターンの類似性が判断されて、撮像画像Ｉ1の注目位置とパターンの類似する位置が撮像画像Ｉ2中から探索される。ここでは撮像画像Ｉ1、Ｉ2のエピポーラ線が互いに平行であるため、ｙ座標が注目位置と同じである撮像画像Ｉ2の各位置と注目位置との間でパターンの類似性が判断される。その結果、撮像画像Ｉ2の各位置のうち最も類似性の高い位置が、撮像画像Ｉ1の注目位置と対応付けられる。さらに、撮像画像Ｉ1中の注目位置を移動させながら同様の動作を繰り返すことで、撮像画像Ｉ1の各位置と撮像画像Ｉ2の各位置とが対応付けられる。 More specifically, pattern similarity is determined between the target position in the captured image I1 and each position in the captured image I2 on the epipolar line passing through the target position, and the target position of the captured image I1. Are searched from the captured image I2. Here, since the epipolar lines of the captured images I1 and I2 are parallel to each other, the similarity of the pattern is determined between each position of the captured image I2 having the same y coordinate as the target position and the target position. As a result, the position having the highest similarity among the positions of the captured image I2 is associated with the target position of the captured image I1. Further, by repeating the same operation while moving the position of interest in the captured image I1, each position of the captured image I1 is associated with each position of the captured image I2.
そして、ステレオマッチング回路５２は、こうして対応付けられた２つの位置の間の視差ｐを算出する。具体的には、撮像画像Ｉ1中の位置とこれに対応する撮像画像Ｉ2中の位置との視差ｐが求められて、撮像画像Ｉ1中の位置に対して視差ｐが付与される。このようにして、撮像画像Ｉ1中の座標系(x1,y)の各位置に対して視差ｐを付与した視差画像Ｉsが生成される。言い換えれば、視差画像Ｉsは、撮像画像Ｉ1の座標系(x1,y)の各位置での視差ｐ(x1,y)を示す情報である。 Then, the stereo matching circuit 52 calculates the parallax p between the two positions thus associated. Specifically, the parallax p between the position in the captured image I1 and the corresponding position in the captured image I2 is obtained, and the parallax p is given to the position in the captured image I1. In this way, the parallax image Is with the parallax p added to each position of the coordinate system (x1, y) in the captured image I1 is generated. In other words, the parallax image Is is information indicating the parallax p (x1, y) at each position in the coordinate system (x1, y) of the captured image I1.
なお、図４のステップＳ１０３の欄に示すように、視差画像Ｉsにおいて部品９１の輪郭Ｌは、一定の幅を持ったぼやけたものとなる。これは、ステレオマッチング処理での対応付けが、微小領域単位で実行されるために、視差画像Ｉsにおいて部品９１の輪郭Ｌが少なくとも微小領域の幅を有することに起因する。 As shown in the column of step S103 in FIG. 4, the contour L of the component 91 in the parallax image Is is blurred with a certain width. This is due to the fact that the contour L of the component 91 has at least the width of the minute region in the parallax image Is because the association in the stereo matching process is executed in units of the minute region.
ところで、平行化回路５１は平行化処理を行った撮像画像Ｉ1を、上述のステレオマッチング回路５２の他にエッジ抽出回路５３にも出力する。エッジ抽出回路５３は、受け取った撮像画像Ｉ1を二値化することで、撮像画像Ｉ1からエッジＥを抽出する（ステップＳ１０４）。こうして、部品９１のエッジＥを示すエッジ画像Ｉeが生成される（図４のステップＳ１０４の欄）。 Incidentally, the parallelizing circuit 51 outputs the captured image I1 subjected to the parallelizing process to the edge extracting circuit 53 in addition to the stereo matching circuit 52 described above. The edge extraction circuit 53 extracts the edge E from the captured image I1 by binarizing the received captured image I1 (step S104). In this way, an edge image Ie indicating the edge E of the component 91 is generated (column in step S104 in FIG. 4).
このようにして、ステレオマッチング回路５２およびエッジ抽出回路５３で求められた、視差画像Ｉsおよびエッジ画像Ｉeはマスク回路５４に出力される。そして、このマスク回路５４では、撮像画像Ｉ1の座標系(x1,y)において、視差画像Ｉsとエッジ画像Ｉeとが重ね合わされ、これによって、視差画像Ｉsにおける部品９１の輪郭Ｌとエッジ画像Ｉeにおける部品９１のエッジＥとが重ね合わされる（ステップＳ１０５）。そして、エッジ画像Ｉeの示す部品９１のエッジＥ上に位置する視差ｐのみが、視差画像Ｉsに含まれる視差ｐから抽出されて、エッジＥ上の視差ｐのみを示すエッジ視差画像Ｉesが形成される（ステップＳ１０６）。このように、マスク回路５４において、エッジ画像Ｉeは、部品９１のエッジＥ上に位置する視差ｐのみを視差画像Ｉsから抽出するマスク画像として機能する。 In this way, the parallax image Is and the edge image Ie obtained by the stereo matching circuit 52 and the edge extraction circuit 53 are output to the mask circuit 54. In the mask circuit 54, the parallax image Is and the edge image Ie are superimposed on each other in the coordinate system (x1, y) of the captured image I1, thereby the contour L of the component 91 in the parallax image Is and the edge image Ie. The edge E of the component 91 is overlaid (step S105). Then, only the parallax p located on the edge E of the component 91 indicated by the edge image Ie is extracted from the parallax p included in the parallax image Is, and the edge parallax image Ies indicating only the parallax p on the edge E is formed. (Step S106). Thus, in the mask circuit 54, the edge image Ie functions as a mask image for extracting only the parallax p located on the edge E of the component 91 from the parallax image Is.
こうして、マスク回路５４において、視差画像ＩsからエッジＥ上の視差ｐのみを抽出したエッジ視差画像Ｉes（図４のステップＳ１０６の欄内）は、三次元情報生成回路５５に出力される。この三次元情報生成回路５５は、受け取ったエッジ視差画像Ｉesから三次元情報Ｓを生成する。つまり、ｘｙ平面での位置(x1,y)での視差ｐを示す情報Ｉesが、当該位置(x1,y)でのｚ成分を示す三次元情報Ｓに変換される。こうして、三次元の座標系(x1,y,z)における位置を示す三次元情報Ｓが生成される。 In this way, the edge parallax image Ies (in the column of step S106 in FIG. 4) obtained by extracting only the parallax p on the edge E from the parallax image Is in the mask circuit 54 is output to the three-dimensional information generation circuit 55. The three-dimensional information generation circuit 55 generates three-dimensional information S from the received edge parallax image Ies. That is, the information Ies indicating the parallax p at the position (x1, y) on the xy plane is converted into the three-dimensional information S indicating the z component at the position (x1, y). Thus, the three-dimensional information S indicating the position in the three-dimensional coordinate system (x1, y, z) is generated.
なお、この三次元情報Ｓの変換にあたっては、撮像カメラＣ1、Ｃ2の焦点距離等の内部パラメーターや、撮像カメラＣ1、Ｃ2の位置関係を示す基礎行列Ｆが必要となる。この基礎行列Ｆについては、予め行われた撮像カメラＣ1、Ｃ2の校正時に求められて、三次元情報生成回路５５に記憶されている。 Note that when converting the three-dimensional information S, internal parameters such as the focal lengths of the imaging cameras C1 and C2 and a basic matrix F indicating the positional relationship between the imaging cameras C1 and C2 are required. The basic matrix F is obtained when the imaging cameras C1 and C2 are calibrated in advance and is stored in the three-dimensional information generation circuit 55.
こうして、求められた部品９１の三次元情報Ｓは、三次元情報生成回路５５からモデルマッチング回路５６へ出力される。そして、モデルマッチング回路５６は、部品９１の外形を示す外形モデルと三次元情報Ｓとをマッチングさせるモデルマッチングを行う（ステップＳ１０８）。このとき使用される部品９１のモデルは、部品９１の外形を示すＣＡＤ(computer aided design)データから求められて、モデルマッチング回路５６に予め記憶されている。 Thus, the obtained three-dimensional information S of the component 91 is output from the three-dimensional information generation circuit 55 to the model matching circuit 56. Then, the model matching circuit 56 performs model matching for matching the outer shape model indicating the outer shape of the component 91 and the three-dimensional information S (step S108). The model of the component 91 used at this time is obtained from CAD (computer aided design) data indicating the outer shape of the component 91 and is stored in the model matching circuit 56 in advance.
モデルマッチングの結果Ｒmは、モデルマッチング回路５６から制御回路５０に出力される。制御回路５０は、モデルマッチング結果Ｒmに基づいて、三次元における部品９１の位置および姿勢を認識する三次元認識処理を実行する（ステップＳ１０９）。言い換えれば、ステップＳ１０９では、モデルマッチング結果Ｒmに基づいて、三次元における部品９１の位置および姿勢を示す三次元モデルが生成される（三次元モデリング）。そして、制御回路５０は、部品９１の三次元モデルとロボット本体２の座標系に基づいて、各駆動モーターＭ23〜Ｍ25を制御して、双腕ロボット１による部品９１の組立動作を実行する。 The model matching result Rm is output from the model matching circuit 56 to the control circuit 50. The control circuit 50 executes a three-dimensional recognition process for recognizing the position and orientation of the component 91 in three dimensions based on the model matching result Rm (step S109). In other words, in step S109, a three-dimensional model indicating the position and orientation of the component 91 in three dimensions is generated based on the model matching result Rm (three-dimensional modeling). Then, the control circuit 50 controls the drive motors M23 to M25 based on the three-dimensional model of the component 91 and the coordinate system of the robot body 2, and executes the assembly operation of the component 91 by the double-arm robot 1.
以上に説明したように、この実施形態では、互いに異なる場所から部品９１（対象物）を撮像した２枚の撮像画像Ｉ1、Ｉ2に対してステレオマッチング処理が実行されて、２枚の撮像画像Ｉ1、Ｉ2間の視差ｐを示す視差画像Ｉs（視差情報）が取得される。また、撮像画像Ｉ1からエッジＥが抽出されて、部品９１のエッジＥを示すエッジ画像Ｉe（エッジ情報）が取得される。そして、エッジ画像Ｉeが示す部品９１のエッジＥ上の位置での視差ｐが、視差画像Ｉsに含まれる視差ｐから抽出されるとともに、こうして抽出された視差ｐに基づいて、三次元における部品９１の位置および姿勢が認識される。これにより、部品９１のエッジＥ部分の視差ｐに基づいて、三次元における部品９１の位置および姿勢を認識することが可能となり、その結果、この三次元認識を正確に実行することが可能となっている。 As described above, in this embodiment, the stereo matching process is performed on the two captured images I1 and I2 obtained by capturing the component 91 (target object) from different locations, and the two captured images I1. , A parallax image Is (parallax information) indicating the parallax p between I 2 is acquired. Further, the edge E is extracted from the captured image I1, and an edge image Ie (edge information) indicating the edge E of the component 91 is acquired. Then, the parallax p at the position on the edge E of the component 91 indicated by the edge image Ie is extracted from the parallax p included in the parallax image Is, and the component 91 in three dimensions is extracted based on the parallax p thus extracted. Is recognized. Accordingly, it is possible to recognize the position and orientation of the component 91 in three dimensions based on the parallax p of the edge E portion of the component 91, and as a result, it is possible to accurately execute this three-dimensional recognition. ing.
また、この実施形態では、三次元情報の生成に用いられる視差ｐが、部品９１のエッジＥ上のものに限定されているため、三次元情報の生成に要する演算時間を短縮化できる。その結果、三次元認識の高速化を図ることが可能となっている。 In this embodiment, since the parallax p used for generating the three-dimensional information is limited to that on the edge E of the component 91, the calculation time required for generating the three-dimensional information can be shortened. As a result, it is possible to increase the speed of three-dimensional recognition.
また、この実施形態では、２枚の撮像画像Ｉ1、Ｉ2のうちの一の撮像画像Ｉ1からエッジＥを抽出して部品９１のエッジ画像Ｉeを得ている。また、視差画像Ｉsは、一の撮像画像Ｉ1の各位置での視差ｐを示す情報として求められている。つまり、エッジ画像Ｉeおよび視差画像Ｉsのいずれもが同じ座標系(x1,y)（一の撮像画像Ｉ1の座標系）で求められている。その結果、エッジ画像Ｉeが示す部品９１のエッジＥ上の視差ｐを視差画像Ｉsから抽出する視差抽出を、エッジ画像Ｉeと視差画像Ｉsを重ね合わせるだけで簡便に実行することが可能となっている。 In this embodiment, the edge E is extracted from one of the two captured images I1 and I2 to obtain the edge image Ie of the component 91. Moreover, the parallax image Is is calculated | required as information which shows the parallax p in each position of the one captured image I1. That is, both the edge image Ie and the parallax image Is are obtained in the same coordinate system (x1, y) (the coordinate system of one captured image I1). As a result, the parallax extraction for extracting the parallax p on the edge E of the component 91 indicated by the edge image Ie from the parallax image Is can be performed simply by superimposing the edge image Ie and the parallax image Is. Yes.
また、この実施形態では、２枚の撮像画像Ｉ1、Ｉ2それぞれのエピポーラ線を平行にする画像変換（平行化処理）を行って、当該画像変換後の２枚の撮像画像Ｉ1、Ｉ2についてステレオマッチングが実行される。このように、２枚の撮像画像Ｉ1、Ｉ2それぞれのエピポーラ線を平行にすることで、撮像画像Ｉ1、Ｉ2間で対応付けられる位置どうしのｙ成分が同じとなるため、この対応付けが容易となり、ステレオマッチングを簡便に実行することが可能となる。 In this embodiment, image conversion (parallelization processing) is performed to make the epipolar lines of the two captured images I1 and I2 parallel, and stereo matching is performed on the two captured images I1 and I2 after the image conversion. Is executed. In this way, by making the epipolar lines of the two captured images I1 and I2 parallel, the y components of the positions associated with each other between the captured images I1 and I2 are the same. Stereo matching can be easily executed.
また、この実施形態は、視差ｐから求めた三次元情報Ｓと部品９１の外形を示すモデルとをマッチングさせて、三次元における部品９１の位置および姿勢を認識しており、好適である。つまり、この実施形態では、部品９１のエッジＥ部分での視差ｐが求められており、換言すれば、対応付けの精度の高い位置での視差ｐが求められている。そして、このような視差ｐから求めた三次元情報Ｓに対して部品９１の外形を示すモデルをマッチングさせることで、三次元における部品９１の位置および姿勢を正確に認識することができる。 In addition, this embodiment is suitable because the three-dimensional information S obtained from the parallax p is matched with a model indicating the outer shape of the component 91 to recognize the position and orientation of the component 91 in three dimensions. That is, in this embodiment, the parallax p at the edge E portion of the component 91 is obtained. In other words, the parallax p at a position with high matching accuracy is obtained. Then, by matching the model indicating the outer shape of the component 91 with the three-dimensional information S obtained from such parallax p, the position and orientation of the component 91 in three dimensions can be accurately recognized.
その他
このように上記実施形態では、撮像カメラＣ1、Ｃ2と三次元認識部５で構成されるステレオ撮像系ＳＳ（図２）が本発明の「三次元位置・姿勢認識装置」に相当し、双腕ロボット１が本発明の「産業用ロボット」に相当し、コンピューター３が本発明の「コンピューター」に相当し、記録媒体６が本発明の「記録媒体」に相当し、プログラム７が本発明の「プログラム」に相当する。また、撮像カメラＣ1、Ｃ2が本発明の「撮像部」に相当し、撮像カメラＣ1、Ｃ2と制御回路５０が本発明の「画像取得部」として機能し、平行化回路５１およびステレオマッチング回路５２が本発明の「視差取得部」として機能し、エッジ抽出回路５３が本発明の「エッジ抽出部」に相当し、マスク回路５４が本発明の「視差抽出部」に相当し、三次元情報生成回路５５、モデルマッチング回路５６および制御回路５０が本発明の「認識部」に相当し、アーム２２およびハンド２５が本発明の「部品移動手段」に相当し、制御回路５０が本発明の「制御手段」に相当する。また、ステップＳ１０１が本発明の「画像取得工程」に相当し、ステップＳ１０２、Ｓ１０３が本発明の「視差取得工程」に相当し、ステップＳ１０４が本発明の「エッジ抽出工程」に相当し、ステップＳ１０５、Ｓ１０６が本発明の「視差抽出工程」に相当し、ステップＳ１０８、Ｓ１０９が本発明の「認識工程」に相当する。また、撮像画像Ｉ1、Ｉ2が本発明の「撮像画像」に相当し、視差画像Ｉsが本発明の「視差画像」および「視差情報」に相当し、エッジ画像Ｉeが本発明の「エッジ画像」および「エッジ情報」に相当する。
Others As described above, in the above-described embodiment, the stereo imaging system SS (FIG. 2) including the imaging cameras C1 and C2 and the three-dimensional recognition unit 5 corresponds to the “three-dimensional position / posture recognition device” of the present invention. The arm robot 1 corresponds to the “industrial robot” of the present invention, the computer 3 corresponds to the “computer” of the present invention, the recording medium 6 corresponds to the “recording medium” of the present invention, and the program 7 corresponds to the present invention. Corresponds to "Program". The imaging cameras C1 and C2 correspond to the “imaging unit” of the present invention, the imaging cameras C1 and C2 and the control circuit 50 function as the “image acquisition unit” of the present invention, and the parallelizing circuit 51 and the stereo matching circuit 52. Functions as the “parallax acquisition unit” of the present invention, the edge extraction circuit 53 corresponds to the “edge extraction unit” of the present invention, the mask circuit 54 corresponds to the “parallax extraction unit” of the present invention, and generates three-dimensional information. The circuit 55, the model matching circuit 56, and the control circuit 50 correspond to the “recognition unit” of the present invention, the arm 22 and the hand 25 correspond to “part moving means” of the present invention, and the control circuit 50 corresponds to the “control” of the present invention. It corresponds to “means”. Step S101 corresponds to the “image acquisition process” of the present invention, steps S102 and S103 correspond to the “parallax acquisition process” of the present invention, and step S104 corresponds to the “edge extraction process” of the present invention. S105 and S106 correspond to the “parallax extraction process” of the present invention, and steps S108 and S109 correspond to the “recognition process” of the present invention. The captured images I1 and I2 correspond to the “captured image” of the present invention, the parallax image Is corresponds to the “parallax image” and “parallax information” of the present invention, and the edge image Ie corresponds to the “edge image” of the present invention. And “edge information”.
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、三次元認識における各ステップＳ１０１〜Ｓ１０９は、図３のフローチャートに示したものに限られない。具体例を挙げると、ステップＳ１０３のステレオマッチングより先にステップＳ１０４のエッジ抽出を行なっても良く、あるいは、ステップＳ１０３、Ｓ１０４のステレオマッチングおよびエッジ抽出を並行して実行しても良い。 The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the steps S101 to S109 in the three-dimensional recognition are not limited to those shown in the flowchart of FIG. As a specific example, the edge extraction in step S104 may be performed prior to the stereo matching in step S103, or the stereo matching and edge extraction in steps S103 and S104 may be performed in parallel.
また、上記実施形態では、三次元認識部５は、コンピューター３の内臓するＣＰＵやメモリーで構成されていた。しかしながら、三次元認識部５は、ＦＰＧＡ（Field-Programmable Gate Array）等のプログラマブルロジックデバイスや、ディスクリートな回路素子を組み合わせて構成されても良い。 Moreover, in the said embodiment, the three-dimensional recognition part 5 was comprised by CPU and memory which the computer 3 incorporated. However, the three-dimensional recognition unit 5 may be configured by combining a programmable logic device such as an FPGA (Field-Programmable Gate Array) or a discrete circuit element.
また、上述のエッジ抽出についても種々の方法により実行することができ、例えば、Ｒｏｂｅｒｔｓ、Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ等の演算子を用いた方法を採用可能である。 Also, the above-described edge extraction can be executed by various methods. For example, a method using an operator such as Roberts, Sobel, or Prewitt can be employed.
また、撮像カメラＣ1、Ｃ2の個数や、取り付け位置等についても上述したものに限られず、適宜変更可能である。 Further, the number of the imaging cameras C1, C2 and the attachment positions are not limited to those described above, and can be changed as appropriate.
また、三次元における部品９１の位置および姿勢を求める方法についても、上述のモデルマッチングに限られず、適宜変更可能である。 The method for obtaining the position and orientation of the component 91 in three dimensions is not limited to the above-described model matching, and can be changed as appropriate.
また、本発明を適用可能な産業用ロボットは、上述の双腕ロボット１に限られない。しがたって、その他の構成を具備するロボットに対して本発明を適用することもできる。 The industrial robot to which the present invention can be applied is not limited to the above-described double-arm robot 1. Therefore, the present invention can also be applied to robots having other configurations.
この発明は、三次元での画像認識技術の全般に対して適用可能であり、特に産業用ロボットにおいて三次元における部品の位置・姿勢を認識する技術に好適に適用することができる。 The present invention can be applied to all three-dimensional image recognition techniques, and can be suitably applied particularly to a technique for recognizing the position and orientation of a part in three dimensions in an industrial robot.
１…双腕ロボット
２…ロボット本体
２２…アーム
２５…ハンド
３…コンピューター
４…ドライバー
５…三次元認識部
５０…制御回路
５１…平行化回路
５２…ステレオマッチング回路
５３…エッジ抽出回路
５４…マスク回路
５５…三次元情報生成回路
５６…モデルマッチング回路
６…記録媒体
７…プログラム
９１…部品
Ｃ1，Ｃ2…撮像カメラ
Ｉ1，Ｉ2…撮像画像
Ｉs…視差画像
Ｉe…エッジ画像
Ｅ…エッジ
Ｌ…輪郭
Ｓ…三次元情報
ＳＳ…ステレオ撮像系
DESCRIPTION OF SYMBOLS 1 ... Double-arm robot 2 ... Robot main body 22 ... Arm 25 ... Hand 3 ... Computer 4 ... Driver 5 ... Three-dimensional recognition part 50 ... Control circuit 51 ... Parallelizing circuit 52 ... Stereo matching circuit 53 ... Edge extraction circuit 54 ... Mask circuit 55 ... 3D information generation circuit 56 ... Model matching circuit 6 ... Recording medium 7 ... Program 91 ... Parts C1, C2 ... Imaging camera I1, I2 ... Imaging image Is ... Parallax image Ie ... Edge image E ... Edge L ... Contour S ... Three-dimensional information SS ... Stereo imaging system
Claims (9)
前記複数の撮像画像についてステレオマッチング処理を行って、前記複数の撮像画像間の視差を示す視差情報を取得する視差取得部と、
前記撮像画像からエッジを抽出して、前記対象物のエッジを示すエッジ情報を取得するエッジ抽出部と、
前記エッジ情報が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差情報に含まれる前記視差から抽出する視差抽出部と、
前記視差抽出部が抽出した前記視差に基づいて、三次元における前記対象物の位置および姿勢を認識する認識部と、
を備え、
前記エッジ抽出部は、前記複数の撮像画像のうちの一の撮像画像から前記エッジを抽出して得られる前記対象物のエッジ画像を、前記エッジ情報として求め、
前記視差取得部は、前記一の撮像画像の各位置での前記視差を示す視差画像を、前記視差情報として求め、
前記視差抽出部は、前記視差画像に前記エッジ画像を重ね合わせることで、前記エッジ画像が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差画像に含まれる前記視差から抽出することを特徴とする三次元位置・姿勢認識装置。 An image acquisition unit that acquires a plurality of captured images obtained by imaging the object from different locations by imaging the object from a plurality of imaging units;
A parallax acquisition unit that performs stereo matching processing on the plurality of captured images and acquires parallax information indicating parallax between the plurality of captured images;
An edge extraction unit that extracts edges from the captured image and obtains edge information indicating edges of the object;
A parallax extraction unit that extracts the parallax at a position on the edge of the object indicated by the edge information from the parallax included in the parallax information;
A recognition unit for recognizing the position and orientation of the object in three dimensions based on the parallax extracted by the parallax extraction unit ;
Equipped with a,
The edge extraction unit obtains an edge image of the object obtained by extracting the edge from one captured image of the plurality of captured images as the edge information,
The parallax acquisition unit obtains a parallax image indicating the parallax at each position of the one captured image as the parallax information;
The parallax extraction unit extracts the parallax at a position on the edge of the object indicated by the edge image from the parallax included in the parallax image by superimposing the edge image on the parallax image. 3D position and orientation recognition device.
請求項１ないし５のいずれか一項に記載の三次元位置・姿勢認識装置と、
前記三次元位置・姿勢認識装置により前記対象物としての前記部品の三次元での位置および姿勢を認識した結果に基づいて、前記部品移動手段を制御する制御手段と
を備えることを特徴とする産業用ロボット。 Parts moving means for picking up and moving parts;
A three-dimensional position / posture recognition apparatus according to any one of claims 1 to 5 ,
And a control means for controlling the part moving means based on a result of recognizing a three-dimensional position and orientation of the part as the object by the three-dimensional position / posture recognition apparatus. Robot.
前記複数の撮像画像についてステレオマッチング処理を行って、前記複数の撮像画像間の視差を示す視差情報を取得する視差取得工程と、
前記撮像画像からエッジを抽出して、前記対象物のエッジを示すエッジ情報を取得するエッジ抽出工程と、
前記エッジ情報が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差情報に含まれる前記視差から抽出する視差抽出工程と、
前記視差抽出工程が抽出した前記視差に基づいて、三次元における前記対象物の位置および姿勢を認識する認識工程と、
を備え、
前記エッジ抽出工程は、前記複数の撮像画像のうちの一の撮像画像から前記エッジを抽出して得られる前記対象物のエッジ画像を、前記エッジ情報として求め、
前記視差取得工程は、前記一の撮像画像の各位置での前記視差を示す視差画像を、前記視差情報として求め、
前記視差抽出工程は、前記視差画像に前記エッジ画像を重ね合わせることで、前記エッジ画像が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差画像に含まれる前記視差から抽出することを特徴とする三次元位置・姿勢認識方法。 An image acquisition step of acquiring a plurality of captured images obtained by imaging an object from different places;
A parallax acquisition step of performing stereo matching processing on the plurality of captured images and acquiring parallax information indicating parallax between the plurality of captured images;
An edge extraction step of extracting an edge from the captured image and obtaining edge information indicating the edge of the object;
A parallax extraction step of extracting the parallax at a position on the edge of the object indicated by the edge information from the parallax included in the parallax information;
A recognition step for recognizing the position and orientation of the object in three dimensions based on the parallax extracted by the parallax extraction step ;
Equipped with a,
In the edge extraction step, an edge image of the object obtained by extracting the edge from one captured image of the plurality of captured images is obtained as the edge information.
The parallax obtaining step obtains a parallax image indicating the parallax at each position of the one captured image as the parallax information,
The parallax extraction step extracts the parallax at the position on the edge of the object indicated by the edge image from the parallax included in the parallax image by superimposing the edge image on the parallax image. 3D position / posture recognition method.
前記複数の撮像画像についてステレオマッチング処理を行って、前記複数の撮像画像間の視差を示す視差情報を取得する視差取得機能と、
前記撮像画像からエッジを抽出して、前記対象物のエッジを示すエッジ情報を取得するエッジ抽出機能と、
前記エッジ情報が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差情報に含まれる前記視差から抽出する視差抽出機能と、
前記視差抽出機能が抽出した前記視差に基づいて、三次元における前記対象物の位置および姿勢を認識する認識機能とを、コンピューターに実現させ、
前記エッジ抽出機能は、前記複数の撮像画像のうちの一の撮像画像から前記エッジを抽出して得られる前記対象物のエッジ画像を、前記エッジ情報として求め、
前記視差取得機能は、前記一の撮像画像の各位置での前記視差を示す視差画像を、前記視差情報として求め、
前記視差抽出機能は、前記視差画像に前記エッジ画像を重ね合わせることで、前記エッジ画像が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差画像に含まれる前記視差から抽出することを特徴とするプログラム。 An image acquisition function for acquiring a plurality of captured images obtained by imaging an object from different locations;
A parallax acquisition function for performing stereo matching processing on the plurality of captured images and acquiring parallax information indicating parallax between the plurality of captured images;
An edge extraction function for extracting an edge from the captured image and acquiring edge information indicating an edge of the object;
A parallax extraction function for extracting the parallax at a position on the edge of the object indicated by the edge information from the parallax included in the parallax information;
Based on the parallax extracted by the parallax extraction function, the computer realizes a recognition function for recognizing the position and orientation of the object in three dimensions ,
The edge extraction function obtains an edge image of the object obtained by extracting the edge from one captured image of the plurality of captured images as the edge information,
The parallax acquisition function obtains a parallax image indicating the parallax at each position of the one captured image as the parallax information,
The parallax extraction function extracts the parallax at the position on the edge of the object indicated by the edge image from the parallax included in the parallax image by superimposing the edge image on the parallax image. A program characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011204945A JP5839671B2 (en) | 2011-09-20 | 2011-09-20 | 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011204945A JP5839671B2 (en) | 2011-09-20 | 2011-09-20 | 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013068417A JP2013068417A (en) | 2013-04-18 |
| JP5839671B2 true JP5839671B2 (en) | 2016-01-06 |
Family
ID=48474295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011204945A Expired - Fee Related JP5839671B2 (en) | 2011-09-20 | 2011-09-20 | 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5839671B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6849262B1 (en) * | 2020-05-28 | 2021-03-24 | リンクウィズ株式会社 | Information processing method, information processing system, program |
| WO2022124017A1 (en) * | 2020-12-08 | 2022-06-16 | パナソニックＩｐマネジメント株式会社 | Three-dimensional model generation method and three-dimensional model generation device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3826236B2 (en) * | 1995-05-08 | 2006-09-27 | 松下電器産業株式会社 | Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device |
| CN1162681C (en) * | 1999-03-19 | 2004-08-18 | 松下电工株式会社 | Three-D object recognition method and pin picking system using the method |
| JP2002216113A (en) * | 2001-01-16 | 2002-08-02 | Fujitsu Ten Ltd | Object recognizing device |
| JP2008082870A (en) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | Image processing program, and road surface state measuring system using this |
| JP5380792B2 (en) * | 2007-06-15 | 2014-01-08 | 株式会社Ｉｈｉ | Object recognition method and apparatus |
| JP5311465B2 (en) * | 2008-11-25 | 2013-10-09 | Ｎｅｃシステムテクノロジー株式会社 | Stereo matching processing system, stereo matching processing method, and program |
-
2011
- 2011-09-20 JP JP2011204945A patent/JP5839671B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013068417A (en) | 2013-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5852364B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| Song et al. | CAD-based pose estimation design for random bin picking using a RGB-D camera | |
| JP6427972B2 (en) | Robot, robot system and control device | |
| JP6180086B2 (en) | Information processing apparatus and information processing method | |
| US8977378B2 (en) | Systems and methods of using a hieroglyphic machine interface language for communication with auxiliary robotics in rapid fabrication environments | |
| JP6222898B2 (en) | Three-dimensional measuring device and robot device | |
| JP2013069100A (en) | Three-dimensional position/posture recognition device, industrial robot, three-dimensional position/posture recognition method, program and storing medium | |
| JP2012254518A (en) | Robot control system, robot system and program | |
| JP2015071206A (en) | Control device, robot, teaching data generation method, and program | |
| JP2004185123A (en) | Apparatus for generating three-dimensional model data | |
| US20130054030A1 (en) | Object gripping apparatus, object gripping method, and object gripping program | |
| JP2013099808A (en) | Assembling apparatus, and method thereof, assembling operation program | |
| JP2007249592A (en) | Three-dimensional object recognition system | |
| TW201609302A (en) | Method and device for generating robot control program | |
| JP5839671B2 (en) | 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium | |
| Jerbić et al. | Robot assisted 3D point cloud object registration | |
| JP6390088B2 (en) | Robot control system, robot, program, and robot control method | |
| Kingkan et al. | Model-based virtual visual servoing with point cloud data | |
| Liang et al. | Rgb-d camera based 3d object pose estimation and grasping | |
| JP5868005B2 (en) | Imaging apparatus, imaging condition setting method, program | |
| JP2017094482A (en) | Robot control system and robot control method | |
| Seçil et al. | 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot | |
| Byambaa et al. | 6d pose estimation of transparent object from single rgb image for robotic manipulation | |
| WO2022102239A1 (en) | Measuring system, measuring device, measuring method, and measuring program | |
| Varhegyi et al. | A Visual Servoing Approach for a Six Degrees-of-Freedom Industrial Robot by RGB-D Sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140625 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5839671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |