JP6026365B2 - Image recognition method - Google Patents
Image recognition method Download PDFInfo
- Publication number
- JP6026365B2 JP6026365B2 JP2013150915A JP2013150915A JP6026365B2 JP 6026365 B2 JP6026365 B2 JP 6026365B2 JP 2013150915 A JP2013150915 A JP 2013150915A JP 2013150915 A JP2013150915 A JP 2013150915A JP 6026365 B2 JP6026365 B2 JP 6026365B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- image
- posture
- information
- reference position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、画像認識方法に関する。 The present invention relates to an image recognition method.
バラ積みされたワークピースをロボットなどでピックアップする場合には、最上部に位置するワークピースの位置及び姿勢を正確に検出する必要がある。従来、このような場合、ＣＣＤカメラからの２次元の濃淡画像を利用してパターンマッチングを行うことでピッキングするワークピースを検出していた。 When picking up workpieces stacked in bulk with a robot or the like, it is necessary to accurately detect the position and posture of the workpiece located at the top. Conventionally, in such a case, a workpiece to be picked is detected by performing pattern matching using a two-dimensional grayscale image from a CCD camera.
なお、特許文献１には、パターンマッチングを行って、人の顔を検出する方法が記載されている。この方法では、まず、低精度の第１のパターンマッチング処理を行って画像から人の顔である可能性が高い大きさの領域を抽出し、抽出された領域までの距離を測定する。そして、測定された距離情報を用いて、抽出された領域の画像に対して高精度の第２のパターンマッチング処理を行う。これにより、高精度のパターンマッチング処理を行う領域が限定できるので、計算処理量を低減することが可能となる。 Patent Document 1 describes a method of detecting a human face by performing pattern matching. In this method, first, a low-accuracy first pattern matching process is performed to extract an area having a high possibility of being a human face from an image, and a distance to the extracted area is measured. Then, using the measured distance information, a second pattern matching process with high accuracy is performed on the image of the extracted region. Thereby, since the area | region which performs a highly accurate pattern matching process can be limited, it becomes possible to reduce the amount of calculation processes.
また、特許文献２には、パターンマッチングを行って、車両前方の物体を認識敷する方法が記載されている。この方法では、まず、左カメラで撮像した画像からエッジを検出する。そして、検出したエッジを含む参照パターンを左カメラで撮像した画像から抽出し、この参照パターンと左カメラで撮像した画像とに対して、パターンマッチング処理を行う。これにより、パターンマッチング処理を行う領域が限定できるので、計算処理量を低減することが可能となる。 Patent Document 2 describes a method for recognizing an object in front of a vehicle by performing pattern matching. In this method, first, an edge is detected from an image captured by the left camera. Then, a reference pattern including the detected edge is extracted from the image captured by the left camera, and pattern matching processing is performed on the reference pattern and the image captured by the left camera. Thereby, since the area | region which performs a pattern matching process can be limited, it becomes possible to reduce the amount of calculation processes.
しかしながら、複数のワークピースが複雑に重なり合った状態の撮像画像では、画像中の輝度の変化がランダムかつ特徴が曖昧になる。そのため、パターンマッチング法では輪郭形状の抽出ができない場合があり、ワークピースの正確な位置及び姿勢の特定ができないことがあった。 However, in a captured image in which a plurality of workpieces are overlapped in a complicated manner, a change in luminance in the image is random and features are ambiguous. Therefore, there are cases where the contour shape cannot be extracted by the pattern matching method, and the accurate position and orientation of the workpiece may not be specified.
また、同一形状のワークピースが複雑に重なり合った状態の撮像画像に対しては、上記特許文献１，２に記載された方法を適用してパターンマッチング処理を行う領域を限定することで、計算処理量を低減することはできない。 In addition, for captured images in which workpieces of the same shape are overlapped in a complicated manner, by applying the method described in Patent Documents 1 and 2 above, by limiting the area where pattern matching processing is performed, calculation processing is performed. The amount cannot be reduced.
本発明は、以上の点に鑑み、複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能な画像認識方法を提供することを目的とする。 In view of the above, an object of the present invention is to provide an image recognition method capable of obtaining the position and posture of a workpiece in a complicatedly overlapped state with high reliability.
本発明は、撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、１個のワークピースを複数の角度から撮影し、撮影された画像をパッチに分割して複数のサンプルパッチ画像を得る工程、前記複数のサンプルパッチ画像を分類する工程、及び、複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを対応させて保存する工程からなる準備工程と、複数の前記ワークピースを撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を分類する分類工程と、前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを集積する集積工程と、前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程と、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基いて推定する被覆部推定工程とを含むことを特徴とする。 The present invention is an image recognition method for recognizing the position and orientation of a workpiece from a captured image, wherein one workpiece is photographed from a plurality of angles, and the photographed image is divided into patches to obtain a plurality of samples. A step of obtaining a patch image, a step of classifying the plurality of sample patch images, and position information up to a reference position of the workpiece for each of the plurality of sample patch images and the posture of the workpiece when imaged A preparatory step comprising a step of storing information in association with each other, an imaging step of capturing a plurality of workpieces, dividing the captured images into patches, and obtaining a plurality of patch images, and the plurality of sample patch images A classification step of classifying the plurality of patch images in the same manner as the method of classifying the plurality of patch images, and for each of the plurality of patch images, An accumulation step of accumulating position information up to a reference position of the workpiece and the posture information of the workpiece at the time of imaging, which are stored in correspondence with a patch image, and an accumulation result of the position information and the posture information A workpiece estimation step for estimating a reference position and orientation of at least one workpiece in the patch image, and a covering portion of the workpiece for which the reference position and orientation are obtained in the workpiece estimation step, And a covering portion estimating step for estimating based on the patch image accumulated in the position information and posture information of the workpiece.
本発明によれば、下方に存在するワークピースはその上方に存在する他のワークピースによって被覆されるので、最上部に位置するワークピースほど、集積工程で集積される位置情報及び姿勢情報の集積は大きくなる。よって、集積が大きな位置情報で表される位置に基準位置を有し、集積が大きな姿勢情報で表される姿勢にあるワークピースであるほど、上位にあると推定される。 According to the present invention, since the workpiece existing below is covered with another workpiece existing above the workpiece, the position of the position information and the posture information accumulated in the accumulation step is accumulated at the uppermost workpiece. Will grow. Therefore, it is estimated that a workpiece having a reference position at a position represented by large positional information and having a posture in which the accumulation is represented by large posture information is higher.
このように、本発明では、不整列な複数のワークピースを撮像した画像を分割したパッチ画像と同じ分類のサンプルパッチ画像に対応させた位置情報及び姿勢情報を集積するので、分類又は対応付けが良好に行えないものがあっても、被覆部が小さなワークピースの基準位置の位置及び姿勢を、最終的に高い信頼性で推定することが可能となる。 As described above, in the present invention, since the position information and the posture information corresponding to the sample patch images of the same classification as the patch images obtained by dividing the image obtained by imaging a plurality of unaligned workpieces are accumulated, classification or association is possible. Even if there is something that cannot be performed well, the position and orientation of the reference position of the workpiece having a small covering portion can be finally estimated with high reliability.
また、集積が低くワークピースの一部が被覆されていると推定される場合、被覆部推定工程では、このワークピースを示す位置情報及び姿勢情報に集積されたパッチ画像を逆に展開して、被覆部を推定する。これにより、ロボット等がピックアップする部分が被覆されているか否かを推定することができる。 Further, when it is estimated that the accumulation is low and a part of the workpiece is covered, in the covering portion estimation step, the patch image accumulated in the position information and the posture information indicating the workpiece is developed in reverse, Estimate the covering. Thereby, it can be estimated whether or not the part picked up by the robot or the like is covered.
本発明において、前記撮像工程において複数台の撮像装置で撮像し、前記複数台の撮像装置でそれぞれ撮像した画像に対して、前記撮像工程、前記分類工程、前記集積工程及び前記ワークピース推定工程において処理を行い、前記複数台の撮像装置の離間距離及び焦点距離と、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの基準位置の前記複数台の撮像装置間における視差とに基いて、前記撮像装置から前記ワークピースの基準位置までの距離を求める距離検出工程をさらに備えることが好ましい。 In this invention, in the said imaging process, the said classification | category process, the said integration | stacking process, and the said workpiece estimation process with respect to the image imaged with the several imaging device in the said imaging process, and each imaged with the said several imaging device Processing, based on the separation distance and the focal length of the plurality of imaging devices, and the parallax between the plurality of imaging devices at the reference position and orientation of the workpiece obtained in the workpiece estimation step. It is preferable that the method further includes a distance detection step of obtaining a distance from the imaging device to a reference position of the workpiece.
この場合、距離検出工程で距離を求めるワークピースの基準位置の位置及び姿勢は予めワークピース推定工程で推定されているので、距離検出工程において、複数台の撮像装置で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。また、距離検出工程において、複数台の撮像装置で撮像した画像を用いたステレオ画像処理を行うので、高精度に距離を求めることが可能となる。 In this case, since the position and orientation of the reference position of the workpiece for which the distance is obtained in the distance detection step are estimated in advance in the workpiece estimation step, correspondence between images captured by a plurality of imaging devices in the distance detection step. Points can be associated without erroneous recognition, and the amount of image processing required for searching for corresponding points is small. In the distance detection step, stereo image processing using images captured by a plurality of imaging devices is performed, so that the distance can be obtained with high accuracy.
本発明において、前記複数台の撮像装置でそれぞれ撮像した画像に対して、座標系を整合する座標系整合工程を備え、前記集積工程において、前記座標系整合工程で座標系を整合した前記位置情報と前記姿勢情報を集積し、前記ワークピース推定工程において、前記集積工程での集積結果に基いて、前記複数台の撮像装置でそれぞれ撮像した画像間で、前記位置情報及び前記姿勢情報が一致するか否かを判定し、一致すると判定した場合、前記ワークピースは前記位置情報が示す基準位置で前記姿勢情報が示す姿勢で存在するとみなすことも好ましい。 In the present invention, the positional information includes a coordinate system matching step for matching a coordinate system with respect to images captured by the plurality of imaging devices, and the coordinate system is matched in the coordinate system matching step in the integration step. And the posture information, and in the workpiece estimation step, the position information and the posture information match between images captured by the plurality of imaging devices based on the accumulation result in the accumulation step. It is also preferable that the workpiece is considered to exist in the posture indicated by the posture information at the reference position indicated by the position information.
この場合、距離検出工程における対応点をワークピースの基準位置とすることができ、撮像装置からワークピースの基準位置までの距離を求める距離を高精度且つ簡易に求めることが可能となる。 In this case, the corresponding point in the distance detection step can be used as the reference position of the workpiece, and the distance for obtaining the distance from the imaging device to the reference position of the workpiece can be easily obtained with high accuracy.
本発明の実施形態における準備工程で使用するサンプルデータ取得装置１０について説明する。 The sample data acquisition apparatus 10 used in the preparation process in the embodiment of the present invention will be described.
図１に示すように、サンプルデータ取得装置１０は、ワークピースＷを既知の姿勢で設置することが可能な設置台１１と、設置台１１に設置された１個のワークピースＷを上方から撮像する撮像装置１２と、設置台１１又は撮像装置１２の姿勢を制御する制御部１３とを備える。 As shown in FIG. 1, the sample data acquisition device 10 captures an image of a workpiece 11 installed on the installation table 11 from above, an installation table 11 on which the workpiece W can be installed in a known posture. An imaging device 12 that controls the position of the installation base 11 or the imaging device 12.
設置台１１は、例えば、回転ステージであり、制御部１３によって回転制御可能に構成されている。撮像装置１２は、ここでは、１台のＣＣＤカメラであり二次元撮像画像のデータを生成する。撮像装置１２は、図示しない支柱や天井などに支持されて設置台１１の上方に配置されている。 The installation base 11 is, for example, a rotary stage, and is configured to be controlled by the control unit 13. Here, the imaging device 12 is a single CCD camera, and generates data of a two-dimensional captured image. The imaging device 12 is supported above a support column or ceiling (not shown) and disposed above the installation table 11.
制御部１３によって設置台１１又は撮像装置１２の姿勢を制御して、また、必要に応じて設置台１１に設置されたワークピースＷを裏返して、撮像装置１２に様々な姿勢のワークピースＷを撮像させる。 The control unit 13 controls the posture of the installation table 11 or the imaging device 12, and turns the workpiece W installed on the installation table 11 as necessary, so that the workpiece W having various postures is placed on the imaging device 12. Let's take an image.
撮像装置１２でワークピースＷを球状に包み込んだあらゆる方向から撮像した画像をサンプル画像として得る。ただし、連続的に全ての方向からワークピースＷを撮像したサンプル画像を得ることは現実的には不可能であるので、ある程度の小さな角度刻みで撮像方向を変えたワークピースＷの代表姿勢のサンプル画像を得ることになる。 An image captured from any direction in which the workpiece W is wrapped in a spherical shape by the imaging device 12 is obtained as a sample image. However, since it is practically impossible to obtain a sample image in which the workpiece W is continuously imaged from all directions, the sample of the representative posture of the workpiece W in which the imaging direction is changed at a certain small angle increment. You will get an image.
サンプルデータ取得装置１０は、さらに、画像処理部１４、画像分割部１５、及びタグ付与部１６を備え、記憶装置２０に接続されている。 The sample data acquisition device 10 further includes an image processing unit 14, an image division unit 15, and a tag addition unit 16, and is connected to the storage device 20.
画像処理部１４は、撮像装置１２で撮像された各サンプル画像に所定の処理を行い、各サンプル画像を撮像時のワークピースＷの姿勢情報と対応付けて記憶装置２０に保存する。 The image processing unit 14 performs predetermined processing on each sample image captured by the imaging device 12 and stores each sample image in the storage device 20 in association with the posture information of the workpiece W at the time of imaging.
なお、図２（ａ）に示すように、ワークピースＷに、１点の基準位置Ｏ、及び１つの基準姿勢（基準方向）を予め定めておく。基準位置Ｏは、例えば、ワークピースＷの重心、ワークピースＷに形成された穴の中心などに設定すればよい。そして、各サンプル画像に対応付ける姿勢情報は、基準姿勢を基準とした、サンプル画像の撮像時におけるワークピースＷの姿勢の方向ずれを示す情報である。なお、姿勢情報を得るために、ワークピースＷをその付近に位置させたチェッカーパターンと共に、撮像装置１２で撮像してもよい。 As shown in FIG. 2A, one reference position O and one reference posture (reference direction) are determined in advance on the workpiece W. The reference position O may be set, for example, at the center of gravity of the workpiece W, the center of the hole formed in the workpiece W, or the like. The posture information associated with each sample image is information indicating the direction deviation of the posture of the workpiece W when the sample image is captured with reference to the reference posture. In addition, in order to obtain posture information, you may image with the imaging device 12 with the checker pattern which positioned the workpiece W in the vicinity.
画像分割部１５は、各サンプル画像をそれぞれパッチ（小領域）に分割して、複数のサンプルパッチ画像を得る処理を行う。パッチは、例えば、予め定められた画素数×画素数分の長方形又は正方形の領域である。 The image dividing unit 15 performs processing for dividing each sample image into patches (small areas) to obtain a plurality of sample patch images. The patch is, for example, a rectangular or square area corresponding to a predetermined number of pixels × the number of pixels.
タグ付与部１６は、画像分割部１５で分割された各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与する。具体的には、位置関係情報は、サンプルパッチ画像に係る部分のワークピースＷの基準位置Ｏに対する相対座標情報（例えば、ＸＹＺ軸座標）である。姿勢情報は、位置関係情報と同様に、サンプルパッチ画像に係る部分のワークピースＷの基準角度に対する相対角度情報であり、例えばＲｘ，Ｒｙ、Ｒｚの３軸回りの回転角度、あるいは３×３の回転行列である。 The tag assigning unit 16 assigns the positional relationship information, posture information, and reliability information regarding the positional relationship information and posture information of the workpiece W as tags to each sample patch image divided by the image dividing unit 15. Specifically, the positional relationship information is relative coordinate information (for example, XYZ axis coordinates) with respect to the reference position O of the workpiece W of the part related to the sample patch image. The posture information is relative angle information with respect to the reference angle of the workpiece W of the part related to the sample patch image, as in the positional relationship information. For example, the rotation angle around three axes of Rx, Ry, and Rz, or 3 × 3 It is a rotation matrix.
サンプルパッチ画像によっては、ワークピースＷの基準位置Ｏまでの関係が一義的に求まらない場合と、求まる場合とがあるため、タグ付与部１６は、信頼度情報として重み付け係数を付与する。 Depending on the sample patch image, there are cases where the relationship to the reference position O of the workpiece W is not uniquely obtained, and there are cases where the relationship is obtained, so the tag assigning unit 16 assigns a weighting coefficient as reliability information.
例えば、図２（ａ）を参照して、ワークピースＷの側辺部の一部を撮像したサンプルパッチ画像では、具体的に側辺部のどの領域を撮像した画像であるか不明である。このような場合には、信頼度が低いので、重み付け係数をそのぶんだけ低くしておく。さらに具体的には、あるサンプルパッチ画像がワークピースＷの２つの部分の何れか一方を特定の方向から撮像したものであることが分かる場合、信頼度は５０％であるので、このサンプルパッチ画像に付与する重み付け係数は０．５とする。一方、ワークピースＷの角部などの特徴部分を特定の方向から撮像して得られたサンプルパッチ画像では、基準位置Ｏ及び姿勢が一義的に定まるので、信頼度は高く、重み付け係数を１．０とする。 For example, referring to FIG. 2A, in the sample patch image obtained by imaging a part of the side portion of the workpiece W, it is not clear which region of the side portion is specifically captured. In such a case, since the reliability is low, the weighting coefficient is lowered as much. More specifically, when it is known that a certain sample patch image is obtained by imaging one of the two parts of the workpiece W from a specific direction, the reliability is 50%. The weighting coefficient given to is assumed to be 0.5. On the other hand, in the sample patch image obtained by imaging a characteristic part such as a corner of the workpiece W from a specific direction, the reference position O and the posture are uniquely determined, so the reliability is high, and the weighting coefficient is 1. 0.
さらに、タグ付与部１６は、サンプルパッチ画像を、該サンプルパッチ画像を構成する各画素（ピクセル）の輝度を順々に予め定めた閾値と比較する条件式を満たすか否かによって仕分けする二分木法によって分類する。そして、タグ付与部１６は、サンプルパッチ画像毎に、分類に応じた番号付けしてラベリングを行う。 Further, the tag providing unit 16 sorts the sample patch image according to whether or not a conditional expression for sequentially comparing the luminance of each pixel (pixel) constituting the sample patch image with a predetermined threshold value is satisfied. Classify by law. The tag assigning unit 16 labels each sample patch image with a number corresponding to the classification.
具体的には、タグ付与部１６は、例えば、左上の画素を起点として予め定められた順序に沿って各画素の輝度が閾値以上の場合には「０」、閾値未満の場合には「１」として、仕分けする。これにより、各サンプルパッチ画像に対して「１００１０１・・・」などの数列が求まる。そして、この数列順にサンプルパッチ画像を並び代えて、各サンプルパッチ画像に番号を付与する。 Specifically, for example, the tag assigning unit 16 sets “0” when the luminance of each pixel is equal to or higher than a threshold value in a predetermined order starting from the upper left pixel, and “1” when the luminance is lower than the threshold value. ". As a result, several sequences such as “100101...” Are obtained for each sample patch image. Then, the sample patch images are rearranged in this numerical sequence, and a number is assigned to each sample patch image.
また、ある特定アドレスの画素の輝度と、他の特定アドレスの画素の輝度とを比較して、ある特定アドレス画素の輝度が、他の特定アドレスの画素の輝度以上である場合には「０」、未満である場合には「１」として、比較する画素を順次適宜選択して「００１１０１・・・」などの数列を求め、この数列を前段落で述べた数列に追加してもよい。このように、数列を求めるための質問は、正否で回答され、その回答を０，１の２値に分類できるものであればよい。 Further, the brightness of a pixel at a specific address is compared with the brightness of a pixel at another specific address, and when the brightness of a specific address pixel is equal to or higher than the brightness of a pixel at another specific address, “0”. If the number is less than “1”, the pixels to be compared may be appropriately selected sequentially to obtain a number sequence such as “001101...”, And this number sequence may be added to the number sequence described in the previous paragraph. In this way, the question for obtaining the numerical sequence may be any answer as long as it can be answered correctly or not, and the answer can be classified into binary values of 0 and 1.
このように二分木法を用いて仕分けすることで、膨大な数に及ぶパッチサンプル画像の分類を単純な２進法分類の繰り返しに帰着させることができる。よって、電子演算器を用いれば短時間で分類することが可能となる。ただし、二分木法を用いた分類することに限定されず、サンプルパッチ画像から特徴パラメータを抽出するなどの周知の任意の画像分類方法で分類してもよい。 By sorting using the binary tree method in this way, a huge number of patch sample image classifications can be reduced to simple binary classification repetitions. Therefore, if an electronic computing unit is used, it becomes possible to classify in a short time. However, the classification is not limited to using the binary tree method, and classification may be performed by any known image classification method such as extracting feature parameters from a sample patch image.
そして、タグ付与部１６は、図２（ｂ）に示すように、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像をサンプルパッチ画像データベースとして記憶装置２０に保存する。 Then, as shown in FIG. 2B, the tag assigning unit 16 associates each sample patch image with the sample patch image database by associating the positional relationship information, the posture information, the reliability information, and the numerical sequence in the order of the assigned numbers. To the storage device 20.
次に、本発明の実施形態における画像認識方法で使用するワークピース位置姿勢認識装置３０を備えたピッキングアップ・システム４０について説明する。 Next, the picking up system 40 provided with the workpiece position and orientation recognition device 30 used in the image recognition method according to the embodiment of the present invention will be described.
図３に示すように、ワークピース位置姿勢認識装置３０は、ホッパ（貯留槽）４１内に山積みされたワークピースＷの基準位置、姿勢及び距離を求める装置である。ここでは、ワークピースＷは同一形状であり、ホッパ４１内に３次元的に任意の位置及び姿勢で多数山積みされている。そして、ワークピース位置姿勢認識装置３０は、山積みされたワークピースＷのうち、最上部付近に位置し、ピックアップされるに適したワークピースＷを決定する。 As shown in FIG. 3, the workpiece position / posture recognition device 30 is a device that obtains the reference position, posture, and distance of the workpieces W stacked in a hopper (storage tank) 41. Here, the workpieces W have the same shape, and a large number of workpieces W are stacked in an arbitrary position and posture three-dimensionally in the hopper 41. Then, the workpiece position / posture recognition device 30 determines a workpiece W that is located near the top of the stacked workpieces W and is suitable for being picked up.
なお、本ワークピース位置姿勢認識装置３０は、ワークピースＷが乱雑に山積みされている場合に限らず、ワークピースＷが整列して配置されている場合でも、同様に適用可能である。 Note that the workpiece position / posture recognition device 30 is not limited to the case where the workpieces W are randomly stacked, but can be similarly applied to the case where the workpieces W are aligned and arranged.
ピッキングアップ・システム４０は、ワークピース位置姿勢認識装置３０から供給されるワークピースＷの基準位置Ｏ、姿勢、及び距離に応じて、ワークピースＷを一つずつピックアップするロボット４２を備える。ロボット４２は、アーム４３と、アーム４３のエンドエフェクタであるハンド４４と、アーム４３及びハンド４４の動作を制御するロボット制御部４５とを備える。 The picking-up system 40 includes a robot 42 that picks up the workpieces W one by one in accordance with the reference position O, posture, and distance of the workpiece W supplied from the workpiece position / posture recognition device 30. The robot 42 includes an arm 43, a hand 44 that is an end effector of the arm 43, and a robot control unit 45 that controls the operation of the arm 43 and the hand 44.
ロボット制御部４５は、ワークピース位置姿勢認識装置３０から供給された、ピックアップすべきワークピースＷの基準位置情報、姿勢情報及び距離情報を、ロボット座標系に変換して、このワークピースＷをハンド４４でピックアップするように、アーム４３及びハンド４４を制御する。 The robot control unit 45 converts the reference position information, posture information, and distance information of the workpiece W to be picked up supplied from the workpiece position / posture recognition device 30 into a robot coordinate system, and uses the workpiece W as a hand. The arm 43 and the hand 44 are controlled so as to be picked up at 44.
ピッキングアップ・システム４０は、さらに、ホッパ４１内に山積みされたワークピースＷを上方から撮像する１台もしくは複数台の撮像装置４６を備える。撮像装置４６は、例えば２台のＣＣＤカメラであり、それぞれ別の角度からの二次元撮像画像を生成する。２台の撮像装置４６は、図示しない支柱や天井などに支持され、離間してホッパ４１の上方に配置されている。２台の撮像装置４６は、山積みされたワークピースＷを重複して撮像する。 The picking-up system 40 further includes one or a plurality of imaging devices 46 that image the workpieces W stacked in the hopper 41 from above. The imaging device 46 is, for example, two CCD cameras, and generates two-dimensional captured images from different angles. The two image pickup devices 46 are supported by a post or a ceiling (not shown), and are spaced apart and arranged above the hopper 41. The two imaging devices 46 image the piled workpieces W in an overlapping manner.
ワークピース位置姿勢認識装置３０は、画像処理部３１、画像分割部３２、対応サンプルパッチ画像分類部３３、集積部３４、ワークピース推定部３５、被覆部推定部３６、実ワークピース決定部３７、及びピックアップ決定部３８を備え、記憶装置２０に接続されている。 The workpiece position and orientation recognition device 30 includes an image processing unit 31, an image dividing unit 32, a corresponding sample patch image classification unit 33, a stacking unit 34, a workpiece estimation unit 35, a covering unit estimation unit 36, an actual workpiece determination unit 37, And a pickup determining unit 38, which is connected to the storage device 20.
画像処理部３１は、２台の撮像装置４６により撮影された画像を取り込み、所定の処理を行った画像データを記憶装置２０に格納する。 The image processing unit 31 takes in images taken by the two imaging devices 46 and stores the image data subjected to predetermined processing in the storage device 20.
画像分割部３２は、画像処理部３１で処理された画像を複数のパッチ（小領域）に分割して、複数のパッチ画像を得る処理を行う。このパッチは、前記サンプルデータ取得装置１０の画像分割部１５でサンプル画像が分割されたパッチと同じ画素数×画素数からなる領域である。ここでは、画像分割部３２で分割されたパッチの縮尺が、サンプルデータ取得装置１０の画像分割部１５で分割されたパッチの縮尺とほぼ同じになるように調整する。 The image dividing unit 32 divides the image processed by the image processing unit 31 into a plurality of patches (small regions), and performs processing for obtaining a plurality of patch images. This patch is an area having the same number of pixels × number of pixels as the patch into which the sample image is divided by the image dividing unit 15 of the sample data acquisition apparatus 10. Here, the scale of the patch divided by the image dividing unit 32 is adjusted to be substantially the same as the scale of the patch divided by the image dividing unit 15 of the sample data acquisition apparatus 10.
対応サンプルパッチ画像分類部３３は、画像分割部３２で分割された各パッチ画像が、画像分割部１５で分割されたサンプルパッチ画像の何れに最も類似するかを、記憶装置２０に格納されたサンプルパッチ画像データベースから探索する。 The corresponding sample patch image classifying unit 33 stores the sample image stored in the storage device 20 to which of the sample patch images divided by the image dividing unit 15 each patch image divided by the image dividing unit 32 is most similar. Search from the patch image database.
ここでは、対応サンプルパッチ画像分類部３３は、前述したタグ付与部１６で求めた数列と同じ方法で画像分割部３２で分割された各パッチ画像に対応する数列を求める。対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が一致するサンプルパッチ画像を探索する。 Here, the corresponding sample patch image classification unit 33 obtains a number sequence corresponding to each patch image divided by the image dividing unit 32 in the same manner as the number sequence obtained by the tag assigning unit 16 described above. The corresponding sample patch image classification unit 33 searches for a sample patch image whose numerical sequence matches the numerical sequence corresponding to each patch image.
対応サンプルパッチ画像分類部３３は、タグ付与部１６と同様に二分木法で数列を求め、求めた数列をタグ付与部１６で付与した数列と対比するので、短時間で一致するサンプルパッチ画像を探索することが可能となる。 The corresponding sample patch image classifying unit 33 obtains a number sequence by the binary tree method in the same manner as the tag assigning unit 16 and compares the obtained number sequence with the number sequence provided by the tag assigning unit 16, so that sample patch images that match in a short time can be obtained. It becomes possible to search.
そして、対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が全て一致するサンプルパッチ画像、もしくは数列のうち閾値個以上の数列が一致するサンプルパッチ画像を、最も類似するサンプルパッチ画像とする。なお、２つのワークピースＷが重なり合って、パッチ画像に分岐が存在するような場合がある。このような場合は、数列が一致又は類似するサンプルパッチ画像は存在しない。 Then, the corresponding sample patch image classification unit 33 selects the sample patch image in which the number sequence and the number sequence corresponding to each patch image all match, or the sample patch image in which the number sequence equal to or more than the threshold number matches, An image. There are cases where two workpieces W overlap and there is a branch in the patch image. In such a case, there is no sample patch image whose number sequence is identical or similar.
対応サンプルパッチ画像分類部３３は、パッチ画像に最も類似するサンプルパッチ画像を、当該パッチ画像に対応するサンプルパッチ画像として分類する。 The corresponding sample patch image classification unit 33 classifies the sample patch image most similar to the patch image as the sample patch image corresponding to the patch image.
集積部３４は、それぞれのパッチ画像により最も基準位置として示される地点がどこになるかを集積する。具体的には、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報毎に、重み付け係数を集積する。 The accumulating unit 34 accumulates where the point indicated as the most reference position by each patch image is. Specifically, the weighting coefficient is accumulated for each reference position information labeled in the sample patch area searched by the corresponding sample patch image classification unit 33.
詳細には、集積部３４は、２台の撮像装置４６で撮像した画像を分割して得た全てのパッチ画像にそれぞれ対応する、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ画像に対応して保存されている基準位置情報毎に、重み付け係数の総和値（以下、この総和値を「得点」という）を算出する。 Specifically, the accumulating unit 34 corresponds to the sample patch images searched by the corresponding sample patch image classifying unit 33 respectively corresponding to all patch images obtained by dividing the images captured by the two imaging devices 46. For each of the stored reference position information, a total value of weighting coefficients (hereinafter, this total value is referred to as “score”) is calculated.
ワークピース推定部３５は、図４に示すように、集積部３４で集積された得点に基いて、ワークピースＷの基準位置Ｏを推定する。相対的にホッパ４１の下方に存在するワークピースＷは、上方のワークピースＷに一部又は全部が隠される。そのため、下方に存在するワークピースＷの基準位置Ｏは、高い得点を得ることができず、最上部に位置するワークピースＷほど、基準位置Ｏが高い得点を得ることができる。 As illustrated in FIG. 4, the workpiece estimation unit 35 estimates the reference position O of the workpiece W based on the scores accumulated by the accumulation unit 34. The workpiece W that is relatively below the hopper 41 is partially or entirely hidden by the upper workpiece W. Therefore, the reference position O of the workpiece W existing below cannot obtain a high score, and the work piece W located at the uppermost part can obtain a score with a high reference position O.
よって、高得点を得た基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢にあるワークピースＷは、最上部付近にあり露出していると推定することができる。そこで、ワークピース推定部３５は、集積部３４で算出した得点が予め定めた閾値を超えた場合、その得点を獲得した基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢（これらを合せて、「推定位置姿勢」という）にあるであろうと推定されるワークピースＷを選出する。選出されたワークピースＷは、全て露出しているものも、一部が露出していないものも含まれるように、前記閾値を設定する。 Therefore, it can be estimated that the workpiece W in the posture indicated by the posture information at the reference position O indicated by the reference position information obtained with a high score is near the top and exposed. Therefore, when the score calculated by the accumulating unit 34 exceeds a predetermined threshold value, the workpiece estimation unit 35 determines the posture indicated by the posture information at the reference position O indicated by the reference position information that acquired the score (according to these). The workpiece W estimated to be in the “estimated position / posture” is selected. The threshold value is set so that the selected workpieces W include those that are all exposed and those that are not partially exposed.
なお、図４では、視覚的に理解を容易にするために、重み付け係数の総和値である基準位置情報のみから得点を集積した様子を概念的に示している。このように画面内にある得点を高さで順位づけすることにより、検出したいワークピースＷの個数のみに絞って探索をかけることができるので、高速な検出が可能となる。例えば、３個のワークピースＷを検出したい場合には、得点集積が高い上位３つからのみ推定位置姿勢を算出すればよい。 FIG. 4 conceptually shows a state in which scores are accumulated only from the reference position information that is the total value of the weighting coefficients in order to facilitate visual understanding. In this way, by ranking the scores in the screen by height, the search can be limited to only the number of workpieces W to be detected, so that high-speed detection is possible. For example, when it is desired to detect three workpieces W, it is only necessary to calculate the estimated position and orientation from the top three that have the highest score accumulation.
ところで、集積部３４で集積された得点が閾値よりは高いがある程度低いとき、その得点を得て選定されたワークピースＷは少なくとも一部が他のワークピースＷ等によって被覆されていると考えられる。選定されたワークピースＷの被覆部（非露出部）がロボット４２のピックアップ部位（把持部位）である場合、このワークピースＷはロボット４２でピックアップできない。よって、ワークピースＷの被覆部を特定することが望ましい。 By the way, when the score accumulated in the accumulation unit 34 is higher than the threshold value but low to some extent, it is considered that at least a part of the workpiece W selected by obtaining the score is covered with another workpiece W or the like. . When the covering portion (non-exposed portion) of the selected workpiece W is the pickup portion (gripping portion) of the robot 42, the workpiece W cannot be picked up by the robot 42. Therefore, it is desirable to specify the covering portion of the workpiece W.
そこで、被覆部推定部３６は、記憶装置２０に保存されたサンプル画像データを再度利用して、ワークピースＷが推定位置姿勢にあるときのワークピースＷの形状（どの場所のパッチ画像から構成されているべきか）から、実際に重み付け係数を集積したパッチ画像の集合を差し引いた領域を、被覆部と推定する。 Therefore, the covering portion estimation unit 36 uses the sample image data stored in the storage device 20 again to form the shape of the workpiece W when the workpiece W is in the estimated position and posture (which is composed of the patch image at any location). The area obtained by subtracting a set of patch images in which weighting coefficients are actually accumulated is estimated as a covering portion.
例えば、ワークピース推定部３５で推定されたワークピースＷの位置姿勢が、サンプルパッチＡ，Ｂ，Ｃ，Ｄ，Ｅからなる位置姿勢であるとすると、撮像装置４６で撮影されているワークピースＷにおいてもＡ，Ｂ，Ｃ，Ｄ，Ｅの箇所のパッチ画像から基準位置情報が集積されることが期待される。しかし、例えば、サンプルパッチＢに対応するパッチ画像の領域から、ワークピースＷの基準位置Ｏを基準位置情報として重み付け係数を集積していなければ、Ｂの領域は被覆していると推定する。 For example, assuming that the position and orientation of the workpiece W estimated by the workpiece estimation unit 35 is a position and orientation composed of sample patches A, B, C, D, and E, the workpiece W photographed by the imaging device 46 is used. It is expected that the reference position information is accumulated from the patch images at locations A, B, C, D, and E. However, for example, from the area of the patch image corresponding to the sample patch B, if the weighting coefficient is not accumulated using the reference position O of the workpiece W as the reference position information, it is estimated that the area B is covered.
実際に山積みとなっているワークピースＷの姿勢は任意であるため、サンプル画像を撮像した姿勢とは一致しない状態の姿勢が存在する。すなわち、選出されワークピースＷの姿勢情報が示す姿勢は、離散的なデータベースの中から選択された最も似た姿勢であるので、実際のワークピースＷの姿勢とは少し異なる場合がある。そのため、ワークピース推定部３５で選定されたワークピースＷの推定位置姿勢が実際位置姿勢と異なり、ロボット４２でのピックアップに影響が生じるおそれがある。 Since the postures of the workpieces W actually piled up are arbitrary, there are postures that do not coincide with the postures in which the sample images are captured. That is, since the posture indicated by the posture information of the selected workpiece W is the most similar posture selected from the discrete database, it may be slightly different from the actual posture of the workpiece W. Therefore, the estimated position / posture of the workpiece W selected by the workpiece estimation unit 35 is different from the actual position / posture, which may affect the pickup by the robot 42.
そこで、実ワークピース決定部３７は、ワークピース推定部３５で選出したワークピースＷの実際の基準位置Ｏ及び姿勢（これらを合せて、「実際位置姿勢」という）を、実際のワークピースＷを２台の撮像装置４６で撮像した画像をステレオ画像処理することによって求める。ただし、ワークピース推定部３５で選出したワークピースＷの実際位置姿勢を高精度で求める必要がない場合には、実ワークピース決定部３７を省略してもよい。 Therefore, the actual workpiece determination unit 37 uses the actual reference position O and posture (collectively referred to as “actual position and posture”) of the workpiece W selected by the workpiece estimation unit 35 as the actual workpiece W. The image captured by the two imaging devices 46 is obtained by performing stereo image processing. However, when it is not necessary to obtain the actual position and orientation of the workpiece W selected by the workpiece estimation unit 35 with high accuracy, the actual workpiece determination unit 37 may be omitted.
実ワークピース決定部３７は、具体的には、２台の撮像装置４６が撮像した画像から推定位置姿勢に基準位置Ｏの位置、姿勢が近似するワークピースＷを選定し、その画像に微分処理を施すなどの周知の方法でエッジを抽出し、そのワークピースＷ全体の輪郭線を求める。 Specifically, the actual workpiece determination unit 37 selects a workpiece W that approximates the position and orientation of the reference position O to the estimated position and orientation from the images captured by the two imaging devices 46, and performs differential processing on the image. The edge is extracted by a known method such as applying a contour, and the contour line of the entire workpiece W is obtained.
このとき、画像処理を行うべきワークピースＷの基準位置Ｏの位置及び姿勢は予め推定されているので、２台の撮像装置４６で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。 At this time, since the position and orientation of the reference position O of the workpiece W to be subjected to image processing are estimated in advance, the corresponding points between the images captured by the two imaging devices 46 can be associated without erroneous recognition. The amount of image processing required for searching for corresponding points is also small.
また、実ワークピース決定部３７は、ワークピースＷまでの距離（図３における垂直方向位置）を求める。撮像装置４６から対応点（ワークピースＷの基準位置Ｏ）までの距離Ｚは、２台の撮像装置４６間の距離Ｌ、撮像装置４６の焦点距離ｆ、２台の撮像装置４６間の対応点の視差（ずれ量）ｄから、次式（１）によって求めることができる。 Further, the actual workpiece determining unit 37 obtains the distance to the workpiece W (vertical direction position in FIG. 3). The distance Z from the imaging device 46 to the corresponding point (reference position O of the workpiece W) is the distance L between the two imaging devices 46, the focal length f of the imaging device 46, and the corresponding points between the two imaging devices 46. Can be obtained by the following equation (1).
Ｚ＝Ｌ×ｆ／ｄ ・・・ （１）
これにより、ロボット４２で選定したワークピースＷをピックアップすることが可能となる。
Z = L × f / d (1)
As a result, the workpiece W selected by the robot 42 can be picked up.
なお、実ワークピース決定部３７で、実際のワークピースＷを２台の撮像装置４６で撮像した画像からワークピースＷの輪郭線を求めて被覆部を特定してもよいが、被覆部がピックアップ部位であることが分かった場合、この画像処理は無駄となる。よって、実ワークピース決定部３７は、被覆部推定部３６で被覆部がピックアップ部位でないと推定されたワークピースＷに対してのみ実際位置姿勢を求めればよい。 The actual workpiece determination unit 37 may specify the covering portion by obtaining the contour line of the workpiece W from the image obtained by capturing the actual workpiece W with the two imaging devices 46. This image processing is wasted if it is found to be a part. Therefore, the actual workpiece determination unit 37 only needs to obtain the actual position and orientation with respect to the workpiece W that is estimated by the covering unit estimation unit 36 that the covering unit is not a pickup part.
ピックアップ決定部３８は、実ワークピース決定部３７で求めた実際のワークピースＷの実際位置姿勢及び距離に基いて、ロボット４２での取り出しに適しているワークピースＷを決定する。そして、決定したワークピースＷの実際位置姿勢及び距離を示す情報をロボット制御部４５に送信する。取り出すワークピースＷの決定手法は特に問わないが、例えばピックアップする際のロボット４２の制御が容易であるワークピースＷ、あるいは、ピックアップ後に裏返し等が必要ないワークピースＷを選択すればよい。 The pickup determination unit 38 determines a workpiece W suitable for removal by the robot 42 based on the actual position / posture and distance of the actual workpiece W obtained by the actual workpiece determination unit 37. Then, information indicating the determined actual position / posture and distance of the workpiece W is transmitted to the robot controller 45. The method for determining the workpiece W to be taken out is not particularly limited. For example, a workpiece W that can be easily controlled by the robot 42 when picking up or a workpiece W that does not need to be turned over after picking up may be selected.
以下、図５を参照して、本発明の実施形態における画像認識方法について説明する。 Hereinafter, an image recognition method according to the embodiment of the present invention will be described with reference to FIG.
まず、上述したサンプルデータ取得装置１０を用いて、準備工程を行う（Ｓ１０）。 First, a preparation process is performed using the sample data acquisition apparatus 10 described above (S10).
この準備工程では、最初に、１個のワークピースＷを設置台１１に設置する。そして、制御部１３で設置台１１を回転等させながら、様々な角度からワークピースＷを撮像装置１２で撮像する（Ｓ１１）。 In this preparation process, one workpiece W is first installed on the installation table 11. Then, the work piece W is imaged by the imaging device 12 from various angles while rotating the installation table 11 by the control unit 13 (S11).
そして、画像処理部１４は、撮像したサンプル画像を撮像したワークピースＷの姿勢情報と対応付けて記憶装置２０に保存する（Ｓ１２）。 Then, the image processing unit 14 stores the captured sample image in the storage device 20 in association with the posture information of the captured workpiece W (S12).
次に、画像分割部１５は、各サンプル画像をそれぞれパッチに分割して、複数のサンプルパッチ画像を得る（Ｓ１３）。 Next, the image dividing unit 15 divides each sample image into patches to obtain a plurality of sample patch images (S13).
次に、タグ付与部１６は、Ｓ１３で分割された各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与すると共に、上述した条件式から数列を求めて番号付けしてラベリングを行う。さらに、タグ付与部１６は、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像をサンプルパッチ画像データベースとして記憶装置２０に保存する（Ｓ１４）。 Next, the tag attaching unit 16 attaches the positional relationship information of the workpiece W, posture information, and reliability information regarding the positional relationship information and posture information to each sample patch image divided in S13 as a tag. Then, a number sequence is obtained from the conditional expression described above and numbered to perform labeling. Further, the tag assigning unit 16 associates the positional relationship information, the posture information, the reliability information, and the numerical sequence in the order of the assigned numbers, and stores each sample patch image in the storage device 20 as a sample patch image database (S14). .
そして、準備工程完了後に、上述したピッキングアップ・システム４０を用いて、ワークピースＷの画像認識工程（Ｓ２０）を行う。 Then, after the preparation process is completed, the image recognition process (S20) of the workpiece W is performed using the above-described pick-up system 40.
この画像認識工程では、最初に、ホッパ４１の上方から、ランダムに山積みされたワークピースＷを２台の撮像装置４６で撮像する（Ｓ２１）。このＳ２１が本発明の撮像工程に相当する。 In this image recognition process, first, the workpieces W stacked at random from above the hopper 41 are imaged by the two imaging devices 46 (S21). This S21 corresponds to the imaging step of the present invention.
そして、画像処理部３１は、２台の撮像装置４６により撮影された画像データを記憶装置２０に格納する（Ｓ２２）。 The image processing unit 31 stores the image data captured by the two imaging devices 46 in the storage device 20 (S22).
次に、画像分割部３２は、Ｓ２２で処理された画像を複数のパッチに分割に分割して、複数のパッチ画像を得る（Ｓ２３）。 Next, the image dividing unit 32 divides the image processed in S22 into a plurality of patches to obtain a plurality of patch images (S23).
次に、対応サンプルパッチ画像分類部３３は、Ｓ２３で分割された各パッチ画像が、Ｓ１３で分割されたサンプルパッチ画像の何れに最も類似するかを記憶装置２０に格納されたサンプルパッチ画像データベースから探索する。この探索結果に基いて各パッチ画像を分類する（Ｓ２４）。このＳ２４が、本発明の分類工程に相当する。 Next, the corresponding sample patch image classification unit 33 determines from the sample patch image database stored in the storage device 20 which one of the sample patch images divided in S13 is most similar to each of the patch images divided in S23. Explore. Each patch image is classified based on the search result (S24). This S24 corresponds to the classification step of the present invention.
次に、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報及び姿勢情報毎に、重み付け係数の総和を集積した得点を求める（Ｓ２５）。この得点は、各撮像装置４６で撮影した画像データ毎に集計する。Ｓ２５が本発明の集積工程に相当する。 Next, the accumulating unit 34 obtains a score obtained by accumulating the sum of the weighting coefficients for each reference position information and posture information labeled in the sample patch area searched by the corresponding sample patch image classifying unit 33 (S25). This score is totaled for each image data photographed by each imaging device 46. S25 corresponds to the integration step of the present invention.
次に、ワークピース推定部３５は、各撮像装置４６で撮影した画像データ毎に、Ｓ２５で集積された得点が前記閾値を超えるワークピースＷを選定する（Ｓ２６）。 Next, the workpiece estimation unit 35 selects, for each image data captured by each imaging device 46, the workpiece W whose score accumulated in S25 exceeds the threshold (S26).
そして、ワークピース推定部３５は、撮像した撮像装置４６に応じて座標系を変換して、Ｓ２６で選定したワークピースＷの基準位置Ｏ及び姿勢が、各撮像装置４６で撮影した画像データ間で一致するか否かを判定する（Ｓ２７）。ワークピース推定部３５は、一致すると判定した場合、選定したワークピースＷが実際にその基準位置Ｏ及び姿勢に存在するとみなす（Ｓ２８）。Ｓ２６〜Ｓ２８が、本発明のワークピース推定工程に相当する。 And the workpiece estimation part 35 converts a coordinate system according to the imaged imaging device 46, and the reference position O and attitude | position of the workpiece W selected by S26 are between the image data image | photographed with each imaging device 46. It is determined whether or not they match (S27). If the workpiece estimation unit 35 determines that they match, the workpiece estimation unit 35 regards that the selected workpiece W is actually present at the reference position O and posture (S28). S26 to S28 correspond to the workpiece estimation step of the present invention.
次に、被覆部推定部３６は、Ｓ２８で実際に存在するとみなされたワークピースＷのうち、得点が低いワークピースＷの被覆部を推定する（Ｓ２９）。このＳ２９が本発明の被覆部推定工程に相当する。 Next, the covering portion estimation unit 36 estimates the covering portion of the workpiece W having a low score among the workpieces W that are considered to actually exist in S28 (S29). This S29 corresponds to the covering portion estimation step of the present invention.
次に、実ワークピース決定部３７は、２台の撮像装置４６で撮像した基準位置Ｏの視差から、上記式（１）に基づいて、このワークピースＷの実際の距離を求める（Ｓ３０）。このＳ３０が本発明の距離検出工程に相当する。 Next, the actual workpiece determination unit 37 obtains the actual distance of the workpiece W from the parallax of the reference position O imaged by the two imaging devices 46 based on the above formula (1) (S30). This S30 corresponds to the distance detection step of the present invention.
そして、ピックアップ決定部３８は、Ｓ２８及びＳ２９で求めた実際のワークピースＷの基準位置Ｏ、姿勢及び距離から、ロボット４２での取り出しに適しているワークピースＷを決定する（Ｓ３１）。ただし、ワークピースＷの位置姿勢を高精度で求める必要がない場合には、Ｓ２７及びＳ２８を省略して、Ｓ２６で推定した位置姿勢をワークピースＷの位置姿勢としてもよい。 Then, the pickup determining unit 38 determines a workpiece W suitable for removal by the robot 42 from the actual reference position O, posture, and distance of the workpiece W obtained in S28 and S29 (S31). However, when it is not necessary to obtain the position and orientation of the workpiece W with high accuracy, S27 and S28 may be omitted, and the position and orientation estimated in S26 may be used as the position and orientation of the workpiece W.
そして、最後に、ロボット４２を用いて、Ｓ３１で決定したワークピースＷをピックアップするピックアップ工程（Ｓ３２）を行う。 Finally, a pick-up step (S32) for picking up the workpiece W determined in S31 is performed using the robot.
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において適宜変形して適用可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and can be appropriately modified and applied without departing from the gist of the present invention.
例えば、上述した画像認識方法では、選定したワークピースＷの基準位置Ｏ及び姿勢を各撮像装置４６で撮影した画像データ間で一致するか否かを判定することによって（Ｓ２７）、そのワークピースＷの実際の距離を求めている（Ｓ３０）。しかし、ワークピースＷの実際の距離を求める方法はこれに限定されない。例えば、図６を参照して以下に説明する画像認識方法であってもよい。 For example, in the image recognition method described above, by determining whether or not the reference position O and posture of the selected workpiece W match between the image data captured by each imaging device 46 (S27), the workpiece W is determined. Is obtained (S30). However, the method for obtaining the actual distance of the workpiece W is not limited to this. For example, an image recognition method described below with reference to FIG. 6 may be used.
Ｓ２４の工程の後、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた姿勢情報に対して、２つの撮像装置４６の座標系を基準となる単一の座標系に整合するために、撮像した撮像装置４６に応じて座標系を変換する（Ｓ４１）。このＳ４１が本発明の座標系整合工程に相当する。 After the step of S24, the accumulating unit 34 uses a single coordinate based on the coordinate system of the two imaging devices 46 for the posture information labeled in the sample patch area searched by the corresponding sample patch image classifying unit 33. In order to match the system, the coordinate system is converted in accordance with the imaged imaging device 46 (S41). This S41 corresponds to the coordinate system matching step of the present invention.
そして、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報及び座標変換後の姿勢情報毎に、重み付け係数の総和を集積した得点を求める（Ｓ４２）。この得点は、各撮像装置４６で撮影した画像データを合わせて集計する。Ｓ４２が本発明の集積工程に相当する。 Then, the accumulating unit 34 obtains a score obtained by accumulating the sum of the weighting coefficients for each of the reference position information labeled in the sample patch area searched by the corresponding sample patch image classifying unit 33 and the posture information after coordinate conversion (S42). . This score is totaled together with the image data taken by each imaging device 46. S42 corresponds to the integration step of the present invention.
次に、ワークピース推定部３５は、Ｓ４２で集積された得点が予め設定された閾値を超えるワークピースＷを選定する（Ｓ４３）。 Next, the workpiece estimation unit 35 selects a workpiece W whose score accumulated in S42 exceeds a preset threshold value (S43).
そして、ワークピース推定部３５は、Ｓ４３で選定したワークピースＷの基準位置Ｏ及び姿勢が、各撮像装置４６で撮影した画像データ間で一致するか否かを判定する（Ｓ４４）。具体的には各撮像装置４６で撮影した画像データごとに集積した基準位置情報および姿勢情報の成分値（図２（ｂ）参照）を比較して一致するかどうかを判定する。 And the workpiece estimation part 35 determines whether the reference position O and attitude | position of the workpiece W selected by S43 correspond between the image data image | photographed with each imaging device 46 (S44). Specifically, the reference position information and the posture information component values (see FIG. 2B) accumulated for each image data photographed by each imaging device 46 are compared to determine whether or not they match.
ワークピース推定部３５は、各成分値が一致すると判定した場合、選定したワークピースＷが各撮像装置４６で撮像されており、実際にその基準位置Ｏ及び姿勢に存在するとみなす（Ｓ４５）。Ｓ４３〜Ｓ４５が、本発明のワークピース推定工程に相当する。 If the workpiece estimation unit 35 determines that the component values match, the workpiece estimation unit 35 considers that the selected workpiece W is captured by each imaging device 46 and actually exists at the reference position O and posture (S45). S43 to S45 correspond to the workpiece estimation step of the present invention.
その後、Ｓ２９〜Ｓ３２の工程を行う。 Then, the process of S29-S32 is performed.
１０…サンプルデータ取得装置、 １１…設置台、 １２…撮像装置、 １３…制御部、 １４…画像処理部、 １５…画像分割部、 １６…タグ付与部、 ２０…記憶装置、 ３０…ワークピース位置姿勢認識装置、 ３１…画像処理部、 ３２…画像分割部、 ３３…対応サンプルパッチ画像分類部、 ３４…集積部、 ３５…ワークピース推定部、 ３６…被覆部推定部、 ３７…実ワークピース決定部、 ３８…ピックアップ決定部、 ４０…ピッキングアップ・システム、 ４１…ホッパ、 ４２…ロボット、 ４３…アーム、 ４４…ハンド、 ４６…撮像装置、 Ｗ…ワークピース。 DESCRIPTION OF SYMBOLS 10 ... Sample data acquisition device, 11 ... Installation stand, 12 ... Imaging device, 13 ... Control part, 14 ... Image processing part, 15 ... Image division part, 16 ... Tag assignment part, 20 ... Storage device, 30 ... Workpiece position Posture recognition device 31 ... Image processing unit 32 ... Image dividing unit 33 ... Corresponding sample patch image classification unit 34 ... Accumulation unit 35 ... Workpiece estimation unit 36 ... Covering unit estimation unit 37 ... Actual workpiece determination 38: Pickup determination unit, 40 ... Picking up system, 41 ... Hopper, 42 ... Robot, 43 ... Arm, 44 ... Hand, 46 ... Imaging device, W ... Workpiece.
Claims (3)
１個のワークピースを複数の角度から撮影し、撮影された画像をパッチに分割して複数のサンプルパッチ画像を得る工程、
前記複数のサンプルパッチ画像を分類する工程、及び、
複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを対応させて保存する工程からなる準備工程と、
複数の前記ワークピースを撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、
前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を分類する分類工程と、
前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの基準位置までの位置情報と前記撮像されたときの前記ワークピースの姿勢情報とを集積する集積工程と、
前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程と、
前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基いて推定する被覆部推定工程とを含むことを特徴とする画像認識方法。 An image recognition method for recognizing the position and orientation of a workpiece from a captured image,
Photographing one workpiece from a plurality of angles and dividing the photographed image into patches to obtain a plurality of sample patch images;
Classifying the plurality of sample patch images; and
For each of the plurality of sample patch images, a preparation step consisting of a step of storing the position information up to the reference position of the workpiece and the posture information of the workpiece when the image is taken in correspondence with each other,
An imaging step of capturing a plurality of the workpieces and dividing the captured images into patches to obtain a plurality of patch images;
A classification step of classifying the plurality of patch images in the same manner as the method of classifying the plurality of sample patch images;
For each of the plurality of patch images, the position information up to the reference position of the workpiece and the posture information of the workpiece when imaged are stored in association with the sample patch image of the same classification as the patch image. An accumulation process for accumulating
A workpiece estimation step of estimating a reference position and posture of at least one workpiece in the patch image based on the accumulation result of the position information and the posture information;
Including a covering portion estimation step of estimating the covering portion of the workpiece obtained from the reference position and orientation in the workpiece estimation step based on the patch image accumulated in the position information and posture information of the workpiece. An image recognition method characterized by the above.
前記複数台の撮像装置でそれぞれ撮像した画像に対して、前記撮像工程、分類工程、前記集積工程及び前記ワークピース推定工程において処理を行い、
前記複数台の撮像装置の離間距離及び焦点距離と、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの基準位置の前記複数台の撮像装置間における視差とに基いて、前記複数台の撮像装置から前記ワークピースまでの距離を求める距離検出工程をさらに備えることを特徴とする請求項１に記載の画像認識方法。 Imaging with a plurality of imaging devices in the imaging step,
For each image captured by the plurality of imaging devices, the imaging process, the classification process, the integration process and the workpiece estimation process,
Based on the separation distance and focal distance of the plurality of imaging devices, and the parallax between the imaging devices at the reference position of the workpiece obtained in the workpiece estimation step, the reference position and orientation are determined based on the plurality of imaging devices. The image recognition method according to claim 1, further comprising a distance detection step of obtaining a distance from a stand imaging device to the workpiece.
前記集積工程において、前記座標系整合工程で座標系を整合した前記位置情報と前記姿勢情報を集積し、
前記ワークピース推定工程において、前記集積工程での集積結果に基いて、前記複数台の撮像装置でそれぞれ撮像した画像間で、前記位置情報及び前記姿勢情報が一致するか否かを判定し、一致すると判定した場合、前記ワークピースは前記位置情報が示す基準位置で前記姿勢情報が示す姿勢で存在するとみなすことを特徴とする請求項２に記載の画像認識方法。 A coordinate system matching step for matching the coordinate system with respect to images captured by the plurality of imaging devices,
In the accumulation step, the position information and the posture information that have been coordinated in the coordinate system matching step are accumulated,
In the workpiece estimation step, based on the accumulation result in the accumulation step, it is determined whether or not the position information and the posture information match between images captured by the plurality of imaging devices. 3. The image recognition method according to claim 2, wherein if it is determined, the workpiece is considered to exist in a posture indicated by the posture information at a reference position indicated by the position information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013150915A JP6026365B2 (en) | 2013-03-01 | 2013-07-19 | Image recognition method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013041277 | 2013-03-01 | ||
| JP2013041277 | 2013-03-01 | ||
| JP2013150915A JP6026365B2 (en) | 2013-03-01 | 2013-07-19 | Image recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014194735A JP2014194735A (en) | 2014-10-09 |
| JP6026365B2 true JP6026365B2 (en) | 2016-11-16 |
Family
ID=51839922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013150915A Expired - Fee Related JP6026365B2 (en) | 2013-03-01 | 2013-07-19 | Image recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6026365B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7183941B2 (en) * | 2019-05-09 | 2022-12-06 | トヨタ自動車株式会社 | Work identification method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5538967B2 (en) * | 2009-06-18 | 2014-07-02 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2013
- 2013-07-19 JP JP2013150915A patent/JP6026365B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014194735A (en) | 2014-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768174B2 (en) | Work take-out device | |
| EP2345515B1 (en) | Method for picking up work pieces | |
| US7283661B2 (en) | Image processing apparatus | |
| US8768071B2 (en) | Object category recognition methods and robots utilizing the same | |
| US7966094B2 (en) | Workpiece picking apparatus | |
| JP6529302B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| US9361695B2 (en) | Method of recognizing a position of a workpiece from a photographed image | |
| CN108126914B (en) | Deep learning-based robot sorting method for scattered multiple objects in material frame | |
| US11232589B2 (en) | Object recognition device and object recognition method | |
| KR100823549B1 (en) | Recognition method of welding line position in shipbuilding subassembly stage | |
| US10434652B2 (en) | Workpiece picking system | |
| US8611672B2 (en) | Work piece shape estimation device and work piece shape estimation method | |
| CN110926330A (en) | Image processing apparatus, image processing method, and program | |
| JP2018124184A (en) | Harness recognition device and harness recognition method | |
| CN113284178B (en) | Object stacking method, device, computing equipment and computer storage medium | |
| US20160005161A1 (en) | Robot system | |
| JP6041710B2 (en) | Image recognition method | |
| JP2555824B2 (en) | High-speed picking device for piled parts | |
| JP2022160363A (en) | Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP6026365B2 (en) | Image recognition method | |
| US20230009925A1 (en) | Object detection method and object detection device | |
| CN108550168A (en) | The multiple target quick high accuracy of Intelligentized mechanical arm view-based access control model identifies and localization method | |
| JP2014174629A (en) | Workpiece recognition method | |
| JP5736978B2 (en) | Article recognition apparatus, article recognition system, program, and article recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161012 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6026365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |