JP6041710B2 - Image recognition method - Google Patents
Image recognition method Download PDFInfo
- Publication number
- JP6041710B2 JP6041710B2 JP2013044562A JP2013044562A JP6041710B2 JP 6041710 B2 JP6041710 B2 JP 6041710B2 JP 2013044562 A JP2013044562 A JP 2013044562A JP 2013044562 A JP2013044562 A JP 2013044562A JP 6041710 B2 JP6041710 B2 JP 6041710B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- image
- sample
- assumed
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Description
本発明は、画像認識方法に関する。 The present invention relates to an image recognition method.
バラ積みされたワークピースをロボットなどでピックアップする場合には、最上部に位置するワークピースの位置及び姿勢を正確に検出する必要がある。従来、このような場合、ＣＣＤカメラからの２次元の濃淡画像を利用してパターンマッチングを行うことでピッキングするワークピースを検出していた。 When picking up workpieces stacked in bulk with a robot or the like, it is necessary to accurately detect the position and posture of the workpiece located at the top. Conventionally, in such a case, a workpiece to be picked is detected by performing pattern matching using a two-dimensional grayscale image from a CCD camera.
例えば、特許文献１には、パターンマッチングを用いて、バラ積みされたワークピースの位置及び姿勢を検出する方法が記載されている。この方法では、まず、バラ積みされたワークピースを２次元ＣＣＤカメラで撮像した画像を、予め複数の方向から撮像したワークピースの輪郭形状とマッチングさせて、ワークピースとＣＣＤカメラとの相対姿勢を求める。そして、求めた相対姿勢に基づいて、対象とするワークピースの特徴を明確に捕らえることができる位置姿勢に移動させた３次元視覚センサでワークピースの位置姿勢を計測する。これにより、ワークピースの位置姿勢を正確に計測することができる。 For example, Patent Literature 1 describes a method for detecting the position and posture of workpieces stacked using pattern matching. In this method, first, an image obtained by picking up the stacked workpieces with a two-dimensional CCD camera is matched with the contour shape of the workpiece taken in advance from a plurality of directions, and the relative posture between the workpiece and the CCD camera is determined. Ask. Then, based on the obtained relative posture, the position and posture of the workpiece are measured by a three-dimensional visual sensor moved to a position and posture that can clearly capture the feature of the target workpiece. Thereby, the position and orientation of the workpiece can be accurately measured.
また、特許文献２には、ワークピースの撮影画像をアイコン（パッチ）に分割して、各アイコンの相対位置関係をタグ付けすることが記載されている。 Patent Document 2 describes that a photographed image of a workpiece is divided into icons (patches) and the relative positional relationship of each icon is tagged.
しかしながら、複数のワークピースが複雑に重なり合った状態の撮像画像では、画像中の輝度の変化がランダムかつ特徴が曖昧になる。そのため、パターンマッチング法では輪郭形状の抽出ができず、ワークピースの正確な位置及び姿勢の特定ができない場合があった。 However, in a captured image in which a plurality of workpieces are overlapped in a complicated manner, a change in luminance in the image is random and features are ambiguous. Therefore, the contour shape cannot be extracted by the pattern matching method, and there are cases where the exact position and orientation of the workpiece cannot be specified.
本発明は、以上の点に鑑み、複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能な画像認識方法を提供することを目的とする。 In view of the above, an object of the present invention is to provide an image recognition method capable of obtaining the position and posture of a workpiece in a complicatedly overlapped state with high reliability.
本発明は、撮像した画像からワークピースの位置及び姿勢を認識する画像認識方法であって、前記ワークピースの３次元形状モデルからポリゴンメッシュを生成する工程、撮像手段で前記ワークピースを実際に撮像して得られたサンプル実画像と、前記撮像手段で撮像した方向と同じ方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル基準想定画像とを対応付ける工程、前記サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュに対応付けされた前記サンプル実画像の面の輝度を対応付ける工程、前記撮像手段で実際に撮像した方向とは異なる方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル想定画像に対して、当該サンプル想定画像の各面を構成するポリゴンメッシュ毎に、当該ポリゴンメッシュの法線方向と、当該ポリゴンメッシュに対応する前記サンプル基準想定画像におけるポリゴンメッシュの法線方向及び対応付けた前記輝度とに基づいて、仮想の輝度を求める工程、前記サンプル基準想定画像及び前記サンプル想定画像をパッチに分割して複数のサンプルパッチ画像を得る工程、前記複数のサンプルパッチ画像を前記輝度又は前記仮想の輝度に基づいて分類する工程、及び、前記複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置を示す位置情報と前記撮像したとき又は撮像したと想定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程、からなる準備工程と、複数の前記ワークピースを前記撮像手段で撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を輝度に基づいて分類する分類工程と、前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの位置情報及び姿勢情報を集積する集積工程と、前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする。 The present invention is an image recognition method for recognizing the position and orientation of a workpiece from a captured image, the step of generating a polygon mesh from a three-dimensional shape model of the workpiece, and actually capturing the workpiece with an imaging means And a sample reference assumed image assumed to be obtained when the imaging means captures a three-dimensional shape model of the workpiece from the same direction as the direction captured by the imaging means. A step of associating, for each polygon mesh in the sample reference assumed image, a step of associating the brightness of the surface of the sample actual image associated with the polygon mesh, from the direction different from the direction actually captured by the imaging means, Sample concept assumed to be obtained when a three-dimensional shape model of a piece is imaged by the imaging means For each polygon mesh constituting each surface of the sample assumed image with respect to the image, the normal direction of the polygon mesh, and the normal direction and correspondence of the polygon mesh in the sample reference assumed image corresponding to the polygon mesh A step of obtaining a virtual luminance based on the luminance, a step of dividing the sample reference assumed image and the sample assumed image into patches to obtain a plurality of sample patch images, The step of classifying on the basis of the virtual luminance, and the workpiece when the image is taken or assumed to be taken with the position information indicating the reference position of the workpiece for each of the plurality of sample patch images A preparatory process consisting of a step of storing the posture information indicating the posture of the device in association with each other, and a plurality of the work items The plurality of patch images are captured in the same manner as the imaging step of capturing a piece with the imaging unit and dividing the captured image into patches to obtain a plurality of patch images, and the method of classifying the plurality of sample patch images. A classification process for classifying based on luminance, and an accumulation process for collecting, for each of the plurality of patch images, the position information and posture information of the workpiece stored corresponding to the sample patch image of the same classification as the patch image. And a workpiece estimation step of estimating a reference position and orientation of at least one workpiece in the patch image based on the accumulation result of the position information and the orientation information.
本発明によれば、下方に存在するワークピースはその上方に存在する他のワークピースによって被覆されるので、最上部に位置するワークピースほど、集積工程で集積される位置情報及び姿勢情報の集積は大きくなる。よって、集積が大きな位置情報で表される位置に基準位置を有し、集積が大きな姿勢情報で表される姿勢にあるワークピースであるほど、上位にあると推定される。 According to the present invention, since the workpiece existing below is covered with another workpiece existing above the workpiece, the position of the position information and the posture information accumulated in the accumulation step is accumulated at the uppermost workpiece. Will grow. Therefore, it is estimated that a workpiece having a reference position at a position represented by large positional information and having a posture in which the accumulation is represented by large posture information is higher.
このように、本発明では、複数のワークピースを撮像した画像を分割したパッチ画像と同じ分類のサンプルパッチ画像に対応させた位置情報及び姿勢情報を集積するので、分類又は対応付けが良好に行えないものがあっても、被覆部が小さなワークピースの基準位置の位置及び姿勢を、最終的に高い信頼性で推定することが可能となる。 As described above, according to the present invention, since the position information and the posture information corresponding to the sample patch images of the same classification as the patch images obtained by dividing the image obtained by imaging a plurality of workpieces are accumulated, the classification or association can be performed satisfactorily. Even if there is nothing, the position and orientation of the reference position of the workpiece having a small covering portion can be finally estimated with high reliability.
また、ワークピースを撮像手段で実際に撮像して得られたサンプル実画像と、ワークピースの３次元形状モデルから求めたサンプル基準想定画像とを対応付けて、サンプル基準想定画像の仮想の輝度を求めたうえで、ワークピースの３次元形状モデルからサンプル想定画像を求めている。よって、ワークピースを撮像手段で実際に多数の方向から撮像してサンプル画像を得る必要がないので、準備工程が簡素なものとなる。 Further, the virtual actual brightness of the sample reference assumed image is obtained by associating the sample actual image obtained by actually imaging the workpiece with the imaging means and the sample reference assumed image obtained from the three-dimensional shape model of the workpiece. After obtaining, a sample assumed image is obtained from the three-dimensional shape model of the workpiece. Therefore, it is not necessary to obtain a sample image by actually imaging the workpiece from a large number of directions by the imaging means, so that the preparation process is simplified.
本発明において、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチ画像に基づいて推定する被覆部推定工程をさらに含むことが好ましい。 In the present invention, a covering portion estimation step of estimating the covering portion of the workpiece, which has been obtained at the reference position and orientation in the workpiece estimation step, based on the patch image accumulated in the position information and posture information of the workpiece. It is preferable that it is further included.
この場合、集積が低くワークピースの一部が被覆されていると推定されるとき、被覆部推定工程で、このワークピースを示す位置情報及び姿勢情報に集積されたパッチ画像を逆に展開して、被覆部を推定する。これにより、ロボット等がピックアップする部分が被覆されているか否かを推定することができる。 In this case, when the accumulation is estimated to be low and a part of the workpiece is covered, the patch image accumulated in the position information and the posture information indicating the workpiece is reversely developed in the covering portion estimation step. Estimate the covering part. Thereby, it can be estimated whether or not the part picked up by the robot or the like is covered.
本発明の実施形態における準備工程で使用するサンプルデータ取得装置１０について説明する。 The sample data acquisition apparatus 10 used in the preparation process in the embodiment of the present invention will be described.
図１に示すように、サンプルデータ取得装置１０は、ワークピースＷを既知の姿勢で設置することが可能な設置台１１と、設置台１１に設置された１個のワークピースＷを上方から撮像する撮像装置１２と、設置台１１又は撮像装置１２の姿勢を制御する制御部１３とを備える。 As shown in FIG. 1, the sample data acquisition device 10 captures an image of a workpiece 11 installed on the installation table 11 from above, an installation table 11 on which the workpiece W can be installed in a known posture. An imaging device 12 that controls the position of the installation base 11 or the imaging device 12.
設置台１１は、例えば、回転ステージであり、制御部１３によって回転制御可能に構成されている。撮像装置１２は、ここでは、１台のＣＣＤカメラであり二次元撮像画像のデータを生成する。撮像装置１２は、図示しない支柱や天井などに支持されて設置台１１の上方に配置されている。 The installation base 11 is, for example, a rotary stage, and is configured to be controlled by the control unit 13. Here, the imaging device 12 is a single CCD camera, and generates data of a two-dimensional captured image. The imaging device 12 is supported above a support column or ceiling (not shown) and disposed above the installation table 11.
制御部１３によって設置台１１又は撮像装置１２の姿勢を制御して、また、必要に応じて設置台１１に設置されたワークピースＷを裏返して、撮像装置１２にワークピースＷを撮像させる。 The control unit 13 controls the posture of the installation table 11 or the imaging device 12, and turns the workpiece W installed on the installation table 11 as necessary to cause the imaging device 12 to image the workpiece W.
サンプルデータ取得装置１０は、さらに、サンプル実画像生成部２１、ポリゴンメッシュ生成部２２、サンプル基準想定画像生成部２３、サンプル画像対応付け部２４、サンプル想定画像生成部２５、画像分割部２６、及び、タグ付与部２７を備え、記憶装置１４に接続されている。 The sample data acquisition device 10 further includes a sample actual image generation unit 21, a polygon mesh generation unit 22, a sample reference assumption image generation unit 23, a sample image association unit 24, a sample assumption image generation unit 25, an image division unit 26, and , Provided with a tag assigning unit 27 and connected to the storage device 14.
サンプル実画像生成部２１は、予め設定された特定の方向から撮像装置１２でワークピースＷを撮像させて、サンプル実画像データを得る。特定の方向とは、例えば、上、下、右、左、前、後の６方向である。得られたサンプル実画像データは、撮像時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。 The sample actual image generating unit 21 obtains sample actual image data by causing the imaging device 12 to capture an image of the workpiece W from a specific direction set in advance. The specific directions are, for example, six directions of up, down, right, left, front, and back. The obtained sample actual image data is stored in the storage device 14 in association with the posture information indicating the posture of the workpiece W at the time of imaging.
なお、図２（ａ）に示すように、ワークピースＷに、１点の基準位置Ｏ、及び１つの基準姿勢（基準方向）を予め定めておく。基準位置Ｏは、例えば、ワークピースＷの重心、ワークピースＷに形成された穴の中心などに設定すればよい。そして、各サンプル実画像データに対応付ける姿勢情報は、基準姿勢を基準とした、サンプル実画像の撮像時におけるワークピースＷの姿勢の方向ずれを示す情報である。なお、姿勢情報を得るために、ワークピースＷをその付近に位置させたチェッカーパターンと共に、撮像装置１２で撮像してもよい。 As shown in FIG. 2A, one reference position O and one reference posture (reference direction) are determined in advance on the workpiece W. The reference position O may be set, for example, at the center of gravity of the workpiece W, the center of the hole formed in the workpiece W, or the like. The posture information associated with each sample actual image data is information indicating the direction deviation of the posture of the workpiece W when the sample actual image is captured with reference to the reference posture. In addition, in order to obtain posture information, you may image with the imaging device 12 with the checker pattern which positioned the workpiece W in the vicinity.
ポリゴンメッシュ生成部２２は、ワークピースＷの３次元形状モデルを示す３次元ＣＡＤデータからポリゴンメッシュを生成する。３次元ＣＡＤデータは、例えばワークピースＷの設計データであり、記憶装置１４に予め記憶されている。３次元ＣＡＤデータからポリゴンメッシュを生成する手法は特に限定されず、周知の手法で行えばよく、市販のソフトウェアを利用してもよい。 The polygon mesh generation unit 22 generates a polygon mesh from 3D CAD data indicating a 3D shape model of the workpiece W. The three-dimensional CAD data is, for example, design data of the workpiece W, and is stored in advance in the storage device 14. The method for generating the polygon mesh from the three-dimensional CAD data is not particularly limited, and may be performed by a known method, and commercially available software may be used.
サンプル基準想定画像生成部２３は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向と同じ方向から撮像したときに得られると想定されるサンプル基準想定画像データを生成する。 The sample reference assumed image generation unit 23 is assumed to be obtained when the three-dimensional shape model of the workpiece W is imaged by the imaging device 12 and the workpiece W is imaged from the same direction as the actual imaging direction by the imaging device 12. Sample reference assumed image data is generated.
具体的には、サンプル基準想定画像生成部２３は、ポリゴンメッシュ生成部２２で生成したポリゴンメッシュ毎に、ポリゴンメッシュの示す面（フェイス）の法線方向等に基づいて、ワークピースＷの３次元形状モデルを撮像装置１２で撮像したときに得られる陰影、輪郭線等を求めて、サンプル基準想定画像データを生成する。サンプル基準想定画像生成部２３で生成されたサンプル基準想定画像データは、撮像想定時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。 Specifically, the sample reference assumption image generation unit 23 generates a 3D image of the workpiece W based on the normal direction of the face (face) indicated by the polygon mesh for each polygon mesh generated by the polygon mesh generation unit 22. The shading, outline, etc. obtained when the shape model is imaged by the imaging device 12 are obtained, and sample reference assumed image data is generated. The sample reference assumption image data generated by the sample reference assumption image generation unit 23 is stored in the storage device 14 in association with the posture information indicating the posture of the workpiece W when imaging is assumed.
サンプル画像対応付け部２４は、同じ姿勢情報を対応付けられたサンプル実画像データとサンプル基準想定画像データとの対応付けを行う。具体的には、サンプル画像対応付け部２４は、サンプル実画像及びサンプル基準想定画像から輪郭線等を抽出し、抽出した輪郭線等を対応付けすることによって対応付けを行う。 The sample image association unit 24 associates sample actual image data associated with the same posture information and sample reference assumed image data. Specifically, the sample image association unit 24 extracts a contour line or the like from the sample actual image and the sample reference assumed image, and performs association by correlating the extracted contour line or the like.
サンプル画像対応付け部２４は、サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュが示す面に対応するサンプル実画像の面における輝度を対応付ける。 The sample image association unit 24 associates, for each polygon mesh in the sample reference assumed image, the luminance on the surface of the sample actual image corresponding to the surface indicated by the polygon mesh.
サンプル想定画像生成部２５は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向とは異なる方向から撮像したときに得られると想定されるサンプル想定画像データを生成する。 The sample assumed image generation unit 25 is assumed to be obtained when the three-dimensional shape model of the workpiece W is captured by the imaging device 12 and the workpiece W is captured from a direction different from the direction in which the workpiece W is actually captured. Sample assumed image data is generated.
具体的には、サンプル想定画像生成部２５は、ポリゴンメッシュ生成部２２で生成したポリゴンメッシュ毎に、ポリゴンメッシュの示す面（フェイス）の法線方向等に基づいて、３次元形状モデルからワークピースＷを撮像装置１２で撮像したときに得られる陰影、輪郭線等を求めて、サンプル想定画像データを生成する。サンプル想定画像生成部２５で生成されたサンプル想定画像データは、撮像想定時のワークピースＷの姿勢を示す姿勢情報と対応付けて記憶装置１４に保存される。 Specifically, the sample assumed image generation unit 25 generates a workpiece from a three-dimensional shape model for each polygon mesh generated by the polygon mesh generation unit 22 based on the normal direction of the face (face) indicated by the polygon mesh. A shade, an outline, and the like obtained when W is imaged by the imaging device 12 are obtained, and sample assumed image data is generated. The sample assumed image data generated by the sample assumed image generation unit 25 is stored in the storage device 14 in association with the posture information indicating the posture of the workpiece W when imaging is assumed.
画像分割部２６は、各サンプル基準想定画像及びサンプル想定画像をそれぞれパッチ（小領域）に分割して、複数のサンプルパッチ画像を得る処理を行う。パッチは、例えば、予め定められた画素数×画素数分の長方形又は正方形の領域である。 The image dividing unit 26 performs processing for dividing each sample reference assumed image and sample assumed image into patches (small regions) to obtain a plurality of sample patch images. The patch is, for example, a rectangular or square area corresponding to a predetermined number of pixels × the number of pixels.
タグ付与部２７は、画像分割部２６で分割された各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与する。具体的には、位置関係情報は、サンプルパッチ画像に係る部分のワークピースＷの基準位置Ｏに対する相対座標情報（例えば、ＸＹＺ軸座標）である。姿勢情報は、位置関係情報と同様に、サンプルパッチ画像に係る部分のワークピースＷの基準角度に対する相対角度情報であり、例えばＲｘ，Ｒｙ、Ｒｚの３軸回りの回転角度、あるいは３×３の回転行列である。 The tag assigning unit 27 assigns the positional relationship information of the workpiece W, posture information, and reliability information regarding the positional relationship information and posture information to each sample patch image divided by the image dividing unit 26 as a tag. Specifically, the positional relationship information is relative coordinate information (for example, XYZ axis coordinates) with respect to the reference position O of the workpiece W of the part related to the sample patch image. The posture information is relative angle information with respect to the reference angle of the workpiece W of the part related to the sample patch image, as in the positional relationship information. For example, the rotation angle around three axes of Rx, Ry, and Rz, or 3 × 3 It is a rotation matrix.
サンプルパッチ画像によっては、ワークピースＷの基準位置Ｏまでの関係が一義的に求まらない場合と求まる場合とがあるため、タグ付与部２７は、信頼度情報として重み付け係数を付与する。 Depending on the sample patch image, the relationship to the reference position O of the workpiece W may or may not be uniquely determined, and therefore the tag assigning unit 27 assigns a weighting coefficient as reliability information.
例えば、図２（ａ）を参照して、ワークピースＷの側辺部の一部を撮像したサンプルパッチ画像では、具体的に側辺部のどの領域を撮像した画像であるか不明である。このような場合には、信頼度が低いので、重み付け係数をそのぶんだけ低くしておく。さらに具体的には、あるサンプルパッチ画像がワークピースＷの２つの部分の何れか一方を特定の方向から撮像したものであることが分かる場合、信頼度は５０％であるので、このサンプルパッチ画像に付与する重み付け係数は０．５とする。一方、ワークピースＷの角部などの特徴部分を特定の方向から撮像して得られたサンプルパッチ画像では、基準位置Ｏ及び姿勢が一義的に定まるので、信頼度は高く、重み付け係数を１．０とする。 For example, referring to FIG. 2A, in the sample patch image obtained by imaging a part of the side portion of the workpiece W, it is not clear which region of the side portion is specifically captured. In such a case, since the reliability is low, the weighting coefficient is lowered as much. More specifically, when it is known that a certain sample patch image is obtained by imaging one of the two parts of the workpiece W from a specific direction, the reliability is 50%. The weighting coefficient given to is assumed to be 0.5. On the other hand, in the sample patch image obtained by imaging a characteristic part such as a corner of the workpiece W from a specific direction, the reference position O and the posture are uniquely determined, so the reliability is high, and the weighting coefficient is 1. 0.
さらに、タグ付与部２７は、サンプルパッチ画像を、該サンプルパッチ画像を構成する各画素（ピクセル）の輝度を順々に予め定めた閾値と比較する条件式を満たすか否かによって仕分けする二分木法によって分類する。そして、タグ付与部２７は、サンプルパッチ画像毎に、分類に応じた番号付けしてラベリングを行う。 Further, the tag assigning unit 27 sorts the sample patch image according to whether or not it satisfies a conditional expression for sequentially comparing the luminance of each pixel (pixel) constituting the sample patch image with a predetermined threshold value. Classify by law. Then, the tag assigning unit 27 labels each sample patch image with a number according to the classification.
具体的には、タグ付与部２７は、例えば、左上の画素を起点として予め定められた順序に沿って各画素の輝度が閾値以上の場合には「０」、閾値未満の場合には「１」として、仕分けする。これにより、各サンプルパッチ画像に対して「１００１０１・・・」などの数列が求まる。そして、この数列順にサンプルパッチ画像を並び代えて、各サンプルパッチ画像に番号を付与する。 Specifically, the tag assigning unit 27, for example, “0” when the luminance of each pixel is equal to or higher than a threshold value in a predetermined order starting from the upper left pixel, and “1” when the luminance is lower than the threshold value. ". As a result, several sequences such as “100101...” Are obtained for each sample patch image. Then, the sample patch images are rearranged in this numerical sequence, and a number is assigned to each sample patch image.
また、ある特定アドレスの画素の輝度と、他の特定アドレスの画素の輝度とを比較して、ある特定アドレス画素の輝度が、他の特定アドレスの画素の輝度以上である場合には「０」、未満である場合には「１」として、比較する画素を順次適宜選択して「００１１０１・・・」などの数列を求め、この数列を前段落で述べた数列に追加してもよい。このように、数列を求めるための質問は、正否で回答され、その回答を０，１の２値に分類できるものであればよい。 Further, the brightness of a pixel at a specific address is compared with the brightness of a pixel at another specific address, and when the brightness of a specific address pixel is equal to or higher than the brightness of a pixel at another specific address, “0”. If the number is less than “1”, the pixels to be compared may be appropriately selected sequentially to obtain a number sequence such as “001101...”, And this number sequence may be added to the number sequence described in the previous paragraph. In this way, the question for obtaining the numerical sequence may be any answer as long as it can be answered correctly or not, and the answer can be classified into binary values of 0 and 1.
このように二分木法を用いて仕分けすることで、膨大な数に及ぶパッチサンプル画像の分類を単純な２進法分類の繰り返しに帰着させることができる。よって、電子演算器を用いれば短時間で分類することが可能となる。ただし、二分木法を用いた分類することに限定されず、サンプルパッチ画像から特徴パラメータを抽出するなどの周知の任意の画像分類方法で分類してもよい。 By sorting using the binary tree method in this way, a huge number of patch sample image classifications can be reduced to simple binary classification repetitions. Therefore, if an electronic computing unit is used, it becomes possible to classify in a short time. However, the classification is not limited to using the binary tree method, and classification may be performed by any known image classification method such as extracting feature parameters from a sample patch image.
そして、タグ付与部２７は、図２（ｂ）に示すように、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像をサンプルパッチ画像データベースとして記憶装置１４に保存する。 Then, as shown in FIG. 2B, the tag assigning unit 27 associates the positional relationship information, the posture information, the reliability information, and the numerical sequence in the order of the assigned numbers, and assigns each sample patch image to the sample patch image database. Is stored in the storage device 14.
次に、本発明の実施形態における画像認識方法で使用するワークピース位置姿勢認識装置３０を備えたピッキングアップ・システム４０について説明する。 Next, the picking up system 40 provided with the workpiece position and orientation recognition device 30 used in the image recognition method according to the embodiment of the present invention will be described.
図３に示すように、ワークピース位置姿勢認識装置３０は、ホッパ（貯留槽）４１内に山積みされたワークピースＷの基準位置、姿勢及び距離を求める装置である。ここでは、ワークピースＷは同一形状であり、ホッパ４１内に３次元的に任意の位置及び姿勢で多数山積みされている。 As shown in FIG. 3, the workpiece position / posture recognition device 30 is a device that obtains the reference position, posture, and distance of the workpieces W stacked in a hopper (storage tank) 41. Here, the workpieces W have the same shape, and a large number of workpieces W are stacked in an arbitrary position and posture three-dimensionally in the hopper 41.
ワークピース位置姿勢認識装置３０は、山積みされたワークピースＷのうち、最上部付近に位置し、ピックアップされるに適したワークピースＷを決定する。なお、本ワークピース位置姿勢認識装置３０は、ワークピースＷが乱雑に山積みされている場合に限らず、ワークピースＷが整列して配置されている場合でも、同様に適用可能である。 The workpiece position / posture recognition apparatus 30 determines a workpiece W that is located near the top of the stacked workpieces W and is suitable for being picked up. Note that the workpiece position / posture recognition device 30 is not limited to the case where the workpieces W are randomly stacked, but can be similarly applied to the case where the workpieces W are aligned and arranged.
ピッキングアップ・システム４０は、ワークピース位置姿勢認識装置３０から供給されるワークピースＷの基準位置Ｏ、姿勢及び距離に応じて、ワークピースＷを一つずつピックアップするロボット４２を備える。ロボット４２は、アーム４３と、アーム４３のエンドエフェクタであるハンド４４と、アーム４３及びハンド４４の動作を制御するロボット制御部４５とを備える。 The picking-up system 40 includes a robot 42 that picks up the workpieces W one by one in accordance with the reference position O, posture, and distance of the workpiece W supplied from the workpiece position / posture recognition device 30. The robot 42 includes an arm 43, a hand 44 that is an end effector of the arm 43, and a robot control unit 45 that controls the operation of the arm 43 and the hand 44.
ロボット制御部４５は、ワークピース位置姿勢認識装置３０から供給された、ピックアップすべきワークピースＷの基準位置情報、姿勢情報及び距離情報を、ロボット座標系に変換して、このワークピースＷをハンド４４でピックアップするように、アーム４３及びハンド４４を制御する。 The robot control unit 45 converts the reference position information, posture information, and distance information of the workpiece W to be picked up supplied from the workpiece position / posture recognition device 30 into a robot coordinate system, and uses the workpiece W as a hand. The arm 43 and the hand 44 are controlled so as to be picked up at 44.
ピッキングアップ・システム４０は、さらに、ホッパ４１内に山積みされたワークピースＷを上方から撮像する１台もしくは複数台の撮像装置４６を備える。撮像装置４６は、例えば２台のＣＣＤカメラであり、それぞれ別の角度からの二次元撮像画像を生成する。２台の撮像装置４６は、図示しない支柱や天井などに支持され、離間してホッパ４１の上方に配置されている。２台の撮像装置４６は、山積みされたワークピースＷを重複して撮像する。 The picking-up system 40 further includes one or a plurality of imaging devices 46 that image the workpieces W stacked in the hopper 41 from above. The imaging device 46 is, for example, two CCD cameras, and generates two-dimensional captured images from different angles. The two image pickup devices 46 are supported by a post or a ceiling (not shown), and are spaced apart and arranged above the hopper 41. The two imaging devices 46 image the piled workpieces W in an overlapping manner.
ワークピース位置姿勢認識装置３０は、画像処理部３１、画像分割部３２、対応サンプルパッチ画像分類部３３、集積部３４、ワークピース推定部３５、被覆部推定部３６、実ワークピース決定部３７、及びピックアップ決定部３８を備え、記憶装置１４に接続されている。 The workpiece position and orientation recognition device 30 includes an image processing unit 31, an image dividing unit 32, a corresponding sample patch image classification unit 33, a stacking unit 34, a workpiece estimation unit 35, a covering unit estimation unit 36, an actual workpiece determination unit 37, And a pickup determining unit 38, which is connected to the storage device 14.
画像処理部３１は、２台の撮像装置４６により撮影された画像を取り込み、所定の処理を行った画像データを記憶装置１４に格納する。 The image processing unit 31 takes in images taken by the two imaging devices 46 and stores the image data subjected to predetermined processing in the storage device 14.
画像分割部３２は、画像処理部３１で処理された画像を複数のパッチ（小領域）に分割して、複数のパッチ画像を得る処理を行う。このパッチは、サンプルデータ取得装置１０の画像分割部２６でサンプル画像が分割されたパッチと同じ画素数×画素数からなる領域である。ここでは、画像分割部３２で分割されたパッチの縮尺が、サンプルデータ取得装置１０の画像分割部２６で分割されたパッチの縮尺とほぼ同じになるように調整する。 The image dividing unit 32 divides the image processed by the image processing unit 31 into a plurality of patches (small regions), and performs processing for obtaining a plurality of patch images. This patch is an area having the same number of pixels × number of pixels as the patch into which the sample image is divided by the image dividing unit 26 of the sample data acquisition apparatus 10. Here, the scale of the patch divided by the image dividing unit 32 is adjusted to be substantially the same as the scale of the patch divided by the image dividing unit 26 of the sample data acquisition apparatus 10.
対応サンプルパッチ画像分類部３３は、画像分割部３２で分割された各パッチ画像が、画像分割部２６で分割されたサンプルパッチ画像の何れに最も類似するかを、記憶装置１４に格納されたサンプルパッチ画像データベースから探索する。 The corresponding sample patch image classifying unit 33 stores which sample image stored in the storage device 14 indicates which of the sample patch images divided by the image dividing unit 26 is most similar to each of the patch images divided by the image dividing unit 32. Search from the patch image database.
ここでは、対応サンプルパッチ画像分類部３３は、前述したタグ付与部２７で求めた数列と同じ方法で画像分割部３２で分割された各パッチ画像に対応する数列を求める。対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が一致するサンプルパッチ画像を探索する。 Here, the corresponding sample patch image classification unit 33 obtains a number sequence corresponding to each patch image divided by the image dividing unit 32 in the same manner as the number sequence obtained by the tag assignment unit 27 described above. The corresponding sample patch image classification unit 33 searches for a sample patch image whose numerical sequence matches the numerical sequence corresponding to each patch image.
対応サンプルパッチ画像分類部３３は、タグ付与部２７と同様に二分木法で数列を求め、求めた数列をタグ付与部２７で付与した数列と対比するので、短時間で一致するサンプルパッチ画像を探索することが可能となる。 The corresponding sample patch image classifying unit 33 obtains a number sequence by the binary tree method in the same manner as the tag assigning unit 27, and compares the obtained number sequence with the number sequence given by the tag assigning unit 27. It becomes possible to search.
そして、対応サンプルパッチ画像分類部３３は、各パッチ画像に対応する数列と数列が全て一致するサンプルパッチ画像、もしくは数列のうち閾値個以上の数列が一致するサンプルパッチ画像を、最も類似するサンプルパッチ画像とする。なお、２つのワークピースＷが重なり合って、パッチ画像に分岐が存在するような場合がある。このような場合は、数列が一致又は類似するサンプルパッチ画像は存在しない。 Then, the corresponding sample patch image classification unit 33 selects the sample patch image in which the number sequence and the number sequence corresponding to each patch image all match, or the sample patch image in which the number sequence equal to or more than the threshold number matches, An image. There are cases where two workpieces W overlap and there is a branch in the patch image. In such a case, there is no sample patch image whose number sequence is identical or similar.
対応サンプルパッチ画像分類部３３は、パッチ画像に最も類似するサンプルパッチ画像を、当該パッチ画像に対応するサンプルパッチ画像として分類する。 The corresponding sample patch image classification unit 33 classifies the sample patch image most similar to the patch image as the sample patch image corresponding to the patch image.
集積部３４は、それぞれのパッチ画像により最も基準位置として示される地点がどこになるかを集積する。具体的には、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベリングされた基準位置情報毎に、重み付け係数を集積する。 The accumulating unit 34 accumulates where the point indicated as the most reference position by each patch image is. Specifically, the weighting coefficient is accumulated for each reference position information labeled in the sample patch area searched by the corresponding sample patch image classification unit 33.
詳細には、集積部３４は、２台の撮像装置４６で撮像した画像を分割して得た全てのパッチ画像にそれぞれ対応する、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ画像に対応して保存されている基準位置情報毎に、重み付け係数の総和値（以下、この総和値を「得点」という）を算出する。 Specifically, the accumulating unit 34 corresponds to the sample patch images searched by the corresponding sample patch image classifying unit 33 respectively corresponding to all patch images obtained by dividing the images captured by the two imaging devices 46. For each of the stored reference position information, a total value of weighting coefficients (hereinafter, this total value is referred to as “score”) is calculated.
ワークピース推定部３５は、図４に示すように、集積部３４で集積された得点に基づいて、ワークピースＷの基準位置Ｏを推定する。相対的にホッパ４１の下方に存在するワークピースＷは、上方のワークピースＷに一部又は全部が隠される。そのため、下方に存在するワークピースＷの基準位置Ｏは、高い得点を得ることができず、最上部に位置するワークピースＷほど、基準位置Ｏが高い得点を得ることができる。 As shown in FIG. 4, the workpiece estimation unit 35 estimates the reference position O of the workpiece W based on the scores accumulated by the accumulation unit 34. The workpiece W that is relatively below the hopper 41 is partially or entirely hidden by the upper workpiece W. Therefore, the reference position O of the workpiece W existing below cannot obtain a high score, and the work piece W located at the uppermost part can obtain a score with a high reference position O.
よって、高得点を得た基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢にあるワークピースＷは、最上部付近にあり露出していると推定することができる。そこで、ワークピース推定部３５は、集積部３４で算出した得点が予め定めた閾値を超えた場合、その得点を獲得した基準位置情報が示す基準位置Ｏで姿勢情報が示す姿勢（これらを合せて、「推定位置姿勢」という）にあるであろうと推定されるワークピースＷを選出する。前記閾値は、例えば、選出されたワークピースＷは、全て露出しているものも、一部が露出していないものも含まれるように設定する。 Therefore, it can be estimated that the workpiece W in the posture indicated by the posture information at the reference position O indicated by the reference position information obtained with a high score is near the top and exposed. Therefore, when the score calculated by the accumulating unit 34 exceeds a predetermined threshold value, the workpiece estimation unit 35 determines the posture indicated by the posture information at the reference position O indicated by the reference position information that acquired the score (according to these). The workpiece W estimated to be in the “estimated position / posture” is selected. The threshold value is set so that, for example, the selected workpieces W include those that are all exposed and those that are not partially exposed.
なお、図４では、視覚的に理解を容易にするために、重み付け係数の総和値である基準位置情報のみから得点を集積した様子を概念的に示している。このように画面内にある得点を高さで順位づけすることにより、検出したい部品数のみに絞って探索をかけることが可能となりより高速な検出が可能となる。例えば、３つ検出したい場合には、得点集積が高い上位３つからのみ推定位置姿勢を算出すればよい。 FIG. 4 conceptually shows a state in which scores are accumulated only from the reference position information that is the total value of the weighting coefficients in order to facilitate visual understanding. Thus, by ranking the scores in the screen by height, it is possible to narrow down the search to only the number of parts to be detected, thereby enabling faster detection. For example, when it is desired to detect three, it is only necessary to calculate the estimated position and orientation from the top three with the highest score accumulation.
ところで、集積部３４で集積された得点が閾値よりは高いがある程度低いとき、その得点を得て選定されたワークピースＷは少なくとも一部が他のワークピースＷ等によって被覆されていると考えられる。選定されたワークピースＷの被覆部（非露出部）がロボット４２のピックアップ部位（把持部位）である場合、このワークピースＷはロボット４２でピックアップできない。よって、ワークピースＷの被覆部を特定することが望ましい。 By the way, when the score accumulated in the accumulation unit 34 is higher than the threshold value but low to some extent, it is considered that at least a part of the workpiece W selected by obtaining the score is covered with another workpiece W or the like. . When the covering portion (non-exposed portion) of the selected workpiece W is the pickup portion (gripping portion) of the robot 42, the workpiece W cannot be picked up by the robot 42. Therefore, it is desirable to specify the covering portion of the workpiece W.
そこで、被覆部推定部３６は、記憶装置１４に保存されたサンプルパッチ画像データベースを再度利用して、ワークピースＷが推定位置姿勢にあるときのワークピースＷの形状（どの場所のパッチ画像から構成されているべきか）から、実際に重み付け係数を集積したパッチ画像の集合を差し引いた領域を、被覆部と推定する。 Therefore, the covering portion estimation unit 36 uses the sample patch image database stored in the storage device 14 again to form the shape of the workpiece W when the workpiece W is in the estimated position and posture (consisting of a patch image at any location). The area obtained by subtracting a set of patch images in which weighting coefficients are actually accumulated is estimated as a covering portion.
例えば、ワークピース推定部３５で推定された姿勢が、サンプルパッチＡ，Ｂ，Ｃ，Ｄ，Ｅからなる位置姿勢であるとすると、撮像装置４６で撮影されているワークピースＷにおいてもＡ，Ｂ，Ｃ，Ｄ，Ｅの箇所のパッチ画像から基準位置情報が集積されることが期待される。しかし、例えば、Ｂのサンプルパッチに対応するパッチ画像の領域から、ワークピースＷの基準位置Ｏを基準位置情報として重み付け係数を集積していなければ、Ｂの領域は被覆していると推定する。 For example, if the posture estimated by the workpiece estimation unit 35 is a position / posture composed of sample patches A, B, C, D, and E, A and B are also detected in the workpiece W photographed by the imaging device 46. , C, D, and E are expected to accumulate reference position information from patch images. However, for example, from the area of the patch image corresponding to the B sample patch, if the weighting coefficient is not accumulated using the reference position O of the workpiece W as the reference position information, it is estimated that the B area is covered.
実際に山積みとなっているワークピースＷの姿勢は任意であるため、サンプル画像を撮像した姿勢とは一致しない状態の姿勢が存在する。すなわち、選出されワークピースＷの姿勢情報が示す姿勢は、離散的なデータベースの中から選択された最も似た姿勢であるので、実際のワークピースＷの姿勢とは少し異なる場合がある。そのため、ワークピース推定部３５で選定されたワークピースＷの推定位置姿勢が実際位置姿勢と異なり、ロボット４２でのピックアップに影響が生じるおそれがある。 Since the postures of the workpieces W actually piled up are arbitrary, there are postures that do not coincide with the postures in which the sample images are captured. That is, since the posture indicated by the posture information of the selected workpiece W is the most similar posture selected from the discrete database, it may be slightly different from the actual posture of the workpiece W. Therefore, the estimated position / posture of the workpiece W selected by the workpiece estimation unit 35 is different from the actual position / posture, which may affect the pickup by the robot 42.
そこで、実ワークピース決定部３７は、ワークピース推定部３５で選出したワークピースＷの実際の基準位置Ｏ及び姿勢（これらを合せて、「実際位置姿勢」という）を、実際のワークピースＷを２台の撮像装置４６で撮像した画像をステレオ画像処理することによって求める。 Therefore, the actual workpiece determination unit 37 uses the actual reference position O and posture (collectively referred to as “actual position and posture”) of the workpiece W selected by the workpiece estimation unit 35 as the actual workpiece W. The image captured by the two imaging devices 46 is obtained by performing stereo image processing.
具体的には、実ワークピース決定部３７は、２台の撮像装置４６が撮像した画像から推定位置姿勢に基準位置Ｏの位置、姿勢が近似するワークピースＷを選定し、その画像に微分処理を施すなどの周知の方法でエッジを抽出し、そのワークピースＷ全体の輪郭線を求める。 Specifically, the actual workpiece determination unit 37 selects a workpiece W that approximates the position and orientation of the reference position O to the estimated position and orientation from the images captured by the two imaging devices 46, and performs differential processing on the image. The edge is extracted by a known method such as applying a contour, and the contour line of the entire workpiece W is obtained.
このとき、画像処理を行うべきワークピースＷの基準位置Ｏの位置及び姿勢は予め推定されているので、２台の撮像装置４６で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。 At this time, since the position and orientation of the reference position O of the workpiece W to be subjected to image processing are estimated in advance, the corresponding points between the images captured by the two imaging devices 46 can be associated without erroneous recognition. The amount of image processing required for searching for corresponding points is also small.
また、実ワークピース決定部３７は、ワークピースＷまでの距離（図３における垂直方向位置）を求める。撮像装置４６から対応点（ワークピースＷの基準位置Ｏ）までの距離Ｚは、２台の撮像装置４６間の距離Ｌ、撮像装置４６の焦点距離ｆ、２台の撮像装置４６間の対応点の視差（ずれ量）ｄから、次式（１）によって求めることができる。 Further, the actual workpiece determining unit 37 obtains the distance to the workpiece W (vertical direction position in FIG. 3). The distance Z from the imaging device 46 to the corresponding point (reference position O of the workpiece W) is the distance L between the two imaging devices 46, the focal length f of the imaging device 46, and the corresponding points between the two imaging devices 46. Can be obtained by the following equation (1).
Ｚ＝Ｌ×ｆ／ｄ ・・・ （１）
これにより、ロボット４２で選定したワークピースＷをピックアップすることが可能となる。
Z = L × f / d (1)
As a result, the workpiece W selected by the robot 42 can be picked up.
なお、実ワークピース決定部３７で、実際のワークピースＷを２台の撮像装置４６で撮像した画像からワークピースＷの輪郭線を求めて被覆部を特定してもよいが、被覆部がピックアップ部位であることが分かった場合、この画像処理は無駄となる。よって、実ワークピース決定部３７は、被覆部推定部３６で被覆部がピックアップ部位でないと推定されたワークピースＷに対してのみ実際位置姿勢を求めればよい。 The actual workpiece determination unit 37 may specify the covering portion by obtaining the contour line of the workpiece W from the image obtained by capturing the actual workpiece W with the two imaging devices 46. This image processing is wasted if it is found to be a part. Therefore, the actual workpiece determination unit 37 only needs to obtain the actual position and orientation with respect to the workpiece W that is estimated by the covering unit estimation unit 36 that the covering unit is not a pickup part.
ピックアップ決定部３８は、実ワークピース決定部３７で求めた実際のワークピースＷの実際位置姿勢及び距離に基いて、ロボット４２での取り出しに適しているワークピースＷを決定する。そして、決定したワークピースＷの実際位置姿勢及び距離を示す情報をロボット制御部４５に送信する。取り出すワークピースＷの決定手法は特に問わないが、例えばピックアップする際のロボット４２の制御が容易であるワークピースＷ、あるいは、ピックアップ後に裏返し等が必要ないワークピースＷを選択すればよい。 The pickup determination unit 38 determines a workpiece W suitable for removal by the robot 42 based on the actual position / posture and distance of the actual workpiece W obtained by the actual workpiece determination unit 37. Then, information indicating the determined actual position / posture and distance of the workpiece W is transmitted to the robot controller 45. The method for determining the workpiece W to be taken out is not particularly limited. For example, a workpiece W that can be easily controlled by the robot 42 when picking up or a workpiece W that does not need to be turned over after picking up may be selected.
以下、図５を参照して、本発明の実施形態における画像認識方法について説明する。 Hereinafter, an image recognition method according to the embodiment of the present invention will be described with reference to FIG.
まず、上述したサンプルデータ取得装置１０を用いて、準備工程を行う（Ｓ１０）。 First, a preparation process is performed using the sample data acquisition apparatus 10 described above (S10).
この準備工程では、最初に、１個のワークピースＷを設置台１１に設置する。そして、制御部１３で設置台１１を回転等させながら、予め設定された特定の方向から撮像装置１２でワークピースＷを撮像して、サンプル実画像生成部２１は、サンプル実画像データを得る（Ｓ１１）。サンプル実画像データは、ワークピースＷの姿勢情報と対応付けて記憶装置１４に保存する。 In this preparation process, one workpiece W is first installed on the installation table 11. And while rotating the installation stand 11 by the control part 13, the workpiece W is imaged with the imaging device 12 from the preset specific direction, and the sample real image generation part 21 obtains sample real image data ( S11). The sample actual image data is stored in the storage device 14 in association with the posture information of the workpiece W.
次に、ポリゴンメッシュ生成部２２は、ワークピースＷの３次元形状モデルを示す３次元ＣＡＤデータからポリゴンメッシュを生成する（Ｓ１２）。 Next, the polygon mesh generation unit 22 generates a polygon mesh from the three-dimensional CAD data indicating the three-dimensional shape model of the workpiece W (S12).
そして、サンプル基準想定画像生成部２３は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向と同じ方向から撮像したときに得られると想定されるサンプル基準想定画像データを生成する（Ｓ１３）。 Then, it is assumed that the sample reference assumed image generation unit 23 is obtained when the three-dimensional shape model of the workpiece W is captured by the imaging device 12 and the workpiece W is captured from the same direction as the direction in which the workpiece W is actually captured. Sample reference assumed image data to be generated is generated (S13).
次に、サンプル画像対応付け部２４は、同じ姿勢情報を対応付けられたサンプル実画像とサンプル基準想定画像との対応付けを行う（Ｓ１４）。 Next, the sample image association unit 24 associates the sample actual image associated with the same posture information with the sample reference assumed image (S14).
そして、サンプル画像対応付け部２４は、サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュが示す面にＳ１４で対応付けたサンプル実画像の面における輝度を対応付ける（Ｓ１５）。 Then, for each polygon mesh in the sample reference assumed image, the sample image association unit 24 associates the luminance on the surface of the sample actual image associated in S14 with the surface indicated by the polygon mesh (S15).
次に、サンプル想定画像生成部２５は、ワークピースＷの３次元形状モデルを撮像装置１２で、ワークピースＷを撮像装置１２で実際に撮像した方向とは異なる方向から撮像したときに得られると想定されるサンプル想定画像データを生成する（Ｓ１６）。 Next, the sample assumed image generation unit 25 is obtained when the three-dimensional shape model of the workpiece W is captured by the imaging device 12 and the workpiece W is captured from a direction different from the direction actually captured by the imaging device 12. Assumed sample assumed image data is generated (S16).
次に、画像分割部２６は、各サンプル基準想定画像及びサンプル想定画像をそれぞれパッチに分割して、複数のサンプルパッチ画像を得る（Ｓ１７）。 Next, the image dividing unit 26 divides each sample reference assumed image and sample assumed image into patches to obtain a plurality of sample patch images (S17).
次に、タグ付与部２７は、Ｓ１６で得た各サンプルパッチ画像に対して、ワークピースＷの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与すると共に、上述した条件式から数列を求めて番号付けしてラベリングを行う。さらに、タグ付与部２７は、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチ画像データをサンプルパッチ画像データベースとして記憶装置１４に保存する（Ｓ１８）。 Next, the tag assigning unit 27 assigns the positional relationship information, posture information, and reliability information regarding the positional relationship information and posture information to each sample patch image obtained in S16 as a tag, A number sequence is obtained from the conditional expressions described above and numbered to perform labeling. Further, the tag assigning unit 27 associates the positional relationship information, the posture information, the reliability information, and the numerical sequence in the order of the assigned numbers, and stores each sample patch image data in the storage device 14 as a sample patch image database (S18). ).
そして、準備工程（Ｓ１０）完了後に、上述したピッキングアップ・システム４０を用いて、ワークピースＷの画像認識工程（Ｓ２０）を行う。 Then, after the preparation step (S10) is completed, an image recognition step (S20) of the workpiece W is performed using the above-described pick-up system 40.
この画像認識工程では、最初に、ホッパ４１の上方から、ランダムに山積みされたワークピースＷを２台の撮像装置４６で撮像する（Ｓ２１）。このＳ２１が本発明の撮像工程に相当する。 In this image recognition process, first, the workpieces W stacked at random from above the hopper 41 are imaged by the two imaging devices 46 (S21). This S21 corresponds to the imaging step of the present invention.
そして、画像処理部３１は、２台の撮像装置４６により撮影された画像データを記憶装置１４に格納する（Ｓ２２）。 The image processing unit 31 stores the image data captured by the two imaging devices 46 in the storage device 14 (S22).
次に、画像分割部３２は、Ｓ２２で処理された画像を複数のパッチに分割に分割して、複数のパッチ画像を得る（Ｓ２３）。 Next, the image dividing unit 32 divides the image processed in S22 into a plurality of patches to obtain a plurality of patch images (S23).
次に、対応サンプルパッチ画像分類部３３は、Ｓ２３で分割された各パッチ画像が、Ｓ１３で分割されたサンプルパッチ画像の何れに最も類似するかを記憶装置１４に格納されたサンプルパッチ画像データベースから探索する。この探索結果に基づいて各パッチ画像を分類する（Ｓ２４）。このＳ２４が、本発明の分類工程に相当する。 Next, the corresponding sample patch image classifying unit 33 determines from the sample patch image database stored in the storage device 14 which of the sample patch images divided in S13 is most similar to each of the patch images divided in S23. Explore. Each patch image is classified based on the search result (S24). This S24 corresponds to the classification step of the present invention.
次に、集積部３４は、対応サンプルパッチ画像分類部３３で探索したサンプルパッチ領域にラベルングされた基準位置情報及び姿勢情報毎に、重み付け係数の総和を集積した得点を求める（Ｓ２５）。このＳ２５が本発明の集積工程に相当する。 Next, the accumulating unit 34 obtains a score obtained by accumulating the sum of the weighting coefficients for each reference position information and posture information labeled in the sample patch area searched by the corresponding sample patch image classifying unit 33 (S25). This S25 corresponds to the integration process of the present invention.
次に、ワークピース推定部３５は、Ｓ２５で集積された得点が前記閾値を超えるワークピースＷを選定し、選定したワークピースＷの基準位置Ｏ及び姿勢を推定する（Ｓ２６）。このＳ２６が、本発明のワークピース推定工程に相当する。 Next, the workpiece estimation unit 35 selects a workpiece W for which the score accumulated in S25 exceeds the threshold, and estimates the reference position O and posture of the selected workpiece W (S26). This S26 corresponds to the workpiece estimation step of the present invention.
次に、被覆部推定部３６は、Ｓ２６で選定したワークピースＷのうち、得点が低いワークピースＷの被覆部を推定する（Ｓ２７）。このＳ２７が本発明の被覆部推定工程に相当する。 Next, the covering portion estimation unit 36 estimates the covering portion of the workpiece W having a low score among the workpieces W selected in S26 (S27). This S27 corresponds to the covering portion estimation step of the present invention.
次に、実ワークピース決定部３７は、Ｓ２７で被覆部がピックアップ部位であると推定されたワークピースＷを除き、Ｓ２６で選定したワークピースＷの実際の基準位置Ｏ及び姿勢を求める（Ｓ２８）。また、実ワークピース決定部３７は、このワークピースＷの実際の距離を求める（Ｓ２９）。 Next, the actual workpiece determination unit 37 obtains the actual reference position O and posture of the workpiece W selected in S26, except for the workpiece W in which the covering portion is estimated to be a pickup part in S27 (S28). . Further, the actual workpiece determining unit 37 obtains the actual distance of the workpiece W (S29).
そして、ピックアップ決定部３８は、Ｓ２８及びＳ２９で求めた実際のワークピースＷの基準位置Ｏ、姿勢及び距離から、ロボット４２での取り出しに適しているワークピースＷを決定する（Ｓ３０）。 Then, the pickup determining unit 38 determines a workpiece W suitable for removal by the robot 42 from the actual reference position O, posture, and distance of the workpiece W obtained in S28 and S29 (S30).
そして、最後に、ロボット４２を用いて、Ｓ３０で決定したワークピースＷをピックアップするピックアップ工程（Ｓ３１）を行う。 And finally, the pick-up process (S31) which picks up the workpiece W determined by S30 using the robot 42 is performed.
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において適宜変形して適用可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and can be appropriately modified and applied without departing from the gist of the present invention.
例えば、本実施形態では、ワークピース位置姿勢認識装置３０は被覆部推定部３６を備え、画像認識方法はワークピースＷの被覆部を推定する工程（Ｓ２７）を備える場合について説明した。しかし、被覆部推定部３６、及び被覆部を推定する工程を備えないものであってもよい。 For example, in the present embodiment, the workpiece position / posture recognition apparatus 30 includes the covering portion estimation unit 36, and the image recognition method has been described as including the step of estimating the covering portion of the workpiece W (S27). However, you may not provide the process which estimates the coating | coated part estimation part 36 and a coating | coated part.
１０…サンプルデータ取得装置、 １１…設置台、 １２…撮像装置（撮像手段）、 １３…制御部、 １４…記憶装置、 ２１…サンプル実画像生成部、 ２２…ポリゴンメッシュ生成部、 ２３…サンプル基準想定画像生成部、 ２４…サンプル画像対応付け部、 ２５…サンプル想定画像生成部、 ２６…画像分割部、 ２７…タグ付与部、 ３０…ワークピース位置姿勢認識装置、 ３１…画像処理部、 ３２…画像分割部、 ３３…対応サンプルパッチ画像分類部、 ３４…集積部、 ３５…ワークピース推定部、 ３６…被覆部推定部、 ３７…実ワークピース決定部、 ３８…ピックアップ決定部、 ４０…ピッキングアップ・システム、 ４１…ホッパ、 ４２…ロボット、 ４３…アーム、 ４４…ハンド、 ４６…撮像装置（撮像手段）、 Ｗ…ワークピース。 DESCRIPTION OF SYMBOLS 10 ... Sample data acquisition apparatus, 11 ... Installation stand, 12 ... Imaging device (imaging means), 13 ... Control part, 14 ... Memory | storage device, 21 ... Sample real image generation part, 22 ... Polygon mesh generation part, 23 ... Sample reference | standard Assumed image generating unit, 24 ... Sample image associating unit, 25 ... Sample assumed image generating unit, 26 ... Image dividing unit, 27 ... Tag giving unit, 30 ... Workpiece position / posture recognition device, 31 ... Image processing unit, 32 ... Image segmentation unit 33 ... Corresponding sample patch image classification unit 34 ... Accumulation unit 35 ... Workpiece estimation unit 36 ... Cover part estimation unit 37 ... Actual workpiece determination unit 38 ... Pickup determination unit 40 ... Picking up -System, 41 ... Hopper, 42 ... Robot, 43 ... Arm, 44 ... Hand, 46 ... Imaging device (imaging means), W ... Workpiece.
Claims (2)
前記ワークピースの３次元形状モデルからポリゴンメッシュを生成する工程、
撮像手段で前記ワークピースを実際に撮像して得られたサンプル実画像と、前記撮像手段で撮像した方向と同じ方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル基準想定画像とを対応付ける工程、
前記サンプル基準想定画像におけるポリゴンメッシュ毎に、当該ポリゴンメッシュに対応付けされた前記サンプル実画像の面の輝度を対応付ける工程、
前記撮像手段で実際に撮像した方向とは異なる方向から前記ワークピースの３次元形状モデルを前記撮像手段で撮像したときに得られると想定されるサンプル想定画像に対して、当該サンプル想定画像の各面を構成するポリゴンメッシュ毎に、当該ポリゴンメッシュの法線方向と、当該ポリゴンメッシュに対応する前記サンプル基準想定画像におけるポリゴンメッシュの法線方向及び対応付けた前記輝度とに基づいて、仮想の輝度を求める工程、
前記サンプル基準想定画像及び前記サンプル想定画像をパッチに分割して複数のサンプルパッチ画像を得る工程、
前記複数のサンプルパッチ画像を前記輝度又は前記仮想の輝度に基づいて分類する工程、及び、
前記複数の各サンプルパッチ画像毎に、前記ワークピースの基準位置を示す位置情報と前記撮像したとき又は撮像したと想定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程、からなる準備工程と、
複数の前記ワークピースを前記撮像手段で撮影し、撮影された画像をパッチに分割して複数のパッチ画像を得る撮像工程と、
前記複数のサンプルパッチ画像を分類した方法と同じ方法で、前記複数のパッチ画像を輝度に基づいて分類する分類工程と、
前記複数のパッチ画像毎に、該パッチ画像と同じ分類の前記サンプルパッチ画像に対応させて保存した、前記ワークピースの位置情報及び姿勢情報を集積する集積工程と、
前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチ画像における少なくとも１つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする画像認識方法。 An image recognition method for recognizing the position and orientation of a workpiece from a captured image,
Generating a polygon mesh from a three-dimensional shape model of the workpiece;
Obtained when a sample actual image obtained by actually imaging the workpiece by the imaging means and a three-dimensional shape model of the workpiece taken by the imaging means from the same direction as the image taken by the imaging means A process of associating the assumed sample reference assumed image with
Correlating the brightness of the surface of the sample actual image associated with the polygon mesh for each polygon mesh in the sample reference assumed image;
With respect to the sample assumed image assumed to be obtained when the three-dimensional shape model of the workpiece is imaged by the imaging unit from a direction different from the direction actually captured by the imaging unit, For each polygon mesh constituting the surface, based on the normal direction of the polygon mesh, the normal direction of the polygon mesh in the sample reference assumed image corresponding to the polygon mesh, and the corresponding luminance, the virtual luminance The process of seeking
Dividing the sample reference assumed image and the sample assumed image into patches to obtain a plurality of sample patch images;
Classifying the plurality of sample patch images based on the luminance or the virtual luminance; and
For each of the plurality of sample patch images, the position information indicating the reference position of the workpiece and the posture information indicating the posture of the workpiece when captured or assumed to be captured are stored in association with each other. A preparation process comprising:
An imaging step of capturing a plurality of workpieces with the imaging means, and dividing the captured images into patches to obtain a plurality of patch images;
A classification step of classifying the plurality of patch images based on luminance in the same method as the method of classifying the plurality of sample patch images;
An accumulation step of accumulating position information and posture information of the workpiece stored for each of the plurality of patch images corresponding to the sample patch images of the same classification as the patch images;
An image recognition method comprising: a workpiece estimation step of estimating a reference position and orientation of at least one workpiece in the patch image based on the accumulation result of the position information and the orientation information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013044562A JP6041710B2 (en) | 2013-03-06 | 2013-03-06 | Image recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013044562A JP6041710B2 (en) | 2013-03-06 | 2013-03-06 | Image recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014174628A JP2014174628A (en) | 2014-09-22 |
| JP6041710B2 true JP6041710B2 (en) | 2016-12-14 |
Family
ID=51695823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013044562A Expired - Fee Related JP6041710B2 (en) | 2013-03-06 | 2013-03-06 | Image recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6041710B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6937995B2 (en) * | 2018-04-05 | 2021-09-22 | オムロン株式会社 | Object recognition processing device and method, and object picking device and method |
| CN108582073B (en) * | 2018-05-02 | 2020-09-15 | 北京邮电大学 | Mechanical arm rapid obstacle avoidance method based on improved random road marking map method |
| CN113658339B (en) * | 2021-10-19 | 2022-01-21 | 长江水利委员会长江科学院 | Contour line-based three-dimensional entity generation method and device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6956569B1 (en) * | 2000-03-30 | 2005-10-18 | Nec Corporation | Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database |
| JP5787642B2 (en) * | 2011-06-28 | 2015-09-30 | キヤノン株式会社 | Object holding device, method for controlling object holding device, and program |
-
2013
- 2013-03-06 JP JP2013044562A patent/JP6041710B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014174628A (en) | 2014-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768174B2 (en) | Work take-out device | |
| CN108665508B (en) | Instant positioning and map construction method, device and storage medium | |
| JP6529302B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP5458885B2 (en) | Object detection method, object detection apparatus, and robot system | |
| US9044858B2 (en) | Target object gripping apparatus, method for controlling the same and storage medium | |
| US7966094B2 (en) | Workpiece picking apparatus | |
| CN111151463B (en) | Mechanical arm sorting and grabbing system and method based on 3D vision | |
| US9576363B2 (en) | Object picking system, object detecting device, object detecting method | |
| CN109033989B (en) | Target identification method and device based on three-dimensional point cloud and storage medium | |
| US9361695B2 (en) | Method of recognizing a position of a workpiece from a photographed image | |
| CN110926330B (en) | Image processing apparatus, image processing method, and program | |
| CN108126914B (en) | Deep learning-based robot sorting method for scattered multiple objects in material frame | |
| US8611672B2 (en) | Work piece shape estimation device and work piece shape estimation method | |
| JP2016091053A (en) | Information processing apparatus, container shape estimation method, work-piece picking system, and program | |
| KR20080032856A (en) | Recognition method of welding line position in shipbuilding subassembly stage | |
| CN113284178B (en) | Object stacking method, device, computing equipment and computer storage medium | |
| JP6041710B2 (en) | Image recognition method | |
| US20230410362A1 (en) | Target object detection method and apparatus, and electronic device, storage medium and program | |
| JP2022160363A (en) | Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium | |
| CN114310892A (en) | Object grabbing method, device and equipment based on point cloud data collision detection | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP6124566B2 (en) | Image recognition method and image recognition apparatus | |
| JP2018146347A (en) | Image processing device, image processing method, and computer program | |
| JP6026365B2 (en) | Image recognition method | |
| JP2014174629A (en) | Workpiece recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6041710 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |