JP5088186B2 - Robot apparatus and control method of robot apparatus - Google Patents

Robot apparatus and control method of robot apparatus Download PDF

Info

Publication number
JP5088186B2
JP5088186B2 JP2008069510A JP2008069510A JP5088186B2 JP 5088186 B2 JP5088186 B2 JP 5088186B2 JP 2008069510 A JP2008069510 A JP 2008069510A JP 2008069510 A JP2008069510 A JP 2008069510A JP 5088186 B2 JP5088186 B2 JP 5088186B2
Authority
JP
Japan
Prior art keywords
image
robot apparatus
manipulator
imaging means
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008069510A
Other languages
Japanese (ja)
Other versions
JP2009220247A (en
Inventor
大輔 塩形
正和 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2008069510A priority Critical patent/JP5088186B2/en
Publication of JP2009220247A publication Critical patent/JP2009220247A/en
Application granted granted Critical
Publication of JP5088186B2 publication Critical patent/JP5088186B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、対象物に対し所望の操作を行うマニピュレータを有するロボット装置に関し、また、このようなロボット装置を制御するためのロボット装置の制御方法に関する。   The present invention relates to a robot apparatus having a manipulator that performs a desired operation on an object, and also relates to a robot apparatus control method for controlling such a robot apparatus.

従来、精密部品の搬送や組立を行うため、対象物に対し所望の操作を行うマニピュレータを有するロボット装置が提案されている。このようなロボット装置の制御においては、マニピュレータの先端部に設けられた先端ツール機構（把持機構等）を対象物に向けて迅速に移動させることが求められる。   2. Description of the Related Art Conventionally, a robot apparatus having a manipulator that performs a desired operation on an object has been proposed in order to carry and assemble precision parts. In the control of such a robot apparatus, it is required to quickly move the tip tool mechanism (gripping mechanism or the like) provided at the tip of the manipulator toward the object.

このような制御方法として、特許文献１には、基準画像として対象物を複数の方向から撮像した複数の画像を予め用意しておき、これら基準画像から、マニピュレータに取り付けたカメラにより対象物を撮像した撮像画像に最も近接した画像を検索し、検索された画像に基づいて、カメラと対象物との位置関係を計算する方法が記載されている。   As such a control method, in Patent Document 1, a plurality of images obtained by capturing an object from a plurality of directions are prepared in advance as a reference image, and the object is imaged from the reference image by a camera attached to a manipulator. A method is described in which an image closest to the captured image is retrieved and the positional relationship between the camera and the object is calculated based on the retrieved image.

また、特許文献２には、対象物の基準画像を予め用意しておき、カメラが取付けられたマニピュレータを移動させながら、このカメラにより対象物を撮像し、基準画像に近い画像が撮像される位置を探すことによって、カメラと対象物との位置関係を求める方法が記載されている。   In Patent Document 2, a reference image of an object is prepared in advance, and the object is imaged by the camera while moving a manipulator to which the camera is attached, and an image close to the reference image is imaged. Describes a method for obtaining a positional relationship between a camera and an object by searching for.

さらに、対象物の画像から、位置が既知の特徴点を複数抽出し、これら特徴点間の位置関係に基づいて、カメラと対象物との位置関係を計算する方法も提案されている。   Further, a method has been proposed in which a plurality of feature points whose positions are known are extracted from the image of the target object, and the positional relationship between the camera and the target object is calculated based on the positional relationship between these feature points.

特開２００３−２３１０７８JP2003-231078 特開２０００−２６３４８２JP 2000-263482 A

ところで、前述の特許文献１に記載されたロボット装置の制御方法においては、一つの対象物について多数の基準画像を用意しておく必要があるため煩雑であり、また、カメラにより撮像された画像と多数の基準画像との比較を行う必要があるため、カメラと対象物との位置関係を計算する処理に長時間を要するという問題がある。   By the way, in the control method of the robot apparatus described in the above-mentioned patent document 1, since it is necessary to prepare a large number of reference images for one object, it is complicated, and an image captured by a camera is Since it is necessary to compare with a large number of reference images, there is a problem that it takes a long time to calculate the positional relationship between the camera and the object.

また、特許文献２に記載されたロボット装置の制御方法においては、カメラが取付けられたマニピュレータを移動させながら撮像し、画像処理を繰り返さなければならないため、カメラと対象物との位置関係を求めるのに長時間を要するという問題がある。   Further, in the control method of the robot apparatus described in Patent Document 2, it is necessary to repeat the image processing while moving the manipulator to which the camera is attached, so that the positional relationship between the camera and the object is obtained. There is a problem that it takes a long time.

さらに、対象物の画像から複数の特徴点を抽出する方法においては、対象物の形状が複雑である場合、特徴点の抽出が困難であるという問題がある。また、一つのカメラにより撮像した画像に基づいて、特徴点間の位置関係により全６自由度の位置姿勢を計測しても、高精度の計測は行えない。計測の精度を上げるために、対象物にマーカを設けることが考えられるが、対象物によってはマーカを設けることができない場合もある。   Furthermore, the method for extracting a plurality of feature points from the image of the object has a problem that it is difficult to extract the feature points when the shape of the object is complicated. Further, even if the position and orientation of all six degrees of freedom are measured based on the positional relationship between the feature points based on an image captured by one camera, high-precision measurement cannot be performed. In order to increase the accuracy of measurement, it is conceivable to provide a marker on the object. However, depending on the object, the marker may not be provided.

そこで、本発明は、前記の実情に鑑みてなされたものであり、その目的は、対象物について多数の基準画像を用意する必要がなく、また、撮像手段が取付けられたマニピュレータを移動させながら撮像する必要がなく、撮像手段と対象物との位置関係を迅速に求めることができるロボット装置及びロボット装置の制御方法を提供することにある。   Therefore, the present invention has been made in view of the above circumstances, and the object thereof is not to prepare a large number of reference images for an object, and imaging is performed while moving a manipulator to which an imaging means is attached. It is an object of the present invention to provide a robot apparatus and a control method for the robot apparatus that can quickly determine the positional relationship between the imaging means and the object.

前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。   In order to solve the above-described problems and achieve the object, the present invention has any one of the following configurations.

〔構成１〕
対象物に対し所望の操作を行うマニピュレータを有するロボット装置において、対象物を含む領域の撮像を行う撮像手段と、撮像手段により得られた画像に基づく演算を行うとともにこの演算結果に応じてマニピュレータを制御する制御手段とを備え、撮像手段は、マニピュレータに取付けられており、制御手段は、対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しており、撮像手段により対象物の画像を一度撮像し、この画像と記憶された対象物の外形形状及び穴位置とのパターンマッチングを行い、画像における穴位置を推定し、穴位置を精密計測することで対象物の特徴点とし、特徴点の円抽出によって算出した円の中心位置をマッピングして、この結果に対して実際の寸法との倍率より距離を算出し、幾何的な位置関係から回転角を算出し、特徴点より対象物と撮像手段との平行移動及び光軸周りの回転を計算し、この計算結果に応じてマニピュレータを制御して、目的の位置まで移動させることを特徴とするものである。 [Configuration 1]
In a robot apparatus having a manipulator that performs a desired operation on an object, an imaging unit that images an area including the object, an operation based on an image obtained by the imaging unit, and a manipulator according to the operation result Control means for controlling, the imaging means is attached to the manipulator, the control means stores the outer shape of the object and the positions of two or more holes in the object, and the imaging means Once the image of the object is captured, pattern matching between the image and the external shape and hole position of the stored object is performed, the hole position in the image is estimated, and the feature point of the object is measured accurately. and then, by mapping the center position of the circle calculated by circles extracting feature points, and calculates the distance from the magnification of the actual dimensions for this result, a geometric Calculating a rotation angle from the location relation, the rotation about parallel movement and the optical axis between the object and the imaging means from the feature points calculated, by controlling the manipulator according to the calculation result, moving to the desired position It is characterized by.

〔構成２〕
構成１を有するロボット装置において、撮像手段は、照明手段を備えており、対象物の画像を撮像するときに、照明手段により、対象物を照明することを特徴とするものである。 [Configuration 2 ]
In the robot apparatus having the configuration 1 , the imaging unit includes an illuminating unit, and the object is illuminated by the illuminating unit when an image of the object is captured.

〔構成３〕
対象物に対し所望の操作を行うマニピュレータを有するロボット装置を制御するロボット装置の制御方法であって、対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しておき、マニピュレータに取付けた撮像手段により対象物の画像を一度撮像し、撮像された画像と記憶された対象物の外形形状及び穴位置とのパターンマッチングを行って画像における穴位置を推定し、穴位置を精密計測することで対象物の特徴点とし、特徴点の円抽出によって算出した円の中心位置をマッピングして、この結果に対して実際の寸法との倍率より距離を算出し、幾何的な位置関係から回転角を算出し、特徴点より対象物と撮像手段との平行移動及び光軸周りの回転を計算し、計算結果に応じてマニピュレータを制御して、目的の位置まで移動させることを特徴とするものである。 [Configuration 3 ]
A control method of a robot apparatus for controlling a robot apparatus having a manipulator that performs a desired operation on an object, the outer shape of the object and the positions of two or more holes in the object are stored, and the manipulator The image of the object is captured once by the imaging means attached to the sensor, and the hole position in the image is estimated by performing pattern matching between the captured image and the external shape and hole position of the stored object. The feature point of the target object is measured, and the center position of the circle calculated by extracting the circle of the feature point is mapped. The distance is calculated from the magnification with the actual dimension for this result, and the geometric positional relationship from calculating the rotation angle, to calculate the rotation about parallel movement and the optical axis between the object and the imaging means from the feature points, and controls the manipulator according to the calculated result, to the desired location It is characterized in that to the dynamic.

〔構成４〕
構成３を有するロボット装置の制御方法において、対象物の画像を撮像するときに、所定の照明状態により対象物を照明することを特徴とするものである。 [Configuration 4 ]
In the control method of the robot apparatus having the configuration 3 , when an image of the object is captured, the object is illuminated in a predetermined illumination state.

構成１を有するロボット装置においては、制御手段は、構成３を有するロボット装置の制御方法を実施することにより、対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しており、撮像手段により対象物の画像を一度撮像し、この画像と記憶された対象物の外形形状及び穴位置とのパターンマッチングを行い、画像における穴位置を推定する。 In the robot apparatus having the configuration 1, the control means stores the outer shape of the object and the positions of two or more holes in the object by executing the control method of the robot apparatus having the structure 3. Then, the image of the object is once picked up by the image pickup means, the pattern matching between the image and the stored outer shape and hole position of the object is performed, and the hole position in the image is estimated.

したがって、このロボット装置及びロボット装置の制御方法においては、一つの対象物について多数の基準画像を用意する必要がなく、新規の対象物にも容易に対応することができる。また、一度の撮像のみによって計測を行うことができるので、迅速な処理を行うことができる。さらに、長時間を要するパターンマッチングを低精度で打ち切ることができるので、処理の高速化が可能である。   Therefore, in this robot apparatus and the control method of the robot apparatus, it is not necessary to prepare a large number of reference images for one object, and it is possible to easily cope with a new object. In addition, since measurement can be performed by only one imaging, rapid processing can be performed. Furthermore, since pattern matching that requires a long time can be terminated with low accuracy, the processing speed can be increased.

そして、このロボット装置及びロボット装置の制御方法においては、穴位置を精密計測することで対象物の特徴点とし、特徴点の円抽出によって算出した円の中心位置をマッピングして、この結果に対して実際の寸法との倍率より距離を算出し、幾何的な位置関係から回転角を算出し、特徴点より対象物と撮像手段との平行移動及び光軸周りの回転を計算する。 In this robot apparatus and the control method of the robot apparatus, the hole position is precisely measured as a feature point of the object, and the center position of the circle calculated by extracting the circle of the feature point is mapped. Then, the distance is calculated from the magnification with the actual dimension, the rotation angle is calculated from the geometric positional relationship, and the translation between the object and the imaging means and the rotation around the optical axis are calculated from the feature points.

したがって、このロボット装置及びロボット装置の制御方法においては、対象物にあけられているネジ穴や軸穴を特徴点とすることができるため、対象物に特殊なマーカ等を設ける必要がなく、多くの機械部品等に適用可能である。また、穴位置の精密計測は、推定した穴位置に基づいて実施するので、短時間でも精度の高い計測を行うことができる。そして、誤差の出やすい回転２自由度については計測対象にしないため、一つの撮像手段により撮像した画像に基づく計測であっても、必要な精度を確保することができる。   Therefore, in this robot apparatus and the control method of the robot apparatus, a screw hole or a shaft hole formed in the object can be used as a feature point, so there is no need to provide a special marker or the like on the object. It can be applied to other machine parts. Further, since the precise measurement of the hole position is performed based on the estimated hole position, it is possible to perform highly accurate measurement even in a short time. In addition, since the two degrees of freedom of rotation that are likely to cause errors are not measured, even if measurement is based on an image captured by one imaging unit, the required accuracy can be ensured.

構成１を有するロボット装置においては、撮像手段は、マニピュレータに取付けられているので、構成３を有するロボット装置の制御方法を実施することにより、対象物の画像を撮像するときに、マニピュレータの位置に対応した範囲を撮像することができる。 In the robot apparatus having the configuration 1 , since the imaging means is attached to the manipulator, when the image of the target object is captured by performing the control method of the robot apparatus having the configuration 3 , the position of the manipulator is set. The corresponding range can be imaged.

構成２を有するロボット装置においては、撮像手段は、照明手段を備えており、構成４を有するロボット装置の制御方法を実施することにより、対象物の画像を撮像するときに、照明手段により対象物を照明するので、不要な輪郭が取り除かれ、常に一定条件での計測が可能になる。 In the robot apparatus having the configuration 2 , the imaging unit includes the illumination unit. When the robot apparatus having the configuration 4 performs the method for controlling the robot apparatus, the imaging unit captures an image of the target by the illumination unit. As the light is illuminated, unnecessary contours are removed, and measurement under constant conditions is always possible.

すなわち、本発明は、対象物について多数の基準画像を用意する必要がなく、また、撮像手段が取付けられたマニピュレータを移動させながら撮像する必要がなく、撮像手段と対象物との位置関係を迅速に求めることができるロボット装置及びロボット装置の制御方法を提供することができるものである。   That is, according to the present invention, it is not necessary to prepare a large number of reference images for an object, and it is not necessary to take an image while moving a manipulator to which an imaging means is attached, and the positional relationship between the imaging means and the object can be quickly determined. It is possible to provide a robot apparatus and a control method of the robot apparatus that can be obtained.

以下、本発明を実施するための最良の形態について図面を参照して説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings.

〔本発明に係るロボット装置の構成〕
図１は、本発明に係るロボット装置の構成を示す模式的な側面図である。 [Configuration of Robot Device According to the Present Invention]
FIG. 1 is a schematic side view showing a configuration of a robot apparatus according to the present invention.

本発明に係るロボット装置は、図１に示すように、マニピュレータ１を有し、このマニピュレータ１により、対象物１０１の把持、運搬及び他の部材への組立や加工などの操作が可能となされているものである。   As shown in FIG. 1, the robot apparatus according to the present invention has a manipulator 1, and the manipulator 1 enables operations such as grasping, transporting, assembling and processing of an object 101 to other members. It is what.

マニピュレータ１は、複数のアクチュエータ（駆動装置）とリンク（剛体の構造物）とによって構成されており、６自由度を有している。すなわち、各リンク間は、回動（屈曲）、または、旋回可能な関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆを介して接続されており、それぞれアクチュエータによって相対駆動されるようになっている。各アクチュエータは、制御手段となるコンピュータ３によって制御される。   The manipulator 1 is composed of a plurality of actuators (driving devices) and links (rigid structures), and has six degrees of freedom. That is, the links are connected via joints 2a, 2b, 2c, 2d, 2e, and 2f that can be rotated (bent) or turned, and are relatively driven by actuators. . Each actuator is controlled by a computer 3 serving as control means.

このマニピュレータ１において、第１のリンク（基端部のリンク）１ａは、基台部４に対し、基端側を第１の関節２ａを介して接続されて設置されている。第１の関節２ａは、鉛直軸（ｚ軸）回りに旋回可能な関節である。この第１のリンク１ａの先端側には、第２の関節２ｂを介して、第２のリンク１ｂの基端側が接続されている。第２の関節２ｂは、水平な軸回りに第２のリンク１ｂを回動可能とする関節である。第２のリンク１ｂの先端側には、第３の関節２ｃを介して、第３のリンク１ｃの基端側が接続されている。第３の関節２ｃは、水平な軸回りに第３のリンク１ｃを回動可能とする関節である。   In the manipulator 1, the first link (link at the base end) 1 a is installed with the base end connected to the base 4 via the first joint 2 a. The first joint 2a is a joint that can turn around a vertical axis (z-axis). The proximal end side of the second link 1b is connected to the distal end side of the first link 1a via the second joint 2b. The second joint 2b is a joint that allows the second link 1b to rotate around a horizontal axis. The proximal end side of the third link 1c is connected to the distal end side of the second link 1b via the third joint 2c. The third joint 2c is a joint that allows the third link 1c to rotate around a horizontal axis.

そして、第３のリンク１ｃの先端側には、第４の関節２ｄを介して、第４のリンク１ｄの基端側が接続されている。第４の関節２ｄは、第３のリンク１ｃの軸回りに第４のリンク１ｄを旋回可能とする関節である。第４のリンク１ｄの先端側には、第５の関節２ｅを介して、第５のリンク１ｅの基端側が接続されている。第５の関節２ｅは、第４のリンク１ｄの軸に直交する軸回りに第５のリンク１ｅを回動可能とする関節である。第５のリンク１ｅの先端側には、第６の関節２ｆを介して、第６のリンク１ｆの基端側が接続されている。第６の関節２ｆは、第５のリンク１ｅの軸回りに第６のリンク１ｆを旋回可能とする関節である。   And the base end side of the 4th link 1d is connected to the front end side of the 3rd link 1c via the 4th joint 2d. The fourth joint 2d is a joint that enables the fourth link 1d to turn around the axis of the third link 1c. The proximal end side of the fifth link 1e is connected to the distal end side of the fourth link 1d via the fifth joint 2e. The fifth joint 2e is a joint that allows the fifth link 1e to rotate about an axis orthogonal to the axis of the fourth link 1d. The proximal end side of the sixth link 1f is connected to the distal end side of the fifth link 1e via the sixth joint 2f. The sixth joint 2f is a joint that enables the sixth link 1f to turn around the axis of the fifth link 1e.

このように、マニピュレータ１においては、回動可能な関節と、旋回可能な関節とが、交互に計６個設けられていることにより、６自由度が確保されている。   As described above, in the manipulator 1, a total of six joints that can rotate and pivotable joints are alternately provided, so that six degrees of freedom are secured.

第６のリンク１ｆの先端側（以下、「手先」という。）には、対象物１０１を把持したり加工したりする先端ツール機構５が設けられている。この先端ツール機構５は、コンピュータ３や図示しないその他の制御装置によって制御される。   A tip tool mechanism 5 for gripping and processing the object 101 is provided on the tip side of the sixth link 1 f (hereinafter referred to as “hand”). The tip tool mechanism 5 is controlled by the computer 3 or other control device (not shown).

図２は、本発明に係るロボット装置のカメラの構成を示す模式的な側面図である。   FIG. 2 is a schematic side view showing the configuration of the camera of the robot apparatus according to the present invention.

また、手先の近傍には、図２に示すように、撮像レンズ及びＣＣＤ（固体撮像素子）からなる撮像手段となるカメラ６が取付けられている。また、カメラ６には、光源として、ＬＥＤ照明からなるカメラ照明７が取り付けられている。   Further, as shown in FIG. 2, a camera 6 serving as an imaging unit including an imaging lens and a CCD (solid-state imaging device) is attached in the vicinity of the hand. Moreover, the camera illumination 7 which consists of LED illumination is attached to the camera 6 as a light source.

図３は、画像特徴データテーブルに記憶された画像データ及び数値データの例を示す図表である。   FIG. 3 is a chart showing an example of image data and numerical data stored in the image feature data table.

コンピュータ３は、画像特徴データテーブル３ａを有している。この画像特徴データテーブル３ａには、図３に示すように、複数の対象物１０１の形状を示す画像データ及び数値データが記憶されている。対象物１０１には、他の部材への組立てのための軸穴やねじ穴があけられており、記憶されている数値データには、対象物１０１にあけられた穴の位置及び半径が含まれている。また、コンピュータ３は、画像処理部３ｂを有しており、カメラ６から送られる画像信号から対象物１０１の形状を抽出し、この形状と、画像特徴データテーブル３ａに記憶された画像データ及び数値データとの照合を行う。そして、コンピュータ３は、動作指令生成部３ｃを有している。この動作指令生成部３ｃは、画像処理部３ｂにおける画像信号と画像特徴データテーブル３ａ内のデータとの照合結果に応じて、マニピュレータ１の各アクチュエータに対する動作指令信号を生成し、各アクチュエータに送る。   The computer 3 has an image feature data table 3a. In this image feature data table 3a, as shown in FIG. 3, image data and numerical data indicating the shapes of the plurality of objects 101 are stored. The object 101 is provided with a shaft hole or a screw hole for assembling to another member, and the stored numerical data includes the position and radius of the hole formed in the object 101. ing. The computer 3 includes an image processing unit 3b, extracts the shape of the object 101 from the image signal sent from the camera 6, and stores the shape, image data and numerical values stored in the image feature data table 3a. Check against the data. The computer 3 has an operation command generation unit 3c. The operation command generation unit 3c generates an operation command signal for each actuator of the manipulator 1 according to the collation result between the image signal in the image processing unit 3b and the data in the image feature data table 3a, and sends the operation command signal to each actuator.

そして、マニピュレータ１においては、第１のリンク１ａに対する第２のリンク１ｂの位置、第２のリンク１ｂに対する第３のリンク１ｃの位置、第３のリンク１ｃに対する第４のリンク１ｄの位置と、順次先端側のリンクの位置が制御されることにより、手先の位置が制御され、この手先において先端ツール機構５によって対象物１０１に対して所定の操作を実行することができる。   In the manipulator 1, the position of the second link 1b with respect to the first link 1a, the position of the third link 1c with respect to the second link 1b, the position of the fourth link 1d with respect to the third link 1c, By sequentially controlling the position of the link on the distal end side, the position of the hand tip is controlled, and a predetermined operation can be performed on the object 101 by the tip tool mechanism 5 at this hand tip.

このロボット装置は、作業台上に対象物１０１が平置きされているものとして動作する。   This robot apparatus operates on the assumption that the object 101 is placed flat on a work table.

〔本発明に係るロボット装置の制御方法〕
前述のように構成された本発明に係るロボット装置は、以下に説明する本発明に係るロボット装置の制御方法を実行する。 [Control Method of Robot Device According to the Present Invention]
The robot apparatus according to the present invention configured as described above executes the robot apparatus control method according to the present invention described below.

すなわち、このロボット装置は、マニピュレータ１の手先の近傍に取付けられたカメラ６を対象物１０１が置かれている作業台と、カメラ６の画像面が平行となるように移動させ、このカメラ６によって対象物１０１を撮像する。そして、画像処理部３ｂにより、対象物１０１における穴位置の推定した後、高精度計測を実施して、対象物１０１の位置を計測する。この計測結果に基づいて、対象物１０１に向けて先端ツール機構５を移動させ、対象物１０１に対して所定の操作を実行する。以下に、これらの動作について詳述する。   That is, this robot apparatus moves the camera 6 attached in the vicinity of the hand of the manipulator 1 so that the work table on which the object 101 is placed and the image plane of the camera 6 are parallel to each other. The object 101 is imaged. And after estimating the hole position in the target object 101 by the image processing part 3b, a highly accurate measurement is implemented and the position of the target object 101 is measured. Based on the measurement result, the tip tool mechanism 5 is moved toward the object 101, and a predetermined operation is performed on the object 101. Hereinafter, these operations will be described in detail.

〔１〕画像計測アルゴリズムの概要
本発明に係るロボット装置の制御方法においては、対象物１０１をカメラ６により撮像し、撮像された画像を用いた計測により、位置姿勢計測を行う。計測する位置姿勢は、並進３自由度と、Ｚ軸（鉛直軸）周りの回転で、計４自由度である。この計測は、以下の手順で行う。 [1] Outline of Image Measurement Algorithm In the control method of the robot apparatus according to the present invention, the object 101 is imaged by the camera 6, and the position and orientation measurement is performed by measurement using the captured image. The position and orientation to be measured is a total of 4 degrees of freedom, with 3 degrees of freedom of translation and rotation around the Z axis (vertical axis). This measurement is performed according to the following procedure.

図４は、本発明に係るロボット装置の制御方法の手順を示すフローチャートである。   FIG. 4 is a flowchart showing the procedure of the control method of the robot apparatus according to the present invention.

本発明に係るロボット装置の制御方法における計測アルゴリズムは、図４に示すように、粗探索、円抽出、位置姿勢計算の３段階に分かれている。   As shown in FIG. 4, the measurement algorithm in the robot apparatus control method according to the present invention is divided into three stages: rough search, circle extraction, and position and orientation calculation.

すなわち、Ｓ１で計測を開始すると、Ｓ２に進み、粗探索として、撮像された画像と画像特徴データテーブル３ａに記憶された画像データとの形状べースパターンマッチングを行う。この形状べースパターンマッチングにより、対象物１０１の大まかな位置を推定する。この処理によって、軸穴やねじ穴の中心位置や半径を見積もることができる。   That is, when measurement is started in S1, the process proceeds to S2, and shape-based pattern matching between the captured image and the image data stored in the image feature data table 3a is performed as a rough search. A rough position of the object 101 is estimated by this shape-based pattern matching. By this processing, the center position and radius of the shaft hole and screw hole can be estimated.

次に、Ｓ３からＳ７の円抽出では、粗探索で見積もった穴位置に基づいて、探索範囲を絞り込み、エッジ抽出と円フィッティングにより、穴の中心位置を計算する。   Next, in the circle extraction from S3 to S7, the search range is narrowed down based on the hole position estimated by the rough search, and the center position of the hole is calculated by edge extraction and circle fitting.

そして、Ｓ８の位置姿勢計算では、算出された穴の位置関係より、対象物１０１の位置姿勢を計算する。   In the position / orientation calculation in S8, the position / orientation of the object 101 is calculated from the calculated positional relationship of the holes.

〔２〕粗探索
図４のＳ２の粗探索では、抽出すべきねじ穴、軸穴の位置を見積もるために、形状べースパターンマッチングを行う。この粗探索における探索手法としては、形状ベースパターンマッチングの他にも、２値化による探索が考えられるが、照明や背景などの条件変化に対してロバストであり、テンプレートを変更するだけで他の対象物にも適用可能であることから、形状ベースパターンマッチングが好ましい。なお、計測時間は２値化のほうが短いが、形状ベースパターンマッチングにおいても、計測時間の長さは許容範囲内である。 [2] Coarse search In the coarse search of S2 in FIG. 4, shape base pattern matching is performed in order to estimate the positions of screw holes and shaft holes to be extracted. As a search method in this rough search, a search based on binarization can be considered in addition to shape-based pattern matching. However, it is robust against changes in conditions such as illumination and background. Shape-based pattern matching is preferable because it can be applied to an object. In addition, although the measurement time is shorter in the binarization, the length of the measurement time is within an allowable range even in shape-based pattern matching.

この粗探索は、対象物１０１における穴位置及び半径を見積もるためのもので、精度はそれほど必要ではない。そのため、粗いレベルのみで探索することで、計算時間を節約することができる。   This rough search is for estimating the hole position and radius in the object 101, and accuracy is not so necessary. Therefore, it is possible to save calculation time by searching only at a rough level.

〔３〕円抽出
並進３自由度と鉛直軸周り回転の計４自由度を位置姿勢計算するには少なくとも２個の特徴点が必要である。また、より多くの特徴点を使用することで計測精度を向上させることが可能である。たとえば、対象物１０１には図３に示すように３個の穴があけられており、これらを位置姿勢計算のための特徴点とするために円抽出を行う。この円抽出では、図４のＳ３に示すように、これらの穴を順に選択し、円フィッティングにより抽出する。 [3] Circle Extraction At least two feature points are required to calculate the position and orientation of 3 degrees of freedom of translation and 4 degrees of freedom of rotation around the vertical axis. Moreover, it is possible to improve measurement accuracy by using more feature points. For example, the object 101 has three holes as shown in FIG. 3, and a circle is extracted in order to use these as feature points for position and orientation calculation. In this circle extraction, as shown in S3 of FIG. 4, these holes are sequentially selected and extracted by circle fitting.

Ｓ４では、実際の寸法とマッチング結果より、画像上での穴位置及び穴径を推定する。Ｓ５で、この推定値をもとに領域を絞り込み、Ｓ６で、円フィッティングを行って円抽出を行う。この円抽出にあたっては、Ｓ７で、他に抽出すべき円があるかを判別し、他に抽出すべき円がある場合にはＳ３に戻る。対象物にあけられた３個の穴を全て抽出した段階で、次の位置姿勢計算（Ｓ８）に進む。   In S4, the hole position and hole diameter on the image are estimated from the actual dimensions and the matching result. In S5, the region is narrowed down based on the estimated value, and in S6, circle fitting is performed to extract a circle. In this circle extraction, it is determined in S7 whether there are other circles to be extracted, and if there are other circles to be extracted, the process returns to S3. When all three holes formed in the object are extracted, the process proceeds to the next position / orientation calculation (S8).

〔４〕位置姿勢計算
Ｓ８では、位置姿勢計算を行う。この計測アルゴリズムでは、画像面と計測面が平行であると仮定して位置姿勢計算を行っている。まず、円抽出によって算出した円の中心位置をカメラ６から距離１ｍの平面にマッピングする。この結果に対して実際の寸法との倍率より距離を算出し、幾何的な位置関係から回転角を算出する。 [4] Position / orientation calculation In S8, position / orientation calculation is performed. In this measurement algorithm, the position and orientation calculation is performed on the assumption that the image plane and the measurement plane are parallel. First, the center position of the circle calculated by the circle extraction is mapped to a plane having a distance of 1 m from the camera 6. For this result, the distance is calculated from the magnification with the actual dimension, and the rotation angle is calculated from the geometric positional relationship.

通常、位置姿勢計算には多くの特徴点を必要とするが、画像面と計測面が平行となるように撮像することによって、少ない特徴点からでも十分な精度での位置姿勢計算が可能となるようにしている。   Normally, many feature points are required for position and orientation calculations, but by capturing images so that the image plane and measurement plane are parallel, position and orientation calculations can be performed with sufficient accuracy even from a small number of feature points. I am doing so.

本発明に係るロボット装置の構成を示す模式的な側面図である。It is a typical side view which shows the structure of the robot apparatus which concerns on this invention. 本発明に係るロボット装置のカメラの構成を示す模式的な側面図である。It is a typical side view which shows the structure of the camera of the robot apparatus which concerns on this invention. 画像特徴データテーブルに記憶された画像データ及び数値データの例を示す図表である。It is a graph which shows the example of the image data and numerical data which were memorize | stored in the image feature data table. 本発明に係るロボット装置の制御方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the control method of the robot apparatus which concerns on this invention.

符号の説明Explanation of symbols

１ マニピュレータ
１ａ 第１のリンク
１ｂ 第２のリンク
１ｃ 第３のリンク
１ｄ 第４のリンク
１ｅ 第５のリンク
１ｆ 第６のリンク
２ａ 第１の関節
２ｂ 第２の関節
２ｃ 第３の関節
２ｄ 第４の関節
２ｅ 第５の関節
２ｆ 第６の関節
３ コンピュータ
５ 先端ツール機構
６ カメラ
１０１ 対象物 DESCRIPTION OF SYMBOLS 1 Manipulator 1a 1st link 1b 2nd link 1c 3rd link 1d 4th link 1e 5th link 1f 6th link 2a 1st joint 2b 2nd joint 2c 3rd joint 2d 4th Joint 2e 5th joint 2f 6th joint 3 computer 5 tip tool mechanism 6 camera 101 object

Claims (4)

対象物に対し所望の操作を行うマニピュレータを有するロボット装置において、
前記対象物を含む領域の撮像を行う撮像手段と、
前記撮像手段により得られた画像に基づく演算を行うとともに、この演算結果に応じて前記マニピュレータを制御する制御手段と
を備え、
前記撮像手段は、前記マニピュレータに取付けられており、
前記制御手段は、前記対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しており、前記撮像手段により前記対象物の画像を一度撮像し、この画像と記憶された前記対象物の外形形状及び穴位置とのパターンマッチングを行い、前記画像における穴位置を推定し、穴位置を精密計測することで前記対象物の特徴点とし、前記特徴点の円抽出によって算出した円の中心位置をマッピングして、この結果に対して実際の寸法との倍率より距離を算出し、幾何的な位置関係から回転角を算出し、前記特徴点より前記対象物と前記撮像手段との平行移動及び光軸周りの回転を計算し、この計算結果に応じて前記マニピュレータを制御して、目的の位置まで移動させる
ことを特徴とするロボット装置。 In a robot apparatus having a manipulator that performs a desired operation on an object,
Imaging means for imaging a region including the object;
And performing a calculation based on the image obtained by the imaging means, and a control means for controlling the manipulator according to the calculation result,
The imaging means is attached to the manipulator,
The control means stores the outer shape of the object and the positions of two or more holes in the object, and once captures an image of the object by the imaging means, the image stored as the image Performing pattern matching with the outer shape and hole position of the object, estimating the hole position in the image, and accurately measuring the hole position as a feature point of the object, and a circle calculated by extracting the circle of the feature point The center position is mapped, the distance is calculated from the magnification with the actual dimension for this result, the rotation angle is calculated from the geometric positional relationship , and the object and the imaging means are calculated from the feature points. A robot apparatus which calculates parallel movement and rotation around an optical axis, and controls the manipulator according to the calculation result to move it to a target position. 前記撮像手段は、照明手段を備えており、前記対象物の画像を撮像するときに、前記照明手段により、前記対象物を照明する
ことを特徴とする請求項１記載のロボット装置。 The imaging means comprises illumination means, when capturing an image of the object, by said illumination means, the robot apparatus according to claim 1, wherein the illuminating the object. 対象物に対し所望の操作を行うマニピュレータを有するロボット装置を制御するロボット装置の制御方法であって、
前記対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しておき、
前記マニピュレータに取付けた撮像手段により前記対象物の画像を一度撮像し、
撮像された画像と記憶された前記対象物の外形形状及び穴位置とのパターンマッチングを行って前記画像における穴位置を推定し、
穴位置を精密計測することで前記対象物の特徴点とし、前記特徴点の円抽出によって算出した円の中心位置をマッピングして、この結果に対して実際の寸法との倍率より距離を算出し、幾何的な位置関係から回転角を算出し、前記特徴点より前記対象物と前記撮像手段との平行移動及び光軸周りの回転を計算し、
前記計算結果に応じて前記マニピュレータを制御して、目的の位置まで移動させる
ことを特徴とするロボット装置の制御方法。 A control method of a robot apparatus for controlling a robot apparatus having a manipulator that performs a desired operation on an object,
Store the outer shape of the object and the positions of two or more holes in the object;
Taking an image of the object once by imaging means attached to the manipulator ,
Performing pattern matching between the captured image and the stored outer shape and hole position of the object to estimate the hole position in the image,
The hole position is accurately measured as the feature point of the object, the center position of the circle calculated by extracting the circle of the feature point is mapped, and the distance is calculated from the magnification with the actual dimension for this result. Calculating the rotation angle from the geometric positional relationship, calculating the translation and rotation around the optical axis of the object and the imaging means from the feature points,
A control method of a robot apparatus, wherein the manipulator is controlled according to the calculation result and moved to a target position. 前記対象物の画像を撮像するときに、所定の照明状態により前記対象物を照明する
ことを特徴とする請求項３記載のロボット装置の制御方法。 The method for controlling a robotic device according to claim 3, wherein when the image of the object is captured, the object is illuminated in a predetermined illumination state.
JP2008069510A 2008-03-18 2008-03-18 Robot apparatus and control method of robot apparatus Active JP5088186B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008069510A JP5088186B2 (en) 2008-03-18 2008-03-18 Robot apparatus and control method of robot apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008069510A JP5088186B2 (en) 2008-03-18 2008-03-18 Robot apparatus and control method of robot apparatus

Publications (2)

Publication Number Publication Date
JP2009220247A JP2009220247A (en) 2009-10-01
JP5088186B2 true JP5088186B2 (en) 2012-12-05

Family

ID=41237596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008069510A Active JP5088186B2 (en) 2008-03-18 2008-03-18 Robot apparatus and control method of robot apparatus

Country Status (1)

Country Link
JP (1) JP5088186B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012098430A1 (en) * 2011-01-19 2012-07-26 Vistek Isra Vision Yapay Gorme Ve Otomasyon Sanayi Ve Ticaret Anonim Sirketi A transparent object positioning system
JP6336742B2 (en) * 2013-11-29 2018-06-06 公益財団法人鉄道総合技術研究所 Method to detect the installation object from the concrete surface image
JP6308423B2 (en) * 2014-02-26 2018-04-11 株式会社Ihi Holding method and holding device
JP6628994B2 (en) * 2015-07-03 2020-01-15 三菱重工業株式会社 Structure
JP6044681B1 (en) * 2015-07-14 2016-12-14 株式会社リコー Illumination device, image acquisition system, and illumination control method
JP2015214022A (en) * 2015-09-02 2015-12-03 セイコーエプソン株式会社 robot
WO2023233613A1 (en) * 2022-06-02 2023-12-07 株式会社ニコン Measurement system, processing system, measurement method, and processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60123974A (en) * 1983-12-09 1985-07-02 Hitachi Ltd Multistage visual field recognizing system
JP2680298B2 (en) * 1986-02-19 1997-11-19 神鋼電機 株式会社 Position correction method for robot equipped with automatic guided vehicle
JPH07112383A (en) * 1993-08-23 1995-05-02 Mazda Motor Corp Position recognizing method for article, transfer control method for article and transfer control device for article
JPH1166321A (en) * 1997-08-13 1999-03-09 Ntn Corp Method for detecting work position
JP2000263482A (en) * 1999-03-17 2000-09-26 Denso Corp Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot
JP2003231078A (en) * 2002-02-14 2003-08-19 Denso Wave Inc Position control method for robot arm and robot device
JP3930490B2 (en) * 2004-04-23 2007-06-13 ファナック株式会社 Article take-out device

Also Published As

Publication number Publication date
JP2009220247A (en) 2009-10-01

Similar Documents

Publication Publication Date Title
JP5088186B2 (en) Robot apparatus and control method of robot apparatus
JP6490037B2 (en) Robot system comprising a robot supported by a movable carriage
US10551821B2 (en) Robot, robot control apparatus and robot system
JP6429473B2 (en) Robot system, robot system calibration method, program, and computer-readable recording medium
JP5561260B2 (en) Robot system and imaging method
JP6855492B2 (en) Robot system, robot system control device, and robot system control method
JP5292998B2 (en) Robot apparatus control method and robot apparatus
JP5272617B2 (en) Robot apparatus and control method of robot apparatus
JP6489776B2 (en) Coordinate system calibration method, robot system, program, and recording medium
KR102091917B1 (en) Gear mechanism assembly and assembly method
JP3754402B2 (en) Industrial robot control method and control apparatus
JP6869159B2 (en) Robot system
JP6855491B2 (en) Robot system, robot system control device, and robot system control method
JP2019049467A (en) Distance measurement system and distance measurement method
JP2017100202A (en) Robot system, control device, control method, and program
JP2018094653A (en) Control device, robot, and robot system
JP6621351B2 (en) Image processing apparatus and image processing method for laser processing
JP7502003B2 (en) Apparatus and method for acquiring deviation of moving trajectory of moving machine
JP2008168372A (en) Robot device and shape recognition method
JP2006297559A (en) Calibration system and robot's calibration method
JP2013173191A (en) Robot apparatus, robot control apparatus, robot control method, and robot control program
JP6565367B2 (en) Position correction system
CN113733078B (en) Method for interpreting fine control quantity of mechanical arm and computer-readable storage medium
CN115397634A (en) Device for acquiring position of visual sensor in robot control coordinate system, robot system, method, and computer program
JP2010214546A (en) Device and method for assembling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120827

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5088186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250