JPH0947991A - Method and device of processing visual information for industrial robot - Google Patents
Method and device of processing visual information for industrial robotInfo
- Publication number
- JPH0947991A JPH0947991A JP21540395A JP21540395A JPH0947991A JP H0947991 A JPH0947991 A JP H0947991A JP 21540395 A JP21540395 A JP 21540395A JP 21540395 A JP21540395 A JP 21540395A JP H0947991 A JPH0947991 A JP H0947991A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visual sensor
- target object
- detection target
- orthogonal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、組み立て・加工を
行なう産業用ロボットの制御装置に組み込む視覚情報処
理方法とその装置に係る発明で、特にねじの締め付け作
業などを行なう自律ロボットの視覚フィードバック制御
システムに組み込む産業用ロボットの視覚情報処理方法
とその装置に関する発明である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual information processing method incorporated in a control device of an industrial robot for assembling / processing and the device thereof, and in particular, visual feedback control of an autonomous robot for tightening screws. The present invention relates to a visual information processing method for an industrial robot incorporated in a system and an apparatus thereof.
【０００２】[0002]
【従来の技術】図５は従来の視覚フィードバック制御シ
ステムを構成する産業用ロボットの装置構成を示す概略
図で、１は頂点を中心に３本の稜線を有し、該稜線が囲
む平面内にねじ穴等の目標点が位置する検出対象物体、
２はＣＣＤセンサその他の視覚センサ、３は前記視覚セ
ンサ２より取込んだ画像情報に基づいて所定の画像合成
／処理を行う視覚情報処理装置、４は該処理装置３より
の信号に基づいて駆動制御信号を生成するロボットコン
トローラ、５は前記駆動制御信号に基づいてアクチュエ
ータ等を駆動させながら所定の締付作業などを行うロボ
ット本体で、先端のロボットハンド５ａ（マニピュレー
タ手先部）に締付治具その他の治具６を固定する。７は
環境に固定されたワールド座標系、８は視覚センサ座標
系、９はロボット座標系を示す。2. Description of the Related Art FIG. 5 is a schematic view showing a device configuration of an industrial robot which constitutes a conventional visual feedback control system. Reference numeral 1 denotes three ridge lines centering on an apex and in a plane surrounded by the ridge lines. Object to be detected where the target point such as a screw hole is located,
Reference numeral 2 is a CCD sensor or other visual sensor, 3 is a visual information processing device for performing a predetermined image composition / processing based on image information taken in by the visual sensor 2, and 4 is driven based on a signal from the processing device 3. A robot controller 5 that generates a control signal is a robot body that performs a predetermined tightening work while driving an actuator or the like based on the drive control signal, and a tightening jig is attached to a robot hand 5a (manipulator tip portion) at the tip. Fix the other jigs 6. 7 is a world coordinate system fixed to the environment, 8 is a visual sensor coordinate system, and 9 is a robot coordinate system.
【０００３】上記システムでは予めワールド座標系７か
ら視覚センサ座標系８、ロボット座標系９への変換行列
を求めておく事により、視覚情報処理装置３において、
ワールド座標系７に固定された視覚センサ２より入力し
た画像情報から視覚情報処理装置３において検出対象物
体１の２次元情報を抽出し、位置・向きに変換して、４
のロボットコントローラに目標位置を入力する。In the above system, the transformation matrix from the world coordinate system 7 to the visual sensor coordinate system 8 and the robot coordinate system 9 is obtained in advance so that the visual information processing device 3
The visual information processing device 3 extracts the two-dimensional information of the detection target object 1 from the image information input from the visual sensor 2 fixed to the world coordinate system 7, converts it into the position / orientation, and
Input the target position to the robot controller.
【０００４】この時視覚センサ２の焦点距離をｆとし、
視覚センサ座標系８から見た検出対象物体１の奥行き方
向の位置 CＺが既知であると仮定すると、次式により検
出対象物体１の位置座標（CＸ、CＹ）が求まる。C Ｘ＝−ｆ（Cχ／CＺ）C Ｙ＝−ｆ（Cｙ／CＺ） ここで、（Cχ、C／ｙ）は視覚センサ２の撮像面上に投
影された検出対象物体１の像位置である。At this time, the focal length of the visual sensor 2 is f,
Assuming that the position C Z in the depth direction of the detection target object 1 viewed from the visual sensor coordinate system 8 is known, the position coordinates ( C X, C Y) of the detection target object 1 are obtained by the following equation. C X = −f ( C χ / C Z) C Y = −f ( C y / C Z) where ( C χ, C / y) is the detection target object projected on the imaging surface of the visual sensor 2. This is the image position of 1.
【０００５】上記式より検出対象物体１のロボット座標
系９における位置・向きを検出すると、ロボットコント
ローラ４に、検出対象物体１上に位置するねじ穴等の目
標位置を入力し、ロボットコントローラ４側では前記目
標位置に基づいて駆動制御信号を生成し、該駆動制御信
号に基づいてロボット本体５側のアクチュエータ等を駆
動させながら先端のロボットハンド５ａ（マニピュレー
タ手先部）を目標位置に移動させ、治具６を介して所定
の締付作業などを行う。When the position / orientation of the detection target object 1 in the robot coordinate system 9 is detected from the above equation, a target position such as a screw hole located on the detection target object 1 is input to the robot controller 4, and the robot controller 4 side. Then, a drive control signal is generated based on the target position, and the robot hand 5a (manipulator tip portion) at the tip is moved to the target position while driving an actuator or the like on the robot body 5 side based on the drive control signal. A predetermined tightening work or the like is performed via the tool 6.
【０００６】[0006]
【発明が解決しようとする課題】しかしながらかかる従
来の視覚フィードバック制御システムでは、視覚センサ
２の座標系８と、検出対象物体１の座標系７即ちワール
ド座標系７とを一致させる必要があり、この為前記従来
技術では視覚センサ２をロボットハンド５ａ（マニピュ
レータ手先部）に取付ける事が出来ず、この為検出対象
物体１の像がマニピュレータの陰にならない様に撮影で
きる位置に視覚センサ２を設置する必要があり、設置場
所の選定が困難となる。However, in such a conventional visual feedback control system, it is necessary to make the coordinate system 8 of the visual sensor 2 and the coordinate system 7 of the detection target object 1, that is, the world coordinate system 7, coincide with each other. Therefore, in the above-mentioned conventional technique, the visual sensor 2 cannot be attached to the robot hand 5a (manipulator tip portion), and therefore the visual sensor 2 is installed at a position where the image of the detection target object 1 can be photographed so as not to be behind the manipulator. It becomes necessary to select the installation site.
【０００７】又、視覚センサ２の測定誤差は検出対象物
体１までの距離に従って増大し、特に検出対象物体１の
位置座標（CＸ、CＹ）を求める為の既知数値となる奥行
き方向の値 CＺ は仮定した値を用いるため、 これに基
づいて計算される他の座標値（CＸ、CＹ）は近似した値
しか取れず高精度な位置決めができないといった欠点が
ある。Further, the measurement error of the visual sensor 2 increases with the distance to the detection target object 1, and in particular, the value in the depth direction which is a known numerical value for obtaining the position coordinates ( C X, C Y) of the detection target object 1. Since C Z uses an assumed value, the other coordinate values ( C X, C Y) calculated on the basis of this have only the approximate values and have a drawback that high-precision positioning cannot be performed.
【０００８】本発明の目的は、前記視覚センサ２をマニ
ピュレータ手先部の所定位置に取り付けて移動させた場
合に於いても、高速且つ、高精度に視覚センサ座標系８
における検出対象物体１の位置と向き（回転成分）を検
出することが可能となる産業ロボット用視覚情報処理装
置を提供する事にある。An object of the present invention is to provide a visual sensor coordinate system 8 at high speed and with high accuracy even when the visual sensor 2 is attached to a predetermined position of the manipulator hand and moved.
Another object of the present invention is to provide a visual information processing device for an industrial robot capable of detecting the position and orientation (rotational component) of the detection target object 1 in.
【０００９】[0009]
【課題を解決するための手段】本発明は、検出対象物体
上に位置する互いに直交する３本の実像線若しくは仮想
線（以下直交線という）の交点からなる任意の点を含む
画像を、マニピュレータの手先部所定位置に取り付けた
視覚センサで撮像し、該撮像した画像から前記直交線画
像同士の間の２つの角度を検出した後、該２つの角度を
引数とした検出対象物体の回転成分をストアしたルック
アップテーブルを用いて、検出対象物体の回転成分を求
める事を第１の特徴とする。SUMMARY OF THE INVENTION According to the present invention, an image including an arbitrary point formed by intersections of three real image lines or virtual lines (hereinafter referred to as orthogonal lines) which are located on an object to be detected and which are orthogonal to each other is used as a manipulator. An image is picked up by a visual sensor attached at a predetermined position on the hand part of the hand, two angles between the orthogonal line images are detected from the picked-up image, and then the rotation component of the detection target object using the two angles as arguments is calculated. The first feature is that the rotation component of the detection target object is obtained using the stored lookup table.
【００１０】即ち、具体的にはマニピュレータの手先部
所定位置に取り付けた視覚センサで撮像した画像から抽
出した前記３本の直交線画像とねじ穴等の検出対象物体
の目標点画像位置を、視覚センサ座標系に合致するよう
に変換行列を用いて座標変換し、変換後の直交線画像の
なす角度を引数として、誤差評価を基に分割数を決定し
たルックアップテーブルから検出対象物体の回転成分を
決定することを特徴とするものである。Specifically, the position of the target point image of the object to be detected such as the three orthogonal line images extracted from the image picked up by the visual sensor attached to the predetermined position of the hand portion of the manipulator and the visual point is detected. Coordinate conversion is performed using a conversion matrix so that it matches the sensor coordinate system, and the angle formed by the converted orthogonal line image is used as an argument, and the rotation component of the detection target object is determined from the look-up table in which the number of divisions is determined based on the error evaluation. It is characterized by determining.
【００１１】そして第２の特徴とする所は、前記任意の
点画像が前記視覚センサの光軸上に一致し且つ前記３本
の直交線の内、１の直交線が光軸と視覚センサ座標系の
座標軸からなる座標位置になる様に前記視覚センサの視
点の回りに回転する変換行列を求め、該変換行列により
座標変換後の目標画像位置と前記回転成分から検出対象
物体までの距離を求めた後、前記変換行列の逆行列を用
いて前記視覚センサにおける検出対象物体の位置と姿勢
を検出する事を特徴とするものである。A second feature is that the arbitrary point image coincides with the optical axis of the visual sensor and one of the three orthogonal lines has one orthogonal line as the optical axis and the visual sensor coordinate. A transformation matrix that rotates around the viewpoint of the visual sensor is obtained so that the coordinate position is composed of the coordinate axes of the system, and the target image position after coordinate transformation and the distance from the rotation component to the detection target object are obtained by the transformation matrix. After that, the position and orientation of the detection target object in the visual sensor are detected using the inverse matrix of the conversion matrix.
【００１２】そしてかかる特徴を達成する為の具体的な
装置構成として、図１及び図２に示すように、マニピュ
レータ（後記実施態様のロボット本体５）の手先部（後
記実施態様のロボットハンド５ａ）所定位置に取り付け
た視覚センサ２と、この視覚センサから入力した検出対
象物体の互いに直交する３本の実像線若しくは仮想線
（以下直交線という）の交点からなる任意の点の画像と
前記検出対象物体上に位置するマニピュレータの手先部
の目標画像を抽出する画像処理部（後記実施態様の線分
検出回路１１、頂点位置検出回路１２、及びねじ穴位置
検出回路１３に対応する。）と、前記抽出した任意の点
の画像が前記視覚センサの光軸上に一致し且つ前記３本
の直交線の内の１本の直交線が光軸と視覚センサ座標系
の座標軸からなる座標位置になる様に前記視覚センサの
視点の回りに回転する変換行列を求める視覚センサ座標
系変換行列抽出部（後記実施態様の座標変換回路１４）
と、座標変換後の他の２本の直交線画像とのなす角度を
引数とする検出対象物体の回転成分をストアしたルック
アップテーブル１６と、前記座標変換後の目標画像位置
と前記回転成分から検出対象物体までの距離を求めた
後、前記抽出部で求めた変換行列の逆行列を用いて前記
視覚センサにおける検出対象物体の位置と姿勢を検出す
る位置・姿勢検出部（後記実施態様の位置検出回路１
７）と、を備えたことを特徴とする産業ロボット用視覚
情報処理装置を提案する。As a concrete device configuration for achieving such characteristics, as shown in FIGS. 1 and 2, a hand part of a manipulator (robot body 5 of the embodiment described later) (robot hand 5a of the embodiment described later). An image of an arbitrary point consisting of a visual sensor 2 attached at a predetermined position, an intersection of three real image lines or virtual lines (hereinafter referred to as orthogonal lines) orthogonal to each other of a detection target object input from the visual sensor, and the detection target. An image processing unit (which corresponds to a line segment detection circuit 11, an apex position detection circuit 12, and a screw hole position detection circuit 13 in an embodiment described later) that extracts a target image of a hand portion of a manipulator located on an object, and The image of the extracted arbitrary point coincides with the optical axis of the visual sensor, and one of the three orthogonal lines is a coordinate line composed of the optical axis and the coordinate axis of the visual sensor coordinate system. Visual sensor coordinate system transformation matrix extractor for determining a transformation matrix for rotation around the viewpoint of the visual sensor so as to become a position (coordinate transformation circuit 14 of the later embodiments)
And a look-up table 16 storing the rotation component of the detection target object with the angle formed by the other two orthogonal line images after coordinate conversion as an argument, and the target image position after the coordinate conversion and the rotation component. After determining the distance to the detection target object, a position / orientation detection unit that detects the position and orientation of the detection target object in the visual sensor using the inverse matrix of the transformation matrix obtained by the extraction unit (the position of the embodiment described below. Detection circuit 1
7) and a visual information processing device for industrial robots, which is characterized by being provided.
【００１３】尚、前記検出対象物体の互いに直交する３
本の実像線はその頂点が互いに直交する３本の稜線を後
記実施態様で示しているが、ねじ穴等の目標画像を頂点
とする３本の仮想直交線を用いてもよい。従って前記３
本の直交線の交点からなる任意の点も、３本の稜線が交
わる頂点のみに限定される事なく検出対象物体のねじ穴
のみに限定されるものではなく、画像情報等から計算で
求めた仮想稜線を求めても良い。It should be noted that the detection target objects are orthogonal to each other 3
The real image line of the book shows three ridge lines whose vertices are orthogonal to each other in the embodiment described later, but three virtual orthogonal lines having the target image such as a screw hole as the vertex may be used. Therefore, the above 3
Arbitrary points consisting of the intersections of the orthogonal lines of the book are not limited to the vertices at which the three ridges intersect, and are not limited to the screw holes of the detection target object, and are calculated from image information and the like. You may ask for a virtual ridgeline.
【００１４】したがってかかる発明によれば、画像処理
部で抽出した３本の稜線画像とねじ穴等の目標点画像位
置を、視覚センサ座標系変換行列抽出部で抽出した変換
行列を用いて座標変換し、変換後の稜線画像のなす角度
を引数として、誤差評価を基に分割数を決定したルック
アップテーブルから検出対象物体１の回転成分を高精度
に決定することにより、マニピュレータの手先部所定位
置に視覚センサを取り付けた場合においても高速且つ高
精度に視覚センサ座標系における検出対象物体の位置と
姿勢を測定出来る。According to this invention, therefore, the coordinate conversion of the three ridge line images extracted by the image processing unit and the target point image positions such as screw holes is performed using the conversion matrix extracted by the visual sensor coordinate system conversion matrix extraction unit. Then, by using the angle formed by the converted ridge line image as an argument, the rotation component of the detection target object 1 is determined with high accuracy from the look-up table in which the number of divisions is determined based on the error evaluation. Even when the visual sensor is attached to the, the position and orientation of the detection target object in the visual sensor coordinate system can be measured at high speed and with high accuracy.
【００１５】[0015]
【発明の実施の形態】以下図面を参照して本発明の実施
形態を説明する。但し、この実施形態に記載されている
構成部品の寸法、材質、形状、その相対的配置等は特に
特定的な記載がないかぎりは、この発明の範囲をそれに
限定する趣旨ではなく、単なる説明例にすぎない。Embodiments of the present invention will be described below with reference to the drawings. However, the dimensions, materials, shapes, relative arrangements, and the like of the components described in this embodiment are not intended to limit the scope of the present invention unless otherwise specified, and are merely illustrative examples. It's just
【００１６】図１は本発明の一実施態様を示す視覚情報
処理装置の回路動作手順を示す作用ブロック図、図２は
視覚フィードバック制御システムの全体構成を示す概略
図で、図５の従来技術の概略図に対応するものである。
図５と異なり、視覚センサ２はロボットハンド（マニピ
ュレータ手先部）５ａの所定位置に固定されており、該
視覚センサ２により検出対象物体１を撮像した画像情報
は視覚情報処理装置３に入力する。従って視覚センサ２
の座標系８はロボット座標系９に実質的に合致し、従っ
て視覚情報処理装置３側では、視覚センサ２の座標系８
は、検出対象物体１側のワールド座標系７との間につい
て考慮すれば良く、これだけでも前記従来技術に比較し
ての高精度化が達成される。FIG. 1 is an operational block diagram showing a circuit operation procedure of a visual information processing apparatus showing an embodiment of the present invention, and FIG. 2 is a schematic diagram showing an entire configuration of a visual feedback control system. It corresponds to the schematic view.
Unlike FIG. 5, the visual sensor 2 is fixed at a predetermined position of the robot hand (manipulator hand portion) 5a, and the image information of the detection target object 1 captured by the visual sensor 2 is input to the visual information processing device 3. Therefore, the visual sensor 2
The coordinate system 8 of the robot substantially coincides with the robot coordinate system 9, and therefore, on the visual information processing device 3 side, the coordinate system 8 of the visual sensor 2 is
Can be considered with respect to the world coordinate system 7 on the detection target object 1 side, and even with this alone, higher accuracy can be achieved as compared with the above-mentioned conventional technique.
【００１７】元に戻り視覚情報処理装置３に入力された
検出対象物体１の画像情報には、図３に示す様に視覚セ
ンサ２の視点Ｏを原点とする視覚センサ座標系８におけ
る撮像面１１上に投影された、ねじ穴（１ａ、１ａ）と
３本の稜線（Ｌａ、Ｌｂ、Ｌｃ）が写っているものとす
る。As shown in FIG. 3, the image information of the detection target object 1 input to the visual information processing apparatus 3 returns to the image pickup surface 11 in the visual sensor coordinate system 8 whose origin is the viewpoint O of the visual sensor 2. It is assumed that the screw holes (1a, 1a) and the three ridges (La, Lb, Lc) projected on the top are shown.
【００１８】そして前記画像が入力された場合の動作
を、図１に示す視覚情報処理装置３の作用ブロック図に
基づいて説明する。同図に於いて、１１は入力画像から
３本の稜線画像（ａ、ｂ、ｃ）を抽出し各々の方向ベク
トル（ａ→、ｂ→、ｃ→、尚→は図面に示すように、実
際は文字の上に付される）を抽出する線分検出回路、１
２は３本の方向ベクトル（ａ→、ｂ→、ｃ→）の交点で
ある頂点画像位置ｖ＝（χ0、ｙ0）を抽出する頂点位置
検出回路、１３はねじ穴画像ｐの中心位置ｖp （χp、
ｙp）を抽出するねじ穴位置検出回路、１４は視覚セン
サ座標系８を光軸即ち視覚センサ座標系８のＺ軸上に頂
点ｖの画像が一致し、且つ視覚センサ座標系８のＸ−Ｚ
平面上に画像の線分ａが一致する様に回転させる視覚セ
ンサ座標系変換回路で、この時求めた回転行列を、回転
行列Ａとする。The operation when the image is input will be described with reference to the functional block diagram of the visual information processing device 3 shown in FIG. In the figure, 11 is the extraction of three ridge line images (a, b, c) from the input image, and the respective direction vectors (a →, b →, c →, and → are actually shown in the drawing, Line segment detection circuit for extracting (appended on characters), 1
2 is a vertex position detection circuit for extracting a vertex image position v = (χ 0 , y 0 ) which is an intersection of three direction vectors (a →, b →, c →), and 13 is a center position of the screw hole image p. v p (χp,
A screw hole position detection circuit for extracting yp), 14 has a visual sensor coordinate system 8 on the optical axis, that is, the Z-axis of the visual sensor coordinate system 8 and the image of the vertex v matches, and X-Z of the visual sensor coordinate system 8 is detected.
In the visual sensor coordinate system conversion circuit that rotates so that the line segment a of the image matches the plane, the rotation matrix obtained at this time is referred to as a rotation matrix A.
【００１９】１５は視覚センサ座標系８の視点Ｏと３本
の方向ベクトル（ａ→、ｂ→、ｃ→）からなる３平面の
法線ベクトル （ｎa→、ｎb→、ｎc→）を計算し、ｎa
→とｎb→のなす角度αおよびｎa→とｎb→のなす角度
βを計算する参照角度検出回路、１６は角度α、βを引
数とした対象物体１の向き（回転成分）（ω、ψ、κ）
を格納したルックアップテーブル回路、１７は前記
（ω、ψ、κ）を用いた回転行列Ｂを生成し、視覚セン
サ座標系変換回路１４の出力結果であるねじ穴位置の変
換後の位置座標ｖ'p＝（χ'p、ｙ'p）と検出対象物体１
の頂点Ｖに対するねじ穴（１ａ、１ａ）位置の３次元座
標 （Ｘp、Ｙp、Ｚp）を用いて視覚センサ座標系８の視
点Ｏから検出対象物体１の頂点Ｖ迄の距離ｔzを計算
し、 回転行列Ａの逆行列Ａ-1と、回転行列Ｂとｔzから
検出対象物体１の位置と向き（回転成分）（Ｘ'0、
Ｙ'0、Ｚ'0、ω'、ψ'、κ'）を計算する位置姿勢検出
回路である。Numeral 15 calculates a normal vector (na →, nb →, nc →) of three planes consisting of the viewpoint O of the visual sensor coordinate system 8 and three direction vectors (a →, b →, c →). , Na
A reference angle detection circuit for calculating the angle α formed by → and nb → and the angle β formed by na → and nb →, and 16 is the orientation (rotational component) (ω, ψ, κ)
A look-up table circuit storing 17 stores a rotation matrix B using the above (ω, ψ, κ), and a position coordinate v after conversion of the screw hole position which is the output result of the visual sensor coordinate system conversion circuit 14. 'p = (χ' p, y 'p) and the detection target object 1
Screw holes (1a, 1a) for the vertex V of the three-dimensional coordinates of the position (X p, Y p, Z p) the distance to the vertex V of the detection target object 1 from the viewpoint O of the visual sensor coordinate system 8 using t z From the inverse matrix A −1 of the rotation matrix A and the rotation matrices B and t z , the position and orientation (rotation component) (X ′ 0 ,
Y ′ 0 , Z ′ 0 , ω ′, ψ ′, κ ′).
【００２０】次に前記各回路の変換方法について詳細に
説明する。先ず、視覚センサ座標系変換回路１４では視
点Ｏを中心とする視覚センサ座標系８を次の手順で変換
する。Next, the conversion method of each circuit will be described in detail. First, the visual sensor coordinate system conversion circuit 14 converts the visual sensor coordinate system 8 centered on the viewpoint O in the following procedure.
【００２１】１）先ず視覚センサ座標系８のＹ軸につい
て、頂点ｖがＺ−Ｙ平面上に一致する様に回転させる。
この時下記（数１）に示す回転行列式を用いる。1) First, the Y axis of the visual sensor coordinate system 8 is rotated so that the vertex v coincides with the Z-Y plane.
At this time, the rotation determinant shown in the following (Equation 1) is used.
【００２２】[0022]
【数１】 [Equation 1]
【００２３】２）回転後のＸ軸について頂点ｖが光軸上
に一致する様に回転させる。この時下記（数２）に示す
回転行列式を用いる。尚、（数２）式中、 ｚ0は前記回
転後の頂点画像位置ｖのＺ座標である。2) Rotation is performed so that the vertex v of the rotated X axis is aligned with the optical axis. At this time, the rotation determinant shown in the following (Equation 2) is used. In the equation (2), z 0 is the Z coordinate of the vertex image position v after the rotation.
【００２４】[0024]
【数２】 [Equation 2]
【００２５】３）移動後のＺ軸について、ａ上の点ｐa
＝（χa、ｙa）がＸ−Ｚ平面上になり、且つｘaの符号
が負になる様に下記（数３）式に示す回転行列式で回転
させる。3) On the Z axis after the movement, a point p a on a
= (Χ a, y a) is on the X-Z plane, and the sign of x a is rotated by the rotation matrix equation shown negatively composed as follows (Equation 3) below.
【００２６】[0026]
【数３】 (Equation 3)
【００２７】従って回転行列ＡはＡ＝Ｒ1・Ｒ2・Ｒ3と
なる。Therefore, the rotation matrix A is A = R 1 · R 2 · R 3 .
【００２８】次に参照角度検出回路１５で求めた座標変
換後の（ａ→、ｂ→、ｃ→）と視点Ｏからなる３平面間
の角度（α、β）と、頂点Ｖを原点とし互いに直交して
いる検出対象物体１上の３本の稜線（Ｌa、Ｌb、Ｌc）
を座標軸に一致させた座標系７’を視覚センサ座標系８
に一致させる回転成分（ω、ψ、κ）との間には、下記
（数４）式に示す関係式が成り立つ。Next, the angles (α, β) between the three planes (a →, b →, c →) after the coordinate conversion obtained by the reference angle detection circuit 15 and the viewpoint O and the vertex V as the origin are mutually defined. Three ridge lines (L a , L b , L c ) on the detection target object 1 that are orthogonal to each other
The coordinate system 7 ′ in which is aligned with the coordinate axes is the visual sensor coordinate system 8
The relational expression shown in the following (Equation 4) is established between the rotation components (ω, ψ, κ) to be matched with.
【００２９】[0029]
【数４】 (Equation 4)
【００３０】次に（数４）式を用いて、ルックアップテ
ーブル１６を生成する。この時、（数４）式より前記回
転成分（ω、ψ、κ）を３平面間の角度（α、β）の式
で表して、各々前記角度（α、β）で偏微分すると下記
（数５）式に示す関係式となる。Next, the look-up table 16 is generated using the equation (4). At this time, the rotation component (ω, ψ, κ) is expressed by the formula of the angle (α, β) between the three planes according to the formula (4), and the partial differentiation is performed by the angle (α, β), respectively. The relational expression is shown in Expression 5).
【００３１】[0031]
【数５】 (Equation 5)
【００３２】また誤差伝搬の式より下記（数６）式が成
り立つので、下記（数６）式に（数５）式を代入し、適
当な（δα、δβ）を与えることにより、前記回転成分
（ω、ψ、κ）の誤差を評価することができる。Since the following equation (6) is established from the equation of error propagation, the equation (5) is substituted into the following equation (6), and appropriate (δα, δβ) is given to obtain the rotation component. The error of (ω, ψ, κ) can be evaluated.
【００３３】ここで（δα、δβ）＝（０．１、０．
１）の場合の回転成分（δω、δψ、δκ）を図４に示
す。Here, (δα, δβ) = (0.1, 0.
FIG. 4 shows the rotation components (δω, δψ, δκ) in the case of 1).
【００３４】[0034]
【数６】 (Equation 6)
【００３５】図４より回転成分（δω、δψ、δκ）の
誤差が小さくなる角度（α、β）＝（６０°、６０°）
または（１１５°、１１５°）位置近傍になる様に視覚
センサ２を接近させるか、または誤差が大きくなる部分
については前記角度（α、β）の分割数を大きく取るこ
とにより高精度に（ω、ψ、κ）を決定できる。From FIG. 4, angles (α, β) = (60 °, 60 °) where the error of the rotation components (δω, δψ, δκ) becomes smaller.
Alternatively, the visual sensor 2 is moved closer to the position near the (115 °, 115 °) position, or for a portion where the error becomes large, a large number of divisions of the angles (α, β) are used to achieve high accuracy (ω , Ψ, κ) can be determined.
【００３６】回転成分（ω、ψ、κ）が決定されると、
下記（数７）式に示す式から回転行列Ｂを計算し、検出
対象物体１の頂点Ｖを原点とする座標系７’に於けるね
じ穴（１ａ、１ａ）の位置座標（Ｘp、Ｙp、Ｚp）と前
記視覚センサ座標系変換回路１４から出力するねじ穴画
像位置座標ｖ'pを用いて（数８）式から検出対象物体１
の頂点Ｖ迄の距離ｔzを計算できる。When the rotation components (ω, ψ, κ) are determined,
The rotation matrix B is calculated from the equation (7) below, and the position coordinates (X p , Y) of the screw holes (1 a, 1 a) in the coordinate system 7 ′ with the vertex V of the detection target object 1 as the origin are calculated. p , Z p ) and the screw hole image position coordinate v ′ p output from the visual sensor coordinate system conversion circuit 14 from the equation (8)
The distance t z to the vertex V of can be calculated.
【００３７】[0037]
【数７】 (Equation 7)
【００３８】[0038]
【数８】 (Equation 8)
【００３９】従って前記位置姿勢検出回路１７では検出
対象物体１の位置と向き（回転成分）（Ｘ0、Ｙ0、
Ｚ0、ω'、ψ'、κ'）を、下記（数９）式から求まる４
×４の座標変換行列Ｒの回転成分と並進成分として求め
ることができる。Therefore, in the position / orientation detection circuit 17, the position and orientation (rotational component) (X 0 , Y 0 ,
Z 0 , ω ′, ψ ′, κ ′) can be obtained from the following equation (9) 4
It can be obtained as a rotation component and a translation component of the x4 coordinate transformation matrix R.
【００４０】[0040]
【数９】 [Equation 9]
【００４１】かかる実施態様によれば、検出対象物体１
の互いに直交する３本の稜線（Ｌa、Ｌb、Ｌc）からな
る頂点Ｖの画像は、該頂点Ｖの位置が視覚センサ２の光
軸即ち視覚センサ２のＺ軸上に在る場合、稜線画像の単
位方向ベクトルが検出対象物体１までの距離に関わらず
一定であり、且つ該稜線画像の方向は検出対象物体１の
向き（回転成分）（ω、ψ、κ）により一意に決まる事
に着目し、予め稜線画像間のなす角度（α、β）に対応
する検出対象物体１の回転成分（ω'、ψ'、κ'）を格
納したルックアップテーブルを作成しておくことによ
り、リアルタイムで検出対象物体１の向き（回転成分：
ω'、ψ'、κ'）を決定することが可能である。更に頂
点以外の標本点であるねじ穴画像の位置を用いることに
より視覚センサ座標系８における検出対象物体１の位置
（Ｘ0、Ｙ0、Ｚ0）を決定することが可能となる。According to this embodiment, the detection target object 1
Three ridge lines orthogonal to each other (L a, L b, L c) the vertex V of the image consisting of, when the position of the vertex V is on the Z-axis of the optical axis or the visual sensor 2 of the visual sensor 2 , The unit direction vector of the ridge line image is constant regardless of the distance to the detection target object 1, and the direction of the ridge line image is uniquely determined by the direction (rotation component) (ω, ψ, κ) of the detection target object 1. By paying attention to this, by creating a lookup table in which the rotation components (ω ′, ψ ′, κ ′) of the detection target object 1 corresponding to the angles (α, β) formed between the ridgeline images are stored in advance. , The orientation of the detection target object 1 in real time (rotation component:
It is possible to determine ω ′, ψ ′, κ ′). Furthermore, it is possible to determine the position (X 0 , Y 0 , Z 0 ) of the detection target object 1 in the visual sensor coordinate system 8 by using the position of the screw hole image which is a sample point other than the vertex.
【００４２】[0042]
【発明の効果】以上記載した如く本発明によれば視覚セ
ンサ２をマニピュレータ手先部の所定位置に取り付けて
移動させた場合に於いても、高速且つ高精度に視覚セン
サ座標系８における検出対象物体１の位置と向き（回転
成分）を検出することが可能である。As described above, according to the present invention, even when the visual sensor 2 is attached to a predetermined position of the manipulator hand part and moved, the object to be detected in the visual sensor coordinate system 8 at high speed and high accuracy. It is possible to detect the position and direction (rotation component) of 1.
【図面の簡単な説明】[Brief description of drawings]
【図１】本発明の一実施態様を示す視覚情報処理装置の
回路動作手順を示す作用ブロック図である。FIG. 1 is an action block diagram showing a circuit operation procedure of a visual information processing device according to an embodiment of the present invention.
【図２】本発明の産業ロボットにおける視覚フィードバ
ック制御システムの全体構成を示す概略図である。FIG. 2 is a schematic diagram showing an overall configuration of a visual feedback control system in the industrial robot of the present invention.
【図３】視覚センサによる撮像画像と検出対象物体の座
標関係を示すモデルレイアウト図である。FIG. 3 is a model layout diagram showing a coordinate relationship between an image picked up by a visual sensor and a detection target object.
【図４】図３の回転成分の誤差評価の図FIG. 4 is a diagram of error evaluation of a rotation component in FIG.
【図５】従来の産業ロボットにおける視覚フィードバッ
ク制御システムの全体構成を示す概略図である。FIG. 5 is a schematic diagram showing an overall configuration of a visual feedback control system in a conventional industrial robot.
１ 検出対象物体 ２ 視覚センサ ５ａ ロボットハンド（マニピュレータの手先部） ８ 視覚センサ座標系 １１〜１３画像処理部 １４ 視覚センサ座標系変換行列抽出部 １６ ルックアップテーブル １７ 位置・姿勢検出部 Ｌa、Ｌb、Ｌc 稜線 Ｖ 頂点 ｐ（１ａ） 目標画像（ねじ穴）1 detection target object 2 visual sensor 5a robot hand (the hand of the manipulator) 8 visual sensor coordinate system 11 to 13 image processing section 14 a visual sensor coordinate system transformation matrix extractor 16 look-up table 17 position and posture detecting unit L a, L b , L c Ridge line V Vertex p (1a) Target image (screw hole)
Claims (4)
る３本の実像線若しくは仮想線（以下直交線という）の
交点からなる任意の点を含む画像を、マニピュレータの
手先部所定位置に取り付けた視覚センサで撮像し、該撮
像した画像から前記直交線画像同士の間の角度を検出し
た後、該角度を引数とした検出対象物体の回転成分をス
トアしたルックアップテーブルを用いて、検出対象物体
の回転成分を求める事を特徴とする産業ロボット用視覚
情報処理方法1. An image including an arbitrary point consisting of intersections of three real image lines or virtual lines (hereinafter referred to as orthogonal lines) which are located on the object to be detected and which are orthogonal to each other is attached to a predetermined position on the hand of the manipulator. After the image is picked up by a visual sensor, the angle between the orthogonal line images is detected from the picked-up image, and the detection target object is stored using a lookup table that stores the rotation component of the detection target object using the angle as an argument. Visual information processing method for industrial robots characterized by finding the rotational component of
る３本の実像線若しくは仮想線（以下直交線という）の
交点からなる任意の点を含む画像を、マニピュレータの
手先部所定位置に取り付けた視覚センサで撮像し、該撮
像した画像から抽出した前記３本の直交線画像とねじ穴
等の検出対象物体の目標点画像位置を、視覚センサ座標
系に合致するように変換行列を用いて座標変換し、変換
後の直交線画像のなす角度を引数として、誤差評価を基
に分割数を決定したルックアップテーブルから検出対象
物体の回転成分を決定することを特徴とする請求項１記
載の産業ロボット用視覚情報処理方法2. An image including an arbitrary point formed by intersections of three real image lines or virtual lines (hereinafter referred to as orthogonal lines) which are located on the object to be detected and which are orthogonal to each other is attached to a predetermined position on the hand of the manipulator. The coordinates of the three orthogonal line images extracted from the picked-up image and the target point image position of the detection target object such as a screw hole are coordinated using a transformation matrix so as to match the visual sensor coordinate system. 2. The rotation component of the detection target object is determined from a lookup table in which the number of divisions is determined based on the error evaluation, using the angle formed by the orthogonal line image after conversion as an argument. Visual information processing method for robots
軸上に一致し且つ前記３本の直交線の内、１の直交線が
光軸と視覚センサ座標系の座標軸からなる座標位置にな
る様に前記視覚センサの視点の回りに回転する変換行列
を求め、該変換行列により座標変換後の目標画像位置と
前記回転成分から検出対象物体までの距離を求めた後、
前記変換行列の逆行列を用いて前記視覚センサにおける
検出対象物体の位置と姿勢を検出する事を特徴とする請
求項１記載の産業ロボット用視覚情報処理方法3. The arbitrary point image coincides with the optical axis of the visual sensor, and one of the three orthogonal lines is located at a coordinate position composed of the optical axis and the coordinate axis of the visual sensor coordinate system. After obtaining a transformation matrix that rotates around the viewpoint of the visual sensor so as to obtain the target image position after coordinate transformation by the transformation matrix and the distance from the rotation component to the detection target object,
The visual information processing method for an industrial robot according to claim 1, wherein the position and orientation of the detection target object in the visual sensor are detected using an inverse matrix of the conversion matrix.
付けた視覚センサと、 この視覚センサから入力した検出対象物体の互いに直交
する３本の実像線若しくは仮想線（以下直交線という）
の交点からなる任意の点の画像と前記検出対象物体上に
位置するマニピュレータの手先部の目標画像を抽出する
画像処理部と、 前記抽出した任意の点の画像が前記視覚センサの光軸上
に一致し且つ前記３本の直交線の内の１本の直交線が光
軸と視覚センサ座標系の座標軸からなる座標位置になる
様に前記視覚センサの視点の回りに回転する変換行列を
求める視覚センサ座標系変換行列抽出部と、 座標変換後の他の２本の直交線画像とのなす角度を引数
とする検出対象物体の回転成分をストアしたルックアッ
プテーブルと、 前記座標変換後の目標画像位置と前記回転成分から検出
対象物体までの距離を求めた後、前記抽出部で求めた変
換行列の逆行列を用いて前記視覚センサにおける検出対
象物体の位置と姿勢を検出する位置・姿勢検出部と、 を備えたことを特徴とする産業ロボット用視覚情報処理
装置4. A visual sensor attached at a predetermined position on the hand of the manipulator, and three real image lines or virtual lines (hereinafter referred to as orthogonal lines) orthogonal to each other of the detection target object input from the visual sensor.
An image processing unit that extracts a target image of the hand portion of the manipulator located on the detection target object and an image of an arbitrary point consisting of the intersection point, and the image of the extracted arbitrary point is on the optical axis of the visual sensor. A visual matrix for finding a transformation matrix that rotates around the viewpoint of the visual sensor such that one orthogonal line among the three orthogonal lines coincides with the optical axis and the coordinate position of the visual sensor coordinate system. A sensor coordinate system conversion matrix extraction unit, a lookup table that stores the rotation component of the detection target object that takes the angle formed by the other two orthogonal line images after coordinate conversion as an argument, and the target image after the coordinate conversion A position / orientation detection unit that detects the position and orientation of the detection target object in the visual sensor using the inverse matrix of the transformation matrix obtained by the extraction unit after obtaining the distance from the position and the rotation component to the detection target object. When Industrial robot visual information processing apparatus characterized by having a
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21540395A JPH0947991A (en) | 1995-08-01 | 1995-08-01 | Method and device of processing visual information for industrial robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21540395A JPH0947991A (en) | 1995-08-01 | 1995-08-01 | Method and device of processing visual information for industrial robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0947991A true JPH0947991A (en) | 1997-02-18 |
Family
ID=16671755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21540395A Withdrawn JPH0947991A (en) | 1995-08-01 | 1995-08-01 | Method and device of processing visual information for industrial robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0947991A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015000454A (en) * | 2013-06-17 | 2015-01-05 | キヤノン株式会社 | Robot device and robot control method |
| CN115091094A (en) * | 2022-08-24 | 2022-09-23 | 山西锦荣智能技术有限公司 | Robot self-adaptive welding system capable of being guided in real time on line |
-
1995
- 1995-08-01 JP JP21540395A patent/JPH0947991A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015000454A (en) * | 2013-06-17 | 2015-01-05 | キヤノン株式会社 | Robot device and robot control method |
| CN115091094A (en) * | 2022-08-24 | 2022-09-23 | 山西锦荣智能技术有限公司 | Robot self-adaptive welding system capable of being guided in real time on line |
| CN115091094B (en) * | 2022-08-24 | 2022-11-18 | 山西锦荣智能技术有限公司 | Robot self-adaptive welding system capable of being guided in real time on line |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Switching control of image-based visual servoing with laser pointer in robotic manufacturing systems | |
| JP5778311B1 (en) | Picking apparatus and picking method | |
| US8306661B2 (en) | Method and system for establishing no-entry zone for robot | |
| Taylor et al. | Robust vision-based pose control | |
| JP2004508954A (en) | Positioning device and system | |
| WO2018043525A1 (en) | Robot system, robot system control device, and robot system control method | |
| EP1215017A2 (en) | Robot teaching apparatus | |
| KR20140008262A (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
| CA2292491A1 (en) | Method and device for robot tool frame calibration | |
| WO2019146201A1 (en) | Information processing device, information processing method, and information processing system | |
| JP2003117861A (en) | Position correcting system of robot | |
| WO2018043524A1 (en) | Robot system, robot system control device, and robot system control method | |
| WO2022014312A1 (en) | Robot control device and robot control method, and program | |
| JPS60200111A (en) | Apparatus for recognizing three-dimensional object | |
| JP7453762B2 (en) | Image processing equipment, imaging equipment, robots and robot systems | |
| Sharma et al. | A framework for robot motion planning with sensor constraints | |
| Chang | Binocular vision-based 3-D trajectory following for autonomous robotic manipulation | |
| WO2023013740A1 (en) | Robot control device, robot control system, and robot control method | |
| Fioravanti et al. | Image based visual servoing for robot positioning tasks | |
| JPH0947991A (en) | Method and device of processing visual information for industrial robot | |
| JP2016203282A (en) | Robot with mechanism for changing end effector attitude | |
| Chang et al. | Hybrid eye-to-hand and eye-in-hand visual servoing for autonomous robotic manipulation | |
| JP2005186193A (en) | Calibration method and three-dimensional position measuring method for robot | |
| JPS643661Y2 (en) | ||
| JP2000039911A (en) | Robot controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021001 |