JPH1185235A - Visual feedback method for machine device using image pickup unit - Google Patents
Visual feedback method for machine device using image pickup unitInfo
- Publication number
- JPH1185235A JPH1185235A JP23624497A JP23624497A JPH1185235A JP H1185235 A JPH1185235 A JP H1185235A JP 23624497 A JP23624497 A JP 23624497A JP 23624497 A JP23624497 A JP 23624497A JP H1185235 A JPH1185235 A JP H1185235A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- image
- velocity vector
- dimensional velocity
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は２次元の画像信号に
基づいて搬送装置の移動機構に対して好適な位置又は速
度指令を、フィードバックするための撮像装置を用いた
機械装置のビジュアルフィードバック方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual feedback method for a mechanical device using an imaging device for feeding back a position or speed command suitable for a moving mechanism of a transport device based on a two-dimensional image signal. .
【０００２】[0002]
【従来の技術】従来、この種の撮像装置を用いた機械装
置のビジュアルフィードバック方法は、ＩＴＶカメラな
どで対象物体を２次元で撮影した画像データに基づいて
ロボットのマニピュレータなどの搬送装置の移動機構に
対して位置又は速度指令をフィードバックする目的で用
いられている。この撮像装置を用いた機械装置のビジュ
アルフィードバック方法では、例えば、特公平８−２３
８８９号公報（ロボットを用いた物体の取出し方法）に
示されるように、撮影した画像データにおける撮影対象
物体の特徴部分を、画像処理によって抽出して撮像面に
固定された画像座標系上を追跡している。そして、対象
物体を画像座標系上の目標位置へ移動するように移動機
構に対して位置又は速度指令をフィードバックする。こ
のように撮像装置から出力される画像データに基づいて
対象物体を移動させるなどの操作を実行する場合、撮像
装置の撮像面に固定された画像座標系と移動機構によっ
て認識できる作業座標系との相対位置、及び、姿勢関係
と撮像装置が有する内部パラメータを予め求めておく必
要がある。また、特開平８−７１９７２号公報（ロボッ
トとカメラの自動調整方法）に示されるように、画像座
標系と作業座標系との関係及び内部パラメータを求める
場合、人手によって正確に計測する、あるいは、測定の
ための専用の物体を使用する等を行う。換言すれば、画
像座標系と作業座標系との関係及び内部パラメータとを
求める場合、精密なキャリブレーションを実行して測定
している。図８は従来のビジュアルフィードバック方法
による移動機構制御装置の構成を示している。図８に示
した構成は、ＣＣＤカメラ３０１と、ロボットコントロ
ーラ３０２と、ロボットマニピュレータ３０３と、撮像
シーン３０４と、画像処理装置３０５と、ヤコビ行列推
定器３０６と、速度指令生成器３０７とを有し、ロボッ
トマニピュレータ３０３のロボットハンドを目標位置へ
移動させるものである。ここで、ＣＣＤカメラ３０１は
撮像シーン３０４のようにロボットマニピュレータ３０
３のロボットハンドの移動範囲を撮像し、この撮像信号
を画像処理装置３０５へ出力する。画像処理装置３０５
は、ロボットマニピュレータ３０３のロボットハンドの
画像座標系上での特徴部分を追跡し、ロボットマニピュ
レータ３０３のロボットハンドの画像座標系上での特徴
部分の現在位置ｆを出力する。ロボットマニピュレータ
３０３のロボットハンドの画像座標系上での特徴部分の
目標位置ｆd は予め与えられている。ヤコビ行列推定器
３０６は、ロボットコントローラ３０２から得られるロ
ボットハンドの作業座標系上での現在位置Ｘと、画像処
理装置３０５から得られるロボットハンドの画像座標系
上での特徴部分の現在位置ｆとを入力し、式（１）を満
たすヤコビ行列Ｊを推定する（細田、浅田：「構造やパ
ラメータに関する先験的な知識を必要としないフィード
フォワード補償器を持つ適応型ビジュアルサーボ系の構
成」、日本ロボット学会誌１４巻２号参照）。 df/dt ＝ＪdX/dt …（１） ここで、df/dt はロボットハンドの画像座標系上での特
徴部分の速度ベクトル、dX/dt はロボットハンドの作業
座標系上での特徴部分の速度ベクトルである。速度指令
生成器３０７は、式（２）によって速度指令を生成す
る。 dX/dt ＝ＫＪ-1（ｆd −ｆ） …（２） 式（２）によってロボットコントローラ３０２に供給す
る速度指令dX/dt を生成する。ここで、Ｋはゲイン行列
である。図９はロボットコントローラ３０２にフィード
バックされる速度の加減速パターンを示している。図９
に示すように、縦軸を速度dX/dt 、横軸を時間ｔとする
速度の加減速パターンがロボットコントローラ３０２に
フィードバックされる。2. Description of the Related Art Conventionally, a visual feedback method for a mechanical device using an image pickup device of this kind is based on a moving mechanism of a transfer device such as a manipulator of a robot based on image data obtained by two-dimensionally photographing a target object with an ITV camera or the like. This is used for the purpose of feeding back a position or speed command to the controller. In the visual feedback method of a mechanical device using this imaging device, for example, Japanese Patent Publication No. 8-23
As described in JP-A-889-89 (object extraction method using a robot), a characteristic portion of an object to be photographed in photographed image data is extracted by image processing and traced on an image coordinate system fixed to the photographing plane. doing. Then, a position or speed command is fed back to the moving mechanism so as to move the target object to a target position on the image coordinate system. When performing an operation such as moving a target object based on image data output from the imaging device in this manner, the image coordinate system fixed to the imaging surface of the imaging device and the work coordinate system that can be recognized by the moving mechanism are used. It is necessary to obtain in advance the relative position, the attitude relationship, and the internal parameters of the imaging device. Further, as described in JP-A-8-71972 (automatic adjustment method of robot and camera), when obtaining the relationship between the image coordinate system and the working coordinate system and the internal parameters, the measurement is performed manually or accurately. For example, a dedicated object for measurement is used. In other words, when obtaining the relationship between the image coordinate system and the working coordinate system and the internal parameters, the measurement is performed by executing precise calibration. FIG. 8 shows a configuration of a moving mechanism control device according to a conventional visual feedback method. The configuration shown in FIG. 8 includes a CCD camera 301, a robot controller 302, a robot manipulator 303, an imaging scene 304, an image processing device 305, a Jacobian matrix estimator 306, and a speed command generator 307. The robot hand of the robot manipulator 303 is moved to a target position. Here, the CCD camera 301 is connected to the robot manipulator 30 as in an image pickup scene 304.
The moving range of the third robot hand is imaged, and this imaged signal is output to the image processing device 305. Image processing device 305
Tracks the characteristic portion of the robot manipulator 303 on the image coordinate system of the robot hand, and outputs the current position f of the characteristic portion of the robot manipulator 303 on the image coordinate system of the robot hand. The target position f d of the characteristic portion of the robot manipulator 303 on the image coordinate system of the robot hand is given in advance. The Jacobi matrix estimator 306 calculates the current position X of the robot hand on the work coordinate system obtained from the robot controller 302 and the current position f of the characteristic part on the image coordinate system of the robot hand obtained from the image processing device 305. To estimate the Jacobi matrix J that satisfies equation (1) (Hosoda and Asada: "Configuration of adaptive visual servo system with feedforward compensator that does not require a priori knowledge of structure and parameters", (See the Robotics Society of Japan, Vol. 14, No. 2). df / dt = JdX / dt (1) where df / dt is the velocity vector of the characteristic part of the robot hand on the image coordinate system, and dX / dt is the velocity of the characteristic part of the robot hand on the work coordinate system. Vector. The speed command generator 307 generates a speed command by Expression (2). dX / dt = KJ −1 (f d −f) (2) The speed command dX / dt to be supplied to the robot controller 302 is generated by the equation (2). Here, K is a gain matrix. FIG. 9 shows an acceleration / deceleration pattern of the speed fed back to the robot controller 302. FIG.
As shown in the figure, the acceleration / deceleration pattern of the speed with the vertical axis representing the speed dX / dt and the horizontal axis representing the time t is fed back to the robot controller 302.
【０００３】[0003]
【発明が解決しようとする課題】このような上記従来例
の撮像装置を用いた機械装置のビジュアルフィードバッ
ク方法では、キャリブレーション精度が、対象物体の特
徴部分の画像座標系での位置と作業座標系での位置との
対応に直接影響するため、画像座標系及び作業座標系と
の相対的な位置及び姿勢関係と撮像装置が有する内部パ
ラメータを精密に求める必要がある。この場合、多大な
処理時間が必要になるという欠点がある。また、精密な
キャリブレーションを実行した後に、作業座標系と画像
座標系との相対的な位置及び姿勢関係に、例えば、撮像
装置を動かすなどの理由で、その微妙な変化が生じた場
合には、煩雑な処理のキャリブレーションをやり直す必
要がある。同様に撮像装置が有する内部パラメータに、
例えば、レンズの焦点距離を変更するなどの理由で、そ
の微妙な変化が生じた場合も、煩雑な処理のキャリブレ
ーションをやり直す必要があるという不都合がある。さ
らに、図８及び図９に示した構成では、ロボットコント
ローラにフィードバックされる速度指令が初期で大きく
なり、制御対象のロボットが急激に動いてしまうという
欠点がある。本発明は、このような従来の技術における
課題を解決するものであり、煩雑なキャリブレーション
を必要とせずに、画像座標系上の対象物体の特徴部分の
動き（２次元速度ベクトル）を作業座標系上の対象物体
の特徴部分の動きに変換する際に必要となる局所的な２
次元速度ベクトル座標変換マトリクスを、作業座標系上
の対象物体の動きから推定するパラメータ数を低減し
て、簡便に推定できる撮像装置を用いた機械装置のビジ
ュアルフィードバック方法の提供を目的とする。さら
に、制御対象の移動機構（ロボット）が急激に動いてし
まうことのない速度の加減速パターンを作成して、その
制御対象の移動機構を滑らかに作動させることを目的と
する。In such a visual feedback method for a mechanical device using the above-described conventional imaging device, the calibration accuracy is determined by the position of the characteristic portion of the target object in the image coordinate system and the work coordinate system. Therefore, it is necessary to precisely determine the relative position and orientation relationship between the image coordinate system and the work coordinate system, and the internal parameters of the image capturing apparatus, since the relationship directly with the position of the image capturing apparatus is affected. In this case, there is a disadvantage that a large processing time is required. In addition, after performing a precise calibration, if the relative position and orientation relationship between the working coordinate system and the image coordinate system, for example, due to moving the imaging device, such as a subtle change occurs. It is necessary to redo the calibration of complicated processing. Similarly, the internal parameters of the imaging device include:
For example, even when the focal length of the lens is changed, for example, due to a change, the calibration of complicated processing needs to be performed again. Further, the configurations shown in FIGS. 8 and 9 have a disadvantage that the speed command fed back to the robot controller is initially large and the robot to be controlled moves rapidly. The present invention solves such a problem in the related art, and does not require complicated calibration, and calculates the movement (two-dimensional velocity vector) of a characteristic portion of a target object on an image coordinate system in a work coordinate system. Local 2 required when converting to the motion of the characteristic part of the target object on the system
It is an object of the present invention to provide a visual feedback method for a mechanical device using an imaging device capable of easily estimating a three-dimensional velocity vector coordinate transformation matrix from the motion of a target object on a working coordinate system by reducing the number of parameters. It is another object of the present invention to create an acceleration / deceleration pattern at a speed at which the moving mechanism (robot) of the controlled object does not suddenly move, and to smoothly operate the moving mechanism of the controlled object.
【０００４】[0004]
【課題を解決するための手段】本発明の請求項１の撮像
装置を用いた機械装置のビジュアルフィードバック方法
は、少なくとも１台の撮像装置によって移動機構で移動
する対象物体を含むシーンを撮影し、前記撮像装置で得
られる撮像信号から対象物体の特徴部分を画像処理によ
って抽出し、前記特徴部分を前記撮像装置の撮像面に固
定された画像座標系上を追跡し、前記画像座標系上の２
次元速度ベクトルと前記移動機構によって認識される作
業座標系上の２次元速度ベクトルとを対応づける２次元
速度ベクトル座標変換マトリクスを局所的に推定し、前
記対象物体を前記画像座標系上の目標位置へ移動するよ
うに前記移動機構へ位置又は速度指令をフィードバック
するものである。さらに、請求項２では、前記２次元速
度ベクトル座標変換マトリクスを、前記移動機構の動作
によって発生する画像座標系上での対象物体の特徴部分
の２次元速度ベクトルと、該２次元速度ベクトルと１次
独立の関係にある少なくとも一つの推定補助ベクトルと
を利用して推定するものである。このような構成の本発
明の撮像装置を用いた機械装置のビジュアルフィードバ
ック方法では、画像座標系上の２次元速度ベクトルと作
業座標系上の２次元速度ベクトルとを対応づける２次元
速度ベクトル座標変換マトリクスを局所的に推定してい
るため、煩雑なキャリブレーションが不要になる。さら
に、画像座標系上及び作業座標系上の２次元速度ベクト
ルの対応をマトリクス表現しているため、画像座標系上
及び作業座標系上の位置の対応のマトリクス表現に比較
して、画像座標系上の対象物体の特徴部分の動き（２次
元速度ベクトル）を作業座標系上の対象物体の特徴部分
の動きに変換する際に必要となる局所的な２次元速度ベ
クトル座標変換マトリクスが、作業座標系上の対象物体
の動きから簡便、すなわち、推定するパラメータ数が低
減する少ない演算量で推定される。同様にして画像座標
系上の情報から作業座標系の情報を求める際にも演算量
が少なくなる。また、請求項３では、少なくとも１台の
撮像装置によって移動機構で移動する対象物体を含むシ
ーンを撮影し、前記撮像装置で得られる撮像信号から対
象物体の特徴部分を画像処理によって抽出し、前記特徴
部分を前記撮像装置の撮像面に固定された画像座標系上
を追跡し、前記画像座標系上での対象物体の目標位置と
現在位置との偏差を前記作業座標系に変換し、変換後の
偏差及び現在の速度指令に基づいて、予め設定された前
記移動機構の速度の加減速パターンに対応する、新たな
速度指令を計算するものである。さらに、請求項４で
は、前記新たな速度指令を平滑化するためにフィルタ処
理するものである。請求項３及び４は、偏差及び現在の
速度指令に基づいて、予め設定された移動機構の速度の
加減速パターンに対応する、新たな速度指令を計算する
ものであり、ロボットなどの移動機構が初期に急激に動
くことなく、滑らかに動作する。According to a first aspect of the present invention, there is provided a visual feedback method for a mechanical device using an image pickup apparatus, wherein a scene including a target object moving by a moving mechanism is photographed by at least one image pickup apparatus. A characteristic portion of a target object is extracted from an image signal obtained by the imaging device by image processing, and the characteristic portion is tracked on an image coordinate system fixed to an imaging surface of the imaging device.
Locally estimating a two-dimensional velocity vector coordinate transformation matrix for associating a two-dimensional velocity vector with a two-dimensional velocity vector on a work coordinate system recognized by the moving mechanism, and moving the target object to a target position on the image coordinate system The position or speed command is fed back to the moving mechanism so as to move. Further, in the present invention, the two-dimensional velocity vector coordinate transformation matrix is obtained by calculating the two-dimensional velocity vector of the characteristic portion of the target object on the image coordinate system generated by the operation of the moving mechanism, and the two-dimensional velocity vector. The estimation is performed using at least one estimation auxiliary vector having a next independent relationship. In the visual feedback method for a mechanical device using the imaging apparatus of the present invention having such a configuration, the two-dimensional velocity vector coordinate conversion for associating the two-dimensional velocity vector on the image coordinate system with the two-dimensional velocity vector on the working coordinate system. Since the matrix is locally estimated, complicated calibration is not required. Further, since the correspondence between the two-dimensional velocity vectors on the image coordinate system and the work coordinate system is expressed in a matrix, the image coordinate system is compared with the corresponding matrix expression of the positions on the image coordinate system and the work coordinate system. The local two-dimensional velocity vector coordinate conversion matrix required when converting the motion (two-dimensional velocity vector) of the feature part of the target object on the work coordinate system into the motion of the characteristic part of the target object on the work coordinate system is represented by work coordinates The estimation is simple from the movement of the target object on the system, that is, with a small amount of calculation that reduces the number of parameters to be estimated. Similarly, the amount of calculation is also reduced when obtaining information on the work coordinate system from information on the image coordinate system. According to a third aspect of the present invention, a scene including a target object moving by a moving mechanism is photographed by at least one image pickup device, and a characteristic portion of the target object is extracted from an image signal obtained by the image pickup device by image processing. The characteristic portion is tracked on an image coordinate system fixed to the imaging surface of the imaging device, and the deviation between the target position and the current position of the target object on the image coordinate system is converted to the working coordinate system. And calculating a new speed command corresponding to a preset acceleration / deceleration pattern of the speed of the moving mechanism based on the deviation of the moving speed command and the current speed command. Further, in the fourth aspect, a filter process is performed to smooth the new speed command. Claims 3 and 4 calculate a new speed command corresponding to a preset acceleration / deceleration pattern of the speed of the moving mechanism based on the deviation and the current speed command. It works smoothly without initial rapid movement.
【０００５】[0005]
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は本発明の撮像装置を用いた
機械装置のビジュアルフィードバック方法を実現するた
めの撮像システムの構成図である。図１に示す例は制御
によって搬送作業するロボットマニピュレータ２１と、
このロボットマニピュレータ２１の先端に取り付けられ
たロボットハンド２２と、対象物体のペグ２３とを有し
ている。 また、この例はワーク２４を有し、このワー
ク２４には貫通するホール２５が設けられている。更
に、撮像装置としてのＣＣＤカメラ２６を有している。
また、ＣＣＤカメラ２６で撮影した撮像シーン２７が画
面表示されるとともに、ＣＣＤカメラ２６からの画像デ
ータを処理する画像処理装置２８を有している。また、
対象物体のペグ２３の特徴部分２９が図示されている。
次に、図１に示す構成の動作及び機能について説明す
る。図１において、ペグ２３をホール２５に挿入するペ
グインホールを実行する。まず、ロボットマニピュレー
タ２１に接続されたロボットハンド２２によってペグ２
３を挟み込んで保持する。ロボットマニピュレータ２１
への位置又は速度指令に基づいてロボットマニピュレー
タ２１が動作して、ペグ２３が移動する。一方、ＣＣＤ
カメラ２６がロボットマニピュレータ２１、ロボットハ
ンド２２、ペグ２３、ワーク２４及びホール２５を含む
シーンを撮影する。このシーンの画像データがＣＣＤカ
メラ２６から画像処理装置２８に送出される。画像処理
装置２８では、ペグ２３の特徴部分２９を画像上で追跡
し、この特徴部分２９の動きがロボットマニピュレータ
２１の動きに変換されて、ロボットマニピュレータ２１
の位置又は速度指令としてフィードバックされる。ここ
で必要となるのは、撮像シーン２７におけるペグ２３の
特徴部分２９の動きを、ロボットマニピュレータ２１の
動きに変換することである。図２は、この実施形態で処
理される座標系を説明するための図である。図２に示す
座標系は、画像座標系３１及び作業座標系３２を有し、
画像座標系３１は焦点距離（ｆ）３４と、焦点３５と、
撮像面３６と、投影点３７及び光軸３８からなる。更
に、対象点（Ｐ）３３を有している。図１及び図２にお
いて、画像座標系３１は撮像装置であるＣＣＤカメラ２
６の撮像面３６に固定される。作業座標系３２はロボッ
トマニピュレータ２１が認識できる空間上に固定され
る。対象点（Ｐ）３３は、空間上の点でペグ２３の特徴
部分２９の中心付近に相当し、ＣＣＤカメラ２６の焦点
３５と対象点（Ｐ）３３とからなる直線と、撮像面３６
との交点（投影点３７）に投影される。ＣＣＤカメラ２
６から出力される画像から得られる追跡対象である対象
点（Ｐ）３３の投影点３７の位置情報に基づいて、ロボ
ットマニピュレータ２１の動きを決定するためには、画
像座標系３１とロボットマニピュレータ２１の認識でき
る作業座標系３２との位置、及び、姿勢関係とＣＣＤカ
メラ２６の内部パラメータを求める必要がある。例え
ば、焦点距離（ｆ）３４を求める必要がある。一般的
に、画像座標系３１と作業座標系３２との位置、及び、
姿勢関係とＣＣＤカメラ２６の内部パラメータとは式
（３）で表される。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a configuration diagram of an imaging system for realizing a visual feedback method for a mechanical device using the imaging device of the present invention. The example shown in FIG. 1 includes a robot manipulator 21 that performs a transfer operation by control,
It has a robot hand 22 attached to the tip of the robot manipulator 21 and a peg 23 of a target object. In this example, a work 24 is provided, and the work 24 is provided with a hole 25 penetrating therethrough. Further, it has a CCD camera 26 as an imaging device.
In addition, an image processing device 28 that displays an imaging scene 27 captured by the CCD camera 26 on a screen and processes image data from the CCD camera 26 is provided. Also,
A feature 29 of the peg 23 of the target object is shown.
Next, the operation and function of the configuration shown in FIG. 1 will be described. In FIG. 1, a peg-in hole for inserting the peg 23 into the hole 25 is executed. First, the peg 2 is moved by the robot hand 22 connected to the robot manipulator 21.
3 is sandwiched and held. Robot manipulator 21
The robot manipulator 21 operates based on the position or speed command to move the peg 23. Meanwhile, CCD
The camera 26 photographs a scene including the robot manipulator 21, the robot hand 22, the peg 23, the work 24, and the hole 25. Image data of this scene is sent from the CCD camera 26 to the image processing device 28. The image processing device 28 tracks the feature 29 of the peg 23 on the image, and the movement of the feature 29 is converted into the movement of the robot manipulator 21, and the movement of the robot manipulator 21 is performed.
Is fed back as a position or speed command. What is needed here is to convert the movement of the characteristic portion 29 of the peg 23 in the imaging scene 27 into the movement of the robot manipulator 21. FIG. 2 is a diagram for explaining a coordinate system processed in this embodiment. The coordinate system shown in FIG. 2 has an image coordinate system 31 and a work coordinate system 32,
The image coordinate system 31 includes a focal length (f) 34, a focal point 35,
An imaging surface 36 includes a projection point 37 and an optical axis 38. Further, it has a target point (P) 33. 1 and 2, an image coordinate system 31 is a CCD camera 2 which is an imaging device.
6 is fixed to the imaging surface 36. The work coordinate system 32 is fixed on a space that the robot manipulator 21 can recognize. The target point (P) 33 corresponds to a point in space near the center of the characteristic portion 29 of the peg 23, and includes a straight line formed by the focal point 35 of the CCD camera 26 and the target point (P) 33, and an imaging surface 36.
At the intersection (projection point 37) with CCD camera 2
In order to determine the movement of the robot manipulator 21 based on the position information of the projection point 37 of the target point (P) 33 which is the tracking target obtained from the image output from the image 6, the image coordinate system 31 and the robot manipulator 21 It is necessary to obtain the position and attitude relationship with the work coordinate system 32 and the internal parameters of the CCD camera 26 that can be recognized. For example, it is necessary to find the focal length (f). Generally, the positions of the image coordinate system 31 and the work coordinate system 32, and
The attitude relationship and the internal parameters of the CCD camera 26 are expressed by equation (3).
【０００６】[0006]
【数１】 (Equation 1)
【０００７】ここでｓは同次座標値であり、ｘ，ｙ，ｚ
は作業座標系３２で表現した対象点（Ｐ）３３の座標値
（Ｘ）である。また、ｕ，ｖは投影点３７の画像座標系
３１の座標値（ｆ）であり、ｍ11〜ｍ43は作業座標系３
２と画像座標系３１との位置及び姿勢関係とＣＣＤカメ
ラ２６の内部パラメータを関係づける座標変換マトリク
スの各パラメータである。対象点（Ｐ）３３の動きを拘
束する平面の方程式が以下の式（４）で表される。 ｚ＝０ …（４） この式（４）によって式（３）は式（５）で表される。Here, s is a homogeneous coordinate value, x, y, z
Is the coordinate value (X) of the target point (P) 33 expressed in the working coordinate system 32. U and v are coordinate values (f) of the projection point 37 in the image coordinate system 31, and m 11 to m 43 are work coordinate systems 3
These are parameters of a coordinate conversion matrix for associating the relationship between the position and orientation of the image coordinate system 2 and the image coordinate system 31 and the internal parameters of the CCD camera 26. The equation of the plane that restricts the movement of the target point (P) 33 is represented by the following equation (4). z = 0 (4) Equation (3) is represented by equation (5) according to equation (4).
【０００８】[0008]
【数２】 (Equation 2)
【０００９】ここでｎ11〜ｎ33は対象点（Ｐ）３３が式
（４）で表される拘束平面上のみを動く場合の画像座標
系３１と作業座標系３２との位置及び姿勢関係とＣＣＤ
カメラ２６の内部パラメータとを関係付ける座標変換マ
トリクスの各パラメータである。なお、ここでは式
（４）に限定したが、一般的に、ある拘束平面上のみを
動く場合は、作業座標系３２の位置及び姿勢を考慮する
ことによって式（４）に示す制限に置換できる。また、
ここでは式（５）で表されるように画像座標系３１上の
２次元情報から作業座標系３２上の２次元情報への変換
に限定する。式（５）において、画像座標系３１上の微
少移動変化量に対する作業座標系３２上の微少移動変化
量の関係が式（６）で表される。Here, n 11 to n 33 are the position and orientation relationship between the image coordinate system 31 and the work coordinate system 32 when the target point (P) 33 moves only on the constraint plane represented by the equation (4). CCD
These are parameters of a coordinate conversion matrix that relate the internal parameters of the camera 26. Note that, here, the expression (4) is limited, but in general, when moving only on a certain constraint plane, the restriction and the expression (4) can be replaced by considering the position and orientation of the work coordinate system 32. . Also,
Here, the conversion is limited to the conversion from the two-dimensional information on the image coordinate system 31 to the two-dimensional information on the work coordinate system 32 as represented by Expression (5). In Expression (5), the relationship between the fine movement change amount on the work coordinate system 32 and the fine movement change amount on the image coordinate system 31 is expressed by Expression (6).
【００１０】[0010]
【数３】 (Equation 3)
【００１１】ここでΔｘ，Δｙは作業座標系３２上の微
少移動変化量であり、Δｕ，Δｖは画像座標系３１上の
微少移動変化量である。ａ11〜ａ22は画像座標系３１上
の微少移動変化量と作業座標系３２上の微少移動変化量
とを対応付ける座標変換マトリクスの各パラメータであ
り、それぞれｕ，ｖの関数である。なお、（Δｘ，Δ
ｙ）を作業座標系３２上の２次元速度ベクトル（dX/dt
）とし、かつ、（Δｕ，Δｖ）を画像座標系３１上の
２次元速度ベクトル（df/dt ）とし、かつ、式（６）の
２×２マトリクスを２次元速度ベクトル座標変換マトリ
クス（Ｔ）とする。図３は画像座標系上の対象点の推移
と作業座標系上の対象点の推移を示す図である。図３
（ａ）は画像座標系４１であり、図３（ｂ）は作業座標
系４２である。図３（ａ）の画像座標系４１はｉ−２番
目の画像座標系４１上の対象点４３と、ｉ−１番目の画
像座標系４１上の対象点４４と、ｉ番目の画像座標系４
１上の対象点４５と、画像座標系４１上の目標点４６、
及び、推定補助点４７とを有している。また、図３
（ｂ）の作業座標系４２は、ｉ−２番目の作業座標系４
２上の対象点４８と、ｉ−１番目の作業座標系４２上の
対象点４９、及び、ｉ番目の作業座標系４２上の対象点
５０及び作業座標系４２上の目標点５１とを有してい
る。ここではｉ番目の画像座標系４１上の対象点４５と
ｉ−１番目の画像座標系４１上の対象点４４との差分
（２次元速度ベクトル）を（Δｕi-1 ，Δｖi-1 ）と
し、かつ、ｉ−１番目の画像座標系４１上の対象点４４
とｉ−２番目の画像座標系４１上の対象点４３との差分
（２次元速度ベクトル）を（Δｕi-2 ，Δｖi-2）とす
る。更に、推定補助点４７とｉ−１番目の画像座標系４
１上の対象点４４との差分（推定補助ベクトル）を（Δ
ｕi-1'，Δｖi-1'）とする。また、ｉ番目の作業座標系
４２上の対象点５０とｉ−１番目の作業座標系４２上の
対象点４９との差分（２次元速度ベクトル）を（Δｘ
i-1 ，Δｙi-1 ）とし、かつ、ｉ−１番目の作業座標系
４２上の対象点４９とｉ−２番目の作業座標系４２上の
対象点４８との差分（２次元速度ベクトル）を（Δｘ
i-2 ，Δｙi-2 ）とする。ここで画像座標系４１上の２
次元速度ベクトル（Δｕi-1 ，Δｖi-1 ）と画像座標系
４１上の推定補助ベクトル（Δｕi-1'，Δｖi-1'）とは
垂直の関係にある。ここでロボットマニピュレータ２１
の動作によって、ペグ２３が移動（対象点（Ｐ）３３が
移動）し、作業座標系４２のｉ−１番目の作業座標系４
２上の対象点４９の位置を通過する。そして、ｉ番目の
作業座標系４２上の対象点５０の位置に移動した場合、
この対象点（Ｐ）３３の移動に伴って、対象点（Ｐ）３
３は画像座標系４１のｉ−１番目の画像座標系４１上の
対象点４４の位置を通過してｉ番目の画像座標系４１上
の対象点４５の位置に移動する。対象点（Ｐ）３３の移
動目標点は、画像座標系４１上では画像座標系４１上の
目標点４６であり、また、作業座標系４２上では作業座
標系４２上の目標点５１である。この対象点（Ｐ）３３
の移動目標点は、画像座標系４１では認識できるが、ロ
ボットマニピュレータ２１が、画像座標系４１から得ら
れる情報に基づいた位置又は速度指令に従って動作する
ため、作業座標系４２では認識できない。ここでは画像
座標系４１上の２次元速度ベクトルと作業座標系４２上
の２次元速度ベクトルとを対応づける２次元速度ベクト
ル座標変換マトリクス（Ｔ）の各パラメータの推定を考
える。対象点（Ｐ）３３が、ｉ−１番目の作業座標系４
２上の対象点４９からｉ番目の作業座標系４２上の対象
点５０まで移動する際の２次元速度ベクトル（Δ
ｘi-1 ，Δｙi-1 ）は、前回推定して求めた２次元速度
ベクトル座標変換マトリクスＴi-1 を用いて式（６）か
ら式（７）で求めることができる。Here, .DELTA.x and .DELTA.y are minute movement changes on the working coordinate system 32, and .DELTA.u and .DELTA.v are minute movement changes on the image coordinate system 31. a 11 ~a 22 are parameters of the coordinate transformation matrix for associating the infinitesimal traveling variation on small translational changes the working coordinate system 32 on the image coordinate system 31 is a function of the respective u, v. Note that (Δx, Δ
y) is converted to a two-dimensional velocity vector (dX / dt) on the work coordinate system 32.
), And (Δu, Δv) as a two-dimensional velocity vector (df / dt) on the image coordinate system 31, and the 2 × 2 matrix of equation (6) as a two-dimensional velocity vector coordinate transformation matrix (T) And FIG. 3 is a diagram showing the transition of the target point on the image coordinate system and the transition of the target point on the work coordinate system. FIG.
3A shows an image coordinate system 41, and FIG. The image coordinate system 41 in FIG. 3A includes a target point 43 on the (i−2) -th image coordinate system 41, a target point 44 on the (i−1) -th image coordinate system 41, and an i-th image coordinate system 4.
1, a target point 45 on the image coordinate system 41,
And an estimation auxiliary point 47. FIG.
The work coordinate system 42 of (b) is the (i−2) th work coordinate system 4.
2, a target point 49 on the (i-1) th work coordinate system 42, a target point 50 on the i-th work coordinate system 42, and a target point 51 on the work coordinate system 42. doing. Here, the difference (two-dimensional velocity vector) between the target point 45 on the i-th image coordinate system 41 and the target point 44 on the ( i-1 ) -th image coordinate system 41 is (Δu i−1 , Δv i−1 ). And the target point 44 on the (i-1) th image coordinate system 41
The difference (two-dimensional velocity vector) between the target point 43 and the target point 43 on the ( i−2 ) -th image coordinate system 41 is (Δui -2 , Δvi -2 ). Further, the estimation auxiliary point 47 and the (i-1) th image coordinate system 4
1 with the target point 44 (estimated auxiliary vector) is (Δ
u i-1 ', Δv i-1 '). The difference (two-dimensional velocity vector) between the target point 50 on the i-th work coordinate system 42 and the target point 49 on the (i-1) -th work coordinate system 42 is represented by (Δx
i−1 , Δy i−1 ), and the difference (two-dimensional velocity vector) between the target point 49 on the ( i−1 ) th work coordinate system 42 and the target point 48 on the (i−2) th work coordinate system 42 ) To (Δx
i-2 , Δy i-2 ). Here, 2 on the image coordinate system 41
The two-dimensional velocity vector (Δu i−1 , Δv i−1 ) and the estimated auxiliary vector (Δu i−1 ′, Δvi −1 ′) on the image coordinate system 41 have a vertical relationship. Here the robot manipulator 21
, The peg 23 moves (the target point (P) 33 moves), and the (i−1) th work coordinate system 4 of the work coordinate system 42 is moved.
2 passes through the position of the target point 49. Then, when moving to the position of the target point 50 on the i-th work coordinate system 42,
As the target point (P) 33 moves, the target point (P) 3
3 moves to the position of the target point 45 on the i-th image coordinate system 41 through the position of the target point 44 on the (i-1) -th image coordinate system 41 of the image coordinate system 41. The movement target point of the target point (P) 33 is a target point 46 on the image coordinate system 41 on the image coordinate system 41, and a target point 51 on the work coordinate system 42 on the work coordinate system 42. This target point (P) 33
Can be recognized in the image coordinate system 41, but cannot be recognized in the work coordinate system 42 because the robot manipulator 21 operates according to a position or speed command based on information obtained from the image coordinate system 41. Here, the estimation of each parameter of the two-dimensional velocity vector coordinate transformation matrix (T) that associates the two-dimensional velocity vector on the image coordinate system 41 with the two-dimensional velocity vector on the work coordinate system 42 is considered. The target point (P) 33 is the (i−1) th work coordinate system 4
The two-dimensional velocity vector (Δ) when moving from the target point 49 on the i-th working coordinate system 42 to the target point 50 on the
x i-1 , Δy i-1 ) can be obtained from the equations (6) to (7) using the two-dimensional velocity vector coordinate conversion matrix T i-1 obtained by the previous estimation.
【００１２】[0012]
【数４】 (Equation 4)
【００１３】この式（７）で利用した２次元速度ベクト
ル座標変換マトリクスＴi-1 を用いて、推定補助ベクト
ル（Δｕi-1'，Δｖi-1'）に対応する作業座標系４２上
の推定補助ベクトル（Δｘi-1'，Δｙi-1'）を求めると
式（６）から式（８）となる。Using the two-dimensional velocity vector coordinate conversion matrix T i-1 used in the equation (7), the work coordinate system 42 corresponding to the estimated auxiliary vector (Δu i-1 ′, Δv i-1 ′) is obtained. When the estimated auxiliary vector (Δx i−1 ′, Δy i−1 ′) is obtained, Expression (8) is obtained from Expression (6).
【００１４】[0014]
【数５】 (Equation 5)
【００１５】ここで式（６）を変形し、画像座標系４１
上の２次元速度ベクトル（Δｕi-1，Δｖi-1 ）と、画
像座標系４１上の推定補助ベクトル（Δｕi-1'，Δｖ
i-1'）と、作業座標系４２上の２次元速度ベクトル（Δ
ｘi-1 ，Δｙi-1 ）と、作業座標系４２上の推定補助ベ
クトル（Δｕi-1'，Δｖi-1'）を代入すると式（９）で
表すことができる。Here, the equation (6) is transformed into an image coordinate system 41
The above two-dimensional velocity vectors (Δu i−1 , Δv i−1 ) and estimated auxiliary vectors (Δu i−1 ′, Δv
i-1 ′) and a two-dimensional velocity vector (Δ
x i−1 , Δy i−1 ) and the estimated auxiliary vector (Δu i−1 ′, Δv i−1 ′) on the work coordinate system 42, can be expressed by Expression (9).
【００１６】[0016]
【数６】 (Equation 6)
【００１７】式（９）における左辺の４×４マトリクス
は、逆マトリクスが存在するため、２次元速度ベクトル
座標変換マトリクスＴi の各パラメータを求めることが
できる。ここで求めた２次元速度ベクトル座標変換マト
リクスＴi を用いて式（６）から次の作業座標系４２上
の２次元速度ベクトルを求める。なお、画像座標系４１
上の推定補助ベクトル（Δｕi-1'，Δｖi-1'）では、画
像座標系４１上の２次元速度ベクトル（Δｕi-1 ，Δｖ
i-1 ）に対して垂直としているが、必ずしも垂直である
必要はない。例えば、２次元速度ベクトル（Δｕ i-1 ，
Δｖi-1 ）と一次独立の関係にある２次元速度ベクトル
を利用すれば良い。また、推定補助ベクトルの利用は一
つに限定されず二つを利用しても良い。例えば、画像座
標系４１上の２次元速度ベクトル（Δｕi-1 ，Δ
ｖi-1 ）に対して垂直な二つの２次元速度ベクトルを利
用しても良い。この場合、一つの推定補助ベクトルが画
像座標系４１上の２次元速度ベクトル（Δｕi-1 ，Δｖ
i-1 ）に対して１次独立であれば良い。また、この実施
形態では式（６）を基本にしてビジュアルフィードバッ
クを実行しているが、式（５）に基づいたビジュアルフ
ィードバック処理の実現も考えられる。しかしながら式
（６）に基づいた方式は式（５）に基づいた方式と比較
すると、推定するマトリクスのパラメータの数が少ない
ため、式（９）に基づくマトリクス推定に必要となる演
算量を少なくすることができる。更に、画像座標系４１
上の対象点の情報から作業座標系４２上の対象点の情報
を求める際にも式（６）、式（５）の比較によって、式
（６）に基づいた処理が式（５）に基づいた処理より
も、その演算量を少なくすることができる。図４は、ビ
ジュアルフィードバックの処理手順を示すフローチャー
トである。図４において、ビジュアルフィードバックの
開始時にあって（Ｓ１０１）、作業座標系上の対象点
（図１におけるペグ２３の特徴部分２９の中心に相当）
の位置（ｘ，ｙ）は、ロボットマニピュレータ２１が作
業座標系を認識できることから測定できものであり、こ
の画像座標系上の対象点の位置（ｕ，ｖ）及び画像座標
系上の目標点（図１におけるホール２５に相当）の位置
（ｕd ，ｖd ）は、ＣＣＤカメラ２６が対象点及び目標
点を含むシーンを撮像していることから測定できる。次
に、画像座標系上の対象点の位置（ｕ，ｖ）、画像座標
系上の目標点の位置（ｕd ，ｖd ）、作業座標系の対象
点の位置（ｘ，ｙ）をそれぞれ測定する（Ｓ１０２）。
その後、画像座標系上の目標点の位置（ｕd ，ｖd ）と
画像座標系上の対象点の位置（ｕ，ｖ）との差分
（ｅu ，ｅv ）を演算し（Ｓ１０３）、この差分
（ｅ u ，ｅv ）と、ある閾値（Ｓu ，Ｓv ）とを比較す
る（Ｓ１０４）。そして、差分（ｅu ，ｅv ）が、所定
の閾値（Ｓu ，Ｓv ）より小さい場合は（Ｓ１０４：Ｙ
ｅｓ）、ビジュアルフィードバックを終了し（Ｓ１０
９）、大きい場合は（Ｓ１０４：Ｎｏ）、次の処理Ｓ１
０５に移る。この場合、Ｓ１０９の終了に推移する条件
は、ｅu がＳu よりも小さく、かつ、ｅv がＳv よりも
小さい場合、又は、ｅu がＳu よりも小さく、あるい
は、ｅv がＳv よりも小さい場合のいずれでも良い。Ｓ
１０５では、式（１０）に基づいて作業座標系上の２次
元速度ベクトル（Δｘ，Δｙ）を求める。The 4 × 4 matrix on the left side in equation (9)
Is a two-dimensional velocity vector because there is an inverse matrix
Coordinate transformation matrix TiOf each parameter
it can. The two-dimensional velocity vector coordinate transformation mat obtained here
Rix TiFrom the equation (6), the following work coordinate system 42
Is obtained. The image coordinate system 41
The estimated auxiliary vector (Δui-1', Δvi-1') In the picture
Two-dimensional velocity vector (Δu) on image coordinate system 41i-1, Δv
i-1) Perpendicular to, but not necessarily perpendicular to
No need. For example, a two-dimensional velocity vector (Δu i-1,
Δvi-1) And a two-dimensional velocity vector that is linearly independent of
You can use. In addition, the use of
It is not limited to one, and two may be used. For example, image constellation
Two-dimensional velocity vector (Δui-1, Δ
vi-1Use two two-dimensional velocity vectors perpendicular to
May be used. In this case, one estimated auxiliary vector is
Two-dimensional velocity vector (Δu) on image coordinate system 41i-1, Δv
i-1) May be linearly independent. Also, this implementation
In the form, visual feedback is based on equation (6).
Is executed, but visual visual processing based on equation (5) is performed.
Implementation of feedback processing is also conceivable. However, the expression
The method based on (6) is compared with the method based on equation (5)
Then, the number of parameters of the matrix to be estimated is small
Therefore, the performance required for matrix estimation based on equation (9)
The complexity can be reduced. Further, the image coordinate system 41
From the information of the target point on the information of the target point on the work coordinate system 42
Is also obtained by comparing Equations (6) and (5).
The processing based on (6) is better than the processing based on equation (5).
Also, the amount of calculation can be reduced. FIG.
A flow chart showing the procedure for processing the dual feedback
It is. In FIG. 4, the visual feedback
At the start (S101), the target point on the work coordinate system
(Corresponding to the center of the characteristic portion 29 of the peg 23 in FIG. 1)
Position (x, y) is set by the robot manipulator 21.
It can be measured because the business coordinate system can be recognized.
(U, v) and image coordinates of the target point on the image coordinate system
Position of the target point on the system (corresponding to hole 25 in FIG. 1)
(Ud, Vd) Indicates that the CCD camera 26 is the target point and the target.
It can be measured because a scene including a point is imaged. Next
, The position of the target point on the image coordinate system (u, v), the image coordinates
The position of the target point on the system (ud, Vd), Work coordinate system target
The position (x, y) of each point is measured (S102).
Then, the position of the target point on the image coordinate system (ud, Vd)When
Difference from the position (u, v) of the target point on the image coordinate system
(Eu, Ev) (S103), and the difference
(E u, Ev) And a certain threshold (Su, Sv) And compare
(S104). Then, the difference (eu, Ev)
Threshold (Su, Sv) (S104: Y
es) and terminates the visual feedback (S10
9) If it is larger (S104: No), the next processing S1
Move to 05. In this case, the condition for shifting to the end of S109
Is euIs SuSmaller than and evIs Svthan
If small or euIs SuSmaller than or
Is evIs SvEither case may be smaller. S
In 105, the second order on the work coordinate system is calculated based on the equation (10).
The original velocity vector (Δx, Δy) is obtained.
【００１８】[0018]
【数７】 (Equation 7)
【００１９】ここで、Ｔは２次元速度ベクトル座標変換
マトリクスであり、Ｋは、ゲインマトリクスである。な
お、ビジュアルフィードバックの処理の初回は、２次元
速度ベクトル座標変換マトリクスＴが求められていない
ため、人手によって適当な２次元速度ベクトル座標変換
マトリクスＴの各パラメータの値を指定する、ロボット
マニピュレータ２１を適当に移動させて２次元速度ベク
トル座標変換マトリクスＴの各パラメータ値を求めてお
くなどの処理で求めた２次元速度ベクトル座標変換マト
リクスＴを用いる。このようにして求められた作業座標
系上の２次元速度ベクトル（Δｘ，Δｙ）に基づいてロ
ボットマニピュレータ２１を操作して対象点を移動す
る。この移動した対象点を画像座標系上で追跡し、実際
の移動量、すなわち、画像座標系上の２次元速度ベクト
ル（Δｕ，Δｖ）を測定する（Ｓ１０６）。その後、画
像座標系上の２次元速度ベクトル（Δｕ，Δｖ）と１次
独立の関係にある推定補助ベクトル（Δｕ’，Δ
ｖ’）、例えば、画像座標系上の２次元速度ベクトル
（Δｕ，Δｖ）と垂直なベクトルを求め式（８）に基づ
いて、作業座標系上の推定補助ベクトル（Δｘ’，Δ
ｙ’）を演算する（Ｓ１０７）。そして、求められた画
像座標系上の２次元速度ベクトル（Δｕ，Δｖ）と、画
像座標系上の推定補助ベクトル（Δｕ’，Δｖ’）と、
作業座標系上の２次元速度ベクトル（Δｘ，Δｙ）と、
作業座標系上の推定補助ベクトル（Δｘ’，Δｙ’）と
を用いて式（９）から２次元速度ベクトル座標変換マト
リクスＴの各パラメータを推定する（Ｓ１０８）。Ｓ１
０８の後はＳ１０２に推移し、処理を繰り返す。なお、
この実施形態では、ビジュアルフィードバック中に、画
像座標系と作業座標系との相対的な位置及び姿勢関係に
変化が生じた場合、また、撮像装置の持つ内部パラメー
タに変化が生じた場合、あるいは、目標点が変更になっ
た場合、その変化又は変更が多少であれば、目標点の位
置（ｕd ，ｖd ）を変更し、又は、逐次、２次元速度ベ
クトル座標変換マトリクスを推定しているため、そのま
まビジュアルフィードバックを継続することができる。
また、一度、ビジュアルフィードバック処理を終了し、
再度、ビジュアルフィードバック処理を実行する前に、
画像座標系と作業座標系との相対的な位置及び姿勢関係
に変化が生じた場合、また、撮像装置が有する内部パラ
メータに変化が生じた際にも、その変化が多少であれ
ば、逐次、２次元速度ベクトル座標変換マトリクスを推
定していることから、そのままビジュアルフィードバッ
クを継続することができる。図５は、図４の処理手順に
よるビジュアルフィードバック処理に基づいたシミュレ
ーションを示す図である。図５（ａ）は画像座標系６１
であり、図５（ｂ）は、作業座標系６２である。この画
像座標系６１及び作業座標系６２には、画像座標系６１
上の開始点６３と、画像座標系６１上の目標点６４と、
作業座標系６２上の開始点６５と、作業座標系６２上の
目標点６６とを有している。更に、この実施形態のビジ
ュアルフィードバック処理に基づいて推移する画像座標
系６１上の途中の特徴点６７，６８、及び作業座標系６
２上の途中の特徴点６９，７０を有している。ここでは
式（１０）におけるゲインマトリクスＫを以下のように
設定している。Here, T is a two-dimensional velocity vector coordinate transformation matrix, and K is a gain matrix. Since the two-dimensional velocity vector coordinate conversion matrix T has not been determined for the first time of the visual feedback processing, the robot manipulator 21 that manually specifies the values of the parameters of the appropriate two-dimensional velocity vector coordinate conversion matrix T is used. The two-dimensional velocity vector coordinate conversion matrix T obtained by processing such as appropriately moving each parameter value of the two-dimensional velocity vector coordinate conversion matrix T is used. The target point is moved by operating the robot manipulator 21 based on the two-dimensional velocity vector (Δx, Δy) on the work coordinate system obtained in this manner. The moved target point is tracked on the image coordinate system, and the actual movement amount, that is, the two-dimensional velocity vector (Δu, Δv) on the image coordinate system is measured (S106). After that, the estimated auxiliary vectors (Δu ′, Δv ′) that are linearly independent of the two-dimensional velocity vector (Δu, Δv) on the image coordinate system
v ′), for example, a vector perpendicular to the two-dimensional velocity vector (Δu, Δv) on the image coordinate system is obtained, and the estimated auxiliary vector (Δx ′, Δ
y ′) is calculated (S107). Then, the obtained two-dimensional velocity vector (Δu, Δv) on the image coordinate system, the estimated auxiliary vector (Δu ′, Δv ′) on the image coordinate system,
A two-dimensional velocity vector (Δx, Δy) on the working coordinate system;
Each parameter of the two-dimensional velocity vector coordinate transformation matrix T is estimated from Expression (9) using the estimated auxiliary vectors (Δx ′, Δy ′) on the work coordinate system (S108). S1
After 08, the process proceeds to S102 and the process is repeated. In addition,
In this embodiment, during visual feedback, when a change occurs in the relative position and orientation relationship between the image coordinate system and the working coordinate system, or when a change occurs in an internal parameter of the imaging device, or If the target point is changed, if somewhat the change or changes, the position of the target point (u d, v d) change, or, sequentially, estimates the two-dimensional velocity vector coordinate transformation matrix Therefore, visual feedback can be continued as it is.
In addition, once the visual feedback process ends,
Before executing the visual feedback process again,
If a change occurs in the relative position and orientation relationship between the image coordinate system and the work coordinate system, and also when a change occurs in the internal parameters of the imaging device, if the change is slight, then sequentially, Since the two-dimensional velocity vector coordinate transformation matrix is estimated, visual feedback can be continued as it is. FIG. 5 is a diagram showing a simulation based on the visual feedback processing according to the processing procedure of FIG. FIG. 5A shows an image coordinate system 61.
FIG. 5B shows the work coordinate system 62. The image coordinate system 61 and the work coordinate system 62 include an image coordinate system 61.
Starting point 63 on the top, target point 64 on the image coordinate system 61,
It has a start point 65 on the work coordinate system 62 and a target point 66 on the work coordinate system 62. Further, intermediate feature points 67 and 68 on the image coordinate system 61, which change based on the visual feedback processing of this embodiment, and the work coordinate system 6
2 has feature points 69 and 70 on the way. Here, the gain matrix K in Expression (10) is set as follows.
【００２０】[0020]
【数８】 (Equation 8)
【００２１】図４に示したビジュアルフィードバック処
理を用いて、開始時に作業座標系６２上の開始点６５及
び画像座標系６１上の開始点６３にあった対象点が、画
像座標系６１では、画像座標系６１上の途中の特徴点６
７，６８を通じて画像座標系６１上の目標点６４に収束
していることが判明する。また、作業座標系６２では、
作業座標系６２上の途中の特徴点６９，７０を通じて作
業座標系６２上の目標点６６に収束していることが判明
する。図６はビジュアルフィードバックによる移動機構
制御装置の構成を示している。図６に示す構成は、ＣＣ
Ｄカメラ１０１と、ロボットコントローラ１０２と、ロ
ボットマニピュレータ１０３と、撮像シーン１０４と、
画像処理装置１０５と、変換マトリクス推定器１０６
と、座標変換器１０７と、対象物体１０８と、速度指令
調節器１０９と、フィルタ処理部１１０と、物体モデル
１１１とを有している。次に、このビジュアルフィード
バックによる移動機構制御装置の動作について説明す
る。ロボットマニピュレータ１０３のロボットハンドは
対象物体１０８を把持して、対象物体１０８を目標位置
へ移動させる。ＣＣＤカメラ１０１は撮像シーン１０４
のように対象物体１０８の移動範囲を撮像し、画像デー
タを画像処理装置１０５へ出力する。画像処理装置１０
５では対象物体１０８の画像座標系上での特徴部分を追
跡し、その現在位置ｆ（＝（ｕ，ｖ））を出力する。な
お、対象物体１０８の画像座標系上での特徴部分の目標
位置ｆd （＝（ｕd，ｖd ））は予め与えられている。
変換マトリクス推定器１０６は、ロボットコントローラ
１０２から得られるロボットハンドの作業座標系上での
現在位置と、対象物体１０８の物体モデル１１１との
和、すなわち、対象物体１０８の作業座標系上での特徴
部分の現在位置Ｘと、画像処理装置１０５から得られる
対象物体１０８の画像座標系上での特徴部分の現在位置
ｆとを入力し、式（１２）の関係を満たす変換マトリク
スＴを推定する。 dX/dt ＝Ｔdf/dt …（１２） ここでdX/dt は対象物体１０８の作業座標系上での特徴
部分の速度ベクトルであり、df/dt は対象物体１０８の
画像座標系上での特徴部分の速度ベクトルである。座標
変換器１０７は、式（１３）によって対象物体の作業座
標系上での偏差ベクトルΔＸを生成する。 ΔＸ＝Ｔ（ｆd −ｆ） …（１３） 速度指令調節器１０９は、作業座標系上での偏差ベクト
ルと現在の速度指令ベクトルから、ロボットマニピュレ
ータ１０３の動作が滑らかになるように予め設定された
速度の加減速パターンに対応するように新たな速度指令
を生成する。フィルタ処理部１１０は、急激な速度変化
がロボットマニピュレータ１０３に生じないよう、速度
指令調節器１０９で生成した速度指令を滑らかにする。
図７は速度指令調節器１０９の動作を説明するための図
である。図７に示す例は、第１のケース（ａ）、第２の
ケース（ｂ）、第３のケース（ｃ）であり、かつ、速度
２０１、時間２０２、加速パターン２０３、減速パター
ン２０４、加速時間２０５、減速時間２０６、リミット
速度２０７、第１の点２０８、第２の点２０９、第３の
点２１０からなる。速度指令調節器１０９には、加速時
間２０５と減速時間２０６とリミット速度２０７が予め
設定されている。ここで第１のケース（ａ）に示される
ように、現在の速度指令が第１の点２０８における速度
の場合には式（１３）によって求めた偏差ベクトルΔＸ
と第１のケース（ａ）の図中における斜線部の面積が等
しくなるように第１の点２０８の位置を決定する。第１
の点２０８からは加速パターン２０３と傾きが等しくな
るように新たに速度指令を決定し、リミット速度２０７
となるまで繰り返し行う。また、第２のケース（ｂ）に
示すように、現在の速度指令が第２の点２０９における
速度の場合には、式（１３）によって求めた偏差ベクト
ルΔＸと第２のケース（ｂ）の図中における斜線部の面
積が等しくなるように第２の点２０９の位置を決定す
る。第２の点２０９からは減速パターン２０４と傾きが
等しくなるように新たに速度指令を決定し、リミット速
度２０７となるまで繰り返し行う。更に、第３のケース
（ｃ）に示すように、現在の速度指令が第３の点２１０
における速度であり、式（１３）によって求めた偏差ベ
クトルΔＸが第３のケース（ｃ）における図中の斜線部
の場合は、リミット速度２０７までは到達しない以外
は、第１のケース（ａ）と同一の処理である。なお、式
（１３）における偏差ベクトルΔＸはビジュアルフィー
ドバックのサンプリング間隔Δｔで毎回求められる。し
たがって、以上の処理もΔｔ時間で行われ、設定した加
減速パターンに従うものとなる。フィルタ処理部１１０
は、速度指令調節器１０９で作成された新たな速度指令
を滑らかにするために、例えば、式（１４）に示される
特性の１次フィルタを用いれば良い。 Ｖ（ｋ）＝Ｈ｛dX/dt （ｋ）−Ｖ（ｋ−１）｝＋Ｖ（ｋ−１）…（１４） ここで、Ｖ（ｋ）はサンプリング時間ｋにおけるフィル
タ出力、Ｈはゲイン行列である。By using the visual feedback processing shown in FIG. 4, the target point at the start at the starting point 65 on the working coordinate system 62 and the starting point 63 on the image coordinate system 61 is changed to the image point in the image coordinate system 61. Intermediate feature point 6 on coordinate system 61
7 and 68, it is found that the light beam has converged to the target point 64 on the image coordinate system 61. In the working coordinate system 62,
It is found that the target point 66 on the work coordinate system 62 converges through feature points 69 and 70 in the middle on the work coordinate system 62. FIG. 6 shows a configuration of a moving mechanism control device using visual feedback. The configuration shown in FIG.
A D camera 101, a robot controller 102, a robot manipulator 103, an imaging scene 104,
Image processing device 105 and transformation matrix estimator 106
, A coordinate converter 107, a target object 108, a speed command adjuster 109, a filter processing unit 110, and an object model 111. Next, the operation of the moving mechanism control device based on the visual feedback will be described. The robot hand of the robot manipulator 103 holds the target object 108 and moves the target object 108 to a target position. The CCD camera 101 has an imaging scene 104
As described above, the moving range of the target object 108 is imaged, and the image data is output to the image processing device 105. Image processing device 10
In step 5, the characteristic portion of the target object 108 on the image coordinate system is tracked, and its current position f (= (u, v)) is output. The target position f d of the characteristic portion in the image coordinate system of the target object 108 (= (u d, v d)) is given in advance.
The transformation matrix estimator 106 calculates the sum of the current position of the robot hand on the work coordinate system obtained from the robot controller 102 and the object model 111 of the target object 108, that is, the feature of the target object 108 on the work coordinate system. The current position X of the part and the current position f of the characteristic part on the image coordinate system of the target object 108 obtained from the image processing device 105 are input, and a transformation matrix T that satisfies the relationship of Expression (12) is estimated. dX / dt = Tdf / dt (12) where dX / dt is a velocity vector of a characteristic portion of the target object 108 on the work coordinate system, and df / dt is a characteristic of the target object 108 on the image coordinate system. This is the velocity vector of the part. The coordinate converter 107 generates a deviation vector ΔX of the target object on the working coordinate system by using Expression (13). ΔX = T (f d −f) (13) The speed command adjuster 109 is preset from the deviation vector on the working coordinate system and the current speed command vector so that the operation of the robot manipulator 103 is smooth. A new speed command is generated so as to correspond to the acceleration / deceleration pattern of the speed. The filter processing unit 110 smoothes the speed command generated by the speed command adjuster 109 so that a rapid speed change does not occur in the robot manipulator 103.
FIG. 7 is a diagram for explaining the operation of the speed command adjuster 109. The example shown in FIG. 7 is a first case (a), a second case (b), and a third case (c), and has a speed 201, a time 202, an acceleration pattern 203, a deceleration pattern 204, and an acceleration. It comprises a time 205, a deceleration time 206, a limit speed 207, a first point 208, a second point 209, and a third point 210. In the speed command controller 109, an acceleration time 205, a deceleration time 206, and a limit speed 207 are set in advance. Here, as shown in the first case (a), when the current speed command is the speed at the first point 208, the deviation vector ΔX obtained by the equation (13) is used.
The position of the first point 208 is determined so that the area of the hatched portion in the figure of the first case (a) becomes equal to that of the first case (a). First
From the point 208, a new speed command is determined so that the inclination becomes equal to the acceleration pattern 203, and the limit speed 207 is determined.
Repeat until. Also, as shown in the second case (b), when the current speed command is the speed at the second point 209, the deviation vector ΔX obtained by the equation (13) and the second case (b) are used. The position of the second point 209 is determined so that the areas of the hatched portions in the figure become equal. From the second point 209, a new speed command is determined so that the inclination becomes equal to the deceleration pattern 204, and the process is repeated until the speed reaches the limit speed 207. Further, as shown in the third case (c), the current speed command is
In the case where the deviation vector ΔX obtained by the equation (13) is the shaded portion in the figure in the third case (c), the first case (a) except that the speed does not reach the limit speed 207 This is the same processing as. Note that the deviation vector ΔX in Expression (13) is obtained every time at the visual feedback sampling interval Δt. Therefore, the above processing is also performed in the time Δt, and follows the set acceleration / deceleration pattern. Filter processing unit 110
In order to smooth the new speed command created by the speed command controller 109, for example, a primary filter having the characteristic shown in Expression (14) may be used. V (k) = H {dX / dt (k) -V (k-1)} + V (k-1) (14) where V (k) is a filter output at a sampling time k, and H is a gain matrix. It is.
【００２２】[0022]
【発明の効果】以上の説明から明らかなように、請求項
１記載の撮像装置を用いた機械装置のビジュアルフィー
ドバック方法によれば、画像座標系上の２次元速度ベク
トルと作業座標系上の２次元速度ベクトルとを対応づけ
る２次元速度ベクトル座標変換マトリクスを推定してい
るため、煩雑なキャリブレーションを不要にできる。さ
らに、画像座標系上及び作業座標系上の２次元速度ベク
トルの対応をマトリクス表現しているため、画像座標系
上の対象物体の特徴部分の動き（２次元速度ベクトル）
を作業座標系上の対象物体の特徴部分の動きに変換する
際に必要となる局所的な２次元速度ベクトルの座標変換
マトリクスが、作業座標系上の対象物体の動きから簡便
に推定できるようになる。同様にして画像座標系上の情
報から作業座標系の情報を求める際にも演算量を少なく
できる。本発明の請求項２記載の撮像装置を用いた機械
装置のビジュアルフィードバック方法によれば、逐次、
２次元速度ベクトル座標変換マトリクスを推定している
ため、画像座標系と作業座標系との相対的な位置及び姿
勢関係に変化が生じた場合、また、撮像装置が有する内
部パラメータに変化が生じた場合、それらが多少の変化
の際に、例えば、変化がビジュアルフィードバック処理
中、又は、この処理間であっても、ビジュアルフィード
バック処理が実行できるようになる。本発明の請求項３
及び４記載の撮像装置を用いた機械装置のビジュアルフ
ィードバック方法によれば、偏差ベクトルと現在の速度
指令から、予め設定された移動機構の速度の加減速パタ
ーンに基づくように、新しい速度指令を計算しており、
移動機構が初期に急激に動くことなく、動作が滑らかに
なる。As is apparent from the above description, according to the visual feedback method for a mechanical device using the image pickup apparatus according to the first aspect, the two-dimensional velocity vector on the image coordinate system and the two-dimensional velocity vector on the work coordinate system are used. Since the two-dimensional velocity vector coordinate transformation matrix that associates the two-dimensional velocity vector is estimated, complicated calibration is not required. Furthermore, since the correspondence between the two-dimensional velocity vectors on the image coordinate system and the work coordinate system is expressed in a matrix, the movement of the characteristic portion of the target object on the image coordinate system (two-dimensional velocity vector)
The coordinate transformation matrix of the local two-dimensional velocity vector required when transforming into the motion of the feature part of the target object on the work coordinate system can be easily estimated from the motion of the target object on the work coordinate system. Become. Similarly, the amount of calculation can be reduced when obtaining information on the work coordinate system from information on the image coordinate system. According to the visual feedback method for a mechanical device using the imaging device according to claim 2 of the present invention,
Since the two-dimensional velocity vector coordinate transformation matrix is estimated, a change occurs in the relative position and orientation relationship between the image coordinate system and the work coordinate system, and a change occurs in the internal parameters of the imaging device. In such a case, the visual feedback processing can be executed when they slightly change, for example, even during the visual feedback processing or during the change. Claim 3 of the present invention
According to the visual feedback method for a mechanical device using the imaging device described in the paragraphs 4 and 4, a new speed command is calculated from the deviation vector and the current speed command based on a preset acceleration / deceleration pattern of the speed of the moving mechanism. And
The movement becomes smooth without the movement mechanism suddenly moving at the beginning.
【図１】本発明の撮像装置を用いた機械装置のビジュア
ルフィードバック方法を実現するための撮像システムの
構成図である。FIG. 1 is a configuration diagram of an imaging system for realizing a visual feedback method for a mechanical device using an imaging device of the present invention.
【図２】実施形態で処理される座標系を説明するための
図である。FIG. 2 is a diagram for explaining a coordinate system processed in the embodiment.
【図３】実施形態にあって画像座標系上の対象点の推移
と作業座標系上の対象点の推移を示す図である。FIG. 3 is a diagram showing a transition of a target point on an image coordinate system and a transition of a target point on a work coordinate system in the embodiment.
【図４】実施形態にあってビジュアルフィードバックの
処理手順を示すフローチャートである。FIG. 4 is a flowchart illustrating a processing procedure of visual feedback in the embodiment.
【図５】実施形態にあってビジュアルフィードバック処
理に基づいたシミュレーションを示す図である。FIG. 5 is a diagram showing a simulation based on a visual feedback process in the embodiment.
【図６】実施形態にあってビジュアルフィードバックに
よる移動機構制御装置の構成を示すブロック図である。FIG. 6 is a block diagram showing a configuration of a moving mechanism control device based on visual feedback in the embodiment.
【図７】実施形態にあって速度指令調節器の動作を説明
するための図である。FIG. 7 is a diagram for explaining an operation of the speed command adjuster in the embodiment.
【図８】従来のビジュアルフィードバック方法による移
動機構制御装置の構成を示すブロック図である。FIG. 8 is a block diagram showing a configuration of a moving mechanism control device according to a conventional visual feedback method.
【図９】従来例にあってフィードバックされる速度の加
減速パターンである。FIG. 9 is an acceleration / deceleration pattern of a speed fed back in a conventional example.
２１、１０３、３０３ ロボットマニピュレータ ２２ ロボットハンド ２３ ペグ ２４ ワーク ２５ ホール ２６、１０１、３０１ ＣＣＤカメラ ２７、１０４、３０４ 撮像シーン ２８、１０５、３０５ 画像処理装置 ２９ ペグの特徴部分 ３１、４１、６１ 画像座標系 ３２、４２、６２ 作業座標系 ３３ 対象点（Ｐ） ３４ 焦点距離（ｆ） ３５ 焦点 ３６ 撮像面 ３７ 投影点 ３８ 光軸 ４３ ｉ−２番目の画像座標系上の対象点 ４４ ｉ−１番目の画像座標系上の対象点 ４５ ｉ番目の画像座標系上の対象点 ４６ 画像座標系上の目標点 ４７ 推定補助点 ４８ ｉ−２番目の作業座標系上の対象点 ４９ ｉ−１番目の作業座標系上の対象点 ５０ ｉ番目の作業座標系上の対象点 ５１ 作業座標系上の目標点 Ｓ１０１〜Ｓ１０９ ビジュアルフィードバックステッ
プ ６３ 画像座標系上の開始点 ６４ 画像座標系上の目標点 ６５ 作業座標系上の開始点 ６６ 作業座標系上の目標点 ６７、６８ 画像座標系上の途中の特徴点 ６９、７０ 作業座標系上の途中の特徴点 １０２、３０２ ロボットコントローラ １０６ 変換マトリクス推定器 １０７ 座標変換器 １０８ 対象物体 １０９ 速度指令調節器 １１０ フィルタ処理部 １１１ 物体モデル ２０１ 速度 ２０２ 時間 ２０３ 加速パターン ２０４ 減速パターン ２０５ 加速時間 ２０６ 減速時間 ２０７ リミット速度 ２０８ 第１の点 ２０９ 第２の点 ２１０ 第３の点 （ａ） 第１のケース （ｂ） 第２のケース （ｃ） 第３のケース ３０６ ヤコビ行列推定器 ３０７ 速度指令生成器21, 103, 303 Robot manipulator 22 Robot hand 23 Peg 24 Work 25 Hole 26, 101, 301 CCD camera 27, 104, 304 Imaging scene 28, 105, 305 Image processing device 29 Characteristic part of peg 31, 41, 61 Image coordinates System 32, 42, 62 Working coordinate system 33 Target point (P) 34 Focal length (f) 35 Focus 36 Imaging surface 37 Projection point 38 Optical axis 43 i-Target point on the second image coordinate system 44 i-1st Target point on the i-th image coordinate system 46 target point on the image coordinate system 47 estimated auxiliary point 48 i-the target point on the second working coordinate system 49 i-1 the first Target point on work coordinate system 50 Target point on i-th work coordinate system 51 Target point on work coordinate system S101 to S109 Visual feedback Step 63 Start point on image coordinate system 64 Target point on image coordinate system 65 Start point on work coordinate system 66 Target point on work coordinate system 67, 68 Intermediate feature point on image coordinate system 69, 70 work Intermediate feature points on the coordinate system 102, 302 Robot controller 106 Transform matrix estimator 107 Coordinate converter 108 Target object 109 Speed command adjuster 110 Filter processing unit 111 Object model 201 Speed 202 time 203 Acceleration pattern 204 Deceleration pattern 205 Acceleration time 206 Deceleration time 207 Limit speed 208 First point 209 Second point 210 Third point (a) First case (b) Second case (c) Third case 306 Jacobi matrix estimator 307 Speed command Generator
Claims (4)
機構で移動する対象物体を含むシーンを撮影し、 前記撮像装置で得られる撮像信号から対象物体の特徴部
分を画像処理によって抽出し、 前記特徴部分を前記撮像装置の撮像面に固定された画像
座標系上を追跡し、前記画像座標系上の２次元速度ベク
トルと前記移動機構によって認識される作業座標系上の
２次元速度ベクトルとを対応づける２次元速度ベクトル
座標変換マトリクスを局所的に推定し、 前記対象物体を前記画像座標系上の目標位置へ移動する
ように前記移動機構へ位置又は速度指令をフィードバッ
クすることを特徴とする撮像装置を用いた機械装置のビ
ジュアルフィードバック方法。1. A scene including a target object moving by a moving mechanism is photographed by at least one image pickup device, and a characteristic portion of the target object is extracted by image processing from an image signal obtained by the image pickup device; Is traced on an image coordinate system fixed to an imaging surface of the imaging device, and a two-dimensional velocity vector on the image coordinate system is associated with a two-dimensional velocity vector on a work coordinate system recognized by the moving mechanism. An imaging apparatus comprising: locally estimating a two-dimensional velocity vector coordinate transformation matrix; and feeding back a position or velocity command to the moving mechanism so as to move the target object to a target position on the image coordinate system. Visual feedback method of the mechanical device used.
クスを、 前記移動機構の動作によって発生する画像座標系上での
対象物体の特徴部分の２次元速度ベクトルと、該２次元
速度ベクトルと１次独立の関係にある少なくとも一つの
推定補助ベクトルとを利用して推定することを特徴とす
る請求項１記載の撮像装置を用いた機械装置のビジュア
ルフィードバック方法。2. A two-dimensional velocity vector coordinate transformation matrix, comprising: a two-dimensional velocity vector of a characteristic portion of a target object on an image coordinate system generated by an operation of the moving mechanism; 2. The visual feedback method for a mechanical device using an imaging device according to claim 1, wherein the estimation is performed using at least one estimation auxiliary vector having the following relationship.
機構で移動する対象物体を含むシーンを撮影し、 前記撮像装置で得られる撮像信号から対象物体の特徴部
分を画像処理によって抽出し、 前記特徴部分を前記撮像装置の撮像面に固定された画像
座標系上を追跡し、前記画像座標系上での対象物体の目
標位置と現在位置との偏差を前記作業座標系に変換し、 変換後の偏差及び現在の速度指令に基づいて、予め設定
された前記移動機構の速度の加減速パターンに対応す
る、新たな速度指令を計算することを特徴とする撮像装
置を用いた機械装置のビジュアルフィードバック方法。3. A scene including a target object moving by a moving mechanism is photographed by at least one image pickup device, and a characteristic portion of the target object is extracted by image processing from an image pickup signal obtained by the image pickup device; Is tracked on an image coordinate system fixed to the imaging surface of the imaging device, and the deviation between the target position and the current position of the target object on the image coordinate system is converted into the working coordinate system. And calculating a new speed command corresponding to a preset acceleration / deceleration pattern of the speed of the moving mechanism based on the current speed command.
フィルタ処理することを特徴とする請求項３記載の撮像
装置を用いた機械装置のビジュアルフィードバック方
法。4. The visual feedback method for a mechanical device using an imaging device according to claim 3, wherein a filtering process is performed to smooth the new speed command.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23624497A JP3981778B2 (en) | 1997-09-01 | 1997-09-01 | Visual feedback method of mechanical device using imaging device and mechanical device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23624497A JP3981778B2 (en) | 1997-09-01 | 1997-09-01 | Visual feedback method of mechanical device using imaging device and mechanical device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1185235A true JPH1185235A (en) | 1999-03-30 |
| JP3981778B2 JP3981778B2 (en) | 2007-09-26 |
Family
ID=16997922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23624497A Expired - Fee Related JP3981778B2 (en) | 1997-09-01 | 1997-09-01 | Visual feedback method of mechanical device using imaging device and mechanical device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3981778B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007011978A (en) * | 2005-07-04 | 2007-01-18 | Toyota Motor Corp | Motion controller for robot |
| JP2013158847A (en) * | 2012-02-01 | 2013-08-19 | Seiko Epson Corp | Robot control device, robot control method, robot control program and robot system |
| JP2013173191A (en) * | 2012-02-23 | 2013-09-05 | Seiko Epson Corp | Robot apparatus, robot control apparatus, robot control method, and robot control program |
| JP2015085467A (en) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | Control device, robot, robot system and control method |
| JP2015100868A (en) * | 2013-11-22 | 2015-06-04 | セイコーエプソン株式会社 | Robot system |
| CN104924309A (en) * | 2014-03-17 | 2015-09-23 | 株式会社安川电机 | Robot system, calibration method in robot system, and position correcting method in robot system |
| EP3147086A1 (en) * | 2015-09-22 | 2017-03-29 | Airbus Defence and Space GmbH | Automation of robot operations |
| DE102017218474A1 (en) | 2017-01-17 | 2018-07-19 | Omron Corporation | IMAGE PROCESSING DEVICE, CONTROL SYSTEM, PICTURE PROCESSING SYSTEM, CONTROL PROGRAM AND RECORDING MEDIA |
| CN111989194A (en) * | 2018-04-17 | 2020-11-24 | Abb瑞士股份有限公司 | Method for controlling a robot arm |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112859742B (en) * | 2021-01-12 | 2021-08-06 | 广州盛硕科技有限公司 | Numerical control machine tool control system based on visual identification |
-
1997
- 1997-09-01 JP JP23624497A patent/JP3981778B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007011978A (en) * | 2005-07-04 | 2007-01-18 | Toyota Motor Corp | Motion controller for robot |
| JP2013158847A (en) * | 2012-02-01 | 2013-08-19 | Seiko Epson Corp | Robot control device, robot control method, robot control program and robot system |
| JP2013173191A (en) * | 2012-02-23 | 2013-09-05 | Seiko Epson Corp | Robot apparatus, robot control apparatus, robot control method, and robot control program |
| JP2015085467A (en) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | Control device, robot, robot system and control method |
| JP2015100868A (en) * | 2013-11-22 | 2015-06-04 | セイコーエプソン株式会社 | Robot system |
| CN104924309A (en) * | 2014-03-17 | 2015-09-23 | 株式会社安川电机 | Robot system, calibration method in robot system, and position correcting method in robot system |
| JP2015174191A (en) * | 2014-03-17 | 2015-10-05 | 株式会社安川電機 | Robot system, calibration method of robot system and position correction method of robot system |
| EP3147086A1 (en) * | 2015-09-22 | 2017-03-29 | Airbus Defence and Space GmbH | Automation of robot operations |
| US10618178B2 (en) | 2015-09-22 | 2020-04-14 | Airbus Defence and Space GmbH | Automating robot operations |
| DE102017218474A1 (en) | 2017-01-17 | 2018-07-19 | Omron Corporation | IMAGE PROCESSING DEVICE, CONTROL SYSTEM, PICTURE PROCESSING SYSTEM, CONTROL PROGRAM AND RECORDING MEDIA |
| US10430964B2 (en) | 2017-01-17 | 2019-10-01 | Omron Corporation | Image processing device, control system, control method of image processing device, control program, and recording medium |
| CN111989194A (en) * | 2018-04-17 | 2020-11-24 | Abb瑞士股份有限公司 | Method for controlling a robot arm |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3981778B2 (en) | 2007-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102280663B1 (en) | Calibration method for robot using vision technology | |
| JP4265088B2 (en) | Robot apparatus and control method thereof | |
| WO2021012124A1 (en) | Robot hand-eye calibration method and apparatus, computing device, medium and product | |
| JPWO2018146770A1 (en) | Position control device and position control method | |
| CN107627303A (en) | A kind of PD SMC control methods based on vision servo system of the eye in structure on hand | |
| JPH1185235A (en) | Visual feedback method for machine device using image pickup unit | |
| CN110039520B (en) | Teaching and processing system based on image contrast | |
| CN111805547B (en) | Method for realizing dynamic tracking of track | |
| JP2018001393A (en) | Robot device, robot control method, program and recording medium | |
| CN114289332A (en) | Visual identification and positioning method and device for workpiece sorting and sorting system | |
| CN110581945B (en) | Control system, control device, image processing device, and storage medium | |
| JP4102386B2 (en) | 3D information restoration device | |
| JP2003089086A (en) | Robot controller | |
| CN114355556A (en) | Optical lens aligning system | |
| US20100246893A1 (en) | Method and Apparatus for Nonlinear Dynamic Estimation of Feature Depth Using Calibrated Moving Cameras | |
| JP4189445B2 (en) | Robot control method and control apparatus | |
| JP2002046087A (en) | Three-dimensional position measuring method and apparatus, and robot controller | |
| WO2020144776A1 (en) | Control device and control method | |
| CN116047440A (en) | End-to-end millimeter wave radar and camera external parameter calibration method | |
| JP3341621B2 (en) | Work positioning method | |
| JP2019212203A (en) | Three-dimensional (3d) model generation system | |
| WO2018096669A1 (en) | Laser processing device, laser processing method, and laser processing program | |
| JP7059968B2 (en) | Control device and alignment device | |
| Kinoshita et al. | Simultaneous determination of camera pose and intrinsic parameters by visual servoing | |
| CN111113394A (en) | Manipulator positioning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20040810 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| A977 | Report on retrieval |
Effective date: 20061020 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061025 |
|
| A521 | Written amendment |
Effective date: 20061222 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20070619 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20100713 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 5 Free format text: PAYMENT UNTIL: 20120713 |
|
| LAPS | Cancellation because of no payment of annual fees |