JPH1185245A - Method for controlling motion of movable object by picture and recording medium recorded with program for controlling motion of movable object by picture - Google Patents
Method for controlling motion of movable object by picture and recording medium recorded with program for controlling motion of movable object by pictureInfo
- Publication number
- JPH1185245A JPH1185245A JP9247027A JP24702797A JPH1185245A JP H1185245 A JPH1185245 A JP H1185245A JP 9247027 A JP9247027 A JP 9247027A JP 24702797 A JP24702797 A JP 24702797A JP H1185245 A JPH1185245 A JP H1185245A
- Authority
- JP
- Japan
- Prior art keywords
- image feature
- image
- time
- movable object
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 57
- 239000013598 vector Substances 0.000 claims abstract description 96
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000014509 gene expression Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、可動物体に撮像装
置を固定し、その撮像装置が撮影する画像を用いて、そ
の撮像装置が撮影する対象物体に対してあらかじめ設定
された目標軌道に沿って可動物体が運動するように制御
する方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device fixed to a movable object, and using an image picked up by the image pickup device along a target trajectory set in advance for a target object picked up by the image pickup device. And controlling the movable object to move.
【０００２】本発明は、自動車等の移動体やロボットの
マニピュレータのエンドエフェクタのように、固定され
ている対象に対してあらかじめ設定された目標軌道に沿
って運動させる場合に用いられる。例えば自動車が道路
に沿って走るように、また障害物等を避けるように自動
操縦を行なうであるとか、また作業を行おうとする対象
に対して設定された目標軌道に沿ってロボットのマニピ
ュレータを移動させることなどを可能とするものであ
る。The present invention is used for moving a fixed object along a predetermined target trajectory, such as an end effector of a mobile object such as a car or a manipulator of a robot. For example, an autopilot is performed so that a car runs along a road and avoids obstacles, etc., and a robot manipulator moves along a target trajectory set for an object to be worked on. It is possible to make it.
【０００３】[0003]
【従来の技術】可動物体に固定された撮像装置を撮影す
る画像を用いて可動物体を対象物体に対して設定した目
標軌道に沿って運動するように制御する方法として特開
平７−２４４５１９「画像による可動物体の運動制御方
法」（遠藤、武川）がある。2. Description of the Related Art Japanese Patent Application Laid-Open No. 7-244519 discloses a method for controlling a movable object to move along a target trajectory set with respect to a target object by using an image captured by an imaging device fixed to the movable object. Motion Control Method for Moving Objects "(Endo, Takekawa).
【０００４】この方法について、撮像装置としてビデオ
カメラ（以下カメラと省略）を用い、また可動物体にカ
メラが固定してあることからカメラの運動を制御する方
法として説明する。[0004] This method will be described as a method of using a video camera (hereinafter abbreviated as camera) as an imaging device and controlling the movement of the camera since the camera is fixed to a movable object.
【０００５】この方法のフローチャートを図５に示す。
この方法は教示処理と制御処理に分けられる。最初の処
理は教示処理であり、対象物体に対して設定された目標
軌道をカメラの運動制御用のパラメタに変換する処理で
ある。続く処理は制御処理であり、教示処理で求めたカ
メラの運動制御用のパラメタを元に実際にカメラの運動
を制御する処理を行なう。FIG. 5 shows a flowchart of this method.
This method is divided into a teaching process and a control process. The first process is a teaching process in which a target trajectory set for a target object is converted into parameters for camera motion control. Subsequent processing is control processing, in which processing for actually controlling the movement of the camera is performed based on the parameters for controlling the movement of the camera obtained in the teaching processing.
【０００６】まず、教示処理について説明する。ステッ
プ２０１ではまず３次元空間内でカメラが対象物体に対
してどのような運動をするかを目標軌道として設定す
る。次に、ステップ２０２ではステップ２０１で設定さ
れた目標軌道に沿ってカメラを運動させ、運動中の各時
刻ｊ（ｊ＝０，…，Ｎ）にカメラが撮影するＮ＋１枚の
画像を求める。次のステップ２０３ではステップ２０２
で求めた各画像から画像処理等により画像特徴を抽出す
る。次のステップ２０４ではステップ２０３で求めた画
像特徴から参照画像特徴ベクトルFirst, the teaching process will be described. In step 201, first, what kind of motion the camera makes with respect to the target object in the three-dimensional space is set as a target trajectory. Next, in step 202, the camera is moved along the target trajectory set in step 201, and N + 1 images captured by the camera at each time j (j = 0,..., N) during the movement are obtained. In the next step 203, step 202
An image feature is extracted from each image obtained in the above by image processing or the like. In the next step 204, a reference image feature vector is obtained from the image feature obtained in step 203.
【０００７】[0007]
【外１】 を求める。最後のステップ２０５ではステップ２０４で
求めた参照画像特徴ベクトル[Outside 1] Ask for. In the last step 205, the reference image feature vector obtained in step 204
【０００８】[0008]
【外２】 と重み行列Ｑj （ｊ＝１，…，Ｎ），Ｈj （ｊ＝０，
…，Ｎ−１）からフィードバック行列Ｒj ，Ｓj （ｊ＝
０，…，Ｎ−１）を求める。[Outside 2] , And a weight matrix Q j (j = 1,..., N), H j (j = 0,
, N−1), the feedback matrices R j , S j (j =
0,..., N-1).
【０００９】次に、制御処理について説明する。まずス
テップ２０６により教示処理で求めた参照画像特徴ベク
トルNext, the control processing will be described. First, the reference image feature vector obtained by the teaching process in step 206
【００１０】[0010]
【外３】 およびフィードバック行列Ｒj ，Ｓj （ｊ＝０，…，Ｎ
−１）を読み込んで記憶しておく。次にステップ２０７
では時刻を０にリセットする。次にステップ２０８では
カメラが撮影した画像から画像処理等により画像特徴を
抽出し、その画像特徴から画像特徴ベクトル[Outside 3] And feedback matrices R j , S j (j = 0,..., N
-1) is read and stored. Next, step 207
Then, the time is reset to 0. Next, in step 208, an image feature is extracted from the image captured by the camera by image processing or the like, and an image feature vector is extracted from the image feature.
【００１１】[0011]
【外４】 を求める。次にステップ２０９ではステップ２０８で求
めた[Outside 4] Ask for. Next, in step 209, the value obtained in step 208 is obtained.
【００１２】[0012]
【外５】 を制御則[Outside 5] The control law
【００１３】[0013]
【外６】 に代入しカメラの運動制御ベクトル[Outside 6] To the camera motion control vector
【００１４】[0014]
【外７】 を求める。次にステップ２１０ではステップ２０９で求
めたカメラの運動制御ベクトル[Outside 7] Ask for. Next, at step 210, the motion control vector of the camera obtained at step 209
【００１５】[0015]
【外８】 に従ってカメラを運動させる。次にステップ２１１では
時刻がＮかどうか判断し、時刻がＮならば終了、Ｎでな
ければステップ２１２で時刻を１進めた後ステップ２０
８に戻り、処理を続ける。[Outside 8] Move the camera according to. Next, in step 211, it is determined whether or not the time is N. If the time is N, the processing is terminated.
Return to step 8 and continue the process.
【００１６】以上の処理により、カメラが運動する目標
軌道を、対象物体とカメラの配置関係で決定される画像
から抽出した時系列の参照画像特徴ベクトルで表現し、
それによってカメラの運動を制御するため、対象物体に
対して設定された軌道に沿ってカメラを運動させること
が可能になる。これによって運動制御時に、カメラに対
する対象物体の位置姿勢が異なる場合でも、またカメラ
が取り付けられた可動物体の初期状態の位置姿勢が異な
る場合でも、対象物体に対して設定された軌道に沿って
カメラが運動するように制御することが可能になる。By the above processing, the target trajectory on which the camera moves is represented by a time-series reference image feature vector extracted from an image determined by the positional relationship between the target object and the camera.
Thereby, since the movement of the camera is controlled, the camera can be moved along a trajectory set with respect to the target object. This allows the camera to move along the trajectory set for the target object even if the position and orientation of the target object with respect to the camera are different during motion control, and even if the position and orientation of the movable object with the camera in the initial state are different. Can be controlled to exercise.
【００１７】[0017]
【発明が解決しようとする課題】しかしこの従来の方法
には、カメラが運動すべき目標軌道を表現する参照画像
特徴ベクトルHowever, this conventional method includes a reference image feature vector representing a target trajectory to be moved by a camera.
【００１８】[0018]
【外９】 が全時間（ｊ＝０，…，Ｎ）にわたって連続でなければ
ならないという制約がある。すなわち参照画像特徴ベク
トルを構成する複数の画像特徴の全てが最初から最後ま
で連続して取得できるような目標軌道しか与えることが
できない。[Outside 9] Must be continuous over the entire time (j = 0,..., N). That is, only a target trajectory that allows all of a plurality of image features constituting the reference image feature vector to be continuously obtained from the beginning to the end can be given.
【００１９】このため例えばカメラの視野範囲を越える
ような広い範囲にわたってカメラを動かそうとしたり、
カメラの運動中に別の物体などに隠されるなどして途中
で参照画像特徴ベクトルを構成する画像特徴の一部が求
められなくなるような目標軌道を与えることはできなか
った。For this reason, for example, an attempt is made to move the camera over a wide range beyond the field of view of the camera,
It has not been possible to provide a target trajectory that makes it impossible to obtain part of the image features constituting the reference image feature vector on the way, such as being hidden by another object during the movement of the camera.
【００２０】これは、従来の方法ではカメラの動きに対
する画像特徴の変化の関係を記述している行列が固定さ
れているため途中で最初に設定したものと異なる画像特
徴に変更することができないためであった。This is because in the conventional method, the matrix describing the relationship between the change of the image feature and the movement of the camera is fixed, so that it is not possible to change the image feature different from the one initially set in the middle. Met.
【００２１】本発明の目的は、目標軌道にしたがってカ
メラを運動させている途中で画像特徴が切り替わるよう
な参照画像特徴ベクトルを与えることが可能な、可動物
体の運動の画像による制御方法および可動物体の運動の
画像による制御プログラムを記録した記録媒体を提供す
ることである。An object of the present invention is to provide a method for controlling the motion of a movable object by using an image, which can provide a reference image feature vector in which the image feature is switched while the camera is moving along a target trajectory. It is an object of the present invention to provide a recording medium in which a control program based on an image of the movement of a person is recorded.
【００２２】[0022]
【課題を解決するための手段】上記目的を達成するため
に、本発明の可動物体の運動の画像による制御方法は、
対象物体に対してあらかじめ設定された可動物体の目標
軌道から参照画像特徴ベクトルを求める第１の段階と、
参照画像特徴ベクトルを構成する画像特徴が切り替えら
れたかどうかを検出し、画像特徴が切り替えられたかど
うかという情報により画像特徴切り替え行列を生成する
第２の段階と、第１の段階で求められた参照画像特徴ベ
クトルと第２の段階で求められた画像特徴切り替え行列
を元に制御時フィードバック行列を求める第３の段階
と、第３の段階で求められた制御時フィードバック行列
に基づき運動制御ベクトルを求め、該運動制御ベクトル
に従って前記可動物体の運動を制御する第４の段階を有
する。In order to achieve the above object, a method for controlling the motion of a movable object by using an image according to the present invention comprises:
A first step of obtaining a reference image feature vector from a preset target trajectory of the movable object with respect to the target object;
A second step of detecting whether an image feature constituting the reference image feature vector has been switched, and generating an image feature switching matrix based on information indicating whether the image feature has been switched; and a reference obtained in the first step. A third stage for obtaining a control feedback matrix based on the image feature vector and the image feature switching matrix obtained in the second stage; and a motion control vector based on the control feedback matrix obtained in the third stage. And controlling the motion of the movable object according to the motion control vector.
【００２３】本方法は離散時間システムを仮定し、目標
軌道に沿った運動の開始時刻を０、終了時刻をＮ（Ｎは
正の整数）と設定する。This method assumes a discrete-time system, and sets the start time of the movement along the target trajectory to 0 and the end time to N (N is a positive integer).
【００２４】まず、第１の段階について説明する。この
段階は参照画像特徴ベクトルを求める段階である。First, the first stage will be described. In this stage, a reference image feature vector is obtained.
【００２５】可動物体が対象物体に対してどのような運
動をするかが３次元空間内の目標軌道としてあらかじめ
与えられているとする。この軌道は可動物体の位置だけ
でなく、可動物体がどの方向を向いているかを表す可動
物体の姿勢も含むものである。例えば以下のベクトルで
可動物体の軌道は表現される。It is assumed that the type of movement of the movable object with respect to the target object is given in advance as a target trajectory in a three-dimensional space. This trajectory includes not only the position of the movable object, but also the attitude of the movable object indicating in which direction the movable object is facing. For example, the trajectory of a movable object is represented by the following vector.
【００２６】[0026]
【数１】 ｘj ，ｙj ，ｚj は時刻ｊにおける３次元空間での位
置、θj ，φj ，ψj は時刻ｊにおける３次元空間での
姿勢を表す。(Equation 1) x j , y j , and z j represent positions in the three-dimensional space at time j, and θ j , φ j , and ψ j represent postures in the three-dimensional space at time j.
【００２７】前記目標軌道に沿って可動物体を運動させ
る時、その可動物体に固定された撮像装置が各時刻ｊ
（ｊ＝０，…，Ｎ）につき１枚づつ画像を撮影する。そ
の結果として運動終了時にはＮ＋１枚の画像が得られ
る。When the movable object is moved along the target trajectory, the imaging device fixed to the movable object moves at each time j.
One image is photographed for each (j = 0,..., N). As a result, N + 1 images are obtained at the end of the exercise.
【００２８】得られた画像の各々から画像処理等により
画像特徴を求める。画像特徴の例としては点、エッヂ、
領域などがある。画像特徴をその特徴量からなる画像特
徴量ベクトルImage characteristics are obtained from each of the obtained images by image processing or the like. Examples of image features are points, edges,
Area. Image feature vector consisting of image features
【００２９】[0029]
【外１０】 で表す。画像特徴として例えば点を用いた場合、画像特
徴量ベクトルはその点の画像上での座標（Ｘ，Ｙ）によ
って[Outside 10] Expressed by For example, when a point is used as an image feature, the image feature vector is represented by the coordinates (X, Y) of the point on the image.
【００３０】[0030]
【外１１】 と表すことができる。ここで、右肩のＴは転置を表す。
一般に１枚の画像から画像特徴は複数個求められるの
で、１枚の画像内に画像特徴がｍ個ある場合、それぞれ[Outside 11] It can be expressed as. Here, T on the right shoulder indicates transposition.
In general, a plurality of image features are obtained from one image. Therefore, if there are m image features in one image,
【００３１】[0031]
【外１２】 と表す。[Outside 12] It expresses.
【００３２】さらに、１枚の画像から求められた複数の
画像特徴をまとめて扱うため以下のような画像特徴ベク
トルFurther, in order to collectively handle a plurality of image features obtained from one image, the following image feature vector is used.
【００３３】[0033]
【外１３】 を定義する。[Outside 13] Is defined.
【００３４】[0034]
【数２】 時刻０，１，…，Ｎにおける各画像から画像特徴ベクト
ルを求めることにより、時系列の画像特徴ベクトル(Equation 2) By obtaining an image feature vector from each image at time 0, 1,..., N, a time-series image feature vector
【００３５】[0035]
【外１４】 が求まる。この画像特徴ベクトルは可動物体の制御時に
参照するために用いるので参照画像特徴ベクトルと呼び[Outside 14] Is found. Since this image feature vector is used for reference when controlling a movable object, it is called a reference image feature vector.
【００３６】[0036]
【外１５】 と表す。[Outside 15] It expresses.
【００３７】第２の段階は第１の段階で求められた参照
画像特徴ベクトルを構成する画像特徴が切り替えられた
かどうかを検出し、それに基づいて画像特徴切り替え行
列を生成する段階である。The second step is a step of detecting whether or not the image features constituting the reference image feature vector obtained in the first step have been switched, and generating an image feature switching matrix based on the detection.
【００３８】画像特徴が切り替えられたかどうかの検出
は、時刻ｊにおいて画像から抽出した画像特徴と時刻ｊ
−１において画像から抽出した画像特徴を比較すること
により行う。Whether or not the image feature has been switched is determined by comparing the image feature extracted from the image at time j with the time j
This is performed by comparing the image features extracted from the image in -1.
【００３９】次に、時刻ｊで画像特徴が切り替わったこ
とを表す画像特徴切り替え行列Next, an image feature switching matrix indicating that the image features have been switched at time j
【００４０】[0040]
【外１６】 を以下のように生成する。[Outside 16] Is generated as follows.
【００４１】[0041]
【数３】 ただし、この零行列、単位行列は対応する画像特徴量ベ
クトル(Equation 3) Here, the zero matrix and the unit matrix are the corresponding image feature vectors.
【００４２】[0042]
【外１７】 の次元数と同じ次数を持つ正方行列である。[Outside 17] Is a square matrix with the same order as the dimension of.
【００４３】参照画像特徴ベクトルを構成する２次元の
画像特徴量ベクトルが例えば４個存在するとしてIt is assumed that there are, for example, four two-dimensional image feature vectors constituting the reference image feature vector.
【００４４】[0044]
【外１８】 時刻ｊ−１から時刻ｊの間に[Outside 18] Between time j-1 and time j
【００４５】[0045]
【外１９】 が切り替わったとする場合[Outside 19] Is switched
【００４６】[0046]
【外２０】 は以下のようになる。[Outside 20] Is as follows.
【００４７】[0047]
【数４】 第３の段階は第１の段階で求められた参照画像特徴ベク
トルと第２の段階で求められた画像特徴切り替え行列を
元に、制御処理において使用するフィードバック行列を
求める段階である。(Equation 4) The third step is a step of obtaining a feedback matrix to be used in the control processing based on the reference image feature vector obtained in the first step and the image feature switching matrix obtained in the second step.
【００４８】まず、時刻ｊにおける可動物体の運動を運
動制御ベクトルFirst, the motion of the movable object at time j is represented by a motion control vector
【００４９】[0049]
【外２１】 で表す。この運動制御ベクトルは例えば以下のようなも
のがある。[Outside 21] Expressed by The motion control vector includes, for example, the following.
【００５０】[0050]
【数５】 ここで、ｖxj，ｖyj，ｖzjはそれぞれ可動物体を中心と
する座標系の座標軸ｘ，ｙ，ｚ軸に対する並進速度成
分、(Equation 5) Here, v xj , v yj , and v zj are translation velocity components with respect to the coordinate axes x, y, and z of the coordinate system centered on the movable object, respectively.
【００５１】[0051]
【外２２】 はそれぞれｘ，ｙ，ｚ軸まわりの回転角速度成分であ
る。[Outside 22] Are rotational angular velocity components around the x, y, and z axes, respectively.
【００５２】画像特徴ベクトルImage feature vector
【００５３】[0053]
【外２３】 と可動物体の運動制御ベクトル[Outside 23] And motion control vector of movable object
【００５４】[0054]
【外２４】 との関係は次の式で表されるとする。[Outside 24] Is expressed by the following equation.
【００５５】[0055]
【数６】 ところで、運動の制御を実際に行っている時の時刻ｊに
撮像装置が撮影する画像から得られる画像特徴ベクトル
を制御時画像特徴ベクトルと呼び、(Equation 6) By the way, an image feature vector obtained from an image captured by the imaging device at time j when exercise control is actually performed is called a control-time image feature vector,
【００５６】[0056]
【外２５】 と表すことにすると、あらかじめ対象物体に対して設定
された目標軌道に沿って可動物体が運動するためには、
制御時の時刻ｊ以降に得られる制御時画像特徴ベクトル[Outside 25] In order to move the movable object along the target trajectory set in advance for the target object,
Control image feature vector obtained after time j during control
【００５７】[0057]
【外２６】 が、あらかじめ求められている目標軌道上を可動物体が
運動中の時刻ｊ以後に撮影する画像から得られる参照画
像特徴ベクトル[Outside 26] Is a reference image feature vector obtained from an image captured after time j when the movable object is moving on the previously determined target trajectory.
【００５８】[0058]
【外２７】 に一致する必要がある。そこでこれらの画像特徴ベクト
ル[Outside 27] Must match. So these image feature vectors
【００５９】[0059]
【外２８】 が一致するように運動制御ベクトル[Outside 28] Motion control vector so that
【００６０】[0060]
【外２９】 を決定し、その運動制御ベクトル[Outside 29] Determine the motion control vector
【００６１】[0061]
【外３０】 に従って可動物体の運動を制御すれば、可動物体はあら
かじめ対象物体に対して設定された目標軌道に沿って運
動するように制御されると考えられる。ただし、可動物
体の速度などの運動能力には限界があるので運動制御ベ
クトルの大きさが過大にならないように抑制する必要が
ある。これらの点を考慮すると、この制御は時刻ｊにお
いて次式の評価関数σj を最小化する運動制御ベクトル[Outside 30] If the motion of the movable object is controlled in accordance with the following formula, it is considered that the movable object is controlled to move along a target trajectory set in advance with respect to the target object. However, since there is a limit in the movement ability such as the speed of the movable object, it is necessary to suppress the size of the movement control vector from becoming excessive. Considering these points, this control is a motion control vector that minimizes the following evaluation function σ j at time j.
【００６２】[0062]
【外３１】 を求める問題に帰着される。[Outside 31] Is reduced to the problem of seeking.
【００６３】[0063]
【数７】 ここでＱi ，Ｈi-1 は正値対称行列であり、制御の特性
を決定する重みを表している。上式の第１項は時刻ｉに
おける制御時画像特徴ベクトル(Equation 7) Here, Q i and H i-1 are positive value symmetric matrices, and represent weights that determine control characteristics. The first term in the above equation is the control-time image feature vector at time i.
【００６４】[0064]
【外３２】 と目標とする参照画像特徴ベクトル[Outside 32] And target reference image feature vector
【００６５】[0065]
【外３３】 との誤差の２乗を表し、第２項は可動物体の運動エネル
ギーを表している。この評価関数を最小化することによ
り第１項から時刻ｊ以後の制御時画像特徴ベクトル[Outside 33] And the second term represents the kinetic energy of the movable object. By minimizing this evaluation function, the control-time image feature vector from the first term onward after time j
【００６６】[0066]
【外３４】 が目標とする参照画像特徴ベクトル[Outside 34] Reference image feature vector
【００６７】[0067]
【外３５】 に近付き一致することが期待され、一方第２項から運動
制御ベクトル[Outside 35] , While the motion control vector from the second term
【００６８】[0068]
【外３６】 が過大になり可動物体の最大速度などといった運動能力
を越えないように制限される。[Outside 36] Is excessively large, and is limited so as not to exceed the motor ability such as the maximum speed of the movable object.
【００６９】以上の準備から式（７）で与えられた評価
関数を最小にする運動制御ベクトルFrom the above preparation, a motion control vector that minimizes the evaluation function given by equation (7)
【００７０】[0070]
【外３７】 を求めるために必要なフィードバック行列Ｒj ，Ｓj は
次のようにして求められる（参考文献「現代制御論」，
pp.405-411, Julius T.Tou著，中村嘉平，伊藤正美，松
尾強 共訳，コロナ社）。[Outside 37] The feedback matrices R j and S j required to obtain are obtained as follows (reference literature “Modern control theory”,
pp.405-411, written by Julius T. Tou, co-translated by Kahei Nakamura, Masami Ito, and Tsuyoshi Matsuo, Corona).
【００７１】まず、行列Ｑj ，Ｈj （ｊ＝０，１，…，
Ｎ）を制御に要求される条件から適当に定めておく。First, the matrices Q j , H j (j = 0, 1,...,
N) is appropriately determined from conditions required for control.
【００７２】ここで、Ｒj 及びＳj はHere, R j and S j are
【００７３】[0073]
【外３８】 を初期値とし、式（８）から式（１２）を漸化的に用い
ることによりＲN-1 ，Ｓ N-1 からＲ0 ，Ｓ0 まで降順に
求めることができる。[Outside 38]Is used as an initial value, and Equations (8) to (12) are used recursively.
RN-1 , S N-1 To R0 , S0 Descending until
You can ask.
【００７４】[0074]
【数８】 このように式（１０），（１１），（１２）で画像特徴
切り替え行列(Equation 8) As described above, the image feature switching matrix is calculated by Expressions (10), (11) and (12).
【００７５】[0075]
【外３９】 をかけてやることにより画像特徴切り替わり時に切り替
わった特徴点の座標に対応する。[Outside 39] , The coordinates of the feature points switched at the time of image feature switching.
【００７６】[0076]
【外４０】 の要素を０にすることで時刻ｊから特徴点が切り替わっ
たものとして計算が継続されることになる。[Outside 40] Is set to 0, the calculation is continued as if the feature point was switched from time j.
【００７７】最後に、第４の段階について説明する。Finally, the fourth stage will be described.
【００７８】これ以降の処理は、可動物体の運動の制御
を行うための制御処理である。The subsequent processing is control processing for controlling the movement of the movable object.
【００７９】まず、第１の段階で求めた参照画像特徴ベ
クトルFirst, the reference image feature vector obtained in the first stage
【００８０】[0080]
【外４１】 と第３の段階で求めたフィードバック行列Ｒj ，Ｓj
（ｊ＝０，…，Ｎ−１）を読み込み記憶しておく。[Outside 41] And the feedback matrices R j and S j obtained in the third stage
(J = 0,..., N−1) are read and stored.
【００８１】次に、以下の式にしたがって時刻ｊの可動
物体の運動制御ベクトルNext, the motion control vector of the movable object at time j is calculated according to the following equation.
【００８２】[0082]
【外４２】 を求め、その運動制御ベクトル[Outside 42] And its motion control vector
【００８３】[0083]
【外４３】 に従って可動物体の運動を制御する。[Outside 43] Control the motion of the movable object according to
【００８４】[0084]
【数９】 これによって参照画像特徴ベクトルを構成する画像特徴
の一部または全部が途中で切り替わるような参照画像特
徴ベクトルを与え、それが表現する目標軌道を追従する
ように制御することが可能になる。(Equation 9) As a result, it is possible to provide a reference image feature vector in which part or all of the image features constituting the reference image feature vector are switched on the way, and to control the target trajectory represented by the reference image feature vector to follow.
【００８５】[0085]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。Next, embodiments of the present invention will be described with reference to the drawings.
【００８６】図１を参照すると、本発明の一実施形態の
可動物体の運動の画像による制御装置は、可動物体５に
固定された撮像装置としてのビデオカメラ（以下単に
「カメラ」と称す）１と、対象物体６に対する可動物体
５の位置および姿勢の目標軌道等を入力するための入力
装置２と、図３に示すような、可動物体５の運動制御プ
ログラムを記録した記録媒体（フレキシブルディスク、
ＣＤ−ＲＯＭ等）３と、運動制御プログラムにしたがっ
て可動物体５を前記目標軌道に従って運動させるデータ
処理装置４で構成されている。Referring to FIG. 1, a control device based on an image of the motion of a movable object according to an embodiment of the present invention includes a video camera (hereinafter simply referred to as a “camera”) 1 as an imaging device fixed to a movable object 5. And an input device 2 for inputting a target trajectory or the like of the position and orientation of the movable object 5 with respect to the target object 6, and a recording medium (flexible disk,
And a data processing device 4 for moving the movable object 5 in accordance with the target trajectory in accordance with the motion control program.
【００８７】また、可動物体５に対してカメラ１は固定
されているため、以下では可動物体５の運動とカメラ１
の運動は同じであるとしてカメラ１の運動を制御するも
のとして説明する。Since the camera 1 is fixed to the movable object 5, the movement of the movable object 5 and the camera 1 will be described below.
Are described as controlling the movement of the camera 1 assuming that the movement is the same.
【００８８】また、画像特徴としてカメラ１で撮影する
対象物体６の特徴点がカメラ１からの画像に映った点を
用いた場合を例に説明する。この画像に映った点のこと
を画像特徴点と呼ぶ。対象物体６上に設定する特徴点と
しては対象物体６の頂点や対象物体６上にある突起や
穴、描かれた点などを利用することができる。The case where the feature points of the target object 6 photographed by the camera 1 appear in the image from the camera 1 is used as an image feature will be described as an example. Points appearing in this image are called image feature points. As the feature points set on the target object 6, vertices of the target object 6, projections and holes on the target object 6, drawn points, and the like can be used.
【００８９】カメラ１で撮影する対象物体６のある平面
上に、同一直線上にない４点以上のｎ点の特徴点Four or more n feature points that are not on the same straight line on a plane where the object 6 to be photographed by the camera 1
【００９０】[0090]
【外４４】 を設定する。次に、カメラ１のモデルを図２のように設
定する。図２に示すようにカメラ１の光軸に沿ってｚ軸
を設定し、カメラ１の焦点距離をｌとする。次にカメラ
１で撮影する対象物体６上の特徴点[Outside 44] Set. Next, the model of the camera 1 is set as shown in FIG. As shown in FIG. 2, the z-axis is set along the optical axis of the camera 1, and the focal length of the camera 1 is 1. Next, feature points on the target object 6 photographed by the camera 1
【００９１】[0091]
【外４５】 が画像に映った画像特徴点を[Outside 45] Image feature points reflected in the image
【００９２】[0092]
【外４６】 と表し、その画像面座標系での座標を（Ｘi ，Ｙi ）と
表す。[Outside 46] And the coordinates in the image plane coordinate system are represented as (X i , Y i ).
【００９３】この時、画像特徴ベクトルをAt this time, the image feature vector is
【００９４】[0094]
【外４７】 、カメラ１の運動制御ベクトルを[Outside 47] And the motion control vector of camera 1
【００９５】[0095]
【外４８】 とする。Ｖx ，Ｖy ，Ｖz はカメラ１のｘ，ｙ，ｚ各座
標軸に沿った並進速度、[Outside 48] And V x , V y , and V z are translation speeds of the camera 1 along x, y, and z coordinate axes,
【００９６】[0096]
【外４９】 はｘ，ｙ，ｚ各座標軸周りの回転角速度である。[Outside 49] Is the rotational angular velocity about each of the x, y, and z coordinate axes.
【００９７】すると、式（６）の行列Ａj は次式のよう
に表される。Then, the matrix A j in the equation (6) is represented by the following equation.
【００９８】[0098]
【数１０】 また、式（６）の行列Ｇj は次式のような近似式で表さ
れる。(Equation 10) Further, the matrix G j in Expression (6) is represented by an approximate expression such as the following expression.
【００９９】[0099]
【数１１】 ここで、ｚij，Ｘij，Ｙijはそれぞれ時刻ｊにおける特
徴点[Equation 11] Here, z ij , X ij , and Y ij are characteristic points at time j, respectively.
【０１００】[0100]
【外５０】 のｚ座標及びその特徴点が画像に映った画像特徴点の座
標（Ｘi ，Ｙi ）である。[Outside 50] Are the coordinates (X i , Y i ) of the image feature point whose feature point is reflected in the image.
【０１０１】次に、本実施形態の処理の流れを図３によ
り説明する。Next, the flow of the processing of this embodiment will be described with reference to FIG.
【０１０２】本実施形態の処理は、制御を行なうための
準備である教示処理（図３（１））と実際の制御を行な
う制御処理（図３（２））に分かれる。The process according to the present embodiment is divided into a teaching process (FIG. 3 (1)) as a preparation for performing the control and a control process (FIG. 3 (2)) for performing the actual control.
【０１０３】まず、教示処理について説明する。First, the teaching process will be described.
【０１０４】まず、ステップ１０１で最初にカメラ１が
対象物体６に対してどのような運動をするかを表す３次
元空間内での目標軌道を入力装置２から設定する。この
目標軌道は時刻ｊの関数として表される。First, in step 101, a target trajectory in a three-dimensional space indicating how the camera 1 moves with respect to the target object 6 is first set from the input device 2. This target trajectory is represented as a function of time j.
【０１０５】これは対象物体６の形状情報（焦点距離や
画像中心座標）、対象物体６とカメラ１がどのような幾
何的な関係にあるかを示す配置情報およびカメラ１の各
種パラメータに基づき計算によって軌道を生成する方
法、あるいは実際に移動物体を３次元空間で運動させ、
その運動した軌跡を計測することにより軌道を設定する
方法がある。また、この２つを合わせて、最初に対象物
体６の形状情報、対象物体６とカメラ１がどのような幾
何的な関係にあるかを示す配置情報およびカメラ１の各
種パラメータに基づいて計算により仮の目標軌道を生成
し、次にその仮目標軌道に沿ってカメラ１を運動させな
がら適宜修正し、その修正された運動の軌跡を計測する
ことにより目標軌道を設定する方法がある。This is calculated based on the shape information (focal length and image center coordinates) of the target object 6, arrangement information indicating what geometrical relationship the target object 6 has with the camera 1, and various parameters of the camera 1. A method of generating a trajectory by moving a moving object in a three-dimensional space,
There is a method of setting a trajectory by measuring the trajectory that has moved. In addition, by combining the two, the shape information of the target object 6, the arrangement information indicating the geometric relationship between the target object 6 and the camera 1, and various parameters of the camera 1 are calculated first. There is a method in which a temporary target trajectory is generated, and then the camera 1 is appropriately corrected while moving along the temporary target trajectory, and the target trajectory is set by measuring the trajectory of the corrected movement.
【０１０６】次に、ステップ１０２で時刻ｊを０に設定
する。Next, at step 102, the time j is set to 0.
【０１０７】次に、ステップ１０３で時刻ｊにおける目
標軌道上の目標位置にカメラ１を運動させ、その時にカ
メラ１が撮影する時系列の画像を求める。Next, at step 103, the camera 1 is moved to a target position on the target trajectory at time j, and a time-series image taken by the camera 1 at that time is obtained.
【０１０８】次に、ステップ１０４でその画像から画像
処理により画像特徴点を抽出する。Next, at step 104, image feature points are extracted from the image by image processing.
【０１０９】次に、ステップ１０５でこの画像特徴点の
座標値から時系列の参照画像特徴ベクトルNext, in step 105, a time-series reference image feature vector is calculated from the coordinate values of the image feature points.
【０１１０】[0110]
【外５１】 を求める。[Outside 51] Ask for.
【０１１１】次に、ステップ１０６で時刻ｊにおいて求
まった画像特徴が時刻ｊ−１における画像特徴と対応し
ているかを調べ、画像特徴の切り替わりを検出する。Next, in step 106, it is checked whether the image feature obtained at time j corresponds to the image feature at time j-1, and the switching of the image feature is detected.
【０１１２】この対応を求める方法としては、時刻ｊ−
１における参照画像特徴ベクトルAs a method of obtaining this correspondence, the time j-
Reference image feature vector in 1
【０１１３】[0113]
【外５２】 を構成するｉ番目の画像特徴量ベクトル[Outside 52] The i-th image feature vector that constitutes
【０１１４】[0114]
【外５３】 に対応する画像特徴点Ｐi の周辺の画像と時刻ｊにおけ
る参照画像特徴ベクトル[Outside 53] And the reference image feature vector at time j around the image feature point P i corresponding to
【０１１５】[0115]
【外５４】 を構成するｉ番目の画像特徴量ベクトル[Outside 54] The i-th image feature vector that constitutes
【０１１６】[0116]
【外５５】 に対応する画像特徴点Ｐi の周辺画像とをパターンマッ
チング処理し、一致していればその画像特徴量は切り替
わっていない、一致しなければその画像特徴量は切り替
わっていると判定する方法がある。[Outside 55] , A pattern matching process is performed with the peripheral image of the image feature point P i corresponding to, and if they match, the image feature amount has not been switched, and if not, it has been determined that the image feature amount has been switched. .
【０１１７】次に、ステップ１０６でステップ１０５で
求めた画像特徴切り替わりの検出結果に基づいて画像特
徴点切り替え行列を生成する。Next, at step 106, an image feature point switching matrix is generated based on the image feature switching detection result obtained at step 105.
【０１１８】例えば図４で示すように画像特徴点がＰi
（ｉ＝０，…，３）の４個あり、時刻ｊ−１から時刻ｊ
にかけてＰ0 ，Ｐ1 が切り替わったとすると、画像特徴
切り替え行列[0118] For example the image feature point as shown in Figure 4 P i
(I = 0,..., 3) from time j−1 to time j
Assuming that P 0 and P 1 are switched over to, the image feature switching matrix
【０１１９】[0119]
【外５６】 は以下のようになる。[Outside 56] Is as follows.
【０１２０】[0120]
【数１２】 次に、ステップ１０８で時刻がＮならばステップ１１０
へ、時刻がまだＮになっていなければステップ１０９で
時刻を１進めた後１０３へ戻る。(Equation 12) Next, if the time is N in step 108, step 110
If the time has not yet reached N, the time is advanced by 1 in step 109, and the process returns to 103.
【０１２１】次に、ステップ１１０について説明する。Next, step 110 will be described.
【０１２２】[0122]
【外５７】 ，あらかじめ与えておいたＱj （ｊ＝１，…，Ｎ），Ｈ
j （ｊ＝０，…，Ｎ−１）、式（１５）で与えられるＧ
j （ｊ＝０，…，Ｎ）を用いて式（８）から式（１２）
に従ってフィードバック行列Ｒj ，Ｓj （ｊ＝１，…，
Ｎ−１）を求める。[Outside 57] , Q j (j = 1,..., N), H
j (j = 0,..., N−1), G given by equation (15)
j (j = 0,..., N), the equations (8) to (12)
Feedback matrix R j, S j (j = 1 in accordance with, ...,
N-1).
【０１２３】式（７）の行列Ｑj 及びＨj は運動の制御
に要求される条件から適当に定める。例えばThe matrices Q j and H j in equation (7) are appropriately determined from the conditions required for controlling the motion. For example
【０１２４】[0124]
【数１３】 等と定める。ただし、Ｉは単位行列である。(Equation 13) And so on. Here, I is a unit matrix.
【０１２５】Ｇj （ｊ＝０，…，Ｎ）を求める際、カメ
ラ中心座標系での特徴点の奥行き値であるｚ座標の値が
必要になるが、対象物体６に対する３次元空間でのカメ
ラ１の目標軌道があらかじめ与えられていることから、
その対象物体６の幾何モデル及びカメラ１の運動する目
標軌道に基づいてそれを求めることができる。また対象
物体６に設定した最少６点または同一平面上にある最少
４点の特徴点が画像に映った画像特徴点から各特徴点の
奥行き値のｘ座標の値を計算により求めることが可能で
あり、この一例として参考文献 "A new technique for
fully autonomous 3D robotics hand/eye caribratio
n", R.T.Tsai and R.K.Lenz, IEEE Transactions of Ro
botics and Automation, Vol.5, No.3, pp.345-358.の
方法がある。When calculating G j (j = 0,..., N), the value of the z coordinate which is the depth value of the feature point in the camera center coordinate system is required. Since the target trajectory of camera 1 is given in advance,
It can be obtained based on the geometric model of the target object 6 and the moving target trajectory of the camera 1. Further, it is possible to obtain the x-coordinate value of the depth value of each feature point from the image feature points in which at least six feature points set on the target object 6 or at least four feature points on the same plane are reflected in the image. There is an example of this in the reference "A new technique for
fully autonomous 3D robotics hand / eye caribratio
n ", RTTsai and RKLenz, IEEE Transactions of Ro
botics and Automation, Vol.5, No.3, pp.345-358.
【０１２６】次に、制御処理について説明する。Next, the control processing will be described.
【０１２７】まずステップ１１１で教示処理で求めたFirst, in step 111, the value is obtained by the teaching process.
【０１２８】[0128]
【外５８】 ，Ｒj ，Ｓj （ｊ＝０，…，Ｎ−１）を読み込み記憶し
ておく。[Outside 58] , R j , S j (j = 0,..., N−1) are read and stored.
【０１２９】次に、ステップ１１２でｊ＝０、すなわち
時刻を０とする。Next, in step 112, j = 0, that is, the time is set to 0.
【０１３０】次に、ステップ１１３で時刻ｊでのカメラ
１からの画像を求め、その画像から画像処理等によって
画像特徴点を抽出する。そしてその画像特徴点の座標値
から制御時画像特徴ベクトルNext, in step 113, an image from the camera 1 at the time j is obtained, and image feature points are extracted from the image by image processing or the like. Then, the control-time image feature vector is obtained from the coordinate values of the image feature point.
【０１３１】[0131]
【外５９】 を求める。[Outside 59] Ask for.
【０１３２】次に、ステップ１１４では制御時画像特徴
ベクトルNext, at step 114, the control image feature vector
【０１３３】[0133]
【外６０】 を式（１３）に代入し、カメラ１の運動制御ベクトル[Outside 60] Into the equation (13) to obtain the motion control vector of the camera 1.
【０１３４】[0134]
【外６１】 を求める。[Outside 61] Ask for.
【０１３５】次に、ステップ１１５では運動制御ベクト
ルNext, at step 115, the motion control vector
【０１３６】[0136]
【外６２】 に従ってカメラ１を制御する。[Outside 62] The camera 1 is controlled according to the following.
【０１３７】次に、ステップ１１６で時刻がＮならば制
御処理を終了し、時刻がまだＮになっていなければステ
ップ１１７で時刻を１進めた後ステップ１１３へ戻る。Next, if the time is N in step 116, the control process is terminated. If the time is not yet N, the time is advanced by 1 in step 117 and the process returns to step 113.
【０１３８】[0138]
【発明の効果】以上説明したように本発明は、可動物体
が運動する軌道を、可動物体がその軌道に沿って運動し
た時に撮像装置が撮影する画像から求めた時系列の画像
特徴ベクトルで表現し、制御時に撮像装置が撮影する画
像から求めた画像特徴によって可動物体の運動を制御す
る方法において、目標軌道を表す参照画像特徴ベクトル
を構成する一部の画像特徴が別の画像特徴に切り替わる
ような参照画像特徴ベクトルを与えることが可能にな
り、これにより教示処理中に撮像装置によって撮影され
た画像内に含まれるノイズによって一部の画像特徴が求
められなかった場合や、別の物体によって対象物体が隠
され一部の画像特徴が見えなくなってしまった場合、ま
た画像特徴が撮像装置の撮影可能範囲を越えてしまって
見えなくなってしまった場合でも、その時に取得可能な
他の画像特徴を新たに設定することによりそのような目
標軌道を追従させる可動物体の運動の制御が可能にな
る。As described above, according to the present invention, the trajectory of a moving object is represented by a time-series image feature vector obtained from an image photographed by an imaging device when the moving object moves along the trajectory. Then, in the method of controlling the movement of the movable object based on the image feature obtained from the image captured by the imaging device at the time of control, some image features constituting a reference image feature vector representing a target trajectory are switched to another image feature. This makes it possible to provide a simple reference image feature vector, so that some of the image features cannot be obtained due to noise contained in the image taken by the imaging device during the teaching process, If an object is hidden and some image features become invisible, or if image features exceed the range of the image capture device and become invisible. Even if, it is possible to control the movement of the movable object to follow such target trajectory by newly set the other image features that can be acquired at that time.
【図１】本発明の一実施形態の画像による可動物体の運
動制御装置の構成図である。FIG. 1 is a configuration diagram of a motion control apparatus for a movable object based on an image according to an embodiment of the present invention.
【図２】カメラモデルを示す図である。FIG. 2 is a diagram showing a camera model.
【図３】図１の実施形態の処理のフローチャートであ
る。FIG. 3 is a flowchart of a process of the embodiment of FIG. 1;
【図４】画像特徴点の切り替えの例を示す図である。FIG. 4 is a diagram illustrating an example of switching image feature points.
【図５】従来の方法を示すフローチャートである。FIG. 5 is a flowchart showing a conventional method.
１ カメラ ２ 入力装置 ３ 記録媒体 ４ データ処理装置 ５ 可動物体 ６ 対象物体 １０１〜１１７ ステップ Reference Signs List 1 camera 2 input device 3 recording medium 4 data processing device 5 movable object 6 target object 101-117 steps
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ // Ｇ０５Ｄ 1/02 Ｇ０６Ｆ 15/70 ４６０Ｂ ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 6 Identification symbol FI // G05D 1/02 G06F 15/70 460B
Claims (10)
得られる対象物体の画像情報と、あらかじめ与えられた
前記対象物体に対する前記可動物体の位置及び姿勢の目
標軌道を基に決定される参照画像とを比較して、前記可
動物体を前記目標軌道に沿って運動させる、可動物体の
運動の画像による制御方法であって、 前記対象物体に対してあらかじめ設定された前記目標軌
道に沿って前記可動物体を運動させ、その時に前記撮像
装置が撮影する時系列の画像から参照画像特徴ベクトル
を求める第１の段階と、 前記参照画像特徴ベクトルを構成する画像特徴が切り替
えられたかどうかを検出し、画像特徴が切り替えられた
かどうかという情報により画像特徴切り替え行列を求め
る第２の段階と、 第１の段階で求められた前記参照画像特徴ベクトルと第
２の段階で求められた前記画像特徴切り替え行列を元に
制御時フィードバック行列を求める第３の段階と、 第１の段階で求められた前記参照画像特徴ベクトルと第
３の段階で求められた前記制御時フィードバック行列と
制御時に求まる制御時画像特徴ベクトルに基づき運動制
御ベクトルを求め、該運動制御ベクトルに従って前記可
動物体の運動を制御する第４の段階を有する、可動物体
の運動の画像による制御方法。An image information of a target object obtained from an imaging device attached to a movable object, a reference image determined based on a target trajectory of a position and a posture of the movable object with respect to the target object given in advance, and A control method based on an image of the motion of the movable object, wherein the movable object is moved along the target trajectory, and the movable object is moved along the target trajectory preset with respect to the target object. A first step of obtaining a reference image feature vector from a time-series image captured by the imaging device at that time; and detecting whether an image feature constituting the reference image feature vector has been switched, A second step of obtaining an image feature switching matrix based on information as to whether or not the reference image feature vector has been switched, and the reference image feature vector obtained in the first step. And a third step of obtaining a control feedback matrix based on the image feature switching matrix obtained in the second step and the reference image feature vector obtained in the first step. Obtaining a motion control vector based on the obtained control time feedback matrix and the control time image feature vector obtained at the time of control, and controlling the motion of the movable object according to the motion control vector. Control method.
情報、前記撮像装置の各種パラメタおよび前記対象物体
と前記撮像装置の配置情報に基づき、前記目標軌道を前
記可動物体が運動した時に前記撮像装置が撮影する時系
列の画像を計算により推定して求め、その時系列の画像
から前記参照画像特徴ベクトルを求める請求項１記載の
可動物体の運動の画像による制御方法。2. The method according to claim 1, wherein the first step is based on shape information of the target object, various parameters of the imaging device, and arrangement information of the target object and the imaging device, when the movable object moves along the target trajectory. 2. The method according to claim 1, wherein a time-series image captured by the imaging device is estimated and calculated, and the reference image feature vector is calculated from the time-series image.
に前記目標軌道に沿って運動させ、前記撮像装置が撮影
する実際の時系列の画像から前記参照画像特徴ベクトル
を求める請求項１記載の可動物体の運動の画像による制
御方法。3. The method according to claim 1, wherein in the first step, the movable object is actually moved along the target trajectory, and the reference image feature vector is obtained from an actual time-series image captured by the imaging device. A method for controlling a motion of a movable object according to the above description using an image.
特徴の周辺画像と現在時刻の前記画像特徴の周辺画像を
比較することにより画像特徴が切り替えられたかどうか
を検出する請求項１記載の可動物体の運動の画像による
制御方法。4. The method according to claim 1, wherein the second step detects whether an image feature has been switched by comparing a peripheral image of the image feature one time earlier and a peripheral image of the image feature at the current time. A method for controlling a motion of a movable object according to the above description using an image.
像特徴ベクトルおよび前記制御時画像特徴ベクトルとし
て前記対象物体上の複数の特徴点が画像上に投影された
画像特徴点の座標値からなるベクトルを用いる請求項１
から４のいずれか１項記載の可動物体の運動の画像によ
る制御方法。5. The method according to claim 1, wherein the first to fourth steps include, as the reference image feature vector and the control-time image feature vector, a plurality of feature points on the target object projected onto an image. 2. The method according to claim 1, wherein a vector is used.
5. The control method according to any one of claims 1 to 4, wherein the motion of the movable object is imaged.
得られる対象物体の画像情報と、あらかじめ与えられた
前記対象物体に対する前記可動物体の位置及び姿勢の目
標軌道を基に決定される参照画像とを比較して、前記可
動物体を前記目標軌道に沿って運動させる、可動物体の
運動を画像によって制御するプログラムを記録した記録
媒体であって、 前記対象物体に対してあらかじめ設定された前記目標軌
道に沿って前記可動物体を運動させ、その時に前記撮像
装置が撮影する時系列の画像から参照画像特徴ベクトル
を求める第１の処理と、 前記参照画像特徴ベクトルを構成する画像特徴が切り替
えられたかどうかを検出し、画像特徴が切り替えられた
かどうかという情報により画像特徴切り替え行列を求め
る第２の処理と、 第１の処理で求められた前記参照画像特徴ベクトルと第
２の処理で求められた前記画像特徴切り替え行列を元に
制御時フィードバック行列を求める第３の処理と、 第１の処理で求められた前記参照画像特徴ベクトルと第
３の処理で求められた前記制御時フィードバック行列と
制御時に求まる制御時画像特徴ベクトルに基づき運動制
御ベクトルを求め、該運動制御ベクトルに従って前記可
動物体の運動を制御する第４の処理を有する可動物体の
運動を画像によって制御するプログラムを記録した記録
媒体。6. An image information of a target object obtained from an imaging device attached to a movable object, and a reference image determined based on a target trajectory of a position and a posture of the movable object with respect to the target object given in advance. A moving medium that moves the movable object along the target trajectory, a recording medium that records a program for controlling the movement of the movable object by an image, wherein the target trajectory set in advance for the target object Moving the movable object along, and at that time, a first process of obtaining a reference image feature vector from a time-series image captured by the imaging device; and determining whether an image feature constituting the reference image feature vector has been switched. And a second process for obtaining an image feature switching matrix based on information indicating whether or not the image feature has been switched. A third process for obtaining a control-time feedback matrix based on the obtained reference image feature vector and the image feature switching matrix obtained in the second process; and the reference image feature vector obtained in the first process. And a fourth process of obtaining a motion control vector based on the control feedback matrix obtained in the third process and the control image feature vector obtained in the control, and controlling the motion of the movable object according to the motion control vector. A recording medium on which a program for controlling the motion of a movable object by an image is recorded.
情報、前記撮像装置の各種パラメタおよび前記対象物体
と前記撮像装置の配置情報に基づき、目標軌道を前記可
動物体が運動した時に前記撮像装置が撮影する時系列の
画像を計算により推定して求め、その時系列の画像から
前記参照画像特徴ベクトルを求めるものである請求項６
記載の記録媒体。7. The method according to claim 1, wherein the first processing is performed when the movable object moves along a target trajectory based on shape information of the target object, various parameters of the imaging device, and arrangement information of the target object and the imaging device. 7. A method according to claim 6, wherein a time-series image taken by the imaging apparatus is estimated and calculated, and the reference image feature vector is calculated from the time-series image.
The recording medium according to the above.
に目標軌道に沿って運動させ、前記撮像装置が撮影する
実際の時系列の画像から前記参照画像特徴ベクトルを求
めるものである請求項６記載の記録媒体。8. The method according to claim 1, wherein the first processing is to actually move the movable object along a target trajectory and obtain the reference image feature vector from an actual time-series image captured by the imaging device. Item 7. The recording medium according to Item 6.
特徴の周辺画像と現在時刻の前記画像特徴の周辺画像を
比較することにより画像特徴が切り替えられたかどうか
を検出するものである請求項６記載の記録媒体。9. The second process detects whether an image feature has been switched by comparing a peripheral image of the image feature one time earlier and a peripheral image of the image feature at the current time. The recording medium according to claim 6.
画像特徴ベクトルおよび前記制御時画像特徴ベクトルと
して前記対象物体上の複数の特徴点が画像上に投影され
た画像特徴点の座標値からなるベクトルを用いるもので
ある請求項６から９のいずれか１項記載の記録媒体。10. The coordinate values of image feature points obtained by projecting a plurality of feature points on the target object onto an image as the reference image feature vector and the control-time image feature vector in the first to fourth processes. The recording medium according to any one of claims 6 to 9, which uses a vector consisting of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9247027A JPH1185245A (en) | 1997-09-11 | 1997-09-11 | Method for controlling motion of movable object by picture and recording medium recorded with program for controlling motion of movable object by picture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9247027A JPH1185245A (en) | 1997-09-11 | 1997-09-11 | Method for controlling motion of movable object by picture and recording medium recorded with program for controlling motion of movable object by picture |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1185245A true JPH1185245A (en) | 1999-03-30 |
Family
ID=17157323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9247027A Pending JPH1185245A (en) | 1997-09-11 | 1997-09-11 | Method for controlling motion of movable object by picture and recording medium recorded with program for controlling motion of movable object by picture |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1185245A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001088073A (en) * | 1999-09-16 | 2001-04-03 | Denso Corp | Appearance inspection device |
| CN107614208A (en) * | 2015-12-31 | 2018-01-19 | 深圳配天智能技术研究院有限公司 | A kind of robot control method and control device |
-
1997
- 1997-09-11 JP JP9247027A patent/JPH1185245A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001088073A (en) * | 1999-09-16 | 2001-04-03 | Denso Corp | Appearance inspection device |
| CN107614208A (en) * | 2015-12-31 | 2018-01-19 | 深圳配天智能技术研究院有限公司 | A kind of robot control method and control device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Camera-to-robot pose estimation from a single image | |
| Rambach et al. | Learning to fuse: A deep learning approach to visual-inertial camera pose estimation | |
| Lippiello et al. | Position-based visual servoing in industrial multirobot cells using a hybrid camera configuration | |
| Vadakkepat et al. | Improved particle filter in sensor fusion for tracking randomly moving object | |
| Song et al. | CAD-based pose estimation design for random bin picking using a RGB-D camera | |
| JP2003269937A (en) | Obstruction recognition device, obstruction recognition method, obstruction recognition program and mobile robot device | |
| CN111402290A (en) | Action restoration method and device based on skeleton key points | |
| CN111801198A (en) | Hand-eye calibration method, system and computer storage medium | |
| JP2003271975A (en) | Method of extracting plane, extractor therefor, program therefor, recording medium therefor, and robot system mounted with plane extractor | |
| Lippiello et al. | 3D monocular robotic ball catching with an iterative trajectory estimation refinement | |
| Hak et al. | Reverse control for humanoid robot task recognition | |
| WO2020152436A1 (en) | Mapping an environment using a state of a robotic device | |
| JP2018169660A (en) | Object attitude detection apparatus, control apparatus, robot and robot system | |
| CN113284192A (en) | Motion capture method and device, electronic equipment and mechanical arm control system | |
| Hu et al. | Real-time monocular three-dimensional motion tracking using a multithread active vision system | |
| Ogawara et al. | Acquiring hand-action models in task and behavior levels by a learning robot through observing human demonstrations | |
| Rougeaux et al. | Robust tracking by a humanoid vision system | |
| Lim et al. | Use of log polar space for foveation and feature recognition | |
| CN110722547B (en) | Vision stabilization of mobile robot under model unknown dynamic scene | |
| Srikaew et al. | Humanoid drawing robot | |
| JPH1185245A (en) | Method for controlling motion of movable object by picture and recording medium recorded with program for controlling motion of movable object by picture | |
| Torkaman et al. | Real-time visual tracking of a moving object using pan and tilt platform: A Kalman filter approach | |
| JPH07244519A (en) | Method for controlling motion of movable target by using picture | |
| CN114387462A (en) | Dynamic environment sensing method based on binocular camera | |
| Hwang et al. | Neural-network-based 3-D localization and inverse kinematics for target grasping of a humanoid robot by an active stereo vision system |