JP3512894B2 - Relative moving amount calculating apparatus and relative moving amount calculating method - Google Patents
Relative moving amount calculating apparatus and relative moving amount calculating methodInfo
- Publication number
- JP3512894B2 JP3512894B2 JP05927295A JP5927295A JP3512894B2 JP 3512894 B2 JP3512894 B2 JP 3512894B2 JP 05927295 A JP05927295 A JP 05927295A JP 5927295 A JP5927295 A JP 5927295A JP 3512894 B2 JP3512894 B2 JP 3512894B2
- Authority
- JP
- Japan
- Prior art keywords
- position information
- dimensional position
- reliability
- coordinate system
- respect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】[0001]
【産業上の利用分野】本発明は、例えば、自律移動ロボ
ットのナビゲーション等に用いられるロボットの移動量
算出、あるいは、画像検査等に用いられる検査対象の位
置・姿勢算出に用いる相対的移動量算出装置及び相対的
移動量算出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to, for example, calculation of a movement amount of a robot used for navigation of an autonomous mobile robot, or calculation of a relative movement amount used for calculation of a position / orientation of an inspection target used for image inspection or the like. The present invention relates to a device and a relative movement amount calculation method.
【０００２】[0002]
【従来の技術】近年、ＴＶカメラから得られる画像を用
いて、対象物の立体形状や、３次元位置を計測する研究
が盛んに行われている。この技術を用いることにより、
ロボットが周囲の環境に適応的に行動することが可能と
なり、また、３次元情報を用いた、より高度な画像監
視、画像検査等を行なうことが可能となる。2. Description of the Related Art In recent years, much research has been conducted on measuring the three-dimensional shape and three-dimensional position of an object using an image obtained from a TV camera. By using this technology,
The robot can act adaptively to the surrounding environment, and it is possible to perform higher-level image monitoring, image inspection, and the like using three-dimensional information.
【０００３】画像から対象の３次元位置情報を計測する
方法としては、ステレオ法と呼ばれる方法が代表的であ
り、古くから盛んに研究が行なわれている。このステレ
オ法というのは、視差のある２枚の画像を用いる手法で
あり、同一視野を撮影野とする近接して並列配置された
左右２台のカメラから得られる２枚の画像（左像および
右像）から、３次元空間中で同一点に対応する点を求
め、三角測量の原理を用いて、対象の３次元位置情報を
復元する方法である。As a method of measuring the three-dimensional position information of an object from an image, a method called a stereo method is representative and has been actively studied since ancient times. The stereo method is a method of using two images with parallax, and two images (a left image and a left image obtained from two left and right cameras that are arranged in close proximity and have the same field of view as a shooting field) are used. This is a method of finding the point corresponding to the same point in the three-dimensional space from the right image) and restoring the three-dimensional position information of the target using the principle of triangulation.
【０００４】ステレオ法等で得られる情報は、ステレオ
カメラに設定した視点座標系における３次元位置情報で
ある。ステレオ法等を用いて移動ロボットのナビゲーシ
ョンを行なう場合、得られた視点座標系における３次元
位置情報とロボットが持つ環境地図を照合し、移動ロボ
ットの移動量、あるいは、自己位置を算出することが必
要となる。The information obtained by the stereo method or the like is three-dimensional position information in the viewpoint coordinate system set in the stereo camera. When performing navigation of a mobile robot using a stereo method or the like, it is possible to compare the obtained three-dimensional position information in the viewpoint coordinate system with the environment map of the robot and calculate the amount of movement of the mobile robot or its own position. Will be needed.
【０００５】そして、これを行なうことにより、ロボッ
トが目的地までの最短経路を計算したり、より安全な経
路を選ぶことができる。また、ロボットが多視点で得ら
れた視点座標系における３次元位置情報を統合すること
により、計測精度を向上させたり、計測範囲を広げるこ
とが可能となる。この場合は、ロボットが移動しながら
静止対象物を観測し、ロボットの移動量を算出する場合
であるが、ロボットの移動と対象物の移動は相対的なも
のであるから、ロボットが静止したまま移動対象物を観
測し、その対象物の移動量を算出する場合も同様に扱う
ことが出来る。By doing this, the robot can calculate the shortest route to the destination or select a safer route. Further, by integrating the three-dimensional position information in the viewpoint coordinate system obtained by the robot from multiple viewpoints, it is possible to improve the measurement accuracy and widen the measurement range. In this case, the robot observes a stationary object while moving and calculates the amount of movement of the robot.However, since the movement of the robot and the movement of the object are relative, the robot remains stationary. The same can be applied when observing a moving object and calculating the amount of movement of the object.
【０００６】[0006]
【数１】 [Equation 1]
【０００７】[0007]
【数２】 [Equation 2]
【０００８】[0008]
【数３】 [Equation 3]
【０００９】[0009]
【数４】
であり、式（３）は非線形連立方程式になる。この方程
式は解析的には解くことが出来ないから、反復法を用い
ることにより、ロボットの対象物に対する相対的な移動
量、つまり、回転量と平行移動量を求めることが出来
る。[Equation 4] Equation (3) is a non-linear simultaneous equation. Since this equation cannot be analytically solved, it is possible to obtain the relative movement amount of the robot with respect to the object, that is, the rotation amount and the parallel movement amount by using the iterative method.
【００１０】[0010]
【発明が解決しようとする課題】以上のように、視覚セ
ンサ（撮像系）により得られた視点座標系における３次
元位置情報から、視覚センサと対象物の相対的な移動量
を求めるためには、複雑な非線形方程式を反復法により
解かねばならない。As described above, in order to obtain the relative movement amount of the visual sensor and the object from the three-dimensional position information in the viewpoint coordinate system obtained by the visual sensor (imaging system), , It is necessary to solve complicated nonlinear equations by iterative method.
【００１１】しかも、この方法はノイズに非常に敏感
で、真値に近い適切な初期値が必要であり、初期値が不
適切であれば著しく精度が低下するという問題や、反復
法を用いるため計算コストが高く、ロボットの実時間制
御を実現することが出来ないという問題があった。In addition, this method is very sensitive to noise and requires an appropriate initial value close to the true value. If the initial value is inappropriate, the accuracy will be significantly reduced, and the iterative method is used. There is a problem that the calculation cost is high and the real-time control of the robot cannot be realized.
【００１２】また、一般に３次元位置の計測誤差は、対
象までの距離が大きい場合は大きく、対象までの距離が
小さい場合は小さいという性質があり、さらに、ステレ
オ法で計測する場合には、使用するレンズの焦点距離や
カメラ間隔により３次元位置の計測誤差が変化するとい
う性質があるが、従来は、このような３次元位置の計測
誤差の性質を考慮していないため、得られる対象物の３
次元位置の精度が良くないという問題があった。Further, generally, the measurement error of the three-dimensional position is large when the distance to the object is large, and small when the distance to the object is small. Furthermore, when measuring by the stereo method, it is used. There is a property that the measurement error of the three-dimensional position changes depending on the focal length of the lens and the camera interval. However, conventionally, since the property of the measurement error of the three-dimensional position is not considered, the obtained object Three
There was a problem that the accuracy of the dimensional position was not good.
【００１３】そこで、この発明はこのような問題を解決
するためになされたものであり、自律移動体に搭載した
視覚センサの取得情報に基づいて対象物の相対的移動量
を観測するにあたり、処理は線形計算の範囲内で行な
い、しかも、３次元位置の計測誤差も考慮して、視覚セ
ンサ（撮像系）の対象物に対する相対的な移動量を高精
度に算出することが出来るようにする相対的移動量算出
装置及び相対的移動量算出方法を提供することを目的と
している。Therefore, the present invention has been made to solve such a problem, and in observing the relative movement amount of an object based on the acquired information of the visual sensor mounted on the autonomous moving body, the processing is performed. Is performed within the range of linear calculation, and the relative movement amount of the visual sensor (imaging system) with respect to the object can be calculated with high accuracy in consideration of the measurement error of the three-dimensional position. An object of the present invention is to provide a dynamic movement amount calculation device and a relative movement amount calculation method.
【００１４】[0014]
【課題を解決するための手段】上記の課題を解決するた
め、本発明は視覚センサからなる撮像系により視差を有
する画像を取得し、該画像から得た前記対象物の位置情
報より前記対象物に対する前記撮像系の相対的な移動に
伴う前記対象物の３次元位置情報を求め、該３次元位置
情報から前記対象物に対する前記撮像系の相対的な移動
量を算出する相対的移動量算出装置において、前記位置
情報を基に前記対象物上の特徴点の視点座標系における
３次元位置情報を算出すると共に、前記撮像系から前記
対象物までの距離ｙの関数ｗ＝ｋ／ｙ（但し、ｋは正の
定数）として前記３次元位置情報の信頼度ｗを求め、該
信頼度ｗを前記３次元位置情報に付加して出力する３次
元位置算出手段と、前記３次元位置情報を物体の重み付
き重心を原点とする物体重心座標系における３次元位置
情報に変換する変換手段と、前記物体重心座標系におけ
る特徴点の３次元位置情報と該３次元位置情報に付加さ
れた前記信頼度ｗから生成される行列を特異値分解する
ことにより、前記対象物に対する前記撮像系の相対的な
回転量を求める回転量算出手段と、前記回転量と視点座
標系における特徴点の３次元位置情報及び該３次元位置
情報に付加された前記信頼度ｗから前記撮像系の対象物
に対する相対的な平行移動量を求める平行移動量算出手
段とを具備することを特徴とする。In order to solve the above problems, the present invention acquires an image having a parallax by an image pickup system including a visual sensor, and uses the position information of the object to obtain the object from the image. Relative movement amount calculation device that obtains three-dimensional position information of the object due to relative movement of the imaging system with respect to, and calculates the relative movement amount of the imaging system with respect to the object from the three-dimensional position information. In the above, the three-dimensional position information of the feature point on the object in the viewpoint coordinate system is calculated based on the position information, and the function of the distance y from the imaging system to the object w = k / y (however, k is a positive constant), the reliability w of the three-dimensional position information is obtained, and the reliability w is added to the three-dimensional position information and output, and the three-dimensional position information of the object. Origin with weighted center of gravity A conversion means for converting into three-dimensional position information in the body-weight-centered coordinate system, and a matrix generated from the three-dimensional position information of the feature points in the body-weight-centered coordinate system and the reliability w added to the three-dimensional position information. Rotation amount calculation means for obtaining a relative rotation amount of the imaging system with respect to the object by performing value decomposition, and three-dimensional position information of the rotation amount and the feature point in the viewpoint coordinate system and the three-dimensional position information. And a parallel movement amount calculating means for obtaining a relative parallel movement amount of the image pickup system with respect to the target object.
【００１５】また、本発明は同一撮影視野を有するよう
に並列配置した少なくとも２台の撮像系により視差を有
する画像を取得し、該画像から得た対象物の位置情報よ
り前記対象物に対する前記撮像系の相対的な移動に伴う
前記対象物の３次元位置情報を求め、該３次元位置情報
から前記対象物に対する前記撮像系の相対的な移動量を
算出する相対的移動量算出装置において、前記位置情報
を基に前記対象物上の特徴点の視点座標系における３次
元位置情報を算出すると共に、前記２台の撮像系の焦点
距離ｆと該撮像系の間隔ａ及び該撮像系から前記対象物
までの距離ｙの関数ｗ＝ｋ・ａ・ｆ／ｙ（但し、ｋは正
の定数）として前記３次元位置情報の信頼度ｗを求め、
該信頼度ｗを前記３次元位置情報に付加して出力する３
次元位置算出手段と、前記３次元位置情報を物体の重み
付き重心を原点とする物体重心座標系における３次元位
置情報に変換する変換手段と、前記物体重心座標系にお
ける特徴点の３次元位置情報と該３次元位置情報に付加
された前記信頼度ｗから生成される行列を特異値分解す
ることにより、前記対象物に対する前記撮像系の相対的
な回転量を求める回転量算出手段と、前記回転量と視点
座標系における特徴点の３次元位置情報及び該３次元位
置情報に付加された前記信頼度ｗから前記撮像系の対象
物に対する相対的な平行移動量を求める平行移動量算出
手段とを具備することを特徴とする。Further, according to the present invention, an image having a parallax is acquired by at least two imaging systems arranged in parallel so as to have the same field of view, and the imaging of the object is performed based on the position information of the object obtained from the image. In a relative movement amount calculation device for obtaining three-dimensional position information of the object according to relative movement of the system and calculating a relative movement amount of the imaging system with respect to the object from the three-dimensional position information, The three-dimensional position information of the feature point on the object in the viewpoint coordinate system is calculated based on the position information, and the focal length f of the two imaging systems, the interval a of the imaging systems, and the object from the imaging system. The reliability w of the three-dimensional position information is obtained as a function of the distance y to the object, w = k · a · f / y (where k is a positive constant),
The reliability w is added to the three-dimensional position information and output 3
Dimensional position calculation means, conversion means for converting the three-dimensional position information into three-dimensional position information in a body-weight-centered coordinate system whose origin is the weighted center of gravity of an object, and three-dimensional position information of feature points in the body-weight-centered coordinate system. And a rotation amount calculation means for obtaining a relative rotation amount of the imaging system with respect to the object by performing singular value decomposition on a matrix generated from the reliability w added to the three-dimensional position information. And a parallel movement amount calculating means for obtaining a relative parallel movement amount with respect to the object of the imaging system from the amount and the three-dimensional position information of the feature point in the viewpoint coordinate system and the reliability w added to the three-dimensional position information. It is characterized by having.
【００１６】[0016]
【００１７】[0017]
【００１８】このように、本発明では３次元位置の計測
誤差の性質を考慮しているから、撮像系の対象物に対す
る相対的な移動量を高精度に求めることが出来る。As described above, in the present invention , since the nature of the measurement error of the three- dimensional position is taken into consideration , the relative movement amount of the imaging system with respect to the object can be obtained with high accuracy.
【００１９】また、全ての計算を線形計算の範囲内で行
なっているから、高速に、しかもノイズに対して安定に
撮像系の対象物に対する相対的な移動量を求めることが
出来る。[0019] In addition, because they performed all the calculations within the range of linear calculation, the high-speed, deer also stable against noise
The amount of relative movement of the imaging system with respect to the object can be obtained.
【００２０】[0020]
【実施例】以下に、図面を参照して、本発明の一実施例
について説明する。図１に同実施例における相対的移動
算出装置の概略構成をブロック図で示す。ここでは、３
次元位置算出部１、変換部２、回転量算出部３、平行移
動量算出部４から構成される。また、図２に、図１の構
成の本装置における全体の処理の流れを示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of the relative movement calculating device in the embodiment. Here, 3
It is composed of a dimensional position calculation unit 1, a conversion unit 2, a rotation amount calculation unit 3, and a parallel movement amount calculation unit 4. Further, FIG. 2 shows the flow of the entire processing in the present apparatus having the configuration of FIG.
【００２１】図１において３次元位置算出部１は自律移
動ロボット等の自律移動体に搭載された撮像系から得ら
れる対象物が撮像されて、図示しない位置抽出の画像処
理系から得られたステレオ画像上の当該対象物の位置の
情報から、各視点座標系の３次元位置と、その不確定性
を表す数値すなわち信頼度を算出して変換部２と平行移
動量算出部４に出力するものである。In FIG. 1, a three-dimensional position calculation unit 1 captures an image of an object obtained from an image pickup system mounted on an autonomous mobile body such as an autonomous mobile robot, and obtains a stereo image obtained from an image processing system (not shown) for position extraction. A three-dimensional position of each viewpoint coordinate system and a numerical value representing its uncertainty, that is, reliability, is calculated from the information on the position of the target object on the image and is output to the conversion unit 2 and the parallel movement amount calculation unit 4. Is.
【００２２】自律移動ロボット等の自律移動体に搭載さ
れた撮像系は、同一視野を撮影野とする近接して並列配
置された左右２台の撮像装置から構成されるステレオカ
メラであり、このステレオカメラからの左右像がステレ
オ画像として不図示の画像処理系に入力されるようにな
っており、画像処理系は画像認識を含む画像処理により
画像中の対象物の、画像上での位置を求めてその位置情
報をステレオ画像上の当該対象物の位置情報として３次
元位置算出部１に供給する。An image pickup system mounted on an autonomous mobile body such as an autonomous mobile robot is a stereo camera which is composed of two left and right image pickup devices which are closely arranged in parallel and have the same field of view as a photographing field. The left and right images from the camera are input as a stereo image to an image processing system (not shown), and the image processing system obtains the position of the object in the image by image processing including image recognition. The position information is supplied to the three-dimensional position calculation unit 1 as the position information of the object on the stereo image.
【００２３】３次元位置算出部１はこの位置情報を受け
て対象物の各視点座標系の３次元位置を求め、この３次
元位置の情報と、撮像系の幾何学的位置関係、光学的関
係とから信頼度を算出する構成である。対象物のカメラ
からの距離、撮像系の幾何学的位置関係、光学的関係に
より、対象物のカメラからの距離が離れるにつれて求め
た対象物の３次元位置の誤差が大きくなる。これを考慮
すべく本装置では信頼度に反映させる。The three-dimensional position calculating unit 1 receives the position information and obtains the three-dimensional position of each viewpoint coordinate system of the object, and the three-dimensional position information and the geometrical positional relationship and optical relationship of the imaging system. The reliability is calculated from the above. Due to the distance of the object from the camera, the geometrical positional relationship of the imaging system, and the optical relationship, the error in the three-dimensional position of the object obtained increases as the distance from the camera increases. In order to take this into consideration, the reliability is reflected in this device.
【００２４】また、変換部２は、この入力された各視点
座標系の３次元位置と、その不確定性を表す数値すなわ
ち信頼度より、対象物の重み付き重心を原点とする物体
重心座標系における対象物の３次元位置を算出して出力
するものである。In addition, the conversion unit 2 uses the input three-dimensional position of each viewpoint coordinate system and the numerical value indicating the uncertainty thereof, that is, the reliability, to determine the weighted center of gravity of the object as the origin. The three-dimensional position of the object in is calculated and output.
【００２５】また、回転量算出部３は、この変換部２か
らの対象物の３次元位置の情報を用いて相対的移動量の
回転量を表す回転行列を算出するものであり、平行移動
量算出部４はこの回転行列と、３次元位置算出部１から
の各視点座標系の３次元位置と、その不確定性を表す数
値すなわち信頼度を用いて並進ベクトルＴを求めること
により、ロボットの対象物に対する相対的な移動量を出
力するものである。The rotation amount calculation unit 3 calculates the rotation matrix representing the rotation amount of the relative movement amount using the information of the three-dimensional position of the object from the conversion unit 2, and the parallel movement amount. The calculation unit 4 obtains the translation vector T by using this rotation matrix, the three-dimensional position of each viewpoint coordinate system from the three-dimensional position calculation unit 1, and the numerical value indicating the uncertainty, that is, reliability, and The amount of movement relative to the object is output.
【００２６】このような構成の本装置は、同一視野を撮
影野とする近接して並列配置された左右２台の撮像装置
から構成されるステレオカメラから得られた左右像を元
に画像処理系が対象物の、ステレオ画像上での位置を算
出し、これが３次元位置算出部１に入力されるようにし
てある。３次元位置算出部１はこの画像上の位置情報を
受けて対象物についての、各視点座標系の３次元位置
と、この３次元位置と撮像系（ステレオカメラ）とから
定まる信頼度を算出して変換部２と平行移動量算出部４
に与える。The present apparatus having such a configuration is based on an image processing system based on left and right images obtained from a stereo camera composed of two left and right image pickup devices which are arranged in parallel in close proximity with the same field of view as a photographing field. Calculates the position of the object on the stereo image, and this is input to the three-dimensional position calculation unit 1. The 3D position calculation unit 1 receives the position information on the image and calculates the 3D position of each viewpoint coordinate system for the object and the reliability determined from the 3D position and the imaging system (stereo camera). Conversion unit 2 and translation amount calculation unit 4
Give to.
【００２７】変換部２では、この入力された各視点座標
系の３次元位置と、その不確定性を表す数値すなわち信
頼度より、対象物の重み付き重心を原点とする物体重心
座標系における対象物の３次元位置を算出して回転量算
出部３に出力する。The conversion unit 2 uses the input three-dimensional position of each viewpoint coordinate system and the numerical value indicating the uncertainty thereof, that is, the reliability, to determine the object in the object-weight-centered coordinate system whose origin is the weighted center of gravity of the object. The three-dimensional position of the object is calculated and output to the rotation amount calculation unit 3.
【００２８】回転量算出部３では、この変換部２からの
対象物の３次元位置の情報を用いて相対的移動量の回転
量を表す回転行列を算出し、平行移動量算出部４に与
え、平行移動量算出部４はこの回転行列と、３次元位置
算出部１からの各視点座標系の３次元位置と、その不確
定性を表す数値すなわち信頼度を用いて並進ベクトルＴ
を求めることにより、ロボットの対象物に対する相対的
な移動量を出力する。The rotation amount calculation unit 3 calculates the rotation matrix representing the rotation amount of the relative movement amount using the information of the three-dimensional position of the object from the conversion unit 2, and gives it to the parallel movement amount calculation unit 4. The translation amount calculation unit 4 uses the rotation matrix, the three-dimensional position of each viewpoint coordinate system from the three-dimensional position calculation unit 1, and the numerical value indicating the uncertainty, that is, the reliability, to calculate the translation vector T.
By calculating, the relative movement amount of the robot with respect to the object is output.
【００２９】３次元位置算出部１で求めた対象物の３次
元位置の値は、撮像系と対象物の距離の大小に応じ、誤
差の割合が変わってくる。そこで、本発明ではこれを信
頼度としてパラメータに加えて補正するようにした。The error rate of the value of the three-dimensional position of the object obtained by the three-dimensional position calculation unit 1 changes depending on the size of the distance between the imaging system and the object. Therefore, in the present invention, this is added to the parameter as the reliability and corrected.
【００３０】このように、本発明は、３次元位置算出手
段において対象物の視点座標系における３次元位置情報
を信頼度を付加して算出し、変換手段において前記３次
元位置情報を物体の重み付き重心を原点とする物体重心
座標系における３次元位置情報に変換し、さらに、回転
量算出手段において物体重心座標系における特徴点の３
次元位置情報とその信頼度から回転量を求め、求めた回
転量と、対象物上の特徴点の視点座標系における３次元
位置情報とその信頼度から平行移動量算出手段において
平行移動量を求めるという処理を行なうことで、本発明
では、３次元位置の計測誤差の性質を考慮するものとし
ているから、観測系の、対象物に対する相対的な移動量
を高精度に求めることが出来る。As described above, according to the present invention, the three-dimensional position calculating means calculates the three-dimensional position information of the object in the viewpoint coordinate system by adding the reliability, and the converting means calculates the three-dimensional position information by the weight of the object. It is converted into three-dimensional position information in the body-weight-centered coordinate system with the attached center of gravity as the origin, and further, in the rotation amount calculation means, 3 of the feature points in the body-weight-centered coordinate system.
The amount of rotation is obtained from the three-dimensional position information and its reliability, and the amount of translation is obtained by the amount of rotation obtained from the three-dimensional position information in the viewpoint coordinate system of the feature point on the object and its reliability by the amount of parallel movement calculation means. By performing the processing described above, in the present invention, the property of the measurement error of the three-dimensional position is taken into consideration, so that the relative movement amount of the observation system with respect to the object can be obtained with high accuracy.
【００３１】本装置の動作の概要は以上の如きものであ
るが、つぎにもう少し詳しく、本発明を説明する。本実
施例では、図３のように、ＴＶカメラを左右２台搭載し
たロボットが、視点Ａ，Ｂにおいて静止対象物をステレ
オ法により観測し、２視点で得られた対象物の各視点座
標系における３次元位置情報からロボットの移動量を算
出する場合について説明する。The outline of the operation of the present apparatus is as described above. Next, the present invention will be described in more detail. In this embodiment, as shown in FIG. 3, a robot equipped with two left and right TV cameras observes a stationary object at viewpoints A and B by a stereo method, and the viewpoint coordinate system of each object obtained from two viewpoints. A case of calculating the movement amount of the robot from the three-dimensional position information in will be described.
【００３２】[0032]
【数５】 [Equation 5]
【００３３】また、視点座標系の座標軸は、図５のよう
に左像撮像用のＴＶカメラｃａｍｅｒａ‐Ｌと、右像撮
像用のＴＶカメラｃａｍｅｒａ‐Ｒとを互いに同じ視野
を撮像視野とするべく、並設した構成のステレオカメラ
を用いたとして、その水平方向、視線方向、垂直方向に
各々ｘ，ｙ，ｚ軸をとる。The coordinate axes of the viewpoint coordinate system are set so that the left image capturing TV camera camera-L and the right image capturing TV camera camera-R have the same field of view as shown in FIG. Assuming that stereo cameras arranged side by side are used, the x, y, and z axes are taken in the horizontal direction, the line-of-sight direction, and the vertical direction, respectively.
【００３４】[0034]
【数６】
という関係式が成立する。以下に図４を参照して、この
関係式について説明する。３次元空間中の１点Ｐは、視
点と呼ばれる点Ｃを通って画像上の点（ｕ，ｖ）に投影
される。[Equation 6] The relational expression is established. This relational expression will be described below with reference to FIG. One point P in the three-dimensional space is projected to a point (u, v) on the image through a point C called a viewpoint.
【００３５】[0035]
【数７】 [Equation 7]
【００３６】[0036]
【数８】
カメラパラメータｈ11〜ｈ24からなる以下のような行列
Ｈをカメラパラメータ行列と呼ぶ。[Equation 8] The following matrix H composed of camera parameters h 11 to h 24 is called a camera parameter matrix.
【００３７】[0037]
【数９】 [Equation 9]
【００３８】[0038]
【数１０】 と表わすことができる。[Equation 10] Can be expressed as
【００３９】[0039]
【数１１】 [Equation 11]
【００４０】[0040]
【数１２】 を用いる。ここでｋは正の定数である。[Equation 12] To use. Here, k is a positive constant.
【００４１】[0041]
【数１３】
変換部２では、以下の式により対象物の重み付き重心を
原点とする物体重心座標系における対象物の３次元位置
Ｑi ，Ｑ′i （ｉ＝１〜Ｎ）を算出する。[Equation 13] The conversion unit 2 calculates the three-dimensional positions Q i , Q ′ i (i = 1 to N) of the object in the object-weight-centered coordinate system whose origin is the weighted center of gravity of the object, by the following formula.
【００４２】[0042]
【数１４】 [Equation 14]
【００４３】[0043]
【数１５】 [Equation 15]
【００４４】[0044]
【数１６】 [Equation 16]
【００４５】[0045]
【数１７】
但し、Ｔｒ［Ａ］は行列Ａのトレース（対角成分の和）
を表し、Ａt はＡの転置行列を表す。[Equation 17] However, Tr [A] is the trace of matrix A (sum of diagonal components)
The stands, A t represents the transposed matrix of A.
【００４６】[0046]
【数１８】 を最大にする回転行列Ｒを求めれば良いことになる。[Equation 18] It suffices to find the rotation matrix R that maximizes.
【００４７】回転行列Ｒは行列の特異値分解を用いれば
求めることが出来る。ＣをＣ＝ＵＷＶt （Ｕ，Ｖ：直交
行列、Ｗ：対角要素が非負の対角行列）と特異値分解
し、Ｔｒ［ＡＢ］＝Ｔｒ［ＢＡ］の関係を用いると、The rotation matrix R can be obtained by using singular value decomposition of the matrix. When C is singularly decomposed into C = UWV t (U, V: orthogonal matrix, W: diagonal matrix in which diagonal elements are nonnegative), and the relationship Tr [AB] = Tr [BA] is used,
【００４８】[0048]
【数１９】 [Formula 19]
【００４９】以上のようにして、ロボットの、対象物に
対する相対的な移動量を算出することが出来る。なお、
本実施例では視点座標系における３次元位置情報を求め
る方法として２つのカメラによるステレオ法を用いてい
るが、３台以上のカメラを用いたり、１つのカメラを動
かして３次元位置情報を求めても良いし、さらに、パタ
ーンを投影して得られた画像を用いたり、画像を用いず
にレーザや超音波を用いることにより、３次元位置情報
を求めても良い。また、ある視点ではステレオ法により
３次元位置を計測し、別の視点ではレーザを用いて３次
元位置を計測するというような視点によって違う３次元
位置計測法を用いても良い。また、３次元位置の計測誤
差の信頼度として、As described above, the relative movement amount of the robot with respect to the object can be calculated. In addition,
In this embodiment, the stereo method with two cameras is used as a method for obtaining three-dimensional position information in the viewpoint coordinate system, but three or more cameras are used or one camera is moved to obtain three-dimensional position information. Alternatively, the image obtained by projecting the pattern may be used, or the three-dimensional position information may be obtained by using a laser or an ultrasonic wave without using the image. Alternatively, a different three-dimensional position measuring method may be used, such as measuring a three-dimensional position by a stereo method at one viewpoint and measuring a three-dimensional position by using a laser at another viewpoint. Also, as the reliability of the measurement error of the three-dimensional position,
【００５０】[0050]
【数２０】
等を用いても良い（ｋ：正定数）。また、ステレオカメ
ラのレンズの焦点距離とカメラ間隔を可変とした場合の
信頼度として、[Equation 20] Etc. may be used (k: positive constant). Also, as the reliability when the focal length of the stereo camera lens and the camera interval are variable,
【００５１】[0051]
【数２１】 等を用いても良い（ｋ：正定数）。[Equation 21] Etc. may be used (k: positive constant).
【００５２】また、２視点間の移動量を求める場合につ
いて説明したが、２視点以上の多視点間の移動量も同様
に求めることが出来る。その他、本発明の要旨を逸脱し
ない範囲で変形を実施できる。Further, the case of obtaining the movement amount between two viewpoints has been described, but the movement amount between two or more viewpoints can be similarly obtained. Other modifications can be made without departing from the scope of the present invention.
【００５３】本発明は、対象物の３次元位置情報を計測
することが出来る視覚センサの、対象物に対する相対的
な移動に伴って得られた複数視点からの対象物の３次元
位置情報から、視覚センサの対象物に対する相対的な移
動量を求める際に、３次元位置計測の計測誤差の性質を
考慮し、かつ、すべての計算を線形計算の範囲で行なう
相対的移動量算出手法及び装置を実現するものであり、
例えば、視覚センサを搭載した自律移動ロボットが、あ
る視点で観測した３次元位置情報から、作業環境に対す
る自己のとるべき相対的な移動量を算出してこの算出量
対応に移動制御したり、物体認識の際にモデルとして登
録された物体の位置・姿勢を算出することができるよう
にしたものである。According to the present invention, from the three-dimensional position information of the object from a plurality of viewpoints obtained with the relative movement of the visual sensor capable of measuring the three-dimensional position information of the object with respect to the object, A relative movement amount calculation method and device that considers the nature of the measurement error in three-dimensional position measurement when calculating the relative movement amount of a visual sensor with respect to an object and that performs all calculations within a linear calculation range. Is something to be realized,
For example, an autonomous mobile robot equipped with a visual sensor calculates the relative amount of movement of itself with respect to the work environment from the three-dimensional position information observed from a certain point of view, and performs movement control corresponding to this calculated amount, or an object. The position / orientation of an object registered as a model at the time of recognition can be calculated.
【００５４】そのために本実施例においては、対象物の
３次元位置情報を得るべく、少なくとも２台の撮像系を
互いに同一視野を撮影視野として並列配置して視差ある
対をなす画像を得る撮像手段を用い、この撮像手段から
の画像から得た対象物の位置情報より、対象物に対する
撮像系の相対的な移動に伴う対象物の３次元位置情報を
求め、この３次元位置情報から、撮像系の対象物に対す
る相対的な移動量を求める相対的移動量算出装置におい
て、前記撮像系の焦点距離と、２台の撮像系の間隔と対
象物までの距離の関数によって３次元位置情報の信頼度
を求めると共に、画像から得た対象物の前記位置情報を
もとに、この対象物上の特徴点の視点座標系における３
次元位置情報を前記求めた信頼度を付加して算出する３
次元位置算出手段と、この３次元位置算出手段により得
られた３次元位置情報を、物体の重み付き重心を原点と
する物体重心座標系における３次元位置情報に変換する
変換手段と、前記物体重心座標系における特徴点の３次
元位置情報とその信頼度から生成される行列を特異値分
解することにより、観測系の対象物に対する相対的な回
転量を求める回転量算出手段と、この回転量算出手段に
より求められた回転量と、視点座標系における特徴点の
３次元位置情報とその信頼度から観測系の対象物に対す
る相対的な平行移動量を求める平行移動量算出手段とよ
り構成した。Therefore, in the present embodiment, in order to obtain the three-dimensional position information of the object, at least two image pickup systems are arranged in parallel with each other having the same visual field as a photographing visual field to obtain an image forming a parallax pair. By using the position information of the object obtained from the image from the image pickup means, the three-dimensional position information of the object due to the relative movement of the image pickup system with respect to the object is obtained, and from this three-dimensional position information, the image pickup system is obtained. In the relative movement amount calculation device for obtaining the relative movement amount of the target object, the reliability of the three-dimensional position information is calculated by the function of the focal length of the imaging system, the distance between the two imaging systems, and the distance to the target object. And based on the position information of the object obtained from the image, 3 in the viewpoint coordinate system of the feature point on the object.
3D position information is calculated by adding the obtained reliability 3
Dimensional position calculating means, conversion means for converting the three-dimensional position information obtained by the three-dimensional position calculating means into three-dimensional position information in a body weight center coordinate system whose origin is the weighted center of gravity of the object, and the body weight center. Rotation amount calculation means for obtaining a relative rotation amount with respect to the object of the observation system by performing singular value decomposition on a matrix generated from the three-dimensional position information of the feature points in the coordinate system and its reliability, and this rotation amount calculation. The rotation amount calculated by the means, the three-dimensional position information of the feature point in the viewpoint coordinate system, and the parallel movement amount calculation means for obtaining the relative movement amount of the observation system relative to the object from the reliability thereof.
【００５５】そして、対象物をとらえた視覚センサから
の視差のある画像より、この対象物の画像中の位置情報
を取得し、この視覚センサの前記対象物に対する相対的
な移動に伴って得られた複数視点からの対象物の３次元
位置情報を前記位置情報から求めて、この３次元位置情
報から前記視覚センサの前記対象物に対する相対的な移
動量を求めるが、対象物をとらえる視覚センサからの視
差のある画像、すなわち、ステレオカメラで得たステレ
オ画像（左右像）上の対象物の位置情報を３次元位置算
出手段に与えると、これよりこの３次元位置算出手段は
対象物の視点座標系における３次元位置情報を信頼度を
付加して算出し、変換手段はこの３次元位置算出手段が
求めた３次元位置情報を、物体の重み付き重心を原点と
する物体重心座標系における３次元位置情報に変換し、
回転量算出手段は物体重心座標系における特徴点の３次
元位置情報とその信頼度から観測系の対象物に対する相
対的な回転量を求める。そして、平行移動量算出手段
は、回転量算出手段によって求められた回転量と視点座
標系における特徴点の３次元位置情報とその信頼度から
観測系の対象物に対する相対的な平行移動量を求めると
いった処理を行なうものである。Then, the position information in the image of this object is acquired from the image having the parallax from the visual sensor that catches the object, and the positional information in the image of this object is obtained with the relative movement of this visual sensor with respect to the object. The three-dimensional position information of the object from a plurality of viewpoints is obtained from the position information, and the relative movement amount of the visual sensor with respect to the object is obtained from the three-dimensional position information. When the position information of the object on the image with parallax, that is, the stereo image (left and right images) obtained by the stereo camera is given to the three-dimensional position calculating means, the three-dimensional position calculating means uses the viewpoint coordinates of the object. The three-dimensional position information in the system is calculated by adding the reliability, and the conversion means uses the three-dimensional position information obtained by the three-dimensional position calculation means as the object weight center coordinate with the weighted center of gravity of the object as the origin. It was converted to 3-dimensional position information in,
The rotation amount calculation means obtains the rotation amount relative to the object in the observation system from the three-dimensional position information of the feature points in the object-body-weight coordinate system and the reliability thereof. Then, the parallel movement amount calculation means obtains the relative movement amount relative to the object of the observation system from the rotation amount obtained by the rotation amount calculation means, the three-dimensional position information of the feature point in the viewpoint coordinate system, and the reliability thereof. Is performed.
【００５６】３次元位置算出手段で求めた対象物の３次
元位置の値は、自律移動体に搭載された観測系である撮
像系と対象物の距離の大小に応じ、誤差の割合が変わっ
てくる。そこで、本発明ではこれを信頼度としてパラメ
ータに加えて補正するようにした。The value of the three-dimensional position of the object obtained by the three-dimensional position calculating means has a different error rate depending on the size of the distance between the object and the imaging system which is the observation system mounted on the autonomous mobile body. come. Therefore, in the present invention, this is added to the parameter as the reliability and corrected.
【００５７】このように、本発明は、３次元位置算出手
段において対象物の視点座標系における３次元位置情報
を、撮像系と対象物の関係に応じて得た信頼度を付加し
て算出し、変換手段において前記３次元位置情報を物体
の重み付き重心を原点とする物体重心座標系における３
次元位置情報に変換し、さらに、回転量算出手段におい
て物体重心座標系における特徴点の３次元位置情報とそ
の信頼度から回転量を求め、求めた回転量と、対象物上
の特徴点の視点座標系における３次元位置情報とその信
頼度から平行移動量算出手段において平行移動量を求め
るという処理を行なうことで、本発明では、３次元位置
の計測誤差の性質を考慮するものとしているから高精度
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。As described above, according to the present invention, the three-dimensional position calculating means calculates the three-dimensional position information of the object in the viewpoint coordinate system by adding the reliability obtained according to the relationship between the imaging system and the object. In the conversion means, the three-dimensional position information is 3 in the object-weight center coordinate system whose origin is the weighted center of gravity of the object
The rotation amount is converted into three-dimensional position information, and the rotation amount is calculated from the three-dimensional position information of the feature point in the object-body-weight coordinate system and its reliability by the rotation amount calculation means, and the obtained rotation amount and the viewpoint of the feature point on the target object Since the parallel displacement amount is calculated by the parallel displacement amount calculation means from the three-dimensional position information in the coordinate system and its reliability, the present invention considers the nature of the measurement error of the three-dimensional position. It is possible to accurately determine the relative movement amount of the observation system with respect to the object.
【００５８】また、全ての計算を線形計算の範囲内で行
なっているから、高速に、しかも、ノイズに対して安定
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。Further, since all calculations are performed within the range of linear calculation, it is possible to obtain the relative movement amount of the observation system relative to the object at high speed and stably with respect to noise.
【００５９】[0059]
【発明の効果】以上本発明によれば、視覚センサの移動
量や、移動対象物の移動量を高速かつ高精度に求めるこ
とが可能となるから、物体認識や移動ロボットのナビゲ
ーション、あるいは、多視点から得られた３次元位置情
報の統合を従来より高速かつ高精度に行なうことが出
来、その実用的効果は多大である。As described above, according to the present invention, the moving amount of the visual sensor and the moving amount of the moving object can be obtained at high speed and with high accuracy. The integration of the three-dimensional position information obtained from the viewpoint can be performed faster and more accurately than before, and its practical effect is great.
【図１】本発明の実施例を説明するための図であって、
本発明装置の構成例を示すブロック図。FIG. 1 is a diagram for explaining an embodiment of the present invention,
The block diagram which shows the structural example of this invention apparatus.
【図２】本発明の実施例を説明するための図であって、
図１に示す本装置の全体の処理の流れを示す図。FIG. 2 is a diagram for explaining an embodiment of the present invention,
The figure which shows the flow of the whole process of this apparatus shown in FIG.
【図３】本発明の実施例を説明するための図であって、
各視点座標系間の関係を説明するための図。FIG. 3 is a diagram for explaining an embodiment of the present invention,
The figure for demonstrating the relationship between each viewpoint coordinate system.
【図４】本発明の実施例を説明するための図であって、
本発明に用いるカメラモデルを節目するための図。FIG. 4 is a diagram for explaining an embodiment of the present invention,
FIG. 4 is a diagram for turning a camera model used in the present invention.
【図５】本発明の実施例を説明するための図であって、
視点座標系の定義を説明するための図。FIG. 5 is a diagram for explaining an embodiment of the present invention,
The figure for demonstrating the definition of a viewpoint coordinate system.
【図６】本発明の実施例を説明するための図であって、
本発明装置における回転量算出の処理の流れを示す図。FIG. 6 is a diagram for explaining an embodiment of the present invention,
The figure which shows the flow of the process of rotation amount calculation in this invention apparatus.
１…３次元位置算出部 ２…変換部 ３…回転量算出部 ４…平行移動量算出部 1 ... three-dimensional position calculation unit 2 ... Converter 3 ... Rotation amount calculation unit 4 ... Translation amount calculation unit
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−88706（ＪＰ，Ａ) 特開 平７−55469（ＪＰ，Ａ) 特開 平５−256613（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 G06T 7/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-6-88706 (JP, A) JP-A-7-55469 (JP, A) JP-A-5-256613 (JP, A) (58) Field (Int.Cl. 7 , DB name) G01B 11/00-11/30 G06T 7/00
Claims (4)
する画像を取得し、該画像から得た前記対象物の位置情
報より前記対象物に対する前記撮像系の相対的な移動に
伴う前記対象物の３次元位置情報を求め、該３次元位置
情報から前記対象物に対する前記撮像系の相対的な移動
量を算出する相対的移動量算出装置において、 前記位置情報を基に前記対象物上の特徴点の視点座標系
における３次元位置情報を算出すると共に、前記撮像系
から前記対象物までの距離ｙの関数ｗ＝ｋ／ｙ（但し、
ｋは正の定数）として前記３次元位置情報の信頼度ｗを
求め、該信頼度ｗを前記３次元位置情報に付加して出力
する３次元位置算出手段と、 前記３次元位置情報を物体の重み付き重心を原点とする
物体重心座標系における３次元位置情報に変換する変換
手段と、 前記物体重心座標系における特徴点の３次元位置情報と
該３次元位置情報に付加された前記信頼度ｗから生成さ
れる行列を特異値分解することにより、前記対象物に対
する前記撮像系の相対的な回転量を求める回転量算出手
段と、 前記回転量と視点座標系における特徴点の３次元位置情
報及び該３次元位置情報に付加された前記信頼度ｗから
前記撮像系の対象物に対する相対的な平行移動量を求め
る平行移動量算出手段とを具備することを特徴とする相
対的移動量算出装置。1. An image pickup system including a visual sensor is used to acquire an image having parallax, and the object is accompanied by relative movement of the image pickup system with respect to the object based on position information of the object obtained from the image. In a relative movement amount calculation device that obtains three-dimensional position information and calculates a relative movement amount of the imaging system with respect to the object from the three-dimensional position information, a feature point on the object based on the position information. While calculating the three-dimensional position information in the viewpoint coordinate system, the function w = k / y of the distance y from the imaging system to the object (however,
k is a positive constant), the reliability w of the three-dimensional position information is obtained, and the reliability w is added to the three-dimensional position information and output, and the three-dimensional position information of the object is calculated. Transforming means for transforming the weighted center of gravity into three-dimensional position information in the body-weight-centered coordinate system, three-dimensional position information of feature points in the body-weight-centered coordinate system, and the reliability w added to the three-dimensional position information Rotation amount calculation means for obtaining a relative rotation amount of the imaging system with respect to the object by performing singular value decomposition on the matrix generated from, and three-dimensional position information of the rotation amount and the feature point in the viewpoint coordinate system, A relative movement amount calculating device, comprising: a parallel movement amount calculating means for obtaining a relative amount of parallel movement of the imaging system with respect to an object from the reliability w added to the three-dimensional position information.
少なくとも２台の撮像系により視差を有する画像を取得
し、該画像から得た対象物の位置情報より前記対象物に
対する前記撮像系の相対的な移動に伴う前記対象物の３
次元位置情報を求め、該３次元位置情報から前記対象物
に対する前記撮像系の相対的な移動量を算出する相対的
移動量算出装置において、 前記位置情報を基に前記対象物上の特徴点の視点座標系
における３次元位置情報を算出すると共に、前記２台の
撮像系の焦点距離ｆと該撮像系の間隔ａ及び該撮像系か
ら前記対象物までの距離ｙの関数ｗ＝ｋ・ａ・ｆ／ｙ
（但し、ｋは正の定数）として前記３次元位置情報の信
頼度ｗを求め、該信頼度ｗを前記３次元位置情報に付加
して出力する３次元位置算出手段と、 前記３次元位置情報を物体の重み付き重心を原点とする
物体重心座標系における３次元位置情報に変換する変換
手段と、 前記物体重心座標系における特徴点の３次元位置情報と
該３次元位置情報に付加された前記信頼度ｗから生成さ
れる行列を特異値分解することにより、前記対象物に対
する前記撮像系の相対的な回転量を求める回転量算出手
段と、 前記回転量と視点座標系における特徴点の３次元位置情
報及び該３次元位置情報に付加された前記信頼度ｗから
前記撮像系の対象物に対する相対的な平行移動量を求め
る平行移動量算出手段とを具備することを特徴とする相
対的移動量算出装置。2. An image having parallax is acquired by at least two imaging systems arranged in parallel so as to have the same field of view, and the relative position of the imaging system with respect to the object is obtained from position information of the object obtained from the images. 3 of the object due to physical movement
In a relative movement amount calculation device that obtains three-dimensional position information and calculates a relative movement amount of the imaging system with respect to the target object from the three-dimensional position information, a feature point on the target object based on the position information. The three-dimensional position information in the viewpoint coordinate system is calculated, and the function w = k · a · of the focal length f of the two image pickup systems, the distance a between the image pickup systems, and the distance y from the image pickup systems to the object. f / y
(Where k is a positive constant), the reliability w of the three-dimensional position information is obtained, and the reliability w is added to the three-dimensional position information and output, and the three-dimensional position information. To a three-dimensional position information in the body-weight-centered coordinate system with the weighted center of gravity of the object as an origin, and three-dimensional position information of the feature points in the body-weight-centered coordinate system and the three-dimensional position information added to the three-dimensional position information. Rotation amount calculation means for obtaining a relative rotation amount of the imaging system with respect to the object by performing singular value decomposition on the matrix generated from the reliability w, and the rotation amount and three-dimensional feature points in the viewpoint coordinate system. A parallel movement amount calculating means for calculating a relative translation amount of the imaging system relative to the object from the position information and the reliability w added to the three-dimensional position information. Calculation equipment .
する画像を取得し、該画像から得た前記対象物の位置情
報より前記対象物に対する前記撮像系の相対的な移動に
伴う前記対象物の３次元位置情報を求め、該３次元位置
情報から前記対象物に対する前記撮像系の相対的な移動
量を算出する相対的移動量算出方法において、 前記位置情報を基に前記対象物上の特徴点の視点座標系
における３次元位置情報を算出すると共に、前記撮像系
から前記対象物までの距離ｙの関数ｗ＝ｋ／ｙ（但し、
ｋは正の定数）として前記３次元位置情報の信頼度ｗを
求め、該信頼度ｗを前記３次元位置情報に付加して出力
するステップと、 前記３次元位置情報を物体の重み付き重心を原点とする
物体重心座標系における３次元位置情報に変換するステ
ップと、 前記物体重心座標系における特徴点の３次元位置情報と
該３次元位置情報に付加された前記信頼度ｗから生成さ
れる行列を特異値分解することにより、前記対象物に対
する前記撮像系の相対的な回転量を求めるステップと、 前記回転量と視点座標系における特徴点の３次元位置情
報及び該３次元位置情報に付加された前記信頼度ｗから
前記撮像系の対象物に対する相対的な平行移動量を求め
るステップとを具備することを特徴とする相対的移動量
算出方法。3. An image pickup system including a visual sensor is used to acquire an image having parallax, and the object is accompanied by relative movement of the image pickup system with respect to the object based on position information of the object obtained from the image. In a relative movement amount calculation method for obtaining three-dimensional position information and calculating a relative movement amount of the imaging system with respect to the object from the three-dimensional position information, a feature point on the object based on the position information. While calculating the three-dimensional position information in the viewpoint coordinate system, the function w = k / y of the distance y from the imaging system to the object (however,
k is a positive constant), the reliability w of the three-dimensional position information is obtained, and the reliability w is added to the three-dimensional position information and output. A step of converting into three-dimensional position information in the object-body-weight coordinate system as an origin, and a matrix generated from the three-dimensional position information of the feature points in the object-body-weight coordinate system and the reliability w added to the three-dimensional position information A singular value decomposition to obtain a relative rotation amount of the imaging system with respect to the object, and the rotation amount and the three-dimensional position information of the feature point in the viewpoint coordinate system and the three-dimensional position information. And a step of obtaining a relative amount of parallel movement of the imaging system with respect to the object from the reliability w.
少なくとも２台の撮像系により視差を有する画像を取得
し、該画像から得た対象物の位置情報より前記対象物に
対する前記撮像系の相対的な移動に伴う前記対象物の３
次元位置情報を求め、該３次元位置情報から前記対象物
に対する前記撮像系の相対的な移動量を算出する相対的
移動量算出方法において、 前記位置情報を基に前記対象物上の特徴点の視点座標系
における３次元位置情報を算出すると共に、前記２台の
撮像系の焦点距離ｆと該撮像系の間隔ａ及び該撮像系か
ら前記対象物までの距離ｙの関数ｗ＝ｋ・ａ・ｆ／ｙ
（但し、ｋは正の定数）として前記３次元位置情報の信
頼度ｗを求め、該信頼度ｗを前記３次元位置情報に付加
して出力するステップと、 前記３次元位置情報を物体の重み付き重心を原点とする
物体重心座標系における３次元位置情報に変換するステ
ップと、 前記物体重心座標系における特徴点の３次元位置情報と
該３次元位置情報に付加された前記信頼度ｗから生成さ
れる行列を特異値分解することにより、前記対象物に対
する前記撮像系の相対的な回転量を求めるステップと、 前記回転量と視点座標系における特徴点の３次元位置情
報及び該３次元位置情報に付加された前記信頼度ｗから
前記撮像系の対象物に対する相対的な平行移動量を求め
るステップとを具備することを特徴とする相対的移動量
算出方法。4. An image pickup system having parallax is acquired by at least two image pickup systems arranged in parallel so as to have the same field of view, and the image pickup system is relative to the object from position information of the object obtained from the images. 3 of the object due to physical movement
In a relative movement amount calculation method for obtaining three-dimensional position information and calculating a relative movement amount of the imaging system with respect to the object from the three-dimensional position information, a feature point on the object is calculated based on the position information. The three-dimensional position information in the viewpoint coordinate system is calculated, and the function w = k · a · of the focal length f of the two image pickup systems, the distance a between the image pickup systems, and the distance y from the image pickup systems to the object. f / y
(Where k is a positive constant), the reliability w of the three-dimensional position information is obtained, and the reliability w is added to the three-dimensional position information and output. A step of converting into three-dimensional position information in the body-weight-centered coordinate system having the attached center of gravity as an origin; and generating from the three-dimensional position information of the feature point in the body-weight-centered coordinate system and the reliability w added to the three-dimensional position information. Determining the relative rotation amount of the imaging system with respect to the target object by performing singular value decomposition on the matrix, the three-dimensional position information of the rotation amount and the feature point in the viewpoint coordinate system, and the three-dimensional position information. And a step of obtaining a relative amount of parallel movement of the imaging system with respect to an object from the reliability w added to the relative movement amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05927295A JP3512894B2 (en) | 1995-03-17 | 1995-03-17 | Relative moving amount calculating apparatus and relative moving amount calculating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05927295A JP3512894B2 (en) | 1995-03-17 | 1995-03-17 | Relative moving amount calculating apparatus and relative moving amount calculating method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08261719A JPH08261719A (en) | 1996-10-11 |
| JP3512894B2 true JP3512894B2 (en) | 2004-03-31 |
Family
ID=13108584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05927295A Expired - Fee Related JP3512894B2 (en) | 1995-03-17 | 1995-03-17 | Relative moving amount calculating apparatus and relative moving amount calculating method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3512894B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10124681A (en) * | 1996-10-18 | 1998-05-15 | Ricoh Co Ltd | Portable information processor and method therefor |
| US7110021B2 (en) | 2002-05-31 | 2006-09-19 | Matsushita Electric Industrial Co., Ltd. | Vehicle surroundings monitoring device, and image production method/program |
| JP4015124B2 (en) * | 2004-03-03 | 2007-11-28 | 株式会社東芝 | 3D image display device |
| WO2012176249A1 (en) * | 2011-06-21 | 2012-12-27 | 国立大学法人奈良先端科学技術大学院大学 | Self-position estimation device, self-position estimation method, self-position estimation program, and mobile object |
| CN104154918B (en) * | 2014-07-14 | 2017-02-15 | 南京航空航天大学 | Fault processing method for monocular vision navigation feature point losing |
| KR101707113B1 (en) * | 2015-12-17 | 2017-03-16 | 재단법인대구경북과학기술원 | Tool for selection of image of region of interest and its use of selection method |
| US11361466B2 (en) | 2018-11-30 | 2022-06-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
-
1995
- 1995-03-17 JP JP05927295A patent/JP3512894B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08261719A (en) | 1996-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| CN112785702B (en) | SLAM method based on tight coupling of 2D laser radar and binocular camera | |
| CN111156998B (en) | Mobile robot positioning method based on RGB-D camera and IMU information fusion | |
| JP5992184B2 (en) | Image data processing apparatus, image data processing method, and image data processing program | |
| US11010925B2 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
| JP5393318B2 (en) | Position and orientation measurement method and apparatus | |
| JP3880702B2 (en) | Optical flow detection apparatus for image and self-position recognition system for moving object | |
| JP2010014450A (en) | Position measurement method, position measurement device, and program | |
| WO2015068470A1 (en) | 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program | |
| JP5463584B2 (en) | Displacement measuring method, displacement measuring apparatus, and displacement measuring program | |
| JP3512894B2 (en) | Relative moving amount calculating apparatus and relative moving amount calculating method | |
| JP2016148649A (en) | Information processing apparatus, control method therefor, and program | |
| Kawata et al. | Scale optimization of structure from motion for structured light-based all-round 3D measurement | |
| JP3512919B2 (en) | Apparatus and method for restoring object shape / camera viewpoint movement | |
| JP3655065B2 (en) | Position / attitude detection device, position / attitude detection method, three-dimensional shape restoration device, and three-dimensional shape restoration method | |
| JP2970835B2 (en) | 3D coordinate measuring device | |
| Aliakbarpour et al. | Inertial-visual fusion for camera network calibration | |
| JPH1137736A (en) | Method and device for measuring 3-dimentional shape | |
| JP5409451B2 (en) | 3D change detector | |
| Li et al. | Method for horizontal alignment deviation measurement using binocular camera without common target | |
| Barron et al. | Motion and structure from time-varying optical flow | |
| JP6091092B2 (en) | Image processing apparatus and image processing method | |
| Boutteau et al. | An omnidirectional stereoscopic system for mobile robot navigation | |
| JP6340113B2 (en) | Measuring device and program thereof | |
| Grießbach et al. | Vision aided inertial navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110116 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |