JP5297727B2 - Robot apparatus and object position / orientation estimation method - Google Patents
Robot apparatus and object position / orientation estimation method Download PDFInfo
- Publication number
- JP5297727B2 JP5297727B2 JP2008227043A JP2008227043A JP5297727B2 JP 5297727 B2 JP5297727 B2 JP 5297727B2 JP 2008227043 A JP2008227043 A JP 2008227043A JP 2008227043 A JP2008227043 A JP 2008227043A JP 5297727 B2 JP5297727 B2 JP 5297727B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- orientation
- initial
- distance
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明はロボット装置及び物体の位置姿勢推定方法に関する。 The present invention relates to a robot apparatus and an object position / orientation estimation method.
作業環境内に存在する物体に対してロボットに何らかの動作を行わせる場合には、動作に先立って、対象物体の形状や位置姿勢を認識する必要がある。対象物の位置姿勢を推定する技術としては、物体モデルとの照合により、対象物の位置姿勢を推定する技術が知られている。 When causing the robot to perform some operation on an object existing in the work environment, it is necessary to recognize the shape, position, and orientation of the target object prior to the operation. As a technique for estimating the position and orientation of an object, a technique for estimating the position and orientation of an object by matching with an object model is known.
特許文献１には、対象物が存在する範囲を画像特徴から確率的に求めた後に、詳細な照合を行うことで対象物の位置姿勢を推定する画像特徴抽出装置が開示されている。
しかしながら、特許文献１記載の技術では、対象物の存在領域を限定する処理に関して詳細な説明が開示されておらず、画像特徴のみから領域を限定する場合には、画像全体に対して存在確率を計算する必要があり、計算コストが高くつく。更に、背景が複雑になると、物体モデルが背景に当てはまりやすくなり、物体の存在確率が画像の様々なところで高くなることが予想される。 However, the technique described in Patent Document 1 does not disclose a detailed description regarding the process of limiting the existence area of the object, and in the case where the area is limited only from the image features, the existence probability is set for the entire image. It is necessary to calculate and the calculation cost is high. Furthermore, when the background becomes complicated, the object model is likely to be applied to the background, and the existence probability of the object is expected to increase at various points in the image.
ところで、従来の技術では、ステレオカメラにより対象物体を撮像し、ステレオカメラからの画像エッジ・距離画像と、物体モデルとを照合することで、物体の位置姿勢を推定することができる。通常の照合方法では、距離画像と物体モデルとの距離をある評価関数で定義し、最小化問題を解くことにより対象物の位置姿勢を推定する。 By the way, in the conventional technique, the position and orientation of an object can be estimated by capturing a target object with a stereo camera and comparing an image edge / distance image from the stereo camera with an object model. In the normal collation method, the distance between the distance image and the object model is defined by a certain evaluation function, and the position and orientation of the object is estimated by solving the minimization problem.
しかし、物体モデルとの照合を行う際には、初期値が適切に設定されていない場合には、計算が収束せずに計算時間が増大し、さらには、解が極値に落ちるなどの問題がある。特に、テクスチャの少ない対象物の周囲に複雑なテクスチャを持つ物体が乱雑に存在する環境の場合には、この問題が顕著なものとなる。ロボットが家庭環境に入って作業する場合には、このような環境に遭遇する場合が想定される。即ち、家具（机、椅子、タンス等）をロボットに認識させる場合には、家具自体は比較的テクスチャが少ないものの、絨毯や絵画、ポスター等のテクスチャが複雑な物体が家具の周囲に存在する状況が容易に想定される。 However, when collating with the object model, if the initial value is not set appropriately, the calculation will not converge and the calculation time will increase, and the solution will fall to an extreme value. There is. In particular, this problem becomes significant in an environment where objects having a complex texture are randomly present around an object having a small texture. When a robot enters a home environment and works, it is assumed that such an environment is encountered. In other words, when furniture (desk, chair, chiffon, etc.) is recognized by the robot, the furniture itself has relatively little texture, but there are objects with complex textures such as carpets, paintings, and posters around the furniture. Is easily assumed.
また、ロボットの自己位置推定や環境認識等においては、レーザレンジファインダ（以下、ＬＲＦと称する。）等のアクティブ距離センサが良く利用されている。しかし、ＬＲＦが計測可能な対象物には制限がある。ＬＲＦの計測原理は、照射した光が対象物に当たって反射して戻ってくるまでの時間を計測して、対象物までの距離を計測するものである。例えば、対象物の色が黒い場合には照射光を吸収し、逆に鏡のような対象物の場合には全反射するおそれがある。このため、いずれの場合にも、対象物までの距離を正確に計測するのは困難となる。ロボットが家庭環境に入って作業する場合には、このような環境に遭遇する場合が想定される。即ち、黒い色の家具や、鏡、金属光沢のある家具などＬＲＦでは計測できない対象物が存在する状況が容易に想定される。 In the robot self-position estimation and environment recognition, an active distance sensor such as a laser range finder (hereinafter referred to as LRF) is often used. However, there are limitations on objects that can be measured by LRF. The measurement principle of LRF is to measure the time until the irradiated light hits an object and is reflected and returned to measure the distance to the object. For example, when the color of the object is black, the irradiation light is absorbed, and conversely, when the object is a mirror, the object may be totally reflected. For this reason, in any case, it is difficult to accurately measure the distance to the object. When a robot enters a home environment and works, it is assumed that such an environment is encountered. That is, it is easily assumed that there are objects that cannot be measured by the LRF, such as black furniture, mirrors, and furniture with metallic luster.
従って、本発明は、対象物体の初期値を効果的に推定することで、物体モデルとの照合時に生じる上記問題を解決し、物体の位置姿勢を少ない計算時間で、かつ、正確に推定可能なロボット装置及び物体の位置姿勢推定方法を提供することを目的とする。
さらに、本発明は、レーザレンジファインダ等のアクティブ距離センサを利用して物体の位置姿勢を推定する際に、初期照合時の頑健性を向上させることが可能なロボット装置及び物体の位置姿勢推定方法をも提供することを他の目的とする。
Accordingly, the present invention effectively estimates the initial value of the target object, thereby solving the above-mentioned problem that occurs when collating with the object model, and accurately estimating the position and orientation of the object in a short calculation time. It is an object of the present invention to provide a robot apparatus and an object position / orientation estimation method.
Furthermore, the present invention provides a robot apparatus and an object position / orientation estimation method capable of improving robustness at the time of initial collation when estimating an object position / orientation using an active distance sensor such as a laser range finder. Another purpose is to provide
本発明に係るロボット装置は、作業環境内に存在する物体との距離を計測してレンジデータを生成する距離センサと、前記生成したレンジデータを形状データと照合することによって、前記物体の形状と位置姿勢を推定する初期照合部と、前記物体を撮像した画像データを生成するカメラ部と、前記画像データの特徴を抽出する特徴抽出部と、前記初期照合部により推定した前記物体の形状と位置姿勢を初期値として、前記特徴抽出部で抽出した前記画像データの特徴と、前記物体の形状と位置姿勢との誤差を評価関数とした最小化問題を解くことで、前記物体の位置姿勢を推定する姿勢推定部と、を備えるものである。 A robot apparatus according to the present invention includes a distance sensor that generates a range data by measuring a distance to an object existing in a work environment, and a shape of the object by comparing the generated range data with shape data. An initial verification unit that estimates a position and orientation; a camera unit that generates image data obtained by imaging the object; a feature extraction unit that extracts features of the image data; and the shape and position of the object estimated by the initial verification unit Estimating the position and orientation of the object by solving the minimization problem using the error between the feature of the image data extracted by the feature extraction unit and the shape and position and orientation of the object as an evaluation function with the orientation as an initial value A posture estimation unit.
これにより、距離センサにより対象物体の初期値を効果的に推定することで、物体モデルとの照合時に生じる上記問題を解決し、物体の位置姿勢を少ない計算時間で、かつ、正確に推定することができる。 As a result, the initial value of the target object is effectively estimated by the distance sensor, thereby solving the above-mentioned problems that occur when collating with the object model, and accurately estimating the position and orientation of the object with less calculation time. Can do.
また、前記特徴抽出部は、前記カメラ部で生成した画像データから、エッジ処理により線分を抽出すると共に、ステレオ処理により距離画像を取得するようにしてもよい。 The feature extraction unit may extract a line segment from the image data generated by the camera unit by edge processing and acquire a distance image by stereo processing.
さらにまた、前記姿勢推定部は、前記初期照合部により推定した前記物体の形状と位置姿勢を中心としてパーティクルを複数個設定し、前記各パーティクルに対して前記物体の形状と位置姿勢を射影するモデル射影部と、前記特徴抽出部で抽出した前記画像データの特徴と、前記モデル射影部で設定した前記パーティクルに含まれる前記物体の形状と位置姿勢とを比較する比較部と、前記比較部による比較結果に応じて前記各パーティクルの重みを評価する評価部と、を備え、前記評価部による評価結果が収束するまでの間、前記パーティクルに対する処理を繰り返すようにしてもよい。 Furthermore, the posture estimation unit sets a plurality of particles around the shape and position / posture of the object estimated by the initial collation unit, and projects the shape / position / posture of the object with respect to each particle. A comparison unit that compares a projection unit, a feature of the image data extracted by the feature extraction unit, a shape and a position and orientation of the object included in the particles set by the model projection unit, and a comparison by the comparison unit An evaluation unit that evaluates the weight of each particle according to the result, and the process for the particle may be repeated until the evaluation result by the evaluation unit converges.
また、前記初期照合部は、前記生成したレンジデータから前記物体の形状が棒形状であるか又は辺形状であるかを識別する識別器と、前記物体の形状が棒形状である場合に、前記物体を前記形状データと照合することによって、前記物体の形状と位置姿勢を推定する棒形状初期位置推定器と、前記物体の形状が辺形状である場合に、前記物体を前記形状データと照合することによって、前記物体の形状と位置姿勢を推定する辺形状初期位置推定器と、を備えるようにしてもよい。 In addition, the initial verification unit, when the shape of the object is a bar shape or a side shape from the generated range data, and when the shape of the object is a bar shape, A bar-shaped initial position estimator that estimates the shape, position, and orientation of the object by collating the object with the shape data, and collating the object with the shape data when the shape of the object is a side shape Thus, a side shape initial position estimator for estimating the shape and position / posture of the object may be provided.
さらにまた、前記距離センサの走査面上であり、かつ、前記物体の表面上に、前記距離センサの照射光を反射する反射マーカを設けるようにしてもよい。また、前記反射マーカを、前記物体の角部に設けるようにしてもよい。これにより、レーザレンジファインダ等のアクティブ距離センサを利用して物体の位置姿勢を推定する際に、初期照合時の頑健性を向上させることができる。 Furthermore, a reflective marker that reflects the irradiation light of the distance sensor may be provided on the scanning surface of the distance sensor and on the surface of the object. The reflection marker may be provided at a corner of the object. Thereby, when estimating the position and orientation of an object using an active distance sensor such as a laser range finder, it is possible to improve robustness at the time of initial verification.
また、前記距離センサは、前記作業環境内に存在する物体との距離と、前記距離センサの照射光の反射強度とを計測して前記レンジデータを生成するようにしてもよい。さらにまた、前記距離センサは、前記計測した作業環境内に存在する物体との距離に応じて、前記照射光の反射強度に対して所定の閾値を設定し、前記閾値以上の反射強度を有する照射光から前記レンジデータを生成するようにしてもよい。これにより、初期照合時の頑健性をより向上させることができる。 Further, the distance sensor may generate the range data by measuring a distance from an object present in the work environment and a reflection intensity of irradiation light of the distance sensor. Furthermore, the distance sensor sets a predetermined threshold value for the reflection intensity of the irradiation light in accordance with the distance to the object present in the measured work environment, and the irradiation having the reflection intensity equal to or higher than the threshold value. The range data may be generated from light. Thereby, the robustness at the time of initial collation can be improved more.
本発明に係る物体の位置姿勢推定方法は、距離センサによって作業環境内に存在する物体との距離を計測してレンジデータを生成し、前記生成したレンジデータを形状データと照合することによって、前記物体の初期形状と初期位置姿勢を推定し、カメラによって撮像した前記物体の画像データを生成し、前記生成した画像データの特徴を抽出し、前記推定した前記物体の初期形状と初期位置姿勢を初期値として、前記抽出した前記画像データの特徴と、前記物体の形状と位置姿勢との誤差を評価関数とした最小化問題を解くことで、前記物体の位置姿勢を推定するものである。 The object position / orientation estimation method according to the present invention generates a range data by measuring a distance from an object existing in a work environment by a distance sensor, and collates the generated range data with shape data. Estimating the initial shape and initial position and orientation of the object, generating image data of the object imaged by the camera, extracting the characteristics of the generated image data, and initializing the estimated initial shape and initial position and orientation of the object As a value, the position and orientation of the object are estimated by solving a minimization problem using an error between the feature of the extracted image data and the shape and position and orientation of the object.
これにより、距離センサにより対象物体の初期値を効果的に推定することで、物体モデルとの照合時に生じる上記問題を解決し、物体の位置姿勢を少ない計算時間で、かつ、正確に推定することができる。 As a result, the initial value of the target object is effectively estimated by the distance sensor, thereby solving the above-mentioned problems that occur when collating with the object model, and accurately estimating the position and orientation of the object with less calculation time. Can do.
また、前記生成した画像データから、エッジ処理により線分を抽出すると共に、ステレオ処理により距離画像を取得するようにしてもよい。 Further, a line segment may be extracted from the generated image data by edge processing and a distance image may be acquired by stereo processing.
さらにまた、前記推定した前記物体の初期形状と初期位置姿勢を中心としてパーティクルを複数個設定し、前記各パーティクルに対して前記物体の形状と位置姿勢を射影し、前記抽出した前記画像データの特徴と、前記設定した前記パーティクルに含まれる前記物体の形状と位置姿勢とを比較し、前記比較結果に応じて前記各パーティクルの重みを評価し、前記評価結果が収束するまでの間、前記パーティクルに対する処理を繰り返すようにしてもよい。 Furthermore, a plurality of particles are set around the estimated initial shape and initial position and orientation of the object, the shape and position and orientation of the object are projected on each particle, and the extracted image data features And comparing the shape and position / orientation of the object included in the set particle, evaluating the weight of each particle according to the comparison result, and until the evaluation result converges, The process may be repeated.
また、前記生成したレンジデータから前記物体の形状が棒形状であるか又は辺形状であるかを識別し、前記物体の形状が棒形状である場合に、前記物体を前記形状データと照合することによって、前記物体の形状と位置姿勢を推定し、前記物体の形状が辺形状である場合に、前記物体を前記形状データと照合することによって、前記物体の形状と位置姿勢を推定するようにしてもよい。 Further, it is identified from the generated range data whether the shape of the object is a rod shape or a side shape, and when the shape of the object is a rod shape, the object is collated with the shape data. To estimate the shape and position / orientation of the object by collating the object with the shape data when the shape of the object is a side shape. Also good.
さらにまた、前記距離センサの走査面上であり、かつ、前記物体の表面上に、前記距離センサの照射光を反射する反射マーカを設けるようにしてもよい。また、前記反射マーカを、前記物体の角部に設けるようにしてもよい。これにより、レーザレンジファインダ等のアクティブ距離センサを利用して物体の位置姿勢を推定する際に、初期照合時の頑健性を向上させることができる。 Furthermore, a reflective marker that reflects the irradiation light of the distance sensor may be provided on the scanning surface of the distance sensor and on the surface of the object. The reflection marker may be provided at a corner of the object. Thereby, when estimating the position and orientation of an object using an active distance sensor such as a laser range finder, it is possible to improve robustness at the time of initial verification.
また、前記距離センサにより、前記作業環境内に存在する物体との距離と、前記距離センサの照射光の反射強度とを計測して前記レンジデータを生成するようにしてもよい。さらにまた、前記距離センサにより、前記計測した作業環境内に存在する物体との距離に応じて、前記照射光の反射強度に対して所定の閾値を設定し、前記閾値以上の反射強度を有する照射光から前記レンジデータを生成するようにしてもよい。これにより、初期照合時の頑健性をより向上させることができる。 Further, the range data may be generated by measuring a distance from an object present in the work environment and a reflection intensity of irradiation light of the distance sensor by the distance sensor. Furthermore, a predetermined threshold value is set for the reflection intensity of the irradiation light according to the distance from the object present in the measured work environment by the distance sensor, and the irradiation has a reflection intensity equal to or higher than the threshold value. The range data may be generated from light. Thereby, the robustness at the time of initial collation can be improved more.
本発明によれば、物体の位置姿勢を少ない計算時間で、かつ、正確に推定可能なロボット装置及び物体の位置姿勢推定方法を提供することができる。
さらに、レーザレンジファインダ等のアクティブ距離センサを利用して物体の位置姿勢を推定する際に、初期照合時の頑健性を向上させることが可能なロボット装置及び物体の位置姿勢推定方法をも提供することができる。
According to the present invention, it is possible to provide a robot apparatus and an object position / orientation estimation method capable of accurately estimating the position and orientation of an object with less calculation time.
Furthermore, when estimating the position and orientation of an object using an active distance sensor such as a laser range finder, a robot apparatus and an object position and orientation estimation method that can improve robustness at the time of initial verification are also provided. be able to.
発明の実施の形態１．
本実施の形態１にかかるロボット１の要部構成を図１に示す。ロボット１は、レーザレンジファインダ１０１及びカメラ部１０４の２つのセンサによって外界の情報を入力し、これら２つのセンサによって取得したレンジデータ及び画像データの夫々に基づいて物体の位置姿勢を推定することができる。物体の位置姿勢の推定に際しては、取得したレンジデータに基づく初期照合結果を用いて、画像データの特徴と形状データとの誤差を評価することで、物体の位置姿勢を少ない計算時間で、かつ、正確に推定することができる。以下、図１を参照してロボット１が有する各機能ブロックについて説明する。
Embodiment 1 of the Invention
FIG. 1 shows a main configuration of the robot 1 according to the first embodiment. The robot 1 can input the information of the outside world by two sensors of the laser range finder 101 and the camera unit 104, and can estimate the position and orientation of the object based on the range data and the image data acquired by these two sensors. it can. In the estimation of the position and orientation of the object, using the initial verification result based on the acquired range data, in the commentary deserves this error between the feature and the shape data of the image data, with less computation time the position and orientation of the object, And it can estimate correctly. Hereinafter, each functional block of the robot 1 will be described with reference to FIG.
距離センサとしてのレーザレンジファインダ１０１は、レーザ光を周囲に照射し、その反射光を観測することによって得たレンジデータを初期照合部１０２に出力する。即ち、レーザレンジファインダ１０１は、作業環境内に存在する物体との距離を計測してレンジデータを生成する。図２に、レーザレンジファインダ１０１により取得したレンジデータの一例を示す。図２において、スキャンしたデータを記号"＋"により示す。また、矢印は、選択した点集合の周辺の点集合までのベクトルを示す。 A laser range finder 101 as a distance sensor outputs laser light to the surroundings, and outputs range data obtained by observing the reflected light to the initial verification unit 102. In other words, the laser range finder 101 measures the distance to an object existing in the work environment and generates range data. FIG. 2 shows an example of range data acquired by the laser range finder 101. In FIG. 2, the scanned data is indicated by the symbol “+”. An arrow indicates a vector up to a point set around the selected point set.
初期照合部１０２は、レーザレンジファインダ１０７によって得たレンジデータを、格納されている三次元形状データ１０３と照合して、物体の形状と位置姿勢を推定する。作業空間内に存在する物体の物体モデルを示す情報として、３次元の幾何形状データである３次元形状データ１０６が予め記憶されている。具体的には、ロボット位置から見た三次元形状データとレンジデータとの照合を行う。ここで、レンジデータと三次元形状データの誤差は、レンジデータと三次元形状データとを照合した際のレンジデータの対応点と三次元形状データの対応点との距離又は二乗距離により定義される。初期照合部１０２は、照合結果を物体の初期形状と初期位置姿勢として、姿勢推定部１０６に出力する。図３に、初期照合結果の概念図の一例を示す。図３において、矢印（ロボット１）の前方に物体（机）が存在する場合に、物体の形状と位置姿勢を、複数の線分により示す。尚、初期照合部１０２による初期照合処理の詳細については後述する。 The initial collation unit 102 collates the range data obtained by the laser range finder 107 with the stored three-dimensional shape data 103, and estimates the shape and position / orientation of the object. As information indicating an object model of an object existing in the work space, three-dimensional shape data 106 which is three-dimensional geometric shape data is stored in advance. Specifically, the three-dimensional shape data viewed from the robot position and the range data are collated. Here, the error between the range data and the 3D shape data is defined by the distance or the square distance between the corresponding point of the range data and the corresponding point of the 3D shape data when the range data and the 3D shape data are collated. . The initial collation unit 102 outputs the collation result to the posture estimation unit 106 as the initial shape and initial position / posture of the object. FIG. 3 shows an example of a conceptual diagram of the initial matching result. In FIG. 3, when an object (desk) exists in front of the arrow (robot 1), the shape and position / posture of the object are indicated by a plurality of line segments. The details of the initial matching process performed by the initial matching unit 102 will be described later.
カメラ部１０４は、２台のカメラ１０４ａ及び１０４ｂを有する。カメラ１０４ａ及び１０４ｂはそれぞれ、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子を備えており、外界を撮像して得たデジタル画像データを特徴抽出部１０５に出力する。即ち、カメラ部１０４は、物体を撮像した画像データを生成する。図４に、カメラ部１０４により取得した画像データの一例を示す。図４においては、ロボット１の正面に机と椅子が存在する例を示している。 The camera unit 104 includes two cameras 104a and 104b. Each of the cameras 104 a and 104 b includes an image sensor such as a CCD image sensor or a CMOS image sensor, and outputs digital image data obtained by imaging the outside world to the feature extraction unit 105. That is, the camera unit 104 generates image data obtained by capturing an object. FIG. 4 shows an example of image data acquired by the camera unit 104. FIG. 4 shows an example in which a desk and a chair exist in front of the robot 1.
特徴抽出部１０５は、カメラ部１０４によって得た画像データの特徴を抽出する。特徴抽出部１０５は、画像データの特徴として、例えば、エッジ処理により線分を抽出する。また、ステレオ処理により距離画像を取得する。特徴抽出部１０５は、抽出した線分の画像データと距離画像を姿勢推定部１０６へと出力する。図５に、エッジ処理により取得した線分を含む画像エッジの一例を示す。図５においては、物体のエッジを白い線分により示している。図６に、ステレオ処理により取得した距離画像（ステレオデータ）の一例を示す。図６においては、距離を画像の濃淡により示している。 The feature extraction unit 105 extracts the features of the image data obtained by the camera unit 104. The feature extraction unit 105 extracts a line segment as the feature of the image data, for example, by edge processing. Moreover, a distance image is acquired by stereo processing. The feature extraction unit 105 outputs the extracted line segment image data and distance image to the posture estimation unit 106. FIG. 5 shows an example of an image edge including a line segment acquired by edge processing. In FIG. 5, the edges of the object are indicated by white line segments. FIG. 6 shows an example of a distance image (stereo data) acquired by stereo processing. In FIG. 6, the distance is indicated by the shading of the image.
姿勢推定部１０６は、初期照合部１０２により得た初期照合結果と、特徴抽出部１０５により得た線分の画像データ及び距離画像とに基づいて、物体の位置姿勢を推定する。具体的には、初期照合結果を推定に用いる初期値として、画像データの特徴（線分の画像データ及び距離画像）と、３次元形状データ１０３との誤差を評価することで、物体の位置姿勢を推定する。図７に、推定した物体の位置姿勢の出力の一例を示す。図７においては、線分により推定した物体の位置姿勢を示している。尚、図７においては、図４に示した画像データに、推定結果を示す線分を重ねて表示している。尚、姿勢推定部１０６による姿勢推定処理の詳細については後述する。
The posture estimation unit 106 estimates the position and posture of the object based on the initial collation result obtained by the initial collation unit 102 and the line segment image data and distance image obtained by the feature extraction unit 105. Specifically, as an initial value using the initial matching result to estimate, in the image data characteristic (line segment of the image data and the distance image), and this to evaluate the error between the three-dimensional shape data 103, the object of the Estimate the position and orientation. FIG. 7 shows an example of the output of the estimated position and orientation of the object. FIG. 7 shows the position and orientation of the object estimated by the line segment. In FIG. 7, a line segment indicating the estimation result is displayed superimposed on the image data shown in FIG. Details of the posture estimation processing by the posture estimation unit 106 will be described later.
続いて以下では、まず、図８を参照しながら、初期照合部１０２による初期照合処理の詳細を説明する。図８は、ロボット１が行う初期照合処理の手順を示すフローチャートである。 Subsequently, in the following, first, the details of the initial matching process by the initial matching unit 102 will be described with reference to FIG. FIG. 8 is a flowchart showing a procedure of initial collation processing performed by the robot 1.
まず、初期照合部１０２は、距離センサ（レーザレンジファインダ１０１）の平面走査により、平面内に存在する物体までの距離データ（レンジデータ）を取得する（Ｓ１０１）。 First, the initial verification unit 102 acquires distance data (range data) to an object existing in a plane by plane scanning of the distance sensor (laser range finder 101) (S101).
次いで、初期照合部１０２は、距離センサから取得した距離データを、識別器を用いて、棒形状のクラスと辺形状のクラスの２クラスに分類する（ｓ１０２）。ここで、棒形状のクラスは、例えば、机、椅子の脚などの形状を含む。また、辺形状のクラスは、例えば、タンス、冷蔵庫などの形状を含む。尚、識別器による分類は公知の手法を用いて行えばよい。例えば分類方法としては、まず、取得した距離データをグリッドマップ上に投影し、投影した距離データを示す点群を２値画像と見なし、物体の存在位置情報を示す２値画像を生成する。そして、生成した２値画像内の連結情報に基づいてラベリング処理を実行する。ラベリング処理とは、生成した２値画像に対して、連結している領域を１つにまとめる処理をいう。ラベリング処理を行うことで、距離センサにより得られたデータ群を複数のグループにグループ化することができる。このようにして分割された領域（即ち、グループ化された点群）の真円度を計算することにより、棒形状とそれ以外の形状とを識別することができる。また、通常、レーザレンジファインダ１０１などの距離センサは、投光器を回転して測距を行っているため、測距で得た点列データの並びには規則性が存在する。そこで、隣接した測距点間の距離を観察し、この距離が所定の閾値以上離れているか否かに基づいて点列データをグループ化し、各グループ内で点の直線性を判定する方法もある。 Next, the initial matching unit 102 classifies the distance data acquired from the distance sensor into two classes, a bar-shaped class and a side-shaped class, using a discriminator (s102). Here, the bar-shaped class includes, for example, shapes such as desks and chair legs. The side shape class includes shapes such as a chiffon and a refrigerator, for example. The classification by the classifier may be performed using a known method. For example, as a classification method, first, the acquired distance data is projected on a grid map, a point group indicating the projected distance data is regarded as a binary image, and a binary image indicating the position information of the object is generated. Then, a labeling process is executed based on the connection information in the generated binary image. The labeling process refers to a process of combining connected areas into one for the generated binary image. By performing the labeling process, the data group obtained by the distance sensor can be grouped into a plurality of groups. By calculating the roundness of the area divided in this way (that is, the grouped point group), it is possible to distinguish the bar shape from the other shapes. In general, since a distance sensor such as the laser range finder 101 measures the distance by rotating the projector, the sequence of the point sequence data obtained by the distance measurement has regularity. Therefore, there is a method in which the distance between adjacent distance measuring points is observed, point sequence data is grouped based on whether or not this distance is a predetermined threshold or more, and the linearity of the points within each group is determined. .
次いで、初期照合部１０２は、距離データが棒形状のクラスであるか否かを判定する（Ｓ１０３）。棒形状のクラスである場合には、Ｓ１０４へと進む。一方で、棒形状のクラスでない場合には、Ｓ１０６へと進む。 Next, the initial matching unit 102 determines whether or not the distance data is a bar-shaped class (S103). If it is a bar-shaped class, the process proceeds to S104. On the other hand, if it is not a bar-shaped class, the process proceeds to S106.
距離データが棒形状のクラスである場合には、初期照合部１０２は、物体モデルを用いて、棒物体の初期位置姿勢を推定する（Ｓ１０４）。より具体的には、初期照合部１０２は、棒形状に分類された距離データから１つを選択し、選択したデータの周囲の棒形状の距離データから、さらに２つの距離データを選択する。そして、初期照合部１０２は、棒間の距離及び棒間がなす角度を計算し、物体モデル（形状データ１０６）と照合する。尚、照合は公知の照合方法を用いて行えばよい。例えば、距離センサの走査面の形状情報（物体の角部が作る２辺の長さと、そのなす角度）を物体モデルに予め付加しておき、初期照合部１０２は、計測データ（距離データ）と物体モデルの形状情報とを比較する。物体モデルと距離データとが合致する場合には、照合対象となった棒を次の照合対象から除外し、照合対象が無くなるまで、物体モデルとの照合を繰り返す。多数の物体モデルに適合する場合には、ここでは、適合した全ての結果を記録しておくものとする。そして、初期照合部１０２は、Ｓ１０４での照合結果（適合した物体モデルと物体の位置姿勢）を、初期照合結果として出力する（Ｓ１０５）。 When the distance data is a bar-shaped class, the initial collating unit 102 estimates the initial position and orientation of the bar object using the object model (S104). More specifically, the initial matching unit 102 selects one of the distance data classified into the bar shape, and further selects two distance data from the distance data of the bar shape around the selected data. Then, the initial collation unit 102 calculates the distance between the bars and the angle formed between the bars, and collates with the object model (shape data 106). The matching may be performed using a known matching method. For example, the shape information of the scanning surface of the distance sensor (the length of two sides formed by the corners of the object and the angle formed by the shape information) is added in advance to the object model, and the initial verification unit 102 calculates the measurement data (distance data) and The shape information of the object model is compared. When the object model matches the distance data, the bar that is the target of matching is excluded from the next target of matching, and the matching with the object model is repeated until there is no matching target. In the case of conforming to a large number of object models, all conforming results are recorded here. Then, the initial matching unit 102 outputs the matching result in S104 (applicable object model and object position and orientation) as an initial matching result (S105).
一方で、距離データが棒形状のクラスでない場合には、初期照合部１０２は、距離データが辺形状のクラスであるか否かを判定する（Ｓ１０６）。辺形状のクラスである場合には、Ｓ１０７へと進む。一方で、辺形状のクラスでない場合には、Ｓ１０８へと進む。即ち、棒形状、及び、辺形状のいずれでもない距離データについては、物体モデルとの照合対象とはせずに、初期照合部１０２は、これらの距離データを除去する（Ｓ１０８）。 On the other hand, if the distance data is not a bar-shaped class, the initial matching unit 102 determines whether the distance data is a side-shaped class (S106). If it is a side shape class, the process proceeds to S107. On the other hand, if it is not a side shape class, the process proceeds to S108. That is, for the distance data that is neither the bar shape nor the side shape, the initial collation unit 102 removes the distance data without making it a collation target with the object model (S108).
距離データが辺形状のクラスである場合には、初期照合部１０２は、物体モデルを用いて、辺物体の初期位置姿勢を推定する（Ｓ１０７）。より具体的には、初期照合部１０２は、辺形状に分類された距離データから１つを選択してその辺の長さを計算し、物体モデル（形状データ１０６）と照合する。尚、照合は公知の照合方法を用いて行えばよい。例えば、距離センサの走査面の形状情報（物体の各辺の長さ）を物体モデルに予め付加しておき、初期照合部１０２は、計測データ（距離データ）と物体モデルの形状情報とを比較する。物体モデルと距離データとが合致する場合には、照合対象となった辺を次の照合対象から除外し、照合対象が無くなるまで、物体モデルとの照合を繰り返す。多数の物体モデルに適合する場合には、ここでは、適合した全ての結果を記録しておくものとする。そして、初期照合部１０２は、Ｓ１０７での照合結果（適合した物体モデルと物体の位置姿勢）を、初期照合結果として出力する（Ｓ１０５）。 When the distance data is a side shape class, the initial matching unit 102 estimates the initial position and orientation of the side object using the object model (S107). More specifically, the initial matching unit 102 selects one of the distance data classified into the side shape, calculates the length of the side, and matches it with the object model (shape data 106). The matching may be performed using a known matching method. For example, the shape information (length of each side of the object) of the scanning surface of the distance sensor is added in advance to the object model, and the initial matching unit 102 compares the measurement data (distance data) with the shape information of the object model. To do. If the object model matches the distance data, the side that is the target of matching is excluded from the next matching target, and matching with the object model is repeated until there are no more matching targets. In the case of conforming to a large number of object models, all conforming results are recorded here. Then, the initial matching unit 102 outputs the matching result in S107 (the adapted object model and the position and orientation of the object) as the initial matching result (S105).
続いて以下では、図９を参照しながら、初期照合結果に基づいて、物体の詳細な位置姿勢を推定する処理の詳細を説明する。図９は、ロボット１が行う物体の姿勢推定処理の手順を示すフローチャートである。 Next, the details of the process for estimating the detailed position and orientation of the object based on the initial collation result will be described with reference to FIG. FIG. 9 is a flowchart illustrating a procedure of an object posture estimation process performed by the robot 1.
まず、上述したようにして、特徴抽出部１０５は、カメラ部１０４によって得た画像データに対してエッジ処理を行い、線分を抽出する（Ｓ２０１）。また、特徴抽出部１０５は、ステレオ処理により距離画像（デプスマップ）を取得する（Ｓ２０２）。 First, as described above, the feature extraction unit 105 performs edge processing on the image data obtained by the camera unit 104 and extracts line segments (S201). In addition, the feature extraction unit 105 acquires a distance image (depth map) by stereo processing (S202).
以下、姿勢推定部１０６は、初期照合部１０２により得た初期照合結果と、特徴抽出部１０５により得た線分の画像データ及び距離画像とに基づいて、物体の位置姿勢を推定する。画像データの特徴に基づいて物体モデルとの照合を行う方法としては、公知の手法を採用することができる。ここでは、パーティクルフィルタによる物体の位置姿勢の推定方法を用いて、照合を行うものとして説明する。 Hereinafter, the posture estimation unit 106 estimates the position and posture of the object based on the initial collation result obtained by the initial collation unit 102 and the line segment image data and distance image obtained by the feature extraction unit 105. As a method for collating with the object model based on the characteristics of the image data, a known method can be adopted. Here, a description will be given on the assumption that collation is performed using an object position / orientation estimation method using a particle filter.
ここでは、各パーティクルを、物体の位置姿勢を示す変数により構成する。例えば、テーブルのように床面上に存在する物体の場合には、３つの変数（平面移動の２自由度、及び、床面垂直軸周りの回転１自由度）により構成する。初期照合の結果を用いることで、パーティクルの個数を少量に限定することができるため、位置姿勢推定処理の高速化が可能となる。 Here, each particle is constituted by a variable indicating the position and orientation of the object. For example, in the case of an object that exists on the floor surface such as a table, the object is constituted by three variables (two degrees of freedom of plane movement and one degree of freedom of rotation around the vertical axis of the floor surface). Since the number of particles can be limited to a small amount by using the result of the initial collation, the position / orientation estimation process can be speeded up.
まず、姿勢推定部１０６は、初期照合の結果を用いて、パーティクルを設定する（Ｓ２０３）。具体的には、初期照合結果として得られた物体の初期形状と初期位置姿勢を中心として、その初期結果の近傍に複数のパーティクルを設定する。 First, the posture estimation unit 106 sets particles using the result of the initial matching (S203). Specifically, a plurality of particles are set in the vicinity of the initial result centered on the initial shape and initial position and orientation of the object obtained as the initial collation result.
次いで、姿勢推定部１０６は、物体モデルを各パーティクルに射影する（Ｓ２０４）。即ち、設定した各パーティクルに対して、物体モデル（形状データ１０６）を射影する。 Next, the posture estimation unit 106 projects the object model onto each particle (S204). That is, the object model (shape data 106) is projected on each set particle.
次いで、姿勢推定部１０６は、各パーティクルについて、射影した物体モデルと、画像エッジ・距離画像とのデータ比較処理を行う（Ｓ２０４）。即ち、姿勢推定部１０６は、各パーティクルに射影された物体モデルと、画像データから抽出した特徴との整合性を評価する。より具体的には、画像データの特徴（線分の画像データ及び距離画像）と、３次元形状データ１０３との誤差を評価する。 Next, the posture estimation unit 106 performs data comparison processing between the projected object model and the image edge / distance image for each particle (S204). That is, the posture estimation unit 106 evaluates the consistency between the object model projected on each particle and the feature extracted from the image data. More specifically, an error between the characteristics of the image data (line segment image data and distance image) and the three-dimensional shape data 103 is evaluated.
次いで、姿勢推定部１０６は、データ比較処理の結果に応じて、各パーティクルの重み付け処理を行う（Ｓ２０６）。例えば、姿勢推定部１０６は、誤差の小さなパーティクルほど、大きな重みを設定する。 Next, the posture estimation unit 106 performs weighting processing for each particle according to the result of the data comparison processing (S206). For example, the posture estimation unit 106 sets a larger weight for a particle with a smaller error.
次いで、姿勢推定部１０６は、パーティクルの変数及び重みが収束したか否かを判定する（Ｓ２０７）。判定の結果、収束していない場合には、Ｓ２０６で設定した重みに基づいて、パーティクルの再サンプリングを行い、Ｓ２０５へと進む。そして、Ｓ２０５以降の処理をパーティクルが収束するまでの間繰り返す。 Next, the posture estimation unit 106 determines whether or not the particle variables and weights have converged (S207). If the result of the determination is that it has not converged, the particles are resampled based on the weight set in S206, and the process proceeds to S205. Then, the processes after S205 are repeated until the particles converge.
一方で、判定の結果、収束した場合には、姿勢推定部１０６は、最も重みの大きなパーティクルの値を、物体の形状と位置姿勢の推定値として出力する。 On the other hand, if the result of the determination is that it has converged, the posture estimation unit 106 outputs the value of the particle having the largest weight as the estimated value of the shape and position / posture of the object.
このように、距離センサによる初期位置姿勢の推定結果を物体の位置姿勢の推定に用いることで、検索範囲を限定し、計算速度と認識精度を向上させることができる。特に、テクスチャの少ない対象物の周囲に複雑なテクスチャを持つ物体が乱雑に存在する環境の場合においても、距離センサにより対象物体の初期値を効果的に推定することで、物体の位置姿勢を少ない計算時間で、かつ、正確に推定することができる。 Thus, by using the estimation result of the initial position and orientation by the distance sensor for the estimation of the position and orientation of the object, it is possible to limit the search range and improve the calculation speed and the recognition accuracy. In particular, even in an environment where objects with complex textures exist randomly around an object with few textures, the initial value of the target object is effectively estimated by the distance sensor, thereby reducing the position and orientation of the object. The calculation time can be accurately estimated.
その他の実施の形態．
上述した実施の形態１で位置姿勢の推定対象とする物体について、距離センサの走査面上であり、かつ、物体の表面上に、距離センサの照射光を反射する反射マーカを設けるようにしてもよい。さらに、反射マーカを、物体の角部に設けるようにしてもよい。これにより、レーザレンジファインダ等のアクティブ距離センサを利用して物体の位置姿勢を推定する際に、初期照合時の頑健性を向上させることができる。例えば図１０（ａ）に示すように、物体２の角部の表面上に反射マーカ４ａ、４ｂ、４ｃ、４ｄを設ける。また、反射マーカ４ａ、４ｂ、４ｃ、４ｄは、距離センサの走査面（距離センサの照射光の走査線３上の平面）に設ける。図１０（ｂ）は、距離センサにより取得したレンジデータを示す概念図であり、反射マーカ４ａ、４ｂ、４ｃ、４ｄを設けることで、物体２の形状や位置姿勢の推定精度を向上させることができる。
Other embodiments.
With respect to the object to be estimated for position and orientation in the first embodiment described above, a reflective marker that reflects the irradiation light of the distance sensor is provided on the scanning surface of the distance sensor and on the surface of the object. Good. Furthermore, you may make it provide a reflective marker in the corner | angular part of an object. Thereby, when estimating the position and orientation of an object using an active distance sensor such as a laser range finder, it is possible to improve robustness at the time of initial verification. For example, as shown in FIG. 10A, reflection markers 4a, 4b, 4c, and 4d are provided on the surface of the corner of the object 2. The reflection markers 4a, 4b, 4c, and 4d are provided on the scanning surface of the distance sensor (the plane on the scanning line 3 of the irradiation light of the distance sensor). FIG. 10B is a conceptual diagram showing the range data acquired by the distance sensor. By providing the reflective markers 4a, 4b, 4c, and 4d, it is possible to improve the estimation accuracy of the shape and position / orientation of the object 2. it can.
また、距離センサから、作業環境内に存在する物体との距離情報に加えて、距離センサの照射光の反射強度情報をも計測するようにしてもよい。さらには、距離センサの計測情報について、計測した作業環境内に存在する物体との距離に応じて、照射光の反射強度に対して所定の閾値を設定し、閾値以上の反射強度を有する照射光のみからレンジデータを生成するようにしてもよい。これにより、初期照合時の頑健性をより向上させることができる。 Moreover, in addition to the distance information with the object existing in the work environment, the reflection intensity information of the irradiation light of the distance sensor may be measured from the distance sensor. Furthermore, with respect to the measurement information of the distance sensor, a predetermined threshold is set for the reflection intensity of the irradiation light according to the distance from the measured object in the work environment, and the irradiation light having a reflection intensity equal to or higher than the threshold The range data may be generated only from the above. Thereby, the robustness at the time of initial collation can be improved more.
尚、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。 It should be noted that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention already described.
１ ロボット、 ２ 物体、 ３ 走査線、 ４ａ、４ｂ、４ｃ 反射マーカ、
１０１ レーザレンジファインダ、 １０２ 初期照合部、
１０３ 形状データ、 １０４ カメラ部、１０４ａ、１０４ｂ カメラ、
１０５ 特徴抽出部、 １０６ 姿勢推定部、
1 robot, 2 object, 3 scanning line, 4a, 4b, 4c reflective marker,
101 laser range finder, 102 initial verification unit,
103 shape data, 104 camera unit, 104a, 104b camera,
105 feature extraction unit, 106 posture estimation unit,
Claims (12)
前記生成したレンジデータを形状データと照合することによって、前記物体の形状と位置姿勢を推定する初期照合部と、
前記物体を撮像した画像データを生成するカメラ部と、
前記画像データの特徴を抽出する特徴抽出部と、
前記初期照合部により推定した前記物体の形状と位置姿勢を初期値として、前記物体の位置姿勢を推定する姿勢推定部と、
を備え、
前記初期照合部は、
前記生成したレンジデータから前記物体の形状が棒形状であるか又は辺形状であるかを識別する識別器と、
前記物体の形状が棒形状である場合に、前記物体を前記形状データと照合することによって、前記棒物体の位置姿勢を推定する棒形状初期位置推定器と、
前記物体の形状が辺形状である場合に、前記物体を前記形状データと照合することによって、前記辺物体の位置姿勢を推定する辺形状初期位置推定器と、を備え、
前記姿勢推定部は、
前記初期照合部により推定した前記棒物体の位置姿勢および前記辺物体の位置姿勢を中心として前記物体の位置姿勢を示す変数により構成するパーティクルを複数個設定し、前記各パーティクルに対して前記物体の形状と位置姿勢を射影するモデル射影部と、
前記特徴抽出部で抽出した前記画像データの特徴と、前記モデル射影部で設定した前記パーティクルに含まれる前記物体の形状と位置姿勢とを比較する比較部と、
前記比較部による比較結果に応じて前記各パーティクルの重みを評価する評価部と、を備え、
前記評価部による評価結果が収束するまでの間、前記パーティクルに対する処理を繰り返す
ロボット装置。 A distance sensor that measures the distance to an object in the work environment and generates range data;
An initial collation unit that estimates the shape and position / orientation of the object by collating the generated range data with shape data;
A camera unit for generating image data obtained by imaging the object;
A feature extraction unit for extracting features of the image data;
The shape and position and orientation of the object estimated by the initial matching section as an initial value, and posture estimation unit for estimating the position and orientation of front Symbol object,
Bei to give a,
The initial matching unit is
An identifier for identifying whether the shape of the object is a bar shape or a side shape from the generated range data;
When the shape of the object is a rod shape, a rod shape initial position estimator that estimates the position and orientation of the rod object by comparing the object with the shape data;
A side shape initial position estimator that estimates the position and orientation of the side object by collating the object with the shape data when the shape of the object is a side shape;
The posture estimation unit
A plurality of particles composed of variables indicating the position and orientation of the object centered on the position and orientation of the stick object and the position and orientation of the side object estimated by the initial verification unit are set, and the object A model projection unit that projects the shape and position and orientation;
A comparison unit that compares the feature of the image data extracted by the feature extraction unit with the shape and position / posture of the object included in the particles set by the model projection unit;
An evaluation unit that evaluates the weight of each particle according to the comparison result by the comparison unit,
The process for the particles is repeated until the evaluation result by the evaluation unit converges.
Robot apparatus.
前記カメラ部で生成した画像データから、エッジ処理により線分を抽出すると共に、ステレオ処理により距離画像を取得する
ことを特徴とする請求項１記載のロボット装置。 The feature extraction unit includes:
The robot apparatus according to claim 1, wherein a line segment is extracted by edge processing from the image data generated by the camera unit, and a distance image is acquired by stereo processing.
ことを特徴とする請求項１又は２記載のロボット装置。 It said distance is on the scanning surface of the sensor, and, on the surface of the object, claim 1 or 2 SL placing the robot and providing a reflective marker that reflects irradiation light of the distance sensor.
ことを特徴とする請求項３記載のロボット装置。 The reflective markers to claim 3 Symbol mounting of the robot apparatus, characterized in that provided in the corner of the object.
前記作業環境内に存在する物体との距離と、前記距離センサの照射光の反射強度とを計測して前記レンジデータを生成する
ことを特徴とする請求項１乃至４いずれか１項記載のロボット装置。 The distance sensor is
Wherein the distance between an object existing in the working environment, the distance claim 1乃Optimum 4 have Zureka 1 wherein the reflection intensity of irradiation light is measured and generates the range sensor data, wherein Robotic device.
前記計測した作業環境内に存在する物体との距離に応じて、前記照射光の反射強度に対して所定の閾値を設定し、前記閾値以上の反射強度を有する照射光から前記レンジデータを生成する
ことを特徴とする請求項５記載のロボット装置。 The distance sensor is
A predetermined threshold is set for the reflection intensity of the irradiation light according to the measured distance to the object in the work environment, and the range data is generated from the irradiation light having the reflection intensity equal to or higher than the threshold. 5. Symbol mounting of the robot apparatus, characterized in that.
前記生成したレンジデータを形状データと照合することによって、前記物体の初期形状と初期位置姿勢を推定し、
カメラによって撮像した前記物体の画像データを生成し、
前記生成した画像データの特徴を抽出し、
前記推定した前記物体の初期形状と初期位置姿勢を初期値として、前記物体の位置姿勢を推定する物体の位置姿勢推定方法であって、
前記生成したレンジデータを形状データと照合することによって、前記物体の初期形状と初期位置姿勢を推定するときに、
前記生成したレンジデータから前記物体の形状が棒形状であるか又は辺形状であるかを識別し、
前記物体の形状が棒形状である場合に、前記物体を前記形状データと照合することによって、前記棒物体の位置姿勢を推定し、
前記物体の形状が辺形状である場合に、前記物体を前記形状データと照合することによって、前記辺物***置姿勢を推定し、
前記推定した前記物体の初期形状と初期位置姿勢を初期値として、前記物体の位置姿勢を推定するときに、
前記推定した前記棒物体の初期位置姿勢および前記辺物体の初期位置姿勢を中心として前記物体の位置姿勢を示す変数により構成するパーティクルを複数個設定し、前記各パーティクルに対して前記物体の形状と位置姿勢を射影し、
前記抽出した前記画像データの特徴と、前記設定した前記パーティクルに含まれる前記物体の形状と位置姿勢とを比較し、
前記比較結果に応じて前記各パーティクルの重みを評価し、
前記評価結果が収束するまでの間、前記パーティクルに対する処理を繰り返す
物体の位置姿勢推定方法。 Range data is generated by measuring the distance to an object in the work environment with a distance sensor,
By comparing the generated range data with shape data, the initial shape and initial position and orientation of the object are estimated,
Generating image data of the object imaged by the camera;
Extracting features of the generated image data;
The initial shape and the initial position and orientation of the object with the estimated as an initial value, a position and orientation estimation method of an object for estimating the position and orientation of front Symbol object,
When estimating the initial shape and initial position and orientation of the object by collating the generated range data with shape data,
Identifying whether the shape of the object is a rod shape or a side shape from the generated range data;
When the shape of the object is a rod shape, the position and orientation of the rod object is estimated by comparing the object with the shape data,
When the shape of the object is a side shape, the side object position and orientation is estimated by collating the object with the shape data,
When estimating the position and orientation of the object using the estimated initial shape and initial position and orientation of the object as initial values,
A plurality of particles configured with variables indicating the position and orientation of the object centered on the estimated initial position and orientation of the stick object and the initial position and orientation of the side object are set, and the shape of the object for each particle Project the position and orientation,
Compare the characteristics of the extracted image data with the shape and position / posture of the object included in the set particles,
Evaluate the weight of each particle according to the comparison result,
Until the evaluation result converges, the processing on the particles is repeated.
Position and orientation estimation method of the object body.
ことを特徴とする請求項７記載の物体の位置姿勢推定方法。 From the image data obtained by the generated extracts a line segment by the edge processing, the position and orientation estimation method of an object according to claim 7 Symbol mounting and acquires the range image by the stereo processing.
ことを特徴とする請求項７又は８記載の物体の位置姿勢推定方法。 Said distance is on the scanning surface of the sensor, and, on the surface of the object, the position and orientation estimation of the distance object according to claim 7 or 8 Symbol mounting and providing a reflective marker that reflects irradiation light sensor Method.
ことを特徴とする請求項９記載の物体の位置姿勢推定方法。 Said reflective marker, position and orientation estimation method of an object according to claim 9 Symbol mounting, characterized in that provided in the corner of the object.
前記作業環境内に存在する物体との距離と、前記距離センサの照射光の反射強度とを計測して前記レンジデータを生成する
ことを特徴とする請求項７乃至１０いずれか１項記載の物体の位置姿勢推定方法。 By the distance sensor,
Wherein the distance between an object existing in the working environment, the distance light irradiated reflection intensity and the measurement to claims 7 to 10 have Zureka preceding claim, characterized in that to produce the range data of the sensor Object position and orientation estimation method.
前記計測した作業環境内に存在する物体との距離に応じて、前記照射光の反射強度に対して所定の閾値を設定し、前記閾値以上の反射強度を有する照射光から前記レンジデータを生成する
ことを特徴とする請求項１１記載の物体の位置姿勢推定方法。 By the distance sensor,
A predetermined threshold is set for the reflection intensity of the irradiation light according to the measured distance to the object in the work environment, and the range data is generated from the irradiation light having the reflection intensity equal to or higher than the threshold. position and orientation estimation method of an object according to claim 11 Symbol mounting, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008227043A JP5297727B2 (en) | 2008-09-04 | 2008-09-04 | Robot apparatus and object position / orientation estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008227043A JP5297727B2 (en) | 2008-09-04 | 2008-09-04 | Robot apparatus and object position / orientation estimation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010060451A JP2010060451A (en) | 2010-03-18 |
| JP5297727B2 true JP5297727B2 (en) | 2013-09-25 |
Family
ID=42187393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008227043A Expired - Fee Related JP5297727B2 (en) | 2008-09-04 | 2008-09-04 | Robot apparatus and object position / orientation estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5297727B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5444952B2 (en) * | 2009-08-28 | 2014-03-19 | 富士通株式会社 | Apparatus, method, and program for automatic generation of map by sensor fusion, and movement of moving object using such automatically generated map |
| JP5624394B2 (en) * | 2010-07-16 | 2014-11-12 | キヤノン株式会社 | Position / orientation measurement apparatus, measurement processing method thereof, and program |
| JP5470190B2 (en) * | 2010-08-03 | 2014-04-16 | 株式会社日立製作所 | 3D environment generation system |
| JP5496008B2 (en) * | 2010-08-06 | 2014-05-21 | キヤノン株式会社 | Position / orientation measuring apparatus, position / orientation measuring method, and program |
| JP5839971B2 (en) * | 2010-12-14 | 2016-01-06 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| BR112016010089B1 (en) | 2013-11-13 | 2021-06-08 | Nissan Motor Co. Ltd. | moving body position estimating device and moving body position estimating method |
| US9233469B2 (en) * | 2014-02-13 | 2016-01-12 | GM Global Technology Operations LLC | Robotic system with 3D box location functionality |
| JP6332128B2 (en) * | 2015-04-24 | 2018-05-30 | トヨタ自動車株式会社 | Object recognition apparatus and object recognition method |
| JP6782903B2 (en) * | 2015-12-25 | 2020-11-11 | 学校法人千葉工業大学 | Self-motion estimation system, control method and program of self-motion estimation system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3097295B2 (en) * | 1992-04-13 | 2000-10-10 | トヨタ自動車株式会社 | 3D object recognition device |
| JP3614935B2 (en) * | 1995-06-20 | 2005-01-26 | オリンパス株式会社 | 3D image measuring device |
| JP3893169B2 (en) * | 1996-06-18 | 2007-03-14 | コニカミノルタホールディングス株式会社 | 3D measuring device |
| JP2920513B2 (en) * | 1997-01-21 | 1999-07-19 | 工業技術院長 | 3D object position and orientation determination method |
| JP2001221636A (en) * | 2000-02-10 | 2001-08-17 | Nkk Corp | Three-dimensional coordinate measuring method and measuring device |
| JP3437141B2 (en) * | 2000-04-04 | 2003-08-18 | 川崎重工業株式会社 | Pattern recognition method and apparatus |
| JP4193519B2 (en) * | 2003-02-27 | 2008-12-10 | セイコーエプソン株式会社 | Object identification method and object identification apparatus |
| JP4802891B2 (en) * | 2006-06-27 | 2011-10-26 | トヨタ自動車株式会社 | Distance measuring system and distance measuring method |
| JP4690971B2 (en) * | 2006-08-30 | 2011-06-01 | 日本放送協会 | Shape estimation apparatus and shape estimation program |
-
2008
- 2008-09-04 JP JP2008227043A patent/JP5297727B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010060451A (en) | 2010-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5297727B2 (en) | Robot apparatus and object position / orientation estimation method | |
| JP5328979B2 (en) | Object recognition method, object recognition device, autonomous mobile robot | |
| US9836645B2 (en) | Depth mapping with enhanced resolution | |
| KR101283262B1 (en) | Method of image processing and device thereof | |
| US9449431B2 (en) | Systems and methods for matching scenes using mutual relations between features | |
| JP5618569B2 (en) | Position and orientation estimation apparatus and method | |
| JP5870273B2 (en) | Object detection apparatus, object detection method, and program | |
| Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
| Sinha et al. | Camera network calibration and synchronization from silhouettes in archived video | |
| Bab-Hadiashar et al. | Range image segmentation using surface selection criterion | |
| JP2010176380A (en) | Information processing device and method, program, and recording medium | |
| KR102012179B1 (en) | APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION | |
| US9727776B2 (en) | Object orientation estimation | |
| Akkaladevi et al. | Tracking multiple rigid symmetric and non-symmetric objects in real-time using depth data | |
| JP6172432B2 (en) | Subject identification device, subject identification method, and subject identification program | |
| JP2018072198A (en) | Position posture estimation device, position posture estimation method, and position posture estimation program | |
| JP2018195070A (en) | Information processing apparatus, information processing method, and program | |
| JP6124566B2 (en) | Image recognition method and image recognition apparatus | |
| Cociaş et al. | Multiple-superquadrics based object surface estimation for grasping in service robotics | |
| Ward et al. | A model-based approach to recovering the structure of a plant from images | |
| JP5960642B2 (en) | 3D information acquisition method and 3D information acquisition apparatus | |
| JP4876742B2 (en) | Image processing apparatus and image processing program | |
| Hemmat et al. | Improved ICP-based pose estimation by distance-aware 3D mapping | |
| JP2011174891A (en) | Device and method for measuring position and attitude, and program | |
| Zhang et al. | Kinect-based universal range sensor for laboratory experiments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120502 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5297727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |