JP5991730B2 - Measuring device, measuring method and program - Google Patents

Measuring device, measuring method and program Download PDF

Info

Publication number
JP5991730B2
JP5991730B2 JP2012016813A JP2012016813A JP5991730B2 JP 5991730 B2 JP5991730 B2 JP 5991730B2 JP 2012016813 A JP2012016813 A JP 2012016813A JP 2012016813 A JP2012016813 A JP 2012016813A JP 5991730 B2 JP5991730 B2 JP 5991730B2
Authority
JP
Japan
Prior art keywords
image data
distance image
model
dimensional shape
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012016813A
Other languages
Japanese (ja)
Other versions
JP2013156146A (en
Inventor
小竹　大輔
大輔 小竹
祐介 中里
祐介 中里
圭祐 立野
圭祐 立野
内山　晋二
晋二 内山
小林　一彦
一彦 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012016813A priority Critical patent/JP5991730B2/en
Publication of JP2013156146A publication Critical patent/JP2013156146A/en
Application granted granted Critical
Publication of JP5991730B2 publication Critical patent/JP5991730B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、物体の位置、姿勢及び変形のうちの少なくとも何れか一つを計測する技術に関するものである。   The present invention relates to a technique for measuring at least one of the position, posture, and deformation of an object.

近年、ロボット技術の発展とともに、工業製品の組立のようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このような目的には主にアーム型のロボットが利用され、ロボットはアームの先端に装着されたハンド等のエンドエフェクタによって部品を把持して組立を行う。部品が変形する場合、その部品上の特定の場所を把持するためには、部品の位置及び姿勢に加えてその形状を知る必要がある。非特許文献１には、複数の剛体と剛体間をつなぐ関節とによって物体をモデル化し、濃淡画像を用いたモデルフィッティングにより物体の位置、姿勢及び変形を推定する方法が開示されている。この方法では、剛体を３次元の線分の集合としてモデル化する。そして、予め与えられる位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を初期値として、各３次元の線分の投影像が撮像された画像データ上のエッジに当てはまるようにモデルフィッティングが行われる。   In recent years, with the development of robot technology, robots are starting to perform complicated tasks such as assembly of industrial products that have been performed by humans instead. For this purpose, an arm-type robot is mainly used, and the robot grips and assembles parts by an end effector such as a hand attached to the tip of the arm. When a part is deformed, in order to grasp a specific place on the part, it is necessary to know its shape in addition to the position and orientation of the part. Non-Patent Document 1 discloses a method of modeling an object by a plurality of rigid bodies and joints connecting the rigid bodies, and estimating the position, posture, and deformation of the object by model fitting using a grayscale image. In this method, a rigid body is modeled as a set of three-dimensional line segments. Then, using approximate values of position parameters, posture parameters, and deformation parameters given in advance as an initial value, model fitting is performed so that projection images of each three-dimensional line segment are applied to the edges on the captured image data.

上述した複数の剛体と関節とからなるモデルを用いて、部品の位置及び姿勢を計測する場合、高精度な計測を行うためには部品の形状の近似度が上がるように剛体の数を増やす必要がある。剛体の数を増やすと関節数が増えるため、モデルフィッティング時に最適化するパラメータの数が増大する。これにより、最適化計算に時間がかかる、オーバーフィッティングが起こるため、局所解に陥りやすいという問題が生じる。非特許文献２には、関節モデルを用いて人間の運動を推定する際に、全ての関節角を同時に求めるのではなく、関節構造を階層的に表現して上位階層から逐次的に関節角を求めることで局所解を回避する方法が開示されている。   When measuring the position and orientation of a part using the above-mentioned model consisting of multiple rigid bodies and joints, it is necessary to increase the number of rigid bodies so that the approximation of the shape of the part increases in order to perform highly accurate measurement. There is. When the number of rigid bodies is increased, the number of joints increases, so that the number of parameters to be optimized during model fitting increases. As a result, the optimization calculation takes time, and overfitting occurs, so that there is a problem that it tends to fall into a local solution. In Non-Patent Document 2, when estimating a human motion using a joint model, instead of obtaining all joint angles at the same time, the joint structure is expressed hierarchically and the joint angles are sequentially determined from the upper layer. A method for avoiding a local solution by obtaining is disclosed.

T. Drummond and R. Cipolla, "Real-time visual tracking of complex structures," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002.T. Drummond and R. Cipolla, "Real-time visual tracking of complex structures," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002. 小川原，李，池内，“関節構造を持つ柔軟変形モデルを用いた人体運動の推定”，第9回画像の認識・理解シンポジウム（MIRU2006）予稿集，pp.994-999，2006.Ogawara, Lee, Ikeuchi, “Estimation of human motion using a flexible deformation model with joint structure”, Proceedings of the 9th Symposium on Recognition and Understanding of Images (MIRU2006), pp.994-999, 2006.

しかしながら、非特許文献２に開示される技術では、大局的な運動を表現する上位階層の関節を推定する際にも、下位階層の関節と同じ解像度のデータを用いているため、計算に時間がかかるという問題がある。   However, in the technique disclosed in Non-Patent Document 2, when estimating upper-layer joints that express global motion, data having the same resolution as lower-layer joints is used, so that time is required for calculation. There is a problem that it takes.

そこで、本発明の目的は、物体の位置、姿勢及び変形のうちの少なくとも何れか一つを、局所解に陥らず高速に計測することにある。   Accordingly, an object of the present invention is to measure at least one of the position, posture and deformation of an object at high speed without falling into a local solution.

本発明の計測装置は、複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の３次元形状モデルを保持する保持手段と、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力手段と、前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力手段と、前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測手段とを有することを特徴とする。 The measuring apparatus according to the present invention holds a plurality of three-dimensional shape models representing a measurement target object represented by a plurality of rigid bodies and joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies. and holding means, the position parameters of the measurement object, the approximate value input means for inputting Overview Once the value of the orientation parameters and deformation parameters, the range image data input means for inputting a distance image data to which the measurement object is captured , based on said distance image data converted to a resolution corresponding to the plurality of three-dimensional shape model and the plurality of 3-dimensional shape model approximation level, the plurality of three-dimensional geometric model and the plurality of three-dimensional to continue to update the approximate value by coarse-to-fine approach to the difference between the distance image data to approximate the level of the shape model is converted to the corresponding resolution is reduced More, the position parameters of the measurement object, and having a measuring means for measuring the attitude parameters and deformation parameters.

本発明によれば、物体の位置、姿勢及び変形のうちの少なくとも何れか一つを、局所解に陥らず高速に計測することが可能となる。   According to the present invention, at least one of the position, posture, and deformation of an object can be measured at high speed without falling into a local solution.

本発明の第１の実施形態に係る位置姿勢形状計測装置の構成を示す図である。It is a figure which shows the structure of the position and orientation shape measuring apparatus which concerns on the 1st Embodiment of this invention. 物体の３次元形状モデルを説明するための図である。It is a figure for demonstrating the three-dimensional shape model of an object. 本発明の第１の実施形態に係る位置姿勢形状計測装置の処理を示すフローチャートである。It is a flowchart which shows the process of the position and orientation shape measuring apparatus which concerns on the 1st Embodiment of this invention. 本発明の第２の実施形態に係る位置姿勢形状計測装置の構成を示す図である。It is a figure which shows the structure of the position and orientation shape measuring apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る位置姿勢形状計測装置の処理を示すフローチャートである。It is a flowchart which shows the process of the position and orientation shape measuring apparatus which concerns on the 2nd Embodiment of this invention.

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.

先ず、本発明の第１の実施形態について説明する。第１の実施形態では、局所的な剛体が１自由度を持つ関節によって接続されている物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定する方法について説明する。本実施形態では、このような位置パラメータ、姿勢パラメータ及び変形パラメータの計測対象となる物体として、長方形の集合によって表される長細い平面状の物体を想定する。なお、以下の説明においては、位置パラメータ、姿勢パラメータ及び変形パラメータの計測対象となる物体のことを、単に「物体」と称す。   First, a first embodiment of the present invention will be described. In the first embodiment, a method for estimating position parameters, posture parameters, and deformation parameters of an object in which a local rigid body is connected by a joint having one degree of freedom will be described. In the present embodiment, a long thin planar object represented by a set of rectangles is assumed as an object to be measured for such position parameters, posture parameters, and deformation parameters. In the following description, an object to be measured for position parameters, posture parameters, and deformation parameters is simply referred to as “object”.

図１は、第１の実施形態に係る位置姿勢形状計測装置１の構成を示す図である。図１に示すように、位置姿勢形状計測装置１は、３次元形状モデル保存部１１０、概略位置姿勢形状入力部１２０、距離画像入力部１３０、スムージング部１５０及び位置姿勢形状算出部１６０を備える。また、位置姿勢形状計測装置１には、距離画像撮像装置１００が接続されている。   FIG. 1 is a diagram illustrating a configuration of a position / orientation / shape measurement apparatus 1 according to the first embodiment. As shown in FIG. 1, the position / orientation / shape measuring apparatus 1 includes a three-dimensional shape model storage unit 110, an approximate position / orientation / shape input unit 120, a distance image input unit 130, a smoothing unit 150, and a position / orientation / shape calculation unit 160. In addition, a distance image capturing device 100 is connected to the position / orientation / shape measuring apparatus 1.

距離画像撮像装置１００は、物体を含むシーン中の複数の点と当該距離画像撮像装置１００との距離を計測し、距離画像データを出力する。ここでいう距離画像データとは、画素毎に距離画像撮像装置１００からの距離値が格納されている画像データである。本実施形態の距離画像撮像装置１００では、液晶プロジェクタから物体に照射された２次元のパターン光を撮影し、三角測量により画素毎に距離画像撮像装置１００からの距離を計測するアクティブ方式の距離センサを使用する。距離画像撮像装置１００において使用可能な距離センサはこれに限るものではない。即ち、光切断法やTime-of-flight方式等の他のアクティブ式のものや、ステレオカメラによるパッシブ式のもの等、距離画像データを出力することができれば、いかなる距離センサを用いてもよい。   The distance image capturing apparatus 100 measures distances between a plurality of points in a scene including an object and the distance image capturing apparatus 100 and outputs distance image data. The distance image data here is image data in which a distance value from the distance image capturing apparatus 100 is stored for each pixel. In the distance image capturing apparatus 100 according to the present embodiment, an active distance sensor that captures a two-dimensional pattern light irradiated to an object from a liquid crystal projector and measures the distance from the distance image capturing apparatus 100 for each pixel by triangulation. Is used. The distance sensor that can be used in the distance image capturing apparatus 100 is not limited to this. In other words, any distance sensor may be used as long as the distance image data can be output, such as another active type such as a light cutting method or a time-of-flight method, or a passive type using a stereo camera.

また、距離画像撮像装置１００の内部パラメータ（焦点距離、主点位置、レンズ歪みパラメータ）は、物体の３次元形状モデルを距離画像データ上に投影するために必要となるパラメータである。そのため、例えば、Zhangの方法（Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000.）によって事前に距離画像撮像装置１００をキャリブレーションしておく。距離画像撮像装置１００により生成された距離画像データは、距離画像入力部１３０を介して位置姿勢形状計測装置１に入力される。   Further, internal parameters (focal length, principal point position, lens distortion parameter) of the distance image capturing apparatus 100 are parameters necessary for projecting the three-dimensional shape model of the object onto the distance image data. Therefore, for example, according to Zhang's method (Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pages 1330-1334, 2000.) The range image capturing apparatus 100 is calibrated. The distance image data generated by the distance image capturing apparatus 100 is input to the position / orientation / shape measuring apparatus 1 via the distance image input unit 130.

３次元形状モデル保存部１１０は、物体の３次元形状モデルを保存する。本実施形態では、曲げによる変形のみを考慮し、伸縮による変形は無視できる程度に小さいと仮定する。物体を構成する複数の部品がほとんど伸縮しない場合、各部品は局所的には剛体であると仮定することができる。そのため、本実施形態では、図２（ａ）に示すように、物体の形状を、複数の剛体と２つの剛体間を接続する関節とから構成される３次元形状モデルによって記述する。各剛体は１つ以上の３次元面から構成されるものとして、点の集合及び各点を結んで構成される面の集合によって、各剛体の３次元形状モデルが定義される。剛体間を接続する関節は１又は２自由度を持つ関節である。本実施形態では、１自由度の関節によって剛体が接続されているとする。この場合、関節毎に１自由度の関節角が変形パラメータとして推定される。また本実施形態では、位置パラメータ、姿勢パラメータ及び変形パラメータの計測を行う際に、距離画像データの解像度と物体の形状の近似レベルとを連動させる。そのため、３次元形状モデル保存部１１０は、複数の近似レベルに対応して複数の３次元形状モデルを保持している。近似レベルは、物体を構成する剛体の数（即ち、関節数）によって変更される。図２（ｂ）に示すように、本実施形態では、近似レベルの異なる３つの３次元形状モデルを保持するものとする。本実施形態では、先ず、粗く近似された３次元形状モデルを用いて物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定する。その後、徐々に高精度な３次元形状モデルを用いた推定を行うcoarse-to-fineアプローチにより、高速に物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定する。また、近似レベルが低い場合には、低解像度の距離画像データを利用することで局所解に陥ることを防止する。   The three-dimensional shape model storage unit 110 stores a three-dimensional shape model of the object. In this embodiment, only deformation due to bending is considered, and it is assumed that deformation due to expansion and contraction is small enough to be ignored. If a plurality of parts constituting the object hardly expand or contract, it can be assumed that each part is locally a rigid body. Therefore, in the present embodiment, as shown in FIG. 2A, the shape of the object is described by a three-dimensional shape model composed of a plurality of rigid bodies and joints connecting the two rigid bodies. Each rigid body is composed of one or more three-dimensional surfaces, and a three-dimensional shape model of each rigid body is defined by a set of points and a set of surfaces formed by connecting the points. The joint connecting the rigid bodies is a joint having one or two degrees of freedom. In this embodiment, it is assumed that the rigid body is connected by a joint with one degree of freedom. In this case, a joint angle with one degree of freedom is estimated as a deformation parameter for each joint. Further, in the present embodiment, when measuring the position parameter, the posture parameter, and the deformation parameter, the resolution of the distance image data and the approximate level of the shape of the object are linked. Therefore, the three-dimensional shape model storage unit 110 holds a plurality of three-dimensional shape models corresponding to a plurality of approximation levels. The approximation level is changed depending on the number of rigid bodies (that is, the number of joints) constituting the object. As shown in FIG. 2B, in this embodiment, it is assumed that three three-dimensional shape models having different approximation levels are held. In the present embodiment, first, the position parameter, posture parameter, and deformation parameter of an object are estimated using a roughly approximated three-dimensional shape model. Thereafter, the position parameter, posture parameter, and deformation parameter of the object are estimated at high speed by a coarse-to-fine approach that performs estimation using a highly accurate three-dimensional shape model. Further, when the approximation level is low, the use of low-resolution distance image data prevents a local solution from falling.

概略位置姿勢形状入力部１２０は、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する。位置姿勢形状計測装置１には、位置及び姿勢の計測の基準となる３次元座標系（基準座標系）が規定されているものとする。なお、物体の位置及び姿勢とは、基準座標系における物体の位置及び姿勢を意味する。基準座標系は、距離画像撮像装置１００の中心を原点とし、距離画像撮像装置１００により撮像される距離画像データの水平方向をｘ軸、垂直方向をｙ軸とし、距離画像撮像装置１００の光軸方向をｚ軸とする座標系で定義される。なお、概略位置姿勢形状入力部１２０は、概略値入力手段の適用例となる構成である。   The approximate position and orientation shape input unit 120 inputs approximate values of the position parameter, orientation parameter, and deformation parameter of the object. It is assumed that the position / orientation / shape measurement apparatus 1 defines a three-dimensional coordinate system (reference coordinate system) that serves as a reference for measurement of position and orientation. Note that the position and orientation of the object mean the position and orientation of the object in the reference coordinate system. The reference coordinate system has the center of the distance image capturing apparatus 100 as the origin, the horizontal direction of the distance image data captured by the distance image capturing apparatus 100 as the x axis, and the vertical direction as the y axis, and the optical axis of the distance image capturing apparatus 100. It is defined in a coordinate system whose direction is the z-axis. The approximate position / posture shape input unit 120 is an application example of approximate value input means.

位置姿勢形状計測装置１は、様々な姿勢パラメータや変形パラメータで撮像された物体の距離画像データを予めテンプレートとして保持しておく。そして、概略位置姿勢形状入力部１２０は、入力される距離画像データと予め保持しているテンプレートとのマッチング（テンプレートマッチング）により、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を推定して入力する。但し、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値の入力方法は、これに限るものではない。例えば、時間軸方向に連続して位置パラメータ、姿勢パラメータ及び変形パラメータの計測を行う場合には、前回（前時刻）の計測値を、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値として用いてもよい。また、過去の位置パラメータ、姿勢パラメータ及び変形パラメータの計測値を基に夫々の変化量を推定し、過去の計測値と推定した変化量とから現在の計測値を予測したものを、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値として用いてもよい。また、物体のおおよその位置パラメータ、姿勢パラメータ及び変形パラメータが予めわかっている場合には、その値を、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値として用いてもよい。   The position / orientation / shape measurement apparatus 1 stores in advance a distance image data of an object imaged with various attitude parameters and deformation parameters as a template. Then, the approximate position / posture shape input unit 120 estimates and inputs approximate values of the position parameter, the posture parameter, and the deformation parameter by matching the input distance image data with a template stored in advance (template matching). . However, the method for inputting approximate values of the position parameter, posture parameter, and deformation parameter is not limited to this. For example, when measuring position parameters, posture parameters, and deformation parameters continuously in the time axis direction, the previous (previous time) measurement values may be used as approximate values of position parameters, posture parameters, and deformation parameters. Good. Moreover, each change amount is estimated based on the measurement values of the past position parameter, posture parameter, and deformation parameter, and the current measurement value is predicted from the past measurement value and the estimated change amount. You may use as an approximate value of an attitude | position parameter and a deformation | transformation parameter. Further, when the approximate position parameter, posture parameter, and deformation parameter of the object are known in advance, the values may be used as approximate values of the position parameter, posture parameter, and deformation parameter.

距離画像入力部１３０は、距離画像撮像装置１００から距離画像データを入力する。スムージング部１５０は、距離画像入力部１３０において入力された距離画像データに対してスムージング処理を施す。位置姿勢形状算出部１６０は、スムージング処理が施された距離画像データと、３次元形状モデル保存部１１０に保存される３次元形状モデルとに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する。   The distance image input unit 130 inputs distance image data from the distance image capturing apparatus 100. The smoothing unit 150 performs a smoothing process on the distance image data input by the distance image input unit 130. The position / orientation / shape calculation unit 160 calculates the position parameter, the posture parameter, and the deformation parameter of the object based on the distance image data subjected to the smoothing process and the three-dimensional shape model stored in the three-dimensional shape model storage unit 110. measure.

図３は、本発明の第１の実施形態に係る位置姿勢形状計測装置１の処理を示すフローチャートである。以下、図３を参照しながら、第１の実施形態に係る位置姿勢形状計測装置１の処理について詳細に説明する。   FIG. 3 is a flowchart showing processing of the position / orientation / shape measurement apparatus 1 according to the first embodiment of the present invention. Hereinafter, the processing of the position / orientation / shape measurement apparatus 1 according to the first embodiment will be described in detail with reference to FIG. 3.

ステップＳ１０１０において、位置姿勢形状計測装置１は初期化処理を行う。即ち、概略位置姿勢形状入力部１２０は、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を初期値として入力する。本実施形態では、この初期値として入力された位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を、撮像された距離画像データに基づいて逐次更新していく。なお、本実施形態では、上述したテンプレートマッチングにより推定された位置パラメータ、姿勢パラメータ及び変形パラメータを上記概略値として用いるものとする。   In step S1010, the position / orientation / shape measurement apparatus 1 performs an initialization process. That is, the approximate position / posture shape input unit 120 inputs the approximate values of the position parameter, posture parameter, and deformation parameter of the object as initial values. In the present embodiment, the approximate values of the position parameter, posture parameter, and deformation parameter input as the initial values are sequentially updated based on the captured distance image data. In the present embodiment, the position parameter, posture parameter, and deformation parameter estimated by the template matching described above are used as the approximate value.

ステップＳ１０２０において、距離画像入力部１３０は、距離画像撮像装置１００により撮像された距離画像データ（以下、計測距離画像データと称す）を入力する。なお、ここで入力される計測距離画像データの各画素には、距離画像撮像装置１００からの距離値が格納されている。また、ステップＳ１０２０は、画像データ入力手段の処理例である。   In step S <b> 1020, the distance image input unit 130 inputs distance image data (hereinafter referred to as measurement distance image data) captured by the distance image capturing apparatus 100. A distance value from the distance image capturing apparatus 100 is stored in each pixel of the measured distance image data input here. Step S1020 is a processing example of the image data input unit.

ステップＳ１０３０において、位置姿勢形状算出部１６０は、位置パラメータ、姿勢パラメータ及び変形パラメータを推定する際の近似レベルＬを１に設定する。近似レベルＬは正の整数値をとる変数であり、最も粗い場合の近似レベルＬは１であり、高精度になるにつれその値が増加するものとする。本実施形態では、物体の形状の近似レベルＬを３段階で表すため、近似レベルＬは１、２、３の何れかの値をとる。Ｌmaxは近似レベルＬの最大値を表し、ここでは３である。３次元形状モデル保存部１１０には、各近似レベルＬに対応する物体の３次元形状モデルが保存されている。本実施形態では、図２（ｂ）に示すように、近似レベルＬ＝１の場合、剛体が１個（関節数０）、近似レベルＬ＝２の場合、剛体が４個（関節数３）、近似レベルＬ＝３の場合、剛体が８個（関節数７）によって構成される３次元形状モデルが保存されている。 In step S <b> 1030, the position / orientation shape calculation unit 160 sets the approximation level L for estimating the position parameter, the attitude parameter, and the deformation parameter to 1. The approximation level L is a variable that takes a positive integer value. The approximation level L in the coarsest case is 1, and the value increases as the accuracy increases. In the present embodiment, since the approximate level L of the shape of the object is expressed in three stages, the approximate level L takes one of 1, 2, and 3 values. L max represents the maximum value of the approximate level L, and is 3 here. The three-dimensional shape model storage unit 110 stores a three-dimensional shape model of an object corresponding to each approximation level L. In this embodiment, as shown in FIG. 2B, when the approximation level L = 1, there is one rigid body (number of joints 0), and when the approximation level L = 2, there are four rigid bodies (number of joints 3). When the approximation level L = 3, a three-dimensional shape model composed of 8 rigid bodies (7 joints) is stored.

ステップＳ１０５０において、スムージング部１５０は、ステップＳ１０２０で入力された計測距離画像データに対し、物体の形状が全体として滑らかになるように、画像平面上での近傍データを用いたスムージング処理を施す。本実施形態では、スムージング処理として、着目画素近傍Ｎ×Ｎピクセルの範囲において、標準偏差σのガウシアンフィルタによる平滑化が行われる。ガウシアンカーネルの標準偏差σは、計測距離画像データをどの程度平滑化されるかを決定するパラメータであり、大きくなればなるほど物体の形状は滑らかになる。その結果、位置パラメータ、姿勢パラメータ及び形状パラメータの推定処理は安定するが、形状を平滑化した分だけ推定される位置パラメータ、姿勢パラメータ及び変形パラメータが曖昧になる。本実施形態では、近似レベルＬが小さい場合はσを大きくとって処理を安定化し、近似レベルＬが大きくなるにつれて標準偏差σを小さくすることで最終的に位置パラメータ、姿勢パラメータ及び変形パラメータを高精度に推定できるようにする。Ｎは近傍を規定する範囲を示しており、その値は任意に決めてもよいし、ガウシアンカーネルの標準偏差σから求めてもよい。計測距離画像データの平滑化が行える限り、Ｎの設定に制限はない。また、スムージング処理は、ガウシアンフィルタの適用に限らず、平均化フィルタやメディアンフィルタを適用したり、計測距離画像データのサイズを縮小することにより、画像データの平滑化を行う処理であれば何でもよく、特に制限はない。本実施形態では、近似レベルＬ＝１の場合、標準偏差σ＝１．２５、範囲Ｎ＝５であり、近似レベルＬ＝２の場合、標準偏差σ＝０．７５、範囲Ｎ＝３に設定してガウシアンフィルタによる平滑化処理を行い、近似レベルＬ＝３の場合は平滑化を行わない。以上のようなスムージング処理を計測距離画像データ上の全画素に対して行うことにより、形状が滑らかに処理された計測距離画像データ（以下、平滑化計測距離画像データと称す）が得られる。   In step S1050, the smoothing unit 150 performs a smoothing process on the measurement distance image data input in step S1020 using the neighborhood data on the image plane so that the shape of the object becomes smooth as a whole. In the present embodiment, as the smoothing process, smoothing by a Gaussian filter with a standard deviation σ is performed in a range of N × N pixels near the target pixel. The standard deviation σ of the Gaussian kernel is a parameter that determines how much the measured distance image data is smoothed. The larger the value, the smoother the shape of the object. As a result, the estimation processing of the position parameter, posture parameter, and shape parameter is stabilized, but the position parameter, posture parameter, and deformation parameter estimated by the smoothed shape are ambiguous. In this embodiment, when the approximation level L is small, σ is increased to stabilize the process, and as the approximation level L increases, the standard deviation σ is decreased to finally increase the position parameter, posture parameter, and deformation parameter. Be able to estimate with accuracy. N indicates a range defining the neighborhood, and the value may be arbitrarily determined or may be obtained from the standard deviation σ of the Gaussian kernel. As long as the measurement distance image data can be smoothed, the setting of N is not limited. The smoothing process is not limited to the application of the Gaussian filter, and any process may be used as long as the image data is smoothed by applying an averaging filter or a median filter or reducing the size of the measurement distance image data. There is no particular limitation. In this embodiment, when the approximate level L = 1, the standard deviation σ = 1.25 and the range N = 5, and when the approximate level L = 2, the standard deviation σ = 0.75 and the range N = 3 are set. Then, smoothing processing by a Gaussian filter is performed, and smoothing is not performed when the approximation level L = 3. By performing the smoothing process as described above for all the pixels on the measurement distance image data, measurement distance image data (hereinafter referred to as smoothed measurement distance image data) whose shape is processed smoothly is obtained.

次に、スムージング部１５０は、平滑化計測距離画像データから３次元点群の座標を算出する。即ち、スムージング部１５０は、平滑化計測距離画像データ上の各画素について、画素の位置に対応する視線ベクトルと、当該画素に格納される距離値とを乗算することにより、各画素に対応する３次元点群の座標を求める。以上の処理を、平滑化計測距離画像データの全画素に対して行うことにより、滑らかな形状に変換された３次元点群の座標が得られる。   Next, the smoothing unit 150 calculates the coordinates of the three-dimensional point group from the smoothed measurement distance image data. That is, for each pixel on the smoothed measurement distance image data, the smoothing unit 150 multiplies the line-of-sight vector corresponding to the position of the pixel by the distance value stored in the pixel, and outputs 3 corresponding to each pixel. Find the coordinates of a dimension point group. By performing the above processing on all the pixels of the smoothed measurement distance image data, the coordinates of the three-dimensional point group converted into a smooth shape can be obtained.

ステップＳ１０６０において、位置姿勢形状算出部１６０は、ステップＳ１０５０において生成された平滑化計測距離画像データに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。ここでは、近似レベルＬが１より大きい場合、近似レベルＬ−１において算出された変形パラメータを近似レベルＬにおける変形パラメータに変換したものを、変形パラメータの概略値として用いる。   In step S1060, the position / orientation / shape calculation unit 160 calculates the position parameter, orientation parameter, and deformation parameter of the object based on the smoothed measurement distance image data generated in step S1050. Here, when the approximate level L is greater than 1, a value obtained by converting the deformation parameter calculated at the approximate level L-1 into the deformation parameter at the approximate level L is used as the approximate value of the deformation parameter.

先ず、位置姿勢形状算出部１６０は、ステップＳ１０５０で生成された平滑化計測距離画像データと３次元形状モデルとの対応付けを行う。即ち、位置姿勢形状算出部１６０は、近似レベルＬに対応する物体の３次元形状モデルを構成する剛体の各３次元面上において、画像平面上で等間隔となるように、又は３次元空間上で等間隔となるようにモデル点を設定する。なお、モデル点は、３次元座標とともに３次元の法線ベクトルも保持している。３次元空間上で等間隔になるようなモデル点の設定は、事前に行っておいてもよい。一方、画像平面上で等間隔になるようにモデル点を設定する場合、位置姿勢形状算出部１６０は、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値と、距離画像撮像装置１００の内部パラメータとを用いて、計測距離画像データ上に物体をレンダリングする。そして位置姿勢形状算出部１６０は、画像平面上の物体の領域内に等間隔にモデル点を配置する。位置姿勢形状算出部１６０は、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値と、距離画像撮像装置１００の内部パラメータとを用いて、計測距離画像データ上に各モデル点を投影する。そして、計測距離画像データ上でモデル点と同じ２次元座標となる平滑化計測距離画像データの３次元点が参照されることにより、モデル点と平滑化計測距離画像データの３次元点とが対応付けられる。   First, the position / orientation / shape calculation unit 160 associates the smoothed measurement distance image data generated in step S1050 with the three-dimensional shape model. That is, the position / orientation / shape calculation unit 160 is arranged on the three-dimensional surface of the rigid body constituting the three-dimensional shape model of the object corresponding to the approximation level L so as to be equidistant on the image plane or on the three-dimensional space. Set the model points so that they are evenly spaced. The model point also holds a three-dimensional normal vector as well as a three-dimensional coordinate. Model points that are equally spaced in the three-dimensional space may be set in advance. On the other hand, when setting the model points so as to be equally spaced on the image plane, the position / orientation shape calculation unit 160 calculates the approximate values of the position parameter, the attitude parameter, and the deformation parameter, and the internal parameters of the distance image capturing apparatus 100. Used to render the object on the measured distance image data. Then, the position / orientation / shape calculation unit 160 arranges the model points at equal intervals in the region of the object on the image plane. The position / orientation / shape calculation unit 160 projects each model point on the measured distance image data using the approximate values of the position parameter, the attitude parameter, and the deformation parameter and the internal parameters of the distance image capturing apparatus 100. Then, the model point and the 3D point of the smoothed measurement distance image data correspond to each other by referring to the 3D point of the smoothed measurement distance image data having the same 2D coordinates as the model point on the measurement distance image data. Attached.

次に、位置姿勢形状算出部１６０は、モデル点と平滑化計測距離画像データの３次元点との対応付けに基づいて、非線形最適化計算を用いて物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。本実施形態では、非線形最適化手法としてGauss-Newton法を用いるものとする。なお、非線形最適化手法はGauss-Newton法に限るものではない。例えば、より計算がロバストであるLevenberg-Marquardt法を用いてもよいし、よりシンプルな方法である最急降下法を用いてもよい。また、共役勾配法やＩＣＣＧ法等、他の非線形最適化計算手法を用いてもよい。   Next, the position / orientation / shape calculation unit 160 calculates the position parameter, the attitude parameter, and the deformation parameter of the object using nonlinear optimization calculation based on the association between the model point and the three-dimensional point of the smoothed measurement distance image data. calculate. In this embodiment, the Gauss-Newton method is used as the nonlinear optimization method. Note that the nonlinear optimization method is not limited to the Gauss-Newton method. For example, the Levenberg-Marquardt method, which is more robust in calculation, may be used, or the steepest descent method, which is a simpler method, may be used. Further, other nonlinear optimization calculation methods such as a conjugate gradient method and an ICCG method may be used.

物体の位置パラメータ、姿勢パラメータ及び変形パラメータの算出は、各モデル点に対応する平滑化計測距離画像データの３次元点が３次元形状モデルに当てはまるように、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を反復して更新することにより行われる。より具体的には、位置姿勢形状算出部１６０は、平滑化計測距離画像データ中の３次元点と、モデル点を含む平面との符号付距離を、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの関数として線形近似する。   The calculation of the position parameter, posture parameter, and deformation parameter of the object is performed such that the three-dimensional point of the smoothed measurement distance image data corresponding to each model point is applied to the three-dimensional shape model. This is done by iteratively updating the approximate value of. More specifically, the position / orientation / shape calculation unit 160 calculates the signed distance between the three-dimensional point in the smoothed measurement distance image data and the plane including the model point as the position parameter, orientation parameter, and deformation parameter of the object. Linear approximation as a function.

次に、位置姿勢形状算出部１６０は、符号付距離を０としたときに位置パラメータ、姿勢パラメータ及び変形パラメータの各計測値について成り立つ線形方程式を組立て、この線形方程式を連立方程式として解く。これにより、位置姿勢形状算出部１６０は、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの微小変化を求め、位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を更新する。以上の処理を繰り返すことにより、最終的な位置パラメータ、姿勢パラメータ及び変形パラメータが算出される。   Next, the position / orientation / shape calculation unit 160 assembles a linear equation that holds for each measurement value of the position parameter, the attitude parameter, and the deformation parameter when the signed distance is 0, and solves the linear equation as a simultaneous equation. As a result, the position / orientation shape calculation unit 160 obtains minute changes in the position parameter, orientation parameter, and deformation parameter of the object, and updates approximate values of the position parameter, orientation parameter, and deformation parameter. By repeating the above processing, final position parameters, posture parameters, and deformation parameters are calculated.

物体の形状の近似レベルＬが増加するとともに推定される変形パラメータ（関節角）が増えることにより、最初は大まかな推定を行い、徐々に高精度に推定していくcoarse-to-fineによる推定が可能となる。また、計測距離画像データの解像度と物体の形状の近似レベルＬとを連動させることにより、局所解に陥らず且つ高速に推定を行うことができる。計測距離画像データと３次元形状モデルとの誤差の最小化処理に関しては、本発明の本質に関わる事項ではないため、説明を省略する。最小化処理の詳細は、非特許文献［Y．Chen and G．Medioni，“Object modeling by registration of multiple range images，”Image and Vision Computing，10（3），pp．145−155,1992.］を参照されたい。   As the approximate level L of the shape of the object increases and the deformation parameters (joint angles) estimated increase, rough estimation is performed at first, and coarse-to-fine estimation is gradually performed with high accuracy. It becomes possible. Further, by linking the resolution of the measurement distance image data with the approximate level L of the shape of the object, the estimation can be performed at high speed without falling into a local solution. The process of minimizing the error between the measurement distance image data and the three-dimensional shape model is not a matter related to the essence of the present invention, and thus the description thereof is omitted. For details of the minimization process, see Non-Patent Document [Y. Chen and G. Medioni, “Object modeling by registration of multiple range images,” Image and Vision Computing, 10 (3), pp. 145-155, 1992.].

ステップＳ１０７０において、位置姿勢形状算出部１６０は、近似レベルＬに１を加算する。ステップＳ１０８０において、位置姿勢形状算出部１６０は、近似レベルＬが上限値Ｌmax（ここでは、３）を超えたか否かを判定する。近似レベルＬが上限値Ｌmaxを超えた場合、処理は終了する。一方、近似レベルＬが上限値Ｌmaxを超えていない場合、処理はステップＳ１０５０に戻る。そして、位置姿勢形状計測装置１は、より高い近似レベルＬの３次元形状モデルを用いて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの更新を行う。 In step S <b> 1070, the position / orientation shape calculation unit 160 adds 1 to the approximation level L. In step S1080, the position / orientation / shape calculation unit 160 determines whether or not the approximation level L exceeds an upper limit L max (here, 3). When the approximate level L exceeds the upper limit value L max , the process ends. On the other hand, when the approximate level L does not exceed the upper limit L max , the process returns to step S1050. Then, the position / orientation / shape measurement apparatus 1 updates the position parameter, the posture parameter, and the deformation parameter of the object using the three-dimensional shape model of the higher approximate level L.

以上説明したように、本実施形態においては、距離画像データの解像度と物体の形状の近似レベルＬとを連動させたcoarse-to-fineアプローチにより、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの推定を行う。これにより、本実施形態によれば、局所解に陥らず且つ高速に、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを推定することができる。   As described above, in the present embodiment, the position parameter, the posture parameter, and the deformation parameter of the object are estimated by the coarse-to-fine approach in which the resolution of the distance image data and the approximate level L of the object shape are linked. I do. Thereby, according to the present embodiment, the position parameter, posture parameter, and deformation parameter of the object can be estimated at high speed without falling into a local solution.

次に、本発明の第２の実施形態について説明する。第１の実施形態では、３次元形状モデルの近似レベルＬを距離画像データの解像度と連動させて推定を行った。これに対し、第２の実施形態では、３次元形状モデルの近似レベルＬだけではなく、３次元形状モデルが表す形状の詳細度（空間周波数）も距離画像データの解像度と連動させる。これにより、第２の実施形態では、さらに安定した物体の位置パラメータ、姿勢パラメータ及び変形パラメータの推定を行うことができる。   Next, a second embodiment of the present invention will be described. In the first embodiment, the approximation level L of the three-dimensional shape model is estimated in conjunction with the resolution of the distance image data. On the other hand, in the second embodiment, not only the approximation level L of the three-dimensional shape model but also the degree of detail (spatial frequency) of the shape represented by the three-dimensional shape model is linked with the resolution of the distance image data. Thereby, in the second embodiment, it is possible to estimate the position parameter, posture parameter, and deformation parameter of the object more stably.

図４は、本発明の第２の実施形態に係る位置姿勢形状計測装置２の構成を示す図である。図４に示すように、本発明の第２の実施形態に係る位置姿勢形状計測装置２は、３次元形状モデル保存部２１０、概略位置姿勢形状入力部２２０、距離画像入力部２３０、モデル投影部２４０、スムージング部２５０、及び、位置姿勢形状算出部２６０を備える。また、位置姿勢形状計測装置２には距離画像撮像装置２００が接続されている。距離画像撮像装置２００、３次元形状モデル保存部２１０、概略位置姿勢形状入力部２２０、距離画像入力部２３０はそれぞれ、第１の実施形態に係る距離画像撮像装置１００、３次元形状モデル保存部１１０、概略位置姿勢形状入力部１２０、距離画像入力部１３０と同一の構成であるため、これらについての説明は省略する。   FIG. 4 is a diagram showing a configuration of the position / orientation / shape measurement apparatus 2 according to the second embodiment of the present invention. As shown in FIG. 4, the position / orientation / shape measurement apparatus 2 according to the second embodiment of the present invention includes a three-dimensional shape model storage unit 210, a rough position / orientation / shape input unit 220, a distance image input unit 230, and a model projection unit. 240, a smoothing unit 250, and a position and orientation shape calculation unit 260. In addition, a distance image capturing apparatus 200 is connected to the position / orientation / shape measuring apparatus 2. The distance image capturing device 200, the three-dimensional shape model storage unit 210, the approximate position and orientation shape input unit 220, and the distance image input unit 230 are the distance image capturing device 100 and the three-dimensional shape model storage unit 110 according to the first embodiment, respectively. Since the configuration is the same as that of the approximate position / posture shape input unit 120 and the distance image input unit 130, description thereof will be omitted.

モデル投影部２４０は、３次元形状モデル保存部２１０に保存された３次元形状モデルを、概略位置姿勢形状入力部２２０により入力された位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を用いて、計測距離画像データの画像平面上に投影する。この投影処理の結果として、視点から３次元形状モデルの表面までの距離が格納された計測距離画像データ（以下、モデル距離画像データと称す）が生成される。   The model projection unit 240 measures the three-dimensional shape model stored in the three-dimensional shape model storage unit 210 using the approximate values of the position parameter, posture parameter, and deformation parameter input by the approximate position / posture shape input unit 220. The distance image data is projected onto the image plane. As a result of this projection processing, measurement distance image data (hereinafter referred to as model distance image data) in which the distance from the viewpoint to the surface of the three-dimensional shape model is stored is generated.

スムージング部２５０は、距離画像入力部２３０から入力された計測距離画像データと、モデル投影部２４０により生成されたモデル距離画像データとに対して、スムージング処理を施す。位置姿勢形状算出部２６０は、スムージング処理が施された計測距離画像データ及びモデル距離画像データに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する。   The smoothing unit 250 performs a smoothing process on the measured distance image data input from the distance image input unit 230 and the model distance image data generated by the model projection unit 240. The position / orientation / shape calculation unit 260 measures the position parameter, the attitude parameter, and the deformation parameter of the object based on the measured distance image data and the model distance image data on which the smoothing process has been performed.

図５は、本発明の第２の実施形態に係る位置姿勢形状計測装置２の処理を示すフローチャートである。以下、図５を参照しながら、本発明の第２の実施形態に係る位置姿勢形状計測装置２の処理について説明する。なお、ステップＳ２０１０、Ｓ２０２０、Ｓ２０３０、Ｓ２０７０及びＳ２０８０はそれぞれ、第１の実施形態におけるステップＳ１０１０、Ｓ１０２０、Ｓ１０３０、Ｓ１０７０及びＳ１０８０と同一の処理であるため、これらについての説明は省略する。   FIG. 5 is a flowchart showing processing of the position / orientation / shape measurement apparatus 2 according to the second embodiment of the present invention. Hereinafter, the processing of the position / orientation / shape measurement apparatus 2 according to the second embodiment of the present invention will be described with reference to FIG. Note that steps S2010, S2020, S2030, S2070, and S2080 are the same processes as steps S1010, S1020, S1030, S1070, and S1080 in the first embodiment, respectively, and thus description thereof will be omitted.

ステップＳ２０４０において、モデル投影部２４０は、３次元形状モデルを計測距離画像データと同等のデータ量及び性質になるように変換を行う。具体的には、モデル投影部２４０は、ステップＳ２０２０において入力された計測距離画像データの画像平面上に該当する近似レベルの３次元形状モデルを投影する。これにより、計測距離画像データと同じように視点から３次元形状モデルまでの距離が格納されたモデル距離画像データが生成される。本実施形態では、物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値と、キャリブレーション済みの距離画像撮像装置２００の内部パラメータとを用いて、近似レベルＬの３次元形状モデルをレンダリングする。レンダリングにより、視点から３次元形状モデルの表面までの距離がデプスバッファに格納される。モデル投影部２４０は、デプスバッファに格納された距離をモデル距離画像データにおいて格納される距離として取り扱う。以上の処理により、３次元形状モデルが計測距離画像データと同等のデータ形式に変換される。   In step S2040, the model projection unit 240 converts the three-dimensional shape model so as to have a data amount and property equivalent to the measurement distance image data. Specifically, the model projecting unit 240 projects a three-dimensional shape model of an appropriate level on the image plane of the measurement distance image data input in step S2020. Thereby, model distance image data storing the distance from the viewpoint to the three-dimensional shape model is generated in the same manner as the measured distance image data. In the present embodiment, the approximate value L of the three-dimensional shape model is rendered using the approximate values of the position parameter, posture parameter, and deformation parameter of the object and the internal parameters of the calibrated range image capturing apparatus 200. By the rendering, the distance from the viewpoint to the surface of the three-dimensional shape model is stored in the depth buffer. The model projection unit 240 handles the distance stored in the depth buffer as the distance stored in the model distance image data. Through the above processing, the three-dimensional shape model is converted into a data format equivalent to the measurement distance image data.

ステップＳ２０５０において、スムージング部２５０は、ステップＳ２０４０で生成されたモデル距離画像データとステップＳ２０２０で入力された計測距離画像データとに対し、物体の形状が全体として滑らかになるように、画像平面上での近傍データを用いたスムージング処理を行う。スムージング処理については、第１の実施形態と同様であるため、説明を省略する。スムージング部２５０は、モデル距離画像データに対しても計測距離画像データと同様の平滑化処理を行うことにより平滑化モデル距離画像データを生成し、平滑化モデル距離画像データの各画素に対応する３次元座標を求める。但し、平滑化モデル距離画像データの場合、３次元形状モデル領域でない部分には無効な距離値が格納されているため、この部分の３次元座標は求めない。また、平滑化モデル距離画像データに関しては、各画素における３次元法線も求めておく。具体的には、着目画素を中心とする３×３画素領域内に含まれる９画素の３次元座標に平面当てはめを行い、その平面の法線ベクトルを着目画素の３次元法線とする。   In step S2050, the smoothing unit 250 performs image smoothing on the image plane so that the shape of the object becomes smooth as a whole with respect to the model distance image data generated in step S2040 and the measurement distance image data input in step S2020. Smoothing processing is performed using the neighborhood data. Since the smoothing process is the same as that of the first embodiment, a description thereof will be omitted. The smoothing unit 250 generates smoothed model distance image data by performing the same smoothing process as the measured distance image data on the model distance image data, and 3 corresponding to each pixel of the smoothed model distance image data. Find the dimensional coordinates. However, in the case of the smoothed model distance image data, an invalid distance value is stored in a portion that is not the three-dimensional shape model region, and thus the three-dimensional coordinates of this portion are not obtained. For the smoothed model distance image data, a three-dimensional normal line for each pixel is also obtained. Specifically, plane fitting is performed on the three-dimensional coordinates of nine pixels included in the 3 × 3 pixel region centered on the pixel of interest, and the normal vector of the plane is set as the three-dimensional normal of the pixel of interest.

以上の処理を、モデル距離画像データと計測距離画像データとの全画素に対して行うことにより、モデル距離画像データと計測距離画像データとのそれぞれについて、滑らかな形状に変換された３次元点群が得られる。   By performing the above processing on all the pixels of the model distance image data and the measurement distance image data, a three-dimensional point group converted into a smooth shape for each of the model distance image data and the measurement distance image data Is obtained.

ステップＳ２０６０において、位置姿勢形状算出部２６０は、ステップＳ２０５０でスムージング処理が施されたモデル距離画像データと計測距離画像データとに基づいて、物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。以下では、スムージング処理が施されたモデル距離画像データを、平滑化モデル距離画像データと称す。   In step S2060, the position / orientation shape calculation unit 260 calculates the position parameter, orientation parameter, and deformation parameter of the object based on the model distance image data and the measured distance image data that have been subjected to the smoothing process in step S2050. Hereinafter, the model distance image data subjected to the smoothing process is referred to as smoothed model distance image data.

先ず、位置姿勢形状算出部２６０は、ステップＳ２０５０で生成された平滑化計測距離画像データと平滑化モデル距離画像データ間の対応付けを行う。本実施形態では、平滑化モデル距離画像データ上の画素と３次元点群との関係は既知であるとして、平滑化モデル距離画像データ上の３次元形状モデルに該当する領域の全画素に対して、計測距離画像データ上で同じ２次元座標となる平滑化計測距離画像データの３次元点を参照する。これにより、平滑化モデル距離画像データと平滑化計測距離画像データとの３次元点が対応付けられる。但し、平滑化モデル距離画像データ上の３次元形状モデルに該当する領域内の全画素に対して処理を行うのではなく、当該領域内で画像上の等間隔や３次元空間上で等間隔になるように間引いて処理してもよい。対応付け処理を行う３次元点は、データ量と計算量のトレードオフとなる。位置パラメータ、姿勢パラメータ及び変形パラメータの算出処理に十分なだけの対応付けが得られる限り、処理する３次元点の選択は何れの場合でよく、特に制限はない。以上の処理により、平滑化計測距離画像データと平滑化モデル距離画像データ間の３次元点の対応付けが行われる。   First, the position / orientation / shape calculation unit 260 associates the smoothed measurement distance image data and the smoothed model distance image data generated in step S2050. In this embodiment, it is assumed that the relationship between the pixels on the smoothed model distance image data and the three-dimensional point group is known, and for all the pixels in the region corresponding to the three-dimensional shape model on the smoothed model distance image data. Then, the three-dimensional point of the smoothed measurement distance image data having the same two-dimensional coordinates on the measurement distance image data is referred to. As a result, the three-dimensional points of the smoothed model distance image data and the smoothed measurement distance image data are associated with each other. However, processing is not performed on all the pixels in the region corresponding to the three-dimensional shape model on the smoothed model distance image data, but at regular intervals on the image or in the three-dimensional space within the region. You may process by thinning out so that it may become. The three-dimensional point that performs the association processing is a trade-off between the data amount and the calculation amount. As long as the correspondence sufficient for the calculation processing of the position parameter, the posture parameter, and the deformation parameter can be obtained, the selection of the three-dimensional point to be processed is not limited in any case. With the above processing, the three-dimensional points are associated between the smoothed measurement distance image data and the smoothed model distance image data.

次に、位置姿勢形状算出部２６０は、平滑化計測距離画像データと平滑化モデル距離画像データ間の３次元点の対応付けに基づき、非線形最適化計算を用いて物体の位置パラメータ、姿勢パラメータ及び変形パラメータを算出する。物体の位置パラメータ、姿勢パラメータ及び変形パラメータの算出は、平滑化モデル距離画像データ中の各３次元点が、対応する平滑化計測距離画像データ中の３次元点に当てはまるように物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を反復演算により補正することにより行う。より具体的には、位置姿勢形状算出部２６０は、平滑化計測距離画像データ中の３次元点と、平滑化モデル距離画像データ中の３次元点及び３次元法線とから、３次元空間中での点と平面との符号付距離を物体の位置パラメータ、姿勢パラメータ及び変形パラメータの関数として線形近似する。具体的な位置パラメータ、姿勢パラメータ及び変形パラメータの算出方法は、第１の実施形態と同様であるため、説明を省略する。   Next, the position / orientation / shape calculation unit 260 uses the nonlinear optimization calculation based on the association of the three-dimensional points between the smoothed measurement distance image data and the smoothed model distance image data, A deformation parameter is calculated. The calculation of the position parameter, the posture parameter, and the deformation parameter of the object is performed such that each 3D point in the smoothed model distance image data is applied to the 3D point in the corresponding smoothed measurement distance image data, This is done by correcting the approximate values of the posture parameter and the deformation parameter by iterative calculation. More specifically, the position / orientation / shape calculation unit 260 calculates a three-dimensional space from the three-dimensional point in the smoothed measurement distance image data and the three-dimensional point and the three-dimensional normal in the smoothed model distance image data. The signed distance between the point and the plane is linearly approximated as a function of the position parameter, posture parameter, and deformation parameter of the object. Since the specific calculation method of the position parameter, the posture parameter, and the deformation parameter is the same as that in the first embodiment, description thereof is omitted.

以上のように、本実施形態においては、３次元形状モデルの近似度Ｌだけでなく、３次元形状モデルが表す形状の詳細度（空間周波数）も計測距離画像データの解像度と連動させる。これにより、本実施形態によれば、３次元形状モデルと計測距離画像データとの空間周波数の違いが原因で発生する、位置パラメータ、姿勢パラメータ及び形状パラメータの推定の不安定性が減少し、より安定したこれらのパラメータの推定が可能となる。   As described above, in the present embodiment, not only the degree of approximation L of the three-dimensional shape model but also the degree of detail (spatial frequency) of the shape represented by the three-dimensional shape model is linked with the resolution of the measurement distance image data. Thereby, according to this embodiment, the instability of estimation of the position parameter, the posture parameter, and the shape parameter, which is caused by the difference in the spatial frequency between the three-dimensional shape model and the measurement distance image data, is reduced and more stable. These parameters can be estimated.

上述した実施形態では、画像サイズは変えずにスムージング処理をかけることによって計測距離画像データの実効的な解像度を小さくしていた。しかしながら、計測距離画像データの解像度を小さくする方法はこれに限るものではなく、画像サイズが小さな計測距離画像データを生成するようにしてもよい。具体的には、近似レベルＬに応じた画像サイズを予め設定しておき、そのサイズの計測距離画像データをバイリニア補間等の内挿アルゴリズムを用いて生成してもよい。画像サイズを小さくすることにより画素アクセスが高速化されるため、全体として処理が高速化されることが期待される。   In the above-described embodiment, the effective resolution of the measurement distance image data is reduced by performing the smoothing process without changing the image size. However, the method of reducing the resolution of the measurement distance image data is not limited to this, and measurement distance image data having a small image size may be generated. Specifically, an image size corresponding to the approximation level L may be set in advance, and measurement distance image data of that size may be generated using an interpolation algorithm such as bilinear interpolation. Since the pixel access is speeded up by reducing the image size, it is expected that the processing is speeded up as a whole.

また、上述した実施形態では、近似レベルに依らず、複数の剛体と剛体間を結ぶ関節とによって物体をモデル化していた。しかしながら、モデル化の方法はこれに限るものではなく、近似レベルが粗い場合には関節を持たずに単一の剛体だけでモデル化してもよい。変形量が少ない物体の場合には、計測距離画像データの解像度が低い場合には剛体のモデルを用いる方がオーバーフィッティングの問題がなく推定が安定することが期待される。   In the above-described embodiment, an object is modeled by a plurality of rigid bodies and joints connecting the rigid bodies regardless of the approximation level. However, the modeling method is not limited to this, and if the approximation level is rough, the modeling may be performed with only a single rigid body without a joint. In the case of an object with a small amount of deformation, if the resolution of the measurement distance image data is low, it is expected that the estimation using the rigid body model is stable because there is no problem of overfitting.

また、剛体が関節によって接続される３次元形状モデルでなくとも、形状を表す自由度が可変な３次元形状モデルであればどのようなモデルであってもよい。例えば、３次元形状モデルはNURBS曲面であり、制御点の数によって自由度を変更してもよい。さらには、近似レベルの異なる３次元形状モデルをオフラインで作っておく必要は必ずしもなく、位置パラメータ、姿勢パラメータ及び変形パラメータを計測する際にオンラインで生成してもよい。   Further, any model may be used as long as it is not a three-dimensional shape model in which a rigid body is connected by a joint as long as the degree of freedom in expressing the shape is variable. For example, the three-dimensional shape model is a NURBS curved surface, and the degree of freedom may be changed depending on the number of control points. Furthermore, it is not always necessary to create three-dimensional shape models with different approximation levels offline, and they may be generated online when measuring position parameters, posture parameters, and deformation parameters.

また、上述した実施形態においては、特に推定するパラメータの範囲に制限を設けることなく近似レベルＬ毎に自由に推定を行っていた。しかし、計測距離画像データの空間周波数が高くなるように解像度を変えると、場合によっては間違った推定を行ってしまうことがある。そのため、前の近似レベルＬの３次元形状モデルにおける変形パラメータを、現在の近似レベルＬの３次元形状モデルにおける変形パラメータに変換した値から極端に離れないような最適化を行う。これにより、coarse-to-fineアプローチによる位置パラメータ、姿勢パラメータ及び変形パラメータの推定をより安定化させることができる。具体的には、［D. G. Lowe, "Fitting parameterized three-dimensional models to images," IEEE Trans. on PAMI, vol.13, no.5, pp.441-450, 1991. ］に開示されるように、各パラメータが更新前の値に拘束されるという拘束条件を付すことにより、更新前の値からあまり離れない解を得るようにする。   Further, in the above-described embodiment, the estimation is performed freely for each approximation level L without limiting the range of parameters to be estimated. However, if the resolution is changed so that the spatial frequency of the measurement distance image data is increased, an incorrect estimation may be performed in some cases. Therefore, optimization is performed so that the deformation parameter in the previous approximate level L three-dimensional shape model is not extremely different from the value converted into the deformation parameter in the current approximate level L three-dimensional shape model. Thereby, the estimation of the position parameter, the posture parameter, and the deformation parameter by the coarse-to-fine approach can be further stabilized. Specifically, as disclosed in [DG Lowe, "Fitting parameterized three-dimensional models to images," IEEE Trans. On PAMI, vol.13, no.5, pp.441-450, 1991.] By attaching a constraint condition that each parameter is constrained to the value before update, a solution that does not deviate much from the value before update is obtained.

また、上述した実施形態においては、剛体と剛体間を結ぶ１自由度の関節とによって物体をモデル化していた。しかしながら、位置パラメータ、姿勢パラメータ及び変形パラメータの計測対象となる物体は、このような３次元形状モデルによって表現される物体に限るものではない。即ち、例えば丸いケーブル状の物体のように、複数の円筒と２自由度の関節とによってモデル化される物体であってもよい。   In the above-described embodiment, the object is modeled by a rigid body and a joint having one degree of freedom connecting the rigid bodies. However, the object to be measured for the position parameter, the posture parameter, and the deformation parameter is not limited to the object represented by such a three-dimensional shape model. That is, for example, an object modeled by a plurality of cylinders and joints with two degrees of freedom, such as a round cable-like object.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

１、２：位置姿勢形状計測装置、１００、２００：距離画像撮像装置、１１０、２１０：３次元形状モデル保存部、１２０、２２０：概略位置姿勢形状入力部、１３０、２３０：距離画像入力部、２４０：モデル投影部、１５０、２５０：スムージング部、１６０、２６０：位置姿勢形状算出部   1, 2: Position and orientation shape measuring device, 100, 200: Distance image capturing device, 110, 210: Three-dimensional shape model storage unit, 120, 220: Approximate position and orientation shape input unit, 130, 230: Distance image input unit, 240: Model projection unit, 150, 250: Smoothing unit, 160, 260: Position and orientation shape calculation unit

Claims (11)

複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の３次元形状モデルを保持する保持手段と、
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力手段と、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力手段と、
前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測手段とを有することを特徴とする計測装置。 Holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies ;
And approximate value input means for inputting Overview Once the value of the position parameter of the measurement object, orientation parameters and deformation parameters,
Distance image data input means for inputting distance image data obtained by imaging the measurement target object;
Based on said distance image data converted to a resolution corresponding to the plurality of three-dimensional shape model and the plurality of 3-dimensional shape model approximation level, the plurality of three-dimensional geometric model and the plurality of three-dimensional shape By updating the approximate value by a coarse-to-fine approach so that the difference from the distance image data converted to the resolution corresponding to the approximation level of the model becomes small , the position parameter and orientation of the measurement target object measuring device characterized in that it comprises a measuring means for measuring the parameters and variations parameters. 複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の３次元形状モデルを保持する保持手段と、
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力手段と、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力手段と、
前記距離画像データ入力手段により入力された距離画像データに対して前記複数の近似レベルで表した複数の３次元形状モデルを投影して、複数のモデル距離画像データを生成する投影手段と、
前記複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測手段とを有することを特徴とする計測装置。 Holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies ;
And approximate value input means for inputting Overview Once the value of the position parameter of the measurement object, orientation parameters and deformation parameters,
Distance image data input means for inputting distance image data obtained by imaging the measurement target object;
By projecting the plurality of three-dimensional shape model expressed by the plurality of approximate level on the input range image data by the distance image data input unit, a projection means for generating a plurality of model range image data,
The distance image in which the plurality of three-dimensional shape model of the plurality of which are converted to the corresponding resolution approximate level model range image data, which is converted to a resolution corresponding to the approximate level of the plurality of three-dimensional shape model Based on the data, the plurality of model distance image data converted to the resolution corresponding to the approximate level of the plurality of three-dimensional shape models, and the resolution corresponding to the approximation level of the plurality of three-dimensional shape models by going to update the approximate value by coarse-to-fine approach to the difference between the distance image data becomes smaller, the position parameter of the object, having a measuring means for measuring the attitude parameters and deformation parameters Measuring device characterized by 前記投影手段は、前記概略値入力手段により入力された前記概略値に基づいて、前記距離画像データ入力手段により入力された距離画像データに対して前記複数の近似レベルで表した複数の３次元形状モデルを投影することを特徴とする請求項２に記載の計測装置。 The projecting means has a plurality of three-dimensional shapes represented by the plurality of approximation levels with respect to the distance image data input by the distance image data input means based on the approximate value input by the approximate value input means. The measuring apparatus according to claim 2, wherein the model is projected. 前記解像度の変換は、前記距離画像データにおける着目画素の近傍の範囲において平滑化を行う変換であることを特徴とする請求項１乃至３の何れか１項に記載の計測装置。 The measurement apparatus according to claim 1, wherein the resolution conversion is conversion for performing smoothing in a range in the vicinity of the target pixel in the distance image data. 前記解像度の変換は、前記距離画像データのサイズを縮小することにより平滑化を行う変換であることを特徴とする請求項１乃至３の何れか１項に記載の計測装置。 The measuring apparatus according to claim 1, wherein the resolution conversion is a conversion for performing smoothing by reducing a size of the distance image data. 前記複数の３次元形状モデルには、単一の剛体によって表されるモデルが含まれることを特徴とする請求項１乃至５の何れか１項に記載の計測装置。 The measuring apparatus according to claim 1, wherein the plurality of three-dimensional shape models include a model represented by a single rigid body . 前記計測手段は、前記更新前後の前記概略値の類似度に基づく拘束条件を付して前記概略値の更新を行うことを特徴とする請求項１乃至６の何れか１項に記載の計測装置。 The measuring device according to claim 1, wherein the measuring unit updates the approximate value with a constraint condition based on similarity between the approximate values before and after the update. . 複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の３次元形状モデルを保持する保持手段を有する計測装置によって実行される計測方法であって、By a measuring device having holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies A measurement method to be executed,
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力ステップと、An approximate value input step of inputting approximate values of the position parameter, posture parameter and deformation parameter of the measurement object;
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとを有することを特徴とする計測方法。Based on the plurality of 3D shape models and the distance image data converted to a resolution corresponding to an approximation level of the plurality of 3D shape models, the plurality of 3D shape models and the plurality of 3D shape models By updating the approximate value by a coarse-to-fine approach so that the difference from the distance image data converted to the resolution corresponding to the approximate level becomes small, the position parameter, posture parameter, and And a measurement step for measuring the deformation parameter. 複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の３次元形状モデルを保持する保持手段を有する計測装置によって実行される計測方法であって、
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータの概略値を入力する概略値入力ステップと、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、
前記距離画像データ入力ステップにより入力された距離画像データに対して前記複数の近似レベルで表した複数の３次元形状モデルを投影して、複数のモデル距離画像データを生成する投影ステップと、
前記複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとを有することを特徴とする計測方法。 By a measuring device having holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies A measurement method to be executed,
And approximate value input step of inputting Overview Once the value of the location parameters, orientation parameters and deformation parameters of the measurement object,
Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
A projection step of projecting a plurality of three-dimensional shape models represented by the plurality of approximation levels to the distance image data input in the distance image data input step, and generating a plurality of model distance image data;
Wherein a plurality of three-dimensional shape model of the plurality of which are converted to the corresponding resolution approximate level model distance image data, and the range image data converted to a resolution corresponding to the approximate level of the plurality of three-dimensional geometric model The plurality of model distance image data converted to the resolution corresponding to the approximation level of the plurality of three-dimensional shape models, and the distance converted to the resolution corresponding to the approximation level of the plurality of three-dimensional shape models by going to update the approximate value by coarse-to-fine approach as the difference between the image data is reduced, characterized in that it has a position parameter of the object, and a step of measuring the attitude parameters and deformation parameters Measurement method. 複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の３次元形状モデルを保持する保持手段を有する計測装置によって実行される計測方法をコンピュータに実行させるためのプログラムであって、
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータのうちの少なくとも何れか一つの概略値を入力する概略値入力ステップと、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、
前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の３次元形状モデルと当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとをコンピュータに実行させるためのプログラム。 By a measuring device having holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies A program for causing a computer to execute a measurement method to be executed ,
An approximate value input step of inputting an approximate value of at least one of the position parameter, posture parameter, and deformation parameter of the measurement target object;
Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
Based on said distance image data converted to a resolution corresponding to the plurality of three-dimensional shape model and the plurality of 3-dimensional shape model approximation level, the plurality of three-dimensional geometric model and the plurality of three-dimensional shape By updating the approximate value by a coarse-to-fine approach so that the difference from the distance image data converted to the resolution corresponding to the approximation level of the model becomes small , the position parameter and orientation of the measurement target object program for executing the step of measuring the parameters and deformation parameters to the computer. 複数の剛体と該剛体間を接続する関節によって表される計測対象物体を、前記剛体の数に応じた複数の近似レベルで表した複数の３次元形状モデルを保持する保持手段を有する計測装置によって実行される計測方法をコンピュータに実行させるためのプログラムであって、
前記計測対象物体の位置パラメータ、姿勢パラメータ及び変形パラメータのうちの少なくとも何れか一つの概略値を入力する概略値入力ステップと、
前記計測対象物体が撮像された距離画像データを入力する距離画像データ入力ステップと、
前記距離画像データ入力ステップにより入力された距離画像データに対して前記複数の近似レベルで表した複数の３次元形状モデルを投影して、複数のモデル距離画像データを生成する投影ステップと、
前記複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとに基づき、前記複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記複数のモデル距離画像データと、当該複数の３次元形状モデルの近似レベルに対応する解像度に変換された前記距離画像データとの差が小さくなるようcoarse-to-fineアプローチにより前記概略値を更新していくことにより、前記物体の位置パラメータ、姿勢パラメータ及び変形パラメータを計測する計測ステップとをコンピュータに実行させるためのプログラム。 By a measuring device having holding means for holding a plurality of three-dimensional shape models representing a plurality of rigid bodies and measurement target objects represented by joints connecting the rigid bodies at a plurality of approximation levels according to the number of the rigid bodies A program for causing a computer to execute a measurement method to be executed,
An approximate value input step of inputting an approximate value of at least one of the position parameter, posture parameter, and deformation parameter of the measurement target object;
Distance image data input step for inputting distance image data obtained by imaging the measurement target object;
A projection step of projecting a plurality of three-dimensional shape models represented by the plurality of approximation levels to the distance image data input in the distance image data input step, and generating a plurality of model distance image data;
The distance image in which the plurality of three-dimensional shape model of the plurality of which are converted to the corresponding resolution approximate level model range image data, which is converted to a resolution corresponding to the approximate level of the plurality of three-dimensional shape model Based on the data, the plurality of model distance image data converted to the resolution corresponding to the approximate level of the plurality of three-dimensional shape models, and the resolution corresponding to the approximation level of the plurality of three-dimensional shape models by going to update the approximate value by coarse-to-fine approach to the difference between the distance image data becomes smaller, the position parameter of the object, and a step of measuring the attitude parameters and deformation parameters on a computer A program to be executed.
JP2012016813A 2012-01-30 2012-01-30 Measuring device, measuring method and program Active JP5991730B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012016813A JP5991730B2 (en) 2012-01-30 2012-01-30 Measuring device, measuring method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012016813A JP5991730B2 (en) 2012-01-30 2012-01-30 Measuring device, measuring method and program

Publications (2)

Publication Number Publication Date
JP2013156146A JP2013156146A (en) 2013-08-15
JP5991730B2 true JP5991730B2 (en) 2016-09-14

Family

ID=49051474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012016813A Active JP5991730B2 (en) 2012-01-30 2012-01-30 Measuring device, measuring method and program

Country Status (1)

Country Link
JP (1) JP5991730B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323993B2 (en) * 2012-08-28 2018-05-16 キヤノン株式会社 Information processing apparatus, information processing method, and computer program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194859A (en) * 1998-12-25 2000-07-14 Canon Inc Object shape extraction method, object shape extraction device and recording medium
JP4677536B1 (en) * 2009-11-20 2011-04-27 株式会社三次元メディア 3D object recognition apparatus and 3D object recognition method
JP2011175477A (en) * 2010-02-24 2011-09-08 Canon Inc Three-dimensional measurement apparatus, processing method and program

Also Published As

Publication number Publication date
JP2013156146A (en) 2013-08-15

Similar Documents

Publication Publication Date Title
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP5567908B2 (en) Three-dimensional measuring apparatus, measuring method and program
US8687057B2 (en) Three-dimensional measurement apparatus and control method therefor
JP6324025B2 (en) Information processing apparatus and information processing method
JP5430456B2 (en) Geometric feature extraction device, geometric feature extraction method, program, three-dimensional measurement device, object recognition device
JP6370038B2 (en) Position and orientation measurement apparatus and method
JP5480667B2 (en) Position / orientation measuring apparatus, position / orientation measuring method, program
JP5627325B2 (en) Position / orientation measuring apparatus, position / orientation measuring method, and program
KR100855657B1 (en) System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor
JP2011179907A (en) Device and method for measuring position and attitude, and program
JP2012123781A (en) Information processing device, information processing system and information processing method
JP2012141962A (en) Position and orientation measurement device and position and orientation measurement method
JP6066562B2 (en) Measuring device, measuring method and program
JP5698815B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP2016148649A (en) Information processing apparatus, control method therefor, and program
JP6040264B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP6806160B2 (en) 3D motion evaluation device, 3D motion evaluation method, and program
JP5991730B2 (en) Measuring device, measuring method and program
JP2007034964A (en) Method and device for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter, and program for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter
CN112381952B (en) Face contour point cloud model reconstruction method and device based on multiple cameras
JP6584139B2 (en) Information processing apparatus, information processing method, and program
JP6315542B2 (en) Image generating apparatus and image generating method
JP2012225888A (en) Position posture measurement device and position posture measurement method
JP6719925B2 (en) Information processing device, information processing method, and program
JP2013254300A (en) Image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160812

R151 Written notification of patent or utility model registration

Ref document number: 5991730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151