JP5748355B2 - Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and program - Google Patents

Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and program Download PDF

Info

Publication number
JP5748355B2
JP5748355B2 JP2012107790A JP2012107790A JP5748355B2 JP 5748355 B2 JP5748355 B2 JP 5748355B2 JP 2012107790 A JP2012107790 A JP 2012107790A JP 2012107790 A JP2012107790 A JP 2012107790A JP 5748355 B2 JP5748355 B2 JP 5748355B2
Authority
JP
Japan
Prior art keywords
candidate
dimensional
point
score
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012107790A
Other languages
Japanese (ja)
Other versions
JP2013101592A (en
Inventor
島村　潤
潤 島村
森本　正志
正志 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012107790A priority Critical patent/JP5748355B2/en
Publication of JP2013101592A publication Critical patent/JP2013101592A/en
Application granted granted Critical
Publication of JP5748355B2 publication Critical patent/JP5748355B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、実空間を撮像するカメラによって入力されたフレーム画像列のうち、現時刻のフレーム画像において指定された対象画像領域を代表する３次元座標を算出する装置であって、入力されたフレーム画像列を用いて算出された特徴点の３次元点群のうち、対象画像領域で観測する３次元点群から代表３次元座標を算出する３次元座標算出装置、３次元座標算出方法、及びプログラムに関する。   The present invention is an apparatus for calculating three-dimensional coordinates representative of a target image area specified in a frame image at a current time among frame image sequences input by a camera that captures a real space. 3D coordinate calculation apparatus, 3D coordinate calculation method, and program for calculating representative 3D coordinates from 3D point groups observed in target image region among 3D point groups of feature points calculated using image sequence About.

実空間を撮像するカメラによって入力されたフレーム画像から、実空間におけるカメラの位置及び姿勢を示すカメラポーズと、フレーム画像上の特徴点の３次元座標とを算出するカメラポーズ３Ｄ推定装置では、算出したカメラポーズを用いて、例えばフレーム画像上にコンピュータグラフィクス（Computer Graphics：ＣＧ）等を合成することを可能にしている。
カメラポーズ３Ｄ推定装置では、カメラポーズと実空間内の３次元点との初期値、及びフレーム画像を入力し、（１）実空間の３次元点がフレーム画像で観測された画像点を決定し、（２）３次元点の３次元座標と画像点の座標との組から非線形最小自乗法によってカメラポーズを算出し、（３）過去に亘った複数時刻のフレーム画像を用いて３次元点の３次元座標を更新する、（１）〜（３）の処理を時々刻々繰り返すことによって、正確にカメラポーズと３次元座標とを算出することを実現している。 In the camera pose 3D estimation device that calculates the camera pose indicating the position and orientation of the camera in the real space and the three-dimensional coordinates of the feature points on the frame image from the frame image input by the camera that captures the real space For example, it is possible to synthesize computer graphics (CG) or the like on a frame image using the camera pose.
In the camera pose 3D estimation device, the initial values of the camera pose and the three-dimensional point in the real space and the frame image are input, and (1) the image point where the three-dimensional point in the real space is observed in the frame image is determined. (2) A camera pose is calculated by a non-linear least square method from a set of the three-dimensional coordinates of the three-dimensional point and the coordinates of the image point, and (3) the three-dimensional point of the three-dimensional point is calculated using a plurality of frame images in the past. By repeating the processes (1) to (3), which update the three-dimensional coordinates, from moment to moment, it is possible to accurately calculate the camera pose and the three-dimensional coordinates.

このようなカメラポーズ３Ｄ推定装置で算出されるカメラポーズと３次元座標とは、カメラポーズがワールド座標系におけるカメラの位置及び向きとして表現され、３次元座標がワールド座標系における位置として表現される。カメラポーズ３Ｄ推定装置は、初期時刻において予め設定された座標系がワールド座標系として利用される。このため、例えばフレーム画像上の物体に対してＣＧ等を合成する場合には、ワールド座標系における物体の位置及び姿勢を示す物体座標系への剛体変換行列が必要となる。
剛体変換行列を算出する物体座標系変換装置として、例えば非特許文献１に記載されているものがある。非特許文献１に記載されている方法では、カメラポーズ３Ｄ推定装置において、フレーム画像上の物体に対してＣＧ等を合成する際に正確な合成を実現するために、ワールド座標系から物体座標系への剛体変換行列を算出している。 The camera pose and the three-dimensional coordinates calculated by such a camera pose 3D estimation device represent the camera pose as the position and orientation of the camera in the world coordinate system and the three-dimensional coordinates as the position in the world coordinate system. . In the camera pose 3D estimation device, a coordinate system set in advance at the initial time is used as the world coordinate system. For this reason, for example, when combining CG or the like with an object on a frame image, a rigid transformation matrix to the object coordinate system indicating the position and orientation of the object in the world coordinate system is required.
For example, Non-Patent Document 1 discloses an object coordinate system conversion apparatus that calculates a rigid body transformation matrix. In the method described in Non-Patent Document 1, in the camera pose 3D estimation device, the object coordinate system is changed from the world coordinate system in order to realize accurate synthesis when CG or the like is synthesized with the object on the frame image. The rigid body transformation matrix is calculated.

図１５は、物体座標系変換装置９の構成例を示す概略ブロック図である。同図に示すように、物体座標系変換装置９は、テンプレート画像記憶部９１と、カメラパラメータ記憶部９２と、ＣＧデータ記憶部９３と、カメラポーズ３Ｄ推定部９４と、テンプレート照合部９５と、３次元座標算出部９６と、平面算出部９７と、物体座標系変換行列算出部９８と、ＣＧ合成部９９とを具備している。
テンプレート画像記憶部９１には、ＣＧを合成したい平面物体のテンプレート画像が予め記憶されている。カメラパラメータ記憶部９２には、カメラの焦点距離等を示すカメラパラメータが予め記憶されている。ＣＧデータ記憶部９３には、フレーム画像に合成したいＣＧを表すＣＧデータが予め記憶されている。 FIG. 15 is a schematic block diagram illustrating a configuration example of the object coordinate system conversion apparatus 9. As shown in the figure, the object coordinate system conversion device 9 includes a template image storage unit 91, a camera parameter storage unit 92, a CG data storage unit 93, a camera pose 3D estimation unit 94, a template matching unit 95, A three-dimensional coordinate calculation unit 96, a plane calculation unit 97, an object coordinate system conversion matrix calculation unit 98, and a CG synthesis unit 99 are provided.
The template image storage unit 91 stores in advance a template image of a planar object to be combined with CG. The camera parameter storage unit 92 stores camera parameters indicating the focal length of the camera in advance. The CG data storage unit 93 stores in advance CG data representing CG to be combined with the frame image.

カメラポーズ３Ｄ推定部９４は、カメラで撮像したある時刻ｔのフレーム画像Ｆ（ｔ）が順次入力され、フレーム画像Ｆ（ｔ）上の特徴点、例えば角や交点を追跡した結果に基づいて、時刻ｔにおける特徴点の３次元座標及びカメラポーズを推定する。カメラポーズ３Ｄ推定部９４が推定する３次元座標及びカメラポーズは、予め定められたワールド座標系を用いて表現される。
テンプレート照合部９５には、カメラポーズ３Ｄ推定部９４と同様に、フレーム画像Ｆ（ｔ）が順次入力される。テンプレート照合部９５は、テンプレート画像記憶部９１からテンプレート画像を読み出し、読み出したテンプレート画像と、入力されたフレーム画像Ｆ（ｔ）とに対してＳＩＦＴ（Scale-Invariant Feature Transform）等を用いて照合することにより、テンプレート内部の特徴点の位置をフレーム画像Ｆ（ｔ）上で推定する。 The camera pose 3D estimation unit 94 sequentially receives a frame image F (t) at a certain time t imaged by the camera, and based on the result of tracking feature points on the frame image F (t), such as corners and intersections, The three-dimensional coordinates and camera pose of the feature point at time t are estimated. The three-dimensional coordinates and camera pose estimated by the camera pose 3D estimation unit 94 are expressed using a predetermined world coordinate system.
Similarly to the camera pose 3D estimation unit 94, the frame image F (t) is sequentially input to the template verification unit 95. The template collation unit 95 reads the template image from the template image storage unit 91 and collates the read template image and the input frame image F (t) using a SIFT (Scale-Invariant Feature Transform) or the like. Thus, the position of the feature point inside the template is estimated on the frame image F (t).

３次元座標算出部９６は、フレーム画像Ｆ（ｔ）に近接する時刻ｔ以前のフレーム画像に対するステレオ対応付けによって、テンプレート照合部９５が推定した特徴点の３次元座標を算出する。３次元座標算出部９６が算出する特徴点の３次元座標は、物体座標系を用いて表現される。
平面算出部９７は、３次元座標算出部９６が算出した特徴点の３次元座標に対して平面を当てはめ、当該平面を成す４点のワールド座標系における３次元座標と、物体座標系における３次元座標とを算出する。 The three-dimensional coordinate calculation unit 96 calculates the three-dimensional coordinates of the feature points estimated by the template matching unit 95 by stereo association with a frame image before time t close to the frame image F (t). The three-dimensional coordinates of the feature points calculated by the three-dimensional coordinate calculation unit 96 are expressed using an object coordinate system.
The plane calculation unit 97 applies a plane to the three-dimensional coordinates of the feature points calculated by the three-dimensional coordinate calculation unit 96, and three-dimensional coordinates in the world coordinate system of the four points forming the plane and three-dimensional in the object coordinate system. Calculate the coordinates.

物体座標系変換行列算出部９８は、平面算出部９７が算出した４点のワールド座標系における３次元座標と、物体座標系における３次元座標とから剛体変換行列を算出する。
ＣＧ合成部９９は、ＣＧデータ記憶部９３からＣＧデータを読み出し、物体座標系変換行列算出部９８が算出した剛体変換行列を用いて、読み出したＣＧデータをワールド座標系の情報に変換する。また、ＣＧ合成部９９は、カメラポーズ３Ｄ推定部９４が推定したカメラポーズを用いて、ワールド座標系に変換したＣＧデータをフレーム画像Ｆ（ｔ）に重畳合成し、重畳合成したフレーム画像Ｆ（ｔ）を出力する The object coordinate system conversion matrix calculation unit 98 calculates a rigid body conversion matrix from the three-dimensional coordinates in the world coordinate system of the four points calculated by the plane calculation unit 97 and the three-dimensional coordinates in the object coordinate system.
The CG synthesis unit 99 reads CG data from the CG data storage unit 93, and converts the read CG data into information in the world coordinate system using the rigid body transformation matrix calculated by the object coordinate system conversion matrix calculation unit 98. The CG synthesis unit 99 superimposes and synthesizes the CG data converted into the world coordinate system on the frame image F (t) using the camera pose estimated by the camera pose 3D estimation unit 94, and superimposes and synthesizes the frame image F ( t)

物体座標系変換装置９は、順次入力されるフレーム画像Ｆ（ｔ）に対して、ＣＧ等をフレーム画像Ｆ（ｔ）に重畳合成する処理を時々刻々繰り返すことによって、フレーム画像Ｆ（ｔ）中の物体に対してＣＧ等を合成することを実現している。   The object coordinate system conversion device 9 repeats the process of superimposing and synthesizing CG and the like on the frame image F (t) for each frame image F (t) that is sequentially input. It is possible to synthesize CG and the like for the object.

このような物体座標系変換装置９において、フレーム画像Ｆ（ｔ）に近接する時刻ｔ以前のフレーム画像とのステレオ視の原理によって３次元座標を算出する場合、その基線長が短く奥行分解能が低いために、３次元座標の精度が悪いといった問題がある。これに対して、シーンを様々な位置及び方向から撮像した動画像を構成する複数のフレーム画像を使って特徴点の３次元座標を算出する方法がある。この方法を用いて得られる３次元座標は、ステレオ視の原理を用いて算出した３次元座標に比べ精度が高い。そこで、カメラポーズ３Ｄ推定部９４が算出した３次元座標から、テンプレート画像内の３次元座標を算出する方法が考えられる。   In such an object coordinate system conversion device 9, when the three-dimensional coordinates are calculated based on the principle of stereo vision with a frame image close to the frame image F (t) before the time t, the base length is short and the depth resolution is low. Therefore, there is a problem that the accuracy of the three-dimensional coordinates is poor. On the other hand, there is a method for calculating the three-dimensional coordinates of feature points using a plurality of frame images constituting a moving image obtained by capturing a scene from various positions and directions. The three-dimensional coordinates obtained using this method have higher accuracy than the three-dimensional coordinates calculated using the principle of stereo vision. Therefore, a method of calculating the three-dimensional coordinates in the template image from the three-dimensional coordinates calculated by the camera pose 3D estimation unit 94 is conceivable.

図１６は、テンプレート画像内の３次元座標の算出方法を示す概略図である。以下、テンプレート画像の対象画像領域を表現する一つの３次元座標を算出する方法について説明する。また、テンプレート画像の領域全体を表現する一つの３次元座標を代表３次元座標という。
図１６に示されているように、フレーム画像上のテンプレート画像の位置を対象画像領域とする。テンプレート照合部９５において、この対象画像領域の４隅の点と、カメラポーズ３Ｄ推定部９４が推定したカメラポーズのうちカメラの位置を示す投影中心位置とから、四角錐台を形成する。更に、カメラポーズ３Ｄ推定部９４が推定した特徴点の３次元点のうち、形成した四角錐台に属する３次元点を候補３次元点群とする。この候補３次元点群に含まれる特徴点の３次元座標の平均値を代表３次元座標として算出する。 FIG. 16 is a schematic diagram illustrating a method for calculating three-dimensional coordinates in a template image. Hereinafter, a method for calculating one three-dimensional coordinate representing the target image area of the template image will be described. One three-dimensional coordinate representing the entire area of the template image is referred to as a representative three-dimensional coordinate.
As shown in FIG. 16, the position of the template image on the frame image is set as the target image area. The template matching unit 95 forms a quadrangular pyramid from the four corner points of the target image area and the projection center position indicating the camera position in the camera pose estimated by the camera pose 3D estimation unit 94. Further, among the three-dimensional points of the feature points estimated by the camera pose 3D estimation unit 94, a three-dimensional point belonging to the formed quadrangular frustum is set as a candidate three-dimensional point group. An average value of the three-dimensional coordinates of the feature points included in the candidate three-dimensional point group is calculated as a representative three-dimensional coordinate.

Robert O. Castle,David W. Murray,“Object Recognition and Localization while Tracking and Mapping,” International Symposium on Mixed and Augmented Reality, pp. 179-180,Oct. 2009.Robert O. Castle, David W. Murray, “Object Recognition and Localization while Tracking and Mapping,” International Symposium on Mixed and Augmented Reality, pp. 179-180, Oct. 2009.

しかしながら、カメラポーズ３Ｄ推定部９４が算出する３次元点の３次元座標には、画像の量子化誤差や対応付けの誤りによる誤差が含まれていることがある。この誤差に起因して、テンプレート画像内（対象画像領域）を代表する代表３次元座標は真値とずれてしまうことがあるという問題がある。   However, the 3D coordinates of the 3D points calculated by the camera pose 3D estimation unit 94 may include an error due to an image quantization error or an association error. Due to this error, there is a problem that the representative three-dimensional coordinates representing the template image (target image region) may deviate from the true value.

本発明は、上記問題を解決すべくなされたもので、フレーム画像上の対象画像領域を代表する代表３次元座標の精度を向上させることができる３次元座標算出装置、３次元座標算出方法、及びプログラムを提供することを目的とする。   The present invention has been made to solve the above problem, and can improve the accuracy of a representative three-dimensional coordinate representing a target image region on a frame image, a three-dimensional coordinate calculation device, a three-dimensional coordinate calculation method, and The purpose is to provide a program.

上記問題を解決するために、本発明は、フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出ステップと、前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出ステップとを有することを特徴とする３次元座標算出方法である。   In order to solve the above problem, the present invention provides each candidate three-dimensional from three-dimensional coordinates of a plurality of candidate three-dimensional points that are feature points of the object in the target image area including the object imaged in the frame image. A score calculation step for calculating a score for a point, a three-dimensional coordinate of the point representing the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score for the three-dimensional coordinate A three-dimensional coordinate calculation method comprising: a representative three-dimensional coordinate calculation step for calculating a representative three-dimensional coordinate.

また、本発明は、上記に記載の発明において、前記スコア算出ステップにおいて、前記フレーム画像を撮像したカメラの位置から前記候補３次元点までの距離を前記スコアとして算出し、前記代表３次元座標算出ステップにおいて、前記候補３次元点のうち、全ての前記候補３次元点の前記スコアにおける中央値に対応する候補３次元点の３次元座標を前記代表３次元座標として出力することを特徴とする。   Further, the present invention is the invention described in the above, wherein in the score calculation step, the distance from the position of the camera that captured the frame image to the candidate three-dimensional point is calculated as the score, and the representative three-dimensional coordinate calculation is performed. In the step, three-dimensional coordinates of candidate three-dimensional points corresponding to the median values in the scores of all the candidate three-dimensional points among the candidate three-dimensional points are output as the representative three-dimensional coordinates.

また、本発明は、上記に記載の発明において、前記スコア算出ステップにおいて、前記候補３次元点ごとに、該候補３次元点の被観測回数と、全ての前記候補３次元点の被観測回数のうち最大の被観測回数とから前記スコアを算出し、前記代表３次元座標算出ステップにおいて、前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数であることを特徴とする。   Further, in the invention described above, in the above-described invention, in the score calculation step, for each of the candidate 3D points, the number of times of observation of the candidate 3D points and the number of times of observation of all the candidate 3D points By calculating the score from the maximum number of observed times and using the score corresponding to each of the candidate 3D points as a weight in the representative 3D coordinate calculation step, the 3D coordinates of the candidate 3D points The weighted average is calculated, and the calculated weighted average is output as the representative three-dimensional coordinates. The number of times of observation is within the target image region of each frame image in the plurality of frame images captured at different times. This is the number of times a candidate three-dimensional point is observed.

また、本発明は、上記に記載の発明において、前記スコア算出ステップにおいて、前記候補３次元点ごとに、該候補３次元点の被観測回数の予め定めた定数に対する比をべき乗した値を前記スコアとして算出し、前記代表３次元座標算出ステップにおいて、前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数であることを特徴とする。   Further, the present invention is the invention described in the above, wherein, in the score calculation step, for each candidate 3D point, a value obtained by raising the ratio of the number of times of observation of the candidate 3D point to a predetermined constant to a power And calculating the weighted average of the three-dimensional coordinates of the candidate three-dimensional points by using the score corresponding to each of the candidate three-dimensional points as a weight in the representative three-dimensional coordinate calculating step. The average is output as the representative three-dimensional coordinate, and the observed number is the number of times the candidate three-dimensional point is observed in the target image area of each frame image in the plurality of frame images captured at different times. It is characterized by being.

また、本発明は、上記に記載の発明において、前記スコア算出ステップにおいて、
前記候補３次元点ごとに、過去のフレーム画像における候補３次元点を含む画像であるテンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像との類似度に基づいて前記スコアを算出し、前記代表３次元座標算出ステップにおいて、前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力することを特徴とする。 In the invention described above, in the score calculation step,
For each candidate 3D point, a template image that is an image including a candidate 3D point in a past frame image, and an image in an area including the candidate 3D point in a target frame image for calculating the representative 3D coordinates; The score is calculated on the basis of the similarity, and the three-dimensional coordinate weights of the candidate three-dimensional points are used in the representative three-dimensional coordinate calculation step by using the scores corresponding to the candidate three-dimensional points as weights. An average is calculated, and the calculated weighted average is output as the representative three-dimensional coordinate.

また、本発明は、上記に記載の発明において、前記スコア算出ステップにおいて、前記テンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像とのサイズが同じであることを特徴とする。   Further, the present invention provides the above-described invention, wherein, in the score calculation step, the size of the template image and an image in an area including a candidate three-dimensional point in the target frame image for calculating the representative three-dimensional coordinates. Are the same.

また、本発明は、上記に記載の発明において、前記スコア算出ステップにおいて、前記過去のフレーム画像を撮像した際のカメラポーズと、前記代表３次元座標を算出する対象のフレーム画像を撮像した際のカメラポーズとに基づいて、前記テンプレート画像を前記代表３次元座標を算出する対象のフレーム画像に投影した領域を算出し、算出した領域の画像と前記テンプレート画像との類似度を前記スコアとして算出することを特徴とする。   Further, the present invention is the above-described invention, wherein in the score calculation step, a camera pose when the past frame image is captured and a target frame image for calculating the representative three-dimensional coordinates are captured. Based on the camera pose, a region obtained by projecting the template image onto the target frame image for calculating the representative three-dimensional coordinates is calculated, and the similarity between the image of the calculated region and the template image is calculated as the score. It is characterized by that.

また、本発明は、上記に記載の発明において、前記スコア算出ステップにおいて、前記候補３次元点ごとに、該候補３次元点の被観測回数と、全ての前記候補３次元点の被観測回数のうち最大の被観測回数とから第１のスコアを算出し、前記候補３次元点ごとに、過去のフレーム画像における候補３次元点を含む画像であるテンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像との類似度に基づいて第２のスコアを算出し、前記候補３次元点それぞれに対応する、前記第１のスコアと前記第２のスコアとから算出された重みを用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し、前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数であることを特徴とする。   Further, in the invention described above, in the above-described invention, in the score calculation step, for each of the candidate 3D points, the number of times of observation of the candidate 3D points and the number of times of observation of all the candidate 3D points A first score is calculated from the maximum number of observed times, and a template image that is an image including candidate 3D points in a past frame image and the representative 3D coordinates are calculated for each candidate 3D point. A second score is calculated based on the similarity with the image in the region including the candidate 3D point in the target frame image, and the first score and the second score corresponding to each of the candidate 3D points are calculated. By using the weight calculated from the score, a weighted average of the three-dimensional coordinates of the candidate three-dimensional point is calculated, and the calculated weighted average is output as the representative three-dimensional coordinates. Characterized in that said number of times the the target image area candidate 3D points are observed for each frame image in the plurality of frame images captured in Re different times.

また、本発明は、フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出部と、前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出部とを備えることを特徴とする３次元座標算出装置である。   The present invention also calculates a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image. A representative three-dimensional coordinate that is a three-dimensional coordinate of the point representing the target image area is calculated using a statistical processing for the score calculation unit, the three-dimensional coordinates of the candidate three-dimensional point, and the score for the three-dimensional coordinate. And a representative three-dimensional coordinate calculation unit.

また、本発明は、上記に記載の３次元座標算出方法をコンピュータに実行させるためのプログラムである。   Further, the present invention is a program for causing a computer to execute the three-dimensional coordinate calculation method described above.

この発明によれば、各候補３次元点の３次元座標に基づいてスコアを算出し、算出したスコアに対する統計処理の結果に基づいて代表３次元座標を算出することにより、３次元座標の外れ値の影響を低減して代表３次元座標を得ることができ、フレーム画像上の対象画像領域を代表する代表３次元座標を算出する精度を向上させることができる。   According to the present invention, the score is calculated based on the three-dimensional coordinates of each candidate three-dimensional point, and the representative three-dimensional coordinates are calculated based on the result of the statistical processing for the calculated scores, thereby outliering the three-dimensional coordinates. The representative three-dimensional coordinates can be obtained by reducing the influence of the above, and the accuracy of calculating the representative three-dimensional coordinates representing the target image area on the frame image can be improved.

本明細書における座標系及び用語を説明するための図である。It is a figure for demonstrating the coordinate system and terminology in this specification. 第１実施形態における３次元座標算出装置１の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the three-dimensional coordinate calculation apparatus 1 in 1st Embodiment. 同実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。It is a flowchart of the process which calculates the score with respect to the candidate three-dimensional point in the embodiment. 同実施形態における代表３次元座標を算出する処理のフローチャートである。It is a flowchart of the process which calculates the representative three-dimensional coordinate in the same embodiment. 同実施形態における被観測回数を説明するための図である。It is a figure for demonstrating the frequency | count of observation in the same embodiment. 第２実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。It is a flowchart of the process which calculates the score with respect to the candidate three-dimensional point in 2nd Embodiment. 同実施形態における代表３次元座標を算出する処理のフローチャートである。It is a flowchart of the process which calculates the representative three-dimensional coordinate in the same embodiment. 第３実施形態における３次元点生成テンプレート画像を説明するための図である。It is a figure for demonstrating the three-dimensional point production | generation template image in 3rd Embodiment. 同実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。It is a flowchart of the process which calculates the score with respect to the candidate three-dimensional point in the embodiment. 同実施形態における３次元点生成テンプレート領域を説明するための図である。It is a figure for demonstrating the three-dimensional point production | generation template area | region in the embodiment. 第４実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。It is a flowchart of the process which calculates the score with respect to the candidate three-dimensional point in 4th Embodiment. 同実施形態における３次元点生成テンプレート射影領域を説明するための第１の図である。It is a 1st figure for demonstrating the three-dimensional point production | generation template projection area | region in the embodiment. 同実施形態における３次元点生成テンプレート射影領域を説明するための第２の図である。It is a 2nd figure for demonstrating the three-dimensional point production | generation template projection area | region in the embodiment. 第５実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。It is a flowchart of the process which calculates the score with respect to the candidate three-dimensional point in 5th Embodiment. 物体座標系変換装置９の構成例を示す概略ブロック図である。3 is a schematic block diagram illustrating a configuration example of an object coordinate system conversion device 9. FIG. テンプレート画像内の３次元座標の算出方法を示す概略図である。It is the schematic which shows the calculation method of the three-dimensional coordinate in a template image.

以下、図面を参照して、本発明の実施形態における３次元座標算出装置、３次元座標算出方法、及びプログラムを説明する。   Hereinafter, a three-dimensional coordinate calculation device, a three-dimensional coordinate calculation method, and a program according to an embodiment of the present invention will be described with reference to the drawings.

まず、実施形態において用いる座標系及び用語について説明する。
図１は、本明細書における座標系及び用語を説明するための図である。同図に示すように、ワールド座標系は空間全体を表し予め定められた座標系である。３次元点の３次元座標はワールド座標系における３次元点の位置を示す３次元座標である。カメラポーズはワールド座標系におけるカメラ位置の並進と回転とを表す。 First, a coordinate system and terms used in the embodiment will be described.
FIG. 1 is a diagram for explaining a coordinate system and terms in this specification. As shown in the figure, the world coordinate system represents the entire space and is a predetermined coordinate system. The three-dimensional coordinate of the three-dimensional point is a three-dimensional coordinate indicating the position of the three-dimensional point in the world coordinate system. The camera pose represents translation and rotation of the camera position in the world coordinate system.

（第１実施形態）
図２は、第１実施形態における３次元座標算出装置１の構成を示す概略ブロック図である。同図に示すように、３次元座標算出装置１は、情報入力部１１と、候補３次元点記憶部１２と、スコア算出部１３と、代表３次元座標算出部１４とを具備している。
情報入力部１１には、処理対象のフレーム画像における候補３次元点群に含まれる各候補３次元点の３次元座標を示す候補３次元点群情報と、当該フレーム画像を撮像したカメラポーズとが入力される。候補３次元点群とは、図１６において示した、処理対象のフレーム画像における対象画像領域を示す４隅の点と、当該フレーム画像を撮像したカメラの投影中心位置とから構成される四角錐台に含まれる３次元点の集合である。 (First embodiment)
FIG. 2 is a schematic block diagram illustrating a configuration of the three-dimensional coordinate calculation apparatus 1 according to the first embodiment. As shown in FIG. 1, the three-dimensional coordinate calculation device 1 includes an information input unit 11, a candidate three-dimensional point storage unit 12, a score calculation unit 13, and a representative three-dimensional coordinate calculation unit 14.
The information input unit 11 includes candidate three-dimensional point group information indicating the three-dimensional coordinates of each candidate three-dimensional point included in the candidate three-dimensional point group in the processing target frame image, and a camera pose that captures the frame image. Entered. The candidate three-dimensional point group is a quadrangular frustum composed of the four corner points indicating the target image area in the processing target frame image shown in FIG. 16 and the projection center position of the camera that captured the frame image. Is a set of three-dimensional points included in.

候補３次元点記憶部１２は、情報入力部１１に入力された候補３次元点群情報に含まれる各３次元座標にスコア（特徴量）を対応付けて記憶する。
スコア算出部１３は、候補３次元点記憶部１２に記憶されている各候補３次元点の３次元座標を読み出し、読み出した３次元座標と、情報入力部１１に入力されたカメラポーズとに基づいて、候補３次元点に対するスコアを算出する。スコア算出部１３は、算出したスコアを、当該スコアに対応する３次元座標に対応付けて候補３次元点記憶部１２に記憶させる。
代表３次元座標算出部１４は、候補３次元点記憶部１２に記憶されている３次元座標及びスコアに基づいて、対象画像領域を代表する代表３次元座標を算出し、算出した代表３次元座標を出力する。 The candidate 3D point storage unit 12 stores a score (feature amount) in association with each 3D coordinate included in the candidate 3D point group information input to the information input unit 11.
The score calculation unit 13 reads the three-dimensional coordinates of each candidate three-dimensional point stored in the candidate three-dimensional point storage unit 12, and based on the read three-dimensional coordinates and the camera pose input to the information input unit 11. Thus, a score for the candidate three-dimensional point is calculated. The score calculation unit 13 stores the calculated score in the candidate three-dimensional point storage unit 12 in association with the three-dimensional coordinates corresponding to the score.
The representative three-dimensional coordinate calculation unit 14 calculates a representative three-dimensional coordinate representing the target image area based on the three-dimensional coordinates and the score stored in the candidate three-dimensional point storage unit 12, and the calculated representative three-dimensional coordinate Is output.

図３は、本実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。
候補３次元点群情報及びカメラポーズが情報入力部１１に入力され、候補３次元点群情報に含まれる各３次元座標が候補３次元点記憶部１２に記憶されると、スコア算出部１３が起動される（ステップＳ１１）。
スコア算出部１３は、候補３次元点記憶部１２に記憶されている全ての３次元座標に対して、カメラポーズに含まれるカメラ位置（投影中心位置）からの距離ｄを算出する（ステップＳ１２）。
スコア算出部１３は、算出した距離ｄをスコアとし、スコアと３次元座標とを対応付けて候補３次元点記憶部１２に記憶させる（ステップＳ１３）。 FIG. 3 is a flowchart of processing for calculating a score for a candidate three-dimensional point in the present embodiment.
When the candidate 3D point group information and the camera pose are input to the information input unit 11 and each 3D coordinate included in the candidate 3D point group information is stored in the candidate 3D point storage unit 12, the score calculation unit 13 It is activated (step S11).
The score calculation unit 13 calculates the distance d from the camera position (projection center position) included in the camera pose for all three-dimensional coordinates stored in the candidate three-dimensional point storage unit 12 (step S12). .
The score calculation unit 13 uses the calculated distance d as a score, associates the score with the three-dimensional coordinates, and stores them in the candidate three-dimensional point storage unit 12 (step S13).

ステップＳ１２における距離ｄの算出は、ワールド座標系において、第ｉ番目の候補３次元点の３次元座標を（Ｘｉ，Ｙｉ，Ｚｉ）とし、投影中心位置の３次元座標を（Ｃｘ，Ｃｙ，Ｃｚ）としたとき、次式（１）を用いて算出される。   In step S12, the distance d is calculated by setting the three-dimensional coordinates of the i-th candidate three-dimensional point as (Xi, Yi, Zi) and the three-dimensional coordinates of the projection center position as (Cx, Cy, Cz) in the world coordinate system. ) Is calculated using the following equation (1).

図４は、本実施形態における代表３次元座標を算出する処理のフローチャートである。
スコア算出部１３が全ての３次元点の３次元座標に対してスコアを算出し終えると、代表３次元座標算出部１４が起動される。
代表３次元座標算出部１４は、候補３次元点記憶部１２から全ての３次元座標と、当該３次元座標に対応付けられたスコアとを読み出す（ステップＳ１６）。
代表３次元座標算出部１４は、読み出したスコアのうち中央値に対応するスコアを検出し、検出したスコアに対応する３次元座標を代表３次元座標として出力し（ステップＳ１７）、処理を終える。 FIG. 4 is a flowchart of processing for calculating representative three-dimensional coordinates in the present embodiment.
When the score calculation unit 13 finishes calculating the scores for the three-dimensional coordinates of all the three-dimensional points, the representative three-dimensional coordinate calculation unit 14 is activated.
The representative three-dimensional coordinate calculation unit 14 reads out all the three-dimensional coordinates and the scores associated with the three-dimensional coordinates from the candidate three-dimensional point storage unit 12 (step S16).
The representative three-dimensional coordinate calculation unit 14 detects a score corresponding to the median value from the read scores, outputs the three-dimensional coordinates corresponding to the detected score as representative three-dimensional coordinates (step S17), and ends the process.

ステップＳ１６において、代表３次元座標算出部１４は、例えば候補３次元点群に含まれる候補３次元点の数がＮの場合、読み出した全てのスコアを昇順又は降順にソートし、ソートしたスコアの列において（Ｎ／２）番目のスコアに対応する３次元座標を選択することにより中央値を検出する。   In step S16, when the number of candidate 3D points included in the candidate 3D point group is N, for example, the representative 3D coordinate calculation unit 14 sorts all the read scores in ascending or descending order, and the sorted scores The median is detected by selecting the three-dimensional coordinates corresponding to the (N / 2) th score in the column.

上述のように、本実施形態における３次元座標算出装置１は、カメラの投影中心位置から各候補３次元点までの距離をスコアとし、全てのスコアの中央値に対応する３次元座標を代表３次元座標としている。
ところで、平均値は、測定誤差などによって発生する外れ値（他の値と著しく異なる値）に影響され、真値から大きくずれることや無意味な値になることがある。対して、中央値は外れ値に影響されにくく、真値に近い値を得ることができる。
このように、３次元座標算出装置１は、中央値を用いて代表３次元座標を算出することにより、候補３次元点群の各３次元座標に含まれる誤差の影響を低減し、代表３次元座標を算出する精度を向上させることができる。 As described above, the three-dimensional coordinate calculation apparatus 1 according to the present embodiment uses the distance from the projection center position of the camera to each candidate three-dimensional point as a score, and represents the three-dimensional coordinates corresponding to the median value of all scores as representative three. Dimensional coordinates are used.
By the way, the average value is influenced by an outlier (a value significantly different from other values) generated due to a measurement error or the like, and may deviate greatly from the true value or become a meaningless value. On the other hand, the median value is hardly affected by the outliers, and a value close to the true value can be obtained.
As described above, the three-dimensional coordinate calculation apparatus 1 calculates the representative three-dimensional coordinates using the median value, thereby reducing the influence of the error included in each three-dimensional coordinate of the candidate three-dimensional point group. The accuracy of calculating the coordinates can be improved.

（第２実施形態）
第２実施形態における３次元座標算出装置は、スコア算出部１３と代表３次元座標算出部１４とにおける処理が第１実施形態と異なる。そこで、図２に示した構成を用いて各部の処理を説明する。なお、本実施形態においては、情報入力部１１には、候補３次元点群情報及びカメラポーズに替えて、候補３次元点群情報と各候補３次元点に対応付けられた被観測回数が入力される。 (Second Embodiment)
The three-dimensional coordinate calculation apparatus according to the second embodiment is different from the first embodiment in the processing in the score calculation unit 13 and the representative three-dimensional coordinate calculation unit 14. Therefore, the processing of each unit will be described using the configuration shown in FIG. In the present embodiment, the information input unit 11 receives the candidate 3D point cloud information and the number of times of observation associated with each candidate 3D point, instead of the candidate 3D point cloud information and the camera pose. Is done.

ここで、被観測回数について説明する。図５は本実施形態における被観測回数を説明するための図である。
被観測回数は、３次元点ごとに算出される値で０以上の整数であり、初期時刻において全ての候補３次元点に対して０が設定される。被観測回数は、処理対象のフレーム画像Ｆ（ｔ）における対象画像領域を示す４隅の点と、当該フレーム画像を撮像したカメラの投影中心位置とから構成される四角錐台に含まれる場合に「１」増加する。
例えば、図５に示すように、時刻（ｔ−１）、時刻ｔに亘って被観測回数を計数すると、時刻（ｔ−１）と時刻ｔとの両方の四角錐台に含まれる３次元点の被観測回数は「２」となる。また、時刻ｔの四角錐台のみに含まれる３次元点の観測回数は「１」となる。時刻（ｔ−１）と時刻ｔとの両方の四角錐台に含まれない３次元点の被観測回数は「０」となる。
すなわち、被観測回数は、各３次元点に対して、それぞれ異なる時刻に撮像された複数のフレーム画像において、各フレーム画像上の対象画像領域内で３次元点が観測（検出）された回数である。 Here, the number of times of observation will be described. FIG. 5 is a diagram for explaining the number of times of observation in the present embodiment.
The observed number is a value calculated for each three-dimensional point and is an integer of 0 or more, and 0 is set for all candidate three-dimensional points at the initial time. The number of times of observation is included in a quadrangular pyramid composed of four corner points indicating the target image area in the frame image F (t) to be processed and the projection center position of the camera that captured the frame image. Increase by "1".
For example, as shown in FIG. 5, when the number of times of observation is counted over time (t-1) and time t, three-dimensional points included in the square frustum at both time (t-1) and time t The observed number of times is “2”. In addition, the number of observations of the three-dimensional points included only in the square frustum at time t is “1”. The number of times of observation of a three-dimensional point that is not included in the square frustum at both time (t−1) and time t is “0”.
That is, the number of times of observation is the number of times a three-dimensional point is observed (detected) in a target image area on each frame image in a plurality of frame images captured at different times for each three-dimensional point. is there.

図６は、第２実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。
候補３次元点群情報及び各候補３次元点に対応付けられた被観測回数が情報入力部１１に入力され、候補３次元点群情報に含まれる各３次元座標と被観測回数とが対応付けられて候補３次元点記憶部１２に記憶されると、スコア算出部１３が起動される（ステップＳ２１）。ここで入力される被観測回数は、フレーム画像に対する処理を開始した初期時刻から全てのフレーム画像に亘って計数された値である。
スコア算出部１３は、候補３次元点記憶部１２に記憶されている全ての３次元座標それぞれに対して、スコアとしての重み値ｗを算出し（ステップＳ２２）、算出した重み値ｗを３次元座標に対応付けて候補３次元点記憶部１２に記憶させる（ステップＳ２３）。 FIG. 6 is a flowchart of processing for calculating a score for a candidate three-dimensional point in the second embodiment.
Candidate 3D point cloud information and the number of times of observation associated with each candidate 3D point are input to the information input unit 11, and each 3D coordinate included in the candidate 3D point cloud information is associated with the number of times of observation. If it is stored in the candidate 3D point storage unit 12, the score calculation unit 13 is activated (step S21). The number of times of observation input here is a value counted over all the frame images from the initial time when processing on the frame image is started.
The score calculation unit 13 calculates a weight value w as a score for each of all the three-dimensional coordinates stored in the candidate three-dimensional point storage unit 12 (step S22), and the calculated weight value w is three-dimensional. The candidate 3D point storage unit 12 stores the coordinates in association with the coordinates (step S23).

ステップＳ２２における重み値ｗの算出は、次式（２−１）又は次式（２−２）を用いて算出する。   The weight value w in step S22 is calculated using the following equation (2-1) or the following equation (2-2).

式（２−１）及び式（２−２）において、ｃｎｔは被観測回数を示す。また、式（２−１）において、ｃｎｔｍａｘは候補３次元点記憶部１２に記憶されている被観測回数のうち最大の被観測回数を示す。また、式（２−２）において、Ｃは予め定められた定数を示し、０以外の任意の数である。 In Expression (2-1) and Expression (2-2), cnt represents the number of times of observation. In the equation (2-1), cnt max indicates the maximum number of times of observation among the number of times of observation stored in the candidate three-dimensional point storage unit 12. Moreover, in Formula (2-2), C shows a predetermined constant and is an arbitrary number other than 0.

式（２−１）に示した関数は、被観測回数０から最大観測回数ｃｎｔｍａｘまでの定義域で０から１までの値を取る。また、式（２−１）に示した関数は、被観測回数ｃｎｔが最大観測回数と一致する場合に重み値ｗを１として出力し、被観測回数ｃｎｔが０である場合に重み値ｗを０として出力する。
ただし、式（２−１）に示した関数では、各候補３次元点の重み値ｗを算出する際に、入力されている候補３次元点の被観測回数から最大観測回数ｃｎｔｍａｘを事前に特定しておく必要があり、計算処理量が増加する。 The function shown in the equation (2-1) takes a value from 0 to 1 in a domain from the number of observed times 0 to the maximum number of observations cnt max . Further, the function shown in Expression (2-1) outputs the weight value w as 1 when the observed number cnt matches the maximum observed number, and sets the weight value w when the observed number cnt is 0. Output as 0.
However, in the function shown in Expression (2-1), when calculating the weight value w of each candidate three-dimensional point, the maximum number of observations cnt max is calculated in advance from the number of times the candidate three-dimensional point is input. It is necessary to specify this, and the amount of calculation processing increases.

計算処理量の増加を回避するため、式（２−２）に示した関数では、重み値ｗを被観測回数ｃｎｔの自乗で算出し、被観測回数ｃｎｔの値が大きいほど大きな重みを与える。式（２−２）に示した関数を利用することにより、各候補３次元点の重み値ｗを算出する際に、最大観測回数ｃｎｔｍａｘを事前に特定しておく必要がなくなり、重み値ｗを算出するときの計算処理量を低減することができる。 In order to avoid an increase in the amount of calculation processing, in the function shown in Expression (2-2), the weight value w is calculated by the square of the number of times of observation cnt, and a larger weight is given as the value of the number of times of observation cnt is larger. By using the function shown in Expression (2-2), it is not necessary to specify the maximum number of observations cnt max in advance when calculating the weight value w of each candidate three-dimensional point, and the weight value w It is possible to reduce the amount of calculation processing when calculating.

図７は、本実施形態における代表３次元座標を算出する処理のフローチャートである。
スコア算出部１３が全ての３次元点の３次元座標に対してスコアを算出し終えると、代表３次元座標算出部１４が起動される。
代表３次元座標算出部１４は、候補３次元点記憶部１２から全ての３次元座標と、当該３次元座標に対応付けられたスコアとを読み出す（ステップＳ２６）。
代表３次元座標算出部１４は、読み出した３次元座標とスコアとから加重平均により代表３次元座標（Ｘ，Ｙ，Ｚ）を算出し、代表３次元座標（Ｘ，Ｙ，Ｚ）を出力して（ステップＳ２７）、処理を終える。 FIG. 7 is a flowchart of processing for calculating representative three-dimensional coordinates in the present embodiment.
When the score calculation unit 13 finishes calculating the scores for the three-dimensional coordinates of all the three-dimensional points, the representative three-dimensional coordinate calculation unit 14 is activated.
The representative three-dimensional coordinate calculation unit 14 reads out all the three-dimensional coordinates and the scores associated with the three-dimensional coordinates from the candidate three-dimensional point storage unit 12 (step S26).
The representative three-dimensional coordinate calculation unit 14 calculates representative three-dimensional coordinates (X, Y, Z) from the read three-dimensional coordinates and the score by a weighted average, and outputs the representative three-dimensional coordinates (X, Y, Z). (Step S27), and the process ends.

ステップＳ２７における代表３次元座標（Ｘ，Ｙ，Ｚ）は、次式（３）を用いて算出する。   The representative three-dimensional coordinates (X, Y, Z) in step S27 are calculated using the following equation (3).

式（３）において、Ｎは候補３次元点の総数であり、（Ｘｉ，Ｙｉ，Ｚｉ）は第ｉ番目の候補３次元点の３次元座標であり、Ｗｉは第ｉ番目の候補３次元点に対する重み値ｗである。 In equation (3), N is the total number of candidate 3D points, (X i , Y i , Z i ) is the 3D coordinates of the i th candidate 3D point, and W i is the i th i th A weight value w for the candidate three-dimensional point.

上述の第１実施形態において説明した代表３次元座標を算出する方法では、測定誤差を有する候補３次元点が少ない場合には、正確な代表３次元座標を算出することが可能であるが、測定誤差を有する候補３次元点が真値に近い３次元座標を有する候補３次元点より多い場合、スコアの分布が測定誤差を有する候補３次元点へと偏ることによって中央値が真値からずれ、代表３次元座標の精度が低下することがある。
これに対し、本実施形態において説明した方法では、真値に近い３次元座標を有する３次元点が図５に示したように複数時刻に跨るフレーム画像列において観測される回数が増加することを利用し、被観測回数に基づいたスコアを算出し、算出したスコアを用いて代表３次元座標を算出することで、測定誤差を有する候補３次元点が多いときでも、代表３次元座標を算出する精度を向上させることができる。 In the method for calculating representative three-dimensional coordinates described in the first embodiment, accurate representative three-dimensional coordinates can be calculated when there are few candidate three-dimensional points having measurement errors. If there are more candidate 3D points with errors than candidate 3D points with 3D coordinates close to the true value, the median will deviate from the true value by biasing the distribution of scores to the candidate 3D points with measurement errors, The accuracy of representative three-dimensional coordinates may be reduced.
On the other hand, in the method described in this embodiment, the number of times that a three-dimensional point having a three-dimensional coordinate close to a true value is observed in a frame image sequence spanning a plurality of times as shown in FIG. By calculating a score based on the number of times of observation and calculating a representative three-dimensional coordinate using the calculated score, the representative three-dimensional coordinate is calculated even when there are many candidate three-dimensional points having measurement errors. Accuracy can be improved.

このように、３次元座標算出装置１は、フレーム画像に撮像されている物体を含む対象画像領域内の物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出部１３と、候補３次元点の３次元座標と該３次元座標に対するスコアとに対して、中央値の検出や加重平均などの統計処理を用いて、対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出部１４とを備えている。
これにより、各候補３次元点の３次元座標に基づいてスコアを算出し、算出したスコアに対する統計処理の結果に基づいて代表３次元座標を算出することにより、３次元座標の外れ値の影響を低減して代表３次元座標を得ることができ、フレーム画像上の対象画像領域を代表する代表３次元座標を算出する精度を向上させることができる。
また、例えば３次元座標算出装置１を物体座標系変換装置９に適用することにより、コンピュータグラフィクス等を合成させる対象物体のワールド座標系における３次元座標を算出する精度を向上させることができ、フレーム画像上の物体に対してコンピュータグラフィクス等を精度良く合成することができる。 As described above, the three-dimensional coordinate calculation apparatus 1 calculates each candidate three-dimensional point from the three-dimensional coordinates of a plurality of candidate three-dimensional points that are feature points of the object in the target image area including the object captured in the frame image. A target image area is calculated using statistical processing such as median detection or weighted average for the three-dimensional coordinates of the candidate three-dimensional points and the scores for the three-dimensional coordinates, and a score calculation unit 13 that calculates a score for And a representative three-dimensional coordinate calculation unit 14 that calculates representative three-dimensional coordinates, which are three-dimensional coordinates of representative points.
Thereby, the score is calculated based on the three-dimensional coordinates of each candidate three-dimensional point, and the representative three-dimensional coordinates are calculated based on the result of the statistical processing on the calculated scores, thereby affecting the influence of the outlier of the three-dimensional coordinates. The representative three-dimensional coordinates can be obtained by reducing the accuracy, and the accuracy of calculating the representative three-dimensional coordinates representing the target image area on the frame image can be improved.
Further, for example, by applying the three-dimensional coordinate calculation device 1 to the object coordinate system conversion device 9, it is possible to improve the accuracy of calculating the three-dimensional coordinates in the world coordinate system of the target object to be synthesized with computer graphics and the like. Computer graphics and the like can be synthesized with high accuracy on an object on the image.

（第３実施形態）
第３実施形態における３次元座標算出装置は、スコア算出部１３における処理が第１実施形態及び第２実施形態と異なる。そこで、図２に示した構成を用いて各部の処理を説明する。なお、本実施形態においては、情報入力部１１には、候補３次元点群情報及びカメラポーズに替えて、候補３次元点群情報と当該候補３次元点群情報が示す各候補３次元点に対応付けられた３次元点生成テンプレート画像とが候補３次元点数分入力される。 (Third embodiment)
In the three-dimensional coordinate calculation apparatus according to the third embodiment, the processing in the score calculation unit 13 is different from the first embodiment and the second embodiment. Therefore, the processing of each unit will be described using the configuration shown in FIG. In the present embodiment, the information input unit 11 replaces the candidate 3D point cloud information and the camera pose with each candidate 3D point indicated by the candidate 3D point cloud information and the candidate 3D point cloud information. The associated three-dimensional point generation template image is input for the number of candidate three-dimensional points.

ここで、３次元点生成テンプレート画像について説明する。図８は第３実施形態における３次元点生成テンプレート画像を説明するための図である。
３次元点生成テンプレート画像は、候補３次元点ごとに設定される画像であり、０以上のサイズを有する。３次元点生成テンプレート画像は、時刻（ｔ−Ｎ）の撮像画像であるフレーム画像Ｆ（ｔ−Ｎ）における特徴点の三次元座標が算出されたときに、当該特徴点近傍の小領域から構成される０以上のサイズの画像を抽出したものである。例えば、図８に示すように、時刻（ｔ−Ｎ）で対象特徴点の３次元点の三次元座標を算出する際に、フレーム画像Ｆ（ｔ−Ｎ）上の対象特徴点近傍の小領域である３次元点生成テンプレート画像が生成される。この小領域、すなわち３次元点生成テンプレート画像のサイズは、予め定められたサイズが用いられる。 Here, the three-dimensional point generation template image will be described. FIG. 8 is a diagram for explaining a three-dimensional point generation template image in the third embodiment.
The 3D point generation template image is an image set for each candidate 3D point and has a size of 0 or more. The three-dimensional point generation template image is composed of small regions near the feature point when the three-dimensional coordinates of the feature point in the frame image F (tN), which is a captured image at time (tN), is calculated. The extracted image having a size of 0 or more is extracted. For example, as shown in FIG. 8, when calculating the three-dimensional coordinates of the three-dimensional point of the target feature point at time (t−N), a small region near the target feature point on the frame image F (t−N). A three-dimensional point generation template image is generated. A predetermined size is used as the size of the small region, that is, the three-dimensional point generation template image.

図９は、本実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。
候補３次元点群情報及び各候補３次元点に対応付けられた３次元点生成テンプレート画像が情報入力部１１に入力され、候補３次元点群情報に含まれる各３次元座標と３次元点生成テンプレート画像とが対応付けられて候補３次元点記憶部１２に記憶されると、スコア算出部１３が起動される（ステップＳ３１）。
スコア算出部１３は、候補３次元点記憶部１２に記憶されている全ての３次元座標それぞれに対して、スコアとしての重み値ｗを算出し（ステップＳ３２）、算出した重み値ｗを３次元座標に対応付けて候補３次元点記憶部１２に記憶させる（ステップＳ３３）。 FIG. 9 is a flowchart of processing for calculating a score for a candidate three-dimensional point in the present embodiment.
Candidate 3D point group information and a 3D point generation template image associated with each candidate 3D point are input to the information input unit 11, and each 3D coordinate and 3D point generation included in the candidate 3D point group information are generated. When the template image is associated and stored in the candidate three-dimensional point storage unit 12, the score calculation unit 13 is activated (step S31).
The score calculation unit 13 calculates a weight value w as a score for each of all the three-dimensional coordinates stored in the candidate three-dimensional point storage unit 12 (step S32), and the calculated weight value w is three-dimensional. The candidate 3D point storage unit 12 is stored in association with the coordinates (step S33).

ステップＳ３２における重み値ｗの算出は、対象画像領域に対するテンプレートマッチング処理により行われる。すなわち、フレーム画像Ｆ（ｔ−Ｎ）の３次元点生成テンプレート画像と、フレーム画像Ｆ（ｔ）の対象画像領域内の３次元点生成テンプレート領域との各画像データを比較することで重み値ｗを算出する。   The calculation of the weight value w in step S32 is performed by template matching processing for the target image area. That is, the weight value w is obtained by comparing each image data of the three-dimensional point generation template image of the frame image F (t−N) and the three-dimensional point generation template region in the target image region of the frame image F (t). Is calculated.

スコア算出部１２３は、テンプレートマッチング処理において算出される評価値から重み値ｗを算出する。評価値は適用するテンプレートマッチング処理に応じて異なる。そこで、２つの画像の類似度が高いときに評価値が小さくなる場合には、評価値の逆数を重み値ｗにする。逆に、２つの画像の類似度が高いときに評価値が大きくなる場合には、評価値を重み値ｗにする。   The score calculation unit 123 calculates the weight value w from the evaluation value calculated in the template matching process. The evaluation value varies depending on the template matching process to be applied. Therefore, when the evaluation value is small when the similarity between the two images is high, the reciprocal of the evaluation value is set to the weight value w. Conversely, if the evaluation value increases when the similarity between the two images is high, the evaluation value is set to the weight value w.

テンプレートマッチング処理における評価値としては、例えば、輝度差の二乗和(Sum of Squared Difference：ＳＳＤ)、輝度差の総和(Sum of Absolute Difference：ＳＡＤ)、正規化相互相関（Normalized Cross-Correlation：ＮＮＣ）、正規化相互相関（Zero-mean Normalized Cross-Correlation：ＺＮＣＣ）など複数有るがどれを用いてもよいものとする。   Evaluation values in the template matching process include, for example, sum of squared differences (SSD), sum of absolute differences (SAD), and normalized cross-correlation (NNC). There are a plurality of normalized cross-correlation (ZNCC), and any of them may be used.

ここで、３次元点生成テンプレート領域について説明する。図１０は本実施形態における３次元点生成テンプレート領域を説明するための図である。
３次元点生成テンプレート領域は、候補３次元点の一つである対象３次元点のフレーム画像Ｆ（ｔ）への射影点である３次元点射影座標近傍に、当該対象３次元点の３次元点生成テンプレート画像の縦横サイズに合致する長方形領域である。
ここで対象３次元点（Ｘ，Ｙ，Ｚ）の３次元点射影座標（ｘ，ｙ）は次式（４）によって算出できる。 Here, the three-dimensional point generation template region will be described. FIG. 10 is a diagram for explaining a three-dimensional point generation template region in the present embodiment.
The three-dimensional point generation template region has a three-dimensional point of the target three-dimensional point in the vicinity of a three-dimensional point projection coordinate that is a projection point of the target three-dimensional point that is one of the candidate three-dimensional points onto the frame image F (t). This is a rectangular area that matches the vertical and horizontal sizes of the point generation template image.
Here, the three-dimensional point projection coordinates (x, y) of the target three-dimensional point (X, Y, Z) can be calculated by the following equation (4).

式（４）における記号「〜」は、その両辺が定数倍の違いを許して等しいことを表している。なお、式１において、行列Ｍは時刻（ｔ）においてフレーム画像Ｆ（ｔ）を撮像したカメラのカメラポーズを示し次式（５）で表現される。   The symbol “˜” in equation (4) represents that both sides are equal, allowing a constant multiple difference. In Equation 1, the matrix M indicates the camera pose of the camera that captured the frame image F (t) at time (t) and is expressed by the following Equation (5).

式（５）で表現されるように、カメラポーズを示す行列Ｍは、回転行列Ｒと並進ベクトルＴとからなる。回転行列Ｒは３行３列（３×３）の行列であり、並進ベクトルＴは３行１列（３×１）のベクトルである。また、式（４）における行列Ａは、カメラパラメータに基づいて定められる３行３列の行列である。行列Ａは次式（６）で表現される。なお、ｆはカメラの焦点距離であり、δｕとδｖとはカメラの撮像素子における横方向と縦方向との画素の物理的な間隔、ＣｕとＣｖとは画像中心である。   As expressed by Expression (5), the matrix M indicating the camera pose includes a rotation matrix R and a translation vector T. The rotation matrix R is a 3 × 3 (3 × 3) matrix, and the translation vector T is a 3 × 1 (3 × 1) vector. Further, the matrix A in Expression (4) is a 3 × 3 matrix determined based on the camera parameters. The matrix A is expressed by the following equation (6). Note that f is the focal length of the camera, δu and δv are the physical distance between the pixels in the horizontal direction and the vertical direction in the image sensor of the camera, and Cu and Cv are the image centers.

このように、本実施形態では、各候補３次元点に対応する画像であって過去のフレーム画像Ｆ（ｔ−Ｎ）から抽出した３次元点生成テンプレート画像と、代表３次元座標を算出する対象のフレーム画像Ｆ（ｔ）における対象画像領域内の３次元点生成テンプレート領域の画像との類似度に基づいてスコア（重み値ｗ）を算出する。そして、スコア（重み値ｗ）を用いて候補３次元点の３次元座標の加重平均を代表３次元座標として算出する。すなわち、代表３次元座標を算出する処理は第２実施形態の処理（図７）と同じである。時刻（ｔ−Ｎ）から時刻（ｔ−１）までのＮ個の候補３次元点と、各候補３次元点の重み値ｗとから代表３次元座標を算出する。   As described above, in the present embodiment, an image corresponding to each candidate 3D point, which is a 3D point generation template image extracted from the past frame image F (t−N), and a target for calculating representative 3D coordinates. A score (weight value w) is calculated based on the similarity to the image of the three-dimensional point generation template region in the target image region in the frame image F (t). Then, the weighted average of the three-dimensional coordinates of the candidate three-dimensional points is calculated as the representative three-dimensional coordinates using the score (weight value w). That is, the process of calculating representative three-dimensional coordinates is the same as the process of the second embodiment (FIG. 7). Representative three-dimensional coordinates are calculated from N candidate three-dimensional points from time (t−N) to time (t−1) and the weight value w of each candidate three-dimensional point.

上述の第２実施形態において説明したスコアを算出する方法では、測定誤差を有する候補３次元点が真値に近い３次元座標を有する候補３次元点より多い場合でも正確に代表３次元座標を算出することが可能であるが、初回起動時刻と時刻（ｔ）の間隔が短くて全候補３次元点の被観測回数の値もしくはその差が小さい場合、代表３次元座標の精度が低下することがある。
これに対し、本実施形態において説明した方法では、３次元点とその近傍の色や輝度値は、複数時刻に跨るフレーム画像列において同様の画像として観測されることを利用し、３次元点生成テンプレート画像に基づいたスコアを算出し、算出したスコアを用いて代表３次元座標を算出することで、初回起動時刻と時刻（ｔ）の間隔が短いときでも、代表３次元座標を算出する精度を向上させることができる。 In the method for calculating the score described in the second embodiment, the representative three-dimensional coordinates are accurately calculated even when there are more candidate three-dimensional points having measurement errors than the candidate three-dimensional points having three-dimensional coordinates close to true values. However, if the interval between the first activation time and the time (t) is short and the value of the number of times of observation of all candidate three-dimensional points or the difference between them is small, the accuracy of the representative three-dimensional coordinates may decrease. is there.
On the other hand, in the method described in the present embodiment, a three-dimensional point is generated using the fact that a three-dimensional point and its neighboring colors and luminance values are observed as similar images in a frame image sequence spanning multiple times. By calculating the score based on the template image and calculating the representative three-dimensional coordinates using the calculated score, the accuracy of calculating the representative three-dimensional coordinates can be improved even when the interval between the initial activation time and the time (t) is short. Can be improved.

（第４実施形態）
第４実施形態における３次元座標算出装置は、スコア算出部１３における処理が第１実施形態及び第２実施形態及び第３実施形態と異なる。特に第３実施形態のスコア算出部１３がテンプレートマッチング処理に対象画像領域内の長方形の３次元点生成テンプレート領域を用いるのに対し、本実施形態では３次元点生成テンプレートを幾何変換させた３次元点生成テンプレート射影領域を用いるところが異なる。図２に示した構成を用いて各部の処理を説明する。なお、本実施形態においては、情報入力部１１には、候補３次元点群情報及びカメラポーズに替えて、候補３次元点群情報とカメラポーズと各候補３次元点に対応付けられた候補３次元点数分の３次元点生成テンプレート画像とが入力される。 (Fourth embodiment)
The three-dimensional coordinate calculation apparatus according to the fourth embodiment differs from the first embodiment, the second embodiment, and the third embodiment in the processing in the score calculation unit 13. In particular, the score calculation unit 13 of the third embodiment uses a rectangular three-dimensional point generation template region in the target image region for template matching processing, whereas in this embodiment, the three-dimensional point is obtained by geometrically converting the three-dimensional point generation template. The point generation template projection area is different. The processing of each unit will be described using the configuration shown in FIG. In the present embodiment, the information input unit 11 replaces the candidate 3D point cloud information and the camera pose with the candidate 3D point cloud information, the camera pose, and the candidate 3 associated with each candidate 3D point. Three-dimensional point generation template images corresponding to the number of dimension points are input.

図１１は、第４実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。
候補３次元点群情報とカメラポーズと各候補３次元点に対応付けられた３次元点生成テンプレート画像が情報入力部１１に入力され、候補３次元点群情報に含まれる各候補３次元点と３次元点生成テンプレート画像とカメラポーズとが対応付けられて候補３次元点記憶部１２に記憶されると、スコア算出部１３が起動される（ステップＳ４１）。
スコア算出部１３は、候補３次元点記憶部１２に記憶されている全ての３次元座標それぞれに対して、スコアとしての重み値ｗを算出し（ステップＳ４２）、算出した重み値ｗを３次元座標に対応付けて候補３次元点記憶部１２に記憶させる（ステップＳ４３）。 FIG. 11 is a flowchart of processing for calculating a score for a candidate three-dimensional point in the fourth embodiment.
The candidate 3D point group information, the camera pose, and a 3D point generation template image associated with each candidate 3D point are input to the information input unit 11, and each candidate 3D point included in the candidate 3D point group information When the 3D point generation template image and the camera pose are associated with each other and stored in the candidate 3D point storage unit 12, the score calculation unit 13 is activated (step S41).
The score calculation unit 13 calculates a weight value w as a score for each of all the three-dimensional coordinates stored in the candidate three-dimensional point storage unit 12 (step S42), and the calculated weight value w is three-dimensional. The candidates are stored in the candidate 3D point storage unit 12 in association with the coordinates (step S43).

ステップＳ４２における重み値ｗの算出は、対象画像領域に対するテンプレートマッチング処理により行われる。すなわち、３次元点生成テンプレート画像と、フレーム画像Ｆ（ｔ）の対象画像領域内の３次元点生成テンプレート射影領域との各画像データを比較することで重み値ｗを算出する。
ここで、３次元点生成テンプレート射影領域について説明する。図１２及び図１３は本実施形態における３次元点生成テンプレート射影領域を説明するための図である。 The calculation of the weight value w in step S42 is performed by template matching processing for the target image area. That is, the weight value w is calculated by comparing each image data of the three-dimensional point generation template image and the three-dimensional point generation template projection region in the target image region of the frame image F (t).
Here, the three-dimensional point generation template projection region will be described. 12 and 13 are diagrams for explaining the three-dimensional point generation template projection region in the present embodiment.

図１２及び図１３における３次元点生成テンプレート射影領域は、図１０において示したフレーム画像Ｆ（ｔ−Ｎ）における３次元点生成テンプレート画像を、対象３次元点を時刻（ｔ−Ｎ）のカメラポーズの光軸に直交し対象３次元点を通る平面、すなわち画像投影面に平行で対象３次元点を通る平面に逆投影し、その逆投影された領域が時刻（ｔ）のカメラポーズで撮影されたフレーム画像Ｆ（ｔ）上で観測される四角形の領域である。   The three-dimensional point generation template projection region in FIGS. 12 and 13 is a three-dimensional point generation template image in the frame image F (t−N) shown in FIG. 10, and the target three-dimensional point is a camera at time (t−N). Back projection is performed on a plane that is orthogonal to the optical axis of the pose and passes through the target 3D point, that is, a plane that is parallel to the image projection plane and passes through the target 3D point, and the backprojected area is photographed at the camera pose at time (t) This is a rectangular area observed on the frame image F (t).

３次元点生成テンプレート射影領域を算出する具体的な処理を以下説明する。
まず、３次元点生成テンプレート画像領域を幾何的に歪ませるワーピング行列ＷＰａ、ＷＰｈを次式（７−１）、次式（７−２）によって算出する。 A specific process for calculating the three-dimensional point generation template projection region will be described below.
First, warping matrices WP a and WP h that geometrically distort the three-dimensional point generation template image region are calculated by the following equations (7-1) and (7-2).

式（７−１）において、１行１列の要素はフレーム画像Ｆ（ｔ−Ｎ）における画像座標（ｘ，ｙ）の点がｘ軸方向に微小変動した場合の同一の点のフレーム画像Ｆ（ｔ）におけるｘ軸方向の変動量を示す。
また、２行１列の要素は、フレーム画像Ｆ（ｔ−Ｎ）における画像座標（ｘ，ｙ）の点がｘ軸方向に微小変動した場合の同一の点のフレーム画像Ｆ（ｔ）におけるｙ軸方向の変動量を示す。１行２列の要素は、フレーム画像Ｆ（ｔ−Ｎ）における画像座標（ｘ，ｙ）の点がｙ軸方向に微小変動した場合の同一の点のフレーム画像Ｆ（ｔ）におけるｘ軸方向の変動量を示す。２行２列の要素は、フレーム画像Ｆ（ｔ−Ｎ）における画像座標（ｘ，ｙ）の点がｙ軸方向に微小変動した場合の同一の点のフレーム画像Ｆ（ｔ）におけるｙ軸方向の変動量を示す。 In Expression (7-1), the element of 1 row and 1 column is the frame image F of the same point when the point of the image coordinate (x, y) in the frame image F (t−N) slightly fluctuates in the x-axis direction. The amount of fluctuation in the x-axis direction at (t) is shown.
The element in 2 rows and 1 column is y in the frame image F (t) at the same point when the point of the image coordinate (x, y) in the frame image F (t−N) slightly fluctuates in the x-axis direction. Indicates the amount of variation in the axial direction. The element in the first row and the second column is the x-axis direction in the frame image F (t) at the same point when the point of the image coordinate (x, y) in the frame image F (t−N) slightly fluctuates in the y-axis direction. The amount of fluctuation is shown. The element in 2 rows and 2 columns is the y-axis direction in the frame image F (t) at the same point when the point of the image coordinate (x, y) in the frame image F (t−N) slightly fluctuates in the y-axis direction. The amount of fluctuation is shown.

式（７−２）において、行列Ａｔ−Ｎと行列Ａｔとは時刻（ｔ−Ｎ）、時刻（ｔ）それぞれにおけるカメラの内部パラメータ（式（６））を示し、行列Ｒは時刻（ｔ−Ｎ）のカメラポーズに対する時刻（ｔ）のカメラポーズの回転行列と並進ベクトルとを示す。ベクトルＴｎは時刻（ｔ−Ｎ）の画像投影面に平行で対象３次元点を通る平面の単位法線ベクトルを示し、Ｚは時刻（ｔ）のカメラポーズから対象３次元点までの奥行きを示す。 In the formula (7-2), the time the matrix A t-N and the matrix A t (t-N), shows the time (t) internal parameters of the camera in each (equation (6)), the matrix R is the time ( The rotation matrix and translation vector of the camera pose at time (t) with respect to the camera pose at t−N) are shown. A vector T n represents a unit normal vector of a plane parallel to the image projection plane at time (t−N) and passing through the target 3D point, and Z represents a depth from the camera pose at time (t) to the target 3D point. Show.

式（７−１）で定義される２行２列（２×２）の行列ＷＰａは図１２に示すようなアフィン変換を実施する。式（７−２）で定義される３行３列（３×３）の行列ＷＰｈは図１３に示すような平面射影変換を実施する。 The 2-by-2 (2 × 2) matrix WP a defined by Expression (7-1) performs an affine transformation as shown in FIG. The 3 × 3 (3 × 3) matrix WP h defined by the equation (7-2) performs the planar projective transformation as shown in FIG.

式（７−１）を用いて３次元点生成テンプレート射影領域を作成する場合、３次元点生成テンプレート射影領域における各画素（ｕ，ｖ）の画素値は、行列ＷＰａを使って式（８−１）で画素（ｕ，ｖ）に対応する３次元テンプレート画像上の画素（ｘ，ｙ）を算出し、その画素値を参照することで決定できる。
また、式（７−２）を用いて３次元点生成テンプレート射影領域を作成する場合、３次元点生成テンプレート射影領域における各画素（ｕ，ｖ）の画素値は、行列ＷＰｈを使って式（８−２）で画素（ｕ，ｖ）に対応する３次元テンプレート画像上の画素（ｘ，ｙ）を算出し、その画素値を参照することで決定できる。 When a three-dimensional point generation template projection region is created using equation (7-1), the pixel value of each pixel (u, v) in the three-dimensional point generation template projection region is expressed by equation (8) using matrix WP a. In (-1), the pixel (x, y) on the three-dimensional template image corresponding to the pixel (u, v) is calculated and determined by referring to the pixel value.
Further, when a three-dimensional point generation template projection area is created using Expression (7-2), the pixel value of each pixel (u, v) in the three-dimensional point generation template projection area is calculated using the matrix WP h. In (8-2), the pixel (x, y) on the three-dimensional template image corresponding to the pixel (u, v) is calculated and determined by referring to the pixel value.

このように、本実施形態では、フレーム画像Ｆ（ｔ−Ｎ）に対応するカメラポーズと、フレーム画像Ｆ（ｔ）に対応するカメラポーズとから、３次元点生成テンプレート画像が示す領域をフレーム画像Ｆ（ｔ）に射影した３次元点生成テンプレート射影領域を算出する。そして、３次元点生成テンプレート射影領域の画像と、３次元点生成テンプレート画像とのテンプレートマッチング処理で算出される評価値から重み値ｗを候補３次元点ごとに算出する。そして、第２の実施形態の代表３次元座標を算出する処理と同様に、算出した重み値ｗを用いて代表３次元座標を算出する。   As described above, in this embodiment, the region indicated by the three-dimensional point generation template image is represented by the frame image from the camera pose corresponding to the frame image F (t−N) and the camera pose corresponding to the frame image F (t). A three-dimensional point generation template projection region projected onto F (t) is calculated. Then, the weight value w is calculated for each candidate 3D point from the evaluation value calculated by the template matching process between the image of the 3D point generation template projection region and the 3D point generation template image. Then, similar to the process of calculating the representative three-dimensional coordinates of the second embodiment, the representative three-dimensional coordinates are calculated using the calculated weight value w.

上述の第３実施形態において説明したスコアを算出する方法では、初回起動時刻と時刻（ｔ）の間隔が短いときでも、代表３次元座標を算出する精度を向上させることが可能であるが、時刻（ｔ−Ｎ）で観測された３次元点生成テンプレート画像が時刻（ｔ）において異なるカメラポーズから観測した場合に生じる幾何歪みを考慮しておらず、このことに起因してスコアに誤差が含まれ、その結果、代表３次元座標の精度が低下することがある。   In the method for calculating the score described in the third embodiment, the accuracy of calculating the representative three-dimensional coordinates can be improved even when the interval between the initial activation time and the time (t) is short. The geometric distortion generated when the three-dimensional point generation template image observed at (t−N) is observed from a different camera pose at time (t) is not taken into account, and the score includes an error due to this. As a result, the accuracy of the representative three-dimensional coordinates may be reduced.

これに対し、本実施形態において説明した方法では、時刻（ｔ−Ｎ）と時刻（ｔ）とのカメラポーズを用いてワーピング行列を算出する。ワーピング行列を用いて、時刻（ｔ）のフレーム画像Ｆ（ｔ）における３次元点生成テンプレート画像の幾何歪みを再現した３次元点生成テンプレート射影領域を生成する。そして、３次元点生成テンプレート射影領域に対するテンプレートマッチング処理で算出するスコアを用いることにより、代表３次元座標を算出する精度を向上させることができる。   On the other hand, in the method described in the present embodiment, the warping matrix is calculated using the camera poses at time (t−N) and time (t). Using the warping matrix, a three-dimensional point generation template projection region that reproduces the geometric distortion of the three-dimensional point generation template image in the frame image F (t) at time (t) is generated. And the precision which calculates a representative 3D coordinate can be improved by using the score calculated by the template matching process with respect to a 3D point production | generation template projection area | region.

（第５実施形態）
第５実施形態における３次元座標算出装置は、スコア算出部１３における処理が第１実施形態、第２実施形態、第３実施形態、及び第４実施形態と異なる。図２に示した構成を用いて各部の処理を説明する。なお、本実施形態においては、情報入力部１１には、候補３次元点群情報及びカメラポーズに替えて、候補３次元点群情報と、カメラポーズと、候補３次元点群情報が示す候補３次元点それぞれに対応する３次元点生成テンプレート画像及び被観測回数とが入力される。 (Fifth embodiment)
The three-dimensional coordinate calculation apparatus according to the fifth embodiment differs from the first embodiment, the second embodiment, the third embodiment, and the fourth embodiment in the processing in the score calculation unit 13. The processing of each unit will be described using the configuration shown in FIG. In the present embodiment, the candidate 3 indicated by the candidate 3D point cloud information, the camera pose, and the candidate 3D point cloud information is displayed in the information input unit 11 instead of the candidate 3D point cloud information and the camera pose. A three-dimensional point generation template image corresponding to each dimension point and the number of times of observation are input.

図１４は、第５実施形態における候補３次元点に対するスコアを算出する処理のフローチャートである。
本実施形態ではまず、被観測回数が関連付けられた候補３次元点群及びカメラポーズと各候補３次元点に対応付けられた３次元点生成テンプレート画像とが入力される。
候補３次元点群情報及びカメラポーズと、各候補３次元点に対応付けられた３次元点生成テンプレート画像及び被観測回数とが情報入力部１１に入力され、候補３次元点群情報に含まれる各３次元座標と、３次元点生成テンプレート画像及び被観測回数とが対応付けられて候補３次元点記憶部１２に記憶されると、スコア算出部１３が起動される（ステップＳ５１）。
スコア算出部１３は、候補３次元点記憶部１２に記憶されている全ての３次元座標それぞれに対して、スコアとしての重み値ｗを算出し（ステップＳ５２）、算出した重み値ｗを３次元座標に対応付けて候補３次元点記憶部１２に記憶させる（ステップＳ５３）。 FIG. 14 is a flowchart of processing for calculating a score for a candidate three-dimensional point in the fifth embodiment.
In this embodiment, first, a candidate 3D point group and a camera pose associated with the number of times of observation and a 3D point generation template image associated with each candidate 3D point are input.
The candidate 3D point group information and camera pose, the 3D point generation template image associated with each candidate 3D point, and the number of times of observation are input to the information input unit 11 and included in the candidate 3D point group information. When each three-dimensional coordinate is associated with the three-dimensional point generation template image and the number of times of observation and stored in the candidate three-dimensional point storage unit 12, the score calculation unit 13 is activated (step S51).
The score calculation unit 13 calculates a weight value w as a score for each of all three-dimensional coordinates stored in the candidate three-dimensional point storage unit 12 (step S52), and the calculated weight value w is three-dimensional. The candidate 3D point storage unit 12 is stored in association with the coordinates (step S53).

ステップＳ５２における重み値ｗの算出は、次式（９−１）又は次式（９−２）を用いて算出する。   The weight value w in step S52 is calculated using the following equation (9-1) or the following equation (9-2).

式（９−１）及び式（９−２）において、ｗｖは第２実施形態で説明した式（２−１）又は式（２−２）で算出される重み値（第１のスコア）であり、ｗｔは第３実施形態又は第４実施形態で説明した重み値（第２のスコア）である。また式（９−２）において、αは０より大きい実数であり、ｗｖに対するｗｔの重みを与える所定の値である。すなわち、本実施形態における重み値ｗは、第２実施形態における重み値と、第３実施形態又は第４実施形態における重み値とを組み合わせて算出する。 In Expressions (9-1) and (9-2), w v is a weight value (first score) calculated by Expression (2-1) or Expression (2-2) described in the second embodiment. And w t is the weight value (second score) described in the third embodiment or the fourth embodiment. In Expression (9-2), α is a real number larger than 0, and is a predetermined value that gives a weight of w t to w v . That is, the weight value w in the present embodiment is calculated by combining the weight value in the second embodiment and the weight value in the third embodiment or the fourth embodiment.

上述の第２から第４実施形態において説明した代表３次元座標を算出する方法では、候補３次元点の被観測回数もしくは３次元点生成テンプレート画像とフレームＦ（ｔ）の類似性の何れかのみで重み値ｗを決定するため、初回起動時刻と時刻（ｔ）の間隔が短くて全候補３次元点の被観測回数の値もしくはその差が小さい場合や、３次元点生成テンプレート画像とフレームＦ（ｔ）がたまたま類似した場合にスコアの分布が測定誤差を有する候補３次元点へと偏ることによって中央値が真値からずれ、代表３次元座標の精度が低下することがある。   In the method for calculating the representative three-dimensional coordinates described in the second to fourth embodiments, only the number of times of observation of the candidate three-dimensional point or the similarity between the three-dimensional point generation template image and the frame F (t) is used. In order to determine the weight value w, the interval between the first activation time and the time (t) is short and the value of the number of times of observation of all candidate 3D points or the difference between them is small, or the 3D point generation template image and the frame F When (t) happens to be similar, the median value may deviate from the true value due to the distribution of the score being biased toward candidate 3D points having measurement errors, and the accuracy of the representative 3D coordinates may be reduced.

これに対し、本実施形態において説明した方法では、被観測回数に基づいた重み値と、３次元点生成テンプレート画像とフレームＦ（ｔ）の類似性から算出する重み値の両者からスコアを算出し、算出したスコアを用いて代表３次元座標を算出することで、初回起動時刻と時刻（ｔ）の間隔が短くて全候補３次元点の被観測回数の値もしくはその差が小さい場合や、３次元点生成テンプレート画像とフレームＦ（ｔ）がたまたま類似した場合においても、代表３次元座標を算出する精度を向上させることができる。   On the other hand, in the method described in the present embodiment, the score is calculated from both the weight value based on the number of times of observation and the weight value calculated from the similarity between the 3D point generation template image and the frame F (t). By calculating the representative three-dimensional coordinates using the calculated score, the interval between the initial activation time and the time (t) is short, and the value of the number of times of observation of all candidate three-dimensional points or the difference between them is small. Even when the two-dimensional point generation template image happens to be similar to the frame F (t), the accuracy of calculating the representative three-dimensional coordinates can be improved.

以上、本発明を実施形態の例に基づき具体的に説明したが、上述の実施形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定しあるいは範囲を減縮するように解すべきではない。また、本発明の各手段構成は上述の実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
例えば、第１実施形態において、距離ｄをスコアとする構成を説明したが、距離ｄの自乗（ｄ２）をスコアとしてもよい。
また、第２実施形態において、式（２−２）に示した候補３次元点の被観測回数の定数Ｃに対する比を自乗した値を重み値ｗとする構成を説明したが、３乗した値や４乗した値などの、べき乗した値であってもよい。 The present invention has been specifically described above based on the example of the embodiment. However, the above description of the embodiment is for explaining the present invention, and limits the invention described in the claims. It should not be construed as reducing the scope. Moreover, each means structure of this invention is not restricted to the above-mentioned embodiment, Of course, various deformation | transformation are possible within the technical scope as described in a claim.
For example, in the first embodiment, the configuration using the distance d as the score has been described, but the square of the distance d (d 2 ) may be used as the score.
In the second embodiment, the configuration in which the weight value w is a value obtained by squaring the ratio of the number of observed three-dimensional points to the constant C of the candidate three-dimensional point shown in Expression (2-2) has been described. It may also be a power value such as a value raised to the fourth power.

なお、本発明における３次元座標算出装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各候補３次元点に対するスコアを算出する処理、及び代表３次元座標を算出する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。   A program for realizing the functions of the three-dimensional coordinate calculation apparatus 1 according to the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. A process for calculating a score for each candidate three-dimensional point and a process for calculating representative three-dimensional coordinates may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

１…３次元座標算出装置
９…物体座標系変換装置
１１…情報入力部
１２…候補３次元点記憶部
１３…スコア算出部
１４…代表３次元座標算出部
９１…テンプレート画像記憶部
９２…カメラパラメータ記憶部
９３…ＣＧデータ記憶部
９４…カメラポーズ３Ｄ推定部
９５…テンプレート照合部
９６…３次元座標算出部
９７…平面算出部
９８…物体座標系変換行列算出部
９９…ＣＧ合成部 DESCRIPTION OF SYMBOLS 1 ... Three-dimensional coordinate calculation apparatus 9 ... Object coordinate system converter 11 ... Information input part 12 ... Candidate three-dimensional point memory | storage part 13 ... Score calculation part 14 ... Representative three-dimensional coordinate calculation part 91 ... Template image memory | storage part 92 ... Camera parameter Storage unit 93 ... CG data storage unit 94 ... Camera pose 3D estimation unit 95 ... Template collation unit 96 ... 3D coordinate calculation unit 97 ... Plane calculation unit 98 ... Object coordinate system conversion matrix calculation unit 99 ... CG synthesis unit

Claims (13)

フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出ステップと、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出ステップと
を有し、
前記スコア算出ステップにおいて、
前記フレーム画像を撮像したカメラの位置から前記候補３次元点までの距離を前記スコアとして算出し、
前記代表３次元座標算出ステップにおいて、
前記候補３次元点のうち、全ての前記候補３次元点の前記スコアにおける中央値に対応する候補３次元点の３次元座標を前記代表３次元座標として出力する
ことを特徴とする３次元座標算出方法。 A score calculation step of calculating a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. Calculation step and
Have
In the score calculating step,
Calculating the distance from the position of the camera that captured the frame image to the candidate three-dimensional point as the score;
In the representative three-dimensional coordinate calculation step,
Among the candidate 3D points 3D coordinates you and outputting the three-dimensional coordinates of the candidate 3D points corresponding to the median value of the scores of all the candidate 3D point as the representative three-dimensional coordinate Calculation method. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出ステップと、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出ステップと
を有し、
前記スコア算出ステップにおいて、
前記候補３次元点ごとに、該候補３次元点の被観測回数と、全ての前記候補３次元点の被観測回数のうち最大の被観測回数とから前記スコアを算出し、
前記代表３次元座標算出ステップにおいて、
前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し、
前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数である
ことを特徴とする３次元座標算出方法。 A score calculation step of calculating a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. Calculation step and
Have
In the score calculating step,
For each candidate 3D point, the score is calculated from the number of observed times of the candidate 3D point and the maximum number of times of observation among all the candidate 3D points,
In the representative three-dimensional coordinate calculation step,
Calculating a weighted average of the three-dimensional coordinates of the candidate three-dimensional point by using the score corresponding to each of the candidate three-dimensional points as a weight, and outputting the calculated weighted average as the representative three-dimensional coordinates;
Wherein the observed number of times, the three-dimensional coordinates you characterized in that said number of times the the target image area candidate 3D points are observed for each frame image in the plurality of frame images captured at different times Calculation method. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出ステップと、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出ステップと
を有し、
前記スコア算出ステップにおいて、
前記候補３次元点ごとに、該候補３次元点の被観測回数の予め定めた定数に対する比をべき乗した値を前記スコアとして算出し、
前記代表３次元座標算出ステップにおいて、
前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し、
前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数である
ことを特徴とする３次元座標算出方法。 A score calculation step of calculating a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. Calculation step and
Have
In the score calculating step,
For each of the candidate 3D points, a value that is a power of a ratio of the number of observed times of the candidate 3D points to a predetermined constant is calculated as the score.
In the representative three-dimensional coordinate calculation step,
Calculating a weighted average of the three-dimensional coordinates of the candidate three-dimensional point by using the score corresponding to each of the candidate three-dimensional points as a weight, and outputting the calculated weighted average as the representative three-dimensional coordinates;
Wherein the observed number of times, the three-dimensional coordinates you characterized in that said number of times the the target image area candidate 3D points are observed for each frame image in the plurality of frame images captured at different times Calculation method. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出ステップと、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出ステップと
を有し、
前記スコア算出ステップにおいて、
前記候補３次元点ごとに、過去のフレーム画像における候補３次元点を含む画像であるテンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像との類似度に基づいて前記スコアを算出し、
前記代表３次元座標算出ステップにおいて、
前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力する
ことを特徴とする３次元座標算出方法。 A score calculation step of calculating a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. Calculation step and
Have
In the score calculating step,
For each candidate 3D point, a template image that is an image including a candidate 3D point in a past frame image, and an image in an area including the candidate 3D point in a target frame image for calculating the representative 3D coordinates; Calculating the score based on the similarity of
In the representative three-dimensional coordinate calculation step,
A weighted average of three-dimensional coordinates of the candidate three-dimensional point is calculated by using the score corresponding to each of the candidate three-dimensional points as a weight, and the calculated weighted average is output as the representative three-dimensional coordinate. 3-dimensional coordinate calculation method shall be the. 前記スコア算出ステップにおいて、
前記テンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像とのサイズが同じである
ことを特徴とする請求項４に記載の３次元座標算出方法。 In the score calculating step,
5. The three-dimensional coordinate calculation according to claim 4 , wherein the template image has the same size as an image in an area including a candidate three-dimensional point in the target frame image for calculating the representative three-dimensional coordinate. Method. 前記スコア算出ステップにおいて、
前記過去のフレーム画像を撮像した際のカメラポーズと、前記代表３次元座標を算出する対象のフレーム画像を撮像した際のカメラポーズとに基づいて、前記テンプレート画像を前記代表３次元座標を算出する対象のフレーム画像に投影した領域を算出し、
算出した領域の画像と前記テンプレート画像との類似度を前記スコアとして算出する
ことを特徴とする請求項４に記載の３次元座標算出方法。 In the score calculating step,
The representative three-dimensional coordinates of the template image are calculated based on the camera pose when the past frame image is captured and the camera pose when the target frame image for calculating the representative three-dimensional coordinates is captured. Calculate the area projected on the target frame image,
The three-dimensional coordinate calculation method according to claim 4 , wherein a similarity between the calculated image of the region and the template image is calculated as the score. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出ステップと、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出ステップと
を有し、
前記スコア算出ステップにおいて、
前記候補３次元点ごとに、該候補３次元点の被観測回数と、全ての前記候補３次元点の被観測回数のうち最大の被観測回数とから第１のスコアを算出し、
前記候補３次元点ごとに、過去のフレーム画像における候補３次元点を含む画像であるテンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像との類似度に基づいて第２のスコアを算出し、
前記代表３次元座標算出ステップにおいて、
前記候補３次元点それぞれに対応する、前記第１のスコアと前記第２のスコアとから算出された重みを用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し、
前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数である
ことを特徴とする３次元座標算出方法。 A score calculation step of calculating a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. Calculation step and
Have
In the score calculating step,
For each candidate 3D point, a first score is calculated from the number of times of observation of the candidate 3D point and the maximum number of times of observation of all of the candidate 3D points,
For each candidate 3D point, a template image that is an image including a candidate 3D point in a past frame image, and an image in an area including the candidate 3D point in a target frame image for calculating the representative 3D coordinates; Calculate a second score based on the similarity of
In the representative three-dimensional coordinate calculation step,
A weighted average of the three-dimensional coordinates of the candidate three-dimensional point is calculated and calculated by using the weight calculated from the first score and the second score corresponding to each of the candidate three-dimensional points. Outputting a weighted average as the representative three-dimensional coordinate;
Wherein the observed number of times, the three-dimensional coordinates you characterized in that said number of times the the target image area candidate 3D points are observed for each frame image in the plurality of frame images captured at different times Calculation method. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出部と、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出部と
を備え、
前記スコア算出部は、
前記フレーム画像を撮像したカメラの位置から前記候補３次元点までの距離を前記スコアとして算出し、
前記代表３次元座標算出部は、
前記候補３次元点のうち、全ての前記候補３次元点の前記スコアにおける中央値に対応する候補３次元点の３次元座標を前記代表３次元座標として出力する
ことを特徴とする３次元座標算出装置。 A score calculation unit that calculates a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. and a calculation unit,
The score calculation unit
Calculating the distance from the position of the camera that captured the frame image to the candidate three-dimensional point as the score;
The representative three-dimensional coordinate calculation unit includes:
3D coordinate calculation characterized in that 3D coordinates of candidate 3D points corresponding to the median values in the scores of all the 3D candidates are output as the representative 3D coordinates. apparatus. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出部と、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出部と
を備え、
前記スコア算出部は、
前記候補３次元点ごとに、該候補３次元点の被観測回数と、全ての前記候補３次元点の被観測回数のうち最大の被観測回数とから前記スコアを算出し、
前記代表３次元座標算出部は、
前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し、
前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数である
ことを特徴とする３次元座標算出装置。 A score calculation unit that calculates a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. and a calculation unit,
The score calculation unit
For each candidate 3D point, the score is calculated from the number of observed times of the candidate 3D point and the maximum number of times of observation among all the candidate 3D points,
The representative three-dimensional coordinate calculation unit includes:
Calculating a weighted average of the three-dimensional coordinates of the candidate three-dimensional point by using the score corresponding to each of the candidate three-dimensional points as a weight, and outputting the calculated weighted average as the representative three-dimensional coordinates;
The observed number of times is the number of times the candidate three-dimensional point is observed in the target image area of each frame image in the plurality of frame images taken at different times. apparatus. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出部と、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出部と
を備え、
前記スコア算出部は、
前記候補３次元点ごとに、該候補３次元点の被観測回数の予め定めた定数に対する比をべき乗した値を前記スコアとして算出し、
前記代表３次元座標算出部は、
前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し、
前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数である
ことを特徴とする３次元座標算出装置。 A score calculation unit that calculates a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. and a calculation unit,
The score calculation unit
For each of the candidate 3D points, a value that is a power of a ratio of the number of observed times of the candidate 3D points to a predetermined constant is calculated as the score.
The representative three-dimensional coordinate calculation unit includes:
Calculating a weighted average of the three-dimensional coordinates of the candidate three-dimensional point by using the score corresponding to each of the candidate three-dimensional points as a weight, and outputting the calculated weighted average as the representative three-dimensional coordinates;
The observed number of times is the number of times the candidate three-dimensional point is observed in the target image area of each frame image in the plurality of frame images taken at different times. apparatus. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出部と、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出部と
を備え、
前記スコア算出部は、
前記候補３次元点ごとに、過去のフレーム画像における候補３次元点を含む画像であるテンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像との類似度に基づいて前記スコアを算出し、
前記代表３次元座標算出部は、
前記候補３次元点それぞれに対応する前記スコアを重みとして用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力する
ことを特徴とする３次元座標算出装置。 A score calculation unit that calculates a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. and a calculation unit,
The score calculation unit
For each candidate 3D point, a template image that is an image including a candidate 3D point in a past frame image, and an image in an area including the candidate 3D point in a target frame image for calculating the representative 3D coordinates; Calculating the score based on the similarity of
The representative three-dimensional coordinate calculation unit includes:
A weighted average of the three-dimensional coordinates of the candidate three-dimensional point is calculated by using the score corresponding to each of the candidate three-dimensional points as a weight, and the calculated weighted average is output as the representative three-dimensional coordinate. A three-dimensional coordinate calculation apparatus. フレーム画像に撮像されている物体を含む対象画像領域内の前記物体の特徴点である複数の候補３次元点の３次元座標から、各候補３次元点に対するスコアを算出するスコア算出部と、
前記候補３次元点の３次元座標と、該３次元座標に対する前記スコアとに対する統計処理を用いて前記対象画像領域を代表する点の３次元座標である代表３次元座標を算出する代表３次元座標算出部と
を備え、
前記スコア算出部は、
前記候補３次元点ごとに、該候補３次元点の被観測回数と、全ての前記候補３次元点の被観測回数のうち最大の被観測回数とから第１のスコアを算出し、
前記候補３次元点ごとに、過去のフレーム画像における候補３次元点を含む画像であるテンプレート画像と、前記代表３次元座標を算出する対象のフレーム画像における候補３次元点を含む領域内の画像との類似度に基づいて第２のスコアを算出し、
前記代表３次元座標算出部は、
前記候補３次元点それぞれに対応する、前記第１のスコアと前記第２のスコアとから算出された重みを用いることにより、前記候補３次元点の３次元座標の加重平均を算出し、算出した加重平均を前記代表３次元座標として出力し、
前記被観測回数は、それぞれ異なる時刻に撮像された複数の前記フレーム画像において各フレーム画像の前記対象画像領域内で前記候補３次元点が観測された回数である
ことを特徴とする３次元座標算出装置。 A score calculation unit that calculates a score for each candidate 3D point from the 3D coordinates of a plurality of candidate 3D points that are feature points of the object in the target image area including the object imaged in the frame image;
A representative three-dimensional coordinate that calculates a representative three-dimensional coordinate that is a three-dimensional coordinate of a point that represents the target image region using statistical processing on the three-dimensional coordinates of the candidate three-dimensional point and the score with respect to the three-dimensional coordinate. and a calculation unit,
The score calculation unit
For each candidate 3D point, a first score is calculated from the number of times of observation of the candidate 3D point and the maximum number of times of observation of all of the candidate 3D points,
For each candidate 3D point, a template image that is an image including a candidate 3D point in a past frame image, and an image in an area including the candidate 3D point in a target frame image for calculating the representative 3D coordinates; Calculate a second score based on the similarity of
The representative three-dimensional coordinate calculation unit includes:
A weighted average of the three-dimensional coordinates of the candidate three-dimensional point is calculated and calculated by using the weight calculated from the first score and the second score corresponding to each of the candidate three-dimensional points. Outputting a weighted average as the representative three-dimensional coordinate;
The observed number of times is the number of times the candidate three-dimensional point is observed in the target image area of each frame image in the plurality of frame images taken at different times. apparatus. 請求項１から請求項７のいずれか一項に記載の３次元座標算出方法をコンピュータに実行させるためのプログラム。 Program for executing a three-dimensional coordinate calculation method according to the computer in any one of claims 1 to 7.
JP2012107790A 2011-10-12 2012-05-09 Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and program Active JP5748355B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012107790A JP5748355B2 (en) 2011-10-12 2012-05-09 Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011224918 2011-10-12
JP2011224918 2011-10-12
JP2012107790A JP5748355B2 (en) 2011-10-12 2012-05-09 Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and program

Publications (2)

Publication Number Publication Date
JP2013101592A JP2013101592A (en) 2013-05-23
JP5748355B2 true JP5748355B2 (en) 2015-07-15

Family

ID=48622135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012107790A Active JP5748355B2 (en) 2011-10-12 2012-05-09 Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and program

Country Status (1)

Country Link
JP (1) JP5748355B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6829626B2 (en) * 2017-02-28 2021-02-10 国立研究開発法人理化学研究所 Reference plane generation method and device from point cloud data
EP4250232A3 (en) * 2017-11-20 2023-12-06 Panasonic Intellectual Property Corporation of America Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device
CN112634366B (en) * 2020-12-23 2023-10-17 北京百度网讯科技有限公司 Method for generating position information, related device and computer program product
WO2023286217A1 (en) * 2021-07-14 2023-01-19 日本電信電話株式会社 Position detection device, position detection method, and position detection program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991595B2 (en) * 2001-02-06 2007-10-17 株式会社明電舎 3D shape model creation device for objects
JP5259348B2 (en) * 2008-11-12 2013-08-07 オリンパス株式会社 Height information acquisition device, height information acquisition method, and program

Also Published As

Publication number Publication date
JP2013101592A (en) 2013-05-23

Similar Documents

Publication Publication Date Title
US10334168B2 (en) Threshold determination in a RANSAC algorithm
CN105758426B (en) The combined calibrating method of the multisensor of mobile robot
JP7058277B2 (en) Reconstruction method and reconfiguration device
JP4677536B1 (en) 3D object recognition apparatus and 3D object recognition method
JPWO2017217411A1 (en) Image processing apparatus, image processing method, and storage medium
JP5620343B2 (en) Object coordinate system conversion apparatus, object coordinate system conversion method, and object coordinate system conversion program
CN110136114B (en) Wave surface height measuring method, terminal equipment and storage medium
WO2020031950A1 (en) Measurement calibration device, measurement calibration method, and program
JP2013171523A (en) Ar image processing device and method
JP5748355B2 (en) Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and program
US10229508B2 (en) Dynamic particle filter parameterization
JP4631973B2 (en) Image processing apparatus, image processing apparatus control method, and image processing apparatus control program
JP6017343B2 (en) Database generation device, camera posture estimation device, database generation method, camera posture estimation method, and program
JPWO2012133371A1 (en) Imaging position and imaging direction estimation apparatus, imaging apparatus, imaging position and imaging direction estimation method, and program
JP2017134467A (en) Information processor, information processing method and information processing program
CN117671031A (en) Binocular camera calibration method, device, equipment and storage medium
JP6016242B2 (en) Viewpoint estimation apparatus and classifier learning method thereof
JP5530391B2 (en) Camera pose estimation apparatus, camera pose estimation method, and camera pose estimation program
JP6304815B2 (en) Image processing apparatus and image feature detection method, program and apparatus thereof
KR101673144B1 (en) Stereoscopic image registration method based on a partial linear method
JP6198104B2 (en) 3D object recognition apparatus and 3D object recognition method
CN116128744A (en) Method for eliminating image distortion, electronic device, storage medium and vehicle
JP2019220032A (en) Program, apparatus and method that generate display image which is transformed from original image on the basis of target image
JP5735455B2 (en) Moving object pose calculation device, moving object pose calculation method, and program
JP2005063012A (en) Full azimuth camera motion and method and device for restoring three-dimensional information and program and recording medium with the same recorded

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130606

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130807

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150511

R150 Certificate of patent or registration of utility model

Ref document number: 5748355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150