JP2012164188A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2012164188A JP2012164188A JP2011024870A JP2011024870A JP2012164188A JP 2012164188 A JP2012164188 A JP 2012164188A JP 2011024870 A JP2011024870 A JP 2011024870A JP 2011024870 A JP2011024870 A JP 2011024870A JP 2012164188 A JP2012164188 A JP 2012164188A
- Authority
- JP
- Japan
- Prior art keywords
- image
- relationship
- input image
- projection
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
近年、拡張現実感(Augumented Reality:AR)に対するニーズが高まりつつある。拡張現実感は、例えば、入力画像中の特定領域(または特定物体)を基準として、コンピュータ画像等の付加画像を入力画像に合成することで付与される。この場合、拡張現実感の品質は、入力画像中での特定領域の位置・姿勢の推定精度に大きく左右される。 In recent years, needs for augmented reality (AR) are increasing. Augmented reality is given by, for example, synthesizing an additional image such as a computer image with an input image based on a specific region (or a specific object) in the input image. In this case, the quality of augmented reality greatly depends on the estimation accuracy of the position / posture of the specific region in the input image.
このような画像処理では、入力画像中の特定領域(マーカー)を指定するために、マーカーに相当する参照画像が用いられる。そして、入力画像の特徴点を抽出し、参照画像との間で特徴点の対応関係を決定し、対応関係に基づき入力画像と参照画像の射影関係を算出することで、入力画像中でのマーカーの位置・姿勢が推定される。そして、射影関係に基づき付加画像が変換され、変換後の付加画像がマーカーを基準として入力画像に合成される。 In such image processing, a reference image corresponding to a marker is used to designate a specific area (marker) in the input image. Then, a feature point of the input image is extracted, a correspondence relationship between the feature point and the reference image is determined, and a projective relationship between the input image and the reference image is calculated based on the correspondence relationship, whereby a marker in the input image is calculated. Is estimated. Then, the additional image is converted based on the projective relationship, and the converted additional image is combined with the input image using the marker as a reference.
しかし、マーカーの位置・姿勢の推定結果には誤差が伴う。特に、入力画像が動画である場合、カメラおよびマーカーが静止していてもフレーム毎に推定結果に誤差が伴うことで、合成画像上で付加画像が微かに震える状態が生じ、拡張現実感の品質が低下してしまう。 However, there are errors in the marker position / posture estimation results. In particular, when the input image is a moving image, even if the camera and marker are stationary, there is an error in the estimation results for each frame, causing a state where the additional image slightly shakes on the composite image, and the quality of augmented reality Will fall.
推定結果の誤差としては、入力画像中のマーカーと参照画像の間で画像の姿勢が異なる点が挙げられる。画像の特徴点は、線形フィルタ、非線形フィルタ等、各種のフィルタを用いて抽出されるが、フィルタの出力は、画像の姿勢に応じて変化する。例えば、ある画像と、この画像を回転させた画像との間では、特徴点の座標値が異なったり、画像間で対応する同一の特徴点(対応点)が見出されなかったりする。 As an error of the estimation result, there is a point that the posture of the image is different between the marker in the input image and the reference image. The feature points of the image are extracted using various filters such as a linear filter and a non-linear filter, and the output of the filter changes according to the posture of the image. For example, a coordinate value of a feature point differs between an image and an image obtained by rotating this image, or the same feature point (corresponding point) corresponding to the image may not be found.
ここで、座標値の誤差は、多くの対応点が見いだされれば平均化することで、推定結果の誤差に及ぼす影響を抑えられる。しかし、マーカーと参照画像の間で画像の姿勢が異なれば多くの対応点が見いだされなくなり、推定結果の誤差に及ぼす影響を抑えられず、良好な推定結果を得られない。 Here, the error of the coordinate value can be suppressed by averaging if a large number of corresponding points are found, thereby suppressing the influence on the error of the estimation result. However, if the posture of the image differs between the marker and the reference image, many corresponding points cannot be found, the influence on the error of the estimation result cannot be suppressed, and a good estimation result cannot be obtained.
そこで、本発明は、画像中の特定領域の位置・姿勢を高精度に推定可能な、画像処理装置、画像処理方法およびプログラムを提供しようとするものである。 Accordingly, the present invention is intended to provide an image processing apparatus, an image processing method, and a program capable of accurately estimating the position / posture of a specific region in an image.
本発明のある観点によれば、入力画像の特徴点を抽出する特徴点抽出部と、参照画像との間で特徴点の対応関係を決定する対応関係決定部と、対応関係に基づき入力画像と参照画像の射影関係を算出する射影関係算出部と、射影関係に基づき入力画像の少なくとも一部を変換する画像変換部とを備え、射影関係算出部は、入力画像について、参照画像との間で特徴点の対応関係に基づき第1の射影関係を算出し、画像変換部により第1の射影関係に基づき変換された入力画像について、参照画像との間で特徴点の対応関係に基づき第2の射影関係を算出し、第1および第2の射影関係に基づき入力画像と参照画像の射影関係を再び算出する画像処理装置が提供される。 According to an aspect of the present invention, a feature point extraction unit that extracts a feature point of an input image, a correspondence relationship determination unit that determines a correspondence relationship of feature points with a reference image, an input image based on the correspondence relationship, A projection relationship calculation unit that calculates a projection relationship of the reference image; and an image conversion unit that converts at least a part of the input image based on the projection relationship, the projection relationship calculation unit between the input image and the reference image A first projective relationship is calculated based on the feature point correspondence, and an input image converted based on the first projective relationship by the image conversion unit is input to the second reference point based on the feature point correspondence with the reference image. An image processing apparatus is provided that calculates a projective relationship and recalculates a projective relationship between an input image and a reference image based on the first and second projective relationships.
画像変換部は、少なくとも第1の射影関係に基づき、入力画像中の特定領域の姿勢が参照画像の姿勢に近づくように、入力画像の少なくとも一部を変換してもよい。 The image conversion unit may convert at least a part of the input image so that the posture of the specific region in the input image approaches the posture of the reference image based on at least the first projective relationship.
射影関係算出部は、さらに、画像変換部により第1および第2の射影関係に基づき変換された入力画像について、参照画像との間で特徴点の対応関係に基づき第3の射影関係を算出し、第1から第3の射影関係に基づき入力画像と参照画像の射影関係を再び算出してもよい。 The projecting relationship calculation unit further calculates a third projecting relationship based on the correspondence relationship of the feature points with the reference image for the input image converted by the image conversion unit based on the first and second projecting relationships. The projection relationship between the input image and the reference image may be calculated again based on the first to third projection relationships.
特徴点抽出部は、第1の射影関係を算出する場合と第2の射影関係を算出する場合で互いに異なる手法を用いて特徴点を抽出してもよい。 The feature point extraction unit may extract feature points using different methods when calculating the first projective relationship and when calculating the second projective relationship.
対応関係決定部は、第1の射影関係を算出する場合と第2の射影関係を算出する場合で互いに異なる手法を用いて対応関係を決定してもよい。 The correspondence relationship determination unit may determine the correspondence relationship by using different methods for calculating the first projective relationship and calculating the second projective relationship.
第1の射影関係を算出する場合、第2の射影関係を算出する場合よりも、入力画像中の特定領域の姿勢変化に対してロバストな手法が用いられてもよい。 When the first projective relationship is calculated, a method that is more robust with respect to the posture change of the specific region in the input image may be used than when the second projective relationship is calculated.
画像変換部は、入力画像のうち参照画像に対応する特定領域の画像を変換してもよい。 The image conversion unit may convert an image of a specific area corresponding to the reference image in the input image.
画像処理装置は、入力画像に画像を合成する画像合成部をさらに備え、画像変換部は、さらに少なくとも第1および第2の射影関係に基づき付加画像を変換し、画像合成部は、変換した付加画像を、入力画像のうち参照画像に対応する特定領域に合成してもよい。 The image processing apparatus further includes an image composition unit that synthesizes an image with the input image, the image conversion unit further converts the additional image based on at least the first and second projection relationships, and the image composition unit converts the added image You may synthesize | combine an image to the specific area | region corresponding to a reference image among input images.
本発明の他の観点によれば、入力画像について、参照画像との間で特徴点の対応関係に基づき第1の射影関係を算出し、第1の射影関係に基づき入力画像の少なくとも一部を変換し、変換した入力画像について、参照画像との間で特徴点の対応関係に基づき第2の射影関係を算出し、第1および第2の射影関係に基づき入力画像と参照画像の射影関係を再び算出することを含む画像処理方法が提供される。 According to another aspect of the present invention, with respect to an input image, a first projection relationship is calculated based on a correspondence relationship between feature points with a reference image, and at least a part of the input image is calculated based on the first projection relationship. Converting the converted input image, calculating a second projective relationship based on the correspondence between the feature points with the reference image, and determining the projective relationship between the input image and the reference image based on the first and second projective relationships. An image processing method including calculating again is provided.
本発明の他の観点によれば、上記画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。 According to another aspect of the present invention, there is provided a program for causing a computer to execute the image processing method. Here, the program may be provided using a computer-readable recording medium, or may be provided via a communication unit or the like.
本発明によれば、画像中の特定領域の位置・姿勢を高精度に推定可能な、画像処理装置、画像処理方法およびプログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image processing apparatus, the image processing method, and program which can estimate the position and attitude | position of the specific area | region in an image with high precision can be provided.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
[1.一般的な画像処理方法]
まず、図5を参照して、画像中の特定領域に画像を合成する一般的な画像処理方法について説明する。図5は、画像中の特定領域に画像を合成する一般的な画像処理方法を示すフロー図である。
[1. General image processing method]
First, a general image processing method for synthesizing an image with a specific area in the image will be described with reference to FIG. FIG. 5 is a flowchart showing a general image processing method for synthesizing an image with a specific area in the image.
画像処理方法は、パーソナルコンピュータ、ゲーム機、PDA、携帯電話等の画像処理装置により行われる。画像処理方法では、参照画像Rの特徴点Pを示すデータがメモリ(不図示)等に格納されている。参照画像Rとは、入力画像I1中の特定領域(マーカーM)を指定するための平面画像であり、例えば、任意のテクスチャでもよく、二次元コード等でもよい。特徴点Pとは、輝度のエッジ成分等、画像中の特徴部分を表す画素点である。 The image processing method is performed by an image processing apparatus such as a personal computer, a game machine, a PDA, or a mobile phone. In the image processing method, data indicating the feature point P of the reference image R is stored in a memory (not shown) or the like. The reference image R is a planar image for designating a specific region (marker M) in the input image I1, and may be an arbitrary texture, a two-dimensional code, or the like, for example. The feature point P is a pixel point that represents a feature portion in the image, such as a luminance edge component.
図5に示すように、画像処理方法では、動画または静止画が入力画像I1としてカメラ(不図示)等から入力され(ステップS51)、入力画像I1の特徴点Pが抽出される(ステップS52)。入力画像I1は、参照画像Rとの間で特徴点Pの対応関係が決定される(マッチングされる)(ステップS53)。特徴点Pの対応関係は、入力画像I1と参照画像Rの間で対応する同一の特徴点Pを見出すことで決定される。 As shown in FIG. 5, in the image processing method, a moving image or a still image is input as an input image I1 from a camera (not shown) or the like (step S51), and a feature point P of the input image I1 is extracted (step S52). . The input image I1 is matched (matched) with the feature point P with the reference image R (step S53). The correspondence relationship between the feature points P is determined by finding the same feature point P corresponding between the input image I1 and the reference image R.
入力画像I1は、特徴点Pのマッチングに基づき、参照画像Rとの間で射影関係(ホモグラフィ)が算出される(ステップS54)。画像間の射影関係とは、特定平面を異なる地点から捉えた画像間に成立する関係であり、画像間のホモグラフィとも称される。画像間のホモグラフィは、3行3列のホモグラフィ行列を用いて表される。そして、入力画像I1と参照画像Rの射影関係を示すホモグラフィ行列H1は、マーカーMを任意の姿勢で捉えた入力画像I1と、参照画像R(マーカーMを一定の姿勢で捉えた画像)との間に成立する射影関係を示している。 A projection relationship (homography) is calculated between the input image I1 and the reference image R based on the matching of the feature points P (step S54). The projective relationship between images is a relationship established between images obtained by capturing a specific plane from different points, and is also referred to as homography between images. Homography between images is represented using a 3 × 3 homography matrix. The homography matrix H1 indicating the projection relationship between the input image I1 and the reference image R includes an input image I1 in which the marker M is captured in an arbitrary posture, and a reference image R (an image in which the marker M is captured in a certain posture). Projection relations established between the two are shown.
ホモグラフィ行列H1を適切に算出できると(ステップS55で「Yes」)、入力画像I1中でのマーカーMの位置・姿勢が推定される。そして、ホモグラフィ行列H1に基づき付加画像が変換され(ステップS56)、変換された付加画像がマーカーMを基準として入力画像I1に合成され(ステップS57)、合成画像として出力される(ステップS58)。なお、付加画像のデータは、コンピュータ画像等のデータとしてメモリ等に格納されている。一方、ホモグラフィ行列H1を適切に算出できなければ(ステップS55で「No」)、マーカーMの位置・姿勢が適切に推定されず、入力画像I1自体が出力される(ステップS59)。 If the homography matrix H1 can be calculated appropriately (“Yes” in step S55), the position / posture of the marker M in the input image I1 is estimated. Then, the additional image is converted based on the homography matrix H1 (step S56), and the converted additional image is combined with the input image I1 using the marker M as a reference (step S57) and output as a combined image (step S58). . The additional image data is stored in a memory or the like as data such as a computer image. On the other hand, if the homography matrix H1 cannot be calculated properly (“No” in step S55), the position / posture of the marker M is not properly estimated, and the input image I1 itself is output (step S59).
しかし、マーカーの位置・姿勢の推定結果には誤差が伴う。特に、入力画像が動画である場合、カメラおよびマーカーが静止していてもフレーム毎に推定結果に誤差が伴うことで、合成画像上で付加画像が微かに震える状態が生じ、拡張現実感の品質が低下してしまう。 However, there are errors in the marker position / posture estimation results. In particular, when the input image is a moving image, even if the camera and marker are stationary, there is an error in the estimation results for each frame, causing a state where the additional image slightly shakes on the composite image, and the quality of augmented reality Will fall.
推定結果の誤差としては、入力画像中のマーカーと参照画像の間で画像の姿勢が異なる点が挙げられる。画像の特徴点Pは、線形フィルタ、非線形フィルタ等、各種のフィルタを用いて抽出されるが、フィルタの出力は、画像の姿勢に応じて変化する。例えば、ある画像と、この画像を回転させた画像との間では、特徴点Pの座標値が異なったり、画像間で対応する同一の特徴点P(対応点)が見出されなかったりする。 As an error of the estimation result, there is a point that the posture of the image is different between the marker in the input image and the reference image. The feature point P of the image is extracted using various filters such as a linear filter and a nonlinear filter, and the output of the filter changes according to the posture of the image. For example, the coordinate value of the feature point P differs between an image and an image obtained by rotating this image, or the same feature point P (corresponding point) corresponding to the image may not be found.
ここで、座標値の誤差は、多くの対応点が見いだされれば平均化することで、推定結果の誤差に及ぼす影響を抑えられる。しかし、マーカーと参照画像の間で画像の姿勢が異なれば多くの対応点が見いだされなくなり、推定結果の誤差に及ぼす影響を抑えられず、良好な推定結果を得られない。 Here, the error of the coordinate value can be suppressed by averaging if a large number of corresponding points are found, thereby suppressing the influence on the error of the estimation result. However, if the posture of the image differs between the marker and the reference image, many corresponding points cannot be found, the influence on the error of the estimation result cannot be suppressed, and a good estimation result cannot be obtained.
画像間のホモグラフィは、理論上、画像間で対応する4組の特徴点P(対応点)の座標値を用いて算出できる。しかし、各座標値に誤差が生じている場合、ホモグラフィにも誤差が生じてしまうので、実際上、4つの対応点の座標値のみでは、ホモグラフィを精度良く算出できない。 The homography between images can theoretically be calculated using the coordinate values of four sets of feature points P (corresponding points) corresponding to each other between the images. However, if there is an error in each coordinate value, an error also occurs in the homography. Therefore, in practice, the homography cannot be calculated with high accuracy using only the coordinate values of the four corresponding points.
このため、座標値の誤差を正規分布と仮定し、対応点の数を多くして最小二乗法によりホモグラフィを算出することが行われる。この場合、対応点の数が多いほどホモグラフィの算出精度が向上し、さらにいえば、特徴点Pの抽出数が多いほど対応点の数が多くなる。よって、ホモグラフィの算出精度は、特徴点Pの抽出精度に依存することになる。 For this reason, assuming that the error of the coordinate value is a normal distribution, the number of corresponding points is increased and the homography is calculated by the least square method. In this case, the accuracy of homography calculation increases as the number of corresponding points increases, and more specifically, the number of corresponding points increases as the number of extracted feature points P increases. Therefore, the calculation accuracy of homography depends on the extraction accuracy of the feature point P.
極端な例として入力画像I1中のマーカーMと参照画像Rが同一であれば、入力画像I1中のマーカーMと参照画像Rとの間で画像の姿勢が一致するので、画像間で対応する全ての特徴点Pが抽出され、対応点の数が最多となる。換言すれば、入力画像I1中のマーカーMと参照画像Rの間で画像の姿勢が異なるほど、特徴点Pが抽出されない可能性が増え、対応点の数が少なくなり、ホモグラフィの算出精度が低下する。 As an extreme example, if the marker M and the reference image R in the input image I1 are the same, the posture of the image matches between the marker M in the input image I1 and the reference image R. Feature points P are extracted, and the number of corresponding points is maximized. In other words, as the image posture differs between the marker M and the reference image R in the input image I1, the possibility that the feature point P is not extracted increases, the number of corresponding points decreases, and the homography calculation accuracy increases. descend.
[2.画像処理方法の概念]
つぎに、図1を参照して本発明の実施形態に係る画像処理方法の概念について説明する。図1は、本発明の実施形態に係る画像処理方法の概念を示す図である。
[2. Concept of image processing method]
Next, the concept of the image processing method according to the embodiment of the present invention will be described with reference to FIG. FIG. 1 is a diagram showing a concept of an image processing method according to an embodiment of the present invention.
図1に示すように、本発明の実施形態に係る画像処理方法では、まず、入力画像I1について、参照画像Rとの間で特徴点Pの対応関係に基づき第1の射影関係(ホモグラフィ行例H1)が算出される。よって、入力画像I1中での特定領域(マーカーM)の位置・姿勢がラフに推定される。そして、入力画像I1の少なくとも一部は、ホモグラフィ行例H1に基づき、マーカーMの姿勢が参照画像Rの姿勢に近づくように変換される。図1に示す例では、マーカーMは、入力画像I1では、時計回りに135°程度と大きく回転しているが、変換画像I2では、時計回りに15°程度と僅かに回転している。 As shown in FIG. 1, in the image processing method according to the embodiment of the present invention, first, for the input image I1, a first projective relationship (homography line) based on the correspondence relationship of the feature points P with the reference image R. Example H1) is calculated. Therefore, the position / posture of the specific area (marker M) in the input image I1 is roughly estimated. Then, at least a part of the input image I1 is converted based on the homography example H1 so that the posture of the marker M approaches the posture of the reference image R. In the example shown in FIG. 1, the marker M is rotated by about 135 ° clockwise in the input image I1, but slightly rotated by about 15 ° clockwise in the converted image I2.
つぎに、変換後の入力画像I1(変換画像I2)について、参照画像Rとの間で特徴点Pの対応関係に基づき第2の射影関係(ホモグラフィ行例H2)が算出される。前述したように、変換画像I2では、入力画像I1に比べて、マーカーMの姿勢が参照画像Rの姿勢に近づいている。よって、変換画像I2では、入力画像I1中でマーカーMの位置・姿勢を推定する場合よりも、マーカーMの位置・姿勢が緻密に推定される。また、ホモグラフィ行例H2は、ホモグラフィ行例H1の誤差を打ち消すように作用する。そして、ホモグラフィ行例H1、H2を合成したホモグラフィ行例Hに基づき、入力画像I1中でのマーカーMの位置・姿勢を高い精度で推定することができる。 Next, for the input image I1 after conversion (converted image I2), a second projective relationship (homographic example H2) is calculated based on the correspondence relationship of the feature points P with the reference image R. As described above, in the converted image I2, the posture of the marker M is closer to the posture of the reference image R than the input image I1. Therefore, in the converted image I2, the position / posture of the marker M is estimated more precisely than when the position / posture of the marker M is estimated in the input image I1. In addition, the homography example H2 acts to cancel the error of the homography example H1. The position / posture of the marker M in the input image I1 can be estimated with high accuracy based on the homography example H obtained by combining the homography examples H1 and H2.
これにより、マーカーMの姿勢が参照画像Rの姿勢に近づくように入力画像I1を変換しながら、入力画像I1および変換された入力画像I1(変換画像I2)と参照画像Rのホモグラフィを算出することで、入力画像I1中でのマーカーMの位置・姿勢を高い精度で推定することができる。 Thus, the input image I1 is converted so that the posture of the marker M approaches the posture of the reference image R, and the homography between the input image I1 and the converted input image I1 (converted image I2) and the reference image R is calculated. Thus, the position / posture of the marker M in the input image I1 can be estimated with high accuracy.
[3.画像処理装置10の構成]
つぎに、図2を参照して本発明の実施形態に係る画像処理装置10の構成について説明する。図2は、本発明の実施形態に係る画像処理装置10の構成を示すブロック図である。
[3. Configuration of Image Processing Device 10]
Next, the configuration of the
本発明の実施形態に係る画像処理装置10は、パーソナルコンピュータ、ゲーム機、PDA、携帯電話等である。図2に示すように、画像処理装置10は、特徴点抽出部11、マッチング部12(対応関係決定部)、ホモグラフィ算出部13(射影関係算出部)、画像変換部14、画像合成部15および記憶部16を含んでいる。なお、画像処理装置10は、カメラ等の画像入力装置と一体に構成されてもよく、ディスプレイ等の画像表示装置と一体に構成されてもよい。
The
記憶部16は、メモリ等の記憶装置により構成され、参照画像R、付加画像、参照画像Rの特徴点P等のデータを格納しており、ホモグラフィの算出結果等、画像処理の中間結果も格納する。なお、記憶部16は、例えば画像データを格納する記憶部、特徴点データを記憶する記憶部等のように、複数に区分して構成されてもよい。
The
参照画像データとは、入力画像I1中のマーカーMを指定する画像のデータであり、付加画像データとは、マーカーMを基準として入力画像I1に合成される画像のデータである。特徴点データとは、輝度のエッジ成分等、画像中の特徴部分を表す画素点のデータである。特徴点データは、画像中での特徴点Pの座標値および特徴量(輝度値、輝度値勾配等)のデータを少なくとも含んでいる。 The reference image data is image data specifying the marker M in the input image I1, and the additional image data is image data combined with the input image I1 with the marker M as a reference. The feature point data is pixel point data representing a feature portion in an image, such as a luminance edge component. The feature point data includes at least data of the coordinate value and feature amount (luminance value, luminance value gradient, etc.) of the feature point P in the image.
特徴点抽出部11には、動画または静止画が入力画像I1として入力される。特徴点抽出部11は、入力画像I1に対応する輝度値データを生成し、入力画像I1の特徴点Pを抽出し、抽出結果を示す特徴点データをマッチング部12に供給する。また、特徴点抽出部11は、画像変換部14により変換された変換画像I2を供給され、入力画像I1の場合と同様に、変換画像I2の特徴点Pを抽出する。
A moving image or a still image is input to the feature
特徴点Pは、例えばハリスコーナー(Harris Corner)、SIFT(Scale Invariant Feature Transform)、Random Ferns等、任意の手法・パラメータを用いて抽出される。SIFTは、特徴点Pの周辺の画素の勾配方向を用いて特徴点Pを記述する手法であり、マーカーMの回転に対してロバストである。Random Fernsは、参照画像Rを画像変換して事前に学習する手法であり、マーカーMの姿勢変化に対してロバストである。 The feature point P is extracted using an arbitrary method / parameter such as Harris Corner, SIFT (Scale Invariant Feature Transform), Random Ferns, or the like. SIFT is a technique for describing the feature point P using the gradient direction of pixels around the feature point P, and is robust to the rotation of the marker M. Random Ferns is a method of converting the reference image R into an image and learning in advance, and is robust against changes in the posture of the marker M.
マッチング部12には、入力画像I1の特徴点データと、参照画像Rの特徴点データとが供給される。マッチング部12は、入力画像I1と参照画像Rの間で特徴点Pをマッチングし、マッチング結果を示すマッチングデータをホモグラフィ算出部13に供給する。また、マッチング部12は、変換画像I2の特徴データを供給され、入力画像I1の場合と同様に、変換画像I2と参照画像Rの間で特徴点Pをマッチングする。
The matching
特徴点Pは、特徴点P間の類似度を測る評価値として差分絶対値和(SAD)や特徴点Pベクトルの差のノルム等、任意の手法・パラメータを用いてマッチングされる。マッチングデータは、入力画像I1と参照画像Rの間で対応関係が確認された特徴点Pについて、入力画像I1中の座標値と参照画像R中の座標値のデータを少なくとも含んでいる。入力画像I1と参照画像Rの間では、入力画像I1中でのマーカーの位置・姿勢に応じては、画像間で対応する同一の特徴点Pを見出すことができず、1対1の対応関係を確認できない場合もある。なお、変換画像I2と参照画像Rの間についても、入力画像I1と参照画像Rの間と同様に説明される。 The feature points P are matched using an arbitrary method / parameter such as a sum of absolute differences (SAD) or a norm of a difference between feature point P vectors as an evaluation value for measuring the similarity between the feature points P. The matching data includes at least coordinate value data in the input image I1 and coordinate value data in the reference image R for the feature point P for which the correspondence between the input image I1 and the reference image R is confirmed. Between the input image I1 and the reference image R, depending on the position / orientation of the marker in the input image I1, the same feature point P corresponding to the image cannot be found, and there is a one-to-one correspondence. May not be confirmed. Note that the description between the converted image I2 and the reference image R is the same as that between the input image I1 and the reference image R.
ホモグラフィ算出部13には、マッチングデータが供給される。ホモグラフィ算出部13は、マッチングデータに基づき、入力画像I1と参照画像Rのホモグラフィを算出し、画像変換部14および記憶部16に供給する。また、ホモグラフィ算出部13は、入力画像I1の場合と同様に、変換画像I2と参照画像Rのホモグラフィ行列H2を算出し、ホモグラフィ行列H1、H2を合成したホモグラフィ行列H(=H1・H2)を算出する。
The
入力画像I1と参照画像Rのホモグラフィとは、マーカーMを任意の姿勢で捉えた入力画像I1と、参照画像R(一定の姿勢で捉えられたマーカーMの画像)との間に成立する射影関係を意味し、3行3列のホモグラフィ行列を用いて表される。なお、変換画像I2の場合についても、入力画像I1の場合と同様に説明される。ホモグラフィ行列は、マッチングデータを構成する4組以上の特徴点P(対応点)の座標値を用いて算出される。 The homography of the input image I1 and the reference image R is a projection established between the input image I1 in which the marker M is captured in an arbitrary posture and the reference image R (an image of the marker M captured in a certain posture). This means a relationship and is expressed using a 3 × 3 homography matrix. The case of the converted image I2 will be described in the same manner as the case of the input image I1. The homography matrix is calculated using the coordinate values of four or more sets of feature points P (corresponding points) constituting the matching data.
画像変換部14には、入力画像データおよびホモグラフィ行列が供給される。画像変換部14は、ホモグラフィ行列H1に基づき、マーカーMの姿勢が参照画像Rの姿勢に近づくように入力画像I1(特にマーカーMの領域の画像)を線形変換し、変換後の入力画像I1を変換画像I2として記憶部16に一時的に格納する。画像変換は、ホモグラフィ行列H、入力画像I1の各画素の3次元座標ベクトルXsrc、変換結果Xdstとすると、Xdst=H・Xsrcとして表される。
The
ここで、画像変換の対象は、マーカーMの領域の画像のみでもよく、マーカーMの領域を含む入力画像I1自体でもよい。なお、マーカーMの領域の画像を変換する場合、参照画像Rのコーナー部の座標とホモグラフィ行列HとからマーカーMの領域の座標を算出し、この座標に基づきマーカーMの領域の画像が入力画像I1から切出される。また、画像変換部14は、ホモグラフィ行列に基づき、付加画像を線形変換し、変換後の付加画像を画像合成部15に供給する。
Here, the image conversion target may be only the image of the marker M region or the input image I1 itself including the marker M region. When the image of the marker M area is converted, the coordinates of the marker M area are calculated from the corner coordinates of the reference image R and the homography matrix H, and the image of the marker M area is input based on the coordinates. It is cut out from the image I1. The
画像合成部15には、入力画像データ、変換後の付加画像データおよびホモグラフィ行列Hが供給される。画像合成部15は、ホモグラフィ行列Hに基づき、変換後の付加画像を入力画像I1中のマーカーMを基準として入力画像I1に合成して合成画像を生成し、画像表示装置等に出力する。
The
画像処理装置10の各構成要素は、回路ロジック等のハードウェアおよび/またはプログラム等のソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、不図示のCPU上でプログラムを実行することにより実現される。
Each component of the
なお、画像変換部14は、画像合成部15と一体に構成されてもよい。また、入力画像I1と変換画像I2をそれぞれに処理するために、特徴量抽出部11、マッチング部12、ホモグラフィ算出部13、画像変換部14のうち少なくとも1以上が個別に設けられてもよい。また、入力画像I1は、バッファ(不図示)を通じて特徴点抽出部11に入力されてもよい。
The
[4.画像処理装置10の動作]
つぎに、図3および図4A、4Bを参照して本発明の実施形態に係る画像処理装置10の動作について説明する。図3は、画像処理装置10の動作を示すフロー図であり、図4A、4Bは、画像処理方法の一例を示す図である。
[4. Operation of Image Processing Device 10]
Next, the operation of the
図3に示すように、特徴点抽出部11は、動画フレームのデータを入力画像I1のデータとして入力され(ステップS31)、入力画像I1の特徴点Pを抽出する(ステップS32)。なお、入力画像I1のデータは、記憶部16に一時的に格納される。マッチング部12は、入力画像I1の特徴点データと参照画像Rの特徴点データを供給され、入力画像I1と参照画像Rの間で特徴点Pをマッチングする(ステップS33)。なお、参照画像Rの特徴点データは、記憶部16から読み出される代わりに、特徴点抽出部11により参照画像Rから抽出されてマッチング部12に供給されてもよい。
As shown in FIG. 3, the feature
ホモグラフィ算出部13は、マッチングデータを供給され、入力画像I1と参照画像Rの射影関係を示すホモグラフィ行列H1を算出する(ステップS34)。ホモグラフィ行列H1は、記憶部16に一時的に格納される。なお、例えば、4組以上の特徴点P(対応点)を見出せなかった場合(ステップS35で「No」)、ホモグラフィ行列H1を算出することができず、画像合成を行わずに入力画像I1が出力される(ステップS45)。
The
図4Aには、特徴点Pのマッチング例が示されている。この例では、入力画像I1中の特定領域(マーカーM)は、日本周辺の地図画像を示す参照画像Rにより指定されている。入力画像I1は、斜めに吊り下げられた地図画像(マーカーM)を斜め前方から捉えている。参照画像Rは、正立した状態のマーカーMに対応する地図画像であり、輝度値のエッジ成分等、9つの特徴点P1〜P9が予め抽出されている。なお、図4Aでは、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Pが示されている。 FIG. 4A shows a matching example of feature points P. In this example, the specific area (marker M) in the input image I1 is designated by a reference image R indicating a map image around Japan. The input image I1 captures a map image (marker M) suspended diagonally from the diagonally front. The reference image R is a map image corresponding to the upright marker M, and nine feature points P1 to P9 such as edge components of luminance values are extracted in advance. In FIG. 4A, for convenience, the feature point P is shown in the map image itself, not the luminance image of the map image.
参照画像Rと入力画像I1の間では、対応関係にある同一の特徴点P(対応点)同士を結ぶ線分を用いて暗示するように、9つの特徴点P1〜P9のうち5つの特徴点P1〜P5がマッチングされている。これは、入力画像I1中のマーカーMと参照画像Rの間で画像の姿勢が大きく異なるので、残り4つの特徴点P6〜P9を入力画像I1から適切に抽出できないためである。 Between the reference image R and the input image I1, five feature points out of the nine feature points P1 to P9 are implied by using a line segment that connects the same feature points P (corresponding points) in the correspondence relationship. P1 to P5 are matched. This is because the posture of the image is greatly different between the marker M and the reference image R in the input image I1, and the remaining four feature points P6 to P9 cannot be appropriately extracted from the input image I1.
画像変換部14は、入力画像I1のデータおよびホモグラフィ行列H1を供給され、ホモグラフィ行列H1に基づき入力画像I1を変換する(ステップS36)。変換後の入力画像I1(変換画像I2)は、入力画像I1に比べて、マーカーMの姿勢が参照画像Rの姿勢に近づくように入力画像I1を変換することで得られる。変換画像I2のデータは、記憶部16に一時的に格納される。
The
特徴点抽出部11は、さらに、変換画像I2のデータを供給され、変換画像I2の特徴点Pを抽出する(ステップS37)。マッチング部12は、変換画像I2の特徴点データと参照画像Rの特徴点データを供給され、変換画像I2と参照画像Rの間で特徴点Pをマッチングする(ステップS38)。
The feature
ホモグラフィ算出部13は、マッチングデータを供給され、変換画像I2と参照画像Rの射影関係を示すホモグラフィ行列H2を算出する(ステップS39)。ホモグラフィ行列H2は、記憶部16に一時的に格納されてもよい。なお、ホモグラフィ行列H2を算出することができない場合(ステップS40で「No」)、画像合成を行わずに入力画像I1が出力される(ステップS45)。ホモグラフィ算出部13は、ホモグラフィH1、H2を合成してホモグラフィ行列H(=H1・H2)を算出する(ステップS41)。
The
図4Bには、図4Aに関連する特徴点Pのマッチング例が示されている。この例では、変換画像I2は、ホモグラフィ行列H1に基づきマーカーMの領域を含む画像を入力画像I1から切出し、入力画像I1に比べて、マーカーMの姿勢が参照画像Rの姿勢に近づくように切出し画像を変換することで得られる。入力画像I1に占めるマーカーMの領域が小さい場合、画像変換に要する処理を低減することができる。なお、図4Bでも、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Pが示されている。 FIG. 4B shows a matching example of the feature point P related to FIG. 4A. In this example, in the converted image I2, an image including the region of the marker M is cut out from the input image I1 based on the homography matrix H1, and the posture of the marker M is closer to the posture of the reference image R than the input image I1. It is obtained by converting the cutout image. When the area of the marker M in the input image I1 is small, processing required for image conversion can be reduced. In FIG. 4B, for convenience, the feature point P is shown in the map image itself, not the luminance image of the map image.
参照画像Rと変換画像I2の間では、対応関係にある同一の特徴点P(対応点)同士を結ぶ線分を用いて暗示するように、9つの特徴点P1〜P9の全てがマッチングされている。これは、変換画像I2中のマーカーMと参照画像Rの間で画像の姿勢が近いので、特徴点P1〜P9を変換画像I2から適切に抽出できるためである。 Between the reference image R and the converted image I2, all nine feature points P1 to P9 are matched so as to be implied by using a line segment that connects the same feature points P (corresponding points) in a corresponding relationship. Yes. This is because the posture of the image is close between the marker M and the reference image R in the converted image I2, and the feature points P1 to P9 can be appropriately extracted from the converted image I2.
画像変換部14は、付加画像のデータおよびホモグラフィ行列Hを供給され、ホモグラフィ行列Hに基づき付加画像を線形変換する(ステップS42)。付加画像は、付加画像の姿勢がマーカーMの姿勢に一致するように変換される。画像合成部15は、変換後の付加画像のデータ、入力画像I1のデータおよびホモグラフィ行列Hを供給され、ホモグラフィ行列Hに基づき変換後の付加画像を入力画像I1に合成し(ステップS43)、合成画像として出力する(ステップS43)。
The
ホモグラフィ行列H1、H2は、同一の手法(およびパラメータ)を用いて算出されてもよく、互いに異なる手法(および/またはパラメータ)を用いて算出されてもよい。なお、異なる手法とは、特徴量の抽出(参照画像の特徴量データの種類も含む)および/または特徴点Pのマッチングの手法が異なることを意味している。 The homography matrices H1 and H2 may be calculated using the same method (and parameters), or may be calculated using different methods (and / or parameters). Note that the different methods mean that the feature amount extraction method (including the type of feature amount data of the reference image) and / or the matching method of the feature points P are different.
ホモグラフィ行列H1は、入力画像I1中のマーカーMと参照画像Rの間で画像の位置・姿勢が大きく異なる可能性が高いので、マーカーMの姿勢変化に対してロバストな手法を用いて算出されることが好ましい。一方、ホモグラフィ行列H2は、変換画像I2中のマーカーMと参照画像Rの間で画像の位置・姿勢が大きく異なる可能性が低いので、大抵のケースでは、推定精度の高い手法を用いて算出されることが好ましい。一般に、マーカーMの姿勢変化に対するロバスト性と推定精度は、トレードオフの関係にあるので、ホモグラフィ行列H1をロバストな手法を用いて算出し、ホモグラフィ行列H2を推定精度の高い手法を用いて算出することで、マーカーMの位置・姿勢を高精度で推定できる可能性が高くなる。 The homography matrix H1 is calculated using a technique that is robust against the change in the posture of the marker M because the image position / posture is highly likely to differ greatly between the marker M and the reference image R in the input image I1. It is preferable. On the other hand, the homography matrix H2 is calculated by using a method with high estimation accuracy in most cases because it is unlikely that the position and orientation of the image greatly differ between the marker M and the reference image R in the converted image I2. It is preferred that In general, the robustness with respect to the posture change of the marker M and the estimation accuracy are in a trade-off relationship. Therefore, the homography matrix H1 is calculated using a robust method, and the homography matrix H2 is calculated using a method with high estimation accuracy. By calculating, there is a high possibility that the position / posture of the marker M can be estimated with high accuracy.
マーカーMの位置・姿勢は、3段階以上のホモグラフィの算出結果に基づき推定されてもよい。例えば、ホモグラフィ行列H1、H2、H3の算出結果に基づく場合、画像変換部14は、ホモグラフィ行列H2に基づき変換画像I2を2次変換画像にさらに変換する(もちろん、ホモグラフィ行列H1、H2基づき入力画像I1を2次変換画像に変換してもよい。)。
The position / posture of the marker M may be estimated based on the calculation result of three or more homography. For example, when based on the calculation results of the homography matrices H1, H2, and H3, the
画像処理装置10では、2次変換画像について、参照画像Rとの間で特徴点Pの抽出、特徴点Pのマッチングおよびホモグラフィの算出が行われ、2次変換画像と参照画像Rの射影関係を示すホモグラフィ行列H3が算出される。そして、入力画像I1と参照画像Rの射影関係を示すホモグラフィ行列H´(=H1・H2・H3)が算出され、ホモグラフィ行列H´に基づき入力画像I1に付加画像が合成される。
In the
この場合も、各ホモグラフィ行列H1、H2、H3は、前述した場合と同様に、同一の手法を用いて算出されてもよく、互いに異なる手法を用いて算出されてもよい。ここで、ホモグラフィの算出段階が上がるほど、変換後の入力画像I1中のマーカーMの姿勢は、参照画像Rの姿勢に近づくと期待される。よって、算出段階が上がるほど、マーカーMの姿勢変化に対するロバスト性が低く精度水準が高い手法を用いることで、マーカーMの位置・姿勢を高精度に推定できる可能性が高くなる。 Also in this case, the homography matrices H1, H2, and H3 may be calculated using the same method as described above, or may be calculated using different methods. Here, the posture of the marker M in the input image I1 after conversion is expected to approach the posture of the reference image R as the homography calculation stage increases. Therefore, the higher the calculation stage, the higher the possibility that the position / orientation of the marker M can be estimated with high accuracy by using a technique that has a low robustness to the attitude change of the marker M and a high accuracy level.
[5.まとめ]
以上説明したように、本発明によれば、マーカーMの姿勢が参照画像Rの姿勢に近づくように入力画像I1を変換しながら、入力画像I1および変換された入力画像I1(変換画像I2等)と参照画像Rのホモグラフィを算出することで、入力画像I1中でのマーカーMの位置・姿勢を高い精度で推定することができる。
[5. Summary]
As described above, according to the present invention, while converting the input image I1 so that the posture of the marker M approaches the posture of the reference image R, the input image I1 and the converted input image I1 (converted image I2, etc.) By calculating the homography of the reference image R, the position / posture of the marker M in the input image I1 can be estimated with high accuracy.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、上記実施形態では、画像処理装置10は、カメラ等の画像入力装置から入力画像I1を入力され、ディスプレイ等の画像表示装置に出力画像を出力する場合について説明した。しかし、入力画像I1は、レコーダ、プレイヤ等の画像再生装置から入力されてもよく、出力画像は、レコーダ、プレイヤ等の画像記録装置に出力されてもよい。
For example, in the above-described embodiment, the case where the
10 画像処理装置
11 特徴点抽出部
12 マッチング部(対応関係決定部)
13 ホモグラフィ算出部(射影関係算出部)
14 画像変換部
15 画像合成部
16 記憶部
M マーカー(特定領域)
R 参照画像
I1 入力画像
I2 変換画像
H、H1、H2 ホモグラフィ行列(射影関係)
P 特徴点
DESCRIPTION OF
13 Homography calculator (projection relation calculator)
14
R reference image I1 input image I2 transformed image H, H1, H2 Homography matrix (projection relation)
P Features
Claims (10)
参照画像との間で特徴点の対応関係を決定する対応関係決定部と、
前記対応関係に基づき前記入力画像と前記参照画像の射影関係を算出する射影関係算出部と、
前記射影関係に基づき前記入力画像の少なくとも一部を変換する画像変換部と
を備え、
前記射影関係算出部は、前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第1の射影関係を算出し、前記画像変換部により前記第1の射影関係に基づき変換された前記入力画像について、前記参照画像との間で前記特徴点の対応関係に基づき第2の射影関係を算出し、前記第1および第2の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出する画像処理装置。 A feature point extraction unit for extracting feature points of the input image;
A correspondence determining unit that determines the correspondence of the feature points with the reference image;
A projection relationship calculating unit that calculates a projection relationship between the input image and the reference image based on the correspondence relationship;
An image conversion unit that converts at least a part of the input image based on the projection relationship,
The projection relationship calculation unit calculates a first projection relationship for the input image based on the correspondence relationship of the feature points with the reference image, and converts the input image based on the first projection relationship. For the input image, a second projection relationship is calculated based on the correspondence relationship of the feature points with the reference image, and the input image and the reference image are calculated based on the first and second projection relationships. An image processing apparatus that calculates a projection relationship again.
前記画像変換部は、さらに少なくとも前記第1および第2の射影関係に基づき付加画像を変換し、
前記画像合成部は、前記変換した付加画像を、前記入力画像のうち前記参照画像に対応する特定領域に合成する、請求項1から7のうちいずれか1項に記載の画像処理装置。 An image composition unit for compositing an image with the input image;
The image conversion unit further converts the additional image based on at least the first and second projective relationships,
The image processing apparatus according to claim 1, wherein the image synthesis unit synthesizes the converted additional image with a specific area corresponding to the reference image in the input image.
前記第1の射影関係に基づき前記入力画像の少なくとも一部を変換し、
前記変換した入力画像について、前記参照画像との間で特徴点の対応関係に基づき第2の射影関係を算出し、
前記第1および第2の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出すること
を含む画像処理方法。 For the input image, a first projective relationship is calculated based on the feature point correspondence with the reference image,
Converting at least a portion of the input image based on the first projective relationship;
For the converted input image, a second projective relationship is calculated based on the correspondence of feature points with the reference image,
An image processing method comprising: calculating again the projection relationship between the input image and the reference image based on the first and second projection relationships.
前記第1の射影関係に基づき前記入力画像の少なくとも一部を変換し、
前記変換した入力画像について、前記参照画像との間で特徴点の対応関係に基づき第2の射影関係を算出し、
前記第1および第2の射影関係に基づき前記入力画像と前記参照画像の射影関係を再び算出すること
を含む画像処理方法をコンピュータに実行させるためのプログラム。 For the input image, a first projective relationship is calculated based on the feature point correspondence with the reference image,
Converting at least a portion of the input image based on the first projective relationship;
For the converted input image, a second projective relationship is calculated based on the correspondence of feature points with the reference image,
A program for causing a computer to execute an image processing method including calculating again a projection relationship between the input image and the reference image based on the first and second projection relationships.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011024870A JP2012164188A (en) | 2011-02-08 | 2011-02-08 | Image processing apparatus, image processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011024870A JP2012164188A (en) | 2011-02-08 | 2011-02-08 | Image processing apparatus, image processing method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012164188A true JP2012164188A (en) | 2012-08-30 |
Family
ID=46843512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011024870A Withdrawn JP2012164188A (en) | 2011-02-08 | 2011-02-08 | Image processing apparatus, image processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012164188A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101431378B1 (en) * | 2013-04-08 | 2014-08-19 | 포항공과대학교 산학협력단 | Method for generating omni-directional image and apparatus therefor |
JP2019070944A (en) * | 2017-10-10 | 2019-05-09 | Kddi株式会社 | Information processing device, method and program |
CN110310243A (en) * | 2019-06-28 | 2019-10-08 | 广东工业大学 | A kind of method for correcting image that unmanned plane is photogrammetric, system and storage medium |
CN110517319A (en) * | 2017-07-07 | 2019-11-29 | 腾讯科技(深圳)有限公司 | A kind of method and relevant apparatus that camera posture information is determining |
CN112184916A (en) * | 2019-07-03 | 2021-01-05 | 光宝电子(广州)有限公司 | Augmented reality rendering method of planar object |
US10937134B2 (en) | 2016-12-28 | 2021-03-02 | Ricoh Company, Ltd. | Image processing apparatus, image capturing system, image processing method, and recording medium |
-
2011
- 2011-02-08 JP JP2011024870A patent/JP2012164188A/en not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101431378B1 (en) * | 2013-04-08 | 2014-08-19 | 포항공과대학교 산학협력단 | Method for generating omni-directional image and apparatus therefor |
US10937134B2 (en) | 2016-12-28 | 2021-03-02 | Ricoh Company, Ltd. | Image processing apparatus, image capturing system, image processing method, and recording medium |
CN110517319A (en) * | 2017-07-07 | 2019-11-29 | 腾讯科技(深圳)有限公司 | A kind of method and relevant apparatus that camera posture information is determining |
JP2020509506A (en) * | 2017-07-07 | 2020-03-26 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | Method, apparatus, device, and storage medium for determining camera posture information |
US10963727B2 (en) | 2017-07-07 | 2021-03-30 | Tencent Technology (Shenzhen) Company Limited | Method, device and storage medium for determining camera posture information |
JP2019070944A (en) * | 2017-10-10 | 2019-05-09 | Kddi株式会社 | Information processing device, method and program |
CN110310243A (en) * | 2019-06-28 | 2019-10-08 | 广东工业大学 | A kind of method for correcting image that unmanned plane is photogrammetric, system and storage medium |
CN110310243B (en) * | 2019-06-28 | 2023-04-25 | 广东工业大学 | Unmanned aerial vehicle photogrammetry image correction method, system and storage medium |
CN112184916A (en) * | 2019-07-03 | 2021-01-05 | 光宝电子(广州)有限公司 | Augmented reality rendering method of planar object |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6507730B2 (en) | Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination | |
US9607388B2 (en) | System and method of pose estimation | |
JP6418449B2 (en) | Image processing apparatus, image processing method, and program | |
JP6075295B2 (en) | Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program | |
JP2012164188A (en) | Image processing apparatus, image processing method and program | |
WO2017022033A1 (en) | Image processing device, image processing method, and image processing program | |
KR20130051501A (en) | Online reference generation and tracking for multi-user augmented reality | |
US20180197307A1 (en) | Information processing apparatus and method of controlling the same | |
CN106537908A (en) | Camera calibration | |
JP5476264B2 (en) | Camera tracking device and program thereof | |
JP5833507B2 (en) | Image processing device | |
US10861185B2 (en) | Information processing apparatus and method of controlling the same | |
US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
US10726612B2 (en) | Method and apparatus for reconstructing three-dimensional model of object | |
JP6061770B2 (en) | Camera posture estimation apparatus and program thereof | |
KR100951309B1 (en) | New Calibration Method of Multi-view Camera for a Optical Motion Capture System | |
JP2019004305A (en) | Image processing device, image processing method, and program | |
JP6420605B2 (en) | Image processing device | |
WO2013089261A1 (en) | Image processing system, and image processing method | |
JP6086491B2 (en) | Image processing apparatus and database construction apparatus thereof | |
JP2019106008A (en) | Estimation device, estimation method, and estimation program | |
US20230016350A1 (en) | Configurable keypoint descriptor generation | |
US11810266B2 (en) | Pattern radius adjustment for keypoint descriptor generation | |
CN113034345B (en) | Face recognition method and system based on SFM reconstruction | |
WO2020166401A1 (en) | Learning data generation device, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |