JP2022064506A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2022064506A JP2022064506A JP2020173185A JP2020173185A JP2022064506A JP 2022064506 A JP2022064506 A JP 2022064506A JP 2020173185 A JP2020173185 A JP 2020173185A JP 2020173185 A JP2020173185 A JP 2020173185A JP 2022064506 A JP2022064506 A JP 2022064506A
- Authority
- JP
- Japan
- Prior art keywords
- combination
- feature points
- calculated
- dimensional coordinates
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000010276 construction Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、対象物の複数の画像から、その３次元形状を構築する際に有用となる、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。 The present invention relates to an image processing apparatus and an image processing method that are useful when constructing a three-dimensional shape of a plurality of images of an object, and further relates to a program for realizing these.
近年、画像に写っている対象の３次元形状を構築する技術が注目されている。このような技術の代表例としては、ＳｆＭ（Structure from Motion）が知られている。ＳｆＭでは、特定の対象をカメラの視点を変えながら複数回撮影が行われ、得られた複数枚の画像から、特定の対象の３次元形状が再構築される。 In recent years, a technique for constructing a three-dimensional shape of an object shown in an image has attracted attention. SfM (Structure from Motion) is known as a typical example of such a technique. In SfM, a specific target is photographed a plurality of times while changing the viewpoint of the camera, and the three-dimensional shape of the specific target is reconstructed from the obtained plurality of images.
具体的には、まず、ＳｆＭでは、画像毎に、その特徴量（例えば、SIFT特徴量、SURF特徴量）が計算され、画像の拡大縮小、回転、及び照度変化に強いロバストネスな特徴点が抽出される。次に、画像間で、抽出した特徴点のマッチングが実行され、一致する特徴点のペア（以下「特徴点ペア」と表記する。）が抽出される。 Specifically, first, in SfM, the feature amount (for example, SIFT feature amount, SURF feature amount) is calculated for each image, and robustness feature points that are resistant to image enlargement / reduction, rotation, and illuminance change are extracted. Will be done. Next, matching of the extracted feature points is executed between the images, and a pair of matching feature points (hereinafter referred to as “feature point pair”) is extracted.
その後、幾つかの特徴点ペア毎に、これらの幾何学的な関係に基づいて、Fundamental行列が算出され、算出された各Fundamental行列間での差が最も少なくなるように、特徴点ペア毎の幾何学的な関係が調整される。そして、調整後の幾何学的な関係に基づいて、３次元形状（点群データ）が再構築される。 Then, for each of several feature point pairs, a Fundamental matrix is calculated based on these geometric relationships, and for each feature point pair so that the difference between each calculated Fundamental matrix is the smallest. Geometric relationships are adjusted. Then, the three-dimensional shape (point cloud data) is reconstructed based on the adjusted geometrical relationship.
ところで、上述のＳｆＭでは、特徴点間のマッチングに誤りが発生する場合があり、この場合、誤りのある特徴点ペアが抽出されてしまい、復元される３次元形状の精度が低下してしまう。このため、特許文献１及び２に開示されたシステムは、対象物のペア画像それぞれにおいて、対応する線分又は点の指定を受け付け、受け付けた線分又は点に基づいて、誤りのある特徴点ペアを抽出し、抽出した特徴点ペアを削除している。
By the way, in the above-mentioned SfM, an error may occur in matching between feature points, and in this case, an erroneous feature point pair is extracted, and the accuracy of the restored three-dimensional shape is lowered. Therefore, the system disclosed in
また、上述のＳｆＭでは、バンドル調整といったフィルタリングによっても、誤った特徴点ペアの削除が行われている。例えば、バンドル調整では、３次元形状が構築された後、特徴点ペアの一方について、それから得られた３次元座標と、抽出元の画像に対応するカメラ行列とを用いて、元の２次元画像上に再投影が行われる。そして、投影された位置の２次元座標と、抽出時の位置の２次元座標とが比較され、前者の２次元座標と後者の２次元座標との差分が算出される。算出の結果、差分が閾値以下の場合に、対象となった特徴点が適正であり、誤りのない特徴点ペアであると判定される。一方、算出の結果、差分が閾値を越える場合は、対象となった特徴点は適正でなく、誤りのある特徴点ペアであると判定される。 Further, in the above-mentioned SfM, the erroneous feature point pair is deleted by filtering such as bundle adjustment. For example, in bundle adjustment, after the 3D shape is constructed, the original 2D image is used for one of the feature point pairs using the 3D coordinates obtained from it and the camera matrix corresponding to the source image. Reprojection is done on top. Then, the two-dimensional coordinates of the projected position and the two-dimensional coordinates of the position at the time of extraction are compared, and the difference between the former two-dimensional coordinates and the latter two-dimensional coordinates is calculated. As a result of the calculation, when the difference is equal to or less than the threshold value, it is determined that the target feature point is appropriate and is a feature point pair without error. On the other hand, if the difference exceeds the threshold value as a result of the calculation, it is determined that the target feature point is not appropriate and is an erroneous feature point pair.
しかしながら、特許文献１及び２に開示されたシステムを用いた場合であっても、更に、バンドル調整を実行した場合であっても、誤りのある特徴点ペアを全て削除することは困難である。一方、誤りがあると判定された特徴点ペアであっても、誤りの程度によっては、３次元形状（点群）に影響を与えない場合もある。このため、誤りのある特徴点が３次元形状（点群データ）に与える影響を可視化することが求められている。
However, even when the systems disclosed in
本発明の目的の一例は、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響を可視化し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。 An example of an object of the present invention is an image capable of visualizing the effect of an erroneous combination of feature points on a three-dimensional shape when extracting a combination of corresponding feature points from a plurality of images to construct a three-dimensional shape. The purpose of the present invention is to provide a processing device, an image processing method, and a program.
上記目的を達成するため、本発明の一側面における画像処理装置は、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出部と、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定部と、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定部と、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示部と、
を備えている、
ことを特徴とする。
In order to achieve the above object, the image processing apparatus in one aspect of the present invention is
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation unit that calculates errors in dimensional coordinates,
A threshold setting unit that specifies a maximum value and a minimum value from the errors calculated for each combination of the feature points and sets a plurality of threshold values between the minimum value and the maximum value.
A state specifying unit that specifies the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold is removed for each of the plurality of thresholds.
A status display unit that displays the specified status on the screen for each of the plurality of thresholds.
Is equipped with
It is characterized by that.
また、上記目的を達成するため、本発明の一側面における画像処理方法は、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を有する、ことを特徴とする。
Further, in order to achieve the above object, the image processing method in one aspect of the present invention is:
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation step that calculates an error in dimensional coordinates,
A threshold setting step for specifying a maximum value and a minimum value from the errors calculated for each combination of the feature points and setting a plurality of threshold values between the minimum value and the maximum value.
A state specifying step for specifying the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values.
A state display step that displays the specified state on the screen for each of the plurality of thresholds.
It is characterized by having.
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を実行させることを特徴とする。
Further, in order to achieve the above object, the program in one aspect of the present invention is:
On the computer
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation step that calculates an error in dimensional coordinates,
A threshold setting step for specifying a maximum value and a minimum value from the errors calculated for each combination of the feature points and setting a plurality of threshold values between the minimum value and the maximum value.
A state specifying step for specifying the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values.
A state display step that displays the specified state on the screen for each of the plurality of thresholds.
Is characterized by executing.
以上のように本発明によれば、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響を可視化しすることができる。 As described above, according to the present invention, when a combination of corresponding feature points is extracted from a plurality of images to construct a three-dimensional shape, the influence of an erroneous combination of feature points on the three-dimensional shape is visualized. be able to.
（実施の形態）
以下、実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１～図１２を参照しながら説明する。
(Embodiment)
Hereinafter, the image processing apparatus, the image processing method, and the program in the embodiment will be described with reference to FIGS. 1 to 12.
［装置構成］
最初に、実施の形態における画像処理装置の概略構成について図１を用いて説明する。図１は、実施の形態における画像処理装置の概略構成を示す構成図である。
[Device configuration]
First, the schematic configuration of the image processing apparatus according to the embodiment will be described with reference to FIG. FIG. 1 is a configuration diagram showing a schematic configuration of an image processing apparatus according to an embodiment.
図１に示す実施の形態における画像処理装置は、対象物の複数の画像から、対象物の３次元形状を構築する際に有用となる装置である。図１に示すように、画像処理装置１０は、誤差算出部１１と、閾値設定部１２と、状態特定部１３と、状態表示部１４とを備えている。
The image processing device according to the embodiment shown in FIG. 1 is a device that is useful when constructing a three-dimensional shape of an object from a plurality of images of the object. As shown in FIG. 1, the
誤差算出部１１は、対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する対象物の３次元座標が算出されている場合に、特徴点の組合せ毎に、対応する３次元座標についての誤差を算出する。
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the
閾値設定部１２は、特徴点の組合せそれぞれについて算出された誤差の中から最大値と最小値とを特定し、最小値から最大値までの間で、複数の閾値を設定する。状態特定部１３は、設定された閾値毎に、誤差がその閾値以上となる特徴点の組合せを除去した場合について、対象物の３次元形状の状態を特定する。状態表示部１４は、閾値毎に、特定された状態を画面上に表示する。
The threshold
このように、実施の形態では、特徴点の組合せ毎に、対応する３次元座標についての誤差が算出され、そして、特徴点の組合せを誤りであるとして除去する際の誤差の閾値を段階的に変化させた場合の、対象物の３次元形状の状態が画面に表示される。このため、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響が可視化されることになる。 As described above, in the embodiment, the error for the corresponding three-dimensional coordinates is calculated for each combination of the feature points, and the error threshold when the combination of the feature points is removed as an error is stepwise. The state of the three-dimensional shape of the object when it is changed is displayed on the screen. Therefore, when constructing a three-dimensional shape by extracting a combination of corresponding feature points from a plurality of images, the influence of an erroneous combination of feature points on the three-dimensional shape can be visualized.
続いて、図２～図８を用いて、実施の形態における画像処理装置の構成及び機能について具体的に説明する。図２は、実施の形態における画像処理装置の構成を具体的に示す構成図である。 Subsequently, with reference to FIGS. 2 to 8, the configuration and function of the image processing apparatus according to the embodiment will be specifically described. FIG. 2 is a configuration diagram specifically showing the configuration of the image processing apparatus according to the embodiment.
図２に示すように、実施の形態では、画像処理装置１０は、上述した誤差算出部１１、閾値設定部１２、状態特定部１３、及び状態表示部１４に加えて、画像取得部１５と、特徴点抽出部１６と、３次元座標算出部１７と、３次元形状構築部１８と、データ格納部１９とを更に備えている。また、画像処理装置１０には、表示装置２０が接続されている。
As shown in FIG. 2, in the embodiment, the
画像取得部１５は、外部の装置、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する。図３は、実施の形態において処理対象となる複数の画像の一例を示す図である。図３の例では、ペア画像が例示されているが、実施の形態において対象となる画像の枚数は特に限定されるものではない。
The
特徴点抽出部１６は、対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する。具体的には、特徴点抽出部１６は、画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。なお、図３の例では、画像が２枚であるため、特徴点の組合せは、特徴点ペアである。図３において、丸で囲まれた部分が特徴点の一つである。また、対応する特徴点の組合せが抽出された２枚の画像は、以降においては、「ペア画像」と表記する。
The feature
３次元座標算出部１７は、特徴点の組合せ毎に、各組合せを構成する特徴点それぞれのカメラ行列を算出し、算出したカメラ行列を用いて、各組合せの特徴点に対応する、対象物の３次元座標を算出する。
The three-dimensional coordinate
図４～図６を用いて、３次元座標算出部１７による３次元座標の算出処理について具体的に説明する。図４は、特徴点の組合せが抽出されたペア画像の一例を示す図である。図５は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図６は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。
The calculation process of the three-dimensional coordinates by the three-dimensional coordinate
図４に示すように、３次元座標算出部１７は、最初に、一組のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。そして、この場合、画像３１から抽出されている特徴点（ｍ１～ｍ５）と、画像３２から抽出されている特徴点（ｍ’１～ｍ’５）とは対応している。ｍ１とｍ’１、ｍ２とｍ’２、ｍ３とｍ’３、ｍ４とｍ’４、ｍ５とｍ’５は、それぞれ特徴点の組合せ（以下「特徴点ペア」とも表記する）である。また、図４の例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図４において、Ｍ（Ｍ１～Ｍ５）は、各特徴点に対応する対象物上の３次元座標である。
As shown in FIG. 4, the three-dimensional coordinate
続いて、３次元座標算出部１７は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ１～ｍ５、ｍ’１～ｍ’５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｐと、画像３２を撮影したカメラ４２のカメラ行列Ｐ’とを算出する。また、カメラ行列Ｐ及びカメラ行列Ｐ’は、カメラ４１の位置を原点とすると、それぞれ下記の数１及び数２によって表すことができる。
Subsequently, the three-dimensional coordinate
上記数１において、Ｉは、カメラ４１の回転行列である。図５に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数２において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒｘ,Ｒｙ，Ｒｚ））。ｔは、上述したように並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔｘ,ｔｙ，ｔｚ））。
In the
従って、この場合は、カメラ行列Ｐ及びカメラ行列Ｐ’から逆算することによって、Ｒ及びｔを算出することが出来る。具体的には、３次元座標算出部１７は、各特徴点の座標を用いて、下記の数３～数５に示す方程式を解くことによって、Ｒ及びｔを算出する。数３～数５において、ｍハットは、ｍ（ｍ１～ｍ５）を正規化して得られた画像Ａ上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’１～ｍ’５）を正規化して得られた画像Ｂ上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。
Therefore, in this case, R and t can be calculated by back-calculating from the camera matrix P and the camera matrix P'. Specifically, the three-dimensional coordinate
また、キャリブレーション行列Ｋは、下記の数６及び数７から求めることができる。なお、ｃｘ、ｃｙは、カメラの中心座標である。
Further, the calibration matrix K can be obtained from the following
次に、３次元座標算出部１７は、各カメラの位置の３次元座標と回転行列とを用いて、三角測量法により特徴点の３次元座標Ｍ（Ｍ１～Ｍ５）を算出する。
Next, the three-dimensional coordinate
次に、図６に示すように、３次元座標算出部１７は、特徴点が抽出されている画像であって、初期ペア画像以外の画像の中から、１つの画像３３を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。
Next, as shown in FIG. 6, the three-dimensional coordinate
そして、３次元座標算出部１７は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’１～ｍ’’３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、３次元座標算出部１７は、画像３３を撮影したカメラ４３のカメラ行列Ｐｎを算出する。カメラ行列Ｐｎは、下記の数８によって表すことができる。
Then, the three-dimensional coordinate
具体的には、３次元座標算出部１７は、画像３３の特定された特徴点の画像３３における２次元座標と対応する３次元座標Ｍ１～Ｍ３を用いて、ＰｎＰ法によってカメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを算出する。
Specifically, the three-dimensional coordinate
３次元形状構築部１８は、３次元座標算出部１７によって算出された特徴点毎の３次元座標を用いて、対象物の３次元形状を構築する。具体的には、３次元形状構築部１８は、３次元座標に存在する特徴点の集合で構成された点群データを構築する。また、３次元形状構築部１８は、特徴点毎の３次元座標及び点群データをデータ格納部１９に格納する。
The three-dimensional
誤差算出部１１は、実施の形態では、まず、特徴点の組合せ毎に、各特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、各組合せの３次元座標に適用する。これにより、特徴点の組合せ毎に、各組合せの３次元座標を１つの特徴点が抽出された画像上に投影した場合の２次元座標が算出される。そして、誤差算出部１１は、特徴点の組合せ毎に、算出した２次元座標と１つの特徴点の抽出元での２次元座標との差分を、誤差として算出する。
In the embodiment, the
図７を用いて、誤差算出部１１による誤差算出処理について具体的に説明する。図７は、実施の形態における誤差算出処理の一例を説明する図である。また、図７の例では、図４に示した画像３２上の特徴点の一つを再投影する例について示している。更に、図７において、特徴点に対応する３次元座標、即ち、世界座標系での３次元座標を（ＸＷ，ＹＷ，ＺＷ）とし、特徴点の抽出時の位置の２次元座標を（ｘｆ，ｙｆ）とする。また、特徴点のカメラ座標系での座標を（ＸＣ，ＹＣ，ＺＣ）とする。
The error calculation process by the
まず、誤差算出部１１は、下記の数９を用いて、カメラ行列Ｐ’（＝［Ｒ｜ｔ］）と特徴点の３次元座標（ＸＷ，ＹＷ，ＺＷ）とから、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を算出する。
First, the
続いて、誤差算出部１１は、下記の数１０を用いて、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を正規化する。
Subsequently, the
続いて、誤差算出部１１は、上記数１０で正規化された座標と、カメラの内部パラメータ（図７の例では、カメラ４２の焦点距離ｆ、画像中心位置の座標（ｃｘ，ｃｙ）とを、下記の数１１に適用して、特徴点を画像３２に再投影した時の２次元座標（ｘｐ，ｙｐ）を算出する。
Subsequently, the
次に、誤差算出部１１は、下記の数１２を用いて、上記数１１から算出した再投影後の２次元座標（ｘｐ，ｙｐ）と特徴点の抽出時の位置の２次元座標（ｘｆ，ｙｆ）との差分ｄを、対応する３次元座標についての誤差として算出する。
Next, the
このように、実施の形態では、特徴点を画像上に再投影することによって誤差が算出される。但し、実施の形態では、誤差の算出手法は、再投影による手法に限定されることはなく、他の手法として、エピポーラ線を利用した手法がある。 As described above, in the embodiment, the error is calculated by reprojecting the feature points on the image. However, in the embodiment, the error calculation method is not limited to the method by reprojection, and as another method, there is a method using epipolar lines.
図８を用いて、誤差算出部１１による誤差算出処理の他の例について説明する。図８は、実施の形態における誤差算出処理の他の例を説明する図である。図８においては、特徴点ｐｉと特徴点ｐ’ｉとの組合せが、誤差算出の対象であるとする。また、図８において、Ｅはエピポーラ面を示し、Ｏｉは一方の画像のカメラの中心位置を示し、Ｏ’ｉは他方の画像のカメラの中心位置を示している。更に、図８において、左右に示された平行四辺形はそれぞれ画像のフレームを示している。
Another example of the error calculation process by the
図８の例において、誤差算出部１１は、エピポーラ線についての下記の数１３に示す関係を用いて、特徴点ｐｉが存在しているエピポーラ線ｌ１に対応するエピポーラ線ｌ’１を算出する。そして、誤差算出部１１は、算出したエピポーラ線ｌ’１と特徴点ｐ’ｉとの距離を、対応する３次元座標についての誤差ｄとして算出する。なお、図８において、Ｘｉは、特徴点ｐｉ及び特徴点ｐ’ｉに対応する３次元空間における点である。ｅｉ及びｅ’ｉは、それぞれ、対応するエピポーラ線のエピポーラ面Ｅとの交点を示している。
In the example of FIG. 8, the
上記数１３において、Ｆは、Fundamental行列（参照文献）である。Fundamental行列は、下記数１４から算出される。下記の数１４において、「ｘ」は、３次元空間における点Ｘを一方の画像上に射影することによって得られた二次元上の点である。「ｘ’」は、３次元空間における点Ｘを他方の画像上に射影することによって得られた二次元上の点である。Ｔは転置行列である。
In the
参照文献：Richard Hartleyand Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004. References: Richard Hartleyand Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004.
閾値設定部１２は、実施の形態では、まず、誤差算出部１１によって特徴点の組合せ毎に算出された誤差の中から、最大値ｄｍａｘと最小値ｄｍｉｎとを特定する。そして、閾値設定部１２は、最小値ｄｍｉｎ以上、最大値ｄｍａｘ以下の範囲内で、ｎ個の閾値Ｔｈ１、Ｔｈ２、Ｔｈ３、・・・、Ｔｈｎを設定する（数１５）。
In the embodiment, the threshold
状態特定部１３は、実施の形態では、閾値毎に、誤差がその閾値以上となる特徴点の組合せを除去した場合について、点群データの状況を示す指標を算出することで、対象物の３次元形状の状態を特定する。
In the embodiment, the
また、状態特定部１３は、閾値毎に、指標として、例えば、以下に示す（ａ）～（ｄ）のうち少なくとも１つを算出することができる。
（ａ）特徴点の組合せの除去後に点群データを構成している点の個数
（ｂ）除去されなかった特徴点の組合せにおける平均誤差
（ｃ）特徴点の組合せの除去後の点群データの点の個数と除去前における点群データの点の個数との比率（以下「誤差割合」と表記する。）
（ｄ）特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率（以下「残点群割合」と表記する。）
Further, the
(A) Number of points constituting the point cloud data after removal of the combination of feature points (b) Average error in the combination of feature points not removed (c) Point cloud data after removal of the combination of feature points Ratio between the number of points and the number of points in the point cloud data before removal (hereinafter referred to as "error ratio")
(D) Ratio of the average error after removal of the combination of feature points and the average error before removal (hereinafter referred to as "remaining point cloud ratio").
状態表示部１４は、実施の形態では、各閾値と、閾値毎に算出された指標とを、表示装置２０の画面上に表示する。また、状態表示部１４は、３次元形状構築部１８によって構築された点群データも、表示装置２０の画面上に表することができる。そして、複数の閾値のうち１つが選択されると、点群データ上で、選択された閾値によって除去される特徴点の組合せが対応する部分を特定し、そして、点群データを表示すると共に、特定した部分を表すアイコンを表示することができる。
In the embodiment, the
３次元形状構築部１８は、閾値設定部１２によって複数の閾値が設定されると、閾値毎に、誤差がその閾値以上となる特徴点の組合せの３次元座標を除去し、除去されていない３次元座標を用いて、対象物の点群データを構築することもできる。この場合は、状態表示部１４は、閾値と、それに対応する点群データとを、表示装置２０の画面上に表示する。
When a plurality of thresholds are set by the
［装置動作］
次に、実施の形態における画像処理装置１０の動作について図９を用いて説明する。図９は、実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図８を参照する。また、実施の形態１では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
[Device operation]
Next, the operation of the
図９に示すように、最初に、画像取得部１５は、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、対象物が写った複数の画像それぞれの画像データを取得する（ステップＡ１）。
As shown in FIG. 9, first, the
次に、特徴点抽出部１６は、ステップＡ１で取得された画像データそれぞれから、対応する特徴点の組合せを抽出する（ステップＡ２）。
Next, the feature
次に、３次元座標算出部１７は、ステップＡ２で抽出された特徴点の組合せ毎に、各組合せを構成する特徴点それぞれのカメラ行列を算出し、算出したカメラ行列を用いて、各組合せの特徴点に対応する、対象物の３次元座標を算出する（ステップＡ３）。
Next, the three-dimensional coordinate
次に、３次元形状構築部１８は、ステップＡ３で算出された特徴点毎の３次元座標を用いて、対象物の３次元形状、具体的には、３次元空間に存在する特徴点の集合で構成された点群データを構築する（ステップＡ４）。
Next, the three-dimensional
次に、誤差算出部１１は、ステップＡ２で抽出された特徴点の組合せ毎に、例えば、一方の特徴点を画像上に再投影することによって、ステップＡ３で算出された３次元座標についての誤差を算出する（ステップＡ５）。
Next, the
次に、閾値設定部１２は、ステップＡ５によって算出された誤差の中から、最大値ｄｍａｘと最小値ｄｍｉｎとを特定し、最小値ｄｍｉｎ以上、最大値ｄｍａｘ以下の範囲内で、ｎ個の閾値Ｔｈ１、Ｔｈ２、Ｔｈ３、・・・、Ｔｈｎを設定する（ステップＡ６）。
Next, the threshold
次に、状態特定部１３は、ステップＡ６で設定された閾値毎に、誤差がその閾値以上となる特徴点の組合せを除去した場合について、点群データの状況を示す指標を算出し、それによって、対象物の３次元形状の状態を特定する（ステップＡ７）。
Next, the
次に、状態表示部１４は、ステップ６で設定された閾値毎に、ステップＡ７で算出された指標を、表示装置２０の画面上に表示する（ステップＡ８）。ステップＡ８の実行後、画像処理装置１０における処理は終了する。図１０は、図９に示すステップＡ８によって画面上に表示される閾値毎の指標の一例を示す図である。また、ステップＡ８では状態表示部１４は、ステップＡ４で構築された点群データも、表示装置２０の画面上に表示することができる。
Next, the
また、ステップＡ８では、状態表示部１４は、更に、複数の閾値のうちいずれかの選択を受け付けることもできる。そして、状態表示部１４は、ユーザがいずれか１つの閾値を選択すると（図１０において●の閾値）、図１１に示すように、点群データ上で、選択された閾値によって除去される特徴点（の組合せ）が対応する部分を特定し、特定した部分を表すアイコンを表示することができる。図１１は、画面上に表示される点群データの一例を示す図である。図１１の例では、特定した部分を表すアイコンとして★が用いられている。
Further, in step A8, the
［実施の形態における効果］
以上のように、実施の形態では、特徴点の組合せにおける誤差について複数の閾値が設定され、閾値毎に、物体の点群データの状況を示す指標が算出され、閾値毎の指標が画面に表示される。そして、ユーザが、いずれかの閾値を選択すると、点群データ上で、選択した閾値に応じて削除される部分が示される。つまり、実施の形態によれば、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響が可視化されることになる。
[Effect in the embodiment]
As described above, in the embodiment, a plurality of threshold values are set for the error in the combination of feature points, an index indicating the status of the point cloud data of the object is calculated for each threshold value, and the index for each threshold value is displayed on the screen. Will be done. Then, when the user selects any of the threshold values, a portion to be deleted according to the selected threshold value is shown on the point cloud data. That is, according to the embodiment, when a combination of corresponding feature points is extracted from a plurality of images to construct a three-dimensional shape, the influence of the combination of feature points with an error on the three-dimensional shape is visualized. become.
［プログラム］
実施の形態におけるプログラムとしては、コンピュータに、図９に示すステップＡ１～Ａ８を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、実施の形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、誤差算出部１１、閾値設定部１２、状態特定部１３、状態表示部１４、画像取得部１５、特徴点抽出部１６、３次元座標算出部１７、及び３次元形状構築部１８として機能し、処理を行なう。実施の形態では、データ格納部１９は、コンピュータに備えられたハードディスク等の記憶装置によって実現できる。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
[program]
Examples of the program in the embodiment include a program that causes a computer to execute steps A1 to A8 shown in FIG. By installing and executing this program on a computer, the image processing device and the image processing method according to the embodiment can be realized. In this case, the computer processor has an
また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、誤差算出部１１、閾値設定部１２、状態特定部１３、状態表示部１４、画像取得部１５、特徴点抽出部１６、３次元座標算出部１７、及び３次元形状構築部１８のいずれかとして機能しても良い。
Further, the program in the embodiment may be executed by a computer system constructed by a plurality of computers. In this case, for example, each computer has an
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図１２を用いて説明する。図１２は、実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
[Physical configuration]
Here, a computer that realizes an image processing apparatus by executing the program in the embodiment will be described with reference to FIG. FIG. 12 is a block diagram showing an example of a computer that realizes the image processing device according to the embodiment.
図１２に示すように、コンピュータ１１０は、ＣＰＵ（CentralProcessing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
As shown in FIG. 12, the
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-ProgrammableGate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
Further, the
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
The
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
Further, the program in the embodiment is provided in a state of being stored in a computer-
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
Further, specific examples of the
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
The data reader /
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact DiskRead Only Memory）などの光学記録媒体が挙げられる。
Specific examples of the
実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア（例えば、回路）を用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
The
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。 A part or all of the above-described embodiments can be expressed by the following descriptions (Appendix 1) to (Appendix 18), but the present invention is not limited to the following description.
（付記１）
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出部と、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定部と、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定部と、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示部と、
を備えている、
ことを特徴とする画像処理装置。
(Appendix 1)
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation unit that calculates errors in dimensional coordinates,
A threshold setting unit that specifies a maximum value and a minimum value from the errors calculated for each combination of the feature points and sets a plurality of threshold values between the minimum value and the maximum value.
A state specifying unit that specifies the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold is removed for each of the plurality of thresholds.
A status display unit that displays the specified status on the screen for each of the plurality of thresholds.
Is equipped with
An image processing device characterized by this.
（付記２）
付記１に記載の画像処理装置であって、
前記誤差算出部が、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とする画像処理装置。
(Appendix 2)
The image processing apparatus according to
The error calculation unit
By applying the camera matrix corresponding to the image of the extraction source of one feature point constituting the combination of feature points to the three-dimensional coordinates of the combination for each combination of the feature points, the third of the combination. The two-dimensional coordinates when the dimensional coordinates are projected onto the image from which the one feature point is extracted are calculated, and the difference between the calculated two-dimensional coordinates and the two-dimensional coordinates of the one feature point is calculated as an error. ,
An image processing device characterized by this.
（付記３）
付記１または２に記載の画像処理装置であって、
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を更に備えている、
ことを特徴とする画像処理装置。
(Appendix 3)
The image processing apparatus according to
A feature point extraction unit that extracts a combination of corresponding feature points from each of the plurality of images of the object,
For each combination of the feature points, the camera matrix of each feature point constituting the combination is calculated, and the calculated camera matrix is used to calculate the three-dimensional coordinates of the object corresponding to the feature points of the combination. 3D coordinate calculation unit and
Using the three-dimensional coordinates calculated for each combination of the feature points, a three-dimensional shape building unit that constructs the three-dimensional shape of the object, and a three-dimensional shape building unit.
Further equipped,
An image processing device characterized by this.
（付記４）
付記３に記載の画像処理装置であって、
前記３次元形状構築部が、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定部が、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示部が、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とする画像処理装置。
(Appendix 4)
The image processing apparatus according to
The three-dimensional shape construction unit constructs point cloud data composed of a set of points existing in the three-dimensional coordinates as the three-dimensional shape of the object.
When the state specifying unit removes a combination of the feature points whose error is equal to or greater than the threshold value for each of the plurality of threshold values, the object is calculated by calculating an index indicating the status of the point cloud data. Identify the state of the three-dimensional shape of
The state display unit displays the calculated index for each of the plurality of threshold values.
An image processing device characterized by this.
（付記５）
付記４に記載の画像処理装置であって、
前記状態特定部が、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とする画像処理装置。
(Appendix 5)
The image processing apparatus according to Appendix 4, wherein the image processing apparatus is described.
The state specifying unit serves as the index for each of the plurality of threshold values.
The number of points constituting the point cloud data after the removal of the combination of feature points, the average error in the combination of the feature points that were not removed, and the points of the point cloud data after the combination of the feature points were removed. At least one of the ratio between the number of points and the number of points in the point cloud data before removal and the ratio between the average error after removal and the average error before removal of the combination of the feature points is calculated.
An image processing device characterized by this.
（付記６）
付記４または５に記載の画像処理装置であって、
前記状態表示部が、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とする画像処理装置。
(Appendix 6)
The image processing apparatus according to
When one of the plurality of threshold values is selected, the state display unit identifies a portion corresponding to the combination of the feature points removed by the selected threshold value on the point cloud data, and then Along with displaying the point cloud data, an icon representing the specified part is also displayed.
An image processing device characterized by this.
（付記７）
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を有する、
ことを特徴とする画像処理方法。
(Appendix 7)
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation step that calculates an error in dimensional coordinates,
A threshold setting step for specifying a maximum value and a minimum value from the errors calculated for each combination of the feature points and setting a plurality of threshold values between the minimum value and the maximum value.
A state specifying step for specifying the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values.
A state display step that displays the specified state on the screen for each of the plurality of thresholds.
Have,
An image processing method characterized by that.
（付記８）
付記７に記載の画像処理方法であって、
前記誤差算出ステップにおいて、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とする画像処理方法。
(Appendix 8)
The image processing method described in
In the error calculation step,
By applying the camera matrix corresponding to the image of the extraction source of one feature point constituting the combination of feature points to the three-dimensional coordinates of the combination for each combination of the feature points, the third of the combination. The two-dimensional coordinates when the dimensional coordinates are projected onto the image from which the one feature point is extracted are calculated, and the difference between the calculated two-dimensional coordinates and the two-dimensional coordinates of the one feature point is calculated as an error. ,
An image processing method characterized by that.
（付記９）
付記７または８に記載の画像処理方法であって、
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を更に有する、
ことを特徴とする画像処理方法。
(Appendix 9)
The image processing method according to the
A feature point extraction step that extracts a combination of corresponding feature points from each of the plurality of images of the object,
For each combination of the feature points, the camera matrix of each feature point constituting the combination is calculated, and the calculated camera matrix is used to calculate the three-dimensional coordinates of the object corresponding to the feature points of the combination. 3D coordinate calculation step and
Using the three-dimensional coordinates calculated for each combination of the feature points, a three-dimensional shape construction step for constructing a three-dimensional shape of the object, and a three-dimensional shape construction step.
Further have,
An image processing method characterized by that.
（付記１０）
付記９に記載の画像処理方法であって、
前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とする画像処理方法。
(Appendix 10)
The image processing method according to Appendix 9, wherein the image processing method is used.
In the three-dimensional shape construction step, as the three-dimensional shape of the object, a point cloud data composed of a set of points existing in the three-dimensional coordinates is constructed.
In the state specifying step, when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values, an index indicating the status of the point cloud data is calculated to obtain the object. Identify the state of the three-dimensional shape of
In the state display step, the calculated index is displayed for each of the plurality of threshold values.
An image processing method characterized by that.
（付記１１）
付記１０に記載の画像処理方法であって、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とする画像処理方法。
(Appendix 11)
The image processing method according to
In the state specifying step, for each of the plurality of threshold values, as the index,
The number of points constituting the point cloud data after the removal of the combination of feature points, the average error in the combination of the feature points that were not removed, and the points of the point cloud data after the combination of the feature points were removed. At least one of the ratio between the number of points and the number of points in the point cloud data before removal and the ratio between the average error after removal and the average error before removal of the combination of the feature points is calculated.
An image processing method characterized by that.
（付記１２）
付記１０または１１に記載の画像処理方法であって、
前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とする画像処理方法。
(Appendix 12)
The image processing method according to
When one of the plurality of threshold values is selected in the state display step, a portion corresponding to the combination of the feature points removed by the selected threshold value is specified on the point cloud data, and the point cloud data is identified. Along with displaying the point cloud data, an icon representing the specified part is also displayed.
An image processing method characterized by that.
（付記１３）
コンピュータに、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を実行させる、プログラム。
(Appendix 13)
On the computer
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation step that calculates an error in dimensional coordinates,
A threshold setting step for specifying a maximum value and a minimum value from the errors calculated for each combination of the feature points and setting a plurality of threshold values between the minimum value and the maximum value.
A state specifying step for specifying the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values.
A state display step that displays the specified state on the screen for each of the plurality of thresholds.
A program that runs.
（付記１４）
付記１３に記載のプログラムであって、
前記誤差算出ステップにおいて、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とするプログラム。
(Appendix 14)
The program described in
In the error calculation step,
By applying the camera matrix corresponding to the image of the extraction source of one feature point constituting the combination of feature points to the three-dimensional coordinates of the combination for each combination of the feature points, the third of the combination. The two-dimensional coordinates when the dimensional coordinates are projected onto the image from which the one feature point is extracted are calculated, and the difference between the calculated two-dimensional coordinates and the two-dimensional coordinates of the one feature point is calculated as an error. ,
A program characterized by that.
（付記１５）
付記１３または１４に記載のプログラムであって、
前記コンピュータに、
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を更に実行させる、
ことを特徴とするプログラム。
(Appendix 15)
The program described in
To the computer
A feature point extraction step that extracts a combination of corresponding feature points from each of the plurality of images of the object,
For each combination of the feature points, the camera matrix of each feature point constituting the combination is calculated, and the calculated camera matrix is used to calculate the three-dimensional coordinates of the object corresponding to the feature points of the combination. 3D coordinate calculation step and
Using the three-dimensional coordinates calculated for each combination of the feature points, a three-dimensional shape construction step for constructing a three-dimensional shape of the object, and a three-dimensional shape construction step.
To execute further,
A program characterized by that.
（付記１６）
付記１５に記載のプログラムであって、
前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とするプログラム。
(Appendix 16)
The program described in
In the three-dimensional shape construction step, as the three-dimensional shape of the object, a point cloud data composed of a set of points existing in the three-dimensional coordinates is constructed.
In the state specifying step, when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values, an index indicating the status of the point cloud data is calculated to obtain the object. Identify the state of the three-dimensional shape of
In the state display step, the calculated index is displayed for each of the plurality of threshold values.
A program characterized by that.
（付記１７）
付記１６に記載のプログラムであって、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とするプログラム。
(Appendix 17)
The program described in
In the state specifying step, for each of the plurality of threshold values, as the index,
The number of points constituting the point cloud data after the removal of the combination of feature points, the average error in the combination of the feature points that were not removed, and the points of the point cloud data after the combination of the feature points were removed. At least one of the ratio between the number of points and the number of points in the point cloud data before removal and the ratio between the average error after removal and the average error before removal of the combination of the feature points is calculated.
A program characterized by that.
（付記１８）
付記１６または１７に記載のプログラムであって、
前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とするプログラム。
(Appendix 18)
The program described in
When one of the plurality of threshold values is selected in the state display step, a portion corresponding to the combination of the feature points removed by the selected threshold value is specified on the point cloud data, and the point cloud data is identified. Along with displaying the point cloud data, an icon representing the specified part is also displayed.
A program characterized by that.
以上のように本発明によれば、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響を可視化することができる。本発明は、ＳｆＭといった複数の画像から三次元形状を構築する技術に有用である。 As described above, according to the present invention, when a combination of corresponding feature points is extracted from a plurality of images to construct a three-dimensional shape, the influence of an erroneous combination of feature points on the three-dimensional shape is visualized. Can be done. The present invention is useful in a technique for constructing a three-dimensional shape from a plurality of images such as SfM.
１０ 画像処理装置
１１ 誤差算出部
１２ 閾値設定部
１３ 状態特定部
１４ 状態表示部
１５ 画像取得部
１６ 特徴点抽出部
１７ ３次元座標算出部
１８ ３次元形状構築部
１９ データ格納部
２０ 表示装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
10
112
Claims (18)
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定部と、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定部と、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示部と、
を備えている、
ことを特徴とする画像処理装置。 When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation unit that calculates errors in dimensional coordinates,
A threshold setting unit that specifies a maximum value and a minimum value from the errors calculated for each combination of the feature points and sets a plurality of threshold values between the minimum value and the maximum value.
A state specifying unit that specifies the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold is removed for each of the plurality of thresholds.
A status display unit that displays the specified status on the screen for each of the plurality of thresholds.
Is equipped with
An image processing device characterized by this.
前記誤差算出部が、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The error calculation unit
By applying the camera matrix corresponding to the image of the extraction source of one feature point constituting the combination of feature points to the three-dimensional coordinates of the combination for each combination of the feature points, the third of the combination. The two-dimensional coordinates when the dimensional coordinates are projected onto the image from which the one feature point is extracted are calculated, and the difference between the calculated two-dimensional coordinates and the two-dimensional coordinates of the one feature point is calculated as an error. ,
An image processing device characterized by this.
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を更に備えている、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2.
A feature point extraction unit that extracts a combination of corresponding feature points from each of the plurality of images of the object,
For each combination of the feature points, the camera matrix of each feature point constituting the combination is calculated, and the calculated camera matrix is used to calculate the three-dimensional coordinates of the object corresponding to the feature points of the combination. 3D coordinate calculation unit and
Using the three-dimensional coordinates calculated for each combination of the feature points, a three-dimensional shape building unit that constructs the three-dimensional shape of the object, and a three-dimensional shape building unit.
Further equipped,
An image processing device characterized by this.
前記３次元形状構築部が、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定部が、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示部が、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 3.
The three-dimensional shape construction unit constructs point cloud data composed of a set of points existing in the three-dimensional coordinates as the three-dimensional shape of the object.
When the state specifying unit removes a combination of the feature points whose error is equal to or greater than the threshold value for each of the plurality of threshold values, the object is calculated by calculating an index indicating the status of the point cloud data. Identify the state of the three-dimensional shape of
The state display unit displays the calculated index for each of the plurality of threshold values.
An image processing device characterized by this.
前記状態特定部が、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 4.
The state specifying unit serves as the index for each of the plurality of threshold values.
The number of points constituting the point cloud data after the removal of the combination of feature points, the average error in the combination of the feature points that were not removed, and the points of the point cloud data after the combination of the feature points were removed. At least one of the ratio between the number of points and the number of points in the point cloud data before removal and the ratio between the average error after removal and the average error before removal of the combination of the feature points is calculated.
An image processing device characterized by this.
前記状態表示部が、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 4 or 5.
When one of the plurality of threshold values is selected, the state display unit identifies a portion corresponding to the combination of the feature points removed by the selected threshold value on the point cloud data, and then Along with displaying the point cloud data, an icon representing the specified part is also displayed.
An image processing device characterized by this.
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を有する、
ことを特徴とする画像処理方法。 When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation step that calculates an error in dimensional coordinates,
A threshold setting step for specifying a maximum value and a minimum value from the errors calculated for each combination of the feature points and setting a plurality of threshold values between the minimum value and the maximum value.
A state specifying step for specifying the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values.
A state display step that displays the specified state on the screen for each of the plurality of thresholds.
Have,
An image processing method characterized by that.
前記誤差算出ステップにおいて、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とする画像処理方法。 The image processing method according to claim 7.
In the error calculation step,
By applying the camera matrix corresponding to the image of the extraction source of one feature point constituting the combination of feature points to the three-dimensional coordinates of the combination for each combination of the feature points, the third of the combination. The two-dimensional coordinates when the dimensional coordinates are projected onto the image from which the one feature point is extracted are calculated, and the difference between the calculated two-dimensional coordinates and the two-dimensional coordinates of the one feature point is calculated as an error. ,
An image processing method characterized by that.
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を更に有する、
ことを特徴とする画像処理方法。 The image processing method according to claim 7 or 8.
A feature point extraction step that extracts a combination of corresponding feature points from each of the plurality of images of the object,
For each combination of the feature points, the camera matrix of each feature point constituting the combination is calculated, and the calculated camera matrix is used to calculate the three-dimensional coordinates of the object corresponding to the feature points of the combination. 3D coordinate calculation step and
Using the three-dimensional coordinates calculated for each combination of the feature points, a three-dimensional shape construction step for constructing a three-dimensional shape of the object, and a three-dimensional shape construction step.
Further have,
An image processing method characterized by that.
前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とする画像処理方法。 The image processing method according to claim 9.
In the three-dimensional shape construction step, as the three-dimensional shape of the object, a point cloud data composed of a set of points existing in the three-dimensional coordinates is constructed.
In the state specifying step, when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values, an index indicating the status of the point cloud data is calculated to obtain the object. Identify the state of the three-dimensional shape of
In the state display step, the calculated index is displayed for each of the plurality of threshold values.
An image processing method characterized by that.
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とする画像処理方法。 The image processing method according to claim 10.
In the state specifying step, for each of the plurality of threshold values, as the index,
The number of points constituting the point cloud data after the removal of the combination of feature points, the average error in the combination of the feature points that were not removed, and the points of the point cloud data after the combination of the feature points were removed. At least one of the ratio between the number of points and the number of points in the point cloud data before removal and the ratio between the average error after removal and the average error before removal of the combination of the feature points is calculated.
An image processing method characterized by that.
前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とする画像処理方法。 The image processing method according to claim 10 or 11.
When one of the plurality of threshold values is selected in the state display step, a portion corresponding to the combination of the feature points removed by the selected threshold value is specified on the point cloud data, and the point cloud data is identified. Along with displaying the point cloud data, an icon representing the specified part is also displayed.
An image processing method characterized by that.
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を実行させる、プログラム。 On the computer
When the three-dimensional coordinates of the corresponding object are calculated for each combination of the corresponding feature points extracted from each of the plurality of images of the object, the corresponding 3 is for each combination of the feature points. An error calculation step that calculates an error in dimensional coordinates,
A threshold setting step for specifying a maximum value and a minimum value from the errors calculated for each combination of the feature points and setting a plurality of threshold values between the minimum value and the maximum value.
A state specifying step for specifying the state of the three-dimensional shape of the object when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values.
A state display step that displays the specified state on the screen for each of the plurality of thresholds.
A program that runs.
前記誤差算出ステップにおいて、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とするプログラム。 The program according to claim 13.
In the error calculation step,
By applying the camera matrix corresponding to the image of the extraction source of one feature point constituting the combination of feature points to the three-dimensional coordinates of the combination for each combination of the feature points, the third of the combination. The two-dimensional coordinates when the dimensional coordinates are projected onto the image from which the one feature point is extracted are calculated, and the difference between the calculated two-dimensional coordinates and the two-dimensional coordinates of the one feature point is calculated as an error. ,
A program characterized by that.
前記コンピュータに、
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を更に実行させる、
ことを特徴とするプログラム。 The program according to claim 13 or 14.
To the computer
A feature point extraction step that extracts a combination of corresponding feature points from each of the plurality of images of the object,
For each combination of the feature points, the camera matrix of each feature point constituting the combination is calculated, and the calculated camera matrix is used to calculate the three-dimensional coordinates of the object corresponding to the feature points of the combination. 3D coordinate calculation step and
Using the three-dimensional coordinates calculated for each combination of the feature points, a three-dimensional shape construction step for constructing a three-dimensional shape of the object, and a three-dimensional shape construction step.
To execute further,
A program characterized by that.
前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とするプログラム。 The program according to claim 15.
In the three-dimensional shape construction step, as the three-dimensional shape of the object, a point cloud data composed of a set of points existing in the three-dimensional coordinates is constructed.
In the state specifying step, when the combination of the feature points whose error is equal to or greater than the threshold value is removed for each of the plurality of threshold values, an index indicating the status of the point cloud data is calculated to obtain the object. Identify the state of the three-dimensional shape of
In the state display step, the calculated index is displayed for each of the plurality of threshold values.
A program characterized by that.
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とするプログラム。 The program according to claim 16.
In the state specifying step, for each of the plurality of threshold values, as the index,
The number of points constituting the point cloud data after the removal of the combination of feature points, the average error in the combination of the feature points that were not removed, and the points of the point cloud data after the combination of the feature points were removed. At least one of the ratio between the number of points and the number of points in the point cloud data before removal and the ratio between the average error after removal and the average error before removal of the combination of the feature points is calculated.
A program characterized by that.
前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とするプログラム。 The program according to claim 16 or 17.
When one of the plurality of threshold values is selected in the state display step, a portion corresponding to the combination of the feature points removed by the selected threshold value is specified on the point cloud data, and the point cloud data is identified. Along with displaying the point cloud data, an icon representing the specified part is also displayed.
A program characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020173185A JP2022064506A (en) | 2020-10-14 | 2020-10-14 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020173185A JP2022064506A (en) | 2020-10-14 | 2020-10-14 | Image processing device, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022064506A true JP2022064506A (en) | 2022-04-26 |
Family
ID=81385938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020173185A Pending JP2022064506A (en) | 2020-10-14 | 2020-10-14 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022064506A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024024055A1 (en) * | 2022-07-28 | 2024-02-01 | 富士通株式会社 | Information processing method, device, and program |
-
2020
- 2020-10-14 JP JP2020173185A patent/JP2022064506A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024024055A1 (en) * | 2022-07-28 | 2024-02-01 | 富士通株式会社 | Information processing method, device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10368062B2 (en) | Panoramic camera systems | |
| WO2020206903A1 (en) | Image matching method and device, and computer readable storage medium | |
| JP6716996B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| TW201616451A (en) | System and method for selecting point clouds using a free selection tool | |
| KR102158390B1 (en) | Method and apparatus for image processing | |
| US11189053B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
| JP7003617B2 (en) | Estimator, estimation method, and estimation program | |
| JP2022064506A (en) | Image processing device, image processing method, and program | |
| JP6347610B2 (en) | Image processing apparatus and three-dimensional spatial information acquisition method | |
| JP6989153B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP6156922B2 (en) | Three-dimensional data generation apparatus, three-dimensional data generation method, and program | |
| CN113592994B (en) | Method, apparatus and storage medium for texture mapping | |
| JP7276978B2 (en) | Image processing device, image processing method, and program | |
| CN114723796A (en) | Three-dimensional point cloud generation method and device and electronic equipment | |
| CN113167568B (en) | Coordinate calculation device, coordinate calculation method, and computer-readable recording medium | |
| JP7294702B2 (en) | Image processing device, image processing method, and program | |
| CN113436063A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
| CN111369425A (en) | Image processing method, image processing device, electronic equipment and computer readable medium | |
| JP6586852B2 (en) | Image processing device | |
| CN112991451A (en) | Image recognition method, related device and computer program product | |
| JP2020187626A (en) | Image processing device, image processing method, and program | |
| CN117635875B (en) | Three-dimensional reconstruction method, device and terminal | |
| US20240029288A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5636966B2 (en) | Error detection apparatus and error detection program | |
| JP2023104399A (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230904 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240513 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240702 |