JP2019192299A - Camera information correction device, camera information correction method, and camera information correction program - Google Patents
Camera information correction device, camera information correction method, and camera information correction program Download PDFInfo
- Publication number
- JP2019192299A JP2019192299A JP2019137814A JP2019137814A JP2019192299A JP 2019192299 A JP2019192299 A JP 2019192299A JP 2019137814 A JP2019137814 A JP 2019137814A JP 2019137814 A JP2019137814 A JP 2019137814A JP 2019192299 A JP2019192299 A JP 2019192299A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- edge
- camera information
- information correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、カメラ情報修正装置、カメラ情報修正方法、及びカメラ情報修正プログラムに係り、特に、画像が撮影された際のカメラの位置及び姿勢を推定するカメラ情報修正装置、カメラ情報修正方法、及びカメラ情報修正プログラムに関する。 The present invention relates to a camera information correction device, a camera information correction method, and a camera information correction program, and in particular, a camera information correction device, a camera information correction method, and a camera information correction method for estimating the position and orientation of a camera when an image is taken. It relates to a camera information correction program.
近年、ジャイロセンサ、ＧＰＳ（Global Positioning System）等を搭載したスマートフォン、レーザー計測機器、カメラ等が広く使用されるようになった。また同様に、ＧＰＳ、ＩＭＵ（Inertial Measurement Unit）等の複数のセンサを具備した計測車両も広く使用されるようになった。これらの機器が使用されることにより、カメラで画像を撮影した際のカメラの位置及び姿勢を示す位置姿勢情報が付与された画像が容易に得られるようになった。 In recent years, smartphones equipped with gyro sensors, GPS (Global Positioning System), laser measuring devices, cameras, and the like have come to be widely used. Similarly, measurement vehicles equipped with a plurality of sensors such as GPS and IMU (Inertial Measurement Unit) have been widely used. By using these devices, it is possible to easily obtain an image provided with position and orientation information indicating the position and orientation of the camera when the image is taken by the camera.
しかし、カメラの位置及び姿勢を計測するセンサによる計測結果には、ノイズが含まれていて、位置姿勢情報によって示されるカメラの位置及び姿勢と、実際のカメラの位置及び姿勢との間にズレが発生する。そのため、画像に付与された位置姿勢情報、及び、実世界の光景（シーン）を表す三次元モデルを用いて、実際に撮影された撮影画像と同様の画像を透視投影によって仮想的に復元しようとしても、三次元モデルの画像平面上への投影位置がズレてしまい、実世界のシーンと同じ画像を得ることは難しい。 However, the measurement result by the sensor that measures the position and orientation of the camera contains noise, and there is a deviation between the position and orientation of the camera indicated by the position and orientation information and the actual position and orientation of the camera. appear. Therefore, using the position and orientation information given to the image and a three-dimensional model representing a real-world scene (scene), an attempt is made to virtually restore the same image as the actually captured image by perspective projection. However, the projection position of the 3D model on the image plane is shifted, and it is difficult to obtain the same image as the real world scene.
よって、位置姿勢情報によって示されるカメラの位置及び姿勢と、実際のカメラの位置及び姿勢との間のズレを解消し、三次元モデルを画像平面上へ投影して得られる画像が、撮影画像に限りなく一致するように位置姿勢情報を修正することが望ましい。 Therefore, the difference between the camera position and orientation indicated by the position and orientation information and the actual camera position and orientation is eliminated, and the image obtained by projecting the three-dimensional model onto the image plane becomes the captured image. It is desirable to correct the position and orientation information so as to match as much as possible.
ここで、予め用意されたＣＡＤ（computer-aided design）等の三次元モデルと、この三次元モデルに相当する実世界の物体を撮影した撮影画像と、が入力として与えられたとする。このような場合に、上記物体を撮影した際のカメラの位置及び姿勢を推定するという問題に対して、コンピュータビジョン分野において古くから取り組まれている。 Here, it is assumed that a three-dimensional model such as CAD (computer-aided design) prepared in advance and a photographed image obtained by photographing a real-world object corresponding to the three-dimensional model are given as inputs. In such a case, the problem of estimating the position and orientation of the camera when the object is photographed has long been addressed in the computer vision field.
このような問題を解決する手法として、三次元モデルによって示される物体と、撮影画像に写っている物体とのそれぞれから、物体の特徴的形状を表すコーナー、エッジ等の形状情報を検出し、三次元モデルによって示される物体を画像平面上に投影した際の特徴的形状の投影位置が、撮影画像から検出した特徴的形状の位置と一致するように、カメラの位置及び姿勢を推定する手法がある（非特許文献１参照）。 As a method to solve such problems, shape information such as corners and edges representing the characteristic shape of the object is detected from each of the object indicated by the three-dimensional model and the object shown in the photographed image, and the third order There is a method for estimating the position and orientation of the camera so that the projected position of the characteristic shape when the object indicated by the original model is projected onto the image plane matches the position of the characteristic shape detected from the captured image (Refer nonpatent literature 1).
ＣＡＤ、メッシュ等のように物体の境界、輪郭、あるいはコーナーが取得しやすい形式によって表現された三次元モデルによって示される物体を用いてカメラの位置及び姿勢を推定する場合には、用いられる三次元モデルはノイズを含まないため、物体の正確な形状情報を取得できる。そのため、三次元モデルによって示される物体を用いてカメラの位置及び姿勢を推定する手法は、カメラの位置及び姿勢を推定する手法に適していると考えられる。 3D used when estimating the position and orientation of a camera using an object represented by a 3D model expressed in a format in which the boundary, outline, or corner of the object is easily acquired, such as CAD, mesh, etc. Since the model does not contain noise, accurate shape information of the object can be acquired. For this reason, the method for estimating the position and orientation of the camera using the object indicated by the three-dimensional model is considered suitable for the method for estimating the position and orientation of the camera.
しかし、このようなノイズを含まない三次元モデルを用いた場合であっても、エッジ、輪郭等を除いて、三次元モデル及び撮影画像の双方から自動的に同一の箇所に対応する形状情報を取り出すことは極めて困難であるため、このような手法の実用化はほぼ不可能であると考えられる。 However, even when such a 3D model that does not contain noise is used, shape information corresponding to the same location is automatically obtained from both the 3D model and the captured image except for edges, contours, etc. Since it is extremely difficult to extract, it is considered that practical use of such a method is almost impossible.
さらに、実世界のシーンを表す三次元点群を三次元モデルとして表すためには、単一の物体のみならず複数の物体が存在する複雑な三次元モデルが必要となることに加え、計測時の制約等によって、実世界の物体が特定の一方向からのみ計測される場合が多い。その結果、実世界のシーンを一方向から見た片面のみの三次元点群しか存在しないことが多い。よって、不完全な三次元点群から物体のエッジ、輪郭等を抽出することになるため、実世界の物体とは異なる誤った形状情報が抽出されてしまう可能性がある。また、このようにして得られた誤った形状情報を撮影画像の形状情報に合わせこんだ結果、推定されるカメラの位置及び姿勢は当然のことながら誤ったものとなる。 Furthermore, in order to represent a 3D point cloud representing a real-world scene as a 3D model, in addition to a single object, a complex 3D model with multiple objects is required, and at the time of measurement In many cases, a real-world object is measured only from a specific direction due to the restrictions of the above. As a result, there are often only three-dimensional point groups on only one side of a real-world scene viewed from one direction. Therefore, since the edge, outline, etc. of the object are extracted from the incomplete three-dimensional point group, there is a possibility that incorrect shape information different from the real world object may be extracted. In addition, as a result of combining the incorrect shape information obtained in this way with the shape information of the captured image, the estimated position and orientation of the camera are naturally incorrect.
一般的に、実世界のシーンを表す三次元点群と、当該シーンを撮影した撮影画像と、が入力された場合、三次元点群及び撮影画像の各々からエッジ、輪郭等を抽出し、三次元点群から抽出されたエッジ、輪郭等を画像平面上に投影した投影位置が、撮影画像から抽出されたエッジ、輪郭等に一致するように、カメラの位置及び姿勢を推定する。 In general, when a 3D point cloud representing a real world scene and a captured image obtained by capturing the scene are input, edges, contours, etc. are extracted from each of the 3D point cloud and the captured image, The position and orientation of the camera are estimated so that the projection position obtained by projecting the edge, contour, etc. extracted from the original point group onto the image plane matches the edge, contour, etc. extracted from the captured image.
しかし、実世界の物体を計測することにより得られる三次元点群は、実世界において複数の物体が重なり合っていること等により、欠損部分を含んでいることが多い。そのため、三次元点群からエッジ、輪郭等を正確に抽出することは困難であり、上述した欠損部分を含んでいることが、カメラの位置及び姿勢を推定する際の推定精度の低下の要因となっている。 However, a three-dimensional point group obtained by measuring an object in the real world often includes a missing part due to a plurality of objects overlapping in the real world. Therefore, it is difficult to accurately extract edges, contours, etc. from the three-dimensional point group, and the fact that the above-described missing portion is included is a cause of a decrease in estimation accuracy when estimating the position and orientation of the camera. It has become.
本発明は、以上のような事情に鑑みてなされたものであり、カメラで画像を撮影した際のカメラの位置及び姿勢を精度良く推定することができるカメラ情報修正装置、カメラ情報修正方法、及びカメラ情報修正プログラムを提供することを目的とする。 The present invention has been made in view of the circumstances as described above. A camera information correction apparatus, a camera information correction method, and a camera information correction method that can accurately estimate the position and orientation of a camera when an image is captured by the camera. An object is to provide a camera information correction program.
また、上記目的を達成するために、本発明のカメラ情報修正装置は、実世界のシーンを表す三次元点群から物体を抽出する物体抽出部と、前記物体抽出部により抽出された前記物体の欠損部分を修復する物体復元部と、前記シーン内で撮影された撮影画像から画像エッジを抽出する画像エッジ抽出部と、前記シーン内で撮影画像を撮影した際のカメラの位置及び姿勢を示す位置姿勢情報を用いて、前記物体復元部により復元された前記物体に対して透視投影を行い物体の輪郭に相当するモデルエッジを抽出するモデルエッジ抽出部と、前記画像エッジ抽出部により抽出された前記画像エッジと、前記モデルエッジ抽出部により抽出された前記モデルエッジとのズレ量に応じて前記位置姿勢情報を修正するカメラ情報修正部と、を含む。 In order to achieve the above object, the camera information correction apparatus of the present invention includes an object extraction unit that extracts an object from a three-dimensional point group representing a real-world scene, and the object extraction unit that extracts the object. An object restoration unit that repairs a missing part, an image edge extraction unit that extracts an image edge from a captured image captured in the scene, and a position that indicates the position and orientation of the camera when the captured image is captured in the scene Using posture information, a model edge extraction unit that performs perspective projection on the object restored by the object restoration unit and extracts a model edge corresponding to the contour of the object, and the image edge extraction unit extracts the model edge A camera information correction unit that corrects the position and orientation information in accordance with an amount of deviation between the image edge and the model edge extracted by the model edge extraction unit.
また、本発明のカメラ情報修正装置は、前記物体抽出部は、円柱、角柱、円錐、角錐、球、トーラス、及び平面の何れかの形状の物体を抽出するようにしても良い。 In the camera information correction apparatus of the present invention, the object extraction unit may extract an object having any shape of a cylinder, a prism, a cone, a pyramid, a sphere, a torus, and a plane.
また、本発明のカメラ情報修正装置は、前記物体抽出部は、全体が円柱の形状の前記物体、又は少なくとも一部に円柱の形状の部分を含む前記物体を抽出するようにしても良い。 In the camera information correction apparatus of the present invention, the object extraction unit may extract the object having a cylindrical shape as a whole, or the object including at least a portion having a cylindrical shape.
また、本発明のカメラ情報修正装置は、前記物体復元部は、前記物体抽出部により抽出された前記物体を構成する前記三次元点群における点の分布に基づいて、前記物体を分割する必要があるか否かを判断し、前記分割する必要がないと判断した場合には前記物体に最も適合する幾何的プリミティブを当てはめることによって前記物体の前記欠損部分を復元すると共に、前記分割する必要があると判断した場合には前記物体を複数の部分に分割し、分割した前記部分に最も適合する幾何的プリミティブを当てはめることによって前記部分の前記欠損部分を復元するようにしても良い。 In the camera information correction device of the present invention, the object restoration unit needs to divide the object based on a distribution of points in the three-dimensional point group that constitutes the object extracted by the object extraction unit. If it is determined whether or not there is no need to divide, it is necessary to restore the missing portion of the object by applying a geometric primitive that best fits the object and to divide the object. If it is determined that the object is divided into a plurality of parts, the missing part of the part may be restored by applying a geometric primitive that best fits the divided part.
また、本発明のカメラ情報修正装置は、前記モデルエッジ抽出部は、前記物体の輪郭に相当する制御点の集合を抽出し、前記カメラ情報修正部は、画像平面上に投影された前記物体の輪郭に相当する前記制御点の集合を前記画像エッジに割り当てて前記ズレ量を算出し、算出した前記ズレ量に応じて前記位置姿勢情報を修正するようにしても良い。 In the camera information correction device of the present invention, the model edge extraction unit extracts a set of control points corresponding to the contour of the object, and the camera information correction unit is configured to detect the object projected on the image plane. The set of control points corresponding to a contour may be assigned to the image edge to calculate the shift amount, and the position and orientation information may be corrected according to the calculated shift amount.
また、本発明のカメラ情報修正装置は、前記カメラ情報修正部は、前記ズレ量、及び前記位置姿勢情報の修正回数の少なくとも一方に基づき前記ズレ量に重み付けを行った状態で、前記位置姿勢情報を修正するようにしても良い。 Further, in the camera information correction device of the present invention, the camera information correction unit weights the shift amount based on at least one of the shift amount and the number of corrections of the position / orientation information. May be modified.
また、本発明のカメラ情報修正方法は、物体抽出部、物体復元部、画像エッジ抽出部、モデルエッジ抽出部、及びカメラ情報修正部を含むカメラ情報修正装置におけるカメラ情報修正方法であって、前記物体抽出部が、実世界のシーンを表す三次元点群から物体を抽出するステップと、前記物体復元部が、前記物体抽出部により抽出された物体の欠損部分を修復するステップと、前記画像エッジ抽出部が、前記シーン内で撮影された撮影画像から画像エッジを抽出するステップと、前記モデルエッジ抽出部が、前記シーン内で撮影画像を撮影した際のカメラの位置及び姿勢を示す位置姿勢情報を用いて、前記物体復元部により復元された前記物体に対して透視投影を行い物体の輪郭に相当するモデルエッジを抽出するステップと、前記カメラ情報修正部が、前記画像エッジ抽出部により抽出された前記画像エッジと、前記モデルエッジ抽出部により抽出された前記モデルエッジとのズレ量に応じて前記位置姿勢情報を修正するステップと、を行う。 The camera information correction method of the present invention is a camera information correction method in a camera information correction apparatus including an object extraction unit, an object restoration unit, an image edge extraction unit, a model edge extraction unit, and a camera information correction unit, An object extraction unit extracting an object from a three-dimensional point cloud representing a real-world scene; the object restoration unit repairing a missing portion of the object extracted by the object extraction unit; and the image edge A step of extracting an image edge from a photographed image photographed in the scene by the extracting unit; and position and orientation information indicating a position and posture of the camera when the model edge extracting unit photographed the photographed image in the scene And performing a perspective projection on the object restored by the object restoration unit to extract a model edge corresponding to the contour of the object, and the camera A report correcting unit correcting the position and orientation information in accordance with a deviation amount between the image edge extracted by the image edge extracting unit and the model edge extracted by the model edge extracting unit; .
また、上記目的を達成するために、本発明のカメラ情報修正プログラムは、コンピュータを、本発明のカメラ情報修正装置の各部として機能させるためのプログラムである。 In order to achieve the above object, the camera information correction program of the present invention is a program for causing a computer to function as each unit of the camera information correction apparatus of the present invention.
本発明によれば、カメラで画像を撮影した際のカメラの位置及び姿勢を精度良く推定することが可能となる。 According to the present invention, it is possible to accurately estimate the position and orientation of a camera when an image is captured by the camera.
以下、図面を参照して本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
まず、図１を参照して、本実施形態に係るカメラ情報修正装置の構成について説明する。 First, the configuration of the camera information correction apparatus according to the present embodiment will be described with reference to FIG.
本実施形態に係るカメラ情報修正装置１００は、装置全体を統括して制御するＣＰＵと、ＣＰＵによる制御に必要なデータを一時的に記憶するＲＡＭと、後述するモデル抽出プログラム及び合わせこみプログラムを含む各種プログラム、各種データ等を記憶したＲＯＭと、を含むコンピュータで構成される。 The camera information correction apparatus 100 according to the present embodiment includes a CPU that controls the entire apparatus, a RAM that temporarily stores data necessary for control by the CPU, a model extraction program, and a fitting program that will be described later. The computer includes a ROM that stores various programs, various data, and the like.
また、カメラ情報修正装置１００は、入力部１０と、演算部２０と、出力部５０とを備えている。 The camera information correction apparatus 100 includes an input unit 10, a calculation unit 20, and an output unit 50.
入力部１０は、実世界の光景（シーン）に相当する三次元点群を示すデータの入力を受け付け、受け付けた三次元点群を示すデータを基礎データ記憶部３０へ格納する。三次元点群を示すデータは、一例として図２に示すように、三次元点群に含まれる各々の制御点を識別するための制御点番号、及びＸＹＺ座標が、制御点毎に対応付けられたデータである。 The input unit 10 receives input of data indicating a three-dimensional point group corresponding to a real-world scene (scene), and stores data indicating the received three-dimensional point group in the basic data storage unit 30. As shown in FIG. 2 as an example, the data indicating the three-dimensional point group is associated with a control point number for identifying each control point included in the three-dimensional point group and XYZ coordinates for each control point. Data.
本実施形態で用いる三次元点群としては、レーザーを用いた計測機器を具備した計測車両を用いて、計測機器により計測車両の屋外を計測することによって得られた三次元点群が例示される。あるいは、このような三次元点群としては、屋外において撮影された大量の画像から三次元再構成技術等を用いて復元された三次元点群等が例示される。 Examples of the three-dimensional point group used in the present embodiment include a three-dimensional point group obtained by measuring the outside of the measurement vehicle using the measurement device using a measurement vehicle equipped with a measurement device using a laser. . Alternatively, examples of such a three-dimensional point group include a three-dimensional point group restored from a large amount of images taken outdoors using a three-dimensional reconstruction technique.
また、入力部１０は、上述した三次元点群によって表されるシーンにおいてカメラにより撮影された撮影画像と、この撮影画像を撮影した際のカメラの位置及び姿勢を表す位置姿勢情報、及びカメラの内部パラメータと、を入力として受け付ける。入力部１０は、受け付けた撮影画像を、画像データ記憶部３１に格納させる。また、入力部１０は、受け付けた位置姿勢情報及び内部パラメータをカメラ情報記憶部３２に格納させる。 In addition, the input unit 10 captures a captured image captured by the camera in the scene represented by the above-described three-dimensional point cloud, position and orientation information indicating the position and orientation of the camera when the captured image is captured, and the camera Internal parameters are accepted as input. The input unit 10 stores the received captured image in the image data storage unit 31. Further, the input unit 10 stores the received position / orientation information and internal parameters in the camera information storage unit 32.
受け付けた撮影画像及び位置姿勢情報のペアは、例えば、カメラを有する携帯端末（例えば、スマートフォン）で撮影を行う場合、撮影時のジャイロ情報及びＧＰＳの計測値、あるいはスマートフォンの位置及び姿勢を計測可能な計測機器を具備した計測車両によって取得される。また、カメラの位置姿勢情報は、例えば、３×３のサイズの回転行列Ｒと三次元列ベクトルｔで与えられる。カメラの内部パラメータとしては、少なくとも焦点距離及び画像中心を取得する。しかし、歪み補正等に関するパラメータ等については、必ずしも取得する必要はない。 For example, when shooting with a mobile terminal (for example, a smartphone) having a camera, the received pair of captured image and position / orientation information can measure gyro information and GPS measurement values at the time of shooting, or the position and orientation of the smartphone. It is acquired by a measuring vehicle equipped with various measuring devices. The camera position and orientation information is given by, for example, a 3 × 3 size rotation matrix R and a three-dimensional column vector t. As the internal parameters of the camera, at least the focal length and the image center are acquired. However, it is not always necessary to obtain parameters related to distortion correction.
演算部２０は、前処理部２２と、物体抽出部２４と、物体復元部２６と、基礎データ記憶部３０と、画像データ記憶部３１と、カメラ情報記憶部３２と、三次元物体記憶部３３と、復元モデル記憶部３４と、モデルエッジ記憶部３５と、画像エッジ記憶部３６と、モデルエッジ抽出部４０と、画像エッジ抽出部４２と、カメラ情報修正部４４とを含んで構成される。 The calculation unit 20 includes a preprocessing unit 22, an object extraction unit 24, an object restoration unit 26, a basic data storage unit 30, an image data storage unit 31, a camera information storage unit 32, and a three-dimensional object storage unit 33. A restoration model storage unit 34, a model edge storage unit 35, an image edge storage unit 36, a model edge extraction unit 40, an image edge extraction unit 42, and a camera information correction unit 44.
前処理部２２は、後述する各部の処理によって、上述した三次元点群から、幾何的合わせこみに利用する三次元物体を抽出する。また、前処理部２２は、抽出した三次元物体を予め用意された三次元モデルに当てはめるモデル当てはめを行うことによって、抽出した三次元物体における欠損部分を復元する。 The preprocessing unit 22 extracts a three-dimensional object to be used for geometric fitting from the above-described three-dimensional point group by processing of each unit described later. Further, the preprocessing unit 22 restores a missing portion in the extracted three-dimensional object by performing model fitting in which the extracted three-dimensional object is applied to a prepared three-dimensional model.
前処理部２２は、物体抽出部２４と、物体復元部２６とを含んで構成される。 The preprocessing unit 22 includes an object extraction unit 24 and an object restoration unit 26.
物体抽出部２４は、入力部１０で受け付けられた三次元点群から、合わせこみの際の手がかりとして利用する予め定めた形状で区分的に近似できる物体を抽出する。予め定めた形状としては、円柱、角柱、円錐、角錐、球、トーラス、平面等の幾何的プリミティブが例示され、上述したように、本実施形態では、全体又は一部が円柱の形状の物体が抽出される。 The object extraction unit 24 extracts, from the three-dimensional point group received by the input unit 10, an object that can be approximated piecewise with a predetermined shape that is used as a clue at the time of fitting. Examples of the predetermined shape include geometric primitives such as a cylinder, a prism, a cone, a pyramid, a sphere, a torus, and a plane. As described above, in this embodiment, an object that is entirely or partially cylindrical in shape is used. Extracted.
具体的には、全体又は一部が円柱の形状の物体としては、例えば、電柱のように全体が円柱の形状に構成されている物体、細長い円柱をゆるやかに湾曲させることによって構成されるケーブルのような物体等が例示される。なお、幾何学的合わせこみに利用する三次元物体を三次元点群から抽出する技術は盛んに研究されており、このような技術として、例えば、下記参考文献１及び２に開示されている技術を利用することができる。 Specifically, as an object having the whole or a part of a cylindrical shape, for example, an object having a whole cylindrical shape such as a power pole, a cable formed by gently bending an elongated cylinder Such an object etc. are illustrated. In addition, a technique for extracting a three-dimensional object used for geometric fitting from a three-dimensional point group has been actively researched, and as such a technique, for example, a technique disclosed in Reference Documents 1 and 2 below. Can be used.
［参考文献１］特開２０１４−１０６７２５号公報
［参考文献２］特開２０１５−１９０１号公報
[Reference Document 1] Japanese Patent Application Laid-Open No. 2014-106725 [Reference Document 2] Japanese Patent Application Laid-Open No. 2015-1901
また、物体抽出部２４は、抽出した物体を示す三次元点群のデータを三次元物体記憶部３３に記憶させる。なお、ここで抽出されたＮ個の物体を、Ｍ１,…,ＭＮとする。 Further, the object extraction unit 24 causes the 3D object storage unit 33 to store data of a 3D point group indicating the extracted object. It is assumed that the N objects extracted here are M 1 ,..., M N.
三次元物体記憶部３３には、物体抽出部２４で抽出された各々の物体を示す三次元点群（三次元座標の集合）のデータが記憶される。これらの三次元点群のデータは、一例として図４に示すように、抽出された各々の物体を識別するための物体番号（Ｎｏ）、分割フラグ、三次元点群を形成する各々の制御点を識別するための制御点番号（Ｎｏ）、及び制御点のＸＹＺ座標が、抽出された物体毎に対応付けられたデータである。ここでの分割フラグは、分割された物体であるか否かを示すフラグであり、分割されている場合には「ｔｒｕｅ」で表され、分割されていない場合には「ｆａｌｓｅ」で表される。 In the three-dimensional object storage unit 33, data of a three-dimensional point group (a set of three-dimensional coordinates) indicating each object extracted by the object extraction unit 24 is stored. As shown in FIG. 4 as an example, the data of these three-dimensional point groups includes an object number (No) for identifying each extracted object, a division flag, and each control point forming the three-dimensional point group. The control point number (No) for identifying the XYZ coordinates of the control point is data associated with each extracted object. The division flag here is a flag indicating whether or not the object is a divided object, and is represented by “true” when the object is divided, and is represented by “false” when the object is not divided. .
なお、本実施形態では、物体抽出部２４が物体を抽出する際に、Ｎ個の物体Ｍ１,…,ＭＮのそれぞれについて、全体が円柱である場合、すなわち物体が分割されていない場合には、分割フラグを「ｆａｌｓｅ」とし、物体における一部分が円柱である場合、すなわち物体が分割されている場合には、分割フラグを「ｔｒｕｅ」とする場合について説明する。しかし、全体が円柱であるか、物体における一部分が円柱であるかを判断できない場合には、分割フラグについて三次元物体記憶部３３に記憶されなくても良い。 In the present embodiment, when the object extraction unit 24 extracts an object, each of the N objects M 1 ,..., MN is a cylinder, that is, when the object is not divided. Describes a case where the division flag is “false” and a part of the object is a cylinder, that is, when the object is divided, the division flag is “true”. However, if it is impossible to determine whether the whole is a cylinder or a part of the object is a cylinder, the division flag may not be stored in the three-dimensional object storage unit 33.
物体復元部２６は、三次元物体記憶部３３に記憶されたＮ個の物体Ｍ１,…,ＭＮのそれぞれについて、分割する必要があるか否かを判定する。この際、本実施形態では、三次元物体記憶部３３に記憶されている分割フラグに基づいて、物体を分割する必要があるか否かを判定する。しかし、三次元物体記憶部３３に分割フラグが記憶されていない場合には、物体を構成する点群が三次元空間上でどのように分布しているかを主成分分析によって求める。具体的には、物体に対して主成分分析を行うと、３つの固有値とこれらの固有値に対応する固有ベクトルが得られる。このうち最も大きな固有値λ１と、２番目に大きな固有値λ２の比率によって、物体を分割する必要があるか否かを判定すれば良い。 Object restoration unit 26, the three-dimensional object storage unit 33 N pieces of object M 1 stored in, ..., for each of M N, determines whether it is necessary to divide. At this time, in this embodiment, it is determined whether or not the object needs to be divided based on the division flag stored in the three-dimensional object storage unit 33. However, when the division flag is not stored in the three-dimensional object storage unit 33, it is determined by principal component analysis how the point groups constituting the object are distributed in the three-dimensional space. Specifically, when principal component analysis is performed on an object, three eigenvalues and eigenvectors corresponding to these eigenvalues are obtained. Whether or not it is necessary to divide the object may be determined based on the ratio of the largest eigenvalue λ 1 to the second largest eigenvalue λ 2 .
物体復元部２６は、物体を分割する必要がない場合には、物体の全体に対して円柱を当てはめる。 When it is not necessary to divide the object, the object restoration unit 26 applies a cylinder to the entire object.
一方、物体復元部２６は、物体を分割する必要がある場合には、例えば、下記参考文献３に開示されているクラスタリングの手法を用いて、物体を複数の部分に分割する。 On the other hand, when it is necessary to divide the object, the object restoration unit 26 divides the object into a plurality of parts using, for example, a clustering technique disclosed in Reference Document 3 below.
［参考文献３］Voxel cloud connectivity segmentation - supervoxels for point clouds, J. Papon et al., Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013. [Reference 3] Voxel cloud connectivity segmentation-supervoxels for point clouds, J. Papon et al., Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013.
ここでは、物体ＭｉがＫ個の部分Ｐｉ１…ＰｉＫに分割されたとする。なお、分割で得られた各部分も点群であることに注意する。次に、物体復元部２６は、分割で得られた各部分に対して円柱を当てはめる。 Here, it is assumed that the object M i is divided into K parts P i1 ... P iK . Note that each part obtained by the division is also a point cloud. Next, the object restoration unit 26 applies a cylinder to each part obtained by the division.
なお、円柱を当てはめる手法としては、ハフ変換やＲＡＮＳＡＣを利用した手法等が例示され、これらの手法を利用すれば良い（例えば、下記参考文献４参照）。 In addition, as a method of fitting a cylinder, a method using Hough transform, RANSAC, or the like is exemplified, and these methods may be used (for example, refer to Reference Document 4 below).
［参考文献４］Efficient RANSAC for point-cloud shape detection, R. Schnabel et al., Computer Graphics Forum, vol. 26, no. 2, pp. 214-226, 2007. [Reference 4] Efficient RANSAC for point-cloud shape detection, R. Schnabel et al., Computer Graphics Forum, vol. 26, no. 2, pp. 214-226, 2007.
このように、三次元点群で示された円柱の形状の物体の部分に対して、円柱の三次元モデルを当てはめることにより、一例として図５に示すように、各部分について、計測によって得られた形状５２における欠損部分５２ａが復元された形状５４が得られる。 Thus, by applying a three-dimensional model of a cylinder to a cylindrical object part indicated by a three-dimensional point group, as shown in FIG. 5 as an example, each part is obtained by measurement. As a result, a shape 54 in which the missing portion 52a in the shape 52 is restored is obtained.
物体の部分に円柱を当てはめることにより得られた円柱を、底面に相当する２つの円の中心座標（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）と、円の半径ｒとで表す。物体復元部２６は、部分Ｐｉｋをこれらの７つのパラメータ（ｘ１，ｙ１，ｚ１，ｘ２，ｙ２，ｚ２，ｒ）で表すと共に、７つのパラメータで表した部分Ｐｉｋを示すデータを復元モデル記憶部３４に記憶させる。 The cylinder obtained by fitting the cylinder to the object part is represented by the center coordinates (x 1 , y 1 , z 1 ) and (x 2 , y 2 , z 2 ) of the two circles corresponding to the bottom surface, This is represented by a radius r. The object restoration unit 26 represents the portion P ik with these seven parameters (x 1 , y 1 , z 1 , x 2 , y 2 , z 2 , r), and the portion P ik represented with the seven parameters. The indicated data is stored in the restoration model storage unit 34.
部分Ｐｉｋを示すデータは、一例として図６に示すように、各々の部分Ｐｉｋを識別するための部分番号（Ｎｏ）、及び、上述した７つのパラメータ（ｘ１，ｙ１，ｚ１，ｘ２，ｙ２，ｚ２，ｒ）が、部分Ｐｉｋ毎に対応付けられたデータである。 The data indicating the portion P ik, as shown in FIG. 6 as an example, part number for identifying each portion P ik (No), and seven parameters described above (x 1, y 1, z 1, x 2 , y 2 , z 2 , r) are data associated with each part P ik .
なお、本実施形態では、三次元点群で示された円柱の形状の物体、又は物体を分割して得られる円柱の形状の部分Ｐｉｋに対して、円柱の幾何的プリミティブが当てはめられる場合について説明したが、これに限らない。例えば、上述した幾何的プリミティブのうち、円柱以外の形状を用いて、三次元点群で示された当該形状の物体、又は物体を分割して得られる当該形状の部分Ｐｉｋに対して、当該形状の幾何的プリミティブが当てはめられれば良い。 In the present embodiment, a cylindrical geometric primitive is applied to a cylindrical object indicated by a three-dimensional point group or a cylindrical shape part Pik obtained by dividing the object. Although explained, it is not limited to this. For example, among the geometric primitives described above, using a shape other than a cylinder, an object of the shape indicated by a three-dimensional point group, or a portion P ik of the shape obtained by dividing the object, The geometric primitives of the shape need only be applied.
モデルエッジ抽出部４０は、カメラ情報記憶部３２に記憶されているカメラの内部パラメータ及び位置姿勢情報に基づき、物体復元部２６によって復元されて復元モデル記憶部３４に記憶された円柱を、画像平面上に透視投影することにより得られる領域の輪郭のうち、円柱側面に対応するエッジを抽出する。 The model edge extraction unit 40 converts the cylinder restored by the object restoration unit 26 and stored in the restoration model storage unit 34 into an image plane based on the internal parameters and position / orientation information of the camera stored in the camera information storage unit 32. An edge corresponding to the cylindrical side surface is extracted from the outline of the region obtained by perspective projection on the top.
一例として図３に示すように、透視投影を行う際には、まず、円柱の形状の物体４６を表現する上述した７つのパラメータを用いて、物体４６の中心軸を通る鉛直な平面で円柱を切断して得られる長方形５６の頂点５６ａ、５６ｂ、５６ｃ、５６ｄの三次元座標を計算する。ここで、円柱の底面に相当する２つの円盤５８の半径をｒとし、２つの円盤の中心５８ａ、５８ｂの中心座標を（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）とし、これらの２点の中心座標を結ぶベクトルであって長さを１としたベクトルをｖｄとし、三次元空間内で鉛直方向を向いた単位ベクトルをｎｚとし、これらの２つのベクトルに直交する単位ベクトルをｎ＾とした場合について考える。 As an example, as shown in FIG. 3, when performing perspective projection, first, using the above-mentioned seven parameters representing the cylindrical object 46, the cylinder is formed on a vertical plane passing through the central axis of the object 46. The three-dimensional coordinates of the vertices 56a, 56b, 56c and 56d of the rectangle 56 obtained by cutting are calculated. Here, the radius of the two disks 58 corresponding to the bottom surface of the cylinder is r, and the center coordinates of the centers 58a and 58b of the two disks are (x 1 , y 1 , z 1 ) and (x 2 , y 2 , z 2 ), a vector connecting the center coordinates of these two points and having a length of 1 is denoted by v d, and a unit vector oriented in the vertical direction in the three-dimensional space is denoted by nz, and these two Consider a case where n ^ is a unit vector orthogonal to a vector.
ベクトルｖｄと単位ベクトルｎｚとが平行でない場合には、これらの４点は下記（１）式のように表される。 When the vector v d and the unit vector nz are not parallel, these four points are expressed as the following equation (1).
・・・（１）
... (1)
ただし、単位ベクトルｎ＾が自身の要素を用いてｎ＾＝［ｎｘ＾ ｎｙ＾ ｎｚ＾］と表される場合には、Ｒ（ｎ＾，θ）は、下記（２）式及び（３）式に示すようにロドリゲスの式で表される３×３の行列である。 However, if the unit vector n ^ is expressed n ^ = a [n x ^ n y ^ n z ^] using its own elements, R (n ^, theta) is represented by the following formula (2) and As shown in equation (3), this is a 3 × 3 matrix represented by the Rodriguez equation.
・・・（２）
... (2)
・・・（３）
... (3)
一方、ベクトルｖｄと単位ベクトルｎｚとが平行な場合には、円柱の中心を通り、かつ、画像平面に対して平行な面で円柱を切断して得られる４点を考える。 On the other hand, when the vector v d and the unit vector nz are parallel, four points obtained by cutting the cylinder through a plane passing through the center of the cylinder and parallel to the image plane are considered.
続いて、長方形５６の４辺のうち、円柱の中心軸を通る平面と円柱の側面との交線６０ａ、６０ｂを、カメラ４８の内部パラメータを用いて画像平面６２上に投影し、投影した画像における交線６０ａ、６０ｂをエッジ（以下、「モデルエッジ」という。）として抽出すると共に、交線６０ａ、６０ｂの両端の画像平面６２上での座標を取得する。 Subsequently, of the four sides of the rectangle 56, the intersection lines 60 a and 60 b between the plane passing through the central axis of the cylinder and the side surface of the cylinder are projected onto the image plane 62 using the internal parameters of the camera 48, and the projected image Are extracted as edges (hereinafter referred to as “model edges”), and the coordinates of both ends of the intersection lines 60a and 60b on the image plane 62 are acquired.
なお、透視投影の詳細な計算方法については下記参考文献５に開示されているため、ここでの説明を省略する。 Note that a detailed calculation method of perspective projection is disclosed in Reference Document 5 below, and thus the description thereof is omitted here.
［参考文献５］コンピュータビジョン―アルゴリズムと応用―、Richard Szeliski 著・玉木 徹・福嶋 慶繁・飯山 将晃・鳥居 秋彦・栗田 多喜夫・波部 斉・林 昌希・野田 雅文訳、共立出版、2013. [Reference 5] Computer Vision-Algorithms and Applications-by Richard Szeliski, Toru Tamaki, Yoshishige Fukushima, Masami Iiyama, Akihiko Torii, Takio Kurita, Hitoshi Namibe, Masaki Hayashi, Masafumi Noda, Kyoritsu Publishing, 2013 .
このようにして得られた２つのモデルエッジの端点の画像平面６２上の座標（画像座標系における座標）（ｘ，ｙ）と、三次元点群におけるこれらの端点に相当する三次元座標（ｕ，ｖ，ｗ）とを示すモデルエッジ情報を、モデルエッジ記憶部３５に記憶させる。なお、上述した長方形の頂点に相当する三次元座標は位置姿勢情報を更新する際に必要となる。 The coordinates of the end points of the two model edges thus obtained on the image plane 62 (coordinates in the image coordinate system) (x, y) and the three-dimensional coordinates (u) corresponding to these end points in the three-dimensional point group. , V, w) is stored in the model edge storage unit 35. Note that the three-dimensional coordinates corresponding to the vertices of the rectangle described above are required when updating the position and orientation information.
モデルエッジ情報は、一例として図７に示すように、上述した各々のモデルエッジを識別するためのモデルエッジ番号（Ｎｏ）、モデルエッジにおける一方の端点の画像平面６２上の座標（ｘ１１，ｙ１１）と三次元点群における三次元座標（ｕ１１，ｖ１１，ｗ１１）、及び、モデルエッジにおける他方の端点の画像平面６２上の座標（ｘ１２，ｙ１２）と三次元点群における三次元座標（ｕ１２，ｖ１２，ｗ１２）が、モデルエッジ毎に対応付けられた情報である。 As shown in FIG. 7 as an example, the model edge information includes the model edge number (No) for identifying each model edge described above, and the coordinates (x 11 , y on one end point of the model edge on the image plane 62. 11 ) and the three-dimensional coordinates (u 11 , v 11 , w 11 ) in the three-dimensional point group, and the coordinates (x 12 , y 12 ) on the image plane 62 of the other end point in the model edge and the three-dimensional point group Three-dimensional coordinates (u 12 , v 12 , w 12 ) are information associated with each model edge.
なお、本実施形態では、モデルエッジ情報によりモデルエッジを現すが、これに限らない。例えば、モデルエッジ情報そのものではなく、モデルエッジとの距離が所定の閾値よりも短い制御点の座標と、それらの制御点の画像平面上の座標と、のペアからなる集合を、モデルエッジを現すものとして用いても良い。 In the present embodiment, the model edge is represented by the model edge information, but the present invention is not limited to this. For example, instead of model edge information itself, a model edge is represented by a set of pairs of coordinates of control points whose distance from the model edge is shorter than a predetermined threshold and coordinates on the image plane of those control points. You may use as a thing.
画像エッジ抽出部４２は、入力された撮影画像からエッジ（以下、「画像エッジ」という。）を検出する。 The image edge extraction unit 42 detects an edge (hereinafter referred to as “image edge”) from the input captured image.
撮影画像から画像エッジを検出する手法としては、ハフ変換を用いる手法、確率的ハフ変換を用いる手法、ＬＳＤ（Line Segment Detector）を用いる手法（非特許文献６参照）等が例示され、これらの手法を状況に応じて利用すれば良い。なお、本実施形態では、ＬＳＤを用いる場合について説明する。 Examples of methods for detecting image edges from captured images include a method using Hough transform, a method using probabilistic Hough transform, a method using LSD (Line Segment Detector) (see Non-Patent Document 6), and the like. Can be used depending on the situation. In the present embodiment, a case where LSD is used will be described.
［参考文献６］LSD: A Fast Line Segment Detector with a False Detection Control, R. Grompone et al., IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 4, pp. 722-732, 2010. [Reference 6] LSD: A Fast Line Segment Detector with a False Detection Control, R. Grompone et al., IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 4, pp. 722-732, 2010.
画像エッジ抽出部４２は、検出された画像エッジの端点を表す２つの画像座標（ｘ，ｙ）及び（ｘ’，ｙ’）を画像エッジ情報として画像エッジ記憶部３６に記憶させる。 The image edge extraction unit 42 causes the image edge storage unit 36 to store two image coordinates (x, y) and (x ′, y ′) representing end points of the detected image edge as image edge information.
画像エッジ情報は、一例として図８に示すように、上述した各々の画像エッジを識別するための画像エッジ番号（Ｎｏ）、画像エッジにおける一方の端点の画像座標（ｘ，ｙ）、及び画像エッジにおける他方の端点の画像座標（ｘ’，ｙ’）が、画像エッジごとに対応付けられた情報である。 As shown in FIG. 8 as an example, the image edge information includes the image edge number (No) for identifying each of the image edges described above, the image coordinates (x, y) of one end point of the image edge, and the image edge. The image coordinates (x ′, y ′) of the other end point in are information associated with each image edge.
カメラ情報修正部４４は、画像エッジ記憶部３６に記憶されている画像エッジ情報と、モデルエッジ記憶部３５に記憶されているモデルエッジ情報とを画像平面上で表した場合の画像平面上でのズレ量を求める。また、カメラ情報修正部４４は、求めたズレ量が小さくなるようにモデルエッジの三次元座標情報を利用してカメラの位置姿勢情報を繰り返し更新する。 The camera information correction unit 44 displays the image edge information stored in the image edge storage unit 36 and the model edge information stored in the model edge storage unit 35 on the image plane. Obtain the amount of deviation. In addition, the camera information correction unit 44 repeatedly updates the position / orientation information of the camera using the three-dimensional coordinate information of the model edge so that the obtained shift amount becomes small.
位置姿勢情報を更新する際には、更新後のカメラの位置及び姿勢における、取得した位置姿勢情報によって示されるカメラの位置及び姿勢からの微小変化量をパラメータとして導入し、ズレ量に基づく誤差を減少させる微小変化量をガウス＝ニュートン法を用いて求める。また、求めた微小変化量を、位置姿勢情報に適用することによって、位置姿勢情報の更新を行う。 When updating the position and orientation information, a small change amount from the camera position and orientation indicated by the acquired position and orientation information in the updated camera position and orientation is introduced as a parameter, and an error based on the deviation amount is introduced. A small change amount to be reduced is obtained by using the Gauss-Newton method. Further, the position and orientation information is updated by applying the obtained minute change amount to the position and orientation information.
続いて、位置姿勢情報の更新量の具体的な計算法について説明する。 Next, a specific method for calculating the update amount of the position / orientation information will be described.
まず、モデルエッジ記憶部３５に記憶されている各モデルエッジについて、当該モデルエッジと、画像エッジ記憶部３６に記憶された各画像エッジとのズレ量を計算し、最もズレ量が小さい画像エッジを当該モデルエッジに対応付ける。 First, for each model edge stored in the model edge storage unit 35, the amount of shift between the model edge and each image edge stored in the image edge storage unit 36 is calculated, and the image edge with the smallest amount of shift is calculated. Associate with the model edge.
一例として図９に示すように、モデルエッジ記憶部３５に記憶されているモデルエッジＥｉ（ただし、１≦ｉ≦ＮＥ）の端点の座標を（ｘ１１，ｙ１１）及び（ｘ１２，ｙ１２）とし、画像エッジ記憶部３６に記憶されている画像エッジＦｊ（ただし、１≦ｊ≦ＮＦ）の端点の座標を（ｘ２１，ｙ２１）及び（ｘ２２，ｙ２２）とする。ただし、ＮＥはモデルエッジの総数であり、ＮＦは画像エッジの総数である。モデルエッジＥｉに直交する法線ベクトルｎＥｉと、画像エッジＦｊに直交する法線ベクトルｎＦｊを下記（４）式及び（５）式に従って計算する。 As an example, as shown in FIG. 9, the coordinates of the end points of the model edge E i (where 1 ≦ i ≦ N E ) stored in the model edge storage unit 35 are expressed as (x 11 , y 11 ) and (x 12 , y 12 ), and the coordinates of the end points of the image edge F j (where 1 ≦ j ≦ N F ) stored in the image edge storage unit 36 are (x 21 , y 21 ) and (x 22 , y 22 ). To do. However, N E is the total number of model edge, N F is the total number of image edge. A normal vector n Ei orthogonal to the model edge E i and a normal vector n Fj orthogonal to the image edge F j are calculated according to the following equations (4) and (5).
・・・（４）
... (4)
・・・（５）
... (5)
また、モデルエッジＥｉの中点ｍＥｉと画像エッジＦｊの中点ｍＦｊを表す２次元列ベクトルを下記（６）式及び（７）式に従って計算する。 Further, a two-dimensional column vector representing the midpoint m Ei of the model edge E i and the midpoint m Fj of the image edge F j is calculated according to the following formulas (6) and (7).
・・・（６）
... (6)
・・・（７）
... (7)
計算した法線ベクトルｎＥｉ、法線ベクトルｎＦｊ、中点ｍＥｉ、及び中点ｍＦｊを用いて、モデルエッジＥｉの画像エッジＦｊに対するズレ量ｅｉｊを下記（８）式に従って計算する。 Using the calculated normal vector n Ei , normal vector n Fj, midpoint m Ei , and midpoint m Fj , the shift amount e ij of the model edge E i with respect to the image edge F j is calculated according to the following equation (8). To do.
・・・（８）
... (8)
なお、上記（８）式におけるベクトル表記の上付き文字Ｔは、ベクトルの転置を表す。これは、図９が示すように、モデルエッジ及び画像エッジの法線のなす角度の一致度と、モデルエッジの中点ｍＥｉから画像エッジＦｊを含む直線に下した垂線の長さとの２つを、重みｗｅで重み付けを行って足し合わせたものである。 Note that the superscript T in vector notation in the above equation (8) represents transposition of a vector. As shown in FIG. 9, this is because the degree of coincidence between the normals of the model edge and the image edge and the length of the perpendicular line drawn from the midpoint m Ei of the model edge to the straight line including the image edge F j are 2 one the one in which the sum by weighting by the weight w e.
このように、上述した例では、モデルエッジ及び画像エッジのうちの一方のエッジの重心から他方のエッジを含む直線に下した垂線の長さと、モデルエッジ及び画像エッジの傾きの類似度と、を用いて、モデルエッジ及び画像エッジのズレ量を計算しているが、その他の方法としては、一方のエッジの２つの端点から他方のエッジへ下ろした２本の垂線の長さの和を用いる等の方法がある。 As described above, in the above-described example, the length of the perpendicular drawn from the center of gravity of one edge of the model edge and the image edge to the straight line including the other edge, and the similarity between the inclination of the model edge and the image edge, The amount of misalignment between the model edge and the image edge is calculated using other methods, but other methods include using the sum of the lengths of two perpendicular lines drawn from the two end points of one edge to the other edge, etc. There is a way.
また、モデルエッジ情報そのものではなく、モデルエッジとの距離が所定の閾値よりも短い制御点の座標と、それらの制御点の画像平面上の座標とのペアからなる集合を用いる場合は、各制御点の画像平面上の座標から画像エッジへ下した垂線の長さが最も短いエッジに、制御点を割り当て、モデルエッジと画像エッジとのズレ量を算出し、このズレ量がより小さくなるように位置姿勢情報を修正すれば良い。このとき、上記（８）式の右辺の第１項のみを用いるようにして上述した処理を修正すればよい。 In addition, when using a set of pairs of coordinates of control points whose distance to the model edge is shorter than a predetermined threshold and coordinates on the image plane, instead of the model edge information itself, each control Assign a control point to the edge with the shortest perpendicular line from the coordinates on the image plane to the image edge, calculate the amount of deviation between the model edge and the image edge, and make this amount of deviation smaller The position and orientation information may be corrected. At this time, it is only necessary to modify the above-described processing so as to use only the first term on the right side of the equation (8).
各モデルエッジＥｉについて、画像エッジ記憶部３６に記憶されている全ての画像エッジＦｊに対してこのズレ量ｅｉｊを計算し、ズレ量ｅｉｊの最小値をｅｉとすると共に、ズレ量ｅｉｊが最小となった画像エッジＦｊを画像エッジＦｋｉする。この場合、ズレ量ｅｉｊの最小値をｅｉと、ズレ量ｅｉｊが最小となった画像エッジＦｋｉとは、下記（９）式及び（１０）式に示すように表される。 For each model edge E i , this deviation amount e ij is calculated for all the image edges F j stored in the image edge storage unit 36, and the minimum value of the deviation amount e ij is set to e i. The image edge F j having the smallest amount e ij is set as the image edge F ki . In this case, the minimum value of the deviation e ij e i, and the image edge F ki amount of deviation e ij is minimized, is expressed as shown in the following equation (9) and (10).
・・・（９）
... (9)
・・・（１０）
(10)
このように定義された最小値ｅｉ及び画像エッジＦｋｉを用いて、カメラの位置及び姿勢を最適化するための誤差Ｄを下記（１１）式に示すように定義する。 Thus using the defined minimum value e i and image edge F ki, the error D for optimizing the position and orientation of the camera is defined as follows (11).
・・・（１１）
(11)
ここで、各最小値ｅｉに対して用いる重みｗｉを、円柱、角柱等の物体の形状のカテゴリ、ズレ量ｅｉｊの最小値ｅｉ、及び位置姿勢情報のパラメータの修正回数の少なくとも１つに基づき決定し、ズレ量ｅｉｊの最小値ｅｉに重み付けを行った状態で、位置姿勢情報を修正するようにしても良い。例えば、αを所与の定数とした場合に、ズレ量ｅｉｊの最小値ｅｉに基づいて、重みｗｉを下記（１２）式に示すように定義すると良い。 Here, the weight w i used for each minimum value e i is at least one of the category of the shape of an object such as a cylinder or a prism, the minimum value e i of the displacement e ij , and the number of corrections of the position and orientation information parameters. One determined based on, and in a state of performing weighting to a minimum value e i of the deviation e ij, may be correct the position and orientation information. For example, when α is a given constant, the weight w i may be defined as shown in the following equation (12) based on the minimum value e i of the deviation amount e ij .
・・・（１２）
(12)
また、位置姿勢情報のパラメータの修正回数を利用して重みｗｊを計算する方法としては、上記（１２）式において、ｔ回の修正回数で得られたズレ量ｅｉ ｔとし、（ｔ−１）回の修正回数で得られたズレ量ｅｉ ｔ−１として、上記（１２）式の定数αを、下記（１３）式に示す定数αｉに置き換えると良い。 In addition, as a method of calculating the weight w j by using the number of corrections of the position and orientation information parameters, in the above equation (12), the amount of deviation e i t obtained by t corrections is expressed as (t− as a deviation amount e i t-1 obtained in the number of corrections of 1) times, the constant alpha of the equation (12), may replace the constant alpha i shown in the following equation (13).
・・・（１３）
(13)
なお、重みｗｉを用いる場合には、以下の各式における最小値ｅｉをｗｉｅｉと置き換えると良い。 When the weight w i is used, the minimum value e i in each of the following expressions may be replaced with w i e i .
ここで、位置姿勢情報の変動を表すパラメータｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６を導入し、これらのパラメータｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６を用いて位置姿勢情報を下記（１４）式及び（１５）式に示すように修正する。 Here, parameters p 1 , p 2 , p 3 , p 4 , p 5 , p 6 representing changes in position and orientation information are introduced, and these parameters p 1 , p 2 , p 3 , p 4 , p 5 , The position and orientation information is corrected using p 6 as shown in the following equations (14) and (15).
・・・（１４）
(14)
・・・（１５）
... (15)
誤差Ｄを減少させるパラメータｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６をガウス＝ニュートン法によって求める（下記参考文献７参照）。 Parameters p 1 , p 2 , p 3 , p 4 , p 5 , and p 6 for reducing the error D are obtained by the Gauss-Newton method (see Reference 7 below).
［参考文献７］バンドルアジャストメント、岡谷貴之、研究報告コンピュータビジョンとイメージメディア（CVIM） 2009-CVIM-167(37), pp. 1-16, 2009. [Reference 7] Bundle Adjustment, Takayuki Okaya, Research Report Computer Vision and Image Media (CVIM) 2009-CVIM-167 (37), pp. 1-16, 2009.
ここでは、ガウス＝ニュートン法に基づく方法を用いた場合について説明するが、無論レベンバーグ＝マーカート法に代表されるニュートン法の派生アルゴリズム等、利用するアルゴリズムは他のアルゴリズムであっても良い。ガウス＝ニュートン法によって更新量を求めるには下記（１６）式及び（１７）式で示すベクトルｅ及びベクトルＪが必要である。 Here, a case where a method based on the Gauss-Newton method is used will be described. Of course, another algorithm may be used such as a Newton method derivation algorithm represented by the Levenberg-Markert method. In order to obtain the update amount by the Gauss-Newton method, the vectors e and J shown in the following equations (16) and (17) are required.
・・・（１６）
... (16)
・・・（１７）
... (17)
上記（１７）式で定義したＪの各要素を求めるに当たっては、最小値ｅｉに含まれるモデルエッジの端点がパラメータｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６から影響を受けることに注意する。モデルエッジの端点が画像座標(ｘ，ｙ)であり、これに対応するものとしてモデルエッジ記憶部３５に記憶された三次元座標が(ｕ，ｖ，ｗ)であるとき、透視投影変換によって(ｘ，ｙ)と(ｕ，ｖ，ｗ)は、下記（１８）式及び（１９）式に示すような関係を持つ。 In obtaining each element of J defined by the above equation (17), the end points of the model edge included in the minimum value e i are affected by the parameters p 1 , p 2 , p 3 , p 4 , p 5 , p 6. Be careful to receive. When the end point of the model edge is the image coordinate (x, y) and the three-dimensional coordinate stored in the model edge storage unit 35 corresponding to this is (u, v, w), the perspective projection conversion ( x, y) and (u, v, w) have the relationship shown in the following equations (18) and (19).
・・・（１８）
... (18)
・・・（１９）
... (19)
ここで、ｆｕ及びｆｖは、内部パラメータに含まれる画像の水平方向及び鉛直方向の軸に関する焦点距離を表し、ｃｕ及びｃｖは、内部パラメータに含まれる画像の水平方向及び鉛直方向のそれぞれの軸に関する画像座標の値を表す。上記（１８）式及び（１９）式と、ｅｉの定義式を用いてベクトルｅ及びベクトルＪを求めたら、下記（２０）式の方程式をパラメータｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６について解き、位置姿勢情報の修正量を求める。 Here, f u and f v represent the focal lengths related to the horizontal and vertical axes of the image included in the internal parameter, and c u and c v represent the horizontal and vertical directions of the image included in the internal parameter. Represents the value of the image coordinate for each axis. (18) and (19) and, when prompted vectors e and vector J using the definition equation of e i, the parameter p 1 to the following equations (20), p 2, p 3, p 4, Solve for p 5 and p 6 to determine the correction amount of the position and orientation information.
・・・（２０）
... (20)
以上のようにして求めたパラメータｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６を用いて、上記（１４）式及び上記（１５）式によって、カメラ情報記憶部３２に記憶された位置姿勢情報を修正する。更新した位置姿勢情報を用いて誤差Ｄを再度計算し、誤差が所定の値以下になるか、あるいは所定の回数だけ繰り返し位置姿勢情報の更新を行ったところで位置姿勢情報の更新を打ち切り、更新を終了した時点で、カメラ情報記憶部３２に記憶された位置姿勢情報を最終的な位置姿勢情報として出力する。 Using the parameters p 1 , p 2 , p 3 , p 4 , p 5 , and p 6 obtained as described above, the parameters are stored in the camera information storage unit 32 according to the above formulas (14) and (15). Correct the position and orientation information. The error D is calculated again using the updated position / orientation information, and when the error falls below a predetermined value or the position / orientation information is repeatedly updated a predetermined number of times, the updating of the position / orientation information is aborted and the update is performed. When the processing is completed, the position and orientation information stored in the camera information storage unit 32 is output as final position and orientation information.
次に、本発明の実施の形態に係るカメラ情報修正装置１００の作用について説明する。 Next, the operation of the camera information correction apparatus 100 according to the embodiment of the present invention will be described.
はじめに、モデル抽出ルーチンについて説明する。入力部１０において実世界のシーンに相当する三次元点群を示すデータの入力を受け付けて、受け付けられたデータを基礎データ記憶部３０に格納すると、カメラ情報修正装置１００は、図１０に示すモデル抽出ルーチンを実行する。 First, the model extraction routine will be described. When the input unit 10 receives input of data indicating a three-dimensional point group corresponding to a real-world scene and stores the received data in the basic data storage unit 30, the camera information correction apparatus 100 displays the model shown in FIG. 10. Run the extraction routine.
なお、本実施形態では、モデル抽出ルーチンのプログラムは予めＲＯＭに記憶されているが、これに限らない。例えば、当該プログラムは、外部装置から受信して実行されても良い。また、ＣＤ−ＲＯＭ等の記録媒体に記録された当該プログラムがＣＤ−ＲＯＭドライブ等で読み込まれることにより、モデル抽出ルーチンが実行されるようにしてもよい。 In the present embodiment, the model extraction routine program is stored in the ROM in advance, but is not limited thereto. For example, the program may be received from an external device and executed. Further, the model extraction routine may be executed by reading the program recorded on a recording medium such as a CD-ROM with a CD-ROM drive or the like.
ステップＳ１００では、物体抽出部２４が、合わせこみに利用する物体を抽出し、抽出したＮ個の物体をそれぞれ三次元座標の集合として三次元物体記憶部３３に記憶させる。 In step S100, the object extraction unit 24 extracts an object used for fitting, and stores the extracted N objects in the three-dimensional object storage unit 33 as a set of three-dimensional coordinates.
ステップＳ１０２では、物体復元部２６が、三次元物体記憶部３３に記憶されているＮ個の物体のそれぞれについて、物体を分割する必要がある場合には、物体を複数の部分に分割し、物体全体あるいは物体の分割された部分に対して、適切に復元しうる物体を当てはめることによって復元された物体全体あるいは物体の分割された部分の形状を、復元モデル記憶部３４に記憶させ、本モデル抽出ルーチンの実行を終了する。 In step S102, when the object restoration unit 26 needs to divide the object for each of the N objects stored in the three-dimensional object storage unit 33, the object restoration unit 26 divides the object into a plurality of parts. The whole model or the divided part of the object is stored in the restoration model storage unit 34 by storing the whole object or the shape of the divided part of the object by applying an object that can be restored appropriately. Ends routine execution.
次に、合わせこみルーチンについて説明する。入力部１０により、シーンにおいてカメラにより撮影された撮影画像と、この撮影画像を撮影した際のカメラの位置及び姿勢を表す位置姿勢情報、及びカメラの内部パラメータと、を受け付けて、撮影画像が画像データ記憶部３１に記憶され、位置姿勢情報とカメラの内部パラメータとがカメラ情報記憶部３２に記憶されると、カメラ情報修正装置１００は、図１１に示す合わせこみルーチンを実行する。 Next, the fitting routine will be described. The input unit 10 receives a captured image captured by the camera in the scene, position and orientation information indicating the position and orientation of the camera when the captured image is captured, and internal parameters of the camera, and the captured image is an image. When stored in the data storage unit 31 and the position / orientation information and the internal parameters of the camera are stored in the camera information storage unit 32, the camera information correction apparatus 100 executes a fitting routine shown in FIG.
なお、本実施形態では、合わせこみルーチンのプログラムは予めＲＯＭに記憶されているが、これに限らない。例えば、当該プログラムは、外部装置から受信して実行されても良い。また、ＣＤ−ＲＯＭ等の記録媒体に記録された当該プログラムがＣＤ−ＲＯＭドライブ等で読み込まれることにより、合わせこみルーチンが実行されるようにしてもよい。 In this embodiment, the program for the fitting routine is stored in the ROM in advance, but the present invention is not limited to this. For example, the program may be received from an external device and executed. Further, the matching routine may be executed by reading the program recorded on a recording medium such as a CD-ROM with a CD-ROM drive or the like.
ステップＳ２００では、画像エッジ抽出部４２が、画像データ記憶部３１に記憶されている撮影画像を示す画像情報から画像エッジを抽出し、抽出した情報を画像エッジ記憶部３６に記憶させる。 In step S <b> 200, the image edge extraction unit 42 extracts an image edge from the image information indicating the captured image stored in the image data storage unit 31, and stores the extracted information in the image edge storage unit 36.
ステップＳ２０２では、モデルエッジ抽出部４０が、復元モデル記憶部３４に記憶されているモデルを、カメラ情報記憶部３２に記憶されているカメラの内部パラメータと位置姿勢情報に基づいて画像平面上へ透視投影を行い、モデルの輪郭に相当するエッジを抽出し、抽出した情報をモデルエッジ記憶部３５に記憶させる。 In step S202, the model edge extraction unit 40 sees the model stored in the restoration model storage unit 34 on the image plane based on the internal parameters and position / orientation information of the camera stored in the camera information storage unit 32. Projection is performed, an edge corresponding to the contour of the model is extracted, and the extracted information is stored in the model edge storage unit 35.
ステップＳ２０４では、カメラ情報修正部４４が、モデルエッジ記憶部３５に記憶されているモデルエッジと、画像エッジ記憶部３６に記憶されている画像エッジとを比較し、最もズレ量が小さい画像エッジとのズレ量を算出し、上記（１１）で定義された誤差Ｄを計算する。 In step S204, the camera information correction unit 44 compares the model edge stored in the model edge storage unit 35 with the image edge stored in the image edge storage unit 36, and determines the image edge having the smallest deviation amount. Is calculated, and the error D defined in (11) above is calculated.
ステップＳ２０６では、カメラ情報修正部４４が、誤差Ｄの値が予め定めた閾値以下であるか否かを判定する。ステップＳ２０６で誤差Ｄの値が予め定めた閾値以下であると判定した場合（Ｓ２０６，Ｙ）はステップＳ２１２に移行する。また、ステップＳ２０６で誤差Ｄの値が予め定めた閾値以下でないと判定した場合（Ｓ２０６，Ｎ）はステップＳ２０８に移行する。 In step S206, the camera information correction unit 44 determines whether or not the value of the error D is equal to or less than a predetermined threshold value. If it is determined in step S206 that the value of the error D is equal to or less than a predetermined threshold value (S206, Y), the process proceeds to step S212. On the other hand, if it is determined in step S206 that the value of the error D is not less than or equal to a predetermined threshold value (S206, N), the process proceeds to step S208.
ステップＳ２０８では、カメラ情報修正部４４が、最もズレ量が小さい画像エッジとのズレ量に基づいて、ガウス＝ニュートン法を利用して位置姿勢情報の修正量を求め、カメラ情報記憶部３２に記憶された位置姿勢情報へ反映させる。 In step S <b> 208, the camera information correction unit 44 obtains the correction amount of the position / orientation information using the Gauss-Newton method based on the shift amount from the image edge having the smallest shift amount, and stores it in the camera information storage unit 32. Reflected in the position and orientation information.
ステップＳ２１０では、カメラ情報修正部４４が、位置姿勢情報の修正回数が予め定めた回数に到達したか否かを判定する。ステップＳ２１０で位置姿勢情報の修正回数が予め定めた回数に到達したと判定した場合（Ｓ２１０，Ｙ）はステップＳ２１２に移行する。また、ステップＳ２１０で位置姿勢情報の修正回数が予め定めた回数に到達していないと判定した場合（Ｓ２１０，Ｎ）はステップＳ２０２に移行し、再度、位置姿勢情報の修正を行う。 In step S210, the camera information correction unit 44 determines whether or not the number of corrections of the position and orientation information has reached a predetermined number. If it is determined in step S210 that the number of corrections of the position / orientation information has reached a predetermined number (S210, Y), the process proceeds to step S212. If it is determined in step S210 that the number of corrections of the position / orientation information has not reached the predetermined number (S210, N), the process proceeds to step S202, and the position / orientation information is corrected again.
ステップＳ２１２では、カメラ情報修正部４４が、カメラ情報記憶部３２に記憶されている位置姿勢情報を最終的な結果として出力部５０に出力して、本合わせこみルーチンの実行を終了する。 In step S212, the camera information correction unit 44 outputs the position / orientation information stored in the camera information storage unit 32 to the output unit 50 as a final result, and ends the execution of the main matching routine.
以上説明したように、本実施形態に係るカメラ情報修正装置１００では、実世界のシーンを表す三次元点群から物体が抽出されると共に、抽出された物体の欠損部分が修復される。また、本実施形態に係るカメラ情報修正装置１００では、シーン内で撮影された撮影画像から画像エッジが抽出され、シーン内で撮影画像を撮影した際のカメラの位置及び姿勢を示す位置姿勢情報を用いて、復元された物体に対して透視投影を行い物体の輪郭に相当するモデルエッジが抽出され、抽出された画像エッジと、抽出されたモデルエッジとのズレ量に応じて位置姿勢情報が修正される。 As described above, in the camera information correction apparatus 100 according to the present embodiment, an object is extracted from a three-dimensional point group representing a real-world scene, and a missing portion of the extracted object is repaired. In addition, in the camera information correction apparatus 100 according to the present embodiment, image edge is extracted from the captured image captured in the scene, and position and orientation information indicating the position and orientation of the camera when the captured image is captured in the scene is obtained. The model edge corresponding to the contour of the object is extracted by performing perspective projection on the restored object, and the position and orientation information is corrected according to the amount of deviation between the extracted image edge and the extracted model edge. Is done.
これにより、カメラで画像を撮影した際のカメラの位置及び姿勢を精度良く推定することができる。 Thereby, it is possible to accurately estimate the position and orientation of the camera when an image is captured by the camera.
以上、本実施形態について図面を参照して詳細に説明したが、具体的な構成は本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the present embodiment has been described in detail with reference to the drawings, the specific configuration is not limited to the present embodiment, and includes design and the like within the scope not departing from the gist of the present invention.
また、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、カメラ情報修正装置１００として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。 Further, in the present embodiment, the operation of the components of the functions shown in FIG. 1 is constructed as a program, and is installed and executed on a computer used as the camera information correction apparatus 100. It may be distributed.
また、構築されたプログラムをハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。 Further, the constructed program may be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and installed in a computer or distributed.
１０ 入力部
２０ 演算部
２２ 前処理部
２４ 物体抽出部
２６ 物体復元部
３０ 基礎データ記憶部
３１ 画像データ記憶部
３２ カメラ情報記憶部
３３ 三次元物体記憶部
３４ 復元モデル記憶部
３５ モデルエッジ記憶部
３６ 画像エッジ記憶部
４０ モデルエッジ抽出部
４２ 画像エッジ抽出部
４４ カメラ情報修正部
５０ 出力部
１００ 物体特定装置
DESCRIPTION OF SYMBOLS 10 Input part 20 Calculation part 22 Preprocessing part 24 Object extraction part 26 Object restoration part 30 Basic data storage part 31 Image data storage part 32 Camera information storage part 33 Three-dimensional object storage part 34 Restoration model storage part 35 Model edge storage part 36 Image edge storage unit 40 Model edge extraction unit 42 Image edge extraction unit 44 Camera information correction unit 50 Output unit 100 Object identification device
Claims (7)
前記シーン内で撮影された撮影画像から画像エッジＦｊを抽出する画像エッジ抽出部と、
前記シーン内で撮影画像を撮影した際のカメラの位置及び姿勢を示す位置姿勢情報を用いて、前記物体抽出部により抽出された前記物体に対して透視投影を行い物体の輪郭に相当するモデルエッジＥｉを抽出するモデルエッジ抽出部と、
前記モデルエッジＥｉの各々について、前記画像エッジＦｊとのズレ量ｅｉｊを計算しズレ量ｅｉｊの最小値ｅｉを求め、前記モデルエッジＥｉの最小値ｅｉから誤差Ｄを計算し、前記誤差Ｄを減少させるように前記位置姿勢情報を修正するカメラ情報修正部と、
を含むカメラ情報修正装置。 An object extraction unit that extracts an object from a three-dimensional point cloud representing a real-world scene;
An image edge extraction unit that extracts an image edge F j from a captured image captured in the scene;
A model edge corresponding to the contour of an object by performing perspective projection on the object extracted by the object extraction unit using position and orientation information indicating the position and orientation of the camera when the captured image is captured in the scene A model edge extraction unit for extracting E i ;
For each model edge E i , a deviation amount e ij from the image edge F j is calculated to obtain a minimum value e i of the deviation amount e ij , and an error D is calculated from the minimum value e i of the model edge E i. A camera information correction unit that corrects the position and orientation information so as to reduce the error D;
Including a camera information correction device.
請求項１記載のカメラ情報修正装置。 The camera information adjustment unit, based on at least one of the number of corrections of the minimum e i and the position and orientation information performs weighting to the minimum value e i, camera information modification apparatus according to claim 1, wherein calculating the error D .
前記誤差Ｄを減少させる微小変化量をガウス＝ニュートン法を用いて求め、求めた微小変化量を前記位置姿勢情報に適用することによって、前記位置姿勢情報を修正する
請求項１または請求項２項記載のカメラ情報修正装置。 The camera information correction unit corrects the position and orientation information by obtaining a minute change amount that reduces the error D using a Gauss-Newton method and applying the obtained minute change amount to the position and orientation information. The camera information correction apparatus according to claim 1 or 2.
前記物体抽出部が、実世界のシーンを表す三次元点群から物体を抽出するステップと、
前記画像エッジ抽出部が、前記シーン内で撮影された撮影画像から画像エッジＦｊを抽出するステップと、
前記モデルエッジ抽出部が、前記シーン内で撮影画像を撮影した際のカメラの位置及び姿勢を示す位置姿勢情報を用いて、前記物体抽出部により抽出された前記物体に対して透視投影を行い物体の輪郭に相当するモデルエッジＥｉを抽出するステップと、
前記カメラ情報修正部が、前記モデルエッジＥｉの各々について、前記画像エッジＦｊとのズレ量ｅｉｊを計算しズレ量ｅｉｊの最小値ｅｉを求め、前記モデルエッジＥｉの最小値ｅｉから誤差Ｄを計算し、前記誤差Ｄを減少させるように前記位置姿勢情報を修正するステップと、
を行うカメラ情報修正方法。 A camera information correction method in a camera information correction apparatus including an object extraction unit, an image edge extraction unit, a model edge extraction unit, and a camera information correction unit,
The object extraction unit extracting an object from a three-dimensional point cloud representing a real-world scene;
The image edge extraction unit extracting an image edge F j from a captured image captured in the scene;
The model edge extraction unit performs perspective projection on the object extracted by the object extraction unit using position and orientation information indicating the position and orientation of the camera when the captured image is captured in the scene. Extracting a model edge E i corresponding to the contour of
The camera information correction unit for each of the model edge E i, the image edge F j the deviation e ij and calculates determining the minimum value e i of the deviation e ij, the minimum value of the model edge E i a step of e i the error D is calculated to correct the position and orientation information to reduce the error D,
How to correct camera information.
請求項４記載のカメラ情報修正方法。 The camera information adjustment unit, based on at least one of the number of corrections of the minimum e i and the position and orientation information performs weighting to the minimum value e i, camera information correcting method according to claim 4, wherein calculating the error D .
前記誤差Ｄを減少させる微小変化量をガウス＝ニュートン法を用いて求め、求めた微小変化量を前記位置姿勢情報に適用することによって、前記位置姿勢情報を修正する
請求項４または請求項５項記載のカメラ情報修正方法。 The camera information correction unit corrects the position and orientation information by obtaining a minute change amount that reduces the error D using a Gauss-Newton method and applying the obtained minute change amount to the position and orientation information. The camera information correction method according to claim 4 or 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019137814A JP2019192299A (en) | 2019-07-26 | 2019-07-26 | Camera information correction device, camera information correction method, and camera information correction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019137814A JP2019192299A (en) | 2019-07-26 | 2019-07-26 | Camera information correction device, camera information correction method, and camera information correction program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016206075A Division JP6636894B2 (en) | 2016-10-20 | 2016-10-20 | Camera information correction device, camera information correction method, and camera information correction program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019192299A true JP2019192299A (en) | 2019-10-31 |
Family
ID=68390572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019137814A Pending JP2019192299A (en) | 2019-07-26 | 2019-07-26 | Camera information correction device, camera information correction method, and camera information correction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019192299A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022032114A (en) * | 2020-08-11 | 2022-02-25 | トヨタ自動車株式会社 | Calibration system, calibration method, and calibration program |
| WO2023173727A1 (en) * | 2022-03-16 | 2023-09-21 | 北京字跳网络技术有限公司 | Image processing method and apparatus, and electronic device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008046750A (en) * | 2006-08-11 | 2008-02-28 | Canon Inc | Image processor and image processing method |
| JP2010279023A (en) * | 2009-04-30 | 2010-12-09 | Canon Inc | Information processing apparatus and control method thereof |
| JP2011174879A (en) * | 2010-02-25 | 2011-09-08 | Canon Inc | Apparatus and method of estimating position and orientation |
| JP2014153336A (en) * | 2013-02-13 | 2014-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Point group analysis processing device and point group analysis processing program |
-
2019
- 2019-07-26 JP JP2019137814A patent/JP2019192299A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008046750A (en) * | 2006-08-11 | 2008-02-28 | Canon Inc | Image processor and image processing method |
| JP2010279023A (en) * | 2009-04-30 | 2010-12-09 | Canon Inc | Information processing apparatus and control method thereof |
| JP2011174879A (en) * | 2010-02-25 | 2011-09-08 | Canon Inc | Apparatus and method of estimating position and orientation |
| JP2014153336A (en) * | 2013-02-13 | 2014-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Point group analysis processing device and point group analysis processing program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022032114A (en) * | 2020-08-11 | 2022-02-25 | トヨタ自動車株式会社 | Calibration system, calibration method, and calibration program |
| JP7314878B2 (en) | 2020-08-11 | 2023-07-26 | トヨタ自動車株式会社 | CALIBRATION SYSTEM, CALIBRATION METHOD AND CALIBRATION PROGRAM |
| WO2023173727A1 (en) * | 2022-03-16 | 2023-09-21 | 北京字跳网络技术有限公司 | Image processing method and apparatus, and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11450063B2 (en) | Method and apparatus for training object detection model | |
| JP6636894B2 (en) | Camera information correction device, camera information correction method, and camera information correction program | |
| US8792726B2 (en) | Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus | |
| US10636168B2 (en) | Image processing apparatus, method, and program | |
| JP5406705B2 (en) | Data correction apparatus and method | |
| US10311595B2 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
| US20120155751A1 (en) | Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system | |
| EP3633606B1 (en) | Information processing device, information processing method, and program | |
| JP2016179534A (en) | Information processor, information processing method, program | |
| JP2019114103A (en) | Object recognition processing device, object recognition processing method and program | |
| US20150371396A1 (en) | Constructing a 3d structure | |
| CN113705669A (en) | Data matching method and device, electronic equipment and storage medium | |
| CN114255323A (en) | Robot, map construction method, map construction device and readable storage medium | |
| JP2019192299A (en) | Camera information correction device, camera information correction method, and camera information correction program | |
| CN114981845A (en) | Image scanning method and device, equipment and storage medium | |
| JP6692321B2 (en) | Geometric fitting device, method, and program | |
| JP7298687B2 (en) | Object recognition device and object recognition method | |
| EP4187483A1 (en) | Apparatus and method with image processing | |
| Bracci et al. | Challenges in fusion of heterogeneous point clouds | |
| Kim et al. | Mesh modelling of 3D point cloud from UAV images by point classification and geometric constraints | |
| US12056942B2 (en) | Method and system for processing an image by determining rotation hypotheses | |
| JP6260533B2 (en) | Position / orientation estimation apparatus, position / orientation estimation method, and position / orientation estimation program | |
| JP3300092B2 (en) | Image feature extraction device | |
| JP7487266B2 (en) | Image processing device, image processing method, and program | |
| US20230410368A1 (en) | Method for learning network parameter of neural network, method for calculating camera parameter, and computer-readable recording medium recording a program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201013 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210202 |