JP2017191022A - Method for imparting actual dimension to three-dimensional point group data, and position measurement of duct or the like using the same - Google Patents
Method for imparting actual dimension to three-dimensional point group data, and position measurement of duct or the like using the same Download PDFInfo
- Publication number
- JP2017191022A JP2017191022A JP2016080882A JP2016080882A JP2017191022A JP 2017191022 A JP2017191022 A JP 2017191022A JP 2016080882 A JP2016080882 A JP 2016080882A JP 2016080882 A JP2016080882 A JP 2016080882A JP 2017191022 A JP2017191022 A JP 2017191022A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- imu
- acceleration
- relative position
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005259 measurement Methods 0.000 title abstract description 20
- 230000001133 acceleration Effects 0.000 claims abstract description 62
- 230000004069 differentiation Effects 0.000 claims abstract description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 6
- 239000003381 stabilizer Substances 0.000 description 6
- 238000012417 linear regression Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 208000036829 Device dislocation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- LFYJSSARVMHQJB-QIXNEVBVSA-N bakuchiol Chemical compound CC(C)=CCC[C@@](C)(C=C)\C=C\C1=CC=C(O)C=C1 LFYJSSARVMHQJB-QIXNEVBVSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
Abstract
Description
本発明は走行体にカメラと慣性装置を取り付け、視角を異にする複数の写真から得られた三次元点群情報に、実寸法を付与する技術及びそれを用いた管路等の位置測定に関する。 The present invention relates to a technique for attaching an actual device to a three-dimensional point cloud information obtained from a plurality of photographs having different viewing angles by attaching a camera and an inertia device to a traveling body, and a position measurement of a pipe or the like using the technology. .
三次元点群情報は、Structure from Motion（以下SfMと略称する。）という手法で得ることができる。この手法は、あるシーンをカメラの視点を変えながら撮影した複数枚の画像からそのシーンの３次元形状とカメラの位置を同時に復元する手法である。この技術は、得られるシーンの３次元形状に着目すればコンピュータビジョンにおける形状復元問題の１つの解法であり、一方カメラの位置推定に着目すればロボットビジョンにおける自己位置推定手法と捉えることもできる。このように、SfMは応用範囲の広い基本的かつ重要な技術として注目されている。SfMの一般的な処理手順は、まず対象となるシーンを撮影した複数枚の画像に対して特徴点を抽出し、画像間でその特徴点群の対応関係を獲得し、次にその対応関係を記述した行列を生成し、それを因子分解することで各特徴点の３次元座標とカメラ位置を推定するというものである。しかし、この三次元点群情報は相似形のものを算出するため被写体の形状情報が得られるが、そのままでは実寸法や地球座標上の絶対位置情報は分からない。 The three-dimensional point cloud information can be obtained by a technique called Structure from Motion (hereinafter abbreviated as SfM). This method is a method for simultaneously restoring the three-dimensional shape of the scene and the position of the camera from a plurality of images taken while changing the viewpoint of the camera. This technique is one solution to the shape restoration problem in computer vision if paying attention to the three-dimensional shape of the obtained scene, while it can also be regarded as a self-position estimation method in robot vision if attention is paid to the position estimation of the camera. Thus, SfM is attracting attention as a basic and important technology with a wide range of applications. The general processing procedure of SfM is to first extract feature points from multiple images taken from the target scene, acquire the correspondence of the feature points between the images, and then determine the correspondence. The described matrix is generated, and the three-dimensional coordinates and the camera position of each feature point are estimated by factorizing the matrix. However, since the three-dimensional point cloud information calculates a similar shape, the shape information of the subject can be obtained, but the actual dimensions and the absolute position information on the earth coordinates are not known as they are.
上記したSfMによる点群情報に実寸法や地球座標上の絶対位置情報を付与する手法として、GNSSすなわち、"Global Navigation Satellite System(s)"「全地球航法衛星システム」から得られる情報を用いることがよく知られている。点群データの複数の特定点の位置情報をGNSSによって得、地球座標位置と関係付けを行うのである。しかし、衛星からの電波の届かない場所ではこの手法は採用できないため、そのような条件下では慣性装置（Inertial Measurement Unit：以下IMUと略称する。）によって実寸法を付与する方法も知られている。この慣性装置とは加速度計とジャイロを備えたものであって、加速度は速度の変化率であり、物が動くところには必ず発生する。この加速度を１階積分すると速度、もう１回積分すると距離になる。そこで、加速度計を水平（Ｘ,Ｙ）・垂直（Ｚ）の３軸に配置し、その出力を２階積分することで各軸の出発点からの移動距離（位置）を知ることができる。移動中の軸の傾きはジャイロにより計測する。ジャイロも加速度計と同様に３軸に配置し、出力される角速度を１回積分することで各軸の傾き（姿勢角）を知ることができる。ところが、このIMU手法には時間累積に伴いドリフト誤差が積算され大きくなるという問題点がある。 Use the information obtained from GNSS, that is, "Global Navigation Satellite System (s)", "Global Navigation Satellite System", as a method to give the actual size and absolute position information on the earth coordinates to the point cloud information by SfM. Is well known. The position information of multiple specific points in the point cloud data is obtained by GNSS and related to the earth coordinate position. However, since this method cannot be used in places where radio waves from satellites do not reach, there is also known a method for assigning actual dimensions using an inertial measurement unit (Inertial Measurement Unit: hereinafter referred to as IMU) under such conditions. . This inertial device is equipped with an accelerometer and a gyro, and acceleration is a rate of change of speed, and is always generated where an object moves. When this acceleration is integrated on the first floor, the speed is obtained. When the acceleration is integrated once again, the distance is obtained. Therefore, the accelerometers are arranged on the three axes (horizontal (X, Y) and vertical (Z)), and the movement distance (position) from the starting point of each axis can be known by integrating the outputs two-dimensionally. The inclination of the moving axis is measured by a gyro. As with the accelerometer, the gyro is arranged on three axes, and the inclination (posture angle) of each axis can be known by integrating the output angular velocity once. However, this IMU method has a problem that drift errors are integrated and accumulated with time accumulation.
それは加速度から距離や角度を求めるには時間による積分を行う必要があり、長時間の計測となるほどにドリフトが増してしまうという現象に起因するもので、最終的に実寸法に一致せず破綻してしまう。このドリフトを補正する方法として、GNSS を用いる方法があるが、それは複数のGNSS アンテナを移動体に搭載して、その基線ベクトルによる姿勢決定方法や角速度を使用せずに、GNSS とクォータニオンの誤差ベクトルから Wahba's problem によって姿勢を決定する方法がある。GNSS を用いない方法としては、停止時のIMUの計測速度０ｍ/ｓを利用して蓄積した誤差分をオフセットするZUPT処理法がある。しかしこの方法には、頻繁に速度０ｍ/ｓとなる停止区間を設けることが必要となり、この方法は実用的ではない。 In order to find the distance and angle from the acceleration, it is necessary to perform integration over time, and it is caused by the phenomenon that the drift increases as the measurement takes a long time. End up. As a method of correcting this drift, there is a method using GNSS, but it is possible to install multiple GNSS antennas on a moving object, and without using the attitude determination method or angular velocity by the baseline vector, the error vector of GNSS and quaternion There is a way to determine posture from Wahba's problem. As a method that does not use GNSS, there is a ZUPT processing method that offsets the accumulated error by using the IMU measurement speed of 0 m / s when stopped. However, in this method, it is necessary to provide a stop section where the speed is frequently 0 m / s, and this method is not practical.
また、動画映像をビデオ撮影するカメラのカメラ位置とカメラ方向を算出して、そのカメラ位置情報に基づいて任意の対象物の位置情報を取得する画像処理演算装置に関する手法が特許文献１に提示されている。この文献にはカメラが移動することによる画像の動きから、カメラの三次元位置との３軸回転姿勢を演算で求めるＣＶ（カメラベクトル）、すなわち計測のための映像を取得したカメラの三次元位置と３軸回転姿勢を示す値を演算する技術が開発されているが、このＣＶ演算で求められたＣＶ値は、取得された映像のカメラ位置を示すものであり、映像内での三次元計測が可能となるという優れた特性を持ち、GPSと比較して高精度な位置情報の取得が可能であった。ただ、ＣＶ値は絶対値ではなく相対値であるためにスケールが変化し、距離を重ねるにつれて誤差が蓄積するという特性もあったと、この文献は問題認識を示している。このドリフト誤差の補正法として、カメラ画像、GPS位置情報、IMUデータを用いた補正法が開示されている。GPSにより、車輌の絶対座標が計算で求められ、またIMUのデータが取得されることで、車輌の３軸絶対回転量が計算により得られることになる。ただ、GPSとIMUによるそれぞれのデータの精度は低いので、それを二台の広角カメラによるＣＶ値で補正することになる。また、GPSは、長時間かけてその静止位置を求めることにより、精度の高い位置関係を求めることができると説明されている。
しかしこの方法は、GPSすなわち、衛星電波による情報が必須であり、トンネル内や管路内、施設内といった電波の届かない場所では適用できない。
Further, Patent Document 1 presents a technique related to an image processing arithmetic device that calculates a camera position and a camera direction of a camera that shoots a moving image and acquires position information of an arbitrary object based on the camera position information. ing. This document describes a CV (camera vector) for calculating a three-axis rotational attitude with respect to the three-dimensional position of the camera from the movement of the image by the movement of the camera, that is, the three-dimensional position of the camera that has acquired the video for measurement. And a technique for calculating a value indicating the three-axis rotation posture has been developed. The CV value obtained by this CV calculation indicates the camera position of the acquired image, and is a three-dimensional measurement in the image. It has an excellent characteristic that it is possible to obtain position information with higher accuracy than GPS. However, since the CV value is not an absolute value but a relative value, the scale changes, and the error accumulates as the distance increases. As a correction method for this drift error, a correction method using a camera image, GPS position information, and IMU data is disclosed. By calculating the absolute coordinates of the vehicle by GPS and acquiring IMU data, the three-axis absolute rotation amount of the vehicle can be obtained by calculation. However, since the accuracy of each data by GPS and IMU is low, it is corrected by the CV value by two wide angle cameras. Further, it is described that GPS can obtain a highly accurate positional relationship by obtaining its stationary position over a long period of time.
However, this method requires GPS, that is, information by satellite radio waves, and cannot be applied in places where radio waves do not reach, such as in tunnels, pipelines, and facilities.
また、複数画像から得られる三次元点群データに実寸法を与える技術として、特許文献２が提示されている。この文献は三次元点群情報に、実寸法を付与する技術として安価な構成で、しかも簡便に自己位置が特定でき、更に３次元点群モデルの作成が可能な計測装置を提供することを目的としたもので、全方位カメラで撮像した時の絶対位置を求める為の絶対スケールを取得する手段として、前記全方位カメラが取得した画像から既知の長さを示す絶対スケール対象物を抽出し、該絶対スケール対象物から画像中の実寸法を求める手法が開示されている。その具体的手段として、所定の位置に設けられるトータルステーション、前記全方位カメラと一体に設けられるプリズムとを設置し、前記トータルステーションが前記プリズムの位置を測定することで前記絶対スケールを取得する計測装置に係るものである。この方法は衛星電波の届かない場所でも適用できるが、画像中の複数位置をトータルステーションで計測する必要があり、管路内等狭い場所での実施は難しい。 Further, Patent Document 2 is presented as a technique for giving actual dimensions to three-dimensional point cloud data obtained from a plurality of images. The purpose of this document is to provide a measuring device that is inexpensive as a technique for assigning actual dimensions to three-dimensional point cloud information, that can easily identify its own position, and that can create a three-dimensional point cloud model. As a means for obtaining an absolute scale for obtaining an absolute position when imaged with an omnidirectional camera, an absolute scale object indicating a known length is extracted from the image obtained by the omnidirectional camera, A method for obtaining an actual dimension in an image from the absolute scale object is disclosed. As a specific means thereof, a total station provided at a predetermined position and a prism provided integrally with the omnidirectional camera are installed, and the total station acquires the absolute scale by measuring the position of the prism. It is concerned. Although this method can be applied even in places where satellite radio waves do not reach, it is necessary to measure a plurality of positions in the image with a total station, and implementation in a narrow place such as a pipeline is difficult.
本発明の課題は、SfMによる点群情報にIMUを用いて実寸法を付与するものにおいて、時間軸に対してドリフトの発生しない新しい手法を提供すること、また、その手法を用いGNSSに依存しない、かつ狭い場所でも実施できる位置測定システムを提供することにある。 The object of the present invention is to provide a new method that does not cause drift with respect to the time axis in the case of assigning actual dimensions to point cloud information by SfM using IMU, and does not depend on GNSS by using this method Another object of the present invention is to provide a position measurement system that can be implemented in a small place.
本発明の三次元点群データに実寸法を付与する方法は、カメラとIMUを相対位置が固定された形態で設置し、移動に伴う該カメラによる動画撮影とIMUによる加速度の計測を行い、撮影した動画はフレーム毎に静止画として書き出し、撮影された画像をSfMで解析してカメラの自己相対位置を求め、該カメラの自己相対位置を２階微分してカメラの加速度を求め、該カメラの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記カメラの自己相対位置に該スケール係数をかけるものとした。 The method for assigning actual dimensions to the three-dimensional point cloud data of the present invention is to install a camera and an IMU in a form in which the relative positions are fixed, perform moving image shooting with the camera and measurement of acceleration by the IMU as the camera moves. The captured video is written out as a still image for each frame, the captured image is analyzed by SfM to determine the camera's self-relative position, the camera's self-relative position is second-order differentiated to determine the camera's acceleration, The scale factor is obtained by synchronizing the acceleration and the acceleration information obtained from the IMU, and the scale factor is applied to the self-relative position of the camera.
本発明の三次元点群データに実寸法を付与する方法は、前記移動は加速度の増減を繰り返しながら計測を行うことを特徴とする請求項１に記載の三次元点群データに実寸法を付与する方法。 2. The method for assigning actual dimensions to the three-dimensional point cloud data according to claim 1, wherein the movement is measured while repeatedly increasing or decreasing acceleration. how to.
本発明の位置測定方法は、カメラとIMUを相対位置が固定された形態は走行体上の設置であって、移動は走行体によって対象領域内を走行させ、上記の方法によって得た前記カメラの位置情報から対象物の位置を把握するものとした。 In the position measuring method of the present invention, the camera and the IMU are fixed on the traveling body in a fixed relative position, and the traveling is performed in the target area by the traveling body, and the camera obtained by the above method is used. The position of the object is grasped from the position information.
本発明の三次元点群データに実寸法を付与する方法は、加速度データを２階積分することなく、計測データをそのままカメラの加速度と比較するものであるから、従来のIMUによるものに比較してドリフト誤差は極めて小さいものとなる。
本発明の同期方法により、従来必要であった同期装置を用いることなくカメラとIMUの同期を行うことを可能とした。
本発明の計測方法は適度な加減速を得ていれば、従来の慣性測量の様に途中で静止をする必要がないため、実用性が高い。
この手法はドリフト現象が欠点である慣性測量での測位精度向上にも寄与するものである。
The method of assigning actual dimensions to the 3D point cloud data of the present invention compares the measured data directly with the acceleration of the camera without performing the second-order integration of the acceleration data. Therefore, the drift error is extremely small.
The synchronization method of the present invention makes it possible to synchronize the camera and the IMU without using a synchronization device that has conventionally been required.
The measurement method of the present invention is highly practical because it does not need to be stopped midway as in the conventional inertial survey as long as appropriate acceleration / deceleration is obtained.
This technique also contributes to the improvement of positioning accuracy in inertial surveying where the drift phenomenon is a drawback.
以下、本発明の実施の形態について、詳細に説明する。本発明者らは衛星電波の使えない場所、例えば地中に埋設された管路等の位置測定などに、視点を異にする複数写真から得られる三次元点群情報を用い、これに絶対スケールを付与するため、IMUを組み合わせた慣性写真測量を用いることを考えた。このSfM/IMUシステムは前述したように、ドリフトによる累積誤差という問題を持っている。要するに、本発明はその技術の短所といえるドリフト誤差の問題を解決する新たな手法を提示するものである。 Hereinafter, embodiments of the present invention will be described in detail. The present inventors use three-dimensional point cloud information obtained from multiple photographs with different viewpoints to measure the position of places where satellite radio waves cannot be used, such as pipes buried in the ground, and use absolute scales for this. In order to give this, we considered using inertial photogrammetry combined with IMU. As described above, this SfM / IMU system has a problem of accumulated error due to drift. In short, the present invention presents a new technique for solving the problem of drift error, which can be said to be a disadvantage of the technology.
本発明の慣性写真測量の理論は、SfM に実寸法を与える方法の理論であり、図１に本論文における慣性写真測量の解析の流れを示す。
本発明において、カメラと慣性装置（IMU）は互いに相対位置が固定された形態であることが必須であって、走行車上に載置することは必須ではないが、ここでは走行車等の走行体にカメラと加速度計、ジャイロを備えたIMUを搭載したものを例に説明する。撮影と計測を行うのであるが、先ず、カメラによる動画撮影とIMUによる加速度の計測を行う。等速直線走行時には加速度変化は生じないから、走行体は不等速走行させながら加速度情報を得つつ測定を実施する。撮影した動画はフレーム毎に静止画として書き出す。撮影された画像をSfMで解析し相対的な被写体の３次元点群データとカメラの位置と傾きを得る。SfMによるカメラの外部標定要素について説明すると、式(１)は画像に写る２次元な点(左辺)と実際の３次元の点(右辺)の関係を表した透視変換の式である。右辺の焦点距離ｆを含む３×３行列はカメラの内部標定要素(レンズの歪、主点位置など)である。これはカメラキャリブレーションを行うことでパラメータが決定される。右辺のカメラの位置ｔと傾きｒを含んだ３×４行列がカメラの外部標定要素である。
In the present invention, it is essential that the camera and the inertial device (IMU) have a fixed relative position to each other, and it is not essential to place the camera and the inertial device (IMU) on the traveling vehicle. The following is an example of an IMU equipped with a camera, accelerometer, and gyro. The shooting and measurement are performed. First, the moving image shooting by the camera and the acceleration measurement by the IMU are performed. Since no change in acceleration occurs during constant-velocity linear travel, the traveling body performs measurement while obtaining acceleration information while traveling at an inconstant speed. The captured video is written out as a still image for each frame. The captured image is analyzed by SfM to obtain the relative 3D point cloud data of the subject and the position and tilt of the camera. The external orientation element of the camera by SfM will be described. Equation (1) is a perspective transformation equation that represents the relationship between a two-dimensional point (left side) and an actual three-dimensional point (right side) appearing in the image. A 3 × 3 matrix including the focal length f on the right side is an internal orientation element (lens distortion, principal point position, etc.) of the camera. This parameter is determined by performing camera calibration. A 3 × 4 matrix including the camera position t and inclination r on the right side is an external orientation element of the camera.
次に、カメラとIMUの同期方法について説明する。本発明では同期装置を用いず、カメラとIMUの加速度により同期を図る。図２はカメラとIMUの加速度を示したグラフであり、Ａにおいて破線がカメラの、実線がIMUの加速度である。２つはスケールの異なる２つのグラフであって、同期に使用するカメラとIMUの加速度は式(２)の平面方向の加速度とする。
なお、同期を行うためには、できる限りノイズのないデータを利用するのが好ましい。そこで、ノイズ除去のためにフーリエ変換を行う。図３はノイズを含んだ波形データである。図４は高速フーリエ変換にてノイズ成分を取り除いた波形データである。本手法では、採用するフーリエ・スペクトルを変えては同期処理を行い、最もカメラ×IMUの値が大きい波形を採用する。
Next, a method for synchronizing the camera and the IMU will be described. In the present invention, the synchronization device is not used, and synchronization is achieved by the acceleration of the camera and the IMU. FIG. 2 is a graph showing the acceleration of the camera and the IMU. In A, the broken line is the camera and the solid line is the IMU acceleration. Two are two graphs with different scales, and the acceleration of the camera and the IMU used for synchronization is the acceleration in the plane direction of Equation (2).
In order to perform synchronization, it is preferable to use data with as little noise as possible. Therefore, Fourier transform is performed to remove noise. FIG. 3 shows waveform data including noise. FIG. 4 shows waveform data from which noise components have been removed by fast Fourier transform. In this method, the Fourier spectrum to be adopted is changed and synchronization processing is performed, and the waveform having the largest camera × IMU value is adopted.
次に、絶対寸法化を図るスケール係数の決定について説明すると、同期したカメラとIMUの加速度を用いてスケール係数を求めるには、カメラの加速度がIMUの加速度と等しくなる倍率を求めればよい。そこで、カメラと IMUの加速度を用いて相関を取れば、スケール係数は式(４) の多項式として考えることができる。ｙ＝ｘとなる傾きを求めるためスケール係数(s) はａの項と同義である。よってｓはａを求めることによって求まる。
そこで、ロバスト性を持たせるため RANSAC(RANdom SAmple Consensus) を用いて外れ値のデータ棄却を行う。RANSAC は、最小二乗法とは異なり、外れ値を含んだデータにおいても使用することのできるロバスト推定である。ランダムに抽出したデータを基に仮の傾きを求め、仮の傾きと抽出した２点の傾きが閾値以下であれば、インライアーとして取り入れ、閾値を超えている場合にはアウトライアーとしてデータを棄却する。これをすべてのパターンで繰り返す。そして、仮の傾きを変更し、上記工程を繰り返す。
図５において実線はRANSAC を用いた直線回帰である。 RANSAC により外れ値のデータが棄却されているため、外れ値を除いた傾きを求めることができる。
求めたスケール係数を、SfM の値に乗算することで、IMUを積分することなくカメラの外部標定要素および、三次元点群を得ることができる。図５のグラフにより、スケール係数(ｓ)は0.9274と特定できる。
Therefore, outliers are rejected using RANSAC (RANdom SAmple Consensus) to provide robustness. RANSAC, unlike the least squares method, is a robust estimation that can be used even for data containing outliers. Temporary inclination is calculated based on randomly extracted data. If the temporary inclination and the two extracted inclinations are below the threshold, they are taken as inliers, and if the threshold is exceeded, the data is rejected as outliers. To do. This is repeated for all patterns. And a temporary inclination is changed and the said process is repeated.
In FIG. 5, the solid line is linear regression using RANSAC. Since outliers are rejected by RANSAC, the slope without outliers can be determined.
By multiplying the obtained scale factor by the value of SfM, it is possible to obtain an external orientation element of the camera and a three-dimensional point group without integrating the IMU. From the graph of FIG. 5, the scale factor (s) can be specified as 0.9274.
上記の理論を実験によって検証した。
実験に使用した器材を図６のＡ，Ｂ，Ｃに示す。Ａに示すカメラは動画撮影が可能であり、高感度の速いシャッター速度で撮影が行えるようにSONY社製α7S (商品名)を採用した。Ｃに示すジンバルスタビライザーに搭載可能なようにＢに示すIMUは小型・軽量で安価なものとし、カメラの手ブレが防止されIMUの加速度の取得が滑らかになるよう、ジンバルスタビライザーを用いた。ＣはカメラとIMUをDJI社製RONIN-M(商品名)のジンバルスタビライザーに取り付けた写真である。
実験は千葉工業大学１号館西側通路の０ｍ地点から60ｍ地点までの一軸移動である。本実験における座標は、図７に示す通りである。装置は走行車を用いず手持ちで移動を行った。ジンバルスタビライザーで、水平を保った状態でIMUを起動し10秒間停止、10秒経過後にカメラの動画撮影を開始し、さらに３秒間の停止を行う。３秒経過後、ジンバルスタビライザーを手持ちで進行方向に移動する。カメラの撮影の向きは進行方向直線である。移動は 10ｍ毎に１秒停止をする形態で実施し、60ｍ地点では ５秒静止後にカメラの撮影を終了させ、さらに５秒後にIMUの計測を終了させた。
The above theory was verified by experiment.
The equipment used in the experiment is shown in FIGS. The camera shown in A is capable of shooting moving images, and adopts SONY α7S (trade name) so that shooting can be performed with high sensitivity and fast shutter speed. The IMU shown in B is small, light, and inexpensive so that it can be mounted on the gimbal stabilizer shown in C. A gimbal stabilizer was used to prevent camera shake and smooth acquisition of IMU acceleration. C is a photograph of the camera and IMU attached to DJI's RONIN-M (trade name) gimbal stabilizer.
The experiment is a uniaxial movement from the 0m point to the 60m point in the west passage of Chiba Institute of Technology Building 1. The coordinates in this experiment are as shown in FIG. The device moved by hand without using a traveling vehicle. With the gimbal stabilizer, the IMU is started in a horizontal state and stopped for 10 seconds. After 10 seconds, the camera starts taking a video, and then stops for 3 seconds. After 3 seconds, move the gimbal stabilizer in the direction of travel by hand. The shooting direction of the camera is a straight line in the traveling direction. The movement was carried out in the form of stopping for 1 second every 10 m, and at 60 m, the camera shooting was terminated after 5 seconds resting, and the IMU measurement was terminated after another 5 seconds.
カメラとIMUの同期実験を説明する。図８のＡに示すグラフはIMUの加速度と高速フーリエ変換によってノイズを取り除いたカメラの平面方向の加速度を同期したグラフである。図８のＢはＡを部分的に拡大した図である。図８のＣはカメラとIMUの加速度を用いた多項式のグラフである。Ｂをみると、IMUとカメラが移動した際に生じた、大きな加速度をほぼ同時刻に検出していることが確認できる。カメラとIMUの移動開始時における加速度の加速始めと60ｍ地点（図中 67秒付近）での停止時の加速度の減速のタイミングを比べても相違なく、同時刻に加速度が検出できているように見られる。60秒付近において、カメラの加速度がIMUの加速度と異なる加速度を得ているように見られる。これは、撮影時に被写体となった建物が反射していたことで加速度に影響したと考えられる。進行方向に進むほどカメラの加速度がIMUの加速度と異なるのは、60秒付近では画像の３割程度が反射した建物の面を撮影しているためと推測される。
カメラとIMUの加速度を全体的にみると、異なる時間で加速度を検出している様子もなく、正常に同期ができていると推測できる。なお、IMUとカメラの時間差は11.04秒であった。
The synchronization experiment between the camera and IMU will be explained. The graph shown in FIG. 8A is a graph in which the acceleration of the IMU and the acceleration in the plane direction of the camera from which noise is removed by fast Fourier transform are synchronized. FIG. 8B is a partially enlarged view of A. C in FIG. 8 is a polynomial graph using the acceleration of the camera and the IMU. When B is seen, it can be confirmed that the large acceleration generated when the IMU and the camera move is detected at almost the same time. Even if the acceleration acceleration at the start of movement of the camera and the IMU is compared with the deceleration timing of the acceleration at the stop at the 60m point (near 67 seconds in the figure), the acceleration can be detected at the same time. It can be seen. Around 60 seconds, the camera acceleration appears to be different from the IMU acceleration. This is thought to be due to the fact that the building that was the subject at the time of shooting was reflected, which affected the acceleration. The reason that the camera acceleration differs from the IMU acceleration as it travels in the direction of travel is presumed to be because the surface of the building where about 30% of the image was reflected was photographed around 60 seconds.
Looking at the acceleration of the camera and the IMU as a whole, it can be assumed that the acceleration is detected normally at different times, and that the synchronization is normal. The time difference between the IMU and the camera was 11.04 seconds.
スケール係数の決定であるが、図９はRANSACによる外れ値を取り除いたデータを用いたカメラとIMUの相関図である。ここで小点は RANSACで外れ値を取り除く前のカメラとIMUの相関であり、そして破線は小点を用いて求めた直線回帰である。大きい点はRANSAC後の相関で、実線はその線形回帰である。これを見ると、外れ値を取り除く前と取り除いた後ではスケール係数が大きく異なるのが確認できる。今回の実験においては、図８のＢを見てもカメラの加速度のほうがIMUの加速度よりも小さくスケール係数は１を上回る値が理論的に出るはずである。よって、RANSAC前の直線回帰で求めた式は誤りであることが分かる。 FIG. 9 is a correlation diagram between a camera and an IMU using data obtained by removing outliers by RANSAC. Here, the small point is the correlation between the camera and IMU before removing outliers with RANSAC, and the broken line is the linear regression obtained using the small point. The large point is the correlation after RANSAC, and the solid line is the linear regression. From this, it can be confirmed that the scale factor is greatly different before and after the outlier is removed. In this experiment, the acceleration of the camera should be smaller than the acceleration of the IMU and the scale factor should be greater than 1 theoretically even when looking at B in FIG. Therefore, it can be seen that the formula obtained by linear regression before RANSAC is incorrect.
従来の慣性写真測量では、IMU単独で計測した位置と傾きがカメラの外部標定要素として用いられている。本手法とIMU単独によるカメラの外部標定要素を３次元距離にて比較し、本手法の優位性を示す。図１０のＡにその結果を示す。図中の真値は 60ｍ付近である。これによると、従来のIMU単独の方法ではIMU が時間経過に伴うドリフトにより、誤差の増大が確認できる。これに対して、本手法では加速度の積分を行わないためドリフトによる誤差増大は見られない。 図１０のＢは本手法とIMU単独、および地上写真測量による検証点の３次元距離を真値と比較した結果である。真値はトータルステーションにより計測した。図１０のＢに示されたIMU単独と本手法による真値との誤差を比較すると、カメラの外部標定要素を正しく推定したことにより、計測精度が向上しているのが確認できる。
本手法を考案、実証することで、従来の慣性測量の短所であった時間軸に対するIMUのドリフトを克服し、その優位性を示すことが確認できた。
In conventional inertial photogrammetry, the position and tilt measured by IMU alone are used as external orientation elements of the camera. The superiority of this method is shown by comparing the external orientation elements of this method and the camera by IMU alone at 3D distance. The result is shown in FIG. The true value in the figure is around 60m. According to this, in the conventional IMU-only method, an increase in error can be confirmed due to the drift of the IMU over time. On the other hand, since this method does not integrate acceleration, no increase in error due to drift is observed. B of FIG. 10 shows the result of comparing the three-dimensional distance of the verification point by this method, IMU alone, and ground photogrammetry with the true value. The true value was measured by the total station. Comparing the error between the IMU alone shown in FIG. 10B and the true value obtained by this method, it can be confirmed that the measurement accuracy is improved by correctly estimating the external orientation factor of the camera.
By devising and demonstrating this method, it was confirmed that the IMU drift over the time axis, which was a disadvantage of the conventional inertial survey, was overcome and showed its superiority.
本発明は、場所的制約はないが、衛星電波を用いないカメラ撮影による三次元点群データと加速度計によって実現可能であるから、電波の届かない地下や施設内領域で適用することが有効である。下水道のような地下埋設管、トンネル、鉱山等の坑道(本明細書ではこれらを総称して地中閉路と呼ぶ。)、ばかりではなく、瓦礫状になった災害事故現場での位置測定や検証、更には人体内の検査にも広い分野での応用が見込まれる。
埋設管路の位置測定においては、走行体にビデオカメラとIMUを搭載し、管路内を不等速駆動させながら動画画像と加速度データを順次取得することにより、本発明の手法によってカメラ位置の軌跡を得ることができる。このカメラ位置の軌跡はすなわち配管位置を意味することとなる。埋設管路が空洞である場合には、走行体は走行車を用いることが適し、水路のように流れがある場合にはフロートや小舟に設置し、移動速度を変化させながら用いることができる。いずれにせよ、基準点がない領域、衛星電波の届かない領域でも精度の高い位置測定を行うことができる。
Although the present invention is not limited by location, it can be realized by three-dimensional point cloud data and accelerometers captured by a camera that does not use satellite radio waves. Therefore, it is effective to be applied to underground or in-facility areas where radio waves do not reach. is there. Not only underground underground pipes such as sewers, tunnels, tunnels such as mines (in this specification, these are collectively referred to as underground closed paths), as well as position measurement and verification at the disaster accident site in the form of rubble Furthermore, it is expected to be applied in a wide range of fields for human body inspection.
In the measurement of the position of the buried pipe, a video camera and an IMU are mounted on the traveling body, and moving image images and acceleration data are sequentially acquired while driving the inside of the pipe at an unequal speed. A trajectory can be obtained. This trajectory of the camera position means the piping position. When the buried pipeline is hollow, it is suitable to use a traveling vehicle as the traveling body, and when there is a flow like a waterway, it can be installed in a float or a small boat and used while changing the moving speed. In any case, highly accurate position measurement can be performed even in an area where there is no reference point or an area where satellite radio waves do not reach.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016080882A JP6291519B2 (en) | 2016-04-14 | 2016-04-14 | Method of assigning actual dimensions to 3D point cloud data and position measurement of pipes etc. using it |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016080882A JP6291519B2 (en) | 2016-04-14 | 2016-04-14 | Method of assigning actual dimensions to 3D point cloud data and position measurement of pipes etc. using it |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017191022A true JP2017191022A (en) | 2017-10-19 |
| JP6291519B2 JP6291519B2 (en) | 2018-03-14 |
Family
ID=60085912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016080882A Active JP6291519B2 (en) | 2016-04-14 | 2016-04-14 | Method of assigning actual dimensions to 3D point cloud data and position measurement of pipes etc. using it |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6291519B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101930796B1 (en) * | 2018-06-20 | 2018-12-19 | 주식회사 큐픽스 | 3 Dimensional Coordinates Calculating Apparatus, 3 Dimensional Coordinates Calculating Method, 3 Dimensional Distance Measuring Apparatus and 3 Dimensional Distance Measuring Method Using Images |
| CN109816724A (en) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | Three-dimensional feature extracting method and device based on machine vision |
| CN110095136A (en) * | 2019-03-27 | 2019-08-06 | 苏州德沃物流科技有限公司 | It merges the modified binocular vision 3 D of IMU pose and rebuilds caliberating device and method |
| CN111735445A (en) * | 2020-06-23 | 2020-10-02 | 煤炭科学研究总院 | Monocular vision and IMU (inertial measurement Unit) integrated coal mine tunnel inspection robot system and navigation method |
| US10977857B2 (en) | 2018-11-30 | 2021-04-13 | Cupix, Inc. | Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images |
| CN113701750A (en) * | 2021-08-23 | 2021-11-26 | 长安大学 | Fusion positioning system of underground multi-sensor |
| US11222433B2 (en) | 2019-06-14 | 2022-01-11 | Cupix, Inc. | 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images |
| JP7346682B1 (en) | 2022-08-30 | 2023-09-19 | 東芝プラントシステム株式会社 | Embedded pipe shape measuring device and method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981790A (en) * | 1995-09-19 | 1997-03-28 | Canon Inc | Device and method for three-dimensional shape restoration |
| JP2011058854A (en) * | 2009-09-07 | 2011-03-24 | Sharp Corp | Portable terminal |
| WO2012172870A1 (en) * | 2011-06-14 | 2012-12-20 | 日産自動車株式会社 | Distance measurement device and environment map generation apparatus |
| US20130218461A1 (en) * | 2012-02-22 | 2013-08-22 | Leonid Naimark | Reduced Drift Dead Reckoning System |
| WO2014195000A1 (en) * | 2013-06-04 | 2014-12-11 | Testo Ag | 3d recording device, method for producing a 3d image, and method for setting up a 3d recording device |
| WO2015159835A1 (en) * | 2014-04-17 | 2015-10-22 | シャープ株式会社 | Image processing device, image processing method, and program |
-
2016
- 2016-04-14 JP JP2016080882A patent/JP6291519B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981790A (en) * | 1995-09-19 | 1997-03-28 | Canon Inc | Device and method for three-dimensional shape restoration |
| JP2011058854A (en) * | 2009-09-07 | 2011-03-24 | Sharp Corp | Portable terminal |
| WO2012172870A1 (en) * | 2011-06-14 | 2012-12-20 | 日産自動車株式会社 | Distance measurement device and environment map generation apparatus |
| US20130218461A1 (en) * | 2012-02-22 | 2013-08-22 | Leonid Naimark | Reduced Drift Dead Reckoning System |
| WO2014195000A1 (en) * | 2013-06-04 | 2014-12-11 | Testo Ag | 3d recording device, method for producing a 3d image, and method for setting up a 3d recording device |
| WO2015159835A1 (en) * | 2014-04-17 | 2015-10-22 | シャープ株式会社 | Image processing device, image processing method, and program |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101930796B1 (en) * | 2018-06-20 | 2018-12-19 | 주식회사 큐픽스 | 3 Dimensional Coordinates Calculating Apparatus, 3 Dimensional Coordinates Calculating Method, 3 Dimensional Distance Measuring Apparatus and 3 Dimensional Distance Measuring Method Using Images |
| US10825198B2 (en) | 2018-06-20 | 2020-11-03 | Cupix, Inc. | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images |
| US10977857B2 (en) | 2018-11-30 | 2021-04-13 | Cupix, Inc. | Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images |
| CN109816724A (en) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | Three-dimensional feature extracting method and device based on machine vision |
| CN109816724B (en) * | 2018-12-04 | 2021-07-23 | 中国科学院自动化研究所 | Three-dimensional feature extraction method and device based on machine vision |
| CN110095136A (en) * | 2019-03-27 | 2019-08-06 | 苏州德沃物流科技有限公司 | It merges the modified binocular vision 3 D of IMU pose and rebuilds caliberating device and method |
| US11222433B2 (en) | 2019-06-14 | 2022-01-11 | Cupix, Inc. | 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images |
| CN111735445A (en) * | 2020-06-23 | 2020-10-02 | 煤炭科学研究总院 | Monocular vision and IMU (inertial measurement Unit) integrated coal mine tunnel inspection robot system and navigation method |
| CN111735445B (en) * | 2020-06-23 | 2022-02-11 | 煤炭科学研究总院 | Monocular vision and IMU (inertial measurement Unit) integrated coal mine tunnel inspection robot system and navigation method |
| CN113701750A (en) * | 2021-08-23 | 2021-11-26 | 长安大学 | Fusion positioning system of underground multi-sensor |
| JP7346682B1 (en) | 2022-08-30 | 2023-09-19 | 東芝プラントシステム株式会社 | Embedded pipe shape measuring device and method |
| JP2024033091A (en) * | 2022-08-30 | 2024-03-13 | 東芝プラントシステム株式会社 | Shape measurement device and shape measurement method of embedded conduit |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6291519B2 (en) | 2018-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6291519B2 (en) | Method of assigning actual dimensions to 3D point cloud data and position measurement of pipes etc. using it | |
| JP2019074532A (en) | Method for giving real dimensions to slam data and position measurement using the same | |
| EP2434256B1 (en) | Camera and inertial measurement unit integration with navigation data feedback for feature tracking | |
| JP5027747B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
| JP5832341B2 (en) | Movie processing apparatus, movie processing method, and movie processing program | |
| JP5027746B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
| Piniés et al. | Inertial aiding of inverse depth SLAM using a monocular camera | |
| WO2010001940A1 (en) | Position measurement method, position measurement device, and program | |
| US20190072392A1 (en) | System and method for self-geoposition unmanned aerial vehicle | |
| US20080144925A1 (en) | Stereo-Based Visual Odometry Method and System | |
| US11223764B2 (en) | Method for determining bias in an inertial measurement unit of an image acquisition device | |
| JP6529372B2 (en) | Three-dimensional measurement device, three-dimensional measurement method, and program | |
| JP6433200B2 (en) | Arithmetic apparatus, arithmetic method, and program | |
| US20180075609A1 (en) | Method of Estimating Relative Motion Using a Visual-Inertial Sensor | |
| JP5762131B2 (en) | CALIBRATION DEVICE, CALIBRATION DEVICE CALIBRATION METHOD, AND CALIBRATION PROGRAM | |
| US10401175B2 (en) | Optical inertial measurement apparatus and method | |
| JP2006059202A (en) | Imaging device and image correction method | |
| ES2655978T3 (en) | Procedure for estimating the angular deviation of a moving element in relation to a reference direction | |
| Kelly et al. | Fast relative pose calibration for visual and inertial sensors | |
| Ramezani et al. | Omnidirectional visual-inertial odometry using multi-state constraint Kalman filter | |
| JP6135972B2 (en) | Orientation method, orientation program, and orientation device | |
| KR101183866B1 (en) | Apparatus and method for real-time position and attitude determination based on integration of gps, ins and image at | |
| Huttunen et al. | A monocular camera gyroscope | |
| Qian et al. | Optical flow based step length estimation for indoor pedestrian navigation on a smartphone | |
| JP2005252482A (en) | Image generating apparatus and three-dimensional distance information acquisition apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171020 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6291519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |