JP2019074532A - Method for giving real dimensions to slam data and position measurement using the same - Google Patents

Method for giving real dimensions to slam data and position measurement using the same Download PDF

Info

Publication number
JP2019074532A
JP2019074532A JP2018194726A JP2018194726A JP2019074532A JP 2019074532 A JP2019074532 A JP 2019074532A JP 2018194726 A JP2018194726 A JP 2018194726A JP 2018194726 A JP2018194726 A JP 2018194726A JP 2019074532 A JP2019074532 A JP 2019074532A
Authority
JP
Japan
Prior art keywords
camera
acceleration
imu
relative position
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018194726A
Other languages
Japanese (ja)
Inventor
俊雄 小泉
Toshio Koizumi
俊雄 小泉
賢司 大石
Kenji Oishi
賢司 大石
山本　朗
Akira Yamamoto
朗 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NETRISE Inc
Original Assignee
NETRISE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NETRISE Inc filed Critical NETRISE Inc
Publication of JP2019074532A publication Critical patent/JP2019074532A/en
Pending legal-status Critical Current

Links

Landscapes

  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

To provide a new technique that does not generate drift with respect to the time axis in the self-position estimation and environmental map by SLAM (three-dimensional point cloud data) in a real dimension estimation using an IMU and to provide a position measurement system capable of carrying out a process in a small place in a short processing time which does not depend on the GNSS using the technique.SOLUTION: In the method of providing real dimensions to the self-position estimation and environmental map by an SLAM, a camera and an IMU are installed in a form where the relative position is fixed, the acceleration is measured by a video shooting with the camera and the IMU in the movement, the captured video is exported as a still image for each frame, the captured image is analyzed by SfM, the self-relative position of the camera is determined to obtain the acceleration of the camera by a second-order differentiation and to obtain the acceleration of the camera, and the scale coefficient is calculated by synchronizing the acceleration of the camera and the acceleration information obtained from the IMU and by multiplying the self-relative position of the camera by the scale factor.SELECTED DRAWING: Figure 3

Description

本発明はSLAM (Simultaneous Localization and Mapping)により推定された自己位置と環境地図（三次元点群データ）情報に、IMUを用いて実寸法を付与する技術及びそれを用いた位置測定に関する。   The present invention relates to a technique for applying actual dimensions to self-location and environmental map (three-dimensional point group data) information estimated by SLAM (Simultaneous Localization and Mapping), and position measurement using the same.

SLAM (Simultaneous Localization and Mapping)とは画像やセンサー情報等から自己位置の推定と環境地図の作成を同時に行う技術で、自律移動ロボットや自動運転車、拡張現実(Augmented Reality)などの重要な技術となってきている。自律移動するロボットが未知の環境を認識するには、画像やセンサーによって周囲の環境の形状を把握し、その形状データをもとに自己位置も推定する。自分の位置を推定し、修正しながら環境地図を作って動いていくことになる。移動距離を推定する方法の一つにオドメトリ(odmetry)がある。車輪型移動ロボットにおける車輪の回転数や回転角度から移動量を求め、ロボットの位置を推定する手法でデッドレコニング（dead reckoning）とも呼ぶ。しかし、車輪が空回りした場合には検出できず、また移動量には誤差が含まれ、その誤差の上にさらに誤差が足し合わされていくという問題がありオドメトリだけでは、ロボットが長距離の移動をした場合、走行するにつれて位置がずれていくということが起き、周りの障害物などの環境地図も累積誤差の影響を受けてしまう。   SLAM (Simultaneous Localization and Mapping) is a technology that simultaneously estimates self-location and creates an environmental map from images and sensor information, etc., and important technologies such as autonomous mobile robots, autonomous vehicles, and augmented reality. It has become to. In order to recognize an unknown environment, a robot moving autonomously grasps the shape of the surrounding environment by an image or a sensor, and estimates its own position based on the shape data. It will make an environmental map and move while estimating your position and making corrections. One of the methods to estimate the movement distance is odmetry. A method of estimating the position of a robot by obtaining the amount of movement from the number of rotations and the angle of rotation of a wheel-type mobile robot, and also called dead reckoning. However, it can not be detected when the wheel idles, and the movement amount includes an error, and there is a problem that the error is further added on the error, and the robot can move for a long distance with odometry alone. In such a case, the position shifts as the vehicle travels, and environmental maps such as surrounding obstacles are also affected by the accumulated error.

上記したSLAMにより推定された自己位置と環境地図（三次元点群データ）情報に実寸法や地球座標上の絶対位置情報を付与する手法として、GNSSすなわち、"Global Navigation Satellite System(s)"「全地球航法衛星システム」から得られる情報を用いることがよく知られている。点群データの複数の特定点の位置情報をGNSSによって得、地球座標位置と関係付けを行うのである。しかし、衛星からの電波の届かない場所ではこの手法は採用できないため、そのような条件下では慣性装置（Inertial Measurement Unit：以下IMUと略称する。）によって実寸法を付与する方法も知られている。この慣性装置とは加速度計とジャイロを備えたものであって、加速度は速度の変化率であり、物が動くところには必ず発生する。この加速度を１回積分すると速度、もう１回積分すると距離になる。そこで、加速度計を水平（Ｘ,Ｙ）・垂直（Ｚ）の３軸に配置し、その出力を２階積分することで各軸の出発点からの移動距離（位置）を知ることができる。移動中の軸の傾きはジャイロにより計測する。ジャイロも加速度計と同様に３軸に配置し、出力される角速度を１回積分することで各軸の傾き（姿勢角）を知ることができる。ところが、このIMU手法には時間累積に伴いドリフト誤差が積算され大きくなるという問題点がある。   GNSS, that is, "Global Navigation Satellite System (s)" "as a method to add actual position and absolute position information on the earth coordinates to the self position and environmental map (three-dimensional point group data) information estimated by SLAM described above. It is well known to use information obtained from the Global Navigation Satellite System. The position information of a plurality of specific points of the point cloud data is obtained by GNSS, and is associated with the earth coordinate position. However, since this method can not be adopted where radio waves from satellites do not reach, there is also known a method of giving actual dimensions by an inertial measurement unit (hereinafter abbreviated as IMU) under such conditions. . The inertial device comprises an accelerometer and a gyro, and the acceleration is a rate of change of velocity, which occurs whenever an object moves. Integration of this acceleration once results in velocity, and integration once more results in distance. Therefore, by arranging the accelerometers in three axes of horizontal (X, Y) and vertical (Z) and integrating the outputs twice, it is possible to know the movement distance (position) from the start point of each axis. The inclination of the moving axis is measured by a gyro. Similar to the accelerometers, the gyros are also arranged in three axes, and the inclination (attitude angle) of each axis can be known by integrating the outputted angular velocity once. However, this IMU method has a problem that the drift error is integrated and becomes large as time is accumulated.

カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するSLAMのマッピング技術が特許文献１に示されている。この文献には、カメラの取得画像に基づいて正規分布に従った存在確率分布を持つカメラ位置姿勢情報を生成し、さらに、カメラの取得画像に基づいて正規分布に従った特徴点追跡誤差分布を生成し、これらの正規分布に従った存在確率分布を持つカメラ位置姿勢情報と、正規分布に従った特徴点追跡誤差分布情報を適用して特徴点の三次元空間における存在確率分布を算出するという手法が開示されている。   Patent Document 1 discloses a SLAM mapping technique that detects together the position of a feature point in an image input from a camera and the position and orientation of the camera. In this document, camera position and orientation information having an existence probability distribution according to a normal distribution is generated based on an acquired image of the camera, and further, a feature point tracking error distribution according to the normal distribution based on the acquired image It generates the existence probability distribution in a three-dimensional space of feature points by applying the camera position and posture information having the existence probability distribution according to the normal distribution and the feature point tracking error distribution information according to the normal distribution An approach is disclosed.

補正演算された逐次位置情報を三次元SLAMアルゴリズムによって全補正して、前記計測車が走行した経路の全***置情報を特定する手法が特許文献２に開示されている。この文献は管路内を走行する計測車の位置と姿勢を、タイヤの回転数から距離を出すオドメトリとIMU（慣性装置）およびSLAMを用いて算出する方法です。IMUの解析は積分によるものと考えます。IMUの解析は積分によるものであるために、時間と共に誤差が累積し精度が出ません。オドメトリでIMUの誤差を修正してもそれほど精度は向上しません。   Patent Document 2 discloses a method of specifying overall position information of a route traveled by the measurement vehicle by completely correcting the sequentially calculated positional information by a three-dimensional SLAM algorithm. This document is a method to calculate the position and attitude of a measuring vehicle traveling in a pipeline, using odometry and IMU (Inertial Device) and SLAM, which calculate the distance from the number of rotations of the tire. IMU analysis is considered to be integral. Since the analysis of IMU is by integration, errors accumulate over time and there is no accuracy. Correcting the IMU error with odometry does not improve accuracy much.

また、本出願人は走行体にカメラと慣性装置を取り付け、視角を異にする複数の写真から得られた三次元点群データに実寸法を付与する方法とそれを用いた管路等の位置測定について先に出願（特願２０１６−８０８８２号）した。この発明は、カメラとIMUを相対位置が固定された形態で設置し、移動に伴う該カメラによる動画撮影とIMUによる加速度の計測を行い、撮影した動画はフレーム毎に静止画として書き出し、撮影された画像をSfMで解析してカメラの自己相対位置を求め、該カメラの自己相対位置を２階微分してカメラの加速度を求め、該カメラの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記カメラの自己相対位置に該スケール係数をかけるものとしたものである。この発明の方法は、加速度データを２階積分することなく、計測データをそのままカメラの加速度と比較するものであるから、従来のIMUによるものに比較してドリフト誤差は極めて小さいものとなる特有の効果を奏するのであるが、三次元点群データ全体にデータ処理を行うとなると処理時間が長くなるという問題がある。   In addition, the applicant attached a camera and an inertial device to a traveling body, and provided a method of giving actual dimensions to three-dimensional point group data obtained from a plurality of photographs having different viewing angles, and a position of a conduit etc. The measurement was filed earlier (Japanese Patent Application No. 2016-80882). According to the present invention, the camera and the IMU are installed at a fixed relative position, and the moving image shooting with the camera and the measurement of the acceleration by the IMU are performed with movement, and the captured moving image is written and recorded as a still image for each frame. Of the image by SfM to determine the camera's own relative position, second-order differentiation of the camera's own relative position to determine the camera's acceleration, and synchronization of the camera's acceleration with the acceleration information obtained from the IMU The scale factor is obtained by multiplying the scale factor by the self relative position of the camera. Since the method of the present invention compares the measured data directly with the camera acceleration without integrating the acceleration data into the second order, the drift error is extremely small compared to that by the conventional IMU. Although the effect is achieved, there is a problem that the processing time becomes long when data processing is performed on the entire three-dimensional point cloud data.

特開２００８−３０４２６９号公報 「情報処理装置、および情報処理方法、並びにコンピュータ・プログラム」平成２０年１２月１８日公開[Patent Document 1] Japanese Patent Application Publication No. 2008-304269 "Information processing apparatus, information processing method, and computer program" released on December 18, 2008 特開２０１５−２５７５３号公報 「埋設管路の計測装置、及び、埋設管路の計測方法」 平成２７年２月５日公開JP, 2015-25753, A "measurement device of buried pipeline, and measurement method of buried pipeline" February 5, 2015 release

本発明の課題は、SLAMによる自己位置推定と環境地図（三次元点群データ）にIMUを用いて実寸法を付与するものにおいて、時間軸に対してドリフトの発生しない新しい手法を提供すること、また、その手法を用いGNSSに依存しない、かつ狭い場所でも実施できる位置測定システムを提供することにある。   An object of the present invention is to provide a new method which does not generate a drift with respect to a time axis in self-localization by SLAM and in adding actual dimensions to an environmental map (three-dimensional point group data) using IMU. Another object of the present invention is to provide a position measurement system which is not dependent on GNSS and can be implemented in a narrow place using the method.

本発明の更なる課題は、自己位置推定情報としてSLAMによる迅速なデータ処理手法を採用することにより、IMUを組み合わせた位置測定に係る時間を短縮することにある。   A further object of the present invention is to shorten the time for position measurement combined with IMU by adopting a rapid data processing method by SLAM as self-position estimation information.

本発明のSLAMによる自己位置推定と環境地図（三次元点群データ）に実寸法を付与する方法は、カメラとIMUを相対位置が固定された形態で設置し、移動に伴う該カメラによる動画撮影とIMUによる加速度の計測を行い、撮影した動画はフレーム毎に静止画として書き出し、撮影された画像をSfMで解析してカメラの自己相対位置を求め、該カメラの自己相対位置を２階微分してカメラの加速度を求め、該カメラの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記カメラの自己相対位置に該スケール係数をかけるものとした。   The method of self-position estimation by SLAM according to the present invention and the method of giving actual dimensions to an environmental map (three-dimensional point group data) is performed by installing a camera and an IMU in a fixed relative position form and capturing moving images with the camera And IMU measure the acceleration, write the captured moving image as a still image for each frame, analyze the captured image by SfM to determine the camera's relative position, and second-order differentiate the relative position of the camera The acceleration of the camera is determined, the acceleration of the camera and the acceleration information obtained from the IMU are synchronized to obtain a scale factor, and the self relative position of the camera is multiplied by the scale factor.

本発明のSLAMによる自己位置推定と環境地図（三次元点群データ）に実寸法を付与する方法は、前記走行体は加速度の増減を繰り返しながら計測を行うことを特徴とする。   The method of estimating actual position by SLAM according to the present invention and assigning actual dimensions to an environmental map (three-dimensional point group data) is characterized in that the traveling body performs measurement while repeating increase and decrease of acceleration.

本発明の位置測定方法は、カメラとIMUを相対位置が固定された形態は走行体上の設置であって、移動は走行体によって対象領域内を走行させ、上記の方法によって得たSLAMによる自己位置推定情報から管路位置を把握するものとした。   In the position measurement method of the present invention, the form in which the relative position between the camera and the IMU is fixed is installation on a traveling body, and the movement is made to travel in the target area by the traveling body. The pipeline position is to be grasped from the position estimation information.

本発明のSLAMによる自己位置推定と環境地図（三次元点群データ）に実寸法を付与する方法は、加速度データを２階積分することなく、計測データをそのままカメラの加速度と比較するものであるから、従来のIMUによるものに比較してドリフト誤差は極めて小さいものとなる。
本発明のSLAMによる自己位置推定と環境地図（三次元点群データ）に実寸法を付与する方法は、全点群データに対してSfMの手法を適用することなく、特徴点追跡をおこなうことで、演算回数が減少することでデータ処理時間を大幅に短縮できる。
本発明の同期方法により、従来必要であった同期装置を用いることなくカメラとIMUの同期を行うことを可能とした。
本発明の計測方法は適度な加減速を得ていれば、従来の慣性写真測量の様に途中で静止をする必要がないため、実用性が高い。
この手法はドリフト現象が欠点である慣性測量での測位精度向上にも寄与するものである。 The method of self-position estimation by SLAM according to the present invention and the method of giving actual dimensions to an environmental map (three-dimensional point group data) is to compare measured data with camera's acceleration as it is without integrating acceleration data into second order. Therefore, the drift error is extremely small compared to that by the conventional IMU.
The method of self-position estimation by SLAM according to the present invention and the method of giving actual dimensions to an environmental map (three-dimensional point group data) performs feature point tracking without applying the SfM method to all point group data. The data processing time can be significantly shortened by reducing the number of operations.
The synchronization method of the present invention makes it possible to synchronize the camera and the IMU without using a conventionally required synchronization device.
The measurement method of the present invention is highly practical because it does not need to be stopped halfway as in conventional inertial photogrammetry if appropriate acceleration and deceleration are obtained.
This method also contributes to the improvement of the positioning accuracy in the inertial measurement in which the drift phenomenon is a drawback.

特徴点の検出の実例を示すもので、左側に示す図は通常の撮影画像であり、右側の図は検出された特徴点部位がプロットされた画像である。An example of feature point detection is shown, and the figure shown on the left is a normal captured image, and the figure on the right is an image in which detected feature point sites are plotted. 地下トンネルを撮像し検出された特徴点部位がプロットされた画像である。It is the image by which the feature point site | part which imaged the underground tunnel and was detected was plotted. 本発明の動作フローを示す図である。It is a figure which shows the operation | movement flow of this invention. 図のＡはカメラとIMUの時間差による平面方向の加速度値の変化を示すグラフであり、Ｂは同期位置の算定を示すグラフである。A of a figure is a graph which shows the change of the acceleration value of the planar direction by the time difference of a camera and IMU, B is a graph which shows calculation of a synchronous position. フィルタ通過前のノイズを含んだ波形例を示すグラフである。It is a graph which shows the example of a waveform containing the noise before filter passing. フィルタ通過後のノイズを取り除いた波形例を示すグラフである。It is a graph which shows the example of a waveform which removed the noise after filter passing. 相関によるスケールの決定手法を説明するグラフである。It is a graph explaining the determination method of the scale by correlation. ワゴンにカメラ、IMUそしてノートパソコンを固定的に設置した計測装置である。It is a measuring device in which a camera, an IMU and a laptop computer are fixedly installed on the wagon. SLAMがサンプリングした特徴点群と推定されたカメラ位置の軌跡を示したSLAMデータである。It is SLAM data which showed the locus | trajectory of the camera position estimated as the feature point group which SLAM sampled. SLAMデータに実寸法を付与したカメラ位置の軌跡を平面図、側面図のグラフで示したものである。The locus | trajectory of the camera position which gave real dimension to SLAM data is shown by the top view and the graph of a side view. SLAMデータに実寸法を付与した結果を地図上に書き込んだものである。It is what wrote the result which gave the actual size to SLAM data on the map. ノートパソコン上にカメラとIMUを固定的に取り付けた計測装置、それを人が抱えて行う計測形態を示したものである。The measurement apparatus which fixedly attached the camera and IMU on the notebook personal computer, and the measurement form which a person holds and performs it are shown. 実験を行った地下通路とSLAMがサンプリングした特徴点を示したものである。The underground passage which carried out experiment and the feature point which SLAM sampled are shown. この実験によって得られたカメラ中心位置の水平面軌跡を地球座標系のｘ軸情報とｙ軸情報から得て、建物情報が書き込まれたこの地域の地図上に重ねて表示したものである。The horizontal locus of the camera center position obtained by this experiment is obtained from the x-axis information and y-axis information of the earth coordinate system, and is superimposed and displayed on the map of this area where the building information is written.

測量分野のマッピング技術による位置測定とロボット位置制御の分野や自動車の自動運転分野で行われてきた移動体の自己位置測定技術は独自の進歩を遂げてきた。しかし両技術はマッピング技術を使った位置測定という意味で極めて近い関係にある。本発明は、測量分野ではあまり使われていなかったSLAMの技術を走行体の移動位置を基礎に周辺環境の位置測定に応用することに出発した。   The self-positioning technology for mobiles, which has been performed in the field of position measurement and robot position control by mapping technology in the field of surveying, and in the field of automatic operation of automobiles, has made its own progress. However, both techniques are closely related in terms of position measurement using mapping technology. The present invention is based on the application of SLAM technology, which has not been widely used in the field of surveying, to position measurement of the surrounding environment based on the moving position of a traveling body.

一口にSLAMと言っても、その手法にはPTAM、LSD-SLAM、ORB-SLAM等様々なアルゴリズムがあり、撮影画像における特徴点の検出のアルゴリズムも何種類かが知られている。今回の我々が提示する発明の実施形態ではORB-SLAMを使用し、ORB-SLAMにおける特徴点の検出はFASTアルゴリズムを使うこととした。
特徴点の検出の実験例を図１に示す。左側に示す図は通常の撮影画像であり、左側に示す図は通常の撮影画像であり、右側の図は検出された特徴点部位がプロットされた画像である。本発明はこの点群に対して実スケールを与えるものとする。また、図２に示すものは、地下水路を撮像したものであり、形状としては平坦な壁状のような面であっても特徴点が検出できている。 There are various algorithms such as PTAM, LSD-SLAM, ORB-SLAM, etc., although there are various algorithms such as PTAM, LSD-SLAM, ORB-SLAM, and several kinds of algorithms for detection of feature points in photographed images are known. In the present embodiment of the invention presented here, ORB-SLAM was used, and feature point detection in ORB-SLAM was made to use the FAST algorithm.
An experimental example of feature point detection is shown in FIG. The figure shown on the left is a normal captured image, the figure shown on the left is a normal captured image, and the figure on the right is an image in which detected feature point sites are plotted. The present invention gives a real scale to this group of points. Moreover, what is shown in FIG. 2 is an image of an underground water channel, and the characteristic points can be detected even if the shape is a flat wall-like surface.

本発明の理論は、この点群に実寸法を与える方法の理論であり、図３に本発明における解析の流れを示す。
本発明において、カメラと慣性装置（IMU）は互いに相対位置が固定された形態であることが必須であって、走行車上に載置することは必須ではないが、ここでは走行車等の走行体にカメラと加速度計、ジャイロを備えたIMUを搭載したものを例に説明する。撮影と計測を行うのであるが、先ず、カメラによる動画撮影とIMUによる加速度の計測を行う。等速直線走行時には加速度変化は生じないから、走行体は不等速走行させながら加速度情報を得つつ測定を実施する。撮影した動画はフレーム毎に静止画として書き出す。検出された点群をSfMで解析し相対的な被写体の３次元点群データとカメラの位置と傾きを得る。SfMによるカメラの外部標定要素について説明すると、式(１)は画像に写る２次元な点(左辺)と実際の３次元の点(右辺)の関係を表した透視変換の式である。右辺の焦点距離ｆを含む３×３行列はカメラの内部標定要素(レンズの歪、主点位置など)である。これはカメラキャリブレーションを行うことでパラメータが決定される。右辺のカメラの位置ｔと傾きｒを含んだ３×４行列がカメラの外部標定要素である。
初期条件として基準座標値を与えずに SfM の解析を行った場合、得られるカメラの外部標定要素と３次元点群データはスケール係数ｓが不確定のため、本来のモデルとは相似関係のモデルが生成される。ここで、算出されたカメラの位置を時間で２階微分したものをカメラの加速度と整合させて定義する。スケール係数を求めるためにはカメラとIMUの同期を図る必要がある。 The theory of the present invention is the theory of the method of giving an actual dimension to this point group, and FIG. 3 shows the flow of analysis in the present invention.
In the present invention, it is essential that the camera and the inertial unit (IMU) be in a form in which the relative position is fixed to each other, and it is not essential to place the camera on the traveling vehicle. An example in which an IMU equipped with a camera, an accelerometer, and a gyro is mounted on the body will be described as an example. The shooting and measurement are performed. First, moving image shooting with a camera and measurement of acceleration with an IMU are performed. Since a change in acceleration does not occur during constant-speed linear traveling, the traveling body travels at an equal speed and performs measurement while obtaining acceleration information. Captured moving images are exported as still images frame by frame. The detected point group is analyzed by SfM to obtain relative three-dimensional point group data of the object and the position and tilt of the camera. The external orientation element of the camera according to SfM will be described. Expression (1) is an expression of perspective transformation representing the relationship between a two-dimensional point (left side) shown in the image and an actual three-dimensional point (right side). The 3 × 3 matrix including the focal length f on the right side is an internal measurement element (lens distortion, principal point position, etc.) of the camera. The parameters are determined by performing camera calibration. The 3 × 4 matrix including the camera position t and the inclination r on the right side is an external orientation element of the camera.
When SfM is analyzed without giving reference coordinate values as initial conditions, the obtained external orientation factor of the camera and the 3D point group data are similar to the original model because the scale factor s is uncertain. Is generated. Here, the second derivative of the calculated position of the camera with respect to time is defined in alignment with the acceleration of the camera. In order to obtain the scale factor, it is necessary to synchronize the camera and the IMU.

次に、カメラとIMUの同期方法について説明する。本発明では同期装置を用いず、カメラとIMUの加速度により同期を図る。図４はカメラとIMUの加速度を示したグラフであり、Ａにおいて破線がカメラの、実線がIMUの加速度である。２つはスケールの異なる２つのグラフであって、同期に使用するカメラとIMUの加速度は式(２)の平面方向の加速度とする。
ここでは、同期をしていない状態を仮定し、カメラの加速度は15秒遅れて得たものとして図示してある。図４のＢは式(３)で求めた計算結果である。図中のΣ（カメラ×IMU）とは、IMUの平面方向の加速度にカメラの平面方向の加速度を乗じたものである。式(３)により値Ａｔが最も大きい時の時間を求める。時間の求め方は、図４のＢに示すように多項式近似を行い、より詳細に算出した時間を同期位置として決定する。なお、グラフ中の◆印はカメラとIMUの加速度を乗じた元データ、○印は多項式に用いるデータである。
具体的には図４のＢをみると、多項式の凸の頂点より、カメラとIMUの起動開始の時間差は15秒になっている。このことは初めに設定したカメラの起動の遅れは15秒であるので、本手法により求めた時間は正しく、正確な同期位置を求めることが可能であることが分かる。
なお、同期を行うためには、できる限りノイズのないデータを利用するのが好ましい。そこで、ノイズ除去のためにフーリエ変換を行う。図５はノイズを含んだ波形データである。図６は高速フーリエ変換にてノイズ成分を取り除いた波形データである。本手法では、採用するフーリエ・スペクトルを変えては同期処理を行い、最もカメラ×IMUの値が大きい波形を採用する。 Next, a method of synchronizing the camera and the IMU will be described. In the present invention, synchronization is achieved by the acceleration of the camera and the IMU without using the synchronization device. FIG. 4 is a graph showing the acceleration of the camera and the IMU. In A, the broken line is the camera and the solid line is the acceleration of the IMU. Two are two graphs with different scales, and the acceleration of the camera and IMU used for synchronization is the acceleration in the plane direction of equation (2).
Here, assuming that the camera is not synchronized, the camera acceleration is shown as being obtained with a delay of 15 seconds. B of FIG. 4 is the calculation result calculated | required by Formula (3). In the figure, Σ (camera × IMU) is obtained by multiplying the acceleration in the plane direction of the IMU by the acceleration in the plane direction of the camera. The time when the value At is the largest is determined by equation (3). The time is determined by polynomial approximation as shown in B of FIG. 4 and the time calculated in more detail is determined as the synchronization position. In the graph, the symbol ◆ indicates the original data obtained by multiplying the camera and the acceleration of the IMU, and the symbol ○ indicates data used for the polynomial.
Specifically, looking at B in FIG. 4, from the convex vertex of the polynomial, the time difference between the start of activation of the camera and the IMU is 15 seconds. This indicates that since the delay of activation of the camera initially set is 15 seconds, the time obtained by the present method is correct, and it is possible to obtain an accurate synchronization position.
In order to perform synchronization, it is preferable to use as noiseless data as possible. Therefore, Fourier transform is performed to remove noise. FIG. 5 is waveform data including noise. FIG. 6 shows waveform data from which noise components are removed by fast Fourier transform. In this method, synchronization processing is performed while changing the adopted Fourier spectrum, and a waveform with the largest value of camera × IMU is adopted.

次に、絶対寸法化を図るスケール係数の決定について説明すると、同期したカメラとIMUの加速度を用いてスケール係数を求めるには、カメラの加速度がIMUの加速度と等しくなる倍率を求めればよい。そこで、カメラと IMUの加速度を用いて相関を取れば、スケール係数は式(４) の多項式として考えることができる。ｙ＝ｘとなる傾きを求めるためスケール係数(s) はａの項と同義である。よってｓはａを求めることによって求まる。
相関を取るにあたり、ノイズがスケール係数の決定に大きく影響を及ぼす。図５は外れ値を含んだカメラとIMUの加速度を想定した相関図である。小点は外れ値としてランダムに生成した点、○で囲んだ点は正しい観測値である。破線は外れ値を含んだデータで求めた直線回帰である。本来は傾きが１：１となるような近似曲線を求めたい。しかし、外れ値が影響するため正確な傾きが求められない。 Next, to explain the determination of the scale factor for achieving absolute dimensioning, in order to obtain the scale factor using the synchronized camera and the acceleration of the IMU, the magnification at which the camera acceleration is equal to the acceleration of the IMU may be determined. Therefore, if correlation is taken using the camera and the acceleration of IMU, the scale factor can be considered as a polynomial of equation (4). The scale factor (s) has the same meaning as the term a, in order to find the slope of y = x. Therefore, s can be obtained by obtaining a.
In the correlation, noise greatly influences the determination of the scale factor. FIG. 5 is a correlation diagram in which an acceleration of a camera including an outlier and an IMU are assumed. The small points are randomly generated as outliers, and the circled points are correct observation values. The broken line is a linear regression obtained from data including outliers. Originally, I would like to find an approximate curve with a slope of 1: 1. However, due to the influence of outliers, an accurate slope can not be determined.

そこで、ロバスト性を持たせるため RANSAC(RANdom SAmple Consensus) を用いて外れ値のデータ棄却を行う。RANSAC は、最小二乗法とは異なり、外れ値を含んだデータにおいても使用することのできるロバスト推定である。ランダムに抽出したデータを基に仮の傾きを求め、仮の傾きと抽出した２点の傾きが閾値以下であれば、インライアーとして取り入れ、閾値を超えている場合にはアウトライアーとしてデータを棄却する。これをすべてのパターンで繰り返す。そして、仮の傾きを変更し、上記工程を繰り返す。
図７において実線はRANSAC を用いた直線回帰である。 RANSAC により外れ値のデータが棄却されているため、外れ値を除いた傾きを求めることができる。
求めたスケール係数を、SfM の値に乗算することで、IMUを積分することなくカメラの外部標定要素および、三次元点群を得ることができる。図７のグラフにより、スケール係数(ｓ)は0.9274と特定できる。 Therefore, outliers are rejected using RANSAC (RANdom SAmple Consensus) to provide robustness. Unlike the least squares method, RANSAC is a robust estimate that can also be used on data that includes outliers. A tentative slope is determined based on randomly extracted data, and if the tentative slope and the extracted two-point slope are below the threshold, it is taken as an inlier, and if it exceeds the threshold, the data is rejected as an outlier Do. Repeat this for all patterns. And a temporary inclination is changed and the said process is repeated.
The solid line in FIG. 7 is a linear regression using RANSAC. Since the outlier data is rejected by RANSAC, the slope excluding the outlier can be determined.
By multiplying the obtained scale factor by the value of SfM, it is possible to obtain the camera external orientation element and the three-dimensional point group without integrating IMU. From the graph of FIG. 7, the scale factor (s) can be identified as 0.9274.

上記の実施態様では、カメラとIMUを相対位置が固定された形態で設置し、移動に伴う該カメラによる動画撮影と該IMUによる加速度の計測を行ものであったが、SLAM技術にはカメラではなくレーザ送受信システム（ライダー）を搭載したものも知られている。本発明ではカメラに限らず、レーザビームの放射方向を走査する機能を備えたライダーとIMUを相対位置が固定された形態で設置し、移動に伴う該ライダーによる時系列データと該IMUによる加速度の計測を行い、撮影した時系列撮影データはデータ毎に静止画像として書き出し、該画像をSLAMの手法で解析して前記ライダーの自己相対位置を求め、該ライダーの自己相対位置を２階微分してカメラの加速度を求め、該ライダーの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記ライダーの自己相対位置に該スケール係数をかけるものとした三次元点群データに実寸法を付与する方法をとることも可能である。   In the above embodiment, the camera and the IMU are installed in a form in which the relative position is fixed, and the moving image shooting with the camera and the measurement of the acceleration by the IMU are performed. There is also known one equipped with a laser transmission / reception system (rider). In the present invention, not only the camera but also a rider having a function of scanning the radiation direction of the laser beam and the IMU are installed in a form in which the relative position is fixed, and time series data by the rider accompanying movement and acceleration by the IMU Measured and photographed time-series shooting data is written as a still image for each data, and the image is analyzed by the SLAM method to obtain the relative position of the rider, and second-order differentiation of the relative position of the rider is performed. Three-dimensional point cloud data in which the acceleration of the camera is determined, the acceleration of the rider and the acceleration information obtained from the IMU are synchronized to obtain the scale coefficient, and the self relative position of the rider is multiplied by the scale coefficient It is also possible to take a method of giving actual dimensions to

本発明を長野県飯田市川路竜西土地改良区にある宮ケ洞３号隧道で実施した計測データを以下に示す。この隧道の内径は幅１ｍ、高さ１.６ｍで、人が通ることが可能な構造の水路であった。計測装置は図８に示すようにワゴン前面にライト付きのカメラを、荷台にはIMUと信号処理用のノートパソコンを固定的に設置した。このワゴンを人が押しながら隧道を通り抜けて実験データを取得した。   The measurement data which implemented this invention in Miyaga-dong No. 3 Sakai in the Kawanishi Ryuji land improvement zone in Iida-shi, Nagano is shown below. The inner diameter of this tunnel was 1 m in width and 1.6 m in height, and it was a channel with a structure that people can pass through. As shown in FIG. 8, the measuring device fixedly mounted a camera with a light on the front of the wagon, and fixedly mounted an IMU and a notebook computer for signal processing on a loading platform. While pushing this wagon, people passed through the trail and acquired experimental data.

カメラの撮像画像データからSLAMにより特徴点の注出が行われると共に、隧道内壁のマップとカメラの自己位置の軌跡が順次得られる。また、他方でこのデータと同期しながらIMUのデータが得られデータが蓄積される。このとき得られたSLAMデータを図９に示す。図中の黒点はSLAMにより注出された特徴点群であり、矩形の枠はカメラの結像面を斜線の交点はカメラ中心を示している。したがって、このカメラ中心を結んだ線がSLAMにより推定されたカメラの自己位置の軌跡ということになる。   From the captured image data of the camera, the feature points are poured out by SLAM, and the map of the inner wall of the shinji and the locus of the self position of the camera are sequentially obtained. Also, on the other hand, the data of IMU is obtained in synchronization with this data, and the data is accumulated. The SLAM data obtained at this time is shown in FIG. The black points in the figure are the feature points poured out by SLAM, and the rectangular frame indicates the image forming plane of the camera, and the intersection of oblique lines indicates the camera center. Therefore, the line connecting the centers of the cameras is the trajectory of the camera's own position estimated by SLAM.

このSLAMデータとIMUのデータを結合させてSLAMデータに実寸法を付与した結果を図１０に示す。進行方向をZ軸に、鉛直方向をY軸にそして水平方向をX軸にしてデータを示している。SLAMにより得られた隧道内壁のマップ情報から、隧道内壁は直線設計されており、直線水路として形成されていることが確認できた。図中の平面図はカメラ中心の水平方向位置の軌跡を、側面図はカメラ中心の上下方向位置の軌跡を示している。水平方向位置の変化はワゴンを押しながらの計測であるため、ワゴンの位置変化を示している。また、上下方向位置の変化は隧道底部に堆積した土砂等の上をワゴンが移動したことによるものである。このカメラ中心の位置変動は計測対象である隧道内壁の計測には影響はない。隧道の入口から出口までの距離は95.300ｍであり、入口の位置を基準とすると出口の高さ位置は0.819ｍ低く、水平位置のずれは0.378ｍであることが確認できた。   The result of combining the SLAM data and the IMU data and adding actual dimensions to the SLAM data is shown in FIG. Data are shown with the traveling direction as the Z axis, the vertical direction as the Y axis, and the horizontal direction as the X axis. From the map information of the Shinto inner wall obtained by SLAM, it was confirmed that the Shinto inner wall was designed in a straight line and formed as a straight water channel. The plan view in the drawing shows the locus of the horizontal position at the center of the camera, and the side view shows the locus of the vertical position at the center of the camera. Since the change in the horizontal position is a measurement while pushing the wagon, it indicates the change in the position of the wagon. The change in vertical position is due to the wagon moving on the sediment deposited on the bottom of the ridge. This positional variation at the center of the camera has no effect on the measurement of the inner wall of the canal which is the measurement object. It was confirmed that the distance from the entrance to the exit of the tunnel was 95.300 m, the height position of the exit was 0.819 m lower and the deviation of the horizontal position was 0.378 m based on the position of the entrance.

このSLAMデータに実寸法を付与した結果を地図上に書き込んだものを図１１に示す。この結果から分かるように、この宮ケ洞３号隧道は直線状の隧道であり、勾配は低くほぼ水平であることが分かった。   The result of writing the actual dimensions to the SLAM data is shown on a map as shown in FIG. As can be seen from this result, it was found that the Miyag-dong 3 Jong-do was a straight Jang-do, the slope was low and almost horizontal.

宮ケ洞３号隧道が単純な直線状のトンネルであったため、もっと複雑な経路について本発明による計測を実施しようと、街中の地下道（都営浅草線東日本橋駅地下通路）で計測を実施した。階段を含む公道での実験であるので、計測装置としてはワゴンを用いずに、図１２に示すようにノートパソコン上にカメラ付きのSLAMとIMUを固定的に取り付け、一体構造としたものを人が抱えて持ち、地下道内（図１３参照）を歩行するという形態で本発明の効果確認実験を行った。図におけるプロット点はSLAM装置は抽出したサンプリング特徴点を示している。この実験において取得した具体的数値データを表1に示す。
この表において左４列（Ａ〜Ｄ）のデータは用いたＳＬＡＭ装置から得られた生データであり、右４列（Ｅ〜Ｈ）は本発明によって演算処理したデータである。 Since Miyaga-dong No.3 Shindo was a simple straight tunnel, in order to carry out the measurement according to the present invention for a more complicated route, the measurement was carried out on the underground road in the city (Toei Asakusa Line East Japan Bridge Station underground passage). Since this is an experiment on a public road including stairs, without using a wagon as a measuring device, as shown in FIG. 12, a camera-equipped SLAM and an IMU are fixedly mounted on a notebook computer to form an integral structure. The effect confirmation experiment of the present invention was conducted in the form of holding and walking in the underground road (see FIG. 13). The plot points in the figure indicate sampling feature points extracted by the SLAM device. Specific numerical data obtained in this experiment are shown in Table 1.
In this table, data in the left four columns (A to D) are raw data obtained from the SLAM apparatus used, and the right four columns (E to H) are data subjected to arithmetic processing according to the present invention.

Ａ列のUnix_time というのはSLAM装置が示す時刻情報であり、これを標準時時刻に直したものをＥ列に示している。Ｂ列はこの装置のレンズ中心のｘ軸位置情報をSLAM座標系で示した値であり、Ｃ列とＤ列はレンズ中心のｙ軸位置情報とｚ軸位置情報をSLAM座標系で示した値である。この値を基に二階微分を実行してカメラの加速度を算出し、IMUから得られた加速度情報との同期をとってスケール係数を求めて、SLAM座標系の位置情報を国土地理院が定めた東京都の座標系情報に変換処理する。Ｆ列のデータがその地球座標系のｘ軸情報、そしてＧ列のデータがその地球座標系におけるｙ軸情報である。Ｈ列データは高さ位置情報であるが、計測開始位置の値を０として算出してある。数値の単位はメートルである。ループとなっている地下通路を移動して計測し、元の出発位置に戻って実験を完了した。表１のデータは実験開始から途中までの連続データで、途中データを省略し、最下列のデータは出発地点の戻った時のデータである。値が当初データとずれがあるのはドリフト等の計測誤差が含まれているが、この実験は人が計測装置を手に抱えて行ったものであるため、カメラ中心の位置が正確に原点に来ないためである。   Unix_time in column A is the time information indicated by the SLAM device, and the one in which this is converted to standard time is shown in column E. Column B is a value showing the x-axis position information of the lens center of this device in the SLAM coordinate system, and column C and D are values showing the y-axis position information of the lens center and z-axis position information in the SLAM coordinate system It is. Based on this value, second-order differentiation is performed to calculate the camera acceleration, synchronized with the acceleration information obtained from the IMU, the scale factor is obtained, and the position information of the SLAM coordinate system is determined by GSI. Converts to Tokyo coordinate system information. The data in column F is the x axis information of the earth coordinate system, and the data in column G is the y axis information in the earth coordinate system. Although the H-column data is height position information, the value of the measurement start position is calculated as zero. The unit of numbers is meters. The underground passage in the loop was moved and measured, and the original starting position was returned to complete the experiment. The data in Table 1 is continuous data from the start of the experiment to the middle of the experiment. The midway data is omitted, and the data in the lowermost row is data when the departure point returns. Although there is a measurement error such as drift when the values are different from the initial data, this experiment was carried out by a person holding the measuring device in hand, so the camera center position is exactly at the origin It is because it does not come.

図１４は、この実験によって得られたカメラ中心位置の水平面軌跡を地球座標系のｘ軸情報とｙ軸情報から得て、建物情報が書き込まれたこの地域の地図上に重ねて表示したものである。この図から東日本橋駅近傍の三角地帯にループ状の地下通路が設置されていることが確認できる。
このデータは通路内を人が移動して得たカメラ中心の位置情報であるが、このカメラ中心の位置情報を基に地下通路の床面位置、両側の壁位置、天井位置情報を算出することも可能である。そもそもSLAM装置は上記したカメラ中心のSLAM座標系位置情報のほか、カメラの方向を示すクウォータニオン（４元数：ｘ，ｙ，ｚ，ｗ）が得られるものであるから、本発明によってSLAM座標系の位置情報に実寸法が与えられることにより、SLAMがサンプリングした特徴点の位置情報を地球座標系に変換できることは原理上自明のことといえる。したがって、通路情報を床面位置、両側の壁位置、天井位置情報の形のほか、通路の中心位置情報として示すことも可能である。 FIG. 14 shows the horizontal locus of the camera center position obtained by this experiment, obtained from the x-axis information and y-axis information of the earth coordinate system, superimposed on the map of this area where the building information is written and displayed. is there. From this figure, it can be confirmed that a loop-like underground passage is installed in a triangular area in the vicinity of East Japan Bridge Station.
Although this data is position information of the camera center obtained by a person moving in the passage, the floor position of the underground passage, the wall positions on both sides, and the ceiling position information should be calculated based on the position information of the camera center. Is also possible. In the first place, since the SLAM apparatus is capable of obtaining a quaternion (quaternion number: x, y, z, w) indicating the direction of the camera in addition to the SLAM coordinate system position information of the camera center described above, It can be said that it is self-evident in principle that the position information of the feature points sampled by the SLAM can be converted to the earth coordinate system by giving an actual dimension to the position information of the system. Therefore, it is possible to show passage information in the form of floor surface position, wall positions on both sides, ceiling position information, and as central position information of the passage.

本発明は、場所的制約はないが、衛星電波を用いないカメラ撮影による三次元点群データと加速度計によって実現可能であるから、電波の届かない地下や施設内領域で適用することが有効である。下水道のような地下埋設管、トンネル、鉱山等の坑道(本明細書ではこれらを総称して地中閉路と呼ぶ。)、ばかりではなく、瓦礫状になった災害事故現場での位置測定や検証、更には人体内の検査にも広い分野での応用が見込まれる。
埋設管路の位置測定においては、走行体にビデオカメラとIMUを搭載し、管路内を不等速駆動させながら動画画像と加速度データを順次取得することにより、本発明の手法によってカメラ位置の軌跡を得ることができる。このカメラ位置の軌跡はすなわち配管位置を意味することとなる。埋設管路が空洞である場合には、走行体は走行車を用いることが適し、水路のように流れがある場合にはフロートや小舟に設置し、移動速度を変化させながら用いることができる。いずれにせよ、基準点がない領域、衛星電波の届かない領域でも精度の高い位置測定を行うことができる。 The present invention can be realized by three-dimensional point cloud data obtained by camera photographing without satellite radio waves and an accelerometer although there is no restriction on the location, so it is effective to apply to underground or in-facility areas where radio waves do not reach is there. Underground underground pipes such as sewers, tunnels, tunnels such as mines (these are generically referred to as underground closed circuits in this specification), as well as position measurement and verification at rubble disaster site Furthermore, application in a wide field is also expected for inspection in the human body.
In the position measurement of the buried pipeline, a video camera and an IMU are mounted on the traveling body, and by sequentially acquiring a moving image and acceleration data while driving the inside of the pipeline at an equal speed, the camera position is determined by the method of the present invention. You can get the trajectory. The locus of this camera position means the pipe position. When the buried pipeline is hollow, it is suitable to use a traveling vehicle as the traveling body, and when there is a flow like a water channel, it can be installed in a float or small boat and used while changing the moving speed. In any case, highly accurate position measurement can be performed even in an area without a reference point and an area not reached by satellite radio waves.

Claims (4)

カメラとIMUを相対位置が固定された形態で設置し、移動に伴う該カメラによる動画撮影と該IMUによる加速度の計測を行い、撮影した動画はフレーム毎に静止画として書き出し、撮影された画像をSLAMの手法で解析してカメラの自己相対位置を求め、該カメラの自己相対位置を２階微分してカメラの加速度を求め、該カメラの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記カメラの自己相対位置に該スケール係数をかけるものとした三次元点群データに実寸法を付与する方法。   The camera and the IMU are installed in a fixed relative position, and the moving image shooting with the camera and the measurement of the acceleration by the IMU are performed, the captured moving image is written as a still image for each frame, and the captured image is captured The self relative position of the camera is determined by analysis using the SLAM method, the second relative position of the camera is differentiated, the acceleration of the camera is determined, and the acceleration of the camera and the acceleration information obtained from the IMU are synchronized. A method of obtaining a scale factor and giving actual dimensions to three-dimensional point cloud data, wherein the scale factor is multiplied by the self relative position of the camera. 前記移動は加速度の増減を繰り返しながら計測を行うことを特徴とする請求項１に記載の三次元点群データに実寸法を付与する方法。   The method according to claim 1, wherein the movement is measured while repeating increase and decrease of acceleration. 前記カメラとIMUを相対位置が固定された形態は走行体上の設置であって、移動は走行体によって対象領域内を走行させ、請求項１に記載の方法によって得た前記カメラの位置情報から対象物の位置を測定する方法。   The form in which the relative position between the camera and the IMU is fixed is installation on a traveling body, and movement is performed by the traveling body within the target area, and from the position information of the camera obtained by the method according to claim 1 How to measure the position of an object. 放射方向を走査する機能を備えたライダーとIMUを相対位置が固定された形態で設置し、移動に伴う該ライダーによる時系列データと該IMUによる加速度の計測を行い、撮影した時系列撮影データはデータ毎に静止画像として書き出し、該画像をSLAMの手法で解析して前記ライダーの自己相対位置を求め、該ライダーの自己相対位置を２階微分してカメラの加速度を求め、該ライダーの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記ライダーの自己相対位置に該スケール係数をかけるものとした三次元点群データに実寸法を付与する方法。
A rider with a function to scan the radiation direction and an IMU are installed in a fixed relative position configuration, and time series data by the rider with movement and acceleration by the IMU are measured, and the time series photographed data is Each data is written out as a still image, and the image is analyzed by the SLAM method to determine the rider's own relative position, and the rider's own relative position is second-order differentiated to determine the camera acceleration, the rider's acceleration and A method of obtaining a scale factor in synchronization with acceleration information obtained from the IMU, and applying actual dimensions to three-dimensional point group data in which the scale factor is multiplied by the relative position of the rider.
JP2018194726A 2017-10-17 2018-10-16 Method for giving real dimensions to slam data and position measurement using the same Pending JP2019074532A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017201054 2017-10-17
JP2017201054 2017-10-17

Publications (1)

Publication Number Publication Date
JP2019074532A true JP2019074532A (en) 2019-05-16

Family

ID=66544126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018194726A Pending JP2019074532A (en) 2017-10-17 2018-10-16 Method for giving real dimensions to slam data and position measurement using the same

Country Status (1)

Country Link
JP (1) JP2019074532A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111006645A (en) * 2019-12-23 2020-04-14 青岛黄海学院 Unmanned aerial vehicle surveying and mapping method based on motion and structure reconstruction
CN111750853A (en) * 2020-06-24 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 Map establishing method, device and storage medium
CN111915680A (en) * 2020-09-01 2020-11-10 山东新一代信息产业技术研究院有限公司 Robot positioning method, system, electronic device and computer readable medium
JP2021025902A (en) * 2019-08-06 2021-02-22 株式会社東芝 Position posture estimation device, position posture estimation method, and program
CN112733641A (en) * 2020-12-29 2021-04-30 深圳依时货拉拉科技有限公司 Object size measuring method, device, equipment and storage medium
CN112789655A (en) * 2019-09-23 2021-05-11 北京航迹科技有限公司 System and method for calibrating an inertial test unit and camera
GB2590117A (en) * 2019-09-12 2021-06-23 Bosch Gmbh Robert System and method for enhancing non-inertial tracking system with inertial constraints
CN113267788A (en) * 2021-05-14 2021-08-17 武汉理工大学 Data acquisition and processing method and device for laser SLAM
CN114040128A (en) * 2021-11-24 2022-02-11 视辰信息科技(上海)有限公司 Time stamp delay calibration method, system, equipment and computer readable storage medium
JP2022074298A (en) * 2020-11-04 2022-05-18 基幹構造株式会社 Survey method
CN114719759A (en) * 2022-04-01 2022-07-08 南昌大学 Object surface perimeter and area measurement method based on SLAM algorithm and image instance segmentation technology
JP2022548441A (en) * 2020-08-17 2022-11-21 チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド POSITION AND ATTITUDE DETERMINATION METHOD, APPARATUS, ELECTRONIC DEVICE, STORAGE MEDIUM AND COMPUTER PROGRAM
JP7290785B1 (en) 2022-07-07 2023-06-13 中国長江三峡集団有限公司 Mobile positioning method and system for scanning device applied to tunnel construction

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222580A (en) * 1999-02-03 2000-08-11 Inst Of Physical & Chemical Res Method for restoring three-dimensional structure from two-dimensional moving picture
WO2012172870A1 (en) * 2011-06-14 2012-12-20 日産自動車株式会社 Distance measurement device and environment map generation apparatus
JP2013211755A (en) * 2012-03-30 2013-10-10 Toshiba Corp Electronic apparatus and display control method
JP2013232078A (en) * 2012-04-27 2013-11-14 Hitachi Ltd Automated guided vehicle
JP2014171019A (en) * 2013-03-01 2014-09-18 Japan Science & Technology Agency Autonomous synchronization system synchronizing devices and autonomous synchronization method
JP2014185996A (en) * 2013-03-25 2014-10-02 Toshiba Corp Measurement device
US20150201180A1 (en) * 2013-07-23 2015-07-16 The Regents Of The University Of California 3-d motion estimation and online temporal calibration for camera-imu systems
JP2016201937A (en) * 2015-04-13 2016-12-01 株式会社デンソー Electric vehicle and charging stand
WO2017168899A1 (en) * 2016-03-30 2017-10-05 ソニー株式会社 Information processing method and information processing device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222580A (en) * 1999-02-03 2000-08-11 Inst Of Physical & Chemical Res Method for restoring three-dimensional structure from two-dimensional moving picture
WO2012172870A1 (en) * 2011-06-14 2012-12-20 日産自動車株式会社 Distance measurement device and environment map generation apparatus
JP2013211755A (en) * 2012-03-30 2013-10-10 Toshiba Corp Electronic apparatus and display control method
JP2013232078A (en) * 2012-04-27 2013-11-14 Hitachi Ltd Automated guided vehicle
JP2014171019A (en) * 2013-03-01 2014-09-18 Japan Science & Technology Agency Autonomous synchronization system synchronizing devices and autonomous synchronization method
JP2014185996A (en) * 2013-03-25 2014-10-02 Toshiba Corp Measurement device
US20150201180A1 (en) * 2013-07-23 2015-07-16 The Regents Of The University Of California 3-d motion estimation and online temporal calibration for camera-imu systems
JP2016201937A (en) * 2015-04-13 2016-12-01 株式会社デンソー Electric vehicle and charging stand
WO2017168899A1 (en) * 2016-03-30 2017-10-05 ソニー株式会社 Information processing method and information processing device

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021025902A (en) * 2019-08-06 2021-02-22 株式会社東芝 Position posture estimation device, position posture estimation method, and program
JP7204612B2 (en) 2019-08-06 2023-01-16 株式会社東芝 POSITION AND POSTURE ESTIMATION DEVICE, POSITION AND POSTURE ESTIMATION METHOD, AND PROGRAM
US11181379B2 (en) 2019-09-12 2021-11-23 Robert Bosch Gmbh System and method for enhancing non-inertial tracking system with inertial constraints
GB2590117B (en) * 2019-09-12 2024-04-10 Bosch Gmbh Robert System and method for enhancing non-inertial tracking system with inertial constraints
GB2590117A (en) * 2019-09-12 2021-06-23 Bosch Gmbh Robert System and method for enhancing non-inertial tracking system with inertial constraints
CN112789655A (en) * 2019-09-23 2021-05-11 北京航迹科技有限公司 System and method for calibrating an inertial test unit and camera
CN111006645A (en) * 2019-12-23 2020-04-14 青岛黄海学院 Unmanned aerial vehicle surveying and mapping method based on motion and structure reconstruction
CN111750853A (en) * 2020-06-24 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 Map establishing method, device and storage medium
JP7236565B2 (en) 2020-08-17 2023-03-09 チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド POSITION AND ATTITUDE DETERMINATION METHOD, APPARATUS, ELECTRONIC DEVICE, STORAGE MEDIUM AND COMPUTER PROGRAM
JP2022548441A (en) * 2020-08-17 2022-11-21 チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド POSITION AND ATTITUDE DETERMINATION METHOD, APPARATUS, ELECTRONIC DEVICE, STORAGE MEDIUM AND COMPUTER PROGRAM
CN111915680A (en) * 2020-09-01 2020-11-10 山东新一代信息产业技术研究院有限公司 Robot positioning method, system, electronic device and computer readable medium
JP2022074298A (en) * 2020-11-04 2022-05-18 基幹構造株式会社 Survey method
CN112733641A (en) * 2020-12-29 2021-04-30 深圳依时货拉拉科技有限公司 Object size measuring method, device, equipment and storage medium
CN113267788A (en) * 2021-05-14 2021-08-17 武汉理工大学 Data acquisition and processing method and device for laser SLAM
CN113267788B (en) * 2021-05-14 2023-12-26 武汉理工大学 Data acquisition and processing method and device for laser SLAM
CN114040128A (en) * 2021-11-24 2022-02-11 视辰信息科技(上海)有限公司 Time stamp delay calibration method, system, equipment and computer readable storage medium
CN114040128B (en) * 2021-11-24 2024-03-01 视辰信息科技(上海)有限公司 Time stamp delay calibration method, system, equipment and computer readable storage medium
CN114719759A (en) * 2022-04-01 2022-07-08 南昌大学 Object surface perimeter and area measurement method based on SLAM algorithm and image instance segmentation technology
CN114719759B (en) * 2022-04-01 2023-01-03 南昌大学 Object surface perimeter and area measurement method based on SLAM algorithm and image instance segmentation technology
JP7290785B1 (en) 2022-07-07 2023-06-13 中国長江三峡集団有限公司 Mobile positioning method and system for scanning device applied to tunnel construction
JP2024008786A (en) * 2022-07-07 2024-01-19 中国長江三峡集団有限公司 Moving positioning method for scanner applied to tunnel construction and system

Similar Documents

Publication Publication Date Title
JP2019074532A (en) Method for giving real dimensions to slam data and position measurement using the same
US8494225B2 (en) Navigation method and aparatus
CN111156998B (en) Mobile robot positioning method based on RGB-D camera and IMU information fusion
US8260036B2 (en) Object detection using cooperative sensors and video triangulation
Atia et al. Integrated indoor navigation system for ground vehicles with automatic 3-D alignment and position initialization
JP6291519B2 (en) Method of assigning actual dimensions to 3D point cloud data and position measurement of pipes etc. using it
EP2133662B1 (en) Methods and system of navigation using terrain features
Karamat et al. Novel EKF-based vision/inertial system integration for improved navigation
US9171225B2 (en) Device, method, and recording medium for detecting and removing mistracked points in visual odometry systems
EP2434256B1 (en) Camera and inertial measurement unit integration with navigation data feedback for feature tracking
US20080195316A1 (en) System and method for motion estimation using vision sensors
CN110402368B (en) Integrated vision-based inertial sensor system for use in vehicle navigation
JP5339304B2 (en) Mobile positioning device
US20030146869A1 (en) Passive/ranging/tracking processing method for collision avoidance guidance
CN110736457A (en) combination navigation method based on Beidou, GPS and SINS
JP4986883B2 (en) Orientation device, orientation method and orientation program
JP3900365B2 (en) Positioning device and positioning method
JP2005062083A (en) Survey system having function of position error correction
Liu et al. Implementation and analysis of tightly integrated INS/stereo VO for land vehicle navigation
CN103017773B (en) A kind of based on catalog of celestial bodies region feature and natural satellite road sign around section air navigation aid
Grinstead et al. Vehicle-borne scanning for detailed 3D terrain model generation
JP2017181393A (en) Navigation device and navigation method
Koska Bore-sights and Lever-arms Determination of Sensors Mounted on Autonomous Mapping Airship
Kim et al. Loosely-coupled vision/INS integrated navigation system
CN114184194A (en) Unmanned aerial vehicle autonomous navigation positioning method in rejection environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190625

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200623

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210601