JP6291519B2

JP6291519B2 - 三次元点群データに実寸法を付与する方法とそれを用いた管路等の位置測定

Info

Publication number: JP6291519B2
Application number: JP2016080882A
Authority: JP
Inventors: 翔次郎安齋; 俊雄小泉; 山本　朗; 朗山本
Original assignee: 有限会社ネットライズ; 俊雄小泉; 翔次郎安齋
Priority date: 2016-04-14
Filing date: 2016-04-14
Publication date: 2018-03-14
Anticipated expiration: 2036-04-14
Also published as: JP2017191022A

Description

本発明は走行体にカメラと慣性装置を取り付け、視角を異にする複数の写真から得られた三次元点群情報に、実寸法を付与する技術及びそれを用いた管路等の位置測定に関する。

三次元点群情報は、Structure from Motion（以下SfMと略称する。）という手法で得ることができる。この手法は、あるシーンをカメラの視点を変えながら撮影した複数枚の画像からそのシーンの３次元形状とカメラの位置を同時に復元する手法である。この技術は、得られるシーンの３次元形状に着目すればコンピュータビジョンにおける形状復元問題の１つの解法であり、一方カメラの位置推定に着目すればロボットビジョンにおける自己位置推定手法と捉えることもできる。このように、SfMは応用範囲の広い基本的かつ重要な技術として注目されている。SfMの一般的な処理手順は、まず対象となるシーンを撮影した複数枚の画像に対して特徴点を抽出し、画像間でその特徴点群の対応関係を獲得し、次にその対応関係を記述した行列を生成し、それを因子分解することで各特徴点の３次元座標とカメラ位置を推定するというものである。しかし、この三次元点群情報は相似形のものを算出するため被写体の形状情報が得られるが、そのままでは実寸法や地球座標上の絶対位置情報は分からない。

上記したSfMによる点群情報に実寸法や地球座標上の絶対位置情報を付与する手法として、GNSSすなわち、"Global Navigation Satellite System(s)"「全地球航法衛星システム」から得られる情報を用いることがよく知られている。点群データの複数の特定点の位置情報をGNSSによって得、地球座標位置と関係付けを行うのである。しかし、衛星からの電波の届かない場所ではこの手法は採用できないため、そのような条件下では慣性装置（Inertial Measurement Unit：以下IMUと略称する。）によって実寸法を付与する方法も知られている。この慣性装置とは加速度計とジャイロを備えたものであって、加速度は速度の変化率であり、物が動くところには必ず発生する。この加速度を１階積分すると速度、もう１回積分すると距離になる。そこで、加速度計を水平（Ｘ,Ｙ）・垂直（Ｚ）の３軸に配置し、その出力を２階積分することで各軸の出発点からの移動距離（位置）を知ることができる。移動中の軸の傾きはジャイロにより計測する。ジャイロも加速度計と同様に３軸に配置し、出力される角速度を１回積分することで各軸の傾き（姿勢角）を知ることができる。ところが、このIMU手法には時間累積に伴いドリフト誤差が積算され大きくなるという問題点がある。

それは加速度から距離や角度を求めるには時間による積分を行う必要があり、長時間の計測となるほどにドリフトが増してしまうという現象に起因するもので、最終的に実寸法に一致せず破綻してしまう。このドリフトを補正する方法として、GNSS を用いる方法があるが、それは複数のGNSS アンテナを移動体に搭載して、その基線ベクトルによる姿勢決定方法や角速度を使用せずに、GNSS とクォータニオンの誤差ベクトルから Wahba's problem によって姿勢を決定する方法がある。GNSS を用いない方法としては、停止時のIMUの計測速度０ｍ/ｓを利用して蓄積した誤差分をオフセットするZUPT処理法がある。しかしこの方法には、頻繁に速度０ｍ/ｓとなる停止区間を設けることが必要となり、この方法は実用的ではない。

また、動画映像をビデオ撮影するカメラのカメラ位置とカメラ方向を算出して、そのカメラ位置情報に基づいて任意の対象物の位置情報を取得する画像処理演算装置に関する手法が特許文献１に提示されている。この文献にはカメラが移動することによる画像の動きから、カメラの三次元位置との３軸回転姿勢を演算で求めるＣＶ（カメラベクトル）、すなわち計測のための映像を取得したカメラの三次元位置と３軸回転姿勢を示す値を演算する技術が開発されているが、このＣＶ演算で求められたＣＶ値は、取得された映像のカメラ位置を示すものであり、映像内での三次元計測が可能となるという優れた特性を持ち、GPSと比較して高精度な位置情報の取得が可能であった。ただ、ＣＶ値は絶対値ではなく相対値であるためにスケールが変化し、距離を重ねるにつれて誤差が蓄積するという特性もあったと、この文献は問題認識を示している。このドリフト誤差の補正法として、カメラ画像、GPS位置情報、IMUデータを用いた補正法が開示されている。GPSにより、車輌の絶対座標が計算で求められ、またIMUのデータが取得されることで、車輌の３軸絶対回転量が計算により得られることになる。ただ、GPSとIMUによるそれぞれのデータの精度は低いので、それを二台の広角カメラによるＣＶ値で補正することになる。また、GPSは、長時間かけてその静止位置を求めることにより、精度の高い位置関係を求めることができると説明されている。
しかしこの方法は、GPSすなわち、衛星電波による情報が必須であり、トンネル内や管路内、施設内といった電波の届かない場所では適用できない。

また、複数画像から得られる三次元点群データに実寸法を与える技術として、特許文献２が提示されている。この文献は三次元点群情報に、実寸法を付与する技術として安価な構成で、しかも簡便に自己位置が特定でき、更に３次元点群モデルの作成が可能な計測装置を提供することを目的としたもので、全方位カメラで撮像した時の絶対位置を求める為の絶対スケールを取得する手段として、前記全方位カメラが取得した画像から既知の長さを示す絶対スケール対象物を抽出し、該絶対スケール対象物から画像中の実寸法を求める手法が開示されている。その具体的手段として、所定の位置に設けられるトータルステーション、前記全方位カメラと一体に設けられるプリズムとを設置し、前記トータルステーションが前記プリズムの位置を測定することで前記絶対スケールを取得する計測装置に係るものである。この方法は衛星電波の届かない場所でも適用できるが、画像中の複数位置をトータルステーションで計測する必要があり、管路内等狭い場所での実施は難しい。

特開２００６−２５０９１７号公報「高精度ＣＶ演算装置と、この高精度ＣＶ演算装置を備えたＣＶ方式三次元地図生成装置及びＣＶ方式航法装置」平成１８年９月２１日公開特開２０１４−１７３９９０号公報「計測装置」平成２６年９月２２日公開

本発明の課題は、SfMによる点群情報にIMUを用いて実寸法を付与するものにおいて、時間軸に対してドリフトの発生しない新しい手法を提供すること、また、その手法を用いGNSSに依存しない、かつ狭い場所でも実施できる位置測定システムを提供することにある。

本発明の三次元点群データに実寸法を付与する方法は、カメラとIMUを相対位置が固定された形態で設置し、移動に伴う該カメラによる動画撮影とIMUによる加速度の計測を行い、撮影した動画はフレーム毎に静止画として書き出し、撮影された画像をSfMで解析してカメラの自己相対位置を求め、該カメラの自己相対位置を２階微分してカメラの加速度を求め、該カメラの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記カメラの自己相対位置に該スケール係数をかけるものとした。

本発明の三次元点群データに実寸法を付与する方法は、前記移動は加速度の増減を繰り返しながら計測を行うことを特徴とする請求項１に記載の三次元点群データに実寸法を付与する方法。

本発明の位置測定方法は、カメラとIMUを相対位置が固定された形態は走行体上の設置であって、移動は走行体によって対象領域内を走行させ、上記の方法によって得た前記カメラの位置情報から対象物の位置を把握するものとした。

本発明の三次元点群データに実寸法を付与する方法は、加速度データを２階積分することなく、計測データをそのままカメラの加速度と比較するものであるから、従来のIMUによるものに比較してドリフト誤差は極めて小さいものとなる。
本発明の同期方法により、従来必要であった同期装置を用いることなくカメラとIMUの同期を行うことを可能とした。
本発明の計測方法は適度な加減速を得ていれば、従来の慣性測量の様に途中で静止をする必要がないため、実用性が高い。
この手法はドリフト現象が欠点である慣性測量での測位精度向上にも寄与するものである。

本発明の動作フローを示す図である。ＡはカメラとIMUの時間差による平面方向の加速度値の変化を示すグラフであり、Ｂは同期位置の算定を示すグラフである。フィルタ通過前のノイズを含んだ波形例を示すグラフである。フィルタ通過後のノイズを取り除いた波形例を示すグラフである。相関によるスケールの決定手法を説明するグラフである。Ａは用いたカメラの写真、Ｂは用いたIMUの写真そしてＣは用いたジンバルスタビライザーの写真である。実験を行った場所の平面図である。ＡはカメラとIMUの加速度の同期結果を示すグラフであり、Ｂはそのグラフの部分拡大図、そしてＣはカメラとIMUの加速度の同期時間を示すグラフである。 RANSACによりノイズを除去する前後のデータによるスケール係数決定の差を示すグラフである。Ａはカメラの外部標定要素を用いた精度の比較図であり、Ｂは検証点を用いたものとの誤差の比較図である。

以下、本発明の実施の形態について、詳細に説明する。本発明者らは衛星電波の使えない場所、例えば地中に埋設された管路等の位置測定などに、視点を異にする複数写真から得られる三次元点群情報を用い、これに絶対スケールを付与するため、IMUを組み合わせた慣性写真測量を用いることを考えた。このSfM/IMUシステムは前述したように、ドリフトによる累積誤差という問題を持っている。要するに、本発明はその技術の短所といえるドリフト誤差の問題を解決する新たな手法を提示するものである。

本発明の慣性写真測量の理論は、SfM に実寸法を与える方法の理論であり、図１に本論文における慣性写真測量の解析の流れを示す。
本発明において、カメラと慣性装置（IMU）は互いに相対位置が固定された形態であることが必須であって、走行車上に載置することは必須ではないが、ここでは走行車等の走行体にカメラと加速度計、ジャイロを備えたIMUを搭載したものを例に説明する。撮影と計測を行うのであるが、先ず、カメラによる動画撮影とIMUによる加速度の計測を行う。等速直線走行時には加速度変化は生じないから、走行体は不等速走行させながら加速度情報を得つつ測定を実施する。撮影した動画はフレーム毎に静止画として書き出す。撮影された画像をSfMで解析し相対的な被写体の３次元点群データとカメラの位置と傾きを得る。SfMによるカメラの外部標定要素について説明すると、式(１)は画像に写る２次元な点(左辺)と実際の３次元の点(右辺)の関係を表した透視変換の式である。右辺の焦点距離ｆを含む３×３行列はカメラの内部標定要素(レンズの歪、主点位置など)である。これはカメラキャリブレーションを行うことでパラメータが決定される。右辺のカメラの位置ｔと傾きｒを含んだ３×４行列がカメラの外部標定要素である。
初期条件として基準座標値を与えずに SfM の解析を行った場合、得られるカメラの外部標定要素と３次元点群データはスケール係数ｓが不確定のため、本来のモデルとは相似関係のモデルが生成される。ここで、算出されたカメラの位置を時間で２階微分したものをカメラの加速度と整合させて定義する。スケール係数を求めるためにはカメラとIMUの同期を図る必要がある。

次に、カメラとIMUの同期方法について説明する。本発明では同期装置を用いず、カメラとIMUの加速度により同期を図る。図２はカメラとIMUの加速度を示したグラフであり、Ａにおいて破線がカメラの、実線がIMUの加速度である。２つはスケールの異なる２つのグラフであって、同期に使用するカメラとIMUの加速度は式(２)の平面方向の加速度とする。
ここでは、同期をしていない状態を仮定し、カメラの加速度は15秒遅れて得たものとして図示してある。図２のＢは式(３)で求めた計算結果である。図中のΣ（カメラ×IMU）とは、IMUの平面方向の加速度にカメラの平面方向の加速度を乗じたものである。式(３)により値Ａ_ｔが最も大きい時の時間を求める。時間の求め方は、図２のＢに示すように多項式近似を行い、より詳細に算出した時間を同期位置として決定する。なお、グラフ中の◆印はカメラとIMUの加速度を乗じた元データ、○印は多項式に用いるデータである。
具体的には図２のＢをみると、多項式の凸の頂点より、カメラとIMUの起動開始の時間差は15秒になっている。このことは初めに設定したカメラの起動の遅れは15秒であるので、本手法により求めた時間は正しく、正確な同期位置を求めることが可能であることが分かる。
なお、同期を行うためには、できる限りノイズのないデータを利用するのが好ましい。そこで、ノイズ除去のためにフーリエ変換を行う。図３はノイズを含んだ波形データである。図４は高速フーリエ変換にてノイズ成分を取り除いた波形データである。本手法では、採用するフーリエ・スペクトルを変えては同期処理を行い、最もカメラ×IMUの値が大きい波形を採用する。

次に、絶対寸法化を図るスケール係数の決定について説明すると、同期したカメラとIMUの加速度を用いてスケール係数を求めるには、カメラの加速度がIMUの加速度と等しくなる倍率を求めればよい。そこで、カメラと IMUの加速度を用いて相関を取れば、スケール係数は式(４) の多項式として考えることができる。ｙ＝ｘとなる傾きを求めるためスケール係数(s) はａの項と同義である。よってｓはａを求めることによって求まる。
相関を取るにあたり、ノイズがスケール係数の決定に大きく影響を及ぼす。図５は外れ値を含んだカメラとIMUの加速度を想定した相関図である。小点は外れ値としてランダムに生成した点、○で囲んだ点は正しい観測値である。破線は外れ値を含んだデータで求めた直線回帰である。本来は傾きが１：１となるような近似曲線を求めたい。しかし、外れ値が影響するため正確な傾きが求められない。

そこで、ロバスト性を持たせるため RANSAC(RANdom SAmple Consensus) を用いて外れ値のデータ棄却を行う。RANSAC は、最小二乗法とは異なり、外れ値を含んだデータにおいても使用することのできるロバスト推定である。ランダムに抽出したデータを基に仮の傾きを求め、仮の傾きと抽出した２点の傾きが閾値以下であれば、インライアーとして取り入れ、閾値を超えている場合にはアウトライアーとしてデータを棄却する。これをすべてのパターンで繰り返す。そして、仮の傾きを変更し、上記工程を繰り返す。
図５において実線はRANSAC を用いた直線回帰である。 RANSAC により外れ値のデータが棄却されているため、外れ値を除いた傾きを求めることができる。
求めたスケール係数を、SfM の値に乗算することで、IMUを積分することなくカメラの外部標定要素および、三次元点群を得ることができる。図５のグラフにより、スケール係数(ｓ)は0.9274と特定できる。

上記の理論を実験によって検証した。
実験に使用した器材を図６のＡ，Ｂ，Ｃに示す。Ａに示すカメラは動画撮影が可能であり、高感度の速いシャッター速度で撮影が行えるようにSONY社製α7S (商品名)を採用した。Ｃに示すジンバルスタビライザーに搭載可能なようにＢに示すIMUは小型・軽量で安価なものとし、カメラの手ブレが防止されIMUの加速度の取得が滑らかになるよう、ジンバルスタビライザーを用いた。ＣはカメラとIMUをDJI社製RONIN-M(商品名)のジンバルスタビライザーに取り付けた写真である。
実験は千葉工業大学１号館西側通路の０ｍ地点から60ｍ地点までの一軸移動である。本実験における座標は、図７に示す通りである。装置は走行車を用いず手持ちで移動を行った。ジンバルスタビライザーで、水平を保った状態でIMUを起動し10秒間停止、10秒経過後にカメラの動画撮影を開始し、さらに３秒間の停止を行う。３秒経過後、ジンバルスタビライザーを手持ちで進行方向に移動する。カメラの撮影の向きは進行方向直線である。移動は 10ｍ毎に１秒停止をする形態で実施し、60ｍ地点では５秒静止後にカメラの撮影を終了させ、さらに５秒後にIMUの計測を終了させた。

カメラとIMUの同期実験を説明する。図８のＡに示すグラフはIMUの加速度と高速フーリエ変換によってノイズを取り除いたカメラの平面方向の加速度を同期したグラフである。図８のＢはＡを部分的に拡大した図である。図８のＣはカメラとIMUの加速度を用いた多項式のグラフである。Ｂをみると、IMUとカメラが移動した際に生じた、大きな加速度をほぼ同時刻に検出していることが確認できる。カメラとIMUの移動開始時における加速度の加速始めと60ｍ地点（図中 67秒付近）での停止時の加速度の減速のタイミングを比べても相違なく、同時刻に加速度が検出できているように見られる。60秒付近において、カメラの加速度がIMUの加速度と異なる加速度を得ているように見られる。これは、撮影時に被写体となった建物が反射していたことで加速度に影響したと考えられる。進行方向に進むほどカメラの加速度がIMUの加速度と異なるのは、60秒付近では画像の３割程度が反射した建物の面を撮影しているためと推測される。
カメラとIMUの加速度を全体的にみると、異なる時間で加速度を検出している様子もなく、正常に同期ができていると推測できる。なお、IMUとカメラの時間差は11.04秒であった。

スケール係数の決定であるが、図９はRANSACによる外れ値を取り除いたデータを用いたカメラとIMUの相関図である。ここで小点は RANSACで外れ値を取り除く前のカメラとIMUの相関であり、そして破線は小点を用いて求めた直線回帰である。大きい点はRANSAC後の相関で、実線はその線形回帰である。これを見ると、外れ値を取り除く前と取り除いた後ではスケール係数が大きく異なるのが確認できる。今回の実験においては、図８のＢを見てもカメラの加速度のほうがIMUの加速度よりも小さくスケール係数は１を上回る値が理論的に出るはずである。よって、RANSAC前の直線回帰で求めた式は誤りであることが分かる。

従来の慣性写真測量では、IMU単独で計測した位置と傾きがカメラの外部標定要素として用いられている。本手法とIMU単独によるカメラの外部標定要素を３次元距離にて比較し、本手法の優位性を示す。図１０のＡにその結果を示す。図中の真値は 60ｍ付近である。これによると、従来のIMU単独の方法ではIMU が時間経過に伴うドリフトにより、誤差の増大が確認できる。これに対して、本手法では加速度の積分を行わないためドリフトによる誤差増大は見られない。図１０のＢは本手法とIMU単独、および地上写真測量による検証点の３次元距離を真値と比較した結果である。真値はトータルステーションにより計測した。図１０のＢに示されたIMU単独と本手法による真値との誤差を比較すると、カメラの外部標定要素を正しく推定したことにより、計測精度が向上しているのが確認できる。
本手法を考案、実証することで、従来の慣性測量の短所であった時間軸に対するIMUのドリフトを克服し、その優位性を示すことが確認できた。

本発明は、場所的制約はないが、衛星電波を用いないカメラ撮影による三次元点群データと加速度計によって実現可能であるから、電波の届かない地下や施設内領域で適用することが有効である。下水道のような地下埋設管、トンネル、鉱山等の坑道(本明細書ではこれらを総称して地中閉路と呼ぶ。)、ばかりではなく、瓦礫状になった災害事故現場での位置測定や検証、更には人体内の検査にも広い分野での応用が見込まれる。
埋設管路の位置測定においては、走行体にビデオカメラとIMUを搭載し、管路内を不等速駆動させながら動画画像と加速度データを順次取得することにより、本発明の手法によってカメラ位置の軌跡を得ることができる。このカメラ位置の軌跡はすなわち配管位置を意味することとなる。埋設管路が空洞である場合には、走行体は走行車を用いることが適し、水路のように流れがある場合にはフロートや小舟に設置し、移動速度を変化させながら用いることができる。いずれにせよ、基準点がない領域、衛星電波の届かない領域でも精度の高い位置測定を行うことができる。

Claims

カメラとIMUを相対位置が固定された形態で設置し、移動に伴う該カメラによる動画撮影と該IMUによる加速度の計測を行い、撮影した動画はフレーム毎に静止画として書き出し、撮影された画像をSfMで解析してカメラの自己相対位置を求め、該カメラの自己相対位置を２階微分してカメラの加速度を求め、該カメラの加速度と前記IMUから得られた加速度情報との同期をとってスケール係数を得、前記カメラの自己相対位置に該スケール係数をかけるものとした三次元点群データに実寸法を付与する方法。
前記移動は加速度の増減を繰り返しながら計測を行うことを特徴とする請求項１に記載の三次元点群データに実寸法を付与する方法。
前記カメラとIMUを相対位置が固定された形態は走行体上の設置であって、移動は走行体によって対象領域内を走行させ、請求項１に記載の方法によって得た前記カメラの位置情報から対象物の位置を測定する方法。