JP2022042146A - データ処理装置、データ処理方法およびデータ処理用プログラム - Google Patents

Abstract

【課題】２つのレーザースキャン点群の間の対応関係の特定を容易に高い精度で行う。【解決手段】第１の時期に取得された第１のレーザースキャン点群および第２の時期に取得された第２のレーザースキャン点群を取得するレーザースキャン点群取得部１０１と、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群の中で共通し、第１の時期と第２の時期において不変な不動物に関するレーザースキャン点群に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定を行うレーザースキャン点群間の対応関係特定部１１０とを備えるデータ処理装置１００。【選択図】図２

Description

本発明は、レーザースキャナが得た情報を利用する技術に関する。

特許文献１には、車両に搭載したレーザースキャナにより、レーザースキャンを行う技術が記載されている。

特開２０１６－４５１５０号公報

車両にレーザースキャナを搭載し、当該車両を走行させながらレーザースキャンを行うことで道路設備等のレーザースキャン点群（レーザースキャンデータ）を得、このレーザースキャン点群を各種の診断やメンテナンス等に利用する技術が知られている。

この技術では、時間をおいて、同一対象に対するレーザースキャンを行い、レーザースキャン点群間の比較が行われる。この際、第１のレーザースキャン点群と第２のレーザースキャン点群の対応関係の特定（位置合わせの意味でレジストレーションともいう）を行う必要がある。

ソフトウェア処理により、上記のレーザースキャン点群間の対応関係の特定を行う技術も各種のものが開発されている。しかしながら、無数の点群同士の対応関係の特定は、処理が膨大であるため、処理が終了せず停止したり、誤処理が発生したりする問題があり、実用性に欠けていた。このため、ソフトウェア処理とオペレータによるマニュアル処理を併用することで、膨大な手間をかけて上記の対応関係の特定に係る処理が行なわれているのが現状である。

このような背景において、本発明は、２つのレーザースキャン点群の間の対応関係の特定を容易に高い精度で行うことができる技術の提供を目的とする。

本発明は、第１の時期に取得された第１のレーザースキャン点群および第２の時期に取得された第２のレーザースキャン点群を取得するレーザースキャン点群取得部と、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群の中で共通し、第１の時期と第２の時期において不変な不動物に関するレーザースキャン点群に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定を行うレーザースキャン点群間の対応関係特定部とを備えるデータ処理装置である。

本発明において、前記第１の時期において撮影され前記第１のレーザースキャン点群の対象を撮影した第１の画像、および前記第２の時期において撮影され前記第２のレーザースキャン点群の対象を撮影した第２の画像を取得する画像取得部と、前記第１の画像および前記第２の画像から前記不動物を検出する不動物の検出部とを備える態様が挙げられる。

本発明において、前記第１のレーザースキャン点群および前記第２のレーザースキャン点群の少なくとも一方は、移動しながらのレーザースキャンにより得られたものであり、前記第１の画像および前記第２の画像は、視点の位置を合わせたものが取得される態様が挙げられる。

本発明において、前記第１のレーザースキャン点群に基づき、前記第１の画像を撮影したカメラの位置および姿勢で見た第１の点群画像、および前記第２のレーザースキャン点群に基づき、前記第２の画像を撮影したカメラの位置および姿勢で見た第２の点群画像を作成する点群画像作成部を備える態様が挙げられる。

本発明において、前記第１の画像と前記第１の点群画像とを合成した第１の合成画像および前記第２の画像と前記第２の点群画像とを合成した第２の合成画像を作成する合成画像作成部と、前記第１の合成画像に基づく、前記第１のレーザースキャン点群からの前記不動物に係る第１の部分点群の切り出し、および前記第２の合成画像に基づく、前記第２のレーザースキャン点群からの前記不動物に係る第２の部分点群の切り出しを行う部分点群の切り出し部と、前記第１の部分点群と前記第２の部分点群との対応関係を特定する部分点群間の対応関係特定部と、前記第１の部分点群と前記第２の部分点群との前記対応関係に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定が行われる態様が挙げられる。

本発明において、前記第１の合成画像の視点からの距離が特定の距離より遠い前記第１のレーザースキャン点群は、前記第１の点群画像では存在し、前記第１の合成画像において利用できない状態とされている態様が挙げられる。

本発明において、前記不動物として、前記第１の合成画像に基づき取得された前記不動物の形状および寸法と、前記第２の合成画像に基づき取得された前記不動物の形状および寸法との差が閾値以下であるものが採用される態様が挙げられる。

本発明において、前記不動物は複数であり、前記複数の不動物として、前記第１の合成画像に基づき算出された前記複数の不動物間の距離と、前記第２の合成画像に基づき算出された前記複数の不動物間の距離との差が閾値以下であるものが採用される態様が挙げられる。

本発明は、第１の時期に取得された第１のレーザースキャン点群および第２の時期に取得された第２のレーザースキャン点群を取得するレーザースキャン点群取得ステップと、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群の中で共通し、第１の時期と第２の時期において不変な不動物に関するレーザースキャン点群に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定を行うレーザースキャン点群間の対応関係特定ステップとを有するデータ処理方法として把握することもできる。

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを第１の時期に取得された第１のレーザースキャン点群および第２の時期に取得された第２のレーザースキャン点群を取得するレーザースキャン点群取得部と、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群の中で共通し、第１の時期と第２の時期において不変な不動物に関するレーザースキャン点群に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定を行うレーザースキャン点群間の対応関係特定部として動作させるデータ処理用プログラムとして把握することもできる。

本発明によれば、２つのレーザースキャン点群の間の対応関係の特定を容易に高い精度で行うことができる。

実施形態の概要図である。 データ処理装置のブロック図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 撮影した画像の一例を示す図面代用写真である。 図５に対応する点群画像の図面代用写真である。 図５の撮影画像と図５の点群画像を合成した合成画像の図面代用写真である。

発明の実施の形態

（概要）
図１には、実施形態の概要が示されている。車両１０は、道路上を走行しながら、計測対象をレーザースキャナ１３によりレーザースキャンし、対象物のレーザースキャン点群（レーザースキャンデータ）を得る。図１に示す計測対象は一例であり、計測対象は特に限定されない。計測対象としては、インフラ設備や建築物が挙げられる。崖や堤防等を計測対象とすることもできる。

車両１０は、ＧＮＳＳ位置測定装置１１、ＩＭＵ１２、レーザースキャナ１３、カメラ１４を搭載する。車両１０におけるＧＮＳＳ位置測定装置１１、ＩＭＵ１２、レーザースキャナ１３、カメラ１４の位置の関係は既知である。また、車両１０におけるＩＭＵ１２、レーザースキャナ１３、カメラ１４の姿勢（向き）関係も既知である。つまり、レーザースキャナ１３とカメラ１４の外部標定要素の関係は既知である。

車両１０の代わりに、鉄道、船舶、航空機等の移動体を利用する形態も可能である。移動体は、有人に限定される無人であってもよい。

ＧＮＳＳ位置測定装置１１は、ＧＰＳ衛星等の航法衛星からの航法信号に基づく測位を行う。ＩＭＵ１２は、慣性計測装置であり、加速度と姿勢の変化を計測する。レーザースキャナ１３は、レーザースキャンを行い、レーザースキャン点群を取得する。カメラ１４は、レーザースキャナ１３のレーザースキャン対象に対する連続写真撮影または動画の撮影を行う。

車両１０の絶対座標系（グローバル座標系）における位置は、ＧＮＳＳ位置測定装置１１とＩＭＵ１２により計測され特定される。絶対座標系は、ＧＮＳＳで採用される座標系であり、緯度、経度、標高により位置が記述される。ＧＮＳＳデータとＩＭＵデータに加えて車両１０のホイール測定データを用いて、車両１０の位置の計測を行ってもよい。

レーザースキャナ１３により得たレーザースキャン点群とカメラ１４が撮影した画像は、時刻データと対応させた状態で取得される。

車両１０を走行させながらレーザースキャナ１３によるレーザースキャンが行われる。レーザースキャンと同時に同じ対象に対するカメラ１４による撮影が行われる。撮影は、連射モードによる撮影または動画による撮影となる。つまり、車両１０を走行させながら、レーザースキャナ１３によるレーザースキャンを行い、且つ、同じ対象に対するカメラ１４を用いた連続写真撮影または動画の撮影が行われる。

レーザースキャナ１３が得たレーザースキャン点群とカメラ１４が撮影した画像データは、データ処理装置１００に送られる。

この例では、車両１０を走行させながら、計測対象物（例えば、各種のインフラ設備等）の対するレーザースキャナ１３によるレーザースキャンとカメラ１４による撮影を行い、当該計測対象物に対するレーザースキャン点群と画像データを得る。

このレーザースキャンと撮影は、同じ対象に対して、時間差おいて複数回行われる。例えば、半年に１回や１年に１回といった頻度で行われる。そしてＮ回目とＮ＋１回目のレーザースキャン点群を比較することで、インフラ設備の変形や劣化の監視が行われる。例えば、高速道路の法面に対する監視を上記の方法で行い、より詳細な点検や補修工事の有無の判断が行われる。

第１のレーザースキャンを行うレーザースキャナと第２のレーザースキャンを行うレーザースキャナとは、同じものであってもよいし、別のものであってもよい。これはカメラについても同じである。

（データ処理装置）
図２には、データ処理装置１００のブロック図が示されている。この例において、データ処理装置１００は、市販のＰＣ（パーソナル・コンピュータ）を用いて構成されている。利用するＰＣは、ＣＰＵ、メモリ、ハードディスク装置、液晶表示装置等のディスプレイ、キーボードやマウス等の各種のユーザーインターフェース、各種の入出力インターフェース、その他通常のＰＣが備える装置や機能を有している。

このＰＣには、図２に示す機能部を実現するためのアプリケーションソフトウェアプログラムがインストールされ、図２に示すデータ処理装置１００がソフトウェア的に実現されている。データ処理装置１００の一部または全部を専用の電子回路で構成することも可能である。例えば、ＦＰＧＡを用いて、データ処理装置１００の一部または全部を構成することも可能である。また、インターネット回線に接続されたデータ処理サーバを用いてデータ処理装置１００の一部または全部を構成することも可能である。

データ処理装置１００は、レーザースキャン点群の取得部１０１、座標変換部１０２、撮影画像群の取得部１０３、特定の撮影画像選択部１０４、不動物候補の検出（指定）部１０５、点群画像の生成部１０６、合成画像の作成部１０７、部分点群の切り出し部１０８、部分点群間の対応関係特定部１０９、レーザースキャン点群間の対応関係特定部１１０、差分点群データ算出部１１１を有する。

レーザースキャン点群の取得部１０１は、レーザースキャナ１３が取得したレーザースキャン点群のデータ（点群データ）を取得する。例えば、第１のタイミングで行った第１のレーザースキャン点群と第２のタイミングで行った第２のレーザースキャン点群がレーザースキャン点群の取得部１０１で取得される。

座標変換部１０２は、車両１０を移動させながらレーザースキャナ１３によって得たレーザースキャナ点群の各点の座標系を絶対座標系に変換する。この場合、車両１０は移動しながらレーザースキャナ１３によるレーザースキャンが行われる、よって、厳密にいうと、得られるレーザースキャン点群における各点の座標系は、当該点（当該レーザースキャン点）毎に異なっている。

絶対座標系における車両の１０の位置と姿勢（レーザースキャナ１３の位置と姿勢）は、ＧＮＳＳデータ、ＩＭＵデータ、ホイール測定データ等を用いて、各時刻において計算で求めることができる。つまり、レーザースキャンによって得た各点の取得時刻における、車両の位置と姿勢は計算により求めることができる。

よって、レーザースキャンによって得た各点の取得時刻における、車両の位置と姿勢（レーザースキャナ１３の位置と姿勢）に基づいて、上記各点を絶対座標系上に配置することができる。これにより、当該レーザースキャン点群を絶対座標系上で記述することができる。以上の処理が座標変換部１０２で行われる。

撮影画像群の取得部１０３は、カメラ１４が撮影した画像の画像データを取得する。画像データは、連続撮影した静止画または動画のデータである。動画の場合、該動画を構成するフレーム画像が静止画像として利用される。

特定の撮影画像選択部１０４は、第１の撮影画像群の中からの第１の撮影画像の選択、および第２の撮影画像群の中からの第２の撮影画像の選択を行う。

不動物候補の検出（指定）部１０５は、特定の撮影画像選択部１０４が選択した特定の画像の中から不動物の候補を検出（あるいは指定）する。不動物とは、比較の対象となる第１のレーザースキャンデータと第２のレーザースキャンデータの取得間隔の間において、変化せず、不動と見なせる対象物である。不働物の例としては、電柱、標識、鉄塔、建築物等が挙げられる。不動物は、対象により異なる。例えば、歩道の縁、柵、道路と建物の境界線のような対象も不動物となり得る。

不動物は、第１のレーザースキャン時に撮影した画像と第２のレーザースキャン時に撮影した画像とにおいて、同じと見なせるものが指定される。

不動物候補の指定は、自動および／または手動で行われる。自動で行う方法としては、予め不動物画像のライブラリーを作成しておき、そのライブラリーを参照し、画像認識技術を利用して、カメラ１４が撮影した画像の中から不動物候補を抽出する。手動の場合は、指定する範囲を手動で指定する等して、オペレータによる不動物候補の指定が行われる。不動物候補は複数が指定される。

なお不動物候補は、予め定めた距離以内のものが対象となる。これは、距離が遠くなると、距離情報の誤差が大きくなり、後のマッチング時の精度に悪影響が出るからである。

点群画像の生成部１０６は、カメラ１４が撮影した画像の視点（カメラ位置）であり、且つ、当該画像を撮影したカメラ１４の姿勢（光軸の方向）で見た点群画像を生成する。ここで、点群画像は、レーザースキャン点群を点の集合として表示した画像である。

上記の点群画像は、以下のようにして生成される。まず、座標変換部１０２の処理により、レーザースキャン点群は、絶対座標系上で正しく配置されている。ここで、特定の撮影画像選択部１０３が選択した画像の撮影時におけるカメラ１４の絶対座標系上での位置と姿勢は、ＧＮＳＳデータ、ＩＭＵデータ、ホイール測定データ等を用いて計算できる。よって、カメラ１４が撮影した画像の一つが指定された場合、その画像の撮影時におけるカメラ１４の絶対座標系上での位置と姿勢が判り、その位置においてその姿勢で見たレーザースキャン点群を画像として描画することができる。つまり、カメラ１４による画像を取得した視点から、該画像の取得時におけるカメラ１４の姿勢で見た点群画像を生成することができる。

図５は、カメラ１４が撮影した画像の一例を示す。図６は、図５に対応した点群画像の一例である。図５と図６は、同じ視点から同じ姿勢で見た（同じ方向を見た）画像である。ここで、図５はカメラ１４が撮影した画像であり、図６はレーザースキャン点群を点の集合として表示した画像である。

合成画像の作成部１０７は、カメラ１４が撮影した画像と、当該画像の視点から当該画像の撮影時におけるカメラ１４の姿勢で見た点群画像を合成した合成画像を作成する。この合成画像は、通常の撮影画像中にレーザースキャン点（レーザースキャン光の反射点）が点として表示された画像となる。上述したように、点群画像は、画像を撮影したカメラ１４の位置と姿勢に合わせたものが生成される。つまり、ある画像に着目した場合、その画像と同様な構図で同様な見え方をする対象の点群画像が生成される。よって、当該撮影画像と点群画像は対応関係が確保されており、重畳することができる。図７は、図５のカメラ画像と図６の点群画像を合成（重畳）した合成画像である。

部分点群の切り出し部１０８は、不動物候補のレーザースキャン点群を部分点群として取得する。この処理は、以下のようにして行われる。例えば、画像中で不動物候補が指定されたら、合成画像の作成部１０７が作成した合成画像を利用して不動物のレーザースキャン点群を抽出する。この処理では、合成画像中で指定された部分画像に対応するレーザースキャン点群が抽出される。

例えば、図５の一番手前右側の電柱が不動物候補として検出されたとする。この場合、図７の合成画像を用い、当該電柱の画像と重なった部分のレーザースキャン点群が当該電柱に係る部分点群として抽出される。こうして、レーザースキャン点群の中における不動物候補として指定された部分的なレーザースキャン点群が部分点群として抽出される。

なお、予め定めた距離より遠い部分点群として利用しない。図７には、ある距離を超えた範囲はレーザースキャン点が表示されておらず、その領域の部分点群は利用できず、取得できないようにされている。これは、距離が遠くなると点の測位の誤差が増え、不動物候補を利用したマッチング処理の精度が低下するからである。なお、図６の点群画像では、上記図７では利用できないレーザースキャン点群は存在している。

部分点群としては、レーザースキャン点群の密度が対象の形状を表現できる程度のものが採用される。以下、この際の密度の判定の一例を説明する。例えば、不動物候補として電柱を採用するとする。この場合、部分点群が電柱の形状を表現できるか否かを判定する。電柱の形状を表現できない場合、点群の密度が足りないと判定され、部分点群として利用しない。

部分点群間の対応関係特定部１０９は、第１の時期で得た第１のレーザースキャナ点群に含まれる不動物候補のレーザースキャン点群である第１の部分点群と、第１の時期の後の第２の時期で得た第２のレーザースキャナ点群に含まれる不動物候補のレーザースキャン点群である第２の部分点群との間の対応関係の特定を行う。対応関係の特定は、特徴量等に基づくマッチング手法や点群マッチングにより行われる。

例えば、電柱が不動物候補として採用されたとする。この場合、第１のレーザースキャン点群における当該電柱に係るレーザースキャン点群（第１の部分点群）と、第２のレーザースキャン点群における当該電柱に係るレーザースキャン点群（第２の部分点群）との対応関係の特定が行われる。通常は、複数の不動物に関して、上記の処理が行われる。

レーザースキャン点群間の対応関係特定部１１０は、部分点群間の対応関係特定部１０９が特定した２つのレーザースキャン点群間における不動物候補の対応関係に基づき、２つのレーザースキャン点群（第１のレーザースキャン点群と第２のレーザースキャン点群）の対応関係を特定する。

例えば、第１のレーザースキャン点群と第２のレーザースキャン点群の間において、複数の不動物候補の対応関係が特定できているとする。つまり、２つのレーザースキャン点群において、複数の不動物候補の位置関係が特定されているとする。この場合、それら不動物候補の位置を合わせることで、他の点群の対応関係も特定できる。こうして、第１のレーザースキャン点群と第２のレーザースキャン点群の間の対応関係が特定される。

差分点群データ算出部１１１は、第１のレーザースキャン点群と第２のレーザースキャン点群の差分を算出する。これにより、一致しないレーザースキャン点群が得られる。例えば、第１のレーザースキャンの後にスキャン対象に変形や欠落が生じたとする。この場合、変形や欠落が生じた部分は、第１のレーザースキャン点群と第２のレーザースキャン点群とで一致しない部分となる。この一致しない部分が上記の差分により得られる成分となる。

上記の差分成分を監視することで、インフラ設備における経時変化に伴う変形や欠落を監視することができる。例えば、コンクリート面の変形や欠落といった現象を監視することができる。

（処理の一例）
以下に作業および処理の一例を示す。まず、第１の時期に第１のレーザースキャンを行い、第１のレーザースキャン点群を得る。このレーザースキャンは、車両１０を走行させながら、レーザースキャナ１３を用いて計測対象（監視対象）に対して行われる。また、第１のレーザースキャンと同時にカメラ１４によるレーザースキャン対象に対する撮影が行われ、第１の撮影画像群を得る。

次に、時間をおいて第１のレーザースキャンの場合と同じ対象に対する第２のレーザースキャンと撮影が行われ、第２のレーザースキャン点群と第２の撮影画像群を得る。第２のレーザースキャンは、レーザースキャナ１３を用いて第１のレーザースキャンと可能であれば極力同じ条件で行う。第１のレーザースキャンと第２のレーザースキャンの間隔は、計測対象に応じて決定される。例えば、インフラ設備の場合、数か月～１年位の間隔をもってレーザースキャンが行われる。計測の間隔はもっと短くてもよいし、もっと長くてもよい。

第１のレーザースキャンにより、第１のレーザースキャン点群が得られ、第２のレーザースキャンにより、第２のレーザースキャン点群が得られる。また、第１のレーザースキャン点群と同時に第１の撮影画像群が得られ、第２のレーザースキャン点群と同時に第２の撮影画像群が得られる。この段階で、図２および図３のデータ処理装置１００を用いた図３および図４に示す処理が行なわれる。

図３および図４の処理を実行するためのプログラムは、処理装置１００を構成するＰＣの記憶装置（半導体メモリやハードディスク装置）に記憶され、当該ＰＣのＣＰＵにより実行される。このプログラムを適当な記憶媒体に記憶する形態も可能である。また、当該プログラムをサーバに記憶させ、そこからダウンロードする形態も可能である。

以下、処理のイメージを簡単に説明する。最初に、第１のレーザースキャン点群に係り、レーザースキャン取得時に撮影した画像から不動物候補を、識別、抽出し、第１のレーザースキャン点群から該不動物候補に対応する第１の部分点群を切り出す。そして、同様な処理を第２のレーザースキャン点群に関しても行い、第１の部分点群に対応する第２の部分点群を第２のレーザースキャン点群から切り出す。そして、第１の部分点群と第２の部分点群の対応関係を求め、この対応関係を利用して第１のレーザースキャン点群と第２のレーザースキャン点群の対応関係を特定する。最後に、第１のレーザースキャン点群と第２のレーザースキャン点群の差分を求め、変化があった場所を特定する。

以下、処理の手順を詳細に説明する。処理が開始されると、まず、第１のレーザースキャン点群と第２のレーザースキャン点群の取得が行われる（ステップＳ１０１）。この処理は、図２のレーザースキャン点群取得部１０１で行われる。

次に、第１のレーザースキャン点群と第２のレーザースキャン点群を絶対座標系上におけるものに座標変換する（ステップＳ１０２）。この処理は、図２の座標変換部１０２で行われる。

また、第１の撮影画像群と第２の撮影画像群の画像データを取得する（ステップＳ１０３）。この処理は、撮影画像群の取得部１０３で行われる。第１の撮影画像群は、第１のレーザースキャンと同時にカメラ１４による連続撮影により得た多数の画像であり、第２の撮影画像群は、第２のレーザースキャンと同時にカメラ１４による連続撮影により得た多数の画像である。動画を撮影し、該動画を構成するフレーム画像を画像群として取得する形態も可能である。

次に、第１の撮影画像群の中から、不動物を検出するための第１の撮像画像を選択する（ステップＳ１０４）。この処理は、特定の撮影画像選択部１０４で行われる。第１の撮影画像は、不動物の候補が写っている画像を選択する。第１の撮影画像の選択は、手動または自動により行われる。第１の画像として複数を選択することもできる。

次に、ステップＳ１０４において選択した第１の撮影画像から不動物候補を検出する（ステップＳ１０５）。この処理は、不動物候補の検出部１０５で行われる。不動物候補の検出は、自動または手動で行われる。手動で行う場合、ユーザが指定したものが検出される。不動物候補は、複数が検出される。

次に、第１の撮影画像の視点から見た第１のレーザースキャン点群の点群画像（第１の点群画像）を生成する（ステップＳ１０６）。この処理は、点群画像の生成部１０６で行われる。

次に、第１の撮影画像と第１の点群画像を合成した第１の合成画像を作成する（ステップＳ１０７）。この処理は、合成画像の作成部１０７で行われる。

次に、第１のレーザースキャン点群の中から、第１の撮影画像上で検出されている不動物候補に対応する点群を第１の部分点群として切り出す（ステップＳ１０８）。この処理は、部分点群の切り出し部１０８で行われる。

次に、第２の撮影画像群の中から第２の撮影画像を選択する（ステップＳ１０９）。この処理は、特定の撮影画像選択部１０４で行われる。この処理では、第１の撮影画像と同じ対象が写っている画像が選択される。第１の撮影画像が複数ある場合、第２の撮影画像もそれぞれ対応するものが選択される。

例えば、第２の撮影画像群の中から、第１の撮影画像のカメラ位置に最も近いカメラ位置の画像を探し出し、この画像を第２の撮影画像として選択する。第２の撮影画像群の中から、カメラ位置とカメラの姿勢が近い画像を第２の撮影画像としてもよい。

次に、第２の撮影画像から不動物候補の検出を行う（ステップＳ１１０）。この処理は、不動物候補の検出部１０５で行われる。この処理では、ステップＳ１０５において第１の撮影画像から検出した不動物と同じと推定される対象を不動物として検出する。

次に、第２の撮影画像の視点から見た第２のレーザースキャン点群の点群画像（第２の点群画像）を生成する（ステップＳ１１１）。この処理は、点群画像の生成部１０６で行われる。

次に、第２の撮影画像と第２の点群画像を合成した第２の合成画像を作成する（ステップＳ１１２）。この処理は、合成画像の作成部１０７で行われる。

次に、第２のレーザースキャン点群の中から、第２の撮影画像上で検出されている不動物候補に対応する点群を第２の部分点群として切り出す（ステップＳ１１３）。この処理は、部分点群の切り出し部１０８で行われる。

次に、第１の部分点群と第２の部分点群の対応関係の特定を行う（ステップＳ１１４）。この処理は、部分点群間の対応関係特定部１０９で行われる。

次に、ステップＳ１１４で得た第１の部分点群と第２の部分点群の対応関係に基づき、第１のレーザースキャン点群と第２のレーザースキャン点群との対応関係を特定する（ステップＳ１１５）。この処理は、レーザースキャン点群間の対応関係特定部１１０で行われる。

次に、差分点群データの算出を行う（ステップＳ１１６）。この処理は、図２の差分データ算出部１１１で行われる。この処理では、対応関係が特定された第１のレーザースキャン点群と第２のレーザースキャン点群の差分を算出する。すなわち、第１のレーザースキャン点群と第２のレーザースキャン点群を比較し、違う部分を算出する。

レーザースキャン点群の取得は、２回に限定されず、更に３回目、４回目、・・・と引き続き特定の間隔をおいて行うことが可能である。３回以上行なわれる場合のレーザースキャン点群の取得の間隔は同じでなくてもよい。差分の算出は、時間軸上で隣接するレーザースキャン点群に限定されない。例えば、１回目と４回目のレーザースキャン点群を比較するといったことも可能である。

（三次元モデルの場合）
レーザースキャン点群に基づき三次元モデルを作成し、この三次元モデルを比較の対象とする態様も可能である。

（固定スキャナ利用について）
第１および第２のレーザースキャンの少なくとも一方において利用するレーザースキャナとして、固定型のカメラ付きレーザースキャナを用いることもできる。

（不動物の判定）
不動物の誤抽出を抑制するための判定を行ってもよい。以下、一例を説明する。まず、第１の撮影画像と第２の撮影画像において不動物候補が検出されているとする。この不動物候補に対して、２つの画像間での不動物画像の色情報の比較を行い、色の差が閾値以下であるか否かの第１の判定が行われる。この場合、各画像の色を正規化し、違いの比較を行う。

この第１の判定がＯＫな場合、合成画像から第１の撮影画像における不動物候補と第２の撮影画像における対応する不動物候補の位置情報を取得し、位置情報の差が閾値以下であるか否かの第２の判定が行われる。この第２の判定がＯＫの場合、不動物候補の形状および寸法に係る情報を、それぞれのレーザースキャン点群から取得し、その差が閾値以下であるか否かの第３の判定が行われる。

第１～第３の判定を全ての不動物候補に対して行う。第１～第３の判定をクリアした不動物候補に対して、次の第４の判定を行う。第４の判定では、複数の不動物候補の相対の位置関係の整合性の比較から、異常なものを除外する。

ここでは、着目している不動物候補と、それと異なる他の不動物候補の三次元位置の関係が、第１のレーザースキャン点群と第２のレーザースキャン点群とで、同じと見なせるか否かの判定が行われる。

まず、第１のレーザースキャン点群と第２のレーザースキャン点群のそれぞれにおいて、２つの不動物候補を選択する。この際、不動物候補間の距離が予め定めた値以下のものを選択する。これは、２つの不動物候補間の距離の精度が重要であり、この距離が長くなると、精度が低下するからである。

ここで、第１のレーザースキャン点群における２つの不動物候補間の距離をＬ１、第２のレーザースキャン点群における２つの不動物候補間の距離をＬ２とする。Ｌ１，Ｌ２としては、２つの不動物候補の重心位置の間の距離、２つの不動物候補における特定の点の間の距離、２つの不動物候補から抽出された複数の点の間の距離の平均値等が採用される。

そして、Ｌ１とＬ２の差を算出し、その値が予め定めた閾値以下であれば、第１のレーザースキャン点群と第２のレーザースキャン点群のそれぞれにおいて選択した２組の不動体候補の対が対応しているものと判定する。

例えば、第１のレーザースキャン点群で電柱１と電柱２が選択され、第２のレーザースキャン点群で電柱１’と電柱２’が選択されたとする。ここで、電柱１と電柱１’が同じと推定された不動物候補であり、電柱２と電柱２’が同じと推定された不動物候補である。ここで、電柱１と電柱２の離間距離Ｌ１を算出し、電柱１’と電柱２’の離間距離Ｌ２を算出し、Ｌ１とＬ２の差を算出する。この差が閾値以下であれば、上記不動物候補の関係が正当であると判定される。

不動物候補に係るレーザースキャン点群の絶対位置は、ＧＮＳＳの測位精度に係る誤差を含む。しかしながら、２つの不動物間の距離は、誤差が相殺されるので、ＧＮＳＳの測位精度の影響は受けない。このことを利用し、第１のレーザースキャン点群において候補とされた２つの不動物と第２のレーザースキャン点群において候補とされた２つの不動物の同定を行う。

仮に、上記第４の判定の結果がＮＯの場合、選択した２つの不動物候補の少なくとも一方が誤抽出されたものである可能性がある。一つの不動物候補において、上記第４の判定を異なる他の不動物候補を相手に組み合わせを変えて複数回行う。そして、１回以上ＹＥＳの判定が得られた不動物候補の組を正解として抽出する。こうして、第１のレーザースキャン点群および第２のレーザースキャン点群で共通する不動物候補が選択される。

（不動物の検出の他の例）
地図情報等において、不動物候補となる対象が予め判明している場合は、その位置の近辺を探索し、不動物を検出してもよい。以下、この場合の一例を説明する。まず、地図情報から不動物（例えば、標識）の位置Ａの情報を取得する。次に、第１の撮影画像群の中から、位置Ａが写っている画像を検索する。この検索において、第１の撮影画像群の画像は、カメラ位置とカメラの姿勢は判っているので、光軸上あるいはその近くに位置Ａがある画像が探索される。この探索された撮影画像を第１の撮影画像とする。

次に、第１の撮影画像に対応する第１の点群画像を生成し、更に第１の撮影画像と第１の点群画像を合成した第１の合成画像を作成する。そして、第１の合成画像中の点の中から、位置Ａに最も近い点を抽出し、その点と重なる画像を第１の合成画像（あるいは対応する第１の撮影画像）から検出する。

例えば、地図情報上において、不動物として利用できる標識の水平位置が記載されているとする。この場合、その水平位置上で鉛直方向に分布する点が抽出され、その点と重なる画像から標識の画像が特定される。こうして、地図情報を利用した第１の撮影画像中からの不動物の検出が行われる。

上記の処理を要約すると、不動物が記載された地図情報からの不動物の位置の取得、前記不動物の位置に基づく撮影画像群からの前記不動物が写った特定画像の検出、該特定画像に対応する点群画像の生成、前記特定画像と前記点群画像を合成した合成画像の生成、不動物の位置と該合成画像に基づく前記不動物の画像の特定、となる。この処理は、第１のレーザースキャン点群（第１の撮影画像群）および第２のレーザースキャン点群（第２の撮影画像群）において同じである。

１０…車両、１１…ＧＮＳＳ位置測定装置、１２…ＩＭＵ、１３…レーザースキャナ、１４…カメラ、１００…データ処理装置。

Claims (10)

1. 第１の時期に取得された第１のレーザースキャン点群および第２の時期に取得された第２のレーザースキャン点群を取得するレーザースキャン点群取得部と、
   前記第１のレーザースキャン点群と前記第２のレーザースキャン点群の中で共通し、第１の時期と第２の時期において不変な不動物に関するレーザースキャン点群に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定を行うレーザースキャン点群間の対応関係特定部と
   を備えるデータ処理装置。
2. 前記第１の時期において撮影され前記第１のレーザースキャン点群の対象を撮影した第１の画像、および前記第２の時期において撮影され前記第２のレーザースキャン点群の対象を撮影した第２の画像を取得する画像取得部と、
   前記第１の画像および前記第２の画像から前記不動物を検出する不動物の検出部と
   を備える請求項１に記載のデータ処理装置。
3. 前記第１のレーザースキャン点群および前記第２のレーザースキャン点群の少なくとも一方は、移動しながらのレーザースキャンにより得られたものであり、
   前記第１の画像および前記第２の画像は、視点の位置を合わせたものが取得される請求項２に記載のデータ処理装置。
4. 前記第１のレーザースキャン点群に基づき、前記第１の画像を撮影したカメラの位置および姿勢で見た第１の点群画像、および前記第２のレーザースキャン点群に基づき、前記第２の画像を撮影したカメラの位置および姿勢で見た第２の点群画像を作成する点群画像作成部を備える請求項２または３に記載のデータ処理装置。
5. 前記第１の画像と前記第１の点群画像とを合成した第１の合成画像および前記第２の画像と前記第２の点群画像とを合成した第２の合成画像を作成する合成画像作成部と、
   前記第１の合成画像に基づく、前記第１のレーザースキャン点群からの前記不動物に係る第１の部分点群の切り出し、および前記第２の合成画像に基づく、前記第２のレーザースキャン点群からの前記不動物に係る第２の部分点群の切り出しを行う部分点群の切り出し部と、
   前記第１の部分点群と前記第２の部分点群との対応関係を特定する部分点群間の対応関係特定部と、
   前記第１の部分点群と前記第２の部分点群との前記対応関係に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定が行われる請求項４に記載のデータ処理装置。
6. 前記第１の合成画像の視点からの距離が特定の距離より遠い前記第１のレーザースキャン点群は、前記第１の点群画像では存在し、前記第１の合成画像において利用できない状態とされている請求項５に記載のデータ処理装置。
7. 前記不動物として、前記第１の合成画像に基づき取得された前記不動物の形状および寸法と、前記第２の合成画像に基づき取得された前記不動物の形状および寸法との差が閾値以下であるものが採用される請求項５または６に記載のデータ処理装置。
8. 前記不動物は複数であり、
   前記複数の不動物として、前記第１の合成画像に基づき算出された前記複数の不動物間の距離と、前記第２の合成画像に基づき算出された前記複数の不動物間の距離との差が閾値以下であるものが採用される請求項５または６に記載のデータ処理装置。
9. 第１の時期に取得された第１のレーザースキャン点群および第２の時期に取得された第２のレーザースキャン点群を取得するレーザースキャン点群取得ステップと、
   前記第１のレーザースキャン点群と前記第２のレーザースキャン点群の中で共通し、第１の時期と第２の時期において不変な不動物に関するレーザースキャン点群に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定を行うレーザースキャン点群間の対応関係特定ステップと
   を有するデータ処理方法。
10. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータを
    第１の時期に取得された第１のレーザースキャン点群および第２の時期に取得された第２のレーザースキャン点群を取得するレーザースキャン点群取得部と、
    前記第１のレーザースキャン点群と前記第２のレーザースキャン点群の中で共通し、第１の時期と第２の時期において不変な不動物に関するレーザースキャン点群に基づき、前記第１のレーザースキャン点群と前記第２のレーザースキャン点群との対応関係の特定を行うレーザースキャン点群間の対応関係特定部と
    して動作させるデータ処理用プログラム。
    
    
    

Images