JP6876484B2

JP6876484B2 - データ処理装置、データ処理方法、及び、プログラム

Info

Publication number: JP6876484B2
Application number: JP2017067006A
Authority: JP
Inventors: 陽子藤田; 守通沓名; 和浩中尾; 正行天沼; 渉簗嶋
Original assignee: Pioneer Corp; Increment P Corp
Current assignee: Pioneer Corp; Increment P Corp
Priority date: 2017-03-30
Filing date: 2017-03-30
Publication date: 2021-05-26
Anticipated expiration: 2037-03-30
Also published as: JP2018169825A

Description

本発明は、外界センサにより取得した点群データの処理に関する。

近年、３Ｄライダ（ＬｉＤＡＲ：ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）などにより生成した３Ｄ点群データに基づいて、地図データを生成することが行われている。一般的に、同一の道路などの点群データを繰り返し取得し、地図データの精度を向上させるが、計測した点群データには、センサの性能限界などに起因して誤差が含まれるため、別の日程、時間帯など、計測条件が異なる場合、同一の地点で取得した点群データにずれが発生しうる。

この場合に、それぞれの点群データの中の同一地点に対応する点同士を紐付けた後、点群データを移動・回転・拡大／縮小させて、点群データ間のずれを解消する方法があるが、これには以下のような課題がある。即ち、３Ｄ空間から任意の１点を決定するのは難しく、十分な数の対応点が得られない。また、自動抽出では十分に正確な対応が得られない。さらには、全ての点を対象とすると処理コストが膨大となる。

これに関連し、特許文献１は、３次元点群データを２次元グリッドに投票して路面画像を生成し、複数の路面画像の相対位置関係を表す変形量を推定する手法を記載している。

特開２０１７−１０３９３号公報

しかし、特許文献１の手法では、路面画像の相対位置関係を示す変形量を推定するために、マッチングコストに基づくコスト計算を行っているため、演算量が膨大となりコスト高となるという問題がある。

本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、演算量を抑制しつつ、複数の３Ｄ点群データ間の位置ずれを調整することが可能なデータ処理装置を提供することを目的とする。

請求項１に記載の発明は、データ処理装置であって、第１及び第２の３次元点群データを取得する取得部と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部と、を備え、前記第１生成部は、前記第１画素に含まれる点群のうち当該第１画素の輝度に最も近い輝度を有する点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち当該第２画素の輝度に最も近い輝度を有する点を前記第２画素における代表点とする。
請求項２に記載の発明は、データ処理装置であって、第１及び第２の３次元点群データを取得する取得部と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部と、を備え、前記第１生成部は、前記第１画素に含まれる点群のうち重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち重心位置に最も近い点を前記第２画素における代表点とする。
請求項３に記載の発明は、データ処理装置であって、第１及び第２の３次元点群データを取得する取得部と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部と、を備え、前記第１生成部は、前記第１画素に含まれる点群のうち、当該第１画素に含まれる特徴領域の重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち、当該第２画素に含まれる特徴領域の重心位置に最も近い点を前記第２画素における代表点とする。

請求項７に記載の発明は、データ処理装置により実行されるデータ処理方法であって、第１及び第２の３次元点群データを取得する取得工程と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換工程と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成工程と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成工程と、を備え、前記第１生成工程は、前記第１画素に含まれる点群のうち当該第１画素の輝度に最も近い輝度を有する点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち当該第２画素の輝度に最も近い輝度を有する点を前記第２画素における代表点とする。
請求項８に記載の発明は、データ処理装置により実行されるデータ処理方法であって、第１及び第２の３次元点群データを取得する取得工程と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換工程と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成工程と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成工程と、を備え、前記第１生成工程は、前記第１画素に含まれる点群のうち重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち重心位置に最も近い点を前記第２画素における代表点とする。
請求項９に記載の発明は、データ処理装置により実行されるデータ処理方法であって、第１及び第２の３次元点群データを取得する取得工程と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換工程と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成工程と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成工程と、を備え、前記第１生成工程は、前記第１画素に含まれる点群のうち、当該第１画素に含まれる特徴領域の重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち、当該第２画素に含まれる特徴領域の重心位置に最も近い点を前記第２画素における代表点とする。

請求項１０に記載の発明は、コンピュータを備えるデータ処理装置により実行されるプログラムであって、第１及び第２の３次元点群データを取得する取得部、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部、として前記コンピュータを機能させ、前記第１生成部は、前記第１画素に含まれる点群のうち当該第１画素の輝度に最も近い輝度を有する点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち当該第２画素の輝度に最も近い輝度を有する点を前記第２画素における代表点とする。
請求項１１に記載の発明は、コンピュータを備えるデータ処理装置により実行されるプログラムであって、第１及び第２の３次元点群データを取得する取得部、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部、として前記コンピュータを機能させ、前記第１生成部は、前記第１画素に含まれる点群のうち重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち重心位置に最も近い点を前記第２画素における代表点とする。
請求項１２に記載の発明は、コンピュータを備えるデータ処理装置により実行されるプログラムであって、第１及び第２の３次元点群データを取得する取得部、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部、として前記コンピュータを機能させ、前記第１生成部は、前記第１画素に含まれる点群のうち、当該第１画素に含まれる特徴領域の重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち、当該第２画素に含まれる特徴領域の重心位置に最も近い点を前記第２画素における代表点とする。

実施例に係るデータ処理装置を示す。位置調整処理の概要を示す。位置調整処理のフローチャートである。オルソ画像と点群データの関係を示す。オルソ画像の画素における代表点の例を示す。オルソ画像の画素間の紐付け情報の例を示す。

本発明の好適な実施形態では、データ処理装置は、第１及び第２の３次元点群データを取得する取得部と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部と、を備える。

上記のデータ処理装置は、第１及び第２の３次元点群データを取得し、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する。次に、同一の特徴点に対応する、第１の２次元画像中の第１画素と第２の２次元画像中の第２画素とを抽出し、それら第１画素と第２画素の各々における代表点の位置関係を示す第１情報を生成する。さらに、前記第１情報に基づいて、第１の３次元点群データと第２の３次元点群データとの位置関係を示す第２情報を生成する。

このように、上記のデータ処理装置は、３次元点群データを２次元画像に変換し、同一の特徴点に対応する２次元画像中の画素間の位置関係を検出し、これに基づいて３次元点群データ間の位置関係を検出する。よって、演算量を抑制しつつ、点群データ間の位置調整を行うことが可能となる。

上記のデータ処理装置の一態様では、前記第１生成部は、前記第１画素に含まれる点群のうち当該第１画素の輝度に最も近い輝度を有する点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち当該第２画素の輝度に最も近い輝度を有する点を前記第２画素における代表点とする。

上記のデータ処理装置の他の一態様では、前記第１生成部は、前記第１画素に含まれる点群のうち重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち重心位置に最も近い点を前記第２画素における代表点とする。

上記のデータ処理装置の他の一態様では、前記第１生成部は、前記第１画素に含まれる点群のうち、当該第１画素に含まれる特徴領域の重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち、当該第２画素に含まれる特徴領域の重心位置に最も近い点を前記第２画素における代表点とする。

上記のデータ処理装置において、好適には、前記３次元点群データは、外界センサにより道路面上で検出されたデータであり、前記特徴領域は、道路面上のペイントの領域である。また、好適には、前記特徴点は、前記ペイントの角に相当する点である。

上記のデータ処理装置の他の一態様は、前記第２情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置ずれを調整する位置調整部を備える。この態様では、第２情報に基づいて、３次元点群データ間の位置ずれを調整することができる。

本発明の他の好適な実施形態では、データ処理装置により実行されるデータ処理方法は、第１及び第２の３次元点群データを取得する取得工程と、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換工程と、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成工程と、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成工程と、を備える。この方法によっても、演算量を抑制しつつ、３次元点群データ間の位置調整を行うことが可能となる。

本発明の他の好適な実施形態では、コンピュータを備えるデータ処理装置により実行されるプログラムは、第１及び第２の３次元点群データを取得する取得部、前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部、同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部、前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部、として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記のデータ処理装置を実現することができる。このプログラムは、記憶媒体に記憶して取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。
［システム構成］
図１は、実施例に係るデータ処理装置を示す。データ処理装置１０は、車両などに搭載された３Ｄライダにより計測された３Ｄ点群データ（以下、単に「点群データ」と呼ぶ。）を処理する。具体的には、データ処理装置１０は、異なる日時に計測された点群データ間の位置ずれを調整する処理を行う。なお、データ処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えるコンピュータ装置により構成され、予め用意されたプログラムを実行することにより、データ処理を実行する。

いま、図１に示すように、異なる日時に計測された点群データＡと点群データＢが存在し、それぞれ点群データベース（以下、「データベース」を「ＤＢ」とも記す。）５Ａと点群ＤＢ５Ｂに記憶されているものとする。データ処理装置１０は、点群ＤＢ５Ａから点群データＡを取得し、点群ＤＢ５Ｂから点群データＢを取得して処理を行う。

［位置調整処理の概要］
次に、データ処理装置１０により行われる点群データ間の位置調整処理について説明する。図２は、位置調整処理の概要を模式的に示す。点群ＤＢ５Ａには点群データＡが記憶されており、点群ＤＢ５Ｂには点群データＢが記憶されている。ここで、点群データは、３次元空間内において３Ｄライダにより計測された計測点データの集合であり、計測点データの各々は３次元空間内、一般的にはワールド座標系における３次元座標（Ｘ、Ｙ，Ｚ座標）、及び、その計測点における輝度（反射強度）を含む。

点群データＡと点群データＢは、同一の道路を異なる日時に走行した際に計測された点群データである。一般的に、同一の道路を走行した場合でも、３Ｄライダにより計測される点群データは、センサの性能限界などの要因による誤差を含む。即ち、同じ地物を計測して得られた点群データであっても、異なる日時に計測された計測点の位置座標は、ワールド座標系上においてずれを生じる。本実施例のデータ処理装置１０は、基本的に以下の４つの工程により、点群データＡと点群データＢとの位置調整を行う。

（第１工程）
まず、第１工程では、データ処理装置１０は、各点群データを２次元画像であるオルソ画像に変換する。オルソ画像とは、ある地域を上空から撮影した空中写真に対して正射投影による補正をかけた画像であり、ある地域を上空から見た２次元画像である。本実施例では、データ処理装置１０は、点群データＡを変換してオルソ画像Ａを生成し、点群データＢを変換してオルソ画像Ｂを生成する。なお、点群データからオルソ画像への変換は、既知の各種の手法により行うことができる。通常、この変換により、オルソ画像の１画素は、複数の点群データを含むものとなる。

（第２工程）
次に、データ処理装置１０は、オルソ画像Ａ内の画素と、それに対応するオルソ画像Ｂ内の画素との紐付け情報を生成する。この紐付け情報は、オルソ画像Ａ内の画素と、それに対応するオルソ画像Ｂ内の画素とのずれ量を示す情報である。この紐付け情報を、以下「画素間紐付け情報」とも呼ぶ。画素間紐付け情報は、本発明の第１情報に相当する。

（第３工程）
次に、データ処理装置１０は、画素間紐付け情報に基づいて、点群データ間の紐付け情報（以下、「点群間紐付け情報」とも呼ぶ。）を生成する。点群間紐付け情報は、点群データＡ内の所定の計測点と、それに対応する点群データＢ内の計測点とのずれ量を示す情報である。点群間紐付け情報は、本発明の第２情報に相当する。

（第４工程）
そして、データ処理装置１０は、点群間紐付け情報に基づいて、点群データＡに含まれる計測点と、点群データＢに含まれる計測点との位置調整を行う。例えば、点群データＢ中のある計測点の位置を、その計測点に対応する点群間紐付け情報が示すずれ量だけ移動することにより、点群データＡ中のそれに対応する計測点に一致させる。

このように、本実施例では、３Ｄ点群データをいったん２次元画像であるオルソ画像に変換し、オルソ画像の画像間の位置ずれを検出し、これを３Ｄ点群間の位置ずれに展開する。これにより、３Ｄ点群データに対して複雑な演算を行って位置ずれの検出を行う必要がなくなる。

［位置調整処理の詳細］
次に、上記の位置調整処理について詳しく説明する。図３は、位置調整処理のフローチャートである。この処理は、データ処理装置１０が予め用意されたプログラムを実行することにより実現される。

まず、データ処理装置１０は、点群ＤＢ５Ａと点群ＤＢ５Ｂから、点群データＡと点群データＢを取得する（ステップＳ１１）。点群データＡと点群データＢは、同一の道路などを異なる日時に走行し３Ｄライダで計測したデータである。いま、仮に図４（Ａ）に示すＴ字路を矢印の方向に走行中に、３Ｄライダにより路面の点群データを計測したものとする。Ｔ字路の路面には、Ｔ字型の路面ペイント（以下、「マークＭ」と呼ぶ。）が設けられている。よって、点群データＡ及び点群データＢは、それぞれマークＭの領域を含む。なお、マークＭは白色のペイントであり、反射強度が高いため、マークＭに対応する計測点の輝度は高くなる。

次に、データ処理装置１０は、点群データＡからオルソ画像Ａを生成し、点群データＢからオルソ画像Ｂを生成する（ステップＳ１２）。ここで、オルソ画像Ａ、Ｂの各画素は、それに対応する位置の複数の点群データを含む。

図４（Ｂ）は、オルソ画像の画素と点群データとの関係を示す。なお、図４（Ｂ）は、マークＭを含む領域のオルソ画像を示す。オルソ画像は、複数の画素Ｐにより構成されている。また、オルソ画像の１つの画素Ｐには、点群データの複数の計測点が含まれる。図４（Ｂ）の例では、オルソ画像の１つの画素Ｐには、６×６＝３６個の計測点が含まれる。いま、図４（Ｂ）のオルソ画像の右上の１つの画素を画素Ｐｘとすると、その拡大図に示すように、画像Ｐｘの左下の３×３＝９個の計測点は、路面ペイントであるマークＭ上の計測点であり、高い輝度を有するものとなる。一方、この９個の計測点以外の計測点は道路面上の計測点であり、マークＭに比べて低い輝度を有するものとなる。

さて、オルソ画像Ａとオルソ画像Ｂが得られると、データ処理装置１０は、各オルソ画像Ａ、Ｂ中の特徴点の画素（以下、「特徴点画素」とも呼ぶ。）を抽出する（ステップＳ１３）。ここで、特徴点とは、典型的には路面ペイントの角などであり、路面上にあって形状や色などが周辺とは異なる部分である。特徴点は、オルソ画像Ａとオルソ画像Ｂにおいて、相互に対応する画素を特定するために利用される。本例では、データ処理装置１０は、マークＭの右上の角を特徴点とし、マークＭの右上の角を含む画素Ｐｘを特徴点画素とする。即ち、データ処理装置１０は、オルソ画像Ａ、Ｂにおいて、マークＭの右上の角を含む画素Ｐｘを抽出する。なお、図４（Ｂ）から理解されるように、オルソ画像Ａ、Ｂを構成する全ての画素が特徴点を含むわけではなく、オルソ画像Ａ、Ｂを構成する画素のうちの一部の画素が特徴点画素として抽出されることになる。

次に、データ処理装置１０は、オルソ画像Ａ、Ｂのそれぞれから抽出された特徴点画素における代表点を決定する（ステップＳ１４）。本例では、データ処理装置１０は、特徴点画素Ｐｘにおける代表点を決定する。図５は、代表点の例を示す。代表点は、特徴点画素に含まれる複数の計測点のうち、その画素を代表する点であり、以下のいずれかの方法で決定することができる。

第１の方法では、特徴点画素において、その画素の輝度値と最も近い輝度を有する計測点を代表点とする。図５の例では、特徴点画素Ｐｘは反射強度の高いマークＭの一部を含むため、画素自体の輝度は高い。よって、その画素Ｐｘの輝度に最も近い輝度を有する計測点Ｄを代表点とする。図５の例では、画素Ｐｘの輝度に最も近い輝度を有する計測点Ｒ１が代表点に決定される。

第２の方法では、特徴点画素に含まれる点群の重心位置に最も近い計測点を代表点とする。図５の例では、特徴点画素Ｒｘに含まれる点群の重心位置に最も近い計測点Ｒ２が代表点に決定される。第３の方法では、特徴点画素において輝度が所定値よりも高い領域を特定し、その領域の重心位置に最も近い計測点を代表点とする。図５の例では、画素ＰｘにはマークＭに対応する輝度の高い領域があり、その重心位置に最も近い計測点Ｒ３が代表点に決定される。

なお、路面ペイントであるマークＭの反射強度は、天候などの路面状態により変動するので、画素の輝度を判定する際には、必要に応じて輝度の値を正規化して比較することが好ましい。上記のいずれかの方法で代表点が決定されると、データ処理装置は、オルソ画像Ａ、Ｂのそれぞれから抽出された特徴点画素における代表点間のずれ量を算出し、画素間紐付け情報を生成する（ステップＳ１５）。図６は、画素間紐付け情報を生成する方法を示す。いま、図６（Ａ）に示すように、オルソ画像Ａの特徴点画素Ｐａは複数の計測点Ｄａを含み、それらから代表点Ｒａが決定されたとする。また、オルソ画像Ｂの特徴点画素Ｐｂは複数の計測点Ｄｂを含み、それらから代表点Ｒｂが決定されたとする。なお、特徴点画素ＰａとＰｂは同一の位置に対応する画素であるものとする。

この場合、データ処理装置１０は、図６（Ｂ）に示すように、代表点ＲａとＲｂのずれ量（Δｘ，Δｙ，Δｚ）を算出し、これを画素間紐付け情報とする。即ち、オルソ画像Ａの特徴点画素Ｐａとオルソ画像Ｂの特徴点画素Ｐｂとの画素間紐付け情報として、（Δｘ，Δｙ，Δｚ）を得る。ここで、Δｚは図６（Ｂ）の紙面垂直方向の成分、つまり高さ方向の成分である。具体的にΔｚは、特徴点画素Ｐａの高さ成分と特徴点画素Ｐｂの高さ成分のずれ量である。こうして、データ処理装置１０は、オルソ画像Ａ、Ｂにおいて抽出された全ての特徴点画素について代表点を決定し、画素間紐付け情報を生成する。なお、図６の例では、画素間紐付け情報は平行移動成分のみを有する位置ずれを示すが、実際には、３Ｄ点群データの歪などに起因して、回転成分を含む位置ずれや、拡大・縮小を伴う位置ずれなどが生じる。よって、画素間紐付け情報は、そのような回転や拡大・縮小の成分を有する位置ずれ情報を含む場合もある。

こうして画素間紐付け情報が生成されると、データ処理装置１０は、画素間紐付け情報に基づいて、点群間紐付け情報を生成する（ステップＳ１６）。例えば、図６（Ｂ）に示す画素間紐付け情報（Δｘ，Δｙ，Δｚ）が得られた場合、データ処理装置１０は、オルソ画像Ａの特徴点画素Ｐａに含まれる点群と、オルソ画像Ｂの特徴点画素Ｐｂに含まれる点群との間の点群間紐付け情報を（Δｘ，Δｙ，Δｚ）とする。これにより、オルソ画像に含まれる点群レベルでの位置ずれ量を得ることができる。なお、特徴点画素以外の画素については、その近くに存在する特徴点画素についての点群間紐付け情報を利用すればよい。また、近くに複数の特徴点画素がある場合には、それら複数の特徴点画素との位置関係や距離に基づいて、複数の点群間紐付け情報を配分して適用してもよい。

そして、データ処理装置１０は、生成された点群間紐付け情報に基づいて、点群データＡと点群データＢの間の位置調整を行う（ステップＳ１７）。例えば、図６の例では、点群データＢを構成する各計測点の位置を、得られた点群間紐付け情報が示すずれ量に基づいてシフトして点群データＡ、Ｂのずれを解消する。また、点群間紐付け情報が、回転成分を含む位置ずれや、拡大・縮小を伴う位置ずれである場合には、データ処理装置１０は、それらを含む紐付け情報に基づいて、点群データに対して回転や拡大・縮小などの補正を施して位置ずれを解消する。こうして位置ずれが解消された点群データＡ、Ｂは、同一地点で得られた３Ｄ点群データとして地図情報の生成などに利用することができる。

［変形例］
上記の実施例では、路面上に設けられた道路ペイントなどを用いて点群データ間の位置調整を行っている。よって、３Ｄライダで計測された３Ｄ点群データから、前処理として、路面上に対応する点群データのみを抽出し、路面上に対応する点群データについて上記の処理を適用することとするのが好ましい。例えば、３Ｄライダで得られた３Ｄ点群データから、看板などの立体物の点群を予め除去した残りの点群データに対して上記の位置調整処理を適用する。これにより、処理の対象となる点群データ量を削減し、効率的な処理が可能となる。

上記の実施例では、データ処理装置１０は、異なる日時に計測された点群データＡと点群データＢを用いて、点群データＡ、Ｂのずれを解消しているが、本発明はこれに限定されない。同じ日時に点群データＡと点群データＢが、それぞれ異なる車両により計測されたものであっても、上記のデータ処理が実行可能となる。複数の車両のそれぞれに搭載された３Ｄライダは、センサの性能が異なる場合があり、これにより測定データに誤差を生じることになるが、本発明の処理を行うことで、３Ｄライダの性能に関わらず、点群データのずれを解消することが可能となる。

５Ａ、５Ｂ点群データベース
１０データ処理装置
Ｄ点群データの計測点
Ｍマーク
Ｐ、Ｐａ、Ｐｂオルソ画像の画素
Ｒ１〜Ｒ３、Ｒａ、Ｒｂ代表点

Claims

第１及び第２の３次元点群データを取得する取得部と、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部と、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部と、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部と、
を備え、
前記第１生成部は、前記第１画素に含まれる点群のうち当該第１画素の輝度に最も近い輝度を有する点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち当該第２画素の輝度に最も近い輝度を有する点を前記第２画素における代表点とするデータ処理装置。
第１及び第２の３次元点群データを取得する取得部と、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部と、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部と、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部と、
を備え、
前記第１生成部は、前記第１画素に含まれる点群のうち重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち重心位置に最も近い点を前記第２画素における代表点とするデータ処理装置。
第１及び第２の３次元点群データを取得する取得部と、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部と、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部と、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部と、
を備え、
前記第１生成部は、前記第１画素に含まれる点群のうち、当該第１画素に含まれる特徴領域の重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち、当該第２画素に含まれる特徴領域の重心位置に最も近い点を前記第２画素における代表点とするデータ処理装置。
前記３次元点群データは、外界センサにより道路面上で検出されたデータであり、
前記特徴領域は、道路面上のペイントの領域であることを特徴とする請求項３に記載のデータ処理装置。
前記特徴点は、前記ペイントの角に相当する点であることを特徴とする請求項４に記載のデータ処理装置。
前記第２情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置ずれを調整する位置調整部を備えることを特徴とする請求項１乃至５のいずれか一項に記載のデータ処理装置。
データ処理装置により実行されるデータ処理方法であって、
第１及び第２の３次元点群データを取得する取得工程と、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換工程と、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成工程と、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成工程と、
を備え、
前記第１生成工程は、前記第１画素に含まれる点群のうち当該第１画素の輝度に最も近い輝度を有する点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち当該第２画素の輝度に最も近い輝度を有する点を前記第２画素における代表点とするデータ処理方法。
データ処理装置により実行されるデータ処理方法であって、
第１及び第２の３次元点群データを取得する取得工程と、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換工程と、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成工程と、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成工程と、
を備え、
前記第１生成工程は、前記第１画素に含まれる点群のうち重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち重心位置に最も近い点を前記第２画素における代表点とするデータ処理方法。
データ処理装置により実行されるデータ処理方法であって、
第１及び第２の３次元点群データを取得する取得工程と、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換工程と、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成工程と、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成工程と、
を備え、
前記第１生成工程は、前記第１画素に含まれる点群のうち、当該第１画素に含まれる特徴領域の重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち、当該第２画素に含まれる特徴領域の重心位置に最も近い点を前記第２画素における代表点とするデータ処理方法。
コンピュータを備えるデータ処理装置により実行されるプログラムであって、
第１及び第２の３次元点群データを取得する取得部、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部、
として前記コンピュータを機能させ、
前記第１生成部は、前記第１画素に含まれる点群のうち当該第１画素の輝度に最も近い輝度を有する点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち当該第２画素の輝度に最も近い輝度を有する点を前記第２画素における代表点とするプログラム。
コンピュータを備えるデータ処理装置により実行されるプログラムであって、
第１及び第２の３次元点群データを取得する取得部、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部、
として前記コンピュータを機能させ、
前記第１生成部は、前記第１画素に含まれる点群のうち重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち重心位置に最も近い点を前記第２画素における代表点とするプログラム。
コンピュータを備えるデータ処理装置により実行されるプログラムであって、
第１及び第２の３次元点群データを取得する取得部、
前記第１及び第２の３次元点群データを、第１及び第２の２次元画像に変換する変換部、
同一の特徴点に対応する、前記第１の２次元画像中の第１画素と前記第２の２次元画像中の第２画素とを抽出し、前記第１画素と前記第２画素の各々における代表点の位置関係を示す第１情報を生成する第１生成部、
前記第１情報に基づいて、前記第１の３次元点群データと前記第２の３次元点群データとの位置関係を示す第２情報を生成する第２生成部、
として前記コンピュータを機能させ、
前記第１生成部は、前記第１画素に含まれる点群のうち、当該第１画素に含まれる特徴領域の重心位置に最も近い点を前記第１画素における代表点とし、前記第２画素に含まれる点群のうち、当該第２画素に含まれる特徴領域の重心位置に最も近い点を前記第２画素における代表点とするプログラム。
請求項１０乃至１２のいずれか一項に記載のプログラムを記憶した記憶媒体。