JP2022149051A - 地図生成装置、地図生成システム、地図生成方法、およびプログラム - Google Patents

Abstract

【課題】高精度な地図を生成すること。【解決手段】実施形態の地図生成装置は、車両に搭載されたカメラにより撮像された画像を取得する取得部と、前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定する第１推定部と、人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定する第２推定部と、前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定し、設定した前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成する生成部と、を備える。【選択図】図２

Description

本発明は、地図生成装置、地図生成システム、地図生成方法、およびプログラムに関する。

従来、車載カメラにより撮像された道路の画像などの情報に基づいて、道路地図を生成する技術が知られている（例えば、特許文献１参照）。この技術においては、複眼カメラにより撮像された複数の画像を用いて道路上の対象物と車両との距離を算出して道路地図を生成する。また、ＧＮＳＳ（Global Navigation Satellite System）衛星から受信した信号や、車載センサの出力値に基づいて算出されるオドメトリ情報を用いて画像撮像時における車両位置を特定し、地図の精度を向上させる手法も知られている。

特開２０２０－１６６１２３号公報

従来の技術において、高精度な道路地図を生成するためには、画像撮像時における車両位置を正確に特定する必要がある。しかしながら、ＧＮＳＳ衛星からの受信状況の悪化やオドメトリ情報に誤差が生じている場合など、画像撮影時の条件によっては、車両位置を正確に特定できず、道路地図の精度に問題が生じる場合があった。また、複眼カメラを用いる場合、処理対象となる画像数の増大に伴って処理負荷や処理時間が増大することや、高価な複眼カメラを用いることでコスト増につながるという問題があった。

本発明は、このような事情を考慮してなされたものであり、高精度な地図を生成することができる地図生成装置、地図生成システム、地図生成方法、およびプログラムを提供することを目的の一つとする。

この発明に係る地図生成装置、地図生成システム、地図生成方法、およびプログラムは、以下の構成を採用した。
（１）この発明の一態様の地図生成装置は、車両に搭載されたカメラにより撮像された画像を取得する取得部と、前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定する第１推定部と、人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定する第２推定部と、前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定し、設定した前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成する生成部と、を備えるものである。

（２）の態様は、上記（１）の態様に係る地図生成装置において、前記第１推定部は、前記車両のオドメトリ情報に基づいて、前記第１位置および前記第１位置の誤差を推定し、前記第２推定部は、前記車両がＧＮＳＳ衛星から受信した電波に基づいて、前記第２位置および前記第２位置の誤差を推定するものである。

（３）の態様は、上記（２）の態様に係る地図生成装置において、前記第１推定部は、前記オドメトリ情報を取得するための装置の設計上の誤差の分散値を用いて共分散行列を算出し、算出した前記共分散行列を用いて前記第１位置の誤差の範囲を示す第１誤差楕円を推定するものである。

（４）の態様は、上記（３）の態様に係る地図生成装置において、前記第２推定部は、前記ＧＮＳＳ衛星からの電波を受信するための装置の設計上の誤差の分散値を用いて共分散行列を算出し、算出した前記共分散行列を用いて前記第２位置の誤差の範囲を示す第２誤差楕円を推定するものである。

（５）の態様は、上記（４）の態様に係る地図生成装置において、前記生成部は、前記第１誤差楕円と、前記第２誤差楕円との比較結果に基づいて、前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を判定するものである。

（６）の態様は、上記（１）から（５）のいずれかの態様に係る地図生成装置において、前記生成部は、前記第１位置および前記第２位置のうち誤差が小さい一方の位置を選択し、選択した前記一方の位置を、前記車両の位置情報として設定するものである。

（７）の態様は、上記（１）から（５）のいずれかの態様に係る地図生成装置において、前記生成部は、前記第１位置および前記第２位置のうち誤差が小さい一方の位置の重みが大きくなるように係数を設定し、前記第１位置および前記第２位置の加重和を算出することにより得られる位置を、前記車両の位置情報として設定するものである。

（８）の態様は、上記（１）から（７）のいずれかの態様に係る地図生成装置において、前記生成部は、前記車両の位置情報の時系列の変化に基づいて前記車両の移動量を算出し、算出した前記移動量を用いて、前記画像から生成された地図のスケールを補正するものである。

（９）の態様は、上記（８）の態様に係る地図生成装置において、前記生成部は、前記車両の位置情報の時系列の変化に基づいて算出される前記車両の移動量と、前記画像から生成された点群地図に含まれる点群データに基づいて算出される前記車両の移動量との比であるスケール補正係数を算出し、算出された前記スケール補正係数を用いて、前記画像から生成された地図のスケールを補正するものである。

（１０）この発明の他の態様の地図生成システムは、上記（１）から（９）の何れかの態様に係る地図生成装置と、前記カメラと、前記車両の走行状態を示す情報を取得するための装置と、人工衛星から到来する電波を取得するための装置と、を備えるものである。

（１１）この発明の他の態様の地図生成方法は、コンピュータが、車両に搭載されたカメラにより撮像された画像を取得し、前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定し、人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定し、前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定し、設定された前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成するものである。

（１２）この発明の他の態様のプログラムは、コンピュータに、車両に搭載されたカメラにより撮像された画像を取得させ、前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定させ、人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定させ、前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定させ、設定された前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成させるものである。

上記（１）から（１２）の態様によれば、第１位置および第２位置のうち、誤差が小さい一方の位置を優先して車両の位置情報を設定し、設定した車両の位置情報と、画像とに基づいて、車両が走行した場所の地図を生成することで、高精度な地図を生成することができる。
上記（２）から（７）の態様によれば、車両のオドメトリ情報に基づく第１位置の誤差を推定し、車両がＧＮＳＳ衛星から受信した電波に基づく第２位置の誤差を推定し、両者を比較して誤差の小さい一方の位置を判定することで、車両の位置を正確に推定することができる。
上記（８）から（９）の態様によれば、車両の位置情報の時系列の変化に基づいて算出された車両の移動量を用いて地図のスケールを補正することで、より高精度な地図を生成することができる。

第１実施形態に係る地図生成システム１の構成の一例を示す図である。 第１実施形態に係る地図生成装置１００の構成の一例を示す図である。 第１実施形態に係る地図生成装置１００による地図生成処理の一例を示すフローチャートである。 第１実施形態に係る地図生成部１２１により生成された点群地図ＭＰ１の一例を示す図である。 第１実施形態に係る判定部１２２による判定処理の一例を説明する図である。 第１実施形態に係るスケール補正部１２４によりスケール補正が行われた点群地図ＭＰ１Ａの一例を示す図である。 第２実施形態に係る地図生成システム２の構成例を示す図である。

以下、図面を参照し、本発明の地図生成装置、地図生成システム、地図生成方法、およびプログラムの実施形態について説明する。

＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係る地図生成システム１の構成の一例を示す図である。地図生成システム１は、車両Ｍに搭載される。地図生成システム１は、例えば、カメラ１０と、オドメトリ情報を取得するための装置の一例である車輪速センサ２０－１～２０－４、速度計算装置２１、車体加速度センサ２２、操舵角センサ３０、およびヨーレートセンサ４０と、ＧＮＳＳ（Global Navigation Satellite System）受信機５０と、地図生成装置１００とを備える。車両Ｍは、自動運転機能を有する車両であってもよいし、手動運転によって走行する車両であってもよい。また、その駆動機構に特段の制限はなく、エンジン車両、ハイブリッド車両、電気自動車、燃料電池車両など、種々の車両が車両Ｍとなり得る。以下、各車輪速センサを区別しない場合、単に車輪速センサ２０と記載する。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面などに取り付けられる。後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドアなどに取り付けられる。側方を撮像する場合、カメラ１０は、ドアミラーなどに取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像して、周辺画像を取得する。カメラ１０は、例えば、単眼カメラ、複眼カメラ（ステレオカメラ）である。以下において、カメラ１０が単眼カメラであり、単眼カメラＳＬＡＭ（Simultaneous Localization and Mapping）により地図生成を行う場合を例に挙げて説明する。

オドメトリ情報とは、移動体の挙動を測定するために移動体に取り付けられる装置（例えば、センサ）の出力値に基づいて、移動体の位置および姿勢を推定した結果をいう。車両の場合、車輪の速度を測定するための車輪速センサ２０、車輪速センサ２０の出力に基づいて車両の速度を計算する速度計算装置２１、車体加速度センサ２２、ステアリングホイールの操作角度（或いは操舵機構の角度）を検出する操舵角センサ３０、車両に生じた垂直軸回りの回転速度を検出するヨーレートセンサ４０のうち一部または全部、或いはこれらに類する他のセンサなどが上記「センサ」に該当する。速度を取得するためのセンサとして、変速機や走行用モータの回転角度を検出するセンサが用いられてもよい。

車輪速センサ２０は、車両Ｍの各車輪に取り付けられる。車輪速センサ２０は、車輪が所定角度回転するごとにパルス信号を出力する。速度計算装置２１は、各車輪速センサ２０から入力されたパルス信号をカウントすることで、各車輪の速度を算出する。また、速度計算装置２１は、各車輪の速度のうち例えば従動輪の速度を平均することで、車両Ｍの速度を算出する。

車体加速度センサ２２は、５軸または６軸のＩＭＵ（Inertial Measurement Unit：慣性計測装置）であり、車両Ｍの車体における３軸（ロール軸、ピッチ軸、ヨー軸）の角速度を検出し、さらにその結果から角度および加速度を推定する。

ＧＮＳＳ受信機５０は、ＧＮＳＳ衛星から受信した信号（人工衛星から到来する電波）に基づいて、車両Ｍの位置を特定する。

地図生成装置１００は、カメラ１０により撮像された車両Ｍの周辺画像に基づいて、車両Ｍが通過した道路の地図を生成する。地図は、例えば、道路を２次元或いは３次元の点群データにより表した点群地図（ポイントクラウド地図）である。点群データは、車両Ｍの周辺にある物標の位置を表す２次元或いは３次元のデータである。点群データは、「道路面」、「ガードレール」といった、広がりを持つ物体を構成するものとして物体認識がなされた後の、面や立体物を表現したモデルのデータを含んでもよい。点群地図は、例えば、道路を上空から仮想的に見た鳥瞰図であってもよい。点群地図は、例えば、２次元座標値（ＸＹ軸）、３次元座標値（ＸＹＺ軸）などによって表されてよい。

図２は、第１実施形態に係る地図生成装置１００の構成の一例を示す図である。地図生成装置１００は、例えば、制御部１１０と、記憶部１３０とを備える。制御部１１０は、例えば、第１取得部１１１と、第２取得部１１２と、第３取得部１１３と、第１推定部１１４と、第２推定部１１５と、生成部１１６とを備える。生成部１１６は、例えば、地図生成部１２１と、判定部１２２と、移動量算出部１２３と、スケール補正部１２４とを備える。

制御部１１０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサ（コンピュータ）がプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

第１取得部１１１は、カメラ１０から周辺画像を取得し、周辺画像Ｄ１として記憶部１３０に記憶させる。すなわち、第１取得部１１１は、車両Ｍに搭載されたカメラ１０により撮像された画像を取得する。第１取得部１１１は、「取得部」の一例である。

第２取得部１１２は、速度計算装置２１、車体加速度センサ２２、操舵角センサ３０、およびヨーレートセンサ４０の出力値を取得し、それらを合成して車両Ｍのオドメトリ情報を生成し、オドメトリ情報Ｄ２として記憶部１３０に記憶させる。オドメトリ情報Ｄ２は、６自由度の移動量で表される情報であってもよいし、実用上は、ＸＹ軸のそれぞれに関する並進移動量と、Ｚ軸を中心とする回転移動量とを含む、３自由度の移動量であってもよい。オドメトリ情報Ｄ２を生成するための演算手法として種々の手法が知られているが、一例として、Ｕｎｉｃｙｃｌｅモデルと称される演算手法を採用してよい。この演算手法において、例えば、速度計算装置２１の出力値と、操舵角センサ３０の出力値とが入力値として用いられる。出力となるオドメトリ情報は、例えば、車両Ｍのある時刻におけるＸ方向の位置、Ｙ方向の位置、および方位を示す。

第３取得部１１３は、ＧＮＳＳ受信機５０から車両Ｍの位置情報を取得し、ＧＮＳＳ情報Ｄ３として記憶部１３０に記憶させる。

第１推定部１１４は、オドメトリ情報Ｄ２に基づいて、ある時刻における車両Ｍの位置（以下、「第１位置」とも言う）を推定する。また、第１推定部１１４は、上記の第１位置に加えて、第１位置が含みうる誤差（以下、「第１誤差」とも言う）を推定する。第１推定部１１４は、例えば、車輪速センサ２０、車体加速度センサ２２、操舵角センサ３０、ヨーレートセンサ４０などの設計上の誤差の分散値を用いて共分散行列を算出し、算出した共分散行列に基づいて誤差楕円（誤差範囲）を推定する。この共分散行列は、一般的に、カルマンフィルタなどに用いられるものと同等である。また、第１推定部１１４は、車両Ｍが方位が一定でない走行をした場合などに生じるうる計算誤差、計算の丸め誤差などを考慮して、共分散行列を算出してもよい。

すなわち、第１推定部１１４は、車両Ｍの走行状態を示す情報に基づいて、車両Ｍの位置を示す第１位置および第１位置の誤差を推定する。第１推定部１１４は、「第１推定部」の一例である。速度計算装置２１、車体加速度センサ２２、操舵角センサ３０、およびヨーレートセンサ４０の出力値は、「車両Ｍの走行状態を示す情報」の一例である。第１推定部１１４は、車両Ｍのオドメトリ情報に基づいて、第１位置および第１位置の誤差を推定する。また、第１推定部１１４は、オドメトリ情報を取得するための装置の設計上の誤差の分散値を用いて共分散行列を算出し、算出した共分散行列を用いて第１位置の誤差の範囲を示す第１誤差楕円を推定する。

第２推定部１１５は、ＧＮＳＳ情報Ｄ３に基づいて、ある時刻における車両Ｍの位置（以下、「第２位置」とも言う）を推定する。また、第２推定部１１５は、上記の第２位置に加えて、第２位置が含みうる誤差（以下、「第２誤差」とも言う）を推定する。第２推定部１１５は、例えば、ＧＮＳＳ受信機５０の設計上の誤差の分散値を用いて共分散行列を算出し、算出した共分散行列に基づいて誤差楕円（誤差範囲）を推定する。また、第２推定部１１５は、例えば、道路周辺の建物や気象条件などに起因して受信精度が低下することに起因する誤差を考慮して、共分散行列を算出してもよい。

すなわち、第２推定部１１５は、人工衛星から到来する電波に基づいて、車両の位置を示す第２位置および第２位置の誤差を推定する。第２推定部１１５は、「第２推定部」の一例である。ＧＮＳＳ衛星から到来する信号は、「人工衛星から到来する電波」の一例である。第２推定部１１５は、車両ＭがＧＮＳＳ衛星から受信した電波に基づいて、第２位置および第２位置の誤差を推定する。第２推定部１１５は、ＧＮＳＳ衛星からの電波を受信するための装置の設計上の誤差の分散値を用いて共分散行列を算出し、算出した共分散行列を用いて第２位置の誤差の範囲を示す第２誤差楕円を推定する。

地図生成部１２１は、周辺画像Ｄ１に基づいて、車両Ｍが通過した道路の地図を生成する。地図生成部１２１は、例えば、点群地図を生成する。地図生成部１２１は、生成した地図を、地図情報ＭＰとして記憶部１３０に記憶させる。ここで、例えば、単眼カメラであるカメラ１０により撮像された周辺画像Ｄ１を用いて点群地図を生成する場合、画像に含まれる道路上の対象物までの距離を原理的に算出することが出来ない。このため、周辺画像Ｄ１に含まれる画像特徴点により生成された点群地図は、距離の単位（スケール）が定まらず、別途スケール補正処理を施す必要がある。このため、生成部１１６において、周辺画像Ｄ１に基づいて生成された点群地図に対して、以下の判定部１２２、移動量算出部１２３、およびスケール補正部１２４を用いたスケール補正処理が行われる。

判定部１２２は、例えば、第１推定部１１４により推定された第１位置と、第２推定部１１５により推定された第２位置とで、どちらの推定精度が高いかを判定する。例えば、判定部１２２は、第１位置と、第２位置とで、どちらの誤差が小さいか（或いは大きいか）を判定する。例えば、判定部１２２は、第１誤差によって表される誤差楕円の長軸の長さと、第２誤差によって表される誤差楕円の長軸の長さとを比較し、長軸の長さが短いほうの推定位置の誤差が小さいと判定する（すなわち、推定精度が高いと判定する）。また、判定部１２２は、第１誤差によって表される誤差楕円の短軸の長さと、第２誤差によって表される誤差楕円の短軸の長さとを比較し、短軸の長さが短いほうの推定位置の誤差が小さいと判定してもよい。また、判定部１２２は、第１誤差によって表される誤差楕円の長軸と短軸の長さの平均値と、第２誤差によって表される誤差楕円の長軸と短軸の長さの平均値とを比較し、平均値が小さいほうの推定位置の誤差が小さいと判定してもよい。或いは、判定部１２２は、第１誤差によって表される誤差楕円の面積と、第２誤差によって表される誤差楕円の面積とを比較し、面積が小さいほうの推定位置の誤差が小さいと判定してもよい。

すなわち、生成部１１６は、第１誤差楕円と、第２誤差楕円との比較結果に基づいて、第１位置および第２位置のうち、誤差が小さい一方の位置を判定する。

移動量算出部１２３は、点群地図に含まれる時系列の点群データの今回値と前回値（数回前の値でもよい）とを比較し、１サイクルあたりの車両Ｍの移動量を算出する。１サイクルとは、車両Ｍの移動量を導出する始点時刻と終点時刻との間の期間を意味する。１サイクルは、例えば０．１［ｓｅｃ］～１［ｓｅｃ］程度の期間である。移動量とは、例えば、地図生成装置１００が想定する直交座標系をＸＹＺ軸とすると、ＸＹＺ軸のそれぞれに関する並進移動量と、ＸＹＺ軸のそれぞれを中心とする回転移動量とを含む、６自由度の移動量である。

また、移動量算出部１２３は、時系列の第１位置および／または第２位置の今回値と前回値（数回前の値でもよい）とを比較し、１サイクルあたりの車両Ｍの移動量を算出する。判定部１２２により第２位置よりも第１位置の方が推定精度が高いと判定された場合、移動量算出部１２３は、今回値として第１位置を優先して設定し、今回値（第１位置）と前回値（第１位置または第２位置）との移動量を算出する。一方、判定部１２２により第１位置よりも第２位置の方が推定精度が高いと判定された場合、移動量算出部１２３は、今回値として第２位置を優先して設定し、今回値（第２位置）と前回値（第１位置または第２位置）との移動量を算出する。移動量算出部１２３の処理の詳細については後述する。

優先して設定するとは、第１位置および第２位置のうち、いずれか一方の推定位置を選択して車両Ｍの推定位置（位置情報）として設定することと、いずれか一方の重みが大きくなるように係数（加重度）を設定して第１位置および第２位置の加重和を算出して車両Ｍの推定位置として設定することとの両方を含む。例えば、第１位置を優先して設定するとは、第１位置を選択して車両Ｍの推定位置として設定することと、第１位置の重みが大きくなるように係数を設定して第１位置および第２位置の加重和を算出して車両Ｍの推定位置として設定することとの両方を含む。例えば、移動量算出部１２３は、第１推定部１１４により推定された第１誤差と、第２推定部１１５により推定された第２誤差との比に基づいて、重み係数を設定する。

スケール補正部１２４は、移動量算出部１２３により算出された移動量に基づいて、点群地図のスケール補正に用いられるスケール補正係数を算出する。スケール補正部１２４は、算出したスケール補正係数を用いて、点群地図のスケールを補正する。スケール補正係数は、例えば、点群地図に基づいて算出される移動量と、第１位置および／または第２位置に基づいて算出される移動量との比である。スケール補正部１２４の処理の詳細については後述する。

すなわち、生成部１１６は、第１位置および第２位置のうち、誤差が小さい一方の位置を優先して車両Ｍの位置情報を設定し、設定した車両Ｍの位置情報と、周辺画像とに基づいて、車両Ｍが走行した場所の地図を生成する。生成部１１６は、「生成部」の一例である。生成部１１６は、第１位置および第２位置のうち誤差が小さい一方の位置を選択し、選択した一方の位置を、車両Ｍの位置情報として設定する。また、生成部１１６は、第１位置および第２位置のうち誤差が小さい一方の位置の重みが大きくなるように係数を設定し、第１位置および第２位置の加重和を算出することにより得られる位置を、車両の位置情報として設定する。

また、生成部１１６は、車両Ｍの位置情報の時系列の変化に基づいて車両の移動量を算出し、算出した移動量を用いて、周辺画像から生成された地図のスケールを補正する。生成部１１６は、車両Ｍの位置情報の時系列の変化に基づいて算出される車両Ｍの移動量と、周辺画像から生成された点群地図に含まれる点群データに基づいて算出される車両Ｍの移動量との比であるスケール補正係数を算出し、算出されたスケール補正係数を用いて、周辺画像から生成された地図のスケールを補正する。

記憶部１３０は、例えば、周辺画像Ｄ１、オドメトリ情報Ｄ２、ＧＮＳＳ情報Ｄ３、地図情報ＭＰなどを記憶する。記憶部１３０は、ＨＤＤ、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの記憶装置である。

以下、フローチャートを用いて、地図生成処理について説明する。図３は、第１実施形態に係る地図生成装置１００による地図生成処理の一例を示すフローチャートである。以下の説明においては、予め、車両Ｍが地図生成の対象となる道路を走行して周辺画像Ｄ１、オドメトリ情報Ｄ２、およびＧＮＳＳ情報Ｄ３が取得され、記憶部１３０に記憶されているものとして説明する。なお、地図生成装置１００は、車両Ｍが地図生成の対象となる道路を走行しながら地図を生成するものであってもよい。また、以下に説明されるフローチャートの処理ステップは、順番が入れ替わってもよいし、複数の処理ステップが並行して実行されてもよい。

まず、地図生成部１２１は、記憶部１３０から時系列に撮像された周辺画像Ｄ１を読み出して、読み出した周辺画像Ｄ１に基づいて、点群地図を生成する（ステップＳ１０１）。地図生成部１２１は、例えば、周辺画像Ｄ１の各々に含まれる道路区画線や、車両Ｍの周辺にある物標の位置などを認識して特徴点として抽出し、抽出した特徴点を点群データとして表した点群地図を生成する。

図４は、第１実施形態に係る地図生成部１２１により生成された点群地図ＭＰ１の一例を示す図である。この点群地図ＭＰ１には、地図生成の対象となる道路（道路Ｒ１）が点群データで表されている。なお、この点群地図ＭＰ１には、比較のため、地図生成の対象となる道路について、ＧＮＳＳ情報に基づいてスケールが定められた道路Ｒ０も示されている。図４に示すように、この点群地図ＭＰ１において、道路Ｒ１は、スケールが定まっておらず、実際のスケールが把握できない状態となっている。

次に、第１推定部１１４は、記憶部１３０に記憶されたオドメトリ情報Ｄ２のうち、ある時刻におけるオドメトリ情報を読み出して、第１位置および第１誤差を推定する（ステップＳ１０３）。

次に、第２推定部１１５は、記憶部１３０に記憶されたＧＮＳＳ情報Ｄ３のうち、上記のステップＳ１０３において処理の対象となったオドメトリ情報Ｄ２の時刻と対応するＧＮＳＳ情報を読み出して、第２位置および第２誤差を推定する（ステップＳ１０５）。

次に、判定部１２２は、第１推定部１１４により推定された第１誤差と、第２推定部１１５により推定された第２誤差とを比較し、第１誤差が、第２誤差よりも小さいか否かを判定する（ステップＳ１０７）。

判定部１２２は、第１誤差が第２誤差よりも小さいと判定した場合、第１位置を優先して車両Ｍの位置情報を設定する（ステップＳ１０９）。一方、判定部１２２は、第１誤差が第２誤差よりもりも小さくないと判定した場合、第２位置を優先して車両Ｍの位置情報を設定する（ステップＳ１１１）。

図５は、第１実施形態に係る判定部１２２による判定処理の一例を説明する図である。図５に示す例では、時刻ｔ１について、オドメトリ情報Ｄ２を用いた第１推定部１１４による推定処理により、第１位置ＥＰ１－１および第１誤差ＥＥ１－１が得られている。また、時刻ｔ１について、ＧＮＳＳ情報Ｄ３を用いた第２推定部１１５による推定処理により、第２位置ＥＰ２－１および第２誤差ＥＥ２－１が得られている。ここで、例えば、第１誤差ＥＥ１－１によって表される誤差楕円の長軸の長さは、第２誤差ＥＥ２－１によって表される誤差楕円の長軸の長さよりも短い。この場合、判定部１２２は、時刻ｔ１について、第１位置ＥＰ１－１の誤差が、第２位置ＥＰ２－１の誤差よりも小さいと判定する。これにより、判定部１２２は、時刻ｔ１について、第１位置ＥＰ１－１を優先して車両Ｍの位置情報を設定する。

同様に、図５に示す例では、時刻ｔ２について、オドメトリ情報Ｄ２を用いた第１推定部１１４による推定処理により、第１位置ＥＰ１－２および第１誤差ＥＥ１－２が得られている。また、時刻ｔ２について、ＧＮＳＳ情報Ｄ３を用いた第２推定部１１５による推定処理により、第２位置ＥＰ２－２および第２誤差ＥＥ２－２が得られている。ここで、例えば、第１誤差ＥＥ１－２によって表される誤差楕円の長軸の長さは、第２誤差ＥＥ２－２によって表される誤差楕円の長軸の長さよりも短い。この場合、判定部１２２は、時刻ｔ２について、第１位置ＥＰ１－２の誤差が、第２位置ＥＰ２－２の誤差よりも小さいと判定する。これにより、判定部１２２は、時刻ｔ２について、第１位置ＥＰ１－２を優先して車両Ｍの位置情報を設定する。

一方、図５に示す例では、時刻ｔ３について、オドメトリ情報Ｄ２を用いた第１推定部１１４による推定処理により、第１位置ＥＰ１－３および第１誤差ＥＥ１－３が得られている。また、時刻ｔ３について、ＧＮＳＳ情報Ｄ３を用いた第２推定部１１５による推定処理により、第２位置ＥＰ２－３および第２誤差ＥＥ２－３が得られている。ここで、例えば、第１誤差ＥＥ１－３によって表される誤差楕円の長軸の長さは、第２誤差ＥＥ２－３によって表される誤差楕円の長軸の長さよりも長い。この場合、判定部１２２は、時刻ｔ３について、第１位置ＥＰ１－３の誤差が、第２位置ＥＰ２－３の誤差よりも大きいと判定する。これにより、判定部１２２は、時刻ｔ３について、第２位置ＥＰ２－３を優先して車両Ｍの位置情報を設定する。

なお、第１推定部１１４は、所定のタイミングで、オドメトリ情報Ｄ２に基づく推定に利用する車両位置（前回の推定位置）の情報をリセットし、誤差の蓄積を解消するようにしてもよい。例えば、第１推定部１１４は、図５に示す例における時刻ｔ３のように、ＧＮＳＳ情報Ｄ３に基づく第２位置の方が精度が高いと判定されたタイミングで、第２位置を現在の車両位置として設定し、以後のオドメトリ情報Ｄ２に基づく推定処理を行うようにしてもよい。

次に、判定部１２２は、記憶部１３０に記憶されているオドメトリ情報Ｄ２およびＧＮＳＳ情報Ｄ３の全処理対象データの処理が完了したか否かを判定する（ステップＳ１１３）。判定部１２２により全処理対象データの処理が完了していないと判定された場合、ステップＳ１０３に戻り、第１推定部１１４は、記憶部１３０に記憶された未だ処理されていないオドメトリ情報Ｄ２のうち、ある時刻におけるオドメトリ情報を読み出して、第１位置および第１誤差を推定し、以後のステップの処理が繰り返される。

一方、判定部１２２により全処理対象データの処理が完了していると判定された場合、移動量算出部１２３は、点群地図に基づく点群データ間の車両Ｍの移動量を算出し、および、第１位置および／または第２位置に基づく移動量を算出する（ステップＳ１１５）。図５に示す例では、移動量算出部１２３は、時刻ｔ１における第１位置ＥＰ１－１と時刻ｔ２における第１位置ＥＰ１－２との間の移動量ＡＭ１を算出する。また、移動量算出部１２３は、時刻ｔ２における第１位置ＥＰ１－２と時刻ｔ３における第２位置ＥＰ２－３との間の移動量ＡＭ２を算出する。また、移動量算出部１２３は、時刻ｔ３における第２位置ＥＰ２－３と時刻ｔ４における第１位置ＥＰ１－４との間の移動量ＡＭ３を算出する。

次に、スケール補正部１２４は、移動量算出部１２３により算出された移動量に基づいて、スケール補正係数を算出する（ステップＳ１１７）。図５に示す例では、スケール補正部１２４は、点群地図から算出される時刻ｔ１に対応する点と時刻ｔ２に対応する点との間の移動量（以下、「第１移動量」と言う）と、移動量ＡＭ１との比を、スケール補正係数（以下、「第１スケール補正係数」と言う）として算出する。同様に、スケール補正部１２４は、点群地図から算出される時刻ｔ２に対応する点と時刻ｔ３に対応する点との間の移動量（以下、「第２移動量」と言う）と、移動量ＡＭ２との比を、スケール補正係数（以下、「第２スケール補正係数」と言う）として算出する。また、スケール補正部１２４は、点群地図から算出される時刻ｔ３に対応する点と時刻ｔ４に対応する点との間の移動量（以下、「第３移動量」と言う）と、移動量ＡＭ３との比を、スケール補正係数（以下、「第３スケール補正係数」と言う）として算出する。

次に、スケール補正部１２４は、算出したスケール補正係数を用いて、点群地図のスケールを補正する（ステップＳ１１９）。例えば、スケール補正部１２４は、第１スケール補正係数を用いて、点群地図上における時刻ｔ１に対応する点と時刻ｔ２に対応する点との距離を補正する。例えば、第１スケール補正係数が第１移動量に対する移動量ＡＭ１の比である場合、スケール補正部１２４は、点群地図上における時刻ｔ１に対応する点と時刻ｔ２に対応する点との距離に、第１スケール補正係数を乗じることで、補正を行う。同様に、スケール補正部１２４は、第２スケール補正係数を用いて、点群地図上における時刻ｔ２に対応する点と時刻ｔ３に対応する点との距離を補正する。同様に、スケール補正部１２４は、第３スケール補正係数を用いて、点群地図上における時刻ｔ３に対応する点と時刻ｔ４に対応する点との距離を補正する。なお、スケール補正部１２４は、点群地図１つに対して１つのスケール補正係数を算出し、算出した１つのスケール補正係数を用いて点群地図のスケールを補正するようにしてもよい。例えば、スケール補正部１２４は、上記のように算出される複数のスケール補正係数の平均値（例えば、第１スケール補正係数から第３スケール補正係数の平均値）を、点群地図１つに対する１つのスケール補正係数として算出してよい。

図６は、第１実施形態に係るスケール補正部１２４によりスケール補正が行われた点群地図ＭＰ１Ａの一例を示す図である。図６に示すスケール補正後の点群地図ＭＰ１Ａにおいては、図４に示す点群地図ＭＰ１に示される道路Ｒ１に対してスケール補正が行われた結果として得られる道路Ｒ１Ａが示されている。このスケール補正後の道路Ｒ１Ａは、比較として示すＧＮＳＳ情報に基づいて生成された道路Ｒ０とほぼ同様なスケールおよび形状を有している。このように、地図生成装置１００では、点群地図のスケールを推定して補正を行うことで、高精度な地図を生成することができる。以上により、本フローチャートの処理が完了する。

以上説明した第１実施形態の地図生成システム１および地図生成装置１００によれば、第１位置および第２位置のうち、誤差が小さい一方の位置を優先して車両Ｍの位置情報を設定し、設定した車両Ｍの位置情報と、周辺画像とに基づいて、車両Ｍが走行した場所の地図を生成することで、高精度な地図を生成することができる。また、車両Ｍのオドメトリ情報に基づく第１位置の誤差を推定し、車両ＭがＧＮＳＳ衛星から受信した電波に基づく第２位置の誤差を推定し、両者を比較して誤差の小さい一方の位置を判定することで、車両Ｍの位置を正確に推定することができる。また、車両Ｍの位置情報の時系列の変化に基づいて算出された車両Ｍの移動量を用いて地図のスケールを補正することで、例えば、単眼カメラより撮像された周辺画像を用いた場合であっても、高精度な地図を生成することができる。

＜第２実施形態＞
以下、第２実施形態について説明する。図７は、第２実施形態に係る地図生成システム２の構成例を示す図である。地図生成システム２において、地図生成装置１００Ａは、車両Ｍではなくクラウドサーバとして構成される。一以上の車両Ｍには、カメラ１０、速度計算装置２１、車体加速度センサ２２、操舵角センサ３０、ヨーレートセンサ４０、ＧＮＳＳ受信機５０などからの情報を、必要に応じて処理を加えて地図生成装置１００Ａに送信する通信装置６０が搭載されている。地図生成装置１００Ａは、ネットワークＮＷを介して通信装置６０から送信された情報を取得する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、セルラー網、無線基地局、インターネットなどを含む。地図生成装置１００Ａは、ネットワークＮＷに接続するための通信インターフェース（不図示）を備える他は第１実施形態と同様の構成を備える（図２参照）。これについての再度の説明は省略する。

以上説明した第２実施形態の地図生成システム２および地図生成装置１００Ａによれば、第１実施形態の地図生成システム１と同様に、高精度な地図を生成することができる。

上記説明した実施形態は、以下のように表現することができる。
地図生成装置であって、
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記プログラムを実行することにより、
車両に搭載されたカメラにより撮像された画像を取得し、
前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定し、
人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定し、
前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定し、
設定された前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成する、
地図生成装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１、２ 地図生成システム
１０ カメラ
２０ 車輪速センサ
２１ 速度計算装置
２２ 車体加速度センサ
３０ 操舵角センサ
４０ ヨーレートセンサ
５０ ＧＮＳＳ受信機
６０ 通信装置
１００、１００Ａ 地図生成装置
１１１ 第１取得部
１１２ 第２取得部
１１３ 第３取得部
１１４ 第１推定部
１１５ 第２推定部
１１６ 生成部
１２１ 地図生成部
１２２ 判定部
１２３ 移動量算出部
１２４ スケール補正部
１３０ 記憶部

Claims (12)

1. 車両に搭載されたカメラにより撮像された画像を取得する取得部と、
   前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定する第１推定部と、
   人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定する第２推定部と、
   前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定し、設定した前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成する生成部と、
   を備える、地図生成装置。
2. 前記第１推定部は、前記車両のオドメトリ情報に基づいて、前記第１位置および前記第１位置の誤差を推定し、
   前記第２推定部は、前記車両がＧＮＳＳ衛星から受信した電波に基づいて、前記第２位置および前記第２位置の誤差を推定する、
   請求項１に記載の地図生成装置。
3. 前記第１推定部は、前記オドメトリ情報を取得するための装置の設計上の誤差の分散値を用いて共分散行列を算出し、算出した前記共分散行列を用いて前記第１位置の誤差の範囲を示す第１誤差楕円を推定する、
   請求項２に記載の地図生成装置。
4. 前記第２推定部は、前記ＧＮＳＳ衛星からの電波を受信するための装置の設計上の誤差の分散値を用いて共分散行列を算出し、算出した前記共分散行列を用いて前記第２位置の誤差の範囲を示す第２誤差楕円を推定する、
   請求項３に記載の地図生成装置。
5. 前記生成部は、前記第１誤差楕円と、前記第２誤差楕円との比較結果に基づいて、前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を判定する、
   請求項４に記載の地図生成装置。
6. 前記生成部は、前記第１位置および前記第２位置のうち誤差が小さい一方の位置を選択し、選択した前記一方の位置を、前記車両の位置情報として設定する、
   請求項１から５のうち何れか一項に記載の地図生成装置。
7. 前記生成部は、前記第１位置および前記第２位置のうち誤差が小さい一方の位置の重みが大きくなるように係数を設定し、前記第１位置および前記第２位置の加重和を算出することにより得られる位置を、前記車両の位置情報として設定する、
   請求項１から５のうち何れか一項に記載の地図生成装置。
8. 前記生成部は、前記車両の位置情報の時系列の変化に基づいて前記車両の移動量を算出し、算出した前記移動量を用いて、前記画像から生成された地図のスケールを補正する、
   請求項１から７のうち何れか一項に記載の地図生成装置。
9. 前記生成部は、前記車両の位置情報の時系列の変化に基づいて算出される前記車両の移動量と、前記画像から生成された点群地図に含まれる点群データに基づいて算出される前記車両の移動量との比であるスケール補正係数を算出し、算出された前記スケール補正係数を用いて、前記画像から生成された地図のスケールを補正する、
   請求項８に記載の地図生成装置。
10. 請求項１から９のうち何れか一項に記載の地図生成装置と、
    前記カメラと、
    前記車両の走行状態を示す情報を取得するための装置と、
    人工衛星から到来する電波を取得するための装置と、
    を備える地図生成システム。
11. コンピュータが、
    車両に搭載されたカメラにより撮像された画像を取得し、
    前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定し、
    人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定し、
    前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定し、
    設定された前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成する、
    地図生成方法。
12. コンピュータに、
    車両に搭載されたカメラにより撮像された画像を取得させ、
    前記車両の走行状態を示す情報に基づいて、前記車両の位置を示す第１位置および前記第１位置の誤差を推定させ、
    人工衛星から到来する電波に基づいて、前記車両の位置を示す第２位置および前記第２位置の誤差を推定させ、
    前記第１位置および前記第２位置のうち、誤差が小さい一方の位置を優先して前記車両の位置情報を設定させ、
    設定された前記車両の位置情報と、前記画像とに基づいて、前記車両が走行した場所の地図を生成させる、
    プログラム。

Images