JP6785958B2 - 航空画像または衛星画像と車両によって検出されたデータとからディジタル道路モデルを生成するためのシステムおよび方法 - Google Patents

航空画像または衛星画像と車両によって検出されたデータとからディジタル道路モデルを生成するためのシステムおよび方法 Download PDF

Info

Publication number
JP6785958B2
JP6785958B2 JP2019520704A JP2019520704A JP6785958B2 JP 6785958 B2 JP6785958 B2 JP 6785958B2 JP 2019520704 A JP2019520704 A JP 2019520704A JP 2019520704 A JP2019520704 A JP 2019520704A JP 6785958 B2 JP6785958 B2 JP 6785958B2
Authority
JP
Japan
Prior art keywords
trajectory
image
road
module
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019520704A
Other languages
English (en)
Other versions
JP2019534513A (ja
Inventor
ハーマー ヘニング
ハーマー ヘニング
クリステンセン ステーン
クリステンセン ステーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of JP2019534513A publication Critical patent/JP2019534513A/ja
Application granted granted Critical
Publication of JP6785958B2 publication Critical patent/JP6785958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3852Data derived from aerial or satellite images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3844Data obtained from position sensors only, e.g. from inertial navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)

Description

本発明は、地域の一部を上方から実質的に垂直に平面視したものを表す航空画像または衛星画像と、道路の走行時に車両によって検出されたデータ、例えばサンプリングを行うセンサ、すなわちレーダセンサ、ライダセンサ、超音波センサなどのセンサのデータまたはカメラ画像と、の組合せを用いる、ディジタル道路モデルの生成に関する。
ディジタル道路モデルは、モビリティの分野における多くの用途、例えばナビゲーションシステム、ドライバアシスタンスシステム、自動運転車両に必要とされる。特に、衛星ナビゲーションまたは推測航法などの公知の位置決め方法と比較して、より正確な位置特定を実現するために、ドライバアシスタンスシステムおよび自動運転車両に関しては、ディジタル道路モデルにおける道路上のまたは道路に沿った可能な限り多くの数の特異な特徴および一般的に高い精度が必要になる。
ディジタル道路モデルの提供者は、道路モデルが基礎とするデータを検出および更新するために、一連の種々のセンサが装備されている特殊車両で道路を走行することが許可されている。この目的のために使用される車両の数は少ないので、道路データの更新にはより長い時間が必要になると考えられる。さらに、位置決めセンサの不正確性に起因して、車両の位置データは不正確であることが多いので、その結果、総じて不正確なディジタル道路モデルが生じる。
航空写真または衛星写真からのディジタル道路モデルの生成は、個々の画像の結合を必要とする。画像解像度および重畳が十分なものであれば結合は可能であるように思われるが、これは、検出に漏れがあった場合には制限的にしか実現されない。つまり、いずれの場合においても、継ぎ目が非連続的になる可能性があり、これはモデル全体の精度を低下させる。使用される光学系による歪み、特に画像の縁部における歪み、また異なるソースに由来する画像の異なる解像度も、航空画像または衛星画像の高精度の結合を困難にする。最後に、河川または水路が誤って道路として識別されることないように、また樹木によって覆い隠されている道路が見落とされることがないように、合成された画像において、コストを掛けて道路および道の探索を行う必要がある。
本発明の課題は、高精度のディジタル道路モデルの生成および時宜にかなった更新を実現するシステムおよび方法を提供することである。
この課題は、独立請求項に記載のシステムまたは方法によって解決される。システムまたは方法の有利な構成は、相応の従属請求項に記載されている。
用語の説明
本明細書の文脈において、軌跡とは、車両がある時点に実際に車道上または道路上で位置していた一連のウェイポイントに相当する。各ウェイポイントを、例えば相対的な座標によって、例えば、路側を基準とした、または車道上もしくは道路上の標示、または車道もしくは道路に面した標示を基準とした、または他の一義的に位置特定可能な参照点を基準とした、各ウェイポイントの距離および方向を記述するベクトルによって表される相対的な座標によって、一義的に決定することができる。この種の位置決定のために、例えば、車両の画像生成センサを使用することができ、例えばカメラ、またはサンプリングを行うライダシステムを使用することができる。路面標示の識別を、例えば、車道表面と標示との色の差異を識別することによって行うことができ、または異なる表面構造を識別することによって行うことができる。識別された標示を、相対的な位置決めに適している相応の特徴またはパラメータによって表すことができる。しかしながら、第1の軌跡のウェイポイントを、例えば衛星ナビゲーションシステムによって提供されるような絶対的な座標を求めることによっても決定することができる。位置決定のための他のシステムおよび方法、例えば時間にわたる加速および減速の検出ならびに操舵角もしくは速度の検出による位置算出、または精度を高めるための種々の方法の組合せも同様に使用することができる。ウェイポイントが非連続的に検出される場合には、複数のウェイポイントを結ぶことによって軌跡を近似させることができ、例えば多項式関数に従う曲線またはスプライン状の線によって近似させることができる。第1の軌跡は始点および終点を有することができるが、特定の長さを設定することは必ずしも必要ではない。
本明細書の文脈において、走行に関連するか、または位置決定に関連する道路の特徴には、特に路面標示、車道または車線の特徴的な幾何学、縁石の位置、マンホールの位置、路面電車用線路の位置および鉄道用線路の位置などが含まれる。文脈から他に何も明らかにならない場合、「走行に関連する」という語句を、「位置決めに関連する」という語句に読み替えることができる。何故ならば、走行に関連する道路の特徴は、通常の場合、車両の位置の決定にも使用することができ、またそれとは反対に、車両の位置の決定は、通常の場合、走行に関連する道路の特徴の決定にも使用することができるからである。
高精度のディジタル道路モデルの生成および時宜にかなった更新のための本発明によるシステムは、軌跡および画像を呼び出し可能に記憶するためのデータバンクの他に、少なくとも1つの道路区間に関する車両の少なくとも1つの軌跡を受信し、少なくとも1つの軌跡をデータバンクに記憶するための第1のモジュールを備えている。システムの第2のモジュールは、高所の位置から実質的に垂直に下方を向いて撮影された画像に相当する眺望を有し、かつ少なくとも1つの道路区間の少なくとも一部を示す、少なくとも1つの画像を受信し、少なくとも1つの画像をデータバンクに記憶するように構成されている。軌跡または画像を受信するためのモジュールは、送信器および/または受信器を備えた1つまたは複数のディジタルデータインタフェースを備えることができ、それらのディジタルデータインタフェースは、1つまたは複数の遠隔通信標準と互換性があるように構成されており、かつシステムの他のコンポーネントと通信を行うように接続されている。
システムの第3のモジュールは、少なくとも1つの軌跡が、少なくとも1つの画像内の道路の経過と一致するように、少なくとも1つの軌跡を少なくとも1つの画像に重畳させるように構成されている。システムは、さらに、軌跡に沿って延在し、かつ軌跡を包囲するコリドー(Korridor:回廊)内の少なくとも1つの画像を解析し、コリドー内の道路区間の走行または位置決めに関連する特徴を識別するための第4のモジュールと、少なくとも1つの軌跡に基づいて位置合わせされた少なくとも1つの画像内、および軌跡を包囲するコリドー内で識別された、走行または位置決めに関連する特徴からディジタル道路モデルを生成するための第5のモジュールと、を備えている。
システムの第5のモジュールは、少なくとも1つの軌跡に基づいて位置合わせされた少なくとも1つの画像内、および軌跡を包囲するコリドー内で識別された、走行または位置決めに関連する特徴からディジタル道路モデルを生成するように構成されている。
システムの少なくとも2つのモジュールは、データ交換のための相応の物理的または論理的なインタフェースおよび/またはバスシステムを介して、通信を行うように相互に接続されている。システムのモジュールのうちの1つまたは複数は、1つまたは複数のコンピュータを含むことができ、この1つまたは複数のコンピュータは、各モジュールによって実施される、少なくとも1つの道路区間に関するディジタル道路モデルを作成するための本発明による方法の一部を実現する対応するコンピュータプログラムを実行する。しかしながら、システムのモジュールのうちの1つまたは複数を、対応するコンピュータプログラムとして実現することもでき、本発明による方法の少なくとも一部を実施するために、それらのコンピュータプログラムのうちの複数を、1つのコンピュータにおいて実行することができ、また相互作用させることができる。
システムを、機能モジュールアーキテクチャの意味において1つまたは複数の機能ブロックから形成されているものと解することもできる。この場合、各機能ブロックは、対応する機能を実施するための手段を表している。それらの手段を、モジュールにおいて説明したように、コンピュータプログラムによって対応する機能を実施するように構成されている、1つまたは複数のコンピュータまたはデータ処理ユニットによって実現することができる。
システムの1つまたは複数のコンピュータは、1つまたは複数のマイクロプロセッサを含むことができ、この1つまたは複数のマイクロプロセッサを、作業メモリおよび/または不揮発性メモリ手段、ならびに他のシステムコンポーネントに、1つまたは複数のデータバスを介して、通信を行うように接続することができ、この1つまたは複数のデータバスは、コンピュータプログラム命令の実行前かつ/または実行中にデータを受信かつ/または送信することができ、これによってコンピュータまたは処理ユニットは方法の少なくとも一部を実施する。不揮発性メモリ手段には、種々の記憶媒体、例えば光学メモリまたは磁気メモリ、相変化メモリまたはフラッシュメモリが含まれる。複数のモジュールまたは機能ブロックを、コンピュータまたはデータ処理ユニットとして実現することができる。
本発明による方法の各部分を実現する1つまたは複数のコンピュータ命令を、1つまたは複数のデータ担体または記憶手段に記憶させることができる。コンピュータ命令を、無線によって接続されているか、またはケーブルもしくは線路を用いて接続されているインタフェースを使用して記憶手段に伝送することができる。コンピュータプログラム命令は、システム外に、コンピュータ可読媒体または機械可読媒体に永続的に記憶されているコンピュータプログラム製品として存在しており、またこのコンピュータプログラム製品を、担体媒体に記憶されているコンピュータプログラムと解することができる。
コンピュータプログラム製品は、永続的ではない一時的な形態で、例えばコンピュータプログラム命令をそれ自体の変調によって一時的に表す電磁信号または光信号として存在していてもよい。したがって、変調によって、例えばデータ担体からシステムへのコンピュータプログラム命令の伝送中に、信号によって、コンピュータプログラム命令を一時的に読み取り可能に表すことができる。この場合には、例えば変調されたキャリアによって表される信号が、コンピュータプログラム製品を具体的に具現化したものを表し、そこからコンピュータプログラム製品を取り出すか、またはコンピュータプログラム製品にアクセスすることができる。
車両外部のデータバンクにおいて実施される、少なくとも1つの道路区間に関するディジタル道路モデルを作成するための本発明による方法は、少なくとも1つの道路区間に関する車両の少なくとも1つの軌跡を受信するステップを有している。同一の車線および同一の走行方向の同一の道程区間に関する、複数の車両の複数の軌跡が受信される場合には、結果として生じた軌跡が本方法のために使用される前に、それら複数の軌跡を統計的な方法によって、単一の軌跡に統合することができる。適切な統計的な方法には、特に、平均的な軌跡または中央の軌跡を形成することを含み、そのような軌跡は、道程区間に沿った長手方向における対応する位置に関する、走行方向を横切る方向に位置する複数の軌跡の位置値から形成される。
さらに、高所の位置から実質的に垂直に下方を向いて撮影された画像に相当する眺望を有し、かつ軌跡が位置する道路区間の少なくとも一部を示す、少なくとも1つの画像が受信される。その種の画像は、例えば航空写真または衛星写真であってもよいし、一般的に、上方からの平面視に相当する画像であってもよい。画像が実質的に垂直に下方を見たものに相当する眺望を有していない場合には、斜め下を向いて撮影された画像を、相応の変換の適用によって、所望の眺望を有する画像に換算することもできる。
少なくとも1つの軌跡が、少なくとも1つの画像内の道路の経過と一致するように、少なくとも1つの軌跡が、少なくとも1つの画像に重畳される。軌跡と道路の経過を一致させるために、画像もしくは軌跡の移動または回転の他に、1次元または2次元の伸張または収縮も実施することができる。相互に接しているか、または部分的に重畳している複数の画像にわたり軌跡が延在している場合には、軌跡をそれらの各画像にそれぞれ別個に重畳させ、その後、それら複数の画像を軌跡に基づいて相互に位置合わせすることができ、その結果、重畳が行われた後に、個々の画像から合成された総合画像が得られる。共通の縁部を有していないか、または重畳部分を有していない複数の画像にわたり軌跡が延在している場合には、対応する領域は総合画像内で空白のままであると考えられる。
少なくとも1つの画像または総合画像に対して、少なくとも1つの道路区間の走行に関連する特徴を識別する画像解析が実施される。その際、解析は、軌跡を横切る方向において、軌跡の片側または両側に第1の距離にわたる幅を伴って軌跡に沿って延在する画像の領域、すなわち軌跡の周囲の、いわばコリドーまたはエンベロープがあてがわれた画像の領域においてのみ行われる。相互に接しているか、または重畳している画像領域において識別された走行または位置決めに関連する特徴、例えば一貫して延びる路面標示、サイドライン、縁石の縁部またはガードレールを、画像相互のさらに正確な位置合わせのために使用することができる。
少なくとも1つの軌跡に基づいて位置合わせされた少なくとも1つの画像内、および軌跡を包囲するコリドー内で識別された、道路区間の走行または位置決めに関連する特徴から、最終的に、ディジタル道路モデルが生成される。ディジタル道路モデルは、種々の形態で存在することができ、例えば道路の縁部、および車両の位置決定に使用することができる他の特徴がベクトル表示のオブジェクトとして相互の相対的な位置と共に記憶されているベクトルモデルとして存在することができる。このために、個々のオブジェクトは、他のオブジェクトまでの距離および角度が特定されている、かつ/または地表における絶対的な位置が既知である、1つまたは複数の参照点を有することができる。
Z成分または起伏成分とも称される、ディジタル道路モデルの高度成分を、本方法の1つの態様では、少なくとも1つの軌跡のデータ、トポグラフィデータバンクまたはディジタル高度モデルから補完することができる。
本方法の1つの態様によれば、少なくとも1つの軌跡の他に、車両によって検出された走行または位置決めに関連する、道路区間の特徴についての情報が受信される。それらの情報を、例えば、サンプリングを行うセンサ、例えばレーダセンサ、ライダセンサまたは超音波センサなどのセンサまたはカメラの画像として伝送することができる。特徴には、例えば、道路上の標示、視線誘導標、交通標識、または緩慢にしか変化しないもしくは変化のない他の同等の特徴が含まれる。情報または特徴は、各検出場所または検出位置についての情報を含んでいるので、受信した情報または特徴を、受信した画像の位置合わせに使用することができ、またはディジタル道路モデルに引き継がせることができる。走行または位置決めに関連する、道路区間の特徴についての受信した情報は、例えば相互に接している画像において、例えばある特徴が2つの画像内で完全にまたは部分的に識別できる場合には、それらの画像をより正確に相互に位置合わせするために使用することができる。
上記で説明した態様の1つの実施例では、付加的に受信する情報が、オブジェクト記述式のベクトルフォーマットで受信される。この実施例では、車両がセンサデータを評価し、また走行に関連する特徴から、それらの特徴のベクトルモデルを生成し、またオプションとして各ベクトルモデルに関して少なくとも1つの参照点を決定する。オブジェクト記述式のベクトルフォーマットで受信した情報を、受信した画像との位置合わせにも使用することができ、またはディジタル道路モデルに引き継がせることができる。例えば、ある道路区間のディジタル道路モデルが既に存在しており、かつ特徴に関する新たな情報をオブジェクト記述式のベクトルフォーマットで受信した場合には、オブジェクト記述式のベクトルフォーマットで表された特徴の位置合わせは、他の表現形式で実現されるであろう計算コストよりも少ない計算コストで行うことができる。その種のフォーマットで存在する複数の特徴についての情報が、それらの相互の相対的な位置と共に受信された場合には、ディジタル道路モデルにおけるベクトルモデルの位置合わせによって、検出時に使用された位置決めの不正確性を補償することができる。
方法の1つの態様では、本発明により生成されたディジタル道路モデルが、例えばベクトルモデルとして、その軌跡が受信された車両に伝送される。各車両にセンサと、画像の評価に適したコンピュータとが適切に装備されている場合には、オブジェクト記述式のベクトルフォーマットで存在する、道路区間の特徴についての情報を、車両位置の決定の際の精度を改善するために使用することができる。これは、軌跡の精度を相応に改善する。これによって、本発明により解析されるべき領域をさらに限定することができ、例えば複数車線の道路の1つの車線に限定することができ、また限定された領域において、より正確な解析を行うことができる。
本方法および対応するシステムは、衛星写真および航空写真内の道路および道路特徴の識別および抽出を簡略化し、またその際にエラー発生も低下させる。複数の航空写真または衛星写真相互の位置合わせおよび合成も、例えば1つの軌跡が複数の相互に接しているかまたは重畳している画像にわたり延在する場合には簡略化される。この際、例えば三角測量法を用いて車両の位置を決定する際に車両によって使用される点のような、経路上の特異点の使用を省略することができる。車両によって使用される、ランドマークとも称される特異点は、通常の場合、車両が捉える眺望から指定することができ、その一方で、航空写真または衛星写真は通常の場合、ランドマークへの全く別の視点を提供する。ランドマークを表したものを、基本的に、別の眺望に換算できる場合であっても、その際に不正確性が生じる可能性がある。これに対して、車両軌跡自体は、少なくとも部分的に十分に正確であり、通常の場合、非連続性を有しておらず、さらには、既に1つの次元に存在しているので、航空写真または衛星写真の位置合わせはより少ない変換で済む。車両軌跡は差し当たり、航空写真の解析が行われるコリドーの決定のためにのみ使用されるので、最初に必要とされる精度もそれほど高くない。さらに、必要に応じて、同一の道程区間に関する複数の車両軌跡から、一般的な軌跡を求めることができ、その軌跡は続いて、解析用のコリドーを決定するために使用される。軌跡の一部しか、航空写真または衛星写真内で識別可能な道路に一致させることができない場合、例えば航空写真または衛星写真内の道路が所々または部分的に樹木によって覆い隠され、それによって即座に道路として識別できない場合であっても、軌跡を重畳させることによって、より早期に結果が得られる。それにもかかわらず、軌跡の周囲に位置するコリドーの内側で詳細な解析を実施し、部分的に可視である特徴を識別することができる。
以下では、図面を参照しながら本発明の態様を説明する。
航空写真および軌跡の第1の例示的な図を示す。 航空写真内で識別可能な道路に軌跡を一致させた、図1に示した航空写真を示す。 道路の特徴の検索が行われる、軌跡の周囲のコリドーを例示的に示す。 図3に示したコリドーの一部を拡大した画像部分を示す。 本発明によるシステムの例示的なブロック図を示す。 本発明によるシステムのモジュールの例示的なブロック図を示す。 本発明による方法の簡略化された例示的なフローチャートを示す。
図面の各図において、同一または類似の構成要素には、同一の参照番号を付している。
図1は、本発明によるシステムによって受信された、航空写真100および車両によって記録された軌跡102の第1の例示的な図を示す。軌跡102は、縮尺を伴わずに図示されており、また見やすくするために、白色の背景に図示されている。システムは、航空写真に写っている道路に軌跡を一致させるために、複数の方法ステップを実施する。このために、例えば衛星ナビゲーションシステムに由来する絶対的な座標を用いて初期位置決めを行うことができ、これによって、軌跡に応じた経過を有する道路の発見が簡略化および高速化される。方法ステップには、特に、少なくとも漸次的な線形伸張演算および線形収縮演算が含まれるが、回転演算も含まれる。画像の上側部分に破線で示されている楕円は、図4に拡大して図示されている画像部分を表している。
図2には、航空写真100内で識別可能な道路に軌跡102を一致させた、図1に示した航空写真が図示されている。図1と比較すると、軌跡102が、道路経過に応じるように、2次元の伸張演算によって拡大されたことがはっきりと見て取れる。
図3には、道路の特徴の検索が行われる、軌跡102の周囲のコリドー104が例示的に示されている。コリドー104は、軌跡102(図示せず)および道路を包囲する、平行に延びる線によって表されている。
図4は、拡大された画像部分における、図3に示したコリドーの一部を示している。軌跡102が道路の車線上に延びていることがはっきりと見て取れる。コリドー104の外側の境界は、軌跡に平行に延びており、また道路の大部分を包囲している。車両の位置決めのために使用することができる道路の特徴、例えば路面標示を識別するための航空写真の評価は、コリドー104の内側についてのみ行われ、これによって、例えば誤った対応付けをより容易に回避することができるので、識別に関する手間が大幅に低減され、また結果の信頼性がより高くなる。
図5は、本発明によるシステムの一部500の例示的なブロック図を示す。データバンク502と、少なくとも1つの道路区間に関する車両の少なくとも1つの軌跡を受信し、少なくとも1つの軌跡をデータバンクに記憶するための第1のモジュール504と、少なくとも1つの道路区間の少なくとも一部を示す少なくとも1つの画像を受信するための第2のモジュール506とが、1つまたは複数のバスシステム514を介して、通信を行うように相互に接続されている。1つまたは複数のバスシステム514は、さらに、少なくとも1つの軌跡を少なくとも1つの画像に重畳させるための第3のモジュール508と、軌跡に沿って延在し、かつ軌跡を包囲するコリドー内の少なくとも1つの画像を解析し、コリドー内の道路区間の走行または位置決めに関連する特徴を識別するための第4のモジュール510と、少なくとも1つの軌跡に基づいて位置合わせされた少なくとも1つの画像内、および軌跡を包囲するコリドー内で識別された、走行または位置決めに関連する特徴からディジタル道路モデルを生成するための第5のモジュール512と、を相互に接続するか、またはそれらのモジュール508,510,512を第1のモジュール504、第2のモジュール506および/またはデータバンク502に接続する。
図6は、本発明による方法の少なくとも一部の実施に適した、システムのモジュール600の例示的なブロック図を示す。モジュール600は、マイクロプロセッサ602、RAM604、不揮発性メモリ606、1つまたは複数のインタフェース608およびデータバンク610を含んでおり、それらは1つまたは複数のバスシステム612を介して、通信を行うように相互に接続されている。不揮発性メモリ606は、コンピュータプログラム指令を含んでおり、このコンピュータプログラム指令は、作業メモリ604に接続されており、また必要に応じて別のシステムコンポーネントにアクセスするマイクロプロセッサ602によって実行されると、本発明による方法の1つまたは複数の態様の少なくとも一部を実施する。
図7は、本発明による方法の1つの態様の簡略化された例示的なフローチャートを示す。ここで、フローチャートは、各モジュールが本方法の対応する部分を実施する複数の機能モジュールを表したものと解することもできる。ステップまたはモジュール702では、少なくとも1つの道路区間に関する車両の少なくとも1つの軌跡が受信され、ステップまたはモジュール706では、高所の位置から実質的に垂直に下方を向いて撮影された画像に相当する眺望を有し、かつ少なくとも1つの道路区間の少なくとも一部を示す、少なくとも1つの画像が受信される。オプションのステップまたはモジュール704では、道路区間の走行に関連する特徴についての情報、および各検出場所または検出位置についての情報が受信され、かつ/または、道路区間の少なくとも一部に関する高度成分が受信されるか、または外部のデータバンクから呼び出される。ステップまたはモジュール708では、データが記憶され、またそのデータは、ステップまたはモジュール710で実施される重畳に関して呼び出されて提供される。軌跡を横切る方向の第1の距離にわたる幅を伴って軌跡に沿って延在し、かつ軌跡を包囲するコリドー内の少なくとも1つの画像の解析、およびコリドー内の道路区間の走行または位置決めに関連する特徴の識別が、ステップまたはモジュール712で行われる。最後に、ステップまたはモジュール712で識別された、走行または位置決めに関連する特徴から、ステップまたはモジュール714において、ディジタル道路モデルが生成され、呼び出し可能に記憶される。

Claims (6)

  1. 少なくとも1つの道路区間に関するディジタル道路モデルを作成するための方法であって、
    車両外部のデータバンクにおいて、前記少なくとも1つの道路区間に関する車両の少なくとも1つの軌跡を受信するステップと、
    高所の位置から実質的に垂直に下方を向いて撮影された画像に相当する眺望を有し、かつ前記少なくとも1つの道路区間の少なくとも一部を示す、少なくとも1つの画像を受信するステップと、
    前記少なくとも1つの軌跡が、前記少なくとも1つの画像内の道路の経過と一致するように、前記少なくとも1つの軌跡を、前記少なくとも1つの画像に重畳させるステップと、
    前記軌跡に沿って延在し、かつ前記軌跡を包囲するコリドー内の前記少なくとも1つの画像を解析し、前記コリドー内の前記道路区間の走行または位置決めに関連する特徴を識別するステップと、
    前記少なくとも1つの軌跡に基づいて位置合わせされた前記少なくとも1つの画像内、および前記軌跡を包囲する前記コリドー内で識別された、前記走行または位置決めに関連する特徴から前記ディジタル道路モデルを生成するステップと、
    を含み、
    前記方法は、前記車両によって検出された、前記道路区間の走行または位置決めに関連する特徴についての情報を受信するステップをさらに含み、
    前記特徴は、各検出場所または検出位置についての情報を含む、
    方法。
  2. 前記道路区間の特徴についての前記情報を、オブジェクト記述式のベクトルフォーマットで受信する、請求項記載の方法。
  3. 前記オブジェクト記述式のベクトルフォーマットによって表される各特徴に関して、少なくとも1つの参照点を決定する、請求項記載の方法。
  4. 前記ディジタル道路モデルの区間に関する高度成分を、前記少なくとも1つの軌跡のデータから、トポグラフィデータバンクから、またはディジタル高度モデルから補完する、請求項1から3までのいずれか1項記載の方法。
  5. 少なくとも1つの道路区間に関するディジタル道路モデルを作成するためのシステムであって、
    軌跡および画像を呼び出し可能に記憶するためのデータバンクと、
    前記少なくとも1つの道路区間に関する車両の少なくとも1つの軌跡を受信し、かつ前記少なくとも1つの軌跡を前記データバンクに記憶するための第1のモジュールと、
    高所の位置から実質的に垂直に下方を向いて撮影された画像に相当する眺望を有し、かつ前記少なくとも1つの道路区間の少なくとも一部を示す、少なくとも1つの画像を受信し、該少なくとも1つの画像を前記データバンクに記憶するための第2のモジュールと、
    前記少なくとも1つの軌跡が、前記少なくとも1つの画像内の道路の経過と一致するように、前記少なくとも1つの軌跡を、前記少なくとも1つの画像に重畳させるための第3のモジュールと、
    前記軌跡に沿って延在し、かつ前記軌跡を包囲するコリドー内の前記少なくとも1つの画像を解析し、前記コリドー内の前記道路区間の走行または位置決めに関連する特徴を識別するための第4のモジュールと、
    前記少なくとも1つの軌跡に基づいて位置合わせされた前記少なくとも1つの画像内、および前記軌跡を包囲する前記コリドー内で識別された、前記走行または位置決めに関連する特徴から前記ディジタル道路モデルを生成するための第5のモジュールと、
    前記車両によって検出された、前記道路区間の走行または位置決めに関連する特徴についての情報を受信するための第6のモジュールと、
    を備え
    前記特徴は、各検出場所または検出位置についての情報を含む、
    システム。
  6. 前記ディジタル道路モデルの区間に関する高度成分を、前記少なくとも1つの軌跡、トポグラフィデータバンクまたはディジタル高度モデルから抽出し、前記ディジタル道路モデルの前記区間を前記高度成分について相応に補完するための第7のモジュールをさらに備える、請求項記載のシステム。
JP2019520704A 2016-10-18 2017-10-17 航空画像または衛星画像と車両によって検出されたデータとからディジタル道路モデルを生成するためのシステムおよび方法 Active JP6785958B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016220308.8 2016-10-18
DE102016220308.8A DE102016220308A1 (de) 2016-10-18 2016-10-18 System und Verfahren zur Erzeugung von digitalen Straßenmodellen aus Luft- oder Satellitenbildern und von Fahrzeugen erfassten Daten
PCT/EP2017/076503 WO2018073260A1 (de) 2016-10-18 2017-10-17 System und verfahren zur erzeugung von digitalen strassenmodellen aus luft- oder satellitenbildern und von fahrzeugen erfassten daten

Publications (2)

Publication Number Publication Date
JP2019534513A JP2019534513A (ja) 2019-11-28
JP6785958B2 true JP6785958B2 (ja) 2020-11-18

Family

ID=60245054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019520704A Active JP6785958B2 (ja) 2016-10-18 2017-10-17 航空画像または衛星画像と車両によって検出されたデータとからディジタル道路モデルを生成するためのシステムおよび方法

Country Status (6)

Country Link
US (1) US20190244400A1 (ja)
EP (1) EP3529561B1 (ja)
JP (1) JP6785958B2 (ja)
CN (1) CN109844457B (ja)
DE (1) DE102016220308A1 (ja)
WO (1) WO2018073260A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11181922B2 (en) * 2019-03-29 2021-11-23 Zoox, Inc. Extension of autonomous driving functionality to new regions
DE102019207303A1 (de) * 2019-05-20 2020-11-26 Robert Bosch Gmbh Verfahren und System zum Erstellen einer Lokalisierungskarte für ein Fahrzeug
CN110852342B (zh) * 2019-09-26 2020-11-24 京东城市(北京)数字科技有限公司 一种路网数据的获取方法、装置、设备及计算机存储介质
US11380093B2 (en) * 2020-07-30 2022-07-05 GM Global Technology Operations LLC Detecting road edges by fusing aerial image and telemetry evidences
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection
DE102021213538A1 (de) 2021-11-30 2023-06-01 Psa Automobiles Sa Simulation zur Validierung einer automatisierenden Fahrfunktion für ein Fahrzeug
US11922704B2 (en) * 2021-12-15 2024-03-05 GM Global Technology Operations LLC System and method for detecting road and lane connections at intersections
CN114509068B (zh) * 2022-01-04 2024-07-05 海信集团控股股份有限公司 一种多层道路上的车辆的位置判断方法及装置
DE102022211343A1 (de) 2022-10-26 2024-05-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung und Klassifizierung erhöhter Fahrbahnmarkierungen

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10030896A1 (de) * 2000-06-23 2002-01-03 Bosch Gmbh Robert Digitale Straßenkarte und Navigationsverfahren unter Benutzung einer digitalen Straßenkarte
JP3498310B2 (ja) * 2001-04-23 2004-02-16 株式会社日立製作所 道路地図作成システム
US20170313332A1 (en) * 2002-06-04 2017-11-02 General Electric Company Autonomous vehicle system and method
JP4370869B2 (ja) * 2003-09-25 2009-11-25 トヨタ自動車株式会社 地図データ更新方法および地図データ更新装置
US7251561B2 (en) * 2004-07-28 2007-07-31 Telmap Ltd. Selective download of corridor map data
JP2007033931A (ja) * 2005-07-27 2007-02-08 Hitachi Software Eng Co Ltd 衛星画像等を用いた地図作成のための道路認識システム
JP5079577B2 (ja) * 2007-12-13 2012-11-21 クラリオン株式会社 ナビゲーション装置、道路勾配演算方法および高度演算方法
CN102246159A (zh) * 2008-12-09 2011-11-16 通腾北美有限公司 产生测地参考数据库产品的方法
EP2443418B1 (en) * 2009-06-16 2018-12-05 TomTom North America Inc. Methods and systems for creating digital street network database
US8723886B2 (en) * 2010-09-08 2014-05-13 Navteq B.V. Generating a multi-layered geographic image and the use thereof
CN101958046B (zh) * 2010-09-26 2015-04-15 隋亚刚 一种车辆轨迹识别***及车辆轨迹识别的方法
JP2012103292A (ja) * 2010-11-05 2012-05-31 Ntt Geospace Co Ltd 端末装置、表示方法及びコンピュータプログラム
EP2487461B1 (en) * 2011-02-09 2015-10-07 Harman Becker Automotive Systems GmbH Vehicle navigation device and method
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
DE102013208521B4 (de) * 2013-05-08 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Kollektives Erlernen eines hochgenauen Straßenmodells
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
US10095995B2 (en) * 2013-11-25 2018-10-09 First Resource Management Group Inc. Apparatus for and method of forest-inventory management
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
US9727784B2 (en) * 2014-06-03 2017-08-08 Digitalglobe, Inc. Some automated and semi-automated tools for linear feature extraction in two and three dimensions
US10223816B2 (en) * 2015-02-13 2019-03-05 Here Global B.V. Method and apparatus for generating map geometry based on a received image and probe data
CN105128760B (zh) * 2015-08-27 2018-10-16 惠州华阳通用电子有限公司 倒车轨迹描绘方法及装置
US10013610B2 (en) * 2015-10-23 2018-07-03 Nokia Technologies Oy Integration of positional data and overhead images for lane identification
DE102016211045A1 (de) * 2016-06-21 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Aktualisierung einer digitalen Karte
US10599150B2 (en) * 2016-09-29 2020-03-24 The Charles Stark Kraper Laboratory, Inc. Autonomous vehicle: object-level fusion

Also Published As

Publication number Publication date
WO2018073260A1 (de) 2018-04-26
CN109844457B (zh) 2023-05-05
DE102016220308A1 (de) 2018-04-19
US20190244400A1 (en) 2019-08-08
CN109844457A (zh) 2019-06-04
EP3529561A1 (de) 2019-08-28
EP3529561B1 (de) 2020-12-09
JP2019534513A (ja) 2019-11-28

Similar Documents

Publication Publication Date Title
JP6785958B2 (ja) 航空画像または衛星画像と車両によって検出されたデータとからディジタル道路モデルを生成するためのシステムおよび方法
EP3692337B1 (en) Map information provision system
US11148664B2 (en) Navigation in vehicle crossing scenarios
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
US10955854B2 (en) Method and system for determining the position of a vehicle
US8112222B2 (en) Lane determining device, method, and program
KR20190137087A (ko) 지도들에 기반한 차량용의 자동화된 이미지 라벨링
US20170343374A1 (en) Vehicle navigation method and apparatus
CN105313897B (zh) 车辆的行驶车道识别***及方法
US10942519B2 (en) System and method for navigating an autonomous driving vehicle
US10963708B2 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road
WO2016093028A1 (ja) 自車位置推定装置
CN113450591A (zh) 停车场找车方法、停车位置确定方法、***和相关设备
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
JP7010535B2 (ja) 情報処理装置
JP2008298699A (ja) 自車位置認識装置及び自車位置認識方法
CN113532418A (zh) 一种停车场地图单车采集方法
JP4497424B2 (ja) 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP5549468B2 (ja) 地物位置取得装置、方法およびプログラム
JP2007240319A (ja) 車両用地図データ作成装置、及び、車両用地図データ更新装置
Buczko et al. Efficient global localization using vision and digital offline map
WO2023139935A1 (ja) 演算装置、自己位置推定装置、地図情報生成方法
JP2022530877A (ja) 自動運転のためのデジタルローカリゼーションマップのローカリゼーションレイヤーを形成するための方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6785958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350