JP2023102768A - 道路地図生成システム及び使用方法 - Google Patents

道路地図生成システム及び使用方法 Download PDF

Info

Publication number
JP2023102768A
JP2023102768A JP2022205543A JP2022205543A JP2023102768A JP 2023102768 A JP2023102768 A JP 2023102768A JP 2022205543 A JP2022205543 A JP 2022205543A JP 2022205543 A JP2022205543 A JP 2022205543A JP 2023102768 A JP2023102768 A JP 2023102768A
Authority
JP
Japan
Prior art keywords
road
image
map
person
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022205543A
Other languages
English (en)
Inventor
フェリックス ロドリゲス ホセ
Felix Rodriguez Jose
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota Inc
Original Assignee
Woven by Toyota Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Woven by Toyota Inc filed Critical Woven by Toyota Inc
Publication of JP2023102768A publication Critical patent/JP2023102768A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3852Data derived from aerial or satellite images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3819Road shape data, e.g. outline of a route
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】道路地図を生成する。【解決手段】一人称視点地図を生成するための方法は、道路の上からの画像を受信することを含む。本方法は、受信された画像に基づいて道路グラフを生成することをさらに含み、道路グラフは複数の道路セグメントを含む。本方法は、複数の道路セグメントの各道路セグメントについての一人称視点画像を生成するために、道路グラフを使用して受信された画像を変換することをさらに含む。本方法は、複数の道路セグメントを組み合わせて一人称視点地図を規定することをさらに含む。【選択図】図5

Description

車載ナビゲーションは、自律運転用途にしてもナビゲーション用途にしても、車両が走行するための経路を決定するために道路地図を使用する。ナビゲーションシステムは、車両が現在の場所から目的地へ移動するための経路を決定するために道路地図を頼りにする。
道路地図は、道路に沿った車線と、車線間の交差点とを含む。場合によっては、道路は、道路内の車線の数に関する情報、又は道路に沿って許可された進行方向に関する情報なしに、単一車線として示される。さらに、場合によっては、交差点は、どのように車両が交差点を横断することを許可されているかに関する情報なしに2つ以上の線の合流点として示される。
図1は、いくつかの実施形態に従う道路地図生成システムの図である。 図2は、いくつかの実施形態に従う道路地図を生成する方法のフローチャートである。 図3は、いくつかの実施形態に従う道路地図を生成する方法のフローチャートである。 図4Aは、いくつかの実施形態に従う鳥瞰画像を示す図である。 図4Bは、いくつかの実施形態に従う道路の平面図である。 図5は、いくつかの実施形態に従うナビゲーションシステムユーザインターフェースの図である。 図6Aは、いくつかの実施形態に従う道路の上面図である。 図6Bは、いくつかの実施形態に従う道路の一人称視点を示す図である。 図7は、いくつかの実施形態に従う識別されたマーカを含む道路の鳥瞰画像を示す図である。 図8Aは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。 図8Bは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。 図8Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。 図9Aは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。 図9Bは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。 図9Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。 図10は、いくつかの実施形態に従う道路地図を生成するためのシステムの図である。
本開示の態様は、添付の図面と共に読むとき、以下の詳細な説明から最も理解される。業界における標準的な慣行に従って、様々な特徴は、縮尺通りに描写されないということに留意されたい。実際、様々な特徴の寸法は、議論の明白性のため、恣意的に増大又は減少され得る。
以下の開示は、提供された主題の異なる特徴を実装するための、多くの異なる実施形態、又は例を提供する。構成要素、値、動作、材料、配置、又は同種のものの具体例が、本開示を単純化するために以下に説明される。当然ながら、これらは、単なる例であり、限定することは意図されていない。他の構成要素、値、動作、材料、配置、又は同種のものが企図される。例えば、後に続く説明における第1の特徴の第2の特徴の上への形成は、第1及び第2の特徴が直接接触して形成される実施形態を含んでもよく、また、第1及び第2の特徴が直接接触しないように追加の特徴が第1及び第2の特徴の間に形成され得る実施形態を含んでもよい。加えて、本開示は、様々な例において参照番号及び/又は文字を繰り返し得る。この繰り返しは、簡略性及び明白性の目的のためであり、それ自体では、論じられる様々な実施形態及び/又は構成の間の関係性を定めない。
さらには、「真下」、「下」、「下方」、「上」、「上方」、及び同種のものなどの空間的に相対的な用語は、1つの要素又は特徴の、図に例証されるような別の要素又は特徴に対する関係性を説明するために、説明しやすいように本明細書では使用され得る。空間的に相対的な用語は、図に描写される配向に加えて、使用又は動作中のデバイスの異なる配向を包含することが意図される。装置は、別の方式で配向されてもよく(90度回転される、又は他の配向で)、本明細書で使用される空間的に相対的な記述子は、同様にそれに相応して解釈され得る。
本説明は、道路地図の生成に関する。いくつかの実施形態において、情報は、衛星画像から抽出され、道路の場所を決定するために分析される。ディープラーニング(DL)セマンティックセグメンテーションが、アルゴリズムに基づいて衛星画像内の各画素を分類するために、受信された衛星画像に対して実施される。分類された画像は、次いで、前処理及びノイズ除去に供される。ノイズ除去はマスククロッピングを含む。前処理された画像は、次いで、「スケルトン化された」地図を識別するために、ノード検出に供される。スケルトン化された地図は、車線、許可された進行方向、又は道路と関連付けられた他の進行規則に関する情報のない、道路の場所を含む地図である。スケルトン化された地図は、処理に供され、その結果は、正確な道路地図を作成するために使用可能である。
道路の一人称視点を生成するために、逆鳥瞰図変換が衛星画像に適用される。衛星画像及び道路グラフは、道路の一人称視点を作成するために組み合わされる。場合によっては、道路グラフは、色分析、オブジェクト検出又は統計分析を使用して生成される。道路グラフは、道路の場所、道路に沿ったオブジェクト、及び/又は道路のタイプ(道路か交差点か)を決定するための複数のセグメントを含む。結果として生じる一人称視点画像は、道路内の車線を決定するために使用可能である。
場合によっては、一人称視点地図は自律運転のために使用可能である。一人称視点地図を車載カメラによって検出された画像と比較することにより、本システムは、車両の現在の場所を決定し、車両が道路に沿って進行している間に車両がどんなオブジェクト又は道路に遭遇するかを決定することができる。
図1は、いくつかの実施形態に従う道路地図生成システム100の図である。道路地図生成システム100は、入力情報を受信し、車両運転者などのデータユーザ190及び/又はアプリケーション(アプリ)設計者などのツールユーザ195による使用のための道路地図を生成するように構成される。道路地図生成システム100は、道路地図を生成するために、道路を走行する車両から捕捉される情報及び衛星又は他の上空のオブジェクトからの画像などの現実世界データを使用する。これは、履歴データに依存するいくつかの手法と比較して道路地図の正確性を高めるのに役立つ。
道路地図生成システム100は、空間的画像110及びプローブデータ120を受信するように構成される。空間的画像110は、道路の上から捕捉される衛星画像、航空画像、ドローン画像、又は他の同様の画像などの画像を含む。プローブデータ120は、カメラ、ライダ(LiDAR:light detection and ranging)センサ、レーダ(RADAR:radio detection and ranging)センサ、ソナー(SONAR:sonic navigation and ranging)、又は他のタイプのセンサなどの車両センサデータを含む。
道路地図生成システム100は処理ユニット130を含み、処理ユニット130は、パイプラインを生成し、空間的画像110及びプローブデータ120に基づいて特徴を識別するように構成される。道路地図生成システム100は、パイプライン生成ユニット132を使用して空間的画像110及びプローブデータ120を処理するように構成される。パイプライン生成ユニット132は、受信された情報に基づいて道路の場所及び経路を決定するように構成される。パイプラインは道路の場所を示す。場合によっては、パイプラインは、スケルトン化された道路地図とも呼ばれる。パイプライン生成ユニット132は、空間的画像110を処理するように構成される空間地図パイプラインユニット134を含む。パイプライン生成ユニット132は、プローブデータ120を処理するように構成されるプローブデータ地図パイプラインユニット136をさらに含む。空間地図パイプラインユニット134は空間的画像110に基づいて道路の場所を決定し、プローブデータ地図パイプラインユニット136は、空間地図パイプラインユニット134とは独立して、プローブデータ120に基づいて道路の場所を決定する。道路の場所を独立して決定することにより、パイプライン生成ユニット132は、サブユニットの各々、すなわち、空間地図パイプラインユニット134及びプローブデータ地図パイプラインユニット136によって実施される決定を確認することができる。この確認は、他の手法と比較して道路地図生成システム100の精度及び正確性を高めるのに役立つ。パイプライン生成ユニット132は、空間地図パイプラインユニット134及びプローブデータ地図パイプラインユニット136によって生成されるパイプラインを比較するように構成される地図検証パイプラインユニット138をさらに含む。空間地図パイプラインユニット134及びプローブデータ地図パイプラインユニット136の両方によって識別される道路の場所が所定の閾値分散内にあるという地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138は、道路の場所が正しいことを確認する。いくつかの実施形態において、所定の閾値分散はユーザによって設定される。いくつかの実施形態において、所定の閾値分散は、空間的画像110及び/又はプローブデータ120の分解能に基づいて決定される。いくつかの実施形態において、道路を検出することができない、又は道路の場所が2つのユニット間で異なるなど、空間地図パイプラインユニット134とプローブデータ地図パイプラインユニット136との間の所定の閾値分散よりも大きい差の、地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138は、どちらのパイプラインを正確であると見なすかを決定するために、空間的画像110又はプローブデータ120のうちのより最近収集されたデータに基づいて、開発されるパイプラインを決定する。すなわち、プローブデータ120が空間的画像110よりも最近収集された場合、プローブデータ地図パイプラインユニット136によって生成されるパイプラインが、正しいと見なされる。いくつかの実施形態において、道路を検出することができない、又は道路の場所が2つのユニット間で異なるなど、空間地図パイプラインユニット134とプローブデータ地図パイプラインユニット136との間の所定の閾値分散よりも大きい差の、地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138は、いずれのパイプラインも正しくないことを決定する。いくつかの実施形態において、道路を検出することができない、又は道路の場所が2つのユニット間で異なるなど、空間地図パイプラインユニット134とプローブデータ地図パイプラインユニット136との間の所定の閾値分散よりも大きい差の、地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138はユーザからの検証を要求する。いくつかの実施形態において、地図検証パイプラインユニット138は、ワイヤレスアラートなどのアラートを、ユーザにより使用可能なモバイルデバイスのためのユーザインターフェース(UI)などの外部デバイスに送信することによって、ユーザからの検証を要求する。いくつかの実施形態において、アラートは、例えばモバイルデバイスのためのUIを使用して、ユーザに自動的に表示されるように構成される、音声又は視覚アラートを含む。ユーザから受信される入力に応答して、地図検証パイプラインユニット138は、ユーザが選択したパイプラインが正しいことを決定する。
道路地図生成システム100は、空間的画像110と、空間地図パイプラインユニット134を使用して生成されるパイプラインとのオブジェクト及び特徴を検出するように構成される空間的画像オブジェクト検出ユニット140をさらに含む。空間的画像オブジェクト検出ユニット140は、交差点、道路境界、車線境界線、建物、又は他の好適な特徴などの特徴を識別するために、パイプライン及び空間的画像110に対してオブジェクト検出を実施するように構成される。いくつかの実施形態において、特徴は二次元(2D)特徴142を含む。空間的画像オブジェクト検出ユニット140は、いくつかの実施形態において、空間的画像110が測距データを含まないことから、2D特徴142を識別するように構成される。いくつかの実施形態において、どの特徴が空間的画像110及びプローブデータ120の両方に基づいて識別されたかを決定するために、地図検証パイプラインユニット138から情報が受信される。空間的画像110及びプローブデータ120の両方に基づいて識別される特徴は、これらの特徴が両方のデータセット内に存在することから、共通特徴144と呼ばれる。いくつかの実施形態において、空間的画像オブジェクト検出ユニット140は、空間的画像110に基づいて識別される各々のパイプライン及び特徴に識別番号を割り当てるように構成される。
道路地図生成システム100は、プローブデータ120と、プローブデータ地図パイプラインユニット136を使用して生成されるパイプラインとのオブジェクト及び特徴を検出するように構成されるプローブデータオブジェクト検出ユニット150をさらに含む。プローブデータオブジェクト検出ユニット150は、交差点、道路境界、車線境界線、建物、又は他の好適な特徴などの特徴を識別するために、パイプライン及びプローブデータ120に対してオブジェクト検出を実施するように構成される。いくつかの実施形態において、特徴は三次元(3D)特徴152を含む。プローブデータオブジェクト検出ユニット150は、いくつかの実施形態において、プローブデータ120が測距データを含むことから、3D特徴152を識別するように構成される。いくつかの実施形態において、どの特徴が空間的画像110及びプローブデータ120の両方に基づいて識別されたかを決定するために、地図検証パイプラインユニット138から情報が受信される。空間的画像110及びプローブデータ120の両方に基づいて識別される特徴は、これらの特徴が両方のデータセット内に存在することから、共通特徴154と呼ばれる。いくつかの実施形態において、プローブデータオブジェクト検出ユニット150は、プローブデータ120に基づいて識別される各々のパイプライン及び特徴に識別番号を割り当てるように構成される。
道路地図生成システム100は、パイプライン生成ユニット132からのパイプラインと一緒に共通特徴144及び154を組み合わせるように構成されるフュージョン地図パイプラインユニット160をさらに含む。フュージョン地図パイプラインユニット160は、パイプライン及び共通特徴の両方を含む道路地図を出力するように構成される。
道路地図生成システム100は、サービスアプリケーションプログラムインターフェース(API)165をさらに含む。サービスAPI165は、パイプライン生成ユニット132及びフュージョン地図パイプラインユニット160によって生成される情報が外部デバイスへ出力されることを許可するために使用可能である。サービスAPI165は、データを、外部デバイスのプログラミング言語に対してアグノスティックにすることができる。これは、他の手法と比較してデータが幅広い外部デバイスによって使用可能であることに役立つ。
道路地図生成システム100は外部デバイス170をさらに含む。いくつかの実施形態において、外部デバイス170は、処理ユニット130からデータを受信するように構成されるサーバを含む。いくつかの実施形態において、外部デバイス170は、ユーザにより使用可能なモバイルデバイスを含む。いくつかの実施形態において、外部デバイス170は、サーバ及びモバイルデバイスなどの複数のデバイスを含む。処理ユニット130は、ワイヤレスで又は有線接続を介してデータを外部デバイスへ転送するように構成される。
外部デバイス170は、メモリユニット172を含む。メモリユニット172は、データユーザ190及び/又はツールユーザ195によってアクセス可能であるように処理ユニット130からの情報を記憶するように構成される。いくつかの実施形態において、メモリユニット172は、ダイナミックRAM(DRAM)、フラッシュメモリ、又は別の好適なメモリなどのランダムアクセスメモリ(RAM)を含む。メモリユニット170は、空間的画像オブジェクト検出ユニット140から2D特徴142を受信するように構成される。2D特徴は、2D特徴パラメータ174として記憶される。データセット172は、フュージョン地図パイプラインユニット160から共通特徴を受信するようにさらに構成される。共通特徴は共通特徴パラメータ176として記憶される。いくつかの実施形態において、共通特徴パラメータ176はパイプライン及び共通特徴を含む。メモリユニット170は、プローブデータオブジェクト検出ユニット150から3D特徴を受信するように構成される。3D特徴は、3D特徴パラメータ178として記憶される。
外部デバイス170は、パイプライン又は識別された特徴に関連する情報を含むか、これに依存するアプリを生成するために使用可能な、データ及びデータ操作ツールを含むツールセット180をさらに含む。いくつかの実施形態において、ツールセット180は省略される。ツールセット180を省略することは、外部デバイス170の記憶空間の量及び処理能力を低減する。しかしながら、ツールセット180を省略することは、外部デバイス170の機能性を低下させ、ツールユーザ195は、アプリを生成するためのより高い負担を有する。いくつかの実施形態において、アプリは、車両にインストールされることができる。いくつかの実施形態において、アプリは、自律運転又はナビゲーションシステムに関連付けられる。
いくつかの実施形態において、データユーザ190及びツールユーザ195は、同じである。いくつかの実施形態において、データユーザ190は、道路地図を見るために外部デバイス170からのデータを使用する。いくつかの実施形態において、データユーザ190は、外部デバイス170内のデータに関連するフィードバック又はコメントを提供することができる。
図2Aは、いくつかの実施形態に従う道路地図を生成する方法200のフローチャートである。いくつかの実施形態において、方法200は、道路地図生成システム100(図1)を使用して実施される。いくつかの実施形態において、方法200は、異なるシステムを使用して実施される。方法200は、ナビゲーションシステム又は自律運転システムを実施するために使用可能なシェイプファイルを作成するように構成される。方法200は、さらに、道路地図内の道路に沿った移動を示すためのナビゲーションシステム又は自律運転システムにおける使用のため、例えば、シンクライアントメディア(TMI:Thin Client Media)フォーマットの映像データを作成するように構成される。
方法200は、画像が受信される動作202を含む。いくつかの実施形態において、画像は、衛星画像、航空画像、ドローン画像、又は他の好適な画像を含む。いくつかの実施形態において、画像は空間的画像110(図1)を含む。いくつかの実施形態において、画像は外部ソースから受信される。いくつかの実施形態において、画像はワイヤレスで受信される。いくつかの実施形態において、画像は有線接続を介して受信される。
方法200は、画像がタイラ(tiler)によるタイリングに供される動作204を含む。動作204において、画像は、タイルと呼ばれる画素の群に分けられる。いくつかの実施形態において、各タイルのサイズはユーザによって決定される。いくつかの実施形態において、各タイルのサイズは、受信された画像の分解能に基づいて決定される。いくつかの実施形態において、各タイルのサイズは、受信された画像のサイズに基づいて決定される。いくつかの実施形態において、衛星画像のサイズは約1ギガバイト(GB)である。画像のタイリングは、さらなる処理のために画像を使用可能な断片に分けるのに役立つ。各タイルのサイズがより小さくなると、タイリング画像の後処理は、より正確であるが、より高い処理負荷を有する。
方法200は、画像のタイルが、例えば、メモリユニットに記憶される動作206をさらに含む。いくつかの実施形態において、メモリユニットは、DRAM、フラッシュメモリ、又は別の好適なメモリを含む。画像のタイルは、受信された画像内の特徴及び特徴の場所を示す空間地図を開発するために2つの平行の処理トラックに沿って処理される。図2Bは、いくつかの実施形態に従うタイリング画像の例である。いくつかの実施形態において、図2Bの画像は、動作206によって生成される。タイリング画像は、タイリング画像内の情報の効率的な処理を可能にするために充分に小さい。
本方法は、タイリング画像がセグメント化される動作208をさらに含む。タイリング画像のセグメント化は、識別された境界に基づいて画像を分割することを含む。いくつかの実施形態において、セグメント化は、学習済みのニューラルネットワーク(NN)を使用してタイリング画像内の境界を識別するディープラーニング(DL)セグメンテーションプロセスによって実施される。図2Cは、いくつかの実施形態に従うタイリング画像のセグメンテーションの出力の例である。いくつかの実施形態において、図2Cの画像は、動作208によって生成される。セグメンテーションは、車線境界線又は建物などの追加情報を含むことなく、道路の場所を含む。
本方法は、道路上のオブジェクトが検出される動作210をさらに含む。いくつかの実施形態において、オブジェクトは、車線境界線、中央分離帯、横断歩道、停止線、又は他の好適なオブジェクトを含む。いくつかの実施形態において、オブジェクト検出は、学習済みのNNを使用して実施される。いくつかの実施形態において、学習済みのNNは、動作208において使用されるものと同じ学習済みのNNである。いくつかの実施形態において、学習済みのNNは、動作210で使用される学習済みのNNとは異なる。図2Dは、いくつかの実施形態に従うオブジェクト検出情報を含むタイリング画像の例である。いくつかの実施形態において、図2Dの画像は、動作210によって生成される。オブジェクト検出情報を含む画像は、車線境界線などのオブジェクトの強調、及び画像内のオブジェクト識別情報を含む。
本方法は、道路マスクがメモリユニットに記憶される動作212をさらに含む。道路マスクは、道路地図生成システム100(図1)に関して論じられるパイプラインと同様である。いくつかの実施形態において、道路マスクは、スケルトン化された道路マスクである。道路マスクは、画像内の道路の場所及び経路を示す。
本方法は、車線マーカがメモリユニットに記憶される動作214をさらに含む。動作214は車線マーカに言及するが、当業者は、他のオブジェクトも動作210の出力に基づいてメモリユニットに記憶されることができるということを認識するだろう。例えば、横断歩道、停止線、又は他の好適な検出されたオブジェクトの場所も、いくつかの実施形態において、メモリユニットに記憶される。
本方法は、車線網が生成される動作216をさらに含む。動作216は、以下に説明される複数の動作を含む。車線網は、道路地図内の道路に沿った車線の位置付けを含む。車線網は、ナビゲーションシステム、自律運転システム、又は別の好適なアプリを実装するために、生成された車線網を使用するアプリ又はシステムのプログラミング言語に対してアグノスティックである記述を有するように生成される。
本方法は、道路グラフが生成される動作218をさらに含む。道路グラフは、単に道路の場所及び経路だけでなく、道路に沿った進行方向のためのベクトル及び道路のための境界も含む。いくつかの実施形態において、道路のための境界は、道路のための境界を決定するために、オブジェクト認識を使用して決定される。道路の境界を決定するためのオブジェクトは、歩道、道路の外縁近くの実線、建物の場所、又は他の好適なオブジェクトなどの項目を含む。いくつかの実施形態において、道路に沿った進行方向は、タイリング画像内の道路上の車両の配向に基づいて決定される。例えば、いくつかの実施形態において、学習済みのNNは、タイリング画像内の車両を識別するために使用可能であり、車両の前面が、道路に沿った進行方向に配向されると見なされる。
本方法は、道路境界を含む道路グラフの画像がメモリユニットに記憶される動作220をさらに含む。いくつかの実施形態において、道路境界は、道路の存在を示す色とは異なる色を有する線を含む。いくつかの実施形態において、道路グラフの画像は、道路に沿った進行方向を示すベクトルをさらに含む。
本方法は、道路グラフの画像が文字表現へ変換される動作222をさらに含む。図2Aは、道路グラフ画像の文字表現の例としてJSONを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。文字表現が、アグノスティックであるか、他のアプリでの使用のためにアグノスティックにされることができる限り、この説明は、文字表現のための任意の特定のフォーマットに限定されない。
本方法は、車線補間が、記憶された車線マーカに基づいて実施される動作224をさらに含む。車線補間は、車線区分線を、車線区分線が動作210において検出されなかった道路の部分まで延長する。例えば、受信した画像内の建物又は車両が車線区分線をブロックしている場合、車線補間は、車線区分線を予期される場所へ挿入する。いくつかの実施形態において、車線補間は、道路の交差点を通る進行方向を予測するために使用される。いくつかの実施形態において、車線区分線は、交差点内に示されないが、予期される進行経路を示すメタデータが、車線補間器によって生成されるデータ内に埋め込まれる。
本方法は、車線マーカを含む車線境界の画像がメモリユニットに記憶される動作226をさらに含む。いくつかの実施形態において、車線境界は、道路の存在を示す色とは異なる色を有する線を含む。
本方法は、車線境界の画像が文字表現へ変換される動作228をさらに含む。図2Aは、車線境界画像の文字表現の例としてJSONを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。文字表現が、アグノスティックであるか、他のアプリでの使用のためにアグノスティックにされることができる限り、この説明は、文字表現のための任意の特定のフォーマットに限定されない。いくつかの実施形態において、動作228における文字表現のフォーマットは、動作222におけるものと同じフォーマットである。いくつかの実施形態において、動作228の文字表現のフォーマットは、動作222におけるフォーマットとは異なる。
本方法は、動作222及び動作228において生成される文字表現が組み合わされて空間地図を規定する動作230をさらに含む。いくつかの実施形態において、動作222及び動作228の文字表現のフォーマットは、動作のうちのいずれかの出力のフォーマットを変換することなしに情報の組み合わせを可能にする。いくつかの実施形態において、動作222又は動作228の出力の文字表現のうちの少なくとも1つは、空間地図への包含のために変換される。図2Aは、空間地図の文字表現の例としてJSONを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。図2Eは、空間地図の視覚表現の例である。いくつかの実施形態において、動作230において生成される文字表現は、図2E内の情報の文字表現である。図2E内の情報は、車線境界、車線境界線、及び道路網に関連した他の情報を含む。
本方法は、空間地図がシェイプファイルを開発するために使用される動作234をさらに含む。いくつかの実施形態において、シェイプファイルは、Shape2.0(登録商標)などのプログラムを使用して生成される。シェイプファイルは、道路に沿った進行に関連した、点、線、又はポリゴンなどのベクトルデータを含む。各シェイプファイルは、単一のシェイプを含む。シェイプファイルは、道路網に沿って走行するためのベクトルを決定するために階層化される。シェイプファイルは、車両のための進行方向を識別するためのナビゲーションシステム及び自律運転などのアプリにおいて使用可能である。図2Fは、階層化されたシェイプファイルの視覚表現の例である。いくつかの実施形態において、図2F内の階層化されたシェイプファイルを生成するために使用されるシェイプファイルは、動作234において生成される。階層化されたシェイプファイルは、道路網内の許可された進行経路に関連した情報を含む。
本方法は、シェイプファイルがメモリユニットに記憶される動作236をさらに含む。いくつかの実施形態において、シェイプファイルは、階層化された群として記憶される。いくつかの実施形態において、シェイプファイルは、個々のファイルとして記憶される。いくつかの実施形態において、シェイプファイルは、空間地図の道路網内の車両の決定された位置に基づいて、ユーザ又は車両によってアクセス可能である別個のファイルとして記憶される。
本方法は、空間地図が空間地図内の道路網に沿った移動を視覚的に表現するために符号化映像フォーマットに変換される動作238をさらに含む。図2Aは、空間地図の符号化の例としてTMIを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。空間地図に基づいて映像を符号化することは、例えば、ナビゲーションシステムが、道路に沿って走行するためのシミュレーション前方視又は道路に沿って走行するためのシミュレーション鳥瞰図を表示することを可能にする。
本方法は、符号化映像がメモリユニットに記憶される動作240をさらに含む。いくつかの実施形態において、符号化映像は、空間地図の道路網内の車両の決定された場所に基づいて、ユーザ又は車両によってアクセス可能である複数の別個のファイルに記憶される。
図3は、いくつかの実施形態に従う道路地図を生成する方法300のフローチャートである。いくつかの実施形態において、方法300は、方法200(図2A)の動作236においてメモリユニットに記憶されるシェイプファイルなどの階層化されたシェイプファイルを生成するために使用可能である。いくつかの実施形態において、方法300は、道路地図生成システム100(図1)を使用して実施される。いくつかの実施形態において、方法300は、異なるシステムを使用して実施される。方法300は、道路及び交差点を別個に処理することによって道路地図を生成するように構成される。道路及び交差点を別個に処理することにより、方法300は、他の手法と比較して、道路地図による生成の精度を増大させることができる。道路の評価の間、交差点に関連する情報を除外することにより、方法300は、分析されたデータ内の高レベルの変動を除去することができ、このことによって、より高い精度の道路地図が作成される。加えて、交差点を独立して分析することは、道路で使用される交差点における異なる評価ツール及び方法論の使用を可能にする。これは、同じ複雑な分析を道路及び交差点に適用することによって道路地図を生成するための処理負荷を著しく増大させずに、交差点のより複雑な分析を可能にする。その結果、道路地図を生成する時間及び電力消費は、他の手法と比較して低減される。
方法300は、ディープラーニング(DL)セマンティックセグメンテーションが実施される動作302を含む。セマンティックセグメンテーションは、受信された画像内の各画素に分類ラベルを割り当てることを含む。いくつかの実施形態において、DLセマンティックセグメンテーションは、畳み込みNN(CNN)などの学習済みのNNを使用して実施される。受信された画像内の画素の各々に分類ラベルを割り当てることにより、道路は、受信された画像内の建物、歩道、中央分離帯、川、又は他のオブジェクトなどの他のオブジェクトから区別されることができる。これは、受信された画像内の道路の存在及び場所を示すスケルトン化された道路地図の生成を可能にする。
方法300は、前処理及びノイズ除去がセグメント化画像に対して実施される動作304をさらに含む。いくつかの実施形態において、前処理は、セグメント化画像のダウンサンプリングを含む。ダウンサンプリングは画像分解能の減少を含み、これは、画像の後処理のための処理負荷を低減するのに役立つ。いくつかの実施形態において、ノイズ除去は、画像の線形フィルタリング、中央値フィルタリング、適応フィルタリング、又は他の好適なフィルタリングなど、画像のフィルタリングを含む。いくつかの実施形態において、ノイズ除去は、道路を含まない画像の部分を除去するためにスケルトン化された道路地図のクロッピングを含む。前処理及びノイズ除去は、方法300の実施のための処理負荷を低減するのに役立ち、また画像からノイズを除去することによって、生成された道路地図の精度を増大させるのに役立つ。
方法300は、ノード検出が実施される動作306をさらに含む。ノード検出は、道路が接続する場所、例えば、交差点を識別することを含む。いくつかの実施形態において、ノード検出は、別の道路との交差以外の道路内の目立った特徴、例えば、踏切、交差点以外での交通信号、又は別の好適な特徴を識別することをさらに含む。
方法300は、グラフ処理が実施される動作308をさらに含む。グラフ処理は、動作306において識別されたノードに基づくスケルトン化された道路地図の処理である。グラフ処理は、接続された構成要素のリストを生成することができる。例えば、いくつかの実施形態において、グラフ処理は、どの道路が識別された交差点のノードにおいて出会うかを識別する。グラフ処理はまた、ノード間の道路に沿った距離を決定することができる。いくつかの実施形態において、グラフ処理は、ノード間の道路の向きの変化をさらに識別する。例えば、道路が湾曲する状況では、グラフ処理は、道路が第1の向き又は角度に沿って続く第1のノードからの距離を識別することができる。次いで、グラフ処理は、向きの変化を識別し、道路が新規の第2の向きに沿って続く距離を決定する。いくつかの実施形態において、グラフ処理は、道路の向きの変化が向き閾値を超える度に新規の向きを識別する。いくつかの実施形態において、向き閾値の値は、約10度である。向き閾値が増加するにつれて、グラフ処理を実施するための処理負荷が減少するが、道路の記述における正確性が減少する。向き閾値が減少するにつれて、グラフ処理を実施するための処理負荷が増大するが、道路の記述における正確性が増大する。
方法300は、道路及び交差路が別個の処理のために識別及び抽出される動作310をさらに含む。交差路又は交差点は、動作306において検出されるノードに基づいて識別される。いくつかの実施形態において、ノードの周りの半径範囲は、抽出されるべき交差点の範囲を決定するために使用される。いくつかの実施形態において、半径範囲は、各交差点について一定である。いくつかの実施形態において、第1の交差点についての半径範囲は、第2の交差点についての半径範囲とは異なる。いくつかの実施形態において、各交差点についての半径範囲は、ノードに接続される道路の幅に基づいて設定される。例えば、交差点に接続される道路が広いほど、より大きい交差点を有すると仮定される。小さい交差点についての半径範囲と同じサイズである半径範囲を広い交差点に適用することは、処理負荷を増大させる小さい交差点が過剰に検出され、又はより大きい交差点の全体より小さいものが抽出されるというリスクを増加させる。いくつかの実施形態において、各交差点についての半径範囲は、ノードで出会う道路の数に基づいて設定される。例えば、2つの道路の交差点は、3つ以上の道路の交差点よりも小さいことが予期される。ここでも、交差点の予期されるサイズと一致しない半径範囲を有することは、方法300を実施するための処理負荷を増加させ、又は道路地図の正確性及び精度を減少させる。
動作310の後、交差路又は交差点は、別個の処理のために、交差路又は交差点以外の道路から分離される。道路は、動作312~318を使用して処理されるが、交差路は、動作314、320、及び322を使用して処理される。交差路及び道路を別個に処理することにより、道路の特徴を決定するための処理負荷が低減される一方で、より複雑な交差路の正確性及び精度は維持される。これは、他の手法と比較してより低い処理負荷及び時間消費で正確かつ精密な道路地図を作成するのに役立つ。
方法300は、道路接線ベクトルが抽出される動作312をさらに含む。道路接線ベクトルは、1つのノードから別のノードへ移動するための道路に沿った進行方向を示す。いくつかの実施形態において、道路接線ベクトルは、進行方向に関連した情報を含む。例えば、単一方向にのみ進行を許可する一方通行の道路の場合、接線ベクトルは、単一方向に沿った進行を示す。
方法300は、受信された画像に対してオブジェクト検出が実施される動作314をさらに含む。オブジェクト検出は、ディープラーニングを使用して、例えば、学習済みのNNを使用して実施される。動作314は画像に対して実施され、オブジェクト検出の結果は道路処理及び交差路処理の両方に使用される。いくつかの実施形態において、オブジェクト検出は、検出されたオブジェクトの分類を含む。例えば、いくつかの実施形態において、道路に対して平行の実線は道路境界として分類され、道路に対して平行の破線は車線境界線として分類され、道路に対して垂直の実線は停止線として分類され、道路に対して平行だが、車線の幅よりは小さく離間される一連のより短い線は横断歩道として分類され、又は他の好適な分類がある。いくつかの実施形態において、色は、オブジェクト分類のために使用可能である。例えば、白又は黄色は、道路上の区分線を識別するために使用可能であり、緑色は、草又は他の植物を含む中央分離帯を識別するために使用可能であり、グレーなど、より薄い色は、歩道又はコンクリート中央分離帯を識別するために使用可能である。
方法300は、動作314の出力から受信されたオブジェクト検出に基づいて車線推定が実施される動作316をさらに含む。動作314において検出されたオブジェクトに基づいて、道路に沿った車線の数と、車線が一方通行の道路であることが予期されるかどうかとが決定可能である。さらに、道路の境界は、検出されたオブジェクトに基づいて決定されることができる。例えば、いくつかの実施形態において、一組の車線境界線、例えば道路に対して平行な破線の検出に基づいて、動作316は、道路内に2つの車線が存在することを決定する。いくつかの実施形態において、道路の中央領域内の実線は、双方交通のための境界線を示す。例えば、道路の中央領域内での1つ若しくは複数の実線の検出、又は中央分離帯の検出は、道路に沿った交通が、2つの進行方向の間の境界線として実線を伴って、両方向にあることが予期されることを示す。いくつかの実施形態において、道路の中央領域内の実線を検出すること、又は中央分離帯の検出ができないことは、一方通行の道路を示す。
方法300は、道路の統計分析に基づいて車線推定が実施される動作318をさらに含む。いくつかの実施形態において、車線推定は、道路の幅を決定して、その幅を道路が位置する領域内の平均車線幅で割ることによって実施される。結果として生じる除算の最大整数が道路内の車線の数を示唆する。いくつかの実施形態において、方法300は、異なる領域における平均車線幅に関連した情報を得るために、サーバなどの外部データソースから情報を取得する。いくつかの実施形態において、オブジェクト検出は、道路内の車線の数を決定するために、統計分析と組み合わされる。例えば、いくつかの実施形態において、道路境界が検出され、車線の数を決定するために道路の全幅を使用する代わりに、道路境界間の距離だけが、道路の車線の数を決定するために使用される。いくつかの実施形態において、道路が単一車線を含むという決定は、道路が一方通行の道路であることを示すものである。いくつかの実施形態において、一方通行の道路を示す単一車線の決定は、都市又は街に限定され、田舎の道路には適用されない。
いくつかの実施形態において、車線推定を検証するために、動作316からの車線推定が、動作318からの車線推定と比較される。いくつかの実施形態において、車線推定は、動作316において決定された車線推定が動作318において決定された車線予測と一致するかどうかが検証される。いくつかの実施形態において、動作316において決定された車線推定と動作318において決定された車線推定との間の相違に応答じて、アラートがユーザのために生成される。いくつかの実施形態において、アラートは、自動的に生成されて、ユーザによってアクセス可能なユーザインターフェース(UI)に送信される。いくつかの実施形態において、アラートは音声又は視覚アラートを含む。いくつかの実施形態において、動作316において決定された車線推定は、2つの車線推定間の対立に応じて、動作318において決定された車線推定を上書きするために使用可能である。この説明では、相違とは、一方の車線推定が車線の存在又は車線の位置を含み、他方の車線推定を使用した車線の決定がなかった状況であり、対立とは、第1の車線推定が、第2の車線推定とは異なる場所を決定し、又は第2の車線決定から車線の不在の肯定的な決定を決定する場合である。
いくつかの実施形態において、動作316において識別される特徴は、高い信頼レベルを付与され、特徴の場所が高い精度であることを示す。いくつかの実施形態において、高い信頼レベルを有する特徴は、計算した場所の0.3メートル以内の場所正確性を有する。いくつかの実施形態において、動作318において識別される特徴は、低い信頼レベルを有し、特徴の場所が動作316において識別されるよりも低い精度であることを示す。いくつかの実施形態において、低い信頼レベルを有する特徴は、1.0メートル以内の場所正確性を有する。いくつかの実施形態において、動作318において識別される特徴との矛盾を有する動作316において識別される特徴は、高い信頼レベルと低い信頼レベルとの間にある中程度の信頼レベルを有する。いくつかの実施形態において、信頼レベルは、対応する特徴と関連したメタデータとして記憶される。いくつかの実施形態において、信頼レベルは、以下に説明される動作326における特徴の出力と一緒に含まれる。
いくつかの実施形態において、動作316及び318は、建物など、受信された画像内のオブジェクトによって不明瞭にされる道路上の特徴の場所を補間するために使用可能である。いくつかの実施形態において、動作316及び318は、対応する不明瞭な特徴の場所を予想するために、受信された画像からの道路に関連した使用可能なデータを使用する。
動作316及び318は、動作310において確立された半径範囲の外側の道路の部分に対して実施される。対照的に、動作320及び322は、動作310において確立された半径範囲の内側の道路の部分に対して実施される。
方法300は、動作314のオブジェクト検出に基づいて車線及び交差路推定が実施される動作320をさらに含む。場合によっては、交差路は、交差点とも呼ばれる。動作314において検出されたオブジェクトに基づいて、交差点を通る車線接続を決定することができる。例えば、いくつかの実施形態において、交差点を通る曲線の後の破線は、いくつかの実施形態において、車線間の接続を決定するために使用可能である。いくつかの実施形態において、道路の側方に対する車線位置は、交差点を通る車線接続を決定するために使用可能である。例えば、道路の第1の側における道路の右側に最も近い車線は、第1の側から交差点をまたいだ交差点の第2の側における道路の右側に最も近い車線に接続されると仮定される。いくつかの実施形態において、動作310において設定された半径範囲内の検出された中央分離帯は、交差点を通る車線接続を決定するために使用可能である。例えば、道路の右側から第1の距離である交差点の第1の側の車線は、中央分離帯が交差点の第2の側の道路の右側から第1の距離であることに応じて、ターン専用車線であることが決定される。このため、交差点の第1の側の車線が、交差点の第2の側の車線と直接接続することは予期されない。
いくつかの実施形態において、オブジェクト認識は、交差点を通る車線接続を示す道路上の矢印などの道路標示を識別する。例えば、いくつかの実施形態において、直進のみを示す検出された矢印は、交差点の第1の側の車線が、交差点の真向いの交差点の第2の側の車線に接続されることを示す。いくつかの実施形態において、ターン専用車線を示す検出された矢印は、交差点の第1の側の車線が交差点の第2の側の車線に接続されないことを示す。いくつかの実施形態において、検出された停止線は、特定の進行方向のための車線が交差点においていくつ存在するかを決定するために使用可能である。例えば、いくつかの実施形態において、道路の全体にわたって延びる停止線の検出に応じて、道路が一方通行の道路であることが決定される。いくつかの実施形態において、およそ2つの車線幅の距離だけ道路にわたって部分的に延びる停止線の検出に応じて、道路に沿って交差点に接近する方向への進行を許可する2つの車線が存在すること、及び停止線が道路の全体にわたって延びないことから、道路が双方交通を許可することが示される。
いくつかの実施形態において、複数の画像にわたって交差点を通って進行する車両の検出は、交差点における車線間の接続を決定するために使用可能である。例えば、交差点の第1の側の第1の車線から交差点の第2の側の第2の車線へ進行する一連の車両の検出に基づいて、動作320は、いくつかの実施形態において、第1及び第2の車線が接続されることを決定する。いくつかの実施形態において、交差点の第1の側の第1の車線から第1の側の左側の第3の車線へ進行する一連の車両の検出は、第1の車線が、第3の車線へ入るために左折を可能にすることを示す。いくつかの実施形態において、検出された車両経路に基づいた車線同士の接続は、特定の時間フレーム内での特定の経路に沿って進行する車両の閾値数の検出に従って仮定される。特定の時間フレーム内で経路に沿って進行する車両の閾値数を設定することは、長い時間期間にわたって単一車両又は非常に少ない車両が進行する違法又は緊急経路に基づいて車線同士の車線接続を確立することを回避するのに役立つ。いくつかの実施形態において、車両の閾値数は、1時間以内に約5台の車両から20分以内に約10台の車両の範囲に及ぶ。閾値内の車両の数が増加するか、時間期間が減少すると、その経路に沿って進行する車両の頻度が閾値を満足しない高いリスクを有することから、車線接続を確立することができないリスクが増大する。閾値内の車両の数が減少するか、時間期間が増加すると、誤った車線接続を確立するリスクが増大する。
方法300は、交差路をまたぐ車線接続が、識別された車線に基づいて決定される動作322をさらに含む。いくつかの実施形態において、動作310において決定された半径範囲内の車線の存在は、動作316及び318において上で論じられるようなオブジェクト検出又は統計分析に基づく。いくつかの実施形態において、動作316又は動作318のうちの少なくとも一方からの情報は、動作310において決定された半径範囲近くの車線の場所を決定するために動作322において使用可能である。動作322は、車線の相対位置に基づいて交差点を通る車線同士の接続を決定する。すなわち、各車線は、交差点の反対側の対応する車線との接続を有すると見なされる。
いくつかの実施形態において、車線接続を検証するために、動作320からの車線接続が動作322からの車線接続と比較される。いくつかの実施形態において、車線接続は、動作320において決定された車線接続が動作322において決定された車線予接続と一致するかどうかが検証される。いくつかの実施形態において、動作320において決定された車線接続と動作322において決定された車線接続との間の相違に応じて、アラートがユーザのために生成される。いくつかの実施形態において、アラートは、自動的に生成されて、ユーザによってアクセス可能なユーザインターフェース(UI)に送信される。いくつかの実施形態において、アラートは音声又は視覚アラートを含む。いくつかの実施形態において、動作320において決定される車線接続は、2つの車線接続間の対立に応じて、動作322において決定された車線接続を上書きするために使用可能である。この説明では、相違とは、一方の車線接続が接続の存在を含み、他方の車線接続動作を使用した車線接続の決定がなかった状況であり、対立とは、第1の車線接続が、第2の車線接続とは異なる場所を決定し、又は第2の車線接続から車線接続の不在の肯定的な決定を決定する場合である。
方法300は、動作312~318における道路の分析が、動作314、320、及び322における交差点の分析と組み合わされる動作324をさらに含む。いくつかの実施形態において、2つの分析は、動作310において決定された半径範囲において車線を整列させることによって組み合わされる。いくつかの実施形態において、2つの分析は、各分析によって生成されたシェイプファイルを一緒に階層化することによって組み合わされる。
方法300は、統合された分析がエクスポートされる動作326をさらに含む。いくつかの実施形態において、統合された分析はサーバ又はUIなどの外部デバイスに送信される。いくつかの実施形態において、統合された分析はワイヤレスで又は有線接続によって送信される。いくつかの実施形態において、統合された分析は、目的地に到達するために道路網に沿ってどの経路を走行するべきかを車両運転者に指示するためのナビゲーションシステムにおいて使用可能である。いくつかの実施形態において、統合された分析は、目的地に到達するために道路網に沿って自動的に走行するように車両に指示するための自律運転プロトコルにおいて使用可能である。
いくつかの実施形態において、方法300は追加の動作を含む。例えば、いくつかの実施形態において、方法300は、道路網に関連した履歴情報を受信することを含む。履歴情報は、新たに受信した情報と履歴情報との比較を可能にして、新たに受信した情報の分析における効率を向上させる。いくつかの実施形態において、方法300の動作の順序は変更される。例えば、いくつかの実施形態において、動作312は動作310の前に実施される。いくつかの実施形態において、方法300から少なくとも一つの動作が省略される。例えば、いくつかの実施形態において、動作326が省略され、統合された分析は、ユーザによるアクセスのためにメモリユニットに記憶される。
図4Aは、いくつかの実施形態に従う鳥瞰画像400Aである。いくつかの実施形態において、画像400Aは、DLセマンティックセグメンテーションを経るための方法300(図3)によって受信されるタイル化画像である。いくつかの実施形態において、画像400Aは、方法200(図2A)の動作202において受信される画像の一部である。いくつかの実施形態において、画像400Aは、システム100(図1)によって受信される空間的画像110の一部である。画像400Aは、道路410Aを含む。道路410Aのうちのいくつかは、互いに接続される。道路410のうちのいくつかは、例えば、建物又は中央分離帯によって、互いから分離される。
図4Bは、いくつかの実施形態に従う道路の平面図400Bである。いくつかの実施形態において、図面400Bは、方法300(図3)の動作302におけるDLセマンティックセグメンテーションの結果である。いくつかの実施形態において、図面400Bは、方法200(図2A)の動作208におけるセグメンテーションの結果である。いくつかの実施形態において、図面400Bは、システム100(図1)内の空間地図パイプラインユニット134において生成される。図面400Bは、道路410Bを含む。道路410Bの場所及びサイズは、画像400A(図4A)内の道路410Aの場所及びサイズに対応する。画像400A(図4A)内の建物、中央分離帯、車両、及び他のオブジェクトは、スケルトン化された道路地図を生成するためにセグメンテーションプロセスによって除去される。
図5は、いくつかの実施形態に従うナビゲーションシステムユーザインターフェース500の図である。ナビゲーションシステムユーザインターフェース(UI)500は、上面透視図510及び一人称視点520を含む。いくつかの実施形態において、上面透視図510のための情報は、空間的画像110(図1)、画像202(図2)、又は他の鳥瞰画像として受信される。いくつかの実施形態において、上面透視図510は、写真などの捕捉された画像データを含む。いくつかの実施形態において、上面透視図510は、例えば、動作314~326(図3)によってオブジェクトを識別するための処理画像データを含む。例えば、いくつかの実施形態において、衛星画像は、所定の変換行列を使用して、一人称視点又は運転者透視図へと変換される。いくつかの実施形態において、地面の法線に対する視界の角度は、上面透視図の場合よりも運転者透視図の場合の方が大きい。
一人称視点520は、受信された航空画像に基づいて生成される。いくつかの実施形態において、受信された航空画像は、空間的画像110(図1)、画像202(図2)、又は他の鳥瞰画像を含む。受信された航空画像は、道路の場所及び寸法、並びに道路に沿ったオブジェクトの場所及び寸法を決定するために、例えば、方法200(図2)又は方法300(図3)を使用して分析される。これらの場所及び寸法は、現実世界のオブジェクトに対応するサイズを有する検出されたオブジェクトを含む一人称視点520を推定するために使用可能である。一人称視点520は、車線境界線530、道路境界540、及び道路に沿ったオブジェクト550を含む。これらのオブジェクトの各々は、例えば、方法200(図2)又は方法300(図3)を使用して、受信された航空画像から検出可能である。これらのオブジェクトは、次いで、一人称視点520において、航空画像の処理によって決定される対応する場所に位置付けられる。さらに、識別されたオブジェクトの各々のサイズは、一人称視点520におけるオブジェクトのサイズを現実世界におけるオブジェクトのサイズにぴったりと一致させるために、航空画像の分析に基づく。道路に沿ったオブジェクト550が一人称視点520における樹木であるが、当業者は、建物、歩道、線路、又は他のオブジェクトなどの他のオブジェクトも本開示の範囲内であることを認識するだろう。航空画像を一人称視点520におけるオブジェクトの配置のための基礎として使用することにより、一人称視点520は、現実世界における実際の道路外観をより正確に反映する。その結果、運転者はナビゲーション指示をより明確に理解してナビゲーション指示に従うことができる。同様に、自律運転システムは、車両が道路に沿って走行するためのルートをより正確に決定することができる。
航空画像から一人称視点520への変換は、航空画像が捕捉された時間点におけるカメラのパラメータに関する情報に基づく航空画像の分析を含む。いくつかの実施形態において、カメラのパラメータに関する情報は、焦点距離、カメラの回転、カメラ内の画像センサの画素サイズ、又は他の好適なパラメータを含む。カメラのパラメータに基づいて、回転行列及び並進行列が、航空画像を一人称視点へ変換するために作成される。回転行列及び並進行列並びに航空画像の中心の座標を使用することにより、一人称視点のための2次元画素空間画像を計算することができる。いくつかの実施形態において、回転行列は、3方向の各々におけるx軸、y軸、及びz軸の各々の周りの回転を示す3×3行列を含む。いくつかの実施形態において、並進行列は、x方向、y方向、及びz方向の各々におけるカメラの中心と航空画像の中心との間での並進運動を示す1×3行列を含む。いくつかの実施形態において、道路は、z軸方向の分析を除去することによって変換を簡略化するために、平面として扱われる。いくつかの実施形態において、回転行列及び並進行列は、組み合わされて単一の行列、例えば、4×3行列にされる。いくつかの実施形態において、回転行列及び並進行列は、一人称視点の精度を高めるために、カメラ校正行列と組み合わせて使用されて一人称視点を生成する。カメラ校正行列は、カメラ内のレンズによってもたらされる画像のひずみ、又は航空画像の捕捉中のノイズ若しくはひずみの他の原因を考慮するのに役立つ。いくつかの実施形態において、計算は、チェッカーボード方法を使用し、この方法では、カメラの画像センサ上の画素のサイズ及び場所が、一人称視点における対応する情報のサイズ及び場所を決定するために使用可能である。いくつかの実施形態において、比較は、Python Open Computer Vision(CV)ソフトウェアを使用して実施される。
図6Aは、いくつかの実施形態に従う道路の上面図600Aである。いくつかの実施形態において、上面図600Aは、空間的画像110(図1)、画像202(図2)、又は他の鳥瞰画像として受信される。いくつかの実施形態において、上面図600Aは、写真などの捕捉された画像データを含む。いくつかの実施形態において、上面図600Aは、例えば、動作314~326(図3)によってオブジェクトを識別するための処理画像データを含む。上面図600Aは、道路610、交差点620、交通信号630、及びオブジェクト640を含む。いくつかの実施形態において、オブジェクト640は、建物、樹木、草、中央分離帯、歩道、又は他の好適なオブジェクトを含む。上面図600Aは、交差点に近接した道路610の幅を含む。道路610の幅は、上面図600Aを作成するために使用される航空画像、及び航空画像を捕捉するために使用されるカメラのパラメータに基づいて決定される。
図6Bは、いくつかの実施形態に従う道路の一人称視点600Bである。一人称視点600Bは、上面図600Aの分析に基づいて生成される。いくつかの実施形態において、一人称視点600Bは、一人称視点520(図5)に関して上に説明されるものと同様の態様で生成される。いくつかの実施形態において、一人称視点600Bは、ナビゲーションシステムUI500(図5)などのナビゲーションシステムUIを使用して表示されることができる。一人称視点600Bは、道路610、交差点620、交通信号630、及びオブジェクト640を含む。これらのオブジェクトの各々は、方法200(図2)又は方法300(図3)を使用することなど、航空画像の分析に基づいて、一人称視点600Bに含まれる。オブジェクトは、上面図600Aにおいて識別され、次いで、航空画像の分析及びカメラのパラメータに基づいて、一人称視点600B内に位置付けられる。一人称視点600Bは、道路610の幅を含み、これは、上面図600A(図6A)からの道路の幅と一致している。現実世界における道路の幅と一人称視点600Bにおける道路610の幅とのこの一致は、運転者が車両内のナビゲーションシステムからのナビゲーション指示に首尾よく従うことを助ける。
いくつかの実施形態において、一人称視点600Bは、解像度を低減した画像領域650をさらに含む。画像領域650は、一人称視点600Bの作成中にナビゲーションシステムに対する処理負荷を低減するために、解像度を低減している。車両が交差点620に向かって移動するにつれて、交差点620は、一人称視点600Bにおいてより大きくなる。しかしながら、画像領域650は、車両が交差点620に向かって移動するときに、同じサイズのままである。すなわち、運転者は、車両が道路610に沿って走行するときに、画像領域650が車両の現在の位置から所定の距離だけ離れたところに留まると知覚する。
いくつかの実施形態において、一人称視点600Bにおけるオブジェクト640の高さは、航空画像の分析に基づいて決定される。例えば、異なる時間での航空画像の異なる画像間の比較により、オブジェクト640の高さを決定することができる。いくつかの実施形態において、オブジェクト640に焦点を合わせるために使用される焦点距離は、オブジェクト640の最上部と道路610の表面との間の相対的な高さの差を決定するために、道路610に焦点を合わせるために使用される焦点距離と比較される。
当業者は、図5~図6Bに関して論じられる航空画像の変換が、航空画像の道路セグメントを組み合わせることによって道路地図全体の一人称視点を生成することができるということを理解するだろう。すなわち、方法200(図2)及び方法300(図3)は、道路セグメントを互いに組み合わせることによって道路地図を生成するために使用可能である。これらの道路地図は、次いで、道路の場所及び寸法並びに道路に沿ったオブジェクト及び道路に隣接するオブジェクトを使用して、一人称視点へと変換されることができる。これらの一人称視点は、次いで、ナビゲーションシステムUI500(図5)などのナビゲーションシステムUIが運転者にナビゲーション指示を提供するために、又は車両の自律運転のために使用可能である。
図7は、いくつかの実施形態に従う識別されたマーカ710、720、及び730を含む道路の鳥瞰画像700である。いくつかの実施形態において、画像700は、方法300(図3)における動作314の結果である。いくつかの実施形態において、画像700は、方法200(図2A)内の動作230における空間地図の視覚表現である。いくつかの実施形態において、画像700は、道路地図生成システム100(図1)内の空間的画像 オブジェクト検出ユニット140によって作成される。画像700は、道路を含む。道路境界マーカ710は、道路の境界線を示す。車線境界線マーカ720は、道路に沿った車線境界線を示す。マーカ730は、道路の視界を妨害する建物の縁を示す。マーカ730によって示される建物による妨害の結果として、道路についての不明瞭な情報は、画像700において利用可能データから補間される。
図8A~図8Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。いくつかの実施形態において、図8A~図8Cは、方法300(図3)の動作316及び/又は動作318を使用して生成される図面を含む。いくつかの実施形態において、図8A~図8Cは、方法200(図2A)の動作216を使用して生成される図面を含む。いくつかの実施形態において、図8A~図8Cは、道路地図生成システム100(図1)内の空間的画像オブジェクト検出ユニット140によって生成される図面を含む。図8Aは、スケルトン化された道路810を含む図面800Aを含む。図8Bは、道路810及び道路810の中央領域に沿った車線マーカ820を含む図面800Bを含む。いくつかの実施形態において、車線マーカ820は、反対方向に移動する交通を分離する実線を示す。いくつかの実施形態において、車線マーカ820は、同じ方向に移動する交通を分離する車線間の破線を示す。図8Cは、道路810、車線マーカ820、及び道路境界マーカ830を含む図面800Cを含む。道路境界マーカ830は道路810の周辺を示す。いくつかの実施形態において、道路境界マーカ830を越える領域は、路肩、歩道、道路に沿った駐車領域、又は他の道路特徴を含む。
図9A~図9Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。いくつかの実施形態において、図9A~図9Cは、方法300(図3)の動作316及び/又は318を使用して生成される図面を含む。いくつかの実施形態において、図9A~図9Cは、方法200(図2A)の動作216を使用して生成される図面を含む。いくつかの実施形態において、図9A~図9Cは、道路地図生成システム100(図1)内の空間的画像オブジェクト検出ユニット140によって生成される図面を含む。図9Aは、スケルトン化された道路910及び車線境界線マーカ920を含む図面900Aを含む。図面800B(図8B)とは対照的に、車線境界線マーカ920は、同じ方向に移動する交通を分離する破線を明確に示す。図9Bは、道路910、車線境界線マーカ920、及び道路境界マーカ930を含む図面900Bを含む。道路境界マーカ930は道路910の周辺を示す。いくつかの実施形態において、道路境界マーカ930を越える領域は、路肩、歩道、道路に沿った駐車領域、又は他の道路特徴を含む。図9Cは、道路910の経路を示す道路グラフ940を含む図面900Cを含む。いくつかの実施形態において、道路グラフ940は、方法300(図3)の動作308を使用して生成される。
図10は、いくつかの実施形態に従う道路地図を生成するためのシステム1000の図である。システム1000は、一人称視点520(図5)又は一人称視点600B(図6B)などの一人称視点画像を生成するために使用可能である。システム1000は、ハードウェアプロセッサ1002と、コンピュータプログラムコード1006、すなわち実行可能な命令のセットで符号化される、すなわちこれを記憶する非一時的なコンピュータ可読記憶媒体1004とを含む。コンピュータ可読記憶媒体1004はまた、サーバ又はUIなどの外部デバイスとインターフェースをとるための命令1007で符号化される。プロセッサ1002は、バス1008によりコンピュータ可読記憶媒体1004に電気的に結合される。プロセッサ1002はまた、バス1008によってI/Oインターフェース1010に電気的に結合される。ネットワークインターフェース1012もまた、バス1008によりプロセッサ1002に電気的に接続される。ネットワークインターフェース1012は、プロセッサ1002及びコンピュータ可読記憶媒体1004がネットワーク1014を介して外部要素に接続することができるようにネットワーク1014に接続される。プロセッサ1002は、システム1000を、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてを実施するために使用可能にさせるために、コンピュータ可読記憶媒体1004において符号化されるコンピュータプログラムコード1006を実行するように構成される。
いくつかの実施形態において、プロセッサ1002は、中央処理ユニット(CPU)、マルチプロセッサ、分散処理システム、特定用途向け集積回路(ASIC)、及び/又は好適な処理ユニットである。
いくつかの実施形態において、コンピュータ可読記憶媒体1004は、電子、磁気、光学、電磁、赤外線、及び/又は半導体システム(又は装置若しくはデバイス)である。例えば、コンピュータ可読記憶媒体1004は、半導体若しくは固体メモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、剛性磁気ディスク、及び/又は光学ディスクを含む。光学ディスクを使用するいくつかの実施形態において、コンピュータ可読記憶媒体1004は、コンパクトディスク-リードオンリメモリ(CD-ROM)、コンパクトディスク-リード/ライト(CD-R/W)、及び/又はデジタルビデオディスク(DVD)を含む。
いくつかの実施形態において、記憶媒体1004は、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてをシステム100に実施させるように構成されるコンピュータプログラムコード1006を記憶する。いくつかの実施形態において、記憶媒体1004はまた、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)に説明されるような動作の一部又はすべてを実施するために必要とされる情報、並びに、鳥瞰画像パラメータ1016、一人称画像パラメータ1018、焦点距離パラメータ1020、画素サイズパラメータ1022、及び/又は道路地図生成システム100(図1)、方法200(図2A)、若しくは方法300(図3)において説明されるような動作の一部若しくはすべてを実施するための実行可能な命令のセットなど、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてを実施している間に生成される情報を記憶する。
いくつかの実施形態において、記憶媒体1004は、外部デバイスとインターフェースをとるための命令1007を記憶する。命令1007は、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてを効果的に実施するために、プロセッサ1002が外部デバイスによって読み取り可能な命令を生成することを可能にする。
システム1000は、I/Oインターフェース1010を含む。I/Oインターフェース1010は、外部回路に結合される。いくつかの実施形態において、I/Oインターフェース1010は、情報及びコマンドをプロセッサ1002に通信するための、キーボード、キーパッド、マウス、トラックボール、トラックパッド、及び/又はカーソル方向キーを含む。
システム1000はまた、プロセッサ1002に結合されたネットワークインターフェース1012を含む。ネットワークインターフェース1012は、システム1000がネットワーク1014と通信することを可能にし、ネットワーク1014には1つ又は複数の他のコンピュータシステムが接続される。ネットワークインターフェース1012は、BLUETOOTH(登録商標)、WIFI、WIMAX、GPRS、若しくはWCDMA(登録商標)などのワイヤレスネットワークインターフェース、又はETHERNET、USB、若しくはIEEE-1394などの有線ネットワークインターフェースを含む。いくつかの実施形態において、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)に説明されるような動作の一部又はすべては、2つ以上のシステム100において実施され、情報は、ネットワーク1014を介して異なるシステム1000間で交換される。
本説明の態様は、一人称視点地図を生成する方法に関する。本方法は、道路の上からの画像を受信することを含む。本方法は、受信された画像に基づいて道路グラフを生成することをさらに含み、道路グラフは複数の道路セグメントを含む。本方法は、複数の道路セグメントの各道路セグメントについての一人称視点画像を生成するために、道路グラフを使用して受信された画像を変換することをさらに含む。本方法は、複数の道路セグメントを組み合わせて一人称視点地図を規定することをさらに含む。いくつかの実施形態において、道路の上からの画像は衛星画像である。いくつかの実施形態において、本方法は、複数の道路セグメントのうちの少なくとも1つに沿った車線境界線を識別することと、識別された車線境界線を一人称視点地図に含めることとをさらに含む。いくつかの実施形態において、本方法は、複数の道路セグメントのうちの少なくとも1つに隣接するオブジェクトを識別することと、識別されたオブジェクトを一人称視点地図に含めることとをさらに含む。いくつかの実施形態において、本方法は、受信された画像に基づいて識別されたオブジェクトの高さを決定することと、決定された高さを有する識別されたオブジェクトを一人称視点地図に含めることとをさらに含む。いくつかの実施形態において、本方法は、複数の道路セグメントのうちの第1の道路セグメントの幅を決定することと、決定された幅を有する第1の道路セグメントを含む一人称視点地図を生成することとをさらに含む。いくつかの実施形態において、一人称視点地図を規定することは、運転者に表示される一人称視点地図の一部の解像度を低減することを含む。
本説明の態様は、一人称視点地図を生成するためのシステムに関する。本システムは、命令を記憶するように構成された非一時的なコンピュータ可読媒体を含む。本システムは、非一時的なコンピュータ可読媒体に接続されたプロセッサをさらに含む。プロセッサは、道路の上からの画像を受信するための命令を実行するように構成される。プロセッサは、受信された画像に基づいて道路グラフを生成するための命令を実行するようにさらに構成され、道路グラフは複数の道路セグメントを含む。プロセッサは、複数の道路セグメントの各道路セグメントについての一人称視点画像を生成するために、道路グラフを使用して受信された画像を変換するための命令を実行するようにさらに構成される。プロセッサは、複数の道路セグメントを組み合わせて一人称視点地図を規定するための命令を実行するようにさらに構成される。いくつかの実施形態において、道路の上からの画像は衛星画像である。いくつかの実施形態において、プロセッサは、複数の道路セグメントのうちの少なくとも1つに沿った車線境界線を識別することと、識別された車線境界線を一人称視点地図に含めることとを行うための命令を実行するようにさらに構成される。いくつかの実施形態において、プロセッサは、複数の道路セグメントのうちの少なくとも1つに隣接するオブジェクトを識別することと、識別されたオブジェクトを一人称視点地図に含めることとを行うための命令を実行するようにさらに構成される。いくつかの実施形態において、プロセッサは、受信された画像に基づいて識別されたオブジェクトの高さを決定することと、決定した高さを有する識別されたオブジェクトを一人称視点地図に含めることとを行うための命令を実行するようにさらに構成される。いくつかの実施形態において、プロセッサは、複数の道路セグメントのうちの第1の道路セグメントの幅を決定することと、決定された幅を有する第1の道路セグメントを含む一人称視点地図を生成することとを行うための命令を実行するようにさらに構成される。いくつかの実施形態において、プロセッサは、運転者に表示される一人称視点地図の低減された解像度部分を含む一人称視点地図を規定するための命令を実行するようにさらに構成される。
本説明の態様は、道路の上からの画像を受信するために命令をプロセッサに実行させるように構成された命令を記憶する非一時的なコンピュータ可読媒体に関する。命令は、プロセッサに、受信された画像に基づいて道路グラフを生成させるようにさらに構成され、道路グラフは複数の道路セグメントを含む。命令は、プロセッサに、複数の道路セグメントの各道路セグメントについての一人称視点画像を生成するために、道路グラフを使用して受信された画像を変換させるようにさらに構成される。命令は、プロセッサに、複数の道路セグメントを組み合わせて一人称視点地図を規定させるようにさらに構成される。いくつかの実施形態において、道路の上からの画像は衛星画像である。いくつかの実施形態において、命令は、プロセッサに、複数の道路セグメントのうちの少なくとも1つに沿った車線境界線を識別することと、識別された車線境界線を一人称視点地図に含めることとを行わせるようにさらに構成される。いくつかの実施形態において、命令は、プロセッサに、複数の道路セグメントのうちの少なくとも1つに隣接するオブジェクトを識別することと、識別されたオブジェクトを一人称視点地図に含めることとを行わせるようにさらに構成される。いくつかの実施形態において、命令は、プロセッサに、受信された画像に基づいて識別されたオブジェクトの高さを決定することと、決定した高さを有する識別されたオブジェクトを一人称視点地図に含めることとを行わせるようにさらに構成される。いくつかの実施形態において、命令は、プロセッサに、複数の道路セグメントのうちの第1の道路セグメントの幅を決定することと、決定された幅を有する第1の道路セグメントを含む一人称視点地図を生成することとを行わせるようにさらに構成される。
前述は、当業者が本開示の態様をよりよく理解することができるように、いくつかの実施形態の特徴を概説する。当業者は、本明細書で紹介された実施形態の同じ目的を果たすため且つ/又は同じ利点を達成するために、他のプロセス及び構図を設計又は修正するための基礎として本開示を容易に使用できるということを理解すべきである。当業者は、そのような等価の構造が、本開示の思想及び範囲から逸脱しないこと、並びにそれらが本開示の思想及び範囲から逸脱することなく本明細書において様々な変化、置換、及び変更をなし得ることも認識すべきである。

Claims (20)

  1. 一人称視点地図を生成する方法であって、
    道路の上からの画像を受信することと、
    前記受信された画像に基づいて、複数の道路セグメントを含む道路グラフを生成することと、
    前記複数の道路セグメントの各道路セグメントについての一人称視点画像を生成するために、前記道路グラフを使用して前記受信された画像を変換することと、
    前記複数の道路セグメントを組み合わせて前記一人称視点地図を規定することと
    を含む、方法。
  2. 前記道路の上からの画像が衛星画像である、請求項1に記載の方法。
  3. 前記複数の道路セグメントのうちの少なくとも1つに沿った車線境界線を識別することと、
    前記識別された車線境界線を前記一人称視点地図に含めることと
    をさらに含む、請求項1又は2に記載の方法。
  4. 前記複数の道路セグメントのうちの少なくとも1つに隣接するオブジェクトを識別することと、
    前記識別されたオブジェクトを前記一人称視点地図に含めることと
    をさらに含む、請求項1又は2に記載の方法。
  5. 前記受信された画像に基づいて、前記識別されたオブジェクトの高さを決定することと、
    前記決定された高さを有する前記識別されたオブジェクトを前記一人称視点地図に含めることと
    をさらに含む、請求項4に記載の方法。
  6. 前記複数の道路セグメントのうちの第1の道路セグメントの幅を決定することと、
    前記決定された幅を有する前記第1の道路セグメントを含む前記一人称視点地図を生成することと
    をさらに含む、請求項1又は2に記載の方法。
  7. 前記一人称視点地図を規定することが、運転者に表示される前記一人称視点地図の一部の解像度を低減することを含む、請求項1又は2に記載の方法。
  8. 一人称視点地図を生成するためのシステムであって、
    命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
    前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
    を備え、
    前記プロセッサが、
    道路の上からの画像を受信することと、
    前記受信された画像に基づいて、複数の道路セグメントを含む道路グラフを生成することと、
    前記複数の道路セグメントの各道路セグメントについての一人称視点画像を生成するために、前記道路グラフを使用して前記受信された画像を変換することと、
    前記複数の道路セグメントを組み合わせて前記一人称視点地図を規定することと
    を行うための命令を実行するように構成される、システム。
  9. 前記道路の上からの画像が衛星画像である、請求項8に記載のシステム。
  10. 前記プロセッサが、
    前記複数の道路セグメントのうちの少なくとも1つに沿った車線境界線を識別することと、
    前記識別された車線境界線を前記一人称視点地図に含めることと
    を行うための命令を実行するようにさらに構成される、請求項8又は9に記載のシステム。
  11. 前記プロセッサが、
    前記複数の道路セグメントのうちの少なくとも1つに隣接するオブジェクトを識別することと、
    前記識別されたオブジェクトを前記一人称視点地図に含めることと
    を行うための命令を実行するようにさらに構成される、請求項8又は9に記載のシステム。
  12. 前記プロセッサが、
    前記受信された画像に基づいて、前記識別されたオブジェクトの高さを決定することと、
    前記決定された高さを有する前記識別されたオブジェクトを前記一人称視点地図に含めることと
    を行うための命令を実行するようにさらに構成される、請求項11に記載のシステム。
  13. 前記プロセッサが、
    前記複数の道路セグメントのうちの第1の道路セグメントの幅を決定することと、
    前記決定された幅を有する前記第1の道路セグメントを含む前記一人称視点地図を生成することと
    を行うための命令を実行するようにさらに構成される、請求項8又は9に記載のシステム。
  14. 前記プロセッサが、運転者に表示される前記一人称視点地図の低減された解像度部分を含む前記一人称視点地図を規定するための命令を実行するようにさらに構成される、請求項8又は9に記載のシステム。
  15. 命令を記憶する非一時的なコンピュータ可読媒体であって、
    前記命令は、
    道路の上からの画像を受信することと、
    前記受信された画像に基づいて、複数の道路セグメントを含む道路グラフを生成することと、
    前記複数の道路セグメントの各道路セグメントについての一人称視点画像を生成するために、前記道路グラフを使用して前記受信された画像を変換することと、
    前記複数の道路セグメントを組み合わせて前記一人称視点地図を規定することと
    を行うための命令をプロセッサに実行させる、非一時的なコンピュータ可読媒体。
  16. 前記道路の上からの画像が衛星画像である、請求項15に記載の非一時的なコンピュータ可読媒体。
  17. 前記命令が、
    前記複数の道路セグメントのうちの少なくとも1つに沿った車線境界線を識別することと、
    前記識別された車線境界線を前記一人称視点地図に含めることと
    を前記プロセッサに行わせるようにさらに構成される、請求項15又は16に記載の非一時的なコンピュータ可読媒体。
  18. 前記命令が、
    前記複数の道路セグメントのうちの少なくとも1つに隣接するオブジェクトを識別することと、
    前記識別されたオブジェクトを前記一人称視点地図に含めることと
    を前記プロセッサに行わせるようにさらに構成される、請求項15又は16に記載の非一時的なコンピュータ可読媒体。
  19. 前記命令が、
    前記受信された画像に基づいて、前記識別されたオブジェクトの高さを決定することと、
    前記決定した高さを有する前記識別されたオブジェクトを前記一人称視点地図に含めることと
    を前記プロセッサに行わせるようにさらに構成される、請求項18に記載の非一時的なコンピュータ可読媒体。
  20. 前記命令が、
    前記複数の道路セグメントのうちの第1の道路セグメントの幅を決定することと、
    前記決定された幅を有する前記第1の道路セグメントを含む前記一人称視点地図を生成することと
    を前記プロセッサに行わせるようにさらに構成される、請求項15又は16に記載の非一時的なコンピュータ可読媒体。
JP2022205543A 2022-01-12 2022-12-22 道路地図生成システム及び使用方法 Withdrawn JP2023102768A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/574,503 2022-01-12
US17/574,503 US20230221140A1 (en) 2022-01-12 2022-01-12 Roadmap generation system and method of using

Publications (1)

Publication Number Publication Date
JP2023102768A true JP2023102768A (ja) 2023-07-25

Family

ID=86895455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022205543A Withdrawn JP2023102768A (ja) 2022-01-12 2022-12-22 道路地図生成システム及び使用方法

Country Status (4)

Country Link
US (1) US20230221140A1 (ja)
JP (1) JP2023102768A (ja)
CN (1) CN116469066A (ja)
DE (1) DE102022134876A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection
CN117765727B (zh) * 2023-12-12 2024-06-07 佛山职业技术学院 一种汽车路面规划智能控制***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558353B1 (ko) * 2013-09-26 2015-10-07 현대자동차 주식회사 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
KR102266152B1 (ko) * 2018-02-22 2021-06-17 삼성전자주식회사 디스플레이 영역의 크기 변경이 가능한 플렉시블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
US11017499B2 (en) * 2018-12-21 2021-05-25 Here Global B.V. Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image

Also Published As

Publication number Publication date
DE102022134876A1 (de) 2023-07-13
CN116469066A (zh) 2023-07-21
US20230221140A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
Shinzato et al. Road terrain detection: Avoiding common obstacle detection assumptions using sensor fusion
US9443309B2 (en) System and method for image based mapping, localization, and pose correction of a vehicle with landmark transform estimation
CN111874006B (zh) 路线规划处理方法和装置
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
WO2017020466A1 (zh) 基于激光点云的城市道路识别方法、装置、存储介质及设备
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
JP2023102768A (ja) 道路地図生成システム及び使用方法
Ye et al. Semi-automated generation of road transition lines using mobile laser scanning data
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
KR102667741B1 (ko) 3차원 객체를 표시하는 방법 및 장치
JP2014175007A (ja) 道路エッジ検出方法及び道路エッジ検出装置
US20220163346A1 (en) Method and apparatus for generating a map for autonomous driving and recognizing location
WO2020156923A2 (en) Map and method for creating a map
Pan et al. Automatic road markings extraction, classification and vectorization from mobile laser scanning data
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
JP7454640B2 (ja) 道路地図生成システム及び使用方法
JP2023102767A (ja) 道路地図生成システム及び使用方法
JP2023102766A (ja) 道路地図生成システム及び使用方法
Tao 3D LiDAR based drivable road region detection for autonomous vehicles
Mahdi et al. A survey on visual map localization using lidars and cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221222

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20230516

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20231129