JP2024520399A - 車線マップ上の対象物の位置を決定するための方法及び装置 - Google Patents
車線マップ上の対象物の位置を決定するための方法及び装置 Download PDFInfo
- Publication number
- JP2024520399A JP2024520399A JP2023572657A JP2023572657A JP2024520399A JP 2024520399 A JP2024520399 A JP 2024520399A JP 2023572657 A JP2023572657 A JP 2023572657A JP 2023572657 A JP2023572657 A JP 2023572657A JP 2024520399 A JP2024520399 A JP 2024520399A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- feature
- vehicle
- features
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本開示は、車線マップ上の対象物の位置を決定するための方法及び装置に関する。本開示の一実施形態に係る方法は、車両に搭載されたカメラで撮影された画像データを取得することができる。また、方法は、画像データに対して所定の処理を実行することによって、画像データに含まれる複数の特徴の特徴情報を生成することができる。さらに、方法は、画像データに含まれる複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。さらに、方法は、車両の車線マップ上の位置情報及び複数の画像データ上の特徴位置情報に基づいて、車線マップ上の対象物の位置を決定することができる。
Description
本発明は、車線マップ上の対象物の位置を決定するための方法及び装置に関する。
道路で走行中の車両は、道路に含まれる複数の車線のうちいずれか一つの車線上で走行することができる。車両は走行中に頻繁に車線を変更することができ、道路上の車線の数が変わる状況も頻繁に発生する。
情報通信技術と車両産業の融合により急速に車両のスマート化が進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特にスマートカーの核心技術として自動運転が注目されている。自動運転とは、運転者がハンドルやアクセルペダル、ブレーキなどを操作しなくても車両が自ら目的地まで行く技術である。
自動運転に関連する様々な付加機能が継続的に開発されており、各種データを利用して走行環境を認知及び判断して自動車を制御することによって、搭乗者に安全な自動運転経験を提供できる方法に関する研究が求められている。
近年では、車両が走行する道路上に位置したり、道路周辺に位置する各種対象物(例えば、信号機、道路標識、ハンプなど)をより少ない演算量でより正確にマップ上に表示するための研究が必要な実情である。
前述した背景技術は、発明者が本発明の導出のために保有していたり、本発明の導出過程で習得した技術情報であり、必ずしも本発明の出願前に一般公衆に公開された公知技術とは限らない。
本発明は、車線マップ上の対象物の位置を決定するための方法及び装置を提供することにある。本発明が解決しようとする課題は、以上で述べた課題に限定されず、言及されていない本発明の他の課題及び利点は、下記の説明によって理解され得、本発明の実施形態でより明確に理解されるであろう。さらに、本発明が解決しようとする課題及び利点は、特許請求の範囲に示された手段及びその組み合わせで実現できることが分かるであろう。
上述した技術的課題を達成するための技術的手段として、本開示の第1態様は、車線マップ上の対象物の位置を決定する方法において、車両に搭載されたカメラで撮影された画像データを取得するステップと、前記画像データに対して所定の処理を実行することによって、前記画像データに含まれる複数の特徴の特徴情報(feature information)を生成するステップと、前記画像データに含まれる前記複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定するステップと、前記車両の車線マップ上の位置情報及び前記複数の画像データ上の特徴位置情報に基づいて前記車線マップ上の対象物の位置を決定するステップとを含む、方法を提供することができる。
本開示の第2態様は、車線マップ上の対象物の位置を決定するための装置において、少なくとも1つのプログラムが記憶されたメモリ及び前記少なくとも1つのプログラムを実行することによって演算を実行するプロセッサを含み、前記プロセッサは、車両に搭載されたカメラで撮影された画像データを取得し、前記画像データに対して所定の処理を実行することによって、前記画像データに含まれる複数の特徴の特徴情報(feature information)を生成し、前記画像データに含まれる前記複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定し、前記車両の車線マップ上の位置情報及び前記複数の画像データ上の特徴位置情報に基づいて前記車線マップ上の対象物の位置を決定する、装置を提供することができる。
本開示の第3態様は、第1態様による方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。
その他にも、本発明を実装するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムが記憶されたコンピュータで読み取り可能な記録媒体がさらに提供され得る。
前述したもの以外の他の態様、特徴、利点が、以下の図面、特許請求の範囲及び発明の詳細な説明から明確になるであろう。
前述した本開示の課題解決手段によると、画像データ全体を用いず、対象物に対するメタデータに該当する特徴情報を活用し、複数の画像データ内で同じ対象物が何であるかを決定することによって、データ軽量化が可能である。
本開示は、車線マップ上の対象物の位置を決定するための方法及び装置に関する。本開示の一実施形態に係る方法は、車両に搭載されたカメラで撮影された画像データを取得することができる。また、方法は、画像データに対して所定の処理を実行することによって、画像データに含まれる複数の特徴の特徴情報を生成することができる。さらに、方法は、画像データに含まれる複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。さらに、方法は、車両の車線マップ上の位置情報及び複数の画像データ上の特徴位置情報に基づいて、車線マップ上の対象物の位置を決定することができる。
本発明の利点及び特徴、並びにそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照すれば明確になるであろう。しかしながら、本発明は、以下に提示される実施形態に限定されるものではなく、互いに異なる様々な形態で実装され得、本発明の思想及び技術範囲に含まれる全ての変換、均等物から代替物を含むものと理解されるべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものである。本発明を説明することにおいて、関連する公知技術に対する具体的な説明が本発明の要旨を阻害する可能性があると判断される場合、その詳細な説明を省略する。
本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに別段の意味を持たない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定するものであり、1つまたは複数の他の特徴や数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を予め排除しないことと理解されるべきである。
本開示の一部の実施形態は、機能的なブロック構成及び様々な処理ステップで表現され得る。そのような機能ブロックの一部または全部は、特定の機能を実行する様々な数のハードウェア及び/またはソフトウェア構成で具現され得る。例えば、本開示の機能ブロックは、1つ以上のマイクロプロセッサによって具現されるか、所定の機能のための回路構成によって具現され得る。さらに、例えば、本開示の機能ブロックは、様々なプログラミングまたはスクリプト言語で具現され得る。機能ブロックは、1つ以上のプロセッサで実行されるアルゴリズムで具現され得る。さらに、本開示は、電子的環境設定、信号処理及び/またはデータ処理などのために従来技術を採用することができる。「メカニズム」、「要素」、「手段」及び「構成」などの用語は広く使用され得、機械的で物理的な構成に限定されない。
さらに、図面に示された構成要素間の接続線または接続部材は、機能的接続及び/または物理的または回路的接続を例示的に示したものにすぎない。実際の装置では、代替可能または追加された様々な機能的接続、物理的接続、または回路接続によって構成要素間の接続が示され得る。
以下において、「車両」とは、自動車、バス、オートバイ、キックボードまたはトラックなどのように機関を有して人または物を移動させるために用いられるあらゆる種類の輸送手段を意味することができる。
以下、添付の図面を参照して本開示を詳細に説明する。
図1~図3は、一実施形態に係る自動運転方式を説明するための図である。
図1を参照すると、本発明の一実施形態に係る自動運転装置は、車両に取り付けられて自動運転車両10を具現することができる。自動運転車両10に取り付けられる自動運転装置は、周辺の状況情報を収集するための様々なセンサを含むことができる。一例として、自動運転装置は、自動運転車両10の前面に取り付けられたイメージセンサ及び/またはイベントセンサを介して、前方で走行中の先行車両20の動きを感知することができる。自動運転装置は、自動運転車両10の前面はもちろん、となり車線で走行中の他の走行車両30と、自動運転車両10周辺の歩行者等を感知するためのセンサとをさらに含むことができる。
自動運転車両周辺の状況情報を収集するためのセンサのうちの少なくとも1つは、図1に示すように、所定の画角FoVを有することができる。一例として、自動運転車両10の前面に取り付けられたセンサが図1に示すような画角FoVを有する場合、センサの中央から検出される情報が比較的高い重要度を有することができる。これは、センサの中央から検出される情報に、先行車両20の動きに対応する情報がほとんど含まれ得るためである。
自動運転装置は、自動運転車両10のセンサが収集した情報をリアルタイムで処理して自動運転車両10の動きを制御する一方、センサが収集した情報のうち少なくとも一部はメモリ装置に記憶させることができる。
図2を参照すると、自動運転装置40は、センサ部41、プロセッサ46、メモリシステム47及び車体制御モジュール48などを含むことができる。センサ部41は、複数のセンサ42~45を含み、複数のセンサ42~45は、イメージセンサ、イベントセンサ、照度センサ、GPS装置及び加速度センサなどを含むことができる。
センサ42~45が収集したデータはプロセッサ46に送信され得る。プロセッサ46は、センサ42~45が収集したデータをメモリシステム47に記憶し、センサ42~45が収集したデータに基づいて車体制御モジュール48を制御して車両の動きを決めることができる。メモリシステム47は、2つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含むことができる。メモリ装置のそれぞれは1つの半導体チップで提供され得る。
メモリシステム47のシステムコントローラの他に、メモリシステム47に含まれる各メモリ装置はメモリコントローラを含むことができ、メモリコントローラはニューラルネットワークなどの人工知能(AI)演算回路を含むことができる。メモリコントローラは、センサ42~45またはプロセッサ46から受信したデータに所定の重みを付与して演算データを生成し、演算データをメモリチップに記憶させることができる。
図3は、自動運転装置が搭載された自動運転車両のセンサが取得した映像データの一例を示す図である。図3を参照すると、映像データ50は自動運転車両の前面に取り付けられたセンサが取得したデータであってもよい。したがって、映像データ50は、自動運転車両の前面部51、自動運転車両と同じ車線の先行車両52、自動運転車両周辺の走行車両53及び背景54などを含むことができる。
図3に示す実施形態に係る映像データ50において、自動運転車両の前面部51と背景54が表れる領域のデータは、自動運転車両の走行に影響を及ぼす可能性がほとんどないデータであってもよい。言い換えれば、自動運転車両の前面部51と背景54は、比較的重要度の低いデータと見なすことができる。
一方、先行車両52との距離及び走行車両53の車線変更の動きなどは、自動運転車両の安全な走行において非常に重要な要素であり得る。したがって、映像データ50において先行車両52及び走行車両53などが含まれる領域のデータは、自動運転車両の走行において比較的高い重要度を有することができる。
自動運転装置のメモリ装置は、センサから受信した映像データ50の領域別に重みを異なるように付与して記憶することができる。一例として、先行車両52と走行車両53などが含まれる領域のデータには高い重みを付与し、自動運転車両の前面部51と背景54が表れる領域のデータには低い重みを付与することができる。
図4は、一実施形態に係る画像データに含まれる複数の対象物の例を説明するための図である。
特定の時点に車両に搭載されたカメラから取得された画像データは、複数の対象物を含むことができる。
対象物に関する情報は、対象物種類情報及び対象物属性情報を含む。ここで、対象物種類情報は、対象物の種類を示すインデックス情報であり、大きな範囲のグループと詳細範囲のクラスとで構成される。また、対象物属性情報は、対象物の現在の状態に関する属性情報を示すものであり、動き情報、回転情報、交通情報、色情報及び可視性情報を含む。
一実施形態において、対象物種類情報に含まれるグループ及びクラスは、以下の表1のように設定され得るが、これらに限定されない。
また、対象物属性情報に含まれる情報には、Action、Rotate、Traffic info、color、Visibility情報が含まれ得る。
Action情報は、対象物の動き情報を表し、停車、駐車、移動などに定義され得る。車両の場合、停車、駐車、移動が対象物属性情報として決定され得、信号機などの動けない対象物の場合、デフォルト値である停止で対象物属性情報が決定され得る。
Rotate情報は、対象物の回転情報を表し、正面、背面、水平(horizontal)、垂直(vertical)及び側面などに定義され得る。車両の場合、正面、背面及び側面に対象物属性情報が定められ得、横または縦方向の信号機はそれぞれ水平または垂直に対象物属性情報が定められ得る。
Traffic infoは、対象物の交通情報を意味し、交通標識の指示、注意、規制及び補助標識などに定義され得る。Colorは、対象物の色情報を意味し、対象物の色、信号機及び交通標識の色を表すことができる。
例えば、特定の車両の対象物属性情報は、停車、正面、赤及びvisibility level 3と決定され得る。
図4を参照すると、カメラから取得された画像400に含まれる対象物は、信号機、標識、現在の走行車線(ego-lane)、交差点、ロードマーキングまたはハンプなどであることができるが、これらに限定されない。
図5a~図5bは、一実施形態に係る画像データに含まれる特徴情報を説明するための図である。
車両が道路を走行するにつれて、車両に搭載されたカメラから複数の画像データを取得され得る。
車両に搭載されたカメラから取得された画像データ510は、対象物511を含むことができる。図5aを参照すると、対象物511は信号機であることができる。
画像データは、所定の大きさM×N(M、Nは自然数)を有することができる。複数の画像データは同じ対象物511を含むことができるが、車両が道路に沿って走行するにつれて、車両と対象物511の相対位置は変化し続け、これによって同じ対象物511であっても各画像データ内での位置が異なるようになる。
各画像データにおいて同じ対象物が何であるかを決定するために画像データ全体を用いる場合、データ送信量及び演算量がかなり大きくなる。これにより、車両に搭載される装置においてエッジコンピューティングを通じての処理が困難であり、リアルタイム分析も困難である。
図5bを参照すると、画像データ520に含まれる特徴521が示されている。特徴521は対象物511のメタデータであり、特徴情報には対象物種類情報(グループ、クラス等)、画像データ520上の対象物511の位置情報、対象物511の大きさ情報などが含まれ得る。図5bを参照すると、特徴情報は、該当対象物511が信号機クラスに該当するという情報と、矩形形状を有するという情報と、対象物511の左下の頂点が画像データ上の(m、n)に位置するという情報と、対象物511の大きさがa×bという情報とを含むことができる。
本開示では、画像データ全体を用いることなく、対象物のメタデータに該当する特徴情報を活用することによって、複数の画像データ内で同じ対象物が何であるかを決定することができる。
図6a~図6bは、一実施形態に係る画像データ内の特徴集約を説明するための例示的な図である。
図6aを参照すると、特定の時点に車両に搭載されたカメラから取得された画像データが示されている。第1画像データ610は第1時点に取得された画像データであり、第2画像データ620は第1時点から所定の時間が経過した後の第2時点に取得された画像データである。
一方、第1画像601及び第2画像602は説明を補足するためのものであり、カメラで撮影された実際の道路の様子を示している。
第1画像データ610と第2画像データ620には同じ対象物を含まれている。
車線マップ上の対象物の位置を決定する装置(以下、「対象物位置決定装置」)は、複数の画像データにおいて同じ対象物を示す複数の特徴を決定することができる。
図6aを参照すると、第1画像データ610では、第1特徴グループ611と第2特徴グループ612とが互いに隣接して位置することができる。すなわち、第1特徴グループ611及び第2特徴グループ612に対応する対象物と車両との間の距離が離れている場合、第1特徴グループ611及び第2特徴グループ612に対応する対象物間の実際の距離差は反映されず、第1画像データ610上では対象物が互いに隣接して位置することができる。
一方、第2画像データ620では、第1特徴グループ621と第2特徴グループ622とが互いにある程度離れた位置に位置することができる。すなわち、第1画像データ610を撮影した際の車両の位置に比べて、第1特徴グループ611及び第2特徴グループ612に対応する対象物と車両との距離が近くなった場合、第1特徴グループ611及び第2特徴グループ612に対応する対象物間の実際の距離差はさらに反映され、第2画像データ620上では、対象物が互いにある程度離れた位置に位置することができる。
一方、第1画像データ610及び第2画像データ620において、第1特徴グループ611、621は同じ対象物を示し、第2特徴グループ612、622は同じ対象物を示すが、画像データによって大きさも異なることができる。
第1画像データ610及び第2画像データ620の例のように、車両が走行する過程で撮影した画像データ上には、同じ対象物を示す複数の特徴が含まれ得るが、車両が走行する過程で車両と対象物との間の位置が時間の経過によって変化するにつれて、複数の特徴の位置、大きさ、位置関係及び配置関係などは各画像データ上において互いに異なるようになる。
対象物位置決定装置は、複数の画像データ内の特徴を集約(aggregation)することによって、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。
対象物位置決定装置は、画像データに含まれる複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。相関度は、複数の特徴間の配置関係及び大きさ関係などに基づいて決定することができるが、相関度を決定する因子はこれに限定されない。
一実施形態において、対象物位置決定装置は、グラフ-マッチング(graph-matching)方法を用いて複数の画像データにおいて同じ対象物を示す複数の特徴を決定することができる。
対象物位置決定装置は、画像データにおいてキー(key)特徴を含む複数の特徴をノードとして指定し、複数の特徴間の接続関係をリンクとして設定して、ノードとリンクからなるグラフを登録することができる。さらに、対象物位置決定装置は、互いに異なる画像データから登録されたグラフ間の比較を通じて、各画像データ内でキー特徴が同じ対象物を示すかどうかを決定することができる。
具体的には、対象物位置決定装置は、第1画像データの第1特徴611a及び第2画像データ620の第2特徴621aを選択し、第1特徴611a及び第2特徴621a周辺の他の特徴を探索することができる。対象物位置決定装置は、第1特徴611a周辺の第1隣接特徴(neighbor feature)611bと類似の属性を有する第2隣接特徴621bが第2特徴621aの周辺に存在する場合、第1隣接特徴611b及び第2隣接特徴621bのそれぞれに対し、第1特徴611a及び第2特徴621aをキー(key)特徴とするグラフとして登録することができる。ここで、属性は、クラス(class)、特徴の縦/横比、距離及び角度のうち少なくとも1つを含むことができる。
対象物位置決定装置は、第1特徴611a周辺の全ての特徴を対象に探索するステップ及び登録するステップを繰り返すことができる。対象物位置決定装置は、第1特徴611a周辺の全ての特徴を対象にグラフ構成を試みた後、特徴の数、登録されたキー特徴の類似度(例えば、大きさまたは隣接特徴との大きさ関係など)に基づいて、第1特徴611aと第2特徴621aとの間の類似度を算出することができる。対象物位置決定装置は、第2画像データ620の第2特徴621aを除いた残りの特徴に対し、探索するステップ、グラフとして登録するステップ、繰り返すステップ及び類似度を算出するステップを実行することにより、第1画像データ610の第1特徴611aと最も類似度が高い第2画像データ620の第2特徴621aが、同じ対象物を示すと決定することができる。
本開示では、画像データ全体を用いることなく、対象物のメタデータに該当する特徴情報を活用することができる。これにより、本開示では、車両が走行する過程において車両と対象物との位置が時間の経過によって変化するにつれて、複数の特徴の位置、大きさ、位置関係及び配置関係等が各画像データ上で互いに異なるようになっても、複数の画像データ内で同じ対象物が何であるかを決定することができる。
一方、対象物位置決定装置は、グラフに含まれる特徴が同じ深度(depth)を有すると決定することができる。同じ深度を有するというのは、道路の横方向(車両の走行方向)位置が同じであるか、所定の範囲内(例えば、1m)であることを意味することができる。
対象物位置決定装置は、所定の特徴に対して後処理を実行する場合、同じ深度を有するグラフに含まれる残りの特徴に対しても同じ後処理を実行することができる。
図6aを参照すると、対象物位置決定装置は、第1特徴グループ611、621に含まれる複数の特徴が互いに同じ深度を有し、第2特徴グループ612、622に含まれる複数の特徴は互いに同じ深度を有すると決定することができる。この場合、対象物位置決定装置は、第1特徴グループ611、621に含まれる所定の特徴に対して位置を補正する場合、第1特徴グループ611、621に含まれる残りの特徴に対しても同じく位置を補正することができる。
図6bを参照すると、特定の時点に車両に搭載されたカメラから取得された画像データが示されている。車両の走行中に車両の道路の縦方向位置を変更され得る(例えば、車線変更)。第1画像データ630は道路の第1走行車線を走行する車両から撮影された画像データであり、第2画像データ640は道路の追越車線を走行する車両から撮影された画像データである。
一方、第1画像603及び第2画像604は説明を補足するためのものであり、カメラで撮影された実際の道路の様子を示している。
第1画像データ630と第2画像データ640には同じ対象物を含まれている。
対象物位置決定装置は、複数の画像データにおいて同じ対象物を示す複数の特徴を決定することができる。
図6bを参照すると、第1画像データ630では、第1特徴グループ631と第2特徴グループ632とが互いに隣接して位置することができる。また、第1特徴グループ631は、第2特徴グループ632の右側に位置することができる。すなわち、車両が第1走行車線を走行している状態で撮影した第1画像データ630上では、車両と複数の対象物との相対位置関係によって、第1特徴グループ631と第2特徴グループ632との間の配置関係が上述したように決定され得る。
一方、第2画像データ640では、第1特徴グループ641と第2特徴グループ642とが互いにある程度離れた位置に位置することができる。また、第1特徴グループ641は、第2特徴グループ642の左側に位置することができる。すなわち、車両が追越車線を走行している状態で撮影した第2画像データ640上では、車両と複数の対象物との相対位置関係によって、第1特徴グループ641と第2特徴グループ642との間の配置関係が上述したように決定され得る。
一方、第1画像データ630及び第2画像データ640において、第1特徴グループ631、641は同じ対象物を示し、第2特徴グループ632、642は同じ対象物を示すが、画像データによって大きさも異なることができる。
第1画像データ630及び第2画像データ640の例のように、車両が走行する過程で撮影した画像データ上には、同じ対象物を示す複数の特徴が含まれ得るが、車両がどの車線を走行するかによって車両と対象物との間の位置が変わることで、複数の特徴の位置、大きさ、位置関係及び配置関係などは各画像データ上において互いに異なるようになる。
対象物位置決定装置は、複数の画像データ内の特徴を集約することによって、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。
対象物位置決定装置は、画像データに含まれる複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。
図6bで上述した方法を用いて、対象物位置決定装置は、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。
本開示では、画像データ全体を用いる代わりに、対象物のメタデータに該当する特徴情報を活用することができる。これにより、本開示では、車両が互いに異なる車線で走行して車両と対象物との位置が変わることによって、複数の特徴の位置、大きさ、位置関係及び配置関係等が各画像データ上で互いに異なるようになっても、複数の画像データ内で同じ対象物が何であるかを決定することができる。
図7は、一実施形態に係る車線マップ上の対象物の位置を決定する方法を説明するための例示的な図である。
対象物位置決定装置は、車両に搭載されたGPSを用いて車両の位置情報を取得することができる。車両の位置情報は、車線マップ上の位置情報であってもよい。
また、対象物位置決定装置は、複数の画像データ内で同じ対象物に該当すると決定された複数の特徴の画像データ内の位置情報を用いて、車線マップ上の対象物の位置を決定することができる。
図7を参照すると、図6a~図6bで説明したように、第1画像データ630及び第2画像データ640において、第1特徴グループ631、641は同じ対象物を示し、第2特徴グループ632、642は同じ対象物を示すことができる。
一実施形態において、対象物位置決定装置は、車両に接続された位置確認装置を介して取得された車線マップ上の位置情報と、第1画像データ630及び第2画像データ640を用いて車線マップ上の対象物の位置を決定することができる。一方、対象物位置決定装置は、車線マップ上の対象物の位置を決定するために1つまたは3つ以上の画像データを用いることもできる。
図7を参照すると、対象物位置決定装置は、第1特徴グループ631、641に対応する第1対象物グループ710の位置及び第2特徴グループ632、642に対応する第2対象物グループ720の位置を決定し、車線マップ700上に表示することができる。
図8は、一実施形態に係る車両の位置情報と画像上の特徴位置とに基づいて対象物の位置を決定する方法を説明するための例示的な図である。
図8を参照すると、車両800は、走行経路に沿って第1位置から第2位置に移動している。
対象物位置決定装置は、車両800に搭載されたGPSまたは車両に接続された位置確認装置などを用いて車両800の位置情報を取得することができる。対象物位置決定装置は、車両800の位置情報を用いて車両800の車線マップ上の位置情報を取得することができる。
対象物位置決定装置は、車両800に搭載されたカメラ830から車両800の周辺(前方、側方、後方など)の画像データ810a、810bを取得することができる。
第1画像データ810aは、車両800が第1位置に位置したときカメラ830で撮影された画像データであり、第2画像データ810bは、車両800が第2位置に位置したときカメラ830で撮影された画像データである。
第1画像データ810aには第1特徴811が含まれ、第2画像データ810bには第2特徴812が含まれ得る。第1特徴811と第2特徴812は同じ対象物である信号機820を示す。
第1特徴811と第2特徴812は同じ対象物を示すが、車両800が第1位置から第2位置に移動すると、車両800と信号機820間の相対距離が変わり、これによって車両800のカメラ830で撮影された各画像データ810a、810b内で信号機820を示す特徴811、812の位置及び大きさなどが変わるようになる。
対象物位置決定装置は、車両800の車線マップ上の位置情報及び画像データ810a、810b上の特徴811、812位置情報に基づいて、車線マップ上の対象物820の位置を決定することができる。
一実施形態において、対象物位置決定装置は、距離測定方式を用いて車線マップ上の対象物820の位置を決定することができるが、車線マップ上の対象物820の位置を決定する方法はこれに限定されない。
一実施形態において、対象物位置決定装置はカメラ830の姿勢値を取得することができる。カメラ830の姿勢値は、カメラ830の設置位置、設置方向及び設置角度に関する因子を含むことができる。
図8を参照すると、対象物位置決定装置は、カメラ830の姿勢値を考慮し、カメラ830から出発して画像データ810a、810b上の特徴811、812を通過する仮想の光線(rays)が交わる点の位置を決定することができる。
具体的には、車両800が第1位置から第2位置に走行中であってもよい。第1位置に位置する車両800のカメラ830で撮影された第1画像データ810aには、対象物820を示す特徴811が表示され、第2位置に位置する車両800のカメラ830で撮影された第2画像データ810bには、対象物820を示す特徴812が表示され得る。対象物位置決定装置は、第1位置の車両800のカメラ830から出発して第1画像データ810a上の特徴811を通過する仮想の第1光線841と、第2位置の車両800のカメラ830から出発して第2画像データ810b上の特徴812を通過する仮想の第2光線842が互いに交わる点の位置850を決定することができる。
対象物位置決定装置は、車両800の移動距離及び仮想の光線が交わる点の位置に基づいて、車線マップ上の対象物820の位置を決定することができる。
具体的には、対象物位置決定装置は、第1光線841及び第2光線842が交わる点の位置850と、車両800が第1位置から第2位置に移動した距離とを用いて、対象物820の車線マップ上の位置を決定することができる。
一実施形態において、対象物位置決定装置は、車両800の姿勢値をさらに取得することができる。車両800の姿勢値は、車両800が走行中の道路の傾斜度、車両800のタイヤ間の空気圧差及び車両800の操舵角に関する因子を含むことができる。
対象物位置決定装置は、カメラ830の姿勢値及び車両800の姿勢値を考慮し、カメラ830から出発して画像データ810a、810b上の特徴811、812を通過する仮想の光線(rays)が交わる点の位置を決定することができる。
図9は、一実施形態に係る複数の走行軌跡を用いて車線マップ上の対象物の位置を決定する方法を説明するための例示的な図である。
図9を参照すると、所定の道路を走行した車両の第1軌跡910及び第2軌跡920が示されている。図9において、第1-1対象物911の位置及び第1-2対象物921の位置は、車両が第1軌跡910に沿って走行する過程で撮影された複数の画像データに基づいて決定された位置である。また、第2-1対象物912の位置及び第2-2対象物922の位置は、車両が第2軌跡920に沿って走行する過程で撮影された複数の画像データに基づいて決定された位置である。
第1-1対象物911及び第1-2対象物921は第1グループ対象物と呼び、第2-1対象物912及び第2-2対象物922は第2グループ対象物と呼ぶことにする。
対象物位置決定装置は、第1グループ対象物を用いて第1グラフを構成し、第2グループ対象物を用いて第2グラフを構成し、第1グラフ及び第2グラフ間の類似度比較を通じて第1グループ対象物と第2グループ対象物において同じ対象物を決定することができる。
具体的には、対象物位置決定装置は、対象物間の相関度を算出するために、車両別または時間別に生成された所定の対象物を対象として、所定の対象物の周辺(例えば、車線から類似の距離及び方向)に同じクラスの対象物が存在する場合、グラフに登録し、位置などに基づいて類似度を計算して最も類似度の高い対象物を同じ対象物であると決定することができる。
対象物位置決定装置は、第1-1対象物911の周辺に同じクラスの第1-2対象物921が存在する場合、第1-1対象物911と第1-2対象物921とで第1グラフを構成し、第2-1対象物912と第2-2対象物922とで第2グラフを構成することができる。対象物位置決定装置は、グラフにおいて各対象物をキー(key)対象物として類似度を比較することによって、各グラフで同じ対象物が何であるかを決定することができる。
図9において、対象物位置決定装置は、第1-1対象物911と第2-1対象物912が同じ対象物を示し、第1-2対象物921と第2-2対象物922とが同じ対象物を示すと決定することができる。
対象物位置決定装置は、同じ対象物と決定された対象物の位置を集約し、各対象物の最終位置を車線マップ900上に表示することができる。
図9において、対象物位置決定装置は、第1-1対象物911と第1-2対象物921の位置を集約し、第1-3対象物931の位置を最終位置として決定することができる。また、対象物位置決定装置は、第2-1対象物912と第2-2対象物922の位置を集約し、第2-3対象物932の位置を最終位置として決定することができる。
図10は、一実施形態に係る車線フィッティング及び対象物フィッティング方法を説明するための例示的な図である。
対象物位置決定装置は、車両に接続された位置確認装置を用いて車両の走行軌跡を取得することができる。位置確認装置はGPSであってもよく、以下では位置確認装置としてGPSが用いられることを前提とする。また、対象物位置決定装置は、取得された走行軌跡を車線マップ1000にマッピングし、走行軌跡を車線マップ1000に表示することができる。
図10を参照すると、対象物位置決定装置は、車両に搭載されたGPSを用いて第1走行軌跡1011を取得し、これを車線マップ1000に表示することができる。
一方、様々な原因により車両に搭載されたGPSで受信したGPS信号は誤差を有し得る。例えば、車両が建物が密集した路地間を通過する場合、GPS信号の受信が一時的に不安定になる可能性がある。あるいは、建物のガラス面によって反射される電波のため、車両は誤差を有するGPS信号を受信する可能性がある。
対象物位置決定装置は、車両の現在の走行車線を決定することができる。現在の走行車線の情報は、特徴情報に含まれる情報であってもよい。
対象物位置決定装置は、車両の現在の走行車線が所定の車線1030であると決定することができる。この場合、対象物位置決定装置は、GPS信号から取得した第1走行軌跡1011が所定の車線1030と不一致であると確認することができる。具体的には、対象物位置決定装置は、GPS信号から取得した第1走行軌跡1011が所定の車線1030間の離隔距離を算出し、離隔距離が閾値を超える場合、第1走行軌跡1011が所定の車線1030と不一致であると決定することができる。これは、車両が現在所定の車線1030で走行しているにもかかわらず、GPS信号の誤差により第1走行軌跡1011と所定の車線1030とが不一致となる場合の可能性がある。
対象物位置決定装置は、特徴情報に含まれる現在の走行車線に基づいて、車両の走行軌跡が車線マップ上の車線にフィッティングされるように車線フィッティング(lane fitting)を行うことができる。
具体的には、対象物位置決定装置は、車両の走行軌跡と車線マップ上の車線表示線との間の離間距離及び曲率などを考慮して車線フィッティングを行うことができる。対象物位置決定装置は、車両の走行軌跡のうち少なくとも一部は直線移動させ、少なくとも一部の曲率を調整することによって、車両の走行軌跡が現在の走行車線に該当する車線マップ上の車線表示線に一致するように車線フィッティングを行うことができる。
図10を参照すると、対象物位置決定装置は、車両の第1走行軌跡1011の少なくとも一部は直線移動させ、少なくとも一部の曲率を調整して第2走行軌跡1012として補正することによって、車線マップ上の所定の車線1030にフィッティングされるように車線フィッティングを行うことができる。
一実施形態において、車線マップ1000に対象物1021を表示することができる。対象物位置決定装置は、車線マップ1000上の対象物の位置が車線フィッティング結果に連動してフィッティングされるように対象物フィッティング(object fitting)を行うことができる。
図10を参照すると、対象物位置決定装置は、車両の第1走行軌跡1011が第2走行軌跡1012に補正されたのと同じように、第1対象物1021の位置を第2対象物1022の位置に補正することによって対象物フィッティングを行うことができる。
一方、前記車線フィッティングは、図6~図7で上述した画像集約が完了する前及び/または完了した後に行われ得る。
図11は、一実施形態に係る車線マップ上の対象物の位置を決定する方法のフローチャートである。
図11に示す車両の現在の車線を決定する方法は、前述の図面で説明した実施形態に関連するため、以下省略された内容であっても、前述の図面で説明した内容は図11の方法にも適用することができる。
図11を参照すると、ステップ1110においてプロセッサは、車両に搭載されたカメラで撮影された画像データを取得することができる。
ステップ1120において画像データに対して所定の処理を実行することによって、画像データに含まれる複数の特徴の特徴情報を生成することができる。
所定の処理は、画像データから特徴情報を生成することができる処理方式であれば制限なく該当され得る。具体的には、所定の処理は、画像データから対象物種類情報(グループ、クラスなど)、画像データ上の対象物の位置情報、対象物の大きさ情報などを生成することができる処理方式を含むことができる。例えば、所定の処理は、Traffic lights detection(DLD)、Traffic signs detection(TSD)、Ego-lane recognition(ELR)、Intersection recognition(ELR)、Road markings detection(RMD)、Bump recognition(BR)などのためのモジュールによって具現され得る。
ステップ1130において画像データに含まれる複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。
プロセッサは、複数の画像データを集約(aggregation)することによって、前記複数の画像データにおいて同じ対象物に該当する複数の特徴を決定することができる。
プロセッサは、グラフ-マッチング(graph-matching)方法を用いて、複数の画像データにおいて同じ対象物を示す複数の特徴を決定することができる。
プロセッサは、第1画像データの第1特徴及び第2画像データの第2特徴を選択し、第1特徴及び第2特徴周辺の他の特徴を探索することができる。プロセッサは、第1特徴周辺の第1隣接特徴(neighbor feature)と類似の属性を有する第2隣接特徴が第2特徴周辺に存在する場合、第1隣接特徴及び第2隣接特徴のそれぞれに対して第1特徴及び第2特徴をキー(key)特徴とするグラフとして登録することができる。ここで、属性は、クラス(class)、特徴の縦/横比、距離及び角度のうち少なくとも1つを含むことができる。
プロセッサは、第1特徴周辺の全ての特徴を対象に探索するステップ及び登録するステップを繰り返すことができる。プロセッサは、第1特徴周辺の全ての特徴を対象にグラフ構成を試みた後、特徴の数、登録されたキー特徴の類似度(例えば、大きさ、隣接特徴との大きさ関係など)に基づいて、第1特徴と第2特徴との間の類似度を算出することができる。プロセッサは、第2画像データの第2特徴を除く残りの特徴について、探索するステップ、グラフとして登録するステップ、繰り返すステップ及び類似度を算出するステップを実行することによって、第1画像データの第1特徴と最も類似度が高い第2画像データの第2特徴が、同じ対象物を示すと決定することができる。
プロセッサは、グラフに含まれる特徴は同じ深度(depth)を有すると決定することができる。
プロセッサは、所定の特徴に対して後処理を実行する場合、同じ深度を有するグラフに含まれる残りの特徴に対しても同じ後処理を実行することができる。
ステップ1140においてプロセッサは、車両の車線マップ上の位置情報及び複数の画像データ上の特徴位置情報に基づいて、車線マップ上の対象物の位置を決定することができる。
プロセッサは、車両に接続された位置確認装置を用いて車両の車線マップ上の位置情報を取得することができる。
プロセッサは、車両の車線マップ上の位置情報及び画像データ上の特徴位置情報に基づいて対象物の位置を決定することができる。
プロセッサは、複数の画像データにおいて同じ対象物に該当すると決定された複数の特徴の位置情報を用いて対象物の位置を決定することができる。
一実施形態において、対象物は、信号機、道路標識、道路マーク、現在の走行車線、交差点及びハンプのうち少なくとも1つを含むことができる。
一実施形態において、プロセッサは、車両に接続された位置確認装置を用いて前記車両の走行軌跡を取得することができる。また、プロセッサは、特徴情報に含まれる現在の走行車線に基づいて、車両の走行軌跡が前記車線マップ上の車線にフィッティングされるように車線フィッティング(lane fitting)を行うことができる。
一実施形態において、プロセッサは、車線マップ上の対象物の位置が車線フィッティング結果に連動してフィッティングされるように対象物フィッティング(object fitting)を行うことができる。
一実施形態において、プロセッサは、所定の道路を走行した車両の第1軌跡から決定された第1グループ対象物の第1位置を車線マップ上に表示することができる。また、プロセッサは、所定の道路を走行した車両の第2軌跡から決定された第2グループ対象物の第2位置を車線マップ上に表示することができる。また、プロセッサは、第1グループ対象物と第2グループ対象物とで同じ対象物を決定し、同じ対象物と決定された対象物の位置を集約して各対象物の最終位置を車線マップ上に表示することができる。
一実施形態において、プロセッサは、前記第1グループ対象物を用いて第1グラフを構成し、第2グループ対象物を用いて第2グラフを構成し、第1グラフ及び第2グラフ間の類似度比較を通じて第1グループ対象物と第2グループ対象物において同じ対象物を決定することができる。
図12は、一実施形態に係る対象物位置決定装置のブロック図である。
図12を参照すると、対象物位置決定装置1200は、通信部1210、プロセッサ1220及びDB1230を含むことができる。図12の対象物位置決定装置1200には、実施形態に関する構成要素のみが図示されている。したがって、図12に図示された構成要素以外に他の汎用的な構成要素がさらに含まれる可能性があるということを当該技術分野の通常の技術者であれば理解できる。また、一実施形態において、対象物位置決定装置1200は通信部1210を含まなくてもよい。
通信部1210は、外部サーバまたは外部装置と有線/無線通信ができるようにする1つ以上の構成要素を含むことができる。例えば、通信部1210は、近距離通信部(図示せず)、移動通信部(図示せず)及び放送受信部(図示せず)のうち少なくとも1つを含むことができる。
DB1230は、対象物位置決定装置1200内で処理される各種データを記憶するハードウェアで、プロセッサ1220の処理及び制御のためのプログラムを記憶することができる。DB1230は決済情報、ユーザ情報などを記憶することができる。
DB1230は、DRAM(dynamic random access memory)、SRAM(static random access memory)などのRAM(random access memory)、ROM(read-only memory)、EEPROM(electrically erasable programmable read-only memory)、CD-ROM、ブルーレイまたは他の光学ディスクストレージ、HDD(hard disk drive)、SSD(solid state drive)、またはフラッシュメモリを含むことができる。
プロセッサ1220は、対象物位置決定装置1200の全般的な動作を制御する。例えば、プロセッサ1220はDB1230に記憶されたプログラムを実行することで、入力部(図示せず)、ディスプレイ(図示せず)、通信部1210、DB1230などを全般的に制御することができる。プロセッサ1220は、DB1230に記憶されたプログラムを実行することで、対象物位置決定装置1200の動作を制御することができる。
プロセッサ1220は、図1~図11で上述した対象物位置決定装置の動作のうち少なくとも一部を制御することができる。
プロセッサ1220は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、制御機(controllers)、マイクロコントローラ(micro-controllers)、マイクロプロセッサ(microprocessors)、その他の機能実行のための電気的ユニットのうち少なくとも一つを利用して具現され得る。
一実施形態として、対象物位置決定装置1200は、移動性を有する電子装置であることができる。例えば、交通情報提供装置800はスマートフォン、タブレットPC、PC、スマートTV、PDA(personal digital assistant)、ラップトップ、メディアプレーヤー、ナビゲーション、カメラが搭載されたデバイス及びその他のモバイル電子装置で具現され得る。また、対象物位置決定装置1200は通信機能及びデータプロセッシング機能を備えた時計、眼鏡、ヘアバンド及び指輪などのウェアラブル装置で具現され得る。
他の実施形態として、対象物位置決定装置1200は、車両内に埋め込まれる電子装置であってもよい。例えば、対象物位置決定装置1200は、生産過程後、チューニング(tuning)を通じて車両内に挿入される電子装置であってもよい。
また他の実施形態として、対象物位置決定装置1200は、車両の外部に位置するサーバであってもよい。サーバはネットワークを介して通信し、命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置で具現され得る。サーバは車両に搭載された装置から車両の移動経路を決定するために必要なデータを受信し、受信したデータに基づいて車両の移動経路を決定することができる。
また別の実施形態として、対象物位置決定装置1200で実行されるプロセスは、移動性を有する電子装置、車両内に埋め込まれる電子装置及び車両の外部に位置するサーバのうち少なくとも一部によって実行され得る。
本発明に係る実施形態は、コンピュータ上で様々な構成要素を介して実行することができるコンピュータプログラムの形態で実装され得、そのようなコンピュータプログラムはコンピュータで読み取り可能な媒体に記録され得る。このとき、媒体は、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、CD-ROM及びDVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの光磁気記録媒体(magneto-optical medium)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を記憶及び実行するように特別に構成されたハードウェア装置を含むことができる。
一方、前記コンピュータプログラムは、本発明のために特別に設計及び構成されているか、コンピュータソフトウェア分野の当業者に公知され使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを使用し、コンピュータによって実行され得る高級言語コードも含まれ得る。
一実施形態によれば、本開示の様々な実施形態に係る方法は、コンピュータプログラム製品(computer program product)に含まれて提供され得る。コンピュータプログラム製品は、商品として販売者及び購入者の間で取引され得る。コンピュータプログラム製品は、デバイスで読み取り可能な記憶媒体(例えば、compact disc read only memory(CD-ROM))の形態で配布されるか、またはアプリケーションストア(例えば、プレイストア(商標))を介して、または2つのユーザ装置間で直接、オンラインで配布(例えば、ダウンロードまたはアップロード)され得る。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリなどの機器で読み取ることができる記憶媒体に少なくとも一時的に記憶されるか、一時的に生成され得る。
本発明に係る方法を構成するステップについて明らかに順序を記載したり反したりする記載がない場合、前記ステップは適当な順序で行われ得る。必ずしも前記ステップの記載順序に従って本発明が限定されるものではない。本発明において、すべての例または例示的な用語(例えば、等)の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲によって限定されない限り、前記の例または例示的な用語によって本発明の範囲が限定されるものではない。さらに、当業者は、様々な修正、組み合わせ及び変更が追加された特許請求の範囲またはその均等物の範囲内で設計条件及び要因によって構成され得ることを理解するであろう。
したがって、本発明の思想は、前記説明した実施形態に限定されて決められてはならず、後述する特許請求の範囲のみならず、この特許請求の範囲と均等またはこれから等価的に変更された全ての範囲は、本発明の思想の範疇に属するとするといえるだろう。
Claims (13)
- 車線マップ上の対象物の位置を決定する方法において、
車両に搭載されたカメラで撮影された画像データを取得するステップと、
前記画像データに対して所定の処理を実行することによって、前記画像データに含まれる複数の特徴の特徴情報(feature information)を生成するステップと、
前記画像データに含まれる前記複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定するステップと、
前記車両の車線マップ上の位置情報及び前記複数の画像データ上の特徴位置情報に基づいて、前記車線マップ上の対象物の位置を決定するステップと
を含む、方法。 - 前記対象物は、信号機、道路標識、道路マーク及びハンプのうち少なくとも1つを含む、請求項1に記載の方法。
- 前記同じ対象物に該当する複数の特徴を決定するステップは、
複数の画像データ内の特徴を集約(aggregation)することによって、前記複数の画像データにおいて同じ対象物に該当する複数の特徴を決定するステップ
を含む、請求項1に記載の方法。 - 前記同じ対象物に該当する複数の特徴を決定するステップは、
グラフ-マッチング(graph-matching)方法を用いて、複数の画像データにおいて同じ対象物を示す複数の特徴を決定するステップ
を含む、請求項1に記載の方法。 - 第1画像データの第1特徴及び第2画像データの第2特徴を選択するステップと、
前記第1特徴及び前記第2特徴周辺の他の特徴を探索するステップと、
前記第1特徴周辺の第1隣接特徴(neighbor feature)と類似の属性を有する第2隣接特徴が前記第2特徴周辺に存在する場合、前記第1隣接特徴及び前記第2隣接特徴のそれぞれに対して前記第1特徴及び前記第2特徴をキー(key)特徴とするグラフとして登録するステップと、
前記第1特徴周辺の全ての特徴を対象として前記探索するステップ及び前記登録するステップを繰り返すステップと、
前記第1特徴周辺の全ての特徴を対象としてグラフ構成を試みた後、特徴の数、登録されたキー特徴の類似度に基づいて、前記第1特徴と前記第2特徴との間の類似度を算出するステップと、
前記第2画像データの前記第2特徴を除いた残りの特徴に対し、前記探索するステップ、前記グラフとして登録するステップ、前記繰り返すステップ及び前記類似度を算出するステップを実行することによって、前記第1画像データの前記第1特徴と最も類似度が高い前記第2画像データの前記第2特徴が同じ対象物を示すと決定するステップと
を含む、請求項4に記載の方法。 - 前記方法は、
前記グラフに含まれる特徴は、同じ深度(depth)を有すると決定するステップ
をさらに含む、請求項5に記載の方法。 - 前記方法は、
所定の特徴に対して後処理を実行する場合、同じ深度を有する前記グラフに含まれる残りの特徴に対しても同じ後処理を実行するステップ
を含む、請求項6に記載の方法。 - 前記属性は、クラス(class)、特徴の縦/横比、距離及び角度のうち少なくとも1つを含む、請求項5に記載の方法。
- 前記方法は、
前記車両に接続された位置確認装置を用いて前記車両の前記車線マップ上の位置情報を取得するステップ
をさらに含む、請求項1に記載の方法。 - 前記方法は、
所定の道路を走行した車両の第1軌跡から決定された第1グループ対象物の第1位置を前記車線マップ上に表示するステップと、
前記所定の道路を走行した車両の第2軌跡から決定された第2グループ対象物の第2位置を前記車線マップ上に表示するステップと、
前記第1グループ対象物と前記第2グループ対象物とで同じ対象物を決定し、前記同じ対象物と決定された対象物の位置を集約して各対象物の最終位置を前記車線マップ上に表示するステップと
をさらに含む、請求項1に記載の方法。 - 前記各対象物の最終位置を前記車線マップ上に表示するステップは、
前記第1グループ対象物を用いて第1グラフを構成し、前記第2グループ対象物を用いて第2グラフを構成し、前記第1グラフ及び前記第2グラフ間の類似度比較を通じて前記第1グループ対象物と前記第2グループ対象物において同じ対象物を決定するステップ
を含む、請求項10に記載の方法。 - 車線マップ上の対象物の位置を決定するための装置において、
少なくとも1つのプログラムが記憶されたメモリと、
前記少なくとも1つのプログラムを実行することによって演算を実行するプロセッサとを含み、
前記プロセッサは、
車両に搭載されたカメラで撮影された画像データを取得し、
前記画像データに対して所定の処理を実行することによって、前記画像データに含まれる複数の特徴の特徴情報(feature information)を生成し、
前記画像データに含まれる前記複数の特徴間の相関度に基づいて、複数の画像データにおいて同じ対象物に該当する複数の特徴を決定し、
前記車両の車線マップ上の位置情報及び前記複数の画像データ上の特徴位置情報に基づいて、前記車線マップ上の対象物の位置を決定する、装置。 - 請求項1に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0067940 | 2021-05-26 | ||
KR20210067940 | 2021-05-26 | ||
KR10-2021-0169973 | 2021-12-01 | ||
KR1020210169973A KR102454599B1 (ko) | 2021-05-26 | 2021-12-01 | 차로 맵 상에 객체의 위치를 결정하기 위한 방법 및 장치 |
KR10-2021-0169974 | 2021-12-01 | ||
KR1020210169974A KR102491524B1 (ko) | 2021-05-26 | 2021-12-01 | 차로 피팅을 수행하기 위한 방법 및 장치 |
PCT/KR2022/007516 WO2022250480A1 (ko) | 2021-05-26 | 2022-05-26 | 차로 맵 상에 객체의 위치를 결정하기 위한 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024520399A true JP2024520399A (ja) | 2024-05-24 |
Family
ID=84228872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023572657A Pending JP2024520399A (ja) | 2021-05-26 | 2022-05-26 | 車線マップ上の対象物の位置を決定するための方法及び装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2024520399A (ja) |
DE (1) | DE112022002754T5 (ja) |
WO (1) | WO2022250480A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4273119B2 (ja) * | 2003-10-21 | 2009-06-03 | 和郎 岩根 | ナビゲーション装置 |
JP4811259B2 (ja) * | 2006-12-11 | 2011-11-09 | 日産自動車株式会社 | 視線方向推定装置及び視線方向推定方法 |
KR100979726B1 (ko) * | 2008-08-29 | 2010-09-02 | (주)제이티 | 이동 물체의 특징점을 이용하는 영상 검지 방법 |
US10120879B2 (en) * | 2013-11-29 | 2018-11-06 | Canon Kabushiki Kaisha | Scalable attribute-driven image retrieval and re-ranking |
KR102184418B1 (ko) * | 2019-02-21 | 2020-12-01 | 주식회사 와이즈오토모티브 | 사각 지대 탐색 장치 및 방법 |
-
2022
- 2022-05-26 JP JP2023572657A patent/JP2024520399A/ja active Pending
- 2022-05-26 WO PCT/KR2022/007516 patent/WO2022250480A1/ko active Application Filing
- 2022-05-26 DE DE112022002754.1T patent/DE112022002754T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022250480A1 (ko) | 2022-12-01 |
DE112022002754T5 (de) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3699048B1 (en) | Travelling track prediction method and device for vehicle | |
US11545033B2 (en) | Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction | |
CN110248861B (zh) | 在车辆操纵过程中使用机器学习模型来引导车辆 | |
US10474157B2 (en) | Data-based control error detection and parameter compensation system | |
WO2021096935A2 (en) | Systems and methods for determining road safety | |
JP7518893B2 (ja) | 緊急車両の検出 | |
US20210403001A1 (en) | Systems and methods for generating lane data using vehicle trajectory sampling | |
US20210389133A1 (en) | Systems and methods for deriving path-prior data using collected trajectories | |
US11562556B1 (en) | Prediction error scenario mining for machine learning models | |
CN111476079A (zh) | 将用于对象检测的地图特征与lidar合并的全面且有效的方法 | |
US20240199006A1 (en) | Systems and Methods for Selectively Decelerating a Vehicle | |
US20190325223A1 (en) | Tracking objects with multiple cues | |
JP7143269B2 (ja) | 車両挙動予測のための圧縮環境特徴の表示 | |
US20230251366A1 (en) | Method and apparatus for determining location of pedestrian | |
KR102473392B1 (ko) | 섹션 노드 및 섹션 링크를 이용한 차로 중심선 네트워크를 결정하기 위한 방법 및 장치 | |
KR102536667B1 (ko) | 교차로의 신호운영정보를 처리하기 위한 방법 및 장치 | |
JP2024520399A (ja) | 車線マップ上の対象物の位置を決定するための方法及び装置 | |
US20210405641A1 (en) | Detecting positioning of a sensor system associated with a vehicle | |
KR102491524B1 (ko) | 차로 피팅을 수행하기 위한 방법 및 장치 | |
Salzmann et al. | Online Path Generation from Sensor Data for Highly Automated Driving Functions | |
CN113753038A (zh) | 一种轨迹预测方法、装置、电子设备和存储介质 | |
US20240257385A1 (en) | Method and device for determining location of object in lane map | |
WO2024142607A1 (ja) | 車載処理装置及び物体認識方法 | |
KR102472649B1 (ko) | 객체를 트래킹하기 위한 방법 및 장치 | |
US20240109536A1 (en) | Method, apparatus and system for driving by detecting objects around the vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231122 |