KR20190094405A - 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템 - Google Patents
비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20190094405A KR20190094405A KR1020197019960A KR20197019960A KR20190094405A KR 20190094405 A KR20190094405 A KR 20190094405A KR 1020197019960 A KR1020197019960 A KR 1020197019960A KR 20197019960 A KR20197019960 A KR 20197019960A KR 20190094405 A KR20190094405 A KR 20190094405A
- Authority
- KR
- South Korea
- Prior art keywords
- images
- image
- road network
- vehicle
- landmark
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 187
- 238000013507 mapping Methods 0.000 title description 29
- 238000012545 processing Methods 0.000 claims description 83
- 230000011218 segmentation Effects 0.000 claims description 72
- 230000000007 visual effect Effects 0.000 claims description 65
- 239000013598 vector Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 55
- 230000004807 localization Effects 0.000 description 49
- 230000033001 locomotion Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000001454 recorded image Methods 0.000 description 15
- 239000003550 marker Substances 0.000 description 10
- 230000002776 aggregation Effects 0.000 description 9
- 238000004220 aggregation Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000012086 standard solution Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001668 ameliorated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000010237 hybrid technique Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3859—Differential updating map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G06K9/00791—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
도로망을 통해 주행하는 차량의 지리적 위치 및 방위를 결정하는 방법 및 시스템이 개시되어 있다. 상기 방법은 상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계를 포함하며, 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지닌다. 그리고 나서, 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 국부 맵 표현은 상기 획득된 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여 생성된다. 상기 생성된 로컬 맵 표현은 기준 맵의 섹션과 비교되고, 상기 기준 맵 섹션은 상기 차량이 주행하고 있는 도로망의 영역을 커버하고, 상기 도로망 내 상기 차량의 지리적 위치 및 방위는 상기 비교에 기초하여 결정된다. 전자 맵에 의해 표현되는 도로망을 주행하는 차량에 의해 획득된 데이터를 사용하여 상기 전자 맵을 생성 및/또는 업데이트하는 방법 및 시스템이 또한 개시되어 있다.
Description
본 개시내용은 옵서버(observer), 예컨대 도로망을 따라 주행하는 차량의 지리적 위치 및 방위를 결정하기 위한 방법 및 시스템와 관련이 있다. 또한, 전자 맵을 생성하고 그리고/또는 업데이트하기 위한(다시 말하면, 맵핑하기 위한) 방법 및 시스템이 제공된다. 실시 예들에서, 가시적 전역 위치결정 및 맵핑 시스템이 제공될 수 있다.
내비게이션 및 모션(motion) 플래닝은 고도로 자동화된 자율 주행의 중요한 구성요소이다. 자율 주행 차량은 안전 조치 과정을 결정하기 위해 전 세계 내에서 자신을 자동으로 국부화할 수 있어야 한다. 한편으로는 전역 내비게이션 위성 시스템에 의해 해결되는 경로 플래닝을 위해 전역 스케일로 국부화를 허용할 맵이 필요하다. 다른 한편으로는 차선 유지 및 교통 표지 준수와 같은 기능을 위해 즉각적인 환경에 대한 정확한 기하학적 표현이 필요하다. 일반적으로 이는 단지 사전 맵이 없는 주변의 애드혹(ad-hoc) 감지 또는 사전 제작된 고정밀 맵의 지원에 의해서만 해결된다. 애드혹 감지는 자율 주행 작업을 위한 최소한의 기능이며 최근 센서 데이터로부터 즉석에서 생성되는 맵에 의해 종종 확장된다. 이는 동일한 영역을 곧 다시 방문할 때 특히 유용하다. 그러나 상기 환경의 애드혹 감지는 오차가 발생하기 쉽고 주변에 관한 고품질 정보(다시 말하면, 맵)를 이미 지니고 있는 것이 바람직하며, 이는 그에 대한 매칭(matching)에 의한 직접적인 감지를 검증 및 지원할 수 있게 한다.
선택적으로 그리고 이상적으로는 감지 오류가 즉석에서 맵에 입력되는 것을 방지하고 그럼으로써 차량의 모션 플래닝 및 안전성을 개선하는 사전 제작된 고품질 맵이 이미 제공된다. 그러나 사전 제작된 맵은 실제 자율 주행 중에 그러한 세계가 어떻게 될지가 아니라 그러한 세계가 한 번 어떻게 되었는지를 반영한다. 이는 안전한 내비게이션 및 모션 플래닝을 보장하기 위해 사전 제작된 맵을 최신 상태로 유지해야 한다는 것을 의미한다.
현재 영역의 맵과 별도로, 차량의 플래닝 시스템은 차량이 해당 맵 내에서 국부화된 위치를 알아야 한다. 애드혹 감지로부터 즉석에서 생성되는 맵의 경우, 이는 사소한 경우이지만 사전 제작된 맵과의 직접적인 연관성이 없다. 유용하게 하려면 사전 제작된 맵의 구조 및 수록 정보가 상기 맵 내에서 차량의 정확한 국부화를 허용해야 한다. 사전에 제작된 맵과 즉석에서 생성된 맵을 비교하고 이를 정렬하는 일부 방법에 의해, 사전 제작된 맵에서 차량의 위치와 방위가 결정되어야 한다. 이는 애드혹 센서 데이터와의 비교에 적합한 데이터 표현과 같은 사전 제작된 맵의 디자인에 소정의 요구사항을 부과한다.
자율 주행을 위한 맵은 애플리케이션의 제한 및 요구사항에 적합해야 한다. 자동차의 한정된 자원은 계산 시간, 메모리 및 모바일 대역폭을 경제적으로 사용하는 알고리즘 및 데이터 구조를 부과한다. 이러한 한정을 존중하면서 시스템이 자율 주행을 위한 기능적 요구사항을 충족해야 한다. 이러한 요구사항에는 주어진 지형의 교통 가능성, 동적 객체(예컨대, 다른 자동차)의 위치 및 모션 및 정적 객체(예컨대, 도로 건설, 교통 표지)와 같은 주변에 대한 의미론적 정보를 결정하는 것이 포함된다.
대형 스케일 배치의 경우, 맵은 과다한 도로 형상과 인공물을 통합할 수 있을 만큼 유연해야 하며 최신 정보와 성능을 희생시키지 않으면서 전역 크기로 스케일링할 수 있어야 한다. 데이터 구조는 추가적인 형상적 및 의미론적 계층에 대해 충분히 확장 가능해야 한다.
자율 주행은 활발한 연구 분야이며, 매년 자율 주행 차량을 향한 진보가 많이 이루어지고 있다. 그러나 완전한 자율성을 위해 요구되는 많은 과제는 해결되지 않고 있으며 연구 커뮤니티는 안전한 플래닝 및 주행을 위한 모든 전제조건을 아직 결정하지 못했지만 확실한 해결 방법이 없는 알려진 문제조차 존재한다.
자율 주행 플랫폼에 대한 제안 및 구현이 많이 있지만, 매핑 및 국부화 문제에 대해 인정된 표준 솔루션의 지위를 얻은 사례는 없다. 즉각적인 모션 플래닝 및 전역 스케일을 통한 사전 제작된 맵에 대한 추가 맵 매칭(다시 말하면, 국부화)을 동시에 용이하게 하는, 애드혹 데이터를 즉석에서 제작된 맵으로 집성하는 표준 솔루션도 없다.
즉석에서 획득된 새로운 데이터로 사전 제작된 맵을 업데이트하는 것도 중요하며 일반적으로 해결되어 있지 않다. 이러한 것에는 효율적인 맵 매칭, (교통 표지와 같은) 자동 객체 검출과 아울러, 수동 데이터 큐레이션을 위한 조작자에 대한 직관적인 표현의 문제를 해결하는 것이 포함된다.
현재 사용 가능한 맵
추가 문제는 자율 주행의 요구사항을 준수하는 사전 제작된 맵 자료가 부족하다는 것이다. 대부분의 맵 데이터는 빈번하지 않은 간격으로 수집되므로 오래된 데이터이며 새 데이터를 통합할 수 있는 방법을 쉽게 제공하지 않는다. 예를 들면 항공사진 및 지자체 직원에 의한 수동 매핑이 그 예이다. 사용 가능한 맵 데이터의 대부분은 사용 가능한 구조적 데이터가 없는 픽셀들로 구성된 전술한 항공사진과 같은 알고리즘 액세스용으로 구조화되어 있지 않다. 맵 정밀도는 종종 불충분하며 자율 주행을 연구하는 각 연구 그룹별로 맞춤 맵을 제작할 것을 요구한다.
자율 주행을 위해 명시적으로 생성된 현재 최신의 맵은 또한, 최적의 경우가 많지도 않으며 기록 시간과 동일한 일시 및 기상 조건을 갖는 상황에서만 적용될 수 있다. 또한, 자주 사용되는 데이터 구조는 진정한 전역 맵에 대해 너무 비효율적인 경우가 많다. 이러한 종류의 맵에는 대개 구조화되지 않은 센서 데이터가 포함되어 있는데, 이는 자신의 볼륨으로 인해 센서 데이터와 정렬하기가 어렵다. 또한, 상기 맵이 다른 맵과 상호 운용되지 않도록 GIS 좌표계와의 정확한 연관성이 없는 경우가 종종 있다. 요즘 자율 주행을 위한 맵은 장기간의 저장 공간에 자주 저장되는 즉석에서 제작된 맵이다. 필요한 것은 신뢰할 수 있는 차량 국부화을 위해 시작에서부터 전용화된 맵이다.
이종 센서(heterogeneous sensor)의 설정
추가로 해결해야 할 과제는 특히 원시 센서 데이터만을 저장하는 맵이 약간 다른 센서와의 국부화에 적용 가능하지 않기 때문에 다른 센서들 및 심지어는 센서 유형들(예컨대, 모노 카메라, 스테레오 카메라, 광선 레이더, 레이더 등)로부터 데이터를 처리하는 것이다. 따라서, 일반 맵은 모든 센서 유형에서 찾아 볼 수 있는 환경의 의미론적 정보를 제공해야 한다.
비기능적 요구사항
매핑 및 국부화 시스템은 또한 비기능적 요구사항에 직면해 있으며 앞서 언급한 기능적 요구사항과 함께 이들을 수행하기 위한 최신의 방법이 없다. 시스템 설계는 실험실 환경에서 작동해야 할 뿐만 아니라 물품 하드웨어에서 그리고 모바일 데이터 연결의 적당한 용량의 한계 내에서 실행 가능한 것을 포함하는 전역 스케일에서 실현 가능성 및 구현 비용을 부담해야 한다.
본 발명의 제1 실시형태에 따르면, 도로망을 통해 주행하는 차량의 지리적 위치 및 방위를 결정하는 방법이 제공되며, 상기 방법은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라로부터, 차량이 주행하는 도로망의 환경을 반영하는 이미지의 시퀀스를 획득하는 단계 - 이미즈들 각각은 상기 이미지가 기록되어 있던 연관된 카메라 위치를 지님-;
상기 획득된 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여, 차량이 주행하는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 단계;
상기 생성된 로컬 맵 표현을 기준 맵의 섹션과 비교하는 단계 - 상기 기준 맵 섹션은 상기 차량이 주행하고 있는 도로망의 영역을 커버함 -; 및
상기 비교에 기초하여, 상기 도로망 내 상기 차량의 지리적 위치 및 방위를 결정하는 단계; 를 포함한다.
본 발명은 또한 본 발명의 이러한 실시형태, 또는 여기에 설명한 본 발명의 실시 예들 중 어느 한 실시 예에 따른 방법을 수행하기 위한 시스템에 이르기까지 확장된다.
따라서, 다른 실시형태에서, 도로망을 통해 주행하는 차량의 지리적 위치 및 방위를 결정하기 위한 시스템이 제공되며, 상기 시스템은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 상기 이미지가 기록된 연관된 카메라 위치를 지님 -;
상기 획득된 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 수단;
상기 생성된 로컬 맵 표현을 맵 레퍼지토리로부터 추출된 기준 맵의 섹션과 비교하는 수단 - 상기 기준 맵 섹션은 상기 차량이 주행하고 있는 도로망의 영역을 커버함 -; 및
상기 비교에 기초하여, 상기 도로망 내 상기 차량의 지리적 위치 및 방위를 결정하는 수단; 을 포함한다.
본 발명의 이러한 추가 실시형태는 적절하게 본 발명의 임의의 다른 실시형태들 또는 실시 예들과 관련하여 본원에 기재된 본 발명의 바람직하고 선택적인 피처들 중 임의의 하나 이상 또는 전부를 포함할 수 있고 포함하는 것이 바람직하다. 예를 들어, 명시적으로 언급되지는 않았지만, 상기 시스템은 그 실시형태들 또는 실시 예들 중 어느 하나에서 여기에 본 방법과 관련하여 설명한 임의의 단계 또는 단계들을 수행하는 수단을 포함할 수 있고, 그 반대일 수도 있다. 상기 방법 또는 시스템과 관련하여 설명한 임의의 단계를 수행하는 수단은 하나 이상의 프로세서들 및/또는 처리 회로를 포함할 수 있다. 따라서, 본 발명은 바람직하게는 컴퓨터 구현 발명이며, 본 발명의 실시형태들 또는 실시 예들 중 어느 것과 관련하여 설명한 임의의 단계는 한 세트의 하나 이상의 프로세서들 및/또는 처리 회로의 제어하에서 수행될 수 있다.
실시 예들에서, 본 발명은 도로망을 통해 주행하는 차량의 지리적 위치 및 방위를 결정하기 위한, 다시 말하면 도로망 내에서 상기 차량을 "국부화"하기 위한 기법에 관한 것이다. 결정된 지리적 위치 및 방위 또는 국부화 결과는 예를 들어 자율 주행 차량에 대한 내비게이션 및 모션 플래닝의 목적에 사용될 수 있다. 예를 들어, 상기 국부화 결과는 예컨대 차량이 취해야 할 다음 동작을 결정하기 위해 차량의 자율 주행 모듈에 입력으로서 제공될 수 있다. 본 명세서에서 설명한 바와 같이, 적어도 일부 실시형태들에서, 도로망 내에서 주행하고 있는 차량의 지리적 위치 및 방위는 차량에 연관된 하나 이상의 카메라에 의해 기록된 이미지들의 시퀀스(예컨대, 비디오 시퀀스)로부터 결정될 수 있다. 상기 이미지들은 차량이 주행하고 있는 도로망의 로컬 환경에 관련된 이미지 콘텐츠, 다시 말하면 카메라 또는 카메라의 시야 내에서 캡처된 모든 객체를 포함하는 이미지 콘텐츠를 포함하게 된다. 따라서 상기 이미지들의 시퀀스는 도로 환경을 통한 차량의 움직임을 반영한다. 다시 말하면, 상기 이미지들 시퀀스는 일반적으로 차량이 도로망을 통과할 때 로컬 환경의 변화를 반영한다. 따라서 상기 이미지들 각각은 일반적으로 다른 위치에 기록된다. 따라서, 차량이 주행하고 있는 영역의 일관된 로컬 맵 표현을 생성하도록 상이한 이미지들로부터의 정보를 집성하기 위해, 상기 이미지들에 대한 연관된 카메라 위치들을 알아야 한다. 상기 획득된 이미지들에 대한 카메라 위치들은 (예컨대, 온보드 오도메트리 시스템 및/또는 GNSS(Global Navigation Satellite System) 데이터로부터) 획득된 이미지들을 통해 알려지게 되거나 제공될 수 있다. 대안으로, 그리고 바람직한 실시 예에서, 상이한 이미지들에 대한 카메라 위치들은 예컨대 (이하에서 더 구체적으로 검토되겠지만) 가시적 오도메트리를 사용하여 상기 이미지들로부터 시각적으로 결정될 수 있다. 따라서, 복수의 이미지들 및 연관된 카메라 위치들은 도로망의 환경에 관한 정보를 추출하도록 처리될 수 있으며, 이러한 정보는 그 후에 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현에 통합될 수 있다. 따라서, 상기 복수의 이미지들을 처리함으로써 그렇게 얻어진 로컬 맵 표현은 일반적으로 차량 주변 영역의 도로망의 환경을 나타낸다. 생성되는 로컬 맵 생성은 예컨대 기준 맵에 대해 차량의 자아 모션을 결정함으로써 도로망 내 차량의 지리적 위치 및 방위를 결정하기 위해 (적어도) 차량이 주행하고 있는 대략적인 영역을 커버하는 기준 맵 섹션과 비교(예컨대, 매칭)될 수 있다, 알 수 있는 바와 같이, 기준 맵은 본 발명의 목적을 위한 근거 진리(ground truth)로 간주되고, 그럼으로써 기준 맵에서 표현된 객체의 위치 및 방위가 실제 세계에서 상기 객체의 위치 및 방위와 매치하게 된다. 이러한 방식으로, 즉 기록된 이미지를 처리하여 상응하는 기준 맵과 비교(매칭)될 수 있는 로컬 맵 표현을 생성함으로써, 도로망 내 차량의 위치 및 방위가 상기 이미지들로부터 정확하게 결정될 수 있다. 따라서, 본 발명의 실시 예들에 따르면, 도로망 내 차량의 시각적 국부화가 획득될 수 있다. 그 후, 상기 국부화 결과는 필요에 따라 다양한 방법으로 사용될 수 있다. 예를 들어, 전술한 바와 같이, 상기 국부화 결과는 자율 주행 차량의 자율 주행 모듈 또는 정확한 국부화가 요구될 수 있는 다른 일부 진보된 운전자 보조 시스템에 입력으로서 제공될 수 있다.
또한, 생성되는 로컬 맵 표현은 상기 기준 맵 섹션을 업데이트하는데(또는 새로운 기준 맵 섹션을 생성하는데) 사용될 수 있다. 예를 들어, 로컬 맵 표현이 사전 컴파일된 기준 맵에 포함되어 있지 않거나 그렇지 않으면 사전 컴파일된 기준 맵에 모순되는 피처들을 포함하는 경우, 상기 기준 맵은 그에 따라 업데이트될 수 있다. 따라서, 적어도 일부 실시 예들에서, 여기에 제시된 기법들은 즉석에서 얻어지는 새로운 데이터로 사전 제작된 기준 맵들을 효율적으로 업데이트하는 방법을 제공한다. 예를 들어, 생성된 로컬 맵 표현을 상기 기준 맵과 비교함으로써, 기준 맵 내 하나 이상의 오차가 식별될 수 있다. 예를 들어, 오차가 상기 기준 맵에서 누락된 피처이거나 상기 기준 맵으로부터 제거되거나 상기 기준 맵에서 수정되어야 하는 피처일 수 있다. 이러한 오차가 식별될 때, 상기 기준 맵은 그에 따라 업데이트될 수 있다. 예를 들어, 그러한 오차가 식별될 때, 로컬 맵 표현은 그 후 예컨대 상기 로컬 맵 표현에 기초하여 상기 기준 맵 내에 합체될 기준 맵 섹션을 업데이트하거나, 새로운 기준 맵 섹션을 생성함으로써 상기 기준 맵을 업데이트하도록 원격 서버에 제공될 수 있다. 그러나 여기서 알 수 있는 점은 전체 로컬 맵 표현이 반드시 원격 서버에 제공될 필요는 없고, 일부 실시 예들에서, 로컬 맵 표현 및/또는 식별된 오차를 나타내는 데이터가 대신에 원격 서버에 제공될 수도 있다는 점이다. 예를 들어, 상기 로컬 맵 표현 또는 하나 이상의 획득된 이미지로부터의 하나 이상의 피처들이 상기 원격 서버에 제공될 수 있고 그에 따라 기준 맵의 섹션을 업데이트(또는 생성)하는데 사용될 수 있다. 예를 들어 온보드 차량에 로컬 맵 표시가 생성되면, 이는 상기 원격 서버로 전송해야 하는 데이터양을 줄일 수 있다.
실시 예들에서, 상기 기법은 국부화 결과를 출력하고 또한 로컬 맵 표현, 또는 상기 로컬 맵 표현을 나타내는 데이터, 또는 상기 로컬 맵 표현과의 비교에 기초하여 식별된 기준 맵 내 임의의 오차를 나타내는 데이터를 제공하는 것을 포함할 수 있다. 경우에 따라, 국부화 결과는 또한 기준 맵 섹션을 업데이트하는 목적으로, 예컨대 오차 보정 목적으로 사용될 수 있다. 그러나 적어도 일부 실시 예들에서 고려할 점은 본 기법이 반드시 국부화 결과를 출력하지 않고 매핑 목적에 사용될 수도 있다는 점이다. 다시 말하면, 일부 실시 예들에 따르면, 하나 이상의 차량들로부터 획득된 이미지 데이터는 전자 맵을 생성 및/또는 업데이트하는데 사용될 수 있다.
따라서, 본 발명의 다른 실시형태에 따르면, 전자 맵에 의해 대표되는 도로망을 주행하는 차량에 의해 획득된 데이터를 사용하여 전자 맵을 업데이트 및/또는 생성하는 방법이 제공되며, 상기 방법은,
도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계 - 상기 이미지들 각각은 상기 이미지가 기록된 연관된 카메라 위치를 지님 -;
상기 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여, 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 단계;
상기 생성된 로컬 맵 표현을 기준 맵의 섹션과 비교하는 단계;
상기 비교에 기초하여, 상기 기준 맵 섹션 내 하나 이상의 오차들을 식별하는 단계; 및
하나 이상의 오차들이 식별될 때, 상기 로컬 맵 표현 또는 상기 로컬 맵 표현을 나타내는 데이터를 상기 원격 서버에 제공하여 상기 기준 맵 섹션을 업데이트하고 그리고/또는 새로운 기준 맵 섹션을 생성하는 단계; 를 포함한다.
본 발명은 또한 본 발명의 이러한 실시형태, 또는 본원에 기술한 본 발명의 임의의 실시 예들에 따른 방법을 수행하기 위한 매핑 시스템에 이르기까지 확장된다.
따라서, 다른 실시형태에서, 전자 맵에 의해 표현되는 도로망을 주행하는 차량에 의해 획득된 데이터를 사용하여 전자 맵을 생성 및/또는 업데이트하는 시스템이 제공되며, 상기 시스템은,
도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 상기 이미지가 기록된 연관된 카메라 위치를 지님 -;
상기 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여, 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 수단;
상기 생성된 로컬 맵 표현을 기준 맵의 섹션과 비교하는 수단;
상기 비교에 기초하여, 상기 기준 맵 섹션 내 하나 이상의 오차를 식별하는 수단; 및
하나 이상의 오차들이 식별될 때, 상기 로컬 맵 표현 또는 상기 로컬 맵 표현을 나타내는 데이터를 원격 서버에 제공하여 상기 기준 맵 섹션을 업데이트하고 그리고/또는 새로운 기준 맵 섹션을 생성하는 수단;
을 포함한다.
본 발명의 이러한 추가 실시형태는 적절하게 본 발명의 임의의 다른 실시형태들 또는 실시 예들과 관련하여 본원에 기재한 본 발명의 바람직하고 선택적인 피처들 중 임의의 하나 이상 또는 전부를 포함할 수 있고 포함하는 것이 바람직하다. 예를 들어, 비록 명시적으로 언급되지는 않았지만, 상기 시스템은 그 실시형태들 또는 실시 예들 중 어느 하나에서 여기에 본 방법과 관련하여 설명한 임의의 단계 또는 단계들을 수행하는 수단을 포함할 수 있고, 그 반대일 수도 있다. 상기 방법 또는 시스템과 관련하여 설명한 임의의 단계를 수행하는 수단은 하나 이상의 프로세서들 및/또는 처리 회로를 포함할 수 있다. 따라서, 본 발명은 바람직하게는 컴퓨터 구현 발명이며, 본 발명의 실시형태들 또는 실시 예들 중 어느 것과 관련하여 설명한 임의의 단계는 한 세트의 하나 이상의 프로세서들 및/또는 처리 회로의 제어하에 수행될 수 있다.
본 발명의 실시 예에 따라, 바람직하게는 (로컬 맵 표현으로부터 사용하여) 상기 기준 맵 내 하나 이상의 식별된 오차들을 나타내는 데이터와 함께 로컬 맵 표현 또는 적어도 상기 로컬 맵 표현을 나타내는 데이터가 원격 서버에 저장되며 위에서 설명한 바와 같이 전자 기준 맵을 업데이트하거나 생성하기 위해 사용될 수 있다. 따라서, 이러한 정보가 원격 서버에 제공될 때, 상기 원격 서버는 상기 제공된 로컬 맵 표현, 또는 상기 제공된 로컬 맵 표현을 나타내는 데이터를 사용하여 새로운 기준 맵 섹션을 생성하고 그리고/또는 상기 원격 서버에 저장된 기준 맵을 업데이트할 수 있다. 업데이트된(또는 새로운) 맵은 차후에 예컨대 상기 제1 실시형태와 관련하여 기술한 바와 같이 차량(사용자)에 의한 사용을 위해 다운로드될 수 있다. 다시 말하면, 업데이트되거나 또는 생성된 전자 맵은 그 후에 후속하는 국부화 프로세스를 위한 기준 맵으로서 사용될 수 있다. 따라서, 본 발명은 다양한 실시형태에 따라 일반적으로 하기에 더 설명되겠지만 시각적 국부화 기법뿐만 아니라 관련된 시각적 매핑 기법에 관한 것이다.
본 명세서에 제시한 기법들은 일반적으로 도로망 내 차량의 정확한 국부화를 제공하고 그리고/또는 도로망의 로컬 환경에 관한 정보를 포함하는 정확한 맵을 생성하고자 하는 임의의 환경에서 사용될 수 있다. 그러나 실시 예들은 특히 자율 주행 차량, 예컨대 최소로 운전자 상호작용을 필요로 하는(또는 전혀 운전자 상호작용을 필요로 하지 않는) 차량을 국부화하는 기술에 관한 것이다. 예를 들어, 실시 예들에서, 국부화 결과는 내비게이션 및 모션 플래닝, 다시 말하면 자율 주행의 목적으로 차량의 자율 주행 모듈에 제공될 수 있다. 따라서, 차량은 자율 주행 차량, 예컨대 도로망을 통해 주행하고 있는 자율 주행 자동차 또는 트럭 등을 포함할 수 있다. 그러나 여기서 이해할 점은 본 기법이 또한 비-자율 주행 또는 반-자율 구동 차량들에 관한 다양한 다른 상황에서 유용성을 발견할 수 있다는 점이다. 예를 들어, 여기서 또한 이해할 점은 예컨대 맵 내 상기 차량의 정확한 국부화가 바람직한 경우 국부화가 일반적으로 임의의 적합한 진보된 운전자 보조 시스템의 일부로서 사용될 수 있다는 점이다. 또한, 여기서 이해할 점은 맵핑 결과가 자율 주행을 용이하게 할 목적으로 사용될 필요는 없고(하지만, 바람직하게는 맵핑 결과가 자율 주행을 용이하게 할 목적으로 사용될 필요가 있고),예컨대 종래의 내비게이션 안내 시스템의 일부로서 임의의 차량에 의한 필요에 따른 사용을 위해 내비게이션을 위한 개선된 맵을 생성하는데 사용될 수 있다.
도로망는 일반적으로 차량에 의해 내비게이트 가능한 복수의 상호 연결된 도로들을 포함하는 망이다. 상기 도로망은 일반적으로 디지털 또는 전자 맵(또는 수학 그래프)에 의해 표현될 수 있다. 가장 간단한 형태로, 전자 맵은 실제로 노드들을 나타내는 데이터, 가장 일반적으로 도로 교차점을 나타내는 데이터, 및 상기 교차점들 간의 도로들을 표시하는 상기 도로들 간의 선(line)들을 나타내는 데이터를 포함하는 데이터베이스이다. 더 구체적인 디지털 맵에서, 선들은 개시 노드 및 종료 노드에 의해 정의된 세그먼트들로 분할될 수 있다. 이러한 노드들은 최소 3개의 선 또는 세그먼트가 교차하는 도로 교차로를 제시한다는 점에서 "실제적"일 수도 있으며 그중에서도 특정 도로 구간에 대한 형상 정보 또는 상기 도로의 일부 특성이 변경되는 도로를 따라 위치를 식별하는 수단, 예컨대, 속도 제한을 를 제공하도록 한쪽 또는 양쪽 단부에서 실제 노드에 의해 정의되지 않은 세그먼트에 대한 앵커(anchor)들로 제공된다는 점에서 "인위적"일 수 있다. 실제로 모든 최신 디지털맵들에서 노드들 및 세그먼트들은 상기 데이터베이스 내 데이터로 다시 표현되는 다양한 속성에 의해 부가적으로 정의된다. 예를 들어, 각 노드는 일반적으로 실제 위치, 예컨대 위도 및 경도를 정의하도록 지리적 좌표를 지니게 된다. 또한, 노드들은 일반적으로 교차로에서 한 도로로부터 다른 한 도로로 이동할 수 있는지를 나타내는 상기 노드에 연관된 기동(manoeuvre) 데이터를 지니게 된다. 종래의 내비게이션 안내(navigation guidance)의 목적으로. 예컨대, 공지된 휴대용 내비게이션 장치에 의해 제공될 수 있는 바와 같이, 전자 맵의 세그먼트들은 도로 중심선에 관한 정보만을 포함하는 것을 필요로 한다(일반적으로는 그러한 정보만을 포함하게 된다). 그러나 각각의 도로 세그먼트는 또한, 허용된 최대 속도, 차선 크기, 차선 수, 중간에 구분선(divider)이 있는 지의 여부 등과 같은 속성들이 보완될 수 있다. 그러나 본 발명의 실시 예들에 따르면, 이하에서 더 설명되는 바와 같이, 차선 중심선들 및 차선 연결성(다시 말하면, 차선 표시)을 포함한 도로 프로파일의 더 정확하고 현실적인 표현과 아울러, 맵에 통합되는 것이 바람직할 수 있는 랜드마크 객체들과 같은 도로망의 3차원 형상과 같은 다른 핵심 요소들을 제공하는 전자 맵이 생성(또는 사용)될 수 있다. 이러한 유형의 전자 맵은 (도로 중심선은 포함하지만 차선 중심선은 포함하지 않는 일반적인 "SD" 맵에 비해) "HD" 맵이라고 할 수 있다. HD 맵에 포함된 추가 정보 및 적어도 차선 표시는 일반적으로 자율 주행의 목적으로 필요하다. 그러나 이러한 HD 맵의 사용은 자율 주행 차량에 국한되지 않으며, 이러한 맵들은 다양한 진보된 운전자 보조 시스템 애플리케이션을 포함하지만 이에 국한되지 않는 도로 프로파일의 개선되고 더 정확한 표현을 제공하는 것이 바람직한 기타 애플리케이션에서 적합한 애플리케이션을 찾을 수 있다. 따라서, 상기 HD 맵은 또한, 사용자, 자율 주행 시스템 또는 다른 진보된 운전자 보조 시스템(advanced driver assistance system; ADAS)에 적합하고 바람직하게 제시될 수 있는 임의의 다른 피처들을 나타내는 데이터를 포함할 수도 있다.
본 발명의 실시 예들은 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터 이미지들의 시퀀스를 획득(및 처리)하는 것을 포함한다. 카메라 또는 카메라들에 의해 기록되는 이미지들의 시퀀스는 적어도 하나의 카메라로부터 직접 얻어질 수 있는데, 예컨대 카메라들로부터 로컬 맵 표현을 생성하도록 하는 차량의 온-보드(on-board) 프로세서로 직접 스트리밍될 수 있다. 그러나 다른 실시 예들에서, 상기 이미지들은 수신된 이미지들(또는 이미지 데이터)을 사용하여 로컬 맵 표현을 생성하는 원격 프로세서로 전송될 수 있다. 실제로, 일반적으로는, 여기서 이해할 점은 여기에 설명한 다양한 프로세서들 및 처리 단계들이 하나 이상의 온-보드 프로세서들 및 원격 서버 간에 필요에 따라 분배될 수 있다는 점이다.
하나 이상의 카메라들은 일반적으로 도로망을 통해 주행하고 있는 차량에 연관된다. 예를 들어, 하나 이상의 카메라들은 차량 상에나 또는 차량 내에 적절하게 위치될 수 있다. 일반적으로, 카메라 또는 카메라들은 본 명세서에 제시된 기법에 따라 적절히 처리될 수 있는 이미지들을 얻기 위해 차량 상 또는 차량 내 임의의 적절하고 원하는 위치에 위치될 수 있다. 예를 들어 일반적으로 적어도 하나의 카메라는 차량 앞쪽의 경치 및 도로 형상 이미지를 획득하게 된다. 그러나 하나 이상의 카메라들을 사용하여 차량 주변의 풍경 이미지들을 획득할 수도 있다. 일반적으로, 획득된 이미지들은 로컬 맵 표현 내에 포함시키기 위해 도로망의 환경을 나타내는 정보를 추출하도록 적절히 처리될 수 있는 차량 주변 그리고 전방 영역의 도로망의 로컬 환경에 관한 이미지 콘텐츠를 포함하게 된다. 예를 들어, 이미지 콘텐츠에는 일반적으로 카메라 또는 카메라들의 시야 내에 이미지가 기록된 지점에 포함된 모든 객체가 포함되고, 그럼으로써 상기 이미지들이 도로 및 차선 형상에 대한 정보뿐만 아니라 또한 차량이 주행하고 있는 영역의 일반적인 풍경이나 환경에 관한 정보. 예컨대 빌딩, 도로 표지판, 신호등, 간판 등과 같은 로컬 환경에 연관된 랜드마크에 관한 정보와 아울러, 도로망의 현재 상태(및 교통 능력)에 관한 정보도 캡처하게 되는 것이 전형적이다. 따라서, 여기서 이해할 점은 이미지 콘텐츠가 일반적으로 차량이 주행하고 있는 영역 내 도로망의 환경에 관한 정보를 (도로망 자체에 관한 정보와 함께) 포함한다는 점이다. 로컬 맵 표현을 생성하는데 사용되는 것이 이미지 콘텐츠이며, 이는 다시금 (전체적으로) 기준 맵을 업데이트하거나 생성하는데 사용될 수 있기 때문에, 여기서 이해할 점은 본 명세서에 제시된 기법에 따라 생성된 맵들이 훨씬 풍부해질 수 있고 예컨대 도로 중심선들에 기반하여 도로 형상들을 단순히 보여주는 종래의 전자 맵들보다 유용한 정보를 수록할 수 있다는 점이다.
이미지들의 시퀀스는 도로망을 통한 차량의 움직임을 반영한다. 다시 말하면, 상기 시퀀스 내 각각의 이미지는 특정 시점 및 특정 카메라 위치에서 도로망의 환경을 나타낸다. 바람직하게는, 이미지들의 시퀀스는 비디오 시퀀스를 포함한다. 따라서, 상기 이미지들은 비디오 시퀀스의 대응하는 프레임에 상응할 수 있다. 따라서, 상기 하나 이상의 카메라들은 하나 이상의 비디오 카메라들을 포함할 수 있고, 바람직한 실시 예에서는 하나 이상의 비디오 카메라들을 포함한다.
실시 예들에서, 하나 이상의 스테레오 카메라들이 복수의 이미지들(중 적어도 일부)을 획득하는데 사용될 수 있다. 그러나 스테레오 카메라의 사용은 불필요하며, 일부 실시 예들에서는 (단지) 하나 이상의 단안(單眼) 또는 단일 카메라들을 사용하여 이미지들을 획득할 수 있다. 일부 바람직한 실시 예들에서, 상기 하나 이상의 카메라들은 하나 이상의 스테레오 카메라들 및 하나 이상의 단일(단안) 카메라들을 포함할 수 있다. 예를 들어, 실시 예들에서, 이하에서 설명한 바와 같이, 스테레오 카메라들을 사용하여 획득된 복수의 스테레오 이미지들은 시각적 오도메트리의 목적으로 유리하게 사용될 수 있다. 그러나 이미지 내 객체들을 식별 및 분류할 목적으로, 단일(단안) 카메라들로부터 획득된 이미지들을 사용하는 것이 바람직할 수 있다.
이미지 데이터는 필요에 따라 다양한 다른 센서들로부터의 데이터에 의해 보완될 수 있다. 예를 들어, GNSS 데이터와 같은 위치 데이터를 사용하여 차량의 대략적 국부화 및 상기 이미지들 각각에 대한 타임스탬프를 제공할 수 있다.
상기 이미지들의 시퀀스 내 이미지들이 일반적으로 이미지를 함께 처리하여 차량이 주행하고 있는 영역의 일관된 로컬 맵 표현을 생성하기 위해 (예컨대, 도로망을 통해 차량, 결과적으로는 연관된 카메라 또는 카메라들의 움직임을 반영하는) 상이한 위치들에서 획득되기 때문에, 상기 이미지들 각각에 연관된 카메라 위치를 아는 것(또는 상기 카메라의 위치를 적어도 결정할 수 있는 것)이 필요하다. 다시 말하면, 상기 이미지들 각각은 상기 영역의 소정 부분에 대한 2차원 뷰를 나타낸다. 따라서 전체 영역의 일관된 뷰를 생성하려면 상이한 이미지들로부터 상이한 뷰들을 함께 집석하는 것이 필요하다. 이는 상기 이미지들이 기록된 위치에 대한 지식에 기초하여 수행될 수 있다. 예를 들어, 여기서 이해할 점은 객체가 일반적으로 임의의 주어진 이미지에 한 세트의 2차원 점들로서 나타난다는 점이다. 이미지들의 시퀀스가 기록되면, 동일한 객체가 결과적으로 여러 이미지로 나타나지만 상이한 사시도로부터 보일 수 있다는 점이다. 이는 삼각 측량을 사용하여 객체를 국부화할 수 있게 한다. 그러나 일관된 로컬 맵 표현을 생성하고, 그럼으로써 상기 객체가 예컨대 도로망 내 상기 객체의 상대적인 배치 및 방위를 보여줄 수 있게 하기 위하여, 상이한 이미지들을 획득하는데 사용된 카메라의 위치 및 방위를 ("포즈(pose)와 함께)" 고려하여야 한다. 다시 말하면 상이한 위치들에서 기록된 이미지들의 시퀀스로부터 일관된 로컬 맵 표현을 생성하기 위해 상이한 이미지들에 대한 카메라 위치들을 알거나 또는 결정할 필요가 있다.
상기 이미지들이 기록된 위치(또는 "카메라 위치")는 상기 이미지가 위치된 지점에서의 도로망 내 카메라의 절대 위치와 방위(포즈)를 나타내는 절대 위치로서 제공될 수 있다. 따라서, 실시 예들에서, 상기 기법들은 상기 이미지들에 대한 절대적인 카메라 위치를 획득하는 것을 포함한다. 그러나 이는 항상 이용 가능하지 않을 수도 있는 매우 높은 정밀도의 센서들을 필요로 할 수 있다. 예를 들어, 상기 이미지들 각각은 예컨대 GNSS 또는 다른 위치 데이터를 사용하여 획득되는 대로 위치 스탬프될 수 있고, 결과적으로 절대 위치는 그러한 위치 데이터를 사용하여, 예컨대 높은 정밀도의 오도미터(odometer) 및/또는 GNSS 데이터를 사용하여 직접 획득될 수 있다. 종종, 그러한 GNSS 또는 기타 위치 데이터의 정확성은 상기 데이터가 국부화(차량이 매우 정확하게 국부화되어야 하는 자율 주행)에 신뢰성 있게 사용될 위치를 충분히 높게 결정하지 못할 수 있다. 따라서, 상기 카메라 위치는 (각각의) 이미지의 카메라 위치가 상기 시퀀스 내 하나 이상의 다른 이미지들에 관련하여 제공되도록 상대적 위치들로서 제공될 수 있고, 상대적 카메라 위치들은 그 후에 상기 이미지들을 함께 집성하여 상기 영역의 로컬 맵 표현을 생성하는 데 사용된다. 한 이미지로부터 다음 이미지로의 카메라 위치들에 있어서의 상대적인 변화들은 일반적으로 차량의 오도메트리를 사용하여(다시 말하면, 차량에 연관된 하나 이상의 오도메트리 센서들을 사용하여) 결정될 수 있다. 예를 들어, 상기 시퀀스 내 제1 이미지에 대한 초기 카메라 위치는 예컨대 GNSS 또는 다른 위치 데이터로부터 (상대적으로 높은 정확도로) 알려질 수 있다. 상기 제1 이미지와 비교된 상기 시퀀스 내 후속 이미지들의 상대적 위치들은 그 후에 차량의 오도메트리에 기초하여, 다시 말하면 도로망을 통한 차량의 움직임에 대한 지식에 기초하여 결정될 수 있다. 따라서, 실시 예들에서, 상기 기법들은 상기 시퀀스 내 제1 이미지와 같은 기준 이미지에 대한 상기 이미지들의 적어도 일부의 상대적인 카메라 위치를 결정하는 것을 포함한다.
상이한 이미지들에 대한 (상대적인) 카메라 위치들은 임의의 적절하고 바람직한 기법을 사용하여 결정될 수 있다. 예를 들어, 스테레오 이미지가 획득될 때, 예컨대 연속적인 깊이 이미지들을 정렬시킴으로써 상기 이미지들에 대한 상대적인 카메라 위치들을 도출하기 위해 다양한 공지된 스테레오 이미지 정렬 기법이 사용될 수 있다. 그러나 바람직하게는, 상기 이미지들에 대한 (상대적인) 카메라 위치들은 시각적 오도메트리(visual odometry) 프로세스에 의해 결정된다. 다시 말하면, 상기 이미지들에 대한 상대적인 카메라 위치들은 상기 이미지들을 처리하는 것으로부터 시각적으로 (예컨대, 순수하게) 결정될 수 있다. 예를 들어, 시각적 오도메트리는, 카메라의 초기 위치가 일반적으로 알려져 있을 수 있는 이미지들의 시퀀스 내 제1 이미지인 것이 전형적인 기준 이미지에 대한 이미지(다시 말하면, 이미지 또는 카메라 "포즈")의 회전 및 위치를 결정하는데 사용될 수 있다. 따라서, 실시 예들에서, 상기 시퀀스 내 이미지들에 대한 이미지 포즈들은 제1(기준) 이미지를 기록하는데 사용되는 카메라의 초기 위치에 대해 결정된다. 상기 포즈들은 이미지들의 시퀀스 내 각각의 기록된 이미지에 대해 결정될 수 있다. 그러나 일반적으로, 상기 포즈들은 단지 결정될 필요가 있을 수 있고, 실시 예들에서는 "키 프레임(key frame)", 다시 말하면 사전 획득된 이미지에 대한 이미지 콘텐츠에서의 유의(significant) 카메라 움직임 및/또는 변화를 보여주는 이미지들로서 언급되는 이미지들(또는 프레임들)의 서브세트에 대해서만 결정된다. 따라서, 각각의 이미지(또는 키 프레임)에 대해, 제1(기준) 이미지에 대한 이미지의 회전 및 위치를 나타내는 상대적 포즈가 생성된다(예컨대, 비디오 인코딩에서의 "키 프레임들"의 개념은 일반적으로 잘 이해될 것이다. 일반적으로, 이미지들의 시퀀스를 처리하기 위한 본 명세서의 임의의 기준은 상기 이미지들 모두 또는 상기 이미지들 중 단지 일부 이미지들만, 예컨대 키 프레임들만을 처리하는 것을 포함한다. 대안으로, 상기 이미지들의 시퀀스는 키 프레임들의 시퀀스를 포함할 수 있다.)
GNSS 또는 기타 위치 데이터는 시각적 오도메트리를 보완하는 데 사용될 수 있다. 예를 들어, 각각의 이미지(또는 키 프레임)에 대해, GNSS 또는 다른 위치 데이터로부터 대략적인 카메라 위치가 추정될 수 있으며, 이는 그 다음에 상기 시퀀스 내 다른 이미지들에 기초한 가시적 오도메트리를 사용하여 순서의 다른 이미지에 기초한 시각적 주행 거리계를 사용하여 정제(refine)될 수 있다.
시각적 오도메트리의 원리는 잘 확립되어 있으며 일반적으로 임의의 적합하고 바람직한 시각적 오도메트리 기법이 본 발명과 함께 사용될 수 있다. 일반적인 시각적 오도메트리 기법들은 "모션으로부터의 구조"의 가정에 기초하여 이루어지지만, 다른 구성들, 예컨대 다양한 입체 기법이 가능하다. 시각적 오도메트리가 단일(또는 단안) 이미지 데이터를 사용하여 수행될 수 있지만, 바람직하게는 시각적 오도메트리에 사용되는 이미지들은 하나 이상의 스테레오 카메라들을 사용하여 획득되며, 그럼으로써 예컨대 상기 이미지들에 대한 이미지 깊이들이 알려지게 되고 시각적 오도메트리 알고리즘에 대한 입력으로서 제공될 수 있다(그렇지 않으면 이는 움직이는 차량으로부터 상기 이미지들이 즉석에서 생성될 때 어려울 수 있는, 이러한 이미지들에 대한 이미지 깊이들을 어떻게든 추정 또는 결정하여야 한다). 따라서, 실시 예들에서, 임의의 적절하고 바람직한 스테레오 시각적 오도메트리 기법이 사용될 수 있다.
상기 시각적 오도메트리는 간접적으로, 예컨대 알려진 번들 조정 기법을 사용하여 수행될 수 있다. 그러나 바람직하게는, 이미지 포즈들을 획득하기 위해 스테레오 '직접 희소 오도메트리(direct sparse odometry; DSO)' 기법이 사용된다. DSO는 카메라상으로의 객체 투영들 간 측광 오차를 직접 최소화함에 기초한 공지된 기법이며, 상기 객체들은 깊이 및 기준 프레임에 있어서의 한 세트의 키 포인트들에 의해 암시적으로 정의된다. 따라서, 기준 프레임으로부터 후속 프레임으로 객체를 투영 또는 추적하기 위해, 상기 키 포인트들이 후속 프레임 상에 투영되고, 복수의 키 포인트들에 대한 측광 오차들이 상기 기준 프레임으로부터 후속 프레임으로 이동하기 위한 적절한 변환을 결정하도록 최소화된다. 따라서 상기 변환은 프레임들 간의 위치 및 회전의 변화, 다시 말하면 상기 카메라 또는 이미지 포즈들이 결정될 수 있게 하는 프레임들 간의 위치 및 회전의 변화를 나타낸다. 원래의 DSO 기법은 단안 이미지들에 기초하여 이루어졌다. DSO 프로세스의 세부사항은「"Direct Sparse Odometry" by Engel et al., available on arXiv.org with reference arXiv:1607.02565」에서 찾아 볼 수 있으며 이의 전체 내용은 인용에 의해 여기에 보완된다. 그러나 바람직한 실시 예들은 스테레오 이미지들에 기초한 스테레오 DSO 기법을 사용하여, 이미지 깊이들이 (정확한 깊이 추정치들을 이미 지니는 기존의 이미지들을 (DSO에 대해) 필요로 하는 것이 일반적인) 트래킹 프로세스를 개선하도록 DSO 알고리즘에 입력으로서 제공될 수 있게 한다. 따라서 상기 스테레오 DSO 프로세스의 출력은 제1(기준) 이미지와 비교한 각각의 이미지에 대한 상대적인 포즈이다. 상기 스테레오 DSO 프로세스의 부가적인 세부내용은「"Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras" by Wang et al., available on arXiv.org with reference arXiv:1708.07878」에서 찾아볼 수 있으며 이의 전체 내용은 인용에 의해 여기에 보완된다.
상기 스테레오 DSO 프로세스의 출력은 또한 일반적으로 처리되는 프레임들 각각에 대한 "키 포인트 클라우드"(여기서는 "희소 포인트 클라우드"라고도 함)를 포함한다. 상기 희소 포인트 클라우드는 상기 이미지들 각각 내 다양한 키 포인트의 위치를 나타낸다. 위에서 언급한 바와 같이, 상기 키 포인트들은 카메라 이미지상으로의 객체의 2차원 투영을 포함한다. 상기 희소 포인트 클라우드에는 상기 이미지 내 픽셀들 각각에 대한 추정 깊이도 포함된다.
상기 이미지들을 더 잘 처리할 수 있기 위해, 그리고 예를 들어 상기 이미지에 나타나는 객체들을 자동으로 검출 또는 추출하기 위해, 복수의 상이한 "객체 클래스들" 중 하나 이상에 따라 상기 이미지들의 요소들을 분류하도록 하는 의미론적 세그멘테이션 단계가 수행될 수 있다. 비록 다른 구성들이 가능하다 하더라도, 일반적으로 이미지는 픽셀 단위로 분할되고 결과적으로는 상기 이미지의 각각의 개별 픽셀이 분류된다. 따라서, 실시 예들에서, 이미지들 중 적어도 일부(예컨대, 적어도 상기 키 프레임들)는 상기 이미지들 내 각각의 픽셀에 대한 객체 클래스 또는 클래스들의 리스트(및 연관된 확률)를 할당하기 위해 처리될 수 있다. 일반적으로, 임의의 적합하고 바람직한 의미론적 세그멘테이션 프로세스가 상기 이미지 데이터를 처리 및 분류하기 위해 사용될 수 있다. 바람직한 실시 예들에서, 상기 이미지의 의미론적 세그멘테이션은 기계 학습 알고리즘을 사용하여 수행된다. 예를 들어, 소위 "SegNet" 또는 "PSPNet" 시스템들 또는 그의 변형들과 같은 훈련된 컨벌루션 뉴럴 네트워크(convolutional neural network)가 이미지 데이터의 세그멘테이션 및 분류에 적절하게 사용될 수 있다. 상기 객체 클래스들은 일반적으로 의미론적 세그 멘테이션 알고리즘 내에서 정의되며, 예를 들어 "도로", "하늘", "차량", "교통 표지판", "신호등", "차선 표시" 등과 같은 객체 클래스들을 포함할 수 있다. SegNet 및 PSPNet은 모두 도로망의 이미지들을 분류하기 위해 특별히 개발된 알려진 알고리즘들이다. 따라서 위에 설명한 바와 같은 적합한 객체 클래스들은 이미 이러한 알고리즘들에 정의되어 있다. SegNet 아키텍처에 대한 부가적인 세부내용은「"SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation" by Badrinarayanan et al., available on arXiv.org with reference arXiv:1511.00561」에서 찾아볼 수 있으며, 이의 전체 내용은 인용에 의해 여기에보완된다. PSPNet 아키텍처에 대한 부가적인 세부내용은「"Pyramid Scene Parsing Network" by Zhao et al., available on arXiv.org with reference arXiv:1612.01105;」에서 찾아볼 수 있으며, 이의 전체 내용은 인용에 의해 여기에 보완된다.
각각의 픽셀은 상기 의미론적 세그멘테이션에 기초하여 (단일) 객체 클래스로 할당될 수 있다. 그러나 실시 예들에서, 각각의 픽셀은 객체 클래스 벡터로 할당되고, 벡터 요소들은 다수의 상이한 객체 클래스들 각각에 속하는 픽셀에 대한 우도(또는 확률)를 나타낸다.
이러한 의미론적 세그멘테이션 단계는 상기 이미지가 복수의 일반적인 차량 환경 객체 클래스에 따라 분류되기 때문에 "차량 환경"의 의미론적 세그멘테이션으로 언급될 수 있다.
일반적으로, 이러한 의미론적 세그멘테이션 단계는 위에서 설명한 시각적 오도메트리 단계 이전 또는 이후에 또는 위에서 설명한 시각적 오도메트리 단계와 병렬로 수행될 수 있다.
여기서 이해할 점은 상기 의미론적 세그멘테이션(semantic segmentation)을 수행하기 위해 기계 학습 기법을 사용할 필요가 없으며, 다른 실시 예들에서는 대안으로 또는 부가적으로 상기 이미지들이 예컨대 상기 이미지 내 픽셀들의 상대적인 깊이에 기초하여 픽셀들을 분류하기 위해 예컨대 스테레오 카메라를 사용할 때 사용 가능한 이미지 깊이 데이터를 사용하여 처리될 수 있다는 점이다. 예를 들어, 이러한 방식으로, 예컨대 스테레오 포인트 클라우드를 사용하여, 상기 이미지가 그라운드 레벨 픽셀들, 벽들/하우징, 교통 표지 폴들 등으로 분할될 수 있다. 다른 일 예로서, 상기 이미지 세그멘테이션은 위에서 설명한 DSO 포인트 클라우드와 같은 희소 피처 포인트 클라우드 데이터를 사용할 수 있고, 상기 희소 피처 포인트 클라우드 데이터는 예를 들어, "그라운드 레벨" 포인트를 (단지) 포함하는 대략적인 그라운드 마스크를 생성하는데 사용될 수 있다.
일단 상기 이미지가 예컨대 위에서 설명한 바와 같은 알고리즘을 사용하여 이러한 방식으로 분류되면, 상기 의미론적 세그멘테이션으로부터 결정된 객체 클래스 또는 클래스들은 그 후에 임의의 후속 처리 단계들에 이용 가능하게 될 수 있으며, 이는 단지 객체 클래스들의 특정 서브세트만을 사용할 수 있다. 예를 들어, 특정 객체 클래스에 상응하는 이미지 내 임의의 요소들이 추출될 수도 있고, 함께 그룹화될 수도 있으며, 그 후에 다른 요소들과는 별도로 처리될 수 있다. 예를 들어, 이하에서 부연 설명되겠지만, 랜드마크 관측 피처를 생성하기 위해, 상기 시스템은 일반적으로 단지 "랜드마크" 유형의 객체 클래스로 할당된 픽셀들 또는 픽셀들의 그룹들만을 고려하면 된다(여기서 이해할 점은 상기 의미론적 세그멘테이션이 일반적인 "랜드마크" 클래스를 포함하지 않을 수 있고, 일반적으로 포함하지 않게 되지만, 일반적으로 상이한 유형의 "랜드마크"들을 각각 나타내는, "빌딩", "교통 표지판" 클래스 등과 같은 다수의 클래스를 포함한다는 점이다. 따라서, 여기서 랜드마크 클래스에 대한 임의의 기준은 일반적으로 복수의 랜드마크 유형 클래스들 중 임의의 하나를 의미하는 것으로 이해되어야 한다.)
따라서, 동일한 객체 클래스 내 임의의 픽셀들이 함께 추출되거나 처리되어, 객체 "필터링된" 이미지를 생성하게 될 수 있다. 마찬가지로, 동일한 클래스 내 인접 픽셀들의 그룹들은 피처들 또는 "객체들"로서 함께 연관될 수 있으며, 이들은 그 후에 서로 독립적으로 추출되어 후속 처리 단계들에서 사용될 수 있다.
실시 예들에서, 상기 이미지들 중 적어도 일부는 로컬 맵 표현에 포함시키기 위해 하나 이상의 랜드마크 객체 피처들을 검출(및 추출)하기 위해 처리된다. 일반적으로, 랜드마크 객체 피처는 도로망 환경의 특성을 나타내며 예컨대 로컬 맵 표현과 기준 맵 섹션의 매칭 및/또는 정렬을 용이하게 하도록 로컬 맵 표현에 적합하고 바람직하게 통합될 수 있는 임의의 피처를 포함할 수 있다. 예를 들어, 이미지 콘텐츠는 일반적으로 이미지들을 얻기 위해 사용된 카메라 또는 카메라들의 시야 내에 있는 모든 객체를 포함하며, 이러한 객체들 중 어느 하나는 원칙적으로 필요에 따라 상기 이미지들로부터 추출될 수 있다. 그러나 적절히 추출되어 로컬 맵 표현에 통합될 수 있는 전형적인 랜드마크 객체들은 빌딩, 교통 표지판, 신호등, 간판 등과 같은 특징들을 포함할 수 있다.
일반적으로, 랜드마크 객체는 임의의 적절하고 바람직한 방식으로 예컨대 다양한 자동 시각 피처 검출 기법들을 사용하여 이미지에서 검출될 수 있다. 그러나 실시 예들에서, 상기 랜드마크 객체 피처들은 위에서 설명한 차량 환경의 의미론적 세그멘테이션에 의해 할당된 객체 클래스 또는 클래스들을 사용하여 검출될 수 있다. 예를 들어, 랜드마크에 대응하는 객체 클래스로 할당된 이미지 내 임의의 픽셀 또는 픽셀들의 그룹은 관심 영역, 다시 말하면 랜드마크를 (잠재적으로) 포함할 수 있는 영역인 것으로 기초해서 식별될 수 있다. 이러한 방식으로, 상기 의미론적 세그멘테이션은 이미지(들) 내 다양한 랜드마크 객체들을 검출 및 식별하는데 직접 사용될 수 있다. 예를 들어, 상기 의미론적 세그멘테이션 동안 결정되는 객체 클래스들(또는 클래스 벡터들)을 사용하여, 이미지 내 임의의 관심 영역들(또는 픽셀들), 예컨대 랜드마크 객체 클래스로 할당된 이미지 내 임의의 관심 영역들(또는 픽셀들)이 상기 이미지로부터 추출될 수 있다. 그 다음에 상기 관심 있는 영역 또는 영역들은 하나 또는 각각의 이미지에서 상기 하나 이상의 랜드마크들의 경계를 검출하기 위해 부가적으로 처리될 수 있다. 예를 들어, 처리되고 있는 각각의 이미지에 대해, 검출된 하나 이상의 랜드마크들을 포함하는 하나 이상의 경계 영역의 리스트가 생성될 수 있다.
위에서 설명한 바와 같이 차량 환경의 의미론적 세그멘테이션의 제1 단계가 상기 이미지들 상에서 수행되고, 하나 이상의 관심 영역들이 상기 제1 의미론적 세그멘테이션에 기초하여 랜드마크 객체를 잠재적으로 포함하는 것으로 결정된 후에, 의미론적 세그멘테이션(또는 객체 검출 및 분류)의 제2 또는 추가 단계가 특히 상기 결정된 관심 영역에 대해 수행될 수 있다. 다시 말하면, 상기 랜드마크 분류를 더 정제하기 위해 랜드마크를 포함하도록 결정된 임의의 관심 영역에 대해 추가의 특정 분류 단계가 수행될 수 있다. 다시 말하면, 일단 하나 이상의 랜드마크들이 상기 이미지(들)에서 검출되면, 랜드마크 인식의 부가적인 특정 단계가 수행될 수 있다. 다시 말하면, 원래의 이미지 데이터로부터의 픽셀들은 차량 환경의 의미론적 세그멘테이션으로부터 복수의 일반 객체 클랙스들에 따라 먼저 분류될 수 있다. 상기 원래의 이미지 데이터로부터 검출된 임의의 랜드마크들에 대해, 상기 랜드마크 검출을 정제하기 위해 부가적인 특정 랜드마크의 인식 분류가 수행될 수 있다. 예를 들어, 상기 랜드마크 인식은 상기 검출된 랜드마크들 각각에 연관된 경계들을 정제하는데 사용될 수 있다.
추가의 의미론적 세그멘테이션을 구성할 수 있는 랜드마크 인식은 (비록 필요는 없지만) 제1(차량 환경)의 의미론적 세그멘테이션과 일반적으로 유사한 방식으로 수행될 수 있다. 일반적으로 기계 학습 알고리즘이 사용된다. 예를 들어, 실시 예들에서, 지원 벡터 기계 또는 신경망과 같은 감독 학습 방법이 랜드마크 인식의 의미론적 세그멘테이션을 수행하는데 사용될 수 있다. 그러나 랜드마크 인식의 목적을 위해, 상기 알고리즘은 예컨대 일반 차량 환경의 의미론적 세그멘테이션을 사용하여 달성되는 것보다 더 구체적이고 정확한 랜드마크 분류를 제공하도록 특정 랜드마크 데이터를 사용하여 훈련될 수 있다.
상기 이미지들 중 하나 이상의 이미지들에서 검출되는(그러나 이것이 완료된) 임의의 랜드마크 객체들에 대해서는 랜드마크 관측 피처가 그 후에 로컬 맵 표현에 포함시키도록 작성될 수 있다. 다시 말하면, 로컬 맵 표현이 생성될 때, 상기 검출된 랜드마크를 나타내는 피처가 로컬 맵 표현에 포함될 수 있다. 랜드마크 관측 특징은 전형적으로 랜드마크 위치, 랜드마크 방위, 및 랜드마크 형상을 포함한다. 따라서, 실시 예들에서, 상기 기법들은 상기 이미지들의 시퀀스를 처리하여 상기 이미지들 중 하나 이상의 이미지들에 나타나는 하나 이상의 랜드마크 객체들을 검출하는 단계, 및 상기 로컬 맵 표현 내에 포함시키기 위해 각각의 검출된 랜드마크 객체들에 대해 랜드마크 관측을 생성하는 단계 - 상기 랜드마크 관측은 상기 검출된 랜드마크의 위치 및 방위를 나타내는 정보를 포함함 - 을 포함할 수 있다. 상기 검출된 랜드마크의 위치 및 방위를 나타내는 정보는 상기 랜드마크의 상대적인 위치 및 방위를 포함하는 것이 일반적일 수 있다. 예를 들어, 상기 검출된 랜드마크의 위치 및 방위는 일반적으로 시각적 오도메트리로부터 결정되는 바와 같이, 예컨대 차량의 모션 프레임에 기초하여 상기 도로망 자체 또는 차량(중의 어느 하나)에 대한 상대적인 위치 및 방위를 포함할 수 있다. 예를 들어. 실시 예들에서, 2차원의 랜드마크 형상(landmark shape), 예컨대 폴리라인(polyline)은 상기 2차원 랜드마크 형상을 상기 로컬 맵 표현에 통합시키기에 적합한 3차원 공간으로 변환하기 위한 방위 매트릭스와 함께 각각의 랜드마크에 대해 생성될 수 있다. 따라서, 상기 콘텐츠를 기술하는 이미지 파일은 로컬 맵 표현에 포함시키도록 생성될 수 있다.
일반적으로, 앞서 언급한 바와 같이, 동일한 객체들(예컨대, 랜드마크들)은 이미지들의 시퀀스에서 여러 번 나타나게 되지만 여러 가지 다른 관점에서 보이게 된다. 따라서, 예컨대, 도로망 내의 (또는 차량에 대한) 랜드마크의 위치 및 방위를 결정할 수 있도록 상기 복수의 이미지들로부터의 정보를 함께 집성하고, 그럼으로써 상기 랜드마크가 상기 로컬 맵 표현에 통합될 수 있게 하기 위해, 일반적으로 (예컨대, 시각적 오도메트리를 사용하여 결정될 수 있는 바와 같이) 상기 랜드마크가 검출된 이미지들 각각에 대해 카메라 포즈들을 알 필요가 있다. 따라서, 상기 랜드마크 관측은 전형적으로 상기 이미지들의 시퀀스(중 적어도 일부)와 아울러, (랜드마크 인식이 수행된 경우) 랜드마크 인식으로부터 초래된 경계 영역들 및 랜드마크 인식, 그리고 또한 상기 랜드마크가 검출된 이미지들에 대한 카메라 포즈들을 사용하여 생성된다. 그 후에, 상기 랜드마크의 위치 및 방위는 상기 카메라 포즈에 기초한, 예컨대 객체 포즈 추정을 위한 알려진 가시적 오도메트리 기법들을 사용한 임의의 방식으로 결정될 수 있다. 예를 들어, 일반적으로, 상기 랜드마크의 위치 및 방위는 다수의 이미지 및 상기 이미지들이 획득된 상기 이미지들에 연관된 카메라 위치들을 사용하는 삼각 측량에 기초하여 결정될 수 있다. 따라서, 실시 예들에서, 상기 기법들은 상기 이미지들 중 적어도 일부를 처리하여 상기 이미지들에서 나타나는 하나 이상의 랜드마크 객체들을 검출하는 단계; 및 상기 로컬 맵 표현 내에 삽입시키기 위해 각각의 검출된 랜드마크에 대해 랜드마크 관측을 생성하는 단계를 포함하며, 상기 랜드마크 관측은 상기 검출된 랜드마크의 위치 및 방위를 나타내는 정보를 포함하며, 상기 검출된 랜드마크의 위치 및 방위는 상기 랜드마크가 검출된 복수의 이미지들 및 상기 복수의 이미지들에 연관된 카메라 위치들을 사용하는 삼각 측량에 의해 결정된다.
일부 실시 예들에서, 차량의 오도메트리를 결정할 목적으로 그리고 랜드마크들 및 차선 표시들과 같은 피처들을 검출하기 위해 상이한 카메라가 사용될 수 있다. 예를 들어, 실시 예들에서, 하나 이상의 스테레오 카메라들은 시각적 오도메트리를 위해 사용될 수 있는 반면에, 하나 이상의 단일(모노) 카메라들은 피처 검출을 위해 사용된다. 이 경우에, 시각적 오도메트리의 결과에 기초하여, 예컨대 상기 시각적 오도메트리 프로세스에 사용되는 이미지들의 회전 및/이동으로 이러한 이미지들을 취급함으로써 상기 랜드마크 검출에 사용된 이미지들의 포즈들을 결정하도록 오도메트리 전달 단계가 수행될 수 있다. 시각적 오도메트리 및 피처 검출을 위해 상이한 카메라들이 사용되는 실시 예들에서, 제1 카메라는 단색 카메라일 수 있고 제2 카메라는 다색(또는 컬러) 카메라일 수 있다. 예를 들어, 하나 이상의 단색 카메라들은 시각적 오도메트리를 위한 (단색) 이미지를 획득하는 데 사용될 수 있는 반면에, 하나 이상의 다색 카메라들이 피처 검출을 위해 (컬러) 이미지를 획득하는 데 사용될 수 있다.
랜드마크들이 검출될 수 있는 정확도 및 랜드마크 관측들이 생성될 수 있는 정확도를 개선하기 위해, 검출된 랜드마크 객체들이 이미지들의 시퀀스 내에서 신중하게 추적될 수 있고, 그 다음에 임의의 잘못된 검출들을 식별 (및 필터링 제거)하려고 시도하도록 상이한 이미지들로부터의 다른 검출들(다시 말하면 동일한 랜드마크 객체의 다른 검출들)과 비교될 수 있다. 예를 들어, (교통 표지판과 같은) 랜드마크 객체가 하나의 프레임에서 나타나면, 상기 랜드마크가 또한, 인접한 이미지들에서, 다시 말하면 상기 랜드마크가 검출된 이미지의 어느 한 측에서 나타나게 되는 것으로 예상될 것이다. 반면에, 정확하지 않거나 위양성(false positive)인 검출에 대해, 이는 그러하지 않을 수도 있다. 따라서, 각각의 이미지에서의 각각의 랜드마크 객체 검출에 대해, 상기 검출된 랜드마크는 인접한 이미지들의 범위 내에서의 원근 왜곡(perspective distortion)에 대하여 (시퀀스에서 전방 및 후방으로) 신중하게 추적될 수 있다. 상기 추적은 일반적으로 상이한 이미지의 (이전에 결정된 또는 알려진) 상대적 위치들 및 포즈들에 기초한 임의의 적합한 모션 모델을 사용하여 수행될 수 있다. 예를 들어, 실시 예들에서, Kanade-Lucas-Tomasi(KLT) 피처 추적기가 사용될 수 있다. 실시 예들에서, 종래의 아핀 변환 KLT 추적기를 사용하는 대신에, KLT 추적기(HKLT)의 동질 확장이 사용될 수 있다. 추적의 결과는 상기 이미지들의 상대적 포즈들에 기초하여 상기 랜드마크가 검출된 이미지에서부터 검출된 랜드마크를 이미지들의 범위에 이상적으로 매핑하는 것을 설명하는 한 세트의 원근 변환으로 구성된다. 따라서 이러한 매핑은 상기 시퀀스 내 이미지 범위를 통해 확장되는 '트랙(track)' 형태로 실제(3차원) 공간에서 상기 검출된 랜드마크의 표현을 제공한다. 또, 이는 차량의 오도메트리의 좌표계에서 랜드마크의 삼각 측량된 윤곽을 제공하도록 검출된 랜드마크가 3차원 공간에서 삼각 측량될 수 있게 한다. 이러한 단계들은 각각의 프레임에서 각각 검출된 랜드마크에 대해 수행될 수 있다. 따라서, 이는 각각 검출된 랜드마크(다시 말하면, 랜드마크가 검출된 각각의 프레임에 대해 하나)에 대해 많은 삼각 측량된 윤곽들을 형성하고, 이러한 윤곽들은 (추적 품질에 따라) 대략 오버랩된다. 그 후에 3차원(3D) 표현을 그룹화하고 임의의 극단치(outlier)들을 제거할 수 있다. 따라서 이러한 그룹화는 위양성 필터를 제공하는데, 그 이유는 위양성 또는 그렇지 않으면 정확하지 않은 랜드마크 검출이 3차원 공간에서 산란된 것으로 보인 경향이 있게 되지만, 실제 랜드마크들은 프레임마다 3차원 공간에 정렬하는 경향이 있게 된다. 따라서, 실시 예들에서, 상기 기법들은 상기 이미지들 중 적어도 일부를 처리하여 상기 이미지들 내 하나 이상의 랜드마크 객체들을 검출하는 단계; 상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 상기 이미지들의 연관된 카메라 위치들을 사용하여 랜드마크가 검출된 이미지로부터 검출된 랜드마크를 상기 이미지들의 시퀀스의 하나 이상의 인접한 이미지들 내로 매핑하기 위한 한 세트의 변환들을 결정하는 단계; 상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 상기 매핑에 기초하여 3차원 좌표 공간에서 상기 랜드마크의 표현을 생성하는 단계; 및 각각의 그룹이 동일한 물리적 랜드먀크에 상응하지만 상이한 이미지들에 기록되는 한 세트의 3차원 표현을 포함하도록 상기 3차원 표현들을 함께 그룹화하는 단계를 포함할 수 있다.
랜드마크들을 식별하는 이러한 방법이 그 자체로 신규하고 유리하다고 생각된다.
따라서, 또 다른 실시형태로부터, 도로망의 환경 내 하나 이상의 랜드마크들을 식별하는 방법이 제공되며, 상기 방법은,
도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 상기 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 중 적어도 일부를 처리하여 상기 이미지들 내 하나 이상의 랜드마크 객체들을 검출하는 단계 - 상기 랜드마크 객체들은 상기 도로망의 환경 내 랜드마크들을 나타냄;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 그리고 상기 이미지들의 상기 연관된 카메라 위치를 사용하여, 랜드마크 객체가 검출된 이미지로부터 검출된 랜드마크 객체를 이미지들의 시퀀스의 하나 이상의 인접한 이미지들에 매핑하기 위한 한 세트의 변환들을 결정하는 단계;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대하여, 3차원 좌표 공간에서 상기 랜드마크 객체의 표현을 생성하는 단계;
상기 환경 내 동일한 랜드마크에 상응하는 상이한 이미지들로부터 생성된 한 세트의 3차원 표현들을 결정하는 단계; 및
상기 결정된 한 세트의 3차원 표현들로부터, 상기 한 세트의 3차원 표현들에 의해 표현되는 상기 환경 내 랜드마크를 나타내는 데이터를 생성하는 단계;
를 포함한다.
이러한 실시형태에 따른 방법은 본 발명의 다른 실시형태들 및 실시 예들과 관련하여 위에서 설명한 특징들 중 어느 하나를 포함할 수 있다. 예를 들어, 상기 추적은 일반적으로 KLT 추적기 또는 이와 유사한 것을 사용하여 위에서 설명한 바와 같이 수행될 수 있다.
본 발명은 또한 본 명세서에서 설명한 본 발명의 이러한 실시형태, 또는 그의 실시 예들 중 어느 하나에 따른 방법을 수행하기 위한 시스템에 이르기까지 확장된다.
따라서, 다른 한 실시형태로부터, 도로망의 환경 내 하나 이상의 랜드마크들을 식별하는 시스템이 제공되며, 상기 시스템은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 중 적어도 일부를 처리하여 상기 이미지들 내 하나 이상의 랜드마크 객체들을 검출하는 수단 - 상기 랜드마크 객체들은 상기 도로망의 환경 내 랜드마크들을 나타냄 -;
상기 이미지들 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 그리고 상기 이미지들의 상기 연관된 카메라 위치들을 이용하여, 랜드마크 객체가 검출된 이미지로부터 검출된 랜드마크 객체를 상기 이미지들의 시퀀스의 하나 이상의 인접한 이미지들 내로 매핑하기 위한 한 세트의 변환들을 결정하는 수단;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 3차원 좌표 공간에서 상기 랜드마크 객체의 표현을 생성하는 수단;
상기 환경 내 동일한 랜드마크에 상응하는 상이한 이미지들로부터 생성된 한 세트의 3차원 표현들을 결정하는 수단; 및
상기 결정된 한 세트의 3차원 표현들로부터, 상기 한 세트의 3차원 표현들에 의해 표현되는 상기 환경 내 랜드마크를 나타내는 데이터를 생성하는 수단;
을 포함한다.
본 발명의 이러한 부가적인 실시형태는 적절하게 본 발명의 임의의 다른 실시형태들 또는 실시 예들과 관련하여 본 명세서에 기재한 본 발명의 바람직하고 선택적인 특징들 중 임의의 하나 이상 또는 전부를 포함할 수 있고 본 발명의 바람직하고 선택적인 특징들 중 임의의 하나 이상 또는 전부를 포함하는 것이 바람직하다. 예를 들어, 명시적으로 언급되지는 않았지만, 상기 시스템은 그의 실시형태들 또는 실시 예들 중 어느 하나에서 본 명세서에 상기 방법과 관련하여 설명한 임의의 단계 또는 단계들을 수행하는 수단을 포함할 수 있고, 그 반대일 수도 있다. 상기 방법 또는 시스템과 관련하여 설명한 단계들 중 어느 하나를 수행하는 수단은 하나 이상의 프로세서들 및/또는 처리 회로를 포함할 수 있다. 따라서, 본 발명은 바람직하게는 컴퓨터 구현 발명이며, 본 발명의 실시형태들 또는 실시 예들 중 어느 하나와 관련하여 설명한 단계들 중 임의의 단계는 한 세트의 하나 이상의 프로세서들 및/또는 처리 회로의 제어하에 수행될 수 있다.
상이한 이미지들로부터 3차원 표현들을 그룹화한 결과, 상기 그룹들 각각은 한 세트의 실질적으로 오버랩하는 표현들을 포함하고, 이로써 다수의 상이한 프레임에서 검출된 동일한 물리적 랜드마크에 연관될 수 있다. 다시 말하면, 동일한 물리적 랜드마크에 연관된 임의의 3차원 표현들은 일반적으로 상기 좌표 공간에서 정렬하는 것으로 예상되고 그럼으로써 이러한 기준에 따라 함께 그룹화될 수 있다. 그러나 정확하지 않은 검출들에 기초하여 이루어지는 임의의 3차원 표현들은 상기 좌표 공간에서 흩어져 나타나게 되며, 그럼으로써 극단치들로서 폐기될 수 있으며결과적으로 극단치들로서 폐기될 수 있다(상기 그룹들에서 포함되지 않을 수 있다). 따라서 상기 그룹화는 위양성 또는 이와는 달리 부정확한 랜드마크 검출을 제거하여 상기 랜드마크들을 더 정확하게 식별할 수 있게 한다.
그 다음에, 각각의 그룹 내 3차원 표현은 상기 랜드마크의 단일 2차원 윤곽을 결정하고 그리고/또는 상기 좌표 공간에서 상기 랜드마크의 재구성을 생성하도록 함께 융합될 수 있다. 상기 융합된 3차원 윤곽들은 상기 랜드마크가 더 정확하게 위치되고 에서 더 정확하게 위치되고 각각의 이미지(프레임)로부터 잘리게 될 수 있다. 상기 잘림을 오버레이함으로써, 표지(sign)의 융합된 이미지가 생성될 수 있다. 이러한 방식으로, 오클루젼(occlusion)들 또는 정반사성 하이라이트들과 같은 결함들이 상기 랜드마크의 이미지로부터 제거될 수 있고 또한 예컨대 상기 잘림들 간 높은 컬러 편차를 지니는 픽셀들을 마스킹함으로써 상기 랜드마크의 경계들을 보다 신뢰성 있게 검출하는 것이 가능하다. 상기 마스킹된 마스킹된 잘림의 픽셀 윤곽들은 차량의 오도메트리에 관한 상기 랜드마트 형상, 픽셀 콘텐츠 및 위치의 더 정확한 3-차원 표현을 제공하도록 벡터화될 수 있다. 이러한 정확한 표현은 그 후에 예컨대 상기 이미지들로부터 획득된 표현을 상기 기준 맵의 기준 랜드마크 형상과 연관시킴으로써 국부화에 사용될 수 있다.
상기 데이터는 본 방법에 의해 생성된 환경 내 랜드마크를 나타내며, 이는 또한 본 명세서에서 상기 환경 내 랜드마크의 위치; 상기 환경 내 랜드마크의 방위; 상기 랜드마크의 형상을 나타내는 2차원(2D) 폴리라인; 2D 폴리라인에 적용될 때 상기 폴리라인을 3D 좌표 공간(상기 환경을 나타냄)으로 변형시키는 포즈 매트릭스. 및 2D 폴리라인에 포함된 콘텐츠를 설명하는 이미지 중 적어도 하나, 일부 또는 모두인 것이 바람직한 "랜드마크 관측"이라고 언급된다.
실시 예들에서, "그라운드 메쉬(ground mesh)"는 상기 이미지들의 시퀀스로부터 생성된다. 예를 들어, 상기 차량이 주행하고 있는 영역 내 그라운드 레벨 피처들 (단지) 포함하는 "그라운드 메쉬" 이미지가 생성될 수 있다. 상기 그라운드 메쉬는 예컨대 ("도로", "도로 표시", "차선 표시" 등과 같은) 지면-레벨 객체 클래스들이 할당된 임의의 픽셀들을 추출 또는 사용함으로써 상기 차량 환경의 의미론적 세그멘테이션으로부터 획득된 객체 클래스(들)를 사용하여 생성될 수 있다. 그러나 상기 의미론적 세그멘테이션은 완벽하지 않을 수 있으며, 경우에 따라서는 상기 의미론적 세그멘테이션이 약간의 잘못된 값, 다시 말하면 그라운드 레벨 포인트들이 그라운드상에 있지 않을 때라도 그라운드 레벨 포인트들로서 일부 포인트들을 선택하는 약간의 잘못된 값을 줄 수 있다. 따라서, 실시 예들에서, 상기 그라운드 메시 생성의 정확도를 개선하기 위해, 포인트 클라우드는 상기 그라운드 포인트들을 추가로 필터링하거나 선택하는데 사용될 수 있다. 상기 포인트 클라우드는 그 자체로 또는 바람직하게는 상기 차량 환경의 의미론적 세그멘테이션으로부터의 객체 클래스들과 함께 사용될 수 있다. 예를 들어, 상기 그라운드 메쉬는 위에서 설명한 DSO 프로세스로부터의 출력으로서 희소 포인트 클라우드를 사용하여 생성될 수 있다. 그러나 대안으로 또는 추가로, 상기 그라운드 메쉬는 상기 픽셀 깊이들을 사용하여 스테레오 이미지들로부터 직접 획득된 스테레오 포인트 클라우드를 사용하여 생성될 수 있다. 예를 들어, DSO 포인트 클라우드의 희소성 때문에 DSO 포인트 클라우드를 보완하기 위해 스테레오 포인트 클라우드를 사용하는 것이 유용할 수 있다. 예를 들어, 상기 스테레오 포인트 클라우드를 사용하여 DSO 포인트 클라우드 내 불충분한 데이터가 있는 고도(elevation)를 보간하고 그렇지 않으면 DSO 포인트 클라우드를 사용할 수 있다. 대안으로, 상기 DSO 포인트 클라우드가 너무 희소한 경우 DSO 포인트 클라우드 대신에 스테레오 포인트 클라우드를 사용할 수 있다. 일반적으로, 여러 적절한 기법이 그라운드 메쉬를 생성하기 위해 고려된다.
상기 그라운드 메쉬는 상기 도로망의 그라운드 레벨 피처들의 지면 수준 기능의 형상 보정된(orthorectified) 이미지를 생성하는 데 사용될 수 있다. 일반적으로, 형상 보정된 이미지는 그라운드 피처들의 정확한 그라운드 위치에서 위로부터 보았을 때 그라운드 피처들을 묘사하는 "스케일 보정된" 이미지이며, 여기서 카메라 및 비행 특성 그리고 기복 변위(relief displacement)로 인한 왜곡이 사진 측량 기법들을 사용하여 제거된 것이 바람직합니다. 형상 보정된 이미지는 기하학적으로 보정된("형상 보정된") 항공사진의 일종이고 그럼으로써 상기 사진의 스케일이 균일하게 되는데, 이것이 의미하는 것은 상기 항공사진이 맵과 동일한 것으로 간주될 수 있음을 의미한다. 형상 보정된 이미지는 지형학적 기복, 렌즈 왜곡 및 카메라 기울기에 맞게 조정된 지표면의 정확한 표현이기 때문에 실제 거리를 측정하는 데 사용될 수 있다. 형상 보정된 뷰들은 형상 보정된 뷰가 기준 평면과 90도로 투영하는 반면에 원근 뷰들이 단일 고정 위치에서 상기 표면으로부터 기준 평면 상에 투영하기 때문에 원근 뷰와는 다르다. 맵 투영은 원통형, 의사 원통형, 하이브리드, 원추형, 의사 원추형 또는 방위각과 같은 표면에 의한 투영일 수 있다. 상기 투영은 메트릭 속성을 보존한 투영일 수 있다. 맵 투영들이 직각 투영이라는 공통점이 맵 투영에 있는데, 이것이 의미하는 것은 모든 픽셀이 기준 평면의 표면(지구 형상에 가까운 타원)에 수직인 선을 따라 보인 기준 평면의 표면상의 포인트를 나타냄을 의미한다. 따라서, 지표면의 형상 보정된 이미지의 모든 픽셀은 지구의 형상에 근사한 타원에 수직인 선을 따라 보이는 지표면의 뷰에 실질적으로 상응한다. 형상 보정된 이미지는 지리적 좌표 기준 시스템의 한 지점에 대한 형상 보정된 이미지의 임의의 픽셀을 기준으로 하는 알고리즘을 가능하게 하는 메타 데이터를 포함한다. 각각의 픽셀의 지구 형상에 근사한 타원체 상의 정확한 위치가 알려지기 때문에, 그라운드 피처들의 위치 및 크기, 예컨대 수평 도로 정보가 형상 보정된 이미지로부터 회수될 수 있다.
실시 예들에서, 상기 형상 보정된 도로 이미지는 차량이 주행하고 있는 영역의 위에서 아래로 내려다본 뷰를 포함하는 버즈 아이 모자이크(bird 's eye mosaic)를 포함할 수 있으며, 여기서 이미지들로부터 추출된 피처들이 그라운드 메쉬 상에 투영되고 함께 혼합(blend)된다. 예를 들어, 상기 기록된 이미지들 각각은 그라운드 상에 다시 투영될 수 있다. 이미지에 연관된 카메라 포즈에 대한 지식을 사용하여, 결과적으로는 여러 다른 관점에서 상기 이미지를 그라운드 상에 투영할 수 있다. 이는 여러 다른 이미지에 대해 수행될 수 있으며, 다양한 다른 관점으로부터의 결과적인 투영들이 함께 겹쳐져서 혼합될 수 있다. 그라운드상에 투영된 이미지 모두의 겹침은 결과적으로 그라운드의 외관을 재현하는 이미지를 생성하고 이는 차후에 임의의 관점으로부터 필요에 따라 보일 수 있게 된다(버즈 아이 뷰). 대안으로 또는 추가로, 상기 형상 보정된 도로 이미지는 예컨대 상기 버즈 아이 모자이크로부터 결정된 바와 같이 곧은 이동 뷰를 포함하는 선형적으로 등록된 이미지를 포함할 수 있다. 선형적으로 등록된 이미지(linearly registered image; LRI)의 생성은 통상적으로 궤적에 수직인 카메라의 궤도(다시 말하면, 차량의 자아 모션)를 따라 고르게 이격된 슬라이스들을 생성하는 것을 포함할 수 있다. LRI의 생성에 관한 부가적인 세부내용은 발명의 명칭이 "Method of capturing linear features along a reference-line across a surface for use in a map database"인 WO 2009/045096 A1에서 찾아 볼 수 있으며, 그의 전체 내용은 인용에 의해 본 명세서에 보완된다. 그런 다음에 어느 임의의 포인트에서 높이가 샘플링되는 것을 허용하도록 그라운드 메쉬의 높이 맵이 생성될 수 있다. 그리고 나서, 상기 선형적으로 등록된 이미지는 슬라이스들을 따라 샘플 높이 맵을 생성하고 샘플 포인트를 보는 카메라 이미지들 상에 각각의 샘플 포인트를 투영한 다음에 혼합된 이미지를 생성하기 위해 픽셀 값들을 적절히 평균화함으로써 위에서 설명한 바와 유사한 방식으로 그라운드 상에 카메라 이미지들을 투영하여 렌더링될 수 있다. 상기 차량 환경의 의미론적 세그멘테이션으로부터 결정될 수 있는 이질적이거나 또는 원하지 않는 피처들(예컨대, 차량의 보닛)을 제거하기 위해 상기 형상 보정된 도로 이미지를 생성할 때 이미지 마스크가 사용될 수 있다.
실시 예들에서, 상기 이미지 내 각각의 픽셀의 픽셀 값이 도로 이미지를 생성하는데 사용된 이미지들로부터 검출된 환경 내 위치의 컬러를 나타내는 형상 보정된 도로 이미지가 생성된다. 따라서, 각각의 픽셀 값은 바람직하게는 다수의 값, 예컨대 적색-녹색-청색(RGB) 컬러 공간을 사용할 때 3개의 값을 갖는 벡터를 포함한다.
추가로 또는 대안으로, 형상 보정된 도로 이미지가 생성되는데, 이 경우에 상기 이미지 내 각각의 픽셀의 픽셀 값이 차량 환경의 의미론적 세그멘테이션으로부터의 출력으로서 상기 환경 내 위치가 차선 표시 객체인 확률을 나타낸다. 예를 들어, 그레이스케일 컬러 공간을 사용하는 경우, 차선 표시 객체가 될 확률이 100%로 할당된 임의의 픽셀들은 '백색'일 수 있고 0%의 확률을 지니는 픽셀은 '흑색'일 수 있으며, 다른 픽셀 값들은 대응하는 확률에 기초하여 적절히 선택된다. 이러한 방식으로 차선 표시의 의미론적 세그멘테이션을 수행해야 하는 더 선명한 이미지를 제공하는, 표시 객체들을 강조하는 "필터링된" 그레이스케일 정투영 도로 이미지가 생성될 수 있다. 그 후에, 이러한 이미지는 특정 차선 표시 유형 클래스들에 따라 픽셀들을 분류하기 위한 특정 차선 표시의 의미론적 세그멘테이션 단계의 대상이 될 수도 있고 예컨대 훈련된 컨버루션 신경망을 사용하여 특정 유형의 차선 표시들로서 상기 이미지 내 객체들을 식별 및 분류하기 위한 차선 표시 객체 검출 및 인식의 대상이 될 수도 있다. 차선 표시 클래스들의 예들에는 단일 실선, 단일의 짧은 점선, 단일의 긴 점선, 이중 실선, 이중 점선, 아일랜드 경계선(island border) 등 중 하나 이상을 포함할 수 있다.
차선 형상들을 식별하는 이러한 방법은 그 자체로 새롭고 유리하다고 생각된다.
따라서, 또 다른 실시형태로부터, 도로망의 하나 이상의 도로들 상에서 차선 표시의 위치 및 형상을 결정하는 방법이 제공되며, 상기 방법은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 중 적어도 일부를 처리하여 의미론적 세그멘테이션을 수행하고 그럼으로써 상기 처리된 이미지들의 각각의 픽셀이 상기 환경 내 차선 표시를 나타내는 확률값으로 적어도 상기 처리된 이미지들의 각각의 픽셀이 할당되게 하는 단계;
이미지들의 시퀀스의 이미지들 중 적어도 일부를 처리하여 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 도로 이미지를 생성하는 단계 - 상기 도로 이미지의 각각의 픽셀에 대한 픽셀 값은 상기 도로 이미지를 생성하는데 사용된 상기 이미지들 내 상응하는 픽셀들의 상기 할당된 확률값들에 기초하여 이루어짐 -;
상기 도로 이미지를 처리하여 상기 이미지 내 하나 이상의 차선 표시 객체들을 검출 및 분류하는 단계 - 상기 차선 마킹 객체들은 는 상기 도로 이미지 내에 묘사된 상기 하나 이상의 도로들 상의 차선 표시를 나타냄 -; 및
상기 검출되고 분류된 차선 표시 객체들을 사용해 상기 도로 이미지를 처리하여 상기 차선 표시 객체에 의해 표현된 차선 표시들의 위치 및 형상을 결정하는 단계; 를 포함한다.
여기서 이해하겠지만, 이러한 실시형태에 따른 방법은 일반적으로 적어도 상호 배타적이지 않은 범위에 이르기까지 본 발명의 다른 실시형태들 및 실시 예들과 관련하여 위에서 설명한 특징들 중 어느 하나를 포함할 수 있다.
본 발명은 또한 본 발명의 이러한 실시형태, 또는 본 명세서에서 설명된 그의 실시 예들 중 어느 하나에 따른 방법을 수행하기 위한 시스템에 이르기까지 확장된다.
따라서, 또 다른 실시형태로부터, 도로망의 하나 이상의 도로들 상에서 차선 표시들의 위치 및 형상을 결정하는 시스템이 제공되며, 상기 시스템은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 상기 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 중 적어도 일부를 처리하여 의미론적 세그멘테이션을 수행하고, 그럼으로써 상기 처리된 이미지들의 각각의 픽셀이 적어도 상기 픽셀이 상기 환경 내 차선 표시를 나타내는 확률값으로 할당되게 하는 수단;
상기 이미지들의 시퀀스의 이미지들 중 적어도 일부를 처리하여 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 도로 이미지를 생성하는 수단 - 상기 도로 이미지 내 각각의 픽셀에 대한 픽셀 값이 상기 도로 이미지를 생성하는데 사용된 상기 이미지들 내 상응하는 픽셀들의 상기 할당된 확률값들에 기초하여 이루어짐 -;
상기 도로 이미지를 처리하여 상기이미지 내 하나 이상의 차선 표시 객체들을 검출하고 분류하는 수단 - 상기 차선 표시 객체들은 상기 도로 이미지에 묘사된 하나 이상의 도로들 상의 차선 표시를 나타냄 -; 및
상기 검출되고 분류된 차선 표시 객체들을 사용해 상기 도로 이미지를 처리하여 상기 차선 표시 객체들에 의해 표현된 차선 표시들의 위치 및 형상을 결정하는 수단; 을 포함한다.
본 발명의 이러한 부가적인 실시형태는 적절하게 본 발명의 임의의 다른 실시형태들 또는 실시 예들과 관련하여 본원에 기재된 본 발명의 바람직하고 선택적 특징 중 어느 하나 또는 모두를 포함할 수 있고 포함하는 것이 바람직하다. 예를 들어, 명시적으로 언급되지는 않았지만, 상기 시스템은 그의 실시형태들 또는 실시 예들 중 어느 하나에서 본 명세서에 본 방법과 관련하여 설명한 임의의 단계 또는 단계들을 수행하는 수단을 포함할 수 있고, 그 반대일 수도 있다. 상기 방법 또는 시스템과 관련하여 설명한 단계들 중 어느 하나를 수행하는 수단은 하나 이상의 프로세서들 및/또는 처리 회로를 포함할 수 있다. 따라서, 본 발명은 바람직하게는 컴퓨터 구현 발명이며, 본 발명의 실시형태들 또는 실시 예들 중 어느 하나와 관련하여 설명한 단계들 중 어느 하나는 한 세트의 하나 이상의 프로세서들 및/또는 처리 회로의 제어하에 수행될 수 있다.
따라서, 부가적인 의미론적 세그멘테이션 단계를 포함할 수 있는 차선 표시 검출 및 분류로부터 초래되는 식별된 차선 표시들은 로컬 맵 표현에 통합시키기 위한 차선 표시 관측을 생성하는 데 사용될 수 있다. 예를 들어, 상기 차선 표시 관측은 차량이 주행하고 있는 도로망의 영역에서 검출된 차선 표시 객체들을 포함할 수 있다. 따라서, 차선 형상들은 로컬 맵 표현(및/또는 동일 기준으로 업데이트할 때 기준 맵)에 통합될 수 있다.
위에서 언급한 바와 같이, 상기 그라운드 메쉬 및 형상 보정된 도로 이미지들은 차선 관측들을 생성하는데 사용된다. 그러나 여기서 이해하겠지만, 그라운드 메쉬 및/또는 형상 보정된 도로 이미지는 순전히 시각화를 위해 생성될 수 있고 차선 관찰 피처 생성의 후속 단계에서 반드시 사용될 필요는 없다.
본 발명에 따르면, 로컬 맵 표현은 획득된 이미지들 및 이들에 연관된 카메라 위치들 중 적어도 일부를 사용하는 것이다. 상기 로컬 맵 표현은 일반적으로 차량이 주행하고 있는 도로망의 영역을 나타낸다. 실시 예들에서, 상기 로컬 맵 표현은 실질적으로 위에서 설명한 바와 같이 생성될 수 있는 도로망 영역의 형상 보정된 이미지를 포함할 수 있다. 바람직하게는, 상기 로컬 맵 표현은 위에서 설명한 바와 같이 그라운드 메쉬 및/또는 형상 보정된 도로 이미지를 포함한다. 원칙적으로, 상기 로컬 맵 표현은 단지 그라운드 메쉬 및/또는 형상 보정된 도로 이미지만을 포함할 수 있다. 그러나 바람직하게는, 상기 로컬 맵 표현은 또한 위에서 설명한 바와 같이 차선 관측 및 랜드마크 관측 중 하나 또는 둘 다를 포함한다. 예를 들어, 상기 차선 표시 객체들 및/또는 랜드마크들은 적절하게 상기 로컬 맵 표현을 형성하기 위해 상기 그라운드 메쉬 및/또는 형상 보정된 도로 이미지에 적합하게 엠베드(embed)될 수 있다. 대안으로, 상기 로컬 맵 표현은, 예컨대 상기 그라운드 메쉬 및/또는 형상 보정된 도로 이미지 없이, 상기 차선 관측 및 랜드마크 관측 중 하나 또는 둘 다를 포함한다.
따라서, 생성되는 로컬 맵 표현은 일반적으로 차량이 주행하고 있는 영역에서 도로망의 이미지 및 도로망의 환경을 포함한다. 상기 로컬 맵 표현은 그러한 영역에서 도로망의 환경을 보여주는 하향식 2차원 이미지를 포함할 수 있다. 그러나 상기 로컬 맵 표현은 또한 그러한 영역에서 도로망의 환경을 보여주는 3차원 이미지를 포함할 수 있다. 상기 로컬 맵 표현은 또한, 상기 이미지 내에 또는 그 상에 엠베드되는 하나 이상의 피처들을 포함할 수 있다. 경우에 따라 상기 로컬 맵 표현에는 하나 이상의 "키(key)" 이미지들(또는 프레임들)이 포함될 수도 있다. 예를 들어, 상기 로컬 맵 표현은 상기 차량에 연관된 카메라(들)로부터 획득된 복수의 이미지들 중 하나 이상을 포함할 수 있다.
상기 로컬 맵 표현은 일단 생성되면 기준 맵 섹션과 비교되거나 매치(match)된다. 상기 기준 맵 섹션은 차량이 주행하고 있는 도로망 영역, 다시 말하면 상기 이미지들이 획득된 영역을 적어도 커버하는 섹션이다. 원칙적으로 상기 비교는 내부 맵 레포지토리 내 전체(전역) 맵에 기초하여 이루어질 수 있게 된다. 그러나 실제로, 상기 기준 맵 섹션은 예컨대 GNSS 또는 다른 위치 데이터를 사용하거나 이전 국부화 결과로부터 획득될 수 있는 바와 같이, 차량 위치의 근사한 또는 대략적인 지식에 기초하여 선택될 수 있다. 따라서, 상기 기준 맵 섹션의 영역은 차량이 (현재) 주행하고 있는 도로망 영역에 거의 또는 대략 상응할 수 있다.
예를 들어, 상기 로컬 맵 표현은 상응하는 기준 맵 섹션과 정렬될 수 있다. 위에서 설명한 랜드마크 관측들 및 도로/차선 형상들과 같은 로컬 맵 표현에 포함되는 임의의 피처는 일반적으로 이러한 매칭을 수행하는 데 사용될 수 있다. 일반적으로, 상기 정렬은 임의의 적절하고 바람직한 방식으로 수행될 수 있다. 예를 들어, 상기 로컬 맵 표현이 상기 도로망의 이미지를 포함하는 경우, 상기 이미지는 그 후에 예컨대 원하는 매칭을 수행하기 위해 기준 맵 이미지에 대해 픽셀(또는 블록) 방식으로 비교될 수 있다. 대안으로, 상기 로컬 맵 표현이 차량에 연관된 카메라(들)로부터 획득된 복수의 이미지들 중 하나 이상을 포함한다. 이러한 키 이미지들은 그 후에 예컨대 기준 맵의 이미지들과 정렬되도록 상기 이미지들을 적절하게 변환함으로써 상기 기준 맵에 저장된 이미지들과 비교될 수 있다. 그러나 바람직하게는, 상기 비교가 하나 이상의 피처들, 예컨대 상기 기준 맵 섹션에서의 상응하는 피처들의 위치들과 상기 로컬 맵 표현의 하나 이상의 피처들, 예컨대 랜드마크들 및/또는 차선 표시들의 위치들을 매치 및/또는 정렬하는 것을 포함한다. 이러한 방식으로, 차량의 기준 프레임으로부터 기준 맵 프레임으로 이동하는 데 필요한 변환이 결정될 수 있다. 이러한 매칭에 기초하여, 상기 도로망 내 차량의 정확한 지리적 위치 및 방위가 결과적으로 결정될 수 있다.
대안으로 또는 추가로, 위에서 설명한 바와 같이, 상기 매칭은 맵 생성 및/또는 맵 업데이트를 목적으로 사용될 수 있다. 예를 들어, 상기 기준 맵 섹션이 오래되었거나 하나 이상의 오차들을 포함하고 있음을 상기 매칭이 나타낼 때, 예컨대, 상기 로컬 맵 표현이 상기 기준 맵 섹션에 존재하지 않은 하나 이상의 피처들을 포함하는 경우에나, 또는 하나 이상의 피처들이 변경되거나 상기 도로망의 환경에 더는 존재하지 않은 것을 상기 로컬 맵 표현이 나타내는 경우에, 상기 기준 맵이 그에 따라 업데이트될 수 있다.
상기 기준 맵 섹션은 맵 레포지토리로부터 추출될 수 있다. 상기 맵 레포지토리는 일반적으로 상기 프로세서에 의해 액세스 가능한 메모리에 저장될 수 있으며, 차량이 주행하고 있는 영역을 (적어도) 커버하는 것이 일반적인 사전 컴파일되거나 다운로드된 전자 맵을 포함할 수 있다. 다시 말하면, 상기 맵 레포지토리는 상기 차량에 국부적일 수 있다. 그러나 실시 예들에서, 상기 기준 맵은 예컨대 클라우드에 위치한 전역(제3자) 맵 레포지토리 상에 저장 및 유지되고, 그럼으로써 상기 기준 맵이 상기 차량의 사용자에 의해(또는 상기 차량 자체에 의해 자동으로) 다운로드될 수 있다. 이 경우에, 상기 도로망 내에서 주행하는 복수의 상이한 차량들에 의해 생성된 데이터는 예컨대 여기에 설명한 바와 같이 상기 전역 맵 레포지토리를 업데이트하는데 사용될 수 있다.
실시 예들에서, 본 명세서에서 제시된 기법들은 실질적으로 실시간으로, 다시 말하면 예컨대 자율 내비게이션 또는 주행을 목적으로 차량이 도로망을 가로지를 때 상기 차량을 국부화시키도록 수행될 수 있다. 따라서, 상기 영역은 상기 차량이 현재 주행하고 있는 도로망 영역일 수 있다. 그러나 원칙적으로, 본 기법들은 예컨대 교정 또는 맵 생성 목적으로 오프라인 또는 과거 데이터에 적용될 수 있고, 이 경우에 상기 영역은 복수의 이미지들이 획득된 시간에 상기 차량이 주행하고 있던 영역을 나타낼 수 있다. 상기 로컬 맵 표현은 상기 이미지들이 획득된 도로망 환경의 "지리 좌표화된(georeferenced)" 관측으로 간주될 수 있다. 다시 말하면, 상기 이미지들은 일반적으로 알려진 위치에서(다시 말하면, 알려진, 대략 정의된 영역 내에서) 획득될 수 있고, 결과적으로는 상기 로컬 맵 표현은 알려진 위치에서 환경의 관측을 구축하는데 사용될 수 있다.
본 명세서에서 설명한 국부화 및 매핑 기법들은 오프-보드(off-board)(다시 말하면 차량으로부터 멀리 떨어져 있는) 프로세서에 의해 전적으로 수행될 수 있다. 예를 들어, 상기 차량에 연관된 하나 이상의 카메라들에 의해 획득된 이미지 데이터는 오프-보드 프로세서로 송신될 수 있으며, 상기 오프-보드 프로세서는 상기 이미지 데이터의 수신시 상기 도로망 내 차량의 지리적 위치 및 방위를 결정(예컨대, 그 후에 이러한 정보를 필요에 따라 상기 차량으로 복귀)하도록 진행한다. 상기 처리의 적어도 일부는 상기 클라우드에서 수행될 수 있다. 그러나 실시 예들에서, 상기 단계들 중 적어도 일부는 차량에 탑재된 프로세서에 의해 수행될 수 있다. 일반적으로, 여기서 고려할 점은 본 명세서에서 설명한 다양한 처리 단계가 차량의 온-보드(on-board) 프로세서 및 오프-보드(off-board) 프로세서 사이에 필요에 따라 여러 적절한 방식으로 분배될 수 있다. 예를 들어, 일부 예들에서, 하나 이상의 카메라들, 온-보드 프로세서 및 원격 서버 및/또는 프로세서와 통신하기 위한 무선 통신 모듈을 포함하는 자율 주행 차량을 포함하는 시스템이 제공된다. 상기 카메라들에 의해 획득된 이미지 데이터는 그 후에 온-보드 프로세서에 의해 부분적으로 처리되거나 처리를 위해 원격 서버 및/또는 프로세서에 전송될 수 있다. 상기 내부 맵 레포지토리는 국부적으로나 또는 원격으로 저장될 수 있다. 어느 경우든 간에, 상기 내부 맵 레포지토리는 상기 도로망 내 다른 차량 및/또는 맵 레포지토리 소유자에 의해 제공되는 중앙 업데이트과 함께 본 명세서에서 제시한 기법들에 따라 상기 차량으로부터 획득된 데이터를 사용하여 정기적으로 업데이트될 수 있다.
본 발명의 또 다른 실시형태로부터, 옵서버의 지리적 위치 및 방위를 결정하는 방법이 제공되며, 상기 방법은, 위치결정 시스템에서, 알려진 위치에 기록된 복수의 이미지들을 제공하는 단계; 상기 복수의 이미지들을 상기 알려진 위치에서의 풍경의 일관된 로컬 맵 표현으로 집성하는 단계; 사전 컴파일된 내부 맵 레포지토리로부터 기준 맵 섹션을 추출하는 단계 - 상기 기준 맵 섹션의 범위는 상기 복수의 이미지들에 의해 잠재적으로 커버되는 대략적인 영역에 상응함 -; 상기 풍경의 로컬 맵 표현을 상기 기준 맵 섹션에 대해 매치 및 정렬하는 단계; 맵 생성 및/또는 업데이트를 목적으로 이미지 시퀀스 키 프레임들 및 인식된 객체 정보와 같은 선택된 소스 데이터를 상기 내부 맵 레포지토리에 제공하는 단계; 및 상기 매칭으로부터 지리적 위치 및 방위를 결정하는 단계를 포함한다.
실시 예들에서, 상기 복수의 이미지들의 집성은 상기 복수의 이미지들로부터의 모든 이미지들이 상이한 시점으로부터 하나의 동일한 풍경을 묘사하고 있다는 가정(모션 가정으로부터의 구조)하에 3D 재구성을 수행하기 위한 제1 세트의 피처들을 사용하는 단계를 더 포함한다.
상기 방법은 제2 세트의 피처들을 추출하기 위해 상기 로컬 맵 표현을 사용하는 단계, 및 상기 매칭 및 정렬을 위해 제2 세트의 피처들을 사용하는 단계를 더 포함할 수 있다. 실시 예들에서, 상기 제2 세트의 피처들은 다음 중 적어도 하나를 포함한다:
위에서 설명한 방법은 전자 맵을 생성하는 데 사용될 수 있다. 따라서, 본 발명의 부가적인 실시형태는 전자 맵을 생성하기 위한 위에서 설명한 방법의 사용에 관한 것이다.
본 발명의 또 다른 실시형태로부터, 카메라, 및 온-보드 처리 유닛을 포함하는 위치결정 시스템이 제공되며, 상기 시스템은 앞서 언급한 청구항들 중 적어도 하나에 따른 방법에 의해 옵서버의 지리적 위치 및 방위를 결정하기 위해 구성된다.
여기에서 설명한 기술의 다양한 기능은 임의의 바람직하고 적절한 방식으로 수행될 수 있다. 예를 들어, 여기에서 설명한 기술의 단계들 및 기능들은 필요에 따라 하드웨어 또는 소프트웨어로 구현될 수 있다. 따라서, 예를 들어, 달리 나타내지 않는 한, 여기에서 설명한 기법들의 다양한 프로세서, 기능 요소, 단계 및 "수단"은 원하는 방식으로 동작하도록 프로그램될 수 있는 적절하게 전용된 하드웨어 요소(처리 회로) 및/또는 프로그램가능 하드웨어 요소들(처리 회로)과 같은 다양한 단계 또는 기능 등을 수행하도록 동작할 수 있는 임의의 적합한 프로세서, 프로세서들, 제어기 또는 제어기들, 기능 유닛들, 회로, 처리 로직, 마이크로프로세서 장치 등을 포함할 수 있다. 예를 들어, 본 명세서에서 설명한 실시태양들 또는 실시 예들 중 어느 하나에 따른 방법의 단계들 중 어느 하나를 수행하는 수단은 일반적으로 그렇게 하기 위한 한 세트의 컴퓨터 판독가능 명령어들로 구성된, 예컨대 프로그램된 한 세트의 하나 이상의 프로세서들(또는 처리 회로)을 포함할 수 있다. 주어진 단계는 다른 어느 단계에 대해 동일한 또는 다른 한 세트의 프로세서들을 사용하여 수행될 수 있다. 임의의 주어진 단계는 여러 세트의 프로세서들의 조합을 사용하여 수행될 수 있다. 상기 시스템은 예를 들어, 유익하고 유용한 데이터를 포함하는 적어도 하나의 레포지토리를 저장하기 위한, 컴퓨터 메모리와 같은 데이터 저장 수단을 부가적으로 포함할 수 있다. 본 발명에 따른 방법들 중 어느 하나는 적어도 부분적으로 소프트웨어, 예컨대 컴퓨터 프로그램을 사용하여 구현될 수 있다. 따라서, 본 발명은 또한 본 발명의 실시형태들 또는 실시 예들 중 어느 하나에 따른 방법을 수행하거나 또는 시스템 및/또는 서버로 하여금 본 발명의 실시형태들 또는 실시 예들 중 어느 하나에 따른 방법을 수행하게 하도록 실행 가능한 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 프로그램 제품에까지 확장된다. 따라서, 본 발명은 본 발명의 실시 예들 중 어느 하나에 따른 시스템상에서 실행될 때 상기 시스템의 한 세트의 하나 이상의 프로세서들로 하여금 여기에서 설명한 방법의 실시형태들 또는 실시 예들 중 어느 하나의 단계를 수행하게 하도록 실행 가능한 컴퓨터 판독가능 명령어들을 포함하는, 바람직하게는 비-일시적 컴퓨터 프로그램 제품에 이르기까지 확장된다.
여기서 이해하겠지만, 본 발명의 부가적인 실시형태들 중 어느 하나는 상호 모순되지 않을 정도까지 본 발명의 다른 실시형태들 및 실시 예들과 관련하여 설명한 본 발명의 특징들 중 어느 하나 또는 모두를 포함할 수 있다. 특히, 여기서 이해하겠지만, 제2 및 부가적인 실시형태들에서의 본 발명은 본 발명의 제1 실시형태의 방법과 관련하여 설명한 특징들 중 어느 하나 또는 모두를 포함할 수 있고, 그 반대로도 이루어질 수 있다. 따라서, 명시적으로 언급되지 않는다면, 본 방법은 사기 시스템 또는 장치와 관련하여 설명한 기능들 중 어느 하나(또는 모두)를 수행하는 단계들을 포함할 수 있으며, 본 발명의 시스템은 여기에 설명한 방법 단계들 중 어느 하나(또는 모두)를 수행하도록 구성될 수 있다. 예를 들어, 상기 시스템은 언급된 단계들을 수행하도록 동작 가능하거나 구성된 한 세트의 하나 이상의 프로세서들을 포함할 수 있다. 어느 하나의 단계는 상기 프로세서들 중 어느 하나에 의해서나 또는 다수의 프로세스에 의해 수행될 수 있다.
이러한 실시 예들의 이점은 이하에서 설명되며, 이러한 실시 예들 각각의 부가적인 세부사항 및 특징은 첨부된 종속 청구항들 및 하기 상세한 설명의 다른 부분에서 정의된다.
여기에 설명한 기술의 다양한 실시 예는 첨부도면들을 참조하여 단지 예로서 설명될 것이다 :
도 1은 이미지 시퀀스 및 상기 이미지 시퀀스가 로컬 맵 내로 기록, 집성된 대략적인 위치가 어떻게 상기 집성된 로컬 맵에 대략 상응하는 섹션 범위(영역)를 지니는, 맵 레포지토리로부터 추출된 기준 맵 섹션과 비교될 수 있고, 상기 기록된 이미지 시퀀스에 기초하여 지리적 위치 및 방위를 결정함과 아울러, 상기 맵 레포지토리를 업데이트하는데 사용될 수 있는 키 프레임들 및 객체 정보를 식별하는데 사용될 수 있는지를 보여주는, 본 개시내용의 한 실시 예에 따른 시각적 전역 위치결정 및 맵핑 시스템의 개념을 도시하는 도면이다.
도 2는 자율 주행 차량에서 오도메트리 지원을 제공하기 위한 조합된 시각적 전역 매핑 시스템(V-GMS) 및 시각적 전역 위치결정 시스템(V-GPS)의 일 예를 개략적으로 보여주는 도면이다.
도 3은 자율 주행 차량에 대한 V-GPS 오더메트리 지원의 또 다른 예를 개략적으로 보여주는 도면이다.
도 4는 드론을 사용하는 오프-보드(off-board) V-GPS/V-GMS의 일 예를 개략적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예들에 따른 V-GMS/V-GPS 시스템의 상호 작용 및 기능 유닛들을 개략적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예들에 따른 로컬 맵 집성 동안에 수행될 수 있는 처리 흐름의 일 예를 보여주는 도면이다.
도 7은 실시 예들에서 예컨대 처리중인 이미지들에 연관된 카메라 포즈들을 결정하는데 사용될 수 있는 스테레오 '직접 희소 오도메트리(direct sparse odometry; DSO) 기법의 원리를 도시하는 도면이다.
도 8은 DSO 기법의 부가적인 세부사항을 보여주는 도면이다.
도 9는 본 발명의 실시 예들에서 객체 클래스에 따라 상기 이미지들을 분류하는데 사용될 수 있는 의미론적 세그멘테이션 접근법의 일 예를 보여주는 도면이다.
도 10 - 도 15는 교통 표지와 같은 랜드마크 객체가 프레임 간에 어떻게 추적되고 추적될 수 있는지를 도시하는 도면들이다.
도 16은 다른(하향식) 원근으로부터 도로 형상의 뷰를 생성하기 위해 (2D) 이미지들이 상기 그라운드 상에 투영될 수 있는 방법을 보여주는 도면이다.
도 17a, 도 17b 및 도 17c는 각각 텅(tongue) 그라운드 메쉬, 래스터 그라운드 메쉬 및 텅 및 래스터 그라운드 메쉬 중첩을 보여주는 도면들이다.
도 18은 픽셀 값들이 차선 표시 객체들을 더 강조하도록 의미론적 세그멘테이션에 기초하여 설정되는 경우에 도로 이미지가 생성될 수 있는 방법을 보여주는 도면이다.
도 19 및 도 20은 본 발명의 일부 실시 예들에 따라 식별된 차선 마커 객체가 처리될 수 있는 방법을 보여주는 도면들이다.
도 21은 도로망 영역에 대한 차선 형상이 어떻게 생성될 수 있는지를 보여주는 도면이다.
도 22는 본 발명의 한 실시 예에 따른 유닛 A(도 5)의 예시를 보여주는 도면이다.
도 23은 본 발명의 한 실시 예에 따른 유닛 C(도 5)의 예시를 제공하는 도면이다.
도 2는 자율 주행 차량에서 오도메트리 지원을 제공하기 위한 조합된 시각적 전역 매핑 시스템(V-GMS) 및 시각적 전역 위치결정 시스템(V-GPS)의 일 예를 개략적으로 보여주는 도면이다.
도 3은 자율 주행 차량에 대한 V-GPS 오더메트리 지원의 또 다른 예를 개략적으로 보여주는 도면이다.
도 4는 드론을 사용하는 오프-보드(off-board) V-GPS/V-GMS의 일 예를 개략적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예들에 따른 V-GMS/V-GPS 시스템의 상호 작용 및 기능 유닛들을 개략적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예들에 따른 로컬 맵 집성 동안에 수행될 수 있는 처리 흐름의 일 예를 보여주는 도면이다.
도 7은 실시 예들에서 예컨대 처리중인 이미지들에 연관된 카메라 포즈들을 결정하는데 사용될 수 있는 스테레오 '직접 희소 오도메트리(direct sparse odometry; DSO) 기법의 원리를 도시하는 도면이다.
도 8은 DSO 기법의 부가적인 세부사항을 보여주는 도면이다.
도 9는 본 발명의 실시 예들에서 객체 클래스에 따라 상기 이미지들을 분류하는데 사용될 수 있는 의미론적 세그멘테이션 접근법의 일 예를 보여주는 도면이다.
도 10 - 도 15는 교통 표지와 같은 랜드마크 객체가 프레임 간에 어떻게 추적되고 추적될 수 있는지를 도시하는 도면들이다.
도 16은 다른(하향식) 원근으로부터 도로 형상의 뷰를 생성하기 위해 (2D) 이미지들이 상기 그라운드 상에 투영될 수 있는 방법을 보여주는 도면이다.
도 17a, 도 17b 및 도 17c는 각각 텅(tongue) 그라운드 메쉬, 래스터 그라운드 메쉬 및 텅 및 래스터 그라운드 메쉬 중첩을 보여주는 도면들이다.
도 18은 픽셀 값들이 차선 표시 객체들을 더 강조하도록 의미론적 세그멘테이션에 기초하여 설정되는 경우에 도로 이미지가 생성될 수 있는 방법을 보여주는 도면이다.
도 19 및 도 20은 본 발명의 일부 실시 예들에 따라 식별된 차선 마커 객체가 처리될 수 있는 방법을 보여주는 도면들이다.
도 21은 도로망 영역에 대한 차선 형상이 어떻게 생성될 수 있는지를 보여주는 도면이다.
도 22는 본 발명의 한 실시 예에 따른 유닛 A(도 5)의 예시를 보여주는 도면이다.
도 23은 본 발명의 한 실시 예에 따른 유닛 C(도 5)의 예시를 제공하는 도면이다.
본 개시내용은 일반적으로 옵서버(차량)의 지리적 위치 및 방위를 예컨대 사전 제작된 맵에 의해 커버되는 도로망 내에서 결정하기 위한 개선된 기술들을 제공하는 것에 관한 것이다. 실시 예들에서, 본 개시내용은 결과적으로 이하에서 설명되는 바와 같이 대규모 가시적 지리-국부화 및 매핑을 위한 기법들에 관한 것이다. 본 개시내용의 국부화 기법은 예를 들어 다양한 자율 주행 기능을 용이하게 하거나 예컨대 자율 주행과 함께 사용하기 위해 개선된 전자 맵을 보완하거나 생성하는데 사용될 수 있다. 예를 들어, 위에서 설명한 바와 같이, 자율 주행은 전형적으로 (예컨대, 비-자율 주행 차량에 의한 사용과 같은 표준 휴대용 내비게이션 장치에 의한 사용을 위한 표준 디지털 맵에 제공될 수 있는 도로 중심선이 아니라) 차량의 국부 지역에서 차선 형상에 관한 정보, 예컨대 차선 중심선 및 차선 연결성을 적어도 제공하는 맵(map)의 사용을 필요로 한다.
다시 말하면, 고도의 정확성으로 국부화할 수 있는 HD(High-Definition) 맵이 필요하다. HD 맵은 차선 폐쇄, 도로 공사 및 업데이트된 속도제한 등과 같은 변경사항들을 반영하기 위해 자주 업데이트(또는 업데이트 가능) 해야 한다. 자율 주행의 최소 요구사항인 차선 형상을 보여줄 뿐만 아니라 HD 맵들에는 일반적으로 국부화를 돕기 위해(물론 다른 목적을 위해서도) 사용될 수 있는 교통 표지판, 신호등, 간판 등과 같은 랜드마크가 포함될 수 있다. 이러한 랜드마크들은 전형적으로 랜드마크의 위치, 랜드마크 치수(예컨대, 높이, 폭), 및 예컨대, 랜드마크의 정면, 예컨대 랜드마크로서 유용하게 하는 얼굴로부터의 랜드마크 이미지에 의해 정의된다.
이러한 HD 맵의 생성 및 유지는 결과적으로 다양한 자율 주행 기능을 용이하게 하는데 도움이 된다. 예를 들어, 상기 HD 맵은 경로 플래닝, 원조 인식을 가능하게 하고, 자율 주행 차량이 센서 범위를 넘어서도 도로를 보고 예상할 수 있게 한다. 이러한 HD 맵의 사용은 자율 주행 차량에만 국한되지 않으며 예측 파워트레인 제어, 환경 라우팅 및 커브 속도 경고와 같은 광범위한 진보된 운전자 보조 시스템(advanced driver assistance system; ADAS) 애플리케이션을 충족시키는 데에도 활용될 수 있다. 그러나 여기서 이해하겠지만 여기에 설명한 HD 맵은 자율 주행을 용이하게 하는 특정 유용성을 발견할 수 있으며, 그럼으로써 본 개시내용의 실시 예들은 이러한 문맥에서 이하에 설명될 것이다.
특히, 본 개시내용의 기법들은 차량이 주행하고 있는 로컬 환경에 대한 "지리 좌표화된" 관측들을 발생시키는 것을 포함한다. 상기 지리 좌표화된 관측들은 차량이 현재 주행하고 있는 도로망의 로컬 환경의 센서 유도 관측들이다. 예를 들어, 도로망 상에서 주행하는 차량 상에 또는 상기 차량 내에 위치한 카메라는 차량 부근에서 상기 도로망에 관한 이미지들을 획득하는 데 사용될 수 있으며, 이러한 이미지들은 그 후에 이러한 영역에서 상기 도로망의 환경을 나타내는 소정의 피처들을 추출하도록 처리될 수 있다. 상기 이미지들로부터 추출된 지리 좌표화된 피처들, 또는 관측들은 그 후에 상기 영역의 사전 컴파일된 기준 맵과의 비교를 허용하는 적절한 로컬 맵 표현으로 통합될 수 있다. 이러한 비교를 통해 차량은 상기 영역 내에서 정확하게 국부화될 수 있다. 또한, 상기 비교가 기준 맵에서 오차를 식별할 때, 상기 기준 맵은 그에 따라 업데이트될 수 있다.
도 1은 본 개시내용에 따라 제공될 수 있는 시각적 전역 위치결정 및 맵핑 시스템의 개념을 도시하는 도면이다. 상기 소개된 V-GPS(Visual Global Positioning System)는 이미지들의 시각적 신호를 사용하여 옵서버의 전역 위치 및 방위를 결정하는 접근법을 제공한다. 이는 상기 영역의 기준 맵과 매치되는 "로컬 맵"을 집성할 목적으로 기록된 이미지를 검사하여 수행된다. 이러한 기준 맵은 V-GMS(Visual Global Mapping System)와 동일한 접근법의 일부를 사용하여 이전에 컴파일되었다.
시각적 전역 위치결정 및
매핑
시스템의 기능 원리
도 1을 참조하면, 적어도 일 예에 따라, 도시된 시각적 전역 위치결정 및 맵핑 시스템의 원리는 다음의 단계들에 따라 요약될 수 있다:
1. 알려진 대략적인 위치(12)(± 100m)에 기록된 이미지 시퀀스(10)가 V-GPS/V-GMS에 대한 시스템의 입력으로서 제공됨.
2. 상기 이미지 시퀀스(10)는 풍경의 일관되고, 응축되고 특징적인 로컬 맵 표현(14)으로 집성됨.
3. 기준 맵 섹션(16)은 사전 컴파일된 내부 맵 레포지토리(18)로부터 추출됨. 상기 기준 맵 섹션의 범위들(20)은 기록된 이미지 시퀀스의 대략적인 영역에 대응함.
4. 그 후, 로컬 맵 표현(14)은 상기 로컬 맵 표현(14) 및 상기 기준 맵 섹션(16) 간의 다양한 대응점(22)을 결정하기 위해, (기준 맵이 충분한 커버리지를 제공함을 고려하면) 상기 기준 맵 섹션(16)에 대해 매치되고 정렬됨.
5. 이미지 시퀀스 키 프레임(24) 및 인식된 객체 정보(26)와 같은 선택된 소스 데이터는 내부 맵 레포지토리(18)에 맵 생성 및 업데이트 목적으로 제공됨.
6. 지리적 위치(geo-location)(28) 및 방위(orientation)(38)는 매칭 변환으로부터 유도되고 응답 및 시스템의 출력으로서 복귀됨.
도 1에 도시된 바와 같이 그리고 기존의 시각적 지리-국부화 시스템(Visual Geo-Localization System)과 달리, V-GPS/V-GMS는 국부화 목적으로 이미지 자료로부터 직접 추출한 피처들을 사용하려는 시도를 하지 않는다. 대신에, 상기 국부화 절차는 로컬 맵 표현을 생성하는 중간 단계를 도입한다.
예를 들어, 적어도 일부 실시 예들에서, 일관된 로컬 맵 표현은 모든 입력 이미지들이 상이한 시점들로부터 동일한 풍경을 묘사한다는 가정(다시 말하면, 모션 가정으로부터의 구조) 하에서 3D 재구성을 수행하기 위한 제1 세트의 피처들을 사용함으로써 집성된다. 이렇게 하면 가장 최근의 이미지에서 집계된 로컬 맵이 생성되는데 이는 단순한 입력 이미지보다 더 유용하다. 이는 이미지들, 각각의 이미지를 캡처하는 동안 옵서버의 3D 포즈 및 주변의 희소 포인트 클라우드로 구성된다.
더 중요한 점으로, 이는 로컬 수평선의 상기 시스템의 정리된 일관성 있는 인식을 나타내며, 여기서 이러한 정적인 풍경에 따르지 않는 입력 이미지의 내용 모두가 자동으로 누락/필터링된다.
다음으로, 이러한 로컬 맵 표현을 사용하여 제2 세트의 피처들을 엠베드 및 추출하는데 사용되고 상기 제2 세트의 피처들은 다시 매칭, 정렬 및 국부화 목적으로 사용된다. 이러한 세트의 피처들은 풍경의 피처들의 3D 표현(희소 포인트 클라우드); 차선 표시, 그라운드 타입 또는 신호등, 교통 표지, 나무, 배수구 커버 등과 같은 객체와 같은 검출된 랜드마크들 및 고급 피처들의 2D 평면도 맵(형상 맵); 및/또는 인공 항공사진(형상 사진)과 같은 2D 평면도 재구성으로 구성될 수 있지만 이들에 국한되지 않는다.
위에서 설명한 국부화 시스템은 카메라 이미지들을 시각적으로 정렬하여 주변 영역의 3D 형상을 복구함으로써 대략적으로 작동하는데, 이로부터 제2 레벨 피처들의 위치가 결정된다.
상기 가시적 전역 매핑 시스템은 다른 방식으로 겹치는 로컬 맵들로부터 전역 맵을 제작하는 새로운 방법인데, 다시 말하면 상기 제2 레벨 피처들을 통해 다수의 로컬 맵을 매칭함으로써, 이러한 로컬 맵들 간의 불일치가 발견된다. 이러한 불일치는 특정한 카메라 포즈들에 보정들을 피드백함으로써 개선된다. 이를 통해 특히 동시에 정확하고 전역으로 일관성 있는 전역 맵을 제작할 수 있다.
따라서, 위에서 설명한 V-GPS/V-GMS 수법은 대규모 시각적 지리-국부화 시스템들에서 사용된 바와 같은 일정한 객체 및 랜드마크 인식 방법들을 통해 종래의 이미지 콘텐츠 및 모션/시각적 오더메트리 기법들으로부터의 이미지 피처-기반 구조를 결합한다는 점에서 하이브리드 수법으로서 특징지어질 수 있다. 이러한 방식으로, V-GPS/V-GMS는 휘발성 로우-레벨 피처들로부터 도출된 로컬 안정성 및 정확성 그리고 마찬가지로 국부화 목적을 위한 고급 피처 매칭의 전역 안정성 및 내구성을 활용한다.
상기 시스템은 일반적으로 다음과 같이 3개의 독립적으로 구성 가능한 서브-시스템 또는 유닛으로 나뉠 수 있다.
Unit A - 로컬 맵 집성 및 객체 검출: 이미지 및 센서 데이터 처리, 특성 로컬 맵의 이미지 정보 추출 및 집성.
Unit B - 전역 맵 조사 및 포즈 추정: 집성된 로컬 맵을 상응하는 기준 맵 섹션과 매칭시킴으로써 국부화
Unit C - 전역 맵 작성 및 업데이트: 국부화 목적를 위한 맵 작성 및 업데이트, 사전-처리 및 기준 맵 제공.
이러한 서브-시스템은 국부화될 차량에 탑재될 수 있다. 그러나 전형적으로, 상기 처리의 적어도 일부는 원격으로 분산되는데, 예컨대 클라우드에서 수행된다. 일부 대표적인 시스템 구성들이 지금부터 설명될 것이다.
자율 주행 차량에서의 V-GMS 맵 제작 및 V-GPS
오도메트리
지원
도 2는 카메라 센서 입력 및 클라우드 컴퓨팅 환경(206)에 대한 고-대역폭 무선 인터넷 접속을 갖춘 자율 주행 차량 시스템(200)을 보여주는 도면이다. 따라서, 자율 주행 차량은 단안 또는 스테레오 카메라(202); 하이-엔드 온-보드 처리 유닛; 및 대역폭이 높고 대기시간이 긴 모바일 데이터 접속, 또는 W-LAN(204)을 포함한다. 상기 시스템은 온-보드 오도메트리로부터의 대략적인 GPS 좌표들뿐만 아니라 온-보드 카메라들(202)로부터 라이브 기록된 이미지들을 수신한다. 국부화 결과(208)는 자율 주행 로직으로 넘겨진다. 맵 제작 결과는 클라우드-기반 레포지토리(206) 내에 상주한다.
도 2에서, 하이-엔드 온-보드 처리 유닛은, 입력 이미지들의 고정된 배치(batch)들을 범위 제한 로컬 맵 표현 요구들로 집성시키고 상기 모바일 데이터 접속을 통해 사전 처리된 확장된 기준 맵 섹션들을 수신하는 제1 유닛(Unit A), 및 임의의 완성된 로컬 맵 표현을 그에 상응하는 기준 맵 섹션과 매치하고 매치 결과로서 Unit A로 다시 전달되는 지리-국부화를 계산하는 제2 유닛(Unit B)을 포함한다. 제3 유닛(Unit C))은 클라우드에 위치하며 결과적으로 상기 기준 맵에 통합되는 소스 데이터의 패킷들을 경우에 따라 수신한다.
일치시키는 두 번째 유닛인 유닛 B는 일치 결과로 유닛 A로 다시 전달되는 지리적 위치 정보를 계산한다. 세 번째 유닛인 유닛 C는 클라우드에 위치하며 참조 데이터 맵에 통합되는 소스 데이터 패킷을 가끔 수신한다.
제3자 기준
맵을
위한 자율 주행 차량에서의 소형
풋프린트
V-GPS 전용 오 도메트리 지원
도 3은 국부화 결과를 결정하기 위해 클라우드 컴퓨팅 환경 내에서 제3자 기준 맵 데이터베이스와 통신하기 위해 카메라 센서 입력 및 저-대역폭 모바일 인터넷 접속을 갖춘 자율 주행 차량 시스템(300)을 보여주는 도면이다. 따라서, 상기 자율 주행 차량은 단안 또는 스테레오 카메라(302); 로우-엔드 온-보드 처리 유닛; 및 대역폭이 낮고 대기 시간이 짧은 모바일 데이터 접속(304)을 포함한다. 상기 시스템은 온-보드 오도메트리로부터의 대략적인 GPS 좌표들뿐만 아니라 온-보드 카메라(302)로부터 라이브 기록된 이미지들을 수신한다. 국부화 결과(308)는 자율 주행 로직으로 넘겨진다.
도 3에서, 상기 온-보드 처리 유닛은 입력 이미지들의 고정된 배치들을 범위 제한된 로컬 맵 표현들로 집성시키고 완성된 로컬 맵을 상기 모바일 데이터 접속(304)을 통해, 상기 클라우드에 위치한 제2 유닛(Unit B)으로 전송하는 제1 유닛(Unit A)을 포함한다. Unit B는 임의의 들어오는 로컬 맵 표현에 대해 상응하는 제3자 기준 맵 섹션을 요구하고 상기 클라우드 내 매칭을 수행하며 동일한 모바일 데이터 접속을 통해 지리-국부화를 되돌려 보낸다. 도 2에 도시된 바와 같은 Unit C는 제3자에 의해 제공된 기준 맵 서비스로 대체된다(또한 맵 업데이트가 없으면 추가 업스트림 대역폭이 필요하지 않음).
드론을
위한
오프
-보드 V-GPS/V-GMS
도 4는 고-대역폭 무선 비디오를 처리 유닛에 제공하기 위한 카메라 센서 입력을 지니는 오퍼레이터-제어 드론을 포함하는 드론-기반 시스템의 일 예를 보여주며, 상기 처리 유닛은 다시 상기 국부화 및 맵핑 결과를 드론 오퍼레이터 장치(예컨대, 전화 또는 내비게이션 유닛)에 제공한다. 따라서, 상기 시스템은 단안 또는 스테레오 카메라(402)를 갖는 드론(400) 및 하이-엔드 고-용량 기지국 처리 유닛(412)과 통신하기 위한 대역폭이 낮고 대기 시간이 짧은 무선 데이터 접속(404)으로 구성된다(상기 드론 상에는 처리 유닛이 탑재되어 있지 않음). 따라서, 상기 V-GPS/V-GMS 시스템은 기지국 상에 상주한다. 상기 기지국은 상기 드론(400)의 온-보드 카메라(402)로부터 라이브 기록된 이미지들을 무선으로 수신한다. 그 다음, 국부화 및 맵핑 결과(408)는 모바일 오퍼레이터 장치(410)로 넘겨진다.
상기 V-GPS/V-GMS 시스템은 도 4에서 기지국(412) 상에 모두 상주하는 3개의 유닛을 포함한다. Unit A는 입력 이미지들의 고정된 배치들을 수신하고 이를 범위 제한된 로컬 맵 표현 내로 집성한다. Unit B는 로컬 맵 표현들을 국부적으로 사용 가능한 기준 맵 섹션들에 대해 직접 매치시킨다. Unit C는 소스 데이터를 기준 맵 내로 직접 통합시킨다.
도 5는 상기 시스템 내 기능 유닛들 또는 서브-시스템들 간의 상호작용을 도시하는 도면이다. 특히, 도 5는 위에 언급한 3개의 유닛 각각에 의해 수행되는 단계들을 개략적으로 보여준다. 따라서, 이후의 섹션들은 적어도 일부 예들에 따라, 상기 시스템의 논리적 구성요소들의 대표적인 실시 예들을 개별 처리 단계들 및 기법들로 세부적으로 분해한 것이다. 도 6은 기록된 이미지들로부터 로컬 맵 표현을 생성하기 위해 (Unit A에서) 수행될 수 있는 처리 흐름의 일 예를 더 구체적으로 보여준다. 다양한 입력을 수신하는 다수의 상이한 모듈(또는 단계)을 포함하는 것으로서 도 5 및 도 6에 도시되어 있지만, 여기서 이해할 점은 다양한 모듈 및 단계가 개별 처리 회로에 의해 수행될 필요가 없으며, 실시 예들에서 이러한 단계들 중 적어도 일부가 공유 회로를 사용하여 수행될 수 있다는 점이다. 또한, 실시 예들에서, 이해할 점은 이러한 모듈들 모두가 제공될 필요는 없다는 점이다. 예를 들어, 상기 설명한 단계들 중 일부는 생략되거나 동일한 기본 기능을 제공하는 유사하거나 동등한 단계들로 대체될 수 있다.
Unit A - 로컬 맵 집성 및 객체 검출
이미지 데이터 획득
상기 시스템에 대한 입력은 일반적으로 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라(들)로부터 얻어진 이미지들(500)의 시퀀스를 포함한다. 상기 이미지들 각각은 상기 도로망을 따라 알려진 위치에 기록된다. 선택적으로, 상기 이미지들(500)은 위에서 설명한 바와 같이 (대략적인) 위치(502)와 함께 제공될 수 있다. 예를 들어, 상기 이미지 데이터는 상기 얻어진 이미지들에 대한 대략적인 위치 및 정확한 타임스탬프를 제공하기 위해 예컨대 상기 차량의 내비게이션 모듈로부터의 GNSS 위치결정 데이터와 결합될 수 있다. 그러나 어떤 경우에는, 상기 이미지들의 (상대적) 위치들이 상기 이미지들(500) 자체로부터 결정될 수 있다.
상기 이미지들(500)의 시퀀스는 전형적으로, 국부화될 차량 상에 또는 국부화될 차량 내에 제공되는 다양한 카메라 센서로부터 얻어진 하나 이상의 비디오 스트림들을 포함한다. 따라서, 상기 카메라 센서들은 차량이 현재 주행하고 있는 도로 환경의 이미지들을 얻는다.
실시 예들에서, 상기 차량은 이하에서 부연 설명되겠지만 시각적 오도메트리의 수행을 목적으로 하는 스테레오 카메라 및 표지 검출, 분류, 추적 및 세그멘테이션을 목적으로 하는 별도의 옵서버 카메라를 구비한다. 전형적으로, 원하는 시각적 오도메트리를 수행하기 위해, 상기 스테레오 이미지 센서는 그레이스케일 이미지를 얻는데 사용되며 중간 프레임 속도(예컨대, 15-30 fps) 및 해상도(예컨대, 1280x720)로 작동될 수 있다. 반면에, 상기 옵서버 이미지 센서는 일반적으로 상대적으로 높은 프레임 속도(예컨대, 30-90 fps) 및 해상도(예컨대, 2560x1440)에서 컬러 이미지들을 얻는 것이 바람직하다. 그러나 여기서 이해할 점은 이미지 센서들의 다양한 구성 및 조합이 처리될 이미지들을 얻기 위해 적절하게 사용될 수 있다는 점이다.
상기 센서들이 스테레오 비디오 카메라 및 단일(단안) 비디오 카메라를 포함하는 경우에, 상기 시스템에 대한 입력은 상기 스테레오 카메라로부터의 제1 세트의 비디오 프레임들 및 상기 단일(단안) 비디오 카메라로부터의 제2 세트의 비디오 프레임들을 포함할 수 있다. 상기 제1 세트의 이미지들 각각에 대해서도, 깊이 맵이 제공된다. 타임스탬프들은 또한 양자 모두의 세트의 이미지들에 대해 제공된다.
오도메트리
추정(
ODO
)
상기 시스템은 상기 비디오 시퀀스 내 키 프레임들에 대한 카메라의 상대적인 3D 위치 및 회전을 추정하는 시각적 오도메트리 시스템을 사용한다. 상기 오도메트리는 일반적인 시각적-SLAM 시스템에서와 같은 방식으로 비디오 데이터 상에 모션 수법으로부터의 즉석 구조를 적용함으로써 순전히 시각적으로 얻어질 수 있다. 예를 들어, 오도메트리는 다음과 같이 얻을 수 있다.
1. 주어진 입력 이미지 시퀀스로부터 단지 그러한 프레임들만이 키 프레임들로서 만이 키 프레임으로 선택되며, 이들은 충분한 카메라 움직임을 보여준다.
2. 임의의 새로운 키 프레임에 대해, 타당한 상대적인 3D 포즈가 고-정밀 온-보드 오도메트리 및 차동 GPS와 같은 외부 오도메트리 센서들을 태핑(tapping)함으로써 초기화될 수 있다.
3. 그 다음, 상기 절대 포즈는 다른 모든 키 프레임과 연관된 이미지 특징들에 따라 전역으로 추정 및 최적화된다.
대안으로, 연속적인 깊이 이미지들을 정렬함으로써 상대적인 3D 카메라 포즈를 도출하는 다양한 스테레오 이미지 정렬 기법이 사용될 수 있다.
바람직하게는, 상기 키 프레임에 대한 카메라 위치 및 회전은 스테레오 시각적 오도메트리의 프로세스를 사용하여 결정된다. 일반적으로, 임의의 알려진 스테레오 시각적 오도메트리 기법은 상기 키 프레임들에 대한 카메라 위치들 및 회전들을 결정하는데 사용될 수 있다. 그러나 바람직한 실시 예들에서, 스테레오 직접 희소 오도메트리(DSO) 프로세스는 상기 키 프레임들 각각에 대한 상대적인 카메라 위치들 및 회전들을 추정하는데 사용된다.
DSO는 카메라상의 객체 투영들(다시 말하면 번들 조정과 같은 간접 기법보다는 오히려) 간에 측광 오차를 직접 최소화하는 것에 기초한 공지된 기법이다. DSO의 기본 원리는 도 7에 도시되어 있다. 도 7에서 볼 수 있는 바와 같이, 각각의 랜드마크(또는 객체)는 한 세트의 키포인트들 및 깊이로서 주어진 프레임에서 정의될 수 있다. 예를 들어, 도 7에서, 2개의 랜드마크(72-1, 72-2)가 있으며, 이들을 기준 프레임 이미지(70)(프레임 i)로 투영하는 것은 각각 암시적으로 상응하는 깊이 값을 지니는 상응하는 세트의 2개의 키포인트(70-1, 70-2)를 정의한다. 상기 기준 프레임(frame i)으로부터 차후의 프레임(frame j)의 이미지 내로 상기 랜드마크들을 투영 또는 추적하기 위해, 상기 키 포인트들은 후속 프레임 상에 투영되고 상기 투영된 복수의 키 포인트들(76-1, 76-2)에 대한 측광 오차들이 상기 기준 프레임에 대해 차후 프레임(frame j)에서의 카메라 포즈를 결정하기 위해, 다시 말하면 측광 오차를 최소화하는 상기 기준 프레임으로부터 차후 프레임으로 이동하기 위한 적절한 변환을 결정함으로써 최소화된다.
번들 조정과 같은 간접적인 방법과 비교할 때 DSO는 2개의 이미지에서의 키포인트 대응들을 결정하기 위해 피처 검출기들(예컨대, SIFT(Scale-Invariant Feature Transform))을 요구하지 않는다. 이것이 의미하는 것은 DSO에 대한 키포인트들이 에지들을 포함하여 상기 이미지의 어느 위치에나 위치될 수 있음을 의미한다.
원래의 DSO 기법은 단안 이미지들에 기초하여 이루어졌다. 그러나 DSO 프로세스에는 기존의 깊이 값들과 함께 기존의 프레임이 필요하고 DSO에서는 새로운 프레임들이 추적을 통해 직접 생성되기 때문에 즉석 데이터를 사용하여 DSO를 수행하는 것은 어렵다. 이러한 문제는 상기 프레임 깊이들이 상기 기록된 이미지들로부터 직접 얻어질 수 있는 경우에서와같이 스테레오 이미지들을 DSO 알고리즘에 대한 입력으로서 사용함으로써 극복할 수 있다.
도 8은 DSO를 사용하여 비디오 시퀀스의 키 프레임들 사이에서 카메라를 추적하는 예를 보여주는 도면이다. 각각의 키 프레임(82)에 대해, 그러한 키 프레임 상에 상기 키 포인트들을 투영하는 것을 나타내는 고정 포인트 클라우드(80)가 존재한다. 그 후에, 상기 카메라 추적기는 상기 키 프레임으로부터 현재 프레임으로 투영될 때 상기 깊이 맵 내 모든 포인트들에 대한 측광 오차를 최소화하기 위해 최적의 카메라 매개변수들(회전, 이동)을 계산한다. 상기 추적된 카메라가 주어진 임계값보다 마지막 키 프레임으로부터 벗어나 있고, 그럼으로써 오차가 너무 커지면 (새로운 고정 포인트 클라우드를 지니는) 새로운 키 프레임(84)이 생성된다.
상기 추출된 시각적 오도메트리의 품질은 상기 이미지 시퀀스의 시각적 속성들에 의존한다. 모션 블러(motion blur), 이미지 왜곡, 눈부심 및 반사와 같은 시각적 인공물은 키 프레임들 양단에 연관될 수 있는 이미지 피처들의 수를 상당히 줄인다. 또한, 움직이고 있는 자동차, 창문이나 물웅덩이의 거울 표면 및 심지어는 기상 조건과 같은 일관되지 않은 이미지 모션은 이미지 피처들의 필수적인 연관성을 쉽게 방해할 수 있으며 시각적 오도메트리 추출 시도를 좌절시킬 수 있다. 기록된 이미지 시퀀스의 길이를 증가시키기 위해서는, 유효하지 않은 오도메트리 재구성에 대한 기회가 또한 급격히 증가한다.
견고성을 위해, 상기 시각적 오도메트리 추출은 결과적으로 재구성이 주어진 품질 마진을 충족하거나 맵 크기 제한에 도달하는 경우, 가끔 "안정성 아일랜드(islands of stability)"로 제한된다. 센서, 차량 및 환경 조건에 의존하여, 유효한 재구성 오도메트리의 이러한 안정된 패치들에 적합한 크기는 약 50m - 200m이다. 마찬가지로, 다양한 내부 및 외부 조건에 의존하여, 이러한 안정된 패치들의 발생 빈도는 평균 도시 및 농촌 환경에서 킬로미터당 2 - 10 패치일 수 있다.
그 후에, 이러한 안정된 오도메트리 패치들은 모든 키 프레임 데이터와 함께 이미지 분할(SEG) 및 집성된 로컬 맵(MAP) 처리 단계로 전달된다.
상기 센서들이 스테레오 비디오 카메라 및 단일(단안) 비디오 카메라를 포함하는 경우, 상기 시스템에 대한 입력은 상기 스테레오 카메라로부터의 제1 세트의 비디오 프레임들 및 상기 단일(단안) 비디오 카메라로부터의 제2 세트의 비디오 프레임들을 포함할 수 있다. 상기 제1 세트의 이미지들 각각에 대해서도 깊이 맵이 제공된다. 양자 모두의 세트들의 이미지들에 대해 타임스탬프들이 또한 제공된다.
따라서, 실시 예들에서, 시각적 오도메트리의 출력은 예컨대 상기 제1 세트의 비디오 프레임들의 제1 프레임에 관련한 상기 스테레오 카메라로부터의 제1 세트의 비디오 프레임들의 키 프레임들에 대한 자세(회전 및 위치)이다. 상기 출력은 또한 예컨대 이하에서 검토되는 그라운드 메쉬를 생성하는 데 사용하기 위한 키 포인트 클라우드, 다시 말하면 키 프레임들 내 키 포인트들의 포인트 클라우드를 포함할 수 있다.
이미지
세그멘테이션
(
SEG
)
이미지 세그멘테이션 처리 단계에서, 모든 주어진 키 프레임 내 각각의 픽셀은 한 세트의 사전 정의된 환경 클래스들, 예컨대 도로, 나무, 차선 표시, 자동차 등에 따라 분류된다. 그 후에 클래스 레이블을 각각의 픽셀에 첨부하고 후속 처리 단계에서 사용할 수 있게 하는데, 이러한 단계는 특정 서브세트의 환경 클래스, 예컨대 단지 그라운드에만 관심을 지닐 수 있게 된다. 상기 세그멘테이션은 다음과 같은 하나 이상의 픽셀별 분류 수법에 의해 수행될 수 있다:
이미지 세그멘테이션은 상기 이미지들에 나타나는 객체들을 분류하도록 수행되고, 예컨대 그럼으로써 상기 분류된 객체들이 그 흐름에서의 다른 처리 모듈들에 의해 추출, 및 사용될 수 있다. 따라서, 얻어진 이미지 데이터를 입력으로 사용해 픽셀 단위로 상기 이미지들 각각을 처리하여 각각의 픽셀에 대한 객체 클래스 벡터를 할당하는 "차량 환경"의 의미론적 세그멘테이션 단계가 수행될 수 있으며, 상기 객체 클랙스 벡터는 복수의 클래그들 각각에 대한 스코어(또는 우도값)를 포함한다. 따라서, 예를 들어, 픽셀은 상기 이미지에서 하늘의 일부를 나타내는 98%의 우도 및 도로 표지를 나타내는 1%의 우도 및/또는 도로를 나타내는 1%의 우도를 지니는 것으로 분류될 수 있다. 상기 픽셀들은, 일단 이러한 방식으로 분류되면, (예컨대, 동일한 객체를 나타내는 우도가 높은 인접하거나, 또는 근접하게 이격된 픽셀들을 함께 그룹화함으로써) 객체들로 함께 그룹화될 수 있다.
일반적으로, 픽셀별 의미론적 세그멘테이션은 임의의 원하거나 또는 적합한 알고리즘을 사용하여 수행될 수 있다. 바람직한 실시 예들에서, 기계 학습 알고리즘, 특히 컨볼루션 신경망(convolutional neural network; CNN)이 사용된다. 예를 들어, 상기 알고리즘은 공지된 SegNet 또는 PSPNet 알고리즘을 포함할 수도 있고 공지된 SegNet 또는 PSPNet 알고리즘에 기초하여 이루어질 수도 있지만, 물론 다른 알고리즘들이 적절하게 사용될 수 있다. 따라서, 상기 이미지 내 픽셀들은 일반적으로 다수의 사전 정의된 클래스들 중 하나에 따라 분류될 수 있다. 예를 들어, 상기 클래스들은 하늘, 건물, 폴(pole), 도로 표시, 도로, 포장도로, 나무, 교통 표지, 울타리, 도로 차량(및 유형), 사람, 자전거, 신호등, 벽, 지형, 라이더(rider), 기차 등 중 일부 또는 모두를 포함할 수 있다. 이러한 클래스들은 일반적으로 SegNet 및/또는 PSPNet 알고리즘들 내에서 정의된다.
도 9는 차량 환경의 의미론적 세그멘테이션 프로세스 결과의 일 예를 보여주는 도면이다. 처리 결과, 원래의 RGB 이미지(좌측 패널) 내 각각의 픽셀이 객체 클래스로 할당되고, 서로 다른 객체 클래스들 각각이 그 후에 의미론적으로 세그먼트화된 출력(우측 패널)에서 일관된 방식으로 표현될 수 있다. 따라서, 각각의 클래스 내 객체들 모두는 추출되어 후속 처리 단계에 사용될 수 있다. 그 후에, 이러한 객체 클래스들은 시각적 오도메트리(ODO) 및 (키) 프레임들을 사용하여 얻어진 카메라 포즈들과 함께 DTCT(High Level Feature Detection) 처리 단계로 전달될 수 있다.
고급 피처 검출(
DTCT
-1)
고급 피처 검출 단계는 주어진 프레임들에 걸쳐 교통 표지/신호등, 차선 표시, 나무 등과 같은 고급 피처들을 식별하고 추적한다. 상기 카메라의 알려진 오도메트리를 사용하여 추적된 고급 피처들은 또한 카메라 위치들과 관련하여 3D 공간으로 삼각 측량될 수 있다. 이러한 피처 위치들 및 그들의 클래스 레이블들은 후속 처리 단계에서 입력 이미지 시퀀스 내 그들의 픽셀 표현들과 함께 사용할 수 있다. 상기 고급 피처 검출은 사전에 계산된 이미지 분류를 사용하여 특수한 피처 검출 노력을 해당 영역으로 제한한다. 상기 피처 검출은 무차별 대입(brute-force) 컨벌루션 응답 클러스터링, GPU 처리 능력 사용, 피처 캐스케이드를 이용한 신속한 객체 검출, 예컨대. 객체 검출을 위한 Viola-Jones 수법, 여러 클래스에 적합한 사전에 훈련된 무작위 포레스트 분류기 등과 같은 하나 이상의 패치별 분류 수법에 의해 수행될 수 있다
예를 들어, 고급 피처 검출은 이하에서 설명되겠지만 랜드마크 관측들을 생성하기 위한 다양한 단계를 포함할 수 있다.
랜드마크
검출 및 인식
랜드마크들은 분류된 이미지로부터, "교통 표지" 객체 클래스 등과 같은 랜드마크에 상응하는 객체 클래스로 할당된 임의의 픽셀들, 또는 픽셀 그룹들을 추출함으로써 검출될 수 있다. 예를 들어, 차량 환경의 의미론적 세그멘테이션으로부터의 픽셀 클래스 스코어 벡터들뿐만 아니라 이미지 데이터 획득으로부터의 옵서버 이미지 프레임들을 사용하여, 존재하는 경우 검출된 랜드마크를 포함하는 각각의 프레임 내 하나 이상의 영역들(전형적으로는 직사각형들)의 리스트의 형태로 다수의 경계 박스를 생성할 수 있다. 그 후에, 이러한 경계 박스들은 랜드마크 클래스와 함께 출력될 수 있다. 상기 랜드마크들은 원래의 차량 환경의 의미론적 세그멘테이션에 기초하여 단독으로 검출될 수 있다. 그러나 실시 예들에서, 상기 이미지들 내 관심 영역들, 다시 말하면 잠재적으로 랜드마크를 포함하는 것으로 결정된 영역은 상기 의미론적 세그멘테이션으로부터 취해지며, 지원 벡터 머신(support vector machine; SVM) 또는 신경망과 같은 감독 학습 방법은, 상기 영역들 상에서 상기 검출된 랜드마크들 각각에 클래스를 할당하는 데 사용된다. 다시 말하면, 부가적인 랜드마크 클래스 의미론적 세그멘테이션(또는 "랜드마크 인식")은 상기 검출된 랜드마크들 각각에 특정 랜드마크 클래스를 할당하도록 차량 환경의 의미론적 세그멘테이션 처리 단계로부터 결정될 수 있는 것처럼 상기 이미지들 내 임의의 관심 영역들 상에 수행될 수 있다. 이는 상기 랜드마크 클래스들의 할당의 정확성을 개선할 수 있다.
오도메트리
전송(도시되지 않음)
시각적 오도메트리 및 랜드마크 검출을 위해 서로 다른 상이한 이미지 센서들(예컨대, 다수의 카메라)를 사용할 때 오도메트리 전송이 사용될 수 있다. 예를 들어, 오도메트리 전송은 서로 다른 카메라들로부터 얻어진 이미지들을 교정하는데 사용될 수 있다. 특히, 오도메트리 전송은 랜드마크 검출에 사용되는 이미지들의 포즈들, 예컨대 단일(단안) 비디오 카메라로부터의 제2 세트의 비디오 프레임들을 결정하는데 사용될 수 있다. 이는 서로 다른 카메라들을 정렬하는 데 필요한 회전들 및/또는 이동들에 기초하여 상기 이미지들을 적절히 교정함으로써 시각적 오도메트리의 결과들과 조합하여 상기 이미지들을 사용해 수행될 수 있다. 따라서, 상기 제2 세트의 이미지들에 대한 카메라 포즈들은 예컨대 시각적 오도메트리 처리 단계에서 상기 제1 세트의 이미지들에 대해 결정된 카메라 포즈들을 적절하게 교정함으로써 획득될 수 있다.
랜드마크
관측 생성
랜드마크 관측 생성은 예컨대 필요하다면 (상기 오도메트리 전송으로부터의) 이러한 프레임들의 포즈들과 조합하여, 그리고 상기 랜드마크 검출 및 인식 프로세스로부터 결정된 경계 박스들 및 랜드마크 클래스들과 조합하여 상기 이미지 데이터 획득 모듈로부터 출력된 이미지 데이터를 사용하여 수행될 수 있다. 상기 이미지 데이터로부터 추출된 각각의 랜드마크에 대해, 정규화된 좌표들의 2D 폴리라인의 형태인 랜드마크 형상, 및 (예컨대, 2D 폴리라인을 3D 공간으로 변환하기 위한 포즈 매트릭스와 같은) 방위가 상기 랜드마크의 콘텐츠를 설명하는 랜드마크 이미지와 함께 생성된다. 상기 랜드마크들은 예컨대 국부화 목적으로 적절하고 바람직하게 사용될 수 있는 도로를 따라 존재할 수 있는 예컨대 교통 표지, 신호등, 간판 등을 비롯하여 국부화를 위해 적절하고 바람직하게 사용할 수 있는 도로를 따라 존재할 수 있는 기타 구별되는 객체들을 포함할 수 있다.
도 10 - 도 15는 상기 이미지들 내 교통 표지와 같은 랜드마크들을 검출, 추적 및 추적하는 방법을 도시하는 도면들이다. 예를 들어, 도 10에 도시된 바와 같이, 상기 외부 표지 검출 시스템은 일반적으로 주어진 한 세트의 프레임들의 각각의 프레임(1002)에 대해 단일 표지 검출(1001)을 제공한다. 그러나 예시된 바와 같이, 이러한 검출들은 산발적(예를 들어, 제3 프레임은 임의의 표지 검출을 포함하지 않음)이거나, (4번째 프레임에서와 같은) 위음성/위양성 검출 경향이 있을 수 있으며 부정확한 경계들을 제공할 수도 있다.
따라서, 실시 예들에서, 각각의 검출된 표지는 그 후에 원근 왜곡에 대해 그리고 프레임 시퀀스 내 인접한 프레임들의 범위(후방 및 전방) 내에서 신중히 추적된다. 추적 결과는 검출된 표지, 다시 말하면 부호가 검출된 원래의 프레임(원점 프레임)에서 인접한 프레임의 범위에 대한 픽셀 절단(cut-out)의 이상적인 맵핑을 설명하는 한 세트의 원근 변환들(1101)로 구성된다. 이는 도 11a에 도시되어 있다. 도 11b에 도시된 바와 같이, 이는 다시 차량의 3D 좌표계(다시 말하면, 위에서 결정될 수 있는 바와 같은 차량의 오도메트리 시스템의 좌표계)에서의 표지의 표현(1102)을 제공하기 위해 표지가 삼각 측량되는 것을 허용한다.
이는 주어진 모든 프레임에서 검출된 모든 표지 및 모든 단일 검출에 대해 수행된다. 따라서 이는 추적 품질이 충분히 높으면 대략 겹쳐져야 하는 동일한 물리적 표지에 대해 많은 삼각측량 윤곽(1201)을 생성하는 결과를 초래한다. 이는 도 12에 도시되어 있다.
그 후에, 상기 3D 표현을 그룹화하고 함께 병합하며 극단치를 제거한다. 따라서 3D 그룹핑은 도 13에 도시된 바와 같이, 위양성(false positives) 또는 이와는 달리 부정확한 표지 검출 및 삼각 측량이 3D 공간에서 산란되는 것처럼 보이는 경향이 있는 반면 정확한 표지는 잘 쌓이게 된다(예컨대, 참조 부호 1301의 검출 참조).
또한, 융합 표지 윤곽은 표지가 2D 이미지 공간에 위치하게 하고 표지의 다수의 절단(cut-out)들(1401)을 제공하기 위해 각각의 프레임으로부터 정확히 절단할 수 있게 한다. 상기 절단들 모두를 오버레이(overlay)함으로써, 표지(1402)의 융합된 이미지가 생성될 수 있다. 이는 상기 표지의 이미지로부터 오클루젼이나 정반사성 하이라이트와 같은 결함을 신뢰성 있게 제거하고 예컨대 절단들 중에서 높은 컬러 분산을 지니는 픽셀들(1403)을 마스킹함으로써 표지의 경계들을 검출하는 데 사용될 수 있다. 이는 도 14에 도시되어 있다.
마스킹된 절단의 픽셀 윤곽들은 예컨대 도 15에 도시된 바와 같이 차량의 오도메트리에 대한 표지 형상, 픽셀 콘텐츠 및 위치의 정확한 3D 재구성(1501)을 제공하도록 벡터화될 수 있다. 이러한 정확한 재구성은, 본 명세서에서 설명한 유형의 시각적 전역 위치결정과 같은 다양한 후속 용도에, 다시 말하면 맵에서 기록 세션으로부터 획득된 3D 표지 재구성을 기준 3D 표지와 연관시킴으로써 사용될 수도 있고, 실제 표지 크기에 대한 지식을 활용하고 이러한 정보를 사용해 예컨대, 모션 재구성으로부터의 단안 구조에서 스케일을 표준화하여 스케일 드리프트(scale drift)와 같은 부정확성이 보정될 수 있게 함으로써 단안 시각적 오도메트리 및 SLAM 기록을 정제하는데 사용될 수도 있다.
로컬 맵 집성(MAP-1)
이러한 처리 단계는 2D 평면도 조밀 형상사진(top-view dense orthophoto) 재구성을 생성하고 이전에 추출된 모든 고급 피처(예컨대, 랜드마크들 및/또는 차선 표시)를 내부에 엠베드함으로써 로컬 맵을 집성한다.
상기 조밀 형상사진 재구성을 위해, 먼저 갭(gap)이 없는 그라운드 형상이 희소 피처 포인트 클라우드로부터 추출된 포인트들을 사용하여 추정된다. 정확도 요구사항에 의존하여, 그라운드 모델은 다음과 같은 것으로 구성될 수 있다.
각각의 키 프레임 및 그에 연관된 가상 카메라(시각적 오도메트리 추정에 의해 제공됨)의 알려진 절대 위치 및 방위를 사용하여, 모든 2D 이미지 정보, 다시 말하면 픽셀 컬러, 고급 피처 위치들과 함께 세그멘테이션 정보가 3D 그라운드 형상 상에 투영된다. 그 후에, 이러한 패치의 2D 형상사진은 그라운드를 수직으로 내려다 보는 가상 형상사진 카메라상에 다시 데이터를 투영함으로써 생성되며, 결과적으로 풍경의 버즈 아이 뷰가 만들어진다. 겹치는 데이터는 카메라 위치 추정 정확도, 시야각, 거리 등에 의존해, 투영 오차 범위와 관련하여 조합된다.
그라운드
메쉬
생성
도로망 내 임의의 그라운드-레벨 피처들을 포함하여 "그라운드 메쉬"가 생성될 수 있다. 위에서 설명한 스테레오 시각적 오도메트리 프로세스로부터 출력된 DSO 포인트 클라우드들, 또는 스테레오 이미지에 대한 깊이 데이터로부터 직접 결정된 스테레오 포인트 클라우드는 선택적으로, 그라운드 메쉬를 생성하도록 상기 의미론적 세그멘테이션 프로세스로부터 출력된 관련 픽셀 클래스 스코어 벡터와 함께 사용될 수 있다. 예를 들어, 의미론적 세그멘테이션으로부터 획득된 객체 클래스는 "도로" 또는 "차선 표시" 등과 같은 임의의 그라운드 피처들을 선택하는데 사용될 수 있다. 그러나 의미론적 세그멘테이션은 완벽하지 않을 수 있으며, 경우에 따라서는 의미론적 세그멘테이션은 몇 가지 잘못된 값, 다시 말하면 그라운드상에 있지 않더라도 그라운드-레벨 포인트들로서 일부 포인트들을 선택하는 몇 가지 잘못된 값을 제공할 수 있다. 예를 들어, DSO 포인트 클라우드 내 키 포인트들에 대한 깊이들을 사용하여 그라운드-레벨 포인트들을 부가적으로 선택할 수 있다. 경우에 따라, 예컨대 상기 DSO 포인트 클라우드가 너무 희소한 경우, (예컨대, 제1 세트의 이미지들 및 그에 연관된 깊이 맵들로부터 직접 얻어지는) 스테레오 포인트 클라우드가 대신 사용될 수 있다. 실시 예들에서, 상기 DSO 및 스테레오 포인트 클라우드들의 다양한 조합이 사용될 수 있다. 예를 들어, 상기 스테레오 포인트 클라우드는 DSO 포인트 클라우드가 너무 희소한 영역을 보간하기 위해 사용될 수 있다. 실시들 예에서, 상기 포인트 클라우드, 예컨대 상기 스테레오 포인트 클라우드 또는 상기 DSO 포인트 클라우드 중 어느 하나는 예를 들어 일반 필터(의미론적 세그멘테이션에 의해 잘못 분류된 자동차, 나무 및 건물을 나타내는 포인트를 제거하기 위함); 통계적 극단치 제거 필터; 및 RANSAC 필터; 중의 하나 이상을 사용하여 필터링될 수 있으며, 상기 메시는 필터링 된 포인트 클라우드를 사용하여 생성된다. 상기 그라운드 메쉬는 예컨대 도 17a - 도 17c에 도시된 바와 같이 일반적으로 그리드-스타일 및/또는 텅(tounue)-스타일 그라운드 메쉬 중 어느 하나를 포함할 수 있다.
형상 보정된 도로 이미지 생성
상기 그라운드 메쉬는 다시 도로의 형상 보정된 이미지를 생성하기 위해 카메라로부터의 이미지 및 이에 연관된 포즈와 함께 사용될 수 있다. 예를 들어, 이동의 2D 평면도를 포함하는 도로의 버즈 아이 모자이크 지리 좌표화된 이미지가 생성될 수 있고 여기서 상기 이미지들이 상기 그라운드 메쉬 상에 투영되고 함께 혼합/가중되며, 그럼으로써 상기 이미지 내 각각의 픽셀의 픽셀 값이 상기 이미지를 생성하는데 사용되는 이미지들로부터 검출되는 환경 내 위치의 컬러를 나타내게 된다.
도 16은 복수의 2D 이미지들(1601)이 어떻게 그라운드상에 투영될 수 있는지 그리고 이러한 투영들이 그 후 도로의 이미지(1602)를 제공하기 위해 어떻게 조합될 수 있는지를 보여주는 도면이다. 예를 들어, 일단 시각적 오도메트리를 사용하여 카메라 포즈들이 이루어지면, 이때 임의의 원하는 관점으로부터 상기 이미지를 다시 투영할 수 있다. 도 16에 도시된 바와 같이, 복수의 이미지들이 동일한 맵 영역 상에 투영되고, 그 후 상기 영역에서 도로의 이미지를 구축하기 위해 적절한 가중치로 함께 혼합된다. 이는 도로의 정확한 형상 보정된 이미지를 생성하기 위해 카메라 포즈들이 알려진 기록된 이미지들 모두를 사용하여 반복될 수 있다.
상기 차선 표시의 의미론적 세그멘테이션에서 사용되는 경우, 버즈 아이 모자이크로부터 결정된 바와 같은 곧은 이동 뷰를 포함하는 지리 좌표화된 이미지를 포함하는 선형적으로 등록된 이미지(LRI)가 또한 생성될 수 있다. LRI 생성의 부가적인 세부내용은 예를 들어 WO 2009/045096 A1 및 WO 2017/021473 A1에서 찾아 볼 수 있다.
결과적인 버즈 아이 모자이크 또는 선형적으로 등록된 이미지는 본 발명의 실시 예들에서 로컬 맵으로서 사용될 수 있다.
고급 피처 검출(
DTCT
-2)
고급 레벨 피처 검출은 예컨대 이하에서 설명되겠지만 차선 표시 관측을 생성하기 위한 다양한 단계를 추가로 포함할 수 있다.
차선 표시 의미론적
세그멘테이션
위에서 설명한 버즈 아이 모자이크 및/또는 직선으로 등록된 이미지에 부가하여, 또는 대안으로, 상기 이미지 내 각각의 픽셀의 픽셀 값은 상기 환경 내 위치의 확률이, 차량 환경의 의미론적 세그멘테이션으로부터의 출력으로서, 차선 표시 객체임을 나타내는 형상 보덩된 도로 이미지가 또한 생성될 수 있다. 예를 들어, 그레이스케일 컬러 공간을 사용하는 경우, 차선 표시 객체가 될 확률이 100%로 할당된 임의의 픽셀들은 '백색'일 수 있지만, 0%의 확률을 지니는 픽셀은 '흑색'일 수 있으며, 다른 픽셀 값들은 대응하는 확률에 기초하여 적절하게 선택된다. 이러한 방식으로 차선 표시 객체들을 강조하고 차선 표시의 의미론적 세그멘테이션을 수행해야 하는 더 선명한 이미지를 제공하는 "필터링된" 그레이스케일 형상사진 도로 이미지가 생성될 수 있다. 이러한 필터링된 이미지는 도 18b에 도시되어 있다. 비교를 위해, 도 18a는 동일한 초기 이미지들로부터 결정되지만, 픽셀 값은 초기의 의미론적 세그멘테이션으로부터 결정된 바와 같이 위치에 대한 가장 확류이 높은 객체 클래스를 나타낸다. 관측될 수 있는 바와 같이, 상기 차선 표시는 도 18a에 비하여 도 18b에서 상당히 선명하다. 따라서, 이러한 이미지는 차선 표시 객체들이 강조되어 있는 정리된 도로 이미지를 나타낸다.
차선 관측 생성
전형적으로 선형적으로 등록된 이미지의 형태를 이루는 필터링된 그레이스케일 형상 보정된 도로 이미지는 차선 표시들의 특이한 유형들로서 상기 이미지 내 객체들을 식별 및 분류하도록 예컨대 훈련된 컨벌루션 신경망을 사용하여 부가적인 차선 표시 객체 검출 및 인식을 받는다. 차선 표시 클래스들의 예는 단일 실선, 단일의 짧은 점선, 단일의 긴 점선, 이중 실선, 이중 점선, 아일랜드 경계선 등 중의 하나 이상을 포함할 수 있다. 상기 차선 표시의 의미론적 세그멘테이션으로부터의 LRI, 차선 표시 객체들 및 클래스들을 사용하면, 차선 형상, 다시 말하면 예컨대 자율 주행 모듈에 의한 사용을 위해 그리고/또는 HD 맵으로의 통합을 위해 차선 식별자 및 형상을 보여주는 차선 형상을 생성하는 것이 가능하다.
예를 들어, 도 19에서, 상기 차선 표시의 의미론적 세그멘테이션으로부터 차선 표시들(1901)로서 식별된 임의의 객체가 추출되었다. 상기 식별된 차선 표시들은 예컨대 상기 이미지들을 임계화 및 이진화하고 그리고/또는 하나 이상의 형태학적 알고리즘들을 적용하여 노이즈를 제거하고 데이터를 유연하게 하는데 도움이 되게 함으로써 정리될 수 있다. 다음으로, 결과들은 예컨대 식별되고 필터링된 차선 표시들 각각의 중심에 선을 만듦으로써 골격화된다. 이의 결과는 다수의 골격화된 차선 표시들(1902)을 포함하는 도 19의 우측 패널에 도시되어 있다. 그 후, 상기 알고리즘은 각각의 구분선 유형에 대해 반복하고, 각각의 구분선 유형에 대한 선들을 필터링하고 서로 다른 ID로 각각의 구분선 유형을 분류하는 단계들을 수행한다. 예를 들어, 도 20은 차선 표시의 의미론적 세그멘테이션에 기반하여 식별된 하나의 특정 분할기 유형에 관한 처리를 보여주는 도면이다.
그 다음으로, 도 21은 최종 결과를 보여 주는 도면이며, 각각의 구분선 유형은 도로 이미지상에서 다르게 표현된다.
로컬 맵 집성(MAP-2)
위에서 검토한 바와 같이, 도로망을 묘사하는 선형적으로 등록된 이미지 또는 버즈 아이 모자이크는 로컬 맵으로서 사용될 수 있으며, 선택적으로는 상기 추출된 고급 피처들(예컨대, 랜드마크들 및/또는 랜드마킹들)은 그 내부에 엠베드된다. 그러나 대안으로, 상기 로컬 맵은 예컨대 이하에서 설명하겠지만 단지 상기 추출된 고급 피처들을 포함할 수 있게 된다.
관측
데이터그램
생성
상기 차선 형상 및 랜드마크 관측 생성으로부터 출력된 랜드마크 형상들, 방위들 및 이미지들은 결과적으로 상기 카메라 센서들로부터 추출되고 예컨대 국부화 프로세스를 위해 그리고/또는 HD 맵을 업데이트하여 현실을 더 정확하게 반영하는데 사용될 수 있는, 위에서 설명한 차선 및/또는 랜드마크 관측들과 같은, 국부화된 맵 데이터를 포함하는 "데이터그램들"(또는 "로다그램(roadagram)들)을 생성하기 위한 관측 데이터그램 생성 모듈에 출력될 수 있다. 다시 말하면, 상기 데이터그램은 로컬 맵에 상응한다. 상기 데이터그램은 일반적으로 HD맵에 확장 가능하고 효율적인 업데이트를 허용하기 위해 최소한의 대역폭으로 (예컨대, 클라우드에) 전송할 수 있는 그러한 맵 데이터의 압축된 스니펫(snippet)이다.
따라서, 상기 데이터그램은 이전의 단계들로부터 출력된 랜드마크 관측 생성 데이터 및/또는 차선 관측 생성 데이터를 포함할 수 있다. 일반적으로 상기 데이터그램에는 랜드마크 및 차선 마킹 관측들 양자 모두가 포함된다. 그러나 경우에 따라서는, 랜드마크 관측 또는 차선 관측 데이터만이 존재할 수 있고, 이 경우에 이들 중 하나(다시 말하면, 이용 가능한 데이터가 있는 것)가 데이터그램들을 생성, 예컨대 맵을 업데이트하는데 사용된다. 이는 예를 들어, 유용한 랜드마크가 존재하지 않거나, 차선 표시가 없거나 또는 어떤 이유로 데이터가 얻어지지 않는(예컨대, 차량이 이용 가능한 센서들 중 일부만을 지니는) 농촌 도로 구간의 경우일 수 있다.
이러한 데이터그램들을 생성하기 위한 일반적인 처리 흐름은 도 6에 도시되어 있다. 따라서, 도 6의 흐름은 이미지 획득 단계로부터 시작된다. 그 후, 기록된 이미지는 위에서 설명한 차량 환경의 의미론적 세그멘테이션 및 시각적 오도메트리를 수행하기 위한 차량 환경의 의미론적 세그멘테이션 및 스테레오 시각적 오도메트리 모듈들에 제공된다. 그 후에 상기 차량 환경의 의미론적 세그멘테이션의 결과들 및 기록된 이미지들은 랜드마크들을 검출 및 인식하는데 사용될 수 있다. 각각의 검출된 랜드마크에 대해, 랜드마크 관측은 그 후 상기 시각적 오도메트리로부터 얻어진 카메라 포즈들 및 랜드마크 검출을 사용하여 생성될 수 있다. 이와 병행하여, 상기 시각적 오도메트리를 사용하여 얻어진 카메라 포즈들 및 포인트 클라우드들 및 상기 차량 환경의 의미론적 세그멘테이션의 결과들은 그라운드 메쉬를 생성하는데 사용될 수 있다. 상기 그라운드 메쉬는 다시 상기 차선 표시 관측이 생성될 수 있는 차선 표시의 의미론적 세그멘테이션의 추가 단계가 수행될 수 있는 형상 보정된 도로 이미지를 생성하는 데 사용될 수 있다. 상기 랜드마크 및 차선 표시 관측들은 그 후 로컬 맵 표현으로의 통합을 위해, 또는 로컬 맵 표현으로서의 사용을 위해 "데이터그램"을 생성하는 데 사용될 수 있다. 일반적인 처리 흐름, 다시 말하면 도 5의 Unit A의 일반적인 처리 흐름의 일 예가 또한 도 22에 도시되어 있다.
맵 소스 데이터 업로드(
UPLD
)
성공적으로 매치된 로컬 맵은 전역 스케일 기준 맵의 생성 및/또는 유지보수 및 업데이트 프로세스에 기여할 수 있는 중요한 데이터를 포함한다.
키 프레임들, 분류 마스크들 및 검색된 고급 피처들과 같은 선택된 소스 데이터는 맵 생성 및 맵 업데이트 패키지로서 번들로 제공되며 맵 생성 프로세스로의 전송을 위해 스케줄링된다. 공급된 데이터는 다시 말하면 전역-스케일 기준 맵의 매핑되지 않거나 구식 영역을 채울 목적으로 맵 생성 및 업데이트 요구에 따라 선택될 수 있다.
Unit B - 전역 맵 조사 및 포즈 추정
전역 맵 섹션 회수(
DWNLD
)
맵 섹션 회수 단계는 매치되는 집성된 로컬 맵의 범위 및 대략적인 위치에 상응하는 전역-스케일 기준 맵의 서브-섹션을 요구 및 회수한다.
선택된 섹션은 정밀도가 낮은 오도메트리와 함께 주어진 대략적인 GPS 위치 및 컴퍼스(compass) 기반 방위와 같은 다수의 대략적인 위치결정 소스로부터 획득될 수 있으며, 이는 재구성된 로컬 맵의 범위와 대략 일치하여야 한다.
매치를 위해 회수된 정보 계층들은 로컬 맵에 존재하는 정보와 매치하여야 하며 다음과 같을 수 있다.
국부화
및 매칭(MATCH)
국부화 단계는 로컬 맵을 기준 맵 섹션과 매치시킴으로써 수행된다. 국부화 품질 및 견고성은 로컬 맵 엠베드되거나 또는 추출된 고급 피처들의 내구성과 안정성을 활용하여 얻어진다. 적용 가능한 기법들은 다음과 같다.
결과적으로 전역 맵 내 업로드된 패치의 전역 기준 위치 및 방위의 정확도 및 정밀도가 높게 된다.
위치 응답(
RSPND
)
전역 맵 조사 및 포즈 추정 유닛은 신뢰도 및 정밀도, 전반적인 패치-전체 및 로컬 품질 및/또는 맵 커버리지 및 최신의 것과 같은 포즈 추정에 관한 추가 정보와 함께 전역 위치(504) 및 방위(포즈)(506)로 응답한다.
이러한 추가 정보는 로컬 맵 집성 및 객체 검출 유닛 구성요소에 의해 상기 포즈 결과를 외부적으로 제공된 위치결정 데이터로 더 정확하게 통합하고 임의의 데이터가 맵 제작 목적으로 전역 맵 생성 및 업데이트 유닛에 제공되어야 할지를 결정하는데 사용될 수 있다.
Unit C - 전역 맵 생성 및
업데이트
소스 데이터 입력(IN)
소스 데이터 입력 단계는 맵 작성 및 업데이트 목적으로 소스 데이터를 수신한다. 데이터 패키지들은 세계 스케일의 소스 데이터 레포지토리에 저장되며 후속 맵 처리를 위해 사용할 수 있다.
소스 데이터 입력 단계는 수신되고 처리되지 않은 작업의 가용성에 대한 맵 작성 및 조정 서비스들을 통지한다.
맵 제작 및 조정(BUILD)
맵 제작 및 조정 단계는 세계 스케일의 소스 데이터 레포지토리에서 변경사항 및 새로이 사용 가능한 데이터에 관한 지역 업데이트 통지들을 수신하고 집성한다.
진행중인 제작 및 최적화 프로세스의 일부로서, 맵 제작 및 조정 프로세스는 모든 업데이트된 영역을 반복하고 다음을 수행한다.
1. 업데이트된 전역 맵 섹션에 대한 모든 소스 데이터(새로이 추가된 데이터를 포함함)를 회수함
2. 기존의 데이터 및 새로운 데이터를 통합하고 전체 섹션에 대한 오도메트리 재구성을 업데이트함
3. 세계-스케일의 데이터 레포지토리 내로 상기 업데이트된 섹션을 저장함
4. 상기 업데이트된 맵 섹션들에 관한 기준 맵 추출 단계를 통지함.
섹션 와이드 맵의 재구성 및 조정은 모션 기법들로부터의 구조를 품질이 선택된 한 서브세트의 소스 데이터에 적용함으로써 수행된다. 검출된 고급 피처들, 선택된 저급 피처들 및 지리 등록된 포인트들과 같은 장기간 결합 가능한 피처들이 연관되고 번들 조정이 반복 적용된다. 또한, 결합 가능한 고급 피처들을 포함하는 제3자 데이터는 또한 맵 제작 안정성 및 정확성을 더 향상시키도록 포함될 수 있다.
맵 제작 및 조정 단계, 다시 말하면 도 5의 Unit C의 맵 제작 및 조정 단계의 예가 도 23에 도시되어 있다.
기준 맵 추출(
XTRCT
)
기준 맵 추출은 세계-스케일 소스 데이터 레포지토리(source data repository; SDR)로부터 맵 매칭 데이터를 사전에 생성한다. 이러한 맵 매칭 데이터는 주어진 집성 로컬 맵을 매치 및 정렬하는 국부화 및 매칭 단계의 목적과 호환되도록 의도된다. 따라서, 로컬 맵 집성 및 객체 검출 유닛에 의해 컴파일된 집성된 로컬 맵과 동일한 정보 계층으로 구성될 수 있다.
맵 작성 및 조정 단계와 마찬가지로, 기준 맵 추출 단계는 진행중인 생성 서비스의 일부이다. 이는 업데이트된 모든 소스 데이터 섹션에 걸쳐 반복하고 다음을 수행한다.
1. 새로이 제작된 그리고/또는 조정된 소스 데이터를 회수함;
2. (국부화 및 매칭 단계에 적합한) 응축되고 공간 최적화된 매칭 힌트들/정보를 추출하고, 이러한 매칭 정보 계층들은 다음을 추가로 포함함;
3. 세계-스케일 매치 데이터 레포지토리(MDR) 내 추출된 패치 매칭 데이터를 저장함;
4. 발생된 변경사항들에 관한 기준 맵 정보 서비스를 통지함.
기준 맵 정보 서비스(
SRV
)
기준 맵 정보 서비스는 기준 맵 추출 단계에 의해 점진적으로 생성되고 제공되는 기준 맵들에 효율적이고 확장 가능한 액세스를 제공한다. 요구된 맵 섹션들에 대해, 상기 서비스가 다음과 같은 기능을 제공한다.
상기 기준 맵 정보 서비스는 캐싱(caching) 기법들을 포함할 수도 있고 포함하지 않을 수도 있다.
위에 기재한 상세한 설명은 예시 및 설명을 위해 제공되었다. 이는 완전한 것으로 의도되지 않으며 본 명세서에서 설명한 기술을 개시된 정확한 형태로 제한하는 것으로 의도되지 않는다. 위의 교시에 비추어 많은 수정 및 변형은 가능하다. 앞서 설명한 실시 예들은 본 명세서에서 설명한 기술의 원리 및 그 실제 응용을 가장 잘 설명하고, 그럼으로써 당업자가 본 명세서에서 설명한 기술을 고려된 특별한 사용에 적합한 여러 실시 예에서 그리고 여러 변형 예들로 가장 잘 활용할 수 있게 하도록 선택되었다. 따라서, 본 명세서, 도면 및/또는 청구범위에 개시된 특징들은 단독으로나 또는 이들의 다양한 조합으로 취해진 다양한 실시 예의 실현을 위한 재료일 수 있다. 또한, 본 발명이 다양한 실시 예를 참조하여 설명되었지만, 당업자라면 첨부된 청구범위에 기재된 바와 같은 발명의 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있음을 이해할 것이다.
Claims (20)
- 도로망을 통해 주행하는 차량의 지리적 위치 및 방위를 결정하는 방법으로서,
상기 방법은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 획득된 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여, 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 단계;
상기 생성된 로컬 맵 표현을 기준 맵의 섹션과 비교하는 단계 - 상기 기준 맵 섹션은 상기 차량이 주행하고 있는 도로망의 영역을 커버 함 -; 및
상기 비교에 기초하여, 상기 도로망 내 상기 차량의 지리적 위치 및 방위를 결정하는 단계;
를 포함하는, 방법. - 제1항에 있어서,
상기 방법은,
상기 비교에 기초하여, 상기 기준 맵 섹션 내 하나 이상의 오차들을 식별하는 단계; 및
하나 이상의 오차들이 식별될 때, 상기 로컬 맵 표현, 또는 상기 로컬 맵 표현을 나타내는 데이터를 상기 원격 서버에 제공하여 상기 기준 맵 섹션을 업데이트하고 그리고/또는 새로운 기준 맵 섹션을 생성하는 단계;
를 더 포함하는, 방법. - 전자 맵에 의해 표현되는 도로망을 통해 주행하는 차량에 의해 획득된 데이터를 사용하여 상기 전자맵을 업데이트 및/또는 생성하는 방법으로서,
상기 방법은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여, 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 단계;
상기 생성된 로컬 맵 표현을 기준 맵의 섹션과 비교하는 단계;
상기 비교에 기초하여, 상기 기준 맵 섹션 내 하나 이상의 오차들을 식별하는 단계; 및
하나 이상의 오차들이 식별될 때, 상기 로컬 맵 표현 또는 상기 로컬 맵 표현을 나타내는 데이터를 원격 서버에 제공하여 상기 기준 맵 섹션을 업데이트하고 그리고/또는 새로운 기준 맵 섹션을 생성하는 단계;
를 포함하는, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 방법은,
기준 이미지에 대해 상기 로컬 맵 표현을 생성하는데 사용되는 상기 이미지들 중 적어도 일부에 대한 상대적인 카메라 위치를 결정하는 단계;
를 포함하며,
선택적으로는, 상기 기준 이미지가 상기 이미지들의 시퀀스 내 제1 이미지인, 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 방법은,
상기 이미지들에 대해 픽셀 단위의 의미론적 세그멘테이션을 수행하는 단계;
를 포함하며,
상기 픽셀 단위의 의미론적 세그멘테이션의 결과는 상기 이미지들 각각에 대해, 각각의 픽셀은 상기 픽셀에 대한 각각의 객체 클래스의 확률을 나타내는 객체 클래스 또는 객체 클래스 벡터로 할당되는, 방법.. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 방법은,
상기 이미지들 중 적어도 일부를 처리하여 하나 이상의 랜드마크 객체들을 검출하고, 및 상기 검출된 하나 이상의 랜드마크 객체들을 사용하여 상기 로컬 맵 표현으로 포함시키기 위한 랜드마크 관측을 생성하는 단계;
를 포함하는, 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 방법은,
상기 이미지들 중 적어도 일부를 처리하여 상기 이미지들 내 하나 이상의 랜드마크 객체들을 검출하는 단계 - 상기 랜드마크 객체들은 상기 도로망의 환경 내 랜드마크들을 나타내는 단계;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 그리고 상기 이미지들의 상기 연관된 카메라 위치들을 사용하여, 랜드마크 객체가 검출된 이미지로부터의 검출된 랜드마크 객체를 상기 이미지들의 시퀀스의 하나 이상의 인접 이미지들로 매핑하는 한 세트의 변환들을 결정하는 단계;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대하여, 3차원 좌표 공간에서 상기 랜드마크 객체의 표현을 생성하는 단계;
상기 환경 내 동일한 랜드마크에 상응하는 서로 다른 이미지들로부터 생성된 한 세트의 3차원 표현들을 결정하는 단계; 및
상기 결정된 한 세트의 3차원 표현들로부터, 상기 한 세트의 3차원 표현들에 의해 표현되는 상기 환경 내 랜드마크를 나타내는 데이터를 생성하는 단계;
를 포함하는, 방법. - 도로망의 환경 내 하나 이상의 랜드마크들을 식별하는 방법으로서,
상기 방법은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 내 적어도 일부를 처리하여 상기 이미지들 내 하나 이상의 랜드마크 객체들을 검출하는 단계 - 상기 랜드마크 객체들은 상기 도로망의 환경 내 랜드마크들을 나타냄 -;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 그리고 상기 이미지들의 상기 연관된 카메라 위치들을 사용하여, 랜드마크가 검출된 이미지로부터의 검출된 랜드마크 객체를 상기 이미지들의 시퀀스의 하나 이상의 인접 이미지들로 매핑하는 한 세트의 변환들을 결정하는 단계;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대하여, 3차원 좌표 공간에서 상기 랜드마크 객체의 표현을 생성하는 단계;
상기 환경 내 동일한 랜드마크에 상응하는 서로 다른 이미지들로부터 생성된 한 세트의 3차원 표현들을 결정하는 단계; 및
상기 결정된 한 세트의 3차원 표현들로부터, 상기 한 세트의 3차원 표현들에 의해 표현되는 상기 환경에서의 랜드마크를 나타내는 데이터를 생성하는 단계;
를 포함하는, 방법. - 제7항 또는 제8항에 있어서,
상기 랜드마크를 나타내는 데이터는 상기 환경 내 랜드마크의 위치 및 방위를 나타내는 정보를 포함하는, 방법. - 제7항 내지 제9항 중 어느 한 항에 있어서,
상기 방법은,
각각의 세트 내 상기 3차원 표현들을 융합시켜 상기 랜드마크의 2차원 윤곽을 결정하고 그리고/또는 상기 좌표 공간에서 상기 랜드마크의 재구성을 생성하는 단계;
를 포함하는, 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 방법은,
상기 이미지들 중 적어도 일부를 처리하여 하나 이상의 차선 표시 객체들을 검출하고, 상기 검출된 하나 이상의 차선 표시 객체들을 사용하여 상기 로컬 맵 표현으로 포함시키기 위한 차선 표시 관측을 생성하는 단계;
를 포함하는, 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 이미지들 중 적어도 일부를 처리하여 의미론적 세그멘테이션을 수행하고, 그럼으로써 상기 처리된 이미지들의 각각의 픽셀이 적어도 상기 픽셀이 상기 환경 내 차선 표시를 나타내는 확률 값으로 할당되게 하는 단계;
상기 이미지들의 시퀀스의 이미지들 중 적어도 일부를 처리하여 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 도로 이미지를 생성하는 단계 - 상기 도로 이미지 내 각각의 픽셀에 대한 픽셀 값은 상기 도로 이미지를 생성하는데 사용되는 상기 이미지들 내 상응하는 픽셀들의 할당된 확률 값들에 기초하여 이루어짐 -;
상기 도로 이미지를 처리하여 상기 이미지 내 하나 이상의 차선 표시 객체들을 검출 및 분류하는 단계 - 상기 차선 표시 객체들은 상기 도로 이미지에서 묘사된 하나 이상의 도로들 상의 차선 표시들을 나타냄 -; 및
상기 검출되고 분류된 차선 표시 객체들을 사용해 상기 도로 이미지를 처리하여 상기 차선 표시 객체들에 의해 표현된 차선 표시들의 위치 및 형상을 결정하는 단계;
를 포함하는, 방법. - 도로망의 하나 이상의 도로들 상에서 차선 표시의 위치 및 형상을 결정하는 방법으로서,
상기 방법은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 단계 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 중 적어도 일부를 처리하여 의미론적 세그멘테이션을 수행하고, 그럼으로써 상기 처리된 이미지들의 각각의 픽셀이 적어도 상기 픽셀이 상기 환경 내 차선 표시를 나타내는 확률 값으로 할당되게 하는 단계;
상기 차량이 주행하고 있는 도로망의 영역을 나타내는 도로 이미지를 생성하는 단계 - 상기 도로 이미지 내 각각의 픽셀에 대한 픽셀 값이 상기 도로 이미지를 생성하는 데 사용되는 상기 이미지들 내 상응하는 픽셀들의 할당된 확률값들에 기초하여 이루어짐 -;
상기 도로 이미지를 처리하여 상기 이미지 내 하나 이상의 차선 표시 객체들을 검출 및 분류하는 단계 - 상기 차선 표시 객체들은 상기 도로 이미지에서 묘사된 하나 이상의 도로들 상의 차선 표시를 나타냄 -; 및
상기 검출되고 분류된 차선 마킹 객체들을 사용해 상기 도로 이미지를 처리하여 상기 차선 표시 객체들에 의해 표현된 차선 표시의 위치 및 형상을 결정하는 단계;
를 포함하는, 방법. - 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 방법은,
상기 복수의 이미지들을 처리하여, 상기 로컬 맵 표현으로 포함시키기 위해 상기 차량이 주행하고 있는 도로망의 영역의 이미지를 생성하는 단계;
를 포함하며,
상기 도로망의 영역의 이미지는 시각적 오도메트리를 사용하여 복수의 서로 다른 이미지들을 3차원 좌표 프레임으로 투영함으로써 결정되는, 방법. - 도로망을 통해 주행하는 차량의 지리적 위치 및 방위를 결정하는 시스템으로서,
상기 시스템은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 획득된 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 수단;
상기 생성된 로컬 맵 표현을 맵 레포지토리로부터 추출된 기준 맵의 섹션과 비교하는 수단 - 상기 기준 맵 섹션은 상기 차량이 주행하고 있는 도로망의 영역을 커버함 -; 및
상기 비교에 기초하여 상기 도로망 내 차량의 지리적 위치 및 방위를 결정하는 수단;
을 포함하는, 시스템. - 전자 맵에 의해 표현되는 도로망을 주행하는 차량에 의해 획득된 데이터를 이용하여 상기 전자맵을 생성 및/또는 업데이트하는 시스템으로서,
상기 시스템은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 및 상기 연관된 카메라 위치들 중 적어도 일부를 사용하여, 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 로컬 맵 표현을 생성하는 수단;
상기 생성된 로컬 맵 표현을 기준 맵의 섹션과 비교하는 수단;
상기 비교에 기초하여, 상기 기준 맵 섹션 내 하나 이상의 오차들을 식별하는 수단; 및
하나 이상의 오차들이 식별될 때, 상기 로컬 맵 표현, 또는 상기 로컬 맵 표현을 나타내는 데이터를 상기 기준 맵 섹션을 업데이트하고 그리고/또는 새로운 기준 맵 섹션을 생성하는 원격 서버에 제공하는 수단;
을 포함하는, 시스템. - 도로망의 환경 내 하나 이상의 랜드마크들을 식별하는 시스템으로서,
상기 시스템은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 중 적어도 일부를 처리하여 상기 이미지들 내 하나 이상의 랜드마크 객체들을 검출하는 수단 - 상기 랜드마크 객체들은 상기 도로망의 환경 내 랜드마크들을 나타냄 -;
상기 이미지들의 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대해, 상기 이미지들의 연관된 카메라 위치들을 사용하여, 랜드마크가 검출된 이미지로부터의 검출된 랜드마크 객체를 상기 이미지들의 시퀀스의 하나 이상의 인접한 이미지드로 매핑하는 한 세트의 변환들을 결정하는 수단;
상기 이미지들 시퀀스의 각각의 이미지에서 검출된 각각의 랜드마크 객체에 대하여, 3차원 좌표 공간에서 상기 랜드마크 객체의 표현을 생성하는 수단;
상기 환경 내 동일한 랜드마크에 상응하는 서로 다른 이미지들로부터 생성된 한 세트의 3차원 표현들의 세트를 결정하는 수단; 및
상기 결정된 한 세트의 3차원 표현들로부터, 상기 한 세트의 3차원 표현들에 의해 표현되는 환경 내 랜드마크를 나타내는 데이터를 생성하는 수단;
을 포함하는, 시스템. - 도로망의 하나 이상의 도로들 상에서 차선 표시의 위치 및 형상을 결정하는 시스템으로서,
상기 시스템은,
상기 도로망을 통해 주행하는 차량에 연관된 하나 이상의 카메라들로부터, 상기 차량이 주행하고 있는 도로망의 환경을 반영하는 이미지들의 시퀀스를 획득하는 수단 - 상기 이미지들 각각은 상기 이미지가 기록된 상기 이미지에 연관된 카메라 위치를 지님 -;
상기 이미지들 중 적어도 일부를 처리하여 의미론적 세그멘테이션을 수행하ㄱ고, 그럼으로써 상기 처리된 이미지들의 각각의 픽셀이 적어도 상기 픽셀이 상기 환경 내 차선 표시를 나타내는 확률 값으로 할당되게 하는 수단;
상기 이미지들의 시퀀스의 이미지들 중 적어도 일부를 처리하여 상기 차량이 주행하고 있는 도로망의 영역을 나타내는 도로 이미지를 생성하는 수단 - 상기 도로 이미지 내 각각의 픽셀에 대한 픽셀 값은 상기 도로 이미지를 생성하는데 사용되는 이미지들 내 상응하는 픽셀들의 할당된 확률에 기초하여 이루어짐 -;
상기 도로 이미지를 처리하여 상기 이미지 내 하나 이상의 차선 표시 객체들을 검출하고 분류하는 수단 - 상기 차선 표시 객체들은 상기 도로 이미지에서 묘사된 하나 이상의 도로들 상의 차선 표시를 나타냄 -; 및
상기 검출되고 분류된 차선 표시 객체들을 사용해 상기 도로 이미지를 처리하여 상기 차선 표시 객체들에 의해 표현된 차선 표시들의 위치 및 형상을 결정하는 수단;
을 포함하는, 시스템. - 하나 이상의 프로세서들를 포함하는 컴퓨팅 장치에 의해 판독될 때, 상기 컴퓨팅 장치로 하여금 제1항 내지 제14항 중 어느 한 항의 방법에 따라 동작하게 하는 명령어들을 포함하는 컴퓨터 프로그램 제품.
- 제19항의 컴퓨터 프로그램 제품이 저장된 비-일시적 컴퓨터 판독가능 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237044352A KR20240005161A (ko) | 2016-12-09 | 2017-12-11 | 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16203258.5 | 2016-12-09 | ||
| EP16203258 | 2016-12-09 | ||
| GB1714381.9 | 2017-09-07 | ||
| GBGB1714381.9A GB201714381D0 (en) | 2017-09-07 | 2017-09-07 | Sign tracking and tracing |
| PCT/EP2017/082293 WO2018104563A2 (en) | 2016-12-09 | 2017-12-11 | Method and system for video-based positioning and mapping |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237044352A Division KR20240005161A (ko) | 2016-12-09 | 2017-12-11 | 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190094405A true KR20190094405A (ko) | 2019-08-13 |
| KR102618443B1 KR102618443B1 (ko) | 2023-12-27 |
Family
ID=60888377
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197019960A KR102618443B1 (ko) | 2016-12-09 | 2017-12-11 | 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템 |
| KR1020237044352A KR20240005161A (ko) | 2016-12-09 | 2017-12-11 | 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237044352A KR20240005161A (ko) | 2016-12-09 | 2017-12-11 | 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US11761790B2 (ko) |
| EP (1) | EP3551967A2 (ko) |
| JP (2) | JP7213809B2 (ko) |
| KR (2) | KR102618443B1 (ko) |
| CN (2) | CN117824676A (ko) |
| WO (1) | WO2018104563A2 (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210057402A (ko) * | 2019-11-12 | 2021-05-21 | 네이버랩스 주식회사 | 비주얼 로컬리제이션과 오도메트리를 기반으로 한 경로 추적 방법 및 시스템 |
| US11037328B1 (en) | 2019-12-31 | 2021-06-15 | Lyft, Inc. | Overhead view image generation |
| WO2021138365A1 (en) * | 2019-12-31 | 2021-07-08 | Lyft, Inc. | Improvements to overhead view image generation |
| KR102289752B1 (ko) * | 2020-10-13 | 2021-08-13 | 주식회사 스페이스소프트인더스트리 | Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법 |
| US11244500B2 (en) | 2019-12-31 | 2022-02-08 | Woven Planet North America, Inc. | Map feature extraction using overhead view images |
| KR102362702B1 (ko) * | 2021-08-30 | 2022-02-14 | 주식회사 무한정보기술 | 개인의 자가차량을 이용한 도로주변 영상 촬영 매칭 서비스 시스템 및 서비스 제공 방법 |
| US11288522B2 (en) | 2019-12-31 | 2022-03-29 | Woven Planet North America, Inc. | Generating training data from overhead view images |
| WO2022119057A1 (ko) * | 2020-12-02 | 2022-06-09 | 서울대학교산학협력단 | 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법 |
| KR102487408B1 (ko) * | 2021-09-07 | 2023-01-12 | 포티투닷 주식회사 | 로컬맵에 기초한 차량의 라우팅 경로 결정 장치, 방법 및 이를 기록한 기록매체 |
| WO2024043772A1 (en) * | 2022-08-23 | 2024-02-29 | Samsung Electronics Co., Ltd. | Method and electronic device for determining relative position of one or more objects in image |
Families Citing this family (194)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112665556B (zh) * | 2015-04-01 | 2023-09-05 | 瓦亚视觉传感有限公司 | 使用被动和主动测量生成场景的三维地图 |
| US10066946B2 (en) | 2016-08-26 | 2018-09-04 | Here Global B.V. | Automatic localization geometry detection |
| KR20190062390A (ko) * | 2016-10-11 | 2019-06-05 | 모빌아이 비젼 테크놀로지스 엘티디. | 검출된 배리어에 기반한 차량의 항법 |
| EP3343172B1 (en) * | 2017-01-03 | 2024-03-13 | iOnRoad Technologies Ltd. | Creation and use of enhanced maps |
| JP6699761B2 (ja) * | 2017-01-16 | 2020-05-27 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| US10430968B2 (en) * | 2017-03-14 | 2019-10-01 | Ford Global Technologies, Llc | Vehicle localization using cameras |
| WO2018195869A1 (en) * | 2017-04-27 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Systems and methods for generating real-time map using movable object |
| US10990829B2 (en) * | 2017-04-28 | 2021-04-27 | Micro Focus Llc | Stitching maps generated using simultaneous localization and mapping |
| US11175146B2 (en) * | 2017-05-11 | 2021-11-16 | Anantak Robotics Inc. | Autonomously moving machine and method for operating an autonomously moving machine |
| DE102017211607A1 (de) * | 2017-07-07 | 2019-01-10 | Robert Bosch Gmbh | Verfahren zur Verifizierung einer digitalen Karte eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs |
| JP6838522B2 (ja) * | 2017-08-10 | 2021-03-03 | トヨタ自動車株式会社 | 画像収集システム、画像収集方法、画像収集装置、および記録媒体 |
| DE102017214921A1 (de) * | 2017-08-25 | 2019-02-28 | Robert Bosch Gmbh | Mobiles Gerät, Server und Verfahren zum Aktualisieren und Bereitstellen einer hochgenauen Karte |
| DE102017215718B4 (de) * | 2017-09-07 | 2019-06-13 | Audi Ag | Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug |
| DE102017122440A1 (de) * | 2017-09-27 | 2019-03-28 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Lokalisieren und Weiterbilden einer digitalen Karte durch ein Kraftfahrzeug; Lokalisierungseinrichtung |
| GB2568286B (en) | 2017-11-10 | 2020-06-10 | Horiba Mira Ltd | Method of computer vision based localisation and navigation and system for performing the same |
| WO2019107536A1 (ja) * | 2017-11-30 | 2019-06-06 | 三菱電機株式会社 | 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム |
| JPWO2019135393A1 (ja) * | 2018-01-04 | 2020-12-24 | パイオニア株式会社 | 地図情報提供システム、地図情報提供方法、及び地図情報提供プログラム |
| EP3743886A4 (en) * | 2018-01-25 | 2021-11-03 | Geomni, Inc. | SYSTEMS AND METHODS FOR RAPID ALIGNMENT OF DIGITAL IMAGING DATA SETS ON MODEL STRUCTURES |
| CN112204343B (zh) * | 2018-03-02 | 2024-05-17 | 辉达公司 | 高清晰地图数据的可视化 |
| US11093759B2 (en) * | 2018-03-06 | 2021-08-17 | Here Global B.V. | Automatic identification of roadside objects for localization |
| CN110494863B (zh) | 2018-03-15 | 2024-02-09 | 辉达公司 | 确定自主车辆的可驾驶自由空间 |
| WO2019183393A1 (en) * | 2018-03-21 | 2019-09-26 | Lei Zhou | Controlling movement of an automated guided vehicle |
| US10969237B1 (en) * | 2018-03-23 | 2021-04-06 | Apple Inc. | Distributed collection and verification of map information |
| DE112019002126T5 (de) * | 2018-04-26 | 2021-01-07 | Sony Corporation | Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür |
| KR102420568B1 (ko) * | 2018-04-27 | 2022-07-13 | 삼성전자주식회사 | 차량의 위치를 결정하는 방법 및 이를 위한 차량 |
| US11334753B2 (en) * | 2018-04-30 | 2022-05-17 | Uatc, Llc | Traffic signal state classification for autonomous vehicles |
| US11064178B2 (en) * | 2018-06-16 | 2021-07-13 | Artisense Corporation | Deep virtual stereo odometry |
| JP6880080B2 (ja) | 2018-07-02 | 2021-06-02 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | ポイントクラウドに基づく姿勢推定を用いた車両ナビゲーションシステム |
| JP6973964B2 (ja) * | 2018-07-04 | 2021-12-01 | 日産自動車株式会社 | 走行支援方法及び走行支援装置 |
| US10832093B1 (en) * | 2018-08-09 | 2020-11-10 | Zoox, Inc. | Tuning simulated data for optimized neural network activation |
| CN109063163B (zh) * | 2018-08-14 | 2022-12-02 | 腾讯科技（深圳）有限公司 | 一种音乐推荐的方法、装置、终端设备和介质 |
| US10810466B2 (en) * | 2018-08-23 | 2020-10-20 | Fuji Xerox Co., Ltd. | Method for location inference from map images |
| CN109141444B (zh) * | 2018-08-28 | 2019-12-06 | 北京三快在线科技有限公司 | 定位方法、装置、存储介质及移动设备 |
| CN109285220B (zh) * | 2018-08-30 | 2022-11-15 | 阿波罗智能技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
| KR102233260B1 (ko) * | 2018-10-02 | 2021-03-29 | 에스케이텔레콤 주식회사 | 정밀 지도 업데이트 장치 및 방법 |
| WO2020078572A1 (en) * | 2018-10-19 | 2020-04-23 | Harman Becker Automotive Systems Gmbh | Global map creation using fleet trajectories and observations |
| CN109544559B (zh) * | 2018-10-19 | 2022-07-08 | 深圳大学 | 图像语义分割方法、装置、计算机设备和存储介质 |
| US11182607B2 (en) * | 2018-10-26 | 2021-11-23 | Here Global B.V. | Method, apparatus, and system for determining a ground control point from image data using machine learning |
| GB201818357D0 (en) * | 2018-11-12 | 2018-12-26 | Forsberg Services Ltd | Locating system |
| US11003920B2 (en) * | 2018-11-13 | 2021-05-11 | GM Global Technology Operations LLC | Detection and planar representation of three dimensional lanes in a road scene |
| DE102018219602A1 (de) * | 2018-11-15 | 2020-05-20 | Robert Bosch Gmbh | Verfahren zum Erkennen von Kartenfehlern |
| CN111256693B (zh) * | 2018-12-03 | 2022-05-13 | 北京魔门塔科技有限公司 | 一种计算位姿变化方法及车载终端 |
| US11188765B2 (en) * | 2018-12-04 | 2021-11-30 | Here Global B.V. | Method and apparatus for providing real time feature triangulation |
| EP3667236B1 (en) | 2018-12-13 | 2023-09-06 | Ordnance Survey Limited | A method of determining position data |
| TWI682361B (zh) * | 2018-12-14 | 2020-01-11 | 財團法人工業技術研究院 | 路面影像重建與載具定位之方法與系統 |
| US11030457B2 (en) | 2018-12-17 | 2021-06-08 | Here Global B.V. | Lane feature detection in aerial images based on road geometry |
| DE102018222169A1 (de) * | 2018-12-18 | 2020-06-18 | Eidgenössische Technische Hochschule Zürich | Bordeigenes visuelles Ermitteln kinematischer Messgrößen eines Schienenfahrzeugs |
| US11790667B2 (en) | 2018-12-20 | 2023-10-17 | Here Global B.V. | Method and apparatus for localization using search space pruning |
| US10922558B2 (en) | 2018-12-20 | 2021-02-16 | Here Global B.V. | Method and apparatus for localization using search space pruning |
| DE102018133441A1 (de) * | 2018-12-21 | 2020-06-25 | Volkswagen Aktiengesellschaft | Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs |
| US10955841B2 (en) | 2018-12-28 | 2021-03-23 | At&T Intellectual Property I, L.P. | Autonomous vehicle sensor security system |
| US11798293B2 (en) * | 2018-12-28 | 2023-10-24 | Sony Group Corporation | Optical vehicle positioning |
| WO2020140164A1 (en) * | 2019-01-03 | 2020-07-09 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating a high-definition map |
| US11675083B2 (en) * | 2019-01-03 | 2023-06-13 | Nvidia Corporation | Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles |
| US10823562B1 (en) * | 2019-01-10 | 2020-11-03 | State Farm Mutual Automobile Insurance Company | Systems and methods for enhanced base map generation |
| KR102604298B1 (ko) | 2019-01-28 | 2023-11-17 | 에스케이텔레콤 주식회사 | 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체 |
| US11594011B2 (en) | 2019-01-30 | 2023-02-28 | Baidu Usa Llc | Deep learning-based feature extraction for LiDAR localization of autonomous driving vehicles |
| CN112654836A (zh) * | 2019-02-04 | 2021-04-13 | 御眼视觉技术有限公司 | 用于车辆导航的***和方法 |
| EP3693702A1 (en) * | 2019-02-05 | 2020-08-12 | Visteon Global Technologies, Inc. | Method for localizing a vehicle |
| GB2621722B (en) | 2019-02-14 | 2024-06-05 | Mobileye Vision Technologies Ltd | Systems and methods for vehicle navigation |
| CN113811886B (zh) | 2019-03-11 | 2024-03-19 | 辉达公司 | 自主机器应用中的路口检测和分类 |
| CN110084095B (zh) * | 2019-03-12 | 2022-03-25 | 浙江大华技术股份有限公司 | 车道线检测方法、车道线检测装置和计算机存储介质 |
| US11280622B2 (en) * | 2019-03-13 | 2022-03-22 | Here Global B.V. | Maplets for maintaining and updating a self-healing high definition map |
| US11287266B2 (en) | 2019-03-13 | 2022-03-29 | Here Global B.V. | Maplets for maintaining and updating a self-healing high definition map |
| US11096026B2 (en) | 2019-03-13 | 2021-08-17 | Here Global B.V. | Road network change detection and local propagation of detected change |
| US11402220B2 (en) * | 2019-03-13 | 2022-08-02 | Here Global B.V. | Maplets for maintaining and updating a self-healing high definition map |
| US11287267B2 (en) * | 2019-03-13 | 2022-03-29 | Here Global B.V. | Maplets for maintaining and updating a self-healing high definition map |
| US11255680B2 (en) * | 2019-03-13 | 2022-02-22 | Here Global B.V. | Maplets for maintaining and updating a self-healing high definition map |
| JP7245084B2 (ja) * | 2019-03-15 | 2023-03-23 | 日立Astemo株式会社 | 自動運転システム |
| US11199415B2 (en) * | 2019-03-26 | 2021-12-14 | Lyft, Inc. | Systems and methods for estimating vehicle position based on contextual sensor information |
| WO2020199153A1 (zh) * | 2019-04-03 | 2020-10-08 | 南京泊路吉科技有限公司 | 基于全景影像的正射影像生成方法 |
| DE102019206036A1 (de) * | 2019-04-26 | 2020-10-29 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs |
| US11176374B2 (en) * | 2019-05-01 | 2021-11-16 | Microsoft Technology Licensing, Llc | Deriving information from images |
| DE102019206336A1 (de) * | 2019-05-03 | 2020-11-05 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer ersten Karte |
| US20220214186A1 (en) * | 2019-05-06 | 2022-07-07 | Zenuity Ab | Automated map making and positioning |
| CN110110787A (zh) * | 2019-05-06 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 目标的位置获取方法、装置、计算机设备及存储介质 |
| US11657072B2 (en) * | 2019-05-16 | 2023-05-23 | Here Global B.V. | Automatic feature extraction from imagery |
| US11295161B2 (en) * | 2019-05-22 | 2022-04-05 | Zoox, Inc. | Localization using semantically segmented images |
| US10854012B1 (en) * | 2019-05-29 | 2020-12-01 | Dell Products, L.P. | Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures |
| CN112069856B (zh) * | 2019-06-10 | 2024-06-14 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及*** |
| US11468591B2 (en) * | 2019-06-13 | 2022-10-11 | Nec Corporation | Scene attribute annotation of complex road typographies |
| US11727272B2 (en) * | 2019-06-19 | 2023-08-15 | Nvidia Corporation | LIDAR-based detection of traffic signs for navigation of autonomous vehicles |
| KR102209655B1 (ko) * | 2019-06-21 | 2021-01-29 | 경북대학교 산학협력단 | 이동체를 제어하기 위한 주변 객체 검출 장치 및 방법 |
| US11549815B2 (en) * | 2019-06-28 | 2023-01-10 | GM Cruise Holdings LLC. | Map change detection |
| GB201909556D0 (en) | 2019-07-03 | 2019-08-14 | Tomtom Traffic Bv | Collecting user-contributed data relating to a navibable network |
| US11549816B2 (en) * | 2019-07-31 | 2023-01-10 | Here Global B.V. | Systems and methods for controlling mapping information inaccuracies |
| CN112307848B (zh) * | 2019-08-01 | 2024-04-30 | 惠普发展公司，有限责任合伙企业 | 检测视频会议中的欺骗说话者 |
| TWI712993B (zh) * | 2019-08-19 | 2020-12-11 | 國立雲林科技大學 | 應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計 |
| CN112446915B (zh) * | 2019-08-28 | 2024-03-29 | 北京初速度科技有限公司 | 一种基于图像组的建图方法及装置 |
| JP2022546397A (ja) * | 2019-08-31 | 2022-11-04 | エヌビディア コーポレーション | 自律運転アプリケーションのためのマップ作成及びローカリゼーション |
| US20220270358A1 (en) | 2019-09-05 | 2022-08-25 | NetraDyne, Inc. | Vehicular sensor system calibration |
| WO2021046699A1 (en) * | 2019-09-10 | 2021-03-18 | Beijing Voyager Technology Co., Ltd. | Systems and methods for positioning |
| US10762650B1 (en) * | 2019-09-13 | 2020-09-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for estimating depth using a monocular camera |
| GB201914100D0 (en) | 2019-09-30 | 2019-11-13 | Tomtom Global Int B V | Methods and systems using digital map data |
| US11062455B2 (en) | 2019-10-01 | 2021-07-13 | Volvo Car Corporation | Data filtering of image stacks and video streams |
| JP2022553491A (ja) * | 2019-10-08 | 2022-12-23 | モービルアイ ビジョン テクノロジーズ リミテッド | 車両ナビゲーション用のシステムおよび方法 |
| JP7327077B2 (ja) * | 2019-10-18 | 2023-08-16 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
| KR102255595B1 (ko) * | 2019-10-23 | 2021-05-26 | 국민대학교산학협력단 | 사용자 관점의 자율주행 정보 제공 장치 및 방법 |
| CN114761758A (zh) * | 2019-11-04 | 2022-07-15 | 动态清晰公司 | 多车道道路表征和跟踪算法 |
| JP7386462B2 (ja) * | 2019-11-11 | 2023-11-27 | 株式会社デンソー | 演算装置および学習済みモデル |
| US11455813B2 (en) * | 2019-11-14 | 2022-09-27 | Nec Corporation | Parametric top-view representation of complex road scenes |
| US11755917B2 (en) | 2019-11-15 | 2023-09-12 | Waymo Llc | Generating depth from camera images and known depth data using neural networks |
| CN112837393B (zh) * | 2019-11-22 | 2024-04-09 | 中国航天***工程有限公司 | 基于车辆位置数据的特大城市矢量路网的生成方法及*** |
| US10928830B1 (en) * | 2019-11-23 | 2021-02-23 | Ha Q Tran | Smart vehicle |
| US10867190B1 (en) | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
| US20220413512A1 (en) * | 2019-11-29 | 2022-12-29 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
| CN112989900A (zh) * | 2019-12-13 | 2021-06-18 | 深动科技（北京）有限公司 | 一种精确检测交通标志或标线的方法 |
| DE102020200572A1 (de) * | 2019-12-18 | 2021-06-24 | Conti Temic Microelectronic Gmbh | Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern |
| US11681047B2 (en) | 2019-12-19 | 2023-06-20 | Argo AI, LLC | Ground surface imaging combining LiDAR and camera data |
| GB201918932D0 (en) | 2019-12-20 | 2020-02-05 | Tomtom Traffic Bv | Methods of generating and transmitting positional data |
| TWI725681B (zh) * | 2019-12-24 | 2021-04-21 | 財團法人工業技術研究院 | 無人載具語意地圖建置系統及其建置方法 |
| US20210200237A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Feature coverage analysis |
| WO2021136967A2 (en) * | 2020-01-03 | 2021-07-08 | Mobileye Vision Technologies Ltd. | Navigation systems and methods for determining object dimensions |
| CN111274974B (zh) * | 2020-01-21 | 2023-09-01 | 阿波罗智能技术(北京)有限公司 | 定位元素检测方法、装置、设备和介质 |
| US11900626B2 (en) * | 2020-01-31 | 2024-02-13 | Toyota Research Institute, Inc. | Self-supervised 3D keypoint learning for ego-motion estimation |
| US11579622B2 (en) * | 2020-01-31 | 2023-02-14 | Amazon Technologies, Inc. | Systems and methods for utilizing images to determine the position and orientation of a vehicle |
| CN111383286B (zh) * | 2020-02-11 | 2023-10-27 | 北京迈格威科技有限公司 | 定位方法、装置、电子设备及可读存储介质 |
| JP2021136466A (ja) * | 2020-02-21 | 2021-09-13 | ヤマハ発動機株式会社 | 船舶の操船のためのシステム、方法、および船舶 |
| DE102020202267A1 (de) | 2020-02-21 | 2021-09-23 | Denso Corporation | Verfahrenspositionsbestimmung von Fahrzeugen und Vorrichtung zur Ausführung des Verfahrens |
| US11518402B2 (en) | 2020-02-28 | 2022-12-06 | Nissan North America, Inc. | System and method for controlling a vehicle using contextual navigation assistance |
| US11731639B2 (en) * | 2020-03-03 | 2023-08-22 | GM Global Technology Operations LLC | Method and apparatus for lane detection on a vehicle travel surface |
| SE2050258A1 (en) * | 2020-03-06 | 2021-09-07 | Scania Cv Ab | Machine learning based system, methods, and control arrangement for positioning of an agent |
| US20230004797A1 (en) * | 2020-03-10 | 2023-01-05 | Sri International | Physics-guided deep multimodal embeddings for task-specific data exploitation |
| CN113435227B (zh) * | 2020-03-23 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 地图生成及车辆定位方法、***、设备及存储介质 |
| CN111427373B (zh) * | 2020-03-24 | 2023-11-24 | 上海商汤临港智能科技有限公司 | 一种位姿确定方法、装置、介质和设备 |
| US11682297B2 (en) | 2020-03-31 | 2023-06-20 | Flir Systems Trading Belgium Bvba | Real-time scene mapping to GPS coordinates in traffic sensing or monitoring systems and methods |
| CN111144388B (zh) * | 2020-04-03 | 2020-07-14 | 速度时空信息科技股份有限公司 | 一种基于单目影像的道路标志标线的更新方法 |
| US11994408B2 (en) | 2020-04-14 | 2024-05-28 | Toyota Research Institute, Inc. | Incremental map building using learnable features and descriptors |
| US11232582B2 (en) | 2020-04-21 | 2022-01-25 | Here Global B.V. | Visual localization using a three-dimensional model and image segmentation |
| CN111553244B (zh) * | 2020-04-24 | 2023-05-26 | 中国电建集团成都勘测设计研究院有限公司 | 基于自动定位定向技术的水土保持监测方法 |
| DE102020112482A1 (de) | 2020-05-08 | 2021-11-11 | Car.Software Estonia As | Verfahren und Vorrichtung zum Bestimmen einer Position eines Fahrzeugs in einem Straßennetzwerk |
| US11551363B2 (en) * | 2020-06-04 | 2023-01-10 | Toyota Research Institute, Inc. | Systems and methods for self-supervised residual flow estimation |
| US20230267720A1 (en) * | 2020-06-12 | 2023-08-24 | University Of Central Florida Research Foundation, Inc. | Cooperative lidar object detection via feature sharing in deep networks |
| CN113806380B (zh) * | 2020-06-16 | 2024-01-26 | 财团法人车辆研究测试中心 | 路口动态图像资源更新共享***及方法 |
| US11682124B2 (en) * | 2020-06-29 | 2023-06-20 | Lytt, inc. | Systems and methods for transferring map data between different maps |
| US11972576B2 (en) * | 2020-06-30 | 2024-04-30 | Lyft, Inc. | Generating and fusing reconstructions using overlapping map segments |
| US11691648B2 (en) * | 2020-07-24 | 2023-07-04 | SafeAI, Inc. | Drivable surface identification techniques |
| CN111951276A (zh) * | 2020-07-28 | 2020-11-17 | 上海联影智能医疗科技有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
| US20220042817A1 (en) * | 2020-08-04 | 2022-02-10 | Toyota Research Institute, Inc. | Systems and methods for map verification |
| SG10202007811QA (en) * | 2020-08-14 | 2021-11-29 | Grabtaxi Holdings Pte Ltd | Method and device for generating map data |
| CN111950561A (zh) * | 2020-08-25 | 2020-11-17 | 桂林电子科技大学 | 一种基于语义分割的剔除语义slam动态点的方法 |
| US11550068B2 (en) * | 2020-08-29 | 2023-01-10 | Google Llc | Modeling mutable environmental structures |
| US11508080B2 (en) * | 2020-09-15 | 2022-11-22 | Toyota Research Institute, Inc. | Systems and methods for generic visual odometry using learned features via neural camera models |
| US11860304B2 (en) * | 2020-10-01 | 2024-01-02 | Huawei Technologies Co., Ltd. | Method and system for real-time landmark extraction from a sparse three-dimensional point cloud |
| DE102020212771A1 (de) | 2020-10-09 | 2022-05-05 | Zf Friedrichshafen Ag | Computerimplementiertes Verfahren und Computerprogramm zur Trajektorienplanung für ein automatisiertes System und Rechensystem eingebettet in ein automatisiertes System zur Trajektorienplanung und/oder Regelung und/oder Steuerung |
| US11623661B2 (en) * | 2020-10-12 | 2023-04-11 | Zoox, Inc. | Estimating ground height based on lidar data |
| US11976939B2 (en) * | 2020-10-12 | 2024-05-07 | Nvidia Corporation | High-definition maps and localization for road vehicles |
| US11189049B1 (en) | 2020-10-16 | 2021-11-30 | Ford Global Technologies, Llc | Vehicle neural network perception and localization |
| CN112364822B (zh) * | 2020-11-30 | 2022-08-19 | 重庆电子工程职业学院 | 一种自动驾驶视频语义分割***及方法 |
| KR102633705B1 (ko) * | 2020-12-03 | 2024-02-06 | 재단법인대구경북과학기술원 | 자율주행을 위한 차량의 위치추정 장치 및 방법 |
| US11670088B2 (en) | 2020-12-07 | 2023-06-06 | Ford Global Technologies, Llc | Vehicle neural network localization |
| CN112560684B (zh) * | 2020-12-16 | 2023-10-24 | 阿波罗智联(北京)科技有限公司 | 车道线检测方法、装置、电子设备、存储介质以及车辆 |
| DE102020134119B3 (de) * | 2020-12-18 | 2021-12-23 | Audi Aktiengesellschaft | Verfahren zur Lokalisierung eines Kraftfahrzeugs in einer Assistenzkarte, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger |
| JP7406480B2 (ja) | 2020-12-18 | 2023-12-27 | 株式会社豊田中央研究所 | 地図生成装置、地図生成方法、およびコンピュータプログラム |
| US11776281B2 (en) | 2020-12-22 | 2023-10-03 | Toyota Research Institute, Inc. | Systems and methods for traffic light detection and classification |
| CN112328730B (zh) * | 2021-01-04 | 2021-04-02 | 腾讯科技（深圳）有限公司 | 一种地图数据更新的方法、相关装置、设备及存储介质 |
| CN112686197B (zh) * | 2021-01-07 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
| EP4027112A1 (en) * | 2021-01-11 | 2022-07-13 | Aptiv Technologies Limited | Methods and system for determining a location of an object |
| US11747164B2 (en) * | 2021-01-13 | 2023-09-05 | GM Global Technology Operations LLC | Methods for multi-dimensional lane matching for autonomous vehicle localization |
| CN112818866B (zh) * | 2021-02-02 | 2023-11-07 | 苏州挚途科技有限公司 | 车辆定位的方法、装置及电子设备 |
| US11514685B2 (en) | 2021-02-17 | 2022-11-29 | Toyota Research Institute, Inc. | End-to-end signalized intersection transition state estimator with scene graphs over semantic keypoints |
| JPWO2022186256A1 (ko) * | 2021-03-04 | 2022-09-09 | ||
| JP2022137534A (ja) * | 2021-03-09 | 2022-09-22 | 本田技研工業株式会社 | 地図生成装置および車両位置認識装置 |
| WO2022208664A1 (ja) * | 2021-03-30 | 2022-10-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
| WO2022226529A1 (en) * | 2021-04-22 | 2022-10-27 | Continental Automotive Systems, Inc. | Distributed multi-vehicle localization for gps-denied environments |
| DE102021111325A1 (de) | 2021-05-03 | 2022-11-03 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug |
| DE102021205852A1 (de) | 2021-06-10 | 2022-12-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Bereitstellen von Konturdaten hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug befahrenen Fahrbahnoberfläche und Verfahren und Vorrichtung zum Steuern eines Betriebs eines Fahrzeugs |
| CN115520098A (zh) * | 2021-06-24 | 2022-12-27 | 奥特贝睿技术有限公司 | 基于航拍成像的车辆环境地图获取 |
| DE102021208525A1 (de) | 2021-08-05 | 2023-02-09 | Volkswagen Aktiengesellschaft | Verfahren und Kartenerzeugungseinrichtung für ein Fahrzeug zur Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld |
| DE102021209786A1 (de) * | 2021-09-06 | 2023-03-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Positionieren einer Kartendarstellung eines Umfelds eines Fahrzeugs in einer semantischen Straßenkarte |
| DE102021210568A1 (de) * | 2021-09-23 | 2023-03-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Prüfung einer digitalen Straßenkarte auf lokale Plausibilität |
| US20230094695A1 (en) * | 2021-09-24 | 2023-03-30 | Argo AI, LLC | Visual localization against a prior map |
| US20230099494A1 (en) * | 2021-09-29 | 2023-03-30 | Nvidia Corporation | Assigning obstacles to lanes using neural networks for autonomous machine applications |
| US20230109164A1 (en) * | 2021-10-05 | 2023-04-06 | Transportation Ip Holdings, Llc | System and method for vehicle-based localizing of offboard features |
| US11858504B2 (en) | 2021-10-28 | 2024-01-02 | Mobileye Vision Technologies Ltd. | Stereo-assist network for determining an object's location |
| JP2023066897A (ja) * | 2021-10-29 | 2023-05-16 | 株式会社豊田自動織機 | 自律走行車、及び自律走行車の制御装置 |
| DE102021213147A1 (de) | 2021-11-23 | 2023-05-25 | Volkswagen Aktiengesellschaft | Verfahren, Servereinrichtung und Kraftfahrzeug zum automatischen abschnittweisen Kartieren eines Umgebungsbereichs |
| CN114234992B (zh) * | 2021-12-06 | 2024-06-04 | 山东省国土测绘院 | 一种基于gis的导航方法 |
| US11790604B2 (en) * | 2021-12-14 | 2023-10-17 | Gm Cruise Holdings Llc | Mapping data to generate simulation road paint geometry |
| US20230196608A1 (en) * | 2021-12-16 | 2023-06-22 | Here Global B.V. | Method and apparatus for improving localization of a device |
| US20230194305A1 (en) * | 2021-12-22 | 2023-06-22 | Eduardo Jose Ramirez Llanos | Mapping for autonomous vehicle parking |
| DE102022102567A1 (de) | 2022-02-03 | 2023-08-03 | Cariad Se | Verfahren und Prozessorschaltung zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung während einer Fahrt sowie entsprechend ausgestattetes Kraftfahrzeug |
| CN114724407B (zh) * | 2022-03-25 | 2023-05-30 | 中电达通数据技术股份有限公司 | 一种道路拟合中基于多数据源的正确车道识别方法 |
| WO2023191810A1 (en) * | 2022-04-01 | 2023-10-05 | Innopeak Technology, Inc. | Map tile based slam |
| WO2023194759A2 (en) * | 2022-04-08 | 2023-10-12 | Commsignia Kft. | Method for assembling a local high-definition map, system for using map data, computer program product and computer readable medium for implementing the method |
| JP2023159484A (ja) * | 2022-04-20 | 2023-11-01 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム |
| CN114670753B (zh) * | 2022-04-21 | 2023-10-10 | 广州优创电子有限公司 | 一种基于adas***的电子外后视镜独立显示屏切换*** |
| CN114577225B (zh) * | 2022-04-28 | 2022-07-22 | 北京百度网讯科技有限公司 | 一种地图绘制方法、装置、电子设备和存储介质 |
| DE102022207370A1 (de) | 2022-07-19 | 2024-01-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Erkennen einer fehlerhaften Karte einer Umgebung |
| CN115265561A (zh) * | 2022-09-27 | 2022-11-01 | 小米汽车科技有限公司 | 车辆定位方法、装置、车辆及介质 |
| CN116109657B (zh) * | 2023-02-16 | 2023-07-07 | 航科院中宇（北京）新技术发展有限公司 | 地理信息数据采集处理方法、***、电子设备及存储介质 |
| CN115994985B (zh) * | 2023-03-24 | 2023-07-04 | 常州星宇车灯股份有限公司 | 一种汽车域控制器及通勤道路上车辆自动建图和定位方法 |
| CN116433756B (zh) * | 2023-06-15 | 2023-08-18 | 浪潮智慧科技有限公司 | 一种单目相机的地表物体空间分析方法、设备及介质 |
| CN117894181B (zh) * | 2024-03-14 | 2024-05-07 | 北京动视元科技有限公司 | 一种全域通行异常状况集成监测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326730A (ja) * | 2003-04-22 | 2004-11-18 | Hyundai Motor Co Ltd | 高速道路自律走行システム及びその制御方法 |
| US20080144925A1 (en) * | 2006-08-15 | 2008-06-19 | Zhiwei Zhu | Stereo-Based Visual Odometry Method and System |
| WO2009098154A1 (en) * | 2008-02-04 | 2009-08-13 | Tele Atlas North America Inc. | Method for map matching with sensor detected objects |
| KR101100827B1 (ko) * | 2009-11-30 | 2012-01-02 | 한국생산기술연구원 | 도로주행 로봇의 자기 위치 인식방법 |
| WO2016130719A2 (en) * | 2015-02-10 | 2016-08-18 | Amnon Shashua | Sparse map for autonomous vehicle navigation |
| JP2016180980A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社豊田中央研究所 | 情報処理装置、プログラム、及び地図データ更新システム |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5144685A (en) * | 1989-03-31 | 1992-09-01 | Honeywell Inc. | Landmark recognition for autonomous mobile robots |
| JP2004045051A (ja) * | 2002-07-08 | 2004-02-12 | Matsushita Electric Ind Co Ltd | 情報処理装置および情報処理システム |
| JP4273119B2 (ja) * | 2003-10-21 | 2009-06-03 | 和郎 岩根 | ナビゲーション装置 |
| JP4277717B2 (ja) | 2004-03-17 | 2009-06-10 | 株式会社日立製作所 | 車両位置推定装置およびこれを用いた運転支援装置 |
| JP2006330908A (ja) | 2005-05-24 | 2006-12-07 | Toyota Motor Corp | 位置記録装置及び位置記録方法 |
| AU2007359782A1 (en) | 2007-10-02 | 2009-04-09 | Tele Atlas B.V. | Method of capturing linear features along a reference-line across a surface for use in a map database |
| GB0822893D0 (en) * | 2008-12-16 | 2009-01-21 | Tele Atlas Bv | Advanced speed profiles - Further updates |
| WO2010068186A1 (en) * | 2008-12-09 | 2010-06-17 | Tele Atlas B.V. | Method of generating a geodetic reference database product |
| EP2214122B1 (en) * | 2009-02-03 | 2013-07-17 | Harman Becker Automotive Systems GmbH | Methods and devices for assisting a vehicle driver |
| US8494285B2 (en) * | 2010-12-09 | 2013-07-23 | The Hong Kong University Of Science And Technology | Joint semantic segmentation of images and scan data |
| US8873812B2 (en) * | 2012-08-06 | 2014-10-28 | Xerox Corporation | Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers |
| US9036865B2 (en) * | 2012-09-12 | 2015-05-19 | International Business Machines Corporation | Location determination for an object using visual data |
| JP6007848B2 (ja) | 2013-03-28 | 2016-10-12 | 富士通株式会社 | 目視確認評価装置、方法及びプログラム |
| US9405972B2 (en) * | 2013-09-27 | 2016-08-02 | Qualcomm Incorporated | Exterior hybrid photo mapping |
| GB201318049D0 (en) * | 2013-10-11 | 2013-11-27 | Tomtom Int Bv | Apparatus and methods of displaying navigation instructions |
| US9342888B2 (en) * | 2014-02-08 | 2016-05-17 | Honda Motor Co., Ltd. | System and method for mapping, localization and pose correction of a vehicle based on images |
| US9996976B2 (en) * | 2014-05-05 | 2018-06-12 | Avigilon Fortress Corporation | System and method for real-time overlay of map features onto a video feed |
| WO2015175826A1 (en) | 2014-05-14 | 2015-11-19 | Kapach Yair | Systems and methods for detecting traffic signs |
| JP6395481B2 (ja) * | 2014-07-11 | 2018-09-26 | キヤノン株式会社 | 画像認識装置、方法及びプログラム |
| US9891057B2 (en) * | 2015-03-23 | 2018-02-13 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Information processing device, computer readable storage medium, and map data updating system |
| EP3304423A1 (en) * | 2015-06-05 | 2018-04-11 | Siemens Aktiengesellschaft | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation |
| CN106327469B (zh) * | 2015-06-29 | 2019-06-18 | 北京航空航天大学 | 一种语义标签引导的视频对象分割方法 |
| US11137255B2 (en) | 2015-08-03 | 2021-10-05 | Tomtom Global Content B.V. | Methods and systems for generating and using localization reference data |
-
2017
- 2017-12-11 CN CN202410012160.1A patent/CN117824676A/zh active Pending
- 2017-12-11 JP JP2019529215A patent/JP7213809B2/ja active Active
- 2017-12-11 EP EP17822598.3A patent/EP3551967A2/en active Pending
- 2017-12-11 KR KR1020197019960A patent/KR102618443B1/ko active IP Right Grant
- 2017-12-11 KR KR1020237044352A patent/KR20240005161A/ko not_active Application Discontinuation
- 2017-12-11 WO PCT/EP2017/082293 patent/WO2018104563A2/en unknown
- 2017-12-11 US US16/467,977 patent/US11761790B2/en active Active
- 2017-12-11 CN CN201780075225.5A patent/CN110062871B/zh active Active
-
2022
- 2022-11-28 JP JP2022189460A patent/JP7485749B2/ja active Active
- 2022-12-26 US US18/088,710 patent/US11835358B2/en active Active
-
2023
- 2023-12-03 US US18/527,317 patent/US20240167844A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326730A (ja) * | 2003-04-22 | 2004-11-18 | Hyundai Motor Co Ltd | 高速道路自律走行システム及びその制御方法 |
| US20080144925A1 (en) * | 2006-08-15 | 2008-06-19 | Zhiwei Zhu | Stereo-Based Visual Odometry Method and System |
| WO2009098154A1 (en) * | 2008-02-04 | 2009-08-13 | Tele Atlas North America Inc. | Method for map matching with sensor detected objects |
| JP2011511281A (ja) * | 2008-02-04 | 2011-04-07 | テレ アトラス ノース アメリカ インコーポレイテッド | センサにより検出されたオブジェクトとマップマッチングする方法 |
| KR101100827B1 (ko) * | 2009-11-30 | 2012-01-02 | 한국생산기술연구원 | 도로주행 로봇의 자기 위치 인식방법 |
| WO2016130719A2 (en) * | 2015-02-10 | 2016-08-18 | Amnon Shashua | Sparse map for autonomous vehicle navigation |
| JP2016180980A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社豊田中央研究所 | 情報処理装置、プログラム、及び地図データ更新システム |
Non-Patent Citations (2)
| Title |
|---|
| Lategahn, Henning 외 2명. Visual SLAM for autonomous ground vehicles. IEEE International Conference on Robotics and Automation. 2011.* * |
| Peyraud, Sebastien, et al. Collaborative methods for real-time localization in urban centers. International Journal of Advanced Robotic Systems. 2015.* * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210057402A (ko) * | 2019-11-12 | 2021-05-21 | 네이버랩스 주식회사 | 비주얼 로컬리제이션과 오도메트리를 기반으로 한 경로 추적 방법 및 시스템 |
| US11620755B2 (en) | 2019-11-12 | 2023-04-04 | Naver Labs Corporation | Method and system for tracking trajectory based on visual localization and odometry |
| US11037328B1 (en) | 2019-12-31 | 2021-06-15 | Lyft, Inc. | Overhead view image generation |
| WO2021138365A1 (en) * | 2019-12-31 | 2021-07-08 | Lyft, Inc. | Improvements to overhead view image generation |
| US11244500B2 (en) | 2019-12-31 | 2022-02-08 | Woven Planet North America, Inc. | Map feature extraction using overhead view images |
| US11288522B2 (en) | 2019-12-31 | 2022-03-29 | Woven Planet North America, Inc. | Generating training data from overhead view images |
| KR102289752B1 (ko) * | 2020-10-13 | 2021-08-13 | 주식회사 스페이스소프트인더스트리 | Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법 |
| WO2022119057A1 (ko) * | 2020-12-02 | 2022-06-09 | 서울대학교산학협력단 | 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법 |
| KR102362702B1 (ko) * | 2021-08-30 | 2022-02-14 | 주식회사 무한정보기술 | 개인의 자가차량을 이용한 도로주변 영상 촬영 매칭 서비스 시스템 및 서비스 제공 방법 |
| KR102487408B1 (ko) * | 2021-09-07 | 2023-01-12 | 포티투닷 주식회사 | 로컬맵에 기초한 차량의 라우팅 경로 결정 장치, 방법 및 이를 기록한 기록매체 |
| WO2024043772A1 (en) * | 2022-08-23 | 2024-02-29 | Samsung Electronics Co., Ltd. | Method and electronic device for determining relative position of one or more objects in image |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110062871A (zh) | 2019-07-26 |
| EP3551967A2 (en) | 2019-10-16 |
| JP7213809B2 (ja) | 2023-01-27 |
| CN110062871B (zh) | 2024-01-19 |
| WO2018104563A3 (en) | 2018-07-26 |
| US20230129620A1 (en) | 2023-04-27 |
| CN117824676A (zh) | 2024-04-05 |
| US11835358B2 (en) | 2023-12-05 |
| KR20240005161A (ko) | 2024-01-11 |
| WO2018104563A2 (en) | 2018-06-14 |
| JP7485749B2 (ja) | 2024-05-16 |
| US20240167844A1 (en) | 2024-05-23 |
| US20200098135A1 (en) | 2020-03-26 |
| KR102618443B1 (ko) | 2023-12-27 |
| JP2023022193A (ja) | 2023-02-14 |
| JP2020516853A (ja) | 2020-06-11 |
| US11761790B2 (en) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
| TWI798305B (zh) | 用於更新高度自動化駕駛地圖的系統和方法 | |
| EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
| US11629962B2 (en) | Methods and systems for generating and using localization reference data | |
| CN111542860A (zh) | 用于自主车辆的高清地图的标志和车道创建 | |
| JP7273927B2 (ja) | 画像ベースの測位方法及びシステム | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| Zhou et al. | Developing and testing robust autonomy: The university of sydney campus data set | |
| CA3040599C (en) | Method and system for generating environment model and for positioning using cross-sensor feature point referencing | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| KR102516450B1 (ko) | 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템 | |
| CN116917936A (zh) | 双目相机外参标定的方法及装置 | |
| US20230334699A1 (en) | System calibration using remote sensor data | |
| CN117994744A (zh) | 图像数据处理方法、装置、存储介质和车辆 | |
| Taneja | Geometric Change Detection and Image Registration in Large Scale Urban Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |