KR20210030136A - 차량 데이터 생성 장치 및 방법, 그리고 시스템 - Google Patents
차량 데이터 생성 장치 및 방법, 그리고 시스템 Download PDFInfo
- Publication number
- KR20210030136A KR20210030136A KR1020190111712A KR20190111712A KR20210030136A KR 20210030136 A KR20210030136 A KR 20210030136A KR 1020190111712 A KR1020190111712 A KR 1020190111712A KR 20190111712 A KR20190111712 A KR 20190111712A KR 20210030136 A KR20210030136 A KR 20210030136A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- information
- learning
- precision map
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013480 data collection Methods 0.000 claims description 36
- 238000013135 deep learning Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 20
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000007786 learning performance Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 241001300198 Caperonia palustris Species 0.000 description 2
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0026—Lookup tables or parameter maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/301—Sensors for position or displacement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따른 차량은 차량의 주변을 촬영하는 카메라, 상기 차량의 위치를 측정하는 측위 센서, 정밀 지도가 저장된 데이터 베이스, 및 상기 카메라의 촬영 영상, 상기 차량의 위치 및 상기 정밀 지도에 기초하여 학습용 데이터를 생성하는 학습 데이터 생성부를 포함한다.
Description
본 발명은 차량 데이터 생성 장치 및 방법, 그리고 시스템에 관한 것이다.
딥러닝 학습은 방대한 양의 데이터를 학습하여 결과치를 도출해내기 때문에 신뢰도 높은 학습 데이터를 얻을 수 있다.
차선이나 차로 또는 중앙선을 인지하는 데에도 딥러닝 학습을 적용하면 차선이나 차로 또는 중앙선을 인지하는 정확도를 향상시킬 수 있다.
다만, 이러한 딥러닝 학습은 네트워크를 이용하여 많은 양의 데이터를 수집하여 학습용 데이터를 생성해야 한다.
또한, 딥러닝 학습을 위해서는 진실값(Ground Truth)의 데이터 생성이 매우 중요한데, 대부분의 경우 사람이 직접 영상의 각 프레임에 진실값을 표시하여 학습용 데이터를 작성하므로, 학습을 처음 시키거나 개선을 해야 할 때 마다 방대한 양의 학습용 데이터를 만들기 위해 많은 시간과 비용이 발생하게 된다.
본 발명의 목적은, 정밀 측위에 의해 계산된 차량의 위치에서 촬영한 카메라 영상과 정밀지도의 정보를 이용하여 차선 및 차로 중앙선 등에 대한 학습용 데이터를 생성하여 제공함으로써, 방대한 양의 학습용 데이터를 생성하는데 드는 시간 및 비용을 최소화하고 학습 성능을 향상시키도록 한, 차량 데이터 생성 장치 및 방법, 그리고 시스템을 제공함에 있다.
또한, 본 발명의 다른 목적은, 서버에서 학습용 데이터를 이용하여 학습한 결과 정보를 각 차량에 전달함으로써 차량의 주행 성능을 향상시키도록 한, 차량 데이터 생성 장치 및 방법, 그리고 시스템을 제공함에 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량 데이터 생성 장치는, 차량의 주변을 촬영하는 카메라, 상기 차량의 위치를 측정하는 측위 센서, 정밀 지도가 저장된 데이터 베이스, 및 상기 카메라의 촬영 영상, 상기 차량의 위치 및 상기 정밀 지도에 기초하여 학습용 데이터를 생성하는 학습 데이터 생성부를 포함한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량 데이터 생성 방법은, 카메라 영상 정보를 수집하는 카메라 영상 정보 수집 단계, 정밀 측위 정보를 수집하는 정밀 측위 정보 수집 단계, 상기 정밀 측위 정보에 기초하여 정밀 지도로부터 형상 정보를 획득하는 형상 정보 획득 단계, 상기 형상 정보를 상기 카메라 영상 정보의 대응되는 영역에 맵핑하는 정보 맵핑 단계, 및 상기 정보 맵핑 단계의 결과를 기초로 학습용 데이터를 생성하는 학습용 데이터 생성 단계를 포함한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 시스템은, 학습용 데이터를 제공 받고, 상기 학습용 데이터를 기반으로 딥러닝 기계학습을 수행하여 학습 결과 정보를 생성하는 서버, 및 상기 학습용 데이터를 생성하는 차량 데이터 생성 장치를 구비하고, 상기 학습 결과 정보를 제공 받는 제 1 차량을 포함한다.
본 발명에 따르면, 정밀 측위에 의해 계산된 차량의 위치에서 촬영한 카메라 영상과 정밀지도의 정보를 이용하여 차선 및 차로 중앙선 등에 대한 학습용 데이터를 생성하여 제공함으로써, 방대한 양의 학습용 데이터를 생성하는데 드는 시간 및 비용을 최소화하고 학습 성능을 향상시킬 수 있는 효과가 있다.
또한, 본 발명에 따르면, 서버에서 학습용 데이터를 이용하여 학습한 결과 정보를 각 차량에 전달함으로써 차량의 주행 성능을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량 데이터 생성 장치가 적용된 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 데이터 생성 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량 데이터 생성 장치의 학습 데이터 생성 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 시스템의 구성을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 데이터 생성 방법에 대한 동작 흐름을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 데이터 생성 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량 데이터 생성 장치의 학습 데이터 생성 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 시스템의 구성을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 데이터 생성 방법에 대한 동작 흐름을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량 데이터 생성 장치가 적용된 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 시스템은 차량 데이터 생성 장치(100, 도 2에 도시) 및 서버(20)를 포함할 수 있다.
여기서, 본 발명에 따른 차량 데이터 생성 장치(100)는 차량(10)의 내부에 구현될 수 있다. 이때, 차량 데이터 생성 장치(100)는 차량(10)의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다.
차량 데이터 생성 장치(100)는 차선 및 차로의 중앙선에 대한 딥러닝 기계 학습을 위한 학습용 데이터를 생성하여 서버(20)로 제공한다.
이때, 차량 데이터 생성 장치(100)는 정밀 측위에 의해 계산된 차량(10)의 위치에서 촬영한 카메라 영상과 정밀지도의 정보를 이용하여 차선 및 차로 중앙선 등에 대한 학습용 데이터를 생성하고, 생성된 학습용 데이터를 서버(20)로 제공한다.
서버(20)는 차량 데이터 생성 장치(100)로부터 제공된 학습용 데이터를 저장한다. 이때, 서버(20)는 복수의 차량(10)에 구비된 차량 데이터 생성 장치(100)로부터 학습용 데이터를 제공 받아 저장할 수 있다.
서버(20)는 저장된 학습용 데이터를 이용하여 딥러닝 기계 학습을 수행하고, 학습 결과 정보를 차량 데이터 생성 장치(100)가 구비된 각 차량(10)들로 제공할 수 있다. 딥러닝 기계 학습은 사물이나 데이터를 군집화하거나 분류하는데 사용되는 기술로서, 학습용 데이터의 특정 패턴을 추출하여 추출된 특정 패턴을 기초로 입력되는 사물이나 데이터를 군집화하거나 분류할 수 있다. 이때, 딥 러닝 알고리즘에 입력되는 학습용 데이터의 양이 많을수록 더 정확한 분류나 군집화가 가능해질 수 있다. 딥러닝 기계 학습은 deep neural network, convolution deep neural network, deep belief network와 같은 딥러닝 기법을 포함할 수 있다.
따라서, 차량(10)은 서버(20)로부터 제공된 학습 결과 정보에 기초하여 차선 및/또는 차로의 중앙선을 좀 더 정확하게 인식할 수 있게 된다.
이에, 차량 데이터 생성 장치(100)의 세부 구성 및 동작은 도 2의 실시예를 참조하여 더욱 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 차량 데이터 생성 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 차량 데이터 생성 장치(100)는 제어부(110), 카메라(120), 정밀 측위 센서(130), 정밀 지도 DB(데이터 베이스, 140), 통신부(150), 데이터 수집부(160) 및 학습 데이터 생성부(170)를 포함할 수 있다. 여기서, 본 발명의 실시예에 따른 차량 데이터 생성 장치(100)의 제어부(110), 데이터 수집부(160) 및 학습 데이터 생성부(170)는 적어도 하나 이상의 프로세서(processor)로서 구현될 수 있다.
제어부(110)는 차량 데이터 생성 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다.
카메라(120)는 차량 주변의 영상을 촬영하는 장치이다.
일 예로, 카메라(120)는 차량의 전방을 향하도록 배치된 전방 카메라일 수 있다. 전방 카메라는 요청이 있는 경우, 실시간 혹은 소정 주기 마다 차량의 전방 영상을 촬영하여, 촬영된 영상을 제어부(110) 및/또는 데이터 수집부(160)로 전달할 수 있다.
이때, 제어부(110)는 카메라(120)로부터 전달된 영상(이하에서는 '카메라 영상'이라 칭하도록 한다.)을 정밀 지도 DB(데이터 베이스, 140)에 저장하고, 데이터 수집부(160)로 제공할 수 있다.
정밀 측위 센서(130)는 정밀 측위 기술을 이용하여 차량의 위치를 측정하는 장치를 말한다.
측위 기술은 GPS와 같은 항법센서를 통해 획득한 정보로 위치를 파악하는 기술을 말한다. 정말 측위 기술은 측위 기술을 이용하여 차량의 위치를 파악하고, 차량 주변의 고정밀 지도 정보를 호출하여 실시간으로 주행하면서 수집한 센서 정보를 비교하여 차량의 위치를 보정하는 방식으로 차량의 위치를 검출하는 기술을 말한다.
여기서, 정밀 측위 센서(130)는 복수의 센서가 융합된 형태로 구현될 수 있다.
정밀 측위 센서(130)는 카메라(120)와 동기화되어 카메라 영상 촬영 시점의 차량 위치를 검출할 수 있다. 정밀 측위 센서(130)는 검출된 차량 위치 정보를 제어부(110) 및/또는 데이터 수집부(160)로 전달할 수 있다.
이때, 제어부(110)는 정밀 측위 센서(130)로부터 전달된 차량 위치 정보를 정밀 지도 DB(데이터 베이스, 140)에 저장하고, 데이터 수집부(160)로 제공할 수 있다.
정밀 지도 DB(데이터 베이스, 140)는 사전에 구축된 정밀 지도가 저장된다.
여기서, 정밀 지도 DB(데이터 베이스, 140)는 RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다. 정밀 지도 DB(데이터 베이스, 140)는 저장 매체를 포함할 수 있으며, 사전에 구축된 정밀 지도 이외에 학습용 데이터 생성에 필요한 다른 정보들이 저장될 수 있다. 예를 들어, 정밀 지도 DB(데이터 베이스, 140)는 카메라(120)에서 촬영된 카메라 영상 및 정밀 측위 센서(130)에서 검출한 차량 위치 정보 등을 추가로 저장할 수 있다.
통신부(150)는 차량에 구비된 전장품 및/또는 제어유닛들과의 차량 네트워크 통신을 위한 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 제어부(110), 카메라(120), 정밀 측위 센서(130), 정밀 지도 DB(데이터 베이스, 140), 데이터 수집부(160) 및 학습 데이터 생성부(170) 간의 차량 네트워크 통신을 지원하며, 각 부에 의해 출력되는 신호를 송수신하여 전달할 수 있다.
여기서, 차량 네트워크 통신 기술로는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 및 이더넷(Ethernet) 등이 포함될 수 있다.
또한, 통신부(150)는 서버(20, 도 1에 도시)와의 무선 통신을 위한 통신모듈을 더 포함할 수 있다. 일 예로서, 통신모듈은 무선 인터넷 통신 또는 근거리 통신(Short Range Communication)을 통해 서버(20)와 신호를 송수신할 수 있다.
여기서, 무선 인터넷 통신 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이 포함될 수 있다.
또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.
데이터 수집부(160)는 정밀 측위 센서(130) 혹은 제어부(110)로부터 차량 위치 정보가 수신되면, 정밀 지도 DB(데이터 베이스, 140)에 저장된 정밀 지도를 호출하고, 호출된 정밀 지도에서 차량 위치 정보에 대응되는 정밀 지도 정보를 수집할 수 있다. 일 예로, 데이터 수집부(160)는 정밀 지도 DB(데이터 베이스, 140)에 저장된 정밀 지도에서 차량 위치에 대응되는 정밀 지도 상의 차선 및/또는 차로의 중앙선에 대한 형상 정보를 수집할 수 있다. 이때, 정밀 지도 정보는 정밀 지도 상의 차선 및/또는 차로의 중앙선에 대한 형상 정보를 포함할 수 있다
학습 데이터 생성부(170)는 데이터 수집부(160)에 의해 수집된 카메라 영상 및 정밀 지도 정보를 이용하여 학습용 데이터를 생성한다. 이때, 학습 데이터 생성부(170)는 정밀 지도 정보를 카메라 영상에 맵핑한다. 일 예로, 학습 데이터 생성부(170)는 정밀 지도 상의 차선 및/또는 차로의 중앙선에 대한 형상 정보를 카메라 영상의 대응되는 영역에 맵핑한다. 이때, 학습 데이터 생성부(170)는 학습 데이터를 생성할 경우 수집된 카메라 영상 및 정밀 지도 정보를 데이터 수집부(160)로부터 직접 제공 받을 수 있다. 또한 학습 데이터 생성부(170)가 학습 데이터를 생성할 경우, 제어부(110)는 수집된 카메라 영상 및 정밀 지도 정보를 데이터 수집부(160)로부터 제공 받아 학습 데이터 생성부(170)에 전달할 수도 있다.
학습 데이터 생성부(170)는 정밀 지도 정보를 카메라 영상에 맵핑 시에 기계 학습의 데이터 형식에 맞게 별도의 전처리 과정을 진행한 후에 맵핑을 수행할 수 있다.
예를 들어, 학습 데이터 생성부(170)는 전방 3D 영상을 그대로 학습용 데이터로 생성하는 경우 정밀 지도 상의 정보를 3D에 맞추어 좌표 변환한 후에 카메라 영상에 해당 정보를 맵핑시킬 수 있다.
또한, 학습 데이터 생성부(170)는 위에서 바라본 모습(Bird eye view)으로 학습용 데이터를 생성하는 경우, 카메라 영상을 해당 좌표계에 맞추어 변환하고 이를 정밀 지도 상의 정보와 결합할 수 있다.
그 외에도, 학습 데이터 생성부(170)는 정밀 지도 정보를 카메라 영상에 맵핑하기 전에 명암 변환 및/또는 좌우 회전 등과 같이 딥러닝에 필요한 여러 가지 전처리 과정을 진행할 수 있다.
학습 데이터 생성부(170)는 정밀 지도 정보가 맵핑된 카메라 영상을 학습용 데이터로서 생성하고, 생성된 학습용 데이터를 정밀 지도 DB(데이터 베이스, 140)에 저장할 수 있다.
제어부(110)는 학습 데이터 생성부(170)에 의해 학습용 데이터가 생성되면, 생성된 학습용 데이터를 통신부(150)를 통해 통신 연결된 서버로 전송하도록 한다.
또한, 제어부(110)는 서버(20)로부터 학습용 데이터에 대한 학습 결과가 수신되면, 수신된 학습 결과 데이터를 차량의 주행을 제어하는 주행 시스템 혹은 차선을 인식하는 차선 인식 시스템 등으로 제공할 수 있다.
상기에서와 같이 동작하는 본 실시예에 따른 차량 데이터 생성 장치(100)는 메모리와 각 동작을 처리하는 프로세서를 포함하는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량 데이터 생성 장치의 학습 데이터 생성 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 3을 참조하면, 차량 데이터 생성 장치(100)는 카메라(120)로부터 획득한 카메라 영상(311)과, 정밀 측위 센서(130)로부터 획득한 정밀 측위 정보(313), 정밀 지도 DB(데이터 베이스, 140)로부터 획득한 정밀 지도 정보(315)를 이용하여 학습용 데이터(320)를 생성할 수 있다.
이때, 차량 데이터 생성 장치(100)는 정밀 측위 정보(313)를 기반으로 정밀 지도 상에서 정밀 지도 정보(315)를 획득할 수 있다. 정밀 지도 정보로는 정밀 지도 상에서 대응되는 영역의 차선 및/또는 차로의 중앙선 등이 해당될 수 있다. 그 외에도, 정밀 지도 정보는 해당 영역에서 특징적으로 인식된 수 있는 정보가 포함될 수 있다.
데이터 수집부(160)는 정밀 측위 센서(130) 혹은 제어부(110)로부터 차량 위치 정보가 수신되면, 정밀 지도 DB(데이터 베이스, 140)에 저장된 정밀 지도를 호출하고 호출된 정밀 지도에서 차량 위치 정보에 대응되는 정밀 지도 정보를 수집할 수 있다. 일 예로, 데이터 수집부(160)는 정밀 지도에서 차량 위치에 대응되는 정밀 지도 상의 차선 및/또는 차로의 중앙선에 대한 형상 정보를 수집할 수 있다.
학습 데이터 생성부(170)는 데이터 수집부(160)에 의해 수집된 카메라 영상 및 정밀 지도 정보를 이용하여 학습용 데이터를 생성한다. 이때, 학습 데이터 생성부(170)는 정밀 지도 정보를 카메라 영상에 맵핑한다. 일 예로, 학습 데이터 생성부(170)는 정밀 지도 상의 차선 및/또는 차로의 중앙선에 대한 형상 정보를 카메라 영상의 대응되는 영역에 맵핑한다.
학습 데이터 생성부(170)는 정밀 지도 정보를 카메라 영상에 맵핑 시에 기계 학습의 데이터 형식에 맞게 별도의 전처리 과정을 진행한 후에 맵핑을 수행할 수 있다.
예를 들어, 학습 데이터 생성부(170)는 전방 3D 영상을 그대로 학습용 데이터로 생성하는 경우 정밀 지도 상의 정보를 3D에 맞추어 좌표 변환한 후에 카메라 영상에 해당 정보를 맵핑시킬 수 있다.
또한, 학습 데이터 생성부(170)는 위에서 바라본 모습(Bird eye view)으로 학습용 데이터를 생성하는 경우, 카메라 영상을 해당 좌표계에 맞추어 변환하고 이를 정밀 지도 상의 정보와 결합할 수 있다.
그 외에도, 학습 데이터 생성부(170)는 정밀 지도 정보를 카메라 영상에 맵핑하기 전에 명암 변환 및/또는 좌우 회전 등과 같이 딥러닝에 필요한 여러 가지 전처리 과정을 진행할 수 있다.
학습 데이터 생성부(170)는 정밀 지도 정보가 맵핑된 카메라 영상을 학습용 데이터로서 생성하고, 생성된 학습용 데이터를 정밀 지도 DB(데이터 베이스, 140)에 저장할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 시스템의 구성을 도시한 도면이다.
도 4를 참조하면, 시스템은 제 1 차량(10), 서버(20) 및 제 2 차량(30)을 포함할 수 있다.
제 1 차량(10)은 도 1 및 도 2에 도시된 바와 같이, 차량 데이터 생성 장치(100)가 구비될 수 있다. 제 1 차량(10)은 내부에 차량 데이터 생성 장치(100)를 구비할 수 있다. 제 1 차량(10) 내부에 구비된 차량 데이터 생성 장치(100)는 제 1 차량(10)의 내부 제어 유닛들과 일체로 형성되거나, 별도의 장치로 구현되어 별도의 연결 수단에 의해 제 1 차량(10)의 제어 유닛들과 연결될 수 있다.
제 1 차량(10)의 내부에 구비된 차량 데이터 생성 장치(100)는 차선 및 차로의 중앙선에 대한 딥러닝 기계 학습을 위한 학습용 데이터를 생성하여 서버(20)로 제공할 수 있다. 이때, 차량 데이터 생성 장치(100)는 정밀 측위에 의해 계산된 제 1 차량(10)의 위치에서 촬영한 카메라 영상과 정밀 지도의 정보를 이용하여 차선 및 차로 중앙선 등에 대한 학습용 데이터를 생성하고, 생성된 학습용 데이터를 서버(20)에 제공할 수 있다.
제 1 차량(10)에 구비된 차량 데이터 생성 장치(100)는 도 2에 도시된 바와 같이, 제어부(110), 카메라(120), 정밀 측위 센서(130), 정밀 지도 DB(데이터 베이스, 140), 통신부(150), 데이터 수집부(160) 및 학습 데이터 생성부(170)를 포함할 수 있다.
제어부(110)는 차량 데이터 생성 장치(100)의 각 구성요소(120 ~ 170)들 간에 전달되는 신호들을 처리할 수 있다.
카메라(120)는 제 1 차량(10)의 주변 영상을 촬영할 수 있다. 예를 들어, 카메라(120)는 제 1 차량(10)의 전방을 향하도록 배치된 전방 카메라로서, 요청이 있는 경우, 실시간 또는 소정 주기마다 차량의 전방 영상을 촬영하고, 촬영된 영상을 제어부(110) 및/또는 데이터 수집부(160)로 전달할 수 있다. 이때, 제어부(110)는 카메라(120)로부터 촬영된 영상을 정밀 지도 DB(데이터 베이스, 140)에 저장하고, 데이터 수집부(160)로 제공할 수 있다.
정밀 측위 센서(130)는 정밀 측위 기술을 이용하여 제 1 차량(10)의 위치를 측정하는 장치일 수 있다. 예를 들어, 정밀 측위 센서(130)는 복수의 센서가 융합된 형태로 구현될 수 있으며, 카메라(120)와 동기화되어 카메라 영상 촬영 시점의 차량 위치를 검출할 수 있다. 정밀 측위 센서(130)는 검출된 차량 위치 정보를 제어부(110) 및/또는 데이터 수집부(160)로 전달할 수 있다. 이때, 제어부(110)는 정밀 측위 센서(130)로부터 전달된 차량 위치 정보를 정밀 지도 DB(데이터 베이스, 140)에 저장하고, 데이터 수집부(160)로 제공할 수 있다.
정밀 지도 DB(데이터 베이스, 140)는 사전에 구축된 정밀 지도가 저장될 수 있다. 이때, 정밀 지도 DB(데이터 베이스, 140)는 RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다. 정밀 지도 DB(데이터 베이스, 140)는 저장 매체를 포함할 수 있으며, 사전에 구축된 정밀 지도 이외에 학습용 데이터 생성에 필요한 다른 정보들이 저장될 수 있다. 예를 들어, 정밀 지도 DB(데이터 베이스, 140)는 카메라(120)에서 촬영된 카메라 영상 및 정밀 측위 센서(130)에서 검출한 차량 위치 정보 등을 추가로 저장할 수 있다.
통신부(150)는 제 1 차량(10)에 구비된 전장품 및/또는 제어 유닛들과의 차량 네트워크 통신을 위한 통신 모듈을 포함할 수 있다. 예를 들어, 통신부(150)는 제어부(110), 카메라(120), 정밀 측위 센서(130), 정밀 지도 DB(데이터 베이스, 140), 데이터 수집부(160) 및 학습 데이터 생성부(170) 간의 차량 네트워크 통신을 지원할 수 있다. 더불어, 통신부(150)는 서버(20)와의 무선 통신을 위한 통신 모듈을 더 포함할 수 있다.
데이터 수집부(160)는 정밀 측위 센서(130) 혹은 제어부(110)로부터 차량 위치 정보가 수신되면, 정밀 지도 DB(데이터 베이스, 140)에 저장된 정밀 지도를 호출하고, 호출된 정밀 지도에서 차량 위치 정보에 대응되는 정밀 지도 정보를 수집할 수 있다. 예를 들어, 데이터 수집부(160)는 차량 위치에 대응되는 정밀 자도 상의 차선 및/또는 차로의 중앙선에 대한 형상 정보를 수집할 수 있다.
학습 데이터 생성부(170)는 데이터 수집부(160)에 의해 수집된 카메라 영상 및 정밀 지도 정보를 이용하여 학습용 데이터를 생성할 수 있다. 예를 들어, 학습 데이터 생성부(170)는 정밀 지도 상의 차선 및/또는 차로의 중앙선에 대한 형상 정보 즉, 정밀 지도 정보를 카메라 영상의 대응되는 영역에 맵핑할 수 있다. 또한, 학습 데이터 생성부(170)는 정밀 지도 정보를 기계 학습의 데이터 형식에 맞게 별도의 전처리 과정을 진행한 후, 전처리된 정밀 지도 정보와 카메라 영상을 맵핑할 수 있다. 이때, 제어부(110)는 학습 데이터 생성부(170)에 의해 학습용 데이터가 생성되면, 생성된 학습용 데이터를 정밀 지도 DB(데이터 베이스, 140)에 저장하고 통신부(150)를 통해 서버(20)로 전송할 수 있다.
서버(20)는 제 1 차량(10)에 구비된 차량 데이터 생성 장치(100)로부터 제공되는 학습용 데이터를 저장할 수 있다. 또한, 서버(20)는 차량 데이터 생성 장치(100)가 구비된 복수의 제 1 차량(10)들로부터 학습용 데이터를 제공 받을 수 있다.
서버(20)는 저장된 학습용 데이터를 이용하여 딥러닝 기계 학습을 수행하고, 학습 결과 정보를 제 1 차량(10) 및 제 2 차량(30)에 제공할 수 있다.
제 2 차량(30)은 서버(20)에서 수행된 딥러닝 기계 학습 결과 정보를 제공 받을 수 있다. 제 2 차량(30)은 서버(20)에서 수행된 딥러닝 기계 학습 결과 정보에 기초하여 제 2 차량(30)에 구비된 카메라에서 촬영된 영상을 처리하도록 구성될 수 있다. 그러므로, 제 2 차량(30)은 제 1 차량(10)으로부터 제공된 학습용 데이터를 기초로 딥러닝 기계 학습이 수행된 딥러닝 기계 학습 결과 정보를 이용하여 카메라에서 촬영된 영상을 처리하기 때문에, 자율 주행의 성능을 더욱 높일 수 있다.
제 2 차량(30)은 차량 데이터 생성 장치(100)가 구비된 제 1 차량(10)과는 다르게, 정밀 측위 센서 및 정밀 지도 DB를 구비하지 않을 수 있다. 즉, 제 2 차량(30)은 제 1 차량(10)과는 달리, 학습용 데이터 생성을 위한 정밀 측위 센서 및 정밀 지도 DB를 구비하지 않고, 자율 주행이 필요한 구성요소만을 구비할 수 있다. 예를 들어, 도 2를 참조하면, 제 2 차량(30)은 내부에 제어부(110), 카메라(120), 통신부(150), 데이터 수집부(160) 및 학습 데이터 생성부(170)를 구비할 수 있다.
도 4에 도시된 본 발명의 다른 실시예에 따른 시스템은 정밀 측위 센서 및 정밀 지도 DB를 이용하여 학습용 데이터를 생성할 수 있는 제 1 차량, 제 1 차량으로부터 학습용 데이터를 제공 받아 딥러닝 기계 학습을 수행하고, 학습 결과 정보를 저장하는 서버 및 서버로부터 학습 결과를 제공 받아 자율 주행하는 제 1 차량 및 제 2 차량을 개시하고 있다. 이때, 제 1 및 제 2 차량은 자율 주행이 가능한 차량일 수 있으며, 제 1 차량은 서버의 딥러닝 기계 학습에 이용될 수 있는 학습용 데이터를 생성할 수 있는 차량일 수 있다.
도 5는 본 발명의 일 실시예에 따른 차량 데이터 생성 방법에 대한 동작 흐름을 도시한 도면이다. 실시예에 따른 차량 데이터 생성 장치를 도시한 도 2를 참조하여, 도 5에 도시된 차량 데이터 생성 방법을 설명한다.
카메라 영상 정보 수집 단계(S110)는 차량에 구비된 카메라(120)로부터 차량 주변이 촬영된 영상을 수집하는 단계를 포함할 수 있다. 이때, 제어부(110)는 카메라(120)로부터 촬영된 영상을 정밀 지도 DB(데이터 베이스, 140)에 저장하고, 데이터 수집부(160)로 제공할 수 있다.
정밀 측위 정보 수집 단계(S120)는 정밀 측위 센서(130)로부터 차량의 위치를 측정하는 단계를 포함할 수 있다. 예를 들어, 정밀 측위 정보 수집 단계(S120)는 카메라(120)와 동기화되어 카메라 영상 촬영 시점의 차량 위치를 검출 할 수 있다. 이때, 제어부(110)는 정밀 측위 센서(130)로부터 전달된 차량 위치 정보를 정밀 지도 DB(데이터 베이스, 140)에 저장하고, 데이터 수집부(160)로 제공할 수 있다.
정밀 지도 기판 형상 정보 획득 단계(S130)는 정밀 지도가 저장된 정밀 지도 DB(데이터 베이스, 140)로부터 정밀 지도를 호출하는 단계를 포함할 수 있다. 이때, 제어부(110)는 정밀 지도 DB(데이터 베이스, 140)에 저장된 정밀 지도를 데이터 수집부(160)에 제공할 수 있다.
수집된 정보 비교 단계(S140)는 데이터 수집부(160)에 수집된 정보들을 비교하는 단계를 포함할 수 있다. 예를 들어, 수집된 정보 비교 단계(S140)는 카메라(120)로부터 촬영된 영상 정보와 정밀 지도 DB(데이터 베이스, 140)로부터 호출된 정밀 지도의 정보를 비교하는 단계를 포함할 수 있다. 이때, 제어부(110) 또는 데이터 수집부(160)는 카메라(120)로부터 촬영된 영상 정보와 정밀 지도의 정보를 비교할 수 있다.
수집된 정보 비교 단계(S140, S150)에서 수집된 카메라 영상 정보와 정밀 지도 정보가 상이하지 않을 경우(아니오) 즉, 동일할 경우 정보 맵핑 단계(S190)가 수행될 수 있다.
정보 맵핑 단계(S190)는 데이터 수집부(160)에 의해 수집된 정밀 지도 정보를 카메라 영상의 대응되는 영역에 맵핑하는 단계를 포함할 수 있다. 이때, 학습 데이터 생성부(170)는 데이터 수집부(160)에 의해 수집된 정밀 지도 정보 및 카메라 영상 정보에 기초하여, 정밀 지도 정보를 카메라 영상의 대응되는 영역에 맵핑할 수 있다.
학습용 데이터 생성 단계(S200)는 데이터 수집부(160)에 의해 수집된 정밀 지도 정보를 카메라 영상의 대응되는 영역에 맵핑하여 학습용 데이터를 생성할 수 있다. 이때, 학습용 데이터 생성부(170)는 정보 맵핑 단계(S190)에서 수행된 정밀 지도 정보와 카메라 영상 정보를 맵핑한 결과에 기초하여 학습용 데이터를 생성할 수 있다.
전송 단계(S210)는 생성된 학습용 데이터를 서버(20)에 전송하는 단계를 포함할 수 있다. 이때, 통신부(150)는 학습 데이터 생성부(170)에서 생성된 학습용 데이터를 유/무선 통신을 이용하여 서버(20)에 전송할 수 있다.
만약, 수신된 정보 비교 단계(S140, S150)에서 수집된 카메라 영상 정보와 정밀 지도 정보가 상이할 경우(예), 영상 처리 업데이트 단계(S170) 또는 정밀 지도 DB 업데이트 단계(S180)가 수행될 수 있다.
카메라 영상 정보와 정밀 지도 정보가 상이할 경우(예) 기설정된 회수(n회, n은 자연수)만큼 반복적으로 영상 처리 업데이트 단계(S170)가 수행될 수 있다.
또한, 영상 처리 업데이트 단계(S170)가 기설정된 회수 이상 반복되면 정밀 지도 업데이트 단계(S180)가 수행될 수 있다.
그러므로, 본 발명의 일 실시예에 따른 차량 데이터 생성 방법은 수집된 정보 비교 단계(S140, S150)에서 카메라 영상 정보와 정밀 지도 정보가 상이할 경우 영상 처리 업데이트 단계(S170) 및 정밀 지도 업데이트 단계(S180) 중 하나의 단계를 선택하는 업데이트 선택 단계(S160)를 더 포함할 수 있다.
업데이트 선택 단계(S160)는 카메라 영상 정보와 정밀 지도 정보가 상이할 경우 먼저, 카메라 영상 정보와 정밀 지도 정보가 동일해질 때까지 영상 처리 업데이트 단계(S170)를 반복적으로 수행하고, 반복적으로 수행되던 영상 처리 업데이트 단계(S170) 단계가 기설정된 회수 이상 반복되면 정밀 지도 DB 업데이트 단계(S180)를 선택할 수 있다.
영상 처리 업데이트 단계(S170)는 정밀 지도 정보의 비교 대상인 카메라 영상 정보를 업데이트 하는 단계를 포함할 수 있다. 영상 처리 업데이트 단계(S170)는 카메라 영상 정보 수집 단계(S110)로 복귀하는 단계를 포함할 수 있다.
정밀 지도 업데이트 단계(S180)는 카메라 영상 정보의 비교 대상인 정밀 지도를 업데이트 하는 단계를 포함할 수 있다. 정밀 지도 업데이트 단계(S180)는 서버(20) 또는 외부 기기로부터 정밀 지도 DB(데이터 베이스, 140)에 저장된 정밀 지도에 대한 정보를 제공 받아 저장하는 단계를 포함할 수 있다. 또한 정밀 지도 업데이트 단계(S180)는 정밀 지도 DB(데이터 베이스, 140)에 저장된 정밀 지도의 업데이트 후 카메라 영상 정보 수집 단계(S110)로 복귀하는 단계를 포함할 수 있다. 한편, 정밀 지도 업데이트 단계(S180)는 정밀 지도 DB에 저장된 정밀 지도의 업데이트 후, 정보 맵핑 단계(S190)가 실행될 수 있다.
본 발명의 실시예에 따른 차량 데이터 생성 장치 및 방법, 그리고 시스템은 정밀 측위에 의해 계산된 차량의 위치에서 촬영한 카메라 영상과 정밀지도의 정보에 따라 차선 및 차로 중앙선 인지에 대한 학습용 데이터를 자동 생성하여 제공함으로써, 방대한 양의 학습용 데이터를 생성하는데 소요되는 시간 및 비용을 최소화하고 학습 성능을 향상시킬 수 있다. 또한, 본 발명의 실시예에 따른 차량 데이터 생성 장치 및 방법, 그리고 시스템은 서버에서 학습용 데이터를 이용하여 학습한 결과 정보(딥러닝 기계 학습 결과)를 각 차량에 전달함으로써 차량의 주행 성능을 향상시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대해 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10, 20: 차량
20: 서버
100: 차량 데이터 생성 장치 110: 제어부
120: 카메라 130: 정밀 측위 센서
140: 정밀 지도 DB 150: 통신부
160: 데이터 수집부 170: 학습 데이터 생성부
100: 차량 데이터 생성 장치 110: 제어부
120: 카메라 130: 정밀 측위 센서
140: 정밀 지도 DB 150: 통신부
160: 데이터 수집부 170: 학습 데이터 생성부
Claims (16)
- 차량의 주변을 촬영하는 카메라;
상기 차량의 위치를 측정하는 측위 센서;
정밀 지도가 저장된 데이터 베이스; 및
상기 카메라의 촬영 영상, 상기 차량의 위치 및 상기 정밀 지도에 기초하여 학습용 데이터를 생성하는 학습 데이터 생성부를 포함하는 차량 데이터 생성 장치를 포함하는 차량. - 제 1 항에 있어서,
상기 측위 센서는
상기 카메라와 동기화되어, 상기 카메라의 촬영 시점에 상기 차량의 위치를 측정하는 차량 데이터 생성 장치를 포함하는 차량. - 제 2 항에 있어서,
상기 정밀 지도에서 상기 차량의 위치에 대응되는 정보를 수집하는 데이터 수집부를 더 포함하는 차량 데이터 생성 장치를 포함하는 차량. - 제 3 항에 있어서,
상기 학습 데이터 생성부는
상기 카메라의 촬영 영상 및 상기 정밀 지도 정보에 기초하여 상기 학습용 데이터를 생성하는 차량 데이터 생성 장치를 포함하는 차량. - 제 4 항에 있어서,
상기 정밀 지도 정보는
상기 정밀 지도 상의 차선 및 차로의 중앙선의 형상 정보를 포함하는 차량 데이터 생성 장치를 포함하는 차량. - 제 5 항에 있어서,
상기 학습 데이터 생성부는
상기 형상 정보를 상기 카메라의 촬영 영상의 대응되는 영역에 맵핑하는 차량 데이터 생성 장치를 포함하는 차량. - 학습용 데이터를 제공 받고, 상기 학습용 데이터를 기반으로 딥러닝 기계학습을 수행하여 학습 결과 정보를 생성하는 서버; 및
상기 학습용 데이터를 생성하는 차량 데이터 생성 장치를 구비하고, 상기 학습 결과 정보를 제공 받는 제 1 차량을 포함하는 차량 데이터 생성 시스템. - 제 7 항에 있어서,
상기 차량 데이터 생성 장치는
상기 제 1 차량의 주변을 촬영하는 카메라,
상기 제 1 차량의 위치를 측정하는 측위 센서,
정밀 지도가 저장된 데이터 베이스,
상기 정밀 지도에서 상기 제 1 차량의 위치에 대응되는 정보를 수집하는 데이터 수집부, 및
상기 카메라의 촬영 영상 및 상기 정밀 지도 정보에 기초하여 상기 학습용 데이터를 생성하는 학습 데이터 생성부를 포함하는 차량 데이터 생성 시스템. - 제 8 항에 있어서,
상기 학습 데이터 생성부는
상기 정밀 지도 상의 차선 또는 차로의 중앙선의 형상 정보를 상기 카메라의 촬영 영상의 대응되는 영역에 맵핑하는 차량 데이터 생성 시스템. - 제 8 항에 있어서,
상기 서버로부터 상기 학습 결과 정보를 제공 받아 자율 주행하는 제 2 차량을 더 포함하는 차량 데이터 생성 시스템. - 카메라 영상 정보를 수집하는 카메라 영상 정보 수집 단계;
정밀 측위 정보를 수집하는 정밀 측위 정보 수집 단계;
상기 정밀 측위 정보에 기초하여 정밀 지도로부터 형상 정보를 획득하는 형상 정보 획득 단계;
상기 형상 정보를 상기 카메라 영상 정보의 대응되는 영역에 맵핑하는 정보 맵핑 단계; 및
상기 정보 맵핑 단계의 결과를 기초로 학습용 데이터를 생성하는 학습용 데이터 생성 단계를 포함하는 차량 데이터 생성 방법. - 제 11 항에 있어서,
상기 학습용 데이터 생성 단계에서 생성된 상기 학습용 데이터를 서버에 전송하는 전송 단계를 더 포함하는 차량 데이터 생성 방법. - 제 11 항에 있어서,
상기 형상 정보 획득 단계와 상기 정보 맵핑 단계 사이에, 상기 카메라 영상 정보와 상기 정밀 지도를 비교하는 수집된 정보 비교 단계를 더 포함하는 차량 데이터 생성 방법. - 제 13 항에 있어서,
상기 수집된 정보 비교 단계의 수행 결과,
상기 카메라 영상 정보와 상기 정밀 지도가 동일할 경우 상기 정보 맵핑 단계로 진입시키고,
상기 카메라 영상 정보와 상기 정밀 지도가 상이할 경우 영상 처리 업데이트 단계로 진입시키는 차량 데이터 생성 방법. - 제 14 항에 있어서,
상기 영상 처리 업데이트 단계는
상기 카메라 영상 정보와 상기 정밀 지도가 동일해질 때까지 상기 카메라 영상 수집 단계가 반복되는 차량 데이터 생성 방법. - 제 15 항에 있어서,
상기 영상 처리 업데이트 단계가 기설정된 횟수이상 반복되면 상기 정밀 지도를 업데이트하는 정밀 지도 업데이트 단계를 더 포함하는 차량 데이터 생성 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190111712A KR102664123B1 (ko) | 2019-09-09 | 2019-09-09 | 차량 데이터 생성 장치 및 방법, 그리고 시스템 |
| US16/999,904 US11386675B2 (en) | 2019-09-09 | 2020-08-21 | Device and method for generating vehicle data, and system |
| CN202010920701.2A CN112466112A (zh) | 2019-09-09 | 2020-09-04 | 用于生成车辆数据的设备和方法以及*** |
| DE102020211240.1A DE102020211240A1 (de) | 2019-09-09 | 2020-09-08 | Vorrichtung und Verfahren zum Erzeugen von Fahrzeugdaten, sowie System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190111712A KR102664123B1 (ko) | 2019-09-09 | 2019-09-09 | 차량 데이터 생성 장치 및 방법, 그리고 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210030136A true KR20210030136A (ko) | 2021-03-17 |
| KR102664123B1 KR102664123B1 (ko) | 2024-05-09 |
Family
ID=74644829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190111712A KR102664123B1 (ko) | 2019-09-09 | 2019-09-09 | 차량 데이터 생성 장치 및 방법, 그리고 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11386675B2 (ko) |
| KR (1) | KR102664123B1 (ko) |
| CN (1) | CN112466112A (ko) |
| DE (1) | DE102020211240A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220152119A (ko) * | 2021-05-07 | 2022-11-15 | 인플랩 주식회사 | 영역별로 감지 이벤트를 독립적으로 설정 가능한 실시간 정밀 도로지도 갱신 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101766138B1 (ko) * | 2016-05-03 | 2017-08-07 | 현대자동차주식회사 | 전방 차량 검출 장치 |
| JP2019127196A (ja) * | 2018-01-26 | 2019-08-01 | Kddi株式会社 | 周辺走行中の被観測車両の運転特性を推定するプログラム、装置及び方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050058810A (ko) * | 2003-12-12 | 2005-06-17 | 주식회사 에브리웨어 | 전자지도를 위한 영상 처리 시스템 및 방법 |
| JP4277717B2 (ja) * | 2004-03-17 | 2009-06-10 | 株式会社日立製作所 | 車両位置推定装置およびこれを用いた運転支援装置 |
| US20080309762A1 (en) * | 2007-06-12 | 2008-12-18 | Richie Howard | In-vehicle mobile digital video surveillance recorder system with GPS visual mapping and navigation |
| US9528834B2 (en) * | 2013-11-01 | 2016-12-27 | Intelligent Technologies International, Inc. | Mapping techniques using probe vehicles |
| JP6658088B2 (ja) * | 2015-03-23 | 2020-03-04 | 株式会社豊田中央研究所 | 情報処理装置、プログラム、及び地図データ更新システム |
| WO2018066711A1 (ja) * | 2016-10-07 | 2018-04-12 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
| EP3720748A4 (en) * | 2017-12-08 | 2020-12-16 | Telefonaktiebolaget LM Ericsson (publ) | DETERMINING AN UNDERWANTED ACTION BY A VEHICLE |
| CN108196535B (zh) * | 2017-12-12 | 2021-09-07 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶*** |
| KR102418051B1 (ko) * | 2017-12-28 | 2022-07-07 | 현대오토에버 주식회사 | 차선별 교통상황 판단 장치, 시스템, 및 방법 |
| CN110873568B (zh) * | 2018-08-30 | 2021-02-23 | 百度在线网络技术（北京）有限公司 | 高精度地图的生成方法、装置以及计算机设备 |
| US11263245B2 (en) * | 2018-10-30 | 2022-03-01 | Here Global B.V. | Method and apparatus for context based map data retrieval |
-
2019
- 2019-09-09 KR KR1020190111712A patent/KR102664123B1/ko active IP Right Grant
-
2020
- 2020-08-21 US US16/999,904 patent/US11386675B2/en active Active
- 2020-09-04 CN CN202010920701.2A patent/CN112466112A/zh active Pending
- 2020-09-08 DE DE102020211240.1A patent/DE102020211240A1/de active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101766138B1 (ko) * | 2016-05-03 | 2017-08-07 | 현대자동차주식회사 | 전방 차량 검출 장치 |
| JP2019127196A (ja) * | 2018-01-26 | 2019-08-01 | Kddi株式会社 | 周辺走行中の被観測車両の運転特性を推定するプログラム、装置及び方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220152119A (ko) * | 2021-05-07 | 2022-11-15 | 인플랩 주식회사 | 영역별로 감지 이벤트를 독립적으로 설정 가능한 실시간 정밀 도로지도 갱신 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102020211240A1 (de) | 2021-03-11 |
| CN112466112A (zh) | 2021-03-09 |
| KR102664123B1 (ko) | 2024-05-09 |
| US20210073556A1 (en) | 2021-03-11 |
| US11386675B2 (en) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230014874A1 (en) | Obstacle detection method and apparatus, computer device, and storage medium | |
| US10229332B2 (en) | Method and apparatus for recognizing obstacle of vehicle | |
| JP6682833B2 (ja) | 物体認識アルゴリズムの機械学習のためのデータベース構築システム | |
| US20210097103A1 (en) | Method and system for automatically collecting and updating information about point of interest in real space | |
| CN112667837A (zh) | 图像数据自动标注方法及装置 | |
| JP7413543B2 (ja) | データ伝送方法および装置 | |
| CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
| CN110378360B (zh) | 目标标定方法、装置、电子设备及可读存储介质 | |
| US10996337B2 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| CN113936198A (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
| CN112949366A (zh) | 障碍物识别方法和装置 | |
| EP3703008A1 (en) | Object detection and 3d box fitting | |
| WO2023231991A1 (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
| CN112150448A (zh) | 图像处理方法、装置及设备、存储介质 | |
| KR102664123B1 (ko) | 차량 데이터 생성 장치 및 방법, 그리고 시스템 | |
| CN111191596B (zh) | 一种封闭区域制图方法、装置及存储介质 | |
| CN111104861B (zh) | 用于确定电线位置的方法和设备以及存储介质 | |
| CN116817891A (zh) | 一种实时多模态感知的高精地图构建方法 | |
| CN109000634B (zh) | 一种导航对象行进路线的提醒方法和*** | |
| CN113744236B (zh) | 回环检测方法、装置、存储介质及计算机程序产品 | |
| Le Barz et al. | Absolute geo-localization thanks to Hidden Markov Model and exemplar-based metric learning | |
| CN112232272A (zh) | 一种激光与视觉图像传感器融合的行人识别方法 | |
| CN114396911B (zh) | 一种障碍物测距方法、装置、设备及存储介质 | |
| CN115700507B (zh) | 地图更新方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |