KR102065693B1 - 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템 - Google Patents
자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템 Download PDFInfo
- Publication number
- KR102065693B1 KR102065693B1 KR1020180129096A KR20180129096A KR102065693B1 KR 102065693 B1 KR102065693 B1 KR 102065693B1 KR 1020180129096 A KR1020180129096 A KR 1020180129096A KR 20180129096 A KR20180129096 A KR 20180129096A KR 102065693 B1 KR102065693 B1 KR 102065693B1
- Authority
- KR
- South Korea
- Prior art keywords
- machine learning
- autonomous vehicle
- grid
- information
- grid map
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000001149 cognitive effect Effects 0.000 claims abstract description 46
- 230000010354 integration Effects 0.000 abstract description 16
- 238000011425 standardization method Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B60W2550/10—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 자율 주행 차량이 주변의 상황을 인식하여 자율주행을 수행함에 있어서 기계학습의 데이터를 격자화 및 표준화 하여 연산부하를 감소시키면서 학습을 수행할 수 있는 방법 및 시스템에 관한 것으로, 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 인지정보 제공부, 상기 인지정보를 코드화 하는 인지정보 통합 모듈, 및 상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 격자형 맵 생성 모듈을 포함하는 구성을 개시한다.
Description
본 발명은 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 자율 주행 차량이 주변의 상황을 인식하여 자율주행을 수행함에 있어서 기계학습의 데이터를 격자화 및 표준화 하여 연산부하를 감소시키면서 학습을 수행할 수 있는 방법 및 시스템에 관한 것이다.
차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle 또는 Self-Driving Car)에 대한 개발이 활발하게 이루어 지고 있다.
기존 차량 및 자율 주행에 관한 시뮬레이터는 다양한 사고 환경을 설정하고 이에 대응하는 사고 대응 알고리즘을 설계할 수 있다. 특히, 시뮬레이터는 차량에 존재하는, 혹은 부착 가능한 센서를 기반으로 주행 환경 및 주행 알고리즘을 구현 할 수 있다.
기존 자율 주행을 위한 기계학습에 관한 기술은 자율 주행 차량의 각종 센서로부터 취득가능한 센서 데이터 및 차량의 상태를 기반으로 기계학습을 진행하였고, 이를 통해 차량의 행동 결정을 수행하였다. 특히 취득한 센서 데이터는 차량, 교통 신호, 차선, 보행자 등의 데이터로 인지 및 분류하여 자율 주행을 위한 기계학습에 이용되었다. 그러나 종래 기술에서는 이러한 인지 및 분류된 데이터에 대해 일관된 형식이 없고, 누락된 정보를 이용하여 자율 주행을 위한 기계학습을 수행하여 시스템의 부하가 과하다는 문제점이 있다.
따라서, 본 발명의 목적은 차량의 센서로부터 인지 및 분류한 데이터를 특정한 형식으로 통합하고, 생성된 데이터를 통해 가상의 Top View 형식의 2D/3D 격자형 맵을 생성 및 자율 주행을 위한 기계 학습에 사용하는 것으로, 일관된 형식으로 정보의 누락 없이 기계학습을 수행하는 기술을 제공하는 데 있다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 인지정보 제공부; 상기 인지정보를 코드화 하는 인지정보 통합 모듈; 및 상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 격자형 맵 생성 모듈;을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 코드화된 인지정보를 이용해 기계학습을 수행하는 학습부;를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 모듈은 Top View 형식의 2D 또는 3D 격자형 맵을 생성할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 모듈은 상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시킬 수 있다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 단계; 상기 인지정보를 코드화 하는 단계; 및 상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 코드화된 인지정보를 이용해 기계학습을 수행하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 단계는 Top View 형식의 2D 또는 3D 격자형 맵을 생성할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 단계는 상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시킬 수 있다.
본 발명의 End to End 기반 자율 주행을 위한 기계 학습용 인지 데이터 통합에 따르면, 인지된 정보에 대해 특정한 형식으로 통합함으로 써, 정보의 누락 없이 일관된 형식을 통해 End to End 방식으로 기계 학습을 수행한다는 효과가 있다.
또한, 자율주행 차량의 학습에 있어서 시스템의 부하를 감소시킬 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보를 통합하는 형식의 일 예시이다.
도 3은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보의 Type 및 Sign의 값의 예시이다.
도 4는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 5는 속도 변화에 따른 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 6은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 적용의 예시이다.
도 7은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보를 통합하는 형식의 일 예시이다.
도 3은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보의 Type 및 Sign의 값의 예시이다.
도 4는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 5는 속도 변화에 따른 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 6은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 적용의 예시이다.
도 7은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
도 1은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템(1)은 인지정보 제공부(10), 인지정보 통합부(20) 및 학습부(30)를 포함할 수 있다.
상기 인지정보 제공부(10)는 자율주행 차량이 자율주행을 수행할 때 상기 자율주행 차량의 주변환경을 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 주변의 영상, 상기 자율주행 차량의 주변에 위치하는 장애물, 상기 자율주행 차량이 주행중인 도로의 차선 수, 교차로, 신호등의 위치 및 변화를 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 위치 정보를 인식할 수 있다. 상기 인지정보 제공부(10)는 자율주행을 수행하기 위한 모든 정보를 센싱할 수 있다. 상기 인지정보 제공부(10)는 카메라, 라이다(lidar), 레이다(radar), 초음파(ultra-sonic) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다, 레이다 및 초음파는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의의 현재 위치 정보를 취득해 제공할 수 있다.
상기 인지정보 제공부(10)가 획득한 정보들은 인지 정보라고 지칭할 수 있다. 상기 인지정보는 영상, 장애물까지의 거리, 자율주행 차량의 위치 정보를 포함할 수 있다. 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다. 상기 물체는 차량 이외의 장애물들을 포함할 수 있다.
상기 인지정보 제공부(10)는 상기 인지정보를 상기 인지정보 통합부(20)에 전달할 수 있다.
상기 인지정보 통합부(20)는 인지정보 통합 모듈(210) 및 격자형 맵 생성 모듈(220)을 포함할 수 있다.
상기 인지정보 통합 모듈(210)에서 전송되는 값을 수신할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 기계학습에 사용할 수 있는 형식으로 통합할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 코드화 할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 그 속성에 따른 값(Value)을 지정해 구분하여 코드화 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보 속에 따른 값을 지정하고, 속성에 따른 표시색을 지정하여 코드화할 수 있다.
상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 상기 인지정보 통합 모듈(210)에서 수신할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 이용해 상기 자율 주행 차량 주변환경의 격자형 맵을 생성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주변환경을 Top View 형식의 2D 또는 3D 격자형 맵으로 형성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 3D 격자형 맵을 생성해 차량의 높이와 장에물이 위치하는 높이에 의한 위험 여부를 판단 또는 경고할 수 있다.
상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행 속도에 따라 상기 격자형 맵의 격자 크기를 조절할 수 있다. 상기 자율 주행 차량의 주행 속도에 비례하여 격자의 크기를 증가시킬 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행속도가 빠르면 격자의 크기가 크고 상기 자율 주행 차량의 주행속도가 느리면 격자의 크기가 작을 수 있다.
상기 격자형 맵 생성 모듈(220)은 상기 격자형 맵에 상기 인지정보를 이용해 주변 환경을 격자로 표시할 수 있다. 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각 격자로 표시할 수 있다. 상기 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각의 색을 가지는 격자로 표시해 구분할 수 있다.
상기 학습부(30)는 상기 코드화된 인지정보를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 코드화된 인지정보를 콘볼루션 뉴럴 네트워크(Convolution Neural Network, CNN) 및 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함한 다른 여러 네트워크를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템(1) 내부에 포함될 수 있다. 상기 학습부(30)는 별도의 서버로 포함될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보를 통합하는 형식의 일 예시이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 인지 정보를 코드화 할 수 있다. 상기 인지정보를 ID, 타입(Type), 충돌(Collision), 좌표(Coordinate), 크기(Size), 벡터(Vector), 신호(sign)의 데이터로 코드화할 수 있다. 상기 ID 는 인식된 대상의 넘버링일 수 있다. 상기 타입은 인식된 대상의 종류에 따른 값을 포함할 수 있다. 상기 좌표는 격자형 맵에서의 위치를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 있다. 상기 크기는 상기 격자형 맵에서 차지하는 격자의 눈금 크기를 표시할 수 있고 x, y, z 축의 3개의 값을 포함할 수 있다. 상기 벡터는 상기 대상의 움직임에 대한 정보를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 상기 신호는 교통신호를 구분하여 값으로 표시할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보의 Type 및 Sign의 값의 예시이다.
도 3을 참조하면, 상기 타입은 차량(Vehicle), 보행자(pedestrian), 차선(lane), 신호등(sign), 물체(object)가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.
상기 차량의 경우 신호의 값은 신호가 없음, 좌측 깜빡이, 우측 깜빡이, 비상등, 브레이크등이 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.
상기 신호등의 경우 신호의 값은 적신호, 황신호, 청신호, 좌회전 신호, 우회전 신호가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.
도 4는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율 주행 차량을 중심으로 주변 환경에 따른 물체들을 감지해 격자형 맵을 생성할 수 있다. 상기 격자형 맵에 상기 주변 환경의 물체들을 격자형태로 표시할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 물체들을 그 크기에 따른 격자로 표시할 수 있다.
상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 격자형 맵을 Top View 형식의 2D 또는 3D로 구현할 수 있다. 2D 로 격자형 맵을 구현하는 경우 상기 코드화된 인지정보에서 좌표, 크기, 벡터는 x, y, z 중 2가지 값만 이용될 수 있다. 3D로 격자형 맵을 구현하는 경우 물체의 높이 및 물체가 위치하는 높이를 인식할 수 있다.
도 5는 속도 변화에 따른 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 5를 참조하면, 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 따라 격자형 맵의 격자의 크기를 조절할 수 있다. 상기 격자형 맵의 격자는 정사각형 형태일 수 있다. 상기 격자형 맵의 격자의 크기는 상기 격자의 한 변의 길이를 의미할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 비례하여 상기 격자의 크기를 키울 수 있다. 상기 자율주행 차량의 주행 속도가 빨라지면 상기 격자의 크기를 키우고, 상기 자율주행 차량의 주행 속도가 느려지면 상기 격자의 크기를 줄일 수 있다.
도 6은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 적용의 예시이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 실제 환졍에서 주변환경을 인지해 인지정보를 생성할 수 있다. 생성된 상기 인지정보를 특정 형식으로 통합할 수 있다. 통합된 상기 인지정보를 이용해 기계학습을 하거나 격자형 맵을 형성할 수 있다. 상기 격자형 맵은 Top View 형식의 2D 또는 3D로 선택될 수 있다. 상기 기계학습을 통해 상기 자율주행 차량의 주변 환경에 대한 대응 방식을 학습할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 단계(S710)를 포함할 수 있다.
S710 단계에서, 상기 인지정보 제공부(10)는 자율주행 차량이 자율주행을 수행할 때 상기 자율주행 차량의 주변환경을 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 주변의 영상, 상기 자율주행 차량의 주변에 위치하는 장애물, 상기 자율주행 차량이 주행중인 도로의 차선 수, 교차로, 신호등의 위치 및 변화를 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 위치 정보를 인식할 수 있다. 상기 인지정보 제공부(10)는 자율주행을 수행하기 위한 모든 정보를 센싱할 수 있다. 상기 인지정보 제공부(10)는 카메라, 라이다(lidar), 레이다(radar), 초음파(ultra-sonic) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다, 레이다 및 초음파는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의의 현재 위치 정보를 취득해 제공할 수 있다.
S710 단계에서, 상기 인지정보 제공부(10)가 획득한 정보들은 인지 정보라고 지칭할 수 있다. 상기 인지정보는 영상, 장애물까지의 거리, 자율주행 차량의 위치 정보를 포함할 수 있다. 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다. 상기 물체는 차량 이외의 장애물들을 포함할 수 있다.
본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 상기 인지정보를 코드화 하는 단계(S720)를 포함할 수 있다.
S720 단계에서, 상기 인지정보 제공부(10)는 상기 인지정보를 상기 인지정보 통합부(20)에 전달할 수 있다.
S720 단계에서, 상기 인지정보 통합 모듈(210)에서 전송되는 값을 수신할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 기계학습에 사용할 수 있는 형식으로 통합할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 코드화 할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 그 속성에 따른 값(Value)을 지정해 구분하여 코드화 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보 속에 따른 값을 지정하고, 속성에 따른 표시색을 지정하여 코드화할 수 있다.
S720 단계에서, 상기 인지정보를 ID, 타입(Type), 충돌(Collision), 좌표(Coordinate), 크기(Size), 벡터(Vector), 신호(sign)의 데이터로 코드화할 수 있다. 상기 ID 는 인식된 대상의 넘버링일 수 있다. 상기 타입은 인식된 대상의 종류에 따른 값을 포함할 수 있다. 상기 좌표는 격자형 맵에서의 위치를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 있다. 상기 크기는 상기 격자형 맵에서 차지하는 격자의 눈금 크기를 표시할 수 있고 x, y, z 축의 3개의 값을 포함할 수 있다. 상기 벡터는 상기 대상의 움직임에 대한 정보를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 상기 신호는 교통신호를 구분하여 값으로 표시할 수 있다.
S720 단계에서, 상기 타입은 차량(Vehicle), 보행자(pedestrian), 차선(lane), 신호등(sign), 물체(object)가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.
S720 단계에서, 상기 차량의 경우 신호의 값은 신호가 없음, 좌측 깜빡이, 우측 깜빡이, 비상등, 브레이크등이 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.
S720 단계에서, 상기 신호등의 경우 신호의 값은 적신호, 황신호, 청신호, 좌회전 신호, 우회전 신호가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.
본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 단계(S730)를 포함할 수 있다.
S730 단계에서, 상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 상기 인지정보 통합 모듈(210)에서 수신할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 이용해 상기 자율 주행 차량 주변환경의 격자형 맵을 생성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주변환경을 Top View 형식의 2D 또는 3D 격자형 맵으로 형성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 3D 격자형 맵을 생성해 차량의 높이와 장에물이 위치하는 높이에 의한 위험 여부를 판단 또는 경고할 수 있다.
S730 단계에서, 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행 속도에 따라 상기 격자형 맵의 격자 크기를 조절할 수 있다. 상기 자율 주행 차량의 주행 속도에 비례하여 격자의 크기를 증가시킬 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행속도가 빠르면 격자의 크기가 크고 상기 자율 주행 차량의 주행속도가 느리면 격자의 크기가 작을 수 있다.
S730 단계에서, 상기 격자형 맵 생성 모듈(220)은 상기 격자형 맵에 상기 인지정보를 이용해 주변 환경을 격자로 표시할 수 있다. 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각 격자로 표시할 수 있다. 상기 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각의 색을 가지는 격자로 표시해 구분할 수 있다.
S730 단계에서, 상기 자율 주행 차량을 중심으로 주변 환경에 따른 물체들을 감지해 격자형 맵을 생성할 수 있다. 상기 격자형 맵에 상기 주변 환경의 물체들을 격자형태로 표시할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 물체들을 그 크기에 따른 격자로 표시할 수 있다.
S730 단계에서, 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 격자형 맵을 Top View 형식의 2D 또는 3D로 구현할 수 있다. 2D 로 격자형 맵을 구현하는 경우 상기 코드화된 인지정보에서 좌표, 크기, 벡터는 x, y, z 중 2가지 값만 이용될 수 있다. 3D로 격자형 맵을 구현하는 경우 물체의 높이 및 물체가 위치하는 높이를 인식할 수 있다.
S730 단계에서, 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 따라 격자형 맵의 격자의 크기를 조절할 수 있다. 상기 격자형 맵의 격자는 정사각형 형태일 수 있다. 상기 격자형 맵의 격자의 크기는 상기 격자의 한 변의 길이를 의미할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 비례하여 상기 격자의 크기를 키울 수 있다. 상기 자율주행 차량의 주행 속도가 빨라지면 상기 격자의 크기를 키우고, 상기 자율주행 차량의 주행 속도가 느려지면 상기 격자의 크기를 줄일 수 있다.
본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 상기 코드화된 인지정보를 이용해 기계학습을 수행하는 단계(S740)를 포함할 수 있다.
S740 단계에서, 상기 학습부(30)는 상기 코드화된 인지정보를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 코드화된 인지정보를 콘볼루션 뉴럴 네트워크(Convolution Neural Network, CNN) 및 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함한 다른 여러 네트워크를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템(1) 내부에 포함될 수 있다. 상기 학습부(30)는 별도의 서버로 포함될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (10)
- 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 인지정보 제공부;
상기 인지정보를 상기 주변 환경의 속성에 따른 값을 지정하여 코드화 하는 인지정보 통합 모듈; 및
상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 격자형 맵 생성 모듈;을 포함하고,
상기 격자형 맵 생성 모듈은,
상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시키는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템. - 제1항에 있어서,
상기 코드화된 인지정보를 이용해 기계학습을 수행하는 학습부;를 더 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템 - 제1항에 있어서,
상기 인지정보는,
상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템. - 제1항에 있어서,
상기 격자형 맵 생성 모듈은,
Top View 형식의 2D 또는 3D 격자형 맵을 생성하는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템. - 삭제
- 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 단계;
상기 인지정보를 상기 주변 환경의 속성에 따른 값을 지정하여 코드화 하는 단계; 및
상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 단계;를 포함하고,
상기 격자형 맵 생성 단계는,
상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시키는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법.
- 제6항에 있어서,
상기 코드화된 인지정보를 이용해 기계학습을 수행하는 단계;를 더 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법. - 제6항에 있어서,
상기 인지정보는,
상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법. - 제6항에 있어서,
상기 격자형 맵 생성 단계는,
Top View 형식의 2D 또는 3D 격자형 맵을 생성하는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180129096A KR102065693B1 (ko) | 2018-10-26 | 2018-10-26 | 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180129096A KR102065693B1 (ko) | 2018-10-26 | 2018-10-26 | 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102065693B1 true KR102065693B1 (ko) | 2020-01-13 |
Family
ID=69153320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180129096A KR102065693B1 (ko) | 2018-10-26 | 2018-10-26 | 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102065693B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210108600A (ko) * | 2020-02-26 | 2021-09-03 | 슈어소프트테크주식회사 | 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치 |
| KR102363719B1 (ko) * | 2021-06-30 | 2022-02-16 | 주식회사 모빌테크 | 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 |
| WO2024013143A1 (de) * | 2022-07-12 | 2024-01-18 | Robert Bosch Gmbh | Methode und gerät für maschinelles lernen |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150084143A (ko) * | 2014-01-13 | 2015-07-22 | 한양대학교 산학협력단 | 다양한 주행 환경 기반의 차량 자율 주행 장치 및 그 경로 계획 방법 |
| KR20180040759A (ko) * | 2016-10-12 | 2018-04-23 | 한국전자통신연구원 | 자율주행 차량의 판단 지능 향상을 위한 주행상황 데이터 공유 및 학습 장치 및 그 동작 방법 |
| KR20180050383A (ko) * | 2016-09-28 | 2018-05-14 | 바이두 유에스에이 엘엘씨 | 자율 주행 차량 이동을 시뮬레이트하기 위한 물리 모델 및 머신 러닝과 결합된 방법 |
-
2018
- 2018-10-26 KR KR1020180129096A patent/KR102065693B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150084143A (ko) * | 2014-01-13 | 2015-07-22 | 한양대학교 산학협력단 | 다양한 주행 환경 기반의 차량 자율 주행 장치 및 그 경로 계획 방법 |
| KR20180050383A (ko) * | 2016-09-28 | 2018-05-14 | 바이두 유에스에이 엘엘씨 | 자율 주행 차량 이동을 시뮬레이트하기 위한 물리 모델 및 머신 러닝과 결합된 방법 |
| KR20180040759A (ko) * | 2016-10-12 | 2018-04-23 | 한국전자통신연구원 | 자율주행 차량의 판단 지능 향상을 위한 주행상황 데이터 공유 및 학습 장치 및 그 동작 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210108600A (ko) * | 2020-02-26 | 2021-09-03 | 슈어소프트테크주식회사 | 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치 |
| KR102337034B1 (ko) * | 2020-02-26 | 2021-12-09 | 슈어소프트테크주식회사 | 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치 |
| KR102363719B1 (ko) * | 2021-06-30 | 2022-02-16 | 주식회사 모빌테크 | 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 |
| WO2023277371A1 (ko) * | 2021-06-30 | 2023-01-05 | 주식회사 모빌테크 | 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 |
| WO2024013143A1 (de) * | 2022-07-12 | 2024-01-18 | Robert Bosch Gmbh | Methode und gerät für maschinelles lernen |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11574089B2 (en) | Synthetic scenario generator based on attributes | |
| US11568100B2 (en) | Synthetic scenario simulator based on events | |
| CN112166304B (zh) | 传感器数据的误差检测 | |
| US11150660B1 (en) | Scenario editor and simulator | |
| CN111095291B (zh) | 由自动驾驶车辆实时检测车道和边界 | |
| US10387733B2 (en) | Processing apparatus, processing system, and processing method | |
| US20210339741A1 (en) | Constraining vehicle operation based on uncertainty in perception and/or prediction | |
| CN114245885A (zh) | 基于动作数据的自上而下场景预测 | |
| CN112789481A (zh) | 对自上而下场景的轨迹预测 | |
| WO2020264010A1 (en) | Low variance region detection for improved detection | |
| CN111133448A (zh) | 使用安全到达时间控制自动驾驶车辆 | |
| US20150332103A1 (en) | Processing apparatus, computer program product, and processing method | |
| WO2021216348A1 (en) | Map consistency checker | |
| WO2022104774A1 (zh) | 目标检测方法和装置 | |
| CN114072841A (zh) | 根据图像使深度精准化 | |
| JP2016001463A (ja) | 処理装置、処理システム、処理プログラム及び処理方法 | |
| US11526721B1 (en) | Synthetic scenario generator using distance-biased confidences for sensor data | |
| KR20200030305A (ko) | 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들 | |
| KR102065693B1 (ko) | 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템 | |
| US9779312B2 (en) | Environment recognition system | |
| KR102635265B1 (ko) | 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법 | |
| WO2020264276A1 (en) | Synthetic scenario generator based on attributes | |
| CN113665570A (zh) | 自动地感知行驶信号的方法、装置及运载工具 | |
| CN116048060A (zh) | 用于自主***和应用的使用神经网络基于真实世界数据的3d表面结构估计 | |
| CN116051780A (zh) | 用于自主***和应用的使用人工智能利用点云致密化的3d表面重建 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |