KR102348294B1 - 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법 - Google Patents

인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR102348294B1
KR102348294B1 KR1020200106364A KR20200106364A KR102348294B1 KR 102348294 B1 KR102348294 B1 KR 102348294B1 KR 1020200106364 A KR1020200106364 A KR 1020200106364A KR 20200106364 A KR20200106364 A KR 20200106364A KR 102348294 B1 KR102348294 B1 KR 102348294B1
Authority
KR
South Korea
Prior art keywords
sensor
recognition result
light image
learning data
recognition
Prior art date
Application number
KR1020200106364A
Other languages
English (en)
Inventor
김대현
윤혁진
김재희
조봉관
박찬호
Original Assignee
한국철도기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원 filed Critical 한국철도기술연구원
Priority to KR1020200106364A priority Critical patent/KR102348294B1/ko
Application granted granted Critical
Publication of KR102348294B1 publication Critical patent/KR102348294B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/90—Single sensor for two or more measurements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G05D2201/0213—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 양상인 인지 학습데이터를 이용하는 자율주행차량 제어 방법은, 자율주행차량에 구비된 복수의 센서들의 인지 영역을 지정하는 제 1 단계; 상기 복수의 센서 중 제 1 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 1 인지 결과를 도출하는 제 2 단계; 상기 제 1 센서를 제외한 상기 복수의 센서 중 적어도 하나인 제 2 센서가 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하는 제 3 단계; 상기 제 2 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 2 인지 결과를 도출하는 제 4 단계; 상기 제 2 센서가 상기 제 1 인지 결과를 전달받고, 상기 제 1 인지 결과와 상기 제 2 인지 결과를 함께 이용하여 상기 객체의 위치 및 클래스와 관련된 제 3 인지 결과를 생성하는 제 5 단계; 상기 제 2 센서가, 상기 제 3 인지 결과의 위치 표시 방식을 상기 제 2 센서의 위치 표시 방식으로 제 2 변환하는 제 6 단계; 및 상기 제 2 센서가 상기 제 6 단계의 제 3 인지 결과를 이용하여 학습용 데이터를 생성하는 제 7 단계;를 포함할 수 있다.

Description

인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법 {self-driving vehicle control system using cognitive learning data and control method}
본 발명은 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법에 관한 것으로, 가시광 이미지 센서에 의한 인지기술을 기반으로 라이다, 레이다, 비가시광 이미지센서 등의 학습용 데이터를 생성하는 자율주행차량 제어 시스템 및 그 제어 방법에 관한 것이다.
자율주행 대중교통 차량은 무인운전 혹은 자동운전으로 운행하고 있기 때문에 스마트 관제(SCC)와 유선망과 V2X 무선망을 통해 실시간 차량상태 정보를 SCC(Smart Control Center)로 전송하고, 제어정보를 차량으로 전송하고 있다.
자율주행 대중교통 차량의 운행에 있어, 객체를 인식(인지)하는 것은 매우 중요한 요소이다. 즉, 차량 주변에 존재하는 객체를 인지하고, 인지된 객체에 대응하여 차량의 서비스가 적절하게 제공될 수 있다.
이와 같은 객체의 인식에 이용되는 인지신경망은 인지기술의 큰 발전을 이루었으나 학습을 위해 많은 데이터를 필요로 하다는 문제점을 안고 있다.
즉, 하나의 이미지에서 사물의 위치(박스형태 또는 픽셀단위로 표시) 및 클래스를 별도의 파일이나 포맷으로 표시하여야 하고, 학습에는 많은 이미지 데이터가 필요하므로, 학습용 데이터 생성에는 많은 시간과 비용이 필요하다는 문제점이 존재한다.
또한, 종래에는 학습데이터 생성을 위해 매 이미지의 인지대상에 직접 레이블링 작업을 해줌으로 인해, 많은 시간과 비용이 필요하다는 문제점이 존재하였다.
결국, 학습용 데이터의 생성에는 많은 시간과 비용이 필요하고, 작업자에 따라 데이터의 품질에 영향을 미치는 등 많은 문제점들이 존재한다.
따라서 이러한 문제점을 해소하기 위한 해결방안이 요구되고 있는 실정이다.
대한민국 특허청 등록번호 10-1634451 호 대한민국 특허청 등록번호 10-1002182 호
본 발명은 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법에 관한 것으로, 가시광 이미지 센서에 의한 인지기술을 기반으로 라이다, 레이다, 비가시광 이미지센서 등의 학습용 데이터를 생성하는 자율주행차량 제어 시스템 및 그 제어 방법을 제안하고자 한다.
구체적으로 본 발명에서는, 이종 센서 간 인지 영역을 매칭하고, 상위 인지 센서의 인지 결과를 기초로 위치 및 클래스를 도출하고, 하위 인지 센서의 위치 표기 방식을 상위 인지 센서 방식으로 변환하고, 상위 인지 센서로부터 도출된 위치 및 클래스를 이용하여 하위인지센서 로(raw) 데이어 방식으로 변환하며, 이를 이용하여 하위 인지 센서용 학습데이터를 생성한 후, 하나의 이미지에서 모든 인지 대상에 대해 반복함으로써 생성된 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공하고자 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 인지 학습데이터를 이용하는 자율주행차량 제어 방법은, 자율주행차량에 구비된 복수의 센서들의 인지 영역을 지정하는 제 1 단계; 상기 복수의 센서 중 제 1 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 1 인지 결과를 도출하는 제 2 단계; 상기 제 1 센서를 제외한 상기 복수의 센서 중 적어도 하나인 제 2 센서가 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하는 제 3 단계; 상기 제 2 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 2 인지 결과를 도출하는 제 4 단계; 상기 제 2 센서가 상기 제 1 인지 결과를 전달받고, 상기 제 1 인지 결과와 상기 제 2 인지 결과를 함께 이용하여 상기 객체의 위치 및 클래스와 관련된 제 3 인지 결과를 생성하는 제 5 단계; 상기 제 2 센서가, 상기 제 3 인지 결과의 위치 표시 방식을 상기 제 2 센서의 위치 표시 방식으로 제 2 변환하는 제 6 단계; 및 상기 제 2 센서가 상기 제 6 단계의 제 3 인지 결과를 이용하여 학습용 데이터를 생성하는 제 7 단계;를 포함할 수 있다.
또한, 상기 제 1 단계에서, 상기 복수의 센서는 이종 센서이고, 상기 인지 영역 중 동일한 제 1 영역에 대해서만 인지 동작을 수행할 수 있다.
또한, 상기 객체는 복수이고, 상기 복수의 객체 중 제 1 객체에 대해 상기 제 2 단계 내지 상기 제 7 단계가 수행되고, 상기 복수의 객체 중 상기 제 1 객체를 제외한 나머지 객체 각각에 대해, 상기 제 2 단계 내지 상기 제 7 단계가 반복하여 수행될 수 있다.
또한, 상기 제 2 단계에서, 상기 제 1 센서의 동작은, 미리 지정된 요건이 만족되는 인지 성능이 높은 환경에서 수행될 수 있다.
또한, 상기 객체의 위치 표시 방식은, 상기 객체의 크기 표시, 모양 표시 및 인지위치 표시를 포함할 수 있다.
또한, 상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 라이다 센서 인 경우, 상기 제 3 단계에서는, 상기 라이다 센서가 획득하는 포인트 클라우드(point cloud) 데이터를 2차원으로 이미지화 하고, 상기 2차원 이미지 상에서 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환할 수 있다.
또한, 상기 제 6 단계에서, 상기 라이다 센서는, 상기 제 3 인지 결과의 위치 표시 방식을 상기 포인트 클라우드 데이터 방식으로 제 2 변환할 수 있다.
또한, 상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 비가시광 이미지 센서 인 경우, 상기 제 3 단계에서는, 상기 가시광 이미지 센서와 상기 비가시광 이미지 센서의 렌즈 화각 및 왜곡 정보 보상을 통해, 동일한 객체가 동일한 픽셀에 매칭되도록 제 1 변환할 수 있다.
또한, 상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 레이다 센서 인 경우, 상기 제 3 단계에서는, 상기 레이다 센서의 뷰(view)를 상기 가시광 이미지 센서의 뷰(view)로 변환하고, 보정을 통해 동일한 객체의 크기가 동일하게 표시되도록 제 1 변환할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 인지 학습데이터를 이용하는 자율주행차량은, 자율주행 차량에 구비된 복수의 센서; 및 상기 복수의 센서들의 인지 영역을 지정하는 제어부;를 포함하고, 상기 복수의 센서 중 제 1 센서는, 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 1 인지 결과를 도출하고, 상기 제 1 센서를 제외한 상기 복수의 센서 중 적어도 하나인 제 2 센서는, 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하며, 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 2 인지 결과를 도출하고, 상기 제 1 인지 결과를 전달받고, 상기 제 1 인지 결과와 상기 제 2 인지 결과를 함께 이용하여 상기 객체의 위치 및 클래스와 관련된 제 3 인지 결과를 생성하며, 상기 제 3 인지 결과의 위치 표시 방식을 상기 제 2 센서의 위치 표시 방식으로 제 2 변환하고, 상기 제 2 변환된 제 3 인지 결과를 이용하여 학습용 데이터를 생성할 수 있다.
또한, 상기 복수의 센서는 이종 센서이고, 상기 인지 영역 중 동일한 제 1 영역에 대해서만 인지 동작을 수행할 수 있다.
또한, 상기 객체는 복수이고, 상기 복수의 객체 각각에 대해, 상기 제 1 센서 및 상기 제 2 센서의 동작이 수행될 수 있다.
또한, 상기 제 1 센서의 동작은, 미리 지정된 요건이 만족되는 인지 성능이 높은 환경에서 수행될 수 있다.
또한, 상기 객체의 위치 표시 방식은, 상기 객체의 크기 표시, 모양 표시 및 인지위치 표시를 포함할 수 있다.
또한, 상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 라이다 센서 인 경우, 상기 라이다 센서는, 상기 라이다 센서가 획득하는 포인트 클라우드(point cloud) 데이터를 2차원으로 이미지화 하고, 상기 2차원 이미지 상에서 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환할 수 있다.
또한, 상기 라이다 센서는, 상기 제 3 인지 결과의 위치 표시 방식을 상기 포인트 클라우드 데이터 방식으로 제 2 변환할 수 있다.
또한, 상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 비가시광 이미지 센서 인 경우, 상기 비가시광 이미지 센서는, 상기 가시광 이미지 센서와 상기 비가시광 이미지 센서의 렌즈 화각 및 왜곡 정보 보상을 통해, 동일한 객체가 동일한 픽셀에 매칭되도록 제 1 변환할 수 있다.
또한, 상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 레이다 센서 인 경우, 상기 레이다 센서는, 상기 레이다 센서의 뷰(view)를 상기 가시광 이미지 센서의 뷰(view)로 변환하고, 보정을 통해 동일한 객체의 크기가 동일하게 표시되도록 제 1 변환할 수 있다.
본 발명은 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법에 관한 것으로, 가시광 이미지 센서에 의한 인지기술을 기반으로 라이다, 레이다, 비가시광 이미지센서 등의 학습용 데이터를 생성하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명에서는, 이종 센서 간 인지 영역을 매칭하고, 상위 인지 센서의 인지 결과를 기초로 위치 및 클래스를 도출하고, 하위 인지 센서의 위치 표기 방식을 상위 인지 센서 방식으로 변환하고, 상위 인지 센서로부터 도출된 위치 및 클래스를 이용하여 하위인지센서 로(raw) 데이어 방식으로 변환하며, 이를 이용하여 하위 인지 센서용 학습데이터를 생성한 후, 하나의 이미지에서 모든 인지 대상에 대해 반복함으로써 생성된 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공할 수 있다.
본 발명에 따르면, 하나의 이미지에서 사물의 위치(박스형태 또는 픽셀단위로 표시) 및 클래스를 별도의 파일이나 포맷으로 표시하여야 하고, 학습에는 많은 이미지 데이터가 필요하므로, 학습용 데이터 생성에는 많은 시간과 비용이 필요하다는 문제점을 해소할 수 있다.
본 발명에 따르면, 종래의 학습데이터 생성을 위해 매 이미지의 인지대상에 직접 레이블링 작업을 해줌으로 인해, 많은 시간과 비용이 필요하다는 문제점을 해소할 수 있다.
결국, 본 발명에서는, 학습용 데이터의 생성에는 많은 시간과 비용이 필요하고, 작업자에 따라 데이터의 품질에 영향을 미치는 등 많은 문제점들을 해결할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명과 관련하여, 하나의 이미지에서 사물의 위치 및 클래스를 별도의 파일이나 포맷으로 표시하는 일례를 도시한 것이다.
도 2는 본 발명에 따른 자율주행차량 제어 시스템에 대한 블록구성도의 일례를 도시한 것이다.
도 3은 본 발명에 따른 자율주행차량 제어 시스템과 관련된 블록구성도의 일례를 도시한 것이다.
도 4는 본 발명에 따른 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명하는 순서도이다.
도 5 및 도 6은 본 발명과 관련하여, 가시광 이미지 센서와 라이다 센서를 이용하는 경우의 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명한 것이다.
도 7 및 도 8은 본 발명과 관련하여, 가시광 이미지 센서와 비가시광 이미지 센서를 이용하는 경우의 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명한 것이다.
도 9 및 도 10은 본 발명과 관련하여, 가시광 이미지 센서와 레이다 센서를 이용하는 경우의 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 의도는 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 직접 연결되어 있다거나 직접 접속되어 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
종래기술의 문제점 및 본 발명의 목적
자율주행차량은 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 정밀한 지도, 위성항법시스템(GPS) 등 차량의 각종 센서로 상황을 파악해 스스로 목적지까지 찾아가는 차량을 말한다.
자율주행 시장은 2020년부터 본격적인 성장세에 진입할 것으로 전망되고 있다.
시장조사업체 네비건트리서치에 따르면 세계 자율주행차 시장은 2020년 전체 자동차 시장의 2%인 2000억달러를 차지한 뒤 2035년까지 1조2000억달러에 달할 것으로 추정된다.
자율주행 자동차가 실현되기 위해선 여러 가지의 기술이 필요할 수 있는데, 차간 거리를 자동으로 유지해 주는 HDA 기술, 차선이탈 경보 시스템(LDWS), 차선유지 지원 시스템(LKAS), 후측방 경보 시스템(BSD), 어드밴스트 스마트 크루즈 컨트롤(ASCC), 자동 긴급제동 시스템(AEB) 등이 필요하다.
자율주행 대중교통 차량은 무인운전 혹은 자동운전으로 운행하고 있기 때문에 스마트 관제(SCC)와 유선망과 V2X 무선망을 통해 실시간 차량상태 정보를 SCC(Smart Control Center)로 전송하고, 제어정보를 차량으로 전송하고 있다.
자율주행 대중교통 차량의 운행에 있어, 객체를 인식(인지)하는 것은 매우 중요한 요소이다. 즉, 차량 주변에 존재하는 객체를 인지하고, 인지된 객체에 대응하여 차량의 서비스가 적절하게 제공될 수 있다.
이와 같은 객체의 인식에 이용되는 인지신경망은 인지기술의 큰 발전을 이루었으나 학습을 위해 많은 데이터를 필요로 하다는 문제점을 안고 있다.
도 1은 본 발명과 관련하여, 하나의 이미지에서 사물의 위치 및 클래스를 별도의 파일이나 포맷으로 표시하는 일례를 도시한 것이다.
도 1을 참조하면, 하나의 이미지에서 사물의 위치(박스형태 또는 픽셀단위로 표시) 및 클래스를 별도의 파일이나 포맷으로 표시하여야 하고, 학습에는 많은 이미지 데이터가 필요하므로, 학습용 데이터 생성에는 많은 시간과 비용이 필요하다는 문제점이 존재한다.
또한, 종래에는 학습데이터 생성을 위해 매 이미지의 인지대상에 직접 레이블링 작업을 해줌으로 인해, 많은 시간과 비용이 필요하다는 문제점이 존재하였다.
결국, 학습용 데이터의 생성에는 많은 시간과 비용이 필요하고, 작업자에 따라 데이터의 품질에 영향을 미치는 등 많은 문제점들이 존재한다.
따라서 이러한 문제점을 해소하기 위해, 본 발명은 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법에 관한 것으로, 가시광 이미지 센서에 의한 인지기술을 기반으로 라이다, 레이다, 비가시광 이미지센서 등의 학습용 데이터를 생성하는 자율주행차량 제어 시스템 및 그 제어 방법을 제안하고자 한다.
구체적으로 본 발명에서는, 이종 센서 간 인지 영역을 매칭하고, 상위 인지 센서의 인지 결과를 기초로 위치 및 클래스를 도출하고, 하위 인지 센서의 위치 표기 방식을 상위 인지 센서 방식으로 변환하고, 상위 인지 센서로부터 도출된 위치 및 클래스를 이용하여 하위인지센서 로(raw) 데이어 방식으로 변환하며, 이를 이용하여 하위 인지 센서용 학습데이터를 생성한 후, 하나의 이미지에서 모든 인지 대상에 대해 반복함으로써 생성된 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공하고자 한다.
본 발명의 구체적인 설명에 앞서, 본 발명에 적용되는 자율주행차량 제어 시스템에 대해 도면을 참조하여 설명한다.
자율주행차량 제어 시스템
도 2는 본 발명에 따른 자율주행차량 제어 시스템에 대한 블록구성도의 일례를 도시한 것이다.
도 2를 참조하면, 본 발명에 따른 자율주행차량 제어 시스템(10)은 스마트 관제(SCC, Smart Control Center, 200), 기지국(노변 기지국, Road Side Equipment, RSE, 300) 및 자율주행차량(100)을 포함할 수 있다.
여기서 스마트 관제(200)는 기지국(300)과 통신하거나 자율주행차량(100)과 다이렉트로 통신할 수 있다.
일반적으로 기지국(300)은 복수로 구비될 수 있고, 각 기지국(300)이 통신할 수 있는 커버리지에 따라 복수의 셀 중 각각의 셀 영역을 각 기지국(300)이 담당하여 해당 셀 영역으로 진입하는 자율주행차량(100)과 통신하는 것이 가능하다.
이때, 각 기지국(300)에 진입한 자율주행차량(100)으로부터 수신한 정보를 복수의 기지국(300)이 스마트 관제(200)로 송부할 수 있고, 스마트 관제(200)는 복수의 기지국(300)으로부터 수신한 정보를 이용하여 자율주행차량(100)의 상태 등을 판단하고, 해당 상황에 맞는 조치를 전달할 수 있게 된다.
스마트 관제(SCC, Smart Control Center, 200)와 기지국(노변 기지국, Road Side Equipment, RSE, 300)간에는 유선 통신, 무선 통신 및 유무선 혼합통신을 통해 데이터를 교환할 수 있다.
기지국(노변 기지국, Road Side Equipment, RSE, 300)과 자율주행차량(100) 간에는 근거리 통신 또는 원거리 통신을 통해 데이터를 교환할 수 있다.
대표적으로 근거리 통신은 ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등의 기술을 포함할 수 있다.
또한, 원거리 통신은 V2X(Vehicle to Everything)통신환경의 WAVE(Wireless Access in Vehicular Environments), LTE(Long Term Evolution), WAVE+LTE(하이브리드 타입), CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
한편, 도 3은 본 발명에 따른 자율주행차량 제어 시스템과 관련된 블록구성도의 일례를 도시한 것이다.
도 3에서의 구성은 도 2와 같고, 본 발명에 따른 자율주행차량(100)의 구체적인 구성에 대해 설명한다.
도 3을 참조하면, 자율주행차량(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다.
단, 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 스마트 관제가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 스마트 관제와 기지국(300) 및 자율주행차량(100), 무선 통신 시스템 사이 또는 기기와 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 주행안전 신호, 주행안전 관련 정보, 방송 신호 및 방송 관련 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 주행안전 신호, 주행안전 관련 정보, 방송 신호 및 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 주행안전 신호, 주행안전 관련 정보, 방송 신호 및 방송 관련 정보를 제공받아 스마트 관제에 송신하는 서버를 의미할 수 있다.
상기 주행안전 신호는, 주행예정노선의 도로사고 신호, 도로파손 신호, 지장물 신호를 포함할 뿐만 아니라, 네비게이션 주행경로상에 주행안전 신호가 결합한 형태의 주행안전 신호도 포함할 수 있다.
상기 주행안전 관련 정보는, 도로 공사 구간, 도로 혼잡 구간, 실시간 재난 방송 또는 주행안전 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 주행안전 관련 정보는, 이동통신망을 통하여도 제공될 수 있다.
상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 주행안전 또는 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 기기, 서버 중 적어도 하나와 무선 신호를 송수신한다.
문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 스마트 관제에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, 와이파이(Wireless Fidelity, Wi-Fi) 등이 이용될 수 있다.
위치정보 모듈(115)은 스마트 관제의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 3을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 스마트 관제의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 스마트 관제의 개폐 상태, 스마트 관제의 위치, 사용자 접촉 유무, 스마트 관제의 방위, 스마트 관제의 가속/감속 등과 같이 스마트 관제의 현 상태를 감지하여 스마트 관제의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.
한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다.
디스플레이부(151)는 스마트 관제에서 처리되는 정보를 표시(출력)한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 스마트 관제 바디의 디스플레이부(151)가 차지하는 영역을 통해 스마트 관제 바디의 후방에 위치한 사물을 볼 수 있다.
스마트 관제의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 스마트 관제에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 스마트 관제의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
또한, 본 발명에 따른 센싱부(140)는, 가시광 이미지 센서(142), 라이다 센서(143), 비가시광 이미지 센서(144) 및 레이다 센서(145)를 포함할 수 있다.
먼저, 이미지 센서(image sensor)는, 피사체 정보를 검지하여 전기적인 영상신호로 변환하는 장치로서, 촬상관과 고체이미지센서로 크게 나눌 수 있으며 전자에는 비디콘, 플럼비콘 등이 있고, 후자에는 금속산화물반도체(MOS), 전하결합소자(CCD) 등이 있다.
한편, 인간의 눈으로 볼 수 있는 가시광을 이용하는 가시광 이미지 센서(142)와 인간의 눈으로는 볼 수 없는 자외선 영역 등의 불가시상을 가시상으로 변환하는 비가시광 이미지 센서(144)가 본 발명에는 적용될 수 있다.
또한, 라이다(LIDAR) 센서(143)는, 레이저를 목표물에 비춰 사물과의 거리 및 다양한 물성을 감지할 수 있는 기술이다. 주변 사물, 지형지물 등을 감지하고 이를 3D 영상으로 모델링할 수 있다. 스스로 운행하는 자율주행차가 현실화되면서 자율주행차의 눈 역할을 해줄 기술로 라이다(LIDAR) 센서(143)가 주목 받고 있다.
또한, 레이다(Radar) 센서(145)는, 강력한 전자기파를 발사하여 그 전자기파가 대상 물체에서 반사되여 돌아오는 반향파를 수신하여 물체를 식별하거나 물체의 위치, 움직이는 속도 등을 탐지하는 장치이다.
한편, 음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 스마트 관제에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 스마트 관제의 이벤트 발생을 알리기 위한 신호를 출력한다.
알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.
상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다.
예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 스마트 관제의 구성 태양에 따라 2개 이상이 구비될 수 있다.
프로젝터 모듈(155)은, 스마트 관제를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(155)은, 스마트 관제의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 스마트 관제의 어느 위치에라도 구비될 수 있음은 당연하다.
메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 스마트 관제는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 스마트 관제에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 스마트 관제 내부의 각 구성 요소에 전달하거나, 스마트 관제 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 스마트 관제의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 스마트 관제와 연결될 수 있다.
상기 인터페이스부는 스마트 관제가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 스마트 관제에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동기기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 스마트 관제의 전반적인 동작을 제어한다.
상기 제어부(180)는 스마트 관제가 제어하는 영역에서 운행하는 각 자율주행차량들의 상태정보를 실시간으로 모니터링하고 발생되는 이벤트에 대한 제어정보를 수행할 수 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
전술한 스마트 관제(200), 기지국(300) 및 자율주행차량(100)의 구성을 기초로 본 발명의 기술적 특징에 대해 구체적으로 설명한다.
인지 학습데이터를 이용하는 자율주행차량 제어 방법
가시광 이미지 센서(142)에 대해서는 인지기술의 발전이 크게 이루어져 있으므로, 이러한 인지기술을 기반으로 라이다(143), 레이다(145), 비가시광 이미지센서(144) 등의 학습용 데이터를 생성하는 방법을 제안한다.
학습용 데이터 생성을 자동화하기 위한 알고리즘은 아래 도 4에 도시된 플로우 차트와 같다.
도 4는 본 발명에 따른 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명하는 순서도이다.
도 4에서, 상위인지센서는 인지성능이 상대적으로 우수한 센서를 의미하며 현재 기술에서 가시광 이미지 센서(142)를 예로 들 수 있다.
또한, 하위 인지센서는 상위인지센서 대비 인지성능이 떨어지거나 아직 인지기술 개발이 되지 않은 센서를 의미한다.
도 4에서 제안하는 알고리즘은 상위 인지센서의 인지성능이 가장 높은 환경에서 인지센서 데이터를 취득하여 수행하여야 한다.
또한, 하위인지센서는 상위인지센서의 위치표기방법으로 변환하여 사물에 대한 위치를 파악해야 한다.
구체적으로, 도 4를 참조하면, 가장 먼저, 제어부(180)가 자율주행차량(100)에 구비된 복수의 센서(140)들의 인지 영역을 지정하는 단계(S10)가 진행된다.
다음으로, 복수의 센서 중 제 1 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 1 인지 결과를 도출하는 단계(S20)가 진행된다.
본 발명에서의 제 1 센서는 가시광 이미지 센서(142)가 될 수 있다.
S20 단계 이후, 제 1 센서를 제외한 상기 복수의 센서 중 적어도 하나인 제 2 센서가 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하는 단계(S30)를 수행한다.
또한, 제 2 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 2 인지 결과를 도출하는 단계(S40)를 수행한다.
이후, 제 2 센서가 상기 제 1 인지 결과를 전달받고, 상기 제 1 인지 결과와 상기 제 2 인지 결과를 함께 이용하여 상기 객체의 위치 및 클래스와 관련된 제 3 인지 결과를 생성하는 단계(S50)를 진행한다.
이후, 제 2 센서가, 상기 제 3 인지 결과의 위치 표시 방식을 상기 제 2 센서의 위치 표시 방식으로 제 2 변환하는 단계(S60)를 진행한다.
이에 따라 제 2 센서가 제 2 변환된 제 3 인지 결과를 이용하여 학습용 데이터를 생성하는 단계(S70)를 진행한다.
이때, 제어부(180)는 인지 영역 내 모든 객체에 대해 학습용 데이터 생성이 완료되었는지 여부에 대해 확인하게 된다(S80).
만약, 지정된 인지 영역 내 객체가 복수이고, 일부에 대해서만 학습용 데이터가 생성된 경우에는, 다른 객체에 대해 전술한 S20 단계 내지 S70 단계가 반복적으로 수행된다.
모든 객체에 대한 학습용 데이터가 생성되는 경우, 절차가 종료된다.
이하에서는, 제 1 센서로서 가시광 이미지 센서(142)를 디폴트로 이용하고, 제 2 센서로서 라이다 센서(143), 비가시광 이미지 센서(144) 및 레이다 센서(145) 사용하는 경우 각각에 대해 구체적으로 설명한다.
가시광 이미지 센서와 라이다 센서를 이용하는 제 1 실시예
이종 센서가 동일한 상황에 대한 데이터를 취득했을 때, 각 센서가 표시하는 인지범위, 동일한 사물의 크기 및 모양, 인지위치 표시 방법 등이 모두 다른데, 본 발명에서는 이러한 부분들을 일치시키는 방법이 적용된다.
본 발명에서는, 상위인지센서(가시광 이미지 센서(142))의 표기 방법을 따라야 하위인지센서의 인지성능의 최고치가 상위센서의 성능에 근접할 수 있다.
도 5 및 도 6은 본 발명과 관련하여, 가시광 이미지 센서와 라이다 센서를 이용하는 경우의 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명한 것이다.
도 5를 참조하면, 본 발명에 따른 S30 단계는, 라이다 센서(143)가 획득하는 포인트 클라우드(point cloud) 데이터를 2차원으로 이미지화 하는 단계(S31)와 2차원 이미지 상에서 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하는 단계(S32)로 수행된다.
이후, 전술한 S40 단계 및 S50 단계를 거쳐, 라이다 센서(143)가 제 3 인지 결과의 위치 표시 방식을 상기 포인트 클라우드 데이터 방식으로 제 2 변환하는 단계(S60)가 수행된다.
도 6의 (a) 및 (b)는, 가시광 이미지센서와 라이다 센서가 획득한 정보의 일례를 도시한 것이다.
즉, 가시광 이미지 센서(142)와 라이다 센서(143) 간에는 데이터가 표시하는 범위 및 픽셀들이 서로 일치하도록 하기 위해, 라이다 point cloud 데이터를 2차원 이미지화 하고, 2차원 이미지에서 동일 사물에 대한 크기, 모양 등을 일치하도록 데이터를 변환하여 학습데이터를 생성하며, 이 결과를 라이다 3차원 raw 데이터에서 해당위치를 변환하여 학습데이터를 생성하는 방식이 적용된다.
가시광 이미지 센서와 비가시광 이미지 센서를 이용하는제 2 실시예
도 7 및 도 8은 본 발명과 관련하여, 가시광 이미지 센서와 비가시광 이미지 센서를 이용하는 경우의 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명한 것이다.
도 7을 참조하면, 본 발명에 따른 S30 단계는, 가시광 이미지 센서(142)와 비가시광 이미지 센서(144)의 렌즈 화각 및 왜곡 정보 보상을 하는 단계(S33) 및 동일한 객체가 동일한 픽셀에 매칭되도록 제 1 변환하는 단계(S34)를 포함할 수 있다.
도 8의 (a) 및 (b)는, 가시광 이미지센서와 비가시광 이미지 센서가 획득한 정보의 일례를 도시한 것이다.
즉, 가시광 이미지 센서(142)와 비가시광 이미지 센서(144)의 경우는 모두 2차원의 이미지 이므로 렌즈 화각이나 왜곡 정보들의 보상을 통해 동일 사물에 대해 동일 픽셀에 매칭되도록 변환할 수 있다.
가시광 이미지 센서와 레이다 센서를 이용하는제 3 실시예
도 9 및 도 10은 본 발명과 관련하여, 가시광 이미지 센서와 레이다 센서를 이용하는 경우의 인지 학습데이터를 이용하는 자율주행차량 제어 방법을 설명한 것이다.
도 9를 참조하면, 본 발명에 따른 S30 단계는, 레이다 센서(145)의 뷰(view)를 상기 가시광 이미지 센서의 뷰(view)로 변환하는 단계(S35) 및 보정을 통해 동일한 객체의 크기가 동일하게 표시되도록 제 1 변환하는 단계(S36)를 포함할 수 있다.
도 10은 가시광 이미지센서와 레이다가 획득한 정보의 일례를 도시한 것이다.
즉, 가시광 이미지 센서(142)와 레이다 센서(145)의 경우는 위치표기 방법의 차이가 큰데, 예를 들어, 레이다 데이터는 birdeye view와 같은 형태이므로 이를 카메라 바라보는 view의 관점으로 변환하고 동일 사물의 크기도 최대한 동일하게 보정하여 변환모듈을 설계할 수 있다.
따라서 본 발명에 따르면, 가시광 이미지 센서(142)에서 인지된 결과를 이종 인지센서의 취득 데이터 결과의 픽셀과 매칭시켜 학습용 데이터를 생성함에 있어 인지성능이 앞선 상위인지센서의 사물위치표기 방법으로 변환하여 위치 정보를 파악할 수 있다.
그 이후, 하위인지센서의 RAW 데이터 표기 방법에 따라 변환하여 사물에 대한 위치와 클래스를 표기하여 학습용 데이터를 생성할 수 있다.
본 발명에 따른 효과
본 발명은 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법에 관한 것으로, 가시광 이미지 센서에 의한 인지기술을 기반으로 라이다, 레이다, 비가시광 이미지센서 등의 학습용 데이터를 생성하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명에서는, 이종 센서 간 인지 영역을 매칭하고, 상위 인지 센서의 인지 결과를 기초로 위치 및 클래스를 도출하고, 하위 인지 센서의 위치 표기 방식을 상위 인지 센서 방식으로 변환하고, 상위 인지 센서로부터 도출된 위치 및 클래스를 이용하여 하위인지센서 로(raw) 데이어 방식으로 변환하며, 이를 이용하여 하위 인지 센서용 학습데이터를 생성한 후, 하나의 이미지에서 모든 인지 대상에 대해 반복함으로써 생성된 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공할 수 있다.
본 발명에 따르면, 하나의 이미지에서 사물의 위치(박스형태 또는 픽셀단위로 표시) 및 클래스를 별도의 파일이나 포맷으로 표시하여야 하고, 학습에는 많은 이미지 데이터가 필요하므로, 학습용 데이터 생성에는 많은 시간과 비용이 필요하다는 문제점을 해소할 수 있다.
본 발명에 따르면, 종래의 학습데이터 생성을 위해 매 이미지의 인지대상에 직접 레이블링 작업을 해줌으로 인해, 많은 시간과 비용이 필요하다는 문제점을 해소할 수 있다.
결국, 본 발명에서는, 학습용 데이터의 생성에는 많은 시간과 비용이 필요하고, 작업자에 따라 데이터의 품질에 영향을 미치는 등 많은 문제점들을 해결할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
한편, 상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (18)

  1. 자율주행차량에 구비된 복수의 센서들의 인지 영역을 지정하는 제 1 단계;
    상기 복수의 센서 중 제 1 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 1 인지 결과를 도출하는 제 2 단계;
    상기 제 1 센서를 제외한 상기 복수의 센서 중 적어도 하나인 제 2 센서가 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하는 제 3 단계;
    상기 제 2 센서가 상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 2 인지 결과를 도출하는 제 4 단계;
    상기 제 2 센서가 상기 제 1 인지 결과를 전달받고, 상기 제 1 인지 결과와 상기 제 2 인지 결과를 함께 이용하여 상기 객체의 위치 및 클래스와 관련된 제 3 인지 결과를 생성하는 제 5 단계;
    상기 제 2 센서가, 상기 제 3 인지 결과의 위치 표시 방식을 상기 제 2 센서의 위치 표시 방식으로 제 2 변환하는 제 6 단계; 및
    상기 제 2 센서가 상기 제 6 단계의 제 3 인지 결과를 이용하여 학습용 데이터를 생성하는 제 7 단계;를 포함하고,

    상기 객체의 위치 표시 방식은,
    상기 객체의 크기 표시, 모양 표시 및 인지위치 표시를 포함하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  2. 제 1항에 있어서,
    상기 제 1 단계에서,
    상기 복수의 센서는 이종 센서이고, 상기 인지 영역 중 동일한 제 1 영역에 대해서만 인지 동작을 수행하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  3. 제 1항에 있어서,
    상기 객체는 복수이고,
    상기 복수의 객체 중 제 1 객체에 대해 상기 제 2 단계 내지 상기 제 7 단계가 수행되고,
    상기 복수의 객체 중 상기 제 1 객체를 제외한 나머지 객체 각각에 대해, 상기 제 2 단계 내지 상기 제 7 단계가 반복하여 수행되는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  4. 제 1항에 있어서,
    상기 제 2 단계에서,
    상기 제 1 센서의 동작은, 미리 지정된 요건이 만족되는 인지 성능이 높은 환경에서 수행되는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  5. 삭제
  6. 제 1항에 있어서,
    상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 라이다 센서 인 경우,
    상기 제 3 단계에서는,
    상기 라이다 센서가 획득하는 포인트 클라우드(point cloud) 데이터를 2차원으로 이미지화 하고, 상기 2차원으로 이미지화 된 데이터 상에서 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  7. 제 6항에 있어서,
    상기 제 6 단계에서,
    상기 라이다 센서는, 상기 제 3 인지 결과의 위치 표시 방식을 상기 포인트 클라우드 데이터 방식으로 제 2 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  8. 제 1항에 있어서,
    상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 비가시광 이미지 센서 인 경우,
    상기 제 3 단계에서는,
    상기 가시광 이미지 센서와 상기 비가시광 이미지 센서의 렌즈 화각 및 왜곡 정보 보상을 통해, 동일한 객체가 동일한 픽셀에 매칭되도록 제 1 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  9. 제 1항에 있어서,
    상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 레이다 센서 인 경우,
    상기 제 3 단계에서는,
    상기 레이다 센서의 뷰(view)를 상기 가시광 이미지 센서의 뷰(view)로 변환하고, 보정을 통해 동일한 객체의 크기가 동일하게 표시되도록 제 1 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량 제어 방법.
  10. 자율주행 차량에 구비된 복수의 센서; 및
    상기 복수의 센서들의 인지 영역을 지정하는 제어부;를 포함하고,

    상기 복수의 센서 중 제 1 센서는,
    상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 1 인지 결과를 도출하고,

    상기 제 1 센서를 제외한 상기 복수의 센서 중 적어도 하나인 제 2 센서는,
    상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하며,
    상기 인지 영역에 대한 객체를 파악하고 상기 객체의 위치 및 클래스와 관련된 제 2 인지 결과를 도출하고,
    상기 제 1 인지 결과를 전달받고, 상기 제 1 인지 결과와 상기 제 2 인지 결과를 함께 이용하여 상기 객체의 위치 및 클래스와 관련된 제 3 인지 결과를 생성하며,
    상기 제 3 인지 결과의 위치 표시 방식을 상기 제 2 센서의 위치 표시 방식으로 제 2 변환하고,
    상기 제 2 변환된 제 3 인지 결과를 이용하여 학습용 데이터를 생성하며,

    상기 객체의 위치 표시 방식은,
    상기 객체의 크기 표시, 모양 표시 및 인지위치 표시를 포함하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
  11. 제 10항에 있어서,
    상기 복수의 센서는 이종 센서이고, 상기 인지 영역 중 동일한 제 1 영역에 대해서만 인지 동작을 수행하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
  12. 제 10항에 있어서,
    상기 객체는 복수이고,
    상기 복수의 객체 각각에 대해, 상기 제 1 센서 및 상기 제 2 센서의 동작이 수행되는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
  13. 제 10항에 있어서,
    상기 제 1 센서의 동작은, 미리 지정된 요건이 만족되는 인지 성능이 높은 환경에서 수행되는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
  14. 삭제
  15. 제 10항에 있어서,
    상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 라이다 센서 인 경우,
    상기 라이다 센서는,
    상기 라이다 센서가 획득하는 포인트 클라우드(point cloud) 데이터를 2차원으로 이미지화 하고, 상기 2차원으로 이미지화 된 데이터 상에서 상기 객체의 위치 표시 방식을 상기 제 1 센서의 위치 표시 방식으로 제 1 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
  16. 제 15항에 있어서,
    상기 라이다 센서는, 상기 제 3 인지 결과의 위치 표시 방식을 상기 포인트 클라우드 데이터 방식으로 제 2 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
  17. 제 10항에 있어서,
    상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 비가시광 이미지 센서 인 경우,
    상기 비가시광 이미지 센서는,
    상기 가시광 이미지 센서와 상기 비가시광 이미지 센서의 렌즈 화각 및 왜곡 정보 보상을 통해, 동일한 객체가 동일한 픽셀에 매칭되도록 제 1 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
  18. 제 10항에 있어서,
    상기 제 1 센서는 가시광 이미지 센서이고, 상기 제 2 센서가 레이다 센서 인 경우,
    상기 레이다 센서는,
    상기 레이다 센서의 뷰(view)를 상기 가시광 이미지 센서의 뷰(view)로 변환하고, 보정을 통해 동일한 객체의 크기가 동일하게 표시되도록 제 1 변환하는 것을 특징으로 하는 인지 학습데이터를 이용하는 자율주행차량.
KR1020200106364A 2020-08-24 2020-08-24 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법 KR102348294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200106364A KR102348294B1 (ko) 2020-08-24 2020-08-24 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200106364A KR102348294B1 (ko) 2020-08-24 2020-08-24 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR102348294B1 true KR102348294B1 (ko) 2022-01-12

Family

ID=79339484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106364A KR102348294B1 (ko) 2020-08-24 2020-08-24 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102348294B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002182B1 (ko) 2008-11-20 2010-12-21 재단법인대구경북과학기술원 네트워크 기반의 사고 기록 분산 방법, 장치, 차량 및 관제서버
KR20140118157A (ko) * 2013-03-28 2014-10-08 현대모비스 주식회사 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
KR101634451B1 (ko) 2014-10-23 2016-06-28 주식회사 만도 선행 차량의 상태 정보 처리 방법 및 장치
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
WO2018186398A1 (ja) * 2017-04-07 2018-10-11 日本電気株式会社 学習データ生成装置、学習データ生成方法、および記録媒体
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200071959A (ko) * 2018-12-12 2020-06-22 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치
KR20200071960A (ko) * 2018-12-12 2020-06-22 충북대학교 산학협력단 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002182B1 (ko) 2008-11-20 2010-12-21 재단법인대구경북과학기술원 네트워크 기반의 사고 기록 분산 방법, 장치, 차량 및 관제서버
KR20140118157A (ko) * 2013-03-28 2014-10-08 현대모비스 주식회사 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
KR101634451B1 (ko) 2014-10-23 2016-06-28 주식회사 만도 선행 차량의 상태 정보 처리 방법 및 장치
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
WO2018186398A1 (ja) * 2017-04-07 2018-10-11 日本電気株式会社 学習データ生成装置、学習データ生成方法、および記録媒体
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200071959A (ko) * 2018-12-12 2020-06-22 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치
KR20200071960A (ko) * 2018-12-12 2020-06-22 충북대학교 산학협력단 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치

Similar Documents

Publication Publication Date Title
CN111257866B (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及***
US10665105B2 (en) Dynamic-map constructing method, dynamic-map constructing system, and moving terminal
US11457143B2 (en) Sensor device, electronic device, sensor system and control method
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
KR101878811B1 (ko) 실시간 지도 생성을 위한 v2x 통신 시스템 및 그 동작방법
KR101944607B1 (ko) 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법
WO2018180579A1 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
US10099616B2 (en) Vehicle and method for controlling the vehicle
WO2019225349A1 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
US11312300B1 (en) Object notification systems for identifying and notifying vehicles of relevant objects
KR102407544B1 (ko) 자율주행차량의 원격제어 시스템 및 그 제어 방법
US20220365345A1 (en) Head-up display and picture display system
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
CN110012215B (zh) 图像处理装置和图像处理方法
KR102348294B1 (ko) 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
US20220222473A1 (en) Vehicle communication systems and methods for detecting and capturing relevant object data
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system
KR101781689B1 (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
KR20230028248A (ko) 제어 장치, 투영 시스템, 제어 방법 및 프로그램
KR20130015975A (ko) 차량을 검출하기 위한 방법 및 장치
KR102355252B1 (ko) 자율주행차량 제어 시스템 및 그 제어 방법
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240036311A1 (en) Head-up display

Legal Events

Date Code Title Description
GRNT Written decision to grant