KR20220081135A

KR20220081135A - 객체 검출 장치 및 방법

Info

Publication number: KR20220081135A
Application number: KR1020200170678A
Authority: KR
Inventors: 박기홍; 이준엽; 이두현; 손원일
Original assignee: 국민대학교산학협력단
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2022-06-15
Also published as: KR102417711B1

Abstract

객체 검출 장치 및 방법이 개시된다. 객체 검출 장치는 디바이스에서 사용되는 객체 검출 모델을 최적화하는 장치로서, 프로세서와, 프로세서와 동작 가능하게 연결되고 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서로 하여금, 객체 검출 모델의 훈련에 사용된 학습 데이터 내 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 도출된 제1 통계 특성값을 입력받고, 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터 내 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출하며, 제1 통계 특성값 및 제2 통계 특성값에 기초하여 제1 라이다 센서로부터 획득된 실제 데이터를 변환하도록 야기하는 코드를 저장할 수 있다.

Description

객체 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OBJECT}

본 발명은 객체 검출 모델의 훈련에 사용된 학습 데이터와 객체를 검출하기 위한 라이다 센서에 의해 획득되는 시험용 데이터 간의 특성 차이에 기초하여, 라이다 센서에 의해 획득된 실제 데이터를 변환하는 기술에 관한 것이다.

객체 검출 기술은 다양한 분야(예컨대, 자율 차량, 드론 등)에서 활용되고 있다. 객체 검출 장치는 예컨대, 라이다 센서를 이용하여 객체를 검출할 수 있다. 이때, 객체 검출 장치는 라이다 센서에 의해 획득된 데이터를 미리 학습된 객체 검출 모델에 적용함으로써, 객체를 용이하게 검출할 수 있다.

그러나, 객체 검출 모델의 학습 데이터를 획득한 기준 라이다 센서와 실제 객체를 검출하기 위해 실제 데이터를 획득하는 현장 라이다 센서 간의 제조사 또는 사양 차이로 인해, 현장 라이다 센서에 의해 획득된 실제 데이터에 객체 검출 모델을 그대로 적용하여 객체를 검출하는 경우, 객체 검출 정확도가 현저히 낮아지게 된다.

선행기술(등록특허 제10-2168496호)에는 서로 다른 두 보안환경 사이의 차이를 이해하고, 전이학습이 수행되는 보안환경에 맞추어 학습 데이터를 생성한 보안환경에서의 보안이벤트를 재고려하는 구성을 개시하고 있으나, 기준 라이다 센서 및 현장 라이다 센서에 의해 획득되는 데이터들 간의 특성 차이를 보완하여, 기준 라이다 센서의 훈련 데이터 기반으로 생성된 객체 검출 모델을 현장 라이다 센서에 의해 획득된 실제 데이터에 적용하여 객체를 검출하는 구성을 개시하고 있지는 않다.

따라서, 기준 라이다 센서 및 현장 라이다 센서에 의해 획득되는 데이터들 간의 특성 차이를 보완하여 기존의 객체 검출 모델을 통해 객체를 정확하게 검출할 수 있는 기술이 필요하다.

선행기술: "대한민국 등록특허공보 제10-2168496호(2020.10.15 등록)"

본 발명의 일실시예는, 기준 라이다 센서에서 사용된 학습 데이터의 제1 통계 특성값 및 현장 라이다 센서에서 사용되는 시험용 데이터의 제2 통계 특성값에 기초하여, 현장 라이다 센서에 의해 획득된 실제 데이터를 변환하고, 변환된 실제 데이터에 기준 라이다 센서와 연관된 객체 검출 모델을 적용하여 객체를 검출함으로써, 기준 라이다 센서 및 현장 라이다 센서에 의해 획득되는 데이터들 간의 특성 차이를 보완하여, 기존 객체 검출 모델을 통해서도 객체를 정확하게 검출하는 것을 목적으로 한다.

또한, 본 발명의 일실시예는, 기준 라이다 센서에서 사용된 학습 데이터로부터 제1 반사강도 데이터 및 제1 부가 데이터(예컨대, 반사율, 주사 거리, 입사각)를 추출하고, 현장 라이다 센서에서 사용되는 시험용 데이터로부터 제2 반사강도 데이터 및 제2 부가 데이터를 추출하며, 제1 반사강도 데이터와 제1 부가 데이터 간의 관계 및 제2 반사강도 데이터와 제2 부가 데이터 간의 관계 간의 차이에 기초하여, 학습 데이터의 제1 통계 특성값 및 시험용 데이터의 제2 통계 특성값에 기초하여 변환된 실제 데이터를 조정함으로써, 라이다 센서들에 의해 획득되는 데이터들 간의 특성 차이를 세밀하게 보완하여, 객체를 보다 정확하게 검출하는 것을 목적으로 한다.

본 발명의 일실시예는, 객체 검출 모델의 훈련에 사용된 학습 데이터와 객체를 검출하기 위한 라이다 센서에 의해 획득되는 시험용 데이터 간의 특성 차이에 기초하여, 라이다 센서에 의해 획득된 실제 데이터를 변환하고, 변환된 실제 데이터에 객체 검출 모델을 적용하여 객체를 검출함으로써, 객체 검출 모델의 사용을 최적화하여 객체를 정확하게 검출하는 객체 검출 장치 및 방법일 수 있다.

본 발명의 일실시예는, 디바이스에서 사용되는 객체 검출 모델을 최적화하는 장치로서, 프로세서와, 프로세서와 동작 가능하게 연결되고 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서로 하여금, 객체 검출 모델의 훈련에 사용된 학습 데이터 내 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 도출된 제1 통계 특성값을 입력받고, 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터 내 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출하며, 제1 통계 특성값 및 제2 통계 특성값에 기초하여 제1 라이다 센서로부터 획득된 실제 데이터를 변환하도록 야기하는 코드를 저장하는, 객체 검출 장치일 수 있다.

또한, 본 발명의 일실시예는, 디바이스에서 사용되는 객체 검출 모델을 최적화하는 방법으로서, 객체 검출 모델의 훈련에 사용된 학습 데이터 내 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 도출된 제1 통계 특성값을 입력받는 단계와, 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터 내 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출하는 단계와, 제1 통계 특성값 및 제2 통계 특성값에 기초하여 제1 라이다 센서로부터 획득된 실제 데이터를 변환하는 단계를 포함하는, 객체 검출 방법일 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예들에 의하면, 기준 라이다 센서에서 사용된 학습 데이터의 제1 통계 특성값 및 현장 라이다 센서에서 사용되는 시험용 데이터의 제2 통계 특성값에 기초하여, 현장 라이다 센서에 의해 획득된 실제 데이터를 변환하고, 변환된 실제 데이터에 기준 라이다 센서와 연관된 객체 검출 모델을 적용하여 객체를 검출함으로써, 기준 라이다 센서 및 현장 라이다 센서에 의해 획득되는 데이터들 간의 특성 차이를 보완하여, 기존 객체 검출 모델을 통해서도 객체를 정확하게 검출할 수 있다.

또한, 본 발명의 실시예들에 의하면, 기준 라이다 센서에서 사용된 학습 데이터로부터 제1 반사강도 데이터 및 제1 부가 데이터(예컨대, 반사율, 주사 거리, 입사각)를 추출하고, 현장 라이다 센서에서 사용되는 시험용 데이터로부터 제2 반사강도 데이터 및 제2 부가 데이터를 추출하며, 제1 반사강도 데이터와 제1 부가 데이터 간의 관계 및 제2 반사강도 데이터와 제2 부가 데이터 간의 관계 간의 차이에 기초하여, 학습 데이터의 제1 통계 특성값 및 시험용 데이터의 제2 통계 특성값에 기초하여 변환된 실제 데이터를 조정함으로써, 라이다 센서들에 의해 획득되는 데이터들 간의 특성 차이를 세밀하게 보완하여, 객체를 보다 정확하게 검출할 수 있다.

도 1은 본 발명의 일실시예에 따른 객체 검출 장치가 적용되는 차량의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 객체 검출 장치의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 객체 검출 장치에서 데이터 변환 모델을 생성하는 방법을 나타내는 도면이다.
도 4a 내지 도 4f는 본 발명의 일실시예에 따른 객체 검출 장치에서의 데이터 변환 모델 생성 과정에서 사용되는 데이터의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 객체 검출 장치에서 데이터 변환 모델을 이용하여 객체를 검출하는 방법을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 객체 검출 방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명의 일실시예에 따른 객체 검출 장치가 적용되는 디바이스는 예컨대, 차량일 수 있으나, 이에 한정되지 않고, 드론 등 라이다 센서를 이용하여 객체를 검출하는 모든 장치에 적용될 수 있다. 또한, 라이다 센서로부터 획득된 데이터(예컨대, 학습 데이터, 시험용 데이터, 실질 데이터) 내 반사강도 데이터는 객체에 송신된 라이다 신호가 객체로부터 반사되는 정도를 의미하고, 라이다 센서로부터 획득된 데이터 내 공간좌표 데이터는 객체의 위치를 의미할 수 있다.

도 1은 본 발명의 일실시예에 따른 객체 검출 장치가 적용되는 차량의 구성을 개략적으로 도시한 도면이다.

도 1을 참조하면, 객체 검출 장치가 적용되는 차량(100)은 통신부(101), 제어부(102), 사용자 인터페이스부(103), 오브젝트 검출부(104), 운전 조작부(105), 차량 구동부(106), 운행부(107), 센싱부(108), 저장부(109) 및 차량의 객체 검출 장치(110)를 포함할 수 있다.

차량(100)은 주행 상황에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 여기서, 주행 상황은 통신부(101)에 의해 수신된 정보, 오브젝트 검출부(104)에 의해 검출된 외부 오브젝트 정보 및 내비게이션 모듈에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.

차량(100)은 사용자 인터페이스부(103)를 통하여 수신되는 사용자 입력에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다.

차량(100)이 자율 주행 모드로 운행되는 경우, 차량(100)은 주행, 출차, 주차 동작을 제어하는 운행부(107)의 제어에 따라 운행될 수 있다. 한편, 차량(100)이 매뉴얼 모드로 운행되는 경우, 차량(100)은 운전자의 기계적 운전 조작을 통한 입력에 의해 운행될 수 있다.

통신부(101)는, 외부 장치와 통신을 수행하기 위한 모듈이다. 여기서, 외부 장치는, 사용자 단말기, 타 차량 또는 서버일 수 있다.

통신부(101)는, 근거리 통신(Short range communication), GPS 신호 수신, V2X 통신, 광통신, 방송 송수신 및 ITS(Intelligent Transport Systems) 통신 기능을 수행할 수 있다.

통신부(101)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 장치 사이의 근거리 통신을 수행할 수 있다.

통신부(101)는, 차량(100)의 위치 정보를 획득하기 위한 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.

통신부(101)는, 차량(100)과 서버(V2I: Vehicle to Infra), 타 차량(V2V: Vehicle to Vehicle) 또는 보행자(V2P: Vehicle to Pedestrian)와의 무선 통신을 지원하는 모듈, 즉, V2X 통신 모듈을 포함할 수 있다. V2X 통신 모듈은, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.

통신부(101)는, V2X 통신 모듈을 통하여, 타 차량이 송신하는 위험 정보 방송 신호를 수신할 수 있고, 위험 정보 질의 신호를 송신하고 그에 대한 응답으로 위험 정보 응답 신호를 수신할 수 있다.

통신부(101)는, 사용자 인터페이스부(103)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는, 텔레매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.

제어부(102)는, ASICs (Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), 마이크로 프로세서(Microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

사용자 인터페이스부(103)는, 차량(100)과 차량 이용자와의 소통을 위한 것으로, 이용자의 입력 신호를 수신하고, 수신된 입력 신호를 제어부(102)로 전달하며, 제어부(102)의 제어에 의해 이용자에게 차량(100)이 보유하는 정보를 제공할 수 있다. 사용자 인터페이스부(103)는, 입력 모듈, 내부 카메라, 생체 감지 모듈 및 출력 모듈을 포함할 수 있으나 이에 한정되지 않는다.

입력 모듈은, 사용자로부터 정보를 입력 받기 위한 것으로, 입력 모듈에서 수집한 데이터는, 제어부(102)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.

입력 모듈은, 사용자로부터 차량(100)의 목적지를 입력받아 제어부(102)로 제공할 수 있다.

입력 모듈은, 사용자의 입력에 따라 오브젝트 검출부(104)의 복수개의 센서 모듈 중 적어도 하나의 센서 모듈을 지정하여 비활성화하는 신호를 제어부(102)로 입력할 수 있다.

출력 모듈은, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 모듈은, 음향 또는 이미지를 출력할 수 있다.

출력 모듈은, 디스플레이 모듈, 음향 출력 모듈 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.

디스플레이 모듈은, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.

음향 출력 모듈은, 제어부(102)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력할 수 있다.

햅틱 출력 모듈은, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.

오브젝트 검출부(104)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 것으로, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 제어부(102)로 전달할 수 있다. 이때, 오브젝트는 차량(100)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.

오브젝트 검출부(104)는, 복수개의 센서 모듈로서, 복수개의 촬상부로서의 카메라 모듈, 라이다(LIDAR: Light Imaging Detection and Ranging), 초음파 센서, 레이다(RADAR: Radio Detection and Ranging)(1450) 및 적외선 센서를 포함할 수 있다.

오브젝트 검출부(104)는, 복수개의 센서 모듈을 통하여 차량(100) 주변의 환경 정보를 센싱할 수 있다.

예컨대, 라이다는, 레이저 송신 모듈, 수신 모듈을 포함할 수 있다.

라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

또한, 촬상부는, 차량 외부 이미지를 획득하기 위해, 차량의 외부의 적절한 곳, 예를 들면, 차량의 전방, 후방, 우측 사이드 미러, 좌측 사이드 미러에 위치할 수 있다. 촬상부는, 모노 카메라일 수 있으나, 이에 한정되지 않으며, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다.

촬상부는, 차량 전방의 이미지를 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 촬상부는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.

촬상부는, 획득된 이미지를 제어부(102)에 제공할 수 있다.

제어부(102)는, 오브젝트 검출부(104)의 각 모듈의 전반적인 동작을 제어할 수 있다.

제어부(102)는, 레이다, 라이다, 초음파 센서 및 적외선 센서에 의해 센싱된 데이터와 기 저장된 데이터를 비교하여, 오브젝트를 검출하거나 분류할 수 있다.

제어부(102)는, 획득된 이미지에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(102)는, 이미지 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

예를 들면, 제어부(102)는, 획득된 이미지에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.

또한, 제어부(102)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(102)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

운전 조작부(105)는, 운전을 위한 사용자 입력을 수신할 수 있다. 메뉴얼 모드인 경우, 차량(100)은, 운전 조작부(105)에 의해 제공되는 신호에 기초하여 운행될 수 있다.

차량 구동부(106)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어할 수 있다. 차량 구동부(106)는, 차량(100)내 파워 트레인, 샤시, 도어/윈도우, 안전 장치, 램프 및 공조기의 구동을 전기적으로 제어할 수 있다.

운행부(107)는, 차량(100)의 각종 운행을 제어할 수 있다. 운행부(107)는, 자율 주행 모드에서 동작될 수 있다.

운행부(107)는, 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있다.

주행 모듈은, 차량(100)의 주행을 수행할 수 있다.

주행 모듈은, 오브젝트 검출부(104)로부터 오브젝트 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

주행 모듈은, 통신부(101)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

출차 모듈은, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 오브젝트 검출부(104)로부터 오브젝트 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 통신부(101)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

주차 모듈은, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 오브젝트 검출부(104)로부터 오브젝트 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 통신부(101)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

내비게이션 모듈은, 제어부(102)에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.

내비게이션 모듈은, 차량(100)이 진입한 주차장의 주차장 지도를 제어부(102)에 제공할 수 있다. 제어부(102)는, 차량(100)이 주차장에 진입한 경우, 내비게이션 모듈로부터 주차장 지도를 제공받고, 산출된 이동 경로 및 고정 식별 정보를 제공된 주차장 지도에 투영하여 지도 데이터를 생성할 수 있다.

내비게이션 모듈은, 메모리를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 내비게이션 정보는 통신부(101)를 통해 수신된 정보에 의하여 갱신될 수 있다. 내비게이션 모듈은, 내장 프로세서에 의해 제어될 수도 있고, 외부 신호, 예를 들면, 제어부(102)로부터 제어 신호를 입력 받아 동작할 수 있으나 이에 한정되지 않는다.

운행부(107)의 주행 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

센싱부(108)는, 차량(100)에 장착된 센서를 이용하여 차량(100)의 상태를 센싱, 즉, 차량(100)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 차량(100)의 이동 경로 정보를 획득할 수 있다. 센싱부(108)는, 획득된 이동 경로 정보를 제어부(102)에 제공할 수 있다.

센싱부(108)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.

센싱부(108)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.

센싱부(108)는, 센싱 신호에 기초하여, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보(예컨대, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보 등)일 수 있다.

저장부(109)는, 제어부(102)와 전기적으로 연결된다. 저장부(109)는 차량 사고 방지 장치 각 부에 대한 기본 데이터, 차량 사고 방지 장치 각 부의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 저장부(109)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 저장부(109)는 제어부(102)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터, 특히, 운전자 성향 정보를 저장할 수 있다.

차량의 객체 검출 장치(110)는 객체 검출 모델의 훈련에 사용된 학습 데이터와 객체를 검출하기 위한 라이다 센서에 의해 획득되는 시험용 데이터 간의 특성 차이에 기초하여, 라이다 센서에 의해 획득된 실제 데이터를 변환함

객체 검출 모델에 사용된 기준 라이다 센서와 객체를 검출하기 위해 사용된 현장 라이다 센서 간의 데이터 특성 차이에 대한 보완을 통해 객체를 정확하게 검출할 수 있다.

도 2는 본 발명의 일실시예에 따른 객체 검출 장치의 구성을 개략적으로 도시한 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 객체 검출 장치(200)는 디바이스(예컨대, 차량, 드론 등)에서 사용되는 객체 검출 모델을 최적화하는 장치로서, 프로세서(210) 및 메모리(220)를 포함할 수 있다.

프로세서(210)는 객체 검출 모델의 훈련에 사용된 학습 데이터에 대한 통계적 분석 결과 및 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터에 대한 통계적 분석 결과에 기초하여, 상기 제1 라이다 센서로부터 획득된 실제 데이터를 변환함으로써, 데이터들 간의 특성 차이를 보완하여 객체 검출 모델의 사용을 최적화하는 환경을 마련할 수 있다. 여기서, 객체 검출 모델은 메모리(220)에 기저장되거나, 또는 학습 서버(도시하지 않음)로부터 수신하여 메모리(220)에 저장할 수 있다.

구체적으로, 프로세서(210)는 객체 검출 모델의 훈련에 사용된 학습 데이터 내 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 도출된 제1 통계 특성값을 입력받을 수 있다. 이때, 프로세서(210)는 객체 검출 모델을 생성하기 위해 사용된 제2 라이다 센서의 모델명 또는 사양과 디바이스에서 사용되는 제1 라이다 센서의 모델명 또는 사양을 비교한 결과, 제1 라이다 센서의 모델명 또는 사양과 제2 라이다 센서의 모델명 또는 사양이 상이한 경우, 학습 서버에 제1 통계 특성값을 요청하여, 학습 서버로부터 제1 통계 특성값을 입력받을 수 있다. 프로세서(210)는 학습 서버로부터 제1 통계 특성값을 입력받을 수 있으나, 이에 한정되지 않고 학습 서버로부터 학습 데이터를 수신할 수 있다. 이때, 프로세서(210)는 학습 데이터로부터 제1 반사강도 데이터를 추출한 후, 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 제1 통계 특성값을 도출할 수 있다.

여기서, 학습 데이터는 객체 검출 모델의 훈련을 위해 제2 라이다 센서로부터 획득된 데이터로서, 제1 반사강도 데이터, 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함할 수 있다. 이때, 제2 라이다 센서는 디바이스에서 사용되는 제1 라이다 센서와 상이할 수 있다.

또한, 제1 반사강도 데이터는 학습 데이터로부터 설정된 개수(예컨대, 30개)만큼 추출된 샘플 데이터일 수 있다. 제1 통계 특성값은 제1 반사강도 데이터의 최대값, 최소값, 평균값, 중앙값, 분산 및 왜도(비대칭도) 중 적어도 하나를 포함할 수 있다.

프로세서(210)는 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터 내 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출할 수 있다. 이때, 프로세서(210)는 제1 라이다 센서에서 시험용 데이터가 획득되면, 시험용 데이터로부터 제2 반사강도 데이터를 추출하고, 추출한 제2 반사강도 데이터를 분석한 결과, 제2 통계 특성값을 도출할 수 있다.

여기서, 시험용 데이터는 디바이스에서 사용되는 제1 라이다 센서의 성능을 확인하기 위해 제1 라이다 센서로부터 획득된 데이터로서, 제2 반사강도 데이터, 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함할 수 있다.

제2 반사강도 데이터는 시험용 데이터로부터 설정된 개수(예컨대, 30개)만큼 추출된 샘플 데이터일 수 있다. 또한, 제2 통계 특성값은 제2 반사강도 데이터의 최대값, 최소값, 평균값, 중앙값, 분산 및 왜도(비대칭도) 중 적어도 하나를 포함할 수 있다.

프로세서(210)는 제1 통계 특성값 및 제2 통계 특성값에 기초하여 제1 라이다 센서로부터 획득된 실제 데이터를 변환할 수 있다. 이때, 프로세서(210)는 제1 통계 특성값 및 제2 통계 특성값에 기초하여 데이터 변환 모델을 생성하고, 데이터 변환 모델을 이용하여 실제 데이터를 변환할 수 있다. 실제 데이터는 객체를 검출하기 위해 제1 라이다 센서로부터 획득된 데이터일 수 있다.

데이터 변환 모델 생성시, 프로세서(210)는 제1 반사강도 데이터 및 제2 반사강도 데이터에 대해 기설정된 정규화 변환 모델을 각각 적용하여 데이터를 정규화시키고, 제1 반사강도 데이터의 정규화 과정에서 도출된 제1 변환 특성값 및 제2 반사강도 데이터의 정규화 과정에서 도출된 제2 변환 특성값에 더 기초하여 데이터 변환 모델을 생성할 수 있다. 여기서, 기설정된 정규화 변환 모델은 박스 콕스(Box-Cox) 변환, 여 존슨(Yeo-Johnson) 변환 등의 모델을 포함할 수 있다. 또한, 제1 변환 특성값 또는 제2 변환 특성값은 예컨대, 박스 콕스 변환에서 매개변수로 사용되는 람다(lambda, λ)일 수 있다. 박스 콕스 변환 시, 데이터의 분포는 람다 값에 따라 달라질 수 있다. 예를 들면, 좌편향된 데이터를 변환할 때, 람다를 점점 크게 할수록 데이터는 우편향을 향하게 된다.

실시예에서, 프로세서(210)는 제1 반사강도 데이터의 정규화 과정에서, 데이터의 분포가 가장 정규분포(설정된 분포)에 가까운 최적의 람다 값을 제1 변환 특성값으로 선정하고, 제2 반사강도 데이터의 정규화 과정에서, 데이터의 분포가 가장 정규분포(설정된 분포)에 가까운 최적의 람다 값을 제2 변환 특성값으로 선정할 수 있다.

또한, 프로세서(210)는 상기 정규화된 제2 반사강도 데이터 및 상기 제1 변환 특성값에 기설정된 역정규화 변환 모델을 적용하여 상기 정규화된 제2 반사강도 데이터를 역정규화시키고, 제1 통계 특성값 및 제2 통계 특성값의 차이에 기초하여, 상기 역정규화된 제2 반사강도 데이터의 분포를 조정할 수 있다. 이때, 프로세서(210)는 제1 통계 특성값과 제2 통계 특성값의 차이가 설정치 미만이 되도록 상기 역정규화된 제2 반사강도 데이터의 분포를 조정할 수 있다. 즉, 프로세서(210)는 제2 통계 특성값이 제1 통계 특성값을 기준으로 설정된 범위 내에 포함되도록 역정규화된 제2 반사강도 데이터의 분포를 조정함으로써, 시험용 데이터를 학습 데이터에 최대한 근접하도록 조정할 수 있다. 예컨대, 프로세서(210)는 제1 통계 특성값인, 평균, 분산, 왜도(비대칭도) 등을 기준으로 설정된 범위 내에 제2 통계 특성값이 포함되도록 제2 반사강도 데이터에서 정해진 수를 더하거나 뺄 수 있으며, 설정된 선형 관계식에 제2 반사강도 데이터를 대입하여 변형하여 제2 반사강도 데이터의 분포를 조정할 수 있다. 또한, 프로세서(210)는 제2 반사강도 데이터의 범위(최대값에서 최소값을 차감한 값)가 제1 반사강도 데이터의 범위와 일치(또는, 범위 간 차이가 설정치 미만)하도록 제2 반사강도 데이터 중 다른 데이터 보다 기준치 이상 크거나 작은 데이터를 수정하거나, 또는 음수의 데이터를 기준값(예컨대, 0)으로 수정하여, 제2 반사강도 데이터의 분포를 조정할 수 있다.

프로세서(210)는 제2 변환 특성값에 기초하여 상기 조정된 제2 반사강도 데이터를 재조정(예컨대, 데이터에서 정해진 수를 더하거나 뺌, 설정된 선형 관계식 적용)하고, 정규화 이전의 제2 반사강도 데이터와 재조정된 제2 반사강도 데이터 간의 차이에 더 기초하여 데이터 변환 모델(또는, 데이터 변환 관계식)을 생성할 수 있다.

실시예에서, 프로세서(210)는 정규 변환, 역정규 변환, 분포 조정 과정에 활용한 수식, 제1,2 통계 특성값 및 제2 변환 특성값을 활용하여 데이터 변환 모델을 도출할 수 있다.

또한, 프로세서(210)는 학습 서버로부터 제1 반사강도 데이터와 연관된 제1 부가 데이터를 더 입력받을 수 있다. 프로세서(210)는 학습 서버에 제1 부가 데이터를 요청하여, 학습 서버로부터 제1 부가 데이터를 입력받을 수 있으나, 이에 한정되지 않고 상기 제1 통계 특성값을 입력받을 때 제1 부가 데이터를 함께 입력받을 수 있다. 여기서, 제1 부가 데이터는 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함할 수 있다. 프로세서(210)는 시험용 데이터로부터 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함하는 제2 부가 데이터를 추출할 수 있다. 프로세서(210)는 제1 반사강도 데이터와 제1 부가 데이터 간의 관계 및 제2 반사강도 데이터와 제2 부가 데이터 간의 관계 간의 차이(또는, 제1 부가 데이터와 제2 부가 데이터 간의 차이)에 기초하여, 상기 변환된 실제 데이터를 조정함으로써, 반사강도에 대한 부가 데이터의 영향 차이를 고려하여 상기 변환된 실제 데이터를 조정할 수 있다. 이때, 프로세서(210)는 관계 간의 차이가 설정치 미만이 되도록 상기 변환된 실제 데이터를 조정할 수 있다.

프로세서(210)는 변환된(또는, 조정된) 실제 데이터에 객체 검출 모델을 적용하여 객체를 검출할 수 있다. 즉, 프로세서(210)는 실제 데이터에 객체 검출 모델을 적용한 결과로서, 객체의 종류 또는 형태를 검출할 수 있다. 이때, 프로세서(210)는 변환되기 전의 실제 데이터로부터 공간좌표 데이터를 추출하고, 변환된 후의 실제 데이터 및 공간좌표 데이터에 객체 검출 모델을 적용하여 객체의 종류 및 객체의 위치를 검출할 수 있다.

메모리(220)는 프로세서(210)와 동작 가능하게 연결되고 프로세서(210)에서 수행되는 동작과 연관하여 적어도 하나의 코드를 저장할 수 있다. 메모리(220)는 라이다 센서와 연관된 데이터(예컨대, 학습 데이터, 시험용 데이터, 실제 데이터, 제1,2 통계 특성값, 제1,2 변환 특성값 등) 및 객체 검출 모델을 더 저장할 수 있다.

또한, 메모리(220)는 프로세서(210)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(220)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(220)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD, CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.

도 3은 본 발명의 일실시예에 따른 객체 검출 장치에서 데이터 변환 모델을 생성하는 방법을 나타내는 도면이다. 도 4a 내지 도 4f는 히스토그램(histogram)으로서, 본 발명의 일실시예에 따른 객체 검출 장치에서의 데이터 변환 모델 생성 과정에서 사용되는 데이터의 일례를 도시한 도면이다. 여기서, 도 4a 내지 도 4f에서, x축은 반사 강도(intensity)를 의미하고, y축은 각 반사 강도의 비중을 의미할 수 있다.

도 3을 참조하면, 단계 S311에서, 객체 검출 장치는 기준 라이다 센서(예컨대, 제2 라이다 센서)에서 사용된 학습 데이터로부터 기설정된 개수(예컨대, 30개)의 제1 반사강도 데이터를 표본으로서 예컨대, 도 4a에 도시된 바와 같이 추출할 수 있다.

단계 S312에서, 객체 검출 장치는 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 제1 통계 특성값을 도출할 수 있다. 여기서, 제1 통계 특성값은 제1 반사강도 데이터의 최대값, 최소값, 평균값 및 중앙값 중 적어도 하나를 포함할 수 있다.

단계 S313에서, 객체 검출 장치는 제1 반사강도 데이터에 대해 기설정된 정규화 변환 모델을 적용하여 제1 반사강도 데이터를 예컨대, 도 4b에 도시된 바와 같이 정규화시키고, 제1 반사강도 데이터의 정규화 과정에서 제1 변환 특성값을 도출할 수 있다. 여기서, 기설정된 정규화 변환 모델은 박스 콕스(Box-Cox) 변환, 여 존슨(Yeo-Johnson) 변환 등의 모델을 포함할 수 있다. 또한, 제1 변환 특성값은 예컨대, 박스 콕스 변환에서 매개변수로 사용되는 람다(lambda, λ)일 수 있다. 박스 콕스 변환 시, 데이터의 분포는 람다 값에 따라 달라질 수 있다. 예를 들면, 좌편향된 데이터를 변환할 때, 람다를 점점 크게 할수록 데이터는 우편향을 향하게 된다.

실시예에서, 객체 검출 장치는 제1 반사강도 데이터의 정규화 과정에서, 데이터의 분포가 가장 정규분포(설정된 분포)에 가까운 최적의 람다 값을 제1 변환 특성값으로 선정할 수 있다.

단계 S321에서, 객체 검출 장치는 디바이스에서 사용되는 현장 라이다 센서(예컨대, 제1 라이다 센서)에서 사용된 시험용 데이터로부터 기설정된 개수(예컨대, 30개)의 제2 반사강도 데이터를 표본으로서 예컨대, 도 4c에 도시된 바와 같이 추출할 수 있다.

단계 S322에서, 객체 검출 장치는 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출할 수 있다. 여기서, 제2 통계 특성값은 제2 반사강도 데이터의 최대값, 최소값, 평균값 및 중앙값 중 적어도 하나를 포함할 수 있다.

단계 S323에서, 객체 검출 장치는 제2 반사강도 데이터에 대해 기설정된 정규화 변환 모델을 적용하여 제2 반사강도 데이터를 예컨대, 도 4d에 도시된 바와 같이 정규화시키고, 제2 반사강도 데이터의 정규화 과정에서 제2 변환 특성값을 도출할 수 있다. 여기서, 기설정된 정규화 변환 모델은 박스 콕스 변환, 여 존슨 변환 등의 모델을 포함할 수 있다. 또한, 제2 변환 특성값은 제1 변환 특성값과 마찬가지로 예컨대, 박스 콕스 변환에서 매개변수로 사용되는 람다일 수 있다.

단계 S324에서, 객체 검출 장치는 정규화된 제2 반사강도 데이터 및 제1 변환 특성값에 기설정된 역정규화 변환 모델을 적용하여 제2 반사강도 데이터를 예컨대, 도 4e에 도시된 바와 같이 역정규화시킬 수 있다. 이때, 정규화된 제2 반사강도 데이터는 기준 라이다 센서의 제1 변환 특성값을 활용하여 역정규 변환을 거치면서 기준 라이다 센서의 제1 반사강도 데이터의 분포와 유사한 분포를 갖게 된다.

단계 S325에서, 객체 검출 장치는 제1 통계 특성값 및 제2 통계 특성값의 비교 결과에 기초하여, 제1 통계 특성값과 제2 통계 특성값의 차이가 설정치 미만이 되도록 상기 역정규화된 제2 반사강도 데이터의 분포(도 4e)를 예컨대, 도 4f에 도시된 바와 같이 조정하여, 기준이 되는 데이터 도 4a와 유사하게 조정할 수 있다. 구체적으로, 0에서 25사이의 반사 강도(intensity) 및 약 9의 평균 반사 강도를 갖는 도 4e가 0에서 1사이의 반사 강도 및 약 0.3의 평균 반사 강도를 갖는 도 4f로 조정됨에 따라, 기준이 되는 데이터인 도 4a의 0에서 1사이의 반사 강도 및 0.35의 평균 반사 강도와 유사하게 된다.

즉, 객체 검출 장치는 제2 통계 특성값이 제1 통계 특성값을 기준으로 설정된 범위 내에 포함되도록 역정규화된 제2 반사강도 데이터의 분포를 조정함으로써, 시험용 데이터를 학습 데이터에 최대한 근접하도록 조정할 수 있다. 예컨대, 객체 검출 장치는 제1 통계 특성값인, 평균, 분산, 왜도(비대칭도) 등을 기준으로 설정된 범위 내에 제2 통계 특성값이 포함되도록 제2 반사강도 데이터에서 정해진 수를 더하거나 뺄 수 있으며, 설정된 선형 관계식에 제2 반사강도 데이터를 대입하여 변형하여 제2 반사강도 데이터의 분포를 조정할 수 있다. 또한, 객체 검출 장치는 제2 반사강도 데이터의 범위(최대값에서 최소값을 차감한 값)가 제1 반사강도 데이터의 범위와 일치(또는, 범위 간 차이가 설정치 미만)하도록 제2 반사강도 데이터 중 다른 데이터 보다 기준치 이상 크거나 작은 데이터를 수정하거나, 또는 음수의 데이터를 기준값(예컨대, 0)으로 수정하여, 제2 반사강도 데이터의 분포를 조정할 수 있다.

이후, 객체 검출 장치는 제2 변환 특성값에 기초하여 상기 조정된 제2 반사강도 데이터를 재조정(예컨대, 데이터에서 정해진 수를 더하거나 뺌, 설정된 선형 관계식 적용)할 수 있다.

단계 S326에서, 객체 검출 장치는 정규화 이전의 제2 반사강도 데이터와 재조정된 제2 반사강도 데이터 간의 차이에 기초하여 데이터 변환 모델을 생성할 수 있다. 이때, 객체 검출 장치는 정규 변환, 역정규 변환, 분포 조정 과정에 활용한 수식, 제1,2 통계 특성값 및 제2 변환 특성값을 활용하여 데이터 변환 모델을 생성할 수 있다.

도 5는 본 발명의 일실시예에 따른 객체 검출 장치에서 데이터 변환 모델을 이용하여 객체를 검출하는 방법을 나타내는 도면이다.

도 5를 참조하면, 단계 S511에서, 객체 검출 장치는 현장 라이다 센서에서 획득한 실제 데이터로부터 반사강도 데이터 및 공간좌표 데이터를 추출할 수 있다.

단계 S512에서, 객체 검출 장치는 반사강도 데이터를 데이터 변환 모델에 적용하여 변환함으로써, 객체 검출 모델의 훈련을 위해 기준 라이다 센서로부터 획득된 학습 데이터와 객체를 검출하기 위해 현장 라이다 센서로부터 획득된 실질 데이터 간의 데이터 특성 차이를 보완할 수 있다.

단계 S513에서, 객체 검출 장치는 데이터 변환 모델에 의해 변환된 반사강도 데이터와 함께, 공간좌표 데이터에 객체 검출 모델을 적용하여 객체의 종류(또는, 형태) 및 객체의 위치를 검출할 수 있다. 객체 검출 장치는 데이터 변환 모델에 의해, 현장 라이다 센서에서 획득된 실질 데이터를 기준 라이다 센서 기반의 데이터로 변환함으로써, 라이다 센서들로부터 획득한 데이터들 간의 특성 차이를 보완하고, 데이터들 간의 특성 차이가 보완된 실질 데이터에 객체 검출 모델을 적용함으로써, 객체를 정확하게 검출할 수 있다. 즉, 객체 검출 장치는 객체 검출 모델의 학습 데이터를 획득하는 기준 라이다 센서와 객체 검출을 위해 디바이스에서 사용되는 현장 라이다 센서가 상이하더라도, 이와 무관하게 디바이스에서의 객체 검출 모델 사용을 최적화함으로써, 객체 검출 성능을 향상시킬 수 있다.

도 6은 본 발명의 일실시예에 따른 객체 검출 방법을 도시한 흐름도이다.

도 6을 참조하면, 단계 S610에서, 객체 검출 장치는 디바이스에서 사용되는 제1 라이다 센서와 객체 검출 모델을 생성하기 위해 사용된 제2 라이다 센서의 동일 여부를 확인한 결과, 제1 라이다 센서와 제2 라이다 센서가 동일한 경우, 단계 S611에서, 제1 라이다 센서로부터 획득된 실제 데이터에 객체 검출 모델을 적용하여 객체의 종류(또는, 형태)를 검출할 수 있다. 이때, 객체 검출 장치는 실제 데이터로부터 공간좌표 데이터를 추출하고, 실제 데이터 및 공간좌표 데이터에 객체 검출 모델을 적용하여 객체의 종류와 함께, 객체의 위치를 검출할 수 있다.

제1,2 라이다 센서의 동일 여부 확인시, 객체 검출 장치는 디바이스에서 사용되는 제1 라이다 센서의 모델명 또는 사양과 객체 검출 모델을 생성하기 위해 사용된 제2 라이다 센서의 모델명 또는 사양을 비교하여, 제1 라이다 센서와 제2 라이다 센서의 동일 여부를 확인할 수 있다.

상기 단계 S610에서, 제1 라이다 센서와 제2 라이다 센서가 상이한 경우, 단계 S620에서, 객체 검출 장치는 학습 서버에 제1 통계 특성값을 요청하여, 학습 서버로부터 제1 통계 특성값을 입력받을 수 있다. 여기서, 제1 통계 특성값은 객체 검출 모델의 훈련에 사용된 학습 데이터 내 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 도출된 결과값일 수 있다. 이때, 학습 데이터는 객체 검출 모델의 훈련을 위해 제2 라이다 센서로부터 획득된 데이터로서, 제1 반사강도 데이터, 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함할 수 있다.

또한, 제1 반사강도 데이터는 학습 데이터로부터 설정된 개수(예컨대, 30개)만큼 추출된 샘플 데이터일 수 있다. 제1 통계 특성값은 제1 반사강도 데이터의 최대값, 최소값, 평균값 및 중앙값 중 적어도 하나를 포함할 수 있다.

단계 S630에서, 객체 검출 장치는 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터 내 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출할 수 있다. 이때, 객체 검출 장치는 제1 라이다 센서에서 시험용 데이터가 획득되면, 시험용 데이터로부터 설정된 개수(예컨대, 30개)만큼의 제2 반사강도 데이터를 추출하고, 추출한 제2 반사강도 데이터를 분석한 결과, 제2 통계 특성값을 도출할 수 있다.

여기서, 시험용 데이터는 디바이스에서 사용되는 제1 라이다 센서의 성능을 확인하기 위해 제1 라이다 센서로부터 획득된 데이터로서, 제2 반사강도 데이터, 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함할 수 있다. 또한, 제2 통계 특성값은 제2 반사강도 데이터의 최대값, 최소값, 평균값 및 중앙값 중 적어도 하나를 포함할 수 있다.

단계 S640에서, 객체 검출 장치는 제1 통계 특성값 및 제2 통계 특성값에 기초하여 제1 라이다 센서로부터 획득된 실제 데이터를 변환할 수 있다.

이때, 객체 검출 장치는 제1 통계 특성값 및 제2 통계 특성값에 기초하여 데이터 변환 모델을 생성하고, 데이터 변환 모델을 이용하여 실제 데이터를 변환할 수 있다. 실제 데이터는 객체를 검출하기 위해 제1 라이다 센서로부터 획득된 데이터일 수 있다.

데이터 변환 모델 생성시, 객체 검출 장치는 제1 반사강도 데이터 및 제2 반사강도 데이터에 대해 기설정된 정규화 변환 모델을 각각 적용하여 데이터를 정규화시키고, 제1 반사강도 데이터의 정규화 과정에서 도출된 제1 변환 특성값 및 제2 반사강도 데이터의 정규화 과정에서 도출된 제2 변환 특성값에 더 기초하여 데이터 변환 모델을 생성할 수 있다. 여기서, 기설정된 정규화 변환 모델은 박스 콕스 변환, 여 존슨 변환 등의 모델을 포함할 수 있다.

또한, 객체 검출 장치는 상기 정규화된 제2 반사강도 데이터 및 상기 제1 변환 특성값에 기설정된 역정규화 변환 모델을 적용하여 상기 정규화된 제2 반사강도 데이터를 역정규화시키고, 제1 통계 특성값 및 제2 통계 특성값의 차이에 기초하여, 상기 역정규화된 제2 반사강도 데이터의 분포를 조정할 수 있다. 이때, 객체 검출 장치는 제1 통계 특성값과 제2 통계 특성값의 차이가 설정치 미만이 되도록 상기 역정규화된 제2 반사강도 데이터의 분포를 조정할 수 있다.

또한, 객체 검출 장치는 제2 변환 특성값에 기초하여 상기 조정된 제2 반사강도 데이터를 재조정하고, 정규화 이전의 제2 반사강도 데이터와 재조정된 제2 반사강도 데이터 간의 차이에 더 기초하여 데이터 변환 모델을 생성할 수 있다.

실시예에서, 객체 검출 장치는 학습 서버로부터 제1 반사강도 데이터와 연관된 제1 부가 데이터를 더 입력받을 수 있다. 객체 검출 장치는 학습 서버에 제1 부가 데이터를 요청하여, 학습 서버로부터 제1 부가 데이터를 입력받을 수 있으나, 이에 한정되지 않고 상기 제1 통계 특성값을 입력받을 때 제1 부가 데이터를 함께 입력받을 수 있다. 여기서, 제1 부가 데이터는 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함할 수 있다. 객체 검출 장치는 시험용 데이터로부터 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함하는 제2 부가 데이터를 추출할 수 있다. 객체 검출 장치는 제1 반사강도 데이터와 제1 부가 데이터 간의 관계 및 제2 반사강도 데이터와 제2 부가 데이터 간의 관계 간의 차이에 기초하여, 상기 변환된 실제 데이터를 조정할 수 있다.

단계 S650에서, 객체 검출 장치는 변환된 실제 데이터에 객체 검출 모델을 적용하여 객체의 종류(또는, 형태)를 검출할 수 있다.

객체 검출 장치는 변환된(또는, 조정된) 실제 데이터에 객체 검출 모델을 적용하여 객체의 종류(또는, 형태)를 검출할 수 있다. 이때, 객체 검출 장치는 변환되기 전의 실제 데이터로부터 공간좌표 데이터를 추출하고, 변환된 후의 실제 데이터 및 공간좌표 데이터에 객체 검출 모델을 적용하여 객체의 종류 및 객체의 위치를 검출할 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

200: 객체 검출 장치
210: 프로세서 220: 메모리

Claims

디바이스에서 사용되는 객체 검출 모델을 최적화하는 장치로서,
프로세서; 및
상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서로 하여금, 상기 객체 검출 모델의 훈련에 사용된 학습 데이터 내 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 도출된 제1 통계 특성값을 입력받고, 상기 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터 내 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출하며, 상기 제1 통계 특성값 및 상기 제2 통계 특성값에 기초하여 상기 제1 라이다 센서로부터 획득된 실제 데이터를 변환하도록 야기하는 코드를 저장하는,
객체 검출 장치.
제1항에 있어서,
상기 학습 데이터는 상기 객체 검출 모델의 훈련을 위해 제2 라이다 센서로부터 획득된 데이터이고,
상기 제2 라이다 센서는 상기 디바이스에서 사용되는 제1 라이다 센서와 상이한,
객체 검출 장치.
제1항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 객체 검출 모델을 생성하기 위해 사용된 제2 라이다 센서의 모델명 또는 사양과 상기 디바이스에서 사용되는 제1 라이다 센서의 모델명 또는 사양을 비교한 결과, 상기 제1 라이다 센서의 모델명 또는 사양과 제2 라이다 센서의 모델명 또는 사양이 상이한 경우, 학습 서버에 상기 제1 통계 특성값을 요청하여, 상기 학습 서버로부터 상기 제1 통계 특성값을 입력받는,
객체 검출 장치.
제1항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 제1 반사강도 데이터와 연관된 제1 부가 데이터를 더 입력받고, 상기 시험용 데이터로부터 제2 부가 데이터를 추출하며, 상기 제1 반사강도 데이터와 상기 제1 부가 데이터 간의 관계 및 상기 제2 반사강도 데이터와 상기 제2 부가 데이터 간의 관계 간의 차이에 기초하여, 상기 변환된 실제 데이터를 조정하도록 야기하는 코드를 저장하고,
상기 제1 부가 데이터 및 상기 제2 부가 데이터는 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함하는,
객체 검출 장치.
제1항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 제1 통계 특성값 및 상기 제2 통계 특성값에 기초하여 데이터 변환 모델을 생성하고, 상기 데이터 변환 모델을 이용하여 상기 실제 데이터를 변환하며, 상기 변환된 실제 데이터에 상기 객체 검출 모델을 적용하여 객체의 종류를 검출하도록 야기하는 코드를 저장하는,
객체 검출 장치.
제5항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 실제 데이터로부터 공간좌표 데이터를 추출하고, 상기 변환된 실제 데이터 및 상기 공간좌표 데이터에 상기 객체 검출 모델을 적용하여 상기 객체의 종류 및 상기 객체의 위치를 검출하도록 야기하는 코드를 저장하는,
객체 검출 장치.
제5항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 제1 반사강도 데이터 및 상기 제2 반사강도 데이터에 대해 기설정된 정규화 변환 모델을 각각 적용하여 데이터를 정규화시키고, 상기 정규화 과정에서 각각 도출된 제1 변환 특성값 및 제2 변환 특성값에 더 기초하여 상기 데이터 변환 모델을 생성하도록 야기하는 코드를 저장하는,
객체 검출 장치.
제7항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 정규화된 제2 반사강도 데이터 및 상기 제1 변환 특성값에 기설정된 역정규화 변환 모델을 적용하여 상기 정규화된 제2 반사강도 데이터를 역정규화시키고, 상기 제1 통계 특성값 및 상기 제2 통계 특성값의 차이에 기초하여, 상기 역정규화된 제2 반사강도 데이터의 분포를 조정하도록 야기하는 코드를 저장하는,
객체 검출 장치.
제8항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 제2 변환 특성값에 기초하여 상기 조정된 제2 반사강도 데이터를 재조정하고, 정규화 이전의 상기 제2 반사강도 데이터와 상기 재조정된 제2 반사강도 데이터 간의 차이에 더 기초하여 상기 데이터 변환 모델을 생성하도록 야기하는 코드를 저장하는,
객체 검출 장치.
제1항에 있어서,
상기 제1 통계 특성값 또는 상기 제2 통계 특성값은 상기 제1 반사강도 데이터 또는 상기 제2 반사강도 데이터의 최대값, 최소값, 평균값 및 중앙값 중 적어도 하나를 포함하는,
객체 검출 장치.
디바이스에서 사용되는 객체 검출 모델을 최적화하는 방법으로서,
상기 객체 검출 모델의 훈련에 사용된 학습 데이터 내 제1 반사강도 데이터에 대한 통계적 분석을 수행하여 도출된 제1 통계 특성값을 입력받는 단계;
상기 디바이스에서 사용되는 제1 라이다 센서로부터 획득된 시험용 데이터 내 제2 반사강도 데이터에 대한 통계적 분석을 수행하여 제2 통계 특성값을 도출하는 단계; 및
상기 제1 통계 특성값 및 상기 제2 통계 특성값에 기초하여 상기 제1 라이다 센서로부터 획득된 실제 데이터를 변환하는 단계를 포함하는,
객체 검출 방법.
제11항에 있어서,
상기 학습 데이터는 상기 객체 검출 모델의 훈련을 위해 제2 라이다 센서로부터 획득된 데이터이고,
상기 제2 라이다 센서는 상기 디바이스에서 사용되는 제1 라이다 센서와 상이한,
객체 검출 방법.
제11항에 있어서,
상기 제1 통계 특성값을 입력받는 단계는,
상기 객체 검출 모델을 생성하기 위해 사용된 제2 라이다 센서의 모델명 또는 사양과 상기 디바이스에서 사용되는 제1 라이다 센서의 모델명 또는 사양을 비교하는 단계; 및
상기 비교 결과, 상기 제1 라이다 센서의 모델명 또는 사양과 제2 라이다 센서의 모델명 또는 사양이 상이한 경우, 학습 서버에 상기 제1 통계 특성값을 요청하여, 상기 학습 서버로부터 상기 제1 통계 특성값을 입력받는 단계를 포함하는,
객체 검출 방법.
제11항에 있어서,
상기 실제 데이터를 변환하는 단계 이후에,
상기 제1 반사강도 데이터와 연관된 제1 부가 데이터를 입력받는 단계;
상기 시험용 데이터로부터 제2 부가 데이터를 추출하는 단계; 및
상기 제1 반사강도 데이터와 상기 제1 부가 데이터 간의 관계 및 상기 제2 반사강도 데이터와 상기 제2 부가 데이터 간의 관계 간의 차이에 기초하여, 상기 변환된 실제 데이터를 조정하는 단계를 더 포함하고,
상기 제1 부가 데이터 및 상기 제2 부가 데이터는 반사율, 주사 거리 및 입사각 중 적어도 하나를 포함하는,
객체 검출 방법.
제11항에 있어서,
상기 실제 데이터를 변환하는 단계는,
상기 제1 통계 특성값 및 상기 제2 통계 특성값에 기초하여 데이터 변환 모델을 생성하고, 상기 데이터 변환 모델을 이용하여 상기 실제 데이터를 변환하는 단계를 포함하고,
상기 객체 검출 방법은,
상기 실제 데이터를 변환하는 단계 이후,
상기 변환된 실제 데이터에 상기 객체 검출 모델을 적용하여 객체의 종류를 검출하는 단계를 더 포함하는,
객체 검출 방법.
제15항에 있어서,
상기 객체의 종류를 검출하는 단계는,
상기 변환된 실제 데이터 및 상기 실제 데이터로부터 추출된 공간좌표 데이터에 상기 객체 검출 모델을 적용하여 상기 객체의 종류 및 상기 객체의 위치를 검출하는 단계를 포함하는,
객체 검출 방법.
제15항에 있어서,
상기 데이터 변환 모델을 이용하여 상기 실제 데이터를 변환하는 단계는,
상기 제1 반사강도 데이터 및 상기 제2 반사강도 데이터에 대해 기설정된 정규화 변환 모델을 각각 적용하여 데이터를 정규화시키는 단계; 및
상기 제1 반사강도 데이터의 정규화 과정에서 도출된 제1 변환 특성값 및 상기 제2 반사강도 데이터의 정규화 과정에서 도출된 제2 변환 특성값에 더 기초하여 상기 데이터 변환 모델을 생성하는 단계를 포함하는,
객체 검출 방법.
제17항에 있어서,
상기 데이터 변환 모델을 생성하는 단계는,
상기 정규화된 제2 반사강도 데이터 및 상기 제1 변환 특성값에 기설정된 역정규화 변환 모델을 적용하여 상기 정규화된 제2 반사강도 데이터를 역정규화시키는 단계; 및
상기 제1 통계 특성값 및 상기 제2 통계 특성값의 차이에 기초하여, 상기 역정규화된 제2 반사강도 데이터의 분포를 조정하는 단계를 포함하는,
객체 검출 방법.
제18항에 있어서,
상기 데이터 변환 모델을 생성하는 단계는,
상기 제2 변환 특성값에 기초하여 상기 조정된 제2 반사강도 데이터를 재조정하고, 정규화 이전의 상기 제2 반사강도 데이터와 상기 재조정된 제2 반사강도 데이터 간의 차이에 더 기초하여 상기 데이터 변환 모델을 생성하는 단계를 더 포함하는,
객체 검출 방법.
제11항에 있어서,
상기 제1 통계 특성값 또는 상기 제2 통계 특성값은 상기 제1 반사강도 데이터 또는 상기 제2 반사강도 데이터의 최대값, 최소값, 평균값 및 중앙값 중 적어도 하나를 포함하는,
객체 검출 방법.