KR102470772B1 - 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법 - Google Patents

자율 주행 차량의 통합 센서 자동 보정 장치 및 방법 Download PDF

Info

Publication number
KR102470772B1
KR102470772B1 KR1020180134877A KR20180134877A KR102470772B1 KR 102470772 B1 KR102470772 B1 KR 102470772B1 KR 1020180134877 A KR1020180134877 A KR 1020180134877A KR 20180134877 A KR20180134877 A KR 20180134877A KR 102470772 B1 KR102470772 B1 KR 102470772B1
Authority
KR
South Korea
Prior art keywords
correction
marker
lidar
axis
unit
Prior art date
Application number
KR1020180134877A
Other languages
English (en)
Other versions
KR20200054370A (ko
Inventor
김석기
송영기
Original Assignee
주식회사 스프링클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스프링클라우드 filed Critical 주식회사 스프링클라우드
Priority to KR1020180134877A priority Critical patent/KR102470772B1/ko
Publication of KR20200054370A publication Critical patent/KR20200054370A/ko
Application granted granted Critical
Publication of KR102470772B1 publication Critical patent/KR102470772B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50—Magnetic or electromagnetic sensors
    • B60W2420/506—Inductive sensors, i.e. passive wheel sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

카메라와 라이다(Lidar)가 통합 설치된 통합 센서를 갖춘 자율 주행 차량에서 통합 센서의 라이다의 출력 데이터를 자동 보정할 수 있도록 하는 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법을 제시한다. 제시된 장치는 카메라와 라이다가 통합된 통합 센서와 연결되고 카메라의 기준 카메라 영상과 라이다의 기준 라이다 영상을 근거로 보정값을 생성하고 보정값으로 라이다의 출력 데이터를 자동 보정하는 센서 퓨전부를 포함한다.

Description

자율 주행 차량의 통합 센서 자동 보정 장치 및 방법{Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle}
본 발명은 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라와 라이다(Lidar)가 통합 설치된 통합 센서를 갖춘 자율 주행 차량에서의 통합 센서를 자동 보정할 수 있도록 하는 장치 및 방법에 관한 것이다.
일반적으로, 자율 주행 차량은 운전자가 차량을 조작하지 않아도 스스로 주행하는 차량으로서, 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 도로의 상황을 파악하여 자동으로 주행하는 차량을 의미한다.
스마트 카 구현을 위한 핵심 기술로, 자율 주행 차량을 위해서는 고속도로 주행 지원 시스템(HDA, 자동차 간 거리를 자동으로 유지해 주는 기술)을 비롯하여 후측방 경보 시스템(BSD, 후진 중 주변 차량을 감지, 경보를 울리는 기술), 자동 긴급 제동 시스템(AEB, 앞차를 인식하지 못할 시 제동 장치를 가동하는 기술), 차선 이탈 경보 시스템(LDWS), 차선 유지 지원 시스템(LKAS, 방향 지시등 없이 차선을 벗어나는 것을 보완하는 기술), 어드밴스드 스마트 크루즈 컨트롤(ASCC, 설정된 속도로 차 간 거리를 유지하며 정속 주행하는 기술), 혼잡 구간 주행 지원 시스템(TJA) 등이 구현되어야 한다.
이러한 자율 주행 차량을 위한 다양한 시스템에는 카메라가 사용되는데, 카메라만으로는 거리 정보의 정확성이 떨어져서 사물의 거리 측정이 어렵다.
그리고, 카메라는 조도 및 날씨 등의 주변 환경적 요인에 대한 특성적 한계를 가지고 있다.
그에 따라, 카메라 자체의 특성적 한계를 보완하기 위해 라이다(LiDAR)를 병행하여 사용하기도 한다.
그런데, 카메라와 라이다는 시야각에서 차이가 있다. 이러한 시야각 차이로 인해 설치 위치에 따른 별도의 보정 작업이 필요하다.
특히, 생산 공정에서 카메라와 라이다간의 시야각 차이에 따른 기계적인 보정을 실시하였다고 하더라도 작업자의 손떨림 등에 의해 기계적 보정이 정확하지 않은 채로 판매되기도 한다.
또한, 작업자에 의한 기계적 보정이 정상적으로 이루어졌다고 하더라도 카메라와 라이다가 통합된 통합 센서를 자율 주행 차량에 장착하여 장시간 사용하다 보면 카메라와 라이다가 제위치에서 약간씩 틀어지기도 한다.
선행기술 1 : 대한민국 공개특허 제10-2018-0055292호(다중 라이다 좌표계 통합 방법) 선행기술 2 : 대한민국 공개특허 제10-2014-0065627호(차량용 카메라 캘리브레이션 장치 및 방법) 선행기술 3 : 대한민국 공개특허 제10-2015-0142543호(자동차의 통합센서 시스템) 선행기술 4 : 대한민국 공개특허 제10-2015-0066182호(정밀 위치 설정 장치 및 방법)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 카메라와 라이다(Lidar)가 통합 설치된 통합 센서를 갖춘 자율 주행 차량에서 통합 센서의 라이다의 출력 데이터를 자동 보정할 수 있도록 하는 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 자율 주행 차량의 통합 센서 자동 보정 장치는, 카메라와 라이다가 통합된 통합 센서와 연결되고, 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하고, 상기 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 센서 퓨전부;를 포함한다.
상기 센서 퓨전부는, 상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성할 수 있다.
상기 센서 퓨전부는, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에게로 출력할 수 있다.
상기 센서 퓨전부는, 상기 기설정된 범위를 초과하는 보정값을 함께 출력할 수 있다.
상기 센서 퓨전부는, 상기 보정값의 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어하되, 상기 기준 카메라 영상에 다수의 제 1 마커를 배치하고, 상기 기준 라이다 영상에 다수의 제 2 마커를 배치하는 제어부; 상기 제 1 마커 및 상기 제 2 마커를 인식하는 마커 인식부; 상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 마커 정보 추출부; 상기 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하고, 상기 편차값을 근거로 보정값을 생성하는 보정값 생성부; 및 보정값 생성 이후에 수신되는 상기 라이다의 출력 데이터에 상기 보정값을 적용시켜 보정된 데이터를 출력하는 자동 보정부;를 포함할 수 있다.
상기 제어부는, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 상기 표시부에게로 출력할 수 있다.
상기 제어부는, 상기 기설정된 범위를 초과하는 보정값을 함께 출력할 수 있다.
상기 제 1 마커의 정보 및 제 2 마커의 정보는 각각의 마커의 꼭지점의 x,y,z축 좌표값일 수 있다.
한편, 본 발명의 바람직한 실시양태에 따른 자율 주행 차량의 통합 센서 자동 보정 방법은, 자율 주행 차량의 통합 센서 자동 보정 장치에서의 통합 센서 자동 보정 방법으로서, 카메라와 라이다가 통합된 통합 센서에서 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하는 단계; 및 상기 생성된 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 단계;를 포함한다.
상기 보정값을 생성하는 단계는, 상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하는 단계; 및 상기 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 단계;를 포함할 수 있다.
상기 편차값을 산출하는 단계는, 다수의 제 1 마커가 배치된 상기 기준 카메라 영상에서 상기 제 1 마커를 인식하고, 다수의 제 2 마커가 배치된 상기 기준 라이다 영상에서 상기 제 2 마커를 인식하는 단계; 상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 단계; 및 상기 추출된 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하는 단계;를 포함할 수 있다.
상기 제 1 마커와 상기 제 2 마커는 상호 동일한 개수이고, 상기 추출하는 단계는 상기 제 1 마커의 꼭지점의 x,y,z축 좌표값 및 상기 제 2 마커의 꼭지점의 x,y,z축 좌표값을 각각 구할 수 있다.
상기 상호간의 편차값을 산출하는 단계는, 상기 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하여 서로 대응되는 꼭지점간의 편차를 산출할 수 있다.
상기 보정값을 생성하는 단계 이후와 상기 자동 보정하는 단계 사이에, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에 디스플레이시키는 단계;를 추가로 포함할 수 있다.
이러한 구성의 본 발명에 따르면, 카메라와 라이다(Lidar)가 일체로 설치된 통합 센서를 갖춘 자율 주행 차량에서 통합 센서의 카메라 데이터와 라이다 데이터를 상호 비교하여 보정값을 생성하고, 생성된 보정값을 보정값 생성 이후의 라이다의 포인트 클라우드 데이터에 적용시킴으로써, 라이다 데이터를 자동 보정(미세 보정)할 수 있게 된다.
도 1은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치를 설명하기 위한 도면이다.
도 2는 도 1에 도시된 센서 퓨전부의 내부 구성도이다.
도 3은 도 2에 도시된 센서 퓨전부에서 보정값을 생성하기까지의 내부 동작을 개략적으로 도시한 도면이다.
도 4는 도 3에서 마커 인식 결과에 따른 위치 및 거리 편차를 계산하는 동작을 설명하기 위한 도면이다.
도 5는 도 2에 도시된 자동 보정부의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 방법을 설명하기 위한 플로우차트이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치를 설명하기 위한 도면이다.
본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치는, 통합 센서(10)와 연결된 센서 퓨전부(20), 및 표시부(30)를 포함한다.
통합 센서(10)는 카메라(10a) 및 라이다(10b), 카메라(10a)의 상하좌우 각도 조정을 위한 스크류(도시 생략), 및 라이다(10b)의 상하좌우 각도 조정을 위한 스크류(도시 생략) 등을 포함하는 거리 측정 기기라고 할 수 있다.
통합 센서(10)의 형태는 다양할 수 있는데, 카메라(10a)가 라이다(10b)의 상부 또는 하부에 설치될 수 있다.
통상적으로, 센서 퓨전(Sensor Fusion)은 각 센서가 인식한 정보를 하나로 결합하여 자율주행이 가능하도록 하는 기술이다.
본 발명의 실시예에서의 센서 퓨전부(20)는 통합 센서(10)의 각각의 센서(즉, 카메라(10a), 라이다(10b))가 인식한 정보를 하나로 결합하여 자율주행이 가능하도록 할 뿐만 아니라, 통합 센서(10)의 라이다(10b)의 포인트 클라우드 데이터(point cloud data)(즉, 출력 데이터)를 자동 보정할 수 있다.
다시 말해서, 센서 퓨전부(20)는 카메라(10a)와 라이다(10b)가 서로 약간 틀어진 경우 등에도 통합 센서(10)의 거리 측정 기능이 정상적으로 수행될 수 있도록 하기 위해, 통합 센서(10)의 라이다(10b)의 포인트 클라우드 데이터(point cloud data)를 자동 보정한다.
즉, 센서 퓨전부(20)는 통합 센서(10)의 기준 카메라 영상 및 기준 라이다 영상을 비교하여 x축, y축, z축(거리)에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하여 라이다(10b)의 포인트 클라우드 데이터(point cloud data)를 자동 보정한다.
결국, 센서 퓨전부(20)는 보정값 생성 이후의 라이다(10b)의 출력 데이터인 포인트 클라우드 데이터(point cloud data)에 보정값을 적용시킴으로써, 라이다(10b)의 포인트 클라우드 데이터를 변조한다고 볼 수 있다.
센서 퓨전부(20)는 주기적 또는 비주기적으로 자동 보정을 행할 수 있다. 여기서, 센서 퓨전부(20)에서 행해지는 자동 보정은 미세 보정일 것이다.
라이다(10b)의 틀어진 각도가 커서 센서 퓨전부(20)에서의 자동 보정으로는 원하는 미세 보정을 완료할 수 없을 수도 있다. 그에 따라, 이러한 경우를 대비하여 센서 퓨전부(20)는 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 기계적 보정이 필요하다는 알림 메시지를 표시부(30)에게로 출력할 수 있다. 센서 퓨전부(20)는 알림 메시지를 출력할 때 해당 보정값도 함께 표시부(30)에게로 출력한다.
표시부(30)는 다수의 마커가 포함된 영상(예컨대, 기준 카메라 영상, 기준 라이다 영상) 및 기계적 보정이 필요하다는 알림 메시지를 디스플레이할 수 있다.
또한, 표시부(30)는 알림 메시지를 디스플레이함에 있어서 센서 퓨전부(20)로부터의 보정값도 함께 디스플레이시킨다.
이에 의해, 사용자는 표시부(30)상의 보정값을 확인한 후에 스크류를 조작하여 기계적 보정을 수행한다. 기계적 보정이 완료된 후에는 센서 퓨전부(20)에 의한 자동 보정이 이루어질 수 있을 것이다.
도 2는 도 1에 도시된 센서 퓨전부(20)의 내부 구성도이고, 도 3은 도 2에 도시된 센서 퓨전부(20)에서 보정값을 생성하기까지의 내부 동작을 개략적으로 도시한 도면이고, 도 4는 도 3에서 마커 인식 결과에 따른 위치 및 거리 편차를 계산하는 동작을 설명하기 위한 도면이고, 도 5는 도 2에 도시된 자동 보정부(29)의 동작을 설명하기 위한 도면이다.
센서 퓨전부(20)는 카메라 영상 수신부(21), 라이다 데이터 수신부(22), 제어부(23), 제 1 마커 인식부(24), 제 1 마커 정보 추출부(25), 제 2 마커 인식부(26), 제 2 마커 정보 추출부(27), 보정값 생성부(28), 및 자동 보정부(29)를 포함한다.
카메라 영상 수신부(21)는 통합 센서(10)의 카메라(10a)로부터의 카메라 영상을 수신한다.
특히, 카메라 영상 수신부(21)는 자동 보정 모드시에 통합 센서(10)의 카메라(10a)로부터 기준 카메라 영상이 될 수 있는 카메라 영상을 수신할 수 있다. 예를 들어, 자동 보정 모드시에 최초로 수신되는 카메라 영상이 기준 카메라 영상이 될 수 있다.
라이다 데이터 수신부(22)는 통합 센서(10)의 라이다(10b)로부터의 포인트 클라우드 데이터(point cloud data)를 수신한다.
특히, 라이다 데이터 수신부(22)는 자동 보정 모드시에 통합 센서(10)의 라이다(10b)로부터 기준 라이다 영상이 될 수 있는 포인트 클라우드 데이터(point cloud data)를 수신한다. 예를 들어, 자동 보정 모드시에 최초로 수신되는 포인트 클라우드 데이터가 기준 라이다 영상이 될 수 있다.
제어부(23)는 센서 퓨전부(20)의 전체적인 동작을 제어한다. 즉, 제어부(23)는 주기적 또는 비주기적으로 보정값 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어할 수 있다.
특히, 제어부(23)는 자동 보정 모드시에는 카메라 영상 수신부(21)로부터의 기준 카메라 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 1 마커 인식부(24)에게로 보내고, 라이다 데이터 수신부(22)로부터의 기준 라이다 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 2 마커 인식부(26)에게로 보낸다. 예를 들어, 마커(M1, M2, M3)는 사각 보드 형태, 삼각 보드 형태 등이 될 수 있다.
제어부(23)는 보정값 생성부(28)에서 보정값을 생성하게 되면 자동 보정부(29)에 해당 보정값이 제공되도록 제어하여 해당 보정값이 라이다(10b)의 포인트 클라우드 데이터(point cloud data)에 적용되도록 한다.
한편, 제어부(23)는 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 기계적 보정이 필요하다는 알림 메시지를 표시부(30)상에 디스플레이시킬 수 있다. 이때, 제어부(23)는 해당 보정값도 함께 표시부(30)상에 디스플레이시킨다.
제 1 마커 인식부(24)는 도 3에서와 같이 자동 보정 모드시에 다수의 마커(M1, M2, M3)가 포함된 기준 카메라 영상에서 각각의 마커(M1, M2, M3)를 인식한다. 기준 카메라 영상에 포함된 마커(M1, M2, M3)를 제 1 마커라고 할 수 있다.
제 1 마커 정보 추출부(25)는 도 3에서와 같이 제 1 마커 인식부(24)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다. 도 3에서, x는 x축 좌표, y는 y축 좌표, z은 z축(거리) 좌표이다.
제 2 마커 인식부(26)는 도 3에서와 같이 자동 보정 모드시에 다수의 마커(M1, M2, M3)가 포함된 기준 라이다 영상에서 각각의 마커(M1, M2, M3)를 인식한다. 기준 라이다 영상에 포함된 마커(M1, M2, M3)를 제 2 마커라고 할 수 있다.
제 2 마커 정보 추출부(27)는 도 3에서와 같이 제 2 마커 인식부(26)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다.
보정값 생성부(28)는 도 3에서와 같이 제 1 마커 정보 추출부(25)에서 추출된 마커(M1, M2, M3)의 정보 및 제 2 마커 정보 추출부(27)에서 추출된 마커(M1, M2, M3)의 정보를 비교하여 상호간의 편차값을 산출하고, 산출된 편차값을 근거로 x,y,z축의 보정값(△x, △y, △z)을 생성한다.
여기서, 편차값을 산출하는 경우에는 마커 인식 결과를 근거로 제 1 마커 및 제 2 마커간의 위치 및 거리의 편차값을 산출하게 된다. 즉, 도 4에서와 같이 기준 카메라 영상내의 각각의 마커(즉, 제 1 마커)의 꼭지점의 x,y,z축 좌표값 및 기준 라이다 영상내의 각각의 마커(즉, 제 2 마커)의 꼭지점의 x,y,z축 좌표값을 각각 구한 후에, 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하면 서로 대응되는 꼭지점간의 편차를 산출할 수 있게 된다. 각각의 마커의 꼭지점의 x,y,z축 좌표값은 해당 마커의 정보가 된다.
그리고 나서, 보정값 생성부(28)는 산출된 편차를 근거로 하기의 표 1과 같이 계산하면 x,y,z축의 보정값(△x, △y, △z)을 생성할 수 있다.
Figure 112018109759341-pat00001
표 1에서, x는 x축 좌표, y는 y축 좌표, z은 z축(거리) 좌표이다. 그리고, n은 마커의 수이다.
자동 보정부(29)는 보정값 생성 이후에 수신되는 라이다(10b)의 포인트 클라우드 데이터에 보정값 생성부(28)에서 생성된 보정값을 적용시킴으로써 보정된 데이터를 출력한다. 즉, 자동 보정부(29)는 도 5에서와 같이 라이다(10b)의 포인트 클라우드 데이터에 보정값(△x, △y, △z)을 적용시켜 해당 포인트 클라우드 데이터를 자동 보정하고, 자동 보정된 데이터를 후단의 센서 데이터 수신 장치(60)에게로 보낸다.
예를 들어, 자동 보정부(29)에 의한 자동 보정이 완료되면 도 1에서와 같이 라이다(10b)의 시야각 범위(40)내의 마커(M1, M2, M3)와 카메라(10a)의 시야각 범위(50)내의 마커(M1, M2, M3)가 서로 동일한 위치에 존재하게 될 것이다.
상술한 본 발명에서는 카메라 영상을 자동 보정하는 것이 아니라 라이다의 포인트 클라우드 데이터를 자동 보정한다. 왜냐하면, 카메라 영상을 자동 보정(변조)하게 되면 영상 손실이 발생하기 때문이다.
상술한 도 2에서는 제 1 마커 인식부(24)와 제 2 마커 인식부(26)를 각각 분리하였으나, 하나의 모듈로 통합하여 마커 인식부라고 통칭하여도 무방하다. 그리고, 도 2에서는 제 1 마커 정보 추출부(25)와 제 2 마커 정보 추출부(27)를 각각 분리하였으나, 하나의 모듈로 통합하여 마커 정보 추출부라고 통칭하여도 무방하다.
필요에 따라서는, 제 1 마커 인식부(24)와 제 1 마커 정보 추출부(25)를 하나의 모듈로 통합할 수도 있고, 제 2 마커 인식부(26)와 제 2 마커 정보 추출부(27)를 하나의 모듈로 통합할 수도 있다.
도 6은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 방법을 설명하기 위한 플로우차트이다.
센서 퓨전부(20)는 주기적 또는 비주기적으로 자동 보정 모드를 설정할 수 있다.
따라서, 자동 보정 모드가 설정되면 카메라 영상 수신부(21)는 통합 센서(10)의 카메라(10a)로부터 기준 카메라 영상이 될 수 있는 카메라 영상을 수신하고, 라이다 데이터 수신부(22)는 통합 센서(10)의 라이다(10b)로부터 기준 라이다 영상이 될 수 있는 포인트 클라우드 데이터(point cloud data)를 수신한다(S10).
이후, 제어부(23)는 카메라 영상 수신부(21)로부터의 기준 카메라 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 1 마커 인식부(24)에게로 보내고, 라이다 데이터 수신부(22)로부터의 기준 라이다 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 2 마커 인식부(26)에게로 보낸다. 물론, 각각의 마커(M1, M2, M3)가 배치된 기준 카메라 영상 및 기준 라이다 영상은 표시부(30)상에 디스플레이될 것이다.
이어, 제 1 마커 인식부(24)는 기준 카메라 영상에서 각각의 마커(M1, M2, M3)를 인식하고, 제 2 마커 인식부(26)는 기준 라이다 영상에서 각각의 마커(M1, M2, M3)를 인식한다(S20).
그리고 나서, 제 1 마커 정보 추출부(25)는 제 1 마커 인식부(24)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출하고, 제 2 마커 정보 추출부(27)는 제 2 마커 인식부(26)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다(S30).
이어, 보정값 생성부(28)는 제 1 마커 정보 추출부(25)에서 추출된 마커(M1, M2, M3)의 정보 및 제 2 마커 정보 추출부(27)에서 추출된 마커(M1, M2, M3)의 정보를 비교하여 상호간의 편차값을 산출한다(S40).
그리고, 보정값 생성부(28)는 산출된 편차값을 근거로 보정값(△x, △y, △z)을 생성한 후에 자동 보정부(29)에게로 보낸다(S50).
그에 따라, 자동 보정부(29)는 현재 수신되는 라이다(10b)의 포인트 클라우드 데이터에 보정값 생성부(28)로부터의 보정값(△x, △y, △z)을 적용시켜 자동 보정(변조)을 행한다(S60).
그리고, 자동 보정부(29)는 보정된 데이터(즉, 보정된 포인트 클라우드 데이터)를 후단의 센서 데이터 수신 장치(60)에게로 출력한다(S70).
한편, 상술한 단계 S50에서 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 상술한 단계 60이 수행되기 전에 자동 보정만으로는 부족하므로 기계적 보정이 필요하다는 알림 메시지 및 보정값을 표시부(30)상에 디스플레이시킨다. 이에 의해, 사용자는 표시부(30)상의 보정값을 확인한 후에 스크류를 조작하여 기계적 보정을 수행한다. 기계적 보정이 완료된 후에는 센서 퓨전부(20)에 의한 자동 보정이 이루어질 것이다.
또한, 상술한 본 발명의 자율 주행 차량의 통합 센서 자동 보정 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 통합 센서 20 : 센서 퓨전부
21 : 카메라 영상 수신부 22 : 라이다 데이터 수신부
23 : 제어부 24 : 제 1 마커 인식부
25 : 제 1 마커 정보 추출부 26 : 제 2 마커 인식부
27 : 제 2 마커 정보 추출부 28 : 보정값 생성부
29 : 자동 보정부 30 : 표시부

Claims (15)

  1. 카메라와 라이다가 통합된 통합 센서와 연결되고, 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하고, 상기 보정값으로 상기 라이다의 출력 데이터에 대해 제1 보정을 수행하는 센서 퓨전부;를 포함하고,
    상기 센서 퓨전부는,
    주기적 또는 비주기적으로 상기 제1 보정을 수행하고,
    상기 보정값이 기설정된 범위를 초과하면 상기 제1 보정과 상이한 방식의 제2 보정을 위한 알림 메시지를 출력하되,
    상기 제1 보정은 상기 센서 퓨전부에 의해 수행되는 자동 보정이고,
    상기 제2 보정은 사용자 조작에 의해 수행되는 기계적 보정이고,
    상기 센서 퓨전부는,
    상기 기준 카메라 영상에 다수의 제 1 마커를 배치하고, 상기 기준 라이다 영상에 다수의 제 2 마커를 배치하는 제어부;
    상기 제 1 마커 및 상기 제 2 마커를 인식하는 마커 인식부;
    상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 마커 정보 추출부;
    상기 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하고, 상기 편차값을 근거로 보정값을 생성하는 보정값 생성부; 및
    보정값 생성 이후에 수신되는 상기 라이다의 출력 데이터에 상기 보정값을 적용시켜 보정된 데이터를 출력하는 자동 보정부;를 포함하고,
    상기 제1 마커는 제1 복수의 꼭지점을 포함하고,
    상기 제2 마커는 제2 복수의 꼭지점을 포함하고,
    상기 센서 퓨전부는,
    상기 제1 복수의 꼭지점과 상기 제2 복수의 꼭지점의 서로 대응되는 꼭지점 간 좌표 차의 평균값을 기초로 상기 편차값을 산출하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
  2. 청구항 1에 있어서,
    상기 센서 퓨전부는,
    상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 센서 퓨전부는,
    상기 기설정된 범위를 초과하는 보정값을 상기 알림 메시지와 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 제 1 마커의 정보 및 제 2 마커의 정보는 각각의 마커의 꼭지점의 x,y,z축 좌표값인 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
  9. 자율 주행 차량의 통합 센서 자동 보정 장치에서의 통합 센서 자동 보정 방법으로서,
    카메라와 라이다가 통합된 통합 센서에서 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하는 단계; 및
    상기 생성된 보정값으로 상기 라이다의 출력 데이터에 대해 제1 보정을 수행하는 단계;를 포함하고,
    상기 제1 보정을 수행하는 단계는,
    주기적 또는 비주기적으로 상기 제1 보정을 수행하고,
    상기 보정값이 기설정된 범위를 초과하면 상기 제1 보정과 상이한 방식의 제2 보정을 위한 알림 메시지를 출력하되,
    상기 제1 보정은 센서 퓨전부에 의해 수행되는 자동 보정이고,
    상기 제2 보정은 사용자 조작에 의해 수행되는 기계적 보정이고,
    상기 보정값을 생성하는 단계는,
    상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하는 단계; 및
    상기 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 단계;를 포함하고,
    상기 편차값을 산출하는 단계는,
    다수의 제 1 마커가 배치된 상기 기준 카메라 영상에서 상기 제 1 마커를 인식하고, 다수의 제 2 마커가 배치된 상기 기준 라이다 영상에서 상기 제 2 마커를 인식하는 단계;
    상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 단계; 및
    상기 추출된 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하는 단계;를 포함하고,
    상기 제1 마커는 제1 복수의 꼭지점을 포함하고,
    상기 제2 마커는 제2 복수의 꼭지점을 포함하고,
    상기 편차값을 산출하는 단계는,
    상기 제1 복수의 꼭지점과 상기 제2 복수의 꼭지점의 서로 대응되는 꼭지점 간 좌표 차의 평균값을 기초로 상기 편차값을 산출하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
  10. 삭제
  11. 삭제
  12. 청구항 9에 있어서,
    상기 제 1 마커와 상기 제 2 마커는 상호 동일한 개수이고,
    상기 추출하는 단계는 상기 제 1 마커의 꼭지점의 x,y,z축 좌표값 및 상기 제 2 마커의 꼭지점의 x,y,z축 좌표값을 각각 구하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
  13. 삭제
  14. 삭제
  15. 청구항 9에 있어서,
    상기 제1 보정을 수행하는 단계는,
    상기 기설정된 범위를 초과하는 보정값을 상기 알림 메시지와 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
KR1020180134877A 2018-11-06 2018-11-06 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법 KR102470772B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180134877A KR102470772B1 (ko) 2018-11-06 2018-11-06 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134877A KR102470772B1 (ko) 2018-11-06 2018-11-06 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200054370A KR20200054370A (ko) 2020-05-20
KR102470772B1 true KR102470772B1 (ko) 2022-11-25

Family

ID=70919862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134877A KR102470772B1 (ko) 2018-11-06 2018-11-06 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102470772B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220075481A (ko) * 2020-11-30 2022-06-08 한국전자기술연구원 라이다 센서와 카메라 간 온라인 캘리브레이션 방법 및 장치
KR102438112B1 (ko) * 2021-02-01 2022-08-29 연세대학교 산학협력단 모바일 로봇을 이용한 공간정보 구축 시스템
KR102552688B1 (ko) * 2021-06-28 2023-07-05 아주대학교산학협력단 자율 주행 링거 거치대
KR20240048127A (ko) 2022-10-06 2024-04-15 주식회사 쿱와 신호처리장치 및 신호처리방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547940B1 (ko) * 2014-12-17 2015-08-28 가톨릭관동대학교산학협력단 동일평면상에 있는 지상 라이다 자료의 오차 조정 시스템 및 방법
WO2018182737A1 (en) * 2017-03-31 2018-10-04 Airbus Group Hq, Inc. Systems and methods for calibrating vehicular sensors

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001659B1 (ko) 2012-11-19 2019-07-19 한국전자통신연구원 차량용 카메라 캘리브레이션 장치 및 방법
KR102003339B1 (ko) 2013-12-06 2019-07-25 한국전자통신연구원 정밀 위치 설정 장치 및 방법
KR20150142543A (ko) 2014-06-12 2015-12-22 현대모비스 주식회사 자동차의 통합센서 시스템
KR101805253B1 (ko) * 2015-06-26 2018-01-10 성균관대학교산학협력단 물체 인식 장치 및 그를 이용한 물체 인식 방법
KR102506642B1 (ko) * 2016-01-04 2023-03-07 한국전자통신연구원 차량용 융합 시스템 및 이 시스템의 정보 처리 방법
KR20180055292A (ko) 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547940B1 (ko) * 2014-12-17 2015-08-28 가톨릭관동대학교산학협력단 동일평면상에 있는 지상 라이다 자료의 오차 조정 시스템 및 방법
WO2018182737A1 (en) * 2017-03-31 2018-10-04 Airbus Group Hq, Inc. Systems and methods for calibrating vehicular sensors

Also Published As

Publication number Publication date
KR20200054370A (ko) 2020-05-20

Similar Documents

Publication Publication Date Title
KR102470772B1 (ko) 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법
US8489353B2 (en) Methods and systems for calibrating vehicle vision systems
US9360328B2 (en) Apparatus and method for recognizing driving environment for autonomous vehicle
JP6886079B2 (ja) 交通標識認識を用いたカメラキャリブレーションシステム、方法、および、コンピュータ可読媒体
JP6677521B2 (ja) 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法
US9360867B2 (en) Apparatus and method for controlling driving device of self-driving vehicle
DE102011112404B4 (de) Verfahren zum Bestimmen der Position eines Kraftfahrzeugs
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
JP6019646B2 (ja) 位置ずれ検出装置、車両及び位置ずれ検出方法
WO2010113673A1 (ja) 車載カメラの校正装置、方法、及びプログラム
WO2020079698A1 (en) Adas systems functionality testing
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
WO2017009934A1 (ja) 信号機認識装置及び信号機認識方法
US10782129B2 (en) Method and system for ascertaining and providing a ground profile
CN112835019B (zh) 车辆传感器标定方法、装置、车辆和存储介质
US10032084B2 (en) Image processing apparatus
CN112255627A (zh) Adas标定设备的定位方法、***、装置及可读存储介质
JP2017502875A (ja) ドライバー・アシスタント・システムの機能を監視するための方法および装置
US20210097324A1 (en) APPARATUS AND METHOD FOR DETECTING TILT OF LiDAR APPARATUS MOUNTED TO VEHICLE
WO2019065564A1 (ja) 自動運転制御装置及び方法
CN114830204A (zh) 通过神经网络来训练神经网络
JP2019507933A (ja) 車両用インフラ検出装置、信号の発生方法および修理情報の提供方法
KR20160128077A (ko) 차량 센서의 자동 보정 장치 및 그 방법
KR100871044B1 (ko) 차량 후방안내 시스템의 온스크린 디스플레이 라인 사전생성 방법 및 이를 출력하는 차량 후방이동 궤적 안내방법
CN110539748B (zh) 基于环视的拥堵跟车***和终端

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant