KR102634443B1 - 차량용 센서의 보정 정보 획득 장치 및 방법 - Google Patents

차량용 센서의 보정 정보 획득 장치 및 방법 Download PDF

Info

Publication number
KR102634443B1
KR102634443B1 KR1020190026434A KR20190026434A KR102634443B1 KR 102634443 B1 KR102634443 B1 KR 102634443B1 KR 1020190026434 A KR1020190026434 A KR 1020190026434A KR 20190026434 A KR20190026434 A KR 20190026434A KR 102634443 B1 KR102634443 B1 KR 102634443B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
camera
precision map
estimated
Prior art date
Application number
KR1020190026434A
Other languages
English (en)
Other versions
KR20200107382A (ko
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190026434A priority Critical patent/KR102634443B1/ko
Priority to CN202080018430.XA priority patent/CN113544034B/zh
Priority to PCT/KR2020/002976 priority patent/WO2020180076A1/ko
Publication of KR20200107382A publication Critical patent/KR20200107382A/ko
Priority to US17/467,201 priority patent/US20210396527A1/en
Application granted granted Critical
Publication of KR102634443B1 publication Critical patent/KR102634443B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/303—Speed sensors
    • B60Y2400/3032—Wheel speed sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법은, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및 상기 획득된 차량의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리의 비로 정의되는 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 단계를 포함한다.

Description

차량용 센서의 보정 정보 획득 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING CORRECTION INFORMATION OF VEHICLE-SENSOR}
본 발명은 차량용 센서의 보정을 위한 보정 정보를 획득하는 장치 및 방법에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 자차의 위치에 의해 결정되는 주행 환경에 따라 동작하므로, 정확한 차량의 위치 추정이 선행될 필요가 있다. 종래에는 위성 신호를 이용하여 차량의 위치를 추정하는 방법이 널리 이용되었으나, 최근에는 정확도를 높이기 위해 다양한 정보를 함께 고려하는 방법에 대한 연구가 활발히 진행 중이다.
예를 들어, 첨단 운전자 지원 시스템은 차량에 탑재된 휠 속도 센서에 의해 감지된 차량의 이동 거리, 또는 차량에 탑재된 요레이트(Yaw Rate) 센서에 의해 감지된 차량의 자세 정보를 이용하여 차량의 위치 정보를 추정할 수 있다.
한국공개특허공보, 제 10-2014-0148186호 (2014.12.31. 공개)
본 발명이 해결하고자 하는 과제는, 카메라 영상과 정밀 지도 간 매칭에 의해 획득된 차량의 추정 위치 정보를 기초로 휠 속도 센서에 대한 환산계수(Scale Factor) 및 요레이트 센서에 대한 바이어스(Bias)를 결정하는 차량용 센서의 보정 정보 결정 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법은, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및 상기 획득된 차량의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리의 비로 정의되는 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 단계를 포함한다.
또한, 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는, 상기 획득된 차량의 추정 위치 정보에 대한 공분산(Covariance)의 대각 성분이 임계값 이하인 추정 위치 정보 중 상기 추정 이동 거리가 임계 거리 이상인 두 개의 추정 위치 정보를 선택하는 단계; 및 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리 및 상기 선택된 두 개의 추정 위치 정보에 따른 상기 추정 이동 거리를 기초로 상기 휠 속도 센서에 대한 환산계수를 획득하는 단계를 포함할 수 있다.
또한, 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는, 서로 다른 상기 추정 위치 정보를 기초로 획득되는 복수의 후보 환산계수를 저장하는 단계; 저장 시점이 현재 시점으로부터 인접한 순서에 따라 미리 정해진 참조 개수의 상기 후보 환산계수의 평균을 획득하는 단계; 및 상기 획득된 후보 환산계수의 평균으로 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 차량용 센서의 보정 정보 결정 방법은, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 따른 차선 정보에 기초하여 상기 차량의 요레이트 센서에 대한 바이어스(Bias)를 결정하는 단계를 포함한다.
또한, 상기 차량의 요레이트 센서에 대한 바이어스를 결정하는 단계는, 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 대한 상기 차선 정보에 기초하여 상기 차량이 평지에 존재하는지 여부를 결정하는 단계; 상기 차량이 평지에 존재할 경우, 상기 차량이 정지하는 시점에 상기 차량의 요레이트 센서 값을 획득하는 단계; 및 상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계를 포함할 수 있다.
또한, 상기 차량이 평지에 존재하는지 여부를 결정하는 단계는, 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 대한 상기 차선 정보를 획득하는 단계; 상기 획득된 차선 정보를 기초로 지면에 대한 평면 정보를 획득하는 단계; 및 상기 획득된 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계를 포함할 수 있다.
또한, 상기 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계는, 상기 평면 정보 중 법선 벡터와 미리 정해진 기준 벡터의 차이가 임계 차이 이하이면, 상기 차량이 평지에 존재하는 것으로 결정할 수 있다.
또한, 상기 차량의 요레이트 센서 값을 획득하는 단계는, 상기 획득된 차량의 추정 위치 정보에 대한 공분산의 대각 성분이 임계값 이하일 때, 상기 차량의 요레이트 센서 값을 획득할 수 있다.
또한, 상기 차량의 요레이트 센서 값을 획득하는 단계는, 상기 차량이 정지하는 복수의 시점에 상기 차량의 요레이트 센서 값을 복수 개 획득할 수 있다.
또한, 상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계는, 상기 획득된 복수의 요레이트 센서 값에 대한 히스토그램을 생성하는 단계; 상기 생성된 히스토그램 내 누적 값을 기초로 참조 구간을 설정하는 단계; 및 상기 참조 구간 내 상기 요레이트 센서 값의 평균을 상기 요레이트 센서에 대한 바이어스로 결정하는 단계를 포함할 수 있다.
또한, 상기 차량의 추정 위치 정보를 획득하는 단계는, GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도의 랜드마크를 상기 카메라 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 카메라 영상 간 매칭 정보에 기초하여 상기 카메라의 추정 위치 정보를 획득하는 단계; 및 상기 카메라의 추정 위치 정보를 기초로 상기 차량의 추정 위치 정보를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치는, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 추정 위치 획득부; 상기 획득된 차량의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리의 비로 정의되는 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 환산계수 결정부를 포함한다.
본 발명의 다른 실시예에 따른 차량용 센서의 보정 정보 결정 장치는, 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 추정 위치 획득부; 및 상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 따른 차선 정보에 기초하여 상기 차량의 요레이트 센서에 대한 바이어스(Bias)를 결정하는 바이어스 결정부를 포함한다.
본 발명의 실시예에 의하면, 휠 속도 센서 및 요레이트 센서의 보정을 위한 보정 정보를 정확하게 결정할 수 있어, 차량의 위치 추정 정확도를 높일 수 있다. 특히, 타이어의 공기압과 무관하게 휠 속도 센서에 대한 환산계수를 결정할 수 있고, 동작 시간, 내부 온도 등과 같은 외란(外亂)과 무관하게 요레이트 센서에 대한 바이어스를 결정할 수 있어, 차량용 센서의 감지 결과를 정확하게 보정할 수 있다.
그 결과, 카메라 영상과 정밀 지도의 매칭을 통한 차량의 위치 추정 결과가 정확하지 않은 경우에, 휠 속도 센서 및 요레이트 센서를 포함하는 차량용 센서에 의해 차량의 위치를 정확하게 추정할 수 있다. 이를 통해, 첨단 운전자 지원 시스템뿐만 아니라, 자율 주행 차량의 제어 정확도를 높임으로써, 운전자에 대한 주행 편의성 및 주행 안전성을 증대시킬 수 있다.
아울러, 별도의 센싱 수단을 추가함이 없이도, 종래 차량에 탑재된 센서의 감지 성능을 향상시킬 수 있어, 제조 원가를 절감할 수도 있다.
도 1 및 도 2는 본 발명의 여러 가지 실시예에 따른 차량용 센서의 보정 정보 결정 시스템의 제어 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 추정 위치 정보 획득 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 추정 위치 획득부에 의해 획득된 차량의 추정 위치 정보를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 환산계수 결정 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 휠 속도 센서에 대한 환산계수를 이용하여 차량의 위치를 보정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 바이어스 결정 방법에 대한 흐름도이다.
도 9는 본 발명의 일 실시에에 따른 요레이트 센서 값에 대한 히스토그램을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 및 도 2는 본 발명의 여러 가지 실시예에 따른 차량용 센서의 보정 정보 결정 시스템의 제어 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 시스템(1)은 차량(V) 및 차량용 센서의 보정 정보 결정 장치(100)로 구성될 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단을 의미할 수 있다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1의 차량(V)은 GPS 모듈을 구비하여, 적어도 하나의 GPS(Global Position System) 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 차량(V)은 위성 신호에 기초하여 GPS 기반 차량(V)의 현재 위치 및 차량(V)의 진행 방향 등을 획득할 수 있다.
또한, 도 1의 차량(V)은 정밀 지도를 미리 저장할 수 있다. 여기서, 정밀 지도는 안전하고 정밀한 차량(V) 제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 정밀 지도는 차선, 표지판, 신호등, 가드레일과 같은 도로 시설물에 대한 정보를 더 포함하는 지도를 의미할 수 있다.
아울러, 도 1의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경을 감지하기 위한 주행 환경 감지 수단을 포함할 수 있다. 본 발명의 일 실시예에 따른 주행 환경 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량(V) 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 첨단 운전자 보조 시스템은 감지 수단으로서 카메라를 포함할 수 있다. 카메라는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 카메라 영상을 촬영할 수 있다. 촬영된 카메라 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는데 이용될 수 있다.
이렇게 획득된 카메라 영상과 상술한 정밀 지도를 매칭하면 차량(V)의 현재 위치를 추정할 수 있다. 이 때, 위치 추정의 정확도를 높이기 위해, 차량(V)의 거동 정보를 참조할 수 있다. 이를 위해, 차량(V)은 거동 정보 감지 센서로서 차량(V)의 휠에 대한 회전 속도를 기초로 차량(V)의 이동 거리를 감지하는 휠 속도 센서 및/또는 차량(V)의 자세 정보를 감지하는 요레이트(Yaw Rate) 센서 등을 탑재할 수 있다.
한편, 거동 정보를 감지하기 위해 차량(V)에 탑재된 거동 정보 감지 센서는 센서 자체적인 요인 및/또는 거동 정보 감지 환경에 의하여 감지 정확도가 달라질 수 있다. 예를 들어, 거동 센서 중 휠 속도 센서는 휠에 장착된 타이어의 공기압에 영향을 받게 되어, 출력되는 센서 값에 오차가 발생할 수 있다. 또한, 거동 센서 중 요레이트 센서는 동작 시간, 내부 온도 등과 같은 외란에 의해 센서 자체의 바이어스(Bias) 값이 달라질 수 있다.
따라서, 거동 정보를 참조하여 차량(V)의 위치를 추정할 경우, 상술한 오차를 줄이기 위한 보정 정보를 이용하여 거동 정보 감지 센서에 의해 감지된 거동 정보를 보정할 필요가 있다. 이를 위해, 본 발명의 일 실시예에 따른 보정 정보 감지 시스템은 차량(V)에 탑재된 거동 정보 감지 센서 중 휠 속도 센서에 대한 보정 정보로서 환산계수를 결정하고, 거동 정보 감지 센서 중 요레이트 센서에 대한 보정 정보로서 바이어스를 결정할 수 있다.
다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)는 차량(V)으로부터 수신한 정보를 이용하여 차량용 센서의 보정 정보를 결정할 수 있다. 여기서, 보정 정보란 휠 속도 센서에 대한 환산계수 및 요레이트 센서에 대한 바이어스를 포함할 수 있다.
보정 정보 획득을 위해, 차량용 센서의 보정 정보 결정 장치(100)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)(V)과 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다. 다만, 본 발명의 차량용 센서 보정 정보 결정 장치(100)가 차량(V)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.
차량용 센서의 보정 정보 결정 장치(100)는 차량(V)으로부터 수신한 정보에 기초하여 차량(V)의 추정 위치 정보를 획득하고, 획득된 추정 위치 정보로부터 휠 속도 센서에 대한 환산계수와 요레이트 센서에 대한 바이어스 정보를 결정할 수 있다. 이를 위해, 차량용 센서의 보정 정보 결정 장치(100)는 추정 위치 획득부(110), 환산계수 결정부(120), 및 바이어스 결정부(130)를 포함할 수 있다.
추정 위치 획득부(110)는 차량(V)의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 차량(V)의 추정 위치 정보를 획득할 수 있다. 여기서, 추정 위치 정보란 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 획득되는 위치 정보를 의미하며, 위치 정보는 위치 좌표와 자세각을 포함할 수 있다.
환산계수 결정부(120)는 차량(V)의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리를 이용하여 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정할 수 있다. 여기서, 환산계수란 차량(V)의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리의 비로 정의될 수 있다.
바이어스 결정부(130)는 정밀 지도 내 차량(V)의 추정 위치 정보에 따른 차선 정보에 기초하여 차량(V)이 평지에 정지하는 것으로 판단되면, 차량(V)의 요레이트 센서에 대한 바이어스(Bias)를 결정할 수 있다.
본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 장치(100)의 각 구성은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU) 등으로 구현될 수 있다. 이와는 달리, 차량용 센서의 보정 정보 결정 장치(100)를 구성하는 복수의 구성이 하나의 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
한편, 도 1에서는 차량용 센서의 보정 정보 결정 장치(100)가 차량(V)과 별개로 마련되어 차량용 센서의 보정 정보 결정 시스템(1)을 구성하는 경우에 대하여 예시하고 있으나, 이와는 달리 차량용 센서의 보정 정보 결정 장치(100)가 차량(V) 내부에 마련되는 것도 가능할 수 있다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 차량용 센서의 보정 정보 결정 시스템(1)은 차량용 센서의 보정 정보 결정 장치(100)를 포함하는 차량(V)으로 구성될 수 있다. 다만, 차량용 센서의 보정 정보 결정 장치(100)가 마련되는 방식을 제외하고는, 도 1의 차량용 센서의 보정 정보 결정 시스템(1)과 도 2의 차량용 센서의 보정 정보 결정 시스템(1)의 동작 방식은 동일하다.
지금까지는 차량용 센서의 보정 정보 결정 시스템(1)의 각 구성에 대하여 설명하였다. 이하에서는 상술한 차량용 센서의 보정 정보 결정 장치(100)에 의해 수행되는 차량용 센서의 보정 정보 결정 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 차량용 센서의 보정 정보 결정 방법의 흐름도이다.
먼저 차량용 센서의 보정 정보 결정 장치(100)는 차량(V)의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 차량(V)의 추정 위치 정보를 획득할 수 있다(S100). 구체적으로, 차량용 센서의 보정 정보 결정 장치(100) 중 추정 위치 획득부(110)는 도 4의 방법에 따라 차량(V)의 추정 위치 정보를 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 차량의 추정 위치 정보 획득 방법의 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 추정 위치 획득부에 의해 획득된 차량의 추정 위치 정보를 예시한 도면이다.
추정 위치 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 카메라 영상에 매칭하여 카메라의 초기 위치 정보를 획득할 수 있다(S110). 이를 위해, 추정 위치 획득부(110)는 먼저 위성 신호를 기초로 결정되는 GPS 기반 차량(V)의 초기 위치 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 추정 위치 획득부(110)는 차량(V)으로부터 GPS 기반 차량(V)의 초기 위치 및 초기 자세각을 포함하는 초기 위치 정보를 수신할 수 있다. 이와는 달리, 다른 실시예에 따른 추정 위치 획득부(110)는 차량(V)으로부터 GPS 기반 챠량의 초기 위치만을 수신하고, 이를 이용하여 차량(V)의 초기 자세각을 포함하는 초기 위치 정보를 획득할 수도 있다.
GPS 기반의 차량(V)의 초기 위치 정보 획득 후, 추정 위치 획득부(110)는 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 카메라 영상에 매칭할 수 있다. 구체적으로, 추정 위치 획득부(110)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 1 관심 영역을 결정할 수 있다. 예를 들어, 추정 위치 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이내의 영역을 제 1 관심 영역으로 결정할 수 있다. 예를 들어, 제 1 반경은 수 m 이하일 수 있다.
제 1 관심 영역이 결정되면, 추정 위치 획득부(110)는 제 1 관심 영역 내에 존재하는 차선에 대한 제 1 랜드마크를 카메라에 의해 촬영된 카메라 영상에 매칭하여 카메라의 초기 자세각을 획득할 수 있다. 구체적으로, 카메라 초기 추정 위치 획득부는 수학식 1에 따라 카메라의 초기 자세각에 따른 회전 행렬 R을 획득할 수 있다.
여기서, 수학식 1의 해인 S*는 카메라의 초기 자세각에 대한 회전 행렬 R과 초기 위치에 대한 이동 행렬 T로 구성되는 초기 위치 정보를 나타내고, Zk는 카메라 영상으로부터 검출된 차선의 좌표를 의미하고, Pk는 Zk에 대응되는 정밀 지도 상의 랜드마크의 좌표를 의미하고, Czk와 Cpk 각각은 Zk와 Pk에 대한 오차를 나타내는 공분산을 의미하고, H는 함수 h()에 대한 편미분(Jacobian)을 의미할 수 있다. 또한, 함수 h()는 정밀 지도 상의 랜드마크 좌표를 카메라 영상에 투영하는 함수를 의미하며, 수학식 2에 따라 정의될 수 있다.
Figure 112019023633416-pat00002
여기서, T는 카메라의 초기 위치에 대한 이동 행렬을 의미하고, R은 카메라의 초기 자세각에 대한 회전 행렬을 의미하고, P는 정밀 지도 상에서 랜드마크의 좌표를 의미하고, K는 카메라 좌표계에 기초한 좌표를 카메라에 의해 촬영된 카메라 영상으로 투영하기 위한 카메라 내부 파라미터 행렬을 의미할 수 있다.
수학식 1의 해를 구하기 위해, 추정 위치 획득부(110)는 공지된 알고리즘 중 적어도 하나를 선택할 수 있으며, 예를 들어 Gauss Newton 알고리즘 또는 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
차선과 같이 일방향으로 연장되는 랜드마크의 Point Cloud Set의 특징점에 대한 공분산은 차선의 연장 방향으로 형성되는 타원 형상일 수 있다. 이를 기초로, 추정 위치 획득부(110)는 서로 가장 가까운 특징점들을 대응관계로 하여 수학식 1의 해를 반복 연산함으로써 제 1 랜드마크를 카메라 영상에 매칭할 수 있다.
일 방향으로 연장되는 차선에 대한 제 1 랜드마크를 카메라 영상에 매칭하고자 수학식 1을 연산하는 경우, 차선이 연장되는 종 방향에 대해서는 오차가 큰 반면, 횡 방향에 대해서는 오차가 작을 수 있다. 그 결과, 카메라의 초기 자세각에 대한 회전 행렬 R은 신뢰할 만한 정확도를 가질 수 있다.
반면, 카메라의 초기 위치에 대한 이동 행렬 T는 회전 행렬 R에 비해 부정확할 수 있다. 따라서, 추정 위치 획득부(110)는 차선 이외의 제 2 랜드마크를 카메라 영상에 매칭함으로써 카메라의 초기 위치에 대한 이동 행렬 T를 구할 수 있다. 구체적으로, 카메라 초기 추정 위치 획득부(110)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 2 관심 영역을 결정할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 추정 위치 획득부(110)는 GPS 기반 차량(V)의 초기 위치 정보를 기준으로 제 1 반경 이상의 제 2 반경 이내의 영역을 제 2 관심 영역으로 결정할 수 있다. 카메라 초기 위치 정보 중 초기 자세각이 획득된 바, 보다 넓은 범위 내의 랜드마크를 이용함으로써 카메라 초기 위치를 정확하게 획득하기 위함이다. 이 때, 제 2 반경은 수백 m 이하일 수 있다.
그 다음, 추정 위치 획득부(110)는 제 2 관심 영역 내에 존재하는 차선 이외의 제 2 랜드마크를 카메라의 초기 자세각을 기준으로 카메라 영상에 매칭하여 카메라의 초기 위치를 획득할 수 있다. 구체적으로, 추정 위치 획득부(110)는 수학식 1에 앞서 획득한 카메라 초기 자세각에 대한 회전 행렬 R을 대입하여 연산함으로써, 카메라 초기 위치에 대한 이동 행렬 T를 획득할 수 있다.
이와 같은 방법에 따라 카메라의 초기 위치 정보를 획득한 후, 추정 위치 획득부(110)는 카메라의 초기 위치 정보 및 차량(V)의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크와 카메라 카메라 영상 간 매칭 정보에 기초하여 카메라의 추정 위치 정보를 획득할 수 있다(S120).
이를 위해, 추정 위치 획득부(110)는 먼저 카메라의 초기 위치 정보 주변에 복수의 후보 위치 정보를 샘플링할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 추정 위치 획득부(110)는 카메라 초기 위치 정보를 평균으로 하고, 미리 정해진 공분산으로 에러 모델링이 설정된 가우시안 확률 모델을 이용하여 샘플링을 수행할 수 있다. 이 때, 가우시안 확률 모델은 자세각 3자유도, 위치 3자유도를 가지는 최소 6차원으로 정의될 수 있다.
그 다음, 추정 위치 획득부(110)는 Particle Filter를 이용하여 카메라의 추정 위치 정보를 획득할 수 있다. 구체적으로, 추정 위치 획득부(110)는 복수의 후보 위치 정보에 차량(V)의 주행 정보를 반영할 수 있다. 이 때, 추정 위치 획득부(110)는 수학식 3을 이용할 수 있다.
여기서, 행렬[x(k), y(k), θ(k)]는 k 시점에서의 차량(V)의 위치, 및 진행 방향을 의미하고, Sr은 차량(V)의 우측 휠 속도에 따른 이동거리, Sl은 차량(V)의 좌측 휠 속도에 따른 이동거리를 의미할 수 있다.
이를 위해, 추정 위치 획득부(110)는 차량(V)으로부터 휠 속도 정보 및 요레이트 정보를 포함하는 주행 정보를 수신할 수 있다.
그 다음, 추정 위치 획득부(110)는 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크와 카메라 영상 간 매칭 정보에 기초하여 복수의 후보 위치 정보 각각에 가중치를 부여할 수 있다. 이를 위해, 추정 위치 획득부(110)는 랜드마크가 추출된 카메라 카메라 영상을 이용할 수 있다.
카메라 영상으로부터 제 1 랜드마크 및 제 2 랜드마크가 추출되면, 추정 위치 획득부(110)는 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크를 카메라 영상에 매칭할 수 있다. 이 때, 추정 위치 획득부(110)는 랜드마크 매칭을 위해 도 2의 수학식을 이용할 수 있다.
매칭을 통해 매칭 오차가 확인되면, 추정 위치 획득부(110)는 매칭 오차에 대응되는 가중치를 획득할 수 있으며, 이는 수학식 4를 따를 수 있다.
여기서, Gσ는 가중치를 의미하며, (Δx, Δy)는 카메라 영상에서의 x와 y에 대한 오차를 의미하고, σ는 표준편차를 의미할 수 있다.
그 다음, 추정 위치 획득부(110)는 해당 후보 위치 정보에 대응되는 가중치를 부여함으로써, 매칭 오차를 반영할 수 있다.
가중치 부여 후, 추정 위치 획득부(110)는 가중치가 부여된 복수의 후보 위치 정보를 이용하여 복수의 후보 위치 정보를 새롭게 샘플링할 수 있다. 가중치가 부여된 결과에 기초하여 새롭게 샘플링을 수행하므로, 매칭 오차가 작은 후보 위치 정보 주변으로 복수의 후보 위치 정보가 수렴할 수 있다.
샘플링이 완료되면, 추정 위치 획득부(110)는 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하인지 확인할 수 있다. 여기서, 기준 표준편차란 복수의 후보 위치를 이용하여 카메라 추정 위치 정보를 획득할 수 있는 최대 표준편차를 의미할 수 있다.
만약, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하이면, 추정 위치 획득부(110)는 새롭게 샘플링된 복수의 후보 위치 정보의 평균값을 카메라의 추정 위치 정보로서 획득할 수 있다.
반면, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차보다 크면, 추정 위치 획득부(110)는 새롭게 샘플링된 복수의 후보 위치 정보에 차량(V)(V)의 주행 정보를 반영한 후, 상술한 과정을 반복 수행할 수 있다.
카메라의 추정 위치 정보가 획득되면, 추정 위치 획득부(110)는 카메라의 추정 위치 정보를 기초로 차량(V)의 추정 위치 정보를 획득할 수 있다(S130). 이를 위해, 추정 위치 획득부(110)는 먼저 카메라의 추정 위치 정보가 유효한지 여부를 결정할 수 있다.
구체적으로, 추정 위치 획득부(110)는 먼저 카메라의 추정 위치 정보에 대응되는 정밀 지도의 랜드마크 중 차선 이외의 제 2 랜드마크를 확인할 수 있다. 그 다음, 추정 위치 획득부(110)는 제 2 랜드마크 각각의 매칭 오차에 대응되는 카메라 추정 위치 정보의 가중치를 획득할 수 있다. 여기서, 카메라 추정 위치 정보의 가중치는 상술한 수학식 4를 따를 수 있다.
제 2 랜드마크 각각의 매칭 오차에 대응되는 가중치가 획득되면, 추정 위치 획득부(110)는 기준치 이상의 가중치의 수가 기준 개수 이상인지 확인할 수 있다. 여기서, 기준치란 카메라의 위치 정보를 유효한 것으로 결정할 수 있을 때의 매칭 오차에 따른 최소 가중치를 의미하고, 기준 개수란 카메라의 위치 정보를 유효한 것으로 결정할 수 있을 때의 기준치 이상의 가중치의 최소 개수를 의미할 수 있다.
만약, 기준치 이상의 가중치의 수가 기준 개수 이상이면, 추정 위치 획득부(110)는 추정된 카메라의 위치 정보를 유효한 것으로 결정할 수 있다. 그 결과, 추정 위치 획득부(110)는 카메라 추정 위치 정보를 이용하여 차량(V)의 추정 위치 정보를 획득할 수 있다. 이 때, 추정 위치 획득부(110)는 이동 행렬 T 및 회전 행렬 R을 이용하여 차량(V)의 추정 위치 정보를 획득할 수 있다.
반면, 기준치 이상의 가중치의 수가 기준 개수 미만이면, 추정 위치 획득부(110)는 추정된 카메라의 위치 정보를 유효하지 않은 것으로 결정할 수 있다. 그 다음, 추정 위치 획득부(110)는 카메라의 초기 위치 정보를 새롭게 획득함으로써, 차량(V) 추정 위치 획득 과정을 다시 수행할 수 있다.
상술한 방법과는 달리, 본 발명의 다른 실시예에 따른 추정 위치 획득부(110)는 매 프레임 카메라 영상에 대하여 상술한 유효성 검증을 수행하고, 수행 결과를 미리 정해진 기준과 비교하여 추정된 카메라의 위치 정보의 유효성을 검증할 수도 있다. 또는, 본 발명의 또 다른 실시예에 따른 추정 위치 획득부(110)는 차량(V)이 미리 정해진 소정 거리를 주행하는 동안 검증을 반복 수행하여, 추정된 카메라 위치 정보가 유효하지 않으면, 카메라의 초기 위치 정보를 새롭게 획득하는 것도 가능할 수 있다.
이처럼, 추정 위치 획득부(110)는 매 프레임 카메라 영상, 미리 정해진 주기, 또는 미리 정해진 주행 거리를 기준으로 반복하여 유효성 검증을 수행함으로써, 추정된 카메라 위치 정보를 모니터링하고, 그 결과를 기초로 차량(V)의 추정 위치 정보를 획득할 수 있다.
도 5를 참조하면, 이렇게 획득된 차량(V)의 추정 위치 정보는 추정 위치 좌표 Pv와 공분산 Sc로 구성될 수 있다. 추정 위치 좌표 Pv는 2차원으로 표현되는 추정 위치와 추정 자세각으로 이루어질 수 있고, 공분산 Sc는 추정 위치 좌표의 오차를 나타내는 대각 성분을 포함하는 행렬로 나타낼 수 있다. 이 때, 공분산 Sc는 요레이트 센서 값을 대체될 수도 있다.
차량(V)의 추정 위치 정보를 획득한 후, 차량용 센서의 보정 정보 결정 장치(100)는 이를 이용하여 휠 속도 센서에 대한 환산계수를 결정할 수 있다. 다시 도 3을 참조하면, 차량용 센서의 보정 정보 결정 장치(100)는 차량(V)의 추정 위치 정보를 기초로 획득되는 추정 이동 거리와 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리를 이용하여 휠 속도 센서에 대한 환산계수를 결정할 수 있다(S200). 구체적으로, 차량용 센서의 보정 정보 결정 장치(100) 중 환산계수 결정부(120)는 도 6에 따라 횔 속도 센서에 대한 환산계수를 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 환산계수 결정 방법에 대한 흐름도이다.
환산계수 결정부(120)는 먼저 차량(V)의 추정 위치 정보에 대한 공분산의 대각 성분이 임계값 이하인 추정 위치 정보를 획득할 수 있다(S210). 상술한 바와 같이, 행렬로 표현되는 공분산에 있어서 대각 성분이 작다는 것은 확률적으로 획득된 차량(V)의 추정 위치 정보의 오차가 작다는 것을 의미할 수 있다. 그 결과, 차량(V)의 이동 거리를 구하기 위한 출발 위치 좌표와 종료 위치 좌표는 공분산의 대각 성분이 작을수록 계산된 차량(V) 이동 거리의 정확도가 높을 수 있다.
따라서, 환산계수 결정부(120)는 추정 위치 획득부(110)에서 획득한 복수의 추정 위치 정보를 임계값과 비교하여, 임계값 이하인 추정 위치 정보를 획득할 수 있다. 여기서, 임계값은 신뢰할 수 있는 추정 위치 정보에 대한 공분산의 최대값을 의미할 수 있다.
그 다음, 환산계수 결정부(120)는 공분산의 대각 성분이 임계값 이하인 추정 위치 정보 중 추정 이동 거리가 임계 거리 이상인 두 개의 추정 위치 정보를 선택할 수 있다(S220). 환산계수를 결정하기 위해서는 두 개의 추정 위치 정보에 따른 추정 이동 거리를 기준으로 휠 속도 센서에 의해 감지된 차량(V)의 이동거리를 비교하므로, 출발 위치 좌표와 종료 위치 좌표는 멀수록 유리할 수 있다.
따라서, 환산계수 결정부(120)는 분산의 대각 성분이 임계값 이하인 추정 위치 정보 중 추정 이동 거리를 임계 거리와 비교하여, 임계 거리 이상인 두 개의 추정 위치 정보를 선택할 수 있다. 여기서, 임계 거리란 신뢰할 수 있는 환산계수를 결정하는데 이용될 수 있는 추정 이동 거리의 최소 값을 의미할 수 있다.
마지막으로, 환산계수 결정부(120)는 차량(V)의 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리 및 선택된 두 개의 추정 위치 정보에 따른 추정 이동 거리를 기초로 휠 속도 센서에 대한 환산계수를 획득할 수 있다(S230). 여기서, 휠 속도 센서에 대한 환산계수 λ는 수학식 3에 의해 정의될 수 있다.
여기서, D1은 휠 속도 센서에 의해 감지된 차량(V)의 이동 거리를 의미하고, D2는 선택된 두 개의 추정 위치 정보에 따른 추정 이동 거리를 의미할 수 있다.
휠 속도 센서는 차량(V)의 좌측 휠 및 우측 휠의 회전 속도 및 이에 기초하여 이동 거리를 감지할 수 있다. 구체적으로, 휠 속도 센서는 차량(V)의 좌측 휠에 대한 이동 거리 Sl과 우측 휠에 대한 이동 거리 Sr의 평균 S를 차량(V)의 이동 거리 D1으로서 감지할 수 있다.
환산계수 결정부(120)는 앞서 선택한 두 개의 추정 위치 정보에 따른 추정 이동 거리 D2를 차량(V)의 이동 거리 D1으로 나누어 환산계수 λ를 획득할 수 있다. 이렇게 획득된 환산계수 λ는 추후 차량(V)의 위치를 보정하는데 이용될 수 있다. 이하에서는, 도 7을 참조하여, 환산계수를 이용하여 차량(V)의 위치를 보정하는 방법을 설명한다.
도 7은 본 발명의 일 실시예에 따른 휠 속도 센서에 대한 환산계수를 이용하여 차량의 위치를 보정하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, k시점에 원점 O에 위치하는 폭이 b인 차량(V)이 곡선 주행하여 k+1시점에 A에 위치하는 경우, 휠 속도 센서의 감지 값을 기초로 k+1시점에 차량(V)의 위치를 구할 수 있다. 특히, 휠 속도 센서에 대한 환산계수 λ를 이용하여 휠 속도 센서의 감지 값을 보정함으로써 k+1시점에서의 차량(V)의 위치를 보다 정확하게 획득할 수 있다.
휠 속도 센서에 의해 차량(V)의 좌측 휠에 대한 이동 거리 Sl과 우측 휠에 대한 이동 거리 Sr가 제공되면, k+1시점에서의 차량(V)의 위치 (x', y')는 수학식 6에 따라 보정될 수 있다.
수학식 6은 수학식 3에 휠 속도 센서에 대한 환산계수 λ를 적용한 것으로, 행렬[x(k), y(k), θ(k)]는 k 시점에서의 차량(V)의 위치, 및 진행 방향을 의미하고, Sr은 차량(V)의 우측 휠 속도에 따른 이동거리, Sl은 차량(V)의 좌측 휠 속도에 따른 이동거리를 의미할 수 있다.
한편, 환산계수 결정부(120)는 추정 위치 획득부(110)로부터 획득된 서로 다른 복수의 추정 위치 정보를 기초로 휠 속도 센서에 대한 환산계수를 결정할 수도 있다. 이를 위해, 환산계수 결정부(120)는 먼저 휠 속도 센서에 의해 순차적으로 획득된 서로 다른 추정 위치 정보 각각을 이용하여 후보 환산계수를 결정한 후, 결정된 순서대로 저장할 수 있다.
그 다음, 환산계수 결정부(120)는 저장 시점이 현재 시점으로부터 인접한 순서에 따라 미리 정해진 참조 개수의 후보 환산계수의 평균을 획득할 수 있다. 여기서, 참조 개수는 환산계수를 결정하는데 이용될 최적의 후보 환산계수의 수를 의미할 수 있다.
마지막으로, 환산계수 결정부(120)는 획득된 후보 환산계수의 평균으로 휠 속도 센서에 대한 환산계수를 결정할 수 있다. 환산계수 결정부(120)는 새로운 후보 환산계수가 획득될 때마다, 환산계수를 새롭게 결정하여 갱신할 수 있다. 이를 통해, 환산계수 결정부(120)는 차륜에 장착된 타이어 공기압 등의 외부 환경 변화가 실시간으로 반영된 휠 속도 센서에 대한 환산계수를 결정할 수 있다.
다시 도 3을 참조하면, 차량용 센서의 보정 정보 획득 장치는 정밀 지도 내 차량(V)의 추정 위치 정보에 따른 차선 정보에 기초하여 차량(V)의 요레이트 센서에 대한 바이어스를 결정할 수 있다(S300). 구체적으로, 차량용 센서의 보정 정보 획득 장치 중 바이어스 결정부(130)는 도 8에 따라 요레이트 센서에 대한 바이어스를 결정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 바이어스 결정 방법에 대한 흐름도이고, 도 9는 본 발명의 일 실시에에 따른 요레이트 센서 값에 대한 히스토그램을 예시한 도면이다.
바이어스 결정부(130)는 먼저 정밀 지도 내 차량(V)의 추정 위치 정보에 따른 차선 정보를 기초로 지면에 대한 평면 정보를 획득할 수 있다(S310). 이를 위해, 바이어스 결정부(130)는 바이어스 결정에 이용할 차량(V)의 추정 위치 정보를 미리 선택할 수 있다. 상술한 바와 같이, 공분산이 작을수록 추정 위치 정보의 위치 정확도가 높음을 의미하므로, 바이어스 결정부(130)는 추정 위치 획득부(110)에 의해 획득된 추정 위치 정보 중 공분산의 대각 성분이 임계값 이하인 추정 위치 정보를 선택할 수 있다. 여기서, 임계값은 신뢰할 수 있는 추정 위치 정보에 대한 공분산의 최대값을 의미할 수 있다.
그 다음, 바이어스 결정부(130)는 추정 위치 획득부(110)에 의해 획득된 차량(V)의 추정 위치 정보를 정밀 지도 상에서 확인한 후, 해당 위치로부터 결정되는 관심 영역 내 차선 정보를 획득할 수 있다. 여기서, 관심 영역이란 차량(V)의 추정 위치 정보로부터 결정되는 주변 영역을 의미할 수 있다.
바이어스 결정부(130)는 획득된 차선 정보를 기초로 지면에 대한 평면 정보를 획득할 수 있다. 이를 위해, 바이어스 결정부(130)는 획득된 차선의 꼭짓점(Vertex)의 분포에 대한 공분산(Covariance)를 구한 다음, 고유값 분해(Eigenvalue Decomposition) 방법에 따라 최소의 고유값에 해당하는 고유 벡터(Eigenvector)를 획득할 수 있다. 이 때, 바이어스 결정부(130)는 최소 고유값 및 그 다음 고유값의 비율이 기준 고유값 비율보다 큰 경우에만 선택된 수직 방향이 신뢰할 수 있다고 결정할 수 있다.
이렇게 획득된 고유 벡터는 지면에 대한 평면 정보로서 지면의 법선 벡터를 의미할 수 있다.
그 다음, 바이어스 결정부(130)는 획득된 지면의 평면 정보를 기초로 차량(V)이 평지에 존재하는지 여부를 판단할 수 있다(S320). 이를 위해, 바이어스 결정부(130)는 지면의 평면 정보 중 법선 벡터를 기준 벡터와 비교할 수 있다. 여기서, 기준 벡터란 지면이 평지일 때의 법선 벡터를 의미하고, 바람직하게는 [0,0,1]로 결정될 수 있다.
만약, 평면 정보 중 법선 벡터와 기준 벡터의 차이가 임계 차이를 초과하면, 바이어스 결정부(130)는 차량(V)이 경사로에 존재하는 것으로 판단할 수 있다. 반면, 평면 정보 중 법선 벡터와 기준 벡터의 차이가 임계 차이 이하이면, 바이어스 결정부(130)는 차량(V)이 경사로에 존재하지 않는 것으로 판단할 수 있다. 여기서, 임계 차이란 지면으로 간주할 수 있는 오차 범위를 의미할 수 있다.
차량(V)이 평지에 존재하지 않는 것으로 판단되면, 바이어스 결정부(130)는 다른 시점에 평면 정보를 다시 획득할 수 있다.
이와는 달리, 차량(V)이 평지에 존재하는 것으로 판단되면, 바이어스 결정부(130)는 차량(V)이 정지하는 시점에 차량(V)의 요레이트 센서 값을 획득할 수 있다(S330). 마지막으로, 바이어스 결정부(130)는 획득된 요레이트 센서 값을 기초로 요레이트 센서에 대한 바이어스를 결정할 수 있다(S340).
본 발명의 일 실시예에 따른 바이어스 결정부(130)는 현재 요레이트 센서에 대한 바이어스를 획득된 요레이트 센서 값으로 대체할 수 있다. 이와는 달리, 본 발명의 다른 실시예에 따른 바이어스 결정부(130)는 차량(V)이 정지하는 복수의 시점에 차량(V)의 요레이트 센서 값을 복수 개 획득하고, 이에 기초하여 요레이트 센서에 대한 바이어스를 획득할 수도 있다.
구체적으로, 바이어스 결정부(130)는 획득된 복수의 요레이트 센서 값에 대한 히스토그램을 생성할 수 있다. 도 9를 참조하면, 바이어스 결정부(130)는 획득된 요레이트 센서 값을 누적함으로써, 각각의 요레이트 센서 값에 대한 누적 데이터 수로 구성되는 히스토그램을 생성할 수 있다.
그 다음, 바이어스 결정부(130)는 생성된 히스토그램 내 누적 값을 기초로 참조 구간을 설정할 수 있다. 여기서, 참조 구간이란 실제 바이어스를 결정하는데 이용될 요레이트 센서 값 구간을 의미할 수 있다. 참조 구간 설정을 위해, 바이어스 결정부(130)는 최다 데이터가 누적된 요레이트 센서 값을 탐색할 수 있다. 도 9의 경우, 바이어스 결정부(130)는 최다 데이터가 누적된 요레이트 센서 값인 DT를 탐색할 수 있다. 최다 데이터가 누적된 요레이트 센서 값을 탐색한 후, 바이어스 결정부(130)는 탐색된 요레이트 센서 값을 기초로 소정 구간을 탐색 구간으로 설정할 수 있다. 도 9의 경우, 바이어스 결정부(130)는 탐색된 요레이트 센서 값 주변으로 Ds의 탐색 구간을 설정할 수 있다.
마지막으로, 바이어스 결정부(130)는 참조 구간 내 요레이트 센서 값의 평균을 요레이트 센서에 대한 바이어스로 결정할 수 있다. 이 때, 참조 구간 내 누적 데이터 수에 따라 요레이트 센서 값의 가중 평균으로 바이어스를 결정할 수도 있다.
또한, 시간이 지남에 따라 요레이트 센서의 바이어스가 변화하므로, 차량(V)이 평지에서 정지할 때마다, 바이어스 결정부(130)는 요레이트 센서 값을 히스토그램에 반영할 수 있다. 또한, 누적 시점으로부터 임계 시간이 지난 요레이트 센서 값은 히스토그램에서 삭제할 수도 있다. 이를 통해, 최근의 데이터에 기반한 요레이트 센서에 대한 바이어스를 결정할 수 있다.
또한, 특정 위치에서 바이어스가 오버 피팅(Over Fitting) 되는 것을 방지할 수 있도록, 바이어스 결정부(130)는 특정 위치에서 출력된 요레이트 센서 값이 히스토그램에 반영될 수 있는 개수를 제한할 수도 있다.
상술한 방법에 따라 바이어스가 결정되면, 이후 요레이트 센서로부터 출력되는 센서 값을 보정할 수 있다. 이를 통해, 동작 시간, 내부 온도 등과 같은 외란이 실시간으로 반영된 요레이트 센서에 대한 바이어스를 결정할 수 있다.
휠 속도 센서 및 요레이트 센서의 보정을 위한 보정 정보를 정확하게 결정할 수 있어, 차량(V)의 위치 추정 정확도를 높일 수 있다. 특히, 타이어의 공기압과 무관하게 휠 속도 센서에 대한 환산계수를 결정할 수 있고, 동작 시간, 내부 온도 등과 같은 외란(外亂)과 무관하게 요레이트 센서에 대한 바이어스를 결정할 수 있어, 차량용 센서의 감지 결과를 정확하게 보정할 수 있다.
그 결과, 카메라 영상과 정밀 지도의 매칭을 통한 차량(V)의 위치 추정 결과가 정확하지 않은 경우에, 휠 속도 센서 및 요레이트 센서를 포함하는 차량용 센서에 의해 차량(V)의 위치를 정확하게 추정할 수 있다. 이를 통해, 첨단 운전자 지원 시스템뿐만 아니라, 자율 주행 차량(V)의 제어 정확도를 높임으로써, 운전자에 대한 주행 편의성 및 주행 안전성을 증대시킬 수 있다.
아울러, 별도의 센싱 수단을 추가함이 없이도, 종래 차량(V)에 탑재된 센서의 감지 성능을 향상시킬 수 있어, 제조 원가를 절감할 수도 있다.
한편, 상술한 일 실시예에 따른 차량용 센서의 보정 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 차량용 센서의 보정 정보 획득 장치 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
1: 차량용 센서의 보정 정보 획득 시스템
100: 차량용 센서의 보정 정보 획득 장치
V: 차량

Claims (15)

  1. 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및
    상기 획득된 차량의 추정 위치 정보를 기초로 산출되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리에 기초하여 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 단계를 포함하되,
    상기 차량의 추정 위치 정보를 획득하는 단계는,
    GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도 상의 위치를 기초로 상기 정밀 지도상의 제 1 랜드마크 및 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 결정하는 단계;
    상기 카메라의 초기 자세각 정보를 기준으로, 상기 정밀 지도 상의 제 1 랜드마크를 상기 카메라 영상과 매칭하여 상기 카메라의 초기 자세각 정보을 획득하는 단계;
    상기 정밀 지도 상의 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 상기 카메라 영상과 매칭하여 상기 정밀 지도 상에서의 상기 카메라의 초기 위치 정보를 획득하는 단계; 및
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기반으로 상기 정밀 지도 상에서의 상기 카메라의 추정 위치 정보를 획득하고, 획득된 카메라의 추정 위치 정보로부터 상기 정밀 지도 상에서의 상기 차량의 추정 위치 정보를 산출하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  2. 제 1 항에 있어서,
    상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는,
    상기 획득된 차량의 추정 위치 정보들 중에서, 상기 추정 위치 정보에 대한 공분산(Covariance)의 대각 성분이 임계값 이하이고, 상기 추정 이동 거리가 임계 거리 이상인 두 개의 추정 위치 정보를 선택하는 단계; 및
    상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리 및 상기 선택된 두 개의 추정 위치 정보에 따라 산출된 상기 추정 이동 거리를 기초로 상기 휠 속도 센서에 대한 환산계수를 획득하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  3. 제 1 항에 있어서,
    상기 휠 속도 센서에 대한 환산계수를 결정하는 단계는,
    서로 다른 추정 위치 정보들을 기초로 획득되는 복수의 후보 환산계수를 저장하는 단계;
    상기 복수의 후보 환산계수 중에서, 저장 시점이 현재 시점으로부터 인접한 순서에 따라 미리 정해진 참조 개수만큼의 후보 환산계수들의 평균을 획득하는 단계; 및
    상기 획득된 후보 환산계수들의 평균으로 상기 휠 속도 센서에 대한 환산계수를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  4. 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 단계; 및
    상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 따라 결정되는 차선 정보에 기초하여 상기 차량의 요레이트 센서에 대한 바이어스(Bias)를 결정하는 단계를 포함하되,
    상기 차량의 추정 위치 정보를 획득하는 단계는,
    GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도 상의 위치를 기초로 상기 정밀 지도상의 제 1 랜드마크 및 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 결정하는 단계;
    상기 카메라의 초기 자세각 정보를 기준으로, 상기 정밀 지도 상의 제 1 랜드마크를 상기 카메라 영상과 매칭하여 상기 카메라의 초기 자세각 정보을 획득하는 단계;
    상기 정밀 지도 상의 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 상기 카메라 영상과 매칭하여 상기 정밀 지도 상에서의 상기 카메라의 초기 위치 정보를 획득하는 단계; 및
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기반으로 상기 정밀 지도 상에서의 상기 카메라의 추정 위치 정보를 획득하고, 획득된 카메라의 추정 위치 정보로부터 상기 정밀 지도 상에서의 상기 차량의 추정 위치 정보를 산출하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  5. 제 4 항에 있어서,
    상기 차량의 요레이트 센서에 대한 바이어스를 결정하는 단계는,
    상기 차선 정보에 기초하여 상기 차량이 평지에 존재하는지 여부를 결정하는 단계;
    상기 차량이 평지에 존재할 경우, 상기 차량이 정지하는 시점에 상기 차량의 요레이트 센서 값을 획득하는 단계; 및
    상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  6. 제 5 항에 있어서,
    상기 차량이 평지에 존재하는지 여부를 결정하는 단계는,
    상기 차선 정보를 기초로 지면에 대한 평면 정보를 획득하는 단계; 및
    상기 획득된 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  7. 제 6 항에 있어서,
    상기 평면 정보를 기초로 상기 차량이 평지에 존재하는지 여부를 결정하는 단계는,
    상기 평면 정보 중 법선 벡터와 미리 정해진 기준 벡터의 차이가 임계 차이 이하이면, 상기 차량이 평지에 존재하는 것으로 결정하는
    차량용 센서의 보정 정보 결정 방법.
  8. 제 5 항에 있어서,
    상기 차량의 요레이트 센서 값을 획득하는 단계는,
    상기 획득된 차량의 추정 위치 정보에 대한 공분산의 대각 성분이 임계값 이하일 때, 상기 차량의 요레이트 센서 값을 획득하는
    차량용 센서의 보정 정보 결정 방법.
  9. 제 5 항에 있어서,
    상기 차량의 요레이트 센서 값을 획득하는 단계는,
    상기 차량이 정지하는 복수의 시점에 상기 차량의 요레이트 센서 값을 복수 개 획득하는
    차량용 센서의 보정 정보 결정 방법.
  10. 제 9 항에 있어서,
    상기 획득된 요레이트 센서 값을 기초로 상기 요레이트 센서에 대한 바이어스를 결정하는 단계는,
    상기 획득된 복수의 요레이트 센서 값에 대한 히스토그램을 생성하는 단계;
    상기 생성된 히스토그램 내 누적 값을 기초로 참조 구간을 설정하는 단계; 및
    상기 참조 구간 내에서의 요레이트 센서 값의 평균을 상기 요레이트 센서에 대한 바이어스로 결정하는 단계를 포함하는
    차량용 센서의 보정 정보 결정 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 차량의 추정 위치 정보를 산출하는 단계는,
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 카메라 영상 간 매칭 정보에 기초하여 상기 카메라의 추정 위치 정보를 획득하는,
    차량용 센서의 보정 정보 결정 방법.
  12. 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 추정 위치 획득부; 및
    상기 획득된 차량의 추정 위치 정보를 기초로 산출되는 추정 이동 거리와 상기 차량의 휠 속도 센서에 의해 감지된 상기 차량의 이동 거리에 기초하여 상기 휠 속도 센서에 대한 환산계수(Scale Factor)를 결정하는 환산계수 결정부를 포함하되,
    상기 추정 위치 획득부는,
    GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도 상의 위치를 기초로 상기 정밀 지도상의 제 1 랜드마크 및 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 결정하고,
    상기 카메라의 초기 자세각 정보를 기준으로, 상기 정밀 지도 상의 제 1 랜드마크를 상기 카메라 영상과 매칭하여 상기 카메라의 초기 자세각 정보을 획득하고,
    상기 정밀 지도 상의 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 상기 카메라 영상과 매칭하여 상기 정밀 지도 상에서의 상기 카메라의 초기 위치 정보를 획득하며,
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기반으로 상기 정밀 지도 상에서의 상기 카메라의 추정 위치 정보를 획득하고, 획득된 카메라의 추정 위치 정보로부터 상기 정밀 지도 상에서의 상기 차량의 추정 위치 정보를 산출하는
    차량용 센서의 보정 정보 획득 장치.
  13. 차량의 카메라에 의해 촬영된 카메라 영상과 정밀 지도의 랜드마크 간 매칭 정보에 기초하여 상기 차량의 추정 위치 정보를 획득하는 추정 위치 획득부; 및
    상기 정밀 지도 내 상기 획득된 차량의 추정 위치 정보에 따른 차선 정보에 기초하여 상기 차량의 요레이트 센서에 대한 바이어스(Bias)를 결정하는 바이어스 결정부를 포함하되,
    상기 추정 위치 획득부는,
    GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도 상의 위치를 기초로 상기 정밀 지도상의 제 1 랜드마크 및 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 결정하고,
    상기 카메라의 초기 자세각 정보를 기준으로,
    상기 정밀 지도 상의 제 1 랜드마크를 상기 카메라 영상과 매칭하여 카메라의 초기 자세각 정보을 획득하고,
    상기 정밀 지도 상의 상기 제 1 랜드마크와 상이한 제 2 랜드마크를 상기 카메라 영상과 매칭하여 상기 정밀 지도 상에서의 상기 카메라의 초기 위치 정보를 획득하며,
    상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기반으로 상기 정밀 지도 상에서의 상기 카메라의 추정 위치 정보를 획득하고, 획득된 카메라의 추정 위치 정보로부터 상기 정밀 지도 상에서의 상기 차량의 추정 위치 정보를 산출하는
    차량용 센서의 보정 정보 획득 장치.
  14. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
  15. 삭제
KR1020190026434A 2019-03-07 2019-03-07 차량용 센서의 보정 정보 획득 장치 및 방법 KR102634443B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190026434A KR102634443B1 (ko) 2019-03-07 2019-03-07 차량용 센서의 보정 정보 획득 장치 및 방법
CN202080018430.XA CN113544034B (zh) 2019-03-07 2020-03-02 用于确定交通工具传感器的校正信息的装置和方法
PCT/KR2020/002976 WO2020180076A1 (ko) 2019-03-07 2020-03-02 차량용 센서의 보정 정보 획득 장치 및 방법
US17/467,201 US20210396527A1 (en) 2019-03-07 2021-09-04 Apparatus and method for determining of correction information of vehicle sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190026434A KR102634443B1 (ko) 2019-03-07 2019-03-07 차량용 센서의 보정 정보 획득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200107382A KR20200107382A (ko) 2020-09-16
KR102634443B1 true KR102634443B1 (ko) 2024-02-05

Family

ID=72337919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190026434A KR102634443B1 (ko) 2019-03-07 2019-03-07 차량용 센서의 보정 정보 획득 장치 및 방법

Country Status (3)

Country Link
US (1) US20210396527A1 (ko)
KR (1) KR102634443B1 (ko)
WO (1) WO2020180076A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179115A1 (en) * 2019-12-16 2021-06-17 GM Global Technology Operations LLC Method and apparatus for monitoring a yaw sensor
CN114018284B (zh) * 2021-10-13 2024-01-23 上海师范大学 一种基于视觉的轮速里程计校正方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252760A (ja) * 2010-06-01 2011-12-15 Honda Motor Co Ltd ヨーレート検出装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5425713B2 (ko) * 1974-01-18 1979-08-30
KR100855657B1 (ko) * 2006-09-28 2008-09-08 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
KR101100827B1 (ko) * 2009-11-30 2012-01-02 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
US8447519B2 (en) * 2010-11-10 2013-05-21 GM Global Technology Operations LLC Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors
KR101514132B1 (ko) 2013-06-21 2015-04-22 현대위아 주식회사 사륜 구동 차량의 조향각 추정 방법
US9528834B2 (en) * 2013-11-01 2016-12-27 Intelligent Technologies International, Inc. Mapping techniques using probe vehicles
US9683849B2 (en) * 2015-04-01 2017-06-20 Trimble Inc. Vehicle navigation system with adaptive gyroscope bias compensation
MX2017015063A (es) * 2015-05-26 2018-05-07 Crown Equip Corp Sistemas y metodos para la calibracion del dispositivo de captura de imagenes para un vehiculo de manejo de materiales.
KR101878685B1 (ko) * 2016-02-12 2018-07-16 서울과학기술대학교 산학협력단 지도 정보를 이용한 차량 측위 시스템 및 방법
US10275550B2 (en) * 2016-04-27 2019-04-30 The Climate Corporation Assimilating a soil sample into a digital nutrient model
US10829149B1 (en) * 2017-03-01 2020-11-10 Zoox, Inc. Steering control for vehicles
US11087200B2 (en) * 2017-03-17 2021-08-10 The Regents Of The University Of Michigan Method and apparatus for constructing informative outcomes to guide multi-policy decision making
KR102273355B1 (ko) * 2017-06-20 2021-07-06 현대모비스 주식회사 차량 주행 정보의 보정 장치 및 방법
JP6911693B2 (ja) * 2017-10-11 2021-07-28 トヨタ自動車株式会社 運転支援制御システム
WO2019098002A1 (ja) * 2017-11-20 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
US10440271B2 (en) * 2018-03-01 2019-10-08 Sony Corporation On-chip compensation of rolling shutter effect in imaging sensor for vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252760A (ja) * 2010-06-01 2011-12-15 Honda Motor Co Ltd ヨーレート検出装置

Also Published As

Publication number Publication date
WO2020180076A1 (ko) 2020-09-10
KR20200107382A (ko) 2020-09-16
CN113544034A (zh) 2021-10-22
US20210396527A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CA2987373C (en) Position estimation device and position estimation method
CN112189225B (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
JP5168601B2 (ja) 自車位置認識システム
WO2018221453A1 (ja) 出力装置、制御方法、プログラム及び記憶媒体
WO2018181974A1 (ja) 判定装置、判定方法、及び、プログラム
KR102071418B1 (ko) 차량용 카메라 캘리브레이션 장치 및 방법
US11703344B2 (en) Landmark location estimation apparatus and method, and computer-readable recording medium storing computer program programmed to perform method
KR102331312B1 (ko) 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템
JP7155284B2 (ja) 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体
CN112805766B (zh) 用于更新详细地图的装置和方法
Kellner et al. Road curb detection based on different elevation mapping techniques
US20210396527A1 (en) Apparatus and method for determining of correction information of vehicle sensor
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
JP2023164553A (ja) 位置推定装置、推定装置、制御方法、プログラム及び記憶媒体
KR20210051030A (ko) 센서 바이어스 보정 방법 및 장치
KR20200141871A (ko) 차선 정보 획득 장치 및 방법
KR20210041969A (ko) 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법
US11740103B2 (en) Map creation device, map creation system, map creation method, and storage medium
CN113544034B (zh) 用于确定交通工具传感器的校正信息的装置和方法
US20240219570A1 (en) LiDAR-BASED OBJECT DETECTION METHOD AND DEVICE
WO2023017624A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
CN117723055A (zh) 一种用于自主代客泊车的低成本定位方法及***

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant