KR20210014970A - 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법 - Google Patents

영상 기반 주행거리 측정 시스템의 보정 장치 및 방법 Download PDF

Info

Publication number
KR20210014970A
KR20210014970A KR1020190093107A KR20190093107A KR20210014970A KR 20210014970 A KR20210014970 A KR 20210014970A KR 1020190093107 A KR1020190093107 A KR 1020190093107A KR 20190093107 A KR20190093107 A KR 20190093107A KR 20210014970 A KR20210014970 A KR 20210014970A
Authority
KR
South Korea
Prior art keywords
vehicle
speed
image
feature point
calculated
Prior art date
Application number
KR1020190093107A
Other languages
English (en)
Inventor
여종윤
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020190093107A priority Critical patent/KR20210014970A/ko
Publication of KR20210014970A publication Critical patent/KR20210014970A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 영상 기반 주행거리 측정 시스템의 보정 장치에 관한 것으로, 차량에 장착된 적어도 하나의 카메라를 이용해 촬영된 영상을 수신하는 영상 정보 수신부; 차량에 장착된 적어도 하나의 센서를 이용해 검출된 센싱 정보를 수신하는 차량 정보 수신부; 및 상기 영상 정보에서 특징점을 추출하여 해당 특징점의 속도를 추정하고 상기 센싱 정보를 이용하여 차속을 추정한 후, 상기 특징점의 속도를 변환하여 산출한 차속과 상기 센싱 정보를 이용하여 추정한 차속간의 상대 속도에 기초하여 상기 영상 정보에서 추출된 특징점 중 이상점을 판별하여 제거하는 제어부;를 포함한다.

Description

영상 기반 주행거리 측정 시스템의 보정 장치 및 방법{APPARATUS FOR CORRECTING INFORMATION OF IMAGE BASED DISTANCE MEASURING SYSTEM AND METHOD THEREOF}
본 발명은 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 VO(Visual Odometry) 또는 VIO(Visual Inertial Odometry) 시스템에 있어서, 자차의 차량 정보(차량 센서를 이용해 검출된 정보)에서 차속 정보를 활용하여 영상에서 검출된 다수의 특징점(inlier) 중 이상점(outlier)을 제거함으로써, 자차의 위치와 자세의 오차를 줄일 수 있도록 하는, 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법에 관한 것이다.
일반적으로 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)은 영상에 포함된 특징점(inlier)들의 모션 벡터(Motion Vector)를 이용해 대상(즉, 카메라가 설치된 차량의 위치를 추정하고자 하는 사물)의 상대적인 위치와 자세를 추정하는 기술을 이용한 시스템이다.
따라서 상기 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)은 대상의 상대적인 위치와 자세를 추정하기 때문에 정지 상태인 물체를 특징점으로 사용하여야 자차(차량)의 정확한 위치와 자세를 추정할 수 있으며, 만약 움직이는 물체를 특징점으로 사용하여 자차(차량)의 위치와 자세를 추정할 경우 오차가 증가하게 되는 문제점이 있다.
다시 말해 상기 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)에서 특징점(inlier)은 정지 상태에 있는 물체가 지정되어야 하며, 움직이는 상태에 있는 물체는 이상점(outlier)으로 분류되어야 한다. 그런데 만약 이상점(outlier)으로 분류되어야 할 물체가 특징점(inlier)으로 분류될 경우 자차(차량)의 위치와 자세를 추정함에 있어서 오차가 증가하게 되는 문제점이 있다.
따라서 상기 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)에서 분류한 다수의 특징점(inlier) 중 이상점(outlier)을 찾아 제거함으로써, 자차(차량)의 위치와 자세를 추정함에 있어서 오차를 감소시킬 필요가 있다.
참고로 종래에 이상점을 찾아 제거하는 기법으로서 랜삭(RANSAC : Random SAmple Consensus)이 있으며, 이는 가장 많은 특징점으로 부터 지지를 받는 두 영상 사이의 기하학적 모델을 선정하고, 이 모델로부터 임계점(T) 이상 벗어나는 특징점을 이상점으로 간주하는 기법이다.
그런데 상기 랜삭(RANSAC)은, 표본이 되는 특징점으로서, 정지 상태에 있는 물체가 지정된 특징점보다 움직이는 물체가 지정된 특징점이 더 많이 존재하게 되는 경우, 움직이는 물체가 지정된 특징점이 반영된 모델이 선정되고, 이를 통해 이상점을 제거하기 때문에, 오히려 움직이는 물체가 지정된 특징점이 정상적인 특징점으로 간주되고, 정지 상태에 있는 물체가 지정된 특징점이 이상점으로 간주될 수 있는 문제점이 있다.
따라서 상기 랜삭(RANSAC)의 기능을 개선하여 표본이 되는 특징점의 특성과 관계없이 움직이는 물체가 특징점으로 잘못 지정된 이상점을 제거할 수 있도록 함으로써, 상기 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)의 성능을 향상시킬 수 있도록 하는 방법이 필요한 상황이다.
본 발명의 배경기술은 대한민국 등록특허 10-1803340호(2017.11.24. 등록, 영상 기반 주행거리 측정 시스템 및 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, VO 또는 VIO 시스템에 있어서, 자차의 차량 정보(차량 센서를 이용해 검출된 정보)에서 차속 정보를 활용하여 영상에서 검출된 다수의 특징점(inlier) 중 이상점(outlier)을 제거함으로써, 자차의 위치와 자세의 오차를 줄일 수 있도록 하는, 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 영상 기반 주행거리 측정 시스템의 보정 장치는, 차량에 장착된 적어도 하나의 카메라를 이용해 촬영된 영상을 수신하는 영상 정보 수신부; 차량에 장착된 적어도 하나의 센서를 이용해 검출된 센싱 정보를 수신하는 차량 정보 수신부; 및 상기 영상 정보에서 특징점을 추출하여 해당 특징점의 속도를 추정하고 상기 센싱 정보를 이용하여 차속을 추정한 후, 상기 특징점의 속도를 변환하여 산출한 차속과 상기 센싱 정보를 이용하여 추정한 차속간의 상대 속도에 기초하여 상기 영상 정보에서 추출된 특징점 중 이상점을 판별하여 제거하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 정보 수신부는, 차량의 전자제어장치(ECU)를 통해 유무선 방식으로 영상을 수신하거나, 차량에 장착된 적어도 하나의 카메라로부터 유무선 방식으로 직접 영상을 수신하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차량 정보 수신부는, 차량의 전자제어장치(ECU)를 통해 유무선 방식으로 센싱 정보를 수신하거나, 차량에 장착된 적어도 하나의 센서로부터 유무선 방식으로 직접 센싱 정보를 수신하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 영상 정보에서 추출된 특징점 중 이상점을 판별하기 위하여, 상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 센싱 정보를 이용하여 추정한 차속(Vc)간의 상대 속도(dV)를 산출하고, 상기 산출한 상대 속도(dV) 값이 미리 지정된 임계값 이상이면 이상점으로 판단하고 임계값 이상이 아니면 특징점으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 상대 속도(dV) 값은, 상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 차량 센서에 의해 산출한 차속(Vc)의 차이 값의 절대 값(
Figure pat00001
)인 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 기반 주행거리 측정 시스템의 보정 장치는, 이상점 제거 기법으로 사용되는 랜삭(RANSAC)의 결과를 보정하거나, 상기 랜삭을 수행하기 전에 전처리할 수 있도록 구현된 것을 특징으로 한다.
본 발명의 다른 측면에 따른 영상 기반 주행거리 측정 시스템의 보정 방법은, 제어부가 영상 정보 수신부를 통해 차량으로부터 수신된 영상 정보에서 특징점을 추출하여 해당 특징점의 속도를 추정하는 단계; 상기 제어부가 상기 특징점의 속도를 변환하여 차속을 산출하는 단계; 상기 제어부가 차량 정보 수신부를 통해 차량으로부터 수신된 센싱 정보를 이용하여 차속을 추정하는 단계; 및 상기 제어부가 상기 특징점의 속도를 변환하여 산출한 차속과 상기 센싱 정보를 이용하여 추정한 차속간의 상대 속도에 기초하여 상기 영상 정보에서 추출된 특징점 중 이상점을 판별하여 제거하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 정보에서 추출된 특징점 중 이상점을 판별하기 위하여, 상기 제어부는, 상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 센싱 정보를 이용하여 추정한 차속(Vc)간의 상대 속도(dV)를 산출하고, 상기 산출한 상대 속도(dV) 값이 미리 지정된 임계값 이상이면 이상점으로 판단하고 임계값 이상이 아니면 특징점으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 상대 속도(dV) 값은, 상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 차량 센서에 의해 산출한 차속(Vc)의 차이 값의 절대 값(
Figure pat00002
)인 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 기반 주행거리 측정 시스템의 보정 방법은, 이상점 제거 기법으로 사용되는 랜삭(RANSAC)의 결과를 보정하거나, 상기 랜삭을 수행하기 전에 전처리할 수 있도록 구현된 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 VO 또는 VIO 시스템에 있어서, 자차의 차량 정보(차량 센서를 이용해 검출된 정보)에서 차속 정보를 활용하여 영상에서 검출된 다수의 특징점(inlier) 중 이상점(outlier)을 제거함으로써, 자차의 위치와 자세의 오차를 줄일 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 주행거리 측정 시스템의 보정 장치에 대한 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 제어부의 보다 구체적인 동작을 설명하기 위하여 보인 예시도.
도 3은 상기 도 2에 있어서, 제어부가 특징점의 속도를 추정하는 방법을 설명하기 위하여 보인 예시도.
도 4는 본 발명의 일 실시예에 따른 영상 기반 주행거리 측정 시스템의 보정 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 주행거리 측정 시스템의 보정 장치에 대한 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 영상 기반 주행거리 측정 시스템의 보정 장치는, 영상 정보 수신부(110), 차량 정보 수신부(120), 제어부(130), 및 결과 출력부(140)를 포함한다.
상기 영상 정보 수신부(110)는 차량에 장착된 적어도 하나의 카메라를 이용해 촬영된 영상을 수신한다.
여기서 상기 영상은 차량의 전자제어장치(ECU : Electronic Control Unit)를 통해 유무선 방식으로 수신할 수도 있고, 차량에 장착된 적어도 하나의 카메라로부터 유무선 방식으로 직접 수신할 수도 있다.
상기 차량 정보 수신부(120)는 차량에 장착된 적어도 하나의 센서(예 : 속도 센서, 거리 센서 등)를 이용해 검출된 센싱 정보를 수신한다.
여기서 상기 센싱 정보는 차량의 전자제어장치(ECU : Electronic Control Unit)를 통해 유무선 방식으로 수신할 수도 있고, 차량에 장착된 적어도 하나의 센서로부터 유무선 방식으로 직접 수신할 수도 있다.
상기 제어부(130)는 영상 기반 주행거리 측정 시스템으로 작동하여 상기 영상 정보 수신부(110)를 통해 수신된 영상을 이용하여 차량의 위치와 자세를 추정한다. 이때 상기 제어부(130)는 영상 정보가 수신되면 특징점의 속도(이후 특징점의 속도를 변환하여 차속을 산출함)를 추정(또는 계산)한다.
또한 상기 제어부(130)는 상기 차량 정보 수신부(120)를 통해 수신된 센싱 정보를 이용하여 차량의 속도(즉, 차속)를 추정(또는 계산)한다.
또한 상기 제어부(130)는 상기 센싱 정보를 이용하여 차량의 속도(즉, 차속)를 추정(또는 계산)한 차속 정보와 상기 특징점의 속도(이후 특징점의 속도를 변환하여 차속을 산출함) 정보를 바탕으로 특징점이 실제로는 이상점인지 판별한다.
또한 상기 제어부(130)는 이상점으로 판별된 특징점을 제거한다.
또한 상기 제어부(130)는 이상점들이 제거된 특징점들을 바탕으로 상기 영상 기반 주행거리 측정 시스템으로 작동하여 기존보다 더 정확하게 차량의 위치와 자세를 추정(또는 계산)한다.
상기 결과 출력부(140)는 상기 제어부(130)에서 추정(또는 계산)한 차량의 위치와 자세를 출력한다.
상기 도 1에 있어서, 제어부의 보다 구체적인 동작을 설명하기 위하여 보인 예시도이다.
도 2를 참조하면, 상기 제어부(130)는 특징점 속도 추정부(131), 차속 추출부(132), 및 이상점 제거부(133)를 포함한다.
상기 특징점 속도 추정부(131)는 상기 영상 정보 수신부(110)를 통해 수신된 영상을 이용하여 미리 지정된 방식에 따라 특징점을 추출하고, 상기 추출된 특징점의 속도(이후 특징점의 속도를 변환하여 차속을 산출함)를 추정(또는 계산)한다.
여기서 상기 특징점들의 추출과 특징점들의 속도를 추정하는 방법은 상기 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)에서 이용하는 공지된 방법을 이용할 수 있다. 따라서 본 실시예에서는 도 3을 참조하여 특징점의 속도(이후 특징점의 속도를 변환하여 차속을 산출함)를 추정(또는 계산)하는 방법에 대해서 개략적으로 설명한다.
도 3을 참조하면, 상기 제어부(130)는 상기 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)에서 기 지정된 방식에 따라 영상에서 특징점을 추출하여(S101) 다중 뷰(View)에서 특징점을 매칭한다(S102).
또한 상기 제어부(130)는 에피폴라 지오메트리(Epipolar Geometry)와 삼각측량법(Triangluation)을 이용해 특징점의 3차원 위치를 추정하고(S103), 상기 추정된 위치를 이용하여 특징점의 속도를 추정한다(S104).
다시 도 2를 참조하면, 상기 차속 추출부(132)는 차량의 전자제어장치(ECU)를 통해 수신한 센싱 정보, 또는 차량에 장착된 적어도 하나의 센서로부터 직접 수신한 센싱 정보를 이용하여 차속을 추출(또는 계산)한다.
상기 이상점 제거부(133)는 상기 센싱 정보를 이용하여 추출(또는 계산)한 차량의 속도(즉, 차속) 정보와 상기 특징점의 속도(이후 특징점의 속도를 변환하여 차속을 산출함) 정보를 이용하여 상대 속도 정보를 산출하고, 상기 산출한 상대 속도 정보와 미리 지정된 상대 속도 정보의 차이 값을 이용하여 상기 특징점이 실제로는 이상점인지 판별하고, 상기 이상점으로 판별된 특징점을 제거한다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 주행거리 측정 시스템의 보정 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 제어부(130)는 추정된 특징점의 속도를 차량 기준 Body Frame으로 도메인(Domain)을 변환한다(S201). 즉, 상기 추정된 특징점의 속도를 차량의 속도(즉, 차속)으로 변환한다.
또한 상기 제어부(130)는 상기 특징점의 속도를 변환하여 산출한 차량의 속도(즉, 차속 Vf)와 상기 차량 센서에 의해 산출한 차량의 속도(즉, 차속 Vc)의 상대 속도(dV)를 산출(계산)한다(S202). 즉, 상기 상대 속도(dV) 값은 상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 차량 센서에 의해 산출한 차속(Vc)의 차이 값의 절대 값(
Figure pat00003
)을 취한 것이다.
또한 상기 제어부(130)는 상기 산출(계산)한 상대 속도(dV) 값이 미리 지정된 임계값(Vt) 이상인지 체크한다(S203).
상기 체크(S203) 결과, 상기 산출(계산)한 상대 속도(dV) 값이 미리 지정된 임계값(Vt) 이상이 아니면(S203의 아니오), 상기 제어부(130)는 상기 특징점(즉, 특징점의 속도를 변환하여 산출한 차량의 속도에 대응하는 특징점)을 정상 특징점(inlier)으로 판단한다(S204).
반면 상기 체크(S203) 결과, 상기 산출(계산)한 상대 속도(dV) 값이 미리 지정된 임계값(Vt) 이상이면(S203의 예), 상기 제어부(130)는 상기 특징점(즉, 특징점의 속도를 변환하여 산출한 차량의 속도에 대응하는 특징점)을 이상점(outlier)으로 판단한다(S205).
그리고 상기 제어부(130)는 상기 이상점으로 판단한 상기 특징점(즉, 특징점의 속도를 변환하여 산출한 차량의 속도에 대응하는 특징점)을 제거한다(S206).
상기와 같이 본 실시예는 특징점으로 잘못 분류된(또는 지정된) 이상점을 찾아 제거함으로써, 상기 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)으로 작동하는 상기 제어부(130)가 정상 특징점들에 의해 주행거리를 측정할 수 있도록 함으로써 성능을 향상시키는 효과가 있다.
상기와 같이 본 실시예는 기존 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)에 적용하여 이상점(outlier) 제거 기법으로 사용할 수 있으며, 기존 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)에서 이상점(outlier) 제거 기법으로 사용되고 있는 랜삭(RANSAC)의 결과를 보정할 수 있다.
또한 본 실시예는 기존 영상 기반 주행거리 측정 시스템(예 : VO 또는 VIO)에서 랜삭(RANSAC)의 결과를 높이기 위하여 표본 특징점을 전처리하는데 사용할 수 있다. 예컨대 표본이 되는 특징점에 있어서, 정지 상태에 있는 물체의 특징점 보다 움직이는 상태에 있는 물체의 특징점이 더 다수로 존재할 때 기존 랜삭(RANSAC)을 사용할 경우 다수인 움직이는 물체의 특징점이 반영된 모델이 선정되고 이를 통해 이상점을 제거하기 때문에, 움직이는 물체의 특징점이 정상 특징점으로 간주되고 오히려 정지 상태에 있는 물체의 특징점이 이상점으로 잘못 간주될 수 있는 문제점이 발생하는데, 본 실시예를 이용해 전처리함으로써 이러한 문제점을 해소할 수 있도록 하는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
110 : 영상 정보 수신부 120 : 차량 정보 수신부
130 : 제어부 131 : 특징점 속도 추정부
132 : 차속 추출부 133 : 이상점 제거부
140 : 결과 출력부

Claims (10)

  1. 차량에 장착된 적어도 하나의 카메라를 이용해 촬영된 영상을 수신하는 영상 정보 수신부;
    차량에 장착된 적어도 하나의 센서를 이용해 검출된 센싱 정보를 수신하는 차량 정보 수신부; 및
    상기 영상 정보에서 특징점을 추출하여 해당 특징점의 속도를 추정하고 상기 센싱 정보를 이용하여 차속을 추정한 후, 상기 특징점의 속도를 변환하여 산출한 차속과 상기 센싱 정보를 이용하여 추정한 차속간의 상대 속도에 기초하여 상기 영상 정보에서 추출된 특징점 중 이상점을 판별하여 제거하는 제어부;를 포함하는 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 장치.
  2. 제 1항에 있어서, 상기 영상 정보 수신부는,
    차량의 전자제어장치(ECU)를 통해 유무선 방식으로 영상을 수신하거나, 차량에 장착된 적어도 하나의 카메라로부터 유무선 방식으로 직접 영상을 수신하는 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 장치.
  3. 제 1항에 있어서, 상기 차량 정보 수신부는,
    차량의 전자제어장치(ECU)를 통해 유무선 방식으로 센싱 정보를 수신하거나, 차량에 장착된 적어도 하나의 센서로부터 유무선 방식으로 직접 센싱 정보를 수신하는 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 장치.
  4. 제 1항에 있어서, 상기 제어부는,
    상기 영상 정보에서 추출된 특징점 중 이상점을 판별하기 위하여,
    상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 센싱 정보를 이용하여 추정한 차속(Vc)간의 상대 속도(dV)를 산출하고,
    상기 산출한 상대 속도(dV) 값이 미리 지정된 임계값 이상이면 이상점으로 판단하고 임계값 이상이 아니면 특징점으로 판단하는 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 장치.
  5. 제 4항에 있어서, 상기 상대 속도(dV) 값은,
    상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 차량 센서에 의해 산출한 차속(Vc)의 차이 값의 절대 값(
    Figure pat00004
    )인 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 장치.
  6. 제 1항에 있어서, 상기 영상 기반 주행거리 측정 시스템의 보정 장치는,
    이상점 제거 기법으로 사용되는 랜삭(RANSAC)의 결과를 보정하거나, 상기 랜삭을 수행하기 전에 전처리할 수 있도록 구현된 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 장치.
  7. 제어부가 영상 정보 수신부를 통해 차량으로부터 수신된 영상 정보에서 특징점을 추출하여 해당 특징점의 속도를 추정하는 단계;
    상기 제어부가 상기 특징점의 속도를 변환하여 차속을 산출하는 단계;
    상기 제어부가 차량 정보 수신부를 통해 차량으로부터 수신된 센싱 정보를 이용하여 차속을 추정하는 단계; 및
    상기 제어부가 상기 특징점의 속도를 변환하여 산출한 차속과 상기 센싱 정보를 이용하여 추정한 차속간의 상대 속도에 기초하여 상기 영상 정보에서 추출된 특징점 중 이상점을 판별하여 제거하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 방법.
  8. 제 7항에 있어서,
    상기 영상 정보에서 추출된 특징점 중 이상점을 판별하기 위하여,
    상기 제어부는,
    상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 센싱 정보를 이용하여 추정한 차속(Vc)간의 상대 속도(dV)를 산출하고,
    상기 산출한 상대 속도(dV) 값이 미리 지정된 임계값 이상이면 이상점으로 판단하고 임계값 이상이 아니면 특징점으로 판단하는 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 방법.
  9. 제 8항에 있어서, 상기 상대 속도(dV) 값은,
    상기 특징점의 속도를 변환하여 산출한 차속(Vf)과 상기 차량 센서에 의해 산출한 차속(Vc)의 차이 값의 절대 값(
    Figure pat00005
    )인 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 방법.
  10. 제 7항에 있어서, 상기 영상 기반 주행거리 측정 시스템의 보정 방법은,
    이상점 제거 기법으로 사용되는 랜삭(RANSAC)의 결과를 보정하거나, 상기 랜삭을 수행하기 전에 전처리할 수 있도록 구현된 것을 특징으로 하는 영상 기반 주행거리 측정 시스템의 보정 방법.
KR1020190093107A 2019-07-31 2019-07-31 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법 KR20210014970A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190093107A KR20210014970A (ko) 2019-07-31 2019-07-31 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190093107A KR20210014970A (ko) 2019-07-31 2019-07-31 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210014970A true KR20210014970A (ko) 2021-02-10

Family

ID=74561463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190093107A KR20210014970A (ko) 2019-07-31 2019-07-31 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210014970A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255677A1 (ko) * 2021-06-02 2022-12-08 (주)에이아이매틱스 다중 관측정보를 이용한 고정객체의 위치 결정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255677A1 (ko) * 2021-06-02 2022-12-08 (주)에이아이매틱스 다중 관측정보를 이용한 고정객체의 위치 결정 방법

Similar Documents

Publication Publication Date Title
EP3879307A1 (en) Method and apparatus for detecting obstacle
CN107016705B (zh) 计算机视觉***中的地平面估计
CN106981074B (zh) 用于估计相机相对于表面的取向的方法和装置
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
JP5587930B2 (ja) 距離算出装置及び距離算出方法
JP4943034B2 (ja) ステレオ画像処理装置
JP2016081525A (ja) 車両用画像認識システム、及び対応法
JP2018036067A (ja) 自車位置認識装置
KR101885839B1 (ko) 객체추적을 위한 특징점 선별 장치 및 방법
JP2014009975A (ja) ステレオカメラ
WO2013035612A1 (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
US10936886B2 (en) Method and system for stereo based vehicle pose estimation
CN110751685A (zh) 深度信息确定方法、确定装置、电子装置和车辆
JP2009139323A (ja) 車両用走行路面検出装置
CN113743228A (zh) 基于多数据融合结果的障碍物存在性检测方法和装置
US9025022B2 (en) Method and apparatus for gesture recognition using a two dimensional imaging device
JP5107154B2 (ja) 運動推定装置
KR20210014970A (ko) 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법
CN110706257B (zh) 有效特征点对的识别方法、相机状态的确定方法及装置
JP6577595B2 (ja) 車両用外界認識装置
JP2014238409A (ja) 距離算出装置及び距離算出方法
CN110570680A (zh) 利用地图信息确定对象位置的方法和***
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
JP5863105B2 (ja) 車両移動量推定装置および障害物検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal