KR20170134893A - 태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법 - Google Patents

태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법 Download PDF

Info

Publication number
KR20170134893A
KR20170134893A KR1020160065661A KR20160065661A KR20170134893A KR 20170134893 A KR20170134893 A KR 20170134893A KR 1020160065661 A KR1020160065661 A KR 1020160065661A KR 20160065661 A KR20160065661 A KR 20160065661A KR 20170134893 A KR20170134893 A KR 20170134893A
Authority
KR
South Korea
Prior art keywords
sun
vehicle
relative position
estimating
calculating
Prior art date
Application number
KR1020160065661A
Other languages
English (en)
Inventor
김학일
박은수
김형래
최학남
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020160065661A priority Critical patent/KR20170134893A/ko
Publication of KR20170134893A publication Critical patent/KR20170134893A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • H04N5/235—
    • H04N5/2351—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 태양의 상대적 위치를 추정하는 운전보조 시스템에 있어서, GPS로부터 차량의 위치 정보와 현재의 시간 정보를 전송받아, 상기 위치 정보와 상기 시간 정보를 이용하여 태양의 고도와 방위각을 산출하는 연산부; 상기 차량이 진행하는 방향을 나타내는 헤딩각을 산출하는 헤딩각 산출부; 및 상기 연산부에서 산출된 방위각에 상기 헤딩각 산출부에서 산출된 헤딩각을 감하여 상기 차량에 대한 태양의 상대적인 위치를 추정하는 위치 추정부를 포함한다.

Description

태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법{ADVANCED DRIVER ASSISTANCE SYSTEM FOR REAL-TIME ESTIMATION OF RELATIVE POSITION OF THE SUN AND METHOD THEREBY}
본 발명은 태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법에 관한 것으로서, 특히 태양의 상대적인 위치를 추정하여 카메라 영상을 보정할 수 있는 운전보조 시스템에 관한 것이다.
최근 운전자의 안전을 도모하기 위해서 많은 차량에 Advanced Driver Assistance System(ADAS)이 도입되고 있는 추세이다. 대부분의 ADAS 시스템을 만드는 회사들은 상용화와 가격 경쟁력을 높이기 위해 고가의 센서장비를 사용하기 보다는 상대적으로 가격이 저렴한 카메라 센서를 도입하길 선호한다. 카메라는 다양한 도로 환경에 대한 방대한 정보를 제공하기 때문에, ADAS에서 교통상황을 인식하기 위한 핵심센서로 활용되고 있다.
그러나, 카메라로부터 취득된 영상은 주변 밝기에 민감하게 반응하기 때문에 날씨조건이나 태양의 영향을 쉽게 받는다. 도 1은 태양의 위치에 따라 달라지는 카메라의 영상 정보를 나타낸다. 도 1에서 (a)는 태양이 차량의 정면에 위치할 때의 카메라 영상이고, (b)는 태양이 차량의 측면에 위치할 때의 카메라 영상을 나타낸다.
만약 현재 차량이 위치한 곳에서 태양의 정확한 상대적 위치를 추정할 수 있다면 도 1과 같은 직사광이 비추는 상황을 자동으로 판단할 수 있게 될 것이다. 도 1의 (a), (b)의 예시를 참조하면, 태양의 절대적 위치는 거의 변화되지 않음에도 도로의 주행상황에 따라 태양의 상대적인 위치가 급변하게 되고, 이에 따라 카메라에는 직사광이 갑작스럽게 조사될 수 있다. 따라서, 이 경우 상황에 적절한 영상 전처리 및 예외 방법을 취할 수 있도록 보정할 수 있어야 할 것이다.
태양의 위치를 계산하는 종래 특허 문헌으로 한국 등록특허공보 제10-1267007호가 있다. 상기 선행문헌은 태양 위치를 감지 및 추적하여 태양광 발전을 할 수 있는 전기자동차용 태양 위치 추적시스템에 관한 것이다. 상기 선행문헌에 따르면, 전기자동차가 주정차 상태에서 태양 위치를 프로그램을 이용하여 이론적으로 산출한 뒤, 이론값을 근거로 하여 채광판의 위치(자세)를 구동제어하여 태양광 발전효율을 높여서 전기자동차에 필요한 전기에너지를 자체 발전하여 공급할 수 있게 된다. 보다 상세하게 살펴보면, 선행문헌에 따른 태양 위치 추적 시스템은, 차량의 위치를 검출하는 차량위치 검출부와, 프로그램을 이용하여 상기 차량위치 검출부에서 검출된 차량위치를 기준으로 태양 위치를 이론적으로 계산하여 산출하는 메인 태양위치 산출부와, 이론값과 측정값의 차이만큼 채광판의 위치를 보정하도록 조정하는 메인 제어부의 구성을 포함한다. 상기 선행문헌에서 태양의 위치를 산출하는 구성은 메인 태양위치 산출부이며, 메인 태양위치 산출부는 문단번호 [0040]에 기재된 바와 같이, 태양의 위치를 계산함에 있어서 미리 설정되어 저장된 태양위치 계산 프로그램을 이용하여 일반적으로 알려진 방법을 사용한다.
종래의 태양위치 계산 프로그램은, 시간에 따른 태양의 위도, 경도, 방위각 정보를 산출하는 것으로 이는 절대적인 태양의 위치를 의미한다. 즉, 종래에는 도로의 주행중인 차량의 상황을 가정하여 차량과 상대적으로 위치한 태양을 추정하거나 이를 반영하여 보정하는 ADAS 시스템이 제안되지 못하였다.
또한, 도로 환경에서 그림자가 드리우는 방향 및 영역을 추출하여 해당 영역에만 특정 전처리를 수행할 수 있는 영상처리 시스템이 요구된다. 도 2는 낮과 밤에 획득된 카메라의 영상을 나타낸다. 도 2를 참조하면, ADAS에서 카메라로 획득된 영상은 낮과 밤에 매우 다르게 나타난다. 이러한 밝기의 극심한 차이로 인하여, 실제 대부분의 ADAS에서는 차량 및 보행자 인식을 위해서 낮에 사용되는 알고리즘과 밤에 사용되는 알고리즘이 다르다. 문제는 낮과 밤의 구분을 정확하게 판단하기 어려운 점에 있다. 낮에서 밤으로의 변화는 점진적으로 나타나기 때문에 이를 명확하게 구분하는 것은 쉽지 않다. 만약, ADAS 시스템이 정확하게 현재 위치에서의 태양의 고도를 알 수 있다면, 정량적으로 낮과 밤을 구분하는 방법을 제시할 수 있을 것이다.
최근, 무인자동차의 연구개발이 활발함에 따라 ADAS 시스템에서 획득되는 도로 상태로서, 차선, 전방의 차량, 사람, 노면 등의 정보는 오차없이 높은 정밀도로 인식되어야 한다. 카메라 센서를 사용하게 되는 ADAS에서, 역광, 밤과 낮에 따른 영상 밝기, 그림자 보정 등을 높은 정확도로 수행하기 위해서는, 주행중인 차량에 대한 상대적인 태양의 위치를 높은 정확도로 추정할 수 있어야 할 것이다.
한국 등록특허공보 제10-1267007호
따라서 본 발명은 주행중인 차량에 대한 상대적인 태양의 위치를 추정할 수 있는 운전보조 시스템 및 태양의 위치 추정 방법을 제공하고자 한다. 또한, 본 발명은 추정된 태양의 상대적인 위치 정보를 이용하여 ADAS 카메라의 영상을 보정할 수 있는 운전보조 시스템을 제공하고자 한다.
상기 목적을 달성하기 위하여 본 발명은, 태양의 상대적 위치를 추정하는 운전보조 시스템에 있어서, GPS로부터 차량의 위치 정보와 현재의 시간 정보를 전송받아, 상기 위치 정보와 상기 시간 정보를 이용하여 태양의 고도와 방위각을 산출하는 연산부; 상기 차량이 진행하는 방향을 나타내는 헤딩각을 산출하는 헤딩각 산출부; 및 상기 연산부에서 산출된 방위각에 상기 헤딩각 산출부에서 산출된 헤딩각을 감하여 상기 차량에 대한 태양의 상대적인 위치를 추정하는 위치 추정부를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명에 따른 운전보조 시스템은 상기 위치 추정부에서 추정된 태양의 상대적인 위치 정보를 기반으로, 카메라의 화각을 고려하여 태양의 위치가 영상 내에 존재할 경우 역광을 보정하는 역광 보정부를 더 포함할 수 있다.
바람직하게, 본 발명에 따른 운전보조 시스템은 상기 위치 추정부에서 추정된 태양의 상대적인 위치 정보를 기반으로, 낮과 밤을 구분하고, 구분된 낮 또는 밤에 따라 차량인식 알고리즘을 달리 적용시키는 영상처리부를 더 포함할 수 있다.
바람직하게, 상기 영상처리부는 상기 태양의 상대적인 위치를 기반으로 그림자의 위치를 추정하고, 그림자가 발생된 영역의 밝기 값을 보정할 수 있다.
또한, 본 발명은 운전보조를 위한 태양의 상대적 위치 추정 방법에 있어서, GPS로부터 차량의 위치 정보와 현재의 시간 정보를 전송받는 (a)단계; 상기 위치 정보와 상기 시간 정보를 이용하여 태양의 고도와 방위각을 산출하는 (b)단계; 상기 차량이 진행하는 방향을 나타내는 헤딩각을 산출하는 (c)단계; 및 상기 (b)단계에서 산출된 방위각에 상기 (c)단계에서 산출된 헤딩각을 감하여 상기 차량에 대한 태양의 상대적인 위치를 추정하는 (d)단계를 포함하는 것을 다른 특징으로 한다.
본 발명에 따르면, 차량의 GPS정보를 이용하여 간단한 수식을 통해 주행중인 차량에서 태양의 상대적인 위치를 추정할 수 있다. 추정된 태양의 상대적인 위치 정보는 차량 영상에서의 적응적 전처리, 태양 고도를 통한 낮과 밤의 구분, 그림자의 보정을 가능하게 하여 가시성을 향상시키는 이점이 있다.
도 1은 태양의 위치에 의해서 달라진 카메라의 영상을 나타낸다.
도 2는 낮과 밤에 획득된 카메라의 영상을 나타낸다.
도 3은 본 발명의 실시예에 따른 운전보조 시스템의 개략적인 구성도를 나타낸다.
도 4는 본 발명의 실시예에 따른 위치 추정부의 시뮬레이션 결과로서, 차량의 주행 중 실시간으로 변화되는 태양의 위치를 디스플레이부에서 표시한 모습을 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 3은 본 발명의 실시예에 따른 운전보조 시스템(1)의 개략적인 구성도를 나타낸다. 도 3을 참조하면 운전보조 시스템(1)은 GPS(10), 연산부(30), 헤딩각 산출부(40), 위치 추정부(50), 역광 보정부(70) 및 영상처리부(80)를 포함할 수 있다.
연산부(30)는 GPS로부터 차량의 위치 정보와 현재의 시간 정보를 전송받아, 위치 정보와 시간 정보를 이용하여 태양의 고도와 방위각을 산출할 수 있다. 본 실시예로, 위치 정보는 위도 또는 경도의 값이 될 수 있다. 시간 정보는 UTC 시간 값일 수 있다.
태양의 상대적인 위치는, 태양의 절대적인 위치를 계산한 후 차량과의 관계를 고려하여 보정됨으로써 추정될 수 있다. 본 명세서에서 태양의 절대적인 위치란 지구를 기준으로 태양의 고도와 방위각에 의해서 결정된 위치를 의미하고, 태양의 상대적인 위치란 이동중인 차량을 기준으로 태양의 고도와 방위각에 의해서 결정된 위치를 의미한다.
하기의 [그림]은 태양의 고도와 방위각을 설명하기 위한 것이다.
[그림]
Figure pat00001
태양의 절대적인 위치를 계산하는 방법은 오랜 역사를 가지고 있다. 태양의 절대적 위치를 계산하는 방법은 크게 4가지가 존재한다. 첫째는 Spencer의 방법으로, 태양의 위치를 푸리에 시리즈(Fourier series)를 통하여 추정해 내는 방법을 이용한다.
둘째는 Blanco의 방법으로 태양광 발전에 적용 가능한 기존의 태양 추적 방법들을 정리하였다. 또한, Blanco의 방법은 마이크로 컨트롤러에서 동작가능하며, 0.01도의 오차범위 내에서 정확도를 보이는 Platforma Solar de Almeria(PSA) 방법을 제안하였다. 그러나, 상기 오차는 특정년도에 따라 조금씩 다르게 나타나는 단점을 가지고 있다. Reda는 주로 행성의 위치를 측정하던 기존 방법들을 태양에 적용하여 기원전 2000년부터 기원 후 6000년까지의 오차 범위 0.0003도 내외에서 측정하는 방법을 상세히 기술하였다.
셋째는 Wang의 방법으로, 카메라의 위치정보와 현재 시간정보를 이용하여 태양의 위치를 추정한 후 보행자의 그림자를 추정하는 방법을 적용하였다. 그림자는 태양의 위치 정보로부터 계산되며 보행자와 그림자를 함께 추출함으로써 보행자 인식률을 높일 수 있었다. 넷째는 Catalan의 방법으로 태양광 자동차의 높은 효율을 위해서 차량의 위치정보와 시간정보를 이용하여 태양의 위치를 추정하는 방법을 이용한다.
본 발명의 실시예에 따른 운전보조 시스템은 최소한의 오차 범위 및 최소한의 연산량으로 태양의 위치를 계산할 수 있어야 한다. 이에 따라, 연산부(30)는 Reda와 Wang의 방법을 기반으로 태양의 절대적인 위치를 계산함이 바람직하다.
태양의 위치는 상기 [그림]과 같이 고도(altitude)와 방위각(azimuth)으로 정의될 수 있다. 고도는 지평선으로부터 태양까지의 높이를 측정한 각도 값이 되며, 방위각은 지평면을 기준으로 진북(True North) 방향에서부터 시계방향으로 태양 위치까지의 각도 값이 된다. 진북은 상기 [그림]에서 N으로 표현되었다.
위치 추정부(50)는 하기의 [수학식 1]을 통해 태양의 고도 값을 산출하고, 하기의 [수학식 2]를 통해 태양의 방위각을 산출할 수 있다.
[수학식 1]
Figure pat00002
여기서,
Figure pat00003
은 태양의 고도,
Figure pat00004
는 현재 차량 위치의 위도,
Figure pat00005
는 태양 기울기 각,
Figure pat00006
는 시 각(hour angle)을 의미한다.
Figure pat00007
값은 현재의 시간 정보 값을 이용하여 계산될 수 있다.
[수학식 2]
Figure pat00008
여기서,
Figure pat00009
는 태양의 방위각,
Figure pat00010
는 현재 차량 위치의 위도,
Figure pat00011
는 태양 기울기 각,
Figure pat00012
는 시 각(hour angle)을 의미한다.
Figure pat00013
값은 현재의 시간 정보 값을 이용하여 계산될 수 있다.
상기의 [수학식 1], [수학식 2]에서 사용되는 변수들은 모두 현재의 UTC 시간 정보와 GPS의 위도, 경도 정보로부터 계산될 수 있다. 연산부(30)에서 [수학식 1], [수학식 2]의 연산으로 산출되는 태양의 고도와 방위각은 현재 위치에서의 태양의 절대적 위치를 나타낸다. ADAS에 적용될 차량에서의 태양의 위치는 상대적으로 측정되어야 한다.
헤딩각 산출부(40)는 차량이 진행하는 방향을 나타내는 헤딩각을 산출할 수 있다. 차량에 장착된 카메라가 전방을 비추고 있을 경우 차량의 헤딩각과 카메라의 방향은 일치한다. 헤딩각 산출부(40)에서 차량의 진행 각도를 계산한 뒤 추후 위치 추정부(50)에서 태양의 방위각을 보정함으로써 태양의 상대적 방위각을 획득할 수 있게 된다.
헤딩각은 카메라 영상의 Ego-motion을 추정하여 계산되거나, GPS의 변화값으로부터 추정되거나, IMU 센서로부터 측정될 수 있다.
본 실시예로 헤딩각 산출부(40)는 고성능 GPS(10) 센서에서 내보내는 헤딩값을 바로 사용할 수 있다. 또는 시간에 따른 GPS의 위치 값들을 누적 저장하여 이 값들을 벡터로 변환하여 추정이 가능하다. 카메라를 이용할 경우 획득된 영상의 배경의 광류 (optical flow)벡터와 이 벡터들을 활용한 소실점의 방향을 이용하여 헤딩 각을 추정해 낼 수 있다. 정확하고 안정적인 헤딩각의 산출은 고성능 GPS나 IMU센서, 혹은 자이로 센서를 활용할 수 있다. 정확한 헤딩각의 산출은 IMU 센서를 통해 계산되는 것이 가장 바람직하다. 다만, IMU 센서는 고가이기 때문에 저렴한 자이로 센서나 GPS 센서로 헤딩각을 산출하는 것이 바람직하다.
본 실시예로, 운전보조 시스템은 GPS 센서를 3개 포함할 수 있다. 제1 GPS 센서는 차량의 전면부에 배치될 수 있다. 제2 GPS 센서는 차량의 후방 좌측에 배치될 수 있다. 제3 GPS 센서는 차량의 후방 우측에 배치될 수 있다. 3개의 GPS 센서는 위의 예시와 같이 삼각형의 배치 구도를 형성할 수 있다. 3개의 GPS 센서로서 헤딩각이 산출되는 과정은 다음과 같다. 먼저 제2 GPS 센서와 제3 GPS 센서를 이용하여 벡터를 구하고, 이에 대한 단위벡터를 산출한다. 헤딩각 산출부(40)는 단위벡터에 대해 직각인 벡터를 차량의 헤딩방향으로 설정할 수 있다. 다만, 이 경우 제2 GPS 센서와 제3 GPS 센서를 잇는 벡터가 1,2,3,4 분면 중 어느 면에 존재하느냐에 따라서 90도를 더하거나 감하여 헤딩각을 산출할 수 있다.
위치 추정부(50)는 연산부에서 산출된 방위각에 상기 헤딩각 산출부에서 산출된 헤딩각을 감하여 차량에 대한 태양의 상대적인 위치를 추정할 수 있다. 위치 추정부(50)는 연산부(30)에서 계산된 태양의 절대적인 위치 정보를 헤딩각 산출부(40)에서 계산된 차량의 헤딩각을 이용하여, 태양의 상대적인 위치를 추정한다. 위치 추정부(50)는 하기의 [수학식 3]에 따라 태양의 상대적인 위치를 추정할 수 있다.
[수학식 3]
Figure pat00014
relativeSunPosition은 태양의 상대적 위치, Azimuth는 태양의 방위각, CarHeading은 차량의 카메라가 바라보고 있는 방향으로서 차량의 진행방향이며 헤딩각을 의미하고, OFFset은 값을 보정해주는 상수(Constant)를 의미한다.
위치 추정부(50)에 의해서 차량 영상에서의 적응적 전처리 및 태양 고도를 통한 낮과 밤의 구분에 활용될 수 있는 상대적인 태양의 위치 정보를 획득하게 된다.
도면에는 도시되지 않았으나, 본 실시예에 따른 운전보조 시스템(1)은 위치 추정부(50)에서 출력된 태양의 상대적인 위치 정보를 가시적으로 출력하는 디스플레이부를 더 포함할 수 있다. 디스플레이부는 차량을 기준으로 소정의 반경 내에서 위치하는 태양을 표시할 수 있다.
도 4는 위치 추정부(50)의 시뮬레이션 결과로서, 차량의 주행 중 실시간으로 변화되는 태양의 위치를 디스플레이부에서 표시한 모습을 나타낸다. 본 시뮬레이션에서 차량의 현재위치에서 태양의 상대적 위치를 시각화하기 위한 툴로 Matlab을 활용하였다. 프로그램은 차량에서 획득된 영상과, 그 시점에서의 태양의 위치를 함께 표현할 수 있도록 구성하였다. 프로그램을 수행하는 프로세서는 Intel Core i7-3770, 3.4GHz 이다. 실험을 위한 데이터로 KITTI dataset을 사용하였다. KITTI에서 제공하는 dataset은 GPS 위치정보 및 차량의 헤딩정보, 영상이 취득된 시간을 포함하여 제공받았다. 데이터는 KITTI 데이터 셋 중 비가공 데이터(raw data)이며 이를 이용하여 태양의 상대적 위치계산에 필요한 GPS 정보화 현재 시간, 그리고 헤딩정보를 추출하였다. 태양 위치를 계산할 때는 오픈소스 코드를 활용하였으며, 이는 연산부(30)에서 전술한 방법으로 구현되어 있다. 시뮬레이션 결과 태양의 상대적 위치를 계산하는데 걸리는 시간은 프레임당 약 1ms 정도임을 확인할 수 있었다. 도 4에서 좌측 이미지는 차량에서 실제 촬영된 영상이며, 우측 이미지는 추정된 태양의 위치를 표현한다. 우측 이미지에서 태양의 고도 및 방위각은 각각 구분하여 표현하였다.
본 시뮬레이션을 통해, 현재 일반적으로 보급된 컴퓨터 사양으로 프레임의 저하없이 실시간으로 태양의 상대적 위치가 추정됨을 확인하였다. 본 시뮬레이션의 결과는 유튜브 동영상으로서 하기의 웹페이지에 업로드된 바 참조하여 손쉽고 명확하게 본 발명을 이해할 수 있을 것이다.
[시뮬레이션 결과 웹페이지]
https://www.youtube.com/watch?v=Cv8t3hZ12WE
역광 보정부(70)는 위치 추정부(50)에서 추정된 태양의 상대적인 위치 정보를 기반으로, 카메라의 화각을 고려하여 태양의 위치가 영상 내에 존재할 경우 역광을 보정할 수 있다.
본 실시예로, 역광 보정부(70)는 추정된 태양의 고도와 방위각의 범위가 카메라의 화각 범위에 포함될 경우 역광 보정 알고리즘을 동작 시킬 수 있다. 이 경우 태양 위치의 영상 부분이 특정 밝기 값을 넘어 역광이 판단되면 그 영역을 중심으로 역 가우시안 분포의 밝기 값을 곱하여 역광의 효과를 어느 정도 개선시킬 수 있을 것이다. 혹은 레티넥스(Retinex) 알고리즘과 같은 조명성분을 이용하여 영상의 대비를 개선하는 경우 조명성분에 대한 추정함수로도 역할을 할 수 있을 것이다.
영상처리부(80)는 위치 추정부(50)에서 추정된 태양의 상대적인 위치 정보를 기반으로, 낮과 밤을 구분하고, 구분된 낮 또는 밤에 따라 차량인식 알고리즘을 달리 적용시킬 수 있다.
본 실시예로, 영상처리부(80)는 추정된 태양의 고도가 10도 이상일 경우 낮으로, 10도 미만일 경우는 밤으로 판단할 수 있다. 혹은 점진적으로 낮에서 밤으의 점진적 밝기변화를 태양의 고도를 통해서 모델링할 수 있다. 이를 활용하면 영상처리부는 효과적으로 밤과 낮에 해당하는 적응적 영상처리를 수행할 수 있게 된다.
영상처리부(80)는 태양의 상대적인 위치를 기반으로 그림자의 위치를 추정하고, 그림자가 발생된 영역의 밝기 값을 보정할 수 있다.
본 실시예로, 스테레오 카메라와 같이 영상의 3차원 정보를 확보할 수 있는 경우, 영상처리부(80)는 태양으로부터 물체나 지면에 드리워진 그림자의 방향과 길이를 추정할 수 있게 된다. 따라서 그림자의 효과로 인해 색상이 어두워진 영역을 간단한 영상처리 기술과 조합하여 부분적 영상 개선을 수행할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10: GPS
30: 연산부
40: 헤딩각 산출부
50: 위치 추정부
70: 역광 보정부
80: 영상처리부

Claims (5)

  1. 태양의 상대적 위치를 추정하는 운전보조 시스템에 있어서,
    GPS로부터 차량의 위치 정보와 현재의 시간 정보를 전송받아, 상기 위치 정보와 상기 시간 정보를 이용하여 태양의 고도와 방위각을 산출하는 연산부;
    상기 차량이 진행하는 방향을 나타내는 헤딩각을 산출하는 헤딩각 산출부; 및
    상기 연산부에서 산출된 방위각에 상기 헤딩각 산출부에서 산출된 헤딩각을 감하여 상기 차량에 대한 태양의 상대적인 위치를 추정하는 위치 추정부를 포함하는 것을 특징으로 하는 운전보조 시스템.
  2. 제 1 항에 있어서,
    상기 위치 추정부에서 추정된 태양의 상대적인 위치 정보를 기반으로, 카메라의 화각을 고려하여 태양의 위치가 영상 내에 존재할 경우 역광을 보정하는 역광 보정부를 더 포함하는 것을 특징으로 하는 운전보조 시스템.
  3. 제 1 항에 있어서,
    상기 위치 추정부에서 추정된 태양의 상대적인 위치 정보를 기반으로, 낮과 밤을 구분하고, 구분된 낮 또는 밤에 따라 차량인식 알고리즘을 달리 적용시키는 영상처리부를 더 포함한 것을 특징으로 하는 운전보조 시스템.
  4. 제 3 항에 있어서,
    상기 영상처리부는,
    상기 태양의 상대적인 위치를 기반으로 그림자의 위치를 추정하고, 그림자가 발생된 영역의 밝기 값을 보정하는 것을 특징으로 하는 운전보조 시스템.
  5. 운전보조를 위한 태양의 상대적 위치 추정 방법에 있어서,
    (a) GPS로부터 차량의 위치 정보와 현재의 시간 정보를 전송받는 단계;
    (b) 상기 위치 정보와 상기 시간 정보를 이용하여 태양의 고도와 방위각을 산출하는 단계;
    (c) 상기 차량이 진행하는 방향을 나타내는 헤딩각을 산출하는 단계; 및
    (d) 상기 (b)단계에서 산출된 방위각에 상기 (c)단계에서 산출된 헤딩각을 감하여 상기 차량에 대한 태양의 상대적인 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 태양의 상대적 위치 추정 방법.
KR1020160065661A 2016-05-27 2016-05-27 태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법 KR20170134893A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160065661A KR20170134893A (ko) 2016-05-27 2016-05-27 태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160065661A KR20170134893A (ko) 2016-05-27 2016-05-27 태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법

Publications (1)

Publication Number Publication Date
KR20170134893A true KR20170134893A (ko) 2017-12-07

Family

ID=60920723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160065661A KR20170134893A (ko) 2016-05-27 2016-05-27 태양의 상대적 위치를 추정하는 운전보조 시스템 및 태양의 상대적인 위치를 추정하는 방법

Country Status (1)

Country Link
KR (1) KR20170134893A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210245631A1 (en) * 2020-02-10 2021-08-12 Toyota Jidosha Kabushiki Kaisha Information processing device, vehicle system, information processing method, and program
KR20230079874A (ko) * 2021-11-29 2023-06-07 주식회사 와이즈오토모티브 차량 주변 영상을 생성하기 위한 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050064651A (ko) * 2003-12-24 2005-06-29 한국항공우주연구원 태양과 지피에스를 이용한 자세 방위각 측정시스템 및 그측정방법
KR20060056118A (ko) * 2004-11-19 2006-05-24 현대자동차주식회사 네비게이션을 이용한 태양 및 북극성 표시 시스템 및 그방법
JP2007300559A (ja) * 2006-05-02 2007-11-15 Alpine Electronics Inc 車両周辺画像提供装置及び車両周辺画像における影補正方法
KR101026778B1 (ko) * 2011-01-26 2011-04-11 주식회사보다텍 차량 영상 검지 장치
KR20120109700A (ko) * 2011-03-25 2012-10-09 에스케이플래닛 주식회사 사용자 단말기 및 이를 이용한 블랙박스 구현 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050064651A (ko) * 2003-12-24 2005-06-29 한국항공우주연구원 태양과 지피에스를 이용한 자세 방위각 측정시스템 및 그측정방법
KR20060056118A (ko) * 2004-11-19 2006-05-24 현대자동차주식회사 네비게이션을 이용한 태양 및 북극성 표시 시스템 및 그방법
JP2007300559A (ja) * 2006-05-02 2007-11-15 Alpine Electronics Inc 車両周辺画像提供装置及び車両周辺画像における影補正方法
KR101026778B1 (ko) * 2011-01-26 2011-04-11 주식회사보다텍 차량 영상 검지 장치
KR20120109700A (ko) * 2011-03-25 2012-10-09 에스케이플래닛 주식회사 사용자 단말기 및 이를 이용한 블랙박스 구현 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210245631A1 (en) * 2020-02-10 2021-08-12 Toyota Jidosha Kabushiki Kaisha Information processing device, vehicle system, information processing method, and program
KR20230079874A (ko) * 2021-11-29 2023-06-07 주식회사 와이즈오토모티브 차량 주변 영상을 생성하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
US10024668B2 (en) Position estimation system, position estimation method and mobile unit
CN111532257B (zh) 用于补偿交通工具校准误差的方法和***
US10650252B2 (en) Lane detection device and lane detection method
Goldbeck et al. Lane following combining vision and DGPS
US20130141520A1 (en) Lane tracking system
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
US9767372B2 (en) Target detection apparatus and target detection method
US10127460B2 (en) Lane boundary line information acquiring device
US8392074B2 (en) Automatic controller for powered retractable sun visor
CN104715473A (zh) 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN102398598A (zh) 使用前视和后视摄像机的车道融合***
US11200432B2 (en) Method and apparatus for determining driving information
CN102700548A (zh) 具有前摄像机和后摄像机的稳健的车辆侧向控制
EP3637308A1 (en) Method and device for positioning vehicle, device, and computer readable storage medium
JP6838285B2 (ja) レーンマーカ認識装置、自車両位置推定装置
US8559727B1 (en) Temporal coherence in clear path detection
CN105049784A (zh) 用于基于图像的视距估计的方法和设备
JP6750531B2 (ja) 表示制御装置及び表示制御プログラム
US20220230018A1 (en) Combining visible light camera and thermal camera information
JP2015102449A (ja) 車両自己位置推定装置、及び車両自己位置推定方法
CN111428759A (zh) 数据融合方法、电子设备及存储介质
CN109753841A (zh) 车道线识别方法和装置
CN113223312A (zh) 一种基于地图的摄像头致盲预测方法、装置及存储介质
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application