KR20160019800A - 차량용 영상처리 시스템 및 그 동작방법 - Google Patents

Abstract

본 발명은, 입력된 야간영상에서 광원 영역을 검출하는 단계, 상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계, 상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계 및 상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계를 포함하는 차량용 영상처리 시스템의 동작방법을 제공한다.

Description

차량용 영상처리 시스템 및 그 동작방법{System and operating method of image processing system for vehicle}

본 발명은 차량용 영상처리 시스템 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 야간 주행시 촬영된 야간 영상에서 반사광원을 검출하기 용이한 차량용 영상처리 시스템 및 그 동작방법에 관한 것이다.

자동차의 안전을 위하여 종래에는 에어백, 안전벨트 및 ABS(Anti-Lock Braking System)과 같은 기술이 수동 안전 시스템(passive safety system)이 많이 사용되어져 왔다. 이러한 수동 안전 시스템에 사전에 충돌을 방지하는 능동 안전 시스템의 결합은 충돌을 사전에 방지하여 운전자 및 승객의 안전을 도모할 수 있다. 대표적인 예로서, 전방 충돌 방지 시스템(Forward Collision Warning System : FCWS)은 전방 차량과의 추돌을 방지하는 기능을 한다.

FCWS, 주행차선 이탈방지 시스템(Lane Keeping Assist System : LKAS), 적응적 순항제어(Adaptive Cruise Control : ACC), 적응적 전조등 시스템(Adaptive Front Light System : AFLS)와 같은 기능은 첨단 안전 차량(Advanced Safety Vehicle)에 채용되고 있는 기술이다.

ASV 분야에서 차량에 구비되는 카메라는 다양한 목적을 위해 활용되는데, 차량에 선행하거나 대향하는 전방 차량의 인식을 위해 카메라로부터 획득된 전방 영상을 이용하기도 한다. 일례로서, 하이빔 자동제어(High Beam Assist : HBA) 기술은 야간에 선행 차량 또는 대향 차량의 후미등 또는 전조등을 인식하여 자기 차량의 상향등을 제어한다.

최근 들어, 야간 운전 시 광원에 의한 반사광으로 인해 도로 노면에 노이즈가 발생되어 차선 인식을 비롯하여 보행자, 전방 차량 등을 인식하는 성능이 저하되는 것을 해결하기 위한 연구가 진행 중에 있다.

본 발명의 목적은, 야간 주행시 촬영된 야간 영상에서 반사광원을 검출하기 용이한 차량용 영상처리 시스템 및 그 동작방법을 제공함에 있다.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 입력된 야간영상에서 광원 영역을 검출하는 단계, 상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계, 상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계 및 상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계를 포함한다.

상기 검출 단계는, 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출한다.

상기 제1 모션 벡터 연산 단계는, 상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산한다.

상기 반사광 판단 단계는, 상기 광원 영역을 복수의 광원 세그먼트로 분할하는 단계, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득하는 단계, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하는 단계, 상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행하는 단계 및 상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 단계를 포함한다.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 상기 광원 영역이 상기 반사광원이 아니면, 상기 야간 영상을 출력하는 단계를 더 포함한다.

상기 영상 출력 단계는, 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하는 단계 및 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력하는 단계를 포함한다.

본 발명에 따른 차량용 영상처리 시스템의 동작방법은, 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력하는 단계를 더 포함한다.

본 발명에 따른 차량용 영상처리 시스템은, 디스플레이모듈, 차량 주변의 야간영상을 촬영하는 카메라모듈 및 상기 야간영상 입력시, 상기 야간영상에서 광원 영역의 존재 여부를 판단하고, 상기 광원 영역 존재 시 상기 광원 영역이 설정된 반사광원 판단기준을 만족하면 상기 야간영상에서 상기 광원 영역을 제거한 야간 보정 영상을 생성하여 상기 디스플레이모듈에 디스플레이되게 제어하는 영상처리모듈을 포함한다.

상기 영상처리모듈은, 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출한다.

상기 영상처리모듈은, 상기 야간 영상을 이루는 복수의 프레임에서 상기 광원 영역에 대한 시간 변화에 따라 위치 변화를 분석하여 제1 모션 벡터를 연산한다.

상기 영상처리모듈은, 상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여 색상 정보를 취득하며, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하여 상하 반전시켜 영상 왜곡을 수행하고, 상기 색상 정보 및 영상 왜곡된 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다.

상기 영상처리모듈은, 상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산한다.

상기 영상처리모듈은, 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 생성한다.

본 발명에 따른 차량용 영상처리 시스템 및 그 동작방법은, 야간 악천 후 주행 시, 선행 차량, 대향 차량 및 가로등 등과 같은 광원으로부터 도로 바닥에 반사된 반사광원이 야간 영상에 포함되는 경우, 반사광원을 검출하고 제거한 야간 보정 영상을 출력함으로써, 차량의 광원과 반사광원을 구분하여 영상의 정확도를 증가시킬 수 있는 이점이 있으며, 또한 사용자의 편의성을 증대시킬 수 있는 이점이 있다.

도 1은 본 발명에 따른 차량용 영상처리 시스템의 제어구성을 나타낸 제어블록도이다.
도 2는 본 발명에 따른 차량용 영상처리 시스템의 동작방법을 나타낸 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명에 따른 차량용 영상처리 시스템의 제어구성을 나타낸 제어블록도이다.

도 1은 야간 악천후 주행 시, 도로 바닥에 빗물 등과 같은 물질이 막을 형성하여 임의의 광원에 대한 반사광원을 검출하는 것으로 설명하지만, 이에 한정을 두지 않는다.

도 1을 참조하면, 차량용 영상처리 시스템은 카메라모듈(110), 영상처리모듈(120) 및 디스플레이모듈(130)을 포함할 수 있다.

여기서, 카메라모듈(110)은 차량의 야간 주행시, 차량 전방의 야간 영상을 촬영할 수 있다.

카메라모듈(110)은 영상처리모듈(120)의 제어에 따라 동작하며, 촬영한 상기 야간 영상을 영상처리모듈(120)로 전달할 수 있다.

카메라모듈(110)은 차량 전방 뿐만 아니라, 차량 후방 및 측방을 촬영할 수 있으며, 복수의 카메라(미도시)를 포함할 수 있으며, 이에 한정을 두지 않는다.

영상처리모듈(120)은 외부입력에 따라 카메라모듈(110)의 동작을 제어하며, 카메라모듈(110)로부터 입력된 상기 야간 영상을 기반으로 상기 야간 영상에 포함된 반사광원을 인페이팅 기법을 이용하여, 상기 반사광원을 제거한 야간 보정 영상을 생성하여 디스플레이모듈(130)에 디스플레이되게 제어할 수 있다.

즉, 영상처리모듈(120)은 카메라모듈(110)로부터 상기 야간 영상 입력시, 상기 야간영상으로부터 어두운 배경영역 및 상기 배경영역과 다른 조도값을 갖는 광원 영역을 검출할 수 있다.

이때, 영상처리모듈(120)은 상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖으며 상기 광원 영역으로 인식 및 검출할 수 있다.

영상처리모듈(120)은 상기 광원 영역을 검출하면, 상기 야간 영상을 이루며 시간 연속적인 복수의 프레임에서 상기 광원 영역의 변화위치를 분석하여, 상기 광원 영역에 대한 제1 모션 벡터를 연산한다.

즉, 영상처리모듈(120)은 상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산한다.

영상처리모듈(120)은 상술한 상기 제1 모션 벡터를 연산하는 과정과 별도로, 상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트 각각의 픽셀 데이터를 분석하여, 상기 광원 영역에 대한 색상 정보를 취득한다.

영상처리모듈(120)은 상기 복수의 광원 세그먼트를 이진화시켜 반사광원을 탐색하기 위한 광원 템플릿을 구현한다.

또한, 영상처리모듈(120)은 광원이 도로 바닥에 반사되면서 상기 광원과 뒤집힌 형상으로 나타나는 상기 반사광원에 대응하는 상기 광원 템플릿을 상하 반전시키고, 상기 광원 템플릿을 고의적으로 왜곡시켜 산란된 광원의 형태로 구성한다.

이후, 영상처리모듈(120)은 상기 광원 템플릿의 왜곡이 도로 바닥에서 높은 곳에 위치할 수록 아래쪽으로 늘어지는 현상이 심화됨에 따라 상기 광원 영역이 위치한 높이에 따라 상기 광원 템플릿을 스트레칭시키고, 저주파 통과 필터링을 통하여 스무딩 영상으로 변환한다.

영상처리모듈(120)은 상기 색상 정보 및 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다.

영상처리모듈(120)은 상기 반사광원이 상기 차량의 하단 영역에 위치한 것으로 판단하면, 상기 야간 영상을 이루며 시간 연속적인 복수의 프레임에서 상기 반사광원의 변화위치를 분석하여, 상기 광원 영역에 대한 제2 모션 벡터를 연산한다.

영상처리모듈(120)은 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하고, 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면 상기 광원 영역을 상기 야간 영역의 배경영역으로 인페인팅한다.

즉, 영상처리모듈(120)은 상기 광원 영역이 상기 반사광원으로 판단되면, 설정된 인페이팅 기법에 따라 상기 배경영역에 대응하게 상기 광원 영역을 페인팅함으로써, 상기 반사광원을 제거한 상기 야간 보정 영상을 생성할 수 있다.

이후, 영상처리모듈(120)은 상기 야간 영상 또는 상기 야간 보정 영상을 디스플레이모듈(130)에 디스플레이되게 제어한다.

도 2는 본 발명에 따른 차량용 영상처리 시스템의 동작방법을 나타낸 순서도이다.

도 2를 참조하면, 차량용 영상처리 시스템은 입력된 야간영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 광원 영역을 검출한다(S110).

차량용 영상처리 시스템은 상기 야간영상을 이루는 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 대응하는 위치 변화를 분석한 제1 모션벡터를 연산한다(S120).

차량용 영상처리 시스템은 상기 광원 영역을 복수의 광원 세그먼트로 분할하고(S130), 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득한다(S140).

이후, 차량용 영상처리 시스템은 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하고(S150), 상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행한다(S160).

차량용 영상처리 시스템은 상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단한다(S170).

차량용 영상처리 시스템은 상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하고(S180), 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력한다(S190).

차량용 영상처리 시스템은 상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력한다(S200).

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (13)

1. 입력된 야간영상에서 광원 영역을 검출하는 단계;
   상기 야간영상을 이루는 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제1 모션벡터를 연산하는 단계;
   상기 광원 영역이 차량의 하단방향에 위치한 반사광원인지 판단하는 단계;
   상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 단계; 및
   상기 제1, 2 모션 벡터가 서로 매칭되면, 상기 야간 영상에서 상기 광원 영역을 제거한 야간 보정 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.
2. 제 1 항에 있어서,
   상기 검출 단계는,
   상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출하는 차량용 영상처리 시스템의 동작방법.
3. 제 1 항에 있어서,
   상기 제1 모션 벡터 연산 단계는,
   상기 복수의 프레임 각각에 포함된 상기 광원 영역에 대한 시간 변화에 따른 위치 변화를 분석하여 상기 제1 모션 벡터를 연산하는 차량용 영상처리 시스템의 동작방법.
4. 제 1 항에 있어서,
   상기 반사광 판단 단계는,
   상기 광원 영역을 복수의 광원 세그먼트로 분할하는 단계;
   상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여, 색상 정보를 취득하는 단계;
   상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하는 단계;
   상기 광원 템플릿을 상하 반전시키고, 영상 왜곡을 수행하는 단계; 및
   상기 색상 정보 및 상기 보정된 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.
5. 제 1 항에 있어서,
   상기 광원 영역이 상기 반사광원이 아니면, 상기 야간 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.
6. 제 1 항에 있어서,
   상기 영상 출력 단계는,
   상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되는지 판단하는 단계; 및
   상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 출력하는 단계;를 포함하는 차랴용 영상처리 시스템의 동작방법.
7. 제 6 항에 있어서,
   상기 제1, 2 모션 벡터 각각의 상기 광원 영역이 매칭되지 않으면, 상기 야간 영상을 출력하는 단계;를 포함하는 차량용 영상처리 시스템의 동작방법.
8. 디스플레이모듈;
   차량 주변의 야간영상을 촬영하는 카메라모듈; 및
   상기 야간영상 입력시, 상기 야간영상에서 광원 영역의 존재 여부를 판단하고, 상기 광원 영역 존재 시 상기 광원 영역이 설정된 반사광원 판단기준을 만족하면 상기 야간영상에서 상기 광원 영역을 제거한 야간 보정 영상을 생성하여 상기 디스플레이모듈에 디스플레이되게 제어하는 영상처리모듈;을 포함하는 차량용 영상처리 시스템.
9. 제 8 항에 있어서,
   상기 영상처리모듈은,
   상기 야간 영상에서 설정된 조도 임계값보다 높은 조도값을 갖는 영역을 상기 광원 영역으로 검출하는 차량용 영상처리 시스템.
10. 제 8 항에 있어서,
    상기 영상처리모듈은,
    상기 야간 영상을 이루는 복수의 프레임에서 상기 광원 영역에 대한 시간 변화에 따라 위치 변화를 분석하여 제1 모션 벡터를 연산하는 차량용 영상처리 시스템.
11. 제 10 항에 있어서,
    상기 영상처리모듈은,
    상기 광원 영역을 복수의 광원 세그먼트로 분할하고, 상기 복수의 광원 세그먼트에서 픽셀 데이터를 분석하여 색상 정보를 취득하며, 상기 복수의 광원 세그먼트를 이진화시켜 광원 템플릿을 구성하여 상하 반전시켜 영상 왜곡을 수행하고, 상기 색상 정보 및 영상 왜곡된 상기 광원 템플릿을 기반으로 상기 광원 영역이 상기 차량의 하단 방향에 위치하는 상기 반사광원인지 판단하는 차량용 영상처리 시스템.
12. 제 11 항에 있어서,
    상기 영상처리모듈은,
    상기 광원 영역이 상기 반사광원이면, 상기 복수의 프레임에서 상기 광원 영역의 변화위치를 분석한 제2 모션 벡터를 연산하는 차량용 영상처리 시스템.
13. 제 12 항에 있어서,
    상기 영상처리모듈은,
    상기 제1, 2 모션 벡터를 비교하여, 상기 제1, 2 모션 벡터 각각에 포함된 상기 광원 영역이 서로 매칭되면, 상기 광원 영역을 상기 야간 영상의 배경 영역으로 인페이팅하여 상기 광원 영역을 제거한 상기 야간 보정 영상을 생성하는 차량용 영상처리 시스템.
    

Images