KR20160089786A - 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템 - Google Patents

Abstract

본 발명은 차량용 통합 경고 시스템에 관한 것으로서, 보다 상세하게는 가시광선뿐만 아니라 근적외선에도 감응하여 영상을 획득할 수 있게 한 카메라로부터 획득한 영상을 탑뷰 이미지로 변환하여 주행 중인 차선의 이탈여부를 정확하게 판단하고 경고할 수 있게 함과 아울러, 탑뷰 이미지를 노면 임계값과 비교하면서 이진화하여 전방차량의 위치를 판단한 후 거리를 산출하여 추돌가능성이 높아짐을 운전자에게 경고할 수 있게 함으로써, 안개가 많이 끼어 있는 도로를 주행하거나 야간에 주행할 경우에도 차선의 이탈여부와 전방차량에의 추돌가능성 증가여부를 정확하고 신속하게 판단하여 운전자에게 소리나 화면상의 색상 변화 등으로 경고할 수 있게 한 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선 이탈 및 전방차량추돌 통합 경고 시스템에 관한 것이다.

Description

저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템{INTEGRATED WARNING SYSTEM FOR LANE DEPARTURE AND FORWARD VEHICLE COLLISION USING CAMERA FOR IMPROVED IMAGE ACQUISITION IN DARK ENVIRONMENT}

본 발명은 차량용 통합 경고 시스템에 관한 것으로서, 보다 상세하게는 가시광선뿐만 아니라 근적외선에도 감응하여 영상을 획득할 수 있게 한 카메라로부터 획득한 영상을 탑뷰 이미지로 변환하여 주행 중인 차선의 이탈여부를 정확하게 판단하고 경고할 수 있게 함과 아울러, 탑뷰 이미지를 노면 임계값과 비교하면서 이진화하여 전방차량의 위치를 판단한 후 거리를 산출하여 추돌가능성이 높아짐을 운전자에게 경고할 수 있게 함으로써, 안개가 많이 끼어 있는 도로를 주행하거나 야간에 주행할 경우에도 차선의 이탈여부와 전방차량에의 추돌가능성 증가여부를 정확하고 신속하게 판단하여 운전자에게 소리나 화면상의 색상 변화 등으로 경고할 수 있게 한 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선 이탈 및 전방차량추돌 통합 경고 시스템에 관한 것이다.

최근 차량의 안전운전에 도움을 주는 각 종 자동화 시스템에 대한 연구와 관심이 증가하면서, 주행 중인 차량이 졸음 등의 원인으로 인한 의도치 않은 차선이탈을 감지하여 경고하는 차선이탈경고시스템(LDWS)이나 주행 중인 차로 내에서 전방에 있는 차량과의 거리가 급격히 가까워지는 것을 감지하여 추돌가능성의 증가를 경고하는 전방차량추돌경고시스템(FCWS) 등이 제공되는 차량이 증가하고 있다.

상기 차선이탈경고시스템(LDWS: Lane Departure Warning System)은 차량이 주행 중인 차로의 차선 상 위치를 인식하여 운전자의 부주의나 졸음운전 등으로 의도하지 않은 차선이탈이 발생할 경우, 이를 운전자에 경고해 주기 위한 시스템이고, 상기 전방차량추돌경고시스템(FCWS: Forward vehicle Collision Warning System)은 주행 중인 차로의 전방에 있는 차량에 한하여 운전자의 부주의로 인한 전방 차량과의 추돌을 예방하기 위하여 자차와 급격히 가까워져서 추돌의 가능성이 높을 때 이를 운전자에 경고해 주기 위한 시스템을 말한다.

이러한 차선이탈경고시스템이나 전방차량추돌경고시스템의 경우 차선이탈 여부나 전방차량과의 거리 증감을 감지하기 위하여, 차량의 전면유리(윈드쉴드)에 장착된 카메라나 라이더(LIDAR : light detection and ranging)와 같은 센서에 의해 전방의 도로 상황 데이터를 획득하여야 한다.

그러나, 이와 같이 전방의 도로 상황 데이터를 획득하는 카메라나 라이더 등의 센서는 날씨가 맑거나 밝은 주간에는 정확한 영상의 획득이 가능하므로 정확한 감지가 가능하게 되지만, 빛이 약한 야간에는 정확한 영상의 획득 등이 어렵게 되므로 차선이탈 경고나 전방차량추돌 경고 등의 동작 상태를 신뢰하기 어려운 경우가 많았다. 또한, 빛이 있는 주간의 경우에도 안개가 끼거나 먹구름이 많이 있어 카메라 등에서의 영상 획득을 위한 조도환경이 양호하지 못한 경우에도 정확한 도로 상황의 인지가 어렵게 되는 문제점이 있었다.

그에 따라, 밝은 조도하의 환경에서뿐만 아니라, 야간이나 안개가 낀 경우와 같은 저조도 환경 하에서도 차량이 주행 중인 도로의 영상을 보다 정확하게 취득하고, 이를 토대로 차선이탈 여부 또는 전방차량과의 거리 증감여부를 정확하게 판단하여 운전자에게 경고해줄 수 있는 안정적인 시스템에 대한 요구는 여전하다 할 것이다.

최근에는 대한민국 등록특허공보 제10-1406316호에 개시된 바와 같이, 이미지 센서로부터 촬상된 영상의 픽셀값을 출력하고, 인접하는 픽셀들의 픽셀값 중 밝기값의 차이를 비교하여 차선 후보군을 추출하고 점들로 이루어진 선들의 리스트를 추출(허프변환 알고리즘)하여 이 리스트 중에서 경고 영역에 가장 인접한 선이 들어왔을 때 차선 이탈이 발생하였다고 판단하여 경고할 수 있게 한 차선 인식 장치 및 그 방법이 제안되기도 하였다.

또한, 대한민국 공개특허공보 제10-2012-0078877호에 개시된 바와 같이, 블랙박스의 카메라로 영상을 획득하고 내비게이션을 통해 차선이탈 여부를 판단한 후 경고를 오디오 또는 디스플레이하여 표출할 수 있게 한 전자 기기 및 전자 기기의 차선이탈경보 방법이 제안되기도 하였다.

또한, 대한민국 등록특허공보 제10-1455847호에 개시된 바와 같이, 블랙박스에 차선이탈경고기능을 추가한 시스템을 개시하면서, 블랙박스에 위성신호용 통합안테나와 차량상태정보 수신부, 카메라부, 사용자 조작부를 구비하고, 카메라부는 전후좌우로 구성하여 FCW(Forward Collision Warning) 기능 및 BCW(Backward Collision Warning) 기능을 수행할 수 있게 한 블랙박스와 차선이탈경고기능 겸용 차량운행기록장치가 제안되기도 하였다.

그러나, 이러한 종래의 장치 또는 시스템들은 운행기록 누적저장이라는 본래의 목적 외에 차선이탈경고 기능이나 전방차량추돌경고 기능을 추가한 것이 대부분이었으며, 특히 차선이탈경고나 전방차량추돌경고를 위한 판단에 이용되는 영상을 블랙박스와 같은 운행기록장치의 영상으로 적용함으로써, 야간이나 안개가 끼어 있는 등의 저조도 환경에서 신속하고 정확한 판단이 이루어지기 어려운 문제점이 있었다.

대한민국 등록특허공보 제10-1406316호 대한민국 공개특허공보 제10-2012-0078877호 대한민국 등록특허공보 제10-1455847호

본 발명은 가시광선뿐만 아니라 근적외선에도 감응하여 영상을 획득할 수 있게 한 카메라로부터 획득한 영상을 탑뷰 이미지로 변환하여 주행 중인 차선의 이탈여부를 정확하게 판단하고 경고할 수 있게 함과 아울러, 탑뷰 이미지를 노면 임계값과 비교하면서 이진화하여 전방차량의 위치를 판단한 후 거리를 산출하여 추돌가능성이 높아짐을 운전자에게 경고할 수 있게 함으로써, 안개가 많이 끼어 있는 도로를 주행하거나 야간에 주행할 경우에도 차선의 이탈여부와 전방차량에의 추돌가능성 증가여부를 정확하고 신속하게 판단하여 운전자에게 소리나 화면상의 색상 변화 등으로 경고할 수 있게 한 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선 이탈 및 전방차량추돌 통합 경고 시스템을 제공하는 것을 과제로 한다.

상기 과제를 해결하기 위한 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템은,

가시광선의 영역 일부와 근적외선의 영역 일부만을 통과시키고 그 외의 빛을 차단시켜 가시광선 영역과 근적외선 영역의 영상을 동시에 획득하는 저조도 화질 개선 카메라; 상기 저조도 화질 개선 카메라에서 획득한 영상을 차선의 이탈이나 전방차량의 위치 판단을 위한 원본데이터인 탑뷰(Top-view) 이미지로 변환하는 탑뷰 이미지 변환부; 상기 탑뷰 이미지 변환부에서 변환된 탑뷰 이미지를 이진화하여 차선과 도로를 인지하고, 주행 중인 차로에서 차량이 이탈하는지 여부를 감지하여 경고신호를 생성하는 차선이탈 판단부; 상기 탑뷰 이미지 변환부에서 변환된 탑뷰 이미지의 하단부인 자차 주변 도로면 상의 픽셀 평균 밝기 값을 임계값으로 추출한 후, 상기 탑뷰 이미지의 상단부에 대한 이진화 영상을 생성하고, 탑뷰 이미지 상에서 도로면의 임계값보다 작은 픽셀이 일정 비율 이상일 경우 차량후보군으로 검출하여 자차와의 거리를 산출하여 경고신호를 생성하는 전방차량추돌 판단부; 및 상기 차선이탈 판단부와 전방차량추돌 판단부에서 생성되는 경고신호에 의해 차선이탈이나 전방차량과의 거리 감소로 인한 추돌위험을 음성이나 디스플레이 패널 상의 변화를 통하여 표출시키는 경고출력부;를 포함하는 것을 특징으로 한다.

이때, 상기 저조도 화질 개선 카메라는,

가시광선 영역과 근적외선 영역의 영상을 동시에 획득하는 렌즈부; 상기 렌즈부를 통과하여 전송되는 빛 중 가시광선 영역의 일부와 근적외선 영역의 일부만을 통과시키고 그 외의 빛을 차단하는 IR 패스 필터; 상기 IR 패스 필터에서 필터링된 후 전송되는 빛을 수신하여 전기적 신호로 변환하는 이미지 센서부; 상기 렌즈부와 이미지 센서부가 실장되어 있는 카메라 하우징; 및 상기 이미지 센서부에서의 신호 변환을 제어하는 제어부;를 포함하는 것을 특징으로 한다.

또한, 상기 IR 패스 필터(IR Pass Filter)는,

상기 렌즈부와 이미지 센서부 사이에 위치하여, 4매의 광학렌즈들이 중첩된 하나의 그룹으로 이루어진 렌즈부를 통과한 가시광선 대역(Visible) 전체 영역(0.3 ~ 0.8㎛)의 빛 중 일부 영역인 0.5 ~ 0.8㎛에 해당하는 빛을 통과시키고 나머지 가시광선 영역의 빛은 차단시키며, 상기 렌즈부를 통과한 근적외선 영역의 빛 중 일부 영역인 0.8 ~ 2㎛에 해당하는 빛을 통과시키고 나머지 적외선 영역의 빛은 차단시키는 필터로 구성되는 것을 특징으로 한다.

또한, 상기 차선이탈 판단부는,

탑뷰 이미지 상에서 차선을 판단하기 위한 차선후보 영역을 관심영역으로 설정한 후, 설정된 관심영역내의 탑뷰 이미지를 차선과 도로로 구분하기 위해 이진화하는 관심영역 설정부; 이진화된 관심영역내의 탑뷰 이미지상의 픽셀 중 흰색으로 판단되는 픽셀의 양을 수직과 수평으로 카운팅하여 차선을 검출하는 차선검출부; 상기 차선검출부에서 검출된 차선의 위치를 이용하여 차선의 중앙값을 연산하고, 이를 토대로 차선이탈로 판단할 수 있는 경계값인 안전주행범위를 산출한 후, 차량의 위치가 상기 안전주행범위를 벗어난 경우 차량의 차선이탈이 발생한 것으로 판단하는 차선이탈 감지부; 및 차선이탈이 감지되는 경우 이러한 차선이탈이 운전자가 의도한 차선이탈인지 판단한 후 차선이탈 경고신호를 생성하는 차선이탈 경고판단부;를 포함하는 것을 특징으로 한다.

또한, 상기 전방차량추돌 판단부는,

전방에 있는 차량의 그림자 위치를 파악하기 위해 자차 주변의 도로면을 나타내는 탑뷰 이미지의 하단부 픽셀의 평균 밝기 값을 산출하여 임계값으로 설정하는 임계값 추출부; 탑뷰 이미지의 상단부 픽셀들을 상기 임계값 보다 작은 값과 큰 값으로 구분되는 이진화 영상으로 생성한 후, 이진화된 탑뷰 이미지를 가로라인 단위로 일정 간격마다 올라가면서 차량 후보군을 상정하는 노면 임계값 처리부; 상기 노면 임계값 처리부에서 상정된 차량 후보군의 좌표값을 토대로 상기 저조도 화질 개선 카메라에서 획득한 원본 영상에서의 좌표값을 구한 후, 에지 알고리즘을 적용하여 필터링하고, 차량의 좌우 대칭 정보를 비교하면서 비차량을 제거하여 차량을 검출하는 차량검출부; 및 상기 차량검출부에서 원본 영상으로부터 차량의 존재 유무를 확인한 후, 상기 탑뷰 이미지에서 구한 노면 임계값으로 차량과 자차 사이의 거리를 산출하고 경고신호를 생성하는 차량경고레벨 판단부;를 포함하는 것을 특징으로 한다.

본 발명은 가시광선의 일부 영역뿐만 아니라 근적외선에도 감응하여 영상을 획득할 수 있게 하여 밝은 주간뿐만 아니라, 안개가 끼어 있는 환경이나 야간과 같은 저조도 환경에서도 차선이탈 여부나 전방차량과의 거리 증감을 정확하고 신속하게 판단하고, 차량을 운행 중인 운전자가 이러한 판단결과를 직관적으로 인식하게 할 수 있는 효과가 있다.

도 1은 본 발명에 따른 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템의 블록 구성도.
도 2는 본 발명에 따라 저조도 환경에서의 영상 취득이 가능한 카메라를 통하여 획득한 영상을 이용하여 차선이탈 또는 전방차량추돌 여부를 판단하고 경고하는 알고리즘을 나타내는 순서도.
도 3은 본 발명에 따라 저조도 환경에서의 영상 취득이 가능한 카메라의 렌즈부 구성도.
도 4는 본 발명에 따라 차선이탈 또는 전방차량추돌 여부를 운전자에게 직관적으로 인식시키기 위한 디스플레이 표출 상태를 나타내는 예시도.
도 5는 본 발명에 따라 카메라에서 획득한 영상이미지를 탑뷰 이미지로 변환한 것을 나타내는 예시도.
도 6은 본 발명에 따라 탑뷰 이미지 상에 판단을 위한 관심영역을 설정하고 차선과 도로의 구분을 위해 이진화하는 것을 나타내는 예시도.
도 7은 본 발명에 따라 이진화된 이미지 상의 데이터를 이용하여 차선을 검출하는 것을 나타내는 예시도.
도 8은 본 발명에 따라 탑뷰 이미지의 하단부인 자차 주변의 평균 밝기값을 임계값으로 추출하고 탑뷰 이미지의 상단부를 이진화하여 차량을 검출하는 것을 나타내는 예시도.
도 9는 본 발명에 따라 전방차량에의 근접여부를 감지하여 차량경고레벨을 판단하는 것을 나타내는 예시도.

이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명하도록 한다.

도 1은 본 발명에 따른 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템의 블록 구성도이고, 도 2는 본 발명에 따라 저조도 환경에서의 영상 취득이 가능한 카메라를 통하여 획득한 영상을 이용하여 차선이탈 또는 전방차량추돌 여부를 판단하고 경고하는 알고리즘을 나타내는 순서도이며, 도 3은 본 발명에 따라 저조도 환경에서의 영상 취득이 가능한 카메라의 렌즈부 구성도이고, 도 4는 본 발명에 따라 차선이탈 또는 전방차량추돌 여부를 운전자에게 직관적으로 인식시키기 위한 디스플레이 표출 상태를 나타내는 예시도이다.

도 1 내지 도 3을 참조하면, 본 발명에 따른 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템은, 가시광선의 영역 일부와 근적외선의 영역 일부만을 통과시키고 그 외의 빛을 차단시켜 가시광선 영역과 근적외선 영역의 영상을 동시에 획득하는 저조도 화질 개선 카메라(100)와, 상기 저조도 화질 개선 카메라에서 획득한 영상을 차선의 이탈이나 전방차량의 위치 판단을 위한 원본데이터인 탑뷰(Top-view) 이미지로 변환하는 탑뷰 이미지 변환부(200)와, 상기 탑뷰 이미지 변환부에서 변환된 탑뷰 이미지를 이진화하여 차선과 도로를 인지하고 주행 중인 차로에서 차량이 이탈하는지 여부를 감지하여 경고신호를 생성하는 차선이탈 판단부(300)와, 상기 탑뷰 이미지 변환부에서 변환된 탑뷰 이미지의 하단부인 자차 주변 도로면 상의 픽셀 평균 밝기 값을 임계값으로 추출한 후 상기 탑뷰 이미지의 상단부에 대한 이진화 영상을 생성하고 탑뷰 이미지 상에서 도로면의 임계값보다 작은 픽셀이 일정 비율 이상일 경우 차량후보군으로 검출하여 자차와의 거리를 산출하여 경고신호를 생성하는 전방차량추돌 판단부(400)와, 상기 차선이탈 판단부와 전방차량추돌 판단부에서 생성되는 경고신호에 의해 차선이탈이나 전방차량과의 거리 감소로 인한 추돌위험을 음성이나 디스플레이 패널 상의 변화를 통하여 표출시키는 경고출력부(500)를 포함하여 구성된다.

상기 저조도 화질 개선 카메라(100)는, 주간(daylight) 뿐만 아니라, 야간이나 안개가 끼어 있는 경우처럼 조도가 열악하여 정확한 영상의 획득이 어려운 환경 하에서도 차선의 이탈여부나 전방차량과의 거리 증감 상황을 정확하게 판단할 수 있는 영상을 안정적으로 획득할 수 있는 카메라로 구성된다.

이를 위하여, 상기 저조도 화질 개선 카메라(100)는, 가시광선 영역과 근적외선 영역의 영상을 동시에 획득하는 렌즈부(110)와, 상기 렌즈부를 통과하여 전송되는 빛 중 가시광선 영역의 일부와 근적외선 영역의 일부만을 통과시키고 그 외의 빛을 차단하는 IR 패스 필터(120)와, 상기 IR 패스 필터에서 필터링된 후 전송되는 빛을 수신하여 전기적 신호로 변환하는 이미지 센서부(130)와, 상기 렌즈부와 이미지 센서부가 실장되어 있는 카메라 하우징(미도시)과, 상기 이미지 센서부에서의 신호 변환을 제어하는 제어부(150)를 포함하여 구성된다.

상기 렌즈부(110)는, 가시광선에만 감응하는 통상적인 카메라 렌즈와는 달리, 가시광선 영역과 근적외선 영역의 영상을 동시에 획득할 수 있는 근적외선(NIR : Near Infrared) 렌즈부로 구성된다.

이를 위하여, 상기 렌즈부(110)는, 도 2에 도시된 바와 같이, 기하학적인 구조에서 빛을 모아주는 집광력이 높은 렌즈로서 피사체와 근접한 외측에 위치하는 대물렌즈(111)와, 상기 대물렌즈에서 모아진 빛을 광 중심축으로 굴절시켜 이미지 센서부로 빛을 보내주는 굴절부(112)와, 상기 굴절부에서 광중심축을 향하여 굴절된 빛의 왜곡수차와 색수차를 보정하는 보정부(113)와, 상기 보정부에서 보정된 빛을 상기 이미지 센서부의 전면으로 전송하여 상이 맺히게 하는 상 형성부(114)를 이루는 4개의 광학렌즈가 순차적으로 적층되어 이루어진다.

이와 같이 상기 렌즈부(110)를 이루기 위해 적층된 4개의 광학렌즈들은 굴절률이 1.5이상이고, 반사율이 10~15%인 글래스(glass) 재질로 구성되어 있으며, 입사면에서의 반사율은 낮추고 광투과율을 높이기 위하여 렌즈 양면에 각각 Anti-Reflex 코팅이 되어 있는 것이 바람직하다.

이때, 상기 굴절부(112)를 이루는 광학렌즈의 입사면은 대물렌즈(111)보다 곡률이 큰 곡면으로 형성됨으로써, 상기 대물렌즈에서 모아진 빛이 상기 굴절부를 이루는 광학렌즈를 지나면서 광중심축으로 모일 수 있게 된다. 또한, 상기 굴절부를 이루는 광학렌즈에서 빛이 나가는 면은 불필요한 빛의 굴절을 방지할 수 있도록 곡률이 작은 평면으로 형성되는 것이 바람직하다.

그리고, 상기 보정부(113)를 이루는 광학렌즈의 입사면은 불필요한 빛의 굴절이나 반사를 최소화할 수 있도록 곡률이 작은 평면으로 형성되는 것이 바람직하며, 이러한 보정부(113)를 이루는 광학렌즈에서 빛이 나가는 면은 내측으로 곡면을 이루도록 형성되어 상기 보정부에서 보정된 빛이 이미지 센서부(130)의 전체 면적에 고르게 상을 형성할 수 있게 하는 것이 바람직하다.

또한, 상기 상 형성부(114)를 이루는 광학렌즈는 상기 보정부(113)를 이루는 광학렌즈와는 일정거리 이격되게 위치하여 상기 보정부를 이루는 광학렌즈 후면에 위치하는 조리개(115)에서 상기 상 형성부를 이루는 광학렌즈로 입사되는 빛의 양과 초점을 조절할 수 있게 한다. 그에 따라, 상기 대물렌즈와 굴절부 및 보정부를 지나면서 왜곡될 수 있었던 상을 상기 조리개에서 조절하여 조절된 빛이 상기 이미지 센서부의 정위치에 정렬하면서 왜곡수차를 줄임과 아울러 광중심축을 중심으로 하는 대칭성을 유지할 수 있게 된다.

이와 같이 상기 렌즈부(110)를 이루는 대물렌즈와 굴절부와 보정부 및 상 형성부를 이루는 4매의 광학렌즈들은 광 중심축이 일치되게 설치되는 1개의 그룹으로 구성됨으로써, 영상 획득을 위한 초점, 화각, 색 보정이 적절히 이루어질 수 있게 된다.

또한, 상기 IR 패스 필터(IR Pass Filter)(120)는 상기 렌즈부와 이미지 센서부 사이에 위치하여, 4매의 광학렌즈들이 중첩된 하나의 그룹으로 이루어진 렌즈부를 통과한 가시광선 대역(Visible) 전체 영역(0.3 ~ 0.8㎛)의 빛 중 일부 영역인 0.5 ~ 0.8㎛에 해당하는 빛을 통과시키고 나머지 가시광선 영역의 빛은 차단시키며, 상기 렌즈부를 통과한 근적외선 영역의 빛 중 일부 영역인 0.8 ~ 2㎛에 해당하는 빛을 통과시키고 나머지 적외선 영역의 빛은 차단시킴으로써, 가시광선 일부 영역과 근적외선 일부 영역을 함께 포함하는 넓은 파장대의 빛(520㎚ 이상의 파장)을 투과시킬 수 있는 Infra-Red pass/visible cut filter로 구성된다.

이와 같이 상기 IR 패스 필터에서 가시광선 영역 중 파장이 긴 일부 영역(0.5 ~ 0.8㎛)과 가시광선보다 파장이 더 긴 근적외선 영역(0.8 ~ 2㎛)만을 통과시키게 됨으로써, 상기 렌즈부 주변에 끼어 있는 안개 등에 의해 조도가 열악하거나 야간과 같은 저조도 상황에서도 보다 안정적인 영상 취득이 가능하게 된다.

물론 상기 IR 패스 필터에 의해 가시광선 영역 중 단파장의 영역(0.3 ~0.5㎛)의 빛이 차단됨으로 인하여 보다 정밀하고 해상도가 높은 영상을 얻기는 어려울 수 있지만, 본 발명에 의한 카메라에서 획득하고자 하는 영상이 블랙박스와 같은 고화질의 영상이라기보다는 주행 중인 차선의 위치를 찾거나, 전방 차량과의 거리를 감지하기 위한 것일 뿐인바, 주행 중인 도로에 표시된 차선 위치나 전방 차량의 위치를 감지하기에 충분한 정도면 해상도의 저하는 충분히 감수할 수 있을 것이다.

상기 이미지 센서부(130)는 상기 IR 패스 필터를 통과하여 도달된 장파장(0.5 ~ 2㎛)의 빛(렌즈부에서 촬영된 영상 정보)을 전기적 신호(디지털 정보)로 변환하는 CMOS 이미지 센서(Image Sensor)(131)로 구성된다. 이때, 상기 CMOS 이미지 센서를 외부의 충격이나 이물질로부터 보호하기 위한 센서커버(Sensor cover)(132)가 전면에 더 구비될 수 있음은 물론이다.

이러한 상기 CMOS 이미지 센서(131)는 자체적으로 구비된 R/G/B 컬러 필터 어레이를 통과하는 빛을 전기적 신호로 변환하고, 변환된 값을 픽셀당 8 bit 디지털 정보로 출력함으로써 상기 렌즈부에서 촬영된 빛을 영상 정보로 구현할 수 있게 된다.

상기 카메라 하우징(미도시)은 상기 렌즈부와 이미지 센서부뿐만 아니라, 카메라를 이루는 다양한 부품과 모듈 등이 모두 탑재될 수 있는 기본 외형을 제공하도록 구성된다.

또한, 상기 제어부(150)는 상기 이미지 센서부에 도달된 빛을 전기적 신호로 변환한 디지털 정보를 이용하여 상기 렌즈부에서 촬영된 영상을 구현하도록 카메라 내에서의 신호처리를 제어함과 아울러, 상기 이미지 센서부에서 변환된 전기적 신호로 구현된 영상정보를 상기 탑뷰 이미지 변환부(200)로 전송하여 차선이탈 여부 또는 전방차량과의 거리 증감 여부를 판단하기 위한 데이터의 처리가 이루어질 수 있게 한다.

상기 탑뷰 이미지 변환부(200)는, 도 5의 (a)에 나타난 바와 같이 상기 저조도 화질 개선 카메라에서 획득한 영상 이미지를 전송받아, 도 5의 (b)에 나타난 바와 같이 Bird`s eye view라고도 불리는 탑뷰(Top-view) 이미지로 변환하여 저장하도록 구성된다. 이때, 상기 탑뷰 이미지 변환부에서는 Inverse Perspective Mapping 알고리즘을 적용하여 탑뷰 이미지를 생성하도록 구성되는 것이 바람직하다.

또한, 상기 차선이탈 판단부(300)는, 탑뷰 이미지 상에서 차선을 판단하기 위한 차선후보 영역을 관심영역으로 설정한 후 설정된 관심영역내의 탑뷰 이미지를 차선과 도로로 구분하기 위해 이진화하는 관심영역 설정부(310)와, 이진화된 관심영역내의 탑뷰 이미지상의 픽셀 중 흰색으로 판단되는 픽셀량을 수직과 수평으로 카운팅하여 차선을 검출하는 차선검출부(320)와, 상기 차선검출부에서 검출된 차선의 위치를 이용하여 차선의 중앙값을 연산하고 이를 토대로 차선이탈로 판단할 수 있는 경계값인 안전주행범위를 산출한 후 차량의 위치가 상기 안전주행범위를 벗어난 경우 차량의 차선이탈이 발생한 것으로 판단하는 차선이탈 감지부(330)와, 상기 차선이탈 감지부에서 차선이탈이 감지되는 경우 이러한 차선이탈이 운전자가 의도한 차선이탈인지 판단한 후 차선이탈 경고신호를 생성하는 차선이탈 경고판단부(340)를 포함하여 구성된다.

상기 관심영역 설정부(310)는, 도 6의 (a)에 나타난 바와 같이 상기 탑뷰 이미지 변환부(200)에서 생성된 탑뷰 이미지 상에서 차선을 판단할 수 있는 차선후보 영역을 관심영역으로 설정 한 후, 설정된 관심영역 상의 탑뷰 이미지에 영상처리 알고리즘을 적용하도록 구성된다.

또한, 상기 관심영역 설정부(310)는 설정된 관심영역으로부터 차선과 도로의 구분을 명확히 하기 위해, 관심영역 상의 탑뷰 이미지를 이진화 이미지로 변환하도록 구성된다. 그에 따라, 상기 관심영역 설정부(310)에서 이진화 이미지를 생성할 때, 흰색 도료로 칠해져 있는 차선은 그레이 스케일(Gray-scale) 레벨에서 바이너리 스케일(binary-scale) 레벨로 변환되면서, 차선은 색상값이 255인 흰색으로, 도로는 색상값 0인 검정색으로 이진화된다.

상기 차선검출부(320)는, 도 7에 나타난 바와 같이 상기 관심영역 설정부에서 이진화 이미지로 변환 생성된 관심영역 상에서 검출되는 픽셀의 흰색 량을 수평과 수직으로 카운팅하여 히스토그램으로 표현하면서 차선을 인식하고 검출하도록 구성된다.

도 7의 A이미지는 관심영역 내에서 차선후보라고 여겨지는 픽셀의 흰색(255)량을 수직으로 카운팅하여 히스토그램으로 표현하는 것을 나타낸다. 이때, A이미지상에서는 히스토그램과 같이 도로바닥의 이미지로부터 추출될 수 있는 데이터는 통상 3개의 영역으로 나눌 수 있는바, 차선과 차선이 아닌 단순한 도로마킹 영역을 구분하여야 한다.

그에 따라, 상기 차선검출부(320)는 차선과 도로마킹 영역을 구분하기 위하여 도 7의 B, C 및 D이미지와 같이 상기 3개의 영역에서 차선후보라고 여겨지는 픽셀의 흰색(255)량을 수평으로 카운팅하여 히스토그램으로 표현하도록 구성된다. 이때, 도로마킹 영역은 도 7의 C이미지와 같이 변화의 폭(히스토그램의 편차)가 크지만, 차선영역은 도 7의 B 및 D이미지와 같이 막대형상의 바(bar) 형태를 띠게 되므로 차선을 검출할 수 있게 된다.

또한, 상기 차선이탈 감지부(330)는, 상기 차선검출부에서 검출된 차선의 위치와 간격을 토대로 주행 중인 차량이 자기의 차로내에서 안전하게 주행할 수 있는 범위인 안전주행범위를 산출하여 차선이탈 여부를 판단하도록 구성된다.

이를 위하여, 상기 차선검출부(320)에 의해 현재 주행 중인 차로를 이루는 두 개의 차선이 모두 인식될 경우에는, 인식된 두 개 차선 사이의 중앙값을 기준으로 안전주행범위를 산출하게 된다. 그에 따라 주행 중 차량이 상기 차선이탈 감지부(330)에서 산출된 안전주행범위를 벗어난 것으로 판단될 경우 차선이탈이 발생했다고 판단할 수 있게 된다.

또한, 상기 차선검출부(320)로부터 한 쪽 차선만이 인식될 경우에는 다른 반대쪽 차선은 임의의 차선이 있다고 가정하고, 중앙값을 기준으로 차선이탈 여부를 판단하게 된다. 따라서, 주행 중인 차로에서 차선이 지워져 있거나, 도로 파손 등으로 두 개의 차선 중 어느 하나가 인식되지 않을 경우에도 차선의 이탈여부를 안정적으로 판단할 수 있게 된다.

그에 따라, 상기 차선이탈 감지부(330)는 중앙값이 오른쪽으로 안전주행범위를 넘어설 경우에는 왼쪽 차선 이탈로 판단하고, 중앙값이 왼쪽으로 안전주행범위를 넘어설 경우에는 오른쪽 차선 이탈로 판단하게 된다.

또한, 상기 차선이탈 경고판단부(340)는, 상기 차선이탈 감지부에서 차선이탈이 감지된 후 이러한 차선이탈 상황을 운전자에게 경고할 것인지, 아니면 운전자가 인식하고 있는 차선이탈로 판단하여 경고하지 않을 것인지를 판단한 후 차선이탈 경고신호를 생성하도록 구성된다.

그에 따라 차선이탈이 감지되더라도 차량 속도가 일정속도 이하로서 운전자의 적절한 대응이 가능한 것으로 판단될 경우에는 이탈 경고를 억제하여 경고신호를 생성하지 않게 할 수 있게 된다.

또한, 차선이탈이 감지되더라도 방향지시등이 함께 점등되는 것으로 판단될 경우에는 운전자가 의도한 차선이탈로 간주하여 이탈 경고를 억제하도록 구성될 수 있게 된다.

이와 같이 차선이탈을 감지하더라도 다른 운전상황을 고려하여 경고신호의 생성여부를 판단함으로써 운전 중 불필요하게 경고가 발생되는 것을 방지할 수 있게 된다.

상기 전방차량추돌 판단부(400)는, 전방에 있는 차량의 그림자 위치를 파악하기 위해 자차 주변의 도로면을 나타내는 탑뷰 이미지의 하단부 픽셀의 평균 밝기 값을 산출하여 임계값으로 설정하는 임계값 추출부(410)와, 탑뷰 이미지의 상단부 픽셀들을 상기 임계값 보다 작은 값과 큰 값으로 구분되는 이진화 영상으로 생성한 후 이진화된 탑뷰 이미지를 가로라인 단위로 일정 간격마다 올라가면서 차량 후보군을 상정하는 노면 임계값 처리부(420)와, 상기 노면 임계값 처리부에서 상정된 차량 후보군의 좌표값을 토대로 상기 저조도 화질 개선 카메라에서 획득한 원본 영상에서의 좌표값을 구한 후 에지 알고리즘을 적용하여 필터링하고 차량의 좌우 대칭 정보를 비교하면서 비차량을 제거하여 차량을 검출하는 차량검출부(430)와, 상기 차량검출부에서 원본 영상으로부터 차량의 존재 유무를 확인한 후 상기 탑뷰 이미지에서 차량과 자차 사이의 거리를 산출한 후 경고신호를 생성하는 차량경고레벨 판단부(440)를 포함하여 구성된다.

이러한 상기 전방차량추돌 판단부(400)는, 탑뷰(Top-view) 이미지를 이용하여 주행 중인 자차의 전방에 있는 다양한 차종으로 이루어진 차량의 위치를 파악할 수 있도록 전방 차량에 의해 생성되는 차량의 그림자를 이용하게 된다.

이때, 탑뷰 이미지로부터 차량의 그림자를 찾기 위하여 먼저 차량의 그림자와 도로면을 구분해야 하는바, 이를 위하여, 상기 임계값 추출부(410)에서 도 8의 (b)에 도시된 바와 같이 탑뷰 이미지의 하단부 픽셀들의 평균 밝기 값을 산출하여 이를 차량의 그림자와 도로면을 구분할 수 있는 임계값으로 설정하도록 구성된다.

즉, 탑뷰 이미지의 하단부는 자차의 바로 앞 부분 도로면을 나타내게 되는바, 그 영역의 밝기를 차량의 그림자와 도로면을 구별할 수 있는 임계값으로 설정하는 것이 바람직하게 된다.

이와 같이 탑뷰 이미지 상에서 차량의 그림자와 도로면을 구별하기 위한 임계값을 설정한 후, 상기 노면 임계값 처리부(420)에서는 이 임계값을 기준으로 하여 탑뷰 이미지를 이진화한 이미지를 생성하게 된다. 그에 따라, 도 8의 (c)에 도시된 바와 같이 탑뷰 이미지 상의 픽셀 값(pixel value)이 임계값보다 작으면 그 픽셀 값을 흰색(255)으로 하고, 픽셀 값이 임계값보다 크면 그 픽셀 값을 검정색(0)으로 하여 이진화된 이미지를 생성하게 된다.

이후 상기 노면 임계값 처리부(420)는, 이진화된 이미지를 하나의 가로 라인(예를 들어, 60 픽셀)씩 위로 올라가면서 해당 가로라인에 있는 흰색(255)의 값이 50% 이상(예를 들어, 30 픽셀 이상)인 경우에는 이를 차량 후보군으로 상정하게 된다.

이처럼 자차와 전방 차량 사이의 거리에 따라 탑뷰 이미지 또는 이진화 이미지 상에 나타나는 차량의 크기가 다르고, 차종에 따라 차폭도 다르기 때문에 그림자의 크기도 다양할 수 밖에 없는바, 이진화된 이미지상에 나타나는 그림자의 크기가 일정한 값(예를 들어, 30 pixel) 이상일 경우에는 모두 차량 후보군으로 상정할 수 있게 하는 것이 바람직하다.

이와 같이 탑뷰 이미지를 임계값을 기준으로 이진화 하면서 차량 후보군을 상정한 후, 상기 차량검출부(430)에서 원본 영상으로부터 차량 후보군에 상응하는 위치에 차량이 있는지의 여부를 필터링하여 차량의 위치를 판단하게 된다.

이를 위하여, 상기 차량검출부(430)는, 탑뷰 이미지 상에서 차량 후보군으로 상정된 위치를 나타내는 (x,y)좌표값으로 Inverse Perspective Mapping 알고리즘을 역으로 수행하여 탑뷰 이미지로 변환되기 전인 원본 영상에서의 (x,y)좌표값을 구한 후, 원본 영상에서의 (x,y)좌표값을 기반으로 하는 영역을 설정한 후 에지 알고리즘을 적용하게 된다. 이와 같이 에지 알고리즘을 적용한 영상에서 수평/수직 히스토그램을 구하여 지역 최대점을 확인한 후 차량 후보군을 1차 필터링하게 된다.

또한, 차량의 뒷모습은 좌우 대칭된 형상을 이루기 때문에, 차량 후보군 중에서 차량이 아닌 비차량을 제거하기 위해 좌우로 분할한 후 각 영역간에 상관계수를 구하여 유사도를 검사하게 된다. 이때 유사도값이 0에 가까울수록 차량이 아닌 노이즈일 가능성이 높으며, 노이즈인지 여부를 판단하는 경계를 나눌 수 있는 유사도값은 실험을 통하여 설정할 수 있게 된다.

이와 같이 상기 차량검출부(430)에서 원본 영상을 이용하여 전방에 차량이 존재하는 것을 확인한 후에는, 상기 차량경고레벨 판단부에서 탑뷰 이미지를 이용하여 전방 차량과 자차와의 거리를 산출하고, 거리의 증감에 따라 생성할 경고의 레벨을 결정하도록 구성된다.

이를 위하여, 상기 차량경고레벨 판단부(440)는 존재가 확인한 차량의 그림자 (x,y)좌표값을 구하게 된 탑뷰 이미지로부터 차량의 그림자 좌표와 자차간의 거리를 산출하게 된다. 이때 실제상의 거리를 구하기 위하여 상기 저조도 화질 개선 카메라로부터 획득한 영상과 영상의 실측 거리 데이터를 비교하여 영상의 y축 값으로 거리를 가늠할 수 있게 된다.

이와 같이 상기 차량경고레벨 판단부(440)에서 산출된 자차와 전방 차량간의 거리에 따라 운전자에게 알리는 경고레벨을 달리 설정할 수 있는바, 도 9의 (a)에 나타난 바와 같이 자차와 전방 차량간의 거리가 15~45m 일 경우에는 단순한 근접경고(Green LED)를 발생시키고, 도 9의 (b)에 나타난 바와 같이 그 거리가 15m 이내일 경우에는 초근접경고(Red LED)를 발생시킬 수 있게 된다.

상기 경고출력부(500)는, 상기 차선이탈 판단부와 전방차량추돌 판단부에서 생성된 경고신호에 의해 차선의 이탈여부나 전방차량과의 추돌위험 증가 상황을 운전자에게 직관적으로 알릴 수 있는 스피커나 표시등 등으로 구성된다.

도 4에서는 디스플레이 방식으로 차선의 이탈여부와 전방차량과의 추돌위험 증가여부를 경고하는 디스플레이 인터페이스의 일례를 나타낸다. 도 4에 도시된 디스플레이 인터페이스에서는 Non/White/Green/Red 4종류로 경고의 종류와 위험도를 구분하고, 사운드의 경우에는 차선이탈시 경고음과, 근접차랑경고음과, 초근접차량경고음의 3종류로 구분하는 것을 일례로 나타내었다.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

100 - 저조도 화질 개선 카메라
110 - 렌즈부 111 - 대물렌즈
112 - 굴절부 113 - 보정부
114 - 상 형성부 115 - 조리개
120 - IR 패스 필터 130 - 이미지 센서부
131 - CMOS 이미지 센서 132 - 센서 커버
150 - 제어부
200 - 탑뷰 이미지 변환부
300 - 차선이탈 판단부
310 - 관심영역 설정부 320 - 차선검출부
330 - 차선이탈 감지부 340 - 차선이탈 경고판단부
400 - 전방차량추돌 판단부
410 - 임계값 추출부 420 - 노면 임계값 처리부
430 - 차량검출부 440 - 차량경고레벨 판단부
500 - 경고출력부

Claims (5)

1. 가시광선의 영역 일부와 근적외선의 영역 일부만을 통과시키고 그 외의 빛을 차단시켜 가시광선 영역과 근적외선 영역의 영상을 동시에 획득하는 저조도 화질 개선 카메라;
   상기 저조도 화질 개선 카메라에서 획득한 영상을 차선의 이탈이나 전방차량의 위치 판단을 위하여 원본데이터로부터 탑뷰(Top-view) 이미지로 변환하는 탑뷰 이미지 변환부;
   상기 탑뷰 이미지 변환부에서 변환된 탑뷰 이미지를 이진화하여 차선과 도로를 인지하고, 주행 중인 차로에서 차량이 이탈하는지 여부를 감지하여 경고신호를 생성하는 차선이탈 판단부;
   상기 탑뷰 이미지 변환부에서 변환된 탑뷰 이미지의 하단부인 자차 주변 도로면 상의 픽셀 평균 밝기 값을 임계값으로 추출한 후, 상기 탑뷰 이미지의 상단부에 대한 이진화 영상을 생성하고, 탑뷰 이미지 상에서 도로면의 임계값보다 작은 픽셀이 일정 비율 이상일 경우 차량후보군으로 검출하여 자차와의 거리를 산출하여 경고신호를 생성하는 전방차량추돌 판단부; 및
   상기 차선이탈 판단부와 전방차량추돌 판단부에서 생성되는 경고신호에 의해 차선이탈이나 전방차량과의 거리 감소로 인한 추돌위험을 음성이나 디스플레이 패널 상의 변화를 통하여 표출시키는 경고출력부;를 포함하는 것을 특징으로 하는 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템.
2. 제1항에 있어서,
   상기 저조도 화질 개선 카메라는,
   가시광선 영역과 근적외선 영역의 영상을 동시에 획득하는 렌즈부;
   상기 렌즈부를 통과하여 전송되는 빛 중 가시광선 영역의 일부와 근적외선 영역의 일부만을 통과시키고 그 외의 빛을 차단하는 IR 패스 필터;
   상기 IR 패스 필터에서 필터링된 후 전송되는 빛을 수신하여 전기적 신호로 변환하는 이미지 센서부;
   상기 렌즈부와 이미지 센서부가 실장되어 있는 카메라 하우징; 및
   상기 이미지 센서부에서의 신호 변환을 제어하는 제어부;를 포함하는 것을 특징으로 하는 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템.
3. 제2항에 있어서,
   상기 IR 패스 필터(IR Pass Filter)는,
   상기 렌즈부와 이미지 센서부 사이에 위치하여, 4매의 광학렌즈들이 중첩된 하나의 그룹으로 이루어진 렌즈부를 통과한 가시광선 대역(Visible) 전체 영역(0.3 ~ 0.8㎛)의 빛 중 일부 영역인 0.5 ~ 0.8㎛에 해당하는 빛을 통과시키고 나머지 가시광선 영역의 빛은 차단시키며, 상기 렌즈부를 통과한 근적외선 영역의 빛 중 일부 영역인 0.8 ~ 2㎛에 해당하는 빛을 통과시키고 나머지 적외선 영역의 빛은 차단시키는 필터로 구성되는 것을 특징으로 하는 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 차선이탈 판단부는,
   탑뷰 이미지 상에서 차선을 판단하기 위한 차선후보 영역을 관심영역으로 설정한 후, 설정된 관심영역내의 탑뷰 이미지를 차선과 도로로 구분하기 위해 이진화하는 관심영역 설정부;
   이진화된 관심영역내의 탑뷰 이미지상의 픽셀 중 흰색으로 판단되는 량을 수직으로 카운팅하여 차선을 검출하는 차선검출부;
   상기 차선검출부에서 검출된 차선의 위치를 이용하여 차선의 중앙값을 연산하고, 이를 토대로 차선이탈로 판단할 수 있는 경계값인 안전주행범위를 산출한 후, 차량의 위치가 상기 안전주행범위를 벗어난 경우 차량의 차선이탈이 발생한 것으로 판단하는 차선이탈 감지부; 및
   차선이탈이 감지되는 경우 이러한 차선이탈이 운전자가 의도한 차선이탈인지 판단한 후 차선이탈 경고신호를 생성하는 차선이탈 경고판단부;를 포함하는 것을 특징으로 하는 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템.
5. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 전방차량추돌 판단부는,
   전방에 있는 차량의 그림자 위치를 파악하기 위해 자차 주변의 도로면을 나타내는 탑뷰 이미지의 하단부 픽셀의 평균 밝기 값을 산출하여 임계값으로 설정하는 임계값 추출부;
   탑뷰 이미지의 상단부 픽셀들을 상기 임계값 보다 작은 값과 큰 값으로 구분되는 이진화 영상으로 생성한 후, 이진화된 탑뷰 이미지를 가로라인 단위로 일정 간격마다 올라가면서 차량 후보군을 상정하는 노면 임계값 처리부;
   상기 노면 임계값 처리부에서 상정된 차량 후보군의 좌표값을 토대로 상기 저조도 화질 개선 카메라에서 획득한 원본 영상에서의 좌표값을 구한 후, 에지 알고리즘을 적용하여 필터링하고, 차량의 좌우 대칭 정보를 비교하면서 비차량을 제거하여 차량을 검출하는 차량검출부; 및
   상기 차량검출부에서 원본 영상으로부터 차량의 존재 유무를 확인한 후, 상기 탑뷰 이미지에서 차량과 자차 사이의 거리를 산출하고 경고신호를 생성하는 차량경고레벨 판단부;를 포함하는 것을 특징으로 하는 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템.

Images