KR101818542B1

KR101818542B1 - 차선 인식 신뢰도 향상 시스템 및 그 방법

Info

Publication number: KR101818542B1
Application number: KR1020110074212A
Authority: KR
Inventors: 변오성; 이문도; 정순욱; 강병준
Original assignee: 현대모비스 주식회사
Priority date: 2011-07-26
Filing date: 2011-07-26
Publication date: 2018-02-22
Also published as: CN102941851B; KR20130012810A; CN102941851A

Abstract

차선 인식 신뢰도 향상 시스템 및 그 방법이 개시된다. 이 시스템 및 방법은 차량에 장착된 카메라의 영상을 통해 검출된 차선과 별도로 생성된 가상 차선을 비교하여 일치 여부를 판단하고, 그 판단 결과에 따라 차선 인식의 정확도를 단계별로 나누어 출력함으로써, 차선 인식에 대한 신뢰도를 높일 수 있게 한다.

Description

차선 인식 신뢰도 향상 시스템 및 그 방법{System for improving the reliability of the recognition of traffic lane and method thereof}

본 발명은 차량용 시스템에 관한 것으로, 특히 차선 검출 및 인식을 통해 차선 이탈 경보 및 차선 유지를 위한 시스템에 관한 것이다.

차선 이탈을 경보하기 위한 시스템이 알려져 있다. 차선 이탈 경보 시스템은 차선 인식을 위해서 카메라를 이용한다. 따라서 차량 주행 시의 날씨, 조도, 노면 상태 등에 따라 차선을 인식하는 성능의 차이가 많이 나게 된다. 예를 들어, 도 1의 (a)에 도시된 바와 같이 터널이나 국도 등에서는 노면의 먼지, 차선의 노후 등에 의해 한쪽 차선(1)을 찾지 못하거나 (b)나 (c)에 도시된 바와 같이 주행 차선(2, 4)이 아닌 옆 주행 차선(3)이나 표시물(5) 가장자리 등을 차선으로 오인식하는 경우가 많다. 또한 (d)에 도시된 바와 같이 가드레일의 그림자(6)에 의해 차선이 가려져 인식하지 못하게 되는 경우도 발생할 수 있다.

이러한 문제 해결을 위해, 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템이 출원번호 제10-2009-0022943호로 특허 출원되어 있다. 이에 따르면, 주행 차선의 좌측 차선과 우측 차선 중 어느 한 차선이 인식되지 않는 경우나 오인식되는 경우, 가상 차선 생성 및 차선 인식이 되었을 때 파악된 차선 폭 정보(좌측 차선과 우측 차선 간의 폭)를 이용하여 미인식된 차선 측에 가상 차선을 적용한다. 따라서 양측 차선이 인식되는 경우는 물론 어느 일 측 차선이 인식되지 않더라도 차선 이탈 경보를 운전자에게 제공해줄 수 있게 된다.

그러나 위 종래 기술에 따르면, 양측 차선이 인식되는 경우와 어느 한 측 차선이 인식되지 않아 가상 차선을 생성하여 적용하는 경우를 구별하지 않고, 동일하게 차선 이탈 여부를 판단함을 알 수 있다. 즉, 양측 차선이 인식되지 않는 경우에만 차선 미인식이 되고, 양측 차선이 모두 인식되는 경우는 물론 어느 한 측 차선만이 인식되지 않아 가상 차선을 적용하는 경우에도 차선 인식으로 구별한다. 따라서 가상 차선을 적용하여 차선을 인식한 경우, 가상 차선을 잘못 유추 생성하여 적용하게 되면 차선 이탈 경보에 대한 정확성이 떨어질 수 있다. 결국 차선 인식에 대한 운전자의 신뢰도가 떨어지게 된다.

본 발명은 차선 인식에 대한 운전자의 신뢰도를 높일 수 있는 기술적 방안을 제공함을 목적으로 한다.

전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 차선 인식 신뢰도 향상 시스템은 카메라 영상에서 차선을 검출하기 위한 차선 검출 모듈과 가상 차선을 생성하는 가상 차선 생성 모듈을 포함하는 영상 처리부, 상기 차선 검출 모듈에 의해 검출된 차선과 상기 가상 차선 생성 모듈에 의해 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 차선 판별부, 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 이탈에 대한 판단 결과 및 상기 판정된 차선 인식 정확도에 따른 제어신호를 출력하는 차량 제어부, 및 상기 차량 제어부의 제어신호에 따라 해당 액션을 수행하는 경보부를 포함한다.

상기 차선 판별부에 의해 판정되는 차선 인식 정확도는 상기 검출된 차선과 상기 가선 차선이 일치하는 경우와, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우, 상기 차선 검출 모듈에 의한 차선 검출에 실패하고 상기 가상 차선만 생성되는 경우로 나뉜다.

상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력한다. 또는 상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차량이 차선을 유지하도록 하며 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력한다.

한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 차선 인식 신뢰도 향상 방법은 차량의 카메라 영상에서 차선을 검출하며, 가상 차선을 생성하는 단계, 상기 검출된 차선과 상기 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 단계, 상기 차량이 차선을 이탈하는지 판단하는 단계, 및 상기 차량이 차선을 이탈한 것으로 판단되면, 상기 차선 인식 정확도에 따라 운전자에게 달리 경고하는 단계를 포함한다.

본 발명에 따르면, 차선 인식에 대한 정확도를 단계별로 나누어 출력함으로써, 차선 인식에 대한 신뢰성을 높이며 시스템의 성능을 향상시킬 수 있다.

도 1은 종래 차선 검출 및 인식 방식에 의한 문제점을 설명하기 위한 참조도.
도 2는 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 시스템 블록도.
도 3은 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 방법 흐름도.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 시스템 블록도이다.

카메라(100)는 차량에 전방 혹은 후방을 촬영하기 위해 차량의 적절한 위치에 장착된다. 이러한 카메라(100)에서 획득된 영상은 영상 처리부(300)로 입력되며, 또한 영상 버퍼(200)에 저장된다. 영상 처리부(300)는 차선 검출 모듈(310)과 가상 차선 생성 모듈(320)을 포함한다. 차선 검출 모듈(310)은 카메라 영상을 통해 차선을 검출하기 위한 구성으로서, 카메라 영상을 필터링 알고리즘을 이용하여 도로상에서 밝은 부분을 형성하는 차선을 추출해 낸다. 이러한 차선 검출 모듈(310)은 차선을 검출하기 위하여 에지 필터나 차선 강조 필터 등을 사용할 수 있다. 에지 필터는 영상 좌표에서 X 방향과 Y 방향의 각각의 픽셀마다 명도 차이를 이용하여 영상에서 경계를 이루는 부분을 찾아낸다. 그리고 차선 강조 필터는 명암의 평균값을 이용하여 주변 명암에 대비하여 밝은 차선이 더욱 두드러지도록 나타내어 차선을 찾는 방법이다. 가상 차선 생성 모듈(320)은 영상 버퍼(200)에 저장된 카메라 영상에 기반하여 가상 차선을 생성한다. 일 실시예에 있어서, 가상 차선 생성 모듈(320)은 이전 카메라 영상으로부터 현재 차선을 예측하여 가상 차선을 생성할 수 있다. 다른 실시예에 있어서, 가상 차선 생성 모듈(320)은 카메라 영상 내 인식된 좌측 차선과 우측 차선 간의 차선폭을 연산하고, 연산된 차선폭 정보를 이용하여 좌측 차선을 기준으로 가상 우측 차선을 생성하며, 우측 차선을 기준으로 가상 좌측 차선을 생성할 수도 있다.

차선 판별부(400)는 차선 비교 모듈(410)을 포함한다. 차선 비교 모듈(410)은 차선 검출 모듈(310)에 의해 검출된 차선과 가상 차선 생성 모듈(320)에 의해 생성된 가상 차선을 비교한다. 일 실시예에 있어서, 차선 비교 모듈(410)의 비교 결과, ① 검출 차선과 가상 차선이 일치하는 경우가 발생할 수 있고, ② 검출 차선과 가상 차선이 일치하지 않는 경우(좌측 차선과 우측 차선 중 적어도 하나의 차선이 일치하지 않는 경우도 포함)가 발생할 수 있으며, ③ 차선 검출 모듈(310)에 의한 차선 검출은 실패(좌측 차선과 우측 차선 중 어느 한 차선만 검출에 실패하는 경우도 포함)하고, 가상 차선만이 존재하는 경우도 있을 수 있다. 차선 비교 모듈(410)에 포함되는 정확도 판정 모듈(411)은 차선 비교 결과에 따라 검출 차선과 가상 차선의 일치에 대한 정확도, 즉 차선 인식의 정확도를 판정한다. 예를 들어, 정확도 판정 모듈(411)은 ①의 경우는 정확도가 가장 높다고 판단하여 2단계로 출력하고, ②의 경우는 2단계보다 낮은 1단계로 출력하며, ③의 경우는 1단계보다 낮은 0단계로 출력한다. 또 다른 예로, 여러 가지 차선 및 차선 검출의 조건을 활용하여 정확도를 비교 평가하는 가능할 수도 있다.

차량 제어부(500)는 차량이 차선을 이탈하는지 여부를 판단하여 차량을 제어하기 위한 구성으로서, 차선 이탈 판정 모듈(510)과 차량 제어 로직 모듈(520)을 포함한다. 일 실시예에 있어서, 차선 이탈 판정 모듈(510)과 차량 제어 로직 모듈(520)은 운전자의 선택에 따라 어느 하나만이 활성화된다. 차선 이탈 판정 모듈(510)은 차량이 차선을 이탈하는지 여부를 판정하기 위한 모듈이다. ①의 경우는 검출 차선과 가상 차선이 일치하므로, 차선 이탈 판정 모듈(510)은 검출 차선과 가상 차선 둘 중 어느 차선을 기준으로 차량이 차선을 이탈하는지 여부를 판단하여도 무방하다. ②의 경우는 검출 차선과 가상 차선이 일치하지 않는 경우이며, 이 경우 차선 이탈 판정 모듈(510)은 검출 차선을 기준으로 할 수도 있고 가상 차선을 기준으로 할 수도 있으며, 아니면 검출 차선과 가상 차선의 오류 정도를 고려하여 차량이 차선을 이탈하는지 여부를 판단할 수 있다. 여기서, 검출 차선과 가상 차선의 오류 정도를 고려할 때는 검출 차선과 가상 차선의 중간값을 취하여 차선 이탈 여부를 판단하도록 할 수도 있다. ③의 경우는 가상 차선만이 존재하므로, 차선 이탈 판정 모듈(510)은 가상 차선을 기준으로 차량이 차선을 이탈하는지 여부를 판단한다. 차량이 차선을 이탈한 것으로 판단되면, 차선 이탈 판정 모듈(510)은 운전자에게 경고하기 위한 제어신호를 경보부(600)로 출력한다. 이때 차선 이탈 판정 모듈(510)은 정확도 판정 모듈(411)에서 판정된 정확도 레벨에 따라 운전자에게 경고하는 방식을 달리하도록 하는 제어신호를 경보부(600)로 출력한다.

차량 제어 로직 모듈(520)은 차선 판별부(400)의 출력에 따라 차량이 차선을 유지하도록 제어하는 역할을 한다. 일 실시예에 있어서, 차량 제어 로직 모듈(520)은 차선 이탈 판정 모듈(510)과 동일한 역할을 함은 물론, 차량이 차선을 이탈하는 경우에 차량이 차선을 유지하도록 제어하는 역할을 한다. 즉, 차량이 차선을 이탈한 것으로 판단된 경우에, 차량 제어 로직 모듈(520)은 정확도 판정 모듈(411)에서 판정된 정확도 레벨에 따라 운전자에게 경고하는 방식을 달리하도록 하는 제어신호를 경보부(600)로 출력하는데, 이때 이 제어신호에 차량이 차선을 유지하도록 제어하기 위한 명령 데이터를 포함시켜 출력하는 것이다. 아니면, 차량 제어 로직 모듈(520)은 운전자 경고를 위한 제어신호와 차량이 차선을 유지하도록 하기 위한 제어신호를 각각 경보부(600)로 출력할 수도 있다. 그리고 일 실시예에 있어서, 차량 제어 로직 모듈(520)은 정확도 판정 모듈(411)에 의해 판정된 정확도가 2단계일 경우에만 차량이 차선을 유지하도록 제어하기 위한 제어신호를 경보부(600)로 출력할 수도 있다.

일 실시예에 있어서, 경보부(600)는 운전자 경고부(610) 및 차선 유지 제어부(620)를 포함한다. 운전자 경고부(610)는 차선 이탈 판정 모듈(510)은 차량 제어 로직 모듈(520)로부터 출력된 제어신호에 따라 운전자에게 경고한다. 예를 들어, 운전자 경고부(610)는 버저나 시트 벨트, 램프, 계기판 디스플레이 등을 통해 0단계 내지 2단계에 따라 대응되는 지정된 방식으로 운전자에게 차량이 차선을 이탈함을 경고할 수 있다. 예를 들면, 램프의 경우는 0단계 내지 2단계가 구분되도록 LED 색상을 달리하거나 깜빡임 횟수 등을 달리하여 차량이 차선을 이탈함을 경고할 수 있다. 계기판 디스플레이를 통해 경고하는 경우는 차선 이탈의 정확도를 0단계 내지 2단계가 구분되도록 수치로 표현할 수도 있다. 차선 유지 제어부(620)는 차량 제어 로직 모듈(520)로부터 출력된 제어신호에 따라 차량이 차선을 이탈하지 않고 좌측 차선과 우측 차선 내에서 유지되도록 제어하는 역할을 한다. 일 실시예에 있어서, 차선 유지 제어부(620)는 차량 제어 로직 모듈(520)로부터 출력된 제어신호에 따라 전동식 조향 장치(MotorDriven Power Steering, MDPS)를 제어하거나, 브레이크를 제어하거나, 아니면 전동식 조향 장치와 브레이크 모두를 제어할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 차선 인식 신뢰도 향상 방법 흐름도이다.

도 3에 도시된 일련의 과정은 차선 인식 신뢰도 향상 시스템이 차선 인식 및 차선 이탈 여부 판단을 위한 일련의 동작은 차량이 소정 속도 이상일 경우에만 수행될 수 있다. 예를 들어, 차량이 40km/h 이상으로 주행중인 경우에만 도 3에 도시된 과정이 수행되는 것이다. 차량이 소정 속도 이상으로 주행하게 되면, 차선 인식 신뢰도 향상 시스템은 차량에 장착된 카메라로부터 영상을 획득한다(S100). 카메라 영상이 획득되면, 차선 인식 신뢰도 향상 시스템은 카메라 영상 내에서 차선을 검출하고, 또한 가상 차선을 생성한다(S200). 그 다음, 차선 인식 신뢰도 향상 시스템은 검출된 차선과 가성 차선을 비교하여 차선 인식 정확도를 판정한다(S300). 상술한 바와 같이, 차선 인식 정확도는 0단계 내지 2단계로 분류될 수 있다. 차선 인식 신뢰도 향상 시스템은 차량이 차선을 이탈하는지 판단한다(S400). 차량이 차선을 이탈하는 것으로 판단되면, 차선 인식 신뢰도 향상 시스템은 운전자에게 차량이 차선을 이탈함을 경고하기 위한 제어를 수행한다(S500). 바람직하게 차선 인식 신뢰도 향상 시스템은 차선 인식 정확도 레벨에 따라 운전자에게 경고하는 방식을 달리하도록 제어한다. 나아가 차선 인식 신뢰도 향상 시스템은 S500 과정에서 차량이 차선을 벗어나지 않도록 강제적으로 차량을 제어할 수도 있다. 예를 들어, 차선 인식 신뢰도 향상 시스템은 전동식 조향 장치와 브레이크 중 적어도 하나를 제어하여 차량이 차선을 벗어나지 않도록 제어하는 것이다. 이후, 차량 속도가 40km/h 미만으로 떨어지거나 운전자로부터 기능 종료와 같은 명령이 있으면, 차선 인식 신뢰도 향상 시스템은 상술한 일련의 과정 수행을 종료한다(S600).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 카메라 200 : 영상 버퍼
300 : 영상 처리부 310 : 차선 검출 모듈
320 : 가상 차선 생성 모듈 400 : 차선 판별부
410 : 차선 비교 모듈 411 : 정확도 판정 모듈
500 : 차량 제어부 510 : 차선 이탈 판정 모듈
520 : 차량 제어 로직 모듈 600 : 경보부
610 : 운전자 경고부 620 : 차선 유지 제어부

Claims

카메라 영상에서 차선을 검출하기 위한 차선 검출 모듈과, 가상 차선을 생성하는 가상 차선 생성 모듈을 포함하는 영상 처리부;
상기 차선 검출 모듈에 의해 검출된 차선과 상기 가상 차선 생성 모듈에 의해 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 차선 판별부;
상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 이탈에 대한 판단 결과 및 상기 판정된 차선 인식 정확도에 따른 제어신호를 출력하는 차량 제어부; 및
상기 차량 제어부의 제어신호에 따라 해당 액션을 수행하는 경보부를 포함하고,
상기 차선 판별부는 상기 검출된 차선과 상기 가상 차선을 비교하여 상기 검출된 차선과 상기 가상 차선이 일치하는 경우, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우, 차선 검출은 실패하고 상기 가상 차선만 존재하는 경우로 구분하고,
상기 차량 제어부는 차량이 차선을 이탈하는지에 대한 판단 시, 상기 검출된 차선과 상기 가상 차선이 일치하는 경우에는 상기 검출된 차선과 상기 가상 차선 둘 중 하나의 차선을 기준으로 판단하고, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우에는 상기 검출된 차선과 상기 가상 차선의 중간값을 기준으로 판단하고, 차선 검출은 실패하고 상기 가상 차선만 존재하는 경우에는 상기 가상 차선을 기준으로 판단하는
하는 것을 특징으로 하는 차선 인식 신뢰도 향상 시스템.
삭제
제1항에 있어서,
상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력함을 특징으로 하는 차선 인식 신뢰도 향상 시스템.
제1항에 있어서,
상기 차량 제어부는 상기 차선 검출 모듈과 상기 가상 차선 생성 모듈의 결과에 근거하여 차량이 차선을 이탈하는지 판단하고, 상기 차량이 차선을 이탈한 것으로 판단되면 상기 차량이 차선을 유지하도록 하며 상기 차선 인식 정확도에 따라 운전자에 대한 경고 방식을 달리하기 위한 제어신호를 상기 경보부로 출력함을 특징으로 하는 차선 인식 신뢰도 향상 시스템.
제4항에 있어서,
상기 경보부는 상기 제어신호에 포함된 차선 유지 제어 명령에 따라 전동식 조향 장치(Motor Driven Power Steering, MDPS) 및 브레이크 중 적어도 하나를 제어함을 특징으로 하는 차선 인식 신뢰도 향상 시스템.
차량에 장착된 카메라에 의해 획득된 영상에서 차선을 검출하며, 가상 차선을 생성하는 단계;
상기 검출된 차선과 상기 생성된 가상 차선을 비교하여 차선 인식 정확도를 판정하는 단계;
상기 차량이 차선을 이탈하는지 판단하는 단계; 및
상기 차량이 차선을 이탈한 것으로 판단되면, 상기 차선 인식 정확도에 따라 운전자에게 달리 경고하는 단계를 포함하고,
상기 차선 인식 정확도는 상기 검출된 차선과 상기 가상 차선이 일치하는 경우, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우 및 차선 검출에 실패하고 상기 가상 차선만 생성되는 경우로 나눠지고,
상기 차량이 차선을 이탈하는지 판단하는 단계는, 상기 검출된 차선과 상기 가상 차선이 일치하는 경우에는 상기 검출된 차선과 상기 가상 차선 둘 중 하나의 차선을 기준으로 판단하고, 상기 검출된 차선과 상기 가상 차선이 일치하지 않는 경우에는 상기 검출된 차선과 상기 가상 차선의 중간값을 기준으로 판단하고, 차선 검출은 실패하고 상기 가상 차선만 존재하는 경우에는 상기 가상 차선을 기준으로 판단하는
것을 특징으로 하는 차선 인식 신뢰도 향상 방법.
삭제