KR20020005260A - 차선이탈 경보 방법 및 시스템 - Google Patents

Abstract

본 발명은 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.

한편, 본 발명은 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.

Description

차선이탈 경보 방법 및 시스템{Method and system for warning departure of traffic lane}

본 발명은 차선이탈 경보 방법 및 시스템에 관한 것으로서, 더 상세하게는 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.

한편, 본 발명은 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 한 차선이탈 경보 방법 및 시스템에 관한 것이다.

통상, 운전자는 차량 운행중에 차량이 차선중앙으로부터 벗어나지 않도록, 즉 차선이탈을 하지 않고 해당 주행차선을 계속 유지하도록 주의를 기울이면서 운전을 하게 마련이다. 이와 같이 운전중에 차량이 차선중앙으로부터 벗어나지 않도록 운전자가 계속해서 주의를 기울이는 이유는, 당연한 사실이지만 차선이탈시 발생할 수 있는 교통사고를 방지하기 위함이며, 나아가 교통흐름에 방해를 주지 않기 위함이다.

그러나, 차량 운행중 운전자는 지속적으로 차선이탈을 하지 않고 해당 주행차선을 유지하면서 운전을 해야 하지만, 예를 들어 운전자가 육체적 또는 정신적으로 피곤하여 졸음 운전을 하는 경우 해당 주행차선을 이탈하여 불의의 사고를 일으키는 경우가 증가하고 있어 교통 문제 및 사회 문제화되고 있다.

상기와 같이 졸음운전과 같은 상태로 말미암은 차선이탈에 기인한 불의의 사고를 방지하기 위한 장치, 시스템과 방법이 다양하게 공지되고 있지만, 이들은 다음과 같은 문제점을 가지고 있다.

즉, 종래의 차선이탈 방지 시스템의 실시예는 차선이탈 자체를 인식하기 보다는 졸음운전과 같은 상황을 감지하는 것으로서 졸음운전 이외의 다른 이유로 인한 차선이탈 상황을 인식하지 못하는 문제점이 있다.

또한, 종래의 차선이탈 방지 시스템의 다른 실시예는 운전자의 의지, 예를 들면 차선변경을 위한 차선이탈 상황을 파악하지 못하여 불필요한 경보를 발생하는문제점이 있다.

그리고, 종래의 차선이탈 방지 시스템에 있어서, 차선인식은 차선의 위치를 인식하는 것, 즉 이미 차선이탈이 이루어진 상황에서 경보를 발생하는 것이기 때문에 실질적인 차선이탈 방지 시스템이라고 볼 수 없는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로서, 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 한 차선이탈 경보 방법 및 시스템을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은, 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 한 차선이탈 경보 방법 및 시스템을 제공하는데 있다.

도 1은 본 발명에 따른 차선이탈 경보 방법의 흐름도.

도 2는 본 발명에 따른 차선이탈 경보 시스템의 블록 구성도.

도 3은 본 발명 차선이탈 경보 시스템의 적용 예시도.

도 4는 본 발명 차선이탈 경보 방법의 영상처리 알고리즘의 흐름도.

도 5는 본 발명의 영상처리 영역 설정과 관련한 그래프도.

도 6은 본 발명 영상처리에서 에지(edge) 추출을 위한 처리 블록도.

도 7a,b는 본 발명을 위한 소벨(Sobel) 에지 연산자와 관련한 개념도.

도 8은 본 발명 누적분포함수 구축을 위한 파라메터 스페이스의 개념도.

도 9는 본 발명을 위한 누적분포함수의 그래프도.

도 10은 본 발명의 실험 실시예도.

＜도면의 주요부분에 대한 부호의 설명＞

1 : CCD 카메라 10 : 제어부

11 : 타이밍 발생부 13 : 프로세스부

15 : 인터페이스부 17 : 경보 결정부

21 : 차속센서 22 : 조향각 센서

23 : 브레이크 센서 24 : 방향지시 스위치

25 : 와이퍼 스위치 26 : 시스템 온/오프 스위치

30 : 부저

상기 목적을 달성하기 위하여 본 발명에 따른 차선이탈 경보 방법은,

CCD 카메라와 같은 촬영수단을 통해 주행중인 도로의 영상을 촬영하는 단계;

차속이 일정 차속 미만이면 상기 촬영된 영상의 데이터 처리를 하지 않고,차속이 일정 차속 이상이면 상기 촬영된 영상 데이터의 처리를 통해 영상을 획득하고 에지(edge)를 검출하여 도로의 차선 모델을 구축하는 영상처리 단계;

상기 영상처리 단계에 의한 영상이 차선인식 가능한 정도의 영상인지를 판단하여 차선인식 불가능 영상이면 이를 운전자에게 통보하고, 차선인식 가능 영상이면 차선이탈 가능성을 판단하는 판단단계;

상기 판단단계에서 차선이탈 가능성이 있는 경우 운전자에게 이를 경보하는 경보단계를 포함하여 된 점에 그 특징이 있다.

본 발명 방법의 바람직한 실시예에 있어서, 상기 판단단계에서 판단된 차선이탈 가능성이 운전자의 의지에 의한 것인지를 방향지시등, 조향각도, 브레이크 신호, 와이퍼 동작여부와 같은 차량신호에 의해 분석하여 상기 차선이탈 가능성이 운전자의 의지에 의한 것일 때는 상기 경보단계를 수행하지 않도록 하는 운전자 의지 분석단계를 더 포함한다.

상기 목적을 달성하기 위한 본 발명에 따른 차선이탈 경보 시스템은,

주행중인 도로의 영상을 촬영하는 도로영상 촬영수단과,

차속과 조향각, 브레이크, 방향지시, 와이퍼 동작 및 상기 시스템의 온/오프와 관련한 신호를 발생하는 신호발생수단과,

상기 촬영수단의 구동 타이밍 신호를 발생하는 타이밍 발생부와, 상기 촬영수단으로부터 촬영된 영상을 입력받아 차선이탈 가능성을 예측하는 프로세스부와, 상기 신호발생수단으로부터 신호를 입력받아 이를 상기 프로세스부에 인터페이스하는 인터페이스부, 및 상기 프로세스부의 제어에 따라 차선이탈 가능성에 따른 경보여부를 결정하는 경보결정부를 구비한 제어수단, 및

상기 제어수단의 경보결정부의 출력신호에 따라 경보를 발생하는 경보수단을 포함하여 된 점에 그 특징이 있다.

본 발명 시스템의 바람직한 실시예에 있어서, 상기 신호발생수단은,

차속센서와, 조향각 센서, 브레이크 센서, 방향지시 스위치, 와이퍼 스위치, 및 시스템 온/오프 스위치를 포함한다.

본 발명 시스템의 바람직한 실시예에 있어서, 상기 제어수단은 해당 차량의 차선이탈 가능성이 예측되어도 상기 신호발생수단으로부터 운전자의 차선변경 의지에 의한 신호가 출력되는 경우 경보를 발생하지 않도록 제어한다.

이하, 첨부한 도면을 참조하면서 본 발명에 따른 차선이탈 경보 방법 및 시스템의 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명에 따른 차선이탈 경보 방법의 흐름도이고, 도 2는 본 발명에 따른 차선이탈 경보 시스템의 블록 구성도이다.

먼저, 도 1 및 도 2를 참조하면 본 발명에 따른 차선이탈 경보 방법은, CCD 카메라(1)를 통해 주행중인 도로의 영상을 촬영하는 단계(S10)와; 차속이 일정 차속, 예를 들어 20km/h 미만이면 상기 촬영된 영상의 데이터 처리를 하지 않고, 차속이 일정 차속 이상이면 상기 촬영된 영상 데이터의 처리를 통해 영상을 획득하고 차선 에지(edge)를 검출하여 도로의 차선 모델을 구축하는 영상처리 단계(S20)(S30)와; S30 단계에 의한 영상이 차선인식 가능한 정도의 영상인지를 판단하여 차선인식 불가능 영상이면 이를 운전자에게 통보하고(S50), 차선인식 가능 영상이면 차선이탈 가능성을 판단하는 판단단계(S40)와; S40 단계에서 차선이탈 가능성이 있는 경우 운전자에게 이를 경보하는 경보단계(S60)를 포함하여 구성된다.

상기의 판단단계(S40)는 차선인식이 가능한 영상인지를 판단하고 차선이탈 가능성을 예측하는 단계(S41(S41a)와, 차선이탈 가능성이 있는지를 판단하는 단계(S42), 및 차선이탈 가능성이 운전자의 의지에 의한 것인지를 방향지시등, 조향각도, 브레이크 신호, 와이퍼 동작여부와 같은 차량신호를 통해 판단하는 단계, 즉 방향지시(등) 동작 상태를 판단하는 단계(S43)와, 조향각도가 일정각도(예; 10° 이상) 이상인지를 판단하는 단계(S44)와, 브레이크가 동작하였는지를 판단하는 단계(S45)와, 와이퍼가 동작하는지를 판단하는 단계(S45)를 포함한다.

상기의 경보단계(S60)는 차선이탈 정보에 따라 2단계로 경보를 발생하는데, 예를 들면 차선이탈 정도가 적을 때에는 1Hz 주기의 비프(beep) 음을 발생하고, 차선이탈 정도가 클 때에는 2Hz 주기의 비프(beep) 음을 발생한다.

도 2 및 도 3을 참조하면, 본 발명 차선이탈 방지 시스템은, 주행중인 도로의 영상을 촬영하는 CCD 카메라(1)와; 차속과 조향각, 브레이크, 방향지시, 와이퍼 동작 및 시스템의 온/오프(ON/OFF)와 관련한 신호를 발생하는 신호발생부(20)와; CCD 카메라(1)의 구동 타이밍 신호를 발생하는 타이밍 발생부(11)와, CCD 카메라(1)로부터 촬영된 영상을 입력받아 차선이탈 가능성을 예측하는 프로세스부(13)와, 신호발생부(20)로부터 신호를 입력받아 이를 프로세스부(13)에 인터페이스하는 인터페이스부(15), 및 프로세스부(13)의 제어에 따라 차선이탈 가능성에 따른 경보 여부를 결정하는 경보결정부(17)를 구비한 제어부(10); 및 제어부(10)의 경보결정부(17)의 출력신호에 따라 경보를 발생하는 경보부(30)를 포함하여 구성된다. 신호발생부(20)는 차속센서(21)와, 조향각 센서(22), 브레이크 센서(23), 방향지시 스위치(24), 와이퍼 스위치(25), 및 시스템 온/오프 스위치(26)를 구비하여 이루어지며, 경보부(30)는 부저 또는 스피커를 구비한다.

본 발명 차선이탈 경보 시스템에 있어서, 제어부(10)는 해당 차량의 차선이탈 가능성이 예측되어도 신호발생부(20)로부터 운전자의 차선변경 의지에 의한 신호 또는 차선이탈 경보를 해제하는 신호가 출력되는 경우 경보를 발생하지 않도록 제어한다.

제어부(10)에는 도 1의 흐름도 알고리즘 및 이하에 설명하게 될 영상처리 알고리즘이 프로그램화되어 저장될 것이라는 것은 당업자에게 자명할 것이다.

상기와 같이 구성된 본 발명 차선이탈 경보 방법 및 시스템의 작용 및 동작을 설명하면 다음과 같다.

먼저, 본 발명에 따르면, 경보음(beep음)의 발생은 자차량의 차선이탈 직전에 발생되는데, 자차량의 차선이탈 직전일지라도 이 차선이탈 상황이 운전자의 의지에 의해서 이루어진 경우, 즉 자차량의 차속이 소정속도 이하, 예를 들면 20km/h 이하이거나, 자차량의 조향각이 소정각도 이상, 예를 들면 10°이상이거나, 방향지시등이 작동중이거나, 브레이크 신호가 검출되는 경우이거나 또는 와이퍼 작동시에는 경보음을 발생하지 않는다.

그리고, 본 발명 시스템은 차선인식이 곤란한 경우, 예를 들면 육안으로도차선이 보이지 않을 정도(도로의 마모, 공사구간 등)인 경우와, 시스템 온/오프 스위치(26)의 조작에 의해 본 발명의 시스템이 오프(off)되었을 때는 작동하지 않게 된다. 시스템 온/오프 스위치(26)의 조작은 운전자의 선택에 따른다.

본 발명에 따른 차선이탈 가능성의 판단은 영상처리에 의한 차선마크 인식을 통해 달성되며, 이를 위한 CCD 카메라(1)는 초당 대략 15프레임 이상을 바람직하게 처리한다. CCD 카메라(1)는 롤(Roll), 틸트(Tilt), 요(Yaw)각 모두 0°를 유지하며 바람직하게 차량 중앙(0BL), 즉 룸미러(미도시) 후면에 설치된다. 운전자의 의지 확인과 경보발생 판단은 상기 영상처리 결과와 차량 주행신호의 연동에 의해 달성되며, 이를 위한 프로세싱 처리 속도는 바람직하게 대략 10Hz이다.

CCD 카메라(1)는 주행중 전방 도로영상을 흑백의 단일 영상으로 촬영한다. 제어부(10)의 프로세스부(13)에 의해 처리되는 영상처리 소프트웨어(도 1의 흐름도 알고리즘이 프로그램화 된 내용)는 3 ×3 소벨(Sobel) 에지 연산자를 사용하여 차선표식의 윤곽선(Edge)를 검출하고, 에지분포함수(EDF; Edge Distribution Function)를 구축하고, EDF에 의한 장면(scene) 해석지수를 계산하여 영상처리 곤란한 장면을 판정하고, EDF의 대칭축 및 로컬 맥시마(Local Maxima)를 탐색하고, EDF의 대칭축의 위치이용을 통해 차선이탈 가능성을 예측한다.

제어부(10)는 동기 발생기(Sync Generator)와 아날로그 디지털 변환기(ADC) 등을 이용하여 영상획득(Raw Image Grabbing)을 하며, 실시간처리 대응을 위한 영상처리 소프트웨어를 운영하며, 인터페이스부(15)를 통해 차속, 조향각 등의 차량신호를 입력받는다.

제어부(10)의 경보 결정부(17)는 경보모드를 2단계(Light/Heavy Warning)로 선택할 뿐만 아니라 차량정보(차속, 조향각 등)를 이용하여 차량주행 방향(DOH; Direction of Heading)을 예측한다.

상기의 내용을 보다 더 구체적으로 살펴보면 아래와 같다.

본 발명을 위한 로직은 크게 두 가지로 구성된다. 즉, 영상처리기술에 의해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하고 차선이탈가능성을 예측하는 부분과, 속도나 조향각, 방향지시 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하는 부분으로 구성된다. 따라서, 영상처리 로직에 의하여 차선이탈가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음은 발생되지 않는다.

본 발명에 따른 영상처리 알고리즘에 있어서, CCD 카메라(1)로부터 입력된 도로영상에서 차선을 인식하여 자차량이 차선을 이탈할 가능성이 있는지 판단한다. 기존의 국내외에 공지된 기술에 의하면 차선인식은 곧 차선의 위치를 인식하는 것으로 여기고 있으나 본 발명의 차선인식 방법은 차선의 위치인식보다는 차선의 방향인식에 중점을 둔다. 영상처리 알고리즘의 흐름도의 일례를 도 4에 나타내 보였다.

제어부(10)에 의한 차선이탈 가능성 판단의 과정을 살펴보면, 차선은 서로 평행하므로 자차량이 차선중앙에서 주행하면서 촬영된 입력영상에서는 좌우 차선의 방향성이 90°를 중심으로 대칭을 이루지만 차량이 차선중앙을 벗어나게 되면 검출된 차선의 방향의 대칭성은 더이상 90°를 중심으로 성립되지 않고 대칭의 중심이90°로부터 벗어난다. 이 사실을 이용하여 자차량의 차선이탈 가능성을 판단한다.

차선인식은 CCD 카메라(1)에 의해 수행되는데, CCD 카메라(1)에 의한 이미지는 흑백영상이며, 프레임 크기는 대략 160(수평) ×120(수직) 픽셀이다.

영상 처리영역의 설정을 살펴보면, 차량내에 설치된 CCD 카메라(1)의 광축이 0BL과 일치하고 편평한 도로면과 평행하다고 가정하면, 즉 요(yaw)각, 틸트(tilt)각, 롤(roll)각이 모두 0°이면 영상에 보이는 차선의 소실점은 영상의 중심점에 오게 되고, 실제로 차선은 영상의 중심아래부분에만 나타난다. 이러한 상황에서 차선인식을 위한 영상처리 영역은 도 5와 같이 영상의 중심아래부분에만 국한한다. 차선식별영역을 약간 넓히기 위해 카메라를 차량에 설치할 때 일반적으로 카메라의 광축이 도로면에 접하도록 틸트(tilt) 각을 약간 주어 설치하므로 실제 소실점은 영상의 중심점보다 약간 위쪽에 오게 되는데, 이를 해결하기 위해 도 5와 같은 방법으로 처리영역을 설정한다.

영상처리 알고리즘의 기본 전제조건을 살펴보면, 본 발명의 영상처리 알고리즘은 다음의 세가지 조건을 전제로 이루어졌으며, 각각은 실제 고속도로 환경과 비교해 보았을 때 충분한 합리성을 가진다.

(1) 차선의 방향은 급격히 변하지 않고 연속성을 갖는다.

(2) 차선표식은 배경에 비해 밝은 밝기값을 가지고 있고, 그 경계는 밝기가 다른 두 영역을 나누는 곳에 위치한다.

(3) 차선은 서로 평행하므로 차량이 차선 중앙을 주행할 경우 입력영상에서 좌우차선의 방향은 90°를 중심으로 대칭을 이룬다.

차선의 에지(Edge) 추출에 대해 살펴보면, 상기 영상처리 알고리즘의 기본 전제조건에 있어서 두번째 전제조건에 따라 차선 표식의 경계부는 영상의 다른 부위에 비해 크기가 큰 뚜렸한 에지성분을 가지고 있으므로 에지정보를 효율적으로 활용한다면 양호한 차선인식 결과를 도출해 낼 수 있다. 이에 따라 본 발명에서는 에지라고 하는 영상의 원시정보를 중요한 인자로 고려하여 컴퓨터 비전 분야에서 잘 알려져 있는 다음과 같은 방법으로 에지추출을 진행한다. 에지추출과 관련한 내용을 도 6에 블록으로 나타내 보였다.

(1) 미분연산에 의해 밝기값의 기울기(Gradient) 계산

(2) 계산된 기울기의 크기와 방향계산

(3) 가능하면 차선표식에 해당되는 에지들만을 남기기 위해 에지성분이 뚜렷하지 않은 크기가 작은 에지 픽셀들의 제거

상기 기울기를 계산하기 위해서, 입력영상에 대한 미분연산으로 에지를 추출한다. 도 7a와 같은 3 ×3 영역의 각 픽셀의 밝기값과 도 7b에 주어진 소벨(Sobel) 에지 연산자를 이용하여 다음과 같이 영역의 중심위치에서의 에지의 기울기 성분을 구하는데, 관련공식을 공식 (1)(2)에 나타내 보였다.

에지의 물리량에 있어서, 에지의 크기는 공식 (3)에 의해 계산되고, 에지의방향은 공식 (4)에 의해 계산된다. 로직 구현시 에지의 방향이 0°∼180°의 값을 갖도록 한다.

크기가 작은 에지픽셀의 제거를 위한 기준값(Threshold) 갱신;

차선에 관련된 에지픽셀들을 가능한 한 부각시키기 위해 크기가 작은 에지픽셀들을 제거해야 하는데, 이때 제거의 기준값 선정이 컴퓨터 비전 분야의 딜레마가운데 하나이다. 본 발명에서는 사용자의 개입없이 알고리즘이 스스로 입력영상의 밝기 변화에 적응(adaptive)될 수 있는 기준값(Threshold) 갱신방법을 제시한다. 먼저 입력되는 영상 프레임마다 영상의 하단 중앙부에 일정한 크기의 사각형를 택하여 이 영역 내의 에지픽셀들의 크기의 평균과 표준편차를 공식 (5)(6)에 의해 계산한다. 공식 (5)(6)에서는 선택된 사각형영역의 면적을 나타낸다. 최초로 입력된 프레임에 대해 예측된 문턱치는 공식 (5)(6)의 μ와 σ의 합으로 설정하고, 그 후 입력된 임의의 k번째 프레임에서는 μ, σ 그리고 τ를 지수적 가중평균에 의해 공식 (7)과 같이 갱신한다. 공식 (7)에서 λ는 예를 들어 실험적으로 0.6으로 설정된 값을 사용한다. 상기와 같이 해서 얻어진 보다 적은 에지크기를 가진 픽셀들은 고려대상에서 제외된다.

에지분포함수(EDF) 구축에 대해 살펴보면 아래와 같다.

에지방향의 함수인 에지분포함수(Edge Distribution Function, EDF);

에지분포함수는 공식 (7)의 문턱치(threshold) 보다 작은 에지픽셀들을 제거하고 남은 에지픽셀들을 가지고 공식 (4)의 방향에 대하여 공식 (3)의 에지크기를 누적시킴으로써 형성된다. 이 함수를 이산함수로 하기 위하여 공식 (4)의 에지방향의 연산시 0°부터 180°사이에서 1°단위로 계산한다. 분포함수를 수식으로 표현하면 공식 (8)과 같다. 공식 (8)에서 d는 에지의 각도를 가리키며, n(d)는를 갖는 에지픽셀들의 수량이다.

실제 분포함수의 구축을 위해 하프트랜스폼(Hough Transform)의 아이디어와 유사하게 파라메터 스페이스로 불리우는 181개의 셀을 가진 1차원의 룩엎테이블(look-up table)을 도 8과 같이 꾸민다. 스페이스의 각 셀의 초기값은 0을 넣는다. 제거되고 남은 모든 에지픽셀 각각에 대해 그 픽셀의 에지방향값에 대응되는 셀을 찾아서 그 셀의 현재 값을 읽고 이 값에다 그 픽셀의 에지크기값을 더해줌으로써 현재 입력된 영상 프레임의 에지분포함수가 구축된다. 이와 같이 구축된 EDF는 도 9와 같은 형상을 갖는다.

도 9에 나타난 EDF는 다음과 같은 두 가지 특징을 보여준다.

1) 차선 방향에 해당되는 각도의 근방에서 큰 값을 갖는다. 그 이유는 차선은 방향에 있어서 연속성을 가지며 또한 차선표식의 경계는 크기가 큰 에지픽셀을 가지고 있기 때문이다. 차선경계 이외의 에지들은 어떤 특정 방향에 대한 연속성이 보장되지 않기 때문에 EDF의 특정 위치에 대한 기여도는 떨어진다.

2) 90°를 중심으로 좌우 대칭성을 가지고 있다. 차선은 평행하므로 차량이 차선중심을 주행하면 EDF는 항상 90°를 중심으로 대칭성을 유지한다. 이 사실은 나중에 차선이탈 제어부(10)의 경보 결정부(17)에 그대로 응용된다. 즉, 차량이 주행중에 차선중심을 벗어나면 EDF의 대칭축도 90°를 벗어나게 된다.

평균에지분포함수;

공식 (8)의 에지분포함수는 단일영상에서 얻은 값이므로 잡음이 많이 내재된 영상에서는 잡음의 영향으로 차선표식이 잘 드러나지 않고 결과적으로 차선방향에 대응되는 각도 근방에서 함수의 값이 크게 두드러지지 않을 수 있다. 따라서 연속된 N개의 영상에 대해 이동평균의 원리에 따라 공식 (8)의 함수를 다시 누적시키면 잡음의 효과는 거의 사라지고 차선의 방향성이 보다 명확하게 나타난다. 이러한 개념에서 공식 (9)와 같은 평균분포함수를 구축한다. 공식 (9)에서 k는 현재 프레임을 나타낸다. 실제 시스템에서 H(d)를 구현할 때는 잡음의 효과를 지우는 것이 목적이므로 이동평균을 취하지 않고 다음과 같이 이동합(moving sum)의 형태로 한다.

본 발명의 에지분포함수의 대칭성에 대해 살펴보면 다음과 같다.

어떤 함수는 우함수와 기함수의 합으로 나타낼 수 있으며 각각은 공식 (10)과 같이 표현된다. 공식 (10)에서는 함수가 정의되는 구간이다. 특히 우함수는 축대칭성을 나타내고, 기함수는 원점에 대한 대칭성을 잘 묘사하는 특징을 가지고 있다.

이러한 수학적 배경을 토대로 차량이 도로 중심부를 치우침 없이 잘 주행하고 있는지의 평가는 90°근방에서 EDF가 어느 정도로 우함수에 의해 지배되는지를 계산함으로써 이루어진다.

대칭축 탐색구간 설정;

EDF의 대칭축은 차량이 도로 중심부를 주행할 때는 90°근방에서 나타나지만 주행위치가 중심부에서 치우쳐질수록, 즉 차량의 바퀴가 좌우차선의 어느쪽에 가까이 근접하면 대칭축의 위치도 90°에서 벗어난다. 대칭축 탐색구간 β는 차선변경시에도 그 위치를 알아내기 위하여 다음과 같이 실험적으로 설정한다.

즉, β: 90°±40°(50°≤β ≤130°).

대칭축의 위치를 탐색하기 위한 함수의 평가 구간(evaluation interval);

EDF가 정의되는 범위는 0°∼180°이지만 실제 고속도로 영상에서 보이는 자차량의 주행차선 방향은 15°미만이나 165°이상에서는 나타나지 않는다. 따라서 대칭축의 위치를 탐색하기 위한 EDF의 평가 구간는 15°와 165°사이인 150°로 정한다. 물론를 180°로 정해도 무방하지만 계산시간만 더 소요되므로 효율적이지 못하다.

대칭성 척도(Symmetry Measure);

먼저, EDF의 우함수와 기함수를 공식으로 나타내면 공식 (11)과 같다. 공식 (11)에서 치환변수이며는 임의로 가정된 대칭축이다. 임의의 대칭축가 얼마만큼의 대칭성을 가지고 있는지 평가하기 위하여 대칭성 척도를 공식 (12)와 같이 정의한다. 공식 (12)에서,이며, 적분은 각 함수의 에너지량을 계산한 것이다.

대칭축의 선정;

대칭축 탐색구간 β내에서 계산된 대칭성 척도가운데 가장 큰 값을 가진를 EDF의 대칭축으로 선정한다.

EDF에 기반한 입력영상의 해석을 설명하면 다음과 같다.

도로환경은 여러 잡음요인에 의하여 심지어는 사람 눈으로도 차선식별이 어려운 경우가 있다. 예를 들어 도로가 심하게 마모된 경우, 강우시, 톨게이트 진출입시, 전방차량에 의해 차선이 가려 있을 경우 또는 터널 입출구에서 순간적으로 조도차가 심하게 발생할 때 등이 CCD 카메라(1) 및 제어부(10)에 의한 차선 식별이 어려운 경우로 볼 수 있다. 차선식별정보에 의존하여 어떠한 액션을 취하는 시스템에서 상기 상황이 발생했을 때 이런 상황의 인지를 못하고 얻은 차선정보를 토대로 행한 액츄에이팅 결과의 신뢰성은 보장할 수가 없다. 따라서 상기와 같은 상황을 감지해 낼 수만 있다면 에러가 있는 정보로 시스템을 동작시키는 오류는 피할 수 있다. 이를 위해 본 발명 시스템에서는 도 9의 (b)와 같이 EDF를 90°를 중심으로 왼쪽과 오른쪽으로 나누어 각 영역의 평균와 표준편차를 계산한다. 그리고 이 두 통계량의 비를 취해 보면 입력영상에서 차선의 윤곽이 잘 드러났는지의 여부를 알 수 있다.는 소위 장면(Scene) 해석지수라고 명명한다. 차선윤곽이 잘 드러난 영상의 경우 차선경계에서 얻어진 에지픽셀들이 도 9의 (b)에서 보여준 바와 같이 EDF가 큰 값을 갖도록 한다. 따라서 함수의 평균에 비해 표준편차가 큰 값을 갖게 되고 결과적으로값은 작아진다. 여기서, "차선윤곽이 잘 드러난 영상에서값이 작다"라는 명제는 항상 성립하지만 그 역은 성립하지 않는다. 즉,가 작다고 해서 항상 영상에서 차선윤곽이 잘 보이는 것은 아니다. 장면 해석지수는 입력영상의 해석에 필요조건은 되지만 충분조건은 못된다. 따라서, 본 발명의 알고리즘에서는 입력영상의 해석에 한계를 가지고 있지만, 이는추후 별도의 발명에 의해 극복할 수 있다.

도 10에 본 발명 시스템의 실험 실시예를 참고삼아 나타내 보였다.

본 발명 경보 결정부(17)에 의해 달성되는 경보 알고리즘을 살펴보면 다음과 같다.

경보의 전제로서, 차선이탈 가능성의 예측;

EDF의 대칭축가 90°에서 많이 벗어나 있으면 차량이 주행중에 차선중심으로부터 벗어난 것으로 간주하기 위해 다음과 같이 차선 이탈(Deviation)량을 계산한다.

Deviation량 :

상기에서, 예를 들어이면 차선이탈 가능성이 있다고 판단한다. 본 발명에서은 7°로 설정했지만, 구체적인 값은 실차 튜닝으로 바람직하게 결정할 수 있다.

차선 이탈(Deviation)량이 경보조건을 만족하면 도 1에 도시한 바와 같이 경보를 발하기 이전에 운전자가 차선을 바꾸고자 하는 의향을 가지고 있는지를 방향지시나 조향각 등을 검출하여 판단한다. 즉, 방향지시등이 점멸하는 경우나, 조향각이 ±10°이상이면 운전자가 의식적으로 차선을 변경하려는 것으로 판단한다. 만약, 차량이 운전자의 무의식상태에서 차선을 이탈하고 있다면 경보를 발한다.

경보 조건이 만족되어도 제어부(10)의 경보 결정부(17)는 차량의 주행속도가대략 20km/h 이면 경보를 발하지 않도록 되어 있지만, 이 차량 속도는 실제 실험을 통하여 바람직하게 결정할 수 있음은 물론이다.

그리고, 경보 조건이 만족되어도 제어부(10)의 경보 결정부(17)는 강우가 있는 경우, 경보를 발하지 않는다. 이런 상황의 판단은 와이퍼가 작동되고 있는지의 여부로 결정한다는 것은 전술한 바와 같다. 와이퍼가 작동하고 있을 때 경보를 발하지 않는 이유는 강우인 날씨에서는 인식된 차선정보의 신뢰성확보가 어렵기 때문이며, 음주상태가 아니라면 강우하에서는 운전자가 졸음운전등 무의식적 상태에서 운전을 하지 않을 것이기 때문이다.

경보 결정부(17)는 부저(30)를 통해 2단계로 경보를 발생하는데, 이를 살펴보면 다음과 같다.

일 때는 가벼운 경보(Light Warning)를 발생한다. 가벼운 경보음의 주기는 바람직하게 1Hz로 했지만, 실차 튜닝을 통해 새롭게 정할 수 있음은 물론이다.

일 때는 강한 경보(Heavy Warning)를 발생한다. 강한 경보음의 주기는 바람직하게 2Hz로 한다. 상기에서 차선 이탈량 는 10°로 설정했지만, 이 값은 실차 튜닝을 통해 새롭게 정할 수 있음은 물론이다.

이상에서 살펴본 바와 같이, 본 발명에 따르면 운전중 운전자의 무의식 상황에서 원치 않는 주행차선 이탈시 야기될 수 있는 안전사고의 사전 예방을 위해 실제 차선이탈 직전에 운전자에게 경보를 내보냄으로써 운전자의 경각심을 고취시켜 원치 않는 차선이탈을 방지할 수 있도록 하는 이점을 제공한다.

또한, 본 발명은, 영상처리를 통해 도로상의 차선표식을 인식하여 차량이 차선중앙으로부터 벗어난 정도를 파악하여 차선이탈 가능성을 예측하고, 차속이나 조향각, 방향지시, 와이퍼 동작 등 차량주행정보를 계측하여 운전자가 차선변경을 하려는 의지가 있는지를 파악하여 영상처리에 의해 차선이탈 가능성이 예측되어도 차선을 변경하고자 하는 운전자의 의지가 확인되면 경보음을 발생하지 않도록 함으로써 차선이탈을 방지함은 물론 그 이용 편리성을 향상시키는 이점을 제공한다.

이상 본 발명의 바람직한 실시예에 대해 상세히 기술하었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims (5)

1. 차선이탈 경보 방법에 있어서,

   CCD 카메라와 같은 촬영수단을 통해 주행중인 도로의 영상을 촬영하는 단계;

   차속이 일정 차속 미만이면 상기 촬영된 영상의 데이터 처리를 하지 않고, 차속이 일정 차속 이상이면 상기 촬영된 영상 데이터의 처리를 통해 영상을 획득하고 에지(edge)를 검출하여 도로의 차선 모델을 구축하는 영상처리 단계;

   상기 영상처리 단계에 의한 영상이 차선인식 가능한 정도의 영상인지를 판단하여 차선인식 불가능 영상이면 이를 운전자에게 통보하고, 차선인식 가능 영상이면 차선이탈 가능성을 판단하는 판단단계;

   상기 판단단계에서 차선이탈 가능성이 있는 경우 운전자에게 이를 경보하는 경보단계를 포함하여 된 것을 특징으로 하는 차선이탈 경보 방법.
2. 제 1 항에 있어서, 상기 판단단계에서 판단된 차선이탈 가능성이 운전자의 의지에 의한 것인지를 방향지시등, 조향각도, 브레이크 신호, 와이퍼 동작여부와 같은 차량신호에 의해 분석하여 상기 차선이탈 가능성이 운전자의 의지에 의한 것일 때는 상기 경보단계를 수행하지 않도록 하는 운전자 의지 분석단계를 더 포함하여 된 것을 특징으로 하는 차선이탈 경보 방법.
3. 차선이탈 경보 시스템에 있어서,

   주행중인 도로의 영상을 촬영하는 도로영상 촬영수단;

   차속과 조향각, 브레이크, 방향지시, 와이퍼 동작 및 상기 시스템의 온/오프와 관련한 신호를 발생하는 신호발생수단;

   상기 촬영수단의 구동 타이밍 신호를 발생하는 타이밍 발생부와, 상기 촬영수단으로부터 촬영된 영상을 입력받아 차선이탈 가능성을 예측하는 프로세스부와, 상기 신호발생수단으로부터 신호를 입력받아 이를 상기 프로세스부에 인터페이스하는 인터페이스부, 및 상기 프로세스부의 제어에 따라 차선이탈 가능성에 따른 경보 여부를 결정하는 경보결정부를 구비한 제어수단; 및

   상기 제어수단의 경보결정부의 출력신호에 따라 경보를 발생하는 경보수단;을 포함하여 된 것을 특징으로 하는 차선이탈 경보 시스템.
4. 제 3 항에 있어서, 상기 신호발생수단은,

   차속센서와, 조향각 센서, 브레이크 센서, 방향지시 스위치, 와이퍼 스위치, 및 시스템 온/오프 스위치를 포함하여 된 것을 특징으로 하는 차선이탈 경보 시스템.
5. 제 3 항에 있어서, 상기 제어수단은 해당 차량의 차선이탈 가능성이 예측되어도 상기 신호발생수단으로부터 운전자의 차선변경 의지에 의한 신호가 출력되는 경우 경보를 발생하지 않도록 제어하는 것을 특징으로 하는 차선이탈 경보 시스템.