KR100326674B1 - 차량의 차선이탈 경보 방법 - Google Patents

Abstract

본 발명은 차량 주행시 차선을 촬영한 영상신호를 다중해상도로 만들어 분리 및 신속히 처리하여 차량의 차선 이탈을 실시간처리로 검출하고 경보할 수 있도록 한 차량의 차선이탈 경보방법에 관한 것으로,

본 발명은 카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하고 이 입력된 차선 영상신호에 대하여 잡음을 제거한 후, 영상신호를 화소를 낮추어 다중해상도 상으로 만들어 분리하고 처리하여 차선 엣지를 추출하는 단계와, 상기 단계에서 추출된 차선 엣지에 대하여 도로 모델링하고 이 도로 모델링이 완료되었는가를 판단하면서 상기 카메라의 위치에 따른 카메라 파라메타를 산출하여 영상 좌표상의 화소간의 거리에 따라 실제도로폭을 계산하는 단계와, 상기 단계에서 계산된 실제 도로폭에 의하여 차량의 차선이탈 여부를 판단하여 차선이탈시 경보를 발하는 단계로 이루어짐을 특징으로 한다.

Description

차량의 차선이탈 경보 방법{METHOD FOR ALARMING BEYOND THE LANE IN VEHICLE}

본 발명은 차량의 차선이탈 경보 방법에 관한 것으로, 특히 차량 주행시 차선을 촬영한 영상신호를 다중해상도로 만들어 분리 및 처리하여 차량의 차선 이탈을 실시간처리로 검출하고 경보할 수 있도록 한 차량의 차선이탈 경보 방법에 관한 것이다.

종래 차량의 차선이탈 경보 장치는 도 1 에 도시한 바와같이 주행차선을 촬영하여 영상신호를 출력하는 카메라(CCD)와, 상기 카메라(CCD)에서 촬영되어 출력되는 영상신호를 입력받아 기 설정된 소정의 프로그램에 의하여 처리 및 차선이탈을 판단 제어하는 전자제어장치(ECU)와, 상기 전자제어장치(ECU)에서 출력되는 신호에 의하여 차선이탈 경보를 발하는 경보출력부(ALARM-OUT)로 구성된다.

상기와 같이 구성된 차선이탈 경보 장치는 상기 카메라(CCD)에서 촬영된 영상신호를 전자제어장치(ECU)에서 기설정된 소정의 프로그램에 의하여 영상신호처리 및 차선이탈을 판단 제어하고, 상기 판단 제어된 신호는 경보출력부(ALRAM-OUT)를 통해서 출력하여 차량의 차선이탈을 경보하도록 되어 있다.

이와 같이 카메라로 차선을 촬영하면서 주행 중에 차선이탈이 판단되어 차선이탈을 경보할 때 가장 중요한 요인인 실시간 차선이탈을 경보해 주는 것이다.

왜냐하면 차선 이탈시 실시간으로 검출하지 않으면, 저속 주행 시에는 별 문제가 없으나, 고속 주행 시에는 위험한 차선이탈을 감지해낼 수 없기 때문이다.

따라서 차량이 차선을 이탈시 즉시 경보를 하지 않을 경우 다시 말하면 차선 이탈시 경보시점에 오차가 발생하였을 경우 사고 후 경보를 해주게 되는 오류를 범하게 되어 주행 중 차선 이탈로 인한 돌이킬 수 없는 치명적인 사고를 발생하게 되는 문제점을 가지게 된다.

그럼에도 불구하고 종래에는 입력된 차선 영상신호 데이터를 기 설정된 소정의 프로그램에 의하여 그대로 처리하도록 되어 있다. 그러나 상기 영상신호데이터의 양은 방대하여 실시간으로 들어오는 영상데이타를 모두 처리할 필요가 있을 때 에는 매우 계산 속도가 빠른 대형의 컴퓨터가 필요해지게 된다.

그래서 기존에는 데이터의 해상도를 낮추는 방법을 사용하였으나, 이러한 방법은 효과적이지 못하며 특히 빠른 속도로 이동하거나 움직이는 시스템의 시각장치로 사용할 때에는 시각장치에서의 처리정도와 속도가 들어오는 영상에 따라가지 못하는 문제점이 발생하여 사실상 실시간 차선이탈을 경보하는데 어려움이 있었다.

본 발명의 목적은 주행차선을 찰영하여 입력되는 차선영상신호에 대하여 실시간 처리로 차선이탈을 검출하고 경보를 발하도록 함으로써, 차선이탈 경보에 대한 실시간 처리 오차로 인하여 야기되는 치명적인 사고를 사전에 방지할 수 있도록 하고자 하는데 있다.

상기의 목적을 실현하기 위하여 본 발명은 카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하고 이 입력된 차선 영상신호에 대하여 잡음을 제거한 후, 잡음제거된 영상을 화소를 낮추어 다중해상도 상으로 만들어 분리하고 신속히 처리하여 차선 엣지를 추출하는 단계와, 상기 단계에서 추출된 차선 엣지에 대하여 도로 모델링하고 이 도로 모델링이 완료되었는가를 판단하면서 상기 카메라의 위치에 따른 산출된 카메라 파라메타로 영상 좌표상의 화소간의 거리에 따라 실제 도로 폭을 계산하는 단계와, 상기 단계에서 계산된 실제 도로폭에 의하여 차량의 차선이탈 여부를 판단하여 차선이탈시 경보를 발하는 단계로 이루어짐을 특징으로 한다.

도 1 은 본 발명에 이용되는 차선이탈 경보 장치의 제어 블록도.

도 2 는 본 발명 차선이탈 경보 제어방법에 대한 플로우챠트.

도 3 은 본 발명 다중해상도 분리에 대한 플로우차트.

도 4 는 본 발명에 적용되는 다중 해상도 분리에 대한 영상도

이하 첨부된 도면에 의거 본 발명을 상세히 설명하면 다음과 같다.

도 2 는 본 발명 차선이탈 경보 방법에 대한 플로우챠트 로서, 카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하는 단계(20)와, 상기 단계(20)에서 입력된 차선 영상신호에 대하여 잡음을 제거하는 단계(21)와, 상기 단계(21)에서 잡음이 제거된 영상신호에 대하여 화소를 낮추어 다중해상도 상으로 만들어 분리하는단계(22)와, 상기 단계(22)에서 분리된 다중해상도를 유지하면서 빠르게 처리하여 차선엣지 추출하는 단계(23)와, 상기 단계(23)에서 추출된 차선 엣지에 대하여 도로 모델링하는 단계(24)와, 상기 단계(24)에서 도로 모델링이 완료 되었는가를 판단하는 단계(25)와, 상기 단계(25)에서 모델링이 완료되었으면 상기 카메라의 위치에 따라 산출된 카메라 파라메타로 영상좌표상의 화소간의 거리에 따라 실제 도로폭을 계산하는 단계(26)와, 상기 단계(26)에서 계산된 실제 도로 폭에 의하여 차량의 차선이탈 여부를 판단하는 단계(27)와, 상기 단계(27)에서 차선이탈 판3단시 경보를 발하는 단계(28)로 이루어지도록 한 것이다.

도 3 은 본 발명 다중해상도 분리에 대한 플로우차트 로서, 카메라(CCD)로 부터 촬영되어 입력되는 영상신호에 대하여 잡음이 제거된 고해상도 256 x 256 화소를 입력하는 단계(30)와, 상기 단계(30)에서 입력된 고해상도 256 x 256 화소에 대하여 화소를 낮추어 128 x 128 화소로 보간하고, 이 보간된 화소 128 x 128를 영상메모리에 저장하는 단계(31)와, 상기 단계(31)에서 저장된 128 x 128 화소에 대하여 화소를 낮추어 64 x 64 화소로 보간하고, 이 보간된 화소 64 x 64 를 영상메모리에 저장하는 단계(32)와, 상기 단계(32)에서 저장된 64 x 64 화소에 대하여 화소를 낮추어 32 x 32 화소로 보간하고, 이 보간된 화소 32 x 32 를 영상메모리에 저장하는 단계(33)로 이루어지게 된다.

도 4 는 본 발명에 적용되는 다중 해상도 분리에 대한 영상도 로서, 도 3 에 의한 256 x 256 화소를 다중 분리하였을 때 나타나는 영상도 이다.

상기와 같이 이루어지는 본 발명의 작용을 설명하면 다음과 같다.

먼저 차량에 차선을 촬영하는 카메라(CCD)를 임의로 설정된 위치에 장착하고, 상기 카메라(CCD)에서 촬영된 영상신호는 차량의 내부에 설치되어 기 설정된 소정의 프로그램에 의하여 제어하고 제어된 신호를 출력하는 전자제어장치(ECU)와 연결하게 설치한다.

이와 같이 설치한 상태에서 주행이 시작되면, 상기 카메라(CCD)에서는 주행 차선을 촬영하여 영상신호를 출력하게 되고, 이 출력되는 영상신호는 전자제어장치

(ECU)에 입력된다.

따라서 상기 전자제어장치(ECU)에서는 단계(20)로 가서 카메라(CCD)를 통해서 입력되는 차선 영상신호를 입력하게 된다.

이어서 단계(21)로 가서 상기 입력된 차선 영상신호에 대하여 메디언필터(Me

-dian filter)로 잡음을 제거한후, 단계(22)로 가서 잡음이 제거된 차선 영상데이터에 대하여 해상도를 그대로 유지하면서도 처리속도를 빨리 할 수 있는 다중해상도 기법을 적용하게 된다.

이때 전자제어장치(ECU)에서는 카메라(CCD)로부터 입력되는 영상신호에 대하여 도 3 및 도 4 에 도시한 바와같이 단계(30)에서 잡음이 제거되어 입력되는 256 x 256 영상신호에 대하여 단계(31)로 가서 256 x 256 영상의 홀수번째 화소를 128 x 128 의 0,1,2,3 … 처럼 순차적으로 만드는 보간법에 의하여 128 x 128 화소로 낮추고, 128 x 128 화소를 영상메모리에 저장한다.

이어서 상기 128 x 128 화소로 저장된 영상신호를 단계(32)에서 다시 1/2 로 낮추어 64 x 64 화소로 보간하고, 이 보간된 화소 64 x 64 를 영상메모리에 저장한다.

다시 단계(33)로 가서 상기 저장된 64 x 64 화소에 대하여 화소를 1/2 로 낮추어 32 x 32 화소로 보간하고, 이 보간된 화소 32 x 32 를 메모리에 저장하는 것으로 다중해상도 분리를 하게 된다.

이와 같이 여러개의 서로 다른 해상도 256 x 256, 128 x 128, 64 x 64, 32 x 32 화소를 가지는 영상 프레임으로 분리한다.`

이어서 상기 전자제어장치(ECU)에서는 단계(23)로 가서 상기 서로 다른 해상도로 분리되는 영상프레임에 대하여 먼저 가장 낮은 32 x 32 화소 영상에서 차선을 추출하고 신뢰성이 없는 경우에 한 단계 높여서 64 x 64 화소에서 차선을 추출하게 된다.

이때 화소의 수가 작을수록 데이터 량이 적으므로 계산량이 현저히 줄어들게 되어 이렇게 최저 해상도에서 최고 해상도로 동시 처리하여 실시간 처리를 한다.

이와 같이 실시간 처리된 영상에 대하여 상기 전자제어장치(ECU)에서는 단계(24)로 가서 도로에 대하여 모델링을 하고, 단계(25)로 가서 도로 모델링이 완료되었는가를 판단하게 된다.

이때 도로 모델링이 완료되지 않았으면 상기 단계(21)로부터 반복수행한다.

한편, 상기 도로 모델링이 완료되었으면 단계(26)로 가서 상기 카메라(CCD)에서 입력되는 영상신호에 대하여 2 차원 영상 좌표로부터 실제 도로상의 거리를 추출해 내기 위하여 최초 카메라의 위치에 따라 산출된 카메라 파라메터로 상기 모델링된 도로에서 영상좌표상의 화소간의 거리에 따라 실제 도로 폭을 계산한다.

이와같이 실제 도로폭이 계산되면 상기 전자제어장치(ECU)에서는 단계(27)로 가서 상기 계산된 실제 도로폭에 대하여 차선이탈이 되었는가를 판단하게 된다.

이때 차선이탈이 되지 않았으면 상기 상기 단계(21)로부터 반복수행하고, 반면에 차선이탈이 되었으면 상기 전자제어장치(ECU)에서는 단계(28)로 가서 경보출력부(ALARM-OUT)로 제어신호를 출력하여 차선을 이탈하였음을 경보하게 되는 것이다.

이상에서 설명한 바와같이 본 발명은 카메라로부터 주행차선을 촬영하여 입력되는 차선 영상신호에 대하여 화소를 낮추어 여러개의 다중해상도의 영상 프레임을 만들어 영상메모리에 기억시키는 순서로 영상프레임으로 다중 분리한 후 다중해상도에 대하여 실시간처리를 하도록 함으로써, 주행차량의 차선이탈을 신속히 검출하고 경보를 발할 수 있게 되어 차선이탈 경보의 실시간 처리 오차로 인하여 야기되는 치명적인 사고를 사전에 방지할 수 있는 효과를 제공하게 되는 것이다.

Claims (2)

1. 차량의 차선이탈 경보 방법에 있어서,

   카메라로부터 주행차선을 촬영하여 차선 영상신호를 입력하는 단계와;

   상기 입력된 차선 영상신호에 대하여 잡음을 제거하는 단계와;

   상기 잡음이 제거된 영상신호에 대하여 화소의 수를 달리하는 다수개의 다중해상도의 영상프레임을 만들어 상기 입력되는 영상신호에 해상도를 낮추어 저장하는 다수의 반복 과정으로 상기 다수개의 서로 다른 화소를 가지는 영상프레임으로 분리, 처리하여 차선 엣지를 추출하는 단계와;

   상기 차선 엣지 추출 단계에서 추출된 차선 엣지에 대하여 도로 모델링하는 단계와;

   상기 도로 모델링 단계에서 도로 모델링이 완료되면 상기 카메라의 위치에 따라 산출된 카메라 파라메타로 영상좌표상의 화소간의 거리에 따라 실제 도로폭을 계산하는 단계와;

   상기 실제 도로폭 계산단계에서 계산된 실제 도로폭에 의하여 차량의 차선 이탈 여부를 검출하는 단계와;

   상기 검출단계에서 차선 이탈이 검출되면 차선이탈 경보를 발하는 단계를 포함하여 이루어지는 것을 특징으로 하는 차량의 차선이탈 경보 방법.
2. 제2항에 있어서, 상기 다중해상도 처리는 서로 다른 해상도로 분리되는 다수개의 영상 프레임에 대하여 가장 낮은 화소영상에서 차선을 추출하고, 신뢰성이 없는 경우에 화소 영상을 한 단계 높여서 차선을 추출하는 최저 해상도에서 최고 해상도 순으로 처리하는 것을 특징으로 하는 차량의 차선이탈 경보 방법.