KR100354022B1 - 차량의 차선 인식 방법 - Google Patents

Abstract

본 발명은 차량이 차선 이탈 여부를 감지하면서 도로 주행 중 콘크리트 도로에 그어져 있는 황색선을 인식할 수 있도록 한 차량의 차선 인식 방법에 관한 것으로,

본 발명은 도로 주행 중에 차선을 이진화 그레이 신호 변화로 인식하는 차선 인식 방법에 있어서, 주행 중 인식하게 되는 차선에서 차선이 모델링 되는가를 판단하여 차선이 모델링 되지 않는 경우 최종 좌측 차선이 인식되었는가를 판단하는 단계와; 상기 단계에서 최종 좌측 차선이 인식되지 않았으면 도로 배경색과 차선과의 그레이 레벨을 미분 필터로 미분하고 이 미분 값으로 콘크리트 도로인가를 판단하여 콘크리트 도로인 경우 그레이 레벨을 반전하여 차선을 인식하도록 한 것을 특징으로 한다.

Description

차량의 차선 인식 방법{METHOD FOR LANE SENCING OF VEHICLE}

본 발명은 차량의 차선 인식 방법에 관한 것으로, 보다 상세하게는 차량이 차선 이탈 여부를 감지하면서 도로 주행 중 콘크리트 도로에 그어져 있는 황색선을 인식할 수 있도록 한 차량의 차선 인식 방법에 관한 것이다.

종래에 차선 인식 여부를 감지하면서 도로를 주행하는 차량의 차선 인식 장치는 차선을 인식 판단하기 위하여 이진화 할 때 동일한 필터를 사용하여 판단하도록 되어 있다.

즉 카메라로 촬영되어 입력되는 영상 신호(이진화 신호)에 대하여 어두운 그레이(GRAY)값(아스팔트 도로)에서 밝은 그레이(GRAY)값(차선)으로 변하는 부분의 경계를 찾는 것으로 차선을 인식하게 된다.

그러나 상기 차선 인식 장치는 도로 주행시 차선 인식하는데 있어 아스팔트 도로의 경우에는 어두운 그레이값과 밝은 그레이값으로 변하는 부분이 구별이 되어 별 문제가 없으나, 콘크리트 도로의 경우 도로의 중앙선을 표시하는 황색 차선 경우 문제점을 가지게 되었다.

물론 차선을 인식하는 장치의 카메라가 칼러인 경우에는 색상에 의한 그레이값이 구별되어 별 문제가 되지 않는다.

그러나 대부분의 차선 인식 장치의 카메라는 경제적인 문제점을 감안하여 주로 흑백 카메라를 사용하는 관계로 도로 차선 촬영시 이진화 되어 필터를 통해서 입력되는 값이 어두운 그레이값과 밝은 그레이값과의 차이가 없어 도로와 차선의 경계를 구별하지 못하게 된다.

그러므로 콘크리트 도로 주행시에는 상기 차선 인식 장치가 재기능을 발휘하지 못하게 되게 된다.

이와 같이 종래의 차선 인식 장치는 아스팔트 도로 주행시에는 도로와 차선간에 경계를 용이하게 구별하게 되지만, 콘크리트 도로의 경우에는 황색선을 도로와 구별하지 못하게 되므로, 상기 황색선이 주로 도로의 1차선 좌측에 그어지게 되는 것을 감안하여 볼 때 상기 차선 인식 장치의 인식 능력 저하 및 신뢰성에 문제점을 가지게 되었다.

따라서 본 발명의 목적은 주행 중 차선을 인식하여 차선 이탈 유무를 판단하면서 주행 시 콘크리트 도로를 주행할 경우 콘크리트 도로의 1차선 좌측에 그어져있는 황색선을 감지할 수 있도록 하여 차선 인식 능력을 향상시키고자 하는데 있다.

도 1은 본 발명에 이용되는 차선 인식 장치의 개략적인 제어 블럭도.

도 2는 본 발명 차선 인식 방법에 대한 플로우챠트.

도 3a는 본 발명 차선 인식 방법에 구체적인 아스팔트 도로.

도 3b는 본 발명 차선 인식 방법에 구체적인 콘크리트 도로.

상기의 목적을 실현하기 위하여 본 발명은 도로 주행 중에 차선을 이진화 그레이 신호 변화로 인식하는 차선 인식 방법에 있어서, 주행 중 인식하게 되는 차선에서 차선이 모델링 되는가를 판단하여 차선이 모델링 되지 않는 경우 최종 좌측 차선이 인식되었는가를 판단하는 단계와; 상기 단계에서 최종 좌측 차선이 인식되지 않았으면 도로 배경색과 차선과의 그레이 레벨을 미분 필터로 미분하고 이 미분 값으로 콘크리트 도로인가를 판단하여 콘크리트 도로인 경우 그레이 레벨을 반전하여 차선을 인식하도록 한 것을 특징으로 한다.

그러므로 본 발명에 의하면, 도로의 차선을 인식하여 차선 이탈 유무를 판단하면서 주행 중 촬영된 도로 및 차선 영상 신호의 그레이 레벨 신호를 미분 필터로 미분하여 콘크리트 도로인가를 판단하여 콘크리트 도로인 경우 도로 및 차선의 그레이 레벨을 반전하여 인식하도록 함으로써, 차선 인식에 능력 및 신뢰성을 향상하게 되는 것이다.

이하 본 발명의 바람직한 실시예를 첨부되는 도면에 의거 상세히 설명하면 다음과 같다.

도 1은 본 발명에 이용되는 차선 인식 장치의 제어 블럭도로서, 주행 도로의 차선을 촬영하는 카메라(10)와; 상기 카메라(10)에서 촬영된 영상 신호를 증폭하고 이진화 그레이 신호로 필터링 하여 출력하는 영상 처리부(11)와; 상기 영상처리부(11)에서 이진화 그레이 신호로 처리된 영상 신호를 기설정된 프로그램에 의하여 비교 판단 제어하고, 이 제어된 신호를 저장하면서 차선의 이탈 여부를 판단하는 제어수단(12)과; 상기 제어수단(12)에서 출력되는 제어 신호를 디스플레이 하는 모니터(13)와; 상기 제어수단(12)에서 차선 이탈 판정시 운전자에게 경보를 발하는 경보부(14)로 구성되게 된다.

도 2는 본 발명 차선 인식 방법에 대한 플로우차트로서, 카메라로부터 전방의 차선 영상 신호를 입력하는 영상 신호 입력 단계(201)와; 상기 영상 신호 입력 단계(201)에서 입력된 영상 신호에 마스크 및 한계 적용으로 에지를 추출하는 에지 추출 단계(202)와; 상기 에지 추출 단계(202)에서 추출된 차선을 찾지 못했거나 차선을 변경할 때 화면의 중심에서부터 새로운 차선을 탐색하는 영역을 지정하는 탐색 영역 지정 단계(203)와; 상기 탐색 영역 지정 단계(203)에서 지정된 차선 탐색 영역에서 화면상에 나타나는 픽셀 폭을 미리 추정한 값으로 차선폭에 맞는 물체의 에지점들을 분리하여 차선 에지 후보 리스트를 기록하는 추정 차선폭 분리 단계(204)와; 상기 추정 차선폭 분리 단계(204)에서 차선 에지 후보 리스트에 잡음 제거 및 불필요한 에지 제거를 위해 적용 한계를 조정하는 적용 한계 조정 단계(205)와; 상기 적용 한계 조정 단계(205)에서 조정된 서로 연관된 에지점끼리 그룹화하고 차선 특징이 없는 그룹은 제거하는 에지 그룹화 단계(206)와; 상기 에지 그룹화 단계(206)에서 그룹화 된 에지의 여러 차선 중 주행 차선을 추출하기 위하여 가장 안쪽으로 위치하는 1 차 방정식을 가지는 그룹들만 남겨두고 바깥쪽에 위치하는 그룹들은 제거하는 바깥 편향 에지 그룹 제거 단계(207)와; 상기 바깥 편향 에지 그룹 제거 단계(207)에서 최종적으로 남아 있는 에지점들을 하나의 그룹화하여 최소의 오차로 설명할 수 있는 차선 방정식을 추출하는 다항식 추출 단계(208)와; 상기 다항식 추출 단계(208)에서 추출된 차선 방정식이 도로의 형태에 적합한 가를 판정한 후 차선을 추출하는 도로 모델링 단계(209)와; 상기 도로 모델링 단계(209)에서 차선이 추출되면 추출된 차선의 방정식으로 차선 이탈 경보 범위 이하 여부로 차선 이탈을 판단하는 차선 이탈 판정 단계(210)와; 상기 차선 이탈 판정 단계(210)에서 차선 이탈시 경보를 발하는 경보 단계(211)와; 상기 도로 모델링 단계(209)에서 차선이 추출되지 않으면 도로의 최종 좌측 차선이 인식되는 가를 판단하는 최종 좌측 차선 인식 판단 단계(211)와; 상기 최종 좌측 차선 인식 판단 단계(211)에서 최종 좌측 차선이 인식되었으면 리턴하고, 상기 최종 좌측 차선이 인식되지 않았으면 촬영된 도로 및 차선 그레이 레벨을 미분 필터로 미분하고 이 미분된 도로 및 최종 좌측 차선에 대한 그레이 레벨을 반전하여 최종 좌측 차선을 인식하는 차선 인식 단계(212)로 이루어지게 된다.

상기와 같이 이루어지는 본 발명은 먼저 차량에 차선을 촬영하는 카메라(10)를 차량의 임의로 설정된 위치(중앙)에 장착하게 되고, 상기 카메라(10)에서 촬영된 영상 신호는 차량의 내부에 설치되는 차선 인식 장치에 입력되게 설치된다.

이와 같이 설치한 상태에서 차량 주행이 시작되고, 차선 인식 장치를 작동시키게 되면, 상기 카메라(10)에서는 주행 차선을 촬영하여 영상 신호를 출력하게 되고, 이 출력되는 영상 신호는 차선 이탈 판단 장치의 영상 처리부(11)에 입력되며, 이 영상 처리부(11)에서는 입력되는 영상 신호에 대하여 프레임, 수직, 수평 동기를 기준하여 프레임 처리, 라인 처리, 포획/디스플레이 구간을 설정한 후 제어수단(12)에 입력하게 되면, 상기 제어수단(12)에서는 메모리, 필터로 구성하여 상기 입력되는 영상 신호에 대하여 메모리에 기설정된 프로그램에 의하여 차선 인식 및 차선 이탈 판단을 수행하고, 이 수행 결과를 모니터(13)를 통해서 영상 출력함과 아울러, 경보부(14)를 통해서 차선 이탈시 경보를 발하게 되는바, 상기 제어수단(12)에서 차선 인식 과정을 설명하면, 먼저 카메라(10)를 통해서 촬영되어 입력되는 차선 영상 신호 및 영상 처리부(11)에서 영상 처리된 신호를 입력받게 된다(단계201).

이어서 영상 처리된 신호가 입력되면 상기 제어수단(12)에서는 2×1 마스크 및 한계값을 적용하여 차선의 방향성이 손상 없이 잘 표현되는 수직 에지 이미지(수직 성분)를 차선 검출 성분으로 하여 에지를 추출한다(단계202).

이와 같이 추출된 에지는 이전 프레임에서 추출된 차선의 방정식이 화상 평면에서 지나는 궤적을 중심으로 좌,우 10 화소 이내를 현재 프레임의 에지 탐색 구간으로 지정하고(단계203), 여기서 방정식의 궤적이 화상의 크기 범위를 벗어나는 수직 위치들은 기본 탐색 영역이 주어진다.

상기 기본 탐색 영역은 이전 프레임에서 차선을 찾지 못했거나 차선을 변경할 때 화면의 중심으로부터 새로운 차선을 찾기 위해서 이다.

상기 탐색 영역이 지정되면, 제어수단(12)에서는 화면상의 y축 수직 위치별로 차선이 나타날 때 화면상에 나타나는 화소폭을 미리 추정한 값을 사용하여 그 폭에 맞는 물체의 에지점들을 차선 에지 후보 리스트에 기록한다.

즉 상기 화소 폭은 좌측점과 우측점이 있는데 영상에서 한 라인에 나타나는 수많은 에지점들 중 어떤 두개의 점을 찾아 서로 대응시켜 그 사이 폭을 알아내게 된다.

여기서 좌측과 우측 사이의 광도가 주변의 광도보다 밝을 경우 이를 물체라고 규정하고, 상기 물체는 에지 추출 과정을 적용하여 좌측에는 -부호를 가진 에지가 나타나고, 오른쪽에서는 +부호를 가지는 에지가 나타난다.

따라서 간단히 미분 영상에서 우측에서부터 좌측으로 검사하여 +부호가 나왔을 때부터 -부호가 나올 때까지의 픽셀 거리가 바로 물체의 폭이라고 단정하고이 폭에 y축 위치별로 미리 추정한 차선폭과 비교하여 비슷하면 차선 에지 후보 리스트에 기록하며, 이때 각 y축 위치별로 좌,우측 각각 하나씩 두개의 위치만 기록한다(단계204).

상기와 같이 추정 차선폭에 맞는 물체 분리가 되면, 상기 제어수단(12)에서는 차선 에지에서 잡음 제거 및 불필요한 에지 제거를 위하여 에지 추출 단계에서 사용하는 한계값을 조정하게 되는데, 이는 지정된 탐색영역내의 평균 미분값으로 지정된다.

그 이유는 도로의 차선을 도포하는데 사용된 페인트의 반사 특성이 운전자의 시야에서 주변 광도 분포와 어울리면서 명료하게 나타나는 것을 감안하여 차선의 적용 한계값을 조정하게 된다(단계205).

이와 같이 상기 차선 적용 한계값이 조정되면 상기 제어수단(12)에서는 차선폭에 나타난 물체 중 서로 연관이 있는 에지점끼리 그룹화하고 차선 특징이 없는그룹은 제거한다. 상기 그룹화 하는 기준은 차선 에지 후보 리스트에서 서로 4 화소 이내에 모여 있는 에지점들을 하나의 그룹으로 하고, 다음으로 에지점을 10개 이하를 가지는 그룹들을 제거한다. 마지막으로 그룹별로 최소의 오차로 설명할 수 있는 1차 방정식을 각각 추출하여 기울기가 왼쪽 에지 리스트에서는 음, 오른쪽 에지 리스트에서는 양의 기울기를 가지는 그룹은 차선 후보 리스트에서 제거한다(단계206).

그리고 상기 제어수단(12)에서는 여러 차선 중 주행 차선을 추출하기 위한 목적으로 가장 안쪽으로 위치하는 1차 방정식을 가지는 그룹들만 남겨두고 바깥쪽에 위치하는 그룹들은 제거한다(단계207).

이어서 상기 주행 차선이 추출되면 제어수단(12)에서는 차선 에지 후보 리스트에서 최종적으로 남아 있는 에지점들을 하나로 그룹화하여 이들을 최소의 오차로 설명할 수 있는 최소 자승법을 사용하여 방정식을 추출한다(단계208).

상기 차선의 방정식이 추출되면, 상기 제어수단(12)에서는 추출된 차선의 방정식이 도로의 형태에 적합한가를 판정하면서 좌,우측 차선을 추출하여 도로 모델링 한다(단계209).

이어서 상기 제어수단(12)에서는 상기 도로 모델링에서 추출된 좌,우측 차선 에 대하여 기설정된 차선 이탈 판단 알고리즘에 의하여 차선 이탈 유무를 판정하게 되고(단계210), 이때 차선 이탈이 아니면 리턴하게 되며, 차선 이탈이면 상기 제어수단(12)에서는 경보부(14)를 제어하여 운전자에게 차선 이탈을 경보하게 된다.

그러나 상기 도로 모델링에서 좌,우측 차선 모두가 추출되지 않았으면, 제어수단(12)에서는 최종 좌측 차선(중앙선)이 인식되었는가를 판단하게 되는바, 이때 좌측 차선 인식을 판단하게 되는 것은 주행 도로가 아스팔트 도로가 있는가 하면, 콘크리트 도로가 있기 때문이다.

즉 상기 주행 도로가 아스팔트 도로인 경우에는 도 3a에 도시한 바와 같이, 카메라(10)에서 촬영되어 입력되는 영상 신호를 영상 처리부(11)에서 디지털 신호를 변환 처리할 때 도로 바닥면(검정색)에 그레이 레벨(gray level)이 차선(백색이나 황색)의 그레이 레벨보다 현격하게 낮게 되기 때문에 차선을 용이하게 판단할 수 있게 된다.

반면에 도 3b에 도시한 바와 같이, 콘크리트 도로를 주행하게 되는 경우 카메라(10)에서 촬영되어 입력되는 영상 신호를 영상 처리부(11)에서 디지털 신호를 변환 처리할 때 도로 바닥면(백색)에 그레이 레벨이 좌 우측 차선(황색 또는 백색)의 그레이 레벨보다 차이 없이 나타나게 된다.

다시 말하면, 상기 아스팔트 도로에서 최종 좌측 차선(황색)을 중심으로 화상 신호에 대한 그레이 레벨을 살펴보면, 진행 방향에서 차선의 좌측 에지 바깥부분과 차선 중심 그리고 차선 중심 우측 부분의 그레이 레벨 신호가 각각 50,150,150으로 나타났다고 가정하면, 상기와 같이 나타나는 그레이 레벨 신호가 작을수록 배경이 검정색에 가깝고, 그레이 레벨 신호가 클수록 배경이 흰색에 가깝다는 것을 알 수 있다.

따라서 상기 도로와 차선에 대하여 화상 처리된 그레이 레벨 신호가 작을 수 록 배경이 검정색, 그레이 레벨이 클수록 배경이 흰색으로 나타나게 되는 것을 감안하여 차량이 콘크리트 도로 주행시에는 도로는 흰색, 중앙선이 황색이므로, 도로 보다 중앙선이 어둡게 나타나게 된다.

그러므로 진행 방향에서 중앙선의 좌측 에지 바깥부분과 차선 중심 그리고 차선 중심 우측 부분의 그레이 레벨 신호가 각각 100,80,80으로 나타나게 되므로 상기 도로의 그레이 레벨이 크고, 반대로 중앙선은 그레이 레벨이 작게 나타나게 되어 상기 제어장치(12)에서는 상기와 같이 나타나게 되는 그레이 레벨로 중앙선을 구별하지 못하게 되기 때문에 최종 좌측 차선이 인식되었는가를 판단하게 된다(단계211).

그래서 최종 좌측 차선이 인식되게 되면 리턴을 하게 되지만, 반면에 최종 좌측 차선이 인식되지 않게 되면 상기 제어장치(12)에서는 현재 도로가 아스팔트 도로가 아니고 콘크리트 도로로 인식하게 되는바, 즉 인식 과정을 살펴보면, 상기 도 3a에 도시한 바와 같이, 아스팔트 도로 주행시 그레이 레벨 50, 150, 150에 대한 필터(-1,0.1)로 미분하면 50(-1) + 150(0) + 150(1)= 100 이 되고, 상기 도 3b 에 도시한 바와 같이 콘크리트 도로 주행시 그레이 레벨 100, 80, 80 에 대한 필터(-1,0,1)로 미분하면 100(-1) + 80(0) + 80(1) = -20 이 되게 된다.

상기 제어수단(12)에서는 상기 필터에 의하여 미분된 값으로 주행 도로가 아스팔트 도로인가, 콘크리트 도로인가를 인식하게 되며, 상기 제어수단(12)에서 도 3a에 도시한 바와 같이, 아스팔트 도로를 주행하는 경우, 도로(검정색)와 차선(황색)에 대하여 필터링 신호의 경우 도로는 낮은 그레이 레벨 그리고 차선은 높은 그레이 레벨로 필터링 되게 된다.

반대로 상기 도 3b에 도시한 바와 같이, 콘크리트 도로의 경우 도로(흰색)는 높은 그레이 레벨 그리고 차선(황색선)은 낮은 그레이 레벨로 인식하게 되므로 상기 입력되는 필터링 된 그레이 레벨로는 도로와 차선을 바꾸어 인식하게 되는 오류를 범하게 된다.

그러므로 상기 제어장치(12)에서 상기 콘크리트 도로 주행으로 판정되면 필터링 된 도로와 차선에 대하여, 낮은 그레이 레벨을 차선으로 인식하고, 반면에 상기 높은 그레이 레벨을 도로로 판정하는 반전 필터링을 하여 인식하게 되므로, 상기 콘크리트 도로 주행시에도 황색 차선을 검출하면서 주행을 할 수 있게 되는 것이다(단계212).

이상에서 설명한 바와 같이 본 발명은 도로 주행 중에 차선을 그레이 레벨 변화로 인식하면서 1차선 주행 중 인식하게 되는 차선에서 좌측 차선이 모델링 되는가를 판단하여 좌측 차선이 모델링 되지 않는 경우 필터링 되는 도로와 차선의 그레이 레벨을 반전하여 인식하도록 함으로써, 콘크리트 도로 주행시에도 도로의 1차선 좌측에 그어져 있는 황색선을 감지하면서 주행을 할 수 있는 차선 인식 능력을 크게 향상할 수 있게 되는 것이다.

Claims (2)

1. 도로 전방의 차선 영상 신호를 입력하고, 이 입력된 영상 신호에서 에지를 추출하며, 추출된 에지로 새로운 차선을 탐색하는 영역을 지정하고, 이 지정된 차선 탐색 영역에서 차선폭에 맞는 물체의 에지점들을 분리한 후 차선 에지 후보 리스트를 기록하며, 상기 차선 에지 후보 리스트에 잡음 제거 및 불필요한 에지 제거한 후 서로 연관된 에지점끼리 그룹화하여 가장 안쪽으로 위치하는 1차 방정식을 가지는 그룹들만 남겨두고 바깥쪽에 위치하는 그룹들은 제거한 후, 최종적으로 남아 있는 에지점들을 하나의 그룹화하여 최소의 오차로 설명할 수 있는 차선 방정식을 추출하고 상기 추출된 차선 방정식이 도로의 형태에 적합한 가를 판정하면서 차선 이탈 여부를 판정하는 차선 인식 방법에 있어서, 상기 차선이 추출되지 않으면 도로의 최종 좌측 차선이 인식되는 가를 판단하는 단계와; 상기 단계에서 최종 좌측 차선이 인식되었으면 리턴하고, 상기 최종 좌측 차선이 인식되지 않았으면 촬영된 도로 및 최종 좌측 차선에 대한 그레이 레벨을 반전하여 최종 좌측 차선을 인식하는 단계로 이루어짐을 특징으로 하는 차량의 차선 인식 방법.
2. 제 1 항에 있어서, 상기 그레이 레벨 반전 인식은 그레이 레벨이 높으면 도로, 상기 그레이 레벨이 낮으면 차선으로 반전 인식하도록 필터링 하여서 된 것을 특징으로 하는 차량의 차선 인식 방법.