KR101517181B1 - 차선 이탈 경보 시스템 및 방법 - Google Patents

Abstract

본 발명은, 연산량이 적고 관심 영역의 유연성 있는 보정에 의해 신속성, 에너지 효율성 및 정확성이 향상될 수 있는 차선 이탈 경보 시스템과 그 방법을 개시한다. 본 발명에 따른 차선 이탈 경보 시스템은, 영상 촬영 모듈로부터 차량의 도로 주행 영상을 입력받고, 입력된 영상에서 차선 이외의 영상을 적어도 일부 제거하여 차선을 추출함으로써, 차선 추출 영상을 생성하는 차선 추출 모듈; 상기 차선 추출 모듈에 의해 생성된 차선 추출 영상에서, 상기 추출된 차선에 대응하는 1차 함수 관계식을 도출하는 차선 인식 모듈; 및 상기 차선 인식 모듈에 의해 도출된 1차 함수 관계식을 이용하여 차량의 차선 이탈 여부를 판단하는 차선 이탈 판단 모듈을 포함한다.

Description

차선 이탈 경보 시스템 및 방법{System and method for warning lane departure}

본 발명은 차선 이탈 감지 기술에 관한 것으로, 보다 상세하게는 차량용 블랙박스와 같은 카메라 센서를 통해 입력된 차량의 도로 주행 영상으로부터 차선을 신속하고 정확하게 인식하고, 이와 같이 인식된 차선을 통해 차량의 차선 이탈을 감지하여 경보하는 시스템 및 방법에 관한 것이다.

최근 차량의 주행 시 안전성 내지 운전 편의성 등을 증대시키기 위한 다양한 장치가 차량에 도입되고 있다. 그 중 대표적인 것이 도로 주행 시 차량의 차선 이탈 여부를 감지하고 차선 이탈 정보를 사용자에게 알려주는 차선 이탈 경보 장치이다.

종래의 차선 이탈 경보 기술은, 블랙박스와 같은 카메라 센서를 통해 도로 주행 영상이 입력되면, 입력된 영상에 대하여 차선을 인식하고 차선 이탈 여부를 감지하기 위해, 대표적으로 허프 변환(Hough Trasformation) 방식을 이용한다. 이러한 허프 변환 방식에 의하면, X-Y 좌표계의 차선을 θ-ρ 좌표계로 변환하여 차선을 검출함으로써, 차선의 위치를 분석한다. 이러한 허프 변환 방식에 대해서는, 도 1을 참조하여 보다 구체적으로 설명하도록 한다.

도 1은, 종래의 허프 변환 방식에 의한 X-Y 좌표계와 θ-ρ 좌표계의 변환 관계를 나타내는 도면이다.

도 1을 참조하면, X-Y 좌표계와 θ-ρ 좌표계 사이에는, 다음과 같은 관계식이 성립될 수 있다.

ρ=xcosθ+ysinθ

종래의 허프 변환 방식에 의해 차선 이탈을 감지하는 기술에 의하면, X-Y 좌표계의 차선을 θ-ρ 좌표계로 변환하여 차선을 검출한다. 즉, θ와 ρ를 변경하면서, 차선의 외곽선(edge)과 상기 관계식이 교차하는 선을 검출하여, θ-ρ 좌표계에서 차선의 관계식을 구한다. 그리고, 검출한 차선의 위치를 분석하기 위해, θ-ρ 좌표계에서 다시 X-Y 좌표계로 역변환(inverse hough transformation)하는 과정을 거쳐 차선의 위치를 구한다.

그런데, 이러한 종래의 허프 변환 방식을 이용하여 차선의 위치를 분석하고, 차선 이탈 여부를 감지하는 기술에 의하면, 허프 변환, 역변환 등이 수행되어야 하고 삼각함수가 많이 사용되므로, 연산량이 많아 연산 속도가 느리다는 문제가 있다. 때문에, 이러한 많은 연산량을 적절하게 처리하기 위해서는 고성능 CPU가 필요할 뿐 아니라, 전력 소모가 많아지는 문제도 발생할 수 있다.

또한, 종래의 차선 이탈 경보 기술 중 일부 기술에 의하면, 차선 이탈 감지의 속도를 높이고자, 카메라 센서를 통해 입력된 영상 화면 전체 중 일부 특정 영역을 관심 영역으로 지정하여, 그러한 관심 영역 내에서 차선이 검출되도록 한다. 그러나, 이러한 종래 기술의 경우, 관심 영역이 고정되어, 실제 차선이 그러한 관심 영역을 벗어나 있는 경우 실제 차선의 정확한 검출이 어렵고, 차선의 위치에 따라 불필요한 관심 영역이 과다하게 존재할 수 있어, 차선 이탈 감지의 정확성 및 속도를 향상시키는데 한계가 있다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 연산량이 적고 관심 영역의 유연성 있는 보정에 의해 신속성, 에너지 효율성 및 정확성이 향상될 수 있는 차선 이탈 경보 시스템과 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 차선 이탈 경보 시스템은, 영상 촬영 모듈로부터 차량의 도로 주행 영상을 입력받고, 입력된 영상에서 차선 이외의 영상을 적어도 일부 제거하여 차선을 추출함으로써, 차선 추출 영상을 생성하는 차선 추출 모듈; 상기 차선 추출 모듈에 의해 생성된 차선 추출 영상에서, 상기 추출된 차선에 대응하는 1차 함수 관계식을 도출하는 차선 인식 모듈; 및 상기 차선 인식 모듈에 의해 도출된 1차 함수 관계식을 이용하여 차량의 차선 이탈 여부를 판단하는 차선 이탈 판단 모듈을 포함한다.

바람직하게는, 상기 차선 추출 모듈은, 상기 영상 촬영 모듈로부터 상기 도로 주행 영상을 그레이 영상으로서 입력받고, 상기 차선 추출 영상을 이진화 영상으로서 생성한다.

또한 바람직하게는, 상기 차선 추출 모듈은, 상기 그레이 영상을 입력받아, 밝기 임계값을 산출하는 차로 밝기 산출부; 상기 그레이 영상에서 상기 밝기 임계값 이상의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성하는 밝기 기반 필터링부; 및 상기 밝기 기반 필터링부에 의해 추출된 화소 중 너비를 참조 너비 범위와 비교하여, 상기 참조 너비 범위를 벗어난 너비를 갖는 화소를 상기 이진화 영상에서 제거하는 너비 기반 필터링부를 구비한다.

또한 바람직하게는, 상기 차로 밝기 산출부는, 차로에 해당하는 부분을 다수의 영역으로 분할하여, 각 영역에서 화소 밝기 평균값을 계산하고, 상기 화소 밝기 평균값을 기준으로 밝기 임계값을 산출한다.

또한 바람직하게는, 상기 너비 기반 필터링부는, 차로 너비에 대한 차선 너비의 비율을 산출하고, 산출된 비율을 참조 비율 범위와 비교하여, 상기 참조 비율 범위를 벗어난 비율을 갖는 화소를 상기 이진화 영상에서 제거한다.

또한 바람직하게는, 상기 차선 인식 모듈은, 상기 차선 추출 영상에서, 상기 추출된 차선에 대하여 차선 외곽선을 추출하는 차선 외곽선 추출부; 상기 차선 추출 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출하는 차선 검출부; 및 상기 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석하는 차선 위치 분석부를 구비한다.

또한 바람직하게는, 상기 차선 인식 모듈은, 상기 차선 검출부에 의해 도출된 1차 함수 관계식을 이용하여, 영상에 대한 관심 영역을 설정하는 관심 영역 설정부를 더 구비하고, 상기 차선 추출 모듈은, 상기 관심 영역 설정부에 의해 설정된 관심 영역 내에서 상기 차선을 추출한다.

또한 바람직하게는, 상기 차선 검출부에 의해 2개의 1차 함수 관계식이 도출된 경우, 상기 관심 영역 설정부는, 상기 2개의 1차 함수 관계식의 교점을 소실점으로서 산출하고, 산출된 소실점을 이용하여 상기 관심 영역을 설정한다.

또한 바람직하게는, 상기 관심 영역 설정부는, 상기 소실점의 y 좌표값을 상기 관심 영역의 y좌표 상한값으로 설정하고, 상기 차량의 본넷에 대한 y 좌표값을 탐색하여 탐색된 본넷의 y 좌표값을 상기 관심 영역의 y좌표 하한값으로 설정한다.

또한 바람직하게는, 상기 관심 영역 설정부는, 상기 소실점의 위치 및 상기 차로의 너비 정보를 이용하여 기설정된 관심 영역을 보정한다.

또한 바람직하게는, 상기 차선 검출부는, 상기 x와 y 사이의 1차 함수 관계식으로서 다음 관계식을 도출하되,

여기서, x 및 y는 변수이고, a는 상수로서 y값의 증가량에 대한 x값의 증가량의 비율, y_b는 상기 관심 영역의 y좌표 하한값, x_d는 상기 관심 영역의 하한선에서 상기 1차 함수 관계식의 x 좌표값을 나타낸다.

또한 바람직하게는, 상기 차선 검출부는, 상기 관심영역의 상한선에 위치하는 t점 및 상기 관심영역의 하한선에 위치하는 d점을 각각 수평 방향으로 이동시키면서, t점과 d점 사이를 연결하는 직선이 상기 차선 외곽선 추출부에 의해 추출된 차선 외곽선에 중첩되는 화소수가 가장 많을 때 상기 t점과 d점 사이를 연결하는 직선에 대한 x와 y 사이의 관계식을 상기 1차 함수 관계식으로서 도출한다.

또한 바람직하게는, 상기 차선 검출부는, 상기 1차 함수 관계식으로서 다음 관계식을 도출하되,

여기서, x 및 y는 변수이고, x_t 및 y_v는 상기 t점의 x 좌표값 및 y 좌표값을 나타내며, x_d 및 y_b는 상기 d점의 x 좌표값 및 y 좌표값을 나타낸다.

또한 바람직하게는, 상기 차선 이탈 판단 모듈은, 상기 차선의 위치에 대한 경보 임계값을 산출하는 경보 임계 산출부; 및 상기 차선 인식 모듈에 의해 인식된 차선의 위치를 상기 경보 임계 산출부에 의해 산출된 경보 임계값과 비교하여, 상기 차량의 차선 이탈 여부를 판단하는 차선 이탈 판단부를 구비한다.

또한 바람직하게는, 상기 경보 임계 산출부는, 차로의 너비에 비례하여 상기 경보 임계값을 산출한다.

또한 바람직하게는, 상기 경보 임계 산출부는, 차선의 우측에 위치하는 최대 경보 임계값 및 차선의 좌측에 위치하는 최소 경보 임계값을 산출하고, 상기 차선 이탈 판단부는, 상기 차선의 위치가 상기 최대 경보 임계값의 좌측에서 우측으로 이동하거나 상기 최소 경보 임계값의 우측에서 좌측으로 이동하는 경우, 상기 차량이 차선 이탈된 것으로 판단한다.

또한 바람직하게는, 상기 차선 이탈 판단 모듈에 의해 차량이 차선 이탈된 것으로 판단된 경우, 경고 정보를 사용자에게 제공하는 경보 모듈을 더 포함한다.

또한 상기와 같은 목적을 달성하기 위한 본 발명에 따른 차선 이탈 경보 방법은, 영상 촬영 모듈로부터 차량의 도로 주행 영상을 입력받는 단계; 상기 입력된 영상에서 차선 이외의 영상을 적어도 일부 제거하여 차선을 추출함으로써, 차선 추출 영상을 생성하는 단계; 상기 생성된 차선 추출 영상에서, 상기 추출된 차선에 대응하는 1차 함수 관계식을 도출하는 단계; 및 상기 도출된 1차 함수 관계식을 이용하여 차량의 차선 이탈 여부를 판단하는 단계를 포함한다.

본 발명의 일 측면에 의하면, 종래 기술에 비해 차선 인식 및 이탈 여부 판단에 대한 연산량이 적어 연산 속도가 향상될 수 있다.

특히, 본 발명에 의할 경우, 차선 인식 및 이탈 여부 판단을 위해, X-Y 좌표계에서 x, y 사이의 1차 함수 관계식을 이용하며, 종래 기술과 같이 삼각 함수를 이용한 허프 변환 및 허프 역변환 과정을 거칠 필요가 없다.

따라서, 본 발명의 이러한 측면에 의할 경우, 차선 인식 및 이탈 여부 판단 속도가 효과적으로 향상될 수 있고, 연산을 위한 많은 전력 소모를 필요로 하지 않으므로 에너지 효율성이 향상될 수 있다. 또한, 본 발명의 이러한 측면에 의할 경우, 고성능 CPU를 필요로 하지 않으므로 제조 비용이 감소할 수 있다. 특히, 본 발명의 구현을 위해, 범용 CPU가 이용될 수 있으며, 더욱이 이러한 범용 CPU에 포함되어 있는 FPU(Floating Point Unit)로 사용 가능하여 연산 속도가 더욱 빨라질 수 있다.

또한, 본 발명의 일 측면에 의하면, 블랙박스와 같은 카메라 센서를 통해 입력된 차량의 도로 주행 영상에서, 차선을 검출하기 위한 유효 영역인 관심 영역이 고정되어 있지 않고, 이러한 관심 영역이 상황에 따라 보정될 수 있다.

따라서, 본 발명의 이러한 측면에 의하면, 착탈식 영상 촬영 장치와 같이, 카메라의 화각이나 설치 위치 등이 변경되거나, 차로의 곡률이나 너비 등 각종 도로 상황이 변경되는 경우, 관심 영역이 유연성있게 보정됨으로써 차선 인식의 정확성이 향상되고, 연산량이 감소될 수 있다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은, 종래의 허프 변환 방식에 의한 X-Y 좌표계와 θ-ρ 좌표계의 변환 관계를 나타내는 도면이다.
도 2는, 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 3은, 영상 촬영 모듈에 의해 촬영된 도로 주행 영상의 일례를 나타내는 도면이다.
도 4는, 본 발명의 일 실시예에 따른 차선 추출 모듈의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 5는, 본 발명의 일 실시예에 따른 차로 밝기 산출부에 의해 밝기 임계값을 산출하는 구성을 도식화한 도면이다.
도 6은, 본 발명의 일 실시예에 따른 차선 인식 모듈의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 7은, 차선 검출부에 의한 차선 외곽선에 대응하는 1차 함수 관계식이 X-Y 좌표계 상에서 도출되는 구성을 개략적으로 도식화하여 나타내는 도면이다.
도 8은, 본 발명의 일 실시예에 따라 도로 주행 영상에 대하여 관심 영역이 설정된 구성을 개략적으로 나타내는 도면이다.
도 9는, 본 발명의 일 실시예에 따라 도로 주행 영상의 관심 영역 내에서 차선에 대응하는 1차 함수 관계식을 도출하는 과정을 도식화하여 나타내는 도면이다.
도 10은, 본 발명의 일 실시예에 따른 관심 영역의 보정 구성을 도식화하여 나타내는 도면이다.
도 11은, 본 발명의 일 실시예에 따른 차선 이탈 판단 모듈의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 12는, 본 발명의 일 실시예에 따른 차선 이탈 판단 모듈의 차선 이탈 판단 구성을 개략적으로 나타내는 도면이다.
도 13은, 본 발명의 일 실시예에 따른 차선 이탈 경보 방법을 개략적으로 나타내는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 2는, 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템(1000)의 기능적 구성을 개략적으로 나타내는 블록도이다.

도 2를 참조하면, 본 발명에 따른 차선 이탈 경보 시스템(1000)은, 차선 추출 모듈(100), 차선 인식 모듈(200) 및 차선 이탈 판단 모듈(300)을 포함한다. 그리고, 이러한 차선 이탈 경보 시스템은, 그 기능을 구현하기 위해 영상 촬영 모듈(10)에 의해 촬영된 영상을 이용할 수 있다.

한편, 본 명세서에서, 차선이란, 차량의 주행 방향을 나타내는 각종 선으로서 광의의 의미로서 사용되며, 1차선, 2차선 등과 같이 일반적으로 하나의 도로에서 동일 방향으로 주행 중인 차량의 주행 진로를 구분하기 위한 협의의 의미에서의 차선은 물론, 중앙선, 길가장자리구역선, 진로변경제한선, 유턴구역선, 전용차선, 유도선 등을 포함할 수 있다.

먼저, 상기 차선 이탈 경보 시스템으로 영상을 제공하는 영상 촬영 모듈(10)은, 차량의 도로 주행 영상을 촬영할 수 있다.

도 3은, 영상 촬영 모듈(10)에 의해 촬영된 도로 주행 영상의 일례를 나타내는 도면이다.

도 3에 도시된 바와 같이, 영상 촬영 모듈(10)은, 종래의 차량용 블랙박스와 같이, 카메라 센서를 이용해 차량의 도로 주행 영상을 촬영할 수 있는 구성요소이다. 본 발명은 이러한 영상 촬영 모듈(10)의 특정 형태에 의해 제한되는 것은 아니며, 영상을 촬영할 수 있는 여러 장치가 이러한 영상 촬영 모듈(10)로서 이용될 수 있다. 예를 들어, 종래의 차량용 블랙박스는 물론, 영상을 촬영할 수 있는 다른 장치, 이를테면 휴대폰이나 스마트폰, 노트북이나, 태블릿 PC등과 같은 다른 여러 장치가 영상 촬영 모듈(10)로서 이용될 수 있다.

한편, 도 2에서는, 영상 촬영 모듈(10)이 본 발명에 따른 차선 이탈 경보 시스템에 포함되지 않는 것처럼 도시되어 있으나, 영상 촬영 모듈(10)은, 본 발명에 따른 차선 이탈 경보 시스템의 한 구성요소로 포함될 수도 있음은 물론이다. 이 경우, 본 발명에 따른 차선 이탈 경보 시스템은, 차선 이탈을 경보하기 위해 이용되는 영상을 직접 촬영할 수도 있다.

상기 차선 추출 모듈(100)은, 도 2와 같이 영상 촬영 모듈(10)에 의해 차량의 도로 주행 영상이 촬영되면, 촬영된 차량의 도로 주행 영상을 영상 촬영 모듈(10)로부터 입력받는다. 그리고, 상기 차선 추출 모듈(100)은, 입력된 영상에서 차선 이외의 영상을 적어도 일부 제거함으로써 차선을 추출한다.

따라서, 상기 차선 추출 모듈(100)은, 도로 주행 영상에서 차선이 추출된 차선 추출 영상을 생성할 수 있다. 다만, 이러한 차선 추출 영상에는 차선 이외에 다른 노면 표시나 차량의 불빛 등과 같은 다른 표시가 포함될 수도 있다.

바람직하게는, 상기 차선 추출 모듈(100)은, 차량의 도로 주행 영상을 그레이 레벨 영상으로서 입력받을 수 있다. 그리고, 상기 차선 추출 모듈(100)은, 차선 추출 영상을 이진화 영상으로서 생성할 수 있다. 예를 들어, 상기 차선 추출 모듈(100)은, 영상 촬영 모듈(10)로부터 입력된 그레이 영상에서, 차선 이외의 영상을 제거하여 이진화 영상을 만들 수 있다.

도 4는, 본 발명의 일 실시예에 따른 차선 추출 모듈(100)의 기능적 구성을 개략적으로 나타내는 블록도이다.

도 4를 참조하면, 상기 차선 추출 모듈(100)은 차로 밝기 산출부(110), 밝기 기반 필터링부(120) 및 너비 기반 필터링부(130)를 포함할 수 있다.

상기 차로 밝기 산출부(110)는, 영상 촬영 모듈(10)로부터 입력된 도로 주행 영상을 입력받아, 밝기 임계값을 산출할 수 있다. 특히, 상기 차로 밝기 산출부(110)는, 영상 촬영 모듈(10)로부터 그레이 영상을 입력받아, 아스팔트와 같은 차로 바닥에 해당하는 영역의 평균 밝기를 산출하여, 그 밝기를 기준으로 밝기 임계값을 산출할 수 있다. 이때, 차로 바닥에 해당하는지 여부는, 차선 인식 모듈(200)로부터 입력된 정보나 도로 주행 영상의 소정 영역을 기준으로 판단할 수 있다.

도 5는, 본 발명의 일 실시예에 따른 차로 밝기 산출부(110)에 의해 밝기 임계값을 산출하는 구성을 도식화한 도면이다.

도 5를 참조하면, 상기 차로 밝기 산출부(110)는, 그레이 영상에서 R로 표시된 바와 같은 차로에 해당하는 부분을 다수의 영역으로 지정할 수 있다. 즉, 상기 차로 밝기 산출부(110)는, 도로에서 L로 표시된 바와 같은 차선을 제외한 차로에 해당하는 부분을 다수의 블록 영역으로 분할할 수 있다. 그리고, 상기 차로 밝기 산출부(110)는, 각 영역에서 화소 밝기의 평균값을 계산하고, 그와 같이 계산된 화소 밝기의 평균값을 기준으로 차선 및 노면 표시에 해당하는 화소의 밝기 임계값을 산출할 수 있다. 예를 들어, 상기 차로 밝기 산출부(110)는, 각 블록에서 아스팔트에 해당하는 화소 밝기의 평균값에서 소정 수준 이상의 밝기를 밝기 임계값으로 산출할 수 있다. 본 발명의 이러한 구성에 의하면, 차로의 그림자 및 기타 잡음에 강인한 특성을 가질 수 있다. 한편, 상기 차로 밝기 산출부(110)는, 이전 단계에서 차선 인식 모듈(200)에 의해 인식된 차선 정보를 입력받아, 차로에 해당하는 부분을 블록으로 지정할 수 있다.

상기 밝기 기반 필터링부(120)는, 화소의 밝기를 기준으로 차로 이외의 노이즈를 제거할 수 있다. 특히, 상기 밝기 기반 필터링부(120)는, 차로 밝기 산출부(110)에 의해 산출된 밝기 임계값을 이용하여 차선 이외의 표시를 제거할 수 있다. 예를 들어, 상기 밝기 기반 필터링부(120)는 영상 촬영 모듈(10)로부터 입력된 그레이 영상에서, 밝기 임계값 이상의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성할 수 있다.

여기서, 밝기 기반 필터링부(120)는, 차로 밝기 산출부(110)에 의해 산출된 밝기 임계값 이상의 밝기를 갖는 화소를 추출하되, 밝기 임계값에 비해 지나치게 높은 밝기를 갖는 화소에 대해서는 이진화 영상에서 제거되도록 할 수 있다. 이때, 밝기 임계값은, 도로에서 차선을 나타내는 것으로 볼 수 있는 밝기의 최대값이라 할 수 있다. 따라서, 이와 같은 차선 밝기의 최대값보다 높은 밝기를 갖는 화소의 경우, 차량의 전조등이나 후미등, 또는 주변 건물 등과 같은 광원을 나타내는 화소일 가능성이 크다. 그러므로, 상기 밝기 기반 필터링부(120)는, 이러한 광원과 차선을 구분하기 위해, 밝기 임계값보다 지나치게 높은 밝기를 갖는 화소는 차선에 관한 화소가 아닌 것으로 보고 이진화 영상에서 제거되도록 할 수 있다.

예를 들어, 상기 밝기 기반 필터링부(120)는, 밝기 임계값보다 소정 수준 이상 높은 밝기에 대해 광원 임계값으로 지정하고, 이러한 광원 임계값 이상의 화소에 대해서는 이진화 영상에서 표시되는 화소에서 제외할 수 있다. 이 경우, 상기 밝기 기반 필터링부(120)는, 밝기 임계값과 광원 임계값 사이의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성할 수 있다.

바람직하게는, 상기 차로 밝기 산출부(110)는, 차선 인식 모듈(200)로부터 피드백된 정보를 바탕으로 밝기 임계값을 조절할 수 있다.

예를 들어, 상기 차로 밝기 산출부(110)는, 차선 인식 모듈(200)로부터 차선이 인식되지 않았다는 정보를 입력받은 경우, 밝기 임계값을 이전 단계보다 낮게 설정할 수 있다. 또는, 상기 차로 밝기 산출부(110)는, 차선 인식 모듈(200)로부터 노이즈가 소정 수준 이상으로 인식되었다는 정보를 입력받은 경우, 밝기 임계값을 이전 단계보다 높게 설정할 수 있다.

상기 너비 기반 필터링부(130)는, 밝기 기반 필터링부(120)에 의해 추출된 화소에 대해, 너비를 기준으로 차선 이외의 노이즈를 제거할 수 있다. 상기 살펴본 바와 같이, 밝기 기반 필터링부(120)에 의해서는 밝기를 기준으로 추출된 화소에 대해 이진화 영상이 생성되기 때문에, 이와 같이 생성된 이진화 영상에는, 차선뿐 아니라 차선 이외의 각종 노면 표시에 관련된 화소가 포함될 수 있다. 상기 너비 기반 필터링부(130)는, 이진화 영상에서, 차선 이외의 각종 노면 표시 등을 노이즈로서 제거할 수 있다.

예를 들어, 도로에는 차선 이외에, 좌회전이나 우회전, 유턴, 속도 제한, 각종 안내 문자 등이 노면 표시로서 포함될 수 있다. 이러한 차선 이외의 노면 표시는, 차선과 유사한 밝기를 가질 수 있기 때문에, 밝기 기반 필터링부(120)에 의해서는 이러한 차선 이외의 노면 표시가 제거되지 않을 수 있다. 따라서, 상기 너비 기반 필터링부(130)는, 이진화 영상에 포함된 화소 중 노면 표시의 너비를 기준으로 차선과 차선 이외의 다른 노면 표시를 구분할 수 있다.

특히, 상기 너비 기반 필터링부(130)는, 밝기 기반 필터링부(120)에 의해 특정 화소만이 추출된 이진화 영상에 대하여, 이진화 영상에 포함된 표시 중, 너비가 소정 너비 초과이거나 소정 너비 미만인 표시에 대하여 그 화소를 제거할 수 있다. 즉, 상기 너비 기반 필터링부(130)는, 밝기 기반 필터링부(120)에 의해 추출된 화소 중 너비를 참조 너비 범위와 비교하여, 참조 범위 너비를 벗어난 너비를 갖는 화소를 이진화 영상에서 표시되지 않고 제거되도록 할 수 있다.

예를 들어, 참조 너비 범위가 20~30으로 설정되어 있는 경우, 상기 너비 기반 필터링부(130)는, 20 미만의 너비를 갖거나 30 초과의 너비를 갖는 노면 표시에 대해 차선이 아닌 노이즈로서 판단하고, 이러한 노면 표시에 대한 화소를 이진화 영상에서 제거할 수 있다.

바람직하게는, 상기 너비 기반 필터링부(130)는, 차로 너비에 대한 차선 너비의 비율을 기준으로, 차선과 차선 이외의 노면 표시를 구분할 수 있다. 즉, 상기 너비 기반 필터링부(130)는, 차로 너비에 대한 차선 너비의 비율을 산출하고, 산출된 비율을 참조 비율 범위와 비교하여, 이러한 참조 비율 범위를 벗어난 비율을 갖는 표시에 대해 그에 해당하는 화소를 이진화 영상에서 제거할 수 있다. 여기서, 참조 비율 범위는, 예를 들어 '경찰청 교통노면표시 설치관리매뉴얼'에 명시된 규격을 기초로 설정될 수 있다.

상기 차선 인식 모듈(200)은, 차선 추출 모듈(100)에 의해 차선 추출 영상이 생성되면, 생성된 차선 추출 영상에서, 추출된 차선에 대응하는 1차 함수 관계식을 도출한다. 특히, 차선 인식 모듈(200)은, 차선 추출 모듈(100)에 의해 차선 이외의 노면 표시에 해당하는 영상이 제거된 이진화 영상에서, 차선을 검출하고, 그 위치를 분석하여, 차선 검출 여부와 검출한 차선의 위치 정보를 제공할 수 있다.

또한, 상기 차선 인식 모듈(200)은, 차선 추출 모듈(100)에 관심 영역 정보를 제공하여 차선 후보 추출의 속도를 높여줄 수 있으며, 차선 추출 모듈(100)에 차선 검출 여부 정보와 잡음 검출 여부 정보를 제공하여 차선 후보 추출의 정확도를 높여줄 수 있다. 또한, 상기 차선 인식 모듈(200)은, 차선 이탈 판단 모듈(300)에 차선의 기울기 정보와 위치 정보 등을 제공하여, 차선 이탈 판단의 정확도를 높여줄 수 있다.

도 6은, 본 발명의 일 실시예에 따른 차선 인식 모듈(200)의 기능적 구성을 개략적으로 나타내는 블록도이다.

도 6을 참조하면, 상기 차선 인식 모듈(200)은, 차선 외곽선 추출부(210), 차선 검출부(220) 및 차선 위치 분석부(230)를 포함할 수 있다.

상기 차선 외곽선 추출부(210)는, 차선 추출 모듈(100)에 의해 생성된 차선 추출 영상에서, 차선의 외곽선(edge)을 추출한다. 일반적으로 차선은 4개의 변을 갖는 사각형 형태로 형성되기 때문에, 각 차선에 대하여 외곽선은 좌측변과 우측변, 상부변과 하부변을 구비하는 형태로 구성될 수 있다. 따라서, 차선 외곽선 추출부(210)는 이러한 차선의 외곽선으로서, 좌측 선분과 우측 선분, 상부 선분과 하부 선분을 추출할 수 있다. 다만, 차선이 실선으로 구성된 경우, 차선 외곽선 추출부(210)는 소정 시간동안 차선의 외곽선으로서 좌측 선분과 우측 선분만 추출할 수도 있다.

특히, 상기 차선 외곽선 추출부(210)는, 캐니 알고리즘(Canny algorithm)을 이용하여, 차선의 외곽선을 추출할 수 있으나, 본 발명이 반드시 이러한 실시예로 한정되는 것은 아니다.

상기 차선 검출부(220)는, 차선 추출 영상에 대하여 X-Y 좌표계를 기준으로, 차선 외곽선 추출부(210)에 의해 추출된 차선 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출한다. 이러한 차선 검출부(220)의 차선에 대한 관계식 도출 구성에 대해서는 도 7을 참조하여, 보다 상세하게 설명하도록 한다.

도 7은, 차선 검출부(220)에 의한 차선 외곽선에 대응하는 1차 함수 관계식이 X-Y 좌표계 상에서 도출되는 구성을 개략적으로 도식화하여 나타내는 도면이다.

도 7에 도시된 바와 같이, 차선 추출 모듈(100)에 의해 차량의 도로 주행 영상에 대하여 차선이 추출된 차선 추출 영상이 이진화 영상으로서 생성될 수 있으며, 차선 외곽선 추출부(210)는 이러한 차선 추출 영상에서 차선의 외곽선만을 추출할 수 있다. 상기 차선 검출부(220)는, 이와 같이 차선이 추출된 영상에 대하여 차선 외곽선에 대한 관계식을 X-Y 좌표계 상에서 도출할 수 있다.

즉, 차선 추출 영상에 대하여 각 화소의 위치는, 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계 상에서 설명될 수 있다. 이때, 이러한 x축과 y축이 교차하는 원점은, 이를테면 도면에 표시된 바와 같이 차선 추출 영상의 좌측 상단 부분이 될 수 있다.

상기 차선 검출부(220)는, 차선 추출 영상에 대하여 이러한 X-Y 좌표계를 기준으로 차선 외곽선에 대응되는 x와 y 사이의 1차 함수 관계식을 도출할 수 있다. 여기서, 1차 함수 관계식은 X-Y 좌표계 상에서 직선을 나타내므로, 상기 차선 검출부(220)는 차선 외곽선에 대응되는 직선을 도출한다고 할 수 있다. 이때, 차선 검출부(220)는, 차선의 외곽선 중 내측 선분에 해당되는 부분을 기초로 그에 대응되는 직선을 도출할 수 있다. 여기서, 내측 선분이란, 하나의 차선에 대하여 차량의 수직 중심축에 가까운 측 선분을 의미하는 것으로서, 좌측 차선 외곽선을 기준으로 하면 우측 선분을 의미하고, 우측 차선 외곽선을 기준으로 하면 좌측 선분을 의미한다고 할 수 있다.

특히, 상기 차선 검출부(220)는, 차선 추출 영상에서 차선 외곽선에 중첩되는 화소수가 가장 많은 직선에 대한 관계식을, 그러한 차선 외곽선에 대응하는 1차 함수 관계식으로 도출할 수 있다.

예를 들어, 도 7의 실시예에서, 상기 차선 검출부(220)는, 차선 추출 영상 중 좌측 차선에 대응되는 직선으로서, 좌측 차선의 외곽선과 가장 많은 중첩 화소를 갖는 A1과 같은 직선을 파악할 수 있다. 그리고, 상기 차선 검출부(220)는, 이와 같이 파악된 A1에 대응하는 관계식을 좌측 차선에 대응하는 1차 함수 관계식으로서 도출할 수 있다.

이때, 상기 차선 검출부(220)는, 좌측 차선에 대응하는 1차 함수 관계식을, 도 7의 X-Y 좌표계 상에서 다음의 수학식 1과 같은 형태로 도출할 수 있다.

여기서, x 및 y는 X-Y 좌표계 상에서 변수를 나타내고, a는 직선 A1의 기울기를 나타내며, x_d 및 y_b는 임의의 점 d의 위치 좌표를 나타낸다.

한편, 상기 차선 검출부(220)는, 차선 추출 영상 중 우측 차선에 대응되는 직선으로서, 우측 차선의 외곽선과 가장 많은 중첩 화소를 갖는 A2와 같은 직선을 파악할 수 있다. 그리고, 상기 차선 검출부(220)는, 이와 같이 파악된 A2에 대응하는 관계식을 우측 차선에 대응하는 1차 함수 관계식으로서 도출할 수 있다.

여기서, 상기 수학식 1의 기울기 a는, x, y 좌표 상의 2점, v(x_v, y_v)와 d(x_d, y_b)를 이용하여 다음과 같이 표시될 수 있다.

따라서, 상기 수학식 2를 수학식 1에 대입하면, 수학식 1은 다음과 같이 정리될 수 있다.

이러한 수학식 3은, 상기 수학식 1을 x, y 좌표 상의 두 점(v점 및 d점)의 위치로 표기한 것이라 할 수 있다.

한편, 도 7에 도시된 바와 같이, 점 v(x_v, y_v)는 좌측 차선에 대응하는 직선 A1과 우측 차선에 대응하는 직선 A2의 교점일 수 있는데, 이 경우 상기 교점 v는 도로 주행 영상의 소실점에 해당된다고 할 수 있다. 그리고, 영상에 투영된 차선은 소실점으로 수렴하므로, 상기 차선 검출부(220)는 이후에 차선에 대응되는 1차 함수 관계식을 도출할 때 이러한 소실점을 이용할 수 있다. 즉, 상기 차선 검출부(220)는 소실점 v를 기준으로, 직선 A1에 대한 기울기를 변경하면서, 좌측 차선에 대응하는 직선과 그에 대한 1차 함수 관계식을 찾을 수 있다. 또한, 상기 차선 검출부(220)는, 소실점 v를 기준으로, 직선 A2에 대한 기울기를 변경하면서, 우측 차선에 대응하는 직선과 그에 대한 1차 함수 관계식을 찾을 수 있다.

상기 차선 위치 분석부(230)는, 차선 검출부(220)에 의해 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석한다. 특히, 상기 차선 위치 분석부(230)는, 차선의 위치로서 차선에 대응하는 직선상의 한 점을 차선의 위치로서 분석할 수 있다.

예를 들어, 상기 차선 위치 분석부(230)는, 도 7의 실시예에서, 좌측 차선에 대응하는 직선상의 임의의 한 점, 이를테면 y 좌표가 y_b인 d점을 기준으로 d점의 x좌표인 x_d를 차선의 위치로 인식할 수 있다.

상기 차선 위치 분석부(230)는, 좌측 차선의 위치와 우측 차선의 위치를 각각 분석할 수 있다. 그리고, 이와 같은 좌측 차선과 우측 차선의 위치로부터 차로의 너비를 구할 수 있다. 이때, 상기 차선 위치 분석부(230)는, 이와 같이 구해진 차로의 너비를 차로 너비 참조값과 비교하여, 차로의 너비가 참조값보다 작을 경우, 차선 이외의 노면 표시 등이 차선으로 잘못 인식된 것으로 판단하고, 이러한 정보를 다른 구성요소, 이를테면 차선 검출부(220) 등에 제공할 수 있다.

또한, 상기 차선 위치 분석부(230)는, 분석된 차선의 위치가 차로 중앙에 있고, 차선의 기울기가 수직에 가깝다고 판단될 경우, 해당 차선에 대해서는 다른 노면 표시가 차선으로 잘못 인식된 것으로 판단할 수 있다.

바람직하게는, 상기 차선 인식 모듈(200)은, 도 6에 도시된 바와 같이, 관심 영역 설정부(240)를 더 포함할 수 있다.

상기 관심 영역 설정부(240)는, 도로 주행 영상에서 관심 영역을 설정한다. 여기서, 관심 영역이란, 도로 주행 영상에서 차선을 인식하고자 하는 유효 영역을 의미한다고 할 수 있다. 따라서, 도로 주행 영상에서 관심 영역 이외의 영역은, 관심이 없는 영역, 즉 차선을 인식하지 않고자 하는 영역을 의미한다고 할 수 있다.

그러므로, 본 발명의 이러한 구성에 의하면, 유효한 관심 영역 내에서만 차선 검출 및 이탈 여부 판단이 이루어져, 그 연산량을 줄일 수 있다.

특히, 본 발명에 있어서 상기 관심 영역 설정부(240)는, 차선 검출부(220)에 의해 차선에 대응하는 1차 함수 관계식이 도출된 경우, 이러한 1차 함수 관계식을 이용하여 도로 주행 영상에 대한 관심 영역을 설정할 수 있다.

그러면, 상기 차선 인식 모듈(200)의 다른 구성요소, 이를테면 차선 외곽선 추출부(210), 차선 검출부(220) 및 차선위치 분석부는 이와 같이 설정된 관심 영역에 기초하여, 각 동작을 수행할 수 있다.

또한, 상기 차선 추출 모듈(100)은, 관심 영역 설정부(240)에 의해 설정된 관심 영역 내에서 차선을 추출할 수 있다.

도 8은, 본 발명의 일 실시예에 따라 도로 주행 영상에 대하여 관심 영역이 설정된 구성을 개략적으로 나타내는 도면이다.

도 8을 참조하면, 상기 관심 영역 설정부(240)는, 도로 주행 영상에 대하여 점선 C로 표시된 바와 같은 영역을 관심 영역으로 설정할 수 있다. 그러면, 상기 차선 추출 모듈(100)은, 영상 촬영 모듈(10)에 의해 입력된 도로 주행 영상에서, C로 표시된 관심 영역 내에서만 차선을 추출하여, 차선 추출 영상을 생성할 수 있다.

본 발명의 이러한 구성에 의하면, 도로 주행 영상 중 관심 영역 내에서만 차선 추출 동작이 수행되도록 함으로써, 차선 추출에 대한 동작 속도 및 정확성을 향상시키는 한편, 차선 추출 모듈(100)에 걸리는 부하를 감소시킬 수 있다.

특히, 상기 관심 영역 설정부(240)에 의해 설정되는 관심 영역은, 상한선 및 하한선을 구비할 수 있으며, 원근감을 고려하여 사다리꼴 형태로 구성될 수 있다.

바람직하게는, 차선 검출부(220)에 의해 2개의 1차 함수 관계식이 도출된 경우, 상기 관심 영역 설정부(240)는, 이러한 2개의 1차 함수 관계식의 교점을 소실점으로서 산출하고, 산출된 소실점을 이용하여 관심 영역을 설정할 수 있다.

예를 들어, 도 8의 실시예에 도시된 바와 같이, 도로 주행 영상에는 차량을 기준으로 좌측 차선과 우측 차선이 존재할 수 있으며, 이러한 좌측 차선과 우측 차선은 소실점으로 수렴될 수 있다. 따라서, 좌측 차선에 대응하는 직선 A1의 관계식과 우측 차선에 대응하는 직선 A2의 관계식은 기울기가 서로 다르며, 교점 v(x_v, y_v)에서 교차할 수 있다. 이때, 교점 v는 도로 주행 영상의 소실점이라 할 수 있다. 따라서, 상기 관심 영역 설정부(240)는, 이처럼 좌측 차선과 우측 차선에 대응하는 2개의 직선에 대한 1차 함수 관계식의 교점을 소실점으로 간주하고, 이러한 소실점을 이용하여 관심 영역을 설정할 수 있다.

특히, 상기 관심 영역 설정부(240)는, 소실점 v의 y 좌표값을 관심 영역의 y 좌표 상한값으로 설정할 수 있다. 즉, 도 8의 실시예에서, 소실점 v의 y 좌표값은 y_v이므로, 이러한 y_v를 관심 영역의 y 좌표 상한값으로 설정할 수 있다. 여기서, 관심 영역의 y 좌표 상한값은 도로 주행 영상에서, 관심 영역의 상한선에 대한 y 좌표값이라 할 수 있다. 따라서, 관심 영역의 상한선은, y=y_v 직선의 일부라고 할 수도 있다.

한편, 상기 관심 영역 설정부(240)는, 소실점으로부터 좌측과 우측 수평 방향으로 소정 화소(거리), 즉 도 8에서 v1으로 표시된 만큼 이격된 점 t_min과 점 t_max를 각각 관심 영역의 상한선에 대한 좌측 한계점 및 우측 한계점으로 설정할 수 있다. 이러한 관심 영역의 상한선에 대한 좌측 한계점 및 우측 한계점은, 다음 영상에서 소실점의 변경 가능성을 고려한 여유 부분이라 할 수 있다.

또한, 상기 관심 영역 설정부(240)는, 차량의 본넷을 파악하고 파악된 본넷에 대한 y 좌표값을 탐색하여 탐색된 본넷의 y 좌표값을 관심 영역의 y좌표 하한값으로 설정할 수 있다. 즉, 도 8의 실시예에서 B로 표시된 바와 같이, 블랙박스와 같은 영상 촬영 장치에 의해 촬영된 도로 주행 영상에는 본넷이 포함될 수 있는데, 상기 관심 영역 설정부(240)는 이러한 본넷의 가장 상부에 위치하는 부분의 y좌표값 y_b를 관심 영역의 y 좌표 하한값으로 설정할 수 있다. 이 경우, 관심 영역의 하한선은, y=y_b 직선의 일부라고 할 수도 있다.

여기서, 상기 관심 영역 설정부(240)는, 수평 에지 추출 알고리즘을 이용하여 본넷의 y축 방향 위치(y_b)를 검출할 수 있다. 특히, 상기 관심 영역 설정부(240)는, 본넷 탐색의 속도를 향상시키기 위해, 소실점으로부터 하부 방향으로 소정 화소 이격된 지점에서부터 하부 방향으로 본넷을 탐색하는 동작을 수행할 수 있다.

다만, 카메라 센서의 수직 방향 설치 각도에 따라, 또는 트럭 등의 경우, 영상에 본넷이 포함되지 않을 수 있으며, 이 경우, 관심 영역 설정부(240)는 본넷을 탐색하지 못할 수 있다. 이처럼 본넷이 탐색되지 않으면, 관심 영역 설정부(240)는 카메라의 수직 화각을 고려하여 소실점으로부터 소정 거리 아래에 위치하는 부분, 또는 영상의 하단에서부터 소정 거리 위쪽에 위치하는 부분을 관심 영역의 하한선으로 설정하는 등, 다양한 방식으로 관심 영역의 하한선을 결정할 수 있다.

한편, 상기 관심 영역 설정부(240)는, 도 8에 도시된 바와 같이, 관심 영역의 좌측 한계선이 차로의 좌측에 위치하도록 관심 영역의 하한선의 좌측 한계점 d_min을 설정하고, 관심 영역의 우측 한계선이 차로의 우측에 위치하도록 관심 영역의 하한선의 우측 한계점 d_max를 설정할 수 있다.

예를 들어, 도 8에 도시된 바와 같이, 관심 영역의 하한선과 좌측 차선에 대응하는 직선의 교점을 d1이라 하고, 관심 영역의 하한선과 우측 차선에 대응하는 직선의 교점을 d2라 할 경우, 관심 영역 설정부(240)는 차선 위치 분석부(230)로부터 이러한 d1과 d2에 대한 좌표 정보를 전송받을 수 있다. 그러면, 상기 관심 영역 설정부(240)는, d1으로부터 좌측 방향으로 소정 화소 이격된 지점 d_min을 관심 영역 하한선의 좌측 한계점으로 설정하고, d2로부터 우측 방향으로 소정 화소 이격된 지점 d_max를 관심 영역 하한선의 우측 한계점으로 설정할 수 있다.

한편, 시스템의 구동 초기 등에는 소실점 및 차선에 대한 정보가 없을 수 있다. 또한, 소실점 및 차선에 대한 정보가 있다 하더라도 잘못된 정보 내지 오류가 포함된 정보인 경우도 있을 수 있다. 이와 같은 경우 상기 관심 영역 설정부(240)는, 도로 주행 영상 중 임의의 부분에 소실점이 있다고 가정하고 관심 영역을 설정할 수 있다. 특히, 상기 관심 영역 설정부(240)는, 영상 중앙에 소실점이 있다고 가정할 수 있다. 이 경우, 상기 관심 영역 설정부(240)는, 이와 같이 가정한 소실점의 하부 방향으로 일정 화소만큼 떨어진 곳에서부터 수평 에지 검출 알고리즘을 사용하여 본넷 위치를 탐색할 수 있다. 그리고, 관심 영역 설정부(240)는, 이와 같이 가정 및 탐색된 소실점 및 본넷 위치를 이용하여, 상기 설명된 바와 유사하게 관심 영역을 설정할 수 있다.

바람직하게는, 상기 관심 영역 설정부(240)는, 기설정된 관심 영역을 보정할 수 있다. 즉, 관심 영역 설정부(240)는, 이전 도로 주행 영상에 의해 획득된 정보를 기초로 설정되거나 임의로 설정된 관심 영역을 보정할 수 있다. 이때, 상기 관심 영역 설정부(240)는, 관심 영역을 보정하기 위해 소실점의 위치 및 차로의 너비 정보를 이용할 수 있는데, 이에 대해서는 후술하도록 한다.

이와 같이, 관심 영역 설정부(240)에 의해 보정을 포함한 관심 영역 설정이 수행되면, 차선 추출 모듈(100), 차선 인식 모듈(200) 및 차선 이탈 판단 모듈(300)의 각 구성요소들은 이러한 관심 영역에 기초하여 각 동작을 수행할 수 있다.

예를 들어, 상기 차선 추출 모듈(100)은, 영상 촬영 모듈(10)로부터 도로 주행 영상이 입력되면, 입력된 도로 주행 영상 중 관심 영역 이내의 영상에 대하여, 밝기 기반 필터링부(120) 및 너비 기반 필터링부(130)를 이용하여 차선을 추출할 수 있다.

또한, 상기 차선 인식 모듈(200)은, 관심 영역 이내의 영상에 대해서만, 차선 외곽선을 추출하고, 추출된 차선 외곽선에 대응하는 x, y 사이의 1차 함수 관계식을 도출하며, 차선의 위치를 분석할 수 있다.

특히, 상기 차선 인식 모듈(200)의 차선 검출부(220)는, 소실점을 기준으로 수렴하는 1차 함수의 기울기를 변경하면서 차선을 검출할 수 있다. 예를 들어, 도 7의 실시예와 같이, 이전 영상에서 소실점이 v(x_v, y_v)로서 결정된 경우, 상기 차선 검출부(220)는, 다음의 도로 주행 영상에 대하여, 직선의 일단을 점 v에 고정시킨 상태에서, 직선의 타단을 관심 영역의 하한선 상을 따라 이동시키면서 좌측 차선과 우측 차선에 대응하는 각각의 직선을 검출할 수 있다. 즉, 상기 차선 검출부(220)는, 직선의 타단인 점 d(x_d, y_b)를 d_min에서 d_max로 이동해 가면서 차선에 가장 부합하는 직선을 검출하고, 검출된 직선의 1차 함수 관계식을 도출할 수 있다.

이때, 차선에 부합하는 직선의 1차 함수 관계식은, 상기 수학식 1과 같은 형태로 도출될 수 있다.

즉, 상기 차선 검출부(220)는, 차선 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식으로서,

를 도출할 수 있다.

여기서, x 및 y는 변수이고, a는 상수로서 y값의 증가량에 대한 x값의 증가량의 비율, y_b는 관심 영역의 y좌표 하한값, x_d는 관심 영역의 하한에서 1차 함수 관계식의 x좌표값을 나타낸다고 할 수 있다. 특히, x_d 및 y_b는 관심 영역의 하한선과 차선에 대응하는 직선이 만나는 교점의 x좌표 및 y좌표라 할 수도 있다.

한편, 상기 수학식 1과 같은 차선에 대응하는 1차 함수 관계식에서 a는 상기 수학식 2에 기재된 바와 같다. 따라서, 상기 차선 검출부(220)는, 차선에 대응하는 1차 함수 관계식을, 상기 수학식 3과 같은 형태로 표현할 수도 있다.

더욱 바람직하게는, 상기 차선 검출부(220)는 차선에 대응하는 1차 함수 관계식을 도출하기 위해, 1차 함수 관계식에 해당하는 직선의 일단을 관심 영역의 상한선 내에서 좌우 방향으로 이동시키고, 직선의 타단을 관심 영역의 하한선 내에서 좌우 방향으로 이동시키면서, 차선에 가장 부합하는 직선을 추출하도록 구성될 수 있다. 이에 대해서는, 도 9를 참조하여 보다 상세하게 설명하도록 한다.

도 9는, 본 발명의 일 실시예에 따라 도로 주행 영상의 관심 영역 내에서 차선에 대응하는 1차 함수 관계식을 도출하는 과정을 도식화하여 나타내는 도면이다.

도 9를 참조하면, 도로 주행 영상에 대하여 관심 영역(C)이 설정되어 있으며, 이러한 관심 영역 내에서만 차선이 추출되어 표시되어 있다. 이러한 관심 영역은 관심 영역 설정부(240)에 의해 설정될 수 있는데, 관심 영역 설정부(240)는 이전 주행 영상에서 도출된 소실점 v(x_v, y_v) 및 차선을 기초로 관심 영역을 설정할 수 있다.

도 9의 실시예에서, 관심 영역의 상한선의 y 좌표는 y_v이고, 상한선의 좌측 한계점은 t_min(x_{t - min}, y_v), 상한선의 우측 한계점은 t_max(x_{t - max}, y_v)로 표시된다. 그리고, 관심 영역의 하한선의 y 좌표는 y_b이고, 하한선의 좌측 한계점은 d_min(x_{d - min}, y_b), 하한선의 우측 한계점은 d_max(x_{d - max}, y_b)로 표시된다.

이러한 상황에서, 상기 차선 검출부(220)는, 관심 영역의 상한선 상에 위치하는 t점 및 관심 영역의 하한선 상에 위치하는 d점을 각각 수평 방향으로 이동시키면서, t점과 d점 사이를 연결하는 직선이 차선의 외곽선에 가장 많은 화소수로 중첩될 때 해당 직선의 관계식을 차선에 대응하는 1차 함수 관계식으로서 도출할 수 있다. 즉, 상기 차선 검출부(220)는, t점을 t_min과 t_max 사이에서 이동시키고, d점을 d_min과 d_max 사이에서 이동시키면서, 차선에 대응하는 직선 A3의 1차 함수 관계식을 도출할 수 있다.

여기서, 상기 차선 검출부(220)는, 도 9의 실시예를 기준으로, 차선에 대응하는 1차 함수 관계식을 다음과 같은 수학식으로 도출할 수 있다.

여기서, x 및 y는 변수이고, x_t 및 y_v는 상기 t점의 x 좌표값 및 y 좌표값을 나타내며, x_d 및 y_b는 상기 d점의 x 좌표값 및 y 좌표값을 나타낸다.

한편, 상기 살펴본 바와 같이, 상기 차선 검출부(220)는, 차선에 대응하는 1차 함수 관계식을 도출할 때, 차선의 외곽선에 중첩되는 화소수를 기준으로 할 수 있다. 즉, 상기 차선 검출부(220)는 차선의 외곽선에 중첩되는 화소수가 가장 많은 직선을 차선에 대응되는 직선으로 간주하고, 그러한 직선에 대한 관계식을 차선에 대응되는 1차 함수 관계식으로서 도출할 수 있다.

여기서, 상기 차선 검출부(220)는, 차선의 외곽선에 중첩되는 화소수에 대한 차선 검출 임계값을 설정할 수 있다. 따라서, 차선 검출부(220)는, 차선의 외곽선에 중첩되는 화소수가 가장 많은 직선이라 하더라도, 해당 직선의 중첩 화소수가 차선 검출 임계값을 넘지 못하면, 차선에 대응되는 직선으로 판단하지 않고, 차선을 검출하지 못한 것으로 간주할 수 있다. 또한, 상기 차선 검출부(220)는, 차선 검출 임계값을 넘는 차선 관계식이 많이 검출될 경우, 잡음이 검출된 것으로 간주하여, 새롭게 차선을 검출할 수 있다.

이때, 상기 차선 검출부(220)는, 차선 검출 임계값을 관심 영역의 높이에 비례하여 설정할 수 있다. 이를테면, 상기 도 9의 실시예에서, 상기 관심 영역의 높이는 y_b-y_v라 할 수 있는데, 차선 검출부(220)는 이러한 관심 영역의 높이에 비례하여 차선 검출의 임계값을 설정할 수 있다. 예를 들어, 차선 검출부(220)는, 관심 영역의 높이가 낮은 경우보다 높은 경우에 차선 검출 임계값이 상대적으로 높아지도록 할 수 있다.

한편, 상기 차선 검출부(220)는, 상기 수학식 4와 같은 1차 함수 관계식을 2개 도출할 수 있다. 즉, 도 9에 도시된 바와 같이, 도로 주행 영상의 관심 영역 내에서 차선은 일반적으로 차량을 기준으로 좌측 차선 및 우측 차선 2개가 존재하므로, 차선 검출부(220)는 t점과 d점을 이동시키면서, 좌측 차선에 대응하는 1차 함수 관계식 및 우측 차선에 대응하는 1차 함수 관계식을 각각 도출할 수 있다. 이 경우, 상기 차선 검출부(220)는, 관심 영역에 대하여 x=x_v인 선을 기준으로 좌측 관심 영역과 우측 관심 영역으로 구분한 후, 좌측 관심 영역에서 좌측 차선에 대응하는 1개의 1차 함수 관계식을 찾고, 우측 관심 영역에서 우측 차선에 대응하는 1개의 1차 함수 관계식을 찾을 수 있다.

상기 차선 위치 분석부(230)는, 관심 영역 설정부(240)에 의해 설정된 관심 영역을 이용하여 차선의 위치를 분석할 수 있다. 특히, 상기 차선 위치 분석부(230)는 상기 차선 검출부(220)에 의해 검출된 차선 관계식과 관심 영역 설정부(240)에 의해 설정된 관심 영역의 하한선이 교차하는 점을 차선의 위치로 분석할 수 있다. 예를 들어, 상기 차선 위치 분석부(230)는, 도 9의 실시예에서, 차선에 대응하는 직선과 관심 영역의 하한선이 만나는 d점을 차선의 위치로서 간주할 수 있다.

한편, 앞서 설명한 바와 같이, 관심 영역 설정부(240)는 이미 설정된 관심 영역을 보정할 수 있다. 따라서, 상기와 같이 2개의 1차 함수 관계식이 도출되면, 상기 관심 영역 설정부(240)는, 도출된 2개의 함수 사이의 교점을 소실점으로 간주하고, 이러한 소실점을 기초로 관심 영역을 보정할 수 있다. 이에 대해서는, 도 10을 참조하여 보다 상세하게 설명하도록 한다.

도 10은, 본 발명의 일 실시예에 따른 관심 영역의 보정 구성을 도식화하여 나타내는 도면이다.

도 10을 참조하면, 점선 C1으로 표시된 영역은 이전에 결정된 소실점 v1을 기초로 기설정된 관심 영역을 나타낸다. 상기 차선 추출 모듈(100) 및 상기 차선 인식 모듈(200)은, 이러한 관심 영역 C1을 기초로, 각 동작을 수행할 수 있다. 이때, 차선 인식 모듈(200)은 차선 외곽선을 추출하고 그에 대응하는 직선을 도면에 표시된 바와 같이 A3 및 A4로 인식할 수 있다.

그러면, 상기 관심 영역 설정부(240)는, 2개의 직선 A3 및 A4의 교점 v2를 새로운 소실점으로 간주하고, 이러한 소실점 v2를 기초로 새로운 관심 영역을 설정하여, 기존의 관심 영역을 보정할 수 있다. 즉, 도 10에서 실선 C2로 표시된 바와 같이, 상기 관심 영역 설정부(240)는 기설정된 관심 영역 C1과는 다른 새로운 관심 영역 C2를 설정할 수 있다. 그리고, 이와 같이 관심 영역 설정부(240)에 의해 새로 설정된 관심 영역 C2는, 다음에 입력되는 도로 주행 영상에 대한 차선 추출 및 인식을 위한 관심 영역으로 이용될 수 있다.

또한, 상기 관심 영역 설정부(240)는 차로의 너비 정보를 이용하여 관심 영역을 보정할 수 있다.

예를 들어, 도 10의 실시예에서, 차선 검출부(220)에 의해 직선 A3 및 A4가 검출된 경우, 관심 영역 C1의 하한선에서 A3와 A4 사이의 거리를 차로의 너비로서 R로 나타낼 수 있다. 이때, 차로의 너비 R이 이전에 관심 영역 C1을 결정할 때의 차로의 너비와 다른 경우, 상기 관심 영역 설정부(240)는 관심 영역의 하한선의 폭을 조절할 수 있다. 이를테면, 새롭게 인식된 차로의 너비 R이 이전 차로의 너비보다 넓어진 경우, 상기 관심 영역 설정부(240)는, 관심 영역 C2의 하한선의 폭 W2가 관심 영역 C1의 하한선의 폭 W1보다 넓어지도록 관심 영역 C2를 설정할 수 있다.

또한, 상기 관심 영역 설정부(240)는, 차선 위치 분석부(230)에 의해 분석된 차선의 위치를 고려하여 관심 영역을 보정할 수 있다. 예를 들어, 도 10의 실시예에서, 상기 관심 영역 설정부(240)는, 직선 A3가 관심 영역의 하한선과 만나는 점 d3를 기초로, 하한선의 좌측 한계점 d_min의 위치를 결정할 수 있다. 이를테면, 관심 영역 설정부(240)는, d3가 이전 영상보다 좌측으로 이동한 경우, d_min 역시 좌측 방향으로 이동시켜 새로운 관심 영역 C2를 설정할 수 있다. 이때, 상기 관심 영역 설정부(240)는, d3의 이동 거리를 고려하여 d_min의 이동 거리를 결정할 수 있다. 또한, 상기 관심 영역 설정부(240)는, 직선 A4가 관심 영역의 하한선과 만나는 점 d4를 기초로, 하한선의 우측 한계점 d_max의 위치를 결정할 수 있다.

상기 실시예와 같이, 관심 영역 설정부(240)에 의해 관심 영역이 보정되도록 하는 구성에 의하면, 착탈식 영상 촬영 모듈(10)과 같이 카메라 화각이나 설치 위치 등이 변경되는 경우, 차로의 너비가 변화되는 경우, 차로의 곡률 및 차량의 회전에 따라 소실점이 변경되는 경우 등에 있어서, 관심 영역이 유연성 있게 보정될 수 있다. 따라서, 본 발명의 이러한 측면에 의하면, 다양한 환경 상황에서 각각에 적합한 최적의 관심 영역이 유지되어, 차선 인식을 위한 연산량이 감소되어 차선 추출 및 인식 속도가 향상되고 그에 대한 정확성 또한 향상될 수 있다.

상기 차선 이탈 판단 모듈(300)은, 차선에 대응하여 차선 인식 모듈(200)에 의해 도출된 1차 함수 관계식을 이용하여 차량의 차선 이탈 여부를 판단한다. 특히, 상기 차선 이탈 판단 모듈(300)은, 차선 인식 모듈(200)에서 제공한 차선에 대응하는 직선의 기울기 정보와 위치 정보를 이용하여 차선 이탈 여부를 판단할 수 있다.

도 11은, 본 발명의 일 실시예에 따른 차선 이탈 판단 모듈(300)의 기능적 구성을 개략적으로 나타내는 블록도이다.

도 11을 참조하면, 상기 차선 이탈 판단 모듈(300)은, 경보 임계 산출부(310) 및 차선 이탈 판단부(320)를 포함한다.

상기 경보 임계 산출부(310)는, 차선의 위치에 대한 경보 임계값을 산출한다. 여기서, 차선의 위치에 대한 경보 임계값이란, 차선의 위치가 차량의 차선 이탈로 판단될 수 있는 경계값이라 할 수 있다.

상기 차선 이탈 판단부(320)는, 차선 인식 모듈(200)의 차선 위치 분석부(230)에 의해 분석된 차선의 위치를 분석하여 분석된 차선의 위치를 경보 임계 산출부(310)에 의해 산출된 경보 임계값과 비교한다. 그리고, 상기 차선 이탈 판단부(320)는, 그러한 비교 결과에 따라 차량의 차선 이탈 여부를 판단한다. 이때, 차선 이탈 판단부(320)는, 차선의 이탈 여부를 판단하기 위해 차선의 위치 정보와 함께 기울기 정보를 이용할 수도 있다.

도 12는, 본 발명의 일 실시예에 따른 차선 이탈 판단 모듈(300)의 차선 이탈 판단 구성을 개략적으로 나타내는 도면이다.

도 12를 참조하면, 차선 인식 모듈(200)의 차선 검출부(220)는 좌측 차선에 대응하여 직선 A5를 검출할 수 있고, 우측 차선에 대응하여 직선 A6를 검출할 수 있다. 그리고, 차선 인식 모듈(200)의 차선 위치 분석부(230)는, 직선 A5와 관심 영역 C의 하한선(y=y_b)의 교점인 d5를 좌측 차선의 위치로서 분석하고, 직선 A6와 관심 영역 C의 하한선의 교점인 d6를 우측 차선의 위치로서 분석할 수 있다.

상기 경보 임계 산출부(310)는, 차선의 우측에 위치하는 최대 경보 임계값 및 차선의 좌측에 위치하는 최소 경보 임계값을 산출할 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 경보 임계 산출부(310)는, 좌측 차선에 대한 경보 임계값의 최소값을 점 W_{l - min}(x_{wl - min}, y_b), 최대값을 점 W_{l - max}(x_{wl - max}, y_b)로 설정할 수 있다. 또한, 상기 경보 임계 산출부(310)는, 우측 차선에 대한 경보 임계값의 최소값을 점 W_{r - min}(x_{wr - min}, y_b), 최대값을 점 W_{r - max}(x_{wr - max}, y_b)로 설정할 수 있다.

이때, 상기 경보 임계 산출부(310)는, 차로의 너비를 고려하여 경보 임계값을 설정할 수 있다. 예를 들어, 상기 경보 임계 산출부(310)는, 차선 위치와 소실점 위치의 평균을 산출하고, 산출된 평균 차선 위치와 소실점 위치를 이용하여, 차로 좌측 너비와 차로 우측 너비를 구할 수 있다. 그러면, 상기 경보 임계 산출부(310)는, 차로 좌측 너비 정보를 기반으로, 좌측 경보 임계값의 최소값 W_{l - min}과 최대값 W_{l - max}를 산출할 수 있다. 또한, 상기 경보 임계 산출부(310)는, 차로 우측 너비 정보를 기반으로, 우측 경보 임계값의 최소값 W_{r - min}과 최대값 W_{r - max}를 산출할 수 있다. 이처럼, 차로 너비에 비례하여 경보 임계값이 산출되는 실시예에 의하면, 카메라 화각과 카메라 설치 위치 등, 각종 변화 요소에 따라 경보 임계값이 적응적으로 변경될 수 있다.

특히, 상기 경보 임계 산출부(310)는, 차로의 너비에 비례하여 경보 임계값을 설정할 수 있다. 예를 들어, 현재 영상에서의 차로의 너비가 이전 영상에서의 차로의 너비보다 큰 것으로 판단된 경우, 상기 경보 임계 산출부(310)는, 좌측 경보 임계값의 최소값 W_{l - min}과 최대값 W_{l - max}를 이전에 비해 좌측 방향으로 이동시킨 상태로 설정하고/하거나, 우측 경보 임계값의 최소값 W_{r - min}과 최대값 W_{r - max}를 이전에 비해 우측 방향으로 이동시킨 상태로 설정할 수 있다.

이처럼 경보 임계 산출부(310)에 의해 경보 임계값이 산출되면, 상기 차선 이탈 판단부(320)는, 차선의 위치 정보 및 기울기 정보를 이용하여 차선 이탈 여부를 판단할 수 있다. 즉, 상기 차선 이탈 판단부(320)는, 차선의 위치가 최대 경보 임계값의 좌측에서 우측으로 이동하거나 최소 경보 임계값의 우측에서 좌측으로 이동하는 경우, 차량이 차선 이탈된 것으로 판단할 수 있다.

예를 들어, 도 12에서, 좌측 차선의 위치 d5가 좌측 최소 경보 임계값 W_{l - min}의 우측에서 좌측으로 이동할 경우, 상기 차선 이탈 판단부(320)는 이를 차량의 차선 이탈로 판단할 수 있다. 또한, 좌측 차선의 위치 d5가 좌측 최대 경보 임계값 W_{l - max}의 좌측에서 우측으로 이동할 경우, 상기 차선 이탈 판단부(320)는 차량이 차선을 이탈한 것으로 판단할 수 있다.

또한, 우측 차선의 위치 d6가 우측 최소 경보 임계값 W_{r - min}의 우측에서 좌측으로 이동하거나, 우측 차선의 위치 d6가 우측 최대 경보 임계값 W_{r - max}의 좌측에서 우측으로 이동하는 경우, 상기 차선 이탈 판단부(320)는 차량이 차선을 이탈한 것으로 판단할 수 있다.

본 발명에 따른 차선 이탈 경보 시스템은, 경보 모듈(400)을 더 포함할 수 있다. 상기 경보 모듈(400)은, 차선 이탈 판단 모듈(300)에 의해 차량이 차선 이탈된 것으로 판단된 경우, 경고 정보를 사용자에게 제공한다.

이때, 상기 경보 모듈(400)은 시각, 청각, 촉각 등 다양한 방법으로 사용자에게 차량의 차선 이탈 정보를 사용자에게 제공할 수 있다. 예를 들어, 상기 경보 모듈(400)은, LCD 등의 디스플레이부나 LED 램프부 등을 구비하여, 시각적으로 사용자에게 경고 정보를 제공할 수 있다. 또한, 상기 경보 모듈(400)은, 스피커부를 구비하여, 경보음 등 청각적으로 사용자에게 경고 정보를 제공할 수 있다. 이처럼, 상기 경보 모듈(400)이 시각 또는 청각적으로 사용자에게 경고 정보를 제공하고자 하는 경우, 차량에 구비된 다른 기기, 이를테면 네비게이션이나 블랙박스 등을 이용할 수 있다. 또한, 상기 경보 모듈(400)은, 차량 핸들이나 좌석 등에 진동부를 구비하여 차량의 차선 이탈 시, 차량 핸들이나 좌석을 진동시켜 사용자에게 경고 정보를 제공할 수 있다.

한편, 상기 차선 인식 모듈(200)은, 차선의 종류를 구분하여 인식할 수 있다. 일반적인 도로의 노면 표시에 있어서, 차선은, 중앙선, 일반 차선, 길가장자리구역선, 진로변경제한선, 유턴구역선, 전용차선, 유도선 등으로 구분될 수 있다. 또한, 차선은 점선과 실선, 복선 등으로 구분될 수 있다. 이러한 각각의 차선은 도색 길이나, 빈 길이, 너비, 색상 등이 다를 수 있으므로, 상기 차선 인식 모듈(200)은, 이와 같은 정보를 미리 저장하여, 인식된 차선의 종류를 구분할 수 있다.

특히, 상기 차선 인식 모듈(200)은, 중앙선과 일반 차선을 구분하여 인식할 수 있다. 예를 들어, 중앙선의 실선은 너비가 15~20cm이고, 일반 차선의 너비는 10~15cm일 수 있는데, 상기 차선 인식 모듈(200)은, 차선 외곽선의 좌우 너비를 고려하여, 인식된 차선이 중앙선인지 일반 차선인지 구분할 수 있다. 이 경우, 차선 인식 모듈(200)은 차량이 중앙선을 벗어난 경우와 일반 차선을 벗어난 경우를 달리하여 경보 모듈(400)에 제공할 수 있다. 그러면, 경보 모듈(400)은, 차량이 중앙선을 이탈한 것인지, 아니면 일반 차선을 이탈한 것인지, 구분하여 사용자에게 경고 정보를 다르게 제공할 수 있다. 예를 들어, 경보 모듈(400)은, 차량이 일반 차선을 이탈한 경우에 비해 중앙선을 이탈한 경우, 경보 음량을 더 크게 할 수 있다.

본 발명의 이러한 구성에 의하면, 대형 사고의 위험성을 크게 낮출 수 있다. 차량이 중앙선을 침범하여 발생한 교통 사고는, 일반 차선을 침범하여 발생한 교통 사고보다, 큰 피해를 발생시킬 수 있기 때문에, 상기 실시예와 같이, 차량이 중앙선을 침범한 경우, 더욱 위급한 경고 정보를 발생시키면, 사용자는 더욱 주의를 기울일 수 있다.

또한, 상기 차선 인식 모듈(200)은, 실선과 점선을 구분하여 인식할 수 있다. 예를 들어, 상기 차선 인식 모듈(200)은, 차선에 대응되는 직선과 차선 외곽선이 중첩되는 화소수를 기준으로, 차선이 실선인지 점선인지 구분할 수 있다. 그리고, 차선 인식 모듈(200)은 그러한 구분 정보를 경보 모듈(400)에 제공할 수 있다. 그러면, 경보 모듈(400)은, 차량이 실선을 이탈한 경우인지, 아니면 점선을 이탈한 경우인지를 구분하여 사용자에게 경고 정보를 다르게 제공할 수 있다. 예를 들어, 경보 모듈(400)은, 차량이 점선을 이탈한 경우에 비해 실선을 이탈한 경우, 경보 음량을 더 크게 할 수 있다.

일반적으로 점선은 앞지르기하는 경우와 같이 상황에 따라 차선 이탈을 허용하나, 실선은 차선 이탈을 불허하는 경우가 많다. 그러므로, 상기와 같이, 차선 인식 모듈(200) 및 경보 모듈(400)에 의해 점선 이탈인지 실선 이탈인지 구분되어 경고 정보가 사용자에게 제공되는 실시예에 의하면, 실선인 경우, 사용자가 더욱 주의할 수 있으므로 사고 발생 빈도나 피해 정도가 보다 감소할 수 있다.

일 실시예로서, 본 발명에 따른 차선 이탈 경보 시스템의 구현예를 설명한다.

예를 들어, 차량이 운행을 시작하여 차선 이탈 경보 시스템 역시 동작을 시작하는 경우, 관심 영역이 이전에 설정되지 않은 상태에서 최초로 설정될 수 있다.

초기에는 소실점 및 차선에 대한 정보가 없을 수 있으므로, 이 경우 차선 이탈 경보 시스템은 영상 전체에 대한 차선 검출을 수행하여 차선 및 소실점이 검출되도록 할 수 있다. 또는, 차선 이탈 경보 시스템은, 이처럼 차선 및 소실점에 대한 정보가 없거나 정보에 오류가 있다고 판단될 경우, 영상 중앙에 소실점이 있다고 가정할 수 있다.

그리고, 차선 이탈 경보 시스템은 이와 같이 가정 또는 검출된 소실점 아래로 일정 화소만큼 떨어진 곳에서부터 수평 에지 검출 알고리즘을 사용하여 본넷 위치를 검색할 수 있다. 만일 본넷이 검출되지 않은 경우, 차선 이탈 경보 시스템은 영상에 본넷이 촬영되지 않았다고 간주할 수 있다.

그리고, 차선 이탈 경보 시스템은, 가정 또는 검출된 소실점에 기초하여, 차선 검출을 수행할 수 있다. 이때, 차선이 검출되지 않을 경우, 차선 이탈 경보 시스템은 주변 화소에 대하여 소실점 가정과 차선 검출 과정을 반복하여 수행할 수 있다.

만일, 영상 전체에 대해 차선을 검출하여도 양쪽 차선이 모두 검출되지 않은 경우, 차선 이탈 경보 시스템은 차량이 주행 차선 위에 있지 않은 것으로 간주하고 일정 시간 동안 대기할 수 있다. 반면, 양쪽 차선이 모두 검출된 경우, 차선 이탈 경보 시스템은, 좌측 차선에 대한 1차 함수 관계식과 우측 차선에 대한 1차 함수 관계식의 교점을 소실점으로서 산출할 수 있다. 다음으로, 차선 이탈 경보 시스템은 산출한 소실점과 검출한 차선, 본넷의 위치를 이용하여 관심 영역을 설정하고, 설정한 관심 영역을 현재 영상 및/또는 다음 영상에 적용할 수 있다.

그리고 나서, 차선 이탈 경보 시스템은, 관심 영역 이내의 영상에 대해 차선 후보를 추출하고, 관심 영역 이내의 영상에 대해 차선 후보에 대응되는 1차 함수 관계식을 도출하여 차선의 위치를 분석할 수 있다. 이때, 분석된 차선의 위치 정보는 관심 영역을 보정하는데 이용될 수 있으며, 보정된 관심 영역은 현재 영상 프레임 및/또는 다음 영상 프레임에 적용될 수 있다.

이처럼, 차선 위치가 분석되면, 차선 이탈 경보 시스템은, 차선의 위치, 기울기 정보 등을 이용하여 차선 이탈 여부를 판단하고, 차선 이탈로 판단된 경우 사용자에게 차선 이탈 정보를 경고할 수 있다.

한편, 본 발명에 따른 차선 이탈 경보 시스템의 각 구성요소는, 별도의 독립된 장치로 구현될 수 있다.

한편, 본 발명에 따른 차선 이탈 경보 시스템은, 다양한 장치 형태로 구현될 수 있다. 예를 들어, 상기 차선 이탈 경보 시스템은, 차량에 구비된 블랙박스나 네비게이션 기기에서 구현되도록 구성될 수 있다. 이 경우, 본 발명에 따른 블랙박스 또는 네비게이션 장치는, 상술한 본 발명에 따른 차선 이탈 경보 시스템을 포함할 수 있다.

도 13은, 본 발명의 일 실시예에 따른 차선 이탈 경보 방법을 개략적으로 나타내는 흐름도이다. 도 13에서, 각 단계의 수행 주체는, 상술한 차선 이탈 경보 시스템의 각 구성요소라 할 수 있다.

도 13에 도시된 바와 같이, 본 발명에 따른 차선 이탈 경보 방법에 의하면, 먼저 영상 촬영 장치로부터 차량의 도로 주행 영상이 입력되고(S110), 이와 같이 입력된 영상에서 차선 이외의 영상을 제거하여 차선을 추출함으로써, 차선 추출 영상이 생성된다(S120). 그리고, 이와 같이 생성된 차선 추출 영상에서, 추출된 차선에 대응하는 1차 함수 관계식이 도출된다(S130). 그리고 나서, 이와 같이 도출된 1차 함수 관계식을 이용하여 차량의 차선 이탈 여부가 판단된다(S140).

바람직하게는, 상기 S120 단계 또는 상기 S130 단계 이전에, 관심 영역이 보정을 포함하여 설정되는 단계가 더 포함될 수 있다. 이 경우, 상기 S120 단계 및 상기 S130 단계는 설정된 관심 영역을 기초로 수행될 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

한편, 본 명세서에서 '차선 추출 모듈', '차선 인식 모듈', '차선 이탈 판단 모듈' 등에서 '모듈'이라는 용어가 사용되었고, 및 '차로 밝기 산출부', '밝기 기반 필터링부', '너비 기반 필터링부', '차선 외곽선 추출부', '차선 검출부', '차선 위치 분석부', '관심 영역 설정부' 등에서 '부'라는 용어가 사용되었으나, 이는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 분리될 수 있거나 물리적으로 분리되어야 하는 구성요소를 나타내는 것이 아니라는 점은 본 발명이 속하는 기술 분야의 당업자에게 자명하다.

즉, 본 발명에 있어서의 각각의 구성은 본 발명의 기술사상을 실현하기 위하여 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관하게 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.

10: 영상 촬영 모듈
100: 차선 추출 모듈
110: 차로 밝기 산출부
120: 밝기 기반 필터링부
130: 너비 기반 필터링부
200: 차선 인식 모듈
210: 차선 외곽선 추출부
220: 차선 검출부
230: 차선 위치 분석부
240: 관심 영역 설정부
300: 차선 이탈 판단 모듈
310: 경보 임계 산출부
320: 차선 이탈 판단부
400: 경보 모듈
1000: 차선 이탈 경보 시스템

Claims (18)

1. 영상 촬영 모듈로부터 차량의 도로 주행 영상을 입력받고, 입력된 영상에서 차선 이외의 영상을 적어도 일부 제거하여 차선을 추출함으로써, 차선 추출 영상을 생성하는 차선 추출 모듈;
   상기 차선 추출 모듈에 의해 생성된 차선 추출 영상에서, 상기 추출된 차선에 대응하는 1차 함수 관계식을 도출하는 차선 인식 모듈; 및
   상기 차선 인식 모듈에 의해 도출된 1차 함수 관계식을 이용하여 차량의 차선 이탈 여부를 판단하는 차선 이탈 판단 모듈
   을 포함하되,
   상기 차선 인식 모듈은,
   상기 차선 추출 영상에서, 상기 추출된 차선에 대하여 차선 외곽선을 추출하는 차선 외곽선 추출부;
   상기 차선 추출 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출하는 차선 검출부; 및
   상기 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석하는 차선 위치 분석부
   를 구비하는 것을 특징으로 하는 차선 이탈 경보 시스템.
2. 제1항에 있어서,
   상기 차선 추출 모듈은, 상기 영상 촬영 모듈로부터 상기 도로 주행 영상을 그레이 영상으로서 입력받고, 상기 차선 추출 영상을 이진화 영상으로서 생성하는 것을 특징으로 하는 차선 이탈 경보 시스템.
3. 제2항에 있어서,
   상기 차선 추출 모듈은,
   상기 그레이 영상을 입력받아, 밝기 임계값을 산출하는 차로 밝기 산출부;
   상기 그레이 영상에서 상기 밝기 임계값 이상의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성하는 밝기 기반 필터링부; 및
   상기 밝기 기반 필터링부에 의해 추출된 화소 중 너비를 참조 너비 범위와 비교하여, 상기 참조 너비 범위를 벗어난 너비를 갖는 화소를 상기 이진화 영상에서 제거하는 너비 기반 필터링부
   를 구비하는 것을 특징으로 하는 차선 이탈 경보 시스템.
4. 제3항에 있어서,
   상기 차로 밝기 산출부는, 차로에 해당하는 부분을 다수의 영역으로 분할하여, 각 영역에서 화소 밝기 평균값을 계산하고, 상기 화소 밝기 평균값을 기준으로 밝기 임계값을 산출하는 것을 특징으로 하는 차선 이탈 경보 시스템.
5. 제3항에 있어서,
   상기 너비 기반 필터링부는, 차로 너비에 대한 차선 너비의 비율을 산출하고, 산출된 비율을 참조 비율 범위와 비교하여, 상기 참조 비율 범위를 벗어난 비율을 갖는 화소를 상기 이진화 영상에서 제거하는 것을 특징으로 하는 차선 이탈 경보 시스템.
6. 삭제
7. 제1항에 있어서,
   상기 차선 인식 모듈은, 상기 차선 검출부에 의해 도출된 1차 함수 관계식을 이용하여, 영상에 대한 관심 영역을 설정하는 관심 영역 설정부를 더 구비하고,
   상기 차선 추출 모듈은, 상기 관심 영역 설정부에 의해 설정된 관심 영역 내에서 상기 차선을 추출하는 것을 특징으로 하는 차선 이탈 경보 시스템.
8. 제7항에 있어서,
   상기 차선 검출부에 의해 2개의 1차 함수 관계식이 도출된 경우,
   상기 관심 영역 설정부는, 상기 2개의 1차 함수 관계식의 교점을 소실점으로서 산출하고, 산출된 소실점을 이용하여 상기 관심 영역을 설정하는 것을 특징으로 하는 차선 이탈 경보 시스템.
9. 제8항에 있어서,
   상기 관심 영역 설정부는, 상기 소실점의 y 좌표값을 상기 관심 영역의 y좌표 상한값으로 설정하고, 상기 차량의 본넷에 대한 y 좌표값을 탐색하여 탐색된 본넷의 y 좌표값을 상기 관심 영역의 y좌표 하한값으로 설정하는 것을 특징으로 하는 차선 이탈 경보 시스템.
10. 제8항에 있어서,
    상기 관심 영역 설정부는, 상기 소실점의 위치 및 차로의 너비 정보를 이용하여 기설정된 관심 영역을 보정하는 것을 특징으로 하는 차선 이탈 경보 시스템.
11. 제7항에 있어서,
    상기 차선 검출부는, 상기 x와 y 사이의 1차 함수 관계식으로서 다음 관계식을 도출하되,
    

    

    
    여기서, x 및 y는 변수이고, a는 상수로서 y값의 증가량에 대한 x값의 증가량의 비율, y_b는 상기 관심 영역의 y좌표 하한값, x_d는 상기 관심 영역의 하한선에서 상기 1차 함수 관계식의 x 좌표값을 나타내는 것을 특징으로 하는 차선 이탈 경보 시스템.
12. 제11항에 있어서,
    상기 차선 검출부는, 상기 관심영역의 상한선에 위치하는 t점 및 상기 관심영역의 하한선에 위치하는 d점을 각각 수평 방향으로 이동시키면서, t점과 d점 사이를 연결하는 직선이 상기 차선 외곽선 추출부에 의해 추출된 차선 외곽선에 중첩되는 화소수가 가장 많을 때 상기 t점과 d점 사이를 연결하는 직선에 대한 x와 y 사이의 관계식을 상기 1차 함수 관계식으로서 도출하는 것을 특징으로 하는 차선 이탈 경보 시스템.
13. 제12항에 있어서,
    상기 차선 검출부는, 상기 1차 함수 관계식으로서 다음 관계식을 도출하되,
    

    

    
    여기서, x 및 y는 변수이고, x_t 및 y_v는 상기 t점의 x 좌표값 및 y 좌표값을 나타내며, x_d 및 y_b는 상기 d점의 x 좌표값 및 y 좌표값을 나타내는 것을 특징으로 하는 차선 이탈 경보 시스템.
14. 제1항에 있어서,
    상기 차선 이탈 판단 모듈은,
    상기 차선의 위치에 대한 경보 임계값을 산출하는 경보 임계 산출부; 및
    상기 차선 인식 모듈에 의해 인식된 차선의 위치를 상기 경보 임계 산출부에 의해 산출된 경보 임계값과 비교하여, 상기 차량의 차선 이탈 여부를 판단하는 차선 이탈 판단부
    를 구비하는 것을 특징으로 하는 차선 이탈 경보 시스템.
15. 제14항에 있어서,
    상기 경보 임계 산출부는, 차로의 너비에 비례하여 상기 경보 임계값을 산출하는 것을 특징으로 하는 차선 이탈 경보 시스템.
16. 제14항에 있어서,
    상기 경보 임계 산출부는, 차선의 우측에 위치하는 최대 경보 임계값 및 차선의 좌측에 위치하는 최소 경보 임계값을 산출하고,
    상기 차선 이탈 판단부는, 상기 차선의 위치가 상기 최대 경보 임계값의 좌측에서 우측으로 이동하거나 상기 최소 경보 임계값의 우측에서 좌측으로 이동하는 경우, 상기 차량이 차선 이탈된 것으로 판단하는 것을 특징으로 하는 차선 이탈 경보 시스템.
17. 제1항에 있어서,
    상기 차선 이탈 판단 모듈에 의해 차량이 차선 이탈된 것으로 판단된 경우, 경고 정보를 사용자에게 제공하는 경보 모듈을 더 포함하는 것을 특징으로 하는 차선 이탈 경보 시스템.
18. 영상 촬영 모듈로부터 차량의 도로 주행 영상을 입력받는 단계;
    상기 입력된 영상에서 차선 이외의 영상을 적어도 일부 제거하여 차선을 추출함으로써, 차선 추출 영상을 생성하는 단계;
    상기 생성된 차선 추출 영상에서, 상기 추출된 차선에 대하여 차선 외곽선을 추출하는 단계;
    상기 차선 추출 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선 외곽선에 대응하는 1차 함수 관계식을 도출하는 단계; 및
    상기 도출된 1차 함수 관계식을 이용하여 차량의 차선 이탈 여부를 판단하는 단계
    를 포함하는 것을 특징으로 하는 차선 이탈 경보 방법.

Images