KR20120009590A - 차선 인식 시스템 및 방법 - Google Patents

Abstract

본 발명은 차선 인식 시스템 및 방법에 관한 것으로, 본 발명에 따른 방법은 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계, 이전 차선 방정식이 없는 경우 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계, 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계를 포함하고, 이전 차선 방정식이 있는 경우 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계, 관심 영역 내에서 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계를 포함한다.

Description

차선 인식 시스템 및 방법{Vehicle Line Recognition System and Method}

본 발명은 차선 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 카메라로 촬영한 이미지를 이용하여 차선 인식을 수행하는 시스템 및 방법에 관한 것이다.

종래의 차선 검출 방법으로 모바일 기기를 기반으로 빠르고 간단한 에지(Edge) 추출과 호프 트랜스폼(Hough transform)을 이용한 직선 차선 검출 방법이 있다. 그리고 PC 기반으로는 직선 또는 쌍곡선(hyperbola) 쌍으로 차선을 검출하는 방법이 있다. 이러한 방법들은 단순한 계산과정으로 인해서 속도 면에서는 빠르지만, 주행중 발생할 수 있는 차선의 소실이나, 진동 등에 약한 단점이 있다. 한편 PC 기반으로 차선의 끊어짐에 강인한 랜덤 워크(random walk), 진동이나 기타 노이즈에 강인한 칼만 필터(Kalman filter) 등의 다소 복잡한 처리과정을 사용하여 2차 곡선 또는 B-스플라인(spline)으로 차선을 안정적으로 검출하는 방법들은 3.0 GHz 이상의 고성능 PC에서 복잡한 계산을 사용하여 차선의 끊어짐, 가려짐, 도로상의 트래픽 신호(traffic sign) 등에 강인한 성능을 낸다. 에지(edge)의 방향성을 고려하는 스티어러블 필터(steerable filter)와 레이저 센서(laser sensor)의 전방 스캔(scan) 정보를 사용하여 차선의 검색 영역 최소화 및 장애물로 인한 차선 가림을 해결하는 방법도 있다. 그러나 이러한 방법들은 고성능 PC에서 처리속도가 13 ms ~ 100 ms 이상이고, 고가의 레인지 센서(range sensor)를 필요로 하기 때문에, DSP 기반의 스탠드 얼론(stand-alone) 시스템으로 구현하기에는 적합하지 않은 부분이 있다. 따라서 DSP 기반의 개별 제품을 고려할 때는, 적은 연산량을 갖는 매우 간단한 차선 검출 방법과 함께, 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 강인한 추적 방법이 요구된다.

차선의 종류 인식에 관하여서는, 차선 위의 후보점의 분포를 샘플링하여 후보점 간격을 보고 점선과 실선을 판단하는 방법이 있으나, 조명 조건의 변화에 따라 차선과 도로 간의 경계가 모호해 져서 판단이 어려운 경우가 있다. 따라서 차선 위의 점과 도로 간의 차이를 판단하는 방법이 요구된다.

차선 색 인식 방법에 관하여서는, 조명 조건에 따라 차선 색이 매우 다양하게 바뀌므로 차선 색을 여러 조건에서 샘플링하여 방대한 데이터를 모아 인식기를 학습하는 방법이 있다. 그러나, 이러한 방법은 색변화의 비선형성을 충분히 반영하지 못하는 면이 있다. 따라서 조명으로 인한 색변화를 충분히 반영하여, 색변화가 있더라도 차선 색을 정확히 인식하는 방법이 요구된다.

차선 이탈 경보에 관해서는, 차선과 차량 간의 수평 거리를 계산하고, 또한 차량이 차선을 이탈하는 예상시간 (Time to Lane Crossing: TLC)을 계산하여, 임계치와 비교하여 경보하는 방법이 통상적으로 사용된다. 이를 적용하기 위해서는 영상에서의 차선 방정식으로부터 차선의 실제 방정식 및 거리를 계산하는 방법이 요구된다.

따라서 본 발명이 해결하고자 하는 과제는 카메라로 촬영한 이미지를 이용하여 차선 방정식, 차선 종류, 차선 색, 차선 이탈 상황 등을 인식하고 경고를 수행하는 차선 인식 시스템 및 방법을 제공하는 것이다.

이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 차선 인식 방법은, 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계, 이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계를 포함한다.

상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상일 수 있다.

이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계를 포함할 수 있다.

상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택할 수 있다.

상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며, 상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식

을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출할 수 있다.

상기 업데이트 된 차선 방정식을 수학식

에 따라 새로운 차선 방정식으로 변경하되, b_R은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, b_L은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, Line_L', Line_R'은 새로운 좌우 차선 방정식이고, Line_L, Line_R은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식일 수 있다.

상기 업데이트 된 차선 방정식의 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경할 수 있다.

상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단할 수 있다.

상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식할 수 있다.

상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 차선 인식 시스템은 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 전처리 영상 모듈, 그리고 이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하고, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하며, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하고, 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 초기 차선 검출 모듈을 포함한다.

이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하고, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하며, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하고, 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 차선 추적 모듈을 더 포함할 수 있다.

상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 차선 종류 인식 모듈을 더 포함할 수 있다.

상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식하는 차선 색 인식 모듈을 더 포함할 수 있다.

상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하고 경고하는 차선 이탈 경고 모듈을 더 포함할 수 있다.

본 발명에 의하면, 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 적은 연산량으로 매우 간단하게 차선 추적 및 차선 종류, 차선 색, 차선 이탈 경고 등을 강인하게 수행할 수 있다.

도 1은 본 발명의 실시예에 따른 차선 인식 시스템을 설명하기 위해 제공되는 블록도이다.
도 2는 도 1의 차선 인식 시스템을 보다 상세하게 나타낸 블록도이다.
도 3은 도 2의 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 4는 차선 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이다.
도 5는 도 3의 초기 차선 방정식 검출 단계를 보다 자세히 나타낸 흐름도이다.
도 6은 차선 후보점 템플릿을 이용하여 차선 후보점을 추출하는 방법을 설명하기 위해 제공되는 도면이다.
도 7은 영상 좌표계에서 차선 방정식을 설명하기 위해 제공되는 도면이다.
도 8은 도 3의 차선 방정식 추적 단계를 보다 자세히 나타낸 흐름도이다.
도 9는 차선 종류 인식 동작을 설명하기 위해 제공되는 도면이다.
도 10은 차선 곡률을 구하는 방법을 설명하기 위해 제공되는 도면이다.
도 11은 본 발명에 따른 차선색 인식 동작의 흐름도이다.
도 12는 차선색 인식 동작을 설명하기 위해 제공되는 도면이다.
도 13은 신경망을 이용한 색 인식 과정을 설명하기 위해 제공되는 도면이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 차선 인식 시스템을 설명하기 위해 제공되는 블록도이다.

도 1을 참고하면, 먼저 차선 인식 시스템(200)은 차량(도시하지 않음)에 설치된 카메라 모듈(100)로부터 획득된 영상을 전달받고, 이를 기초로 자기 차량이 현재 위치한 차로의 차선에 대한 각종 정보를 인식하는 기능을 수행한다. 예컨대 차선에 대한 정보는 차선 방정식, 차선 종류(실선, 점선 여부), 차선 곡률, 차선 색, 차선 이탈 상황 등을 포함할 수 있다.

카메라 모듈(100)은 차량의 전방에 설치되어 차량 전방 도로에 대한 컬러 영상을 획득하는 기능을 수행한다. 카메라 모듈(100)은 획득된 영상을 실시간으로 차선 인식 시스템(200)에 전달한다. 카메라 모듈(100)은 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀홀 카메라를 포함한다. 카메라 모듈(100)은 60°에서 120°정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득할 수 있다.

그러면 도 2 및 도 3을 참고하여 본 발명에 따른 차선 인식 시스템에 대해 보다 자세하게 설명한다.

도 2는 도 1의 차선 인식 시스템을 보다 상세하게 나타낸 블록도이고, 도 3은 도 2의 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.

도 2를 참고하면, 차선 인식 시스템(200)은 영상 전처리 모듈(210), 초기 차선 검출 모듈(220), 차선 추적 모듈(230), 차선 종류 인식 모듈(240), 차선 색 인식 모듈(250), 차선 이탈 경고 모듈(260), 제어 모듈(270) 및 저장 모듈(280)을 포함할 수 있다.

영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받고, 그에 대한 적분 영상(integral image)을 계산하여 출력할 수 있다.

초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 입력되는 적분 영상을 이용하여 초기 차선 방정식을 검출할 수 있다.

차선 추적 모듈(230)은 이전 차선 방정식이 있을 경우 이를 이용하여 새로운 차선 방정식을 구할 수 있다.

차선 종류 인식 모듈(240)은 차선이 실선인지 점선인지 여부를 인식하는 기능을 수행할 수 있다.

차선 색 인식 모듈(250)은 차선 색이 백색, 노랑색 또는 파랑색인지 여부를 인식하는 기능을 수행한다. 이를 통해 차선이 중앙선인지, 버스 전용 차선인지 등에 대한 정보를 획득할 수 있다.

차선 이탈 경고 모듈(260)은 차량의 차선 이탈 상황을 판단하고 경고하는 기능을 수행한다.

제어 모듈(270)은 차선 인식 시스템(200)의 전체적인 동작을 제어한다.

저장 모듈(280)은 차선 인식 시스템(200)의 동작에 필요한 각종 정보 및 데이터를 저장하고, 각 구성요소의 요청에 따라 제공하는 기능을 수행한다.

그러면 도 3을 참고하여 본 발명에 따른 차선 인식 시스템의 동작을 자세하게 설명한다.

도 3은 본 발명에 따른 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.

먼저 영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받는다(S310). 영상 전처리 모듈(210)은 입력된 차량 전방 영상의 컬러 성분 중에서 G 채널 성분을 선택하여 그에 대한 적분 영상(integral image)을 계산하여 출력한다(S320). G 채널 성분을 선택하는 이유는 터널 또는 야간에도 차선 부분과 도로 부분의 구분이 다른 채널 성분보다 명확하기 때문이다. 따라서 R, B 채널 영상을 선택하여 이하에서 설명하는 동작을 수행하는 것도 가능하나 G 채널 영상을 이용하는 것이 바람직하다. 한편 영상 전처리 모듈(210)은 카메라 모듈(100)에서 입력된 영상에 왜곡, 오류가 있을 경우 이를 보정하는 기능을 추가적으로 수행할 수도 있다.

다음으로 제어 모듈(270)은 이전 차선 방정식이 있는지 여부를 판단하고(S330), 그에 따라 초기 차선 검출 모듈(220)을 제어하여 초기 차선 방정식을 검출하게 한다.

보다 자세하게는 유효한 이전 차선 방정식이 없는 경우(S330-N), 초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 계산된 G 채널의 적분 영상을 이용하여 초기 차선 방정식을 검출한다(S340). 단계(S340)의 초기 차선 방정식 검출 동작에 대해 도 4 및 도 5를 참고하여 보다 자세히 설명한다.

도 4는 차선 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이고, 도 5는 도 3의 초기 차선 방정식 검출 단계를 보다 자세히 나타낸 흐름도이며, 도 6은 차선 후보점 템플릿을 이용하여 차선 후보점을 추출하는 방법을 설명하기 위해 제공되는 도면이다.

도 4에서 (a)는 차량의 전면 중심을 원점으로 하는 실제 거리 좌표계를 나타내고 있으며, (b)는 차량 전방을 촬영한 영상에서 사용되는 영상 좌표계를 나타내고 있다.

먼저 초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 입력된 적분 영상에 대한 차선 검출 대상 영역을 계산한다(S3410). 차선 검출 대상 영역은 자기 차량의 전면 중심(예컨대 차량 후드 선단의 중심)으로부터 전방 3m ~ 30m, 그리고 좌우 -4m ~ 4m의 사각 영역에 대응하는 영상 영역으로 구해질 수 있다. 예컨대, 실제 거리 좌표계에서 사각 영역의 각 코너점에 대응하는 (-4, 3), (-4, 30), (4, 3), (4, 30)에 대해 아래 수학식 1을 이용하여 영상 좌표계에서 대응하는 코너점을 구하면 차선 검출 대상 영역이 구해질 수 있다.

여기서 (X,Y)는 실제거리 좌표계에서의 좌표이고, (u,v)는 영상 좌표계에서의 좌표이며, u', v'는 원근 투영 적용 전의 영상 좌표계에서의 u, v 좌표이고, s는 원근 투영비를 나타내며, 행렬(PT: Perspective Transform)은 실제 거리 좌표계에서 좌표(X,Y)를 영상 좌표계의 좌표(u', v')로 변환하는 행렬이다. 행렬(PT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.

다음으로 초기 차선 검출 모듈(220)은 차선 검출 대상 영역 내에서 차선 후보점을 추출한다(S3420). 도 6에 예시한 것과 같이 좌표(u₀, v₀)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지는 차선 후보점 템플릿(610, 620)을 이용하여 차선 후보점을 추출한다. 차선 검출 대상 영역(630)에서 적분 영상과 차선 후보점 템플릿(610, 620)에 대해 컨벌루션을 수행한 값이 미리 정해진 임계치 이상인 경우 해당 좌표를 차선 후보점(u₀, v₀)으로 추출할 수 있다.

차선 후보점 템플릿을 나타내는 스텝 함수는 다음 수학식 2와 같이 표현될 수 있다.

여기서, f_L(u)는 좌측 차선 후보점 템플릿(610)이고, f_R(u)는 우측 차선 후보점 템플릿(620)을 나타낸다.

이하에서 차선 후보점 추출에 대해 보다 자세히 설명한다.

먼저 초기 차선 검출 모듈(220)은 차선 후보점 템플릿(610, 620)의 폭(N)을 계산한다. 차선 후보점 템플릿(610, 620)의 폭(N)은 도로에 페인팅된 차선의 폭과 대응되게 설정될 수 있다. 일반적으로 도로에 페인팅된 차선 하나의 폭은 20cm이므로 다음 수학식 3을 이용하면 폭(N)을 구할 수 있다.

여기서, X', Y'는 실제거리 좌표계에서의 좌표이고, s는 원근 투영비를 나타내며, (u,v)는 영상 좌표계에서의 좌표이며, u'는 원근 투영 적용 전의 영상 좌표계에서의 u 좌표이고, v'는 원근 투영 적용 전의 영상 좌표계에서의 v 좌표이며, 행렬(IPT: Inverse Perspective Transform)은 영상 좌표계에서의 좌표(u, v)를 실제 거리 좌표계에서의 좌표(X', Y')로 변환하는 행렬이다. 행렬(IPT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.

영상에서 차선의 폭은 차량에서 멀어질수록 좁아지므로 v 값에 대한 함수로 계산될 수 있다. 먼저 좌표(0, v)에 대해 대응하는 실제 거리 좌표계에서의 좌표(X, Y)를 구하고, 좌표(X, Y)로부터 X축으로 20cm 이동한 좌표(X+0.2, Y)를 구한다. 그리고 좌표(X, Y)와 좌표(X+0.2, Y)를 다시 영상 좌표계로 변환한 후 좌표(u, v)와 좌표(u2, v2)의 u 축으로의 거리(u2-u)로 폭(N)을 구할 수 있다.

차선 후보점 템플릿(610, 620)의 폭(N)이 구해지면, 다음으로 초기 차선 검출 모듈(220)은 차선 후보점 템플릿(610, 620)과 차량 전방 영상의 컨벌루션을 행하여 차선 후보점을 추출한다. 차선 후보점 템플릿(610, 620)과 차량 전방 영상의 컨벌루션은 아래 수학식 4를 이용하여 수행할 수 있다.

여기서, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿(610)과 적분 영상의 컨벌루션 값이고, conv_right는 우측 차선 후보점 템플릿(610)과 적분 영상의 컨벌루션 값이다. 양 컨벌루션 값은 도로 부분과 차선 부분의 평균 밝기 차이를 의미한다. 따라서 이 두 값이 모두 임계치 이상인 좌표 (u,v)를 차선 후보점으로 선택한다. 한편 임계치 이상을 만족하는 차선 후보점들이 서로 이웃한 픽셀(pixel)에서 매우 많이 검출되는데, 가까운 거리에 있는 차선 후보점들 중에서 임계치가 가장 높은 후보점을 대표값으로 선택한다. 여기서 가까운 거리의 기준은 가로방향으로 차선의 폭(N)을 사용할 수 있다. 한편, 차량 전방 영상에서 일정 영역이 차량 영역으로 검출된 정보가 있는 경우, 차량 검출 영역 안에 있는 차선 후보점들은 차량에 가려져 있는 잘못된 후보점일 수 있기 때문에 차선 후보점에서 제거한다. 차량 전방 영상에서 차량 영역을 검출하는 방법은 당업자에게 이미 공지된 방법이 이용될 수 있으며, 기타 다양한 방법이 이용될 수 있다.

다음으로 초기 차선 검출 모듈(220)은 단계(S3423)에서 얻어진 차선 후보점을 클러스터링한다(S3430). 영상 좌표계에서 차선 후보점 사이의 거리에 기반하여 클러스터링할 수 있는데, 차선 후보점 간의 거리가 미리 정해진 기준(예컨대 6 픽셀 등)이하일 때 동일한 클러스터로 정의한다. 한편, 동일 클러스터에 속한 후보점의 개수가 미리 정해진 개수(예컨대 5개) 미만인 것은 노이즈로 간주하여 제외할 수 있다. 차선 후보점에 대한 클러스터링 결과로 차선 또는 기타 차선과 비슷한 표식에 대한 차선 후보 클러스터를 얻을 수 있다.

다음으로, 초기 차선 검출 모듈(220)은 추출된 차선 후보 클러스터에 대하여 차선 방정식을 계산한다(S3440). 초기 차선 검출을 위한 각 클러스터의 차선 방정식은 실제 거리 좌표계에서 X에 대한 Y의 1차 방정식으로 계산할 수 있다. 즉 'X = a₁Y+a₀' 로 나타낼 수 있다. 이를 기초로 초기 차선 방정식을 구하는 방법을 보다 자세히 설명한다.

먼저 영상 좌표계에서 차선 후보점의 좌표(u, v)를 실제 거리 좌표계에서 좌표(X, Y)로 행렬(IPT)을 이용하여 변환한다. 다음으로 실제 거리 좌표계로 변환된 복수 개의 후보점 집합{(X₁, Y₁), (X₂, Y₂) …, (X_n, Y_n)}으로 이루어진 각 클러스터에 대한 1차 차선 방정식을 구한다. 최소자승법(LS: least squares method)을 이용하여 아래 수학식 5에 의해 구할 수 있다.

이렇게 각 차선 후보 클러스터에 대해 계산된 차선 방정식으로부터 다음의 차선 쌍 만족 요건을 충족하는 클러스터 쌍을 초기 검출된 차선 쌍으로 선택한다(S3450). 한편 실시예에 따라서 하기 5개의 차선 쌍 만족 요건 중 일부를 생략하거나 일부를 추가로 할 수 있음은 물론이다.

조건 1) 실제 거리 좌표계에서 3 m ~ 10 m 사이의 차선 후보점 개수가 10 개 이상인 차선 쌍

조건 2) 5 m 지점에서 두 차선 사이의 거리가 2.2 m ~ 3.0 m 영역에 있는 차선 쌍

조건 3) 실제 거리 좌표계에서 두 차선의 기울기 차이가 2°이하

조건 4) 조건 1)~3) 을 만족하는 차선 쌍이 여럿 있을 경우, 조건 2)의 차선 사이 거리가 가장 작은 쌍을 선택

조건 5) 선택된 차선 쌍에서 5 m 지점에서의 X 좌표가 큰 것이 오른쪽 차선, 작은 것이 왼쪽 차선

단계(S3450)에서 차선 쌍 검출이 실패한 경우, 제어 모듈(270)은 현재 입력 영상에 차선이 없는 것으로 간주하고, 다음 입력 영상에서 초기 차선 검출 동작이 수행되도록 제어한다.

한편 단계(S3450)에서 차선 쌍 검출에 성공한 경우, 초기 차선 검출 모듈(220)은 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환한다(S3460). 영상 좌표계에서의 차선 방정식으로 변환하는 이유는 다음과 같다. 이전 차선 정보가 있는 경우 차선 추적 모듈(230)을 이용하여 차선을 추적하는 동작을 수행하게 되는데, 차선 추적은 계산 상의 효율을 위해 영상 좌표계에서 이루어지기 때문이다. 실제 거리 좌표계와 영상 좌표계 사이에서의 차선 방정식 변환은 두 좌표계 간의 변환이 비선형이므로 방정식 자체를 변환할 수 없고, 차선 위에서 샘플링(sampling)된 점들을 영상 좌표계로 변환하여 다시 방정식의 계수를 찾아내는 방법으로 이루어질 수 있다.

영상 좌표계에서의 차선 방정식은 도 7에 나타낸 것과 같이 영상의 u 좌표에 대한 v 좌표의 쌍곡선(hyperbolar) 방정식이다. 이 방정식은 실제 좌표계에서의 2차 방정식에 대응되는 것으로, 차선의 곡률을 나타내는 계수 k, 왼쪽 차선의 점근선 기울기 b_L, 오른쪽 차선의 점근선 기울기 b_K, 두 점근선이 만나는 소실점의 좌표(c, h)로 표현된다. 좌표계 변환을 위해 실제 거리 좌표계에서 구해진 1차 차선 방정식에 대하여 3m ~ 30m 사이에서 1m 간격으로 차선 위의 점을 샘플링(sampling)하고 행렬(PT)을 이용하여 각 점들을 영상 좌표로 변환한다. 그리고 소실점의 v 좌표인 h 값은 행렬(PT)을 이용하여 아래 수학식 6과 같이 실제 좌표에서 Y가 무한대일 때 대응 값으로 구한다.

다음으로는 샘플링된 좌우 차선 위의 점

에 대하여 아래의 수학식 7을 이용하여 최소 자승법을 통해 쌍곡선 방정식의 계수를 구한다.

다시 도 3으로 돌아가서 이전 차선 정보가 있는 경우(S330-Y), 제어 모듈(260)은 차선 추적 모듈(230)은 제어하여 이전 차선 방정식을 기초로 새로운 차선 방정식을 추적한다(S350).

도 8은 도 3의 차선 방정식 추적 단계를 보다 자세히 나타낸 흐름도이다.

도 8을 참고하면, 먼저 차선 추적 모듈(230)은 이전 차선 정보가 있는 경우 이전의 차선 위치에서 관심 영역(Region of Interest)을 설정하고(S3510), 관심 영역 내에서 차선 후보점을 추출한다(S3520). 관심 영역은 미리 정해진 기준에 따라 설정될 수 있다. 예컨대 이전 차선 방정식 상에 위치하는 점에서 좌우로 60cm 범위 내로 설정될 수 있으며 이는 연산속도, 정확도 등을 고려하여 사용자에 의해 적절하게 설정될 수 있다. 관심 영역 내에서 차선 후보점을 추출하는 방법은 초기 차선 추출에서와 같이 차선 후보점 템플릿을 이용할 수 있다. 한편 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하도록 구현할 수 있다. 이렇게 하면 두 갈래로 차선이 갈라질 때, 갈라져 나오는 새로운 차선 위의 후보점을 선택하지 않고 원래 차선 위의 후보점을 선택할 수 있기 때문에 관심 영역 내에서 두 갈래로 갈라지는 차선이 있을 경우에도 현재 추적되는 차선을 따라 지속적인 추적이 가능하다.

다음으로 차선 추적 모듈(230)은 단계(S3510)에서 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택한다(S3530). 보다 자세하게는 RANSAC 알고리즘은 모델 피팅(model fitting)에서 아웃라이어(outlier)를 효과적으로 제거하는 방법인데, 추출된 좌우 차선 후보점 각각에 대하여 차선 쌍곡선(hyperbolar) 방정식을 피팅 모델(fitting model)로 하여 인라이어(inlier)만 선택한다. 이때, RANSAC 알고리즘에서 사용된 인라이어(inlier) 임계치는 차선 하나의 폭인 20cm(행렬(PT)을 이용하여 영상 좌표에서의 거리로 환산해야 함)가 이용될 수 있으며, 반복 횟수는 미리 설정될 수 있다. 예컨대 반복 횟수를 시스템 부하 등을 고려하여 100번으로 설정할 수 있다. 아래는 RANSAC 알고리즘으로 유효 차선 후보점에 해당하는 인라이너(inlier)를 선택하는 과정이다.

과정 1) 추출된 왼쪽 차선 후보점에서 3개의 서로 다른 점을 무작위로 선택한다.

과정 2) 선택된 차선 후보점으로 최소 자승 에러(least squares error)를 가지는 왼쪽 차선 방정식 계수(k, b _L , c)를 구한다.

과정3) 계산된 차선 방정식으로부터 u 좌표의 거리 차이가 20cm 이하인 점들을 인라이너(inlier)로 선택한다.

과정4) 인라이너(inlier)의 개수가 이전 결과보다 많으면 인라이너(inlier)를 저장하고, 과정 1) ~ 3) 을 반복한다. 과정 1) ~ 3) 을 미리 정해진 횟수만큼 반복했거나, 인라이너(inlier)의 개수가 후보점 전체와 같아지면 반복을 중단하고 그 때까지 선택된 인라이너(inlier)를 유효 차선 후보점으로 선택한다.

과정 5) 추출된 오른쪽 차선 후보점에 대해서도 과정 1) ~ 4) 를 반복하여, 유효 차선 후보점을 선택한다.

다음으로 차선 추적 모듈(230)은 RANSAC 알고리즘을 통해 선별된 유효 차선 후보점을 측정값(measurement)으로 하여 칼만 필터를 적용함으로써 새로운 차선 방정식으로 업데이트한다(S3540). 한편 왼쪽 또는 오른쪽 관심영역에서 선택된 유효 차선 후보점의 개수가 10개 미만이면 그 관심영역의 후보점은 측정값(measurement)에 포함하지 않는다. 만약 왼쪽 또는 오른쪽의 관심영역 모두 유효 차선 후보점의 개수가 10개 미만이면 업데이트(update) 과정을 수행하지 않고 차선 방정식이 없다고 처리할 수 있다. 업데이트 과정을 수행하지 않는 유효 차선 후보점의 개수는 본 실시예에서는 10개로 설정하였으나 반드시 이에 한정되는 것은 아니며, 정확도와 트레이드 오프되는 관계가 있으므로, 실시예에 따라 요구되는 정확도에 따라 가감하여 적절한 숫자로 조정 가능하다.

이와 같이 차선 후보점에 대해 RANSAC 알고리즘을 사용하여 관심 영역 내의 차선 후보점만을 새로운 차선을 찾는 데에 이용하면, 도로상의 표지로 인한 영향을 배제할 수 있고, 매우 빠른 연산이 가능하다. 한편 도로 주행시에 있는 진동과 차선의 일시적인 끊어짐, 조명 변화 등으로 인해 차선 후보점이 관심 영역 내에서 존재하지 않을 경우가 있다. 따라서 이런 경우를 견디기 위한 방법으로, 가우션 잡음(Gaussian noise)에 강인하며 비선형 방정식을 추적할 수 있는 확장 칼만 필터(Extended Kalman Filtering:EKF) 방법을 사용하여 차선을 추적하는 것이 바람직하다.

다음으로 차선 추적 모듈(230)은 업데이트 된 차선 방정식에 대해 차선 변경 및 소실점 변경을 수행한다(S3550). 차선 변경은 좌측 이웃 차선으로 변경하는 경우와 우측 이웃 차선으로 변경하는 경우 두 가지로 나눌 수 있다. 이하에서 업데이트된 차선 쌍은 칼만 필터를 이용하여 단계(S3530)에서 업데이트된 차선 방정식에 의해 표현되는 차선 쌍을 의미하고, 새로운 차선 쌍은 차선 변경 및 소실점 변경을 적용하여 최종적으로 추적된 차선 쌍을 의미한다.

좌측 이웃 차선으로 변경하는 경우는, 업데이트된 차선 쌍에서 우측 차선의 기울기(b_R)가 -0.2 보다 작은 경우로 정의한다. 이 경우, 업데이트된 차선 쌍의 우측 차선 방정식(Line_R)을 새로운 차선 쌍의 좌측 차선 방정식(Line_L')으로 변경하고, u 축을 기준으로 폭 +

만큼 평행 이동하여 새로운 차선 쌍의 우측 차선 방정식을 다시 설정한다. 여기서 +

은 실제 거리 좌표계에서 차선 폭(예컨대 3.5m)을 영상 좌표계로 변환한 값이다.

한편 우측 이웃 차선으로 변경하는 경우는, 업데이트된 차선 쌍에서 좌측 차선의 기울기(b_L)가 0.2 보다 큰 경우로 정의한다. 이 경우, 업데이트된 차선 쌍의 좌측 차선 방정식(Line_L)을 새로운 차선 쌍의 우측 차선 방정식(Line_R')으로 간주하고, 그에 대해 폭 -

만큼 평행 이동하여 새로운 차선 쌍의 좌측 차선 방정식을 다시 설정한다. 아래 수학식 8은 이러한 차선 정보 변경을 나타낸 것이다.

한편 업데이트된 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 최소값보다 작은 경우 최소값으로 변경한다. 이렇게 소실점을 변경하는 이유는 차선 추적 과정에서 소실점이 발산하는 것을 방지하기 위해서다. 예를 들어 소실점의 가능 범위를 최대값(v_80m)과 최소값(v_30m)으로 설정한 경우 업데이트된 소실점이 최대값(v_80m)과 최소값(v_30m) 범위 내면 해당 소실점을 그대로 사용하고, 최대값(v_80m)보다 크면 소실점을 최대값(v_80m)으로 변경하고, 최소값(v_30m)보다 작으면 최소값(v_30m)으로 변경할 수 있다. 여기서 v_80m, v_30m는 각각 실제 거리 좌표계에서 차량으로부터 전방 80m, 30m에 해당하는 Y 좌표를 영상 거리 좌표계로 변환했을 때 그에 대응하는 v 좌표값이다.

차선 추적이 완료되면, 차선 종류 인식 모듈(240)은 차선의 점선, 실선 여부와 차선 곡률을 계산할 수 있다(S360).

차선의 점선, 실선 인식은 다음과 같이 이루어질 수 있다. 차량 전방 영상의 차선 방정식에서 차량 전방 5m ~ 20m에 해당하는 차선 위의 픽셀(pixel)값과 주위 픽셀값을 이용하여 실선인지 점선인지를 인식한다. 도 9와 같이 각 차선 위에서 미리 정해진 간격(예컨대 1m 등)으로 샘플링된 점(point)을 중심으로 좌우 20 픽셀로 G 채널 밝기(intensity)를 스캔(scan)하고, 그 중에서 최대값과 최소값의 차이가 미리 정해진 임계치 이상인 점은 차선 위의 점, 임계치 이하인 점은 차선이 끊어진 도로 영역의 점으로 간주한다. 차량 전방 5m ~ 20m에 해당하는 전체 점의 개수에 대하여 차선 위의 점의 개수 비율을 계산하고, 이 값이 0.9 이상이면 실선, 0.9 이하이면 점선으로 판단할 수 있다. 본 실시예에서는 차량 전방 5m ~ 20m 에 해당하는 차선에 대해 차선 위의 점의 개수 비율이 0.9 이상인 경우를 기준으로 점선, 실선 여부를 판단하였으나, 실시예에 따라 차량 전방의 범위와 점의 개수 비율을 다르게 설정될 수 있다.

차선의 곡률 반경은 검출된 차선의 15 m ~ 30 m 사이의 차선에 대한 곡률을 계산할 수 있다. 도 10은 차선 곡률을 구하는 방법을 설명하기 위해 제공되는 도면이다. 도 10을 참고하면, 곡률 반경은 먼저 곡률 기준 위치인 차선의 15 m 지점과 22.5 m, 30 m 지점을 행렬(IPT)과 영상 좌표계에서의 차선 방정식을 이용하여 계산할 수 있다. 그 다음으로 차선의 15 m 지점과 22.5 m 지점을 잇는 선분에 수직인 직선과, 22.5 m와 30 m 지점을 잇는 선분에 수직인 직선과의 교점을 곡률 중심으로 하고, 22.5 m 지점과 곡률 중심 사이의 거리를 곡률 반경으로 계산할 수 있다.

한편 차선색 인식 모듈(250)은 차선의 색상을 인식할 수 있다(S370). 도 11은 본 발명에 따른 차선색 인식 동작의 흐름도이고, 도 12는 차선색 인식 동작을 설명하기 위해 제공되는 도면이다.

먼저 차선 위의 점 및 도로 영역을 샘플링(sampling)하여 색 평균을 구한다(S3710). 현재 검출 또는 추적된 차량의 전방 5 m ~ 20 m 사이의 차선에 대하여 차선 종류 인식과정에서와 동일한 방법으로 미리 정해진 간격으로 샘플링된 점(point)을 중심으로 적절한 크기의 사각형 영역을 선택하여 차선 색 평균을 구한다. 그리고 도 12에 예시한 것과 같이 차량 전방 5m 영역에 대해 차선과 10 픽셀(pixel) 떨어진 점을 중심으로 하는 미리 정해진 크기(예컨대 20×20 픽셀)의 도로 영역을 이용하여 도로 색 평균을 구한다. 그리고 차선 색과 도로 색을 정규화(normalize)하여 신경망 입력이 되도록 합친다. 정규화 방법은 아래 수학식 9와 같다.

여기서, (R_L, B_L, G_L)은 차선 위의 점의 색상 값이고, (R_R, B_R, G_R)은 도로 영역의 평균 색상 값이다.

다음으로 학습된 신경망으로 색 인식을 수행한다(S3730). 도 13은 신경망을 이용한 색 인식 과정을 설명하기 위해 제공되는 도면이다. 신경망은 도 13에서와 같이 입력층-은닉층-출력층의 '4-5-3'의 구조로 되어 있다. 신경망의 입력은 4차원 벡터인데, 차선 색에 대한 정규화된 B, G 채널 값과 차선 색에 대응되는 도로 색에 대한 B, G 채널 값으로 구성된다. 차선 색만을 입력으로 사용하지 않고 도로 색을 추가하는 것은 다양한 조명에 따른 비선형 색변환을 신경망이 학습할 수 있도록 하기 위함이다. 신경망의 출력은 3차원 바이폴라(bipolar) 벡터인데, 흰색 차선의 경우 [1 -1 -1], 노란색 차선의 경우 [-1 1 -1], 파란색 차선의 경우 [-1 -1 1] 을 출력한다. 물론 각 색상의 차선 별로 출력되는 3차원 바이폴라 벡터를 다른 값으로 설정할 수도 있다. 한편 신경망을 학습하기 위해서는 다양한 조명상황에서 얻은 차선 색과 도로 색의 데이터가 필요하다. 차선 색 및 도로 색 학습데이터는 도 12와 같이 주광, 터널, 역광, 푸른색 화이트밸런스 상황에서 도로 색과 차선 색을 샘플링하여 구성할 수 있다. 도로 색은 차선과 가까운 위치의 도로 영역을 적당한 크기의 사각형으로 추출한 뒤 RGB 각 채널의 평균 값을 구한다. 이 값이 현재 영상의 조명 상태를 대표하는 값이다. 그리고 차선 색은 차선 위를 적당한 크기의 사각형으로 추출한다. 입력은 차선 색의 각 픽셀의 정규화된 B, G 채널 값과 도로색의 정규화된 B, G 채널로 구성하고, 타겟 출력은 흰색, 노란색, 파란색에 대하여 각각 (1 -1 -1), (-1 1 -1), (-1 -1 1) 로 구성한다. 이때, 학습은 Levenberg-Marquart backpropagation 방법으로 학습할 수 있다. 이렇게 학습 된 신경망으로 차선 색을 인식하는 과정은 계산된 신경망 입력들에 대한 출력들을 얻고, 가장 많은 수의 출력을 얻은 색을 인식된 색으로 출력할 수 있다.

마지막으로 차선 이탈 경고 모듈(260)은 업데이트된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 차량의 차선 이탈 여부를 판단할 수 있다. 예컨대 차선 이탈 경고 모듈(260)은 새로 구해진 차선 방정식으로부터 차량 전방 3m에서 차선의 X 좌표를 계산하여 차선 이탈 여부를 판단하고 경고 동작을 수행한다(S380). 차선 이탈 여부 판단은 다음과 같이 수행될 수 있다. 전방 3m에서 왼쪽 차선의 계산된 X 좌표가 -50cm보다 큰 경우 왼쪽 차선 이탈 상황으로, 오른쪽 차선의 계산된 X 좌표가 50cm보다 작은 경우 오른쪽 차선 이탈 상황으로 인지할 수 있다. 물론 실시예에 따라 차선의 X 좌표를 계산하는 지점을 다르게 설정할 수 있고 이 경우 차선 이탈의 기준이 되는 X 좌표 값도 그에 맞추어 다르게 설정할 수 있다. 한편 차선 이탈 상황으로 인지된 경우, 차선 이탈 경고 모듈(260)은 스피커 또는 경고등 등의 출력수단(도시하지 않음)을 통해 차선 이탈 상황을 경고할 수 있다.

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차선 검출 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

1. 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계,
   이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계,
   상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계,
   상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고
   상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계
   를 포함하는 것을 특징으로 하는 차선 인식 방법.
2. 제 1 항에서,
   상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상인 것을 특징으로 하는 차선 인식 방법.
3. 제 2 항에서,
   이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계,
   상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계,
   상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고
   상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계
   를 포함하는 것을 특징으로 하는 차선 인식 방법.
4. 제 3 항에서,
   상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택하는 것을 특징으로 하는 차선 인식 방법.
5. 제 3 항에서,
   상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며,
   상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식
   

   

   
   을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출하는 것을 특징으로 하는 차선 인식 방법.
6. 제 3 항에서,
   상기 업데이트 된 차선 방정식을 수학식
   

   

   
   

   

   
   에 따라 새로운 차선 방정식으로 변경하되, b_R은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, b_L은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, Line_L', Line_R'은 새로운 좌우 차선 방정식이고, Line_L, Line_R은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식인 것을 특징으로 하는 차선 인식 방법.
7. 제 3 항에서,
   상기 업데이트 된 차선 방정식의 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경하는 것을 특징으로 하는 차선 인식 방법.
8. 제 3 항에서,
   상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 것을 특징으로 하는 차선 인식 방법.
9. 제 3 항에서,
   상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식하는 것을 특징으로 하는 차선 인식 방법.
10. 제 3 항에서,
    상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하는 것을 특징으로 하는 차선 인식 방법.
11. 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 전처리 영상 모듈, 그리고
    이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하고, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하며, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하고, 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 초기 차선 검출 모듈
    을 포함하는 것을 특징으로 하는 차선 인식 시스템.
12. 제 11 항에서,
    상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상인 것을 특징으로 하는 차선 인식 시스템.
13. 제 12 항에서,
    이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하고, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하며, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하고, 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 차선 추적 모듈을 포함하는 것을 특징으로 하는 차선 인식 시스템.
14. 제 13 항에서,
    상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택하는 것을 특징으로 하는 차선 인식 시스템.
15. 제 13 항에서,
    상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며,
    상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식
    

    

    
    을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출하는 것을 특징으로 하는 차선 인식 시스템.
16. 제 13 항에서,
    상기 업데이트 된 차선 방정식을 수학식
    

    

    
    

    

    
    에 따라 새로운 차선 방정식으로 변경하되, b_R은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, b_L은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, Line_L', Line_R'은 새로운 좌우 차선 방정식이고, Line_L, Line_R은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식인 것을 특징으로 하는 차선 인식 시스템.
17. 제 13 항에서,
    상기 업데이트 된 차선 방정식의 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경하는 것을 특징으로 하는 차선 인식 시스템.
18. 제 13 항에서,
    상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 차선 종류 인식 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.
19. 제 13 항에서,
    상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식하는 차선 색 인식 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.
20. 제 13 항에서,
    상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하고 경고하는 차선 이탈 경고 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.

Images