KR20100097907A - 차선과 도로영역정보를 이용한 전방차량 영역의 추출기법 - Google Patents

Abstract

본 발명은 허프변환이 갖는 문제점을 해결하고 복잡한 도로 영상에서 차량 검출의 효율성을 높이기 위해 체인코드를 이용한 차선의 검출로부터 도로 영역을 찾아 차량이 존재하는 차량 영역을 추출하는 기법이다.

체인코드, 허프변환, 차선 검출, 도로 영역, BDF

Description

차선과 도로영역정보를 이용한 전방차량 영역의 추출기법{A Scheme of Extracting Forward Vehicle Area Using the Acquired Land and Road Area Information}

정보통신

지능형 자동차를 위한 연구는 무인자동차뿐만 아니라 안전운전을 보장하기 위한 목적으로 국내외적으로 매우 활발하게 진행되고 있다. 최근 자동차 안전과 사고예방의 개선을 위한 연구들이 자동차 제조업자들을 비롯해 정부 및 대학 연구소에서 활발하게 연구되고 있다. 기존 방법들은 운전 중에 다른 자동차와 충돌하거나 주행 차선에서 차량이 이탈하려고 예상될 때 현 상황을 운전자에게 인지해주는 교통사고의 예방에 중점을 두었다. 또한 도로상에 존재하는 차량과 사람을 포함하는 장애물을 구분하고 해당 목표물까지 거리정보도 제공하는 방법을 수행하였다.

　최근 연구에서는 시내도로와 같은 복잡한 환경에서 얻어진 도로 영상에서 차선, 차량, 장애물을 분리하는 영상처리 기법들이 많이 제안되고 있다. 즉, 영상 처리 기법으로부터 자동차 인식 및 추적, 충돌 회피에 관련된 기법들도 제안되고 있다. 레이저, 레이더, 초음파, 적외선 등과 같은 센서들을 복합적으로 사용하여 주변의 지형정보와 장애물을 검출하고 있다. 또한 CCD 카메라를 이용하여 획득된 도로 영상에서 차량과 장애물을 구분하는 방법들이 연구되고 있다. 영상을 이용한 기법들은 낮과 밤의 시간과 조명환경, 잡음에 큰 영향을 받기 때문에 장애물 검출에 어려움이 있어 외부 조명환경에 강인한 장애물 검출 기법이 필요하다.

　다양한 영상과 센서기반 무인 자동차의 개발이 활발하게 연구되면서 무인 자동차 대회인 DARPA Grand Challenge 대회가 성황리에 개최되고 있다. 2004년도에 처음 시작된 이 대회의 목표는 사막의 상황에서 지정된 코스를 자동차 스스로가 판단하여 주행하는 것이다. 2007 년도에는 모형의 도시환경을 구성하여 (DARPA Urban Challenge) 각 상황에 맞는 주행을 하도록 하였으며, 53개 팀이 참가하였다. 대회에 참가한 무인 자동차의 대부분은 레이더, 레이저, GPS, CCD 카메라 등과 같이 여러 분야의 센서를 복합적으로 사용하여 주변 환경을 인식한다. 여기서 CCD 카메라는 전방에 존재하는 차량을 검출하고 추적 및 회피하는 분야에 사용되고 있다.

차량 검출은 차량 주행 보조 시스템에서 안전한 주행을 위한 필수 정보이다. 이와 관련된 연구가 많은 관심을 받고 있으며 다양한 검출 알고리즘이 제안되고 있다. 차량에서 검출할 수 있는 가장 두드러지는 특징은 에지 영상에서 수직, 수평성분이다. Sun은 이러한 수직, 수평 성분에 대한 특징 검출을 위해 가버필터를 이용하는 기법을 제안하였으며 SVM과 같은 분류기를 사용하여 도로 영역에 실제 자동차가 존재하는지를 검증하였다. 복잡한 도로 영상에서 차량의 검출기의 효율성을 높 이기 위해 도로 영역 내에 차량들이 존재하는 차량 영역이 추출되어야 한다.　

도로 형태를 일반적인 직선과 곡선의 조합으로 가정하는 모델기반 차량 영역의 추출 기법은 잡음과 차선 정보의 손실에 강인하다. 하지만 특정한 형태의 도로에 초점을 맞추고 있기 때문에 임의 도로형태에서 차량 영역 검출에는 적합하지 않다. 위 문제를 해결하기 위해 직선, 곡선의 도로에 모두 적용이 가능한 B-Snake 기법을 이용한 차선의 검출로부터 차량 영역을 추출하는 기법이 제안되었다.

또한 Kang 은 도로와 차선이 가지는 색상과 넓이 정보 구별할 수 있는 특징 정보를 이용하여 차선을 검출하는 기법을 제안하였다. 탬플릿 매칭을 통해 차선후보를 선정하고 그 후보들 중에 가장 높은 값을 가지는 것에 대한 차선 모델을 통해 차선을 선정하였다.

　많은 연구들이 영상 내에서 직선성분을 검출하는 기법인 허프변환(Hough Transform)을 이용한 차선의 검출로부터 차량 영역을 추출하는 기법을 제안하고 있다. 허프 변환은 영상 내에서 직선으로 나열된 화소들을 검출하는데 효율적인 방법으로 알려져 있다. 이런 특징을 응용한 다양한 변형된 허프변환 방법들이 차량 영역을 찾는 연구에 사용되고 있다. Hua-jun은 허프 공간상으로의 변환을 이용한 소실점 추정에 관한 연구를 통해 차선을 검출한다. 일반적인 허프변환을 이용한 차량 영역의 추출은 도로 영상에서 배경 정보가 단순한 경우에 잘 적용된다. 시내도로와 같이 복잡하고 다양한 배경을 가지는 도로 영상에는 에지의 정보가 복잡하기 때문에 정확한 차선 검출이 힘들어 차량 영역을 추출하는데 어렵다.

일반적인 허프변환을 이용한 차량 영역의 추출은 도로 영상에서 배경 정보가 단순한 경우에 잘 적용된다. 시내도로와 같이 복잡하고 다양한 배경을 가지는 도로 영상에는 에지의 정보가 복잡하기 때문에 정확한 차선 검출이 힘들어 차량 영역을 추출하는데 어렵다. 이러한 복잡한 도로 영상에서 차량 검출의 효율성을 높이고자 한다.

복잡한 도로 영상에서 차량 검출의 효율성을 높이기 위해 체인코드를 이용한 차선의 검출로부터 도로 영역을 찾아 차량이 존재하는 차량 영역을 추출하는 기법이다.

상기 과제를 달성하기 위한, 본 발명은 (a)복잡한 도로 영상에서 정확한 차선을 검출하기 위해 에지 체인코드를 이용하여 화소들간의 연결성을 고려하는 단계; (b) 주행 차량의 방향과 일치하는 차선을 검출한 후, 중앙의 차선으로부터 차도의 폭과 차선의 소실점을 찾아 인접하는 차도를 검출하는 단계; (c) 주행 차선과 인접 차선을 포함하는 도로 영역 내에 차량의 에지 정보를 이용하여 차량이 존재하는 차량 영역을 추출하는 단계를 포함한다.

차선과 도로 영역 정보를 이용한 차량 영역의 추출 기법은 복잡한 배경을 갖는 도로 영상에 차량의 검출율을 높이고 추출된 차량 영역에 한정할 수 있기 때문에 차량을 검출하는데 매우 효율적이다.

본 발명에 따른 차선과 도로영역정보를 이용한 전방차량 영역의 추출기법은 (a)복잡한 도로 영상에서 정확한 차선을 검출하기 위해 에지 체인코드를 이용하여 화소들간의 연결성을 고려하는 단계; (b) 주행 차량의 방향과 일치하는 차선을 검출한 후, 중앙의 차선으로부터 차도의 폭과 차선의 소실점을 찾아 인접하는 차도를 검출하는 단계; (c) 주행 차선과 인접 차선을 포함하는 도로 영역 내에 차량의 에지 정보를 이용하여 차량이 존재하는 차량 영역을 추출하는 단계를 포함한다.

도 1은 상기 (a)단계의 에지 도로 영상으로부터 체인코드를 적용한 연결 화소들의 방향성을 고려하는 차선 검출기법에 관한 흐름도를 보여준다. 복잡한 도로 영상에서 정확한 차선을 검출하기 위해 에지 체인코드를 이용하여 화소들간의 연결성을 고려하기 위해 8방향 체인코드를 사용한다. 체인코드는 물체의 외곽선 성분의 연결성을 이용하여 물체의 형태를 알아내는데 유용한 방법이다. 이러한 체인코드는 연결된 화소들의 방향에 대한 정보를 담고 있기 때문에 직선 형태와 같이 일정한 방향으로 연결되어 있는 특징들에 대한 검출이 용이하다. 또한 시작점을 기준으로 하여 주축 진행방향과 다른 성분에 대한 제거가 가능하다는 장점을 가지고 있다. 따라서 영상 내에서 존재하는 복잡한 에지 성분에서 특정 방향에 따른 직선 성분들 의 분리가 가능하다.

영상 내에서 직선을 일정한 방향으로 연속적으로 이어져 있는 화소들의 집합을 고려해 볼 때, 도로영상에서 차선은 도2와 같이 소실점을 향하는 방향으로 이어져 있는 직선들의 집합으로 볼 수 있다. 도로차선의 검출을 위해서 소실점으로 향하는 방향을 갖는 직선 성분들을 에지 도로 영상으로부터 분리한다.

도로의 영상에서 나타나는 차선의 성분은 일반적으로 소실점을 향하는 직선으로 표현된다. 자동차의 수평 중심에 장착된 카메라로부터 포착된 도로 영상의 소실점은 수평 중심에서 놓이고 도로 차선은 소실점을 향한다. 도로 영상에서 차선을 쉽게 찾기 위해 도 3처럼 영상의 수평 중심을 기준으로 도로 영상을 좌우로 양분한다. 나뉜 각 영역에서 중심을 향하는 연결 화소들의 집합으로부터 획득된 직선들은 도로차선의 후보들이다. 도 9 는 실제의 도로 영상에 대한 도로의 차선 성분 및 각각의 중심 방향 성분을 이용하여 소실점을 구한 결과를 보여준다. 도 4(13)는 에지 영상의 양쪽 영역에서 중심 방향 성분이 체인 코드 값을 가지는 직선 성분에 대한 검출 결과를 보여준다. 도 4(14)는 도4(13)에서 얻어진 차선 후보들 중에서 잡음 성분을 제거하고 남은 도로 차선들이 소실점을 향하는 것을 보여준다.

도로 영상에서 차선정보의 획득은 진행 차량이 주행 방향을 결정할 수 있는 정보뿐만 아니라 차량이 주행 중에 차량들을 빠르게 검출함으로써 충돌을 회피하는 경고신호를 제공한다. 도로 영상의 전체를 검색하지 않고 주행 차도에 인접하는 차량들을 검출하는 시간을 단축하기 위해 중심 차도 및 인접 차도를 포함하는 도로영역을 분리하고, 도로 영역에서 전방 차량들을 포함하는 차량 영역을 찾는다. 도 5 는 전방 차량의 검출을 위한 차량 영역을 찾는 기법의 흐름도를 보여준다.

본 발명에서는 도로가 여러 차선을 갖는 도로 영상에서　도로 영역을 진행 차량의 중심 차도를 비롯하여 좌우 인접 차도를 포함하는 영역으로 정의한다. 주행 차량의 중심 차도는 앞 장에서 얻어진 소실점과 도로 영상의 수평 중심에 인접한 차선을 연결하는 영역이다. 좌우 차도는 중심 차도의 넓이를 보정하여 도 6(11)처럼 좌우로 연장함으로서 구해진다. 본 발명에서 정의한 도로영역은 도 6(11)에서 보여 주듯이 중심차도(C)와 중심차도의 넓이로부터 계산된 좌우 인도 차도(L,R)를 포함한다. 검출한 차선들의 정보와 소실점의 정보는 주행 차량의 도로 영역을 찾을 수 있는 많은 실마리를 제공한다. 도로 차선들을 연장하여 얻어진 소실점의 위치와 영상의 수평 중심에 인접한 양쪽의 차선 정보는 주행 차량의 중심 차도를 결정한다.

차량이 중심 차도에서 주행하는 상황에서 전방 차량과 충돌을 회피하기 위해서 도로 영역에서 실시간으로 전방 차량이 검출되어야 한다. 차량 검출기의 탐색 범위를 도로 영역 상에 차량이 존재할 것으로 예측되는 차량 영역으로 제한함으로써 실시간 전방 차량의 검출이 가능하다. 차량 영역을 도로 영역의 차도 내에 주행 차량에 가장 근접한 전방 차량이 차지는 영역으로 정의한다. 차량 영역의 폭은 차선 정보로부터 계산된 차도의 폭으로, 높이는 차량의 종류나 주행 차량과 거리에 따라 달라지기 때문에 차량 영역의 폭에 비례하는 크기로 설정하였다.

차량 영역을 찾기 위해 도로 영역을 구성하는 각 차도의 영역에 대해서 수평 에지 투영을 적용한다. 차량에서 가장 두드러지게 나타나는 수직, 수평성분을 이용하여 각 영역에서 나타나는 에지 성분 중에서 프로젝션 변화 성분의 누적이 강한 부분을 차량이 놓인 차량영역으로 결정한다. 수학식 1는 수평과 수직 방향에 대한 에지 성분의 프로젝션 관계식을 나타낸다.

차량이 도로에 접촉한 상태에서 주행하며, 전방 차량의 종류와 거리에 따라 차량 영역의 폭과 높이의 비가 결정되기 때문에 차량의 높이를 결정하기 쉽지 않다. 본 논문에서는 전방 차량의 검출을 놓치지 않기 위해 차량 영역의 높이를 차량 영역의 폭의 2/3크기로 정하였다

사전에 결정된 차량 영역은 차도에 놓인 전방 차량을 포함하는 대략적인 영역을 표현한다. 본 논문은 차도에 놓인 전방 차량의 검출을 위해 추출한 차량 영역의 효용성을 검증하기 위해 BDF(Bayesian Discriminating Features)을 이용한 차량 검출기를 사용하였다.

BDF 기법을 이용한 차량 검출기는 학습과정과 시험과정으로 구성된다. 학습과정에서 우선적으로 차량과 비차량 훈련 집합의 모든 입력영상(∈R ^mxn) 들에 대해서 사전 정의된 특징들을 추출하여 특징행렬을 구성한다. 본 논문의 BDF를 이용한 차량 검출기는 특징벡터의 구성을 위해 정규화한 그레이 스케일 영상(∈R ^mn), 1차원 Harr Wavelet 표현(∈R ^(m-1)n, R ^{m (n-1)}),수평/수직 프로젝션(∈R ^m, R ⁿ)의 특징들을 사용하였다. 수학식 2는 각각의 특징들을 정규화하여 구성한 특징벡터의 표현을 보여준다.

여기서 t는 전치 연산자이며

는 각각 특징들을 정규화한 그레이 영상, 수평/수직 1-D Harr Wavelet 표현, 수평/수직 프로젝션 특징이다. 입력 영상에 대한 특징벡터 는 3mn의 차원을 갖는다.

특징벡터들로부터 공분산 행렬을 구성하여 주성분 분석(PCA)을 수행한다. 각 입력 영상들을 고유공간으로 투영하여 가중치 벡터가 얻고, 최종적으로 차량과 비차량 클래스의 각각을 정규분포로 모델링한다. 수학식 3은 Bayesian 이론에 의한 차량 클래스와 비차량 클래스의 후행 확률 분포이다.

Bayesian Decision Rule에 따라 입력 특징벡터 가 차량 클래스에 속할 후행확률이 비차량 클래스에 속할 후행확률보다 큰 경우에 차량으로 이와 반대일 경우 비차량으로 판단한다(수학식 4).

시험과정에서는 테스트 영상이 입력되면 훈련과정과 동일하게 특징 추출 단계를 거치게 된다. 추출된 특징벡터는 훈련과정에서 주성분 분석을 통해서 구해진 변환 행렬을 통해서 고유공간으로 투영되어 가중치 벡터가 얻어진다. 마지막으로 각 클래스에 대한 확률적 통계 값을 계산하고 Bayesian Decision Rule을 이용하여 입력 영상이 자동차인지 비자동차인지를 결정하게 된다.

도 7는 주행 영상으로부터 도로영역과 차량을 얻는 과정을 보여준다. 도 7(12)는 주행 차량의 중심 차도를 보여주고 도 7(11,13)는 주행 차량의 도로영상에 대한 중심 차도와 좌우 차도를 포함한 도로 영역을 보여준다. 도 7(14)는 도로영역에서 차량을 검출한 결과를 보여준다.

도 1은 본 발명의 체인코드를 이용한 차선검출 기법의 흐름도이다.

도 2는 본 발명의 소실점 방향의 직선성분을 보여주는 그림이다.

도 3는 본 발명의 영상의 중심을 기준으로 양분하고 각 영역에서 중심을 향하는 주축 방향 성분을 획득하는 그림이다.

도 4는 본 발명의 도로 영상으로부터 도로 차선 및 소실점의 획득하는 과정을 보여주는 영상이다.

도 5는 본 발명의 전방 차량 검출을 위한 차량 영역의 추출의 흐름도를 보여준다.

도 6는 도로 영상에서 도로영역의 구분과 실시예의 영상이다.

도 7는 도로영역에서 전방차량의 차량영역 검출결과의 영상이다.

Claims (3)

1. 도로영역을 검출할 목적으로, 카메라 입력영상으로부터 체인코드를 이용하여 차선을 검출하는 기법.
2. 도로영역으로부터 차량의 좌우 차도를 찾을 목적으로, 중심 차선의 폭을 측정하여 좌우 차도를 검출하는 기법.
3. 진행하는 차량의 중앙 차도와 좌우 차도에 위치한 전방 차량의 검출로부터 차량영역의 효용성을 검증하기 위해 BDF(Bayesian Discriminating Features) 기법을 이용하는 방법.

Images