KR100990404B1 - 다차선 차량 검지 방법 - Google Patents

Abstract

본 발명에 따른 다차선 차량 검지 방법은 다차선의 도로를 촬영한 원 영상을 그보다 작은 크기의 서브샘플 영상으로 서브샘플링하고, 서브샘플 영상에서 차량을 검지하고 추적하는 제1단계와, 서브샘플 영상에서 검지된 차량의 번호판 위치를 추정하는 제2단계와, 번호판 위치가 추정되면 다음 프레임에서 차량 번호판이 나타날 영역을 추정하여 해당 영역의 관심 영역 영상을 추출하는 제3단계 및 추출된 관심영역 영상으로부터 차량 번호를 인식하는 제4단계를 구비한다. 따라서, 본 발명은 영상 촬영 트리거를 위한 차량검지기 없이 이미지 센서를 제어하여 다차선의 지점 및 구간 교통정보를 수집할 수 있도록 함으로써, 기존 시스템에 비하여 그 구성이 매우 간단하며, 설치 비용이 매우 절감되고, 미관 개선의 효과가 있다.

Description

다차선 차량 검지 방법{Method for detecting vehicle of lanes}

본 발명은 다차선 차량 검지 방법에 관한 것으로, 보다 상세하게는 루프나 레이저와 같은 차량 검지기를 사용하지 않고 차량을 검지하여 교통정보를 수집하는 동시에 차량번호를 인식할 수 있는 차량 검지 방법에 관한 것이다.

영상식 교통정보 수집 장치(Vehicle Detection System, VDS)는 노변에 카메라를 설치하고, 이를 통해 도로상의 지점 교통정보(교통량, 속도, 점유율)를 수집하는 장치이며, 차량번호 인식장치(Automatic Vehicle Identification, AVI)는 도로상의 각 차선마다 카메라를 설치하여 차량번호를 인식하고 두 지점간의 차량번호 정합을 통해 구간교통정보(여행시간, 구간속도)를 수집하는 장치이다.

종래에는 이러한 장치들이 각각 개별로 설치되었다. 일 예로 4차선 도로의 지점교통정보와 구간교통정보를 모두 수집하기 위해서는 하나의 교통정보 수집장치와 4개의 차량번호 인식장치가 필요하고, 차량번호 인식장치는 정확한 포커스 영역 내의 촬영을 위하여 차량검지장치(루프 검지기 또는 레이저 검지기)가 추가로 요구된다.

이러한 종래 시스템의 구성은 전체 비용을 증가시키고, 유지관리 및 미관상에도 악영향을 미친다.

본 발명은 다차선의 지점 및 구간교통정보를 하나의 이미지 센서만으로 수집할 수 있는 다차선 차량 검지 방법을 제공하는 데 그 목적이 있다.

본 발명에 따른 다차선 차량 검지 방법은 다차선의 도로를 촬영한 원 영상을 그보다 작은 크기의 서브샘플 영상으로 서브샘플링하고, 서브샘플 영상에서 차량을 검지하고 추적하는 제1단계와, 서브샘플 영상에서 검지된 차량의 번호판 위치를 추정하는 제2단계와, 번호판 위치가 추정되면 다음 프레임에서 차량 번호판이 나타날 영역을 추정하여 해당 영역의 관심 영역 영상을 추출하는 제3단계 및 추출된 관심영역 영상으로부터 차량 번호를 인식하는 제4단계를 구비한다.

상기 서브샘플 영상과 상기 관심영역 영상은 그 크기가 동일한 것이 바람직하다.

상기 제1단계는 이미지 센서를 사용하여 다차선의 도로를 촬영하되 상기 이미지 센서로부터의 신호 중에서 일정 간격으로 일부 신호만을 건너뛰면서 획득하여 이미지 센서로부터 얻을 수 있는 원 영상보다 작은 크기의 서브샘플 영상을 획득하는 단계와, 획득한 서브샘플 영상에서 차량을 검지하고 추적하는 단계를 포함하는 것이 바람직하다.

또한, 제1단계는 일정 프레임마다 반복하여 수행하는 것이 바람직하다.

또한, 제3단계는 차량이 검지된 경우에 제1단계를 수행한 프레임의 바로 뒤의 프레임부터 일정 수의 프레임에 대해서 수행하는 것이 바람직하다.

또한, 제2단계는 상기 서브샘플 영상에서 검지된 차량의 전면부 외곽면을 구하는 단계와, 상기 서브샘플 영상에서 세로축의 에지 성분을 구하는 단계와, 상기 구해진 세로축의 에지 성분에 대한 밀도를 구한 후, 구해진 밀도에 대한 이진화를 수행하는 단계 및 상기 이진화된 밀도와 상기 차량의 전면부 외곽면을 AND 연산하는 단계를 포함한다.

본 발명은 영상 촬영 트리거를 위한 차량검지기 없이 이미지 센서를 제어하여 다차선의 지점 및 구간 교통정보를 수집할 수 있도록 함으로써, 기존 시스템에 비하여 그 구성이 매우 간단하며, 설치 비용이 매우 절감되고, 미관 개선의 효과가 있다.

또한, 본 발명은 다차선 내 임의 위치의 차량을 인식할 수 있기 때문에 차선의 중간을 통행하는 차량의 인식이 가능한 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 다차선 차량 검지 시스템의 구성을 나타내는 블럭도이다.
도 2 및 도 3은 본 발명의 일 실시 예에 따라 하나의 이미지 센서를 제어하여 촬영한 서브샘플 영상 및 ROI 영상의 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따라 센서제어부에서 이미지 센서로 트리거 신호 및 모드 설정 변경 신호가 입력되는 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 다차선 차량 검지 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 다차선 차량 검지 방법에서 차량 번호판의 위치를 추정하는 과정을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 다차선 차량 검지 방법에서 차량 번호판의 위치를 추정하는 과정에서 사용되는 인테그랄 이미지(Intergral Image)를 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 다차선 차량 검지 방법에 관하여 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 다차선 차량 검지 시스템의 구성을 나타내는 블럭도이다.

도 1에 도시한 바와 같이, 본 발명에 따른 다차선 차량 검지 시스템(100)은 렌즈(101), 이미지센서(103), 영상 데이터 취득부(105), 영상 데이터 처리부(107), 센서 제어부(109) 및 LED 조명장치(111)를 포함한다.

이미지센서(103)는 렌즈(101)를 통과한 영상(빛의 형태)을 전기적인 신호로 변환한다. 이미지센서(103)는 보통 CCD 또는 CMOS와 같은 촬상 소자가 사용된다. 일반적으로, 이미지센서(103)의 촬영주기는 각 센서의 고유한 특징으로 대부분 클럭(clock)에 의해 정해진다. 즉, 이미지센서(103)가 처리할 수 있는 데이터 양은 정해져 있고, 이 데이터 양에 따라 촬영 주기가 정해지는 것이다.

이에 따라, 데이터 즉, 영상의 크기를 작게 하면 데이터의 양이 작아지므로 이미지센서(103)의 촬영주기를 높일 수 있다.

또한, 대부분의 이미지센서(103)들은 센서(103)상에 맺힌 영상 데이터를 리드아웃(read out)하는 방법으로, 이미지센서(103)에 맺힌 원 영상보다 작은 크기의 영상으로 스킵(skip)하면서 리드아웃(read out)하는 서브샘플모드(sub sample mode)와, 원 영상에서 특정 영역만을 리드아웃(read out)하는 ROI(Region Of Interest)모드를 갖추고 있다.

예를 들어, 이미지센서(103)에 맺힌 원 영상 데이터의 크기가 2000 × 2000 픽셀이라고 가정한다면, 서브샘플모드는 상기 2000 × 2000 픽셀의 원 영상 데이터에서 일정 간격으로 일부 픽셀만을 획득하여 500 × 500 픽셀로 원 영상 데이터의 크기보다는 작은 크기인 서브샘플 영상으로 리드아웃(read out)하는 것이고, ROI모드는 상기 2000 × 2000 픽셀의 원 영상 데이터에서 특정 영역 즉, 관심영역을 ROI 영상으로 리드아웃(read out)하는 것이다.

이때, ROI모드에 의해 리드아웃된 ROI 영상의 크기는 서브샘플모드에 의해 리드아웃된 서브샘플 영상의 크기와 같도록 하는 것이 바람직하다. 즉, 원 영상 데이터의 전체 영역 중 특정 영역만을 500 × 500 픽셀로 리드아웃(read out)하는 것이다.

이에 따라, 본 발명에서는 이미지센서(103)의 촬영주기를 높이기 위하여 먼저, 다차선의 도로를 촬영한 원 영상을 그보다 작은 크기의 서브샘플 영상으로 서브샘플링하고(S501), 이 서브샘플 영상을 이용하여 도로상에서의 차량의 검지 및 추적하여(S503) 지점 교통정보를 생성한다(S505). 이때, 상기 서브샘플 영상은 이미지 센서(103)로부터의 신호 중에서 일정 간격으로 일부 신호는 건너뛰고 일부 신호만을 획득하여 이미지 센서(103)에 맺힌 원 영상보다 작은 크기의 영상을 말한다.

상기 원 영상을 서브샘플링하여 서브샘플 영상을 얻고, 얻은 서브샘플 영상을 이용하여 차량을 검지 추적하는 과정에서 차량의 번호판 위치를 추정 및 예측(S507, S509)하여 차량의 번호판이 정해진 포커스 영역 내에 진입할 때(S511), ROI모드를 사용하여 차량 번호판 영역의 ROI 영상을 리드아웃하고(S513), 이 ROI 영상을 이용하여 차량 번호를 인식한다(S515).

영상 데이터 취득부(105)는 이미지센서(103)로부터 리드아웃된 영상 데이터 즉, 서브샘플 영상 및 ROI 영상을 취득하여 영상 데이터 처리부(107)에서 처리할 수 있는 형태로 변환한다.

영상 데이터 처리부(107)는 영상 데이터 취득부(105)로부터 변환된 서브샘플 영상을 받아 차량을 검지 및 추적하고, 차량의 번호판 위치를 예측하여 예측된 관심영역을 센서제어부(109)로 전송하고, 다시 영상 데이터 취득부(105)로부터 변환된 ROI 영상을 받아 차량 번호를 인식을 위한 처리를 한다.

센서제어부(109)는 이미지센서(103)로 일정 주기의 트리거 신호를 입력하여 이미지센서(103)가 일정 주기로 서브샘플 영상 또는 ROI 영상을 리드아웃(read out)하도록 제어한다.

즉, 도 4에 도시한 바와 같이, 센서제어부(109)는 이미지센서(103)로 실선 화살표로 표시된 것처럼 일정 주기마다 트리거 신호를 입력하고, 이미지센서(103)는 트리거 신호가 입력될 때마다 렌즈(101)를 통과하는 영상을 촬상하고, 또한, 센서제어부(109)는 도 4에서 점선 화살표로 표시된 것처럼 이미지센서(103)로 서브샘플 영상 또는 ROI 영상으로 리드아웃(read out)하라는 모드 변경 신호를 입력하여 이미지센서(103)로 하여금 입력되는 모드 변경 신호에 따라 센서(103)상에 맺힌 원 영상을 서프샘플 영상 또는 ROI 영상으로 리드아웃(read out)할 수 있도록 제어하는 것이다.

이때, 상기 트리거 신호의 주기는 영상 데이터 취득부(105)에서 이미지센서(103)로부터 영상을 취득하는데 필요한 시간과 이미지센서(103)의 리드아웃(read out) 모드를 변경하는데 필요한 시간을 합한 것 보다는 큰 것이 바람직하다. 또한, 이미지센서(103)는 모드를 빠르게 변환할 수 있도록 인터페이스 방식을 I2C 방식보다는 SPI(Serial Peripheral Interface) 나 패러럴 인터페이스(parallel interface)와 같은 고속 인터페이스를 구비하고 있는 것이 바람직하다.

영상 데이터 취득부(105)가 이미지센서(103)로부터 취득한 영상 데이터는 도 4와 같이, 다수의 영상 데이터를 포함하는 하나의 영상 그룹으로 그루핑(grouping)될 수 있고, 각각의 영상 그룹은 동일한 수의 영상 데이터를 갖는다. 이때, 모든 영상 데이터가 서브샘플 영상일 수도 있고, 서브샘플 영상은 1개, 나머지는 ROI 영상일 수도 있다.

다만, 각 영상 그룹의 첫 번째 영상은 항상 서브샘플 영상인 것이 바람직하다. 즉, 서브샘플 영상은 일정 프레임마다 반복적으로 리드아웃(read out)되는 것이다.

즉, 도 4에서 영상그룹 1은 서브샘플 영상만을 포함하고 있고, 영상그룹 2는 서브샘플 영상 1개, ROI 영상 3개를 포함하고 있다. 영상그룹 1과 같은 경우는 서브샘플 영상에서 차량이 검지 되지 않은 경우이고, 영상그룹 2와 같은 경우는 서브샘플 영상에서 차량이 검지된 경우이며, 영상그룹 2와 같은 경우 ROI 영상은 일정 수의 프레임을 획득하는 것이 바람직하다.

이때, 영상 데이터 처리부(107)에서는 영상그룹 1에서는 첫 번째 서브샘플 영상에 대하여만 처리하고, 이후 나머지 서브샘플 영상들은 더미(dummy)영상들로써 처리하지 않는다.

영상 데이터 처리부(107)에서는 상기 서브샘플 영상을 이용하여 다차선의 지점교통정보(예로써, 교통량, 속도, 점유율 등)를 수집하고, 서브샘플 영상에 차량 존재 시, 차량의 번호판 영역을 예측 및 추적하여 다음 프레임에서 ROI 영상을 취득할 관심영역 위치를 연산한다. 연산된 관심영역 위치를 센서제어부(109)로 전송하면, 센서제어부(109)는 차량 번호판의 위치가 적절한 포커스 영역 내의 원하는 부분에 도달할 것이 예측되는 프레임에서, 이미지센서(103)로 즉시 ROI모드로의 모드 변경 신호를 입력하고, 취득할 ROI 영역 위치에 대한 신호를 전송한다.

상기 모드 변경 신호를 입력받은 이미지센서(103)는 센서(103)상에 맺힌 원 영상에서 특정 영역 즉, 차량 번호판 영역을 ROI 영상으로 리드아웃(read out)하고, 영상 데이터 취득부(105)에서 이 ROI 영상을 취득하여 디지털 신호로 변환한 후 영상 데이터 처리부(107)로 전송하면, 영상 데이터 처리부(107)는 해당 신호를 처리하여 차량의 번호를 인식할 수 있다.

이때, ROI 영상의 크기는 서브샘플 영상의 크기와 동일한 것이 바람직하며, ROI 영역은 서브샘플 영상에서 검지된 차량 수에 따라 다르게 설정되는 것이 바람직하다. 즉, 도 2에 도시한 바와 같이, 서브샘플 영상(201)에서 1대의 차량이 지나가는 경우, 차량의 진행방향으로 다수의 ROI 영역들(AOI#1, AOI#2, AOI#3)을 지정하여 각각의 ROI 영상들(203 내지 207)을 취득하고, 도 3에 도시한 바와 같이, 서브샘플 영상(301)에서 2대의 차량이 간소한 차이로 지나가는 경우, 각 차량의 번호판 위치에 대하여 ROI 영역들을 지정하여 각 ROI 영상들(303 내지 307)을 취득한다.

만일, 동시에 각 차선으로 차량이 지나간다면, 도 3과 마찬가지로 각 차량의 번호판 위치에 대하여 ROI 영역들을 지정하고, 각각의 ROI 영상들을 취득할 수 있다.

이에 따라, 한 대의 차량이 지나가는 경우에는 한 대의 차량에 대하여 차량의 진행방향으로 다수의 ROI 영역을 설정하여 ROI 영상을 취득함으로써, 차량 번호에 대한 인식율을 보다 높일 수 있는 효과도 있을 수 있다.

본 발명에서 서브샘플 영상을 이용하여 차량 검지 및 추적하는 방법은 자사의 선행특허인 "이동 물체의 특징점을 이용하는 영상 검지 방법(출원번호 : 10-2008-0085000)"에 기재된 것처럼, 움직이는 물체의 특징점을 구하고, 각 특징점을 광류(Optical Flow) 추적방법을 통해 추적하며, 추적을 통해 얻어진 각 특징점의 이동특징으로부터 차량을 구분 추적함으로써 지점교통정보를 수집할 수 있다.

또한, 본 발명에서 차량 번호판의 위치를 추정하는 것은 정확한 영역의 ROI 영상을 얻기 위한 것으로, 차량 번호판의 위치를 찾고, 이 위치가 다음 영상 프레임에서는 어느 영역에 존재할지를 예측하여 그 영역을 ROI 영역으로 설정한다.

본 발명에서는 서브샘플 영상은 해상도가 원 영상보다 다소 낮기 때문에 차량번호판의 정확한 위치를 찾는 것은 불가능하고, 차량 번호판으로 여겨지는 부분을 추정하는 방법을 사용한다. 차량 번호판이 존재하는 차량의 전면부는 차량의 이동 방향 쪽의 외곽면이며, 이는 앞서 지점교통정보 수집을 위해 차량 검지 및 추적을 하는 과정에서 차량의 모델로부터 쉽게 구할 수 있다.

다음으로 세로축의 에지 성분을 다음의 마스크값(M)으로 콘볼루션(convolution)하여 구한다.

수식(1)

다음으로 세로축의 에지 성분에 대하여 다음과 같이 정의하는 밀도를 구한다.

수식(2)

여기서, N, M은 밀도를 구하는 커널(kernel)의 행과 열의 크기이며, I는 영상의 밝기이다. 이때, M > 3*N 정도로 가로축으로 긴 형태의 커널을 형성하는 것이 좋은 결과를 가질 수 있다.

밀도를 구하기 위해서는 인테그랄 이미지(Integral Image)를 이용하여 최적화를 수행한다. 인테그랄 이미지는 도 7과 같이, 입력영상의 밝기 값을 누적하는 테이블을 작성하였을 때, A, B, C, D점 내부에 해당하는 밝기값들의 합을 S라고 하였을 때, S = A - B - C + D로 정의되고, 이에 의해 커널 내부의 합을 구할 수 있다.

이렇게 구해진 세로축의 에지에 대한 밀도의 이진화를 수행하고, 차량의 전면 부분만을 취하면 최종적으로 도 6과 같이 차량 번호판으로 여겨지는 점들을 구할 수 있다.

이와 같이, 차량 번호판의 위치로 여겨지는 점들이 구해지면 이들이 다음 프레임에서 존재할 위치를 예측한다. 이를 예측하기 위하여 고전적이며 유용한 칼만필터 방법을 사용한다. 단, 이 경우 차량이 등속운동을 하더라도 영상 상에서는 가속운동처럼 보이므로 2차원 위치와 속도항을 포함하는 4차원으로 모델링하는 것이 바람직하다.

차량 번호판의 위치로 여겨지는 점들이 다음 프레임에서 존재할 위치가 예측되면, 이 위치가 ROI 영역으로 설정되고, 다음 프레임에 대하여 예측한 위치가 원하는 위치, 즉, 카메라의 포커스 영역 내에 들어오면, 센서제어부(109)는 이미지센서(103)의 설정을 즉시 ROI모드로 변경하여 이미지센서(103)로 하여금 해당 영역에 대한 ROI 영상을 리드아웃(read out)할 수 있도록 제어하고, 영상 데이터 취득부(105)는 상기 ROI 영상을 취득하여 디지털화한 후 영상 데이터 처리부(107)로 전송하고, 영상 데이터 처리부(107)는 전송받은 ROI 영상을 일반적인 OCR(Optical Charater Recognition)기술을 이용하여 차량 번호를 인식할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 차량 검지 시스템 101 : 렌즈
103 : 이미지센서 105 : 영상데이터취득부
107 : 영상데이터처리부 109 : LED 조명부
111 : 센서제어부 201, 301 : 서브샘플 영상
203 내지 207, 303 내지 307 : ROI 영상

Claims (6)

1. 다차선의 도로를 촬영한 원 영상을 그보다 작은 크기의 서브샘플 영상으로 서브샘플링하고, 서브샘플 영상에서 차량을 검지하고 추적하는 제1단계와,
   서브샘플 영상에서 검지된 차량의 번호판 위치를 추정하는 제2단계와,
   번호판 위치가 추정되면 다음 프레임에서 차량 번호판이 나타날 영역을 추정하여 해당 영역의 관심 영역 영상을 추출하는 제3단계와,
   추출된 관심영역 영상으로부터 차량 번호를 인식하는 제4단계
   를 구비하는 다차선 차량 검지 방법.
2. 제1항에 있어서,
   상기 서브샘플 영상과 상기 관심영역 영상은 그 크기가 동일한 것을 특징으로 하는 다차선 차량 검지 방법.
3. 제1항에 있어서, 제1단계는
   이미지 센서를 사용하여 다차선의 도로를 촬영하되 상기 이미지 센서로부터의 신호 중에서 일정 간격으로 일부 신호만을 건너뛰면서 획득하여 이미지 센서로부터 얻을 수 있는 원 영상보다 작은 크기의 서브샘플 영상을 획득하는 단계와,
   획득한 서브샘플 영상에서 차량을 검지하고 추적하는 단계
   를 포함하는 것을 특징으로 하는 다차선 차량 검지 방법.
4. 제1항에 있어서, 제1단계는 일정 프레임마다 반복하여 수행하는 것을 특징으로 하는 다차선 차량 검지 방법.
5. 제4항에 있어서, 제3단계는 차량이 검지된 경우에 제1단계를 수행한 프레임의 바로 뒤의 프레임부터 일정 수의 프레임에 대해서 수행하는 것을 특징으로 하는 다차선 차량 검지 방법.
6. 제1항에 있어서, 제2단계는
   상기 서브샘플 영상에서 검지된 차량의 전면부 외곽면을 구하는 단계와,
   상기 서브샘플 영상에서 세로축의 에지 성분을 구하는 단계와,
   상기 구해진 세로축의 에지 성분에 대한 밀도를 구한 후, 구해진 밀도에 대한 이진화를 수행하는 단계 및
   상기 이진화된 밀도와 상기 차량의 전면부 외곽면을 AND 연산하는 단계
   를 포함하는 것을 특징으로 하는 다차선 차량 검지 방법.
   
   
   
   
   

Images