KR20160067631A - 차량번호판 인식방법 - Google Patents

Abstract

본 발명은 차량번호판을 인식하는 방법에 있어서, 차량용 블랙박스에 내장된 카메라를 이용하여 차량 외부를 촬영하는 촬영단계; 촬영된 카메라의 화면 중에서 소실점을 검출하는 소실점검출단계; 소실점 이하에서 차량을 추적 및 검출하는 추적 및 검출단계; 및 검출된 차량영상에서 차량 번호판 검출하고 번호를 인식하는 인식단계로 구성된 차량번호판 인식방법을 제공한다.

Description

차량번호판 인식방법 {Method for recognizing vehicle plate}

본 발명은 차량번호판 인식방법에 관한 것으로 보다 상세하게는 블랙박스를 통해 차량번호판을 촬영한 뒤 번호판을 인식하는 차량번호판 인식방법에 관한 것이다.

최근 자동차의 안전사고에 많은 관심이 발생함에 따라서 세계의 많은 연구소와 기업들에서는 운전자의 부주의나 예기치 못한 충돌사고에 미리 대처할 수 있는 안전시스템에 대한 연구가 매우 활발히 이루어지고 있다.

특히 전방에서 주행하는 차량에 대한 검출을 통해 안전한 거리를 확보하고 위험한 거리에 존재하게 되면 운전자에게 경보를 주어 경각심을 유발시키도록 하는 운전자 도움 시스템은 막대한 경제적 손실뿐만 아니라 인명사고를 예방할 수 있기 때문에 그 연구가 매우 중요하다.

또한, 차량용 블랙박스를 이용하여 차량번호판을 인식하는 데 있어서, 블랙박스에 저장된 영상을 확인하기 위해서는, 블랙박스에 내장된 작은 디스플레이를 통해 확인을 하거나, 블랙박스에 삽입된 마이크로 SD 카드와 같은 저장장치를 분리하여 PC와 연결해 저장된 동영상을 PC로 확인하는 방법을 선택하게 된다. 전자의 경우에는 요즘에는 블랙박스에 일반적으로 2인치 디스플레이를 장착하는 경우가 많다. 더구나, 블랙박스가 점차 소형화되는 추세이기 때문에 더욱 작은 디스플레이가 장착되므로, 블랙박스에서 재생하는 영상은 화면 사이즈가 작을 수 밖에 없다. 따라서, 블랙박스의 메모리에 저장된 동영상을 블랙박스에 장착된 디스플레이를 통해 재생하게 되면, 아주 큰 번호판을 제외한 대부분의 차량 번호판은 사람의 눈으로 인식하기 어렵다는 문제점이 있다.

또한 블랙박스를 통해 실시간으로 차량번호판을 제공해 주는 기술은 현재 나와 있지 않는 바, 이를 실시간으로 통보하여 주며, 보다 빠르고 정확하게 운전자가 인식하게 하는 기술의 개발이 소망되었다.

대한민국공개특허 제2006-0073554호 대한민국등록특허 제1080066호

상기와 같은 문제점을 해결하기 위해 본 발명의 목적은 차량번호판을 인식할 때 직접 눈으로 보는 것보다 효과적으로 인식할 수 있는 방법을 제공하는 데 있다.

또한, 본 발명에 다른 목적은 차량번호판을 인식하는 데 있어 보다 빠르고 정확하게 인식할 수 있는 방법을 제공하는 데 있다.

또한, 본 발명에 따른 차량번호판 인식방법은 범최 차량 또는 도난 차량을 인식하여 알려주는 효과가 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 차량번호판을 인식하는 방법에 있어서, 차량용 블랙박스에 내장된 카메라를 이용하여 차량 외부를 촬영하는 촬영단계; 촬영된 카메라의 화면 중에서 소실점을 검출하는 소실점검출단계; 소실점 이하에서 차량을 추적 및 검출하는 추적 및 검출단계; 및 검출된 차량영상에서 차량 번호판 검출하고 번호를 인식하는 인식단계로 구성된 차량번호판 인식방법을 제공한다.

또한 본 발명의 상기 소실점검출단계에서는 에지 검출단계, 라인성분 결정단계, 라인의 교점 검출단계를 통해 소실점을 결정하는 것을 특징으로 하는 차량번호판 인식방법을 제공한다.

또한 본 발명의 검출 및 추적단계에서는 Haar-like 필터를 이용하여 차량을 추적 및 검출하는 것을 특징으로 하는 차량번호판 인식방법을 제공한다.

또한 본 발명의 상기 인식단계에서는 Adaboost 알고리즘을 통해 차량번호판의 위치를 검출하고, 신경망회로를 이용해 번호판의 문자와 숫자를 인식하는 것을 특징으로 하는 차량번호판 인식방법을 제공한다.

또한 본 발명은 차량번호판의 오인식을 줄이기 위해 차량번호판 인식을 연속적으로 실행하는 것을 특징으로 하는 차량번호판 인식방법을 제공한다.

또한 본 발명은 차량번호판을 오인식 또는 미인식일 경우 추적 및 검출단계와 인식단계를 반복하는 것을 특징으로 하는 차량번호판 인식방법.

본 발명에 따른 차량번호판 인식방법은 차량용 블랙박스 영상을 통해 실시간으로 차량번호판을 인식함에 따라 차량사고 인한 뺑소니 사고시 차량번호를 눈으로 직접 확인하는 것보다 훨씬 효율적으로 차량번호를 인식할 수 있다.

또한, 본 발명에 따른 차량번호판 인식방법은 소실점 검출을 통해 훨씬 빠르고 정확하게 차량번호판을 인식할 수 있는 효과가 있다.

또한, 본 발명에 따른 차량번호판 인식방법은 범최 차량 또는 도난 차량을 인식하여 알려주는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 차량번호판을 인식하는 프로세스를 나타낸 것이다.
도 2는 본 발명의 일실시예에 따른 차량번호판을 인식하는 프로세스를 사진으로 나타낸 것이다.
도 3은 본 발명의 일실시예에 따른 소실점 검출의 프로세스를 나타낸 것이다.
도 4는 Haar-like 필터에서 수직성분 및 수평성분을 검출하기 위한 특징을 나타낸 것이다.

이하, 본 발명에 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명하기로 한다.

우선, 도면들 중, 동일한 구성요소 또는 부품들은 가능한 동일한 참조부호로 나타내고 있음에 유의하여야 한다. 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않기 위하여 생략한다.

본 명세서에서 사용되는 정도의 용어 " 약 ", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적이니 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.

본 발명은 차량번호판을 인식하는 방법에 있어서, 차량용 블랙박스에 내장된 카메라를 이용하여 차량 외부를 촬영하는 촬영단계; 촬영된 카메라의 화면 중에서 소실점을 검출하는 소실점검출단계; 소실점 이하에서 차량을 추적 및 검출하는 추적 및 검출단계; 및 검출된 차량영상에서 차량 번호판 검출하고 번호를 인식하는 인식단계로 구성되는 것이 특징이다.

도 1은 본 발명의 일실시예에 따른 차량번호판을 인식하는 프로세스를 나타낸 것이고, 도 2는 본 발명의 일실시예에 따른 차량번호판을 인식하는 프로세스를 사진으로 나타낸 것이며, 도 3은 본 발명의 일실시예에 따른 소실점 검출의 프로세스를 나타낸 것이다.

본 발명은 차량용 블랙박스를 이용한 촬영단계, 소실점검출단계, 추적 및 검출단계 및 인식단계로 구성된다.

상기 촬영단계에서는 차량용 블랙박스를 이용하여 촬영하는 것으로 일반 차량에 탑재된 차량용 블랙박스를 실시간으로 연속적으로 촬영할 수 있다.

상기 소실점검출단계에서는 촬영된 화면 중에서 소실점을 검출하여 검출하려는 영역을 좁힐 수 있다.

이와 같이 검출역역을 좁히는 이유는 넓은 영역을 포함하는 영상에서는 번호판 검출을 위해 계산시간이 오래 걸리게 된다. 따라서, 촬영된 화면 중에서 일부 영역을 줄여 검색하는 화면을 최소한을 줄인 뒤에 번호판을 검출하게 되면 보다 정확하면서 빠르게 번호판을 검출할 수 있게 된다.

이를 위해 본 발명은 촬영된 전체화면 중에서 소실점을 검출하여 소실점 이하 영역에서만 차량번호판을 검출한다.

상기 소실점 검출은 3가지 단계를 거쳐서 소실점을 검출할 수 있게된다.

3가지 단계를 에지검출단계, 라인성분 결정단계 및 라인의 교점 검출단계를 거쳐 소실점을 검출하게 된다.

상기 에지검출단계에서는 촬영화면상에서 도로의 경계 또는 차선 등과 같은 중요한 에지부분을 검출한다. 보다 구체적으로는 촬영 영상을 그레이 스케일로 변환한 뒤 도로의 경계 부분 또는 차선을 검색하여 에지를 검출한다.

그레이 스케일로 변환한 화면은 도로 등이 반드시 직선성분으로 이루어진 것이 아니라 불연속적인 점 또는 선으로 되어 있다. 이러한 불연속적인 부분을 에지로 구분하여 검출하게 된다. 에지부분을 추출하게 되면 이후의 라인성분 결정단계에서 에지부분을 연결하여 직선으로 결정하게 된다.

상기 에지검출은 케니(Canny)연산 에지 검출방법을 이용하는 데, 상기 케니(Canny)연산 에지 검출방법은 화면중에서 X, Y축의 기울기(Gradients)를 계산하고, 계산한 기울기 중에서 강도를 계산하여 기울기의 강도를 계산하여 에지를 검출한다. 즉, 지정된 두 개의 임계값을 이용해 에지의 연결성을 판단해 서로 잇는 과정(Hysteresis 수행)으로 에지를 검출할 수 있다.

상기 라인성분 결정단계에서는 직선성분을 검출하기 위한 것으로, 검출된 에지들로부터 라인들을 결정할 수 있다. 즉, 허프(hough) 변환을 이용하여 직선 성분들을 검출할 수 있는 데, 상기 허프(hough) 변환은 x,y 축으로 이루어진 직교 좌표계를 극 좌표계로 변환해서 직선을 검출하는 방법이다.

다음으로 라인의 교점 검출단계를 거치는 데, 라인성분 결정단계에서 결정된 각 라인들의 교점의 위치와 수를 누적(이를 "voting procedure"라 함)해서 최대 누적된 곳을 소실점으로 결정할 수 있다.

보다 구체적으로는 소실점 검출을 위한 voting procedure은 영상 사이즈와 똑 같은 사이즈의 배열의 모든 셀에 초기값을 '0'으로 (이론적으로 모두 '0'으로 셋팅 하지만 실질적으로 소실점이 영상의 상단에 위치하는 경우가 많으므로, 영상의 첫 프레임인 경우, 영상 상단 중앙에 가중치를 주며, 영상 첫 프레임이 아니라면, 이전 영상의 소실점 위치를 중심으로 10 × 10 위치에 속하는 셀에 임의의 가중치 (3~5 사이값)를 둔다. 라인성분 결정단계에서 검출된 직선이 지나가는 셀을 '1'씩 증가시키며, 모든 라인에 대해 진행했을 때 최대값을 갖는 셀의 위치를 소실점으로 결정한다.

또한, 도로의 경계 및 차선이 없어서 소실점 검출이 힘든 경우엔 에지검출단계, 라인성분 결정단계를 대신해서 가보필터(Gabor filter)를 사용할 수 있다. 상기 가보필터(Gabor filter)는 도로의 텍스쳐(무늬, 모양) 정보로부터 각도(도로의 방향성)을 구하고, 라인의 교점 검출단계의 voting procedure로 가장 많은 교점을 갖는 위치를 소실점으로 채택할 수 있다. 상기 가보필터를 사용하면 각 픽셀 위치에서의 방향성을 알아낼 수 있으며, 각 픽셀의 방향성들로부터 가장 지배적인(dominant) 방향들을 선택하여 각도를 구할 수 있다.

위와 같은 방법으로도 소실점 검출이 되지 않으면 이전 영상의 소실점을 그대로 사용할 수 있다. 또한, 프레임의 첫 영상인 경우엔 기본값으로 영상의 중심점을 소실점으로 선택할 수 있다. 또한 라인의 교점 검출단계의 voting procedure에서 이전 영상의 소실점 위치에 가중치를 주어 소실점을 검출할 수 있다. 이는 연속된 프레임상에서 이전 영상과 다음 영상의 소실점 위치가 갑자기 크게 변하지 않기 때문에 이전 영상의 소실점 위치에 가중치를 주어도 무방하다.

본 발명에 있어서, 상기 차량을 추적 및 검출하는 추적 및 검출단계에서는 소실점 이하 영역에서 Haar-like 필터를 이용하여 일정 크기 이상의 차량 추적 및 검출을 실시한다.

도 4는 Haar-like 필터를 이용하여 수직성분 및 수평성분을 검출하기 위한 특징을 나타낸 것이다.

촬영된 차량의 후면의 외곽 성분 중에서 수직 특징을 검출하기 위해서 Haar-like 필터를 이용하도록 한다. Haar-like 특징(Feature)은 도 4와 같이 최소 두 개의 특징(Feature) 마스크를 사용할 수 있다. 도 4의 (a)는 수직 성분을 검출하기 위한 특징(Feature)이고 도 4의 (b)는 수평성분을 검출하기 위한 특징(Feature)이다.

촬영된 도로 영상에서 존재하는 성분들 중에서 차선과 같이 대각선 방향의 성분을 가지고 있는 요소들은 수직 성분과 수평 성분을 함께 가지고 있다. 이에 대하여 대각선 성분을 가지고 있는 요소들을 제거하는 과정을 통해 차량을 추적하여 검출할 수 있다.

본 발명의 Haar-like 검출은 수직 성분을 검출한 후 수평 성분에서 검출되는 요소들을 제거함으로서 이루어진다.

본 발명의 인식단계는 이전 단계에서 검출된 차량영상으로부터 차량 번호판의 위치를 검출하고 번호를 인식하는 단계로써, Adaboost 알고리즘을 통해 차량번호파의 위치를 검출한 후, 신경망 회로를 이용하여 번호를 인식할 수 있다.

상기 Adaboost 알고리즘은 번호판 인식 학습을 반복적으로 실시하여 최적의 분류기를 만드는 방법으로 약 2000여개 차량의 영상데이터를 선행 학습시켜 오인식을 줄일 수 있다. 본 발명에 따른 Adaboost 알고리즘은 Haar-like 특징, 적분영상, 계층(cascade) 구조를 도입하여 연산량을 감소시키고 높은 검출 성능을 보일 수 있다.

상기 신경망회로는 인간의 뇌가 패턴을 인식하는 방식과 유사하게 동작하는 방법이다. 본 발명에 따른 신경망회로는 차량번호판의 다양한 숫자 및 문자데이타를 선행 학습시켜 인식결과에 영향을 미치는 각 노드의 가중치를 결정하고 인간의 뇌가 숫자를 인식하는 것과 유사한 방식으로 동작해서 인식률을 최대한 높이는 결과를 보일 수 있다.

또한, 본 발명은 차량번호판의 오인식을 줄이기 위해 차량번호판 인식을 연속적으로 실행하는 것이 특징이다. 즉, 차량번호판 인식을 연속적으로 실시함에 따라 이전화면에서 실시한 차량번호판 인식과 비교하여 통계적으로 많은 차량번호를 선택하도록 함으로써 오인식을 줄일 수 있다.

또한, 본 발명은 차량번호판을 오인식 또는 미인식일 경우 추적 및 검출단계와 인식단계를 반복할 수 있다. 즉, 오인식이 이루어지거나 미인식된 차량에 대해서는 추적 및 검출단계와 인식단계를 반복함으로써 차량번호판 인식확률을 높였다.

또한 본 발명은 범죄 및 도난 차량 데이타 베이스가 추가적으로 형성되어 있어, 번호판 인식결과 범죄 및 도난 차량인 경우에는 경보를 통해 범죄 및 도난 차량을 파악할 수 있게 할 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.

Claims (6)

1. 차량번호판을 인식하는 방법에 있어서,
   차량용 블랙박스에 내장된 카메라를 이용하여 차량 외부를 촬영하는 촬영단계;
   촬영된 카메라의 화면 중에서 소실점을 검출하는 소실점검출단계;
   소실점 이하에서 차량을 추적 및 검출하는 추적 및 검출단계; 및
   검출된 차량영상에서 차량 번호판 검출하고 번호를 인식하는 인식단계로 구성된 차량번호판 인식방법.
   
2. 제1항에 있어서,
   상기 소실점검출단계에서는
   에지 검출단계, 라인성분 결정단계, 라인의 교점 검출단계를 통해 소실점을 결정하는 것을 특징으로 하는 차량번호판 인식방법.
   
3. 제1항에 있어서,
   검출 및 추적단계에서는 Haar-like 필터를 이용하여 차량을 추적 및 검출하는 것을 특징으로 하는 차량번호판 인식방법.
   
4. 제1항에 있어서,
   상기 인식단계에서는 Adaboost 알고리즘을 통해 차량번호판의 위치를 검출하고, 신경망회로를 이용해 번호판의 문자와 숫자를 인식하는 것을 특징으로 하는 차량번호판 인식방법.
   
5. 제1항에 있어서,
   차량번호판의 오인식을 줄이기 위해 차량번호판 인식을 연속적으로 실행하는 것을 특징으로 하는 차량번호판 인식방법.
   
6. 제1항에 있어서,
   차량번호판을 오인식 또는 미인식일 경우 추적 및 검출단계와 인식단계를 반복하는 것을 특징으로 하는 차량번호판 인식방법.
   

Images