KR20140116266A - 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템 - Google Patents

Abstract

본 발명은 자동차 번호판 후보영역 추출을 위한 영상 전처리방법 및 이를 구현하기 위한 하드웨어 블록의 설계방법에 관한 것으로, 본 발명에 따르면, 자동차 번호판 영역을 보다 정확하게 추출하기 위한 전처리 과정에 있어서, 기존의 소벨 마스크(Sobel Mask) 패턴을 이용한 윤곽선 추출 알고리즘은 연산과정에서 곱셈 연산이 들어가기 때문에 연산 속도가 매우 느리고, 또한, 침식, 팽창을 이용한 종래의 노이즈 제거 알고리즘은 인식률이 떨어지는 문제점을 해결하기 위해, 덧셈과 뺄셈만으로 이루어진 윈도우 스캔(WindowScan) 알고리즘 및 번호판 지역과 노이즈 지역의 특징 또는 여러 가지 상황을 고려한 노이즈 제거 알고리즘을 이용하여 높은 인식률과 함께 빠르게 자동차 번호판 후보영역을 추출할 수 있도록 구성되는 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 구현하기 위한 하드웨어 블록의 설계방법이 제공된다.

Description

자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템{Image preprocessing method for license plate recognition and license plate recognition system using thereof}

본 발명은 자동차 번호판 인식방법에 관한 것으로, 더 상세하게는, 자동차 번호판 인식 처리과정 중 인식률 향상을 위해 번호판 후보영역 추출을 위한 새로운 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템에 관한 것이다.

또한, 본 발명은, 상기한 바와 같은 자동차 번호판 인식을 위한 영상 전처리방법을 고속으로 연산할 수 있도록 하기 위한 자동차 번호판 인식시스템의 하드웨어 블록 설계방법에 관한 것이다.

최근, 주차, 방범, 신호위반, 속도위반 등의 다양한 분야에서 자동차 번호판 인식 시스템(License Plate Recognition system)이 폭넓게 사용되고 있다.

그러나 종래, 이러한 자동차 번호판 인식 시스템은, 일반적으로, 자연현상에 의한 명암 차이나 우천시 많은 노이즈 또는 야간에 차량 라이트 빛의 반사 등에 의해 자동차 번호판 추출에 있어 많은 어려움이 있다.

따라서 자동차 번호판 영역을 보다 정확하게 추출하기 위해서는, 영상의 명암 변화, 윤곽선 추출, 노이즈 제거, 번호판 후보영역 추출 등 많은 전처리 과정이 들어가게 된다(참고문헌 1 내지 4 참조).

특히, 이러한 전처리 과정에 있어서, 기존의 알고리즘 중 윤곽선 검출 알고리즘은 소벨 마스크(Sobel Mask) 패턴 알고리즘을 많이 사용하며, 노이즈 제거 알고리즘은 침식, 팽창 알고리즘을 이용한 노이즈 제거가 많이 사용되고 있다.

그러나 소벨 마스크 패턴 알고리즘의 경우, 연산과정에서 곱셈 연산이 들어가기 때문에 연산 속도가 매우 느리고, 또한, 침식, 팽창을 이용한 노이즈 제거의 경우, 번호판 지역의 특징과 여러 가지 상황을 고려하지 않지 않기 때문에 인식률이 많이 떨어지게 된다.

아울러, 우리나라의 자동차 번호판 인식 시스템은 소프트웨어를 이용한 번호판 인식 시스템이 가장 많이 사용되고 있으며, 이러한 소프트웨어를 이용한 시스템의 경우는 전처리 과정이 많이 들어갈수록 연산 속도가 굉장히 길어지게 된다.

따라서 이러한 문제를 해결하기 위하여는, 연산속도가 느린 종래의 소벨 마스크 패턴을 이용한 윤곽선 추출을 덧셈과 뺄셈만으로 이루어진 윈도우 스캔(WindowScan) 알고리즘으로 보완하고, 아울러, 번호판 지역의 특징을 고려하지 않은 종래의 침식, 팽창을 이용한 노이즈 제거 알고리즘을 번호판 지역과 노이즈 지역의 특징 또는 여러 가지 상황을 고려한 노이즈 제거 알고리즘으로 보완하여, 높은 인식률과 함께 빠른 시간 내에 자동차 번호판 후보영역을 추출함으로써 기존의 소프트웨어에 비해 속도가 향상된 새로운 자동차 번호판 인식을 위한 영상 전처리방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 방법이나 알고리즘은 제시된 바 없었다.

또한, 전처리 과정이 많이 들어갈수록 연산 속도가 매우 느려지는 종래의 소프트웨어를 이용한 번호판 인식 시스템의 문제점을 해결하기 위하여는, 자동차 번호판 후보영역 추출을 위한 FPGA(Field Programmable Gate Array) 하드웨어 블록을 설계함으로써 상기한 바와 같은 알고리즘을 소프트웨어 시스템이 아닌 임베디드 시스템(Embedded System)을 기반으로 한 자동차 번호판 고속 인식 시스템으로 구현하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 자동차 번호판 인식시스템의 하드웨어 블록 설계방법 또한 제시된 바 없었다.

[참고문헌]

1. Dong-wook Kim, Jeong-hyuck Kang, "에지투영 기반의 자동차 번호판 영역 추출" 한국컴퓨터정보학회, v.12, no.6, pp.261-268, 2007년 12월

2. Lejiang Guo, Yahui Hu; Ze Hu, Xuanlai Tang, "The Edge Detection Operators and Their Application in License Plate Recognition", IEEE CISE, Page(s) : 1~4, 2010.

3. Preemon Rattanathammawat, Thanarat H. Chalidabhongse, "A Car Plate Detector using Edge Information", ISCIT 2006, pp1039-1043.

4. Hyoung-Chul Oh, Jong-Ho Choi, "A Recognition Algorithm of Car License Plate using Edge Projection and Directivity Vector", 韓國情報技術學會論文誌 제7권 제1호 2009년 2월, pp1-10.

5. Keun-sik Park, "License plate recognition and high-speed for edge computation hardware-block design", fabruary, 2011.

6. NOBUYUKI OTSU, "A Threshold Selection Method from Gray-Level Histograms", IEEE TRANSACTIONS ON SYSTEM MANM AND CYBERNETICS,VOL.SMC-9, 1979. 1, pp.62-66.

본 발명의 목적은, 연산속도가 느린 종래의 소벨 마스크 패턴을 이용한 윤곽선 추출방법 및 번호판 지역의 특징을 고려하지 않은 종래의 침식, 팽창을 이용한 노이즈 제거 알고리즘의 문제점을 해결하기 위해, 각각의 알고리즘을 덧셈과 뺄셈만으로 이루어진 윈도우 스캔(WindowScan) 알고리즘 및 번호판 지역과 노이즈 지역의 특징 또는 여러 가지 상황을 고려한 노이즈 제거 알고리즘으로 보완하여, 높은 인식률과 함께 빠른 시간 내에 자동차 번호판 후보영역을 추출할 수 있도록 구성되는 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템을 제공하고자 하는 것이다.

또한, 본 발명의 다른 목적은, 전처리 과정이 많이 들어갈수록 연산 속도가 매우 느려지는 종래의 소프트웨어를 이용한 번호판 인식 시스템의 문제점을 해결하기 위해, 자동차 번호판 후보영역 추출을 위한 알고리즘을 FPGA(Field Programmable Gate Array) 하드웨어 블록으로 설계하여, 번호판 인식 시스템을 기존의 소프트웨어 시스템이 아닌 임베디드 시스템(Embedded System)을 기반으로 하는 고속 시스템으로 구현할 수 있도록 구성되는 자동차 번호판 인식시스템의 하드웨어 블록 설계방법을 제공하고자 하는 것이다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 자동차 번호판 인식시스템에서 실행되는 자동차 번호판 인식을 위한 영상 전처리과정의 인식률 및 처리속도를 개선하기 위한 자동차 번호판 인식을 위한 영상 전처리방법에 있어서, 자동차 번호판 인식을 위한 영상을 입력받는 입력단계; 차량의 윤곽선을 추출하여 상기 윤곽선의 에지 정보로부터 번호판 영역을 검출하기 위해 윈도우 스캔(WindowScan) 알고리즘을 이용하여 상기 입력단계에서 입력된 영상으로부터 윤곽선을 추출하는 윤곽선 추출단계; 상기 윤곽선 추출단계에서 윤곽선이 추출된 영상에서 번호판 지역의 에지를 부각시키기 위해 상기 번호판 지역과 상기 번호판 지역을 제외한 노이즈 부분의 특성을 비교 분석하여 상기 노이즈 부분을 제거하는 노이즈 제거단계; 상기 노이즈 제거단계에서 상기 노이즈 부분이 제거된 영상에서 에지 히스토그램(Edge Histogram)을 추출하는 에지 히스토그램 추출단계; 및 상기 에지 히스토그램 추출단계에서 상기 에지 히스토그램이 추출된 영상으로부터 번호판 후보영역을 선정하는 번호판 후보영역 추출단계를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법이 제공된다.

여기서, 상기 윤곽선 추출단계에서, 상기 윈도우 스캔 알고리즘은, 3×3 윈도우를 2개 이용하여 각각의 윈도우 안에 있는 9개의 픽셀의 합을 구하고, 각각의 상기 픽셀의 합의 차를 구하여 미리 정해진 임계(Threshold)값 보다 크면 에지로 판단하여 윤곽선을 추출하도록 구성되는 것을 특징으로 한다.

또한, 상기 노이즈 제거단계는, 상기 번호판 지역의 에지 특성과 아스팔트의 지역의 에지 특성을 이용하여 노이즈를 제거하기 위한 제 1 노이즈 제거단계; 및 상기 제 1 노이즈 제거단계 후에 남아있는 노이즈들을 제거하기 위한 제 2 노이즈 제거단계를 포함하여 구성되는 것을 특징으로 한다.

아울러, 상기 제 1 노이즈 제거단계는, 상기 윤곽선 추출단계에서 윤곽선이 추출되어 2진화된 자동차 윤곽선 이미지의 좌측 상단부터 시작하여 세로로 30 픽셀을 비교하여 현재 픽셀과 다음 픽셀의 값이 다를 때의 수를 카운트하는 단계; 상기 카운트하는 단계에서 카운트된 수가 4 이상이면 상기 세로로 30 픽셀을 모두 하얀색 픽셀로 채우는 단계; 상기 카운트하는 단계에서 카운트된 수가 4 미만일 경우에는 상기 30 픽셀의 값들을 그대로 유지하는 단계; 및 상기 자동차 윤곽선 이미지의 전체에 대하여 상기한 각 단계를 반복하는 단계를 포함하여 구성되는 것을 특징으로 한다.

더욱이, 상기 제 2 노이즈 제거단계는, 상기 제 1 노이즈 제거단계에서 노이즈가 제거된 영상에서 4×4 윈도우를 좌측 상단부터 오른쪽으로 이동해가면서 16개의 픽셀 중 검은색 픽셀의 개수를 세는 단계; 상기 검은색 픽셀의 수가 미리 정해진 기준값 미만이면 상기 검은색 픽셀을 제거하는 단계; 상기 검은색 픽셀의 수가 상기 기준값 이상이면 해당 픽셀을 그대로 두는 단계; 및 전체 이미지에 대하여 상기한 각 단계를 반복하는 단계를 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 에지 히스토그램 추출단계는, 상기 제 1 노이즈 제거단계 및 상기 제 2 노이즈 제거단계가 수행된 영상에서 가로로 한 줄(line) 마다 현재 픽셀과 우측으로 다음 픽셀을 비교하는 단계; 및 상기 픽셀 값이 서로 다른 경우의 수를 카운트하여 각 줄마다 에지의 수를 누적시켜 에지 히스토그램을 구하는 단계를 포함하여 구성되는 것을 특징으로 한다.

아울러, 상기 번호판 후보영역의 추출단계는, 상기 에지 히스토그램이 구해진 영상을 위에서부터 아래로 미리 정해진 일정한 범위로 나누어 상기 에지의 수를 평균을 구하는 단계; 및 상기 에지의 평균값이 가장 높은 구간을 상기 에지의 빈도 수가 가장 많은 영역으로 선정하여 번호판 후보영역으로 추출하는 단계를 포함하여 구성되는 것을 특징으로 한다.

더욱이, 본 발명에 따르면, 자동차 번호판 인식을 위한 영상 전처리과정의 인식률 및 처리속도를 개선하기 위해 상기에 기재된 자동차 번호판 인식을 위한 영상 전처리방법을 컴퓨터에 실행시키도록 구성되는 자동차 번호판 인식프로그램이 기록된 기록매체가 제공된다.

또한, 본 발명에 따르면, 자동차 번호판 인식을 위한 영상 전처리과정의 인식률 및 처리속도를 개선하기 위해 상기에 기재된 자동차 번호판 인식을 위한 영상 전처리방법을 실행하도록 구성되는 자동차 번호판 인식시스템에 있어서, 자동차 번호판 인식을 위한 영상을 입력받는 입력부; 차량의 윤곽선을 추출하여 상기 윤곽선의 에지 정보로부터 번호판 영역을 검출하기 위해 윈도우 스캔(WindowScan) 알고리즘을 이용하여 상기 입력단계에서 입력된 영상으로부터 윤곽선을 추출하는 윤곽선 추출부; 상기 윤곽선 추출부에 의해 윤곽선이 추출된 영상에서 번호판 지역의 에지를 부각시키기 위해 상기 번호판 지역과 상기 번호판 지역을 제외한 노이즈 부분의 특성을 비교 분석하여 상기 노이즈 부분을 제거하는 노이즈 제거부; 상기 노이즈 제거부에 의해 상기 노이즈 부분이 제거된 영상에서 에지 히스토그램(Edge Histogram)을 추출하는 에지 히스토그램 추출부; 상기 에지 히스토그램 추출부에 의해 상기 에지 히스토그램이 추출된 영상으로부터 번호판 후보영역을 선정하는 번호판 후보영역 추출부; 및 상기 번호판 후보영역 추출부에 의해 추출된 상기 번호판 후보영역으로부터 해당 번호판의 번호를 인식하여 출력장치를 통해 출력하는 출력부를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식시스템이 제공된다.

여기서, 상기 윤곽선 추출부는, 메모리에서 데이터를 읽기 위한 어드레스 컨트롤러 모듈; 제 1 윈도우와 제 2 윈도우의 데이터들을 더하는 합산모듈; 및 상기 제 1 윈도우의 데이터 합과 상기 제 2 윈도우의 데이터 합의 차를 구하고 절대값을 구하는 연산모듈을 포함하여 구성되는 것을 특징으로 한다.

아울러, 상기 노이즈 제거부는, 메모리로부터 데이터를 읽는 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈과, 상기 데이터 읽기 모듈로부터 데이터를 순차적으로 읽어 들이면서 현재 픽셀 데이터 값과 이전 픽셀 데이터 값을 비교하여 값이 서로 다를 경우 하나씩 수를 카운트하고, 비교 완료시 카운트 된 수를 다시 미리 정해진 숫자와 비교하여 카운트 수가 상기 미리 정해진 숫자 이상이면 읽어 들였던 픽셀의 자리를 모두 흰색 픽셀로 채우며, 상기 미리 정해진 숫자 미만일 경우는 그대로 두도록 구성되는 데이터 비교 및 쓰기 모듈을 포함하는 제 1 노이즈 제거 필터; 및 데이터를 읽기 위한 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈과, 미리 정해진 크기의 윈도우 안의 픽셀을 메모리로부터 읽어 들여 검은색 픽셀의 개수를 카운트한 다음, 상기 검은색 픽셀이 미리 정해진 개수 이상이면 그 자리의 픽셀들은 그대로 두고, 상기 검은색 픽셀이 상기 미리 정해진 개수 미만일 경우는 모두 흰색 픽셀로 채우도록 구성되는 데이터 비교 및 쓰기 모듈을 포함하는 제 2 노이즈 제거 필터를 포함하여 구성되는 것을 특징으로 한다.

더욱이, 상기 에지 히스토그램 추출부는, 메모리로부터 데이터를 읽는 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈; 및 영상에서 한 줄(line)씩 에지의 수를 세어 상기 영상의 모든 줄에 대하여 각각 저장하기 위해, FPGA 코어 제네레이터(Core generator)를 이용하여 상기 영상의 세로 사이즈만큼의 내부 메모리를 생성하여 1번째 줄의 에지의 수를 0번째 어드레스에 저장하고 순서대로 마지막 H번째 라인의 에지의 수를 메모리의 H-1번째 어드레스에 저장하도록 구성되는 에지 카운트(Edge Count) 모듈을 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 번호판 후보영역 추출부는, 첫 번째 주소부터 미리 정해진 수만큼의 주소까지 순차적으로 카운트하여 상기 에지 히스토그램 추출부에 의해 저장된 상기 영상의 라인별 에지 개수에 대한 데이터를 읽어 들이는 주소 카운트 모듈; 상기 주소 카운트 모듈로부터 읽어들인 각 라인별 에지 개수에 대하여 미리 정해진 라인 수 별로 평균값을 구하여 누적시키는 라인 평균(Line Average) 모듈; 및 상기 평균값을 비교하여 가장 큰 값에 해당하는 주소 번지를 번호판 후보영역의 좌표로 하여 자동차 번호판 후보영역으로서 추출하는 번호판 후보영역 추출모듈을 포함하여 구성되는 것을 특징으로 한다.

아울러, 상기 시스템은, 상기 에지 카운트 모듈과 상기 라인 평균 모듈 및 상기 번호판 후보영역 추출모듈의 각각의 제어(Control) 시간에 따라 데이터와 주소를 하나만 출력시킬 수 있도록 하기 위한 데이터 및 주소 멀티플렉서(DATA & ADDRESS MUX)를 포함하여, 상기 에지 카운트 모듈과 상기 라인 평균 모듈 및 상기 번호판 후보영역 추출모듈이 하나의 메모리를 사용하도록 구성되는 것을 특징으로 한다.

본 발명에 따르면, 덧셈과 뺄셈만으로 이루어진 윈도우 스캔(WindowScan) 알고리즘 및 번호판 지역과 노이즈 지역의 특징 또는 여러 가지 상황을 고려한 노이즈 제거 알고리즘을 이용하여 높은 인식률과 함께 빠른 시간 내에 자동차 번호판 후보영역을 추출할 수 있도록 구성되는 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템이 제공됨으로써, 연산속도가 느린 종래의 소벨 마스크 패턴을 이용한 윤곽선 추출방법 및 번호판 지역의 특징을 고려하지 않은 종래의 침식, 팽창을 이용한 노이즈 제거 알고리즘의 문제점을 해결할 수 있다.

또한, 본 발명에 따르면, 자동차 번호판 후보영역 추출을 위한 알고리즘을 FPGA(Field Programmable Gate Array) 하드웨어 블록으로 설계하여 번호판 인식 시스템을 기존의 소프트웨어 시스템이 아닌 임베디드 시스템(Embedded System)을 기반으로 하는 고속의 자동차 번호판 인식시스템으로 구현함으로써, 전처리 과정이 많이 들어갈수록 연산 속도가 매우 느려지는 종래의 소프트웨어를 이용한 번호판 인식 시스템의 문제점을 해결할 수 있다.

도 1은 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 수행하는 자동차 번호판 인식 시스템의 전체적인 시스템 흐름 및 하드웨어 구성을 개략적으로 나타내는 도면이다.
도 2는 윈도우 스캔 알고리즘의 연산과정을 개략적으로 나타내는 도면이다.
도 3은 종래의 소벨 마스크 알고리즘과 윈도우 스캔 알고리즘을 각각 사용하여 차량의 윤곽선을 추출한 영상을 나타내는 도면이다.
도 4는 차량의 윤곽선 영상에서 번호판 지역의 에지와 아스팔트 지역의 노이즈를 확대하여 나타낸 도면이다.
도 5는 번호판 지역의 에지 특성과 아스팔트의 지역 에지 특성을 이용하여 노이즈를 제거하기 위한 연산방법을 개략적으로 나타내는 도면이다.
도 6은 도 5에 나타낸 번호판 지역의 에지 특성과 아스팔트의 지역 에지 특성을 이용하여 노이즈를 제거하기 위한 연산방법을 적용하여 노이즈를 제거한 결과를 나타내는 도면이다.
도 7은 도 5에 나타낸 첫 번째 노이즈 제거 연산 후에 남아있는 노이즈를 제거하기 위한 두 번째 노이즈 제거 연산방법을 나타내는 도면이다.
도 8은 상기한 바와 같이 하여 두 번째 노이즈 제거 연산을 수행한 결과를 나타내는 도면이다.
도 9는 에지 히스토그램의 추출방법을 개략적으로 나타내는 도면이다.
도 10은 실제 영상에서 에지 히스토그램을 추출한 영상을 나타내는 도면이다.
도 11은 에지 히스토그램 구간별 평균의 연산방법을 나타내는 도면이다.
도 12는 평균값들 중 가장 큰 값을 찾아내어 번호판 영역을 잘라내는 방법을 나타내는 도면이다.
도 13은 번호판 후보영역을 검출하여 차량 영상에서 가로지역의 번호판 후보영역을 최종적으로 잘라낸 영상을 나타내는 도면이다.
도 14는 본 발명에 따른 윈도우 스캔을 구현하기 위한 하드웨어 동작 구성을 개략적으로 나타내는 도면이다.
도 15는 도 14에 나타낸 윈도우 스캔 하드웨어의 타이밍도이다.
도 16은 도 14에 나타낸 윈도우 스캔 방식을 구현하는 실제 하드웨어 설계를 위한 블록도이다.
도 17은 본 발명에 따른 첫 번째 노이즈 제거 알고리즘을 구현하기 위한 하드웨어 동작 구성을 개략적으로 나타내는 도면이다.
도 18은 도 17에 나타낸 첫 번째 노이즈 제거 필터 알고리즘의 하드웨어 타이밍도이다.
도 19는 도 17에 나타낸 첫 번째 노이즈 제거 필터의 알고리즘을 실제로 구현하는 하드웨어 블록의 내부 구성을 개략적으로 나타내는 블록도이다.
도 20은 본 발명에 따른 두 번째 노이즈 제거 알고리즘을 구현하기 위한 하드웨어 동작 구성을 개략적으로 나타내는 도면이다.
도 21은 도 20에 나타낸 두 번째 노이즈 제거 필터 알고리즘의 하드웨어 타이밍도이다.
도 22는 도 20에 나타낸 두 번째 노이즈 제거 필터의 알고리즘을 실제로 구현하는 하드웨어 블록의 내부 구성을 개략적으로 나타내는 블록도이다.
도 23은 영상에서 한 줄의 에지의 수를 세어 메모리에 저장하는 순서를 나타내는 도면이다.
도 24는 에지 히스토그램 추출을 위한 하드웨어 블록의 내부 구성을 개략적으로 나타내는 블록도이다.
도 25는 70 라인 에지 개수의 평균값을 구하기 위한 하드웨어 구성을 나타내는 도면이다.
도 26은 70 라인 평균값을 계속 비교하면서 가장 큰 값을 찾아내어 최종 번호판 후보영역의 좌표를 찾아내는 하드웨어의 구성도이다.
도 27은 70 라인 에지 개수의 평균을 구하는 구성과 최종 번호판 후보영역의 좌표를 찾아내는 구성에 DPSRAM을 연결한 최종 번호판 후보영역 좌표 추출 하드웨어의 내부 블록도이다.
도 28은 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 구현하기 위하여 자동차 번호판 후보영역 추출을 위한 전체 하드웨어 내부 구성을 개략적으로 나타내는 블록도이다.
도 29는 본 발명에 따른 알고리즘에 대한 테스트를 위해 사용된 자동차 후보영역 추출 소프트웨어 프로그램의 실제 구동화면을 나타내는 도면이다.
도 30은 윈도우 스캔 알고리즘의 하드웨어 설계의 초반 시뮬레이션 결과를 나타내는 도면이다.
도 31을 참조하면, 도 31은 윈도우 스캔 알고리즘의 연산의 전체 시뮬레이션 파형을 나태내는 도면이다.
도 32는 실제 소프트웨어와 하드웨어로 윈도우 스캔 알고리즘을 연산하여 얻어진 이미지를 나타내는 도면이다.
도 33은 본 발명에 따른 첫 번째 노이즈 제거 연산의 초반 시뮬레이션 결과를 나타내는 도면이다.
도 34는 본 발명에 따른 첫 번째 노이즈제거 연산의 전체 시뮬레이션 결과를 나타내는 도면이다.
도 35는 본 발명에 따른 첫 번째 노이즈 제거 연산을 각각 소프트웨어와 하드웨어를 통해 실제로 수행하여 얻어진 결과를 각각 나타내는 도면이다.
도 36은 본 발명에 따른 두 번째 노이즈 제거 연산 초반 시뮬레이션 결과를 나타내는 도면이다.
도 37은 본 발명에 따른 두 번째 노이즈 제거 연산의 전체 시뮬레이션 결과를 나타내는 도면이다.
도 38은 본 발명에 따른 두 번째 노이즈 제거 연산을 각각 소프트웨어와 하드웨어를 통해 실제로 수행하여 얻어진 결과를 각각 나타내는 도면이다.
도 39는 에지 카운트에서 영상의 한 줄의 데이터를 읽어 들이면서 이전 데이터와 현재 데이터를 비교하며 에지의 수를 누적시키는 부분의 시뮬레이션과 한 줄의 에지를 모두 누적시키면 누적된 데이터 값을 Coregen DPSRAM으로 출력시키는 시뮬레이션의 결과를 각각 나타내는 도면이다.
도 40은 에지 카운트에 대한 전체 시뮬레이션 파형과 번호판 후보영역 추출을 위한 전처리 과정의 전체 시뮬레이션 파형을 각각 나타내는 도면이다.
도 41은 하드웨어로 연산한 좌표값과 소프트웨어로 연산한 좌표값을 확인하기 위해 하드웨어 실험 영상과 동일한 영상으로 소프트웨어에 의해 죄표값을 연산한 실험 결과를 나타내는 도면이다.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템의 구체적인 실시예에 대하여 설명한다.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.

또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.

즉, 본 발명은, 후술하는 바와 같이, 자동차 번호판 인식을 위한 영상 전처리를 고속으로 연산할 수 있도록 하기 위한 영상 전처리방법 및 이를 이용한 자동차 번호판 인식시스템에 관한 것이다.

이를 위해, 본 발명은, 후술하는 바와 같이, 상기한 자동차 번호판 인식을 위한 영상 전처리방법의 알고리즘 및 이에 대한 하드웨어 구현을 위해, 실제 과속 카메라에 찍힌 영상들의 특징을 분석하고 윤곽선을 추출하는 알고리즘들의 문제점을 파악하여, 윤곽선 영상에서 아스팔트 지역과 차량의 라디에이터 지역의 노이즈 제거를 통해 번호판 지역의 특징이 더 부각되도록 개선하며, 또한, 전처리 알고리즘의 하드웨어 설계시 파이프라인 연산을 통해 클록 수를 최소화하도록 구성되는 것을 특징으로 한다.

더욱이, 본 발명에 따르면, 후술하는 바와 같이, 번호판 후보영역 추출을 위한 알고리즘을 실험하기 위한 소프트웨어가 C++언어로 프로그래밍 되며, 하드웨어는 Verilog HDL을 통해 기술되고, 시뮬레이션 파형을 통해 성능을 검증하며, 실험 방법으로서, 소프트웨어로 전처리 과정에서 각 알고리즘별로 연산시간을 분석하고, 알고리즘들의 전체 연산 과정의 인식률을 분석하며, 이를 하드웨어로 구현시 각 알고리즘을 모듈별로 설계하여, 모듈별로 연산시간을 분석하고 최종 하드웨어 탑 모듈을 합성하여 인식률과 연산시간을 소프트웨어와 비교 분석한다.

계속해서, 이하, 첨부된 도면을 참조하여, 상기한 바와 같은 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 이용한 하드웨어 블록의 구체적인 내용에 대하여 상세히 설명한다.

일반적으로, 자동차 번호판 인식을 위해서는 먼저 번호판 후보영역을 추출해야 하며, 이와 같이 번호판 후보영역 추출을 위해서는 여러 가지 전처리 과정을 거치게 되고, 특히, 영상에서 윤곽선을 검출하는 과정과 노이즈를 제거하는 과정은 필수적으로 거치게 된다.

더 상세하게는, 번호판 후보영역 추출을 위한 기존의 알고리즘은, 입력 -> 명암대비 개선 -> 윤곽선 추출(Sobel Mask) -> 노이즈 제거(침식 , 팽창) -> 에지 히스토그램(Edge Histogram) 추출 -> 번호판 후보영역 추출의 각 단계를 거치게 된다.

즉, 입력 영상이 들어오게 되면 첫 번째로 영상의 명암대비 개선을 하고 소벨 마스크(Sobel Mask) 패턴을 이용하여 윤곽선을 추출하며, 이는, 차량의 에지 정보에서 번호판 지역이 에지가 가장 많이 분포하기 때문이다(참조문헌 1, 2 참조).

또한, 윤곽선을 추출하고 나면 노이즈 제거를 하게 되는데, 이는, 번호판 지역 외에 라디에이터, 아스팔트 부분에 에지 성분이 많이 나타나기 때문이다.

이때, 배경 확장과 객체를 축소시키는 침식 연산은, 필터의 크기 및 사용 횟수에 따라 작은 덩어리의 객체들을 사라지게 할 수 있으며, 함수적 측면에서 볼 때 침식 연산의 수식은 이하의 [수학식 1]과 같다.

[수학식 1]

아울러, 배경 축소 및 객체 확장을 위한 팽창 연산은 필터의 크기 및 사용 횟수에 따라 객체 내부에 있는 작은 구멍들을 사라지게 할 수 있으며, 이러한 팽창연산의 수식은 이하의 [수학식 2]와 같다.

[수학식 2]

또한, 열림 연산은 침식연산과 팽창연산 순으로 연산을 조합하여 실행하며, 이하의 [수학식 3]은 열림 연산의 수식이다.

[수학식 3]

상기한 바와 같이, 먼저 실행되는 침식 연산의 효과로 객체보다 배경이 더 강조되며, 뚜렷하지 않은 객체들과 떨어져 있는 픽셀들은 제거된 후, 다음에 실행되는 팽창연산으로 남아 있는 픽셀들의 주변을 채워주는 효과에 의해 잡음을 제거하게 된다.

이어서, 노이즈를 제거하게 되면 에지의 성분으로 에지 히스토그램을 구하게 되고, 히스토그램 정보를 이용하여 최종적으로 번호판 후보영역을 검출하게 된다.

그러나 상기한 바와 같은 종래의 소벨 마스크 연산의 경우, 곱셈 연산이 들어가기 때문에 전처리 연산이 굉장히 오래 걸리게 되며, 또한, 침식, 팽창의 연산을 사용하여 노이즈를 제거할 경우 다양한 상황에서의 영상을 고려하지 않고 노이즈를 제거하기 때문에 인식률 또한 떨어지게 된다.

따라서 본 발명은, 이러한 종래의 느린 연산을 보완하기 위해, 윈도우 스캔(WindowScan) 연산 방식을 이용하여 윤곽선을 추출하고, 노이즈 지역과 번호판 지역의 특성 또는 다양한 상황을 고려하는 노이즈를 제거하는 새로운 연산 방식을 제안한다.

여기서, 이하에 설명하는 본 발명에 대한 설명에서, 자동차 번호판 후보영역 추출을 위한 실험에 사용되는 영상은 24비트의 컬러 영상이 아닌 8비트의 흑백(Gray-Scale) 영상이며, 흑백 영상이 컬러 영상보다 항상 좋은 결과는 나타내는 것은 아니지만, 예를 들면, 참조문헌 5에 제시된 바와 같이, 흑백 영상이 번호판 인식 시스템에 있어 더 효율적인 검증된 방법이므로 흑백 영상을 사용한다(참조문헌 5 참조).

먼저, 도 1을 참조하면, 도 1은 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 수행하는 자동차 번호판 인식 시스템의 전체적인 시스템 흐름(System Flow) 및 하드웨어 구성을 개략적으로 나타내는 도면이다.

도 1에 나타낸 바와 같이, 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 수행하는 자동차 번호판 인식 시스템은, 첫 번째로 윤곽선을 추출하는 단계를 수행하게 된다.

여기서, 윤곽선을 추출하는 단계에서, 기존의 알고리즘은 소벨 마스크(Sobel Mask) 패턴을 사용하였으나, 본 발명에서는 연산속도가 느린 단점을 보완하기 위해 윈도우 스캔(WindowScan) 연산 방식을 사용한다.

또한, 노이즈 제거단계에서, 노이즈 제거 연산은, 기존의 침식, 팽창 연산이 아닌, 노이즈 부분과 번호판 지역의 특성을 비교 분석하여 번호판 지역의 에지를 부각시킬 수 있도록 구성된다.

아울러, 이하의 설명에서, 본 발명에 따라 제안된 알고리즘의 성능을 비교, 분석하기 위한 검증 작업에는 i5 펜티엄 컴퓨터를 사용하였고, 소프트웨어 프로그램은 Visual Studio 2008 과 Boland C++ Builder 6.0을 사용하였으며, Verilog를 사용하여 하드웨어 기술을 하였고, Xilinx ISE 10.1을 이용하여 회로 합성을 수행하였다.

계속해서, 윈도우 스캔(WindowScan)을 이용한 윤곽선 추출방법에 대하여 설명한다.

도 2를 참조하면, 도 2는 윈도우 스캔 알고리즘의 연산과정을 개략적으로 나타내는 도면이다.

더 상세하게는, 자동차 번호판 인식을 위한 전처리 과정 중 윤곽선 추출 알고리즘은 필수적으로 사용되는 과정이며, 이는, 차량의 윤곽선을 추출하여 윤곽선의 에지 정보를 가지고 번호판 영역을 검출하는 것은 이미 검증된 방법이기 때문이다.

그 중에서도 가장 많이 사용되고 있는 알고리즘이 상기한 소벨 마스크 알고리즘이나, 이는 곱셈연산이 들어가기 때문에 최근의 고속 인식에 대한 요구에는 한계가 있다.

따라서 본 발명에서는, 이러한 소벨 마스크 알고리즘의 느린 연산의 단점을 보완하기 위해 윈도우 스캔 윤곽선 추출 알고리즘을 사용하였다.

즉, 윈도우 스캔 알고리즘은, 오직 덧셈과 뺄셈 연산만으로 이루어져 있기 때문에 연산속도가 굉장히 빠르며, 또한, 윤곽선 추출 후 에지의 성분은 픽셀이 2진화된 형태로 참조하기 때문에, 소벨 마스크의 경우 픽셀의 2진화 연산을 한 번 더 거쳐야 하지만 윈도우 스캔 알고리즘은 연산시 픽셀의 정보가 바로 2진화 형태가 되므로 연산량을 많이 줄일 수 있는 장점이 있다(참조문헌 6 참조).

더 상세하게는, 윈도우 스캔 연산은, 도 2에 나타낸 바와 같이, 3×3 윈도우를 2개 이용하여 각각 윈도우 안에 있는 9개의 픽셀의 합을 구하고, 2개의 윈도우합의 차를 구해서 기준이 되는 임계(Threshold)값 보다 크면 에지로 판단하여 윤곽선을 추출하게 된다.

여기서, 본 발명에서는, 상기한 임계(Threshold)값을 75로 설정하였으며, 윈도우 스캔의 연산방법을 수식으로 표현하면 이하의 [수학식4]와 같다.

[수학식4]

또한, 도 3을 참조하면, 도 3은 종래의 소벨 마스크 알고리즘과 윈도우 스캔 알고리즘을 각각 사용하여 차량의 윤곽선을 추출한 영상을 나타내는 도면이다.

즉, 도 3에 나타낸 바와 같이, 본 발명자들은, 실제 윈도우 스캔 연산시 소벨 마스크 연산을 이용한 윤곽선 이미지처럼 윤곽선이 잘 나타난 것을 알 수 있었으며, 연산시간 역시 소벨 마스크 연산보다 더 빠르다는 것을 알 수 있었다.

계속해서, 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법에서의 노이즈 제거방법에 대하여 설명한다.

본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법에 적용되는 자동차 번호판 후보영역 추출방법은 에지 히스토그램을 이용한 번호판 추출이다(참조문헌 3, 4 참조).

즉, 자동차의 윤곽선을 추출하게 되면 윤곽선 자체를 에지로 판단하여 에지 히스토그램을 구하고 에지의 밀집도를 비교하여 밀집도가 가장 높은 부분을 번호판 후보영역으로 정하게 된다.

그 이유는 자동차의 번호판 지역이 다른 지역보다 상대적으로 에지의 수가 많기 때문이나, 종래에는, 자동차의 원본 영상에서 윤곽선을 구하게 되면 여러 가지 상황에 따라 차량의 라디에이터 부분이나 아스팔트 지역 등 에지들이 많이 생겨 번호판 후보영역을 추출하는 데 있어 어려움이 있었다.

따라서 본 발명에서는, 다음과 같이 하여 번호판 지역 외에 에지 부분을 노이즈로 판단하고 번호판 지역의 에지를 살리면서 노이즈를 제거하도록 노이즈 제거단계가 구성된다.

먼저, 번호판 지역 에지와 아스팔트 지역 노이즈 특성의 비교에 대하여 설명하면, 아스팔트 지역의 노이즈 양은 자동차 영상이 찍힐 때의 환경에 따라 다르며, 특히, 아스팔트가 햇빛에 반사되었을 경우 또는 비오는 날에는 노이즈가 많이 생기고, 그늘이나 그림자가 진 경우 그리고 야간에는 상대적으로 노이즈가 적게 생긴다.

일반적으로 노이즈 제거는 2진화된 영상에서 침식, 팽창을 이용하여 노이즈를 제거하게 되나(참조문헌 1 참조), 본 발명에 따른 노이즈 제거 알고리즘은, 번호판 지역의 특성과 노이즈 부분의 특성을 분석하여 노이즈를 제거하게 된다.

도 4를 참조하면, 도 4는 차량의 윤곽선 영상에서 번호판 지역의 에지와 아스팔트 지역의 노이즈를 확대하여 나타낸 도면이다.

즉, 도 4에 나타낸 바와 같이, 번호판 지역의 에지와 아스팔트 지역의 에지를 비교해 보면, 번호판 지역은 에지들이 세로로 연속적으로 길게 이어져 있는 반면, 아스팔트 지역의 에지들은 무작위로 분포되어있는 것을 알 수 있다.

따라서 본 발명에서는, 상기한 바와 같이 번호판 지역의 에지들이 세로로 연속적으로 이어져 있으며 아스팔트의 지역 에지들은 무작위로 분포되어있는 특성을 살려 노이즈를 제거하도록 구성된다.

더 상세하게는, 도 5를 참조하면, 도 5는 번호판 지역의 에지 특성과 아스팔트의 지역 에지 특성을 이용하여 노이즈를 제거하기 위한 연산방법을 개략적으로 나타내는 도면이다.

도 5에 나타낸 바와 같이, 번호판 지역의 에지 특성과 아스팔트의 지역 에지 특성을 이용하여 노이즈를 제거하기 위한 연산방법은, 2진화된 자동차 윤곽선 이미지의 좌측 상단부터 시작하여 세로로 위에서부터 아래로 30 픽셀을 비교하여 현재픽셀과 다음 픽셀의 값이 다를 때의 수를 세고, 그 수가 4 이상이 되면 세로로 30 픽셀은 모두 하얀색 픽셀로 채워지게 되며, 4 미만일 경우에는 30 픽셀의 값들은 변하지 않는다.

여기서, 30 픽셀을 모두 하얀색으로 채우는 경우가 노이즈를 제거하는 경우이며, 연산방법을 식으로 표현하면 이하의 [수학식 5]와 같다.

[수학식 5]

if(Different_Count >= 4)

for(j=0; j<Height-30; j+=30)

for(i=0; i<Width-1; i++)

for(y=j; y<j+30; y++)

Image(i,y) = 255;

또한, 도 6을 참조하면, 도 6은 도 5에 나타낸 번호판 지역의 에지 특성과 아스팔트의 지역 에지 특성을 이용하여 노이즈를 제거하기 위한 연산방법을 적용하여 노이즈를 제거한 결과를 나타내는 도면이다.

도 6에 나타낸 바와 같이, 노이즈 제거 적용 후의 영상에서 번호판 지역의 에지들은 노이즈 제거 적용 전과 비슷한 반면, 아스팔트 부분의 에지들은 많이 제거된 것을 확인할 수 있다.

여기서, 상기한 바와 같이 하여 노이즈 제거 연산 후에도 남아있는 노이즈들은 다음과 같이 두 번째 노이즈 제거 연산을 통하여 다시 노이즈 제거를 수행함으로써 완벽히 제거하게 된다.

즉, 도 7을 참조하면, 도 7은 도 5에 나타낸 첫 번째 노이즈 제거 연산 후에 남아있는 노이즈를 제거하기 위한 두 번째 노이즈 제거 연산방법을 나타내는 도면이다.

더 상세하게는, 도 7에 나타낸 바와 같이, 두 번째 노이즈 제거 연산 방법은, 4×4 윈도우를 좌측 상단부터 오른쪽으로 이동해가며 16개의 픽셀 중 검은색 픽셀이 기준이 되는 값 이상이면 그 픽셀은 남기고 기준 값 미만이면 검은색 픽셀을 제거하도록 구성된다.

즉, 첫 번째 노이즈 제거에서 아스팔트 지역의 검은색 픽셀이 많이 제거가 되었기 때문에 4×4 사이즈의 윈도우 안의 검은색 픽셀은 그 수가 많지 않다.

따라서 기준 값이 높아지면 높아질수록 두 번째 노이즈 제거를 수행했을 경우 아스팔트 지역의 검은색 픽셀이 많이 제거된다.

하지만 그 기준 값이 너무 높으며 번호판 지역의 검은색 픽셀까지 제거되기 때문에 적당한 임계(Threshold)값을 설정해야 한다.

여기서, 본 실시예에서는 기준 값을 11로 설정하였으며, 식으로 표현하면 이하의 [수학식 6]과 같다.

[수학식 6]

if(Black_Pixel < 11)

for(j=0; j<Height-4; j+=4)

for(i=0; i<Width-4; i+=4)

for(y=j; y<j+4; y++)

for(x=j; x<i+4; y++)

Image(x,y) = 255;

또한, 도 8을 참조하면, 도 8은 상기한 바와 같이 하여 두 번째 노이즈 제거 연산을 수행한 결과를 나타내는 도면이다.

즉, 도 8에 나타낸 바와 같이, 첫 번째 노이즈 제거 영상과 비교하면 두 번째 노이즈 제거를 수행했을 경우 아스팔트 지역의 검은색 픽셀이 완벽히 제거된 것을 알 수 있다.

계속해서, 에지 히스토그램(Edge Histogram) 추출방법에 대하여 설명한다.

자동차의 원본 영상에서 윤곽선을 추출하고 노이즈를 제거하게 되면 영상의 한 줄 마다 에지 히스토그램(Edge Histogram)을 추출하게 된다.

여기서, 에지 히스토그램이란, 2진 영상에서 가로로 한 줄 마다 현재 픽셀과 우측으로 다음 픽셀을 비교하여 픽셀 값이 다를 경우의 수를 카운트하여 누적시키는 것을 의미하며, 이를 수식으로 표현하면 이하의 [수학식 7]과 같다.

[수학식 7]

for(j=0; j<Height-1; j++)

for(i=0; i<Width-1; i++)

if( Image(i-1,j) != Image(i,j) )

Edge_Histogram(j)++;

또한, 도 9 및 도 10을 참조하면, 도 9는 에지 히스토그램의 추출방법을 개략적으로 나타내는 도면이고, 도 10은 실제 영상에서 에지 히스토그램을 추출한 영상을 나타내는 도면이다.

다음으로, 번호판 후보영역의 추출방법에 대하여 설명한다.

상기한 바와 같이 하여 영상의 각 줄마다 에지의 수를 누적시켜 에지 히스토그램을 구하게 되면, 영상의 위에서부터 아래로 일정한 범위로 나누어 에지의 수를 평균을 구하게 된다.

즉, 본 발명에 따른 번호판 후보영역의 추출방법은, 에지의 빈도 수가 가장 많은 부분을 번호판 지역으로 지정하도록 구성되며, 따라서 일정한 구간별로 평균을 구하여 그 평균값이 가장 높은 구간이 번호판 후보영역으로 선정된다.

더 상세하게는, 도 11을 참조하면, 도 11은 에지 히스토그램 구간별 평균의 연산방법을 나타내는 도면이다.

여기서, 도 11에 나타낸 실시예에서는, 구간 폭을 70 라인으로 설정하였으며, 연산 방향은 이미지의 위부터 아래로 평균을 구하였다.

아울러, 구간별로 평균을 구하면 그 구간의 가장 윗줄에 그 평균값을 저장하며, 즉, 도 11에 있어서, a 구간의 평균은 0라인에 저장되고, b는 1라인, c는 2라인, d는 H-70 라인에 평균값이 저장된다.

이와 같이 하여 모든 구간의 평균값을 구하면, 다시 위에서부터 평균값을 비교하면서 평균값 중 가장 큰 값을 찾아내고, 그 후 가장 큰 값의 위치에서 아래로 100 라인 위치까지를 번호판 후보영역으로 선정한다.

즉, 도 12 및 도 13을 참조하면, 도 12는 평균값들 중 가장 큰 값을 찾아내어 번호판 영역을 잘라내는 방법을 나타내는 도면이고, 도 13은 번호판 후보영역을 검출하여 차량 영상에서 가로지역의 번호판 후보영역을 최종적으로 잘라낸 영상을 나타내는 도면이다.

따라서 상기한 바와 같이 하여 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 구현할 수 있다.

계속해서, 상기한 바와 같은 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법의 알고리즘을 실제 하드웨어로 구현하기 위한 하드웨어 블록 설계방법에 대하여 설명한다.

즉, 본 발명자들은, 상기한 바와 같이, 종래의 소프트웨어를 이용한 자동차 번호판 인식시스템의 느린 연산 속도를 개선하기 위해, 자동차 번호판 인식을 위한 번호판 후보영역 추출 알고리즘의 하드웨어 블록을, 빠른 시간 내에 연산을 수행할 수 있도록 각 알고리즘별로 하드웨어 설계시 파이프라인 방식을 적용하여 연산 클록수를 최소화하였다.

여기서, 하드웨어 구조는, 각 알고리즘별로 모듈과 FPGA의 내부 메모리로 구성되며, 테스트를 위해 테스트 벤치(Testbench) 내에 가상 메모리를 생성하여 사용하였다.

먼저, 본 발명에 따른 윈도우 스캔 알고리즘을 구현하기 위한 하드웨어 구조에 대하여 설명한다.

상기한 바와 같이, 윈도우 스캔 윤곽선 추출 알고리즘은 덧셈과 뺄셈으로만 이루어져 있기 때문에 연산속도가 굉장히 빠른 알고리즘이며, 또한, 본 발명에 따라 제시되는 하드웨어 구조는 파이프라인 방식을 적용하여 연산 클록수를 최소화 하도록 구성된다.

즉, 도 14 및 도 15를 참조하면, 도 14는 윈도우 스캔을 위한 하드웨어 동작의 구성을 개략적으로 나타내는 도면이고, 도 15는 윈도우 스캔 하드웨어의 타이밍도이다.

도 14 및 도 15에 나타낸 바와 같이, 최초 이미지 메모리로부터 데이터를 읽어 들여 최종 9 픽셀의 에지 데이터를 쓰기까지 30 클록이 걸린다.

따라서 일반적으로는 다음 9 픽셀의 에지 데이터를 쓰기까지는 60 클록이 걸리지만, 본 발명에 따르면, 파이프라인 방식을 적용하여 처음 A Window 데이터와 B Window 데이터를 읽어 들인 후 쉬지 않고 바로 두 번째 A Window 데이터와 B Window 데이터를 읽어 들이기 때문에 그 이후 11 클록을 줄일 수 있다.

따라서 본 발명에 따르면, 최소 30 클록 이후 30 클록에서 11 클록을 뺀 19 클록 만에 9개의 출력 데이터가 나오게 된다.

또한, 도 16을 참조하면, 도 16은 상기한 바와 같은 윈도우 스캔 방식을 구현하는 실제 하드웨어 설계를 위한 블록도를 나타내는 도면이다.

도 16에 나타낸 바와 같이, 윈도우 스캔의 내부 블록은 모듈별로 나누어지며, 더 상세하게는, 메모리에서 데이터를 읽기 위한 어드레스 컨트롤러 모듈과, A 윈도우와 B 윈도우의 데이터들을 더하는 모듈 및 A 윈도우의 데이터 합과 B 윈도우의 데이터 합의 차를 구하고 절대값을 구하는 모듈을 포함하여 구성된다.

계속해서, 본 발명에 따른 노이즈 제거 알고리즘을 구현하기 위한 하드웨어 구조에 대하여 설명한다.

즉, 도 17 및 도 18을 참조하면, 도 17은 본 발명에 따른 첫 번째 노이즈 제거 알고리즘을 구현하기 위한 하드웨어 동작 구성을 개략적으로 나타내는 도면이고, 도 18은 도 17에 나타낸 첫 번째 노이즈 제거 필터 알고리즘의 하드웨어 타이밍도이다.

더 상세하게는, 상기한 바와 같이 본 발명에 따른 윈도우 스캔 알고리즘으로 차량의 윤곽선 영상을 구하게 되면 아스팔트 및 차량의 라디에이터 지역에 생기는 노이즈가 제거된다.

여기서, 도 17 및 도 18에 나타낸 바와 같이, 첫 번째 노이즈 제거 필터는 세로로 30 픽셀을 차례대로 데이터를 읽어 들이면서 현재 픽셀 데이터 값과 이전 픽셀 데이터 값을 비교하여 값이 서로 다를 경우 하나씩 수를 카운트하고, 30 픽셀을 모두 비교하여 카운트 된 수를 다시 숫자 4와 비교하여, 카운트 수가 4 이상이면 읽어 들였던 30 픽셀의 자리를 모두 흰색 픽셀로 채우며, 4 미만일 경우는 그냥 그대로 두도록 구성된다.

따라서 카운트 된 수에 따라 최종 연산 클록 수는 2가지로 나뉘게 되며, 즉, 만약 카운트의 수가 4 이상이라면, 30 픽셀 자리를 모두 흰색 픽셀로 채워야 하므로 30 클록 수만큼 메모리에 다시 출력 데이터를 써야 하나, 카운트의 수가 4 미만이라면, 그 자리의 데이터는 그대로 두기 때문에 30 클록을 다시 쓰지 않고 바로 다음 연산으로 넘어가게 된다.

따라서 카운트 수가 4 이상일 경우는 최초부터 최종적으로 메모리에 모든 데이터를 쓰기까지 62 클록이 걸리며, 카운트 수가 4 미만일 경우는 32 클록만이 소요된다.

또한, 도 19를 참조하면, 도 19는 상기한 바와 같은 첫 번째 노이즈 제거 필터의 알고리즘을 실제로 구현하는 하드웨어 블록의 내부 구성을 개략적으로 나타내는 블록도이다.

도 19에 나타낸 바와 같이, 본 실시예에 따른 첫 번째 노이즈 제거 필터는, 메모리로부터 데이터를 읽는 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈과, 읽어 들인 데이터를 서로 비교하고 카운트하여 데이터를 다시 쓰는 데이터 비교 및 쓰기 모듈을 포함하는 2개의 모듈을 포함하여 구성된다.

이어서, 상기한 바와 같이 하여 첫 번째 노이즈 제거를 위한 연산이 끝나면 두 번째 노이즈 연산에 의해 아스팔트 및 차량의 라디에이터 지역에 남아있는 노이즈를 완벽히 없애는 과정이 수행된다.

즉, 도 20을 참조하면, 도 20은 본 발명에 따른 두 번째 노이즈 제거 알고리즘을 구현하기 위한 하드웨어 동작 구성을 개략적으로 나타내는 도면이고, 도 21은 도 20에 나타낸 두 번째 노이즈 제거 필터 알고리즘의 하드웨어 타이밍도이다.

더 상세하게는, 도 20 및 도 21에 나타낸 바와 같이, 본 발명에 따른 두 번째 노이즈 제거 연산은, 4×4 윈도우 안의 16개의 픽셀을 메모리로부터 읽어 들이고, 그 중 검은색 픽셀의 개수를 센 다음, 검은색 픽셀이 11개 이상이면 그 자리의 픽셀들은 그대로 두고, 검은색 픽셀이 11개 미만일 경우는 16개의 자리의 픽셀을 모두 흰색 픽셀로 채우도록 구성된다.

따라서 검은색 픽셀이 11개 이상이면 최초 메모리에서 데이터를 읽어들여 다음 연산까지 18 클록이 걸리게 되고, 검은색 픽셀이 11개 미만일 경우는 16번을 메모리에 다시 써야 하기 때문에 18 클록에서 16 클록이 더 걸려 최종적으로 34 클록이 걸리게 된다.

또한, 도 22를 참조하면, 도 22는 상기한 바와 같은 도 20에 나타낸 두 번째 노이즈 제거 필터의 알고리즘을 실제로 구현하는 하드웨어 블록의 내부 구성을 개략적으로 나타내는 블록도이다.

도 22에 나타낸 바와 같이, 두 번째 노이즈 제거 필터도, 첫 번째 노이즈 제거 필터와 마찬가지로, 데이터를 읽기 위한 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈과, 읽어 들인 데이터를 서로 비교하고 카운트하여 데이터를 다시 쓰는 데이터 비교 및 쓰기 모듈을 포함하는 2개의 모듈을 포함하여 구성될 수 있다.

다음으로, 에지 히스토그램 및 번호판 후보영역 추출을 위한 하드웨어 구성에 대하여 설명한다.

먼저, 도 23을 참조하면, 도 23은 영상에서 한 줄(line)의 에지의 수를 세어 메모리에 저장하는 순서를 나타내는 도면이다.

도 23에 나타낸 바와 같이, 영상에서 한 줄씩 에지의 수를 세어 이미지의 모든 줄 만큼 각각 저장하기 위해서는 이미지의 세로 사이즈만큼의 메모리 사이즈가 필요하다.

여기서, 본 실시예에서는, FPGA 코어 제네레이터(Core generator)를 이용하여 이미지의 세로 사이즈만큼의 내부 메모리를 생성하여 사용하였다.

또한, 코어 제네레이터로 생성한 메모리는 듀얼 포트(Dual Port) SRAM 이며, 메모리 사이즈는 이미지의 세로 사이즈로 생성하여, 1번째 라인의 에지의 수는 0번째 어드레스부터 순서대로 마지막 H번째 라인의 에지의 수는 메모리의 H-1번째 어드레스에 저장한다.

아울러, 도 24를 참조하면, 도 24는 에지 히스토그램 추출을 위한 하드웨어 블록의 내부 구성을 개략적으로 나타내는 블록도이다.

도 24에 나타낸 바와 같이, 에지 히스토그램 추출 모듈은, 읽은 데이터는 이미지 데이터이므로 이미지 데이터가 저장된 외부 메모리로부터 데이터를 읽어 들이고, 이후, 쓰는 데이터는 에지의 수를 저장하는 것이므로 출력데이터는 내부 DPSRAM(Dual Port SRAM)에 데이터를 쓰게 된다.

구체적으로는, 도 25를 참조하면, 도 25는 70 라인 에지 개수의 평균값을 구하기 위한 하드웨어 구성을 나타내는 도면이다.

도 25에 나타낸 바와 같이, 영상의 라인별로 에지의 수를 구해 메모리에 저장하게 되면, 다시 70 라인별로 에지 개수의 평균을 구하게 되며, 따라서 70 라인의 메모리 어드레스만큼 데이터를 더하면서 계속 누적시키게 된다.

그 후, 70 라인만큼 데이터를 누적시키면 70으로 나누어 평균값을 구하고, 다시 그 평균값을 70 라인에서 가장 첫 번째 라인에 해당하는 주소에 평균값을 저장하며, 여기서, 70 라인의 평균값은 Height - 71 라인 까지만 구하게 된다.

또한, 70 라인의 평균값을 모두 구하게 되면, 최종적으로 평균값들을 비교하면서 그 중 가장 큰 값에 해당하는 메모리의 주소 위치가 차량의 영상에서 y 좌표가 자동차 번호판 후보영역에 해당되는 것이다.

즉, 도 26을 참조하면, 도 26은 70 라인 평균값을 계속 비교하면서 가장 큰 값을 찾아내어 최종 번호판 후보영역의 좌표를 찾아내는 하드웨어 구성도이며, 도 27은 70 라인 에지 개수의 평균을 구하는 구성과 최종 번호판 후보영역의 좌표를 찾아내는 구성에 DPSRAM을 연결한 최종 번호판 후보영역 좌표 추출 하드웨어의 내부 블록도이다.

더 상세하게는, 도 26에 있어서, Read Address Count가 DPSRAM의 첫 번째 주소부터 차례대로 Height - 71번째 주소까지 계속 Address를 카운트하여 데이터를 읽어 들이고, 읽어 들인 데이터를 계속 비교하면서 가장 큰 값을 찾고, 가장 큰 값에 해당하는 주소 번지가 번호판 후보영역의 좌표가 되는 것이다.

아울러, 도 27에 있어서, 에지 히스토그램을 구하는 Edge Count 모듈과 70 라인 에지 개수의 평균을 구하는 모듈인 70 Line Average 모듈 및 최종 번호판 후보영역의 좌표를 구하는 Recog Find 모듈이 하나의 DPSRAM을 사용하므로, 각 Control 시간에 따라 Data와 Address를 하나만 출력시킬 수 있도록, 중간에 Data&Address Mux를 사용하였다.

다음으로, 상기한 바와 같이 하여 구현되는 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 구현하기 위한 전체 하드웨어 구조에 대하여 설명한다.

즉, 본 발명에 따르면, 자동차 번호판 추출의 위한 각각의 전처리 알고리즘이 모듈별로 설계되며, 각 모듈을 연결하여 최종 탑 모듈(top module)이 생성된다.

더 상세하게는, 도 28을 참조하면, 도 28은 상기한 바와 같은 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 구현하기 위하여 자동차 번호판 후보영역 추출을 위한 전체 하드웨어 내부 구성을 개략적으로 나타내는 블록도이다.

도 28에 나타낸 바와 같이, 본 발명에 따른 자동차 번호판 후보영역 추출을 위한 하드웨어 구성은, 윈도우 스캔 연산과 첫 번째 노이즈 제거 연산 및 두 번째 노이즈 제거 연산을 위해 테스트 벤치(TestBench) 내에 메모리를 생성하여 사용하였으며, 3가지의 연산을 하나의 메모리로 사용하므로 각 연산 시간대에 맞춰 메모리 컨트롤을 할 수 있도록 Data와 Address Mux를 따로 설계하여 연결하였다.

따라서 상기한 바와 같이 하여, 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법을 구현하기 위한 하드웨어 블록을 구성할 수 있다.

계속해서, 상기한 바와 같이 하여 구현된 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 구현하기 위한 하드웨어 블록에 대하여 시뮬레이션을 통해 실제 성능을 시험한 실험결과에 대하여 설명한다.

즉, 본 발명자들은, 상기한 바와 같은 본 발명에 따른 자동차 번호판 후보영역을 효과적으로 추출하기 위한 알고리즘에 대한 테스트를 C++언어를 사용하여 수행하였으며, 하드웨어 설계는 Verilog 언어를 사용하여 설계하였다.

더 상세하게는, 이하의 [표 1]은 본 발명에서 제안한 소프트웨어 알고리즘 테스트를 위한 소프트웨어 툴과 하드웨어 합성 및 시뮬레이션을 위한 합성 툴과 시뮬레이션 툴을 각각 정리하여 나타낸 것이다.

	사용 툴 명
소프트웨어 빌드(Software Build)	C++ Builder, Visual Studio 2008
하드웨어(Hardware) 합성툴	ISE 10.1
시물레이션(Simulation)	Modelsim 6.1f
이미지 사이즈(Image size)	1304*1024

아울러, 본 발명자들은, 본 발명에 따른 상기한 번호판 후보영역 추출 알고리즘 인식률과 하드웨어 구현의 성능을 검증하기 위해, 소프트웨어로 기존 알고리즘과 본 발명에 따른 알고리즘의 인식률을 비교하였으며, 각 알고리즘별로 하드웨어 설계 후 먼저 시뮬레이션 검증을 하고 모든 알고리즘의 모듈을 연결하여 최종 번호판 후보영역의 좌표가 나오는 부분을 시뮬레이션을 통해 검증하여 소프트웨어 인식률과 하드웨어 인식률을 비교하였다.

먼저, 자동차 번호판 추출을 위한 전처리 소프트웨어에 대한 실험결과에 대하여 설명한다.

상기한 바와 같이, 본 발명에 따른 자동차 번호판 추출방법은, 속도 개선을 위해 윤곽선 추출 알고리즘을 기존의 곱셈 연산이 들어간 알고리즘이 아니라 덧셈과 뺄셈으로만 이루어진 윈도우 스캔 알고리즘을 사용하였으며, 또한, 인식률을 높이기 위해 2번의 노이즈 제거를 행하는 전처리 방법을 사용하였다.

아울러, 도 29를 참조하면, 도 29는 본 발명에 따른 알고리즘에 대한 테스트를 위해 사용된 자동차 후보영역 추출 소프트웨어 프로그램의 실제 구동화면을 나타내는 도면이다.

이와 같은 방법으로 실제 과속으로 찍힌 자동차 주간 영상 700개, 야간 영상 500개의 총 1200개의 영상을 실험하였으며, [표 2]에 나타낸 바와 같은 인식률 결과를 얻었다.

	실험영상 개수	성공	실패	인식률
주간	700	650	50	92.8%
야간	500	480	20	96%
전체	1200	1130	70	94.1%

즉, [표 2]에 나타낸 결과로부터, 주간 700개의 영상 중 650개의 영상이 자동차 번호판 후보영역을 정확히 추출했으며, 나머지 50개의 영상은 번호판 지역이 아닌 다른 곳으로 후보영역을 추출하여 92.8%의 인식률을 나타내었고, 야간 500개의 영상 중에서는 480개의 영상이 자동차 번호판 후보영역을 제대로 추출했으며, 나머지 20개의 영상은 번호판 지역이 아닌 다른 곳으로 후보영역을 추출하여 96%인식률을 나타내었음을 알 수 있다.

따라서 전체 1200개의 영상 중 1130개의 영상이 자동차 번호판 후보영역을 제대로 추출하여 94.1%의 인식률 결과를 얻을 수 있었다.

또한, 이하의 [표 3]을 참조하면, [표 3]은 기존 알고리즘의 인식률과 본 발명에 따른 알고리즘의 인식률을 비교한 결과를 나타내는 표이다.

	기존 알고리즘	본 발명에 따른 알고리즘
입력 영상	흑백(Gray-Scale) 영상	흑백(Gray-Scale) 영상
전처리 과정	영상의 명암대비 개선
	윤곽선 추출(Sobel Mask)	윤곽선 추출(Window Scan)
	노이즈 제거 (침식, 팽창)	노이즈 제거 (번호판 지역과 노이즈 지역의 특징을 이용한 2단계 노이즈 제거)
	에지 투영을 이용한 에지 히스토그램(Edge Histogram) 추출	에지 투영을 이용한 에지 히스토그램(Edge Histogram) 추출
	번호판 후보영역 추출	번호판 후보영역 추출
인식률	90%	94.1%

즉, [표 3]에 나타낸 바와 같이, 기존의 알고리즘은, 흑백(Gray-Scale) 영상에서 명암대비 개선을 하고, 소벨 마스크(Sobel Mask)를 이용하여 윤곽선을 추출한 후, 침식, 팽창 과정을 거쳐 노이즈 제거를 하고, 에지 히스토그램을 추출하여 에지 히스토그램의 정보를 가지고 자동차 번호판 후보영역을 추출하도록 구성되어, 90%의 인식률을 나타내었으나, 본 발명에 따른 알고리즘의 인식률은 94.1%로서, 4.1% 향상된 결과를 얻을 수 있었음을 알 수 있다.

여기서, 번호판 후보영역 추출에 실패한 영상은, 번호판 주변에 그림자가 지거나, 또는, 차량의 범퍼가 번호판 지역의 색과 비슷한 경우에, 번호판 지역의 에지의 특징이 제대로 나타나지 않아 번호판 후보영역 추출에 실패한 경우가 많다.

따라서 이러한 문제를 해소하기 위하여는, 차량의 에지를 추출하는 과정에서 번호판 지역이 더 부각될 수 있도록 영상의 명암변화 또는 더욱 민감한 임계(Threshold)값을 적용하여 에지를 검출해야 한다.

다음으로, 상기한 바와 같은 본 발명에 따른 번호판 후보영역 추출 알고리즘을 구현하기 위한 하드웨어 구성의 시뮬레이션 결과에 대하여 설명한다.

즉, 본 발명자들은, 본 발명에 따른 번호판 후보영역 추출 알고리즘을 구현하기 위한 상기한 바와 같은 하드웨어 구성에 대한 성능을 시뮬레이션 결과로 확인하고, 하드웨어와 소프트웨어의 연산결과 이미지, 연산 시간을 각 알고리즘별로 비교하였으며, 또한, 최종 번호판 후보영역 좌표를 소프트웨어와 하드웨어를 각각 계산하여 소프트웨어로 검증된 인식률과 하드웨어 설계 결과 인식률을 비교하였다.

먼저, 윈도우 스캔 알고리즘을 구현하기 위한 하드웨어 설계의 실험결과에 대하여 설명한다.

도 30을 참조하면, 도 30은 윈도우 스캔 알고리즘의 하드웨어 설계 초반의 시뮬레이션 결과를 나타내는 도면이다.

더 상세하게는, 도 30에 나타낸 윈도우 스캔 처음 부분 확대 시뮬레이션에 있어서, 왼쪽 포트 리스트(Port List)의 RD_ADDR 포트가 메모리에서 데이터를 읽기 위해 어드레스를 출력하는 포트로서, A Window에 해당하는 어드레스를 9번 출력하고 이후 B Window에 해당하는 어드레스를 9번 출력하는 것을 알 수 있다.

또한, RD_DATA의 포트는 메모리의 데이터를 읽는 포트로서, 어드레스 출력 후 그에 해당하는 어드레스의 데이터를 읽어 들이는 것을 확인할 수 있다.

상기한 바와 같이, 데이터를 읽어 들이면서 데이터를 계속 더해 누적시키고 A Window 데이터 9개와 B Window 데이터 9개를 전부 읽어 들이게 되면, 누적된 데이터를 WIN_A_SUM 과 WIN_B_SUM을 통해 누적값을 확인할 수 있다.

이후, A의 누적값과 B의 누적값의 차를 구하고 절대값을 적용한 값을 REG_AB_SUB을 통해 확인할 수 있으며, REG_AB_SUB의 값을 임계(Threshold)값과 비교하고 쓰기 위한 어드레스와 데이터를 WR_ADDR 와 WR_DATA 포트를 통해 출력하게 된다.

아울러, 도 31을 참조하면, 도 31은 윈도우 스캔 알고리즘의 연산에 대한 전체 시뮬레이션 파형을 나태내는 도면이다.

도 31에 있어서, 시뮬레이션 클록 주기는 2ns로 주파수로 계산하면 500MHz 가 된다.

도 31에 나타낸 전체 시뮬레이션 파형을 보면, 윈도우 스캔 알고리즘의 전체 연산 시간이 약 6ms에서 최종 연산이 끝나는 것을 알 수 있다.

따라서 클록 주파수가 500MHz 일 때 윈도우 스캔 연산 시간은 약 0.006초가 소요된다.

또한, 도 32를 참조하면, 도 32는 실제 소프트웨어와 하드웨어로 윈도우 스캔 알고리즘을 연산하여 얻어진 이미지이다.

여기서, 도 32에 있어서, 하드웨어 연산시 어드레스 계산에 약간의 오차가 있어 소프트웨어의 결과와 하드웨어의 결과 데이터가 약간의 오차를 가지는 결과가 얻어졌으나, 번호판 후보영역을 추출함에 있어서는 지장이 없기 때문에 이러한 결과의 오차는 무의미하다고 할 수 있다.

다음으로, 본 발명에 따른 첫 번째 노이즈 제거 알고리즘을 구현하기 위한 하드웨어 설계의 실험결과에 대하여 설명한다.

본 발명에 따른 노이즈 제거 연산은, 윈도우 스캔 연산이 끝나게 되면 윈도우스캔 영상의 데이터를 읽어 들여 첫 번째 노이즈 제거 연산을 하게 된다.

여기서, 첫 번째 노이즈 제거 시뮬레이션 환경은 윈도우 스캔 연산의 시뮬레이션과 같은 환경으로 테스트 벤치 내에서 클록 주파수는 500MHz로 2ns의 주기를 가지는 클록으로 입력을 주었다.

즉, 도 33을 참조하면, 도 33은 본 발명에 따른 첫 번째 노이즈 제거 연산의 초반 시뮬레이션 결과를 나타내는 도면이다.

더 상세하게는, 첫 번째 노이즈 제거 필터의 처음 부분 확대 시뮬레이션을 보면, Read_Addr을 통해 읽기 위한 어드레스를 출력하고, 어드레스 출력 이후 1 클록 이후 Read_Data를 통해 데이터를 읽어 들인다.

이어서, 읽어 들인 N번째 데이터를 Data_Compare_Reg에 저장하고, 다음 클록에 들어오는 N+1번째 데이터와 N번째 데이터를 저장했던 Data_Compare_Reg와 비교하여 값이 틀릴 경우 different_count를 한번 카운트하고 카운트 데이터를 누적시킨다.

이와 같이 하여 누적된 카운트가 4 이상이면 해당되는 어드레스에 흰색 픽셀 값인 255 값을 쓰게 된다.

또한, 도 34를 참조하면, 도 34는 본 발명에 따른 첫 번째 노이즈제거 연산의 전체 시뮬레이션 파형을 나타내는 도면이다.

즉, 도 34를 참조하면, 윈도우 스캔 연산이 끝난 시점부터 첫 번째 노이즈 제거 필터 연산을 시작하게 되며, 연산 시작시간은 약 5.9ms이고, 연산 종료시간은 약 9.4ms인 것을 확인할 수 있다.

따라서 첫 번째 노이즈 제거의 총 연산시간은 0.0035초가 걸리는 것을 계산할 수 있다.

아울러, 도 35를 참조하면, 도 35는 본 발명에 따른 첫 번째 노이즈 제거 연산을 S/W와 H/W를 통해 실제로 수행하여 얻어진 결과를 각각 나타내는 도면이다.

계속해서, 본 발명에 따른 두 번째 노이즈 제거 알고리즘의 하드웨어 설계에 대한 실험결과에 대하여 설명한다.

상기한 바와 같이, 첫 번째 노이즈 제거 연산이 끝나게 되면 첫 번째 노이즈 제거 연산까지 적용된 영상의 데이터를 가지고 바로 두 번째 노이즈 제거 연산을 시작하게 되며, 이때, 시뮬레이션 환경은 윈도우 스캔, 첫 번째 노이즈 제거 필터의 환경과 같다.

더 상세하게는, 4×4윈도우에 해당하는 16개의 어드레스를 차례대로 출력시키고, 16개의 데이터를 차례대로 입력받아, 그 중 검은색 픽셀값인 0 값에 해당하는 데이터의 수를 세어 제안한 임계(Threshold)값인 11개 이상이면 해당하는 16개의 어드레스에 모두 255 값으로 채우게 된다.

아울러, 도 36을 참조하면, 도 36은 본 발명에 따른 두 번째 노이즈 제거 연산 초반 시뮬레이션 결과를 나타내는 도면이다.

즉, 도 36에 나타낸 바와 같이, Read_Addr을 통해 4×4 윈도우에 해당 16개의 어드레스를 출력시키고, Read_Data를 통해 16개의 데이터를 입력받는다.

이때, 데이터를 입력받을 때마다 픽셀값을 비교하여 데이터가 0값일 경우 픽셀 black_pix_reg의 레지스터를 카운트하게 된다.

또한, Write_Addr와 Write_Data를 통해 쓰기 위한 어드레스와 데이터를 출력시킨다.

아울러, 도 37을 참조하면, 도 37은 본 발명에 따른 두 번째 노이즈 제거 연산의 전체 시뮬레이션 결과를 나타내는 도면이다.

즉, 도 37에 나타낸 바와 같이, 연산 시작시간은 약 9.4ms이며, 연산 종료시간은 약 15.1ms인 것을 알 수 있으며, 따라서 두 번째 노이즈 제어 연산은 총 5.7ms으로 0.0057초가 걸리는 것을 알 수 있다.

또한, 도 38을 참조하면, 도 38은 상기한 바와 같은 두 번째 노이즈 제거 연산을 소프트웨어와 하드웨어로 각각 실제 수행한 후 얻어진 결과 영상을 각각 나타내는 도면이다.

계속해서, 에지 히스토그램 및 번호판 영역 추출을 위한 하드웨어 설계의 실험 결과에 대하여 설명한다.

상기한 바와 같이 하여 두 번째 노이즈 제거 연산이 끝나게 되면 에지 히스토그램(Edge Histogram) 추출에 해당하는 에지 카운트(Edge Count) 연산을 수행하게 된다.

즉, 도 39를 참조하면, 도 39는 에지 카운트에서 영상의 한 줄의 데이터를 읽어 들이면서 이전 데이터와 현재 데이터를 비교하며 에지의 수를 누적시키는 부분의 시뮬레이션과 한 줄의 에지를 모두 누적시키면 누적된 데이터 값을 Coregen DPSRAM으로 출력시키는 시뮬레이션의 결과를 각각 나타내는 도면이다.

더 상세하게는, 도 39에 있어서, 에지 카운트 확대 시뮬레이션을 보면, A 구간과 B 구간에서 Read_Data의 값과 이전 데이터 값이 저장된 Data_Compare_Reg의 값이 서로 다른 것을 확인할 수 있으며, 따라서 이 부분은 에지로 판단되어 Edge_Count_Reg가 1이 증가됨을 확인할 수 있다.

또한, 에지 카운트 한 라인 에지 수 저장 시뮬레이션에서는, 한 라인 에지의 수를 모두 누적시키면 DPSRAM_Write_Addr에 해당하는 주소값에 Data_Compare_Reg에 누적시켰던 값을 DPSRAM_Write_Data를 통해 출력시켜 Coregen DPSRAM에 저장하게 된다.

아울러, 도 40을 참조하면, 도 40은 에지 카운트에 대한 전체 시뮬레이션 파형과 번호판 후보영역 추출을 위한 전처리 과정의 전체 시뮬레이션 파형을 각각 나타내는 도면이다.

도 40에 있어서, 에지 카운트의 연산 시간을 확인해 보면 약 2.7ms임을 확인할 수 있으며, 번호판 후보영역 추출을 위한 전처리 과정의 전체 연산시간은 약 18.2ms인 것을 확인할 수 있다.

또한, 번호판 후보영역 추출을 위한 전처리 과정 전체 시뮬레이션에서 Recog_Search 부분의 WR_DATA에서 마지막 714의 값을 출력하게 되는데, 이 값이 최종 번호판 후보영역의 좌표값이 된다.

도 41을 참조하면, 도 41은 하드웨어로 연산한 좌표값과 소프트웨어로 연산한 좌표값을 확인하기 위해 하드웨어 실험 영상과 동일한 영상으로 소프트웨어에 의해 죄표값을 연산한 실험 결과를 나타내는 도면이다.

도 41에 있어서, 소프트웨어의 결과를 확인해 보면, 연산시간은 총 0.078초인 것을 확인할 수 있으며, 번호판 후보영역 좌표는 716을 확인할 수 있다.

또한, 상기한 바와 같은 각 알고리즘별 연산시간과 최종 연산시간 및 번호판 영역 좌표 결과를 소프트웨어와 하드웨어별로 비교하여 이하의 [표 4]에 나타내었다.

	소프트웨어(CPU : i5 3GHz, RAM : DDR3 4GHz))	하드웨어(Simmulation Clock Freq. : 500MHz)
윈도우 스캔(Window Scan)	0.030초	0.006초
첫 번째 노이즈 제거	0.015초	0.0035초
두 번째 노이즈 제거	0.021초	0.0057초
에지 히스토그램(Edge Histogram) 추출	0.008초	0.0027초
총 연산시간	0.078초	0.018초
번호판 영역 좌표값	716	714

[표 4]에 나타낸 바와 같이, 소프트웨어와 하드웨어의 연산시간을 비교했을 때 하드웨어의 환경이 매우 떨어짐에도 연산 속도가 약 4배 이상 차이 나는 것을 확인할 수 있다.

따라서 상기한 바와 같이 하여, 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 구현하기 위한 하드웨어 블록을 구현할 수 있다.

즉, 차량의 번호판에서 실제 문자와 숫자를 인식하기 이전에 차량의 번호판 후보영역의 위치를 찾는 것은 매우 중요하며, 이에, 본 발명에 따르면, 자동차 번호판 인식 시스템에서 자동차 번호판 인식을 위한 번호판 후보영역 추출에 해당하는 전처리 알고리즘을 개선하고, 고속 연산을 위한 하드웨어 블록의 설계방법이 제공된다.

또한, 본 발명에 따르면, 번호판 후보영역 추출에 해당하는 전처리 알고리즘을 실제 과속 카메라에 찍힌 차량의 영상으로 실험하여 알고리즘을 검증하였으며, 구체적으로는, 차량 영상의 특징을 살려 윤곽선 추출, 노이즈 제거, 에지 히스토그램 추출, 번호판 후보영역 추출하는 과정을 소프트웨어에서 C++ 언어로 프로그래밍하여 알고리즘 검증을 수행하였으며, 고속 연산을 위해 HDL을 사용하여 하드웨어 블록을 설계하였다.

아울러, 소프트웨어를 통해 기존의 알고리즘과 본 발명에 따른 알고리즘을 사용했을 때의 인식률 비교를 수행하고, 하드웨어 블록 설계의 검증을 위해 본 발명에 따른 알고리즘의 소프트웨어 인식률과 하드웨어 시뮬레이션 결과의 인식률이 얼마만큼 일치하는지 비교, 분석하였다.

비교분석 결과, 기존 알고리즘보다 본 발명에 따른 알고리즘을 사용하였을 때 인식률이 약 4% 향상된 결과를 얻었으며, 소프트웨어의 결과와 하드웨어의 결과 인식률은 동일한 결과를 얻을 수 있었다.

여기서, 하드웨어 설계시 어드레스의 오계산 문제로 소프트웨어와 하드웨어 좌표값이 약간의 오차를 보였지만, 번호판 후보영역을 잘라내는 데에 있어서는 문제가 없기 때문에 무의미하다.

따라서 본 발명에 따르면, 향후, 번호판 후보영역 추출의 FPGA 구현과 실제 번호판에서 문자와 숫자의 인식을 위한 처리가 포함되는 임베디드 시스템(Embedded System)을 구현함으로써, 매우 효율적인 번호판 인식 시스템을 제공할 수 있을 것으로 기대된다.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 자동차 번호판 인식을 위한 영상 전처리방법 및 이를 구현하기 위한 하드웨어 블록의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.

Claims (14)

1. 자동차 번호판 인식시스템에서 실행되는 자동차 번호판 인식을 위한 영상 전처리과정의 인식률 및 처리속도를 개선하기 위한 자동차 번호판 인식을 위한 영상 전처리방법에 있어서,
   자동차 번호판 인식을 위한 영상을 입력받는 입력단계;
   차량의 윤곽선을 추출하여 상기 윤곽선의 에지 정보로부터 번호판 영역을 검출하기 위해 윈도우 스캔(WindowScan) 알고리즘을 이용하여 상기 입력단계에서 입력된 영상으로부터 윤곽선을 추출하는 윤곽선 추출단계;
   상기 윤곽선 추출단계에서 윤곽선이 추출된 영상에서 번호판 지역의 에지를 부각시키기 위해 상기 번호판 지역과 상기 번호판 지역을 제외한 노이즈 부분의 특성을 비교 분석하여 상기 노이즈 부분을 제거하는 노이즈 제거단계;
   상기 노이즈 제거단계에서 상기 노이즈 부분이 제거된 영상에서 에지 히스토그램(Edge Histogram)을 추출하는 에지 히스토그램 추출단계; 및
   상기 에지 히스토그램 추출단계에서 상기 에지 히스토그램이 추출된 영상으로부터 번호판 후보영역을 선정하는 번호판 후보영역 추출단계를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법.
   
2. 제 1항에 있어서,
   상기 윤곽선 추출단계에서, 상기 윈도우 스캔 알고리즘은,
   3×3 윈도우를 2개 이용하여 각각의 윈도우 안에 있는 9개의 픽셀의 합을 구하고,
   각각의 상기 픽셀의 합의 차를 구하여 미리 정해진 임계(Threshold)값 보다 크면 에지로 판단하여 윤곽선을 추출하도록 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법.
   
3. 제 2항에 있어서,
   상기 노이즈 제거단계는,
   상기 번호판 지역의 에지 특성과 아스팔트의 지역의 에지 특성을 이용하여 노이즈를 제거하기 위한 제 1 노이즈 제거단계; 및
   상기 제 1 노이즈 제거단계 후에 남아있는 노이즈들을 제거하기 위한 제 2 노이즈 제거단계를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법.
   
4. 제 3항에 있어서,
   상기 제 1 노이즈 제거단계는,
   상기 윤곽선 추출단계에서 윤곽선이 추출되어 2진화된 자동차 윤곽선 이미지의 좌측 상단부터 시작하여 세로로 30 픽셀을 비교하여 현재 픽셀과 다음 픽셀의 값이 다를 때의 수를 카운트하는 단계;
   상기 카운트하는 단계에서 카운트된 수가 4 이상이면 상기 세로로 30 픽셀을 모두 하얀색 픽셀로 채우는 단계;
   상기 카운트하는 단계에서 카운트된 수가 4 미만일 경우에는 상기 30 픽셀의 값들을 그대로 유지하는 단계; 및
   상기 자동차 윤곽선 이미지의 전체에 대하여 상기한 각 단계를 반복하는 단계를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법.
   
5. 제 4항에 있어서,
   상기 제 2 노이즈 제거단계는,
   상기 제 1 노이즈 제거단계에서 노이즈가 제거된 영상에서 4×4 윈도우를 좌측 상단부터 오른쪽으로 이동해가면서 16개의 픽셀 중 검은색 픽셀의 개수를 세는 단계;
   상기 검은색 픽셀의 수가 미리 정해진 기준값 미만이면 상기 검은색 픽셀을 제거하는 단계;
   상기 검은색 픽셀의 수가 상기 기준값 이상이면 해당 픽셀을 그대로 두는 단계; 및
   전체 이미지에 대하여 상기한 각 단계를 반복하는 단계를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법.
   
6. 제 5항에 있어서,
   상기 에지 히스토그램 추출단계는,
   상기 제 1 노이즈 제거단계 및 상기 제 2 노이즈 제거단계가 수행된 영상에서 가로로 한 줄(line) 마다 현재 픽셀과 우측으로 다음 픽셀을 비교하는 단계; 및
   상기 픽셀 값이 서로 다른 경우의 수를 카운트하여 각 줄마다 에지의 수를 누적시켜 에지 히스토그램을 구하는 단계를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법.
   
7. 제 6항에 있어서,
   상기 번호판 후보영역의 추출단계는,
   상기 에지 히스토그램이 구해진 영상을 위에서부터 아래로 미리 정해진 일정한 범위로 나누어 상기 에지의 수를 평균을 구하는 단계; 및
   상기 에지의 평균값이 가장 높은 구간을 상기 에지의 빈도 수가 가장 많은 영역으로 선정하여 번호판 후보영역으로 추출하는 단계를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식을 위한 영상 전처리방법.
   
8. 자동차 번호판 인식을 위한 영상 전처리과정의 인식률 및 처리속도를 개선하기 위해 청구항 1항 내지 7항 중 어느 한 항에 기재된 자동차 번호판 인식을 위한 영상 전처리방법을 컴퓨터에 실행시키도록 구성되는 자동차 번호판 인식프로그램이 기록된 기록매체.
   
9. 자동차 번호판 인식을 위한 영상 전처리과정의 인식률 및 처리속도를 개선하기 위해 청구항 1항 내지 7항 중 어느 한 항에 기재된 자동차 번호판 인식을 위한 영상 전처리방법을 실행하도록 구성되는 자동차 번호판 인식시스템에 있어서,
   자동차 번호판 인식을 위한 영상을 입력받는 입력부;
   차량의 윤곽선을 추출하여 상기 윤곽선의 에지 정보로부터 번호판 영역을 검출하기 위해 윈도우 스캔(WindowScan) 알고리즘을 이용하여 상기 입력단계에서 입력된 영상으로부터 윤곽선을 추출하는 윤곽선 추출부;
   상기 윤곽선 추출부에 의해 윤곽선이 추출된 영상에서 번호판 지역의 에지를 부각시키기 위해 상기 번호판 지역과 상기 번호판 지역을 제외한 노이즈 부분의 특성을 비교 분석하여 상기 노이즈 부분을 제거하는 노이즈 제거부;
   상기 노이즈 제거부에 의해 상기 노이즈 부분이 제거된 영상에서 에지 히스토그램(Edge Histogram)을 추출하는 에지 히스토그램 추출부;
   상기 에지 히스토그램 추출부에 의해 상기 에지 히스토그램이 추출된 영상으로부터 번호판 후보영역을 선정하는 번호판 후보영역 추출부; 및
   상기 번호판 후보영역 추출부에 의해 추출된 상기 번호판 후보영역으로부터 해당 번호판의 번호를 인식하여 출력장치를 통해 출력하는 출력부를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식시스템.
   
10. 제 9항에 있어서,
    상기 윤곽선 추출부는,
    메모리에서 데이터를 읽기 위한 어드레스 컨트롤러 모듈;
    제 1 윈도우와 제 2 윈도우의 데이터들을 더하는 합산모듈; 및
    상기 제 1 윈도우의 데이터 합과 상기 제 2 윈도우의 데이터 합의 차를 구하고 절대값을 구하는 연산모듈을 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식시스템.
    
11. 제 10항에 있어서,
    상기 노이즈 제거부는,
    메모리로부터 데이터를 읽는 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈과, 상기 데이터 읽기 모듈로부터 데이터를 순차적으로 읽어 들이면서 현재 픽셀 데이터 값과 이전 픽셀 데이터 값을 비교하여 값이 서로 다를 경우 하나씩 수를 카운트하고, 비교 완료시 카운트 된 수를 다시 미리 정해진 숫자와 비교하여 카운트 수가 상기 미리 정해진 숫자 이상이면 읽어 들였던 픽셀의 자리를 모두 흰색 픽셀로 채우며, 상기 미리 정해진 숫자 미만일 경우는 그대로 두도록 구성되는 데이터 비교 및 쓰기 모듈을 포함하는 제 1 노이즈 제거 필터; 및
    데이터를 읽기 위한 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈과, 미리 정해진 크기의 윈도우 안의 픽셀을 메모리로부터 읽어 들여 검은색 픽셀의 개수를 카운트한 다음, 상기 검은색 픽셀이 미리 정해진 개수 이상이면 그 자리의 픽셀들은 그대로 두고, 상기 검은색 픽셀이 상기 미리 정해진 개수 미만일 경우는 모두 흰색 픽셀로 채우도록 구성되는 데이터 비교 및 쓰기 모듈을 포함하는 제 2 노이즈 제거 필터를 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식시스템.
    
12. 제 11항에 있어서,
    상기 에지 히스토그램 추출부는,
    메모리로부터 데이터를 읽는 어드레스 컨트롤러로 이루어지는 데이터 읽기 모듈; 및
    영상에서 한 줄(line)씩 에지의 수를 세어 상기 영상의 모든 줄에 대하여 각각 저장하기 위해, FPGA 코어 제네레이터(Core generator)를 이용하여 상기 영상의 세로 사이즈만큼의 내부 메모리를 생성하여 1번째 줄의 에지의 수를 0번째 어드레스에 저장하고 순서대로 마지막 H번째 라인의 에지의 수를 메모리의 H-1번째 어드레스에 저장하도록 구성되는 에지 카운트(Edge Count) 모듈을 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식시스템.
    
13. 제 12항에 있어서,
    상기 번호판 후보영역 추출부는,
    첫 번째 주소부터 미리 정해진 수만큼의 주소까지 순차적으로 카운트하여 상기 에지 히스토그램 추출부에 의해 저장된 상기 영상의 라인별 에지 개수에 대한 데이터를 읽어 들이는 주소 카운트 모듈;
    상기 주소 카운트 모듈로부터 읽어들인 각 라인별 에지 개수에 대하여 미리 정해진 라인 수 별로 평균값을 구하여 누적시키는 라인 평균(Line Average) 모듈; 및
    상기 평균값을 비교하여 가장 큰 값에 해당하는 주소 번지를 번호판 후보영역의 좌표로 하여 자동차 번호판 후보영역으로서 추출하는 번호판 후보영역 추출모듈을 포함하여 구성되는 것을 특징으로 하는 자동차 번호판 인식시스템.
    
14. 제 13항에 있어서,
    상기 시스템은,
    상기 에지 카운트 모듈과 상기 라인 평균 모듈 및 상기 번호판 후보영역 추출모듈의 각각의 제어(Control) 시간에 따라 데이터와 주소를 하나만 출력시킬 수 있도록 하기 위한 데이터 및 주소 멀티플렉서(DATA & ADDRESS MUX)를 포함하여, 상기 에지 카운트 모듈과 상기 라인 평균 모듈 및 상기 번호판 후보영역 추출모듈이 하나의 메모리를 사용하도록 구성되는 것을 특징으로 하는 자동차 번호판 인식시스템.

Images