KR100633443B1

KR100633443B1 - System and method for recognition of vehicle license plates using adaptive local binarization

Info

Publication number: KR100633443B1
Application number: KR1020050046237A
Authority: KR
Inventors: 강현철; 박경수
Original assignee: 인천대학교 산학협력단
Priority date: 2005-02-23
Filing date: 2005-05-31
Publication date: 2006-10-13
Also published as: KR20060094007A

Abstract

본 발명은 카메라를 통해 촬영된 자동차 번호판의 영상을 인식하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for recognizing an image of a license plate photographed through a camera.

먼저, 자동차 번호판의 영상을 객체의 윤곽선만으로 이루어진 에지(edge) 영상으로 만들고, 이 에지 영상을 다시 흑, 백색으로만 이루어진 이진 영상으로 만든다. 이후, 이진화된 에지 영상을 수평 투영시켜 상, 하부 영역으로 각각 분리한 후, 분리된 영역별로 수직 및 수평 투영을 하여 문자가 포함되어 있는 문자 영역을 추출하는데, 추출된 문자 영역별로 임계치를 각각 설정한다. 그리고, 설정된 임계치를 기준으로 문자 영역별 이진화를 수행하는데, 이때 사전 추출된 문자 영역들만을 서로 다른 값을 가지는 임계치를 기준으로 이진화를 수행한다 할지라도, 자동차 번호판의 물리적인 상태나 외부 환경에 따라 문자가 끊어져 보이는 현상이 발생할 수 있다. 그래서, 본 발명은 문자가 끊어진 위치를 기준으로 한 문자 영역을 다시 두 영역으로 분리한 후 각 영역별로 이진화를 수행하되, 새로 설정한 임계치를 적용하여 이진화한다. 이를 통해, 보다 선명한 이진화 결과를 얻을 수 있어 자동차 번호판의 영상을 정확하게 인식할 수 있다.First, the image of the license plate is made into an edge image composed of only the outline of the object, and the edge image is made into a binary image composed only of black and white. Thereafter, the binarized edge image is horizontally projected to be separated into upper and lower regions, and then vertical and horizontal projections are performed for the separated regions to extract a character region including characters. The threshold values are set for each extracted character region. do. In addition, binarization is performed for each character area based on the set threshold value. In this case, even if the binarization is performed based on threshold values having only different values, only the pre-extracted character areas are used depending on the physical state of the license plate or the external environment. Characters may appear broken. Thus, the present invention divides the character area based on the position where the character is broken into two areas, and then performs binarization for each area, and applies the newly set threshold to binarize. Through this, it is possible to obtain a clearer binarization result and to accurately recognize the image of the license plate.

영상 인식, 자동차 번호판, 지역 이진화, 임계치 Image recognition, license plate, local binarization, threshold

Description

적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템 및 그 방법 {SYSTEM AND METHOD FOR RECOGNITION OF VEHICLE LICENSE PLATES USING ADAPTIVE LOCAL BINARIZATION}License plate recognition system using adaptive local binarization and its method {SYSTEM AND METHOD FOR RECOGNITION OF VEHICLE LICENSE PLATES USING ADAPTIVE LOCAL BINARIZATION}

도 1은 문자가 선명하고 깨끗한 자동차 번호판을 도시한 도면이다.1 is a diagram illustrating a license plate with clear and clean letters.

도 2는 배경과 문자의 계조도가 뚜렷하게 분리되는 히스토그램 분포를 도시한 도면이다. FIG. 2 is a diagram illustrating a histogram distribution in which a gradation of a background and a character are clearly separated.

도 3은 지역적 이진화 방법을 이용하여 자동차 번호판을 인식한 결과를 도시한 도면이다.3 is a diagram illustrating a result of recognizing a license plate using a local binarization method.

도 4는 본 발명의 실시 예에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템의 세부적인 구성을 도시한 도면이다.4 is a diagram illustrating a detailed configuration of a vehicle license plate recognition system using adaptive local binarization according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템의 동작 과정을 순차적으로 도시한 흐름도이다.5 is a flowchart sequentially illustrating an operation process of a vehicle license plate recognition system using adaptive local binarization according to an embodiment of the present invention.

도 6은 본 발명의 실시 예에 따라 첫 번째 적응적 지역 이진화를 수행한 결과를 도시한 도면이다.FIG. 6 is a diagram illustrating a result of performing a first adaptive local binarization according to an embodiment of the present invention.

도 7은 본 발명의 실시 예에 따라 두 번째 적응적 지역 이진화를 수행한 결과를 도시한 도면이다.7 is a diagram illustrating a result of performing a second adaptive local binarization according to an embodiment of the present invention.

본 발명은 자동차 번호판 인식 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 적응적인(Adaptive) 지역 이진화 방법을 이용하여 자동차 번호판을 인식하는 시스템 및 그 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a license plate recognition system and method thereof, and more particularly, to a system and method for recognizing a license plate using an adaptive local binarization method.

일반적으로, 영상 분할이란 영상(Image) 속에서 의미 있는 객체를 분리해 내는 과정으로서 검사 및 인식 분야에서 널리 사용되고 있다. 이러한 영상 분할 방법은 크게 3가지로 나눌 수 있는데 히스토그램의 임계값에 의한 방법과 외곽선 기반 방법 및 영역 기반 방법이 있다. 이중에서 히스토그램의 임계값에 따른 영상 분할 방법은 다른 방법들에 비해 빠른 속도로 의미 있는 객체를 분리할 수 있는데, 현재 개발되어 있는 자동차 번호판 인식 시스템의 경우 속도 측면에서 히스토그램의 임계값에 따른 영상 분할 방법을 이용하고 있다.In general, image segmentation is a process of separating meaningful objects from an image and is widely used in the field of inspection and recognition. There are three types of image segmentation methods. There are a histogram threshold method, an outline based method, and an area based method. Among them, the image segmentation method based on the histogram threshold can separate meaningful objects at a faster speed than other methods. In the case of the currently developed car license plate recognition system, the image segmentation based on the histogram threshold in terms of speed The method is used.

이러한 히스토그램의 임계값에 의한 영상 분할 기법은 크게 전역 이진화 방법과 지역 이진화 방법으로 나눌 수 있는데, 먼저 전역 이진화 방법은 도 1에 따른 입력 영상을 단일 임계치(기준값)보다 큰 클래스(class)와 작은 클래스로 나누는 방법으로서, 입력된 영상 전체에 대해 획일적인 값(단일 임계치)을 적용한다. 이로 인해, 자동차 번호판이 물리적으로 훼손되었거나 더렵혀진 경우에는 정확한 영상 인식 결과를 얻을 수 없다.The image segmentation based on the threshold of the histogram can be largely divided into a global binarization method and a local binarization method. First, the global binarization method classifies the input image of FIG. 1 into a larger class and a smaller class than a single threshold (reference value). As a method of dividing by, a uniform value (single threshold) is applied to the entire input image. As a result, when the license plate is physically damaged or dirty, accurate image recognition results may not be obtained.

즉, 전역 이진화 방법은 도 2에 도시된 바와 같이 계조도의 히스토그램(Histogram)이 배경과 문자로 뚜렷하게 양분되는 경우에만 이상적으로 사용될 수 있다. That is, the global binarization method may be ideally used only when the histogram of the gradation degree is clearly divided into a background and a character as shown in FIG. 2.

다음으로, 지역 이진화 방법은 입력된 영상을 m×n의 블록으로 나눈 후, 각 블록별로 임계치를 구하여 이진화하는 방법이다. 이러한 지역 이진화 방법은 전체적인 조명 효과나 번호판의 물리적인 훼손에는 강인할 수 있지만, 하나의 문자가 여러 개의 블록으로 나누어짐으로써 블록간의 연관성을 상실하게 된다. 즉, 하나의 글자 영역이 서로 다른 임계치를 가지게 되므로, 블록간 서로 다른 이진화 결과를 가져오게 된다. 이는 곧, 인식률의 저하를 초래하게 되는 원인으로서 첨부된 도 3과 같이 '바'의 일부분이 끊긴다거나, 잡음이 숫자 '9'와 붙어 버리는 현상이 발생한다. Next, the local binarization method divides the input image into blocks of m × n and binarizes the threshold value for each block. This local binarization method can be robust to the overall lighting effect or physical damage to the license plate, but one letter is divided into several blocks, thereby losing the association between blocks. That is, since one letter area has different thresholds, different binarization results are obtained between blocks. This causes a decrease in the recognition rate, and as a result, a portion of the 'bar' is cut off or noise is attached to the number '9' as shown in FIG. 3.

이처럼, 지역 이진화 방법은 전역 이진화 방법의 단점을 어느 정도 개선할 수는 있지만, 하나의 글자 영역이 서로 다른 임계치를 가지게 되므로 인식률 저하를 초래하게 된다.As such, the local binarization method may improve the disadvantage of the global binarization method to some extent, but it causes a reduction in recognition rate because one letter area has different thresholds.

본 발명이 이루고자 하는 기술적 과제는 이러한 문제점을 해결하기 위한 것으로서, 영상의 전체 영역 중 문자가 포함되어 있는 소정의 영역인 문자 영역별로 서로 다른 임계치를 적용하여 이진화를 수행하는 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템 및 그 방법을 제공하기 위한 것이다.The technical problem to be solved by the present invention is to solve this problem, the vehicle using the adaptive local binarization to perform the binarization by applying different thresholds for each character region, which is a predetermined region containing the character of the entire region of the image To provide a license plate recognition system and method thereof.

또한, 본 발명은 이진화가 이루어진 문자 영역 중 문자가 끊어져 보이는 일부 영역별로 서로 다른 임계치를 적용하여 다시 이진화를 수행함으로써, 보다 선명하고 정확하게 영상을 인식할 수 있는 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템 및 그 방법을 제공하기 위한 것이다.In addition, the present invention, by applying a different threshold value for each region of the character region is a character that is binarized by performing different binarization again, the license plate recognition system using adaptive local binarization that can recognize the image more clearly and accurately And a method thereof.

이러한 목적을 달성하기 위한 본 발명의 특징에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템은, 카메라를 통해 촬영된 자동차 번호판의 영상을 인식하는 시스템에 있어서, 상기 자동차 번호판의 영상을 객체의 윤곽선으로 이루어진 에지(edge) 영상으로 생성한 후, 상기 생성된 에지 영상을 흑, 백색으로 이루어진 영상인 이진화된 에지 영상으로 생성하는 에지 영상 생성부; 상기 생성된 이진화된 에지 영상을 수평 투영시켜 상, 하부 영역으로 각각 분리하는 상하 영역 분리부; 상기 분리된 상, 하부 영역별로 수직 및 수평 투영시켜 문자가 포함되어 있는 소정의 영역인 문자 영역을 추출하는 문자 영역 추출부; 상기 추출된 문자 영역별로 임계치를 각각 설정한 후, 상기 설정된 임계치를 기준으로 문자 영역별 이진화를 수행하는 제1 적응적 지역 이진화 수행부; 및 상기 이진화된 문자 영역을 각각 수직 및 수평 투영시켜 문자가 끊어져 보이는 일부 영역이 있으면, 상기 일부 영역만을 다시 설정한 임계치를 기준으로 이진화를 수행하는 제2 적응적 지역 이진화 수행부를 포함한다.According to an aspect of the present invention, a license plate recognition system using adaptive local binarization is a system for recognizing an image of a license plate photographed through a camera, wherein the image of the license plate is an outline of an object. An edge image generator configured to generate a generated edge image, and then generate the generated edge image as a binary edge image, which is an image composed of black and white; An upper and lower region separator configured to horizontally project the generated binarized edge image into upper and lower regions; A text area extraction unit configured to extract a text area that is a predetermined area including text by vertically and horizontally projecting the separated upper and lower areas; A first adaptive local binarization performing unit for performing binarization for each character region based on the set threshold value after setting a threshold value for each extracted character region; And a second adaptive local binarization performer configured to perform binarization based on a threshold for resetting only the partial region if there is a partial region where the character is broken by vertically and horizontally projecting the binarized character region, respectively.

그리고, 적어도 한 개 이상의 자동차 번호판에 대한 상, 하부 영역별 문자 영역의 개수 및 각 문자 영역에 속해 있는 숫자 또는 글자에 대한 정보가 저장된 문자 데이터베이스; 및 상기 문자 데이터베이스 내 정보 검색을 통해 상기 검색된 문자 영역의 문자가 숫자인지 또는 글자인지를 판단하는 문자 종류 판단부를 더 포함한다.And a character database in which information about the number or letters belonging to each character area and the number of upper and lower area character areas for at least one license plate is stored; And a character type determination unit that determines whether a character of the searched character area is a number or a letter through information search in the character database.

또한, 본 발명의 다른 특징에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 방법은, 카메라를 통해 촬영된 자동차 번호판의 영상을 인식하는 방법에 있어서, a)상기 자동차 번호판의 영상을 객체의 윤곽선으로 이루어진 에지(edge) 영상으로 생성한 후, 상기 생성된 에지 영상을 흑, 백색으로 이루어진 영상인 이진화된 에지 영상으로 생성하는 단계; b)상기 생성된 이진화된 에지 영상의 전체 세로 길이 중 위에서부터 1/4 내지 3/4 영역까지 수평 투영시켜 픽셀의 누적 수가 최소 개수를 갖는 영역인 경계 영역을 찾은 후, 상기 찾은 경계 영역을 중심으로 상기 이진화된 에지 영상을 상, 하부 영역으로 분리하는 단계; c)상기 분리된 상, 하부 영역을 수직 및 수평 투영시켜 문자가 포함되어 있는 소정의 영역인 문자 영역을 각각 추출하는 단계; d)상기 추출된 문자 영역별로 임계치를 설정한 후, 상기 설정된 임계치를 기준으로 문자 영역별 이진화를 수행하는 단계; 및 e)상기 이진화된 문자 영역에서 문자가 끊어져 보이는 일부 영역이 있으면, 상기 일부 영역을 다시 설정한 임계치를 기준으로 이진화하는 단계를 포함한다.In addition, a license plate recognition method using adaptive local binarization according to another aspect of the present invention, in a method for recognizing the image of the license plate photographed through a camera, a) the image of the license plate made of the contour of the object Generating an edge image, and then generating the generated edge image as a binarized edge image, which is an image of black and white; b) horizontally projecting from the top to a quarter to three quarters region of the entire vertical length of the generated binarized edge image to find a boundary region that is a region having a minimum number of pixels, and then centering the found boundary region. Dividing the binarized edge image into upper and lower regions; c) extracting a text area, which is a predetermined area including letters, by vertically and horizontally projecting the separated upper and lower areas; d) setting a threshold value for each extracted character area and performing binarization for each character area based on the set threshold value; And e) if there is a partial region in which the character is broken in the binarized character region, binarizing the partial region based on a reset threshold.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention. Like parts are designated by like reference numerals throughout the specification.

도 4는 본 발명의 실시 예에 따른 적응적 지역 이진화를 이용한 자동차 번호 판 인식 시스템의 세부적인 구성을 도시한 도면이다.4 is a diagram illustrating a detailed configuration of a license plate recognition system using adaptive local binarization according to an embodiment of the present invention.

도 4에 도시되어 있듯이, 본 발명의 실시 예에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템(100)은 에지 영상 생성부(110)와 상하 영역 분리부(120), 문자 영역 추출부(130), 문자 종류 판단부(140), 제1 적응적 지역 이진화 수행부(150) 및 제2 적응적 지역 이진화 수행부(160)를 포함하며, 문자 데이터베이스(141)를 더 포함한다.As shown in FIG. 4, the license plate recognition system 100 using the adaptive local binarization according to an embodiment of the present invention includes an edge image generator 110, an upper and lower region separator 120, and a character region extractor 130. ), A character type determination unit 140, a first adaptive local binarization performing unit 150, and a second adaptive local binarization performing unit 160, and further includes a character database 141.

구체적으로 설명하면, 먼저 카메라(미도시)를 통해 촬영된 영상(-본 발명의 실시 예에서는 자동차 번호판을 촬영한 영상-)이 외부로부터 입력되면, 에지 영상 생성부(110)는 에지 연산자를 이용하여 외부 입력 영상을 객체(object)의 윤곽선으로 이루어진 에지 영상으로 만든다. 이때 영상 내 잡음도 윤곽선으로 추출될 수 있는데, 에지 영상 생성부(110)는 생성된 에지 영상을 이진화 시킴으로써 영상 내 잡음을 제거한다. 즉, 객체의 윤곽선에 해당하는 화소에는 255, 그 이외에 해당하는 영역에는 0이라는 계조(Gray level) 값을 부여하여 외부로부터 입력된 영상을 흑과 백, 두 개의 클래스(class)로만 이루어진 이진화된 에지 영상으로 만든다.In detail, first, when an image photographed through a camera (not shown) (the image photographing the license plate in the embodiment of the present invention) is input from the outside, the edge image generator 110 uses an edge operator. To make an external input image into an edge image composed of an object outline. In this case, the noise in the image may also be extracted as an outline, and the edge image generator 110 removes the noise in the image by binarizing the generated edge image. That is, a gray level value of 255 is assigned to a pixel corresponding to the outline of an object, and a gray level value of 0 is assigned to a corresponding area, so that an image input from the outside is composed of only two classes, black and white, and a binary edge. Make it into a video.

이처럼, 본 발명의 실시 예에서는 계조 값을 부여함에 있어 흑색은 0, 백색은 255를 부여하고 있지만, 이는 본 발명에 한정된 것이 아니라 경우에 따라서는 흑색은 0, 백색은 1을 부여할 수도 있다. As described above, in the embodiment of the present invention, the black value is 0 and the white value is 255. However, this is not limited to the present invention, and black may be 0 and white may be 1 in some cases.

상하 영역 분리부(120)는 이진화된 에지 영상을 수평 투영시켜 상, 하부 영역으로 각각 나누는데, 수평 투영시 픽셀(pixel)의 누적 개수가 가장 적은 영역인 경계 영역을 먼저 찾는다. 이때, 이진화된 에지 영상 전체를 수평 투영시키는 것이 아니라, 자동차 번호판의 일반적인 특성을 이용하여 이진화된 에지 영상의 전체 세로 길이 중 위에서부터 1/4 내지 3/4 영역까지만 수평 투영시켜 픽셀의 누적 개수가 가장 적은 영역인 경계 영역을 찾는다. 그리고, 찾은 경계 영역을 중심으로 위에 있는 영역을 상부 영역, 아래에 있는 영역을 하부 영역으로 각각 나눈다.The upper and lower region separators 120 horizontally project the binarized edge image and divide the upper and lower regions into upper and lower regions. In the horizontal projection, the upper and lower region separators 120 first search for a boundary region having a smallest cumulative number of pixels. In this case, instead of horizontally projecting the entire binarized edge image, the horizontal number of pixels is horizontally projected only from 1/4 to 3/4 of the entire vertical length of the binarized edge image using the general characteristics of the license plate. Find the border area, which is the smallest area. The upper region is divided into the upper region, and the lower region is divided into the lower region, respectively, based on the found boundary region.

문자 영역 추출부(130)는 분리된 상, 하부 영역별로 수직 및 수평 투영을 모두 시켜 문자가 속해 있는 소정의 영역(숫자나 글자가 위치한 영역), 즉 문자 영역을 찾아낸다. 이때, 찾아낸 문자 영역 중 한 문자(예를 들어 '기')가 초성과 중성으로 분리되어 2개의 영역으로 찾아질 수 있는데. 이때 평균 문자 폭을 이용하여 병합 여부('ㄱ'과 '이'를 붙여서 '기'로 인식할지의 여부)를 결정한다.The text area extractor 130 performs both vertical and horizontal projections for each of the separated upper and lower areas to find a predetermined area (area where numbers or letters are located), that is, a text area. At this time, one character of the found character area (for example, 'gi') may be divided into two areas, separated into primary and neutral. In this case, the average character width is used to determine whether or not to merge ('a' and 'yi' to be recognized as 'ki').

즉, 문자 영역 추출부(130)는 찾아낸 문자 영역들 중 가장 넓은 문자 폭과 가장 좁은 문자 폭을 가진 문자 영역을 제외한 나머지 문자 영역의 폭들만을 이용하여 평균 문자 폭을 구한 후, 평균 문자 폭 보다 초성과 중성에 해당하는 문자 영역의 폭이 작으면 두 문자 영역을 병합시켜 한 개의 문자 영역으로 간주한다.That is, the text area extractor 130 obtains an average text width using only the widths of the remaining text areas except the text areas having the widest and narrowest text widths among the found text areas, and then calculates the average text width. If the width of the text area corresponding to the initial and neutral is small, the two text areas are merged and considered as one text area.

문자 종류 판단부(140)는 찾아낸 문자 영역에 포함되어 있는 문자가 숫자인지 또는 글자인지를 판단하는데, 이때 미리 구축되어 있는 문자 데이터베이스(141)를 통해 문자 종류를 판단한다. 즉, 문자 데이터베이스(141)에는 적어도 두 개 이상의 자동차 번호판에 대한 영상 정보(예를 들어, 상부 영역에는 문자 영역이 몇 개인데, 첫 번째 영역의 문자는 숫자이고, 두 번째 영역의 문자는 글자 등)가 저장되어 있는데, 문자 종류 판단부(140)는 상, 하부 영역 별로 문자 영역 개수가 동일한 자동차 번호판의 영상을 문자 데이터베이스(141)에서 검색한 후, 검색된 영상의 정보를 통해 해당 영역의 문자가 숫자인지 또는 글자인지를 판단한다.The character type determination unit 140 determines whether a character included in the found character area is a number or a character. At this time, the character type is determined through a character database 141 that is built in advance. That is, the character database 141 includes image information of at least two license plates (for example, in the upper area, there are some text areas, the first area is a number, the second area is a letter, etc.). ), The character type determination unit 140 searches the character database 141 for the image of the license plate having the same number of character areas for each of the upper and lower regions, and then displays the characters of the corresponding region through the information of the searched image. Determine if it is a number or a letter.

제1 적응적 지역 이진화 수행부(150)는 각 문자 영역별로 임계치(기준값)를 구한 후 영역별 이진화를 수행하는데, 이때 해당 문자 영역의 계조도 분포에 따라 임계치가 자동 설정되거나, 경우에 따라서는 임의로 설정할 수도 있다. 예를 들어, 이진화를 수행하고자 하는 문자 영역이 어두운 쪽에 가까우면 임계치는 낮게 설정되어, 설정된 임계치 보다 해당 문자 영역의 계조 값이 낮으면 0으로 설정하고, 높으면 1로 설정하여 영역별 이진화를 수행한다. The first adaptive local binarization performing unit 150 obtains a threshold (reference value) for each character area and then performs binarization for each area. In this case, the threshold is automatically set according to the gray level distribution of the corresponding character area, or in some cases. It can also be set arbitrarily. For example, if the character area to be binarized is close to the dark side, the threshold value is set low. If the gray level value of the character area is lower than the set threshold value, the threshold value is set to 0 and the high value is set to 1 to perform binarization by area. .

반면, 이진화를 하고자 하는 문자 영역이 밝은 쪽에 가까우면 제1 적응적 지역 이진화 수행부(150)는 임계치를 높게 설정한 후, 설정된 임계치 보다 해당 문자 영역의 계조 값이 낮으면 0으로 설정하고, 높으면 1로 설정한다.On the other hand, if the character area to be binarized is close to the bright side, the first adaptive local binarization performing unit 150 sets the threshold value higher, and then sets it to 0 if the gray level value of the character area is lower than the set threshold value, and if it is high, Set to 1.

상기한 방법 외에도 퍼센타일(percentile)을 적용한 이진화 방법이 있는데, 본 발명의 실시 예에서는 후자의 방법을 적용하기로 한다. 즉, 제1 적응적 지역 이진화 수행부(150)는 문자 영역 추출부(130)를 통해 검색된 문자 영역에서 문자(숫자 또는 글자)가 차지하는 비율이 몇 %냐에 따라서 임계치를 영역별로 서로 다르게 정한 후, 정해진 임계치를 기준으로 영역별 이진화를 수행한다. 즉, 적응적(adaptive)으로 지역 이진화를 수행한다.In addition to the above-described method, there is a binarization method using a percentile. In the embodiment of the present invention, the latter method will be applied. That is, the first adaptive local binarization performing unit 150 sets the thresholds differently for each region according to the percentage of the characters (numbers or letters) in the character region searched through the character region extraction unit 130. Region-specific binarization is performed based on a predetermined threshold. That is, it performs adaptive local binarization.

이처럼, 본 발명의 실시 예에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템(100)은 일반적인 방법처럼 단일 임계치를 설정한 후 전체 영역에 대한 설정된 임계치를 기준으로 획일적인 이진화를 수행하는 것이 아니라, 먼저 전체 영상에서 문자 영역만을 추출한 후, 추출된 문자 영역에 대해서만 이진화를 수 행하되 서로 각기 다르게 설정된 임계치를 적용하여 영역별 이진화를 수행한다. As such, the license plate recognition system 100 using the adaptive local binarization according to an exemplary embodiment of the present invention does not perform uniform binarization based on a set threshold for the entire area after setting a single threshold as in a general method. First, only the text area is extracted from the entire image, and then binarization is performed only on the extracted text area, and binarization is performed by applying different thresholds.

이를 통해, 본 발명은 한 문자가 여러 개의 블록으로 나누어져 블록간의 연관성 상실로 인한 인식률 저하를 사전에 방지할 수 있다. In this way, the present invention can prevent a decrease in recognition rate due to loss of association between blocks because a letter is divided into several blocks.

그런데, 일반적으로 자동차 번호판이라는 것이 여러 가지 외부 변수로 인해 시간이 지나면 지날수록 그 물리적 상태가 점점 변화하기 마련인데, 앞서 언급한 바와 같이 적응적 지역 이진화를 수행한다 할지라도 자동차 번호판이 많이 손상된 경우 문자가 끊어져 보이는 현상이 가끔 발생한다. 즉, 1차적으로 수행한 적응적 지역 이진화 결과가 끊어지는 현상이 발생하게 된다. However, in general, the number plate of the license plate is changed over time due to various external variables. As mentioned above, even if the license plate is damaged, even if the adaptive local binarization is performed, The appearance of cut off sometimes occurs. In other words, the result of the adaptive local binarization performed firstly is broken.

따라서, 본 발명의 실시 예에서는 문자가 끊어져 보이는 영역에 대해서만 다시 한 번 적응적 지역 이진화를 수행하는데, 제2 적응적 지역 이진화 수행부(160)는 1차적으로 이진화를 거친 문자 영역에 대해 수직 및 수평 투영을 하여 물리적인 상태나 외부 조명 등으로 인해 문자가 끊어진 영역을 검색한다. 그리고, 검색된 끊어진 위치를 기준으로 다시 한 번 한 문자 영역을 두 영역(끊어진 위치를 기준으로 상, 하 영역)으로 분리한 후, 분리된 영역별로 임계치를 설정하여 이진화를 다시 수행한다. Therefore, in the embodiment of the present invention, the adaptive local binarization is performed only once again on the region where the characters are broken, and the second adaptive local binarization performing unit 160 is perpendicular to the character region that has undergone the first binarization. Horizontal projection is used to search for areas where characters are broken due to physical conditions or external lighting. Then, the text area is once again divided into two areas (up and down areas based on the disconnected location) based on the detected broken location, and then a threshold is set for each separated area to perform the binarization again.

이처럼, 본 발명의 실시 예에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템(100)은 1, 2차에 걸쳐 이진화를 수행함에 있어, 1차는 영상의 전체 영역이 아닌 사전 추출된 문자 영역에 대해서만, 2차는 추출된 문자 영역 중 이진화 결과가 끊어진 일부 문자 영역에 대해서만 이진화를 수행함으로써, 보다 선명한 이진화 결과를 얻을 수 있다. 이를 통해, 자동차 번호판의 영상을 정확하게 인 식할 수 있다.As such, the license plate recognition system 100 using the adaptive local binarization according to an embodiment of the present invention performs binarization in the first and second stages, so that the primary is only for the pre-extracted character region, not the entire region of the image. In the second order, the binarization is performed on only a portion of the extracted character region in which the binarization result is cut off, so that a clearer binarization result can be obtained. Through this, it is possible to accurately recognize the image of the license plate.

그러면, 상기한 구성을 이루는 자동차 번호판 인식 시스템(100)의 동작 과정에 대해 알아본다.Then, the operation process of the license plate recognition system 100 having the above configuration will be described.

먼저, 카메라(미도시)를 통해 촬영된 자동차 번호판의 영상이 외부로부터 입력되면, 도 5에 도시되어 있듯이 자동차 번호판 인식 시스템(100)의 에지 영상 생성부(110)는 에지 연산자를 이용하여 입력된 영상을 객체(object)의 윤곽선으로 이루어진 에지 영상으로 만든다. 이때 영상 내 잡음도 윤곽선으로 추출될 수 있는데, 에지 영상 생성부(110)는 생성된 에지 영상을 이진화시켜 영상 내 잡음을 제거한다. 즉, 객체의 윤곽선에 해당하는 화소에는 255, 그 이외에 해당하는 영역에는 0이라는 계조(Gray level) 값을 부여하여 외부로부터 입력된 자동차 번호판의 영상을 흑과 백, 두 개의 클래스(class)로만 이루어진 이진화된 에지 영상으로 만든다.(S510).First, when an image of a license plate photographed through a camera (not shown) is input from the outside, as illustrated in FIG. 5, the edge image generator 110 of the license plate recognition system 100 is input using an edge operator. The image is made into an edge image composed of object outlines. In this case, the noise in the image may also be extracted as an outline. The edge image generator 110 removes the noise in the image by binarizing the generated edge image. That is, a gray level value of 255 is assigned to a pixel corresponding to the outline of an object, and a gray level value of 0 is assigned to a corresponding area, and the image of the license plate input from the outside is composed of only two classes, black and white. Create a binarized edge image (S510).

그러면, 상하 영역 분리부(120)는 이진화된 에지 영상을 수평 투영시켜 상부 및 하부 영역으로 각각 나누는데(S520), 수평 투영시 픽셀의 누적 수가 가장 적은 영역인 경계 영역을 먼저 찾는다. 이때, 이진화된 에지 영상 전체를 수평 투영시키는 것이 아니라, 영상의 전체 세로 길이 중 위에서부터 1/4 내지 3/4 영역까지만 수평 투영시켜 픽셀의 누적 수가 가장 적은 영역인 경계 영역을 찾는다. 이는, 대부분의 자동차 번호판이 일반적으로 전체 세로 길이 중 위에서부터 1/4 내지 3/4 영역 내에 상, 하부 경계가 될 만한 영역이 있기 때문에, 전체 영역이 아닌 일부 영역만을 수평 투영시키는 것이다.Then, the upper and lower region separating unit 120 horizontally projects the binarized edge image and divides the upper and lower regions, respectively (S520). The horizontal region separating unit 120 first searches for a boundary region having a smallest cumulative number of pixels in the horizontal projection. In this case, instead of horizontally projecting the entire binarized edge image, only the 1/4 to 3/4 area is projected horizontally from the top of the entire vertical length of the image to find the boundary area that is the area where the smallest number of pixels is accumulated. This is because most vehicle license plates generally have an area that is likely to be an upper and lower boundary within a quarter to three quarters area from the top of the entire longitudinal length, so that only a part of the area is projected horizontally.

그리고, 상하 영역 분리부(120)는 수평 투영을 통해 찾은 경계 영역을 중심으로 위에 있는 영역을 상부 영역, 아래에 있는 영역을 하부 영역으로 각각 나눈다.The upper and lower region separators 120 divide the upper region into the upper region and the lower region into the lower region, respectively, based on the boundary region found through the horizontal projection.

이후, 문자 영역 추출부(130)는 분리된 상, 하부 영역별로 수직 및 수평 투영을 모두 시켜 문자가 속해 있는 소정의 영역(예를 들어, 숫자 및 글자가 포함되어 있는 직사각형 또는 정사각형의 영역)을 찾아낸다(S530). 이때, 찾아낸 문자 영역 중 한 문자(예를 들어 '기')가 초성과 중성으로 분리되어 2개의 영역으로 찾아질 수 있는데. 이때 평균 문자 폭을 이용하여 병합 여부('ㄱ'과 '이'를 붙여서 '기'로 인식할지의 여부)를 결정한다.Thereafter, the character area extractor 130 performs both vertical and horizontal projections for each of the separated upper and lower regions to select a predetermined region (for example, a rectangular or square region including numbers and letters) to which the character belongs. It is found (S530). At this time, one character of the found character area (for example, 'gi') may be divided into two areas, separated into primary and neutral. In this case, the average character width is used to determine whether or not to merge ('a' and 'yi' to be recognized as 'ki').

즉, 문자 영역 추출부(130)는 찾아낸 문자 영역들 중 가장 넓은 문자 폭(-가로 길이-)과 가장 좁은 문자 폭을 가진 문자 영역을 제외한 나머지 문자 영역의 폭들만을 이용하여 평균 문자 폭을 구한 후, 평균 문자 폭 보다 초성과 중성에 해당하는 문자 영역의 폭이 작으면 두 문자 영역을 병합시켜 한 개의 문자 영역으로 간주한다.That is, the text area extractor 130 obtains an average text width using only the widths of the remaining text areas except for the widest text width (-length-) and the narrowest text width among the found text areas. After that, if the width of the character area corresponding to the initial and neutral values is smaller than the average character width, the two character areas are merged and regarded as one character area.

이후, 문자 종류 판단부(140)는 찾아낸 문자 영역에 포함되어 있는 문자가 숫자인지 또는 글자인지를 판단(S540)하는데, 이때 미리 구축되어 있는 문자 데이터베이스(141)를 통해 문자 종류를 판단한다. 즉, 문자 데이터베이스(141)에는 적어도 두 개 이상의 자동차 번호판에 대한 영상 정보(예를 들어, 상부 영역에는 몇 개의 문자 영역이 있고, 첫 번째 영역의 문자는 숫자이고, 두 번째 영역의 문자는 글자 등)가 저장되어 있는데, 문자 종류 판단부(140)는 상, 하부 영역 별로 문자 영역 개수가 동일한 자동차 번호판의 영상을 먼저 문자 데이터베이스(141)에서 검색한 후, 동일한 영상의 정보를 통해 해당 영역의 문자가 숫자인지 또는 글자인지를 판단한다.Subsequently, the character type determination unit 140 determines whether the character included in the found character area is a number or a character (S540). At this time, the character type is determined through the character database 141 built in advance. That is, the character database 141 has image information on at least two license plates (for example, the upper area has some text area, the first area is a number, the second area is a letter, etc.). ), The character type determination unit 140 first searches the character database 141 for the image of the license plate having the same number of character areas for each of the upper and lower regions, and then displays the characters of the corresponding region through the information of the same image. Determines whether is a number or letter

이후, 제1 적응적 지역 이진화 수행부(150)는 각 문자 영역별로 임계치(기준값)를 정한 후 영역별 이진화를 수행하는데, 본 발명의 실시 예에서는 문자 영역 추출부(130)를 통해 추출된 문자 영역에서 문자(숫자 또는 글자)가 차지하는 비율이 몇 %냐에 따라서 임계치를 문자 영역별로 서로 다르게 정한 후, 정해진 임계치를 기준으로 영역별 이진화를 수행한다. 즉, 적응적(adaptive)으로 지역 이진화를 수행한다.Subsequently, the first adaptive local binarization performing unit 150 sets a threshold (reference value) for each character area and then performs binarization for each area. In an embodiment of the present invention, the character extracted through the text area extraction unit 130 is used. Depending on the percentage of letters (numbers or letters) in the area, thresholds are determined differently for each letter area, and then binarization is performed for each area based on the determined threshold. That is, it performs adaptive local binarization.

이처럼, 본 발명은 일반적인 방법처럼 단일 임계치를 기준으로 하여 전체 영역의 이진화를 수행하는 것이 아니라, 먼저 전체 영영에서 문자 영역만을 추출한 후, 추출된 문자 영역에 대해서만 이진화를 수행하되 서로 각기 다르게 설정된 임계치를 기준으로 영역별 이진화를 수행한다. As described above, the present invention does not perform binarization of the entire region based on a single threshold as in the general method, but first extracts only the character region from the entire English, and then performs only the binarization of the extracted character region, but different threshold values are set differently from each other. By region, binarization is performed.

그런데, 여러 가지 외부 변수로 인해 자동차 번호판이 많이 손상된 경우 문자가 끊어져 보이는 현상이 가끔 발생할 수 있는데, 이에 대해 표시 예가 첨부된 도 6이다.However, when the license plate is damaged a lot due to various external variables, a phenomenon in which a character may be broken may sometimes occur, which is illustrated in FIG. 6.

도 6에 도시되어 있듯이, 본 발명의 실시 예에 따라 제1 적응적 지역 이진화 수행부(150)가 적응적 지역 이진화를 수행하였다 할지라도 자동차 번호판의 물리적인 상태에 따라 '5375' 라는 번호의 아랫 부분 모두가 일부 끊어져 보이는 현상이 발생한다.As shown in FIG. 6, even if the first adaptive local binarization performing unit 150 performs the adaptive local binarization according to an embodiment of the present invention, the number below the number “5375” is determined according to the physical state of the license plate. Some parts appear to be partially broken.

이를 위해, 제2 적응적 지역 이진화 수행부(160)는 1차적으로 지역 이진화를 거친 문자 영역에 대해 수직 및 수평 투영을 다시 수행하여 문자가 끊어진 일부 영역이 있는지를 검색한다(S560). 그리고, 검색된 위치를 기준으로 한 문자 영역을 다시 두 개의 상, 하 영역으로 분리한 후, 각 영역별 임계치를 다시 설정한다. 이후, 설정된 임계치를 기준으로 적응적 지역 이진화를 다시 수행한다(S570). 검색된 수행 결과를 도시한 도면이 첨부된 도 7이다.To this end, the second adaptive local binarization performing unit 160 first performs vertical and horizontal projection on the character region which has undergone local binarization again and searches whether there is a partial region where the character is broken (S560). Then, the text area based on the searched position is further divided into two upper and lower areas, and the threshold value for each area is set again. Thereafter, adaptive local binarization is performed again based on the set threshold (S570). FIG. 7 is a diagram illustrating a result of performing the search.

도 7에 도시되어 있듯이, 본 발명의 실시 예에 따라 2차 이진화를 수행한 결과 끊겨져 보이던 숫자(5375)가 정상적으로 선명하게 보여지는 것을 알 수 있다.As shown in FIG. 7, it can be seen that the number 5375, which was cut off, is normally displayed clearly as a result of performing the second binarization according to the embodiment of the present invention.

이처럼, 본 발명의 실시 예에 따른 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템(100)은 1, 2차에 걸쳐 이진화를 수행함에 있어, 1차는 영상의 전체 영역이 아닌 사전 추출된 문자 영역에 대해서만 서로 다른 임계치를 기준으로 지역 이진화를 수행하고, 2차는 문자 영역 중 이진화 결과가 끊어진 일부 영역에 대해서만 이진화를 수행한다.As such, the license plate recognition system 100 using the adaptive local binarization according to an embodiment of the present invention performs binarization in the first and second stages, so that the primary is only for the pre-extracted character region, not the entire region of the image. Local binarization is performed based on different thresholds, and the second binarization is performed only on a part of the character area where the binarization result is broken.

도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분 야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.The drawings and detailed description of the invention are exemplary only, and are used for the purpose of illustrating the invention only, and are not intended to be limiting or to limit the scope of the invention described in the claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

이상에서와 같이 본 발명의 실시 예에 따르면, 외부 입력 영상에 대한 1차 이진화 수행시 추출된 문자 영역별로 서로 다르게 설정된 임계치를 적용하여 수행하고, 수행 결과 끊어져 보이는 문자에 대해서는 그 일부 영역만을 다시 설정한 임계치를 기준으로 2차 이진화를 수행함으로써, 보다 선명하고 정확하게 영상을 인식할 수 있는 효과가 있다.As described above, according to an exemplary embodiment of the present invention, when performing the first binarization on the external input image, a threshold value differently set for each extracted character region is applied, and only a partial region is reset for the character that is displayed as a result of the execution. By performing the second binarization based on one threshold, an image can be recognized more clearly and accurately.

Claims

카메라를 통해 촬영된 자동차 번호판의 영상을 인식하는 시스템에 있어서,In the system for recognizing the image of the license plate photographed through the camera,

상기 자동차 번호판의 영상을 객체의 윤곽선으로 이루어진 에지(edge) 영상으로 생성한 후, 상기 생성된 에지 영상을 흑, 백색으로 이루어진 영상인 이진화된 에지 영상으로 생성하는 에지 영상 생성부;An edge image generation unit generating an image of the license plate as an edge image formed of an outline of an object, and then generating the generated edge image as a binary edge image, which is an image of black and white;

상기 생성된 이진화된 에지 영상을 수평 투영시켜 상, 하부 영역으로 각각 분리하는 상하 영역 분리부;An upper and lower region separator configured to horizontally project the generated binarized edge image into upper and lower regions;

상기 분리된 상, 하부 영역별로 수직 및 수평 투영시켜 문자가 포함되어 있는 소정의 영역인 문자 영역을 추출하는 문자 영역 추출부;A text area extraction unit configured to extract a text area that is a predetermined area including text by vertically and horizontally projecting the separated upper and lower areas;

상기 추출된 문자 영역별로 임계치를 각각 설정한 후, 상기 설정된 임계치를 기준으로 문자 영역별 이진화를 수행하는 제1 적응적 지역 이진화 수행부; 및A first adaptive local binarization performing unit for performing binarization for each character region based on the set threshold value after setting a threshold value for each extracted character region; And

상기 이진화된 문자 영역을 각각 수직 및 수평 투영시켜 문자가 끊어져 보이는 일부 영역이 있으면, 상기 일부 영역만을 다시 설정한 임계치를 기준으로 이진화를 수행하는 제2 적응적 지역 이진화 수행부A second adaptive local binarization performer configured to perform binarization based on a threshold for resetting only the partial region when there is a partial region where the characters are broken by vertically and horizontally projecting the binarized character region respectively;

를 포함하는 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템.License plate recognition system using adaptive local binarization comprising a.

제1 항에 있어서,According to claim 1,

적어도 한 개 이상의 자동차 번호판에 대한 상, 하부 영역별 문자 영역의 개수 및 각 문자 영역에 속해 있는 숫자 또는 글자에 대한 정보가 저장된 문자 데이 터베이스; 및 A character database that stores information about the number of upper and lower character regions for at least one license plate and the numbers or letters belonging to each character region; And

상기 문자 데이터베이스 내 정보 검색을 통해 상기 검색된 문자 영역의 문자가 숫자인지 또는 글자인지를 판단하는 문자 종류 판단부Character type determination unit for determining whether the character of the searched character area is a number or a letter through the information search in the character database

를 더 포함하는 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템.License plate recognition system using an adaptive local binarization further comprising.

제2 항에 있어서,The method of claim 2,

상기 제1 적응적 지역 이진화 수행부는, The first adaptive local binarization performing unit,

상기 추출된 문자 영역별로 문자가 차지하는 비율을 토대로 임계치를 각각 설정한 후, 상기 설정된 임계치를 기준으로 상기 추출된 문자 영역별 이진화를 수행하는 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템.And a threshold value is set based on a ratio of characters occupied by the extracted character regions, and then binarization is performed for each extracted character region based on the set threshold value.

제2 항에 있어서,The method of claim 2,

상기 상하 영역 분리부는,The upper and lower region separation unit,

상기 이진화된 에지 영상의 전체 세로 길이 중 위에서부터 1/4 내지 3/4 영역을 수평 투영시켜 픽셀의 누적 수가 최소 개수를 갖는 영역인 경계 영역을 찾은 후, 상기 찾은 경계 영역을 중심으로 상부 및 하부 영역을 각각 분리하는 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템.After horizontally projecting 1/4 to 3/4 regions from the top of the entire vertical length of the binarized edge image to find a boundary region that is a region having the minimum number of pixels, the top and bottom centers around the found boundary region. A license plate recognition system using adaptive local binarization that separates regions.

카메라를 통해 촬영된 자동차 번호판의 영상을 인식하는 방법에 있어서,In the method of recognizing the image of the license plate photographed through the camera,

a)상기 자동차 번호판의 영상을 객체의 윤곽선으로 이루어진 에지(edge) 영 상으로 생성한 후, 상기 생성된 에지 영상을 흑, 백색으로 이루어진 영상인 이진화된 에지 영상으로 생성하는 단계;a) generating an image of the license plate as an edge image composed of an outline of an object, and then generating the generated edge image as a binary edge image which is an image composed of black and white;

b)상기 생성된 이진화된 에지 영상의 전체 세로 길이 중 위에서부터 1/4 내지 3/4 영역까지 수평 투영시켜 픽셀의 누적 수가 최소 개수를 갖는 영역인 경계 영역을 찾은 후, 상기 찾은 경계 영역을 중심으로 상기 이진화된 에지 영상을 상, 하부 영역으로 분리하는 단계; b) horizontally projecting from the top to a quarter to three quarters region of the entire vertical length of the generated binarized edge image to find a boundary region that is a region having a minimum number of pixels, and then centering the found boundary region. Dividing the binarized edge image into upper and lower regions;

c)상기 분리된 상, 하부 영역을 수직 및 수평 투영시켜 문자가 포함되어 있는 소정의 영역인 문자 영역을 각각 추출하는 단계;c) extracting a text area, which is a predetermined area including letters, by vertically and horizontally projecting the separated upper and lower areas;

d)상기 추출된 문자 영역별로 임계치를 설정한 후, 상기 설정된 임계치를 기준으로 문자 영역별 이진화를 수행하는 단계; 및d) setting a threshold value for each extracted character area and performing binarization for each character area based on the set threshold value; And

e)상기 이진화된 문자 영역에서 문자가 끊어져 보이는 일부 영역이 있으면, 상기 일부 영역을 다시 설정한 임계치를 기준으로 이진화하는 단계e) if there is a partial region in which the character is broken in the binarized character region, binarizing the partial region based on a reset threshold value;

를 포함하는 적응적 지역 이진화를 이용한 자동차 번호판 인식 방법.License plate recognition method using adaptive local binarization comprising a.

제5 항에 있어서, The method of claim 5,

f)적어도 한 개 이상의 자동차 번호판에 관한 상, 하부 영역별 문자 영역의 개수 및 각 문자 영역에 속해 있는 숫자 또는 글자에 대한 정보를 저장 및 관리하는 단계f) storing and managing information on at least one license plate number of upper, lower area and at least one number or letter belonging to each letter area for at least one license plate;

를 더 포함하고, More,

상기 c)단계는,Step c) is

상기 f)단계를 통해 저장된 정보를 검색하여 상기 추출된 문자 영역의 문자가 숫자인지 또는 글자인지를 판단하는 단계Determining whether the extracted text area is a number or a letter by searching the stored information through step f).

제6 항에 있어서, The method of claim 6,

상기 c)단계는, Step c) is

글자가 포함되어 있는 영역으로 판단된 적어도 한 개 이상의 문자 영역에 대해 평균적인 문자 폭을 산출하는 단계; Calculating an average character width of at least one character area determined to be an area in which characters are included;

상기 산출된 평균 문자 폭 보다 작은 문자 폭을 가진 문자 영역을 검색하는 단계; 및Searching for a text area having a text width smaller than the calculated average text width; And

상기 검색된 적어도 한 개 이상의 문자 영역을 서로 병합시켜 인식하는 단계Recognizing the found at least one text area by merging them together

제5 항에 있어서, The method of claim 5,

상기 d)단계는, In step d),

상기 추출된 문자 영역별로 문자가 차지하는 비율을 계산한 후, 상기 계산된 결과 값에 따라 문자 영역별 임계치를 설정하는 단계; 및 Calculating a ratio of characters in each of the extracted character regions, and setting a threshold for each character region according to the calculated result value; And

상기 설정된 임계치를 기준으로 문자 영역별 이진화를 수행하는 단계Performing binarization for each character area based on the set threshold value;

제5 항에 있어서, The method of claim 5,

상기 e)단계는, In step e),

상기 이진화된 문자 영역을 각각 수평 및 수직 투영시켜 문자가 끊어진 위치를 검색하는 단계;Horizontally and vertically projecting the binarized text area to search for a location where text is broken;

상기 검색된 위치를 기준으로 한 문자 영역을 상, 하부 영역으로 분리하는 단계; 및Dividing the text area into upper and lower areas based on the searched position; And

상기 분리된 상, 하부 영역별로 서로 다른 임계치를 적용하여 이진화하는 단계Binarizing by applying different threshold values for the separated upper and lower regions;