KR20110115927A - Method for extracting of license number plate and apparatus using the same - Google Patents

Method for extracting of license number plate and apparatus using the same Download PDF

Info

Publication number
KR20110115927A
KR20110115927A KR1020100035544A KR20100035544A KR20110115927A KR 20110115927 A KR20110115927 A KR 20110115927A KR 1020100035544 A KR1020100035544 A KR 1020100035544A KR 20100035544 A KR20100035544 A KR 20100035544A KR 20110115927 A KR20110115927 A KR 20110115927A
Authority
KR
South Korea
Prior art keywords
image
license plate
objects
aspect ratio
vehicle license
Prior art date
Application number
KR1020100035544A
Other languages
Korean (ko)
Inventor
최두현
김종화
오복진
김충훈
김영모
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020100035544A priority Critical patent/KR20110115927A/en
Publication of KR20110115927A publication Critical patent/KR20110115927A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치에 관한 것으로, 본 발명에 따른 차량 번호판 추출 장치는 촬영부, 촬영된 영상을 입력받는 영상 입력부, 영상 신호를 처리하는 영상 처리부, 입력된 영상에 포함된 문자 또는 숫자의 색상이나 종횡비 중 적어도 하나를 이용하여, 번호판의 문자 또는 숫자만을 추출하도록 영상 처리부를 제어하는 제어부 및 추출된 문자 또는 숫자를 출력하는 영상 출력부를 포함한다. 본 발명에 의하면 효과적으로 차량 번호판의 번호를 식별할 수 있게 된다.The present invention relates to a vehicle license plate extraction method and a vehicle license plate extraction apparatus using the same. The vehicle license plate extraction apparatus according to the present invention includes a photographing unit, an image input unit for receiving a captured image, an image processing unit for processing an image signal, and an input image. And a controller for controlling the image processor to extract only the characters or numbers of the license plate using at least one of the color or aspect ratio of the characters or numbers included in the image output unit. According to the present invention, it is possible to effectively identify the number of the license plate.

Description

차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치{METHOD FOR EXTRACTING OF LICENSE NUMBER PLATE AND APPARATUS USING THE SAME}Vehicle license plate extraction method and vehicle license plate extraction device using the same {METHOD FOR EXTRACTING OF LICENSE NUMBER PLATE AND APPARATUS USING THE SAME}

본 발명은 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치에 관한 것으로, 더욱 상세하게는 차량 번호판의 문자 또는 숫자에 대한 정보를 이용하여 번호판의 문자 또는 숫자를 추출할 수 있는 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치에 관한 것이다.The present invention relates to a vehicle license plate extraction method and a vehicle license plate extraction apparatus using the same, and more particularly, a vehicle license plate extraction method that can extract the letters or numbers of the license plate using information on the letters or numbers of the license plate and the same. It relates to a vehicle license plate extraction device used.

전국의 생활권이 더없이 좁아지고 있고, 개인의 생활영역은 점점 확장되어 가고 있다. 이와 같이 생활의 시공간적 영역을 신축할 수 있었던 주요 원동력으로서 이동 수단의 발달을 꼽을 수 있을 것이다. 그리고, 이동 수단의 중심에는 자동차가 있다.The nation's life zones are getting narrower, and the individual's sphere of life is expanding. As such, the development of means of transportation can be cited as the main driving force to expand the time and space domain of life. In the center of the vehicle, there is a car.

사회가 복잡해지고, 경제 규모는 커졌다. 이에 비례하여 자동차에 대한 수요 곡선과 공급 곡선은 상승 기세를 앞다투어 달린다. 그리고 그에 따른 부작용으로, 거리에서는 정체와 혼잡이 일상의 풍경이 된지 오래고, 고의나 부주의에 의한 교통 사고로 인간의 생명이 위협받게 되었을 뿐만 아니라, 불법 주정차 단속에 따른 사회적 비용을 초래하기에 이르렀다.Society is complicated and the economy is growing. In proportion, the demand and supply curves for automobiles are on the upswing. As a result, the street has long been congested and congested, and not only has human life been threatened by deliberate or careless traffic accidents, but also caused social costs for illegal parking control.

이러한 사회적, 경제적 부작용을 해결하기 위하여 자동화 시스템의 도입이 대두되었고, 자동화 시스템으로는 대표적으로 교통 혼잡을 해결하기 위한 시스템, 사고 방지를 위한 시스템, 무인 단속을 위한 시스템이 꼽을 수 있다. 그리고, 자동화 시스템을 효율적으로 실현하기 위해서 가장 기본적으로 요구되는 것은, 자동차의 식별을 위해 부착된 번호판에 표시된 차량 번호를 자동으로 검지해 내는 기술일 것이다.In order to solve these social and economic side effects, the introduction of an automation system has emerged, and typical automation systems include a system for solving traffic congestion, a system for preventing accidents, and a system for unmanned enforcement. And, in order to efficiently realize the automation system, what is most fundamentally required is a technology for automatically detecting the vehicle number displayed on the license plate attached for identification of the automobile.

하지만, 자동차 번호판을 구성하는 숫자 영역과 이를 제외한 배경을 명확히 구별해내기는 쉬운 일이 아니다. 이는 현재 사용되는 번호판의 숫자 영역과 배경의 색상이 일률적이지 않을 뿐만 아니라, 조명에 의한 색상의 왜곡 또는 카메라의 위치에 따른 숫자 영역의 비틀림 등이 원인이 된다.However, it is not easy to clearly distinguish between the numerical area constituting the license plate and the background except it. This is not only because the color of the number plate and the background of the currently used license plate is uniform, but also the color distortion caused by lighting or the distortion of the number area according to the position of the camera.

따라서, 자동화 시스템을 효율적으로 구축하기 위해서는 상기 문제점이 선행적으로 해결될 것이 요구된다.Therefore, in order to efficiently build an automation system, the above problem is required to be solved in advance.

본 발명은 상술한 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 효과적으로 자동차 번호판의 문자 또는 숫자 영역을 식별해낼 수 있는 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치를 제공함에 있다.The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a vehicle license plate extraction method capable of effectively identifying a letter or number area of a license plate and a vehicle license plate extraction apparatus using the same.

또한, 본 발명의 또 다른 목적은 자동차 번호판이 갖는 색상 정보와 문자 또는 숫자의 정보를 이용하여 자동차 번호판의 문자 또는 숫자 영역을 식별해낼 수 있는 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치를 제공함에 있다.In addition, another object of the present invention to provide a vehicle license plate extraction method that can identify the character or number area of the license plate using the color information and letters or number information of the license plate and a vehicle license plate extraction apparatus using the same. have.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량 번호판 추출 장치는, 촬영부; 상기 촬영부에서 촬영된 영상에 대응되는 영상 신호를 생성하는 영상 입력부; 상기 생성된 영상 신호를 처리하여 이진 영상을 생성하고, 상기 이진 영상에 대해 레이블링 처리를 수행하여 상기 영상에 포함된 객체를 검출하는 영상 처리부; 상기 검출된 객체 각각의 종횡비를 확인하여, 차량 번호판의 숫자 영역을 검출하는 제어부; 및 상기 검출된 숫자 영역을 포함하는 영상을 출력하는 영상 출력부;를 포함한다.Vehicle license plate extraction apparatus according to an embodiment of the present invention for achieving the above object, the photographing unit; An image input unit generating an image signal corresponding to the image photographed by the photographing unit; An image processor configured to generate a binary image by processing the generated image signal, and detect an object included in the image by performing a labeling process on the binary image; A controller which checks an aspect ratio of each detected object and detects a numeric area of a vehicle license plate; And an image output unit configured to output an image including the detected numeric region.

그리고, 상기 제어부는, 상기 영상 출력부를 제어하여, 상기 검출된 숫자 영역을 제외한 노이즈 영역을 제거한 영상을 출력하는 것이 바람직하다.The controller may be configured to control the image output unit to output an image in which a noise region other than the detected numeric region is removed.

또한, 상기 영상 처리부는, 상기 영상 신호를 처리하여, 기 설정된 색상 이외의 색상 영역들이 배제되는 그레이 영상을 생성하고, 상기 그레이 영상으로부터 상기 이진 영상을 생성하는 것이 바람직하다.The image processor may be further configured to process the image signal to generate a gray image in which color areas other than a predetermined color are excluded, and generate the binary image from the gray image.

그리고, 상기 제어부는, 상기 검출된 객체 각각의 종횡비를 확인하여, 기 저장된 종횡비에 부합되는 종횡비를 가지는 객체를 후보 객체로 설정하고, 상기 후보 객체들이 기 설정된 개수만큼 연속적으로 배치된 상태이면 상기 차량 번호판의 숫자 영역으로 판단하는 것이 바람직하다.The controller determines an aspect ratio of each detected object, sets an object having an aspect ratio corresponding to a previously stored aspect ratio as a candidate object, and if the candidate objects are continuously arranged by a predetermined number, the vehicle. It is preferable to judge by the numeric area of the license plate.

또한, 상기 제어부는, 상기 촬영부의 촬영 각도에 따른 기울기 및 회전 정도를 고려하여 상기 객체 중 후보 객체를 설정하고, 상기 설정된 후보 객체들 중 기 설정된 개수만큼 연속적으로 배치된 후보 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것이 바람직하다.The controller may be further configured to set candidate objects among the objects in consideration of the inclination and the degree of rotation according to the photographing angle of the photographing unit, and to sequentially store the candidate objects of the set number of candidate objects in the vehicle license plate. It is preferable to judge by the numerical area.

그리고, 상기 제어부는, 상기 검출된 객체들 각각의 종횡비를 확인하여, 높이가 너비보다 작은 객체를 제외한 나머지 객체들 중에서, 기 설정된 개수만큼 연속적으로 배치된 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것이 바람직하다.The controller may determine an aspect ratio of each of the detected objects and determine objects, which are continuously arranged by a predetermined number, among the remaining objects except for objects whose height is smaller than the width, as the numeric area of the vehicle license plate. It is preferable.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량 번호판 추출 방법은, 영상을 입력하는 입력 단계; 상기 입력된 영상에 대한 영상 신호를 처리하여 이진 영상을 생성한 후, 상기 이진 영상에 대해 레이블링 처리를 수행하여 상기 영상에 포함된 객체를 검출하고, 상기 검출된 객체 각각의 종횡비를 확인하여, 차량 번호판의 숫자 영역을 검출하는 검출 단계; 상기 검출된 숫자 영역을 포함하는 영상을 출력하는 출력 단계;를 포함한다.On the other hand, the vehicle license plate extraction method according to an embodiment of the present invention for achieving the above object, an input step of inputting an image; After generating a binary image by processing the image signal with respect to the input image, and performing a labeling process for the binary image to detect the object included in the image, and to determine the aspect ratio of each detected object, A detection step of detecting a numeric area of the license plate; And outputting an image including the detected numeric area.

그리고, 상기 검출 단계는, 상기 검출된 숫자 영역을 제외한 노이즈 영역을 제거한 영상을 검출하는 것이 바람직하다.In the detecting step, it is preferable to detect an image from which a noise region except for the detected numeric region is removed.

또한, 상기 검출 단계는, 상기 영상 신호를 처리하여, 기 설정된 색상 이외의 색상 영역들이 배제되는 그레이 영상을 생성하고, 상기 그레이 영상으로부터 상기 이진 영상을 생성하는 것이 바람직하다.In the detecting step, the image signal may be processed to generate a gray image in which color areas other than a predetermined color are excluded, and generate the binary image from the gray image.

그리고, 상기 검출 단계는, 상기 검출된 객체 각각의 종횡비를 확인하여, 기 저장된 종횡비에 부합되는 종횡비를 가지는 객체를 후보 객체로 설정하고, 상기 후보 객체들이 기 설정된 개수만큼 연속적으로 배치된 상태이면 상기 차량 번호판의 숫자 영역으로 판단하는 것이 바람직하다.The detecting may include determining an aspect ratio of each detected object, setting an object having an aspect ratio corresponding to a previously stored aspect ratio as a candidate object, and if the candidate objects are continuously arranged by a predetermined number, It is preferable to determine the numerical area of the license plate.

또한, 상기 검출 단계는, 입력된 영상의 촬영 각도에 따른 기울기 및 회전 정도를 고려하여 상기 객체 중 후보 객체를 설정하고, 상기 설정된 후보 객체들 중 기 설정된 개수만큼 연속적으로 배치된 후보 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것이 바람직하다.The detecting may include setting candidate objects among the objects in consideration of the inclination and the degree of rotation according to the photographing angle of the input image, and sequentially selecting the candidate objects among the set candidate objects in the vehicle. It is preferable to judge by the numeric area of the license plate.

그리고, 상기 검출 단계는, 상기 검출된 객체들 각각의 종횡비를 확인하여, 높이가 너비보다 작은 객체를 제외한 나머지 객체들 중에서, 기 설정된 개수만큼 연속적으로 배치된 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것이 바람직하다.In the detecting step, the aspect ratio of each of the detected objects is checked, and among objects other than objects whose height is smaller than the width, objects that are continuously arranged by a predetermined number are determined as the numeric area of the vehicle license plate. It is desirable to.

상술한 본 발명의 일 실시예에 따른 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치에 따르면, 효과적으로 자동차 번호판의 숫자 영역을 식별해 낼 수 있게 된다.According to the vehicle license plate extraction method and the vehicle license plate extraction apparatus using the same according to an embodiment of the present invention described above, it is possible to effectively identify the numeric area of the license plate.

도 1은 차량 번호판의 표준을 나타내는 표,
도 2는 법률 개정 전후의 차량 번호판의 구성을 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 차량 번호판 추출 장치의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시예에 따른 차량 번호판 추출 방법을 나타내는 흐름도,
도 5는 본 발명의 일 실시예에 따른 이진화 영상 변환 방법을 나타내는 흐름도,
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 이진화 영상 변환 방법의 결과를 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른 차량 번호판 추출 방법에 참조되는 숫자의 정보를 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른 레이블링에 의한 결과를 나타내는 도면,
도 9는 본 발명의 일 실시예에 따른 차량 번호판 추출 방법에 있어서, 번호판의 숫자 영역만을 추출하는 방법을 설명하기 위한 도면, 그리고,
도 10은 본 발명의 일 실시예에 따른 차량 번호판 추출 방법을 순서대로 나타내는 도면이다.
1 is a table showing the standard of the license plate,
2 is a view showing the configuration of a vehicle license plate before and after the law revision;
3 is a block diagram showing the configuration of a vehicle license plate extraction apparatus according to an embodiment of the present invention;
4 is a flowchart illustrating a vehicle license plate extraction method according to an embodiment of the present invention;
5 is a flowchart illustrating a method of converting a binarized image according to an embodiment of the present invention;
6A and 6B illustrate results of a binarization image conversion method according to an embodiment of the present invention;
7 is a view showing information of a number referred to a vehicle license plate extraction method according to an embodiment of the present invention;
8 is a view showing a result by labeling according to an embodiment of the present invention;
9 is a view for explaining a method of extracting only the numeric area of the license plate in the vehicle license plate extraction method according to an embodiment of the present invention, and
10 is a diagram illustrating a method for extracting a vehicle license plate in order according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하면서 본 발명에 대하여 더욱 상세하게 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in more detail with respect to the present invention.

도 1은 자동차 번호판과 관련한 법률상 자동차 번호판의 표준을 개정전과 개정후를 비교하여 나타낸 것이다. 개정전 자동차 번호판은 일반용 및 사업용으로 구분되어 문자의 색상은 흰색과 남색으로 서로 달랐으며, 숫자의 종횡비 역시 일치하지 않았다. 이후 법을 개정하면서, 문자의 색상은 일반용과 사업용을 불문하고 검은색으로 통일되었고, 번호판의 바탕색은 흰색 또는 황색으로 바뀌었다. 숫자 크기의 종횡비는 일반용과 사업용, 그리고 일반형과 대형으로 구분되어 각각 다르다. Figure 1 shows the standard of the license plate in relation to the license plate in comparison with the revision before and after. Before the revision, the license plate was divided into general use and business use, and the color of the letters was different from white and indigo, and the aspect ratio of the numbers did not match. Subsequently, as the law was revised, the color of the letters was unified to black for both general and business use, and the background color of the plates changed to white or yellow. The aspect ratio of the number size is divided into general and business, and general and large.

즉, 개정후 현행법에 따르면 문자의 색상이 검은색으로 일정하고, 숫자의 종횡비(120)가 차량의 형태나 용도마다 규정되어 있어서, 규정된 색상(110) 및 숫자의 정보를 이용하여 보다 효율적으로 차량 번호를 감지할 수 있을 것이다.That is, according to the current law after the revision, the color of the text is constant as black, and the aspect ratio 120 of the number is defined for each type and use of the vehicle, so that the information of the color 110 and the number specified is more efficient. Vehicle number will be detected.

도 2는 도 1에 도시된 규격의 예를 그림으로 나타낸 것이다. 숫자 중 일부는 생략하였다. 번호판 a(210)는 개정 전의 번호판을 나타내는 것으로 문자의 색은 흰색이고, 바탕은 녹색으로 구성되어 있다. 번호판 b(220)는 개정 후의 사업용 번호판으로 바탕은 황색으로 구성되어 있고, 문자는 검은색으로 구성되어 있다. 번호판 c(230)는 개정 후 대형 일반용 번호판의 구성을 나타내며, 바탕은 흰색이고 문자는 검은색으로 구성되어 있다. 마지막으로, 번호판 d(240)는 개정 후 일반형 일반용 번호판의 구성을 나타내며, 바탕은 역시 흰색이고 문자 역시 검은색으로 구성되어 있다.2 is a diagram showing an example of the standard shown in FIG. Some of the numbers are omitted. The license plate a 210 indicates a license plate before revision, and the color of the letter is white and the background is green. License plate b (220) is a business license plate after the revision is composed of a yellow background, the letters are composed of black. License plate c (230) shows the configuration of a large general license plate after revision, the background is white and the text is composed of black. Finally, the license plate d (240) indicates the configuration of the general-purpose license plate after the revision, the background is also white and the text is also composed of black.

도 1 및 도 2에 도시된 바와 같이 자동차 번호판은 법정 규격에 맞게 제작되어 있으므로, 이를 이용하면 효율적으로 번호판의 숫자를 추출해 낼 수 있게 된다. 특히, 번호판의 색상 및 숫자의 종횡비를 이용한다면 더욱 선명하게 자동차 번호판의 번호만을 추출해 내는 것이 가능해진다. 그 방법과 관련하여서는 이하의 도면들을 참조하면서 더욱 상세하게 설명하기로 한다.1 and 2, since the license plate is manufactured according to the legal standard, it is possible to efficiently extract the number of the license plate using it. In particular, by using the color of the license plate and the aspect ratio of the numbers, it is possible to extract only the license plate number more clearly. The method will be described in more detail with reference to the following drawings.

도 3은 본 발명의 일 실시예에 따른 차량 번호판 추출 장치의 구성을 나타내는 블록도이다. 본 실시예에 따른 차량 번호판 추출 장치는 촬영부(310), 영상 입력부(320), 영상 처리부(330), 영상 출력부(340), 제어부(350) 및 저장부(360)를 포함한다.3 is a block diagram showing the configuration of a vehicle license plate extraction apparatus according to an embodiment of the present invention. The license plate extracting apparatus according to the present embodiment includes a photographing unit 310, an image input unit 320, an image processing unit 330, an image output unit 340, a controller 350, and a storage unit 360.

촬영부(310)는 차량 번호판을 포함하는 영상을 촬영하는 기능을 갖는다. 따라서, 촬영을 위한 렌즈, 빛의 양을 조절하기 위한 조리개 등으로 구성될 수 있다. 촬영부(310)는 촬영된 영상을 영상 입력부(320)에 제공한다.The photographing unit 310 has a function of photographing an image including a vehicle license plate. Therefore, it may be composed of a lens for photographing, an aperture for adjusting the amount of light, and the like. The photographing unit 310 provides the photographed image to the image input unit 320.

영상 입력부(320)는 촬영부(310)로부터 촬영된 영상에 대한 영상 신호를 수신한다. 즉, 영상 입력부(320) 촬영부(310)로부터 입력되는 광학적 신호를 전기적 신호로 변환하는 기능을 갖는다. 주로, 영상 입력부(320)는 CCD(Charge Coupled Diode)나 CMOS 이미지 센서로 구성될 수 있으나, 이와 달리 외부로부터 영상을 수신하는 경우에는 그 수신부가 될 수 있을 것이다.The image input unit 320 receives an image signal of an image captured by the photographing unit 310. That is, the image input unit 320 has a function of converting an optical signal input from the photographing unit 310 into an electrical signal. Mainly, the image input unit 320 may be configured as a Charge Coupled Diode (CCD) or a CMOS image sensor. Alternatively, the image input unit 320 may be a receiver when receiving an image from the outside.

영상 처리부(330)는 영상 입력부(320)로부터 출력된 영상 신호를 처리한다. 구체적으로, 영상 처리부(330)는 입력된 영상을 그레이 영상으로 변환하고, 변환된 그레이 영상을 이진화하고, 이진화된 영상을 레이블링한다.The image processor 330 processes the image signal output from the image input unit 320. In detail, the image processor 330 converts the input image into a gray image, binarizes the converted gray image, and labels the binarized image.

특히 영상 처리부(330)는 입력된 영상을 그레이 영상으로 변환할 때, 입력된 영상의 각 화소의 RGB값을 추출하고, RGB값의 구성 비율이 1:1:1인 경우에 그레이 영상으로 변환한다. 이는 흰색, 검은색 및 회색은 RGB의 구성 비율이 거의 같기 때문이며, 차량 번호판의 구성은 검은색과 흰색을 포함하고 있고, 주요 관심 영역이 되는 부분 역시 검은색과 흰색을 포함하는 부분이기 때문에 필요한 부분만을 그레이 영상으로 변환시킬 수 있게 된다.In particular, the image processor 330 extracts an RGB value of each pixel of the input image when converting the input image into a gray image, and converts the gray value when the composition ratio of the RGB value is 1: 1: 1. . This is because white, black, and gray have almost the same ratio of RGB, and the vehicle license plate includes black and white, and the main area of interest also includes black and white. Only the gray image can be converted.

또한, 영상 처리부(330)는 그레이 영상을 이진화된 영상으로 생성한다. 그레이 영상 내에서 숫자와 배경을 분리시키기 위하여, 명암값의 범위의 중간값인 127을 임계값으로 하여, 임계값을 초과하는지 아니면 임계값 이하인지 여부로 이진화된 영상을 생성할 수 있다. In addition, the image processor 330 generates a gray image as a binarized image. In order to separate a number from a background in a gray image, a binary image may be generated by using a threshold value of 127, which is an intermediate value of a range of contrast values, whether the threshold value is greater than or equal to the threshold value.

구체적으로, 숫자가 흰색인 번호판인 경우에는 임계값보다 큰 영역에 명암값 255를 주고, 임계값보다 작거나 같은 영역에 명암값 0을 주게 되면, 숫자가 되는 부분은 흰색으로, 그 배경은 검은색으로 구분될 것이다.Specifically, in the case of a white number plate, if the contrast value is 255 in the area larger than the threshold value and the contrast value 0 is given in the area less than or equal to the threshold value, the numbered part is white and the background is black. Will be color-coded.

이와 반대로, 숫자가 검은색인 번호판인 경우에는 임계값보다 작은 영역에 명암값 255를 주고, 임계값보다 크거나 같은 영역에 명암값 0을 주게 되면, 마찬가지로 숫자가 되는 부분은 흰색으로, 그 배경은 검은색으로 구분될 수 있게 된다.On the contrary, if the number plate is black, the contrast value 255 is given in the area smaller than the threshold value, and the contrast value 0 is given in the area greater than or equal to the threshold value. It can be distinguished by black.

또한, 영상 처리부(330)는 이진화된 영상을 레이블링함에 있어서, 숫자의 종횡비를 이용하여 레이블링한다. 특히, 레이블링된 객체의 수가 많을 경우에는 시스템의 전체적인 수행시간이 지연될 수 있으므로, 레이블링 대상 객체의 수를 줄이기 위해서 숫자의 종횡비를 이용할 수 있다. 구체적으로, 숫자의 종횡비는 일정하며 가로의 길이가 세로의 길이보다 짧으므로, 가로의 길이가 세로의 길이보다 긴 경우를 제외한다. In addition, the image processor 330 labels the binarized image using the aspect ratio of the number. In particular, when the number of labeled objects is large, the overall execution time of the system may be delayed. Accordingly, the aspect ratio of the number may be used to reduce the number of the objects to be labeled. Specifically, since the aspect ratio of the numbers is constant and the length of the width is shorter than the length of the length, except when the length of the length is longer than the length of the length.

그리고, 촬영부(310)에서 촬영되어 입력된 영상이 1280*960의 크기를 갖는 경우, 객체의 넓이가 40화소보다 작은 객체는 레이블링 대상에서 제외할 수 있다. 이렇게 함으로써, 레이블링시 시간의 지연을 막을 수 있게 된다.When the image captured and input by the photographing unit 310 has a size of 1280 * 960, an object whose width is smaller than 40 pixels may be excluded from the labeling target. By doing so, it is possible to prevent the delay of time during labeling.

영상 출력부(340)는 영상 처리부(330)에서 결정된 숫자에 해당하는 영역을 출력하는 기능을 갖는다.The image output unit 340 has a function of outputting an area corresponding to the number determined by the image processor 330.

제어부(350)는 촬영부(310), 영상 입력부(320) 및 영상 처리부(330)의 동작을 제어하여, 차량 번호판 추출 장치의 전반적인 동작에 관여하게 된다. 특히, 후술할 저장부(360)에 저장되어 있는 차량 번호판에 대한 정보를 기초로, 영상 처리부(330)에서 차량 번호판의 번호를 추출할 수 있게 한다.The controller 350 controls the operations of the photographing unit 310, the image input unit 320, and the image processing unit 330 so as to be involved in the overall operation of the license plate extraction apparatus. In particular, the image processor 330 may extract the number of the vehicle license plate based on the information about the vehicle license plate stored in the storage unit 360 to be described later.

저장부(360)는 영상 처리부(330)가 차량 번호판의 번호를 추출하기 위하여 참조되는 기본적인 정보들, 즉, 차량 번호판의 색상 및 종횡비에 대한 정보, 또는 번호판이 회전되거나 기울어진 경우에 참조되기 위한 회전 정보나 기울기 정보를 저장하는 기능을 갖는다.The storage unit 360 may be used when the image processor 330 is referred to to extract the number of the license plate number, that is, information about the color and aspect ratio of the license plate, or when the license plate is rotated or tilted. It has a function of storing rotation information and tilt information.

본 실시예에 대한 설명에 있어서는, 저장부(360)가 회전 정보나 기울기 정보를 미리 저장한 것으로 상정하였으나 이에 한정되지 않고, 이와 다른 실시예에 회전 정보나 기울기 정보가 저장부(360)에 기설정되어 있지 않고, 차량 번호판의 종횡비에 대한 정보를 기초로 연산하여 추출될 수도 있을 것이다. In the description of the present embodiment, it is assumed that the storage unit 360 stores the rotation information or the inclination information in advance, but the present invention is not limited thereto. In another embodiment, the rotation information and the inclination information are stored in the storage unit 360. It is not set, but may be calculated and extracted based on the information on the aspect ratio of the license plate.

도 4는 본 발명의 일 실시예에 따른 차량 번호판 추출 방법을 나타내는 흐름도이다. 4 is a flowchart illustrating a vehicle license plate extraction method according to an embodiment of the present invention.

우선 영상을 입력받는다(S100). 입력되는 영상은 촬영부(310)에서 촬영되어 제공된 영상일 수도 있고, 이와 다른 외부 장치로부터 수신된 영상일 수 있다. 이후 촬영된 영상을 그레이 영상으로 변환한다(S410). 이때 RGB의 구성비가 1:1:1인 화소에 대하여 그레이 영상으로 변환하는 경우, 불필요한 부분을 그레이 영상으로 변환하는 것을 피할 수 있다. 이는 차량 번호판에서 추출하고자하는 부분, 즉, 관심 영역의 색상이 흰색, 검은색이며 흰색과 검은색의 RGB 구성비가 대체로 동일하기 때문이다.First, the image is input (S100). The input image may be an image captured and provided by the photographing unit 310 or may be an image received from another external device. Thereafter, the captured image is converted into a gray image (S410). In this case, when converting a pixel having a RGB ratio of 1: 1: 1 to a gray image, it is possible to avoid converting an unnecessary portion to a gray image. This is because the portion of the vehicle license plate to be extracted, that is, the color of the region of interest is white and black, and the RGB component ratios of white and black are generally the same.

그레이 영상으로 변환된 영상을 기초로 이진화 영상을 생성한다(S420). 이진화 영상은 임계값을 정하여 화소의 명암값과 임계값을 비교함으로써 생성할 수 있다. 구체적으로 0에서 255사이의 명암값 중 중간값인 127을 임계값으로 상정한 경우, 화소의 명암값이 127보다 큰 경우에 명암값이 255인 흰색으로, 그리고, 화소의 명암값이 127보다 작거나 같은 경우에 명암값이 0인 검은색으로 설정한다고 하면, 그레이 영상은 흰색과 검은색으로 구성된 이진화 영상으로 변환되고, 따라서 번호판의 숫자는 더욱 선명해진다. 이와 관련해서는 도 5를 참조하면서 더욱 상세히 설명하기로 한다.A binarized image is generated based on the image converted into the gray image (S420). The binarized image may be generated by determining a threshold value and comparing the contrast value and the threshold value of the pixel. Specifically, when 127, which is an intermediate value between 0 and 255, is assumed as the threshold, when the contrast value of the pixel is greater than 127, the contrast value is 255 white, and the contrast value of the pixel is less than 127. In this case, the gray image is converted into a binarized image composed of white and black, so that the number of the license plate becomes clearer. This will be described in more detail with reference to FIG. 5.

다음으로 이진화된 영상을 레이블링한다(S430). 레이블링과 관련하여서도 아래서 구체적으로 설명하기로 한다. 레이블링된 객체에 대하여 번호판에 사용된 숫자의 특징을 이용하여 번호판 영역을 검출한다(S440). 주로 번호판 숫자의 종횡비를 기초로 기울기나 회전 정보를 참조하여 숫자 영역만을 더욱 명확히 검출할 수 있다. Next, the binarized image is labeled (S430). The labeling will also be described in detail below. The license plate area is detected using the feature of the number used in the license plate with respect to the labeled object (S440). Only the numeric region can be more clearly detected by referring to the tilt or rotation information based mainly on the aspect ratio of the number plates.

구체적으로, 레이블링시 모든 객체에 대하여 측정되는 객체의 정보와 너비를 검출하고, 여기에서 획득한 종횡비를 이용하여 후보 영역을 추출하고, 후보 영역 중에서 검출된 객체 각각의 종횡비를 확인하여, 기 저장된 종횡비에 부합되는 종횡비를 가지는 객체를 후보 객체로 설정하고, 후보 객체들이 기 설정된 개수만큼 연속적으로 배치된 상태이면 상기 차량 번호판의 숫자 영역으로 판단할 수 있을 것이다.Specifically, the labeling detects the information and width of the object measured for all objects, extracts the candidate region using the aspect ratio obtained here, and checks the aspect ratio of each detected object among the candidate regions, If an object having an aspect ratio corresponding to is set as a candidate object and the candidate objects are continuously arranged in a predetermined number, it may be determined as a numeric area of the vehicle license plate.

여기서 기 설정된 개수는 차량 번호판에 포함된 숫자의 개수일 것이므로, 바람직하게는 4개로 설정될 수 있을 것이다.Since the preset number will be the number of numbers included in the license plate, it can be preferably set to four.

이렇게 검출된 번호판의 숫자 영역을 출력함으로써 번호판의 차량번호를 사용자에게 제공하게 된다(S450). By outputting the numeric region of the license plate thus detected, the vehicle number of the license plate is provided to the user (S450).

한편, 본 발명의 일 실시예에 따른 차량 번호판 추출 방법의 경우에는 검출된 번호판의 숫자 영역을 출력하는 것으로 한정하여 설명하였으나, 또 다른 실시예에 의하면 검출된 번호판의 숫자 영역을 외부로 전송하거나, 파일 형태로 저장될 수 있을 것이다. 또한, 검출된 번호판의 숫자 영역을 기초로, 해당 영역에 포함된 숫자를 추출하여, 차량 번호를 알아낼 수도 있다. 이를 통하여 검출된 차량 번호는 스피커를 통하여 출력될 수도 있고, 문자화되어 자동화 시스템에 유용하게 이용될 수 있다.In the meantime, the method for extracting a vehicle license plate according to an embodiment of the present invention is limited to outputting a numeric area of a detected license plate, but according to another embodiment, the numeric area of the detected license plate is transmitted to the outside, It may be saved in the form of a file. In addition, the vehicle number may be found by extracting a number included in the corresponding area based on the detected number area of the license plate. The vehicle number detected through this may be output through a speaker, or may be textually used for an automated system.

도 5는 상술한 차량 번호판 추출 방법 중 이진화 영상으로 변환하는 방법을 상세히 나타내는 흐름도이다. 영상을 입력 받고(S510), 입력된 영상을 그레이 영상으로 변환한다(S520). 그레이 영상으로의 변환은 RGB 값의 일정 상수를 곱함으로써 이루어질 수 있다. 이후 그레이 영상의 화소의 명암값을 이용하여 이진화 영상을 출력할 수 있다. 5 is a flowchart illustrating a method of converting a binarized image to a vehicle license plate extraction method described above in detail. The image is input (S510), and the input image is converted into a gray image (S520). The conversion to the gray image can be made by multiplying a constant constant of the RGB value. Thereafter, the binarized image may be output by using the contrast value of the pixel of the gray image.

번호판에 포함된 숫자 색상이 검은색인 경우(S530-Y)에는, 그레이 영상의 화소의 명암값을 추출하여 임계값으로 설정된 127을 초과한다면(S540-Y) 명암값을 0으로 처리하고, 그레이 영상의 화소의 명암값이 127보다 작거나 같다면(S540-N), 명암값을 255로 처리한다. 이렇게 하면 숫자 색상이 검은색인 번호판에 대해서, 숫자는 흰색으로 배경은 검은색으로 처리될 것이다.When the number color included in the license plate is black (S530-Y), if the contrast value of the pixel of the gray image is extracted and exceeds the 127 set as the threshold value (S540-Y), the contrast value is treated as 0, and the gray image is processed. If the contrast value of the pixel is less than or equal to 127 (S540-N), the contrast value is treated as 255. This will treat the number plates as black, the numbers as white, and the background as black.

반면, 숫자 색상이 흰색인 경우(S530-N)에는, 그레이 영상의 화소의 명암값을 추출하여 임계값으로 설정된 127을 초과한다면(S580-Y) 명암값을 255로 처리하고, 그레이 영상의 화소의 명암값이 127보다 작거나 같다면(S580-N), 명암값을 0으로 처리한다. 이렇게 하면 숫자 색상이 흰색인 번호판에 대해서, 숫자는 흰색으로 배경은 검은색으로 처리될 것이다. 상술한 방법에 의하여 이진화된 영상이 생성된다(S570).On the other hand, when the numerical color is white (S530-N), if the contrast value of the pixel of the gray image is extracted and exceeds 127 set as the threshold (S580-Y), the contrast value is treated as 255, and the pixel of the gray image is processed. If the contrast value is less than or equal to 127 (S580-N), the contrast value is treated as 0. This will treat the number plate as white, the number as white, and the background as black. The binarized image is generated by the above-described method (S570).

도 6a 및 도 6b는 상술한 방법에 의하여 이진화된 영상 결과를 보여준다. 도 6a는 법률 개정 전 번호판을 나타내는 도면이다. 개정전 번호판(610)은 숫자가 흰색으로 구성되어 바탕색과 구별된다. 상술한 방법에 따라 이진화된 영상(620)은 숫자는 흰색으로 배경은 검은색으로 이루어지게 된다.6A and 6B show binarized image results by the above-described method. 6A is a view showing a license plate before the law revision. Revision number plate 610 is distinguished from the ground color is composed of a number of white. According to the above-described method, the binarized image 620 has a white number and a black background.

도 6b는 법률 개정 후 번호판을 나타내는 도면이다. 개정후 번호판(630)은 숫자가 검은색으로 구성되어 바탕색과 구별된다. 상술한 방법에 따라 이진화된 영상(640)은 숫자는 흰색으로 배경은 검은색으로 이루어지게 된다.6B shows a license plate after a law revision. After the revision number plate 630 is composed of a number black is distinguished from the ground color. According to the above-described method, the binarized image 640 has a white number and a black background.

도 7은 본 발명의 일 실시예에 따른 차량 번호판 추출 방법에서 레이블링시 참조되는 숫자의 정보를 도시한 것이다.FIG. 7 illustrates information of numbers referred to when labeling in a vehicle license plate extraction method according to an embodiment of the present invention.

각 숫자에는 숫자의 중심이 있고, 가로 길이 및 세로 길이가 일정하다. 규격의 오차는 존재하지만 대체로 일정한 패턴을 갖는다. 즉, 오차를 감안하더라도 숫자의 종횡비와 숫자의 중심은 어떠한 차량 번호판에 있어서도 대체로 일치한다.Each number has the center of the number, and the width and height are constant. Errors in the specification exist but generally have a constant pattern. That is, even in view of the error, the aspect ratio of the numbers and the center of the numbers generally coincide in any license plate.

이진 영상을 레이블링하면서 측정되는 객체의 정보를 판단함으로써, 숫자의 영역이 될 수 있는 후보 객체를 추출하게 된다. 객체의 정보로부터 판단되는 종횡비 등은 숫자 영역을 제외한 노이즈 영역을 제거하는데 이용될 수 있다. 예를 들어, 숫자의 가로 길이는 세로 길이보다 짧기 때문에, 대상 객체의 가로 길이보다 세로 길이가 짧은 경우는 후보 객체에서 제외하는 방법을 고려할 수 있다. By determining the information of the object to be measured while labeling the binary image, a candidate object that can be a numerical area is extracted. The aspect ratio determined from the information of the object may be used to remove the noise area except for the numeric area. For example, since the horizontal length of the number is shorter than the vertical length, a method in which the vertical length is shorter than the horizontal length of the target object may be excluded from the candidate object.

한편, 레이블링시 이진화된 영상의 전 영역을 레이블링 하려면 대상 객체의 수가 너무 많아 레이블링 수행 시간이 너무 길어지므로, 대상 객체의 수를 줄일 수 있다. 촬영되는 영상의 기본적인 크기가 있으므로, 객체의 넓이가 일정 수준 이하인 경우에는 레이블링을 수행할 객체에서 제외시킬 수 있을 것이다. 예를 들면, 1280*960의 크기로 영상을 촬영하는 경우 객체의 넓이가 40화소보다 작은 경우에는 레이블링 대상에서 제외시킴으로써, 레이블링을 수행할 객체의 수를 줄일 수 있다. 이러한 방법으로 전체적인 수행시간의 지연을 막을 수 있다.Meanwhile, when labeling the entire area of the binarized image, the number of target objects is too long to label the entire region of the binarized image, thereby reducing the number of target objects. Since there is a basic size of the captured image, it may be excluded from the object to be labeled if the width of the object is below a certain level. For example, when capturing an image with a size of 1280 * 960, when the width of the object is smaller than 40 pixels, the number of objects to be labeled can be reduced by excluding it from the labeling target. In this way, the overall execution time delay can be avoided.

레이블링 되어 후보 객체으로 판단되면, 도 7에 도시된 바와 같은 숫자의 정보를 이용하여 숫자 영역인지 여부를 판단한다. 구체적으로 검출된 객체 각각의 종횡비를 확인하여, 기 저장된 종횡비에 부합되는 종횡비를 가지는 객체를 후보 객체로 설정하고, 후보 객체들이 기 설정된 개수만큼 연속적으로 배치된 상태이면 상기 차량 번호판의 숫자 영역으로 판단한다.If it is labeled and determined to be a candidate object, it is determined whether the number area is the number using information of numbers as shown in FIG. 7. Specifically, the aspect ratio of each detected object is checked, and an object having an aspect ratio corresponding to a previously stored aspect ratio is set as a candidate object, and if the candidate objects are continuously arranged in a predetermined number, it is determined as a numeric area of the vehicle license plate. do.

이때, 기울기가 있는 경우에는 높이와 무게 중심간의 간격이 일정하게 늘어나거나 줄어드는 특징을 가진다. 또한, 회전이 있는 경우에는 약간의 높이의 변화는 있지만, 숫자 중심간의 간격은 일정할 것이다. 따라서, 기울기 및 회전 정도를 고려하여 객체들 중에서 후보 객체를 설정할 수 있다. 이후에는 마찬가지로, 후보 객체들이 기 설정된 개수만큼 연속적으로 배치된 상태이면 상기 차량 번호판의 숫자 영역으로 판단할 수 있을 것이다.In this case, when there is an inclination, the distance between the height and the center of gravity is constantly increased or decreased. Also, if there is rotation, there will be a slight change in height, but the distance between the numerical centers will be constant. Therefore, the candidate object may be set among the objects in consideration of the tilt and the degree of rotation. Thereafter, similarly, if the candidate objects are continuously arranged in a predetermined number, it may be determined as the numeric area of the vehicle license plate.

도 8은 상술한 레이블링 수행 결과를 보여준다. 도 8의 좌측 영상(810)은 도 6a의 이진화 영상을 레이블링한 결과이다. 이에 따라 다른 불필요한 부분들은 제거되고 관심영역인 숫자부분만 추출할 수 있게 된다.8 shows the above-mentioned labeling performance result. The left image 810 of FIG. 8 is a result of labeling the binarized image of FIG. 6A. As a result, other unnecessary parts are removed and only the numerical part of the region of interest can be extracted.

그리고, 우측 영상(820)은 도 6b의 이진화 영상을 레이블링한 결과로 불필요한 부분들이 제거된 번호판의 숫자부분만을 추출한 영상이다.The right image 820 is an image obtained by extracting only the numeric part of the license plate from which unnecessary parts are removed as a result of labeling the binarization image of FIG. 6B.

도 9는 본 발명의 일 실시예에 따른 차량 번호판 추출 방법에 있어서, 번호판의 문자 또는 숫자 영역만을 추출하는 방법을 설명하기 위한 도면이다. FIG. 9 is a view for explaining a method of extracting only a letter or number area of a license plate in a vehicle license plate extraction method according to an embodiment of the present invention.

도 9의 좌측 영상(910)은 촬영된 차량의 번호판을 보여준다. 영상 내에서 관심 영역은 번호판의 숫자이므로, 다른 영역을 제외한 숫자 영역만을 추출하는 것이 바람직하다. The left image 910 of FIG. 9 shows the license plate of the photographed vehicle. Since the region of interest in the image is the number of the license plate, it is preferable to extract only the numeric region excluding other regions.

번호판의 숫자는 네 자리로 이루어져 있고, 기울기와 회전이 없는 경우에는 숫자의 높이와 중심간의 간격이 일정하다. 하지만, 촬영된 각도나 차량의 위치 등에 의하여 기울기나 회전이 있는 경우에는 높이와 무게 중심 간의 간격이 일정하게 늘어나거나 줄어드는 특징을 가진다. 또한, 회전이 있는 경우에는 약간의 높이 변화는 있지만, 숫자 중심간의 간격은 일정하다. The number on the license plate consists of four digits, and in the absence of tilt and rotation, the height between the height and the center is constant. However, when there is a tilt or rotation due to the photographed angle or the position of the vehicle, the distance between the height and the center of gravity is constantly increased or decreased. Also, if there is rotation, there is a slight change in height, but the distance between the numerical centers is constant.

레이블링된 각 객체에 대하여, 상기 숫자 중심이나 높이, 넓이, 종횡비등의 특징을 만족하는 객체가 소정 회수 이상 연속으로 계속되면 숫자로 결정하고, 이를 추출한다. 한편, 차량 번호판의 숫자는 4자리 수로 이루어져 있기 대문에, 상기 소정 회수는 4회인 것이 바람직하다.For each labeled object, if the object satisfying the characteristics such as the number center, height, width, aspect ratio, etc. continues for a predetermined number or more consecutive times, the number is determined and extracted. On the other hand, since the number of the license plate is composed of four digits, the predetermined number is preferably four times.

특히 회전이 있는 경우에는 높이나 간격의 오차를 일정 범위 허용함으로써 회전이 있는 번호판에 대해서도 검출이 가능하다. 예를 들어, 숫자의 후보로 선택된 객체 다음으로 오는 객체에 대하여 높이, 간격의 오차를 10% 이내로 허용함으로써 회전이 있는 번호판에 대해서 숫자 영역의 검출을 가능케 할 수 있다.In particular, when there is a rotation, it is possible to detect a license plate with a rotation by allowing a certain range of height or gap error. For example, it is possible to detect a numeric region for a number plate with a rotation by allowing an error of height and spacing within 10% for an object coming after an object selected as a number candidate.

도 9의 좌측 영상(910)은 숫자가 비스듬히 회전된 경우를 보여준다. 이때 레이블링된 객체들이 상술한 특징을 4회 이상 만족한다면, 이를 번호판으로 인식된다. 여기서는 기울임이나 회전이 있기 때문에, 상술한 바와 같이 오차 범위를 어느 정도 설정함으로써, 숫자 영역인지 여부를 판단하게 된다. 구체적으로, 좌측 영상(910)에서 숫자의 특징이라고 인식되는 요소들이 4회 이상 만족된다면, 4,9,5,2가 숫자 번호판 영역이라고 결정되고, 이를 출력하게 된다. 우측 영상(920)은 이렇게 추출된 숫자 번호판 영역을 보여준다.The left image 910 of FIG. 9 shows a case in which numbers are rotated obliquely. At this time, if the labeled objects satisfy the above-described characteristics four or more times, they are recognized as license plates. Since there is tilt and rotation here, by setting the error range to some extent as described above, it is determined whether or not it is a numerical area. Specifically, if the elements recognized as characteristics of the number in the left image 910 are satisfied four or more times, it is determined that 4, 9, 5, and 2 are the number plate areas, and outputs the same. The right image 920 shows the extracted numeric license plate area.

우측 영상(920)에는 숫자 영역에 테두리를 생성하여 부각시켰지만, 이와 달리 색상을 입히거나, 숫자 영역만을 확대하는 방식으로 부각시킬수도 있을 것이다.In the image 920 on the right, the edge is created by highlighting the numeric area. However, the image 920 may be colored, or may be highlighted by enlarging only the numeric area.

도 10은 상술한 일련의 과정을 순서대로 보여준다. 촬영된 영상(1000)은 그레이 영상으로 변환되며, 그레이 영상을 기초로 이진 영상(1010)을 생성한다. 다음으로 레이블링 과정을 거치면서, 불필요한 부분이 생략된 레이블링 결과(1020)를 얻게 되며, 숫자의 특성을 이용하여 해당 번호판의 숫자 영역만을 추출하여, 결과적으로 추출된 번호를 부각하여 출력한다(1030).10 shows the above-described series of procedures in order. The captured image 1000 is converted to a gray image, and generates a binary image 1010 based on the gray image. Next, a labeling result 1020 is obtained while the labeling process is omitted, and only the numeric region of the license plate is extracted using the characteristic of the number, and the resulting extracted number is highlighted and output (1030). .

상술한 설명에 있어서는 숫자 영역을 검출하는데 있어서 숫자의 종횡비 및 색상을 이용하는 것으로 설명하였으나, 차량 번호판에 포함되는 문자 역시 상술한 설명과 동일한 원리로 검출할 수 있음은 당업자에게 명백하다.In the above description, the aspect ratio and the color of the number are used to detect the numeric region. However, it is apparent to those skilled in the art that the characters included in the vehicle license plate can be detected on the same principle as the above description.

310..................촬영부
320..................영상 입력부
330..................영상 처리부
340..................영상 출력부
350..................제어부
360..................저장부
310 .......................
320 ..... Video Input
330 ....................... Image processing unit
340 .................. Video output
350 ..................
360 ..................

Claims (12)

촬영부;
상기 촬영부에서 촬영된 영상에 대응되는 영상 신호를 생성하는 영상 입력부;
상기 생성된 영상 신호를 처리하여 이진 영상을 생성하고, 상기 이진 영상에 대해 레이블링 처리를 수행하여 상기 영상에 포함된 객체를 검출하는 영상 처리부;
상기 검출된 객체 각각의 종횡비를 확인하여, 차량 번호판의 숫자 영역을 검출하는 제어부; 및
상기 검출된 숫자 영역을 포함하는 영상을 출력하는 영상 출력부;를 포함하는 차량 번호판 추출 장치.
Photographing unit;
An image input unit generating an image signal corresponding to the image photographed by the photographing unit;
An image processor configured to generate a binary image by processing the generated image signal, and detect an object included in the image by performing a labeling process on the binary image;
A controller which checks an aspect ratio of each detected object and detects a numeric area of a vehicle license plate; And
And an image output unit configured to output an image including the detected numeric region.
제 1항에 있어서,
상기 제어부는,
상기 영상 출력부를 제어하여, 상기 검출된 숫자 영역을 제외한 노이즈 영역을 제거한 영상을 출력하는 것을 특징으로 하는 차량 번호판 추출 장치.
The method of claim 1,
The control unit,
And controlling the image output unit to output an image in which a noise region except for the detected numeric region is removed.
제 2항에 있어서,
상기 영상 처리부는,
상기 영상 신호를 처리하여, 기 설정된 색상 이외의 색상 영역들이 배제되는 그레이 영상을 생성하고, 상기 그레이 영상으로부터 상기 이진 영상을 생성하는 것을 특징으로 하는 차량 번호판 추출 장치.
The method of claim 2,
Wherein the image processing unit comprises:
And processing the image signal to generate a gray image in which color regions other than a predetermined color are excluded, and generating the binary image from the gray image.
제 3항에 있어서,
상기 제어부는,
상기 검출된 객체 각각의 종횡비를 확인하여, 기 저장된 종횡비에 부합되는 종횡비를 가지는 객체를 후보 객체로 설정하고, 상기 후보 객체들이 기 설정된 개수만큼 연속적으로 배치된 상태이면 상기 차량 번호판의 숫자 영역으로 판단하는 것을 특징으로 하는 차량 번호판 추출 장치.
The method of claim 3, wherein
The control unit,
The aspect ratio of each detected object is checked, and an object having an aspect ratio corresponding to a previously stored aspect ratio is set as a candidate object, and if the candidate objects are continuously arranged by a predetermined number, the number area of the vehicle license plate is determined. Vehicle license plate extraction apparatus, characterized in that.
제 3항에 있어서,
상기 제어부는,
상기 촬영부의 촬영 각도에 따른 기울기 및 회전 정도를 고려하여 상기 객체 중 후보 객체를 설정하고, 상기 설정된 후보 객체들 중 기 설정된 개수만큼 연속적으로 배치된 후보 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것을 특징으로 하는 차량 번호판 추출 장치.
The method of claim 3, wherein
The control unit,
Setting candidate objects among the objects in consideration of the inclination and the degree of rotation according to the photographing angle of the photographing unit, and determining candidate objects consecutively arranged by a predetermined number of the set candidate objects as the numeric area of the vehicle license plate. Vehicle license plate extraction apparatus.
제 3항에 있어서,
상기 제어부는,
상기 검출된 객체들 각각의 종횡비를 확인하여, 높이가 너비보다 작은 객체를 제외한 나머지 객체들 중에서, 기 설정된 개수만큼 연속적으로 배치된 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것을 특징으로 하는 차량 번호판 추출 장치.
The method of claim 3, wherein
The control unit,
Checking the aspect ratio of each of the detected objects, the object number of the vehicle license plate, characterized in that the objects consecutively arranged by a predetermined number of the remaining objects other than the object whose height is less than the width of the license plate Extraction device.
영상을 입력하는 입력 단계;
상기 입력된 영상에 대한 영상 신호를 처리하여 이진 영상을 생성한 후, 상기 이진 영상에 대해 레이블링 처리를 수행하여 상기 영상에 포함된 객체를 검출하고, 상기 검출된 객체 각각의 종횡비를 확인하여, 차량 번호판의 숫자 영역을 검출하는 검출 단계;
상기 검출된 숫자 영역을 포함하는 영상을 출력하는 출력 단계;를 포함하는 차량 번호판 추출 방법.
An input step of inputting an image;
After generating a binary image by processing the image signal with respect to the input image, and performing a labeling process for the binary image to detect the object included in the image, and to determine the aspect ratio of each detected object, A detection step of detecting a numeric area of the license plate;
And outputting an image including the detected numeric region.
제 7항에 있어서,
상기 검출 단계는,
상기 검출된 숫자 영역을 제외한 노이즈 영역을 제거한 영상을 검출하는 것을 특징으로 하는 차량 번호판 추출 방법.
The method of claim 7, wherein
The detecting step,
And detecting an image in which a noise area except for the detected numeric area is removed.
제 8항에 있어서,
상기 검출 단계는,
상기 영상 신호를 처리하여, 기 설정된 색상 이외의 색상 영역들이 배제되는 그레이 영상을 생성하고, 상기 그레이 영상으로부터 상기 이진 영상을 생성하는 것을 특징으로 하는 차량 번호판 추출 방법.
The method of claim 8,
The detecting step,
And processing the image signal to generate a gray image in which color regions other than a predetermined color are excluded, and generating the binary image from the gray image.
제 8항에 있어서,
상기 검출 단계는,
상기 검출된 객체 각각의 종횡비를 확인하여, 기 저장된 종횡비에 부합되는 종횡비를 가지는 객체를 후보 객체로 설정하고, 상기 후보 객체들이 기 설정된 개수만큼 연속적으로 배치된 상태이면 상기 차량 번호판의 숫자 영역으로 판단하는 것을 특징으로 하는 차량 번호판 추출 방법.
The method of claim 8,
The detecting step,
The aspect ratio of each detected object is checked, and an object having an aspect ratio corresponding to a previously stored aspect ratio is set as a candidate object, and if the candidate objects are continuously arranged by a predetermined number, the number area of the vehicle license plate is determined. Vehicle license plate extraction method characterized in that.
제 8항에 있어서,
상기 검출 단계는,
입력된 영상의 촬영 각도에 따른 기울기 및 회전 정도를 고려하여 상기 객체 중 후보 객체를 설정하고, 상기 설정된 후보 객체들 중 기 설정된 개수만큼 연속적으로 배치된 후보 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것을 특징으로 하는 차량 번호판 추출 방법.
The method of claim 8,
The detecting step,
A candidate object is set among the objects in consideration of the inclination and the degree of rotation according to the photographing angle of the input image, and the candidate objects continuously arranged as a predetermined number of the set candidate objects are determined as the numeric area of the license plate. Vehicle license plate extraction method characterized in that.
제 8항에 있어서,
상기 검출 단계는,
상기 검출된 객체들 각각의 종횡비를 확인하여, 높이가 너비보다 작은 객체를 제외한 나머지 객체들 중에서, 기 설정된 개수만큼 연속적으로 배치된 객체들을 상기 차량 번호판의 숫자 영역으로 판단하는 것을 특징으로 하는 차량 번호판 추출 방법.

The method of claim 8,
The detecting step,
Checking the aspect ratio of each of the detected objects, the object number of the vehicle license plate, characterized in that the objects consecutively arranged by a predetermined number of the remaining objects other than the object whose height is less than the width of the license plate Extraction method.

KR1020100035544A 2010-04-16 2010-04-16 Method for extracting of license number plate and apparatus using the same KR20110115927A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100035544A KR20110115927A (en) 2010-04-16 2010-04-16 Method for extracting of license number plate and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100035544A KR20110115927A (en) 2010-04-16 2010-04-16 Method for extracting of license number plate and apparatus using the same

Publications (1)

Publication Number Publication Date
KR20110115927A true KR20110115927A (en) 2011-10-24

Family

ID=45030456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100035544A KR20110115927A (en) 2010-04-16 2010-04-16 Method for extracting of license number plate and apparatus using the same

Country Status (1)

Country Link
KR (1) KR20110115927A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130110821A (en) * 2012-03-30 2013-10-10 엘지이노텍 주식회사 Method and apparatus for detecting vehicle through detection of license plate
KR101368831B1 (en) * 2013-10-17 2014-03-05 에이제이파크 주식회사 System and method for license plate recognition
KR101393391B1 (en) * 2012-12-28 2014-05-12 한밭대학교 산학협력단 Vehicle license plate recognition method based on embedded system
KR101405085B1 (en) * 2012-12-21 2014-06-19 (주)에이치아이디솔루션 Device and method for video analysis
KR101468566B1 (en) * 2014-02-03 2014-12-04 주식회사한맥아이피에스 Method for Malaysian Vehicle License Plate Recognition in Low Illumination Images and system thereof
KR20150070396A (en) * 2012-10-26 2015-06-24 백스터 코포레이션 잉글우드 Improved image acquisition for medical dose preparation system
KR20160083465A (en) * 2014-12-31 2016-07-12 (주)유아이 Multilane camera recognition system and method for analysing image to learning type thereof
US9662273B2 (en) 2012-10-26 2017-05-30 Baxter Corporation Englewood Work station for medical dose preparation system
USD790727S1 (en) 2015-04-24 2017-06-27 Baxter Corporation Englewood Platform for medical dose preparation
US10347374B2 (en) 2008-10-13 2019-07-09 Baxter Corporation Englewood Medication preparation system
US10818387B2 (en) 2014-12-05 2020-10-27 Baxter Corporation Englewood Dose preparation data analytics
CN112528056A (en) * 2020-11-29 2021-03-19 泰州芯源半导体科技有限公司 Double-index field data retrieval system and method
US11107574B2 (en) 2014-09-30 2021-08-31 Baxter Corporation Englewood Management of medication preparation with formulary management
KR102339686B1 (en) * 2021-05-12 2021-12-16 주식회사 실리콘큐브 License plate image processing device for car number recognition and license plate image correction method using the same
WO2022092743A1 (en) * 2020-10-26 2022-05-05 에스케이텔레콤 주식회사 Method for extracting characters from vehicle license plate, and license plate character extraction device for performing method
US11367533B2 (en) 2014-06-30 2022-06-21 Baxter Corporation Englewood Managed medical information exchange
US11575673B2 (en) 2014-09-30 2023-02-07 Baxter Corporation Englewood Central user management in a distributed healthcare information management system
US11948112B2 (en) 2015-03-03 2024-04-02 Baxter Corporation Engelwood Pharmacy workflow management with integrated alerts

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347374B2 (en) 2008-10-13 2019-07-09 Baxter Corporation Englewood Medication preparation system
KR20130110821A (en) * 2012-03-30 2013-10-10 엘지이노텍 주식회사 Method and apparatus for detecting vehicle through detection of license plate
US10971257B2 (en) 2012-10-26 2021-04-06 Baxter Corporation Englewood Image acquisition for medical dose preparation system
US10646405B2 (en) 2012-10-26 2020-05-12 Baxter Corporation Englewood Work station for medical dose preparation system
US10045912B2 (en) 2012-10-26 2018-08-14 Baxter Corporation Englewood Work station for medical dose preparation system
KR20150070396A (en) * 2012-10-26 2015-06-24 백스터 코포레이션 잉글우드 Improved image acquisition for medical dose preparation system
US10089444B2 (en) 2012-10-26 2018-10-02 Baxter Corporation Englewood Image acquisition for medical dose preparation system
US9489489B2 (en) 2012-10-26 2016-11-08 Baxter Corporation Englewood Image acquisition for medical dose preparation system
US9662273B2 (en) 2012-10-26 2017-05-30 Baxter Corporation Englewood Work station for medical dose preparation system
USD812769S1 (en) 2012-10-26 2018-03-13 Baxter Corporation Englewood Work station for medical dose preparation
USD812768S1 (en) 2012-10-26 2018-03-13 Baxter Corporation Englewood Work station with platform for medical dose preparation
KR101405085B1 (en) * 2012-12-21 2014-06-19 (주)에이치아이디솔루션 Device and method for video analysis
KR101393391B1 (en) * 2012-12-28 2014-05-12 한밭대학교 산학협력단 Vehicle license plate recognition method based on embedded system
KR101368831B1 (en) * 2013-10-17 2014-03-05 에이제이파크 주식회사 System and method for license plate recognition
KR101468566B1 (en) * 2014-02-03 2014-12-04 주식회사한맥아이피에스 Method for Malaysian Vehicle License Plate Recognition in Low Illumination Images and system thereof
US11367533B2 (en) 2014-06-30 2022-06-21 Baxter Corporation Englewood Managed medical information exchange
US11107574B2 (en) 2014-09-30 2021-08-31 Baxter Corporation Englewood Management of medication preparation with formulary management
US11575673B2 (en) 2014-09-30 2023-02-07 Baxter Corporation Englewood Central user management in a distributed healthcare information management system
US10818387B2 (en) 2014-12-05 2020-10-27 Baxter Corporation Englewood Dose preparation data analytics
KR20160083465A (en) * 2014-12-31 2016-07-12 (주)유아이 Multilane camera recognition system and method for analysing image to learning type thereof
US11948112B2 (en) 2015-03-03 2024-04-02 Baxter Corporation Engelwood Pharmacy workflow management with integrated alerts
USD790727S1 (en) 2015-04-24 2017-06-27 Baxter Corporation Englewood Platform for medical dose preparation
WO2022092743A1 (en) * 2020-10-26 2022-05-05 에스케이텔레콤 주식회사 Method for extracting characters from vehicle license plate, and license plate character extraction device for performing method
CN112528056A (en) * 2020-11-29 2021-03-19 泰州芯源半导体科技有限公司 Double-index field data retrieval system and method
WO2022240207A1 (en) * 2021-05-12 2022-11-17 주식회사 실리콘큐브 Device for processing license plate image for vehicle identification number recognition and method for correcting license plate image using same
KR102339686B1 (en) * 2021-05-12 2021-12-16 주식회사 실리콘큐브 License plate image processing device for car number recognition and license plate image correction method using the same

Similar Documents

Publication Publication Date Title
KR20110115927A (en) Method for extracting of license number plate and apparatus using the same
CN108364010B (en) License plate recognition method, device, equipment and computer readable storage medium
US20150278615A1 (en) Vehicle exterior environment recognition device
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
KR101799778B1 (en) Method and apparatus for confirmation of relevant white inner circle in environment of circular traffic sign recognition
JP6817104B2 (en) Adhesion detection device, deposit detection method
KR101778605B1 (en) Method And Apparatus For Recognizing Vehicle License Plate
EP1887522A1 (en) Vehicle and road sign recognition device
CN104769652A (en) Method and system for detecting traffic lights
JP5906856B2 (en) Vehicle image recognition apparatus and vehicle image recognition method
KR100969603B1 (en) A licence plate recognition method based on geometric relations of numbers on the plate
JP5780979B2 (en) Vehicle state detection device, vehicle behavior detection device, and vehicle state detection method
KR101717140B1 (en) A system and method for detecting vehicles and recognizing number plates on multi-lane using one camera
JP6375911B2 (en) Curve mirror detector
JP2006259885A (en) Method of recognizing signboard and sign using color image
JP5407920B2 (en) Lighting color identification device and program
JP2007193702A (en) Image processing device and image processing method
JP2009134591A (en) Vehicle color determination device, vehicle color determination system, and vehicle color determination method
JP6742736B2 (en) Lighting color determination device for traffic light and lighting color determination method for traffic light
KR101237374B1 (en) Image processing method for detecting traffic light
JP2017058950A (en) Recognition device, image pickup system, and image pickup device, and recognition method and program for recognition
JP4842301B2 (en) Pedestrian detection device and program
JP5056931B2 (en) Vehicle color determination device, vehicle color determination system, and vehicle color determination method
CN117237907A (en) Traffic signal lamp identification method and device, storage medium and electronic equipment
CN112770021B (en) Camera and filter switching method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application