KR102612656B1 - Method of recognizing vehicle number using sequential detection method - Google Patents

Method of recognizing vehicle number using sequential detection method Download PDF

Info

Publication number
KR102612656B1
KR102612656B1 KR1020230087783A KR20230087783A KR102612656B1 KR 102612656 B1 KR102612656 B1 KR 102612656B1 KR 1020230087783 A KR1020230087783 A KR 1020230087783A KR 20230087783 A KR20230087783 A KR 20230087783A KR 102612656 B1 KR102612656 B1 KR 102612656B1
Authority
KR
South Korea
Prior art keywords
character
license plate
module
detection
characters
Prior art date
Application number
KR1020230087783A
Other languages
Korean (ko)
Inventor
김성하
박철홍
이선영
Original Assignee
주식회사 아이티코어스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티코어스 filed Critical 주식회사 아이티코어스
Priority to KR1020230087783A priority Critical patent/KR102612656B1/en
Application granted granted Critical
Publication of KR102612656B1 publication Critical patent/KR102612656B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)

Abstract

순차적 검출방법을 이용한 차량번호 인식방법이 개시된다. CNN 기반 차량번호판 학습 모듈이 차량번호판을 미리 학습하여 차량번호판 문자열 포맷을 분류하여 미리 저장하는 차량번호판 학습단계; CNN 기반 차량번호판 검출 모듈이 CNN 알고리즘을 이용하여 이미지 입력 모듈에서 입력받은 차량번호판을 인식하고, CNN 기반 문자 검출 모듈이 인식된 차량번호판으로부터 미리 저장된 차량번호판 문자열 포맷에 따른 각 문자 위치별로 CNN 알고리즘을 통해 다수의 문자가 검출되는 경우, 각 문자 위치별로 다수의 검출 문자를 검출하여 출력하는 차량번호판 문자검출단계; NMS 기반 신뢰도 산출 모듈이 상기 차량번호판 문자검출단계에서 출력된 다수의 검출 문자에서 각 문자 위치별로 문자를 선택하여 각 문자 위치별 선택 문자를 출력하는 차량번호판 문자선택단계; 후보 문자 리스트업 모듈이 상기 차량번호판 문자선택단계에서 선택되지 않은 각 문자 위치별 검출 문자를 각 문자 위치별 후보 문자로 지정하여 리스트업하는 차량번호판 후보문자 리스트업단계; 검출 문자 포맷 대비 모듈이 상기 차량번호판 문자선택단계에서 출력된 각 문자 위치별 선택 문자를 상기 차량번호판 학습단계에서 저장된 차량번호판 문자열 포맷과 대비하고, 검출 문자 교체 모듈이 대비 결과에 따라 상기 각 문자 위치별 선택 문자를 상기 차량번호판 후보문자 리스트업단계에서 리스트업된 각 문자 위치별 후보 문자로 교체하는 차량번호판 문자교체단계; 최종 인식 문자 출력 모듈이 상기 차량번호판 문자선택단계의 선택 결과 또는 상기 차량번호판 문자교체단계의 교체 결과에 따른 최종 인식 문자를 출력하는 차량번호판 최종인식단계를 구성한다.A vehicle number recognition method using a sequential detection method is disclosed. A license plate learning step in which the CNN-based license plate learning module learns license plates in advance, classifies license plate string formats, and stores them in advance; The CNN-based license plate detection module uses the CNN algorithm to recognize the license plate input from the image input module, and the CNN-based character detection module uses the CNN algorithm for each character position according to the pre-stored license plate string format from the recognized license plate. When a plurality of characters are detected through a license plate character detection step of detecting and outputting a plurality of detected characters for each character position; A license plate character selection step in which the NMS-based reliability calculation module selects a character for each character position from the plurality of detected characters output in the license plate character detection step and outputs a selected character for each character position; A license plate candidate character list-up step in which the candidate character list-up module specifies detected characters for each character position that are not selected in the license plate character selection step as candidate characters for each character position and lists them up; The detection character format comparison module compares the selected characters for each character position output in the license plate character selection step with the license plate string format stored in the license plate learning step, and the detection character replacement module positions each character according to the comparison result. A license plate character replacement step of replacing star selection characters with candidate characters for each character position listed in the license plate candidate character list-up step; The final recognition character output module constitutes a final recognition step for a license plate in which the final recognition character is output according to the selection result of the license plate character selection step or the replacement result of the license plate character replacement step.

Description

순차적 검출방법을 이용한 차량번호 인식방법{METHOD OF RECOGNIZING VEHICLE NUMBER USING SEQUENTIAL DETECTION METHOD} Vehicle number recognition method using sequential detection method {METHOD OF RECOGNIZING VEHICLE NUMBER USING SEQUENTIAL DETECTION METHOD}

본 발명은 차량번호 인식방법에 관한 것으로서, 좀 더 구체적으로는 순차적 검출방법을 이용한 차량번호 인식방법에 관한 것이다.The present invention relates to a vehicle number recognition method, and more specifically, to a vehicle number recognition method using a sequential detection method.

종래에는 차량번호 인식을 위해 차량번호판 문자의 템플릿(template)을 생성하여 영상 내 차량번호판과 대비하여 문자를 찾아 인식하는 템플릿 매칭 방법이 이용되고 있다.Conventionally, for license plate recognition, a template matching method is used to create a template of license plate text and find and recognize the text by comparing it with the license plate in the image.

그런데, 템플릿 매칭 방식의 경우 조도 변화에 매우 민감하다는 단점이 있으며, 그라운드 트루스(ground truth)로 저장된 템플릿과 인식할 차량번호판 간의 기하학적 변환(회전, 확대, 축소)의 차이가 클수록 인식률이 떨어지는 문제점이 있다.However, the template matching method has the disadvantage of being very sensitive to changes in illumination, and the larger the difference in geometric transformation (rotation, enlargement, reduction) between the template stored as ground truth and the license plate to be recognized, the lower the recognition rate. there is.

최근에는 더 나아가 딥러닝(deep learning) 기술을 이용하고 있다.Recently, deep learning technology has been used further.

딥러닝 방식에 의하면, 차량 개별 문자를 학습한 후 인식하는 방법을 사용하고 있다.According to the deep learning method, a method is used to recognize individual vehicle characters after learning them.

그러나, 딥러닝 인식 방법 역시 영상 내 차량번호판의 크기가 작아 문자를 인식하지 못하는 문제점이 많이 나타나며, 인식된 문자들 중 영상 화질에 따라 유사한 문자로 잘못 인식하는 문제가 발생하고 있다.However, the deep learning recognition method also has many problems in not being able to recognize characters due to the small size of the license plate in the image, and there is a problem of misrecognizing recognized characters as similar characters depending on the image quality.

최근에는 딥러닝에 의해 유연한 번호 인식 방식이 선호되고 있지만, 문자를 잘못 인식하는 오류를 해결하고 개선할 수 있는 방안이 요구되고 있다.Recently, flexible number recognition methods based on deep learning are preferred, but there is a need for ways to solve and improve errors in incorrectly recognizing characters.

등록특허공보 10-2272295Registered Patent Publication 10-2272295 등록특허공보 10-2054061Registered Patent Publication 10-2054061

본 발명의 목적은 순차적 검출방법을 이용한 차량번호 인식방법을 제공하는 데 있다.The purpose of the present invention is to provide a vehicle number recognition method using a sequential detection method.

상술한 본 발명의 목적에 따른 순차적 검출방법을 이용한 차량번호 인식방법은, CNN 기반 차량번호판 학습 모듈이 차량번호판을 미리 학습하여 차량번호판 문자열 포맷을 분류하여 미리 저장하는 차량번호판 학습단계; CNN 기반 차량번호판 검출 모듈이 CNN 알고리즘을 이용하여 이미지 입력 모듈에서 입력받은 차량번호판을 인식하고, CNN 기반 문자 검출 모듈이 인식된 차량번호판으로부터 미리 저장된 차량번호판 문자열 포맷에 따른 각 문자 위치별로 CNN 알고리즘을 통해 다수의 문자가 검출되는 경우, 각 문자 위치별로 다수의 검출 문자를 검출하여 출력하는 차량번호판 문자검출단계; NMS 기반 신뢰도 산출 모듈이 차량번호판 문자검출단계에서 출력된 다수의 검출 문자에서 각 문자 위치별로 문자를 선택하여 각 문자 위치별 선택 문자를 출력하는 차량번호판 문자선택단계; 후보 문자 리스트업 모듈이 상기 차량번호판 문자선택단계에서 선택되지 않은 각 문자 위치별 검출 문자를 각 문자 위치별 후보 문자로 지정하여 리스트업하는 차량번호판 후보문자 리스트업단계; 검출 문자 포맷 대비 모듈이 상기 차량번호판 문자선택단계에서 출력된 각 문자 위치별 선택 문자를 상기 차량번호판 학습단계에서 저장된 차량번호판 문자열 포맷과 대비하고, 검출 문자 교체 모듈이 대비 결과에 따라 상기 각 문자 위치별 선택 문자를 상기 차량번호판 후보문자 리스트업단계에서 리스트업된 각 문자 위치별 후보 문자로 교체하는 차량번호판 문자교체단계; 최종 인식 문자 출력 모듈이 상기 차량번호판 문자선택단계의 선택 결과 또는 상기 차량번호판 문자교체단계의 교체 결과에 따른 최종 인식 문자를 출력하는 차량번호판 최종인식단계를 포함하도록 구성될 수 있다.The license plate recognition method using the sequential detection method according to the purpose of the present invention described above includes a license plate learning step in which a CNN-based license plate learning module learns license plates in advance, classifies license plate string formats, and stores them in advance; The CNN-based license plate detection module uses the CNN algorithm to recognize the license plate input from the image input module, and the CNN-based character detection module uses the CNN algorithm for each character position according to the pre-stored license plate string format from the recognized license plate. When a plurality of characters are detected through a license plate character detection step of detecting and outputting a plurality of detected characters for each character position; A license plate character selection step in which the NMS-based reliability calculation module selects a character for each character position from a plurality of detected characters output in the license plate character detection step and outputs a selected character for each character position; A license plate candidate character list-up step in which the candidate character list-up module specifies detected characters for each character position that are not selected in the license plate character selection step as candidate characters for each character position and lists them up; The detection character format comparison module compares the selected characters for each character position output in the license plate character selection step with the license plate string format stored in the license plate learning step, and the detection character replacement module compares them. A license plate character replacement step of replacing the selected characters for each character position with candidate characters for each character position listed in the license plate candidate character list-up step according to the results; The final recognition character output module may be configured to include a final recognition step for outputting the final recognition character according to the selection result of the license plate character selection step or the replacement result of the license plate character replacement step.

여기서, 상기 차량번호판 학습단계는, 차량번호판 학습용 데이터베이스에 차량번호판 학습을 위한 차량번호판이 미리 저장되는 단계; CNN 기반 차량번호판 학습 모듈이 CNN 알고리즘을 이용하여 상기 차량번호판 학습용 데이터베이스에 미리 저장된 차량번호판을 학습하여 차량번호판 문자열 포맷을 분류하는 단계; 차량번호판 문자열 포맷 저장 모듈에 상기 CNN 기반 차량번호판 학습 모듈에서 분류된 차량번호판 문자열 포맷이 저장되는 단계를 포함하도록 구성될 수 있다.Here, the license plate learning step includes pre-storing license plates for license plate learning in a license plate learning database; A CNN-based license plate learning module classifies license plate string formats by learning license plates pre-stored in the license plate learning database using a CNN algorithm; It may be configured to include the step of storing the license plate string format classified in the CNN-based license plate learning module in the license plate string format storage module.

그리고 상기 차량번호판 문자검출단계는, 이미지 입력 모듈이 이미지를 입력받는 단계; CNN 기반 차량번호판 검출 모듈이 CNN 알고리즘을 이용하여 상기 이미지 입력 모듈에서 입력받은 이미지에서 차량번호판을 검출하는 단계; CNN 기반 문자 검출 모듈이 CNN 알고리즘을 이용하여 상기 CNN 기반 차량번호판 검출 모듈에서 검출된 차량번호판의 각 문자 위치별로 다수의 검출 문자를 검출하는 단계; 검출 문자 저장 모듈에 상기 CNN 기반 문자 검출 모듈에서 검출된 각 문자 위치별 다수의 검출 문자가 저장되는 단계를 포함하도록 구성될 수 있다.And the license plate text detection step includes: receiving an image by an image input module; A CNN-based license plate detection module detecting a license plate from an image input from the image input module using a CNN algorithm; A CNN-based character detection module detecting a plurality of detected characters for each character position of the license plate detected by the CNN-based license plate detection module using a CNN algorithm; It may be configured to include a step of storing a plurality of detected characters for each character position detected in the CNN-based character detection module in the detected character storage module.

그리고 상기 차량번호판 문자선택단계는, NMS 기반 신뢰도 산출 모듈이 NMS 알고리즘을 이용하여 상기 검출 문자 저장 모듈에 저장된 각 문자 위치별 다수의 검출 문자의 신뢰도를 산출하는 단계; IOU 산출 모듈이 IOU 알고리즘을 이용하여 상기 검출 문자 저장 모듈에 저장된 각 문자 위치별 다수의 검출 문자의 IOU를 산출하는 단계; 검출 문자 선택 모듈이 상기 NMS 기반 신뢰도 산출 모듈에서 산출된 신뢰도 및 상기 IOU 산출 모듈에서 산출된 IOU를 이용하여 각 문자 위치별로 가장 신뢰도가 높고 IOU가 가장 낮은 검출 문자를 각 문자 위치별 선택 문자로 선택하는 단계를 포함하도록 구성될 수 있다.And the license plate character selection step includes: an NMS-based reliability calculation module calculating the reliability of a plurality of detected characters for each character position stored in the detected character storage module using an NMS algorithm; An IOU calculation module calculating the IOU of a plurality of detected characters for each character position stored in the detected character storage module using an IOU algorithm; The detection character selection module uses the reliability calculated from the NMS-based reliability calculation module and the IOU calculated from the IOU calculation module to select the detection character with the highest reliability and lowest IOU for each character position as the selection character for each character position. It may be configured to include the steps of:

그리고 상기 차량번호판 후보문자 리스트업단계는, 후보 문자 리스트업 모듈이 상기 검출 문자 저장 모듈에 저장된 각 문자 위치별 검출 문자 중에서 상기 검출 문자 선택 모듈에서 선택되지 않은 각 문자 위치별 검출 문자를 상기 IOU 산출 모듈에서 산출된 IOU에 따라 각 문자 위치별 후보 문자로 지정하고 리스트업하는 단계; 후보 문자 저장 모듈에 상기 후보 문자 리스트업 모듈에서 리스트업된 각 문자 위치별 후보 문자가 저장되는 단계를 포함하도록 구성될 수 있다.And in the license plate candidate character list-up step, the candidate character list-up module calculates the IOU for each character position that is not selected in the detected character selection module among the detected characters for each character position stored in the detected character storage module. Designating and listing each character position as a candidate character according to the IOU calculated from the module; It may be configured to include a step of storing candidate characters for each character position listed in the candidate character list-up module in the candidate character storage module.

그리고 상기 차량번호판 문자교체단계는, 검출 문자 포맷 대비 모듈이 상기 검출 문자 선택 모듈에서 선택된 각 문자 위치별 선택 문자를 상기 차량번호판 문자열 포맷 저장 모듈에 저장된 차량번호판 문자열 포맷과 대비하는 단계; 검출 문자 교체 모듈이 상기 검출 문자 포맷 대비 모듈의 대비 결과에 따라 상기 검출 문자 선택 모듈에서 선택된 각 문자 위치별 선택 문자를 상기 후보 문자 저장 모듈에 저장된 각 문자 위치별 후보 문자로 교체하는 단계를 포함하도록 구성될 수 있다.And the license plate character replacement step includes: a detection character format comparison module comparing selected characters for each character position selected in the detection character selection module with a license plate string format stored in the license plate string format storage module; A detection character replacement module comprising replacing the selected character for each character position selected in the detection character selection module with a candidate character for each character position stored in the candidate character storage module according to the comparison result of the detection character format comparison module. It can be configured.

그리고 상기 차량번호판 최종인식단계는, 최종 인식 문자 출력 모듈이 상기 검출 문자 교체 모듈에 의한 교체가 있는지 판단하는 단계; 상기 판단 결과 상기 검출 문자 교체 모듈에 의한 교체가 없는 경우, 상기 최종 인식 문자 출력 모듈이 상기 검출 문자 선택 모듈의 선택 결과에 따른 최종 인식 문자를 출력하는 단계; 상기 판단 결과 상기 검출 문자 교체 모듈에 의한 교체가 있는 경우, 상기 최종 인식 문자 출력 모듈이 해당 교체 결과에 따른 최종 인식 문자를 출력하는 단계를 포함하도록 구성될 수 있다.And the final recognition step of the license plate includes determining whether the final recognition character output module has been replaced by the detection character replacement module; If there is no replacement by the detected character replacement module as a result of the determination, outputting, by the final recognized character output module, a final recognized character according to the selection result of the detected character selection module; As a result of the determination, if there is a replacement by the detection character replacement module, the final recognition character output module may be configured to include a step of outputting a final recognition character according to the replacement result.

상술한 순차적 검출방법을 이용한 차량번호 인식방법에 의하면, CNN 알고리즘을 이용하여 차량번호를 인식하되, 미리 정해진 차량번호판 문자 포맷과 대비하여 차량번호를 후보 문자로 정정하도록 구성됨으로써, 딥러닝 방식에 따른 차량번호 인식 오류를 해결할 수 있는 효과가 있다.According to the vehicle number recognition method using the above-described sequential detection method, the vehicle number is recognized using a CNN algorithm, and the vehicle number is configured to be corrected as a candidate character in comparison with a predetermined license plate character format, so that the vehicle number is recognized according to the deep learning method. It has the effect of solving vehicle number recognition errors.

도 1은 본 발명의 일 실시예에 따른 순차적 검출방법을 이용한 차량번호 인식시스템의 블록 구성도이다.
도 2 내지 도 7은 본 발명에 따른 순차적 검출방법을 이용한 차량번호 인식방법을 설명하기 위한 이미지이다.
도 8 내지 도 14는 본 발명의 일 실시예에 따른 순차적 검출방법을 이용한 차량번호 인식방법의 흐름도이다.Figure 1 is a block diagram of a license plate recognition system using a sequential detection method according to an embodiment of the present invention.
Figures 2 to 7 are images for explaining the vehicle number recognition method using the sequential detection method according to the present invention.
Figures 8 to 14 are flowcharts of a vehicle license plate recognition method using a sequential detection method according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and detailed descriptions will be given for carrying out the invention. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention. The term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 순차적 검출방법을 이용한 차량번호 인식시스템의 블록 구성도이고, 도 2 내지 도 7은 본 발명에 따른 순차적 검출방법을 이용한 차량번호 인식방법을 설명하기 위한 이미지이다.Figure 1 is a block diagram of a vehicle number recognition system using a sequential detection method according to an embodiment of the present invention, and Figures 2 to 7 are images for explaining the vehicle number recognition method using a sequential detection method according to the present invention. am.

도 1을 참조하면, 본 발명의 일 실시예에 따른 순차적 검출방법을 이용한 차량번호 인식시스템(100)은 차량번호판 학습용 데이터베이스(101), CNN(convolutional neural network) 기반 차량번호판 학습 모듈(102), 차량번호판 문자열 포맷 저장 모듈(103), 이미지 입력 모듈(104), CNN 기반 차량번호판 검출 모듈(105), CNN 기반 문자 검출 모듈(106), 검출 문자 저장 모듈(107), NMS(non-maximum suppression) 기반 신뢰도 산출 모듈(108), IOU(intersection over union) 산출 모듈(109), 검출 문자 선택 모듈(110), 후보 문자 리스트업 모듈(111), 후보 문자 저장 모듈(112), 검출 문자 포맷 대비 모듈(113), 검출 문자 교체 모듈(114), 최종 인식 문자 출력 모듈(115)을 포함하도록 구성될 수 있다.Referring to FIG. 1, the license plate recognition system 100 using a sequential detection method according to an embodiment of the present invention includes a license plate learning database 101, a convolutional neural network (CNN)-based license plate learning module 102, License plate string format storage module 103, image input module 104, CNN-based license plate detection module 105, CNN-based character detection module 106, detection character storage module 107, NMS (non-maximum suppression) )-based reliability calculation module 108, IOU (intersection over union) calculation module 109, detection character selection module 110, candidate character list-up module 111, candidate character storage module 112, detection character format comparison It may be configured to include a module 113, a detection character replacement module 114, and a final recognition character output module 115.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, the detailed configuration will be described.

차량번호판 학습용 데이터베이스(101)는 차량번호판 학습을 위한 차량번호판이 미리 저장되도록 구성될 수 있다. 차량번호판은 도 2에서와 같이 다양한 종류의 차량과 다양한 차량번호판의 이미지가 저장될 수 있다.The license plate learning database 101 may be configured to store license plates for vehicle license plate learning in advance. As shown in FIG. 2, images of various types of vehicles and various license plates may be stored in the license plate.

CNN 기반 차량번호판 학습 모듈(102)은 CNN 알고리즘을 이용하여 차량번호판 학습용 데이터베이스(101)에 미리 저장된 차량번호판을 학습하여 차량번호판 문자열 포맷을 분류하도록 구성될 수 있다. CNN 기반 차량번호판 학습 모듈(102)은 도 3에서와 같은 다양한 차량번호판을 학습하여 도 4와 같은 몇가지 카테고리의 차량번호판 문자열 포맷을 분류해내도록 구성될 수 있다.The CNN-based license plate learning module 102 may be configured to classify license plate string formats by learning license plates previously stored in the license plate learning database 101 using a CNN algorithm. The CNN-based license plate learning module 102 can be configured to learn various license plates as shown in FIG. 3 and classify license plate string formats into several categories as shown in FIG. 4.

차량번호판 문자열 포맷 저장 모듈(103)은 CNN 기반 차량번호판 학습 모듈(102)에서 분류된 차량번호판 문자열 포맷이 저장되도록 구성될 수 있다.The license plate string format storage module 103 may be configured to store the license plate string format classified in the CNN-based license plate learning module 102.

이미지 입력 모듈(104)은 이미지를 입력받도록 구성될 수 있다.The image input module 104 may be configured to receive an image.

CNN 기반 차량번호판 검출 모듈(105)은 CNN 알고리즘을 이용하여 이미지 입력 모듈(104)에서 입력받은 이미지에서 차량번호판을 검출하도록 구성될 수 있다.The CNN-based license plate detection module 105 may be configured to detect a license plate from an image input from the image input module 104 using a CNN algorithm.

CNN 기반 차량번호판 검출 모듈(105)은 이미지 내 존재하는 다수의 특징 성분들을 컨벌루션 레이어(convolutional layer)를 통해서 추출하고, 추출된 특징들을 기반으로 차량번호판 여부, 차량번호판의 분류번호, 신뢰도값, 사각형박스 정보(x,y,width,height)를 판단하도록 구성될 수 있다.The CNN-based license plate detection module 105 extracts a number of feature components present in the image through a convolutional layer, and determines whether there is a license plate, classification number of the license plate, confidence value, and square based on the extracted features. It may be configured to determine box information (x, y, width, height).

CNN 기반 문자 검출 모듈(106)은 CNN 알고리즘을 이용하여 CNN 기반 차량번호판 검출 모듈(105)에서 검출된 차량번호판으로부터 차량 번호판 문자열 포맷에 따른 각 문자 위치별로 다수의 검출 문자를 검출하도록 구성될 수 있다.The CNN-based character detection module 106 uses a CNN algorithm to detect a plurality of detected characters for each character position according to the license plate string format from the license plate detected by the CNN-based license plate detection module 105. .

CNN 기반 문자 검출 모듈(106)은 다수의 특징 성분들을 컨벌루션 레이어(convolutional layer)를 통해서 추출하고, 추출된 특징들을 기반으로 차량번호판의 문자를 검출하도록 구성될 수 있다.The CNN-based character detection module 106 may be configured to extract a number of feature components through a convolutional layer and detect characters on a license plate based on the extracted features.

검출 문자 저장 모듈(107)은 CNN 기반 문자 검출 모듈(106)에서 검출된 각 문자 위치별 다수의 검출 문자가 저장되도록 구성될 수 있다.The detected character storage module 107 may be configured to store a plurality of detected characters for each character position detected in the CNN-based character detection module 106.

NMS 기반 신뢰도 산출 모듈(108)은 NMS 알고리즘을 이용하여 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 다수의 검출 문자의 신뢰도를 산출하도록 구성될 수 있다. NMS 알고리즘을 이용할 경우 도 3과 같이 문자의 예상 위치에서 오직 하나의 문자만을 얻거나 못얻을 수 있다. 그리고 이미지가 포화되거나 야간 이미지의 경우 '아', '마', '바', '전', '천' 등의 유사 문자들을 잘못 검출하는 경우가 발생할 수 있다.The NMS-based reliability calculation module 108 may be configured to calculate the reliability of a plurality of detected characters for each character position stored in the detected character storage module 107 using the NMS algorithm. When using the NMS algorithm, only one character may or may not be obtained from the expected position of the character, as shown in Figure 3. Additionally, in cases where the image is saturated or is a night image, similar characters such as 'A', 'Ma', 'Ba', 'Jeon', and 'Cheon' may be incorrectly detected.

IOU 산출 모듈(109)은 IOU 알고리즘을 이용하여 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 다수의 검출 문자의 IOU를 산출하도록 구성될 수 있다. IOU 산출 모듈(109)는 오버랩 영역(area of overlap)을 결합 영역(area of union)으로 나누어 IOU를 산출할 수 있다.The IOU calculation module 109 may be configured to calculate the IOU of a plurality of detected characters for each character position stored in the detected character storage module 107 using an IOU algorithm. The IOU calculation module 109 can calculate the IOU by dividing the area of overlap into the area of union.

검출 문자 선택 모듈(110)은 NMS 기반 신뢰도 산출 모듈(108)에서 산출된 신뢰도 및 IOU 산출 모듈(109)에서 산출된 IOU를 이용하여 각 문자 위치별로 가장 신뢰도가 높고 IOU가 가장 낮은 검출 문자를 각 문자 위치별 선택 문자로 선택하도록 구성될 수 있다.
후보 문자 리스트업 모듈(111)은 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 검출 문자 중에서 검출 문자 선택 모듈(110)에서 선택되지 않은 각 문자 위치별 검출 문자를 IOU 산출 모듈(109)에서 산출된 IOU에 따라 각 문자 위치별 후보 문자로 지정하고 리스트업하도록 구성될 수 있다.
CNN 알고리즘을 이용하여 차량번호판의 이미지 내 문자 검출시 학습에 사용된 문자수와 문자의 크기(사각 경계 박스)에 따라 실제 검출 대상이 되는 차량번호판 이미지의 문자 위치에서 다수의 예측 결과가 나오게 된다.
특히, 학습에 사용된 문자 중 '아', '마', '바' 와 같이 유사한 문자가 많이 존재할 경우 예측 결과가 많이 출력된다. 이렇게 나온 예측 결과가 후보 문자가 된다.The detection character selection module 110 uses the reliability calculated from the NMS-based reliability calculation module 108 and the IOU calculated from the IOU calculation module 109 to select the detected character with the highest reliability and lowest IOU for each character position. It can be configured to select characters by character position.
The candidate character list-up module 111 selects the detected character for each character position that is not selected in the detected character selection module 110 from among the detected characters for each character position stored in the detected character storage module 107 in the IOU calculation module 109. Depending on the calculated IOU, each character position can be designated as a candidate character and listed.
When detecting characters in a license plate image using a CNN algorithm, a number of prediction results are produced from the character positions in the license plate image that are actually the target of detection, depending on the number of characters used for learning and the size of the character (rectangular bounding box).
In particular, if there are many similar characters such as 'A', 'Ma', and 'Ba' among the characters used in learning, many prediction results are output. These prediction results become candidate characters.

본원 발명은 CNN 알고리즘으로 YOLO v3가 적용된 CNN을 이용한다.The present invention uses CNN with YOLO v3 applied as the CNN algorithm.

즉, 도 7에서 보듯이 각 문자 위치별로 선택 문자가 회색으로 표시되고 후보 문자가 노란색으로 표시되어 있다. 후보 문자로서는 IOU가 0.6 이상인 문자만 신뢰도값이 큰 순서대로 리스트업하도록 구성될 수 있다.That is, as shown in Figure 7, the selected character is displayed in gray and the candidate character is displayed in yellow for each character position. As candidate characters, only characters with an IOU of 0.6 or higher can be configured to be listed in order of increasing reliability.

후보 문자 저장 모듈(112)은 후보 문자 리스트업 모듈(111)에서 리스트업된 각 문자 위치별 후보 문자가 저장되도록 구성될 수 있다.The candidate character storage module 112 may be configured to store candidate characters for each character position listed in the candidate character list-up module 111.

검출 문자 포맷 대비 모듈(113)은 검출 문자 선택 모듈(110)에서 선택된 각 문자 위치별 선택 문자를 차량번호판 문자열 포맷 저장 모듈(103)에 저장된 차량번호판 문자열 포맷과 대비하도록 구성될 수 있다. 즉, 검출 문자 포맷 대비 모듈(113)은 앞서 선택된 문자열이 차량번호판의 문자열 포맷과 일치하지 않는 경우가 발생하는지를 대비하여 파악할 수 있다.The detection character format comparison module 113 may be configured to compare the selected character for each character position selected in the detection character selection module 110 with the license plate string format stored in the license plate string format storage module 103. That is, the detection character format comparison module 113 can determine whether a previously selected character string does not match the character string format of the vehicle license plate.

검출 문자 교체 모듈(114)은 검출 문자 포맷 대비 모듈(113)의 대비 결과에 따라 검출 문자 선택 모듈(110)에서 선택된 각 문자 위치별 선택 문자를 후보 문자 저장 모듈(112)에 저장된 각 문자 위치별 후보 문자로 교체하도록 구성될 수 있다.The detection character replacement module 114 replaces the selected character for each character position selected in the detection character selection module 110 according to the comparison result of the detection character format comparison module 113 for each character position stored in the candidate character storage module 112. It can be configured to replace with a candidate character.

검출 문자 교체 모듈(114)은 포맷에 맞지 않는 문자를 후보 문자로 교체하여 정정하도록 구성될 수 있다.The detection character replacement module 114 may be configured to correct characters that do not fit the format by replacing them with candidate characters.

최종 인식 문자 출력 모듈(115)은 검출 문자 선택 모듈(110)의 선택 결과 또는 검출 문자 교체 모듈(114)의 교체 결과에 따른 최종 인식 문자를 출력하도록 구성될 수 있다.The final recognition character output module 115 may be configured to output the final recognition character according to the selection result of the detection character selection module 110 or the replacement result of the detection character replacement module 114.

도 8 내지 도 14는 본 발명의 일 실시예에 따른 순차적 검출방법을 이용한 차량번호 인식방법의 흐름도이다.Figures 8 to 14 are flowcharts of a vehicle license plate recognition method using a sequential detection method according to an embodiment of the present invention.

도 8 내지 도 14를 참조하면, 차량번호판 학습단계(S110)는 CNN 기반 차량번호판 학습 모듈(102)이 차량번호판을 미리 학습하여 차량번호판 문자열 포맷을 분류하여 미리 저장하도록 구성된다.Referring to FIGS. 8 to 14, in the license plate learning step (S110), the CNN-based license plate learning module 102 is configured to learn license plates in advance, classify license plate string formats, and store them in advance.

구체적으로는 차량번호판 학습용 데이터베이스(101)에 차량번호판 학습을 위한 차량번호판이 미리 저장된다(S111). 그리고 CNN 기반 차량번호판 학습 모듈(102)이 CNN 알고리즘을 이용하여 차량번호판 학습용 데이터베이스(101)에 미리 저장된 차량번호판을 학습하여 차량번호판 문자열 포맷을 분류한다(S112). 그리고 차량번호판 문자열 포맷 저장 모듈(103)에 CNN 기반 차량번호판 학습 모듈(102)에서 분류된 차량번호판 문자열 포맷이 저장된다(S113).
다음으로, 차량번호판 문자검출단계(S120)는 CNN 기반 차량번호판 검출 모듈(105)이 CNN 알고리즘을 이용하여 이미지 입력 모듈(104)에서 입력받은 차량번호판을 인식하고, CNN 기반 문자 검출 모듈(106)이 인식된 차량번호판으로부터 미리 저장된 차량번호판 문자열 포맷에 따른 각 문자 위치별로 CNN 알고리즘을 통해 다수의 문자가 검출되는 경우, 각 문자 위치별로 다수의 검출 문자를 검출하여 출력하도록 구성된다.Specifically, license plates for vehicle license plate learning are stored in advance in the license plate learning database 101 (S111). And the CNN-based license plate learning module 102 uses a CNN algorithm to learn license plates previously stored in the license plate learning database 101 and classifies the license plate string format (S112). And the license plate string format classified in the CNN-based license plate learning module 102 is stored in the license plate string format storage module 103 (S113).
Next, in the license plate text detection step (S120), the CNN-based license plate detection module 105 recognizes the license plate input from the image input module 104 using a CNN algorithm, and the CNN-based text detection module 106 If a plurality of characters are detected from the recognized license plate through the CNN algorithm for each character position according to the pre-stored license plate string format, it is configured to detect and output a plurality of detected characters for each character position.

삭제delete

구체적으로는 이미지 입력 모듈(104)이 이미지를 입력받는다(S121). 그리고 CNN 기반 차량번호판 검출 모듈(105)이 CNN 알고리즘을 이용하여 이미지 입력 모듈(104)에서 입력받은 이미지에서 차량번호판을 검출한다(S122). 그리고 CNN 기반 문자 검출 모듈(106)이 CNN 알고리즘을 이용하여 CNN 기반 차량번호판 검출 모듈(105)에서 검출된 차량번호판의 각 문자 위치별로 다수의 검출 문자를 검출한다(S123). 그리고 검출 문자 저장 모듈(107)에 CNN 기반 문자 검출 모듈(106)에서 검출된 각 문자 위치별 다수의 검출 문자가 저장된다(S124).Specifically, the image input module 104 receives an image (S121). And the CNN-based license plate detection module 105 detects the license plate from the image input from the image input module 104 using the CNN algorithm (S122). Then, the CNN-based character detection module 106 uses the CNN algorithm to detect a number of detected characters for each character position of the license plate detected by the CNN-based license plate detection module 105 (S123). And a number of detected characters for each character position detected in the CNN-based character detection module 106 are stored in the detected character storage module 107 (S124).

다음으로, 차량번호판 문자선택단계(S130)는 NMS 기반 신뢰도 산출 모듈(108)이 차량번호판 문자검출단계(S120)에서 출력된 다수의 검출 문자에서 각 문자 위치별로 문자를 선택하여 각 문자 위치별 선택 문자를 출력하도록 구성된다.Next, in the license plate character selection step (S130), the NMS-based reliability calculation module 108 selects a character for each character position from the plurality of detected characters output in the license plate character detection step (S120) and selects each character position. It is configured to output text.

구체적으로는 NMS 기반 신뢰도 산출 모듈(108)이 NMS 알고리즘을 이용하여 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 다수의 검출 문자의 신뢰도를 산출한다(S131). 그리고 IOU 산출 모듈(109)이 IOU 알고리즘을 이용하여 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 다수의 검출 문자의 IOU를 산출한다(S132). 검출 문자 선택 모듈(110)이 NMS 기반 신뢰도 산출 모듈(108)에서 산출된 신뢰도 및 IOU 산출 모듈(109)에서 산출된 IOU를 이용하여 각 문자 위치별로 가장 신뢰도가 높은 문자를 각 문자 위치별 선택 문자로 선택한다(S133).Specifically, the NMS-based reliability calculation module 108 calculates the reliability of a number of detected characters for each character position stored in the detected character storage module 107 using the NMS algorithm (S131). Then, the IOU calculation module 109 calculates the IOU of a number of detected characters for each character position stored in the detected character storage module 107 using the IOU algorithm (S132). The detection character selection module 110 selects the character with the highest reliability for each character position using the reliability calculated from the NMS-based reliability calculation module 108 and the IOU calculated from the IOU calculation module 109. Select (S133).

다음으로, 차량번호판 후보문자 리스트업단계(S140)는 후보 문자 리스트업 모듈(111)이 차량번호판 문자선택단계(S130)에서 선택되지 않은 각 문자 위치별 검출 문자를 각 문자 위치별 후보 문자로 지정하여 리스트업하도록 구성된다.Next, in the license plate candidate character list-up step (S140), the candidate character list-up module 111 designates detected characters for each character position that are not selected in the license plate character selection step (S130) as candidate characters for each character position. It is configured to list.

구체적으로는 후보 문자 리스트업 모듈(111)이 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 검출 문자 중에서 검출 문자 선택 모듈(110)에서 선택되지 않은 각 문자 위치별 검출 문자를 IOU 산출 모듈(109)에서 산출된 IOU에 따라 각 문자 위치별 후보 문자로 지정하고 리스트업한다(S141). 그리고 후보 문자 저장 모듈(112)에 후보 문자 리스트업 모듈(111)에서 리스트업된 각 문자 위치별 후보 문자가 저장된다(S142).Specifically, the candidate character list-up module 111 selects the detected character for each character position that is not selected in the detected character selection module 110 among the detected characters for each character position stored in the detected character storage module 107 by the IOU calculation module ( According to the IOU calculated in 109), each character position is designated as a candidate character and listed (S141). Then, candidate characters for each character position listed in the candidate character list-up module 111 are stored in the candidate character storage module 112 (S142).

다음으로, 차량번호판 문자교체단계(S150)는 검출 문자 포맷 대비 모듈(113)이 차량번호판 문자선택단계(S130)에서 출력된 각 문자 위치별 선택 문자를 차량번호판 학습단계(S110)에서 저장된 차량번호판 문자열 포맷과 대비하고, 검출 문자 교체 모듈(114)이 대비 결과에 따라 각 문자 위치별 선택 문자를 차량번호판 후보문자 리스트업단계(S140)에서 리스트업된 각 문자 위치별 후보 문자로 교체하도록 구성된다.Next, in the license plate character replacement step (S150), the detection character format comparison module 113 matches the selected characters for each character position output in the license plate character selection step (S130) to the license plate number stored in the license plate learning step (S110). It compares with the string format, and the detected character replacement module 114 is configured to replace the selected character for each character position with the candidate character for each character position listed in the license plate candidate character list-up step (S140) according to the comparison result. .

구체적으로는 검출 문자 포맷 대비 모듈(113)이 검출 문자 선택 모듈(110)에서 선택된 각 문자 위치별 선택 문자를 차량번호판 문자열 포맷 저장 모듈(103)에 저장된 차량번호판 문자열 포맷과 대비한다(S151). 그리고 검출 문자 교체 모듈(114)이 검출 문자 포맷 대비 모듈(113)의 대비 결과에 따라 검출 문자 선택 모듈(110)에서 선택된 각 문자 위치별 선택 문자를 후보 문자 저장 모듈(112)에 저장된 각 문자 위치별 후보 문자로 교체한다(S152).Specifically, the detection character format comparison module 113 compares the selected character for each character position selected in the detection character selection module 110 with the license plate string format stored in the license plate string format storage module 103 (S151). And the detection character replacement module 114 selects the selected character for each character position selected in the detection character selection module 110 according to the comparison result of the detection character format comparison module 113 at each character position stored in the candidate character storage module 112. Replace with a star candidate character (S152).

다음으로, 차량번호판 최종인식단계(S160)는 최종 인식 문자 출력 모듈(115)이 차량번호판 문자선택단계(S130)의 선택 결과 또는 차량번호판 문자교체단계(S150)의 교체 결과에 따른 최종 인식 문자를 출력하도록 구성된다.Next, in the final recognition step of the license plate (S160), the final recognition character output module 115 outputs the final recognition character according to the selection result of the license plate character selection step (S130) or the replacement result of the license plate character replacement step (S150). It is configured to output.

구체적으로는 최종 인식 문자 출력 모듈(115)이 검출 문자 교체 모듈(114)에 의한 교체가 있는지 판단한다(S161). 그리고 판단 결과 검출 문자 교체 모듈(114)에 의한 교체가 없는 경우, 최종 인식 문자 출력 모듈(115)이 검출 문자 선택 모듈(110)의 선택 결과에 따른 최종 인식 문자를 출력한다(S162). 그리고 판단 결과 검출 문자 교체 모듈(114)에 의한 교체가 있는 경우, 최종 인식 문자 출력 모듈(115)이 해당 교체 결과 따른 최종 인식 문자를 출력한다(S163).Specifically, the final recognized character output module 115 determines whether there is a replacement by the detection character replacement module 114 (S161). And, as a result of the determination, if there is no replacement by the detection character replacement module 114, the final recognition character output module 115 outputs the final recognition character according to the selection result of the detection character selection module 110 (S162). And, as a result of the determination, if there is a replacement by the detection character replacement module 114, the final recognition character output module 115 outputs the final recognition character according to the replacement result (S163).

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the description has been made with reference to the above examples, those skilled in the art can understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. There will be.

101: 차량번호판 학습용 데이터베이스
102: CNN 기반 차량번호판 학습 모듈
103: 차량번호판 문자열 포맷 저장 모듈
104: 이미지 입력 모듈 105: CNN 기반 차량번호판 검출 모듈
106: CNN 기반 문자 검출 모듈 107: 검출 문자 저장 모듈
108: NMS 기반 신뢰도 산출 모듈 109: IOU 산출 모듈
110: 검출 문자 선택 모듈 111: 후보 문자 리스트업 모듈
112: 후보 문자 저장 모듈 113: 검출 문자 포맷 대비 모듈
114: 검출 문자 교체 모듈 115: 최종 인식 문자 출력 모듈101: Database for learning vehicle license plates
102: CNN-based license plate learning module
103: License plate string format storage module
104: Image input module 105: CNN-based license plate detection module
106: CNN-based character detection module 107: Detected character storage module
108: NMS-based reliability calculation module 109: IOU calculation module
110: Detection character selection module 111: Candidate character list-up module
112: Candidate character storage module 113: Detection character format comparison module
114: detection character replacement module 115: final recognition character output module

Claims (7)

CNN 기반 차량번호판 학습 모듈(102)이 차량번호판을 미리 학습하여 차량번호판 문자열 포맷을 분류하여 미리 저장하는 차량번호판 학습단계(S110);
CNN 기반 차량번호판 검출 모듈(105)이 CNN 알고리즘을 이용하여 이미지 입력 모듈(104)에서 입력받은 차량번호판을 인식하고, CNN 기반 문자 검출 모듈(106)이 인식된 차량번호판으로부터 미리 저장된 차량번호판 문자열 포맷에 따른 각 문자 위치별로 CNN 알고리즘을 통해 다수의 문자가 검출되는 경우, 각 문자 위치별로 다수의 검출 문자를 검출하여 출력하는 차량번호판 문자검출단계(S120);
NMS 기반 신뢰도 산출 모듈(108)이 상기 차량번호판 문자검출단계(S120)에서 출력된 다수의 검출 문자에서 각 문자 위치별로 문자를 선택하여 각 문자 위치별 선택 문자를 출력하는 차량번호판 문자선택단계(S130);
후보 문자 리스트업 모듈(111)이 상기 차량번호판 문자선택단계(S130)에서 선택되지 않은 각 문자 위치별 검출 문자를 각 문자 위치별 후보 문자로 지정하여 리스트업하는 차량번호판 후보문자 리스트업단계(S140);
검출 문자 포맷 대비 모듈(113)이 상기 차량번호판 문자선택단계(S130)에서 출력된 각 문자 위치별 선택 문자를 상기 차량번호판 학습단계(S110)에서 저장된 차량번호판 문자열 포맷과 대비하고, 검출 문자 교체 모듈(114)이 대비 결과에 따라 상기 각 문자 위치별 선택 문자를 상기 차량번호판 후보문자 리스트업단계(S140)에서 리스트업된 각 문자 위치별 후보 문자로 교체하는 차량번호판 문자교체단계(S150);
최종 인식 문자 출력 모듈(115)이 상기 차량번호판 문자선택단계(S130)의 선택 결과 또는 상기 차량번호판 문자교체단계(S150)의 교체 결과에 따른 최종 인식 문자를 출력하는 차량번호판 최종인식단계(S160)를 포함하고,
상기 차량번호판 문자검출단계(S120)는,
이미지 입력 모듈(104)이 이미지를 입력받는 단계(S121),
CNN 기반 차량번호판 검출 모듈(105)이 CNN 알고리즘을 이용하여 상기 이미지 입력 모듈(104)에서 입력받은 이미지에서 차량번호판을 검출하는 단계(S122),
CNN 기반 문자 검출 모듈(106)이 CNN 알고리즘을 이용하여 상기 CNN 기반 차량번호판 검출 모듈(105)에서 검출된 차량번호판의 각 문자 위치별로 다수의 검출 문자를 검출하는 단계(S123),
검출 문자 저장 모듈(107)에 상기 CNN 기반 문자 검출 모듈(106)에서 검출된 각 문자 위치별 다수의 검출 문자가 저장되는 단계(S124)를 포함하며,
상기 차량번호판 문자선택단계(S130)는,
NMS(non-maximum suppression) 기반 신뢰도 산출 모듈(108)이 NMS 알고리즘을 이용하여 상기 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 다수의 검출 문자의 신뢰도를 산출하는 단계(S131),
IOU(intersection over union) 산출 모듈(109)이 IOU 알고리즘을 이용하여 상기 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 다수의 검출 문자의 IOU를 산출하는 단계(S132),
검출 문자 선택 모듈(110)이 상기 NMS 기반 신뢰도 산출 모듈(108)에서 산출된 신뢰도 및 상기 IOU 산출 모듈(109)에서 산출된 IOU를 이용하여 각 문자 위치별로 가장 신뢰도가 높고 IOU가 가장 낮은 검출 문자를 각 문자 위치별 선택 문자로 선택하는 단계(S133)를 포함하고,
상기 차량번호판 후보문자 리스트업단계(S140)는,
후보 문자 리스트업 모듈(111)이 상기 검출 문자 저장 모듈(107)에 저장된 각 문자 위치별 검출 문자 중에서 상기 검출 문자 선택 모듈(110)에서 선택되지 않은 각 문자 위치별 검출 문자를 상기 IOU 산출 모듈(109)에서 산출된 IOU에 따라 각 문자 위치별 후보 문자로 지정하고 리스트업하는 단계(S141),
후보 문자 저장 모듈(112)에 상기 후보 문자 리스트업 모듈(111)에서 리스트업된 각 문자 위치별 후보 문자가 저장되는 단계(S142)를 포함하며,
상기 차량번호판 문자교체단계(S150)는,
검출 문자 포맷 대비 모듈(113)이 상기 검출 문자 선택 모듈(110)에서 선택된 각 문자 위치별 선택 문자를 상기 차량번호판 문자열 포맷 저장 모듈(103)에 저장된 차량번호판 문자열 포맷과 대비하는 단계(S151),
검출 문자 교체 모듈(114)이 상기 검출 문자 포맷 대비 모듈(113)의 대비 결과에 따라 상기 검출 문자 선택 모듈(110)에서 선택된 각 문자 위치별 선택 문자를 상기 후보 문자 저장 모듈(112)에 저장된 각 문자 위치별 후보 문자로 교체하는 단계(S152)를 포함하며,
상기 차량번호판 최종인식단계(S160)는,
최종 인식 문자 출력 모듈(115)이 상기 검출 문자 교체 모듈(114)에 의한 교체가 있는지 판단하는 단계(S161),
상기 판단 결과 상기 검출 문자 교체 모듈(114)에 의한 교체가 없는 경우 상기 최종 인식 문자 출력 모듈(115)이 상기 검출 문자 선택 모듈(110)의 선택 결과에 따른 최종 인식 문자를 출력하는 단계(S162),
상기 판단 결과 상기 검출 문자 교체 모듈(114)에 의한 교체가 있는 경우 상기 최종 인식 문자 출력 모듈(115)이 해당 교체 결과 따른 최종 인식 문자를 출력하는 단계(S163)를 포함하도록 구성되는 것을 특징으로 하는 순차적 검출방법을 이용한 차량번호 인식방법.
A license plate learning step (S110) in which the CNN-based license plate learning module 102 learns license plates in advance, classifies license plate string formats, and stores them in advance;
The CNN-based license plate detection module 105 uses a CNN algorithm to recognize the license plate input from the image input module 104, and the CNN-based character detection module 106 formats a pre-stored license plate string from the recognized license plate. When a plurality of characters are detected through the CNN algorithm for each character position according to, a license plate character detection step (S120) of detecting and outputting a plurality of detected characters for each character position;
A license plate character selection step (S130) in which the NMS-based reliability calculation module 108 selects a character for each character position from the plurality of detected characters output in the license plate character detection step (S120) and outputs a selected character for each character position (S130). );
A license plate candidate character list-up step (S140) in which the candidate character list-up module 111 lists the detected characters for each character position that were not selected in the license plate character selection step (S130) as candidate characters for each character position. );
The detection character format comparison module 113 compares the selected character for each character position output in the license plate character selection step (S130) with the license plate string format stored in the license plate learning step (S110), and the detection character replacement module (114) A license plate character replacement step (S150) of replacing the selected characters for each character position with candidate characters for each character position listed in the license plate candidate character list-up step (S140) according to the comparison result;
A final recognition step (S160) in which the final recognition character output module 115 outputs a final recognition character according to the selection result of the license plate character selection step (S130) or a replacement result of the license plate character replacement step (S150). Including,
In the vehicle license plate character detection step (S120),
A step in which the image input module 104 receives an image (S121),
A CNN-based license plate detection module 105 detects a license plate from the image input from the image input module 104 using a CNN algorithm (S122),
A step (S123) in which the CNN-based character detection module 106 detects a plurality of detected characters for each character position of the license plate detected by the CNN-based license plate detection module 105 using a CNN algorithm (S123),
It includes a step (S124) of storing a plurality of detected characters for each character position detected in the CNN-based character detection module 106 in the detected character storage module 107,
In the vehicle license plate character selection step (S130),
A non-maximum suppression (NMS)-based reliability calculation module 108 calculating the reliability of a plurality of detected characters for each character position stored in the detected character storage module 107 using the NMS algorithm (S131),
A step (S132) in which the IOU (intersection over union) calculation module 109 calculates the IOU of a plurality of detected characters for each character position stored in the detected character storage module 107 using the IOU algorithm,
The detection character selection module 110 uses the reliability calculated from the NMS-based reliability calculation module 108 and the IOU calculated from the IOU calculation module 109 to detect the character with the highest reliability and the lowest IOU for each character position. It includes a step (S133) of selecting as the selection character for each character position,
In the vehicle license plate candidate character list step (S140),
The candidate character list-up module 111 selects the detected character for each character position that is not selected in the detected character selection module 110 among the detected characters for each character position stored in the detected character storage module 107 by the IOU calculation module ( Step (S141) of designating each character position as a candidate character and listing it according to the IOU calculated in 109),
It includes a step (S142) of storing candidate characters for each character position listed in the candidate character list-up module 111 in the candidate character storage module 112,
In the vehicle license plate character replacement step (S150),
The detection character format comparison module 113 compares the selected character for each character position selected in the detection character selection module 110 with the license plate string format stored in the license plate string format storage module 103 (S151),
The detection character replacement module 114 selects the selected character for each character position selected in the detection character selection module 110 according to the comparison result of the detection character format comparison module 113 to each character stored in the candidate character storage module 112. Includes a step (S152) of replacing each character position with a candidate character,
The final recognition step (S160) of the vehicle license plate is,
A step (S161) in which the final recognized character output module 115 determines whether there is a replacement by the detection character replacement module 114;
As a result of the determination, if there is no replacement by the detection character replacement module 114, the final recognition character output module 115 outputs the final recognition character according to the selection result of the detection character selection module 110 (S162) ,
As a result of the determination, if there is a replacement by the detection character replacement module 114, the final recognition character output module 115 is configured to include a step (S163) of outputting the final recognition character according to the replacement result. Vehicle number recognition method using sequential detection method.
 제1항에 있어서, 상기 차량번호판 학습단계(S110)는,
차량번호판 학습용 데이터베이스(101)에 차량번호판 학습을 위한 차량번호판이 미리 저장되는 단계(S111),
CNN(convolutional neural network) 기반 차량번호판 학습 모듈(102)이 CNN 알고리즘을 이용하여 상기 차량번호판 학습용 데이터베이스(101)에 미리 저장된 차량번호판을 학습하여 차량번호판 문자열 포맷을 분류하는 단계(S112),
차량번호판 문자열 포맷 저장 모듈(103)에 상기 CNN 기반 차량번호판 학습 모듈(102)에서 분류된 차량번호판 문자열 포맷이 저장되는 단계(S113)를 포함하도록 구성되는 것을 특징으로 하는 순차적 검출방법을 이용한 차량번호 인식방법.The method of claim 1, wherein the vehicle license plate learning step (S110),
A step (S111) in which license plates for vehicle license plate learning are pre-stored in the license plate learning database 101;
A convolutional neural network (CNN)-based license plate learning module 102 classifies license plate string formats by learning license plates pre-stored in the license plate learning database 101 using a CNN algorithm (S112),
A vehicle number using a sequential detection method, characterized in that it is configured to include a step (S113) of storing the license plate string format classified in the CNN-based license plate learning module 102 in the license plate string format storage module 103. Recognition method. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020230087783A 2023-07-06 2023-07-06 Method of recognizing vehicle number using sequential detection method KR102612656B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230087783A KR102612656B1 (en) 2023-07-06 2023-07-06 Method of recognizing vehicle number using sequential detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230087783A KR102612656B1 (en) 2023-07-06 2023-07-06 Method of recognizing vehicle number using sequential detection method

Publications (1)

Publication Number Publication Date
KR102612656B1 true KR102612656B1 (en) 2023-12-12

Family

ID=89159513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230087783A KR102612656B1 (en) 2023-07-06 2023-07-06 Method of recognizing vehicle number using sequential detection method

Country Status (1)

Country Link
KR (1) KR102612656B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148857A1 (en) * 2011-12-12 2013-06-13 Electronics And Telecommunications Research Institute Apparatus for extracting character area in vehicle number plate and method thereof
KR101778605B1 (en) * 2017-02-21 2017-09-14 주식회사 엑시냅스 Method And Apparatus For Recognizing Vehicle License Plate
KR20180049298A (en) * 2016-10-31 2018-05-11 한국전자통신연구원 System and method for recognizing information from vehicle license plate
KR102054061B1 (en) 2018-01-19 2019-12-09 한국기술교육대학교 산학협력단 Recognition method of Vehicle Licence Plate
KR20210004529A (en) * 2019-07-05 2021-01-13 김용운 CCTV for recognizing car number based on deep learning
KR102272295B1 (en) 2021-03-30 2021-07-02 케이에스아이 주식회사 Method for improving recognition ratio of vehicle license plate employing depth information of image
KR102383377B1 (en) * 2021-06-02 2022-04-08 (주)트루엔 Electronic device for recognizing license plate

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148857A1 (en) * 2011-12-12 2013-06-13 Electronics And Telecommunications Research Institute Apparatus for extracting character area in vehicle number plate and method thereof
KR20180049298A (en) * 2016-10-31 2018-05-11 한국전자통신연구원 System and method for recognizing information from vehicle license plate
KR101778605B1 (en) * 2017-02-21 2017-09-14 주식회사 엑시냅스 Method And Apparatus For Recognizing Vehicle License Plate
KR102054061B1 (en) 2018-01-19 2019-12-09 한국기술교육대학교 산학협력단 Recognition method of Vehicle Licence Plate
KR20210004529A (en) * 2019-07-05 2021-01-13 김용운 CCTV for recognizing car number based on deep learning
KR102272295B1 (en) 2021-03-30 2021-07-02 케이에스아이 주식회사 Method for improving recognition ratio of vehicle license plate employing depth information of image
KR102383377B1 (en) * 2021-06-02 2022-04-08 (주)트루엔 Electronic device for recognizing license plate

Similar Documents

Publication Publication Date Title
US7536365B2 (en) Hybrid architecture for acquisition, recognition, and fusion
US6738519B1 (en) Character recognition apparatus
US7697765B2 (en) Learning method and device for pattern recognition
US11107231B2 (en) Object detection device, object detection method, and object detection program
US20070179918A1 (en) Hierarchical system for object recognition in images
US11586855B2 (en) Method for determining a confidence value of a detected object
CN113706523A (en) Method for monitoring belt deviation and abnormal operation state based on artificial intelligence technology
US10861187B2 (en) Method of processing object detection data
US11334767B2 (en) System and method of perception error evaluation and correction by solving optimization problems under the probabilistic signal temporal logic based constraints
KR20170082024A (en) Apparatus and Method for Recognizing Face
CN111368703A (en) Platform logo detection and identification method based on FPN
CN115186816B (en) Back door detection method based on decision shortcut search
JP5003051B2 (en) Automatic mail sorting machine and automatic mail sorting method
KR102612656B1 (en) Method of recognizing vehicle number using sequential detection method
JP4665764B2 (en) Pattern identification system, pattern identification method, and pattern identification program
CN114549909A (en) Pseudo label remote sensing image scene classification method based on self-adaptive threshold
Barthakur et al. Semantic segmentation using K-means clustering and deep learning in satellite image
CN112001388B (en) Method for detecting circular target in PCB based on YOLOv3 improved model
Li et al. Remote sensing image classification method based on evidence theory and decision tree
KR102368067B1 (en) Method And Apparatus for Recognizing Character of Container
KR102368066B1 (en) Method And Apparatus for Recognizing Character
Du et al. Novelty detection in remote sensing imagery
RU2817001C1 (en) Method of detecting anomaly of hyperspectral image based on "training-trained" model, computer data medium and device
US20240221370A1 (en) Computer-implemented method and system for ascertaining a misclassification value during the classification of images into at least one image category by a classification algorithm
CN117934869B (en) Target detection method, system, computing device and medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant