KR102368122B1

KR102368122B1 - Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology

Info

Publication number: KR102368122B1
Application number: KR1020210115468A
Authority: KR
Inventors: 김진호; 이홍기; 이순기
Original assignee: 이홍기
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2022-02-25

Abstract

A method for recognizing a vehicle number by using deep learning image recognition-based vehicle detection and tracking technology is disclosed. The method includes the steps of: generating a plurality of image frames; creating a bounding box; performing an estimation operation; performing a similarity calculation operation; performing a matching operation; recognizing a vehicle number; counting the number of bounding boxes; performing a matching operation; comparing sizes of bounding boxes; and performing a vehicle number area extraction operation. It is possible to recognize a vehicle number by detecting and tracking a vehicle from an image without embedding a hardware sensor such as a roof coil in a road.

Description

딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법 및 시스템 {Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology} Vehicle number recognition method and system using deep learning image recognition-based vehicle detection and tracking technology {Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology}

본 발명은 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법 및 시스템에 관한 것으로, 상세하게는 차량 감지를 위한 루프 코일(loop coil)과 같은 하드웨어 센서를 도로에 매립할 필요가 없이 영상에서 차량을 검출하고 추적하여 차량 번호를 인식할 수 있는 방법 및 시스템에 관한 것이다. The present invention relates to a vehicle number recognition method and system using a vehicle detection and tracking technology based on deep learning image recognition, and in particular, it is necessary to embed a hardware sensor such as a loop coil for vehicle detection in the road. It relates to a method and system capable of recognizing a vehicle number by detecting and tracking a vehicle in an image without it.

종래의 주차 관제 시스템은 차량을 검출하기 위해 루프 코일과 같은 하드웨어를 이용하였다. 루프 코일은 차량이 진입하는 도로에 매립되었다. 차량이 루프 코일이 매립된 도로를 지나갈 때, 루프 코일의 인덕턴스가 감소한다. 인덕턴스 감소에 의해 루프 코일과 연결된 전기 회로에서 차량 번호판 인식기로 트리거 신호가 전송된다. 차량 번호판 인식기는 트리거 신호를 수신할 때, 차량 번호판 인식기에 포함된 카메라가 차량의 번호판을 촬영한다. A conventional parking control system uses hardware such as a loop coil to detect a vehicle. The roof coil is embedded in the road into which the vehicle enters. When a vehicle crosses a road in which the roof coil is buried, the inductance of the roof coil decreases. By reducing the inductance, a trigger signal is transmitted from the electric circuit connected to the loop coil to the license plate identifier. When the license plate recognizer receives a trigger signal, a camera included in the license plate recognizer captures the license plate of the vehicle.

루프 코일은 도로에 매립되어야 하기 때문에 매립 공사 비용의 발생, 유지 보수 공사 비용의 발생, 공사에 따른 사람들의 불편 발생과 같은 문제점이 있다. 또한, 루프 코일 주변의 자기장이 차량 검출에 영향을 줄 수 있다는 문제점이 있다. 이러한 문제점을 해결하기 위한 새로운 차량 검출 방법이 요구된다.Since the loop coil has to be buried in the road, there are problems such as the occurrence of a reclamation construction cost, the occurrence of a maintenance construction cost, and the occurrence of inconvenience to people due to the construction. In addition, there is a problem that a magnetic field around the loop coil may affect vehicle detection. A new vehicle detection method is required to solve this problem.

한국 등록특허공보 제10-2161949호(2020.09.25.)Korean Patent Publication No. 10-2161949 (2020.09.25.)

본 발명이 이루고자 하는 기술적인 과제는 루프 코일과 같은 하드웨어 센서를 도로에 매립하지 않고 영상에서 차량을 검출하고 추적하여 차량 번호판을 인식할 수 있는 방법 및 시스템을 제공하는 것이다. It is an object of the present invention to provide a method and system capable of recognizing a license plate by detecting and tracking a vehicle from an image without embedding a hardware sensor such as a loop coil in the road.

본 발명의 실시 예에 따른 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 차량 번호판 인식기에 포함된 카메라가 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하는 단계, 상기 차량 번호판 인식기는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하는 단계, 상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 단계, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하는 단계, 상기 차량 번호판 인식기는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계, 상기 차량 번호판 인식기는 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하는 단계, 및 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하는 단계를 포함한다. A vehicle number recognition method using a vehicle detection and tracking technology based on deep learning image recognition according to an embodiment of the present invention includes: a camera included in a license plate recognizer continuously photographing a photographing area to generate a plurality of image frames; The license plate recognizer detects a vehicle in the plurality of image frames by using a deep learning algorithm and generates a bounding box including the vehicle, the license plate recognizer is (t-3) among the plurality of image frames estimating the position and size of the bounding box in the (t+1)-th image frame using image frames including from the th image frame to the t (t is a natural number greater than or equal to 4) th image frame, the license plate recognizer calculating a similarity between a bounding box generated in the (t+1)-th image frame and an estimated bounding box, wherein the license plate recognizer determines the bounding box generated in the (t+1)-th image frame according to the similarity and matching the estimated bounding box with each other, the license plate recognizer determining whether the vehicle included in the matched bounding box arrives at an arbitrary position, and the vehicle included in the matched bounding box reaching an arbitrary position When it is determined that , the license plate recognizer extracts the license plate area of the vehicle from the (t+1)-th image frame, and includes the steps of recognizing a vehicle number from the extracted license plate area.

상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 단계는 상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 차량의 중심 위치의 위치 변화율을 이용하여 제1가속 파라미터를 계산하는 단계, 상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치, (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치, 및 상기 제1가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치를 추정하는 단계를 포함한다. The license plate recognizer is a (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. In the step of estimating the position and size of the bounding box, the license plate recognizer determines the rate of change of position of the center position of the vehicle in the image frames including from the (t-3)-th image frame to the t-th image frame. calculating a first acceleration parameter using the license plate recognizer, the center position of the vehicle in the t-th image frame, the center position of the vehicle in the (t-1)-th image frame, and the first acceleration parameter and estimating the center position of the vehicle in the (t+1)-th image frame using the method.

상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 단계는 상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 경계 박스의 사이즈 변화율을 이용하여 제2가속 파라미터를 계산하는 단계, 및 상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 경계 박스의 사이즈와 상기 제2가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈를 추정하는 단계를 더 포함한다. The license plate recognizer is a (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. In the step of estimating the position and size of the bounding box, the license plate recognizer uses the rate of change of the size of the bounding box in the image frames including from the (t-3)-th image frame to the t-th image frame. calculating a second acceleration parameter, and the license plate recognizer uses the size of the bounding box of the vehicle in the t-th image frame and the second acceleration parameter to determine the bounding box in the (t+1)-th image frame. The method further includes estimating the size of .

상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도는 상기 생성된 경계 박스와 상기 추정된 경계 박스와 합에 대한 상기 생성된 경계 박스와 상기 추정된 경계 박스의 중첩 영역으로 계산된다.The similarity between the generated bounding box and the estimated bounding box in the (t+1)-th image frame is that of the generated bounding box and the estimated bounding box for the sum of the generated bounding box and the estimated bounding box. It is counted as an overlapping area.

상기 차량 번호판 인식기는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계는 상기 차량 번호판 인식기는 상기 유사도에 대한 비용 행렬을 계산하는 단계, 상기 차량 번호판 인식기는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성하는 단계, 및 상기 최소 비용이 임의의 문턱값보다 작을 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계를 포함한다. In the license plate recognizer, matching the boundary box generated in the (t+1)-th image frame and the estimated boundary box according to the similarity with each other includes: calculating a cost matrix for the similarity by the license plate recognizer; wherein the license plate identifier generates a minimum vector containing an element of a minimum cost in each row of the computed cost matrix, and when the minimum cost is less than a certain threshold, the license plate identifier generates the (t+ 1) matching the bounding box generated in the th image frame and the estimated bounding box with each other.

상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 매칭될 추정된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 생성된 경계 박스를 새로운 객체로 판단하는 단계를 더 포함할 수 있다. In the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology, when the estimated bounding box to be matched with the bounding box generated in the (t+1)th image frame does not exist, the license plate recognizer may further include determining the created bounding box as a new object.

상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 추정된 경계 박스를 사라진 객체로 판단하는 단계를 더 포함할 수 있다. In the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology, when the generated boundary box to match the boundary box estimated in the (t+1)-th image frame does not exist, the license plate recognizer may further include determining the estimated bounding box as a missing object.

상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 미싱 카운트(missing counter)를 증가시키는 단계, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스를 (t+2)번째 이미지 프레임에서 생성된 경계 박스와 매칭되는지 판단하는 단계, 및 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 (t+2)번째 이미지 프레임에서 생성된 경계 박스가 매칭되지 않을 때, 상기 차량 번호판 인식기는 상기 미싱 카운트를 증가시키는 단계를 포함한다. In the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology, when the generated boundary box to match the boundary box estimated in the (t+1)-th image frame does not exist, the license plate recognizer incrementing a missing count, the license plate recognizer determines whether the bounding box estimated in the (t+1)-th image frame matches the bounding box generated in the (t+2)-th image frame step, and when the bounding box estimated in the (t+1)-th image frame and the bounding box generated in the (t+2)-th image frame do not match, the license plate recognizer increases the missing count include

본 발명의 실시 예에 따른 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 시스템은 차량 번호판 인식기를 포함한다. A vehicle number recognition system using a vehicle detection and tracking technology based on deep learning image recognition according to an embodiment of the present invention includes a vehicle license plate recognizer.

상기 차량 번호판 인식기는 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하는 카메라, 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다. The license plate recognizer includes a camera for generating a plurality of image frames by photographing a photographing area, a memory for storing instructions, and a processor for executing the instructions.

상기 명령들은 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하며, 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하며, 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하며, 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키며, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하며, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하도록 구현된다. The instructions use a deep learning algorithm to detect a vehicle in the plurality of image frames, generate a bounding box including the vehicle, and t(t) in the (t-3)th image frame among the plurality of image frames. is a natural number greater than or equal to 4) estimates the position and size of the bounding box in the (t+1)-th image frame using image frames including up to the (t+1)-th image frame, and the boundary generated in the (t+1)-th image frame Calculate the similarity between the box and the estimated bounding box, match the bounding box generated in the (t+1)-th image frame and the estimated bounding box according to the similarity, and a vehicle included in the matched bounding box It is determined whether this arbitrary position is reached, and when it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, the license plate recognizer is the license plate area of the vehicle in the (t+1)th image frame. It is implemented to extract and recognize the vehicle number in the extracted license plate area.

본 발명의 실시 예에 따른 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법 및 시스템은 차량 번호판 인식기에 포함된 카메라를 이용하여 차량을 검출하고 추적함으로써 루프 코일과 같은 하드웨어를 도로에 매립할 필요가 없다는 장점이 있다. A vehicle number recognition method and system using a vehicle detection and tracking technology based on deep learning image recognition according to an embodiment of the present invention detects and tracks a vehicle using a camera included in the vehicle license plate recognizer, thereby turning hardware such as a loop coil into a road. It has the advantage that it does not need to be buried in the

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 출구 무인 정산 시스템의 블록도를 나타낸다.
도 2는 본 발명의 다른 실시 예에 따른 사전 무인 정산 시스템의 블록도를 나타낸다.
도 3은 본 발명의 또 다른 실시 예에 따른 유인 정산 시스템의 블록도를 나타낸다.
도 4는 본 발명의 또 다른 실시 예에 따른 출입 통제 시스템의 블록도를 나타낸다.
도 5는 도 1 내지 도 4에 도시된 시스템이 통합된 통합 주차 관리 시스템의 블록도를 나타낸다.
도 6은 도 1 내지 도 5 중 어느 하나의 도면에 도시된 차량 번호 인식기의 내부 블록도를 나타낸다.
도 7은 도 1에 도시된 시스템에서 차량의 주차장 진입 동작을 설명하기 위한 흐름도를 나타낸다.
도 8은 도 1에 도시된 시스템에서 차량의 주차장 진출 동작을 설명하기 위한 흐름도를 나타낸다.
도 9는 도 6에 도시된 차량 번호 인식기에 의해 촬영된 복수의 이미지 프레임들을 나타낸다.
도 10은 경계 박스의 위치 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들에서의 복수의 경계 박스들을 나타낸다.
도 11은 경계 박스의 사이즈 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다.
도 12는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작을 설명하기 위한 개념도를 나타낸다.
도 13은 도 12에서 설명된 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다.
도 14는 본 발명의 실시 예에 따른 차량 감지를 위한 하드웨어 센서를 도로에 매립할 필요가 없는 차량 추적 동작을 설명하기 위한 흐름도를 나타낸다. In order to more fully understand the drawings recited in the Detailed Description, a detailed description of each drawing is provided.
1 shows a block diagram of an exit unattended settlement system according to an embodiment of the present invention.
2 is a block diagram of a pre-unattended settlement system according to another embodiment of the present invention.
3 is a block diagram of a manned settlement system according to another embodiment of the present invention.
4 is a block diagram of an access control system according to another embodiment of the present invention.
5 is a block diagram of an integrated parking management system in which the systems shown in FIGS. 1 to 4 are integrated.
6 shows an internal block diagram of the vehicle number recognizer shown in any one of FIGS. 1 to 5;
7 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 .
FIG. 8 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 .
9 shows a plurality of image frames photographed by the vehicle number recognizer shown in FIG.
FIG. 10 illustrates a plurality of bounding boxes in the plurality of image frames shown in FIG. 9 in order to explain an operation of estimating the position of the bounding box.
FIG. 11 illustrates a portion of a plurality of image frames shown in FIG. 9 to describe an operation of estimating the size of a bounding box.
12 is a conceptual diagram illustrating a similarity calculation operation between a bounding box generated in the (t+1)-th image frame and an estimated bounding box.
FIG. 13 is one of the plurality of image frames shown in FIG. 9 to explain an operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity described in FIG. 12 . represents some
14 is a flowchart illustrating a vehicle tracking operation that does not require embedding a hardware sensor for vehicle detection in a road according to an embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only exemplified for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention may have various changes and may have various forms, the embodiments will be illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one element from another element, for example, without departing from the scope of the present invention, a first element may be called a second element, and similarly The second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않은 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle. Other expressions describing the relationship between elements, such as "between" and "immediately between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다." 또는 "가지다." 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. As used herein, "includes." Or "have." The term etc. is intended to designate that there is a described feature, number, step, action, component, part, or combination thereof, but one or more other features or number, step, action, component, part, or combination thereof. It should be understood that it does not preclude the possibility of the existence or addition of one.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 출구 무인 정산 시스템의 블록도를 나타낸다. 1 shows a block diagram of an exit unattended settlement system according to an embodiment of the present invention.

도 1을 참고하면, 출구 무인 정산 시스템(100)은 차량이 주차를 위해 주차장으로 진입하거나, 차량이 주차장에서 진출하는 사람에 의해 운영되지 않는 주차 관리 시스템이다. 출구 무인 정산 시스템(100)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출하여 추적하여 차량 번호를 인식할 수 있는 시스템이다. Referring to FIG. 1 , the exit unmanned settlement system 100 is a parking management system that is not operated by a vehicle entering a parking lot for parking, or a vehicle entering a parking lot. The unmanned exit settlement system 100 is a system capable of recognizing a vehicle number by detecting and tracking a vehicle without using a loop coil and a hardware sensor.

출구 무인 정산 시스템(100)은 제1차단기(10), 제1차량 번호 인식기(20), 및 제2차량 번호 인식기(30)를 포함한다. 실시 예에 따라 출구 무인 정산 시스템(100)은 제2차단기(11), 경차 판별 센서(40), 4면 촬영 카메라(50), 제3차량 번호 인식기(60), 출구 무인 요금 정산기(70), 또는 출차 주의등(80)을 더 포함할 수 있다. 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)은 무선, 또는 유선으로 네트워크로 연결된다. The exit unmanned settlement system 100 includes a first breaker 10 , a first vehicle number recognizer 20 , and a second vehicle number recognizer 30 . According to an embodiment, the unmanned exit settlement system 100 includes a second circuit breaker 11 , a light vehicle discrimination sensor 40 , a four-sided camera 50 , a third vehicle number recognizer 60 , and an exit unmanned fare settlement machine 70 . , or may further include an exit warning light 80 . Each of the components 10, 11, 20, 30, 40, 50, 60, 70, 80 included in the exit unmanned settlement system 100 is connected to a network by wireless or wired.

제1차단기(10)는 차량이 허가 없이 주차장으로 진입하는 것을 방지하는데 이용된다. 제2차단기(11)는 차량이 허가 없이 주차장에서 진출하는 것을 방지하는데 이용된다. The first circuit breaker 10 is used to prevent the vehicle from entering the parking lot without permission. The second circuit breaker 11 is used to prevent the vehicle from entering the parking lot without permission.

제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)는 차량을 검출하고, 차량을 추적하여, 차량이 임의의 위치에 도달할 때, 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하고, 인식된 차량의 번호를 네트워크를 통해 주차 관제 서버(미도시)로 전송한다. 제1차량 번호 인식기(20)는 진입하는 차량을 검출하고, 차량의 추적하여, 상기 차량이 임의의 위치에 도달할 때, 차량의 전면의 차량 번호판을 촬영한다. 제2차량 번호 인식기(30)는 진입하는 차량을 검출하고, 차량이 임의의 위치에 도달할 때, 차량의 후면의 차량의 번호판을 촬영한다. 제3차량 번호 인식기(60)는 진출하는 차량을 검출하고, 차량이 임의의 위치에 도달할 때, 차량의 전면의 차량 번호판을 촬영한다. 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)는 종래의 차량 번호 인식기와 달리 루프 코일로부터 차량의 촬영을 위한 트리거 신호를 수신하지 않고, 스스로 차량을 검출한다는 점이다. 즉, 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)는 차량을 연속해서 촬영하고, 촬영된 영상들을 분석하여 영상들에서 차량을 검출하고, 검출된 차량을 추적하여 차량의 번호판을 인식한다. 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)의 자세한 구성 및 동작에 대해서는 도 6에서 상세하게 설명될 것이다. The first vehicle number recognizer 20, the second vehicle number recognizer 30, or the third vehicle number recognizer 60 detects the vehicle, tracks the vehicle, and when the vehicle arrives at an arbitrary location, the vehicle's The license plate is photographed, and the license plate of the vehicle is recognized from the photographed vehicle license plate image, and the recognized vehicle number is transmitted to the parking control server (not shown) through the network. The first license plate recognizer 20 detects an entering vehicle, tracks the vehicle, and when the vehicle arrives at an arbitrary location, the vehicle license plate on the front side of the vehicle is photographed. The second license plate recognizer 30 detects an entering vehicle, and when the vehicle arrives at an arbitrary location, it shoots the license plate of the vehicle at the rear of the vehicle. The third license plate recognizer 60 detects an advancing vehicle, and when the vehicle arrives at an arbitrary location, the vehicle license plate on the front of the vehicle is photographed. The first vehicle number recognizer 20, the second vehicle number recognizer 30, or the third vehicle number recognizer 60 does not receive a trigger signal for photographing the vehicle from the loop coil, unlike the conventional vehicle number recognizer, It detects the vehicle itself. That is, the first vehicle number recognizer 20, the second vehicle number recognizer 30, or the third vehicle number recognizer 60 continuously shoots the vehicle, analyzes the captured images to detect the vehicle from the images, and , to recognize the license plate of the vehicle by tracking the detected vehicle. The detailed configuration and operation of the first vehicle number recognizer 20 , the second vehicle number recognizer 30 , or the third vehicle number recognizer 60 will be described in detail with reference to FIG. 6 .

경차 판별 센서(40)는 빛을 쏘아 차량이 경차인지 여부를 판단한다. 경차 판별 센서(40)는 레이저 스캐너로 구현될 수 있다. The light vehicle discrimination sensor 40 determines whether the vehicle is a light vehicle by emitting light. The light vehicle discrimination sensor 40 may be implemented as a laser scanner.

4면 촬영 카메라(50)는 차량의 4면을 촬영할 수 있다. 4면 촬영 카메라(50)는 촬영된 차량의 4면의 이미지를 처리하는 프로세서(미도시)와, 처리된 이미지를 저장하는 메모리(미도시)를 더 포함할 수 있다. 실시 예에 따라 상기 프로세서와 상기 메모리는 NVR(Network Video Network)로 구현될 수 있다. The four-sided photographing camera 50 may photograph four surfaces of the vehicle. The four-sided photographing camera 50 may further include a processor (not shown) for processing images of four surfaces of the photographed vehicle, and a memory (not shown) for storing the processed images. According to an embodiment, the processor and the memory may be implemented as a network video network (NVR).

출구 무인 요금 정산기(70)는 네트워크를 통해 상기 주차 관제 서버로부터 차량의 주차 요금을 수신한다. The unmanned exit toll payment machine 70 receives the parking fee of the vehicle from the parking control server through the network.

출차 주의등(80)은 차량이 출차할 때, 출차 중임이 표시된다. When the vehicle exits the vehicle, the exit warning light 80 is displayed.

도 2는 본 발명의 다른 실시 예에 따른 사전 무인 정산 시스템의 블록도를 나타낸다. 2 is a block diagram of a pre-unattended settlement system according to another embodiment of the present invention.

도 2를 참고하면, 사전 무인 정산 시스템(110)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 차량이 출차할 때, 차량의 운전자가 출구 무인 요금 정산기(70)에서 주차 요금을 카드, 또는 현금으로 계산하지만, 사전 무인 정산 시스템(110)은 차량의 운전자가 출차하기 전에 외부에 설치된 별도의 무인 요금 정산기(79)에서 미리 주차 요금을 카드, 또는 현금으로 계산한다는 점에서 차이가 있다. 사전 무인 정산 시스템(110)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출할 수 있는 시스템이다.Referring to FIG. 2 , the advance unattended settlement system 110 is similar to the exit unattended settlement system 100 shown in FIG. 1 . However, in the unmanned exit settlement system 100 shown in FIG. 1 , when the vehicle exits, the driver of the vehicle calculates the parking fee with a card or cash at the exit unmanned fare settlement machine 70, but the advance unattended settlement system 110 ) is different in that the parking fee is calculated in advance with a card or cash in a separate unmanned fare setter 79 installed outside before the driver of the vehicle leaves the vehicle. The advance unattended settlement system 110 is a system capable of detecting a vehicle without using a loop coil and a hardware sensor.

사전 무인 정산 시스템(110)은 복수의 차단기들(12, 13), 복수의 차량 번호 인식기들(21, 31, 및 61), 경차 판별 센서(41), 4면 촬영 카메라(51), 출구 무인 요금 정산기(71), 또는 출차 주의등(81)을 포함할 수 있다. 실시 예에 따라 사전 무인 정산 시스템(110)은 출구 무인 요금 정산기(71)를 포함하지 않을 수 있으며, 대신에 외부에 설치된 별도의 무인 요금 정산기(79)를 포함할 수 있다. 사전 무인 정산 시스템(110)에 포함된 각 구성요소들(12, 13, 21, 31, 41, 51, 61, 71, 81)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 사전 무인 정산 시스템(110)에 포함된 각 구성요소들(12, 13, 21, 31, 41, 51, 61, 71, 81)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. The advance unattended settlement system 110 is a plurality of blockers 12, 13, a plurality of vehicle number recognizers 21, 31, and 61, a light vehicle discrimination sensor 41, a four-sided photographing camera 51, an exit unmanned It may include a fare adjuster 71, or an exit warning light 81. According to an embodiment, the advance unattended settlement system 110 may not include the exit unattended toll setter 71, but may include a separate unattended toll setter 79 installed outside instead. Each of the components 12, 13, 21, 31, 41, 51, 61, 71, 81 included in the pre-unattended settlement system 110 is connected to a network by wireless or wired. In addition, each of the components 12, 13, 21, 31, 41, 51, 61, 71, 81 included in the advance unattended settlement system 110 is included in the exit unattended settlement system 100 shown in FIG. Since the operation of each of the components 10, 11, 20, 30, 40, 50, 60, 70, 80 is similar, a detailed description thereof will be omitted.

도 3은 본 발명의 또 다른 실시 예에 따른 유인 정산 시스템의 블록도를 나타낸다. 3 is a block diagram of a manned settlement system according to another embodiment of the present invention.

도 3을 참고하면, 유인 정산 시스템(120)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 출구 무인 요금 정산기(70)에서 주차 요금이 계산되나, 유인 정산 시스템(120)은 주차 정산원(75)이 직접 주차 요금을 받는다는 점에서 차이가 있다. 유인 정산 시스템(120)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출할 수 있는 시스템이다.Referring to FIG. 3 , the manned settlement system 120 is similar to the unattended exit settlement system 100 shown in FIG. 1 . However, in the unmanned exit settlement system 100 shown in FIG. 1, the parking fee is calculated by the exit unmanned fare setter 70, but the manned settlement system 120 differs in that the parking settlement agent 75 directly receives the parking fee. there is The manned settlement system 120 is a system capable of detecting a vehicle without using a loop coil and a hardware sensor.

유인 무인 정산 시스템(120)은 복수의 차단기들(14, 15), 복수의 차량 번호 인식기들(22, 32, 및 62), 경차 판별 센서(42), 4면 촬영 카메라(52), 또는 출차 주의등(82)을 포함할 수 있다. 또한, 유인 무인 정산 시스템(120)은 도 1에 도시된 출구 무인 요금 정산기(70) 대신에 주차 정산원(75)이 들어갈 수 있는 주차 관리 부스(72)를 포함한다. 주차 관리 부스(72)는 주차 요금을 직접 계산할 수 있는 PC(74)와 모니터(73)를 포함한다. 실시 예에 따라 상기 PC는 주차 요금을 직접 계산하지 않고, 네트워크를 통해 주차 관제 서버(미도시)로부터 주차 요금을 수신할 수 있다. 주차 정산원(75)은 모니터(73)에 표시된 주차 요금에 따라 차량의 운전자에게 주차 요금을 받을 수 있다. 유인 정산 시스템(120)에 포함된 각 구성요소들(14, 15, 22, 32, 42, 52, 62, 72, 82)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 유인 정산 시스템(120)에 포함된 각 구성요소들(14, 15, 22, 32, 42, 52, 62, 72, 82)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. The manned unmanned settlement system 120 is a plurality of blockers 14, 15, a plurality of vehicle number recognizers 22, 32, and 62, a light vehicle discrimination sensor 42, a four-sided photographing camera 52, or a vehicle exit It may include an attention light 82 . In addition, the manned unmanned settlement system 120 includes a parking management booth 72 into which the parking settlement agent 75 can enter instead of the exit unmanned fare settlement machine 70 shown in FIG. 1 . The parking management booth 72 includes a PC 74 and a monitor 73 that can directly calculate the parking fee. According to an embodiment, the PC may receive a parking fee from a parking control server (not shown) through a network without directly calculating the parking fee. The parking settlement agency 75 may receive a parking fee from the driver of the vehicle according to the parking fee displayed on the monitor 73 . Each of the components 14 , 15 , 22 , 32 , 42 , 52 , 62 , 72 , 82 included in the manned settlement system 120 is wirelessly or wiredly connected to the network. In addition, each of the components 14, 15, 22, 32, 42, 52, 62, 72, 82 included in the manned settlement system 120 is included in the exit unmanned settlement system 100 shown in FIG. Since the operation of each of the components 10, 11, 20, 30, 40, 50, 60, 70, and 80 is similar, a detailed description thereof will be omitted.

도 4는 본 발명의 또 다른 실시 예에 따른 출입 통제 시스템의 블록도를 나타낸다. 4 is a block diagram of an access control system according to another embodiment of the present invention.

도 4를 참고하면, 출입 통제 시스템(130)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 출차할 때, 주차 요금이 발생하나, 출입 통제 시스템(130)은 주차 요금 대신에 적법한 권한을 가진 차량만이 주차장에 진입할 수 있다는 점에서 차이가 있다. 출입 통제 시스템(130)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출할 수 있는 시스템이다. Referring to FIG. 4 , the access control system 130 is similar to the unattended exit settlement system 100 shown in FIG. 1 . However, the exit unmanned settlement system 100 shown in FIG. 1 generates a parking fee when exiting the vehicle, but the access control system 130 allows only vehicles with legal authority to enter the parking lot instead of the parking fee. There is a difference in The access control system 130 is a system capable of detecting a vehicle without using a loop coil and a hardware sensor.

출입 통제 시스템(130)은 복수의 차단기들(16, 17)와 복수의 차량 번호 인식기들(23, 33, 및 63)을 포함할 수 있다. 실시 예에 따라 출입 통제 시스템(130)은 경차 판별 센서(43), 4면 촬영 카메라(53), 또는 출차 주의등(83)을 더 포함할 수 있다. 다만, 실시 예에 따라 출입 통제 시스템(130)은 도 1에 도시된 출구 무인 요금 정산기(70) 대신에 차량이 적법한 권한을 가진 차량인지 판단할 수 있는 단말기(76)를 포함할 수 있다. 차량의 운전자가 적법한 권한을 가졌음을 의미하는 카드 등을 단말기(76)에 다가갈 때, 단말기(76)는 상기 카드가 적법할 경우, 차단기(16, 또는 17)을 열도록 제어할 수 있다. The access control system 130 may include a plurality of blockers 16 and 17 and a plurality of license plate recognizers 23 , 33 , and 63 . According to an embodiment, the access control system 130 may further include a light vehicle discrimination sensor 43 , a four-sided photographing camera 53 , or an exit warning light 83 . However, according to an embodiment, the access control system 130 may include a terminal 76 capable of determining whether the vehicle is a vehicle with legal authority instead of the unmanned exit toll payment machine 70 shown in FIG. 1 . When the driver of the vehicle approaches the terminal 76 with a card or the like indicating that he/she has the legal authority, the terminal 76 may control the circuit breaker 16 or 17 to open if the card is legal.

출입 통제 시스템(130)에 포함된 각 구성요소들(16, 17, 23, 33, 43, 53, 63, 73, 83)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 출입 통제 시스템(130)에 포함된 각 구성요소들(16, 17, 23, 33, 43, 53, 63, 83)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. Each of the components 16 , 17 , 23 , 33 , 43 , 53 , 63 , 73 , and 83 included in the access control system 130 is connected to a network through a wireless or wired network. In addition, each of the components 16, 17, 23, 33, 43, 53, 63, 83 included in the access control system 130 is each component included in the unattended exit settlement system 100 shown in FIG. Since the operations of the elements 10, 11, 20, 30, 40, 50, 60, 70, and 80 are similar, a detailed description thereof will be omitted.

도 5는 도 1 내지 도 4에 도시된 시스템이 통합된 통합 주차 관리 시스템의 블록도를 나타낸다. 5 is a block diagram of an integrated parking management system in which the systems shown in FIGS. 1 to 4 are integrated.

도 1 내지 도 5를 참고하면, 통합 주차 관리 시스템(200)은 복수의 서로 다른 시스템들(예컨대, 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 및 출입 통제 시스템(130))로부터 네트워크를 통해 전송되는 차량의 번호를 통해 주차 요금을 계산하거나, 적법한 권한이 있는지를 판단할 수 있는 서버 시스템(140)을 포함한다. 통합 주차 관리 시스템(200)은 도 1 내지 도 3에 도시된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)을 포함할 수 있다. 실시 예에 따라 통합 주차 관리 시스템(200)은 서버 시스템(140)과, 도 1 내지 도 3에 도시된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 및 출입 통제 시스템(130) 중 어느 하나를 포함할 수 있다. 도 5에서는 통합 주차 관리 시스템(200)은 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)을 포함하는 것으로 도시되었나, 실시 예에 따라 통합 주차 관리 시스템(200)은 더 많은 시스템들을 포함할 수 있다. 예컨대, 통합 주차 관리 시스템(200)은 서로 다른 지역에 위치한 다수의 출구 무인 정산 시스템들을 포함하거나, 서로 다른 지역에 위치에 위치한 다수의 사전 무인 정산 시스템들을 포함하거나, 이들을 모두 포함할 수 있다. 1 to 5 , the integrated parking management system 200 includes a plurality of different systems (eg, the exit unmanned settlement system 100 , the advance unattended settlement system 110 , the manned settlement system 120 , and and a server system 140 capable of calculating a parking fee through the vehicle number transmitted from the access control system 130 through the network, or determining whether there is a legitimate authority. The integrated parking management system 200 includes an exit unmanned settlement system 100, a pre-unattended settlement system 110, a manned settlement system 120, an access control system 130, and a server system ( 140) may be included. According to an embodiment, the integrated parking management system 200 includes the server system 140, the exit unmanned settlement system 100, the advance unattended settlement system 110, the manned settlement system 120 shown in FIGS. and an access control system 130 . In FIG. 5 , the integrated parking management system 200 includes an exit unmanned settlement system 100 , a pre-unattended settlement system 110 , a manned settlement system 120 , an access control system 130 , and a server system 140 . Although shown as being, the integrated parking management system 200 according to an embodiment may include more systems. For example, the integrated parking management system 200 may include a plurality of unmanned exit settlement systems located in different areas, a plurality of pre-unmanned settlement systems located in different areas, or include all of them.

통합 주차 관리 시스템(200)에 포함된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)은 네트워크(201)를 통해 서로 통신이 가능하다. 네트워크(201)는 VPN(Virtual Private Network)일 수 있다. 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140) 각각은 서로 통신을 위해 VPN 단말기(201, 203, 205, 207, 및 209)를 이용할 수 있다. VPN 단말기(201, 203, 205, 207, 또는 209)는 각 시스템이 네트워크를 통해 서로 연결되는데 이용된다. The unmanned exit settlement system 100, the pre-unattended settlement system 110, the manned settlement system 120, the access control system 130, and the server system 140 included in the integrated parking management system 200 are connected to the network 201 ) to communicate with each other. The network 201 may be a Virtual Private Network (VPN). The exit unattended settlement system 100, the pre-unattended settlement system 110, the manned settlement system 120, the access control system 130, and the server system 140 each communicate with the VPN terminals 201, 203, 205 for communication with each other. , 207, and 209) can be used. The VPN terminals 201, 203, 205, 207, or 209 are used to connect each system to each other through a network.

서버 시스템(140)은 제5VPN 단말기(209), 스위치(141), 주차 관제 서버(143), 데이터베이스(145), 웹할인 서버(147), 복수의 클라이언트들(151-1~151-N, N은 자연수)을 포함한다.The server system 140 includes a fifth VPN terminal 209, a switch 141, a parking control server 143, a database 145, a web discount server 147, a plurality of clients 151-1 to 151-N, N is a natural number).

제5VPN 단말기(209)는 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 또는 출입 통제 시스템(130)의 VPN 단말기(201,203, 205, 또는 207)로부터 차량의 입구 위치 정보, 차량의 입차 정보, 및 차량 번호에 관한 정보를 수신한다. 제5VPN 단말기(209)는 스위치(141)를 통해 주차 관제 서버(143)로 상기 차량의 입구 위치 정보, 상기 차량의 입차 정보, 및 상기 차량 번호에 관한 정보를 전달한다. The fifth VPN terminal 209 is a vehicle from the VPN terminal 201 , 203 , 205 , or 207 of the exit unattended settlement system 100 , the pre-unattended settlement system 110 , the manned settlement system 120 , or the access control system 130 . Receives information about the entrance location information of the vehicle, entry information of the vehicle, and information about the vehicle number. The fifth VPN terminal 209 transmits information about the entrance location of the vehicle, entry information of the vehicle, and information about the vehicle number to the parking control server 143 through the switch 141 .

데이터베이스(145)는 상기 차량의 입구 위치 정보, 상기 차량의 입차 정보, 및 상기 차량 번호에 관한 정보를 저장할 수 있다. The database 145 may store information about the entrance location of the vehicle, entry information of the vehicle, and information about the vehicle number.

웹할인 서버(147)는 차량의 정보에 따라 주차 요금의 할인을 결정한다. 예컨대, 웹할인 서버(147)는 차량이 출차하기 전 할인 정보를 미리 등록하여, 상기 차량이 출차시 할인된 주차 요금을 적용한다. The web discount server 147 determines the discount of the parking fee according to the vehicle information. For example, the web discount server 147 pre-registers discount information before the vehicle exits, and applies the discounted parking fee when the vehicle exits.

실시 예에 따라, 서버 시스템(140)은 비대면 자격확인 서버(149)를 더 포함할 수 있다. 비대면 자격확인 서버(149)는 상기 차량 번호에 관한 정보를 수신하고, 상기 차량이 경차, 친환경차량, 장애인, 또는 국가유공자 등과 같은 법정 할인 대상 차량인지 여부를 결정하기 위해 행정정보공동이용센터 시스템(미도시)에 상기 차량 번호에 관한 정보와, 상기 차량이 법정 할인 대상 차량인지 여부를 요청한다. 상기 요청에 따라 비대면 자격확인 서버(149)는 상기 행정정보공동이용센터 시스템으로부터 상기 차량이 법정 할인 대상 차량인지 여부를 나타내는 정보를 수신하고, 상기 차량이 법정 할인 대상 차량에 해당할 때, 상기 차량에 대해 할인된 주차 요금을 적용한다. According to an embodiment, the server system 140 may further include a non-face-to-face qualification verification server 149 . The non-face-to-face qualification verification server 149 receives the information about the vehicle number, and determines whether the vehicle is a vehicle subject to a legal discount, such as a light vehicle, an eco-friendly vehicle, a disabled person, or a person of national merit. (not shown) requests information about the vehicle number and whether the vehicle is a vehicle subject to a legal discount. In response to the request, the non-face-to-face qualification verification server 149 receives information indicating whether the vehicle is a vehicle subject to a legal discount from the administrative information common use center system, and when the vehicle corresponds to a vehicle subject to a legal discount, the Discounted parking rates apply for vehicles.

주차 관제 서버(143)는 차량의 주차 요금을 결정하고, 네트워크(201)를 통해 시스템(100, 110, 120, 또는, 130)으로 상기 차량의 주차 요금에 관한 정보를 전송한다. The parking control server 143 determines the parking fee of the vehicle, and transmits information about the parking fee of the vehicle to the system 100 , 110 , 120 , or 130 through the network 201 .

복수의 클라이언트들(151-1~151-N)은 서로 다른 시스템들(100, 110, 120, 및 130)을 실시간으로 모니터링하는데 이용된다. 스위치(141)는 복수의 클라이언트들(151-1~151-N) 중 어느 하나로 시스템(100, 110, 120, 또는 130)을 통해 출력되는 정보(예컨대, 실시간 주차장 화면 정보)를 전송하는데 이용될 수 있다. The plurality of clients 151-1 to 151-N are used to monitor different systems 100 , 110 , 120 , and 130 in real time. The switch 141 may be used to transmit information output through the system 100, 110, 120, or 130 (eg, real-time parking lot screen information) to any one of the plurality of clients 151-1 to 151-N. can

도 6은 도 1 내지 도 5 중 어느 하나의 도면에 도시된 차량 번호 인식기의 내부 블록도를 나타낸다. 6 shows an internal block diagram of the vehicle number recognizer shown in any one of FIGS. 1 to 5;

도 6을 참고하면, 차량 번호 인식기(300)는 차량이 주차장으로 진입하거나, 차량이 주차장에서 출차할 때, 차량의 번호를 인식하는데 이용된다. 도 1 내지 도 5에서 도시된 차량 번호 인식기들의 구조와 동작은 도 6에 도시된 차량 번호 인식기(300)의 구조와 동작이 같다. 따라서 대표적으로 도 6에 도시된 차량 번호 인식기(300)를 설명한다. Referring to FIG. 6 , the vehicle number recognizer 300 is used to recognize the number of the vehicle when the vehicle enters the parking lot or when the vehicle leaves the parking lot. The structure and operation of the vehicle number recognizers shown in FIGS. 1 to 5 are the same as the structure and operation of the vehicle number recognizer 300 illustrated in FIG. 6 . Therefore, the vehicle number recognizer 300 shown in FIG. 6 will be representatively described.

차량 번호 인식기(300)는 프로세서(310), 메모리(320), 카메라(330), 및 통신 모듈(340)을 포함한다. 프로세서(310)는 메모리(320)에 저장된 차량 추적 방법에 관한 명령들을 실행한다. The vehicle number recognizer 300 includes a processor 310 , a memory 320 , a camera 330 , and a communication module 340 . The processor 310 executes instructions related to a vehicle tracking method stored in the memory 320 .

카메라(330)는 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하고, 생성된 복수의 이미지 프레임들을 프로세서(310)로 전달한다. 프로세서(310)는 생성된 복수의 이미지 프레임들을 분석하여 차량을 추적하고, 추적된 차량이 주차장의 입구, 또는 출구의 특정 위치에 차량이 도달한 것을 인지한다. 구체적인 차량 추적 방법은 뒤에서 자세히 설명될 것이다. 이하, 차량 번호 인식기(300)의 동작은 프로세서(310)의 동작으로 이해될 수 있다. The camera 330 continuously captures a photographing area to generate a plurality of image frames, and transmits the generated image frames to the processor 310 . The processor 310 analyzes the plurality of generated image frames to track the vehicle, and recognizes that the tracked vehicle arrives at a specific location of the entrance or exit of the parking lot. A specific vehicle tracking method will be described in detail later. Hereinafter, the operation of the vehicle number recognizer 300 may be understood as the operation of the processor 310 .

통신 모듈(340)은 주차 관제 서버(143)와 네트워크를 통해 통신할 수 있다. The communication module 340 may communicate with the parking control server 143 through a network.

도 7은 도 1에 도시된 시스템에서 차량의 주차장 진입 동작을 설명하기 위한 흐름도를 나타낸다. 도 7에서는 도 1에 도시된 출구 무인 정산 시스템을 예를 들어 설명하였으나, 도 7에서 설명하는 차량의 주차장 진입 동작은 도 2 내지 도 4에 도시된 사전 무인 정산 시스템, 유인 정산 시스템, 및 출입 통제 시스템에서도 동일, 또는 유사하게 적용될 수 있다. 7 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 . In FIG. 7, the unmanned exit settlement system shown in FIG. 1 has been described as an example, but the operation of entering the parking lot of the vehicle described in FIG. 7 is the pre-unmanned settlement system, manned settlement system, and access control shown in FIGS. 2 to 4 The same or similar application may be applied to the system.

도 1, 도 5 및 도 7을 참고하면, 차량이 주차장 입구에 접근할 때, 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 차량을 촬영하여 복수의 이미지 프레임들을 생성한다. 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 생성된 복수의 이미지 프레임들을 분석하여 차량을 추적하고, 추적된 차량이 주차장의 입구의 특정 위치에 차량이 도달한 것을 인지한다. 즉, 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 차량의 진입을 감지한다(S1001). 1, 5 and 7, when the vehicle approaches the entrance to the parking lot, the first license plate number recognizer 20, or the second license plate number recognizer 30 creates a plurality of image frames by photographing the vehicle. do. The first vehicle number recognizer 20, or the second vehicle number recognizer 30 analyzes a plurality of generated image frames to track the vehicle, and recognizes that the tracked vehicle arrives at a specific location of the entrance of the parking lot do. That is, the first vehicle number recognizer 20, or the second vehicle number recognizer 30 detects the entrance of the vehicle (S1001).

차량의 진입이 감지될 때, 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 생성된 복수의 이미지 프레임들 중 어느 하나에서 차량의 번호판을 인식한다(S1002). When the vehicle's entry is detected, the first vehicle number recognizer 20, or the second vehicle number recognizer 30 recognizes the license plate of the vehicle from any one of the generated plurality of image frames (S1002).

제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)에서 인식된 차량의 번호를 네트워크(201)를 통해 주차 관제 서버(143)로 전송한다(S1003). The number of the vehicle recognized by the first vehicle number recognizer 20 or the second vehicle number recognizer 30 is transmitted to the parking control server 143 through the network 201 (S1003).

제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 차량의 번호를 인식하고, 제1차단기(10)를 열도록 제1차단기(10)를 제어한다(S1004). 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)의 제어에 따라 제1차단기(10)가 열리고, 차량이 진입한다. The first vehicle number recognizer 20, or the second vehicle number recognizer 30 recognizes the number of the vehicle, and controls the first circuit breaker 10 to open the first circuit breaker 10 (S1004). The first circuit breaker 10 is opened under the control of the first vehicle number recognizer 20 or the second vehicle number recognizer 30, and the vehicle enters.

도 8은 도 1에 도시된 시스템에서 차량의 주차장 진출 동작을 설명하기 위한 흐름도를 나타낸다. 도 8에서 설명하는 차량의 주차장 진출 동작은 도 2 내지 도 4에 도시된 사전 무인 정산 시스템, 유인 정산 시스템, 및 출입 통제 시스템에서도 동일, 또는 유사하게 적용될 수 있다. FIG. 8 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 . The operation of entering the parking lot of the vehicle described in FIG. 8 may be the same or similarly applied to the advance unmanned settlement system, the manned settlement system, and the access control system shown in FIGS. 2 to 4 .

도 1, 도 5, 및 도 8을 참고하면, 차량이 주차장 출구로 진입할 때, 제3차량 번호 인식기(60)는 차량을 촬영하여 복수의 이미지 프레임들을 생성한다. 제3차량 번호 인식기(60)는 생성된 복수의 이미지 프레임들을 분석하여 차량을 추적하고, 추적된 차량이 주차장의 출구의 특정 위치에 차량이 도달한 것을 인지한다. 즉, 제3차량 번호 인식기(60)는 차량의 진출을 감지한다(S2001). 1, 5, and 8, when the vehicle enters the parking lot exit, the third license plate number recognizer 60 generates a plurality of image frames by photographing the vehicle. The third vehicle number recognizer 60 analyzes the plurality of generated image frames to track the vehicle, and recognizes that the tracked vehicle arrives at a specific location of the exit of the parking lot. That is, the third vehicle number recognizer 60 detects the advance of the vehicle (S2001).

차량의 진출이 감지될 때, 제3차량 번호 인식기(60)는 생성된 복수의 이미지 프레임들 중 어느 하나에서 차량의 번호판을 인식한다(S2002).When the advance of the vehicle is detected, the third vehicle number recognizer 60 recognizes the license plate of the vehicle from any one of a plurality of generated image frames (S2002).

제3차량 번호 인식기(60)에서 인식된 차량의 번호를 네트워크(201)를 통해 주차 관제 서버(143)로 전송한다(S2003).The third vehicle number recognizer 60 transmits the number of the vehicle recognized through the network 201 to the parking control server 143 (S2003).

주차 관제 서버(143)는 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)에서 전송된 차량의 번호과, 제3차량 번호 인식기(60)에서 전송된 차량의 번호를 매칭하고, 차량의 정차 시간에 따라 주차 요금을 계산한다(S2004). 이때, 웹할인 서버(147)는 차량의 정보에 따라 주차 요금의 할인을 결정할 수 있다. 웹할인 서버(147)에서 결정된 할인에 따라 주차 관제 서버(143)는 최종 주차 요금을 계산할 수 있다. The parking control server 143 matches the number of the vehicle transmitted from the first vehicle number recognizer 20, or the second vehicle number recognizer 30, and the number of the vehicle transmitted from the third vehicle number recognizer 60, A parking fee is calculated according to the stopping time of the vehicle (S2004). In this case, the web discount server 147 may determine the discount of the parking fee according to the vehicle information. According to the discount determined by the web discount server 147, the parking control server 143 may calculate the final parking fee.

주차 관제 서버(143)는 계산된 주차 요금을 출구 무인 요금 정산기(70)로 전송한다(S2005).The parking control server 143 transmits the calculated parking fee to the unmanned exit fee setter 70 (S2005).

출구 무인 요금 정산기(70)는 디스플레이(미도시)를 포함한다. 상기 디스플레이에는 주차 요금이 표시되고, 출구 무인 요금 정산기(70)는 차량의 운전자가 카드, 또는 현금으로 주차 요금을 정산할 때까지 대기한다(S2006).The unmanned exit toll payment machine 70 includes a display (not shown). The parking fee is displayed on the display, and the unmanned exit fee calculator 70 waits until the driver of the vehicle pays the parking fee with a card or cash (S2006).

차량의 운전자가 주차 요금을 정산하면, 출구 무인 요금 정산기(70)는 주차 관제 서버(143)로 정산이 처리되었음을 의미하는 이벤트 신호를 전송한다(S2007). When the driver of the vehicle settles the parking fee, the exit unmanned fare adjuster 70 transmits an event signal indicating that the settlement has been processed to the parking control server 143 (S2007).

주차 요금이 정산된 후, 출구 무인 요금 정산기(70)는 제2차단기(11)를 열도록 제2차단기(11)를 제어한다(S2008). 출구 무인 요금 정산기(70)의 제어에 따라 제2차단기(11)가 열리고, 차량이 출차한다. After the parking fee is settled, the exit unmanned fare setter 70 controls the second breaker 11 to open the second breaker 11 (S2008). The second circuit breaker 11 is opened under the control of the exit unmanned fare settlement machine 70, and the vehicle exits the vehicle.

이하, 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)에서 생성된 복수의 이미지 프레임들을 분석하여, 차량을 추적하는 구체적인 방법에 대해 설명된다. Hereinafter, a specific method of tracking a vehicle by analyzing a plurality of image frames generated by the first vehicle number recognizer 20, the second vehicle number recognizer 30, or the third vehicle number recognizer 60 will be described. .

도 9는 도 6에 도시된 차량 번호 인식기에 의해 촬영된 복수의 이미지 프레임들을 나타낸다. 9 shows a plurality of image frames photographed by the vehicle number recognizer shown in FIG.

도 6과 도 9를 참고하면, 차량 번호판 인식기(300)에 포함된 카메라(330)가 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성한다. 도 9에서 차량 번호 인식기(300)에 의해 촬영된 복수의 이미지 프레임들이 도시된다. 도 9에 도시된 숫자들은 이미지 프레임들의 순서를 나타낸다. 예컨대, 302 이미지 프레임은 가장 먼저 촬영된 이미지 프레임이다. 356 이미지 프레임은 가장 늦게 촬영된 이미지 프레임이다. 6 and 9 , the camera 330 included in the license plate recognizer 300 continuously captures a photographing area to generate a plurality of image frames. In FIG. 9 , a plurality of image frames photographed by the vehicle number recognizer 300 are shown. The numbers shown in FIG. 9 indicate the order of image frames. For example, the 302 image frame is the first image frame captured. The 356 image frame is the latest image frame taken.

차량 번호판 인식기(300)는 도 1 내지 도 5에 도시된 시스템의 특정 위치에 고정되어 설치된다. 상기 촬영 영역은 차량 번호판 인식기(300)가 설치된 위치에서 촬영이 가능한 지역을 의미한다. 예컨대, 도 9에 도시된 이미지 프레임들에서 영역이 촬영 영역일 수 있다. The vehicle license plate recognizer 300 is fixedly installed at a specific position in the system shown in FIGS. 1 to 5 . The photographing area means an area where photographing is possible at a location where the license plate recognizer 300 is installed. For example, in the image frames illustrated in FIG. 9 , an area may be a photographing area.

차량 번호판 인식기(300)는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 상기 차량을 검출하고 상기 차량이 포함된 경계 박스(BX)를 생성한다. The license plate recognizer 300 detects the vehicle in the plurality of image frames using a deep learning algorithm and generates a bounding box BX including the vehicle.

예컨대, 상기 딥러닝 알고리즘은 YOLOv3(You Only Look Once, Version 3)일 수 있다. 상기 차량의 검출은 상기 복수의 이미지 프레임들에서 객체인 차량을 찾는 것을 의미한다. 상기 경계 박스(bounding box; BX)는 차량인 객체의 위치를 표현하기 위한 직사각형을 의미한다. 상기 경계 박스(BX) 안에 차량이 포함된다. 도 9에 도시된 상기 복수의 이미지 프레임들에서 경계 박스(BX)는 점선의 직사각형으로 표현된다. 도 9에 도시된 상기 복수의 이미지 프레임들에서 경계 박스(BX)는 상기 복수의 이미지 프레임들마다 위치와 사이즈가 다르다. 예컨대, 302 이미지 프레임에서 경계 박스(BX)는 오른쪽 위에 위치하며 사이즈는 상대적으로 작다. 반면, 342 이미지 프레임에서 경계 박스(BX)는 이미지 프레임의 가운데 위치하며, 사이즈는 상대적으로 크다. 도 9에서 "BX"는 326 이미지 프레임의 경계 박스에만 표시되었으나, 나머지 이미지 프레임들에서 경계 박스도 "BX"로 표현될 수 있다. For example, the deep learning algorithm may be YOLOv3 (You Only Look Once, Version 3). The detection of the vehicle means finding a vehicle that is an object in the plurality of image frames. The bounding box (BX) means a rectangle for expressing the location of an object that is a vehicle. A vehicle is included in the bounding box BX. In the plurality of image frames illustrated in FIG. 9 , the bounding box BX is represented by a dotted rectangle. In the plurality of image frames illustrated in FIG. 9 , the position and size of the bounding box BX are different for each of the plurality of image frames. For example, in the 302 image frame, the bounding box BX is located on the upper right and has a relatively small size. On the other hand, in the 342 image frame, the bounding box BX is located in the center of the image frame and has a relatively large size. In FIG. 9, "BX" is displayed only in the bounding box of the 326 image frame, but the bounding box may also be expressed as "BX" in the remaining image frames.

상기 차량의 추적이란 상기 복수의 이미지 프레임들 각각에서 검출된 차량이 동일한 차량인지 판단하고, 차량의 진행 방향을 판단하는 것을 의미한다. The tracking of the vehicle means determining whether the vehicle detected in each of the plurality of image frames is the same vehicle and determining the traveling direction of the vehicle.

차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 경계 박스(BX)의 위치와 사이즈를 추정한다. 예컨대, 차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 첫 번째 이미지 프레임에서 네 번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 다섯 번째 이미지 프레임에서 경계 박스(BX)의 위치와 사이즈를 추정한다. 상기 이미지 프레임들은 첫 번째 이미지 프레임, 두 번째 이미지 프레임, 세 번째 이미지 프레임, 및 네 번째 이미지 프레임을 포함한다. 차량 번호판 인식기(300)는 다섯 번째 이미지 프레임을 가지고 있다. 하지만, 차량 번호판 인식기(300)는 다섯 번째 이미지 프레임을 이용하지 않고, 상기 첫 번째 이미지 프레임, 상기 두 번째 이미지 프레임, 상기 세 번째 이미지 프레임, 및 상기 네 번째 이미지 프레임을 이용하여 다섯 번째 이미지 프레임에서 경계 박스(BX)의 위치와 사이즈를 추정한다.The vehicle license plate recognizer 300 uses image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames using the (t+1)-th image Estimate the position and size of the bounding box (BX) in the frame. For example, the license plate recognizer 300 estimates the position and size of the bounding box BX in the fifth image frame using image frames including the first image frame to the fourth image frame among the plurality of image frames. do. The image frames include a first image frame, a second image frame, a third image frame, and a fourth image frame. The license plate recognizer 300 has a fifth image frame. However, the license plate recognizer 300 does not use the fifth image frame, but in the fifth image frame using the first image frame, the second image frame, the third image frame, and the fourth image frame. Estimate the position and size of the bounding box BX.

도 10은 경계 박스의 위치 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들에서의 복수의 경계 박스들을 나타낸다. FIG. 10 illustrates a plurality of bounding boxes in the plurality of image frames shown in FIG. 9 in order to explain an operation of estimating the position of the bounding box.

도 6, 도 9, 및 도 10을 포함하면, 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스(BX)의 위치를 추정하는 동작은 구체적으로 아래의 동작들과 같다. 6, 9, and 10, by using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames ( The operation of estimating the position of the bounding box BX in the t+1)-th image frame is specifically the same as the following operations.

차량 번호판 인식기(300)는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 차량의 중심 위치의 위치 변화율을 이용하여 제1가속 파라미터를 계산한다. 상기 차량의 중심 위치란 차량의 번호판 영역 중 특정 위치, 차량의 헤드 램프, 차량의 로고, 또는 차량의 앞바퀴 등 차량의 특정 위치를 의미한다. 상기 차량의 중심 위치는 사용자에 따라 다양하게 설정될 수 있다. 상기 차량의 중심 위치는 상기 경계 박스(BX)의 중심 위치가 된다. 상기 제1가속 파라미터는 상기 차량의 중심 위치의 위치 변화율에 비례하여 변화되는 값이다. The license plate recognizer 300 calculates a first acceleration parameter using the rate of change of the position of the center position of the vehicle in the image frames including the (t-3)-th image frame to the t-th image frame. The central location of the vehicle means a specific location of the vehicle, such as a specific location in the license plate area of the vehicle, a headlamp of the vehicle, a logo of the vehicle, or a front wheel of the vehicle. The central position of the vehicle may be variously set according to a user. The central position of the vehicle becomes the central position of the bounding box BX. The first acceleration parameter is a value that is changed in proportion to a rate of change of the position of the center position of the vehicle.

상기 차량의 중심 위치의 위치 변화율이란 상기 (t-3)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dx_t-2)에 대한, 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dx_t-1)의 비율(dx_t-1/dx_t-2), 또는 상기 (t-3)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dy_t-2)에 대한, 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dy_t-1)의 비율(dy_t-1/dy_t-2)을 의미한다. The rate of change of the position of the center position of the vehicle is the difference (dx _t- ) between the x-coordinate of the center position of the vehicle in the (t-3)-th image frame and the x-coordinate of the center position of the vehicle in the (t-2)-th image frame. ₂ ), the ratio of the difference (dx _t-1 ) between the x-coordinate of the vehicle's center position in the (t-2)-th image frame and the x-coordinate of the vehicle's center position in the (t-1)-th image frame (dx _t-1 /dx _t-2 ), or between the y-coordinate of the vehicle's center position in the (t-3)-th image frame and the y-coordinate of the vehicle's center position in the (t-2)-th image frame For the difference (dy _t-2 ), the difference (dy) between the y-coordinate of the center position of the vehicle in the (t-2)-th image frame and the y-coordinate of the center position of the vehicle in the (t-1)-th image frame _t-1 ) means the ratio (dy _t-1 /dy _t-2 ).

예컨대, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C₄(x,y)) 중 x 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 x 좌표 사이의 차이(dx₅)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 x 좌표 사이의 차이(dx₆)의 비율(dx₆/dx₅)을 의미한다. 또한, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C₄(x,y)) 중 y 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 y 좌표 사이의 차이(dy₅)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 y 좌표 사이의 차이(dy₆)의 비율(dy₆/dy₅)을 의미한다. For example, the rate of change of the position of the center position of the vehicle in FIG. 10 is the x coordinate of the center position C ₄ (x,y) of the vehicle in the fourth image frame IF4 and the center of the vehicle in the fifth image frame IF5 in FIG. 10 . For the difference (dx ₅ ) between the x-coordinates of the position (C ₅ (x,y)), the x-coordinate of the vehicle's center position (C ₅ (x,y)) in the fifth image frame (IF5) and the sixth It means the ratio (dx ₆ /dx ₅ ) of the difference (dx ₆ ) between the x coordinates among the center positions (C ₆ (x,y)) of the vehicle in the image frame (IF6). In addition, the rate of change of the position of the center position of the vehicle in FIG. 10 is the y coordinate of the vehicle center position C ₄ (x,y) in the fourth image frame IF4 and the center of the vehicle in the fifth image frame IF5 in FIG. 10 . For the difference (dy ₅ ) between the y coordinates of the position (C ₅ (x,y)), the y coordinate and the sixth of the vehicle's center position (C ₅ (x,y)) in the fifth image frame (IF5) It means the ratio (dy ₆ /dy ₅ ) of the difference (dy ₆ ) between the y coordinates among the center positions (C ₆ (x,y)) of the vehicle in the image frame (IF6).

또한, 상기 차량의 중심 위치의 위치 변화율이란 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dx_t-1)에 대한, 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 상기 t번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dx_t)의 비율(dx_t/dx_t-1), 또는 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dy_t-1)에 대한, 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 t번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dy_t)의 비율(dy_t/dy_t-1)을 의미한다. In addition, the rate of change of the position of the center position of the vehicle is the difference (dx _t ) between the x-coordinate of the center position of the vehicle in the (t-2)-th image frame and the x-coordinate of the center position of the vehicle in the (t-1)-th image frame. ₋₁ ), the ratio (dx _t _/ dx _t-1 ), or the difference (dy _t-1 ) between the y-coordinate of the vehicle's center position in the (t-2)-th image frame and the y-coordinate of the vehicle's center position in the (t-1)-th image frame ), the ratio (dy _t /dy _t ) of the difference (dy _t ) between the y-coordinate of the vehicle's center position in the (t-1)-th image frame and the y-coordinate of the vehicle's center position in the t-th image frame. _-1 ) means.

예컨대, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 x 좌표 사이의 차이(dx₆)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 x 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C₇(x,y)) 중 x 좌표 사이의 차이(dx₇)의 비율(dx₇/dx₆)을 의미한다. 또한, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 y 좌표 사이의 차이(dy₆)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 y 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C₇(x,y)) 중 y 좌표 사이의 차이(dy₇)의 비율(dy₇/dy₆)을 의미한다. For example, the rate of change of the position of the center position of the vehicle in FIG. 10 is the x-coordinate of the center position C ₅ (x,y) of the vehicle in the fifth image frame IF5 and the center of the vehicle in the sixth image frame IF6 in FIG. The x-coordinate and the seventh of the vehicle's center position (C ₆ (x,y)) in the sixth image frame (IF6), for the difference (dx ₆ ) between the x-coordinates of the position (C ₆ (x,y)) It means the ratio (dx ₇ /dx ₆ ) of the difference (dx ₇ ) between the x coordinates among the center positions (C ₇ (x,y)) of the vehicle in the image frame (IF7). In addition, the rate of change of the position of the center position of the vehicle in FIG. 10 is the y coordinate of the center position C ₅ (x,y) of the vehicle in the fifth image frame IF5 and the center of the vehicle in the sixth image frame IF6 in FIG. The y coordinate and the seventh of the vehicle's center position (C ₆ (x,y)) in the sixth image frame (IF6) for the difference (dy ₆ ) between the y coordinates of the position (C ₆ (x,y)) It means the ratio (dy ₇ /dy ₆ ) of the difference (dy ₇ ) between the y coordinates among the center positions (C ₇ (x,y)) of the vehicle in the image frame (IF7).

제1가속 파라미터는 아래의 수학식들과 같이 계산될 수 있다. The first acceleration parameter may be calculated by the following equations.

[수학식 1][Equation 1]

a_x=p*(d_xt/d_xt-1)+(1-p)*(d_xt-1/d_xt-2)a _x =p*(d _xt /d _xt-1 )+(1-p)*(d _xt-1 /d _xt-2 )

[수학식 2][Equation 2]

a_y=p*(d_yt/d_yt-1)+(1-p)*(d_yt-1/d_yt-2)a _y =p*(d _yt /d _yt-1 )+(1-p)*(d _yt-1 /d _yt-2 )

상기 a_x, 또는 상기 a_y는 제1가속 파라미터를, 상기 p는 0과 1 사이의 숫자를, 상기 (d_xt/d_xt-1), 또는 상기 (d_xt-1/d_xt-2)는 상기 차량의 중심 위치의 위치 변화율을 의미한다. 일반적으로 상기 p는 0.5 이상의 숫자로 설정된다. 예컨대, 상기 p는 0.7일 수 있다. 상기 p가 0.5 이상의 숫자로 설정됨으로써, 최근의 위치 변화율이 더 크게 반영될 수 있다. The a _x , or the a _y is the first acceleration parameter, the p is a number between 0 and 1, the (d _xt /d _xt-1 ), or the (d _xt-1 /d _xt-2 ) denotes a rate of change of the position of the center position of the vehicle. In general, the p is set to a number equal to or greater than 0.5. For example, p may be 0.7. By setting the p to a number greater than or equal to 0.5, the recent rate of change of position may be more largely reflected.

예컨대, 제1가속 파라미터(a_x, 또는 a_y)는 아래의 수학식들과 같이 계산될 수 있다. For example, the first acceleration parameter (a _x , or a _y ) may be calculated as in the following equations.

[수학식 3][Equation 3]

a_x=0.7*(d_x7/d_x6)+(1-0.7)*(d_x6/d_x5)a _x =0.7*(d _x7 /d _x6 )+(1-0.7)*(d _x6 /d _x5 )

[수학식 4][Equation 4]

a_y=0.7*(d_y7/d_y6)+(1-0.7)*(d_y6/d_y5)a _y =0.7*(d _y7 /d _y6 )+(1-0.7)*(d _y6 /d _y5 )

이때, 상기 p는 0.7이며, 상기 (d_x7/d_x6)는 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 x 좌표 사이의 차이(dx₆)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 x 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C₇(x,y)) 중 x 좌표 사이의 차이(dx₇)의 비율(dx₇/dx₆)을 의미한다. 상기 (d_x6/d_x5)는 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C₄(x,y)) 중 x 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 x 좌표 사이의 차이(dx₅)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 x 좌표 사이의 차이(dx₆)의 비율(dx₆/dx₅)을 의미한다. 상기 (d_y7/d_y6)는 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 y 좌표 사이의 차이(dy₆)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 y 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C₇(x,y)) 중 y 좌표 사이의 차이(dy₇)의 비율(dy₇/dy₆)을 의미한다. 상기 (d_y6/d_y5)는 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C₄(x,y)) 중 y 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 y 좌표 사이의 차이(dy₅)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C₅(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C₆(x,y)) 중 y 좌표 사이의 차이(dy₆)의 비율(dy₆/dy₅)을 의미한다. In this case, p is 0.7, and (d _x7 /d _x6 ) is the x coordinate of the vehicle center position (C ₅ (x,y)) in the fifth image frame IF5 and the sixth image frame IF6. The x-coordinate of the vehicle's center position (C ₆ (x,y)) in the sixth image frame (IF6) for the difference (dx ₆ ) between the x-coordinates of the vehicle's center position (C ₆ (x,y)) and the ratio (dx ₇ /dx ₆ ) of the difference (dx ₇ ) between the x coordinates among the center positions (C ₇ (x,y)) of the vehicle in the seventh image frame (IF7). The (d _x6 /d _x5 ) is the x-coordinate of the vehicle's center position (C ₄ (x,y)) in the fourth image frame (IF4) and the vehicle's center position (C ₅ ( the x-coordinate of the vehicle's center position (C ₅ (x,y)) in the fifth image frame (IF5) and the sixth image frame (IF6) for the difference (dx ₅ ) between the x-coordinates in x,y)) It means the ratio (dx ₆ /dx ₅ ) of the difference (dx ₆ ) between the x-coordinates among the center positions (C ₆ (x,y)) of the vehicle. The (d _y7 /d _y6 ) is the y-coordinate of the vehicle's center position (C ₅ (x,y)) in the fifth image frame (IF5) and the vehicle's center position (C ₆ ( The y coordinate of the vehicle's center position (C ₆ (x,y)) in the sixth image frame (IF6) and the seventh image frame (IF7) for the difference (dy ₆ ) between the y coordinates in x,y)) It means the ratio (dy ₇ /dy ₆ ) of the difference (dy ₇ ) between the y coordinates among the center positions (C ₇ (x,y)) of the vehicle in . The (d _y6 /d _y5 ) is the y coordinate of the vehicle's center position (C ₄ (x,y)) in the fourth image frame (IF4) and the vehicle's center position (C ₅ ( the y-coordinate of the vehicle's center position (C ₅ (x,y)) in the fifth image frame (IF5) and the sixth image frame (IF6) for the difference (dy ₅ ) between the y-coordinates in x,y)) It means the ratio (dy ₆ /dy ₅ ) of the difference (dy ₆ ) between the y coordinates among the center positions (C ₆ (x,y)) of the vehicle in .

차량 번호판 인식기(300)는 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치(C_t(x,y)), (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t-1(x,y)), 및 상기 제1가속 파라미터(a_x, 또는 a_y)를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t+1(x,y))를 추정한다. 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t+1(x,y))는 아래의 수학식들과 같이 계산될 수 있다. The license plate recognizer 300 is the center position of the vehicle in the t-th image frame (C _t (x,y)), the center position of the vehicle in the (t-1)-th image frame (C _t-1 (x, y)) and the first acceleration parameter (a _x , or a _y ) to estimate the center position (C _t+1 (x,y)) of the vehicle in the (t+1)-th image frame . The center position (C _t+1 (x,y)) of the vehicle in the (t+1)-th image frame may be calculated by the following equations.

[수학식 5] [Equation 5]

CX_t+1=CX_t+a_x(CX_t-1-CX_t)CX _t+1 =CX _t +a _x (CX _t-1 -CX _t )

[수학식 6][Equation 6]

CY_t+1=CY_t+a_y(CY_t-1-CY_t)CY _t+1 =CY _t +a _y (CY _t-1 -CY _t )

상기 CX_t+1, 상기 CX_t, 및 상기 CX_t-1는상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t+1(x,y))에서 X 좌표, 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치(C_t(x,y))에서 X 좌표, 및 상기 (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t-1(x,y))에서 X 좌표를 의미한다. 상기 a_x는 상기 수학식 1에 의해 계산된 제1가속 파라미터를 의미한다. 상기 CY_t+1, 상기 CY_t, 및 상기 CY_t-1는상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t+1(x,y))에서 Y 좌표, 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치(C_t(x,y))에서 Y 좌표, 및 상기 (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t-1(x,y))에서 Y 좌표를 의미한다. 상기 a_y는 상기 수학식 2에 의해 계산된 제1가속 파라미터를 의미한다. The CX _t+1 , the CX _t , and the CX _t-1 areX coordinate at the center position (C _t+1 (x,y)) of the vehicle in the (t+1)-th image frame, and the center position (C _t (x,y)) of the vehicle in the t-th image frame The X coordinate in , and the (t-1)-th image frame, means the X coordinate at the center position (C _t-1 (x,y)) of the vehicle. The a _x denotes the first acceleration parameter calculated by Equation 1 above. The CY _t+1 , the CY _t , and the CY _t-1 areY coordinate at the center position (C _t+1 (x,y)) of the vehicle in the (t+1)-th image frame, and the center position (C _t (x,y)) of the vehicle in the t-th image frame In the Y coordinate, and the (t-1)-th image frame, it means the Y coordinate at the center position (C _t-1 (x,y)) of the vehicle. The a _y refers to the first acceleration parameter calculated by Equation (2).

예컨대, 여덟 번째 이미지 프레임(IF8)에서 상기 차량의 중심 위치(C₈(x,y))는 일곱 번째 이미지 프레임(IF7)에서 상기 차량의 중심 위치(C₇(x,y)), 여섯 번째 이미지 프레임(IF6)에서 상기 차량의 중심 위치(C₆(x,y)), 및 상기 제1가속 파라미터(a_x, 또는 a_y)를 이용하여 추정된다. 즉, 아래의 수학식들과 같이 계산될 수 있다. For example, the center position C 8 (x,y) of the vehicle in the eighth image frame IF8 is the center position C ₇ (x,y)) of the vehicle in the _seventh image frame IF7, the sixth It is estimated using the center position C ₆ (x,y)) of the vehicle in the image frame IF6 and the first acceleration parameter a _x , or a _y . That is, it can be calculated as in the following equations.

[수학식 7] [Equation 7]

CX₈=CX₇+a_x(CX₆-CX₇)CX ₈ =CX ₇ +a _x (CX ₆ -CX ₇ )

[수학식 8][Equation 8]

CY₈=CY₇+a_y(CY₆-CY₇)CY ₈ =CY ₇ +a _y (CY ₆ -CY ₇ )

상기 CX₈, 상기 CY₈는 여덟 번째 이미지 프레임(IF8)에서 상기 차량의 중심 위치(C₈(x,y))를 나타낸다. 상기 CX₇, 상기 CY₇는 일곱 번째 이미지 프레임(IF7)에서 상기 차량의 중심 위치(C₇(x,y))를 나타낸다. 상기 CX₆, 상기 CY₆는 여섯 번째 이미지 프레임(IF6)에서 상기 차량의 중심 위치(C₆(x,y))를 나타낸다. 상기 a_x와 상기 a_y는 수학식 3과 4에 의해 계산된 제1가속 파라미터를 의미한다. The CX ₈ and CY ₈ indicate the center position (C ₈ (x,y)) of the vehicle in the eighth image frame IF8 . The CX ₇ and the CY ₇ indicate a center position (C ₇ (x,y)) of the vehicle in the seventh image frame IF7 . The CX ₆ and CY ₆ indicate the center position (C ₆ (x,y)) of the vehicle in the sixth image frame IF6 . The a _x and the a _y mean the first acceleration parameters calculated by Equations 3 and 4.

상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(C_t+1(x,y))를 추정함으로써 경계 박스(BX)의 위치가 추정될 수 있다. The position of the bounding box BX may be estimated by estimating the center position (C _t+1 (x,y)) of the vehicle in the (t+1)-th image frame.

도 11은 경계 박스의 사이즈 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다. FIG. 11 illustrates a portion of a plurality of image frames shown in FIG. 9 to describe an operation of estimating the size of a bounding box.

도 6, 도 9, 및 도 11을 포함하면, 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스(BX)의 사이즈를 추정하는 동작은 구체적으로 아래의 동작들과 같다. 6, 9, and 11, using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames ( The operation of estimating the size of the bounding box BX in the t+1)-th image frame is specifically the same as the following operations.

차량 번호판 인식기(300)는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 경계 박스의 사이즈 변화율을 이용하여 제2가속 파라미터를 계산한다. 상기 제2가속 파라미터는 상기 경계 박스의 사이즈 변화율에 비례하는 값이다. The license plate recognizer 300 calculates a second acceleration parameter by using the rate of change in the size of the bounding box in the image frames including the (t-3)-th image frame to the t-th image frame. The second acceleration parameter is a value proportional to a rate of change in the size of the bounding box.

상기 경계 박스의 사이즈 변화율이란 (t-2)번째 이미지 프레임에서 경계 박스의 폭(OW_t-2)에 대한 (t-1)번째 이미지 프레임에서 경계 박스의 폭(OW_t-1)의 비율(OW_t-1/OW_t-2), 또는 상기 (t-2)번째 이미지 프레임에서 경계 박스의 높이(OH_t-2)에 대한 상기 (t-1)번째 이미지 프레임에서 경계 박스의 높이(OH_t-1)의 비율(OH_t-1/OH_t-2)을 의미한다. The rate of change in the size of the bounding box is the ratio of the width (OW _t-1 ) of the bounding box in the (t-1)-th image frame to the width (OW _t-2 ) of the bounding box in the (t-2)-th image frame ( OW _t-1 /OW _t-2 ), or the height (OH) of the bounding box in the (t-1)-th image frame relative to the height (OH _t-2 ) of the bounding box in the (t-2)-th image frame _t-1 ) means the ratio (OH _t-1 /OH _t-2 ).

예컨대, 상기 경계 박스의 사이즈 변화율은 도 11에서 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 폭(OW_t-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OW_t-1)의 비율(OW_t-1/OW_t-2), 또는 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 높이(OH_t-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OH_t-1)의 비율(OH_t-1/OH_t-2)을 의미한다. For example, the rate of change in the size of the bounding box is the width (OW t- ₁ ) of the bounding box in the sixth image frame (IF6) with respect to the width (OW _t-2 ) of the bounding box in the fifth image frame (IF5) in FIG. 11 . is the ratio of (OW _t-1 /OW _t-2 ), or the height of the bounding box (OH t) in the sixth image frame (IF6) to the height (OH _t _-2 ) of the bounding box in the fifth image frame (IF5). _-1 ) means the ratio (OH _t-1 /OH _t-2 ).

또한, 상기 경계 박스의 사이즈 변화율이란 상기 (t-1)번째 이미지 프레임에서 경계 박스의 폭(OW_t-1)에 대한 상기 t번째 이미지 프레임에서 경계 박스의 폭(OW_t)의 비율(OW_t/OW_t-1), 또는 상기 (t-1)번째 이미지 프레임에서 경계 박스의 높이(OH_t-1)에 대한 상기 t번째 이미지 프레임에서 경계 박스의 높이(OH_t)의 비율(OH_t/OH_t-1)을 의미한다. In addition, the rate of change in the size of the bounding box is a ratio (OW _t ) of the width (OW _t ) of the bounding box in the t-th image frame to the width (OW _t-1 ) of the bounding box in the (t-1)-th image frame. /OW _t-1 ), or the ratio of the height (OH _t ) of the bounding box in the t-th image frame to the height (OH _t-1 ) in the (t-1)-th image frame (OH _t / OH _t-1 ).

예컨대, 상기 경계 박스의 사이즈 변화율은 도 11에서 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OW_t-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 폭(OW_t)의 비율(OW_t/OW_t-1), 또는 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OH_t-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 높이(OH_t)의 비율(OH_t/OH_t-1)을 의미한다. For example, the rate of change in the size of the bounding box is the ratio of the width OW _t of the bounding box in the seventh image frame IF7 to the width OW _t-1 of the bounding box in the sixth image frame IF6 in FIG. 11 . (OW _t /OW _t-1 ), or the ratio of the height (OH _t ) of the bounding box in the seventh image frame (IF7) to the height (OH _t-1 ) in the sixth image frame (IF6) ( OH _t /OH _t-1 ).

제2가속 파라미터는 아래의 수학식들과 같이 계산될 수 있다. The second acceleration parameter may be calculated by the following equations.

[수학식 9][Equation 9]

a_w=p*(OW_t/OW_t-1)+(1-p)*(OW_t-1/OW_t-2)a _w =p*(OW _t /OW _t-1 )+(1-p)*(OW _t-1 /OW _t-2 )

[수학식 10][Equation 10]

a_h=p*(OH_t/OH_t-1)+(1-p)*(OH_t-1/OH_t-2)a _h =p*(OH _t /OH _t-1 )+(1-p)*(OH _t-1 /OH _t-2 )

상기 a_w, 또는 상기 a_h는 상기 제2가속 파라미터를, 상기 p는 0과 1 사이의 숫자를, 상기 (OH_t/OH_t-1), 상기 (OW_t-1/OW_t-2)는 상기 경계 박스의 폭의 비율을, 상기 (OH_t/OH_t-1), 또는 상기 (OH_t-1/OH_t-2)는 상기 경계 박스의 높이의 비율을 의미한다. The a _w , or the a _h is the second acceleration parameter, the p is a number between 0 and 1, the (OH _t /OH _t-1 ), the (OW _t-1 /OW _t-2 ) denotes a ratio of the width of the bounding box, and (OH _t /OH _t-1 ) or (OH _t-1 /OH _t-2 ) denotes a ratio of the height of the bounding box.

예컨대, 제2가속 파라미터(a_w, 또는 a_h)는 아래의 수학식들과 같이 계산될 수 있다. For example, the second acceleration parameter (a _w , or a _h ) may be calculated as in the following equations.

[수학식 11][Equation 11]

a_w=0.7*(OW_t/OW_t-1)+(1-0.7)*(OW_t-1/OW_t-2)a _w =0.7*(OW _t /OW _t-1 )+(1-0.7)*(OW _t-1 /OW _t-2 )

[수학식 12][Equation 12]

a_h=0.7*(OH_t/OH_t-1)+(1-0.7)*(OH_t-1/OH_t-2)a _h =0.7*(OH _t /OH _t-1 )+(1-0.7)*(OH _t-1 /OH _t-2 )

이때, 상기 p는 0.7이며, 상기 (OW_t/OW_t-1)는 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OW_t-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 폭(OW_t)의 비율(OW_t/OW_t-1)을, 상기 (OW_t-1/OW_t-2)는 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 폭(OW_t-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OW_t-1)의 비율(OW_t-1/OW_t-2)을, 상기 (OH_t/OH_t-1)는 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OH_t-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 높이(OH_t)의 비율(OH_t/OH_t-1)을, 상기 (OH_t-1/OH_t-2)는 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 높이(OH_t-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OH_t-1)의 비율(OH_t-1/OH_t-2)을 의미한다. In this case, the p is 0.7, and the (OW _t /OW _t-1 ) is the width of the bounding box in the sixth image frame IF6 (OW _t-1 ) of the bounding box in the seventh image frame IF7. The ratio (OW _t /OW _t-1 ) of the width (OW _t ), where (OW _t-1 /OW _t-2 ) is the width (OW _t-2 ) of the bounding box in the fifth image frame (IF5) For the ratio (OW _t-1 /OW _t-2 ) of the width of the bounding box (OW _t-1 ) in the sixth image frame (IF6), (OH _t /OH _t-1 ) is the sixth image frame ( The ratio (OH _t /OH _t-1 ) of the height (OH _t ) of the bounding box in the seventh image frame (IF7) to the height (OH _t-1 ) of the bounding box in IF6) above (OH _t-1 ) /OH _t-2 ) is the ratio (OH _t ) of the height of the bounding box in the sixth image frame (IF6) (OH _t-1 ) to the height of the bounding box in the fifth image frame (IF5) (OH _t-2 ) _-1 /OH _t-2 ).

차량 번호판 인식기(300)는 상기 t번째 이미지 프레임에서 상기 차량의 경계 박스 사이즈와 상기 제2가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈를 추정한다. 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈는 아래의 수학식들과 같이 추정된다. The license plate recognizer 300 estimates the size of the bounding box in the (t+1)-th image frame by using the size of the bounding box of the vehicle in the t-th image frame and the second acceleration parameter. The size of the bounding box in the (t+1)th image frame is estimated by the following equations.

[수학식 13][Equation 13]

OW_t+1=OW_t*a_w OW _t+1 =OW _t *a _w

[수학식 14][Equation 14]

OH_t+1=OH_t*a_h OH _t+1 =OH _t *a _h

상기 OW_t+1, 상기 OH_t+1는 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 폭과 높이를, 상기 OW_t, 상기 OH_t는 상기 t번째 이미지 프레임에서 상기 경계 박스의 폭과 높이를, 상기 a_w, 상기 a_h는 제2가속 파라미터를 의미한다. The OW _t+1 and the OH _t+1 are the width and height of the bounding box in the (t+1)-th image frame, and the OW _t , the OH _t are the widths of the bounding box in the t-th image frame. and height, a _w , and a _h mean a second acceleration parameter.

예컨대, 상기 OW_t+1, 상기 OH_t+1는 여덟 번째 이미지 프레임(IF8)에서 경계 박스의 폭과 높이를 나타낼 수 있다. 상기 OW_t, 상기 OH_t는 일곱 번째 이미지 프레임에서 상기 경계 박스의 폭과 높이를 나타낸다. 상기 a_w, 상기 a_h는 수학식 11과 수학식 12에 의해 계산된 제2가속 파라미터를 나타낸다. For example, the OW _t+1 and the OH _t+1 may indicate the width and height of the bounding box in the eighth image frame IF8. The OW _t and OH _t represent the width and height of the bounding box in the seventh image frame. The a _w and a _h represent the second acceleration parameter calculated by Equations 11 and 12.

도 12는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작을 설명하기 위한 개념도를 나타낸다. 12 is a conceptual diagram illustrating a similarity calculation operation between a bounding box generated in the (t+1)-th image frame and an estimated bounding box.

도 6, 도 9, 및 도 12를 포함하면, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TB) 사이의 유사도를 계산한다. 생성된 경계 박스(DB)란 도 9에서 설명한 딥러닝 알고리즘을 이용하여 (t+1)번째 이미지 프레임에서 생성된 경계 박스를 의미한다. 추정된 경계 박스(TB)란 도 10과 도 11을 통해 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TB)를 의미한다. 6, 9, and 12, the license plate recognizer 300 is estimated from the bounding box DB generated in the (t+1)-th image frame and the (t+1)-th image frame Calculate the similarity between bounding boxes (TB). The generated bounding box DB means a bounding box generated in the (t+1)-th image frame using the deep learning algorithm described with reference to FIG. 9 . The estimated bounding box TB is a (t+1)-th image frame including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame through FIGS. 10 and 11. It means the bounding box (TB) estimated from the image frame.

상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TB)의 유사도(IoU)는 상기 생성된 경계 박스(DB)와 상기 추정된 경계 박스(TB)와 합에 대한 상기 생성된 경계 박스(DB)와 상기 추정된 경계 박스(TB)의 중첩 영역으로 계산된다. The similarity (IoU) between the bounding box DB generated in the (t+1)-th image frame and the bounding box estimated in the (t+1)-th image frame (TB) is the generated bounding box DB and the estimated bounding box TB and an overlap area of the generated bounding box DB and the estimated bounding box TB for the sum.

상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스가 완전히 오버랩될 때, 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TB)의 유사도(IoU)는 1이다. 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스가 완전히 오버랩되지 않을 때, 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TB)의 유사도(IoU)는 0이다. When the bounding box DB generated in the (t+1)th image frame and the bounding box estimated in the (t+1)th image frame completely overlap, the generated bounding box in the (t+1)th image frame The similarity IoU between the bounding box DB and the bounding box TB estimated in the (t+1)-th image frame is 1. When the bounding box DB generated in the (t+1)-th image frame and the bounding box estimated in the (t+1)-th image frame do not completely overlap, it is generated in the (t+1)-th image frame The similarity IoU between the bounding box DB and the bounding box TB estimated in the (t+1)-th image frame is zero.

도 13은 도 12에서 설명된 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다. FIG. 13 is one of the plurality of image frames shown in FIG. 9 to explain an operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity described in FIG. 12 . represents some

도 6, 도 9, 도 12, 및 도 13을 포함하면, 차량 번호판 인식기(300)는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시킨다. 매칭시키는 이유는 상기 생성된 경계 박스에 포함된 차량과 상기 추정된 경계 박스에 포함된 차량이 같은 차량인지 판단하기 위함이다. 즉, 차량을 추적하기 위함이다. 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 동작은 구체적으로 아래의 동작들과 같다. 6, 9, 12, and 13, the license plate recognizer 300 matches the bounding box generated in the (t+1)-th image frame and the estimated bounding box according to the similarity with each other . The reason for matching is to determine whether the vehicle included in the generated bounding box and the vehicle included in the estimated bounding box are the same vehicle. That is, to track the vehicle. The operation of matching the generated bounding box and the estimated bounding box with each other is specifically the same as the following operations.

차량 번호판 인식기(300)는 상기 유사도에 대한 비용 행렬(cost matrix)을 계산한다. 상기 비용 행렬은 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TBXj)의 유사도(IoU)에 따른 값을 엘리먼트로 하는 행렬을 의미한다. The license plate recognizer 300 calculates a cost matrix for the similarity. The cost matrix includes a value according to the similarity (IoU) between the bounding box (DBXi) generated in the (t+1)-th image frame and the bounding box (TBXj) estimated in the (t+1)-th image frame. means a matrix with

상기 비용 행렬에 대한 엘리먼트는 아래의 수학식과 같이 계산될 수 있다. The element for the cost matrix may be calculated as shown in the following equation.

[수학식 15][Equation 15]

C_ij=1-IoU(i, j)C _ij =1-IoU(i, j)

상기 C_ij는 상기 비용 행렬에 대한 엘리먼트를, 상기 IoU는 상기 (t+1)번째 이미지 프레임에서 생성된 i번째 경계 박스(DBXi)와 상기 (t+1)번째 이미지 프레임에서 추정된 j번째 경계 박스(TBXj) 사이의 유사도를 의미한다. 상기 i와 상기 j는 자연수이다. The C _ij denotes an element for the cost matrix, and IoU denotes the i-th bounding box DBXi generated in the (t+1)-th image frame and the j-th boundary estimated in the (t+1)-th image frame. It means the similarity between boxes (TBXj). The i and j are natural numbers.

상기 (t+1)번째 이미지 프레임(IFn)에서 하나의 생성된 경계 박스(DBX1)와 하나의 추정된 경계 박스(TBX1)가 포함될 수 있다. 이때, 도 13에서 생성된 나머지 경계 박스들(DBX2~DBXi)와 추정된 나머지 경계 박스들(TBX2~TBXj)은 없는 것으로 생각하여야 한다. 상기 n은 자연수이다. 상기 (t+1)번째 이미지 프레임(IFn)에서 하나의 생성된 경계 박스(DBX1)와 하나의 추정된 경계 박스(TBX1)가 포함될 때, 상기 비용 행렬은 1개의 엘리먼트를 포함한다. In the (t+1)-th image frame IFn, one generated bounding box DBX1 and one estimated bounding box TBX1 may be included. In this case, it should be considered that the remaining bounding boxes DBX2 to DBXi generated in FIG. 13 and the estimated remaining bounding boxes TBX2 to TBXj are absent. n is a natural number. When one generated bounding box DBX1 and one estimated bounding box TBX1 are included in the (t+1)-th image frame IFn, the cost matrix includes one element.

실시 예에 따라 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함될 수 있다. 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함되는 경우는 여러 대의 차량들이 차량 번호판 인식기(300)에 포함된 카메라(330)의 촬영 영역에 연속해서 나타나는 경우를 의미한다. 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)의 위치와 사이즈와, 여러 개의 추정된 경계 박스들(TBX1~TBXj)의 위치와 사이즈는 다양할 수 있다. According to an embodiment, a plurality of generated bounding boxes DBX1 to DBXi and a plurality of estimated bounding boxes TBX1 to TBXj may be included in the (t+1)-th image frame IFn. In the (t+1)-th image frame IFn, when several generated bounding boxes DBX1 to DBXi and several estimated bounding boxes TBX1 to TBXj are included, several vehicles are It means a case where it continuously appears in the photographing area of the camera 330 included in 300 . The positions and sizes of the plurality of generated bounding boxes DBX1 to DBXi and the positions and sizes of the plurality of estimated bounding boxes TBX1 to TBXj in the (t+1)-th image frame IFn may vary. can

상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함될 때, 상기 비용 행렬에 대한 엘리먼들은 복수 개이다. 이때 상기 비용 행렬은 아래의 수학식과 같이 표현될 수 있다. When several generated bounding boxes DBX1 to DBXi and several estimated bounding boxes TBX1 to TBXj are included in the (t+1)-th image frame IFn, the elements for the cost matrix are plural In this case, the cost matrix may be expressed as the following equation.

[수학식 16] [Equation 16]

상기 C는 비용 행렬을, 상기 C11에서 상기 Cij는 상기 비용 행렬의 엘리먼트들을를 나타낸다. 상기 비용 행렬은 i x j 행렬이다. Wherein C denotes a cost matrix, and in C11, Cij denotes elements of the cost matrix. The cost matrix is an i x j matrix.

상기 상기 비용 행렬의 엘리먼트인 C₁₁은 아래의 수학식과 같이 계산될 수 있다. C ₁₁ , which is an element of the cost matrix, may be calculated as shown in the following equation.

[수학식 17] [Equation 17]

C₁₁=1-IoU(1,1)C ₁₁ =1-IoU(1,1)

상기 C₁₁는 상기 비용 행렬에 대한 엘리먼트를, 상기 IoU는 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(DBX1)와 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 첫 번째 경계 박스(TBX1) 사이의 유사도를 의미한다. 상기 C₁₁는 0에서 1 사이의 값을 가진다. C ₁₁ denotes an element for the cost matrix, and IoU denotes the first bounding box DBX1 generated in the (t+1)-th image frame IFn and the (t+1)-th image frame IFn. It means the similarity between the first bounding boxes (TBX1) estimated in . The C ₁₁ has a value between 0 and 1.

상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(DBX1)와 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 두 번째 경계 박스(TBX2), 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 세 번째 경계 박스(TBX3), 또는 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 j번째 경계 박스(TBXj) 사이의 유사도가 계산될 수 있다. The first bounding box DBX1 generated in the (t+1)-th image frame IFn, the second bounding box TBX2 estimated in the (t+1)-th image frame IFn, the (t+) 1) A similarity between the third bounding box TBX3 estimated in the (t+1)-th image frame IFn or the j-th bounding box TBXj estimated in the (t+1)-th image frame IFn may be calculated. .

차량 번호판 인식기(300)는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성한다. The license plate recognizer 300 generates a minimum vector containing the element of minimum cost in each row of the calculated cost matrix.

상기 (t+1)번째 이미지 프레임(IFn)에서 하나의 생성된 경계 박스(DBX1)와 하나의 추정된 경계 박스(TBX1)가 포함될 때, 상기 비용 행렬에 대한 엘리먼트는 1개이다. 따라서 상기 비용 행렬은 1개의 엘리먼트만을 포함함으로 최소 벡터는 1개의 엘리먼트(예컨대, C₁₁)가 된다. When one generated bounding box DBX1 and one estimated bounding box TBX1 are included in the (t+1)-th image frame IFn, there is one element for the cost matrix. Therefore, since the cost matrix includes only one element, the minimum vector becomes one element (eg, C ₁₁ ).

실시 예에 따라 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함될 때, 상기 비용 행렬에 대한 엘리먼들은 복수 개이다. 이때, 상기 비용 행렬은 수학식 16과 같이 표현될 수 있다. According to an embodiment, when a plurality of generated bounding boxes DBX1 to DBXi and a plurality of estimated bounding boxes TBX1 to TBXj are included in the (t+1)-th image frame IFn, the cost matrix is There are plural of Daehan elements. In this case, the cost matrix can be expressed as Equation 16.

상기 비용 행렬의 각 행에서 하나의 엘리먼트만이 선택된다. 예컨대, 상기 비용 행렬의 첫 번째 행에 포함된 엘리먼트들(C₁₁~C_1j) 중 한 개의 엘리먼트(예컨대, C₃₁)만이 선택된다. 이때, 선택된 한 개의 엘리먼트(예컨대, C₃₁)는 상기 비용 행렬의 첫 번째 행에 포함된 엘리먼트들(C₁₁~C_1j) 중 가장 작은 값을 가지는 엘리먼트이다. 유사하게 상기 비용 행렬의 다른 행들에 대해서도 최소값을 가지는 엘리먼트들이 선택된다. 상기 최소 비용은 상기 비용 행렬의 각 행에 포함된 엘리먼트들 중에서 수학식 15에 따른 결과 값이 최소가 되는 엘리먼트를 의미한다. 예컨대, 상기 최소 벡터는 아래의 수학식과 같이 표현될 수 있다. Only one element in each row of the cost matrix is selected. For example, only one element (eg, C ₃₁ ) from among the elements ( C ₁₁ to C _1j ) included in the first row of the cost matrix is selected. In this case, one selected element (eg, C ₃₁ ) is an element having the smallest value among the elements ( C ₁₁ to C _1j ) included in the first row of the cost matrix. Similarly, elements with minimum values are selected for other rows of the cost matrix. The minimum cost means an element having a minimum result value according to Equation (15) among elements included in each row of the cost matrix. For example, the minimum vector may be expressed as the following equation.

[수학식 18] [Equation 18]

상기 M은 최소 벡터를, 상기 C_1a는 상기 비용 행렬의 첫 번째 행에 포함된 엘리먼트들 중 어느 하나를, 상기 C_2b는 상기 비용 행렬의 두 번째 행에 포함된 엘리먼트들 중 어느 하나를, 상기 C_ic는 상기 비용 행렬의 i 번째 행에 포함된 엘리먼트들 중 어느 하나를 나타낸다. 상기 a, b, c, 또는 i는 자연수이다. M is the minimum vector, C _1a is any one of the elements included in the first row of the cost matrix, C _2b is any one of the elements included in the second row of the cost matrix, the C _ic represents any one of elements included in the i-th row of the cost matrix. A, b, c, or i is a natural number.

상기 최소 비용이 임의의 문턱값보다 작을 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시킨다. 예컨대, 상기 C_1a이 상기 임의의 문턱값보다 작을 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)를 서로 매칭시킨다.When the minimum cost is less than a certain threshold, the license plate recognizer 300 matches the bounding box generated in the (t+1)th image frame and the estimated bounding box with each other. For example, when the C _1a is smaller than the arbitrary threshold value, the license plate recognizer 300 performs the first bounding box (eg, DBX1) generated in the (t+1)th image frame IFn and the estimated a th bounding box (eg, TBXj) is matched with each other.

상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)가 서로 매칭될 때, 차량 번호판 인식기(300)는 객체 목록을 업데이트하고, 객체인 차량의 위치와 크기를 출력한다. 상기 객체 목록은 차량 대수를 의미할 수 있다. 도 9를 참고하면, 차량 번호판 인식기(300)는 340번째 이미지 프레임에서 차단기를 열도록 트리거 신호를 생성한다. When the first bounding box (eg, DBX1) generated in the (t+1)-th image frame IFn and the estimated a-th bounding box (eg, TBXj) match each other, the license plate recognizer 300 is an object Updates the list, and prints the position and size of the object, the vehicle. The object list may mean the number of vehicles. 9, the license plate recognizer 300 generates a trigger signal to open the circuit breaker in the 340th image frame.

상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)를 서로 매칭시키는 이유는 서로 다른 이미지 프레임들에서 검출된 차량이 서로 같은 차량인지 판단하기 위함이다. 서로 다른 이미지 프레임들에서 검출된 차량이 서로 다른 차량일 수도 있다. The reason for matching the first bounding box (eg, DBX1) generated in the (t+1)-th image frame (IFn) and the estimated a-th bounding box (eg, TBXj) to each other is that detection in different image frames is This is to determine whether the vehicles are the same vehicle. Vehicles detected in different image frames may be different vehicles.

상기 최소 비용이 임의의 문턱값보다 클 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키지 않는다. 예컨대, 상기 C_1a이 상기 임의의 문턱값보다 클 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)를 서로 매칭시키지 않을 수 있다. When the minimum cost is greater than a certain threshold, the license plate recognizer 300 does not match the bounding box generated in the (t+1)th image frame with the estimated bounding box. For example, when the C _1a is greater than the arbitrary threshold, the license plate recognizer 300 performs the first bounding box (eg, DBX1) generated in the (t+1)th image frame IFn and the estimated a The second bounding box (eg, TBXj) may not match each other.

실시 예에 따라 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스들(DBX1~DBXi)의 개수와 추정된 경계 박스들(TBX1~TBXj)의 개수는 서로 다를 수 있다. According to an embodiment, the number of bounding boxes DBX1 to DBXi generated in the (t+1)-th image frame IFn and the number of estimated bounding boxes TBX1 to TBXj may be different from each other.

상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스들(DBX1~DBXi)의 개수보다 추정된 경계 박스들(TBX1~TBXj)의 개수가 적을 때, 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스(예컨대, DBXi)와 매칭될 추정된 경계 박스가 존재하지 않을 수 있다. 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스(예컨대, DBXi)와 매칭될 추정된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 생성된 경계 박스(예컨대, DBXi)를 새로운 객체로 판단한다. 새로운 객체란 차량이 카메라(330)의 촬영 영역에 갑자기 들어온 것을 의미한다. 차량은 다양한 방향으로 카메라(330)의 촬영 영역에 들어오거나 나갈 수 있다. When the estimated number of bounding boxes TBX1 to TBXj is smaller than the number of bounding boxes DBX1 to DBXi generated in the (t+1)-th image frame IFn, the (t+1)-th image An estimated bounding box to match the bounding box (eg, DBXi) generated in the frame IFn may not exist. When the estimated bounding box to be matched with the bounding box (eg, DBXi) generated in the (t+1)-th image frame IFn does not exist, the license plate recognizer 300 determines the generated bounding box (eg, DBXi) as a new object. The new object means that the vehicle suddenly enters the photographing area of the camera 330 . The vehicle may enter or exit the photographing area of the camera 330 in various directions.

반대로, 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스들(DBX1~DBXi)의 개수보다 추정된 경계 박스들(TBX1~TBXj)의 개수가 많을 때, 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 매칭될 생성된 경계 박스가 존재하지 않을 수 있다. 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 매칭될 생성된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 추정된 경계 박스를 사라진 객체로 판단한다. 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 매칭될 생성된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 미싱 카운터(missing counter)를 증가시킨다. 상기 미싱 카운터는 숫자를 세는 일반적인 카운터를 의미한다. Conversely, when the number of the estimated bounding boxes TBX1 to TBXj is greater than the number of bounding boxes DBX1 to DBXi generated in the (t+1)-th image frame IFn, the (t+1) A generated bounding box to match the bounding box (eg, TBXj) estimated in the th image frame IFn may not exist. When the generated bounding box to be matched with the bounding box (eg, TBXj) estimated in the (t+1)th image frame IFn does not exist, the license plate recognizer 300 removes the estimated bounding box from the missing object. to be judged as When the generated bounding box to match the bounding box (eg, TBXj) estimated in the (t+1)th image frame IFn does not exist, the license plate recognizer 300 increments a missing counter make it The missing counter means a general counter that counts numbers.

예컨대, 차량 번호판 인식기(300)는 기존의 미싱 카운트 값에 1을 증가시킬 수 있다. 상기 기존의 미싱 카운트 값이 0일 때, 상기 미싱 카운트의 값은 1이 된다. 상기 사라진 객체란 차량이 카메라(330)의 촬영 영역을 벗어남을 의미한다. For example, the license plate recognizer 300 may increase 1 to the existing missing count value. When the existing missing count value is 0, the missing count value becomes 1. The disappeared object means that the vehicle leaves the photographing area of the camera 330 .

차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)를 (t+2)번째 이미지 프레임에서 생성된 경계 박스와 매칭되는지 판단하는 판단 동작을 수행한다. 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 (t+2)번째 이미지 프레임에서 생성된 경계 박스가 매칭되지 않을 때, 차량 번호판 인식기(300)는 상기 미싱 카운터를 증가시키는 증가 동작을 수행한다. 예컨대, 차량 번호판 인식기(300)는 기존의 카운트 값에 1을 증가시킬 수 있다. 예컨대, 차량 번호판 인식기(300)는 기존의 미싱 카운트 값에 1을 증가시킬 수 있다. 상기 기존의 미싱 카운트 값이 1일 때, 상기 미싱 카운트 값은 2가 된다. 차량 번호판 인식기(300)는 상기 미싱 카운터 값은 임의의 값과 같을 때까지 상기 판단 동작과 상기 증가 동작을 반복적으로 수행한다. The vehicle license plate recognizer 300 determines whether the bounding box (eg, TBXj) estimated in the (t+1)-th image frame IFn matches the bounding box generated in the (t+2)-th image frame. carry out When the bounding box (eg, TBXj) estimated in the (t+1)-th image frame IFn and the bounding box generated in the (t+2)-th image frame do not match, the license plate recognizer 300 is Performs an increment operation that increments the missing counter. For example, the license plate recognizer 300 may increment 1 to the existing count value. For example, the license plate recognizer 300 may increase 1 to the existing missing count value. When the existing missing count value is 1, the missing count value becomes 2. The license plate recognizer 300 repeatedly performs the determining operation and the increasing operation until the missing counter value is equal to an arbitrary value.

상기 미싱 카운터 값은 임의의 값을 초과할 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)를 상기 객체 목록에서 제거한다. 즉, 차량의 대수가 감소한다. When the missing counter value exceeds a certain value, the license plate recognizer 300 removes the bounding box (eg, TBXj) estimated in the (t+1)th image frame IFn from the object list. That is, the number of vehicles decreases.

도 14는 본 발명의 실시 예에 따른 차량 감지를 위한 하드웨어 센서를 도로에 매립할 필요가 없는 차량 추적 동작을 설명하기 위한 흐름도를 나타낸다. 14 is a flowchart illustrating a vehicle tracking operation that does not require embedding a hardware sensor for vehicle detection in a road according to an embodiment of the present invention.

도 6 내지 도 14를 참고하면, 차량 번호판 인식기(300)에 포함된 카메라(330)가 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성한다(S10). 6 to 14 , the camera 330 included in the license plate recognizer 300 continuously captures a photographing area to generate a plurality of image frames (S10).

차량 번호판 인식기(300)는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스(BX)를 생성한다(S20). The license plate recognizer 300 detects a vehicle in the plurality of image frames using a deep learning algorithm and generates a bounding box BX including the vehicle (S20).

차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스(BX)의 위치와 사이즈를 추정한다(S30). 상기 경계 박스(BX)의 위치와 상기 경계 박스(BX)의 사이즈를 추정하는 구체적인 방법은 도 10과 도 11에서 상세하게 설명되었다. The vehicle license plate recognizer 300 uses image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames using the (t+1)-th image The position and size of the bounding box BX in the frame are estimated (S30). A specific method of estimating the position of the bounding box BX and the size of the bounding box BX has been described in detail with reference to FIGS. 10 and 11 .

차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 추정된 경계 박스(TB) 사이의 유사도를 계산한다(S40). 상기 유사도의 계산은 도 12에서 상세하게 설명되었다. The license plate recognizer 300 calculates a similarity between the bounding box DB generated in the (t+1)th image frame and the estimated bounding box TB (S40). The calculation of the degree of similarity has been described in detail with reference to FIG. 12 .

차량 번호판 인식기(300)는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 추정된 경계 박스(TBXj)를 서로 매칭시킨다(S50). 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 추정된 경계 박스(TBXj)를 서로 매칭시키는 구체적인 동작들은 아래와 같다. The license plate recognizer 300 matches the bounding box DBXi generated in the (t+1)-th image frame and the estimated bounding box TBXj with each other according to the similarity (S50). Specific operations for matching the bounding box DBXi generated in the (t+1)-th image frame and the estimated bounding box TBXj are as follows.

차량 번호판 인식기(300)는 상기 유사도에 대한 비용 행렬을 계산한다. 상기 비용 행렬은 수학식 15와 수학식 16을 이용하여 계산될 수 있다. The license plate recognizer 300 calculates a cost matrix for the similarity. The cost matrix can be calculated using Equations 15 and 16.

차량 번호판 인식기(300)는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성한다. 상기 최소 벡터는 상기 수학식 18을 이용하여 계산될 수 있다. The license plate recognizer 300 generates a minimum vector containing the element of minimum cost in each row of the calculated cost matrix. The minimum vector may be calculated using Equation (18).

상기 최소 비용이 임의의 문턱값보다 작을 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시킨다. When the minimum cost is less than a certain threshold, the license plate recognizer 300 matches the bounding box generated in the (t+1)th image frame and the estimated bounding box with each other.

차량 번호판 인식기(300)는 상기 매칭된 경계 박스가 미리 결정된 위치에 도달하는지 판단한다. The license plate recognizer 300 determines whether the matched bounding box reaches a predetermined position.

차량 번호판 인식기(300)는 매칭된 경계 박스가 미리 결정된 위치에 도달하는 것이 나타난 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)에서 차단기를 열도록 트리거 신호를 생성한다(S60). 일정 이미지 프레임 이상(예컨대, 도 9에서 326번째 이미지 프레임)부터는 하나의 경계 박스만이 존재한다. 따라서 상기 326번째 이미지 프레임부터는 앞에서 언급한 경계 박스의 매칭 동작이 필요하지 않을 수 있다. 상기 미리 결정된 위치는 상기 이미지 프레임의 밑에서 일정 높이 떨어진 위치를 의미할 수 있다. The license plate recognizer 300 generates a trigger signal to open the circuit breaker in any image frame (eg, the 340th image frame) in which the matched bounding box appears to reach the predetermined position (S60). From a certain image frame or more (eg, the 326th image frame in FIG. 9 ), only one bounding box exists. Accordingly, from the 326 th image frame, the above-mentioned matching operation of the bounding box may not be required. The predetermined position may mean a position spaced from the bottom of the image frame by a certain height.

상기 매칭된 경계 박스가 상기 미리 결정된 위치에 도달한다는 것은 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한 것으로 이해될 수 있다. 즉차량 번호판 인식기(300)는 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단한다. 상기 매칭된 경계 박스란 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스, 또는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스를 의미한다. 차량이 상기 임의의 위치에 도달한 것은 상기 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)의 분석을 통해 판단될 수 있다. 즉, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 차량 번호판 인식기(300)는 상기 차단기를 열도록 트리거 신호를 생성한다. 또한, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 차량 번호판 인식기(300)는 상기 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)에서 차량의 번호판 영역을 추출하고 차량의 차량 번호를 인식하도록 트리거 신호를 생성할 수 있다. 상기 차량 번호를 인식하기 위한 트리거 신호와 상기 차단기를 열기 위한 트리거 신호는 서로 같은 신호일 수 있다. 실시 예에 따라 상기 차량 번호를 인식하기 위한 트리거 신호와 상기 차단기를 열기 위한 트리거 신호는 서로 다른 신호일 수 있다. 상기 차단기는 상기 차단기를 열기 위한 트리거 신호에 따라 열린다. 차량 번호판 인식기(300)는 상기 차량 번호를 인식하기 위한 트리거 신호에 따라 상기 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)에서 차량의 번호판 영역을 추출하고 상기 추출된 번호판 영역에서 차량 번호를 인식한다. 상기 차량의 차량 번호 인식 방법은 널리 알려진 일반적인 방법들이 사용될 수 있다. That the matched bounding box arrives at the predetermined position may be understood as that a vehicle included in the matched bounding box has reached an arbitrary position. That is, the vehicle license plate recognizer 300 determines whether the vehicle included in the matched bounding box arrives at an arbitrary location. The matched bounding box means a bounding box generated in the (t+1)-th image frame or a bounding box estimated in the (t+1)-th image frame. It may be determined that the vehicle arrives at the arbitrary position through analysis of the arbitrary image frame (eg, the 340th image frame). That is, when it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, the license plate recognizer 300 generates a trigger signal to open the circuit breaker. In addition, when it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, the license plate recognizer 300 extracts the license plate area of the vehicle from the arbitrary image frame (eg, the 340th image frame) and A trigger signal may be generated to recognize the license plate number of the vehicle. A trigger signal for recognizing the vehicle number and a trigger signal for opening the circuit breaker may be the same signal. According to an embodiment, a trigger signal for recognizing the vehicle number and a trigger signal for opening the circuit breaker may be different signals. The breaker is opened according to a trigger signal for opening the breaker. The license plate recognizer 300 extracts the license plate area of the vehicle from the arbitrary image frame (eg, the 340th image frame) according to the trigger signal for recognizing the vehicle number and recognizes the vehicle number from the extracted license plate area. . As the vehicle license plate recognition method, well-known general methods may be used.

상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 매칭될 추정된 경계 박스(TBXj)가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 생성된 경계 박스(BDXi)를 새로운 객체로 판단한다. When the estimated bounding box TBXj to be matched with the bounding box DBXi generated in the (t+1)th image frame does not exist, the license plate recognizer 300 converts the generated bounding box BDXi to a new judged as an object.

상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TBXj)와 매칭될 생성된 경계 박스(DBXi)가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 추정된 경계 박스(TBXj)를 사라진 객체로 판단한다. 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 미싱 카운트(missing counter)를 증가시킨다. 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TBXj)를 (t+2)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 매칭되는지 판단한다. 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TBXj)와 (t+2)번째 이미지 프레임에서 생성된 경계 박스(DBXi)가 매칭되지 않을 때, 차량 번호판 인식기(300)는 상기 미싱 카운트를 증가시킨다. When the generated bounding box DBXi to match the estimated bounding box TBXj in the (t+1)th image frame does not exist, the license plate recognizer 300 disappears the estimated bounding box TBXj judged as an object. When the generated bounding box to be matched with the bounding box estimated in the (t+1)th image frame does not exist, the license plate recognizer 300 increments a missing counter. The license plate recognizer 300 determines whether the bounding box TBXj estimated in the (t+1)-th image frame matches the bounding box DBXi generated in the (t+2)-th image frame. When the bounding box TBXj estimated in the (t+1)-th image frame and the bounding box DBXi generated in the (t+2)-th image frame do not match, the license plate recognizer 300 performs the missing count to increase

실시 예에 따라 상기 차량이 포함된 경계 박스(BX)를 생성한 후에(S20), 차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들(예컨대, (t-3)번째 이미지 프레임 내지 t번째 이미지 프레임) 각각에서 생성된 경계 박스의 개수를 카운트한다. 예컨대, (t-3)번째 이미지 프레임에서 하나의 경계 박스만이 생성되어 1개의 경계 박스만이 카운트될 수 있다. 또한, t번째 이미지 프레임에서 하나의 경계 박스만이 생성되어 1개의 경계 박스만이 카운트될 수 있다. After generating the bounding box BX in which the vehicle is included according to an embodiment (S20), the license plate recognizer 300 includes some image frames (eg, (t-3)th of the plurality of image frames) The number of bounding boxes generated in each of the image frame to the t-th image frame) is counted. For example, since only one bounding box is generated in the (t-3)th image frame, only one bounding box may be counted. Also, since only one bounding box is generated in the t-th image frame, only one bounding box may be counted.

상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들(예컨대, (t-3)번째 이미지 프레임 내지 t번째 이미지 프레임) 각각에서 2개 이상의 경계 박스들이 카운트될 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행한다. When two or more bounding boxes are counted in each of some image frames (eg, (t-3)th image frame to tth image frame) of the plurality of image frames, the vehicle number recognition device 300 is the boundary Performs an operation of estimating the position and size of a box (operation S30), a similarity calculation operation between the generated bounding box and the estimated bounding box (operation S40), and a matching operation between the generated bounding box and the estimated boundary box (operation S50) do.

상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들(예컨대, (t-3)번째 이미지 프레임 내지 t번째 이미지 프레임) 각각에서 1개의 경계 박스만이 카운트될 때, 차량 번호 인식 장치(300)는 상기 일부의 이미지 프레임들 중 첫 번째 이미지 프레임(예컨대, (t-3)번째 이미지 프레임)에서의 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임(예컨대, t번째 이미지 프레임)에서의 경계 박스의 사이즈를 비교한다. 즉, 차량 번호 인식 장치(300)는 첫 번째 이미지 프레임(예컨대, (t-3)번째 이미지 프레임)에서의 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임(예컨대, t번째 이미지 프레임)에서의 경계 박스의 사이즈의 비율을 계산한다. When only one bounding box is counted in each of some image frames (eg, (t-3) th image frame to t th image frame) of the plurality of image frames, the vehicle number recognition device 300 is the A size of a bounding box in a first image frame (eg, (t-3)th image frame) among some image frames and a boundary in a last image frame (eg, t-th image frame) among the partial image frames Compare the box sizes. That is, the vehicle number recognition device 300 determines the size of the bounding box in the first image frame (eg, (t-3)-th image frame) and the last image frame among the some image frames (eg, t-th image frame). ) computes the ratio of the size of the bounding box in

상기 비교 결과의 값이 임의의 문턱값보다 작을 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 생략하고, 차량의 번호판 영역 추출 동작(S60)을 수행한다. When the value of the comparison result is smaller than a certain threshold, the vehicle number recognition device 300 performs an operation (operation S30) of estimating the position and size of the bounding box and a similarity calculation operation between the generated bounding box and the estimated bounding box (operation S30) Operation S40), and the operation of matching the generated bounding box and the estimated bounding box (operation S50) are omitted, and the operation of extracting the license plate area of the vehicle (S60) is performed.

상기 비교 결과의 값이 임의의 문턱값보다 클 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행하고, 차량의 번호판 영역 추출 동작(S60)을 수행한다. 차량이 주차면에 진입할 때, 차량의 속도는 일정한 속도 이하일 것이다. 상기 비교 결과의 값이 상기 임의의 문턱값보다 큰 경우는 경계 박스의 사이즈가 갑자기 커진 경우이다. 경계 박스의 사이즈가 갑자기 커진 경우는 상기 마지막 이미지 프레임에서의 경계 박스에 포함된 것은 차량이 아닐 수 있다. 즉, 오류의 발생 가능성이 있다. 이러한 오류를 해결하기 위해 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행한다. When the value of the comparison result is greater than a certain threshold, the vehicle number recognition device 300 performs an operation (operation S30) of estimating the position and size of the bounding box and a similarity calculation operation between the generated bounding box and the estimated bounding box (operation S30) operation S40), and a matching operation (operation S50) of the generated bounding box and the estimated bounding box, and a license plate area extraction operation (S60) of the vehicle. When the vehicle enters the parking surface, the vehicle's speed will be below a constant speed. When the value of the comparison result is greater than the arbitrary threshold, the size of the bounding box is suddenly increased. When the size of the bounding box is suddenly increased, the vehicle may not be included in the bounding box in the last image frame. That is, there is a possibility that an error may occur. In order to solve this error, the vehicle number recognition device 300 calculates the position and size of the bounding box (operation S30) and the similarity calculation operation between the generated bounding box and the estimated bounding box (operation S40), and the generated boundary A matching operation (operation S50) of the box and the estimated bounding box is performed.

상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 1개의 경계 박스만이 생성될 때, 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행하는 것은 불필요하다. 따라서 본 발명에서는 상기 비교 결과의 값이 일정한 범위에 포함될 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 생략함으로써 차량 번호 인식 장치(300)의 연산 부담이 감소될 수 있으며, 차량 번호판 영역 추출 속도가 향상될 수 있다. When only one bounding box is generated in each of some of the plurality of image frames, an operation of estimating the position and size of the bounding box (operation S30) and calculating the similarity between the generated bounding box and the estimated bounding box It is unnecessary to perform the operation (operation S40 ) and the operation of matching the generated bounding box with the estimated bounding box (operation S50 ). Therefore, in the present invention, when the value of the comparison result is included in a certain range, the vehicle number recognition device 300 calculates the similarity between the position and size estimation operation of the bounding box (operation S30) and the generated bounding box and the estimated bounding box By omitting the operation (operation S40) and the matching operation (operation S50) of the generated bounding box and the estimated bounding box, the computational burden of the license plate recognition apparatus 300 can be reduced, and the vehicle license plate area extraction speed can be improved can

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to an embodiment shown in the drawings, this is merely exemplary, and those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention will have to be determined by the technical spirit of the appended claims.

100: 출구 무인 정산 시스템; 110: 사전 무인 정산 시스템;
10: 제1차단기; 120: 유인 정산 시스템;
11: 제2차단기; 130: 출입 통제 시스템;
20: 제1차량 번호 인식기; 140: 서버 시스템;
30: 제2차량 번호 인식기; 200: 통합 주차 관리 시스템;
40: 경차 판별 센서; 300: 차량 번호 인식기;
50: 4면 촬영 카메라; 310: 프로세서;
60: 제3차량 번호 인식기; 320: 메모리;
70: 출금 무인 요금 정산기; 330: 카메라;
80: 출차 주의등; 340: 통신 모듈; 100: exit unattended settlement system; 110: advance unattended settlement system;
10: first breaker; 120: manned settlement system;
11: second breaker; 130: access control system;
20: first vehicle number recognizer; 140: server system;
30: a second vehicle number recognizer; 200: integrated parking management system;
40: light vehicle discrimination sensor; 300: vehicle number recognizer;
50: four-sided camera; 310: processor;
60: a third vehicle number recognizer; 320: memory;
70: Withdrawal unattended fee settlement machine; 330: camera;
80: exit warning light; 340: communication module;

Claims

차량 번호판 인식기에 포함된 카메라가 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하는 단계;
상기 차량 번호판 인식기는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하는 단계;
상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 추정 동작을 수행하는 단계;
상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하는 유사도 계산 동작을 수행하는 단계;
상기 차량 번호판 인식기는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 매칭 동작을 수행하는 단계;
상기 차량 번호판 인식기는 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하는 단계;
상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하는 번호판 영역 추출 동작을 수행하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하는 단계;
상기 차량이 포함된 경계 박스가 생성된 후, 상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 생성된 경계 박스의 개수를 카운트하는 단계;
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 2개 이상의 경계 박스들이 카운트될 때, 상기 차량 번호판 인식기는 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하는 단계;
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 1개의 경계 박스만이 카운트될 때, 상기 차량 번호판 인식기는 상기 일부의 이미지 프레임들 중 첫 번째 이미지 프레임에서의 상기 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임에서의 상기 경계 박스의 사이즈를 비교하는 단계;
상기 비교 결과의 값이 임의의 문턱값보다 작을 때, 상기 차량 번호판 인식기는 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 생략하고, 상기 차량의 번호판 영역 추출 동작을 수행하는 단계; 및
상기 비교 결과의 값이 상기 임의의 문턱값보다 클 때, 상기 차량 번호판 인식기는 상기 추정 동작과 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하고, 상기 번호판 영역 추출 동작을 수행하는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법.generating a plurality of image frames by continuously photographing a photographing area by a camera included in the license plate recognizer;
The license plate recognizer detects a vehicle in the plurality of image frames using a deep learning algorithm and generates a bounding box including the vehicle;
The license plate recognizer is a (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. performing an estimation operation of estimating the position and size of the bounding box;
performing, by the license plate recognizer, a similarity calculation operation for calculating a degree of similarity between the bounding box generated in the (t+1)th image frame and the estimated bounding box;
performing, by the license plate recognizer, a matching operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity;
determining, by the license plate recognizer, whether the vehicle included in the matched bounding box arrives at an arbitrary location;
When it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, the license plate recognizer performs a license plate region extraction operation of extracting the license plate region of the vehicle from the (t+1)-th image frame, and , recognizing a vehicle number in the extracted license plate area;
counting, by the license plate recognizer, the number of bounding boxes generated in each of some image frames among the plurality of image frames after the bounding box including the vehicle is generated;
performing, by the license plate recognizer, the estimating operation, the similarity calculation operation, and the matching operation when two or more bounding boxes are counted in each of some image frames of the plurality of image frames;
When only one bounding box is counted in each of the some image frames of the plurality of image frames, the license plate recognizer determines the size of the bounding box in the first image frame of the some image frames and the comparing the size of the bounding box in the last image frame among the image frames of ;
when the value of the comparison result is smaller than a certain threshold, the license plate recognizer omit the estimation operation, the similarity calculation operation, and the matching operation, and performing the license plate region extraction operation of the vehicle; and
When the value of the comparison result is greater than the arbitrary threshold, the license plate recognizer performs the estimation operation, the similarity calculation operation, and the matching operation, and performing the license plate area extraction operation. Vehicle number recognition method using vehicle detection and tracking technology based on running image recognition.

제1항에 있어서, 상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 추정 동작을 수행하는 단계는,
상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 차량의 중심 위치의 위치 변화율을 이용하여 제1가속 파라미터를 계산하는 단계;
상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치, (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치, 및 상기 제1가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치를 추정하는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method according to claim 1, wherein the license plate recognizer uses (t+) image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. 1) performing an estimation operation of estimating the position and size of the bounding box in the th image frame,
calculating, by the license plate recognizer, a first acceleration parameter using the rate of change of the position of the center position of the vehicle in the image frames including the (t-3)-th image frame to the t-th image frame;
The license plate recognizer is the (t+1)-th image frame using the center position of the vehicle in the t-th image frame, the center position of the vehicle in the (t-1)-th image frame, and the first acceleration parameter. A vehicle number recognition method using deep learning image recognition-based vehicle detection and tracking technology, comprising the step of estimating the center position of the vehicle in the .

제2항에 있어서, 상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 추정 동작을 수행하는 단계는,
상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 경계 박스의 사이즈 변화율을 이용하여 제2가속 파라미터를 계산하는 단계; 및
상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 경계 박스의 사이즈와 상기 제2가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈를 추정하는 단계를 더 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method according to claim 2, wherein the license plate recognizer uses (t+) image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. 1) performing an estimation operation of estimating the position and size of the bounding box in the th image frame,
calculating, by the license plate recognizer, a second acceleration parameter using a rate of change in the size of the bounding box in the image frames including the (t-3)-th image frame to the t-th image frame; and
The license plate recognizer further comprises the step of estimating the size of the bounding box in the (t+1)-th image frame using the size of the bounding box of the vehicle and the second acceleration parameter in the t-th image frame A vehicle number recognition method using deep learning image recognition-based vehicle detection and tracking technology.

제1항에 있어서, 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도는,
상기 생성된 경계 박스와 상기 추정된 경계 박스와 합에 대한 상기 생성된 경계 박스와 상기 추정된 경계 박스의 중첩 영역으로 계산되는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method according to claim 1, wherein the similarity between the bounding box generated in the (t+1)th image frame and the estimated bounding box is:
A vehicle number recognition method using a deep learning image recognition-based vehicle detection and tracking technology that is calculated as an overlap region of the generated bounding box and the estimated bounding box for the sum of the generated bounding box and the estimated bounding box.

제4항에 있어서, 상기 차량 번호판 인식기는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 매칭 동작을 수행하는 단계는,
상기 차량 번호판 인식기는 상기 유사도에 대한 비용 행렬을 계산하는 단계;
상기 차량 번호판 인식기는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성하는 단계; 및
상기 최소 비용이 임의의 문턱값보다 작을 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. 5. The method of claim 4, wherein the vehicle license plate recognizer performs a matching operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the degree of similarity,
calculating, by the license plate recognizer, a cost matrix for the similarity;
generating, by the license plate recognizer, a minimum vector containing the element of minimum cost in each row of the calculated cost matrix; and
When the minimum cost is less than a certain threshold, the license plate recognizer is a deep learning image recognition-based deep learning image recognition comprising the step of matching the bounding box generated in the (t+1)-th image frame and the estimated bounding box with each other Vehicle number recognition method using vehicle detection and tracking technology.

제5항에 있어서, 상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은,
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 매칭될 추정된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 생성된 경계 박스를 새로운 객체로 판단하는 단계를 더 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method of claim 5, wherein the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology,
When the estimated bounding box to match the bounding box generated in the (t+1)-th image frame does not exist, the license plate recognizer further comprises the step of determining the generated bounding box as a new object A vehicle number recognition method using image recognition-based vehicle detection and tracking technology.

제5항에 있어서, 상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은,
상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 추정된 경계 박스를 사라진 객체로 판단하는 단계를 더 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method of claim 5, wherein the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology,
When the generated bounding box to match the bounding box estimated in the (t+1)th image frame does not exist, the license plate recognizer further comprises the step of determining the estimated bounding box as a missing object A vehicle number recognition method using image recognition-based vehicle detection and tracking technology.

제7항에 있어서, 상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은,
상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 미싱 카운트(missing counter)를 증가시키는 단계;
상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스를 (t+2)번째 이미지 프레임에서 생성된 경계 박스와 매칭되는지 판단하는 단계; 및
상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 (t+2)번째 이미지 프레임에서 생성된 경계 박스가 매칭되지 않을 때, 상기 차량 번호판 인식기는 상기 미싱 카운트를 증가시키는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method of claim 7, wherein the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology,
incrementing, by the license plate recognizer, a missing counter when there is no generated bounding box to match the bounding box estimated in the (t+1)th image frame;
determining whether the license plate recognizer matches the bounding box estimated in the (t+1)-th image frame with the bounding box generated in the (t+2)-th image frame; and
When the bounding box estimated in the (t+1)-th image frame and the bounding box generated in the (t+2)-th image frame do not match, the license plate recognizer increments the missing count Vehicle number recognition method using vehicle detection and tracking technology based on running image recognition.

차량 번호판 인식기를 포함하며,
상기 차량 번호판 인식기는,
촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하는 카메라;
명령들을 저장하는 메모리; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하며,
상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 추정 동작을 수행하며,
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하는 유사도 계산 동작을 수행하며,
상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 매칭 동작을 수행하며,
상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하며,
상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하는 번호판 영역 추출 동작을 수행하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하며,
상기 차량이 포함된 경계 박스가 생성된 후, 상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 생성된 경계 박스의 개수를 카운트하며,
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 2개 이상의 경계 박스들이 카운트될 때, 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하며,
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 1개의 경계 박스만이 카운트될 때, 상기 일부의 이미지 프레임들 중 첫 번째 이미지 프레임에서의 상기 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임에서의 상기 경계 박스의 사이즈를 비교하며,
상기 비교 결과의 값이 임의의 문턱값보다 작을 때, 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 생략하고, 상기 차량의 번호판 영역 추출 동작을 수행하며,
상기 비교 결과의 값이 상기 임의의 문턱값보다 클 때, 상기 차량 번호판 인식기는 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하고, 상기 차량의 번호판 영역 추출 동작을 수행하도록 구현되는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 시스템. a vehicle license plate identifier;
The vehicle license plate recognizer,
a camera that generates a plurality of image frames by photographing a photographing area;
a memory storing instructions; and
a processor for executing the instructions;
The commands are
Detecting a vehicle in the plurality of image frames using a deep learning algorithm and generating a bounding box including the vehicle,
The position of the bounding box in the (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames and an estimation operation for estimating the size,
performing a similarity calculation operation for calculating the similarity between the bounding box generated in the (t+1)th image frame and the estimated bounding box,
performing a matching operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity;
It is determined whether the vehicle included in the matched bounding box arrives at an arbitrary location,
When it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, a license plate region extraction operation of extracting the license plate region of the vehicle from the (t+1)-th image frame is performed, and the extracted license plate Recognizes the vehicle number in the area,
After the bounding box including the vehicle is generated, counting the number of bounding boxes generated in each of some image frames among the plurality of image frames,
When two or more bounding boxes are counted in each of some of the plurality of image frames, the estimation operation, the similarity calculation operation, and the matching operation are performed;
When only one bounding box is counted in each of some image frames of the plurality of image frames, the size of the bounding box in the first image frame among the some image frames and among the some image frames comparing the size of the bounding box in the last image frame,
When the value of the comparison result is smaller than a certain threshold, the estimation operation, the similarity calculation operation, and the matching operation are omitted, and the license plate area extraction operation of the vehicle is performed,
When the value of the comparison result is greater than the arbitrary threshold value, the license plate recognizer performs the estimation operation, the similarity calculation operation, and the matching operation, and performs the operation of extracting the license plate area of the vehicle. Vehicle number recognition system using vehicle detection and tracking technology based on running image recognition.