KR102368122B1 - Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology - Google Patents
Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology Download PDFInfo
- Publication number
- KR102368122B1 KR102368122B1 KR1020210115468A KR20210115468A KR102368122B1 KR 102368122 B1 KR102368122 B1 KR 102368122B1 KR 1020210115468 A KR1020210115468 A KR 1020210115468A KR 20210115468 A KR20210115468 A KR 20210115468A KR 102368122 B1 KR102368122 B1 KR 102368122B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- bounding box
- image frame
- license plate
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Devices For Checking Fares Or Tickets At Control Points (AREA)
Abstract
Description
본 발명은 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법 및 시스템에 관한 것으로, 상세하게는 차량 감지를 위한 루프 코일(loop coil)과 같은 하드웨어 센서를 도로에 매립할 필요가 없이 영상에서 차량을 검출하고 추적하여 차량 번호를 인식할 수 있는 방법 및 시스템에 관한 것이다. The present invention relates to a vehicle number recognition method and system using a vehicle detection and tracking technology based on deep learning image recognition, and in particular, it is necessary to embed a hardware sensor such as a loop coil for vehicle detection in the road. It relates to a method and system capable of recognizing a vehicle number by detecting and tracking a vehicle in an image without it.
종래의 주차 관제 시스템은 차량을 검출하기 위해 루프 코일과 같은 하드웨어를 이용하였다. 루프 코일은 차량이 진입하는 도로에 매립되었다. 차량이 루프 코일이 매립된 도로를 지나갈 때, 루프 코일의 인덕턴스가 감소한다. 인덕턴스 감소에 의해 루프 코일과 연결된 전기 회로에서 차량 번호판 인식기로 트리거 신호가 전송된다. 차량 번호판 인식기는 트리거 신호를 수신할 때, 차량 번호판 인식기에 포함된 카메라가 차량의 번호판을 촬영한다. A conventional parking control system uses hardware such as a loop coil to detect a vehicle. The roof coil is embedded in the road into which the vehicle enters. When a vehicle crosses a road in which the roof coil is buried, the inductance of the roof coil decreases. By reducing the inductance, a trigger signal is transmitted from the electric circuit connected to the loop coil to the license plate identifier. When the license plate recognizer receives a trigger signal, a camera included in the license plate recognizer captures the license plate of the vehicle.
루프 코일은 도로에 매립되어야 하기 때문에 매립 공사 비용의 발생, 유지 보수 공사 비용의 발생, 공사에 따른 사람들의 불편 발생과 같은 문제점이 있다. 또한, 루프 코일 주변의 자기장이 차량 검출에 영향을 줄 수 있다는 문제점이 있다. 이러한 문제점을 해결하기 위한 새로운 차량 검출 방법이 요구된다.Since the loop coil has to be buried in the road, there are problems such as the occurrence of a reclamation construction cost, the occurrence of a maintenance construction cost, and the occurrence of inconvenience to people due to the construction. In addition, there is a problem that a magnetic field around the loop coil may affect vehicle detection. A new vehicle detection method is required to solve this problem.
본 발명이 이루고자 하는 기술적인 과제는 루프 코일과 같은 하드웨어 센서를 도로에 매립하지 않고 영상에서 차량을 검출하고 추적하여 차량 번호판을 인식할 수 있는 방법 및 시스템을 제공하는 것이다. It is an object of the present invention to provide a method and system capable of recognizing a license plate by detecting and tracking a vehicle from an image without embedding a hardware sensor such as a loop coil in the road.
본 발명의 실시 예에 따른 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 차량 번호판 인식기에 포함된 카메라가 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하는 단계, 상기 차량 번호판 인식기는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하는 단계, 상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 단계, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하는 단계, 상기 차량 번호판 인식기는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계, 상기 차량 번호판 인식기는 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하는 단계, 및 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하는 단계를 포함한다. A vehicle number recognition method using a vehicle detection and tracking technology based on deep learning image recognition according to an embodiment of the present invention includes: a camera included in a license plate recognizer continuously photographing a photographing area to generate a plurality of image frames; The license plate recognizer detects a vehicle in the plurality of image frames by using a deep learning algorithm and generates a bounding box including the vehicle, the license plate recognizer is (t-3) among the plurality of image frames estimating the position and size of the bounding box in the (t+1)-th image frame using image frames including from the th image frame to the t (t is a natural number greater than or equal to 4) th image frame, the license plate recognizer calculating a similarity between a bounding box generated in the (t+1)-th image frame and an estimated bounding box, wherein the license plate recognizer determines the bounding box generated in the (t+1)-th image frame according to the similarity and matching the estimated bounding box with each other, the license plate recognizer determining whether the vehicle included in the matched bounding box arrives at an arbitrary position, and the vehicle included in the matched bounding box reaching an arbitrary position When it is determined that , the license plate recognizer extracts the license plate area of the vehicle from the (t+1)-th image frame, and includes the steps of recognizing a vehicle number from the extracted license plate area.
상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 단계는 상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 차량의 중심 위치의 위치 변화율을 이용하여 제1가속 파라미터를 계산하는 단계, 상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치, (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치, 및 상기 제1가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치를 추정하는 단계를 포함한다. The license plate recognizer is a (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. In the step of estimating the position and size of the bounding box, the license plate recognizer determines the rate of change of position of the center position of the vehicle in the image frames including from the (t-3)-th image frame to the t-th image frame. calculating a first acceleration parameter using the license plate recognizer, the center position of the vehicle in the t-th image frame, the center position of the vehicle in the (t-1)-th image frame, and the first acceleration parameter and estimating the center position of the vehicle in the (t+1)-th image frame using the method.
상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 단계는 상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 경계 박스의 사이즈 변화율을 이용하여 제2가속 파라미터를 계산하는 단계, 및 상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 경계 박스의 사이즈와 상기 제2가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈를 추정하는 단계를 더 포함한다. The license plate recognizer is a (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. In the step of estimating the position and size of the bounding box, the license plate recognizer uses the rate of change of the size of the bounding box in the image frames including from the (t-3)-th image frame to the t-th image frame. calculating a second acceleration parameter, and the license plate recognizer uses the size of the bounding box of the vehicle in the t-th image frame and the second acceleration parameter to determine the bounding box in the (t+1)-th image frame. The method further includes estimating the size of .
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도는 상기 생성된 경계 박스와 상기 추정된 경계 박스와 합에 대한 상기 생성된 경계 박스와 상기 추정된 경계 박스의 중첩 영역으로 계산된다.The similarity between the generated bounding box and the estimated bounding box in the (t+1)-th image frame is that of the generated bounding box and the estimated bounding box for the sum of the generated bounding box and the estimated bounding box. It is counted as an overlapping area.
상기 차량 번호판 인식기는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계는 상기 차량 번호판 인식기는 상기 유사도에 대한 비용 행렬을 계산하는 단계, 상기 차량 번호판 인식기는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성하는 단계, 및 상기 최소 비용이 임의의 문턱값보다 작을 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계를 포함한다. In the license plate recognizer, matching the boundary box generated in the (t+1)-th image frame and the estimated boundary box according to the similarity with each other includes: calculating a cost matrix for the similarity by the license plate recognizer; wherein the license plate identifier generates a minimum vector containing an element of a minimum cost in each row of the computed cost matrix, and when the minimum cost is less than a certain threshold, the license plate identifier generates the (t+ 1) matching the bounding box generated in the th image frame and the estimated bounding box with each other.
상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 매칭될 추정된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 생성된 경계 박스를 새로운 객체로 판단하는 단계를 더 포함할 수 있다. In the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology, when the estimated bounding box to be matched with the bounding box generated in the (t+1)th image frame does not exist, the license plate recognizer may further include determining the created bounding box as a new object.
상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 추정된 경계 박스를 사라진 객체로 판단하는 단계를 더 포함할 수 있다. In the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology, when the generated boundary box to match the boundary box estimated in the (t+1)-th image frame does not exist, the license plate recognizer may further include determining the estimated bounding box as a missing object.
상기 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법은 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 미싱 카운트(missing counter)를 증가시키는 단계, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스를 (t+2)번째 이미지 프레임에서 생성된 경계 박스와 매칭되는지 판단하는 단계, 및 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 (t+2)번째 이미지 프레임에서 생성된 경계 박스가 매칭되지 않을 때, 상기 차량 번호판 인식기는 상기 미싱 카운트를 증가시키는 단계를 포함한다. In the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology, when the generated boundary box to match the boundary box estimated in the (t+1)-th image frame does not exist, the license plate recognizer incrementing a missing count, the license plate recognizer determines whether the bounding box estimated in the (t+1)-th image frame matches the bounding box generated in the (t+2)-th image frame step, and when the bounding box estimated in the (t+1)-th image frame and the bounding box generated in the (t+2)-th image frame do not match, the license plate recognizer increases the missing count include
본 발명의 실시 예에 따른 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 시스템은 차량 번호판 인식기를 포함한다. A vehicle number recognition system using a vehicle detection and tracking technology based on deep learning image recognition according to an embodiment of the present invention includes a vehicle license plate recognizer.
상기 차량 번호판 인식기는 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하는 카메라, 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다. The license plate recognizer includes a camera for generating a plurality of image frames by photographing a photographing area, a memory for storing instructions, and a processor for executing the instructions.
상기 명령들은 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하며, 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하며, 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하며, 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키며, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하며, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하도록 구현된다. The instructions use a deep learning algorithm to detect a vehicle in the plurality of image frames, generate a bounding box including the vehicle, and t(t) in the (t-3)th image frame among the plurality of image frames. is a natural number greater than or equal to 4) estimates the position and size of the bounding box in the (t+1)-th image frame using image frames including up to the (t+1)-th image frame, and the boundary generated in the (t+1)-th image frame Calculate the similarity between the box and the estimated bounding box, match the bounding box generated in the (t+1)-th image frame and the estimated bounding box according to the similarity, and a vehicle included in the matched bounding box It is determined whether this arbitrary position is reached, and when it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, the license plate recognizer is the license plate area of the vehicle in the (t+1)th image frame. It is implemented to extract and recognize the vehicle number in the extracted license plate area.
본 발명의 실시 예에 따른 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법 및 시스템은 차량 번호판 인식기에 포함된 카메라를 이용하여 차량을 검출하고 추적함으로써 루프 코일과 같은 하드웨어를 도로에 매립할 필요가 없다는 장점이 있다. A vehicle number recognition method and system using a vehicle detection and tracking technology based on deep learning image recognition according to an embodiment of the present invention detects and tracks a vehicle using a camera included in the vehicle license plate recognizer, thereby turning hardware such as a loop coil into a road. It has the advantage that it does not need to be buried in the
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 출구 무인 정산 시스템의 블록도를 나타낸다.
도 2는 본 발명의 다른 실시 예에 따른 사전 무인 정산 시스템의 블록도를 나타낸다.
도 3은 본 발명의 또 다른 실시 예에 따른 유인 정산 시스템의 블록도를 나타낸다.
도 4는 본 발명의 또 다른 실시 예에 따른 출입 통제 시스템의 블록도를 나타낸다.
도 5는 도 1 내지 도 4에 도시된 시스템이 통합된 통합 주차 관리 시스템의 블록도를 나타낸다.
도 6은 도 1 내지 도 5 중 어느 하나의 도면에 도시된 차량 번호 인식기의 내부 블록도를 나타낸다.
도 7은 도 1에 도시된 시스템에서 차량의 주차장 진입 동작을 설명하기 위한 흐름도를 나타낸다.
도 8은 도 1에 도시된 시스템에서 차량의 주차장 진출 동작을 설명하기 위한 흐름도를 나타낸다.
도 9는 도 6에 도시된 차량 번호 인식기에 의해 촬영된 복수의 이미지 프레임들을 나타낸다.
도 10은 경계 박스의 위치 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들에서의 복수의 경계 박스들을 나타낸다.
도 11은 경계 박스의 사이즈 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다.
도 12는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작을 설명하기 위한 개념도를 나타낸다.
도 13은 도 12에서 설명된 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다.
도 14는 본 발명의 실시 예에 따른 차량 감지를 위한 하드웨어 센서를 도로에 매립할 필요가 없는 차량 추적 동작을 설명하기 위한 흐름도를 나타낸다. In order to more fully understand the drawings recited in the Detailed Description, a detailed description of each drawing is provided.
1 shows a block diagram of an exit unattended settlement system according to an embodiment of the present invention.
2 is a block diagram of a pre-unattended settlement system according to another embodiment of the present invention.
3 is a block diagram of a manned settlement system according to another embodiment of the present invention.
4 is a block diagram of an access control system according to another embodiment of the present invention.
5 is a block diagram of an integrated parking management system in which the systems shown in FIGS. 1 to 4 are integrated.
6 shows an internal block diagram of the vehicle number recognizer shown in any one of FIGS. 1 to 5;
7 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 .
FIG. 8 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 .
9 shows a plurality of image frames photographed by the vehicle number recognizer shown in FIG.
FIG. 10 illustrates a plurality of bounding boxes in the plurality of image frames shown in FIG. 9 in order to explain an operation of estimating the position of the bounding box.
FIG. 11 illustrates a portion of a plurality of image frames shown in FIG. 9 to describe an operation of estimating the size of a bounding box.
12 is a conceptual diagram illustrating a similarity calculation operation between a bounding box generated in the (t+1)-th image frame and an estimated bounding box.
FIG. 13 is one of the plurality of image frames shown in FIG. 9 to explain an operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity described in FIG. 12 . represents some
14 is a flowchart illustrating a vehicle tracking operation that does not require embedding a hardware sensor for vehicle detection in a road according to an embodiment of the present invention.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only exemplified for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention may have various changes and may have various forms, the embodiments will be illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one element from another element, for example, without departing from the scope of the present invention, a first element may be called a second element, and similarly The second component may also be referred to as the first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않은 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle. Other expressions describing the relationship between elements, such as "between" and "immediately between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다." 또는 "가지다." 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. As used herein, "includes." Or "have." The term etc. is intended to designate that there is a described feature, number, step, action, component, part, or combination thereof, but one or more other features or number, step, action, component, part, or combination thereof. It should be understood that it does not preclude the possibility of the existence or addition of one.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings.
도 1은 본 발명의 일 실시 예에 따른 출구 무인 정산 시스템의 블록도를 나타낸다. 1 shows a block diagram of an exit unattended settlement system according to an embodiment of the present invention.
도 1을 참고하면, 출구 무인 정산 시스템(100)은 차량이 주차를 위해 주차장으로 진입하거나, 차량이 주차장에서 진출하는 사람에 의해 운영되지 않는 주차 관리 시스템이다. 출구 무인 정산 시스템(100)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출하여 추적하여 차량 번호를 인식할 수 있는 시스템이다. Referring to FIG. 1 , the exit
출구 무인 정산 시스템(100)은 제1차단기(10), 제1차량 번호 인식기(20), 및 제2차량 번호 인식기(30)를 포함한다. 실시 예에 따라 출구 무인 정산 시스템(100)은 제2차단기(11), 경차 판별 센서(40), 4면 촬영 카메라(50), 제3차량 번호 인식기(60), 출구 무인 요금 정산기(70), 또는 출차 주의등(80)을 더 포함할 수 있다. 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)은 무선, 또는 유선으로 네트워크로 연결된다. The exit
제1차단기(10)는 차량이 허가 없이 주차장으로 진입하는 것을 방지하는데 이용된다. 제2차단기(11)는 차량이 허가 없이 주차장에서 진출하는 것을 방지하는데 이용된다. The
제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)는 차량을 검출하고, 차량을 추적하여, 차량이 임의의 위치에 도달할 때, 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하고, 인식된 차량의 번호를 네트워크를 통해 주차 관제 서버(미도시)로 전송한다. 제1차량 번호 인식기(20)는 진입하는 차량을 검출하고, 차량의 추적하여, 상기 차량이 임의의 위치에 도달할 때, 차량의 전면의 차량 번호판을 촬영한다. 제2차량 번호 인식기(30)는 진입하는 차량을 검출하고, 차량이 임의의 위치에 도달할 때, 차량의 후면의 차량의 번호판을 촬영한다. 제3차량 번호 인식기(60)는 진출하는 차량을 검출하고, 차량이 임의의 위치에 도달할 때, 차량의 전면의 차량 번호판을 촬영한다. 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)는 종래의 차량 번호 인식기와 달리 루프 코일로부터 차량의 촬영을 위한 트리거 신호를 수신하지 않고, 스스로 차량을 검출한다는 점이다. 즉, 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)는 차량을 연속해서 촬영하고, 촬영된 영상들을 분석하여 영상들에서 차량을 검출하고, 검출된 차량을 추적하여 차량의 번호판을 인식한다. 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)의 자세한 구성 및 동작에 대해서는 도 6에서 상세하게 설명될 것이다. The first
경차 판별 센서(40)는 빛을 쏘아 차량이 경차인지 여부를 판단한다. 경차 판별 센서(40)는 레이저 스캐너로 구현될 수 있다. The light
4면 촬영 카메라(50)는 차량의 4면을 촬영할 수 있다. 4면 촬영 카메라(50)는 촬영된 차량의 4면의 이미지를 처리하는 프로세서(미도시)와, 처리된 이미지를 저장하는 메모리(미도시)를 더 포함할 수 있다. 실시 예에 따라 상기 프로세서와 상기 메모리는 NVR(Network Video Network)로 구현될 수 있다. The four-sided photographing
출구 무인 요금 정산기(70)는 네트워크를 통해 상기 주차 관제 서버로부터 차량의 주차 요금을 수신한다. The unmanned exit
출차 주의등(80)은 차량이 출차할 때, 출차 중임이 표시된다. When the vehicle exits the vehicle, the
도 2는 본 발명의 다른 실시 예에 따른 사전 무인 정산 시스템의 블록도를 나타낸다. 2 is a block diagram of a pre-unattended settlement system according to another embodiment of the present invention.
도 2를 참고하면, 사전 무인 정산 시스템(110)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 차량이 출차할 때, 차량의 운전자가 출구 무인 요금 정산기(70)에서 주차 요금을 카드, 또는 현금으로 계산하지만, 사전 무인 정산 시스템(110)은 차량의 운전자가 출차하기 전에 외부에 설치된 별도의 무인 요금 정산기(79)에서 미리 주차 요금을 카드, 또는 현금으로 계산한다는 점에서 차이가 있다. 사전 무인 정산 시스템(110)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출할 수 있는 시스템이다.Referring to FIG. 2 , the advance
사전 무인 정산 시스템(110)은 복수의 차단기들(12, 13), 복수의 차량 번호 인식기들(21, 31, 및 61), 경차 판별 센서(41), 4면 촬영 카메라(51), 출구 무인 요금 정산기(71), 또는 출차 주의등(81)을 포함할 수 있다. 실시 예에 따라 사전 무인 정산 시스템(110)은 출구 무인 요금 정산기(71)를 포함하지 않을 수 있으며, 대신에 외부에 설치된 별도의 무인 요금 정산기(79)를 포함할 수 있다. 사전 무인 정산 시스템(110)에 포함된 각 구성요소들(12, 13, 21, 31, 41, 51, 61, 71, 81)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 사전 무인 정산 시스템(110)에 포함된 각 구성요소들(12, 13, 21, 31, 41, 51, 61, 71, 81)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. The advance
도 3은 본 발명의 또 다른 실시 예에 따른 유인 정산 시스템의 블록도를 나타낸다. 3 is a block diagram of a manned settlement system according to another embodiment of the present invention.
도 3을 참고하면, 유인 정산 시스템(120)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 출구 무인 요금 정산기(70)에서 주차 요금이 계산되나, 유인 정산 시스템(120)은 주차 정산원(75)이 직접 주차 요금을 받는다는 점에서 차이가 있다. 유인 정산 시스템(120)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출할 수 있는 시스템이다.Referring to FIG. 3 , the manned
유인 무인 정산 시스템(120)은 복수의 차단기들(14, 15), 복수의 차량 번호 인식기들(22, 32, 및 62), 경차 판별 센서(42), 4면 촬영 카메라(52), 또는 출차 주의등(82)을 포함할 수 있다. 또한, 유인 무인 정산 시스템(120)은 도 1에 도시된 출구 무인 요금 정산기(70) 대신에 주차 정산원(75)이 들어갈 수 있는 주차 관리 부스(72)를 포함한다. 주차 관리 부스(72)는 주차 요금을 직접 계산할 수 있는 PC(74)와 모니터(73)를 포함한다. 실시 예에 따라 상기 PC는 주차 요금을 직접 계산하지 않고, 네트워크를 통해 주차 관제 서버(미도시)로부터 주차 요금을 수신할 수 있다. 주차 정산원(75)은 모니터(73)에 표시된 주차 요금에 따라 차량의 운전자에게 주차 요금을 받을 수 있다. 유인 정산 시스템(120)에 포함된 각 구성요소들(14, 15, 22, 32, 42, 52, 62, 72, 82)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 유인 정산 시스템(120)에 포함된 각 구성요소들(14, 15, 22, 32, 42, 52, 62, 72, 82)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. The manned
도 4는 본 발명의 또 다른 실시 예에 따른 출입 통제 시스템의 블록도를 나타낸다. 4 is a block diagram of an access control system according to another embodiment of the present invention.
도 4를 참고하면, 출입 통제 시스템(130)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 출차할 때, 주차 요금이 발생하나, 출입 통제 시스템(130)은 주차 요금 대신에 적법한 권한을 가진 차량만이 주차장에 진입할 수 있다는 점에서 차이가 있다. 출입 통제 시스템(130)은 루프 코일과 하드웨어 센서를 이용하지 않고도 차량을 검출할 수 있는 시스템이다. Referring to FIG. 4 , the
출입 통제 시스템(130)은 복수의 차단기들(16, 17)와 복수의 차량 번호 인식기들(23, 33, 및 63)을 포함할 수 있다. 실시 예에 따라 출입 통제 시스템(130)은 경차 판별 센서(43), 4면 촬영 카메라(53), 또는 출차 주의등(83)을 더 포함할 수 있다. 다만, 실시 예에 따라 출입 통제 시스템(130)은 도 1에 도시된 출구 무인 요금 정산기(70) 대신에 차량이 적법한 권한을 가진 차량인지 판단할 수 있는 단말기(76)를 포함할 수 있다. 차량의 운전자가 적법한 권한을 가졌음을 의미하는 카드 등을 단말기(76)에 다가갈 때, 단말기(76)는 상기 카드가 적법할 경우, 차단기(16, 또는 17)을 열도록 제어할 수 있다. The
출입 통제 시스템(130)에 포함된 각 구성요소들(16, 17, 23, 33, 43, 53, 63, 73, 83)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 출입 통제 시스템(130)에 포함된 각 구성요소들(16, 17, 23, 33, 43, 53, 63, 83)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. Each of the
도 5는 도 1 내지 도 4에 도시된 시스템이 통합된 통합 주차 관리 시스템의 블록도를 나타낸다. 5 is a block diagram of an integrated parking management system in which the systems shown in FIGS. 1 to 4 are integrated.
도 1 내지 도 5를 참고하면, 통합 주차 관리 시스템(200)은 복수의 서로 다른 시스템들(예컨대, 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 및 출입 통제 시스템(130))로부터 네트워크를 통해 전송되는 차량의 번호를 통해 주차 요금을 계산하거나, 적법한 권한이 있는지를 판단할 수 있는 서버 시스템(140)을 포함한다. 통합 주차 관리 시스템(200)은 도 1 내지 도 3에 도시된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)을 포함할 수 있다. 실시 예에 따라 통합 주차 관리 시스템(200)은 서버 시스템(140)과, 도 1 내지 도 3에 도시된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 및 출입 통제 시스템(130) 중 어느 하나를 포함할 수 있다. 도 5에서는 통합 주차 관리 시스템(200)은 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)을 포함하는 것으로 도시되었나, 실시 예에 따라 통합 주차 관리 시스템(200)은 더 많은 시스템들을 포함할 수 있다. 예컨대, 통합 주차 관리 시스템(200)은 서로 다른 지역에 위치한 다수의 출구 무인 정산 시스템들을 포함하거나, 서로 다른 지역에 위치에 위치한 다수의 사전 무인 정산 시스템들을 포함하거나, 이들을 모두 포함할 수 있다. 1 to 5 , the integrated parking management system 200 includes a plurality of different systems (eg, the exit
통합 주차 관리 시스템(200)에 포함된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)은 네트워크(201)를 통해 서로 통신이 가능하다. 네트워크(201)는 VPN(Virtual Private Network)일 수 있다. 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140) 각각은 서로 통신을 위해 VPN 단말기(201, 203, 205, 207, 및 209)를 이용할 수 있다. VPN 단말기(201, 203, 205, 207, 또는 209)는 각 시스템이 네트워크를 통해 서로 연결되는데 이용된다. The unmanned
서버 시스템(140)은 제5VPN 단말기(209), 스위치(141), 주차 관제 서버(143), 데이터베이스(145), 웹할인 서버(147), 복수의 클라이언트들(151-1~151-N, N은 자연수)을 포함한다.The server system 140 includes a fifth VPN terminal 209, a switch 141, a parking control server 143, a database 145, a web discount server 147, a plurality of clients 151-1 to 151-N, N is a natural number).
제5VPN 단말기(209)는 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 또는 출입 통제 시스템(130)의 VPN 단말기(201,203, 205, 또는 207)로부터 차량의 입구 위치 정보, 차량의 입차 정보, 및 차량 번호에 관한 정보를 수신한다. 제5VPN 단말기(209)는 스위치(141)를 통해 주차 관제 서버(143)로 상기 차량의 입구 위치 정보, 상기 차량의 입차 정보, 및 상기 차량 번호에 관한 정보를 전달한다. The fifth VPN terminal 209 is a vehicle from the
데이터베이스(145)는 상기 차량의 입구 위치 정보, 상기 차량의 입차 정보, 및 상기 차량 번호에 관한 정보를 저장할 수 있다. The database 145 may store information about the entrance location of the vehicle, entry information of the vehicle, and information about the vehicle number.
웹할인 서버(147)는 차량의 정보에 따라 주차 요금의 할인을 결정한다. 예컨대, 웹할인 서버(147)는 차량이 출차하기 전 할인 정보를 미리 등록하여, 상기 차량이 출차시 할인된 주차 요금을 적용한다. The web discount server 147 determines the discount of the parking fee according to the vehicle information. For example, the web discount server 147 pre-registers discount information before the vehicle exits, and applies the discounted parking fee when the vehicle exits.
실시 예에 따라, 서버 시스템(140)은 비대면 자격확인 서버(149)를 더 포함할 수 있다. 비대면 자격확인 서버(149)는 상기 차량 번호에 관한 정보를 수신하고, 상기 차량이 경차, 친환경차량, 장애인, 또는 국가유공자 등과 같은 법정 할인 대상 차량인지 여부를 결정하기 위해 행정정보공동이용센터 시스템(미도시)에 상기 차량 번호에 관한 정보와, 상기 차량이 법정 할인 대상 차량인지 여부를 요청한다. 상기 요청에 따라 비대면 자격확인 서버(149)는 상기 행정정보공동이용센터 시스템으로부터 상기 차량이 법정 할인 대상 차량인지 여부를 나타내는 정보를 수신하고, 상기 차량이 법정 할인 대상 차량에 해당할 때, 상기 차량에 대해 할인된 주차 요금을 적용한다. According to an embodiment, the server system 140 may further include a non-face-to-face qualification verification server 149 . The non-face-to-face qualification verification server 149 receives the information about the vehicle number, and determines whether the vehicle is a vehicle subject to a legal discount, such as a light vehicle, an eco-friendly vehicle, a disabled person, or a person of national merit. (not shown) requests information about the vehicle number and whether the vehicle is a vehicle subject to a legal discount. In response to the request, the non-face-to-face qualification verification server 149 receives information indicating whether the vehicle is a vehicle subject to a legal discount from the administrative information common use center system, and when the vehicle corresponds to a vehicle subject to a legal discount, the Discounted parking rates apply for vehicles.
주차 관제 서버(143)는 차량의 주차 요금을 결정하고, 네트워크(201)를 통해 시스템(100, 110, 120, 또는, 130)으로 상기 차량의 주차 요금에 관한 정보를 전송한다. The parking control server 143 determines the parking fee of the vehicle, and transmits information about the parking fee of the vehicle to the
복수의 클라이언트들(151-1~151-N)은 서로 다른 시스템들(100, 110, 120, 및 130)을 실시간으로 모니터링하는데 이용된다. 스위치(141)는 복수의 클라이언트들(151-1~151-N) 중 어느 하나로 시스템(100, 110, 120, 또는 130)을 통해 출력되는 정보(예컨대, 실시간 주차장 화면 정보)를 전송하는데 이용될 수 있다. The plurality of clients 151-1 to 151-N are used to monitor
도 6은 도 1 내지 도 5 중 어느 하나의 도면에 도시된 차량 번호 인식기의 내부 블록도를 나타낸다. 6 shows an internal block diagram of the vehicle number recognizer shown in any one of FIGS. 1 to 5;
도 6을 참고하면, 차량 번호 인식기(300)는 차량이 주차장으로 진입하거나, 차량이 주차장에서 출차할 때, 차량의 번호를 인식하는데 이용된다. 도 1 내지 도 5에서 도시된 차량 번호 인식기들의 구조와 동작은 도 6에 도시된 차량 번호 인식기(300)의 구조와 동작이 같다. 따라서 대표적으로 도 6에 도시된 차량 번호 인식기(300)를 설명한다. Referring to FIG. 6 , the
차량 번호 인식기(300)는 프로세서(310), 메모리(320), 카메라(330), 및 통신 모듈(340)을 포함한다. 프로세서(310)는 메모리(320)에 저장된 차량 추적 방법에 관한 명령들을 실행한다. The
카메라(330)는 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하고, 생성된 복수의 이미지 프레임들을 프로세서(310)로 전달한다. 프로세서(310)는 생성된 복수의 이미지 프레임들을 분석하여 차량을 추적하고, 추적된 차량이 주차장의 입구, 또는 출구의 특정 위치에 차량이 도달한 것을 인지한다. 구체적인 차량 추적 방법은 뒤에서 자세히 설명될 것이다. 이하, 차량 번호 인식기(300)의 동작은 프로세서(310)의 동작으로 이해될 수 있다. The
통신 모듈(340)은 주차 관제 서버(143)와 네트워크를 통해 통신할 수 있다. The
도 7은 도 1에 도시된 시스템에서 차량의 주차장 진입 동작을 설명하기 위한 흐름도를 나타낸다. 도 7에서는 도 1에 도시된 출구 무인 정산 시스템을 예를 들어 설명하였으나, 도 7에서 설명하는 차량의 주차장 진입 동작은 도 2 내지 도 4에 도시된 사전 무인 정산 시스템, 유인 정산 시스템, 및 출입 통제 시스템에서도 동일, 또는 유사하게 적용될 수 있다. 7 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 . In FIG. 7, the unmanned exit settlement system shown in FIG. 1 has been described as an example, but the operation of entering the parking lot of the vehicle described in FIG. 7 is the pre-unmanned settlement system, manned settlement system, and access control shown in FIGS. 2 to 4 The same or similar application may be applied to the system.
도 1, 도 5 및 도 7을 참고하면, 차량이 주차장 입구에 접근할 때, 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 차량을 촬영하여 복수의 이미지 프레임들을 생성한다. 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 생성된 복수의 이미지 프레임들을 분석하여 차량을 추적하고, 추적된 차량이 주차장의 입구의 특정 위치에 차량이 도달한 것을 인지한다. 즉, 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 차량의 진입을 감지한다(S1001). 1, 5 and 7, when the vehicle approaches the entrance to the parking lot, the first license
차량의 진입이 감지될 때, 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 생성된 복수의 이미지 프레임들 중 어느 하나에서 차량의 번호판을 인식한다(S1002). When the vehicle's entry is detected, the first
제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)에서 인식된 차량의 번호를 네트워크(201)를 통해 주차 관제 서버(143)로 전송한다(S1003). The number of the vehicle recognized by the first
제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)는 차량의 번호를 인식하고, 제1차단기(10)를 열도록 제1차단기(10)를 제어한다(S1004). 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)의 제어에 따라 제1차단기(10)가 열리고, 차량이 진입한다. The first
도 8은 도 1에 도시된 시스템에서 차량의 주차장 진출 동작을 설명하기 위한 흐름도를 나타낸다. 도 8에서 설명하는 차량의 주차장 진출 동작은 도 2 내지 도 4에 도시된 사전 무인 정산 시스템, 유인 정산 시스템, 및 출입 통제 시스템에서도 동일, 또는 유사하게 적용될 수 있다. FIG. 8 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1 . The operation of entering the parking lot of the vehicle described in FIG. 8 may be the same or similarly applied to the advance unmanned settlement system, the manned settlement system, and the access control system shown in FIGS. 2 to 4 .
도 1, 도 5, 및 도 8을 참고하면, 차량이 주차장 출구로 진입할 때, 제3차량 번호 인식기(60)는 차량을 촬영하여 복수의 이미지 프레임들을 생성한다. 제3차량 번호 인식기(60)는 생성된 복수의 이미지 프레임들을 분석하여 차량을 추적하고, 추적된 차량이 주차장의 출구의 특정 위치에 차량이 도달한 것을 인지한다. 즉, 제3차량 번호 인식기(60)는 차량의 진출을 감지한다(S2001). 1, 5, and 8, when the vehicle enters the parking lot exit, the third license
차량의 진출이 감지될 때, 제3차량 번호 인식기(60)는 생성된 복수의 이미지 프레임들 중 어느 하나에서 차량의 번호판을 인식한다(S2002).When the advance of the vehicle is detected, the third
제3차량 번호 인식기(60)에서 인식된 차량의 번호를 네트워크(201)를 통해 주차 관제 서버(143)로 전송한다(S2003).The third
주차 관제 서버(143)는 제1차량 번호 인식기(20), 또는 제2차량 번호 인식기(30)에서 전송된 차량의 번호과, 제3차량 번호 인식기(60)에서 전송된 차량의 번호를 매칭하고, 차량의 정차 시간에 따라 주차 요금을 계산한다(S2004). 이때, 웹할인 서버(147)는 차량의 정보에 따라 주차 요금의 할인을 결정할 수 있다. 웹할인 서버(147)에서 결정된 할인에 따라 주차 관제 서버(143)는 최종 주차 요금을 계산할 수 있다. The parking control server 143 matches the number of the vehicle transmitted from the first
주차 관제 서버(143)는 계산된 주차 요금을 출구 무인 요금 정산기(70)로 전송한다(S2005).The parking control server 143 transmits the calculated parking fee to the unmanned exit fee setter 70 (S2005).
출구 무인 요금 정산기(70)는 디스플레이(미도시)를 포함한다. 상기 디스플레이에는 주차 요금이 표시되고, 출구 무인 요금 정산기(70)는 차량의 운전자가 카드, 또는 현금으로 주차 요금을 정산할 때까지 대기한다(S2006).The unmanned exit
차량의 운전자가 주차 요금을 정산하면, 출구 무인 요금 정산기(70)는 주차 관제 서버(143)로 정산이 처리되었음을 의미하는 이벤트 신호를 전송한다(S2007). When the driver of the vehicle settles the parking fee, the exit
주차 요금이 정산된 후, 출구 무인 요금 정산기(70)는 제2차단기(11)를 열도록 제2차단기(11)를 제어한다(S2008). 출구 무인 요금 정산기(70)의 제어에 따라 제2차단기(11)가 열리고, 차량이 출차한다. After the parking fee is settled, the exit
이하, 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)에서 생성된 복수의 이미지 프레임들을 분석하여, 차량을 추적하는 구체적인 방법에 대해 설명된다. Hereinafter, a specific method of tracking a vehicle by analyzing a plurality of image frames generated by the first
도 9는 도 6에 도시된 차량 번호 인식기에 의해 촬영된 복수의 이미지 프레임들을 나타낸다. 9 shows a plurality of image frames photographed by the vehicle number recognizer shown in FIG.
도 6과 도 9를 참고하면, 차량 번호판 인식기(300)에 포함된 카메라(330)가 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성한다. 도 9에서 차량 번호 인식기(300)에 의해 촬영된 복수의 이미지 프레임들이 도시된다. 도 9에 도시된 숫자들은 이미지 프레임들의 순서를 나타낸다. 예컨대, 302 이미지 프레임은 가장 먼저 촬영된 이미지 프레임이다. 356 이미지 프레임은 가장 늦게 촬영된 이미지 프레임이다. 6 and 9 , the
차량 번호판 인식기(300)는 도 1 내지 도 5에 도시된 시스템의 특정 위치에 고정되어 설치된다. 상기 촬영 영역은 차량 번호판 인식기(300)가 설치된 위치에서 촬영이 가능한 지역을 의미한다. 예컨대, 도 9에 도시된 이미지 프레임들에서 영역이 촬영 영역일 수 있다. The vehicle
차량 번호판 인식기(300)는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 상기 차량을 검출하고 상기 차량이 포함된 경계 박스(BX)를 생성한다. The
예컨대, 상기 딥러닝 알고리즘은 YOLOv3(You Only Look Once, Version 3)일 수 있다. 상기 차량의 검출은 상기 복수의 이미지 프레임들에서 객체인 차량을 찾는 것을 의미한다. 상기 경계 박스(bounding box; BX)는 차량인 객체의 위치를 표현하기 위한 직사각형을 의미한다. 상기 경계 박스(BX) 안에 차량이 포함된다. 도 9에 도시된 상기 복수의 이미지 프레임들에서 경계 박스(BX)는 점선의 직사각형으로 표현된다. 도 9에 도시된 상기 복수의 이미지 프레임들에서 경계 박스(BX)는 상기 복수의 이미지 프레임들마다 위치와 사이즈가 다르다. 예컨대, 302 이미지 프레임에서 경계 박스(BX)는 오른쪽 위에 위치하며 사이즈는 상대적으로 작다. 반면, 342 이미지 프레임에서 경계 박스(BX)는 이미지 프레임의 가운데 위치하며, 사이즈는 상대적으로 크다. 도 9에서 "BX"는 326 이미지 프레임의 경계 박스에만 표시되었으나, 나머지 이미지 프레임들에서 경계 박스도 "BX"로 표현될 수 있다. For example, the deep learning algorithm may be YOLOv3 (You Only Look Once, Version 3). The detection of the vehicle means finding a vehicle that is an object in the plurality of image frames. The bounding box (BX) means a rectangle for expressing the location of an object that is a vehicle. A vehicle is included in the bounding box BX. In the plurality of image frames illustrated in FIG. 9 , the bounding box BX is represented by a dotted rectangle. In the plurality of image frames illustrated in FIG. 9 , the position and size of the bounding box BX are different for each of the plurality of image frames. For example, in the 302 image frame, the bounding box BX is located on the upper right and has a relatively small size. On the other hand, in the 342 image frame, the bounding box BX is located in the center of the image frame and has a relatively large size. In FIG. 9, "BX" is displayed only in the bounding box of the 326 image frame, but the bounding box may also be expressed as "BX" in the remaining image frames.
상기 차량의 추적이란 상기 복수의 이미지 프레임들 각각에서 검출된 차량이 동일한 차량인지 판단하고, 차량의 진행 방향을 판단하는 것을 의미한다. The tracking of the vehicle means determining whether the vehicle detected in each of the plurality of image frames is the same vehicle and determining the traveling direction of the vehicle.
차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 경계 박스(BX)의 위치와 사이즈를 추정한다. 예컨대, 차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 첫 번째 이미지 프레임에서 네 번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 다섯 번째 이미지 프레임에서 경계 박스(BX)의 위치와 사이즈를 추정한다. 상기 이미지 프레임들은 첫 번째 이미지 프레임, 두 번째 이미지 프레임, 세 번째 이미지 프레임, 및 네 번째 이미지 프레임을 포함한다. 차량 번호판 인식기(300)는 다섯 번째 이미지 프레임을 가지고 있다. 하지만, 차량 번호판 인식기(300)는 다섯 번째 이미지 프레임을 이용하지 않고, 상기 첫 번째 이미지 프레임, 상기 두 번째 이미지 프레임, 상기 세 번째 이미지 프레임, 및 상기 네 번째 이미지 프레임을 이용하여 다섯 번째 이미지 프레임에서 경계 박스(BX)의 위치와 사이즈를 추정한다.The vehicle
도 10은 경계 박스의 위치 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들에서의 복수의 경계 박스들을 나타낸다. FIG. 10 illustrates a plurality of bounding boxes in the plurality of image frames shown in FIG. 9 in order to explain an operation of estimating the position of the bounding box.
도 6, 도 9, 및 도 10을 포함하면, 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스(BX)의 위치를 추정하는 동작은 구체적으로 아래의 동작들과 같다. 6, 9, and 10, by using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames ( The operation of estimating the position of the bounding box BX in the t+1)-th image frame is specifically the same as the following operations.
차량 번호판 인식기(300)는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 차량의 중심 위치의 위치 변화율을 이용하여 제1가속 파라미터를 계산한다. 상기 차량의 중심 위치란 차량의 번호판 영역 중 특정 위치, 차량의 헤드 램프, 차량의 로고, 또는 차량의 앞바퀴 등 차량의 특정 위치를 의미한다. 상기 차량의 중심 위치는 사용자에 따라 다양하게 설정될 수 있다. 상기 차량의 중심 위치는 상기 경계 박스(BX)의 중심 위치가 된다. 상기 제1가속 파라미터는 상기 차량의 중심 위치의 위치 변화율에 비례하여 변화되는 값이다. The
상기 차량의 중심 위치의 위치 변화율이란 상기 (t-3)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dxt-2)에 대한, 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dxt-1)의 비율(dxt-1/dxt-2), 또는 상기 (t-3)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dyt-2)에 대한, 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dyt-1)의 비율(dyt-1/dyt-2)을 의미한다. The rate of change of the position of the center position of the vehicle is the difference (dx t- ) between the x-coordinate of the center position of the vehicle in the (t-3)-th image frame and the x-coordinate of the center position of the vehicle in the (t-2)-th image frame. 2 ), the ratio of the difference (dx t-1 ) between the x-coordinate of the vehicle's center position in the (t-2)-th image frame and the x-coordinate of the vehicle's center position in the (t-1)-th image frame (dx t-1 /dx t-2 ), or between the y-coordinate of the vehicle's center position in the (t-3)-th image frame and the y-coordinate of the vehicle's center position in the (t-2)-th image frame For the difference (dy t-2 ), the difference (dy) between the y-coordinate of the center position of the vehicle in the (t-2)-th image frame and the y-coordinate of the center position of the vehicle in the (t-1)-th image frame t-1 ) means the ratio (dy t-1 /dy t-2 ).
예컨대, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C4(x,y)) 중 x 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 x 좌표 사이의 차이(dx5)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 x 좌표 사이의 차이(dx6)의 비율(dx6/dx5)을 의미한다. 또한, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C4(x,y)) 중 y 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 y 좌표 사이의 차이(dy5)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 y 좌표 사이의 차이(dy6)의 비율(dy6/dy5)을 의미한다. For example, the rate of change of the position of the center position of the vehicle in FIG. 10 is the x coordinate of the center position C 4 (x,y) of the vehicle in the fourth image frame IF4 and the center of the vehicle in the fifth image frame IF5 in FIG. 10 . For the difference (dx 5 ) between the x-coordinates of the position (C 5 (x,y)), the x-coordinate of the vehicle's center position (C 5 (x,y)) in the fifth image frame (IF5) and the sixth It means the ratio (dx 6 /dx 5 ) of the difference (dx 6 ) between the x coordinates among the center positions (C 6 (x,y)) of the vehicle in the image frame (IF6). In addition, the rate of change of the position of the center position of the vehicle in FIG. 10 is the y coordinate of the vehicle center position C 4 (x,y) in the fourth image frame IF4 and the center of the vehicle in the fifth image frame IF5 in FIG. 10 . For the difference (dy 5 ) between the y coordinates of the position (C 5 (x,y)), the y coordinate and the sixth of the vehicle's center position (C 5 (x,y)) in the fifth image frame (IF5) It means the ratio (dy 6 /dy 5 ) of the difference (dy 6 ) between the y coordinates among the center positions (C 6 (x,y)) of the vehicle in the image frame (IF6).
또한, 상기 차량의 중심 위치의 위치 변화율이란 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dxt-1)에 대한, 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표와 상기 t번째 이미지 프레임에서 차량의 중심 위치 중 x 좌표 사이의 차이(dxt)의 비율(dxt/dxt-1), 또는 상기 (t-2)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dyt-1)에 대한, 상기 (t-1)번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표와 상기 t번째 이미지 프레임에서 차량의 중심 위치 중 y 좌표 사이의 차이(dyt)의 비율(dyt/dyt-1)을 의미한다. In addition, the rate of change of the position of the center position of the vehicle is the difference (dx t ) between the x-coordinate of the center position of the vehicle in the (t-2)-th image frame and the x-coordinate of the center position of the vehicle in the (t-1)-th image frame. −1 ), the ratio (dx t / dx t-1 ), or the difference (dy t-1 ) between the y-coordinate of the vehicle's center position in the (t-2)-th image frame and the y-coordinate of the vehicle's center position in the (t-1)-th image frame ), the ratio (dy t /dy t ) of the difference (dy t ) between the y-coordinate of the vehicle's center position in the (t-1)-th image frame and the y-coordinate of the vehicle's center position in the t-th image frame. -1 ) means.
예컨대, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 x 좌표 사이의 차이(dx6)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 x 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C7(x,y)) 중 x 좌표 사이의 차이(dx7)의 비율(dx7/dx6)을 의미한다. 또한, 상기 차량의 중심 위치의 위치 변화율은 도 10에서 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 y 좌표 사이의 차이(dy6)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 y 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C7(x,y)) 중 y 좌표 사이의 차이(dy7)의 비율(dy7/dy6)을 의미한다. For example, the rate of change of the position of the center position of the vehicle in FIG. 10 is the x-coordinate of the center position C 5 (x,y) of the vehicle in the fifth image frame IF5 and the center of the vehicle in the sixth image frame IF6 in FIG. The x-coordinate and the seventh of the vehicle's center position (C 6 (x,y)) in the sixth image frame (IF6), for the difference (dx 6 ) between the x-coordinates of the position (C 6 (x,y)) It means the ratio (dx 7 /dx 6 ) of the difference (dx 7 ) between the x coordinates among the center positions (C 7 (x,y)) of the vehicle in the image frame (IF7). In addition, the rate of change of the position of the center position of the vehicle in FIG. 10 is the y coordinate of the center position C 5 (x,y) of the vehicle in the fifth image frame IF5 and the center of the vehicle in the sixth image frame IF6 in FIG. The y coordinate and the seventh of the vehicle's center position (C 6 (x,y)) in the sixth image frame (IF6) for the difference (dy 6 ) between the y coordinates of the position (C 6 (x,y)) It means the ratio (dy 7 /dy 6 ) of the difference (dy 7 ) between the y coordinates among the center positions (C 7 (x,y)) of the vehicle in the image frame (IF7).
제1가속 파라미터는 아래의 수학식들과 같이 계산될 수 있다. The first acceleration parameter may be calculated by the following equations.
[수학식 1][Equation 1]
ax=p*(dxt/dxt-1)+(1-p)*(dxt-1/dxt-2)a x =p*(d xt /d xt-1 )+(1-p)*(d xt-1 /d xt-2 )
[수학식 2][Equation 2]
ay=p*(dyt/dyt-1)+(1-p)*(dyt-1/dyt-2)a y =p*(d yt /d yt-1 )+(1-p)*(d yt-1 /d yt-2 )
상기 ax, 또는 상기 ay는 제1가속 파라미터를, 상기 p는 0과 1 사이의 숫자를, 상기 (dxt/dxt-1), 또는 상기 (dxt-1/dxt-2)는 상기 차량의 중심 위치의 위치 변화율을 의미한다. 일반적으로 상기 p는 0.5 이상의 숫자로 설정된다. 예컨대, 상기 p는 0.7일 수 있다. 상기 p가 0.5 이상의 숫자로 설정됨으로써, 최근의 위치 변화율이 더 크게 반영될 수 있다. The a x , or the a y is the first acceleration parameter, the p is a number between 0 and 1, the (d xt /d xt-1 ), or the (d xt-1 /d xt-2 ) denotes a rate of change of the position of the center position of the vehicle. In general, the p is set to a number equal to or greater than 0.5. For example, p may be 0.7. By setting the p to a number greater than or equal to 0.5, the recent rate of change of position may be more largely reflected.
예컨대, 제1가속 파라미터(ax, 또는 ay)는 아래의 수학식들과 같이 계산될 수 있다. For example, the first acceleration parameter (a x , or a y ) may be calculated as in the following equations.
[수학식 3][Equation 3]
ax=0.7*(dx7/dx6)+(1-0.7)*(dx6/dx5)a x =0.7*(d x7 /d x6 )+(1-0.7)*(d x6 /d x5 )
[수학식 4][Equation 4]
ay=0.7*(dy7/dy6)+(1-0.7)*(dy6/dy5)a y =0.7*(d y7 /d y6 )+(1-0.7)*(d y6 /d y5 )
이때, 상기 p는 0.7이며, 상기 (dx7/dx6)는 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 x 좌표 사이의 차이(dx6)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 x 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C7(x,y)) 중 x 좌표 사이의 차이(dx7)의 비율(dx7/dx6)을 의미한다. 상기 (dx6/dx5)는 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C4(x,y)) 중 x 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 x 좌표 사이의 차이(dx5)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 x 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 x 좌표 사이의 차이(dx6)의 비율(dx6/dx5)을 의미한다. 상기 (dy7/dy6)는 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 y 좌표 사이의 차이(dy6)에 대한, 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 y 좌표와 일곱 번째 이미지 프레임(IF7)에서 차량의 중심 위치(C7(x,y)) 중 y 좌표 사이의 차이(dy7)의 비율(dy7/dy6)을 의미한다. 상기 (dy6/dy5)는 네 번째 이미지 프레임(IF4)에서 차량의 중심 위치(C4(x,y)) 중 y 좌표와 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 y 좌표 사이의 차이(dy5)에 대한, 다섯 번째 이미지 프레임(IF5)에서 차량의 중심 위치(C5(x,y)) 중 y 좌표와 여섯 번째 이미지 프레임(IF6)에서 차량의 중심 위치(C6(x,y)) 중 y 좌표 사이의 차이(dy6)의 비율(dy6/dy5)을 의미한다. In this case, p is 0.7, and (d x7 /d x6 ) is the x coordinate of the vehicle center position (C 5 (x,y)) in the fifth image frame IF5 and the sixth image frame IF6. The x-coordinate of the vehicle's center position (C 6 (x,y)) in the sixth image frame (IF6) for the difference (dx 6 ) between the x-coordinates of the vehicle's center position (C 6 (x,y)) and the ratio (dx 7 /dx 6 ) of the difference (dx 7 ) between the x coordinates among the center positions (C 7 (x,y)) of the vehicle in the seventh image frame (IF7). The (d x6 /d x5 ) is the x-coordinate of the vehicle's center position (C 4 (x,y)) in the fourth image frame (IF4) and the vehicle's center position (C 5 ( the x-coordinate of the vehicle's center position (C 5 (x,y)) in the fifth image frame (IF5) and the sixth image frame (IF6) for the difference (dx 5 ) between the x-coordinates in x,y)) It means the ratio (dx 6 /dx 5 ) of the difference (dx 6 ) between the x-coordinates among the center positions (C 6 (x,y)) of the vehicle. The (d y7 /d y6 ) is the y-coordinate of the vehicle's center position (C 5 (x,y)) in the fifth image frame (IF5) and the vehicle's center position (C 6 ( The y coordinate of the vehicle's center position (C 6 (x,y)) in the sixth image frame (IF6) and the seventh image frame (IF7) for the difference (dy 6 ) between the y coordinates in x,y)) It means the ratio (dy 7 /dy 6 ) of the difference (dy 7 ) between the y coordinates among the center positions (C 7 (x,y)) of the vehicle in . The (d y6 /d y5 ) is the y coordinate of the vehicle's center position (C 4 (x,y)) in the fourth image frame (IF4) and the vehicle's center position (C 5 ( the y-coordinate of the vehicle's center position (C 5 (x,y)) in the fifth image frame (IF5) and the sixth image frame (IF6) for the difference (dy 5 ) between the y-coordinates in x,y)) It means the ratio (dy 6 /dy 5 ) of the difference (dy 6 ) between the y coordinates among the center positions (C 6 (x,y)) of the vehicle in .
차량 번호판 인식기(300)는 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치(Ct(x,y)), (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct-1(x,y)), 및 상기 제1가속 파라미터(ax, 또는 ay)를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct+1(x,y))를 추정한다. 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct+1(x,y))는 아래의 수학식들과 같이 계산될 수 있다. The
[수학식 5] [Equation 5]
CXt+1=CXt+ax(CXt-1-CXt)CX t+1 =CX t +a x (CX t-1 -CX t )
[수학식 6][Equation 6]
CYt+1=CYt+ay(CYt-1-CYt)CY t+1 =CY t +a y (CY t-1 -CY t )
상기 CXt+1 , 상기 CXt, 및 상기 CXt-1는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct+1(x,y))에서 X 좌표, 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치(Ct(x,y))에서 X 좌표, 및 상기 (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct-1(x,y))에서 X 좌표를 의미한다. 상기 ax는 상기 수학식 1에 의해 계산된 제1가속 파라미터를 의미한다. 상기 CYt+1 , 상기 CYt, 및 상기 CYt-1는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct+1(x,y))에서 Y 좌표, 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치(Ct(x,y))에서 Y 좌표, 및 상기 (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct-1(x,y))에서 Y 좌표를 의미한다. 상기 ay는 상기 수학식 2에 의해 계산된 제1가속 파라미터를 의미한다. The CX t+1 , the CX t , and the CX t-1 are X coordinate at the center position (C t+1 (x,y)) of the vehicle in the (t+1)-th image frame, and the center position (C t (x,y)) of the vehicle in the t-th image frame The X coordinate in , and the (t-1)-th image frame, means the X coordinate at the center position (C t-1 (x,y)) of the vehicle. The a x denotes the first acceleration parameter calculated by
예컨대, 여덟 번째 이미지 프레임(IF8)에서 상기 차량의 중심 위치(C8(x,y))는 일곱 번째 이미지 프레임(IF7)에서 상기 차량의 중심 위치(C7(x,y)), 여섯 번째 이미지 프레임(IF6)에서 상기 차량의 중심 위치(C6(x,y)), 및 상기 제1가속 파라미터(ax, 또는 ay)를 이용하여 추정된다. 즉, 아래의 수학식들과 같이 계산될 수 있다. For example, the center position C 8 (x,y) of the vehicle in the eighth image frame IF8 is the center position C 7 (x,y)) of the vehicle in the seventh image frame IF7, the sixth It is estimated using the center position C 6 (x,y)) of the vehicle in the image frame IF6 and the first acceleration parameter a x , or a y . That is, it can be calculated as in the following equations.
[수학식 7] [Equation 7]
CX8=CX7+ax(CX6-CX7)CX 8 =CX 7 +a x (CX 6 -CX 7 )
[수학식 8][Equation 8]
CY8=CY7+ay(CY6-CY7)CY 8 =CY 7 +a y (CY 6 -CY 7 )
상기 CX8, 상기 CY8는 여덟 번째 이미지 프레임(IF8)에서 상기 차량의 중심 위치(C8(x,y))를 나타낸다. 상기 CX7, 상기 CY7는 일곱 번째 이미지 프레임(IF7)에서 상기 차량의 중심 위치(C7(x,y))를 나타낸다. 상기 CX6, 상기 CY6는 여섯 번째 이미지 프레임(IF6)에서 상기 차량의 중심 위치(C6(x,y))를 나타낸다. 상기 ax와 상기 ay는 수학식 3과 4에 의해 계산된 제1가속 파라미터를 의미한다. The CX 8 and CY 8 indicate the center position (C 8 (x,y)) of the vehicle in the eighth image frame IF8 . The CX 7 and the CY 7 indicate a center position (C 7 (x,y)) of the vehicle in the seventh image frame IF7 . The CX 6 and CY 6 indicate the center position (C 6 (x,y)) of the vehicle in the sixth image frame IF6 . The a x and the a y mean the first acceleration parameters calculated by
상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치(Ct+1(x,y))를 추정함으로써 경계 박스(BX)의 위치가 추정될 수 있다. The position of the bounding box BX may be estimated by estimating the center position (C t+1 (x,y)) of the vehicle in the (t+1)-th image frame.
도 11은 경계 박스의 사이즈 추정 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다. FIG. 11 illustrates a portion of a plurality of image frames shown in FIG. 9 to describe an operation of estimating the size of a bounding box.
도 6, 도 9, 및 도 11을 포함하면, 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스(BX)의 사이즈를 추정하는 동작은 구체적으로 아래의 동작들과 같다. 6, 9, and 11, using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames ( The operation of estimating the size of the bounding box BX in the t+1)-th image frame is specifically the same as the following operations.
차량 번호판 인식기(300)는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 경계 박스의 사이즈 변화율을 이용하여 제2가속 파라미터를 계산한다. 상기 제2가속 파라미터는 상기 경계 박스의 사이즈 변화율에 비례하는 값이다. The
상기 경계 박스의 사이즈 변화율이란 (t-2)번째 이미지 프레임에서 경계 박스의 폭(OWt-2)에 대한 (t-1)번째 이미지 프레임에서 경계 박스의 폭(OWt-1)의 비율(OWt-1/OWt-2), 또는 상기 (t-2)번째 이미지 프레임에서 경계 박스의 높이(OHt-2)에 대한 상기 (t-1)번째 이미지 프레임에서 경계 박스의 높이(OHt-1)의 비율(OHt-1/OHt-2)을 의미한다. The rate of change in the size of the bounding box is the ratio of the width (OW t-1 ) of the bounding box in the (t-1)-th image frame to the width (OW t-2 ) of the bounding box in the (t-2)-th image frame ( OW t-1 /OW t-2 ), or the height (OH) of the bounding box in the (t-1)-th image frame relative to the height (OH t-2 ) of the bounding box in the (t-2)-th image frame t-1 ) means the ratio (OH t-1 /OH t-2 ).
예컨대, 상기 경계 박스의 사이즈 변화율은 도 11에서 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 폭(OWt-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OWt-1)의 비율(OWt-1/OWt-2), 또는 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 높이(OHt-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OHt-1)의 비율(OHt-1/OHt-2)을 의미한다. For example, the rate of change in the size of the bounding box is the width (OW t- 1 ) of the bounding box in the sixth image frame (IF6) with respect to the width (OW t-2 ) of the bounding box in the fifth image frame (IF5) in FIG. 11 . is the ratio of (OW t-1 /OW t-2 ), or the height of the bounding box (OH t) in the sixth image frame (IF6) to the height (OH t -2 ) of the bounding box in the fifth image frame (IF5). -1 ) means the ratio (OH t-1 /OH t-2 ).
또한, 상기 경계 박스의 사이즈 변화율이란 상기 (t-1)번째 이미지 프레임에서 경계 박스의 폭(OWt-1)에 대한 상기 t번째 이미지 프레임에서 경계 박스의 폭(OWt)의 비율(OWt/OWt-1), 또는 상기 (t-1)번째 이미지 프레임에서 경계 박스의 높이(OHt-1)에 대한 상기 t번째 이미지 프레임에서 경계 박스의 높이(OHt)의 비율(OHt/OHt-1)을 의미한다. In addition, the rate of change in the size of the bounding box is a ratio (OW t ) of the width (OW t ) of the bounding box in the t-th image frame to the width (OW t-1 ) of the bounding box in the (t-1)-th image frame. /OW t-1 ), or the ratio of the height (OH t ) of the bounding box in the t-th image frame to the height (OH t-1 ) in the (t-1)-th image frame (OH t / OH t-1 ).
예컨대, 상기 경계 박스의 사이즈 변화율은 도 11에서 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OWt-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 폭(OWt)의 비율(OWt/OWt-1), 또는 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OHt-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 높이(OHt)의 비율(OHt/OHt-1)을 의미한다. For example, the rate of change in the size of the bounding box is the ratio of the width OW t of the bounding box in the seventh image frame IF7 to the width OW t-1 of the bounding box in the sixth image frame IF6 in FIG. 11 . (OW t /OW t-1 ), or the ratio of the height (OH t ) of the bounding box in the seventh image frame (IF7) to the height (OH t-1 ) in the sixth image frame (IF6) ( OH t /OH t-1 ).
제2가속 파라미터는 아래의 수학식들과 같이 계산될 수 있다. The second acceleration parameter may be calculated by the following equations.
[수학식 9][Equation 9]
aw=p*(OWt/OWt-1)+(1-p)*(OWt-1/OWt-2)a w =p*(OW t /OW t-1 )+(1-p)*(OW t-1 /OW t-2 )
[수학식 10][Equation 10]
ah=p*(OHt/OHt-1)+(1-p)*(OHt-1/OHt-2)a h =p*(OH t /OH t-1 )+(1-p)*(OH t-1 /OH t-2 )
상기 aw, 또는 상기 ah는 상기 제2가속 파라미터를, 상기 p는 0과 1 사이의 숫자를, 상기 (OHt/OHt-1), 상기 (OWt-1/OWt-2)는 상기 경계 박스의 폭의 비율을, 상기 (OHt/OHt-1), 또는 상기 (OHt-1/OHt-2)는 상기 경계 박스의 높이의 비율을 의미한다. The a w , or the a h is the second acceleration parameter, the p is a number between 0 and 1, the (OH t /OH t-1 ), the (OW t-1 /OW t-2 ) denotes a ratio of the width of the bounding box, and (OH t /OH t-1 ) or (OH t-1 /OH t-2 ) denotes a ratio of the height of the bounding box.
예컨대, 제2가속 파라미터(aw, 또는 ah)는 아래의 수학식들과 같이 계산될 수 있다. For example, the second acceleration parameter (a w , or a h ) may be calculated as in the following equations.
[수학식 11][Equation 11]
aw=0.7*(OWt/OWt-1)+(1-0.7)*(OWt-1/OWt-2)a w =0.7*(OW t /OW t-1 )+(1-0.7)*(OW t-1 /OW t-2 )
[수학식 12][Equation 12]
ah=0.7*(OHt/OHt-1)+(1-0.7)*(OHt-1/OHt-2)a h =0.7*(OH t /OH t-1 )+(1-0.7)*(OH t-1 /OH t-2 )
이때, 상기 p는 0.7이며, 상기 (OWt/OWt-1)는 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OWt-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 폭(OWt)의 비율(OWt/OWt-1)을, 상기 (OWt-1/OWt-2)는 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 폭(OWt-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 폭(OWt-1)의 비율(OWt-1/OWt-2)을, 상기 (OHt/OHt-1)는 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OHt-1)에 대한 일곱 번째 이미지 프레임(IF7)에서 경계 박스의 높이(OHt)의 비율(OHt/OHt-1)을, 상기 (OHt-1/OHt-2)는 다섯 번째 이미지 프레임(IF5)에서 경계 박스의 높이(OHt-2)에 대한 여섯 번째 이미지 프레임(IF6)에서 경계 박스의 높이(OHt-1)의 비율(OHt-1/OHt-2)을 의미한다. In this case, the p is 0.7, and the (OW t /OW t-1 ) is the width of the bounding box in the sixth image frame IF6 (OW t-1 ) of the bounding box in the seventh image frame IF7. The ratio (OW t /OW t-1 ) of the width (OW t ), where (OW t-1 /OW t-2 ) is the width (OW t-2 ) of the bounding box in the fifth image frame (IF5) For the ratio (OW t-1 /OW t-2 ) of the width of the bounding box (OW t-1 ) in the sixth image frame (IF6), (OH t /OH t-1 ) is the sixth image frame ( The ratio (OH t /OH t-1 ) of the height (OH t ) of the bounding box in the seventh image frame (IF7) to the height (OH t-1 ) of the bounding box in IF6) above (OH t-1 ) /OH t-2 ) is the ratio (OH t ) of the height of the bounding box in the sixth image frame (IF6) (OH t-1 ) to the height of the bounding box in the fifth image frame (IF5) (OH t-2 ) -1 /OH t-2 ).
차량 번호판 인식기(300)는 상기 t번째 이미지 프레임에서 상기 차량의 경계 박스 사이즈와 상기 제2가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈를 추정한다. 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈는 아래의 수학식들과 같이 추정된다. The
[수학식 13][Equation 13]
OWt+1=OWt*aw OW t+1 =OW t *a w
[수학식 14][Equation 14]
OHt+1=OHt*ah OH t+1 =OH t *a h
상기 OWt+1, 상기 OHt+1는 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 폭과 높이를, 상기 OWt, 상기 OHt는 상기 t번째 이미지 프레임에서 상기 경계 박스의 폭과 높이를, 상기 aw, 상기 ah는 제2가속 파라미터를 의미한다. The OW t+1 and the OH t+1 are the width and height of the bounding box in the (t+1)-th image frame, and the OW t , the OH t are the widths of the bounding box in the t-th image frame. and height, a w , and a h mean a second acceleration parameter.
예컨대, 상기 OWt+1, 상기 OHt+1는 여덟 번째 이미지 프레임(IF8)에서 경계 박스의 폭과 높이를 나타낼 수 있다. 상기 OWt, 상기 OHt는 일곱 번째 이미지 프레임에서 상기 경계 박스의 폭과 높이를 나타낸다. 상기 aw, 상기 ah는 수학식 11과 수학식 12에 의해 계산된 제2가속 파라미터를 나타낸다. For example, the OW t+1 and the OH t+1 may indicate the width and height of the bounding box in the eighth image frame IF8. The OW t and OH t represent the width and height of the bounding box in the seventh image frame. The a w and a h represent the second acceleration parameter calculated by
도 12는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작을 설명하기 위한 개념도를 나타낸다. 12 is a conceptual diagram illustrating a similarity calculation operation between a bounding box generated in the (t+1)-th image frame and an estimated bounding box.
도 6, 도 9, 및 도 12를 포함하면, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TB) 사이의 유사도를 계산한다. 생성된 경계 박스(DB)란 도 9에서 설명한 딥러닝 알고리즘을 이용하여 (t+1)번째 이미지 프레임에서 생성된 경계 박스를 의미한다. 추정된 경계 박스(TB)란 도 10과 도 11을 통해 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TB)를 의미한다. 6, 9, and 12, the
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TB)의 유사도(IoU)는 상기 생성된 경계 박스(DB)와 상기 추정된 경계 박스(TB)와 합에 대한 상기 생성된 경계 박스(DB)와 상기 추정된 경계 박스(TB)의 중첩 영역으로 계산된다. The similarity (IoU) between the bounding box DB generated in the (t+1)-th image frame and the bounding box estimated in the (t+1)-th image frame (TB) is the generated bounding box DB and the estimated bounding box TB and an overlap area of the generated bounding box DB and the estimated bounding box TB for the sum.
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스가 완전히 오버랩될 때, 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TB)의 유사도(IoU)는 1이다. 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스가 완전히 오버랩되지 않을 때, 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TB)의 유사도(IoU)는 0이다. When the bounding box DB generated in the (t+1)th image frame and the bounding box estimated in the (t+1)th image frame completely overlap, the generated bounding box in the (t+1)th image frame The similarity IoU between the bounding box DB and the bounding box TB estimated in the (t+1)-th image frame is 1. When the bounding box DB generated in the (t+1)-th image frame and the bounding box estimated in the (t+1)-th image frame do not completely overlap, it is generated in the (t+1)-th image frame The similarity IoU between the bounding box DB and the bounding box TB estimated in the (t+1)-th image frame is zero.
도 13은 도 12에서 설명된 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 동작을 설명하기 위해 도 9에 도시된 복수의 이미지 프레임들 중 일부를 나타낸다. FIG. 13 is one of the plurality of image frames shown in FIG. 9 to explain an operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity described in FIG. 12 . represents some
도 6, 도 9, 도 12, 및 도 13을 포함하면, 차량 번호판 인식기(300)는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시킨다. 매칭시키는 이유는 상기 생성된 경계 박스에 포함된 차량과 상기 추정된 경계 박스에 포함된 차량이 같은 차량인지 판단하기 위함이다. 즉, 차량을 추적하기 위함이다. 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 동작은 구체적으로 아래의 동작들과 같다. 6, 9, 12, and 13, the
차량 번호판 인식기(300)는 상기 유사도에 대한 비용 행렬(cost matrix)을 계산한다. 상기 비용 행렬은 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스 사이(TBXj)의 유사도(IoU)에 따른 값을 엘리먼트로 하는 행렬을 의미한다. The
상기 비용 행렬에 대한 엘리먼트는 아래의 수학식과 같이 계산될 수 있다. The element for the cost matrix may be calculated as shown in the following equation.
[수학식 15][Equation 15]
Cij=1-IoU(i, j)C ij =1-IoU(i, j)
상기 Cij는 상기 비용 행렬에 대한 엘리먼트를, 상기 IoU는 상기 (t+1)번째 이미지 프레임에서 생성된 i번째 경계 박스(DBXi)와 상기 (t+1)번째 이미지 프레임에서 추정된 j번째 경계 박스(TBXj) 사이의 유사도를 의미한다. 상기 i와 상기 j는 자연수이다. The C ij denotes an element for the cost matrix, and IoU denotes the i-th bounding box DBXi generated in the (t+1)-th image frame and the j-th boundary estimated in the (t+1)-th image frame. It means the similarity between boxes (TBXj). The i and j are natural numbers.
상기 (t+1)번째 이미지 프레임(IFn)에서 하나의 생성된 경계 박스(DBX1)와 하나의 추정된 경계 박스(TBX1)가 포함될 수 있다. 이때, 도 13에서 생성된 나머지 경계 박스들(DBX2~DBXi)와 추정된 나머지 경계 박스들(TBX2~TBXj)은 없는 것으로 생각하여야 한다. 상기 n은 자연수이다. 상기 (t+1)번째 이미지 프레임(IFn)에서 하나의 생성된 경계 박스(DBX1)와 하나의 추정된 경계 박스(TBX1)가 포함될 때, 상기 비용 행렬은 1개의 엘리먼트를 포함한다. In the (t+1)-th image frame IFn, one generated bounding box DBX1 and one estimated bounding box TBX1 may be included. In this case, it should be considered that the remaining bounding boxes DBX2 to DBXi generated in FIG. 13 and the estimated remaining bounding boxes TBX2 to TBXj are absent. n is a natural number. When one generated bounding box DBX1 and one estimated bounding box TBX1 are included in the (t+1)-th image frame IFn, the cost matrix includes one element.
실시 예에 따라 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함될 수 있다. 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함되는 경우는 여러 대의 차량들이 차량 번호판 인식기(300)에 포함된 카메라(330)의 촬영 영역에 연속해서 나타나는 경우를 의미한다. 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)의 위치와 사이즈와, 여러 개의 추정된 경계 박스들(TBX1~TBXj)의 위치와 사이즈는 다양할 수 있다. According to an embodiment, a plurality of generated bounding boxes DBX1 to DBXi and a plurality of estimated bounding boxes TBX1 to TBXj may be included in the (t+1)-th image frame IFn. In the (t+1)-th image frame IFn, when several generated bounding boxes DBX1 to DBXi and several estimated bounding boxes TBX1 to TBXj are included, several vehicles are It means a case where it continuously appears in the photographing area of the
상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함될 때, 상기 비용 행렬에 대한 엘리먼들은 복수 개이다. 이때 상기 비용 행렬은 아래의 수학식과 같이 표현될 수 있다. When several generated bounding boxes DBX1 to DBXi and several estimated bounding boxes TBX1 to TBXj are included in the (t+1)-th image frame IFn, the elements for the cost matrix are plural In this case, the cost matrix may be expressed as the following equation.
[수학식 16] [Equation 16]
상기 C는 비용 행렬을, 상기 C11에서 상기 Cij는 상기 비용 행렬의 엘리먼트들을를 나타낸다. 상기 비용 행렬은 i x j 행렬이다. Wherein C denotes a cost matrix, and in C11, Cij denotes elements of the cost matrix. The cost matrix is an i x j matrix.
상기 상기 비용 행렬의 엘리먼트인 C11은 아래의 수학식과 같이 계산될 수 있다. C 11 , which is an element of the cost matrix, may be calculated as shown in the following equation.
[수학식 17] [Equation 17]
C11=1-IoU(1,1)C 11 =1-IoU(1,1)
상기 C11는 상기 비용 행렬에 대한 엘리먼트를, 상기 IoU는 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(DBX1)와 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 첫 번째 경계 박스(TBX1) 사이의 유사도를 의미한다. 상기 C11는 0에서 1 사이의 값을 가진다. C 11 denotes an element for the cost matrix, and IoU denotes the first bounding box DBX1 generated in the (t+1)-th image frame IFn and the (t+1)-th image frame IFn. It means the similarity between the first bounding boxes (TBX1) estimated in . The C 11 has a value between 0 and 1.
상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(DBX1)와 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 두 번째 경계 박스(TBX2), 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 세 번째 경계 박스(TBX3), 또는 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 j번째 경계 박스(TBXj) 사이의 유사도가 계산될 수 있다. The first bounding box DBX1 generated in the (t+1)-th image frame IFn, the second bounding box TBX2 estimated in the (t+1)-th image frame IFn, the (t+) 1) A similarity between the third bounding box TBX3 estimated in the (t+1)-th image frame IFn or the j-th bounding box TBXj estimated in the (t+1)-th image frame IFn may be calculated. .
차량 번호판 인식기(300)는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성한다. The
상기 (t+1)번째 이미지 프레임(IFn)에서 하나의 생성된 경계 박스(DBX1)와 하나의 추정된 경계 박스(TBX1)가 포함될 때, 상기 비용 행렬에 대한 엘리먼트는 1개이다. 따라서 상기 비용 행렬은 1개의 엘리먼트만을 포함함으로 최소 벡터는 1개의 엘리먼트(예컨대, C11)가 된다. When one generated bounding box DBX1 and one estimated bounding box TBX1 are included in the (t+1)-th image frame IFn, there is one element for the cost matrix. Therefore, since the cost matrix includes only one element, the minimum vector becomes one element (eg, C 11 ).
실시 예에 따라 상기 (t+1)번째 이미지 프레임(IFn)에서 여러 개의 생성된 경계 박스들(DBX1~DBXi)과 여러 개의 추정된 경계 박스들(TBX1~TBXj)이 포함될 때, 상기 비용 행렬에 대한 엘리먼들은 복수 개이다. 이때, 상기 비용 행렬은 수학식 16과 같이 표현될 수 있다. According to an embodiment, when a plurality of generated bounding boxes DBX1 to DBXi and a plurality of estimated bounding boxes TBX1 to TBXj are included in the (t+1)-th image frame IFn, the cost matrix is There are plural of Daehan elements. In this case, the cost matrix can be expressed as
상기 비용 행렬의 각 행에서 하나의 엘리먼트만이 선택된다. 예컨대, 상기 비용 행렬의 첫 번째 행에 포함된 엘리먼트들(C11~C1j) 중 한 개의 엘리먼트(예컨대, C31)만이 선택된다. 이때, 선택된 한 개의 엘리먼트(예컨대, C31)는 상기 비용 행렬의 첫 번째 행에 포함된 엘리먼트들(C11~C1j) 중 가장 작은 값을 가지는 엘리먼트이다. 유사하게 상기 비용 행렬의 다른 행들에 대해서도 최소값을 가지는 엘리먼트들이 선택된다. 상기 최소 비용은 상기 비용 행렬의 각 행에 포함된 엘리먼트들 중에서 수학식 15에 따른 결과 값이 최소가 되는 엘리먼트를 의미한다. 예컨대, 상기 최소 벡터는 아래의 수학식과 같이 표현될 수 있다. Only one element in each row of the cost matrix is selected. For example, only one element (eg, C 31 ) from among the elements ( C 11 to C 1j ) included in the first row of the cost matrix is selected. In this case, one selected element (eg, C 31 ) is an element having the smallest value among the elements ( C 11 to C 1j ) included in the first row of the cost matrix. Similarly, elements with minimum values are selected for other rows of the cost matrix. The minimum cost means an element having a minimum result value according to Equation (15) among elements included in each row of the cost matrix. For example, the minimum vector may be expressed as the following equation.
[수학식 18] [Equation 18]
상기 M은 최소 벡터를, 상기 C1a는 상기 비용 행렬의 첫 번째 행에 포함된 엘리먼트들 중 어느 하나를, 상기 C2b는 상기 비용 행렬의 두 번째 행에 포함된 엘리먼트들 중 어느 하나를, 상기 Cic는 상기 비용 행렬의 i 번째 행에 포함된 엘리먼트들 중 어느 하나를 나타낸다. 상기 a, b, c, 또는 i는 자연수이다. M is the minimum vector, C 1a is any one of the elements included in the first row of the cost matrix, C 2b is any one of the elements included in the second row of the cost matrix, the C ic represents any one of elements included in the i-th row of the cost matrix. A, b, c, or i is a natural number.
상기 최소 비용이 임의의 문턱값보다 작을 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시킨다. 예컨대, 상기 C1a이 상기 임의의 문턱값보다 작을 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)를 서로 매칭시킨다.When the minimum cost is less than a certain threshold, the
상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)가 서로 매칭될 때, 차량 번호판 인식기(300)는 객체 목록을 업데이트하고, 객체인 차량의 위치와 크기를 출력한다. 상기 객체 목록은 차량 대수를 의미할 수 있다. 도 9를 참고하면, 차량 번호판 인식기(300)는 340번째 이미지 프레임에서 차단기를 열도록 트리거 신호를 생성한다. When the first bounding box (eg, DBX1) generated in the (t+1)-th image frame IFn and the estimated a-th bounding box (eg, TBXj) match each other, the
상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)를 서로 매칭시키는 이유는 서로 다른 이미지 프레임들에서 검출된 차량이 서로 같은 차량인지 판단하기 위함이다. 서로 다른 이미지 프레임들에서 검출된 차량이 서로 다른 차량일 수도 있다. The reason for matching the first bounding box (eg, DBX1) generated in the (t+1)-th image frame (IFn) and the estimated a-th bounding box (eg, TBXj) to each other is that detection in different image frames is This is to determine whether the vehicles are the same vehicle. Vehicles detected in different image frames may be different vehicles.
상기 최소 비용이 임의의 문턱값보다 클 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키지 않는다. 예컨대, 상기 C1a이 상기 임의의 문턱값보다 클 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 첫 번째 경계 박스(예컨대, DBX1)와 추정된 a 번째 경계 박스(예컨대, TBXj)를 서로 매칭시키지 않을 수 있다. When the minimum cost is greater than a certain threshold, the
실시 예에 따라 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스들(DBX1~DBXi)의 개수와 추정된 경계 박스들(TBX1~TBXj)의 개수는 서로 다를 수 있다. According to an embodiment, the number of bounding boxes DBX1 to DBXi generated in the (t+1)-th image frame IFn and the number of estimated bounding boxes TBX1 to TBXj may be different from each other.
상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스들(DBX1~DBXi)의 개수보다 추정된 경계 박스들(TBX1~TBXj)의 개수가 적을 때, 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스(예컨대, DBXi)와 매칭될 추정된 경계 박스가 존재하지 않을 수 있다. 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스(예컨대, DBXi)와 매칭될 추정된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 생성된 경계 박스(예컨대, DBXi)를 새로운 객체로 판단한다. 새로운 객체란 차량이 카메라(330)의 촬영 영역에 갑자기 들어온 것을 의미한다. 차량은 다양한 방향으로 카메라(330)의 촬영 영역에 들어오거나 나갈 수 있다. When the estimated number of bounding boxes TBX1 to TBXj is smaller than the number of bounding boxes DBX1 to DBXi generated in the (t+1)-th image frame IFn, the (t+1)-th image An estimated bounding box to match the bounding box (eg, DBXi) generated in the frame IFn may not exist. When the estimated bounding box to be matched with the bounding box (eg, DBXi) generated in the (t+1)-th image frame IFn does not exist, the
반대로, 상기 (t+1)번째 이미지 프레임(IFn)에서 생성된 경계 박스들(DBX1~DBXi)의 개수보다 추정된 경계 박스들(TBX1~TBXj)의 개수가 많을 때, 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 매칭될 생성된 경계 박스가 존재하지 않을 수 있다. 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 매칭될 생성된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 추정된 경계 박스를 사라진 객체로 판단한다. 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 매칭될 생성된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 미싱 카운터(missing counter)를 증가시킨다. 상기 미싱 카운터는 숫자를 세는 일반적인 카운터를 의미한다. Conversely, when the number of the estimated bounding boxes TBX1 to TBXj is greater than the number of bounding boxes DBX1 to DBXi generated in the (t+1)-th image frame IFn, the (t+1) A generated bounding box to match the bounding box (eg, TBXj) estimated in the th image frame IFn may not exist. When the generated bounding box to be matched with the bounding box (eg, TBXj) estimated in the (t+1)th image frame IFn does not exist, the
예컨대, 차량 번호판 인식기(300)는 기존의 미싱 카운트 값에 1을 증가시킬 수 있다. 상기 기존의 미싱 카운트 값이 0일 때, 상기 미싱 카운트의 값은 1이 된다. 상기 사라진 객체란 차량이 카메라(330)의 촬영 영역을 벗어남을 의미한다. For example, the
차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)를 (t+2)번째 이미지 프레임에서 생성된 경계 박스와 매칭되는지 판단하는 판단 동작을 수행한다. 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)와 (t+2)번째 이미지 프레임에서 생성된 경계 박스가 매칭되지 않을 때, 차량 번호판 인식기(300)는 상기 미싱 카운터를 증가시키는 증가 동작을 수행한다. 예컨대, 차량 번호판 인식기(300)는 기존의 카운트 값에 1을 증가시킬 수 있다. 예컨대, 차량 번호판 인식기(300)는 기존의 미싱 카운트 값에 1을 증가시킬 수 있다. 상기 기존의 미싱 카운트 값이 1일 때, 상기 미싱 카운트 값은 2가 된다. 차량 번호판 인식기(300)는 상기 미싱 카운터 값은 임의의 값과 같을 때까지 상기 판단 동작과 상기 증가 동작을 반복적으로 수행한다. The vehicle
상기 미싱 카운터 값은 임의의 값을 초과할 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임(IFn)에서 추정된 경계 박스(예컨대, TBXj)를 상기 객체 목록에서 제거한다. 즉, 차량의 대수가 감소한다. When the missing counter value exceeds a certain value, the
도 14는 본 발명의 실시 예에 따른 차량 감지를 위한 하드웨어 센서를 도로에 매립할 필요가 없는 차량 추적 동작을 설명하기 위한 흐름도를 나타낸다. 14 is a flowchart illustrating a vehicle tracking operation that does not require embedding a hardware sensor for vehicle detection in a road according to an embodiment of the present invention.
도 6 내지 도 14를 참고하면, 차량 번호판 인식기(300)에 포함된 카메라(330)가 연속해서 촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성한다(S10). 6 to 14 , the
차량 번호판 인식기(300)는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스(BX)를 생성한다(S20). The
차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스(BX)의 위치와 사이즈를 추정한다(S30). 상기 경계 박스(BX)의 위치와 상기 경계 박스(BX)의 사이즈를 추정하는 구체적인 방법은 도 10과 도 11에서 상세하게 설명되었다. The vehicle
차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DB)와 추정된 경계 박스(TB) 사이의 유사도를 계산한다(S40). 상기 유사도의 계산은 도 12에서 상세하게 설명되었다. The
차량 번호판 인식기(300)는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 추정된 경계 박스(TBXj)를 서로 매칭시킨다(S50). 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 추정된 경계 박스(TBXj)를 서로 매칭시키는 구체적인 동작들은 아래와 같다. The
차량 번호판 인식기(300)는 상기 유사도에 대한 비용 행렬을 계산한다. 상기 비용 행렬은 수학식 15와 수학식 16을 이용하여 계산될 수 있다. The
차량 번호판 인식기(300)는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성한다. 상기 최소 벡터는 상기 수학식 18을 이용하여 계산될 수 있다. The
상기 최소 비용이 임의의 문턱값보다 작을 때, 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시킨다. When the minimum cost is less than a certain threshold, the
차량 번호판 인식기(300)는 상기 매칭된 경계 박스가 미리 결정된 위치에 도달하는지 판단한다. The
차량 번호판 인식기(300)는 매칭된 경계 박스가 미리 결정된 위치에 도달하는 것이 나타난 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)에서 차단기를 열도록 트리거 신호를 생성한다(S60). 일정 이미지 프레임 이상(예컨대, 도 9에서 326번째 이미지 프레임)부터는 하나의 경계 박스만이 존재한다. 따라서 상기 326번째 이미지 프레임부터는 앞에서 언급한 경계 박스의 매칭 동작이 필요하지 않을 수 있다. 상기 미리 결정된 위치는 상기 이미지 프레임의 밑에서 일정 높이 떨어진 위치를 의미할 수 있다. The
상기 매칭된 경계 박스가 상기 미리 결정된 위치에 도달한다는 것은 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한 것으로 이해될 수 있다. 즉차량 번호판 인식기(300)는 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단한다. 상기 매칭된 경계 박스란 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스, 또는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스를 의미한다. 차량이 상기 임의의 위치에 도달한 것은 상기 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)의 분석을 통해 판단될 수 있다. 즉, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 차량 번호판 인식기(300)는 상기 차단기를 열도록 트리거 신호를 생성한다. 또한, 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 차량 번호판 인식기(300)는 상기 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)에서 차량의 번호판 영역을 추출하고 차량의 차량 번호를 인식하도록 트리거 신호를 생성할 수 있다. 상기 차량 번호를 인식하기 위한 트리거 신호와 상기 차단기를 열기 위한 트리거 신호는 서로 같은 신호일 수 있다. 실시 예에 따라 상기 차량 번호를 인식하기 위한 트리거 신호와 상기 차단기를 열기 위한 트리거 신호는 서로 다른 신호일 수 있다. 상기 차단기는 상기 차단기를 열기 위한 트리거 신호에 따라 열린다. 차량 번호판 인식기(300)는 상기 차량 번호를 인식하기 위한 트리거 신호에 따라 상기 임의의 이미지 프레임(예컨대, 340번째 이미지 프레임)에서 차량의 번호판 영역을 추출하고 상기 추출된 번호판 영역에서 차량 번호를 인식한다. 상기 차량의 차량 번호 인식 방법은 널리 알려진 일반적인 방법들이 사용될 수 있다. That the matched bounding box arrives at the predetermined position may be understood as that a vehicle included in the matched bounding box has reached an arbitrary position. That is, the vehicle
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 매칭될 추정된 경계 박스(TBXj)가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 생성된 경계 박스(BDXi)를 새로운 객체로 판단한다. When the estimated bounding box TBXj to be matched with the bounding box DBXi generated in the (t+1)th image frame does not exist, the
상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TBXj)와 매칭될 생성된 경계 박스(DBXi)가 존재하지 않을 때, 차량 번호판 인식기(300)는 상기 추정된 경계 박스(TBXj)를 사라진 객체로 판단한다. 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 차량 번호판 인식기(300)는 미싱 카운트(missing counter)를 증가시킨다. 차량 번호판 인식기(300)는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TBXj)를 (t+2)번째 이미지 프레임에서 생성된 경계 박스(DBXi)와 매칭되는지 판단한다. 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스(TBXj)와 (t+2)번째 이미지 프레임에서 생성된 경계 박스(DBXi)가 매칭되지 않을 때, 차량 번호판 인식기(300)는 상기 미싱 카운트를 증가시킨다. When the generated bounding box DBXi to match the estimated bounding box TBXj in the (t+1)th image frame does not exist, the
실시 예에 따라 상기 차량이 포함된 경계 박스(BX)를 생성한 후에(S20), 차량 번호판 인식기(300)는 상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들(예컨대, (t-3)번째 이미지 프레임 내지 t번째 이미지 프레임) 각각에서 생성된 경계 박스의 개수를 카운트한다. 예컨대, (t-3)번째 이미지 프레임에서 하나의 경계 박스만이 생성되어 1개의 경계 박스만이 카운트될 수 있다. 또한, t번째 이미지 프레임에서 하나의 경계 박스만이 생성되어 1개의 경계 박스만이 카운트될 수 있다. After generating the bounding box BX in which the vehicle is included according to an embodiment (S20), the
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들(예컨대, (t-3)번째 이미지 프레임 내지 t번째 이미지 프레임) 각각에서 2개 이상의 경계 박스들이 카운트될 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행한다. When two or more bounding boxes are counted in each of some image frames (eg, (t-3)th image frame to tth image frame) of the plurality of image frames, the vehicle
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들(예컨대, (t-3)번째 이미지 프레임 내지 t번째 이미지 프레임) 각각에서 1개의 경계 박스만이 카운트될 때, 차량 번호 인식 장치(300)는 상기 일부의 이미지 프레임들 중 첫 번째 이미지 프레임(예컨대, (t-3)번째 이미지 프레임)에서의 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임(예컨대, t번째 이미지 프레임)에서의 경계 박스의 사이즈를 비교한다. 즉, 차량 번호 인식 장치(300)는 첫 번째 이미지 프레임(예컨대, (t-3)번째 이미지 프레임)에서의 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임(예컨대, t번째 이미지 프레임)에서의 경계 박스의 사이즈의 비율을 계산한다. When only one bounding box is counted in each of some image frames (eg, (t-3) th image frame to t th image frame) of the plurality of image frames, the vehicle
상기 비교 결과의 값이 임의의 문턱값보다 작을 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 생략하고, 차량의 번호판 영역 추출 동작(S60)을 수행한다. When the value of the comparison result is smaller than a certain threshold, the vehicle
상기 비교 결과의 값이 임의의 문턱값보다 클 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행하고, 차량의 번호판 영역 추출 동작(S60)을 수행한다. 차량이 주차면에 진입할 때, 차량의 속도는 일정한 속도 이하일 것이다. 상기 비교 결과의 값이 상기 임의의 문턱값보다 큰 경우는 경계 박스의 사이즈가 갑자기 커진 경우이다. 경계 박스의 사이즈가 갑자기 커진 경우는 상기 마지막 이미지 프레임에서의 경계 박스에 포함된 것은 차량이 아닐 수 있다. 즉, 오류의 발생 가능성이 있다. 이러한 오류를 해결하기 위해 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행한다. When the value of the comparison result is greater than a certain threshold, the vehicle
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 1개의 경계 박스만이 생성될 때, 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 수행하는 것은 불필요하다. 따라서 본 발명에서는 상기 비교 결과의 값이 일정한 범위에 포함될 때, 차량 번호 인식 장치(300)는 경계 박스의 위치와 사이즈 추정 동작(S30 동작)과 생성된 경계 박스와 추정된 경계 박스 사이의 유사도 계산 동작(S40 동작), 및 생성된 경계 박스와 추정된 경계 박스의 매칭 동작(S50 동작)을 생략함으로써 차량 번호 인식 장치(300)의 연산 부담이 감소될 수 있으며, 차량 번호판 영역 추출 속도가 향상될 수 있다. When only one bounding box is generated in each of some of the plurality of image frames, an operation of estimating the position and size of the bounding box (operation S30) and calculating the similarity between the generated bounding box and the estimated bounding box It is unnecessary to perform the operation (operation S40 ) and the operation of matching the generated bounding box with the estimated bounding box (operation S50 ). Therefore, in the present invention, when the value of the comparison result is included in a certain range, the vehicle
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to an embodiment shown in the drawings, this is merely exemplary, and those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention will have to be determined by the technical spirit of the appended claims.
100: 출구 무인 정산 시스템; 110: 사전 무인 정산 시스템;
10: 제1차단기; 120: 유인 정산 시스템;
11: 제2차단기; 130: 출입 통제 시스템;
20: 제1차량 번호 인식기; 140: 서버 시스템;
30: 제2차량 번호 인식기; 200: 통합 주차 관리 시스템;
40: 경차 판별 센서; 300: 차량 번호 인식기;
50: 4면 촬영 카메라; 310: 프로세서;
60: 제3차량 번호 인식기; 320: 메모리;
70: 출금 무인 요금 정산기; 330: 카메라;
80: 출차 주의등; 340: 통신 모듈; 100: exit unattended settlement system; 110: advance unattended settlement system;
10: first breaker; 120: manned settlement system;
11: second breaker; 130: access control system;
20: first vehicle number recognizer; 140: server system;
30: a second vehicle number recognizer; 200: integrated parking management system;
40: light vehicle discrimination sensor; 300: vehicle number recognizer;
50: four-sided camera; 310: processor;
60: a third vehicle number recognizer; 320: memory;
70: Withdrawal unattended fee settlement machine; 330: camera;
80: exit warning light; 340: communication module;
Claims (9)
상기 차량 번호판 인식기는 딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하는 단계;
상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 추정 동작을 수행하는 단계;
상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하는 유사도 계산 동작을 수행하는 단계;
상기 차량 번호판 인식기는 상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 매칭 동작을 수행하는 단계;
상기 차량 번호판 인식기는 상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하는 단계;
상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하는 번호판 영역 추출 동작을 수행하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하는 단계;
상기 차량이 포함된 경계 박스가 생성된 후, 상기 차량 번호판 인식기는 상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 생성된 경계 박스의 개수를 카운트하는 단계;
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 2개 이상의 경계 박스들이 카운트될 때, 상기 차량 번호판 인식기는 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하는 단계;
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 1개의 경계 박스만이 카운트될 때, 상기 차량 번호판 인식기는 상기 일부의 이미지 프레임들 중 첫 번째 이미지 프레임에서의 상기 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임에서의 상기 경계 박스의 사이즈를 비교하는 단계;
상기 비교 결과의 값이 임의의 문턱값보다 작을 때, 상기 차량 번호판 인식기는 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 생략하고, 상기 차량의 번호판 영역 추출 동작을 수행하는 단계; 및
상기 비교 결과의 값이 상기 임의의 문턱값보다 클 때, 상기 차량 번호판 인식기는 상기 추정 동작과 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하고, 상기 번호판 영역 추출 동작을 수행하는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법.generating a plurality of image frames by continuously photographing a photographing area by a camera included in the license plate recognizer;
The license plate recognizer detects a vehicle in the plurality of image frames using a deep learning algorithm and generates a bounding box including the vehicle;
The license plate recognizer is a (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. performing an estimation operation of estimating the position and size of the bounding box;
performing, by the license plate recognizer, a similarity calculation operation for calculating a degree of similarity between the bounding box generated in the (t+1)th image frame and the estimated bounding box;
performing, by the license plate recognizer, a matching operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity;
determining, by the license plate recognizer, whether the vehicle included in the matched bounding box arrives at an arbitrary location;
When it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, the license plate recognizer performs a license plate region extraction operation of extracting the license plate region of the vehicle from the (t+1)-th image frame, and , recognizing a vehicle number in the extracted license plate area;
counting, by the license plate recognizer, the number of bounding boxes generated in each of some image frames among the plurality of image frames after the bounding box including the vehicle is generated;
performing, by the license plate recognizer, the estimating operation, the similarity calculation operation, and the matching operation when two or more bounding boxes are counted in each of some image frames of the plurality of image frames;
When only one bounding box is counted in each of the some image frames of the plurality of image frames, the license plate recognizer determines the size of the bounding box in the first image frame of the some image frames and the comparing the size of the bounding box in the last image frame among the image frames of ;
when the value of the comparison result is smaller than a certain threshold, the license plate recognizer omit the estimation operation, the similarity calculation operation, and the matching operation, and performing the license plate region extraction operation of the vehicle; and
When the value of the comparison result is greater than the arbitrary threshold, the license plate recognizer performs the estimation operation, the similarity calculation operation, and the matching operation, and performing the license plate area extraction operation. Vehicle number recognition method using vehicle detection and tracking technology based on running image recognition.
상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 차량의 중심 위치의 위치 변화율을 이용하여 제1가속 파라미터를 계산하는 단계;
상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 중심 위치, (t-1)번째 이미지 프레임에서 상기 차량의 중심 위치, 및 상기 제1가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 차량의 중심 위치를 추정하는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method according to claim 1, wherein the license plate recognizer uses (t+) image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. 1) performing an estimation operation of estimating the position and size of the bounding box in the th image frame,
calculating, by the license plate recognizer, a first acceleration parameter using the rate of change of the position of the center position of the vehicle in the image frames including the (t-3)-th image frame to the t-th image frame;
The license plate recognizer is the (t+1)-th image frame using the center position of the vehicle in the t-th image frame, the center position of the vehicle in the (t-1)-th image frame, and the first acceleration parameter. A vehicle number recognition method using deep learning image recognition-based vehicle detection and tracking technology, comprising the step of estimating the center position of the vehicle in the .
상기 차량 번호판 인식기는 상기 (t-3)번째 이미지 프레임에서 상기 t번째 이미지 프레임까지를 포함하는 상기 이미지 프레임들에서 상기 경계 박스의 사이즈 변화율을 이용하여 제2가속 파라미터를 계산하는 단계; 및
상기 차량 번호판 인식기는 상기 t번째 이미지 프레임에서 상기 차량의 경계 박스의 사이즈와 상기 제2가속 파라미터를 이용하여 상기 (t+1)번째 이미지 프레임에서 상기 경계 박스의 사이즈를 추정하는 단계를 더 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method according to claim 2, wherein the license plate recognizer uses (t+) image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames. 1) performing an estimation operation of estimating the position and size of the bounding box in the th image frame,
calculating, by the license plate recognizer, a second acceleration parameter using a rate of change in the size of the bounding box in the image frames including the (t-3)-th image frame to the t-th image frame; and
The license plate recognizer further comprises the step of estimating the size of the bounding box in the (t+1)-th image frame using the size of the bounding box of the vehicle and the second acceleration parameter in the t-th image frame A vehicle number recognition method using deep learning image recognition-based vehicle detection and tracking technology.
상기 생성된 경계 박스와 상기 추정된 경계 박스와 합에 대한 상기 생성된 경계 박스와 상기 추정된 경계 박스의 중첩 영역으로 계산되는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method according to claim 1, wherein the similarity between the bounding box generated in the (t+1)th image frame and the estimated bounding box is:
A vehicle number recognition method using a deep learning image recognition-based vehicle detection and tracking technology that is calculated as an overlap region of the generated bounding box and the estimated bounding box for the sum of the generated bounding box and the estimated bounding box.
상기 차량 번호판 인식기는 상기 유사도에 대한 비용 행렬을 계산하는 단계;
상기 차량 번호판 인식기는 상기 계산된 비용 행렬의 각 행에서 최소 비용의 엘리먼트를 포함하는 최소 벡터를 생성하는 단계; 및
상기 최소 비용이 임의의 문턱값보다 작을 때, 상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. 5. The method of claim 4, wherein the vehicle license plate recognizer performs a matching operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the degree of similarity,
calculating, by the license plate recognizer, a cost matrix for the similarity;
generating, by the license plate recognizer, a minimum vector containing the element of minimum cost in each row of the calculated cost matrix; and
When the minimum cost is less than a certain threshold, the license plate recognizer is a deep learning image recognition-based deep learning image recognition comprising the step of matching the bounding box generated in the (t+1)-th image frame and the estimated bounding box with each other Vehicle number recognition method using vehicle detection and tracking technology.
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 매칭될 추정된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 생성된 경계 박스를 새로운 객체로 판단하는 단계를 더 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method of claim 5, wherein the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology,
When the estimated bounding box to match the bounding box generated in the (t+1)-th image frame does not exist, the license plate recognizer further comprises the step of determining the generated bounding box as a new object A vehicle number recognition method using image recognition-based vehicle detection and tracking technology.
상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 상기 추정된 경계 박스를 사라진 객체로 판단하는 단계를 더 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method of claim 5, wherein the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology,
When the generated bounding box to match the bounding box estimated in the (t+1)th image frame does not exist, the license plate recognizer further comprises the step of determining the estimated bounding box as a missing object A vehicle number recognition method using image recognition-based vehicle detection and tracking technology.
상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 매칭될 생성된 경계 박스가 존재하지 않을 때, 상기 차량 번호판 인식기는 미싱 카운트(missing counter)를 증가시키는 단계;
상기 차량 번호판 인식기는 상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스를 (t+2)번째 이미지 프레임에서 생성된 경계 박스와 매칭되는지 판단하는 단계; 및
상기 (t+1)번째 이미지 프레임에서 추정된 경계 박스와 (t+2)번째 이미지 프레임에서 생성된 경계 박스가 매칭되지 않을 때, 상기 차량 번호판 인식기는 상기 미싱 카운트를 증가시키는 단계를 포함하는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 방법. The method of claim 7, wherein the vehicle number recognition method using the deep learning image recognition-based vehicle detection and tracking technology,
incrementing, by the license plate recognizer, a missing counter when there is no generated bounding box to match the bounding box estimated in the (t+1)th image frame;
determining whether the license plate recognizer matches the bounding box estimated in the (t+1)-th image frame with the bounding box generated in the (t+2)-th image frame; and
When the bounding box estimated in the (t+1)-th image frame and the bounding box generated in the (t+2)-th image frame do not match, the license plate recognizer increments the missing count Vehicle number recognition method using vehicle detection and tracking technology based on running image recognition.
상기 차량 번호판 인식기는,
촬영 영역을 촬영하여 복수의 이미지 프레임들을 생성하는 카메라;
명령들을 저장하는 메모리; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
딥러닝 알고리즘을 이용하여 상기 복수의 이미지 프레임들에서 차량을 검출하고 상기 차량이 포함된 경계 박스를 생성하며,
상기 복수의 이미지 프레임들 중 (t-3)번째 이미지 프레임에서 t(t는 4이상의 자연수)번째 이미지 프레임까지를 포함하는 이미지 프레임들을 이용하여 (t+1)번째 이미지 프레임에서 상기 경계 박스의 위치와 사이즈를 추정하는 추정 동작을 수행하며,
상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스 사이의 유사도를 계산하는 유사도 계산 동작을 수행하며,
상기 유사도에 따라 상기 (t+1)번째 이미지 프레임에서 생성된 경계 박스와 추정된 경계 박스를 서로 매칭시키는 매칭 동작을 수행하며,
상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달하는지 판단하며,
상기 매칭된 경계 박스에 포함된 차량이 임의의 위치에 도달한다고 판단될 때, 상기 (t+1)번째 이미지 프레임에서 상기 차량의 번호판 영역을 추출하는 번호판 영역 추출 동작을 수행하고, 상기 추출된 번호판 영역에서 차량 번호를 인식하며,
상기 차량이 포함된 경계 박스가 생성된 후, 상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 생성된 경계 박스의 개수를 카운트하며,
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 2개 이상의 경계 박스들이 카운트될 때, 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하며,
상기 복수의 이미지 프레임들 중 일부의 이미지 프레임들 각각에서 1개의 경계 박스만이 카운트될 때, 상기 일부의 이미지 프레임들 중 첫 번째 이미지 프레임에서의 상기 경계 박스의 사이즈와 상기 일부의 이미지 프레임들 중 마지막 이미지 프레임에서의 상기 경계 박스의 사이즈를 비교하며,
상기 비교 결과의 값이 임의의 문턱값보다 작을 때, 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 생략하고, 상기 차량의 번호판 영역 추출 동작을 수행하며,
상기 비교 결과의 값이 상기 임의의 문턱값보다 클 때, 상기 차량 번호판 인식기는 상기 추정 동작, 상기 유사도 계산 동작, 및 상기 매칭 동작을 수행하고, 상기 차량의 번호판 영역 추출 동작을 수행하도록 구현되는 딥러닝 영상 인식 기반의 차량 검출 및 추적 기술을 이용한 차량 번호 인식 시스템. a vehicle license plate identifier;
The vehicle license plate recognizer,
a camera that generates a plurality of image frames by photographing a photographing area;
a memory storing instructions; and
a processor for executing the instructions;
The commands are
Detecting a vehicle in the plurality of image frames using a deep learning algorithm and generating a bounding box including the vehicle,
The position of the bounding box in the (t+1)-th image frame using image frames including from the (t-3)-th image frame to the t (t is a natural number greater than or equal to 4)-th image frame among the plurality of image frames and an estimation operation for estimating the size,
performing a similarity calculation operation for calculating the similarity between the bounding box generated in the (t+1)th image frame and the estimated bounding box,
performing a matching operation of matching the bounding box generated in the (t+1)-th image frame with the estimated bounding box according to the similarity;
It is determined whether the vehicle included in the matched bounding box arrives at an arbitrary location,
When it is determined that the vehicle included in the matched bounding box arrives at an arbitrary position, a license plate region extraction operation of extracting the license plate region of the vehicle from the (t+1)-th image frame is performed, and the extracted license plate Recognizes the vehicle number in the area,
After the bounding box including the vehicle is generated, counting the number of bounding boxes generated in each of some image frames among the plurality of image frames,
When two or more bounding boxes are counted in each of some of the plurality of image frames, the estimation operation, the similarity calculation operation, and the matching operation are performed;
When only one bounding box is counted in each of some image frames of the plurality of image frames, the size of the bounding box in the first image frame among the some image frames and among the some image frames comparing the size of the bounding box in the last image frame,
When the value of the comparison result is smaller than a certain threshold, the estimation operation, the similarity calculation operation, and the matching operation are omitted, and the license plate area extraction operation of the vehicle is performed,
When the value of the comparison result is greater than the arbitrary threshold value, the license plate recognizer performs the estimation operation, the similarity calculation operation, and the matching operation, and performs the operation of extracting the license plate area of the vehicle. Vehicle number recognition system using vehicle detection and tracking technology based on running image recognition.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210115468A KR102368122B1 (en) | 2021-08-31 | 2021-08-31 | Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210115468A KR102368122B1 (en) | 2021-08-31 | 2021-08-31 | Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102368122B1 true KR102368122B1 (en) | 2022-02-25 |
Family
ID=80490158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210115468A KR102368122B1 (en) | 2021-08-31 | 2021-08-31 | Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102368122B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578441A (en) * | 2022-08-30 | 2023-01-06 | 感知信息科技(浙江)有限责任公司 | Vehicle side image splicing and vehicle size measuring method based on deep learning |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014006854A (en) * | 2012-06-27 | 2014-01-16 | Mitsubishi Heavy Ind Ltd | Vehicle number recognition device, vehicle number recognition method, and program |
KR102001002B1 (en) * | 2018-12-13 | 2019-07-17 | 유니셈 (주) | Method and system for recognzing license plate based on deep learning |
KR102141296B1 (en) * | 2019-01-30 | 2020-08-04 | 건국대학교 산학협력단 | Object tracking method and apparatus performing the same |
KR102161949B1 (en) | 2020-06-29 | 2020-10-06 | 이홍기 | Integrated parking management method and system using vehicle number plate recognition technology using neural network |
KR20200126743A (en) * | 2019-04-30 | 2020-11-09 | 로켓런치 주식회사 | System and method for controlling access of vehicle |
KR102201096B1 (en) * | 2020-06-11 | 2021-01-11 | 주식회사 인텔리빅스 | Apparatus for Real-time CCTV Video Analytics and Driving Method Thereof |
KR102238401B1 (en) * | 2020-09-14 | 2021-04-09 | 전주비전대학교산학협력단 | Recognition Method of License Plate Number Using Data expansion and CNN |
-
2021
- 2021-08-31 KR KR1020210115468A patent/KR102368122B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014006854A (en) * | 2012-06-27 | 2014-01-16 | Mitsubishi Heavy Ind Ltd | Vehicle number recognition device, vehicle number recognition method, and program |
KR102001002B1 (en) * | 2018-12-13 | 2019-07-17 | 유니셈 (주) | Method and system for recognzing license plate based on deep learning |
KR102141296B1 (en) * | 2019-01-30 | 2020-08-04 | 건국대학교 산학협력단 | Object tracking method and apparatus performing the same |
KR20200126743A (en) * | 2019-04-30 | 2020-11-09 | 로켓런치 주식회사 | System and method for controlling access of vehicle |
KR102201096B1 (en) * | 2020-06-11 | 2021-01-11 | 주식회사 인텔리빅스 | Apparatus for Real-time CCTV Video Analytics and Driving Method Thereof |
KR102161949B1 (en) | 2020-06-29 | 2020-10-06 | 이홍기 | Integrated parking management method and system using vehicle number plate recognition technology using neural network |
KR102238401B1 (en) * | 2020-09-14 | 2021-04-09 | 전주비전대학교산학협력단 | Recognition Method of License Plate Number Using Data expansion and CNN |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578441A (en) * | 2022-08-30 | 2023-01-06 | 感知信息科技(浙江)有限责任公司 | Vehicle side image splicing and vehicle size measuring method based on deep learning |
CN115578441B (en) * | 2022-08-30 | 2023-07-28 | 感知信息科技(浙江)有限责任公司 | Vehicle side image stitching and vehicle size measuring method based on deep learning |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101908611B1 (en) | Parking control method for vehicle | |
US20070242860A1 (en) | Face image read apparatus and method, and entrance/exit management system | |
US20070291998A1 (en) | Face authentication apparatus, face authentication method, and entrance and exit management apparatus | |
WO2008001714A1 (en) | Automatic toll receiving system with no vehicle type judging device | |
CN111192391B (en) | Pedestrian passageway gate control method and device based on images and/or videos | |
JP6601513B2 (en) | Information processing device | |
KR102368122B1 (en) | Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology | |
KR102161949B1 (en) | Integrated parking management method and system using vehicle number plate recognition technology using neural network | |
CN112733598A (en) | Vehicle law violation determination method and device, computer equipment and storage medium | |
CN117542223B (en) | Parking management method and system based on computer vision | |
Arora et al. | Automatic number plate recognition system using optical character recognition | |
KR20230051836A (en) | Method and system for License plate recognition corresponding to tailgating in parking control | |
KR102452756B1 (en) | Method for managing illegal parking in electric vehicle charing area based on deep learning and a charing device for electric vehicles | |
US20220371512A1 (en) | Information processing device and method, and program | |
KR102157990B1 (en) | Method and system for recognizing vehicle number plate using neural network | |
US12026902B2 (en) | Method and system for monitoring a spatial area in a personnel interlock | |
KR102528989B1 (en) | Intelligent parking management system and method thereof | |
KR20220072789A (en) | Parking Guided Control System Based on CCTV Video Analysis | |
CN115379198A (en) | Camera tampering detection | |
CN115396658A (en) | Camera tampering detection | |
KR102133045B1 (en) | Method and system for data processing using CCTV images | |
KR101459026B1 (en) | Apparatus for managing vehicle traffic and method thereof | |
US20240087457A1 (en) | Method and system for providing parking service | |
KR102576751B1 (en) | Parking control s erver and method for identifying vehicle using thereof | |
KR20080049472A (en) | Information detecting system using photographing apparatus load in vehicle and artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |