KR20200027149A - Method and apparatus for estimating moving velocity of vehicle - Google Patents

Method and apparatus for estimating moving velocity of vehicle Download PDF

Info

Publication number
KR20200027149A
KR20200027149A KR1020180105092A KR20180105092A KR20200027149A KR 20200027149 A KR20200027149 A KR 20200027149A KR 1020180105092 A KR1020180105092 A KR 1020180105092A KR 20180105092 A KR20180105092 A KR 20180105092A KR 20200027149 A KR20200027149 A KR 20200027149A
Authority
KR
South Korea
Prior art keywords
vehicle
license plate
image
vertical length
estimating
Prior art date
Application number
KR1020180105092A
Other languages
Korean (ko)
Other versions
KR102522928B1 (en
Inventor
김병근
김두식
임길택
문기영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180105092A priority Critical patent/KR102522928B1/en
Publication of KR20200027149A publication Critical patent/KR20200027149A/en
Application granted granted Critical
Publication of KR102522928B1 publication Critical patent/KR102522928B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K2209/15—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Disclosed is a method for estimating a moving velocity of a vehicle which can minimize costs required for installation, maintenance, and repair. The method comprises: a step of recognizing a vehicle license plate in an acquired vehicle image to acquire a horizontal length of the vehicle license plate in pixel units and a vertical length of the vehicle license plate in pixel units; a step of acquiring a first conversion function for estimating a real horizontal length of a vehicle license plate for a horizontal length in pixel units and a second conversion function for estimating a real vertical length of the vehicle license plate from a vertical length in the pixel units by using the first conversion function; a step of using the second conversion function to estimate the real vertical length (h_θ) of the vehicle license plate; a step of using the estimated real vertical length (h_θ) and a real vertical length (h_r) in size to estimate an inclined first angle (θ_1) of the vehicle license plate seen in a vehicle image inputted at a first time and an inclined second angle (θ_2) of the vehicle license plate seen in a vehicle image inputted at a second time; and a step of using a height (h_c) of a camera, the first angle (θ_1), and the second angle (θ_2) to calculate a moving distance of a vehicle, and using a time difference between the calculated moving distance and the first and second times to calculate the moving velocity of the vehicle.

Description

차량의 이동 속도 추정 방법 및 장치{Method and apparatus for estimating moving velocity of vehicle}Method and apparatus for estimating moving velocity of vehicle

본 발명은 차량의 이동 속도 추정 방법 및 장치에 관한 것으로, 상세하게는, 카메라 기반의 차량의 이동 속도 추정 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for estimating a moving speed of a vehicle, and more particularly, to a method and apparatus for estimating a moving speed of a vehicle based on a camera.

차량의 이동 속도를 외부에서 측정하는 것은 과속으로 인한 사고를 줄이기 위한 단속에 필요한 핵심 기술이다. 일반적으로 차량의 이동 속도를 측정하기 위해서는 정해진 시간 동안 차량이 움직인 거리를 측정하여 계산하므로, 시간 정보와 차량이 이동한 거리 정보기 필수적이다. 또한, 과속한 차량의 정보를 특정하기 위해서 번호판이 포함된 영상 정보를 함께 획득하는 것이 필요하다.Measuring the vehicle's moving speed from the outside is a key technology necessary for crackdown to reduce accidents caused by overspeed. In general, in order to measure the moving speed of a vehicle, it is calculated by measuring the distance the vehicle has moved for a predetermined period of time, so it is essential to have time information and a distance information traveled by the vehicle. In addition, in order to specify information of the speeding vehicle, it is necessary to acquire image information including a license plate together.

외부 타이머 또는 카메라와 연동된 시계를 통해 시간 정보가 쉽게 획득되는 것에 비해 움직이는 거리 정보는 획득이 어려우며, 따라서 별도의 외부 장치를 사용하는 것이 일반적이다. Compared to the time information being easily acquired through an external timer or a clock linked to a camera, moving distance information is difficult to acquire, so it is common to use a separate external device.

거리 정보를 획득하는 방법으로, 크게 레이더, 초음파, 루프센서 등과 같은 외부 장치를 이용하는 방법과, 외부 장치 없이 영상만을 이용하는 방법으로 나눌 수 있다. 전자는 레이더나 초음파 등은 루프센서보다는 정확도가 떨어지지만 유지 보수가 상대적으로 용이하다는 장점이 있다. 그러나 별도의 외부 장치를 사용해야 하므로 하드웨어의 구현이 복잡해지고 비용이 높다는 단점이 있다. As a method of acquiring distance information, it can be roughly divided into a method using an external device such as a radar, an ultrasonic wave, a loop sensor, and a method using only an image without an external device. The former has the advantage that radar or ultrasonic waves are less accurate than the loop sensor, but are relatively easy to maintain. However, since a separate external device must be used, hardware implementation is complicated and cost is high.

후자는 카메라의 특성을 이용하여 영상만으로 차량이 이동한 거리를 측정하는데 주로 초점 거리와 화각 정보를 이용한다. 그러나 이들 정보를 이용한 거리 추정은 상대적으로 정확도가 떨어진다는 단점이 있다. The latter uses focal length and angle of view information to measure the distance traveled by the vehicle using only the characteristics of the camera. However, there is a disadvantage in that the distance estimation using the information is relatively inaccurate.

카메라의 정보 없이 사전에 영상 배경의 거리 정보를 조사하여 영상 좌표계로 변환해 두고, 차량의 위치를 배경과 비교하여 실제 거리를 추정하는 방법도 있으나 이러한 방법은 반드시 고정된 배경에서만 적용이 가능하며 PTZ 카메라와 같이 배경이 실시간으로 변하는 곳에서는 적용이 불가능하다. 이외에도 스테레오 카메라를 활용하여 차량의 위치를 추정하는 방법도 있으나, 마찬가지로 추가의 하드웨어를 필요로 한다는 점에서 앞선 기술과 유사하다고 할 수 있다.There is also a method to estimate the actual distance by comparing the position of the vehicle with the background by examining the distance information of the image background in advance without the information of the camera, and comparing the vehicle's position with the background. It cannot be applied where the background changes in real time, such as a camera. In addition, there is a method of estimating the position of the vehicle using a stereo camera, but similarly, it can be said to be similar to the previous technology in that additional hardware is required.

따라서, 본 발명의 목적은 단일 카메라만을 사용함으로써 설치 및 유지보수에 필요한 비용을 최소화할 수 있을 뿐만 아니라 배경에 대한 사전 정보 없이 실시간으로 변하는 배경에서도 오직 번호판 정보만을 사용하여 차량의 위치를 추정하고, 시스템에 내장된 타이머를 활용하여 차량의 속도를 추정함으로서 PTZ 카메라를 포함한 일반적인 CCTV 환경에서 소프트웨어만을 사용하여 차량의 속도를 추정할 수 있는 차량의 이동 속도 추정 방법 및 장치를 제공하는 데 있다.Therefore, the object of the present invention is to minimize the cost required for installation and maintenance by using only a single camera, as well as to estimate the position of the vehicle using only license plate information in the background changing in real time without prior information on the background, It is to provide a method and apparatus for estimating a moving speed of a vehicle that can estimate the vehicle's speed using only software in a general CCTV environment including a PTZ camera by estimating the vehicle's speed using a timer built into the system.

상술한 목적을 달성하기 위한 본 발명의 일면에 따른 차량의 이동 속도 추정 방법은, 차량 이동 속도 추정 방법이 개시된다. 이 방법은, 획득한 차량 영상 내의 차량 번호판을 인식하여, 차량 번호판의 화소 단위의 가로 길이 및 상기 차량 번호판의 화소 단위의 세로 길이를 획득하는 단계; 화소 단위의 가로 길이에 대한 차량 번호판의 실제 가로 길이를 추정하는 제1 변환함수와, 상기 제1 변환함수를 이용하여 상기 화소 단위의 세로 길이로부터 상기 차량 번호판의 실제 세로 길이를 추정하는 제2 변환함수를 획득하는 단계; 상기 제2 변환함수를 이용하여 상기 차량 번호판의 실제 세로 길이(hθ)를 추정하는 단계; 상기 추정된 실제 세로 길이(hθ)와 규격상 실제 세로 길이(hr)를 이용하여, 제1 시간에서 입력된 차량 영상에서 보여지는 차량 번호판의 기울어진 제1 각도(θ1)와 제2 시간에 입력된 차량 영상에서 보여지는 차량 번호판의 기울어진 제2 각도(θ2)를 추정하는 단계; 및 카메라의 높이(hc), 상기 제1 및 제2 각도 (θ1, θ2)를 이용하여, 차량의 이동 거리를 연산하고, 연산된 이동 거리와 상기 제1 및 제2 시간 간의 시간 차이를 이용하여 차량의 이동속도를 연산하는 단계를 포함한다.A method for estimating a moving speed of a vehicle according to an aspect of the present invention for achieving the above object is disclosed. The method comprises: recognizing a vehicle license plate in the acquired vehicle image, obtaining a horizontal length in pixels of the vehicle license plate and a vertical length in pixels of the vehicle license plate; A first conversion function for estimating the actual horizontal length of the vehicle license plate with respect to the horizontal length in pixels, and a second conversion for estimating the actual vertical length of the vehicle license plate from the vertical length in units of pixels using the first conversion function. Obtaining a function; Estimating the actual vertical length (h θ ) of the vehicle license plate using the second conversion function; Using the estimated actual vertical length (h θ ) and standard actual vertical length (h r ), the inclined first angle (θ 1 ) and the second of the license plate shown in the vehicle image input at the first time Estimating an inclined second angle (θ 2 ) of the vehicle license plate shown in the vehicle image input in time; And the height (h c ) of the camera and the first and second angles (θ 1 , θ 2 ), to calculate a moving distance of the vehicle, and a time difference between the calculated moving distance and the first and second times And calculating the moving speed of the vehicle.

본 발명에 따르면, 번호판 종류에 따라 번호판의 크기가 일정한 특징을 이용하여 통상적으로 자동차 번호판 인식 시스템으로부터 용이하게 획득할 수 있는 번호판의 위치/크기/문자열 정보와 번호판 규격 정보만을 사용하여 차량의 이동 속도를 추정할 수 있다. According to the present invention, the moving speed of a vehicle using only the position / size / string information of the license plate and the license plate specification information, which can be easily obtained from the vehicle license plate recognition system, using a feature in which the size of the license plate is constant according to the type of license plate. Can be estimated.

또한, 과속 단속을 위해 반드시 설치해야 하는 최소한의 소프트웨어만으로 차량의 이동 속도를 추정할 수 있으므로 과속 단속 시스템의 설치 및 유지보수 비용을 절약할 수 있다.In addition, since the moving speed of the vehicle can be estimated with only a minimum of software that must be installed for speeding control, installation and maintenance costs of the speeding control system can be reduced.

또한 종래의 기술과 달리 카메라 영상의 배경에 대한 실측을 필요로 하지 않으므로 촬영 방향이 고정된 카메라뿐만 아니라 PTZ 카메라와 같이 실시간으로 촬영 영역이 변하는 곳에서도 차량의 이동 속도를 추정할 수 있다.In addition, unlike the prior art, since the actual background of the camera image is not required, the moving speed of the vehicle can be estimated not only in a camera with a fixed shooting direction, but also in a place where the shooting area changes in real time, such as a PTZ camera.

도 1은 본 발명의 일 실시 예에 따른 차량의 이동 속도 추정 장치의 전체 구성을 개략적으로 나타낸 블록도이다.
도 2 내지 도 6은 도 1에 도시한 각도 추정부에 의해 수행되는 제1 및 제2 각도(θ1 및 θ2)를 추정하는 방법을 설명하기 위한 도면들이다.
도 7은 도 1에 도시한 속도 연산부에 의해 수행되는 차량의 이동 거리 및 이동 속도를 연산하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 차량의 이동 속도 추정 방법을 나타내는 순서도이다.1 is a block diagram schematically showing the overall configuration of a moving speed estimation apparatus for a vehicle according to an embodiment of the present invention.
2 to 6 are first and second angles performed by the angle estimator illustrated in FIG. 1 (θ 1 and These are diagrams for explaining a method for estimating θ 2 ).
7 is a view for explaining a method of calculating a moving distance and a moving speed of a vehicle performed by the speed calculating unit shown in FIG. 1.
8 is a flowchart illustrating a method for estimating a moving speed of a vehicle according to an embodiment of the present invention.

이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.Hereinafter, various embodiments of the present invention will be described in connection with the accompanying drawings. Various embodiments of the present invention may have various changes and various embodiments, and specific embodiments are illustrated in the drawings and related detailed descriptions are described. However, this is not intended to limit the various embodiments of the present invention to specific embodiments, it should be understood to include all modifications and / or equivalents and substitutes included in the spirit and scope of the various embodiments of the present invention. In the description of the drawings, similar reference numerals are used for similar elements.

본 발명의 다양한 실시예에서 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions such as “comprises” or “can include” that can be used in various embodiments of the invention indicate the presence of the corresponding function, operation or component disclosed, and additional one or more functions, operations or It does not restrict the components. In addition, in various embodiments of the invention, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described in the specification, one Or other features or numbers, steps, operations, components, components or combinations thereof, or those in combination thereof should not be excluded in advance.

본 발명의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한 다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.In various embodiments of the present invention, the expression "or" includes any and all combinations of words listed together. For example, "A or B" may include A, may include B, or may include both A and B.

본 발명의 다양한 실시예에서 사용된 "제 1," "제2", "첫째" 또는 "둘째," 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Expressions such as "first," "second," "first," or "second," and the like used in various embodiments of the present invention may modify various elements of the various embodiments, but do not limit the corresponding elements. Do not. For example, the above expressions do not limit the order and / or importance of the corresponding elements. The above expressions may be used to distinguish one component from another. For example, both a first user device and a second user device are user devices and represent different user devices. For example, without departing from the scope of the various embodiments of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.When a component is said to be "connected" or "connected" to another component, the component may or may not be directly connected to or connected to the other component. It is to be understood that there may be new other components between the other components. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it will be understood that there is no new other component between the component and the other component. Should be able.

본 발명의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terms used in the embodiments of the present invention are merely used to describe specific embodiments, and are not intended to limit the embodiments of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which embodiments of the present invention belong.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시 예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are ideally or excessively formal, unless expressly defined in the various embodiments of the present invention. It is not interpreted in the sense.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세히 설명한다. 특별히 한정하는 것은 아니지만, 이하의 실시 예에서 설명하는 이동 거리 추정 시스템은 과속 단속 영상으로부터 차량 및 번호판을 인식하여 차량의 이동 거리 및 속도를 추정하는 시스템으로 한정하여 설명한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. Although not particularly limited, the moving distance estimation system described in the following embodiment is limited to a system for estimating the moving distance and speed of the vehicle by recognizing the vehicle and the number plate from the speeding intermittent image.

도 1은 본 발명의 일 실시 예에 따른 차량의 이동 속도 추정 장치의 전체 구성을 개략적으로 나타낸 블록도이다.1 is a block diagram schematically showing the overall configuration of a moving speed estimation apparatus for a vehicle according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량의 이동 속도 추정 장치(100)는 카메라(110), 프로세서(120), 저장유닛(130) 및 출력부(140)를 포함할 수 있다.Referring to FIG. 1, an apparatus 100 for estimating a moving speed of a vehicle according to an embodiment of the present invention may include a camera 110, a processor 120, a storage unit 130, and an output unit 140. .

상기 카메라(110)는 차량을 촬영하는 장치일 수 있다. 차량을 촬영하는 장치는, 예를 들면, 적외선 카메라, 컬러 카메라, PTZ 카메라, CCTV, 도로 상에 고정 설치된 과속 단속 카메라 또는 이들의 조합으로 이루어진 장치일 수 있다. 이러한 카메라(110)는 차량 번호판이 나타나는 차량 영상을 프레임 단위로 출력한다. The camera 110 may be a device for photographing a vehicle. The device for photographing a vehicle may be, for example, an infrared camera, a color camera, a PTZ camera, a CCTV, a speed control camera fixedly installed on the road, or a combination thereof. The camera 110 outputs a vehicle image in which the vehicle license plate appears on a frame-by-frame basis.

상기 프로세서(120)는 상기 카메라(110)로부터 프레임 단위로 입력되는 적어도 2개의 차량 영상 프레임을 이용하여 차량의 이동 속도를 추정하는 다수의 프로세스(이하, '이동 속도 추정 프로세스'라 함)를 수행하며, 이러한 다수의 프로세스를 수행하기 위해, 적어도 하나의 범용 마이크로 프로세서로 구현될 수 있다.The processor 120 performs a number of processes (hereinafter, referred to as a 'movement speed estimation process') of estimating the moving speed of the vehicle using at least two vehicle image frames input in frame units from the camera 110. In order to perform a number of such processes, it may be implemented with at least one general purpose microprocessor.

상기 프로세서(120)에 의해 수행되는 이동 속도 추정 프로세스는 차량 번호판 인식 프로세스, 변환함수 추정 프로세스 및 상기 변환 함수 추정 프로세스에 추정된 변환 함수를 이용하여 차량의 이동 속도를 추정하는 이동 속도 추정 프로세스를 포함한다.The moving speed estimation process performed by the processor 120 includes a vehicle license plate recognition process, a conversion function estimation process, and a moving speed estimation process for estimating the moving speed of the vehicle using the conversion function estimated in the conversion function estimation process do.

상기 프로세서(120)는 상기 프로세스들을 각각 수행하기 위해, 번호판 인식부(122), 변환 함수 추정부(124) 및 속도 연산부(126)를 포함한다. The processor 120 includes a license plate recognition unit 122, a conversion function estimation unit 124, and a speed calculation unit 126 to perform the processes, respectively.

번호판 인식부(122)는 차량 번호판 인식 프로세스를 실행하여, 차량 번호판의 종류를 인식하는 구성으로, 영상 처리 기반의 객체 인식 알고리즘을 실행하여, 차량 번호판 영역을 추출하고, 추출된 차량 번호판 영역 내의 문자열을 인식하고, 인식된 문자열의 배열형태와 사전에 구축된 번호판 규격 데이터베이스(132)에 포함된 기준 문자열들의 배열 형태들을 비교하여, 상기 기준 문자열들의 배열 형태들 중 인식된 문자열의 배열형태와 가장 유사한 문자열의 배열 형태를 검색한다. 가장 유사한 문자열의 배열 형태가 검색되면, 상기 검색된 문자열의 배열 형태에 대한 번호판 규격 데이터를 상기 번호판 규격 데이터베이스로부터 읽어온다. 여기서, 번호판 규격 데이터는 차량 번호판의 규격상 실제 가로 길이(또는 폭) 및 규격상 실제 세로 길이(높이)를 포함한다. The license plate recognition unit 122 is configured to recognize the type of the vehicle license plate by executing a vehicle license plate recognition process, and executes an object recognition algorithm based on image processing, extracts the vehicle license plate area, and extracts a character string from the extracted license plate area. And compares the arrangement type of the recognized character string with the arrangement types of the reference character strings included in the pre-built license plate specification database 132, and among the arrangement types of the reference character strings, the arrangement type of the recognized character string is most similar to Search for an array of strings. When the arrangement type of the most similar character string is searched, license plate specification data for the arrangement type of the searched character string is read from the license plate specification database. Here, the license plate specification data includes the actual horizontal length (or width) according to the specification of the vehicle license plate and the actual vertical length (height) according to the specification.

각도 추정부(124)는 제1 시간에서 입력되는 차량 영상에서 보여지는 차량 번호판의 기울어진 제1 각도(θ1)와 상기 제1 시간 이후의 제2 시간에서 입력되는 차량 영상에서 보여지는 차량 번호판의 기울어진 제2 각도(θ2)를 추정한다. 여기서, 기울어진 각도(θ1, θ2)는 카메라가 번호판을 정면에서 바라본 각도와 카메라가 도로 상의 상단에서 번호판을 바라본 각도의 차이일 수 있다. The angle estimator 124 includes the inclined first angle θ 1 of the vehicle license plate shown in the vehicle image input at the first time and the vehicle license plate shown in the vehicle image input at the second time after the first time. Estimate the second angle of inclination θ 2 . Here, the inclined angles θ 1 and θ 2 may be a difference between an angle at which the camera looks at the license plate from the front and an angle at which the camera looks at the license plate at the top on the road.

속도 연산부(126)는 상기 각도 추정부(124)로부터 입력되는 상기 제1 각도(θ1)와 상기 제2 각도(θ2)를 이용하여 차량의 이동 거리를 연산하고, 연산된 이동 거리와 상기 제1 시간과 상기 제2 시간 간의 시간 차이를 이용하여 차량의 이동 속도를 연산한다.The speed calculating unit 126 calculates the moving distance of the vehicle using the first angle θ 1 and the second angle θ 2 input from the angle estimating unit 124, and calculates the calculated moving distance and the The moving speed of the vehicle is calculated using the time difference between the first time and the second time.

이하, 상기 각도 추정부(124)에서 제1 및 제2 각도(θ1, θ2)를 추정하는 방법과 상기 속도 연산부(126)에서 차량의 이동 거리 및 이동 속도를 연산하는 방법에 대해 상세히 기술한다.Hereinafter, in the angle estimator 124, the first and second angles (θ 1 , A method for estimating θ 2 ) and a method for calculating the moving distance and the moving speed of the vehicle in the speed calculating unit 126 will be described in detail.

도 2 내지 도 6은 각도 추정부(124)에 의해 수행되는 제1 및 제2 각도(θ1, θ2)를 추정하는 방법을 설명하기 위한 도면들이고, 도 7은 속도 연산부(126)에 의해 수행되는 차량의 이동 거리 및 이동 속도를 연산하는 방법을 설명하기 위한 도면이다.2 to 6 are first and second angles (θ 1 ,) performed by the angle estimator 124. These are drawings for explaining a method for estimating θ 2 ), and FIG. 7 is a view for explaining a method for calculating a moving distance and a moving speed of a vehicle performed by the speed calculating unit 126.

먼저, 도 2는 본 발명의 일 실시 예에 따른 카메라에서 촬영되는 차량 영상을 보여주는 도면이다.First, FIG. 2 is a view showing a vehicle image photographed by a camera according to an embodiment of the present invention.

도 2를 참조하면, 카메라(110)는 차량 보다 높은 도로의 상단에 고정 설치되어, 접근하는 차량의 전면부를 촬영한다. 따라서 도 2의 (A)에 도시한 바와 같이, 제1 시간에 촬영된 영상의 윗부분부터 차량이 나타나서 도 2의 (B)에 도시한 바와 같이, 제2 시간에 촬영된 영상의 아래 방향으로 이동하게 된다. 영상의 윗부분에 나타나는 차량 영상은 아래 부분에 나타나는 차량 영상보다 작으며, 따라서 영상 윗부분에 나타나는 번호판의 크기보다 영상의 아래 부분에 나타나는 번호판(201)의 크기가 더 크게 보여진다.Referring to FIG. 2, the camera 110 is fixedly installed at the top of a road higher than the vehicle, and photographs the front portion of the approaching vehicle. Therefore, as shown in FIG. 2 (A), the vehicle appears from the top of the image captured at the first time, and as shown in FIG. 2 (B), the vehicle moves downward in the image captured at the second time. Is done. The vehicle image appearing in the upper portion of the image is smaller than the vehicle image appearing in the lower portion, and thus the size of the license plate 201 appearing in the lower portion of the image is larger than the size of the license plate appearing in the upper portion of the image.

도 3은 도 2에 도시한 차량 번호판을 확대한 도면이다.3 is an enlarged view of the vehicle license plate shown in FIG. 2.

도 3을 참조하면, 차량 번호판(201)은 가로길이가 세로길이보다 크며, 7개의 숫자와 문자로 이루어진다. 도 3에 도시한 차량 번호판(201)의 규격은 가로 길이(wr) 및 세로 길이(hr)가 각각 520mm, 110mm로 정의된다.Referring to FIG. 3, the vehicle license plate 201 has a horizontal length greater than a vertical length, and consists of seven numbers and letters. In the specification of the vehicle license plate 201 illustrated in FIG. 3, the horizontal length w r and the vertical length h r are defined as 520 mm and 110 mm, respectively.

다른 종류의 번호판도 각자의 규격에 따른 가로 및 세로 길이가 정의되어 있으므로, 객체 인식 알고리즘과 같은 영상 처리 기법을 이용하여 번호판의 종류(문자 및 숫자의 배열 형태)를 판별하면, 판별된 번호판의 규격(가로 길이, 세로 길이)를 알 수 있다.Different types of license plates also have horizontal and vertical lengths defined according to their standards, so if the type of the license plate (arrangement of letters and numbers) is determined using an image processing technique such as an object recognition algorithm, the determined license plate specifications (Horizontal length, vertical length) can be seen.

도 4는 본 발명의 실시 예에 따라 제1 시간에 입력된 영상의 윗부분에서 작게 보여지는 번호판과 제1 시간 이후 제2 시간에 입력된 영상의 아랫부분에서 크게 보여지는 번호판을 함께 도시한 도면이다.FIG. 4 is a view showing a number plate that is shown small in the upper part of the image input at the first time and a number plate that is shown largely in the lower part of the image input at the second time after the first time according to an embodiment of the present invention. .

도 4를 참조하면, 본 발명의 일 실시 예에 따른 차량의 이동 속도를 연산하기 위해서는 동일한 차량에 대해 촬영된 적어도 2개(2프레임)의 영상들이 필요하다.Referring to FIG. 4, in order to calculate a moving speed of a vehicle according to an embodiment of the present invention, at least two (2 frames) images captured for the same vehicle are required.

도 4에서는 제1 시간에 입력된(또는 촬영된) 영상에서 보여지는 번호판을 참조번호 301로 표기되고, 제1 시간 이후의 제2 시간에 입력된(또는 촬영된) 영상에서 보여지는 번호판을 참조번호 302로 표기된다.In FIG. 4, the number plate shown in the image input (or photographed) at the first time is denoted by reference number 301, and the number plate shown at the image input (or photographed) at the second time after the first hour is referred to. It is denoted by the number 302.

참조 기호 wp1, hp1은 제1 시간에 입력된 영상의 번호판(301)의 화소 단위의 가로 길이 및 세로 길이이며, wp2, hp2는 제2 시간에 입력된 영상에서의 번호판(302)의 화소 단위의 가로 길이 및 세로 길이를 나타낸다.Reference symbols w p1 and h p1 are the horizontal and vertical lengths of pixels of the image number plate 301 input at the first time, and w p2 and h p2 are number plates 302 from the image input at the second time. Indicates the horizontal and vertical lengths in pixels.

번호판의 규격이 도 2에 예시된 번호판 규격인 경우, wp1, wp2의 실좌표계에서의 값은 모두 520mm가 되어야 한다.When the standard of the license plate is the standard of the license plate illustrated in FIG. 2, the values in the real coordinate system of w p1 and w p2 should be 520 mm.

번호판이 카메라의 촬영 방향에 대해 기울어져 있지 않을 때(카메라의 정면 광학축(또는 카메라 좌표계에서의 Z축 방향)이 번호판에 대해 수직인 경우), 영상에서 보여지는 번호판 가로 길이(화소(piexl) 단위의 가로 길이)에 대한 실제 가로 길이를 출력하는 변환 함수가 존재한다고 가정하고 이를 fw(wi)로 정의하면, fw(wi)는 번호판의 크기가 알려진 영상의 개수(프레임 개수)만큼 다음의 수학식 1을 만족시켜야 한다.When the license plate is not inclined with respect to the camera's shooting direction (when the front optical axis of the camera (or Z-axis direction in the camera coordinate system) is perpendicular to the license plate), the horizontal length of the license plate shown in the image (pixel (piexl)) Assuming defines it as f w (w i) that the converting function for outputting the actual width for the width of the unit) exists, f w (w i) is the number of the size of the plates, known image (frame number) The following equation (1) should be satisfied.

[수학식 1][Equation 1]

fw(wi) = wr / wi f w (w i ) = w r / w i

여기서, wr은 번호판 규격에 따른 실제 가로의 길이이고, wi은 i번째 영상에서 보여지는 번호판의 화소 단위의 가로 길이를 나타낸다.Here, w r is the actual horizontal length according to the license plate specification, and w i represents the horizontal length in pixels of the license plate shown in the i-th image.

변환 함수 fw(wi)는 최소좌승법과 같은 수학적인 방법이나, 인공신경망과 같은 기계학습 방법으로 쉽게 구할 수 있다. 예를 들어, fw(wi)가 일차함수라고 가정하면, 규격상 실제 가로 길이가 wr인 번호판이 2개 영상에서 보여지는 폭을 각각 w1, w2 일 때, 최소 좌승법을 적용한 fw(wi)는 다음의 수학식 2로 구해진다.The conversion function f w (w i ) can be easily obtained by a mathematical method such as a least-squares method or a machine learning method such as an artificial neural network. For example, assuming that f w (w i) a linear function, standard the actual width is w r of the license plate, the two shown in the image width w 1, each of which w as 2, applying the minimum left multiplicative f w (w i ) is obtained by the following equation (2).

[수학식 2][Equation 2]

fw(wi) = (wr/w2 - wr/w1)/(w2 - w1)*(wi - w1) + wr/w1 f w (w i ) = (w r / w 2 -w r / w 1 ) / (w 2 -w 1 ) * (w i -w 1 ) + w r / w 1

최소 좌승법이나 인공신경망 알고리즘의 특성상 동일한 번호판이 존재하는 영상의 개수가 많을수록 더욱 정확한 변환 함수 fw(wi)를 구할 수 있다.Due to the least-left method or the characteristics of the artificial neural network algorithm, the more the number of images having the same license plate is, the more accurate the conversion function f w (w i ) is.

참고로 수학식 1, 2는 영상에서의 번호판 길이 w 대신, 영상에서의 수직 방향 좌표(yi)로 나타낼 수도 있다. 일차 함수라고 가정하면 아래와 같이 나타낼 수 있으며, 구하는 과정은 거의 동일하다.For reference, Equations 1 and 2 may be represented by vertical direction coordinates y i in the image, instead of the number plate length w in the image. Assuming that it is a linear function, it can be expressed as follows, and the process of obtaining is almost the same.

fw(yi) = (wr/w2 - wr/w1)/(y2 - y1)*(yi - y1) + wr/w1 f w (y i ) = (w r / w 2 -w r / w 1 ) / (y 2 -y 1 ) * (y i -y 1 ) + w r / w 1

영상에서 보여지는 번호판의 화소 단위의 세로 길이에 대한 실제 세로 길이를 출력하는 변환 함수 fh(hi)는 카메라에서 촬영되는 영상의 종횡비가 영상 위치에 관계없이 일정하다고 가정할 때, 다음의 수학식 3과 같이, fw(wi)와 종횡비 a의 곱으로 나타낼 수 있다.The conversion function f h (h i ), which outputs the actual vertical length of the number of pixels in the number plate of the license plate shown in the image, assumes that the aspect ratio of the image captured by the camera is constant regardless of the image position. As in Equation 3, it can be expressed as the product of f w (w i ) and the aspect ratio a.

[수학식 3][Equation 3]

fh(hi) = a * fw(wi)f h (h i ) = a * f w (w i )

도 5 및 6은 본 발명의 실시 예에 따른 제1 시간에 입력되는 영상에서 보여지는 번호판의 기울어진 각도와 제2 시간에 입력되는 영상에 보여지는 번호판의 기울어진 각도를 설명하기 위한 도면들이다.5 and 6 are views for explaining the inclined angle of the license plate shown in the image input at the first time and the inclined angle of the license plate shown in the image input at the second time according to an embodiment of the present invention.

먼저, 도 5를 참조하면, 대부분의 고정식 카메라는 차량 높이보다 높은 위치에서 아래로 내려다보는 각도로 설치되어 있기 때문에, 영상에 보여지는 번호판이 수직 방향으로 기울어져 있을 뿐만 아니라, 차량(501)의 위치(P1)에서 입력된(또는 촬영된) 영상에서 보여지는 번호판(402)의 기울기(θ1)와 차량의 위치(P2)에서 입력된(촬영된) 영상에서 보여지는 번호판(404)의 기울기(θ2)가 다르다(θ1≠θ2).First, referring to FIG. 5, since most of the fixed cameras are installed at an angle looking down from a position higher than the height of the vehicle, the license plate shown in the image is not only inclined vertically, but also the vehicle 501 Tilt (θ 1 ) of the license plate 402 shown in the image input (or photographed) at the position P1 and Tilt of the license plate 404 shown in the image input (recorded) at the vehicle position P2 (θ 2 ) is different (θ 1 ≠ θ 2 ).

도 6을 참조하면, 번호판(501)이 카메라(502)에서 촬영되는 각도를 나타낸다. 카메라의 입사각이 번호판 위아래에서 동일하다고 가정하면, 번호판이 수직 방향으로 기울어져 있기 때문에 번호판은 일정한 기울기(θ)로 기울어져서 영상에 나타난다. 즉, 실제 높이가 hr인 번호판이 θ만큼 기울어진 각도에서 촬영된 영상에서의 높이와, 실제 높이가 hθ인 번호판이 기울어지지 않고 수직 방향으로 촬영된 영상에서의 높이는 같게 된다. 이를 코사인 함수로 표현하면, 다음의 수학식 4와 같다.Referring to FIG. 6, the license plate 501 represents an angle photographed by the camera 502. Assuming that the angle of incidence of the camera is the same above and below the license plate, since the license plate is inclined in the vertical direction, the license plate is inclined at a constant inclination (θ) and appears on the image. That is, the height in the image photographed at an angle where the license plate with the actual height h r is inclined by θ is equal to the height in the image photographed in the vertical direction without the inclination of the license plate with the actual height h θ . If this is expressed as a cosine function, it is as shown in Equation 4 below.

[수학식 4][Equation 4]

cosθ = hθ / hr cosθ = h θ / h r

수학식 3의 값에, i번째 영상에서의 화소 단위의 번호판 세로 길이(hi)를 곱하면, 기울어지지 않은 번호판의 실제 세로 길이(hθ)가 된다. 따라서 위의 수학식 4에 수학식 3을 대입하여(또는 이용하여), 변환함수로 다시 나타내면 다음과 같다.When the value of Equation 3 is multiplied by the vertical length h i of the number of pixels in the i-th image, it becomes the actual vertical length h θ of the inclined number plate. Therefore, by substituting (or using) Equation (3) in Equation (4) above, the transformation function is as follows.

[수학식 5][Equation 5]

cosθi = (a * fw(wi) * hi)/ hr cosθ i = (a * f w (w i ) * h i ) / h r

θi = cos-1((a * fw(wi) * hi)/hr)θ i = cos -1 ((a * f w (w i ) * h i ) / h r )

즉, 번호판의 기울어진 각도를 2개 이상의 영상에서의 번호판의 폭과 높이만을 이용하여 구할 수 있다.That is, the inclined angle of the license plate can be obtained using only the width and height of the license plate in two or more images.

본 발명의 기술적 핵심들 중 하나는, 상기 수학식 5에서 번호판의 기울어진 각도를 산출하는 것이다. One of the technical cores of the present invention is to calculate the inclined angle of the license plate in Equation 5 above.

카메라에 대한 차량의 위치에 따라 카메라에 의해 캡쳐된 영상에서의 번호판의 크기가 달라지는데, 이때 번호판의 가로 길이는 오직 영상에서의 위치에 의해서만 달라지지만, 번호판의 세로 길이는 위치에 따른 각도 변화에 의해서도 달라진다.Depending on the position of the vehicle relative to the camera, the size of the license plate in the image captured by the camera varies. At this time, the horizontal length of the license plate varies only by the position in the image, but the vertical length of the license plate also varies by the angle change according to the position. Is different.

즉, 위치에 의해 달라지는 번호판의 가로 길이 정보를 사용하여 실제 번호판의 크기(가로(수학식2) 및 세로(수학식 3))를 구한 뒤, 이렇게 구한 실제 번호판의 크기를 이용하여, 기울어진 각도(도 5 및 6)를 구할 수 있다.That is, after obtaining the size (horizontal (Equation 2) and vertical (Equation 3)) of the actual license plate using the horizontal length information of the license plate, which varies depending on the position, using the size of the actual license plate thus obtained, the inclined angle (FIGS. 5 and 6) can be obtained.

도 7은 본 발명의 실시 예에 따른 번호판의 기울어진 각도를 이용하여 번호판의 이동 거리를 산출하는 방법을 설명하는 도면으로서, 카메라의 높이(hc)가 주어지면 삼각함수 공식에 의해 카메라와 번호판 사이의 수평 거리 (x1, x2)는 아래의 수학식으로 구할 수 있다.7 is a view for explaining a method of calculating the moving distance of the license plate using the inclined angle of the license plate according to an embodiment of the present invention, given the height (h c ) of the camera, the camera and the license plate by the trigonometric formula The horizontal distance (x 1 , x 2 ) between can be obtained by the following equation.

[수학식 6][Equation 6]

xi = hc / tanθi x i = h c / tanθ i

그리고 차량의 이동 속도는 2개 이상의 번호판 영상이 촬영된 시간 차이를 이용하여 쉽게 산출되며, 아래의 수학식 7과 같다.In addition, the moving speed of the vehicle is easily calculated by using a time difference in which two or more license plate images are taken, and is expressed by Equation 7 below.

[수학식 7][Equation 7]

v = (x1 - x2) / Δtv = (x 1 -x 2 ) / Δt

= hc * (cosθ1 / sqrt(1-(cosθ1)2) - (cosθ2 / sqrt(1-(cosθ2)2)) / Δt= h c * (cosθ 1 / sqrt (1- (cosθ 1 ) 2 )-(cosθ 2 / sqrt (1- (cosθ 2 ) 2 )) / Δt

단 cosθi = (a * fw(wi) * hi)/ hr However, cosθ i = (a * f w (w i ) * h i ) / h r

도 8은 본 발명의 실시 예에 따른 차량의 이동 속도 추정 방법을 나타내는 순서도로서, 특별한 언급이 없는 한 아래의 각 수행 주체는 프로세서로 가정한다.8 is a flowchart illustrating a method for estimating a moving speed of a vehicle according to an embodiment of the present invention, and unless otherwise specified, each of the following performing entities is assumed to be a processor.

도 8을 참조하면, 먼저, 단계 S810에서, 카메라(110)로부터 차량 번호판을 포함하는 차량 영상을 프레임 단위로 획득하는 과정이 수행된다.Referring to FIG. 8, first, in step S810, a process of acquiring a vehicle image including a vehicle license plate from the camera 110 in a frame unit is performed.

이어, 단계 S820에서, 차량 영상에서 차량 번호판을 인식하여 영상에서의 번호판 크기 정보를 획득하는 과정이 수행된다. 번호판 크기 정보는 차량 영상에서의 번호판의 가로 길이에 대응하는 화소 단위의 가로 길이 및 차량 영상에서의 번호판의 세로 길이에 대응하는 화소 단위의 세로 길이를 포함한다. 화소 단위의 가로 길이는, 예를 들면, 번호판 가로 길이에 대응하는 화소들을 카운팅 한 개수이고, 화소 단위의 세로 길이는, 예를 들면, 번호판 세로 길이에 대응하는 화소들을 카운팅 한 개수일 수 있다.Subsequently, in step S820, a process of acquiring license plate size information in the image is performed by recognizing the vehicle license plate in the vehicle image. The license plate size information includes a horizontal length of a pixel unit corresponding to the horizontal length of the license plate in the vehicle image and a vertical length of a pixel unit corresponding to the vertical length of the license plate in the vehicle image. The horizontal length of the pixel unit may be, for example, the number of pixels corresponding to the horizontal length of the license plate, and the vertical length of the pixel unit may be, for example, the number of pixels corresponding to the vertical length of the license plate.

차량 영상에서 차량 번호판을 인식하는 방법으로, 영상 인식과 관련된 다양한 알고리즘이 사용될 수 있다. 예를 들면, 도로 상단에 고정 설치된 카메라(110)로부터 차량이 포함된 차량 영상이 획득되면, 배경 제거 알고리즘을 이용하여 상기 차량 영상에서 배경을 제거한 전경 이미지를 획득하고, 특징 추출 알고리즘을 이용하여 상기 전경 이미지에 포함된 차량의 번호판에 대한 특징 정보를 추출한다. 여기서, 특징 정보는 번호판의 화소 단위의 가로 길이 정보, 번호판의 화소 단위의 세로 길이 정보, 번호판에 표시된 문자열 패턴(문자 및 숫자의 배열 패턴) 등을 포함한다. 배경 제거 알고리즘 및 특징 추출 알고리즘등과 같은 영상 인식과 관련된 알고리즘은 널리 알려진 것인 바, 이에 대한 상세 설명은 생략하기로 한다. As a method of recognizing a vehicle license plate from a vehicle image, various algorithms related to image recognition may be used. For example, when a vehicle image including a vehicle is obtained from a camera 110 fixedly installed at the top of a road, a background image is removed from the vehicle image using a background removal algorithm, and the feature extraction algorithm is used to obtain the vehicle image. Feature information about the license plate of the vehicle included in the foreground image is extracted. Here, the feature information includes horizontal length information in units of pixels on the number plate, vertical length information in units of pixels on the number plate, and string patterns (array patterns of letters and numbers) displayed on the plates. Algorithms related to image recognition, such as background removal algorithms and feature extraction algorithms, are widely known, and detailed descriptions thereof will be omitted.

이어, 단계 S830에서, 번호판 규격 데이터가 저장된 번호판 규격 데이터베이스(132)를 검색하여, 상기 번호판 규격 데이터베이스(132)로부터 전 단계 S820의 차량 번호판의 인식 결과에 대응하는 번호판 규격 데이터를 검출하고, 검출된 번호판 규격 데이터를 이용하여 영상에서 보여지는 번호판 가로 길이(화소(piexl) 단위의 가로 길이)에 대한 실제 가로 길이를 추정하는 제1 변환 함수 fw(wi)를 획득하고, 상기 획득한 제1 변환 함수 fw(wi)를 이용하여 영상에서 보여지는 번호판의 화소 단위의 세로 길이에 대한 실제 세로 길이 hθ를 추정하는 제2 변환 함수 fh(hi)를 획득하는 과정이 수행된다. Subsequently, in step S830, the license plate specification data 132 in which the license plate specification data is stored is searched, and the license plate specification data corresponding to the recognition result of the vehicle license plate of the previous step S820 is detected from the license plate specification database 132 and detected The first transform function f w (w i ) for estimating the actual horizontal length for the horizontal length of the license plate shown in the image (horizontal length in pixels (piexl)) is obtained using license plate standard data, and the obtained first A process of acquiring the second transform function f h (h i ) for estimating the actual vertical length h θ with respect to the vertical length of the pixel unit of the license plate shown in the image is performed using the transform function f w (w i ).

전단계 S820의 차량 번호판의 인식 결과에 대응하는 번호판 규격 데이터를 검출하는 방법은, 예를 들면, 차량 번호판의 인식 결과로부터 획득할 수 있는 번호판에 표시된 문자열의 패턴과 번호판 규격 데이터베이스(132)에 포함된 기준 문자열들의 패턴을 비교하여, 상기 기준 문자열들의 패턴들 중 인식된 문자열의 패턴과 유사도가 가장 높은 문자열의 패턴을 검색한다. 유사도가 가장 높은 기준 문자열의 패턴이 검출되면, 상기 검출된 기준 문자열의 패턴에 분류된 번호판 규격 데이터를 상기 번호판 규격 데이터베이스(132)로부터 읽어온다.The method of detecting license plate specification data corresponding to the recognition result of the vehicle license plate in the previous step S820 includes, for example, a pattern of a character string displayed on the license plate and a license plate specification database 132 obtained from the license plate recognition result. By comparing the patterns of the reference character strings, a pattern of the character string having the highest similarity to the pattern of the recognized character string among the patterns of the reference character strings is searched. When the pattern of the reference character string having the highest similarity is detected, license plate specification data classified in the detected reference character string pattern is read from the license plate specification database 132.

이와는 다르게, 차량 번호판의 인식 결과로부터 획득할 수 있는 번호판의 화소 단위의 가로 길이와 화소 단위의 세로 길이 간의 종횡비를 계산하고, 번호판 규격 데이터베이스(132)에 저장된 기준 종횡비들과 비교하여, 동일하거나 허용오차범위에 있는 기준 종횡비를 검출하고, 검출된 기준 종횡비에 분류된 번호판 규격 데이터를 상기 번호판 규격 데이터베이스(132)로부터 읽어올 수도 있다.Alternatively, the aspect ratio between the horizontal length of the pixel unit of the license plate and the vertical length of the pixel unit of the license plate, which can be obtained from the recognition result of the vehicle license plate, is calculated, and compared with the reference aspect ratios stored in the license plate specification database 132, the same or allowed The reference aspect ratio in the error range may be detected, and license plate specification data classified in the detected reference aspect ratio may be read from the license plate specification database 132.

상기 제1 변환 함수 fw(wi)는 전술한 수학식 1 및 2로부터 획득될 수 있다. 즉, 상기 번호판 규격 데이터베이스(132)로부터 획득한 번호판 규격 데이터에 포함된 규격상 실제 가로 길이와 화소 단위의 가로 길이(적어도 2개의 영상에 획득한 2개의 화소 단위의 가로 길이)를 이용하여 계산될 수 있다.The first transform function f w (w i ) may be obtained from Equations 1 and 2 described above. That is, according to the standard included in the license plate specification data obtained from the license plate specification database 132, the actual horizontal length and the horizontal length in pixel units (at least the horizontal length in two pixel units acquired in two images) are calculated. You can.

상기 제2 변환 함수 fh(hi)는 수학식 3으로부터 획득될 수 있다. 즉, 수학식 3과 같이, 상기 제2 변환 함수 fh(hi)는 상기 제1 변환함수 fw(wi)와 카메라에서 촬영되는 영상의 종횡비 a의 곱으로부터 획득할 수 있다.The second transform function f h (h i ) may be obtained from Equation (3). That is, as shown in Equation 3, the second transform function f h (h i ) may be obtained from a product of the first transform function f w (w i ) and the aspect ratio a of the image captured by the camera.

이어, 단계 S840에서, 전단계 S830에서 획득한 제2 변환 함수를 이용하여 영상에서 보여지는 번호판의 화소 단위의 세로 길이에 대한 실제 번호판의 실제 세로 길이(도 6의 hθ)를 추정한다. Subsequently, in step S840, the actual vertical length of the actual license plate (h θ in FIG. 6) is estimated with respect to the vertical length of the pixel unit of the license plate shown in the image using the second conversion function obtained in the previous step S830.

이어, 단계 S850에서, 전단계 S840에서 추정된 실제 세로 길이(도 6의 hθ)와 번호판 규격 데이터에 포함된 규격상 실제 세로 길이(도 3 및 6의 hr)를 이용하여, 제1 시간에서 입력된 차량 영상에서 보여지는 차량 번호판의 기울어진 제1 각도(θ1)와 상기 제1 시간 이후의 제2 시간에 입력된 차량 영상에서 보여지는 차량 번호판의 기울어진 제2 각도(θ2)를 추정하는 과정이 수행된다. 제1 및 제2 각도(θ1, θ2) 각각은, 예를 들면, 전술한 수학식 4 및 5에 의해 추정될 수 있다. Subsequently, in step S850, using the actual vertical length (h θ in FIG. 6) estimated in the previous step S840 and the actual vertical length (h r in FIGS. 3 and 6) included in the license plate specification data, at the first time The inclined first angle (θ 1 ) of the vehicle license plate shown in the input vehicle image and the inclined second angle (θ 2 ) of the vehicle license plate shown in the input vehicle image at a second time after the first time are The estimation process is performed. Each of the first and second angles θ 1 and θ 2 may be estimated by, for example, Equations 4 and 5 described above.

한편, 제1 시간에 입력된 차량 영상과 제2 시간에 입력된 차량 영상은 연속된 프레임 영상일 수 있다. 또는 제1 시간에 입력된 차량 영상이 입력된 프레임과 제2 시간에 입력된 차량 영상이 입력된 프레임 사이에는 적어도 하나의 차량 영상에 대응하는 프레임이 존재할 수 있다.Meanwhile, the vehicle image input at the first time and the vehicle image input at the second time may be continuous frame images. Alternatively, a frame corresponding to at least one vehicle image may exist between a frame in which the vehicle image input in the first time is input and a frame in which the vehicle image input in the second time is input.

이어, 단계 S860에서, 카메라의 높이(도 7의 hc)와 전단계 S850에서 추정한 상기 제1 각도 (θ1) 및 제2 각도(θ2)를 이용하여 차량의 이동 거리를 연산(수학식 7)하는 과정이 수행된다. Subsequently, in step S860, the moving distance of the vehicle is calculated using the height of the camera (h c in FIG. 7) and the first angle θ1 and the second angle θ2 estimated in the previous step S850 (Equation 7). The process is performed.

이어, 단계 S870에서, 상기 차량의 이동 거리와 상기 제1 시간과 상기 제2 시간 간의 시간 차이를 이용하여 차량의 이동속도를 연산(수학식 7)하는 과정이 수행된다.Subsequently, in step S870, a process of calculating a moving speed of the vehicle (Equation 7) is performed using the moving distance of the vehicle and a time difference between the first time and the second time.

이상 설명한 바와 같이, 종래의 기술은 차량의 이동 속도를 측정하기 위해 별도의 장치(루프센서, 레이더, 초음파 등)를 사용하거나, 카메라의 화각, 초점 거리 등의 정보를 사용하지만, 본 발명에서는 번호판 종류에 따라 번호판의 크기가 일정하다는 점을 이용하여 통상적으로 자동차 번호판 인식 시스템으로부터 용이하게 획득할 수 있는 번호판의 위치/크기/문자열 정보와 번호판 규격 정보만을 사용하여 차량의 이동 속도를 구할 수 있다. As described above, the conventional technology uses a separate device (loop sensor, radar, ultrasound, etc.) to measure the vehicle's moving speed, or uses information such as the camera's field of view and focal length, but in the present invention, a license plate Using the fact that the size of the license plate is constant according to the type, it is possible to obtain the moving speed of the vehicle using only the location / size / string information of the license plate and the license plate specification information, which can be easily obtained from the vehicle license plate recognition system.

따라서, 과속 단속을 위해 반드시 설치해야 하는 최소한의 소프트웨어만으로 차량의 이동 속도를 추정할 수 있으므로 과속 단속 시스템의 설치 및 유지보수 비용을 절약할 수 있다. 또한, 종래의 기술과 달리 카메라 영상의 배경에 대한 실측을 필요로 하지 않으므로 촬영 방향이 고정된 카메라뿐만 아니라 PTZ 카메라와 같이 실시간으로 촬영 영역이 변하는 곳에서도 본 발명을 이용하여 차량의 이동 속도를 추정할 수 있다.Therefore, since the moving speed of the vehicle can be estimated with only the minimum software that must be installed for the speed control, the installation and maintenance cost of the speed control system can be reduced. In addition, unlike the prior art, since the actual background of the camera image is not required, the moving speed of the vehicle is estimated by using the present invention not only in a camera with a fixed shooting direction but also in a place where the shooting area changes in real time, such as a PTZ camera. can do.

이상, 본 발명에 대하여 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.As described above, the present invention has been mainly described with reference to examples, but this is merely an example and does not limit the present invention, and those of ordinary skill in the art to which the present invention pertains have an ideal range without departing from the essential characteristics of the present invention. It will be appreciated that various modifications and applications not illustrated in FIG. For example, each component specifically shown in the embodiment of the present invention can be modified. And differences related to these modifications and applications should be construed as being included in the scope of the invention defined in the appended claims.

Claims (1)

획득한 차량 영상 내의 차량 번호판을 인식하여, 차량 번호판의 화소 단위의 가로 길이 및 상기 차량 번호판의 화소 단위의 세로 길이를 획득하는 단계;
화소 단위의 가로 길이에 대한 차량 번호판의 실제 가로 길이를 추정하는 제1 변환함수와, 상기 제1 변환함수를 이용하여 상기 화소 단위의 세로 길이로부터 상기 차량 번호판의 실제 세로 길이를 추정하는 제2 변환함수를 획득하는 단계;
상기 제2 변환함수를 이용하여 상기 차량 번호판의 실제 세로 길이(hθ)를 추정하는 단계;
상기 추정된 실제 세로 길이(hθ)와 규격상 실제 세로 길이(hr)를 이용하여, 제1 시간에서 입력된 차량 영상에서 보여지는 차량 번호판의 기울어진 제1 각도(θ1)와 제2 시간에 입력된 차량 영상에서 보여지는 차량 번호판의 기울어진 제2 각도(θ2)를 추정하는 단계; 및
카메라의 높이(hc), 상기 제1 및 제2 각도 (θ1, θ2)를 이용하여, 차량의 이동 거리를 연산하고, 연산된 이동 거리와 상기 제1 및 제2 시간 간의 시간 차이를 이용하여 차량의 이동속도를 연산하는 단계
를 포함하는 차량의 이동 속도 추정 방법.Recognizing a vehicle license plate in the acquired vehicle image, obtaining a horizontal length in pixels of the vehicle license plate and a vertical length in pixels of the vehicle license plate;
A first conversion function for estimating the actual horizontal length of the vehicle license plate with respect to the horizontal length in pixels, and a second conversion for estimating the actual vertical length of the vehicle license plate from the vertical length in units of pixels using the first conversion function. Obtaining a function;
Estimating the actual vertical length (h θ ) of the vehicle license plate using the second conversion function;
Using the estimated actual vertical length (h θ ) and standard actual vertical length (h r ), the inclined first angle (θ 1 ) and the second of the license plate shown in the vehicle image input at the first time Estimating an inclined second angle (θ 2 ) of the vehicle license plate shown in the vehicle image input in time; And
Using the height (h c ) of the camera and the first and second angles (θ 1 , θ 2 ), a moving distance of the vehicle is calculated, and a time difference between the calculated moving distance and the first and second times is calculated. Calculating the moving speed of the vehicle using
Method for estimating the moving speed of a vehicle comprising a.
KR1020180105092A 2018-09-04 2018-09-04 Method and apparatus for estimating moving velocity of vehicle KR102522928B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180105092A KR102522928B1 (en) 2018-09-04 2018-09-04 Method and apparatus for estimating moving velocity of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180105092A KR102522928B1 (en) 2018-09-04 2018-09-04 Method and apparatus for estimating moving velocity of vehicle

Publications (2)

Publication Number Publication Date
KR20200027149A true KR20200027149A (en) 2020-03-12
KR102522928B1 KR102522928B1 (en) 2023-04-19

Family

ID=69802951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180105092A KR102522928B1 (en) 2018-09-04 2018-09-04 Method and apparatus for estimating moving velocity of vehicle

Country Status (1)

Country Link
KR (1) KR102522928B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085950A (en) * 2020-12-16 2022-06-23 주식회사 이누리 Speed measuring device
KR20220097176A (en) 2020-12-31 2022-07-07 주식회사 피플카 Vehicle electronic device and method for transmitting driving information of the vehicle according to the moving distance of the vehicle
KR102447798B1 (en) * 2022-07-06 2022-09-27 (주)토페스 Method for calculating number panel of vehicle, and method for calculating vehicle speed using the same
KR102459996B1 (en) * 2021-12-02 2022-10-28 주식회사 케이티앤씨 Automatic calibration device and method for vehicle speed measurement
KR102587046B1 (en) * 2023-05-08 2023-10-10 (주)다올아이티에스 Method and System for identify Vehicle number and detect their speed

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011157A (en) * 1998-06-25 2000-01-14 Nec Corp Image pickup device
JP2001126184A (en) * 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd Automatic license plate recognizing device and vehicle speed measuring method
KR20050038523A (en) * 2003-10-22 2005-04-27 현대자동차주식회사 Distance measuring device for nearing vehicle using camera and method thereof
US20120206602A1 (en) * 2009-08-17 2012-08-16 Pips Technology Limited method and system for measuring the speed of a vehicle
KR101633619B1 (en) * 2016-03-23 2016-06-27 주식회사 토페스 Method and apparatus for detecting velocity of vehicle using recognizing number of the vehicle of 2-dimensional image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011157A (en) * 1998-06-25 2000-01-14 Nec Corp Image pickup device
JP2001126184A (en) * 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd Automatic license plate recognizing device and vehicle speed measuring method
KR20050038523A (en) * 2003-10-22 2005-04-27 현대자동차주식회사 Distance measuring device for nearing vehicle using camera and method thereof
US20120206602A1 (en) * 2009-08-17 2012-08-16 Pips Technology Limited method and system for measuring the speed of a vehicle
KR101633619B1 (en) * 2016-03-23 2016-06-27 주식회사 토페스 Method and apparatus for detecting velocity of vehicle using recognizing number of the vehicle of 2-dimensional image

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085950A (en) * 2020-12-16 2022-06-23 주식회사 이누리 Speed measuring device
KR20220097176A (en) 2020-12-31 2022-07-07 주식회사 피플카 Vehicle electronic device and method for transmitting driving information of the vehicle according to the moving distance of the vehicle
KR102459996B1 (en) * 2021-12-02 2022-10-28 주식회사 케이티앤씨 Automatic calibration device and method for vehicle speed measurement
KR102447798B1 (en) * 2022-07-06 2022-09-27 (주)토페스 Method for calculating number panel of vehicle, and method for calculating vehicle speed using the same
KR102587046B1 (en) * 2023-05-08 2023-10-10 (주)다올아이티에스 Method and System for identify Vehicle number and detect their speed

Also Published As

Publication number Publication date
KR102522928B1 (en) 2023-04-19

Similar Documents

Publication Publication Date Title
KR20200027149A (en) Method and apparatus for estimating moving velocity of vehicle
RU2730687C1 (en) Stereoscopic pedestrian detection system with two-stream neural network with deep training and methods of application thereof
US9621779B2 (en) Face recognition device and method that update feature amounts at different frequencies based on estimated distance
US7929728B2 (en) Method and apparatus for tracking a movable object
KR101647370B1 (en) road traffic information management system for g using camera and radar
US6956469B2 (en) Method and apparatus for pedestrian detection
US9275472B2 (en) Real-time player detection from a single calibrated camera
US9690988B2 (en) Image processing apparatus and image processing method for blink detection in an image
US20110158540A1 (en) Pattern recognition method and pattern recognition apparatus
WO2016125014A1 (en) Vehicle speed detection
WO2008020598A1 (en) Subject number detecting device and subject number detecting method
CN111034189B (en) Imaging object tracking device and imaging object tracking method
CN113033348A (en) Overlook image correction method for pedestrian re-recognition, storage medium, and electronic device
JP2007127478A (en) Device and method for speed detection of tracking subject
JP6346868B2 (en) Stereo image processing method and apparatus
KR20190134303A (en) Apparatus and method for image recognition
CN113033353A (en) Pedestrian trajectory generation method based on overlook image, storage medium and electronic device
US11475233B2 (en) Image processing device and image processing method
CN113033350A (en) Pedestrian re-identification method based on overlook image, storage medium and electronic device
Shal’nov et al. Estimation of the people position in the world coordinate system for video surveillance
KR101470939B1 (en) A system and the method for detecting face using CCTV
KR101300166B1 (en) Apparatus and method for detecting iris
JP4055785B2 (en) Moving object height detection method and apparatus, and object shape determination method and apparatus
JP2016192108A (en) Stereo image processing method and device therefor
KR100407319B1 (en) Face feature tracking method using block-matching algorithm based on extended cost function

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right