KR102010823B1 - Method and apparatus for measuring speed of vehicle by using fixed single camera - Google Patents
Method and apparatus for measuring speed of vehicle by using fixed single camera Download PDFInfo
- Publication number
- KR102010823B1 KR102010823B1 KR1020170025765A KR20170025765A KR102010823B1 KR 102010823 B1 KR102010823 B1 KR 102010823B1 KR 1020170025765 A KR1020170025765 A KR 1020170025765A KR 20170025765 A KR20170025765 A KR 20170025765A KR 102010823 B1 KR102010823 B1 KR 102010823B1
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- license
- distance
- license plates
- recognized
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
- G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치가 제공된다. 단일 카메라로부터 획득되는 영상 프레임들로부터 인식된 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍에 대하여, 번호판 쌍을 이루는 두 개의 번호판의 소정 기준 위치를 토대로 획득되는 소실점들을 이용하여 3D(three dimension) 지형 모델을 생성한다. 그리고 생성된 3D 지형 모델을 이용하여 상기 두 개의 번호판의 기준 위치들의 거리를 계산하며, 상기 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도를 계산한다. A vehicle speed sensing method and apparatus using a fixed single camera is provided. Three-dimensional topography using vanishing points obtained based on predetermined reference positions of two license plates constituting a license plate pair, for at least one license plate pair obtainable for license plates recognized from image frames obtained from a single camera Create a model. The distance between the reference positions of the two license plates is calculated using the generated 3D terrain model, and the speed is calculated based on the difference in the shooting time of the image frame corresponding to the two license plates and the distance between the reference positions. do.
Description
본 발명은 영상 처리를 이용한 차량 속도 감지 방법에 관한 것으로, 더욱 상세하게 말하자면, 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치에 관한 것이다. The present invention relates to a vehicle speed sensing method using image processing, and more particularly, to a vehicle speed sensing method and apparatus using a fixed single camera.
영상 처리 기법을 이용하여 카메라에서 획득한 2D 영상 내에서 차량의 속도를 계산하기 위해, 카메라 교정을 통해 실제 세계의 3차원 좌표를 영상의 2차원 좌표로 변환하고 영상으로부터 실제 차량이 이동한 거리를 계산하여야 한다. 이러한 영상 변환의 방법으로는 주로 치수를 알고 있는 격자 모양의 평면 패턴을 이용하여 변환 행렬을 계산하며, 사용자 입력 정보가 동일할 때 일관된 교정 성능을 보인다.In order to calculate the speed of the vehicle in the 2D image acquired by the camera using the image processing technique, the camera calibration is performed to convert the 3D coordinates of the real world into the 2D coordinates of the image and the distance the actual vehicle traveled from the image. Calculate The image transformation method mainly calculates the transformation matrix using a grid-like planar pattern whose dimensions are known, and shows consistent correction performance when the user input information is the same.
구체적으로, 영상 내에서 객체의 이동거리를 측정하기 위해서 실제 세계의 3차원 좌표(이하 월드좌표라고 명명함)를 영상의 2차원 좌표(이하, 영상좌표라고 명명함)로 변환하는 카메라 교정 방법이 사용된다. 이를 위해 격자 모양의 평면 패턴을 이용하는 방법이 일반적으로 사용된다. 월드좌표를 영상좌표로 변환하는 변환행렬 계산이 카메라 교정 방법의 성능을 좌우하며, 이러한 변환행렬을 호모그래피(homography) 매트릭스라 한다. 변환 행렬에는 초점거리, 주점, 비대칭 계수 등의 파라미터들이 사용되며, 주점은 이미지 센서(CMOS(Complementary Metal-Oxide Semiconductor), CCD(Charge Coupled Device) 등)의 가로/세로 비율에서 기인하며, 비대칭 계수는 카메라 제작과정의 오차에서 발생된다. 초창기 카메라가 만들어질 때에는 이러한 내부 변수의 역할이 컸지만 기술 발달로 인해 그 의미가 거의 없다. 따라서 호모그래피 매트릭스를 구하기 위해 나머지 파라미터들(초점 및 회전/이동변환 행렬, 월드 좌표)을 계산해야 하며, 이때, 격자 모양의 평면 패턴을 이용하여 월드좌표와 영상좌표를 매칭한다.Specifically, in order to measure the moving distance of an object in an image, a camera calibration method of converting three-dimensional coordinates of the real world (hereinafter referred to as world coordinates) into two-dimensional coordinates of the image (hereinafter referred to as image coordinates) Used. For this purpose, a method using a lattice planar pattern is generally used. Calculation of the transformation matrix that transforms world coordinates into image coordinates determines the performance of the camera calibration method, which is called a homography matrix. The transformation matrix uses parameters such as focal length, principal point, and asymmetry coefficient.The principal point is derived from the aspect ratio of the image sensor (Complementary Metal-Oxide Semiconductor (CMOS), Charge Coupled Device (CCD), etc.). Is caused by errors in the camera manufacturing process. In the early cameras, these internal variables played a large role, but due to technological advances, they have little meaning. Therefore, in order to obtain a homography matrix, the remaining parameters (focal and rotation / translation matrix, world coordinates) must be calculated. At this time, the world coordinates and the image coordinates are matched using a lattice plane pattern.
초점 및 회전/이동변환 행렬, 월드 좌표와 같은 파라미터들의 계산을 위하여, 카메라의 기본적인 스펙(초점 길이, 수직/수평 화각 등), 카메라 설치 높이 및 각도 정보 등이 필요하다. 또한, 카메라가 설치되면 해당 설치 장소에서 격자 모양 평면 패턴을 이용하여 월드좌표에 대한 정보를 획득하여야만 한다. In order to calculate parameters such as the focus and rotation / translation matrices and world coordinates, basic specifications of the camera (focal length, vertical / horizontal angle of view, etc.), camera installation height and angle information are required. In addition, when the camera is installed, information about the world coordinates should be obtained using a grid-like plane pattern at the installation site.
하지만, 이러한 방법은 대량의 카메라에 대해 적용할 때, 모든 설치 장소에서 격자 모양의 평면 패턴을 이용하여 교정하여야 하므로 적용이 쉽지 않고, 실외환경에서 외부요인에 의한 카메라 움직임 등으로 인해 실제 적용에 어려움이 많다. 또한, 위험물을 취급하는 공장, 사업장 등의 산업현장은 대개 규모가 커서 수백 대 이상의 카메라를 설치하여 감시하는 것이 일반적이므로 기존의 카메라 교정 방법을 적용하기 힘든 실정이다. 이를 개선하기 위해, 최근 로봇, 스테레오 카메라, 3D 등의 분야에서 다양한 목적을 위해 영상변환 방법이 활발히 연구되고 있다. 일반적으로 이러한 카메라 교정에 의한 영상변환 방법은 다양한 정보를 필요로 하는데, 이를 위해 사용자가 많은 양의 정보를 입력하거나 학습하는 등의 작업이 필요하다. However, when applied to a large number of cameras, this method is not easy to apply because it needs to be calibrated using a grid-like flat pattern in all installation places, and it is difficult to apply due to camera movement caused by external factors in outdoor environment. There are many. In addition, industrial sites, such as factories and workplaces that handle dangerous goods, are generally large and are installed to monitor hundreds of cameras. Therefore, it is difficult to apply existing camera calibration methods. In order to improve this, image conversion methods have been actively studied for various purposes in the fields of robots, stereo cameras, and 3D. In general, the image conversion method by the camera calibration requires a variety of information, for which the user is required to input or learn a large amount of information.
한편, 차량 속도를 감지하는 일반적인 방법으로 루프코일 방식이 대표적이다. 루프코일 방식은, 차도 위에 루프 코일로 이루어지는 센서를 매설하고 센서와 카메라를 연동시켜 차량 속도를 감지한다. 이를 위해 차도를 절개하고 센서를 매설해야 하며, 루프코일에 대한 유지비용으로 많은 비용이 소모된다. Meanwhile, the roof coil method is a typical method for detecting a vehicle speed. The roof coil method embeds a sensor made of a loop coil on a roadway, and detects a vehicle speed by interlocking a sensor and a camera. To do this, a driveway must be cut and a sensor buried, and the cost of maintaining the roof coil is high.
이외에도, 차량속도를 감지하기 위한 방법으로 레이더 방식 등 다양한 방식이 있지만, 이러한 방식들은 다양한 장치를 필요로 하므로 설치비가 증가하는 문제점이 있다. In addition, there are various methods such as a radar method as a method for detecting a vehicle speed, but these methods require a variety of devices, and thus there is a problem in that installation cost increases.
본 발명이 해결하고자 하는 기술적 과제는 사용자의 입력 정보 없이 단일 카메라에서 차량의 번호판 인식을 기반으로 해당 차량의 이동속도를 계산하는 차량 속도 감지 방법 및 장치를 제공하는 것이다. The technical problem to be solved by the present invention is to provide a vehicle speed detection method and apparatus for calculating the moving speed of the vehicle based on the license plate recognition of the vehicle in a single camera without the user input information.
본 발명의 특징에 따른 차량 속도 감지 방법은, 단일 카메라로부터 획득되는 영상 프레임들로부터 번호판들을 인식하는 단계; 인식된 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍에 대하여, 상기 번호판 쌍을 이루는 두 개의 번호판의 소정 기준 위치를 토대로 획득되는 소실점들을 이용하여 3D(three dimension) 지형 모델을 생성하는 단계; 상기 생성된 3D 지형 모델을 이용하여 상기 두 개의 번호판의 기준 위치들의 거리를 계산하는 단계; 및 상기 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도를 계산하는 단계를 포함한다. A vehicle speed sensing method according to an aspect of the present invention comprises the steps of: recognizing license plates from image frames obtained from a single camera; Generating a three-dimensional (3D) terrain model for each of the at least one license plate pair obtainable for the recognized license plates, using vanishing points obtained based on predetermined reference positions of the two license plates constituting the license plate pair; Calculating distances of reference positions of the two license plates using the generated 3D terrain model; And calculating a speed based on a difference in photographing time of image frames corresponding to the two license plates and a difference in distance between the reference positions.
상기 3D 지형 모델은 호모그래피(homography) 매트릭스이며, 상기 두 개의 번호판으로부터 획득되는 3개의 소실점을 이용하여 생성될 수 있다. The 3D topography model is a homography matrix and can be generated using three vanishing points obtained from the two license plates.
이 경우, 상기 거리를 계산하는 단계는, 상기 3D 지형 모델을 이용하여, 상기 두 개의 번호판의 기준 위치들의 월드 좌표계에서의 위치를 획득하는 단계; 및 상기 두 개의 번호판에 대응하는 번호판 규격 정보로부터 획득되는 정보와 상기 위치를 토대로, 상기 기준 위치들의 월드 좌표계에서의 거리를 획득하는 단계를 포함할 수 있다. In this case, the calculating of the distance may include obtaining a position in a world coordinate system of reference positions of the two license plates using the 3D terrain model; And acquiring a distance in a world coordinate system of the reference positions based on the information obtained from license plate standard information corresponding to the two license plates and the position.
한편, 상기 속도를 계산하는 단계는, 인식된 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍 각각에 대하여, 상기 번호판 쌍을 구성하는 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도들을 계산하는 단계; 및 상기 계산된 속도들의 평균을 계산하여 최종 차량 속도를 획득하는 단계를 포함할 수 있다. On the other hand, the step of calculating the speed, for each of the at least one pair of license plates that can be obtained for the recognized license plates, the difference in the shooting time of the image frame corresponding to the two license plates constituting the license plate pair, and the reference Calculating velocities based on the difference in distance of the locations; And calculating the average of the calculated speeds to obtain a final vehicle speed.
상기 차량 속도 감지 방법은, 상기 3D 지형 모델을 생성하는 단계 이전에, 상기 인식된 번호판들 중에서 잘못 인식된 번호판을 판별하는 단계를 더 포함할 수 있다. The vehicle speed sensing method may further include determining an incorrectly recognized license plate from among the recognized license plates before generating the 3D terrain model.
상기 번호판을 판별하는 단계는, 상기 인식된 번호판들에 대하여 최소의 거리를 가지는 직선을 획득하는 단계; 상기 인식된 번호판들 중 임의 번호판의 설정 점과 상기 직선 사이의 거리를 미리 설정된 임계치와 비교하는 단계; 및 상기 직선 사이의 거리가 상기 임계치 이상인 번호판을 잘못 인식된 번호판으로 판별하는 단계를 포함할 수 있다. The determining of the license plate may include obtaining a straight line having a minimum distance with respect to the recognized license plates; Comparing a distance between a set point of any of the recognized license plates and the straight line with a preset threshold; And determining a license plate having a distance between the straight lines greater than or equal to the threshold value as an incorrectly recognized license plate.
상기 번호판을 판별하는 단계는, 상기 인식된 번호판들에서 상기 잘못 인식된 번호판을 제거하는 단계를 더 포함할 수 있으며, 상기 3D 지형 모델을 생성하는 단계는, 상기 잘못 인식된 번호판이 제거된 번호판들을 토대로 획득 가능한 적어도 하나의 번호판 쌍에 대하여 3D 지형 모델을 생성할 수 있다. The determining of the license plate may further include removing the wrongly recognized license plate from the recognized license plates, and generating the 3D terrain model may include removing license plates from which the wrongly recognized license plate has been removed. A 3D terrain model may be generated for at least one pair of license plates obtainable based on the above.
상기 기준 위치는 번호판의 임의 코너점일 수 있다. The reference position may be any corner point of the license plate.
상기 번호판들을 인식하는 단계는, 상기 영상 프레임으로부터 움직이는 객체를 검출하는 단계; 및 상기 검출된 객체에서 번호판을 인식하는 단계를 포함할 수 있다. Recognizing the license plates includes: detecting a moving object from the image frame; And recognizing a license plate in the detected object.
상기 번호판들을 인식하는 단계는, 상기 인식된 번호판들에 대하여, 번호판을 구성하는 네 개의 경계 직선을 검출하여 사각형 형태의 번호판을 인식하는 단계를 더 포함할 수 있다. Recognizing the license plates may further include recognizing a rectangular license plate by detecting four boundary straight lines constituting the license plate with respect to the recognized license plates.
본 발명의 다른 특징에 따른 차량 속도 감지 장치는, 단일 카메라로부터 영상 프레임들을 입력받도록 구성되는 입출력부; 그리고 상기 입출력부와 연결되고, 상기 영상 프레임들로부터 차량 속도를 감지하는 프로세서를 포함하며, 상기 프로세서는, 영상 프레임들로부터 인식되는 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍에 대하여, 상기 번호판 쌍을 이루는 두 개의 번호판의 소정 기준 위치를 토대로 획득되는 소실점들을 이용하여 3D(three dimension) 지형 모델을 생성하고, 상기 생성된 3D 지형 모델을 이용하여 상기 두 개의 번호판의 기준 위치들의 거리를 계산하고, 상기 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도를 계산하도록 구성된다. According to another aspect of the present invention, an apparatus for detecting a vehicle speed includes an input / output unit configured to receive image frames from a single camera; And a processor connected to the input / output unit and detecting a vehicle speed from the image frames, wherein the processor includes at least one license plate pair for at least one license plate pair recognized from the image frames. Generate a three-dimensional (3D) terrain model using vanishing points obtained based on predetermined reference positions of two license plates, and calculate distances of the reference positions of the two license plates using the generated 3D terrain model. And calculate a speed based on a difference in photographing time of the image frames corresponding to the two license plates, and a difference in distance between the reference positions.
상기 프로세서는, 상기 3D 지형 모델을 이용하여, 상기 두 개의 번호판의 기준 위치들의 월드 좌표계에서의 위치를 획득하고, 상기 두 개의 번호판에 대응하는 번호판 규격 정보로부터 획득되는 정보와 상기 위치를 토대로, 상기 기준 위치들의 월드 좌표계에서의 거리를 획득하도록 구성될 수 있다. The processor acquires a position in a world coordinate system of reference positions of the two license plates using the 3D terrain model, and based on the position and information obtained from license plate standard information corresponding to the two license plates, And to obtain a distance in the world coordinate system of the reference positions.
상기 프로세서는, 인식된 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍 각각에 대하여, 상기 번호판 쌍을 구성하는 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도들을 계산하고, 상기 계산된 속도들의 평균을 계산하여 최종 차량 속도를 획득하도록 구성될 수 있다. The processor may determine, for each of the at least one license plate pair obtainable with respect to the recognized license plates, a difference in photographing time of an image frame corresponding to two license plates constituting the license plate pair, and a difference in distance between the reference positions. Calculate speeds on the basis and calculate an average of the calculated speeds to obtain a final vehicle speed.
상기 프로세서는, 상기 인식된 번호판들 중에서 잘못 인식된 번호판을 판별하고, 상기 인식된 번호판들에서 상기 잘못 인식된 번호판을 제거한 번호판들을 토대로 획득 가능한 적어도 하나의 번호판 쌍에 대하여 3D 지형 모델을 생성하도록 구성될 수 있다. The processor is configured to determine an incorrectly recognized license plate among the recognized license plates and to generate a 3D terrain model for at least one license plate pair obtainable based on license plates from which the wrong license plate is removed from the recognized license plates. Can be.
상기 프로세서는, 상기 인식된 번호판들에 대하여 최소의 거리를 가지는 직선과, 설정 점 사이의 거리가 미리 설정된 임계치 이상인 번호판을 잘못 인식된 번호판으로 판별하여 제거하도록 구성될 수 있다. The processor may be configured to identify and remove a straight line having a minimum distance with respect to the recognized license plates and a license plate having a distance between a set point equal to or greater than a preset threshold as an incorrectly recognized license plate.
본 발명의 실시 예에 따르면, 고정형 단일 카메라로부터 획득되는 영상을 이용하여 차량의 속도를 용이하게 측정할 수 있다. According to an embodiment of the present invention, the speed of the vehicle can be easily measured using an image obtained from the fixed single camera.
또한, 카메라 외에 다른 센서를 이용하지 않으며 설치비를 최소화 할 수 있다. 따라서 본 발명의 실시 예에 따른 방법과 장치를 위험물을 취급하는 산업현장에서 과속 차량을 감지하는데 적용할 수 있다. 이 경우, 환경안전 예방에 많은 도움을 줄 수 있을 뿐만 아니라, 차도에 설치된 과속단속 장치를 대체함으로써 유지/보수 비용을 급격히 절감할 수 있다.In addition, it does not use any sensor other than the camera and can minimize the installation cost. Therefore, the method and the apparatus according to the embodiment of the present invention can be applied to detect the speeding vehicle in the industrial site handling dangerous goods. In this case, not only can the environmental safety prevention be greatly helped, but the maintenance / maintenance cost can be drastically reduced by replacing the speeding device installed in the roadway.
도 1은 본 발명의 실시 예에 따른 차량 속도 감지 장치의 구조도이다.
도 2는 본 발명의 실시 예에 따른 차량 속도 감지 방법의 흐름도이다.
도 3은 본 발명의 실시 예에 따른 객체 검출 과정을 나타낸 예시도이다
도 4는 본 발명의 실시 예에서, 정밀 번호판 추출을 위한 허프 변환 처리를 나타낸 예시도이다.
도 5는 본 발명의 실시 예에 따른 정밀 번호판 추출 처리 과정을 나타낸 예시도이다.
도 6은 본 발명의 실시 예에 따른 번호판 추출 처리 결과를 나타낸 예시도이다.
도 7은 본 발명의 실시 예에서 번호판 판별 및 제거 과정을 나타낸 예시도이다.
도 8은 본 발명의 실시 예에 따른 소실점을 이용한 3D 지형 모델링을 나타낸 예시도이다.
도 9는 본 발명의 실시 예에 따른 번호판 규격을 나타낸 예시도이다.
도 10은 실제 이동 차량의 실험 환경을 나타낸 예시도이다.
도 11은 본 발명의 다른 실시 예에 따른 차량 속도 감지 장치의 구조도이다. 1 is a structural diagram of a vehicle speed sensing apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a vehicle speed sensing method according to an exemplary embodiment of the present invention.
3 is an exemplary view illustrating an object detection process according to an exemplary embodiment of the present invention.
4 is an exemplary view showing a Hough transform process for extracting a precision license plate in an embodiment of the present invention.
5 is an exemplary view showing a precision license plate extraction process according to an embodiment of the present invention.
6 is an exemplary view showing a license plate extraction process result according to an embodiment of the present invention.
Figure 7 is an exemplary view showing a license plate identification and removal process in an embodiment of the present invention.
8 is an exemplary view showing 3D terrain modeling using a vanishing point according to an embodiment of the present invention.
9 is an exemplary view showing a license plate standard according to an embodiment of the present invention.
10 is an exemplary view showing an experimental environment of an actual mobile vehicle.
11 is a structural diagram of a vehicle speed sensing apparatus according to another embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification and claims, when a portion is said to "include" any component, it means that it can further include other components, except to exclude other components unless specifically stated otherwise.
이하, 본 발명의 실시 예에 따른 차량 속도 감지 방법 및 장치에 대하여 설명한다. Hereinafter, a method and apparatus for detecting a vehicle speed according to an exemplary embodiment of the present invention will be described.
본 발명의 실시 예에서는 차량 번호판을 이용하여 3D(three dimension) 지형 모델링을 하고 입력 프레임간 검출 위치를 이용하여 해당 차량의 이동속도를 계산한다. In an embodiment of the present invention, three-dimensional (3D) terrain modeling is performed using a vehicle license plate, and a moving speed of the vehicle is calculated using an input interframe detection position.
도 1은 본 발명의 실시 예에 따른 차량 속도 감지 장치의 구조도이다. 1 is a structural diagram of a vehicle speed sensing apparatus according to an embodiment of the present invention.
본 발명의 실시 예에 따른 차량 속도 감지 장치(100)는 움직임 판별부(110), 번호판 인식부(120), 정밀 번호판 추출부(130), 보정 처리부(150), 3D 지형 모델링부(150), 그리고 속도 계산부(160)를 포함한다. Vehicle
움직임 판별부(110)는 고정형 단일 카메라로부터 획득되는 영상 내에 움직이는 객체가 있는지를 판단하고, 움직이는 객체를 검출한다. The
번호판 인식부(120)는, 움직임 판별부(110)에 의해 검출된 움직이는 객체에서 번호판을 인식한다. The license
정밀 번호판 추출부(130)는 번호판 인식부(120)에서 인식된 번호판에 대한 정밀 번호판 추출 처리를 수행한다. 구체적으로, 번호판 모양인 사각형(이하, 번호판 사각형이라고 명명함)을 추출한다. 정밀 번호판 추출 처리는 번호판을 감싸는 직사각형의 네 변을 이루는 직선을 찾는 과정을 나타낸다. The precision license
3D 지형 모델링부(150)는 거리 계산을 위하여 3D 지형 모델링을 수행한다. 본 발명의 실시 예에서는 두 개의 번호판의 소정 위치를 토대로, 세 개의 소실점(vanishing point)을 이용하여 3D 지형 모델링을 수행하여 객체의 영상 내 이동 거리를 측정한다. The 3D
보정 처리부(140)는 지형 모델링부(10)에 의한 3D 지형 모델링 전에 잘못추출된 번호판을 제거하는 등의 세부 보정 처리를 수행한다. The
이동속도 계산부(60)는 번호판에 대하여 획득된 소정의 위치와, 해당 위치의 이동 거리, 그리고 번호판들의 시간 정보를 이용하여, 차량의 속도를 계산한다. The moving speed calculating unit 60 calculates the speed of the vehicle using the predetermined position acquired with respect to the license plate, the moving distance of the corresponding position, and time information of the license plates.
이러한 구조로 이루어지는 본 발명의 실시 예에 따른 차량 속도 감지 장치(100)는 고정형 카메라로부터 영상을 획득하며, 영상 처리 기법에 따라 영상을 처리하여 영상 내 움직이는 객체인 차량의 속도를 계산한다. 이에 대해서는 하기에서 보다 구체적으로 설명하기로 한다. The vehicle
도 2는 본 발명의 실시 예에 따른 차량 속도 감지 방법의 흐름도이다. 2 is a flowchart illustrating a vehicle speed sensing method according to an exemplary embodiment of the present invention.
먼저, 차량 속도 감지 장치(10)는 카메라에서 입력되는 영상 내에서 움직이는 객체를 검출한다(S100, S110). 영상 내에서 움직이는 객체가 있는지를 판단하기 위하여, 배경 모델링 기법을 사용할 수 있으며, 배경 모델링 기법은 커널(kernel)에 기초한 방법, GMN(Gaussian Mixture Model)에 기초한 방법, 코드북에 기초한 방법 등이 있다. 본 발명의 실시 예에서는 코드북에 기초하여 배경 모델링을 수행하지만, 본 발명은 이에 한정되지 않는다. First, the vehicle speed detecting apparatus 10 detects an object moving in an image input from a camera (S100 and S110). In order to determine whether there is a moving object in an image, a background modeling technique may be used. The background modeling technique may include a kernel-based method, a GMN-based method, a codebook-based method, and the like. In the embodiment of the present invention, the background modeling is performed based on the codebook, but the present invention is not limited thereto.
도 3은 본 발명의 실시 예에 따른 객체 검출 과정을 나타낸 예시도이다. 3 is an exemplary view illustrating an object detection process according to an exemplary embodiment of the present invention.
첨부한 도 3에서와 같이, 입력되는 연속 영상에 대해 배경을 모델링하여 픽셀 단위의 코드북을 기반으로 배경모델(BG model)을 생성한다. 생성된 코드북 즉, 배경 모델은 전경 및 배경을 모델링한 결과가 함께 나타나므로, 임계치를 이용하여 전경을 검출하고 이를 라벨링(Labeling)하는 과정을 수행하여 객체를 검출한다. 예를 들어, 영상에서 각 픽셀이 가지는 값의 분산을 학습하여 정의된 임계치 이상의 값을 가지는 픽셀을 전경으로 간주하며 이를 라벨링하여 객체를 검출한다. 이에 따라 예를 들어, 도 3에서와 같이, 영상에서 배경이 제거된 영상에서 움직이는 객체를 검출한다. As shown in FIG. 3, a background is modeled on an input continuous image to generate a background model based on a pixel codebook. Since the generated codebook, that is, the background model, is a result of modeling the foreground and the background together, the foreground is detected using a threshold value and the object is detected by labeling the foreground. For example, by learning the variance of the value of each pixel in the image, the pixel having a value greater than or equal to the defined threshold is regarded as the foreground, and the object is detected by labeling it. Accordingly, for example, as shown in FIG. 3, the moving object is detected in the image from which the background is removed from the image.
이후, 차량 속도 감지 장치(100)는 객체에서 번호판을 인식한다(S120). 본 발명의 실시 예에서는 차량의 속도를 감지하므로 검출되는 객체가 차량이다. 그러므로 검출되는 객체에서 번호판을 인식한다. 움직이는 객체에서 번호판을 인식함에 따라, 움직이는 물체가 존재하지 않거나 정지해 있는 차량의 영상을 매 프레임마다 번호판 인식을 수행하는 것에 비하여, 처리 시간이나 프로세서(CPU 등)의 사용량을 감소시킬 수 있다. 번호판 인식을 위해 공지된 기술을 이용할 수 있으며, 여기서는 상세한 설명을 생략한다. Thereafter, the vehicle
움직이는 객체에서 번호판을 인식하며, 예를 들어, 인식된 번호판이 설정 크기 예를 들어, 폭: 140 픽셀, 높이: 40 픽셀의 크기를 가지는 경우에 번호판으로 최종인식할 수 있다. 그리고 번호판에서 문자/숫자를 인식한다. The license plate is recognized in the moving object, and for example, the license plate can be finally recognized when the recognized license plate has a size of a set size, for example, width: 140 pixels and height: 40 pixels. The license plate recognizes letters / numbers.
번호판 인식은 크게 두 단계로 이루어질 수 있다. 첫번째 단계는 LPL(License Plate localization) 알고리즘을 이용해 대략적인 번호판 위치를 검출하고, 둘째 OCR(Optical Character Recognition)을 통해 실제 문자/숫자를 인식한다. 따라서 대략적인 번호판 위치를 알 수가 있는데, 3D 지형 모델링을 위해서는 정밀한 번호판 추출이 필요하다.License plate recognition can be accomplished in two steps. The first step uses the License Plate localization (LPL) algorithm to detect the approximate license plate position, and the second, OCR (Optical Character Recognition) to recognize the actual letters / numbers. Therefore, the approximate license plate position can be known, and precise license plate extraction is required for 3D terrain modeling.
이에 따라, 차량 속도 감지 장치(100)는 정밀 번호판 추출을 수행한다(S130). 구체적으로, 인식된 번호판의 구체적인 모양인 사각형을 추출하는데, 번호판을 감싸는 직사각형의 네 변을 이루는 직선을 찾는다. Accordingly, the vehicle
직선 추출을 위하여 예를 들어, 허프 변환(Hough transform)을 사용한다. For example, a Hough transform is used for straight line extraction.
도 4는 본 발명의 실시 예에서, 정밀 번호판 추출을 위한 허프 변환 처리를 나타낸 예시도이다. 4 is an exemplary view showing a Hough transform process for extracting a precision license plate in an embodiment of the present invention.
정밀 번호판 추출을 위해, 먼저, 케니 에지 검출(Canny edge detection)을 사용한다. 허프 변환은 도 4에서와 같이, 허프 공간(Hough space)이라고 불리는 
도 5는 본 발명의 실시 예에 따른 정밀 번호판 추출 처리 과정을 나타낸 예시도이다. 5 is an exemplary view showing a precision license plate extraction process according to an embodiment of the present invention.
먼저, 번호판 경계 후보에 해당하는 직선들(도 5에서, 붉은색의 직선(예를 들어, 가운데 직사각형들 중 두번째와 네번째에서의 직선들))을 추출한다. 경계 후보 직선 추출시, 번호판의 윗변과 아랫변의 경우, 허프 공간상에서 누적 값이 번호판 영상 폭(width)의 절반 이상 값을 가지는 직선들이 경계 후보 직선으로 추출되며, 번호판의 왼쪽 변과 오른쪽 변의 경우, 허프 공간상에서 누적 값이 영상 높이(height)의 절반 이상 값을 가지는 직선들이 경계 후보 직선으로 추출된다. First, straight lines corresponding to license plate boundary candidates (in FIG. 5, red straight lines (eg, straight lines in the second and fourth of the middle rectangles) are extracted. When extracting the boundary candidate straight lines, straight lines having a cumulative value of more than half the width of the license plate image in the Huff space are extracted as the boundary candidate straight lines in the upper and lower sides of the license plate, and in the case of the left and right sides of the license plate, In Huff space, straight lines having a cumulative value greater than or equal to half the image height are extracted as boundary candidate straight lines.
번호판의 각 변에 대하여 추출된 경계 후보 직선들에 대하여, 직선의 기울기를 의미하는 θ값을 기준으로 필터링를 위한 값, 예를 들어, α-절사 평균(trimmed mean)
이러한 과정을 통하여 번호판을 구성하는 네 개의 경계 직선이 검출되어, 최종적으로 번호판 사각형을 획득한다. Through this process, four boundary straight lines constituting the license plate are detected, and finally a license plate rectangle is obtained.
도 6은 본 발명의 실시 예에 따른 번호판 추출 처리 결과를 나타낸 예시도이다. 6 is an exemplary view showing a license plate extraction process result according to an embodiment of the present invention.
예를 들어, 움직인 객체에서 번호판 인식을 통하여 도 6의 (a)에서와 같은 번호판이 인식되며, 정밀 번호판 추출 처리를 통하여 도 6의 (b)에서와 같은 번호판이 최종적으로 추출된다. For example, a license plate as shown in FIG. 6A is recognized through license plate recognition in a moving object, and a license plate as shown in FIG. 6B is finally extracted through a precision license plate extraction process.
본 발명의 실시 예에서, 3D 지형 모델링(카메라 보정)의 정확성은 소실점을 결정하는 번호판의 경계를 정확하게 찾았는지의 여부에 있다. 그러나 영상 처리를 이용한 정밀 번호판 추출은 영상의 화질과 카메라와 번호판간의 거리, 해상도 등에 의해 약간의 오차를 가질 수 있다. 따라서 3D 지형 모델링 이전에 잘못 추출된 번호판을 분류해서 걸러내는 작업이 필요하다. In an embodiment of the present invention, the accuracy of 3D terrain modeling (camera correction) depends on whether or not the boundary of the license plate that accurately determines the vanishing point is found. However, precision license plate extraction using image processing may have some errors due to image quality, distance between camera and license plate, and resolution. Therefore, before the 3D terrain modeling, it is necessary to classify and filter out wrongly extracted license plates.
이를 위해, 본 발명의 실시 예에서는 초당 설정 프레임(예: 30 프레임)의 영상에서 추출된 동일한 차량의 모든 번호판에 대해서, 동일한 모서리 즉, 코너점을 이용해서 라인 피팅(Line fitting) 알고리즘을 수행한다. 라인 피팅 알고리즘은 점(point)들의 집합에서, 점들과의 거리(
본 발명의 실시 예에서, 점들과의 거리는 다음의 거리 함수(distance function)을 토대로 계산될 수 있다.In an embodiment of the present invention, the distance from the points may be calculated based on the following distance function.
이와 같이, 움직이는 객체인 동일 차량으로부터 추출된 모든 번호판에 대해서, 동일한 모서리를 이용해서 점들과의 거리가 최소인 직선을 각각 계산하고, 계산된 직선과 각 번호판의 코너점과의 거리를 계산한다. 그리고 계산된 거리가 미리 설정된 임계치 이상일 때 해당 번호판 위치는 오류가 있다고 판단하고 잘못 추출된 번호판으로 분류하여 제거한다(S140). In this way, for all license plates extracted from the same vehicle, which is a moving object, a straight line having a minimum distance from the points is calculated using the same edge, and the distance between the calculated straight line and the corner point of each license plate is calculated. When the calculated distance is greater than or equal to a preset threshold, the corresponding license plate position is determined to be in error, and is classified and removed as an incorrectly extracted license plate (S140).
도 7은 본 발명의 실시 예에서 번호판 판별 및 제거 과정을 나타낸 예시도이다. Figure 7 is an exemplary view showing a license plate identification and removal process in an embodiment of the present invention.
첨부한 도 7에 예시되어 있듯이, 라인 피팅 알고리즘에 따라 계산된 직선과 번호판의 코너점 사이의 거리가 임계치 이상인 번호판은, 부정확하게 추출된 번호판으로 판별하고, 해당 번호판을 이후 3D 지형 모델링을 위한 대상에서 제거한다. 이는 남아있을지 모를 번호판의 위치 오차를 실제 속도 계산 단계에서 통계적인 방법으로 보정하기 위함이다.As illustrated in FIG. 7, a license plate whose distance between a straight line calculated according to a line fitting algorithm and a corner point of the license plate is greater than or equal to a threshold value is determined as an incorrectly extracted license plate, and the license plate is a target for 3D terrain modeling. Remove from This is to correct the positional error of the license plate which may remain in the statistical method at the actual speed calculation step.
위에 기술된 바와 같이, 3D 지형 모델링 이전에 잘못 추출된 번호판을 분류해서 걸러내는 과정을 수행한 다음에, 부정확하게 추출된 번호판이 걸러지고 남은 번호판들을 토대로 3D 지형 모델링을 수행한다. As described above, before the 3D terrain modeling, the process of classifying and filtering out wrongly extracted license plates is performed, and then incorrectly extracted license plates are filtered and 3D terrain modeling is performed based on the remaining license plates.
거리 계산을 위해 3D 지형 모델링을 수행한다(S150). 부정확하게 추출된 번호판이 걸러지고 남은 번호판들의 모든 가능한 번호판 쌍(pair)에 대해서, 각각 3D 지형 모델(호모그래피 매트릭스)을 모두 생성한다.3D terrain modeling is performed for distance calculation (S150). Incorrectly extracted license plates are filtered out and for each possible license plate pair of remaining license plates, each generates a 3D terrain model (homography matrix).
호모그래피 매트릭스(변환 행렬)는 다음과 같이 나타낼 수 있다. The homography matrix (conversion matrix) can be represented as follows.
여기서, 
3D 지형 모델링을 위해, 시간차를 통해 얻어진 동일한 두 개의 정밀 번호판 위치를 통해서 얻을 수 있는 세 개의 소실점(vanishing point)을 이용한다. For 3D terrain modeling, we use three vanishing points that can be obtained through the same two precision license plate positions obtained through time differences.
도 8은 본 발명의 실시 예에 따른 소실점을 이용한 3D 지형 모델링을 나타낸 예시도이다. 8 is an exemplary view showing 3D terrain modeling using a vanishing point according to an embodiment of the present invention.
위에 기술된 바와 같은 과정을 통하여 시간차로 획득되는 두 개의 정밀 번호판의 위치를 토대로, 도 8과 같은 세 개의 소실점(
획득된 소실점을 이용하여, 객체의 영상 내 이동 거리를 측정하기 위한 변환행렬인 호모그래피 매트릭스의 회전(Rotaion, Transplation) 행렬을 계산할 수 있다. 이를 수식으로 나타내면 다음과 같다. Using the acquired vanishing point, a rotation matrix of a homography matrix, which is a transformation matrix for measuring a moving distance in an image of an object, may be calculated. This is expressed as a formula as follows.
본 발명의 실시 예에서는 호모그래피 매트릭스를 계산하기 위해서 격자형태 패턴을 사용하는 등의 외부의 도움 없이, 시간차를 통해 얻어진 동일한 두 개의 정밀 번호판 위치를 통해서 얻을 수 있는 세 개의 소실점을 이용하여 호모그래피 매트릭스의 회전 매트릭스를 계산할 수 있다. In the exemplary embodiment of the present invention, the homography matrix using three vanishing points obtained through the same two precision license plate positions obtained through the time difference, without external help such as using a lattice pattern to calculate the homography matrix. We can calculate the rotation matrix of.
이와 같이 산출되는 호모그래피 매트릭스를 이용하여 영상 좌표를 실제 세계 3차원 좌표인 월드좌표로 변환할 수 있다. By using the homography matrix calculated as described above, image coordinates may be converted into world coordinates, which are real world three-dimensional coordinates.
본 발명의 실시 예에서는 각 번호판 영상에서 번호판의 코너점에 대응하는 월드 좌표계에서의 위치를 알 수가 있다. 월드 좌표계에서의 위치는 예를 들어, 위의 수학식 2를 토대로 획득할 수 있다. In the embodiment of the present invention, the position in the world coordinate system corresponding to the corner point of the license plate in each license plate image may be known. The position in the world coordinate system may be obtained based on, for example, Equation 2 above.
번호판의 코너점에 대응하는 월드 좌표계에서의 위치(이하, 설명의 편의를 위하여 거리 계산을 위한 기준 위치라고 명명함)의 이동 거리 즉, 객체인 차량의 이동 거리를 계산한다(S160). The movement distance of the position in the world coordinate system corresponding to the corner point of the license plate (hereinafter, referred to as a reference position for distance calculation for convenience of explanation), that is, the movement distance of the vehicle as an object is calculated (S160).
한편, 월드 좌표계의 각 축에 대한 스케일은 동일한데, 월드 좌표계에서의 기준 위치까지의 실거리는 실제 번호판 폭 또는 높이를 이용해서 계산된다. 예를 들어, 도로 지면으로부터 번호판까지의 거리가, 번호판의 실제 크기에 따라 달라질 수 있다. 따라서 검출된 번호판의 실제 크기에 대해서 알고 있어야 한다. 이를 위하여, 공지되어 있는 번호판 규격에 대한 정보를 이용한다. On the other hand, the scale of each axis of the world coordinate system is the same, the actual distance to the reference position in the world coordinate system is calculated using the actual license plate width or height. For example, the distance from the road surface to the license plate may vary depending on the actual size of the license plate. Therefore, it is important to know the actual size of the license plates detected. To this end, information on known license plate standards is used.
도 9는 본 발명의 실시 예에 따른 번호판 규격을 나타낸 예시도이다. 9 is an exemplary view showing a license plate standard according to an embodiment of the present invention.
번호판의 규격은 첨부한 도 9에서와 같이, 차량 종류별로 다르며, 1라인으로 이루어지는 번호판과 2라인으로 이루어지는 번호판이 있다. 1라인 번호판과 2라인 번호판은 크기가 서로 다르므로 위에 기술된 바와 같은 번호판 인식을 통하여 구분될 수 있다. 동일한 1라인 번호판들은 월드 좌표계 상에서 번호판의 가로 세로 비율에 의해 구분될 수 있다. The standard of the license plate is different for each vehicle type, as shown in FIG. 9, and there is a license plate consisting of one line and a license plate consisting of two lines. Since the 1-line license plate and the 2-line license plate are different in size, they can be distinguished through the license plate recognition as described above. The same one-line license plates can be distinguished by the aspect ratio of the license plate on the world coordinate system.
이러한 번호판 규격에 대한 정보가 테이블 등의 형태로 저장 및 관리될 수 있다. Information about the license plate standard can be stored and managed in the form of a table or the like.
번호판 인식을 통하여 현재 인식된 번호판이 어떠한 규격에 해당하는지를 판단하고, 판단된 규격에 대한 구체적인 정보를 미리 저장되어 있는 번호판 규격 테이블로부터 획득하고, 획득된 번호판의 폭 또는 높이를 이용하여 월드 좌표계에서의 기준 위치에 대한 실거리를 계산한다. Through the license plate recognition, it is possible to determine which standard the currently recognized license plate corresponds to, and obtain specific information on the determined standard from the license plate specification table which is stored in advance, and use the acquired license plate width or height in the world coordinate system. Calculate the actual distance to the reference position.
이와 같이 기준 위치와, 기준 위치에 대한 이동 거리인 실거리를 토대로, 이동하는 객체인 차량의 속도를 계산한다(S170). In this way, the speed of the vehicle, which is the moving object, is calculated based on the reference position and the actual distance that is the movement distance with respect to the reference position (S170).
차량의 속도 계산을 위하여 시간 정보가 필요하며, 이를 위해, 각 번호판 영상에 대하여 촬영된 시간을 이용한다. 카메라는 영상과 함께 RTP(realtime transport protocol) 시간 정보를 전달하므로, 이러한 시간 정보를 이용하여 영상이 촬영된 시간을 알 수 있다. Time information is required for calculating the speed of the vehicle, and for this purpose, time taken for each license plate image is used. Since the camera transmits the RTP (realtime transport protocol) time information together with the image, it is possible to know the time at which the image was captured using the time information.
위에 기술된 바와 같이, 번호판의 기준 위치에 대한 실거리를 획득할 수 있으므로, 3D 지형 모델링을 통하여 획득한 번호판들에 대해서, 번호판의 기준 위치를 토대로 한 번호판간 거리를 계산할 수 있다. 예를 들어, 제1 번호판 영상에서 획득한 기준 위치의 거리와, 제2 번호판 영상에서 획득한 기준 위치의 거리의 차이를 토대로, 번호판간 거리를 계산한다. 그러므로 속도는 번호판간의 거리를 시간차(예를 들어, 제1 번호판 영상의 시간 정보와 제2 번호판 영상의 시간 정보의 차이)로 나누면 알 수가 있다.As described above, since the actual distance with respect to the reference position of the license plate can be obtained, the distance between the license plates based on the reference position of the license plate can be calculated for the license plates obtained through 3D terrain modeling. For example, the distance between license plates is calculated based on the difference between the distance between the reference position acquired in the first license plate image and the distance between the reference position acquired in the second license plate image. Therefore, the speed can be known by dividing the distance between the license plates by the time difference (for example, the difference between the time information of the first license plate image and the time information of the second license plate image).
3D 지형 모델링을 통하여 획득한 번호판들에 대해서, 번호판간의 거리와 번호판들의 시간 정보를 토대로 한 시간차를 이용하여 속도를 각각 계산한다. 그리고 계산된 속도들을 평균화하여 최종적으로 차량의 속도를 계산한다(S180). For license plates obtained through 3D terrain modeling, the speed is calculated using the time difference based on the distance between the license plates and the time information of the license plates. In operation S180, the vehicle speed is averaged by averaging the calculated speeds.
위에 기술된 바와 같은 본 발명의 실시 예에 따른 차량 속도 감지 방법을 이용하여, 실제 이동 차량에 대한 실험을 수행하였다. Using the vehicle speed sensing method according to an embodiment of the present invention as described above, the experiment on the actual moving vehicle was performed.
도 10은 실제 이동 차량의 실험 환경을 나타낸 예시도이다. 10 is an exemplary view showing an experimental environment of an actual mobile vehicle.
예를 들어, 도 10과 같은 실험 환경에서, 10 km/h ~ 60 km/h 사이의 속도를 가지고 이동하는 차량에 대해 차량 속도를 감지하는 실험을 하였으며, 실제 이동 속도에 대한 GT(Ground Truth)는 레이저 속도 측정기를 이용하였다. For example, in an experimental environment as shown in FIG. 10, an experiment was performed to detect a vehicle speed for a vehicle moving at a speed between 10 km / h and 60 km / h, and the GT (Ground Truth) for the actual moving speed was performed. Used a laser speed meter.
실험 결과, 표 1과 같은 차량 속도 측정 결과를 획득하였다. As a result of the experiment, vehicle speed measurement results as shown in Table 1 were obtained.
이러한 실험 결과, 본 발명이 실시 예에 따른 차량 속도 감지 방법으로 속도를 측정하는 경우, 최대 오차가 5.6 km/h, 평균 오차는 2.6 km/h의 성능을 보이는 것을 확인할 수 있다. 실험 결과와 같이, 본 발명의 실시 예에 따른 차량 속도 감지 방법 및 장치를 위험물을 취급하는 사업장에 적용하는 경우, 차량 안전사고 예방에 많은 도움을 줄 것으로 기대된다. 또한, 본 실시 예가 도로에 적용되는 속도위반 차량 감시에 적용한다면, 기존 보다 설치비, 유지보수 비용 등을 획기적으로 감소할 수 있을 것으로 기대된다. As a result of the experiment, when the speed is measured by the vehicle speed sensing method according to the embodiment, it can be seen that the maximum error is 5.6 km / h, the average error is 2.6 km / h performance. As a result of the experiment, when the vehicle speed sensing method and apparatus according to an embodiment of the present invention is applied to a workplace handling dangerous goods, it is expected to help a lot in preventing a vehicle safety accident. In addition, if the present embodiment is applied to the monitoring of speeding vehicles applied to the road, it is expected that the installation cost, maintenance cost, etc. can be significantly reduced than before.
도 11은 본 발명의 다른 실시 예에 따른 차량 속도 감지 장치의 구조도이다. 11 is a structural diagram of a vehicle speed sensing apparatus according to another embodiment of the present invention.
첨부한 도 11에 도시되어 있듯이, 본 발명의 다른 실시 예에 따른 차량 속도 감지 장치(200)는 프로세서(210), 메모리(220) 및 입출력부(230)를 포함한다. 프로세서(210)는 위의 도 1 내지 도 9를 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(210)는 움직임 판별부, 번호판 인식부, 정밀 번호판 추출부, 보정 처리부, 3D 지형 모델링부, 그리고 속도 계산부의 기능을 수행하도록 구성될 수 있다. As shown in FIG. 11, the vehicle speed detecting apparatus 200 according to another embodiment of the present invention includes a
메모리(220)는 프로세서(210)와 연결되고 프로세서(210)의 동작과 관련한 다양한 정보를 저장한다. 메모리(220)는 프로세서(210)에서 수행하기 위한 동작을 위한 명령어(instructions)를 저장하고 있거나 저장 장치(도시하지 않음)로부터 명령어를 로드하여 일시 저장할 수 있다. The
프로세서(210)는 메모리(220)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 프로세서(210)와 메모리(220)는 버스(도시하지 않음)를 통해 서로 연결되어 있으며, 버스에는 입출력 인터페이스(도시하지 않음)도 연결되어 있을 수 있다. The
입출력부(230)는 프로세서(210)의 처리 결과를 출력하거나 영상과 같은 데이터를 입력받아 프로세서(210)로 제공하도록 구성된다. The input /
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.An embodiment of the present invention is not implemented only through the above-described apparatus and / or method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded, and the like. Such implementations may be readily implemented by those skilled in the art from the description of the above-described embodiments.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다. Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
Claims (15)
상기 인식된 번호판들 중에서, 번호판으로부터 획득되는 설정 거리를 가지는 직선과 해당 번호판의 설정 점 사이의 거리가 미리 설정된 임계치 이상인 번호판을 잘못 인식된 번호판으로 판별하여 제거하는 단계;
상기 잘못 인식된 번호판이 제거된 나머지 인식된 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍에 대하여, 상기 번호판 쌍을 이루는 두 개의 번호판의 소정 기준 위치를 토대로 획득되는 소실점들을 이용하여 3D(three dimension) 지형 모델을 생성하는 단계;
상기 생성된 3D 지형 모델을 이용하여 상기 두 개의 번호판의 기준 위치들의 거리를 계산하는 단계; 및
상기 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도를 계산하는 단계
를 포함하는, 차량 속도 감지 방법.Recognizing license plates from image frames obtained from a single camera;
Among the recognized license plates, identifying and removing a license plate that has a distance between a straight line having a set distance obtained from the license plate and a set point of the license plate equal to or greater than a preset threshold value as an incorrectly recognized license plate;
Three dimension (3D) using vanishing points obtained based on a predetermined reference position of two license plates constituting the license plate pair, for at least one license plate pair obtainable for the remaining recognized license plates from which the misrecognized license plate is removed Generating a terrain model;
Calculating distances of reference positions of the two license plates using the generated 3D terrain model; And
Calculating a speed based on a difference in shooting time of the image frames corresponding to the two license plates and a difference in distance between the reference positions
A vehicle speed sensing method comprising a.
상기 3D 지형 모델은 호모그래피(homography) 매트릭스이며, 상기 두 개의 번호판으로부터 획득되는 3개의 소실점을 이용하여 생성되는, 차량 속도 감지 방법.The method of claim 1,
And the 3D terrain model is a homography matrix and is generated using three vanishing points obtained from the two license plates.
상기 거리를 계산하는 단계는,
상기 3D 지형 모델을 이용하여, 상기 두 개의 번호판의 기준 위치들의 월드 좌표계에서의 위치를 획득하는 단계; 및
상기 두 개의 번호판에 대응하는 번호판 규격 정보로부터 획득되는 정보와 상기 위치를 토대로, 상기 기준 위치들의 월드 좌표계에서의 거리를 획득하는 단계
를 포함하는, 차량 속도 감지 방법.The method of claim 2,
The step of calculating the distance,
Using the 3D terrain model, obtaining a position in a world coordinate system of reference positions of the two license plates; And
Acquiring a distance in a world coordinate system of the reference positions based on the position and the information obtained from the license plate specification information corresponding to the two license plates;
A vehicle speed sensing method comprising a.
상기 속도를 계산하는 단계는,
인식된 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍 각각에 대하여, 상기 번호판 쌍을 구성하는 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도들을 계산하는 단계; 및
상기 계산된 속도들의 평균을 계산하여 최종 차량 속도를 획득하는 단계
를 포함하는, 차량 속도 감지 방법.The method of claim 1,
The step of calculating the speed,
For each of the at least one license plate pair obtainable for the recognized license plates, speeds are calculated based on the difference in the imaging time of the image frame corresponding to the two license plates constituting the license plate pair, and the difference in the distance between the reference positions. Doing; And
Calculating a mean of the calculated speeds to obtain a final vehicle speed
A vehicle speed sensing method comprising a.
상기 제거하는 단계는, 상기 인식된 번호판들에 대해 코너점을 이용한 라인 피팅(Line fitting) 알고리즘을 수행하여 획득되는 상기 직선을 이용하여 잘못 인식된 번호판을 판별하는, 차량 속도 감지 방법.The method of claim 1,
The removing may determine a wrongly recognized license plate using the straight line obtained by performing a line fitting algorithm using a corner point on the recognized license plates.
상기 설정 거리는 최소의 거리이며,
상기 제거하는 단계는,
상기 인식된 번호판들에 대하여 최소의 거리를 가지는 직선을 획득하는 단계;
상기 인식된 번호판들 중 임의 번호판의 설정 점과 해당 번호판에 대해 획득된 상기 직선 사이의 거리를 미리 설정된 임계치와 비교하는 단계; 및
상기 직선 사이의 거리가 상기 임계치 이상인 번호판을 잘못 인식된 번호판으로 판별하는 단계
를 포함하는, 차량 속도 감지 방법.The method of claim 1,
The set distance is the minimum distance,
The removing step,
Obtaining a straight line having a minimum distance with respect to the recognized license plates;
Comparing the distance between a set point of any of the recognized license plates and the straight line obtained for the license plate with a preset threshold; And
Discriminating a license plate with a distance between the straight lines greater than or equal to the threshold value as an incorrectly recognized license plate
A vehicle speed sensing method comprising a.
상기 최소의 거리를 가지는 직선을 획득하는 단계는, 상기 인식된 번호판들에 대해 동일한 모서리를 이용하여 모서리에 대응하는 점들 사이의 거리가 최소인 직선을 획득하며,
상기 설정 점은 각 번호판의 코너점인, 차량 속도 감지 방법.The method of claim 6,
The obtaining of the straight line having the minimum distance may include obtaining a straight line having a minimum distance between the points corresponding to the corners by using the same corner with respect to the recognized license plates.
And the set point is a corner point of each license plate.
상기 기준 위치는 번호판의 임의 코너점인, 차량 속도 감지 방법.The method of claim 1,
And the reference position is any corner point of the license plate.
상기 번호판들을 인식하는 단계는,
상기 영상 프레임으로부터 움직이는 객체를 검출하는 단계; 및
상기 검출된 객체에서 번호판을 인식하는 단계
를 포함하는, 차량 속도 감지 방법.The method of claim 1,
Recognizing the license plates,
Detecting a moving object from the image frame; And
Recognizing a license plate in the detected object
A vehicle speed sensing method comprising a.
상기 번호판들을 인식하는 단계는,
상기 인식된 번호판들에 대하여, 번호판을 구성하는 네 개의 경계 직선을 검출하여 사각형 형태의 번호판을 인식하는 단계
를 더 포함하는, 차량 속도 감지 방법.The method of claim 9,
Recognizing the license plates,
Recognizing the license plate of the rectangular shape by detecting the four boundary straight lines constituting the license plate with respect to the recognized license plates
Further comprising, the vehicle speed detection method.
상기 입출력부와 연결되고, 상기 영상 프레임들로부터 차량 속도를 감지하는 프로세서를 포함하며,
상기 프로세서는, 영상 프레임들로부터 인식되는 번호판들 중에서, 번호판으로부터 획득되는 설정 거리를 가지는 직선과 해당 번호판의 설정 점 사이의 거리가 미리 설정된 임계치 이상인 번호판을 잘못 인식된 번호판으로 판별하여 제거하고, 상기 잘못 인식된 번호판이 제거된 나머지 인식된 번호판에 대하여 획득 가능한 적어도 하나의 번호판 쌍에 대하여, 상기 번호판 쌍을 이루는 두 개의 번호판의 소정 기준 위치를 토대로 획득되는 소실점들을 이용하여 3D(three dimension) 지형 모델을 생성하고, 상기 생성된 3D 지형 모델을 이용하여 상기 두 개의 번호판의 기준 위치들의 거리를 계산하고, 상기 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도를 계산하도록 구성되는, 차량 속도 감지 장치.An input / output unit configured to receive image frames from a single camera; And
A processor connected to the input / output unit and configured to sense a vehicle speed from the image frames;
The processor may identify and remove a license plate that has a distance between a straight line having a set distance obtained from the license plate and a set point of the license plate, which is greater than or equal to a preset threshold, from among license plates recognized from the image frames. Three-dimensional terrain model using vanishing points obtained based on a predetermined reference position of two license plates constituting the license plate pair, for at least one license plate pair that can be obtained for the remaining recognized license plates from which the wrongly recognized license plates have been removed. Calculates the distance between the reference positions of the two license plates using the generated 3D terrain model, calculates the difference in the shooting time of the image frame corresponding to the two license plates, and the distance between the reference positions. Vehicle speed, configured to calculate the speed based Support equipment.
상기 프로세서는,
상기 3D 지형 모델을 이용하여, 상기 두 개의 번호판의 기준 위치들의 월드 좌표계에서의 위치를 획득하고, 상기 두 개의 번호판에 대응하는 번호판 규격 정보로부터 획득되는 정보와 상기 위치를 토대로, 상기 기준 위치들의 월드 좌표계에서의 거리를 획득하도록 구성되는, 차량 속도 감지 장치.The method of claim 11,
The processor,
By using the 3D terrain model, a position in the world coordinate system of the reference positions of the two license plates is obtained, and based on the position and information obtained from license plate standard information corresponding to the two license plates, the world of the reference positions is obtained. And configured to obtain a distance in a coordinate system.
상기 프로세서는,
인식된 번호판들에 대하여 획득 가능한 적어도 하나의 번호판 쌍 각각에 대하여, 상기 번호판 쌍을 구성하는 두 개의 번호판에 대응하는 영상 프레임의 촬영 시간의 차이, 그리고 상기 기준 위치들의 거리의 차이를 토대로 속도들을 계산하고, 상기 계산된 속도들의 평균을 계산하여 최종 차량 속도를 획득하도록 구성되는, 차량 속도 감지 장치.The method of claim 11,
The processor,
For each of the at least one license plate pair obtainable for the recognized license plates, speeds are calculated based on the difference in the imaging time of the image frame corresponding to the two license plates constituting the license plate pair, and the difference in the distance between the reference positions. And calculate an average of the calculated speeds to obtain a final vehicle speed.
상기 프로세서는, 상기 인식된 번호판들에 대해 코너점을 이용한 라인 피팅(Line fitting) 알고리즘을 수행하여 획득되는 상기 직선을 이용하여 잘못 인식된 번호판을 판별하도록 구성되는, 차량 속도 감지 장치The method of claim 11,
And the processor is configured to determine a wrongly recognized license plate using the straight line obtained by performing a line fitting algorithm using a corner point on the recognized license plates.
상기 설정 거리는 최소의 거리이며,
상기 프로세서는, 상기 인식된 번호판들 중에서 번호판으로부터 획득되는 최소의 거리를 가지는 직선과 해당 번호판의 설정 점 사이의 거리가 미리 설정된 임계치 이상인 번호판을 잘못 인식된 번호판으로 판별하여 제거하도록 구성되는, 차량 속도 감지 장치.The method of claim 11,
The set distance is the minimum distance,
The processor is configured to identify and remove a license plate with a misrecognized license plate whose distance between a straight line having a minimum distance obtained from the license plate and a set point of the license plate is greater than or equal to a preset threshold among the recognized license plates. Sensing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170025765A KR102010823B1 (en) | 2017-02-27 | 2017-02-27 | Method and apparatus for measuring speed of vehicle by using fixed single camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170025765A KR102010823B1 (en) | 2017-02-27 | 2017-02-27 | Method and apparatus for measuring speed of vehicle by using fixed single camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180098945A KR20180098945A (en) | 2018-09-05 |
| KR102010823B1 true KR102010823B1 (en) | 2019-08-14 |
Family
ID=63594638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170025765A KR102010823B1 (en) | 2017-02-27 | 2017-02-27 | Method and apparatus for measuring speed of vehicle by using fixed single camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102010823B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102089298B1 (en) * | 2019-10-21 | 2020-03-16 | 가천대학교 산학협력단 | System and method for recognizing multinational license plate through generalized character sequence detection |
| KR102311236B1 (en) * | 2021-04-01 | 2021-10-13 | 주식회사 젠티 | Method for measuring speed using deep-learning object detection and tracking and system thereof |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559524A (en) * | 2018-11-02 | 2019-04-02 | 刘瑶 | A kind of device for measuring speed and taking snap pictures suitable for high-risk section |
| KR102105705B1 (en) * | 2019-01-30 | 2020-04-28 | 주식회사 몹티콘 | Apparatus and method for detecting overspeeding-vehicle |
| KR102100965B1 (en) * | 2019-05-27 | 2020-04-14 | 주식회사 엔슨소프트 | System for analyzing vehicle information on multi-lane embedded a camera and analyzing method using thereof |
| CN113379999B (en) * | 2021-06-22 | 2024-05-24 | 徐州才聚智能科技有限公司 | Fire detection method, device, electronic equipment and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009017462A (en) * | 2007-07-09 | 2009-01-22 | Sanyo Electric Co Ltd | Driving support system and vehicle |
| JP2012203795A (en) * | 2011-03-28 | 2012-10-22 | Nissin Electric Co Ltd | Vehicle speed measurement method and vehicle overall image detection method using the same and vehicle number plate information erroneous recognition prevention method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100631082B1 (en) * | 2004-10-19 | 2006-10-02 | 주식회사 세인시스템 | Method for acquiring three-dimensional image information using single camera and video traffic monitoring method using the same |
| KR20160100788A (en) * | 2015-02-16 | 2016-08-24 | 한국전자통신연구원 | Apparatus and method for measuring speed of moving object |
-
2017
- 2017-02-27 KR KR1020170025765A patent/KR102010823B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009017462A (en) * | 2007-07-09 | 2009-01-22 | Sanyo Electric Co Ltd | Driving support system and vehicle |
| JP2012203795A (en) * | 2011-03-28 | 2012-10-22 | Nissin Electric Co Ltd | Vehicle speed measurement method and vehicle overall image detection method using the same and vehicle number plate information erroneous recognition prevention method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102089298B1 (en) * | 2019-10-21 | 2020-03-16 | 가천대학교 산학협력단 | System and method for recognizing multinational license plate through generalized character sequence detection |
| KR102311236B1 (en) * | 2021-04-01 | 2021-10-13 | 주식회사 젠티 | Method for measuring speed using deep-learning object detection and tracking and system thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180098945A (en) | 2018-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102010823B1 (en) | Method and apparatus for measuring speed of vehicle by using fixed single camera | |
| US8867790B2 (en) | Object detection device, object detection method, and program | |
| EP2476996B1 (en) | Parallax calculation method and parallax calculation device | |
| KR101392850B1 (en) | Method and system for lane departure warning based on image recognition | |
| US20160104047A1 (en) | Image recognition system for a vehicle and corresponding method | |
| TWI504858B (en) | A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium | |
| WO2014002692A1 (en) | Stereo camera | |
| EP2924612A1 (en) | Object detection device, object detection method, and computer readable storage medium comprising object detection program | |
| KR101583797B1 (en) | Apparatus and method for detecting lane based on top view image transform | |
| JP2007249257A (en) | Apparatus and method for detecting movable element | |
| Chen et al. | Pallet recognition and localization method for vision guided forklift | |
| KR101620580B1 (en) | Method and system for dectecting run | |
| JP5981284B2 (en) | Object detection device and object detection method | |
| JP2012159470A (en) | Vehicle image recognition device | |
| CN110322508B (en) | Auxiliary positioning method based on computer vision | |
| US10339394B2 (en) | Step detection device and step detection method | |
| CN111046795A (en) | Binocular vision-based real-time vehicle line pressing behavior detection method | |
| KR101371875B1 (en) | A vehicle detection and distance measurement system and method between the vehicles using stereo vision | |
| KR20120044699A (en) | Method and apparatus for detecting obstacle on road | |
| JP2018032074A (en) | Image processing apparatus, imaging device, movable body machine control system, image processing method, and program | |
| Zhao et al. | Detection of non-flat ground surfaces using v-disparity images | |
| US20190156512A1 (en) | Estimation method, estimation apparatus, and non-transitory computer-readable storage medium | |
| JP5579297B2 (en) | Parallax calculation method and parallax calculation device | |
| US20230237812A1 (en) | Traffic sign recognition device and traffic sign recognition method | |
| KR102565603B1 (en) | Performance evaluation apparatus and method for autonomous emergency braking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |