KR102525153B1 - Surveillance Video Driven Status Analysis System for Parking Lots - Google Patents
Surveillance Video Driven Status Analysis System for Parking Lots Download PDFInfo
- Publication number
- KR102525153B1 KR102525153B1 KR1020210016517A KR20210016517A KR102525153B1 KR 102525153 B1 KR102525153 B1 KR 102525153B1 KR 1020210016517 A KR1020210016517 A KR 1020210016517A KR 20210016517 A KR20210016517 A KR 20210016517A KR 102525153 B1 KR102525153 B1 KR 102525153B1
- Authority
- KR
- South Korea
- Prior art keywords
- parking
- vehicle
- detection
- image
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 CCTV 카메라 영상을 활용한 주차현황분석 시스템 및 방법에 관한 것으로, 주차장 내 위치한 CCTV에서 촬영된 영상에 딥러닝 등의 최신 기술을 활용하여 주차장에 진입하는 차량의 모델을 분석하고, 그에 따른 차량의 제원을 명확히 파악하여 CCTV 영상 내에서의 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 등 주차가능한 주차면의 파악에 요구되는 변수값의 산출 정확도를 향상하여 주차장 운영의 효율성을 효과적으로 증대시킬 수 있는 주차현황분석 시스템 및 방법에 관한 것이다.The present invention relates to a parking status analysis system and method using CCTV camera images. Parking lot operation by clearly grasping the vehicle specifications and improving the calculation accuracy of variable values required to identify parking surfaces, such as the distance between vehicles in the CCTV image, the distance between the vehicle and the parking line, and the distance between the vehicle and the parking surface boundary. It relates to a parking status analysis system and method that can effectively increase the efficiency of
Description
차량의 위치와 크기 및 차량과 차량간의 간격 및 차량과 주차선 간의 간격 차량과 울타리 간의 간격 등을 정확하게 검출 및 인식하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출 및 인식할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.By accurately detecting and recognizing the location and size of vehicles, the distance between vehicles and the distance between vehicles and parking lines, and the distance between vehicles and fences, not only the number of vehicles parked and the number of empty parking spaces, but also the number of parking spaces that can actually be parked. We would like to present a parking status analysis system and method that can accurately detect and recognize the quantity of parking without a separate device or construction.
기존의 스마트 주차관리 시스템은 특정주차면의 점유여부, 추가로 주차가능한 주차면의 수, 현재 주차중인 차량의 수 등을 분석하기 위하여 초음파·루프·광 센서 등을 개별 주차면 단위로 설치 및 운영한다.Existing smart parking management systems install and operate ultrasonic, roof, and optical sensors on an individual parking surface basis to analyze whether a specific parking lot is occupied, the number of additional parking spaces, and the number of vehicles currently parked. do.
최근 컴퓨터 비전 기술의 발전에 따라 주차면의 점유 여부를 객체 인식 방식으로 검출하는 기술이 소개되고 있으나, 차종의 다양성 등으로 인해 초기의 기술을 주차면에 설치된 스토퍼 등을 검출하여 해당 주차면의 점유 여부를 판단하는 방식을 채택하였고, 최근에는 차종에 무관하게 차량의 존재 여부를 기준으로 해당 주차면의 점유 여부를 판단하는 기술도 도입되고 있다.Recently, with the development of computer vision technology, a technology for detecting whether a parking surface is occupied by an object recognition method has been introduced. A method of determining whether or not a vehicle exists has been adopted, and recently, a technology for determining whether a corresponding parking space is occupied based on the existence of a vehicle regardless of the type of vehicle has also been introduced.
그러나 이와 같은 기술을 활용하여도 2개의 주차면에 걸쳐서 주차하거나, 다른 주차면을 일부 침범하여 주차하는 등의 소위 비매너주차의 경우를 정확하게 검출하지 못하는 한계를 보이고 있다. However, even if such a technology is used, there is a limit in that it cannot accurately detect so-called ill-mannered parking, such as parking across two parking surfaces or parking by partially invading another parking surface.
상기와 같은 한계 상황을 최소한의 카메라를 이용하여 넓은 영역의 주차면을 촬영하는 경우, 가까운 곳은 크게(길게) 먼 곳은 작게(짧게) 보이는 원근효과와 큰 차량에 의해 작은 차량이 가려지는 경우, 인공구조물에 의해 차량이 가려지는 경우 등에는 더 도드라지게 나타나는 것으로 알려져 있다.In the case of photographing a parking surface in a wide area using a minimum number of cameras in the above limiting situation, when a small vehicle is covered by a large vehicle and the perspective effect that looks large (long) in the near area and small (short) in the far area , it is known that it appears more prominently when the vehicle is covered by an artificial structure.
이에 본 발명에서는 차량의 위치와 크기 및 차량과 차량간의 간격 및 차량과 주차선 간의 간격, 차량과 울타리 간의 간격 등을 정확하게 검출(또는 인식)하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출(또는 인식)할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.Therefore, the present invention accurately detects (or recognizes) the location and size of vehicles, the distance between vehicles, the distance between vehicles and parking lines, and the distance between vehicles and fences, etc. In this paper, we propose a parking status analysis system and method that can accurately detect (or recognize) the number of parking surfaces that can actually be parked without a separate device or construction.
삭제delete
이에 본 발명에서는 차량의 위치와 크기 및 차량과 차량 간의 간격 및 차량과 주차선 간의 간격, 차량과 울타리 간의 간격 등을 정확하게 검출(또는 인식)하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출(또는 인식)할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.Therefore, the present invention accurately detects (or recognizes) the location and size of vehicles, the distance between vehicles, the distance between vehicles and parking lines, and the distance between vehicles and fences, etc. In this paper, we propose a parking status analysis system and method that can accurately detect (or recognize) the number of parking surfaces that can actually be parked without a separate device or construction.
상기의 기술적 과제를 실현하기 위한 본 발명에 따른 CCTV 카메라 영상을 활용한 주차현황분석 시스템은, 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 촬영하는 하나이상의 카메라(100); 상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적부(200); 상기 검충추적부(200)가 추적중인 차량의 크기를 인식하는 인식부(300); 상기 검출추적부(200)가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출부(400); 원근에 따른 상기 카메라(100) 영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하는 보정부(500); 및 상기 인식부(300)가 인식한 차량의 크기와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 분석부(600);를 필수 구성요소로 하며, 상기 검출추적부(200) 및 위치검출부(400)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 목적으로 주차장 내에 위치하며 그 크기 및 위치를 알고있는 측정표준(700);을 추가 구성요소로 하는 주차현황분석 시스템을 제공한다. 상기 측정표준(700)으로는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 기호, 도형, 문자 혹은 입차차단기, 출차차단기, 부스, (지하주차장일 경우) 주차장의 구조물(기둥 등) 등이 활용될 수 있다.Parking status analysis system using CCTV camera images according to the present invention for realizing the above technical problem is one or more cameras 100 for taking images of a parking lot including a parking surface 101 and a parking zone 102 ; A detection and tracking unit 200 for detecting and tracking a vehicle entering the parking lot through the parking zone 102 from the image captured by the camera 100; a recognition unit 300 recognizing the size of the vehicle being tracked by the inspection tracking unit 200; a location detection unit 400 that detects the location of the vehicle being tracked by the detection and tracking unit 200 when it stops on a parking surface; a correction unit 500 for correcting the position of the vehicle detected by the position detection unit 400 in consideration of the magnification of the image of the camera 100 according to perspective; And any one of the distance between vehicles, the distance between the vehicle and the parking line, and the distance between the vehicle and the parking surface boundary using the size of the vehicle recognized by the recognition unit 300 and the position of the vehicle corrected by the correction unit 500. An analysis unit 600 that calculates the above and analyzes the number of additional parking surfaces available for parking using the calculation result; as an essential component, the detection tracking unit 200 and the location detection unit 400 are For the purpose of more accurately detecting the size and position of the measurement standard 700 located in the parking lot and knowing its size and position; provides a parking status analysis system with an additional component. The measurement standard 700 includes one or more symbols, figures, characters, or entry barriers, exit barriers, booths, and (in the case of underground parking lots) parking structures located on the ground of the parking lot and/or the surface of artificial structures located in the parking lot. (pillars, etc.), etc. can be utilized.
아울러, 상기의 기술적 과제를 실현하기 위한 본 발명에 따른 CCTV 카메라 영상을 활용한 주차현황분석 방법은, 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 확보하는 영상촬영단계(10); 상기 영상촬영단계(10)에서 획득한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적단계(20); 상기 검출추적단계(20)가 검출한 차량의 크기를 인식하는 차량인식단계(30); 상기 검출추적단계(20)에서 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출단계(40); 원근에 따른 상기 영상촬영단계(10)에서 획득한 영상의 실물대비 배율을 고려하여, 상기 위치검출단계(40)에서 검출한 차량의 위치를 보정하는 차량위치보정단계(50); 상기 차량인식단계(30)에서 인식한 차량의 모델에 따른 차량의 크기와 상기 차량위치보정단계(50)가 보정한 차량의 위치를 이용하여 차량 간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 주차면분석단계(60);를 필수 구성요소(단계)로 하며, 상기 검출추적단계(20) 및 위치검출단계(40)에서 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 측정표준검출단계(70);를 추가 구성요소로 하며 상기 측정표준검출단계(70)는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 측정표준(700)을 검출하는 것을 특징으로 하는 주차현황분석 방법을 제공한다.In addition, the parking status analysis method using CCTV camera images according to the present invention for realizing the above technical problem is an image capturing step of securing an image of a parking lot including a parking surface 101 and a parking zone 102 ( 10); A detection and tracking step (20) of detecting and tracking a vehicle entering the parking lot through the parking zone (102) from the image acquired in the image capturing step (10); a vehicle recognition step (30) of recognizing the size of the vehicle detected by the detection and tracking step (20); a location detection step (40) of detecting the location of the vehicle being tracked in the detection and tracking step (20) when it stops on a parking surface; A vehicle position correction step (50) of correcting the position of the vehicle detected in the position detection step (40) in consideration of the magnification of the image acquired in the image capture step (10) according to perspective; The distance between vehicles, the distance between the vehicle and the parking line, the vehicle and parking using the size of the vehicle according to the vehicle model recognized in the vehicle recognition step 30 and the position of the vehicle corrected by the vehicle position correction step 50 A parking surface analysis step (60) of calculating any one or more of the distances between surface boundaries and analyzing the number of parking surfaces that can be additionally parked using the calculation result; is an essential component (step), and the detection and tracking Measurement standard detection step 70 for more accurately detecting the size and position of the vehicle in step 20 and location detection step 40; as an additional component, and the measurement standard detection step 70 is And / or it provides a parking status analysis method characterized by detecting one or more measurement standards 700 located on the surface of the artificial structure located in the parking lot.
본 발명은 딥러닝 등의 최신 기술을 활용하여 주차장에 진입하는 차량의 모델을 분석하고, 그에 따른 차량의 제원을 명확히 파악하여 CCTV 영상 내에서의 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 등 주차가능한 주차면의 파악에 요구되는 변수값의 산출 정확도를 향상하여 주차장 운영의 효율성을 효과적으로 제고할 수 있는 효과가 있다.The present invention analyzes a model of a vehicle entering a parking lot by using the latest technology such as deep learning, and clearly grasps the specifications of the vehicle accordingly to determine the distance between vehicles in the CCTV image, the distance between the vehicle and the parking line, and the distance between the vehicle and the parking line. There is an effect of effectively improving the efficiency of parking lot operation by improving the calculation accuracy of variable values required to determine parking surfaces, such as the distance between parking surface boundaries.
도1 CCTV 카메라를 활용한 주차현황분석 시스템의 개략적인 구성에 대한 예시
도2 위치검출의 실시에 대한 예시
도3 보정부의 보정 실시에 대한 예시Figure 1 Example of a schematic configuration of a parking status analysis system using a CCTV camera
Fig. 2 Example of implementation of position detection
Fig. 3 An example of the correction implementation of the correction unit
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.The present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 CCTV 카메라를 활용한 주차현황분석 시스템의 개략적인 구성으로, 카메라(100)는 PTZ 카메라 및 현재 상용제품으로 널리 판매 중인 다기능카메라 등이 사용될 수 있으며, 주차장 내 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 촬영하고, 해당 취득 영상을 검출추적부(200)로 송신한다.1 is a schematic configuration of a parking status analysis system using a CCTV camera according to the present invention. The camera 100 can use a PTZ camera and a multi-function camera currently widely sold as a commercial product, and the parking surface in the parking lot ( 101) and an image of the parking lot including the parking zone 102 are photographed, and the acquired image is transmitted to the detection and tracking unit 200.
상기 검출추적부(200)는 상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 다중객체검출(Multi Object Detection : 이하 MOD) 및 다중객체추적(Multi Object Tracking : 이하 MOT) 등의 컴퓨터 비전 기술을 사용하여 검출 및 추적하며 검출한 차량의 영상을 인식부(300), 추적중인 차량이 정차할 경우 해당 차량의 영상을 위치검출부(400)로 송신한다. The detection and tracking unit 200 detects a vehicle entering the parking lot through the parking zone 102 from the image captured by the camera 100 by Multi Object Detection (MOD) and Multi Object Tracking : It detects and tracks using computer vision technology such as hereinafter MOT), transmits the image of the detected vehicle to the recognition unit 300, and transmits the image of the vehicle to the location detector 400 when the vehicle being tracked stops.
상기 MOD 및 MOT를 진행하기 위해, 상기 검출추적부(200)에서는 R-CNN(Region-based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO(You Only Look Once), YOLO 9000, YOLO v3, SSD(Single Shot Multi-box Detector), Deep SORT(Simple Online and Real-Time Tracking), Hungarian(Kuhn-Munkres) 중 어느 하나 이상의 알고리즘을 사용한 MOD를 통한 객체 인식 후, BOOSTING Tracker, MIL Tracker, KCF Tracker, Median Flow Tracker, TLD Tracker, MOSSE Tracker, CSRT Tracker등의 트래커를 사용하여 다중객체의 움직임을 트래킹하며, 주차장 내 교통체증으로 인해 일시 정차중인 차량과 주차가 완료된 차량의 구분을 위하여 차량이 정차한 후, 1분 등의 일정시간이 소요된 차량의 영상을 별도로 구분하여 위치검출부(400)로 송신한다.To proceed with the MOD and MOT, the detection and tracking unit 200 uses R-CNN (Region-based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO (You Only Look Once), YOLO 9000, BOOSTING Tracker, MIL Tracker , KCF Tracker, Median Flow Tracker, TLD Tracker, MOSSE Tracker, CSRT Tracker, etc. are used to track the movement of multiple objects, and to distinguish between vehicles temporarily stopped due to traffic congestion in the parking lot and vehicles that have been parked After the vehicle stops, the image of the vehicle for which a certain period of time, such as 1 minute, is required is separately divided and transmitted to the location detection unit 400.
상기 MOD 알고리즘 중, R-CNN은 2014년 CVPR을 통해 발표된 “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)”를 통해, Fast R-CNN 알고리즘은 2015년 ICCV를 통해 발표된 “Fast R-CNN”을 통해, Faster R-CNN 알고리즘은 2015년 NIPS를 통해 발표된 “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”를 통해, YOLO v1, 9000(v2포함), v3 알고리즘은 각각 2016년 CVPR에 발표된 "You Only Look Once: Unified, Real-Time Object Detection", 2017년 CVPR에 발표된 "YOLO9000: Better, Faster, Stronger", 2018년 arXiv에 발표된 “YOLOv3: An Incremental Improvement” 등을 통해, SSD는 2016년 ECCV에 발표된 “SSD: Single Shot MultiBox Detector” 등을 통해, Deep SORT는 2017년 arXiv에 발표된 “Simple Online and Realtime Tracking with a Deep Association Metric” 등을 통해, Hungarian(Kuhn-Munkres)은 2018년 arXiv에 발표된 “A Distributed Version of the Hungarian Method for Multi-Robot Assignment” 등을 통해 발표된 바 있으며, 상기 MOT를 위한 트래커 중 BOOSTING은 2006년에 발표된 Helmut Grabner et al., " Real-time tracking via on-line boosting"을 통해, MIL Tracker는 2010년에 발표된 Boris Babenko, "Robust Object Tracking with Online Multiple Instance Learning"을 통해, KCF Tracker (kernelized correlation filter)는 2014년에 발표된 Joao F. Henriques et al., "High-Speed Tracking with Kernelized Correlation Filters"를 통해, Median Flow Tracker는 2010년에 발표된 Zdenek Kalal et al., "Forward-Backward Error: Automatic Detection of Tracking Failures"를 통해, TLD Tracker(Tracking - Learning - Detection)는 2010년에 발표된 Zdenek Kalal et al., "Tracking-Learning-Detection"을 통해, MOSSE(Minimum Output Sum of Squared Error) Tracker는 2010년에 발표된 David S. Bolme et al., "Visual Object Tracking using Adaptive Correlation Filters"를 통해, CSRT Tracker는 2018년 Lukezic, A et al.의 "Correlation Filter Tracker with Channel and Spatial Reliablity"등을 통해 발표된 바 있다.Among the above MOD algorithms, R-CNN is based on “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)” announced through CVPR in 2014, and Fast R-CNN algorithm is based on “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)” announced through ICCV in 2015. Through “Fast R-CNN”, the Faster R-CNN algorithm was developed through “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks” announced through NIPS in 2015, YOLO v1, 9000 (including v2), The v3 algorithm is "You Only Look Once: Unified, Real-Time Object Detection" published in CVPR in 2016, "YOLO9000: Better, Faster, Stronger" published in CVPR in 2017, and "YOLOv3: An Incremental Improvement”, SSD through “SSD: Single Shot MultiBox Detector” announced in ECCV in 2016, Deep SORT “Simple Online and Realtime Tracking with a Deep Association Metric” announced in arXiv in 2017, etc. , Hungarian (Kuhn-Munkres) has been announced through “A Distributed Version of the Hungarian Method for Multi-Robot Assignment” announced on arXiv in 2018, and among the trackers for the MOT, BOOSTING was announced in 2006 KCF Tracker (kernelized correlation filter) through Joao F. Henriques et al., "High-Speed Tracking with Kernelized Correlation Filters" published in 2014, and Median Flow Tracker published in 2010 by Zdenek Kalal et al., "Forward-Backward Error: Through "Automatic Detection of Tracking Failures", TLD Tracker (Tracking - Learning - Detection) is published in 2010 by Zdenek Kalal et al., "Tracking-Learning-Detection", MOSSE (Minimum Output Sum of Squared Error) Tracker through David S. Bolme et al., "Visual Object Tracking using Adaptive Correlation Filters", published in 2010, and CSRT Tracker, "Correlation Filter Tracker with Channel and Spatial Reliablity" by Lukezic, A et al., in 2018. has been published through
상기 인식부(300)는 상기 검출추적부(200)로부터 전달받은 입차존(102)에 진입한 차량의 영상을 분석하여 차량의 모델을 찾아내고, 그에 따른 차량 모델별 제원을 분석부(600)로 전송한다. 영상에서 차량의 모델을 분석해내기 위한 방법으로는, 전통적으로는 Clady, X., et al. 2008년 IAPR workshop on artificial neural networks in pattern recognition에서 발표한 “Multi-class vehiicle type recognition system”에 서술된 차량의 전면부 이미지에 최근접 이웃법(Nearest Neighbor) 알고리즘을 활용하여 가장 유사한 차량 모델을 탐색하는 방식, Stark, M., et al.이 2011년 International Journal of Robotics Research에서 발표한 “Fine-grained categorization for 3D scene understanding”에 서술된 DPM(Deformable Part Model) 알고리즘을 활용하는 방식 등이 있으며, 딥러닝을 활용한 방안으로는, Yang, L. 등이 2015년 IEEE에서 발표한 “A large scale car dataset for fine-grained categorization and verification”을 통해 서술된 ImageNet 데이터셋의 사전학습된 가중치를 통해 초기설정된 Overfeat 모델을 활용한 방식, Ye Xiang et al.이 2020년 IEEE에서 발표한 “Global Topology Constraint Network for Fine-Grained Vehicle Recognition”에서 서술된 다수의 CNN 레이어를 활용한 부품 검출 및 위상학적 관계를 파악하는 방식 등이 사용될 수 있다.The recognition unit 300 analyzes the image of the vehicle entering the parking zone 102 received from the detection and tracking unit 200 to find the model of the vehicle, and analyzes the specifications for each vehicle model according to the analysis unit 600 send to As a method for analyzing a vehicle model from an image, traditionally Clady, X., et al. Search for the most similar vehicle model by utilizing the Nearest Neighbor algorithm to the front image of the vehicle described in “Multi-class vehicle type recognition system” presented at the IAPR workshop on artificial neural networks in pattern recognition in 2008 There is a method using the DPM (Deformable Part Model) algorithm described in “Fine-grained categorization for 3D scene understanding” published by Stark, M., et al. in the International Journal of Robotics Research in 2011, etc. As a way to utilize deep learning, the initial training was performed through the pre-trained weights of the ImageNet dataset described in “A large scale car dataset for fine-grained categorization and verification” announced at IEEE in 2015 by Yang, L., et al. A method using the established Overfeat model, part detection and topological relationship using multiple CNN layers described in “Global Topology Constraint Network for Fine-Grained Vehicle Recognition” published by Ye Xiang et al. at IEEE in 2020 method can be used.
상기 위치검출부(400)는 상기 검출추적부(200)로부터 주차완료로 판단되는 차량의 영상을 제공받고, 해당 영상 내 차량의 위치를 검출한다. 이 때 위치검출부(400)는 도2 위치검출의 실시예와 같이 차량 하단부 테두리의 최인접 사각형 각 꼭지점의 좌표 정보를 차량의 위치로 채택한다. The location detection unit 400 receives an image of a vehicle determined to be parked from the detection and tracking unit 200 and detects the location of the vehicle in the corresponding image. At this time, the position detection unit 400 adopts the coordinate information of each vertex of the quadrangle closest to the edge of the lower end of the vehicle as the position of the vehicle, as in the embodiment of the position detection of FIG. 2 .
상기 보정부(500)는 원근에 따른 상기 카메라(100)영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하며, 이를 위하여, 도3 보정부의 보정 실시예와 같이, 영상에서의 소실점 및 지표면을 파악하고, 해당 평면을 활용하여 homography를 통해 주차장의 평면도를 구현하며, 상기 보정부(500)에서 검출한 차량의 위치좌표(
[수식 1][Equation 1]
해당 산식의 값이 가장 높은 꼭지점의 정보(치환좌표, j값 및 인접 꼭지점으로의 unit vector)를 상기 분석부(600)로 전달한다Information on the vertex with the highest value of the corresponding formula (substitution coordinates, j value, and unit vector to the adjacent vertex) is transmitted to the analysis unit 600
상기 분석부(600)는 상기 인식부(300)에서 전달받은 차량의 모델에 따른 차량의 제원(크기)와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량 간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 해당 결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석한다. The analysis unit 600 uses the dimensions (size) of the vehicle according to the model of the vehicle transmitted from the recognition unit 300 and the location of the vehicle corrected by the correction unit 500 to determine the distance between the vehicles, the vehicle and the parking space. Any one or more of the distance between the lines and the distance between the vehicle and the parking surface boundary is calculated, and the number of additional parking spaces available for parking is analyzed using the result.
상기 측정표준(700)은 주차장의 지면 및/또는 주차장에 위치하는 인공구조물(입차차단기, 출차차단기, 부스 중 어느 하나 인 것)에 위치하는 하나 이상의 표식(기호, 도형, 문자 중 어느 하나 인 것)으로, 상기 보정부(500)에서 보정이 이루어지는 과정에서 확률 밀도 함수(Probability density function)를 구성하는데 있어서 정확한 정보제공을 위하여, 상기 검출추적부(200) 및 위치검출부(400)와 함께 구성되어 상기 카메라(100)가 획득한 영상에서 검출한 차량 및/또는 추적중인 차량의 크기 및 위치에 대한 정보를 확보 후 상기 보정부(500)에 제공한다.The measurement standard 700 is one or more marks (any one of symbols, figures, and letters) located on the ground of a parking lot and / or an artificial structure (one of a car barrier, an exit barrier, and a booth) located in the parking lot ), in order to provide accurate information in constructing a probability density function in the process of correction in the correction unit 500, it is configured together with the detection tracking unit 200 and the location detection unit 400 Information on the size and position of the vehicle detected from the image acquired by the camera 100 and/or the vehicle being tracked is secured and then provided to the correction unit 500 .
본 발명에 따른 cctv카메라 영상을 활용한 주차현황분석 방법에 있어서 영상촬영단계(10)는 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 확보하기 위해 상기 카메라(100)를 활용하여 용이하게 구현이 가능하며, 주차장에 진입하는 차량을 검출하고 추적하는 상기 검출추적부(200), 인식부(300), 위치검출부(400), 보정부(500), 분석부(600), 측정표준(700) 등은 각각 검출추적단계(20), 차량인식단계(30), 위치검출단계(40), 차량위치보정단계(50), 주차면분석단계(60), 측정표준검출단계(70)에 대응되는 구성요소(단계)로 그 기술적 내용도 실질적으로 동일하여 상기 cctv카메라 영상을 활용한 주차현황분석 시스템에 대한 설명을 바탕으로 이 기술이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 구현할 수 있다.In the parking status analysis method using cctv camera images according to the present invention, the image capturing step 10 uses the camera 100 to secure an image of a parking lot including a parking surface 101 and an entry zone 102. The detection and tracking unit 200, the recognition unit 300, the location detection unit 400, the correction unit 500, and the analysis unit 600 detect and track vehicles entering the parking lot. , Measurement standard 700, etc. are detection and tracking step 20, vehicle recognition step 30, location detection step 40, vehicle location correction step 50, parking surface analysis step 60, measurement standard detection step, respectively. It is a component (step) corresponding to (70), and its technical content is also substantially the same, so based on the description of the parking status analysis system using the cctv camera image, a person with ordinary knowledge in the technical field can be easily implemented.
100 : 카메라
200 : 검출추적부
300 : 인식부
400 : 위치검출부
500 : 보정부
600 : 분석부
700 : 측정표준
100: camera
200: detection tracking unit
300: recognition unit
400: position detection unit
500: correction unit
600: analysis unit
700: measurement standard
Claims (8)
상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적부(200);
상기 검출추적부(200)가 추적중인 차량의 크기를 인식하는 인식부(300);
상기 검출추적부(200)가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출부(400);
원근에 따른 상기 카메라(100)영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하는 보정부(500);
상기 인식부(300)가 인식한 차량의 크기와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차가능 영역의 최외부 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 분석부(600);를 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
One or more cameras 100 for taking images of a parking lot including a parking surface 101 and a parking zone 102;
A detection and tracking unit 200 for detecting and tracking a vehicle entering the parking lot through the parking zone 102 from the image captured by the camera 100;
a recognition unit 300 recognizing the size of the vehicle being tracked by the detection and tracking unit 200;
a location detection unit 400 that detects the location of the vehicle being tracked by the detection and tracking unit 200 when it stops on a parking surface;
a correcting unit 500 for correcting the position of the vehicle detected by the position detecting unit 400 in consideration of the magnification of the image of the camera 100 according to perspective;
Among the distance between vehicles, the distance between the vehicle and the parking line, and the distance between the vehicle and the outermost part of the parking available area using the size of the vehicle recognized by the recognition unit 300 and the position of the vehicle corrected by the correction unit 500. An analysis unit 600 that calculates one or more and analyzes the number of additional parking surfaces available for parking using the calculation result; Parking status analysis system using images, characterized in that it is configured to include
상기 검출추적부(200) 및 위치검출부(400)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 목적으로 주차장 내에 위치하며 그 크기 및 위치를 알고있는 측정표준(700);을 추가로 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
According to claim 1,
For the purpose of allowing the detection tracking unit 200 and the location detection unit 400 to more accurately detect the size and location of the vehicle, a measurement standard 700 located in the parking lot and knowing its size and location; further comprising Parking status analysis system using an image characterized in that it is configured
상기 측정표준(700)은 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
According to claim 2,
The measurement standard 700 is one or more marks located on the ground of the parking lot and / or the surface of the artificial structure located in the parking lot Parking status analysis system using images, characterized in that
상기 표식은 기호, 도형, 문자 중 어느 하나 인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
According to claim 3,
Parking status analysis system using an image, characterized in that the mark is any one of symbols, figures, and letters
상기 측정표준(700)은 입차차단기, 출차차단기, 부스 중 어느 하나 인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
According to claim 2,
The measurement standard 700 is a parking status analysis system using an image, characterized in that any one of an entry barrier, an exit barrier, and a booth
상기 영상촬영단계(10)에서 획득한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적단계(20);
상기 검출추적단계(20)에서 검출한 차량의 크기를 인식하는 차량인식단계(30);
상기 검출추적단계가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출단계(40);
원근에 따른 상기 영상촬영단계(10)에서 획득한 영상의 실물대비 배율을 고려하여, 상기 위치검출단계(40)가 검출한 차량의 위치를 보정하는 차량위치보정단계(50);
상기 차량인식단계(30)가 인식한 차량의 모델에 따른 차량의 크기와 상기 차량위치보정단계가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 주차면분석단계(60);를 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
An image capturing step (10) of securing an image of a parking lot including a parking surface (101) and an entry zone (102);
A detection and tracking step (20) of detecting and tracking a vehicle entering the parking lot through the parking zone (102) from the image acquired in the image capturing step (10);
a vehicle recognition step (30) of recognizing the size of the vehicle detected in the detection and tracking step (20);
a position detection step (40) of detecting the position of the vehicle being tracked in the detection and tracking step when it stops on a parking surface;
a vehicle position correction step (50) of correcting the position of the vehicle detected by the position detection step (40) in consideration of the magnification of the image acquired in the image capture step (10) according to perspective;
The distance between vehicles, the distance between the vehicle and the parking line, the distance between the vehicle and the parking surface boundary using the size of the vehicle according to the vehicle model recognized by the vehicle recognition step 30 and the position of the vehicle corrected by the vehicle position correction step. Parking surface analysis step (60) of calculating any one or more of the distances and analyzing the quantity of parking surfaces that can be additionally parked using the calculation result; analysis of parking conditions using images, characterized in that it is configured to include method
상기 검출추적단계(20) 및 위치검출단계(40)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 측정표준검출단계(70);를 추가로 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
According to claim 6,
The detection and tracking step 20 and the location detection step 40 use an image characterized in that it is configured to further include a measurement standard detection step 70 for more accurately detecting the size and position of the vehicle. Parking status analysis method
상기 측정표준검출단계(70)는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 측정표준(700)을 검출하는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
According to claim 7,
The measurement standard detection step (70) detects the measurement standard (700), which is one or more marks located on the ground of the parking lot and / or the surface of the artificial structure located in the parking lot Parking status analysis method using images, characterized in that
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016517A KR102525153B1 (en) | 2021-02-05 | 2021-02-05 | Surveillance Video Driven Status Analysis System for Parking Lots |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016517A KR102525153B1 (en) | 2021-02-05 | 2021-02-05 | Surveillance Video Driven Status Analysis System for Parking Lots |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220112947A KR20220112947A (en) | 2022-08-12 |
| KR102525153B1 true KR102525153B1 (en) | 2023-04-24 |
Family
ID=82803974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210016517A KR102525153B1 (en) | 2021-02-05 | 2021-02-05 | Surveillance Video Driven Status Analysis System for Parking Lots |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102525153B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100851029B1 (en) * | 2007-02-09 | 2008-08-12 | 주식회사 다래파크텍 | Parking management system for using a road maker |
| KR101913634B1 (en) * | 2017-08-28 | 2018-10-31 | 주식회사 뉴코애드윈드 | Method for parking management using ccd camera |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101301868B1 (en) | 2010-06-23 | 2013-09-02 | 대한민국 | System for car model analysis and method thereof |
| KR20170121643A (en) * | 2016-04-25 | 2017-11-02 | 해성옵틱스(주) | Vehicle parking system and the control method using avb camera and augmented reality |
| KR20190076545A (en) * | 2017-12-22 | 2019-07-02 | 주식회사 디파인 | Method and apparatus for managing park infomation |
| KR102019047B1 (en) | 2018-06-12 | 2019-09-10 | 대한민국 | Apparatus and method for estimating vehicle speed within moving picture images |
-
2021
- 2021-02-05 KR KR1020210016517A patent/KR102525153B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100851029B1 (en) * | 2007-02-09 | 2008-08-12 | 주식회사 다래파크텍 | Parking management system for using a road maker |
| KR101913634B1 (en) * | 2017-08-28 | 2018-10-31 | 주식회사 뉴코애드윈드 | Method for parking management using ccd camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220112947A (en) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109460709B (en) | RTG visual barrier detection method based on RGB and D information fusion | |
| KR102197946B1 (en) | object recognition and counting method using deep learning artificial intelligence technology | |
| US9292750B2 (en) | Method and apparatus for detecting traffic monitoring video | |
| US8379926B2 (en) | Vision based real time traffic monitoring | |
| CN112149550B (en) | Automatic driving vehicle 3D target detection method based on multi-sensor fusion | |
| CN111753797B (en) | Vehicle speed measuring method based on video analysis | |
| KR101569919B1 (en) | Apparatus and method for estimating the location of the vehicle | |
| Jodoin et al. | Tracking all road users at multimodal urban traffic intersections | |
| EP2709066A1 (en) | Concept for detecting a motion of a moving object | |
| WO2009004479A2 (en) | System and process for detecting, tracking and counting human objects of interest | |
| Bloisi et al. | Argos—A video surveillance system for boat traffic monitoring in Venice | |
| US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
| KR20200064873A (en) | Method for detecting a speed employing difference of distance between an object and a monitoring camera | |
| Qu et al. | Improving maritime traffic surveillance in inland waterways using the robust fusion of AIS and visual data | |
| Beauvisage et al. | Multi-spectral visual odometry for unmanned air vehicles | |
| Espino et al. | Rail and turnout detection using gradient information and template matching | |
| KR102525153B1 (en) | Surveillance Video Driven Status Analysis System for Parking Lots | |
| CN117115752A (en) | Expressway video monitoring method and system | |
| Keller et al. | Dense stereo-based roi generation for pedestrian detection | |
| EP2709065A1 (en) | Concept for counting moving objects passing a plurality of different areas within a region of interest | |
| Kanhere | Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration | |
| KR102448944B1 (en) | Method and Device for Measuring the Velocity of Vehicle by Using Perspective Transformation | |
| CN116311166A (en) | Traffic obstacle recognition method and device and electronic equipment | |
| CN116682268A (en) | Portable urban road vehicle violation inspection system and method based on machine vision | |
| KR102566525B1 (en) | Method and apparatus for analyzing traffic situation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |