KR20220112947A - Surveillance Video Driven Status Analysis System for Parking Lots - Google Patents
Surveillance Video Driven Status Analysis System for Parking Lots Download PDFInfo
- Publication number
- KR20220112947A KR20220112947A KR1020210016517A KR20210016517A KR20220112947A KR 20220112947 A KR20220112947 A KR 20220112947A KR 1020210016517 A KR1020210016517 A KR 1020210016517A KR 20210016517 A KR20210016517 A KR 20210016517A KR 20220112947 A KR20220112947 A KR 20220112947A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- parking
- image
- detection
- tracking
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
차량의 위치와 크기 및 차량과 차량간의 간격 및 차량과 주차선 간의 간격 차량과 울타리 간의 간격 등을 정확하게 검출 및 인식하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출 및 인식할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다. By accurately detecting and recognizing the location and size of the vehicle, the distance between the vehicle and the vehicle, the distance between the vehicle and the parking line, and the distance between the vehicle and the fence, the number of vehicles parked and the number of empty parking surfaces, as well as the number of parking spaces that can actually be parked This is to present a parking status analysis system and method that can accurately detect and recognize the number of vehicles without additional equipment or construction.
기존의 스마트 주차관리 시스템은 특정주차면의 점유여부, 추가로 주차가능한 주차면의 수, 현재 주차중인 차량의 수 등을 분석하기 위하여 초음파·루프·광 센서 등을 개별 주차면 단위로 설치 및 운영한다.The existing smart parking management system installs and operates ultrasonic, roof, and optical sensors in units of individual parking surfaces to analyze whether a specific parking surface is occupied, the number of additional parking spaces available, and the number of vehicles currently parked. do.
최근 컴퓨터 비전 기술의 발전에 따라 주차면의 점유 여부를 객체 인식 방식으로 검출하는 기술이 소개되고 있으나, 차종의 다양성 등으로 인해 초기의 기술을 주차면에 설치된 스토퍼 등을 검출하여 해당 주차면의 점유 여부를 판단하는 방식을 채택하였고, 최근에는 차종에 무관하게 차량의 존재 여부를 기준으로 해당 주차면의 점유 여부를 판단하는 기술도 도입되고 있다.Recently, with the development of computer vision technology, a technology for detecting whether a parking surface is occupied by an object recognition method has been introduced, but due to the diversity of vehicle types, the initial technology detects a stopper installed on the parking surface A method of judging whether or not there is a vehicle has been adopted, and recently, a technology for determining whether a corresponding parking surface is occupied based on the existence of a vehicle regardless of vehicle type has been introduced.
그러나 이와 같은 기술을 활용하여도 2개의 주차면에 걸쳐서 주차하거나, 다른 주차면을 일부 침범하여 주차하는 등의 소위 비매너주차의 경우를 정확하게 검출하지 못하는 한계를 보이고 있다. However, even using such a technology, there is a limitation in not being able to accurately detect cases of so-called unmanned parking, such as parking across two parking surfaces or partially invading other parking surfaces.
상기와 같은 한계 상황을 최소한의 카메라를 이용하여 넓은 영역의 주차면을 촬영하는 경우, 가까운 곳은 크게(길게) 먼 곳은 작게(짧게) 보이는 원근효과와 큰 차량에 의해 작은 차량이 가려지는 경우, 인공구조물에 의해 차량이 가려지는 경우 등에는 더 도드라지게 나타나는 것으로 알려져 있다.In the case of shooting a parking surface in a wide area using the minimum camera in the limit situation as described above, the perspective effect of looking large (longer) in the near area and small (short) in the far area and when a small vehicle is obscured by a large vehicle , it is known that it appears more prominently when the vehicle is obscured by an artificial structure.
이에 본 발명에서는 차량의 위치와 크기 및 차량과 차량간의 간격 및 차량과 주차선 간의 간격, 차량과 울타리 간의 간격 등을 정확하게 검출(또는 인식)하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출(또는 인식)할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.Accordingly, the present invention accurately detects (or recognizes) the location and size of the vehicle, the distance between the vehicle and the vehicle, the distance between the vehicle and the parking line, the distance between the vehicle and the fence, etc. , to present a parking status analysis system and method that can accurately detect (or recognize) the number of parking surfaces that can actually be parked without a separate device or construction.
이에 본 발명에서는 차량의 위치와 크기 및 차량과 차량 간의 간격 및 차량과 주차선 간의 간격, 차량과 울타리 간의 간격 등을 정확하게 검출(또는 인식)하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출(또는 인식)할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.Accordingly, in the present invention, by accurately detecting (or recognizing) the location and size of the vehicle, the distance between the vehicle and the vehicle, the distance between the vehicle and the parking line, and the distance between the vehicle and the fence, as well as the number of parked vehicles and the number of empty parking surfaces, , to present a parking status analysis system and method that can accurately detect (or recognize) the number of parking surfaces that can actually be parked without a separate device or construction.
상기의 기술적 과제를 실현하기 위한 본 발명에 따른 CCTV 카메라 영상을 활용한 주차현황분석 시스템은, 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 촬영하는 하나이상의 카메라(100); 상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적부(200); 상기 검충추적부(200)가 추적중인 차량의 크기를 인식하는 인식부(300); 상기 검출추적부(200)가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출부(400); 원근에 따른 상기 카메라(100) 영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하는 보정부(500); 및 상기 인식부(300)가 인식한 차량의 크기와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 분석부(600);를 필수 구성요소로 하며, 상기 검출추적부(200) 및 위치검출부(400)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 목적으로 주차장 내에 위치하며 그 크기 및 위치를 알고있는 측정표준(700);을 추가 구성요소로 하는 주차현황분석 시스템을 제공한다. 상기 측정표준(700)으로는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 기호, 도형, 문자 혹은 입차차단기, 출차차단기, 부스, (지하주차장일 경우) 주차장의 구조물(기둥 등) 등이 활용될 수 있다.The parking status analysis system using the CCTV camera image according to the present invention for realizing the above technical problem is one or more cameras 100 for shooting an image of the parking lot including the parking surface 101 and the entry zone 102 ; a detection and tracking unit 200 for detecting and tracking a vehicle entering the parking lot through the entry zone 102 from the image taken by the camera 100; Recognition unit 300 for recognizing the size of the vehicle being tracked by the inspection and tracking unit 200; a position detection unit 400 for detecting a position of the vehicle being tracked by the detection and tracking unit 200 when the vehicle is stopped on a parking surface; a correction unit 500 for correcting the position of the vehicle detected by the position detection unit 400 in consideration of the real-world magnification of the image of the camera 100 according to perspective; and a distance between vehicles, a distance between a vehicle and a parking line, and a distance between a vehicle and a parking surface boundary using the size of the vehicle recognized by the recognition unit 300 and the position of the vehicle corrected by the correction unit 500 An analysis unit 600 that calculates an abnormality and analyzes the number of parking surfaces that can be additionally parked using the calculation result; as an essential component, the detection and tracking unit 200 and the position detection unit 400 are It is located in the parking lot for the purpose of more accurately detecting the size and location of the measurement standard 700 that knows the size and location; provides a parking status analysis system as an additional component. As the measurement standard 700, one or more symbols, figures, characters, or entry and exit breaker, exit breaker, booth, (in case of an underground parking lot) parking lot are located on the ground of the parking lot and/or on the surface of an artificial structure located in the parking lot. (pillars, etc.) may be used.
아울러, 상기의 기술적 과제를 실현하기 위한 본 발명에 따른 CCTV 카메라 영상을 활용한 주차현황분석 방법은, 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 확보하는 영상촬영단계(10); 상기 영상촬영단계(10)에서 획득한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적단계(20); 상기 검출추적단계(20)가 검출한 차량의 크기를 인식하는 차량인식단계(30); 상기 검출추적단계(20)에서 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출단계(40); 원근에 따른 상기 영상촬영단계(10)에서 획득한 영상의 실물대비 배율을 고려하여, 상기 위치검출단계(40)에서 검출한 차량의 위치를 보정하는 차량위치보정단계(50); 상기 차량인식단계(30)에서 인식한 차량의 모델에 따른 차량의 크기와 상기 차량위치보정단계(50)가 보정한 차량의 위치를 이용하여 차량 간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 주차면분석단계(60);를 필수 구성요소(단계)로 하며, 상기 검출추적단계(20) 및 위치검출단계(40)에서 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 측정표준검출단계(70);를 추가 구성요소로 하며 상기 측정표준검출단계(70)는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 측정표준(700)을 검출하는 것을 특징으로 하는 주차현황분석 방법을 제공한다.In addition, the parking status analysis method using the CCTV camera image according to the present invention for realizing the above technical problem is an image shooting step ( 10); a detection and tracking step (20) of detecting and tracking a vehicle entering the parking lot through the entry zone (102) from the image obtained in the image capturing step (10); a vehicle recognition step 30 of recognizing the size of the vehicle detected by the detection and tracking step 20; a position detection step (40) of detecting the position when the vehicle being tracked in the detection and tracking step (20) stops on a parking surface; a vehicle position correction step (50) of correcting the position of the vehicle detected in the position detection step (40) in consideration of the magnification of the image obtained in the image capturing step (10) according to perspective; Using the size of the vehicle according to the model of the vehicle recognized in the vehicle recognition step 30 and the location of the vehicle corrected in the vehicle location correction step 50, the distance between vehicles, the distance between the vehicle and the parking line, and the vehicle and parking A parking surface analysis step (60) of calculating any one or more of the distances between the surface boundaries and analyzing the number of parking surfaces that can be additionally parked using the calculation result is an essential component (step), and the detection and tracking The measurement standard detection step 70 for more accurately detecting the size and location of the vehicle in the step 20 and the location detection step 40; as an additional component, the measurement standard detection step 70 is the ground level of the parking lot And/or provides a parking status analysis method, characterized in that for detecting the measurement standard 700, which is one or more marks located on the surface of the artificial structure located in the parking lot.
본 발명은 딥러닝 등의 최신 기술을 활용하여 주차장에 진입하는 차량의 모델을 분석하고, 그에 따른 차량의 제원을 명확히 파악하여 CCTV 영상 내에서의 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 등 주차가능한 주차면의 파악에 요구되는 변수값의 산출 정확도를 향상하여 주차장 운영의 효율성을 효과적으로 제고할 수 있는 효과가 있다.The present invention analyzes a model of a vehicle entering a parking lot by using the latest technology such as deep learning, and clearly identifies the vehicle's specifications accordingly, so that the distance between the vehicles in the CCTV image, the distance between the vehicle and the parking line, and the vehicle There is an effect that can effectively improve the efficiency of parking lot operation by improving the calculation accuracy of the variable values required to identify the parking surface that can be parked, such as the distance between the boundaries of the parking surfaces.
도1 CCTV 카메라를 활용한 주차현황분석 시스템의 개략적인 구성에 대한 예시
도2 위치검출의 실시에 대한 예시
도3 보정부의 보정 실시에 대한 예시Figure 1 Example of a schematic configuration of a parking status analysis system using a CCTV camera
Figure 2 Example of implementation of position detection
Fig. 3 An example of the correction carried out by the correction unit
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.The present invention will be described in detail with reference to the accompanying drawings as follows.
도 1은 본 발명에 따른 CCTV 카메라를 활용한 주차현황분석 시스템의 개략적인 구성으로, 카메라(100)는 PTZ 카메라 및 현재 상용제품으로 널리 판매 중인 다기능카메라 등이 사용될 수 있으며, 주차장 내 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 촬영하고, 해당 취득 영상을 검출추적부(200)로 송신한다.1 is a schematic configuration of a parking status analysis system using a CCTV camera according to the present invention, and the camera 100 may be a PTZ camera and a multi-function camera that is currently widely sold as a commercial product, and the parking surface in the parking lot ( 101) and an image of the parking lot including the entry zone 102 is photographed, and the acquired image is transmitted to the detection and tracking unit 200 .
상기 검출추적부(200)는 상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 다중객체검출(Multi Object Detection : 이하 MOD) 및 다중객체추적(Multi Object Tracking : 이하 MOT) 등의 컴퓨터 비전 기술을 사용하여 검출 및 추적하며 검출한 차량의 영상을 인식부(300), 추적중인 차량이 정차할 경우 해당 차량의 영상을 위치검출부(400)로 송신한다. The detection and tracking unit 200 detects the vehicle entering the parking lot through the entry zone 102 from the image taken by the camera 100, multi-object detection (hereinafter MOD) and multi-object tracking (Multi Object Tracking). : It detects and tracks using computer vision technology such as MOT), and transmits the image of the detected vehicle to the recognition unit 300 , and when the vehicle being tracked stops, the image of the vehicle is transmitted to the position detection unit 400 .
상기 MOD 및 MOT를 진행하기 위해, 상기 검출추적부(200)에서는 R-CNN(Region-based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO(You Only Look Once), YOLO 9000, YOLO v3, SSD(Single Shot Multi-box Detector), Deep SORT(Simple Online and Real-Time Tracking), Hungarian(Kuhn-Munkres) 중 어느 하나 이상의 알고리즘을 사용한 MOD를 통한 객체 인식 후, BOOSTING Tracker, MIL Tracker, KCF Tracker, Median Flow Tracker, TLD Tracker, MOSSE Tracker, CSRT Tracker등의 트래커를 사용하여 다중객체의 움직임을 트래킹하며, 주차장 내 교통체증으로 인해 일시 정차중인 차량과 주차가 완료된 차량의 구분을 위하여 차량이 정차한 후, 1분 등의 일정시간이 소요된 차량의 영상을 별도로 구분하여 위치검출부(400)로 송신한다.In order to proceed with the MOD and MOT, in the detection and tracking unit 200, R-CNN (Region-based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO (You Only Look Once), YOLO 9000, After object recognition through MOD using any one or more algorithms of YOLO v3, SSD (Single Shot Multi-box Detector), Deep SORT (Simple Online and Real-Time Tracking), Hungarian (Kuhn-Munkres), BOOSTING Tracker, MIL Tracker , KCF Tracker, Median Flow Tracker, TLD Tracker, MOSSE Tracker, CSRT Tracker, etc. are used to track the movement of multiple objects. After the vehicle is stopped, an image of the vehicle that has taken a predetermined time, such as 1 minute, is separately divided and transmitted to the position detection unit 400 .
상기 MOD 알고리즘 중, R-CNN은 2014년 CVPR을 통해 발표된 “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)”를 통해, Fast R-CNN 알고리즘은 2015년 ICCV를 통해 발표된 “Fast R-CNN”을 통해, Faster R-CNN 알고리즘은 2015년 NIPS를 통해 발표된 “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”를 통해, YOLO v1, 9000(v2포함), v3 알고리즘은 각각 2016년 CVPR에 발표된 "You Only Look Once: Unified, Real-Time Object Detection", 2017년 CVPR에 발표된 "YOLO9000: Better, Faster, Stronger", 2018년 arXiv에 발표된 “YOLOv3: An Incremental Improvement” 등을 통해, SSD는 2016년 ECCV에 발표된 “SSD: Single Shot MultiBox Detector” 등을 통해, Deep SORT는 2017년 arXiv에 발표된 “Simple Online and Realtime Tracking with a Deep Association Metric” 등을 통해, Hungarian(Kuhn-Munkres)은 2018년 arXiv에 발표된 “A Distributed Version of the Hungarian Method for Multi-Robot Assignment” 등을 통해 발표된 바 있으며, 상기 MOT를 위한 트래커 중 BOOSTING은 2006년에 발표된 Helmut Grabner et al., " Real-time tracking via on-line boosting"을 통해, MIL Tracker는 2010년에 발표된 Boris Babenko, "Robust Object Tracking with Online Multiple Instance Learning"을 통해, KCF Tracker (kernelized correlation filter)는 2014년에 발표된 Joao F. Henriques et al., "High-Speed Tracking with Kernelized Correlation Filters"를 통해, Median Flow Tracker는 2010년에 발표된 Zdenek Kalal et al., "Forward-Backward Error: Automatic Detection of Tracking Failures"를 통해, TLD Tracker(Tracking - Learning - Detection)는 2010년에 발표된 Zdenek Kalal et al., "Tracking-Learning-Detection"을 통해, MOSSE(Minimum Output Sum of Squared Error) Tracker는 2010년에 발표된 David S. Bolme et al., "Visual Object Tracking using Adaptive Correlation Filters"를 통해, CSRT Tracker는 2018년 Lukezic, A et al.의 "Correlation Filter Tracker with Channel and Spatial Reliablity"등을 통해 발표된 바 있다.Among the MOD algorithms, R-CNN is the “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)” announced through CVPR in 2014, and the Fast R-CNN algorithm is “ Through “Faster R-CNN”, the Faster R-CNN algorithm has been developed through “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks” announced at NIPS in 2015, YOLO v1, 9000 (including v2), The v3 algorithms are “You Only Look Once: Unified, Real-Time Object Detection” presented at CVPR in 2016, “YOLO9000: Better, Faster, Stronger” presented at CVPR in 2017, and “YOLOv3: An Incremental Improvement”, etc., “SSD: Single Shot MultiBox Detector” announced at ECCV in 2016, etc., Deep SORT, “Simple Online and Realtime Tracking with a Deep Association Metric” announced at arXiv in 2017, etc. Hungarian (Kuhn-Munkres) has been announced through “A Distributed Version of the Hungarian Method for Multi-Robot Assignment” announced on arXiv in 2018, and BOOSTING among the trackers for MOT was announced in 2006 With Helmut Grabner et al., "Real-time tracking via on-line boosting", the MIL Tracker was published in 2010 by Boris Babenko, " Through “Robust Object Tracking with Online Multiple Instance Learning”, KCF Tracker (kernelized correlation filter), through Joao F. Henriques et al., “High-Speed Tracking with Kernelized Correlation Filters” published in 2014, Median Flow Tracker Through Zdenek Kalal et al., "Forward-Backward Error: Automatic Detection of Tracking Failures" published in 2010, Tracking - Learning - Detection (TLD Tracker) was published in Zdenek Kalal et al., "Tracking- Learning-Detection", the MOSSE (Minimum Output Sum of Squared Error) Tracker, from David S. Bolme et al., published in 2010, "Visual Object Tracking using Adaptive Correlation Filters", CSRT Tracker by Lukezic, 2018 It has been published in A et al.'s "Correlation Filter Tracker with Channel and Spatial Reliablity".
상기 인식부(300)는 상기 검출추적부(200)로부터 전달받은 입차존(102)에 진입한 차량의 영상을 분석하여 차량의 모델을 찾아내고, 그에 따른 차량 모델별 제원을 분석부(600)로 전송한다. 영상에서 차량의 모델을 분석해내기 위한 방법으로는, 전통적으로는 Clady, X., et al. 2008년 IAPR workshop on artificial neural networks in pattern recognition에서 발표한 “Multi-class vehiicle type recognition system”에 서술된 차량의 전면부 이미지에 최근접 이웃법(Nearest Neighbor) 알고리즘을 활용하여 가장 유사한 차량 모델을 탐색하는 방식, Stark, M., et al.이 2011년 International Journal of Robotics Research에서 발표한 “Fine-grained categorization for 3D scene understanding”에 서술된 DPM(Deformable Part Model) 알고리즘을 활용하는 방식 등이 있으며, 딥러닝을 활용한 방안으로는, Yang, L. 등이 2015년 IEEE에서 발표한 “A large scale car dataset for fine-grained categorization and verification”을 통해 서술된 ImageNet 데이터셋의 사전학습된 가중치를 통해 초기설정된 Overfeat 모델을 활용한 방식, Ye Xiang et al.이 2020년 IEEE에서 발표한 “Global Topology Constraint Network for Fine-Grained Vehicle Recognition”에서 서술된 다수의 CNN 레이어를 활용한 부품 검출 및 위상학적 관계를 파악하는 방식 등이 사용될 수 있다.The recognition unit 300 analyzes the image of the vehicle entering the entry zone 102 received from the detection and tracking unit 200 to find the vehicle model, and analyzes the specifications for each vehicle model accordingly. send to Traditionally, as a method for analyzing a vehicle model in an image, Clady, X., et al. Search for the most similar vehicle model using the Nearest Neighbor algorithm on the front image of the vehicle described in “Multi-class vehiicle type recognition system” presented at the IAPR workshop on artificial neural networks in pattern recognition in 2008. There is a method using the Deformable Part Model (DPM) algorithm described in “Fine-grained categorization for 3D scene understanding” published by Stark, M., et al. in the International Journal of Robotics Research in 2011. As a method using deep learning, it is initially through pre-trained weights of the ImageNet dataset described in “A large scale car dataset for fine-grained categorization and verification” published in IEEE by Yang, L., et al. in 2015. A method using the established Overfeat model, part detection and topological relationships using multiple CNN layers described in “Global Topology Constraint Network for Fine-Grained Vehicle Recognition” published by Ye Xiang et al. in 2020 IEEE method and the like may be used.
상기 위치검출부(400)는 상기 검출추적부(200)로부터 주차완료로 판단되는 차량의 영상을 제공받고, 해당 영상 내 차량의 위치를 검출한다. 이 때 위치검출부(400)는 도2 위치검출의 실시예와 같이 차량 하단부 테두리의 최인접 사각형 각 꼭지점의 좌표 정보를 차량의 위치로 채택한다. The position detection unit 400 receives the image of the vehicle determined to be parked from the detection and tracking unit 200 , and detects the position of the vehicle in the image. At this time, the position detecting unit 400 adopts the coordinate information of each vertex of the closest quadrangle of the lower edge of the vehicle as the position of the vehicle, as in the embodiment of the position detection of FIG. 2 .
상기 보정부(500)는 원근에 따른 상기 카메라(100)영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하며, 이를 위하여, 도3 보정부의 보정 실시예와 같이, 영상에서의 소실점 및 지표면을 파악하고, 해당 평면을 활용하여 homography를 통해 주차장의 평면도를 구현하며, 상기 보정부(500)에서 검출한 차량의 위치좌표(
[수식 1] [Formula 1]
해당 산식의 값이 가장 높은 꼭지점의 정보(치환좌표, j값 및 인접 꼭지점으로의 unit vector)를 상기 분석부(600)로 전달한다The information on the vertex having the highest value of the corresponding formula (the substitution coordinate, the j value, and the unit vector to the adjacent vertex) is transmitted to the analysis unit 600 .
상기 분석부(600)는 상기 인식부(300)에서 전달받은 차량의 모델에 따른 차량의 제원(크기)와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량 간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 해당 결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석한다. The analysis unit 600 uses the vehicle specification (size) according to the model of the vehicle received from the recognition unit 300 and the position of the vehicle corrected by the correction unit 500 to determine the distance between the vehicles, the vehicle and the parking area. Any one or more of the distance between the lines and the distance between the vehicle and the parking surface boundary is calculated, and the number of parking surfaces that can be additionally parked is analyzed using the results.
상기 측정표준(700)은 주차장의 지면 및/또는 주차장에 위치하는 인공구조물(입차차단기, 출차차단기, 부스 중 어느 하나 인 것)에 위치하는 하나 이상의 표식(기호, 도형, 문자 중 어느 하나 인 것)으로, 상기 보정부(500)에서 보정이 이루어지는 과정에서 확률 밀도 함수(Probability density function)를 구성하는데 있어서 정확한 정보제공을 위하여, 상기 검출추적부(200) 및 위치검출부(400)와 함께 구성되어 상기 카메라(100)가 획득한 영상에서 검출한 차량 및/또는 추적중인 차량의 크기 및 위치에 대한 정보를 확보 후 상기 보정부(500)에 제공한다.The measurement standard 700 is one or more marks (symbols, figures, and letters) located on the ground of the parking lot and / or an artificial structure located in the parking lot (any one of an entry and exit breaker, a booth) ), in order to provide accurate information in configuring a probability density function in the process of being corrected in the correction unit 500, the detection and tracking unit 200 and the position detection unit 400 are configured together. Information on the size and location of the vehicle detected by the camera 100 and/or the vehicle being tracked from the image acquired by the camera 100 is secured and then provided to the compensator 500 .
본 발명에 따른 cctv카메라 영상을 활용한 주차현황분석 방법에 있어서 영상촬영단계(10)는 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 확보하기 위해 상기 카메라(100)를 활용하여 용이하게 구현이 가능하며, 주차장에 진입하는 차량을 검출하고 추적하는 상기 검출추적부(200), 인식부(300), 위치검출부(400), 보정부(500), 분석부(600), 측정표준(700) 등은 각각 검출추적단계(20), 차량인식단계(30), 위치검출단계(40), 차량위치보정단계(50), 주차면분석단계(60), 측정표준검출단계(70)에 대응되는 구성요소(단계)로 그 기술적 내용도 실질적으로 동일하여 상기 cctv카메라 영상을 활용한 주차현황분석 시스템에 대한 설명을 바탕으로 이 기술이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 구현할 수 있다.In the parking status analysis method using the cctv camera image according to the present invention, the image shooting step 10 is the camera 100 to secure the image of the parking lot including the parking surface 101 and the entry zone 102 The detection and tracking unit 200 , the recognition unit 300 , the position detection unit 400 , the correction unit 500 , and the analysis unit 600 that detects and tracks a vehicle entering the parking lot can be implemented easily by utilizing it. , the measurement standard 700, etc., are respectively the detection and tracking step 20, the vehicle recognition step 30, the location detection step 40, the vehicle location correction step 50, the parking surface analysis step 60, the measurement standard detection step As a component (step) corresponding to (70), the technical content is substantially the same, and based on the description of the parking status analysis system using the CCTV camera image, a person with ordinary knowledge in the technical field to which this technology belongs It can be implemented easily.
Claims (8)
상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적부(200);
상기 검출추적부(200)가 추적중인 차량의 크기를 인식하는 인식부(300);
상기 검출추적부(200)가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출부(400);
원근에 따른 상기 카메라(100)영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하는 보정부(500);
상기 인식부(300)가 인식한 차량의 크기와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 분석부(600);를 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
One or more cameras 100 for taking an image of the parking lot including the parking surface 101 and the entry zone (102);
a detection and tracking unit 200 for detecting and tracking a vehicle entering the parking lot through the entry zone 102 from the image taken by the camera 100;
a recognition unit 300 for recognizing the size of the vehicle being tracked by the detection and tracking unit 200;
a position detection unit 400 for detecting the position of the vehicle being tracked by the detection and tracking unit 200 when the vehicle is stopped on a parking surface;
a correction unit 500 for correcting the position of the vehicle detected by the position detection unit 400 in consideration of the real-world magnification of the image of the camera 100 according to perspective;
Any one or more of a distance between vehicles, a distance between a vehicle and a parking line, and a distance between a vehicle and a parking surface boundary using the size of the vehicle recognized by the recognition unit 300 and the position of the vehicle corrected by the correction unit 500 An analysis unit 600 that calculates and analyzes the number of parking surfaces that can be additionally parked using the calculation result; Parking status analysis system using an image, characterized in that it comprises a
상기 검출추적부(200) 및 위치검출부(400)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 목적으로 주차장 내에 위치하며 그 크기 및 위치를 알고있는 측정표준(700);을 추가로 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
The method according to claim 1, wherein
The detection and tracking unit 200 and the position detection unit 400 are located in the parking lot for the purpose of more accurately detecting the size and position of the vehicle and the measurement standard 700 that knows the size and position; Parking status analysis system using an image, characterized in that it is composed
상기 측정표준(700)은 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
The method according to claim 2, wherein
The measurement standard 700 is a parking status analysis system using an image, characterized in that one or more marks are located on the ground of the parking lot and/or on the surface of an artificial structure located in the parking lot.
상기 표식은 기호, 도형, 문자 중 어느 하나 인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
According to claim 3,
Parking status analysis system using an image, characterized in that the mark is any one of a symbol, a figure, and a character
상기 측정표준(700)은 입차차단기, 출차차단기, 부스 중 어느 하나 인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
The method according to claim 2, wherein
The measurement standard 700 is a parking status analysis system using an image, characterized in that any one of an entrance breaker, an exit breaker, and a booth
상기 영상촬영단계(10)에서 획득한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적단계(20);
상기 검출추적단계(20)에서 검출한 차량의 크기를 인식하는 차량인식단계(30);
상기 검출추적단계가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출단계(40);
원근에 따른 상기 영상촬영단계(10)에서 획득한 영상의 실물대비 배율을 고려하여, 상기 위치검출단계(40)가 검출한 차량의 위치를 보정하는 차량위치보정단계(50);
상기 차량인식단계(30)가 인식한 차량의 모델에 따른 차량의 크기와 상기 차량위치보정단계가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 주차면분석단계(60);를 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
An image taking step (10) of securing an image of the parking lot including the parking surface (101) and the entry zone (102);
a detection and tracking step (20) of detecting and tracking a vehicle entering the parking lot through the entry zone (102) from the image obtained in the image capturing step (10);
a vehicle recognition step (30) of recognizing the size of the vehicle detected in the detection and tracking step (20);
a position detection step (40) of detecting the position when the vehicle being tracked in the detection and tracking step stops on a parking surface;
a vehicle position correction step (50) of correcting the position of the vehicle detected by the position detection step (40) in consideration of the magnification of the image obtained in the image capturing step (10) according to perspective;
The distance between vehicles, the distance between the vehicle and the parking line, and the boundary between the vehicle and the parking surface using the size of the vehicle according to the model of the vehicle recognized by the vehicle recognition step 30 and the location of the vehicle corrected by the vehicle location correction step Calculating any one or more of the distances and analyzing the parking surface using the calculation result to analyze the number of parking surfaces where additional parking is possible (60); Way
상기 검출추적단계(20) 및 위치검출단계(40)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 측정표준검출단계(70);를 추가로 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
7. The method according to claim 6,
The detection and tracking step 20 and the position detection step 40 use the image characterized in that it further comprises a measurement standard detection step 70 for more accurately detecting the size and location of the vehicle. Parking status analysis method
상기 측정표준검출단계(70)는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 측정표준(700)을 검출하는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
The method according to claim 7,
The measurement standard detection step 70 is a parking status analysis method using an image, characterized in that detecting the measurement standard 700, which is one or more marks located on the ground of the parking lot and/or on the surface of an artificial structure located in the parking lot
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016517A KR102525153B1 (en) | 2021-02-05 | 2021-02-05 | Surveillance Video Driven Status Analysis System for Parking Lots |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210016517A KR102525153B1 (en) | 2021-02-05 | 2021-02-05 | Surveillance Video Driven Status Analysis System for Parking Lots |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220112947A true KR20220112947A (en) | 2022-08-12 |
| KR102525153B1 KR102525153B1 (en) | 2023-04-24 |
Family
ID=82803974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210016517A KR102525153B1 (en) | 2021-02-05 | 2021-02-05 | Surveillance Video Driven Status Analysis System for Parking Lots |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102525153B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100851029B1 (en) * | 2007-02-09 | 2008-08-12 | 주식회사 다래파크텍 | Parking management system for using a road maker |
| KR20110139503A (en) | 2010-06-23 | 2011-12-29 | 대한민국(관리부서:행정안전부 국립과학수사연구원장) | System for car model analysis and method thereof |
| KR20170121643A (en) * | 2016-04-25 | 2017-11-02 | 해성옵틱스(주) | Vehicle parking system and the control method using avb camera and augmented reality |
| KR101913634B1 (en) * | 2017-08-28 | 2018-10-31 | 주식회사 뉴코애드윈드 | Method for parking management using ccd camera |
| KR20190076545A (en) * | 2017-12-22 | 2019-07-02 | 주식회사 디파인 | Method and apparatus for managing park infomation |
| KR102019047B1 (en) | 2018-06-12 | 2019-09-10 | 대한민국 | Apparatus and method for estimating vehicle speed within moving picture images |
-
2021
- 2021-02-05 KR KR1020210016517A patent/KR102525153B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100851029B1 (en) * | 2007-02-09 | 2008-08-12 | 주식회사 다래파크텍 | Parking management system for using a road maker |
| KR20110139503A (en) | 2010-06-23 | 2011-12-29 | 대한민국(관리부서:행정안전부 국립과학수사연구원장) | System for car model analysis and method thereof |
| KR20170121643A (en) * | 2016-04-25 | 2017-11-02 | 해성옵틱스(주) | Vehicle parking system and the control method using avb camera and augmented reality |
| KR101913634B1 (en) * | 2017-08-28 | 2018-10-31 | 주식회사 뉴코애드윈드 | Method for parking management using ccd camera |
| KR20190076545A (en) * | 2017-12-22 | 2019-07-02 | 주식회사 디파인 | Method and apparatus for managing park infomation |
| KR102019047B1 (en) | 2018-06-12 | 2019-09-10 | 대한민국 | Apparatus and method for estimating vehicle speed within moving picture images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102525153B1 (en) | 2023-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685066B (en) | Mine target detection and identification method based on deep convolutional neural network | |
| Mukojima et al. | Moving camera background-subtraction for obstacle detection on railway tracks | |
| CN112734852B (en) | Robot mapping method and device and computing equipment | |
| Fefilatyev et al. | Detection and tracking of ships in open sea with rapidly moving buoy-mounted camera system | |
| CN105405154B (en) | Target object tracking based on color-structure feature | |
| Hu et al. | Principal axis-based correspondence between multiple cameras for people tracking | |
| US9292750B2 (en) | Method and apparatus for detecting traffic monitoring video | |
| CN111753797B (en) | Vehicle speed measuring method based on video analysis | |
| CN111611853B (en) | Sensing information fusion method, device and storage medium | |
| KR101569919B1 (en) | Apparatus and method for estimating the location of the vehicle | |
| CN109434251B (en) | Welding seam image tracking method based on particle filtering | |
| EP2709066A1 (en) | Concept for detecting a motion of a moving object | |
| Bloisi et al. | Argos—A video surveillance system for boat traffic monitoring in Venice | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| Tsintotas et al. | DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM | |
| KR102383377B1 (en) | Electronic device for recognizing license plate | |
| CN112541403B (en) | Indoor personnel falling detection method by utilizing infrared camera | |
| Qu et al. | Improving maritime traffic surveillance in inland waterways using the robust fusion of AIS and visual data | |
| Avşar et al. | Moving vehicle detection and tracking at roundabouts using deep learning with trajectory union | |
| Contreras et al. | A Stereo Visual Odometry Framework with Augmented Perception for Dynamic Urban Environments | |
| Sutopo et al. | Appearance-based passenger counting in cluttered scenes with lateral movement compensation | |
| EP2709065A1 (en) | Concept for counting moving objects passing a plurality of different areas within a region of interest | |
| Keller et al. | Dense stereo-based roi generation for pedestrian detection | |
| Kanhere | Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration | |
| KR102525153B1 (en) | Surveillance Video Driven Status Analysis System for Parking Lots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |