KR102525153B1 - Cctv 카메라 영상을 활용한 주차현황분석 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 CCTV 카메라 영상을 활용한 주차현황분석 시스템 및 방법에 관한 것으로, 주차장 내 위치한 CCTV에서 촬영된 영상에 딥러닝 등의 최신 기술을 활용하여 주차장에 진입하는 차량의 모델을 분석하고, 그에 따른 차량의 제원을 명확히 파악하여 CCTV 영상 내에서의 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 등 주차가능한 주차면의 파악에 요구되는 변수값의 산출 정확도를 향상하여 주차장 운영의 효율성을 효과적으로 증대시킬 수 있는 주차현황분석 시스템 및 방법에 관한 것이다.

Description

CCTV 카메라 영상을 활용한 주차현황분석 시스템 및 그 방법{Surveillance Video Driven Status Analysis System for Parking Lots}

차량의 위치와 크기 및 차량과 차량간의 간격 및 차량과 주차선 간의 간격 차량과 울타리 간의 간격 등을 정확하게 검출 및 인식하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출 및 인식할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.

기존의 스마트 주차관리 시스템은 특정주차면의 점유여부, 추가로 주차가능한 주차면의 수, 현재 주차중인 차량의 수 등을 분석하기 위하여 초음파·루프·광 센서 등을 개별 주차면 단위로 설치 및 운영한다.

최근 컴퓨터 비전 기술의 발전에 따라 주차면의 점유 여부를 객체 인식 방식으로 검출하는 기술이 소개되고 있으나, 차종의 다양성 등으로 인해 초기의 기술을 주차면에 설치된 스토퍼 등을 검출하여 해당 주차면의 점유 여부를 판단하는 방식을 채택하였고, 최근에는 차종에 무관하게 차량의 존재 여부를 기준으로 해당 주차면의 점유 여부를 판단하는 기술도 도입되고 있다.

그러나 이와 같은 기술을 활용하여도 2개의 주차면에 걸쳐서 주차하거나, 다른 주차면을 일부 침범하여 주차하는 등의 소위 비매너주차의 경우를 정확하게 검출하지 못하는 한계를 보이고 있다.

상기와 같은 한계 상황을 최소한의 카메라를 이용하여 넓은 영역의 주차면을 촬영하는 경우, 가까운 곳은 크게(길게) 먼 곳은 작게(짧게) 보이는 원근효과와 큰 차량에 의해 작은 차량이 가려지는 경우, 인공구조물에 의해 차량이 가려지는 경우 등에는 더 도드라지게 나타나는 것으로 알려져 있다.

이에 본 발명에서는 차량의 위치와 크기 및 차량과 차량간의 간격 및 차량과 주차선 간의 간격, 차량과 울타리 간의 간격 등을 정확하게 검출(또는 인식)하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출(또는 인식)할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.

공개특허 10-2011-0139503 차종분석 시스템 및 그 방법 등록특허 10-2019047 영상 내 차량 속도 추정 장치 및 방법

삭제

이에 본 발명에서는 차량의 위치와 크기 및 차량과 차량 간의 간격 및 차량과 주차선 간의 간격, 차량과 울타리 간의 간격 등을 정확하게 검출(또는 인식)하여 주차중인 차량의 수량, 빈 주차면의 수 뿐만 아니라, 실제로 주차가 가능한 주차면의 수량을 별도의 장치나 공사 없이 정확하게 검출(또는 인식)할 수 있는 주차현황분석 시스템 및 방법을 제시하고자 한다.

상기의 기술적 과제를 실현하기 위한 본 발명에 따른 CCTV 카메라 영상을 활용한 주차현황분석 시스템은, 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 촬영하는 하나이상의 카메라(100); 상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적부(200); 상기 검충추적부(200)가 추적중인 차량의 크기를 인식하는 인식부(300); 상기 검출추적부(200)가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출부(400); 원근에 따른 상기 카메라(100) 영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하는 보정부(500); 및 상기 인식부(300)가 인식한 차량의 크기와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 분석부(600);를 필수 구성요소로 하며, 상기 검출추적부(200) 및 위치검출부(400)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 목적으로 주차장 내에 위치하며 그 크기 및 위치를 알고있는 측정표준(700);을 추가 구성요소로 하는 주차현황분석 시스템을 제공한다. 상기 측정표준(700)으로는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 기호, 도형, 문자 혹은 입차차단기, 출차차단기, 부스, (지하주차장일 경우) 주차장의 구조물(기둥 등) 등이 활용될 수 있다.

아울러, 상기의 기술적 과제를 실현하기 위한 본 발명에 따른 CCTV 카메라 영상을 활용한 주차현황분석 방법은, 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 확보하는 영상촬영단계(10); 상기 영상촬영단계(10)에서 획득한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적단계(20); 상기 검출추적단계(20)가 검출한 차량의 크기를 인식하는 차량인식단계(30); 상기 검출추적단계(20)에서 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출단계(40); 원근에 따른 상기 영상촬영단계(10)에서 획득한 영상의 실물대비 배율을 고려하여, 상기 위치검출단계(40)에서 검출한 차량의 위치를 보정하는 차량위치보정단계(50); 상기 차량인식단계(30)에서 인식한 차량의 모델에 따른 차량의 크기와 상기 차량위치보정단계(50)가 보정한 차량의 위치를 이용하여 차량 간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 주차면분석단계(60);를 필수 구성요소(단계)로 하며, 상기 검출추적단계(20) 및 위치검출단계(40)에서 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 측정표준검출단계(70);를 추가 구성요소로 하며 상기 측정표준검출단계(70)는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 측정표준(700)을 검출하는 것을 특징으로 하는 주차현황분석 방법을 제공한다.

본 발명은 딥러닝 등의 최신 기술을 활용하여 주차장에 진입하는 차량의 모델을 분석하고, 그에 따른 차량의 제원을 명확히 파악하여 CCTV 영상 내에서의 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 등 주차가능한 주차면의 파악에 요구되는 변수값의 산출 정확도를 향상하여 주차장 운영의 효율성을 효과적으로 제고할 수 있는 효과가 있다.

도1 CCTV 카메라를 활용한 주차현황분석 시스템의 개략적인 구성에 대한 예시
도2 위치검출의 실시에 대한 예시
도3 보정부의 보정 실시에 대한 예시

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 CCTV 카메라를 활용한 주차현황분석 시스템의 개략적인 구성으로, 카메라(100)는 PTZ 카메라 및 현재 상용제품으로 널리 판매 중인 다기능카메라 등이 사용될 수 있으며, 주차장 내 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 촬영하고, 해당 취득 영상을 검출추적부(200)로 송신한다.

상기 검출추적부(200)는 상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 다중객체검출(Multi Object Detection : 이하 MOD) 및 다중객체추적(Multi Object Tracking : 이하 MOT) 등의 컴퓨터 비전 기술을 사용하여 검출 및 추적하며 검출한 차량의 영상을 인식부(300), 추적중인 차량이 정차할 경우 해당 차량의 영상을 위치검출부(400)로 송신한다.

상기 MOD 및 MOT를 진행하기 위해, 상기 검출추적부(200)에서는 R-CNN(Region-based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO(You Only Look Once), YOLO 9000, YOLO v3, SSD(Single Shot Multi-box Detector), Deep SORT(Simple Online and Real-Time Tracking), Hungarian(Kuhn-Munkres) 중 어느 하나 이상의 알고리즘을 사용한 MOD를 통한 객체 인식 후, BOOSTING Tracker, MIL Tracker, KCF Tracker, Median Flow Tracker, TLD Tracker, MOSSE Tracker, CSRT Tracker등의 트래커를 사용하여 다중객체의 움직임을 트래킹하며, 주차장 내 교통체증으로 인해 일시 정차중인 차량과 주차가 완료된 차량의 구분을 위하여 차량이 정차한 후, 1분 등의 일정시간이 소요된 차량의 영상을 별도로 구분하여 위치검출부(400)로 송신한다.

상기 MOD 알고리즘 중, R-CNN은 2014년 CVPR을 통해 발표된 “Rich feature hierarchies for accurate object detection and semantic segmentation Tech report (v5)”를 통해, Fast R-CNN 알고리즘은 2015년 ICCV를 통해 발표된 “Fast R-CNN”을 통해, Faster R-CNN 알고리즘은 2015년 NIPS를 통해 발표된 “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”를 통해, YOLO v1, 9000(v2포함), v3 알고리즘은 각각 2016년 CVPR에 발표된 "You Only Look Once: Unified, Real-Time Object Detection", 2017년 CVPR에 발표된 "YOLO9000: Better, Faster, Stronger", 2018년 arXiv에 발표된 “YOLOv3: An Incremental Improvement” 등을 통해, SSD는 2016년 ECCV에 발표된 “SSD: Single Shot MultiBox Detector” 등을 통해, Deep SORT는 2017년 arXiv에 발표된 “Simple Online and Realtime Tracking with a Deep Association Metric” 등을 통해, Hungarian(Kuhn-Munkres)은 2018년 arXiv에 발표된 “A Distributed Version of the Hungarian Method for Multi-Robot Assignment” 등을 통해 발표된 바 있으며, 상기 MOT를 위한 트래커 중 BOOSTING은 2006년에 발표된 Helmut Grabner et al., " Real-time tracking via on-line boosting"을 통해, MIL Tracker는 2010년에 발표된 Boris Babenko, "Robust Object Tracking with Online Multiple Instance Learning"을 통해, KCF Tracker (kernelized correlation filter)는 2014년에 발표된 Joao F. Henriques et al., "High-Speed Tracking with Kernelized Correlation Filters"를 통해, Median Flow Tracker는 2010년에 발표된 Zdenek Kalal et al., "Forward-Backward Error: Automatic Detection of Tracking Failures"를 통해, TLD Tracker(Tracking - Learning - Detection)는 2010년에 발표된 Zdenek Kalal et al., "Tracking-Learning-Detection"을 통해, MOSSE(Minimum Output Sum of Squared Error) Tracker는 2010년에 발표된 David S. Bolme et al., "Visual Object Tracking using Adaptive Correlation Filters"를 통해, CSRT Tracker는 2018년 Lukezic, A et al.의 "Correlation Filter Tracker with Channel and Spatial Reliablity"등을 통해 발표된 바 있다.

상기 인식부(300)는 상기 검출추적부(200)로부터 전달받은 입차존(102)에 진입한 차량의 영상을 분석하여 차량의 모델을 찾아내고, 그에 따른 차량 모델별 제원을 분석부(600)로 전송한다. 영상에서 차량의 모델을 분석해내기 위한 방법으로는, 전통적으로는 Clady, X., et al. 2008년 IAPR workshop on artificial neural networks in pattern recognition에서 발표한 “Multi-class vehiicle type recognition system”에 서술된 차량의 전면부 이미지에 최근접 이웃법(Nearest Neighbor) 알고리즘을 활용하여 가장 유사한 차량 모델을 탐색하는 방식, Stark, M., et al.이 2011년 International Journal of Robotics Research에서 발표한 “Fine-grained categorization for 3D scene understanding”에 서술된 DPM(Deformable Part Model) 알고리즘을 활용하는 방식 등이 있으며, 딥러닝을 활용한 방안으로는, Yang, L. 등이 2015년 IEEE에서 발표한 “A large scale car dataset for fine-grained categorization and verification”을 통해 서술된 ImageNet 데이터셋의 사전학습된 가중치를 통해 초기설정된 Overfeat 모델을 활용한 방식, Ye Xiang et al.이 2020년 IEEE에서 발표한 “Global Topology Constraint Network for Fine-Grained Vehicle Recognition”에서 서술된 다수의 CNN 레이어를 활용한 부품 검출 및 위상학적 관계를 파악하는 방식 등이 사용될 수 있다.

상기 위치검출부(400)는 상기 검출추적부(200)로부터 주차완료로 판단되는 차량의 영상을 제공받고, 해당 영상 내 차량의 위치를 검출한다. 이 때 위치검출부(400)는 도2 위치검출의 실시예와 같이 차량 하단부 테두리의 최인접 사각형 각 꼭지점의 좌표 정보를 차량의 위치로 채택한다.

상기 보정부(500)는 원근에 따른 상기 카메라(100)영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하며, 이를 위하여, 도3 보정부의 보정 실시예와 같이, 영상에서의 소실점 및 지표면을 파악하고, 해당 평면을 활용하여 homography를 통해 주차장의 평면도를 구현하며, 상기 보정부(500)에서 검출한 차량의 위치좌표(

)를 입력하여 구현된 주차장의 평면도 내에 새로이 맵핑/설정된 직교좌표계의 위치좌표(

)로 보정한다. 이 때, 상기 보정부(500)는 상기 측정표준(700)을 활용하여 각 좌표가 해당 좌표에 존재할 확률(수식 1)을 계산하며,

[수식 1]

차량 i의 하단부에 최인접한 bounding box 의 j번째 꼭지점 실제 위치의 평면도 내 좌표계로 치환된 좌표

위치를 알고있는 측정표준의 평면도 내 좌표계로 치환된 좌표

해당 산식의 값이 가장 높은 꼭지점의 정보(치환좌표, j값 및 인접 꼭지점으로의 unit vector)를 상기 분석부(600)로 전달한다

상기 분석부(600)는 상기 인식부(300)에서 전달받은 차량의 모델에 따른 차량의 제원(크기)와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량 간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 해당 결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석한다.

상기 측정표준(700)은 주차장의 지면 및/또는 주차장에 위치하는 인공구조물(입차차단기, 출차차단기, 부스 중 어느 하나 인 것)에 위치하는 하나 이상의 표식(기호, 도형, 문자 중 어느 하나 인 것)으로, 상기 보정부(500)에서 보정이 이루어지는 과정에서 확률 밀도 함수(Probability density function)를 구성하는데 있어서 정확한 정보제공을 위하여, 상기 검출추적부(200) 및 위치검출부(400)와 함께 구성되어 상기 카메라(100)가 획득한 영상에서 검출한 차량 및/또는 추적중인 차량의 크기 및 위치에 대한 정보를 확보 후 상기 보정부(500)에 제공한다.

본 발명에 따른 cctv카메라 영상을 활용한 주차현황분석 방법에 있어서 영상촬영단계(10)는 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 확보하기 위해 상기 카메라(100)를 활용하여 용이하게 구현이 가능하며, 주차장에 진입하는 차량을 검출하고 추적하는 상기 검출추적부(200), 인식부(300), 위치검출부(400), 보정부(500), 분석부(600), 측정표준(700) 등은 각각 검출추적단계(20), 차량인식단계(30), 위치검출단계(40), 차량위치보정단계(50), 주차면분석단계(60), 측정표준검출단계(70)에 대응되는 구성요소(단계)로 그 기술적 내용도 실질적으로 동일하여 상기 cctv카메라 영상을 활용한 주차현황분석 시스템에 대한 설명을 바탕으로 이 기술이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 구현할 수 있다.

100 : 카메라
200 : 검출추적부
300 : 인식부
400 : 위치검출부
500 : 보정부
600 : 분석부
700 : 측정표준

Claims (8)

1. 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 촬영하는 하나 이상의 카메라(100);
   
   상기 카메라(100)가 촬영한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적부(200);
   
   상기 검출추적부(200)가 추적중인 차량의 크기를 인식하는 인식부(300);
   
   상기 검출추적부(200)가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출부(400);
   
   원근에 따른 상기 카메라(100)영상의 실물대비 배율을 고려하여, 상기 위치검출부(400)가 검출한 차량의 위치를 보정하는 보정부(500);
   
   상기 인식부(300)가 인식한 차량의 크기와 상기 보정부(500)가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차가능 영역의 최외부 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 분석부(600);를 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
   
   
2. 상기 청구항 제1항에 있어서,
   상기 검출추적부(200) 및 위치검출부(400)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 목적으로 주차장 내에 위치하며 그 크기 및 위치를 알고있는 측정표준(700);을 추가로 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
   
3. 상기 청구항 제2항에 있어서,
   상기 측정표준(700)은 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
   
4. 상기청구항 제3항에 있어서,
   상기 표식은 기호, 도형, 문자 중 어느 하나 인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
   
5. 상기 청구항 제2항에 있어서,
   상기 측정표준(700)은 입차차단기, 출차차단기, 부스 중 어느 하나 인 것을 특징으로 하는 영상을 활용한 주차현황분석 시스템
   
6. 주차면(101)과 입차존(102)을 포함하는 주차장의 영상을 확보하는 영상촬영단계(10);
   
   상기 영상촬영단계(10)에서 획득한 영상에서 입차존(102)를 통해 주차장에 진입하는 차량을 검출하고 추적하는 검출추적단계(20);
   
   상기 검출추적단계(20)에서 검출한 차량의 크기를 인식하는 차량인식단계(30);
   
   상기 검출추적단계가 추적중인 차량이 주차면에 정지하는 경우 그 위치를 검출하는 위치검출단계(40);
   
   원근에 따른 상기 영상촬영단계(10)에서 획득한 영상의 실물대비 배율을 고려하여, 상기 위치검출단계(40)가 검출한 차량의 위치를 보정하는 차량위치보정단계(50);
   
   상기 차량인식단계(30)가 인식한 차량의 모델에 따른 차량의 크기와 상기 차량위치보정단계가 보정한 차량의 위치를 이용하여 차량간의 거리, 차량과 주차선간의 거리, 차량과 주차면 경계 간의 거리 중 어느 하나 이상을 계산하고 그 계산결과를 이용하여 추가로 주차가 가능한 주차면의 수량을 분석하는 주차면분석단계(60);를 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
   
7. 상기 청구항 제6항에 있어서,
   상기 검출추적단계(20) 및 위치검출단계(40)가 차량의 크기 및 위치를 보다 정확하게 검출하게 하기위한 측정표준검출단계(70);를 추가로 포함하여 구성되는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
   
8. 상기 청구항 제7항에 있어서,
   상기 측정표준검출단계(70)는 주차장의 지면 및/또는 주차장에 위치하는 인공구조물의 표면에 위치하는 하나 이상의 표식인 측정표준(700)을 검출하는 것을 특징으로 하는 영상을 활용한 주차현황분석 방법
   

Images