KR102311805B1 - Method for video monitoring for vehicle and human auto detection based on deep learning and Data transmission method using the same - Google Patents
Method for video monitoring for vehicle and human auto detection based on deep learning and Data transmission method using the same Download PDFInfo
- Publication number
- KR102311805B1 KR102311805B1 KR1020200034087A KR20200034087A KR102311805B1 KR 102311805 B1 KR102311805 B1 KR 102311805B1 KR 1020200034087 A KR1020200034087 A KR 1020200034087A KR 20200034087 A KR20200034087 A KR 20200034087A KR 102311805 B1 KR102311805 B1 KR 102311805B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- performance
- learning model
- image analysis
- vehicle
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000013135 deep learning Methods 0.000 title claims abstract description 9
- 230000005540 biological transmission Effects 0.000 title 1
- 238000010191 image analysis Methods 0.000 claims abstract description 97
- 238000004891 communication Methods 0.000 claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 14
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 abstract description 11
- 238000012806 monitoring device Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005336 cracking Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 시스템 및 이를 이용한 영상 모니터링 방법이 개시된다. 본 발명의 일 실시예에 따른 영상 모니터링 시스템은, 특정 영역에 대한 영상 데이터를 수집하는 영상 수집부; 영상 데이터를 기반으로 특정 영역에서 차량 또는 사람을 감지하고, 감지 결과를 텍스트 데이터로 변환하는 영상 분석부; 및 텍스트 데이터를 별도로 마련되는 영상 모니터링 서버에 전달하는 제1 통신부;를 포함한다. 이에 의해, 영상 데이터를 수집하기 위해 카메라와 같은 영상 수집 수단이 영상을 분석하고, 분석 결과를 텍스트화하여 서버에 전달함으로써, 통신망의 대역폭을 절감시킬 수 있으며, 영상 저장을 위한 스토리지의 낭비를 방지할 수 있다. 또한, 영상 수집 수단이 이용하는 영상 분석 학습 모델의 성능 검증을 주기적으로 수행하고, 성능이 임계치 미만인 경우, 새로운 영상 분석 학습 모델로 대체함으로써, 영상 수집 수단의 영상 분석 성능이 안정적으로 유지되도록 할 수 있다.An image monitoring system for automatic detection of a vehicle and human body based on deep learning and an image monitoring method using the same are disclosed. An image monitoring system according to an embodiment of the present invention includes: an image collecting unit for collecting image data for a specific area; an image analysis unit that detects a vehicle or a person in a specific area based on the image data and converts the detection result into text data; and a first communication unit that transmits text data to an image monitoring server provided separately. As a result, an image collecting means such as a camera analyzes an image to collect image data, converts the analysis result into text, and transmits it to the server, thereby reducing the bandwidth of the communication network and preventing wastage of storage for image storage can do. In addition, by periodically performing performance verification of the image analysis learning model used by the image collection means and replacing it with a new image analysis learning model when the performance is less than a threshold, the image analysis performance of the image collection means can be maintained stably. .
Description
본 발명은 영상 모니터링 시스템 및 방법에 관한 것으로, 보다 상세하게는 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 시스템 및 이를 이용한 영상 모니터링 방법에 관한 것이다. The present invention relates to an image monitoring system and method, and more particularly, to an image monitoring system for automatic detection of a vehicle and a human body based on deep learning, and an image monitoring method using the same.
도로에는 다양한 카메라가 설치되어 운용되고 있다. 가장 흔하게 볼 수 있는 과속카메라부터 교차로 신호위반 단속카메라, 이동식카메라, 주정차 금지구역단속카메라, 버스전용 차선 단속카메라, 그리고 일부 구간에 있는 가변 차로 위반 감시 카메라 교통량 측정카메라, 시골길에서 주로 볼 수 있는 방범용 카메라 등 다수의 CCTV가 운용되고 있다.Various cameras have been installed and operated on the road. From the most commonly seen speed cameras, to intersection signal enforcement cameras, mobile cameras, no-parking zone enforcement cameras, bus lane enforcement cameras, and variable lane violation monitoring cameras in some sections, traffic measurement cameras, A number of CCTV cameras, including security cameras, are in operation.
일반적으로 과속카메라는 속도위반 차량만을 단속하기 위한 정지화상 카메라로 구성되며, 구간별 도로의 차량 소통량을 감시하기 위한 감시카메라 교통량 측정카메라는 동영상 녹화 카메라로 구성되고, 유료 도로를 주행하는 차량에 관해 통행요금을 징수하거나 방법용으로 주차장, 도로 및 상점을 실시간 모니터링하기 위한 카메라로는 CCTV(Closed-Circuit Television)가 설치 구성된다.In general, a speed camera consists of a still image camera for cracking down on speed-violating vehicles only, and a surveillance camera for monitoring vehicle traffic on the road by section, and a traffic volume measurement camera, consists of a video recording camera. CCTV (Closed-Circuit Television) is installed and configured as a camera for real-time monitoring of parking lots, roads and shops for toll collection or method.
이러한 도로 상의 다양한 카메라들은 도로를 통행하는 차량 및 도로상황을 영상으로 기록저장하기 위해 촬영된 영상들을 Ethernet 망 등을 이용하여 서버에 전달하고, 영상 분석 서버에 영상에 대한 영상 처리를 수행하여, 촬영된 영역 내에서 차량 또는 사람을 감지하고 차량의 과속, 신호위반, 주정차 위반, 버스전용 차선 위반 여부 등을 판단하게 된다. These various cameras on the road transmit the captured images to a server using an Ethernet network to record and store vehicles passing on the road and road conditions as images, process the images on the image analysis server, and shoot It detects a vehicle or a person within the designated area and judges whether the vehicle is speeding, signal violation, parking violation, bus lane violation, etc.
이에, 기존의 영상 분석 서버는 영상을 수신하여 분석하기 위해, 큰 대역폭의 통신망과 영상 저장을 위한 스토리지가 필요하다는 문제점이 존재한다.Accordingly, there is a problem that the existing image analysis server requires a large bandwidth communication network and storage for image storage in order to receive and analyze an image.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은, 영상 데이터를 수집하기 위해 카메라와 같은 영상 수집 수단이 영상을 분석하고, 분석 결과를 텍스트화하여 서버에 전달하는 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 시스템 및 이를 이용한 영상 모니터링 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to analyze an image by an image collecting means such as a camera to collect image data, and to convert the analysis result into text and deliver it to the server. An object of the present invention is to provide an image monitoring system for automatic detection of a running-based vehicle and human body, and an image monitoring method using the same.
본 발명의 다른 목적은, 영상 수집 수단의 영상 분석 성능이 안정적으로 유지되도록, 영상 수집 수단이 이용하는 영상 분석 학습 모델의 성능 검증을 주기적으로 수행하고, 성능이 임계치 미만인 경우, 새로운 영상 분석 학습 모델로 대체할 수 있는 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 시스템 및 이를 이용한 영상 모니터링 방법을 제공함에 있다.Another object of the present invention is to periodically perform performance verification of the image analysis learning model used by the image collection means so that the image analysis performance of the image collection means is stably maintained, and if the performance is less than a threshold, a new image analysis learning model It is to provide an image monitoring system for automatic detection of an alternative deep learning-based vehicle and human body, and an image monitoring method using the same.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 모니터링 시스템은, 특정 영역에 대한 영상 데이터를 수집하는 영상 수집부; 영상 데이터를 기반으로 특정 영역에서 차량 또는 사람을 감지하고, 감지 결과를 텍스트 데이터로 변환하는 영상 분석부; 및 텍스트 데이터를 별도로 마련되는 영상 모니터링 서버에 전달하는 제1 통신부;를 포함한다.An image monitoring system according to an embodiment of the present invention for achieving the above object includes: an image collecting unit for collecting image data for a specific area; an image analysis unit that detects a vehicle or a person in a specific area based on the image data and converts the detection result into text data; and a first communication unit that transmits text data to an image monitoring server provided separately.
그리고 제1 통신부는, IoT 통신을 위하여, 로라(LoRa) 통신모듈이 구비된다. And the first communication unit is provided with a LoRa communication module for IoT communication.
또한, 영상 분석부는, 영상 데이터가 입력되면, 딥러닝을 기반으로 학습된 영상 분석 학습 모델을 이용하여 차량 또는 사람을 감지할 수 있다.Also, when image data is input, the image analyzer may detect a vehicle or a person using an image analysis learning model learned based on deep learning.
그리고 본 실시예에 따른 영상 모니터링 시스템은, 영상 모니터링 서버의 요청 시, 영상 데이터를 전달하는 영상 모니터링 서버에 전달하는 제2 통신부;를 더 포함할 수 있다.In addition, the video monitoring system according to the present embodiment may further include a second communication unit that transmits the video data to the video monitoring server that transmits the video data when the video monitoring server requests it.
또한, 영상 분석부는, 제2 통신부를 통해 영상 모니터링 서버로부터 표준 영상 데이터를 수신하고, 수신된 표준 영상 데이터를 이용하여 학습된 영상 분석 학습 모델의 성능을 검증할 수 있다.In addition, the image analysis unit may receive standard image data from the image monitoring server through the second communication unit, and verify the performance of the image analysis learning model learned by using the received standard image data.
그리고 영상 분석부는, 표준 영상 데이터를 이용하여 검증된 영상 분석 학습 모델의 성능이 임계치 미만인 경우, 성능이 임계치 미만인 영상 분석 학습 모델을 폐기하고, 영상 모니터링 서버로부터 새로운 영상 분석 학습 모델을 수신할 수 있다.And the image analysis unit, when the performance of the image analysis learning model verified using the standard image data is less than the threshold, discard the image analysis learning model whose performance is less than the threshold, and receive a new image analysis learning model from the image monitoring server. .
또한, 영상 모니터링 서버는, 복수의 영상 분석 학습 모델을 학습시킨 후, 기설정된 항목별 성능을 비교하여, 항목별로 성능이 가장 높은 영상 분석 학습 모델을 분리하여 저장하고, 기설정된 항목별 성능은, 유동량 분석 성능, 차량 속도 산출 성능, 차량 밀집도 산출 성능 및 차량 종류 분류 성능 중 적어도 둘 이상이 포함될 수 있다.In addition, the image monitoring server, after learning a plurality of image analysis learning models, compares the performance for each preset item, separates and stores the image analysis learning model with the highest performance for each item, and the performance for each preset item is, At least two or more of a flow amount analysis performance, a vehicle speed calculation performance, a vehicle density calculation performance, and a vehicle type classification performance may be included.
그리고 영상 모니터링 서버는, 표준 영상 데이터를 이용하여 검증된 영상 분석 학습 모델의 성능이 임계치 미만인 영상 분석부에 성능이 가장 높은 영상 분석 학습 모델을 전달하되, 영상 분석부가 설치된 영역의 지리적 특징 또는 관리자의 요청 및 설정에 따라 기설정된 항목별 성능 중 우선순위가 부가된 경우, 우선순위가 부가된 성능이 가장 높은 영상 분석 학습 모델을 전달할 수 있다.And the image monitoring server delivers the image analysis learning model with the highest performance to the image analysis unit where the performance of the image analysis learning model verified using standard image data is less than the threshold, but geographical features of the area where the image analysis unit is installed or the manager's When a priority is added among the performances for each preset item according to a request and a setting, the image analysis learning model having the highest performance to which the priority is added may be delivered.
이때, 영상 분석 학습 모델은, 컨볼루션 신경망(CNN) 또는 순환 신경망(RNN)을 이용하는 학습 모델일 수 있다.In this case, the image analysis learning model may be a learning model using a convolutional neural network (CNN) or a recurrent neural network (RNN).
한편, 본 발명의 일 실시예에 따른 영상 모니터링 방법은, 영상 수집부가, 특정 영역에 대한 영상 데이터를 수집하는 단계; 영상 분석부가, 영상 데이터를 기반으로 특정 영역에서 차량 또는 사람을 감지하고, 감지 결과를 텍스트 데이터로 변환하는 단계; 및 제1 통신부가, 텍스트 데이터를 별도로 마련되는 영상 모니터링 서버에 전달하는 단계;를 포함한다. On the other hand, the image monitoring method according to an embodiment of the present invention, the image collecting unit, collecting image data for a specific area; detecting, by an image analysis unit, a vehicle or a person in a specific area based on the image data, and converting the detection result into text data; and transmitting, by the first communication unit, the text data to an image monitoring server provided separately.
이에 의해, 영상 데이터를 수집하기 위해 카메라와 같은 영상 수집 수단이 영상을 분석하고, 분석 결과를 텍스트화하여 서버에 전달함으로써, 통신망의 대역폭을 절감시킬 수 있으며, 영상 저장을 위한 스토리지의 낭비를 방지할 수 있다. As a result, an image collecting means such as a camera analyzes an image to collect image data, converts the analysis result into text, and transmits it to the server, thereby reducing the bandwidth of the communication network and preventing wastage of storage for image storage can do.
또한, 영상 수집 수단이 이용하는 영상 분석 학습 모델의 성능 검증을 주기적으로 수행하고, 성능이 임계치 미만인 경우, 새로운 영상 분석 학습 모델로 대체함으로써, 영상 수집 수단의 영상 분석 성능이 안정적으로 유지되도록 할 수 있다.In addition, by periodically performing performance verification of the image analysis learning model used by the image collection means and replacing it with a new image analysis learning model when the performance is less than a threshold, the image analysis performance of the image collection means can be maintained stably. .
도 1은 본 발명의 일 실시예에 따른 영상 모니터링 시스템의 설명에 제공된 도면,
도 2는 본 발명의 일 실시예에 따른 영상 모니터링 장치의 더욱 상세한 설명에 제공된 도면,
도 3은 본 발명의 일 실시예에 따른 영상 모니터링 서버의 더욱 상세한 설명에 제공된 도면,
도 4는 본 발명의 일 실시예에 따른 영상 모니터링 방법의 설명에 제공된 흐름도, 그리고
도 5는 본 발명의 일 실시예에 따른 영상 모니터링 방법의 더욱 상세한 설명에 제공된 도면이다. 1 is a view provided for the description of an image monitoring system according to an embodiment of the present invention;
2 is a view provided for a more detailed description of an image monitoring apparatus according to an embodiment of the present invention;
3 is a view provided for a more detailed description of a video monitoring server according to an embodiment of the present invention;
4 is a flowchart provided for explaining an image monitoring method according to an embodiment of the present invention, and
5 is a diagram provided for a more detailed description of an image monitoring method according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.Hereinafter, the present invention will be described in more detail with reference to the drawings. The embodiments introduced below are provided as examples in order to sufficiently convey the spirit of the present invention to those of ordinary skill in the art to which the present invention pertains. The present invention is not limited to the embodiments described below and may be embodied in other forms.
도 1은 본 발명의 일 실시예에 따른 영상 모니터링 시스템의 설명에 제공된 도면이다.1 is a diagram provided to explain an image monitoring system according to an embodiment of the present invention.
도 1을 참조하면, 본 실시예에 따른 영상 모니터링 시스템은, 복수로 마련되되, 차량 또는 사람을 감지하고자 영역별로 각각 설치되어, 영상 데이터를 수집하여 분석하고, 분석 결과를 텍스트화하는 영상 모니터링 장치(100)와 영상 모니터링 장치(100)로부터 분석 결과가 텍스트화된 텍스트 데이터를 수신하는 모니터링 서버(200)로 구성될 수 있다.Referring to FIG. 1 , the image monitoring system according to the present embodiment is provided in plurality, and each is installed for each area to detect a vehicle or a person, collects and analyzes image data, and converts the analysis result into text. 100 and the
이때, 복수의 영상 모니터링 장치(100)와 영상 모니터링 서버(200)는, 텍스트 데이터를 로라(LoRa) 통신망을 이용하여 송수신할 수 있으며, 모니터링 서버(200)의 요청 시, 각각의 영상 모니터링 장치(100)는 이더넷(Ethernet) 망 또는 LTE, 5G 등을 이용하여 개별적으로 영상 데이터를 모니터링 서버(200)에 전달할 수 있다. At this time, the plurality of
영상 모니터링 장치(100)는 영상 데이터를 저장하는 저장 수단의 저장 용량이 제한됨에 따라, 주기적으로 영상 데이터를 삭제하게 되며, 영상 데이터 삭제시에는, 분석 결과가 텍스트 데이터로 변환된 영상 데이터 중 수집 시기가 가정 오래된 영상 데이터부터 차례대로 삭제될 수 있다. As the storage capacity of the storage means for storing the image data is limited, the
영상 모니터링 서버(200)는, 영상 분석 학습 모델을 학습시켜 각각의 영상 모니터링 장치(100)에 제공하고, 각각의 영상 모니터링 장치(100)에서 이용 중인 영상 분석 학습 모델의 성능 검증을 위해, 성능 검증에 이용 가능한 표준 영상 데이터를 생성하여 각각의 영상 모니터링 장치(100)에 전달할 수 있다. The
또한, 영상 모니터링 서버(200)는, 성능 검증 결과, 임계치 미만으로 판별되는 영상 분석 학습 모델을 새로운 영상 분석 학습 모델로 갱신시키기 위해, 임계치 미만으로 판별되는 영상 분석 학습 모델을 이용 중인 영상 모니터링 장치(100)에 새로운 영상 분석 학습 모델을 전달할 수 있다.In addition, the
그리고 영상 모니터링 서버(200)는, 복수의 영상 분석 학습 모델을 학습시킨 후, 기설정된 항목별 성능을 비교하여, 항목별로 성능이 가장 높은 영상 분석 학습 모델을 분리하여 저장하고, 영상 분석 학습 모델의 성능이 임계치 미만인 영상 분석부(120)에 성능이 가장 높은 영상 분석 학습 모델을 전달할 수 있다.And the
이때, 기설정된 항목별 성능은, 유동량 분석 성능, 차량 속도 산출 성능, 차량 밀집도 산출 성능 및 차량 종류 분류 성능 중 적어도 둘 이상이 포함될 수 있다. In this case, the preset performance for each item may include at least two or more of a flow amount analysis performance, a vehicle speed calculation performance, a vehicle density calculation performance, and a vehicle type classification performance.
예를 들면, 영상 모니터링 서버(200)는, 영상 분석부(120)가 설치된 영역의 지리적 특징 또는 관리자의 요청 및 설정에 따라 기설정된 항목별 성능 중 우선순위가 부가된 경우, 우선순위가 부가된 성능이 가장 높은 영상 분석 학습 모델을 전달할 수 있다. For example, the
도 2는 본 발명의 일 실시예에 따른 영상 모니터링 장치(100)의 더욱 상세한 설명에 제공된 도면이다.2 is a view provided for a more detailed description of the
본 실싱에 따른 영상 모니터링 장치(100)는 영상 데이터를 수집하여 분석하고, 분석 결과를 텍스트화하여 영상 모니터링 서버(200)에 전달하기 위해, 영상 수집부(110), 영상 분석부(120), 제1 통신부(130), 제2 통신부(140) 및 제1 저장부(150)를 포함할 수 있다.The
영상 수집부(110)는 카메라와 같은 촬영 수단으로 구현되어, 특정 영역의 영상 데이터를 수집할 수 있다.The
영상 분석부(120)는, 영상 데이터를 기반으로 특정 영역에서 차량 또는 사람을 감지하고, 감지 결과를 텍스트 데이터로 변환시킬 수 있다.The
구체적으로, 영상 분석부(120)는, 영상 데이터가 입력되면, 컨볼루션 신경망(CNN) 또는 순환 신경망(RNN)과 같은 딥러닝을 기반으로 학습된 영상 분석 학습 모델을 이용하여 차량 또는 사람을 감지하고, 감지 결과를 텍스트 데이터로 변환시킬 수 있다.Specifically, when image data is input, the
또한, 영상 분석부(120)는, 영상 분석 학습 모델을 이용하여 차량 또는 사람의 유동량 분석, 차량 속도 산출, 차량 밀집도 산출 및 차량 종류 분류 등을 수행할 수 있다. Also, the
제1 통신부(130)는, 로라(LoRa) 통신모듈이 구비되어, 텍스트 데이터를 별도로 마련되는 영상 모니터링 서버(200)에 전달할 수 있으며, 제2 통신부(140)는, 이더넷(Ethernet) 망 또는 LTE, 5G 등을 이용하는 무선 통신모듈이 구비되어, 영상 모니터링 서버(200)의 요청 시, 영상 데이터를 전달하는 영상 모니터링 서버(200)에 전달할 수 있다. The
제1 저장부(150)는, 영상 분석부(120)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하기 위한 저장매체로서, 수집된 영상 데이터 및 영상 분석에 이용되는 영상 분석 학습 모델 등이 저장된다, The
도 3은 본 발명의 일 실시예에 따른 영상 모니터링 서버(200)의 더욱 상세한 설명에 제공된 도면이다.3 is a diagram provided for a more detailed description of the
본 실시예에 따른 영상 모니터링 서버(200)는, 영상 분석 학습 모델을 학습시켜 각각의 영상 모니터링 장치(100)에 제공하고, 영상 분석 학습 모델의 성능 검증에 이용 가능한 표준 영상 데이터를 생성하여 각각의 영상 모니터링 장치(100)에 전달하고, 성능 검증 결과, 임계치 미만으로 판별되는 영상 분석 학습 모델을 새로운 영상 분석 학습 모델로 갱신시키기 위해, 임계치 미만으로 판별되는 영상 분석 학습 모델을 이용 중인 영상 모니터링 장치(100)에 새로운 영상 분석 학습 모델을 전달할 수 있다.The
이를 위해, 영상 모니터링 서버(200)는, 제3 통신부(210), 제4 통신부(220), 프로세서(230) 및 제2 저장부(240)를 포함할 수 있다.To this end, the
제3 통신부(210)는, 로라(LoRa) 통신모듈이 구비되어, 로라(LoRa) 통신 방식으로 제1 통신부(130)와 연결되어, 텍스트 데이터를 수신할 수 있다. The
구체적으로, 제1 통신부(130)와 제3 통신부(210) 간에는 IoT 플랫폼이 마련되어, 이벤트를 감지하거나 기설정된 주기가 도래할 때마다, IoT 플랫폼을 거쳐 텍스트 데이터의 송수신이 수행될 수 있다. Specifically, an IoT platform is provided between the
제4 통신부(220)는, 이더넷(Ethernet) 망 또는 LTE, 5G 등을 이용하는 무선 통신모듈이 구비되어, 영상 모니터링 장치(100)로부터 영상을 수신하거나 영상 모니터링 장치(100)에 표준 영상 데이터 및 영상 분석 학슴 모델을 전달할 수 있다. The
프로세서(230)는, 영상 분석 학습 모델을 학습시켜 각각의 영상 모니터링 장치(100)에 제공하고, 영상 분석 학습 모델의 성능 검증에 이용 가능한 표준 영상 데이터를 생성할 수 있다. The
그리고 프로세서(230)는, 성능 검증 결과, 임계치 미만으로 판별되는 영상 분석 학습 모델을 이용 중인 영상 모니터링 장치(100)에 새로운 영상 분석 학습 모델이 전달되도록 할 수 있다.In addition, the
제2 저장부(240)는, 프로세서(230)가 동작함에 있어 필요한 프로그램 및 데이터를 저장할 수 있는 저장매체이다. The
도 4는 본 발명의 일 실시예에 따른 영상 모니터링 방법의 설명에 제공된 흐름도이다.4 is a flowchart provided to explain an image monitoring method according to an embodiment of the present invention.
본 실시에에 따른 영상 모니터링 방법은, 영상 모니터링 장치(100)가 특정 영역에 대한 영상 데이터를 수집하면(S410), 딥러닝 기반의 영상 분석 학습 모델을 이용하여 수집된 영상 데이터를 직접 분석하여, 영상 데이터를 기반으로 특정 영역에서 차량 또는 사람을 감지하고, 차량 또는 사람의 유동량 분석, 차량 속도 산출, 차량 밀집도 산출 및 차량 종류 분류 등을 수행하여, 분석 결과를 텍스트 데이터로 변환할 수 있다(S420). In the image monitoring method according to the present embodiment, when the
그리고 영상 모니터링 장치(100)가 변환된 텍스트 데이터를 영상 모니터링 서버(200)에 전달함으로써(S430), 영상 모니터링 장치(100)와 영상 모니터링 서버(200) 간 통신망의 대역폭을 절감시킬 수 있으며, 영상 모니터링 서버(200)의 스토리지의 낭비를 방지할 수 있다. And by transmitting the converted text data to the
도 5는 본 발명의 일 실시예에 따른 영상 모니터링 방법의 더욱 상세한 설명에 제공된 도면이다. 5 is a diagram provided for a more detailed description of an image monitoring method according to an embodiment of the present invention.
본 실시에에 따른 영상 모니터링 방법은, 전술한 바와 같이 영상 모니터링 장치(100)가 영상 데이터의 분석 결과를 텍스트 데이터로 변환하여 영상 모니터링 서버(200)에 전달할 뿐만 아니라 추가적으로 영상 수집 수단이 이용하는 영상 분석 학습 모델의 성능 검증을 주기적으로 수행하고, 성능이 임계치 미만인 경우, 새로운 영상 분석 학습 모델로 대체되도록 할 수 있다.In the image monitoring method according to the present embodiment, as described above, the
구체적으로, 영상 모니터링 서버(200)는, 각각의 영상 모니터링 장치(100)에서 이용 중인 영상 분석 학습 모델의 성능 검증에 이용 가능한 표준 영상 데이터를 생성하여 각각의 영상 모니터링 장치(100)에 전달할 수 있다(S510). Specifically, the
표준 영상 데이터가 수신되면, 영상 모니터링 장치(100)는, 수신된 표준 영상 데이터를 이용하여 학습된 영상 분석 학습 모델의 성능을 검증하게 된다(S520).When the standard image data is received, the
그리고 영상 모니터링 장치(100)는, 표준 영상 데이터를 이용하여 검증된 영상 분석 학습 모델의 성능이 임계치 미만인 경우(S530-Yes), 성능이 임계치 미만인 영상 분석 학습 모델을 폐기하고(S540), 영상 모니터링 서버(200)로부터 새로운 영상 분석 학습 모델을 수신하게 된다(S550). And the
즉, 영상 모니터링 장치(100)는, 임계치 미만으로 판별되는 영상 분석 학습 모델을 새로운 영상 분석 학습 모델로 갱신시켜, 영상 수집 수단의 영상 분석 성능이 안정적으로 유지되도록 할 수 있다.That is, the
또한, 영상 모니터링 서버(200)는, 복수의 영상 분석 학습 모델을 학습시킨 후, 유동량 분석 성능, 차량 속도 산출 성능, 차량 밀집도 산출 성능 및 차량 종류 분류 성능 중 적어도 둘 이상을 비교하여, 항목별로 성능이 가장 높은 영상 분석 학습 모델을 분리하여 저장하고, 영상 분석 학습 모델의 성능이 임계치 미만인 영상 분석부(120)에 성능이 가장 높은 영상 분석 학습 모델을 전달할 수 있다.In addition, the
예를 들면, 영상 모니터링 서버(200)는, 영상 분석부(120)가 설치된 영역의 지리적 특징 또는 관리자의 요청 및 설정에 따라 유동량 분석 성능, 차량 속도 산출 성능, 차량 밀집도 산출 성능 및 차량 종류 분류 성능 중 우선순위가 부가된 경우, 우선순위가 부가된 성능이 가장 높은 영상 분석 학습 모델을 전달할 수 있다. For example, the
이를 통해, 각각의 영상 모니터링 장치(100)는, 설치된 영역의 지리적 특징 또는 관리자의 요청 및 설정 등이 반영되어, 우선적으로 필요한 분석 성능이 가장 우수한 영상 분석 학습 모델을 이용할 수 있다.Through this, each
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
100 : 영상 모니터링 장치
110 : 영상 수집부
120 : 영상 분석부
130 : 제1 통신부
140 : 제2 통신부
150 : 제1 저장부
200 : 영상 모니터링 서버
210 : 제3 통신부
220 : 제4 통신부
230 : 프로세서
240 : 제2 저장부100: video monitoring device
110: image collection unit
120: image analysis unit
130: first communication unit
140: second communication unit
150: first storage unit
200: video monitoring server
210: third communication unit
220: fourth communication unit
230: processor
240: second storage unit
Claims (10)
영상 데이터를 기반으로 특정 영역에서 차량 또는 사람을 감지하고, 감지 결과를 텍스트 데이터로 변환하는 영상 분석부;
텍스트 데이터를 별도로 마련되는 영상 모니터링 서버에 전달하는 제1 통신부; 및
영상 모니터링 서버의 요청 시, 영상 데이터를 전달하는 영상 모니터링 서버에 전달하는 제2 통신부;를 포함하고,
영상 분석부는,
영상 데이터가 입력되면, 딥러닝을 기반으로 학습된 영상 분석 학습 모델을 이용하여 차량 또는 사람을 감지하며,
영상 분석부는,
제2 통신부를 통해 영상 모니터링 서버로부터 표준 영상 데이터를 수신하고, 수신된 표준 영상 데이터를 이용하여 학습된 영상 분석 학습 모델의 성능을 검증하며,
영상 분석부는,
표준 영상 데이터를 이용하여 검증된 영상 분석 학습 모델의 성능이 임계치 미만인 경우, 성능이 임계치 미만인 영상 분석 학습 모델을 폐기하고, 영상 모니터링 서버로부터 새로운 영상 분석 학습 모델을 수신하고,
영상 모니터링 서버는,
복수의 영상 분석 학습 모델을 학습시킨 후, 기설정된 항목별 성능을 비교하여, 항목별로 성능이 가장 높은 영상 분석 학습 모델을 분리하여 저장하고,
기설정된 항목별 성능은,
유동량 분석 성능, 차량 속도 산출 성능, 차량 밀집도 산출 성능 및 차량 종류 분류 성능 중 적어도 둘 이상이 포함되는 것을 특징으로 하는 영상 모니터링 시스템.
an image collecting unit that collects image data for a specific region;
an image analysis unit that detects a vehicle or a person in a specific area based on the image data and converts the detection result into text data;
a first communication unit for transmitting text data to a separately provided image monitoring server; and
When the video monitoring server requests, a second communication unit for transmitting the video data to the video monitoring server that transmits; includes,
video analysis unit,
When image data is input, it detects a vehicle or a person using an image analysis learning model learned based on deep learning,
video analysis unit,
Receive standard image data from the image monitoring server through the second communication unit, and verify the performance of the image analysis learning model learned using the received standard image data,
video analysis unit,
If the performance of the image analysis learning model verified using standard image data is less than the threshold, discard the image analysis learning model whose performance is less than the threshold, and receive a new image analysis learning model from the image monitoring server,
video monitoring server,
After training a plurality of image analysis learning models, the performance of each preset item is compared, and the image analysis learning model with the highest performance for each item is separated and stored,
The performance of each preset item is,
An image monitoring system, characterized in that at least two or more of a flow rate analysis performance, a vehicle speed calculation performance, a vehicle density calculation performance, and a vehicle type classification performance are included.
제1 통신부는,
IoT 통신을 위하여, 로라(LoRa) 통신모듈이 구비되는 것을 특징으로 하는 영상 모니터링 시스템.
The method according to claim 1,
The first communication unit,
For IoT communication, a video monitoring system characterized in that a LoRa communication module is provided.
영상 모니터링 서버는,
표준 영상 데이터를 이용하여 검증된 영상 분석 학습 모델의 성능이 임계치 미만인 영상 분석부에 성능이 가장 높은 영상 분석 학습 모델을 전달하되,
영상 분석부가 설치된 영역의 지리적 특징 또는 관리자의 요청 및 설정에 따라 기설정된 항목별 성능 중 우선순위가 부가된 경우, 우선순위가 부가된 성능이 가장 높은 영상 분석 학습 모델을 전달하는 것을 특징으로 하는 영상 모니터링 시스템.
The method according to claim 1,
video monitoring server,
The image analysis learning model with the highest performance is delivered to the image analysis unit whose performance of the image analysis learning model verified using standard image data is less than the threshold,
An image characterized in that when a priority is added among the performance for each preset item according to the geographic feature of the area where the image analysis unit is installed or the manager's request and setting, the image analysis learning model with the highest performance to which the priority is added is delivered monitoring system.
영상 분석 학습 모델은,
컨볼루션 신경망(CNN) 또는 순환 신경망(RNN)을 이용하는 학습 모델인 것을 특징으로 하는 영상 모니터링 시스템.
The method according to claim 1,
The video analysis learning model is,
An image monitoring system, characterized in that it is a learning model using a convolutional neural network (CNN) or a recurrent neural network (RNN).
영상 분석부가, 영상 데이터를 기반으로 특정 영역에서 차량 또는 사람을 감지하고, 감지 결과를 텍스트 데이터로 변환하는 단계;
제1 통신부가, 텍스트 데이터를 별도로 마련되는 영상 모니터링 서버에 전달하는 단계; 및
제2 통신부가, 영상 모니터링 서버의 요청 시, 영상 데이터를 전달하는 영상 모니터링 서버에 전달하는 단계;를 포함하고,
영상 분석부는,
영상 데이터가 입력되면, 딥러닝을 기반으로 학습된 영상 분석 학습 모델을 이용하여 차량 또는 사람을 감지하며,
영상 분석부는,
제2 통신부를 통해 영상 모니터링 서버로부터 표준 영상 데이터를 수신하고, 수신된 표준 영상 데이터를 이용하여 학습된 영상 분석 학습 모델의 성능을 검증하며,
영상 분석부는,
표준 영상 데이터를 이용하여 검증된 영상 분석 학습 모델의 성능이 임계치 미만인 경우, 성능이 임계치 미만인 영상 분석 학습 모델을 폐기하고, 영상 모니터링 서버로부터 새로운 영상 분석 학습 모델을 수신하고,
영상 모니터링 서버는,
복수의 영상 분석 학습 모델을 학습시킨 후, 기설정된 항목별 성능을 비교하여, 항목별로 성능이 가장 높은 영상 분석 학습 모델을 분리하여 저장하고,
기설정된 항목별 성능은,
유동량 분석 성능, 차량 속도 산출 성능, 차량 밀집도 산출 성능 및 차량 종류 분류 성능 중 적어도 둘 이상이 포함되는 것을 특징으로 하는 영상 모니터링 방법.collecting, by the image collecting unit, image data for a specific region;
detecting, by an image analysis unit, a vehicle or a person in a specific area based on the image data, and converting the detection result into text data;
transmitting, by the first communication unit, text data to an image monitoring server provided separately; and
Including, by the second communication unit, when the request of the video monitoring server, the video monitoring server for transmitting the video data;
video analysis unit,
When image data is input, it detects a vehicle or a person using an image analysis learning model learned based on deep learning,
video analysis unit,
Receive standard image data from the image monitoring server through the second communication unit, and verify the performance of the image analysis learning model learned using the received standard image data,
video analysis unit,
If the performance of the image analysis learning model verified using standard image data is less than the threshold, discard the image analysis learning model whose performance is less than the threshold, and receive a new image analysis learning model from the image monitoring server,
video monitoring server,
After training a plurality of image analysis learning models, by comparing the performance of each preset item, the image analysis learning model with the highest performance for each item is separated and stored,
The performance of each preset item is,
An image monitoring method, characterized in that at least two or more of a flow amount analysis performance, a vehicle speed calculation performance, a vehicle density calculation performance, and a vehicle type classification performance are included.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200034087A KR102311805B1 (en) | 2020-03-19 | 2020-03-19 | Method for video monitoring for vehicle and human auto detection based on deep learning and Data transmission method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200034087A KR102311805B1 (en) | 2020-03-19 | 2020-03-19 | Method for video monitoring for vehicle and human auto detection based on deep learning and Data transmission method using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210117637A KR20210117637A (en) | 2021-09-29 |
KR102311805B1 true KR102311805B1 (en) | 2021-10-12 |
Family
ID=77925086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200034087A KR102311805B1 (en) | 2020-03-19 | 2020-03-19 | Method for video monitoring for vehicle and human auto detection based on deep learning and Data transmission method using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102311805B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114743163B (en) * | 2022-04-29 | 2023-02-10 | 北京容联易通信息技术有限公司 | Video intelligent monitoring algorithm architecture method and system based on deep learning |
CN115578862B (en) * | 2022-10-26 | 2023-09-19 | 中国建设基础设施有限公司 | Traffic flow conversion method, device, computing equipment and storage medium |
CN117690303B (en) * | 2024-02-04 | 2024-04-26 | 四川三元环境治理股份有限公司 | Noise early warning system, device and early warning method based on traffic data acquisition |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101350882B1 (en) * | 2012-05-21 | 2014-01-16 | 전자부품연구원 | Server for analysing video |
KR101850286B1 (en) * | 2017-06-27 | 2018-04-19 | 한국기술교육대학교 산학협력단 | A deep learning based image recognition method for CCTV |
KR101942491B1 (en) * | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | Hybrid ai cctv mediation module device consisting of road traffic situation monitoring and real time traffic information analysis |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101438492B1 (en) | 2013-05-14 | 2014-09-12 | 서울여자대학교 산학협력단 | System for recognizing video using violation car detection and method therefor |
KR101967610B1 (en) | 2018-07-27 | 2019-08-13 | 주식회사 위드텍 | Multi lane monitoring system that can recognize vehicle velocity and license plate number of multi lane |
-
2020
- 2020-03-19 KR KR1020200034087A patent/KR102311805B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101350882B1 (en) * | 2012-05-21 | 2014-01-16 | 전자부품연구원 | Server for analysing video |
KR101850286B1 (en) * | 2017-06-27 | 2018-04-19 | 한국기술교육대학교 산학협력단 | A deep learning based image recognition method for CCTV |
KR101942491B1 (en) * | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | Hybrid ai cctv mediation module device consisting of road traffic situation monitoring and real time traffic information analysis |
Also Published As
Publication number | Publication date |
---|---|
KR20210117637A (en) | 2021-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102311805B1 (en) | Method for video monitoring for vehicle and human auto detection based on deep learning and Data transmission method using the same | |
CN112348992B (en) | Vehicle-mounted video processing method and device based on vehicle-road cooperative system and storage medium | |
US7630515B2 (en) | Method of and apparatus for setting image-capturing conditions, and computer program | |
CN102945603B (en) | Method for detecting traffic event and electronic police device | |
CN113706737B (en) | Road surface inspection system and method based on automatic driving vehicle | |
US10203217B2 (en) | Traffic citation delivery based on type of traffic infraction | |
CN111105621B (en) | Method and device for detecting illegal parking | |
CN103150899B (en) | The monitoring method of Traffic Information, Apparatus and system | |
US20110309950A1 (en) | Method and system for traffic condition detection | |
CN103268703A (en) | Snapshot system for bus lane | |
KR101626377B1 (en) | A system for detecting car being violated parking and stopping of based on big date using CCTV camera and black box vehicle | |
KR101678004B1 (en) | node-link based camera network monitoring system and method of monitoring the same | |
CN110288823B (en) | Traffic violation misjudgment identification method based on naive Bayesian network | |
WO2022127273A1 (en) | Wifi 6-based method and system for acquiring traffic information | |
US11948373B2 (en) | Automatic license plate recognition | |
CN111898485A (en) | Parking space vehicle detection processing method and device | |
KR101542564B1 (en) | system for managing traffic based on zone classified architecture | |
CN114078319A (en) | Method and device for detecting potential hazard site of traffic accident | |
CN116128360A (en) | Road traffic congestion level evaluation method and device, electronic equipment and storage medium | |
KR102309106B1 (en) | Situation linkage type image analysis device | |
CN112447042B (en) | Traffic incident detection system and method | |
CN101540102A (en) | Device and method for detecting vehicle illegal road occupation | |
CN111898434B (en) | Video detection and analysis system | |
CN113850112A (en) | Road condition identification method and system based on twin neural network | |
CN113850111A (en) | Road condition identification method and system based on semantic segmentation and neural network technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |