KR102247112B1 - Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof - Google Patents

Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof Download PDF

Info

Publication number
KR102247112B1
KR102247112B1 KR1020200187351A KR20200187351A KR102247112B1 KR 102247112 B1 KR102247112 B1 KR 102247112B1 KR 1020200187351 A KR1020200187351 A KR 1020200187351A KR 20200187351 A KR20200187351 A KR 20200187351A KR 102247112 B1 KR102247112 B1 KR 102247112B1
Authority
KR
South Korea
Prior art keywords
camera
edge computing
image frames
computing module
cameras
Prior art date
Application number
KR1020200187351A
Other languages
Korean (ko)
Inventor
이형각
김영창
Original Assignee
주식회사세오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사세오 filed Critical 주식회사세오
Priority to KR1020200187351A priority Critical patent/KR102247112B1/en
Application granted granted Critical
Publication of KR102247112B1 publication Critical patent/KR102247112B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Disclosed is an operating method of an edge computing-based artificial intelligence image monitoring system in a hazardous area including a plurality of IP cameras and a server capable of communicating with the plurality of IP cameras through a network, wherein each of the plurality of IP cameras includes an edge computing module and a camera module. The operating method of the image monitoring system comprises the steps of: transmitting location coordinates of the IP camera to a server; receiving a group ID; receiving image frames; selecting image frames in which an object is detected; calculating a first energy of the object; determining whether the calculated first energy is greater than a certain threshold; transmitting a transmission request signal of a plurality of image frames; receiving a transmittable signal; and transmitting the plurality of image frames to another IP camera.

Description

위험 지역에서의 엣지 컴퓨팅 기반의 IP 카메라, 이를 포함하는 인공지능 영상 감시 시스템, 및 이의 동작 방법 {Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof}Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof

본 발명은 위험 지역에서의 엣지 컴퓨팅 기반의 IP 카메라, 이를 포함하는 인공지능 영상 감시 시스템, 및 이의 동작 방법에 관한 것으로, 상세하게는 영상 감시 시스템의 네트워크 트래픽(traffic)과 지연(latency)을 감소시킬 수 있는 위험 지역에서의 엣지 컴퓨팅 기반의 IP 카메라, 이를 포함하는 인공지능 영상 감시 시스템, 및 이의 동작 방법에 관한 것이다. The present invention relates to an edge computing-based IP camera in a hazardous area, an artificial intelligence video surveillance system including the same, and an operation method thereof, and in detail, to reduce network traffic and latency of a video surveillance system. It relates to an edge computing-based IP camera in a dangerous area, an artificial intelligence video surveillance system including the same, and an operation method thereof.

발전소, 공장, 또는 군대와 같은 위험 지역에서 안전을 위해 영상 감시 시스템이 필요하다. 종래의 영상 감시 시스템은 감시 카메라에 의해 촬영된 영상을 단순히 서버, 또는 클라우드에 전송하고, 서버, 또는 클라우드에서 전송된 영상을 분석하였다. 감시 카메라에서 서버, 또는 클라우드로의 영상 전송은 상당한 대역폭의 사용을 요구한다. 이러한 영상 전송은 네트워크의 트래픽과 지연을 유발시킨다. 또한, 서버, 또는 클라우드 서버는 많은 양의 영상들을 분석하여야 한다. 이는 서버, 또는 클라우드 서버의 부담이다. Video surveillance systems are required for safety in hazardous areas such as power plants, factories, or the military. In the conventional video surveillance system, an image captured by a surveillance camera is simply transmitted to a server or a cloud, and an image transmitted from the server or the cloud is analyzed. Video transmission from a surveillance camera to a server or cloud requires significant bandwidth usage. This video transmission causes network traffic and delay. In addition, a server or a cloud server must analyze a large amount of images. This is the burden of the server or cloud server.

한국 등록특허공보 제10-2163280호(2020.09.29.)Korean Registered Patent Publication No. 10-2163280 (2020.09.29.)

본 발명이 이루고자 하는 기술적인 과제는 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 서버의 영상 처리의 부담과 네트워크의 트래픽과 지연을 경감시킬 수 있는 위험 지역에서의 엣지 컴퓨팅 기반의 IP 카메라, 이를 포함하는 인공지능 영상 감시 시스템, 및 이의 동작 방법을 제공하는 것이다. The technical problem to be achieved by the present invention is to solve the conventional problems as described above, and an IP camera based on edge computing in a dangerous area capable of reducing the burden of image processing on the server and traffic and delay of the network, It is to provide an artificial intelligence video surveillance system including, and a method of operation thereof.

본 발명의 실시 예에 따른 복수의 IP 카메라들과 상기 복수의 IP 카메라들과 네트워크를 통해 통신이 가능한 서버를 포함하며, 상기 복수의 IP 카메라들 각각은 엣지 컴퓨팅 모듈과 카메라 모듈을 포함하는 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 동작 방법은 상기 복수의 IP 카메라들 중 어느 하나의 IP 카메라의 엣지 컴퓨팅 모듈은 상기 서버로 상기 IP 카메라의 위치 좌표를 전송하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 서버로부터 상기 IP 카메라가 상기 복수의 IP 카메라들 중 어떤 그룹에 속하는지 나타내는 그룹 아이디를 수신하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 카메라 모듈로부터 제1복수의 영상 프레임들을 수신하는 단계, 상기 엣지 컴퓨팅 모듈은 배경 영상 프레임을 이용하여 상기 제1복수의 영상 프레임들에서 객체를 검출하고, 상기 객체가 검출된 영상 프레임들을 선택하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정하는 단계, 상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 상기 엣지 컴퓨팅 모듈은 상기 복수의 IP 카메라들 중 상기 IP 카메라가 속한 그룹을 제외한 나머지 그룹들 중 어느 하나의 그룹에 속한 다른 IP 카메라로 상기 제1복수의 영상 프레임들의 전송 요구 신호를 전송하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 전송 요구 신호를 전송 후, 상기 나머지 그룹들 중 어느 하나의 그룹에 속한 다른 IP 카메라로부터 전송 가능 신호를 수신하는 단계, 및 상기 엣지 컴퓨팅 모듈은 상기 전송 가능 신호를 수신한 후, 상기 제1복수의 영상 프레임들을 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 전송하는 단계를 포함한다. A plurality of IP cameras according to an embodiment of the present invention and a server capable of communicating with the plurality of IP cameras through a network, each of the plurality of IP cameras is a dangerous area including an edge computing module and a camera module In the method of operating an edge computing-based artificial intelligence video surveillance system, the edge computing module of any one of the plurality of IP cameras transmits the location coordinates of the IP camera to the server, and the edge computing module Receiving a group ID indicating which group of the plurality of IP cameras the IP camera belongs from the server, the edge computing module receiving a first plurality of image frames from the camera module, the edge The computing module detecting an object from the first plurality of image frames using a background image frame and selecting image frames in which the object is detected, the edge computing module Calculating 1 energy, the edge computing module determining whether the calculated first energy is greater than an arbitrary threshold value, when the calculated first energy is greater than the arbitrary threshold value, the edge computing module Transmitting a transmission request signal of the first plurality of image frames to another IP camera belonging to any one of the other groups excluding the group to which the IP camera belongs among the plurality of IP cameras, the edge computing module After transmitting the transmission request signal, receiving a transmittable signal from another IP camera belonging to any one of the remaining groups, and the edge computing module after receiving the transmittable signal, the first plurality of And transmitting the image frames of to another IP camera belonging to any one of the remaining groups.

상기 그룹 아이디는 상기 서버가 상기 복수의 IP 카메라들 각각으로부터 각각의 위치 좌표들을 수신하고, 상기 수신된 위치 좌표들에 따라 상기 복수의 IP 카메라들을 복수의 그룹들로 분류하고, 상기 분류된 복수의 그룹들 각각에 대해 아이디를 부여하여 생성된다. The group ID is determined by the server receiving position coordinates from each of the plurality of IP cameras, classifying the plurality of IP cameras into a plurality of groups according to the received position coordinates, and the classified plurality of It is created by assigning an ID to each of the groups.

상기 엣지 컴퓨팅 모듈은 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하는 단계는 상기 엣지 컴퓨팅 모듈은 상기 선택된 영상 프레임들 중 2개의 영상 프레임들 각각에서 X축 방향과 Y축 방향으로 상기 검출된 객체의 누적 픽셀 값들을 계산하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 2개의 영상 프레임들 각각에서 계산된 누적 픽셀 값들의 중간 값들을 상기 검출된 객체의 무게 중심들로 설정하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 2개의 영상 프레임들 각각에서 설정된 무게 중심들의 차이 값을 계산하는 단계, 상기 엣지 컴퓨팅 모듈은 상기 계산된 차이 값에서 모션 벡터의 최대 값으로 나누어 상기 검출된 객체의 움직임 변화율을 계산하는 단계, 및 상기 엣지 컴퓨팅 모듈은 상기 검출된 객체의 움직임 변화율을 상기 객체의 제1에너지로 계산하는 단계를 포함한다. The edge computing module, calculating the first energy of the object from the selected image frames, the edge computing module, the detection in the X-axis direction and the Y-axis direction in each of two image frames among the selected image frames. Calculating accumulated pixel values of the object, wherein the edge computing module sets intermediate values of the accumulated pixel values calculated in each of the two image frames as centers of gravity of the detected object, the edge computing module Calculating a difference value between the centers of gravity set in each of the two image frames, the edge computing module calculating a motion change rate of the detected object by dividing the calculated difference value by a maximum value of a motion vector, And calculating, by the edge computing module, a rate of change in motion of the detected object as the first energy of the object.

본 발명의 실시 예에 따른 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템은 각각이 엣지 컴퓨팅 모듈과 카메라 모듈을 포함하는 복수의 IP 카메라들, 및 상기 복수의 IP 카메라들과 네트워크를 통해 통신이 가능한 서버를 포함한다. The edge computing-based artificial intelligence video surveillance system in a dangerous area according to an embodiment of the present invention communicates with a plurality of IP cameras each including an edge computing module and a camera module, and the plurality of IP cameras through a network. Includes this capable server.

상기 복수의 IP 카메라들 중 어느 하나의 IP 카메라의 엣지 컴퓨팅 모듈은 명령들을 실행하는 프로세서, 및 상기 명령들을 저장하는 메모리를 포함한다. The edge computing module of any one of the plurality of IP cameras includes a processor that executes instructions, and a memory that stores the instructions.

상기 명령들은 상기 서버로 상기 IP 카메라의 위치 좌표를 전송하며, 상기 서버로부터 상기 IP 카메라가 상기 복수의 IP 카메라들 중 어떤 그룹에 속하는지 나타내는 그룹 아이디를 수신하며, 상기 어느 하나의 IP 카메라의 상기 카메라 모듈로부터 제1복수의 영상 프레임들을 수신하며, 배경 영상 프레임을 이용하여 상기 제1복수의 영상 프레임들에서 객체를 검출하고, 상기 객체가 검출된 영상 프레임들을 선택하며, 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하며, 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정하며, 상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 상기 복수의 IP 카메라들 중 상기 IP 카메라가 속한 그룹을 제외한 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 상기 제1복수의 영상 프레임들의 전송 요구 신호를 전송하며, 상기 전송 요구 신호를 전송 후, 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로부터 전송 가능 신호를 수신하며, 상기 전송 가능 신호를 수신한 후, 상기 제1복수의 영상 프레임들을 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 전송하도록 구현된다. The commands transmit the location coordinates of the IP camera to the server, receive a group ID indicating which group the IP camera belongs to among the plurality of IP cameras from the server, and the Receives a first plurality of image frames from a camera module, detects an object from the first plurality of image frames using a background image frame, selects image frames from which the object is detected, and selects from the selected image frames Calculate a first energy of the object, determine whether the calculated first energy is greater than an arbitrary threshold, and when the calculated first energy is greater than the arbitrary threshold, the plurality of IP cameras A transmission request signal of the first plurality of video frames is transmitted to another IP camera belonging to one of the remaining groups except the group to which the IP camera belongs, and after transmitting the transmission request signal, any of the remaining groups To receive a transmittable signal from another IP camera belonging to one group, and after receiving the transmittable signal, transmit the first plurality of image frames to another IP camera belonging to any one of the remaining groups. Is implemented.

본 발명의 실시 예에 따른 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 IP 카메라는 주변을 촬영하여 제1복수의 영상 프레임들을 생성하는 카메라 모듈, 및 명령들을 실행하는 프로세서와, 상기 명령들을 저장하는 메모리를 포함하는 엣지 컴퓨팅 모듈을 포함한다. An IP camera of an edge computing-based artificial intelligence video surveillance system in a dangerous area according to an embodiment of the present invention includes a camera module that generates a first plurality of image frames by photographing the surroundings, a processor that executes commands, and the command And an edge computing module including a memory for storing them.

상기 명령들은 서버로 상기 IP 카메라의 위치 좌표를 전송하며, 상기 서버로부터 상기 IP 카메라가 복수의 IP 카메라들 중 어떤 그룹에 속하는지 나타내는 그룹 아이디를 수신하며, 상기 카메라 모듈로부터 제1복수의 영상 프레임들을 수신하며, 배경 영상 프레임을 이용하여 상기 제1복수의 영상 프레임들에서 객체를 검출하고, 상기 객체가 검출된 영상 프레임들을 선택하며, 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하며, 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정하며, 상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 상기 복수의 IP 카메라들 중 상기 IP 카메라가 속한 그룹을 제외한 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 상기 제1복수의 영상 프레임들의 전송 요구 신호를 전송하며, 상기 전송 요구 신호를 전송 후, 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로부터 전송 가능 신호를 수신하며, 상기 전송 가능 신호를 수신한 후, 상기 제1복수의 영상 프레임들을 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 전송하도록 구현된다. The commands transmit the location coordinates of the IP camera to the server, receive a group ID indicating which group the IP camera belongs to among a plurality of IP cameras from the server, and a first plurality of image frames from the camera module Receive, detect an object from the first plurality of image frames using a background image frame, select image frames in which the object is detected, calculate a first energy of the object from the selected image frames, , It is determined whether the calculated first energy is greater than an arbitrary threshold value, and when the calculated first energy is greater than the arbitrary threshold value, the remaining groups of the plurality of IP cameras excluding the group to which the IP camera belongs. Transmitting the transmission request signal of the first plurality of video frames to another IP camera belonging to one of the groups, and after transmitting the transmission request signal, from another IP camera belonging to any one of the remaining groups It is implemented to receive a transmittable signal, and after receiving the transmittable signal, transmit the first plurality of image frames to another IP camera belonging to any one of the remaining groups.

본 발명의 실시 예에 따른 위험 지역에서의 엣지 컴퓨팅 기반의 IP 카메라, 이를 포함하는 인공지능 영상 감시 시스템, 및 이의 동작 방법은 IP 카메라에 의해 촬영된 영상을 전부 서버로 전송하는 것이 아니라 다른 IP 카메라가 분산하여 영상을 처리하도록 함으로써 서버의 영상 처리의 부담과 네트워크의 트래픽과 지연을 경감시킬 수 있는 효과가 있다. An edge computing-based IP camera in a dangerous area according to an embodiment of the present invention, an artificial intelligence video surveillance system including the same, and an operation method thereof do not transmit all the images captured by the IP camera to the server, but other IP cameras. By distributing and processing the image, there is an effect of reducing the burden of image processing on the server and the traffic and delay of the network.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 복수의 IP 카메라들 중 제1IP 카메라의 내부 블록도를 나타낸다.
도 3은 도 1에 도시된 제1IP 카메라에 의해 생성된 제1복수의 영상 프레임들의 블록도를 나타낸다.
도 4는 도 2에 도시된 엣지 컴퓨팅 모듈의 에너지 계산에 필요한 계수들의 설정 방법을 설명하기 위한 흐름도를 나타낸다. In order to more fully understand the drawings cited in the detailed description of the present invention, a detailed description of each drawing is provided.
1 is a block diagram of an artificial intelligence video surveillance system based on edge computing in a dangerous area according to an embodiment of the present invention.
2 is a block diagram illustrating an internal block diagram of a first IP camera among a plurality of IP cameras shown in FIG. 1.
3 is a block diagram of a first plurality of image frames generated by a first IP camera shown in FIG. 1.
4 is a flowchart illustrating a method of setting coefficients required for energy calculation of the edge computing module illustrated in FIG. 2.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in the present specification are exemplified only for the purpose of describing the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in the present specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various constituent elements, but the constituent elements should not be limited by the terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be referred to as the second component, and similarly The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Other expressions describing the relationship between components, such as "between" and "directly between" or "adjacent to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of a set feature, number, step, action, component, part, or combination thereof, but one or more other features or numbers. It is to be understood that the possibility of addition or presence of, steps, actions, components, parts, or combinations thereof is not preliminarily excluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be construed as having a meaning consistent with the meaning of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present specification. Does not.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 블록도를 나타낸다. 1 is a block diagram of an artificial intelligence video surveillance system based on edge computing in a dangerous area according to an embodiment of the present invention.

도 1을 참고하면, 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템(100)은 복수의 IP 카메라들(10-1~10-n; n은 자연수), 서버(30), 및 클라이언트(40)를 포함한다. 복수의 IP 카메라들(10-1~10-n), 서버(30), 및 클라이언트(40)는 네트워크(101)를 통해 서로 통신이 가능하다. 상기 위험 지역이란 발전소, 공장, 또는 군대와 같이 안전이 요구되는 지역을 의미한다. 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템(100)은 IP 카메라(10-1, 10-2, ..., 또는 10-n)에 의해 촬영된 영상을 항상 서버(30)로 전송하는 것이 아니라, 서버(30)에서 촬영된 영상의 처리 부담을 감소시키기 위해 복수의 IP 카메라들(10-1~10-n)이 분산 처리하는 시스템이다. Referring to FIG. 1, an artificial intelligence video surveillance system 100 based on edge computing in a hazardous area includes a plurality of IP cameras 10-1 to 10-n; n is a natural number, a server 30, and a client ( 40). The plurality of IP cameras 10-1 to 10-n, the server 30, and the client 40 can communicate with each other through the network 101. The dangerous area means an area requiring safety, such as a power plant, a factory, or an army. The artificial intelligence video surveillance system 100 based on edge computing in a hazardous area always transmits the video captured by the IP camera (10-1, 10-2, ..., or 10-n) to the server 30 Rather, it is a system in which a plurality of IP cameras 10-1 to 10-n distribute processing to reduce the processing burden of the image captured by the server 30.

도 1에서 복수의 IP 카메라들(10-1~10-n)은 다양한 지역들(S1~S5)을 감시하기 위해 설치된다. 다양한 지역들(S1~S5)은 발전소 내부, 또는 공장 내부의 기계가 위치한 지역들을 의미할 수 있다. 제1지역(S1)은 제1IP 카메라(10-1) 내지 제4IP 카메라(10-4)에 의해 감시되며, 제2지역(S2)은 제5IP 카메라(10-5)와 제6IP 카메라(10-6)에 의해 감시된다. 또한, 제6지역(S5)은 제12IP 카메라(10-12)와 제13IP 카메라(10-13)에 의해 감시된다. 실시 예에 따라 IP 카메라들(10-1~10-n)의 개수와 설치되는 IP 카메라들(10-1~10-n)의 위치는 다양할 수 있다. In FIG. 1, a plurality of IP cameras 10-1 to 10-n are installed to monitor various regions S1 to S5. Various areas (S1 to S5) may refer to areas in which machines are located inside a power plant or inside a factory. The first area S1 is monitored by the 1st IP camera 10-1 to the 4th IP camera 10-4, and the second area S2 is the 5th IP camera 10-5 and the 6th IP camera 10. Monitored by -6). In addition, the sixth area S5 is monitored by the 12th IP camera 10-12 and the 13th IP camera 10-13. According to embodiments, the number of IP cameras 10-1 to 10-n and locations of installed IP cameras 10-1 to 10-n may vary.

복수의 IP 카메라들(10-1~10-n) 각각은 자신의 위치 좌표를 서버(30)로 전송한다. 서버(30)는 복수의 IP 카메라들(10-1~10-n)의 위치 좌표에 따라 복수의 IP 카메라들(10-1~10-n)을 복수의 그룹들로 분류한다. 예컨대, 제1IP 카메라(10-1) 내지 제4IP 카메라(10-4)는 제1지역(S1)을 중심으로 설치되므로, 제1IP 카메라(10-1) 내지 제4IP 카메라(10-4)는 서로 인접한 위치에 설치된다. 또한, 제5IP 카메라(10-5)와 제6IP 카메라(10-6)는 제2지역(S2)을 중심으로 설치되므로, 제5IP 카메라(10-5)와 제6IP 카메라(10-6)는 서로 인접한 위치에 설치된다. 따라서 서버(30)는 제1IP 카메라(10-1) 내지 제4IP 카메라(10-4)를 제1그룹으로, 제5IP 카메라(10-5)와 제6IP 카메라(10-6)를 제2그룹으로, 제7IP 카메라(10-7)와 제8IP 카메라(10-8)는 제3그룹으로 나눌 수 있다. 제1그룹에서 복수의 IP 카메라들(10-1 내지 10-4)의 성능은 다르다. 예컨대, 제1IP 카메라(10-1)는 객체의 검출은 가능하지만, 더 복잡한 연산이 요구되는 음성 검출 알고리즘, 또는 얼굴 인식 알고리즘 등의 실행은 불가능하다. 반면, 제2IP 카메라(10-2)는 객체의 검출, 음성 검출 알고리즘, 또는 얼굴 인식 알고리즘 등의 실행이 가능하다. 각 그룹은 음성 검출 알고리즘, 또는 얼굴 인식 알고리즘의 처리가 가능한 적어도 하나 이상의 IP 카메라를 포함한다. Each of the plurality of IP cameras 10-1 to 10-n transmits its own location coordinates to the server 30. The server 30 classifies the plurality of IP cameras 10-1 to 10-n into a plurality of groups according to the location coordinates of the plurality of IP cameras 10-1 to 10-n. For example, since the 1st IP camera 10-1 to the 4th IP camera 10-4 are installed around the first area S1, the 1st IP camera 10-1 to the 4th IP camera 10-4 are They are installed adjacent to each other. In addition, since the 5th IP camera 10-5 and the 6th IP camera 10-6 are installed around the second area S2, the 5th IP camera 10-5 and the 6th IP camera 10-6 are They are installed adjacent to each other. Therefore, the server 30 uses the 1st IP camera 10-1 to the 4th IP camera 10-4 as a first group, and the 5th IP camera 10-5 and the 6th IP camera 10-6 as a second group. As a result, the 7th IP camera 10-7 and the 8th IP camera 10-8 may be divided into a third group. The performance of the plurality of IP cameras 10-1 to 10-4 in the first group is different. For example, although the first IP camera 10-1 can detect an object, it is impossible to execute a voice detection algorithm or a face recognition algorithm that requires a more complex operation. On the other hand, the 2nd IP camera 10-2 can detect an object, a voice detection algorithm, or a face recognition algorithm. Each group includes at least one IP camera capable of processing a voice detection algorithm or a face recognition algorithm.

서버(30)는 분류된 그룹들 각각에 대해 아이디를 부여할 수 있다. 예컨대, 서버(30)는 상기 제1그룹에 대해 아이디 0, 상기 제2그룹에 대해 아이디 1로 부여할 수 있다. 서버(30)는 부여된 아이디를 각각의 분류된 그룹들에 속하는 복수의 IP 카메라들(10-1~10-n)로 전송한다. The server 30 may assign an ID to each of the classified groups. For example, the server 30 may assign an ID of 0 to the first group and an ID of 1 to the second group. The server 30 transmits the assigned ID to a plurality of IP cameras 10-1 to 10-n belonging to each classified group.

복수의 IP 카메라들(10-1~10-n)은 복수의 IP 카메라들(10-1~10-n)이 설치된 주변의 감시 영역을 촬영하여 복수의 영상 프레임들(VF1~VFn; n은 자연수)을 생성한다. 이하, 제1IP 카메라(10-1)가 촬영한 복수의 영상 프레임들은 제1복수의 영상 프레임들(VF1)로, 제2IP 카메라(10-2)가 촬영한 복수의 영상 프레임들은 제2복수의 영상 프레임들(VF2)로, 제n카메라가 촬영한 복수의 영상 프레임들은 제n복수의 영상 프레임들(VFn)로 호칭된다. The plurality of IP cameras 10-1 to 10-n photographs a surveillance area around the plurality of IP cameras 10-1 to 10-n, and a plurality of image frames VF1 to VFn; n is Natural number). Hereinafter, the plurality of image frames photographed by the first IP camera 10-1 are the first plurality of image frames VF1, and the plurality of image frames photographed by the second IP camera 10-2 are the second plurality of image frames. As the image frames VF2, the plurality of image frames photographed by the n-th camera are referred to as n-th plurality of image frames VFn.

도 2는 도 1에 도시된 복수의 IP 카메라들 중 제1IP 카메라의 내부 블록도를 나타낸다.2 is a block diagram illustrating an internal block diagram of a first IP camera among a plurality of IP cameras shown in FIG. 1.

도 1과 도 2를 참고하면, 복수의 IP 카메라들(10-1~10-n)의 내부 구조와 동작은 동일하다. 따라서 대표적으로 제1IP 카메라(10-1)를 중심으로 내부 구조와 동작에 대해 설명한다. 제1IP 카메라(10-1)는 엣지 컴퓨팅 모듈(11), 카메라 모듈(17), 및 위치 센서(19)를 포함한다. 엣지 컴퓨팅 모듈(11), 카메라 모듈(17), 및 위치 센서(19)는 내부 버스를 통해 서로 통신이 가능하다. 1 and 2, the internal structure and operation of a plurality of IP cameras 10-1 to 10-n are the same. Therefore, representatively, the internal structure and operation will be described centering on the first IP camera 10-1. The first IP camera 10-1 includes an edge computing module 11, a camera module 17, and a position sensor 19. The edge computing module 11, the camera module 17, and the position sensor 19 can communicate with each other through an internal bus.

엣지 컴퓨팅 모듈(11)에 대해서는 뒤에서 자세히 설명될 것이다. The edge computing module 11 will be described in detail later.

카메라 모듈(17)은 제1IP 카메라(10-1)가 설치된 주변의 감시 영역을 촬영하여 제1복수의 영상 프레임들(VF1)을 생성한다. 카메라 모듈(17)은 생성된 제1복수의 영상 프레임들(VF1)을 엣지 컴퓨팅 모듈(11)로 전달한다. The camera module 17 generates a first plurality of image frames VF1 by capturing a surveillance area surrounding the first IP camera 10-1. The camera module 17 transmits the generated first plurality of image frames VF1 to the edge computing module 11.

위치 센서(19)는 제1IP 카메라(10-1)의 위치 좌표를 감지하고, 감지된 위치 좌표를 엣지 컴퓨팅 모듈(11)로 전달한다. 엣지 컴퓨팅 모듈(11)은 제1IP 카메라(10-1)의 위치 좌표를 서버(30)로 전송한다. The position sensor 19 detects the position coordinates of the first IP camera 10-1 and transmits the detected position coordinates to the edge computing module 11. The edge computing module 11 transmits the location coordinates of the first IP camera 10-1 to the server 30.

서버(30)는 제1IP 카메라(10-1)로부터 상기 위치 좌표를 수신하고, 상기 수신된 위치 좌표에 따라 제1IP 카메라(10-1)가 복수의 IP 카메라들(10-1~10-n) 중 어떤 그룹에 속하는지 결정하고, 제1IP 카메라(10-1)가 속하는 그룹을 나타내는 그룹 아이디를 엣지 컴퓨팅 모듈(11)로 전송한다. The server 30 receives the location coordinates from the first IP camera 10-1, and according to the received location coordinates, the first IP camera 10-1 transmits a plurality of IP cameras 10-1 to 10-n. ), and transmits a group ID indicating a group to which the first IP camera 10-1 belongs to the edge computing module 11.

엣지 컴퓨팅 모듈(11)은 서버(30)로부터 상기 그룹 아이디를 수신한다. The edge computing module 11 receives the group ID from the server 30.

엣지 컴퓨팅 모듈(11)은 제1IP 카메라(10-1)로부터 제1복수의 영상 프레임들(VF1)을 수신하고, 제1복수의 영상 프레임들(VF1)에서 객체를 검출하고, 검출된 객체의 에너지를 계산한다. The edge computing module 11 receives a first plurality of image frames VF1 from the first IP camera 10-1, detects an object from the first plurality of image frames VF1, and Calculate the energy.

엣지 컴퓨팅 모듈(11)은 프로세서(13)와 메모리(15)를 포함한다. 엣지 컴퓨팅 모듈(11)은 제1IP 카메라(10-1)의 내부에 구현되는 하드웨어이다. 실시 예에 따라 엣지 컴퓨팅 모듈(11)은 제1IP 카메라(10-1)의 외부에 구현될 수 있다. 프로세서(13)는 엣지 컴퓨팅 모듈(11)의 동작들이 구현된 명령들을 실행한다. 메모리(15)는 상기 명령들을 저장한다. 이하, 구체적인 엣지 컴퓨팅 모듈(11)에 대한 동작들이 설명된다. 이하, 엣지 컴퓨팅 모듈(11)의 동작은 프로세서(13)의 동작으로 이해될 수 있다. The edge computing module 11 includes a processor 13 and a memory 15. The edge computing module 11 is hardware implemented inside the first IP camera 10-1. According to an embodiment, the edge computing module 11 may be implemented outside the first IP camera 10-1. The processor 13 executes instructions in which the operations of the edge computing module 11 are implemented. The memory 15 stores these instructions. Hereinafter, specific operations of the edge computing module 11 will be described. Hereinafter, the operation of the edge computing module 11 may be understood as the operation of the processor 13.

제1IP 카메라(10-1)의 프로세서(13)는 제2IP 카메라(10-2)의 프로세서보다 성능이 낮을 수 있다. 예컨대, 제1IP 카메라(10-1)의 프로세서(13)는 객체의 검출은 가능하지만, 더 높은 성능이 요구되는 음성 검출 알고리즘, 또는 얼굴 인식 알고리즘의 실행은 불가능하다. 반면, 제2IP 카메라(10-2)의 프로세서는 객체의 검출, 음성 검출 알고리즘, 또는 얼굴 인식 알고리즘의 실행이 가능하다. The processor 13 of the first IP camera 10-1 may have lower performance than the processor of the second IP camera 10-2. For example, the processor 13 of the first IP camera 10-1 can detect an object, but cannot execute a voice detection algorithm or a face recognition algorithm that requires higher performance. On the other hand, the processor of the second IP camera 10-2 can detect an object, execute a voice detection algorithm, or a face recognition algorithm.

도 3은 도 1에 도시된 제1IP 카메라에 의해 생성된 제1복수의 영상 프레임들의 블록도를 나타낸다. 3 is a block diagram of a first plurality of image frames generated by a first IP camera shown in FIG. 1.

도 1 내지 도 3을 참고하면, 엣지 컴퓨팅 모듈(11)은 배경 영상 프레임(예컨대, VF1-1)을 이용하여 제1복수의 영상 프레임들(VF1)에서 객체(OB)를 검출한다. 배경 영상 프레임(VF1-1)은 제1IP 카메라(10-1)의 카메라 모듈(17)에 의해 촬영된 영상 프레임으로, 객체(OB)가 없는 영상 프레임을 의미한다. 배경 영상 프레임(VF1-1)은 제1복수의 영상 프레임들(VF1) 중 하나일 수 있다. 또한, 실시 예에 따라 배경 영상 프레임(VF1-1)은 제1복수의 영상 프레임들(VF1)이 아니라 제1IP 카메라(10-1)가 다른 시점에서 촬영된 영상 프레임일 수 있다. 객체(OB)는 제1IP 카메라(10-1)가 촬영하는 주변의 감시 영역에 존재하는 사람, 기계, 또는 로봇 등 다양한 사물들 중 어느 하나일 수 있다. 엣지 컴퓨팅 모듈(11)은 객체(OB)가 없는 영상 프레임(VF1-1)과 다른 영상 프레임(VF1-3, 또는 VF1-4)을 비교하여 객체(OB)를 검출할 수 있다. 객체(OB)가 없는 영상 프레임(VF1-1)과 객체(OB)가 존재하는 영상 프레임(VF1-3, 또는 VF1-4)과의 차이점은 객체(OB)의 존재 유무이므로, 객체(OB)가 없는 영상 프레임(VF1-1)과 다른 영상 프레임(VF1-3, 또는 VF1-4)의 비교를 통해 객체(OB)가 검출될 수 있다. 즉, 엣지 컴퓨팅 모듈(11)은 객체(OB)의 유무와 크기 정도만을 특정할 뿐, 객체(OB)의 구체적인 신체적 특징(예컨대, 눈이 어떻게 생겼는지, 음성은 어떤지)에 대해서는 분석하지 않는다. 1 to 3, the edge computing module 11 detects an object OB from a first plurality of image frames VF1 using a background image frame (eg, VF1-1). The background image frame VF1-1 is an image frame photographed by the camera module 17 of the first IP camera 10-1, and refers to an image frame without an object OB. The background image frame VF1-1 may be one of the first plurality of image frames VF1. In addition, according to an embodiment, the background image frame VF1-1 may be an image frame photographed by the first IP camera 10-1 at different viewpoints rather than the first plurality of image frames VF1. The object OB may be any one of various objects such as a person, a machine, or a robot existing in a surveillance area surrounding the first IP camera 10-1 to be photographed. The edge computing module 11 may detect the object OB by comparing the image frame VF1-1 without the object OB with another image frame VF1-3 or VF1-4. The difference between the image frame (VF1-1) without the object (OB) and the image frame (VF1-3 or VF1-4) with the object (OB) is the presence or absence of the object (OB), so the object (OB) The object OB may be detected through a comparison between the image frame VF1-1 without which there is no image frame VF1-3 or the other image frame VF1-3 or VF1-4. That is, the edge computing module 11 only specifies the presence or absence of the object OB and the degree of size, and does not analyze specific physical characteristics of the object OB (eg, what the eye looks like or how the voice is).

엣지 컴퓨팅 모듈(11)은 객체(OB)가 검출된 영상 프레임들(예컨대, VF1-3~VF1-m; m은 자연수)을 선택한다. The edge computing module 11 selects image frames (eg, VF1-3 to VF1-m; m is a natural number) in which the object OB is detected.

엣지 컴퓨팅 모듈(11)은 상기 선택된 영상 프레임들(VF1-3~VF1-m)에서 객체(OB)의 제1에너지를 계산한다. 상기 제1에너지는 검출된 객체(OB)의 움직임 변화율, 검출된 객체(OB)의 크기 적합도, 또는 검출된 객체(OB)의 사이즈 비율을 고려하여 계산될 수 있다. 실시 예에 따라 상기 제1에너지는 검출된 객체(OB)의 움직임 변화율, 검출된 객체(OB)의 크기 적합도, 및 상기 검출된 객체(OB)의 사이즈 비율을 고려하여 계산될 수 있다. The edge computing module 11 calculates the first energy of the object OB from the selected image frames VF1-3 to VF1-m. The first energy may be calculated in consideration of a rate of change in motion of the detected object OB, a size fit of the detected object OB, or a size ratio of the detected object OB. According to an embodiment, the first energy may be calculated in consideration of a rate of change in motion of the detected object OB, a size fit of the detected object OB, and a size ratio of the detected object OB.

우선, 검출된 객체(OB)의 움직임 변화율을 고려하여 상기 제1에너지를 계산하는 방법에 대해 설명한다. First, a method of calculating the first energy in consideration of a rate of change in motion of the detected object OB will be described.

엣지 컴퓨팅 모듈(11)은 상기 선택된 영상 프레임들 중 2개의 영상 프레임들(예컨대, VF1-3과 VF1-4) 각각에서 X축 방향과 Y축 방향으로 상기 검출된 객체(OB)의 누적 픽셀 값들(CPV)을 계산한다. 도 3에서 2개의 영상 프레임들(VF1-3과 VF1-4) 주변에 4개의 그래프들이 도시되어 있다. 엣지 컴퓨팅 모듈(11)은 검출된 객체(OB)에 대해 X축 방향으로 진행하면서 해당하는 X축에 얼마나 많은 픽셀들이 있는지 카운트한다. 예컨대, X축의 좌표가 1일 때, 1에 대응하는 검출된 객체(OB)의 픽셀들의 수는 5개일 수 있다. 이 때, 엣지 컴퓨팅 모듈(11)은 영상 프레임(VF1-3)의 밑의 그래프에서 누적 픽셀 값(CPV)으로 5에 해당하는 지점에 점을 표시한다. X축의 좌표가 2일 때, 2에 대응하는 검출된 객체(OB)의 픽셀들의 수는 10개일 수 있다. 엣지 컴퓨팅 모듈(11)은 영상 프레임(VF1-3)의 밑의 그래프에서 누적 픽셀 값(CPV)으로 15(=5+10)에 해당하는 지점에 점을 표시한다. 이러한 방법들로 도 3에 도시된 4개의 그래프들이 생성될 수 있다. The edge computing module 11 includes accumulated pixel values of the detected object OB in the X-axis direction and Y-axis direction in each of two image frames (eg, VF1-3 and VF1-4) among the selected image frames. Calculate (CPV). In FIG. 3, four graphs are shown around two image frames VF1-3 and VF1-4. The edge computing module 11 counts how many pixels there are in the corresponding X-axis while proceeding in the X-axis direction with respect to the detected object OB. For example, when the coordinate of the X-axis is 1, the number of pixels of the detected object OB corresponding to 1 may be 5. In this case, the edge computing module 11 displays a point at a point corresponding to 5 as the accumulated pixel value CPV in the graph below the image frame VF1-3. When the coordinate of the X-axis is 2, the number of pixels of the detected object OB corresponding to 2 may be 10. The edge computing module 11 displays a dot at a point corresponding to 15 (=5+10) as the accumulated pixel value CPV in the graph below the image frame VF1-3. In these ways, the four graphs shown in FIG. 3 can be generated.

엣지 컴퓨팅 모듈(11)은 상기 2개의 영상 프레임들(VF1-3과 VF1-4) 각각에서 계산된 누적 픽셀 값들(CPV)의 중간 값들(PC1, PC2, PC3, 및 PC4)을 상기 검출된 객체(OB)의 무게 중심들(OC1과 OC2)로 설정한다. 상기 검출된 객체(OB)의 무게 중심들(OC1과 OC2) 각각의 좌표는 (Xt-1, Yt-1), (Xt, Yt)이다. The edge computing module 11 converts the intermediate values (PC1, PC2, PC3, and PC4) of the accumulated pixel values (CPV) calculated from each of the two image frames (VF1-3 and VF1-4) into the detected object. Set the centers of gravity (OC1 and OC2) of (OB). The coordinates of each of the centers of gravity OC1 and OC2 of the detected object OB are (X t-1 , Y t-1 ) and (X t , Y t ).

엣지 컴퓨팅 모듈(11)은 상기 2개의 영상 프레임들(VF1-3과 VF1-4) 각각에서 설정된 무게 중심들(OC1과 OC2)의 차이 값을 계산한다. 상기 차이 값은 벡터(MC1)로 표현될 수 있다. The edge computing module 11 calculates a difference value between the centers of gravity OC1 and OC2 set in each of the two image frames VF1-3 and VF1-4. The difference value may be expressed as a vector MC1.

엣지 컴퓨팅 모듈(11)은 상기 계산된 차이 값에서 모션 벡터의 최대 값으로 나누어 상기 검출된 객체(OB)의 움직임 변화율(MCR; Motion Change Rate)을 계산한다. The edge computing module 11 calculates a motion change rate (MCR) of the detected object OB by dividing the calculated difference value by the maximum value of the motion vector.

상기 움직임 변화율(MCR)은 아래의 수학식과 같이 정의될 수 있다. The motion change rate (MCR) may be defined as the following equation.

[수학식 1] [Equation 1]

MCR = sqrt ( (Xt-Xt-1)2 + (Yt-Yt-1)2 ) / MCmax MCR = sqrt ((X t -X t-1 ) 2 + (Y t -Y t-1 ) 2 ) / MC max

상기 MCR은 상기 움직임 변화율을, 상기 sqrt는 제곱근을, Xt, Xt-1, Yt-1, 및 Yt은 상기 검출된 객체(OB)의 무게 중심들(OC1과 OC2) 각각의 좌표를, 상기 MCmax는 모션 벡터의 최대 값을 나타낸다. 모션 벡터의 최대 값(MCmax)은 학습을 통해 얻어진 모션 벡터들 중에서 최대 값을 의미한다. 상기 학습이란 인공신경망을 적용하여 모션 벡터들을 추론한 것을 의미한다. 움직임 변화율(MCR)이 클 때, 폭력, 화재, 또는 폭발 등 긴급한 사고가 발생했음이 추론될 수 있다. The MCR is the rate of change of motion, the sqrt is the square root, and X t, X t-1 , Y t-1 , and Y t are coordinates of each of the centers of gravity (OC1 and OC2) of the detected object OB. For, the MC max represents the maximum value of the motion vector. The maximum value (MC max ) of the motion vector means the maximum value among motion vectors obtained through learning. The learning refers to inferring motion vectors by applying an artificial neural network. When the motion change rate (MCR) is large, it can be inferred that an urgent accident such as violence, fire, or explosion has occurred.

엣지 컴퓨팅 모듈(11)은 상기 검출된 객체(OB)의 움직임 변화율(MCR)을 상기 객체(OB)의 제1에너지로 계산할 수 있다. The edge computing module 11 may calculate the detected motion change rate MCR of the object OB as the first energy of the object OB.

엣지 컴퓨팅 모듈(11)은 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정한다. 상기 계산된 제1에너지의 범위는 0에서 1 사이의 값을 가질 수 있다. 상기 임의의 문턱값은 0에서 1 사이의 값 중 어느 하나의 값(예컨대, 0.3)일 수 있다. The edge computing module 11 determines whether the calculated first energy is greater than an arbitrary threshold. The calculated range of the first energy may have a value between 0 and 1. The arbitrary threshold value may be any one of a value between 0 and 1 (eg, 0.3).

상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 엣지 컴퓨팅 모듈(11)은 복수의 IP 카메라들(10-1~10-n) 중 제1IP 카메라(10-1)가 속한 그룹(예컨대, 제1그룹)을 제외한 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹; p는 자연수) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 다른 IP 카메라(예컨대, 10-5)로 제1복수의 영상 프레임들(VF1)의 전송 요구 신호를 전송할 수 있다. 다른 IP 카메라(예컨대, 10-5)는 음성 인식 알고리즘, 또는 영상 처리 알고리즘 등의 실행이 가능한 카메라이다. 반면, 제1IP 카메라(10-1)는 음성 인식 알고리즘, 또는 영상 처리 알고리즘 등의 실행이 불가능하다. When the calculated first energy is greater than the predetermined threshold value, the edge computing module 11 includes a group to which the first IP camera 10-1 belongs among the plurality of IP cameras 10-1 to 10-n ( For example, other IP cameras (e.g., 10-5) belonging to any one group (e.g., second group) among other groups (e.g., second group to pth group; p is a natural number) excluding the first group) The transmission request signal of the first plurality of image frames VF1 may be transmitted. Another IP camera (eg, 10-5) is a camera capable of executing a voice recognition algorithm or an image processing algorithm. On the other hand, the first IP camera 10-1 cannot execute a speech recognition algorithm or an image processing algorithm.

상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)은 상기 전송 요구 신호를 수신한 후, 상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 다른 IP 카메라(예컨대, 10-5)는 제1IP 카메라(10-1)로부터 제1복수의 영상 프레임들(VF1)을 수신할지 여부를 결정한다. After receiving the transmission request signal, any one of the remaining groups (e.g., the second group to the pth group) receives the transmission request signal, and then the remaining groups (e.g., the second group to the pth group) Group) whether another IP camera (eg, 10-5) belonging to any one group (eg, second group) receives the first plurality of video frames VF1 from the first IP camera 10-1 Decide.

상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 다른 IP 카메라(예컨대, 10-5)도 실시간으로 제1IP 카메라(10-1)와 유사하게 복수의 영상 프레임들에서 객체를 검출하고, 검출된 객체의 에너지를 계산한다. Another IP camera (eg, 10-5) belonging to any one group (eg, second group) among the remaining groups (eg, second group to pth group) is also the first IP camera 10-1 in real time. Similar to, an object is detected from a plurality of image frames and energy of the detected object is calculated.

상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 IP 카메라(예컨대, 10-5)에 의해 생성된 복수의 영상 프레임들에서 객체가 검출되지 않거나, 검출된 객체의 에너지가 상기 임의의 문턱값보다 작을 때, 상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 다른 IP 카메라(예컨대, 10-5)는 제1IP 카메라(10-1)로부터 제1복수의 영상 프레임들(VF1)을 수신할 수 있다고 결정하고, 제1IP 카메라(10-1)로 전송 가능 신호를 전송한다. In a plurality of image frames generated by an IP camera (eg, 10-5) belonging to any one of the remaining groups (eg, group 2 to group p) (eg, group 2) When not detected or the energy of the detected object is less than the predetermined threshold, another IP belonging to one of the remaining groups (eg, the second group to the pth group) (eg, the second group) The camera (eg, 10-5) determines that it can receive the first plurality of image frames VF1 from the first IP camera 10-1, and transmits a transmittable signal to the first IP camera 10-1. do.

엣지 컴퓨팅 모듈(11)은 상기 전송 가능한 신호를 수신한 후, 제1복수의 영상 프레임들(VF1)을 상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 다른 IP 카메라(예컨대, 10-5)로 전송한다. 다른 IP 카메라(10-5)는 제1복수의 영상 프레임들(VF1)을 제1IP 카메라(10-1)로부터 수신하고, 제1복수의 영상 프레임들(VF1)에 대해 음성 인식 알고리즘, 또는 영상 인식 알고리즘 등을 실행한다. After receiving the transmittable signal, the edge computing module 11 transfers the first plurality of image frames VF1 to any one of the remaining groups (eg, the second group to the pth group) (eg, It transmits to another IP camera (eg, 10-5) belonging to the second group). The other IP camera 10-5 receives a first plurality of image frames VF1 from the first IP camera 10-1, and a voice recognition algorithm or video for the first plurality of image frames VF1. Recognition algorithms and the like are executed.

반면, 상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 다른 IP 카메라(10-5)에 의해 생성된 복수의 영상 프레임들에서 검출된 객체의 에너지가 상기 임의의 문턱값보다 클 때, 상기 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 다른 IP 카메라(10-5)는 제1IP 카메라(10-1)로부터 제1복수의 영상 프레임들(VF1)을 수신할 수 없다고 결정하고, 제1IP 카메라(10-1)로 전송 불가 신호를 전송한다. On the other hand, detection from a plurality of image frames generated by another IP camera 10-5 belonging to any one group (eg, second group) among the remaining groups (eg, second group to pth group) When the energy of the object is greater than the predetermined threshold, another IP camera 10-5 belonging to one of the remaining groups (eg, the second group to the pth group) (eg, the second group). ) Determines that the first plurality of image frames VF1 cannot be received from the first IP camera 10-1, and transmits a transmission impossible signal to the first IP camera 10-1.

제1IP 카메라(10-1)는 상기 전송 불가 신호를 수신할 때, 상기 나머지 그룹들(예컨대, 제3그룹 내지 제p그룹) 중 다른 그룹(예컨대, 제3그룹)에 속하는 다른 IP 카메라(예컨대, 10-7)로 전송 요구 신호를 전송할 수 있다. When receiving the transmission impossible signal, the first IP camera 10-1 belongs to another group (eg, group 3) among the remaining groups (eg, group 3 to group p). , 10-7) can be used to transmit a transmission request signal.

실시 예에 따라 상기 나머지 그룹들(예컨대, 제3그룹 내지 제p그룹) 중 다른 그룹(예컨대, 제3그룹)에 속하는 제7IP 카메라(예컨대, 10-7)는 제1IP 카메라(10-1)로부터 제1복수의 영상 프레임들(VF1)을 수신할 수 있다고 결정하고, 제1IP 카메라(10-1)로 전송 가능 신호를 전송할 수 있다. According to an embodiment, a 7th IP camera (eg, 10-7) belonging to another group (eg, a third group) among the remaining groups (eg, the third group to the pth group) is the first IP camera 10-1 It is determined that the first plurality of image frames VF1 can be received from, and a transmittable signal may be transmitted to the first IP camera 10-1.

엣지 컴퓨팅 모듈(11)은 상기 전송 가능 신호를 수신한 후, 제1복수의 영상 프레임들(VF1)을 상기 나머지 그룹들(예컨대, 제3그룹 내지 제p그룹) 중 다른 그룹(예컨대, 제3그룹)에 속하는 제7IP 카메라(예컨대, 10-7)로 전송할 수 있다. After receiving the transmittable signal, the edge computing module 11 transfers the first plurality of image frames VF1 to another group (eg, a third group) among the remaining groups (eg, group 3 to group p). Group) belonging to the 7th IP camera (eg, 10-7).

다른 IP 카메라(예컨대, 10-5, 또는 10-7)는 제1복수의 영상 프레임들(VF1)을 수신하여 음성 검출 알고리즘, 또는 얼굴 인식 알고리즘 등 좀 더 복잡한 연산이 요구되는 영상 처리 알고리즘을 적용할 수 있다. 다른 IP 카메라(예컨대, 10-5, 또는 10-7)는 음성 검출 알고리즘, 또는 얼굴 인식 알고리즘을 적용하여 도출된 음성 정보, 또는 인식된 얼굴 특징 정보를 서버(30)로 전송할 수 있다. Another IP camera (e.g., 10-5 or 10-7) receives the first plurality of image frames (VF1) and applies an image processing algorithm that requires more complex operations such as a voice detection algorithm or a face recognition algorithm. can do. Another IP camera (eg, 10-5 or 10-7) may transmit voice detection algorithm, voice information derived by applying a face recognition algorithm, or recognized facial feature information to the server 30.

서버(30)는 다른 IP 카메라(예컨대, 10-5, 또는 10-6)로부터 상기 음성 정보, 또는 인식된 얼굴 특징 정보를 수신하여 서버(30)에 저장된 데이터베이스에서 객체(OB)를 구체적으로 특정할 수 있다. The server 30 receives the voice information or recognized facial feature information from another IP camera (eg, 10-5 or 10-6), and specifically specifies the object OB in the database stored in the server 30. can do.

서버(30)는 객체(OB)를 구체적으로 특정한 후 특정된 객체(OB)의 정보와 제1복수의 영상 프레임들(VF1)을 네트워크(101)를 통해 서버(30), 또는 클라이언트(40)에 전송한다. After specifying the object OB in detail, the server 30 transmits the information of the specified object OB and the first plurality of image frames VF1 to the server 30 or the client 40 through the network 101. Transfer to.

클라이언트(40)는 서버(30)로부터 특정된 객체(OB)의 정보와 제1복수의 영상 프레임들(VF1)을 수신한 뒤, 특정된 객체(OB)의 정보와 제1복수의 영상 프레임들(VF1)을 디스플레이에 표시할 준비를 한다. 클라이언트(40)의 사용자(미도시)는 터치와 같은 입력 장치의 제어를 통해 클라이언트(40)의 디스플레이에서 특정된 객체(OB)의 정보와 수신된 제1복수의 영상 프레임들(VF1)을 모니터링할 수 있다. After receiving the information of the specified object OB and the first plurality of image frames VF1 from the server 30, the client 40 receives the information of the specified object OB and the first plurality of image frames. Prepare to show (VF1) on the display. The user (not shown) of the client 40 monitors the information of the object OB specified on the display of the client 40 and the received first plurality of image frames VF1 through control of an input device such as a touch. can do.

다음으로, 검출된 객체(OB)의 크기 적합도를 고려하여 상기 제1에너지를 계산하는 방법에 대해 설명한다. Next, a method of calculating the first energy in consideration of the size fit of the detected object OB will be described.

엣지 컴퓨팅 모듈(11)은 객체(OB)가 검출된 영상 프레임들(예컨대, VF1-3~VF1-m)을 선택한다. The edge computing module 11 selects image frames (eg, VF1-3 to VF1-m) in which the object OB is detected.

엣지 컴퓨팅 모듈(11)은 상기 선택된 영상 프레임들(VF1-3~VF1-m) 중 어느 하나의 영상 프레임(예컨대, VF1-3)에서 상기 검출된 객체(OB)의 픽셀 값들을 카운트하여 상기 검출된 객체(OB)의 사이즈를 계산한다. 상기 검출된 객체(OB)의 픽셀 값들을 카운트한다함은 상기 검출된 객체(OB)의 내부에 포함된 픽셀들을 카운트하는 것을 의미한다. The edge computing module 11 counts pixel values of the detected object OB in any one of the selected image frames VF1-3 to VF1-m (for example, VF1-3) to detect the The size of the object OB is calculated. Counting pixel values of the detected object OB means counting pixels included in the detected object OB.

엣지 컴퓨팅 모듈(11)은 상기 검출된 객체(OB)의 사이즈와 평균 객체 사이즈의 차이 값을 계산한다. The edge computing module 11 calculates a difference value between the size of the detected object OB and the average object size.

엣지 컴퓨팅 모듈(11)은 상기 검출된 객체(OB)의 사이즈와 상기 평균 객체 사이즈의 차이 값을 상기 평균 객체 사이즈로 나누어 상기 검출된 객체(OB)의 크기 적합도(ISOP; Interested Object Size Point)를 계산한다. The edge computing module 11 divides the difference value between the size of the detected object OB and the average object size by the average object size, and calculates an Interested Object Size Point (ISOP) of the detected object OB. Calculate.

상기 크기 적합도(ISOP)는 아래의 수학식과 같이 정의될 수 있다. The size suitability (ISOP) may be defined as in the following equation.

[수학식 2] [Equation 2]

IOSP = 1 - ( | OBS - AOBS | / AOBS )IOSP = 1-(| OBS-AOBS | / AOBS)

상기 IOSP는 상기 크기 적합도를, 상기 OBS는 검출된 객체(OB)의 사이즈를, 상기 AOBS는 평균 객체 사이즈를 나타낸다. 평균 객체 사이즈(AOBS)는 학습을 통해 얻어진 객체 사이즈들의 평균을 의미한다. 상기 학습이란 인공 신경망을 적용하여 객체 사이즈들을 추론한 것을 의미한다. The IOSP represents the size fit, the OBS represents the size of the detected object OB, and the AOBS represents the average object size. The average object size (AOBS) means the average of object sizes obtained through learning. The learning refers to inferring object sizes by applying an artificial neural network.

크기 적합도(IOSP)는 관심 있는 객체만을 선택하기 위해 이용된다. 예컨대, 관심 있는 객체가 성인 남자라면, 평균 객체 사이즈(AOBS)는 성인 남자의 평균 객체 사이즈를 이용하여 성인 남자인 객체만이 추론될 수 있다. 만약, 검출된 객체(OB)가 사람이 아니라 고양이, 또는 비둘기와 같은 동물이라면, 크기 적합도(IOSP)는 검출된 객체(OBS)가 사람일 때보다 상대적으로 큰 값을 가질 것이다. 상기 검출된 객체(OB)의 크기 적합도(IOSP)는 0에서 1 사이의 값을 가진다. The size fit (IOSP) is used to select only the objects of interest. For example, if the object of interest is an adult male, the average object size (AOBS) can be inferred only by the adult male object using the average object size of the adult male. If the detected object OB is not a human but an animal such as a cat or pigeon, the size fit (IOSP) will have a relatively larger value than when the detected object OBS is a human. The size fit (IOSP) of the detected object OB has a value between 0 and 1.

엣지 컴퓨팅 모듈(11)은 상기 검출된 객체(OB)의 크기 적합도(IOSP)를 상기 객체(OB)의 제1에너지로 계산할 수 있다. The edge computing module 11 may calculate a size fit (IOSP) of the detected object OB as the first energy of the object OB.

엣지 컴퓨팅 모듈(11)은 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정한다. 상기 계산된 제1에너지의 범위는 0에서 1 사이의 값을 가질 수 있다. 상기 임의의 문턱값은 0에서 1 사이의 값 중 어느 하나의 값(예컨대, 0.3)일 수 있다. The edge computing module 11 determines whether the calculated first energy is greater than an arbitrary threshold. The calculated range of the first energy may have a value between 0 and 1. The arbitrary threshold value may be any one of a value between 0 and 1 (eg, 0.3).

상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 엣지 컴퓨팅 모듈(11)은 복수의 IP 카메라들(10-1~10-n) 중 제1IP 카메라(10-1)가 속한 그룹(예컨대, 제1그룹)을 제외한 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹; p는 자연수) 중 어느 하나의 그룹(예컨대, 제2그룹)으로 제1복수의 영상 프레임들(VF1)의 전송 요구 신호를 전송할 수 있다.When the calculated first energy is greater than the predetermined threshold value, the edge computing module 11 includes a group to which the first IP camera 10-1 belongs among the plurality of IP cameras 10-1 to 10-n ( For example, a group (eg, a second group) of the remaining groups (eg, the second group to the p-th group; p is a natural number) except for the first group). Transmission request signal can be transmitted.

실시 예에 따라 엣지 컴퓨팅 모듈(11)은 상기 검출된 객체(OB)의 움직임 변화율(MCR)과 상기 검출된 객체(OB)의 크기 적합도(ISOP)의 합을 상기 객체(OB)의 제1에너지로 계산할 수 있다. 상기 객체(OB)의 제1에너지는 아래의 수학식으로 표현될 수 있다. According to an embodiment, the edge computing module 11 calculates the sum of the motion change rate MCR of the detected object OB and the ISOP of the detected object OB as the first energy of the object OB. Can be calculated as The first energy of the object OB may be expressed by the following equation.

[수학식 3][Equation 3]

EN = α * MCR + β * IOSP EN = α * MCR + β * IOSP

상기 EN은 제1에너지를, 상기 α와 상기 β는 계수를, 상기 MCR은 움직임 변화율을, 상기 IOSP는 크기 적합도를 나타낸다. 제1에너지(EN)는 0에서 2 사이의 값을 가지며, 계수(α, β), 움직임 변화율(MCR), 또는 크기 적합도(IOSP)는 0에서 1 사이의 값을 가진다. 계수(α, β)는 움직임 변화율(MCR)과 크기 적합도(IOSP)의 중요성에 따라 임의적으로 결정될 수 있다. 예컨대, 움직임 변화율(MCR)이 중요하다고 판단될 때, 계수(α)가 계수(β)보다 상대적으로 큰 값을 가질 수 있다. 반대로, 크기 적합도(IOSP)가 중요하다고 판단될 때, 계수(β)가 계수(α)보다 상대적으로 큰 값을 가질 수 있다. 움직임 변화율(MCR)과 크기 적합도(IOSP)의 중요성은 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템(100)의 적용 분야에 따라 결정될 수 있다. The EN represents a first energy, α and β represent a coefficient, the MCR represents a motion change rate, and the IOSP represents a size fit. The first energy EN has a value between 0 and 2, and the coefficients α and β, the motion change rate MCR, or the magnitude fit (IOSP) have a value between 0 and 1. The coefficients α and β may be arbitrarily determined according to the importance of the motion change rate (MCR) and the size fit (IOSP). For example, when it is determined that the motion change rate MCR is important, the coefficient α may have a relatively larger value than the coefficient β. Conversely, when it is determined that the size fit (IOSP) is important, the coefficient β may have a relatively larger value than the coefficient α. The importance of the motion change rate (MCR) and size fit (IOSP) may be determined according to the application field of the edge computing-based artificial intelligence video surveillance system 100.

엣지 컴퓨팅 모듈(11)은 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정한다. 상기 임의의 문턱값은 0에서 2 사이의 값 중 어느 하나의 값(예컨대, 0.3)일 수 있다. The edge computing module 11 determines whether the calculated first energy is greater than an arbitrary threshold. The arbitrary threshold may be any one of a value between 0 and 2 (eg, 0.3).

상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 엣지 컴퓨팅 모듈(11)은 복수의 IP 카메라들(10-1~10-n) 중 제1IP 카메라(10-1)가 속한 그룹(예컨대, 제1그룹)을 제외한 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹; p는 자연수) 중 어느 하나의 그룹(예컨대, 제2그룹)으로 제1복수의 영상 프레임들(VF1)의 전송 요구 신호를 전송할 수 있다. When the calculated first energy is greater than the predetermined threshold value, the edge computing module 11 includes a group to which the first IP camera 10-1 belongs among the plurality of IP cameras 10-1 to 10-n ( For example, a group (eg, a second group) of the remaining groups (eg, the second group to the p-th group; p is a natural number) except for the first group). Transmission request signal can be transmitted.

마지막으로, 상기 검출된 객체(OB)의 사이즈 비율을 고려하여 상기 제1에너지를 계산하는 방법에 대해 설명한다. Finally, a method of calculating the first energy in consideration of the size ratio of the detected object OB will be described.

엣지 컴퓨팅 모듈(11)은 객체(OB)가 검출된 영상 프레임들(예컨대, VF1-3~VF1-m)을 선택한다. The edge computing module 11 selects image frames (eg, VF1-3 to VF1-m) in which the object OB is detected.

엣지 컴퓨팅 모듈(11)은 상기 계산된 객체의 사이즈(OBS)를 상기 어느 하나의 IP　카메라(예컨대, 10-1)의 해상도로 나누어 상기 선택된 영상 프레임들(VF1-3~VF1-m) 중 어느 하나의 영상 프레임(예컨대, VF1-3)에서 상기 검출된 객체(OB)의 사이즈 비율(OSR; Object Size Rate)을 계산한다. 상기 검출된 객체(OB)의 사이즈 비율(OSR; Object Size Rate)을 계산하는 이유는 복수의 IP 카메라들(10-1~10-n)의 해상도에 따라 실제 객체의 사이즈와 달리 객체의 사이즈(OBS)가 계산될 수 있기 때문이다. IP 카메라(예컨대, 10-1)의 해상도가 낮을 때, 실제 객체(OB)의 크기보다 객체의 사이즈(OBS)가 크게 계산될 수 있다. 상기 검출된 객체(OB)의 사이즈 비율(OSR)의 값은 0에서 1 사이의 값을 가진다. The edge computing module 11 divides the calculated object size (OBS) by the resolution of any one IP camera (eg, 10-1) and divides any of the selected image frames (VF1-3 to VF1-m). An object size rate (OSR) of the detected object OB is calculated in one image frame (eg, VF1-3). The reason for calculating the object size rate (OSR) of the detected object OB is that the size of the object is different from the size of the actual object according to the resolution of the plurality of IP cameras 10-1 to 10-n. OBS) can be calculated. When the resolution of the IP camera (eg, 10-1) is low, the size of the object (OBS) may be larger than the size of the actual object (OB). The value of the size ratio OSR of the detected object OB has a value between 0 and 1.

엣지 컴퓨팅 모듈(11)은 상기 검출된 객체(OB)의 사이즈 비율(OSR)을 상기 객체(OB)의 제1에너지로 계산할 수 있다. The edge computing module 11 may calculate the size ratio OSR of the detected object OB as the first energy of the object OB.

엣지 컴퓨팅 모듈(11)은 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정한다. 상기 계산된 제1에너지의 범위는 0에서 1 사이의 값을 가질 수 있다. 상기 임의의 문턱값은 0에서 1 사이의 값 중 어느 하나의 값(예컨대, 0.3)일 수 있다. The edge computing module 11 determines whether the calculated first energy is greater than an arbitrary threshold. The calculated range of the first energy may have a value between 0 and 1. The arbitrary threshold value may be any one of a value between 0 and 1 (eg, 0.3).

상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 엣지 컴퓨팅 모듈(11)은 복수의 IP 카메라들(10-1~10-n) 중 제1IP 카메라(10-1)가 속한 그룹(예컨대, 제1그룹)을 제외한 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹; p는 자연수) 중 어느 하나의 그룹(예컨대, 제2그룹)으로 제1복수의 영상 프레임들(VF1)의 전송 요구 신호를 전송할 수 있다. When the calculated first energy is greater than the predetermined threshold value, the edge computing module 11 includes a group to which the first IP camera 10-1 belongs among the plurality of IP cameras 10-1 to 10-n ( For example, a group (eg, a second group) of the remaining groups (eg, the second group to the p-th group; p is a natural number) except for the first group). Transmission request signal can be transmitted.

실시 예에 따라 엣지 컴퓨팅 모듈(11)은 상기 검출된 객체(OB)의 움직임 변화율(MCR), 상기 검출된 객체(OB)의 크기 적합도(IOSP), 및 상기 검출된 객체(OB)의 사이즈 비율(OSR)의 합을 객체(OB)의 제1에너지로 계산할 수 있다. 상기 객체(OB)의 제1에너지는 아래의 수학식으로 표현될 수 있다. According to an embodiment, the edge computing module 11 includes a motion change rate (MCR) of the detected object (OB), a size fit (IOSP) of the detected object (OB), and a size ratio of the detected object (OB). The sum of (OSR) can be calculated as the first energy of the object (OB). The first energy of the object OB may be expressed by the following equation.

[수학식 4][Equation 4]

EN = α * MCR + β * IOSP+γ*OSREN = α * MCR + β * IOSP+γ*OSR

상기 EN은 제1에너지를, 상기 α, 상기 β, 및 상기 γ는 계수를, 상기 MCR은 움직임 변화율을, 상기 IOSP는 크기 적합도를, 상기 OSR은 사이즈 비율을 나타낸다. The EN represents a first energy, α, the β, and γ represent a coefficient, the MCR represents a motion change rate, the IOSP represents a size fit, and the OSR represents a size ratio.

제1에너지(EN)는 0에서 3 사이의 값을 가지며, 계수(α, β, γ), 움직임 변화율(MCR), 크기 적합도(IOSP), 또는 사이즈 비율(OSR)은 0에서 1 사이의 값을 가진다. The first energy (EN) has a value between 0 and 3, and the coefficient (α, β, γ), motion change rate (MCR), size fit (IOSP), or size ratio (OSR) is a value between 0 and 1. Have.

엣지 컴퓨팅 모듈(11)은 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정한다. 상기 임의의 문턱값은 0에서 3 사이의 값 중 어느 하나의 값(예컨대, 0.3)일 수 있다. 계수(α, β, γ)와 상기 임의의 문턱값은 인공 신경망의 학습을 통해 결정될 수 있다. 상기 인공 신경망의 학습에 대해서는 도 4에서 자세히 설명될 것이다. The edge computing module 11 determines whether the calculated first energy is greater than an arbitrary threshold. The arbitrary threshold value may be any one of a value between 0 and 3 (eg, 0.3). The coefficients α, β, and γ and the arbitrary threshold values may be determined through learning of an artificial neural network. Learning of the artificial neural network will be described in detail in FIG. 4.

상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 엣지 컴퓨팅 모듈(11)은 복수의 IP 카메라들(10-1~10-n) 중 제1IP 카메라(10-1)가 속한 그룹(예컨대, 제1그룹)을 제외한 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹; p는 자연수) 중 어느 하나의 그룹(예컨대, 제2그룹)으로 제1복수의 영상 프레임들(VF1)의 전송 요구 신호를 전송할 수 있다. When the calculated first energy is greater than the predetermined threshold value, the edge computing module 11 includes a group to which the first IP camera 10-1 belongs among the plurality of IP cameras 10-1 to 10-n ( For example, a group (eg, a second group) of the remaining groups (eg, the second group to the p-th group; p is a natural number) except for the first group). Transmission request signal can be transmitted.

상기 계산된 제1에너지가 상기 임의의 문턱값보다 작을 때, 엣지 컴퓨팅 모듈(11)은 객체(OB)가 관심 객체가 아닌 것으로 판단하여, 제1복수의 영상 프레임들(VF1)을 엣지 컴퓨팅 모듈(11)은 복수의 IP 카메라들(10-1~10-n) 중 제1IP 카메라(10-1)가 속한 그룹(예컨대, 제1그룹)을 제외한 나머지 그룹들(예컨대, 제2그룹 내지 제p그룹; p는 자연수) 중 어느 하나의 그룹(예컨대, 제2그룹)에 속하는 임의의 다른 IP 카메라(예컨대, 10-5)로 전송하지 않는다. When the calculated first energy is less than the arbitrary threshold, the edge computing module 11 determines that the object OB is not the object of interest, and the first plurality of image frames VF1 is converted to the edge computing module. (11) of the plurality of IP cameras 10-1 to 10-n, except for the group to which the first IP camera 10-1 belongs (e.g., the first group) It does not transmit to any other IP camera (eg, 10-5) belonging to any one group (eg, the second group) among group p; p is a natural number.

도 4는 도 2에 도시된 엣지 컴퓨팅 모듈의 에너지 계산에 필요한 계수들의 설정 방법을 설명하기 위한 흐름도를 나타낸다. 4 is a flowchart illustrating a method of setting coefficients required for energy calculation of the edge computing module illustrated in FIG. 2.

도 2와 도 4를 참고하면, 엣지 컴퓨팅 모듈(11)은 학습을 위한 영상 프레임 데이터와 객체 정보를 외부(예컨대, 외부 메모리(미도시), 또는 서버(30))로부터 수신한다(S10). 2 and 4, the edge computing module 11 receives image frame data and object information for learning from an external device (eg, an external memory (not shown) or the server 30) (S10).

엣지 컴퓨팅 모듈(11)은 상기 학습을 위한 객체 정보에 대해 움직임 변화율(MCR), 크기 적합도(ISOP), 및 사이즈 비율(OSR)을 계산한다(S20). The edge computing module 11 calculates a motion change rate (MCR), a size fit (ISOP), and a size ratio (OSR) for the object information for learning (S20).

엣지 컴퓨팅 모듈(11)은 상기 학습을 위한 객체 정보에 대해 움직임 변화율(MCR), 크기 적합도(IOSP), 및 사이즈 비율(OSR)의 합을 상기 학습을 위한 객체 정보의 에너지로 계산한다(S30). 상기 학습을 위한 객체 정보의 에너지는 수학식 4에 따라 계산된다. The edge computing module 11 calculates the sum of a motion change rate (MCR), a size fit (IOSP), and a size ratio (OSR) for the object information for learning as energy of the object information for learning (S30). . The energy of the object information for learning is calculated according to Equation 4.

엣지 컴퓨팅 모듈(11)은 상기 학습을 위한 객체 정보에 관심이 있는지 결정한다(S40). 상기 학습을 위한 객체 정보는 미리 결정된다. The edge computing module 11 determines whether it is interested in the object information for learning (S40). Object information for the learning is predetermined.

엣지 컴퓨팅 모듈(11)은 상기 학습을 위한 객체 정보에 관심이 있다고 판단시, 엣지 컴퓨팅 모듈(11)은 상기 객체 정보의 에너지가 최대가 되도록 계수들(상기 수학식 4에서 α, β, 및 γ)을 조정한다(S50).When the edge computing module 11 determines that it is interested in the object information for learning, the edge computing module 11 calculates the coefficients so that the energy of the object information is maximized (α, β, and γ in Equation 4 above). ) To adjust (S50).

엣지 컴퓨팅 모듈(11)은 상기 학습을 위한 객체 정보에 관심이 없다고 판단시, 엣지 컴퓨팅 모듈(11)은 상기 객체 정보의 에너지가 최소가 되도록 계수들(상기 수학식 4에서 α, β, 및 γ)을 조정한다(S60).When it is determined that the edge computing module 11 is not interested in the object information for learning, the edge computing module 11 performs coefficients (α, β, and γ in Equation 4 above) so that the energy of the object information is minimized. ) To adjust (S60).

엣지 컴퓨팅 모듈(11)은 학습이 종료될 때까지 반복적으로 학습을 수행한다(S70). The edge computing module 11 repeatedly performs learning until the learning is completed (S70).

엣지 컴퓨팅 모듈(11)은 상기 수학식 4에 상기 학습을 통해 조정된 계수들을 적용하고, 상기 객체 정보에 관심이 있다고 판단할 때의 객체 정보의 에너지를 임의의 문턱값으로 설정한다(S80). The edge computing module 11 applies the coefficients adjusted through the learning to Equation 4, and sets the energy of the object information as an arbitrary threshold when determining that the object information is of interest (S80).

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to an embodiment illustrated in the drawings, this is only exemplary, and those of ordinary skill in the art will understand that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical idea of the attached registration claims.

100: 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템;
101: 네트워크;
10-1~10-n: 복수의 IP 카메라들;
11: 엣지 컴퓨팅 모듈;
13: 프로세서;
15: 메모리;
17: 카메라 모듈;
19: 위치 센서;
30: 서버;
40: 클라이언트;100: An artificial intelligence video surveillance system based on edge computing in a hazardous area;
101: network;
10-1 to 10-n: a plurality of IP cameras;
11: edge computing module;
13: processor;
15: memory;
17: camera module;
19: position sensor;
30: server;
40: client;

Claims (5)

복수의 IP 카메라들과 상기 복수의 IP 카메라들과 네트워크를 통해 통신이 가능한 서버를 포함하며, 상기 복수의 IP 카메라들 각각은 엣지 컴퓨팅 모듈과 카메라 모듈을 포함하는 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 동작 방법에 있어서,
상기 복수의 IP 카메라들 중 어느 하나의 IP 카메라의 엣지 컴퓨팅 모듈은 상기 서버로 상기 IP 카메라의 위치 좌표를 전송하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 서버로부터 상기 IP 카메라가 상기 복수의 IP 카메라들 중 어떤 그룹에 속하는지 나타내는 그룹 아이디를 수신하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 카메라 모듈로부터 제1복수의 영상 프레임들을 수신하는 단계;
상기 엣지 컴퓨팅 모듈은 배경 영상 프레임을 이용하여 상기 제1복수의 영상 프레임들에서 객체를 검출하고, 상기 객체가 검출된 영상 프레임들을 선택하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정하는 단계;
상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 상기 엣지 컴퓨팅 모듈은 상기 복수의 IP 카메라들 중 상기 IP 카메라가 속한 그룹을 제외한 나머지 그룹들 중 어느 하나의 그룹에 속한 다른 IP 카메라로 상기 제1복수의 영상 프레임들의 전송 요구 신호를 전송하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 전송 요구 신호를 전송 후, 상기 나머지 그룹들 중 어느 하나의 그룹에 속한 다른 IP 카메라로부터 전송 가능 신호를 수신하는 단계; 및
상기 엣지 컴퓨팅 모듈은 상기 전송 가능 신호를 수신한 후, 상기 제1복수의 영상 프레임들을 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 전송하는 단계를 포함하는 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 동작 방법.A plurality of IP cameras and a server capable of communicating with the plurality of IP cameras through a network are included, and each of the plurality of IP cameras includes an edge computing module and a camera module. In the operation method of the intelligent video surveillance system,
An edge computing module of any one of the plurality of IP cameras transmitting the location coordinates of the IP camera to the server;
The edge computing module receiving, from the server, a group ID indicating which group the IP camera belongs to among the plurality of IP cameras;
The edge computing module receiving a first plurality of image frames from the camera module;
The edge computing module detecting an object from the first plurality of image frames using a background image frame and selecting image frames in which the object is detected;
The edge computing module calculating a first energy of the object from the selected image frames;
Determining, by the edge computing module, whether the calculated first energy is greater than an arbitrary threshold value;
When the calculated first energy is greater than the predetermined threshold, the edge computing module transfers to another IP camera belonging to any one of the remaining groups excluding the group to which the IP camera belongs among the plurality of IP cameras. Transmitting a transmission request signal of the first plurality of image frames;
The edge computing module, after transmitting the transmission request signal, receiving a transmission possible signal from another IP camera belonging to one of the remaining groups; And
After receiving the transmittable signal, the edge computing module transmits the first plurality of image frames to another IP camera belonging to any one of the remaining groups. How to operate the artificial intelligence video surveillance system. 제1항에 있어서, 상기 그룹 아이디는,
상기 서버가 상기 복수의 IP 카메라들 각각으로부터 각각의 위치 좌표들을 수신하고, 상기 수신된 위치 좌표들에 따라 상기 복수의 IP 카메라들을 복수의 그룹들로 분류하고, 상기 분류된 복수의 그룹들 각각에 대해 아이디를 부여하여 생성되는 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 동작 방법. The method of claim 1, wherein the group ID,
The server receives the respective position coordinates from each of the plurality of IP cameras, classifies the plurality of IP cameras into a plurality of groups according to the received position coordinates, and each of the classified plurality of groups A method of operating an artificial intelligence video surveillance system based on edge computing in a dangerous area that is created by assigning an ID. 제1항에 있어서, 상기 엣지 컴퓨팅 모듈은 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하는 단계는,
상기 엣지 컴퓨팅 모듈은 상기 선택된 영상 프레임들 중 2개의 영상 프레임들 각각에서 X축 방향과 Y축 방향으로 상기 검출된 객체의 누적 픽셀 값들을 계산하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 2개의 영상 프레임들 각각에서 계산된 누적 픽셀 값들의 중간 값들을 상기 검출된 객체의 무게 중심들로 설정하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 2개의 영상 프레임들 각각에서 설정된 무게 중심들의 차이 값을 계산하는 단계;
상기 엣지 컴퓨팅 모듈은 상기 계산된 차이 값에서 모션 벡터의 최대 값으로 나누어 상기 검출된 객체의 움직임 변화율을 계산하는 단계; 및
상기 엣지 컴퓨팅 모듈은 상기 검출된 객체의 움직임 변화율을 상기 객체의 제1에너지로 계산하는 단계를 포함하는 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 동작 방법. The method of claim 1, wherein the edge computing module calculates the first energy of the object from the selected image frames,
The edge computing module calculating accumulated pixel values of the detected object in an X-axis direction and a Y-axis direction in each of two image frames among the selected image frames;
The edge computing module setting intermediate values of accumulated pixel values calculated in each of the two image frames as centers of gravity of the detected object;
The edge computing module calculating a difference value between centers of gravity set in each of the two image frames;
The edge computing module calculating a motion change rate of the detected object by dividing the calculated difference value by a maximum value of a motion vector; And
The edge computing module operating method of an artificial intelligence video surveillance system based on edge computing in a dangerous area, comprising the step of calculating a rate of change in motion of the detected object as the first energy of the object. 각각이 엣지 컴퓨팅 모듈과 카메라 모듈을 포함하는 복수의 IP 카메라들; 및
상기 복수의 IP 카메라들과 네트워크를 통해 통신이 가능한 서버를 포함하며,
상기 복수의 IP 카메라들 중 어느 하나의 IP 카메라의 엣지 컴퓨팅 모듈은,
명령들을 실행하는 프로세서; 및
상기 명령들을 저장하는 메모리를 포함하며,
상기 명령들은,
상기 서버로 상기 IP 카메라의 위치 좌표를 전송하며, 상기 서버로부터 상기 IP 카메라가 상기 복수의 IP 카메라들 중 어떤 그룹에 속하는지 나타내는 그룹 아이디를 수신하며, 상기 어느 하나의 IP 카메라의 상기 카메라 모듈로부터 제1복수의 영상 프레임들을 수신하며, 배경 영상 프레임을 이용하여 상기 제1복수의 영상 프레임들에서 객체를 검출하고, 상기 객체가 검출된 영상 프레임들을 선택하며, 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하며, 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정하며, 상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 상기 복수의 IP 카메라들 중 상기 IP 카메라가 속한 그룹을 제외한 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 상기 제1복수의 영상 프레임들의 전송 요구 신호를 전송하며, 상기 전송 요구 신호를 전송 후, 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로부터 전송 가능 신호를 수신하며, 상기 전송 가능 신호를 수신한 후, 상기 제1복수의 영상 프레임들을 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 전송하도록 구현되는 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템.A plurality of IP cameras each including an edge computing module and a camera module; And
It includes a server capable of communicating with the plurality of IP cameras through a network,
The edge computing module of any one of the plurality of IP cameras,
A processor that executes instructions; And
And a memory for storing the instructions,
The above commands are:
Transmitting the location coordinates of the IP camera to the server, receiving a group ID indicating which group of the plurality of IP cameras the IP camera belongs to from the server, and from the camera module of the IP camera It receives a first plurality of image frames, detects an object from the first plurality of image frames using a background image frame, selects image frames from which the object is detected, and selects the image frames from which the object is detected. Calculate a first energy, determine whether the calculated first energy is greater than an arbitrary threshold value, and when the calculated first energy is greater than the arbitrary threshold value, the IP camera among the plurality of IP cameras Transmitting a transmission request signal of the first plurality of video frames to another IP camera belonging to any one of the other groups except the group to which it belongs, and after transmitting the transmission request signal, any one of the remaining groups Danger of being implemented to receive a transmittable signal from another IP camera belonging to and to transmit the first plurality of image frames to another IP camera belonging to any one of the remaining groups after receiving the transmittable signal An artificial intelligence video surveillance system based on edge computing in the region. 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 IP 카메라에 있어서,
주변을 촬영하여 제1복수의 영상 프레임들을 생성하는 카메라 모듈; 및
명령들을 실행하는 프로세서와, 상기 명령들을 저장하는 메모리를 포함하는 엣지 컴퓨팅 모듈을 포함하며,
상기 명령들은,
서버로 상기 IP 카메라의 위치 좌표를 전송하며, 상기 서버로부터 상기 IP 카메라가 복수의 IP 카메라들 중 어떤 그룹에 속하는지 나타내는 그룹 아이디를 수신하며, 상기 카메라 모듈로부터 제1복수의 영상 프레임들을 수신하며, 배경 영상 프레임을 이용하여 상기 제1복수의 영상 프레임들에서 객체를 검출하고, 상기 객체가 검출된 영상 프레임들을 선택하며, 상기 선택된 영상 프레임들에서 상기 객체의 제1에너지를 계산하며, 상기 계산된 제1에너지가 임의의 문턱값보다 큰지 결정하며, 상기 계산된 제1에너지가 상기 임의의 문턱값보다 클 때, 상기 복수의 IP 카메라들 중 상기 IP 카메라가 속한 그룹을 제외한 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 상기 제1복수의 영상 프레임들의 전송 요구 신호를 전송하며, 상기 전송 요구 신호를 전송 후, 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로부터 전송 가능 신호를 수신하며, 상기 전송 가능 신호를 수신한 후, 상기 제1복수의 영상 프레임들을 상기 나머지 그룹들 중 어느 하나의 그룹에 속하는 다른 IP 카메라로 전송하도록 구현되는 위험 지역에서의 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 IP 카메라.




In the IP camera of an artificial intelligence video surveillance system based on edge computing in a hazardous area,
A camera module that photographs the surroundings and generates a first plurality of image frames; And
An edge computing module including a processor that executes instructions and a memory that stores the instructions,
The above commands are:
Transmitting the location coordinates of the IP camera to a server, receiving a group ID indicating which group the IP camera belongs to among a plurality of IP cameras from the server, receiving a first plurality of image frames from the camera module, and , Detecting an object from the first plurality of image frames using a background image frame, selecting image frames in which the object is detected, calculating a first energy of the object from the selected image frames, and the calculation It is determined whether the generated first energy is greater than an arbitrary threshold value, and when the calculated first energy is greater than the arbitrary threshold value, any of the remaining groups other than the group to which the IP camera belongs among the plurality of IP cameras. Transmitting a transmission request signal of the first plurality of video frames to another IP camera belonging to one group, and after transmitting the transmission request signal, a transmission available signal from another IP camera belonging to any one of the remaining groups And, after receiving the transmittable signal, edge computing-based artificial intelligence in a dangerous area implemented to transmit the first plurality of image frames to another IP camera belonging to any one of the remaining groups IP camera in video surveillance system.
KR1020200187351A 2020-12-30 2020-12-30 Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof KR102247112B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200187351A KR102247112B1 (en) 2020-12-30 2020-12-30 Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200187351A KR102247112B1 (en) 2020-12-30 2020-12-30 Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof

Publications (1)

Publication Number Publication Date
KR102247112B1 true KR102247112B1 (en) 2021-05-03

Family

ID=75910604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200187351A KR102247112B1 (en) 2020-12-30 2020-12-30 Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof

Country Status (1)

Country Link
KR (1) KR102247112B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101081861B1 (en) * 2009-06-29 2011-11-09 주식회사세오 Violence detection method by analyzing the motion image of moving peoples
KR20130136251A (en) * 2012-06-04 2013-12-12 한국전자통신연구원 Method and apparatus for situation recognition using object energy function
KR102163280B1 (en) 2018-09-19 2020-10-08 주식회사 맥데이타 An apparatus for network monitoring based on edge computing and method thereof, and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101081861B1 (en) * 2009-06-29 2011-11-09 주식회사세오 Violence detection method by analyzing the motion image of moving peoples
KR20130136251A (en) * 2012-06-04 2013-12-12 한국전자통신연구원 Method and apparatus for situation recognition using object energy function
KR102163280B1 (en) 2018-09-19 2020-10-08 주식회사 맥데이타 An apparatus for network monitoring based on edge computing and method thereof, and system

Similar Documents

Publication Publication Date Title
KR102414902B1 (en) Method for recommending artificial intelligence model for analyzing vedio data according to camera installation environment and purpose
US11983909B2 (en) Responding to machine learning requests from multiple clients
US20220053071A1 (en) Preprocessing sensor data for machine learning
EP3506622A1 (en) Method for outputting a signal from an event based sensor, and event-based sensor using such method
US10769448B2 (en) Surveillance system and surveillance method
US9129397B2 (en) Human tracking method and apparatus using color histogram
JP2018207222A (en) Camera and parameter registration method
KR102247111B1 (en) Edge computing based artificial intelligence video surveillance system and its operation method
JP2018205900A (en) Monitoring system and monitoring method
Crowley Context driven observation of human activity
KR102247112B1 (en) Edge computing-based IP camera in hazardous areas, artificial intelligence video surveillance system including the same, and operation method thereof
US11209796B2 (en) Surveillance system with intelligent robotic surveillance device
KR20220000493A (en) Method for providing modularized artificial intelligence model platform service
CN114339168B (en) Regional security monitoring method and device, electronic equipment and storage medium
KR20200008229A (en) Intelligence Fire Detecting System Using CCTV
KR102658563B1 (en) Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof
Hatanaka et al. 3-D visual coverage based on gradient descent algorithm on matrix manifolds and its application to moving objects monitoring
KR102445971B1 (en) Video surveillance method and system using radar and camera
CN114724092A (en) Monitoring system for online real-time upgrading
Dasari et al. Distributed computation offloading framework for the tactical edge
Chen et al. Camera handoff with adaptive resource management for multi-camera multi-target surveillance
KR20220147046A (en) Fusion method and system using radar and camera
CN213715948U (en) Lightweight and multi-pose face detection and recognition system based on deep learning
Pedreiras et al. Enhancing the reactivity of the vision subsystem in autonomous mobile robots using real-time techniques
CN116567402B (en) Light source controller trigger delay control method and system

Legal Events

Date Code Title Description
GRNT Written decision to grant