KR102475171B1 - System and Method for monitoring composite fire based on Artificial Intelligent Closed Circuit Television - Google Patents

Abstract

Disclosed in the present invention is a composite fire surveillance system, which can reduce non-fire alarms in various fire situations, accurately determine whether a fire occurs, and quickly notify a situation. The composite fire surveillance system comprises: a plurality of fire sensors which detect a fire and generate fire information; a plurality of intelligent closed circuit televisions (CCTVs) which generate information on the scene of the fire based on events occurring at the scene of the fire and analyze the fire to generate analysis information; and an operating platform which determines whether a real fire has occurred at the location where the fire is occurred using at least one of the fire information and the analysis information.

Description

지능형 CCTV 기반 복합 화재 감시 시스템 및 방법{System and Method for monitoring composite fire based on Artificial Intelligent Closed Circuit Television} System and method for monitoring composite fire based on intelligent CCTV {System and Method for monitoring composite fire based on Artificial Intelligent Closed Circuit Television}

본 발명은 화재 감시 기술에 관한 것으로서, 더 상세하게는 다양한 이상 상황을 인식하기 위해 IoT(Internet of Things) 기반 센서, AI CCTV(Artificial Intelligent Closed Circuit Television), 및 음원 탐지기를 이용하여 센서와 엣지 컴퓨팅 기반으로 구현되는 복합 화재 감시 시스템 및 방법에 대한 것이다.The present invention relates to a fire monitoring technology, and more particularly, to recognize various abnormal situations using sensors and edge computing using IoT (Internet of Things) based sensors, AI CCTV (Artificial Intelligent Closed Circuit Television), and sound source detectors. It is about a complex fire monitoring system and method implemented based on

일반적인 센서 기반 감시 시스템은 화재로부터 발생하는 열과 연기 등을 감지하여 설정한 임계값을 넘게 되면 화재발생으로 판단하여 관계자에게 경보하는 시스템이다. 이러한 센서 기반 감시 시스템은 온도가 충분히 높거나 연기가 충분히 두꺼운 경우에 경고를 제공하는 열 감지기 및 연기 감지기를 이용한다. A general sensor-based monitoring system is a system that detects heat and smoke generated from a fire, determines that a fire has occurred when a set threshold value is exceeded, and alerts a person concerned. These sensor-based monitoring systems use heat detectors and smoke detectors to provide warnings if the temperature is high enough or the smoke is thick enough.

여러 가지 빌딩 환경에서 잘 동작하고 안정적으로 경고를 제공하기 때문에, 거의 모든 빌딩 특히, 사무 빌딩에서 찾아볼 수 있다. 하지만, 화재가 충분히 강력할 때만 경고 메시지가 보내지므로 진화하기에는 이미 늦는 경우가 많다.It can be found in almost any building, especially office buildings, because it works well in many building environments and provides reliable alerts. However, warning messages are only sent when the fire is strong enough, so it is often too late to extinguish it.

그러나, 이러한 화재 감시 시스템은 설계시의 의도와는 다른 오보를 자주 발생시킨다. 예를 들어 열감지기의 경우는 화재가 아닌 경우에 발생하는 열에 의해서도 화재신호를 발생시킨다는 문제점이 있다.However, such a fire monitoring system frequently generates false information that is different from the design intent. For example, in the case of a heat sensor, there is a problem in that a fire signal is generated even by heat generated when there is no fire.

또한, 연기 감지기의 경우에도 역시 화재에 의한 연기외의 신호에도 화재신호를 발생시킨다는 문제점이 있다. In addition, in the case of a smoke detector, there is also a problem in that a fire signal is generated even in a signal other than smoke caused by a fire.

1. 한국등록특허번호 제10-2069270호(등록일자: 2020년01월16일)1. Korea Patent Registration No. 10-2069270 (registration date: January 16, 2020)

본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 다양한 화재 상황에서 비화재보 알람을 줄이고 정확한 화재 판정 및 신속하게 상황을 전파할 수 있는 복합 화재 감시 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the problems caused by the above background art, and its purpose is to provide a complex fire monitoring system and method capable of reducing non-fire alarms in various fire situations, accurately determining fire and quickly disseminating the situation. have.

또한, 본 발명은 IoT(Internet of Things) 화재 센서의 이벤트 정보를 받아 위치정보 및 센서정보를 지능형 CCTV(Closed Circuit Television)와 연동하고, 해당 위치 근처의 지능형 CCTV가 2차적으로 영상 및/또는 음원을 분석한 결과를 바탕으로 실화재 여부를 판단할 수 있는 복합 화재 감시 시스템 및 방법을 제공하는데 다른 목적이 있다. In addition, the present invention receives event information from an IoT (Internet of Things) fire sensor and interlocks location information and sensor information with an intelligent Closed Circuit Television (CCTV), and an intelligent CCTV near the location secondarily transmits video and/or sound sources. Another object is to provide a complex fire monitoring system and method that can determine whether or not there is a real fire based on the analysis results.

또한 본 발명은 AI(Artificial Intelligent) 박스(BOX)를 이용해 종단 장치 단계에서 화재 상황 분석이 가능하여, 별도의 서버 또는 센터가 필요없어 운영의 효율성을 높일 수 있는 복합 화재 감시 시스템 및 방법을 제공하는데 또다른 목적이 있다. In addition, the present invention provides a complex fire monitoring system and method that can analyze the fire situation at the terminal device stage using an AI (Artificial Intelligent) box (BOX), thereby increasing operational efficiency without requiring a separate server or center. It has another purpose.

본 발명은 위에서 제시된 과제를 달성하기 위해, 다양한 화재 상황에서 비화재보 알람을 줄이고 정확한 화재 판정 및 신속하게 상황을 전파할 수 있는 복합 화재 감시 시스템을 제공한다.In order to achieve the object presented above, the present invention provides a complex fire monitoring system capable of reducing non-fire alarms in various fire situations, accurately determining a fire, and rapidly disseminating the situation.

상기 복합 화재 감시 시스템은,The complex fire monitoring system,

화재를 감지하여 화재 정보를 생성하는 다수의 화재 센서;A plurality of fire sensors that detect fire and generate fire information;

화재 현장에서 발생하는 이벤트를 바탕으로 화재 현장 정보를 생성하고, 상기 화재를 분석하여 분석정보를 생성하는 다수의 지능형 CCTV (Closed Circuit Television); 및A plurality of intelligent Closed Circuit Televisions (CCTVs) that generate fire site information based on events occurring at the fire site and analyze the fire to generate analysis information; and

상기 화재 정보 및 상기 분석 정보 중 적어도 하나를 이용하여 상기 화재가 발생한 위치의 실화재 발생 여부를 판단하는 운영 플랫폼;을 포함하는 것을 특징으로 한다.and an operating platform for determining whether an actual fire has occurred at the location where the fire occurred using at least one of the fire information and the analysis information.

또한, 상기 화재 현장 정보는 연기 및 불꽃의 형상을 담은 영상 정보, 폭발음, 비명음 및 누출음의 음향을 담은 음향 정보, 및 언어적 발성음의 음성을 담은 음성 정보를 포함하는 것을 특징으로 한다.In addition, the fire scene information is characterized in that it includes image information containing the shape of smoke and flames, sound information containing sounds of explosions, screams and leakage sounds, and audio information containing voices of linguistic vocalizations.

또한, 상기 분석 정보는 상기 영상 정보를 분석하여 생성되는 영상 분석 정보, 상기 음향 정보를 분석하여 생성되는 음향 분석 정보, 및 상기 음성 정보를 분석하여 생성되는 음성 분석 정보를 포함하는 것을 특징으로 한다.The analysis information may include image analysis information generated by analyzing the image information, sound analysis information generated by analyzing the sound information, and voice analysis information generated by analyzing the audio information.

또한, 다수의 상기 지능형 CCTV는, 상기 영상 정보, 상기 음향 정보 및 상기 음성 정보를 생성하는 수집부; 및 상기 영상 정보, 상기 음향 정보 및 상기 음성 정보를 분석하여 각각 상기 영상 분석 정보, 상기 음향 분석 정보 및 상기 음성 분석 정보를 생성하는 분석부;를 포함하는 것을 특징으로 한다.In addition, a plurality of the intelligent CCTV, the image information, the collection unit for generating the sound information and the voice information; and an analyzer configured to analyze the image information, the sound information, and the voice information to generate the image analysis information, the sound analysis information, and the voice analysis information, respectively.

이때, 상기 분석은 딥러닝 연산을 이용하여 이루어지는 것을 특징으로 한다.At this time, the analysis is characterized in that it is made using deep learning operation.

또한, 상기 수집부는 상기 음향 정보 및 상기 음성 정보를 생성하기 위한 마이크 어레이;를 포함하는 것을 특징으로 한다.In addition, the collecting unit is characterized in that it includes; a microphone array for generating the sound information and the voice information.

이때, 상기 마이크 어레이는 2개 이상의 마이크로 구성되며, 2개 이상의 상기 마이크는 각각 고유한 방식으로 가청 음파를 녹음하는 것을 특징으로 한다.At this time, the microphone array is composed of two or more microphones, and each of the two or more microphones records audible sound waves in a unique manner.

또한, 상기 마이크 어레이의 설치 높이는 정탐 검출률의 정확도가 90%가 되도록 벽면 부착시 2.5M이고, 천장 부착시 2.8M인 것을 특징으로 한다.In addition, the installation height of the microphone array is characterized in that it is 2.5M when attached to the wall and 2.8M when attached to the ceiling so that the accuracy of the detection rate is 90%.

또한, 상기 분석부는 상기 음성 정보를 분석하여 특정 단어 및 상기 특정 단어의 특정 방향을 갖는 상기 음성 분석 정보를 생성하며, 상기 특정 방향은 좌측(0°), 중앙(90°), 및 우측(180°) 중 어느 하나인 것을 특징으로 한다.In addition, the analyzer analyzes the voice information to generate the voice analysis information having a specific word and a specific direction of the specific word, and the specific direction is left (0 °), center (90 °), and right (180 °). It is characterized in that any one of °).

또한, 상기 수집부는 상기 영상 정보를 생성하기 위한 다수의 이미지 센서;를 포함하는 것을 특징으로 한다.In addition, the collecting unit is characterized in that it comprises a plurality of image sensors for generating the image information.

이때, 다수의 이미지 센서는 특정의 검출률(r)과 특정의 정밀도(p)를 만족하도록 1개의 근거리의 이미지 센서, 1개의 중거리의 이미지 센서 및 1개의 원거리의 이미지 센서로 이루어지는 것을 특징으로 한다.At this time, the plurality of image sensors are characterized in that they consist of one short-range image sensor, one medium-range image sensor, and one long-distance image sensor so as to satisfy a specific detection rate (r) and a specific precision (p).

또한, 상기 특정의 검출률(r)은 상기 이벤트에 따라 0.940 내지 0.980이고, 상기 특정의 정밀도(p)는 상기 이벤트에 따라 0.940 내지 0.980인 것을 특징으로 한다.In addition, the specific detection rate r is 0.940 to 0.980 depending on the event, and the specific precision p is 0.940 to 0.980 depending on the event.

이때, 상기 검출률(r)은 수학식

으로 정의되고, 상기 정밀도(p)는 수학식

으로 정의되는 것을 특징으로 한다.At this time, the detection rate (r) is Equation

Is defined as, and the precision (p) is the equation

It is characterized by being defined as

또한, 상기 근거리는 10 ~ 14M이고, 상기 중거리는 15 ~ 19M이고, 상기 원거리는 20 ~ 30M인 것을 특징으로 한다.In addition, the short distance is 10 ~ 14M, the middle distance is 15 ~ 19M, and the long distance is characterized in that 20 ~ 30M.

또한, 상기 운영 플랫폼은 1차적으로 상기 화재 정보를 이용하여 상기 실화재 발생 여부를 판단하는 것을 특징으로 한다.In addition, the operating platform is characterized in that it primarily determines whether the actual fire occurs by using the fire information.

또한, 상기 운영 플랫폼은 상기 화재 정보로부터 획득되는 상기 화재 센서의 위치 정보 및 센서 정보를 해당하는 다수의 상기 지능형 CCTV 중 하나에 전송하여 연동하고, 연동된 상기 지능형 CCTV 중 하나가 2차적으로 상기 화재 현장 정보를 이용하여 상기 실화재 발생 여부를 판단하는 것을 특징으로 한다.In addition, the operating platform transmits the location information and sensor information of the fire sensor obtained from the fire information to one of the plurality of intelligent CCTVs to interlock with each other, and one of the interlocked intelligent CCTVs is secondarily connected to the fire. It is characterized in that it is characterized in that it is determined whether the misfire occurs using on-site information.

다른 한편으로, 본 발명의 다른 일실시예는, (a) 다수의 화재 센서가 화재를 감지하여 화재 정보를 생성하는 단계; (b) 다수의 지능형 CCTV (Closed Circuit Television)가 화재 현장에서 발생하는 이벤트를 바탕으로 화재 현장 정보를 생성하고, 상기 화재를 분석하여 분석정보를 생성하는 단계; 및 (c) 운영 플랫폼이 상기 화재 정보 및 상기 분석 정보 중 적어도 하나를 이용하여 상기 화재가 발생한 위치의 실화재 발생 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 방법을 제공한다.On the other hand, another embodiment of the present invention, (a) generating fire information by detecting a fire by a plurality of fire sensors; (b) a plurality of intelligent Closed Circuit Televisions (CCTVs) generating fire site information based on events occurring at the fire site and analyzing the fire to generate analysis information; And (c) determining, by the operating platform, whether a real fire occurs at the location where the fire occurred by using at least one of the fire information and the analysis information. An intelligent CCTV-based complex fire monitoring method comprising: to provide.

본 발명에 따르면, 다양한 화재 상황에서 비화재보 알람을 줄이고 정확한 화재 판정 및/또는 신속하게 상황을 전파할 수 있다.According to the present invention, it is possible to reduce non-fire alarms in various fire situations, accurately determine fire and/or quickly propagate the situation.

또한, 본 발명의 다른 효과로서는 IoT(Internet of Things) 화재 센서의 이벤트 정보를 받아 위치정보 및 센서정보를 지능형 CCTV(Closed Circuit Television)와 연동하고, 해당 위치 근처의 지능형 CCTV가 2차적으로 영상 및 음원을 분석한 결과를 바탕으로 실화재 여부를 정확하게 판단할 수 있다는 점을 들 수 있다.In addition, as another effect of the present invention, the event information of the IoT (Internet of Things) fire sensor is received and the location information and sensor information are interlocked with the intelligent Closed Circuit Television (CCTV), and the intelligent CCTV near the corresponding location secondarily Based on the result of analyzing the sound source, it is possible to accurately determine whether or not there is a real fire.

또한, 본 발명의 또 다른 효과로서는 AI(Artificial Intelligent) 박스(BOX)를 이용해 종단 장치 단계에서 화재 상황 분석이 가능하여, 별도의 서버 또는 센터가 필요없어 운영의 효율성을 높일 수 있다는 점을 들 수 있다.In addition, another effect of the present invention is that it is possible to analyze the fire situation at the terminal device stage using an AI (Artificial Intelligent) box, so that the efficiency of operation can be increased without the need for a separate server or center. have.

또한, 본 발명의 또 다른 효과로서는 영상과 음원 복합 분석으로 화재상황 여부를 판단하여 오탐률을 감소시킬 수 있다는 점을 들 수 있다.In addition, as another effect of the present invention, it is possible to reduce the false positive rate by determining whether a fire situation exists through a composite analysis of a video and a sound source.

도 1은 본 발명의 일실시예에 따른 지능형 CCTV(Closed Circuit Television) 기반 복합 화재 감시 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 복합 화재 감시 시스템을 적용한 경보 체계의 일예이다.
도 3은 도 1에 도시된 지능형 CCTV의 세부 구성 블럭도이다.
도 4는 본 발명의 일실시예에 따른 화재 감지로부터 상황 전파까지의 과정을 보여주는 흐름도이다.
도 5는 본 발명의 일실시예에 따른 지능형 CCTV 성능 인증용 데이터베이스 구성의 예이다.
도 6은 본 발명의 일실시예에 따른 검출률 및 정밀도를 산출식에 대입하여 정확도 결과를 산출하는 개념도이다.1 is a block diagram of a complex fire monitoring system based on an intelligent closed circuit television (CCTV) according to an embodiment of the present invention.
2 is an example of an alarm system to which the complex fire monitoring system shown in FIG. 1 is applied.
Figure 3 is a detailed block diagram of the intelligent CCTV shown in Figure 1;
4 is a flowchart showing a process from detecting a fire to propagating a situation according to an embodiment of the present invention.
5 is an example of a database configuration for intelligent CCTV performance authentication according to an embodiment of the present invention.
6 is a conceptual diagram for calculating an accuracy result by substituting a detection rate and precision according to an embodiment of the present invention into a calculation formula.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.In describing each figure, like reference numbers are used for like elements.

제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The term "and/or" includes any combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this application, it should not be interpreted in an ideal or excessively formal meaning. Should not be.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 지능형 CCTV(Closed Circuit Television) 기반 복합 화재 감시 시스템 및 방법을 상세하게 설명하기로 한다.Hereinafter, an intelligent Closed Circuit Television (CCTV) based complex fire monitoring system and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 지능형 CCTV(Closed Circuit Television) 기반 복합 화재 감시 시스템(100)의 구성 블럭도이다. 도 1을 참조하면, 복합 화재 감시 시스템(100)은, 화재를 감지하여 화재 정보를 생성하는 화재 센서(110), 화재 현장에서 발생하는 이벤트를 바탕으로 화재 현장 정보를 생성하고, 화재를 분석하여 분석정보를 생성하는 지능형 CCTV(120), 화재 정보 및 분석 정보를 이용하여 화재가 발생한 위치의 실화재 발생 여부를 판단하는 운영 플랫폼(130) 등을 포함하여 구성될 수 있다.1 is a block diagram of a complex fire monitoring system 100 based on an intelligent Closed Circuit Television (CCTV) according to an embodiment of the present invention. Referring to FIG. 1, the complex fire monitoring system 100 generates fire site information based on a fire sensor 110 that detects a fire and generates fire information, an event that occurs at a fire site, and analyzes the fire It may be configured to include an intelligent CCTV 120 that generates analysis information, an operating platform 130 that determines whether a real fire occurs in a location where a fire occurs by using fire information and analysis information, and the like.

화재 센서(110)는 화재가 발생하는 지를 감지하여 화재 정보를 생성하는 기능을 수행한다. 화재 센서(110)로는 연기를 감지하는 연기 감지 센서, 온도의 변화(예를 들면, 정온식, 차동식)를 감지하는 온도 센서, 불꽃(약 760~1100mm 파장)을 감지하는 불꽃 감지 센서 등이 사용될 수 있다. The fire sensor 110 performs a function of generating fire information by detecting whether a fire occurs. As the fire sensor 110, a smoke detection sensor for detecting smoke, a temperature sensor for detecting a change in temperature (eg, constant temperature type, differential type), a flame detection sensor for detecting a flame (about 760 to 1100 mm wavelength), etc. will be used. can

지능형 CCTV(120)는 화재 현장에서 발생하는 이벤트를 바탕으로 화재 현장 정보를 생성하는 기능을 수행한다. 이벤트는 연기, 불꽃, 폭발음, 비명음, 누출음, 언어적 발성음 등의 발생이 될 수 있다. 발성음으로는 "불이야", "도와주세요" 등이 될 수 있다. 따라서, 화재 현장 정보는 연기, 불꽃 등의 형상을 담은 영상 정보, 폭발음, 비명음 등의 음향을 담은 음향 정보, 언어적 발성음의 음성을 담은 음성 정보 등을 포함할 수 있다. The intelligent CCTV 120 performs a function of generating fire site information based on events occurring at the fire site. Events can be the occurrence of smoke, sparks, explosions, screams, leaks, verbal utterances, and the like. The vocalizations can be "fire" or "help me". Accordingly, the fire site information may include image information containing shapes such as smoke and flames, sound information containing sounds such as explosion sounds and screams, and audio information containing linguistic voices.

또한, 지능형 CCTV(120)는 영상 정보를 분석하여 영상 분석 정보를 생성하고, 음향 정보를 분석하여 음향 분석 정보를 생성하고, 음성 정보를 분석하여 음성 분석 정보를 생성할 수 있다. 이러한 영상 분석 정보, 음향 분석 정보, 및 음성 분석 정보를 통합하여 분석 정보를 생성한다. In addition, the intelligent CCTV 120 may analyze video information to generate video analysis information, analyze audio information to generate audio analysis information, and analyze audio information to generate audio analysis information. Analysis information is generated by integrating the video analysis information, sound analysis information, and voice analysis information.

운영 플랫폼(130)은 상기 화재 정보 및 상기 분석 정보를 연동하여 상기 화재가 발생한 위치의 실화재 발생 여부를 판단하는 기능을 수행한다. 이를 위해, 운영 플랫폼(130)은 사용자 인터페이스(131), 운영부(132), 영상 관제부(133), 출력부(134), 데이터베이스(135) 등을 포함하여 구성될 수 있다.The operation platform 130 performs a function of determining whether an actual fire occurs at a location where the fire occurs by interlocking the fire information and the analysis information. To this end, the operating platform 130 may include a user interface 131, an operating unit 132, an image control unit 133, an output unit 134, a database 135, and the like.

사용자 인터페이스(131)는 단말기와 사용자간 상호작용을 할 수 있도록 연결해주는 매개체이다. 예를 들면, 디스플레이 화면, 아이콘, 검색창, 키보드, 문자, 색상, 폰트 등의 디자인적인 요소뿐만 아니라 반응형등의 기술적 요소를 포함하는 개념이다.The user interface 131 is a medium that connects a terminal and a user to interact with each other. For example, it is a concept that includes not only design elements such as display screens, icons, search boxes, keyboards, texts, colors, and fonts, but also technical elements such as responsive types.

운영부(132)는 1차적으로 화재 정보 및 상기 분석 정보를 이용하여 상기 화재가 발생한 위치의 실화재 발생 여부를 판단하고 알람 정보를 생성하는 기능을 수행한다. The operation unit 132 primarily determines whether a real fire has occurred in the location where the fire occurred using fire information and the analysis information, and performs a function of generating alarm information.

한편, 운영부(132)는 화재 센서(110)로부터 화재 정보를 받아 위치정보 및 해당 센서 정보를 획득하고, 위치정보 및 센서 정보를 해당 지능형 CCTV(120)와 연동한다. 따라서, 지능형 CCTV(120)가 2차적으로 영상 정보, 음향 정보, 및 음성 정보를 포함하는 화재 현장 정보를 이용하여 실화재 여부를 판단하여 알람 정보를 생성할 수 있다.On the other hand, the operating unit 132 receives fire information from the fire sensor 110, obtains location information and corresponding sensor information, and interlocks the location information and sensor information with the corresponding intelligent CCTV (120). Therefore, the intelligent CCTV (120) can generate alarm information by determining whether there is an actual fire by using fire scene information including secondarily video information, sound information, and voice information.

또한, 현장 장치의 설정 관리를 수행하고, 맵(map) 기반 관제 운영을 수행한다. 현장 장치의 설정 관리는 현장 화재 센서의 위/경도, 주소 등록, 화재 센서의 이벤트 정보(연기, 온도, 불꽃) 등이 될 수 있다. GIS(Geographic Information System) 기반 맵 연동으로 센서 및 CCTV 모니터링 및 이벤트 확인, 위/경도 기반 이벤트 위치 파악 및 상황전파등의 관제 운영이 수행된다.In addition, it performs setting management of field devices and performs map-based control operation. Setting management of field devices can be the latitude/longitude of field fire sensors, address registration, and event information (smoke, temperature, flame) of fire sensors. GIS (Geographic Information System)-based map linkage performs control operations such as sensor and CCTV monitoring and event confirmation, latitude/longitude based event location identification and situation propagation.

또한, 운영부(132)는 불꽃, 연기, 온도 화원의 위치 및 종류를 분석하는 기능을 수행한다. 부연하면, 현장 화재 센서의 등록된 위/경도 기반으로 위치 분석이 수행된다. 또한, 온도센서(정해진 온도 이상이 감지되거나 온도의 급격한 변화 감지), 연기센서(연기의 농도 변화), 불꽃센서(불꽃의 감도와 유지시간)가 결합된 복합 화재 센서로 온도 화원의 종류별 감지도 이루어질 수 있다. In addition, the operation unit 132 performs a function of analyzing the location and type of flame, smoke, and temperature sources. To elaborate, location analysis is performed based on the registered latitude/longitude of the on-site fire sensor. In addition, it is a complex fire sensor that combines a temperature sensor (detection of a predetermined temperature or a rapid change in temperature), a smoke sensor (change in smoke concentration), and a flame sensor (sensitivity and holding time of flame), so it is possible to detect each type of temperature fire source. It can be done.

또한, 운영부(132)는 지능형 CCTV(120)의 2차 분석 후 실화재 분석 확인시 알람 정보를 생성할 수 있다. 이상음원(예를 들면, 폭발음, 가스누출음 등)이 탐지되는 이벤트가 발생하는 경우에도 알람 정보를 생성할 수 있다.In addition, the operating unit 132 may generate alarm information when confirming the analysis of a real fire after the secondary analysis of the intelligent CCTV 120 . Alarm information may also be generated when an event in which an abnormal sound source (eg, an explosion sound, a gas leak sound, etc.) is detected occurs.

영상 관제부(133)는 영상 정보, 음향 정보, 및 음성 정보를 포함하는 화재 현장 정보를 데이터베이스(135)에 저장하거나 분배하는 기능을 수행한다. 또한, 이벤트가 발생하면 출력부(134)에 팝업 형태로 출력하는 기능을 수행한다.The video control unit 133 performs a function of storing or distributing fire scene information including video information, sound information, and voice information in the database 135 . In addition, when an event occurs, it performs a function of outputting to the output unit 134 in the form of a pop-up.

출력부(134)는 메뉴 화면, 설정 화면, 결과 화면 등을 출력하는 기능을 수행한다. 물론, 팝업 형태로 이벤트를 출력할 수도 있다. 이를 위해, 출력부(134)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, PDP(Plasma Display Panel), OLED(Organic LED) 디스플레이, 터치 스크린, CRT(Cathode Ray Tube), 플렉시블 디스플레이, 마이크로 LED, 미니 LED 등이 될 수 있다. 터치 스크린의 경우, 입력 수단으로 이용될 수 있다. 또한, 출력부(134)는 마이크와 스피커를 구비하는 사운드 시스템을 포함하여 구성될 수 있다. 따라서, 알람 정보, 팝업 등을 사운드로 출력할 수 있다.The output unit 134 performs a function of outputting a menu screen, a setting screen, a result screen, and the like. Of course, the event can also be output in the form of a popup. To this end, the output unit 134 includes a liquid crystal display (LCD), a light emitting diode (LED) display, a plasma display panel (PDP), an organic LED (OLED) display, a touch screen, a cathode ray tube (CRT), and a flexible display. , micro LED, mini LED, etc. In the case of a touch screen, it can be used as an input means. In addition, the output unit 134 may include a sound system including a microphone and a speaker. Accordingly, alarm information, pop-up, and the like can be output as sound.

도 1에서 화재 센서(110) 및 지능형 CCTV(120)는 이해의 편의를 위해 단수로 도시되었으나, 2개 이상의 다수개로 구성될 수 있다.Although the fire sensor 110 and the intelligent CCTV 120 in FIG. 1 are shown in singular numbers for ease of understanding, they may be composed of two or more.

도 2는 도 1에 도시된 복합 화재 감시 시스템(100)을 적용한 경보 체계의 일예이다. 도 2를 참조하면, 화재 센서(110)에 의해 생성된 화재 정보가 운영 플랫폼(132)에 전송된다. 운영 플랫폼(130)은 화재 정보가 수신됨에 따라 해당 지능형 CCTV(120)에 분석을 요청한다. 지능형 CCTV(120)는 영상 정보를 분석하여 영상 분석 정보를 생성하고, 음향 정보를 분석하여 음향 분석 정보를 생성하고, 음성 정보를 분석하여 음성 분석 정보를 생성한다. 이러한 영상 분석 정보, 음향 분석 정보, 및 음성 분석 정보를 통합하여 분석 정보가 되며, 운영 플랫폼(130)에 전송된다.FIG. 2 is an example of a warning system to which the complex fire monitoring system 100 shown in FIG. 1 is applied. Referring to FIG. 2 , fire information generated by the fire sensor 110 is transmitted to the operating platform 132 . Operating platform 130 requests the analysis of the corresponding intelligent CCTV (120) as the fire information is received. The intelligent CCTV 120 analyzes video information to generate video analysis information, analyzes audio information to generate audio analysis information, and analyzes audio information to generate audio analysis information. The video analysis information, sound analysis information, and voice analysis information are combined to become analysis information and transmitted to the operating platform 130 .

지능형 CCTV(120)는 이미지 센서(미도시)를 통해 획득되는 영상 이미지로부터 연기, 불꽃 등을 인식한다. 예를 들어, 영상 이미지에서 연기를 검출하는 영상처리 기술은 움직임 속도, 온도, 연기 기둥, 연기의 버섯 모양의 윤곽선 등과 같은 연기의 특징에 기반하여 연기를 검출할 수도 있다. Intelligent CCTV (120) recognizes smoke, flame, etc. from a video image obtained through an image sensor (not shown). For example, an image processing technique for detecting smoke in a video image may detect smoke based on characteristics of the smoke, such as movement speed, temperature, smoke column, mushroom shape outline of smoke, and the like.

물론, 움직임, 색상 정보 및 통계적 빈도를 이용하여 후보 연기 블록을 검출하고, 후보 연기 블록을 포함하는 후보 연기에 대하여 특징을 검출하고 검증하여 후보 연기를 검증함으로써, 영상에서 연기를 검출하는 방식도 있다. 이러한 인식 방식에 대해서는 이미 널리 알려져 있으므로 더 이상의 설명은 생략하기로 한다.Of course, there is also a method of detecting acting in an image by detecting candidate acting blocks using motion, color information, and statistical frequency, and verifying candidate acting by detecting and verifying features of the candidate acting including the candidate acting block. . Since this recognition method is already widely known, further description thereof will be omitted.

마이크 어레이(미도시)를 통해 획득되는 음원으로부터 비언어 소리인 폭발음, 비명음, 누출음의 음향을 인식할 수 있다. 또한, "불이야", "도와주세요" 등의 언어적 발성음의 음성 인식도 널리 알려져 있음으로 더 이상의 설명은 생략하도록 한다. It is possible to recognize non-verbal sounds such as explosions, screams, and leakage sounds from a sound source acquired through a microphone array (not shown). In addition, since voice recognition of linguistic vocalizations such as "fire" and "help me" is widely known, further explanation will be omitted.

이러한 영상 분석, 음향 분석, 및 음성 분석 등을 위해 기계 학습(machine learning)을 통해 생성된 특징, 패턴 등의 정보가 데이터베이스화되어 미리 데이터베이스에 저장된다.For image analysis, sound analysis, and voice analysis, information such as features and patterns generated through machine learning is databased and stored in the database in advance.

지능형 CCTV(120)는 PTZ(pan/tilt/zoom) CCTV와 인공지능(AI: Artificial Intelligence) 박스로 구성될 수 있다. 따라서, 지능형 CCTV(120)는 영상 정보, 음원 정보의 생성과 함께, 이를 분석하여 실화재 발생 여부를 판단할 수 있다. The intelligent CCTV 120 may be composed of a pan/tilt/zoom (PTZ) CCTV and an artificial intelligence (AI) box. Therefore, the intelligent CCTV (120) can determine whether a real fire has occurred by analyzing the image information and sound source information together with generation.

또한, 지능형 CCTV(120)는 촬영에 의해 생성된 영상 정보를 운영 플랫폼(130)에 전송하면, 운영 플랫폼(130)의 영상 관제부(133)는 미리 설정되는 정보에 따라 영상 정보를 데이터베이스(135)에 저장되고, 관제 센터(210)에 통신망(미도시)을 통해 전송된다.In addition, when the intelligent CCTV (120) transmits the video information generated by the shooting to the operating platform 130, the video control unit 133 of the operating platform 130 stores the image information according to preset information in the database (135). ), and is transmitted to the control center 210 through a communication network (not shown).

관제 센터(210)는 알람 정보를 운영 플랫폼(130)으로부터 전송받아 경찰서, 소방서 등의 유관 기관(220)에 배포한다.The control center 210 receives alarm information from the operation platform 130 and distributes it to related organizations 220 such as police stations and fire stations.

통신망은 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다.A communication network refers to a connection structure capable of exchanging information between nodes such as a plurality of terminals and servers, such as a public switched telephone network (PSTN), a public switched data network (PSDN), and an Integrated Services Digital Network (ISDN). Networks), Broadband ISDN (BISDN), Local Area Network (LAN), Metropolitan Area Network (MAN), Wide LAN (WLAN), and the like.

그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투스(bluetooth), NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.However, the present invention is not limited thereto, and wireless communication networks CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), Wibro (Wireless Broadband), WiFi (Wireless Fidelity), HSDPA (High Speed Downlink Packet Access) ) network, Bluetooth, NFC (Near Field Communication) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, and the like. Alternatively, it may be a combination of these wired communication networks and wireless communication networks.

도 2에서 화재 센서(110), 지능형 CCTV(120), 운용 플랫폼(130)간 통신은 5G무선 통신으로 도시하였으나, 이에 한정되는 것은 아니며, 유선 통신도 가능하다. 또한, 이러한 통신을 위해, 구성요소들에는 유무선 통신 회로가 구성될 수 있다. In FIG. 2, communication between the fire sensor 110, the intelligent CCTV 120, and the operating platform 130 is shown as 5G wireless communication, but is not limited thereto, and wired communication is also possible. Also, for such communication, wired and wireless communication circuits may be configured in the components.

도 3은 도 1에 도시된 지능형 CCTV(120)의 세부 구성 블럭도이다. 도 3을 참조하면, 지능형 CCTV(120)는 영상 정보 및 음원 정보(즉, 음향 정보 및 음성 정보)를 생성하는 수집부(310), 영상 정보 및 음원 정보를 분석하여 분석 정보를 생성하는 분석부(320) 등을 포함하여 구성될 수 있다.Figure 3 is a detailed block diagram of the intelligent CCTV (120) shown in Figure 1. Referring to FIG. 3, the intelligent CCTV 120 includes a collection unit 310 that generates video information and sound source information (ie, sound information and voice information), and an analysis unit that analyzes the video information and sound source information to generate analysis information. (320) and the like.

수집부(310)는 화재 현장을 센싱하여 영상 정보를 생성하는 이미지 센서(311), 화재 현장을 센싱하여 음원 정보를 생성하는 마이크 어레이(312) 등을 포함하여 구성될 수 있다. 이미지 센서(311)는 CCD(Charge-Coupled Device) 카메라, CMOS(complementary metal-oxide semiconductor) 카메라 등이 될 수 있으며, 팬(pan)/틸트(tilt)/줌(zoom) 등을 위한 기구적 구조를 가질 수 있다.The collecting unit 310 may include an image sensor 311 that senses a fire scene to generate image information, a microphone array 312 that senses a fire scene and generates sound source information, and the like. The image sensor 311 may be a charge-coupled device (CCD) camera, a complementary metal-oxide semiconductor (CMOS) camera, or the like, and has a mechanical structure for pan/tilt/zoom. can have

마이크 어레이(312)는 2개의 이상의 마이크로 구성되며, 각 마이크마다 고유한 방식으로 가청 음파를 녹음하는 기능을 한다. 물론, 마이크 어레이(312)는 아날로그 신호를 디지털 신호로 변환하는 A/D(Analog/Digital) 컨버터, 디지털 신호를 유용한 음원 정보로 변환하는 DSP(Digital Signal Processor) 등을 포함하여 구성될 수 있다.The microphone array 312 is composed of two or more microphones, and functions to record audible sound waves in a unique way for each microphone. Of course, the microphone array 312 may include an analog/digital (A/D) converter that converts an analog signal into a digital signal, a digital signal processor (DSP) that converts a digital signal into useful sound source information, and the like.

분석부(320)는 딥러닝 연산을 이용하여 영상 정보 및 음원 정보를 분석하는 분석 모듈(321), 영상 정보 및 음원 정보의 분석에 필요한 딥러닝 연산을 처리하는 프로세서 모듈(322), 수집된 영상 정보, 음원 정보, 이들을 분석하여 생성된 분석 정보를 시스템 내외로 통신하는 입출력 모듈(323) 등을 포함하여 구성될 수 있다.The analysis unit 320 includes an analysis module 321 for analyzing image information and sound source information using deep learning calculations, a processor module 322 for processing deep learning calculations necessary for analyzing image information and sound source information, and collected images. It may be configured to include an input/output module 323 that communicates information, sound source information, and analysis information generated by analyzing them to and from the system.

특히, 분석 모듈(321)은 음원으로부터 "살려주세요", "불이야" 등의 특정 단어를 인식하고, 이 발생음원의 방향을 인식한다. 방향 인식은 복수개의 마이크 중 서로 다른 마이크에 수집되는 소리의 시간차를 기반으로, 소리의 발생 방향에 대한 방향 정보를 생성함으로써 이루어질 수 있다. 일반적으로 TDOA(time difference of arrival) 방식을 이용하는 경우, 도달 시간차는 음원 발생 위치와 음향 센서들과의 거리의 차이에 비례하며, 이를 이용하여 음원 발생 방향을 추정할 수 있다.In particular, the analysis module 321 recognizes specific words such as "please save me" and "fire" from the sound source, and recognizes the direction of the generated sound source. Direction recognition may be performed by generating direction information about a direction in which sound is generated based on a time difference between sounds collected by different microphones among a plurality of microphones. In general, when a time difference of arrival (TDOA) method is used, the arrival time difference is proportional to the difference between the location of the sound source and the distance between the acoustic sensors, and the direction of the sound source can be estimated using this difference.

입출력 모듈(323)은 통신을 위해 통신 회로 등을 포함하여 구성될 수 있다.The input/output module 323 may include a communication circuit and the like for communication.

도 1 내지 도 3에 도시된, 운영부(132), 영상 관제부(133), 분석 모듈(321)은 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 1 to 3, the operation unit 132, the video control unit 133, and the analysis module 321 refer to units that process at least one function or operation, which may be implemented in software and/or hardware. can In hardware implementation, ASIC (application specific integrated circuit), DSP (digital signal processing), PLD (programmable logic device), FPGA (field programmable gate array), processor, microprocessor, other It may be implemented as an electronic unit or a combination thereof.

소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.In software implementation, software component components (elements), object-oriented software component components, class component components and task component components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, data , databases, data structures, tables, arrays, and variables. Software, data, etc. may be stored in memory and executed by a processor. The memory or processor may employ various means well known to those skilled in the art.

또한, 도 3에서는 분석 모듈(321)과 프로세서 모듈(322)을 분리하여 도시하였으나, 하나로 통합되어 구성될 수도 있다.In addition, although the analysis module 321 and the processor module 322 are shown separately in FIG. 3, they may be integrated into one.

도 4는 본 발명의 일실시예에 따른 화재 감지로부터 상황 전파까지의 과정을 보여주는 흐름도이다. 도 4를 참조하면, 화재 센서(110)를 통해 연기, 온도, 불꽃등 감지하여 화재 이벤트(즉 화재 상황)가 발생하였는지를 모니터링한다(단계 S410,S420).4 is a flowchart showing a process from detecting a fire to propagating a situation according to an embodiment of the present invention. Referring to FIG. 4 , smoke, temperature, flame, etc. are detected through the fire sensor 110 to monitor whether a fire event (that is, a fire situation) has occurred (steps S410 and S420).

단계 S420에서, 화재 이벤트가 발생한 것으로 확인되면, 화재 센서(110)는 화재 알람 운영 플랫폼(130)으로 화재 정보를 송신한다(단계 S430).In step S420, when it is confirmed that a fire event has occurred, the fire sensor 110 transmits fire information to the fire alarm operating platform 130 (step S430).

운영 플랫폼(130)은 이벤트가 발생한 위치 주변에 있는 지능형 CCTV(120)로 위치 정보 및 해당 센서 정보를 송신한다(단계 S450). 즉, 미리 등록된 현장 화재 센서의 위/경도, 주소 기반 위치 정보를 획득하고, 센서 정보로서 전송된 화재 센서의 이벤트 정보(연기, 온도, 불꽃)를 획득한다.Operating platform 130 transmits the location information and the corresponding sensor information to the intelligent CCTV (120) around the location where the event occurred (step S450). That is, latitude/longitude, address-based location information of pre-registered on-site fire sensors is obtained, and event information (smoke, temperature, flame) of the fire sensor transmitted as sensor information is acquired.

이후, 이미지 센서(311)를 통해 촬영된 영상 정보를 딥러닝 기반 분석을 통해 화재, 연기 영상 분석을 수행하고, 마이크 어레이(312)를 통해 획득한 음원정보를 딥러닝 기분 분석을 통해 음원(폭발음, 누출음 등)을 인식한다(단계 S451,S452,S461,S462).Thereafter, fire and smoke image analysis is performed on the image information captured through the image sensor 311 through deep learning-based analysis, and sound source information (explosive sound) obtained through deep learning mood analysis is performed through the microphone array 312. , leakage sound, etc.) are recognized (steps S451, S452, S461, S462).

이후, 지능형 CCTV(120)는 분석을 통해 실화재(실제 화재) 발생 여부를 판단한다(단계 S470).Thereafter, the intelligent CCTV 120 determines whether an actual fire (actual fire) has occurred through analysis (step S470).

단계 S470에서, 실화재가 발생한 것으로 판단되면, 경보 신호(즉 알람) 정보를 생성하고, 이를 운영 플랫폼(130)에 전송한다(단계 S471,S472).In step S470, when it is determined that a misfire has occurred, an alarm signal (ie, alarm) information is generated and transmitted to the operating platform 130 (steps S471 and S472).

이후, 운영 플랫폼(130)은 관제 센터(210)를 통해 화재 상황에 대한 알람 정보를 전파한다(단계 S480).Then, the operating platform 130 propagates the alarm information on the fire situation through the control center 210 (step S480).

본 발명의 일실시예에 따른 딥러닝 기반 영상분석의 인식률 성능을 평가하였다. The recognition rate performance of deep learning-based image analysis according to an embodiment of the present invention was evaluated.

가) 시험 항목A) Test items

① 이벤트: 방화 이벤트 항목 선택해 시험함① Event: Test by selecting the fire event item

② 평가점수② Evaluation score

- 검출률(r), 정밀도(p)를 산출식에 대입해 점수 산출(10점 만점)- Calculate score by substituting detection rate (r) and precision (p) into the calculation formula (out of 10)

- 검출률(r), 정밀도(p)를 산출식에 대입해 점수 산출(10점 만점)- Calculate score by substituting detection rate (r) and precision (p) into the calculation formula (out of 10)

산출식formula 세부내용The details

검출률(r):

Detection rate (r):

정밀도(p):

Precision (p):

나)시험 조건b) Test conditions

도 5는 본 발명의 일실시예에 따른 지능형 CCTV 성능 인증용 데이터베이스 구성의 예이다. 도 5를 참조하면, 방화 이벤트로서 시간대는 일출, 9시, 12시, 15시, 일몰, 야간 등 총 6개 시간대이다. 또한, 카메라는 근거리(10~14m), 중거리(15~19m), 원거리(20~30m) 등 총 3대의 카메라(즉 이미지 센서)이다.5 is an example of a database configuration for intelligent CCTV performance authentication according to an embodiment of the present invention. Referring to FIG. 5, as a fire arson event, time zones include a total of six time zones: sunrise, 9:00, 12:00, 15:00, sunset, and night. In addition, the camera is a total of three cameras (ie, image sensors): short-range (10-14m), medium-range (15-19m), and long-distance (20-30m).

다) 시험 결과c) test results

검출률 및 정확도를 산출식에 대입하여 97.0점의 정확도 결과를 나타내었다.The detection rate and accuracy were substituted into the calculation formula, resulting in an accuracy of 97.0 points.

도 6은 검출률 및 정밀도를 산출식에 대입하여 정확도 결과를 산출하는 개념도이다. 도 6은 화재의 원인으로 방화인 경우, 평가 점수를 나타내는 표이다. 도 6을 참조하면, 검출률(r)은 0.959이고, 정밀도(p)는 0.979이며, 평가 점수는 97.0이다.6 is a conceptual diagram for calculating an accuracy result by substituting a detection rate and precision into a calculation formula. 6 is a table showing evaluation scores in the case of arson as the cause of the fire. Referring to FIG. 6 , the detection rate (r) is 0.959, the precision (p) is 0.979, and the evaluation score is 97.0.

한편, 딥러닝 기반 폭발음, 누출음, 비명음 등의 비언어적 음향의 인식률에 대한 성능 평가를 실행하였다.Meanwhile, performance evaluation was performed on the recognition rate of non-verbal sounds such as explosions, leaks, and screams based on deep learning.

가)시험 항목A) Test items

실내·외 폭발음, 가스누출로 인한 경보음, 비명음등의 음향 인식률을 측정하기 위한 테스트로, 2차년도 베타테스트(실증) 성능 평가 전 자체 연구실에서 인식률을 측정 후 평가하였다.As a test to measure the recognition rate of sounds such as indoor/outdoor explosion sounds, alarm sounds due to gas leaks, and screams, the recognition rate was measured and evaluated in the in-house laboratory prior to the second-year beta test (empirical test) performance evaluation.

나)시험 조건b) Test conditions

① 시험하기 위한 음원 데이터① Sound source data for testing

- 보유 영상 데이터 및 동영상 공유 사이트에서 수집해온 영상에서 경보음과 폭발음, 비명 오디오를 추출하여 음원 수집.- Collect sound sources by extracting alarm sounds, explosion sounds, and screaming audio from video data and videos collected from video sharing sites.

- 테스트를 위해 각각 10개의 음원을 제외하고 현장에서 녹음되어 수집해온 음원을 학습시킴. - Excluding 10 sound sources for each test, learning the sound sources recorded and collected in the field.

- 전체 테스트 음원 개수: (3종류 음원 x 각 10개 x 5회 ) = 150개- Total number of test sources: (3 types of sound sources x 10 each x 5 times) = 150

② 음량(음원 소스 소리크기) 및 인식범위② Volume (sound source volume) and recognition range

- 음원을 수집하는 감지기 앞에서 측정한 dB기준 120dB로 재생. - Reproduced at 120dB based on dB measured in front of the detector that collects the sound source.

③ 음원 발생위치 및 인식방향③ Source location and recognition direction

- 스피커로 재생 시 디바이스를 기준으로 중앙에서 발생 - When playing through a speaker, it occurs in the center based on the device

다)시험 결과 c) test results

TotalTotal 재생횟수play count 정탐spying 오탐false positive 미탐
beauty
150회150 times 135회Episode 135 90%90% 15회Episode 15 10%10% 0회0 times 0%
0%

한편, 딥러닝 기반 “불이야”, “도와주세요” 등의 언어적 발성음의 인식률 성능을 평가하였다. On the other hand, the recognition rate performance of linguistic vocalizations such as “fire” and “help me” based on deep learning was evaluated.

가) 시험 항목A) Test items

① 불이야, 기타 단어 데이터등을 구분하기 위해 9개의 음성 파일에서 필요한 부분을 추출하였으며, 정확히 ‘불이야’ 및 ‘도와주세요’라는 단어를 인식하는지 확인을 하기 위함.① In order to classify fire and other word data, the necessary parts were extracted from 9 audio files, and to confirm that the words 'fire' and 'help' are accurately recognized.

- ‘불이야, 도와주세요 ’ 제외 다른 단어를 녹음한 7개의 음성 파일에서 데이터 추출 - Data extraction from 7 audio files recorded with words other than ‘Fire, help me’

- ‘불이야’ 및 ‘도와주세요’ 라는 단어를 인식하는지, 목소리 톤으로 구분을 하는 건지 확인하기 위한 목적.- The purpose of checking whether the words 'fire' and 'help' are recognized, and whether they are distinguished by tone of voice.

나)시험 조건b) Test conditions

다)시험 결과c) test results

① 장비 설치 거리와 설치 높이, 성별 및 음원 크기에 따라 정탐, 미탐, 오탐 검출률 및 정확도를 산출하여 90.0점의 정확도 결과를 나타내었다.① According to the equipment installation distance, installation height, gender, and sound source size, the true positive, false positive, false positive detection rate and accuracy were calculated, and the accuracy result was 90.0 points.

또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. In addition, the steps of a method or algorithm described in connection with the embodiments disclosed herein are implemented in the form of program instructions that can be executed through various computer means such as a microprocessor, processor, CPU (Central Processing Unit), etc. It can be recorded on any available medium. The computer readable medium may include program (instruction) codes, data files, data structures, etc. alone or in combination.

상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다. The program (command) code recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs, DVDs, and Blu-rays, and ROMs and RAMs ( A semiconductor storage element specially configured to store and execute program (instruction) codes such as RAM), flash memory, or the like may be included.

여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Here, examples of the program (command) code include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine code generated by a compiler. The hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.

100: 복합 화재 감시 시스템
110: 화재 센서
120: 지능형 CCTV (Closed Circuit Television)
130: 운영 플랫폼
131: 사용자 인터페이스 132: 운영부
133: 관제부 134: 출력부
135: 데이터베이스
210: 관제 센터 220: 유관 기관
310: 수집부
311: 이미지 센서 312: 마이크 어레이
320: 분석부
321: 분석 모듈 322: 프로세서 모듈
323: 입출력(I/O:Input/Output) 모듈 100: complex fire monitoring system
110: fire sensor
120: Intelligent CCTV (Closed Circuit Television)
130: operating platform
131: user interface 132: operation unit
133: control unit 134: output unit
135: database
210: control center 220: related organizations
310: collection unit
311: image sensor 312: microphone array
320: analysis unit
321: analysis module 322: processor module
323: input/output (I/O: Input/Output) module

Claims (13)

화재를 감지하여 화재 정보를 생성하는 다수의 화재 센서(110);
화재 현장에서 발생하는 이벤트를 바탕으로 화재 현장 정보를 생성하고, 상기 화재를 분석하여 분석정보를 생성하는 다수의 지능형 CCTV (Closed Circuit Television) (120); 및
상기 화재 정보 및 상기 분석 정보 중 적어도 하나를 이용하여 상기 화재가 발생한 위치의 실화재 발생 여부를 판단하는 운영 플랫폼(130);을 포함하며,
다양한 화재 상황에서 비화재보 알람을 줄이기 위해, 상기 운영 플랫폼(130)은 1차적으로 상기 화재 정보를 이용하여 상기 실화재 발생 여부를 판단하고,
상기 운영 플랫폼(130)은 상기 화재 정보로부터 획득되는 상기 화재 센서(110)의 위치 정보 및 센서 정보를 다수의 상기 지능형 CCTV(120) 중 하나에 전송하고, 연동된 상기 지능형 CCTV(120) 중 하나가 2차적으로 상기 화재 현장 정보를 이용하여 상기 실화재 발생 여부를 판단하고,
상기 화재 센서(110)의 위치 정보 및 센서 정보를 다수의 상기 지능형 CCTV(120) 중 상기 이벤트가 발생한 위치 주변에 있는 지능형 CCTV(120)와 연동하며,
상기 화재 현장 정보는 연기 및 불꽃의 형상을 담은 영상 정보, 폭발음, 비명음 및 누출음의 음향을 담은 음향 정보, 및 언어적 발성음의 음성을 담은 음성 정보를 포함하고,
상기 분석 정보는 상기 영상 정보를 분석하여 생성되는 영상 분석 정보, 상기 음향 정보를 분석하여 생성되는 음향 분석 정보, 및 상기 음성 정보를 분석하여 생성되는 음성 분석 정보를 포함하고,
다수의 상기 지능형 CCTV(120)는,
상기 영상 정보, 상기 음향 정보 및 상기 음성 정보를 생성하는 수집부(310); 및
상기 영상 정보, 상기 음향 정보 및 상기 음성 정보를 분석하여 각각 상기 영상 분석 정보, 상기 음향 분석 정보 및 상기 음성 분석 정보를 생성하는 분석부(320);를 포함하며,
상기 분석은 딥러닝 연산을 이용하여 이루어지는 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 시스템.
A plurality of fire sensors 110 for detecting fire and generating fire information;
A plurality of intelligent CCTVs (Closed Circuit Television) (120) generating fire scene information based on events occurring at the fire site and generating analysis information by analyzing the fire; and
An operating platform 130 for determining whether a real fire has occurred at the location where the fire occurred by using at least one of the fire information and the analysis information;
In order to reduce non-fire alarms in various fire situations, the operating platform 130 first determines whether the actual fire occurs by using the fire information,
The operating platform 130 transmits the location information and sensor information of the fire sensor 110 obtained from the fire information to one of a plurality of the intelligent CCTVs 120, and one of the interlocked intelligent CCTVs 120. secondarily determines whether the real fire occurs using the fire scene information;
The location information and sensor information of the fire sensor 110 are interlocked with an intelligent CCTV 120 located around the location where the event occurred among a plurality of intelligent CCTVs 120,
The fire scene information includes image information containing the shape of smoke and flames, sound information containing sounds of explosions, screams, and leaks, and audio information containing voices of linguistic vocalizations,
The analysis information includes image analysis information generated by analyzing the image information, sound analysis information generated by analyzing the sound information, and voice analysis information generated by analyzing the voice information;
A plurality of the intelligent CCTV 120,
a collecting unit 310 generating the image information, the sound information, and the voice information; and
An analyzer 320 analyzing the video information, the audio information, and the audio information to generate the video analysis information, the audio analysis information, and the audio analysis information, respectively;
The analysis is an intelligent CCTV-based complex fire surveillance system, characterized in that made using deep learning operation.
삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 수집부(310)는 상기 음향 정보 및 상기 음성 정보를 생성하기 위한 마이크 어레이(312);를 포함하며, 상기 마이크 어레이(312)는 2개 이상의 마이크로 구성되며, 2개 이상의 상기 마이크는 각각 고유한 방식으로 가청 음파를 녹음하는 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 시스템.According to claim 1,
The collection unit 310 includes a microphone array 312 for generating the sound information and the voice information, the microphone array 312 is composed of two or more microphones, and the two or more microphones are each unique. An intelligent CCTV-based composite fire surveillance system, characterized in that it records audible sound waves in one way. 제 5 항에 있어서,
상기 마이크 어레이(312)의 설치 높이는 정탐 검출률의 정확도가 90%가 되도록 벽면 부착시 2.5M이고, 천장 부착시 2.8M인 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 시스템.
According to claim 5,
The installation height of the microphone array 312 is 2.5M when attached to the wall and 2.8M when attached to the ceiling so that the accuracy of the detection rate is 90%.
제 1 항에 있어서,
상기 분석부(320)는 상기 음성 정보를 분석하여 특정 단어 및 상기 특정 단어의 특정 방향을 갖는 상기 음성 분석 정보를 생성하며, 상기 특정 방향은 좌측(0°), 중앙(90°), 및 우측(180°) 중 어느 하나인 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 시스템.
According to claim 1,
The analysis unit 320 analyzes the voice information to generate the voice analysis information having a specific word and a specific direction of the specific word, and the specific directions are left (0°), center (90°), and right (180 °) Intelligent CCTV-based complex fire surveillance system, characterized in that any one of.
제 1 항에 있어서,
상기 수집부(310)는 상기 영상 정보를 생성하기 위한 다수의 이미지 센서(311);를 포함하며, 다수의 이미지 센서(311)는 특정의 검출률(r)과 특정의 정밀도(p)를 만족하도록 1개의 근거리의 이미지 센서, 1개의 중거리의 이미지 센서 및 1개의 원거리의 이미지 센서로 이루어지는 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 시스템.
According to claim 1,
The collection unit 310 includes a plurality of image sensors 311 for generating the image information, and the plurality of image sensors 311 satisfy a specific detection rate (r) and a specific precision (p). An intelligent CCTV-based complex fire surveillance system comprising one short-range image sensor, one medium-range image sensor, and one long-range image sensor.
제 8 항에 있어서,
상기 특정의 검출률(r)은 상기 이벤트에 따라 0.940 내지 0.980이고, 상기 특정의 정밀도(p)는 상기 이벤트에 따라 0.940 내지 0.980이고, 상기 검출률(r)은 수학식

으로 정의되고, 상기 정밀도(p)는 수학식

으로 정의되는 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 시스템.
According to claim 8,
The specific detection rate (r) is 0.940 to 0.980 depending on the event, the specific precision (p) is 0.940 to 0.980 depending on the event, and the detection rate (r) is expressed by the equation

Is defined as, and the precision (p) is the equation

Intelligent CCTV-based composite fire surveillance system, characterized in that defined as.
제 8 항에 있어서,
상기 근거리는 10 ~ 14M이고, 상기 중거리는 15 ~ 19M이고, 상기 원거리는 20 ~ 30M인 것을 특징으로 하는 지능형 CCTV 기반 복합 화재 감시 시스템.
According to claim 8,
The short distance is 10 to 14M, the intermediate distance is 15 to 19M, and the long distance is 20 to 30M.
삭제delete 삭제delete 삭제delete

Images