KR20190130186A

KR20190130186A - Fire monitoring method and apparatus

Info

Publication number: KR20190130186A
Application number: KR1020180044107A
Authority: KR
Inventors: 백성욱; 이미영; 무하마드 칸; 아민 울라; 울 하크 이자즈; 이승주; 박준렬
Original assignee: 세종대학교산학협력단
Priority date: 2018-04-16
Filing date: 2018-04-16
Publication date: 2019-11-22
Also published as: KR102060242B1

Abstract

Disclosed are a fire monitoring method and an apparatus thereof. The fire monitoring method comprises the steps of: (a) selecting n (n is a natural number less than or equal to m) number of feature maps by analyzing m (m is a natural number) number of feature maps generated in a deep learning model when applying an input frame to the deep learning model and classifying the input frame; (b) generating an average activation map for the n number of feature maps and extracting a region of interest using the average activation map; (c) detecting an object in the input frame using the region of interest; (d) extracting multiple types of information required for fire monitoring using the detected object; and (e) reporting a fire using the multiple types of extracted context information.

Description

화재 감시 방법 및 그 장치{Fire monitoring method and apparatus}Fire monitoring method and apparatus

본 발명은 화재 감시 방법 및 그 장치에 관한 것이다. The present invention relates to a fire monitoring method and an apparatus thereof.

화재 사고는 수많은 인명 피해를 유발하며 재산상의 손실이 막대하다. 특히 지난 2015년 한해 발생한 화재는 44,435건으로, 하루에 120건의 화재가 발생하였다. 또한, 국민안전처가 발표한 '2016년 상반기 전국 화재 발생 현황'을 확인해보면, 화재 발생은 11시 ~ 17시 사이가 전체의 40.6%를 차지하며 가장 많은 화재가 발생하는 시간대로 확인되었다. 인명피해는 23시 ~ 05시 사이 발생하는 화재에서 전체 사망인원의 32%가 사망한 것으로 확인되었다. 특히, 전술한 바와 같은 화재 발생의 원인은 부주의가 56%를 차지할 정도로 화재에 대한 사전 관심과 예방책을 마련한다면 그 손실 및 위험성을 충분히 저감시킬 수 있다. 이에 따라, 화재를 감지하기 위한 방법들이 요구되고 있다.Fire accidents can cause many casualties and result in substantial property damage. In particular, 44,435 fires occurred in 2015 alone, with 120 fires a day. In addition, if you check the status of national fire occurrence in the first half of 2016 announced by the National Security Agency, the fire occurrence was confirmed as the time when the most fire occurs, accounting for 40.6% of the entire time between 11:00 and 17:00. It was found that 32% of all deaths were killed in fires between 23:00 and 05:00. In particular, as described above, the cause of the fire can be sufficiently reduced if the precautions and preventive measures for the fire are inadvertently accounted for 56%. Accordingly, there is a need for methods for detecting fire.

현재 주로 사용되고 있는 화재 감지 및 경보 시스템은 열, 연기 등의 센서기반 감지기들이 대부분이며 이들 감지기는 화재가 발생한 후 열이나 연기가 일정 수준 이상 확산되어 센서에 도달해야 비로소 감지가 가능하다. 연기 감시 방식은 센서를 이용한 광전식 스포트형, 광전식 분리형, 이온화식 및 공기흡입형 등이 사용되어 왔다.Most fire detection and alarm systems currently used are sensor-based detectors such as heat and smoke, and these detectors can only be detected when heat or smoke reaches a certain level after reaching the sensor. Smoke monitoring method has been used photoelectric spot type, photoelectric separation type, ionization type and air suction type using a sensor.

그런데, 이와 같은 화재 감지 센서는 열이나 연기가 직접 센서 내로 유입 또는 흡입되어야 화재의 발생을 감지할 수 있다. 이로 인해, 주변 환경에 따라서 화재의 오감지의 가능성이 크며, 이러한 오감지를 방지하기 위해 영상기반 화재 감지 방안이 요구되었다.However, such a fire detection sensor may detect the occurrence of a fire only when heat or smoke is introduced or sucked directly into the sensor. For this reason, there is a high possibility of detection of fire according to the surrounding environment, and an image-based fire detection method has been required to prevent such detection.

영상기반 화재 감지 방법에 관한 종래기술로서 대한민국 등록특허 제10-1620989호(이하 '선행기술'이라 칭하기로 함)는 야간 영상을 포함하는 동영상으로부터 화재를 자동적으로 감지하는 방법 및 이를 수행하는 시스템을 개시한다. 다만, 선행기술은 화재 영역을 판별하는 일련의 과정에서 프레임의 밝기를 기준으로 하여 화재가 발생된 관심 영역을 지정하였다. 이는, 영상에서 파악할 수 있는 화재의 특성을 불빛 또는 화염에 의한 반짝임으로 화재 유무를 검출하는 것으로, 화재 초기에 발생하는 불빛이 작은 불씨의 감지가 어렵거나 화면에 화염이 포함되지 않고 연기만 포함된 화재 현장을 감지하지 못하여 화재 감지율이 낮은 문제점이 있다. 또한, 자전거 깜빡이, 자동차 점멸등, 네온사인 등과 같이 밝기의 변화가 반복되는 조건을 화재와 구별하지 못하여 화재 감지의 오경보율이 높은 문제점이 나타난다.Korean Patent No. 10-1620989 (hereinafter referred to as 'prior art') as a conventional technology related to an image-based fire detection method is a method for automatically detecting a fire from a video including a night image and a system for performing the same. It starts. However, the prior art designates a region of interest in which a fire has occurred based on the brightness of the frame in a series of processes of determining the region of fire. This is to detect the characteristics of fire that can be identified in the image by the sparkling of the light or flame, and it is difficult to detect the small embers or the smoke that contains only the smoke without the flame on the screen. There is a problem that the fire detection rate is low because it does not detect the fire scene. In addition, there is a problem that the false alarm rate of the fire detection is high because the condition that the brightness change is repeated, such as bicycle blinking, car flashing light, neon sign, etc. is not distinguished from the fire.

본 발명은 딥 러닝에 기반하여 입력 프레임을 분류하는 과정에서 생성되는 특징맵을 이용하여 적응적으로 관심 영역을 추출하고, 이를 이용하여 다른 관심 개체를 감지하여 화재 감시를 위한 컨텍스트 정보를 추출하여 자동으로 신고하도록 할 수 있는 화재 감시 방법 및 그 장치를 제공하기 위한 것이다. The present invention adaptively extracts a region of interest using a feature map generated in the process of classifying input frames based on deep learning, detects other objects of interest, and extracts context information for fire monitoring. It is to provide a fire monitoring method and a device that can be reported to.

또한, 본 발명은 복수의 에이전트를 통해 필요한 컨텍스트 정보를 추출한 후 이를 추론하여 자동으로 화재 신고(보고)를 수행할 수 있어, 정확한 화재 신고 접수가 가능하도록 할 수 있는 화재 감시 방법 및 그 장치를 제공하기 위한 것이다. In addition, the present invention provides a fire monitoring method and apparatus that can extract the necessary context information through a plurality of agents and infer the automatic fire report (report) by inferring it, thereby enabling accurate fire report reception. It is to.

본 발명의 일 측면에 따르면, 화재 감시 방법이 제공된다. According to one aspect of the invention, a fire monitoring method is provided.

본 발명의 일 실시예에 따르면, (a) 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 단계; (b) 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 단계; (c) 상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 단계; (d) 상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 단계; 및 (e) 상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 단계를 포함하는 화재 감시 방법이 제공될 수 있다. According to an embodiment of the present invention, when (a) the input frame is applied to a deep learning model, the m (natural numbers) feature maps generated in the deep learning model are analyzed and n (natural numbers less than or equal to) features are analyzed. Selecting a map; (b) generating an average activation map for the n feature maps and extracting a region of interest using the average activation map; (c) detecting an object in the input frame using the region of interest; (d) extracting a plurality of context information required for fire monitoring using the detected object; And (e) it may be provided a fire monitoring method comprising the step of reporting a fire by using the extracted plurality of context information.

상기 (a) 단계는, 상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계; 상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화하는 단계; 기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하는 단계; 상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택하는 단계를 포함할 수 있다.Step (a) may include generating an average activation map for the m feature maps; Binarizing each of said m feature maps using said average activation map; Calculating a hamming distance between ground truth and each of the binarized feature maps, respectively; The method may include selecting n feature maps having a short hamming distance using the calculated hamming distance.

상기 (b) 단계는, 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계; 상기 평균 활성화 맵을 이진화하는 단계; 및 상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출하는 단계를 포함할 수 있다.Step (b) may comprise: generating an average activation map for the n feature maps; Binarizing the average activation map; And extracting a fire ROI of the n feature maps using the binarized average activation map.

상기 (c) 단계는, 상기 입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지할 수 있다.In the step (c), after subtracting the region of interest from the input frame to find an influence zone, an object may be detected in the influence region.

상기 컨텍스트 정보는 화재 발생 여부, 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황, 카메라 GPS 정보, 스마트폰 사용자 수 및 화재 확산 정보 중 적어도 하나일 수 있다.The context information may include at least one of a fire occurrence, a person and a population density, an adjacent object (object type), a flammable substance or a dangerous substance, evacuation status, camera GPS information, a smartphone user number, and fire spread information.

본 발명의 다른 측면에 따르면 화재 감시 장치가 제공된다. According to another aspect of the present invention, a fire monitoring apparatus is provided.

본 발명의 일 실시예에 다르면, 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 특징맵 선택부; 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 관심 영역 추출부; 상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 객체 감지부; 상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 컨텍스트 추출부; 및 상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 통신부를 포함하는 화재 감시 장치가 제공될 수 있다. According to an embodiment of the present invention, when the input frame is classified by applying the deep learning model, the m (natural number) feature maps generated in the deep learning model are analyzed to select n (natural number of m or less) feature maps. A feature map selection unit; A region of interest extraction unit which generates an average activation map for the n feature maps and extracts a region of interest using the average activation map; An object detector configured to detect an object in the input frame using the ROI; A context extraction unit which extracts a plurality of context information necessary for fire monitoring using the detected object; And a communication unit for reporting a fire by using the extracted plurality of context information.

상기 특징맵 선택부는, 상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화한 후 기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하며, 상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택할 수 있다. The feature map selection unit generates an average activation map for the m feature maps, and binarizes the m feature maps using the average activation map, respectively, and then uses the ground truth and the respective feature maps. The Hamming distances are calculated, and n feature maps having short Hamming distances can be selected using the calculated Hamming distances.

상기 관심 영역 추출부는, 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이진화한 후 상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출할 수 있다. The ROI extractor may generate an average activation map for the n feature maps, binarize the average activation map, and extract a fire ROI of the n feature maps using the binarized average activation map. have.

상기 객체 감지부는, 입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지할 수 있다.The object detector may subtract the region of interest from an input frame to find an influence zone and then detect an object in the influence region.

본 발명의 다른 실시예에 따르면, 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 제1 에이전트; 상기 제1 에이전트의 입력 프레임의 분류 결과를 토대로 화재 확산 또는 축소 여부를 판단하는 제2 에이전트; 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하며, 상기 관심 영역을 이용하여 화재 지역 이외의 다른 관심 객체를 감지하는 제3 에이전트; 및 상기 다른 관심 객체를 이용하여 컨텍스트 정보를 추출하는 제4 에이전트를 포함하는 화재 감시 장치가 제공될 수 있다. According to another embodiment of the present invention, when classifying an input frame to a deep learning model, n (natural numbers less than or equal to) feature maps are selected by analyzing m (natural numbers) feature maps generated in the deep learning model. A first agent; A second agent that determines whether to spread or reduce fire based on a classification result of the input frame of the first agent; A third agent generating an average activation map for the n feature maps, extracting a region of interest using the average activation map, and detecting an object of interest other than a fire region using the region of interest; And a fourth agent extracting context information using the other object of interest.

상기 컨텍스트 정보는, 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 복수이되, 상기 제4 에이전트는 복수이되, 상기 복수의 제4 에이전트는 각각 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 어느 하나의 컨텍스트 정보를 추출할 수 있다. The context information may include a plurality of persons and population densities, adjacent entities (object types), flammable substances or dangerous substances, and evacuation status, wherein the fourth agents are plural, and the plurality of fourth agents are human and population densities, respectively. Contextual information can be extracted from the presence of adjacent entities (object types), flammable or dangerous substances, and evacuation status.

본 발명의 일 실시예에 따른 화재 감시 방법 및 장치를 제공함으로써, 딥 러닝에 기반하여 입력 프레임을 분류하는 과정에서 생성되는 특징맵을 이용하여 적응적으로 관심 영역을 추출하고, 이를 이용하여 다른 관심 개체를 감지하여 화재 감시를 위한 컨텍스트 정보를 추출하여 자동으로 신고하도록 할 수 있다. By providing a fire monitoring method and apparatus according to an embodiment of the present invention, the region of interest is adaptively extracted by using a feature map generated in the process of classifying the input frame based on deep learning, and the other interest using the same It can detect the object and extract the context information for fire monitoring and report it automatically.

또한, 본 발명은 복수의 에이전트를 통해 필요한 컨텍스트 정보를 추출한 후 이를 추론하여 자동으로 화재 신고(보고)를 수행할 수 있어, 정확한 화재 신고 접수가 가능하도록 할 수 있는 이점이 있다. In addition, the present invention can extract the necessary context information through a plurality of agents and infer this to automatically perform a fire report (report), there is an advantage that can be accurately received the fire report.

도 1은 본 발명의 일 실시예에 따른 화재 감시 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 n개의 특징맵을 선택하는 방법을 나타낸 순서도.
도 3은 본 발명의 일 실시예에 따른 도 3에는 원본 이미지와 이진화된 특징맵을 도시한 결과를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 관심 영역 추출 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예에 따른 화재 신고 정보를 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 화재 감시 장치의 내부 구성을 개략적으로 도시한 블록도.
도 7은 본 발명의 일 실시예에 따른 CNN 구조를 도시한 도면.
도 8 및 도 9는 본 발명의 일 실시예에 따른 에이전트 협업 프로세스를 설명하기 위해 도시한 도면.1 is a flow chart showing a fire monitoring method according to an embodiment of the present invention.
2 is a flowchart illustrating a method of selecting n feature maps according to an embodiment of the present invention.
3 is a view showing the results of showing the original image and the binarized feature map in Figure 3 according to an embodiment of the present invention.
4 is a flowchart illustrating a method for extracting a region of interest according to an embodiment of the present invention.
5 is a diagram illustrating fire report information according to an embodiment of the present invention.
Figure 6 is a block diagram schematically showing the internal configuration of a fire monitoring apparatus according to an embodiment of the present invention.
7 illustrates a CNN structure according to an embodiment of the present invention.
8 and 9 illustrate an agent collaboration process according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular forms "a", "an" and "the" include plural forms unless the context clearly indicates otherwise. In this specification, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or some steps It should be construed that it may not be included or may further include additional components or steps. In addition, the terms "... unit", "module", etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 화재 감시 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 n개의 특징맵을 선택하는 방법을 나타낸 순서도이며, 도 3은 본 발명의 일 실시예에 따른 도 3에는 원본 이미지와 이진화된 특징맵을 도시한 결과이며, 도 4는 본 발명의 일 실시예에 따른 관심 영역 추출 방법을 나타낸 순서도이고, 도 5는 본 발명의 일 실시예에 따른 화재 신고 정보를 예시한 도면이다.1 is a flowchart illustrating a fire monitoring method according to an embodiment of the present invention, FIG. 2 is a flowchart illustrating a method of selecting n feature maps according to an embodiment of the present invention, and FIG. 3 is a result showing an original image and a binarized feature map, FIG. 4 is a flowchart illustrating a method for extracting a region of interest according to an embodiment of the present invention, and FIG. 5 is an embodiment of the present invention. Figure is a diagram illustrating the fire report information according to.

단계 110에서 화재 감시 장치(100)은 입력 프레임을 분석하여 특징맵을 추출하고 분류한다. In operation 110, the fire monitoring apparatus 100 analyzes the input frame to extract and classify the feature map.

예를 들어, 화재 감시 장치(100)은 CNN 모델을 이용하여 화재 감시를 위한 m개의 특징맵을 추출한 각 프레임을 화재 및 비화재(정상) 프레임으로 분류한다. For example, the fire monitoring apparatus 100 classifies each frame from m feature maps for fire monitoring using a CNN model into fire and non-fire (normal) frames.

CNN 모델을 통해 높은 예측 스코어를 갖는 출력 프레임은 누적되며, DB에 전달되어 예측된 레이블(화재 또는 비화재)과 함께 저장될 수 있다. 누적된 DB는 CNN 모델의 미세 조정을 위해 사용된다. Output frames with high prediction scores are accumulated through the CNN model and may be delivered to the DB and stored with the predicted label (fire or non-fire). The accumulated DB is used to fine tune the CNN model.

입력 프레임이 CNN 모델을 통해 화재 또는 비화재로 분류될 때 입력 프레임에서 m(여기서, m은 자연수)개의 특징맵이 추출된다. 여기서, m은 입력 프레임이 CNN 모델에 적용시 추출되는 특징맵의 전체 개수를 나타낸다. When the input frame is classified as fire or non-fire through the CNN model, m (where m is a natural number) feature maps are extracted from the input frame. Here, m represents the total number of feature maps extracted when the input frame is applied to the CNN model.

단계 115에서 화재 감시 장치(100)은 m개의 특징맵을 분석하여 n개의 특징맵을 선택한다. 화재 감시 장치(100)은 m개의 특징맵 중 화재 감지를 위해 필요하지 않은 영역들을 제거하고 화재 감시에 필요한 n개의 특징맵을 선택하는 과정을 수행한다. 여기서, n은 m보다 작은 자연수일 수 있다. In operation 115, the fire monitoring apparatus 100 selects m feature maps by analyzing m feature maps. The fire monitoring apparatus 100 performs a process of removing areas that are not necessary for fire detection among m feature maps and selecting n feature maps required for fire monitoring. Here, n may be a natural number smaller than m.

즉, 비디오 스트림 형태로 입력되는 모든 프레임들을 대상으로 특징맵을 분석하는 것은 비효율적이므로, 화재 감지를 위해 필요하지 않은 영역들을 선별하여 제거한 후 화재 감지를 위해 필요한 영역만을 선택하도록 할 수 있다. That is, since it is inefficient to analyze the feature map for all frames input in the form of a video stream, it is possible to select and remove only the areas necessary for the fire detection after selecting and removing areas that are not necessary for the fire detection.

이를 위해, 화재 감시 장치(100)은 m개의 특징맵 중 불필요한 특징맵들을 제거하고 화재 감지를 위해 필요한 n개의 특징맵을 선택할 수 있다. 이에 대해서는 도 2를 참조하여 보다 상세히 설명하기로 한다. To this end, the fire monitoring apparatus 100 may remove unnecessary feature maps among the m feature maps and select n feature maps required for fire detection. This will be described in more detail with reference to FIG. 2.

단계 210에서 화재 감시 장치(100)은 m개의 특징맵의 사이즈를 조정한다.In operation 210, the fire monitoring apparatus 100 adjusts the sizes of the m feature maps.

예를 들어, 화재 감시 장치(100)은 m개의 특징맵의 사이즈를 256 x 256로 조정할 수 있다. For example, the fire monitoring apparatus 100 may adjust the size of the m feature maps to 256 x 256.

단계 215에서 화재 감시 장치(100)은 사이즈가 조정된 m개의 특징맵에 대한 평균 활성화 맵(mean activation map)을 계산한다. 활성화 맵을 계산(생성)하는 방법 자체는 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다. In operation 215, the fire monitoring apparatus 100 calculates a mean activation map for m sized feature maps. Since the method of calculating (generating) the activation map itself is obvious to those skilled in the art, a separate description thereof will be omitted.

단계 220에서 화재 감시 장치(100)은 생성된 평균 활성화 맵을 이용하여 m개의 특징맵을 각각 이진화한다. In operation 220, the fire monitoring apparatus 100 binarizes each of the m feature maps using the generated average activation map.

예를 들어, 각 특징맵의 특정 픽셀의 픽셀값이 상응하는 평균 활성화 맵의 특정 픽셀의 픽셀값보다 크면, 특정 픽셀의 픽셀값을 제1 값(예를 들어, 1)로 설정하고 그렇지 않으면 제2 값(예를 들어, 0)으로 설정하여 각 특징맵을 이진화할 수 있다.For example, if the pixel value of a particular pixel in each feature map is greater than the pixel value of a particular pixel in the corresponding average activation map, set the pixel value of the particular pixel to a first value (eg, 1); Each feature map can be binarized by setting the value to 2 (for example, 0).

도 3에는 원본 이미지와 이진화된 특징맵을 도시한 결과가 예시되어 있다. 3 illustrates the results of the original image and the binarized feature map.

단계 225에서 화재 감시 장치(100)은 기준값(ground truth)과 이진화된 각 특징맵 사이의 해밍 거리(hamming distance)를 계산한다. 여기서, 해밍 거리를 계산하는 방법 자체는 당업자에게는 자명한 사항이므로 이에 대한 설명은 생략하기로 한다. In operation 225, the fire monitoring apparatus 100 calculates a hamming distance between the ground truth and each binarized feature map. Here, the method of calculating the hamming distance itself is obvious to those skilled in the art, and a description thereof will be omitted.

단계 230에서 화재 감시 장치(100)은 계산된 해밍 거리를 이용하여 m개의 특징맵 중 n개를 선택한다. 이때, 화재 감시 장치(100)은 해밍 거리가 짧은 n개의 특징맵을 선택할 수 있다. In operation 230, the fire monitoring apparatus 100 selects n of m feature maps using the calculated hamming distance. In this case, the fire monitoring apparatus 100 may select n feature maps having a short hamming distance.

도 2를 참조하여, m개의 특징 맵 중 n개의 특징맵을 선택하는 방법에 대해 설명하였다.Referring to FIG. 2, a method of selecting n feature maps from m feature maps has been described.

다시 도 1을 참조하여 단계 120에서 화재 감시 장치(100)은 n개의 특징맵을 분석하여 화재 관심 영역을 선별한다.Referring back to FIG. 1, in operation 120, the fire monitoring apparatus 100 analyzes n feature maps to select a fire interest region.

이에 대해 도 4를 참조하여 보다 상세히 설명하기로 한다. This will be described in more detail with reference to FIG. 4.

단계 410에서 화재 감시 장치(100)은 n개의 특징맵을 이용하여 평균 활성화 맵을 생성한다. In operation 410, the fire monitoring apparatus 100 generates an average activation map using the n feature maps.

단계 415에서 화재 감시 장치(100)은 평균 활성화 맵을 이진화한다. 이때, 평균 활성화 맵은 임계값(T2)을 이용하여 이진화될 수 있다. 예를 들어, 평균 활성화 맵의 각 픽셀의 픽셀값 중 임계값을 초과하면, 제1 값으로 설정하고 임계값을 이하이면 제1 값으로 설정하여 이진화할 수 있다. In operation 415, the fire monitoring apparatus 100 binarizes the average activation map. In this case, the average activation map may be binarized using the threshold value T2. For example, when the threshold value is exceeded among pixel values of each pixel of the average activation map, the threshold value may be set to the first value and the threshold value may be set to the first value to be binarized.

단계 420에서 화재 감시 장치(100)은 이진화된 평균 활성화 맵을 이용하여 n개의 특징 맵 중 적어도 일부의 화재 관심 영역(ROI)을 추출한다. In operation 420, the fire monitoring apparatus 100 extracts a fire ROI of at least some of the n feature maps using the binarized average activation map.

이러한 단계는 각각의 프레임마다 수행될 수 있음은 당연하다. Naturally, this step can be performed for each frame.

이와 같이, 추출(선택된) 화재 관심 영역이 각각의 에이전트에 의해 분석되어 화재 감시를 위해 이용된다. As such, the extracted (selected) fire region of interest is analyzed by each agent and used for fire monitoring.

다시, 도 1을 참조하여, 단계 125에서 화재 감시 장치(100)은 추출된 화재 관심 영역을 분석하여 객체를 감지하고 인식한다.Again, referring to FIG. 1, in operation 125, the fire monitoring apparatus 100 may detect and recognize an object by analyzing the extracted fire region of interest.

예를 들어, 화재 감시 장치(100)은 입력 프레임에서 화재 감시 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾아 분석하여 근처의 객체를 감지할 수 있다. For example, the fire monitoring apparatus 100 may subtract the fire monitoring region from the input frame to detect and analyze an influence zone to detect nearby objects.

단계 130에서 화재 감시 장치(100)은 감지된 객체를 이용하여 컨텍스트 정보를 추출한다. In operation 130, the fire monitoring apparatus 100 extracts context information by using the detected object.

일반적으로 소방서에 화재 신고/보고시 다음과 같은 정보들을 필요로 한다. In general, fire reporting / reporting to a fire department requires the following information:

1. 화재 발생 여부1. Whether fire occurs

2. 건물에 사람 존재 여부2. Whether a person exists in the building

3. 화재가 발생한 건물의 종류3. Type of building in which fire occurred

4. 건물 주변의 위험 요소4. Dangers around buildings

5. 대피 진행 여부5. Evacuation status

6. 건물 주소6. Building address

7. 전화번호7. Phone number

8. 기타 관련 정보8. Other related information

따라서, 본 발명의 일 실시예에 따른 화재 감시 장치(100)은 감지된 객체를 이용하여 상술한 정보를 포함하는 컨텍스트 정보를 추출할 수 있다. Therefore, the fire monitoring apparatus 100 according to an embodiment of the present invention may extract context information including the above-described information by using the detected object.

추출되는 컨텍스트 정보의 일 예는 다음과 같다. An example of extracted context information is as follows.

1. 화재 발생 여부1. Whether fire occurs

2. 사람 및 인구 밀도2. People and Population Density

3. 인접 개체(개체 유형)3. Adjacent object (object type)

4. 인화성 물질/위험물 존재4. Flammable Substance / Dangerous Goods Presence

5. 대피 현황5. Evacuation Status

6. 카메라의 GPS 위치6. GPS location of the camera

7. 스마트폰 사용자 수7. Number of Smartphone Users

8. 화재 및 현장 정보의 사이즈/확산8. Size / spread of fire and site information

상술한 컨텍스트 정보는 화재 관심 영역에서 추출된 각 객체를 이용하여 추출되는 컨텍스트 정보의 일 예를 기술한 것으로 화재 감시를 위해 추출되는 컨텍스트 정보가 달라질 수도 있음은 당연하다. The above-described context information describes an example of context information extracted by using each object extracted from the fire region of interest, and it is natural that context information extracted for fire monitoring may vary.

컨텍스트 정보는 복수의 에이전트에 의해 각각 추출될 수 있다. 예를 들어, 복수의 에이전트 중 어느 하나는 객체를 형태학적으로 분석하여 객체를 분류할 수도 있다. The context information may be extracted by a plurality of agents, respectively. For example, any one of the plurality of agents may classify the object by morphologically analyzing the object.

또한, 복수의 에이전트 중 다른 하나는 추출된 객체를 분석하여 대피 진행 상황을 검출할 수도 있다. In addition, the other of the plurality of agents may detect the evacuation progress by analyzing the extracted object.

또한, 복수의 에이전트 중 또 다른 하나는 추출된 객체를 분석하여 사람을 감지한 후 인원 수를 계산하고 인구 밀도를 추정할 수 있다. In addition, another one of the plurality of agents may analyze the extracted object to detect a person, calculate the number of people, and estimate the population density.

또한, 복수의 에이전트 중 또 다른 하나는 추출된 객체를 분석하여 가연성 물질 후보를 결정하여 인화성 물질을 분류할 수도 있다. In addition, another one of the plurality of agents may classify the flammable material by analyzing the extracted object to determine a flammable material candidate.

이와 같이, 복수의 에이전트를 기반으로 추출된 객체를 분석하여 컨텍스트 정보를 추출할 수 있다. As such, context information may be extracted by analyzing the extracted objects based on the plurality of agents.

단계 135에서 화재 감시 장치(100)은 추출된 컨텍스트 정보를 이용하여 화재 신호를 수행한다. 컨텍스트 정보를 기반으로 화재 신고를 수행하는 것 또한 특정 에이전트에 의해 수행될 수도 있음은 당연하다. In operation 135, the fire monitoring apparatus 100 performs a fire signal using the extracted context information. Of course, performing a fire notification based on the context information may also be performed by a specific agent.

예를 들어, 화재 신고되는 정보는 도 5에 도시된 바와 같다. For example, the fire notification information is as shown in FIG. 5.

도 6은 본 발명의 일 실시예에 따른 화재 감시 장치의 내부 구성을 개략적으로 도시한 블록도이고, 도 7은 본 발명의 일 실시예에 따른 CNN 구조를 도시한 도면이다. 6 is a block diagram schematically showing an internal configuration of a fire monitoring apparatus according to an embodiment of the present invention, Figure 7 is a diagram showing a CNN structure according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 화재 감시 장치(100)는 화재 감지 모듈(610), 컨텍스트 정보 추출 모듈(620), 신고 모듈(630), 저장 모듈(640) 및 프로세서(650)를 포함하여 구성된다. Referring to FIG. 6, the fire monitoring apparatus 100 according to an embodiment of the present invention includes a fire detection module 610, a context information extraction module 620, a notification module 630, a storage module 640, and a processor ( 650).

화재 감지 모듈(610)은 입력 프레임을 딥러닝 모델에 적용하여 화재/정상 프레임을 분류하고, 딥러닝 모델에서 생성되는 특징맵을 분석하여 관심 영역을 추출한다. The fire detection module 610 classifies the fire / normal frame by applying the input frame to the deep learning model, and extracts a region of interest by analyzing a feature map generated in the deep learning model.

본 발명의 일 실시예에 따르면 딥러닝 모델은 CNN일 수 있다. 본 발명의 일 실시예에 따른 딥러닝 모델은 도 7에 도시된 바와 같다. According to an embodiment of the present invention, the deep learning model may be a CNN. Deep learning model according to an embodiment of the present invention is as shown in FIG.

도 7을 참조하면, CNN 구조는 입력 프레임이 적용될 때 다양한 특징맵이 생성되는 컨볼루션 레이어, 플링 레이어 및 완전 연결 레이어를 포함한다. 이들에 대한 일반적인 기능은 당업자에게는 자명한 사항이므로 이에 대한 설명은 생략하기로 하며, 일반적인 CNN 구조와 상이한 구조에 대해서만 설명하기로 한다. Referring to FIG. 7, the CNN structure includes a convolution layer, a fling layer, and a fully connected layer for generating various feature maps when an input frame is applied. Since the general functions thereof are obvious to those skilled in the art, a description thereof will be omitted, and only a structure different from the general CNN structure will be described.

본 발명의 일 실시예에 따르면 입력 프레임은 244 x 244 x 3 크기이며, 제1 계층에서는 크기가 3 x 3인 64개의 필터를 적용하여 64개의 특징맵을 생성하여 컨볼루션을 수행할 수 있다. According to an embodiment of the present invention, the input frame is 244 x 244 x 3 in size, and in the first layer, 64 feature maps may be generated by applying 64 filters having a size of 3 x 3 to perform convolution.

64개의 특징 맵의 최대 활성화는 3 x 3 픽셀의 이웃을 고려하여 보폭(stride)을 2로 하여 제1 최대 풀링 레이어에 의해 선택될 수 있다. The maximum activation of the 64 feature maps may be selected by the first maximum pooling layer with a stride of 2 taking into account 3 x 3 pixel neighbors.

이를 통해 특징 맵의 크기가 2회 줄어들어 분별력있는 정보를 고려할 수 있게 된다. As a result, the size of the feature map is reduced twice so that discernible information can be considered.

이어, CNN 구조는 128 개의 필터로 구성된 두개의 화재 모듈과 256개의 필터로 구성된 다른 화재 모듈을 포함한다. 각각의 화재 모듈은 두개의 추가 컨볼루션 레이어, 압착 및 확장 레이어로 구성된다. 제3 화재 모듈의 출력은 특징 맵 크기의 감소를 위해 제2 최대 풀링 레이어로 출력될 수 있다. 출력은 필터 크기가 각각 256, 384, 384 및 512인 순서로 4개의 화재 모듈에 제공되며, 세번째 최대 풀링 레이어에서 전달된다. 마지막 화재 모듈에는 512개의 필터가 구비되며, 그 다음 순서대로 변형된 컨볼루션 레이어가 이어진다. 변형된 컨볼루션 레이어에서의 클래스 수는 2(M=2로 화재 및 비화재)를 유지하며, 그 결과는 두 개의 대상 클래스의 확률을 계산하기 위해 소프트맥스 분류기에 입력된 후 입력 프레임에 대한 예측 확률과 함께 화재 및 비화재로 분류될 수 있다. The CNN structure then includes two fire modules of 128 filters and another fire module of 256 filters. Each fire module consists of two additional convolutional layers, a crimp and an expansion layer. The output of the third fire module may be output to the second maximum pulling layer to reduce the feature map size. The outputs are provided to four fire modules in order of filter size 256, 384, 384 and 512, respectively, and are delivered at the third largest pooling layer. The final fire module is equipped with 512 filters, followed by a modified convolution layer in the following order. The number of classes in the modified convolutional layer remains 2 (fire and nonfire) with M = 2, and the result is input to the Softmax classifier to calculate the probability of the two target classes and then predicted for the input frame. It can be classified as fire and non-fire with probability.

지금까지 CNN 구조에 대해 간략하게 설명하였다. The CNN structure has been briefly described so far.

화재 감지 모듈(610)은 특징맵 선택부(612)와 관심 영역 추출부(615)를 포함한다. The fire detection module 610 includes a feature map selector 612 and an ROI extractor 615.

입력 프레임을 딥러닝 모델에 적용하여 분류시 딥러닝 모듈은 입력 프레임에 대한 특징을 추출하고 이를 분류할 수 있다. 특징맵 선택부(612)는 입력 프레임을 딥러닝 모델에 적용하여 분류결과를 출력하는 과정에서 딥러닝 모델에서 생성된 m개의 특징맵 중 n개를 선택할 수 있다. In the classification by applying the input frame to the deep learning model, the deep learning module may extract and classify the characteristics of the input frame. The feature map selector 612 may select n of m feature maps generated in the deep learning model while outputting the classification result by applying the input frame to the deep learning model.

이에 대해서는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.Since this is the same as already described above, overlapping description will be omitted.

이러한 입력 프레임을 딥러닝 모델에 적용하여 분류결과를 출력하는 과정에서 딥러닝 모델에서 생성된 m개의 특징맵 중 n개를 선택하는 과정은 제1 에이전트에 의해 독립적으로 수행될 수 있다.In the process of outputting the classification result by applying the input frame to the deep learning model, the process of selecting n of m feature maps generated in the deep learning model may be independently performed by the first agent.

관심 영역 추출부(615)는 n개의 특징맵을 분석하여 관심 영역을 추출한다. The ROI extractor 615 extracts the ROI by analyzing the n feature maps.

예를 들어, 관심 영역 추출부(615)는 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 평균 활성화 맵을 이진화한 후 관심 영역을 선별(추출)할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.For example, the ROI extractor 615 may generate an average activation map for n feature maps, binarize the average activation map, and then select (extract) the ROI. Since this is the same as already described above, redundant description will be omitted.

컨텍스트 정보 추출 모듈(620)은 관심 영역을 이용하여 입력 프레임에서 관심 객체를 감지하고, 관심 객체를 분석하여 컨텍스트 정보를 추출한다. The context information extraction module 620 detects an object of interest in the input frame using the region of interest, and extracts context information by analyzing the object of interest.

예를 들어, 컨텍스트 정보 추출 모듈(620)은 입력 프레임에서 관심 영역을 감산하여 영향 영역을 찾고, 영향 영역에서 다른 관심 객체를 감지할 수 있다. For example, the context information extraction module 620 may find an influence region by subtracting the region of interest from the input frame, and detect another object of interest in the influence region.

이와 같은 관심 객체를 분석하여 화재 감시 또는 화재 신고에 필요한 다양한 컨텍스트 정보 중 일부를 추출할 수 있다. 관심 영역을 이용하여 입력 프레임에서 관심 객체를 감지하는 것은 복수의 에이전트 중 어느 하나에 의해 수행될 수 있다. The object of interest may be analyzed to extract some of various contextual information required for fire monitoring or fire reporting. Sensing the object of interest in the input frame using the region of interest may be performed by any one of a plurality of agents.

또한, 감지된 관심 객체를 분석하여 각각 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황과 같은 각각의 컨텍스트 정보를 추출하는 것은 각각 별도의 에이전트에 의해 수행될 수 있다. In addition, analyzing each detected object of interest and extracting each contextual information such as a person and population density, an adjacent object (object type), the presence of flammable or dangerous substances, and the evacuation status can be performed by separate agents. have.

에이전트를 통한 프로세스에 대해서는 하기에서 별도의 도면을 참조하여 설명하기로 한다. The process through the agent will be described with reference to the separate drawings below.

신고 모듈(630)은 컨텍스트 정보를 수집하여 화재 신고를 수행한다. The report module 630 collects the context information and performs a fire report.

저장 모듈(640)은 입력 프레임이 CNN에 적용되어 분류될 때 높은 예측 스코어를 갖는 출력 프레임을 데이터베이스에 저장한다. 출력 프레임은 화재 또는 비화재로 구분되어 저장될 수 있다. The storage module 640 stores the output frame with the high prediction score in the database when the input frame is applied to the CNN and classified. The output frame can be divided into fire or non-fire.

또한, 저장 모듈(640)은 메모리를 포함할 수 있으며, 메모리에는 화재 감시 방법을 수행하기 위한 명령어들, 명령어들을 수행하는 과정에서 파생되는 다양한 데이터들이 저장될 수도 있다. In addition, the storage module 640 may include a memory, and the memory may store instructions for executing a fire monitoring method and various data derived from a process of executing the instructions.

프로세서(650)는 본 발명의 일 실시예에 따른 화재 감시 장치의 내부 구성 요소들(예를 들어, 화재 감지 모듈(610), 컨텍스트 정보 추출 모듈(620), 신고 모듈(630), 저장 모듈(640) 등)을 제어하기 위한 수단이다. The processor 650 may include internal components (eg, a fire detection module 610, a context information extraction module 620, a notification module 630, and a storage module) of a fire monitoring apparatus according to an embodiment of the present invention. 640, etc.).

도 8은 본 발명의 일 실시예에 따른 에이전트 협업 프로세스를 도시한 도면이며, 도 9에는 각 에이전트들에서의 컨텍스트 정보 추출 및 협업을 위한 메시지 흐름을 순서화한 도면이다. FIG. 8 is a diagram illustrating an agent collaboration process according to an embodiment of the present invention, and FIG. 9 is a diagram illustrating a sequence of message flows for context information extraction and collaboration in each agent.

도 8을 참조하면, 본 발명의 일 실시예에 따른 화재 감시 방법은 8개의 에이전트가 병렬적으로 동작하며 수행될 수 있다. 복수의 에이전트 중 일부는 독립적으로 동작될 수도 있으며, 나머지 일부는 다른 에이전트에 종속되거나 다른 에이전트와 협업하여 컨텍스트 정보를 추출할 수도 있다. Referring to FIG. 8, the fire monitoring method according to an embodiment of the present invention may be performed while eight agents operate in parallel. Some of the plurality of agents may operate independently, and others may depend on other agents or collaborate with other agents to extract contextual information.

입력 프레임이 입력되는 경우, 제1 에이전트는 입력 프레임을 CNN에 적용하여 분류한다. 제1 에이전트는 입력 프레임이 CNN에 적용되어 분류 결과를 출력하는 과정에서 CNN에 의해 출력되는 중간 결과인 m개의 특징맵을 획득한 후 불필요한 특징맵을 제거한 후 화재 감시를 위해 필요한 n개의 특징맵을 선택할 수 있다. When an input frame is input, the first agent applies the input frame to the CNN and classifies the input frame. The first agent acquires m feature maps, which are intermediate results output by the CNN in the process of applying the input frame to the CNN and outputs classification results, removes unnecessary feature maps, and then removes n feature maps necessary for fire monitoring. You can choose.

제2 에이전트는 제1 에이전트의 입력 프레임의 분류 결과를 토대로 화재 확산 또는 축소 여부를 판단한다. The second agent determines whether to spread or reduce the fire based on the classification result of the input frame of the first agent.

예를 들어, 제2 에이전트는 제1 에이전트에 의해 분류된 화재가 감지된 프레임들을 대상으로 분석하여 화재가 확산되는지 축소되는지 여부를 판단할 수 있다. 이를 위해, 제2 에이전트는 현재 입력 프레임의 화재 픽셀을 앞에 있는 여러 프레임들과 비교하여 화재가 확산되는지 축소되는지를 판단할 수 잇다. For example, the second agent may analyze the frames in which the fire classified by the first agent is detected and determine whether the fire is spread or reduced. To this end, the second agent may compare the fire pixels of the current input frame with the preceding frames to determine whether the fire is spreading or shrinking.

제2 에이전트는 결과적으로 화재 확산을 모니터링하는 기능을 수행하며, 화재 확산 모니터링 결과는 제8 에이전트로 전송하여 화재 심각성을 신고하도록 할 수 있다. As a result, the second agent may perform a function of monitoring the fire spread, and the fire spread monitoring result may be transmitted to the eighth agent to report the fire severity.

제3 에이전트는 n개의 특징맵을 이용하여 평균 활성화 맵을 생성하고, 평균 활성화 맵을 이용하여 관심 영역을 추출하며, 관심 영역을 이용하여 화재 지역 이외의 다른 관심 객체를 로컬에 배치하여 다른 에이전트들로 배포한다. The third agent generates the average activation map using the n feature maps, extracts the region of interest using the average activation map, and uses the region of interest to locally place other objects of interest other than the fire region to generate other agents. To distribute.

제4 에이전트는 관심 객체를 분석하여 사람을 검출하여 사람 수를 추정하고 사람의 밀도(인구 밀도)를 분석한다. 이렇게 추출된 정보는 평면 메시지를 통해 제8 에이전트로 전송된다.The fourth agent analyzes the object of interest to detect a person, estimates the number of people, and analyzes the density of the person (population density). The extracted information is transmitted to the eighth agent through a plane message.

보다 상세히 설명하면, 도 9의 910에 도시된 바와 같이, 제4 에이전트는 제3 에이전트로부터 추출된 객체(관심 객체) 정보를 획득한 후 이를 분석하여 사람을 감지(인식)한 후 사람 수(인원 수)와 인구 밀도를 추정한 후 이를 제2 에이전트로 전송한다. 또한, 제4 에이전트는 인원수와 인구 밀도를 추정하여 이를 제8 에이전트에게 전송한다.In more detail, as shown in 910 of FIG. 9, the fourth agent acquires object (interested object) information extracted from the third agent and analyzes it to detect (recognize) the number of people (persons). Number) and population density and then send it to the second agent. In addition, the fourth agent estimates the number of people and the population density and transmits the same to the eighth agent.

제5 에이전트는 관심 객체를 분석하여 인화성 물질을 김지하고 평면 메시지를 통해 제8 에이전트로 출력한다. The fifth agent analyzes the object of interest, steams the flammable material, and outputs it to the eighth agent through a plane message.

도 9의 920에 도시된 바와 같이, 제5 에이전트는 제3 에이전트로부터 추출된 객체(관심 객체) 정보를 획득한 후 이를 분석하여 가연성 물질 후보를 결정한 후 가연성 물질의 세그먼트 영역을 추출하여 인화성 물질을 분류한 후 이를 제8 에이전트로 전송할 수 있다. As illustrated at 920 of FIG. 9, the fifth agent acquires object (interested object) information extracted from the third agent, analyzes it, determines a flammable material candidate, and extracts a segment region of the flammable material to extract flammable material. After classification, it may be transmitted to the eighth agent.

또한, 제6 에이전트는 관심 객체를 분석하여 구조를 위해 객체를 우선 순위가 높은 순으로 분류하여 제8 에이전트에게 반환 메시지의 형태로 보고한다(도 9의 930 참조)In addition, the sixth agent analyzes the object of interest, classifies the object in order of high priority, and reports the object of interest in the form of a return message to the eighth agent (see 930 of FIG. 9).

또한, 제6 에이전트는 관심 객체를 분석하여 구조를 위해 객체를 우선 순위가 높은 순으로 분류하여 평면 메시지를 통해 제7 에이전트로 전송(도 9의 930 참조)하며, 제7 에이전트는 인식된 객체를 분석하여 객체 유형을 결정하여 평면 메시지를 통해 제8 에이전트로 전송한다(도 9의 940 참조). In addition, the sixth agent analyzes the object of interest, classifies the object in order of high priority, and transmits the recognized object to the seventh agent through a plane message (see 930 of FIG. 9). After analyzing, the object type is determined and transmitted to the eighth agent through a plane message (see 940 of FIG. 9).

예를 들어, 제6 에이전트에서 객체를 차량으로 인식하는 경우, 제7 에이전트는 차량 유형을 인식하여 이를 제8 에이전트로 전송하여 화재 신고하도록 할 수 있다. For example, when the sixth agent recognizes the object as a vehicle, the seventh agent may recognize the vehicle type and transmit the same to the eighth agent to report the fire.

제8 에이전트는 제5 및 제6 에이전트로부터 수신된 인화성 물질 분류 및 객체 분류를 기반으로 인식 대상 사이의 관계를 결정한 후 대피 진행 상황을 측정할수 있다. 제8 에이전트는 제4 에이전트 내지 제7 에이전트로부터 수신된 정보들을 분석하여 추가적인 추론을 통해 대피 진행 상황을 추론할 수 있다(도 9의 950 참조). The eighth agent may measure the evacuation progress after determining the relationship between the recognition objects based on the flammable substance classification and the object classification received from the fifth and sixth agents. The eighth agent may infer the evacuation progress through additional inference by analyzing the information received from the fourth to seventh agent (see 950 of FIG. 9).

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Apparatus and method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

100: 화재 감시 장치
610: 화재 감지 모듈
620: 컨텍스트 정보 추출 모듈
630: 신고 모듈
640: 저장 모듈
650: 프로세서100: fire monitoring device
610: fire detection module
620: Extract context information module
630: report module
640: storage module
650: processor

Claims

(a) 입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 단계;
(b) 상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 단계;
(c) 상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 단계;
(d) 상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 단계; 및
(e) 상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 단계를 포함하는 화재 감시 방법.
(a) selecting n (natural number less than or equal to) feature maps by analyzing m (natural number) feature maps generated by the deep learning model when applying and classifying an input frame to the deep learning model;
(b) generating an average activation map for the n feature maps and extracting a region of interest using the average activation map;
(c) detecting an object in the input frame using the region of interest;
(d) extracting a plurality of context information required for fire monitoring using the detected object; And
(e) reporting a fire using the extracted plurality of context information.

제1 항에 있어서, 상기 (a) 단계는,
상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계;
상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화하는 단계;
기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하는 단계;
상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택하는 단계를 포함하는 것을 특징으로 하는 화재 감시 방법.
The method of claim 1, wherein step (a) comprises:
Generating an average activation map for the m feature maps;
Binarizing each of said m feature maps using said average activation map;
Calculating a hamming distance between ground truth and each of the binarized feature maps, respectively;
And selecting the n feature maps having a short hamming distance using the calculated hamming distance.

제1 항에 있어서,
상기 (b) 단계는,
상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하는 단계;
상기 평균 활성화 맵을 이진화하는 단계; 및
상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 화재 감시 방법.
According to claim 1,
In step (b),
Generating an average activation map for the n feature maps;
Binarizing the average activation map; And
And extracting a fire area of interest from the n feature maps using the binarized average activation map.

제1 항에 있어서,
상기 (c) 단계는,
상기 입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지하는 것을 특징으로 하는 화재 감시 방법.
According to claim 1,
In step (c),
And subtracting the region of interest from the input frame to find an influence zone, and then detecting an object in the affected region.

제1 항에 있어서,
상기 컨텍스트 정보는 화재 발생 여부, 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황, 카메라 GPS 정보, 스마트폰 사용자 수 및 화재 확산 정보 중 적어도 하나인 것을 특징으로 하는 화재 감시 방법.
According to claim 1,
The context information may include at least one of a fire occurrence, a person and a population density, an adjacent object (object type), a flammable substance or a dangerous substance, evacuation status, camera GPS information, a smartphone user number, and fire spread information. How to monitor fire.

제1 항 내지 제5 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 명령어들을 기록한 컴퓨터로 판독 가능한 기록매체 제품.
A computer-readable recording medium product having recorded thereon instructions for performing a method according to any one of claims 1 to 5.

입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 특징맵 선택부;
상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하는 관심 영역 추출부;
상기 관심 영역을 이용하여 상기 입력 프레임에서 객체를 감지하는 객체 감지부;
상기 감지된 객체를 이용하여 화재 감시에 필요한 복수의 컨텍스트 정보를 추출하는 컨텍스트 추출부; 및
상기 추출된 복수의 컨텍스트 정보를 이용하여 화재 신고하는 통신부를 포함하는 화재 감시 장치.
A feature map selection unit for selecting n (natural numbers less than or equal to) feature maps by analyzing m (natural numbers) feature maps generated in the deep learning model when applying and classifying an input frame to a deep learning model;
A region of interest extraction unit which generates an average activation map for the n feature maps and extracts a region of interest using the average activation map;
An object detector configured to detect an object in the input frame using the ROI;
A context extraction unit which extracts a plurality of context information necessary for fire monitoring using the detected object; And
Fire monitoring device comprising a communication unit for reporting a fire by using the extracted plurality of context information.

제7 항에 있어서,
상기 특징맵 선택부는,
상기 m개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 상기 m개의 특징맵을 각각 이진화한 후 기준값(ground truth)과 상기 이진화된 각각의 특징맵 사이의 해밍 거리를 각각 계산하며, 상기 계산된 해밍 거리를 이용하여 해밍 거리가 짧은 n개의 특징맵을 선택하는 것을 특징으로 하는 화재 감시 장치.
The method of claim 7, wherein
The feature map selector,
Generate an average activation map for the m feature maps, binarize each of the m feature maps using the average activation map, and then calculate a Hamming distance between ground truth and each of the binarized feature maps. And n feature maps having a short hamming distance using the calculated hamming distance.

제7 항에 있어서,
상기 관심 영역 추출부는,
상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이진화한 후 상기 이진화된 평균 활성화 맵을 이용하여 상기 n개의 특징맵 중 화재 관심 영역을 추출하는 것을 특징으로 하는 화재 감시 장치.
The method of claim 7, wherein
The region of interest extraction unit,
Generating an average activation map for the n feature maps, binarizing the average activation map and extracting a fire region of interest from the n feature maps using the binarized average activation map .

제7 항에 있어서,
상기 객체 감지부는,
입력 프레임에서 상기 관심 영역을 감산(subtract)하여 영향 영역(influence zone)을 찾은 후 상기 영향 영역에서 객체를 감지하는 것을 특징으로 하는 화재 감시 장치.
The method of claim 7, wherein
The object detecting unit,
And subtracting the region of interest from an input frame to find an influence zone, and then detecting an object in the affected region.

입력 프레임을 딥러닝 모델에 적용하여 분류시, 상기 딥러닝 모델에서 생성되는 m(자연수)개의 특징맵을 분석하여 n(m이하의 자연수)개의 특징맵을 선택하는 제1 에이전트;
상기 제1 에이전트의 입력 프레임의 분류 결과를 토대로 화재 확산 또는 축소 여부를 판단하는 제2 에이전트;
상기 n개의 특징맵에 대한 평균 활성화 맵을 생성하고, 상기 평균 활성화 맵을 이용하여 관심 영역을 추출하며, 상기 관심 영역을 이용하여 화재 지역 이외의 다른 관심 객체를 감지하는 제3 에이전트; 및
상기 다른 관심 객체를 이용하여 컨텍스트 정보를 추출하는 제4 에이전트를 포함하는 화재 감시 장치.
A first agent selecting n (natural numbers less than or equal to) feature maps by analyzing m (natural numbers) feature maps generated in the deep learning model when applying and classifying an input frame to the deep learning model;
A second agent that determines whether to spread or reduce a fire based on a classification result of the input frame of the first agent;
A third agent generating an average activation map for the n feature maps, extracting a region of interest using the average activation map, and detecting an object of interest other than a fire region using the region of interest; And
And a fourth agent extracting context information using the other object of interest.

제11 항에 있어서,
상기 컨텍스트 정보는,
사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 복수이되,
상기 제4 에이전트는 복수이되, 상기 복수의 제4 에이전트는 각각 사람 및 인구 밀도, 인접 개체(개체 유형), 인화성 물질 또는 위험물 존재 여부, 대피 현황 중 어느 하나의 컨텍스트 정보를 추출하는 것을 특징으로 하는 화재 감시 장치.

The method of claim 11, wherein
The context information,
Plurality of people and population density, adjacent entities (object types), flammable or dangerous goods, evacuation status,
The fourth agent is plural, and the plurality of fourth agents extracts context information of any one of human and population density, adjacent entities (object types), presence of flammable substances or dangerous substances, and evacuation status. Fire monitoring device.