KR102436752B1

KR102436752B1 - Deep learning based smoke and fire detection method and apparatus

Info

Publication number: KR102436752B1
Application number: KR1020200084580A
Authority: KR
Inventors: 백준기; 박석목; 김현우
Original assignee: 중앙대학교 산학협력단
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2022-08-25
Also published as: KR20220006770A; KR102436752B9

Abstract

딥러닝 기반 연기 및 화재 검출 방법 및 그 장치가 개시된다. 딥러닝 기반 연기 및 화재 검출 장치는, 입력 영상을 전처리하여 연기와 화재 영역을 강조하는 전처리부; 상기 입력 영상을 정적인 프레임 단위로 적용하여 연기 및 화재 특징값을 추출하는 공간 분석 모델부; 상기 연기와 화재 영역이 강조된 영상에서 옵티컬 플로우를 적용한 영상을 입력받아 연기 및 화재의 모션 특징값을 추출하는 시간 분석 모델부; 및 상기 연기 및 화재 특징값과 상기 연기 및 화재의 모션 특징값을 융합하여 상기 입력 영상을 연기, 화재 및 일반 영상으로 각각 분류하는 분류부를 포함하되, 상기 공간 분석 모델부와 상기 시간 분석 모델부는 병렬로 동작된다. A deep learning-based smoke and fire detection method and apparatus are disclosed. The deep learning-based smoke and fire detection device includes: a pre-processing unit that pre-processes an input image to emphasize smoke and fire areas; a spatial analysis model unit for extracting smoke and fire feature values by applying the input image in units of static frames; a time analysis model unit that receives an image to which an optical flow is applied from the image in which the smoke and fire regions are emphasized and extracts motion feature values of smoke and fire; and a classification unit for classifying the input image into smoke, fire and general images by fusing the smoke and fire characteristic values and the smoke and fire motion characteristic values, wherein the spatial analysis model unit and the temporal analysis model unit are parallel is operated with

Description

딥러닝 기반 연기 및 화재 검출 방법 및 그 장치{Deep learning based smoke and fire detection method and apparatus}Deep learning based smoke and fire detection method and apparatus

본 발명은 딥러닝 기반 연기 및 화재 검출 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting smoke and fire based on deep learning.

화재는 생태학적 피해뿐만 아니라 인명 피해에 치명적인 영향을 미친다. 화재의 확산으로 인해 추가적인 피해를 줄이기 위해서는 초기에 화재를 검출해야 할 필요성이 있다. 일반적으로 화재가 발생하기 전 연기부터 나는 것은 자명한 사실이다. 따라서 화재가 발생하기 전 연기를 검출해낼 수 있다면 큰 화재로 확산하는 것을 예방할 수 있고 추가적인 피해를 줄일 수 있다. 그렇기 때문에 연기 검출 알고리즘은 화재 예방 및 경보 시스템에서 매우 중요하다. Fires have a devastating effect on human life as well as ecological damage. In order to reduce further damage due to the spread of fire, it is necessary to detect the fire at an early stage. In general, it is a self-evident fact that smoke comes out before a fire occurs. Therefore, if smoke can be detected before a fire occurs, the spread of a large fire can be prevented and additional damage can be reduced. That is why smoke detection algorithms are very important in fire prevention and alarm systems.

기존의 연기 감지 시스템은 일반적으로 온도, 습도 등을 실시간으로 샘플링 한 센서 기반이었다. 이러한 센서를 기반으로 하는 전통적인 연기 감지기는 대부분 대기의 화학물질과 입자를 측정한다. 밀폐된 공간에서 입자들은 빠르게 농도가 높아지고 이로 인해 센서를 통한 연기 감지가 가능하다. 하지만 센서 기반의 감지방법에는 여러 한계가 존재한다. 센서는 불에 가까이 설치되어야 하며 고온 에서 쉽게 손상 될 수 있다. 또한, 실외환경은 밀폐된 공간이 아니기 때문에 연기가 확산되기 쉬우므로 센서가 제대로 동작하기가 어렵다.Existing smoke detection systems were generally sensor-based, which sampled temperature, humidity, etc. in real time. Most traditional smoke detectors based on these sensors measure chemicals and particles in the atmosphere. In an enclosed space, the particles quickly build up in concentration, which allows the sensor to detect smoke. However, the sensor-based detection method has several limitations. The sensor must be installed close to fire and can be easily damaged by high temperatures. In addition, since the outdoor environment is not an enclosed space, it is difficult for the sensor to operate properly because smoke is easy to spread.

본 발명은 딥러닝 기반 연기 및 화재 검출 방법 및 그 장치를 제공하기 위한 것이다. The present invention is to provide a method and apparatus for detecting smoke and fire based on deep learning.

또한, 본 발명은 두방향 스트림 기반으로 공간 네트워크와 시간 네트워크를 통해 입력 영상을 분석하여 연기 및 화재 검출 성능이 우수한 딥러닝 기반 연기 및 화재 검출 방법 및 그 장치를 제공하기 위한 것이다. Another object of the present invention is to provide a deep learning-based smoke and fire detection method and apparatus having excellent smoke and fire detection performance by analyzing an input image through a spatial network and a temporal network based on a two-way stream.

또한, 본 발명은 입력 영상을 정적 프레임 기반으로 분석할 뿐만 아니라 시간에 따른 모션 분석을 통해 정확하게 연기 및 화재를 검출할 수 있는 딥러닝 기반 연기 및 화재 검출 방법 및 그 장치를 제공하기 위한 것이다.Another object of the present invention is to provide a deep learning-based smoke and fire detection method and apparatus capable of accurately detecting smoke and fire through time-dependent motion analysis as well as analyzing an input image based on a static frame.

본 발명의 일 측면에 따르면, 딥러닝 기반 연기 및 화재 검출 장치가 제공된다. According to one aspect of the present invention, a deep learning-based smoke and fire detection apparatus is provided.

본 발명의 일 실시예에 따르면, 입력 영상을 전처리하여 연기와 화재 영역을 강조하는 전처리부; 상기 입력 영상을 정적인 프레임 단위로 적용하여 연기 및 화재 특징값을 추출하는 공간 분석 모델부; 상기 연기와 화재 영역이 강조된 영상에서 옵티컬 플로우를 적용한 영상을 입력받아 연기 및 화재의 모션 특징값을 추출하는 시간 분석 모델부; 및 상기 연기 및 화재 특징값과 상기 연기 및 화재의 모션 특징값을 융합하여 상기 입력 영상을 연기, 화재 및 일반 영상으로 각각 분류하는 분류부를 포함하되, 상기 공간 분석 모델부와 상기 시간 분석 모델부는 병렬로 동작되는 것을 특징으로 하는 연기 및 화재 검출 장치가 제공될 수 있다. According to an embodiment of the present invention, a pre-processing unit for pre-processing an input image to emphasize smoke and fire areas; a spatial analysis model unit for extracting smoke and fire feature values by applying the input image in units of static frames; a time analysis model unit that receives an image to which an optical flow is applied from the image in which the smoke and fire regions are emphasized and extracts motion feature values of smoke and fire; and a classification unit for classifying the input image into smoke, fire and general images by fusing the smoke and fire characteristic values and the smoke and fire motion characteristic values, wherein the spatial analysis model unit and the temporal analysis model unit are parallel A smoke and fire detection device characterized in that it operates as can be provided.

상기 전처리부는, 상기 입력 영상에 DCP(dark channel prior) 알고리즘을 적용한 후 연기 대기 투과율을 도출한 후 상기 연기 대기 투과율을 이용하여 연기 영역을 강조할 수 있다. The preprocessor may apply a dark channel prior (DCP) algorithm to the input image, derive a smoke atmospheric transmittance, and then emphasize a smoke region using the smoke atmospheric transmittance.

상기 전처리부는, 상기 입력 영상을 다른 컬러 모델로 변환한 후 화재 판단 범위 내의 픽셀들을 화재 영역으로서 강조할 수 있다.The preprocessor may convert the input image into another color model and then emphasize pixels within a fire determination range as a fire area.

상기 시간 분석 모델부는, 상기 연기 영역과 상기 화재 영역이 강조된 영상에 옵티컬 플로우를 적용한 후 수평 성분과 수직 성분으로 각각 분해한 영상을 입력받을 수 있다. The time analysis model unit may receive an image decomposed into a horizontal component and a vertical component after applying an optical flow to the image in which the smoke area and the fire area are emphasized.

본 발명의 다른 실시예에 따르면, 입력 영상을 전처리하여 연기와 화재 영역을 각각 강조하는 전처리부; 상기 입력 영상과 상기 연기 및 화재 영역이 강조된 영상을 분석 모델에 입력하여 공간 특징값과 모션 특징값을 출력하는 특징 분석부; 및 상기 공간 특징값과 모션 특징값을 융합하여 상기 입력 영상을 화재, 연기 및 일반 영상 중 어느 하나로 각각 분류하는 분류부를 포함하는 연기 및 화재 검출 장치가 제공될 수 있다. According to another embodiment of the present invention, a pre-processing unit for emphasizing smoke and fire areas by pre-processing an input image; a feature analysis unit that inputs the input image and the image in which the smoke and fire regions are emphasized to an analysis model and outputs spatial feature values and motion feature values; and a classification unit for classifying the input image into any one of fire, smoke, and general image by fusing the spatial feature value and the motion feature value.

상기 분석 모델은, 공간 네트워크 모델과 시간 네트워크 모델을 각각 포함하며,The analysis model includes a spatial network model and a temporal network model, respectively,

상기 공간 네트워크 모델은 상기 입력 영상을 정적 프레임 단위로 분석하며, 상기 시간 네트워크 모델은 상기 연기 및 화재 영역이 강조된 영상을 연속된 복수의 프레임 단위로 분석할 수 있다.The spatial network model may analyze the input image in units of static frames, and the temporal network model may analyze the image in which the smoke and fire regions are emphasized in units of a plurality of consecutive frames.

상기 분류부는, 상기 공간 네트워크 모델과 상기 시간 네트워크 모델의 출력 결과를 융합하여 상기 입력 영상을 화재, 연기 및 일반 영상 중 어느 하나로 각각 분류할 수 있다.The classifier may fuse output results of the spatial network model and the temporal network model to classify the input image into any one of fire, smoke, and general images, respectively.

본 발명의 다른 측면에 따르면, 딥러닝 기반 연기 및 화재 검출 방법이 제공된다.According to another aspect of the present invention, a deep learning-based smoke and fire detection method is provided.

본 발명의 일 실시예에 따르면, (a) 입력 영상을 전처리하여 연기와 화재 영역을 강조하는 단계; (b) 상기 입력 영상을 정적인 프레임 단위로 공간 분석 모델부에 적용하여 연기 및 화재 특징값을 추출하는 단계; (c) 상기 연기와 화재 영역이 강조된 영상에서 옵티컬 플로우를 적용한 영상을 시간 분석 모델부에 적용하여 연기 및 화재의 모션 특징값을 추출하는 단계; 및 (d) 상기 연기 및 화재 특징값과 상기 연기 및 화재의 모션 특징값을 융합하여 상기 입력 영상을 연기, 화재 및 일반 영상으로 각각 분류하는 단계를 포함하되, 상기 (b) 단계 및 상기 (c) 단계는 병렬로 수행되는 것을 특징으로 하는 연기 및 화재 검출 방법이 제공될 수 있다.According to an embodiment of the present invention, (a) emphasizing smoke and fire areas by pre-processing the input image; (b) extracting smoke and fire feature values by applying the input image to a spatial analysis model unit in units of static frames; (c) extracting motion characteristic values of smoke and fire by applying an image to which an optical flow is applied from the image in which the smoke and fire regions are emphasized to a time analysis model unit; and (d) classifying the input image into smoke, fire, and general images by fusing the smoke and fire feature values and the smoke and fire motion feature values, respectively, wherein the steps (b) and (c) ) may be provided with a smoke and fire detection method characterized in that the steps are performed in parallel.

본 발명의 다른 실시예에 따르면, 입력 영상을 전처리하여 연기와 화재 영역을 각각 강조하는 단계; 상기 입력 영상과 상기 연기 및 화재 영역이 강조된 영상을 두방향 스트림 분석 모델에 입력하여 공간 특징값과 모션 특징값을 출력하는 단계; 및 상기 공간 특징값과 모션 특징값을 융합하여 상기 입력 영상을 화재, 연기 및 일반 영상 중 어느 하나로 각각 분류하는 단계를 포함하는 연기 및 화재 검출 방법이 제공될 수 있다. According to another embodiment of the present invention, pre-processing the input image to emphasize the smoke and fire areas, respectively; outputting spatial feature values and motion feature values by inputting the input image and the image in which the smoke and fire regions are emphasized into a two-way stream analysis model; and classifying the input image into any one of fire, smoke, and general image by fusing the spatial feature value and the motion feature value.

본 발명의 일 실시예에 따른 딥러닝 기반 연기 및 화재 검출 방법 및 그 장치를 제공함으로써, 두방향 스트림 기반으로 공간 네트워크와 시간 네트워크를 통해 입력 영상을 분석하여 연기 및 화재 검출 성능이 우수한 이점이 있다. By providing a deep learning-based smoke and fire detection method and apparatus according to an embodiment of the present invention, there is an advantage in that the smoke and fire detection performance is excellent by analyzing an input image through a spatial network and a temporal network based on a two-way stream .

또한, 본 발명은 입력 영상을 정적 프레임 기반으로 분석할 뿐만 아니라 시간에 따른 모션 분석을 통해 정확하게 연기 및 화재를 검출할 수 있는 이점도 있다.In addition, the present invention has the advantage of being able to accurately detect smoke and fire through motion analysis according to time as well as analyzing an input image based on a static frame.

도 1은 본 발명의 일 실시예에 따른 연기 및 화재 검출 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 두방향 스트림 기반 분석 모델을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 공간 분석 모델의 상세 설명도.
도 4는 본 발명의 일 실시예에 따른 공간 분석 모델의 일부 구성을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 안개 전달 과정을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 연기 대기 투과율 적용 영상을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 HSV 컬러 모델을 적용한 화재 관심 영역을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 연기 및 화재의 관심 영역에 대한 옵티컬 플로우를 적용한 결과를 도시한 도면.
도 9은 본 발명의 일 실시예에 따른 연기 및 화재 검출 결과를 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 연기 및 화재 검출 장치의 내부 구성을 개략적으로 도시한 블록도.1 is a flowchart illustrating a smoke and fire detection method according to an embodiment of the present invention.
2 is a diagram illustrating a two-way stream-based analysis model according to an embodiment of the present invention.
3 is a detailed explanatory diagram of a spatial analysis model according to an embodiment of the present invention.
4 is a diagram illustrating a partial configuration of a spatial analysis model according to an embodiment of the present invention.
5 is a view for explaining a fog transfer process according to an embodiment of the present invention.
Figure 6 is a view showing a smoke atmospheric transmittance applied image according to an embodiment of the present invention.
7 is a diagram illustrating a fire ROI to which an HSV color model is applied according to an embodiment of the present invention.
8 is a diagram illustrating a result of applying an optical flow to a region of interest of smoke and fire according to an embodiment of the present invention.
9 is a view showing smoke and fire detection results according to an embodiment of the present invention.
10 is a block diagram schematically illustrating an internal configuration of a smoke and fire detection device according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or various steps described in the specification, some of which components or some steps are It should be construed that it may not include, or may further include additional components or steps. In addition, terms such as "... unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 연기 및 화재 검출 방법을 나타낸 순서도이며, 도 2는 본 발명의 일 실시예에 따른 두방향 스트림 기반 분석 모델을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 공간 분석 모델의 상세 설명도이며, 도 4는 본 발명의 일 실시예에 따른 공간 분석 모델의 일부 구성을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 안개 전달 과정을 설명하기 위해 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 연기 대기 투과율 적용 영상을 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 HSV 컬러 모델을 적용한 화재 관심 영역을 설명하기 위해 도시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 연기 및 화재의 관심 영역에 대한 옵티컬 플로우를 적용한 결과를 도시한 도면이고, 도 9은 본 발명의 일 실시예에 따른 연기 및 화재 검출 결과를 도시한 도면이다. 1 is a flowchart illustrating a smoke and fire detection method according to an embodiment of the present invention, FIG. 2 is a diagram illustrating a two-way stream-based analysis model according to an embodiment of the present invention, and FIG. 3 is It is a detailed explanatory diagram of a spatial analysis model according to an embodiment of the present invention, FIG. 4 is a diagram showing a partial configuration of a spatial analysis model according to an embodiment of the present invention, and FIG. 5 is an embodiment of the present invention It is a view illustrating a fog transfer process according to the present invention. It is a diagram illustrating an applied area of interest in fire, and FIG. 8 is a view showing a result of applying an optical flow to the area of interest of smoke and fire according to an embodiment of the present invention, and FIG. 9 is an exemplary embodiment of the present invention. It is a view showing the smoke and fire detection results according to the embodiment.

단계 110에서 연기 및 화재 검출 장치(100)는 입력 영상을 입력받는다.In step 110, the smoke and fire detection apparatus 100 receives an input image.

하기에서 보다 상세히 설명되겠지만, 본 발명의 일 실시예에 따른 연기 및 화재 검출 장치(100)는 두방향 스트림 분석 모델을 구비한다. 따라서, 입력 영상은 두방향 스트림 분석 모델로 각각 입력될 수 있다. As will be described in more detail below, the smoke and fire detection apparatus 100 according to an embodiment of the present invention includes a two-way stream analysis model. Accordingly, the input images may be respectively input to the two-way stream analysis model.

본 발명의 일 실시예에 따르면, 입력 영상은 RGB 컬러 모델의 영상일 수 있다. 이러한 입력 영상은 공간 분석 모델과 시간 분석 모델로 각각 출력될 수 있다. 공간 분석 모델은 입력 영상을 정적 프레임 단위로 분석하여 연기 및 화재 특징을 분석할 수 있다. 또한, 시간 분석 모델은 입력 영상을 전처리한 후 연속된 복수의 프레임 단위로 분석하여 연기 및 화재의 모션 특징을 분석할 수 있다. 이하에서는 입력 영상을 공간 분석 모델에 적용하는 과정을 우선하여 설명하나, 공간 분석 모델과 시간 분석 모델은 각각 병렬로 동작될 수 있다. According to an embodiment of the present invention, the input image may be an image of an RGB color model. These input images may be respectively output as a spatial analysis model and a temporal analysis model. The spatial analysis model can analyze the smoke and fire characteristics by analyzing the input image in units of static frames. In addition, the time analysis model may analyze the motion characteristics of smoke and fire by pre-processing the input image and then analyzing it in units of a plurality of consecutive frames. Hereinafter, the process of applying the input image to the spatial analysis model will be described first, but the spatial analysis model and the temporal analysis model may be operated in parallel.

즉, 단계 115에서 연기 및 화재 검출 장치(100)는 입력 영상을 정적 프레임 단위로 공간 분석 모델에 적용하여 연기 및 화재 특징값을 출력할 수 있다. That is, in step 115 , the smoke and fire detection apparatus 100 may output the smoke and fire feature values by applying the input image to the spatial analysis model in units of static frames.

본 발명의 일 실시에에 따르면, 도 2에 도시된 바와 같이, 입력 영상(스트림)은 두방향 스트림으로 분석될 수 있다. According to an embodiment of the present invention, as shown in FIG. 2 , an input image (stream) may be analyzed as a two-way stream.

즉, 입력 영상은 정적 프레임 단위로 공간 분석 모델(210)에 적용되어 분석될 수 있으며, 입력 영상은 전처리된 후 연속된 복수의 프레임 단위로 시간 분석 모델(220)을 통해 분석될 수 있다. That is, the input image may be analyzed by being applied to the spatial analysis model 210 in units of static frames, and the input image may be pre-processed and then analyzed through the temporal analysis model 220 in units of a plurality of consecutive frames.

우선 공간 분석 모델(210)에 대해 우선 설명하기로 한다. 공간 분석 모델(210)은 는 입력 영상에서 연기 및 화재 또는 일반 영상을 분류하기 위해 ResNet을 기반으로 사용한다. 이러한, 공간 분석 모델(210)는 224 x 224 x 3의 RGB 영상을 입력받고, 제1 컨볼루션 레이어와 풀링을 거쳐 55 x 55 x 64의 중간 특징맵을 출력한다. 이러한 중간 특징맵을 이용하여 4개의 Residual Block을 거쳐 평균 풀링, 완전 연결 레이어, 소프트 맥스를 통해 최종 분류 결과를 출력한다. 본 발명의 일 실시예에서는 152개의 레이어를 이용하여 공간 분석 모델(210)를 구성하였으며, 이에 대한 상세 설명서는 도 3에 도시된 바와 같다. First, the spatial analysis model 210 will be described first. The spatial analysis model 210 uses ResNet-based to classify smoke and fire or general images from the input image. The spatial analysis model 210 receives an RGB image of 224 x 224 x 3 and outputs a 55 x 55 x 64 intermediate feature map through pooling with the first convolutional layer. Using this intermediate feature map, the final classification result is output through average pooling, fully connected layer, and soft max through 4 residual blocks. In an embodiment of the present invention, the spatial analysis model 210 is configured using 152 layers, and detailed description thereof is shown in FIG. 3 .

본 발명의 일 실시예에 따른 공간 분석 모델(210)는 Convolution Block Attention Module(CBAM, 이하 CBAM이라 칭하기로 함)을 적용하여 구성된다. 하나의 Res Block에서의 CBAM 프레임워크는 도 4에 도시된 바와 같다. The spatial analysis model 210 according to an embodiment of the present invention is configured by applying a Convolution Block Attention Module (CBAM, hereinafter referred to as CBAM). The CBAM framework in one Res Block is as shown in FIG. 4 .

CBAM은 self-attention을 통해 영상 분류 및 검출에서 좋은 성능을 보이고 있다. 어텐션 맵은 인간이 어떤 영상을 볼 때 그 영상안에서 집중해서 보는 부분에 대해 가중치를 주어 특징으로 보는 개념이다. 따라서, 이러한 개념은 주로 특징 선택에 많이 사용되고 CNN에서 어텐션은 학습이 진행됨에 따라 딥러닝 모델 영상의 어떤 부분을 특징으로 보고 있는지를 효과적으로 시각화할 수 있다. CBAM shows good performance in image classification and detection through self-attention. The attention map is a concept that gives weight to the part that a human sees in an image when he sees a certain image and views it as a feature. Therefore, this concept is mainly used for feature selection and attention in CNN can effectively visualize which part of the deep learning model image is viewed as a feature as learning progresses.

CBAM은 채널 어텐션과 공간 어텐션으로 구성되며, Res Block에 적용된다. 채널 어텐션 및 공간 어텐션 모두 간단한 풀링 및 컨볼루션으로 구성되어 있어 연산량이 낮다.CBAM consists of channel attention and spatial attention, and is applied to Res Block. Both channel attention and spatial attention are composed of simple pooling and convolution, so the amount of computation is low.

다시 정리하면, 본 발명의 일 실시예에 따른 공간 분석 모델(210)는 ResNet50과 CBAM을 기반으로 구성되며, RGB 형식의 입력 영상을 정적 프레임 단위로 입력받은 후 연기 및 화재 특징값을 출력할 수 있다. In other words, the spatial analysis model 210 according to an embodiment of the present invention is configured based on ResNet50 and CBAM, and after receiving an input image in RGB format in units of static frames, it is possible to output smoke and fire feature values. have.

본 명세서에서는 지면의 설명의 한계로 인해, 공간 분석 모델(210)이 1회성으로 동작하는 것으로 기재되고 있으나, 공간 분석 모델(210)은 동영상 스트림인 입력 영상을 정적 프레임 단위로 각각 분석할 수 있음은 당연하다. In this specification, due to the limitation of the description of the paper, it is described that the spatial analysis model 210 operates only once, but the spatial analysis model 210 can analyze the input image, which is a video stream, in units of static frames, respectively. is natural

단계 120에서 연기 및 화재 검출 장치(100)는 입력 영상을 전처리하고, 전처리된 영상을 연속된 복수의 프레임 단위로 시간 분석 모델에 적용하여 연기 및 화재의 모션 특징값을 출력한다. In step 120, the smoke and fire detection apparatus 100 pre-processes the input image, applies the pre-processed image to the temporal analysis model in units of a plurality of consecutive frames, and outputs motion characteristic values of smoke and fire.

이에 대해 상세히 설명하기로 한다. This will be described in detail.

우선, 연기 및 화재 검출 장치(100)는 입력 영상을 전처리하여 연기 영역과 화재 영역을 각각 강조할 수 있다. First, the smoke and fire detection apparatus 100 may pre-process the input image to emphasize the smoke area and the fire area, respectively.

예를 들어, 연기 및 화재 검출 장치(100)는 입력 영상에 DCP(Dark Channel Prior)를 적용하여 연기 밀도를 적용하여 연기 영역을 강조할 수 있다. For example, the smoke and fire detection apparatus 100 may emphasize a smoke area by applying a dark channel priority (DCP) to an input image to apply a smoke density.

연기 및 화재 검출 장치(100)는 연기 영역을 강조하기 위해 대기 투과율을 추정한다. 도 5는 안개 전달 과정을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 안개는 어떤 물체로부터 반사된 후 대기에 의해 일부 손실된 빛과 태양 등 주변 광원으로부터 대기에 반사되어 함께 시야에 들어오는 대기 산란광이 섞임으로 인해 발생하게 된다. 이를 수학식으로 나타내면 수학식 1과 같다. The smoke and fire detection device 100 estimates atmospheric transmittance to highlight the smoke area. 5 is a diagram illustrating a fog transfer process. As shown in FIG. 5 , fog is generated due to mixing of light partially lost by the atmosphere after being reflected from an object, and atmospheric scattered light that is reflected in the atmosphere from ambient light sources such as the sun and enters the field of view. If this is expressed as an equation, it is the same as in Equation 1.

여기서,

는 안개에 의해 왜곡된 영상을 나타내고, A는 대기 산란광을 나타내며,

는 원본 영상을 나타내고,

는 대기를 거쳐 최종적으로 관찰자 또는 카메라에 도달하는 대기 투과율을 나타낸다. here,

represents the image distorted by fog, A represents atmospheric scattered light,

represents the original image,

denotes the transmittance of the atmosphere through the atmosphere and finally reaching the viewer or camera.

일반적으로 안개는 장면에서 전역적으로 분포한다는 가정하에 안개 제거 알고리즘이 진행된다. 그러나, 본 발명의 일 실시예에서는 대기 투과율을 연기 검출에 사용하기 위해 연기는 장면의 특정 지역에 분포한다는 가정으로 변환된 수식을 이용한다. 이를 수학식으로 나타내면 수학식 2와 같다. In general, fog removal algorithm proceeds under the assumption that fog is globally distributed in the scene. However, in one embodiment of the present invention, in order to use the atmospheric transmittance for smoke detection, an equation converted with the assumption that smoke is distributed in a specific area of a scene is used. This can be expressed as Equation (2).

여기서, S는 지속적이고 참조 가능한 전역적 연기 컬러 벡터를 나타내며,

는 픽셀

의 연기 대기 투과율을 나타낸다. 연기 대기 투과율

를 계산함으로써, 픽셀

가 연기 영역에 속하는지 여부를 판단할 수 있다. 픽셀

가 연기 영역내에 포함되는 것으로 결정되면, 연기 대기 투과율

는 픽셀에서의 연기 두께에 대한 정보를 의미한다. 최종적인 대기 투과율은 DCP, Soft matting을 통해 구할 수 있으며, 구해진 연기 대기 투과율은 수학식 3을 통해 연기 영역인지 아닌지를 판단할 수 있다. where S denotes a persistent and referenceable global smoke color vector,

is a pixel

represents the smoke-atmospheric transmittance of smoke air transmittance

By calculating

It can be determined whether or not belongs to the smoke area. pixel

is determined to be contained within the smoke area, the smoke atmosphere transmittance

means information about the smoke thickness in the pixel. The final air transmittance can be obtained through DCP and soft matting, and the obtained smoke air transmittance can determine whether or not the smoke area is a smoke area through Equation (3).

여기서,

는 각각 연기 대기 투과율의 임계값과 최대값을 나타내며, 연기 밀도 분포를 나타내기 위해 연기 대기 투과율의 범위[

]를 [

로 매핑하여 나타낼 수 있다. 연기 대기 투과율을 계산한 후 수학식 3을 적용한 영상은 도 6에 예시된 바와 같다. 도 6의 (a)는 원본 영상을 나타내며, (b)는 DCP 기법이 적용된 영상을 나타내고, (c)는 연기 대기 투과율을 추정하여 획득된 연기의 밀도 영상을 나타낸다. 도 6의 (b)와 (c)를 비교하면 연기 대기 투과율을 투정하여 획득된 연기의 밀도 영상이 (b) 영상보다 연기가 더 두드러지는 것을 알 수 있다. here,

denotes the threshold and maximum values of smoke atmospheric transmittance, respectively, and represents the range of smoke atmospheric transmittance [

]cast [

It can be represented by mapping An image to which Equation 3 is applied after calculating the smoke atmospheric transmittance is as illustrated in FIG. 6 . (a) of FIG. 6 shows an original image, (b) shows an image to which the DCP technique is applied, and (c) shows a density image of smoke obtained by estimating smoke air transmittance. Comparing (b) and (c) of FIG. 6 , it can be seen that the smoke density image obtained by projecting the smoke air transmittance is more prominent than the image (b).

연기 및 화재 검출 장치(100)는 입력 영상에서 화재 관심 영역을 강조하기 위해, 입력 영상을 HSV 컬러 모델로 변환한 후 화재 관심 영역을 강조할 수 있다. HSV 컬러 모델은 색조(Hue), 채도(Saturation), 명도 (Value) 3가지 성분으로 색을 표현할 수 있고, 채도 및 명도를 조절할 수 있어 빛이 달라지는 환경에서 RGB 모델보다 강건하게 대상의 컬러를 분석할 수 있다. 즉, 화재는 뚜렷한 컬러 특징을 가지고 있어 RGB 모델보다 HSV 컬러 모델을 이용하는 경우 강건하게 컬러 분석이 가능하다. The smoke and fire detection apparatus 100 may emphasize the fire ROI after converting the input image into an HSV color model in order to emphasize the fire ROI in the input image. HSV color model can express color with three components: hue, saturation, and value can do. In other words, since fire has distinct color characteristics, it is possible to perform robust color analysis when using the HSV color model rather than the RGB model.

따라서, 본 발명의 일 실시예에서는 입력 영상을 HSV 컬러 변환한 후 화재 관심 영역을 강조할 수 있다. 예를 들어, 연기 및 화재 검출 장치(100)는 HSV 컬러 모델의 3가지 성분 색조, 채도, 명도가 특정 범위내에 포함되는 경우 화재 영역으로 판단하여 강조할 수 있다. 화재라고 판단되는 범위는 수학식 4와 같다. Accordingly, in an embodiment of the present invention, after HSV color conversion of the input image, the fire ROI may be emphasized. For example, the smoke and fire detection apparatus 100 may determine a fire area and emphasize it when the three components hue, saturation, and brightness of the HSV color model are included within a specific range. The range determined to be fire is the same as in Equation (4).

도 7은 HSV 컬러 모델을 적용하여 화재 관심 영역을 강조한 결과 영상을 도시한 도면이다. 도 7의 (a)는 원본 영상을 나타내고, (b)는 화재 관심 영역이 강조된 결과 영상이다. 7 is a diagram illustrating an image as a result of emphasizing an area of interest in fire by applying the HSV color model. 7 (a) shows the original image, and (b) is the result image in which the fire ROI is emphasized.

이어, 연기 및 화재 검출 장치(100)는 연기 관심 영역 및 화재 관심 영역이 강조된 영상에서 옵티컬 플로우를 적용한다. Next, the smoke and fire detection apparatus 100 applies an optical flow to the image in which the smoke ROI and the fire ROI are emphasized.

이에 대해 보다 상세히 설명하기로 한다. This will be described in more detail.

예를 들어, 연기 및 화재 검출 장치(100)는 연기 관심 영역 및 화재 관심 영역이 강조된 영상에서 옵티컬 플로우를 계산한 후 수평, 수직 성분으로 분해한다. For example, the smoke and fire detection apparatus 100 calculates an optical flow from an image in which the smoke ROI and the fire ROI are emphasized, and then decomposes it into horizontal and vertical components.

예를 들어, 본 발명의 일 실시예에서는 TV-L1 기법을 이용하여 연기 관심 영역 및 화재 관심 영역이 강조된 영상에서 옵티컬 플로우를 계산할 수 있다. For example, in an embodiment of the present invention, an optical flow may be calculated from an image in which the smoke ROI and the fire ROI are emphasized using the TV-L1 technique.

예를 들어, 수평 성분을 dx, 수직 성분을 dy로 정의하면, 각각의 입력 채널을 수학식 5와 같이 나타낼 수 있다. For example, if the horizontal component is defined as dx and the vertical component is defined as dy, each input channel can be expressed as in Equation 5.

여기서, w,h는 각각 영상의 너비와 높이를 나타낸다. Here, w and h represent the width and height of the image, respectively.

본 발명의 일 실시예에서 이용한 TV-L1 옵티컬 플로우는 반복적으로 값을 추정하여 결과를 개선하기 때문에 계산 복잡도가 큰 단점이 있다. 그러나, 본 발명의 일 실시예에서는 영상 전체에 대해 TV-L1 옵티컬 플로우를 적용하는 것이 아니라, 연기와 화재의 관심 영역에 대해서만 옵티컬 플로우를 적용하여 계산 복잡도를 줄이고 객체의 관심 영역을 강조할 수 있는 이점이 있다. The TV-L1 optical flow used in the embodiment of the present invention has a disadvantage in that the calculation complexity is large because the result is improved by repeatedly estimating the value. However, in one embodiment of the present invention, instead of applying the TV-L1 optical flow to the entire image, the optical flow is applied only to the regions of interest of smoke and fire to reduce computational complexity and emphasize the region of interest of the object. There is an advantage.

도 8는 연기 및 화재의 관심 영역에 대한 옵티컬 플로우를 적용한 결과를 도시한 도면이다. 도 8의 (a) 및 (b)는 이전 프레임과 이후 프레임을 나타내고, (c)는 옵티컬 플로우의 수직 성분을 분해한 결과를 나타내며, (d)는 옵티컬 플로우의 수평 성분을 분해한 결과를 나타낸 것이다. 8 is a diagram illustrating a result of applying an optical flow to a region of interest for smoke and fire. 8 (a) and (b) show the previous frame and the subsequent frame, (c) shows the result of decomposing the vertical component of the optical flow, (d) shows the result of decomposing the horizontal component of the optical flow will be.

도 8에서 보여지는 바와 같이, 연기 및 화재의 관심 영역에 옵티컬 플로우를 적용함으로써 관심 영역이 보다 강조되는 것을 알 수 있다. As shown in FIG. 8 , it can be seen that the region of interest is more emphasized by applying the optical flow to the region of interest of smoke and fire.

단계 125에서 연기 및 화재 검출 장치(100)는 옵티컬 플로우 적용된 영상을 시간 분석 모델에 적용하여 연기 및 화재의 모션 특징값을 출력한다. In step 125, the smoke and fire detection apparatus 100 applies the optical flow applied image to the time analysis model to output motion feature values of smoke and fire.

옵티컬 플로우 적용된 영상을 시간 분석 모델부에 적용하여 연기 및 화재의 모션 특징값을 출력한다. By applying the optical flow applied image to the time analysis model unit, the motion characteristic values of smoke and fire are output.

시간 분석 모델(420)는 ResNet 기반으로 구성될 수 있다. 시간 분석 모델(420)는 옵티컬 플로우 적용된 영상(즉, 연기 및 화재의 관심 영역이 강조된 영상)을 입력받아 연기 및 화재의 모션 특징값을 출력할 수 있다. The temporal analysis model 420 may be configured based on ResNet. The temporal analysis model 420 may receive an image to which the optical flow is applied (ie, an image in which regions of interest of smoke and fire are emphasized) and output motion characteristic values of smoke and fire.

ResNet의 구성은 공간 분석 모델(210)의 ResNet의 상세 구조와 동일할 수 있다. 다만, 본 발명의 일 실시예에 따른 시간 분석 모델(420)는 공간 분석 모델(210)와 달리 CBAM이 적용되지 않는 점에서 공간 분석 모델(210)와 차이가 있다. The configuration of ResNet may be the same as the detailed structure of ResNet of the spatial analysis model 210 . However, the temporal analysis model 420 according to an embodiment of the present invention is different from the spatial analysis model 210 in that CBAM is not applied unlike the spatial analysis model 210 .

다시 정리하면, 본 발명의 일 실시예에 따른 연기 및 화재 검출 장치(100)는 하기에서 보다 상세히 설명하겠지만 ResNet을 백본으로 하며 두개의 네트워크 모델을 통해 정적인 프레임에 대한 공간 분석과 연속된 복수의 프레임에 대한 시간 분석을 통해 연기 및 화재 검출 성능을 높일 수 있다. In summary, although the smoke and fire detection apparatus 100 according to an embodiment of the present invention will be described in more detail below, ResNet as a backbone and spatial analysis of a static frame through two network models and a plurality of continuous Time analysis of the frame can improve smoke and fire detection performance.

단계 130에서 연기 및 화재 검출 장치(100)는 연기 및 화재 특징값과 연기 및 화재의 모션 특징값을 융합하여 연기와 화재를 검출/분류한다. 즉, 연기 및 화재 검출 장치(100)는 연기 및 화재 특징값과 연기 및 화재의 모션 특징값을 융합하여 연기 및 화재를 분류/검출할 수 있다. In step 130, the smoke and fire detection apparatus 100 detects/classifies smoke and fire by fusing the smoke and fire feature values and the smoke and fire motion feature values. That is, the smoke and fire detection apparatus 100 may classify/detect smoke and fire by fusing the smoke and fire feature values and the smoke and fire motion feature values.

표 1은 ResNet 기반 공간 분석 모델부의 성능 평가 결과를 나타낸 표이며, 표 2는 본 발명의 일 실시예에 따른 ResNet과 CBAM을 적용한 공간 분석 모델부의 성능 평가 결과를 나타낸 표이다. Table 1 is a table showing the performance evaluation results of the ResNet-based spatial analysis model unit, and Table 2 is a table showing the performance evaluation results of the spatial analysis model unit to which ResNet and CBAM are applied according to an embodiment of the present invention.

백본backbone 클래스
이름class
name 실험 프레임 수
(동영상 수)number of experimental frames
(Number of Videos) 동영상 분류 정확도Video classification accuracy 프레임 단위
정확도frame unit
accuracy ResNetResNet 화재fire 11,830 (10)11,830 (10) 8/108/10 85.1%85.1% 연기performance 10,620 (10)10,620 (10) 7/107/10 76.6%76.6% 일반Normal 7,793 (10)7,793 (10) 9/109/10 64.9%64.9%

백본backbone 클래스
이름class
name 실험 프레임 수 (동영상 수)Number of experimental frames (number of videos) 동영상
분류 정확도video
Classification Accuracy 프레임 단위 정확도Frame-by-frame accuracy ResNet + CBAMResNet + CBAM 화재fire 11,830 (10)11,830 (10) 10/1010/10 96.1%96.1% 연기performance 10,620 (10)10,620 (10) 8/108/10 85.4%85.4% 일반Normal 7,793 (10)7,793 (10) 6/106/10 70.3%70.3%

표 1 및 표2에서 보여지는 바와 같이, ResNet만을 사용한 네트워크보다 CBAM을 적용하여 사용한 네트워크가 성능이 높다는 것을 알 수 있다. As shown in Tables 1 and 2, it can be seen that the network used by applying CBAM has higher performance than the network using only ResNet.

표 3은 RstNet 기반 시간 분석 모델부의 성능 평가 결과를 나타낸 표이며, 표 4는 전처리된 연기 영상 및 화재 영상을 입력으로 받은 기반 시간 분석 모델부 성능 평가 결과를 나타낸 표이다. Table 3 is a table showing the performance evaluation results of the RstNet-based time analysis model unit, and Table 4 is a table showing the performance evaluation results of the time analysis model unit based on the preprocessed smoke image and fire image as inputs.

백본backbone 클래스
이름class
name 실험 프레임 수 (동영상 수)Number of experimental frames (number of videos) 동영상 분류 정확도Video classification accuracy 프레임 단위
정확도frame unit
accuracy ResNetResNet 화재fire 11,830 (10)11,830 (10) 9/109/10 79.7%79.7% 연기performance 10,620 (10)10,620 (10) 7/107/10 77.3%77.3%

백본backbone 클래스 이름class name 실험 프레임 수 (동영상 수)Number of experimental frames (number of videos) 동영상 분류 정확도Video classification accuracy 프레임 단위
정확도frame unit
accuracy ResNetResNet 화재fire 11,830 (10)11,830 (10) 9/109/10 85.4%85.4% 연기performance 10,620 (10)10,620 (10) 8/108/10 81.2%81.2%

표 3과 4를 비교하였을 때 연기 및 화재를 강조하는 전처리된 영상을 적용하였을 때 성능이 더 향상되는 것을 알 수 있다. When comparing Tables 3 and 4, it can be seen that the performance is further improved when the pre-processed image emphasizing smoke and fire is applied.

표 5는 공간 네트워크와 시간 네트워크를 융합한 결과를 나타낸 표이다. Table 5 is a table showing the results of convergence of the spatial network and the temporal network.

백본backbone 클래스 이름class name 테스트 프레임 수 (동영상 수)Number of test frames (number of videos) 동영상 분류 정확도Video classification accuracy 프레임 단위 정확도Frame-by-frame accuracy 공간 + 시간space + time 화재fire 11,830 (10)11,830 (10) 10/1010/10 97.4%97.4% 연기performance 10,620 (10)10,620 (10) 8/108/10 93.5%93.5% 일반Normal 7,793 (10)7,793 (10) 8/108/10 86.1%86.1%

공간 분석 모델과 시간 분석 모델을 각각 별도로 학습한 결과에서는 우수한 성능이 도출되지 않았으나, 공간 분석 모델과 시간 분석 모델을 융합한 결과는 연기와 화재 검출에 있어 우수한 성능을 보여주는 것을 알 수 있다. It can be seen that excellent performance was not derived from the results of separately learning the spatial analysis model and the temporal analysis model, but the result of fusion of the spatial analysis model and the temporal analysis model showed excellent performance in detecting smoke and fire.

따라서, 본 발명의 일 실시예에 따른 연기 및 화재 검출 장치(100)는 공간 분석 모델부와 시간 분석 모델부가 상호 보완적인 관계로 동작하고 있음을 알 수 있다. Accordingly, it can be seen that in the smoke and fire detection apparatus 100 according to an embodiment of the present invention, the spatial analysis model unit and the temporal analysis model unit operate in a complementary relationship.

표 6은 종래와 본 발명의 일 실시예에 따른 연기 검출 성능을 비교한 표이다. Table 6 is a table comparing smoke detection performance according to an embodiment of the present invention with the conventional one.

알고리즘algorithm 입력 크기input size 정확도(연기)Accuracy (smoke) SCSC 16x1616x16 0.82080.8208 LeNetLeNet 32x3232x32 0.9570.957 AlexNetAlexNet 227x227227x227 0.96160.9616 DNCNN[19]DNCNN[19] 48x4848x48 0.98200.9820 DarkC-DCN without dark channelDarkC-DCN without dark channel 227x227227x227 0.97040.9704 DarkC-DCNDarkC-DCN 227x227227x227 0.98560.9856 본 발명the present invention 224x224224x224 0.93500.9350

표 6에서 보여지는 바와 같이, 본 발명의 일 실시예에 따른 방법이 약 93% 연기 검출 정확도를 달성했다. DarkC-DCN 방법보다 정확도가 떨어지지만 DarkC-DCN 방법은 연기만을 검출하는 방법으로 화재 검출에는 적절하지 않다. 본 발명의 일 실시예에 따른 방법은 화재와 연기를 함께 고려하여 화재 검출에 있어 약 97%의 정확도를 달성했다. 도 9는 본 발명의 일 실시예에 따른 연기 및 화재 검출 결과를 도시한 도면이다. 영상의 좌 상단에 분류 결과에 대한 라벨을 통해 시각적으로 분류가 되고 있음을 보여준다. As shown in Table 6, the method according to one embodiment of the present invention achieved about 93% smoke detection accuracy. Although it is less accurate than the DarkC-DCN method, the DarkC-DCN method only detects smoke and is not suitable for fire detection. The method according to an embodiment of the present invention achieves an accuracy of about 97% in fire detection by considering both fire and smoke. 9 is a view showing smoke and fire detection results according to an embodiment of the present invention. It shows that classification is being done visually through the label for the classification result in the upper left corner of the image.

도 10은 본 발명의 일 실시예에 따른 연기 및 화재 검출 장치의 내부 구성을 개략적으로 도시한 블록도이다.10 is a block diagram schematically illustrating an internal configuration of a smoke and fire detection apparatus according to an embodiment of the present invention.

도 10을 참조하면 본 발명의 일 실시예에 따른 연기 및 화재 검출 장치(100)는 입력부(1010), 전처리부(1015), 특징 분석부(1020), 분류부(1025), 메모리(1030) 및 프로세서(1035)를 포함하여 구성된다. Referring to FIG. 10 , the smoke and fire detection apparatus 100 according to an embodiment of the present invention includes an input unit 1010 , a preprocessor 1015 , a feature analysis unit 1020 , a classification unit 1025 , and a memory 1030 . and a processor 1035 .

입력부(1010)는 입력 영상을 입력받기 위한 수단이다.The input unit 1010 is a means for receiving an input image.

전처리부(1015)는 입력 영상을 전처리하여 연기 및 화재 영역을 강조하기 위한 수단이다. The preprocessor 1015 is a means for preprocessing the input image to emphasize the smoke and fire areas.

예를 들어, 전처리부(1015)는 DCP(dark channel prior) 알고리즘을 적용한 후 연기 대기 투과율을 도출한 후 상기 연기 대기 투과율을 이용하여 연기 영역을 강조할 수 있다. For example, the preprocessor 1015 may apply a dark channel prior (DCP) algorithm to derive a smoke atmospheric transmittance, and then emphasize the smoke region using the smoke atmospheric transmittance.

또한, 전처리부(1015)는 입력 영상을 다른 컬러 모델로 변환한 후 화재 판단 범위의 픽셀들을 화재 영역으로 강조할 수도 있다. 입력 영상은 RGB 영상이며, 다른 컬러 모델은 HSV 컬러 모델일 수 있다. In addition, the preprocessor 1015 may convert the input image into another color model and then emphasize the pixels in the fire determination range as the fire area. The input image may be an RGB image, and another color model may be an HSV color model.

특징 분석부(1020)는 입력 영상과 전처리된 연기 및 화재 영역이 강조된 영상을 두방향 스트림 분석 모델에 적용하여 공간 특징값과 모션 특징값을 각각 출력할 수 있다.The feature analyzer 1020 may apply the input image and the preprocessed image emphasizing the smoke and fire regions to the two-way stream analysis model to output spatial feature values and motion feature values, respectively.

이에 대해 보다 상세히 설명하기로 한다.This will be described in more detail.

특징 분석부(1020)는 공간 분석 모델과 시간 분석 모델을 각각 포함할 수 있다. 따라서, 입력 영상을 정적인 프레임 단위로 공간 분석 모델에 적용하여 연기 및 화재 특징값을 공간 특징값으로서 출력할 수 있다. The feature analysis unit 1020 may include a spatial analysis model and a temporal analysis model, respectively. Therefore, it is possible to output the smoke and fire feature values as spatial feature values by applying the input image to the spatial analysis model in units of static frames.

이러한, 공간 분석 모델의 상세 구성은 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다. Since the detailed configuration of the spatial analysis model is the same as described above, the overlapping description will be omitted.

시간 분석 모델은 전처리된 연기 및 화재 영역이 강조된 영상에 옵티컬 플로우를 적용한 영상을 입력받아 연기 및 화재의 모션 특징값을 출력할 수 있다. The time analysis model may receive an image in which optical flow is applied to an image in which the preprocessed smoke and fire areas are emphasized, and may output motion feature values of smoke and fire.

이와 같이, 입력 영상은 각각 서로 다른 공간 분석 모델과 시간 분석 모델로 각각 입력되어 공간적 특징과 연속된 복수의 프레임에 대한 시간적 특징이 각각 출력될 수 있다. In this way, the input images are respectively input to different spatial analysis models and temporal analysis models, so that spatial characteristics and temporal characteristics of a plurality of consecutive frames may be output, respectively.

또한, 이미 전술한 바와 같이, 공간 분석 모델과 시간 분석 모델은 ResNet을 기본으로 하며, 공간 분석 모델의 경우 정적인 프레임에서의 연기 및 화재 인식 성능을 향상시키기 위해 CBAM이 기반한 어텐션 모듈을 추가하였다. 이에 대해서는 전술한 바와 같으므로 중복되는 설명은 생략하기로 한다. In addition, as already described above, the spatial analysis model and the temporal analysis model are based on ResNet, and in the case of the spatial analysis model, an attention module based on CBAM is added to improve smoke and fire recognition performance in a static frame. Since this is the same as described above, a redundant description thereof will be omitted.

본 발명의 일 실시예에 따르면, 이와 같이 공간 분석 모델과 시간 분석 모델 두방향 스트림 분석 모델을 통해 상호 보완적으로 동작하도록 함으로써 연기 및 화재 검출 성능을 높일 수 있는 이점이 있다. According to an embodiment of the present invention, there is an advantage in that smoke and fire detection performance can be improved by mutually operating the spatial analysis model and the temporal analysis model and the two-way stream analysis model as described above.

분류부(1025)는 상술한 공간 분석 모델과 시간 분석 모델의 출력 결과를 융합하여 연기, 화재 및 일반 영상을 각각 분류하기 위한 수단이다.The classification unit 1025 is a means for classifying smoke, fire, and general images by fusing the output results of the spatial analysis model and the temporal analysis model described above.

메모리(1030)는 본 발명의 일 실시예에 따른 연기 및 화재 검출 방법을 수행하기 위해 필요한 다양한 명령어들(프로그램 코드들)을 저장하기 위한 수단이다. The memory 1030 is a means for storing various instructions (program codes) necessary to perform the smoke and fire detection method according to an embodiment of the present invention.

프로세서(1035)는 본 발명의 일실시예에 따른 연기 및 화재 검출 장치(100)의 내부 구성 요소들(예를 들어, 입력부(1010), 전처리부(1015), 특징 분석부(1020), 분류부(1025), 메모리(1030) 등)을 제어하기 위한 수단이다.The processor 1035 includes internal components (eg, the input unit 1010 , the preprocessor 1015 , the feature analysis unit 1020 , and the classification of the smoke and fire detection apparatus 100 according to an embodiment of the present invention). means for controlling the unit 1025, memory 1030, etc.).

또한, 프로세서(1035)는 분류부(1025)의 분류 결과 연기 및 화재 영상으로 분류되는 경우, 경고 메시지를 출력할 수도 있다.In addition, the processor 1035 may output a warning message when classified into smoke and fire images as a result of classification by the classification unit 1025 .

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The apparatus and method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer readable medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - Includes magneto-optical media and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Up to now, the present invention has been looked at focusing on the embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

100: 연기 및 화재 검출 장치
1010: 입력부
1015: 전처리부
1020: 특징 분석부
1025: 분류부
1030: 메모리
1035: 프로세서100: smoke and fire detection device
1010: input unit
1015: preprocessor
1020: feature analysis unit
1025: classification unit
1030: memory
1035: Processor

Claims

입력 영상에 DCP(dark channel prior) 알고리즘을 적용한 후 연기 대기 투과율을 도출한 후 상기 연기 대기 투과율을 이용하여 연기 영역을 강조하고, 상기 입력 영상을 다른 컬러 모델로 변환한 후 화재 판단 범위 내의 픽셀들을 화재 영역으로서 강조하는 전처리부;
ResNet 백본 네트워크와 컨볼루션 블록 어텐션 모듈(Convolution Block Attention Module)로 구성되되, 상기 입력 영상을 정적인 프레임 단위로 적용하여 연기 및 화재 특징값을 추출하는 공간 분석 모델부;
상기 연기와 화재 영역이 강조된 영상에서 옵티컬 플로우를 적용한 후 수평 성분과 수직 성분으로 각각 분해한 영상을 입력받은 후 상기 ResNet 백본 네트워크를 통해 연속된 복수의 프레임을 분석하여 연기 및 화재의 모션 특징값을 추출하는 시간 분석 모델부; 및
상기 연기 및 화재 특징값과 상기 연기 및 화재의 모션 특징값을 융합하여 상기 입력 영상을 연기, 화재 및 일반 영상으로 각각 분류하는 분류부를 포함하되,
상기 공간 분석 모델부와 상기 시간 분석 모델부는 병렬로 동작되는 것을 특징으로 하는 연기 및 화재 검출 장치.
After applying the DCP (dark channel prior) algorithm to the input image, after deriving the smoke atmospheric transmittance, the smoke area is emphasized using the smoke atmospheric transmittance, and after converting the input image into another color model, pixels within the fire determination range are selected. a pre-processing unit that highlights as a fire area;
Consisting of a ResNet backbone network and a Convolution Block Attention Module, a spatial analysis model unit for extracting smoke and fire feature values by applying the input image in units of static frames;
After applying the optical flow to the image in which the smoke and fire areas are emphasized, an image decomposed into horizontal and vertical components is received, and a plurality of consecutive frames are analyzed through the ResNet backbone network to determine the motion feature values of smoke and fire. time analysis model unit to extract; and
A classification unit for classifying the input image into smoke, fire and general images by fusing the smoke and fire feature values and the smoke and fire motion feature values,
The smoke and fire detection device, characterized in that the spatial analysis model unit and the time analysis model unit are operated in parallel.

삭제delete

입력 영상을 전처리하여 연기와 화재 영역을 각각 강조하는 전처리부;
상기 입력 영상과 상기 연기 및 화재 영역이 강조된 영상을 분석 모델에 입력하여 공간 특징값과 모션 특징값을 출력하는 특징 분석부; 및
상기 공간 특징값과 모션 특징값을 융합하여 상기 입력 영상을 화재, 연기 및 일반 영상 중 어느 하나로 각각 분류하는 분류부를 포함하되,
상기 분석 모델은,
공간 네트워크 모델과 시간 네트워크 모델을 각각 포함하며,
상기 공간 네트워크 모델은 상기 입력 영상을 정적 프레임 단위로 분석하며,
상기 시간 네트워크 모델은 상기 연기 및 화재 영역이 강조된 영상을 연속된 복수의 프레임 단위로 분석하되,
상기 분류부는,
상기 공간 네트워크 모델과 상기 시간 네트워크 모델의 출력 결과를 융합하여 상기 입력 영상을 화재, 연기 및 일반 영상 중 어느 하나로 각각 분류하는 것을 특징으로 하는 연기 및 화재 검출 장치.
a preprocessor that preprocesses the input image to emphasize smoke and fire areas, respectively;
a feature analysis unit that inputs the input image and the image in which the smoke and fire regions are emphasized to an analysis model and outputs spatial feature values and motion feature values; and
A classification unit for classifying the input image into any one of fire, smoke, and general image by fusing the spatial feature value and the motion feature value,
The analysis model is
It includes a spatial network model and a temporal network model, respectively,
The spatial network model analyzes the input image in units of static frames,
The time network model analyzes the image in which the smoke and fire areas are emphasized in units of a plurality of consecutive frames,
The classification unit,
The smoke and fire detection apparatus according to claim 1, wherein the input image is classified into any one of a fire, a smoke, and a general image by fusing the output results of the spatial network model and the temporal network model.

삭제delete

(a) 입력 영상에 DCP(dark channel prior) 알고리즘을 적용한 후 연기 대기 투과율을 도출한 후 상기 연기 대기 투과율을 이용하여 연기 영역을 강조하고, 상기 입력 영상을 다른 컬러 모델로 변환한 후 화재 판단 범위 내의 픽셀들을 화재 영역으로서 강조하는 단계;
(b) 상기 입력 영상을 정적인 프레임 단위로 ResNet 백본 네트워크와 컨볼루션 블록 어텐션 모듈(Convolution Block Attention Module)로 구성된 공간 분석 모델에 적용하여 연기 및 화재 특징값을 추출하는 단계;
(c) 상기 연기 영역과 상기 화재 영역이 강조된 영상에 옵티컬 플로우를 적용한 후 수평 성분과 수직 성분으로 각각 분해한 영상을 입력받은 후 상기 ResNet 백본 네트워크를 통해 연속된 복수의 프레임을 분석하여 연기 및 화재의 모션 특징값을 추출하는 단계; 및
(d) 상기 연기 및 화재 특징값과 상기 연기 및 화재의 모션 특징값을 융합하여 상기 입력 영상을 연기, 화재 및 일반 영상으로 각각 분류하는 단계를 포함하되,
상기 (b) 단계 및 상기 (c) 단계는 병렬로 수행되는 것을 특징으로 하는 연기 및 화재 검출 방법.
(a) After applying the DCP (dark channel prior) algorithm to the input image, the smoke atmospheric transmittance is derived, the smoke area is emphasized using the smoke atmospheric transmittance, and the input image is converted into another color model. highlighting pixels within as areas of fire;
(b) extracting smoke and fire feature values by applying the input image to a spatial analysis model composed of a ResNet backbone network and a Convolution Block Attention Module in a static frame unit;
(c) After applying optical flow to the image emphasizing the smoke area and the fire area, an image decomposed into a horizontal component and a vertical component is received, and a plurality of consecutive frames are analyzed through the ResNet backbone network to analyze smoke and fire. extracting a motion feature value of ; and
(d) classifying the input image into smoke, fire, and general images by fusing the smoke and fire feature values and the smoke and fire motion feature values, respectively,
The smoke and fire detection method, characterized in that the step (b) and the step (c) are performed in parallel.

삭제delete

입력 영상을 전처리하여 연기와 화재 영역을 각각 강조하는 단계;
상기 입력 영상과 상기 연기 및 화재 영역이 강조된 영상을 두방향 스트림 분석 모델에 입력하여 공간 특징값과 모션 특징값을 출력하는 단계; 및
상기 공간 특징값과 모션 특징값을 융합하여 상기 입력 영상을 화재, 연기 및 일반 영상 중 어느 하나로 각각 분류하는 단계를 하되,
상기 분석 모델은,
공간 네트워크 모델과 시간 네트워크 모델을 각각 포함하며,
상기 공간 네트워크 모델은 상기 입력 영상을 정적 프레임 단위로 분석하며,
상기 시간 네트워크 모델은 상기 연기 및 화재 영역이 강조된 영상을 연속된 복수의 프레임 단위로 분석하되,
상기 분류하는 단계는,
상기 공간 네트워크 모델과 상기 시간 네트워크 모델의 출력 결과를 융합하여 상기 입력 영상을 화재, 연기 및 일반 영상 중 어느 하나로 각각 분류하는 것을 특징으로 하는 것을 특징으로 하는 연기 및 화재 검출 방법.
preprocessing the input image to emphasize smoke and fire areas, respectively;
outputting spatial feature values and motion feature values by inputting the input image and the image in which the smoke and fire regions are emphasized into a two-way stream analysis model; and
Classifying the input image into any one of fire, smoke, and general image by fusing the spatial feature value and the motion feature value,
The analysis model is
It includes a spatial network model and a temporal network model, respectively,
The spatial network model analyzes the input image in units of static frames,
The time network model analyzes the image in which the smoke and fire areas are emphasized in units of a plurality of consecutive frames,
The classification step is
The method for detecting smoke and fire, characterized in that the input image is classified into any one of fire, smoke, and general image by fusing output results of the spatial network model and the temporal network model.

제8 항 또는 제12항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.

13. A computer-readable recording medium storing program code for performing the method according to claim 8 or 12.