KR101044903B1 - Fire detecting method using hidden markov models in video surveillance and monitoring system - Google Patents

Fire detecting method using hidden markov models in video surveillance and monitoring system Download PDF

Info

Publication number
KR101044903B1
KR101044903B1 KR1020090037167A KR20090037167A KR101044903B1 KR 101044903 B1 KR101044903 B1 KR 101044903B1 KR 1020090037167 A KR1020090037167 A KR 1020090037167A KR 20090037167 A KR20090037167 A KR 20090037167A KR 101044903 B1 KR101044903 B1 KR 101044903B1
Authority
KR
South Korea
Prior art keywords
fire
hidden markov
markov model
image
video surveillance
Prior art date
Application number
KR1020090037167A
Other languages
Korean (ko)
Other versions
KR20100118368A (en
Inventor
김정현
강동중
등죽
이주섭
김민성
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020090037167A priority Critical patent/KR101044903B1/en
Publication of KR20100118368A publication Critical patent/KR20100118368A/en
Application granted granted Critical
Publication of KR101044903B1 publication Critical patent/KR101044903B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Abstract

본 발명은 일반적으로 건물의 실내외, 지하철, 도로, 터널, 산야 등에 설치되는 영상 감시 시스템으로부터 획득된 비디오 영상을 사용하여 실시간으로 화재를 감시할 수 있도록 하되, 은닉 마르코프 모델의 적용을 통해 화재를 초기 단계에서 정확하게 탐지할 수 있도록 할 수 있는 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 제공한다. 이와 같은 방법은 은닉 마르코프 모델의 바움-웰치(Baum-Welch) 알고리즘으로 학습하여 불일 경우와 불이 아닐 경우의 두가지 확률 모델을 획득한 후, 영상 감시 시스템으로부터 획득된 비디오 영상에서 전처리 과정을 통해 불로 판정될 수 있는 최소의 조건을 갖는 불의 후보 영역만을 획득하고, 은닉 마르코프 모델의 비터비(Viterbi) 알고리즘을 이용하여 위 두가지 확률 모델에 근거하여 불인지 아닌지를 판단하도록 한다. 이와 같은 본 발명에 따르면, 일반적으로 CCTV와 같은 영상 촬영장치가 설치된 기존 영상 감시 시스템에 소프트웨어의 설치만으로 운용이 가능하고, 다양한 조명 조건과 복잡한 배경에서 화재의 여부를 정확하게 판단할 수 있으며, 학습한 결과에 의한 확율 모델에 근거하여 화재를 검출하므로 속도가 빠르고, 시스템 업데이트가 용이하다.

Figure R1020090037167

In the present invention, it is possible to monitor a fire in real time using a video image obtained from a video surveillance system installed in indoors, outdoors, subways, roads, tunnels, and mountains, etc., but initiates a fire by applying a hidden Markov model. We provide a fire detection method using a hidden Markov model in a video surveillance system that can be accurately detected at the stage. This method learns the Baum-Welch algorithm of the hidden Markov model, acquires two probabilistic models for the case of fire and non-fire, and then pre-processes the video image obtained from the video surveillance system. Only a candidate region of fire having a minimum condition that can be determined is obtained, and the Viterbi algorithm of the hidden Markov model is used to determine whether or not it is fire based on the above two probability models. According to the present invention, in general, it is possible to operate only by installing software on an existing video surveillance system in which a video recording apparatus such as CCTV is installed, and it is possible to accurately determine whether a fire occurs under various lighting conditions and complex backgrounds. The fire is detected based on the probability model of the result, so it is fast and easy to update the system.

Figure R1020090037167

Description

영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법{FIRE DETECTING METHOD USING HIDDEN MARKOV MODELS IN VIDEO SURVEILLANCE AND MONITORING SYSTEM}Fire detection method using hidden Markov model in video surveillance system {FIRE DETECTING METHOD USING HIDDEN MARKOV MODELS IN VIDEO SURVEILLANCE AND MONITORING SYSTEM}

본 발명은 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에 관한 것으로, 좀 더 구체적으로는 종래 센서를 사용하는 화재 감지 장치가 탐지 범위, 성능 및 비용에 따른 단점을 갖는 것과 달리 건물의 실내외, 지하철, 도로, 터널, 산야 등에 설치되는 영상 감시 시스템으로부터 획득된 비디오 영상을 사용하여 실시간으로 화재를 감시함에 있어서 화재를 초기 단계에서 정확하게 탐지할 수 있도록 하므로써 보다 신속한 화재 진압 및 대피가 가능하도록 하는 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에 관한 것이다. The present invention relates to a fire detection method using a hidden Markov model in a video surveillance system. More specifically, a fire detection apparatus using a conventional sensor has a disadvantage in accordance with detection range, performance, and cost. Using video images obtained from video surveillance systems installed in subways, roads, tunnels, and mountains, to monitor fires in real time, it is possible to detect fires at an early stage accurately, enabling faster fire suppression and evacuation. The present invention relates to a fire detection method using a hidden Markov model in a surveillance system.

일반적인 화재 감지 시스템은 적외선 센서, 광학 센서 및 이온 센서 등을 사용하여 화재로부터 발생되는 연기, 열 및 복사 에너지 등을 감지하도록 설계되어 있다. 그러나, 이와 같은 기술은 화재가 발생되더라도 센서의 감지 영역까지 불이 확산되어야 탐지되는 문제점이 있고, 기준 온도 및 설정 값 이상이 될 때 화재 경보를 발생하므로 탐지시간이 오래 걸리는 문제점이 있으며, 감지 영역의 넓이에 비례하여 센서의 배포수와 설비 비용이 증가되는 문제점이 있는 것이다. Typical fire detection systems are designed to detect smoke, heat and radiant energy from a fire using infrared sensors, optical sensors and ion sensors. However, such a technology has a problem in that even if a fire occurs, it is detected only when the fire spreads to the detection area of the sensor, and a detection time is long because a fire alarm is generated when the reference temperature and the set value are exceeded. In proportion to the width of the sensor has a problem that the number of distribution and installation cost of the sensor increases.

한편, 비전(vision) 기반 화재 감시기술은 기존의 공공장소, 도로 및 터널 등에 설치되어 있는 감시 카메라를 그대로 사용함으로, 전술한 센서 방식에 비해 추가 비용이 들지 않고, 화재의 확산을 기다릴 필요가 없으며, 상대적으로 빠른 감지가 가능하고, 넓은 범위의 감시가 가능한 장점이 있다. On the other hand, vision-based fire monitoring technology uses surveillance cameras installed in existing public places, roads, and tunnels as it is, without additional costs compared to the aforementioned sensor method, and does not have to wait for the spread of fire. It has the advantage of relatively fast detection and wide range of monitoring.

이때, 은닉 마르코프 모델(HMM: Hidden Markov Model)은 음성인식을 위해 주로 사용된 패턴인식 알고리즘으로, 시계열의 연속된 데이터에서 패턴을 학습하고, 또한 연속된 데이터에서 학습된 패턴을 검출할 수 있다. 그리고, 비전 기반 화재 감시분야에서도 은닉 마르코프 모델을 이용하여, 얼굴, 문자인식, 행동 패턴 인식 등 성공적인 연구가 많이 진행되고 있고, 터키 Bilkent University의 B. U. Toreyin, Y. Dedeoglu, and A. E. Cetin 등은 ICIP '05, pp. 1230―1233(2005)에서 "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS"을 통해 은닉 마르코프 모델을 적용하여 비전 기반 시스템에서 화재 감시 기술의 적용 가능성을 확인하고 있다. In this case, the Hidden Markov Model (HMM) is a pattern recognition algorithm mainly used for speech recognition. The hidden Markov model (HMM) can learn a pattern from continuous data of a time series and also detect a learned pattern from the continuous data. In addition, in the field of vision-based fire monitoring, many successful studies such as face, character recognition, and behavior pattern recognition are being conducted using hidden Markov models, and BU Toreyin, Y. Dedeoglu, and AE Cetin of Bilkent University, Turkey, 05, pp. 1230-1233 (2005), applying the Hidden Markov model through the "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS", demonstrates the applicability of fire monitoring techniques in vision-based systems.

그리고, 대한민국 등록특허공보 등록번호 제10-0839090호 "영상기반 화재감 시시스템"은 영상 카메라, 영상 입력부, 저장부, 영상 처리부, 화재 탐지부, 카메라 보정부, 제어부, PTZ 제어부 및 경고부를 구비하는 기술을 제안하고 있다. 그리고, 이 기술은 영상을 이용한 불검출 방법으로 불의 정적인 특징과 동적인 특징을 모델링하여 불을 감지하되, 정적인 특징은 불의 고유한 색 정보를 R,G,B 채널과 H,S,I 채널을 이용하여 모델링하였고, 동적인 특징은 불의 연속적인 변화값을 은닉마르코프 알고리즘을 이용하여 검출하고 있다. 그러나, 이와 같은 방법은 영상에서 색 정보에 대한 스펙트럼을 분석하여 검출하므로, 불의 색과 유사할 때 오판단할 가능성이 있다.In addition, the Republic of Korea Patent Publication No. 10-0839090 "Image-based fire monitoring system" is equipped with a video camera, image input unit, storage unit, image processing unit, fire detection unit, camera correction unit, control unit, PTZ control unit and warning unit I suggest a technique to do it. In addition, this technology detects fire by modeling the static and dynamic features of the fire using an image detection method, but the static feature uses the R, G, B channels, H, S, and I channels to identify the fire's unique color information. The dynamic feature detects continuous changes in fire using the Hidden Markov algorithm. However, since such a method analyzes and detects the spectrum of color information in an image, there is a possibility of misjudgement when it is similar to the color of fire.

따라서, 본 발명은 이와 같은 종래기술의 문제점을 해결하기 위해 제안된 것으로, 통상 건물의 실내외, 지하철, 도로, 터널, 산야 등에 설치되는 영상 감시 시스템으로부터 획득된 비디오 영상을 사용하여 실시간으로 화재를 감시할 수 있도록 하되, 비전 분야에서 불검출의 유용성이 확인된 은닉 마르코프 모델의 적용을 통해 화재를 초기 단계에서 정확하게 탐지할 수 있도록 할 수 있는 새로운 형태의 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 제공하는 것을 목적으로 한다. Therefore, the present invention has been proposed to solve the problems of the prior art, and typically monitors the fire in real time using a video image obtained from a video surveillance system installed in indoors and outdoors, subways, roads, tunnels, mountains and the like. A new type of video surveillance system can be used to detect fires using hidden Markov models in the early stages. It aims to provide.

특히, 본 발명은 은닉 마르코프 모델의 바움-웰치(Baum-Welch) 알고리즘으로 학습하여 불일 경우와 불이 아닐 경우의 두가지 확률 모델을 획득한 후, 영상 감시 시스템으로부터 획득된 비디오 영상에서 전처리 과정을 통해 불로 판정될 수 있는 최소의 조건을 갖는 불의 후보 영역만을 획득하고, 은닉 마르코프 모델의 비터비(Viterbi) 알고리즘을 이용하여 위 두가지 확률 모델에 근거하여 불인지 아닌지를 판단하도록 하므로써, 일반적으로 CCTV와 같은 영상 촬영장치가 설치된 기존 영상 감시 시스템에 소프트웨어의 설치만으로 운용이 가능하고, 다양한 조명 조건과 복잡한 배경에서 화재의 여부를 정확하게 판단할 수 있으며, 학습한 결과에 의한 확율 모델에 근거하여 화재를 검출하므로 속도가 빠르고, 시스템 업데이트가 용이한 새로운 형태의 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법 을 제공하는 것을 목적으로 한다. In particular, the present invention acquires two probabilistic models of the case of fire and non-fire by learning with Baum-Welch algorithm of hidden Markov model, and then preprocessing the video image obtained from video surveillance system. By obtaining only the candidate regions of fire that have a minimum condition that can be determined as fire, and using the Viterbi algorithm of the Hidden Markov Model to determine whether or not it is fire based on the above two probability models, it is generally It can be operated by installing the software on the existing video surveillance system equipped with the image capturing device, and can accurately determine the fire in various lighting conditions and complex background, and detects the fire based on the probability model based on the learning result. New form of video surveillance with high speed and easy system update And in the system object of the present invention is to provide a fire detection method using a Hidden Markov Model.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 은닉 마르코프 모델을 이용하여 영상 촬영장치로부터 전송되는 영상을 분석하여 화재를 감지하도록 하기 위한 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에 있어서, 은닉 마르코프 모델의 바움-웰치(Baum-Welch) 알고리즘으로 학습하여 불일 경우와 불이 아닐 경우의 두가지 확률 모델을 준비하는 단계와; 상기 영상 촬영장치로부터 전송된 비디오 영상에서 불로 판정될 수 있는 최소의 조건을 갖는 불의 후보 영역만을 획득하는 전처리 단계 및; 은닉 마르코프 모델의 비터비(Viterbi) 알고리즘을 이용하여 상기 준비된 두가지 확률 모델에 근거하여 상기 전처리 단계를 통해 획득된 불의 후보 영역이 불인지 아닌지를 판단하는 단계를 포함한다. According to a feature of the present invention for achieving the above object, the present invention analyzes the image transmitted from the image capturing apparatus using the hidden Markov model to detect a fire using a hidden Markov model in the video surveillance system for detecting a fire A method comprising the steps of: learning with a Baum-Welch algorithm of a hidden Markov model to prepare two probabilistic models, one for fire and one for fire; A preprocessing step of obtaining only a candidate region of fire having a minimum condition that can be determined to be fire in the video image transmitted from the image photographing apparatus; And determining whether a candidate region of fire obtained through the preprocessing step is fire based on the prepared two probability models using the Viterbi algorithm of the hidden Markov model.

이와 같은 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에서 상기 전처리 단계는 상기 비디오 영상에서 이웃하는 복수개 이상의 프레임들의 평균을 계산하여 차영상(Diff)을 수행하므로써 이루어지되; 상기 차영상은

Figure 112009025848752-pat00001
의 수식에 의해 계산되고, 여기서, ft(X,Y)는 프레임 t에서 픽셀의 가로(X), 세로(Y)의 흑백(Gray) 영상 채널의 밝기값이며, 상기 차영상의 값이 설정된 임계값보다 크면 불의 후보 영역의 픽셀로 판단할 수 있다. In the fire detection method using the hidden Markov model in the video surveillance system according to the present invention, the preprocessing step is performed by calculating a mean of a plurality of neighboring frames in the video image to perform a difference image (Diff); The difference image
Figure 112009025848752-pat00001
Where f t (X, Y) is a brightness value of a horizontal (X) and vertical (Y) gray image channel of a pixel at frame t, and the value of the difference image is set. If it is larger than the threshold value, it may be determined as a pixel of an unjust candidate region.

이와 같은 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에서 상기 전처리 단계는 상기 차영상(Diff)을 수행한 후, 불이 나타내는 고유한 색 정보를 이용하여 불이 아닌 픽셀을 제거하므로써 이루어지되; 불의 고유한 색 특징으로 H(Hue)값이 설정된 범위에 포함될 때 불의 픽셀로 판단할 수 있다. In the fire detection method using the hidden Markov model in the image surveillance system according to the present invention, after performing the difference image (Diff), the non-fire pixel is removed using the unique color information represented by the fire. By doing so; As a unique color characteristic of fire, when the H (Hue) value is included in the set range, it can be determined as a fire pixel.

이와 같은 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에서 상기 전처리 단계는 상기 차영상 수행 및 불이 아닌 픽셀의 제거 후, 불이라고 판단된 흰색의 영역에 대해 라벨링(Labeling)하여 영역의 면적이 설정된 픽셀의 크기보다 작으면 제거하여 남겨진 영역을 불의 후보 영역으로 지정할 수 있다. In the fire detection method using the hidden Markov model in the image surveillance system according to the present invention, the preprocessing step is performed by labeling a white area determined to be fire after performing the difference image and removing pixels that are not fire. If the area of the area is smaller than the size of the set pixel, the remaining area may be designated as a candidate candidate for fire.

이와 같은 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에서 상기 은닉 마르코프 모델은 Red값에 따른 2가지 불의 상태를 의미하는 F1과 F2 및, 불이 아닌 상태를 의미하는 NF로 정의하여, 연속된 Red값에 대하여 상기 F1과 F2 및 NF로 만들어 확률 모델을 준비하고, 불인지 아닌지를 판단할 수 있다. In the fire detection method using the hidden Markov model in the video surveillance system according to the present invention, the hidden Markov model is defined as F1 and F2 meaning two fire states according to a Red value, and NF meaning a non-fire state. By using the continuous Red values, F1, F2, and NF may be prepared to prepare a probabilistic model and determine whether or not it is fire.

본 발명에 의한 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에 따르면, 은닉 마르코프 모델의 바움-웰치(Baum-Welch) 알고리즘으로 학습하여 불일 경우와 불이 아닐 경우의 두가지 확률 모델을 획득한 후, 영상 감시 시스템으로부터 획득된 비디오 영상에서 전처리 과정을 통해 불로 판정될 수 있는 최소의 조건을 갖는 불의 후보 영역만을 획득하고, 은닉 마르코프 모델의 비터비(Viterbi) 알고리즘을 이용하여 위 두가지 확률 모델에 근거하여 불인지 아닌지를 판단하도록 하므로써, 일반적으로 CCTV와 같은 영상 촬영장치가 설치된 기존 영상 감시 시스템에 소프트웨어의 설치만으로 운용이 가능하고, 다양한 조명 조건과 복잡한 배경에서 화재의 여부를 정확하게 판단할 수 있으며, 학습한 결과에 의한 확율 모델에 근거하여 화재를 검출하므로 속도가 빠르고, 시스템 업데이트가 용이하다. According to the fire detection method using the hidden Markov model in the video surveillance system according to the present invention, after learning with the Baum-Welch algorithm of the hidden Markov model, after obtaining two probability models in the case of fire and non-fire In the video image obtained from the video surveillance system, only the candidate regions of fire having the minimum condition that can be determined as fire through the preprocessing process are obtained and based on the above two probability models using the Viterbi algorithm of the Hidden Markov Model. By determining whether it is a fire or not, it is generally possible to operate only by installing software on an existing video surveillance system in which a video recording apparatus such as CCTV is installed, and accurately determine whether a fire occurs under various lighting conditions and complex backgrounds. Detects fire based on probability model based on learning result Since the speed is fast, it is easy to update your system.

이하, 본 발명의 바람직한 실시예를 첨부된 도면 도 1 내지 도 13에 의거하여 상세히 설명하며, 통상적으로 제공되는 영상 감시 시스템에 대한 구성 및 작용, 이 영상 감시 시스템을 이용하여 이미 제안된 불 검출방법으로부터 알 수 있는 기 술, 본 발명에 적용되는 은닉 마르코프 모델을 위한 각종 알고리즘 및 그의 적용 기법 등 이 분야의 종사자들이 통상적으로 알 수 있는 부분들의 도시는 생략하고, 본 발명과 관련된 부분들을 중심으로 도시하였다. Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings, Figures 1 to 13, the configuration and operation of a conventionally provided video surveillance system, the fire detection method already proposed using this video surveillance system The descriptions of parts known to those skilled in the art, such as techniques known from the present invention, various algorithms for hidden Markov models applied to the present invention, and application techniques thereof, are omitted, and the parts mainly related to the present invention are shown. It was.

도 1은 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 전체적으로 설명하기 위한 플로우챠트이고, 도 2는 본 발명의 바람직한 실시예에 따른 불 검출방법에 적용된 은닉 마르코프 모델의 바움-웰치 알고리즘을 보여주는 도면이며, 도 3은 본 발명의 바람직한 실시예에 따른 불 검출방법에 적용된 은닉 마르코프 모델의 비터비 알고리즘을 보여주는 도면이고, 도 4는 본 발명의 바람직한 실시예에 따른 불 검출방법에서 Red값에 따른 세 가지 상태의 은닉 마르코프 모델을 보여주는 도면이며, 도 5는 본 발명의 바람직한 실시예에 따른 불 검출방법에서 연속된 Red값을 세 가지 상태로 만들어 주는 방법을 설명하기 위한 플로우챠트이고, 도 6은 본 발명의 바람직한 실시예에 따른 불 검출방법에 적용되는 HSV 모델을 보여주는 도면이며, 도 7은 본 발명의 바람직한 실시예에 따른 불 검출방법에서 불의 색상에 대해 지정한 범위를 보여주는 도면이다. 그리고, 도 8은 본 발명의 바람직한 실시예에 따른 불 검출방법에서 차영상을 수행한 실험결과를 종래 방법과 대비하여 보여주는 도면이고, 도 9는 본 발명의 바람직한 실시예에 따른 불 검출방법에서 불이 나타내는 고유한 색 정보를 이용하여 불이 아닌 픽셀을 제거한 결과를 보여주는 도면이며, 도 10은 본 발명의 바람직한 실시예에 따른 불 검출방법에서 불의 후보 영역을 획득한 결과를 보여주는 도면이다. 1 is a flowchart for explaining the fire detection method using the hidden Markov model in the video surveillance system according to the present invention as a whole, and FIG. 2 is a baum of the hidden Markov model applied to the fire detection method according to the preferred embodiment of the present invention. FIG. 3 is a view showing a Welch algorithm, FIG. 3 is a diagram showing a Viterbi algorithm of a hidden Markov model applied to a fire detection method according to a preferred embodiment of the present invention, and FIG. 4 is a fire detection method according to a preferred embodiment of the present invention. FIG. 5 is a view illustrating a hidden Markov model having three states according to a red value, and FIG. 5 is a flowchart for explaining a method of making three consecutive states of a red value in a fire detection method according to an exemplary embodiment of the present invention. 6 shows an HSV model applied to a fire detection method according to a preferred embodiment of the present invention. 7 is a view showing a specified range for the color of the fire in the fire detection method according to a preferred embodiment of the present invention. 8 is a view showing an experimental result of performing a difference image in a fire detection method according to a preferred embodiment of the present invention as compared with the conventional method, and FIG. 9 is a fire in the fire detection method according to a preferred embodiment of the present invention. FIG. 10 is a diagram illustrating a result of removing non-fire pixels by using the unique color information, and FIG. 10 is a diagram illustrating a result of acquiring a candidate region of fire in a fire detection method according to an exemplary embodiment of the present invention.

도 1 내지 도 7을 참조하면, 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법(이하, '불 검출방법'이라 한다)은 터키 Bilkent University의 B. U. Toreyin, Y. Dedeoglu, and A. E. Cetin 등이 ICIP '05, pp. 1230―1233(2005)에서 "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS"을 통해 가능성을 확인한 은닉 마르코프 모델을 적용하여 영상 감시 시스템에서 화재 감시 능력을 더욱 정확하고 신속하게 확보할 수 있도록 한다. 1 to 7, a fire detection method using a hidden Markov model (hereinafter, referred to as a 'fire detection method') in a video surveillance system according to the present invention is BU Toreyin, Y. Dedeoglu, and AE of Bilkent University, Turkey. Cetin et al., ICIP '05, pp. 1230-1233 (2005) applies hidden Markov models identified by the "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS" to ensure more accurate and faster fire surveillance in video surveillance systems.

특히, 본 발명에 따른 불 검출방법은 은닉 마르코프 모델을 적용하는 불 검출방법에 있어 은닉 마르코프 모델의 학습과 실질 영상의 판단시 불의 상태를 확인함에 있어 새로운 방법을 적용하고, 은닉 마르코프 모델을 적용하여 판단하기 위한 영상을 전처리 함에 있어 불의 움직임의 검출과 불의 색 검출 및 라벨링(labeling)을 통해 불의 후보 영역만을 획득하여 은닉 마르코프 모델을 적용하여 불을 판단할 때 처리 효율을 높이도록 하는 것을 특징으로 한다. In particular, in the fire detection method according to the present invention, in the fire detection method applying the hidden Markov model, a new method is applied in learning the hidden Markov model and confirming the fire state when judging the real image, and applying the hidden Markov model. In the preprocessing of the image for judging, only the candidate regions of fire are obtained through the detection of fire movement, the color detection and labeling of the fire, and the hidden Markov model is applied to increase the processing efficiency when judging the fire. .

도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 불 검출방법은, 도 2에서 간략하게 보인 바와 같은, 은닉 마르코프 모델의 바움-웰치(Baum-Welch) 알고리즘으로 학습하여 불일 경우와 불이 아닐 경우의 두가지 확률 모델을 준비하는 단계와, 영상 촬영장치(대표적으로, CCTV)로부터 전송된 비디오 영상에서 불로 판정될 수 있는 최소의 조건을 갖는 불의 후보 영역만을 획득하는 전처리 단계 및, 도 3에 서 간략하게 보인 바와 같은, 은닉 마르코프 모델의 비터비(Viterbi) 알고리즘을 이용하여 준비된 두가지 확률 모델에 근거하여 전처리 단계를 통해 획득된 불의 후보 영역이 불인지 아닌지를 판단하는 단계로 이루어진다. 여기서, 학습된 확률 모델, 전처리 단계 및 판단 단계를 위한 프로그램은 영상 처리장치에 소프트의 형태로 설치되게 된다. 물론, 이와 같은 영상 촬영장치 및 영상 처리장치 그리고, 영상 처리장치에서 본 발명에 따라 처리된 결과가 외부로 송출되도록 하는 디스플레이 또는 경보 장치 등은 이 분야의 관련 기술로부터 용이하게 적용할 수 있는 것으로, 본 발명에서 이들에 대한 구성 및 작용은 생략한다. Referring to FIG. 1, a fire detection method according to a preferred embodiment of the present invention is not fired when fired by learning with a Baum-Welch algorithm of a hidden Markov model, as briefly shown in FIG. 2. Preparing two probabilistic models of the case, a preprocessing step of obtaining only a candidate region of fire having a minimum condition that can be determined as fire in a video image transmitted from an image photographing apparatus (typically CCTV), and FIG. As briefly shown, it is determined whether the candidate region of fire obtained through the preprocessing step is fire based on two probability models prepared by using the Viterbi algorithm of the hidden Markov model. Here, the trained probabilistic model, the program for the preprocessing step and the determination step are installed in the form of software in the image processing apparatus. Of course, such an image photographing apparatus, an image processing apparatus, and a display or an alarm device for transmitting the result processed according to the present invention in the image processing apparatus to the outside can be easily applied from the related art in this field. In the present invention, the configuration and operation thereof are omitted.

이때, 본 발명의 바람직한 실시예는, 도 4에서 보인 바와 같이, 불의 상태를 3가지의 상태로 분류한 확률 모델을 적용하였다. 이와 같은 확률 모델은 터키 Bilkent University의 B. U. Toreyin, Y. Dedeoglu, and A. E. Cetin 등이 ICIP '05, pp. 1230―1233(2005)에서 "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS"을 통해 제안한 확률 모델과 대비할 때, 은닉마르코프 모델의 학습을 위하여 상태(State)를 F1, F2, NF의 세 가지 상태로 정의한다는 점에서는 동일하지만, 본 발명에 따른 불 검출방법은 연속된 Red값에 대하여 Red값에 따른 2가지 불의 상태를 의미하는 F1과 F2 및, 불이 아닌 상태를 의미하는 NF로 정의하여 확률 모델을 준비하고, 불인지 아닌지를 판단한다는 점에서 차이점이 있다. In this case, in the preferred embodiment of the present invention, as shown in FIG. 4, a probability model that classifies the fire state into three states is applied. Such probabilistic models are described by B. U. Toreyin, Y. Dedeoglu, and A. E. Cetin of Bilkent University, Turkey. In contrast to the probabilistic model proposed in 1230-1123 (2005), "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS," states are defined as three states F1, F2, and NF for the training of hidden Markov models. Although the point is the same, the fire detection method according to the present invention prepares a probability model by defining F1 and F2 which represent two fire states according to the Red value, and NF which means a non-fire state for successive Red values. The difference is that it determines whether it is fire or not.

좀 더 구체적으로 보면, 미국 University of Oklahoma의 Albers, B.W. Agrawal,A.K.는 1999. Combust. 119, 84―94.에서 "Schlieren analysis of an oscillating gas-jet diffusion flame"을 통해 약 10Hz의 불꽃 주파수가 연료의 종류와 불의 크기에 크게 영향을 미치지 않는 것을 실험에서 관찰하였는데, 이 주파수는 불꽃의 거의 모든 주파수 범위를 대표할 수 있다고 한 점을 본 발명자는 인식하게 되었고, 이를 본 발명에 적용하여 불일 때의 Red값 변화와 불이 아닐 때의 Red값 변화를 은닉마르코프 모델로 학습하여 불을 검출하도록 한 것이다. More specifically, Albers, B.W. of the University of Oklahoma, USA. Agrawal, A.K., 1999. Combust. 119, 84-94. In the experiment, the Schlieren analysis of an oscillating gas-jet diffusion flame observed that the flame frequency of about 10 Hz did not significantly affect the type of fuel and the size of the fire. The present inventors have recognized that almost all frequency ranges can be represented, and applied to the present invention, the fire is detected by using the hidden Markov model to learn the change of the red value at the time of fire and the change of the red value at the time of non-fire. I did it.

도 5는 본 발명에서 연속된 Red값에 대하여 상태를 만들어 주는 방법을 보여주는 플로우챠트로서, 여기서 Rx(i)는 i 프레임에서 픽셀 x의 색상값, Rx(i-1)는 i-1 프레임에서 픽셀 x의 색상값을 말하며, Sx(i-1)는 i-1 프레임에서 픽셀 x의 상태를 의미한다. 그리고, Sx(i-1)는 Sx(i-1)의 상태를 반대로 만들어 주는 것을 의미한다. 즉, 만약 Sx(i-1)이 F2라면, Sx(i-1)은 F1이 될 것이고, 만약 Sx(i-1)이 F1라면 Sx(i-1)은 F2가 된다. 따라서, 본 발명에 따른 불 검출방법은 불일 때와 아닐 때의 Red값의 상태변화의 데이터를 수집하여 은닉 마르코프 모델의 바움-웰치(Baum-Welch) 알고리즘으로 학습하여 불일 때와 불 아닐 때의 두 가지 확률 모델을 만들고, 이 두가지 확률 모델을 기준으로 은닉 마르코프 모델의 비터비(Viterbi) 알고리즘을 이용하여 전처리 단계를 통해 획득된 불의 후보 영역이 불인지 아닌지를 판단하게 된다. FIG. 5 is a flowchart illustrating a method of creating a state for successive Red values in the present invention, wherein R x (i) is a color value of pixel x in i frame, and R x (i-1) is i-1 The color value of the pixel x in the frame, S x (i-1) refers to the state of the pixel x in the i-1 frame. And, S x (i-1) means to reverse the state of S x (i-1). That is, if S x (i-1) is F2, then S x (i-1) will be F1, and if S x (i-1) is F1, then S x (i-1) will be F2. Therefore, the fire detection method according to the present invention collects data of the state change of the red value at the time of fire and when it is not, and learns with the Baum-Welch algorithm of the hidden Markov model to determine whether it is fired or not. A probability model is created and based on the two probability models, the Viterbi algorithm of the hidden Markov model is used to determine whether the candidate region of fire obtained through the preprocessing step is fire or not.

한편, 본 발명에 따른 불 검출방법은 전처리 단계에서 불의 움직임 검출, 색상 검출, 라벨링을 통해 불의 후보 영역만을 획득하게 된다. Meanwhile, the fire detection method according to the present invention acquires only a candidate region of fire through motion detection, color detection, and labeling in the preprocessing step.

먼저, 불의 움직임 검출에 따른 전처리는 비디오 영상에서 이웃하는 복수개 이상의 프레임들의 평균을 계산하여 차영상(Diff)을 수행하므로써 이루어진다. 이때, 차영상은

Figure 112009025848752-pat00002
의 수식에 의해 계산된다. 여기서, ft(X,Y)는 프레임 t에서 픽셀의 가로(X), 세로(Y)의 흑백(Gray) 영상 채널의 밝기값이다. 즉, 불의 특징은 가만히 멈춰 있는 것이 아니라 시간에 따라 지속적으로 움직인다는 것이다. 따라서, 본 발명에서 첫번째 전처리 과정은 밝기가 변하는 픽셀(Pixel)을 탐지하고 변하지 않는 픽셀은 제거하는 것이다. 종래기술에서 이루어진 움직임 검출은 Xn과 Xn-1의 프레임(Frame)의 밝기 값의 차이를 이용한 차영상이다. 그러나, 정지된 영상일지라도 밝기 값의 미세 변화가 있기 때문에 종래기술에 따른 차영상은 잡음이 많다.First, preprocessing according to the detection of fire motion is performed by calculating a mean of a plurality of neighboring frames or more in a video image and performing a difference image. At this time, the difference image
Figure 112009025848752-pat00002
Is calculated by the formula. Here, f t (X, Y) is the brightness value of the gray (X) gray image channel of the horizontal (X) and vertical (Y) of the pixels in the frame t. In other words, the hallmark of fire is that it does not stop but moves continuously over time. Therefore, in the present invention, the first preprocessing process is to detect pixels whose brightness changes and remove pixels that do not change. Motion detection made in the prior art is a difference image using the difference in the brightness value of the frame (X n and X n-1 ). However, the difference image according to the prior art has a lot of noise since there is a slight change in the brightness value even in the still image.

따라서, 본 발명의 바람직한 실시예에서는 다음에서 보는 식과 같이 이웃하는 3개의 프레임들의 평균{물론 이와 같은 개수의 한정은 필요에 따라 선택되어 질 수 있는 것이다}을 계산하여 차영상을 수행 한다. Therefore, in the preferred embodiment of the present invention, the difference image is performed by calculating an average of three neighboring frames (of course, the limit of the number can be selected as necessary) as shown in the following equation.

Figure 112009025848752-pat00003
Figure 112009025848752-pat00003

이때, ft(X,Y)는, 전술한 바와 같이, 프레임 t에서 픽셀의 가로(X), 세로(Y)의 흑백(Gray)영상 채널의 밝기값이다. 그리고, 차영상(Diff) 값이 설정한 임계값(설계자가 선택적용한다)보다 크면 움직이는 픽셀로 판단한다. At this time, f t (X, Y) is the brightness value of the gray (X) gray image channel of the horizontal (X) and vertical (Y) of the pixels in the frame t as described above. If the difference value (Diff) is larger than the threshold (designated by the designer), it is determined as a moving pixel.

이와 같은 본 발명에 따른 불의 움직임 검출에 따른 전처리의 결과{도 8의 (b)}는, 도 8에서 보는 바와 같이, 종래기술에 따라 전처리된 결과{도 8의 (a)}에 비해 잡음을 제거하고, 향상된 결과를 보인 것을 알 수 있다. As shown in FIG. 8, the result of the preprocessing according to the detection of the fire motion according to the present invention (FIG. 8 (b)) shows noise as compared with the result of the preprocessing according to the prior art (FIG. 8 (a)). It can be seen that the removal resulted in improved results.

다음, 본 발명에 따른 불 검출방법의 전처리 단계에서 불의 색상 검출은 차영상(Diff)을 수행한 후, 불이 나타내는 고유한 색 정보를 이용하여 불이 아닌 픽셀을 제거하므로써 이루어지되, 불의 고유한 색 특징으로 H(HUe)값이 설정된 범위에 포함될 때 불의 픽셀로 판단하는 것을 특징으로 한다. Next, in the pre-processing step of the fire detection method according to the present invention, the color detection of fire is performed by performing a difference image (Diff), and then removing pixels that are not fire by using unique color information represented by the fire. When the H (HUe) value is included in the set range as a color feature, it is determined as a pixel of fire.

이때, 본 발명에서는 불이 나타내는 고유한 색 정보를 이용하여 불이 아닌 픽셀은 제거하는데, 여기서 터키 Bilkent University의 B. U. Toreyin, Y. Dedeoglu, and A. E. Cetin 등이 ICIP '05, pp. 1230―1233(2005)에서 "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS"을 통해 제안한 3가지 방법도 병행하여 다음 [표 1]과 같은 4가지의 검출 조건을 적용하는 것이 바람직하다. At this time, in the present invention, non-fire pixels are removed by using unique color information represented by fire, where B. U. Toreyin, Y. Dedeoglu, and A. E. Cetin of Bilkent University, Turkey, et al. 1230-1233 (2005), it is desirable to apply the four detection conditions as shown in Table 1 in parallel with the three methods proposed by the "FLAME DETECTION IN VEDEO USING HIDDEN MATKOV MODELS".

Figure 112009025848752-pat00004
Figure 112009025848752-pat00004

여기서, R, G, B는 RGB 색모델에서 각 채널을 의미하며 H, S는 HSV모델에서 색상(Hue), 채도(Saturation) 값을 의미한다. Here, R, G, and B represent each channel in the RGB color model, and H and S represent hue and saturation values in the HSV model.

본 발명의 바람직한 실시예에서 불의 색을 이용하는 방법은, 도 6 및 도 7에서 보는 바와 같이, HSV(Hue, Saturation, Value) 색모델에서 약 0°~70°, 290°~360°의 색상(Hue)을 갖는 불의 고유한 색상 정보를 이용하여 모델을 만들고 불을 검출한다. 이때, 불은 붉은색에 가깝고 같은 픽셀에서 R값이 G 및 B값보다 크다. 따라서 조건 1에서는 R값이 최소한 값보다 크도록 하며, 조건 2에서는 한 픽셀의 R값은 G 및 B보다 크도록 한다. 그리고, 조건 3은 R과 S의 관계에서 불의 고유한 성질을 이용하여 정해진 값보다 큰 지를 검사하고, 조건 4에서는 H값에 대한 조건이다. 본 실시에서는 각 조건의 임계값으로, 조건 1에 대한 RT값은 180, 조건 3에 대한 RT값과 ST값은 각각 40~60, 179~190으로 설정하여 좋은 결과를 얻었다. In the preferred embodiment of the present invention, the method using the color of fire, as shown in Figure 6 and 7, in the HSV (Hue, Saturation, Value) color model of about 0 ° ~ 70 °, 290 ° ~ 360 ° Using the unique color information of the fire with Hue) to build a model and detect the fire. At this time, the fire is close to red and the R value is larger than the G and B values in the same pixel. Therefore, in condition 1, the R value is greater than at least the value, and in condition 2, the R value of one pixel is greater than G and B. In addition, condition 3 checks whether a value is larger than a predetermined value using the inherent property of fire in the relationship between R and S, and condition 4 is a condition for the H value. In this embodiment, as the threshold value of each condition, the R T value for condition 1 is set to 180, the R T value and S T value for condition 3 are set to 40 to 60 and 179 to 190, respectively, to obtain good results.

도 9는 이와 같은 방법을 적용하여 움직임 검출 후 불의 색 조건에 해당되는 픽셀만 남긴 결과를 보여주는데, 불이 아닌 대부분의 픽셀이 제거되는 것을 확인할 수 있다. 9 shows a result of only the pixels corresponding to the color condition of fire after motion detection by applying the above method, and it can be seen that most of the pixels that are not fire are removed.

다음, 본 발명에 따른 불 검출방법의 전처리 단계에서 라벨링은 차영상 수행 및 불이 아닌 픽셀의 제거 후, 불이라고 판단된 흰색의 영역에 대해 라벨링(Labeling)하여 영역의 면적이 설정된 픽셀의 크기보다 작으면 제거하여 남겨진 영역을 불의 후보 영역으로 지정한다. 즉, 본 발명의 바람직한 실시예에서 전술한 2가지의 전처리 과정을 지나면, 한 프레임은 불의 후보 픽셀들만 남는다. 이렇게 처리된 프레임이 30장이 되면, 하나의 영상을 만든다. 이 한 영상은 30개의 각 영상에서 한번이라도 불이라고 판단된 픽셀은 흰색, 아니면 검은색으로 나타난다. 그리고, 흰색에 영역에 대하여 라벨링(Labeling)을 하여 영역의 면적이 픽셀 10보다 작으면 제거를 한다. 도 10은 움직임 검출 및 불 색 검출 후의 남은 픽셀에 대하여 두가지의 원본 영상에 대한 30개의 각 프레임을 합하여 라벨링한 결과를 보여주는 것으로, 불의 후보 영역을 나타낸다.Next, in the pre-processing step of the fire detection method according to the present invention, the labeling is performed after the difference image and the removal of the non-fire pixels, and the area of the area is larger than the size of the set pixel by labeling the white area determined to be fire. If it is small, the remaining region to be removed is designated as a candidate candidate for fire. That is, in the preferred embodiment of the present invention, after the two preprocessing steps described above, one frame remains only candidate pixels of fire. When 30 frames are processed in this way, one image is made. In this one image, the pixels judged to be lit at least once in each of the 30 images appear in white or black. Then, the area is labeled on white and removed if the area of the area is smaller than 10 pixels. FIG. 10 shows a result of adding and labeling 30 frames of two original images with respect to the remaining pixels after motion detection and color detection, indicating a candidate region of fire.

그리고, 이와 같은 전처리 과정을 통해 이 이제 남겨진 영역은 불이거나, 불과 유사한 특징을 가진 픽셀로 은닉마르코프 모델을 이용하여 불을 검출한다. The pre-processing process then detects the fire using the hidden Markov model as a pixel that has only left fire or a similar feature.

도 11은 본 발명의 바람직한 실시예에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 적용한 결과의 일례를 보여주는 도면이고, 도 12는 본 발명의 바람직한 실시예에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 적용한 결과의 다른 일례를 보여주는 도면이며, 도 13은 본 발명의 바람직한 실시예에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 적용한 결과의 또 다른 일례를 보여주는 도면이다.11 is a view showing an example of a result of applying a fire detection method using a hidden Markov model in a video surveillance system according to a preferred embodiment of the present invention, Figure 12 is a hidden Markov in a video surveillance system according to a preferred embodiment of the present invention FIG. 13 is a diagram illustrating another example of a result of applying a fire detection method using a model, and FIG. 13 is a view showing another example of a result of applying a fire detection method using a hidden Markov model in a video surveillance system according to a preferred embodiment of the present invention. to be.

도 11 내지 도 13을 참조하면, 도 11은 낮 시간에 불을 검출한 결과를 보여주는데, 배경에 빨간색이 있음에도 불구하고 좋은 결과를 보인 것을 알 수 있다. 그리고, 도 12는 야간에 불을 검출한 결과을 보여주는데, 역시 우수한 결과를 보인 것을 알 수 있다. 그리고, 도 13은 야간에 도로에서 촬영한 영상에서 실험한 결과를 보여주는데, 불과 비슷한 색이 많음에도 불구하고 오검출된 부분이 없는 것을 알 수 있다. 따라서, 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법은 여러 환경에서 정확한 불 검출이 가능함을 알 수 있다. Referring to Figures 11 to 13, Figure 11 shows the results of detecting the fire during the day, it can be seen that the good results despite the red color in the background. And, Figure 12 shows the result of detecting the fire at night, it can be seen that also showed excellent results. And, Figure 13 shows the results of experiments on the image taken on the road at night, it can be seen that there is no erroneously detected part even though there are many similar colors. Accordingly, it can be seen that the fire detection method using the hidden Markov model in the video surveillance system according to the present invention enables accurate fire detection in various environments.

상술한 바와 같은, 본 발명의 바람직한 실시예에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.As described above, although the fire detection method using the hidden Markov model in the video surveillance system according to the preferred embodiment of the present invention has been described according to the above description and drawings, this is merely an example and the technical spirit of the present invention is described. Those skilled in the art will appreciate that various changes and modifications can be made without departing.

도 1은 본 발명에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 전체적으로 설명하기 위한 플로우챠트;1 is a flowchart for explaining the fire detection method using a hidden Markov model as a whole in a video surveillance system according to the present invention;

도 2는 본 발명의 바람직한 실시예에 따른 불 검출방법에 적용된 은닉 마르코프 모델의 바움-웰치 알고리즘을 보여주는 도면;2 shows a Baum-Welch algorithm of a hidden Markov model applied to a fire detection method according to a preferred embodiment of the present invention;

도 3은 본 발명의 바람직한 실시예에 따른 불 검출방법에 적용된 은닉 마르코프 모델의 비터비 알고리즘을 보여주는 도면;3 shows a Viterbi algorithm of a hidden Markov model applied to a fire detection method according to a preferred embodiment of the present invention;

도 4는 본 발명의 바람직한 실시예에 따른 불 검출방법에서 Red값에 따른 세 가지 상태의 은닉 마르코프 모델을 보여주는 도면;4 shows a hidden Markov model of three states according to a Red value in a fire detection method according to a preferred embodiment of the present invention;

도 5는 본 발명의 바람직한 실시예에 따른 불 검출방법에서 연속된 Red값을 세 가지 상태로 만들어 주는 방법을 설명하기 위한 플로우챠트;5 is a flowchart for explaining a method of making three consecutive Red values in a fire detection method according to an exemplary embodiment of the present invention;

도 6은 본 발명의 바람직한 실시예에 따른 불 검출방법에 적용되는 HSV 모델을 보여주는 도면;6 shows an HSV model applied to a fire detection method according to a preferred embodiment of the present invention;

도 7은 본 발명의 바람직한 실시예에 따른 불 검출방법에서 불의 색상에 대해 지정한 범위를 보여주는 도면;7 is a view showing a specified range for the color of the fire in the fire detection method according to a preferred embodiment of the present invention;

도 8은 본 발명의 바람직한 실시예에 따른 불 검출방법에서 차영상을 수행한 실험결과를 종래 방법과 대비하여 보여주는 도면; 8 is a view showing an experimental result of performing a difference image in a fire detection method according to a preferred embodiment of the present invention in comparison with the conventional method;

도 9는 본 발명의 바람직한 실시예에 따른 불 검출방법에서 불이 나타내는 고유한 색 정보를 이용하여 불이 아닌 픽셀을 제거한 결과를 보여주는 도면;9 is a view showing a result of removing a non-fire pixel by using the unique color information represented by the fire in the fire detection method according to an embodiment of the present invention;

도 10은 본 발명의 바람직한 실시예에 따른 불 검출방법에서 불의 후보 영역 을 획득한 결과를 보여주는 도면; 10 is a view showing a result of obtaining a candidate region of fire in the fire detection method according to an embodiment of the present invention;

도 11은 본 발명의 바람직한 실시예에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 적용한 결과의 일례를 보여주는 도면; 11 is a view showing an example of a result of applying a fire detection method using a hidden Markov model in a video surveillance system according to a preferred embodiment of the present invention;

도 12는 본 발명의 바람직한 실시예에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 적용한 결과의 다른 일례를 보여주는 도면;12 is a view showing another example of a result of applying a fire detection method using a hidden Markov model in a video surveillance system according to a preferred embodiment of the present invention;

도 13은 본 발명의 바람직한 실시예에 따른 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법을 적용한 결과의 또 다른 일례를 보여주는 도면이다.FIG. 13 is a view showing another example of a result of applying a fire detection method using a hidden Markov model in a video surveillance system according to a preferred embodiment of the present invention.

Claims (5)

은닉 마르코프 모델을 이용하여 영상 촬영장치로부터 전송되는 영상을 분석하여 화재를 감지하도록 하기 위한 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법에 있어서, In the fire detection method using the hidden Markov model in the video surveillance system for detecting the fire by analyzing the image transmitted from the image pickup device using the hidden Markov model, 은닉 마르코프 모델의 바움-웰치(Baum-Welch) 알고리즘으로 불일 때의 Red값 변화와 불이 아닐 때의 Red값 변화를 학습하여 불일 경우와 불이 아닐 경우의 두가지 확률 모델을 준비하는 단계와;Preparing two probabilistic models for the case of fire and non-fire by learning the change of the red value when the fire and the change of the red value when the fire is non-fire with the Baum-Welch algorithm of the hidden Markov model; 상기 영상 촬영장치로부터 전송된 비디오 영상에서 불로 판정될 수 있는 최소의 조건을 갖는 불의 후보 영역만을 획득하는 전처리 단계 및;A preprocessing step of obtaining only a candidate region of fire having a minimum condition that can be determined to be fire in the video image transmitted from the image photographing apparatus; 은닉 마르코프 모델의 비터비(Viterbi) 알고리즘을 이용하여 상기 준비된 두가지 확률 모델에 근거하여 상기 전처리 단계를 통해 획득된 불의 후보 영역이 불인지 아닌지를 판단하는 단계를 포함하는 것을 특징으로 하되,And determining whether a candidate region of fire obtained through the preprocessing step is fire based on the prepared two probability models using a Viterbi algorithm of a hidden Markov model. 상기 전처리 단계는 상기 비디오 영상에서 이웃하는 복수개 이상의 프레임들의 평균을 계산하여 차영상(Diff)을 수행하므로써 이루어지되;The preprocessing step is performed by calculating a mean of a plurality of neighboring frames in the video image and performing a difference image; 상기 차영상은 The difference image
Figure 112010086145267-pat00005
의 수식에 의해 계산되고,
Figure 112010086145267-pat00005
Is calculated by the formula
여기서, ft(X,Y)는 프레임 t에서 픽셀의 가로(X), 세로(Y)의 흑백(Gray) 영상 채널의 밝기값이며, 상기 차영상의 값이 설정된 임계값보다 크면 불의 후보 영역의 픽셀로 판단하는 것을 특징으로 하되,Here, f t (X, Y) is a brightness value of a horizontal (X) and vertical (Y) gray image channel of a pixel at frame t. Characterized by the pixel of the, 상기 전처리 단계는 상기 차영상(Diff)을 수행한 후, 불이 나타내는 고유한 색 정보를 이용하여 불이 아닌 픽셀을 제거하므로써 이루어지되;The preprocessing step is performed by removing the non-fire pixels using the unique color information indicated by the fire after performing the difference image (Diff); 불의 고유한 색 특징으로 H(Hue)값이 설정된 범위인 0°~70°, 290°~360°에 포함될 때 불의 픽셀로 판단하는 것을 특징으로 하되,It is characterized by the inherent color of fire when the H (Hue) value is included in the set range of 0 ° ~ 70 °, 290 ° ~ 360 °, it is determined as a pixel of fire, 상기 전처리 단계는 상기 차영상 수행 및 불이 아닌 픽셀의 제거 후, 불이라고 판단된 흰색의 영역에 대해 라벨링(Labeling)하여 영역의 면적이 설정된 픽셀의 크기보다 작으면 제거하여 남겨진 영역을 불의 후보 영역으로 지정하는 것을 특징으로 하되,In the preprocessing step, after performing the difference image and removing a pixel that is not fire, the white area determined to be fire is labeled to remove the remaining area if the area of the area is smaller than the size of the set pixel. Characterized in that, 상기 은닉 마르코프 모델은 Red값에 따른 2가지 불의 상태를 의미하는 F1과 F2 및, 불이 아닌 상태를 의미하는 NF로 정의하여, 연속된 Red값에 대하여 상기 F1과 F2 및 NF로 만들어 확률 모델을 준비하고, 불인지 아닌지를 판단하는 것을 특징으로 하는 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법.The hidden Markov model is defined as F1 and F2 meaning two fire states according to a red value, and NF meaning a non-fire state, and a probability model is generated by making F1, F2 and NF for consecutive red values. A fire detection method using a hidden Markov model in a video surveillance system, comprising: preparing and determining whether or not it is fire.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020090037167A 2009-04-28 2009-04-28 Fire detecting method using hidden markov models in video surveillance and monitoring system KR101044903B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090037167A KR101044903B1 (en) 2009-04-28 2009-04-28 Fire detecting method using hidden markov models in video surveillance and monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090037167A KR101044903B1 (en) 2009-04-28 2009-04-28 Fire detecting method using hidden markov models in video surveillance and monitoring system

Publications (2)

Publication Number Publication Date
KR20100118368A KR20100118368A (en) 2010-11-05
KR101044903B1 true KR101044903B1 (en) 2011-06-28

Family

ID=43404684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090037167A KR101044903B1 (en) 2009-04-28 2009-04-28 Fire detecting method using hidden markov models in video surveillance and monitoring system

Country Status (1)

Country Link
KR (1) KR101044903B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116746A (en) * 2013-03-08 2013-05-22 中国科学技术大学 Video flame detecting method based on multi-feature fusion technology

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163361B (en) * 2011-05-16 2012-10-17 公安部沈阳消防研究所 Image-type fire detection method based on cumulative prospect image
CN102646312B (en) * 2012-05-11 2013-08-14 武汉大学 Forest smoke-fire monitoring and recognizing method suitable for distributed type parallel processing
KR102215519B1 (en) * 2019-05-29 2021-02-15 (주)프론티스 Edge gateway, cloud server and method for predicting disaster on target region using edge computing in extended reality environment
CN112949515B (en) * 2021-03-09 2022-07-08 国网四川省电力公司电力科学研究院 Line forest fire early warning method and system based on monitoring information
CN113092932B (en) * 2021-03-18 2021-12-10 电子科技大学 Rapid early warning method for mountain fire fault of power grid line

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080054368A (en) * 2006-12-12 2008-06-17 인더스트리얼 테크놀로지 리서치 인스티튜트 Flame detecting method and device
KR100839090B1 (en) * 2008-03-17 2008-06-20 (주)나인정보시스템 Image base fire monitoring system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080054368A (en) * 2006-12-12 2008-06-17 인더스트리얼 테크놀로지 리서치 인스티튜트 Flame detecting method and device
KR100839090B1 (en) * 2008-03-17 2008-06-20 (주)나인정보시스템 Image base fire monitoring system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TengZhu, 김정현, 강동중, 김민성, 이주섭, "영상감시시스템에서 은닉마코프모델을 이용한 불검출 방법", 제31회 한국정보처리학회 춘계학술발표대회 논문집 제16권 제1호, pp. 35-38, 2009.04.23~04.24.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116746A (en) * 2013-03-08 2013-05-22 中国科学技术大学 Video flame detecting method based on multi-feature fusion technology
CN103116746B (en) * 2013-03-08 2016-08-03 中国科学技术大学 A kind of video flame detection method based on multiple features fusion technology

Also Published As

Publication number Publication date
KR20100118368A (en) 2010-11-05

Similar Documents

Publication Publication Date Title
KR101237089B1 (en) Forest smoke detection method using random forest classifier method
KR101168760B1 (en) Flame detecting method and device
KR100918436B1 (en) Fire detection system and method basedon visual data
KR101822924B1 (en) Image based system, method, and program for detecting fire
KR101353952B1 (en) Method for detecting wildfire smoke using spatiotemporal bag-of-features of smoke and random forest
KR101075063B1 (en) Fire-Flame Detection Using Fuzzy Logic
CN107085714B (en) Forest fire detection method based on video
KR101044903B1 (en) Fire detecting method using hidden markov models in video surveillance and monitoring system
KR102153607B1 (en) Apparatus and method for detecting foreground in image
US9047515B2 (en) Method and system for wildfire detection using a visible range camera
JP4811653B2 (en) Object detection device
CN101515326A (en) Method for identifying and detecting fire flame in big space
JP2008243181A (en) Smoke detecting device and method thereof
KR101204259B1 (en) A method for detecting fire or smoke
JP4999794B2 (en) Still region detection method and apparatus, program and recording medium
KR101224494B1 (en) Video based smoke detection method robust to light conditions
JP2006039689A (en) Image processor, image processing method, image processing program, and recording medium with the program recorded thereon
EP2000998B1 (en) Flame detecting method and device
KR101679148B1 (en) Detection System of Smoke and Flame using Depth Camera
CN112257523A (en) Smoke identification method and system of image type fire detector
KR101270718B1 (en) Video processing apparatus and method for detecting fire from video
KR101476764B1 (en) Flame dete ction method based on gray imaging signal of a cameras
KR20050009135A (en) Method and device for detecting flames
CN107729811B (en) Night flame detection method based on scene modeling
CN107346421B (en) Video smoke detection method based on color invariance

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140603

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee