KR101224494B1 - Video based smoke detection method robust to light conditions - Google Patents
Video based smoke detection method robust to light conditions Download PDFInfo
- Publication number
- KR101224494B1 KR101224494B1 KR1020120056666A KR20120056666A KR101224494B1 KR 101224494 B1 KR101224494 B1 KR 101224494B1 KR 1020120056666 A KR1020120056666 A KR 1020120056666A KR 20120056666 A KR20120056666 A KR 20120056666A KR 101224494 B1 KR101224494 B1 KR 101224494B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- threshold
- brightness
- saturation
- smoke
- Prior art date
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 239000000203 mixture Substances 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 22
- 239000006185 dispersion Substances 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 6
- 238000005315 distribution function Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기검출 방법에 관한 것으로, 보다 바람직하게는 영상 촬영 장치인 카메라를 통하여 촬영된 입력영상과 배경영상의 차에 대한 임계값을 주야간의 조도 변화(명도 및 채도 변화)에 따라 단계별로 구분한 후 이를 토대로 후보 영역이 화재의 전초 단계인 연기가 발생한 영역인지 여부를 판단하는 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기검출 방법에 관한 것이다. The present invention relates to an image-based smoke detection method that is robust to changes in brightness and saturation of a subject to be photographed. The present invention relates to an image-based smoke detection method that is robust to a change in brightness and saturation of a shooting target to determine whether a candidate area is an area where smoke occurs, which is the outpost stage of a fire, after dividing into stages according to the change in brightness and saturation.
사람 또는 자연적으로 발생한 화재는 막대한 재산상의 손실뿐만 아니라 인명 피해를 유발한다. 화재 검출을 위하여 적외선을 이용한 광방식의 센서가 주로 사용되고 있지만 실내에서는 효과적인 검출을 할 수 있지만 광범위한 야외에서 화재검출을 하는데 어려움이 있다. Human or naturally occurring fires cause not only significant loss of property but also damage to life. Although the optical sensor using infrared rays is mainly used for fire detection, effective detection can be performed indoors, but it is difficult to detect fire in a wide range of outdoor areas.
또한 센서를 이용한 화재 검출은 화재에 대한 직관적인 정보가 없기 때문에 오작동이 많으며, 관찰 영역과 범위가 화재 발생시 즉각적인 상황전파가 되지 않는다. 직관적이며 다양한 공간에서의 화재검출을 위하여 영상 정보를 이용한 화재 검출에 대하여 다양한 연구가 진행되고 있다.In addition, the fire detection using the sensor has many malfunctions because there is no intuitive information on the fire, and the observation area and range are not immediately transmitted when a fire occurs. Various studies have been conducted on fire detection using image information for fire detection in an intuitive and various space.
직관적이고 화재검출을 위한 영상기반의 화재 검출 시스템은 화염과 연기의 색상정보를 이용하는 방법과 동적인 움직임을 이용하여 검출하는 방법이 있다. Intuitive and fire-based image detection systems are based on the use of color information of flames and smoke, and dynamic detection.
일반적으로 배경추정(background estimation)을 통하여 입력영상과 배경영상의 차이가 일정 임계값 이상이 되면 화재 등에 의한 변화가 발생한 것으로 간주하고 색정보와 영상의 주파수 변화 등을 측정하여 연기를 판별한다. In general, when the difference between the input image and the background image exceeds a certain threshold value through background estimation, the change is considered to be caused by a fire, and the smoke is determined by measuring the color information and the frequency change of the image.
따라서, 배경추정이 정확하지 않거나 연기 또는 화염과 유사한 색상을 가진 객체가 영상에 포함되어 있는 경우에는 오검출(fault detection)이 발생하게 한다.Therefore, fault detection may occur when the background estimation is not accurate or when an object having a color similar to smoke or flame is included in the image.
특히, 야외에 설치되는 카메라는 시간과 기상 변화에 따라서 영상의 밝기와 색분포의 변화가 많기 때문에 배경추정을 이용한 영상의 변화를 정확하게 하지 못하게 되어 오검출이 많다. In particular, since cameras installed outdoors have a lot of changes in image brightness and color distribution according to changes in time and weather, it is not possible to accurately change the image using background estimation.
따라서, 오검출을 줄이기 위해서는 시간과 기상 변화에 대응할 수 있는 배경추정 필요하다.Therefore, in order to reduce false detection, a background estimation that can cope with time and weather changes is necessary.
본 발명에서는 시간과 기상 변화에 따라 조명환경이 변화하는 야외에서의 화재를 감지하기 위하여 조명환경에 변화에 강건한 연기검출 방법을 제안한다.The present invention proposes a smoke detection method that is robust to changes in the lighting environment in order to detect a fire in the outdoor where the lighting environment changes with time and weather changes.
본 발명에서 제안하는 연기검출 방법은 입력영상과 배경영상의 차를 이용하여 후보영역을 설정하고 후보영역에 대하여 GMM(Gaussian Mixture Model) 특징 계수를 이용하여 연기를 판별한다.In the smoke detection method proposed in the present invention, a candidate region is set by using a difference between an input image and a background image, and smoke is determined using a Gaussian Mixture Model (GMM) feature coefficient for the candidate region.
입력영상과 배경영상의 차에 대한 임계값을 설정을 크게 주간과 야간으로 구분한다. 주간에는 밝기와 색분포에 따라서 4 단계로 구분하여 임계값을 설정한다.The threshold for the difference between the input image and the background image is largely divided into day and night. During the day, the threshold is set in four stages according to brightness and color distribution.
전경과 배경을 구분하여 후보영역을 설정한다. Candidate area is set by distinguishing foreground and background.
후보 영역의 각 클러스터의 계수를 단순히 특정 임계값과 비교하는 경우에는 조도의 변화에 대한 오검출이 상당히 많이 발생한다. When the coefficient of each cluster of the candidate region is simply compared with a specific threshold value, a large amount of false detection of the change in illumination occurs.
따라서, 본 발명에서 조명변화에 따른 오검출을 줄이기 위하여 GMM 클러스터 간의 상대적인 거리를 임계값과 비교하여 연기를 판별하는 방법을 제안한다.Accordingly, the present invention proposes a method for determining smoke by comparing a relative distance between GMM clusters with a threshold value in order to reduce false detection due to lighting changes.
즉, 후보영역의 차영상에 대한 GMM 특징 계수를 구하고 평균 밝기를 기준으로 클러스터를 정렬하고, 클러스터 간의 GMM 특징 계수를 비교하여 연기를 판별한다. 클러스터 간의 특징 계수 비교를 위한 기준은 연기영상에 대하여 GMM 특징 계수 훈련을 통하여 임계값을 설정한다.That is, the GMM feature coefficients of the difference image of the candidate region are obtained, the clusters are aligned based on the average brightness, and the smoke is determined by comparing the GMM feature coefficients between the clusters. As a criterion for comparing feature coefficients between clusters, threshold values are set through training GMM feature coefficients on smoke images.
이를 위하여, 본 발명에서는 영상 촬영 장치에 의해 촬영된 현재 영상으로부터 배경 영상을 추출한 후 현재 영상과 배경 영상간의 차신호 영상인 전경 영상을 분리하고, 전경 영상에서 연기의 이동성 내지 움직임 여부를 판단하기 위하여 전경 영상의 명도 및 채도값을 촬영 대상의 조도(명도 및 채도) 변화에 따라 가변되는 소정의 명도 및 채도 임계치와 비교하여 이를 초과하는 픽셀(화소)에 대하여 후보 영역으로 추출하고, 이렇게 추출된 해당 후보 영역에 대하여 가우시안 혼합 모델링 방식을 적용하여 기설정된 연기의 가우시안 혼합 모델링 함수의 특성과 상호 비교하여 연기의 발생 여부를 판별할 수 있는 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기검출 방법을 제공하고자 한다.To this end, in the present invention, after extracting the background image from the current image photographed by the image capturing apparatus to separate the foreground image which is the difference signal image between the current image and the background image, and to determine the mobility or movement of the smoke in the foreground image The brightness and saturation values of the foreground image are compared with predetermined brightness and saturation thresholds that vary according to the change in the brightness (saturation and saturation) of the photographing object, and extracted as candidate regions for pixels (pixels) exceeding this value. By applying Gaussian mixture modeling method to candidate region, we provide image-based smoke detection method that is robust to changes in brightness and saturation of shooting targets to determine whether smoke is generated by comparing with characteristics of preset Gaussian mixture modeling function. I would like to.
본 발명에서 제안하는 실시예인 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기검출 방법은, (a) 영상 촬영 장치를 통하여 수신되는 현재 영상으로부터 배경 영상을 추출한 후 상기 현재 영상과 상기 배경 영상간의 차를 이용하여 차영상을 추출하는 단계; (b) 상기 차영상을 구성하는 해당 픽셀들 각각이 소정의 명도 임계치 및 채도 임계치를 초과하는지 여부를 판별하는 단계; (c) 상기 소정의 명도 임계치 및 채도 임계치를 초과하는 픽셀들을 후보 영역으로 추출하는 단계; (d) 상기 후보 영역을 구성하는 해당 픽셀들의 명도 및 채도 정보를 이용하여 상기 후보 영역에 대한 가우시안 혼합 모델링 함수의 통계적 특성을 구하는 단계; (e) 상기 후보 영역에 대한 가우시안 혼합 모델링 함수의 통계적 특성으로부터 상기 후보 영역이 연기가 발생한 영역인지 여부를 판별하는 단계를 구비하며, 상기 (b) 단계의 소정의 명도 임계치 및 채도 임계치는 상기 영상 촬영 장치를 통하여 수신되는 현재 영상의 명도 및 채도 정보의 범위에 따라 변경되는 것을 특징으로 한다.According to an embodiment of the present invention, an image-based smoke detection method robust to changes in brightness and saturation of a subject to be photographed includes (a) a difference between the current image and the background image after extracting a background image from a current image received through an imaging apparatus. Extracting a difference image by using; determining whether each of the pixels constituting the difference image exceeds a predetermined brightness threshold and a saturation threshold; (c) extracting pixels exceeding the predetermined brightness threshold and chroma threshold as candidate regions; (d) obtaining statistical characteristics of a Gaussian mixture modeling function for the candidate region using brightness and saturation information of the pixels constituting the candidate region; (e) determining whether the candidate region is a region where smoke has occurred from the statistical characteristics of the Gaussian mixture modeling function for the candidate region, and the predetermined brightness threshold and saturation threshold of the (b) step are determined by the image. It is characterized in that it is changed according to the range of brightness and saturation information of the current image received through the imaging device.
본 발명의 실시예에서, 상기 영상 촬영 장치를 통하여 수신되는 현재 영상의 명도 및 채도 정보의 범위에 따라 변경되는 상기 (b) 단계의 소정의 명도 임계치 및 채도 임계치는 일출부터 일몰까지의 기상 조건에 따라 적어도 4 단계로 구분되며, 상기 (b) 단계는 상기 적어도 4 단계로 구분되는 상기 소정의 명도 임계치 및 채도 임계치 중의 어느 하나를 기준으로 대비하여 상기 (c) 단계의 후보 영역을 추출하는 것을 특징으로 한다.In an embodiment of the present invention, the predetermined brightness threshold and saturation threshold of step (b), which are changed according to the range of brightness and saturation information of the current image received through the image capturing apparatus, depend on weather conditions from sunrise to sunset. According to at least four stages, the step (b) is characterized in that the extraction of the candidate region of the step (c) in accordance with any one of the predetermined brightness threshold and the saturation threshold divided into at least four steps It is done.
본 발명의 실시예에 있어서, 상기 (d) 단계에서 구한 상기 후보 영역에 대한 가우시안 혼합 모델링 함수의 Max 클러스터의 Y 평균은 
아래의 조건을 만족하는 경우 If the following conditions are met
상기 (e) 단계에서 상기 후보 영역은 연기가 발생한 영역으로 판별되며,In the step (e), the candidate area is determined as the area where the smoke has occurred,
상기 Ty ,μ, Ty ,σ, Tσ, cb 그리고 Tσ, cr 은 실험에 의하여 반복적으로 측정하여 획득한 일반 연기의 명도 Y 및 채도 Cb, Cr의 명도 평균 임계값, 명도 평균 분산값, 채도 Cb의 평균 분산 임계값, 채도 Cr의 평균 분산 임계값인 것을 특징으로 한다.T y , μ , T y , σ , T σ, cb and T σ, cr are the brightness Y and the average brightness and average dispersion values of brightness Y and saturation Cb and Cr of the general smoke obtained by repeated measurements. , An average dispersion threshold of saturation Cb, and an average dispersion threshold of saturation Cr.
본 발명에서 제안하는 방법을 미디어 전용 DSP로 구현하여 실험한 결과 야외에서 연기를 검출하는데 효과적임을 확인하였다.As a result of experimenting with the method proposed in the present invention by using a dedicated DSP for the media, it was confirmed that it is effective for detecting smoke in the open air.
특히, 본 출원인이 출원한 특허출원번호 10-2010-0097440, 발명의 명칭 "화재 검출 방법"을 사용하여 연기 판별 능력을 대비한 결과 종래의 경우보다 오검출의 영역이 현저하게 감소함을 알 수 있었다. In particular, as a result of comparing the smoke determination ability using the patent application No. 10-2010-0097440, the name of the invention "fire detection method" filed by the applicant, it can be seen that the area of false detection is significantly reduced than in the conventional case. there was.
도 1은 본 발명에 따른 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기검출 방법을 설명하는 흐름도이다.
도 2와 도 3은 시간대 또는 기상 조건에 따른 입력 영상의 일반적인 색 분포 상태를 설명하는 도면이다.
도 4와 도 5는 야외 및 열린 내부 공간에서 본 발명에서 제안하는 연기 검출 방법을 실험한 결과 화면이다.1 is a flowchart illustrating an image-based smoke detection method robust to changes in brightness and saturation of a photographing target according to the present invention.
2 and 3 are views illustrating a general color distribution state of an input image according to time zones or weather conditions.
4 and 5 are screens showing the results of experimenting with the smoke detection method proposed in the present invention in the open air and the open interior space.
먼저, 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하겠으며, 본 명세서에서 사용하는 용어들은 본 발명에서의 기능을 고려하여 정의되거나 학술적으로 사용되는 용어들로서, 사용된 용어의 의미는 본 명세서 전반에 걸친 내용을 토대로 당업자 수준에서 해석되어야 할 것이다.First, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted, and the terms used herein are used in the present invention. As terms defined or used academically in consideration of functions, the meanings of the terms used should be interpreted at the level of ordinary skill in the art based on the contents throughout the specification.
이하, 도면을 참조하여 본 발명에 따른 연기 검출 방법을 구현하는 구체적인 실시예에 대하여 설명하기로 한다.Hereinafter, with reference to the drawings will be described a specific embodiment for implementing a smoke detection method according to the present invention.
도 1은 본 발명에 따른 연기 검출 방법을 설명하는 흐름도이다. 1 is a flowchart illustrating a smoke detection method according to the present invention.
도시된 바와 같이, 영상 촬영 장치를 통하여 수신된 현재 영상으로부터 현재의 기상 조건에 따른 조도 상태를 체크하여 현재 영상의 명도 및 채도를 구하고 이를 토대로 기설정되어 있는 4종류의 명도 및 채도 임계치 중의 하나를 선정한다.As shown, the brightness and saturation of the current image is obtained by checking the illuminance state according to the current weather condition from the current image received through the image capturing apparatus, and based on this, one of four preset brightness and saturation thresholds is determined. Select.
다음, 현재 영상과 배경 영상의 차를 이용하여 차영상을 추출한다.Next, the difference image is extracted using the difference between the current image and the background image.
다음, 움직임이 있다고 판단된 차영상을 구성하는 모든 픽셀의 명도 및 채도에 대하여 후술되는 식 (4)와 같은 명도 및 채도 임계치와 비교한다.Next, the brightness and saturation of all pixels constituting the difference image judged to have a motion are compared with the brightness and saturation threshold values as shown in Equation (4) described later.
비교 결과 소정의 명도 및 채도 임계치를 초과한 영역을 후보 영역으로 선정하고 이에 대하여 가우시안 모델링 함수를 적용하여 복수개의 클러스터의 평균과 분산 등을 구한 후 이들 평균 분산 값이 일반적인 연기의 특성을 나타내는 소정의 임계치와 비교하여 연기 여부를 판정한다.As a result of the comparison, a region exceeding a predetermined brightness and saturation threshold is selected as a candidate region, and a Gaussian modeling function is applied to obtain a mean and variance of a plurality of clusters, and then the mean variance values represent predetermined smoke characteristics. It is determined whether the delay is compared with the threshold.
이러한 본 발명의 기술적 사상에 대하여는 아래에서 보다 상세히 기술될 것이다.The technical spirit of the present invention will be described in more detail below.
도 2와 3은 시간대 또는 기상 조건에 따른 입력 영상의 색 분포를 비교한 것이다. 2 and 3 compare color distributions of input images according to time zones or weather conditions.
도 2와 같이 주간 조도가 강한 오후 2시에는 빛 반사 정도가 심하기 때문에 밝은 물체의 구분이 어려우며, 백색영역에서의 영상 잡음이 다수 존재한다. As shown in FIG. 2, since the degree of light reflection is severe at 2 pm when the daytime illumination is strong, it is difficult to distinguish bright objects, and there are many image noises in the white region.
도 3은 오후 4시의 영상으로써 조도가 약하고 사물의 경계선이 명료하지 않지만 영상 잡음은 작다. 3 is an image of 4 pm and the illumination is weak and the boundary of the object is not clear, but the image noise is small.
이러한 특징은 구름이 많은 경우에도 유사한 영상적인 특징이 나타난다. 오전에는 조도가 약하기 때문에 색이 선명하게 구분되고 사물의 구분이 용이하다. 저녁 시간에는 조도가 매우 낮으며, 색 구분이 되지 않고 카메라에 따라서 증폭 잡음이 나타나게 된다.This feature has similar visual characteristics even when there are many clouds. In the morning, because of the low illumination, the colors are clearly distinguished and objects are easily distinguished. In the evening, the illuminance is very low, color separation is not possible, and amplification noise appears depending on the camera.
따라서, 본 발명에서는 시간과 기상에 의한 색분포의 변화에 대응하기 위하여 주간 영상과 야간 영상을 구분하고 주간을 4 단계로 구분하여 배경추정 임계값을 설정한다. 야간에는 색정보가 거의 없어 흑백화면으로 나타나며 객체를 구분하기 어렵고 영상 촬영 장치인 카메라의 증폭 잡음이 많기 때문에 연기를 구분하여 검출하는 것이 어렵다. Therefore, in the present invention, in order to respond to changes in color distribution due to time and weather, a background estimation threshold is set by dividing the day image and the night image and dividing the day into four stages. At night, there is almost no color information, so it appears as a black and white screen.
주간 영상의 단계별 특징은 [표 1]과 같다.Step by step characteristics of the weekly image is shown in [Table 1].
1 단계 : 조도가 강한 경우(정오)
- 빛 반사정도가 심하기 때문에 밝은 물체를 구분하는 것이 어려움
- 밝은 영역에서 영상 잡음이 많음
- 그림자가 선명하게 나타남
- 표준 임계값이 높아야 함
2 단계: 조도가 다소 약한 경우(오전 8~10시)
- 색이 선명하게 나타남
- 사물의 구분이 용이함
- 빛의 반사가 약함
- 표준 임계값을 적용함
3 단계: 조도 약한 경우(오후 2~5시)
- 빛의 반사가 거의 없음
- 사물의 경계선이 명확하지 않음
- 영상 잡음이 적음
- 색이 명료하게 구분됨
- 표준 임계값보다 낮게 설정함
4 단계: 조도가 매우 약한 경우(오후 6시)
- 빛의 반사 없음
- 색구분이 되지 않음
- 그림자 나타나지 않음
- 카메라 종류에 따라서 증폭 잡음 발생함
- 카메라 증폭도에 따라 임계값을 설정하여야 함
위에서 임계값이란 입력 영상의 명도 및 채도의 변화에 따른 Y, Cb, Cr의 임계값 Ty , Tcb , Tcr 을 의미하며, 2단계를 기준으로 이들 임계값을 조절하였다. 여기서, 시간대는 날씨가 맑을 때를 기준으로 한 것으로 동일 시간대라도 날씨가 흐르거나 안개낀 날 등이 있을 수 있으므로 원칙적으로 소정의 조도를 기준으로 이들 임계값을 정하였다.
즉, 본 발명에서는 영상 촬영 장치를 통하여 수신되는 현재 영상의 명도 및 채도 정보의 범위에 따라 변경되는 소정의 명도 임계치 및 채도 임계치를 위와같이 일출부터 일몰까지의 기상 조건에 따라 적어도 4 단계로 구분한다.
그리고, 상기 4 단계로 구분된 기상 조건에 따라 영상 촬영 장치를 통하여 입력되는 현재 영상과 배경 영상간의 차로 구해지는 차영상의 픽셀들 각각이 그에 대응하는 소정의 명도 및 채도 임계치를 초과하였는지 여부를 판단하는 경우 그 개별적으로 대비되는 소정의 명도 임계치 및 채도 임계치를 상기 4단계 기준에 따라 변경한다.
Stage 1: When the illumination is strong (noon)
-Difficult to distinguish bright objects because of the high degree of light reflection
-High video noise in bright areas
-Shadows are vivid
-High standard threshold
Stage 2: Low light intensity (8-10 am)
-Colors are vivid
-Easy to classify things
-Weak light reflection
Standard thresholds are applied
Step 3: Low light (2-5 pm)
-Almost no light reflection
-The boundary between objects is not clear
-Low image noise
-Color distinct
-Lower than the standard threshold
Step 4: Very low light (6 pm)
-No light reflection
-Color classification is not possible
-No shadows
-Amplification noise occurs depending on the camera type
-Threshold should be set according to camera amplification degree
In the above, the threshold is a threshold value of Y, Cb, Cr according to the change of brightness and saturation of the input image T y , T cb , T cr The thresholds were adjusted based on the second stage. Here, the time zone is based on when the weather is clear, and there may be days when the weather flows or fog even in the same time zone, so these thresholds are determined based on predetermined illuminance in principle.
That is, in the present invention, the predetermined brightness threshold and chroma threshold that are changed according to the range of brightness and saturation information of the current image received through the image capturing apparatus are divided into at least four stages according to the weather conditions from sunrise to sunset. .
In addition, it is determined whether each of the pixels of the difference image obtained by the difference between the current image and the background image input through the image capturing apparatus has exceeded a corresponding brightness and saturation threshold corresponding to the weather conditions divided in the four steps. If so, the predetermined brightness threshold and chroma threshold are compared according to the above four steps.
[표 1]에 나열한 단계별 특징에 맞도록 입력영상과 배경영상간의 차에 대한 임계값을 설정한다.
Set the threshold value for the difference between the input image and the background image to meet the characteristics of the steps listed in [Table 1].
[배경추정 방법과 후보영역 설정][Background Estimation Method and Candidate Area Setting]
연기 검출을 효율적으로 하기 위하여 배경추정기법을 기반으로 후보영역을 검출하고 후보영역에 대하여 연기 판별을 한다. In order to efficiently detect smoke, candidate areas are detected based on a background estimation technique, and smokes are discriminated for candidate areas.
식 (1), (2) (3)과 같이 입력영상의 명도 및 채도 정보인 Y, Cb, Cr 각각에 대하여 배경영상의 차영상을 구한다. As shown in equations (1), (2) and (3), a difference image of a background image is obtained for each of Y, Cb, and Cr, which are brightness and saturation information of the input image.
식(1) xy(k,l)= Iy(k,l)- by(k,l) Equation (1) x y (k, l) = I y (k, l)-b y (k, l)
식(2) xcb(k,l)= Icb(k,l)-bcb(k,l) Equation (2) x cb (k, l) = I cb (k, l) -b cb (k, l)
식(3) xcr(k,l)= Icr(k,l)-bcr(k,l) Equation (3) x cr (k, l) = I cr (k, l) -b cr (k, l)
여기서, x는 차영상이며, I와 b는 각각 입력영상과 배경영상이고 k, l은 각각 수평 및 수직 좌표이다. Here, x is a difference image, I and b are input images and background images, respectively, and k and l are horizontal and vertical coordinates, respectively.
차영상의 각 화소에 대하여 식(4)와 같이 평균 밝기와 색상을 기준으로 4 단계 중에서 선택된 임계값과 비교하여 변화 화소를 결정한다.For each pixel of the difference image, a change pixel is determined by comparing the threshold value selected from four steps based on the average brightness and color as shown in Equation (4).
식(4)Formula (4)
c(k, l) = 1, when │xy│> Ty , │xcb│> Tcb , │xcr│> Tcr c (k, l) = 1, when │x y │> T y , │x cb │> T cb , │x cr │> T cr
= 0, otherwise = 0, otherwise
c(k, l)은 변화 영상를 나타내며, 1이면 변화가 발생한 화소(픽셀)이며, 0 이면 변화가 없는 화소이다. c (k, l) represents a change image, where 1 indicates a change in pixel (pixel), and 0 indicates a change in pixel.
그리고 Ty , Tcb , 및 Tcr 은 각각 명도 Y, 색차 Cb, Cr 에 대한 임계값이며, 이들 임계값은 입력영상의 평균 명도 및 색차에 의하여 표 1과 같은 기준에 의하여 결정된다. And T y , T cb , and T cr Are thresholds for brightness Y, color difference Cb and Cr, respectively, and these thresholds are determined according to the criteria shown in Table 1 by the average brightness and the color difference of the input image.
또한, 배경영상에 대한 갱신은 변화 화소의 수가 설정한 임계값 이상이면 배경을 갱신한다. 여기서, 배경영상의 갱신이란 영상 촬영 장치가 회전 등에 의하여 촬영 대상이 변경된 경우 본 발명 시스템 알고리즘 처리 시간을 단축시키기 위하여 현재 영상을 배경 영상으로 설정하는 것을 의미한다. 따라서, 촬영 대상이 변경된 이후에는 본 발명에서 기술하는 과정이 동일하게 반복될 것이다.In addition, when the background image is updated, the background is updated when the number of change pixels is equal to or larger than a set threshold. Here, the updating of the background image means that the current image is set as the background image in order to shorten the processing time of the system algorithm of the present invention when the image capturing apparatus is changed by rotation or the like. Therefore, after the photographing target is changed, the process described in the present invention will be repeated.
다음, 소정의 임계치를 초과한 c(k, l)의 픽셀에 대하여 후보영역으로 설정한다. Next, a candidate region is set for pixels of c (k, l) that exceed a predetermined threshold.
위에서 기술한 내용을 요약하면 다음과 같다.The above is summarized as follows.
1. 차영상 계산: 입력영상과 배경영상간의 차영상를 구한다.1. Difference Image Calculation: Obtains a difference image between the input image and the background image.
2. 단계 구분: 입력영상의 밝기(intensity)와 색상(chrominance)을 임계값과 비교하여 표 1에서 기술한 4 단계 중에서 소정의 임계값을 선택한다.2. Step classification: A predetermined threshold value is selected from the four steps described in Table 1 by comparing the intensity and chrominance of the input image with the threshold value.
3. 변화 검출(후보영역 설정): 차영상과 조도 상태에 따른 소정의 임계값과 비교하여 소정의 임계값보다 큰 경우에는 영상의 변화로 간주하고 후보영역으로 설정한다.3. Change detection (candidate region setting): When the image is larger than the predetermined threshold value compared to the predetermined threshold value according to the difference image and illuminance state, it is regarded as the change of the image and is set as the candidate region.
4. 후보영역에 대한 레이블링4. Labeling Candidate Areas
참고로, 배경 갱신은 3번에서 변화된 픽셀 수 카운트를 하여 변화된 픽셀의 수가 소정 갯수를 초과하면 촬영 대상이 변경된 것으로 판단하여 배경의 갱신 여부를 결정한다(즉, 현재 영상을 배경 영상으로 설정).
For reference, in the background update, if the number of changed pixels exceeds the predetermined number by counting the number of changed pixels in step 3, it is determined that the photographing target is changed to determine whether to update the background (that is, the current image is set as the background image).
[[ GaussianGaussian 혼합모델] Mixed model]
GMM은 입력 데이터를 복수개의 Gaussian 분포 함수의 합으로 나타내는 방법으로, 복잡한 입력데이터를 각 Gaussian 분포함수의 평균과 분산값으로 모델링을 함으로써 연산량을 줄일 수 있다.GMM is a method of representing input data as a sum of a plurality of Gaussian distribution functions. It is possible to reduce the amount of computation by modeling complex input data as an average and a variance of each Gaussian distribution function.
입력 영상 데이터에 대한 M 차원의 GMM 모델링은 Gaussian 확률밀도함수(probability density function)의 선형결합(linear combination)으로 식(5)과 같이 표현할 수 있다.M-dimensional GMM modeling of the input image data may be expressed as Equation (5) as a linear combination of Gaussian probability density functions.
식(5)Formula (5)
여기서, M는 Gaussian 확률밀도함수(성분 또는 클러스터)의 개수이며, p(x│ωi,θi) x는 입력 데이터 x에 대하여 ωi번째 성분 계수 θi로 이루어진 확률밀도함수를 의미한다. Here, M is the number of Gaussian probability density functions (components or clusters), and p (x│ω i , θ i ) x means a probability density function composed of ω i th component coefficients θ i with respect to the input data x.
P(ωi)는 혼합가중치(mixture weight)로 각 확률밀도함수의 상대적인 중요도를 의미한다. 혼합가중치를 사전 확률과 같은 형태인 αi라고 하면 0 ≤αi ≤ 1 이고, 
그리고, 확률밀도함수가 Gaussian 분포를 가질 경우 는 다음 식과 같이 각 성분의 평균, 분산, 혼합가중치의 집합이 된다. 이는 GMM의 특징 계수이다.If the probability density function has a Gaussian distribution, it is a set of mean, variance, and mixed weights for each component, as shown in the following equation. This is the feature coefficient of the GMM.
그리고, 각 Gaussian 확률밀도함수는 식 (6)와 같이 표현된다.Each Gaussian probability density function is expressed as shown in Equation (6).
식(6)Formula (6)
여기서, μj, σj 는 각각 j번째 Gaussian 성분의 평균과 분산을 나타낸다.Where μ j and σ j represent the mean and the variance of the j th Gaussian component, respectively.
입력 데이터 집합 xn 이 주어졌을 때, j번째 Gaussian 혼합성분의 사후확률(posterior probability)을 구하는 것이 필요하며, 식 (7)과 같이 표현할 수 있다. Input data set x n Given this, it is necessary to find the posterior probability of the jth Gaussian mixture, which can be expressed as
식(7)Formula (7)
GMM의 추출은 EM 방법에 의하여, Gaussian 분포를 갖는 각 성분의 평균, 분산 그리고 혼합가중치를 추정할 수 있다. Extraction of GMM can estimate mean, variance, and mixed weight of each component with Gaussian distribution by EM method.
입력 데이터 집합 x = {x1, x2, ..., xn} 에 대하여 최우추정(maximum likelihood estimation)으로 μj, σ2 j 그리고 αj 의 추정치를 EM방법으로 추정할 수 있다. For the input data set x = {x 1 , x 2 , ..., x n }, the estimates of μ j , σ 2 j, and α j can be estimated by the EM method using maximum likelihood estimation.
식 (8), (9) 그리고 (10)의 
식(8)Formula (8)
식(9)Equation (9)
식(10)Formula (10)
본 발명에서 식 (8), 식 (9)에 따라 연기에 대한 GMM 분석을 통하여 연기에 대한 특징 계수를 구하여 기설정하여 놓은 다음, 영상 촬영 장치를 통하여 구한 후보영상의 GMM 특징 계수와 비교하여 연기 여부를 판별한다. According to the equations (8) and (9) in the present invention, the feature coefficients for the smokes are obtained and preset through the GMM analysis of the smokes, and then the smokes are compared with the GMM feature coefficients of the candidate images obtained through the imaging apparatus. Determine whether or not.
후보영상의 특징 계수 중에서 평균 밝기 
본 발명에서는 3 개의 클러스터로 훈련하였으며, 
연기 여부 판별은 각 클러스터의 특징 계수가 다음의 조건을 만족하면 연기로 판별한다.The postponement is determined as postponing if the characteristic coefficient of each cluster satisfies the following condition.
여기서, 
상기 Ty ,μ, Ty ,σ, Tσ, cb 그리고 Tσ, cr 은 실험에 의하여 반복적으로 측정하여 획득한 일반 연기의 명도 Y 및 채도 Cb, Cr의 명도 평균 임계값, 명도 평균 분산값, 채도 Cb의 평균 분산 임계값, 채도 Cr의 평균 분산 임계값이다.T y , μ , T y , σ , T σ, cb and T σ, cr are the brightness Y and the average brightness and average dispersion values of brightness Y and saturation Cb and Cr of the general smoke obtained by repeated measurements. , Average dispersion threshold of chroma Cb and average dispersion threshold of chroma Cr.
이러한 조건의 임계값은 차영상에 대한 GMM 특징 계수를 분석하여 입력영상의 변화가 있는 후보영역 중에서 연기로 영역으로 구분할 수 있는 기준을 경험적으로 정하였다.The threshold of this condition is empirically determined by analyzing the GMM feature coefficients for the difference image, which can be classified as the smoke region among the candidate regions where the input image changes.
1. 후보영상의 명도에 의한 GMM 특징 계수의 재정렬1. Reordering GMM Feature Coefficients by Brightness of Candidate Image
- 명도 평균을 기준으로 Max, Mid, Min 클러스터로 구분-Divide into Max, Mid, Min clusters based on brightness average
2. Max 클러스터와 Min 클러스터 간의 상대적인 차이 비교2. Comparison of Relative Differences Between Max and Min Clusters
- 명도에 의한 오검출 줄이기 위한 것임-To reduce false detection by brightness
3. Max 클러스터의 분산값이 해당 조도에 따른 임계값보다 작아야 한다.3. The variance of the Max cluster must be less than the threshold value for the illuminance.
- Max 클러스터의 값의 분포가 좁기 때문임This is due to the narrow distribution of values in the Max cluster.
4. Max 클러스터의 색차값이 해당 조도에 따른 임계값보다 작아야 한다.4. The color difference value of the Max cluster should be smaller than the threshold according to the illuminance.
- Max 클러스터의 연기 특징은 색차값이 작게 나타남
The smoke characteristic of the Max cluster shows small color difference values.
[연기검출 방법][Smoke detection method]
본 발명에서는 도 3과 같이 입력영상과 배경영상과의 차영상을 이용하여 후보영역을 설정하고 후보영역에 대하여 GMM 특징 계수를 비교하여 연기를 검출한다. In the present invention, as shown in Fig. 3, the candidate region is set using the difference image between the input image and the background image, and the smoke is detected by comparing the GMM feature coefficients with respect to the candidate region.
입력영상의 평균 밝기와 색상을 계산하여 4 단계의 조명에 대한 임계값을 선정하여 차영상과 임계값을 비교하고 영상의 변화 정도에 따라 후보영역을 설정한다. By calculating the average brightness and the color of the input image, we select the thresholds for the four stages of illumination, compare the threshold with the difference image, and set the candidate area according to the degree of change of the image.
설정한 후보영역에 대하여 훈련된 GMM 특징 계수와 차영상의 GMM 특징 계수를 비교하여 연기 판별을 한다.The smoke discrimination is performed by comparing the trained GMM feature coefficients and the GMM feature coefficients of the difference image.
본 발명에서 제안하는 방법의 성능을 평가하기 위하여 도 4와 같이 야외에서 연기 검출 실험과 도 5와 같이 열린 내부 공간에서 연기 검출 실험을 실시하였다. In order to evaluate the performance of the method proposed in the present invention, the smoke detection experiment in the open air as shown in FIG.
즉, 본 발명에서 제안하는 알고리즘이 탑재된 미디어 전용 DSP가 장착된 영상 촬영 시스템을 작동시켜 야외에서의 실험을 통하여 제안하는 화재검출 방법에 대한 성능을 평가하였다. That is, the performance of the proposed fire detection method was evaluated through outdoor experiments by operating an image capturing system equipped with a DSP exclusively equipped with an algorithm proposed in the present invention.
실시간 처리를 위하여 Texas Instruments사의 고정소수점 미디어 전용 DSP인 TMS320DM642(720MHz)에 제안 방법을 구현하고, 연기 및 화염을 포함하는 640x480 영상에 대하여 제안하는 방법을 실험하였다.For real-time processing, we implemented the proposed method in TMS320DM642 (720MHz), a fixed-point media dedicated DSP of Texas Instruments, and tested the proposed method for 640x480 images including smoke and flame.
연기 검출 실험한 결과를 검은색 박스로 표현된 부분이 검출 영역을 나타내고 있다. 야외 및 열린 실내 공간에서의 연기 검출에 제안하는 방법이 효과적임을 확인할 수 있다.A black box indicates the detection area of the smoke detection experiment. It can be seen that the proposed method is effective for detecting smoke in outdoor and open indoor spaces.
특히, 본 출원인이 출원한 특허출원번호 10-2010-0097440, 발명의 명칭 "화재 검출 방법"을 사용하여 연기 판별 능력을 대비한 결과 종래의 경우보다 오검출의 영역이 현저하게 감소함을 알 수 있었다. In particular, as a result of comparing the smoke determination ability using the patent application No. 10-2010-0097440, the name of the invention "fire detection method" filed by the applicant, it can be seen that the area of false detection is significantly reduced than in the conventional case. there was.
이상에서 설명한 바와 같이, 본 발명에서는 시간과 기상 변화에 변화하는 영상의 밝기와 색상 변화에 대응하는 연기 검출 방법을 제안한다. 제안하는 연기검출 방법은 입력영상과 배경영상의 차영상을 이용하여 후보영역을 설정하고, 후보영역 차영상의 Gaussian 혼합모델 특징 계수를 비교하여 연기를 판별한다. As described above, the present invention proposes a smoke detection method corresponding to a change in brightness and color of an image that changes with time and weather changes. In the proposed smoke detection method, the candidate region is set by using the difference image of the input image and the background image, and the smoke is determined by comparing the Gaussian mixed model feature coefficients of the difference image of the candidate region.
시간과 기상 조건에 따라 입력영상의 평균 밝기와 색상을 기준으로 후보영역 설정을 위한 임계값을 4 단계로 구분한다. 후보영역에 대한 차영상의 Gaussian 혼합모델의 밝기 평균값을 기준으로 클러스터를 정렬하고, 클러스터 간의 Gaussian 혼합모델 특징 계수를 비교하여 연기를 판별한다. 제안하는 방법을 미디어전용 DSP로 구현하고 야외에 설치된 카메라의 영상에 대하여 연기검출 실험을 통하여 효율적으로 연기를 검출할 수 있다.According to time and weather conditions, the threshold for setting the candidate area is divided into four levels based on the average brightness and color of the input image. The clusters are aligned based on the brightness average value of the Gaussian mixed model of the difference image for the candidate region, and the smoke is determined by comparing the Gaussian mixed model feature coefficients between the clusters. The proposed method can be implemented with a DSP for media only and smoke can be detected efficiently through the smoke detection experiments on the camera images installed outdoors.
지금까지 설명한 본 발명의 실시예에서는 촬영 대상의 조도 변화에 따라 설정된 후보 영역의 가우시안 혼합 모델링 결과 도출된 복수개의 클러스터의 평균치와 분산치를 이용하여 해당 후보 영역이 연기 영역인지 여부를 판정하는 방법을 설명하였으나 이는 본 발명의 일실시예에 불과할 뿐으로 이와 유사한 다른 통계적 변수를 이용하는 것도 당연히 가능하다.In the above-described embodiments of the present invention, a method of determining whether a candidate region is a smoke region using an average value and a variance value of a plurality of clusters derived as a result of Gaussian mixed modeling of the candidate region set according to the change in the illuminance of the photographing object will be described. However, this is only one embodiment of the present invention, it is naturally possible to use other similar statistical variables.
또한, 본 발명의 기술적 사상은 연기 이외에 화재가 발생한 경우에도 이에 대한 통계적 특성을 이용하여 후보 영역을 추출된 영상이 화염인지 여부를 판별하는 것도 가능하며 이러한 기술적 특징은 본 발명에 대한 특허청구범위 기재 범위내에서 본 발명의 권리 범위내에 당연히 포함된다.In addition, the technical idea of the present invention can be used to determine whether the image extracted the candidate region is a flame, even if a fire occurs in addition to the smoke, and the technical features described in the claims for the present invention. It is naturally included within the scope of the present invention within the scope.
이상에서 설명한 바와 같이, 본 발명에 따른 연기 검출 방법의 기술적 사상은 영상 촬영 장치에 의해 촬영된 영상으로부터 배경 영상을 추출한 후 촬영 영상과 배경 영상간의 차신호 영상인 전경 영상을 분리한 다음, 주변 조도에 따라 서로 다른 임계치를 기준으로 하여 소정의 해당 후보을 추출하고 이에 대한 가우시안 혼합 모델링 방식을 적용하여 복수개의 클러스터의 평균치 또는 분산치를 추출하여 일반적인 연기의 통계적 특성과 비교함으로써 신속하면서도 정확히 연기의 발생을 사전에 검출할 수 있는 방법을 제안하였다.As described above, the technical idea of the method for detecting smoke according to the present invention is to extract the background image from the image captured by the image capturing apparatus, and then separate the foreground image which is the difference signal image between the captured image and the background image, According to different thresholds, the candidates are extracted based on different thresholds, and Gaussian mixture modeling method is applied to extract the mean or variance of multiple clusters and compare them with the statistical characteristics of general smoke. A method that can be detected is proposed.
이러한 본 발명의 기술적 사상은 본 발명에서 제안하는 일부 단계에 대하여 당업계에 공지되어 있는 별도의 기술로 대체, 변경하는 경우도 포함하며 특히 제안된 가우시안 혼합 모델 이외에 연기의 통계적 특성 등을 이용하여 해당 후보 영역의 통계적 특징 등과 비교할 수 있는 다양한 형태의 확률 분포 함수를 사용하는 경우에도 동일하게 적용되며 이러한 변경 및 대체는 특허청구범위의 기재 범위내에서 본 발명의 권리범위에 당연히 포함된다.The technical idea of the present invention includes a case where a certain step proposed by the present invention is replaced or changed by a separate technology known in the art, and in particular, by using statistical characteristics of smoke in addition to the proposed Gaussian mixture model. The same applies to the case of using various types of probability distribution functions that can be compared with statistical features of candidate regions, and such changes and substitutions are naturally included in the scope of the present invention within the scope of the claims.
예컨대, 본 발명에서 YCbCr 색정보를 사용하였으나 RGB 색정보로 대체 변경하는 것도 가능하며, 가우시안 혼합 모델링 이외에도 후보 영역에 대하여 여타의 확률 분포 함수를 사용하여 그 통계적 특징으로부터 화재의 징후를 포착하는 방식은 당연히 본 발명의 기술적 사상에 포함되는 것이다.For example, although YCbCr color information is used in the present invention, it is also possible to substitute and substitute RGB color information. In addition to Gaussian mixture modeling, a method of capturing the signs of a fire from its statistical characteristics by using other probability distribution functions for the candidate region is described. Naturally, it is included in the technical idea of this invention.
Claims (3)
(a) 영상 촬영 장치를 통하여 수신되는 현재 영상으로부터 배경 영상을 추출한 후 상기 현재 영상과 상기 배경 영상간의 차를 이용하여 차영상을 추출하는 단계;
(b) 상기 차영상을 구성하는 해당 픽셀들 각각이 소정의 명도 임계치 및 채도 임계치를 초과하는지 여부를 판별하는 단계;
(c) 상기 소정의 명도 임계치 및 채도 임계치를 초과하는 픽셀들을 후보 영역으로 추출하는 단계;
(d) 상기 후보 영역을 구성하는 해당 픽셀들의 명도 및 채도 정보를 이용하여 상기 후보 영역에 대한 가우시안 혼합 모델링 함수의 통계적 특성을 구하는 단계;
(e) 상기 후보 영역에 대한 가우시안 혼합 모델링 함수의 통계적 특성으로부터 상기 후보 영역이 연기가 발생한 영역인지 여부를 판별하는 단계를 구비하며,
상기 (b) 단계의 소정의 명도 임계치 및 채도 임계치는 상기 영상 촬영 장치를 통하여 수신되는 현재 영상의 명도 및 채도 정보의 범위에 따라 변경되며,
상기 영상 촬영 장치를 통하여 수신되는 현재 영상의 명도 및 채도 정보의 범위에 따라 변경되는 상기 (b) 단계의 소정의 명도 임계치 및 채도 임계치는 일출부터 일몰까지의 기상 조건에 따라 적어도 4 단계로 구분되며, 상기 (b) 단계는 상기 적어도 4 단계로 구분되는 상기 소정의 명도 임계치 및 채도 임계치 중의 어느 하나를 기준으로 대비하여 상기 (c) 단계의 후보 영역을 추출하는 것을 특징으로 하는 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기검출 방법.Image-based smoke detection method that is robust to changes in brightness and saturation
(a) extracting a background image from the current image received through the image capturing apparatus and extracting a difference image by using a difference between the current image and the background image;
determining whether each of the pixels constituting the difference image exceeds a predetermined brightness threshold and a saturation threshold;
(c) extracting pixels exceeding the predetermined brightness threshold and chroma threshold as candidate regions;
(d) obtaining statistical characteristics of a Gaussian mixture modeling function for the candidate region using brightness and saturation information of the pixels constituting the candidate region;
(e) determining whether the candidate region is a region where smoke has occurred, from statistical characteristics of a Gaussian mixture modeling function for the candidate region,
The predetermined brightness threshold and chroma threshold in step (b) are changed according to the range of brightness and chroma information of the current image received through the imaging apparatus.
The predetermined brightness threshold and chroma threshold of step (b), which are changed according to the range of brightness and saturation information of the current image received through the image capturing apparatus, are divided into at least four stages according to weather conditions from sunrise to sunset. In step (b), the candidate area of step (c) is extracted based on any one of the predetermined brightness threshold and the chroma threshold divided into the at least four steps. Image-based smoke detection method robust to saturation changes.
상기 (d) 단계에서 구한 상기 후보 영역에 대한 가우시안 혼합 모델링 함수의 최대 클러스터의 Y 평균은
아래의 조건을 만족하는 경우
상기 (e) 단계에서 상기 후보 영역은 연기가 발생한 영역으로 판별되며,
상기 Ty ,μ, Ty ,σ, Tσ, cb 그리고 Tσ, cr 은 실험에 의하여 반복적으로 측정하여 확득한 일반 연기의 명도 Y 및 채도 Cb, Cr의 명도 평균 임계값, 명도 평균 분산값, 채도 Cb의 평균 분산 임계값, 채도 Cr의 평균 분산 임계값인 것을 특징으로 하는 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기검출 방법.The method of claim 1,
The Y mean of the maximum cluster of the Gaussian mixed modeling function for the candidate region obtained in step (d) is
If the following conditions are met
In the step (e), the candidate area is determined as the area where the smoke has occurred,
T y , μ , T y , σ , T σ, cb and T σ, cr are brightness Y and saturation average threshold values of saturation Cb and Cr, and the average variance of brightness values And an average dispersion threshold of saturation Cb and an average dispersion threshold of saturation Cr.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120056666A KR101224494B1 (en) | 2012-05-29 | 2012-05-29 | Video based smoke detection method robust to light conditions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120056666A KR101224494B1 (en) | 2012-05-29 | 2012-05-29 | Video based smoke detection method robust to light conditions |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101224494B1 true KR101224494B1 (en) | 2013-01-21 |
Family
ID=47842304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120056666A KR101224494B1 (en) | 2012-05-29 | 2012-05-29 | Video based smoke detection method robust to light conditions |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101224494B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160091709A (en) * | 2015-01-26 | 2016-08-03 | 창원대학교 산학협력단 | Fire detection System and Method using Features of Spatio-temporal Video Blocks |
| US9443149B2 (en) | 2013-07-23 | 2016-09-13 | Korea Advanced Institute Of Science And Technology | Method and apparatus for detecting smoke from image |
| KR101679148B1 (en) | 2015-06-15 | 2016-12-06 | 동의대학교 산학협력단 | Detection System of Smoke and Flame using Depth Camera |
| KR101844843B1 (en) * | 2016-10-20 | 2018-05-21 | 중앙대학교 산학협력단 | Apparatus and Method for processing floating hologram |
| CN109643482A (en) * | 2016-06-28 | 2019-04-16 | 烟雾检测器有限责任公司 | Use the smoke detection system and method for camera |
| CN113807319A (en) * | 2021-10-15 | 2021-12-17 | 云从科技集团股份有限公司 | Face recognition optimization method, device, equipment and medium |
| US11232689B2 (en) | 2019-01-04 | 2022-01-25 | Metal Industries Research & Development Centre | Smoke detection method with visual depth |
| KR20220097721A (en) * | 2020-12-31 | 2022-07-08 | 에이앤엘코퍼레이션 주식회사 | Fire alarm and air circulation appratus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100010712A (en) * | 2008-07-23 | 2010-02-02 | (주)에이치엠씨 | Fire detecting system using smoke sensing |
| KR20120035734A (en) * | 2010-10-06 | 2012-04-16 | (주)에이치엠씨 | A method for detecting fire or smoke |
-
2012
- 2012-05-29 KR KR1020120056666A patent/KR101224494B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100010712A (en) * | 2008-07-23 | 2010-02-02 | (주)에이치엠씨 | Fire detecting system using smoke sensing |
| KR20120035734A (en) * | 2010-10-06 | 2012-04-16 | (주)에이치엠씨 | A method for detecting fire or smoke |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9443149B2 (en) | 2013-07-23 | 2016-09-13 | Korea Advanced Institute Of Science And Technology | Method and apparatus for detecting smoke from image |
| KR20160091709A (en) * | 2015-01-26 | 2016-08-03 | 창원대학교 산학협력단 | Fire detection System and Method using Features of Spatio-temporal Video Blocks |
| KR101693959B1 (en) | 2015-01-26 | 2017-01-06 | 창원대학교 산학협력단 | Fire detection System and Method using Features of Spatio-temporal Video Blocks |
| KR101679148B1 (en) | 2015-06-15 | 2016-12-06 | 동의대학교 산학협력단 | Detection System of Smoke and Flame using Depth Camera |
| CN109643482A (en) * | 2016-06-28 | 2019-04-16 | 烟雾检测器有限责任公司 | Use the smoke detection system and method for camera |
| KR101844843B1 (en) * | 2016-10-20 | 2018-05-21 | 중앙대학교 산학협력단 | Apparatus and Method for processing floating hologram |
| US11232689B2 (en) | 2019-01-04 | 2022-01-25 | Metal Industries Research & Development Centre | Smoke detection method with visual depth |
| KR20220097721A (en) * | 2020-12-31 | 2022-07-08 | 에이앤엘코퍼레이션 주식회사 | Fire alarm and air circulation appratus |
| KR102474950B1 (en) | 2020-12-31 | 2022-12-07 | 에이앤엘코퍼레이션 주식회사 | Fire alarm and air circulation appratus |
| CN113807319A (en) * | 2021-10-15 | 2021-12-17 | 云从科技集团股份有限公司 | Face recognition optimization method, device, equipment and medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101224494B1 (en) | Video based smoke detection method robust to light conditions | |
| Premal et al. | Image processing based forest fire detection using YCbCr colour model | |
| Celik | Fast and efficient method for fire detection using image processing | |
| WO2020078229A1 (en) | Target object identification method and apparatus, storage medium and electronic apparatus | |
| CN108416968B (en) | Fire early warning method and device | |
| Töreyin et al. | Wavelet based real-time smoke detection in video | |
| binti Zaidi et al. | Fire recognition using RGB and YCbCr color space | |
| CN107085714B (en) | Forest fire detection method based on video | |
| Patel et al. | Flame detection using image processing techniques | |
| CN109637068A (en) | Intelligent pyrotechnics identifying system | |
| CN101908142A (en) | Feature analysis-based video flame detecting method | |
| KR101204259B1 (en) | A method for detecting fire or smoke | |
| Wang et al. | A new fire detection method using a multi-expert system based on color dispersion, similarity and centroid motion in indoor environment | |
| Wong et al. | Experimental study of video fire detection and its applications | |
| Gunawaardena et al. | Computer vision based fire alarming system | |
| CN111951250A (en) | Image-based fire detection method | |
| Chen et al. | Fire detection using spatial-temporal analysis | |
| Bakri et al. | A methodology for fire detection using colour pixel classification | |
| Celik et al. | Computer vision based fire detection in color images | |
| Wilson et al. | A comprehensive study on fire detection | |
| CN112364884B (en) | Method for detecting moving object | |
| Poobalan et al. | Fire detection based on color filters and Bag-of-Features classification | |
| Lai et al. | Robust little flame detection on real-time video surveillance system | |
| Munshi | Fire detection methods based on various color spaces and gaussian mixture models | |
| Thepade et al. | Fire Detection System Using Color and Flickering Behaviour of Fire with Kekre's LUV Color Space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170102 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190115 Year of fee payment: 7 |