JP6718646B2 - Fire detection device and fire detection method - Google Patents

Description

本発明は、カメラで撮像した監視領域の画像から火災による煙を検知する火災検知装置及び火災検知方法に関する。 The present invention relates to a fire detection device and a fire detection method for detecting smoke caused by a fire from an image of a monitoring area captured by a camera.

従来、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。 BACKGROUND ART Conventionally, various devices and systems have been proposed that detect a fire by performing image processing on an image of a monitoring area captured by a monitoring camera.

このような火災検知装置にあっては、火災発生に対する初期消火や避難誘導の観点から火災の早期発見が重要である。 In such a fire detection device, early detection of a fire is important from the viewpoint of initial fire extinguishing and evacuation guidance when a fire occurs.

このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。 For this reason, in the conventional device (Patent Document 1), as a phenomenon caused by smoke caused by a fire from an image, the transmittance or the contrast is lowered, the brightness value is converged to a specific value, the brightness distribution range is narrowed, and the brightness is dispersed. It is possible to detect smoke by deriving the decrease in the brightness, the change in the average value of the brightness due to smoke, the decrease in the total amount of edges, and the increase in the intensity in the low frequency band, and making a comprehensive judgment of these.

特開２００８−０４６９１６号公報JP, 2008-046916, A 特開平７−２４５７５７号公報JP-A-7-245757 特開２０１０−２３８０２８号公報JP, 2010-238028, A

しかしながら、このような従来の火災に伴う煙の画像から火災を検知する火災検知システムにあっては、監視カメラで撮像した画像全体を処理して煙による特徴的な変化を検知して火災を判断しており、画像全体から火災を判断するための処理負担が増加して処理に時間がかかるという問題がある。 However, in such a conventional fire detection system that detects a fire from an image of smoke associated with a fire, the entire image captured by a surveillance camera is processed to detect a characteristic change due to the smoke and judge the fire. However, there is a problem that the processing load for judging a fire from the entire image increases and the processing takes time.

本発明は、監視カメラで撮像した画像の中の煙に特有な動きを捉え、処理負担と処理時間を低減した火災判断を可能とする火災検知装置及び火災検知方法を提供することを目的とする。 It is an object of the present invention to provide a fire detection device and a fire detection method capable of capturing a motion peculiar to smoke in an image captured by a surveillance camera and making a fire determination with a reduced processing load and processing time. ..

（装置：観測点分布によるクラスタリング）
本発明は、火災検知装置に於いて、
監視領域の画像を逐次撮像する撮像手段と、
撮像手段で撮像された画像毎に、所定の規則に従い複数の観測点をばら撒いて収束させることによりクラスを生成して配置し、クラスを追跡してクラス位置情報を検出するクラス追跡手段と、
クラス追跡手段で検出されたクラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段と、
を備え、
クラス追跡手段は、クラスが監視領域の画像に設定された所定の再配置ラインに達した場合に、再配置ラインに達したクラスを消去して再配置することを特徴とする。
(Apparatus : Clustering by observation point distribution )
The present invention relates to a fire detection device,
An image pickup means for sequentially picking up images of the monitoring area,
For each image captured by the imaging means, a class tracking means for generating and arranging a class by scattering and converging a plurality of observation points according to a predetermined rule, and tracking the class to detect class position information,
Fire judging means for judging a fire by detecting a characteristic predetermined change due to smoke from a time series change of class position information detected by the class tracking means,
Equipped with
The class tracking means is characterized in that, when the class reaches a predetermined rearrangement line set in the image of the monitoring area, the class reaching the rearrangement line is erased and rearranged .

（特徴領域の抽出）
クラス追跡手段は、撮像手段で撮像された画像毎に、濃度の濃い順に特徴領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴領域を抽出してクラスを配置する。 (Extraction of characteristic area)
The class tracking means extracts the characteristic regions in order of darkness and arranges the classes for each image captured by the imaging means, or extracts the characteristic regions in order of larger density than a predetermined density and arranges the classes. To do.

（差分画像）(Difference image)
クラス追跡手段は、撮像手段で撮像された連続する画像から差分画像を逐次生成し、差分画像毎に、特徴領域を抽出してクラスを配置する。The class tracking means sequentially generates difference images from the continuous images picked up by the image pickup means, extracts a characteristic region for each difference image, and arranges the classes.

（装置：スポット光照射によるクラスタリング）
本発明は、火災検知装置に於いて、
監視領域に向けて複数のスポット光を照射するスポット光照射手段と、
複数のスポット光が照射された監視領域の画像を逐次撮像する撮像手段と、
撮像手段で撮像された画像毎に、濃度の濃い順に特徴スポット領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴スポット領域を抽出してクラスを配置し、クラスを追跡してクラス位置情報を検出するクラス追跡手段と、
クラス追跡手段で検出されたクラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段と、
を備えたことを特徴とする。
(Apparatus: Clustering by spot light irradiation)
The present invention relates to a fire detection device,
Spot light irradiation means for irradiating a plurality of spot lights toward the monitoring area ,
An image pickup means for sequentially picking up images of the monitoring area irradiated with a plurality of spot lights,
For each image picked up by the image pickup means, the characteristic spot regions are extracted in the order of darkness and the classes are arranged, or the characteristic spot regions are extracted in the order of larger density than a predetermined density and the classes are arranged, and the classes are arranged. Class tracking means for tracking and detecting class location information,
Fire judging means for judging a fire by detecting a characteristic predetermined change due to smoke from a time series change of class position information detected by the class tracking means,
It is characterized by having.

（再配置ライン）(Relocation line)
また、クラス追跡手段は、クラスが監視領域の画像に配置された所定の再配置ラインに達した場合に、再配置ラインに達したクラスを消去して再配置する。Further, when the class reaches a predetermined rearrangement line arranged in the image of the monitoring area, the class tracking unit erases the class reaching the rearrangement line and rearranges the class.

（方法：観測点分布によるクラスタリング）
本発明は、火災検知方法において、
撮像手段により、監視領域の画像を逐次撮像し、
クラス追跡手段により、撮像手段で撮像された画像毎に、所定の規則に従い複数の観測点をばら撒いて収束させることによりクラスを生成して配置し、クラスを追跡してクラス位置情報を検出し、クラスが監視領域の画像に設定された所定の再配置ラインに達した場合に、再配置ラインに達したクラスを消去して再配置し、
火災判断手段により、クラス追跡手段で検出されたクラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する、
ことを特徴とする。
(Method : Clustering by observation point distribution )
The present invention is a fire detection method,
By the imaging means , the images of the monitoring area are sequentially captured,
The class tracking unit generates and arranges a class by scattering and converging a plurality of observation points according to a predetermined rule for each image captured by the image capturing unit, and tracks the class to detect class position information. , When the class reaches the predetermined relocation line set in the image of the monitoring area , the class that reached the relocation line is erased and relocated,
The fire judging means judges a fire by detecting a characteristic predetermined change due to smoke from the time series change of the class position information detected by the class tracking means,
It is characterized by

（方法：スポット光照射によるクラスタリング）
本発明は、火災検知方法において、
スポット光照射手段により、監視領域に向けて複数のスポット光を照射し、
クラス追跡手段により、撮像手段で撮像された画像毎に、濃度の濃い順に特徴スポット領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴スポット領域を抽出してクラスを配置し、クラスを追跡してクラス位置情報を検出し、
火災判断手段により、クラス追跡手段で検出されたクラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する、
ことを特徴とする。
また、本発明の火災検知方法による他の特徴は、前述した火災検知装置の場合と基本的に同じになることから、その説明を省略する。
(Method: Clustering by spot light irradiation )
The present invention is a fire detection method,
The spot light irradiation means irradiates a plurality of spot lights toward the monitoring area,
For each image captured by the image capturing means, the class tracking means extracts feature spot areas in the order of darkness and arranges the classes, or the feature spot areas are extracted in order of larger density than a predetermined density and the areas are extracted to classify. To locate the class location and track the class,
The fire judging means judges a fire by detecting a characteristic predetermined change due to smoke from the time series change of the class position information detected by the class tracking means,
It is characterized by
Further, other features of the fire detection method of the present invention are basically the same as those of the above-described fire detection device, and therefore description thereof will be omitted.

（基本的な効果）
本発明の火災検知装置によれば、監視領域の画像を逐次撮像する撮像手段と、撮像手段で撮像された画像毎に、所定の規則に従い複数の観測点をばら撒いて収束させることによりクラスを生成し、クラスを追跡してクラス位置情報を検出するクラス追跡手段と、クラス追跡手段で検出されたクラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段とが設けられたため、火災により立ち上る煙の内部には、濃度の濃い領域と濃度の薄い領域があり、濃度の濃い煙の領域が順次出現して上方に移動して行く現象が現れることから、撮像した画像から濃度の濃い煙の部分に例えばパーティクルフィルタの規則に従ってクラスを配置し、各クラスを画像毎に追跡して位置情報を求め、煙による特徴的な上方に移動する変化を検知することで、確実に火災を判断可能とする。 (Basic effect)
According to the fire detection device of the present invention, an image pickup unit that sequentially picks up an image of a monitoring region, and a plurality of observation points are scattered and converged according to a predetermined rule for each image picked up by the image pickup unit to classify a class. Class tracking means for generating and tracking a class to detect class location information, and to detect a fire by detecting a characteristic predetermined change due to smoke from the time series change of the class location information detected by the class tracking means. Since there is a fire determination means, there is a dense area and a light area inside the smoke that rises due to the fire, and the dense smoke area appears in sequence and moves upward. Therefore, for example, a class is arranged in the dense smoke portion from the captured image according to the rule of the particle filter, the position information is obtained by tracking each class for each image, and the characteristic upward change caused by smoke is detected. By detecting it, it is possible to reliably determine a fire.

また、撮像された画像には、煙の領域を含めて複数の特徴領域が出現することから、複数の特徴領域にクラスを配置して追跡することで、煙以外の対象物、例えば家具等の画像の特徴領域にクラスが固定配置されても、複数のクラス配置が可能であることから、新たに出現した煙による特徴領域にクラスを配置してその動きを追跡することが可能となる。 Further, since a plurality of characteristic regions including a smoke region appear in the captured image, by arranging and tracking the classes in the plurality of characteristic regions, an object other than smoke, such as furniture, can be displayed. Even if the classes are fixedly arranged in the characteristic region of the image, a plurality of classes can be arranged. Therefore, it is possible to arrange the class in the characteristic region due to newly appearing smoke and track its movement.

（特徴領域の抽出による効果）
また、クラス追跡手段は、撮像手段で撮像された画像毎に、濃度の濃い順に特徴領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴領域を抽出してクラスを配置するようにしたため、煙による複数の特徴領域が抽出された場合に、面積の大きい順または濃度の濃い順にクラスを配置して順番に追跡することで、煙としての特徴が強く表れた特徴領域を優先してその動きを追跡することにより、確実な火災の判断を可能とする。 (Effect of feature area extraction)
In addition, the class tracking means may extract the characteristic regions in order of darkness and arrange the classes for each image captured by the imaging means, or may extract the characteristic regions in order of larger density than a predetermined density and classify the regions. Since multiple feature areas due to smoke are extracted, by placing classes in descending order of area or increasing density, and tracking in order, features that strongly show the characteristics of smoke By prioritizing the area and tracking its movement, it is possible to make a reliable judgment of a fire.

（再配置ラインによる効果）
また、クラス追跡手段は、クラスが監視領域の画像に配置された所定の再配置ラインに達した場合に、再配置ラインに達したクラスを消去して再配置するようにしたため、火災により立上る煙は天井側に達すると横に広がって拡散して行くことから、撮影された画像の天井に近い所定の位置に再配置ラインを配置し、再配置ラインにクラスが到達したら消去して、新たに出現している煙による特徴領域にクラスを再配置して追跡することが可能となり、濃度の濃い煙の部分が上方に移動する動きを繰り返し捉えて火災を判断可能とする。 (Effect of relocation line)
In addition, the class tracking means, when the class reaches a predetermined rearrangement line arranged in the image of the monitoring area, deletes the class reaching the rearrangement line and rearranges it. When smoke reaches the ceiling side, it spreads laterally and diffuses, so place a relocation line at a predetermined position near the ceiling of the captured image, delete it when the class reaches the relocation line, and Classes can be rearranged and tracked in the characteristic region due to the smoke appearing in, and the fire can be determined by repeatedly capturing the upward movement of the dense smoke portion.

（差分画像による効果）
また、クラス追跡手段は、撮像手段で撮像された連続する画像から差分画像を逐次生成し、差分画像毎に、特徴領域を抽出してクラスを配置するようにしたため、固定配置されている家具等の画像が消去され、動きのある領域のみが画像として残ることから、特徴領域の抽出によるクラス分けと、クラス毎にパーティクルフィルタの処理を適用したクラス追跡の処理を簡単にし、処理速度を高めることができる。 (Effect of difference image)
Further, the class tracking means sequentially generates the difference images from the continuous images picked up by the image pickup means, extracts the characteristic region for each difference image, and arranges the classes. Image is deleted and only the moving area remains as an image, so classifying by extracting the characteristic area and class tracking processing applying particle filter processing for each class can be simplified and the processing speed can be increased. You can

（スポット光照射による効果）
また、火災検知装置は、更に、撮像手段で撮像する監視領域に向けて複数のスポット光を照射するスポット光照射手段が設けられ、クラス追跡手段は、撮像手段で撮像された画像毎に、濃度の濃い順に特徴スポット領域を抽出してクラス分けするか、又は、所定濃度以上で面積の大きい順に特徴スポット領域を抽出してクラス分けするようにしたため、撮像手段で撮像した監視領域の画像に散在するスポット光の当たっている領域の画像を抽出して処理すれば良く、画像全体を処理する場合に比べ、処理負担を軽減し、処理時間を短縮可能とする。 (Effect of spot light irradiation)
Further, the fire detection device is further provided with spot light irradiation means for irradiating a plurality of spot lights toward the monitoring area imaged by the image pickup means, and the class tracking means, the density tracking for each image picked up by the image pickup means. The characteristic spot regions are extracted in order of darkness and classified, or the feature spot regions are extracted and classified in order of larger area with a predetermined density or more. It suffices to extract and process the image of the area exposed to the spot light, and the processing load can be reduced and the processing time can be shortened as compared with the case of processing the entire image.

また、スポット光を照射していることから、照明が消えた夜間等であっても、処理対象とするスポット光の当たっている場所の画像は捉えることができ、照明を消した状態であっても、煙による画像の変化から火災を確実に判断可能とする。また消灯した場合、壁面などにスポット光が分散して当るにすぎないことから、消灯状態に与える影響は少ない。 In addition, since the spot light is emitted, even at night when the lighting is off, it is possible to capture an image of the spot where the spot light to be processed is shining, and the light is off. Also, it is possible to reliably judge a fire from the change in the image caused by smoke. Further, when the light is turned off, the spot light only shines on the wall surface or the like, so that it has little influence on the light-off state.

本発明の火災検知装置を設置した監視領域を示した説明図Explanatory drawing showing a monitoring area in which the fire detection device of the present invention is installed 監視カメラで撮像した画像に対する煙による特徴領域の抽出とクラス分けによる追跡を示した説明図Explanatory drawing showing extraction of characteristic regions by smoke and tracking by classification for images captured by a surveillance camera 図２に続く画像の煙による特徴領域の抽出とクラス分けによる追跡を示した説明図FIG. 2 is an explanatory view showing extraction of a characteristic region of an image by smoke and tracking by classification according to FIG. 画像処理装置の機能構成の概略を示したブロック図Block diagram showing the outline of the functional configuration of the image processing apparatus 図４の画像処理装置による煙監視処理を示したフローチャートThe flowchart which showed the smoke monitoring process by the image processing apparatus of FIG. スポット光が照射された監視領域を監視カメラで撮像した画像に対する煙による特徴スポット領域の抽出とクラス分けによる追跡を示した説明図Explanatory drawing showing extraction of a characteristic spot area by smoke and tracking by classification for an image captured by a surveillance camera of a surveillance area irradiated with spot light 図６に続く画像の煙による特徴スポット領域の抽出とクラス分けによる追跡を示した説明図FIG. 6 is an explanatory diagram showing extraction of a characteristic spot area due to smoke in an image and tracking by classification according to FIG. 特徴領域を追跡した場合の時系列な動きを煙と人に分けて示した説明図Explanatory diagram showing the time-series movements for smoke and people when tracing the characteristic region

［火災検知装置の概要］
図１は本発明による火災検知装置を設置した監視領域を透視して示した説明図である。 [Outline of fire detection device]
FIG. 1 is an explanatory view showing a monitoring area in which a fire detection device according to the present invention is installed, as seen through.

図１に示すように、監視領域１８には撮像手段として機能する監視カメラ１０とスポット光照射手段として機能するスポット光照射装置１２が設置され、スポット光照射装置１２から複数のスポット光が監視領域１８にランダムに照射された状態で監視カメラ１０により撮像されている。 As shown in FIG. 1, a monitoring camera 10 that functions as an image pickup unit and a spot light irradiation device 12 that functions as a spot light irradiation unit are installed in the monitoring region 18, and a plurality of spot lights are emitted from the spot light irradiation device 12. The image is picked up by the surveillance camera 10 in a state in which 18 is randomly irradiated.

監視カメラ１０は、上下、左右及び前後に仕切られた監視領域（監視空間）１８の例えば上部コーナの中央に設置され、その撮像光軸１０ａを相対する照射面２２の中心付近に向うように斜め下向きに配置して監視領域１８を全体的に撮像可能としている。 The surveillance camera 10 is installed in the center of, for example, an upper corner of a surveillance area (surveillance space) 18 which is divided into upper, lower, left and right, and front and rear, and the imaging optical axis 10a is obliquely directed toward the vicinity of the center of the facing irradiation surface 22. The monitor area 18 is arranged downward so that the entire area can be imaged.

スポット光照射装置１２は、監視カメラ１０を設置したのと同じ上部コーナに、監視カメラ１０の横に並べて配置され、多数のスポット発光部がランダムに二次元配置され、相対する壁面である照射面２２に向うように斜め下向きにスポット光が照射されている。
Spot light irradiating device 12, the installation was Noto same upper corner of the monitor camera 10, are arranged side by side of the monitoring camera 10, a large number of spot light emitting portion are arranged two-dimensionally at random, the irradiated surface is facing wall Spot light is emitted obliquely downward so as to face 22.

スポット光照射装置１２は、所定の赤外線光波長帯域の赤外線光、例えば波長８２０ナノメートル又は波長９４０ナノメートルの赤外線光を照射する。このためスポット光照射装置１２は、例えばマイクロ集光レンズを備えた複数の赤外線ＬＥＤをマトリクス状に配置し、複数本の赤外線ビーム光を照射する。 The spot light irradiation device 12 irradiates infrared light in a predetermined infrared light wavelength band, for example, infrared light having a wavelength of 820 nanometers or 940 nanometers. For this reason, the spot light irradiation device 12 arranges a plurality of infrared LEDs having, for example, micro condenser lenses in a matrix and irradiates a plurality of infrared beam lights.

また、スポット光照明装置１２の他の例として、照射距離が短くても良い場合には、複数の赤外線ＬＥＤにより発光する面光源の前に、ランダムにスリット穴を形成したスリット板を配置し、複数のスポット光を照射するようにしても良い。 Further, as another example of the spot light illuminating device 12, when the irradiation distance may be short, a slit plate in which slit holes are randomly formed is arranged in front of a surface light source that emits light by a plurality of infrared LEDs. You may make it irradiate several spot light.

これに対応して監視カメラ１０は可視光の波長範囲で撮像感度を有すると共に、スポット光照射装置１２による波長８２０ナノメートル又は波長９４０ナノメートルの赤外線光波長を含む波長範囲に撮像感度を有する撮像素子を使用している。 Correspondingly, the surveillance camera 10 has an imaging sensitivity in the visible light wavelength range and an imaging sensitivity in the wavelength range including the infrared light wavelength of 820 nanometers or 940 nanometers by the spot light irradiation device 12. The element is used.

このようにスポット光照射装置１２により監視領域１８に複数のスポット光を照射した状態で、監視領域１８に置かれたごみ入れ等の火源２４の可燃物が何らかの原因で火災が発生する状況となり、火源２４から煙２５が立ち上る。 As described above, in the state where the spotlight irradiation device 12 irradiates the monitoring area 18 with a plurality of spotlights, a combustible material in the fire source 24 such as a dust container placed in the monitoring area 18 causes a fire for some reason. , Smoke 25 rises from the fire source 24.

監視カメラ１０は、監視領域１８に煙２５が存在した場合に、煙２５にスポット光が当たることで、撮像画面上でスポット光が当たった部分の輝度が変化するスポット像を含む赤外線画像を撮像し、監視カメラ１０で撮像した画像は伝送路を介して管理人室などに設置した画像処理装置１４に伝送され、画像処理によりごみ入れなどの火源２４から立ち上がっている煙２５を検知して火災を判断し、火災検知信号を火災報知設備１６に出力して火災警報を出力させる。 When the smoke 25 is present in the surveillance area 18, the surveillance camera 10 captures an infrared image including a spot image in which the brightness of the portion illuminated by the spot light on the imaging screen changes when the smoke 25 is exposed to the spot light. Then, the image captured by the monitoring camera 10 is transmitted to the image processing device 14 installed in the manager's room or the like via the transmission path, and the smoke 25 rising from the fire source 24 such as the dust container is detected by the image processing. A fire is judged and a fire detection signal is output to the fire alarm equipment 16 to output a fire alarm.

［煙の検出原理］
本実施形態により煙を検知する原理を説明すると次のようになる。図２は監視カメラで撮像した監視領域の画像に対する煙による特徴領域の抽出とクラス分けを示した説明図、図３は図２に続く画像の煙による特徴領域の抽出とクラス分けを示した説明図であり、スポット光を照射しない通常の照明器具による照明のもとに監視空間を撮像した場合を例にとっている。 [Smoke detection principle]
The principle of detecting smoke according to this embodiment will be described below. FIG. 2 is an explanatory diagram showing extraction and classification of characteristic regions by smoke from an image of a monitoring region captured by a surveillance camera, and FIG. 3 is an explanatory diagram showing extraction and classification of characteristic regions by smoke of an image following FIG. It is a figure, and the case where the surveillance space was imaged under the illumination of the usual lighting fixture which does not irradiate spot light is illustrated as an example.

図１に示すように、火災により火源２４から立ち上る煙２５は、煙２５の内部に濃度の濃い領域と濃度の薄い領域があり、濃度の濃い煙の領域が順次出現して上方に移動して行く現象となる。
As shown in FIG. 1, the smoke 25 rising from the fire source 24 due to a fire has a dense region and a thin region inside the smoke 25 , and regions of dense smoke sequentially appear and move upward. It becomes a phenomenon to go.

このような火災による煙を監視カメラ１０で撮像して逐次得られる画像は、例えば所定の閾値濃度以上の領域を抽出すると、例えば図２（Ａ）の画像４８−１に示すように、複数の特徴領域となる５０−１，５０−２，５０−３を抽出することができる。 For example, as shown in image 48-1 of FIG. 2(A), when a region having a predetermined threshold density or higher is extracted, a plurality of images obtained by sequentially capturing the smoke caused by the fire with the monitoring camera 10 are displayed. It is possible to extract 50-1, 50-2, and 50-3 that are characteristic regions.

また、煙による特徴領域の抽出は、濃度閾値を段階的に配置し、濃度閾値の高い順（煙濃度の濃い順）に煙の特徴領域を抽出するようにしても良い。即ち、最も高い濃度閾値を超える特徴領域を抽出し、続いて、抽出した特徴領域をマスクした状態で次に高い濃度閾値を超える特徴領域を配置し、以下、濃度値を下げながら、同じ処理を繰り返せばよい。 Further, in the extraction of the characteristic region by smoke, the density thresholds may be arranged in stages, and the characteristic regions of the smoke may be extracted in the descending order of the density threshold (in the descending order of smoke density). That is, the characteristic region exceeding the highest density threshold value is extracted, then the characteristic region exceeding the next highest density threshold value is arranged with the extracted characteristic region masked, and the same process is performed while decreasing the density value. Just repeat.

ここで、図２（Ａ）の画像４８−１における煙２５の濃度は、画素の輝度から見ると、濃度の濃い部分の輝度が高く、濃度の薄い部分の輝度が低くなる関係にあり、特徴領域の抽出は、所定の濃度閾値に対応した輝度閾値を画素の輝度と比較して抽出することになるが、以下の説明では、煙の輝度を煙の濃度として説明する。 Here, the density of the smoke 25 in the image 48-1 in FIG. 2A has a relationship that the brightness of a portion having a high density is high and the brightness of a portion having a low density is low when viewed from the brightness of pixels. To extract the region, a brightness threshold value corresponding to a predetermined density threshold value is compared and extracted with the pixel brightness. In the following description, smoke brightness is described as smoke density.

また、画素の値は１点の濃度に限らず、その周辺の所定範囲の画素を含めた所定面積をもつ画素領域の濃度を使用しており、これによりノイズに強い処理が可能となる。 Further, the pixel value is not limited to the density of one point, but the density of a pixel area having a predetermined area including pixels in a predetermined range around the pixel value is used, which enables noise-resistant processing.

本実施形態にあっては、画像から抽出された煙の特徴領域に対しパーティクルフィルタ（粒子フィルタ）による処理手順を適用することで、煙の特徴領域を追跡する。 In the present embodiment, the smoke characteristic region is tracked by applying the processing procedure of the particle filter (particle filter) to the smoke characteristic region extracted from the image.

パーティクルフィルタは、ＲＧＢの三次元色空間等においてパーティクルとターゲットの三次元距離による重みづけにより観測点であるパーティクルの消滅・生成を制御して物体を追跡するものである。 The particle filter controls the disappearance/generation of particles, which are observation points, by tracking the object by weighting the particles and the target by the three-dimensional distance in the RGB three-dimensional color space or the like.

ここで、パーティクルフィルタによるターゲットの追跡は、１つのターゲットに収束しやくす、１つのターゲットしか追跡できない場合が多いため、本実施形態にあっては、複数のクラスを用意し、ターゲットとなる複数の煙の特徴領域を追跡できるようにしている。 Here, in tracking the target by the particle filter, it is easy to converge to one target, and in many cases only one target can be tracked. Therefore, in the present embodiment, a plurality of classes are prepared and a plurality of targets are used. It is possible to trace the characteristic area of the smoke.

例えば、配置可能なクラス数を５クラスとした場合、図２（Ａ）に示す画像４８−１について抽出した煙の特徴領域５０−１〜５０−３をターゲットとして、例えば面積の大きい順にクラスＣ１，Ｃ２，Ｃ３を配置するクラス分けを行う。また、図２（Ａ）の画像には、監視領域に設置された家具５２が映っており、家具５２の中にも濃度閾値以上の特徴領域５０−４が存在していることから、クラスＣ４を配置している。 For example, when the number of classes that can be arranged is 5, the target is the smoke characteristic regions 50-1 to 50-3 extracted from the image 48-1 shown in FIG. , C2, C3 are arranged. Further, in the image of FIG. 2A, the furniture 52 installed in the monitoring area is reflected, and the characteristic area 50-4 having the density threshold or more is also present in the furniture 52. Are arranged.

また、煙による特徴領域の特徴として画像上部へ移動することが挙げられるため、画像上部の所定位置に再配置ライン５４が配置され、任意のクラスが再配置ライン５４に達した場合、そのクラスの処理を終了（リセット）させ、新たに抽出された特徴領域に、消去したクラスを再配置させる。 Further, since it is possible to move to the upper part of the image as a feature of the characteristic region due to smoke, when the rearrangement line 54 is arranged at a predetermined position on the upper part of the image and an arbitrary class reaches the rearrangement line 54, The process is ended (reset), and the deleted class is rearranged in the newly extracted characteristic region.

パーティクルフィルタによりクラスが配置された煙の特徴領域（ターゲット）の追跡は、例えば図２及び図３の画像４８−１〜４８−４に示すようになる。 The smoke characteristic region (target) in which the classes are arranged by the particle filter is traced as shown in images 48-1 to 48-4 in FIGS. 2 and 3, for example.

図２（Ａ）の画像４８−１は、所定濃度を超える煙の特徴領域５０−１〜５０−３にクラスＣ１〜Ｃ３が配置され、家具５２の特徴領域５０−４にクラスＣ４が配置されている。 In the image 48-1 of FIG. 2A, the classes C1 to C3 are arranged in the characteristic regions 50-1 to 50-3 of smoke exceeding a predetermined density, and the class C4 is arranged in the characteristic region 50-4 of the furniture 52. ing.

この画像４８−１のクラスＣ１〜Ｃ４毎に、図２（Ｂ）に示す画像４８−２を観測結果として、パーティクルフィルタによる予測、観測及びリサンプリングの処理を行うと、図２（Ｂ）の次の画像４８−２に示すクラスＣ１〜Ｃ４が生成される。ここで、クラスＣ１〜Ｃ３は煙の特徴領域であることから上方に移動しており、一方、クラスＣ４は家具５２の特徴領域であることから動くことはなく、更に、新たな特徴領域５０−５が抽出されてクラスＣ５が配置されている。 For each of the classes C1 to C4 of this image 48-1, when the image 48-2 shown in FIG. 2B is used as the observation result and the prediction, observation, and resampling processing by the particle filter is performed, The classes C1 to C4 shown in the next image 48-2 are generated. Here, the classes C1 to C3 move upward because they are the characteristic regions of smoke, while the class C4 does not move because they are the characteristic regions of the furniture 52, and a new characteristic region 50- 5 is extracted and the class C5 is arranged.

なお、パーティクルフィルタの処理で、クラスＣ１の処理が終了した場合、画像４８−１，４８−２におけるクラスＣ１の領域をマスクして処理対象から外すことで、クラスＣ２の処理における画素を低減して処理速度を高めるようしても良い。この処理済みのクラス領域のマスキングは残りのクラスＣ３，Ｃ４，Ｃ５についても同様である。 When the processing of class C1 is completed in the processing of the particle filter, the pixels of the processing of class C2 are reduced by masking the areas of class C1 in the images 48-1 and 48-2 to exclude them from the processing target. Alternatively, the processing speed may be increased. The masking of the processed class area is the same for the remaining classes C3, C4 and C5.

図３（Ｃ）は画像４８−２に続く次の画像４８−３であり、煙の特徴領域に配置されたクラスＣ１〜Ｃ３，Ｃ５は更に上方に移動し、クラスＣ１は再配置ライン５４の直前にある。また、新たな煙の特徴領域５０−６が抽出されているが、５つのクラスＣ１〜Ｃ５は配置済みとなっているため、クラスの配置は行われない。 FIG. 3C is an image 48-3 next to the image 48-2, in which the classes C1 to C3 and C5 arranged in the smoke characteristic region move further upward, and the class C1 includes the rearrangement line 54. Just before. Further, although a new smoke characteristic region 50-6 has been extracted, the five classes C1 to C5 have already been arranged, so that the classes are not arranged.

図３（Ｄ）は画像４８−３に続く次の画像４８−４であり、クラスＣ１は再配置ライン５４に達したことからクラスＣ１の配置がリセットされることで追跡対象から外され、未配置となっていた煙の特徴領域５０−６にクラスＣ１が再配置され、その追跡が開始される。また、新たな煙の特徴領域５０−７が抽出されているが、５つのクラスＣ１〜Ｃ５は配置済みとなっているため、クラスの配置は行われない。 FIG. 3D is the next image 48-4 subsequent to the image 48-3, in which the class C1 is removed from the tracking target by resetting the placement of the class C1 because the relocation line 54 is reached, and The class C1 is rearranged in the smoke characteristic area 50-6 that has been arranged, and the tracking thereof is started. Further, although a new smoke characteristic region 50-7 has been extracted, since the five classes C1 to C5 have already been arranged, the classes are not arranged.

このような図２乃至図３に示すクラスＣ１〜Ｃ５の追跡において、画像４８−１〜４８−４におけるクラスＣ１〜Ｃ５の位置、例えば領域重心位置が検出され、時系列的にメモリに記憶される。 In the tracking of the classes C1 to C5 shown in FIGS. 2 to 3, the positions of the classes C1 to C5 in the images 48-1 to 48-4, for example, the position of the center of gravity of the area are detected and stored in the memory in time series. It

このためメモリに記憶されたクラスＣ１〜Ｃ５の検出位置の時系列変化から、煙による特徴的な変化であるクラスＣ１〜Ｃ３，Ｃ５の上方に移動する変化を検知することにより、火災を判断することができる。これに対しクラスＣ４は移動することなく固定された時系列変化であることから、煙による特徴的な変化は検知されず、火災と判断されることはない。 For this reason, a fire is determined by detecting, from the time-series changes in the detection positions of the classes C1 to C5 stored in the memory, the changes that are characteristic changes due to smoke, which are moving upwards of the classes C1 to C3 and C5. be able to. On the other hand, since the class C4 is a fixed time series change without moving, a characteristic change due to smoke is not detected and is not judged to be a fire.

［火災検知装置］
（火災検知装置の機能構成）
図４は本発明による火災検知装置の機能構成の概略を示したブロック図である。図４に示すように、火災検知装置は、監視カメラ１０、スポット光照射装置１２及び画像処理装置１４で構成される。 [Fire detector]
(Functional configuration of fire detection device)
FIG. 4 is a block diagram showing an outline of a functional configuration of the fire detection device according to the present invention. As shown in FIG. 4, the fire detection device includes a surveillance camera 10, a spot light irradiation device 12, and an image processing device 14.

画像処理装置１４は、そのハードウェアとしてＣＰＵ、メモリ、各種の入出力ポート等を備えたコンピュータ回路等で構成され、ＣＰＵによるプログラムの実行により実現される機能として、制御部２６、クラス追跡手段として機能するクラス追跡部３２、火災判断手段として機能する火災判断部３４が設けられる。また、火災を判断した場合に警報を報知するため警報表示部４０と音響警報部４２が設けられている。 The image processing device 14 is composed of a CPU, a memory, a computer circuit having various input/output ports and the like as its hardware, and has a function realized by the execution of a program by the CPU, and a controller 26 and a class tracking means. A class tracking unit 32 that functions and a fire determination unit 34 that functions as a fire determination unit are provided. Further, an alarm display unit 40 and an acoustic alarm unit 42 are provided to notify an alarm when a fire is judged.

伝送部３０は監視カメラ１０で撮像した画像データを受信する適宜の伝送インタフェースが使用され、照射駆動部２８はスポット光照射装置１２を点灯駆動させる。制御部２６は、監視カメラ１０、スポット光照射装置１２及び画像処理装置１４に設けた各機能の全体的な制御を行う。 The transmission unit 30 uses an appropriate transmission interface that receives image data captured by the surveillance camera 10, and the irradiation drive unit 28 drives the spot light irradiation device 12 to light. The control unit 26 performs overall control of each function provided in the surveillance camera 10, the spot light irradiation device 12, and the image processing device 14.

制御部２６によるスポット光照射装置１２の制御は、運用中に連続して点灯駆動を原則とするが、例えば無人となる時間帯をタイマ設定により決めて点灯駆動しても良い。 The control of the spot light irradiation device 12 by the control unit 26 is basically a continuous lighting drive during operation, but for example, an unmanned time zone may be determined by a timer setting to drive the lighting.

また、制御部２６によるスポット光照射装置１２の他の制御として、監視空間の照度を照度計で測定するか、又は、監視カメラ１０で撮像した画像の総輝度を測定などして、室内の明るさを監視し、照度が低下した場合、又は画像の輝度が所定閾値以下となった場合に、スポット光照射装置１２を駆動するようにしても良い。 Further, as another control of the spot light irradiation device 12 by the control unit 26, the illuminance in the monitoring space is measured by an illuminometer, or the total brightness of the image captured by the monitoring camera 10 is measured to determine the indoor brightness. The spot light irradiation device 12 may be driven when the illuminance is reduced or when the brightness of the image is equal to or lower than a predetermined threshold.

また、スポット光照射装置１２によるスポット光照射は、パルス的に駆動(照射)し、これに同期して監視カメラ１０により画像を撮像するようにしても良い。 Further, the spot light irradiation by the spot light irradiation device 12 may be driven (irradiated) in a pulsed manner, and an image may be captured by the monitoring camera 10 in synchronization with this.

撮像手段として機能する監視カメラ１０は、制御部２６からの指示を受けて動作し、伝送部３０の伝送制御により動画像データとして、例えば毎秒３０フレームとなる監視領域の画像データを伝送し、画像処理装置１４に設けられた図示しないメモリに記憶する。 The surveillance camera 10 functioning as an image pickup unit operates in response to an instruction from the control unit 26, and transmits image data of a surveillance area of 30 frames per second as moving image data under the transmission control of the transmission unit 30. The data is stored in a memory (not shown) provided in the processing device 14.

クラス追跡部３２は、所定の規則に従い複数の観測点をばら撒いて収束させることによりクラスを生成し、生成されたクラスを追跡することによりクラス位置情報を検出する機能を備える。 The class tracking unit 32 has a function of generating a class by scattering and converging a plurality of observation points according to a predetermined rule, and detecting the class position information by tracking the generated class.

本実施形態においてクラス追跡部３２は、メモリに記憶された画像を順番に読出し、所定の濃度閾値以上となる特徴領域を抽出し、例えば面積の大きい順にパーティクルフィルタによる処理対象となるクラスを順次配置する。クラス追跡部３２により生成されるクラス数は、所定の最大クラス数は予め決められている。また、クラス追跡部３２はメモリに記憶された画像を対象に、複数の濃度閾値を設定し、濃度閾値の高い順に特徴領域を抽出してクラスを配置しても良い。 In the present embodiment, the class tracking unit 32 sequentially reads the images stored in the memory, extracts characteristic regions having a predetermined density threshold or more, and sequentially arranges classes to be processed by the particle filter in descending order of area, for example. To do. As for the number of classes generated by the class tracking unit 32, a predetermined maximum number of classes is predetermined. Further, the class tracking unit 32 may set a plurality of density thresholds for the image stored in the memory, extract characteristic regions in the descending order of the density thresholds, and arrange the classes.

続いて、クラス追跡部３２は、特徴領域のクラス毎に、パーティクルフィルタのアルゴリズムによる予測、観測、リサンプリングを繰り返し、画像毎に各クラスの位置を示す位置情報を検出してメモリに時系列データとして記憶させる。 Subsequently, the class tracking unit 32 repeats prediction, observation, and resampling by a particle filter algorithm for each class of the characteristic region, detects position information indicating the position of each class for each image, and stores the time-series data in the memory. Memorize as.

火災判断部３４は、クラス追跡部３２により煙判断に十分な数の追跡軌跡を示す時系列位置情報が得られた場合、煙による特徴的な変化である上方へ移動する変化を検知した場合に火災と判断し、火災検出信号を図１に示した火災報知設備に出力して火災警報を行わせる。 When the class determination unit 32 obtains the time-series position information indicating a sufficient number of tracking trajectories for smoke determination, the fire determination unit 34 detects an upward movement that is a characteristic change due to smoke. It is judged that there is a fire, and the fire detection signal is output to the fire alarm equipment shown in FIG.

（火災検知処理）
図５は図４の画像処理装置による煙監視処理を示したフローチャートである。図５に示すように、画像処理装置１４の制御部２６は、ステップＳ１で伝送部３０により受信されてメモリに記憶された画像データをクラス追跡部３２に読み込ませる。 (Fire detection processing)
FIG. 5 is a flowchart showing smoke monitoring processing by the image processing apparatus of FIG. As shown in FIG. 5, the control unit 26 of the image processing device 14 causes the class tracking unit 32 to read the image data received by the transmission unit 30 and stored in the memory in step S1.

続いて制御部２６はステップＳ２に進み、クラス追跡部３２に指示して読み込まれた画像を対象に、所定の濃度閾値以上となる特徴領域を抽出して面積の大きい順にパーティクルフィルタの処理対象となるクラスを配置させるか、又は、濃度に対応した輝度閾値を段階的に設定して輝度の高い順に特徴領域を抽出し、輝度の高い順に所定数のパーティクルフィルタによる処理対象となるクラスを配置させる。 Subsequently, the control unit 26 proceeds to step S2, extracts characteristic regions having a predetermined density threshold or more from the image read by instructing the class tracking unit 32, and selects the target regions for particle filter processing in descending order of area. Or classify the classes to be processed by a predetermined number of particle filters in descending order of brightness by setting the brightness threshold corresponding to the density stepwise and extracting the feature areas in descending order of brightness. ..

続いてステップＳ３に進み、制御部２６は、特徴領域に配置されたクラスが再配置ラインに達したか否か判別し、再配置ラインに達した場合はステップＳ４に進み、再配置ラインに達したクラスをリセットし、リセットされたクラスを未配置の特徴領域に再配置し、ステップＳ５に進む。また、制御部２６は、ステップＳ３でクラスが再配置ラインに達していない場合はステップＳ５に進む。 Subsequently, in step S3, the control unit 26 determines whether or not the class arranged in the characteristic region has reached the rearrangement line. When the class has reached the rearrangement line, the control unit 26 proceeds to step S4 and reaches the rearrangement line. The reset class is reset, the reset class is rearranged in an unarranged feature region, and the process proceeds to step S5. If the class has not reached the rearrangement line in step S3, the control unit 26 proceeds to step S5.

ステップＳ５にあっては、制御部２６はクラス追跡部３２に指示し、特徴領域のクラス毎に、次画面を観測結果として読み込んだ状態で、パーティクルフィルタのアルゴリズムによる予測、観測、リサンプリングを繰り返し、次画面の各クラスの位置を示す位置情報を検出してメモリに時系列データとして記憶させる。 In step S5, the control unit 26 instructs the class tracking unit 32 to repeat the prediction, the observation, and the resampling by the algorithm of the particle filter with the next screen read as the observation result for each class of the characteristic region. The position information indicating the position of each class on the next screen is detected and stored in the memory as time series data.

続いてステップＳ６に進み、制御部２６は火災判断部３４に指示し、クラス追跡部３２により煙判断に十分な数の移動軌跡を示す時系列位置情報が得られた場合、煙による特徴的な変化である上方へ移動する変化の有無を判断し、上方へ移動する変化を検知した場合にステップＳ７で火災と判断し、ステップＳ８で火災検出信号を外部の火災報知設備に出力して火災警報を行わせる。 Subsequently, in step S6, the control unit 26 instructs the fire determination unit 34, and when the class tracking unit 32 obtains time-series position information indicating a sufficient number of movement trajectories for smoke determination, the smoke characteristic If there is a change that moves upward, which is a change, and if a change that moves upward is detected, it is determined that there is a fire in step S7, and in step S8 a fire detection signal is output to an external fire alarm facility to output a fire alarm. To do.

（スポット領域の画像を対象とした追跡処理）
図６はスポット光が照射された監視領域を監視カメラで撮像した画像に対する煙の特徴スポット領域の抽出とクラス分けによる追跡を示した説明図、図７は図６に続く画像の煙による特徴スポット領域の抽出とクラス分けによる追跡を示した説明図である。 (Tracking processing for the image of the spot area)
FIG. 6 is an explanatory view showing extraction of a characteristic spot area of smoke from an image captured by a surveillance camera of a surveillance area irradiated with spotlight and tracking by classification, and FIG. 7 is a characteristic spot due to smoke of the image following FIG. It is explanatory drawing which showed the extraction by area|region and the tracking by classification.

図６（Ａ）に示すように、図１に示した監視カメラ１０で撮像された画像４８−１０の煙２５の領域には、スポット光照射装置１２から照射されたスポット像が映されている。なお、煙２５以外の領域にもスポット像が存在するが、省略している。 As shown in FIG. 6(A), the spot image emitted from the spot light irradiating device 12 is displayed in the smoke 25 area of the image 48-10 taken by the surveillance camera 10 shown in FIG. .. A spot image also exists in the area other than the smoke 25, but it is omitted.

このような画像４８−１０について、濃度の濃い煙の特徴領域５０−１〜５０−３に位置している光スポット領域（光スポット像）における所定の濃度閾値以上の画素数が所定数を超えた場合、或いは画素の積分値が所定値を超えた場合に、煙の特徴スポット領域として抽出され、それぞれの特徴スポット領域に、例えば濃度の濃い順にクラスＣ１，Ｃ２，Ｃ３が配置されるクラス分けが行われる。 In such an image 48-10, the number of pixels having a predetermined density threshold value or more in the light spot areas (light spot images) located in the characteristic areas 50-1 to 50-3 of dense smoke exceeds the predetermined number. When the pixel integration value exceeds a predetermined value, the smoke is extracted as a characteristic spot area, and classes C1, C2, and C3 are arranged in the characteristic spot areas, for example, in order of increasing density. Is done.

また、図６（Ａ）の画像４８−１０には、監視領域に設置された家具５２が映っており、家具５２の中にも、輝度が閾値輝度以上の特徴領域５０−４が存在していることから、特徴領域５０−４の中の特徴スポット領域に、クラスＣ４が配置される。
Further, in the image 48-10 of FIG. 6A, the furniture 52 installed in the monitoring area is reflected, and in the furniture 52, the characteristic area 50-4 whose brightness is equal to or higher than the threshold brightness exists. since you are, the feature spot region in the characteristic region 50 -4, class C4 is arranged.

なお、スポット像を小さくして多数照射した場合には、特徴領域５０−１〜５０−４の中に複数のスポット領域が存在し、例えば濃度の濃い順にクラスが配置されることになる。 When a spot image is made small and a large number of spots are irradiated, a plurality of spot regions exist in the characteristic regions 50-1 to 50-4, and, for example, classes are arranged in order of darkness.

図４に示したクラス追跡部３２の処理としては、例えば配置可能な最大クラス数を４クラスとすると、図６（Ｂ）に示すように、画面４８−１０に映っている全てのスポット像の領域を対象に、例えば濃度の高い順に濃度閾値を段階的に設定して特徴スポット領域を抽出し例えばクラスＣ１〜Ｃ４が配置される。 As the processing of the class tracking unit 32 shown in FIG. 4, assuming that the maximum number of classes that can be arranged is four classes, as shown in FIG. 6B, all the spot images shown in the screen 48-10 are displayed. For example, classes C1 to C4 are arranged by extracting characteristic spot areas by setting density thresholds stepwise in descending order of density, for areas.

図６（Ｂ）のように、パーティクルフィルタのクラスが配置された煙の特徴スポット領域（ターゲット）の追跡は、図６（Ｂ）及び図７（Ｃ）（Ｄ）の画像４８−１０〜４８−１２に示すようになる。 As shown in FIG. 6B, the characteristic spot area (target) of smoke in which the class of the particle filter is arranged is tracked by the images 48-10 to 48 of FIGS. 6B and 7C. It becomes as shown in -12.

図６（Ｂ）の画像４８−１０は、図６（Ａ）における煙の特徴スポット領域５０−１〜５０−３にクラスＣ１〜Ｃ３が配置され、図６（Ａ）における家具５２の特徴スポット領域５０−４にクラスＣ４が配置されている。 In the image 48-10 of FIG. 6B, the classes C1 to C3 are arranged in the characteristic spot areas 50-1 to 50-3 of smoke in FIG. 6A, and the characteristic spot of the furniture 52 in FIG. The class C4 is arranged in the area 50-4.

この画像４８−１０のクラスＣ１〜Ｃ４毎に、図７（Ｃ）に示す次の画像４８−１１を観測結果として、パーティクルフィルタによる予測、観測及びリサンプリングの処理を行うと、図７（Ｃ）に示す次の画像４８−１１にはクラスＣ１〜Ｃ４が配置される。ここで、クラスＣ１〜Ｃ３は煙の特徴スポット領域であることから図６（Ｂ）のクラスＣ１〜Ｃ３に対し上方に移動しており、一方、クラスＣ４は家具５２の特徴領域であることから動くことはない。 For each of the classes C1 to C4 of this image 48-10, the following image 48-11 shown in FIG. 7C is used as the observation result, and the prediction, observation, and resampling processing by the particle filter are performed. ) Classes C1 to C4 are arranged in the next image 48-11 shown in FIG. Here, since the classes C1 to C3 are characteristic spot areas of smoke, the classes C1 to C3 have moved upward relative to the classes C1 to C3 in FIG. 6B, while the class C4 is a characteristic area of the furniture 52. It does not move.

図７（Ｄ）は図７（Ｃ）の画像４８−１１に続く次の画像４８−１２であり、煙の特徴スポット領域に配置されたクラスＣ１〜Ｃ３は更に上方に移動し、クラスＣ１は再配置ライン５４を超えたことからリセットされて追跡対象から外され、未配置となっていた煙の特徴領域５０−５の中の特徴スポット領域にクラスＣ１が再配置され、その追跡が開始される。 FIG. 7D is the next image 48-12 following the image 48-11 of FIG. 7C, in which the classes C1 to C3 arranged in the smoke characteristic spot region move further upward, and the class C1 is The class C1 is relocated to the feature spot area in the smoke feature area 50-5 which has been reset due to exceeding the relocation line 54 and removed from the tracking target, and the tracking is started. It

このような図６（Ｂ）乃至図７（Ｃ）（Ｄ）に示すクラスＣ１〜Ｃ４の追跡において、画像４８−１０〜４８−１２におけるクラスＣ１〜Ｃ４の特徴スポット領域の位置として、例えば領域中心位置が検出され、時系列的にメモリに記憶される。 In the tracking of the classes C1 to C4 shown in FIGS. 6(B) to 7(C) and (D), the position of the characteristic spot area of the classes C1 to C4 in the images 48-10 to 48-12 is, for example, the area. The center position is detected and stored in the memory in time series.

このためメモリに記憶されたクラスＣ１〜Ｃ４の検出位置の時系列変化から、煙による特徴的な変化である上方に移動するクラスＣ１〜Ｃ３の変化を検知することにより、火災を判断することができる。これに対しクラスＣ４は移動することなく固定された時系列変化であることから、煙による特徴的な変化は検知されず、火災と判断されることはない。 Therefore, it is possible to judge a fire by detecting the change in the upward moving classes C1 to C3, which is a characteristic change due to smoke, from the time series change in the detection positions of the classes C1 to C4 stored in the memory. it can. On the other hand, since the class C4 is a fixed time series change without moving, a characteristic change due to smoke is not detected and is not judged to be a fire.

また、本実施形態にあっては、監視カメラ１０で撮像した監視領域の画像に散在するスポット光の当たっている領域の画像を抽出して処理すれば良く、画像全体を処理する場合に比べ、処理負担を軽減し、処理時間を短縮可能とする。 Further, in the present embodiment, it is only necessary to extract and process an image of a region where spot light scattered in the image of the monitoring region captured by the monitoring camera 10 is processed, as compared with the case where the entire image is processed. The processing load can be reduced and the processing time can be shortened.

図８はパーティクルフィルタにより画像の特徴スポット領域にクラスを配置して追跡した場合の時系列な動きを煙と人に分けて示した説明図であり、図８（Ａ）が煙を示し、図８（Ｂ）が人を示している。 FIG. 8 is an explanatory diagram showing the time-series movements when smoke is divided into smoke and humans when a class is arranged and tracked in a characteristic spot area of an image by a particle filter, and FIG. 8A shows smoke. 8(B) shows a person.

図８（Ａ）は煙の場合であり、煙による３つの特徴スポット領域に配置された３クラスの追跡結果を示しており、いずれも時間の経過に伴って上方に移動する煙による特徴的な時系列変化となっている。これに対し図８（Ｂ）に示す人の場合は、例えば、人の顔が特徴スポット領域として抽出されてクラスが配置され、人のランダムな動きに対応した追跡軌跡となる。また、人の背丈を超える動きはないことから、人に配置されたクラスの追跡軌跡は、所定の高さ以下に収まっている。このように人に配置されたクラスの軌跡は、時間の経過に伴って上方に移動する煙による特徴的な時系列変化とはならず、誤って火災と判断されることはない。 FIG. 8A shows the case of smoke, and shows the tracking results of the three classes arranged in the three characteristic spot areas due to smoke, and all of them are characteristic of smoke that moves upward with time. It has changed over time. On the other hand, in the case of the person shown in FIG. 8B, for example, the face of the person is extracted as the characteristic spot area, the classes are arranged, and the tracking locus corresponds to the random movement of the person. Further, since there is no movement that exceeds the height of the person, the tracking locus of the class placed on the person is within a predetermined height or less. In this way, the trajectory of the class assigned to the person does not become a characteristic time-series change due to smoke moving upward with the passage of time, and is not erroneously determined to be a fire.

〔本発明の変形例〕
（監視領域）
図１及び図４に示した実施形態は、監視領域にスポット光照射装置からスポット光を照射して監視カメラで画像を撮像しているが、これに限定されない。例えば、スポット光を照射することなく、照明設備により照明されている監視領域の画像を監視カメラで撮像して処理しても良い。 [Modification of the present invention]
(Monitoring area)
In the embodiments shown in FIGS. 1 and 4, the spot light irradiating device irradiates the spot light onto the surveillance region and the surveillance camera captures an image, but the embodiment is not limited thereto. For example, the image of the monitoring area illuminated by the lighting equipment may be captured and processed by the monitoring camera without irradiating the spot light.

（差分画像）
また、図４の実施形態にあっては、監視カメラ１０で撮像された画像に対しクラス追跡部３２により特徴領域を抽出してクラス分けしているが、これに限定されない。例えば、連続する画像から差分画像を逐次生成する前処理を行い、クラス追跡部３２により差分画像から特徴領域を抽出してクラス分けし、クラス追跡部３２によりパーティクルフィルタの処理を適用して追跡するようにしても良い。
(Difference image)
Further, in the embodiment of FIG. 4, the characteristic region is extracted from the image captured by the surveillance camera 10 by the class tracking unit 32 and classified into classes, but the invention is not limited to this. For example, pre-processing for sequentially generating difference images from continuous images is performed, a feature area is extracted from the difference image by the class tracking unit 32 and classified into classes, and the class tracking unit 32 applies a particle filter process to perform tracking. You may do it.

このように差分画像を生成することで、固定配置されている家具等の画像が消去され、動きのある領域のみが画像として残ることから、特徴領域の抽出によるクラス分けと、クラス毎にパーティクルフィルタの処理を適用したクラス追跡の処理を簡単にし、処理速度を高めることができる。 By generating the difference image in this way, the image of furniture or the like that is fixedly arranged is erased, and only the area with movement remains as an image. Therefore, classification by feature area extraction and particle filter for each class are performed. It is possible to simplify the process of class tracking to which the process of is applied and increase the processing speed.

更に、画像の前処理としては差分画像の生成に限定されず、特徴領域の抽出に寄与する所定の前処理、例えば注目画素の濃度を周辺画素の濃度により重み付けするといった処理等を行うようにしても良い。 Further, the preprocessing of the image is not limited to the generation of the difference image, and a predetermined preprocessing that contributes to the extraction of the characteristic region, for example, a process of weighting the density of the pixel of interest with the density of the peripheral pixels, etc. may be performed. Is also good.

(複数台設置)
上記の実施形態は、監視カメラ１台に対しスポット光照射装置を１台設置して照射装置を１台設置しているが、これに限定されない。例えば、スポット光照射装置を複数台設置してしても良い。これにより１台の照射装置ではカバーできない広いエリアを複数台のスポット光照射装置を設置してカバーできる。この場合、監視カメラは広角タイプとするか、自動旋回動作を行うことで広いエリアを監視できる。また、スポット光照射装置１台に対して監視カメラを複数台設置しても良い。 (Multiple units installed)
In the above embodiment, one spot light irradiation device and one irradiation device are installed for one surveillance camera, but the present invention is not limited to this. For example, a plurality of spot light irradiation devices may be installed. This allows a plurality of spot light irradiation devices to be installed to cover a large area that cannot be covered by one irradiation device. In this case, the surveillance camera can be of a wide-angle type or can monitor a wide area by performing an automatic turning operation. Further, a plurality of surveillance cameras may be installed for one spot light irradiation device.

（スポット光照射装置）
上記の実施形態は、スポット光照射装置から赤外線光波長のスポット光を照射する場合を例にとっているが、これに限定されず、例えば可視光のスポット光を照射するようにしても良い。 (Spot light irradiation device)
Although the above-described embodiment exemplifies the case of irradiating the spot light of the infrared light wavelength from the spot light irradiating device, the present invention is not limited to this, and the spot light of the visible light may be irradiated.

また、スポット光照射装置は、特定の方向に複数のスポット光を照射するものに限定されず、例えば球体面にスポット孔を開口し、内部の光源からの光を３６０°方向に照射するようにしても良い。この場合には監視カメラを複数台設置するか、ドーム型の視野をもつ全方位監視カメラを設置して監視することも可能である。 Further, the spot light irradiating device is not limited to one that irradiates a plurality of spot lights in a specific direction, and for example, a spot hole is opened in a spherical surface so that light from an internal light source is irradiated in a 360° direction. May be. In this case, it is possible to install a plurality of surveillance cameras or install an omnidirectional surveillance camera having a dome-shaped field of view for monitoring.

（火災検知）
また、上記の実施形態は、煙による特徴的な時系列変化として、パーティクルフィルタにより特徴領域にクラスを配置して追跡しているが、これに限定されず、これ以外の適宜のフィルタ処理により、煙による特徴的な時系列変化を追跡して火災を判断するようにしても良い。 (Fire detection)
Further, in the above embodiment, as a characteristic time-series change due to smoke, the class is arranged and tracked in the characteristic region by the particle filter, but the present invention is not limited to this, and by an appropriate filtering process other than this, The fire may be determined by tracking the characteristic time series change due to smoke.

例えば、ミーンシフトクラスタリングを用いることができる。ミーンシフトクラスタリングは、ある複数の観測点と複数のウィンドウをばら撒き、ウィンドウ内に観測点が存在する場合、観測点（複数可）の重心位置（ｍｅａｍ：ミーン）にウィンドウを移動（ｓｈｉｆｔ：シフト）させる処理であり、ウィンドウの大きさによって収束するクラスが異なる。 For example, mean shift clustering can be used. Mean shift clustering scatters a certain plurality of observation points and a plurality of windows, and when an observation point exists in the window, the window is moved to the center of gravity (mean: mean) of the observation point(s) (shift: shift). ) Processing, the class that converges depends on the size of the window.

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。 (Other)
Further, the present invention is not limited to the above-described embodiments, includes appropriate modifications that do not impair the objects and advantages thereof, and is not limited by the numerical values shown in the above-described embodiments.

１０：監視カメラ
１０ａ：撮像光軸
１２：スポット光照射装置
１４：画像処理装置
１６：火災報知設備
１８：監視領域
２０：スポット像
２２：照射面
２４：火源
２５：煙
２６：制御部
２８：照射駆動部
３０：伝送部
３２：クラス追跡部
３４：火災判断部
４０：警報表示部
４２：音響警報部
４８−１〜４８−４，４８−１０〜４８−１２：画像
５０−１〜５０−７：特徴領域
５２：家具
５４：再配置ライン
10: surveillance camera 10a: imaging optical axis 12: spot light irradiation device 14: image processing device 16: fire alarm equipment 18: monitoring area 20: spot image 22: irradiation surface 24: fire source 25: smoke 26: control unit 28: Irradiation drive unit 30: transmission unit 32: class tracking unit 34: fire determination unit 40: alarm display unit 42: acoustic alarm units 48-1 to 48-4, 48-10 to 48-12: images 50-1 to 50- 7 : characteristic area 52: furniture 54: rearrangement line

Claims (10)

監視領域の画像を逐次撮像する撮像手段と、
前記撮像手段で撮像された画像毎に、所定の規則に従い複数の観測点をばら撒いて収束させることによりクラスを生成して配置し、前記クラスを追跡してクラス位置情報を検出するクラス追跡手段と、
前記クラス追跡手段で検出された前記クラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段と、
を備え、
前記クラス追跡手段は、前記クラスが前記監視領域の画像に設定された所定の再配置ラインに達した場合に、前記再配置ラインに達した前記クラスを消去して再配置することを特徴とする火災検知装置。
An image pickup means for sequentially picking up images of the monitoring area
Class tracking means for generating and arranging a class by scattering and converging a plurality of observation points according to a predetermined rule for each image captured by the imaging means, and tracking the class to detect class position information When,
Fire judging means for judging a fire by detecting a characteristic predetermined change due to smoke from a time series change of the class position information detected by the class tracking means,
Equipped with
When the class reaches a predetermined rearrangement line set in the image of the monitoring area, the class tracking unit erases and rearranges the class that has reached the rearrangement line. Fire detection device.
請求項１記載の火災検知装置に於いて、前記クラス追跡手段は、前記撮像手段で撮像された画像毎に、濃度の濃い順に特徴領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴領域を抽出してクラスを配置することを特徴とする火災検知装置。
The fire detection device according to claim 1, wherein the class tracking means extracts characteristic regions in order of darkness of each image picked up by the image pickup means and arranges the classes, or a predetermined density or more. A fire detection device characterized by extracting characteristic regions in descending order of area and arranging classes.
請求項１記載の火災検知装置に於いて、前記クラス追跡手段は、前記撮像手段で撮像された連続する画像から差分画像を逐次生成し、前記差分画像毎に、特徴領域を抽出してクラスを配置することを特徴とする火災検知装置。
2. The fire detection device according to claim 1, wherein the class tracking unit sequentially generates a difference image from the continuous images picked up by the image pickup unit, and extracts a characteristic region for each difference image to classify the class. Fire detection device characterized by being placed.
監視領域に向けて複数のスポット光を照射するスポット光照射手段と、
前記複数のスポット光が照射された前記監視領域の画像を逐次撮像する撮像手段と、
前記撮像手段で撮像された前記画像毎に、濃度の濃い順に特徴スポット領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴スポット領域を抽出してクラスを配置し、前記クラスを追跡してクラス位置情報を検出するクラス追跡手段と、
前記クラス追跡手段で検出された前記クラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する火災判断手段と、
を備えたことを特徴とする火災検知装置。
A spot light irradiating means for irradiating a plurality of spot light towards the surveillance area,
An image capturing unit that sequentially captures images of the monitoring area irradiated with the plurality of spot lights,
For each of the images picked up by the image pickup means, characteristic spot regions are extracted in the order of darkness and the classes are arranged, or characteristic spot regions are extracted in order of the predetermined density or larger and the areas are arranged and the classes are arranged. A class tracking means for tracking the class to detect class location information;
Fire judging means for judging a fire by detecting a characteristic predetermined change due to smoke from a time series change of the class position information detected by the class tracking means,
Fire detection apparatus characterized by comprising a.
請求項４記載の火災検知装置に於いて、前記クラス追跡手段は、前記クラスが前記監視領域の画像に設定された所定の再配置ラインに達した場合に、前記再配置ラインに達した前記クラスを消去して再配置することを特徴とする火災検知装置。
5. The fire detection device according to claim 4 , wherein the class tracking unit reaches the relocation line when the class reaches a predetermined relocation line set in an image of the monitoring area. Fire detection device characterized by erasing and rearranging.
撮像手段により、監視領域の画像を逐次撮像し、
クラス追跡手段により、前記撮像手段で撮像された画像毎に、所定の規則に従い複数の観測点をばら撒いて収束させることによりクラスを生成して配置し、前記クラスを追跡してクラス位置情報を検出し、前記クラスが前記監視領域の画像に設定された所定の再配置ラインに達した場合に、前記再配置ラインに達した前記クラスを消去して再配置し、
火災判断手段により、前記クラス追跡手段で検出された前記クラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する、
ことを特徴とする火災検知方法。
By the imaging means , the images of the monitoring area are sequentially captured,
The class tracking unit generates and arranges a class by scattering and converging a plurality of observation points according to a predetermined rule for each image captured by the image capturing unit, and tracks the class to obtain class position information. Detecting, when the class reaches a predetermined relocation line set in the image of the monitoring area, the class reaching the relocation line is erased and relocated,
The fire determination means determines a fire by detecting a characteristic predetermined change due to smoke from the time series change of the class position information detected by the class tracking means,
A fire detection method characterized by the above.
請求項６記載の火災検知方法に於いて、前記クラス追跡手段は、前記撮像手段で撮像された画像毎に、濃度の濃い順に特徴領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴領域を抽出してクラスを配置することを特徴とする火災検知方法。
7. The fire detection method according to claim 6, wherein the class tracking means extracts characteristic regions in order of darkness of each image picked up by the image pickup means and arranges the classes, or a predetermined density or more. A fire detection method characterized by extracting characteristic regions in descending order of area and arranging classes.
請求項６記載の火災検知方法に於いて、前記クラス追跡手段は、前記撮像手段で撮像された連続する画像から差分画像を逐次生成し、前記差分画像毎に、特徴領域を抽出してクラスを配置することを特徴とする火災検知方法。
7. The fire detection method according to claim 6, wherein the class tracking unit sequentially generates a difference image from consecutive images captured by the image capturing unit, and extracts a characteristic region for each of the difference images to identify a class. Fire detection method characterized by arranging.
スポット光照射手段により、監視領域に向けて複数のスポット光を照射し、
撮像手段により、前記複数のスポット光が照射された監視領域の画像を逐次撮像し、
クラス追跡手段により、前記撮像手段で撮像された前記画像毎に、濃度の濃い順に特徴スポット領域を抽出してクラスを配置するか、又は、所定濃度以上で面積の大きい順に特徴スポット領域を抽出してクラスを配置し、前記クラスを追跡してクラス位置情報を検出し、
火災判断手段により、前記クラス追跡手段で検出された前記クラス位置情報の時系列変化から煙による特徴的な所定の変化を検知して火災を判断する、
ことを特徴とする火災検知方法。
The spot light irradiation means irradiates a plurality of spot lights toward the monitoring area,
The image pickup means sequentially picks up images of the monitoring area irradiated with the plurality of spot lights,
For each of the images captured by the image capturing unit , the class tracking unit extracts characteristic spot regions in the order of darkness and arranges the classes, or the characteristic spot regions are extracted in order of larger density than a predetermined density and larger in area. Place a class, track the class to detect class location information,
The fire determination means determines a fire by detecting a characteristic predetermined change due to smoke from the time series change of the class position information detected by the class tracking means,
A fire detection method characterized by the above.
請求項９記載の火災検知方法に於いて、前記クラス追跡手段は、前記クラスが前記監視領域の画像に設定された所定の再配置ラインに達した場合に、前記再配置ラインに達した前記クラスを消去して再配置することを特徴とする火災検知方法。 10. The fire detection method according to claim 9 , wherein the class tracking unit reaches the relocation line when the class reaches a predetermined relocation line set in the image of the monitoring area. A fire detection method characterized by erasing and rearranging.

Images