JP3195537B2 - Monitoring device and monitoring method using the device - Google Patents
Monitoring device and monitoring method using the deviceInfo
- Publication number
- JP3195537B2 JP3195537B2 JP13473596A JP13473596A JP3195537B2 JP 3195537 B2 JP3195537 B2 JP 3195537B2 JP 13473596 A JP13473596 A JP 13473596A JP 13473596 A JP13473596 A JP 13473596A JP 3195537 B2 JP3195537 B2 JP 3195537B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- image
- texture
- data
- reference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Burglar Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、監視装置とその装
置を使用した監視方法に係り、特に屋外などにおいて、
照度変化などの、画像処理にとっては大幅な外乱が発生
する環境下や、被写体や背景が複雑な場合においても、
監視の対象となるポイントや装置に生じた異常を検知す
るのに好適な監視装置とその装置を使用した監視方法に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a monitoring device and a monitoring method using the monitoring device, and particularly to an outdoor device and the like.
Even in environments where significant disturbances occur for image processing, such as changes in illuminance, or when subjects and backgrounds are complex,
The present invention relates to a monitoring device suitable for detecting an abnormality occurring in a point or a device to be monitored and a monitoring method using the device.
【0002】[0002]
【従来の技術】従来、発電所、化学工場などの大型プラ
ントに設けられた現場の異常監視装置は、テレビカメラ
やマイクロフォンにより受信した映像や音響といった生
信号をそのままテレビやスピーカーで再生し、これを常
時運転員、点検員または保守員(以下、単に運転員とい
う)が監視することによって、運転用操作機などにおけ
る異常の発生を発見していた。このような監視方法にお
いては、運転員が異常か否かの判断を常時行なわねばな
らず、また異常の有無の判断には相当の熟練を要するた
めに、運転員の負担が大きくなるという問題があった。2. Description of the Related Art Conventionally, an on-site abnormality monitoring device installed in a large plant such as a power plant or a chemical plant reproduces raw signals such as video and sound received by a television camera or a microphone directly on a television or a speaker. Is constantly monitored by an operator, an inspector, or a maintenance engineer (hereinafter, simply referred to as an operator), thereby discovering the occurrence of an abnormality in a driving operation device or the like. In such a monitoring method, the operator must always determine whether or not there is an abnormality, and the determination of the presence or absence of an abnormality requires considerable skill, which increases the burden on the operator. there were.
【0003】一方、最近では、大型プラントの運転は、
監視用各種計器を備えた異常監視装置を用いて中央制御
室から運転用操作機等を監視する遠隔制御が行われるよ
うになった。このような監視システムは、画像処理技術
および装置の発達に伴い、テレビカメラからの映像等を
画像処理装置等で機械的に処理して、異常の有無の判定
や早期発見に利用しようとするものであり、運転員の負
担を軽減し、省力化を図るとともに、いわゆる人間の視
覚機能の代替システムの実用化を目指したものである。
しかしながら、運転員の現場パトロールによる巡視点検
においても、視覚、聴覚によって発見されるリークなど
の異常の割合は、発生件数全体の約90%に留まるとい
われており、前記画像や音響等を自動的に処理して異常
を判断する手法の信頼性の向上が重要課題となってい
る。On the other hand, recently, the operation of a large plant has been
Remote control for monitoring an operation controller and the like from a central control room using an abnormality monitoring device equipped with various monitoring instruments has come to be performed. With the development of image processing technology and devices, such a monitoring system is intended to process images and the like from a TV camera mechanically with an image processing device or the like, and to use it for determination of abnormality or early detection. In addition to reducing the burden on the operator, saving labor, and aiming at the practical use of a so-called alternative system for human visual functions.
However, it is said that the ratio of abnormalities such as leaks detected by visual and auditory inspections is limited to about 90% of the total number of occurrences even during patrol inspections by operators on site patrols. It is an important issue to improve the reliability of the method of determining the abnormality by processing the data in a timely manner.
【0004】図7に、画像処理によって異常を発見する
従来の監視システムの一例を示す。図において、プラン
トの現場には、テレビカメラ102やマイクロフォン1
03を搭載した監視ロボット101が設置されており、
あらかじめ決められた監視ルートや監視ポイントにおい
て、監視の対象となる部分とその近傍を含めた映像デー
タや音響データが収集され、このデータが通信装置を介
して中央制御室などに設置された異常判断装置104へ
転送される。FIG. 7 shows an example of a conventional monitoring system for finding an abnormality by image processing. In the figure, a TV camera 102 and a microphone 1
03 is installed, a monitoring robot 101 is mounted,
At predetermined monitoring routes and monitoring points, video data and audio data including the part to be monitored and its vicinity are collected, and this data is used to determine abnormalities installed in the central control room via a communication device. Transferred to device 104.
【0005】転送されたデータは、例えば図8のフロー
に従って処理される。図8は、図7における画像処理に
よって異常を発見する方法のアルゴリズムを示したもの
である。図8において、まずあらかじめ各監視ポイント
の監視の対象となる部分とその近傍を含めた画像のう
ち、正常な状態での画像を取り込み、メモリ(1)に記
憶し、これを基準画像とする。次に、監視ロボットに搭
載したテレビカメラによる監視によって新しく取り込ん
だ画面をメモリ(2)に記憶し、前記基準画像との差分
を差画像とし、これをベースデータとする。次いで、輝
度のしきい値を使用して、差画像における正常時と異常
時との差を区別する。すなわち、しきい値よりも輝度差
が大きい部分は白色に、小さい部分は黒色に処理する、
いわゆる2値化処理を行って正常時と異常時との差を明
確に区別する。次にヒストグラム演算を行い、白色の画
素の数の大小によって異常の有無を判断し、異常の場合
には警報が出される。[0005] The transferred data is processed, for example, according to the flow shown in FIG. FIG. 8 shows an algorithm of a method for finding an abnormality by the image processing in FIG. In FIG. 8, first, an image in a normal state is fetched from among images including a portion to be monitored at each monitoring point and the vicinity thereof, stored in the memory (1), and is used as a reference image. Next, a screen newly captured by monitoring by a television camera mounted on the monitoring robot is stored in the memory (2), and a difference from the reference image is set as a difference image, which is used as base data. Then, the difference between the normal case and the abnormal case in the difference image is distinguished using the luminance threshold. That is, a portion where the luminance difference is larger than the threshold is processed as white, and a portion where the difference is smaller is processed as black.
A so-called binarization process is performed to clearly distinguish the difference between the normal state and the abnormal state. Next, a histogram operation is performed to determine the presence or absence of an abnormality based on the number of white pixels, and an alarm is issued in the case of an abnormality.
【0006】図9は、このようなテレビカメラを搭載し
た従来の監視装置を用い、水路へ混入した油を検知した
例を示すものである。図において、A1、A2は正常時
の画像であって、A1を画像に取り込みA2を基準画像
としてメモリ(1)に記憶する。B1は監視時に油が混
入した場合の画像であり、メモリ(2)に記憶される。
次に、メモリ(1)とメモリ(2)から導き出されたA
1とB1の差画像Cを2値化処理し、ヒストグラムが演
算されるが、この場合、輝度のしきい値の段階によりD
1、D2、D3などとなる。ここでD1は白色の割合が
35%となっているが、実際のB1の画像と比較すると
この値が過剰でしきい値が低過ぎたことがわかる。ま
た、D3は白色の割合が2%となっており、実際のB1
の画像と比較するとこの値が過少でしきい値が高過ぎた
ことがわかる。ここではD2の場合のしきい値が妥当で
ある。FIG. 9 shows an example in which oil mixed into a waterway is detected by using a conventional monitoring device equipped with such a television camera. In the figure, A1 and A2 are images in a normal state. A1 is taken in the image and A2 is stored in the memory (1) as a reference image. B1 is an image when oil is mixed during monitoring and is stored in the memory (2).
Next, A derived from the memory (1) and the memory (2)
The difference image C between 1 and B1 is binarized and a histogram is calculated. In this case, D is determined by the luminance threshold level.
1, D2, D3, etc. Here, D1 has a white ratio of 35%, but it can be seen that this value is excessive and the threshold value is too low as compared with the actual image of B1. In D3, the ratio of white color is 2%, and the actual B1
It can be seen that this value is too small and the threshold value is too high as compared with the image of FIG. Here, the threshold value in the case of D2 is appropriate.
【0007】このように、水路などの表面の輝度が時々
刻々と変化するものを監視対象にし、正常時の画像と監
視時の画像との差画像を2値化処理して異常を検出する
場合には、輝度のしきい値の設定によって白色の割合、
すなわち正常時の基準画像との変化量が、例えば2%な
いし35%と大幅に変動することから、試行錯誤の過程
を経て最終段階の判定に使用するしきい値を設定するこ
とは非常に困難である。輝度のしきい値はその都度、試
行錯誤の過程を経て2値化処理における最適な値が設定
されるが、その設定には次の(i)ないし(iii)に示す
問題があった。[0007] As described above, when the brightness of the surface such as a water channel changes every moment, an object to be monitored is detected, and the difference image between the normal image and the monitored image is binarized to detect an abnormality. Has a white threshold depending on the brightness threshold setting,
That is, since the amount of change from the reference image in a normal state greatly varies, for example, from 2% to 35%, it is very difficult to set a threshold value used for determination in the final stage through a process of trial and error. It is. Each time the threshold value of the luminance is set to an optimum value in the binarization processing through a process of trial and error, the setting has the following problems (i) to (iii).
【0008】すなわち(i)監視場所が屋外の場合に
は、日照の変化による照度の大幅な変化や、カメラ視野
内における設備などの影の位置、大きさ、形状が不規則
に変化するなどの外乱が生じること、また屋内において
も蛍光灯など照明の条件による外乱が生じるために、差
画像での輝度値が変化し、2値化処理の結果が大幅に変
化するという問題がある。[0008] (i) When the monitoring place is outdoors, a large change in illuminance due to a change in sunshine, or a change in the position, size, or shape of a shadow of equipment or the like in the camera field of view changes irregularly. There is a problem that a disturbance occurs, and a disturbance occurs even indoors due to lighting conditions such as a fluorescent lamp, so that the luminance value in the difference image changes, and the result of the binarization process significantly changes.
【0009】また、(ii)最初に取り込み、記憶した基
準画面における被写体が位置ずれを生じていたり、監視
装置が監視ポイントに停止する位置再現の精度により、
差画像での輝度値が変化し、2値化処理の結果が変化す
るという問題がある。さらに(iii)前記(i)、(ii)
における画像処理での外乱を回避するため、あらかじめ
外乱を予測して条件設定を行うことが考えられるが、多
大の監視項目に対するそれぞれの基準画像を監視ポイン
トごとに記憶しておかなければならず、膨大なメモリが
必要となるという問題がある。[0009] (ii) The position of the subject on the reference screen initially captured and stored may be misaligned, or the monitoring device may stop at the monitoring point to reproduce the position.
There is a problem that the luminance value in the difference image changes and the result of the binarization process changes. (Iii) The above (i), (ii)
In order to avoid the disturbance in the image processing in, it is conceivable to predict the disturbance in advance and set the conditions, but it is necessary to store each reference image for a large number of monitoring items for each monitoring point, There is a problem that a huge memory is required.
【0010】また、上述したような輝度のしきい値に加
えて、輝度データの値そのものを処理することで、屋外
などでの大幅な照度変化に対応する手法が知られてい
る。この手法によれば、監視対象が、オイルパンやフロ
アなど形状が略平面で単純な場合には、例えばテクスチ
ャ解析と主成分分析とを用いることにより対応すること
ができる。しかしながら、背景や被写体に、例えば曲
面、エッジ、折り目などが多数含まれる場合には、テク
スチャ解析での特徴量のばらつきが画像の至る所に生じ
るため、異常判断の指標とすることができなかった。ま
た、屋外での監視の場合など、昼夜での明るさが大幅、
かつ不規則に変化するのに対応するために、可視カメラ
に加えて赤外線カメラなどを併用する画像監視および入
力装置が必要とされるが、これらのカメラの併用に対し
ての画像処理の自動化のための指標の設定など不明な点
が多く、実用化できなかった。There is also known a method of processing a luminance data value itself in addition to the above-described luminance threshold value to cope with a large change in illuminance outdoors or the like. According to this method, when the object to be monitored is a simple one such as an oil pan or floor having a substantially flat shape, it can be dealt with by using, for example, texture analysis and principal component analysis. However, when the background or the subject contains a large number of curved surfaces, edges, folds, and the like, for example, variations in the feature amounts in the texture analysis occur everywhere in the image, and thus cannot be used as an index for abnormality determination. . Also, when monitoring outdoors, the brightness at day and night is large,
In order to cope with irregular changes, it is necessary to use an image monitoring and input device that uses an infrared camera in addition to a visible camera. There were many unclear points such as the setting of indicators for this, and it could not be put to practical use.
【0011】一方、上述した、正常時の画像と監視時の
画像との差画像を2値化処理する手法とは別の従来技術
として、正常な場合と異常な場合とをニューラルネット
ワークにより前もって学習させ、学習画像として記憶さ
せておく手法が知られている。しかしながらこの方法に
は、新たに監視した画像が当該学習画像と比較して大幅
に異なる場合には、ニューラルネットワークからの判定
出力値があいまいな値として出力される場合があるとい
う欠点がある。これはニューラルネットワークにおける
汎化能力の有効性の限界によって生じるものであり、し
かもその予測は現状では困難とされていることから、屋
外など、大幅な外乱の発生する環境下での監視装置にこ
の手法を適用することは現状では困難である。On the other hand, as a conventional technique different from the above-mentioned technique for binarizing a difference image between a normal image and a monitoring image, a normal case and an abnormal case are learned in advance by a neural network. There is known a method of causing a learning image to be stored as a learning image. However, this method has a drawback that if the newly monitored image is significantly different from the learning image, the determination output value from the neural network may be output as an ambiguous value. This is caused by the limitation of the effectiveness of the generalization ability in the neural network, and its prediction is considered difficult at present. It is difficult at present to apply the method.
【0012】[0012]
【発明が解決しようとする課題】すなわち前記従来技術
は、監視対象となる部分とその近傍を含めた領域におけ
る背景や被写体が単純な場合には有効であるが、複雑な
場合には適用が困難である。また、昼夜連続運転が行わ
れるプラントにおける屋外で使用される監視装置におい
ては、朝夕、夜間においては非常に暗いために、画像処
理精度を維持するために可視カメラと高感度カメラを併
用する必要があるが、その自動化を図ることは困難であ
った。従って、監視対象となる領域における背景や被写
体が複雑な場合でも、また昼夜等、明るさが大幅に変化
する環境にも十分に適用することができる監視装置とそ
の装置を使用した監視方法の開発が望まれていた。That is, the above-mentioned prior art is effective when the background and the subject in the area including the part to be monitored and the vicinity thereof are simple, but is difficult to apply when the background and the subject are complicated. It is. In addition, in a monitoring device used outdoors in a plant where continuous operation is performed day and night, it is very dark in the morning and evening, and at night, it is necessary to use a visible camera and a high-sensitivity camera together in order to maintain image processing accuracy. However, it was difficult to automate it. Therefore, even when the background or the subject in the area to be monitored is complicated, a monitoring device and a monitoring method using the device can be sufficiently applied to an environment where the brightness greatly changes, such as day and night. Was desired.
【0013】本発明の目的は、かかる要請に答えるもの
であり、監視対象となる部分とその近傍を含めた領域に
おける背景や被写体が複雑な場合においても、また明る
さが大幅に変化する場所においても十分に対応できる監
視装置とその装置を使用した監視方法を提供することに
ある。An object of the present invention is to respond to such a demand. Even when a background or a subject in a region including a portion to be monitored and its vicinity is complicated, or in a place where the brightness greatly changes. Another object of the present invention is to provide a monitoring device which can sufficiently cope with the above problem and a monitoring method using the monitoring device.
【0014】[0014]
【課題を解決するための手段】上記目的を達成するため
本願で特許請求される発明は以下のとおりである。 (1)画像取り込み手段から取り込んだ監視用画像の輝
度データを処理して被写体の状態を監視する監視装置に
おいて、前記画像取り込み手段から取り込んだ監視用画
像とあらかじめ取り込んでおいた基準画像とを比較して
両画像のずれを修正するずれ補正手段と、補正した画像
全体をテクスチャ解析して特徴量を算出するテクスチャ
解析手段と、前記ずれ補正手段による補正した監視用画
像を監視対象領域と背景領域との分割する領域分割手段
と、該分割した領域に基いて前記背景領域の平均輝度を
もとめる輝度評価手段と、該輝度評価手段で求めた輝度
データとあらかじめ求めておいた輝度データとテクスチ
ャ特徴量との関係からテクスチャ特徴量の基準データを
選定する基準データ選定手段と、前記テクスチャ解析手
段で求めた特徴量と基準データ選定手段で選定した特徴
量の基準データとを比較して被写体の異常の有無を判定
する異常判断手段とを有することを特徴とする監視装
置。The invention claimed in the present application to achieve the above object is as follows. (1) In a monitoring apparatus for monitoring the state of a subject by processing luminance data of a monitoring image captured from an image capturing unit, the monitoring image captured from the image capturing unit is provided.
Compare the image with the previously captured reference image
A shift correcting means for correcting a shift between the two images, and a corrected image
Texture analysis means for calculating a feature amount by texture analysis of the whole; and a monitoring image corrected by the shift correction means.
Area dividing means for dividing an image into a monitoring target area and a background area
And the average luminance of the background area based on the divided area
Luminance evaluation means to be obtained and luminance obtained by the luminance evaluation means
A reference data selecting means for selecting the reference data of the texture features from the relationship between the luminance data and texture feature which has been previously obtained data, features selected by the feature and the reference data selecting means which has been determined by the texture analyzer A monitoring device comprising: an abnormality determining unit that determines whether the subject is abnormal by comparing the reference data with the amount of the reference data.
【0015】(2)上記(1)に記載の監視装置におい
て、前記テクスチャ解析手段および基準データ選定手段
が、分散、コントラストおよびエントロピのうちいずれ
か一つまたは二つ以上をテクスチャ特徴量として使用す
るものであることを特徴とする監視装置。[0015] (2) In the monitoring apparatus according to (1), the Tex Chi catcher analyzing means and the reference data selecting means, variance, as the texture feature either one or more of the contrast and entropy A monitoring device characterized by being used.
【0016】(3)上記(1)に記載の監視装置におい
て、前記監視用画像の背景領域の平均輝度と照度または
赤外強度との関係に基いて前記監視用画像を取り込む画
像取り込み手段を選定する切替装置を設けたことを特徴
とする監視装置。(4) 前記画像取り込み手段が、可視カメラ、高感度カ
メラおよび赤外線カメラのうちの何れか一つまたは二つ
以上の組み合わせであることを特徴とする上記(3)に
記載の監視装置。 (3) In the monitoring device according to (1), an image capturing unit that captures the monitoring image is selected based on a relationship between an average luminance of a background region of the monitoring image and illuminance or infrared intensity. A monitoring device, comprising: a switching device that performs switching. (4) the image capturing means, the monitoring device according to (3), wherein the visible light camera, is any one or a combination of two or more of highly sensitive cameras and infrared cameras.
【0017】(5)画像取り込み手段から取り込んだ監
視用画像の輝度データを処理して被写体の状態を監視す
る監視方法において、前記画像取り込み手段から取り込
んだ監視用画像をあらかじめ記憶しておいた基準画像と
比較して画像のずれを修正するずれ修正工程と、補正し
た画像全体をテクスチャ解析して特徴量を算出するテク
スチャ解析工程と、前記ずれ補正工程後の監視用画像を
監視対象領域と背景領域とに分割する領域分割工程と、
該分割した領域に基いて背景領域の平均輝度を求める輝
度評価工程と、該輝度評価工程で求めた輝度データと、
あらかじめ求めておいた輝度データとテクスチャ特徴量
との関係からテクスチャ特徴量の基準データを選定する
工程と、前記テクスチャ解析工程で算出した監視用画像
全体のテクスチャ特徴量と前記基準データ選定工程で選
定したテクスチャ特徴量の基準データとを比較して被写
体の異常の有無を判断する異常判断工程とを有すること
を特徴とする監視方法。 (5) In a monitoring method for monitoring the state of a subject by processing luminance data of a monitoring image captured from an image capturing unit, a reference image in which the monitoring image captured from the image capturing unit is stored in advance. A shift correction step of correcting a shift of the image by comparing the image with the image, a texture analysis step of performing a texture analysis on the entire corrected image to calculate a feature amount, and a monitoring image after the shift correction step is used as a monitoring target area and a background. An area dividing step of dividing into an area and
A luminance evaluation step of obtaining an average luminance of a background area based on the divided areas, and luminance data obtained in the luminance evaluation step;
A step of selecting reference data of the texture feature amount from the relationship between the luminance data and the texture feature amount obtained in advance, and a step of selecting the texture feature amount of the entire monitoring image calculated in the texture analysis step and the reference data selection step. An abnormality judging step of judging the presence / absence of an abnormality in the subject by comparing the reference data of the texture feature amount obtained.
【0018】(6)上記(5)に記載の監視方法におい
て、前記被写体の異常の有無の判断を2回以上行い、全
て同一判断が得られた場合には当該判断結果を最終判断
とし、同一判断が得られない場合には、あらかじめ求め
ておいた背景領域の輝度データとテクスチャ特徴量との
関係基づくテクスチャ特徴量の全ての基準データのうち
差分値が最小となるテクスチャ特徴量を基準データとし
て決定し、該決定したテクスチャ特徴量の基準データと
前記テクスチャ解析により処理した監視用画像全体のデ
ータとを比較して異常の有無を判断することを特徴とす
る監視方法。 (6) In the monitoring method described in the above (5) , the presence or absence of abnormality of the subject is determined twice or more, and when all the same determinations are obtained, the determination result is determined as a final determination, and If the judgment cannot be obtained, the texture feature amount with the smallest difference value among all the reference data of the texture feature amount based on the relationship between the luminance data of the background region and the texture feature amount obtained in advance is set as the reference data. A monitoring method, comprising: determining the reference data of the determined texture feature amount and data of the entire monitoring image processed by the texture analysis to determine the presence or absence of an abnormality.
【0019】(7)上記(6)に記載の監視方法におい
て、同一判断が得られない場合には、前記被写体の異常
の有無の判断を、前記テクスチャ解析により処理した監
視用画像全体のテクスチャ特徴量と、前記求めたテクス
チャ特徴量の全ての基準データとを比較し、両者のテク
スチャ特徴量の差があらかじめ設定した値以下となるも
のが少なくとも一つある場合には正常と判断し、全てが
大きい場合には異常と判断することを特徴とする監視方
法。 (7) In the monitoring method described in (6) , when the same determination cannot be obtained, the determination of the presence or absence of the abnormality of the subject is performed by the texture characteristic of the entire monitoring image processed by the texture analysis. The amount is compared with all the reference data of the obtained texture feature amounts, and when there is at least one of which the difference between the two texture feature amounts is equal to or less than a preset value, it is determined that the texture is normal. A monitoring method characterized by determining an abnormality when the value is large.
【0020】(8)上記(5)ないし(7)の何れかに
記載の監視方法において、照度をはじめとする外乱によ
り前記被写体に異常があると判断した場合のテクスチャ
特徴量の基準データを、テクスチャ解析した監視用画像
全体のデータと比較するための新たなテクスチャ特徴量
の基準データとして登録する工程を有することを特徴と
する監視方法。 (8) In the monitoring method according to any one of the above (5) to (7) , the reference data of the texture feature amount when it is determined that the subject has an abnormality due to disturbance such as illuminance, A monitoring method comprising a step of registering as new reference data of a texture feature amount for comparison with data of the entire monitoring image subjected to texture analysis.
【0021】本発明において、テクスチャ特徴量として
は、分散、コントラストおよびエントロピのうちいずれ
か1つまたは2つ以上が使用される。本発明において、
テクスチャ解析手段の上流側に、取り込んだ監視用画像
とあらかじめ取り込んでおいた基準画像とを比較して両
画像のずれを修正するずれ補正手段を設けることが好ま
しい。また、基準データ選定手段の上流側に、監視用画
像を監視対象領域と背景領域とに分割する領域分割手段
と、分割した領域に基いて背景領域の平均輝度を求める
輝度評価手段を設けることが好ましい。In the present invention, one or more of variance, contrast and entropy are used as the texture feature. In the present invention,
It is preferable to provide a shift correction unit that compares the captured monitoring image with the previously captured reference image and corrects the shift between the two images, on the upstream side of the texture analysis unit. Further, on the upstream side of the reference data selecting means, there may be provided an area dividing means for dividing the monitoring image into a monitoring target area and a background area, and a luminance evaluating means for calculating an average luminance of the background area based on the divided areas. preferable.
【0022】本発明において、監視用画像の背景領域の
平均輝度と照度または赤外強度との関係に基いて、監視
用画像を取り込む画像取込み手段を選定する切替装置を
設けることが好ましい。画像取込み手段としては、例え
ば可視カメラ、高感度カメラまたは赤外線カメラがあげ
られ、いずれか一つまたは二つ以上を組み合わせて用い
られる。In the present invention, it is preferable to provide a switching device for selecting image capturing means for capturing the monitoring image based on the relationship between the average luminance of the background region of the monitoring image and the illuminance or infrared intensity. Examples of the image capturing means include a visible camera, a high-sensitivity camera, and an infrared camera, and any one or a combination of two or more is used.
【0023】本発明において、被写体の異常の有無の判
断を2回以上行い、全て同一判断が得られた場合には当
該判断結果を最終判断とし、同一判断が得られない場合
には、あらかじめ求めておいた背景領域の輝度データと
テクスチャ特徴量との関係に基づくテクスチャ特徴量の
全ての基準データのうち差分値が最少となるテクスチャ
特徴量を基準データとして決定し、該決定したテクスチ
ャ特徴量の基準データとテクスチャ解析により処理した
監視用画像全体のデータとを比較して異常の有無を判断
することが好ましい。In the present invention, the presence or absence of an abnormality in a subject is determined twice or more, and when all the same determinations are obtained, the determination result is determined as a final determination. Among all the reference data of the texture features based on the relationship between the luminance data of the background region and the texture features, the texture feature with the smallest difference value is determined as the reference data, and the determined texture feature is It is preferable to determine whether there is an abnormality by comparing the reference data with the data of the entire monitoring image processed by the texture analysis.
【0024】また、本発明において、被写体の異常の有
無の判断を2回以上行い、同一判断が得られない場合に
は、テクスチャ解析により処理した監視用画像全体のテ
クスチャ特徴量と、前記求めたテクスチャ特徴量の全て
の基準データとを比較し、両者のテクスチャ特徴量の差
があらかじめ設定した設定値以下となるものが少なくと
も一つある場合には正常と判断し、全てが大きい場合に
は異常と判断することもできる。In the present invention, the determination of the presence / absence of abnormality in the subject is performed twice or more. If the same determination cannot be obtained, the texture characteristic amount of the entire monitoring image processed by texture analysis and the obtained All the texture data are compared with the reference data. If there is at least one that has a difference between the two texture features less than a preset value, it is judged to be normal. You can also judge.
【0025】本発明において、照度をはじめとする外乱
により被写体に異常があると判断した場合のテクスチャ
特徴量の基準データを、テクスチャ解析した監視用画像
全体のデータと比較するための新たなテクスチャ特徴量
の基準データとして登録する工程を有することが好まし
く、またこれを自動で行うことが好ましい。In the present invention, a new texture feature for comparing the reference data of the texture feature when the subject is determined to be abnormal due to disturbances such as illuminance with the data of the entire monitoring image subjected to texture analysis. It is preferable to have a step of registering as reference data of the amount, and it is preferable to perform this automatically.
【0026】[0026]
【発明の実施の形態】次に、本発明を実施例によりさら
に詳細に説明する。 実施例1 本発明である監視方法の一実施例を、監視方法のアルゴ
リズムを示した図1に基いて説明する。図1において、
監視対象となる部分およびその近傍を含めた領域の画像
(以下、監視用画像という)は、後述する輝度評価器1
2からの指示に基いて切替器11よって選択された可視
カメラ1または高感度カメラ1′で取り込まれ、ずれ補
正装置2に送られる。ずれ補正装置2に送られた監視用
画像は、ここで各監視ポイントごとの基準画像を記憶し
ている基準画像記憶装置13から呼び出された基準画像
と比較され、その差画像が最小となるように画像のずれ
が補正される。Next, the present invention will be described in more detail by way of examples. Embodiment 1 An embodiment of a monitoring method according to the present invention will be described with reference to FIG. 1 showing an algorithm of the monitoring method. In FIG.
An image of an area including a part to be monitored and its vicinity (hereinafter, referred to as a monitoring image) is a luminance evaluator 1 described later.
It is captured by the visible camera 1 or the high-sensitivity camera 1 ′ selected by the switch 11 based on the instruction from the camera 2, and is sent to the displacement correction device 2. The monitoring image sent to the shift correcting device 2 is compared with a reference image called from a reference image storage device 13 that stores a reference image for each monitoring point, and the difference image is minimized. Is corrected.
【0027】次に、ずれが補正された監視用画像は領域
分割装置3へ送られ、ここで、例えば32×32画素か
ら構成される縦10個、横10個の合計100個のブロ
ックに分割されるとともに、該分割された画像ブロック
が明るい部分と暗い部分の2つの領域に分割されたの
ち、テクスチャ解析器4に送られ、ここで明暗それぞれ
の領域において下記(1)式によって分散という特徴量
VRが算出される。Next, the monitoring image whose deviation has been corrected is sent to the area dividing device 3, where it is divided into, for example, 10 blocks vertically and horizontally composed of 32 × 32 pixels and a total of 100 blocks. At the same time, the divided image block is divided into two areas, a bright part and a dark part, and then sent to the texture analyzer 4 where the light and dark areas are dispersed according to the following equation (1). The quantity VR is calculated.
【0028】[0028]
【数1】 (Equation 1)
【0029】算出された特徴量VRは、異常判断装置7
に送られる。このように、本実施例においては、テクス
チャ解析における特徴量VRとして分散が使用される。
一方、上述の領域分割装置3により、例えば100個の
ブロックに分割された分割画像は、また該領域分割装置
で監視対象領域と背景領域とに分割されたのち、輝度評
価器12に送られ、ここで監視対象部分以外の背景の平
均輝度が決定される。本実施例において、背景の平均輝
度を使用するのは、人間の視覚系が背景における光の強
度によらず安定していることから、いわゆる明るさの恒
常性と呼ばれているものを利用するためである。The calculated feature value VR is supplied to the abnormality determination device 7.
Sent to As described above, in the present embodiment, the variance is used as the feature value VR in the texture analysis.
On the other hand, the divided image divided into, for example, 100 blocks by the above-described region dividing device 3 is further divided into a monitoring target region and a background region by the region dividing device, and then sent to the luminance evaluator 12, Here, the average luminance of the background other than the monitoring target portion is determined. In the present embodiment, the average luminance of the background is used because what is called so-called brightness constancy is used because the human visual system is stable regardless of the intensity of light in the background. That's why.
【0030】輝度評価器12で決定された背景の平均輝
度は、基準データ選定器5に送られる。基準データ選定
器5は、図6のフローチャートに示したように、前記輝
度評価器12で決定された平均輝度と、あらかじめ該基
準データ選定器5にデータベースとして保有されてい
る、図3または図4に示す可視カメラまたは高感度カメ
ラにおける照度と背景の平均輝度との関係に基いて対象
領域の照度を推定し、この照度に基いて、例えば高照度
の8万ルクスから低照度の3ルクスまでの広い範囲にわ
たる分散、エントロピまたはコントラストなどのテクス
チャ特徴量をあらかじめ記憶した基準データ記憶装置6
に記憶された特徴量のうち、図5に示す照度(Lx)と
基準分散量との差分との関係から、相当する線分○−●
を選定し、基準分散値の差分に該当する基準分散値デー
タとして異常判断装置7へ送信する。The average luminance of the background determined by the luminance evaluator 12 is sent to the reference data selector 5. As shown in the flowchart of FIG. 6, the reference data selector 5 stores the average luminance determined by the luminance evaluator 12 and the database stored in the reference data selector 5 in advance as shown in FIG. The illuminance of the target area is estimated based on the relationship between the illuminance of the visible camera or the high-sensitivity camera and the average luminance of the background, and based on this illuminance, for example, from 80,000 lux of high illuminance to 3 lux of low illuminance A reference data storage device 6 in which texture features such as variance, entropy or contrast over a wide range are stored in advance.
Out of the feature amounts stored in, the corresponding line segment ○-● from the relationship between the illuminance (Lx) and the difference between the reference variance shown in FIG.
Is selected and transmitted to the abnormality determination device 7 as reference variance value data corresponding to the difference between the reference variance values.
【0031】ここで図3および図4は、それぞれ可視カ
メラ、高感度カメラの照度と背景の平均輝度の関係を示
しているが、例えば照度100ルクスを両カメラの使用
範囲の境界とし、前述したように、輝度評価器12から
切替器11に指示が送られ、該切替器12よって使用カ
メラが自動的に切り替えられる。次に、図2に示したフ
ローチャートに基いて、画像の取込みから異常判断装置
7における異常の有無の判断までの処理について説明す
る。FIGS. 3 and 4 show the relationship between the illuminance of the visible camera and the high-sensitivity camera and the average luminance of the background, respectively. As described above, the instruction is sent from the luminance evaluator 12 to the switch 11, and the camera to be used is automatically switched by the switch 12. Next, based on the flowchart shown in FIG. 2, a description will be given of processing from capture of an image to determination of the presence or absence of an abnormality in the abnormality determination device 7.
【0032】上述したように、取り込まれた画像データ
ごとに、図1の基準データ選定器5によって基準分散値
データが探索される。基準データの探索は、例えば2回
行われ、2回とも分散値データが探索ができない場合に
は大幅な照度変化や監視対象画像の変化があったと予想
されるため、判定不能と判断し、運転員が新規登録の有
無を検討する。As described above, the reference variance data is searched by the reference data selector 5 of FIG. 1 for each of the captured image data. The search for the reference data is performed twice, for example. If the variance value data cannot be searched for both times, it is expected that a significant change in the illuminance or the change of the monitoring target image has occurred. Examines whether there is a new registration.
【0033】基準分散値データが検索されたときは異常
判断装置7に送られ、ここで、基準分散値データと図1
に示したテクスチャ解析器4から送られてくる画像処理
データとに基いて検知用画像の分散特徴量が計算され、
前記基準分散値データとの差を比較する。この差の比較
も例えば2回行い、2回ともに差が大、すなわち異常で
あれば異常と判定し、例えばモニタおよび警報器などに
出力する。また、前記とは逆に2回ともに差が小、すな
わち正常であれば正常と判定し、例えばモニタ出力す
る。異常および正常の判定において、1回目と2回目の
判定が異なる場合には、運転員などによる外乱または装
置の誤判断と予想されるため、判定不能と判断される。When the reference variance data is retrieved, it is sent to the abnormality determination device 7, where the reference variance data and the data shown in FIG.
Is calculated based on the image processing data sent from the texture analyzer 4 shown in FIG.
The difference from the reference variance value data is compared. This difference is also compared twice, for example, and if the difference is large in both cases, that is, if the difference is abnormal, it is determined to be abnormal and output to, for example, a monitor and an alarm. Conversely, if the difference between the two times is small, that is, if the difference is normal, it is determined to be normal and, for example, monitor output is performed. When the first and second determinations are different in the determination of the abnormality and the normality, it is assumed that disturbance by an operator or the like or an erroneous determination of the device is made, so that it is determined that the determination is impossible.
【0034】異常判断装置7において、基準分散値デー
タの探索において選定された基準分散値データと、テク
スチャ解析器4からの画像処理データとの比較において
正常と判断されるのは、例えば図10に示すように、基
準データ記憶装置6における、照度8万ルクスのときの
正常時の分散値データと比較した際に、例えば図12に
示すような差分値が得られた場合である。一方、異常と
判断されるのは、例えば前記テクスチャ解析器4から送
られる画像処理データが、例えば図11に示す画像デー
タであり、これを基準分散値データとしての前記図10
に示す照度8万ルクスのときの正常時の分散値データと
比較したときに、例えば図13に示す差分値が得られた
場合である。FIG. 10 shows that the abnormality judging device 7 judges that the reference variance value data selected in the search for the reference variance value data and the image processing data from the texture analyzer 4 are normal. As shown, this is a case where, for example, a difference value as shown in FIG. 12 is obtained when compared with the normal dispersion value data at the illuminance of 80,000 lux in the reference data storage device 6. On the other hand, what is determined to be abnormal is, for example, the image processing data sent from the texture analyzer 4 is, for example, the image data shown in FIG.
This is a case where, for example, a difference value shown in FIG. 13 is obtained when compared with the variance value data in the normal state when the illuminance is 80,000 lux shown in FIG.
【0035】本実施例においては、異常と判断するため
の指標となるしきい値に、任意の幅を持たせることによ
って、実測値のばらつきに対応することができる。本実
施において、テクスチャ分析における特徴量として分散
の代わりにコントラストまたはエントロピを使用するこ
ともできる。コントラストおよびエントロピは以下の
(2)および(3)式でそれぞれ示される。In the present embodiment, the threshold value serving as an index for judging an abnormality has an arbitrary width, thereby making it possible to cope with the variation in the actually measured values. In the present embodiment, contrast or entropy can be used instead of variance as a feature amount in texture analysis. The contrast and entropy are expressed by the following equations (2) and (3), respectively.
【0036】[0036]
【数2】 (Equation 2)
【0037】[0037]
【数3】 (Equation 3)
【0038】また、監視装置に搭載するカメラの組合わ
せとして可視カメラと赤外線カメラを用いることもでき
る。ただし、この場合には赤外画像が対象となるので、
照度に変えて赤外線強度を用いることになる。Further, a visible camera and an infrared camera can be used as a combination of cameras mounted on the monitoring device. However, in this case, since infrared images are targeted,
Infrared intensity is used instead of illuminance.
【0039】本願の請求項1記載の発明によれば、被写
体や背景が複雑な場合であっても、正常データ中に埋没
した小さな異常を確実に検出することができるので異常
監視精度が向上する。 According to the first aspect of the present invention,
Even if the body and the background are complicated, a small abnormality buried in the normal data can be reliably detected, so that the abnormality monitoring accuracy is improved.
【0040】本願の請求項2に記載の発明によれば、上
記発明の効果に加え、外乱の影響をより少なくすること
ができる。 According to the invention described in claim 2 of the present application ,
In addition to the effects of the present invention, the influence of disturbance can be further reduced.
【0041】[0041]
【0042】本願の請求項3および4記載の発明によれ
ば、上記発明の効果に加え、例えば可視カメラと高感度
カメラまたは赤外線カメラの切換を、輝度データに基づ
く照度などによって自動で行うことができるので、一つ
または二つ以上を併用することで昼夜や場所にかかわら
ず、24時間の連続監視が可能となる。 According to the third and fourth aspects of the present invention,
For example, in addition to the effects of the above invention, for example, switching between a visible camera and a high-sensitivity camera or an infrared camera can be automatically performed by illuminance based on luminance data. Regardless of location or location, continuous monitoring for 24 hours is possible.
【0043】本願の請求項5記載の発明によれば、被写
体や背景が複雑な場合であっても、正常データ中に埋没
した小さな異常を確実に検出することができるので異常
監視装置の精度が向上する。 According to the fifth aspect of the present invention , an object
Even when the body and the background are complicated, a small abnormality buried in the normal data can be reliably detected, so that the accuracy of the abnormality monitoring device is improved.
【0044】本願の請求項6記載の発明によれば、上記
発明の効果に加え、監視結果の信頼性が向上する。 According to the invention described in claim 6 of the present application, in addition to the effects of the above invention, the reliability of the monitoring result is improved.
【0045】本願の請求項7記載の発明によれば、上記
発明と同様、監視結果の信頼性が向上する。 According to the invention of claim 7 of the present application, the reliability of the monitoring result is improved as in the above invention.
【0046】本願の請求項8記載の発明によれば、上記
発明の効果に加え、監視対象幅が拡がる。 According to the invention as set forth in claim 8 of the present application, in addition to the effects of the above-mentioned invention, the width of the monitored object is expanded.
【図1】本発明である監視方法の一実施例のアルゴリズ
ムを示す図。FIG. 1 is a diagram showing an algorithm of an embodiment of a monitoring method according to the present invention.
【図2】画像の取込みから異常の有無の判断までのフロ
ーチャートを示す図。FIG. 2 is a diagram showing a flowchart from capture of an image to determination of the presence or absence of an abnormality.
【図3】背景の平均輝度と照度との関係および可視カメ
ラの使用範囲を示す図。FIG. 3 is a diagram showing a relationship between an average luminance and illuminance of a background and a use range of a visible camera.
【図4】背景の平均輝度と照度との関係および高感度カ
メラの使用範囲を示す図。FIG. 4 is a diagram showing a relationship between average luminance and illuminance of a background, and a use range of a high-sensitivity camera.
【図5】基準分散量との差分と照度の関係を示す図。FIG. 5 is a diagram showing a relationship between a difference from a reference dispersion amount and illuminance.
【図6】基準データ選定器における分散量データ選定の
フローチャートを示す図。FIG. 6 is a view showing a flowchart of variance data selection in a reference data selector.
【図7】従来の異常監視システムを示す説明図。FIG. 7 is an explanatory diagram showing a conventional abnormality monitoring system.
【図8】従来の異常監視システムの画像処理方法のアル
ゴリズムを示す図。FIG. 8 is a diagram showing an algorithm of an image processing method of a conventional abnormality monitoring system.
【図9】従来の異常監視装置における異常監視例を示す
図。FIG. 9 is a diagram showing an example of abnormality monitoring in a conventional abnormality monitoring device.
【図10】照度80,000Lxのときの正常時の分散
値データを示す図。FIG. 10 is a diagram showing variance value data in a normal state when the illuminance is 80,000 Lx.
【図11】照度80,000Lxのときの異常時の分散
値データを示す図。FIG. 11 is a diagram showing variance data at the time of abnormality when the illuminance is 80,000 Lx.
【図12】照度80,000Lxのときの正常時の分散
量の差分量を示す図。FIG. 12 is a diagram illustrating a difference amount of a dispersion amount in a normal state when the illuminance is 80,000 Lx.
【図13】照度80,000Lxのときの異常時の分散
量の差分量を示す図。FIG. 13 is a diagram showing a difference amount of the dispersion amount at the time of abnormality when the illuminance is 80,000 Lx.
1…可視カメラ、1′…高感度カメラ、2…ずれ補正装
置、3…領域分割装置、4…テクスチャ解析器、5…基
準データ選定器、6…基準データ記憶装置、7…異常判
断装置、8…警報器、9…モニタ、10…ビデオデッ
キ、11…切替器、12…輝度評価器、13…基準画像
記憶装置。DESCRIPTION OF SYMBOLS 1 ... Visible camera, 1 '... High-sensitivity camera, 2 ... Misalignment correction device, 3 ... Region division device, 4 ... Texture analyzer, 5 ... Reference data selector, 6 ... Reference data storage device, 7 ... Abnormality judgment device, 8 alarm device, 9 monitor, 10 video recorder, 11 switcher, 12 luminance evaluator, 13 reference image storage device.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中原 淳 広島県呉市宝町6番9号 バブコック日 立株式会社 呉工場内 (72)発明者 松尾 宣雄 広島県呉市宝町6番9号 バブコック日 立株式会社 呉工場内 (56)参考文献 特開 平7−85385(JP,A) 特開 平6−60182(JP,A) 特開 平6−165182(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/18 G08B 13/196 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Atsushi Nakahara, 6-9 Takaracho, Kure-shi, Hiroshima Prefecture Inside the Kure Plant, Baccock Hitachi Ltd. (72) Nobuo Matsuo 6-9 Takaracho, Kure-shi, Hiroshima Prefecture, Babcock Day (56) References JP-A-7-85385 (JP, A) JP-A-6-60182 (JP, A) JP-A-6-165182 (JP, A) (58) Fields surveyed ( Int.Cl. 7 , DB name) H04N 7/18 G08B 13/196
Claims (8)
画像の輝度データを処理して被写体の状態を監視する監
視装置において、前記画像取り込み手段から取り込んだ
監視用画像とあらかじめ取り込んでおいた基準画像とを
比較して両画像のずれを修正するずれ補正手段と、補正
した画像全体をテクスチャ解析して特徴量を算出するテ
クスチャ解析手段と、前記ずれ補正手段により補正した
監視用画像を監視対象領域と背景領域とに分割する領域
分割手段と、該分割した領域に基いて前記背景領域の平
均輝度を求める輝度評価手段と、該輝度評価手段で求め
た輝度データとあらかじめ求めておいた輝度データとテ
クスチャ特徴量との関係からテクスチャ特徴量の基準デ
ータを選定する基準データ選定手段と、前記テクスチャ
解析手段で求めた特徴量と基準データ選定手段で選定し
た特徴量の基準データとを比較して被写体の異常の有無
を判定する異常判断手段とを有することを特徴とする監
視装置。1. A monitoring apparatus for monitoring the state of a subject by processing luminance data of a monitoring image fetched from an image fetching means.
The monitoring image and the reference image
A displacement correcting means for comparing and correcting the displacement between the two images;
Texture analysis means for calculating the feature amount by texture analysis of the entire image thus obtained, and correction by the shift correction means.
Area that divides the monitoring image into a monitoring target area and a background area
Dividing means for dividing the background area based on the divided area;
Brightness evaluation means for obtaining the average brightness;
A reference data selecting means for selecting the reference data of the texture features from the relationship between the luminance data and texture feature which has been previously determined to luminance data, selected by the feature and the reference data selecting means which has been determined by the texture analyzer A monitoring device for determining whether or not the subject is abnormal by comparing the reference data of the characteristic amount with the reference data.
記テクスチャ解析手段および基準データ選定手段が、分
散、コントラストおよびエントロピのうちいずれか一つ
または二つ以上をテクスチャ特徴量として使用するもの
であることを特徴とする監視装置。2. A monitoring device as claimed in claim 1, wherein the vertex Chi catcher analyzing means and the reference data selecting means, the dispersion is used as the texture feature either one or more of the contrast and entropy A monitoring device characterized in that:
記監視用画像の背景領域の平均輝度と照度または赤外強
度との関係に基いて前記監視用画像を取り込む画像取り
込み手段を選定する切替装置を設けたことを特徴とする
監視装置。 3. The monitoring apparatus according to claim 1 , wherein the image capturing means for capturing the monitoring image is selected based on a relationship between an average luminance of a background area of the monitoring image and illuminance or infrared intensity. A monitoring device comprising a device.
高感度カメラおよび赤外線カメラのうちの何れか一つま
たは二つ以上の組み合わせであることを特徴とする請求
項3に記載の監視装置。4. The image capturing means according to claim 1, wherein :
Claims : A combination of one or more of a high sensitivity camera and an infrared camera.
Item 4. The monitoring device according to Item 3 .
画像の輝度データを処理して被写体の状態を監視する監
視方法において、前記画像取り込み手段から取り込んだ
監視用画像をあらかじめ記憶しておいた基準画像と比較
して画像のずれを修正するずれ修正工程と、補正した画
像全体をテクスチャ解析して特徴量を算出するテクスチ
ャ解析工程と、前記ずれ補正工程後の監視用画像を監視
対象領域と背景領域とに分割する領域分割工程と、該分
割した領域に基いて背景領域の平均輝度を求める輝度評
価工程と、該輝度評価工程で求めた輝度データと、あら
かじめ求めておいた輝度データとテクスチャ特徴量との
関係からテクスチャ特徴量の基準データを選定する工程
と、前記テクスチャ解析工程で算出した監視用画像全体
のテクスチャ特徴量と前記基準データ選定工程で選定し
たテクスチャ特徴量の基準データとを比較して被写体の
異常の有無を判断する異常判断工程とを有することを特
徴とする監視方法。 5. A monitoring method for monitoring the state of a subject by processing luminance data of a monitoring image fetched from an image fetching means, wherein a monitoring image fetched from said image fetching means is stored in advance. A shift correction step of correcting a shift of an image by comparing with a texture analysis step of performing a texture analysis on the entire corrected image to calculate a feature amount; and a monitoring target area and a background area after the shift correction step. And a luminance evaluation step of obtaining an average luminance of a background area based on the divided area; luminance data obtained in the luminance evaluation step; luminance data and a texture feature amount obtained in advance. Selecting the reference data of the texture feature amount from the relationship between the texture feature amount and the texture feature amount of the entire monitoring image calculated in the texture analysis step. Monitoring method characterized in that it comprises an abnormality determination step of determining the presence or absence of an abnormality of the subject by comparing the reference data of the texture feature values selected in the reference data selecting step.
記被写体の異常の有無の判断を2回以上行い、全て同一
判断が得られた場合には当該判断結果を最終判断とし、
同一判断が得られない場合には、あらかじめ求めておい
た背景領域の輝度データとテクスチャ特徴量との関係に
基づくテクスチャ特徴量の全ての基準データのうち差分
値が最小となるテクスチャ特徴量を基準データとして決
定し、該決定したテクスチャ特徴量の基準データと前記
テクスチャ解析により処理した監視用画像全体のデータ
とを比較して異常の有無を判断することを特徴とする監
視方法。 6. The monitoring method according to claim 5 , wherein the determination of the presence or absence of the abnormality of the subject is performed twice or more, and when all the same determinations are obtained, the result of the determination is final.
If the same judgment cannot be obtained, the texture feature amount that minimizes the difference value among all the reference data of the texture feature amount based on the relationship between the luminance data of the background region and the texture feature amount that has been obtained in advance is used as a reference. A monitoring method, wherein the monitoring data is determined as data, and the determined reference data of the texture feature amount is compared with data of the entire monitoring image processed by the texture analysis to determine whether there is an abnormality.
一判断が得られない場合には、前記被写体の異常の有無
の判断を、前記テクスチャ解析により処理した監視用画
像全体のテクスチャ特徴量と、前記求めたテクスチャ特
徴量の全ての基準データとを比較し、両者のテクスチャ
特徴量の差があらかじめ設定した値以下となるものが少
なくとも一つある場合には正常と判断し、全てが大きい
場合には異常と判断することを特徴とする監視方法。7. In the monitoring method according to claim 6 , when the same determination cannot be obtained, the determination as to whether or not the subject is abnormal is made based on a texture feature amount of the entire monitoring image processed by the texture analysis. Comparing all the reference data of the obtained texture feature amounts with each other. If there is at least one whose difference between the texture feature amounts is equal to or smaller than a preset value, it is determined that the texture feature amounts are normal, and if all of them are large, A monitoring method characterized by determining an abnormality.
方法において、照度をはじめとする外乱により前記被写
体に異常があると判断した場合のテクスチャ特徴量の基
準データを、テクスチャ解析した監視用画像全体のデー
タと比較するための新たなテクスチャ特徴量の基準デー
タとして登録する工程を有することを特徴とする監視方
法。 8. The monitoring method according to claim 5, wherein the reference data of the texture feature when the subject is determined to be abnormal due to disturbance such as illuminance is texture-analyzed. A method of registering as reference data of a new texture feature amount for comparison with data of the entire image for use.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13473596A JP3195537B2 (en) | 1996-05-29 | 1996-05-29 | Monitoring device and monitoring method using the device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13473596A JP3195537B2 (en) | 1996-05-29 | 1996-05-29 | Monitoring device and monitoring method using the device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09322151A JPH09322151A (en) | 1997-12-12 |
JP3195537B2 true JP3195537B2 (en) | 2001-08-06 |
Family
ID=15135372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13473596A Expired - Lifetime JP3195537B2 (en) | 1996-05-29 | 1996-05-29 | Monitoring device and monitoring method using the device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3195537B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6432182B2 (en) | 2014-07-02 | 2018-12-05 | 富士通株式会社 | Service providing apparatus, method, and program |
CN109313442B (en) | 2016-06-08 | 2021-11-09 | 埃克森美孚研究工程公司 | Automated visual and acoustic analysis for event detection |
-
1996
- 1996-05-29 JP JP13473596A patent/JP3195537B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09322151A (en) | 1997-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2644844B2 (en) | Distributed image recognition system | |
JP4803376B2 (en) | Camera tampering detection method | |
CN110996060A (en) | Industrial automation intelligent linkage system and method | |
JPH0337354B2 (en) | ||
EP2000952A2 (en) | Smoke detecting method and device | |
JP3486229B2 (en) | Image change detection device | |
CN108288361A (en) | A kind of passageway for fire apparatus door state detection method | |
JP3377659B2 (en) | Object detection device and object detection method | |
JP3195537B2 (en) | Monitoring device and monitoring method using the device | |
CN117768610A (en) | High-speed railway perimeter intrusion risk monitoring method and system based on multi-target recognition | |
CN112633157A (en) | AGV working area safety real-time detection method and system | |
JP5710230B2 (en) | Monitoring system and monitoring method | |
CN116342481A (en) | Converter flue slagging monitoring system and method based on machine vision | |
JPH11284982A (en) | Monitoring device and method | |
JP7328778B2 (en) | Image processing device and image processing program | |
JP2011061651A (en) | Suspicious object detection system | |
JPH1042274A (en) | Abnormality monitoring method and device | |
JPH07192186A (en) | Method for abnormality detection using image | |
JP3869780B2 (en) | Ground surface monitoring system | |
JPH0520558A (en) | Noise removing method in monitor using infrared ray image by infrared ray camera | |
JP3295482B2 (en) | Moving object detection method and apparatus | |
CN108985144A (en) | A kind of high efficiency, low cost image fire automatic identifying method and device | |
CN116708723B (en) | Camera exception handling method and system | |
JPH06294808A (en) | Method and device for moving body detection | |
CN117081237B (en) | Method and system for identifying hidden danger of power transmission line based on radar scanning and image acquisition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 12 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |