JP2008236353A - Camera abnormality detection device - Google Patents

Camera abnormality detection device Download PDF

Info

Publication number
JP2008236353A
JP2008236353A JP2007072849A JP2007072849A JP2008236353A JP 2008236353 A JP2008236353 A JP 2008236353A JP 2007072849 A JP2007072849 A JP 2007072849A JP 2007072849 A JP2007072849 A JP 2007072849A JP 2008236353 A JP2008236353 A JP 2008236353A
Authority
JP
Japan
Prior art keywords
image
camera
reference image
unit
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007072849A
Other languages
Japanese (ja)
Inventor
Yukimasa Sugino
幸正 杉野
Seiji Okumura
誠司 奥村
Masao Wakabayashi
正男 若林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007072849A priority Critical patent/JP2008236353A/en
Publication of JP2008236353A publication Critical patent/JP2008236353A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that the conventional camera abnormality detection device causes a deterioration in determination performance instead of being a proper reference image and also has to adjust comparison determination reference according to a camera installation environment when an object and a person other than a background image is projected during acquiring a camera image because of acquiring the camera image at updating timing for a reference image. <P>SOLUTION: This camera abnormality detection device is provided with: an image receiving part for receiving an image transmitted from the camera; a reference image storing part for storing a value estimated as a standard image transmitted from the camera as a reference image; an abnormality determining part for comparing an image received by the image receiving part during operating with the reference image stored in the reference image storing part to determine the existence/absence of a camera abnormality according to a prescribed criterion; and a criterion correcting part for sequentially correcting a criterion to be used by a reference image correcting part for sequentially correcting the reference image stored in the reference image storing part or by the abnormality determining part on the basis of the image received by the image receiving part. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、画像監視システム等のカメラに妨害行為や偽装行為等が行われているか否かを検知するカメラ異常検知装置に関し、特にカメラの異常判定のための参照画像および判定基準を補正する技術に関する。   The present invention relates to a camera abnormality detection device that detects whether or not an obstruction or camouflage action is performed on a camera such as an image monitoring system, and in particular, a technique for correcting a reference image and a determination criterion for determining an abnormality of the camera. About.

画像監視システムで、カメラのレンズ面にシールを貼る、スプレーをかける等の妨害行為や、監視の目をごまかすために、カメラの撮像位置や撮像方向を変える等の偽装行為が行われた時に、そのような行為を監視カメラおよび画像監視システム自体で検知するものに、例えば特開2005-252479号公報(監視カメラ妨害検知装置)に示される技術がある。この従来のカメラの異常を検知する「監視カメラ妨害検知装置」は、入力画像に対して妨害行為が行われているかどうかの判断基準となる基準画像(参照画像)を、基準画像更新タイミングで複数自動的に取り込み、複数の基準画像の各々と入力画像との間で画像特徴を比較して画像間の不一致度を求め、妨害行為が行われているかどうかを判定するようにしていた。   In the image monitoring system, when an act of obstruction such as sticking a sticker on the lens surface of the camera or spraying, or a camouflage action such as changing the imaging position or direction of the camera in order to fool the eyes of the surveillance, For example, Japanese Unexamined Patent Application Publication No. 2005-252479 (surveillance camera disturbance detection device) discloses a technique for detecting such an action by the monitoring camera and the image monitoring system itself. This “surveillance camera tampering detection device” for detecting an abnormality of a conventional camera uses a plurality of reference images (reference images) as a criterion for judging whether or not an input image is disturbed at a reference image update timing. It is automatically captured, image characteristics are compared between each of the plurality of reference images and the input image, the degree of inconsistency between the images is obtained, and it is determined whether or not a disturbing action is being performed.

特開2005-252479号公報 第4頁、第2図JP-A-2005-252479, page 4, Fig. 2

従来のカメラ異常検知装置は、更新タイミングにおけるカメラ画像を参照画像(基準画像)として取り込んでいるため、ちょうど参照画像取り込みのタイミングで参照画像以外の物体や人がカメラ画像に映り込んだ場合に、取り込まれた参照画像が適切な画像でなくなり、判定性能劣化の影響が生じるという問題点があった。また、カメラの設置環境に応じて比較判定の基準を調整する必要があるという問題点があった。   Since the conventional camera anomaly detection device captures the camera image at the update timing as a reference image (standard image), when an object or person other than the reference image is reflected in the camera image at the timing of capturing the reference image, There is a problem in that the captured reference image is not an appropriate image and the determination performance deteriorates. In addition, there is a problem that it is necessary to adjust the reference for comparison and determination according to the installation environment of the camera.

この発明は上記のような問題点を解決するためになされたもので、参照画像の選び方が不適切であっても適切な参照画像に自動補正され、良好な判定性能が得られるようにすることを目的とする。また、カメラの設置環境に応じた比較判定の基準の調整を不要にすることを目的とする。   The present invention has been made to solve the above-described problems, and is capable of automatically correcting an appropriate reference image to obtain a good determination performance even if the selection method of the reference image is inappropriate. With the goal. It is another object of the present invention to eliminate the need for adjustment of comparison criteria according to the camera installation environment.

この発明に係るカメラ異常検知装置は、
カメラの正常時に対象を撮影した画像を参照画像とし、作動中にカメラで対象を撮影した画像を上記参照画像と比較してカメラの異常を検知するカメラ異常検知装置において、
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記作動中に画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部と、
上記画像受信部で受信した画像に基づいて、上記参照画像保存部に保存された上記参照画像を逐次補正する参照画像補正部、または上記作動中に画像受信部で受信した画像に基づいて、上記異常判定部において用いられる上記判定基準を逐次補正する判定基準補正部を備える。
The camera abnormality detection device according to the present invention is:
In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
An abnormality determination unit that compares an image received by the image reception unit during the operation and a reference image stored in the reference image storage unit, and determines whether there is a camera abnormality based on a predetermined determination criterion;
Based on the image received by the image receiving unit, the reference image correcting unit that sequentially corrects the reference image stored in the reference image storing unit, or based on the image received by the image receiving unit during the operation, A determination criterion correction unit that sequentially corrects the determination criterion used in the abnormality determination unit is provided.

この発明に係るカメラ異常検知装置によれば、参照画像を入力画像にあわせて適切な値に変更するようにしているので、参照画像の初期値の選び方が適切でなくても、自動的に適切な値に修正され、初期設定作業の煩雑さが軽減される効果がある。
また、参照画像を入力画像にあわせて適切な値に変更するようにしているので、時間によって光量が変化するような環境でカメラを使用する場合でも、環境に応じて適切な値に参照画像が補正され、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
According to the camera abnormality detection device of the present invention, since the reference image is changed to an appropriate value in accordance with the input image, it is automatically appropriate even if the initial value of the reference image is not properly selected. This is effective to reduce the complexity of the initial setting work.
In addition, since the reference image is changed to an appropriate value according to the input image, even when the camera is used in an environment where the amount of light changes with time, the reference image is set to an appropriate value according to the environment. There is an effect that it is possible to perform a stable operation that is corrected and has few errors in abnormality determination.

実施の形態1.
図1はこの発明の実施の形態1におけるカメラ異常検知装置が適用される画像監視システムの一例を示す構成図である。
図1において、1は監視対象エリアを撮影し、撮影した画像をネットワーク2に送出するカメラ、2はカメラ1、レコーダ3、表示端末4、カメラ異常検知装置5が接続されるネットワーク、3はカメラ1からネットワーク2に送出された画像を録画するレコーダ、4はカメラ1からネットワーク2に送出された画像を表示する表示端末、5はネットワーク2に接続されたカメラ1の異常を検知するカメラ異常検知装置である。
Embodiment 1 FIG.
1 is a block diagram showing an example of an image monitoring system to which a camera abnormality detection device according to Embodiment 1 of the present invention is applied.
In FIG. 1, 1 is a camera that captures an area to be monitored and sends the captured image to the network 2. 2 is a network to which the camera 1, recorder 3, display terminal 4, and camera abnormality detection device 5 are connected. A recorder for recording images sent from 1 to the network 2, a display terminal for displaying images sent from the camera 1 to the network 2, and a camera abnormality detection for detecting an abnormality of the camera 1 connected to the network 2 Device.

次にこの画像監視システムの動作について説明する。
まずカメラ1は撮影した画像をデジタル化し、M−JPEG(Motion−Joint Photographic Experts Group)等の符号化方式により圧縮し、UDP(User Datagram Protocol)パケット化してネットワーク2にマルチキャスト送信する。
ネットワーク2はIP(Internet Protocol)ネットワークであり、カメラ1からネットワーク2にマルチキャスト送信された画像は、ネットワーク2に接続されたレコーダ3、表示端末4、カメラ異常検知装置5のそれぞれで受信される。
Next, the operation of this image monitoring system will be described.
First, the camera 1 digitizes the photographed image, compresses it by an encoding method such as M-JPEG (Motion-Joint Photographic Experts Group), etc., makes it a UDP (User Datagram Protocol) packet, and multicasts it to the network 2.
The network 2 is an IP (Internet Protocol) network, and an image multicast-transmitted from the camera 1 to the network 2 is received by each of the recorder 3, display terminal 4, and camera abnormality detection device 5 connected to the network 2.

レコーダ3は受信したカメラ1からの画像データをレコーダ3内部のハードディスク等の固定記憶装置に保存し、後にユーザからの要求により保存した画像データを再生して見ることができるようになっている。
表示端末4はカメラ1からのM−JPEG符号化された画像データを復号してディスプレイ画面に表示し、ユーザが監視対象のエリアをリアルタイムに監視できるようになっている。
カメラ異常検知装置5はカメラ1からのM−JPEG符号化された画像データを復号し、画像データを解析することによりカメラ1の異常の有無を判定する。
The recorder 3 stores the received image data from the camera 1 in a fixed storage device such as a hard disk inside the recorder 3, and can later reproduce and view the stored image data in response to a request from the user.
The display terminal 4 decodes the M-JPEG encoded image data from the camera 1 and displays it on the display screen, so that the user can monitor the area to be monitored in real time.
The camera abnormality detection device 5 determines whether or not there is an abnormality in the camera 1 by decoding the M-JPEG encoded image data from the camera 1 and analyzing the image data.

また、図2はこの発明の実施の形態1の図1に示されるカメラ異常検知装置5の詳細構成を示す構成図である。
図2において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部20はカメラ1が正常な時の標準的画像と推定される値を参照画像として保存する記憶素子、異常判定部30は画像受信部10で受信した画像データと参照画像保存部20に記憶された参照画像との比較によりカメラ1の異常の有無を判定する判定回路、参照画像補正部40は画像受信部10で受信した画像データと異常判定部30の判定結果に基づき、参照画像補正部20に記憶された参照画像を補正する回路である。
FIG. 2 is a block diagram showing a detailed configuration of the camera abnormality detection device 5 shown in FIG. 1 according to Embodiment 1 of the present invention.
In FIG. 2, an image receiving unit 10 is a receiving circuit that receives image data 100 transmitted from the camera 1, and a reference image storage unit 20 stores a value estimated as a standard image when the camera 1 is normal as a reference image. A storage element that performs abnormality determination unit 30 is a determination circuit that determines whether there is an abnormality in camera 1 by comparing image data received by image reception unit 10 with a reference image stored in reference image storage unit 20. Reference numeral 40 denotes a circuit that corrects the reference image stored in the reference image correction unit 20 based on the image data received by the image reception unit 10 and the determination result of the abnormality determination unit 30.

次に動作について説明する。
画像受信部10はネットワーク2を経由して送られてきたカメラ1からのM−JPEG符号化、UDPパケット化された画像データを受信し、まずUDPパケットを分解してペイロードを取り出し、次にペイロードのデータをJPEG復号して、各画素の輝度(Y)、色差(Cr、Cb)を得る。
Next, the operation will be described.
The image receiving unit 10 receives M-JPEG encoded and UDP packetized image data sent from the camera 1 via the network 2, first disassembles the UDP packet, extracts the payload, and then extracts the payload. Is subjected to JPEG decoding to obtain luminance (Y) and color difference (Cr, Cb) of each pixel.

参照画像保存部20は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための標準的画像と推定されるカメラ画像を参照画像として保存しておくものである。
参照画像保存部20内に保存する参照カメラ画像の初期値は、カメラ正常の時の画像データが用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像における、各画素の輝度(Y)と、色差(Cr、Cb)の値が参照カメラ画像として参照画像保存部20内に取り込まれる。
また、画像監視システムの運用を開始すると、参照画像保存部20は、参照画像補正部40からの指示に従い、参照カメラ画像を最適な値に補正する。
なお、上記初期値として取り込む画像は、人などの動く物体が映り込んでいないときの画像を使うことがより望ましいが、後に説明する参照画像補正部40の動作により参照カメラ画像が最適な値に補正されるので、人などの動く物体が映り込んでいても正常に動作する。
The reference image storage unit 20 stores, as a reference image, a camera image estimated as a standard image for use in determining whether the camera 1 is normal in an abnormality determination unit 30 described later.
As the initial value of the reference camera image stored in the reference image storage unit 20, image data when the camera is normal is used. For example, after the image monitoring system is installed and before the operation is started, the user can view the camera image on the display terminal 4. When the initial data capture instruction 102 is operated while confirming that it is normal, the luminance (Y) and color difference (Cr, Cb) values of each pixel in the camera image at the time of the operation are referenced as the reference camera image. The image is stored in the image storage unit 20.
When the operation of the image monitoring system is started, the reference image storage unit 20 corrects the reference camera image to an optimal value in accordance with an instruction from the reference image correction unit 40.
It is more preferable to use an image when a moving object such as a person is not reflected as an image to be captured as the initial value. However, the reference camera image is set to an optimum value by the operation of the reference image correction unit 40 described later. Because it is corrected, it works normally even if moving objects such as people are reflected.

次に異常判定部30は、画像受信部10から入力画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力するとともに、参照画像保存部20から参照画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力し、各画素について、入力画像と参照画像の輝度(Y)と、色差(Cr、Cb)の差を算出する。
そして、入力画像と参照画像の差が大きい画素数(Nd)を算出する。具体的には、例えば、以下の3つの条件のうち少なくとも1つを満足する画素数をカウントし、これを入力画像と参照画像の差が大きい画素数(Nd)とする。
Next, the abnormality determination unit 30 inputs the luminance (Y) and color difference (Cr, Cb) data of each pixel of the input image from the image receiving unit 10 and the luminance of each pixel of the reference image from the reference image storage unit 20. (Y) and color difference (Cr, Cb) data are input, and the difference between the luminance (Y) of the input image and the reference image and the color difference (Cr, Cb) is calculated for each pixel.
Then, the number of pixels (Nd) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of pixels satisfying at least one of the following three conditions is counted, and this is set as the number of pixels (Nd) having a large difference between the input image and the reference image.

条件1:算出された輝度(Y)の差(Dy)が、所定の閾値(THy)よりも大きい。
条件2:算出された色差(Cr)の差(Dcr)が、所定の閾値(THcr)よりも大きい。
条件3:算出された色差(Cb)の差(Dcb)が、所定の閾値(THcb)よりも大きい。
そして、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
Condition 1: The calculated luminance (Y) difference (Dy) is larger than a predetermined threshold (THy).
Condition 2: The calculated color difference (Cr) difference (Dcr) is larger than a predetermined threshold (THcr).
Condition 3: The calculated color difference (Cb) difference (Dcb) is larger than a predetermined threshold (THcb).
Then, when the counted number of pixels (Nd) is larger than a predetermined threshold value THnd, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.

参照画像補正部40は、異常判定部30の判定結果が「正常」の場合に、以下の処理により参照画像保存部20に記憶された参照画像を補正する。
すなわち、参照画像保存部20内に現在保存されている参照画像の各画素の輝度(Y)、色差(Cr、Cb)の値を、入力画像データの輝度(Y)、色差(Cr、Cb)の値に近づく方向に微小変動させ、新しい参照画像の輝度(Y)、色差(Cr、Cb)の値とする。
例えば輝度(Y)値の補正を例にとると、
Y(n):参照画像の、時刻nにおける特定の画素の輝度値
I(n):入力画像の、時刻nにおける上記と同じ画素の輝度値
P :所定の係数(0に近い正の値)
とした時に、
Y(n+1) = (1−P)・Y(n) +P・I(n)
の演算により、新しい参照画像の輝度値Y(n+1)を補正することができる。この処理を参照画像の全ての画素について行う。
When the determination result of the abnormality determination unit 30 is “normal”, the reference image correction unit 40 corrects the reference image stored in the reference image storage unit 20 by the following process.
That is, the luminance (Y) and color difference (Cr, Cb) values of each pixel of the reference image currently stored in the reference image storage unit 20 are used as the luminance (Y) and color difference (Cr, Cb) of the input image data. Is slightly changed in a direction approaching the value of Y, and the luminance (Y) and color difference (Cr, Cb) values of the new reference image are obtained.
For example, taking correction of luminance (Y) value as an example,
Y (n): luminance value of a specific pixel at time n of the reference image I (n): luminance value of the same pixel as above at time n of the input image P: predetermined coefficient (a positive value close to 0)
When
Y (n + 1) = (1-P) .Y (n) + P.I (n)
By this calculation, the luminance value Y (n + 1) of the new reference image can be corrected. This process is performed for all the pixels of the reference image.

また、色差(Cr、Cb)についても、上記で説明した輝度(Y)値と同様の処理により補正を行う。
そして、補正された新しい参照画像の輝度値、色差値を参照画像保存部20にセットする。
なお、参照画像補正部40は、異常判定部30の判定結果が「異常」の場合には、参照画像保存部20に対する参照画像の補正は行わない。
The color difference (Cr, Cb) is also corrected by the same process as the luminance (Y) value described above.
Then, the corrected brightness value and color difference value of the new reference image are set in the reference image storage unit 20.
The reference image correction unit 40 does not correct the reference image for the reference image storage unit 20 when the determination result of the abnormality determination unit 30 is “abnormal”.

以上のように、参照画像を入力画像にあわせて最適な値に変えるようにしているので、参照画像の初期値の選び方が適切でなくても、自動的に修正され、初期設定作業の煩雑さが軽減される効果がある。
また、参照画像を入力画像にあわせて最適な値に変えるようにしているので、時間によって光量が変化するような環境でカメラを使用する場合でも、環境に応じて最適な値に参照画像が補正され、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
As described above, since the reference image is changed to an optimum value according to the input image, even if the initial value of the reference image is not properly selected, it is automatically corrected and the initial setting work is complicated. Has the effect of being reduced.
Also, since the reference image is changed to the optimum value according to the input image, even when the camera is used in an environment where the amount of light changes with time, the reference image is corrected to the optimum value according to the environment. Thus, there is an effect that it is possible to perform a stable operation with few errors in abnormality determination.

なお、図1において、カメラ台数が1台の場合について説明したが、複数のカメラがネットワーク2に接続されている場合のカメラ異常検知にも適用できる。1台のカメラ異常検知装置5で多数のカメラの異常検知を行う場合、カメラ異常検知装置5内の処理負荷が増大するという課題があるが、カメラ異常検知装置5内でカメラからの画像のフレームを間引きして処理することで処理負荷を軽減でき、多数カメラにも対応可能である。   Although the case where the number of cameras is one has been described with reference to FIG. 1, it can also be applied to camera abnormality detection when a plurality of cameras are connected to the network 2. When detecting anomalies of a large number of cameras with one camera anomaly detection device 5, there is a problem that the processing load in the camera anomaly detection device 5 increases. The processing load can be reduced by thinning and processing, and a large number of cameras can be handled.

また、図1において、レコーダ3、表示端末4は必須の構成ではなく、レコーダ3での画像の録画を行わず表示端末4を用いて監視員がリアルタイム監視を行う構成や、表示端末4を用いたリアルタイム監視を行わずレコーダ3での画像の録画のみを行う構成にも適用できる。
また、図1において、カメラ1の異常の有無をカメラ異常検知装置5内で検出する構成について説明したが、カメラ1の異常検知の機能をレコーダ3もしくは表示端末4内に持たせても良い。
またカメラ1からの画像をマルチキャストで送信する例について説明したが、カメラ1からの画像はユニキャストで送信しても良い。
例えば、カメラ1の画像をユニキャストでレコーダ3に送信する場合は、レコーダ3内にカメラ異常検知機能を持たせれば良く、カメラ1の画像をユニキャストで表示端末4に送信する場合は、表示端末4内にカメラ異常検知機能を持たせれば良い。
In FIG. 1, the recorder 3 and the display terminal 4 are not indispensable configurations, and a configuration in which a monitor performs real-time monitoring using the display terminal 4 without recording an image with the recorder 3 or a display terminal 4 is used. The present invention can also be applied to a configuration in which only real-time image recording is performed without performing real-time monitoring.
In FIG. 1, the configuration in which the presence or absence of an abnormality in the camera 1 is detected in the camera abnormality detection device 5 has been described. However, the abnormality detection function of the camera 1 may be provided in the recorder 3 or the display terminal 4.
Moreover, although the example which transmits the image from the camera 1 by multicast was demonstrated, you may transmit the image from the camera 1 by unicast.
For example, when the image of the camera 1 is transmitted to the recorder 3 by unicast, the recorder 3 only needs to have a camera abnormality detection function. When the image of the camera 1 is transmitted to the display terminal 4 by unicast, The terminal 4 may have a camera abnormality detection function.

また、図1において、ネットワーク2がIPネットワークである場合について説明したが、IPネットワークに限らず、カメラ1から送信する画像をカメラ異常検知装置5で受信できる構成であれば適用可能である。
また、図1において、カメラ1がデジタル化されたカメラ画像をUDPパケット化するものについて説明したが、UDPに限らず、TCP(Transmission Control Protocol)等の他のプロトコルでパケット化するものであっても良い。
Further, although the case where the network 2 is an IP network has been described with reference to FIG. 1, the present invention is not limited to an IP network, and any configuration that can receive an image transmitted from the camera 1 by the camera abnormality detection device 5 is applicable.
Further, in FIG. 1, the camera 1 digitized camera image has been described as being converted into a UDP packet. However, the packet is not limited to UDP but is packetized with another protocol such as TCP (Transmission Control Protocol). Also good.

また、図1において、カメラ1からの画像がM−JPEGで符号化されるものについて説明したが、M−JPEGに限らず、MPEG(Moving Picture Experts Group)2、MPEG4等の他の符号化方式で符号化される場合や、圧縮符号化を行わない場合にも適用できる。例えばカメラ1からの画像を圧縮符号化しない場合、図2中の画像受信部10において復号処理が不要となる。   In FIG. 1, the image from the camera 1 is described as being encoded by M-JPEG. However, the encoding is not limited to M-JPEG, but other encoding methods such as MPEG (Moving Picture Experts Group) 2 and MPEG4. The present invention can also be applied to the case where encoding is performed by using the above method or when compression encoding is not performed. For example, when the image from the camera 1 is not compressed and encoded, the image receiving unit 10 in FIG.

また、カメラ1からの画像がアナログ信号で送信される構成においても、カメラ異常検知装置5で受信したアナログの画像信号を図2中の画像受信部10においてデジタル化することにより、この実施の形態1の構成にてカメラ1の異常検知が可能である。
また、図2において、画像受信部10は復号した画像信号を輝度(Y)と、色差(Cr、Cb)の形式で出力するものについて説明したが、Y、Cr、Cbに限らず、例えばRGB(Red−Green−Blue)の形式であっても良い。
Further, even in a configuration in which an image from the camera 1 is transmitted as an analog signal, the analog image signal received by the camera abnormality detection device 5 is digitized by the image receiving unit 10 in FIG. With the configuration of 1, the abnormality of the camera 1 can be detected.
In FIG. 2, the image receiving unit 10 has described that the decoded image signal is output in the form of luminance (Y) and color difference (Cr, Cb), but not limited to Y, Cr, Cb, for example, RGB (Red-Green-Blue) format may be used.

また、図2において、参照画像保存部20において保存するデータは画素ごとのY、Cr、Cbに限らず、RGBでもよい。また、複数の画素のデータの代表値(平均、最大、最小)や、画像の特徴を示す値(特徴量)を抽出して保存してもよい。
また、図2における異常判定部30は、入力画像と参照画像の差が大きい画素数(Nd)を算出し、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定するものについて説明したが、これは判定基準の一例を示したものであり、他の判定基準であっても良い。
In FIG. 2, the data stored in the reference image storage unit 20 is not limited to Y, Cr, and Cb for each pixel, but may be RGB. Also, representative values (average, maximum, minimum) of data of a plurality of pixels and values (feature amounts) indicating image features may be extracted and stored.
Further, the abnormality determination unit 30 in FIG. 2 calculates the number of pixels (Nd) having a large difference between the input image and the reference image, and if the counted number of pixels (Nd) is larger than a predetermined threshold value THnd, the abnormality is determined. Although what has been determined and otherwise determined to be normal has been described, this is an example of a criterion, and other criteria may be used.

また、図2における参照画像補正部40は、
Y(n+1) = (1−P)・Y(n) +P・I(n)
の演算により、新しい参照画像の輝度値Y(n+1)を補正するようにしていたが、これは補正処理の一例を示したものであり、他の演算式により補正するものであっても良い。
Further, the reference image correction unit 40 in FIG.
Y (n + 1) = (1-P) .Y (n) + P.I (n)
The brightness value Y (n + 1) of the new reference image is corrected by the above calculation, but this is an example of the correction process, and even if it is corrected by another calculation formula good.

例えば、輝度(Y)値の補正について、
Y(n):参照画像の、時刻nにおける特定の画素の輝度値
I(n):入力画像の、時刻nにおける上記と同じ画素の輝度値
THy0:所定の閾値(正の値)
ΔY :所定の値(THy0>ΔY>0)
とした時に、
Y(n+1) = Y(n) + ΔY, I(n)>Y(n)+THy0の場合
Y(n+1) = Y(n) − ΔY, I(n)<Y(n)−THy0の場合
Y(n+1) = Y(n), Y(n)+THy0≧I(n)≧Y(n)−THy0の場合
の演算により、新しい参照画像の輝度値Y(n+1)を補正して、この処理を参照画像の全ての画素について行い、色差(Cr、Cb)についても、上記と同様の処理により補正を行うようにしても良い。
For example, regarding correction of the luminance (Y) value,
Y (n): luminance value of a specific pixel at time n in the reference image I (n): luminance value of the same pixel as above at time n in the input image THy0: predetermined threshold (positive value)
ΔY: predetermined value (THy0>ΔY> 0)
When
When Y (n + 1) = Y (n) + ΔY, I (n)> Y (n) + THy0 Y (n + 1) = Y (n) −ΔY, I (n) <Y (n) − In the case of THy0 Y (n + 1) = Y (n), Y (n) + THy0 ≧ I (n) ≧ Y (n) −Thy0, the luminance value Y (n + 1) of the new reference image This processing may be performed for all the pixels of the reference image, and the color difference (Cr, Cb) may be corrected by the same processing as described above.

実施の形態2.
以上の実施の形態1では、参照画像を入力画像にあわせて最適な値に変えるようにしたものであるが、異常判定処理における判定基準を入力画像にあわせて最適な値に変えるようにする実施の形態を示す。
図3は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図3において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部20はカメラ1が正常な時の標準的画像と推定される値を参照画像として保存する記憶素子、異常判定部30は画像受信部10で受信した画像データと参照画像保存部20に記憶された参照画像との比較によりカメラ1の異常の有無を判定する判定回路、判定基準補正部50は異常判定部30で用いられる判定基準を補正する回路である。
Embodiment 2. FIG.
In the first embodiment described above, the reference image is changed to an optimal value according to the input image. However, the determination criterion in the abnormality determination process is changed to an optimal value according to the input image. The form of is shown.
FIG. 3 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 3, an image receiving unit 10 receives the image data 100 transmitted from the camera 1, and a reference image storage unit 20 stores a value estimated as a standard image when the camera 1 is normal as a reference image. The storage element, abnormality determination unit 30 is a determination circuit that determines the presence or absence of abnormality of the camera 1 by comparing the image data received by the image reception unit 10 with the reference image stored in the reference image storage unit 20, and a determination criterion correction unit. Reference numeral 50 denotes a circuit for correcting a determination criterion used in the abnormality determination unit 30.

次に動作について説明する。
画像受信部10の動作は上記実施の形態1と同様である。
参照画像保存部20は、異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像を参照画像として保存しておくものである。
参照画像保存部20内に保存する参照カメラ画像の初期値は、カメラ正常の時の画像データが用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像における、各画素の輝度(Y)、色差(Cr、Cb)の値が参照カメラ画像として参照画像保存部20内に取り込まれる。
Next, the operation will be described.
The operation of the image receiving unit 10 is the same as that in the first embodiment.
The reference image storage unit 20 stores, as a reference image, a camera image estimated as a standard image for use in the abnormality determination unit 30 to determine whether the camera 1 is normal.
As the initial value of the reference camera image stored in the reference image storage unit 20, image data when the camera is normal is used. For example, after the image monitoring system is installed and before the operation is started, the user can view the camera image on the display terminal 4. When the initial data capture instruction 102 is operated while confirming that it is normal, the luminance (Y) and color difference (Cr, Cb) values of each pixel in the camera image at the time of the operation are used as a reference camera image. It is captured in the storage unit 20.

次に異常判定部30は、画像受信部10から入力画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力するとともに、参照画像保存部20から参照画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力し、各画素について、入力画像と参照画像の輝度(Y)と、色差(Cr、Cb)の差を算出する。
そして、入力画像と参照画像の差が大きい画素数(Nd)を算出する。具体的には、例えば、以下の3つの条件のうち少なくとも1つを満足する画素数をカウントし、これを入力画像と参照画像の差が大きい画素数(Nd)とする。
条件1:算出された輝度(Y)の差が、所定の閾値(THy)よりも大きい。
条件2:算出された色差(Cr)の差が、所定の閾値(THcr)よりも大きい。
条件3:算出された色差(Cb)の差が、所定の閾値(THcb)よりも大きい。
そして、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
Next, the abnormality determination unit 30 inputs the luminance (Y) and color difference (Cr, Cb) data of each pixel of the input image from the image receiving unit 10 and the luminance of each pixel of the reference image from the reference image storage unit 20. (Y) and color difference (Cr, Cb) data are input, and the difference between the luminance (Y) of the input image and the reference image and the color difference (Cr, Cb) is calculated for each pixel.
Then, the number of pixels (Nd) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of pixels satisfying at least one of the following three conditions is counted, and this is set as the number of pixels (Nd) having a large difference between the input image and the reference image.
Condition 1: The calculated luminance (Y) difference is larger than a predetermined threshold (THy).
Condition 2: The calculated color difference (Cr) difference is larger than a predetermined threshold value (THcr).
Condition 3: The calculated difference in color difference (Cb) is larger than a predetermined threshold value (THcb).
Then, when the counted number of pixels (Nd) is larger than a predetermined threshold value THnd, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.

ここで、上記閾値THy、THcr、THcbは、固定値ではなく、判定基準補正部50からの指示に従い、適切な値に補正される。
判定基準補正部50は、異常判定部30の判定結果が「正常」の場合に、以下の処理により異常判定部30で用いられる閾値THy、THcr、THcbの補正を指示する。
Here, the threshold values THy, THcr, THcb are not fixed values, but are corrected to appropriate values in accordance with instructions from the determination reference correction unit 50.
When the determination result of the abnormality determination unit 30 is “normal”, the determination reference correction unit 50 instructs correction of the thresholds THy, THcr, and THcb used in the abnormality determination unit 30 by the following process.

すなわち、異常判定部30においてカウントされた画素数(Nd)が、所定の値THnd2(但し、THnd>THnd2)よりも大きい状態が所定時間継続した場合、カメラの設置場所の人通りが多いなどの理由により画像の変化が大きいと判断し、現在用いられている閾値THy、THcr、THcbを、より画像の変化の大きい環境に適した値に補正するため、それぞれ微小量増大させる。
すなわち、
THy(n):時刻nにおける閾値THy
THcr(n):時刻nにおける閾値THcr
THcb(n):時刻nにおける閾値THcb
ΔTHy、ΔTHcr、ΔTHcb:微小量
とした時に、
THy(n+1) = THy(n) +ΔTHy
THcr(n+1) = THcr(n) +ΔTHcr
THcb(n+1) = THcb(n) +ΔTHcb
の演算により、新しい閾値THy(n+1)、THcr(n+1)、THcb(n+1)を定めることができる。
That is, when the state where the number of pixels (Nd) counted by the abnormality determination unit 30 is larger than a predetermined value THnd2 (where THnd> THnd2) continues for a predetermined time, there are many people at the camera installation location. It is determined that the change in the image is large for the reason, and the thresholds THy, THcr, and THcb that are currently used are increased by a small amount in order to correct the values to be suitable for an environment where the change in the image is larger.
That is,
THy (n): threshold THy at time n
THcr (n): threshold THcr at time n
THcb (n): threshold THcb at time n
ΔTHy, ΔTHcr, ΔTHcb: When the amount is minute,
THy (n + 1) = THy (n) + ΔTHy
THcr (n + 1) = THcr (n) + ΔTHcr
THcb (n + 1) = THcb (n) + ΔTHcb
The new threshold values THy (n + 1), THcr (n + 1), and THcb (n + 1) can be determined by the above calculation.

一方、異常判定部30においてカウントされた画素数(Nd)が、所定の値THnd2(但し、THnd>THnd2)よりも小さい状態が所定時間継続した場合、カメラの設置場所の人通りがほとんど無いなどの理由により画像の変化が小さいと判断し、現在用いられている閾値THy、THcr、THcbを、より画像の変化の小さい環境に適した値に補正するため、それぞれ微小量減少させる。
すなわち、
THy(n):時刻nにおける閾値THy
THcr(n):時刻nにおける閾値THcr
THcb(n):時刻nにおける閾値THcb
ΔTHy、ΔTHcr、ΔTHcb:微小量
とした時に、
THy(n+1) = THy(n) −ΔTHy
THcr(n+1) = THcr(n) −ΔTHcr
THcb(n+1) = THcb(n) −ΔTHcb
の演算により、新しい閾値THy(n+1)、THcr(n+1)、THcb(n+1)を定めることができる。
なお、判定基準補正部50は、異常判定部30の判定結果が「異常」の場合には、異常判定部30に対する閾値の補正指示は行わない。
On the other hand, when the number of pixels (Nd) counted by the abnormality determination unit 30 is smaller than a predetermined value THnd2 (however, THnd> THnd2) for a predetermined time, there is almost no traffic at the camera installation location. For this reason, it is determined that the image change is small, and the thresholds THy, THcr, and THcb that are currently used are reduced by a small amount in order to correct the threshold values THy, THcr, and THcb to values suitable for an environment with a smaller image change.
That is,
THy (n): threshold THy at time n
THcr (n): threshold THcr at time n
THcb (n): threshold THcb at time n
ΔTHy, ΔTHcr, ΔTHcb: When the amount is minute,
THy (n + 1) = THy (n) −ΔTHy
THcr (n + 1) = THcr (n) −ΔTHcr
THcb (n + 1) = THcb (n) −ΔTHcb
The new threshold values THy (n + 1), THcr (n + 1), and THcb (n + 1) can be determined by the above calculation.
The determination reference correction unit 50 does not issue a threshold correction instruction to the abnormality determination unit 30 when the determination result of the abnormality determination unit 30 is “abnormal”.

以上のように、異常判定部30で用いる判定閾値を入力画像にあわせて最適な値に変えるようにしているので、カメラの設置環境(人通りの多少など)にかかわらず、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
なお、上記実施の形態2においては、参照画像の補正を行わず、異常判定処理における判定基準を入力画像にあわせて最適な値に変えるようにする実施の形態について説明したが、実施の形態1で説明した参照画像の補正処理を、この実施の形態の構成と組み合わせて用いても良い。
また、図3の判定基準補正部50において、異常判定部30で用いられる閾値THy、THcr、THcbの補正を指示するものについて説明したが、補正する閾値はTHy、THcr、THcbに限らず、例えば閾値THndを補正しても良い。
As described above, since the determination threshold value used in the abnormality determination unit 30 is changed to an optimum value according to the input image, an error in the abnormality determination is caused regardless of the installation environment of the camera (such as the degree of traffic). There is an effect that a small and stable operation can be performed.
In the second embodiment, the reference image is not corrected, and the determination criterion in the abnormality determination process is changed to an optimum value according to the input image. However, the first embodiment is described. The reference image correction processing described in (1) may be used in combination with the configuration of this embodiment.
Further, in the determination reference correction unit 50 of FIG. 3, the description has been given for instructing correction of the thresholds THy, THcr, and THcb used in the abnormality determination unit 30, but the correction thresholds are not limited to THy, THcr, and THcb. The threshold value THnd may be corrected.

実施の形態3.
上記の実施の形態1では、参照画像と入力画像とを画素ごとに比較するようにしたものであるが、参照画像と入力画像をそれぞれ複数エリアのブロックに分割し、ブロックごとに画像の特徴量を抽出して比較するようにする実施の形態を示す。
図4は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図4において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部21はカメラ1が正常な時の標準的画像と推定される画像の特徴量を参照データとして保存する記憶素子、異常判定部30は特徴量抽出部80で抽出した画像の特徴量と参照画像保存部21に記憶された特徴量(参照データ)との比較によりカメラ1の異常の有無を判定する判定回路、参照画像補正部41は特徴量抽出部80で抽出した特徴量と異常判定部30の判定結果に基づき、参照画像保存部21に記憶された特徴量(参照データ)を補正する回路、ブロック分割部60は画像受信部10で受信した画像データを複数領域のブロックに分割し出力する回路、特徴量抽出部80は分割されたブロック毎に画像の特徴量を抽出する回路である。
Embodiment 3 FIG.
In the first embodiment, the reference image and the input image are compared for each pixel. However, the reference image and the input image are each divided into blocks of a plurality of areas, and the feature amount of the image for each block. An embodiment will be described in which the above are extracted and compared.
FIG. 4 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 4, an image receiving unit 10 receives a receiving circuit that receives image data 100 transmitted from the camera 1, and a reference image storage unit 21 refers to an image feature amount estimated as a standard image when the camera 1 is normal. The storage element to be stored as data, the abnormality determination unit 30 determines whether the camera 1 is abnormal by comparing the feature amount of the image extracted by the feature amount extraction unit 80 with the feature amount (reference data) stored in the reference image storage unit 21. The reference image correction unit 41 corrects the feature amount (reference data) stored in the reference image storage unit 21 based on the feature amount extracted by the feature amount extraction unit 80 and the determination result of the abnormality determination unit 30. A circuit for dividing the image data received by the image receiving unit 10 into a plurality of blocks and outputting a block, and a feature amount extracting unit 80 extracts a feature amount of the image for each divided block. It is a circuit that.

次に動作について説明する。
画像受信部10の動作は上記実施の形態1と同様である。
ブロック分割部60は、画像受信部10の出力する各画素の輝度(Y)と、色差(Cr、Cb)を入力し、画像の1画面を複数領域のブロックに分割して、ブロック毎の輝度(Y)と、色差(Cr、Cb)信号を出力する。
特徴量抽出部80は、ブロック分割部60の出力するブロック毎の輝度(Y)と、色差(Cr、Cb)信号を入力し、ブロック毎に輝度(Y)の平均値を算出して、この値を画像の特徴量として出力する。
Next, the operation will be described.
The operation of the image receiving unit 10 is the same as that in the first embodiment.
The block dividing unit 60 inputs the luminance (Y) and color difference (Cr, Cb) of each pixel output from the image receiving unit 10, divides one screen of the image into blocks of a plurality of areas, and luminance for each block (Y) and a color difference (Cr, Cb) signal are output.
The feature amount extraction unit 80 inputs the luminance (Y) and color difference (Cr, Cb) signals for each block output from the block dividing unit 60, calculates the average value of the luminance (Y) for each block, The value is output as the feature amount of the image.

参照画像保存部21は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像の特徴量を参照データとして保存しておくものである。
参照画像保存部21内に保存する特徴量(参照データ)の初期値は、カメラ正常の時の画像データから算出されたブロック毎の輝度(Y)の平均値が用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像から特徴量抽出部80で算出された、画面分割された各ブロック毎の輝度(Y)の平均値が特徴量(参照データ)として参照画像保存部21内に取り込まれる。
The reference image storage unit 21 stores, as reference data, a feature amount of a camera image estimated as a standard image for use in determining whether the camera 1 is normal in an abnormality determination unit 30 described later. is there.
As the initial value of the feature value (reference data) stored in the reference image storage unit 21, an average value of luminance (Y) for each block calculated from image data when the camera is normal is used. When the user operates the initial data capture instruction 102 while confirming that the camera image is normal on the display terminal 4 after installation and before starting operation, the feature amount extraction unit 80 calculates from the camera image at the time of the operation. The average value of the luminance (Y) for each block obtained by dividing the screen is taken into the reference image storage unit 21 as a feature amount (reference data).

また、画像監視システムの運用を開始すると、参照画像保存部21は、参照画像補正部41からの指示に従い、特徴量(参照データ)を最適な値に補正する。
なお、上記初期値として取り込む画像の特徴量は、人などの動く物体が映り込んでいないときの画像から算出された特徴量を使うことがより望ましいが、後に説明する参照画像補正部41の動作により特徴量(参照データ)が最適な値に補正されるので、人などの動く物体が映り込んでいても正常に動作する。
When the operation of the image monitoring system is started, the reference image storage unit 21 corrects the feature amount (reference data) to an optimum value in accordance with an instruction from the reference image correction unit 41.
Note that it is more desirable to use the feature amount calculated from the image when a moving object such as a person is not reflected as the feature amount of the image to be captured as the initial value, but the operation of the reference image correction unit 41 described later will be described. Thus, the feature amount (reference data) is corrected to an optimum value, so that it operates normally even when a moving object such as a person is reflected.

次に異常判定部30は、特徴量抽出部80から入力画像の各ブロックの輝度(Y)の平均値データを入力するとともに、参照画像保存部21から特徴量(参照データ)として保存された各ブロックの輝度(Y)の平均値データを入力し、各ブロックについて、入力画像の輝度(Y)の平均値と、参照画像保存部21に参照データとして保存された輝度(Y)の平均値との差を算出する。
そして、入力画像と参照画像の差が大きいブロック数(Nb)を算出する。具体的には、例えば、以下の条件を満足するブロック数をカウントし、これを入力画像と参照画像の差が大きいブロック数(Nb)とする。
条件:算出された輝度の平均値(Ym)の差が、所定の閾値(THym)よりも大きい。
Next, the abnormality determination unit 30 inputs the average value data of the luminance (Y) of each block of the input image from the feature amount extraction unit 80 and stores each feature value (reference data) stored from the reference image storage unit 21. The average value data of the luminance (Y) of the block is input, and for each block, the average value of the luminance (Y) of the input image and the average value of the luminance (Y) stored as reference data in the reference image storage unit 21 Calculate the difference.
Then, the number of blocks (Nb) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of blocks satisfying the following conditions is counted, and this is set as the number of blocks (Nb) having a large difference between the input image and the reference image.
Condition: The difference in the calculated average brightness value (Ym) is larger than a predetermined threshold value (THym).

そして、カウントされたブロック数(Nb)が、所定の閾値THnbよりも大きい場合に異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
参照画像補正部41は、異常判定部30の判定結果が「正常」の場合に、以下の処理により参照画像保存部21に記憶された特徴量(参照データ)を補正する。
すなわち、参照画像保存部21内に現在保存されている参照画像の各ブロックの輝度(Y)の平均値を、各ブロックの入力画像データの輝度(Y)の平均値に近づく方向に微小変動させ、新しい参照画像の輝度(Y)の平均値とする。すなわち、
Ym(n):参照画像の、時刻nにおける特定のブロックの輝度平均値
Im(n):入力画像の、時刻nにおける上記と同じブロックの輝度平均値
P :所定の係数(0に近い正の値)
とした時に、
Ym(n+1) = (1−P)・Ym(n) +P・Im(n)
の演算により、新しい参照画像の輝度平均値Ym(n+1)を補正することができる。この処理を参照画像の全てのブロックについて行う。
Then, when the counted number of blocks (Nb) is larger than a predetermined threshold value THnb, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.
When the determination result of the abnormality determination unit 30 is “normal”, the reference image correction unit 41 corrects the feature amount (reference data) stored in the reference image storage unit 21 by the following processing.
That is, the average value of the luminance (Y) of each block of the reference image currently stored in the reference image storage unit 21 is slightly changed in a direction approaching the average value of the luminance (Y) of the input image data of each block. The average value of the luminance (Y) of the new reference image. That is,
Ym (n): average luminance value of a specific block at a time n in the reference image Im (n): average luminance value of the same block as that at the time n in the input image P: a predetermined coefficient (a positive value close to 0) value)
When
Ym (n + 1) = (1-P) .Ym (n) + P.Im (n)
By this calculation, the luminance average value Ym (n + 1) of the new reference image can be corrected. This process is performed for all blocks of the reference image.

そして、補正された新しい参照画像の輝度平均値を参照画像保存部21にセットする。
なお、参照画像補正部41は、異常判定部30の判定結果が「異常」の場合には、参照画像保存部21に対する特徴量(参照データ)の補正は行わない。
Then, the corrected average brightness value of the reference image is set in the reference image storage unit 21.
Note that the reference image correction unit 41 does not correct the feature amount (reference data) for the reference image storage unit 21 when the determination result of the abnormality determination unit 30 is “abnormal”.

以上のように、画像を複数のブロックに分割し、分割したブロック毎に参照画像と入力画像とを比較するようにし、差異の大きいブロック数が所定数以下の場合に正常と判定させるようにしたので、入力画像内に人物などの動く物体が映り込んだ場合でも、人物の映っていない背景部分のブロックの差異が少ないため、誤って異常と判定されるのを防ぐことができる効果がある。
また、参照データ保存部に保存された特徴量(参照データ)を入力画像にあわせて最適な値に変えるようにしているので、人通りの多少など画像の変化の大きさにかかわらず、設置環境に応じた最適な値に特徴量(参照データ)が補正され、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
As described above, the image is divided into a plurality of blocks, and the reference image and the input image are compared for each divided block, and when the number of blocks having a large difference is equal to or less than the predetermined number, it is determined that the image is normal. Therefore, even when a moving object such as a person is reflected in the input image, there is little difference between the blocks of the background portion where the person is not reflected, so that it is possible to prevent erroneous determination as abnormal.
In addition, the feature value (reference data) stored in the reference data storage unit is changed to an optimal value according to the input image. The feature amount (reference data) is corrected to an optimum value corresponding to the above, and there is an effect that a stable operation with few errors in abnormality determination can be performed.

また、画像を複数のブロックに分割し、ブロック毎に画像の特徴量を抽出して異常判定を行うので、異常判定部において比較するデータ数を削減でき、処理負荷を軽減できる効果がある。
なお、図4において、参照画像保存部21は、ブロック毎の輝度(Y)の平均値をカメラ画像の特徴量として保存するものについて説明したが、特徴量は輝度の平均値に限らない。例えば色差の平均値を特徴量として用いても良い
In addition, since the image is divided into a plurality of blocks and the feature amount of the image is extracted for each block and abnormality determination is performed, the number of data to be compared in the abnormality determination unit can be reduced, and the processing load can be reduced.
In FIG. 4, the reference image storage unit 21 has been described as storing the average value of luminance (Y) for each block as the feature value of the camera image, but the feature value is not limited to the average value of luminance. For example, an average value of color differences may be used as the feature amount.

実施の形態4.
上記の実施の形態1では、単一の参照画像を持たせて参照画像を入力画像にあわせて最適な値に変えるようにしていたが、次に適用させる時間帯に応じた複数の参照画像を持たせて、それぞれの参照画像を適用させる時間帯を入力画像にあわせて最適な値に変えるようにする実施の形態を示す。
Embodiment 4 FIG.
In Embodiment 1 described above, a single reference image is provided and the reference image is changed to an optimum value in accordance with the input image. However, a plurality of reference images corresponding to the time zone to be applied next are displayed. An embodiment is described in which the time zone in which each reference image is applied is changed to an optimal value in accordance with the input image.

図5は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図5において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部21、22はカメラ1が正常な時の標準的画像と推定される値を参照画像として保存する記憶素子、異常判定部30は画像受信部10で受信した画像データと参照画像保存部21もしくは参照画像保存部22に記憶された参照画像との比較によりカメラ1の異常の有無を判定する判定回路、参照画像読出し制御部70は異常判定部30で用いる参照画像として、参照画像保存部21もしくは参照画像保存部22に記憶された参照画像のうちいずれか一方を選択して読出す制御回路である。
FIG. 5 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 5, an image receiving unit 10 is a receiving circuit that receives image data 100 sent from the camera 1, and reference image storage units 21 and 22 are values that are estimated as standard images when the camera 1 is normal. The memory element to be stored as an abnormality determination unit 30 determines whether there is an abnormality in the camera 1 by comparing the image data received by the image receiving unit 10 with the reference image stored in the reference image storage unit 21 or the reference image storage unit 22. And a reference image read control unit 70 that selects and reads out one of the reference images stored in the reference image storage unit 21 or the reference image storage unit 22 as a reference image used in the abnormality determination unit 30. Circuit.

次に動作について説明する。
画像受信部10の動作は上記実施の形態1と同様である。
参照画像保存部21、22は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像を参照画像として保存しておくものである。このうち参照画像保存部21は昼の時間帯におけるカメラ異常判定に用いられ、昼間の明るい環境における参照カメラ画像が保存されている。一方参照画像保存部22は夜の時間帯におけるカメラ異常判定に用いられ、夜間の暗い環境における参照なカメラ画像が保存されている。
Next, the operation will be described.
The operation of the image receiving unit 10 is the same as that in the first embodiment.
The reference image storage units 21 and 22 store, as a reference image, a camera image presumed to be a standard image for use in determining whether the camera 1 is normal in an abnormality determination unit 30 described later. . Among these, the reference image storage unit 21 is used for camera abnormality determination in a daytime period, and stores a reference camera image in a daytime bright environment. On the other hand, the reference image storage unit 22 is used for camera abnormality determination in a night time zone, and stores a reference camera image in a dark environment at night.

参照画像保存部21、22内に保存する参照カメラ画像の初期値は、カメラ正常の時の画像データが用いられ、例えば画像監視システムの設置後、運用開始前に、昼の時間帯、夜の時間帯のそれぞれにおいて、システムの設置者が表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102、103の操作をすると、その操作時のカメラ画像における、各画素の輝度(Y)と、色差(Cr、Cb)の値が参照カメラ画像として参照画像保存部21もしくは参照画像保存部22内に取り込まれる。   As the initial value of the reference camera image stored in the reference image storage units 21 and 22, image data when the camera is normal is used. For example, after the image monitoring system is installed and before the operation is started, the time of day and night When the system installer operates the initial data capture instructions 102 and 103 while confirming that the camera image is normal on the display terminal 4 in each time period, each pixel in the camera image at the time of the operation is displayed. The luminance (Y) and color difference (Cr, Cb) values are taken into the reference image storage unit 21 or the reference image storage unit 22 as a reference camera image.

次に異常判定部30は、画像受信部10から入力画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力するとともに、参照画像読出し制御部70を経由して、参照画像保存部21もしくは参照画像保存部22からの参照画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力し、各画素について、入力画像と参照画像の輝度(Y)と、色差(Cr、Cb)の差を算出する。   Next, the abnormality determination unit 30 inputs the luminance (Y) and color difference (Cr, Cb) data of each pixel of the input image from the image reception unit 10, and passes through the reference image read control unit 70 to reference image. The luminance (Y) and color difference (Cr, Cb) data of each pixel of the reference image from the storage unit 21 or the reference image storage unit 22 are input. For each pixel, the luminance (Y) of the input image and the reference image, The difference between the color differences (Cr, Cb) is calculated.

そして、入力画像と参照画像の差が大きい画素数(Nd)を算出する。具体的には、例えば、以下の3つの条件のうち少なくとも1つを満足する画素数をカウントし、これを入力画像と参照画像の差が大きい画素数(Nd)とする。
条件1:算出された輝度(Y)の差が、所定の閾値(THy)よりも大きい。
条件2:算出された色差(Cr)の差が、所定の閾値(THcr)よりも大きい。
条件3:算出された色差(Cb)の差が、所定の閾値(THcb)よりも大きい。
そして、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
Then, the number of pixels (Nd) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of pixels satisfying at least one of the following three conditions is counted, and this is set as the number of pixels (Nd) having a large difference between the input image and the reference image.
Condition 1: The calculated luminance (Y) difference is larger than a predetermined threshold (THy).
Condition 2: The calculated color difference (Cr) difference is larger than a predetermined threshold value (THcr).
Condition 3: The calculated difference in color difference (Cb) is larger than a predetermined threshold value (THcb).
Then, when the counted number of pixels (Nd) is larger than a predetermined threshold value THnd, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.

参照画像読出し制御部70は、明るい昼の時間帯は参照画像保存部21に保存された参照画像を読み出して異常判定部30に出力し、暗い夜の時間帯は参照画像保存部22に保存された参照画像を読み出して異常判定部30に出力する。
参照画像読出し制御部70が参照画像保存部21あるいは参照画像保存部22を読み出す時間帯は入力画像にあわせて最適な値に変えるようにする。その具体的手順を以下に説明する。
The reference image read control unit 70 reads the reference image stored in the reference image storage unit 21 during a bright daytime period and outputs the reference image to the abnormality determination unit 30, and is stored in the reference image storage unit 22 during a dark night time period. The read reference image is read out and output to the abnormality determination unit 30.
The time zone during which the reference image read control unit 70 reads the reference image storage unit 21 or the reference image storage unit 22 is changed to an optimum value according to the input image. The specific procedure will be described below.

参照画像読出し制御部70は、画像監視システムの設置後、運用開始前の初期状態においては、午前6時から午後6時までの間は参照画像保存部21に保存された昼用の参照画像を読み出し、午後6時から翌朝午前6時までの間は参照画像保存部22に保存された夜用の参照画像を読み出すよう、プリセットされているものとする。
そして、画像監視システムの運用を開始すると、参照画像読出し制御部70はプリセットされた時間帯に従って参照画像保存部21または参照画像保存部22に保存された参照画像を読出すように制御するが、参照画像保存部21または参照画像保存部22を適用する時間帯を、より適切な時間帯になるように自動的に変更する。
例えば、昼から夜への時間帯の変わり目において、画像受信部10の出力する各画素の輝度(Y)の平均値(Ym1)と、参照画像保存部21の出力する各画素の輝度(Y)の平均値(Ym2)を算出し、これらの平均値(Ym1、Ym2)を比較し、
Ym1<Ym2−Th1, (1)
の条件を満たすかどうかを判定する。但し、Th1は所定の閾値である。
The reference image reading control unit 70 sets the daytime reference images stored in the reference image storage unit 21 from 6 am to 6 pm in the initial state before the start of operation after the image monitoring system is installed. It is assumed that it is preset to read out the night reference image stored in the reference image storage unit 22 from 6 pm to 6 am the next morning.
When the operation of the image monitoring system is started, the reference image read control unit 70 controls to read the reference image stored in the reference image storage unit 21 or the reference image storage unit 22 in accordance with the preset time zone. The time zone to which the reference image storage unit 21 or the reference image storage unit 22 is applied is automatically changed so as to be a more appropriate time zone.
For example, the average value (Ym1) of the luminance (Y) of each pixel output from the image receiving unit 10 and the luminance (Y) of each pixel output from the reference image storage unit 21 at the transition of the time zone from day to night. The average value (Ym2) is calculated, these average values (Ym1, Ym2) are compared,
Ym1 <Ym2-Th1, (1)
It is determined whether or not the condition is satisfied. However, Th1 is a predetermined threshold value.

昼から夜への時間帯の変わり目においては、撮影エリアの明るさが次第に暗くなることにより画像の輝度が低下し、Ym1の値が減少する。そして上記(1)式を満たした際に、撮影した画像の明るさと昼用の参照画像の明るさの差が大きくなったと判断され、もはや昼用の参照画像を用いるべきではなく夜用の参照画像を使うべきであると考えられる。   At the change of the time zone from day to night, the brightness of the shooting area gradually becomes dark, so that the brightness of the image is lowered and the value of Ym1 is reduced. When the above formula (1) is satisfied, it is determined that the difference between the brightness of the captured image and the brightness of the daytime reference image has increased, so that the daytime reference image should no longer be used and the nighttime reference image should be used. It seems that you should use images.

そして、上記(1)式を満足した時刻(T1)と参照画像保存部21を適用する時間帯の終了時刻(T2)とを比較し、T1がT2よりも早い場合、参照画像保存部21を適用する時間帯の終了時刻を早めに設定し、翌日の運用時に適用する。例えば、参照画像保存部21を適用する時間帯が午前6時から午後6時であり、上記(1)式を満足した時刻が午後5時50分であった場合、翌日に参照画像保存部21を適用する時間帯を午前6時から午後5時59分までとし、参照画像保存部22を適用する時間帯を午後5時59分から午前6時までとする。   Then, the time (T1) that satisfies the above expression (1) is compared with the end time (T2) of the time zone to which the reference image storage unit 21 is applied. If T1 is earlier than T2, the reference image storage unit 21 is Set the end time of the applicable time zone early and apply it during the next day's operation. For example, when the time zone in which the reference image storage unit 21 is applied is from 6:00 am to 6:00 pm, and the time when the above equation (1) is satisfied is 5:50 pm, the reference image storage unit 21 the next day. The time period for applying the reference image is from 6 am to 5:59 pm, and the time period for applying the reference image storage unit 22 is from 5:59 pm to 6 am.

一方、参照画像保存部21を適用する時間帯の終了時刻(T2)になっても上記(1)式を満たさない場合、参照画像保存部21を適用する時間帯の終了時刻を遅めに設定し、翌日の運用時に適用する。例えば、参照画像保存部21を適用する時間帯が午前6時から午後6時であり、午後6時になっても上記(1)式を満たさない場合、翌日に参照画像保存部21を適用する時間帯を午前6時から午後6時1分までとし、参照画像保存部22を適用する時間帯を午後6時1分から午前6時までとする。
また、夜から昼への時間帯の変わり目において、画像受信部10の出力する各画素の輝度(Y)の平均値(Ym1)と、参照画像保存部21の出力する各画素の輝度(Y)の平均値(Ym2)を比較し、
Ym1>Ym2+Th1, (2)
の条件を満たすかどうかを判定する。但し、Th1は所定の閾値である。
On the other hand, if the above equation (1) is not satisfied even when the end time (T2) of the time zone to which the reference image storage unit 21 is applied, the end time of the time zone to which the reference image storage unit 21 is applied is set later. And applied at the next day's operation. For example, when the time period for applying the reference image storage unit 21 is from 6:00 am to 6:00 pm and the above equation (1) is not satisfied even at 6:00 pm, the time to apply the reference image storage unit 21 the next day The zone is from 6 am to 6:01 pm, and the time zone to which the reference image storage unit 22 is applied is from 6: 1 pm to 6 am.
In addition, the average value (Ym1) of the luminance (Y) of each pixel output from the image receiving unit 10 and the luminance (Y) of each pixel output from the reference image storage unit 21 at the transition from the night to the daytime. Of the average value (Ym2) of
Ym1> Ym2 + Th1, (2)
It is determined whether or not the condition is satisfied. However, Th1 is a predetermined threshold value.

夜から昼への時間帯の変わり目においては、撮影エリアの明るさが次第に明るくなることにより画像の輝度が増加し、Ym1の値が増加する。そして上記(2)式を満たした際に、撮影した画像の明るさと昼用の参照画像の明るさの差が大きくなったと判断され、もはや夜用の参照画像を用いるべきではなく昼用の参照画像を使うべきであると考えられる。
そして、上記(2)式を満足した時刻(T3)と参照画像保存部22を適用する時間帯の終了時刻(T4)とを比較し、T3がT4よりも早い場合、参照画像保存部22を適用する時間帯の終了時刻を早めに設定し、翌日の運用時に適用する。例えば、参照画像保存部21を適用する時間帯が午後6時から午前6時であり、上記(2)式を満足した時刻が午前5時50分であった場合、翌日に参照画像保存部22を適用する時間帯を午後6時から午前5時59分までとし、参照画像保存部21を適用する時間帯を午前5時59分から午後6時までとする。
At the transition of the time zone from night to noon, the brightness of the shooting area gradually increases, so that the brightness of the image increases and the value of Ym1 increases. When the above equation (2) is satisfied, it is determined that the difference between the brightness of the captured image and the brightness of the daytime reference image has increased, and the nighttime reference image should no longer be used. It seems that you should use images.
Then, the time (T3) that satisfies the above expression (2) is compared with the end time (T4) of the time zone to which the reference image storage unit 22 is applied. If T3 is earlier than T4, the reference image storage unit 22 is Set the end time of the applicable time zone early and apply it during the next day's operation. For example, when the time zone in which the reference image storage unit 21 is applied is from 6:00 pm to 6:00 am and the time when the expression (2) is satisfied is 5:50 am, the reference image storage unit 22 is processed the next day. The time period for applying the reference image is from 6 pm to 5:59 am, and the time period for applying the reference image storage unit 21 is from 5:59 am to 6 pm.

一方、参照画像保存部22を適用する時間帯の終了時刻(T4)になっても上記(2)式を満たさない場合、参照画像保存部22を適用する時間帯の終了時刻を遅めに設定し、翌日の運用時に適用する。例えば、参照画像保存部22を適用する時間帯が午後6時から午前6時であり、午前6時になっても上記(2)式を満たさない場合、翌日に参照画像保存部22を適用する時間帯を午後6時から午前6時1分までとし、参照画像保存部21を適用する時間帯を午前6時1分から午後6時までとする。   On the other hand, if the above expression (2) is not satisfied even when the end time (T4) of the time zone to which the reference image storage unit 22 is applied, the end time of the time zone to which the reference image storage unit 22 is applied is set later. And applied at the next day's operation. For example, if the time period for applying the reference image storage unit 22 is from 6:00 pm to 6:00 am and the above equation (2) is not satisfied even at 6:00 am, the time to apply the reference image storage unit 22 the next day The band is from 6:00 pm to 6:01 am, and the time period during which the reference image storage unit 21 is applied is from 6: 1 am to 6:00 pm.

以上のように、適用させる時間帯に応じた複数の参照画像を持たせて、それぞれの参照画像を適用させる時間帯を入力画像にあわせて最適な値に変えるようにしたので、季節の変化にともなって昼夜の時間が変わっても、最適な参照画像を適用する時間帯が自動的に調整され、良好な判定性能が得られる効果がある。
なお、上記実施の形態4においては、昼間用、夜間用の2種類の参照画像を用いるものについて説明したが、用いる参照画像の数は2種類に限らず、2以上の任意の数であって良い。例えば、夜間用、日の出時用、昼間用、日の入り時用というように4種類の参照画像を用いるようなものであっても良い。
As described above, we have multiple reference images according to the time zone to be applied, and change the time zone to apply each reference image to the optimal value according to the input image. Accordingly, even if the time of day and night changes, the time zone in which the optimum reference image is applied is automatically adjusted, and there is an effect that good determination performance can be obtained.
In the fourth embodiment, description has been given of using two types of reference images for daytime and nighttime. However, the number of reference images to be used is not limited to two, and may be any number of two or more. good. For example, four types of reference images may be used such as for nighttime, sunrise, daytime, and sunset.

実施の形態5.
上記の実施の形態2では、参照画像と入力画像とを画素ごとに比較するようにしたものであるが、参照画像と入力画像をそれぞれ複数エリアのブロックに分割し、ブロックごとに画像の特徴量を抽出して比較するようにする実施の形態を示す。
図6は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図6において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部21はカメラ1が正常な時の標準的画像と推定される画像の特徴量を参照データとして保存する記憶素子、異常判定部30は特徴量抽出部80で抽出した画像の特徴量と参照画像保存部21に記憶された特徴量(参照データ)との比較によりカメラ1の異常の有無を判定する判定回路、判定基準補正部50は、異常判定部30で用いられる判定基準を補正する回路、ブロック分割部60は画像受信部10で受信した画像データを複数エリアのブロックに分割し出力する回路、特徴量抽出部80は分割されたブロック毎に画像の特徴量を抽出する回路である。
Embodiment 5. FIG.
In the second embodiment, the reference image and the input image are compared for each pixel. However, the reference image and the input image are each divided into blocks of a plurality of areas, and the feature amount of the image for each block. An embodiment will be described in which the above are extracted and compared.
FIG. 6 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 6, an image receiving unit 10 receives a receiving circuit that receives image data 100 transmitted from the camera 1, and a reference image storage unit 21 refers to an image feature amount estimated as a standard image when the camera 1 is normal. The storage element to be stored as data, the abnormality determination unit 30 determines whether the camera 1 is abnormal by comparing the feature amount of the image extracted by the feature amount extraction unit 80 with the feature amount (reference data) stored in the reference image storage unit 21. Is a determination circuit for determining whether or not the determination reference correction unit 50 is a circuit for correcting a determination reference used in the abnormality determination unit 30, and a block dividing unit 60 divides the image data received by the image receiving unit 10 into blocks of a plurality of areas and outputs them. The circuit and feature quantity extraction unit 80 is a circuit that extracts the feature quantity of the image for each divided block.

次に動作について説明する。
画像受信部10の動作は上記実施の形態2と同様である。
ブロック分割部60は、画像受信部10の出力する各画素の輝度(Y)、色差(Cr、Cb)を入力し、画像の1画面を複数領域のブロックに分割して、ブロック毎の輝度(Y)、色差(Cr、Cb)信号を出力する。
特徴量抽出部80は、ブロック分割部60の出力するブロック毎の輝度(Y)と、色差(Cr、Cb)信号を入力し、ブロック毎に輝度(Y)の平均値を算出して、この値を画像の特徴量として出力する。
Next, the operation will be described.
The operation of the image receiving unit 10 is the same as that in the second embodiment.
The block dividing unit 60 inputs the luminance (Y) and color difference (Cr, Cb) of each pixel output from the image receiving unit 10, divides one screen of the image into blocks of a plurality of areas, and determines the luminance for each block ( Y) and color difference (Cr, Cb) signals are output.
The feature amount extraction unit 80 inputs the luminance (Y) and color difference (Cr, Cb) signals for each block output from the block dividing unit 60, calculates the average value of the luminance (Y) for each block, The value is output as the feature amount of the image.

参照画像保存部21は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像の特徴量を参照データとして保存しておくものである。
参照画像保存部21内に保存する特徴量(参照データ)の初期値は、カメラ正常の時の画像データから算出されたブロック毎の輝度(Y)の平均値が用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像から特徴量抽出部80で算出された、画面分割された各ブロック毎の輝度(Y)の平均値が特徴量(参照データ)として参照画像保存部21内に取り込まれる。
The reference image storage unit 21 stores, as reference data, a feature amount of a camera image estimated as a standard image for use in determining whether the camera 1 is normal in an abnormality determination unit 30 described later. is there.
As the initial value of the feature value (reference data) stored in the reference image storage unit 21, an average value of luminance (Y) for each block calculated from image data when the camera is normal is used. When the user operates the initial data capture instruction 102 while confirming that the camera image is normal on the display terminal 4 after installation and before starting operation, the feature amount extraction unit 80 calculates from the camera image at the time of the operation. The average value of the luminance (Y) for each block obtained by dividing the screen is taken into the reference image storage unit 21 as a feature amount (reference data).

次に異常判定部30は、特徴量抽出部80から入力画像の各ブロックの輝度(Y)の平均値データを入力するとともに、参照画像保存部21から特徴量(参照データ)として保存された各ブロックの輝度(Y)の平均値データを入力し、各ブロックについて、入力画像の輝度(Y)の平均値と、参照データとして保存された輝度(Y)の平均値との差を算出する。   Next, the abnormality determination unit 30 inputs the average value data of the luminance (Y) of each block of the input image from the feature amount extraction unit 80 and stores each feature value (reference data) stored from the reference image storage unit 21. The average value data of the luminance (Y) of the block is input, and the difference between the average value of the luminance (Y) of the input image and the average value of the luminance (Y) stored as reference data is calculated for each block.

そして、入力画像と参照画像の差が大きいブロック数(Nb)を算出する。具体的には、例えば、以下の条件を満足するブロック数をカウントし、これを入力画像と参照画像の差が大きいブロック数(Nb)とする。
条件:算出された輝度の平均値(Ym)の差が、所定の閾値(THym)よりも大きい。
そして、カウントされたブロック数(Nb)が、所定の閾値THnbよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
ここで、上記閾値THymは、固定値ではなく、判定基準補正部50からの指示に従い、適切な値に補正される。
Then, the number of blocks (Nb) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of blocks satisfying the following conditions is counted, and this is set as the number of blocks (Nb) having a large difference between the input image and the reference image.
Condition: The difference in the calculated average brightness value (Ym) is larger than a predetermined threshold value (THym).
When the counted number of blocks (Nb) is larger than a predetermined threshold THnb, it is determined as abnormal, otherwise it is determined as normal, and the determination result is output.
Here, the threshold value THym is not a fixed value, but is corrected to an appropriate value in accordance with an instruction from the determination reference correction unit 50.

判定基準補正部50は、異常判定部30の判定結果が「正常」の場合に、以下の処理により異常判定部30で用いられる閾値THymの補正を指示する。
すなわち、異常判定部30においてカウントされたブロック数(Nb)が、所定の値THnb2(但し、THnb>THnb2)よりも大きい状態が所定時間継続した場合、カメラの設置場所の人通りが多いなどの理由により画像の変化が大きいと判断し、現在用いられている閾値THymを、より画像の変化の大きい環境に適した値に補正するため、微小量増大させる。
すなわち、
THym(n):時刻nにおける閾値THym
ΔTHy:微小量
とした時に、
THym(n+1) = THym(n) +ΔTHy
の演算により、新しい閾値THym(n+1)を定めることができる。
When the determination result of the abnormality determination unit 30 is “normal”, the determination reference correction unit 50 instructs correction of the threshold value THym used in the abnormality determination unit 30 by the following process.
That is, when the number of blocks (Nb) counted by the abnormality determination unit 30 is larger than a predetermined value THnb2 (where THnb> THnb2) continues for a predetermined time, there are many people at the camera installation location. It is determined that the change in the image is large for the reason, and the threshold THym currently used is increased by a small amount in order to correct the threshold THym to a value suitable for an environment where the change in the image is larger.
That is,
THym (n): threshold THym at time n
ΔTHy: When the amount is minute,
THym (n + 1) = THym (n) + ΔTHy
A new threshold value THym (n + 1) can be determined by the calculation of

一方、異常判定部30においてカウントされたブロック数(Nb)が、所定の値THnb2(但し、THnb>THnb2)よりも小さい状態が所定時間継続した場合、カメラの設置場所の人通りがほとんど無いなどの理由により画像の変化が小さいと判断し、現在用いられている閾値THymを、より画像の変化の小さい環境に適した値に補正するため、微小量減少させる。
すなわち、
THym(n):時刻nにおける閾値THym
ΔTHy:微小量
とした時に、
THym(n+1) = THym(n) −ΔTHy
の演算により、新しい閾値THym(n+1)を定めることができる。
なお、判定基準補正部50は、異常判定部30の判定結果が「異常」の場合には、異常判定部30に対する閾値の補正指示は行わない。
On the other hand, when the number of blocks (Nb) counted by the abnormality determining unit 30 is smaller than a predetermined value THnb2 (where THnb> THnb2) continues for a predetermined time, there is almost no traffic at the camera installation location. For this reason, it is determined that the change in the image is small, and the threshold THym currently used is corrected to a value suitable for an environment where the change in the image is smaller.
That is,
THym (n): threshold THym at time n
ΔTHy: When the amount is minute,
THym (n + 1) = THym (n) −ΔTHy
A new threshold value THym (n + 1) can be determined by the calculation of
The determination reference correction unit 50 does not issue a threshold correction instruction to the abnormality determination unit 30 when the determination result of the abnormality determination unit 30 is “abnormal”.

以上のように、画像を複数のブロックに分割し、分割したブロック毎に参照画像と入力画像とを比較するようにし、差異の大きいブロック数が所定数以下の場合に正常と判定させるようにしたので、入力画像内に人物などの動く物体が映り込んだ場合でも、人物の映っていない背景部分のブロックの差異が少ないため、誤って異常と判定されるのを防ぐことができる効果がある。
また、異常判定部で用いる判定閾値を入力画像にあわせて最適な値に変えるようにしているので、カメラの設置環境(人通りの多少など)にかかわらず、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
As described above, the image is divided into a plurality of blocks, and the reference image and the input image are compared for each divided block, and when the number of blocks having a large difference is equal to or less than the predetermined number, it is determined that the image is normal. Therefore, even when a moving object such as a person is reflected in the input image, there is little difference between the blocks of the background portion where the person is not reflected, so that it is possible to prevent erroneous determination as abnormal.
In addition, the judgment threshold used in the abnormality judgment unit is changed to an optimum value according to the input image, so stable operation with few errors in abnormality judgment regardless of the installation environment of the camera (slight traffic, etc.) There is an effect that can be made.

また、画像を複数のブロックに分割し、ブロック毎に画像の特徴量を抽出して異常判定を行うので、異常判定部において比較するデータ数を削減でき、処理負荷を軽減できる効果がある。
なお、図6において、参照画像保存部21は、ブロック毎の輝度(Y)の平均値をカメラ画像の特徴量として保存するものについて説明したが、特徴量は輝度の平均値に限らない。例えば色差の平均値を特徴量として用いても良い
また、図6において、異常判定部30は輝度の平均値(Ym)の差を評価するための閾値(THym)を判定基準補正部50からの指示に従い、適切な値に補正するものについて説明したが、補正する閾値はTHymに限らず、例えば、異常判定部30において入力画像と参照画像の差が大きいブロック数(Nb)を評価するための閾値(THnb)を、判定基準補正部50からの指示に従い、適切な値に補正するようにしても良い。
In addition, since the image is divided into a plurality of blocks and the feature amount of the image is extracted for each block and abnormality determination is performed, the number of data to be compared in the abnormality determination unit can be reduced, and the processing load can be reduced.
Although the reference image storage unit 21 has been described with reference to FIG. 6 in which the average value of luminance (Y) for each block is stored as the feature amount of the camera image, the feature amount is not limited to the average value of luminance. For example, the average value of the color difference may be used as the feature amount. In FIG. 6, the abnormality determination unit 30 sets the threshold value (THym) for evaluating the difference in the average luminance value (Ym) from the determination reference correction unit 50. The correction to an appropriate value has been described according to the instruction. However, the threshold value to be corrected is not limited to THym. For example, the abnormality determination unit 30 evaluates the number of blocks (Nb) having a large difference between the input image and the reference image. The threshold value (THnb) may be corrected to an appropriate value in accordance with an instruction from the determination reference correction unit 50.

この発明に係るカメラ異常検知装置は、カメラの異常を検出するための参照画像または判定基準を撮影対象の環境に合わせて補正できるという効果を有しており、特にカメラによって監視対象を撮影した撮影画像を参照して異常状態を検出する監視システムに適用可能である。   The camera abnormality detection device according to the present invention has an effect that a reference image or a determination standard for detecting an abnormality of a camera can be corrected according to an environment of an imaging target, and particularly an imaging in which a monitoring target is captured by a camera. The present invention can be applied to a monitoring system that detects an abnormal state with reference to an image.

カメラ異常検知装置が適用される画像監視システムの構成図である。1 is a configuration diagram of an image monitoring system to which a camera abnormality detection device is applied. この発明の実施の形態1におけるカメラ異常検知装置の構成図である。It is a block diagram of the camera abnormality detection apparatus in Embodiment 1 of this invention. この発明の実施の形態2におけるカメラ異常検知装置の構成図である。It is a block diagram of the camera abnormality detection apparatus in Embodiment 2 of this invention. この発明の実施の形態3におけるカメラ異常検知装置の構成図である。It is a block diagram of the camera abnormality detection apparatus in Embodiment 3 of this invention. この発明の実施の形態4におけるカメラ異常検知装置の構成図である。It is a block diagram of the camera abnormality detection apparatus in Embodiment 4 of this invention. この発明の実施の形態5におけるカメラ異常検知装置の構成図である。It is a block diagram of the camera abnormality detection apparatus in Embodiment 5 of this invention.

符号の説明Explanation of symbols

1;カメラ、2;ネットワーク、3;レコーダ、4;表示端末、5;カメラ異常検知装置、10;画像受信部、20、21;参照画像保存部、30;異常判定部、40、41;参照画像補正部、50;判定基準補正部、60;ブロック分割部、70;参照画像読出し制御部、80;特徴量抽出部。   DESCRIPTION OF SYMBOLS 1; Camera, 2; Network, 3; Recorder, 4; Display terminal, 5; Camera abnormality detection apparatus, 10; Image receiving part, 20, 21; Reference image preservation | save part, 30; Image correction unit 50; Determination standard correction unit 60; Block division unit 70; Reference image read control unit 80; Feature amount extraction unit.

Claims (9)

カメラの正常時に対象を撮影した画像を参照画像とし、作動中にカメラで対象を撮影した画像を上記参照画像と比較してカメラの異常を検知するカメラ異常検知装置において、
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記作動中に画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部と、
上記画像受信部で受信した画像に基づいて、上記参照画像保存部に保存された上記参照画像を逐次補正する参照画像補正部を備えることを特徴とするカメラ異常検知装置。
In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
An abnormality determination unit that compares an image received by the image reception unit during the operation and a reference image stored in the reference image storage unit, and determines whether there is a camera abnormality based on a predetermined determination criterion;
A camera abnormality detection device comprising: a reference image correction unit that sequentially corrects the reference image stored in the reference image storage unit based on an image received by the image reception unit.
上記参照画像補正部は、上記異常判定部の出力する判定結果が「カメラ異常」の場合に、参照画像の補正を停止することを特徴とする請求項1に記載のカメラ異常検知装置。   The camera abnormality detection device according to claim 1, wherein the reference image correction unit stops the correction of the reference image when the determination result output from the abnormality determination unit is “camera abnormality”. 上記参照画像補正部は、上記異常判定部の出力する判定結果が「カメラ正常」の場合に、現在の参照画像を上記画像受信部で受信した画像に近づける方向に微小変動させる方法により参照画像を補正することを特徴とする請求項1に記載のカメラ異常検知装置。   When the determination result output from the abnormality determination unit is “normal camera”, the reference image correction unit changes the reference image by a method of minutely changing the current reference image closer to the image received by the image reception unit. The camera abnormality detection device according to claim 1, wherein correction is performed. カメラの正常時に対象を撮影した画像を参照画像とし、作動中にカメラで対象を撮影した画像を上記参照画像と比較してカメラの異常を検知するカメラ異常検知装置において、
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記作動中に画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部と、
上記作動中に画像受信部で受信した画像に基づいて、上記異常判定部において用いられる上記判定基準を逐次補正する判定基準補正部
を備えることを特徴とするカメラ異常検知装置。
In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
An abnormality determination unit that compares an image received by the image reception unit during the operation and a reference image stored in the reference image storage unit, and determines whether there is a camera abnormality based on a predetermined determination criterion;
A camera abnormality detection device comprising: a determination criterion correction unit that sequentially corrects the determination criterion used in the abnormality determination unit based on an image received by the image reception unit during the operation.
上記判定基準補正部は、上記異常判定部の出力する判定結果が「カメラ異常」の場合に、判定基準の補正を停止することを特徴とする請求項4に記載のカメラ異常検知装置。   The camera abnormality detection device according to claim 4, wherein the determination criterion correction unit stops correction of the determination criterion when the determination result output from the abnormality determination unit is “camera abnormality”. 上記判定基準補正部は、上記異常判定部の出力する判定結果が「カメラ正常」の場合に、上記画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像との差異の大きさに応じて上記判定基準を微小変動させることにより、上記判定基準を補正することを特徴とする請求項4に記載のカメラ異常検知装置。   When the determination result output from the abnormality determination unit is “camera normal”, the determination criterion correction unit determines a difference between the image received by the image reception unit and the reference image stored in the reference image storage unit. The camera abnormality detection device according to claim 4, wherein the determination criterion is corrected by minutely changing the determination criterion according to a size. 上記異常判定部は、上記画像受信部で受信した画像と上記参照画像保存部に保存された参照画像それぞれを複数のブロックに分割し、
分割されたそれぞれのブロック毎に上記画像受信部で受信した画像と上記参照画像保存部に保存された参照画像とを比較し、
所定数以上のブロックにおいて上記画像受信部で受信した画像と上記参照画像保存部に保存された参照画像との差異が大きい場合に「カメラ異常」と判定することを特徴とする請求項1または請求項4に記載のカメラ異常検知装置。
The abnormality determination unit divides each of the image received by the image reception unit and the reference image stored in the reference image storage unit into a plurality of blocks,
Compare the image received by the image receiving unit for each divided block with the reference image stored in the reference image storage unit,
2. The “camera abnormality” is determined when a difference between an image received by the image receiving unit and a reference image stored in the reference image storage unit is large in a predetermined number of blocks or more. Item 5. The camera abnormality detection device according to Item 4.
上記異常判定部は、上記画像受信部で受信した画像と上記参照画像保存部に保存された参照画像それぞれから、画像の特徴を示す単一または複数の特徴量を算出し、上記画像受信部で受信した画像の特徴量と上記参照画像保存部に保存された参照画像の特徴量との差異が大きい場合に「カメラ異常」と判定することを特徴とする請求項1または請求項4に記載のカメラ異常検知装置。   The abnormality determining unit calculates a single or a plurality of feature amounts indicating image features from the image received by the image receiving unit and the reference image stored in the reference image storing unit, and the image receiving unit 5. The “camera abnormality” is determined when the difference between the feature amount of the received image and the feature amount of the reference image stored in the reference image storage unit is large. Camera anomaly detection device. カメラの正常時に対象を撮影した画像を参照画像とし、作動中にカメラで対象を撮影した画像を上記参照画像と比較してカメラの異常を検知するカメラ異常検知装置において、
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部を備え、
上記参照画像保存部は、特定の時間帯毎に適用される複数の参照画像を保持し、上記画像受信部で受信した画像に基づいて、各々の参照画像が適用されるべき時間帯を逐次補正することを特徴とするカメラ異常検知装置。
In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
Comparing the image received by the image receiving unit with the reference image stored in the reference image storage unit, comprising an abnormality determination unit that determines the presence or absence of camera abnormality according to a predetermined determination criterion,
The reference image storage unit stores a plurality of reference images applied for each specific time period, and sequentially corrects the time period to which each reference image is applied based on the image received by the image reception unit. A camera abnormality detection device characterized by:
JP2007072849A 2007-03-20 2007-03-20 Camera abnormality detection device Pending JP2008236353A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007072849A JP2008236353A (en) 2007-03-20 2007-03-20 Camera abnormality detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007072849A JP2008236353A (en) 2007-03-20 2007-03-20 Camera abnormality detection device

Publications (1)

Publication Number Publication Date
JP2008236353A true JP2008236353A (en) 2008-10-02

Family

ID=39908595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007072849A Pending JP2008236353A (en) 2007-03-20 2007-03-20 Camera abnormality detection device

Country Status (1)

Country Link
JP (1) JP2008236353A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176736A (en) * 2010-02-25 2011-09-08 Toshiba Corp Monitoring apparatus
JP2011259034A (en) * 2010-06-04 2011-12-22 Hitachi Systems Ltd System for detecting and reporting abnormality in network camera
JP2014223135A (en) * 2013-05-15 2014-12-04 株式会社北電子 Imaging disturbance detecting apparatus and imaging disturbance detecting method
JP2016072799A (en) * 2014-09-30 2016-05-09 株式会社デンソー Image recognition device
JPWO2015037334A1 (en) * 2013-09-10 2017-03-02 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド Air conditioner monitoring system
JP2020088658A (en) * 2018-11-27 2020-06-04 富士通株式会社 Monitoring device, monitoring method and monitoring program
CN111753860A (en) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 Analysis anomaly detection method and device
CN115243038A (en) * 2022-09-23 2022-10-25 北京小马易行科技有限公司 Method for monitoring roadside camera, server and automatic driving system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176736A (en) * 2010-02-25 2011-09-08 Toshiba Corp Monitoring apparatus
JP2011259034A (en) * 2010-06-04 2011-12-22 Hitachi Systems Ltd System for detecting and reporting abnormality in network camera
JP2014223135A (en) * 2013-05-15 2014-12-04 株式会社北電子 Imaging disturbance detecting apparatus and imaging disturbance detecting method
JPWO2015037334A1 (en) * 2013-09-10 2017-03-02 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド Air conditioner monitoring system
JP2016072799A (en) * 2014-09-30 2016-05-09 株式会社デンソー Image recognition device
JP2020088658A (en) * 2018-11-27 2020-06-04 富士通株式会社 Monitoring device, monitoring method and monitoring program
JP7157330B2 (en) 2018-11-27 2022-10-20 富士通株式会社 Monitoring device, monitoring method and monitoring program
CN111753860A (en) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 Analysis anomaly detection method and device
CN111753860B (en) * 2019-03-27 2024-02-02 杭州海康威视数字技术股份有限公司 Analysis anomaly detection method and device
CN115243038A (en) * 2022-09-23 2022-10-25 北京小马易行科技有限公司 Method for monitoring roadside camera, server and automatic driving system
CN115243038B (en) * 2022-09-23 2023-01-24 北京小马易行科技有限公司 Method for monitoring roadside camera, server and automatic driving system

Similar Documents

Publication Publication Date Title
JP2008236353A (en) Camera abnormality detection device
CN105611188B (en) Camera occlusion detection method and device based on automatic exposure
US10277805B2 (en) Monitoring system and camera device
JP6732902B2 (en) Imaging device and imaging system
US12033480B2 (en) Image-based real-time intrusion detection method and surveillance camera using artificial intelligence
RU2628745C2 (en) Protective observation system and relevant method of initializing alarm
US8633978B2 (en) Human face detection and tracking device
US20150244991A1 (en) Monitoring camera system and control method of monitoring camera system
JP2004023373A (en) Image processor and processing method, and computer program and computer-readable storage medium
EP3013050A1 (en) Video compression with adaptive GOP length and adaptive quantization
JP6543319B2 (en) How to control the infrared cut filter of video camera
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
US10142664B2 (en) Method and device for determining properties of a graphical overlay for a video stream
US20110298965A1 (en) Scene-aware automatic-exposure control
JP4548128B2 (en) Defect detection apparatus, defect detection method, and imaging apparatus
CN105430522A (en) Method and device for switching cameras of smart television control terminal
JP4141716B2 (en) Television monitoring system
JP4508043B2 (en) Video surveillance device and video surveillance program
KR101546917B1 (en) System and method for controlling night image correction
JP2004165804A (en) Camera supervisory system
KR100420620B1 (en) Object-based digital video recording system)
KR101630285B1 (en) Apparatus and method for color rolling suppression
KR100391266B1 (en) Method for background setup in object-based compression moving-image
JP2004254236A (en) Image processing apparatus, image viewing apparatus, and image communication system
JP3435746B2 (en) Remote monitoring device