JP2008236353A - Camera abnormality detection device - Google Patents
Camera abnormality detection device Download PDFInfo
- Publication number
- JP2008236353A JP2008236353A JP2007072849A JP2007072849A JP2008236353A JP 2008236353 A JP2008236353 A JP 2008236353A JP 2007072849 A JP2007072849 A JP 2007072849A JP 2007072849 A JP2007072849 A JP 2007072849A JP 2008236353 A JP2008236353 A JP 2008236353A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- reference image
- unit
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
Description
この発明は、画像監視システム等のカメラに妨害行為や偽装行為等が行われているか否かを検知するカメラ異常検知装置に関し、特にカメラの異常判定のための参照画像および判定基準を補正する技術に関する。 The present invention relates to a camera abnormality detection device that detects whether or not an obstruction or camouflage action is performed on a camera such as an image monitoring system, and in particular, a technique for correcting a reference image and a determination criterion for determining an abnormality of the camera. About.
画像監視システムで、カメラのレンズ面にシールを貼る、スプレーをかける等の妨害行為や、監視の目をごまかすために、カメラの撮像位置や撮像方向を変える等の偽装行為が行われた時に、そのような行為を監視カメラおよび画像監視システム自体で検知するものに、例えば特開2005-252479号公報(監視カメラ妨害検知装置)に示される技術がある。この従来のカメラの異常を検知する「監視カメラ妨害検知装置」は、入力画像に対して妨害行為が行われているかどうかの判断基準となる基準画像(参照画像)を、基準画像更新タイミングで複数自動的に取り込み、複数の基準画像の各々と入力画像との間で画像特徴を比較して画像間の不一致度を求め、妨害行為が行われているかどうかを判定するようにしていた。 In the image monitoring system, when an act of obstruction such as sticking a sticker on the lens surface of the camera or spraying, or a camouflage action such as changing the imaging position or direction of the camera in order to fool the eyes of the surveillance, For example, Japanese Unexamined Patent Application Publication No. 2005-252479 (surveillance camera disturbance detection device) discloses a technique for detecting such an action by the monitoring camera and the image monitoring system itself. This “surveillance camera tampering detection device” for detecting an abnormality of a conventional camera uses a plurality of reference images (reference images) as a criterion for judging whether or not an input image is disturbed at a reference image update timing. It is automatically captured, image characteristics are compared between each of the plurality of reference images and the input image, the degree of inconsistency between the images is obtained, and it is determined whether or not a disturbing action is being performed.
従来のカメラ異常検知装置は、更新タイミングにおけるカメラ画像を参照画像(基準画像)として取り込んでいるため、ちょうど参照画像取り込みのタイミングで参照画像以外の物体や人がカメラ画像に映り込んだ場合に、取り込まれた参照画像が適切な画像でなくなり、判定性能劣化の影響が生じるという問題点があった。また、カメラの設置環境に応じて比較判定の基準を調整する必要があるという問題点があった。 Since the conventional camera anomaly detection device captures the camera image at the update timing as a reference image (standard image), when an object or person other than the reference image is reflected in the camera image at the timing of capturing the reference image, There is a problem in that the captured reference image is not an appropriate image and the determination performance deteriorates. In addition, there is a problem that it is necessary to adjust the reference for comparison and determination according to the installation environment of the camera.
この発明は上記のような問題点を解決するためになされたもので、参照画像の選び方が不適切であっても適切な参照画像に自動補正され、良好な判定性能が得られるようにすることを目的とする。また、カメラの設置環境に応じた比較判定の基準の調整を不要にすることを目的とする。 The present invention has been made to solve the above-described problems, and is capable of automatically correcting an appropriate reference image to obtain a good determination performance even if the selection method of the reference image is inappropriate. With the goal. It is another object of the present invention to eliminate the need for adjustment of comparison criteria according to the camera installation environment.
この発明に係るカメラ異常検知装置は、
カメラの正常時に対象を撮影した画像を参照画像とし、作動中にカメラで対象を撮影した画像を上記参照画像と比較してカメラの異常を検知するカメラ異常検知装置において、
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記作動中に画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部と、
上記画像受信部で受信した画像に基づいて、上記参照画像保存部に保存された上記参照画像を逐次補正する参照画像補正部、または上記作動中に画像受信部で受信した画像に基づいて、上記異常判定部において用いられる上記判定基準を逐次補正する判定基準補正部を備える。
The camera abnormality detection device according to the present invention is:
In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
An abnormality determination unit that compares an image received by the image reception unit during the operation and a reference image stored in the reference image storage unit, and determines whether there is a camera abnormality based on a predetermined determination criterion;
Based on the image received by the image receiving unit, the reference image correcting unit that sequentially corrects the reference image stored in the reference image storing unit, or based on the image received by the image receiving unit during the operation, A determination criterion correction unit that sequentially corrects the determination criterion used in the abnormality determination unit is provided.
この発明に係るカメラ異常検知装置によれば、参照画像を入力画像にあわせて適切な値に変更するようにしているので、参照画像の初期値の選び方が適切でなくても、自動的に適切な値に修正され、初期設定作業の煩雑さが軽減される効果がある。
また、参照画像を入力画像にあわせて適切な値に変更するようにしているので、時間によって光量が変化するような環境でカメラを使用する場合でも、環境に応じて適切な値に参照画像が補正され、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
According to the camera abnormality detection device of the present invention, since the reference image is changed to an appropriate value in accordance with the input image, it is automatically appropriate even if the initial value of the reference image is not properly selected. This is effective to reduce the complexity of the initial setting work.
In addition, since the reference image is changed to an appropriate value according to the input image, even when the camera is used in an environment where the amount of light changes with time, the reference image is set to an appropriate value according to the environment. There is an effect that it is possible to perform a stable operation that is corrected and has few errors in abnormality determination.
実施の形態1.
図1はこの発明の実施の形態1におけるカメラ異常検知装置が適用される画像監視システムの一例を示す構成図である。
図1において、1は監視対象エリアを撮影し、撮影した画像をネットワーク2に送出するカメラ、2はカメラ1、レコーダ3、表示端末4、カメラ異常検知装置5が接続されるネットワーク、3はカメラ1からネットワーク2に送出された画像を録画するレコーダ、4はカメラ1からネットワーク2に送出された画像を表示する表示端末、5はネットワーク2に接続されたカメラ1の異常を検知するカメラ異常検知装置である。
Embodiment 1 FIG.
1 is a block diagram showing an example of an image monitoring system to which a camera abnormality detection device according to Embodiment 1 of the present invention is applied.
In FIG. 1, 1 is a camera that captures an area to be monitored and sends the captured image to the network 2. 2 is a network to which the camera 1, recorder 3, display terminal 4, and camera
次にこの画像監視システムの動作について説明する。
まずカメラ1は撮影した画像をデジタル化し、M−JPEG(Motion−Joint Photographic Experts Group)等の符号化方式により圧縮し、UDP(User Datagram Protocol)パケット化してネットワーク2にマルチキャスト送信する。
ネットワーク2はIP(Internet Protocol)ネットワークであり、カメラ1からネットワーク2にマルチキャスト送信された画像は、ネットワーク2に接続されたレコーダ3、表示端末4、カメラ異常検知装置5のそれぞれで受信される。
Next, the operation of this image monitoring system will be described.
First, the camera 1 digitizes the photographed image, compresses it by an encoding method such as M-JPEG (Motion-Joint Photographic Experts Group), etc., makes it a UDP (User Datagram Protocol) packet, and multicasts it to the network 2.
The network 2 is an IP (Internet Protocol) network, and an image multicast-transmitted from the camera 1 to the network 2 is received by each of the recorder 3, display terminal 4, and camera
レコーダ3は受信したカメラ1からの画像データをレコーダ3内部のハードディスク等の固定記憶装置に保存し、後にユーザからの要求により保存した画像データを再生して見ることができるようになっている。
表示端末4はカメラ1からのM−JPEG符号化された画像データを復号してディスプレイ画面に表示し、ユーザが監視対象のエリアをリアルタイムに監視できるようになっている。
カメラ異常検知装置5はカメラ1からのM−JPEG符号化された画像データを復号し、画像データを解析することによりカメラ1の異常の有無を判定する。
The recorder 3 stores the received image data from the camera 1 in a fixed storage device such as a hard disk inside the recorder 3, and can later reproduce and view the stored image data in response to a request from the user.
The display terminal 4 decodes the M-JPEG encoded image data from the camera 1 and displays it on the display screen, so that the user can monitor the area to be monitored in real time.
The camera
また、図2はこの発明の実施の形態1の図1に示されるカメラ異常検知装置5の詳細構成を示す構成図である。
図2において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部20はカメラ1が正常な時の標準的画像と推定される値を参照画像として保存する記憶素子、異常判定部30は画像受信部10で受信した画像データと参照画像保存部20に記憶された参照画像との比較によりカメラ1の異常の有無を判定する判定回路、参照画像補正部40は画像受信部10で受信した画像データと異常判定部30の判定結果に基づき、参照画像補正部20に記憶された参照画像を補正する回路である。
FIG. 2 is a block diagram showing a detailed configuration of the camera
In FIG. 2, an
次に動作について説明する。
画像受信部10はネットワーク2を経由して送られてきたカメラ1からのM−JPEG符号化、UDPパケット化された画像データを受信し、まずUDPパケットを分解してペイロードを取り出し、次にペイロードのデータをJPEG復号して、各画素の輝度(Y)、色差(Cr、Cb)を得る。
Next, the operation will be described.
The
参照画像保存部20は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための標準的画像と推定されるカメラ画像を参照画像として保存しておくものである。
参照画像保存部20内に保存する参照カメラ画像の初期値は、カメラ正常の時の画像データが用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像における、各画素の輝度(Y)と、色差(Cr、Cb)の値が参照カメラ画像として参照画像保存部20内に取り込まれる。
また、画像監視システムの運用を開始すると、参照画像保存部20は、参照画像補正部40からの指示に従い、参照カメラ画像を最適な値に補正する。
なお、上記初期値として取り込む画像は、人などの動く物体が映り込んでいないときの画像を使うことがより望ましいが、後に説明する参照画像補正部40の動作により参照カメラ画像が最適な値に補正されるので、人などの動く物体が映り込んでいても正常に動作する。
The reference
As the initial value of the reference camera image stored in the reference
When the operation of the image monitoring system is started, the reference
It is more preferable to use an image when a moving object such as a person is not reflected as an image to be captured as the initial value. However, the reference camera image is set to an optimum value by the operation of the reference
次に異常判定部30は、画像受信部10から入力画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力するとともに、参照画像保存部20から参照画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力し、各画素について、入力画像と参照画像の輝度(Y)と、色差(Cr、Cb)の差を算出する。
そして、入力画像と参照画像の差が大きい画素数(Nd)を算出する。具体的には、例えば、以下の3つの条件のうち少なくとも1つを満足する画素数をカウントし、これを入力画像と参照画像の差が大きい画素数(Nd)とする。
Next, the abnormality determination unit 30 inputs the luminance (Y) and color difference (Cr, Cb) data of each pixel of the input image from the
Then, the number of pixels (Nd) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of pixels satisfying at least one of the following three conditions is counted, and this is set as the number of pixels (Nd) having a large difference between the input image and the reference image.
条件1:算出された輝度(Y)の差(Dy)が、所定の閾値(THy)よりも大きい。
条件2:算出された色差(Cr)の差(Dcr)が、所定の閾値(THcr)よりも大きい。
条件3:算出された色差(Cb)の差(Dcb)が、所定の閾値(THcb)よりも大きい。
そして、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
Condition 1: The calculated luminance (Y) difference (Dy) is larger than a predetermined threshold (THy).
Condition 2: The calculated color difference (Cr) difference (Dcr) is larger than a predetermined threshold (THcr).
Condition 3: The calculated color difference (Cb) difference (Dcb) is larger than a predetermined threshold (THcb).
Then, when the counted number of pixels (Nd) is larger than a predetermined threshold value THnd, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.
参照画像補正部40は、異常判定部30の判定結果が「正常」の場合に、以下の処理により参照画像保存部20に記憶された参照画像を補正する。
すなわち、参照画像保存部20内に現在保存されている参照画像の各画素の輝度(Y)、色差(Cr、Cb)の値を、入力画像データの輝度(Y)、色差(Cr、Cb)の値に近づく方向に微小変動させ、新しい参照画像の輝度(Y)、色差(Cr、Cb)の値とする。
例えば輝度(Y)値の補正を例にとると、
Y(n):参照画像の、時刻nにおける特定の画素の輝度値
I(n):入力画像の、時刻nにおける上記と同じ画素の輝度値
P :所定の係数(0に近い正の値)
とした時に、
Y(n+1) = (1−P)・Y(n) +P・I(n)
の演算により、新しい参照画像の輝度値Y(n+1)を補正することができる。この処理を参照画像の全ての画素について行う。
When the determination result of the
That is, the luminance (Y) and color difference (Cr, Cb) values of each pixel of the reference image currently stored in the reference
For example, taking correction of luminance (Y) value as an example,
Y (n): luminance value of a specific pixel at time n of the reference image I (n): luminance value of the same pixel as above at time n of the input image P: predetermined coefficient (a positive value close to 0)
When
Y (n + 1) = (1-P) .Y (n) + P.I (n)
By this calculation, the luminance value Y (n + 1) of the new reference image can be corrected. This process is performed for all the pixels of the reference image.
また、色差(Cr、Cb)についても、上記で説明した輝度(Y)値と同様の処理により補正を行う。
そして、補正された新しい参照画像の輝度値、色差値を参照画像保存部20にセットする。
なお、参照画像補正部40は、異常判定部30の判定結果が「異常」の場合には、参照画像保存部20に対する参照画像の補正は行わない。
The color difference (Cr, Cb) is also corrected by the same process as the luminance (Y) value described above.
Then, the corrected brightness value and color difference value of the new reference image are set in the reference
The reference
以上のように、参照画像を入力画像にあわせて最適な値に変えるようにしているので、参照画像の初期値の選び方が適切でなくても、自動的に修正され、初期設定作業の煩雑さが軽減される効果がある。
また、参照画像を入力画像にあわせて最適な値に変えるようにしているので、時間によって光量が変化するような環境でカメラを使用する場合でも、環境に応じて最適な値に参照画像が補正され、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
As described above, since the reference image is changed to an optimum value according to the input image, even if the initial value of the reference image is not properly selected, it is automatically corrected and the initial setting work is complicated. Has the effect of being reduced.
Also, since the reference image is changed to the optimum value according to the input image, even when the camera is used in an environment where the amount of light changes with time, the reference image is corrected to the optimum value according to the environment. Thus, there is an effect that it is possible to perform a stable operation with few errors in abnormality determination.
なお、図1において、カメラ台数が1台の場合について説明したが、複数のカメラがネットワーク2に接続されている場合のカメラ異常検知にも適用できる。1台のカメラ異常検知装置5で多数のカメラの異常検知を行う場合、カメラ異常検知装置5内の処理負荷が増大するという課題があるが、カメラ異常検知装置5内でカメラからの画像のフレームを間引きして処理することで処理負荷を軽減でき、多数カメラにも対応可能である。
Although the case where the number of cameras is one has been described with reference to FIG. 1, it can also be applied to camera abnormality detection when a plurality of cameras are connected to the network 2. When detecting anomalies of a large number of cameras with one camera
また、図1において、レコーダ3、表示端末4は必須の構成ではなく、レコーダ3での画像の録画を行わず表示端末4を用いて監視員がリアルタイム監視を行う構成や、表示端末4を用いたリアルタイム監視を行わずレコーダ3での画像の録画のみを行う構成にも適用できる。
また、図1において、カメラ1の異常の有無をカメラ異常検知装置5内で検出する構成について説明したが、カメラ1の異常検知の機能をレコーダ3もしくは表示端末4内に持たせても良い。
またカメラ1からの画像をマルチキャストで送信する例について説明したが、カメラ1からの画像はユニキャストで送信しても良い。
例えば、カメラ1の画像をユニキャストでレコーダ3に送信する場合は、レコーダ3内にカメラ異常検知機能を持たせれば良く、カメラ1の画像をユニキャストで表示端末4に送信する場合は、表示端末4内にカメラ異常検知機能を持たせれば良い。
In FIG. 1, the recorder 3 and the display terminal 4 are not indispensable configurations, and a configuration in which a monitor performs real-time monitoring using the display terminal 4 without recording an image with the recorder 3 or a display terminal 4 is used. The present invention can also be applied to a configuration in which only real-time image recording is performed without performing real-time monitoring.
In FIG. 1, the configuration in which the presence or absence of an abnormality in the camera 1 is detected in the camera
Moreover, although the example which transmits the image from the camera 1 by multicast was demonstrated, you may transmit the image from the camera 1 by unicast.
For example, when the image of the camera 1 is transmitted to the recorder 3 by unicast, the recorder 3 only needs to have a camera abnormality detection function. When the image of the camera 1 is transmitted to the display terminal 4 by unicast, The terminal 4 may have a camera abnormality detection function.
また、図1において、ネットワーク2がIPネットワークである場合について説明したが、IPネットワークに限らず、カメラ1から送信する画像をカメラ異常検知装置5で受信できる構成であれば適用可能である。
また、図1において、カメラ1がデジタル化されたカメラ画像をUDPパケット化するものについて説明したが、UDPに限らず、TCP(Transmission Control Protocol)等の他のプロトコルでパケット化するものであっても良い。
Further, although the case where the network 2 is an IP network has been described with reference to FIG. 1, the present invention is not limited to an IP network, and any configuration that can receive an image transmitted from the camera 1 by the camera
Further, in FIG. 1, the camera 1 digitized camera image has been described as being converted into a UDP packet. However, the packet is not limited to UDP but is packetized with another protocol such as TCP (Transmission Control Protocol). Also good.
また、図1において、カメラ1からの画像がM−JPEGで符号化されるものについて説明したが、M−JPEGに限らず、MPEG(Moving Picture Experts Group)2、MPEG4等の他の符号化方式で符号化される場合や、圧縮符号化を行わない場合にも適用できる。例えばカメラ1からの画像を圧縮符号化しない場合、図2中の画像受信部10において復号処理が不要となる。
In FIG. 1, the image from the camera 1 is described as being encoded by M-JPEG. However, the encoding is not limited to M-JPEG, but other encoding methods such as MPEG (Moving Picture Experts Group) 2 and MPEG4. The present invention can also be applied to the case where encoding is performed by using the above method or when compression encoding is not performed. For example, when the image from the camera 1 is not compressed and encoded, the
また、カメラ1からの画像がアナログ信号で送信される構成においても、カメラ異常検知装置5で受信したアナログの画像信号を図2中の画像受信部10においてデジタル化することにより、この実施の形態1の構成にてカメラ1の異常検知が可能である。
また、図2において、画像受信部10は復号した画像信号を輝度(Y)と、色差(Cr、Cb)の形式で出力するものについて説明したが、Y、Cr、Cbに限らず、例えばRGB(Red−Green−Blue)の形式であっても良い。
Further, even in a configuration in which an image from the camera 1 is transmitted as an analog signal, the analog image signal received by the camera
In FIG. 2, the
また、図2において、参照画像保存部20において保存するデータは画素ごとのY、Cr、Cbに限らず、RGBでもよい。また、複数の画素のデータの代表値(平均、最大、最小)や、画像の特徴を示す値(特徴量)を抽出して保存してもよい。
また、図2における異常判定部30は、入力画像と参照画像の差が大きい画素数(Nd)を算出し、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定するものについて説明したが、これは判定基準の一例を示したものであり、他の判定基準であっても良い。
In FIG. 2, the data stored in the reference
Further, the
また、図2における参照画像補正部40は、
Y(n+1) = (1−P)・Y(n) +P・I(n)
の演算により、新しい参照画像の輝度値Y(n+1)を補正するようにしていたが、これは補正処理の一例を示したものであり、他の演算式により補正するものであっても良い。
Further, the reference
Y (n + 1) = (1-P) .Y (n) + P.I (n)
The brightness value Y (n + 1) of the new reference image is corrected by the above calculation, but this is an example of the correction process, and even if it is corrected by another calculation formula good.
例えば、輝度(Y)値の補正について、
Y(n):参照画像の、時刻nにおける特定の画素の輝度値
I(n):入力画像の、時刻nにおける上記と同じ画素の輝度値
THy0:所定の閾値(正の値)
ΔY :所定の値(THy0>ΔY>0)
とした時に、
Y(n+1) = Y(n) + ΔY, I(n)>Y(n)+THy0の場合
Y(n+1) = Y(n) − ΔY, I(n)<Y(n)−THy0の場合
Y(n+1) = Y(n), Y(n)+THy0≧I(n)≧Y(n)−THy0の場合
の演算により、新しい参照画像の輝度値Y(n+1)を補正して、この処理を参照画像の全ての画素について行い、色差(Cr、Cb)についても、上記と同様の処理により補正を行うようにしても良い。
For example, regarding correction of the luminance (Y) value,
Y (n): luminance value of a specific pixel at time n in the reference image I (n): luminance value of the same pixel as above at time n in the input image THy0: predetermined threshold (positive value)
ΔY: predetermined value (THy0>ΔY> 0)
When
When Y (n + 1) = Y (n) + ΔY, I (n)> Y (n) + THy0 Y (n + 1) = Y (n) −ΔY, I (n) <Y (n) − In the case of THy0 Y (n + 1) = Y (n), Y (n) + THy0 ≧ I (n) ≧ Y (n) −Thy0, the luminance value Y (n + 1) of the new reference image This processing may be performed for all the pixels of the reference image, and the color difference (Cr, Cb) may be corrected by the same processing as described above.
実施の形態2.
以上の実施の形態1では、参照画像を入力画像にあわせて最適な値に変えるようにしたものであるが、異常判定処理における判定基準を入力画像にあわせて最適な値に変えるようにする実施の形態を示す。
図3は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図3において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部20はカメラ1が正常な時の標準的画像と推定される値を参照画像として保存する記憶素子、異常判定部30は画像受信部10で受信した画像データと参照画像保存部20に記憶された参照画像との比較によりカメラ1の異常の有無を判定する判定回路、判定基準補正部50は異常判定部30で用いられる判定基準を補正する回路である。
Embodiment 2. FIG.
In the first embodiment described above, the reference image is changed to an optimal value according to the input image. However, the determination criterion in the abnormality determination process is changed to an optimal value according to the input image. The form of is shown.
FIG. 3 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 3, an
次に動作について説明する。
画像受信部10の動作は上記実施の形態1と同様である。
参照画像保存部20は、異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像を参照画像として保存しておくものである。
参照画像保存部20内に保存する参照カメラ画像の初期値は、カメラ正常の時の画像データが用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像における、各画素の輝度(Y)、色差(Cr、Cb)の値が参照カメラ画像として参照画像保存部20内に取り込まれる。
Next, the operation will be described.
The operation of the
The reference
As the initial value of the reference camera image stored in the reference
次に異常判定部30は、画像受信部10から入力画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力するとともに、参照画像保存部20から参照画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力し、各画素について、入力画像と参照画像の輝度(Y)と、色差(Cr、Cb)の差を算出する。
そして、入力画像と参照画像の差が大きい画素数(Nd)を算出する。具体的には、例えば、以下の3つの条件のうち少なくとも1つを満足する画素数をカウントし、これを入力画像と参照画像の差が大きい画素数(Nd)とする。
条件1:算出された輝度(Y)の差が、所定の閾値(THy)よりも大きい。
条件2:算出された色差(Cr)の差が、所定の閾値(THcr)よりも大きい。
条件3:算出された色差(Cb)の差が、所定の閾値(THcb)よりも大きい。
そして、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
Next, the
Then, the number of pixels (Nd) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of pixels satisfying at least one of the following three conditions is counted, and this is set as the number of pixels (Nd) having a large difference between the input image and the reference image.
Condition 1: The calculated luminance (Y) difference is larger than a predetermined threshold (THy).
Condition 2: The calculated color difference (Cr) difference is larger than a predetermined threshold value (THcr).
Condition 3: The calculated difference in color difference (Cb) is larger than a predetermined threshold value (THcb).
Then, when the counted number of pixels (Nd) is larger than a predetermined threshold value THnd, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.
ここで、上記閾値THy、THcr、THcbは、固定値ではなく、判定基準補正部50からの指示に従い、適切な値に補正される。
判定基準補正部50は、異常判定部30の判定結果が「正常」の場合に、以下の処理により異常判定部30で用いられる閾値THy、THcr、THcbの補正を指示する。
Here, the threshold values THy, THcr, THcb are not fixed values, but are corrected to appropriate values in accordance with instructions from the determination
When the determination result of the
すなわち、異常判定部30においてカウントされた画素数(Nd)が、所定の値THnd2(但し、THnd>THnd2)よりも大きい状態が所定時間継続した場合、カメラの設置場所の人通りが多いなどの理由により画像の変化が大きいと判断し、現在用いられている閾値THy、THcr、THcbを、より画像の変化の大きい環境に適した値に補正するため、それぞれ微小量増大させる。
すなわち、
THy(n):時刻nにおける閾値THy
THcr(n):時刻nにおける閾値THcr
THcb(n):時刻nにおける閾値THcb
ΔTHy、ΔTHcr、ΔTHcb:微小量
とした時に、
THy(n+1) = THy(n) +ΔTHy
THcr(n+1) = THcr(n) +ΔTHcr
THcb(n+1) = THcb(n) +ΔTHcb
の演算により、新しい閾値THy(n+1)、THcr(n+1)、THcb(n+1)を定めることができる。
That is, when the state where the number of pixels (Nd) counted by the
That is,
THy (n): threshold THy at time n
THcr (n): threshold THcr at time n
THcb (n): threshold THcb at time n
ΔTHy, ΔTHcr, ΔTHcb: When the amount is minute,
THy (n + 1) = THy (n) + ΔTHy
THcr (n + 1) = THcr (n) + ΔTHcr
THcb (n + 1) = THcb (n) + ΔTHcb
The new threshold values THy (n + 1), THcr (n + 1), and THcb (n + 1) can be determined by the above calculation.
一方、異常判定部30においてカウントされた画素数(Nd)が、所定の値THnd2(但し、THnd>THnd2)よりも小さい状態が所定時間継続した場合、カメラの設置場所の人通りがほとんど無いなどの理由により画像の変化が小さいと判断し、現在用いられている閾値THy、THcr、THcbを、より画像の変化の小さい環境に適した値に補正するため、それぞれ微小量減少させる。
すなわち、
THy(n):時刻nにおける閾値THy
THcr(n):時刻nにおける閾値THcr
THcb(n):時刻nにおける閾値THcb
ΔTHy、ΔTHcr、ΔTHcb:微小量
とした時に、
THy(n+1) = THy(n) −ΔTHy
THcr(n+1) = THcr(n) −ΔTHcr
THcb(n+1) = THcb(n) −ΔTHcb
の演算により、新しい閾値THy(n+1)、THcr(n+1)、THcb(n+1)を定めることができる。
なお、判定基準補正部50は、異常判定部30の判定結果が「異常」の場合には、異常判定部30に対する閾値の補正指示は行わない。
On the other hand, when the number of pixels (Nd) counted by the
That is,
THy (n): threshold THy at time n
THcr (n): threshold THcr at time n
THcb (n): threshold THcb at time n
ΔTHy, ΔTHcr, ΔTHcb: When the amount is minute,
THy (n + 1) = THy (n) −ΔTHy
THcr (n + 1) = THcr (n) −ΔTHcr
THcb (n + 1) = THcb (n) −ΔTHcb
The new threshold values THy (n + 1), THcr (n + 1), and THcb (n + 1) can be determined by the above calculation.
The determination
以上のように、異常判定部30で用いる判定閾値を入力画像にあわせて最適な値に変えるようにしているので、カメラの設置環境(人通りの多少など)にかかわらず、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
なお、上記実施の形態2においては、参照画像の補正を行わず、異常判定処理における判定基準を入力画像にあわせて最適な値に変えるようにする実施の形態について説明したが、実施の形態1で説明した参照画像の補正処理を、この実施の形態の構成と組み合わせて用いても良い。
また、図3の判定基準補正部50において、異常判定部30で用いられる閾値THy、THcr、THcbの補正を指示するものについて説明したが、補正する閾値はTHy、THcr、THcbに限らず、例えば閾値THndを補正しても良い。
As described above, since the determination threshold value used in the
In the second embodiment, the reference image is not corrected, and the determination criterion in the abnormality determination process is changed to an optimum value according to the input image. However, the first embodiment is described. The reference image correction processing described in (1) may be used in combination with the configuration of this embodiment.
Further, in the determination
実施の形態3.
上記の実施の形態1では、参照画像と入力画像とを画素ごとに比較するようにしたものであるが、参照画像と入力画像をそれぞれ複数エリアのブロックに分割し、ブロックごとに画像の特徴量を抽出して比較するようにする実施の形態を示す。
図4は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図4において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部21はカメラ1が正常な時の標準的画像と推定される画像の特徴量を参照データとして保存する記憶素子、異常判定部30は特徴量抽出部80で抽出した画像の特徴量と参照画像保存部21に記憶された特徴量(参照データ)との比較によりカメラ1の異常の有無を判定する判定回路、参照画像補正部41は特徴量抽出部80で抽出した特徴量と異常判定部30の判定結果に基づき、参照画像保存部21に記憶された特徴量(参照データ)を補正する回路、ブロック分割部60は画像受信部10で受信した画像データを複数領域のブロックに分割し出力する回路、特徴量抽出部80は分割されたブロック毎に画像の特徴量を抽出する回路である。
Embodiment 3 FIG.
In the first embodiment, the reference image and the input image are compared for each pixel. However, the reference image and the input image are each divided into blocks of a plurality of areas, and the feature amount of the image for each block. An embodiment will be described in which the above are extracted and compared.
FIG. 4 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 4, an
次に動作について説明する。
画像受信部10の動作は上記実施の形態1と同様である。
ブロック分割部60は、画像受信部10の出力する各画素の輝度(Y)と、色差(Cr、Cb)を入力し、画像の1画面を複数領域のブロックに分割して、ブロック毎の輝度(Y)と、色差(Cr、Cb)信号を出力する。
特徴量抽出部80は、ブロック分割部60の出力するブロック毎の輝度(Y)と、色差(Cr、Cb)信号を入力し、ブロック毎に輝度(Y)の平均値を算出して、この値を画像の特徴量として出力する。
Next, the operation will be described.
The operation of the
The
The feature
参照画像保存部21は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像の特徴量を参照データとして保存しておくものである。
参照画像保存部21内に保存する特徴量(参照データ)の初期値は、カメラ正常の時の画像データから算出されたブロック毎の輝度(Y)の平均値が用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像から特徴量抽出部80で算出された、画面分割された各ブロック毎の輝度(Y)の平均値が特徴量(参照データ)として参照画像保存部21内に取り込まれる。
The reference
As the initial value of the feature value (reference data) stored in the reference
また、画像監視システムの運用を開始すると、参照画像保存部21は、参照画像補正部41からの指示に従い、特徴量(参照データ)を最適な値に補正する。
なお、上記初期値として取り込む画像の特徴量は、人などの動く物体が映り込んでいないときの画像から算出された特徴量を使うことがより望ましいが、後に説明する参照画像補正部41の動作により特徴量(参照データ)が最適な値に補正されるので、人などの動く物体が映り込んでいても正常に動作する。
When the operation of the image monitoring system is started, the reference
Note that it is more desirable to use the feature amount calculated from the image when a moving object such as a person is not reflected as the feature amount of the image to be captured as the initial value, but the operation of the reference
次に異常判定部30は、特徴量抽出部80から入力画像の各ブロックの輝度(Y)の平均値データを入力するとともに、参照画像保存部21から特徴量(参照データ)として保存された各ブロックの輝度(Y)の平均値データを入力し、各ブロックについて、入力画像の輝度(Y)の平均値と、参照画像保存部21に参照データとして保存された輝度(Y)の平均値との差を算出する。
そして、入力画像と参照画像の差が大きいブロック数(Nb)を算出する。具体的には、例えば、以下の条件を満足するブロック数をカウントし、これを入力画像と参照画像の差が大きいブロック数(Nb)とする。
条件:算出された輝度の平均値(Ym)の差が、所定の閾値(THym)よりも大きい。
Next, the
Then, the number of blocks (Nb) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of blocks satisfying the following conditions is counted, and this is set as the number of blocks (Nb) having a large difference between the input image and the reference image.
Condition: The difference in the calculated average brightness value (Ym) is larger than a predetermined threshold value (THym).
そして、カウントされたブロック数(Nb)が、所定の閾値THnbよりも大きい場合に異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
参照画像補正部41は、異常判定部30の判定結果が「正常」の場合に、以下の処理により参照画像保存部21に記憶された特徴量(参照データ)を補正する。
すなわち、参照画像保存部21内に現在保存されている参照画像の各ブロックの輝度(Y)の平均値を、各ブロックの入力画像データの輝度(Y)の平均値に近づく方向に微小変動させ、新しい参照画像の輝度(Y)の平均値とする。すなわち、
Ym(n):参照画像の、時刻nにおける特定のブロックの輝度平均値
Im(n):入力画像の、時刻nにおける上記と同じブロックの輝度平均値
P :所定の係数(0に近い正の値)
とした時に、
Ym(n+1) = (1−P)・Ym(n) +P・Im(n)
の演算により、新しい参照画像の輝度平均値Ym(n+1)を補正することができる。この処理を参照画像の全てのブロックについて行う。
Then, when the counted number of blocks (Nb) is larger than a predetermined threshold value THnb, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.
When the determination result of the
That is, the average value of the luminance (Y) of each block of the reference image currently stored in the reference
Ym (n): average luminance value of a specific block at a time n in the reference image Im (n): average luminance value of the same block as that at the time n in the input image P: a predetermined coefficient (a positive value close to 0) value)
When
Ym (n + 1) = (1-P) .Ym (n) + P.Im (n)
By this calculation, the luminance average value Ym (n + 1) of the new reference image can be corrected. This process is performed for all blocks of the reference image.
そして、補正された新しい参照画像の輝度平均値を参照画像保存部21にセットする。
なお、参照画像補正部41は、異常判定部30の判定結果が「異常」の場合には、参照画像保存部21に対する特徴量(参照データ)の補正は行わない。
Then, the corrected average brightness value of the reference image is set in the reference
Note that the reference
以上のように、画像を複数のブロックに分割し、分割したブロック毎に参照画像と入力画像とを比較するようにし、差異の大きいブロック数が所定数以下の場合に正常と判定させるようにしたので、入力画像内に人物などの動く物体が映り込んだ場合でも、人物の映っていない背景部分のブロックの差異が少ないため、誤って異常と判定されるのを防ぐことができる効果がある。
また、参照データ保存部に保存された特徴量(参照データ)を入力画像にあわせて最適な値に変えるようにしているので、人通りの多少など画像の変化の大きさにかかわらず、設置環境に応じた最適な値に特徴量(参照データ)が補正され、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
As described above, the image is divided into a plurality of blocks, and the reference image and the input image are compared for each divided block, and when the number of blocks having a large difference is equal to or less than the predetermined number, it is determined that the image is normal. Therefore, even when a moving object such as a person is reflected in the input image, there is little difference between the blocks of the background portion where the person is not reflected, so that it is possible to prevent erroneous determination as abnormal.
In addition, the feature value (reference data) stored in the reference data storage unit is changed to an optimal value according to the input image. The feature amount (reference data) is corrected to an optimum value corresponding to the above, and there is an effect that a stable operation with few errors in abnormality determination can be performed.
また、画像を複数のブロックに分割し、ブロック毎に画像の特徴量を抽出して異常判定を行うので、異常判定部において比較するデータ数を削減でき、処理負荷を軽減できる効果がある。
なお、図4において、参照画像保存部21は、ブロック毎の輝度(Y)の平均値をカメラ画像の特徴量として保存するものについて説明したが、特徴量は輝度の平均値に限らない。例えば色差の平均値を特徴量として用いても良い
In addition, since the image is divided into a plurality of blocks and the feature amount of the image is extracted for each block and abnormality determination is performed, the number of data to be compared in the abnormality determination unit can be reduced, and the processing load can be reduced.
In FIG. 4, the reference
実施の形態4.
上記の実施の形態1では、単一の参照画像を持たせて参照画像を入力画像にあわせて最適な値に変えるようにしていたが、次に適用させる時間帯に応じた複数の参照画像を持たせて、それぞれの参照画像を適用させる時間帯を入力画像にあわせて最適な値に変えるようにする実施の形態を示す。
Embodiment 4 FIG.
In Embodiment 1 described above, a single reference image is provided and the reference image is changed to an optimum value in accordance with the input image. However, a plurality of reference images corresponding to the time zone to be applied next are displayed. An embodiment is described in which the time zone in which each reference image is applied is changed to an optimal value in accordance with the input image.
図5は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図5において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部21、22はカメラ1が正常な時の標準的画像と推定される値を参照画像として保存する記憶素子、異常判定部30は画像受信部10で受信した画像データと参照画像保存部21もしくは参照画像保存部22に記憶された参照画像との比較によりカメラ1の異常の有無を判定する判定回路、参照画像読出し制御部70は異常判定部30で用いる参照画像として、参照画像保存部21もしくは参照画像保存部22に記憶された参照画像のうちいずれか一方を選択して読出す制御回路である。
FIG. 5 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 5, an
次に動作について説明する。
画像受信部10の動作は上記実施の形態1と同様である。
参照画像保存部21、22は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像を参照画像として保存しておくものである。このうち参照画像保存部21は昼の時間帯におけるカメラ異常判定に用いられ、昼間の明るい環境における参照カメラ画像が保存されている。一方参照画像保存部22は夜の時間帯におけるカメラ異常判定に用いられ、夜間の暗い環境における参照なカメラ画像が保存されている。
Next, the operation will be described.
The operation of the
The reference
参照画像保存部21、22内に保存する参照カメラ画像の初期値は、カメラ正常の時の画像データが用いられ、例えば画像監視システムの設置後、運用開始前に、昼の時間帯、夜の時間帯のそれぞれにおいて、システムの設置者が表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102、103の操作をすると、その操作時のカメラ画像における、各画素の輝度(Y)と、色差(Cr、Cb)の値が参照カメラ画像として参照画像保存部21もしくは参照画像保存部22内に取り込まれる。
As the initial value of the reference camera image stored in the reference
次に異常判定部30は、画像受信部10から入力画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力するとともに、参照画像読出し制御部70を経由して、参照画像保存部21もしくは参照画像保存部22からの参照画像の各画素の輝度(Y)と、色差(Cr、Cb)データを入力し、各画素について、入力画像と参照画像の輝度(Y)と、色差(Cr、Cb)の差を算出する。
Next, the
そして、入力画像と参照画像の差が大きい画素数(Nd)を算出する。具体的には、例えば、以下の3つの条件のうち少なくとも1つを満足する画素数をカウントし、これを入力画像と参照画像の差が大きい画素数(Nd)とする。
条件1:算出された輝度(Y)の差が、所定の閾値(THy)よりも大きい。
条件2:算出された色差(Cr)の差が、所定の閾値(THcr)よりも大きい。
条件3:算出された色差(Cb)の差が、所定の閾値(THcb)よりも大きい。
そして、カウントされた画素数(Nd)が、所定の閾値THndよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
Then, the number of pixels (Nd) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of pixels satisfying at least one of the following three conditions is counted, and this is set as the number of pixels (Nd) having a large difference between the input image and the reference image.
Condition 1: The calculated luminance (Y) difference is larger than a predetermined threshold (THy).
Condition 2: The calculated color difference (Cr) difference is larger than a predetermined threshold value (THcr).
Condition 3: The calculated difference in color difference (Cb) is larger than a predetermined threshold value (THcb).
Then, when the counted number of pixels (Nd) is larger than a predetermined threshold value THnd, it is determined as abnormal, otherwise it is determined as normal, and a determination result is output.
参照画像読出し制御部70は、明るい昼の時間帯は参照画像保存部21に保存された参照画像を読み出して異常判定部30に出力し、暗い夜の時間帯は参照画像保存部22に保存された参照画像を読み出して異常判定部30に出力する。
参照画像読出し制御部70が参照画像保存部21あるいは参照画像保存部22を読み出す時間帯は入力画像にあわせて最適な値に変えるようにする。その具体的手順を以下に説明する。
The reference image read
The time zone during which the reference image read
参照画像読出し制御部70は、画像監視システムの設置後、運用開始前の初期状態においては、午前6時から午後6時までの間は参照画像保存部21に保存された昼用の参照画像を読み出し、午後6時から翌朝午前6時までの間は参照画像保存部22に保存された夜用の参照画像を読み出すよう、プリセットされているものとする。
そして、画像監視システムの運用を開始すると、参照画像読出し制御部70はプリセットされた時間帯に従って参照画像保存部21または参照画像保存部22に保存された参照画像を読出すように制御するが、参照画像保存部21または参照画像保存部22を適用する時間帯を、より適切な時間帯になるように自動的に変更する。
例えば、昼から夜への時間帯の変わり目において、画像受信部10の出力する各画素の輝度(Y)の平均値(Ym1)と、参照画像保存部21の出力する各画素の輝度(Y)の平均値(Ym2)を算出し、これらの平均値(Ym1、Ym2)を比較し、
Ym1<Ym2−Th1, (1)
の条件を満たすかどうかを判定する。但し、Th1は所定の閾値である。
The reference image
When the operation of the image monitoring system is started, the reference image read
For example, the average value (Ym1) of the luminance (Y) of each pixel output from the
Ym1 <Ym2-Th1, (1)
It is determined whether or not the condition is satisfied. However, Th1 is a predetermined threshold value.
昼から夜への時間帯の変わり目においては、撮影エリアの明るさが次第に暗くなることにより画像の輝度が低下し、Ym1の値が減少する。そして上記(1)式を満たした際に、撮影した画像の明るさと昼用の参照画像の明るさの差が大きくなったと判断され、もはや昼用の参照画像を用いるべきではなく夜用の参照画像を使うべきであると考えられる。 At the change of the time zone from day to night, the brightness of the shooting area gradually becomes dark, so that the brightness of the image is lowered and the value of Ym1 is reduced. When the above formula (1) is satisfied, it is determined that the difference between the brightness of the captured image and the brightness of the daytime reference image has increased, so that the daytime reference image should no longer be used and the nighttime reference image should be used. It seems that you should use images.
そして、上記(1)式を満足した時刻(T1)と参照画像保存部21を適用する時間帯の終了時刻(T2)とを比較し、T1がT2よりも早い場合、参照画像保存部21を適用する時間帯の終了時刻を早めに設定し、翌日の運用時に適用する。例えば、参照画像保存部21を適用する時間帯が午前6時から午後6時であり、上記(1)式を満足した時刻が午後5時50分であった場合、翌日に参照画像保存部21を適用する時間帯を午前6時から午後5時59分までとし、参照画像保存部22を適用する時間帯を午後5時59分から午前6時までとする。
Then, the time (T1) that satisfies the above expression (1) is compared with the end time (T2) of the time zone to which the reference
一方、参照画像保存部21を適用する時間帯の終了時刻(T2)になっても上記(1)式を満たさない場合、参照画像保存部21を適用する時間帯の終了時刻を遅めに設定し、翌日の運用時に適用する。例えば、参照画像保存部21を適用する時間帯が午前6時から午後6時であり、午後6時になっても上記(1)式を満たさない場合、翌日に参照画像保存部21を適用する時間帯を午前6時から午後6時1分までとし、参照画像保存部22を適用する時間帯を午後6時1分から午前6時までとする。
また、夜から昼への時間帯の変わり目において、画像受信部10の出力する各画素の輝度(Y)の平均値(Ym1)と、参照画像保存部21の出力する各画素の輝度(Y)の平均値(Ym2)を比較し、
Ym1>Ym2+Th1, (2)
の条件を満たすかどうかを判定する。但し、Th1は所定の閾値である。
On the other hand, if the above equation (1) is not satisfied even when the end time (T2) of the time zone to which the reference
In addition, the average value (Ym1) of the luminance (Y) of each pixel output from the
Ym1> Ym2 + Th1, (2)
It is determined whether or not the condition is satisfied. However, Th1 is a predetermined threshold value.
夜から昼への時間帯の変わり目においては、撮影エリアの明るさが次第に明るくなることにより画像の輝度が増加し、Ym1の値が増加する。そして上記(2)式を満たした際に、撮影した画像の明るさと昼用の参照画像の明るさの差が大きくなったと判断され、もはや夜用の参照画像を用いるべきではなく昼用の参照画像を使うべきであると考えられる。
そして、上記(2)式を満足した時刻(T3)と参照画像保存部22を適用する時間帯の終了時刻(T4)とを比較し、T3がT4よりも早い場合、参照画像保存部22を適用する時間帯の終了時刻を早めに設定し、翌日の運用時に適用する。例えば、参照画像保存部21を適用する時間帯が午後6時から午前6時であり、上記(2)式を満足した時刻が午前5時50分であった場合、翌日に参照画像保存部22を適用する時間帯を午後6時から午前5時59分までとし、参照画像保存部21を適用する時間帯を午前5時59分から午後6時までとする。
At the transition of the time zone from night to noon, the brightness of the shooting area gradually increases, so that the brightness of the image increases and the value of Ym1 increases. When the above equation (2) is satisfied, it is determined that the difference between the brightness of the captured image and the brightness of the daytime reference image has increased, and the nighttime reference image should no longer be used. It seems that you should use images.
Then, the time (T3) that satisfies the above expression (2) is compared with the end time (T4) of the time zone to which the reference
一方、参照画像保存部22を適用する時間帯の終了時刻(T4)になっても上記(2)式を満たさない場合、参照画像保存部22を適用する時間帯の終了時刻を遅めに設定し、翌日の運用時に適用する。例えば、参照画像保存部22を適用する時間帯が午後6時から午前6時であり、午前6時になっても上記(2)式を満たさない場合、翌日に参照画像保存部22を適用する時間帯を午後6時から午前6時1分までとし、参照画像保存部21を適用する時間帯を午前6時1分から午後6時までとする。
On the other hand, if the above expression (2) is not satisfied even when the end time (T4) of the time zone to which the reference
以上のように、適用させる時間帯に応じた複数の参照画像を持たせて、それぞれの参照画像を適用させる時間帯を入力画像にあわせて最適な値に変えるようにしたので、季節の変化にともなって昼夜の時間が変わっても、最適な参照画像を適用する時間帯が自動的に調整され、良好な判定性能が得られる効果がある。
なお、上記実施の形態4においては、昼間用、夜間用の2種類の参照画像を用いるものについて説明したが、用いる参照画像の数は2種類に限らず、2以上の任意の数であって良い。例えば、夜間用、日の出時用、昼間用、日の入り時用というように4種類の参照画像を用いるようなものであっても良い。
As described above, we have multiple reference images according to the time zone to be applied, and change the time zone to apply each reference image to the optimal value according to the input image. Accordingly, even if the time of day and night changes, the time zone in which the optimum reference image is applied is automatically adjusted, and there is an effect that good determination performance can be obtained.
In the fourth embodiment, description has been given of using two types of reference images for daytime and nighttime. However, the number of reference images to be used is not limited to two, and may be any number of two or more. good. For example, four types of reference images may be used such as for nighttime, sunrise, daytime, and sunset.
実施の形態5.
上記の実施の形態2では、参照画像と入力画像とを画素ごとに比較するようにしたものであるが、参照画像と入力画像をそれぞれ複数エリアのブロックに分割し、ブロックごとに画像の特徴量を抽出して比較するようにする実施の形態を示す。
図6は、このような場合のカメラ異常検知装置の構成を示す構成図である。
図6において、画像受信部10はカメラ1から送出される画像データ100を受信する受信回路、参照画像保存部21はカメラ1が正常な時の標準的画像と推定される画像の特徴量を参照データとして保存する記憶素子、異常判定部30は特徴量抽出部80で抽出した画像の特徴量と参照画像保存部21に記憶された特徴量(参照データ)との比較によりカメラ1の異常の有無を判定する判定回路、判定基準補正部50は、異常判定部30で用いられる判定基準を補正する回路、ブロック分割部60は画像受信部10で受信した画像データを複数エリアのブロックに分割し出力する回路、特徴量抽出部80は分割されたブロック毎に画像の特徴量を抽出する回路である。
In the second embodiment, the reference image and the input image are compared for each pixel. However, the reference image and the input image are each divided into blocks of a plurality of areas, and the feature amount of the image for each block. An embodiment will be described in which the above are extracted and compared.
FIG. 6 is a configuration diagram showing the configuration of the camera abnormality detection device in such a case.
In FIG. 6, an
次に動作について説明する。
画像受信部10の動作は上記実施の形態2と同様である。
ブロック分割部60は、画像受信部10の出力する各画素の輝度(Y)、色差(Cr、Cb)を入力し、画像の1画面を複数領域のブロックに分割して、ブロック毎の輝度(Y)、色差(Cr、Cb)信号を出力する。
特徴量抽出部80は、ブロック分割部60の出力するブロック毎の輝度(Y)と、色差(Cr、Cb)信号を入力し、ブロック毎に輝度(Y)の平均値を算出して、この値を画像の特徴量として出力する。
Next, the operation will be described.
The operation of the
The
The feature
参照画像保存部21は、後述する異常判定部30においてカメラ1が正常か否かの判定に用いるための、標準的画像と推定されるカメラ画像の特徴量を参照データとして保存しておくものである。
参照画像保存部21内に保存する特徴量(参照データ)の初期値は、カメラ正常の時の画像データから算出されたブロック毎の輝度(Y)の平均値が用いられ、例えば画像監視システムの設置後、運用開始前に、ユーザが表示端末4でカメラ画像が正常であることを確認しながら、初期データ取り込み指示102の操作をすると、その操作時のカメラ画像から特徴量抽出部80で算出された、画面分割された各ブロック毎の輝度(Y)の平均値が特徴量(参照データ)として参照画像保存部21内に取り込まれる。
The reference
As the initial value of the feature value (reference data) stored in the reference
次に異常判定部30は、特徴量抽出部80から入力画像の各ブロックの輝度(Y)の平均値データを入力するとともに、参照画像保存部21から特徴量(参照データ)として保存された各ブロックの輝度(Y)の平均値データを入力し、各ブロックについて、入力画像の輝度(Y)の平均値と、参照データとして保存された輝度(Y)の平均値との差を算出する。
Next, the
そして、入力画像と参照画像の差が大きいブロック数(Nb)を算出する。具体的には、例えば、以下の条件を満足するブロック数をカウントし、これを入力画像と参照画像の差が大きいブロック数(Nb)とする。
条件:算出された輝度の平均値(Ym)の差が、所定の閾値(THym)よりも大きい。
そして、カウントされたブロック数(Nb)が、所定の閾値THnbよりも大きい場合、異常と判定し、それ以外の場合正常と判定し、判定結果を出力する。
ここで、上記閾値THymは、固定値ではなく、判定基準補正部50からの指示に従い、適切な値に補正される。
Then, the number of blocks (Nb) having a large difference between the input image and the reference image is calculated. Specifically, for example, the number of blocks satisfying the following conditions is counted, and this is set as the number of blocks (Nb) having a large difference between the input image and the reference image.
Condition: The difference in the calculated average brightness value (Ym) is larger than a predetermined threshold value (THym).
When the counted number of blocks (Nb) is larger than a predetermined threshold THnb, it is determined as abnormal, otherwise it is determined as normal, and the determination result is output.
Here, the threshold value THym is not a fixed value, but is corrected to an appropriate value in accordance with an instruction from the determination
判定基準補正部50は、異常判定部30の判定結果が「正常」の場合に、以下の処理により異常判定部30で用いられる閾値THymの補正を指示する。
すなわち、異常判定部30においてカウントされたブロック数(Nb)が、所定の値THnb2(但し、THnb>THnb2)よりも大きい状態が所定時間継続した場合、カメラの設置場所の人通りが多いなどの理由により画像の変化が大きいと判断し、現在用いられている閾値THymを、より画像の変化の大きい環境に適した値に補正するため、微小量増大させる。
すなわち、
THym(n):時刻nにおける閾値THym
ΔTHy:微小量
とした時に、
THym(n+1) = THym(n) +ΔTHy
の演算により、新しい閾値THym(n+1)を定めることができる。
When the determination result of the
That is, when the number of blocks (Nb) counted by the
That is,
THym (n): threshold THym at time n
ΔTHy: When the amount is minute,
THym (n + 1) = THym (n) + ΔTHy
A new threshold value THym (n + 1) can be determined by the calculation of
一方、異常判定部30においてカウントされたブロック数(Nb)が、所定の値THnb2(但し、THnb>THnb2)よりも小さい状態が所定時間継続した場合、カメラの設置場所の人通りがほとんど無いなどの理由により画像の変化が小さいと判断し、現在用いられている閾値THymを、より画像の変化の小さい環境に適した値に補正するため、微小量減少させる。
すなわち、
THym(n):時刻nにおける閾値THym
ΔTHy:微小量
とした時に、
THym(n+1) = THym(n) −ΔTHy
の演算により、新しい閾値THym(n+1)を定めることができる。
なお、判定基準補正部50は、異常判定部30の判定結果が「異常」の場合には、異常判定部30に対する閾値の補正指示は行わない。
On the other hand, when the number of blocks (Nb) counted by the
That is,
THym (n): threshold THym at time n
ΔTHy: When the amount is minute,
THym (n + 1) = THym (n) −ΔTHy
A new threshold value THym (n + 1) can be determined by the calculation of
The determination
以上のように、画像を複数のブロックに分割し、分割したブロック毎に参照画像と入力画像とを比較するようにし、差異の大きいブロック数が所定数以下の場合に正常と判定させるようにしたので、入力画像内に人物などの動く物体が映り込んだ場合でも、人物の映っていない背景部分のブロックの差異が少ないため、誤って異常と判定されるのを防ぐことができる効果がある。
また、異常判定部で用いる判定閾値を入力画像にあわせて最適な値に変えるようにしているので、カメラの設置環境(人通りの多少など)にかかわらず、異常判定の誤りが少ない安定した動作をさせることができる効果がある。
As described above, the image is divided into a plurality of blocks, and the reference image and the input image are compared for each divided block, and when the number of blocks having a large difference is equal to or less than the predetermined number, it is determined that the image is normal. Therefore, even when a moving object such as a person is reflected in the input image, there is little difference between the blocks of the background portion where the person is not reflected, so that it is possible to prevent erroneous determination as abnormal.
In addition, the judgment threshold used in the abnormality judgment unit is changed to an optimum value according to the input image, so stable operation with few errors in abnormality judgment regardless of the installation environment of the camera (slight traffic, etc.) There is an effect that can be made.
また、画像を複数のブロックに分割し、ブロック毎に画像の特徴量を抽出して異常判定を行うので、異常判定部において比較するデータ数を削減でき、処理負荷を軽減できる効果がある。
なお、図6において、参照画像保存部21は、ブロック毎の輝度(Y)の平均値をカメラ画像の特徴量として保存するものについて説明したが、特徴量は輝度の平均値に限らない。例えば色差の平均値を特徴量として用いても良い
また、図6において、異常判定部30は輝度の平均値(Ym)の差を評価するための閾値(THym)を判定基準補正部50からの指示に従い、適切な値に補正するものについて説明したが、補正する閾値はTHymに限らず、例えば、異常判定部30において入力画像と参照画像の差が大きいブロック数(Nb)を評価するための閾値(THnb)を、判定基準補正部50からの指示に従い、適切な値に補正するようにしても良い。
In addition, since the image is divided into a plurality of blocks and the feature amount of the image is extracted for each block and abnormality determination is performed, the number of data to be compared in the abnormality determination unit can be reduced, and the processing load can be reduced.
Although the reference
この発明に係るカメラ異常検知装置は、カメラの異常を検出するための参照画像または判定基準を撮影対象の環境に合わせて補正できるという効果を有しており、特にカメラによって監視対象を撮影した撮影画像を参照して異常状態を検出する監視システムに適用可能である。 The camera abnormality detection device according to the present invention has an effect that a reference image or a determination standard for detecting an abnormality of a camera can be corrected according to an environment of an imaging target, and particularly an imaging in which a monitoring target is captured by a camera. The present invention can be applied to a monitoring system that detects an abnormal state with reference to an image.
1;カメラ、2;ネットワーク、3;レコーダ、4;表示端末、5;カメラ異常検知装置、10;画像受信部、20、21;参照画像保存部、30;異常判定部、40、41;参照画像補正部、50;判定基準補正部、60;ブロック分割部、70;参照画像読出し制御部、80;特徴量抽出部。
DESCRIPTION OF SYMBOLS 1; Camera, 2; Network, 3; Recorder, 4; Display terminal, 5; Camera abnormality detection apparatus, 10; Image receiving part, 20, 21; Reference image preservation | save part, 30;
Claims (9)
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記作動中に画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部と、
上記画像受信部で受信した画像に基づいて、上記参照画像保存部に保存された上記参照画像を逐次補正する参照画像補正部を備えることを特徴とするカメラ異常検知装置。 In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
An abnormality determination unit that compares an image received by the image reception unit during the operation and a reference image stored in the reference image storage unit, and determines whether there is a camera abnormality based on a predetermined determination criterion;
A camera abnormality detection device comprising: a reference image correction unit that sequentially corrects the reference image stored in the reference image storage unit based on an image received by the image reception unit.
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記作動中に画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部と、
上記作動中に画像受信部で受信した画像に基づいて、上記異常判定部において用いられる上記判定基準を逐次補正する判定基準補正部
を備えることを特徴とするカメラ異常検知装置。 In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
An abnormality determination unit that compares an image received by the image reception unit during the operation and a reference image stored in the reference image storage unit, and determines whether there is a camera abnormality based on a predetermined determination criterion;
A camera abnormality detection device comprising: a determination criterion correction unit that sequentially corrects the determination criterion used in the abnormality determination unit based on an image received by the image reception unit during the operation.
分割されたそれぞれのブロック毎に上記画像受信部で受信した画像と上記参照画像保存部に保存された参照画像とを比較し、
所定数以上のブロックにおいて上記画像受信部で受信した画像と上記参照画像保存部に保存された参照画像との差異が大きい場合に「カメラ異常」と判定することを特徴とする請求項1または請求項4に記載のカメラ異常検知装置。 The abnormality determination unit divides each of the image received by the image reception unit and the reference image stored in the reference image storage unit into a plurality of blocks,
Compare the image received by the image receiving unit for each divided block with the reference image stored in the reference image storage unit,
2. The “camera abnormality” is determined when a difference between an image received by the image receiving unit and a reference image stored in the reference image storage unit is large in a predetermined number of blocks or more. Item 5. The camera abnormality detection device according to Item 4.
カメラから送信される画像を受信する画像受信部と、
カメラから送信される標準的画像と推定される値を参照画像として保存する参照画像保存部と、
上記画像受信部で受信した画像と、上記参照画像保存部に保存された参照画像とを比較し、所定の判定基準によりカメラ異常の有無を判定する異常判定部を備え、
上記参照画像保存部は、特定の時間帯毎に適用される複数の参照画像を保持し、上記画像受信部で受信した画像に基づいて、各々の参照画像が適用されるべき時間帯を逐次補正することを特徴とするカメラ異常検知装置。 In the camera abnormality detection device that detects an abnormality of the camera by comparing an image obtained by photographing the target with the camera during normal operation as a reference image and comparing the image obtained by photographing the target with the camera during the operation,
An image receiving unit for receiving an image transmitted from the camera;
A reference image storage unit that stores a standard image transmitted from the camera and a value estimated as a reference image;
Comparing the image received by the image receiving unit with the reference image stored in the reference image storage unit, comprising an abnormality determination unit that determines the presence or absence of camera abnormality according to a predetermined determination criterion,
The reference image storage unit stores a plurality of reference images applied for each specific time period, and sequentially corrects the time period to which each reference image is applied based on the image received by the image reception unit. A camera abnormality detection device characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007072849A JP2008236353A (en) | 2007-03-20 | 2007-03-20 | Camera abnormality detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007072849A JP2008236353A (en) | 2007-03-20 | 2007-03-20 | Camera abnormality detection device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008236353A true JP2008236353A (en) | 2008-10-02 |
Family
ID=39908595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007072849A Pending JP2008236353A (en) | 2007-03-20 | 2007-03-20 | Camera abnormality detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008236353A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011176736A (en) * | 2010-02-25 | 2011-09-08 | Toshiba Corp | Monitoring apparatus |
JP2011259034A (en) * | 2010-06-04 | 2011-12-22 | Hitachi Systems Ltd | System for detecting and reporting abnormality in network camera |
JP2014223135A (en) * | 2013-05-15 | 2014-12-04 | 株式会社北電子 | Imaging disturbance detecting apparatus and imaging disturbance detecting method |
JP2016072799A (en) * | 2014-09-30 | 2016-05-09 | 株式会社デンソー | Image recognition device |
JPWO2015037334A1 (en) * | 2013-09-10 | 2017-03-02 | ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド | Air conditioner monitoring system |
JP2020088658A (en) * | 2018-11-27 | 2020-06-04 | 富士通株式会社 | Monitoring device, monitoring method and monitoring program |
CN111753860A (en) * | 2019-03-27 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | Analysis anomaly detection method and device |
CN115243038A (en) * | 2022-09-23 | 2022-10-25 | 北京小马易行科技有限公司 | Method for monitoring roadside camera, server and automatic driving system |
-
2007
- 2007-03-20 JP JP2007072849A patent/JP2008236353A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011176736A (en) * | 2010-02-25 | 2011-09-08 | Toshiba Corp | Monitoring apparatus |
JP2011259034A (en) * | 2010-06-04 | 2011-12-22 | Hitachi Systems Ltd | System for detecting and reporting abnormality in network camera |
JP2014223135A (en) * | 2013-05-15 | 2014-12-04 | 株式会社北電子 | Imaging disturbance detecting apparatus and imaging disturbance detecting method |
JPWO2015037334A1 (en) * | 2013-09-10 | 2017-03-02 | ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド | Air conditioner monitoring system |
JP2016072799A (en) * | 2014-09-30 | 2016-05-09 | 株式会社デンソー | Image recognition device |
JP2020088658A (en) * | 2018-11-27 | 2020-06-04 | 富士通株式会社 | Monitoring device, monitoring method and monitoring program |
JP7157330B2 (en) | 2018-11-27 | 2022-10-20 | 富士通株式会社 | Monitoring device, monitoring method and monitoring program |
CN111753860A (en) * | 2019-03-27 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | Analysis anomaly detection method and device |
CN111753860B (en) * | 2019-03-27 | 2024-02-02 | 杭州海康威视数字技术股份有限公司 | Analysis anomaly detection method and device |
CN115243038A (en) * | 2022-09-23 | 2022-10-25 | 北京小马易行科技有限公司 | Method for monitoring roadside camera, server and automatic driving system |
CN115243038B (en) * | 2022-09-23 | 2023-01-24 | 北京小马易行科技有限公司 | Method for monitoring roadside camera, server and automatic driving system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008236353A (en) | Camera abnormality detection device | |
CN105611188B (en) | Camera occlusion detection method and device based on automatic exposure | |
US10277805B2 (en) | Monitoring system and camera device | |
JP6732902B2 (en) | Imaging device and imaging system | |
US12033480B2 (en) | Image-based real-time intrusion detection method and surveillance camera using artificial intelligence | |
RU2628745C2 (en) | Protective observation system and relevant method of initializing alarm | |
US8633978B2 (en) | Human face detection and tracking device | |
US20150244991A1 (en) | Monitoring camera system and control method of monitoring camera system | |
JP2004023373A (en) | Image processor and processing method, and computer program and computer-readable storage medium | |
EP3013050A1 (en) | Video compression with adaptive GOP length and adaptive quantization | |
JP6543319B2 (en) | How to control the infrared cut filter of video camera | |
US10110929B2 (en) | Method of pre-processing digital images, and digital image preprocessing system | |
US10142664B2 (en) | Method and device for determining properties of a graphical overlay for a video stream | |
US20110298965A1 (en) | Scene-aware automatic-exposure control | |
JP4548128B2 (en) | Defect detection apparatus, defect detection method, and imaging apparatus | |
CN105430522A (en) | Method and device for switching cameras of smart television control terminal | |
JP4141716B2 (en) | Television monitoring system | |
JP4508043B2 (en) | Video surveillance device and video surveillance program | |
KR101546917B1 (en) | System and method for controlling night image correction | |
JP2004165804A (en) | Camera supervisory system | |
KR100420620B1 (en) | Object-based digital video recording system) | |
KR101630285B1 (en) | Apparatus and method for color rolling suppression | |
KR100391266B1 (en) | Method for background setup in object-based compression moving-image | |
JP2004254236A (en) | Image processing apparatus, image viewing apparatus, and image communication system | |
JP3435746B2 (en) | Remote monitoring device |