JP2006262101A - Image sensing apparatus - Google Patents
Image sensing apparatus Download PDFInfo
- Publication number
- JP2006262101A JP2006262101A JP2005076975A JP2005076975A JP2006262101A JP 2006262101 A JP2006262101 A JP 2006262101A JP 2005076975 A JP2005076975 A JP 2005076975A JP 2005076975 A JP2005076975 A JP 2005076975A JP 2006262101 A JP2006262101 A JP 2006262101A
- Authority
- JP
- Japan
- Prior art keywords
- image
- water droplet
- unit
- detection
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
Description
本発明は、特に屋外の監視空間を撮像した画像から検出対象である移動物体を検出するのに好適な画像センシング装置に関する。 The present invention relates to an image sensing apparatus suitable for detecting a moving object that is a detection target from an image obtained by imaging an outdoor monitoring space.
近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されており、例えば画像センサを用いたセキュリティシステムが普及している。画像センサを用いたシステムは、監視対象となる監視空間を撮像するカメラ部と、カメラ部で撮像された画像を受ける画像取得部と、処理に利用される画像データを格納及び保持する記憶部と、画像データを処理して監視空間内に存在する移動物体を検出する処理部と、を備える。処理部は、入力画像とそれより過去に撮像された背景画像との差分からなる差分画像に基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像の領域の属性値が検出対象物に特有の特徴を有する場合に、検出対象物が監視空間内に存在するものとして警報を発する等の処理を行う。例えば、検出対象が「侵入者」である場合には、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に侵入者が存在するものとして警報を発する等の処理を行う。 In recent years, security systems that detect intruders or the like that have entered a monitoring space have been widely used. For example, security systems using image sensors have become widespread. A system using an image sensor includes a camera unit that captures a monitoring space to be monitored, an image acquisition unit that receives an image captured by the camera unit, and a storage unit that stores and holds image data used for processing. A processing unit that processes the image data and detects a moving object existing in the monitoring space. The processing unit extracts a variation area in the image based on a difference image composed of a difference between the input image and a background image captured in the past, and detects an attribute value of the area of the input image corresponding to the variation area When the object has a characteristic characteristic, processing such as issuing an alarm as the detection object exists in the monitoring space is performed. For example, when the detection target is “intruder”, the attribute value indicating “humanity” such as the size, aspect ratio, and luminance information of the input image data corresponding to the variable region satisfies a predetermined condition. When the condition is satisfied, processing such as issuing an alarm that an intruder exists is performed.
また、画像センサを用いて侵入者等の監視を行うシステムは、夜間の監視のために、監視空間に光を照射する照明部をさらに備える。そして、照明部により監視空間を照射した状態で監視空間を撮像した画像を取得し、取得した画像データを処理して移動物体の検出及び該移動物体が検出対象物か否かの判断を行うことで、夜間における監視空間内の検出対象物（例えば侵入者）の存否を判断する。 Moreover, the system which monitors an intruder etc. using an image sensor is further provided with the illumination part which irradiates light to monitoring space for nighttime monitoring. Then, an image obtained by capturing the monitoring space in a state where the monitoring space is illuminated by the illumination unit is acquired, and the acquired image data is processed to detect a moving object and determine whether the moving object is a detection target. Thus, it is determined whether or not there is a detection object (for example, an intruder) in the monitoring space at night.
ところで、屋外の監視空間に侵入した侵入者等を検出するため、カメラ部を屋外に設置して上記のシステムを利用することがある。この場合、屋外の監視空間を監視するシステムではカメラ部を屋外に設置するため、雨天時等にカメラ部のレンズ部分等に水滴が付着する事態が生じることがある。ここで、水滴がレンズ部分等に付着すると、水滴を撮像した画像領域はぼやけた状態で画像データ中に映り込むため、ぼやけた水滴画像領域における検出対象物の検出処理が困難となる。例えば、画像中の水滴画像領域内に侵入者が存在する場合、侵入者の画像が水滴画像領域に隠れる等してはっきりと撮像されない場合があり、セキュリティシステムでは特に問題となる。 By the way, in order to detect an intruder or the like who has entered an outdoor monitoring space, the above system may be used by installing a camera unit outdoors. In this case, since the camera unit is installed outdoors in a system for monitoring an outdoor monitoring space, a situation may occur in which water drops adhere to the lens portion of the camera unit during rainy weather. Here, when a water droplet adheres to a lens part or the like, an image region in which the water droplet is imaged is reflected in the image data in a blurred state, so that it is difficult to detect a detection target in the blurred water droplet image region. For example, when an intruder exists in the water drop image area in the image, the intruder image may not be clearly captured because it is hidden in the water drop image area, which is a particular problem in the security system.
また、侵入者等を検出するための画像センサを用いたシステムでは、入力画像と背景画像との差分画像から抽出された変動領域の「検出対象物らしさ」を表す属性値が所定の条件を満たすか否かが検出のポイントとなる。すなわち、変動領域が検出対象物に起因しない場合においても「検出対象物らしさ」の条件が満たされるときには検出誤り（誤報）を発することとなる。このような誤報は、侵入者を検出するセキュリティシステムでは特に問題となるが、カメラ部のレンズ部分等に付着した水滴が、この誤報の原因となることがある。 In addition, in a system using an image sensor for detecting an intruder or the like, an attribute value representing the “detection object likelihood” of the fluctuation region extracted from the difference image between the input image and the background image satisfies a predetermined condition. Whether or not is the point of detection. That is, even when the fluctuation region is not caused by the detection object, a detection error (false report) is issued when the condition of “detection object likelihood” is satisfied. Such a false alarm becomes a problem particularly in a security system for detecting an intruder, but water droplets adhering to the lens portion of the camera unit may cause the false alarm.
本発明の目的は、撮像部に水滴が付着した場合に、画像センサによる検出対象物（侵入者）の検出が困難になっても、入力画像を送信して画面表示することで、監視員による目視での監視に切り替え可能とする画像センシング装置を提供することにある。 It is an object of the present invention to transmit an input image and display it on a screen even if it becomes difficult to detect a detection target (intruder) by an image sensor when a water droplet adheres to an imaging unit. An object of the present invention is to provide an image sensing device that can be switched to visual monitoring.
本発明の画像センシング装置は、監視空間を撮像した画像を取得する撮像部と、前記撮像部により撮像された入力画像中に検出対象物による画像領域が存在するか否かを判定し、前記監視空間における検出対象物の存在を検出する対象物検出部と、前記撮像部により撮像された入力画像中に水滴による画像領域が存在するか否かを判定し、前記撮像部への水滴の付着を検出する水滴検出部と、前記対象物検出部及び前記水滴検出部による検出結果に関する信号を外部の監視装置に出力する出力部と、を備え、前記水滴検出部が水滴を検出した場合に、水滴を検出した以降に前記撮像部から取得する入力画像を前記監視装置に出力し、前記監視装置にて画面表示を可能とすることを特徴とする。 The image sensing device of the present invention determines an image capturing unit that obtains an image of a monitoring space, and whether or not an image region due to a detection target exists in an input image captured by the image capturing unit. An object detection unit that detects the presence of a detection object in space, and determines whether or not an image region due to water droplets exists in the input image captured by the imaging unit, and the attachment of water droplets to the imaging unit A water droplet detection unit to detect, and an output unit that outputs a signal related to a detection result by the object detection unit and the water droplet detection unit to an external monitoring device, and when the water droplet detection unit detects a water droplet, An input image acquired from the imaging unit after detecting the image is output to the monitoring device, and the monitoring device can display a screen.
また本発明の画像センシング装置は、監視空間を撮像した画像を取得する撮像部と、前記撮像部により撮像された入力画像中に検出対象物による画像領域が存在するか否かを判定し、前記監視空間における検出対象物の存在を検出する対象物検出部と、前記撮像部により撮像された入力画像中に水滴による画像領域が存在するか否かを判定し、前記撮像部への水滴の付着を検出する水滴検出部と、前記対象物検出部及び前記水滴検出部による検出結果に関する信号を外部の監視装置に出力する出力部と、を備え、前記出力部からの水滴を検出した旨の信号に対して外部から返答信号を受信した場合に、水滴を検出した以降に前記撮像部から取得する入力画像を前記監視装置に出力し、前記監視装置にて画面表示を可能とすることを特徴とする。 The image sensing device of the present invention determines whether or not an image area by a detection target exists in an input image captured by the imaging section, an imaging section that captures an image of the surveillance space, An object detection unit for detecting the presence of a detection object in a monitoring space, and whether or not an image region due to water droplets exists in an input image captured by the imaging unit, and adhesion of water droplets to the imaging unit A signal indicating that a water droplet has been detected from the output unit, and a water droplet detection unit for detecting a water droplet, and an output unit for outputting a signal related to a detection result by the object detection unit and the water droplet detection unit to an external monitoring device. When an answer signal is received from the outside, an input image acquired from the imaging unit after detecting a water droplet is output to the monitoring device, and the monitoring device can display a screen. Do
ここで上記構成の画像センシング装置において、前記水滴検出部が水滴を検出した場合、前記対象物検出部は、検出処理を停止するのが好適である。 Here, in the image sensing device configured as described above, when the water droplet detection unit detects a water droplet, it is preferable that the object detection unit stops the detection process.
また、前記対象物検出部が検出処理を停止した場合であって前記水滴検出部が水滴を検出しなくなった場合には、前記対象物検出部は、検出処理を再開するようにしても良く、あるいは、外部から検出処理を再開する旨の指示信号を受信して、検出処理を再開するようにしても良い。 Further, when the object detection unit stops the detection process and the water droplet detection unit stops detecting the water droplet, the object detection unit may restart the detection process, Alternatively, the detection process may be resumed by receiving an instruction signal for restarting the detection process from the outside.
本発明によれば、水滴の付着を検出すると、入力画像を画面表示することで画像センシング装置による自動監視から監視員の目視による監視に切り替えるため、水滴の付着状態が解消されるまでの間の侵入者検出を確実に行うことが可能となる。 According to the present invention, when the attachment of water droplets is detected, the input image is displayed on the screen to switch from automatic monitoring by the image sensing device to monitoring by visual observation by the observer. Intruder detection can be performed reliably.
本発明の実施の形態における画像センシング装置１００は、図１に示すように、撮像部１０、照明部２０、照明制御部３０、侵入者検出部４０と水滴検出部５０と判定部６０とを含む画像処理部７０、出力部８０及び監視制御部９０を含み、以下に説明する処理を実行するためのプログラムを実行可能なコンピュータで構成することができる。尚、本実施形態では、検出対象物を「侵入者」としているが、これに限定されるものではない。従って、符号４０の構成要素を侵入者検出部という名称としているが、検出対象物によって名称も変更し得るものであり、画像センシング装置１００による所望の検出対象物を検出する処理を行う構成であれば良い。
As shown in FIG. 1, the
撮像部１０は、監視空間を２次元画像データとして取得可能なＣＣＤ素子又はＣ−ＭＯＳ素子等の光電変換素子を備えたカメラ、撮像された画像に対してアナログ／デジタル変換等の処理を行う処理部、及び、画像データを出力するインターフェース（図示せず）を含んで構成される。撮像部１０は、所定の時間周期Ｔｉ（例えば、０．１秒）で監視空間の画像を撮像して画像データとして出力する。
The
照明部２０は、例えば複数の発光ダイオード（ＬＥＤ）素子やランプ等が例えばマトリックス状に配列された構成となっている。この照明部２０により、夜間等における監視空間を照射した状態で撮像部１０により撮像した画像を取得することができる。尚、撮像部１０と照明部２０とは屋外向け防水性能を備えた筐体に収納されている。本発明では、その前面のガラスに付着した水滴を検出する。
The illumination unit 20 has a configuration in which, for example, a plurality of light emitting diode (LED) elements, lamps, and the like are arranged in a matrix, for example. The illumination unit 20 can acquire an image captured by the
照明制御部３０は、撮像部１０による入力画像全体の平均輝度を算出し、所定値以下であれば、夜間の監視のように環境光による明るさだけでは監視困難であるとして、監視空間を照射させるよう照明部２０を制御する。一方、入力画像全体の平均輝度が所定値以上であれば、昼間の監視のように環境光による明るさで十分監視可能であるとして、照明部２０による照射を行わないように照明部２０を制御する。また、例えば夜間における監視空間が街灯等で明るい場合には、街灯等による監視空間を撮像した入力画像全体の平均輝度に応じて、照明部２０が制御される。また照明制御部３０は、水滴検出部５０（詳しくは、後述のプログラム選択部５８）に、いずれの照明制御を行うか（照明の有無）を示す照明有無信号を出力する。
The
尚、照明有無を判断する条件としては、例えば撮像部１０に内蔵された入力画像信号を増幅するＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）アンプにおいて、入力画像信号がＡＧＣアンプによるゲイン調整可能なレンジを超えたら夜間とみなす（環境光による明るさだけでは監視困難とする）、画像信号のレベルが所定値以下なら夜間とみなす（環境光による明るさだけでは監視困難とする）、等の条件を設定しても良い。また本実施形態では、撮像部１０による入力画像データを用いて監視空間の照度を判断しているが、照度センサを別途設け、この照度センサにより取得した照度に基づいて照明を当てるか否かを判断するようにしても良い。
As a condition for determining the presence or absence of illumination, for example, in an AGC (Auto Gain Control) amplifier that amplifies an input image signal built in the
侵入者検出部４０は、従来と同様に、撮像部１０から所定の時間周期Ｔｉで入力画像データを取得し、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データに基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像データ中の領域の属性値が検出対象物（本実施形態では「侵入者」すなわち「人」）に特有の特徴を有する場合に、検出対象物が監視空間内に存在するものとして、監視空間内における「侵入者」の存在を検出する。例えば、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に侵入者が存在するものとして「侵入者」の存在を検出する。また、こうして得られた検出結果を示す信号を判定部６０に出力する。
The
水滴検出部５０は、侵入者検出部４０と同様に、所定の時間周期Ｔｉで入力画像データを取得する。水滴検出部５０は、図２に示すように、背景画像更新部５１、背景差分演算部５２、エッジ抽出部５３、水滴候補画像生成部５４、フレーム間差分演算部５５、水滴候補近傍画像処理部５６、水滴判定部５７、プログラム選択部５８及び記憶部５９を含んで構成される。記憶部５９は、半導体メモリ、ハードディスク装置、光ディスク装置等から構成することができる。記憶部５９は、背景差分画像を算出するために必要な背景画像データ、及び、後述の水滴候補画像の移動情報を算出するために必要な過去水滴候補画像データを格納及び保持する。尚、過去水滴候補画像データは、最も新しい入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）に撮像された画像データにおいて後述の如く抽出された水滴候補画像の画像データとされる。記憶部５９以外の構成部における処理については後述する。
Similar to the
水滴検出部５０は、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データを生成する。そして、入力画像データ、背景画像データ及び差分画像データに後述の各種処理を行い、各種処理により得られた画像データに基づいて、入力画像が水滴に起因して生じた画像か否かを判定する。水滴に起因する画像であると判定した場合には、水滴の付着を検出した旨の信号を判定部６０に出力する。
The water
判定部６０は、侵入者検出部４０及び水滴検出部５０において検出された結果に基づいて、監視空間に検出対象物が存在するか否か、撮像部１０のレンズ部分等に水滴が付着しているか否か、について判定する。ここで得られた判定結果は出力部８０に出力される。
Based on the results detected by the
以上、本実施形態では、侵入者検出部４０、水滴検出部５０及び判定部６０を含めて画像センシング装置１００における画像処理部７０とする。
As described above, in the present embodiment, the
出力部８０は、判定部６０において監視空間に検出対象物が存在する、あるいは撮像部１０のレンズ部分等に水滴が付着している、と判定された場合に装置外部へ警報信号等を出力するために用いられる。例えば、警報ランプや警報ブザーを含む警報装置としても良いが、本実施形態では、遠方の監視センタ１２０に警報信号を送信するためのネットワーク・インターフェースとする。
The output unit 80 outputs an alarm signal or the like to the outside of the apparatus when the
監視制御部９０は、判定部６０が水滴の付着を検出したと判定した場合には、入力画像データを撮像部１０から出力部８０に直接送り渡すよう制御する。このとき、画像処理部７０による侵入者及び水滴の検出のための画像処理を停止させても良い。詳細は後述する。
When the
本実施形態において、画像センシング装置１００はネットワーク１１０を介して監視センタ１２０に接続される。ネットワーク１１０は、専用回線やインターネット等のような有線ネットワークであっても良く、あるいは無線ネットワークであっても良い。また監視センタ１２０には、ネットワーク１１０を介して画像センシング装置１００から受信した信号に応じて適切な対応を行うための監視員が待機している。監視員は、例えば、侵入者ありの警報信号と画像データを受信した場合に、監視センタ１２０内の監視装置（図示せず）により画像データから監視空間の様子を確認後、現地に出向いて対処する、あるいは、撮像部１０に水滴が付着した場合には画像処理部７０による侵入者検出が困難となるために後述の如く目視による監視を行う、等の適切な対応を行うために監視センタ１２０に待機している。
In the present embodiment, the
次に、本実施形態における画像センシング装置１００で行われる画像データに対する処理について、図３を参照して説明する。
Next, processing for image data performed by the
ステップＳ１では、最新の入力画像データが取得され、撮像部１０において撮像された監視空間の最新の画像データが侵入者検出部４０及び水滴検出部５０へ入力される。このとき、入力画像データに基づいて照明制御部３０による照明部２０の制御が行われており、昼間等あるいは街灯等による明るい状況下での監視のように環境光による明るさで十分監視可能である場合には、環境光を利用して撮像された画像が、最新の入力画像データとして取得される。一方、夜間等のように環境光による明るさだけでは監視困難な場合には、照明部２０により監視空間を照射した状態で撮像された画像が、最新の入力画像データとして取得される。
In step S <b> 1, the latest input image data is acquired, and the latest image data of the monitoring space captured by the
ステップＳ２では、侵入者検出部４０により、監視空間内における「侵入者」の存在を検出する。侵入者検出部４０では、最新の入力画像データとそれより過去に撮像された背景画像データとの差分からなる差分画像データに基づいて画像内の変動領域を抽出する。そして、その変動領域に対応する入力画像データ中の領域の属性値が「侵入者」すなわち「人」に特有の特徴を有する場合、例えば、変動領域に対応する入力画像データ中の領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に、「侵入者」が監視空間内に存在するものとして、監視空間内における「侵入者」の存在を検出する。そして侵入者検出部４０は、こうして得られた検出結果を示す信号を判定部６０に出力する（ステップＳ３）。
In step S <b> 2, the
ステップＳ４では、水滴検出部５０により、撮像部１０の前面への水滴の付着を検出する。水滴検出部５０により行われる水滴付着検出処理について、図４を参照して説明する。尚、以下の画像信号処理はプログラム選択部５８内の記憶装置（図示せず）等に予め格納されている画像信号処理プログラムを実行することによって実現することができる。
In step S <b> 4, the water
画像信号処理プログラムには、例えば昼間等の明るい状況下で環境光を利用して撮像された撮像画像を処理して水滴検出処理を行うための明監視空間用プログラムと、夜間等に照明部２０から照明光を当てて撮像された撮像画像を処理して水滴検出処理を行うための暗監視空間用プログラムとがある。そして、以下の処理が行われる前に、照明制御部３０からの信号に基づき、プログラム選択部５８が、撮像状況に適した画像信号処理プログラムを選択し、選択された画像信号処理プログラムに基づいて各構成部が実行することによって、以下の処理は実現される。すなわち、特に断らない限り、処理の名称が同じでも照明光を用いずに環境光を用いて撮像された撮像画像を対象とする処理と、照明光を当てて撮像された撮像画像を対象とする処理とがある。
The image signal processing program includes, for example, a bright monitoring space program for processing a captured image captured using ambient light in a bright condition such as daytime and performing water droplet detection processing, and the illumination unit 20 at night or the like. There is a dark monitoring space program for processing a picked-up image picked up by illuminating light and performing water droplet detection processing. Then, before the following processing is performed, based on the signal from the
ステップＳ４−１では、最新の入力画像データと背景画像データとに基づいて背景差分データが生成される。背景差分演算部５２は、記憶部５９から背景画像データを読み出し、撮像部１０で取得された最新の入力画像データと背景画像データとの差分を算出することによって背景差分データを生成する。具体的には、最新の入力画像データに含まれる各画素を順に着目画素として、その画素の輝度値からその画素に対応する背景画像データの画素の輝度値を引くことによって、着目画素に対する差分データを算出する。例えば、この差分データが所定の閾値以上の値であれば着目画素に対応する背景差分データの画素の画素値を“１”とし、差分データが所定の閾値より小さければ着目画素に対応する背景差分データの画素の画素値を“０”として２値化された背景差分データを生成する。すなわち、入力画像データと背景画像データとにおいて閾値以上の変動があった画像領域の画素値は“１”となり、変動がなかった画像領域の画素値は“０”となる。尚、背景差分データに含まれる画素値“１”を有する画素のうち連続する画素群で構成される領域は、一つの変動領域を形成することとなる。
In step S4-1, background difference data is generated based on the latest input image data and background image data. The background
ここで、ステップＳ４−１での処理において、さらに輝度値の閾値ＴＨ１（例えば輝度情報を２５６階調で設定した場合、２００程度）を設定しておき、この閾値ＴＨ１を用いて同様の２値化処理も行う。これにより、上記の２値化処理により得られた入力画像データにおける水滴に起因して生じた画像領域（水滴画像領域）について、この水滴画像領域内で特に閾値ＴＨ１以上である入力高輝度領域と、閾値ＴＨ１未満である他の領域（入力非高輝度領域）とを別個のものとして差分処理も行われ、入力高輝度領域についての入力高輝度差分データと入力非高輝度領域についての入力非高輝度差分データとが生成される。これは、昼間等の明るい場合に環境光を利用して撮像された場合、環境光を利用して撮像された画像中の水滴画像領域は、明るい領域（入力高輝度領域に相当）と暗い領域（入力非高輝度領域に相当）とに分かれる特徴があり、以後の処理において両者を個別に処理するのが望ましいためである。一方、夜間等に照明部２０から照明光を当てて撮像した場合には、水滴はほぼ全域が明るくなるため、水滴画像領域は入力高輝度領域となる。従って、以下の説明において、入力高輝度領域の処理は、昼間等に環境光を利用して撮像した場合における入力高輝度領域及び夜間等に照明光を当てて撮像した場合における水滴画像領域の双方に対する処理を示すものとする。 Here, in the processing in step S4-1, a threshold value TH1 of the luminance value (for example, about 200 when the luminance information is set in 256 gradations) is set, and similar binary values are set using this threshold value TH1. The process is also performed. Thereby, with respect to an image region (water droplet image region) generated due to water droplets in the input image data obtained by the above binarization processing, an input high-intensity region that is particularly greater than or equal to the threshold TH1 in the water droplet image region. Difference processing is also carried out separately from other regions (input non-high luminance regions) that are less than the threshold TH1, and input high luminance difference data for the input high luminance regions and input non-high for the input non-high luminance regions. Brightness difference data is generated. This is because when the image is captured using ambient light when it is bright such as in the daytime, the water droplet image region in the image captured using ambient light is a bright region (corresponding to the input high luminance region) and a dark region. This is because it is desirable to process both of them separately in the subsequent processing. On the other hand, when imaging is performed by illuminating the illumination light from the illumination unit 20 at night or the like, the entire area of the water droplet is brightened, and thus the water droplet image region is an input high luminance region. Therefore, in the following description, the processing of the input high-brightness area includes both the input high-brightness area when imaged using ambient light during daytime and the like, and the water droplet image area when imaged by illuminating illumination light during nighttime and the like. The processing for
また、水滴画像領域とみなせる最低限の輝度として閾値ＴＨ２（例えば輝度情報を２５６階調で設定した場合、８０〜１６０程度）を設定しておき、入力画像データに対して閾値ＴＨ２以上の輝度値の画素を抽出し、抽出した画素に対してのみ上記の２値化処理の画素値を“１”としても良い。これによれば、あまりにも低い輝度の画像領域は水滴に起因した画像領域ではない可能性が高いため、このような画像領域を水滴付着検出処理の処理対象外とすることができる。こうして生成された各差分データは水滴候補画像生成部５４に渡される。
In addition, a threshold value TH2 (for example, about 80 to 160 when the luminance information is set in 256 gradations) is set as the minimum luminance that can be regarded as a water droplet image region, and the luminance value equal to or higher than the threshold value TH2 with respect to the input image data. This pixel may be extracted, and the pixel value of the above binarization process may be set to “1” only for the extracted pixel. According to this, there is a high possibility that an image region with too low luminance is not an image region caused by water droplets, and thus such an image region can be excluded from the processing target of the water droplet adhesion detection process. Each difference data generated in this way is passed to the water droplet candidate
ステップＳ４−２では、最新の入力画像データ及び背景画像データのそれぞれについて、画像中のエッジ強度が算出され、エッジ処理が行われる。この処理は、水滴がレンズ部分等に付着すると、水滴を撮像した画像領域はレンズ効果によりぼやけた状態で画像データ中に映り込み、エッジの変化が顕著となるという特徴を利用したものである。エッジ抽出部５３は、撮像部１０で取得された最新の入力画像データと、記憶部５９内の背景画像データとについて、それぞれの画像中のエッジ強度を、既存の算出方法を用いて算出する。例えば、Ｘ方向（画像の上下方向）のエッジ強度とＹ方向（画像の左右方向）のエッジ強度をそれぞれ算出し、得られた各エッジ強度の絶対値を加算することでエッジ強度を算出する。
In step S4-2, the edge strength in the image is calculated for each of the latest input image data and background image data, and edge processing is performed. This process utilizes the feature that when a water droplet adheres to a lens portion or the like, an image area in which the water droplet is imaged is reflected in the image data in a blurred state due to the lens effect, and the change of the edge becomes remarkable. The
エッジ抽出部５３は、最新の入力画像データ及び背景画像データについて上記処理を行い、これにより得られた入力エッジ画像データ及び背景エッジ画像データを用いて、次の各画像データを生成する。まず、入力エッジ画像中でエッジ強度が所定の閾値ＴＨ３（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以下であるという条件を満たす画像のデータ（入力弱エッジ画像データ）を生成する。これは、ぼやけて映る水滴画像領域の内部ではエッジ強度が弱いという特徴を水滴検出に利用するためのものである。
The
また、入力エッジ画像中でエッジ強度が所定の閾値ＴＨ４（例えば輝度情報を２５６階調で設定した場合、２０程度）以上であるという条件を満たす画像のデータ（入力強エッジ画像データ）を生成する。これは、入力高輝度領域はほぼ全域が明るくなるため、これら入力高輝度領域の内部ではエッジ強度が強くない一方で、これら入力高輝度領域の周辺近傍ではエッジ強度が強いという特徴を水滴検出に利用するためのものである。 Also, image data (input strong edge image data) that satisfies the condition that the edge strength is equal to or higher than a predetermined threshold TH4 (for example, about 20 when luminance information is set with 256 gradations) in the input edge image is generated. . This is because the entire area of the input high-brightness area becomes brighter, so the edge strength is not strong inside these input high-brightness areas, but the edge strength is strong near the periphery of these input high-brightness areas. It is for use.
さらに、入力エッジ画像中ではエッジ強度が上記所定の閾値ＴＨ４以上であり且つ背景エッジ画像中ではエッジ強度が所定の閾値ＴＨ５（例えば輝度情報を２５６階調で設定した場合、２０程度）以下であるという条件を満たす画像のデータ（差分強エッジ画像データ）を生成する。差分強エッジ画像の生成手順としては、まず背景エッジ画像中でエッジ強度が前記ＴＨ５より大きい所定の閾値ＴＨ６（例えば輝度情報を２５６階調で設定した場合、２０程度）以上であるという条件を満たす画像のデータ（背景強エッジ画像データ）を生成する。次に、上記の入力強エッジ画像データと背景強エッジ画像データとで差分をとることで差分強エッジ画像データを生成する。これは、水滴画像領域の内部では強いエッジが新たに出現しないという特徴や、入力高輝度領域はほぼ全域が明るいため、これらの領域の周辺部分では光の屈折の関係で強エッジが形成されやすい、すなわち入力高輝度領域の周辺部分に相当する領域では、背景エッジ画像中には存在せず入力エッジ画像中に新たに出現する強エッジが多いという特徴を、水滴検出に利用するためのものである。 Further, the edge strength in the input edge image is equal to or higher than the predetermined threshold value TH4, and in the background edge image, the edge strength is equal to or lower than the predetermined threshold value TH5 (for example, about 20 when luminance information is set with 256 gradations). Image data (difference strong edge image data) that satisfies the following condition is generated. As a procedure for generating a differential strong edge image, first, the condition that the edge intensity in the background edge image is greater than or equal to a predetermined threshold TH6 (for example, about 20 when luminance information is set in 256 gradations) is greater than TH5. Image data (background strong edge image data) is generated. Next, difference strong edge image data is generated by taking a difference between the input strong edge image data and the background strong edge image data. This is because a strong edge does not newly appear inside the water drop image area, and the input high-brightness area is almost entirely bright, so a strong edge is likely to be formed in the peripheral part of these areas due to light refraction. In other words, in the area corresponding to the peripheral part of the input high-brightness area, the feature that there are many strong edges that do not exist in the background edge image but appear newly in the input edge image is used for water droplet detection. is there.
以上のようにしてエッジ抽出部５３で生成された各エッジ画像データは、水滴候補画像生成部５４に渡される。
Each edge image data generated by the
ステップＳ４−３では、エッジ抽出部５３で抽出された入力エッジ画像データと背景エッジ画像データの対応する画素のエッジ強度を比較し、両エッジ画像間でのエッジ強度の変化を示す画像が生成される。水滴候補画像生成部５４は、入力エッジ画像データと背景エッジ画像データとの差分エッジ画像データを生成し、これに基づいて、以下の各画像データを生成する。
In step S4-3, the input edge image data extracted by the
まず、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定値ＴＨ７（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以上低いという条件を満たす画像のデータ（エッジ減画像データ）を差分エッジ画像から生成する。これは、ぼやけて映る水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度が減少するという特徴を水滴検出に利用するためのものである。 First, image data (edge-reduced image data) that satisfies the condition that the edge strength of the input edge image is lower than a background edge image by a predetermined value TH7 (for example, about 2 to 3 when luminance information is set in 256 gradations) or more. Is generated from the difference edge image. This is for using the feature that the edge intensity is reduced in the water droplet detection in the water droplet image region that appears blurred compared to the image region corresponding to the water droplet image region in the background image.
また、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定値ＴＨ８（例えば輝度情報を２５６階調で設定した場合、２〜３程度）以上高いという条件を満たす画像のデータ（エッジ増画像データ）を差分エッジ画像から生成する。これは、ぼやけて映る水滴画像領域の周辺近傍では、背景画像において水滴画像領域の周辺近傍と対応する画像領域と比べ、エッジ強度が増加するという特徴を水滴検出に利用するためのものである。入力画像中の水滴画像領域におけるエッジ強度は背景画像における水滴画像領域と対応する画像領域よりも弱まると考えられることから、逆に強まった場合にはエッジ増領域を水滴候補画像の生成の際に除外することが効果的である。 Also, image data (edge-enhanced image data) that satisfies the condition that the edge strength of the input edge image is higher than a background edge image by a predetermined value TH8 (for example, about 2 to 3 when luminance information is set in 256 gradations) or more. Is generated from the difference edge image. This is for using the feature that the edge strength increases in the vicinity of the periphery of the water drop image area that appears blurred in comparison with the image area corresponding to the vicinity of the periphery of the water drop image area in the background image for water drop detection. Since the edge strength in the water drop image area in the input image is considered to be weaker than the image area corresponding to the water drop image area in the background image, the edge increase area is used when generating the water drop candidate image. It is effective to exclude.
ここで、例えば背景画像として白い壁を映していた場合に光の関係で水滴が黒く映る場合、水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度が増加する。しかし、上記のエッジ増画像の定義に従えば、このような水滴画像領域に起因したエッジ増画像は水滴候補画像の生成の際に除外されてしまうこととなり、望ましくない。そこで、このような場合に対応するため、水滴画像領域の内部では、背景画像における水滴画像領域と対応する画像領域と比べ、エッジ強度がある程度以上は増加しないであろう閾値ＴＨ９（例えば輝度情報を２５６階調で設定した場合、２０程度）を新たに設定し、エッジ強度増加量が閾値ＴＨ９以上という条件を満たす画像のデータ（エッジ大幅増画像データ）を差分エッジ画像から生成することとした。エッジ大幅増画像は、背景エッジ画像よりも入力エッジ画像のエッジ強度が所定の閾値ＴＨ９以上高い（ここでＴＨ９≧ＴＨ８）という条件を満たすものである。そして、このエッジ大幅増画像を水滴候補画像の生成の際に除外することとした。 Here, for example, when a white wall is projected as a background image and the water droplet appears black due to light, the edge strength is increased inside the water droplet image region compared to the image region corresponding to the water droplet image region in the background image. To do. However, according to the definition of the edge-enhanced image, the edge-enhanced image resulting from such a water-drop image region is excluded when generating the water-drop candidate image, which is not desirable. Therefore, in order to cope with such a case, the threshold TH9 (for example, luminance information is set) in which the edge strength is not increased more than a certain amount in the water drop image area as compared with the image area corresponding to the water drop image area in the background image. When setting with 256 gradations, about 20) is newly set, and image data (edge greatly increased image data) that satisfies the condition that the edge strength increase amount is equal to or greater than the threshold TH9 is generated from the difference edge image. The edge greatly increased image satisfies the condition that the edge strength of the input edge image is higher than the background edge image by a predetermined threshold TH9 or more (here, TH9 ≧ TH8). The edge greatly increased image is excluded when the water droplet candidate image is generated.
ステップＳ４−４では、入力画像が撮像部１０への水滴の付着により生じた可能性のある画像か否かを判定するための水滴候補画像が生成される。水滴候補画像生成部５４は、背景差分演算部５２から取得した背景差分データ、入力高輝度差分データ及び入力非高輝度差分データ、エッジ抽出部５３から取得した各エッジ画像データ、及び水滴候補画像生成部５４で生成した各画像データを用いて、水滴候補画像を生成する。
In step S <b> 4-4, a water droplet candidate image for determining whether or not the input image is an image that may have occurred due to the attachment of water droplets to the
ここで、昼間等の明るい監視空間に対して環境光を利用して撮像した場合、水滴画像領域には、ステップＳ４−１の処理で形成された入力高輝度領域と入力非高輝度領域とが含まれる。そこで、以後の処理を入力高輝度領域と入力非高輝度領域とで別個に処理する必要があるため、水滴画像領域についての水滴候補画像（全水滴候補画像）の他に、入力高輝度領域についての水滴候補画像（高輝度水滴候補画像）と入力非高輝度領域についての水滴候補画像（非高輝度水滴候補画像）とをそれぞれ生成する。 Here, when an image is captured using ambient light in a bright monitoring space such as daytime, the water drop image area includes the input high-brightness area and the input non-high-brightness area formed in the process of step S4-1. included. Therefore, since the subsequent processing needs to be processed separately for the input high-brightness area and the input non-high-brightness area, in addition to the waterdrop candidate image (all waterdrop candidate images) for the waterdrop image area, Water droplet candidate images (high luminance water droplet candidate images) and water droplet candidate images (non-high luminance water droplet candidate images) for the input non-high luminance region are respectively generated.
全水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力画像においてある程度以上の輝度を持つ画像（ステップＳ４−１で得られた背景差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。
The all water droplet candidate images are images having the following characteristics. A
高輝度水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力高輝度領域の特徴を満たす画像（ステップＳ４−１で得られた入力高輝度差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。
The high brightness water droplet candidate image is an image having the following characteristics. The
非高輝度水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がある程度以上であり且つ入力非高輝度領域の特徴を満たす画像（ステップＳ４−１で得られた入力非高輝度差分データ）である。特徴２及び特徴３は、高輝度水滴候補画像と同一である。
The non-high brightness water droplet candidate image is an image having the following characteristics. The
一方、夜間等の暗い監視空間に対して照明部２０により照明を当てて撮像した場合における水滴候補画像は、次のような特徴を有する画像である。特徴１は、背景輝度差分がプラスであり且つ入力画像においてある程度以上の輝度を持つ画像（ステップＳ４−１で得られた背景差分データ）である。特徴２は、エッジ強度が弱い画像（ステップＳ４−２で得られた入力弱エッジ画像）又はエッジ強度が減った画像（ステップＳ４−３で得られたエッジ減画像）である。特徴３は、強いエッジが背景画像には無いが入力画像にはある画像（ステップＳ４−２で得られた差分強エッジ画像）ではなく、エッジ強度が大幅に増えもしていない画像（ステップＳ４−３で得られたエッジ大幅増画像）である。そこで、水滴候補画像生成部５４は、背景差分データ、入力弱エッジ画像データ、エッジ減画像データ、差分強エッジ画像データ及びエッジ大幅増画像データを用いて、上記特徴を満たす画像を水滴候補画像として生成する。
On the other hand, a water droplet candidate image in the case where an image is taken by illuminating a dark monitoring space such as at night with the illumination unit 20 is an image having the following characteristics. The
尚、以後の説明中、単に水滴候補画像と述べている場合には、特にことわりのない限り、明るい撮像状況の場合の全水滴候補画像、高輝度水滴候補画像及び非高輝度水滴候補画像と、暗い撮像状況の場合の水滴候補画像とを全て含むものとする。 In the following description, if it is simply referred to as a water droplet candidate image, unless otherwise specified, all water droplet candidate images in a bright imaging situation, high-intensity water droplet candidate images, and non-high-intensity water droplet candidate images, It is assumed that all the water drop candidate images in the case of a dark imaging situation are included.
ここで、水滴候補画像を生成する際に考慮する特徴として、水滴候補画像につきそれぞれ上記の特徴１〜３を挙げているが、少なくとも特徴１及び特徴２を満たしている画像については、水滴候補画像として生成可能である。特徴１及び特徴２のみならず特徴３をも満たす画像を生成することで、より精度の高い水滴候補画像の生成が可能となる。
Here, as the features to be considered when generating the water droplet candidate image, the above-described
以上のようにして水滴候補画像が生成されると、水滴判定部５７は、この水滴候補画像に基づいて水滴が存在するか否かを判定する。例えば、上記各特徴を満たした画素あるいは画素群から構成される領域が水滴候補画像内に存在している場合には、水滴が存在すると判定し、そのような画素あるいは領域が水滴候補画像内に存在しない場合には、水滴が存在しないと判定する。水滴判定部５７は、水滴が存在すると判定した場合には水滴を検出した旨の信号を、水滴が存在しないと判定した場合には水滴を検出しない旨の信号を、それぞれ判定部６０に出力する。しかし、以下に説明するステップＳ４−５以降の処理を行うことによって、より水滴検出の検出確度を高めることができる。
When the water droplet candidate image is generated as described above, the water
ステップＳ４−５では、水滴候補画像生成部５４により生成された水滴候補画像において、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の近傍（外周部分）の一定範囲が、当該画素あるいは領域の周辺領域として特定される。水滴候補近傍画像処理部５６は、その周辺領域を示す画像を水滴候補近傍画像として生成する。これは、水滴画像領域の内部ではレンズ効果により背景画像の対応する部分よりもエッジ強度が弱くなる傾向にあるのに対して、その周辺部分では逆に屈折の関係で背景画像よりもエッジ強度が増加する傾向にある、さらには明るく映る水滴の周辺には強いエッジが出やすい、という現象を捉えるためのものである。水滴候補近傍画像は、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域について、これら画素あるいは領域を所定の画素数分（例えば４画素）膨張させた部分の内、当該画素あるいは領域に含まれない部分を当該画素あるいは領域の周辺領域として示すものである。
In step S4-5, in the water droplet candidate image generated by the water droplet candidate
ステップＳ４−６では、水滴候補近傍画像処理部５６が、水滴候補近傍画像に含まれる強いエッジに関する画像を生成する。まず、ステップＳ４−２で取得した強いエッジ画像と水滴候補近傍画像との論理積により得られる画像のデータ（近傍強エッジ画像データ）を生成する。この論理積処理には、強いエッジ画像として差分強エッジ画像を用いる。これは、明るく映る場合には、その周辺部分では背景と比べて強いエッジが新たに現れやすいと想定できるためである。一方、明るく映らない場合には、逆に背景と比べて強いエッジが現れにくいと想定できるためである。尚、昼間等に環境光を利用して撮像された場合における非高輝度水滴候補画像に対しては、上記の論理積処理に用いられる強いエッジ画像として入力強エッジ画像を用いても良いが、上述の如く差分強エッジ画像を用いるのが好ましい。次に、ステップＳ４−３で取得したエッジ増画像と水滴候補近傍画像との論理積により得られる画像のデータ（近傍エッジ増画像データ）を生成する。
In step S4-6, the water drop candidate vicinity
以上の２種類の画像データは、次のような目的で利用する。まず、昼間等に環境光を利用して撮像された場合には、特に水滴画像領域における入力高輝度領域及び入力非高輝度領域の以下の特徴を捉えるために利用するものである。まず、入力高輝度領域及び入力非高輝度領域の周辺領域では、いずれも背景に比べてエッジが増えるという特徴がある。また、入力高輝度領域の周辺領域では、エッジ強度が強いという特徴があり、入力非高輝度領域の周辺領域では、エッジ強度が強くないという特徴がある。従って、近傍強エッジ画像データ及び近傍エッジ増画像データを用いることで、上記の周辺領域におけるエッジの特徴を満たさない画像を、水滴候補画像から除外することができる。 The above two types of image data are used for the following purposes. First, when the image is picked up by using ambient light in the daytime or the like, it is used to capture the following features of the input high luminance region and the input non-high luminance region in the water drop image region. First, each of the peripheral areas of the input high-brightness area and the input non-high-brightness area has a feature that edges are increased compared to the background. Further, there is a feature that edge strength is strong in the peripheral region of the input high brightness region, and edge strength is not strong in the peripheral region of the input non-high brightness region. Therefore, by using the neighborhood strong edge image data and the neighborhood edge augmented image data, an image that does not satisfy the edge feature in the peripheral region can be excluded from the water droplet candidate images.
また、以上の２種類の画像データは、水滴候補画像が実は水滴ではない他の原因によるものである可能性があるため、その区別をするためにも利用するものである。他の原因としては、昼間等の明るい状況に関して言えば、例えば監視空間に存在する移動物体があり、夜間等の暗い状況に関して言えば、それに加えて、例えば監視空間に懐中電灯の光や自動車のヘッドライトが差し込んで作り出された明るい光の領域などがある。 The above two types of image data are also used to distinguish the water droplet candidate images because they may be due to other causes that are not actually water droplets. Other causes include moving objects that exist in the surveillance space, for example, in light conditions such as daytime, and in addition, for example, in the dark space such as nighttime, there are flashlights and automobiles in the surveillance space. There are areas of bright light created by the insertion of headlights.
具体的には、光の領域の場合には、近傍強エッジ画像において強いエッジの存在する部分の面積（あるいは総画素数）が小さく、かつ近傍エッジ増画像においてエッジ強度が増加した部分の面積（あるいは総画素数）が大きいという特徴がある。これは、光の領域の輪郭部分では背景よりも強くなるエッジは増えるが、グラデーションのように輝度が緩やかに変化するので強いエッジは多くない、という光の領域の特徴による。また移動物体の場合には、近傍強エッジ画像において強いエッジの存在する部分の面積（あるいは総画素数）が大きく、かつ近傍エッジ増画像においてエッジ強度が増加した部分の面積（あるいは総画素数）が小さいという特徴がある。これは、逆に輪郭部分では急峻に輝度が変化するためエッジ強度は高いが、背景よりも強くなるエッジの増加量は多くない、という移動物体の特徴による。これに対して水滴の場合には、近傍強エッジ画像において強いエッジの存在する部分の面積（あるいは総画素数）が大きく、かつ近傍エッジ増画像においてエッジ強度が増加した部分の面積（あるいは総画素数）が大きいという傾向にある。従って、近傍強エッジ画像データ及び近傍エッジ増画像データを用いることで、水滴候補画像から、他の原因に起因した画像を除外することができる。 Specifically, in the case of the light region, the area (or the total number of pixels) where the strong edge exists in the neighborhood strong edge image is small and the area of the portion where the edge strength is increased in the neighborhood edge increased image ( Another feature is that the total number of pixels) is large. This is due to the feature of the light region that the edge that becomes stronger than the background increases in the contour portion of the light region, but there are not many strong edges because the luminance changes gently like gradation. In the case of a moving object, the area (or the total number of pixels) where the strong edge exists in the near strong edge image is large, and the area (or the total number of pixels) where the edge strength increases in the near edge increased image. There is a feature that is small. On the contrary, this is due to the feature of the moving object that the edge strength is high because the brightness changes sharply in the contour portion, but the amount of increase of the edge that is stronger than the background is not large. On the other hand, in the case of water droplets, the area (or total number of pixels) where the strong edge exists in the near strong edge image is large, and the area (or total pixel) where the edge strength increases in the near edge increased image. Number) tends to be large. Therefore, by using the near strong edge image data and the near edge augmented image data, it is possible to exclude images caused by other causes from the water droplet candidate images.
以上のようにして水滴候補画像からの除外処理を行った上で、水滴判定部５７は、この除外処理後の水滴候補画像に基づいて水滴が存在するか否かを判定する。判定の仕方は上記ステップＳ４−６における判定処理と同様である。水滴判定部５７は、水滴が存在すると判定した場合には水滴を検出した旨の信号を、水滴が存在しないと判定した場合には水滴を検出しない旨の信号を、それぞれ判定部６０に出力する。これにより、高い検出確度で水滴検出を行うことができる。しかし、さらに以下に説明するステップＳ４−７以降の処理を行うことによって、さらなる水滴検出の検出確度を高めることができる。
After performing the exclusion process from the water droplet candidate image as described above, the water
ステップＳ４−７では、水滴候補画像生成部５４により生成された水滴候補画像に関して、記憶部５９内の過去水滴候補画像データとの差分処理を行う。フレーム間差分演算部５５は、水滴候補画像生成部５４にて生成された水滴候補画像について、記憶部５９に記憶されている、最新の入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）の過去水滴候補画像データとの差分を算出することによってフレーム間差分データを生成する。そして、生成されたフレーム間差分データを用いて、例えば後述のフレーム間差分面積を算出する。これにより、水滴候補画像の移動に関する情報を取得する。これは、水滴候補画像の動きの情報を取り入れ、水滴が付着したまま動かない場合と、流れ落ちる場合とで区別して水滴の判断条件を分けた方が、より高い検出確度が望めるためである。
In step S4-7, the difference processing with the past water droplet candidate image data in the
フレーム間差分演算部５５は、現在の入力画像から得られた水滴候補画像と過去の水滴候補画像との排他的論理和により定まる画素あるいは画素群から構成される領域の面積（あるいは総画素数）をフレーム間差分面積として算出する。また、最新の水滴候補画像データと、過去水滴候補画像データとのそれぞれの重心の位置を算出する。
The inter-frame
ステップＳ４−８以降では、水滴候補画像生成部５４により生成された水滴候補画像に関して、流れ落ちずに滞留している水滴（滞留水滴）に起因した画像か否か、流れ落ちる水滴（流動水滴）に起因した画像か否かを判定する。水滴判定部５７は、水滴候補画像生成部５４にて生成された水滴候補画像と、フレーム間差分演算部５５にて算出された水滴候補画像の移動情報などから、背景差分演算部５２にて生成された背景差分データが、滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定する。
In step S4-8 and subsequent steps, the water droplet candidate image generated by the water droplet candidate
ステップＳ４−８では、水滴候補画像が滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定するために必要な判定情報を算出する。ここでは図５に示す各処理により以下の各判定情報が算出される。 In step S4-8, determination information necessary for determining whether the water droplet candidate image is an image caused by a staying water droplet or an image caused by a flowing water droplet is calculated. Here, the following determination information is calculated by each process shown in FIG.
ステップＳ４−８−１では、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域の、水滴候補画像１フレーム中に占める割合である面積比率Ｆ１が、面積比率Ｆ１＝（各特徴を満たした画素あるいは領域の面積）／（水滴候補画像１フレームの面積）により算出される。面積比率Ｆ１は、水滴候補画像の各特徴を満たした画素あるいは領域は水滴候補画像中である程度以上の大きさを有するはずである、という特徴を反映させるためのものである。尚、ここで用いられる面積を総画素数としても良い。 In step S4-8-1, the area ratio F1, which is the ratio of the area composed of pixels or pixel groups satisfying the characteristics of the water droplet candidate image in one frame of the water droplet candidate image, is expressed as area ratio F1 = (each It is calculated by: (area of pixel or region satisfying feature) / (area of one frame of water drop candidate image). The area ratio F1 is for reflecting the feature that a pixel or a region satisfying each feature of the water drop candidate image should have a size of a certain level or more in the water drop candidate image. The area used here may be the total number of pixels.
ステップＳ４−８−２では、ステップＳ４−７で求められたフレーム間差分面積を用いて、差分面積比率Ｆ２が、差分面積比率Ｆ２＝（フレーム間差分面積）／（最新及び過去の少なくとも一方に出現している水滴候補画像の面積）により算出される。尚、最新及び過去の少なくとも一方に出現している水滴候補画像の面積とは、最新の水滴候補画像と過去の水滴候補画像との論理和によって生成される画像の面積のことである。差分面積比率Ｆ２は、水滴候補画像の各特徴を満たした画素あるいは画素群から構成される領域が所定の時間間隔（例えば１フレーム分）でどれだけ出現したか、あるいは消滅したかを水滴候補画像中に占める比率で表す。尚、ここで用いられる面積を総画素数としても良い。 In step S4-8-2, using the inter-frame difference area obtained in step S4-7, the difference area ratio F2 is calculated as follows: difference area ratio F2 = (inter-frame difference area) / (latest and / or past). The area of the waterdrop candidate image that appears). The area of the water droplet candidate image that appears in at least one of the latest and the past is the area of an image generated by the logical sum of the latest water droplet candidate image and the past water droplet candidate image. The difference area ratio F2 is a water droplet candidate image that indicates how many pixels or groups of pixels that satisfy each feature of the water droplet candidate image appear or disappear at a predetermined time interval (for example, one frame). Expressed as a percentage of the total. The area used here may be the total number of pixels.
ステップＳ４−８−３では、ステップＳ４−５で求められた水滴候補近傍画像を用いて、近傍画像面積比率Ｆ３が、近傍画像面積比率Ｆ３＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍画像面積比率Ｆ３は、水滴画像領域が画像フレームからはみ出して映る等により、水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域が大きく欠けて映っている場合には、このような画像についての水滴判定は適切に行えないため、判定対象外とするために用いられる情報である。尚、ここで用いられる面積を総画素数としても良い。 In step S4-8-3, using the water droplet candidate vicinity image obtained in step S4-5, the neighborhood image area ratio F3 is calculated as follows: neighborhood image area ratio F3 = (pixel or region satisfying each feature of the water droplet candidate image) The area of the peripheral region of the image) / (the area of one frame of the water droplet candidate vicinity image). The near image area ratio F3 is such that when the water drop image area is projected out of the image frame and the surrounding area of the pixel or area satisfying each feature of the water drop candidate image is largely missing. Since the water droplet determination cannot be performed properly, the information is used for excluding the determination target. The area used here may be the total number of pixels.
ステップＳ４−８−４では、ステップＳ４−５で求められた水滴候補近傍画像とステップＳ４−６で求められた近傍強エッジ画像とを用いて、近傍強エッジ画像比率Ｆ４が、近傍強エッジ画像比率Ｆ４＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域内で強いエッジが存在する領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍強エッジ画像比率Ｆ４は、水滴候補近傍画像に強いエッジがどれだけ含まれているかを表す。尚、ここで用いられる面積を総画素数としても良い。 In step S4-8-4, the vicinity strong edge image ratio F4 is set to the vicinity strong edge image using the water droplet candidate vicinity image obtained in step S4-5 and the vicinity strong edge image obtained in step S4-6. Ratio F4 = (area of a region where a strong edge exists in the peripheral region of the pixel or region satisfying each feature of the water droplet candidate image) / (area of one frame of the water droplet candidate vicinity image). The neighborhood strong edge image ratio F4 represents how many strong edges are included in the water droplet candidate neighborhood image. The area used here may be the total number of pixels.
ステップＳ４−８−５では、ステップＳ４−５で求められた水滴候補近傍画像とステップＳ４−６で求められた近傍エッジ増画像とを用いて、近傍エッジ増画像比率Ｆ５が、近傍エッジ増画像比率Ｆ５＝（水滴候補画像の各特徴を満たした画素あるいは領域の周辺領域内でエッジ強度が増加した領域の面積）／（水滴候補近傍画像１フレームの面積）により算出される。近傍エッジ増画像比率Ｆ５は、入力画像において背景画像よりもエッジ強度が増加した部分が、水滴候補近傍画像にどれだけ含まれているかを表す。尚、ここで用いられる面積を総画素数としても良い。 In step S4-8-5, using the water drop candidate neighborhood image obtained in step S4-5 and the neighborhood edge augmented image obtained in step S4-6, the neighborhood edge augmented image ratio F5 is set to the neighborhood edge augmented image. The ratio F5 = (area of the region where the edge intensity is increased in the peripheral region of the pixel or region satisfying each feature of the water droplet candidate image) / (area of one frame of the water droplet candidate vicinity image). The near edge increased image ratio F5 represents how much the portion where the edge strength is increased in the input image as compared to the background image is included in the water droplet candidate vicinity image. The area used here may be the total number of pixels.
ステップＳ４−８−６では、ステップＳ４−７で生成されたフレーム間差分データにおいて、最新の水滴候補画像データと過去水滴候補画像データとのそれぞれの重心の位置を算出し、画像中における座標値の差を重心位置変化量として算出する。画像中の座標軸は任意に設定できるが、例えば画像左上端を原点とし、左右方向の軸をＸ軸（右方向が正）、上下方向の軸をＹ軸（下方向が正）と設定する。そして、設定した座標軸により最新の水滴候補画像データと過去水滴候補画像データの重心の座標を算出し、Ｘ座標の差を（最新の水滴候補画像データのＸ座標）−（過去水滴候補画像データのＸ座標）より求め、Ｙ座標の差を（最新の水滴候補画像データのＹ座標）−（過去水滴候補画像データのＹ座標）より求める。これらは水滴画像領域がどれだけ移動したのかを示すものであり、Ｘ座標の差すなわちＸ方向の移動量ΔＸが正ならば水滴が画面中において右方向に移動したことを示し、Ｙ座標の差すなわちＹ方向の移動量ΔＹが正ならば水滴が画面中において下方向に移動したことを示す。こうして水滴の移動情報を取得する。 In step S4-8-6, the position of the center of gravity of the latest water droplet candidate image data and the past water droplet candidate image data is calculated in the inter-frame difference data generated in step S4-7, and the coordinate value in the image is calculated. Is calculated as the amount of change in the center of gravity. The coordinate axes in the image can be arbitrarily set. For example, the upper left corner of the image is set as the origin, the horizontal axis is set as the X axis (right direction is positive), and the vertical axis is set as Y axis (down direction is positive). Then, the coordinates of the center of gravity of the latest water droplet candidate image data and the past water droplet candidate image data are calculated using the set coordinate axes, and the difference between the X coordinates is calculated as (X coordinate of the latest water droplet candidate image data) − (past water droplet candidate image data X coordinate), and a difference in Y coordinate is obtained from (Y coordinate of latest water droplet candidate image data) − (Y coordinate of past water droplet candidate image data). These indicate how much the water droplet image area has moved. If the difference in the X coordinate, that is, the movement amount ΔX in the X direction is positive, it indicates that the water droplet has moved in the right direction on the screen, and the difference in the Y coordinate. That is, if the movement amount ΔY in the Y direction is positive, it indicates that the water droplet has moved downward in the screen. In this way, the movement information of the water droplet is acquired.
以上のようにして、ステップＳ４−８では、水滴候補画像が滞留水滴に起因した画像か否か、流動水滴に起因した画像か否かを判定するために必要な各判定情報を算出している。こうして各判定情報が算出されたら、図４におけるステップＳ４−９の処理へ移行する。 As described above, in step S4-8, each piece of determination information necessary for determining whether the water droplet candidate image is an image caused by a staying water droplet or an image caused by a flowing water droplet is calculated. . When each determination information is calculated in this way, the process proceeds to step S4-9 in FIG.
ステップＳ４−９では、水滴判定部５７は、水滴候補画像が滞留水滴に起因した画像か否かを判定する。この処理は、明るい撮像状況か暗い撮像状況かによって処理が異なる。以下、それぞれの撮像状況ごとに説明する。
In step S4-9, the water
昼間等に環境光を利用して撮像された場合には、高輝度水滴候補画像、非高輝度水滴候補画像、及び全水滴候補画像について、それぞれ次の各条件を満たすか否かを判定し、得られる判定結果の内で、滞留水滴によるものであるとの判定結果が少なくとも一つあれば、水滴候補画像は滞留水滴に起因した画像であると判定する。 When the image is picked up using ambient light in the daytime, etc., it is determined whether or not the following conditions are satisfied for the high-brightness water droplet candidate image, the non-high-brightness water droplet candidate image, and the total water droplet candidate image, If at least one of the determination results obtained is determined to be due to staying water droplets, the water droplet candidate image is determined to be an image resulting from the staying water droplets.
高輝度水滴候補画像についての条件とは、＜滞留条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−１（例えば２％）以上であること（滞留水滴は一定以上の面積を有するため）、＜滞留条件２＞差分面積比率Ｆ２が所定の閾値ＴＨＦ２（例えば５〜１０％）以下であること（滞留状態の水滴は移動が少ないため）、＜滞留条件３＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴候補画像の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜滞留条件４＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜滞留条件５＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−１（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、といったものであり、これらの条件を満たせば、判定対象の高輝度水滴候補画像は滞留水滴に起因した画像であると判定する。
The conditions for the high-intensity water droplet candidate image are: <
非高輝度水滴候補画像についての条件は、＜滞留条件４＞及び＜滞留条件５＞以外は高輝度水滴候補画像についての条件と同様で、＜滞留条件４＞については、近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−２（例えば１０％）未満であること（水滴の周囲部分に強いエッジは存在しないため）とし、＜滞留条件５＞については、近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−２（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）とし、これらの条件を満たせば、判定対象の非高輝度水滴候補画像は滞留水滴に起因した画像であると判定する。
The conditions for the non-high-intensity water droplet candidate images are the same as those for the high-intensity water droplet candidate images except for <
全水滴候補画像についての条件は、上記＜滞留条件１＞〜＜滞留条件３＞を満たし、且つ、高輝度水滴候補画像と非高輝度水滴候補画像のそれぞれについて＜滞留条件４＞及び＜滞留条件５＞を満たすことである。これらを満たせば、判定対象の全水滴候補画像は滞留水滴に起因した画像であると判定する。
The conditions for all the water droplet candidate images satisfy the above <
一方、夜間等に照明を当てて撮像された場合には、次の各条件を満たすか否かを判定する。各条件とは、＜滞留条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−１（例えば２％）以上であること（滞留水滴は一定以上の面積を有するため）、＜滞留条件２＞差分面積比率Ｆ２が所定の閾値ＴＨＦ２（例えば５〜１０％）以下であること（滞留状態の水滴は移動が少ないため）、＜滞留条件３＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴画像領域の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜滞留条件４＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜滞留条件５＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、といったものであり、これらの条件を満たせば、判定対象の水滴候補画像は滞留水滴に起因した画像であると判定する。
On the other hand, when an image is taken with illumination at night or the like, it is determined whether or not the following conditions are satisfied. Each condition is <
ステップＳ４−１０では、水滴判定部５７は、水滴候補画像が流動水滴に起因した画像か否かを判定する。具体的には、ステップＳ４−９の処理と同様に、明るい撮像状況か暗い撮像状況かによって処理が異なる。以下、それぞれの撮像状況ごとに説明する。
In step S4-10, the water
昼間等に環境光を利用して撮像された場合には、高輝度水滴候補画像、非高輝度水滴候補画像、及び全水滴候補画像について、それぞれ次の各条件を満たすか否かを判定し、得られる判定結果の内で、流動水滴によるものであるとの判定結果が少なくとも一つあれば、水滴候補画像は流動水滴に起因した画像であると判定する。 When the image is picked up using ambient light in the daytime, etc., it is determined whether or not the following conditions are satisfied for the high-brightness water droplet candidate image, the non-high-brightness water droplet candidate image, and the total water droplet candidate image, If there is at least one determination result that is based on flowing water droplets among the determination results obtained, it is determined that the water droplet candidate image is an image caused by flowing water droplets.
高輝度水滴候補画像についての条件とは、＜流動条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−２（例えば１０％）以上であること（流動水滴は一定以上の面積を有するため）、＜流動条件２＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴画像領域の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜流動条件３＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜流動条件４＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−１（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、＜流動条件５＞移動量ΔＹが所定の閾値ＴＨΔＹ（例えば５％）以上であること（流動水滴では、一定以上の距離を下方向に流れ落ちているはずであるため）、＜流動条件６＞移動量ΔＹが、移動量ΔＸの絶対値以上の値であること（流動水滴では、左右方向の移動量よりも下方向の移動量の方が大きいはずであるため）といったものであり、これらの条件を満たせば、判定対象の高輝度水滴候補画像は流動水滴に起因した画像であると判定する。 The conditions for the high-intensity water droplet candidate image are: <Flow condition 1> The area ratio F1 is equal to or greater than a predetermined threshold THF1-2 (for example, 10%) (because the flow droplet has a certain area or more), <Flow Condition 2> The neighborhood image area ratio F3 is equal to or greater than a threshold THF3 (for example, 2 to 3%) (because the water droplet image area cannot be determined properly unless the area of the water droplet image region has a certain area or more), < Flow condition 3> Near edge strong edge image ratio F4 is greater than or equal to the threshold THF4-1 (for example, 10 to 50%) (because there are many strong edges around the water droplet), <Flow condition 4> Near edge increased image ratio F5 Is greater than or equal to the threshold THF5-1 (for example, 10 to 50%) (because the area of the image in which the edge increases in the peripheral portion of the water droplet is large), <flow condition 5> the movement amount ΔY is a predetermined threshold THΔY (for example, 5%) or more (because the flowing water droplets should have flowed downward for a certain distance or more) <Flow condition 6> The movement amount ΔY is a value greater than or equal to the absolute value of the movement amount ΔX. (For flowing water droplets, the amount of movement in the downward direction should be larger than the amount of movement in the left and right direction.) If these conditions are met, the high-intensity water droplet candidate image to be judged will flow. It is determined that the image is caused by water droplets.
非高輝度水滴候補画像についての条件は、＜流動条件３＞及び＜流動条件４＞以外は高輝度水滴候補画像についての条件と同様で、＜流動条件３＞については、近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−２（例えば１０％）未満であること（水滴の周囲部分に強いエッジは存在しないため）とし、＜流動条件４＞については、近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５−２（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）とし、これらの条件を満たせば、判定対象の非高輝度水滴候補画像は流動水滴に起因した画像であると判定する。
The conditions for the non-high-intensity water droplet candidate images are the same as the conditions for the high-intensity water droplet candidate images except for <flow
全水滴候補画像についての条件は、上記＜流動条件１＞、＜流動条件２＞、＜流動条件５＞及び＜流動条件６＞を満たし、且つ、高輝度水滴候補画像と非高輝度水滴候補画像のそれぞれについて＜流動条件３＞及び＜流動条件４＞を満たすことである。これらを満たせば、判定対象の全水滴候補画像は流動水滴に起因した画像であると判定する。
The conditions for all the water droplet candidate images satisfy the above <flow
一方、夜間等に照明を当てて撮像された場合には、次の各条件を満たすか否かを判定する。各条件とは、＜流動条件１＞面積比率Ｆ１が所定の閾値ＴＨＦ１−２（例えば１０％）以上であること（流動水滴は一定以上の面積を有するため）、＜流動条件２＞近傍画像面積比率Ｆ３が閾値ＴＨＦ３（例えば２〜３％）以上であること（水滴画像領域の面積が一定以上の面積を有する状態でないと、水滴判定が適切に行えないため）、＜流動条件３＞近傍強エッジ画像比率Ｆ４が閾値ＴＨＦ４−１（例えば１０〜５０％）以上であること（水滴の周囲部分では強いエッジが多いため）、＜流動条件４＞近傍エッジ増画像比率Ｆ５が閾値ＴＨＦ５（例えば１０〜５０％）以上であること（水滴の周囲部分ではエッジが増える画像の面積が大きいため）、＜流動条件５＞移動量ΔＹが所定の閾値ＴＨΔＹ（例えば５％）以上であること（流動水滴では、一定以上の距離を下方向に流れ落ちているはずであるため）、＜流動条件６＞移動量ΔＹが、移動量ΔＸの絶対値以上の値であること（流動水滴では、左右方向の移動量よりも下方向の移動量の方が大きいはずであるため）といったものであり、これらの条件を満たせば、判定対象の水滴候補画像は流動水滴に起因した画像であると判定する。
On the other hand, when an image is taken with illumination at night or the like, it is determined whether or not the following conditions are satisfied. Each condition is <flow
以上のようにして水滴判定部５７は、ステップＳ４−９〜ステップＳ４−１１により、水滴候補画像が滞留水滴に起因した画像か、流動水滴に起因した画像かを判定し、得られた判定結果に基づき、水滴の状態をも考慮した水滴の検出を行うことができる。そして水滴判定部５７は、得られた検出結果を示す信号を図１における判定部６０に出力する（ステップＳ５）。検出結果としては、水滴の有無を示すのみでも良いし、あるいは滞留水滴か流動水滴かまでの情報を検出結果に含めて水滴付着ありとしても良い。こうして水滴検出部５０における水滴付着検出処理が終了し、続いて図３におけるステップＳ６の処理へ移行する。
As described above, the water
ステップＳ６では、判定部６０が、侵入者検出部４０及び水滴検出部５０からの検出結果信号に基づいて、監視空間に検出対象物が存在するか否か、撮像部１０のレンズ部分等に水滴が付着しているか否か、について判定する。そして、判定部６０において侵入者の存在を検出した、あるいは水滴の付着を検出したと判定された場合にはステップＳ７に処理を移行させ、侵入者の存在も水滴の付着も検出されなかった場合にはステップＳ８に処理を移行させる。
In step S <b> 6, the
ステップＳ７では、出力部８０からネットワーク１１０を介して監視センタ１２０に対し警報信号を送信させる。このとき、侵入者の存在のみを検出した場合、水滴の付着のみを検出した場合、侵入者及び水滴の双方を検出した場合に応じて、例えば以下のように処理が行われる。
In
侵入者の存在のみを検出した場合には、侵入者の存在を検出した入力画像データを警報信号と共に監視センタ１２０に送信する。これにより、これを受信した監視センタ１２０の監視員は、監視装置により入力画像データを確認後、適切な対応を行うことができる。
When only the presence of the intruder is detected, the input image data for detecting the presence of the intruder is transmitted to the
水滴の付着のみを検出した場合には、水滴の付着を検出した入力画像データを、監視センタ１２０の監視員による目視での監視を要請する監視要請信号と共に監視センタ１２０に送信する。このとき画像センシング装置１００では、入力画像データを撮像部１０から出力部８０に直接送り渡すよう制御する。このとき、監視制御部９０が侵入者検出部４０による侵入者検出のための画像処理を停止させても良く、これにより画像センシング装置１００による自動監視が停止する。また監視制御部９０は、撮像部１０からの入力画像データを出力部８０から順次監視センタ１２０に自動送信するように制御する。これにより監視センタ１２０の監視員は、監視装置による目視での監視を行うことが可能となる。またこのとき、水滴検出部５０による水滴検出のための画像処理は継続して行い、水滴が検出されなくなったら侵入者検出のための画像処理を再開するようにすると良い。
When only the adhesion of water droplets is detected, the input image data in which the adhesion of water droplets is detected is transmitted to the
ここで、上記のように画像センシング装置１００において監視を目視に自動的に切り替える以外に、監視センタ１２０からの指示により監視を目視に切り替えるようにしても良い。例えば、監視要請信号を受信した後に、目視による監視に切り替える旨の目視実行信号を監視センタ１２０から画像センシング装置１００に送信する。目視実行信号を受信すると、監視制御部９０が画像センシング装置１００による自動監視を停止させ、撮像部１０からの入力画像データを順次監視センタ１２０に自動送信するよう各構成部を制御する。以上のようにしても、監視センタ１２０の監視員は監視装置による目視での監視を行うことが可能となる。
Here, in addition to automatically switching the monitoring to the visual observation in the
侵入者及び水滴の双方を検出した場合には、侵入者及び水滴の双方を検出した入力画像データを、上記の警報信号及び監視要請信号と共に監視センタ１２０に送信する。そして、これを受信した監視センタ１２０の監視員は、入力画像データを確認し、水滴の付着のみを検出した場合と同様の処理を経て、侵入者の検出に対して適切な対応を行うことができると共に、以後の監視を監視センタ１２０からの目視により行うことが可能となる。
When both the intruder and the water droplet are detected, the input image data in which both the intruder and the water droplet are detected is transmitted to the
またステップＳ７において、出力部８０から水滴を検出した旨の信号が出力した場合には、その出力信号に基づいて、撮像部１０の前面に温風を吹き付けるブロアや、付着した水滴を除去するワイパー（図示せず）が作動するようにしても良い。ここで、ブロアやワイパーが作動中には目視による監視が行われるが、ブロアやワイパーの作動により水滴の付着が無くなって水滴検出部５０により水滴が検出されなくなった場合、あるいは水滴の付着が無くなったことが入力画像データから目視により確認できた場合には、例えば監視センタ１２０から自動監視実行信号を画像センシング装置１００に送信し、画像センシング装置１００はこの自動監視実行信号を受信して、自動監視を再開するよう各構成部を制御するようにしても良い。
In step S7, when a signal indicating that a water droplet has been detected is output from the output unit 80, a blower that blows warm air on the front surface of the
ステップＳ８では、背景画像データの更新処理が行われる。背景画像更新部５１は、所定の背景更新周期Ｔｒ（例えば、１０秒）で記憶部５９に保持されている背景画像データを最新の入力画像データで更新する。背景更新周期Ｔｒは、監視空間に対する日照の変動等を考慮して決定することが好適である。また、他の方法として、「人」が存在しないと判定された入力画像データで背景画像データを更新しても良く、さらに、過去に取得された複数の入力画像データの移動平均画像データにより背景画像データを更新しても良い。
In step S8, background image data update processing is performed. The background
尚、本実施形態では、撮像部１０により取得された最新の入力画像１フレーム全体について水滴の検出処理を行っているが、最新の入力画像データと背景画像データとの差分を算出することによって得られる背景差分データ内の変動領域ごとに、同様の水滴検出処理を行うようにしても良い。また、最新の入力画像１フレーム全体についての水滴検出処理と、背景差分データ内の変動領域ごとについての水滴検出処理とを併行して行っても良い。
In the present embodiment, the water droplet detection process is performed for the entire frame of the latest input image acquired by the
以上のように、本実施の形態によれば、水滴を検出すると、入力画像を画面表示して画像センシング装置による自動監視から監視員の目視による監視に切り替えるため、水滴の付着状態が解消されるまでの間の侵入者検出を確実に行うことが可能となる。 As described above, according to the present embodiment, when a water droplet is detected, the input image is displayed on the screen, and the automatic monitoring by the image sensing device is switched to the monitoring by the observer's visual observation. It is possible to reliably detect the intruder until the time.
ここで、以上のような画像センシング装置は、例えば図６に示す床面走行型ロボット１３０等の移動体に適用するのが好適である。ロボット１３０は、監視センタ１２０からの遠隔操作により又は自動で走行する。ロボット１３０の上面には、上記構成の画像センシング装置１００を含むセンサ部１４０が取り付けられている。例えば図６のように、センサ部１４０のハウジングを六角柱型とし、各側面に一つずつ撮像部１０を取り付けることにより、ロボット１３０の水平方向の周囲３６０度全ての空間が監視可能となる。
Here, the image sensing device as described above is preferably applied to a moving body such as the
そこで、以上のような構成のロボット１３０に本発明の画像センシング装置を利用すれば、ロボット１３０を走行させながら屋外の監視を行っている最中に撮像部１０の前面に水滴が付着した場合にも、水滴の検出により監視方法を監視センタ１２０からの目視に迅速に切り替えることができるため、水滴の付着状態が解消されるまでの間の監視を確実に行うことが可能となる。
Therefore, if the image sensing device of the present invention is used for the
１０ 撮像部、２０ 照明部、３０ 照明制御部、４０ 侵入者検出部、５０ 水滴検出部、５１ 背景画像更新部、５２ 背景差分演算部、５３ エッジ抽出部、５４ 水滴候補画像生成部、５５ フレーム間差分演算部、５６ 水滴候補近傍画像処理部、５７ 水滴判定部、５８ プログラム選択部、５９ 記憶部、６０ 判定部、７０ 画像処理部、８０ 出力部、９０ 監視制御部、１００ 画像センシング装置、１１０ ネットワーク、１２０ 監視センタ、１３０ ロボット、１４０ センサ部。
DESCRIPTION OF
Claims (5)
前記撮像部により撮像された入力画像中に検出対象物による画像領域が存在するか否かを判定し、前記監視空間における検出対象物の存在を検出する対象物検出部と、
前記撮像部により撮像された入力画像中に水滴による画像領域が存在するか否かを判定し、前記撮像部への水滴の付着を検出する水滴検出部と、
前記対象物検出部及び前記水滴検出部による検出結果に関する信号を外部の監視装置に出力する出力部と、
を備え、
前記水滴検出部が水滴を検出した場合に、水滴を検出した以降に前記撮像部から取得する入力画像を前記監視装置に出力し、前記監視装置にて画面表示を可能とすることを特徴とする画像センシング装置。 An imaging unit that acquires an image of the surveillance space;
An object detection unit that determines whether or not an image region due to a detection target exists in the input image captured by the imaging unit, and detects the presence of the detection target in the monitoring space;
A water droplet detection unit that determines whether or not an image region due to water droplets is present in the input image captured by the imaging unit,
An output unit for outputting a signal related to a detection result by the object detection unit and the water droplet detection unit to an external monitoring device;
With
When the water droplet detection unit detects a water droplet, an input image acquired from the imaging unit after detecting the water droplet is output to the monitoring device, and the monitoring device can display a screen. Image sensing device.
前記撮像部により撮像された入力画像中に検出対象物による画像領域が存在するか否かを判定し、前記監視空間における検出対象物の存在を検出する対象物検出部と、
前記撮像部により撮像された入力画像中に水滴による画像領域が存在するか否かを判定し、前記撮像部への水滴の付着を検出する水滴検出部と、
前記対象物検出部及び前記水滴検出部による検出結果に関する信号を外部の監視装置に出力する出力部と、
を備え、
前記出力部からの水滴を検出した旨の信号に対して外部から返答信号を受信した場合に、水滴を検出した以降に前記撮像部から取得する入力画像を前記監視装置に出力し、前記監視装置にて画面表示を可能とすることを特徴とする画像センシング装置。 An imaging unit that acquires an image of the surveillance space;
An object detection unit that determines whether or not an image region due to a detection target exists in the input image captured by the imaging unit, and detects the presence of the detection target in the monitoring space;
A water droplet detection unit that determines whether or not an image region due to water droplets exists in the input image captured by the imaging unit, and detects adhesion of water droplets to the imaging unit;
An output unit that outputs a signal related to a detection result by the object detection unit and the water droplet detection unit to an external monitoring device;
With
When a response signal is received from the outside in response to a signal indicating that a water droplet has been detected from the output unit, an input image acquired from the imaging unit after detecting the water droplet is output to the monitoring device, and the monitoring device An image sensing device characterized in that screen display is possible.
前記水滴検出部が水滴を検出した場合、前記対象物検出部は、検出処理を停止することを特徴とする画像センシング装置。 The image sensing device according to claim 1 or 2,
When the water droplet detection unit detects a water droplet, the target object detection unit stops the detection process.
前記水滴検出部が水滴を検出しなくなった場合には、前記対象物検出部は、検出処理を再開することを特徴とする画像センシング装置。 The image sensing device according to claim 3.
When the water droplet detection unit stops detecting a water droplet, the object detection unit restarts the detection process.
前記対象物検出部は、外部から検出処理を再開する旨の指示信号を受信して、検出処理を再開することを特徴とする画像センシング装置。
The image sensing device according to claim 3.
The object detection unit receives an instruction signal for restarting the detection process from the outside and restarts the detection process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005076975A JP2006262101A (en) | 2005-03-17 | 2005-03-17 | Image sensing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005076975A JP2006262101A (en) | 2005-03-17 | 2005-03-17 | Image sensing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006262101A true JP2006262101A (en) | 2006-09-28 |
Family
ID=37100842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005076975A Pending JP2006262101A (en) | 2005-03-17 | 2005-03-17 | Image sensing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006262101A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090757A (en) * | 2006-10-04 | 2008-04-17 | Secom Co Ltd | Mobile robot |
| JP2014190934A (en) * | 2013-03-28 | 2014-10-06 | Mitsubishi Electric Corp | Tsunami detection system |
| JP2021051378A (en) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | Attached matter detection device and attached matter detection method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0512591A (en) * | 1991-06-28 | 1993-01-22 | Mitsubishi Electric Corp | Monitoring device |
| JPH08172684A (en) * | 1994-12-19 | 1996-07-02 | Mitsubishi Denki Eng Kk | Image monitoring security system |
| JPH09214940A (en) * | 1996-01-31 | 1997-08-15 | Mitsubishi Electric Corp | Image processor for supervision |
| JP2004172878A (en) * | 2002-11-19 | 2004-06-17 | Sumitomo Electric Ind Ltd | Image processing system using turnable monitoring camera |
-
2005
- 2005-03-17 JP JP2005076975A patent/JP2006262101A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0512591A (en) * | 1991-06-28 | 1993-01-22 | Mitsubishi Electric Corp | Monitoring device |
| JPH08172684A (en) * | 1994-12-19 | 1996-07-02 | Mitsubishi Denki Eng Kk | Image monitoring security system |
| JPH09214940A (en) * | 1996-01-31 | 1997-08-15 | Mitsubishi Electric Corp | Image processor for supervision |
| JP2004172878A (en) * | 2002-11-19 | 2004-06-17 | Sumitomo Electric Ind Ltd | Image processing system using turnable monitoring camera |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090757A (en) * | 2006-10-04 | 2008-04-17 | Secom Co Ltd | Mobile robot |
| JP2014190934A (en) * | 2013-03-28 | 2014-10-06 | Mitsubishi Electric Corp | Tsunami detection system |
| JP2021051378A (en) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | Attached matter detection device and attached matter detection method |
| JP7234885B2 (en) | 2019-09-20 | 2023-03-08 | 株式会社デンソーテン | Attached matter detection device and attached matter detection method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4611776B2 (en) | Image signal processing device | |
| JP4542929B2 (en) | Image signal processing device | |
| JP3481397B2 (en) | Fire detector | |
| JP4491360B2 (en) | Image signal processing device | |
| JP4656977B2 (en) | Sensing device | |
| CN104134352A (en) | Video vehicle characteristic detection system and detection method based on combination of long exposure and short exposure | |
| JP2000175176A (en) | Supervisory method for mobile object and image supervisory device | |
| JP2018110057A (en) | Lighting system, lighting method and program | |
| JP2016206139A (en) | Gas detection device | |
| JP6189284B2 (en) | Image sensing device | |
| JP2006262101A (en) | Image sensing apparatus | |
| JP2004312402A (en) | System and apparatus for road monitoring | |
| JP2000306684A (en) | Image monitor device and its illumination control method | |
| JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP2012084009A (en) | Image sensor | |
| JP2006314061A (en) | Image processing apparatus and noise detecting method | |
| JP5179132B2 (en) | Human body detection device | |
| JP6183748B2 (en) | Motion detection device | |
| JP2001273484A (en) | Instructed position detection system, presentation system and information storage medium | |
| JP2018142887A (en) | Image-taking system and image-taking device | |
| JP6093270B2 (en) | Image sensor | |
| JP5044742B2 (en) | Digital camera | |
| JP5027646B2 (en) | Combined intrusion detection device | |
| JP2008164537A (en) | Adhesive detection device and method | |
| Kehtarnavaz et al. | Real-time vision-based detection of waiting pedestrians |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110726 |