JP3957495B2

JP3957495B2 - Image sensor

Info

Publication number: JP3957495B2
Application number: JP2001358084A
Authority: JP
Inventors: 幸一尾坐; 哲也高橋
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2001-11-22
Filing date: 2001-11-22
Publication date: 2007-08-15
Anticipated expiration: 2021-11-22
Also published as: JP2003162724A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影した画像を解析し、画像に現れる変化の要因を特定することにより、移動体を検出する画像センサに関する。
【０００２】
【従来の技術】
従来、監視カメラにて監視領域を撮影し、画像中で変化した領域（変化領域）が人間の特徴を示す領域であるか否かを分析し、監視領域内における侵入者の有無を判定する画像センサが提案されている。
このような画像センサにおいて、監視領域内に外部から光が差し込むと、光が映った部分が変化領域として検出されることがある。この変化領域を人間によるものと判定することを防止するため、光の入射により発生した変化領域を光領域として判定できるようにした画像センサが提案されている（特開２０００−３４１６７７）。
【０００３】
この画像センサにおいては、更に、外部にいる人の影が光領域内に映った場合、影の移動に伴い変化領域が移動をしたことを検出したときに、これを影による変化領域として検出することが行われる。これにより、影による変化領域を人によるものと誤判定をすることを防止している。
また、画像中の変化領域について、光、影、小動物などの外乱の特徴を示す領域であるかを分析し、監視領域内における侵入者の有無の判定から外乱による影響を排除する画像センサが提案されている（特開２００１−２４３４７５）。
【０００４】
これらの画像センサは、監視領域を撮影した画像であって、侵入者が写っていない画像、所定時間前の画像、あるいはこれら複数の画像を合成した画像などを基準画像とする。この基準画像と同じ監視領域を撮影した画像（現画像）とを比較し、画像中で変化があった領域（変化領域）に対して種々の分析を行い、侵入者の有無を検出している。
【０００５】
上記画像センサにおける変化領域の分析方法を説明すると次のとおりである。画像処理部で、変化領域について画像情報から人間らしさを多値で示す人属性情報と人間以外の要因らしさを多値で示す外乱属性情報とを算出する。なお、外乱としては、光、影、又は猫などの小動物に起因するものがある。判定部で、人属性情報と外乱属性情報との比率に基づき人間の存在の有無を判定する。判定部が人が存在すると判定した場合、出力部は、警報装置やベルなどにより人を検知した旨を通報する。このように人間と外乱との区別を行うことにより、人間の存在の検出を精度良く行うことができる。
【０００６】
上記の各画像センサにおいては、変化領域を整合化処理し、整合化された一塊の領域を同一原因による変化、すなわち同一移動体と判断している。同一移動体と認識された変化領域は分析の一単位とされ、変化領域全体のエッジの変化、テクスチャの変化、輝度ヒストグラムの変化などの特徴量が算出される。そして、これらの特徴量に基づいて、変化領域が人に起因する特徴を有するのか、外乱に起因する特徴を有するのかを判断していた。
例えば、変化領域におけるテクスチャの変化は、基準画像における変化領域に対する対応領域が異なると、変化領域におけるテクスチャの変化として現れる特徴量も異なる。したがって、基準画像における対応領域のテクスチャの変化により、分析のための判定ロジックを選択しなければならない。
【０００７】
図を用いて基準画像のテクスチャの変化により判定ロジックを選択する理由を説明する。
図１は、太陽光が窓から入射している領域とその外の領域とで影による変化を判定するロジックが異なることを説明するための図である。
Ａ−１は基準画像を示す。ここには、窓から太陽光が入射して床面１に映った領域（太陽光領域２）があることを示す。Ａ−２は現画像を示す。ここには、窓の外を人が通ったことにより、太陽光領域２内に人の影３が映っている状態を示す。Ａ−３は、基準画像Ａ−１と現画像Ａ−２を比較した結果の変化領域４を示す。
【０００８】
Ｂ−１は、太陽光領域がない監視領域を撮影した基準画像を示す。Ｂ−２は現画像で、監視領域内にいる人の影５が映っている状態を示す。Ｂ−３は、変化領域６を示す。
太陽光領域２内の影３は強い影であるためテクスチャが保存されにくく（テクスチャが透けて見えにくく）、また、変化領域４が太陽光領域２内から出ないという性質がある。他方、太陽光領域の外の影５は、淡い影であるためテクスチャが保存される（テクスチャが透けて見える）という性質がある。
【０００９】
したがって、太陽光領域２内とそれ以外の領域とでは、同じ影による変化を判定する場合であっても、判定ロジックを変える必要がある。従来の画像センサにおいては、変化領域４、６が太陽光領域２内にあるかそれ以外の領域にあるかを判断してから、判定ロジックの選択を行っていた。
なお、判定ロジックの選択は、テクスチャの変化だけでなく、エッジの変化、輝度レベルの変化によっても行われる。
【００１０】
【発明が解決しようとする課題】
しかしながら、変化領域全体についてエッジの変化、テクスチャの変化、輝度ヒストグラムの変化などの特徴量を算出して、これらの特徴量に基づいて、変化領域が人に起因する特徴を有するのか、あるいは外乱に起因する特徴を有するのかを判断するだけでは、以下に示すような新たな問題が発生することが判明した。
【００１１】
この点について図２を用いて説明する。
図２のＣ−１は基準画像で、太陽光が窓から差し込んで、太陽光領域２が床面１にできたことを示している。Ｃ−２は現画像で、窓の外を通る人の影９が太陽光領域２内に映っている。このような状況では、影９が接する太陽光領域２の縁１０に接して、太陽光領域２の外側に淡い影（はみ出し影）８が出現することがある。Ｃ−３は変化領域を示し、二つの影８、９は一塊の変化領域７として検出されている。
【００１２】
変化領域７が人に起因するものか影などの外乱に起因するものかが判定される場合、変化領域７における二つの影８と９が占める割合の差が大きければ、大きいほうの特徴量に基づいて強い影又は淡い影と判定することができる。つまり、判定ロジック使用時における小さい方の特徴量による全体の特徴量への影響は少ない。
しかし、二つの影８と９が占める割合の差が小さい場合は、相互の特徴量への影響が大きくなり、適切な判定結果が得られない場合が生じる。その結果、変化領域が影領域であるにもかかわらず、強い影領域でも淡い影領域でもないと判定されることがある。これにより、画像センサが誤報又は失報をすることがある。
【００１３】
このような現象は、基準画像の領域ごとに異なった特性の差（輝度の差、エッジの差、テクスチャの差など）があり、この特性の差が移動体検出の判定に使用する特徴量に影響を及ぼすことに起因するものである。したがって、同様な状態は太陽光領域に限らず発生する。例えば、監視領域にテクスチャの強い領域と弱い領域が並存する場合などにおいても生じる。
【００１４】
図３は、監視領域の背景のテクスチャが領域ごとに変化する例を示す。
Ｄ−１は基準画像で、背景となる壁面１１にはテクスチャが少なく、床面１にはテクスチャが多いことを示している。Ｄ−２は現画像で、人１２が映っており、上半身は壁面１１を背景とし、下半身は床面１を背景としている。Ｄ−３は変化領域１３を示し、その上半分には壁面１１のテクスチャによる人の画像が持つテクスチャへの影響があまり出ておらず、下半分は床面１のテクスチャによる人の画像が持つテクスチャへの影響が多く出ている。
【００１５】
人属性情報について判定をするときは、基準画像との正規化相関が低い（以下「Ｆ１」とする。）、エッジ消去度が高い（Ｆ２）、エッジ増加度が高い（Ｆ３）という判定ロジックが用いられる。これらの特徴は背景画像のテクスチャの度合いによって信頼性が変化する。
この判定ロジックを図３の例に適用する場合、変化領域１３の上半分においては、Ｆ１、Ｆ２を用いた判定は信頼性が低く、Ｆ３を用いた判定は信頼性が高くなる。逆に、下半分においては、Ｆ１、Ｆ２を用いた判定は信頼性が高く、Ｆ３を用いた判定は信頼性が低くなる。
【００１６】
したがって、図３に示した例においても、一つの判定ロジックを用いただけでは変化領域１３を人１２によるものと判定せずに、外乱によるものと判定することが発生し得る。
なお、図２及び３を用いて説明した例では、基準画像にテクスチャが異なる領域がある場合の誤判定について説明をしたが、基準画像にエッジ、輝度レベルが異なる領域がある場合も同様に誤判定が発生する。
【００１７】
本発明は、基準画像において特性の異なる領域がある場合でも、変化領域に対して適切な特徴量の算出を可能とし、確実に移動体を検出できる画像センサの実現を目的とするものである。
【００１８】
【課題を解決するための手段】
本願発明は上記目的を達成するためになされたものである。本発明の画像センサは、入力された画像から移動体を検出する画像センサであって、撮影された監視画像を取得する入力手段と、基準画像と前記監視画像とを比較し、画像中の変化領域を抽出する変化領域抽出手段と、前記変化領域を基準画像の領域特性が所定値以上の領域とその所定値未満の領域とに分割する分割手段と、前記変化領域の分割された領域ごとに移動体としての特徴量を算出する特徴量算出手段と、前記分割された領域ごとの特徴量から前記変化領域全体について移動体判定を行う統合判定手段とを具備する。
【００１９】
本発明の画像センサによれば、変化領域を基準画像の領域特性に基づいて分割し、分割領域ごとの特徴量について分析を行い、この分析結果から変化領域全体について移動体判定を行う。これにより、異なる特徴量を有する領域が整合化された一つの変化領域として検出された場合であっても、適切な判定結果を得ることができる。
【００２０】
【発明の実施の形態】
本発明の実施形態について図を用いて説明する。
図４は画像センサの構成を示す。
画像センサ２１は、監視領域を撮影する撮像部２２、取得した画像情報を画像処理して人属性情報と外乱属性情報を算出する画像処理部２３、人属性情報と外乱属性情報から人間の存在の有無を判定する判定部２４、判定結果を外部に対して出力する出力部２５から構成される。
【００２１】
撮像部２２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子などの素子から構成され、監視領域を撮影した撮像データをＡ／Ｄ変換したディジタル画像を画像処理部２３に出力する。
画像処理部２３は、撮像部２２から取得した画像情報を処理し、特徴量の抽出、各属性の算出などを行う。画像処理部２３のハード構成は、画像処理用のＩＣチップや画像用のメモリなど一般に使用されるものが用いられるが、本発明の本質でないので、詳細は省略する。
【００２２】
画像処理部２３は、人属性算出部２６と外乱属性算出部２７から構成される。さらに、外乱属性算出部２７は、光属性算出部２８、影属性算出部２９、小動物属性算出部３０から構成される。
判定部２４は、人属性情報と外乱属性情報との比率に基づいて、人間の存在の有無を判定する。判定のアルゴリズムについては後述する。
出力部２５は、判定部２４の判定結果に応じて、警報装置やベルなどにより、人を検知した旨を通報する。
【００２３】
以下、人属性算出部２６と外乱属性算出部２７の動作を説明する。なお、外乱属性算出部２７に関しては、影属性算出部２９についてのみ説明する。その外の光属性算出部２８、小動物属性算出部３０も同様な処理を行うものである。
また、各属性算出部２６、２８〜３０は、以下に説明する処理を実行するだけでなく外の算出方法、例えば特開２００１−２４３４７５に開示された算出方法を併用することも可能である。
【００２４】
図５のフローチャートを用いて影属性算出部２９における算出処理を説明する。本処理は、図２に示した影の分析に適しているので、図２を参照しながら説明をする。
ステップＳ１で、変化領域７を、太陽光領域２と重なる領域Ａ（影９）と重ならない領域Ｂ（影８）に分割する。
【００２５】
なお、太陽光領域２の決定方法は、基準画像上で絶対輝度又は相対輝度が所定値を超える画素による領域を太陽光領域２とすることにより行われる。ここで、絶対輝度とは、シャッタスピード、ＡＧＣゲイン値などの画像制御量から、画像上の輝度値を監視領域における実際の輝度に変換したものである。相対輝度とは、基準画像上の輝度値をそのまま採用したものである。絶対輝度を採用する方法によれば正確な結果が得られ、相対輝度を採用する方法によれば処理を簡単にすることができる。
【００２６】
ステップＳ２で、領域Ａと領域Ｂのそれぞれの面積が共に特徴量として使用するために必要な画素数として２０画素以上であるか否かが判定される。ここでＹＥＳ（領域Ａ、Ｂが共に２０画素以上）であれば、変化領域７が太陽光領域２とその他の領域にまたがっていると判定してステップＳ３へ進み、ＮＯ（領域Ａ、Ｂの一方又は両方が小さい。）であれば、変化領域７が太陽光領域２とその他の領域にまたがっていないと判定してステップＳ１１へ進む。
【００２７】
ステップＳ３で、領域Ａ（太陽光領域２と重なる領域）において、強い影の特徴を有する度合い（０〜１の値）を計算する。例えば、背景画像におけるテクスチャとの類似度により強い影か否かを判定する。領域Ａが強い影によるものであれば背景画像のテクスチャは検出されず、変化領域の輪郭線以外にエッジは検出されない。図２の例であれば、影９が強い影の特徴を有する度合いは高いものとなる。
【００２８】
ステップＳ４で、領域Ｂ（太陽光領域２と重ならない領域）において、淡い影の特徴を有する度合い（０〜１の値）を計算する。領域Ｂが淡い影によるものであれば背景画面におけるテクスチャが保存される。図２の例であれば、影８が淡い影の特徴を有する度合いは高いものとなる。
ステップＳ５で、領域Ａでは強い影の特徴をもち、領域Ｂでは淡い影の特徴をもつ度合いを混合影領域度として計算する。例えば、
混合影領域度＝（領域Ａの強い影の特徴を有する度合い）×（領域Ｂの淡い影の特徴を有する度合い）で計算する。
ステップＳ６で、計算した混合影領域度を影属性度として記憶する。その後、ステップＳ７へ進む。
【００２９】
ステップＳ２でＮＯ（はみ出し影なし）のとき、ステップＳ１１で、変化領域全体について強い影の特徴を有する度合い（強い影特徴度、０〜１の値）を計算する。ここでの計算方法はステップＳ３と同様である。
ステップＳ１２で、変化領域全体について淡い影の特徴を有する度合い（淡い影特徴度、０〜１の値）を計算する。ここでの計算方法はステップＳ４と同様である。
【００３０】
ステップＳ１３で、淡い影特徴度と強い影特徴度の値から影属性度の値を決定する。例えば、淡い影特徴度と強い影特徴度の内の最大値を影属性度の値として採用する。変化領域が強い影によるものであれば、ステップＳ１１で計算された度合いが高いものとなる。変化領域７が淡い影によるものであれば、ステップＳ１２で計算された度合いが高いものとなる。その後、ステップＳ７へ進む。
【００３１】
ステップＳ７で、ステップＳ６又はステップＳ１３で計算した影属性度を記憶する。
以上の処理と同様の処理が光属性算出部２８及び小動物属性算出部３０においても行われ、それぞれ光属性度、小動物属性度を記憶する。
【００３２】
図６のフローチャートを用いて人属性算出部２６における人属性算出処理を説明する。本処理は、図３に示した人の分析に適しているので、図３を参照しながら説明をする。
人の領域らしい特徴としては、図３の説明で述べたように、基準画像との正規化相関が低い（Ｆ１）、エッジ消去度が高い（Ｆ２）、エッジ増加度が高い（Ｆ３）がある。
【００３３】
ステップＳ２１で、変化領域１３を、テクスチャ領域（床面１）と重なる領域Ａと、そうでない領域（壁面１１）と重なる領域Ｂとに分割する。
ここで、テクスチャ領域の作成方法を説明する。基準画像（Ｄ−１）を小領域にブロック分割（例、３×４に分割）して、平均エッジ量が多い、又は、分散値が高いなどと判定された分割領域をテクスチャのある分割領域とする。
【００３４】
ステップＳ２２で、領域Ａについて、Ｆ１とＦ２の特徴量の重みを高くした人の領域らしさＨ_A を計算する。例えば、
Ｈ_A＝α₁×Ｆ₁の度合い＋α₂×Ｆ₂の度合い＋α₃×Ｆ₃の度合い
ただし、重み係数をαは、α₁＞α₂＞α₃で、α₁＋α₂＋α₃＝１の関係にある。
ステップＳ２３で、領域Ｂについて、Ｆ３の特徴量の重みを高くした人の領域らしさＨ_B を計算する。
Ｈ_B＝α₄×Ｆ₁の度合い＋α₅×Ｆ₂の度合い＋α₆×Ｆ₃の度合い
ただし、重み係数をαは、α₄＜α₅＜α₆で、α₄＋α₅＋α₆＝１の関係にある。
【００３５】
ステップＳ２４で、領域Ａと領域Ｂにおけるそれぞれの人の領域らしさから、変化領域１３全体の人の領域らしさを計算する。例えば、変化領域１３全体における領域Ａの比率Ｓ_A （０〜１の値）と領域Ｂの比率Ｓ_B （０〜１の値）を求め（Ｓ_A＋Ｓ_B＝１である。）、変化領域１３全体の人の領域らしさＨ_ALLを、
Ｈ_ALL＝Ｓ_A×Ｈ_A＋Ｓ_B×Ｈ_Bで計算する。
ステップＳ２５でＨ_ALLを記憶する。
【００３６】
判定部２４は、人属性算出部２６に記憶してある人属性情報と、光属性算出部２８、影属性算出部２９、小動物属性算出度３０に記憶してある光属性情報、影属性情報、出力動物属性情報との比率に基づき、変化領域１３が人によるものかその外の外乱によるものかを判定し、人の存在の有無を判定する。
判定部２４において人が存在すると判定すると、出力部２５は警報装置やベルなどにより人を検知した旨を通報する。
【００３７】
【発明の効果】
本発明によれば、変化領域が特性の異なる領域を有する場合に、分割領域ごとに特徴量の算出をするので、変化領域が人によるものか、外乱によるものかを正確に判定することができる。
【図面の簡単な説明】
【図１】異なる影の特性を説明する図である。
【図２】異なる影の特性を示す変化領域を説明する図である。
【図３】異なる背景を含む変化領域を説明する図である。
【図４】本発明の画像センサの回路構成を示す図である。
【図５】図４の画像センサにおける影属性算出処理を示すフローチャートである。
【図６】図４の画像センサにおける人属性算出処理を示すフローチャートである。
【符号の説明】
１…床面
２…太陽光領域
３…影
４…変化領域
５…影
６…変化領域
７…変化領域
８…影
９…影
１０…縁
１１…壁面
１２…人
１３…変化領域
２１…画像センサ
２２…撮像部
２３…画像処理部
２４…判定部
２５…出力部
２６…人属性算出部
２７…外乱属性算出部
２８…光属性算出部
２９…影属性算出部
３０…小動物属性算出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image sensor that detects a moving body by analyzing a photographed image and specifying a factor of a change that appears in the image.
[0002]
[Prior art]
Conventionally, a monitoring area is photographed by a monitoring camera, an image that analyzes whether or not a changed area (change area) in the image is an area showing human characteristics, and determines whether there is an intruder in the monitoring area Sensors have been proposed.
In such an image sensor, when light is inserted into the monitoring area from the outside, a portion where the light is reflected may be detected as a change area. In order to prevent this change area from being determined by humans, an image sensor has been proposed in which a change area generated by the incidence of light can be determined as a light area (Japanese Patent Laid-Open No. 2000-341677).
[0003]
Further, in this image sensor, when a shadow of a person outside is reflected in the light area, when it is detected that the change area has moved with the movement of the shadow, this is detected as a change area by the shadow. Is done. This prevents erroneous determination of a change area caused by a shadow as being caused by a person.
Also, an image sensor that analyzes whether the change area in the image is an area that shows the characteristics of disturbance such as light, shadow, small animals, etc., and eliminates the influence of disturbance from the determination of the presence or absence of intruders in the monitoring area is proposed (Japanese Patent Laid-Open No. 2001-243475).
[0004]
These image sensors are images obtained by capturing a monitoring area and do not include an intruder, an image before a predetermined time, or an image obtained by synthesizing a plurality of these images. This reference image is compared with an image (current image) taken of the same monitoring area, and various analyzes are performed on areas that have changed in the image (change areas) to detect the presence or absence of intruders. .
[0005]
A method of analyzing the change area in the image sensor will be described as follows. The image processing unit calculates human attribute information indicating multiplicity of humanity and multi-value disturbance attribute information indicating non-human factor multivalue from the image information for the change area. Note that disturbances are caused by light, shadows, or small animals such as cats. The determination unit determines the presence or absence of a human based on the ratio between the human attribute information and the disturbance attribute information. When the determination unit determines that a person exists, the output unit reports that a person has been detected by an alarm device or a bell. By thus distinguishing between humans and disturbances, it is possible to accurately detect the presence of humans.
[0006]
In each of the image sensors described above, the change area is subjected to the alignment process, and the aligned mass area is determined to be a change due to the same cause, that is, the same moving body. A change area recognized as the same moving object is used as a unit of analysis, and feature quantities such as an edge change, a texture change, and a luminance histogram change of the entire change area are calculated. Then, based on these feature amounts, it is determined whether the change region has a feature caused by a person or a feature caused by a disturbance.
For example, when the texture change in the change area is different in the corresponding area with respect to the change area in the reference image, the feature amount that appears as the texture change in the change area is also different. Therefore, determination logic for analysis must be selected according to the texture change of the corresponding region in the reference image.
[0007]
The reason why the determination logic is selected based on the texture change of the reference image will be described with reference to the drawings.
FIG. 1 is a diagram for explaining that the logic for determining a change due to a shadow is different between a region where sunlight is incident from a window and a region outside the region.
A-1 represents a reference image. Here, it is shown that there is a region (sunlight region 2) reflected on the floor surface 1 when sunlight enters from the window. A-2 shows the current image. Here, a state in which a person's shadow 3 is reflected in the sunlight region 2 due to a person passing outside the window is shown. A-3 shows a change area 4 as a result of comparing the reference image A-1 and the current image A-2.
[0008]
B-1 shows the reference image which image | photographed the monitoring area | region without a sunlight area | region. B-2 is a current image and shows a state in which a shadow 5 of a person in the monitoring area is shown. B-3 shows the change area 6.
Since the shadow 3 in the sunlight region 2 is a strong shadow, the texture is not easily stored (the texture is difficult to see through), and the change region 4 does not come out of the sunlight region 2. On the other hand, since the shadow 5 outside the sunlight region is a light shadow, the texture is preserved (the texture can be seen through).
[0009]
Therefore, even if it is a case where the change by the same shadow is determined in the sunlight region 2 and other regions, it is necessary to change the determination logic. In the conventional image sensor, the determination logic is selected after determining whether the change areas 4 and 6 are in the sunlight area 2 or other areas.
Note that the selection of the determination logic is performed not only by texture change but also by edge change and luminance level change.
[0010]
[Problems to be solved by the invention]
However, feature quantities such as edge changes, texture changes, luminance histogram changes, etc. are calculated for the entire change area, and based on these feature quantities, whether the change area has human-derived characteristics or due to disturbance It has been found that the following new problem occurs only by determining whether or not it has a characteristic attribute.
[0011]
This point will be described with reference to FIG.
C-1 in FIG. 2 is a reference image, and shows that sunlight has been inserted from the window, and the sunlight region 2 has been formed on the floor surface 1. C-2 is a current image, and a shadow 9 of a person passing outside the window is reflected in the sunlight region 2. In such a situation, a light shadow (protruding shadow) 8 may appear outside the sunlight region 2 in contact with the edge 10 of the sunlight region 2 with which the shadow 9 contacts. C-3 indicates a change area, and two shadows 8 and 9 are detected as a single change area 7.
[0012]
When it is determined whether the change area 7 is caused by a person or a disturbance such as a shadow, if the difference between the proportions of the two shadows 8 and 9 in the change area 7 is large, the larger feature amount is obtained. Based on this, a strong shadow or a light shadow can be determined. That is, the influence of the smaller feature amount on the entire feature amount when using the determination logic is small.
However, when the difference between the proportions of the two shadows 8 and 9 is small, the influence on the mutual feature amount becomes large, and an appropriate determination result may not be obtained. As a result, although the change area is a shadow area, it may be determined that it is neither a strong shadow area nor a light shadow area. As a result, the image sensor may make a false alarm or a false alarm.
[0013]
Such a phenomenon has different characteristic differences (brightness difference, edge difference, texture difference, etc.) for each region of the reference image, and this characteristic difference is a feature amount used for determination of moving object detection. This is due to the influence. Therefore, the same state occurs not only in the sunlight region. For example, this also occurs when a strong texture area and a weak texture area coexist in the monitoring area.
[0014]
FIG. 3 shows an example in which the background texture of the monitoring area changes for each area.
D-1 is a reference image, which indicates that the wall surface 11 as a background has less texture and the floor surface 1 has more texture. D-2 is a current image in which a person 12 is shown. The upper body has a wall surface 11 as a background, and the lower body has a floor surface 1 as a background. D-3 shows the change area 13, and the upper half has little influence on the texture of the human image due to the texture of the wall surface 11, and the lower half has the human image due to the texture of the floor 1 There are many effects on the texture.
[0015]
When determining the human attribute information, there is a determination logic that the normalized correlation with the reference image is low (hereinafter referred to as “F1”), the edge erasure degree is high (F2), and the edge increase degree is high (F3). Used. The reliability of these features varies depending on the degree of texture of the background image.
When this determination logic is applied to the example of FIG. 3, in the upper half of the change area 13, the determination using F1 and F2 is low in reliability, and the determination using F3 is high in reliability. On the other hand, in the lower half, the determination using F1 and F2 has high reliability, and the determination using F3 has low reliability.
[0016]
Therefore, even in the example shown in FIG. 3, it is possible to determine that the change area 13 is caused by a disturbance without determining that the change area 13 is caused by the person 12 only by using one determination logic.
In the example described with reference to FIGS. 2 and 3, the erroneous determination in the case where there is a region having a different texture in the reference image has been described. Judgment occurs.
[0017]
An object of the present invention is to realize an image sensor capable of calculating an appropriate feature amount with respect to a change region and detecting a moving object reliably even when there are regions having different characteristics in a reference image.
[0018]
[Means for Solving the Problems]
The present invention has been made to achieve the above object. The image sensor of the present invention is an image sensor that detects a moving body from an input image, and compares an input unit that acquires a captured monitoring image with a reference image and the monitoring image, and changes in the image A change area extracting means for extracting an area; a dividing means for dividing the change area into areas where the area characteristics of the reference image are greater than or equal to a predetermined value; and areas less than the predetermined value; and for each divided area of the change area A feature amount calculating unit that calculates a feature amount as a moving body; and an integrated determination unit that performs moving body determination for the entire change region from the feature amounts of the divided regions.
[0019]
According to the image sensor of the present invention, the change region is divided based on the region characteristics of the reference image, the feature amount for each divided region is analyzed, and the moving object is determined for the entire change region from the analysis result. Thereby, even if a region having different feature amounts is detected as one matched region, an appropriate determination result can be obtained.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
FIG. 4 shows the configuration of the image sensor.
The image sensor 21 includes an imaging unit 22 that captures a monitoring area, an image processing unit 23 that performs image processing on acquired image information to calculate human attribute information and disturbance attribute information, and human presence information and disturbance attribute information. It comprises a determination unit 24 that determines presence / absence, and an output unit 25 that outputs the determination result to the outside.
[0021]
The imaging unit 22 is configured by an element such as an optical system, a CCD element, or a C-MOS element, and outputs a digital image obtained by A / D converting imaging data obtained by capturing a monitoring area to the image processing unit 23.
The image processing unit 23 processes the image information acquired from the imaging unit 22 and performs feature amount extraction, calculation of each attribute, and the like. As the hardware configuration of the image processing unit 23, commonly used ones such as an image processing IC chip and an image memory are used. However, details are omitted because they are not the essence of the present invention.
[0022]
The image processing unit 23 includes a human attribute calculation unit 26 and a disturbance attribute calculation unit 27. Further, the disturbance attribute calculation unit 27 includes a light attribute calculation unit 28, a shadow attribute calculation unit 29, and a small animal attribute calculation unit 30.
The determination unit 24 determines the presence / absence of a person based on the ratio between the human attribute information and the disturbance attribute information. The determination algorithm will be described later.
The output unit 25 reports that a person has been detected by an alarm device or a bell according to the determination result of the determination unit 24.
[0023]
Hereinafter, operations of the human attribute calculation unit 26 and the disturbance attribute calculation unit 27 will be described. As for the disturbance attribute calculation unit 27, only the shadow attribute calculation unit 29 will be described. The other light attribute calculation unit 28 and small animal attribute calculation unit 30 perform similar processing.
In addition, the attribute calculation units 26 and 28 to 30 not only execute the processing described below, but can also use an external calculation method, for example, a calculation method disclosed in JP-A-2001-243475.
[0024]
The calculation process in the shadow attribute calculation unit 29 will be described with reference to the flowchart of FIG. This process is suitable for the shadow analysis shown in FIG. 2, and will be described with reference to FIG.
In step S1, the change area 7 is divided into an area A (shadow 9) that overlaps the sunlight area 2 and an area B (shadow 8) that does not overlap.
[0025]
In addition, the determination method of the sunlight area | region 2 is performed by making the area | region by the pixel whose absolute luminance or relative luminance exceeds a predetermined value into the sunlight area | region 2 on a reference | standard image. Here, the absolute luminance is obtained by converting the luminance value on the image into the actual luminance in the monitoring area from the image control amount such as the shutter speed and the AGC gain value. Relative luminance is the luminance value on the reference image as it is. According to the method employing absolute luminance, an accurate result can be obtained, and according to the method employing relative luminance, processing can be simplified.
[0026]
In step S2, it is determined whether or not each area of the region A and the region B is 20 pixels or more as the number of pixels necessary for use as a feature amount. If YES here (both areas A and B are 20 pixels or more), it is determined that the change area 7 extends over the sunlight area 2 and other areas, and the process proceeds to step S3. If one or both are small.), It is determined that the change area 7 does not straddle the sunlight area 2 and other areas, and the process proceeds to step S11.
[0027]
In step S <b> 3, the degree of having a strong shadow feature (value of 0 to 1) is calculated in the area A (area overlapping with the sunlight area 2). For example, it is determined whether or not the shadow is stronger due to the similarity with the texture in the background image. If the area A is due to a strong shadow, the texture of the background image is not detected, and no edge is detected other than the outline of the change area. In the example of FIG. 2, the degree that the shadow 9 has a strong shadow feature is high.
[0028]
In step S4, the degree (value of 0 to 1) having a characteristic of a light shadow in the area B (area that does not overlap with the sunlight area 2) is calculated. If the region B has a light shadow, the texture on the background screen is saved. In the example of FIG. 2, the degree to which the shadow 8 has a light shadow feature is high.
In step S5, the degree of having a strong shadow feature in region A and a light shadow feature in region B is calculated as the mixed shadow region degree. For example,
Mixed shadow area degree = (degree of area A having strong shadow characteristics) × (degree of area B having light shadow characteristics)
In step S6, the calculated mixed shadow area degree is stored as a shadow attribute degree. Thereafter, the process proceeds to step S7.
[0029]
When NO in step S2 (no overhanging shadow), in step S11, the degree of having a strong shadow feature (strong shadow feature degree, 0 to 1) is calculated for the entire change area. The calculation method here is the same as in step S3.
In step S12, the degree of having a light shadow feature for the entire change region (light shadow feature, 0 to 1) is calculated. The calculation method here is the same as in step S4.
[0030]
In step S13, the value of the shadow attribute is determined from the values of the light shadow feature and the strong shadow feature. For example, the maximum value of the light shadow characteristic and the strong shadow characteristic is adopted as the value of the shadow attribute. If the change area is due to a strong shadow, the degree calculated in step S11 is high. If the change area 7 is due to a light shadow, the degree calculated in step S12 is high. Thereafter, the process proceeds to step S7.
[0031]
In step S7, the shadow attribute degree calculated in step S6 or step S13 is stored.
Processing similar to the above processing is also performed in the light attribute calculation unit 28 and the small animal attribute calculation unit 30, and stores the light attribute level and the small animal attribute level, respectively.
[0032]
The human attribute calculation process in the human attribute calculation unit 26 will be described with reference to the flowchart of FIG. This process is suitable for the human analysis shown in FIG. 3, and will be described with reference to FIG.
As described in the explanation of FIG. 3, the characteristics that are likely to be human regions include a low normalized correlation with the reference image (F1), a high edge erasure degree (F2), and a high edge increase degree (F3). .
[0033]
In step S21, the change area 13 is divided into an area A that overlaps the texture area (floor surface 1) and an area B that overlaps the other area (wall surface 11).
Here, a method for creating a texture region will be described. The reference image (D-1) is divided into small areas (for example, divided into 3 × 4), and the divided areas determined to have a large average edge amount or a high variance value are divided into textured areas. And
[0034]
In step S22, the region likeness H _A of the person who increases the weights of the feature amounts of F1 and F2 is calculated for the region _A. For example,
H _A = degree of α ₁ × F ₁ + degree of α ₂ × F ₂ + degree of α ₃ × F ₃ However, the weighting factor α is α ₁ > α ₂ > α ₃ and α ₁ + α ₂ + α ₃ = 1 Are in a relationship.
In step S23, for the region B, the region likelihood H _B of the person whose feature weight of F3 is increased is calculated.
H _B = degree of α ₄ × F ₁ + degree of α ₅ × F ₂ + degree of α ₆ × F ₃ However, the weighting factor α is α ₄ <α ₅ <α ₆ and α ₄ + α ₅ + α ₆ = 1 Are in a relationship.
[0035]
In step S24, the person-likeness of the entire change area 13 is calculated from the person-likeness of each person in the areas A and B. For example, the ratio S _A (value of 0 to 1) and the ratio S _B (value of 0 to 1) of the area B in the entire change area 13 are obtained (S _A + S _B = 1), and the change area. 13 The territorial character H _ALL of the whole person,
Calculate with H _ALL = S _A × H _A + S _B × H _B.
In step S25, H _ALL is stored.
[0036]
The determination unit 24 includes the human attribute information stored in the human attribute calculation unit 26, the light attribute information stored in the light attribute calculation unit 28, the shadow attribute calculation unit 29, and the small animal attribute calculation degree 30, shadow attribute information, Based on the ratio to the output animal attribute information, it is determined whether the change area 13 is caused by a person or a disturbance outside the person, and the presence / absence of a person is determined.
When the determination unit 24 determines that a person is present, the output unit 25 reports that a person has been detected by an alarm device or a bell.
[0037]
【The invention's effect】
According to the present invention, when the change area includes areas having different characteristics, the feature amount is calculated for each divided area, so that it is possible to accurately determine whether the change area is caused by a person or a disturbance. .
[Brief description of the drawings]
FIG. 1 is a diagram for explaining characteristics of different shadows.
FIG. 2 is a diagram for explaining a change area showing different shadow characteristics;
FIG. 3 is a diagram illustrating a change area including different backgrounds.
FIG. 4 is a diagram showing a circuit configuration of an image sensor of the present invention.
FIG. 5 is a flowchart showing shadow attribute calculation processing in the image sensor of FIG. 4;
6 is a flowchart showing human attribute calculation processing in the image sensor of FIG. 4;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Floor surface 2 ... Sunlight area 3 ... Shadow 4 ... Change area 5 ... Shadow 6 ... Change area 7 ... Change area 8 ... Shadow 9 ... Shadow 10 ... Edge 11 ... Wall surface 12 ... Person 13 ... Change area 21 ... Image sensor 22 ... Imaging unit 23 ... Image processing unit 24 ... Determination unit 25 ... Output unit 26 ... Human attribute calculation unit 27 ... Disturbance attribute calculation unit 28 ... Light attribute calculation unit 29 ... Shadow attribute calculation unit 30 ... Small animal attribute calculation unit

Claims

入力された画像から移動体を検出する画像センサであって、
撮影された監視画像を取得する入力手段と、
基準画像と前記監視画像とを比較し、画像中の変化領域を抽出する変化領域抽出手段と、
前記変化領域を前記基準画像の領域特性が所定値以上の領域と該所定値未満の領域とに分割する分割手段と、
前記変化領域の分割された領域ごとに、移動体としての特徴量を算出する特徴量算出手段と、
前記分割された領域ごとの特徴量から前記変化領域全体について移動体判定を行う統合判定手段と、
を具備することを特徴とした画像センサ。An image sensor for detecting a moving body from an input image,
An input means for acquiring a captured surveillance image;
A change area extraction means for comparing a reference image with the monitoring image and extracting a change area in the image;
A dividing unit that divides the change area into an area in which an area characteristic of the reference image is equal to or greater than a predetermined value and an area that is less than the predetermined value ;
Feature amount calculation means for calculating a feature amount as a moving body for each of the divided regions of the change region;
Integrated determination means for performing moving object determination for the entire change area from the feature values for each of the divided areas;
An image sensor comprising:

前記領域特性が輝度レベルである請求項１に記載の画像センサ。 The image sensor according to claim 1, wherein the region characteristic is a luminance level.

前記領域特性が、前記基準画像を複数の小領域に分割したときの各小領域ごとの平均エッジ量又は分散値である請求項１に記載の画像センサ。The image sensor according to claim 1, wherein the region characteristic is an average edge amount or a variance value for each small region when the reference image is divided into a plurality of small regions .

前記特徴量算出手段は、前記分割手段にて領域分割する根拠とした前記領域特性が前記所定値以上か前記所定値未満かに応じて、前記分割された領域ごとに算出する特徴量を選択する請求項１〜３のいずれか１項に記載された画像センサ。The feature amount calculation unit selects a feature amount to be calculated for each of the divided regions according to whether the region characteristic based on which the region is divided by the dividing unit is greater than the predetermined value or less than the predetermined value. image sensor according to any one of claims 1-3.

前記特徴量は、影属性である請求項４に記載の画像センサ。The image sensor according to claim 4 , wherein the feature amount is a shadow attribute.

前記特徴量算出手段は、前記分割手段にて分割する根拠とした前記領域特性に応じて算出する特徴量に重み付けを行う請求項１〜３のいずれか１項に記載された画像センサ。The feature amount calculating means, the image sensor according to any one of claims 1 to 3 for weighting the characteristic amount calculated in accordance with the region characteristics were the basis for dividing by the dividing means.

前記重み付けを行う特徴量は、人属性である請求項６に記載の画像センサ。The image sensor according to claim 6 , wherein the weighting feature amount is a human attribute.

前記分割手段は、分割領域が所定画素以上であるときに分割を実行する請求項１〜７のいずれか１項に記載された画像センサ。It said dividing means, the image sensor according to any one of claims 1 to 7 to perform the division when the divided area is a predetermined pixel or more.