JP2008199442A - 動き検出装置、動き検出方法、撮像装置および監視システム - Google Patents

Abstract

【課題】簡単な回路構成にて被写体の実際の動きによる輝度変化とＡＥ制御起因によって発生する輝度変化とを切り分けて、被写体の動きを確実に検出できるようにする。
【解決手段】被写体の動き検出のための情報として、輝度差情報だけではなく、ＡＥ制御によって決定されるＡＥ情報をも動き検出装置２０に入力し、当該ＡＥ情報に応じて動き検出の検出閾値を動的に制御することで、ＡＥ制御に起因して画面内の輝度が変化することがあった際に、その輝度変化が被写体の実際の動きによるものか、ＡＥ制御起因によるものかを弁別しつつ動き検出を行うようにする。
【選択図】図１

Description

本発明は、動き検出装置、動き検出方法、撮像装置および監視システムに関し、特に映像信号から被写体の動きを検出する動き検出装置、動き検出方法、当該動き検出装置を有する撮像装置および当該撮像装置を用いた監視システムに関する。

動き検出装置、具体的には映像信号から被写体の動きを検出する動き検出装置は、監視システムにおける不審者の監視や、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ）のトリガーとして用いられている。例えば、監視システムでは、監視者の負荷軽減や効率的な記録（必要なシーンのみを記録）を目的として、監視カメラから出力された映像を解析（この場合は、画面内の動きを検知）し、監視者に警告を出したり、記録装置を記録したりする制御が行われる。

動き検出装置の動き検出方式としては、一般的に、フレーム間差分方式と背景差分方式とが知られている。フレーム間差分方式は、撮像素子から出力される映像信号と１フレーム遅延された映像信号とのフレーム間の輝度差をとり、当該輝度差をあらかじめ設定した検出閾値と比較することによって動きの有無を検知する手法である。背景差分方式は、撮像素子から出力される映像信号から演算に背景画像をより作成し、入力される映像信号と背景画像（背景モデル）との輝度差をとり、当該輝度差をあらかじめ設定した検出閾値と比較することによって動きの有無を検知する手法である。

これら検出方式を用いた動き検出装置では、一般的には、画面内をＮ×Ｍのブロックに分割してその平均値をとり、解像度を落とすことで演算量を軽減している。また、背景画像は、次式（１）から作成することができる。
Ｂ（ｍ，ｎ，ｔ）＝（１−α）Ｂ（ｍ．ｎ，ｔ−１）＋αＩ（ｍ，ｎ，ｔ）
……（１）
ここで、αは０≦α≦１の時定数であり、Ｂ（ｍ，ｎ，ｔ）は時間ｔにおける座標（ｍ，ｎ）の背景画像であり、Ｉ（ｍ，ｎ，ｔ）は時間ｔにおける座標（ｍ，ｎ）の入力画像である。

ところで、カメラシステムでは、通常、画面内の輝度レベルを知るために輝度信号を積算し、この積算輝度値が制御目標値に近づくように、絞り（Ｆ値）、シャッタスピード、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御)ゲインなどを制御し、露出を自動的に決定するＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ；自動露出）制御が行われる。

かかるＡＥ制御が行われるカメラシステムを監視カメラとして用いた監視システムにおいて、動き検出に当たって上記式（１）の演算を行った場合、被写体の実際の動きによる輝度変化とＡＥ制御起因によって発生する輝度変化とを切り分ける（または、推測する）ことができないために、ＡＥ制御起因によって発生する輝度変化も、被写体の動きとして検出し、誤報を発してしまう。このような誤報は、監視者の労力を増大させたり、あるいは動きが無いのに録画してしまうなど、効率的な録画の妨げにつながったりする。

被写体の実際の動きによる輝度変化と、ＡＥ制御起因によって発生する輝度変化とを切り分けるには、動き検出の閾値をあらかじめ大きく設定しておく方策が考えられる。しかし、あらかじめ検出する閾値を大きくしておく方策を採った場合、検出の感度が低下するというデメリットがある。

このため、従来は、実際の動きのところにはエッジが存在するという考え方から、監視カメラから出力される映像信号と１フレーム遅延の映像信号とから被写体のエッジ部分の検出を行うエッジ検出回路を用い、当該エッジ検出回路の検出結果を基に動き検出の検出精度を高めるようにしていた（例えば、特許文献１参照）。

特開２００１−８２２８号公報

しかしながら、上記特許文献１記載の従来技術では、エッジ検出回路という特別な回路を用意する必要があり、当該エッジ検出回路を構成するにはフレームメモリ等が必要になるために、回路規模が大きくなるとともに、コストが高くなるという問題がある。

そこで、本発明は、簡単な回路構成にて被写体の実際の動きによる輝度変化とＡＥ制御起因によって発生する輝度変化とを切り分けて、被写体の動きを確実に検出可能な動き検出装置、動き検出方法、当該動き検出装置を有する撮像装置および当該撮像装置を用いた監視システムを提供することを目的とする。

本発明による動き検出装置は、撮像素子から出力される映像信号から輝度差情報を得て当該輝度差情報を動き検出の検出パラメータと比較することによって動きの有無の判断処理を行う処理部と、前記撮像素子を含む撮像装置の特性制御によって決定される制御情報に応じて前記検出パラメータを制御する制御部とを備えた構成となっている。この動き検出装置は、動き検出装置を有する撮像装置において当該動き検出装置として用いられる。また、当該動き検出装置を有する撮像装置は、監視システムにおいて、その監視カメラとして用いられる。

上記構成の動き検出装置、当該動き検出装置を有する撮像装置および当該撮像装置を用いた監視システムにおいて、被写体の動き検出のための情報として、輝度差情報だけではなく、撮像装置の特性制御によって決定される制御情報をも用い、当該制御情報に応じて動き検出の検出パラメータを制御することで、撮像装置の特性制御に起因して画面内の輝度が変化することがあったとしても、その輝度変化が被写体の実際の動きによるものか、特性制御起因によるものかを弁別しつつ動き検出を行うことができる。

本発明によれば、エッジ検出装置のような特別な回路を用いなくても、簡単な回路構成にて、画面内の輝度変化が被写体の実際の動きによるものか、特性制御起因によるものかを弁別しつつ動き検出を行うことができるために、被写体の実際の動きによる輝度変化でないにもかかわらず、被写体の動きであるとする誤検出を無くすことができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

《第１実施形態》
本発明の第１実施形態に係る撮像装置について説明する。ここに、撮像装置とは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子、当該撮像素子の撮像面（受光面）上に被写体の像光を結像させる光学系および当該撮像素子の出力信号を処理する信号処理回路を含み、携帯電話等の電子機器に搭載されて用いられるカメラモジュールや、当該カメラモジュールを搭載したデジタルスチルカメラやビデオカメラ等のカメラシステムを言うものとする。

［撮像装置］
図１は、本発明の第１実施形態に係る撮像装置の構成の一例を示すシステム構成図である。図１において、被写体（図示せず）からの入射光（像光）は、レンズ１１を含む光学系によって固体撮像素子、例えばＣＣＤイメージセンサ１２の撮像面（受光面）上に結像される。

なお、固体撮像素子としては、ＣＣＤイメージセンサ１２に限られるものではなく、他の電荷転送型固体撮像素子や、ＣＭＯＳイメージセンサに代表されるＸ−Ｙアドレス型固体撮像素子であっても良い。

ＣＣＤイメージセンサ１２は、タイミングジェネレータ（ＴＧ）１３で発生される各種のタイミング信号による駆動の下に、画素の各々で光電変換された信号電荷の垂直転送部への読出し駆動や、垂直転送部および水平転送部の転送駆動や、信号電荷の電気信号への変換など、被写体を撮像してその撮像信号を出力する動作を行う。

ＣＣＤイメージセンサ１２から出力される撮像信号は、アナログフロントエンド（ＡＦＥ）部１４において、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)や、ＡＧＣ(Automatic Gain Control;自動利得制御)などの処理が施された後、カメラ信号処理回路１５に供給される。

カメラ信号処理回路１５は、Ａ／Ｄ変換回路１５１、クロマ（Ｃ）信号処理回路１５２、Ｄ／Ａ変換回路１５３、輝度（Ｙ）信号処理回路１５４、増幅回路１５５、Ｄ／Ａ変換回路１５６および輝度検波部１５７を有する構成となっている。

Ａ／Ｄ変換回路１５１は、ＣＣＤイメージセンサ１２からアナログフロントエンド部１４を介して入力されるアナログ信号をデジタル信号に変換し、クロマ信号処理回路１５２および輝度信号処理回路１５４に供給する。

クロマ信号処理回路１５２は、Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色信号を所定の演算式で演算することによって色差信号Ｃｒ（Ｒ−Ｙ），Ｃｂ（Ｂ−Ｙ）を生成する。この色差信号は、Ｄ／Ａ変換回路１５３でアナログ信号に変換されて出力される。

輝度信号処理回路１５４は、Ｒ，Ｇ，Ｂの３原色信号を所定の比率で加算することによって輝度信号を生成する。この輝度信号は、増幅回路１５５でＹＧａｉｎ倍された後、Ｄ／Ａ変換回路１５６でアナログ信号に変換されて出力される。

輝度検波部１５５は、画面上の輝度レベルを知るために、ある一定期間、例えば１フィールド期間（または、１フレーム期間）におけるＣＣＤイメージセンサ１２の対処エリアの輝度信号を積算（検波）し、その積算結果（積算輝度値）をマイクロコンピュータ１６に渡す。

マイクロコンピュータ１６は、フィールド（または、フレーム）ごとに輝度検波部１５７から積算輝度値を受け取り、当該積算輝度値が制御目標値（ＡＥリファレンス）に近づくようにデバイスを制御するＡＥ制御を始め、システム全体の制御を行う。

ＡＥ制御における制御対象のデバイスとしては、レンズ１１の絞り、アナログフロントエンド１４におけるＡＧＣゲイン、ＣＣＤイメージセンサ１２の電子シャッタ動作時のシャッタスピードが代表的なものとして挙げられるが、これらに限られるものではない。ＡＥ制御の詳細については後述する。

ＲＯＭ１７には、マイクロコンピュータ１６による制御の下にシステム全体を制御するためのプログラムが格納される。ＲＡＭ１８には、マイクロコンピュータ１６がＲＯＭ１７に格納されているプログラムに基づいて制御を行う際に用いる各種のデータや、各種の処理の結果得られるデータなどが一時的に格納される。

動き検出装置２０は、本発明に係る動き検出装置であり、映像信号（例えば、輝度データ）と、マイクロコンピュータ１６による制御の下に本撮像装置の特性制御によって決定される制御情報、例えばＡＥ制御で得られるＡＥ情報とに基づいて被写体の動きを検出する。この動き検出装置２０の具体的な構成および動作の詳細については後述する。

（ＡＥ制御）
一般的なＡＥ制御の制御フローを図２に、当該ＡＥ制御における信号の流れを図３に示す。このＡＥ制御は、先述したように、マイクロコンピュータ１６による制御の下に実行される。

図２のフローチャートにおいて、先ず、ＡＥ制御のための初期化処理を行い（ステップＳ１１）、次いで、フィールド（ＦＬＤ）ごとに実行する初期化処理を行い（ステップＳ１２）、次いで、制御対象のデバイスのスケールリミッタを作成して、ＡＥスケールにデバイススケールを割り振る（ステップＳ１３）。

次に、輝度検出部１５７で検出された積算輝度値Ｘｆを用いて、１画素当たりの輝度積分平均値を算出し（ステップＳ１４）、次いで、ＡＥリファレンス値（ＡＥ制御の目標値）Ｘｒｅｆに対する制御エラー量Ｅ（ｘｆ）を求める（ステップＳ１５）。制御エラー量Ｅ（ｘｆ）は、次式（２）に示すように、積算輝度値ＸｆとＡＥリファレンス値Ｘｒｅｆとの関数で表される。
Ｅ（ｘｆ）＝２ⁿ ｌｏｇ₂ （Ｘｆ² ／Ｘｒｅｆ₂ ） ……（２）

次に、次式（３）により今回のＡＥスケールＳｎを算出する（ステップＳ１６）。
Ｓｎ＝（１−α）Ｓｎ−１＋αＥ（ｘｆ） ……（３）
ここで、αは先述した式（１）における時定数であり、０≦α≦１である。すなわち、ＡＥリファレンス値からの乖離量、即ち制御エラー量Ｅ（ｘｆ）に時定数αを掛け算することにより、ＡＥスケールＳｎを算出することができる。

次に、ＡＥ制御の動作状態を算出し（ステップＳ１７）、次いで、ＡＥスケールＳｎに割り振られたデバイススケールから各制御対象デバイス、例えば絞り、ＡＧＣゲイン、シャッタスピードの制御量を算出し（ステップＳ１８）、次いで、各デバイススケールから各デバイスの制御量を求める（ステップＳ１９）。上述したステップＳ１２〜Ｓ１９の処理をステップＳ２０でＡＥ制御がオフと判断するまで繰り返して実行する。

図４に、ＡＥスケールと制御対象デバイスの制御量との関係を示す。図４において、各線の変化点はあらかじめ設定しておく。また、ＡＥスケール値の１つの値に対して、制御対象デバイスが１つになるように設定する。

このようなＡＥ制御が行われる撮像装置においては、画面内に動きがないにもかかわらず、ＡＥ制御起因で画面内の輝度が変化することがある。このとき、輝度差情報だけを用いて動き検出を行うと、先述したように、被写体の実際の動きによる輝度変化でないにもかかわらず、被写体の動きであるとする誤検出が発生する。

［動き検出装置］
そこで、本発明に係る動き検出装置２０は、輝度差情報だけではなく、マイクロコンピュータ１６による制御の下での撮像装置の特性制御によって決定される制御情報をも用いて被写体の動き検出を行うことを特徴としている。具体的には、動き検出の検出パラメータ、例えば検出閾値を上記制御によって決定される制御情報に応じて動的に制御する。

マイクロコンピュータ１６での制御によって決定される制御情報としては、例えば、輝度を制御するＡＥ制御で得られるＡＥ情報を用いる。ただし、ＡＥ情報に限られるものではなく、色を制御するＡＷＢ（オートホワイトバランス）制御で得られるＡＷＢ情報や、ＡＦ（オートフォーカス）制御で得られるＡＦ情報などを用いることも可能である。

上述したように、被写体の動き検出のための情報として、輝度差情報だけではなく、撮像装置の特性制御によって決定される制御情報をも用い、当該制御情報に応じて動き検出の検出パラメータを動的に制御することにより、エッジ検出装置のような特別な回路を用いなくても、簡単な回路構成にて、撮像装置の特性制御に起因して画面内の輝度が変化することがあったとしても、その輝度変化が被写体の実際の動きによるものか、撮像装置の特性制御起因によるものかを弁別しつつ動き検出を行うことができるために、被写体の実際の動きによる輝度変化でないにもかかわらず、被写体の動きであるとする誤検出を無くすことができる。

一例として、室内での動き検出のための撮影を例に挙げると、例えば窓のブラインドを開けるとき、ブラインドに動き生じることから、そのブラインドが動いたことを検出することになるが、開いたブラインドを通して外光が室内に入ることによって画面全体の輝度レベルに変化が生じる。このとき、ＡＥ制御が行われることによって画面全体に輝度変化が発生する。

このように、撮像装置の特性制御、例えばＡＥ制御に起因して画面全体に輝度変化が発生した際に、輝度差情報だけを用いて動き検出を行う従来の手法では、ブラインドの動きだけでなく、ＡＥ制御起因による輝度変化も画面内の動きとして検出してしまう誤検出が発生する場合がある。これに対して、本発明の手法では、撮像装置の特性制御情報に応じて動き検出の検出閾値を動的に制御することで、輝度変化が被写体の実際の動きによるものか、特性制御起因によるものかを弁別しつつ動き検出を行うことができるために、特性制御起因による輝度変化に対する誤検出を回避することができる。

続いて、本発明に係る動き検出装置２０の具体的な実施例について、図５および図６を用いて説明する。以下では、マイクロコンピュータ１６での制御によって決定される制御情報として、例えば、輝度を制御するＡＥ制御で得られるＡＥ情報を用いる場合を例に挙げて説明するが、ＡＥ情報に限られるものではなく、色を制御するＡＷＢ（オートホワイトバランス）制御で得られるＡＷＢ情報を用いることも可能である。

（実施例１）
図５は、フレーム間差分方式に適用された実施例１に係る動き検出装置２０Ａを示すブロック図である。

本実施例１に係る動き検出装置２０Ａは、フレームメモリ２０１および閾値差分処理部２０２を有し、当該閾値差分処理部２０２で入力映像信号とフレームメモリ２０１で１フレーム遅延された入力映像信号とからフレーム間の輝度差を得て、当該輝度差をあらかじめ設定した検出閾値と比較することで動きの有無を検知する。

加えて、本実施例１に係る動き検出装置２０Ａは、ＡＥ情報を入力とする制御部２０３を有し、当該制御部２０３による制御の下に、閾値差分処理部２０２での動き検出の検出パラメータ、例えば検出閾値をＡＥ情報に応じて動的に変更する。

上記構成の実施例１に係る動き検出装置２０Ａにおいて、ＡＥ制御の処理によって得られる制御エラー量Ｅ（ｘｆ）、即ちＡＥ制御の目標値との乖離量が大きい場合は、これから入力される画素の値がデバイスの制御によって大きくかわることを意味している。そこで、図７に示すように、制御エラー量Ｅ（ｘｆ）を横軸、動き検出の検出閾値を縦軸としたテーブルをあらかじめ設定しておく。図７に示すように、増加関数のテーブルで設定した方が良いことを、本願発明者は実験により確認している。

このように、被写体の動き検出のための情報として、輝度差情報だけではなく、撮像装置の特性制御、例えばＡＥ制御によって決定されるＡＥ情報をも用い、当該ＡＥ情報に応じて動き検出の検出パラメータを動的に制御することにより、ＡＥ制御に起因して画面内の輝度が変化することがあったとしても、その輝度変化が被写体の実際の動きによるものか、ＡＥ制御起因によるものかを弁別しつつ動き検出を行うことができるために、被写体の実際の動きによる輝度変化でないにもかかわらず、被写体の動きであるとする誤検出を無くすことができる。

（実施例２）
図６は、背景差分方式に適用された実施例２に係る動き検出装置２０Ｂを示すブロック図である。

本実施例２に係る動き検出装置２０Ｂは、背景モデル作成器２１１、フレームメモリ２１２および閾値差分処理部２１３を有し、背景モデル作成器２１１で先述した式（１）の演算により入力映像信号から背景画像を作成するとともに、閾値差分処理部２１３で入力映像信号とフレームメモリ２１２で１フレーム遅延された背景モデルとの輝度差をとり、当該輝度差をあらかじめ設定した検出閾値と比較することで動きの有無を検知する。

加えて、本実施例２に係る動き検出装置２０Ｂは、ＡＥ情報を入力とする制御部２１４を有し、当該制御部２１４による制御の下に、動き検出の検出パラメータ、例えば閾値差分処理部２１３の検出閾値および式（１）における時定数αをＡＥ情報に応じて動的に変更する。この時定数αは、背景モデル（背景画像）を構築するための学習係数である。

ここで、式（１）について考える。式（１）は時間ｔにおける背景モデルＢ（ｍ，ｎ，ｔ）を表しており、その意味することは、時定数αの値が大きければ大きいほど今回の入力画像Ｉ（ｍ，ｎ，ｔ）の重みが大きく、時定数αの値が０に近づけば近づくほど過去の画像（ｍ，ｎ，ｔ−１）を信用するという式である。

したがって、ＡＥ制御が行われず、画面全体が同じ輝度値であるときは、背景モデルを作成する上で時定数αの値ができるだけ小さい方が安定する。一方、ＡＥ制御が行われ、画面内の輝度値が変化したにもかかわらず、過去の情報を持ち続けるということは、背景モデルを作成する上で好ましくない。

この観点から、本実施例２に係る動き検出装置２０Ｂにおいては、図８に示すように、制御エラー量Ｅ（ｘｆ）を横軸、モデル更新の時定数αを縦軸としたテーブルをあらかじめ設定しておく。そして、実施例１に係る動き検出装置２０Ａの場合と同様に、ＡＥ制御の処理によって得られる制御エラー量Ｅ（ｘｆ）が大きい場合は、図７に示すように、あらかじめ設定したテーブルから得られる検出閾値に変更することに加えて、図８に示すように、あらかじめ設定したテーブルから得られる時定数αに変更する。

具体的には、ＡＥ制御による輝度変化が大きくなればなるほど、背景モデル作成に与える過去画像Ｂ（ｍ，ｎ，ｔ−１）の寄与度を下げるように時定数αを制御する。これは、信用できない過去の情報を捨てることを意味する。その結果、精度の良い背景モデルを作成することができる。

このように、被写体の動き検出のための情報として、輝度差情報だけではなく、撮像装置の特性制御、例えばＡＥ制御によって決定されるＡＥ情報をも用い、動き検出の検出パラメータ、例えば背景モデルを構築するための学習係数（時定数α）をＡＥ情報に応じて動的に制御することにより、ＡＥ制御に起因して画面内の輝度が変化することがあったとしても、精度の良い背景モデルを作成できることで、輝度変化が被写体の実際の動きによるものか、ＡＥ制御起因によるものかを弁別しつつ動き検出を行うことができるために、被写体の実際の動きによる輝度変化でないにもかかわらず、被写体の動きであるとする誤検出を無くすことができる。

なお、本実施例２では、ＡＥ情報に応じて動き検出の検出閾値と背景モデル作成の時定数αの両方を動的に制御するとしたが、少なくとも一方のみを制御する構成を採ることも可能である。特に、時定数αのみを制御する構成を採ることで、背景モデル作成の時定数α精度の良い背景モデルを作成できるために、ＡＥ制御に起因して画面内の輝度が変化したときの動き検出の検出精度を上げることができる。ただし、検出閾値と時定数αの両方を制御する構成を採った方が、動き検出の検出精度をより確実に上げることができる。

（撮影環境における照度の変化に伴う問題点）
ところで、昼夜を通して撮影しつつ動き検出を行う場合、夜間など画面内の信号レベルが全体的に小さくなったときに、動き検出を行えないことがある。図９に、（Ａ）通常の十分な照度状態にあるときと、（Ｂ）低照度状態にあるときの比較例を示している。

また、図９において、（１）は室内の照明がオン（輝度レベル：大）／オフ（輝度レベル：小）のときのシーン例を、（２）はモデルが動いたときの例を、（３）は（２）のモデルが動いたときの破線ラインにおける輝度差分例をそれぞれ示している。

通常の照度状態（Ａ）にあるときは、十分な輝度レベルに達しているために、動体領域と静止領域に十分な輝度差がある。反対に、低照度状態（Ｂ）にあるときは、もともと輝度レベルが小さいために、動体領域と静止領域との間には輝度差が発生しずらくなる。

図１０に、それぞれのシーンにおいて動体検出を行う際に最適な検出閾値の例を示す。シーン（Ａ）における最適な閾値をシーン（Ｂ）に適用した場合、動体の動きを検出することができない。これは、動き検出装置を用いた監視システムでは失報となる。また、シーン（Ｂ）における最適な閾値をシーン（Ａ）に適用した場合、静止領域も動きと検出する。これは、動き検出装置を用いた監視システムでは誤報となる。

このような撮影環境における照度の変化に対しては、時刻情報から撮影環境の照度を推測し、この推測した照度に応じて動き検出の検出閾値を制御する方策が考えられる。この方策は、例えば、時刻に応じて規則的に照明が落ちるような室内を監視する場合には一定の効果を発揮するが、屋外の監視などにおいては、時刻と照度は常に一定とは限らない。例えば、地球の公転と地軸の傾きから日照時間は日々変化するために、失報、誤報を発生することがある。

（実施例３）
実施例３では、マイクロコンピュータ１６による制御の下での撮像装置の特性制御によって決定される制御情報、例えばＡＥ情報に応じて動き検出の検出閾値を制御することにより、撮影環境における照度の変化に伴う問題点を解決することを特徴としている。

ＡＥ情報に応じて動き検出の検出閾値を制御するという点では、構成上、例えば図５の実施例１に係る動き検出装置２０Ａと同じであるが、制御部２０３における具体的な制御の点で実施例１に係る動き検出装置２０Ａと異なっている。

先述したように、ＡＥ制御においては、図２のステップＳ１５の処理において、ＡＥリファレンス値からの乖離量、即ち制御エラー量Ｅ（ｘｆ）に時定数αを掛け算することによって算出したＡＥスケールＳｎから制御対象とするデバイスとその制御量を決定する制御が行われる。ＡＥスケールＳｎと制御対象デバイスおよびデバイス制御量との対応テーブルを図１１に示す。

具体的には、画面内の輝度レベル（１画素あたりの輝度積算値）が目標値（ＡＥリファレンス値）よりも大きい（明るい）ときは絞りを閉じ（搾り）、シャッタスピードを早くすることで、受光する光量を減らすように制御する。逆に、画面内の輝度レベルが目標値よりも小さい（暗い）ときは絞りを開き、シャッタスピードを遅くすることで、受光する光量を増やすように制御する。

シャッタスピードをどこまでも遅くすれば光量を理論上増やすことができるが、ビデオカメラの場合フォーマットによってシャッタスピードに制限がある。例えば、ＮＴＳＣ方式の場合は１／３０［秒］であり、ＰＡＬ方式の場合は１／２５［秒］である。

この制限を上回った場合（図１１においてＡＥスケール＜ＡＥＳ＿１の状態）、シャッタスピードは下限に固定し、ＡＧＣゲインを上げることで輝度レベルの向上を図る。ただし、この場合Ｓ／Ｎが低下し、画質が乱れるというデメリットがあるためにＡＧＣゲインについては最後に制御するのが一般的である。

このように、ＡＧＣゲインを上げればＳ／Ｎが低下するために、画質に与える影響を校了してＡＧＣのゲイン量にはあらかじめ上限を設けている。図１１において、ＡＥスケール＜ＡＥＳ＿０の場合である。

このような場合においては、画面内の輝度レベルは目標値に対して小さいが、上限を超えてしまっているためにそれ以上の輝度にはならない。図９のシーン（Ｂ）に示す状態はこのＡＧＣゲイン値が最大値ＡＧＣ＿ＭＡＸに張り付いた状態である。

これを利用すれば、ＡＧＣゲイン値から画面全体の信号量を推測することができる。そして、図１２に示すように、ＡＧＣゲイン量（ＡＧＣゲインの制御量）を横軸に、動き検出の検出閾値を縦軸としたテーブルをあらかじめ設定しておき、当該テーブルを参照してＡＧＣゲイン値に応じて動き検出の検出閾値を動的に制御する。

このように、撮像装置の特性制御情報、例えばＡＥ情報から得られるＡＧＣゲイン値に応じて動き検出の検出閾値を動的に制御し、当該検出閾値を撮影環境における照度に応じた最適値に設定することにより、夜間や照明が消された室内などの低照度の撮影環境において、画面内の信号レベルが全体的に小さくなったときでも、動き検出の検出感度を向上できるために、安定した検出動作を行うことができる。

（制御例）
ここで、実施例１または実施例２に係る検出閾値の制御と、実施例３に係る検出閾値の制御とを併用する場合には、両制御を排他的に実行した方が良い。その制御例について、図１３のフローチャートを用いて説明する。

先ず、ＡＥが安定状態にあるか否か、即ちＡＥが収束状態にあるか否かを判断する（ステップＳ２１）。ＡＥが収束状態にあるか否かの判定については後述する。ＡＥが安定状態に無いとき、即ちＡＥ制御によってこれから画面内に輝度変化が発生するときは、図２のステップＳ１５で求めた制御エラー量Ｅ（ｘｆ）に応じて動き検出の検出閾値を制御し（ステップＳ２２）、次いで、制御エラー量Ｅ（ｘｆ）に応じて背景モデル更新の時定数αを制御する（ステップＳ２３）。

ここでは、実施例２に係る動き検出装置２０Ｂにおける検出閾値および時定数αの制御の場合を例に挙げてその手順について述べたが、実施例１に係る動き検出装置２０Ａにおける検出閾値の制御の場合には、図１３のステップＳ２３の処理を省略すれば良いことになる。

一方、ステップＳ２１において、ＡＥが安定状態にあると判定したときは、画面全体の輝度値が安定しており、画面内に輝度の変化がない場合である。この場合は、図２のステップＳ１５で算出したＡＥスケールＳｎから図１１のテーブルを基にＡＧＣゲイン値を求め、このＡＧＣゲイン値に応じて動き検出の検出閾値を制御する、具体的にはＡＧＣゲイン値から図１２のテーブルを基に動き検出の検出閾値を変更する（ステップＳ２４）。

（収束判定アルゴリズム）
図１４は、ＡＥが収束状態にあるか否かを判定するアルゴリズムを示すフローチャートである。

先ず、ＡＥ制御の処理によって得られる制御エラー量Ｅ（ｘｆ）が閾値Ｔｈ＿Ｅｒｒよりも大きいか否か、即ちＡＥ制御による輝度変化が想定されるか否かを判断し（ステップＳ３１）、制御エラー量Ｅ（ｘｆ）が閾値Ｔｈ＿Ｅｒｒよりも大きい場合は、ＡＧＣゲイン値が最大値ＡＧＣ＿ＭＡＸに張り付いているか否かを判断する（ステップＳ３２）。このステップＳ３２での判断は、図１１のＡＥスケール＜ＡＥＳ＿０の判断である。

そして、ステップＳ３２の判断において、ＡＧＣゲイン値＝ＡＧＣ＿ＭＡＸであればＡＥ＿ＳＴＳ＝０を、ＡＧＣゲイン値＜ＡＧＣ＿ＭＡＸであればＡＥ＿ＳＴＳ＝１を、ステップＳ３１の判断において、Ｅ（ｘｆ）≦Ｔｈ＿ＥｒｒであればＡＥ＿ＳＴＳ＝０を、それぞれ輝度変化が発生するか否かの判定結果として、図１３の動き検出のアルゴリズムに渡す。ここで、ＡＥ＿ＳＴＳ＝０は、ＡＥが収束中であり、画面内に輝度変化なしを表し、ＡＥ＿ＳＴＳ＝１は、ＡＥが動作中であり、画面内に輝度変化ありを表している。

そして、図１３の動き検出のアルゴリズムでは、ステップＳ２１の判断処理において、図１４の収束判定アルゴリズムからＡＥ＿ＳＴＳ＝１を受けたときは、ＡＥが安定状態にないと判断してＡＥ情報に応じた検出閾値および時定数αの制御を実行し、ＡＥ＿ＳＴＳ＝０を受けたときは、ＡＥが安定状態にあると判断してＡＧＣゲイン値に応じた検出閾値の制御を実行する。

［監視システム］
図１５は、第１実施形態に係る動き検出装置２０を有する撮像装置を監視カメラとして用いた監視システムの構成例を示すシステム構成図である。図１５に示すように、本監視システムは、第１実施形態に係る動き検出装置２０を有する撮像装置３０と、記録制御装置４１などを有する映像記録装置４０とから構成されている。

記録制御装置４１は、撮像装置３０内に設けられた動き検出装置２０から動き情報が与えられると、当該動き情報をトリガーとして、監視者に対して動きアラーム信号を発生する制御を行ったり、撮像装置３０内のカメラ信号処理回路（図１のカメラ信号処理回路１５に相当）から出力される映像信号を記録メディア４２に記録する制御を行ったりする。

このように、不審者などの監視を行う監視システムにおいて、第１実施形態に係る動き検出装置２０を有する、特に内蔵する撮像装置３０を監視カメラとして用いることで、当該動き検出装置２０が実施例１または実施例２に係る動き検出装置の場合には、画面上に撮像装置の特性制御に起因する輝度変化があったとしても、その輝度変化が被写体の実際の動きによるものか、特性制御起因によるものかを弁別しつつ動き検出を行うことで、誤検出を無くすことができるために、誤報を無くすことができる。

また、動き検出装置２０として実施例３に係る動き検出装置を用いた場合には、夜間や照明が消された室内などの低照度の撮影環境において、画面内の信号レベルが全体的に小さくなったときでも、動き検出の検出感度を向上し、安定した検出動作を行うことができるために、失報をなくすことができる。

《第２実施形態》
ところで、監視システムにおいて、動き検出装置を撮像装置側ではなく、映像記録装置側に内蔵した構成（従来型）を採った場合、撮像装置から出力される映像信号しか、映像を解析するための情報、即ち画面内の動きを検出するための情報が無いために、撮像装置が持つ電子ズーム機能によって拡大処理を行った場合、映像記録装置内蔵の動き検出装置は、撮像装置から出力される拡大された映像領域（表示エリア）内の動きしか検出することができない。

具体的には、図１６において、領域５１を拡大し、表示または記録しているときを考えると、領域５１内に存在する動体５２の動きについては検出できるものの、撮像素子には撮像されているが、拡大された表示エリア５４には映っていない動体５３の動きを検出することができない。

この点に鑑み、拡大処理が行われた場合であっても、撮像素子による撮像エリア全体に対して動き検出を可能にしたのが、以下に説明する本発明の第２実施形態に係る撮像装置である。

図１７は、本発明の第２実施形態に係る撮像装置の構成の一例を示すシステム構成図であり、図中、図１と同等部分には同一符号を付して示している。なお、ここでは、カメラ信号処理回路については、図面の簡略化のために、図１のクロマ信号処理回路１５２を省略し、輝度信号処理回路１５４の一部の構成のみを示している。

本実施形態に係る撮像装置は、ＣＣＤイメージセンサ１２で撮像した撮像領域内の一部の画像を電子的に拡大処理する電子ズーム機能を備えている。この電子ズーム機能については、輝度信号処理回路１５４において、電子ズーム制御部１５４１による制御の下に、入力される映像信号をメモリ・コントローラ１５４２を介してフレームメモリ１５４３に格納した上で、当該フレームメモリ１５４３から任意の領域を切り出し、補間処理を行うことによって実現される。このとき、ズーム位置やズーム倍率については、これらの情報がユーザによってマイクロコンピュータ１６に与えられ、当該マイクロコンピュータ１６から電子ズーム制御部１５４１に与えられる。

このように、電子ズーム機能を有する撮像装置において、本実施形態では、動き検出装置２０を撮像装置内に内蔵するとともに、当該動き検出装置２０の前段にセレクタ６０を設けた構成を採っている。なお、動き検出装置２０としては、先述した実施例１〜３に係る動き検出装置を用いることができるが、これに限られるものではない。

セレクタ６０は、電子ズーム制御部１５４１に入力される映像信号と当該電子ズーム制御部１５４１から出力される映像信号とを入力とし、マイクロコンピュータ１６による制御の下に、いずれかの映像信号を選択して動き検出装置２０に供給する。

ここで、電子ズーム制御部１５４１が拡大処理を行わないときは、電子ズーム制御部１５４１の入力信号と出力信号とは基本的に同じ映像信号である。一方、電子ズーム制御部１５４１が拡大処理を行うときは、電子ズーム制御部１５４１の入力信号は拡大前の映像信号、即ちＣＣＤイメージセンサ１２で撮像した撮像領域の映像信号であるのに対して、電子ズーム制御部１５４１の出力信号は拡大処理後の映像信号である。

マイクロコンピュータ１６は、自動的に、あるいはユーザによる指示の下に、電子ズーム制御部１５４１が拡大処理を行うときは当該電子ズーム制御部１５４１に入力される映像信号を、電子ズーム制御部１５４１が拡大処理を行わないときは当該電子ズーム制御部１５４１から出力される映像信号をそれぞれ選択して動き検出装置２０に供給するようにセレクタ６０を制御する。

上述したように、電子ズーム機能を有する撮像装置において、電子ズーム制御部１５４１による拡大処理を行うときは、電子ズーム制御部１５４１から出力される映像信号を動き検出装置２０に入力することにより、当該動き検出装置２０では拡大処理後の映像信号に基づいて動き検出を行うことができるために、図１６において、拡大された表示エリア５４には映っていない非表示エリアの動体５３の動きについても検出することができる。

これにより、図１５に示す監視システムにおいて、その監視カメラ（撮像装置３０）として本実施形態に係る撮像装置を用いることにより、電子ズーム機能によって拡大された映像信号をモニターに写し出して拡大画像を監視しているときに、当該撮像装置の動き検出装置によってモニターに表示されていない領域の動きについても検出し、動きがあったときには監視者に対して警告を発することができるために、監視者の負荷を軽減できるとともに、より確実な監視を行うことができる。

本発明の第１実施形態に係る撮像装置の構成の一例を示すシステム構成図である。 一般的なＡＥ制御の制御フローを示すフローチャートである。 一般的なＡＥ制御における信号の流れを示す図である。 ＡＥスケールと制御対象デバイスの制御量との関係を示す図である。 実施例１に係る動き検出装置を示すブロック図である。 実施例２に係る動き検出装置２０Ａを示すブロック図である。 制御エラー量−検出閾値のテーブルを示す図である。 制御エラー量−モデル更新時定数のテーブルを示す図である。 通常の十分な照度状態にあるとき（Ａ）と、低照度状態にあるとき（Ｂ）の比較例を示す図である。 通常の照度状態（Ａ）と低照度状態（Ｂ）のそれぞれのシーンにおいて動体検出を行う際に最適な検出閾値の例を示す図である。 ＡＥスケールＳｎと制御対象デバイスおよびデバイス制御量との対応テーブルを示す図である。 ＡＧＣゲイン量−検出閾値のテーブルを示す図である。 実施例２に係る検出閾値の制御と、実施例３に係る検出閾値の制御とを併用する場合の制御例の手順を示すフローチャートである。 ＡＥが収束状態にあるか否かを判定するアルゴリズムを示すフローチャートである。 第１実施形態に係る動き検出装置２０を有する撮像装置を監視カメラとして用いた監視システムの構成例を示すシステム構成図である。 撮像エリアと動き検出可能エリアとの関係を説明する図である。 本発明の第２実施形態に係る撮像装置の構成の一例を示すシステム構成図である。

符号の説明

１１…レンズ、１２…ＣＣＤイメージセンサ、１３…タイミングジェネレータ、１４…アナログフロントエンド部、１５…カメラ信号処理回路、１６…マイクロコンピュータ、２０，２０Ａ，２０Ｂ…動き検出装置、３０…撮像装置、４０…映像記録装置、４１…家禄制御装置、４２…記録メディア、６０…セレクタ

Claims (12)

1. 撮像素子から出力される映像信号から輝度差情報を得て当該輝度差情報を動き検出の検出パラメータと比較することによって動きの有無の判断処理を行う処理部と、
   前記撮像素子を含む撮像装置の特性制御によって決定される制御情報に応じて前記検出パラメータを制御する制御部と
   を備えたことを特徴とする動き検出装置。
2. 前記制御情報は、前記撮像素子による撮像画面内の輝度レベルに応じて前記撮像装置の露出を制御する自動露出制御によって決定される情報である
   ことを特徴とする請求項１記載の動き検出装置。
3. 前記制御情報は、前記撮像素子による撮像画面内の輝度レベルに応じて前記映像信号のゲインを制御する自動利得制御によって決定される情報である
   ことを特徴とする請求項１記載の動き検出装置。
4. 前記処理部は、前記映像信号と当該映像信号を１フレーム遅延した映像信号とのフレーム間の輝度差を得て当該輝度差を動き検出の検出閾値と比較する処理を行い、
   前記制御部は、前記制御情報に応じて前記検出閾値を制御する
   ことを特徴とする請求項１記載の動き検出装置。
5. 前記処理部は、前記映像信号から演算により背景画像を作成し、前記映像信号と前記背景画像との輝度差を得て当該輝度差を動き検出の検出閾値と比較する処理を行い、
   前記制御部は、前記制御情報に応じて前記検出閾値および前記背景画像を構築するための学習係数の少なくとも一方を制御する
   ことを特徴とする請求項１記載の動き検出装置。
6. 撮像素子から出力される映像信号から輝度差情報を得て当該輝度差情報を動き検出の検出パラメータと比較することによって動きの有無の判断処理を行う処理ステップと、
   前記撮像素子を含む撮像装置の特性制御によって決定される制御情報に応じて前記検出パラメータを制御する制御ステップと
   を有することを特徴とする動き検出方法。
7. 前記撮像装置の特性制御が安定状態にあるか否かを判断する判断ステップを有し、
   前記制御ステップでは、
   前記判断ステップで安定状態にないと判断されたときは、前記撮像素子による撮像画面内の輝度レベルに応じて前記撮像装置の露出を制御する自動露出制御によって決定される制御情報に応じて前記検出パラメータを制御し、
   前記判断ステップで安定状態にあると判断されたときは、前記撮像素子による撮像画面内の輝度レベルに応じて前記映像信号のゲインを制御する自動利得制御によって決定される制御情報に応じて前記検出パラメータを制御する
   を有することを特徴とする請求項７記載の動き検出方法。
8. 撮像素子と、
   前記撮像素子から出力される映像信号を基に被写体の動きの有無を検出する動き検出装置とを備え、
   前記動き検出装置は、
   前記から輝度差情報を得て当該輝度差情報を動き検出の検出パラメータと比較することによって動きの有無の判断処理を行う処理部と、
   前記撮像素子を含む撮像装置の特性制御によって決定される制御情報に応じて前記検出パラメータを制御する制御部とを有する
   ことを特徴とする撮像装置。
9. 撮像素子と、
   前記撮像素子から出力される映像信号を基に被写体の動きの有無を検出する動き検出装置とを備え、
   前記動き検出装置から出力される動き情報を基に前記撮像素子による撮像エリア内の被写体の動きを監視する監視システムであって、
   前記動き検出装置は、
   前記から輝度差情報を得て当該輝度差情報を動き検出の検出パラメータと比較することによって動きの有無の判断処理を行う処理部と、
   前記撮像素子を含む撮像装置の特性制御によって決定される制御情報に応じて前記検出パラメータを制御する制御部とを有する
   ことを特徴とする監視システム。
10. 撮像素子と、
    前記撮像素子から出力される映像信号に対して画像の一部を拡大する処理を行う拡大処理部と、
    前記拡大処理部に入力される前の前記映像信号を基に被写体の動きの有無を検出する動き検出装置と
    を備えたことを特徴とする撮像装置。
11. 撮像素子と、
    前記撮像素子から出力される映像信号に対して画像の一部を拡大する処理を行う拡大処理部とを備えた撮像装置における動き検出方法であって、
    前記拡大処理部に入力される前の前記映像信号を基に被写体の動きの有無を検出する
    ことを特徴とする動き検出方法。
12. 撮像素子と、
    前記撮像素子から出力される映像信号を基に被写体の動きの有無を検出する動き検出装置とを備え、
    前記動き検出装置から出力される動き情報を基に前記撮像素子による撮像エリア内の被写体の動きを監視する監視システムであって、
    前記動き検出装置は、前記拡大処理部に入力される前の前記映像信号を基に被写体の動きの有無を検出する
    ことを特徴とする監視システム。