JP6246508B2 - 動体画像抽出方法及び動体画像抽出装置 - Google Patents

Description

この発明は、公共交通機関、交差点又は建造物などに設置された監視カメラで撮像された監視カメラ映像データに含まれる動体を効率的に検出し、動体の画像データを抽出することができる動体画像抽出方法及び動体画像抽出装置に関する。

従来、公共交通機関、交差点又は建造物などに監視カメラを設置し、この監視カメラで撮像された画像に含まれる人物や車両等の動体を検出する技術が知られている。例えば、特許文献１には、あらかじめ正常時の背景画像を撮像しておき、この背景画像と入力画像の画素ごとの差分が所定の閾値を超える場合に、異常が発生したものと判定する技術が開示されている。このため、この特許文献１に係る技術を動体検知に適用すると、あらかじめ動体が存在しない背景画像を事前に登録しておき、監視カメラで撮像された入力画像と背景画像の差分となる画素の画素値が所定の閾値を超えている場合に、かかる差分を動体として抽出することができる。

ところが、上記特許文献１のものは、撮像環境の照明状況等が不変である場合には有効であるが、撮像環境が時々刻々と変化する場合には適用することが難しい。時刻、天候、季節などの撮像環境ごとにそれぞれ背景画像を準備せねばならなくなるからである。このため、撮像環境の変動に追従して背景画像を更新する技術が知られている。

例えば、特許文献２には、上記特許文献１と同様に背景画像を準備しておき、入力画像と背景画像の画素ごとの差分を求め、この差分が所定の閾値を超えている場合に、かかる差分を動体として抽出するとともに、所定の条件を満たす場合に背景画像を随時更新する技術が開示されている。

特開２００５−１４３０５２号公報 特開平８−６３６８３号公報 特開２００９−１０６３６号公報

しかしながら、かかる特許文献２を用いた場合には、撮像環境が変化する度に所定の閾値を更新しなければならないため、適切な閾値を設定するために多大の人的労力が必要になるという問題がある。

この点について具体的に説明すると、例えば、昼間の時間帯では明暗のコントラストの差が大きいために、かかるコントラストの差を考慮して閾値が設定される反面で、夜間の時間帯では明暗のコントラストの差が小さいため、昼間と同様の閾値を用いたのでは誤検出を招く可能性が高い。このため、昼間と夜間で同じ閾値を利用することはできず、撮像環境に応じて閾値を変更する必要がある。適切な閾値を設定しなければ、入力画像と背景画像との微細な輝度の差を動体と誤判定したり、動体の影部分を動体の一部と誤判定してしまう状況が生ずるのである。

なお、従来のコントラスト強調技術（例えば、Retinex理論に基づく補正技術や特許文献３に記載される技術）を用いて、昼間と夜間のコントラストを同程度に補正して共通の閾値を利用する方策も考えられるが、コントラストの補正に伴って通常はノイズが増幅されることから、増幅されたノイズの影響で動体の誤検出や検出漏れの問題が発生する可能性があり望ましくない。

本発明は、上述した従来技術の課題を解消するためのものであって、撮像環境が変化しても人的労力を要することなく適切な閾値を設定し、もって動体画像を効率的に抽出することができる動体画像抽出方法及び動体画像抽出装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出方法であって、前記動体による影響が排除された背景画像を取得するとともに、該背景画像の画素ごとに輝度値と輝度値のバラツキの程度を示す変動係数を生成する背景画像取得ステップと、前記背景画像取得ステップにより取得された前記背景画像と前記撮像画像との画素ごとの輝度差分値を算出し、算出された輝度差分値と前記変動係数とを比較して、前記背景画像と前記撮像画像との差分である差分画像に前記撮像画像の画素を採用するか否かを決定しつつ、差分画像を生成する差分画像生成ステップと、前記背景画像と前記撮像画像から前記背景画像を更新する背景画像更新ステップと、前記差分画像生成ステップにより生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出ステップと、前記動体候補抽出ステップにより複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込ステップとを含んだことを特徴とする。

また、本発明は、上記発明において、前記背景画像取得ステップは、撮像タイミングの異なる複数の撮像画像について、同一の位置に対応する画素ごとに前記複数の撮像画像の輝度値の分布を分析して、輝度値の分布に対して特異な値を示す輝度値を除外して、除外されずに残った輝度値を使用して背景画像の画素の輝度値を算出することを特徴とする。

また、本発明は、自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出方法であって、前記動体による影響が排除された背景画像を取得する背景画像取得ステップと、前記背景画像取得ステップにより取得された前記背景画像と前記撮像画像との差分画像を生成する差分画像生成ステップと、前記撮像画像と当該撮像画像の直前に撮像された撮像画像である直前撮像画像との画素ごとの差分である輝度差分値を算出し、前記輝度差分値が所定値以上の画素の画像全体における分布を評価し、前記輝度差分値並びに前記輝度差分値が所定値以上の画素の画像全体における分布の評価結果に応じて、前記撮像画像の前記背景画像への画素ごとの反映比率を算出する反映比率算出ステップと、前記反映比率算出ステップで算出された画素ごとの前記反映比率を使用して、画素ごとに前記撮像画像と前記背景画像とを前記反映比率と（１−前記反映比率）とで加重平均することにより更新後の前記背景画像を生成する背景画像更新ステップと、前記差分画像生成ステップにより生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出ステップと、前記動体候補抽出ステップにより複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込ステップとを含んだことを特徴とする。

また、本発明は、上記発明において、前記撮像画像と前記背景画像とを比較して撮像装置のゆれを補正するゆれ補正ステップをさらに含み、前記差分画像生成ステップは、前記ゆれ補正ステップにより補正した補正撮像画像と前記背景画像との差分である差分画像を生成することを特徴とする。

また、本発明は、上記発明において、前記撮像画像に対して前記差分画像の抽出対象外とするマスク領域を設定するマスク領域設定ステップをさらに含み、前記差分画像生成ステップは、前記マスク領域設定ステップで設定されたマスク領域内の画素については差分なしと判定する、あるいは前記差分画像生成ステップを実行しないことを特徴とする。

また、本発明は、上記発明において、前記差分画像生成ステップは、前記環境下においてコントラストが最も弱い状態に対応する閾値を使用して前記差分画像を生成することを特徴とする。

また、本発明は、上記発明において、前記動体候補抽出ステップは、前記差分画像生成ステップで生成された前記差分画像から、連続する対象物の画素群を１つの動体候補として抽出し、抽出した動体候補の輝度値に関係する特性を評価し、当該特性の評価結果から前記動体候補に含まれる対象物の画素が影であるか否かを判定するための影判定閾値である輝度値を決定し、当該影判定閾値である輝度値によって前記動体候補から影の除去を行うことを特徴とする。

また、本発明は、自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出方法であって、前記動体による影響が排除された背景画像を取得する背景画像取得ステップと、前記背景画像取得ステップにより取得された前記背景画像と前記撮像画像との差分画像を生成する差分画像生成ステップと、前記背景画像と前記撮像画像から前記背景画像を更新する背景画像更新ステップと、前記差分画像生成ステップにより生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出ステップと、前記動体候補抽出ステップにより複数の前記動体候補が抽出された場合に、包含関係のある動体候補をグループとして、前記グループの中であり得る動体候補の組合せをパターンとして列挙して、列挙したパターンに含まれる動体候補と時系列上で隣接する撮像画像から抽出された動体候補とを類似性に基づいて比較することにより、適切なパターンを判定することにより複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込ステップとを含んだことを特徴とする。

また、本発明は、上記発明において、前記動体候補抽出ステップは、前記差分画像生成ステップで生成された前記差分画像から、連続する対象物の画素群を１つの動体候補として一旦抽出し、別の候補として抽出された動体候補の組合せの中で、同一動体候補の可能性があると判定される複数の動体候補を融合した融合動体候補を追加して前記包含関係のある動体候補のグループとすることを特徴とする。

また、本発明は、自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出装置であって、前記動体による影響が排除された背景画像を取得するとともに、該背景画像の画素ごとに輝度値と輝度値のバラツキの程度を示す変動係数を生成する背景画像取得手段と、前記背景画像取得手段により取得された前記背景画像と前記撮像画像との画素ごとの輝度差分値を算出し、算出された輝度差分値と前記変動係数とを比較して、前記背景画像と前記撮像画像との差分である差分画像に前記撮像画像の画素を採用するか否かを決定しつつ、差分画像を生成する差分画像生成手段と、前記背景画像と前記撮像画像から前記背景画像を更新する背景画像更新手段と、前記差分画像生成手段により生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出手段と、前記動体候補抽出手段により複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込手段とを備えたことを特徴とする。
また、本発明は、自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出装置であって、前記動体による影響が排除された背景画像を取得する背景画像取得手段と、前記背景画像取得手段により取得された前記背景画像と前記撮像画像との差分画像を生成する差分画像生成手段と、前記撮像画像と当該撮像画像の直前に撮像された撮像画像である直前撮像画像との画素ごとの差分である輝度差分値を算出し、前記輝度差分値が所定値以上の画素の画像全体における分布を評価し、前記輝度差分値並びに前記輝度差分値が所定値以上の画素の画像全体における分布の評価結果に応じて、前記撮像画像の前記背景画像への画素ごとの反映比率を算出する反映比率算出手段と、前記反映比率算出手段で算出された画素ごとの前記反映比率を使用して、画素ごとに前記撮像画像と前記背景画像とを前記反映比率と（１−前記反映比率）とで加重平均することにより更新後の前記背景画像を生成する背景画像更新手段と、前記差分画像生成手段により生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出手段と、前記動体候補抽出手段により複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込手段とを備えたことを特徴とする。

本発明によれば、撮像環境が変化しても人的労力を要することなく適切な閾値を設定し、もって動体画像を効率的に抽出することができる。

図１は、本実施例に係る動体検出に係る背景画像の生成処理、更新処理及び差分検出閾値の設定処理の概要を説明するための説明図である。 図２は、本実施例に係る動体検出処理全体の処理概要を説明するための説明図である。 図３は、本実施例に係る動体画像抽出装置の内部構成を示すブロック図である。 図４は、本実施例に係る差分画像生成の概要を説明するための説明図である。 図５は、図１に示した動体画像抽出装置による差分画像生成の処理手順を示すフローチャートである。 図６は、図５に示した動体画像抽出装置による背景画像更新の処理手順を示すフローチャートである。 図７は、図２に示した動体画像抽出装置による動体候補抽出の処理手順を示すフローチャートである。 図８は、図７に示した動体融合処理の概念を説明するための説明図である。 図９は、図７に示す動体画像抽出装置による動体候補融合の処理手順を示すフローチャートである。 図１０は、図２に示す動体画像抽出装置による動体候補絞込の処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る動体画像抽出方法及び動体画像抽出装置の好適な実施例を詳細に説明する。

まず、本実施例に係る動体検出に係る背景画像の生成処理、更新処理及び差分検出閾値の設定処理の概要について説明する。図１は、本実施例に係る動体検出に係る背景画像の生成処理、更新処理及び差分検出閾値の設定処理の概要を説明するための説明図である。

公共交通機関、交差点又は建造物などに設置された監視カメラで撮像された監視対象領域の入力画像から動体を検出するために、動体の含まれない監視対象領域の画像（以下、「背景画像」と言う）と、背景画像と入力画像の差分から動体を検出する際の閾値とがあらかじめ設定される。日照等の撮像環境の変化によって画像全体の明暗やコントラストの強さが影響を受けるため、かかる背景画像と閾値は、日照等の撮像環境の変化にともなって逐次更新される。

まず、動体の検出対象となる入力画像を受け付ける前に事前に準備する初期背景画像の生成処理について説明する。図１に示すように、この初期背景画像は、例えば、あらかじめ準備した１０枚の画像（画像＃１〜画像＃１０）を用いて生成される。かかる画像＃１〜画像＃１０は、日照等の画像撮像に係る環境変化が比較的少ない期間（例えば１０分間）に監視対象領域を撮像した任意の１０枚の画像である。かかる画像＃１〜画像＃１０には、動体が含まれていても良いが、もし１０枚全ての同一位置に動体が含まれていると該動体は背景の一部であるものとみなされる。

具体的には、初期背景画像を生成する際には、画像＃１〜画像＃１０の同一位置に所在する画素ごとに、輝度値のバラツキを調べ、バラツキの大きな画素は動体の写りこみによるものとして排除し、残った画素の輝度値の平均値及び輝度値のバラツキの程度を示す変動係数を算出し、算出した輝度値と輝度値の変動係数を画素値として持つ背景画像を生成する。

次に、差分画像の生成処理では、初期背景画像と、入力画像＃１を用いて差分画像＃１を生成する。具体的には、入力画像の各画素の輝度値と該入力画像の各画素の画素位置に対応する初期背景画像の画素の画素値に含まれる輝度値とを比較し、両輝度値の差が初期背景画像の画素の画素値に含まれる変動係数の所定の倍数未満である場合には、差分画像＃１の対応する画素の画素値をゼロとし、輝度値の差が変動係数の所定の倍数以上である場合には、両輝度値の差の絶対値を該画素の画素値とする。この差分画像＃１は、画素値がゼロでない部分が動体を形成する画素である可能性があるため、以降の動体画像抽出処理の入力情報となる。

次に、背景画像の更新処理について説明する。ここでは、初期背景画像と入力画像＃１を用いて、次回に用いる背景画像（第二世代の背景画像）を生成する。かかる第二世代の背景画像の各画素の画素値は、初期背景画像の画素値である輝度値及び輝度値の変動係数と、入力画像＃１の画素値と、画素ごとの反映比率（以下、「第一の反映比率」と言う）を用いて算出される。この反映比率とは、画素ごとに初期の背景画像に反映させる入力画像＃１の割合を表すものである。具体的には、ある画素に対応する初期背景画像の輝度値をｖ１（ｔ）、輝度値の変動係数をσ（ｔ）、同じ画素に対応する入力画像＃１の輝度値をｖ２（ｔ）とした場合に、同じ画素に対応する第二世代の背景画像の輝度値をｖ１（ｔ＋１）、輝度値の変動係数をσ（ｔ＋１）とすると、第二世代の背景画像の輝度値ｖ１（ｔ＋１）は、ｖ１（ｔ＋１）＝ｖ１（ｔ）×（１−（反映比率））＋ｖ２（ｔ）×（反映比率）で算出し、第二世代の背景画像の輝度値の変動係数σ（ｔ＋１）は、σ（ｔ＋１）＝σ（ｔ）×（１−（反映比率））＋ａｂｓ（ｖ１（ｔ）−ｖ２（ｔ））×（反映比率）で算出する。なお、ａｂｓ（ｘ）はｘの絶対値を返す関数を示す。

入力画像＃１は、最新の監視対象領域を撮像した画像であることから背景の部分に関しては日照等の環境変化を反映した画像となっている反面、部分的に動体が含まれている可能性がある。このことを考慮して、入力画像＃１の日照等の環境変化による影響は背景画像になるべく反映し、入力画像＃１に写り込んだ動体の情報は背景画像になるべく反映させないようにする。

具体的には、画素ごとに入力画像と直前画像との輝度値の差分を算出し、該差分を所定の正規化規則を用いて変換を行うことによって、差分が大きければ小さな、差分が小さければ大きな、０より大きく１未満の第二の反映比率を算出する。また、入力画像全体に対して入力画像の直前画像との差異が画像全体に広がっている程度（以下、「差異広がり値」と言う）を算出し、該差異広がり値を所定の正規化規則を用いて変換を行うことによって、差異広がり値が大きければ大きな、差異広がり値が小さければ小さな、０より大きく１未満の第三の反映比率を算出する。画素ごとに該第二の反映比率と該第三の反映比率を乗算して、画素ごとの第一の反映比率を算出し、このようにして算出された該第一の反映比率と背景画像と入力画像とを使って第二世代の背景画像を生成する。

同様にして第二世代の背景画像と入力画像＃２とから差分画像＃２を生成し、第二世代の背景画像と入力画像＃２とから第三世代の背景画像を生成する。以降についても、同様に、入力画像を入力の都度、背景画像の画素ごとの輝度値及び輝度値の変動係数が更新されることによって、日照等の環境の変化にともなう背景画像及び閾値の逐次更新が行われる。

このように、監視対象の領域を撮像した複数枚の画像を基にして、画素ごとに平均輝度値及び輝度値のバラツキの程度を示す変動係数を有する背景画像を生成し、該背景画像の画素ごとの輝度値と、入力画像の同一位置に対応する画素の輝度値とを比較して、背景画像の画素ごとに有する変動係数の所定倍を閾値として動体を抽出する。また、動体画像を抽出する入力画像の入力の都度、日照等の環境変化による背景画像の変化を背景画像に対して逐次自動反映した背景画像を更新設定するようにしたことから、撮像環境が変化しても人的労力を要することなく適切な閾値を設定し、もって動体画像を効率的に抽出することができる。

次に、本実施例に係る動体検出処理全体の処理概要を説明する。図２は、本実施例に係る動体検出処理全体の処理概要を説明するための説明図である。

初期背景画像生成処理は、図１で示した通り、（ａ）に示す監視対象領域を撮像した画像１０枚を入力として、（ｂ）に示す初期の背景画像を生成する処理である。初期背景画像生成処理は、図２に示すように入力となる（ａ）の１０枚の画像に動体が含まれていても、該動体の影響を排除して（ｂ）に示す背景画像のデータを生成することが可能である。

差分画像生成処理は、（ｂ）に示す背景画像と（ｃ）に示す入力画像の輝度値を画素ごとに比較して、輝度値の差が背景画像の当該画素の変動係数の所定倍である閾値以上の差のある画素を抽出する処理である。この差分画像生成処理によって、動体ではない背景画像に対応する画素は除外され、背景画像と差異有と判定された画素で構成される動体候補が抽出される。また、本実施例では、同一の監視対象領域を時刻、天候、季節を問わず様々な条件で撮像した入力画像から動体候補の画像抽出を行うために、明暗のコントラストの弱い夜間などでも動体候補を抽出できるようにコントラストに敏感な閾値の設定をする。

また、背景画像更新処理は、（ｂ）に示す背景画像と（ｃ）に示す入力画像を入力情報として（ｂ）に示す背景画像を更新する処理である。背景画像は日照等の環境の変化の影響を受けることから、初期背景画像生成処理で一旦生成後も、環境の変化にともなう影響を逐次背景画像に反映する。背景画像更新処理は、（ｃ）に示す入力画像に動体が含まれていても、その動体の影響を排除して（ｂ）に示す背景画像の更新を行う。

差分画像生成処理で生成した差分画像が、図２の（ｄ）の差分画像に示すように動体の影が差分として抽出されていることを考慮して、影除去処理では、（ｄ）に示す差分画像から影の除去処理を実施して、（ｅ）に示す影除去後差分画像の生成をする。これは、夜間などでも動体候補を抽出できるようにコントラストに敏感な閾値の設定をしたことにより、明暗のコントラストの強い日中の画像などでは影を差分として抽出してしまうからである。

次に、動体候補抽出処理は、（ｅ）に示す影除去後差分画像から、（ｆ）に示す動体候補を抽出する処理である。具体的には、（ｅ）に示す影除去後差分画像で隣接する差分画素を一つの動体として矩形で識別し、独立する別の動体候補として抽出された動体候補が、同一の動体である可能性を考慮して、複数の動体候補を融合した動体候補も含めて抽出し、所定サイズ以下の候補を排除する。（ｆ）に示す動体候補は、（ｅ）に示す影除去後差分画像から生成したもので、Ｏｂｊ１〜Ｏｂｊ４の４つの動体候補が抽出されたことを示している。また動体候補Ｏｂｊ１は、動体候補Ｏｂｊ２と動体候補Ｏｂｊ３との融合した動体候補であり、この段階では動体候補Ｏｂｊ１が１つの動体なのか、動体候補Ｏｂｊ２と動体候補Ｏｂｊ３が独立した別の動体なのかの判断ができないので、両方の候補を含めたものとなっている。

次に、動体候補絞込処理は、（ｆ）に示す動体候補には、動体候補Ｏｂｊ２と動体候補Ｏｂｊ３とを融合した動体候補Ｏｂｊ１と、融合前の動体候補Ｏｂｊ２、動体候補Ｏｂｊ３とが含まれていることから、動体候補Ｏｂｊ１が１つの動体なのか、動体候補Ｏｂｊ２と動体候補Ｏｂｊ３が独立した別の動体なのかの判定を行うことによって、いずれかの不適切な動体候補を削除して、動体を決定する処理である。図２の動体候補絞込処理は、（ｆ）に示す動体候補から、動体候補Ｏｂｊ２と動体候補Ｏｂｊ３は独立した別動体と判定して、動体候補Ｏｂｊ１を削除した（ｋ）に示す絞込済動体候補を決定したことを示している。動体候補絞込処理は、動体候補抽出処理で抽出された（ｆ）に示す動体候補の情報と、（ｇ）及び（ｈ）に示す直前の２枚の画像から抽出された動体候補の情報と、（ｉ）及び（ｊ）に示す直後の２枚の画像から抽出された動体候補の情報とを用いて、動体候補Ｏｂｊ２と動体候補Ｏｂｊ３が独立した動体なのか、動体候補Ｏｂｊ１が１つの動体なのかの判定を実施する。

なお、（ｂ）に示す背景画像、（ｄ）に示す差分画像、（ｅ）に示す影除去後差分画像、（ｆ）に示す動体候補、（ｇ）及び（ｈ）に示す直前の２枚の画像の動体候補、（ｉ）及び（ｊ）に示す直後の２枚の画像の動体候補及び（ｋ）に示す絞込済動体候補は、説明の便宜上、（ａ）に示す撮像した画像や（ｃ）に示す入力画像の画像データと同様に表現しているが、データ形式やデータ保有項目は（ａ）に示す撮像した画像や（ｃ）に示す入力画像とは異なる。（ｂ）に示す背景画像は、画素ごとの輝度値と輝度値の変動係数を有している。（ｄ）に示す差分画像は、差分が所定値未満の部分の画素値がゼロで、差分が所定値以上の部分の画素値は背景画像の輝度値と入力画像の輝度値の差の絶対値を有するデータである。（ｅ）に示す影除去後差分画像のデータ形式は（ｄ）に示す差分画像と同様である。（ｆ）に示す動体候補、（ｇ）及び（ｈ）に示す直前の２枚の画像の動体候補、（ｉ）及び（ｊ）に示す直後の２枚の画像の動体候補及び（ｋ）に示す絞込済動体候補は、矩形で囲われた動体候補ごとに入力画像上の矩形の位置、サイズ、矩形内の動体の画素情報などを有している。

次に、本実施例に係る動体画像抽出装置３０の内部構成を説明する。図３は、本実施例に係る動体画像抽出装置３０の内部構成を示すブロック図である。図３に示すように、動体画像抽出装置３０は、ネットワーク２０を介して監視カメラ１０に接続されている。なお、本実施例では、ネットワーク２０を経由して監視カメラ１０で撮像された画像を動体画像抽出装置３０に入力させることとしたが、本発明はこれに限定するものではない。ＣＤ、ＤＶＤ、ＵＳＢメモリ、ＳＤメモリ及びコンパクトフラッシュ（登録商標）メモリの外部メディアから読み出した画像や、ＰＣの画面に表示された画像をキャプチャーボードで取り込んだ画像などを、動体画像抽出装置３０に入力させることとしてもよい。

動体画像抽出装置３０は、Ｉ／Ｆ部３１、表示部３２、入力部３３、記憶部３４及び制御部３５を有する。Ｉ／Ｆ部３１は、監視カメラ１０により撮像された監視画像データをネットワーク２０経由で受信するためのインタフェース部である。表示部３２は、液晶パネルやディスプレイ装置等であり、入力部３３は、キーボードやマウス等である。

記憶部３４は、フラッシュメモリ又はハードディスク装置等からなる記憶デバイスであり、蓄積画像データ３４ａ、背景画像データ３４ｂ、処理パラメータ３４ｃ、差分画像データ３４ｄ及び動体候補データ３４ｅを有する。蓄積画像データ３４ａは、監視カメラ１０により撮像された画像データであり、日付及び時間に対応付けて記録されている。

背景画像データ３４ｂは、監視カメラ１０で撮像する領域の動体を除外した背景の画像データであり、監視カメラ１０で撮像した入力画像から差分画像を生成する時に使用する。背景画像データ３４ｂは、後述する初期背景画像生成部３５ｂによって生成され、後述する背景画像更新部３５ｄによって逐次更新される。背景画像データ３４ｂは、画像の幅、画像の高さ及び画素情報等を有している。画素情報は（画像の幅）×（画像の高さ）で算出される数の画素の情報を有し、各画素の情報はその画素の輝度値と輝度値のバラツキの程度を示す変動係数とを有している。

処理パラメータ３４ｃは、監視カメラ１０で撮像した画像から動体候補の画像を抽出するための設定パラメータである。処理パラメータ３４ｃは、例えば、マスク領域情報である。マスク領域情報は、入力画像の中で動体検知の対象外の領域の設定である。入力画像と背景画像の差分を算出時には、本マスク領域に対応する画素の輝度値の比較は実施せず、差分画像の画素値には固定的に差異なしを意味するゼロを設定する。若しくは本マスク領域に対する差分の算出処理を実行しないようにしても良い。

差分画像データ３４ｄは、監視カメラ１０で撮像した入力画像と背景画像との差分のデータであり、図２の（ｄ）差分画像に相当する。

動体候補データ３４ｅは、差分画像データ３４ｄを基にして抽出した動体候補若しくは動体の情報である。動体候補データ３４ｅは、入力画像から抽出した全ての動体候補に関する情報を有する。例えば、抽出された動体候補ごとに、動体候補の矩形の左上の画像上の位置、矩形の幅と高さなどを有する。

制御部３５は、動体画像抽出装置３０を全体制御する制御部であり、画像取得部３５ａ、初期背景画像生成部３５ｂ、差分画像生成部３５ｃ、背景画像更新部３５ｄ、影除去部３５ｅ、動体候補抽出部３５ｆ及び動体候補絞込部３５ｇを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、それぞれのプログラムをＣＰＵ（Central Processing Unit）が実行することにより、それぞれに対応するプロセスを実行させることになる。

画像取得部３５ａは、監視カメラ１０の撮像した画像データをネットワーク２０及びＩ／Ｆ部３１を経由して入手して、蓄積画像データ３４ａに記憶する。または、ビデオレコーダなどの再生信号を入手する形態であってもよい。

初期背景画像生成部３５ｂは、図２を用いて説明した初期背景画像生成処理を行う。具体的には、日照等の画像撮像に係る環境変化が比較的少ない所定の期間（例えば１０分）内に、本装置の起動時に監視カメラ１０で撮像した複数枚の画像を入力情報として、背景画像データ３４ｂを生成する。初期背景画像生成部３５ｂは、所定の期間（例えば１０分間）内に撮像した任意の１０枚の画像に動体が写りこんでいても、動体の影響を排除した背景画像を生成する。具体的には、１０枚の画像の画素ごとに、輝度値のバラツキを調べ、バラツキの大きな画素は動体の写りこみによるものとして、当該画素を排除して、残った画素を使って画素ごとの平均の輝度値及び輝度値のバラツキの程度を示す変動係数を算出して、該輝度値及び変動係数を画素値として有する背景画像を背景画像データ３４ｂに記憶する。

差分画像生成部３５ｃは、初期背景画像生成部３５ｂが背景画像データ３４ｂを生成後に、監視カメラ１０で撮像された入力画像を受け付けて、背景画像データ３４ｂと入力画像を比較することによって差分画像データ３４ｄを生成する。詳細な処理手順は後述する。

背景画像更新部３５ｄは、入力画像から得られる最新の背景画像の情報によって背景画像データ３４ｂの更新処理を行う。ただし、入力画像には動体が写りこんでいる場合があるので、背景画像更新部３５ｄは、写りこんでいる動体の影響を排除して背景画像データ３４ｂの更新処理を行う。詳細な処理手順は後述する。

影除去部３５ｅは、差分画像生成部３５ｃの生成した差分画像データ３４ｄから影の影響と判定される部分の差分値をゼロとすることによって影の除去を行う。具体的には隣接する差分画素のひとかたまりを動体候補として、該動体候補ごとに影を判定する閾値を所定の規則で算出して、画素ごとの差分値が該閾値以下の画素については影であると判定して、影と判定した差分画像の画素値にゼロを設定する。

動体候補抽出部３５ｆは、差分画像生成部３５ｃが生成した差分画像データ３４ｄから、隣接する差分画素をまとめた差分画素群を一つの動体候補として抽出し、動体候補データ３４ｅに登録する。また、動体候補抽出部３５ｆは、影除去部３５ｅが生成した影除去後の差分画像データ３４ｄから、隣接する差分画素を一つの動体候補として抽出し、独立な別の動体候補として抽出された複数の動体候補が同一の動体であることの可能性を考慮して、複数の動体候補を融合した動体候補も併せて抽出し、その後所定サイズ以下の候補を排除する。詳細な処理手順は後述する。

動体候補絞込部３５ｇは、動体候補抽出部３５ｆの登録した動体候補データ３４ｅに含まれる不適切な動体候補を削除して、適切な動体候補を決定する処理である。動体候補絞込部３５ｇは、入力画像の時系列的な前後の画像から抽出された動体候補の情報を用いて不適切な動体候補を判定し、動体候補データ３４ｅから不適切な動体候補を削除する。詳細な処理手順は後述する。

次に、本実施例に係る差分画像生成の概要を説明する。図４は、本実施例に係る差分画像生成の概要を説明するための説明図である。

差分画像は、背景画像である背景画像データ３４ｂと入力画像を用いて生成する。背景画像データ３４ｂは画素ごとに輝度値と輝度値のバラツキの程度を示す変動係数とを有している。一方、入力画像は、画素ごとには輝度値のみを有している。背景画像データ３４ｂの画素ごとの情報から、動体が入りこまなければ同一位置に対応する画素の輝度値は、背景画像データ３４ｂの対応する画素の輝度値を平均として、変動係数をバラツキとする分布であると想定される。

これに対して、差分を検出する判定基準を、画素ごとの輝度値の差の絶対値が変動係数の２倍以上の差異のある画素とした場合、背景画像の画素の輝度値がｖ１変動係数がσで、入力画像の対応する画素の輝度値がｖ２の場合には、ｖ１−２σ＜ｖ２＜ｖ１＋２σの場合には動体による影響ではないと判定し、差分画像データ３４ｄの画素ごとの差分値にはゼロを設定する。また、ｖ２≧１＋２σ又はｖ２≦ｖ１−２σの場合には差異は動体による影響であると判定し、差分画像データ３４ｄの画素値には（ｖ１−ｖ２）の絶対値を設定する。

次に、図１に示した動体画像抽出装置３０による差分画像生成の処理手順を説明する。図５は、動体画像抽出装置３０による差分画像生成の処理手順を示すフローチャートである。

まず、差分画像生成部３５ｃは、監視カメラ１０の撮像した入力画像をグレーの多階調画像に変換する（ステップＳ２０１）。また、差分画像生成部３５ｃは、入力画像に対して所定のガウシアンフィルターを適用することによって、ノイズカット処理を行う（ステップＳ２０２）。

次に、差分画像生成部３５ｃは、監視カメラ１０のゆれによって背景画像に比較して入力画像が上下左右又は斜めのいずれかの方向に所定の画素数分以下のずれが発生しているか否かの判定を行い、ずれの発生が判定された場合には入力画像のずれの補正を行う（ステップＳ２０３）。

次に、入力画像の中の１つの画素を抽出し（ステップＳ２０４）、抽出した画素が処理パラメータ３４ｃに規定されるマスク領域内か否かの判定を行う（ステップＳ２０５）。ステップＳ２０４で抽出した画素が処理パラメータ３４ｃに規定されるマスク領域内の場合（ステップＳ２０５；Ｙｅｓ）には、差分画像データ３４ｄの当該画素に対する画素差分値にゼロを書き込んで（ステップＳ２０９）、ステップＳ２１０に移行する。

ステップＳ２０４で抽出した画素が処理パラメータ３４ｃに規定されるマスク領域外の場合（ステップＳ２０５；Ｎｏ）には、入力画像の当該画素の輝度値と背景画像の当該画素の輝度値の差の絶対値を算出する（ステップＳ２０６）。算出した輝度値の差の絶対値が、背景画像データ３４ｂの画素情報の当該画素に対応する変動係数の所定数倍とする閾値（以下、差分判定閾値と言う）未満の場合（ステップＳ２０７；Ｙｅｓ）には、差分画像データ３４ｄの当該画素に対する画素差分値にゼロを書き込んで（ステップＳ２０９）、ステップＳ２１０に移行する。

算出した輝度値の差の絶対値が、差分判定閾値以上の場合（ステップＳ２０７；Ｎｏ）には、差分画像データ３４ｄの当該画素に対する画素差分値に算出した輝度値の差の絶対値を書き込んで（ステップＳ２０８）、ステップＳ２１０に移行する。

次に、ステップＳ２０４〜ステップＳ２０９までの処理を全ての画素に対して実施済みか否かの判定を行い（ステップＳ２１０）、ステップＳ２０４〜ステップＳ２０９までの処理を実施していない画素が存在する場合（ステップＳ２１０；Ｎｏ）には、ステップＳ２０４に移行する。また、全ての画素に対してステップＳ２０４〜ステップＳ２０９の処理を実施済の場合（ステップＳ２１０；Ｙｅｓ）には、背景画像更新部３５ｄは、入力画像と背景画像データ３４ｂとから背景画像データ３４ｂを更新して（ステップＳ２１１）、処理を終了する。ステップＳ２１１の背景画像データ３４ｂの詳細な更新手順は後述する。

次に、図５に示した動体画像抽出装置３０による背景画像更新の処理手順を説明する。図６は、動体画像抽出装置３０による背景画像更新の処理手順を示すフローチャートである。

背景画像更新部３５ｄは、直前の入力画像と現在の入力画像から処理を行う画素を１つ抽出して（ステップＳ３０１）、直前の入力画像と現在の入力画像の抽出された画素の輝度値の差の絶対値を算出する（ステップＳ３０２）。具体的には直前の入力画像の画素をｆ（ｉ，ｊ）（０≦ｉ＜ｘ、０≦ｊ＜ｙ）として現在の入力画像の画素をｇ（ｉ，ｊ）（０≦ｉ＜ｘ、０≦ｊ＜ｙ）、直前の入力画像と現在の入力画像の差分画像の画素をΔｇ（ｉ，ｊ）（０≦ｉ＜ｘ、０≦ｊ＜ｙ）とすると、ｇ（ｉ，ｊ）−ｆ（ｉ，ｊ）の絶対値を算出してΔｇ（ｉ，ｊ）に記憶する。こうして算出されるΔｇ（ｉ，ｊ）の値が大きい場合には、当該画素は動体の影響である可能性が高い。

次に、背景画像更新部３５ｄは、当該画素に対するΔｇ（ｉ，ｊ）の値から現在の入力画素値ｇ（ｉ，ｊ）の背景画像データ３４ｂへの反映比率であるα（ｉ，ｊ）を決定する（ステップＳ３０３）。具体的には、Δｇ（ｉ，ｊ）を所定の正規化規則を用いて変換を行うことによって、差分が大きければ小さな、差分が小さければ大きな、０より大きく１未満のα（ｉ，ｊ）を算出する。

ステップＳ３０１〜ステップＳ３０３の処理が全ての画素に対して終了していない場合（ステップＳ３０４；Ｎｏ）には、ステップＳ３０１に移行する。ステップＳ３０１〜ステップＳ３０３の処理が全ての画素に対して終了済の場合（ステップＳ３０４；Ｙｅｓ）には、全ての画素に対応する反映比率α（ｉ，ｊ）が決定されたこととなるので、ステップＳ３０５に移行する。

次に、背景画像更新部３５ｄは、差分画像Δｇ（ｉ，ｊ）の中の各画素の輝度値の差分の絶対値が所定値以上の画素を抽出し（ステップＳ３０５）、抽出された差分の絶対値が所定値以上の画素群の重心位置を算出し（ステップＳ３０６）、該重心位置からステップＳ３０５で抽出した全ての画素までの平均距離ａｖｅ＿ｄを算出する（ステップＳ３０７）。更に、背景画像更新部３５ｄは、ステップＳ３０５で抽出した差分の絶対値が所定値以上の画素数の入力画像の全体画素数に対する割合ρを算出する（ステップＳ３０８）。
重心からの平均距離ａｖｅ＿ｄや差分の絶対値が所定値以上の画素数の入力画像の全体画素に対する割合ρが大きい場合には、所定値以上の輝度値の差のある画素が広範囲に散らばっていることを意味することから、局所的な変化をもたらす動体の写り込みによる影響ではなく、日照等の全体的な背景画像の変化の影響であることが想定できる。

背景画像更新部３５ｄは、ステップＳ３０７で算出した所定値以上の輝度値の差の画素の重心からの平均距離ａｖｅ＿ｄとステップＳ３０８で算出した差分の絶対値が所定値以上の画素数の入力画像の全体画素に対する割合ρとの積を求め、この値に基づいて、現在の入力画像全体の背景画像データ３４ｂへの０より大きく１未満の反映比率βを決定する（ステップＳ３０９）。

背景画像更新部３５ｄは、ステップＳ３０１〜ステップＳ３０３で決定した画素ごとの入力画像の背景画像データ３４ｂへの反映比率α（ｉ，ｊ）と、ステップＳ３０９で決定した入力画像全体の背景画像データ３４ｂへの反映比率βとから、背景画像データ３４ｂの画素ごとの輝度値ｈ１（ｉ，ｊ）（０≦ｉ＜ｘ、０≦ｊ＜ｙ）と画素ごとの変動係数ｈ２（ｉ，ｊ）（０≦ｉ＜ｘ、０≦ｊ＜ｙ）とを更新する（ステップＳ３１０）。具体的には、変更後の画素ごとの輝度値は、ｈ１（ｉ，ｊ）＝ｈ１（ｉ，ｊ）×（１−α（ｉ，ｊ）×β）＋ｇ（ｉ，ｊ）×α（ｉ，ｊ）×βによって算出する。画素ごとの変動係数は、ｈ２（ｉ，ｊ）＝ｈ２（ｉ，ｊ）×（１−α（ｉ，ｊ）×β）＋ａｂｓ（ｇ（ｉ，ｊ）−ｈ１（ｉ，ｊ））×α（ｉ，ｊ）×βによって算出する。なお、ａｂｓ（ｘ）はｘの絶対値を返却する関数を示す。

本実施例では、１枚の直前画像と入力画像とから画素ごとの反映比率α（ｉ，ｊ）及び画像全体の反映比率βを算出する例を示したが、より精度を高めるために、複数枚の直前画像と入力画像からそれぞれの直前画像に対する画素ごとの反映比率α（ｉ，ｊ）及び画像全体の反映比率βを算出して、複数の直前画像に対応する反映比率α（ｉ，ｊ）の最小値を画素ごとの反映比率とし、それぞれの直前画像に対応する反映比率βの最大値を画像全体の反映比率としても良い。

次に、図２に示した動体画像抽出装置３０による動体候補抽出の処理手順を説明する。図７は、動体画像抽出装置３０による動体候補抽出の処理手順を示すフローチャートである。

動体候補抽出部３５ｆは、背景画像データ３４ｂと入力画像から差分画像生成部３５ｃが生成した（ａ）に示す差分画像である差分画像データ３４ｄから、隣接する差分画素をまとめた差分画素群を１つの動体候補として、（ｂ）に示す第一段階動体候補を抽出し、抽出した動体候補ごとに動体候補を構成する画素に係る情報を動体候補データ３４ｅに登録する（ステップＳ４０１）。（ｂ）に示す第一段階動体候補は、ステップＳ４０１の動体候補抽出処理（第一段階）によって、７個の動体候補Ｏｂｊ１〜Ｏｂｊ７が抽出された例を示している。

次に、影除去部３５ｅは、（ｂ）の第一段階動体候補に示す抽出された動体候補Ｏｂｊ１〜Ｏｂｊ７ごとに、影除去の処理を行い（ステップＳ４０２）、影と判定した差分画素を排除した影除去後の（ｃ）に示す差分画像を生成して、差分画像データ３４ｄの内容を更新する（ステップＳ４０３）。（ｃ）に示す影除去後差分画像は、（ｂ）に示す第一段階動体候補に図示した動体候補Ｏｂｊ２、Ｏｂｊ３及びＯｂｊ５に含まれていた影が除去された例を示している。

次に、動体候補抽出部３５ｆは、差分画像データ３４ｄに記憶されている（ｃ）に示す影除去後差分画像から、ステップＳ４０１と同様の処理を行うことによって、影除去された動体候補として、（ｄ）に示す第三段階動体候補を抽出し、抽出した動体候補を動体候補データ３４ｅに登録する（ステップＳ４０４）。（ｄ）に示す第三段階動体候補は、ステップＳ４０４の動体候補再抽出処理（第三段階）によって、７個の動体候補Ｏｂｊ１、Ｏｂｊ１２、Ｏｂｊ１３、Ｏｂｊ４、Ｏｂｊ１５、Ｏｂｊ６及びＯｂｊ７が抽出された例を示している。また、（ｄ）に示す第三段階動体候補は、（ｂ）に示す第一段階動体候補と比較すると、（ｂ）に示す第一段階動体候補で影を含んでいた動体候補Ｏｂｊ２、Ｏｂｊ３及びＯｂｊ５が、ステップＳ４０２による影除去処理の結果、それぞれ影が除去された動体候補Ｏｂｊ１２、Ｏｂｊ１３及びＯｂｊ１５として抽出された例を示している。

ステップＳ４０４で抽出された（ｄ）に示す第三段階動体候補は、現実には１つの動体が複数の動体候補として抽出されていることもある。このようなことを考慮して、動体候補抽出部３５ｆは、同一の動体の可能性があると判定される動体候補を、所定のルールに従って抽出し、複数の動体候補を融合させた動体候補を含めた（ｅ）に示す第四段階動体候補を生成し、動体候補データ３４ｅに反映する（ステップＳ４０５）。本処理の詳細な処理手順は後述する。（ｅ）に示す第四段階動体候補は、ステップＳ４０５の動体候補融合処理（第四段階）により、動体候補Ｏｂｊ１２とＯｂｊ１３が同一の動体である可能性があると判定し、（ｄ）に示す第三段階動体候補で示された動体候補に加えて動体候補Ｏｂｊ１２とＯｂｊ１３とを融合させた動体候補Ｏｂｊ２０が追加となった例を示している。

次に、動体候補抽出部３５ｆは、（ｅ）に示す第四段階動体候補から、検出対象とする画像上の大きさの上限値及び下限値と比較して、大きさが該上限値を超えるか該下限値を下回るような動体候補の除外を行って、動体候補データ３４ｅに反映する（ステップＳ４０６）。（ｆ）に示す第五段階動体候補は、ステップＳ４０６の動体候補絞込処理（第五段階）により、（ｅ）に示す第四段階動体候補に存在した動体候補Ｏｂｊ１、Ｏｂｊ４、Ｏｂｊ６及びＯｂｊ７が検出対象動体の大きさの下限値を下回ったことによって削除された例を示している。

次に、図７に示した動体候補融合処理の概念を説明する。図８は、動体候補融合処理の概念を説明するための説明図である。図８による動体候補融合処理の概念の説明では便宜上、図７で示した動体候補再抽出処理（ステップＳ４０４）において、図８の（ａ）に示すようにＯｂｊ１〜Ｏｂｊ３の３つの動体候補が抽出されたケースを想定して説明を行う。

まず、（ａ）に示す全ての動体候補間の融合率を算出して、動体候補融合率表Ｔ１を生成する。２つの動体候補ｉ、動体候補ｊについて、動体候補ｉに対する動体候補ｊの融合率とは、動体候補ｉの矩形の範囲内に、動体候補ｊの差分画素の含まれている割合を示す。動体候補融合率表は、動体候補数がｎ個であった場合にはｎ行ｎ列の表であり、ｉ行ｊ列の要素は、動体候補ｉに対する動体候補ｊの融合率を示す。動体候補融合率表Ｔ１は、全ての動体候補の矩形が他の動体候補の差分画素に重なっていないことから、動体候補間の融合率の全ての要素は「０％」であることを示している。動体候補の融合は、融合率が所定値（例えば５０％）以上の場合に実施することから、ここでは動体候補の融合処理は行わない。

次に、（ｂ）に示すように動体候補ごとの矩形範囲を所定量（例えば上下左右方向にそれぞれ数画素分）拡大する。拡大した各動体候補の矩形範囲で、動体候補間の融合率を算出して、動体候補融合率表Ｔ２を生成する。動体候補融合率表Ｔ２は、動体候補Ｏｂｊ２の矩形範囲に動体候補Ｏｂｊ１の差分画素が「１０％」含まれ、それ以外の組合せの動体候補間の融合率は「０％」であることを示している。動体候補の融合率が所定値（例えば５０％）以上になっていないことから、動体候補の融合処理は行わない。

次に、（ｃ）に示すように動体候補ごとの矩形範囲を所定量拡大して、拡大した各動体候補ごとの矩形範囲で、動体候補間の融合率を算出して、動体候補融合率表Ｔ３を生成する。動体候補融合率表Ｔ３は、動体候補Ｏｂｊ２の矩形範囲に動体候補Ｏｂｊ１の差分画素が「５５％」、動体候補Ｏｂｊ３の差分画素が「５％」含まれ、それ以外の組合せの動体候補間の融合率は「０％」であることを示している。ここで、動体候補Ｏｂｊ２と動体候補Ｏｂｊ１の融合率が「５５％」であり、動体候補の融合率が所定値（例えば５０％）以上になっていることから、動体候補Ｏｂｊ１と動体候補Ｏｂｊ２を融合した動体候補であるＯｂｊ４を追加する。

次に、（ｃ）に示した動体候補に対して、融合された元の動体候補Ｏｂｊ１とＯｂｊ２とを除外して、融合で生成した動体候補Ｏｂｊ４を追加した（ｄ）に示す全ての動体候補に対して、動体候補間の融合率を算出して、動体候補融合率表Ｔ４を生成する。動体候補融合率表Ｔ４は、動体候補Ｏｂｊ４の矩形範囲に動体候補Ｏｂｊ３の差分画素が「５％」含まれ、それ以外の組合せの動体候補間の融合率は「０％」であることを示している。よって、動体候補の融合率が所定値（例えば５０％）以上になっていないことから、動体候補の融合処理は行わない。

以降、所定の動体候補矩形拡大最大回数に至るまで動体候補の矩形範囲を拡大して、動体候補間の融合率を算出して、融合率が所定値（例えば５０％）以上の場合に、動体候補の融合を行うということを繰り返すことによって、融合した動体候補を生成する。

上記説明の動体候補の融合処理で、動体候補の融合を行ったならば動体候補融合率表からは融合された動体候補を除外したが、融合された動体候補は動体候補から除外したわけではない。ここで説明した動体候補の融合処理は、１つの動体の可能性のある動体候補を抽出する処理なので、動体候補の絞込はこのフェーズでは行わない。

次に、図７に示す動体画像抽出装置３０による動体候補融合の処理手順を説明する。図９は、動体画像抽出装置３０による動体候補融合の処理手順を示すフローチャートである。

まず、動体候補抽出部３５ｆは、動体候補矩形範囲の拡大回数をゼロに初期化を行い（ステップＳ５０１）、図７のステップＳ４０４の動体候補再抽出（第三段階）で影除去後差分画像から抽出した動体候補の、全ての動体候補間の融合率を算出して、動体候補融合率表を作成し（ステップＳ５０２）、作成された動体候補融合率表の中の最大の融合率を有する要素を特定する（ステップＳ５０３）。

ステップＳ５０３で抽出された動体候補融合率表の中の最大の融合率を有する要素の値を参照し、融合率の最大値が融合実施の基準値（例えば５０％）以上か否かの判定を行う（ステップＳ５０４）。動体候補融合率表の融合率の最大値が基準値（例えば５０％）以上の場合（ステップＳ５０４；Ｙｅｓ）には、動体候補融合率表の融合率の最大値の要素に対応する動体候補を融合して新たな動体候補を生成し、動体候補データ３４ｅに追加する（ステップＳ５０５）。

また、動体候補抽出部３５ｆは、融合率の算出対象から融合された動体候補を除外（ステップＳ５０６）し、動体候補に追加された融合してできた動体候補を追加した動体候補融合率表を作成して（ステップＳ５０７）、ステップＳ５０３に移行する。

動体候補融合率表の融合率の最大値が基準値（例えば５０％）未満の場合（ステップＳ５０４；Ｎｏ）には、動体候補矩形範囲の拡大回数が所定のの動体候補矩形拡大最大回数と等しいか否かを判断し（ステップＳ５０８）、動体候補矩形範囲の拡大回数が所定の動体候補矩形拡大最大回数と等しい場合（ステップＳ５０８；Ｙｅｓ）には、処理を終了する。動体候補矩形範囲の拡大回数が所定の動体候補矩形拡大最大回数と等しくない場合（ステップＳ５０８；Ｎｏ）には、動体候補融合率表に含まれる動体候補の矩形の範囲を所定の規則に従って拡大する（ステップＳ５０９）。

また、動体候補抽出部３５ｆは、動体候補の矩形範囲の変更に伴って動体候補融合率表の更新を行い（ステップＳ５１０）、動体候補矩形範囲の拡大回数をカウントアップして（ステップＳ５１１）、ステップＳ５０３に移行する。

次に、図２に示す動体画像抽出装置３０による動体候補絞込の処理手順を説明する。図１０は、動体画像抽出装置３０による動体候補絞込の処理手順を示すフローチャートである。

動体候補絞込部３５ｇは、動体候補データ３４ｅに抽出されている動体候補から、（ａ）に示すグループ１において動体候補Ｏｂｊ２及びＯｂｊ３は動体候補Ｏｂｊ１に包含されているというような、動体候補の矩形範囲に包含関係のある動体候補群を１つのグループとして、同様な全てのグループの抽出を行う（ステップＳ６０１）。

次に、動体候補絞込部３５ｇは、ステップＳ６０１で抽出された未処理の１つのグループに対して、動体候補の包含関係から、独立した動体のあり得る組み合せ（以下、「パターン」と言う）を作成する（ステップＳ６０２）。（ａ）に示すグループ１には３つの動体候補Ｏｂｊ１〜Ｏｂｊ３が存在し、動体候補Ｏｂｊ２とＯｂｊ３は、動体候補Ｏｂｊ１に含まれていることを示し、ステップＳ６０２のグループ毎のパターン作成処理によって、グループ１からは、（ｂ）に示す動体候補Ｏｂｊ２とＯｂｊ３とがそれぞれ独立した動体であるとするパターン１と、（ｃ）に示す動体候補Ｏｂｊ２とＯｂｊ３の融合によって生成された動体候補Ｏｂｊ１が１つの動体であるとするパターン２とが作成された例を示している。

次に、動体候補絞込部３５ｇは、ステップＳ６０２で作成した未評価のパターンについて、該パターンに含まれる動体候補と入力画像の前後各２画像とに含まれる動体候補との類似性の評価を実施して、各動体候補の類似性の評価からパターンの評価を実施する（ステップＳ６０３）。図１０のステップＳ６０３のパターン評価は、ステップＳ６０２で生成された１つのパターンと、（ｄ）及び（ｅ）に示す直前の２枚の入力画像の動体候補と、（ｆ）と（ｇ）に示す直後の２枚の入力画像の動体候補とを入力情報として、当該パターンの類似性の評価を実施する。例えば、距離と大きさ等に基づいて類似性は評価される。

動体候補絞込部３５ｇは、ステップＳ６０２で作成された全てのパターンについてステップＳ６０３のパターンの評価が終了しているか否かを判定し（ステップＳ６０４）、未評価のパターンが残っている場合（ステップＳ６０４；Ｎｏ）には、ステップＳ６０３に移行する。全てのパターンについて評価済の場合（ステップＳ６０４；Ｙｅｓ）には、ステップＳ６０２で作成したグループのパターンの中で評価の高いパターンを決定し、それ以外のパターンに属する動体候補を動体候補データ３４ｅから削除する（ステップＳ６０５）。図１０のステップＳ６０５のパターン決定の処理によって、（ｂ）に示すパターン１の評価結果と、（ｃ）に示すパターン２の評価結果を比較して、グループ１の動体候補は（ｈ）に示すパターン１に決定したことを示している。

次に、動体候補絞込部３５ｇは、ステップＳ６０１で抽出した全てのグループに対する処理が終了したか否かの判定を行い（ステップＳ６０６）、まだ処理されていないグループが存在する場合（ステップＳ６０６；Ｎｏ）には、ステップＳ６０２に移行する。また、全てのグループに対する処理が終了している場合（ステップＳ６０６；Ｙｅｓ）には、動体候補データ３４ｅの全ての動体候補に対して、相関演算によって動体候補の妥当性の評価を行い、動体ではないと判定された動体候補を動体候補データ３４ｅから削除して（ステップＳ６０７）、処理を終了する。

上述してきたように、本実施例では、複数枚の画像から動体の写りこんでいる影響を排除して画素ごとに輝度値及びそのバラツキの程度を示す変動係数を有する背景画像を自動生成し、背景画像と入力画像との差分画像抽出は、画素ごとに輝度値の差が、画素ごとに有する変動係数の所定倍数を閾値として行い、入力画像入力の都度、該入力画像に写りこんだ動体の影響を排除しつつ、日照等の環境変化による背景画像の変化を逐次自動反映するよう構成したので、撮像環境が変化しても人的労力を要することなく適切な閾値を設定し、もって動体画像を効率的に抽出することができる。

なお、上述の本実施例では背景画像の更新処理において、初期背景画像生成とは異なる手順で更新処理を実施したが、本発明はこれに限定されるものではなく、背景画像の更新時に初期背景画像と同じ手順で背景画像を生成してもよい。

また、上述の本実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

以上のように、本発明に係る動体画像抽出方法及び動体画像抽出装置は、撮像環境が変化しても人的労力を要することなく適切な閾値を設定し、もって動体画像を効率的に抽出することに適している。

１０ 監視カメラ
２０ ネットワーク
３０ 動体画像抽出装置
３１ Ｉ／Ｆ部
３２ 表示部
３３ 入力部
３４ 記憶部
３４ａ 蓄積画像データ
３４ｂ 背景画像データ
３４ｃ 処理パラメータ
３４ｄ 差分画像データ
３４ｅ 動体候補データ
３５ 制御部
３５ａ 画像取得部
３５ｂ 初期背景画像生成部
３５ｃ 差分画像生成部
３５ｄ 背景画像更新部
３５ｅ 影除去部
３５ｆ 動体候補抽出部
３５ｇ 動体候補絞込部
Ｔ１〜Ｔ４ 動体候補融合率表

Claims (11)

1. 自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出方法であって、
   前記動体による影響が排除された背景画像を取得するとともに、該背景画像の画素ごとに輝度値と輝度値のバラツキの程度を示す変動係数を生成する背景画像取得ステップと、
   前記背景画像取得ステップにより取得された前記背景画像と前記撮像画像との画素ごとの輝度差分値を算出し、算出された輝度差分値と前記変動係数とを比較して、前記背景画像と前記撮像画像との差分である差分画像に前記撮像画像の画素を採用するか否かを決定しつつ、差分画像を生成する差分画像生成ステップと、
   前記背景画像と前記撮像画像から前記背景画像を更新する背景画像更新ステップと、
   前記差分画像生成ステップにより生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出ステップと、
   前記動体候補抽出ステップにより複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込ステップと
   を含んだことを特徴とする動体画像抽出方法。
2. 前記背景画像取得ステップは、撮像タイミングの異なる複数の撮像画像について、同一の位置に対応する画素ごとに前記複数の撮像画像の輝度値の分布を分析して、輝度値の分布に対して特異な値を示す輝度値を除外して、除外されずに残った輝度値を使用して背景画像の画素の輝度値を算出することを特徴とする請求項１に記載の動体画像抽出方法。
3. 自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出方法であって、
   前記動体による影響が排除された背景画像を取得する背景画像取得ステップと、
   前記背景画像取得ステップにより取得された前記背景画像と前記撮像画像との差分画像を生成する差分画像生成ステップと、
   前記撮像画像と当該撮像画像の直前に撮像された撮像画像である直前撮像画像との画素ごとの差分である輝度差分値を算出し、前記輝度差分値が所定値以上の画素の画像全体における分布を評価し、前記輝度差分値並びに前記輝度差分値が所定値以上の画素の画像全体における分布の評価結果に応じて、前記撮像画像の前記背景画像への画素ごとの反映比率を算出する反映比率算出ステップと、
   前記反映比率算出ステップで算出された画素ごとの前記反映比率を使用して、画素ごとに前記撮像画像と前記背景画像とを前記反映比率と（１−前記反映比率）とで加重平均することにより更新後の前記背景画像を生成する背景画像更新ステップと、
   前記差分画像生成ステップにより生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出ステップと、
   前記動体候補抽出ステップにより複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込ステップと
   を含んだことを特徴とする動体画像抽出方法。
4. 前記撮像画像と前記背景画像とを比較して撮像装置のゆれを補正するゆれ補正ステップをさらに含み、
   前記差分画像生成ステップは、前記ゆれ補正ステップにより補正した補正撮像画像と前記背景画像との差分である差分画像を生成する
   ことを特徴とする請求項１〜３のいずれか一つに記載の動体画像抽出方法。
5. 前記撮像画像に対して前記差分画像の抽出対象外とするマスク領域を設定するマスク領域設定ステップをさらに含み、
   前記差分画像生成ステップは、前記マスク領域設定ステップで設定されたマスク領域内の画素については差分なしと判定する、あるいは前記差分画像生成ステップを実行しないことを特徴とする請求項１〜４のいずれか一つに記載の動体画像抽出方法。
6. 前記差分画像生成ステップは、前記環境下においてコントラストが最も弱い状態に対応する閾値を使用して前記差分画像を生成することを特徴とする請求項１〜５のいずれか一つに記載の動体画像抽出方法。
7. 前記動体候補抽出ステップは、前記差分画像生成ステップで生成された前記差分画像から、連続する対象物の画素群を１つの動体候補として抽出し、抽出した動体候補の輝度値に関係する特性を評価し、当該特性の評価結果から前記動体候補に含まれる対象物の画素が影であるか否かを判定するための影判定閾値である輝度値を決定し、当該影判定閾値である輝度値によって前記動体候補から影の除去を行うことを特徴とする請求項１〜６のいずれか一つに記載の動体画像抽出方法。
8. 自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出方法であって、
   前記動体による影響が排除された背景画像を取得する背景画像取得ステップと、
   前記背景画像取得ステップにより取得された前記背景画像と前記撮像画像との差分画像を生成する差分画像生成ステップと、
   前記背景画像と前記撮像画像から前記背景画像を更新する背景画像更新ステップと、
   前記差分画像生成ステップにより生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出ステップと、
   前記動体候補抽出ステップにより複数の前記動体候補が抽出された場合に、包含関係のある動体候補をグループとして、前記グループの中であり得る動体候補の組合せをパターンとして列挙して、列挙したパターンに含まれる動体候補と時系列上で隣接する撮像画像から抽出された動体候補とを類似性に基づいて比較することにより、適切なパターンを判定することにより複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込ステップと
   を含んだことを特徴とする動体画像抽出方法。
9. 前記動体候補抽出ステップは、前記差分画像生成ステップで生成された前記差分画像から、連続する対象物の画素群を１つの動体候補として一旦抽出し、別の候補として抽出された動体候補の組合せの中で、同一動体候補の可能性があると判定される複数の動体候補を融合した融合動体候補を追加して前記包含関係のある動体候補のグループとすることを特徴とする請求項８に記載の動体画像抽出方法。
10. 自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出装置であって、
    前記動体による影響が排除された背景画像を取得するとともに、該背景画像の画素ごとに輝度値と輝度値のバラツキの程度を示す変動係数を生成する背景画像取得手段と、
    前記背景画像取得手段により取得された前記背景画像と前記撮像画像との画素ごとの輝度差分値を算出し、算出された輝度差分値と前記変動係数とを比較して、前記背景画像と前記撮像画像との差分である差分画像に前記撮像画像の画素を採用するか否かを決定しつつ、差分画像を生成する差分画像生成手段と、
    前記背景画像と前記撮像画像から前記背景画像を更新する背景画像更新手段と、
    前記差分画像生成手段により生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出手段と、
    前記動体候補抽出手段により複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込手段と
    を備えたことを特徴とする動体画像抽出装置。
11. 自然光又は照明光の光量と照射方向とのうち少なくともいずれかが変動する可能性のある環境下で撮像された時系列順に並んだ複数枚の撮像画像を用い、該撮像画像内に含まれる動体の像を動体画像として抽出する動体画像抽出装置であって、
    前記動体による影響が排除された背景画像を取得する背景画像取得手段と、
    前記背景画像取得手段により取得された前記背景画像と前記撮像画像との差分画像を生成する差分画像生成手段と、
    前記撮像画像と当該撮像画像の直前に撮像された撮像画像である直前撮像画像との画素ごとの差分である輝度差分値を算出し、前記輝度差分値が所定値以上の画素の画像全体における分布を評価し、前記輝度差分値並びに前記輝度差分値が所定値以上の画素の画像全体における分布の評価結果に応じて、前記撮像画像の前記背景画像への画素ごとの反映比率を算出する反映比率算出手段と、
    前記反映比率算出手段で算出された画素ごとの前記反映比率を使用して、画素ごとに前記撮像画像と前記背景画像とを前記反映比率と（１−前記反映比率）とで加重平均することにより更新後の前記背景画像を生成する背景画像更新手段と、
    前記差分画像生成手段により生成された前記差分画像から１つの動体である可能性のある部分画像を動体候補として抽出する動体候補抽出手段と、
    前記動体候補抽出手段により複数の前記動体候補が抽出された場合に、複数の前記動体候補から適切な前記動体候補を絞り込む動体候補絞込手段と
    を備えたことを特徴とする動体画像抽出装置。

Images