JP2017151536A - 画像処理装置、制御プログラム及び領域特定方法 - Google Patents

Abstract

【課題】フレーム画像において検出対象物が写る領域を適切に特定することが可能な技術を提供する。【解決手段】第１特定部は、フレーム間での物体の動きを示す動き領域を特定する第１特定処理を行う。第２特定部は、動画像に基づいて、当該動画像に含まれるフレーム画像において、静止している検出対象物が写る静止対象物領域の候補となる第１候補領域を特定する第２特定処理を行う。第１マップ更新部は、第１更新処理において、第１マップにおける、動き領域に対応する第１の値を第１所定値だけ増加し、第１マップにおける、動き領域に対応しない第１の値を第２所定値だけ減少する。第１特定処理及び第１更新処理は繰り返し実行される。第３特定部は、第１マップ及び第１候補領域に基づいて、フレーム画像において、静止している検出対象物が写る静止対象物領域を特定する。【選択図】図３

Description

本発明は、画像処理技術に関する。

特許文献１〜５に記載されているように、従来から様々な画像処理技術が提案されています。

特開２０１５−１５８８３７号公報 特開２０１５−１２５６９６号公報 特開２０１３−６５１５１号公報 特開２０１１−１２３７４２号公報 特開２０１０−３１７７号公報

特許文献１及び２等に記載されているように、フレーム画像において検出対象物が写る領域を特定する場合には、当該領域を適切に特定できることが望まれる。

そこで、本発明は上述の点に鑑みて成されたものであり、フレーム画像において検出対象物が写る領域を適切に特定することが可能な技術を提供することを目的とする。

画像処理装置の一態様は、移動体である検出対象物が写る動画像についてのフレーム間差分を示す差分画像を生成し、生成した差分画像において、フレーム間での物体の動きを示す動き領域を特定する第１特定処理を行う第１特定部と、前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する第１更新処理を行う第１マップ更新部と、前記動画像に基づいて、当該動画像に含まれるフレーム画像において、静止している前記検出対象物が写る静止対象物領域の候補となる第１候補領域を特定する第２特定処理を行う第２特定部とを備え、前記第１マップ更新部は、前記第１更新処理において、前記第１マップにおける、前記動き領域に対応する前記第１の値を第１所定値だけ増加し、前記第１マップにおける、前記動き領域に対応しない前記第１の値を第２所定値だけ減少し、前記第１特定処理及び前記第１更新処理は繰り返し実行され、前記第１更新処理が行われた前記第１マップ及び前記第１候補領域に基づいて、前記静止対象物領域を特定する第３特定部をさらに備える。

また、画像処理置の一態様では、前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する第２更新処理を繰り返し行う第２マップ更新部がさらに設けられ、前記第２マップ更新部は、前記第２更新処理において、前記第２マップにおける、前記動き領域に対応する前記第２の値を、前記第１所定値以上の第３所定値だけ増加し、前記第２マップにおける、前記動き領域に対応しない前記第２の値を、前記第２所定値よりも大きい第４所定値だけ減少し、前記第２マップ更新部は、前記第１更新処理が行われた前記第１マップにおける、前記静止対象物領域に対応する前記第１の値を、前記第２更新処理が行われた前記第２マップにおける、前記静止対象物領域に対応する前記第２の値に加算する補正処理を行い、前記補正処理が行われた前記第２マップに基づいて、前記フレーム画像において、前記検出対象物が写る前景領域を特定する第４特定部をさらに備える。

また、画像処理装置の一態様では、前記第４特定部は、前記前景領域を暫定的に特定し、前記第４特定部が暫定的に特定した前記前景領域である第２候補領域と前記フレーム画像とに基づいて第１背景モデルを更新する背景モデル更新部と、前記フレーム画像に含まれる対象画素が、前記検出対象物を示す前景画素か背景画素かを、前記第１背景モデルに含まれる、当該対象画素に対応する背景情報に基づいて判定する判定部とがさらに設けられ、前記第１背景モデルは、過去の前記フレーム画像の画素値をモデル化した混合正規分布に基づく背景モデルであって、前記背景モデル更新部は、前記対象画素の画素値に基づいて、当該対象画素に対応する前記混合正規分布を更新し、更新後の前記混合正規分布に含まれる複数の正規分布から、当該対象画素に対応する前記背景情報として使用する正規分布を決定し、前記判定部は、前記正規分布の所定範囲内に前記対象画素の画素値が存在する場合、当該正規分布を適合正規分布とし、前記判定部は、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれる場合、当該対象画素は前記背景画素であると判定し、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれない場合、当該対象画素は前記前景画素であると判定し、前記背景モデル更新部は、前記対象画素が前記第２候補領域に含まれない場合には、前記対象画素に応じた前記混合正規分布を更新する際の学習率を第３の値に設定し、前記対象画素が前記第２候補領域に含まれる場合には、前記学習率を、前記第３の値よりも小さい第４の値に設定する。

また、画像処理装置の一態様では、前記第３特定部は、前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第５の値が、当該複数の画素の位置に応じて並ぶ第３マップを更新する第３更新処理を繰り返し実行する第３マップ更新部を有し、前記第３マップ更新部は、前記第３更新処理において、前記第１更新処理が行われた前記第１マップにおける、前記第１候補領域に対応する前記第１の値を、前記第３マップにおける、前記第１候補領域に対応する前記第５の値として採用するコピー処理を実行し、前記第３マップにおいて、前記コピー処理が実行される前記第５の値以外の前記第５の値を、前記第２所定値よりも大きい第５所定値だけ減少し、前記第３特定部は、前記第３更新処理が行われた前記第３マップに基づいて前記静止対象物領域を特定する。

また、画像処理装置の一態様では、前記第３マップ更新部は、前記フレーム画像において、前記検出対象物が写る可能性が高い、互いに独立した複数の独立領域を特定し、前記第３マップ更新部は、前記第１マップにおける、前記第１候補領域を含む前記独立領域に対応する前記第１の値を、前記第３マップにおける、前記第１候補領域を含む前記独立領域に対応する前記第５の値として採用する。

また、画像処理装置の一態様では、前記静止対象物領域と前記フレーム画像とに基づいて第１背景モデルを更新する背景モデル更新部と、前記フレーム画像に含まれる対象画素が、前記検出対象物を示す前景画素か背景画素かを、前記第１背景モデルに含まれる、当該対象画素に対応する背景情報に基づいて判定する判定部とがさらに設けられ、前記第１背景モデルは、過去の前記フレーム画像の画素値をモデル化した混合正規分布に基づく背景モデルであって、前記背景モデル更新部は、前記対象画素の画素値に基づいて、当該対象画素に対応する前記混合正規分布を更新し、更新後の前記混合正規分布に含まれる複数の正規分布から、当該対象画素に対応する前記背景情報として使用する正規分布を決定し、前記判定部は、前記正規分布の所定範囲内に前記対象画素の画素値が存在する場合、当該正規分布を適合正規分布とし、前記判定部は、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれる場合、当該対象画素は前記背景画素であると判定し、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれない場合、当該対象画素は前記前景画素であると判定し、前記背景モデル更新部は、前記対象画素が前記静止対象物領域に含まれない場合には、前記対象画素に応じた前記混合正規分布を更新する際の学習率を第３の値に設定し、前記対象画素が前記静止対象物領域に含まれる場合には、前記学習率を、前記第３の値よりも小さい第４の値に設定する。

また、画像処理装置の一態様では、前記判定部は、前記対象画素の画素値が、前記正規分布の前記所定範囲内に存在しない場合であっても、前記対象画素の画素値が、当該正規分布の平均値よりも小さい下限値よりも大きくあるいは当該下限値以上であって、かつ当該平均値以下あるいは当該平均値未満の場合には、例外的に、当該正規分布を前記適合正規分布とする。

また、画像処理装置の一態様では、前記動画像に写る撮影領域の明るさの変化を検出する検出部をさらに備え、前記背景モデル更新部は、前記検出部が前記変化を検出した場合、前記学習率を、前記第３及び第４の値よりも大きい第５の値に所定期間設定する。

また、画像処理装置の一態様では、前記第２特定部は、前記フレーム画像の各画素について、当該画素の画素値の変化量を示す第１評価値と、当該画素の画素値の分散を示す第２評価値とを求め、第２背景モデルと、前記フレーム画像の各画素についての前記第１及び第２評価値に基づいて、前記第１候補領域を特定する。

また、制御プログラムの一態様は、画像処理装置を制御するための制御プログラムであって、前記画像処理装置に、（ａ）移動体である検出対象物が写る動画像についてのフレーム間差分を示す差分画像を生成し、生成した差分画像において、フレーム間での物体の動きを示す動き領域を特定する工程と、（ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の値が、当該複数の画素の位置に応じて並ぶマップを更新する工程と、（ｃ）前記動画像に基づいて、当該動画像に含まれるフレーム画像において、静止している前記検出対象物が写る静止対象物領域の候補となる候補領域を特定する工程とを実行させ、前記工程（ｂ）において、（ｂ−１）前記マップにおける、前記動き領域に対応する前記値を第１所定値だけ増加する工程と、（ｂ−２）前記マップにおける、前記動き領域に対応しない前記値を第２所定値だけ減少する工程とを実行させ、前記工程（ａ），（ｂ）を繰り返し実行させ、（ｄ）前記工程（ｂ）で更新された前記マップ及び前記候補領域に基づいて、前記フレーム画像において、静止している前記検出対象物が写る静止対象物領域を特定する工程を実行させるためのものである。

また、領域特定方法の一態様は、画像処理装置での領域特定方法であって、（ａ）移動体である検出対象物が写る動画像についてのフレーム間差分を示す差分画像を生成し、静止した差分画像において、フレーム間での物体の動きを示す動き領域を特定する工程と、（ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の値が、当該複数の画素の位置に応じて並ぶマップを更新する工程と、（ｃ）前記動画像に基づいて、当該動画像に含まれるフレーム画像において、静止している前記検出対象物が写る静止対象物領域の候補となる候補領域を特定する工程とを備え、前記工程（ｂ）は、（ｂ−１）前記マップにおける、前記動き領域に対応する前記値を第１所定値だけ増加する工程と、（ｂ−２）前記マップにおける、前記動き領域に対応しない前記値を第２所定値だけ減少する工程とを有し、前記工程（ａ），（ｂ）は繰り返し実行され、（ｄ）前記工程（ｂ）で更新された前記マップ及び前記候補領域に基づいて、前記フレーム画像において、静止している前記検出対象物が写る静止対象物領域を特定する工程をさらに備える。

フレーム画像において検出対象物が写る領域を適切に特定することができる。

画像処理システムの構成の一例を示す図である。 画像処理システムの構成の一例を示す図である。 画像処理装置の構成の一例を示す図である。 入力フレーム画像の一例を示す図である。 入力フレーム画像の一例を示す図である。 第１背景モデルの構成の一例を示す図である。 出現画素値情報の一例を説明するための図である。 判定部の動作の一例を説明するための図である。 判定部の動作の一例を説明するための図である。 判定部の動作の一例を説明するための図である。 画素単位背景更新処理の一例を示すフローチャートである。 初期学習処理の一例を示すフローチャートである。 画像処理装置の動作の一例を示すフローチャートである。 差分画像の一例を示す図である。 第１マップ（長期保存マップ）の一例を示す図である。 第２マップ（短期保存マップ）の一例を示す図である。 差分画像の一例を示す図である。 差分画像の一部の一例を拡大して示す図である。 第１マップの更新方法の一例を説明するための図である。 第１マップの更新方法の一例を説明するための図である。 差分画像の一部の一例を拡大して示す図である。 第１マップの更新方法の一例を説明するための図である。 第１マップの更新方法の一例を説明するための図である。 差分画像の一例を示す図である。 短期保存マップ画像の一例を示す図である。 長期保存マップ画像の一例を示す図である。 第２背景モデル更新処理の一例を示すフローチャートである。 ＰＳＡの一例を説明するための図である。 ＰＳＡの一例を説明するための図である。 第１暫定特定処理の一例を示すフローチャートである。 ＳＴ２値画像の一例を示す図である。 ＴＲ２値画像の一例を示す図である。 ＳＴ２値画像から得られる外接矩形の一例を示す図である。 第１候補領域の一例を示す図である。 ＰＳＡの一例を説明するための図である。 静止対象物特定処理の一例を示すフローチャートである。 長期保存マップ画像の一例を示す図である。 第１候補領域を包含する対応領域の一例を示す図である。 第２マップ補正処理の一例を説明するための図である。 第２暫定特定処理の一例を示すフローチャートである。 前景候補対応ブロック、前景候補領域及び背景候補領域の一例を示す図である。 画像処理装置の構成の一例を示す図である。 画像処理装置の構成の一例を示す図である。 画像処理装置の構成の一例を示す図である。 画像処理装置の構成の一例を示す図である。 コピー処理の一例を説明するための図である。 静止対象物対応領域及び静止対象物領域の一例を示す図である。 例外的な適合正規分布の一例を示す図である。 画像処理装置の構成の一例を示す図である。

＜画像処理システムの構成＞
図１は画像処理システム１の構成の一例を示す図である。画像処理システム１は、例えば、移動体を検出対象物とし、画像処理を用いて、所定空間に存在する検出対象物を検出する。画像処理システム１は、例えば、オフィスあるいは学校等に導入される。画像処理システム１は、オフィス等の室内に存在する人を検出する。

図１に示されるように、画像処理システム１は、カメラ２及び画像処理装置３を備える。カメラ２は、例えば、室内の天井に取り付けられる。カメラ２は、例えば全方位カメラであって、室内を俯瞰撮影する。したがって、カメラ２の撮影領域は室内となる。カメラ２は、所定のフレームレート（例えば３０ｆｐｓ）で動画像１００を撮影して出力する。カメラ２から出力される動画像１００は画像処理装置３に入力される。つまり、動画像１００を構成する複数枚のフレーム画像１０１は、順次画像処理装置３に入力される。以後、動画像１００を「入力動画像１００」と呼ぶことがある。また、入力動画像１００のフレーム画像１０１を「入力フレーム画像１０１」と呼ぶことがある。

本例では、入力動画像１００は、カラー画像であるが、グレースケール画像であっても良い。また、カメラ２は、天井以外に取り付けられても良い。また、カメラ２は全方位カメラ以外であっても良い。

画像処理装置３は、例えば、一種のコンピュータであって、図１に示されるように、プロセッサ４及び記憶部５等を備えている。画像処理装置３は、一種の回路構成であると言える。

プロセッサ４は、例えばＣＰＵ（Central Processing Unit）である。記憶部５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備えている。ＲＯＭ及びＲＡＭは、プロセッサ４が読み取り可能な非一時的な記録媒体である。記憶部５には、画像処理装置３（コンピュータ）を制御するための制御プログラム６が記憶されている。制御プログラム６は、例えばＲＯＭに記憶されている。プロセッサ４が記憶部５内の制御プログラム６を実行することによって、画像処理装置３には様々な機能ブロックが形成される。

図２は、カメラ２と、プロセッサ４と、記憶部５が備えるＲＯＭ７及びＲＡＭ８との間の電気的接続の一例を示す図である。図２に示されるように、カメラ２と、プロセッサ４と、ＲＯＭ７と、ＲＡＭ９とは、例えばバス１０を介して互いに電気的に接続される。

なお、画像処理装置３は、複数のプロセッサ４、例えばＣＰＵ及びＤＳＰ（Digital Signal Processor）を備えても良い。この場合、画像処理装置３の機能は、複数のプロセッサ４が記憶部５内の制御プログラム６を実行することによって実現される。また、画像処理装置３は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）あるいはＰＬＤ（Programmable Logic Device）などを備えても良い。また、画像処理装置３の機能の一部又は全部は、その機能の実現のためにプログラム（ソフトフェア）が不要な、例えば論理回路等を含むハードウェア回路で実現されても良い。また記憶部５は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。記憶部５は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）等を備えていても良い。

＜画像処理装置の構成＞
図３は、プロセッサ４が制御プログラム６を実行することによって画像処理装置３に形成される主な機能ブロックを示す図である。

図３に示されるように、画像処理装置３は、機能ブロックとして、前処理部３０、判定部３１、背景モデル更新部３２，３８、動き特定部３３、暫定特定部３４，３６、静止対象物特定部３５、後処理部３７、第１マップ更新部４１及び第２マップ更新部４２を備えている。これらの機能ブロックの少なくとも一つは、その機能の実現のためにプログラム（ソフトフェア）が不要な、例えば論理回路等を含むハードウェア回路で実現されても良い。

前処理部３０は、カメラ２からの入力動画像１００に対して前処理を実行し、前処理後の入力動画像１００を入力動画像１１０として出力する。具体的には、前処理部３０は、カメラ２から順次入力される入力フレーム画像１０１に対してグレースケール変換及びサイズ縮小処理を行い、処理後の入力フレーム画像１０１を入力フレーム画像１１１として順次出力する。したがって、前処理部３０から出力される入力動画像１１０はグレースケール画像となる。なお、カメラ２から出力される入力動画像１００の形式によっては、前処理部３０は不要となる。以後、入力動画像１１０の入力フレーム画像１１１の画素を「入力画素」と呼ぶことがある。

図４，５は入力フレーム画像１１１の一例を示す図である。図５に示される入力フレーム画像１１１は、図４に示される入力フレーム画像１１１よりも後に撮影された画像である。図５に示される入力フレーム画像１１１は、図４に示される入力フレーム画像１１１よりも、例えば３フレーム後に撮影された画像である。入力フレーム画像１１１は魚眼画像とも呼ばれる。

図４，５に示されるように、入力フレーム画像１１１に写る室内３００の床３２０の上には、複数の机３３０と複数の椅子３４０とが配置されている。室内３００には複数の人２００が存在する。具体的には、室内３００には３人の人２００ａ，２００ｂ，２００ｃが存在している。したがって、入力フレーム画像１１１には、３人の人２００ａ，２００ｂ，２００ｃが写っている。人２００ａ，２００ｂ，２００ｃのそれぞれは室内３００内を移動している。したがって、図４，５に示される２枚の入力フレーム画像１１１の間においては人２００ａ，２００ｂ，２００ｃの位置が異なっている。

画像処理装置３は、入力フレーム画像１１１において人２００が写る領域を、前景領域（前景画像）として特定することによって、カメラ２の撮影領域内、つまり室内３００に存在する人２００を検出する。

判定部３１は、記憶部５内の第１背景モデル５００に基づいて、入力フレーム画像１１１の入力画素が前景画素か背景画素かを判定する前景判定処理を行う。これにより、入力フレーム画像１１１において、人が写る前景領域が特定される。第１背景モデル５００は、入力動画像１１０に写る背景をモデル化した情報である。判定部３１は、入力画素が、移動している人を示す画素であるか、静止している人を示す画素であるかを区別せずに、人を示す入力画素を前景画素として判定する。

判定部３１は、入力フレーム画像１１１の各入力画素についての前景判定処理を行うと、例えば、その結果を示す判定結果画像１５０を生成する。判定結果画像１５０を構成する複数の画素は、入力フレーム画像を構成する複数の入力画素にそれぞれ対応している。判定結果画像１５０では、前景画素であると判定された入力画素の入力フレーム画像１１１での相対的な位置と同じ相対的な位置に存在する画素の画素値が１を示す。一方で、判定結果画像１５０では、背景画素であると判定された入力画素の入力フレーム画像１１１での相対的な位置と同じ相対的な位置に存在する画素の画素値が０を示す。判定結果画像１５０を参照することによって、各入力画素についての前景判定処理の結果が理解できる。以後、画素値が１の画素を「高輝度画素」と呼び、画素値が０の画素を「低輝度画素」と呼ぶことがある。また「相対的な位置」を単に「位置」と呼ぶ。

後処理部３７は、判定結果画像１５０に対して後処理を行い、後処理後の判定結果画像１５０を出力画像１５１として出力する。出力画像１５１は、例えば、図示しない表示装置に表示される。なお、出力画像１５１の使用方法はこの限りではない。

後処理では、判定結果画像１５０に含まれるノイズが除去される。具体的には、後処理では、最初に孤立点除去が行われ、その後、クロージングが行われる。

孤立点除去では、後処理部３７は、判定結果画像１５０において、その周囲の８個の画素がすべて低輝度画素である高輝度画素を低輝度画素に変更する。クロージングでは、後処理部３７は、孤立点除去が行われた判定結果画像１５０に対して、膨脹をＮ回（Ｎ＞１）行った後、収縮をＮ回行う。判定結果画像１５０に対して孤立点除去及びクロージングが行われることにより、判定結果画像１５０に含まれるノイズが除去される。

背景モデル更新部３２は、入力フレーム画像１１１と、記憶部５内の後述する出現画素値情報５１０とに基づいて、第１背景モデル５００を更新する第１背景モデル更新処理を行う。

背景モデル更新部３８は、入力フレーム画像１１１に基づいて、記憶部５内の第２背景モデル５５０を更新する第２背景モデル更新処理を行う。第２背景モデル５５０は、入力動画像１１０に写る背景をモデル化した情報であって、第１背景モデル５００とは別の背景モデルである。

動き特定部３３は、入力動画像１１０についてのフレーム間差分を示す差分画像を生成する。そして、動き特定部３３は、生成した差分画像において、フレーム間での物体の動きを示す動き領域を特定する動き特定処理を行う。

暫定特定部３４は、記憶部５内の第２背景モデル５５０と入力動画像１１０に基づいて、入力フレーム画像１１１において、静止している人が写る静止対象物領域を暫定的に特定する第１暫定特定処理を行う。言い換えれば、暫定特定部３４は、入力フレーム画像１１１において、静止している人（検出対象物）が写る静止対象物領域の候補となる第１候補領域を特定する。第１候補領域は、暫定的に特定された静止対象物領域である。

第１マップ更新部４１は、動き特定部３３で特定される動き領域に基づいて、記憶部５内の第１マップ４１０を更新する第１マップ更新処理を行う。第１マップ４１０は、物体の動きについての比較的最近の発生頻度の室内での分布を示す情報である。

静止対象物特定部３５は、第１マップ４１０と、前記暫定特定部３４で特定される第１候補領域とに基づいて、入力フレーム画像１１１において、静止対象物領域を特定する静止対象物特定処理を行う。

第２マップ更新部４２は、動き特定部３３で特定される動き領域に基づいて、記憶部５内の第２マップ４２０を更新する第２マップ更新処理を行う。また、第２マップ更新部４２は、第１マップ４１０と、静止対象物特定部３５で特定される静止対象物領域とに基づいて、第２マップ４２０を補正する第２マップ補正処理を行う。第２マップ４２０は、入力画素が前景画素である可能性を示す値についての入力フレーム画像１１１での分布を示す情報である。

暫定特定部３６は、第２マップ４２０に基づいて、入力フレーム画像１１１において、人が写る前景領域を暫定的に特定する第２暫定特定処理を行う。言い換えれば、暫定特定部３６は、第２マップ４２０に基づいて、入力フレーム画像１１１において、人が写る前景領域の候補となる第２候補領域を特定する。この第２候補領域は、暫定的に特定された前景領域である。以後、第２候補領域を「前景候補領域」と呼ぶことがある。背景モデル更新部３２は、背景モデル５００を使用する際に使用する後述の学習率を、前景候補領域（第２候補領域）に基づいて決定する学習率決定処理を行う。

画像処理装置３は、カメラ２から入力フレーム画像１０１が入力されるたびに、入力された入力フレーム画像１０１を処理対象として、前処理、動き特定処理、第１マップ更新処理、第２マップ更新処理、第２背景モデル更新処理、第１暫定特定処理、静止対象物特定処理、第２マップ補正処理、第２暫定特定処理、学習率決定処理、前景判定処理、第１背景モデル更新処理及び後処理を行う。以後、前処理部３０が処理対象の入力フレーム画像１０１に対して前処理を行うことによって得られた入力フレーム画像１１１を「処理対象の入力フレーム画像１１１」と呼ぶことがある。

＜画像処理装置の詳細動作＞
次に画像処理装置３の各構成要素の詳細な動作について説明する。画像処理装置３の動作を理解し易くするために、まず、第１背景モデル５００、前景判定処理及び第１背景モデル更新処理について説明する。

＜第１背景モデル＞
本例では、第１背景モデル５００は、過去のフレーム画像の画素値をモデル化した混合正規分布（ＭｏＧ）に基づく背景モデルである。このような背景モデルの一例については、例えば、上述の特許文献４及び５に開示されている。本例での画素値は例えば輝度である。

図６は第１背景モデル５００の構成の一例を示す図である。図６に示されるように、第１背景モデル５００では、入力フレーム画像１１１を構成する複数の画素のそれぞれに対して、少なくとも１つの背景情報５０１が対応付けられている。背景情報５０１は正規分布で表されている。以後、背景情報５０１を「背景正規分布５０１」と呼ぶことがある。

一方で、記憶部５には出現画素値情報５１０が記憶されている。出現画素値情報５１０は、過去のフレーム画像において現れた画素値に関する情報である。出現画素値情報５１０には、図７に示されるように、入力フレーム画像１１１を構成する複数の画素にそれぞれ対応する複数の混合正規分布５１１が含まれている。

混合正規分布５１１は、それに対応する画素についての過去の画素値をモデル化したものである。混合正規分布５１１は、それに対応する画素についての画素値ごとの出現確率を示している。言い換えれば、混合正規分布５１１は、それに対応する画素についての画素値ごとの出現頻度を示している。

混合正規分布５１１は、複数の正規分布５１２と、当該複数の正規分布５１２にそれぞれ設定された複数の重みｗとで表される。混合正規分布５１１に含まれる複数の正規分布５１２のうちの一部が、当該混合正規分布５１１に対応する画素に対応する背景正規分布５０１として採用される。具体的には、混合正規分布５１１に含まれる複数の正規分布５１２のうち、重みｗがしきい値ｔｈ＿ｗよりも大きい正規分布５１２が、当該混合正規分布５１１に対応する画素に対応する背景正規分布５０１として採用される。

＜前景判定処理の詳細＞
判定部３１は、前景判定処理において、処理対象の入力フレーム画像１１１の各入力画素について、当該入力画素が前景画素か背景画素であるか否かを判定する。判定部３１は、ある入力画素が前景画素か背景画素であるか否かを判定する場合には、第１背景モデル５００における、当該入力画素に対応する背景正規分布５０１と、出現画素値情報５１０における、当該入力画素に対応する混合正規分布５１１とを使用する。以後、説明対象の入力画素を「対象入力画素」と呼ぶことがある。

判定部３１は、対象入力画素に対応する混合正規分布５１１に含まれる複数の正規分布５１２において、対象入力画素の画素値に適合する正規分布５１２（以後、「適合正規分布５１２」と呼ぶことがある）が存在するか否かを判定する。判定部３１は、対象入力画素に対応する混合正規分布５１１に含まれる複数の正規分布５１２に、適合正規分布５１２が存在しない場合には、対象入力画素が前景画素であると判定する。

一方で、判定部３１は、対象入力画素に対応する混合正規分布５１１に含まれる複数の正規分布５１２に適合正規分布５１２が存在する場合には、第１背景モデル５００における、対象入力画素に対応する背景正規分布５０１において、適合正規分布５１２と一致する背景正規分布５０１が存在するか否かを判定する。判定部３１は、第１背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、適合正規分布５１２と一致する背景正規分布５０１が存在しない場合には、対象入力画素が前景画素であると判定する。これに対して、判定部３１は、第１背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、適合正規分布５１２と一致する背景正規分布５０１が存在する場合には、対象入力画素が背景画素であると判定する。

判定部３１は、入力画素の画素値が、正規分布５１２の所定範囲内に存在する場合、当該正規分布５１２を適合正規分布５１２とする。ここで、正規分布の平均値及び分散値をそれぞれμ及びσで表すと、所定範囲は、例えば、正規分布５１２のμ±４σの範囲である。

なお、入力画素の画素値が正規分布５１２に適合するということは、第１背景モデル５００における、当該入力画素に対応する、当該正規分布５１２と同じ背景正規分布５０１にも適合することを意味する。したがって、判定部３１は、第１背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、対象入力画素の画素値に適合する背景正規分布５０１が存在しない場合には、対象入力画素が前景画素であると判定すると言える。また、判定部３１は、第１背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、対象入力画素の画素値に適合する背景正規分布５０１が存在する場合には、対象入力画素が背景画素であると判定すると言える。

以後、対象入力画素の画素値に適合する適合正規分布５１２のうち、対象入力画素の画素値が、μ±３σの範囲に存在する適合正規分布５１１を特に「１次適合正規分布５１２」と呼ぶ。また、対象入力画素の画素値に適合する適合正規分布５１２のうち、対象入力画素の画素値が、μ−４σからμ−３σの範囲に存在する適合正規分布５１１と、μ＋３σからμ＋４σの範囲に存在する適合正規分布５１１のそれぞれを特に「２次適合正規分布５１２」と呼ぶ。図８は、１次適合正規分布５１２の一例を示す図である。図９は、２次適合正規分布５１２の一例を示す図である。図１０は、入力画素の画素値Ｘに適合しない正規分布５１２の一例を示す図である。

＜第１背景モデル更新処理の詳細＞
第１背景モデル更新処理において、背景モデル更新部３２は、処理対象の入力フレーム画像１１１のある入力画素に対する判定部３１での前景判定処理の結果に基づいて、出現画素値情報５１０での当該ある入力画素に対応する混合正規分布５１１を更新し、更新後の混合正規分布５１１に基づいて、第１背景モデル５００での当該ある入力画素に対応する背景情報５０１（背景正規分布５０１）を更新する処理を行う。この一連の処理を「画素単位背景更新処理」と呼ぶ。背景モデル更新部３２は、第１背景モデル更新処理において、入力フレーム画像１１１の各画素について画素単位背景更新処理を行う。

図１１は画素単位背景更新処理を示すフローチャートである。図１１を用いて画素単位背景更新処理を説明する。以後、処理対象の入力フレーム画像１１１の対象入力画素に対応する混合正規分布５１１を「対象混合正規分布５１１」と呼ぶ。また、対象入力画素に対応する背景情報５０１を「対象背景情報５０１」と呼ぶ。

図１１に示されるように、ステップｓ１において、背景モデル更新部３２は、対象入力画素に対する判定部３１での前景判定処理の結果に基づいて、対象混合正規分布５１１を更新する。そしてステップｓ２において、背景モデル更新部３２は、更新後の対象混合正規分布５１１に基づいて対象背景情報５０１を更新する。ステップｓ１はステップｓ１１〜ステップｓ１４で構成されている。

ステップｓ１１において、背景モデル更新部３２は、対象混合正規分布５１１に含まれる各正規分布５１２の重みｗを更新する。背景モデル更新部３２は、以下の式（１）に従って重みｗを更新する。

式（１）中のｗ０、ｗ１は、それぞれ、現在の重みｗ及び更新後の重みｗを示している。式（１）中のＭは、１あるいは０に設定される値である。対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、対象の１次適合正規分布５１２の重みｗを更新する際にはＭ＝１に設定される。そして、対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、対象の１次適合正規分布５１２以外の正規分布５１２の重みｗを更新する際にはＭ＝０に設定される。

ここで、対象の１次適合正規分布５１２とは、対象混合正規分布５１１に含まれる複数の正規分布５１２に、１次適合正規分布５１２が一つだけ存在する場合には、その１次適合正規分布５１２を意味する。また、対象の１次適合正規分布５１２とは、対象混合正規分布５１１に含まれる複数の正規分布５１２に、複数の１次適合正規分布５１２が存在する場合には、当該複数の１次適合正規分布５１２のうち、対応する重みｗの現在値が最大の１次適合正規分布５１２を意味する。２次適合正規分布５１２の重みｗが更新される際にはＭ＝０に設定される。

式（１）中のαは学習率であって、０＜α＜１である。学習率αは、重みｗを現在の値を元にして更新する際に、現在の値に対して、前景判定処理の結果をどの程度影響させるかを示している。学習率αが大きいほど、更新後の重みｗは、前景判定処理の結果の影響を大きく受ける。したがって、学習率αが小さいほど重みｗは変化しにくくなる。

背景モデル更新部３２は、対象混合正規分布５１１の複数の重みｗを更新すると、更新後の複数の重みｗの総和が１となるように各重みｗを正規化する。

式（１）から理解できるように、対象の１次適合正規分布５１２の重みｗは大きくなり、それ以外の正規分布５１２の重みｗは小さくなる。

ステップｓ１１の後、ステップｓ１２において、背景モデル更新部３２は、対象混合正規分布５１１に１次適合正規分布５１２が含まれていると判定すると、ステップｓ１４において、対象の１次適合正規分布５１２の平均値μ及び分散値σを更新する。

背景モデル更新部３２は、以下の式（２）に従って対象の１次適合正規分布５１２の平均値μを更新する。また、背景モデル更新部３２は、以下の式（３）に従って対象の１次適合正規分布５１２の分散値σを更新する。

式（２）中のμ０、μ１は、それぞれ、更新前の平均値μ及び更新後の平均値μを示している。式（３）中のσ０、σ１は、それぞれ、更新前の分散値σ及び更新後の分散値σを示している。式（２），（３）中のＸは、対象入力画素の画素値を示している。

式（２），（３）中のβは学習率を示しており、０＜β＜１である。式（２）での学習率βは、平均値μを現在の値を元にして更新する際に、現在の値に対して、対象入力画素の画素値Ｘをどの程度影響させるかを示している。学習率βが大きいほど、更新後の平均値μは、対象入力画素の画素値Ｘの影響を大きく受ける。したがって、学習率βが小さいほど平均値μは変化しにくくなる。また、式（３）での学習率βは、分散値σを現在の値を元にして更新する際に、現在の値に対して、対象入力画素の画素値Ｘをどの程度影響させるかを示している。学習率βが大きいほど、更新後の分散値σは、対象入力画素の画素値Ｘの影響を大きく受ける。したがって、学習率βが小さいほど分散値σは変化しにくくなる。

学習率α，βは例えば以下の式（４），（５）で表される。

式（４）に示されるように、学習率αは、基準値ＲＥＦに対して定数Ａを足し合わせた値である。また式（５）に示されるように、学習率βは、基準値ＲＥＦに対して定数Ｂを足し合わせた値である。基準値ＲＥＦは、固定値であって、学習率α，βで共通に使用される。定数Ａは学習率αに固有の値である。定数Ｂは学習率βに固有の値である。定数Ａと定数Ｂとは互いに異なっている。学習率α，βの値は、後述する学習率決定処理で決定される。

一方で、背景モデル更新部３２は、ステップｓ１２において、対象混合正規分布５１１に第１適合正規分布５１２が含まれていないと判定すると、ステップｓ１３を実行する。

ステップｓ１３において、背景モデル更新部３２は、対象入力画素の画素値を平均値μとした正規分布を新たに作成する。そして、背景モデル更新部３２は、対象混合正規分布５１１に対して新たに作成した正規分布を追加する。ただし、対象混合正規分布５１１に含まれる複数の正規分布５１２の数が上限値（例えば５）に達している場合には、背景モデル更新部３２は、対象混合正規分布５１１に含まれる複数の正規分布５１２のうちの一つ正規分布５１２を削除して、削除した正規分布５１２の代わりに新たに作成した正規分布を使用する。背景モデル更新部３２は、対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、例えば、重みｗが最小の正規分布５１２を削除する。

背景モデル更新部３２がステップｓ１３を実行すると、対象混合正規分布５１１の更新が完了する。つまりステップｓ１が終了する。また、背景モデル更新部３２がステップｓ１４を実行すると、対象混合正規分布５１１の更新が完了する。

背景モデル更新部３２は、ステップｓ１の後、ステップｓ２において、更新後の対象混合正規分布５１１に基づいて対象背景情報５０１を更新する。具体的には、背景モデル更新部３２は、更新後の対象混合正規分布５１１に含まれる複数の正規分布５１２から、背景情報５０１として使用する正規分布５１２を決定する。背景モデル更新部３２は、更新後の対象混合正規分布５１１に含まれる複数の正規分布５１１のうち、例えば、重みｗがしきい値ｔｈ＿ｗよりも大きい正規分布５１２を、背景情報５０１として使用することを決定する。更新後の対象混合正規分布５１１に含まれる複数の正規分布５１１において、重みｗがしきい値ｔｈ＿ｗよりも大きい正規分布５１２が複数存在する場合には、複数の正規分布５１２が、背景情報５０１として使用されると決定される。そして、背景モデル更新部３２は、現在の対象背景情報５０１を、決定した新たな背景情報５０１に置き換える。これにより、対象背景情報５０１が更新される。

なお背景更新部３２は、更新後の対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、重みｗがしきい値ｔｈ＿ｗ以上の正規分布５１２を、背景情報５０１として使用することを決定しても良い。

以上の説明から理解できるように、対象入力画素において、同程度の画素値が現れる頻度が大きくなれば、対象入力画素に現れる画素値に応じた正規分布５１２が対象入力画素に対応する背景情報５０１として採用されるようになる。したがって、対象入力画素において、同程度の画素値が現れる頻度が大きくなれば、対象入力画素は判定部３１において背景画素として判定されるようになる。一方で、対象入力画素において、同程度の画素値が現れる頻度が小さくなれば、その画素値に応じた背景正規分布５０１は削除される。したがって、対象入力画素において、同程度の画素値が現れる頻度が小さくなれば、対象入力画素は判定部３１において前景画素として判定されるようになる。

このように、背景モデル更新部３２は、対象入力画素において、同程度の画素値が現れる頻度に応じて、第１背景モデル５００に含まれる、対象入力画素に対応する背景情報５０１を更新している。以後、このような背景情報の更新を「頻度型背景更新」と呼ぶ。

以上のような第１背景モデル５００及びその更新方法を使用することによって、一時的に背景が変化する場合や、急激に背景が変化する場合であっても、適切に第１背景モデル５００を更新することが可能となる。

＜画像処理装置の動作段階＞
画像処理装置３の動作段階として、準備段階と実動作段階とが存在する。画像処理装置３は、準備段階において、第１背景モデル５００の初期学習処理を行う。第１背景モデル５００の初期学習処理では、人が存在しない室内３００が写る入力動画像１００に基づいて第１背景モデル５００が繰り返し更新される。画像処理装置３では、初期学習処理が完了すると、動作段階が準備段階から実動作段階へ移行する。画像処理装置３は、実動作段階において、入力動画像１００での前景領域を特定する。以後、初期学習処理で使用する、人が存在しない室内３００が写る入力動画像１００のフレーム画像１０１を特に「学習用フレーム画像１０１」と呼ぶ。初期学習では、カメラ２から学習用フレーム画像１０１が順次画像処理装置３に入力される。

＜準備段階での画像処理装置の動作＞
図１２は準備段階で行われる初期学習処理を示すフローチャートである。図１２に示されるように、ステップｓ２１において、画像処理装置３は、カメラ２から入力される学習用フレーム画像１０１を処理対象として、ステップｓ２２において前処理、前景判定処理及び第１背景モデル更新処理を行う。ステップｓ２２での第１背景モデル更新処理では、前処理部３０が出力する、学習用フレーム画像１０１に対応する入力フレーム画像１１１を構成する各入力画素について、上述の画素単位背景更新処理が行われる。これにより、第１背景モデル５００が１回更新される。

ステップｓ２２の後、画像処理装置３は、ステップｓ２３において、第１背景モデル５００を所定回数更新したか否かを判定する。画像処理装置３は、第１背景モデル５００を所定回数更新したと判定すると初期学習処理を終了する。一方で、画像処理装置３は、第１背景モデル５００を所定回数更新していないと判定すると、ステップｓ２１を再度実行して、カメラ２から新たに入力される学習用フレーム画像１０１を新たな処理対象として、ステップｓ２２において前処理、暫定判定処理及び第１背景モデル更新処理を行う。以後、画像処理装置３は同様に動作する。

このように、人が存在しない室内３００が写る入力動画像１００に基づいて第１背景モデル５００が繰り返し更新されることによって、記憶部５には、室内３００内の背景に応じた第１背景モデル５００が記憶される。

＜実動作段階での画像処理装置の動作＞
図１３は実働動作段階での画像処理装置３の動作の一例を示すフローチャートである。図１３に示されるように、ステップｓ３１において、画像処理装置３は、カメラ２から入力フレーム画像１０１が入力されると、入力された入力フレーム画像１０１を処理対象とする。次に、ステップｓ３２において、前処理部３０は、処理対象の入力フレーム画像１０１に対して前処理を行って、前処理後の処理対象の入力フレーム画像１０１を処理対象の入力フレーム画像１１１として出力する。

次にステップｓ３３において、動き特定部３３は、処理対象の入力フレーム画像１１１に基づいて動き特定処理を行う。

次にステップｓ３４において、第１マップ更新部４１は、ステップｓ３３で特定された動き領域に基づいて第１マップ更新処理を行う。

次にステップｓ３５において、第２マップ更新部４２は、ステップｓ３３で特定された動き領域に基づいて第２マップ更新処理を行う。

次にステップｓ３６おいて、背景モデル更新部３８は、処理対象の入力フレーム画像１１１に基づいて第２背景モデル５５０を更新する第２背景モデル更新処理を行う。

次にステップｓ３７において、暫定特定部３４は、処理対象の入力フレーム画像１１１に基づいて第１暫定特定処理を行う。

次にステップｓ３８において、静止対象物特定部３５は、ステップｓ３７で特定された第１候補領域と、ステップｓ３４で更新された第１マップ４１０とに基づいて、静止対象物特定処理を行う。

次にステップｓ３９において、第２マップ更新部４２は、ステップｓ３８で特定された静止対象物領域と、ステップｓ３４で更新された第１マップ４１０とに基づいて、第２マップ補正処理を行う。

次にステップｓ４０において、暫定特定部３６は、ステップｓ３９で補正された第２マップ４２０に基づいて第２暫定特定処理を行う。

次にステップｓ４１において、背景モデル更新部３２は、ステップｓ４０で特定された前景候補領域に基づいて、学習率α，βを決定する学習率決定処理を行う。

次にステップｓ４２において、判定部３１は、処理対象の入力フレーム画像１１１に基づいて前景判定処理を行う。そして、判定部３１は、前景判定処理の結果を示す判定結果画像１５０を生成する。

次にステップｓ４３において、背景モデル更新部３２は、ステップｓ４２での前景判定処理の結果に基づいて、ステップｓ４１で決定された学習率α，βを用いた第１背景モデル更新処理を行う。

次にステップｓ４４において、後処理部３７は、ステップｓ４２で生成された判定結果画像１５０に対して後処理を行って出力画像１５１を生成する。

画像処理装置３は、カメラ２から新たな入力フレーム画像１０１が入力されると（ステップｓ３１）、当該入力フレーム画像１０１を新たな処理対象として、ステップｓ３２〜ｓ４４を再度実行する。画像処理装置３は、以後同様に動作して、カメラ２から入力フレーム画像１０１が入力されるたびに（ステップｓ３１）、ステップｓ３２〜ｓ４４を実行する。

なお、図１３に示されるフローチャートは一例であって、画像処理装置３の動作フローは図１３の例に限られない。例えば、第２背景モデル更新処理は、第２マップ更新処理よりも前であって前処理よりも後に実行されても良い。また、後処理は、第１背景モデル更新処理の前であって前景判定処理の後に実行されても良い。

＜動き特定処理の詳細＞
次にステップｓ３３での動き特定処理について詳細に説明する。

動き特定処理において、動き特定部３３は、処理対象の入力フレーム画像１１１と、それよりもＭ（≧１）フレーム前の入力フレーム画像１１１との差分を示す差分画像を生成する。Ｍは例えば３に設定される。動き特定部３３は、各画素について、処理対象の入力フレーム画像１１１の画素値とＭフレーム前の入力フレーム画像１１１の画素値との差分を求めて、それによって得られる各画素の差分値を２値化することによって差分画像を生成する。したがって、差分画像は２値画像である。差分値を２値化する際のしきい値ｔｈ＿ａは例えば３に設定される。動き特定部３３は、画素の差分値の絶対値が３以上であれば、差分画像での当該画素の画素値を１とし、当該絶対値が３未満であれば、差分画像での当該画素の画素値を０とする。

本明細書では、ある値がしきい値以上のとき、ある処理を実行し、当該ある値が当該しきい値未満のとき、別の処理を実行するということは、当該ある値が当該しきい値よりも大きいとき、当該ある処理を実行し、当該ある値が当該しきい値以下のとき、当該別の処理を実行するということに置き換えることができる。したがって、動き特定部３３は、画素の差分値の絶対値がしきい値ｔｈ＿ａよりも大きければ、差分画像での当該画素の画素値を１とし、当該絶対値がしきい値ｔｈ＿ａ以下であれば、差分画像での当該画素の画素値を０としても良い。

同様に、ある値がしきい値よりも大きいとき、ある処理を実行し、当該ある値が当該しきい値以下のとき、別の処理を実行するということは、当該ある値が当該しきい値以上のとき、当該ある処理を実行し、当該ある値が当該しきい値未満のとき、当該別の処理を実行するということに置き換えることができる。

動き特定部３３は、処理対象の入力フレーム画像１１１と、それよりもＭフレーム前の入力フレーム画像１１１との差分を示す差分画像６００を生成すると、生成した差分画像６００において、処理対象の入力フレーム画像１１１と、Ｍフレーム前の入力フレーム画像１１１との間での物体の動きを示す動き領域を特定する。具体的には、動き特定部３３は、差分画像６００において、画素値が１の高輝度領域を特定し、特定した高輝度領域を動き領域とする。

図１４は差分画像６００の一例を示す図である。図１４に示される差分画像６００は、図４に示される入力フレーム画像１１１と、図５に示される入力フレーム画像１１１との差分を示す差分画像である。図１４では、画素値が１の高輝度領域６０１が白色で示されており、画素値が０の低輝度領域が黒色で示されている。図１４に示される高輝度領域６０１ａ，６０１ｂ，６０１ｃは、図４，５に示される２つの入力フレーム画像１１１の間での人２００ａ，２００ｂ，２００ｃの動きをそれぞれ示している。動き特定部３３では、高輝度領域６０１ａ，６０１ｂ，６０１ｃが動き領域として特定される。

＜第１及び第２マップ更新処理の詳細＞
次にステップｓ３４，ｓ３５での第１及び第２マップ更新処理について詳細に説明する。

図１５，１６は、それぞれ、第１マップ４１０及び第２マップ４２０の一例を示す図である。 図１５に示されるように、第１マップ４１０では、入力フレーム画像１１１に含まれる複数の入力画素にそれぞれ対応する複数の第１の値４１１が、当該複数の入力画素の当該入力フレーム画像１１１での位置に応じて並んでいる。第１マップ４１０での第１の値４１１の位置は、入力フレーム画像１１１での、当該第１の値４１１に対応する入力画素の位置と一致している。

同様に、第２マップ４２０では、図１６に示されるように、入力フレーム画像１１１に含まれる複数の入力画素にそれぞれ対応する複数の第２の値４２１が、当該複数の入力画素の当該入力フレーム画像１１１での位置に応じて並んでいる。第２マップ４２０での第２の値４２１の位置は、入力フレーム画像１１１での、当該第２の値４２１に対応する入力画素の位置と一致している。

ステップｓ３４での第１マップ更新処理において、第１マップ更新部４１は、第１マップ４１０における、ステップｓ３３で特定された動き領域（差分画像６００での高輝度領域）に対応する各第１の値４１１を、所定値だけ増加する。つまり、第１マップ更新部４１は、第１マップ４１０において、差分画像６００での動き領域（高輝度領域）の位置と同じ位置に存在する部分領域を特定し、当該部分領域内の各第１の値４１１を、所定値だけ増加する。この所定値を「第１増加量」と呼ぶ。

一方で、第１マップ更新部４１は、第１マップ４１０における、ステップｓ３３で特定された動き領域に対応しない各第１の値４１１を、所定値だけ減少する。つまり、第１マップ更新部４１は、第１マップ４１０において、差分画像６００での低輝度領域の位置と同じ位置に存在する部分領域を特定し、当該部分領域内の各第１の値４１１を、所定値だけ減少する。この所定値を「第１減少量」と呼ぶ。第１減少量は、例えば、第１増加量よりも小さな値に設定される。

以下に、第１増加量及び第１減少量が例えば１０及び５にそれぞれ設定された場合の第１マップ更新処理の具体例を図１７〜２３を用いて説明する。

図１８は、図１７に示される差分画像６００の一部の領域である部分領域６１０を拡大して示す図である。部分領域６１０は（８×８）個の画素６１１で構成されている。図１７に示される差分画像６００は図１４に示される差分画像６００と同じである。

図１９は、第１マップ４１０における、部分領域６１０に対応する部分領域４１３を示す図である。ステップｓ３３で生成された差分画像６００に、図１８に示される部分領域６１０が含まれる場合には、ステップｓ３４において、図１９に示されるように、第１マップ４１０の部分領域４１３では、部分領域６１０に含まれる高輝度領域（白色の領域）に対応する各第１の値４１１が１０だけ増加し、部分領域６１０に含まれる低輝度領域（黒色の領域）に対応する各第１の値４１１が５だけ減少する。本例では、第１の値４１１の最小値は０であるため、ステップｓ３４の実行前の第１マップ４１０の各第１の値４１１が０である場合には、部分領域４１５での各第１の値４１１は図２０に示されるようになる。

次のフレームでの処理対象の入力フレーム画像１１１に基づいて生成された差分画像６００に、図２１に示される部分領域６１０が含まれる場合には、ステップｓ３４において、図２２に示されるように、第１マップ４１０の部分領域４１３では、図２１の部分領域６１０に含まれる高輝度領域（白色の領域）に対応する各第１の値が１０だけ増加し、図２１の部分領域６１０に含まれる低輝度領域（黒色の領域）に対応する各第１の値が５だけ減少する。その結果、部分領域４１３での各第１の値４１１は図２３に示されるようになる。

第２マップ更新処理は第１マップ更新処理と同様に行われる。具体的には、ステップｓ３５での第２マップ更新処理において、第２マップ更新部４２は、第２マップ４２０における、ステップｓ３３で特定された動き領域に対応する第２の値４２１を、所定値だけ増加する。つまり、第２マップ更新部４２は、第２マップ４２０において、差分画像６００での動き領域（高輝度領域）の位置と同じ位置に存在する部分領域を特定し、当該部分領域内の各第２の値４２１を、所定値だけ増加する。この所定値を「第２増加量」と呼ぶ。一方で、第２マップ更新部４２は、第２マップ４２０における、ステップｓ３３で特定された動き領域に対応しない第２の値４２１を、所定値だけ減少する。つまり、第２マップ更新部４２は、第２マップ４２０において、差分画像６００での低輝度領域の位置と同じ位置に存在する部分領域を特定し、当該部分領域内の各第２の値４２１を、所定値だけ減少する。この所定値を「第２減少量」と呼ぶ。第２減少量は、例えば、第２増加量よりも小さな値に設定される。また例えば、第２増加量は第１増加量以上に設定され、第２減少量は第１減少量よりも大きく設定される。本例では、第２増加量は第１増加量よりも大きく設定される。このように、第２マップ４２０の第２増加量及び第２減少量を、第１マップ４１０の第１増加量及び第１減少量よりもそれぞれ大きく設定することによって、第２マップ４１０は、処理対象の入力フレーム画像１１１の最近の変化の影響を強く受ける。これに対して、 第１マップ４１０は、処理対象の入力フレーム画像１１１の最近の変化の影響をあまり受けない。なお、第２増加量は第１増加量と同じであっても良い。

以上のように、第１マップ更新処理では、差分画像６００における、フレーム間の物体の動きを示す動き領域に対応する第１の値４１１が増加し、当該動き領域に対応しない第１の値４１１が減少する。このように第１マップ４１０が繰り返し更新されることによって、第１マップ４１０では、室内において物体の動きが発生する頻度が最近高い場所に対応する第１の値４１１が大きな値を示しやすくなる。言い換えれば、第１マップ４１０では、差分画像６００において物体の動きが現れる頻度が最近高い領域に対応する第１の値４１１が大きな値を示しやすくなる。したがって、第１マップ４１０では、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する第１の値４１１が大きな値を示しやすくなる。

同様にして、第２マップ４２０では、室内において物体の動きが発生する頻度が最近高い場所に対応する第２の値４２１が大きな値を示しやすくなる。したがって、第２マップ４２０では、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する第２の値４２１が大きな値を示しやすくなる。

また本例では、第１マップ４１０についての第１減少量が、第２マップ４２０についての第２減少量よりも小さく設定されている。そのため、第１マップ４１０では、室内において物体の動きが発生しなくなった場所に対応する第１の値４１１は小さくなりにくい。よって、室内において動いていた人が静止している場合、第１マップ４１０では、室内においてその静止している人が存在する場所付近に対応する第１の値４１１は、その人が静止した後においても比較的長い間大きな値を示しやすくなる。その結果、第１マップ４１０では、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する第１の値４１１だけではなく、処理対象の入力フレーム画像１１１における、最近まで動いていたが現在は静止している人が写る領域付近に対応する第１の値４１１も大きな値を示しやすくなる。

これに対して、第２減少量が大きい第２マップ４２０では、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する第２の値４２１は大きな値を示しやすいものの、処理対象の入力フレーム画像１１１における、最近まで動いていたが現在は静止している人が写る領域付近に対応する第２の値４１２は、第２マップ更新処理だけでは小さな値を示しやすい。

また、室内において机等の非移動体が移動させられた場合、第１マップ４１０では、室内において移動後の非移動体が存在する場所に対応する第１の値４１１は、当該非移動体が移動させられた後、比較的長い間大きな値を示しやすい。よって、第１マップ４１０では、処理対象の入力フレーム画像１１１における、最近移動させられた机等の非移動体が写る領域付近に対応する第１の値４１１は大きな値を示しやすい。これに対して、第２マップ４２０では、室内において移動後の非移動体が存在する場所に対応する第２の値４１２は、当該非移動体が移動させられた後、比較的すぐに小さな値となりやすい。よって、第２マップ４２０では、処理対象の入力フレーム画像１１１における、最近移動させられた机等の非移動体が写る領域付近に対応する第２の値４２１は小さな値を示しやすい。

また、室内において机等の非移動体が移動させられた場合、第１マップ４１０では、室内において移動前の非移動体が存在していた場所に対応する第１の値４１１は、当該非移動体が移動させられた後、比較的長い間大きな値を示しやすい。よって、第１マップ４１０では、処理対象の入力フレーム画像１１１における、最近移動させられた机等の非移動体が移動前に写っていた領域付近に対応する第１の値４１１は大きな値を示しやすい。これに対して、第２マップ４２０では、室内において移動前の非移動体が存在していた場所に対応する第２の値４２１は、当該非移動体が移動させられた後、比較的すぐに小さな値となりやすい。よって、第２マップ４２０では、処理対象の入力フレーム画像１１１における、最近移動させられた机等の非移動体が移動前に写っていた領域付近に対応する第２の値４２１は小さな値を示しやすい。

以後、第１マップ４１０を「長期保存マップ４１０」と呼び、第２マップ４２０を「短期保存マップ４２０」と呼ぶことがある。

図２４は差分画像６００の一例を示す図である。図２５は、図２４に示される差分画像６００が得られた際の短期保存マップ４２０を画像化した短期保存マップ画像６５２の一例を示す図である。短期保存マップ画像６５２の元になる短期保存マップ４２０についての第２増加量及び第２減少量は例えばそれぞれ３０及び２０である。図２６は、図２４に示される差分画像６００が得られた際の長期保存マップ４１０を画像化した長期保存マップ画像６５１の一例を示す図である。長期保存マップ画像６５１の元になる長期保存マップ４１０についての第１増加量及び第１減少量は例えばそれぞれ２０及び２である。短期保存マップ画像６５２での各画素の画素値は、短期保存マップ４２０における、当該画素に対応する第２の値４２１と一致している。同様に、長期保存マップ画像６５１での各画素の画素値は、長期保存マップ４１０における、当該画素に対応する第１の値４１１と一致している。短期保存マップ画像６５２及び長期保存マップ画像６５１はグレースケール画像である。図２５，２６に示される短期保存マップ画像６５２及び長期保存マップ画像６５１では、画素値が０の領域が黒色が示され、画素値が大きいほど白色に近づくように示されている。図２５，２６から理解できるように、長期保存マップ４１０では、短期保存マップ４２０と比較して、１以上の値を示す領域の範囲が大きくなっている。

＜第２背景モデル更新処理の詳細＞
次にステップｓ３６での第２背景モデル更新処理について詳細に説明する。

第２背景モデル５５０には、入力フレーム画像１１１を構成する複数の入力画素にそれぞれ対応する複数の背景情報が含まれている。背景モデル５５０に含まれる背景情報は、背景画素の画素値（以後、「背景画素値」と呼ぶ）で構成されている。背景モデル５５０に含まれる複数の背景画素値の初期値としては、例えば、人が存在しない室内３００が写る入力フレーム画像１１１を構成する複数の画素の画素値がそれぞれ採用される。

背景モデル更新部３８は、背景モデル更新部３２が第１背景モデル５００を更新する方法とは異なる方法で第２背景モデル５５０を更新する。背景モデル更新部３８は、入力フレーム画像１１１に含まれる対象入力画素の画素値が一定期間連続して同程度の値を示す場合に、当該画素値に基づいて、第２背景モデル５５０における、対象入力画素に対応する背景画素値を更新する。背景モデル更新部３８は、第２背景モデル５５０の各背景画素値を同様に更新する。以後、対象入力画素の画素値を「対象入力画素値」と呼ぶことがある。また、第２背景モデル５５０での、対象入力画素に対応する背景画素値を「対応背景画素値」と呼ぶことがある。

図２７は対象入力画素に関する背景モデル更新部３８の動作を示すフローチャートである。背景モデル更新部３８は、処理対象の入力フレーム画像１１１の対象入力画素値に基づいて図２７に示される一連の処理を実行する。また、背景モデル更新部３８は、処理対象の入力フレーム画像１１１の各入力画素について図２７に示される一連の処理を実行する。

図２７に示されるように、背景モデル更新部３８は、ステップｓ５１において、処理対象の入力フレーム画像１１１の対象入力画素の画素値が、第２背景モデル５５０に含まれる対応背景画素値に一致するか否かを判定する。ステップｓ５１において、対象入力画素値が対応背景画素値に一致すると判定されると、背景モデル更新部３８は、ステップｓ５４においてカウント値をリセットして零に設定する。一方で、ステップｓ５１において、対象入力画素値が対応背景画素値に一致しないと判定されると、背景モデル更新部３８はステップｓ５２を実行する。

ステップｓ５２では、背景モデル更新部３８は、前回のフレームでの第２背景モデル更新処理でのステップｓ５１において、対象入力画素値が対応背景画素値と一致すると判定されたか否かを判断する。つまり、背景モデル更新部３８は、処理対象の入力フレーム画像１１１よりも１フレーム前の入力フレーム画像１１１での対象入力画素の画素値が対応背景画素値と一致するとステップｓ５１で判定されたか否かを判断する。背景モデル更新部３８は、前回のフレームでのステップｓ５１において、対象入力画素値が対応背景画素値と一致すると判定されたと判断すると、ステップｓ５３において、処理対象の入力フレーム画像１１１の対象入力画素の画素値を基準画素値とする。そして、ステップｓ５４において、背景モデル更新部３８はカウント値をリセットする。

このように、背景モデル更新部３８は、現在のフレームにおいて、対象入力画素値が対応背景画素値と一致しない場合、前回のフレームにおいて、対象入力画素値が対応背景画素値と一致すると判定されていたときには、現在のフレームでの対象入力画素値を基準画素値とし、カウント値をリセットする。

一方で、ステップｓ５２において、背景モデル更新部３８は、前回のフレームでのステップｓ５１において、対象入力画素値が対応背景画素値と一致しないと判定されたと判断すると、ステップｓ５５を実行する。ステップｓ５５において、背景モデル更新部３８は、処理対象の入力フレーム画像１１１の対象入力画素値が基準画素値と同程度であるか否かを判断する。例えば、背景モデル更新部３８は、処理対象の入力フレーム画像１１１の対象入力画素値と基準画素値との差分の絶対値がしきい値ｔｈ＿ｂ未満の場合、対象入力画素値が基準画素値と同程度であると判断する。一方で、背景モデル更新部３８は、当該絶対値がしきい値ｔｈ＿ｂ以上の場合、対象入力画素値が基準画素値と同程度ではないと判断する。

背景モデル更新部３８は、対象入力画素値が基準画素値と同程度ではないと判断すると、ステップｓ５４を実行して、カウント値をリセットする。一方で、背景モデル更新部３８は、対象入力画素値が基準画素値と同程度であると判断すると、ステップｓ５６において、カウント値を１つだけ増加する。そして、ステップｓ５７において、背景モデル更新部３８は、カウント値がしきい値ｔｈ＿ｃ以上であるか否かを判定する。しきい値ｔｈ＿ｃは、例えば１００に設定される。

背景モデル更新部３８は、カウント値がしきい値ｔｈ＿ｃ以上であると判定すると、ステップｓ５８において、対象入力画素値に基づいて対応背景画素値を更新する。背景モデル更新部３８は、例えば、基準画素値を、対応背景画素値の新たな値として採用することによって、対応背景画素値を更新する。なお、背景モデル更新部３８は、基準画素値が設定されてから現在まで得られた、対象入力画素についての複数の画素値（基準画素値を含む）の平均値を、対応背景画素値の新たな値として採用しても良い。

背景モデル更新部３８は、対応背景画素値を更新すると、次の入力フレーム画像１１１（新たな処理対象の入力フレーム画像１１１）での対象入力画素についてステップｓ５１を実行する。以後、背景モデル更新部３８は同様に動作する。

一方で、背景モデル更新部３８は、カウント値がしきい値ｔｈ＿ｃ未満であると判定すると、次の入力フレーム画像１１１での対象入力画素についてステップｓ５１を実行する。以後、背景モデル更新部３８は同様に動作する。

なお、背景モデル更新部３８は、ステップｓ５１において、対象入力画素値が対応背景画素値と同程度であるか否かを判定しても良い。この場合には、対象入力画素値が対応背景画素値と同程度であると判定されるときステップｓ５４が実行され、対象入力画素値が対応背景画素値と同程度ではないと判定されるときステップｓ５２が実行される。また、ステップｓ５２では、前回のフレームでのステップｓ５１において、対象入力画素値が対応背景画素値と同程度であると判定された否かが判断される。対象入力画素値が対応背景画素値と同程度であるか否かは、例えば、対象入力画素値と対応背景画素値の差分の絶対値としきい値ｔｈ＿ｄとの比較結果に基づいて判定される。例えば、背景モデル更新部３８は、対象入力画素値と対応背景画素値の差分の絶対値がしきい値ｔｈ＿ｄ未満のときに、対象入力画素値が対応背景画素値と同程度であると判定し、当該絶対値がしきい値ｔｈ＿ｄ以上のときに、対象入力画素値が対応背景画素値と同程度ではないと判定する。

背景モデル更新部３８が以上のように動作することによって、入力画素の画素値が、複数フレームの間（一定期間）連続して同程度の値を示す場合、当該画素値に基づいて、第２背景モデル５５０における、当該入力画素に対応する背景情報（背景画素値）が更新される。以後、このような背景情報の更新を「連続型背景更新」と呼ぶことがある。

＜第１暫定特定処理の詳細＞
次にステップｓ３７での第１暫定特定処理について詳細に説明する。

本例では、暫定特定部３４は、例えばＰＳＡ（Pixel State Analysis）を用いて、処理対象の入力フレーム画像１１１において、静止している人が写る静止対象物領域の候補である第１候補領域を特定する。ＰＳＡとは、画素の状態（以後、「画素状態」と呼ぶ）を、背景（Background：ＢＧ）、静状態（Stationary：ＳＴ）及び動状態（Transient：ＴＲ）の三つの状態に分ける手法である。画素状態がＢＲの画素は、背景を示す画素である。画素状態がＳＴの画素は、静止している人を示す画素である。そして、画素状態がＴＲの画素は、動いている人を示す画素である。暫定特定部３４は、処理対象の入力フレーム画像１１１の各画素についての画素状態が、ＢＧであるのか、ＳＴであるのか、ＴＲであるのかを判定する。暫定特定部３４は、処理対象の入力フレーム画像１１１において、ＳＴであると判定された画素が存在する領域に基づいて第１候補領域を特定する。なお、暫定特定部３４は、ＰＳＡ以外の方法で第１候補領域を特定しての良い。暫定特定部３４は、例えばオプティカルフローを用いて第１候補領域を特定しても良い。

以下にＰＳＡの一例について説明する。

＜ＰＳＡの一例＞
ここでは、ある入力フレーム画像１１１をＷフレーム目の入力フレーム画像１１１とし、Ｗフレーム目の入力フレーム画像１１１の各画素の画素状態をＰＳＡを用いて判定する方法について説明する。以後、Ｗフレーム目の入力フレーム画像１１１を「注目入力フレーム画像１１１」と呼ぶことがある。

注目入力フレーム画像１１１の各画素の画素状態をＰＳＡを用いて判定する場合には、図２８に示されるように、注目入力フレーム画像１１１（Ｗフレーム目の入力フレーム画像１１１）と、注目入力フレーム画像１１１よりも前に撮影された（Ｗ−Ｋ）フレーム目から（Ｗ−１）フレーム目のＫ枚（Ｋ≧２）の入力フレーム画像１１１と、注目入力フレーム画像１１１よりも後に撮影された（Ｗ＋１）フレーム目から（Ｗ＋Ｋ）フレーム目のＫ枚の入力フレーム画像１１１とが使用される。つまり、（Ｗ−Ｋ）フレーム目から（Ｗ＋Ｋ）フレーム目までの（２Ｋ＋１）枚の入力フレーム画像１１１が使用される。Ｋは例えば５に設定される。

そして、Ｗフレーム目から（Ｗ＋Ｋ）フレーム目の入力フレーム画像１１１で構成される第１フレーム画像群１２１Ｔが使用されて第１評価値Ｔが算出され、（Ｗ−Ｋ）フレーム目からＷフレーム目の入力フレーム画像１１１で構成される第２フレーム画像群１２１Ｓが使用されて第２評価値Ｓが算出される。第１評価値Ｔ及び第２評価値Ｓのそれぞれは、入力フレーム画像１１１の各入力画素について求められる。

対象入力画素についての第１評価値Ｔは以下の式（６）で表される。

式（６）中のＩｔは、注目入力フレーム画像１１１（Ｗフレーム目の入力フレーム画像１１１）の対象入力画素値（輝度）を示している。Ｉ（ｔ＋ｊ）は、（Ｗ＋ｊ）フレーム目の入力フレーム画像１１１の対象入力画素値（輝度）を示している。式（６）に示されるように、第１評価値Ｔは、注目入力フレーム画像１１１の対象入力画素値と、（Ｗ＋１）フレーム目から（Ｗ＋Ｋ）フレーム目までの入力フレーム画像１１１のそれぞれの対象入力画素値との間の差分値の絶対値のうちの最大値を意味している。したがって、注目入力フレーム画像１１１の対象入力画素値を基準にして、（Ｗ＋１）フレーム目から（Ｗ＋Ｋ）フレーム目までのＫフレームの間において対象入力画素値の急激な変化が発生した場合に、第１評価値Ｔは大きくなる。第１評価値Ｔは、それに対応する入力画素の画素値の変化量を示しているとも言える。

一方で、対象入力画素についての第２評価値Ｓは以下の式（７）で表される。

式（７）中のＩ（ｔ−ｊ）は、（Ｗ−ｊ）フレーム目の入力フレーム画像１１１の対象入力画素値（輝度）を示している。式（７）に示されるように、第２評価値Ｓは、（Ｗ−Ｋ）フレーム目からＷフレーム目までの入力フレーム画像１１１の間において、対象入力画素値がどの程度を分散しているかを示している。（Ｗ−Ｋ）フレーム目からＷフレーム目までの入力フレーム画像１１１の間における、対象入力画素値の分散が大きければ、第２評価値Ｓは大きくなる。言い換えれば、（Ｗ−Ｋ）フレーム目からＷフレーム目までの入力フレーム画像１１１において対象入力画素値が安定していれば、第２評価値Ｓは小さくなる。第２評価値Ｓは、それに対応する入力画素の画素値の安定度を示していると言える。

注目入力フレーム画像１１１の対象入力画素の画素状態は、注目入力フレーム画像１１１を含む、（Ｗ−Ｋ）フレーム目から（Ｗ＋Ｋ）フレーム目までの入力フレーム画像１１１に基づいて求められた、対象入力画素についての第１評価値Ｔ及び第２評価値Ｓに基づいて判定される。

図２９は画素状態の状態遷移図を示す図である。対象入力画素の画素状態は、現在の状態と、対象入力画素についての第１評価値Ｔ及び第２評価値Ｓと、第２背景モデル５５０における、対象入力画素に対応する背景画素値（対応背景画素値）とに基づいて決定される。各入力画素の画素状態の初期値は例えばＢＧとなっている。

以下に、現在の状態がＢＧであるのか、ＴＲであるのか、ＳＴであるのかに分けて、対象入力画素の画素状態がどのようにして決定されるのかについて説明する。

＜現在の状態がＢＧである場合＞
現在の状態がＢＧである対象入力画素の画素状態は、対象入力画素の第１評価値Ｔがしきい値ｔｈ＿ｔ以下のとき、ＢＧに決定される。つまり、対象入力画素の画素状態がＢＧで維持される。また、対象入力画素の第１評価値Ｔがしきい値ｔｈ＿ｔよりも大きく、かつ対象入力画素の第２評価値Ｓがしきい値ｔｈ＿ｓよりも小さく、かつ対象入力画素値が対応背景画素値と同程度である場合には、対象入力画素の画素状態はＢＧに決定される。例えば、対象入力画素値と対応背景画素値との差分値の絶対値がしきい値ｔｈ＿ｅ未満のとき、対象入力画素値は対応背景画素値と同程度であるとされ、当該絶対値がしきい値ｔｈ＿ｅ以上のとき、対象入力画素値は対応背景画素値と同程度ではないとされる。

また、現在の状態がＢＧである対象入力画素の画素状態は、第１評価値Ｔがしきい値ｔｈ＿ｔよりも大きい場合であって、上記のＢＧに留まる条件に合致しない場合、ＢＧからＴＲに遷移する。具体的には、現在の状態がＢＧである対象入力画素の画素状態は、第１評価値Ｔがしきい値ｔｈ＿ｔよりも大きく、かつ第２評価値Ｓがしきい値ｔｈ＿ｓ以上の場合、ＢＧからＴＲに遷移する。さらに、現在の状態がＢＧである対象入力画素の画素状態は、第１評価値Ｔがしきい値ｔｈ＿ｔよりも大きく、かつ対象入力画素値が対応背景画素値と同程度では無い場合、ＢＧからＴＲに遷移する。上述のように、例えば、対象入力画素値と対応背景画素値との差分値の絶対値がしきい値ｔｈ＿ｅ以上のとき、対象入力画素値は対応背景画素値と同程度ではないと判定される。

このように、ＢＧである対象入力画素の画素状態は、第１評価値Ｔ及び第２評価値Ｓの両方が大きい場合に、つまり、対象入力画素値に急激な変化が発生し、かつ対象入力画素値が安定していない場合に、ＴＲに遷移する。さらに、ＢＧである対象入力画素の画素状態は、第１評価値Ｔが大きく、かつ対象入力画素値が対応背景画素値と同程度ではない場に、つまり、対象入力画素値に急激な変化が発生し、かつ対象入力画素値が対応背景画素値と明確に異なる場合に、ＴＲに遷移する。撮影領域において、背景である位置に、動いている人が現れるときには、当該位置に対応する入力画素の画素値は、急激に変化し、安定せず、当該入力画素に対応する背景画素値と明確に異なるようになる。したがって、撮影領域において、背景である位置に、動いている人が現れるときには、当該位置に対応する入力画素の画素状態はＢＲからＴＲに遷移する。

＜現在の状態がＴＲである場合＞
現在の状態がＴＲである対象入力画素の画素状態は、対象入力画素の第２評価値Ｓがしきい値ｔｈ＿ｓ以上のとき、ＴＲに決定される。つまり、対象入力画素の画素状態がＴＲで維持される。また、対象入力画素の第２評価値Ｓがしきい値ｔｈ＿ｓよりも小さく、かつ対象入力画素値が対応背景画素値と同程度である場合には、対象入力画素の画素状態はＢＧに決定される。そして、現在の状態がＴＲである対象入力画素の画素状態は、第２評価値Ｓがしきい値ｔｈ＿ｓよりも小さく、かつ対象入力画素値が対応背景画素値と同程度ではない場合には、ＳＴに決定される。

このように、ＴＲである対象入力画素の画素状態は、第２評価値Ｓが小さく、かつ対象入力画素値が対応背景画素値と同程度である場合、つまり、対象入力画素値が安定しており、対象入力画素値が対応背景画素値と同程度である場合、ＴＲからＢＧに遷移する。撮影領域において、動いている人が存在する位置から、当該人が存在しなくなって、当該位置に背景が現れた場合、当該位置に対応する入力画素の画素値は、安定し、かつ当該入力画素に対応する背景画素値と同程度になる。したがって、撮影領域において、動いている人が存在する位置から、当該人が存在しなくなって、当該位置に背景が現れた場合、当該位置に対応する入力画素の画素状態がＴＲからＢＧに遷移する。

また、ＴＲである対象入力画素の画素状態は、第２評価値Ｓが小さく、かつ対象入力画素値が対応背景画素値と同程度ではない場合、つまり、対象入力画素値が安定しており、対象入力画素値が対応背景画素値と明確に異なる場合、ＴＲからＳＴに遷移する。撮影領域において、ある位置で動いている人が静止した場合、当該位置に対応する入力画素の画素値は、安定し、かつ当該入力画素に対応する背景画素値と同程度にはならない。したがって、撮影領域において、ある位置で動いている人が静止した場合、当該位置に対応する入力画素の画素状態がＴＲからＳＴに遷移する。

＜現在の状態がＳＴである場合＞
現在の状態がＳＴである対象入力画素の画素状態は、対象入力画素の第１評価値Ｔがしきい値ｔｈ＿ｔ以下のとき、ＳＴに決定される。つまり、対象入力画素の画素状態がＳＴで維持される。また、対象入力画素の第１評価値Ｔがしきい値ｔｈ＿ｔよりも大きく、かつ対象入力画素値が対応背景画素値と同程度ではない場合には、対象入力画素の画素状態はＴＲに決定される。そして、現在の状態がＳＴである対象入力画素の画素状態は、対象入力画素値が対応背景画素値と同程度である場合には、ＢＧに決定される。

このように、ＳＴである対象入力画素の画素状態は、第１評価値Ｔが大きく、かつ対象入力画素値が対応背景画素値と同程度ではない場合、つまり、対象入力画素値が急激に変化し、かつ対象入力画素値が対応背景画素値と明確に異なる場合、ＳＴからＴＲに遷移する。撮影領域において、ある位置で静止している人が動き出した場合、当該ある位置に対応する入力画素の画素値は、急激に変化し、かつ当該入力画素に対応する背景画素値と同程度にはならない。したがって、撮影領域において、ある位置で静止している人が動き出した場合、当該ある位置に対応する入力画素の画素状態がＳＴからＴＲに遷移する。

また、ＳＴである対象入力画素の画素状態は、対象入力画素値が対応背景画素値と同程度である場合、ＳＴからＢＧに遷移する。撮影領域において、静止している人が存在する位置から、当該人が存在しなくなって、当該位置に背景が現れた場合、当該位置に対応する入力画素の画素値は、安定し、かつ当該入力画素に対応する背景画素値と同程度になる。したがって、撮影領域において、静止している人が存在する位置から、当該人が存在しなくなって、当該位置に背景が現れた場合、当該位置に対応する入力画素の画素状態がＳＴからＢＧに遷移する。

本例に係るＰＳＡでは、以上のようにして、注目入力フレーム画像１１１の各入力画素の画素状態が判定される。

なお、図２９に示されるＴ≦ｔｈ＿ｔは、Ｔ＜ｔｈ＿ｔに置き換えても良い。この場合、図２９に示されるＴ＞ｔｈ＿ｔは、Ｔ≧ｔｈ＿ｔに置き換えられる。また、図２９に示されるＳ＜ｔｈ＿ｓは、Ｓ≦ｔｈ＿ｓに置き換えても良い。この場合、図２９に示されるＳ≧ｔｈ＿ｓは、Ｓ＞ｔｈ＿ｓに置き換えられる。

また、ＰＳＡにおいて画素状態が決定される各種条件は、上記で説明した条件に限られない。

図３０は第１暫定特定処理の一例を示すフローチャートである。図３０に示されるように、ステップｓ６１において、暫定特定部３４は、処理対象の入力フレーム画像１１１の各入力画素の画素状態を判定する。ステップｓ６１において、暫定特定部３４は、処理対象の入力フレーム画像１１１を、（Ｗ＋Ｋ）フレーム目の入力フレーム画像１１１として、注目フレーム入力画像１１１の各入力画素の画素状態を上述のようにして判定する。言い換えれば、暫定特定部３４は、処理対象の入力フレーム画像１１１を、（Ｗ＋Ｋ）フレーム目の入力フレーム画像１１１として、処理対象の入力フレーム画像１１１よりもＫフレーム前の入力フレーム画像１１１の各入力画素の画素状態を判定する。そして、暫定特定部３４は、注目入力フレーム画像１１１の各入力画素の画素状態を、処理対象の入力フレーム画像１１１の各入力画素の画素状態とする。つまり、暫定特定部３４は、注目入力フレーム画像１１１の対象入力画素の画素状態を、処理対象の入力フレーム画像１１１の対象入力画素の画素状態として使用する。処理対象の入力フレーム画像１１１の撮影タイミングと、注目入力フレーム画像１１１の撮影タイミングとの間にはあまり差が無いことから（本例では５フレーム）、注目入力フレーム画像１１１の対象入力画素の画素状態を、処理対象の入力フレーム画像１１１の対象入力画素の画素状態として使用することができる。

次にステップｓ６２において、暫定特定部３４は、処理対象の入力フレーム画像１１１において、画素状態がＳＴであると判定された画素が存在する領域（以後、「ＳＴ領域」と呼ぶことがある）の範囲を示すＳＴ２値画像６８０を生成する。ＳＴ２値画像６８０は、処理対象の入力フレーム画像１１１において、ＳＴ領域の各画素値を１に設定し、ＳＴ領域以外の領域の各画素値を０に設定したものである。図３１は、ＳＴ２値画像６８０の一例を示す図である。図３１では、ＳＴ２値画像６８０において、画素値が１の領域が白色で示されている。

なお、図３２は、処理対象の入力フレーム画像１１１において、画素状態がＴＲであると判定された画素が存在する領域（以後、「ＴＲ領域」と呼ぶことがある）の範囲を示すＴＲ２値画像６９０を示す図である。ＴＲ２値画像６９０は、処理対象の入力フレーム画像１１１において、ＴＲ領域の各画素値を１に設定し、ＴＲ領域以外の領域の各画素値を０に設定したものである。図３２では、ＴＲ２値画像６９０において、画素値が“１”の領域が白色で示されている。

次にステップｓ６３において、暫定特定部３４は、ＳＴ２値画像６８０における、画素値が“１”を示す領域に対して、４連結あるいは８連結等を用いたラベリングを行う。このとき、暫定特定部３４は、ラベリングによって得られた複数の独立領域のうち、面積が小さすぎる独立領域を削除しても良い。つまり、暫定特定部３４は、ラベリングによって得られた複数の独立領域のうち、画素数がしきい値ｔｈ＿ｎよりも小さい独立領域を削除しても良い。これによりノイズ除去が可能となる。なお、暫定特定部３４は、ラベリングによって得られた複数の独立領域のうち、画素数がしきい値ｔｈ＿ｎ以下の独立領域を削除して良い。

次にステップｓ６４において、暫定特定部３４は、得られた各独立領域（各連結領域）の外接矩形６８１を求める。図３３は、図３１に示されるＳＴ２値画像６８０から得られた外接矩形６８１を示す図である。図３３には、４つの外接矩形６８１ａ〜６８１ｄが示されている。図３３では、外接矩形６８１ａ〜６８１ｄの輪郭が示されている。処理対象の入力フレーム画像１１１における、外接矩形６８１ａ〜６８１ｄに対応する領域には、静止している人が写る可能性が高い。つまり、撮影領域（室内）における、外接矩形６８１ａ〜６８１ｄに対応する領域には、静止している人が存在する可能性が高い。

次にステップｓ６５において、暫定特定部３４は、処理対象の入力フレーム画像１１１において、各外接矩形６８１に対応する領域を、静止している人が写る静止対象物領域の候補である第１候補領域７００とする。つまり、暫定特定部３４は、処理対象の入力フレーム画像１１１において、ＳＴ２値画像６８０での各外接矩形６８１の位置と同じ位置に存在する領域を第１候補領域７００とする。図３４は、図３３に示される外接矩形６８１ａ〜６８１ｄにそれぞれ対応する第１候補領域７００ａ〜７００ｄを示す図である。図３４では、左側に外接矩形６８１ａ〜６８１ｄが示され、右側に第１候補領域７００ａ〜７００ｄが示される。

以上のように、暫定特定部３４は、処理対象の入力フレーム画像１１１の各入力画素についての第１評価値Ｔ及び第２評価値Ｓに基づいて、処理対象の入力フレーム画像１１１において、静止している人が写る静止対象物領域の候補である第１候補領域７００を特定する。

なお、注目入力フレーム画像１１１の各画素の画素状態を求めるために使用される入力フレーム画像１１１は上記の図２８に示される例に限られない。例えば、Ｗフレーム目の各画素の画素状態を求めるために、Ｗフレームよりも前のフレームの入力フレーム画像１１１だけが使用されても良い。例えば、Ｗフレーム目の各画素の画素状態を求めるために、図３５に示されるように、（Ｗ−２Ｋ）フレーム目から（Ｗ−１）フレーム目までの入力フレーム画像１１１が使用されても良い。この場合には、Ｗフレーム目の入力フレーム画像１１１が処理対象の入力フレーム画像１１１となる。また、第１評価値Ｔは、例えば、（Ｗ−Ｋ）フレーム目からＷフレーム目の入力フレーム画像１１１で構成される第１フレーム画像群１２２Ｔが使用されて求められる。そして、第２評価値Ｓは、（Ｗ−２Ｋ）フレーム目から（Ｗ−Ｋ）フレーム目の入力フレーム画像１１１で構成される第２フレーム画像群１２２Ｓが使用されて求められる。

＜静止対象物特定処理の詳細＞
次にステップｓ３８での静止対象物特定処理について詳細に説明する。図３６は静止対象物特定処理の一例を示すフローチャートである。図３６に示されるように、ステップｓ３８での静止対象物特定処理では、まずステップｓ７１において、静止対象物特定部３５は、ステップｓ３４で更新された長期保存マップ４１０（第１マップ４１０）を２値化して２値化マップを生成する。具体的には、静止対象物特定部３５は、長期保存マップ４１０において、０よりも大きい各第１の値４１１を１に設定し、０の第１の値４１１を０に設定して、２値化マップを生成する。

次にステップｓ７２において、静止対象物特定部３５は、ステップｓ７１で得られた２値化マップにおける、値が１を示す領域に対して、４連結あるいは８連結等を用いたラベリングを行う。

なお、ステップｓ７２において、静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、面積が大きすぎる独立領域は削除しても良い。つまり、静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、画素数がしきい値ｔｈ＿ｆよりも大きい独立領域は削除しても良い。これによりノイズ除去が可能となる。静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、画素数がしきい値ｔｈ＿ｆ以上の独立領域を削除して良い。

また、静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、幅（左右方向の長さ）が小さすぎる独立領域は削除しても良い。つまり、静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、幅方向（左右方向）の画素数がしきい値ｔｈ＿ｇよりも小さい独立領域を削除しても良い。これによりノイズ除去が可能となる。静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、幅方向の画素数がしきい値ｔｈ＿ｇ以下の独立領域を削除して良い。

また、静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、高さ（上下方向の長さ）が小さすぎる独立領域を削除しても良い。つまり、静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、高さ方向（左右方向）の画素数がしきい値ｔｈ＿ｈよりも小さい独立領域は削除しても良い。これによりノイズ除去が可能となる。静止対象物特定部３５は、ラベリングによって得られた複数の独立領域のうち、高さ方向の画素数がしきい値ｔｈ＿ｈ以下の独立領域を削除して良い。

次にステップｓ７３において、静止対象物特定部３５は、ステップｓ７２で得られた各独立領域の外接矩形７２０を求める。

図３７は、ステップｓ７１で２値化される長期保存マップ４１０の一例を画像化した長期保存マップ画像６５１を示す図である。図３７では、長期保存マップ画像６５１に対応する長期保存マップ４１０に基づいて求められた外接矩形７２０が、長期保存マップ画像６５１に重ねて示されている。図３７には一つの外接矩形７２０が示されている。また図３７には、図３３に示される外接矩形６８１ａ〜６８１ｄも長期保存マップ画像６５１に重ねて示されている。図３７では、外接矩形７２０及び外接矩形６８１ａ〜６８１ｄの輪郭が示されている。

次にステップｓ７４において、静止対象物特定部３５は、ステップｓ３７で特定された第１候補領域７００と、ステップｓ７３で得られた外接矩形７２０とに基づいて、処理対象の入力フレーム画像１１１において、静止している人が写る静止対象物領域を特定する。具体的には、まず静止対象物特定部３５は、処理対象の入力フレーム画像１１１において、各外接矩形７２０に対応する対応領域７３０を求める。図３８は、図３７に示される外接矩形７２０に対応する対応領域７３０を示す図である。図３８には、図３４に示される第１候補領域７００ａ〜７００ｄも示されている。

静止体対象物特定部３５は、求めた対応領域７３０のうち、少なくとも一つの第１候補領域７００を包含する包含対応領域７３０を特定する。例えば、第１候補領域７００のすべての頂点が対応領域７３０内に存在するとき、当該第１候補領域７００は当該対応領域７３０に包含されるとする。図３８に示される対応領域７３０は、第１候補領域７００ａ，７００ｂ，７００ｄを包含する包含対応領域７３０である。なお、図３８に示される対応領域７３０は第１候補領域７００ｃを包含しない。

ここで、長期保存マップ４１０では、上述のように、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する第１の値４１１と、処理対象の入力フレーム画像１１１における、最近まで動いていたが現在は静止している人が写る領域付近に対応する第１の値４１１とが大きな値を示しやすい。そのため、長期保存マップ４１０を２値化して得られる２値化マップでは、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する領域と、処理対象の入力フレーム画像１１１における、最近まで動いていたが現在は静止している人が写る領域付近に対応する領域とが１を示す可能性が高い。したがって、２値化マップにおける、値が１が示す領域に対してラベリングを行って得られた独立領域の外接矩形７２０は、撮影領域において、現在動いている人、あるいは最近まで動いていたが現在は静止している人が存在する可能性が高い範囲を示していると言える。よって、処理対象の入力フレーム画像１１１において、外接矩形７２０の位置と同じ位置に存在する対応領域７３０には、現在動いている人、あるいは最近まで動いていたが現在は静止している人が写っている可能性が高い。つまり、対応領域７３０は、処理対象フレーム画像１１１において、人が写っている可能性が高い領域であると言える。

このように、対応領域７３０には、現在動いている人、あるいは最近まで動いていたが現在は静止している人が写っている可能性が高いことから、処理対象の入力フレーム画像１１１において、静止対象物領域の候補である第１候補領域７００を包含する包含対応領域７３０には、最近まで動いていたが現在は静止している人が写っている可能性が高く、現在動いている人が写っている可能性は低い。言い換えれば、撮影範囲において、第１候補領域７００を包含する包含対応領域７３０に対応する領域には、最近まで動いていたが現在は静止している人が存在する可能性が高く、現在動いている人が存在する可能性は低い。

そこで、静止対象物特定部３５は、包含対応領域７３０を、処理対象の入力フレーム画像１１１において、静止している人が写る静止対象物領域とする。図３８の例では、第１候補領域７００ａ，７００ｂ，７００ｄを包含する対応領域７３０が、静止対象物領域となる。静止対象物特定処理において、複数の包含対応領域７３０が得られる場合には、複数の静止対象物領域が得られる。

以上のように、静止対象物特定部３５が、長期保存マップ４１０と、静止対象物領域の候補である第１候補領域７００とに基づいて、静止対象物領域を特定することによって、静止対象物領域を適切に特定することができる。

＜第２マップ補正処理の詳細＞
次にステップｓ３９での第２マップ補正処理について詳細に説明する。ステップｓ３９での第２マップ補正処理において、 第２マップ更新部４２は、ステップｓ３４で更新された長期保存マップ４１０における、ステップｓ３８で特定された静止対象物領域に対応する各第１の値４１１を、ステップｓ３５で更新された短期保存マップ４２０における、当該静止対象物領域に対応する各第２の値４２１に加算する。

図３９は第２マップ補正処理を説明するための図である。図３９の左側には、ステップｓ３８で特定された静止対象物領域８００の一例が示されている。ここでは、２つの静止対象物領域８００ａ，８００ｂが示されている。また図３９の中央部には、ステップｓ３４で更新された長期保存マップ４１０における、静止対象物領域８００ａ，８００ｂにそれぞれ対応する対応領域４１５ａ，４１５ｂが示されている。そして、図３９の右側には、ステップｓ３５で更新された短期保存マップ４２０における、静止対象物領域８００ａ，８００ｂにそれぞれ対応する対応領域４２５ａ，４２５ｂが示されている。処理対象の入力フレーム画像１１１での静止対象物領域８００ａの位置と、長期保存マップ４１０での対応領域４１５ａの位置と、短期保存マップ４２０での対応領域４２５ａの位置とは互いに一致している。また、処理対象の入力フレーム画像１１１での静止対象物領域８００ｂの位置と、長期保存マップ４１０での対応領域４１５ｂの位置と、短期保存マップ４２０での対応領域４２５ｂの位置とは互いに一致している。

図３９の例では、第２マップ更新部４２は、長期保存マップ４１０の対応領域４１５ａ内の各第１の値４１１を、短期保存マップ４２０の対応領域４２５ａ内の各第２の値４２１に加算する。第２マップ更新部４２は、長期保存マップ４１０の第１の値４１１を、短期保存マップ４２０の第２の値４１１に加算する際には、短期保存マップ４２０において、長期保存マップ４１０での当該第１の値４１１の位置と同じ位置に存在する第２の値４１１に対して、当該第１の値４１１を加算する。同様に、第２マップ更新部４２は、長期保存マップ４１０の対応領域４１５ｂ内の各第１の値４１１を、短期保存マップ４２０の対応領域４２５ｂ内の各第２の値４２１に加算する。

＜第２暫定特定処理の詳細＞
次にステップｓ４０での第２暫定特定処理について詳細に説明する。図４０は第２暫定特定処理の一例を示すフローチャートである。図４０に示されるように、ステップｓ８１において、暫定特定部３６は、ステップｓ３９で補正された短期保存マップ４２０を複数のブロック４２８に区分する。例えば、入力フレーム画像１１１の画像サイズがＱＱＶＧＡ（１６０×１２０ピクセル）である場合には、短期保存マップ４２０は、例えば（１６×１５）個のブロック４２８に区分される。この場合に、短期保存マップ４２０では、行方向に１６個のブロック４２８が存在し、列方向に１５個のブロック４２８が存在する。入力フレーム画像１１１の画像サイズがＱＱＶＧＡである場合には、短期保存マップ４２０は、（１６０×１２０）個の第２の値４２１で構成される。したがって、一つのブロック４２８内には、（１０×８）個の第２の値４２１が存在する。

次にステップｓ８２において、暫定特定部３６は、各ブロック４２８について、ブロック４２８内での、しきい値ｔｈ＿ｉ以上の第２の値４２１の数を数える。以後、当該数を「カウント数」と言う。しきい値ｔｈ＿ｉ例えば５に設定される。なお、暫定特定部３６は、ブロック４２８内での、しきい値ｔｈ＿ｉよりも大きい第２の値４２１の数を数えても良い。

次にステップｓ８３において、暫定特定部３６は、各ブロック４２８について、ステップｓ７２で求めたカウント数がしきい値ｔｈ＿ｊ以上であるか否かを判定する。そして、暫定特定部３６は、カウント数がしきい値ｔｈ＿ｊ以上のブロック４２８を前景候補対応ブロック４２８Ｆとする。なお、暫定特定部３６は、カウント数がしきい値ｔｈ＿ｊよりも大きいブロック４２８を前景候補対応ブロック４２８Ｆとしても良い。

次にステップｓ８４において、暫定特定部３６は、処理対象の入力フレーム画像１１１において、各前景候補対応ブロック４２８Ｆに対応する領域を、前景候補領域８５０とする。つまり、暫定特定部３６は、各前景候補対応ブロック４２８Ｆについて、処理対象の入力フレーム画像１１１において、短期保存マップ４２０での前景候補対応ブロック４２８Ｆの位置と同じ位置に存在する領域を、前景候補領域８５０とする。そして、暫定特定部３６は、処理対象の入力フレーム画像１１１において、前景候補領域８５０以外の領域を背景候補領域８６０とする。

図４１は、前景候補対応ブロック４２８Ｆ、前景候補領域８５０及び背景候補領域８６０の一例を示す図である。図４１では、複数のブロック４２８に区分された短期保存マップ４２０が左側に示され、処理対象の入力フレーム画像１１１が右側に示されている。また図４１では、前景候補対応ブロック４２８Ｆ及び前景候補領域８５０が斜線で示されている。図４１に示されるように、処理対象の入力フレーム画像１１１では、短期保存マップ４２０での複数の前景候補対応ブロック４２８Ｆにそれぞれ対応する複数の領域のそれぞれが、前景候補領域８５０となっている。そして、処理対象の入力フレーム画像１１１では、前景候補領域８５０以外の領域が背景候補領域８６０となっている。

ここで、仮に、第２マップ補正処理が実行されない場合を考える。第２マップ更新処理で使用される第２減少量は大きな値に設定されていることから、第２マップ更新処理が行われる短期保存マップ４２０では、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する第２の値４２１は大きな値を示しやすいものの、処理対象の入力フレーム画像１１１における、最近まで動いていたが現在は静止している人が写る領域付近に対応する第２の値４１２は小さい値を示しやすくなる。そのため、第２マップ補正処理が実行されない場合、処理対象の入力フレーム画像１１１における、短期保存マップ４２０での第２の値４２１が大きい領域に対応する領域には、現在動いている人が写る可能性は高いものの、静止している人が写る可能性は低い。よって、第２マップ補正処理が実行されない場合、短期保存マップ４２０を用いて、処理対象の入力フレーム画像１１１において、動いている人が写る領域を特定することは可能であるものの、静止している人が写る領域を特定することは容易ではない。

一方で、第２マップ補正処理では、長期保存マップ４１０における、静止対象物領域に対応する第１の値４１１が、短期保存マップ４２０における、当該静止対象物領域に対応する第２の値４２１に加算される。そのため、第２マップ補正処理後の短期保存マップ４２０では、静止対象物領域に対応する第２の値４２１が大きくなる。したがって、第２マップ補正処理後の短期保存マップ４２０では、処理対象の入力フレーム画像１１１における、現在動いている人が写る領域付近に対応する第２の値４２１だけではなく、処理対象の入力フレーム画像１１１における、最近まで動いていたが現在は静止している人が写る領域付近に対応する第２の値４２１も大きい可能性が高い。よって、処理対象の入力フレーム画像１１１における、短期保存マップ４２０での第２の値４２１が大きい領域に対応する領域には、動いている人と、静止している人とが写る可能性が高い。

このように、第２マップ補正処理の実行により、処理対象の入力フレーム画像１１１における、短期保存マップ４２０での第２の値４２１が大きい領域に対応する領域に、動いている人と、静止している人とが写る可能性は高くなる。そのため、処理対象の入力フレーム画像１１１において、第２マップ補正処理後の短期保存マップ４２０に基づいて特定された各前景候補対応ブロック４２８Ｆに対応する領域では、動いている人であるのか、静止している人であるのかにかかわらず、人が写っている可能性が高い。つまり、撮影範囲（室内）における、各前景候補対応ブロック４２８Ｆに対応する領域では、人が存在する可能性が高い。よって、本例では、処理対象の入力フレーム画像１１１における、各前景候補対応ブロック４２８Ｆに対応する領域が、前景候補領域８５０とされている。

＜学習率決定処理の詳細＞
次にステップｓ４１での学習率決定処理について詳細に説明する。学習率決定処理において、背景モデル更新部３２は、ステップｓ４０で特定された前景候補領域８５０に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率αを、ステップｓ４０で特定された背景候補領域８６０に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率αよりも小さな値に設定する。また、背景モデル更新部３２は、前景候補領域８５０に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率βを、背景候補領域８６０に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率βよりも小さな値に設定する。

前景候補領域８５０に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用される学習率α，βを学習率α１，β１とし、背景候補領域８６０に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用される学習率α，βを学習率α２，β２とすると、学習率α１，β１，α２，β２は以下の式（８）〜（１１）でそれぞれ表される。

ここで、式（８），（９）中の基準値ＲＥＦ１は、式（１０），（１１）中の基準値ＲＥＦ２よりも小さい値に設定される。基準値ＲＥＦ１は例えば０．００００１に設定され、基準値ＲＥＦ２は例えば０．１に設定される。これにより、学習率α１は、例えば、学習率α２の数千分の一の値となる。また、学習率β１は、例えば、学習率β２の数千分の一の値となる。なお、式（８）〜（１１）中の定数Ａ，Ｂは、撮影領域等に応じて適宜決定される。

背景モデル更新部３２は、入力フレーム画像１１１を構成する複数の入力画素のそれぞれについて、当該入力画素が前景候補領域８５０に含まれるか、背景候補領域８６０に含まれるかに応じて、当該入力画素に対応する混合正規分布５１１を更新する際に使用する学習率α，βを決定する。

ステップｓ４３において、背景モデル更新部３２は、ステップｓ４１で決定した学習率α，βを用いて第１背景モデル５００を更新する。具体的には、背景モデル更新部３２は、対象入力画素が前景候補領域８５０に含まれる場合には、対象混合正規分布５１１に含まれる各正規分布５１２の重みｗを、学習率α１が用いられた上記の式（１）に従って更新する。また、背景モデル更新部３２は、対象入力画素が前景候補領域８５０に含まれる場合には、対象混合正規分布５１１に含まれる対象の１次適合正規分布５１２の平均値μ及び分散値σを、学習率β１が用いられた上記の式（２），（３）に従って更新する。また、背景モデル更新部３２は、対象入力画素が背景候補領域８６０に含まれる場合には、対象混合正規分布５１１に含まれる各正規分布５１２の重みｗを、学習率α２が用いられた式（１）に従って更新する。また、背景モデル更新部３２は、対象入力画素が背景候補領域８６０に含まれる場合には、対象混合正規分布５１１に含まれる対象の１次適合正規分布５１２の平均値μ及び分散値σを、学習率β２が用いられた式（２），（３）に従って更新する。

このように、対象入力画素が前景候補領域８５０に含まれる場合に使用される学習率α１，β１は、対象入力画素が背景候補領域８６０に含まれる場合に使用される学習率α２，β２よりもそれぞれ小さな値に設定される。言い換えれば、対象入力画素が人（前景）を示す可能性が高い場合に使用される学習率α１，β１は、対象入力画素が背景を示す可能性が高い場合に使用される学習率α２，β２よりもそれぞれ小さな値に設定される。したがって、人を示す可能性が高い入力画素に対応する混合正規分布５１１は更新されにくくなる。よって、人を示す可能性が高い入力画素に対応する背景情報５０１も更新されにくくなる。

一方で、上述のように、第１背景モデル更新処理では、対象入力画素において、同程度の画素値が現れる頻度が大きくなれば、対象入力画素に現れる画素値に応じた正規分布５１２が対象入力画素に対応する背景情報５０１として採用されるようになる。したがって、対象入力画素において、同程度の画素値が現れる頻度が大きくなれば、対象入力画素は判定部３１において背景画素として判定されるようになる。撮影領域でのある場所において、人が静止する場合には、入力フレーム画像１１１における、その場所に対応する各画素では、同程度の画素値が現れる頻度が大きくなる。したがって、撮影領域において人が静止していると、判定部３１は、入力フレーム画像１１１における、静止している人を示す画素を、誤って背景画素であると判定する可能性がある。

本例では、人を示す可能性が高い入力画素に対応する背景情報５０１が更新されにくくなることから、静止している人を示す入力画素に対応する背景情報５０１が更新されにくくなる。よって、静止している人を示す入力画素の画素値に応じた正規分布５１２が当該入力画素に対応する背景情報５０１として採用されにくくなる。その結果、判定部３１が、入力フレーム画像１１１における、静止している人を示す入力画素を、誤って背景画素であると判定する可能性を低減することができる。よって、入力フレーム画像１１１において人が写る領域を適切に特定することができる。

なお上記の例では、静止対象物特定部３５は、包含対応領域７３０を静止対象物領域８００としていたが、包含対応領域７３０に含まれる各第１候補領域７００を、静止対象物領域８００としても良い。包含対応領域７３０と同様に、包含対応領域７３０に含まれる第１候補領域７００には、最近まで動いていたが現在は静止している人が写っている可能性が高く、現在動いている人が写っている可能性は低いと言える。よって、包含対応領域７３０に含まれる各第１候補領域７００を、静止対象物領域８００としても良い。

ここで、包含対応領域７３０に、複数の第１候補領域７００が含まれる場合、当該複数の第１候補領域７００が、静止している同じ人を示す可能性がある。包含対応領域７３０に含まれる複数の第１候補領域７００のそれぞれを静止対象物領域８００とする場合には、複数の静止対象物領域８００が、静止している同じ人を示す可能性がある。つまり、静止対象物特定部３５において、同じ人に対して複数の静止対象物領域８００が特定される可能性がある。そのため、後処理部３７が出力する出力画像１５１では、同じ人に対して、互いに独立した複数の前景領域が特定される可能性がある。出力画像１５１に基づいて、室内に存在する人の数をカウントする場合、特定された複数の前景領域が１人の人を示していたり、複数の人を示していたりすると、室内での人の数を正しくカウントできない可能性がある。

一方で、上述の説明から理解できるように、入力フレーム画像１１１での複数の包含対応領域７３０は、静止している人が写る可能性が高い、互いに独立した領域である。そのため、上記の例のように、複数の包含対応領域７３０のそれぞれを静止対象物領域８００とする場合には、複数の静止対象物領域８００は、互いに異なる複数の人を示す可能性が高い。よって、出力画像１５１に含まれる複数の前景領域は、互いに異なる複数の人を示す可能性が高い。その結果、出力画像１５１に基づいて、室内に存在する人の数をカウントする場合に、人の数をより正しくカウントすることができる。

＜各種変形例＞
以下に画像処理装置３の各種変形例について説明する。

＜第１変形例：頻度型背景更新の未使用＞
図４２は本変形例に係る画像処理装置３の構成の一例を示す図である。本変形例に係る画像処理装置３は、上述の図３に示される画像処理装置３において、構成としては、判定部３１、背景モデル更新部３２、第１背景モデル５００及び出現画素値情報５１０が削除され、暫定特定部３６の代わりに特定部１３６が設けられたものである。

特定部１３６は、上述の暫定特定部３６と同様にして、補正後の第２マップ４２０に基づいて前景領域を特定する。ただし、特定部１３６は、前景領域を暫定的に特定するのではなく、前景領域の特定結果を後処理部３７に入力する。特定部１３６は、上述の判定結果画像１５０と同様の、前景領域の特定結果を示す特定結果画像１６０を生成する。特定結果画像１６０を構成する複数の画素は、入力フレーム画像１１１を構成する複数の入力画素にそれぞれ対応している。特定結果画像１６０では、特定された前景領域（上述の前景候補領域８５０に相当）と同じ位置に存在する領域の各画素の画素値が１に設定される。また、特定結果画像１６０では、入力フレーム画像１１１における、前景領域以外の領域（上述の背景候補領域８６０に相当）と同じ位置に存在する領域の各画素の画素値が０に設定される。

後処理部３７は、判定結果画像１５０に対する後処理と同様にして、特定結果画像１６０に対して後処理を行い、後処理後の特定結果画像１６０を出力画像１６１として出力する。出力画像１６１において、値が１を示す領域が、人が写る前景領域となる。

このように、頻度型背景更新が使用されない場合であっても、入力フレーム画像１１１において、人が写る前景領域を適切に特定することができる。

本変形例に係る画像処理装置３の動作の一例を示すフローチャートは、上述の図１３に示されるフローチャートにおいて、ステップｓ４１，ｓ４２，ｓ４３が削除され、ステップｓ４０において特定部１３６での前景特定処理が行われるものとなる。

＜第２変形例：頻度型背景更新の未使用、静止している人の検出＞
図４３は本変形例に係る画像処理装置３の構成の一例を示す図である。本変形例に係る画像処理装置３は、上述の図４２に示される画像処理装置３において、構成としては、第２マップ更新部４２、第２マップ４２０及び特定部１３６が削除されたものである。本変形例に係る画像処理装置３は、動いている人、静止している人を問わず、室内に存在する人を検出するのではなく、室内で静止している人を検出する。つまり、画像処理装置３は、入力フレーム画像１１１において、動いている人、静止している人を問わず、人が写る領域を前景領域として特定するのではなく、静止している人を前景領域として特定する。

本変形例では、静止対象物特定部３５は、静止対象物領域を前景領域として特定し、その特定結果を示す特定結果画像１７０を生成する。特定結果画像１７０を構成する複数の画素は、入力フレーム画像１１１を構成する複数の入力画素にそれぞれ対応している。特定結果画像１７０では、特定された静止対象物領域（前景領域）と同じ位置に存在する領域の各画素の画素値が１に設定される。また、特定結果画像１７０では、入力フレーム画像１１１における、静止対象物領域以外の領域と同じ位置に存在する領域の各画素の画素値が０に設定される。

後処理部３７は、判定結果画像１５０に対する後処理と同様にして、特定結果画像１７０に対して後処理を行い、後処理後の特定結果画像１７０を出力画像１７１として出力する。出力画像１７１において、値が１を示す領域が、静止している人が写る前景領域となる。

このようにして、本変形例に係る画像処理装置３は、入力フレーム画像１１１において、静止している人を前景領域として適切に特定することができる。

なお、本変形例に係る画像処理装置３の動作の一例を示すフローチャートは、上述の図１３に示されるフローチャートにおいて、ステップｓ３５，ｓ３９〜ｓ４３が削除されたものとなる。

＜第３変形例：静止対象物領域に基づいて学習率を決定＞
図４４は本変形例に係る画像処理装置３の構成の一例を示す図である。本変形例に係る画像処理装置３は、上述の図３に示される画像処理装置３において、構成としては、第２マップ更新部４２、第２マップ４２０及び暫定特定部３６が削除されたものである。本変形例に係る画像処理装置３は静止対象物領域に基づいて学習率α，βを設定する。

本変形例では、背景モデル更新部３２は、静止対象物特定部３５が特定した静止対象物領域に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率αを、処理対象の入力フレーム画像１１１における、当該静止対象物領域以外の領域（以後、「非静止対象物領域」と呼ぶ）に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率αよりも小さな値に設定する。

また、背景モデル更新部３２は、静止対象物領域に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率βを、非静止対象物領域に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用する学習率βよりも小さな値に設定する。

静止対象物領域に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用される学習率α，βを学習率α１，β１とすると、学習率α１，β１は上記の式（８），（９）でそれぞれ表される。また、非静止対象物領域に含まれる入力画素に対応する混合正規分布５１１を更新する際に使用される学習率α，βを学習率α２，β２とすると、学習率α２，β２は上記の式（１０），（１１）でそれぞれ表される。

背景モデル更新部３２は、入力フレーム画像１１１を構成する複数の入力画素のそれぞれについて、当該入力画素が静止対象物領域に含まれるか、非静止対象物領域に含まれるかに応じて、当該入力画素に対応する混合正規分布５１１を更新する際に使用する学習率α，βを決定する。

このように、本変形例では、対象入力画素が静止対象物領域に含まれる場合に使用される学習率α１，β１は、対象入力画素が非静止対象物領域に含まれる場合に使用される学習率α２，β２よりもそれぞれ小さな値に設定される。つまり、対象入力画素が静止している人を示すと判定される場合に使用される学習率α１，β１は、対象入力画素が静止している人を示さないと判定される場合に使用される学習率α２，β２よりもそれぞれ小さな値に設定される。言い換えれば、対象入力画素が、静止している人を示す可能性が高い場合に使用される学習率α１，β１は、対象入力画素が静止している人を示さない可能性が高い場合に使用される学習率α２，β２よりもそれぞれ小さな値に設定される。したがって、静止している人を示す入力画素に対応する混合正規分布５１１は更新されにくくなる。よって、静止している人を示す入力画素の画素値に応じた正規分布５１２が当該入力画素に対応する背景情報５０１として採用されにくくなる。その結果、判定部３１が、入力フレーム画像１１１における、静止している人を示す入力画素を、誤って背景画素であると判定する可能性を低減することができる。

なお、本変形例では、動いている人を示す入力画素に対応する混合正規分布５１１は更新されやすくなる。しかしながら、動いている人を示す入力画素では、同程度の画素値が現れる頻度は小さいことから、動いている人を示す入力画素に現れる画素値に応じた正規分布５１２が当該入力画素に対応する背景情報５０１として採用されにくい。したがって、動いている人を示す入力画素に対応する混合正規分布５１１は更新されやすくなったとしても、判定部３１が、入力フレーム画像１１１における、動いている人を示す入力画素を、誤って背景画素であると判定する可能性を低減することができる。

本変形例に係る画像処理装置３の動作の一例を示すフローチャートは、上述の図１３に示されるフローチャートにおいて、ステップｓ３５，ｓ３９，ｓ４０が削除されたものとなる。

＜第４変形例：静止対象物特定処理の変形例＞
図４５は本変形例に係る画像処理装置３の構成の一例を示す図である。本変形例に係る画像処理装置３は、上述の第３変形例に係る画像処理装置３（図４４参照）において、構成としては、静止対象物特定部３５の代わりに静止対象物特定部１３５を設けたものである。

静止対象物特定部１３５は、第３マップ更新部４３と特定部２３６とを備えている。第３マップ更新部４３は、静止対象物特定処理において、第１候補領域及び第１マップ４１０に基づいて、記憶部５内の第３マップ４３０を更新する。特定部２３６は、静止対象物特定処理において、更新後の第３マップ４３０に基づいて静止対象物領域を特定する。画像処理装置３は、第３変形例と同様に、特定した静止対象物領域に基づいて学習率α，βを決定する。

第３マップ４３０では、図１５，１６に示される第１マップ４１０及び第２マップ４２０と同様に、入力フレーム画像１１１に含まれる複数の入力画素にそれぞれ対応する複数の第３の値が、当該複数の入力画素の位置に応じて並んでいる。第３マップ４３０での第３の値の位置は、入力フレーム画像１１１での、当該第３の値に対応する入力画素の位置と一致している。

第３マップ更新部４３は、ステップｓ３７で特定される第１候補領域と、ステップｓ３４で更新される第１マップ４１０とに基づいて、第３マップ４３０を更新する第３マップ更新処理を行う。

＜第３マップ更新処理の詳細＞
第３マップ更新処理において、まず第３マップ更新部４３は、上述のステップｓ３８での静止対象物特定処理と同様にして、少なくとも一つの第１候補領域７００を含む包含対応領域７３０を求める。このとき、上記と同様に、複数の包含対応領域７３０が求められることがある。

次に第３マップ更新部４３は、第１マップ４１０における、包含対応領域７３０に対応する第１の値４１１を、第３マップ４３０における、包含対応領域７３０に対応する第３の値として採用するコピー処理を実行する。つまり、第３マップ更新部４３は、第１マップ４１０において、処理対象の入力フレーム画像１１１での包含対応領域７３０の位置と同じ位置に存在する領域内の各第１の値４１１について、当該第１の値４１１を、第３マップ４３０における、当該第１の値４１１に対応する第３の値として採用するコピー処理を実行する。第１の値４１１に対応する第３の値とは、第３マップ４３０において、当該第１の値４１１の第１マップ４１０での位置と同じ位置に存在する第３の値である。第３マップ更新部４３は、複数の包含対応領域７３０が求められた場合には、各包含対応領域７３０についてコピー処理を行う。そして、第３マップ更新部４３は、第３マップ４３０において、コピー処理が実行される第３の値以外の第３の値を第３減少量だけ減少する。第３マップ更新部４３は、第１の値４１１を第３の値として採用することはあっても、第１の値４１１とは異なり、第３の値を所定値だけ増加することはない。第３減少量は、第１マップ４１０についての第１減少量よりも大きな値に設定される。

以後、第１マップ４１０の第１の値４１１を、第３マップ４３０における、当該第１の値４１１に対応する第３の値として採用することを、第１マップ４１０の第１の値４１１についての第３マップ４３０へのコピーと表現することがある。第３マップ更新部４３は、第１マップ４１０における、包含対応領域７３０に対応する対応領域内の各第１の値４１１を、第３マップ４３０にコピーする。

図４６は第１の値４１１が第３マップ４３０へコピーされる様子の一例を示す図である。図４６の左側には包含対応領域７３０が示されている。ここでは、２つの包含対応領域７３０ａ，７３０ｂが示されている。図４６の中央部には、第１マップ４１０において、包含対応領域７３０，７３０ｂにそれぞれ対応する対応領域４１８ａ，４１８ｂが示されている。図４６の右側には、第３マップ４３０において、包含対応領域７３０ａ，７３０ｂにそれぞれ対応する対応領域４３８ａ，４３８ｂが示されている。処理対象の入力フレーム画像１１１での包含対応領域７３０ａの位置と、第１マップ４１０での対応領域４１８ａの位置と、第３マップ４３０での対応領域４３８ａの位置とは互いに一致している。また、処理対象の入力フレーム画像１１１での包含対応領域７３０ｂの位置と、第１マップ４１０での対応領域４１８ｂの位置と、第３マップ４３０での対応領域４３８ｂの位置とは互いに一致している。

図４６の例では、第３マップ更新部４３は、第１マップ４１０の対応領域４１８ａ内の各第１の値４１１を、第３マップ４３０の対応領域４３８ａ内の第３の値として採用する。第３マップ更新部４３は、第１マップ４１０の第１の値４１１を、第３マップ４３０の第３の値として採用する際には、第３マップ４３０において、第１マップ４１０での当該第１の値４１１の位置と同じ位置に存在する第３の値として、当該第１の値４１１を採用する。同様に、第３マップ更新部４３は、第１マップ４１０の対応領域４１８ｂ内の各第１の値４１１を、第３マップ４３０の対応領域４３８ｂ内の第３の値として採用する。

このように、第３マップ更新部４３が、第１マップ４１０における、各包含対応領域７３０に対応する第１の値４１１を、第３マップ４３０における、各包含対応領域７３０に対応する第３の値として採用するコピー処理を実行し、第３マップ４３０において、コピー処理が実行される第３の値以外の第３の値を第３減少量だけ減少することによって、第３マップ４３０が更新される。

ここで、上述のように、包含対応領域７３０には、最近まで動いていたが現在は静止している人が写っている可能性が高い。一方で、第１マップ４１０では、処理対象の入力フレーム画像１１１における、最近まで動いていたが現在は静止している人が写る領域付近に対応する第１の値４１１が大きな値を示しやすい。したがって、第１マップ４１０における、包含対応領域７３０に対応する第１の値４１１は大きな値を示す可能性が高い。そのため、第１マップ４１０における、包含対応領域７３０に対応する第１の値４１１を第３マップ４３０にコピーすることによって、第３マップ４３０では、処理対象の入力フレーム画像１１１における、静止している人が写る領域に対応する第３の値が大きな値を示す可能性が高い。よって。第３マップ４３０において、第３の値が０よりも大きい領域は、処理対象の入力フレーム画像１１１において、静止している人が写る領域に対応する可能性が高い。

そこで、特定部２３６は、更新された第３マップ４３０において、第３の値が０よりも大きい領域を、静止対象物対応領域４３９とする。そして、特定部２３６は、処理対象の入力フレーム画像１１１において、静止対象物対応領域４２９に対応する領域を、静止している人が写る静止対象物領域８００とする。

図４７は静止対象物対応領域４３９及び静止対象物領域８００の一例を示す図である。図４７の例では、第３マップ４３０に三つの静止対象物対応領域４３９ａ〜４３９ｃが含まれている。特定部２３６は、処理対象の入力フレーム画像１１１において、静止対象物対応領域４３９ａに対応する領域を静止対象物領域８００ａとして特定する。つまり、特定部２３６は、処理対象の入力フレーム画像１１１において、静止対象物対応領域４３９ａの第３マップ４３０での位置と同じ位置に存在する領域を静止対象物領域８００ａとして特定する。同様に、特定部２３６は、処理対象の入力フレーム画像１１１において、静止対象物対応領域４３９ｂに対応する領域を静止体対象物領域８００ｂとして特定し、処理対象の入力フレーム画像１１１において、静止対象物対応領域４３９ｃに対応する領域を静止体対象物領域８００ｃとして特定する。静止対象物領域８００ａ〜８００ｃは、互い異なる複数の静止している人にそれぞれ対応する可能性が高い。したがって、図４７の例では、撮影領域には、静止している人が３人存在している可能性が高い。

なお、第３マップ更新部４３は、第１候補領域７００を含む包含対応領域７３０を求めなくても良い。この場合には、第３マップ更新部４３は、暫定特定部３４で特定された各第１候補領域７００について、第１マップ４１０における、当該第１候補領域７００に対応する各第１の値４１１を、第３マップ４３０にコピーする。そして、特定部２３６は、上記と同様に、第３マップ４３０において、第３の値が０よりも大きい領域を、静止対象物対応領域４３９とする。そして、特定部２３６は、処理対象の入力フレーム画像１１１において、静止対象物対応領域４３９に対応する領域を、静止している人が写る静止対象物領域８００とする。このような場合であっても、適切に静止対象物領域８００を特定することができる。

上述の図３，４３，４４の例では、第１マップ４１０に基づいて静止対象物領域８００が特定されている。第１マップ４１０では、第１減少量が小さいため、入力フレーム画像１１１における、すでに人が写らなくなった領域に対応する各第１の値４１１は小さくなりにくい。したがって、第１マップ４１０を２値化して得られる２値化マップでは、入力フレーム画像１１１における、すでに人が写らなくなった領域に対応する各画素値が、比較的長い間、１を示す可能性がある。その結果、図３，４３，４４の例では、入力フレーム画像１１１における、人が写らなくなった領域が、比較的長い間、静止対象物領域８００として特定される可能性がある。

これに対して、本変形例では、第３マップ４３０についての第３減少量が大きいため、第３マップ４３０では、入力フレーム画像１１１における、すでに人が写らなくなった領域に対応する各第３の値はすぐに０になりやすい。したがって、入力フレーム画像１１１における、人が写らなくなった領域が、長い間、静止対象物領域８００として特定される可能性を抑制することができる。よって、静止対象物領域８００をより適切に特定することができる。

また、入力フレーム画像１１１において、複数の第１候補領域７００が特定された場合、当該複数の第１候補領域７００が、静止している同じ人を示す可能性がある。複数の第１候補領域７００のそれぞれについて、第１マップ４１０における、第１候補領域７００に対応する各第１の値４１１を、第３マップ４３０にコピーする場合、第３マップ４３０に基づいて特定された複数の静止対象物領域８００が、静止している同じ人を示す可能性がある。つまり、特定部２３６において、同じ人に対して複数の静止対象物領域８００が特定される可能性がある。そのため、後処理部３７が出力する出力画像１５１では、同じ人に対して、互いに独立した複数の前景領域が特定される可能性がある。出力画像１５１に基づいて、室内に存在する人の数をカウントする場合、特定された複数の前景領域が１人の人を示していたり、複数の人を示していたりすると、室内での人の数を正しくカウントできない可能性がある。

一方で、上述の説明から理解できるように、入力フレーム画像１１１での複数の包含対応領域７３０は、静止している人が写る可能性が高い、互いに独立した領域である。そのため、第１マップ４１０における、各包含対応領域７３０に対応する各第１の値４１１を、第３マップ４３０にコピーする場合には、特定された複数の静止対象物領域８００は、互いに異なる複数の人を示す可能性が高い。よって、出力画像１５１に含まれる複数の前景領域は、互いに異なる複数の人を示す可能性が高い。その結果、出力画像１５１に基づいて、室内に存在する人の数をカウントする場合に、人の数をより正しくカウントすることができる。

なお、第１変形例に係る画像処理装置３（図４２参照）及び第２変形例に係る画像処理装置３（図４３参照）において、静止対象物特定部３５の代わりに静止対象物特定部１３５を設けても良い。

＜第５変形例：影の影響を排除＞
背景を示す入力画素の画素値は、変化しにくく安定している。したがって、背景を示す入力画素に対応する背景正規分布５０１の分散値σは小さくなる可能性が高い。

一方で、背景での影が生じている部分は暗くなることから、当該部分を示す入力画素の画素値は小さくなる。背景を示す入力画素に対応する背景正規分布５０１の分散値σは小さくなる可能性が高いことから、背景での影が生じている部分を示す入力画素の画素値は、当該入力画素に対応する各背景正規分布５０１の所定範囲（例えば、μ±４σの範囲）よりも小さくなり易い。よって、判定部３１は背景を示す入力画素を誤って前景画素と判定する可能性がある。

そこで、本変形例では、判定部３１は、前景判定処理において、対象入力画素の画素値が、正規分布５１２の所定範囲内に存在しない場合であっても、対象入力画素の画素値が、当該正規分布５１２の平均値μよりも小さい下限値ＬＬ以上であって、かつ当該平均値μ以下である場合には、例外的に、当該正規分布５１２を適合正規分布５１２とする。つまり、対象入力画素の画素値Ｘが、正規分布５１２の所定範囲内に存在しない場合であっても、対象入力画素の画素値Ｘが以下の式（１２）を満たす場合には、例外的に、当該正規分布５１２を適合正規分布５１２とする。下限値ＬＬは、例えば、ＬＬ＝０．８５×μに設定される。

判定部３１は、対象入力画素の画素値が、正規分布５１２の所定範囲内に存在しない場合に、当該正規分布５１２を例外的に適合正規分布５１２とする場合には、当該正規分布５１２を、例えば、１次適合正規分布５１２ではなく、２次適合正規分布５１２として取り扱う。

図４８は、対象入力画素の画素値Ｘが、正規分布５１２の所定範囲内に存在しないものの、下限値ＬＬ以上であって、かつ平均値μ以下である様子を示す図である。

なお、判定部３１は、対象入力画素の画素値が、正規分布５１２の所定範囲内に存在しない場合であっても、対象入力画素の画素値が、下限値ＬＬよりも大きく、かつ平均値μ以下である場合に、例外的に、当該正規分布５１２を適合正規分布５１２としても良い。

また、判定部３１は、対象入力画素の画素値が、正規分布５１２の所定範囲内に存在しない場合であっても、対象入力画素の画素値が、下限値ＬＬよりも大きく、かつ平均値μ未満である場合に、例外的に、当該正規分布５１２を適合正規分布５１２としても良い。

また、判定部３１は、対象入力画素の画素値が、正規分布５１２の所定範囲内に存在しない場合であっても、対象入力画素の画素値が、下限値ＬＬ以上であって、かつ平均値μ未満である場合に、例外的に、当該正規分布５１２を適合正規分布５１２としても良い。

このようにして、例外的に正規分布５１２を適合正規分布５１２とすることによって、判定部３１が背景を示す入力画素を誤って前景画素と判定することを抑制することができる。

＜第６変形例：明るさの変化の発生時に学習率を制御＞
図４９は本変形例に係る画像処理装置３の構成の一例を示す図である。本変形例に係る画像処理装置３は、上述の図３に示される画像処理装置３において、構成としては、検出部４５をさらに備えるものである。

検出部４５は、撮影領域の明るさの変化を検出する明るさ変化検出処理を行う。ここで、撮像領域の明るさの変化には、撮像領域の明るさの変動も含む。明るさ変化検出処理は、上述の図１３に示されるフローチャートにおいて、ステップｓ３２の後であって、ステップｓ４１の前に実行される。

検出部４５は、例えば、動き特定部３３で生成される、処理対象の入力フレーム画像１１１と、それよりもＭフレーム前の入力フレーム画像１１１との差分を示す差分画像６００に基づいて、撮影領域の明るさの変化を検出する。具体的には、検出部４５は、差分画像６００での、画素値が１を示す領域の割合Ｒｄがしきい値ｔｈ＿ｋ以上であるか否かを判定する。言い換えれば、検出部４５は、差分画像６００での、動き領域の割合Ｒｄがしきい値ｔｈ＿ｋ以上であるか否かを判定する。検出部４５は、割合Ｒｄがしきい値ｔｈ＿ｋ以上であれば、撮影領域の明るさが変化したと判定する。一方で、検出部４５は、割合Ｒｄがしきい値ｔｈ＿ｋ未満であれば、撮影領域の明るさが変化していないと判定する。割合Ｐｄは、例えば、差分画像６００での、画素値が１を示す領域の画素数を、差分画像６００の全画素数で割ることによって得られる。なお、検出部４５は、他の条件に基づいて、撮影領域の明るさの変化を検出しても良い。

本変形例に係る学習率決定処理では、明るさ変化検出処理の結果と、第２暫定特定処理の結果とに基づいて、学習率α，βが決定される。学習率決定処理において、背景モデル更新部３２は、処理対象の入力フレーム画像１１１についての明るさ変化検出処理において、撮影領域の明るさの変化が検出された場合には、第２暫定特定処理の結果にかかわらず、全入力画素に対応する学習率α，βを大きくする。撮影領域の明るさの変化が検出された場合の学習率α，βをそれぞれ学習率α３，β３とすると、学習率α３，β３は以下の式（１３），（１４）でそれぞれ表される。

式（１３），（１４）中の基準値ＲＥＦ３は、上述の基準値ＲＥＦ１，ＲＥＦ２よりも大きい値に設定される。基準値ＲＥＦ３は例えば０．６５に設定される。これにより、学習率α３は、例えば学習率α２の数倍となる。また、学習率β３は、例えば学習率β２の数倍となる。

背景モデル更新部３２は、学習率α３を使用することを決定すると、処理対象の入力フレーム画像１１１の各入力画素について、当該入力画素に対応する混合正規分布５１１に含まれる各正規分布５１２の重みｗを、学習率α３が用いられた上記の式（１）に従って更新する。また、背景モデル更新部３２は、学習率β３を使用することを決定すると、各入力画素について、当該入力画素に対応する混合正規分布５１１に含まれる対象の１次適合正規分布５１２の平均値μ及び分散値σを、学習率β３が用いられた上記の式（２），（３）に従って更新する。

一方で、背景モデル更新部３２は、明るさ変化検出処理において撮影領域の明るさの変化が検出されなかった場合には、上記と同様にして、ステップｓ４０で特定された前景候補領域に含まれる入力画素に対応する学習率α，βとして学習率α１，β１を使用し、ステップ４０で特定された背景候補領域に含まれる入力画素に対応する学習率α，βとして学習率α２，β２を使用する。

背景モデル更新部３２は、撮影領域の明るさの変化が検出されると、所定期間、学習率α３，β３を使用する。背景モデル更新部３２は、例えば、撮影領域の明るさの変化が検出されたフレームを含む１０フレームの間、学習率α３，β３を使用する。したがって、学習率α３，β３が使用される当該所定期間においては、明るさ変化検出処理、第２暫定特定処理及び学習率決定処理は実行されない。当該所定期間の経過後、明るさ変化検出処理、第２暫定特定処理及び学習率決定処理は再開する。

以上のように、本変形例では、撮影領域の明るさの変化が検出されたとき、学習率α、βが所定期間大きな値に設定されている。学習率α，βが大きな値に設定されると、混合正規分布５１１が更新されやすくなり、その結果、背景情報５０１も更新されやすくなる。

一方で、背景情報５０１が更新されにくい場合には、撮影領域の明るさが変化すると、明るさが変化した後の撮影領域での背景を示す入力画素値に適合する適合正規分布５１２が、背景情報５０１において、しばらくの間、現れない可能性がある。その結果、撮影領域の明るさが変化した後、しばらくの間、背景を示す画素を誤って背景画素として判定する可能性がある。

本変形例では、撮影領域の明るさの変化が検出された後、所定期間、背景情報５０１が更新されやすくなることから、明るさが変化した後の撮影領域での背景を示す入力画素値に適合する適合正規分布５１２が、背景情報５０１においてすぐに現れやすくなる。よって、撮影領域の明るさが変化した後、すぐに、背景を示す画素を適切に背景画素として判定することが可能となる。よって、人の検出精度が向上する。

なお、第１〜第５変形例に係る画像処理装置３においても、同様に、撮影領域の明るさの変化を検出し、当該変化が検出されたときに、所定期間、学習率α，βを大きな値に設定しても良い。

学習率α１，α２，α３，β１，β２，β３を規定する基準値ＲＥＦ１，ＲＥＦ２，ＲＥＦ３についての上述の具体的な値は、単なる一例であって、撮影領域等に応じて適宜設定される。

＜その他の変形例＞
上記の例では、画像処理システム１が検出する検出対象物は、人であったが、人以外の移動体であっても良い。検出対象物は、例えば、人以外の動物であっても良いし、自律的に移動するロボットであっても良い。

以上のように、画像処理システム１及び画像処理装置３は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

３ 画像処理装置
６ 制御プログラム
３１ 判定部
３２，３８ 背景モデル更新部
３３ 動き特定部
３４，３６ 暫定特定部
３５，１３５ 静止対象物特定部
４１ 第１マップ更新部
４２ 第２マップ更新部
４３ 第３マップ更新部
４５ 検出部
１１１ 入力フレーム画像
４１０ 第１マップ
４２０ 第２マップ
４３０ 第３マップ
５００ 第１背景モデル
５５０ 第２背景モデル

Claims (11)

1. 移動体である検出対象物が写る動画像についてのフレーム間差分を示す差分画像を生成し、生成した差分画像において、フレーム間での物体の動きを示す動き領域を特定する第１特定処理を行う第１特定部と、
   前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する第１更新処理を行う第１マップ更新部と、
   前記動画像に基づいて、当該動画像に含まれるフレーム画像において、静止している前記検出対象物が写る静止対象物領域の候補となる第１候補領域を特定する第２特定処理を行う第２特定部と
   を備え、
   前記第１マップ更新部は、前記第１更新処理において、
   前記第１マップにおける、前記動き領域に対応する前記第１の値を第１所定値だけ増加し、
   前記第１マップにおける、前記動き領域に対応しない前記第１の値を第２所定値だけ減少し、
   前記第１特定処理及び前記第１更新処理は繰り返し実行され、
   前記第１更新処理が行われた前記第１マップ及び前記第１候補領域に基づいて、前記静止対象物領域を特定する第３特定部をさらに備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する第２更新処理を繰り返し行う第２マップ更新部をさらに備え、
   前記第２マップ更新部は、前記第２更新処理において、
   前記第２マップにおける、前記動き領域に対応する前記第２の値を、前記第１所定値以上の第３所定値だけ増加し、
   前記第２マップにおける、前記動き領域に対応しない前記第２の値を、前記第２所定値よりも大きい第４所定値だけ減少し、
   前記第２マップ更新部は、前記第１更新処理が行われた前記第１マップにおける、前記静止対象物領域に対応する前記第１の値を、前記第２更新処理が行われた前記第２マップにおける、前記静止対象物領域に対応する前記第２の値に加算する補正処理を行い、
   前記補正処理が行われた前記第２マップに基づいて、前記フレーム画像において、前記検出対象物が写る前景領域を特定する第４特定部をさらに備える、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記第４特定部は、前記前景領域を暫定的に特定し、
   前記第４特定部が暫定的に特定した前記前景領域である第２候補領域と前記フレーム画像とに基づいて第１背景モデルを更新する背景モデル更新部と、
   前記フレーム画像に含まれる対象画素が、前記検出対象物を示す前景画素か背景画素かを、前記第１背景モデルに含まれる、当該対象画素に対応する背景情報に基づいて判定する判定部と
   をさらに備え、
   前記第１背景モデルは、過去の前記フレーム画像の画素値をモデル化した混合正規分布に基づく背景モデルであって、
   前記背景モデル更新部は、前記対象画素の画素値に基づいて、当該対象画素に対応する前記混合正規分布を更新し、更新後の前記混合正規分布に含まれる複数の正規分布から、当該対象画素に対応する前記背景情報として使用する正規分布を決定し、
   前記判定部は、前記正規分布の所定範囲内に前記対象画素の画素値が存在する場合、当該正規分布を適合正規分布とし、
   前記判定部は、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれる場合、当該対象画素は前記背景画素であると判定し、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれない場合、当該対象画素は前記前景画素であると判定し、
   前記背景モデル更新部は、
   前記対象画素が前記第２候補領域に含まれない場合には、前記対象画素に応じた前記混合正規分布を更新する際の学習率を第３の値に設定し、
   前記対象画素が前記第２候補領域に含まれる場合には、前記学習率を、前記第３の値よりも小さい第４の値に設定する、画像処理装置。
4. 請求項１乃至請求項３のいずれか一つに記載の画像処理装置であって、
   前記第３特定部は、
   前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第５の値が、当該複数の画素の位置に応じて並ぶ第３マップを更新する第３更新処理を繰り返し実行する第３マップ更新部を有し、
   前記第３マップ更新部は、前記第３更新処理において、
   前記第１更新処理が行われた前記第１マップにおける、前記第１候補領域に対応する前記第１の値を、前記第３マップにおける、前記第１候補領域に対応する前記第５の値として採用するコピー処理を実行し、
   前記第３マップにおいて、前記コピー処理が実行される前記第５の値以外の前記第５の値を、前記第２所定値よりも大きい第５所定値だけ減少し、
   前記第３特定部は、前記第３更新処理が行われた前記第３マップに基づいて前記静止対象物領域を特定する、画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記第３マップ更新部は、前記フレーム画像において、前記検出対象物が写る可能性が高い、互いに独立した複数の独立領域を特定し、
   前記第３マップ更新部は、前記第１マップにおける、前記第１候補領域を含む前記独立領域に対応する前記第１の値を、前記第３マップにおける、前記第１候補領域を含む前記独立領域に対応する前記第５の値として採用する、画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記静止対象物領域と前記フレーム画像とに基づいて第１背景モデルを更新する背景モデル更新部と、
   前記フレーム画像に含まれる対象画素が、前記検出対象物を示す前景画素か背景画素かを、前記第１背景モデルに含まれる、当該対象画素に対応する背景情報に基づいて判定する判定部と
   をさらに備え、
   前記第１背景モデルは、過去の前記フレーム画像の画素値をモデル化した混合正規分布に基づく背景モデルであって、
   前記背景モデル更新部は、前記対象画素の画素値に基づいて、当該対象画素に対応する前記混合正規分布を更新し、更新後の前記混合正規分布に含まれる複数の正規分布から、当該対象画素に対応する前記背景情報として使用する正規分布を決定し、
   前記判定部は、前記正規分布の所定範囲内に前記対象画素の画素値が存在する場合、当該正規分布を適合正規分布とし、
   前記判定部は、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれる場合、当該対象画素は前記背景画素であると判定し、前記対象画素に対応する前記背景情報に前記適合正規分布が含まれない場合、当該対象画素は前記前景画素であると判定し、
   前記背景モデル更新部は、
   前記対象画素が前記静止対象物領域に含まれない場合には、前記対象画素に応じた前記混合正規分布を更新する際の学習率を第３の値に設定し、
   前記対象画素が前記静止対象物領域に含まれる場合には、前記学習率を、前記第３の値よりも小さい第４の値に設定する、画像処理装置。
7. 請求項３及び請求項６のいずれか一つに記載の画像処理装置であって、
   前記判定部は、前記対象画素の画素値が、前記正規分布の前記所定範囲内に存在しない場合であっても、前記対象画素の画素値が、当該正規分布の平均値よりも小さい下限値よりも大きくあるいは当該下限値以上であって、かつ当該平均値以下あるいは当該平均値未満の場合には、例外的に、当該正規分布を前記適合正規分布とする、画像処理装置。
8. 請求項３、請求項６及び請求項７のいずれか一つに記載の画像処理装置であって、
   前記動画像に写る撮影領域の明るさの変化を検出する検出部をさらに備え、
   前記背景モデル更新部は、前記検出部が前記変化を検出した場合、前記学習率を、前記第３及び第４の値よりも大きい第５の値に所定期間設定する、画像処理装置。
9. 請求項１乃至請求項８のいずれか一つに記載の画像処理装置であって、
   前記第２特定部は、
   前記フレーム画像の各画素について、当該画素の画素値の変化量を示す第１評価値と、当該画素の画素値の分散を示す第２評価値とを求め、
   第２背景モデルと、前記フレーム画像の各画素についての前記第１及び第２評価値に基づいて、前記第１候補領域を特定する、画像処理装置。
10. 画像処理装置を制御するための制御プログラムであって、
    前記画像処理装置に、
    （ａ）移動体である検出対象物が写る動画像についてのフレーム間差分を示す差分画像を生成し、生成した差分画像において、フレーム間での物体の動きを示す動き領域を特定する工程と、
    （ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の値が、当該複数の画素の位置に応じて並ぶマップを更新する工程と、
    （ｃ）前記動画像に基づいて、当該動画像に含まれるフレーム画像において、静止している前記検出対象物が写る静止対象物領域の候補となる候補領域を特定する工程と
    を実行させ、
    前記工程（ｂ）において、
    （ｂ−１）前記マップにおける、前記動き領域に対応する前記値を第１所定値だけ増加する工程と、
    （ｂ−２）前記マップにおける、前記動き領域に対応しない前記値を第２所定値だけ減少する工程と
    を実行させ、
    前記工程（ａ），（ｂ）を繰り返し実行させ、
    （ｄ）前記工程（ｂ）で更新された前記マップ及び前記候補領域に基づいて、前記フレーム画像において、静止している前記検出対象物が写る静止対象物領域を特定する工程を実行させるための制御プログラム。
11. 画像処理装置での領域特定方法であって、
    （ａ）移動体である検出対象物が写る動画像についてのフレーム間差分を示す差分画像を生成し、静止した差分画像において、フレーム間での物体の動きを示す動き領域を特定する工程と、
    （ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の値が、当該複数の画素の位置に応じて並ぶマップを更新する工程と、
    （ｃ）前記動画像に基づいて、当該動画像に含まれるフレーム画像において、静止している前記検出対象物が写る静止対象物領域の候補となる候補領域を特定する工程と
    を備え、
    前記工程（ｂ）は、
    （ｂ−１）前記マップにおける、前記動き領域に対応する前記値を第１所定値だけ増加する工程と、
    （ｂ−２）前記マップにおける、前記動き領域に対応しない前記値を第２所定値だけ減少する工程と
    を有し、
    前記工程（ａ），（ｂ）は繰り返し実行され、
    （ｄ）前記工程（ｂ）で更新された前記マップ及び前記候補領域に基づいて、前記フレーム画像において、静止している前記検出対象物が写る静止対象物領域を特定する工程をさらに備える、領域特定方法。