JP6620443B2 - 監視プログラム、監視装置、及び監視方法 - Google Patents

Description

本発明は、監視プログラム、監視装置、及び監視方法に関する。

所定の領域を監視する監視装置の一つとして、カメラで撮像した画像（動画像を含む）から人物等の移動物体を検出して追跡する画像処理を行う装置が知られている。

この種の監視装置は、近年、店舗等におけるマーケティング分析や、交通量調査等への活用が検討されている。例えば、マーケティング分析においては、監視装置により店舗内や商店街等の画像から検出した人物の動線（移動経路）を解析することで、顧客が興味、関心を抱いている商品や店舗を把握することができる。

上記の監視装置による人物の追跡は、画像に含まれる人物を画像処理により検出し、人物固有の特徴を用いて複数の画像（動画像のフレーム）における人物同士を関連付けることで実現される。この際、人物の動線を把握するには、複数の画像における同一人物を正確に特定して追跡することが不可欠である。

人物固有の特徴を用いて複数の画像における人物同士を関連付ける技術の一つとして、テンプレートマッチングと呼ばれる方法が知られている（例えば、特許文献１を参照。）。テンプレートマッチングでは、人物の特徴的な部分が映る部位をテンプレートとして用い、テンプレートとの類似度が高い人物をテンプレートの人物と同一人物とみなして関連付けることで人物の追跡を行う。このテンプレートマッチングでは、例えば、画像内で重なりが生じる可能性の低い頭部をテンプレートにすることで、複数の人物が重なって存在する環境でも人物の追跡を行うことができる（例えば、特許文献２を参照。）。

また、人物の頭部の位置に基づいて人物を追跡する別の技術として、パーティクルフィルタと識別器とを用いる方法が知られている（例えば、特許文献３を参照。）。この方法では、撮像範囲の一部を共有するよう設置された複数のカメラで撮像した画像を用い、パーティクルフィルタにより頭部の位置推定を行う。そして、推定された頭部位置に対して頭部の前後左右を識別する４個の識別器を選択的に用いて評価を行った後、評価値を統合する（期待値を求める）ことで人物の追跡を行う。

また、画像内の人物同士の重なり等により生じる人物の隠れによる追跡精度の低下を防ぐ技術の一つとして、撮像範囲の一部を共有するよう設置された複数の天井カメラを用いて人物の追跡を行う方法が知られている（例えば、特許文献４を参照。）。この方法では、天井カメラ（天井から下方を撮像するよう設置されたカメラ）で店舗内等を撮像し、人物同士の重なりや、店舗内に設置された棚等の固定物と人物との重なりの少ない画像を用いて人物の追跡を行う。

更に、画像内の人物同士の重なり等により生じる人物の隠れによる追跡精度の低下を防ぐ別の技術として、カメラの撮像領域の三次元モデルを用いて対象物（人物）同士の前後関係等を判定する方法が知られている（例えば、特許文献５を参照。）。

特開２００８−２５０７７２号公報 特開２００４−０９４５１８号公報 特開２００８−０２６９７４号公報 特開２０１０−０４９２９６号公報 特開２０１２−１５５５９５号公報

人物固有の特徴を用いて画像内の人物を追跡する場合、追跡中の人物が交差したり、前後に連なって移動したりすることで画像内に人物同士の重なりが生じると、重なっている人物に固有の特徴を正確に得ることが困難なことがある。そのため、画像内に人物同士の重なりが生じると、人物同士の関連付けに誤りが生じ、以後の人物の追跡精度が低下することがある。

また、特許文献５のように三次元モデルを用いて画像内の人物の前後関係を判定する場合、重なる人物の身長差を考慮しないと人物の前後関係を誤判定する可能性がある。更に、三次元モデルを用いた演算処理を行うため、監視装置（画像処理装置）における処理負荷が増大する。

１つの側面において、本発明は、画像内の追跡中の人物に重なりが生じた場合に重なる人物の前後関係を正確かつ容易に判断することを目的とする。

１つの態様の監視プログラムは、下記（１）〜（４）の処理をコンピュータに実行させる。
（１）過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定する処理。
（２）推定した人物の位置に基づいて複数の人物が重なっていると判定した場合に、複数の人物の重なり領域を検出するとともに、複数の人物のうち画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出する処理。
（３）選出した最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、現在の処理対象の画像データにおける重なり領域とを照合する処理。
（４）照合の結果に基づいて、最前の人物の候補が最前の人物であるか否かを判定する処理。

上述の態様によれば、画像内の追跡中の人物に重なりが生じた場合に重なる人物の前後関係を正確かつ容易に判断することができる。

撮像装置と人物との関係の一例を示す図である。 撮像装置と人物とが図１Ａに示した関係である場合に撮像装置で撮像した画像内の人物の関係を示す図である。 撮像装置と人物との関係の別の例を示す図である。 撮像装置と人物とが図２Ａに示した関係である場合に撮像装置で撮像した画像内の人物の関係を示す図である。 一実施形態に係る監視装置の機能的構成を示すブロック図である。 監視装置が行う画像処理を示すフローチャートである。 人物位置推定処理の内容を示すフローチャートである。 追跡中の人物の現在の処理対象フレームにおける位置の推定方法を説明する図である。 重なり領域検出処理の内容を示すフローチャートである。 重なり領域の有無の判定方法及び重なり領域の算出方法を説明する図である。 前後関係判定処理の内容を示すフローチャートである。 頭部が下方にある人物１が人物２よりも手前にいる場合の前後関係判定処理の結果を説明する図である。 頭部が下方にある人物１が人物２よりも奥にいる場合の前後関係判定処理の結果を説明する図である。 人物追跡処理の内容を示すフローチャートである。 人物追跡処理における人物１，２の位置を特定する処理の内容を示すフローチャートである。 人物２の追跡に用いるテンプレートの設定方法を説明する図である。 テンプレートマッチングによる人物１，２の追跡方法を説明する図である。 コンピュータのハードウェア構成を示す図である。

まず、撮像装置から見て重なっている複数の人物を撮像したときの画像内の人物同士の関係を説明する。

図１Ａは、撮像装置と人物との関係の一例を示す図である。図１Ｂは、撮像装置と人物とが図１Ａに示した関係である場合に撮像装置で撮像した画像内の人物の関係を示す図である。図２Ａは、撮像装置と人物との関係の別の例を示す図である。図２Ｂは、撮像装置と人物とが図２Ａに示した関係である場合に撮像装置で撮像した画像内の人物の関係を示す図である。

図１Ａに示すように、定点観測や監視に用いる撮像装置２は、例えば、地面５上を移動する人物６Ａ，６Ｂ等の身長よりも高い位置に、光軸２００が俯角になる向きで設置される。ここで、撮像装置２の撮像範囲に身長がほぼ同じ二人の人物６Ａ，６Ｂがいて、この二人の人物６Ａ，６Ｂの撮像装置２からの距離が異なる場合を考える。

このとき、撮像装置２から見た人物６Ａ，６Ｂの頭頂部への視線は、撮像装置２から近いほうの人物６Ａの頭頂部への視線２０１の俯角が、撮像装置２から遠いほうの人物６Ｂの頭頂部への視線２０２の俯角よりも大きくなる。そのため、撮像装置２から見て二人の人物６Ａ，６Ｂが重なっている場合、図１Ｂに示すように、撮像装置２で撮像した画像７００では、撮像装置２から近いほうの人物６Ａの頭部が、遠いほうの人物６Ｂの頭部よりもΔｄ１だけ下方に位置している。

ところが、撮像装置２の撮像範囲内を移動する人物は、撮像装置２からの距離が近いほうの人物の身長が遠いほうの人物の身長よりも高い場合がある。この場合、図２Ａに示したように、撮像装置２から見た人物６Ｃ，６Ｄの頭頂部への視線は、撮像装置２から近いほうの人物６Ｃの頭頂部への視線２０３の俯角が、撮像装置２から遠いほうの人物６Ｄの頭頂部への視線２０４の俯角よりも小さくなることがある。撮像装置２から近いほうの人物６Ｃへの視線の俯角のほうが小さい場合、撮像装置２から見て二人の人物６Ｃ，６Ｄが重なっていると、撮像装置２で撮像した画像は、図２Ｂに示す画像７０１のようになる。画像７０１では、撮像装置２から近いほうの人物６Ｃの頭部が、遠いほうの人物６Ｄの頭部よりもΔｄ２だけ上方に位置している。

また、詳細な説明は省略するが、撮像装置２の光軸が仰角である場合、重なる人物の身長が同程度であれば撮像装置２から近いほうの人物の頭部が画面の上方になる。しかしながら、撮像装置２から近いほうの人物の身長が撮像装置2から遠いほうの人物の身長よりも低い場合、撮像装置２から近いほうの人物の頭部が画面の下方になることもある。

このように、画像内で重なる人物の頭部の位置と撮像装置２からの距離との関係は、重なる人物の身長や重なる人物同士の距離により変化する。そのため、画像内で重なる人物の頭部の上下関係に基づいて人物の前後関係を判定する場合、判定を誤ることがある。

図３は、一実施形態に係る監視装置の機能的構成を示すブロック図である。
図３に示すように、本実施形態に係る監視装置１は、画像取得部１００と、人物位置推定部１０１と、重なり領域検出部１０２と、前後関係判定部１０３と、人物追跡部１０４と、人物検出部１０５と、画像出力部１０６と、記憶部１０７と、を備える。

画像取得部１００は、撮像装置２で撮像した動画像データを取得する。また、画像取得部１００は、例えば、取得した動画像データをフレーム毎に人物位置推定部１０１、及び人物検出部１０５に出力する。以下、取得した動画像データを単に動画像ともいう。

人物位置推定部１０１は、取得した動画像における過去のフレームから検出された人物の位置情報に基づいて、現在の処理対象フレームに存在する人物の位置を推定する。また、人物位置推定部１０１は、推定した人物の位置に基づいて、現在の処理対象フレームに追跡中の人物についての人物領域を設定する。このとき、人物位置推定部１０１は、過去のフレームから検出された人物の位置情報を、記憶部１０７から読み出す。ここで、過去のフレームは、後述する画像処理を既に行ったフレームである。以下、過去のフレームから検出された人物のことを追跡中の人物ともいう。

重なり領域検出部１０２は、現在の処理対象フレームにおける追跡中の人物の位置に基づいて複数の人物が重なっている領域の有無を判定し、重なっている領域がある場合にはその重なり領域の位置及び寸法を算出する。また、重なり領域検出部１０２は、重なっている複数の人物のなかから、撮像装置２に最も近い位置にいる人物の候補を選出する。以下、重なっている複数の人物のうち撮像装置２に最も近い位置にいる人物を最前の人物という。重なり領域検出部１０２は、現在の処理対象フレーム、及び重なり領域の検出結果を前後関係判定部１０３に出力する。

前後関係判定部１０３は、重なり領域検出部１０２の検出結果と、重なっている人物についての照合用データとに基づいて、最前の人物の候補が最前の人物であるか否かを判定し、重なっている人物の前後関係を特定する。このとき、前後関係判定部１０３は、照合用データを記憶部１０７から読み出す。照合用データは、例えば、過去のフレームから抽出した、追跡中の人物の特徴部分を含む画像データである。また、人物の前後関係は、撮像装置２から見た奥行き方向での人物の位置関係であり、撮像装置２から見て撮像装置２により近い位置にいる人物を前（手前）にいる人物とする。前後関係判定部１０３は、現在の処理対象フレーム、及び特定した人物の前後関係を人物追跡部１０４に出力する。

人物追跡部１０４は、追跡中の人物の位置の推定結果と、重なっている人物の前後関係と、追跡中の人物の照合用データとに基づいて、追跡中の人物についての現在の処理対象フレームにおける位置を特定する。このとき、人物追跡部１０４は、照合用データを記憶部１０７から読み出す。また、人物追跡部１０４は、現在の処理対象フレームにおける追跡中の人物の位置を、複数の人物を識別する数字等の識別子と対応付けて記憶部１０７に格納する。更に、人物追跡部１０４は、特定した追跡中の人物の位置を人物検出部１０５に出力する。

人物検出部１０５は、現在の処理対象フレームから、過去のフレームには存在していない人物を検出する。人物検出部１０５は、例えば、Histograms of Oriented Gradients（ＨＯＧ）特徴量を用いた人物検出処理により、現在の処理対象フレームに存在する人物を検出する。また、人物検出部１０５は、現在の処理対象フレームから検出した人物の位置と、人物追跡部１０４で求めた追跡中の人物の現在の処理対象フレームにおける位置とに基づいて、現在の処理対象フレームに新たに追跡対象とする人物が存在するか否かを判定する。新たに追跡対象とする人物が存在する場合、人物検出部１０５は、その人物を識別する識別子と、位置と、照合用データとを記憶部１０７に格納する。照合用データは、例えば、人物検出処理において検出した人物を囲む矩形の枠内の画像データとする。人物検出部１０５は、現在の処理対象フレーム、及び現在の処理対象フレームから検出した人物の位置情報を画像出力部１０６に出力する。

画像出力部１０６は、例えば、撮像装置２から取得した動画像データに、追跡中の人物や新たに検出した人物を示す枠線等の情報を付加して表示装置３に出力する。画像出力部１０６は、例えば、人物検出部１０５から入力された追跡中の人物の位置情報及び新たに追跡対象となった人物の位置情報に基づいて、現在の処理対象フレームに枠線等の情報を付加する。
記憶部１０７は、追跡中の人物の位置、照合用データ等を記憶する。

図４は、監視装置が行う画像処理を示すフローチャートである。
監視装置１は、撮像装置2から取得した動画像データに対し図４に示したような画像処理を行い、撮像領域内を移動する人物を監視する。

監視装置１は、まず、撮像装置２で撮像した動画像の取得を開始する（ステップＳ１）。動画像の取得は、画像取得部１００が行う。画像取得部１００は、監視装置１による画像処理を終了するまで、撮像装置２から動画像を取得し、画像処理の単位となるフレーム毎に人物位置推定部１０１、及び人物検出部１０６に渡す処理を続ける。

人物位置推定部１０１は、処理対象のフレームが入力されると、人物位置推定処理（ステップＳ２）を行う。人物位置推定部１０１は、まず、記憶部１０７から読み出した追跡中の人物の位置情報に基づいて、追跡中の人物の現在の監視対象フレームにおける位置を推定する。また、人物位置推定部１０１は、推定した人物の位置に基づいて、現在の処理対象フレームに追跡中の人物についての人物領域を設定する。人物の位置の推定及び人物領域の設定を終えると、人物位置推定部１０１は、現在の処理対象フレーム、追跡中の人物を識別する識別子、及び設定した人物領域を重なり領域検出部１０２に出力する。なお、画像処理の開始直後で追跡中の人物の位置情報が不足している場合、人物位置推定部１０１は、人物位置推定処理を行わず、現在の処理対象フレーム、及び処理をスキップしたことを示す情報を重なり領域検出部１０２に出力する。

重なり領域検出部１０２は、人物位置推定部１０１から設定した人物領域等の情報を受け取ると、重なり領域検出処理（ステップＳ３）を行う。重なり領域検出部１０２は、まず、人物領域に基づいて、各人物について重なっている人物の有無を判定する。そして、重なっている人物がいる場合、重なり領域検出部１０２は、重なり領域の位置及び寸法を算出する処理を行う。更に、重なり領域検出部１０２は、重なっている複数の人物のなかから、撮像装置２に最も近い位置にいる最前の人物の候補を選出する。本実施形態では、重なっている複数の人物のうちフレーム（画面）内における頭部の位置が最も下方の人物を、最前の人物の候補に選出する。重なり領域を算出し、最前の人物の候補を選出すると、重なり領域検出部１０２は、現在の処理対象フレーム、及び検出した重なり領域に関する情報を前後関係判定部１０３に出力する。なお、人物位置推定部１０１が人物位置推定処理をスキップした場合、及び重なっている人物がいない場合、重なり領域検出部１０２は、現在の処理対象フレーム、及び重なり領域が存在しないことを示す情報を前後関係判定部１０３に出力する。

前後関係判定部１０３は、重なり領域検出部１０２から検出した重なり領域に関する情報等を受け取ると、前後関係判定処理（ステップＳ３）を行う。前後関係判定部１０３は、まず、現在の処理対象フレームと、重なり領域に関する情報と、記憶部１０７から読み出した重なる人物についての照合用データとに基づいて、最前の人物の候補が最前の人物であるか否かを判定する。当然のことであるが、最前の人物の候補が最前の人物であると判定した場合、前後関係判定部１０３は、最前の人物の候補を最前の人物に特定する。一方、最前の人物の候補が最前の人物ではないと判定した場合、前後関係判定部１０３は、最前の人物の候補を除く他の人物から最前の人物を特定する。例えば、重なっている人物が二人で、最前の人物の候補が最前の人物ではないと判定した場合、前後関係判定部１０３は、最前の人物の候補ではないほうの人物が最前の人物であると特定する。最前の人物の特定を終えると、前後関係判定部１０３は、現在の処理対象フレーム、及び特定した最前の人物の識別子を人物追跡部１０４に出力する。なお、重なり領域検出部１０２において重なり領域を検出しなかった場合、前後関係判定部１０３は、前後関係判定処理をスキップし、現在の処理対象フレーム、及び重なり領域が存在しないことを示す情報を人物追跡部１０４に出力する。

人物追跡部１０４は、前後関係判定部１０３から重なり領域における人物の前後関係を示す情報等を受け取ると、人物追跡処理（ステップＳ４）を行う。人物追跡部１０４は、現在の処理対象フレームにおける追跡中の人物の推定位置と、重なり領域の人物の前後関係と、各人物の照合用データとに基づいて、現在の処理対象フレームにおける追跡中の人物の位置を算出する。追跡中の人物の位置の算出は、照合用データをテンプレートとするテンプレートマッチングを用いて行う。テンプレートマッチングでは、現在の処理対象フレームにおいてテンプレート（照合用データ）との類似度が最も高い領域を算出する。人物追跡部１０４は、テンプレートマッチングの結果に基づき、照合用データとの類似度が最も高い領域を表す位置を追跡中の人物の位置に特定する。追跡中の人物の位置の特定を終えると、人物追跡部１０４は、特定した追跡中の人物の位置についての情報を人物検出部１０５に出力するとともに、記憶部１０７に記憶させた追跡中の人物の位置情報を更新する。

人物検出部１０５は、現在の処理対象フレームにおける追跡中の人物の位置情報を受け取ると、人物検出処理（ステップＳ６）を行う。人物検出部１０５は、現在の処理対象フレームに対しＨＯＧ特徴量等を用いた人物検出処理を行って検出した人物の位置情報と、追跡中の人物の位置情報とを比較し、新たに追跡対象とする人物の位置情報を抽出する。人物検出部１０５は、現在の処理対象フレームに新たに追跡対象とする人物が存在する場合、当該人物に識別子を付与し、位置情報や照合用データを記憶部１０７に記憶させる。また、人物検出部１０５は、現在の処理対象フレーム、及び検出した人物の位置情報を画像出力部１０６に出力する。なお、人物検出部１０５が行う人物検出処理のうち、ＨＯＧ特徴量等を用いて現在の処理対象フレームから人物を検出する処理は、ステップＳ２〜Ｓ５の後に限らず、ステップＳ２〜Ｓ５と並列に行ってもよい。

画像出力部１０６は、人物検出部１０５から現在の処理対象フレーム、及び当該処理対象フレームから検出した人物の位置情報を受け取ると、現在の処理対象フレームに対する画像処理の結果を出力する（ステップＳ７）。画像出力部１０６は、例えば、現在の処理対象フレームに検出した人物を囲む枠線等を付加した表示データを作成し、作成した表示データを表示装置３に出力する。

上記ステップＳ２〜Ｓ７の処理を行った後、監視装置１は、処理を続けるか否かを判定する（ステップＳ８）。処理を続ける場合（ステップＳ８；Ｙｅｓ）、監視装置１は、次のフレームを現在の処理対象フレームとしてステップＳ２〜Ｓ７を行う。一方、処理を続けない場合（ステップＳ８；Ｎｏ）、監視装置１は、画像処理（監視処理）を終了する。

以下、ステップＳ２〜Ｓ５の処理について、図５〜図１２Ｂを参照して詳細に説明する。

図５は、人物位置推定処理の内容を示すフローチャートである。
図４に示したフローチャートの人物位置推定処理（ステップＳ２）は、上記のように人物位置推定部１０１が行う。人物位置推定部１０１は、人物位置推定処理として、図５に示したような処理を行う。

人物位置推定部１０１は、まず、記憶部１０７に追跡中の人物の位置情報があるか否かをチェックする（ステップＳ２００）。ステップＳ２００において、人物位置推定部１０１は、現在の処理対象フレームの直前２フレームの人物の位置情報が記憶部１０７に記憶されているかをチェックする。ここで、人物の位置情報は、撮像装置２で撮像した動画像におけるカメラ座標系での座標とする。

人物の位置情報がない場合（ステップＳ２００；Ｎｏ）、人物位置推定部１０１は、ステップＳ２０１以降の処理をスキップし、人物位置推定処理を終了する（リターン）。なお、図５では省略しているが、人物の位置情報がない場合、人物位置推定部１０１は、現在の処理対象フレーム、及び追跡中の人物が存在しないことを示す情報を重なり領域検出部１０２に出力してから人物位置推定処理を終了する。

一方、人物の位置情報がある場合（ステップＳ２００；Ｙｅｓ）、人物位置推定部１０１は、次に、記憶部１０７から過去の２フレームにおける人物の位置情報を読み出す（ステップＳ２０１）。

次に、人物位置推定部１０１は、読み出した位置情報を用いて、追跡中の人物の移動量を算出する（ステップＳ２０２）。人物の移動量は、現在の処理対象フレームの２フレーム前の位置から１フレーム前の位置までの距離と、２フレーム前の位置から１フレーム前の位置への移動方向とで表される。本実施形態では、現在の処理対象フレームの１フレーム前の位置を示す座標と２フレーム前の位置を表す座標との差分を移動量とする。また、ステップＳ２０１で複数の人物の位置情報を読み出した場合、人物位置推定部１０１は、ステップＳ２０２において読み出した人数分の移動量を人物毎に算出する。

次に、人物位置推定部１０１は、算出した移動量に基づいて、現在の処理対象フレームにおける追跡中の人物の位置を推定する（ステップＳ２０３）。ステップＳ２０３において、人物位置推定部１０１は、１フレーム前の位置を表す座標に算出した移動量を加算して得られる座標を、現在の処理対象フレームにおける追跡中の人物の推定位置とする。

次に、人物位置推定部１０１は、ステップＳ２０３で推定した人物の位置に基づいて、人物領域を設定する（ステップＳ２０４）。本実施形態では、人物位置推定部１０１は、例えば、１フレーム前における人物領域と、ステップＳ２０２で算出した移動量とに基づいて、現在の処理対象フレームに追跡中の人物についての人物領域を設定する。

人物領域の設定を終了すると、人物位置推定部１０１は、現在の処理対象フレーム、推定した人物の位置、及び設定した人物領域を重なり領域検出部１０２に出力し、人物位置推定処理を終了する。なお、ステップＳ２０３において推定した位置（座標）が処理対象フレーム内でとり得る値の範囲外になった人物も、後述する人物追跡処理においてフレーム内に該当する人物の位置が特定されることがある。そのため、人物位置推定部１０１は、追跡中の全ての人物についての推定位置及び人物領域を重なり領域検出部１０２に出力する。

図６は、追跡中の人物の現在の処理対象フレームにおける位置の推定方法を説明する図である。図６において、フレーム時刻ｔのフレーム７１２は現在の処理対象フレームであり、フレーム時刻ｔ−１のフレーム７１１及びフレーム時刻ｔ−２のフレーム７１０は過去のフレームである。

フレーム７１２に対して人物位置推定処理を行うときには、フレーム７１０における人物６Ｅの位置を表す座標（ＰＸ_ｔ−２，ＰＹ_ｔ−２）、及びフレーム７１１における人物６Ｅの位置を表す座標（ＰＸ_ｔ−１，ＰＹ_ｔ−１）が記憶部１０７に記憶されている。そのため、人物位置推定部１０１は、まず、ステップＳ２０１でフレーム７１０における人物６Ｅの位置を表す座標（ＰＸ_ｔ−２，ＰＹ_ｔ−２）、及びフレーム７１１における人物６Ｅの位置を表す座標（ＰＸ_ｔ−１，ＰＹ_ｔ−１）を読み出す。そして、人物位置推定部１０１は、次のステップＳ２０２で、読み出した人物６Ｅについての座標（ＰＸ_ｔ−２，ＰＹ_ｔ−２）及び（ＰＸ_ｔ−１，ＰＹ_ｔ−１）を用いて時刻ｔ−２からｔ−１までの人物６Ｅの移動量（ΔＰＸ，ΔＰＹ）を算出する。移動量（ΔＰＸ，ΔＰＹ）は、下記式（１−１）及び（１−２）により算出する。

ΔＰＸ＝ＰＸ_ｔ−１−ＰＸ_ｔ−２ ・・・（１−１）
ΔＰＹ＝ＰＹ_ｔ−１−ＰＹ_ｔ−２ ・・・（１−２）

ここで、動画像のフレームレートが極端に低い場合を除けば、連続するフレーム間における人物６Ｅの移動量に大きな変動はないとみなすことができる。すなわち、フレームレートが極端に低い場合を除き、時刻ｔ−２からｔ−１までの人物６Ｅの移動量と、時刻ｔ−１からｔまでの人物６Ｅの移動量とに大きな差異はないとみなすことができる。そのため、時刻ｔのフレーム７１２における人物６Ｅの位置は、時刻ｔ−２からｔ−１までの人物６Ｅの移動量（ΔＰＸ，ΔＰＹ）を用いた線形近似により推定することができる。よって、人物位置推定部１０１は、ステップＳ２０３で、下記式（２−１）及び（２−２）により時刻ｔのフレーム７１２における人物６Ｅの推定位置を示す座標（ＰＸ_ｔ，ＰＹ_ｔ）を算出する。

ＰＸ_ｔ＝ＰＸ_ｔ−１＋ΔＰＸ
＝２・ＰＸ_ｔ−１−ＰＸ_ｔ−２ ・・・（２−１）
ＰＹ_ｔ＝ＰＹ_ｔ−１＋ΔＰＹ
＝２・ＰＹ_ｔ−１−ＰＹ_ｔ−２ ・・・（２−２）

また、時刻ｔのフレーム７１２における人物６Ｅについての人物領域ＡＲ１は、時刻ｔ−１のフレーム７１１における人物６Ｅの人物領域ＡＲ、すなわち時刻ｔ−１のフレーム７１１に対する画像処理で得られた人物６Ｅを示す領域に基づいて設定する。例えば、フレーム７１１における人物６Ｅの人物領域ＡＲにおける４つの頂点Ａ１〜Ａ４の各座標を移動量（ΔＰＸ，ΔＰＹ）だけ移動させた点Ｂ１〜Ｂ４を頂点とする領域を、時刻ｔのフレーム７１２における人物６Ｅについての人物領域ＡＲ１とする。

なお、人物６Ｅの位置を示す座標は、図６に示したような人物６Ｅの頭部の中心の座標に限らず、他の部位の座標であってもよい。

図７は、重なり領域検出処理の内容を示すフローチャートである。
図４に示したフローチャートの重なり領域検出処理（ステップＳ３）は、上記のように重なり領域検出部１０２が行う。重なり領域検出部１０２は、重なり領域検出処理として、図７に示したような処理を行う。

重なり領域検出部１０２は、まず、ステップＳ２の処理結果に基づいて、現在の処理対象フレームに複数の人物領域があるか否かを判定する（ステップＳ３００）。人物領域が１つ又は０の場合（ステップＳ３００；Ｎｏ）、重なり領域検出部１０２は、ステップＳ３０１以降の処理をスキップし、重なり領域検出処理を終了する（リターン）。なお、図７では省略しているが、人物領域が１つ又は０の場合、重なり領域検出部１０２は、現在の処理対象フレーム、及び前後関係の判定が必要な人物領域がないことを示す情報を前後関係判定部１０３に出力してから重なり領域検出処理を終了する。

一方、複数の人物領域がある場合（ステップＳ３００；Ｙｅｓ）、重なり領域検出部１０２は、次に、１つの人物領域を選択し、選択した人物領域についての重複フラグを０にする（ステップＳ３０１）。

次に、重なり領域検出部１０２は、選択した人物領域と重なり、かつ重なり領域が未設定の人物領域があるか否かをチェックする（ステップＳ３０２）。ステップＳ３０２において、重なり領域検出部１０２は、例えば、選択した人物領域と他の人物領域とに重なり領域があるか否かの判定を、以下のような方法で行う。まず、選択した人物領域の４つの頂点のうち左上及び右下の頂点の座標（Ｘｓ，Ｙｓ）及び（Ｘｅ，Ｙｅ）と、他の人物領域の４つの頂点のうち左上及び右下の頂点の座標（Ｘｓ’，Ｙｓ’）及び（Ｘｅ’，Ｙｅ’）とを抽出する。そして、これらの座標値が下記の条件１又は２を満たす場合、２つの人物領域に重なり領域が存在すると判定する。

（条件１）Ｘｓ＜Ｘｓ’＜Ｘｅ及びＸｓ＜Ｘｅ’＜Ｘｅのいずれか或いは両方を満たし、かつ、Ｙｓ＜Ｙｓ’＜Ｙｅ及びＹｓ＜Ｙｅ’＜Ｙｅのいずれか或いは両方を満たす。

（条件２）Ｘｓ’＜Ｘｓ＜Ｘｅ’及びＸｓ＜Ｘｅ’＜Ｘｅのいずれか或いは両方を満たし、かつ、Ｙｓ＜Ｙｓ’＜Ｙｅ及びＹｓ＜Ｙｅ’＜Ｙｅのいずれか或いは両方を満たす。

選択した人物領域と重なり、かつ重なり領域が未設定の人物領域がある場合（ステップＳ３０２；Ｙｅｓ）、重なり領域検出部１０２は、重複フラグを１にし、頭部が画面下方になる人物を人物１、頭部が画面上方になる人物を人物２とする（ステップＳ３０３）。ここで、画面下方及び画面上方は、それぞれ、処理対象フレームを正立方向で表示したときの下方及び上方である。また、頭部の上下方向の位置関係は、例えば、各人物領域の上辺のｙ座標で判断する。また、本実施形態では、図１Ａに示したように光軸２００が俯角になるよう設置された撮像装置２で撮像した動画像の人物を追跡している。この場合、重なっている複数の人物の身長が同程度であれば撮像装置２から近い人物の頭部のほうが画面下方になるが、撮像装置２から近い人物の身長が高い場合、図２Ｂに示したように撮像装置２から近い人物の頭部のほうが画面上方になることもある。そのため、本実施形態におけるステップＳ３０３では、重なっている複数の人物のうち頭部が画面下方になる人物を撮像装置２から最も近い人物（すなわち最前の人物）の候補とし、他の人物と区別するため人物１というラベルを付す。

次に、重なり領域検出部１０２は、選択した人物領域と、当該人物領域に重なる人物領域との重なり領域を算出する（ステップＳ３０４）。ステップＳ３０４において、重なり領域検出部１０２は、例えば、以下の方法で重なり領域を算出する。すなわち、重なり領域の４つの頂点のうち左上の頂点、右上の頂点、及び右下の頂点の座標をそれぞれ（Ｘｓｏ，Ｙｓｏ），（Ｘｅｏ，Ｙｓｏ），及び（Ｘｅｏ，Ｙｅｏ）とし、下記式（３−１）〜（３−３）によりＸｓｏ，Ｙｓｏ，Ｘｅｏ，Ｙｅｏを算出する。

Ｘｓｏ＝ｍａｘ（Ｘｓ，Ｘｓ’） ・・・（３−１）
Ｙｓｏ＝ｍａｘ（Ｙｓ，Ｙｓ’） ・・・（３−２）
Ｘｅｏ＝ｍｉｎ（Ｘｅ，Ｘｅ’） ・・・（３−３）
Ｘｅｏ＝ｍｉｎ（Ｙｅ，Ｙｅ’） ・・・（３−４）

ここで、ｍａｘ（ａ，ｂ）は値ａと値ｂのうち大きいほうの値を選択することを意味し、ｍｉｎ（ａ，ｂ）は値ａと値ｂのうち小さいほうの値を選択することを意味する。

ステップＳ３０４で重なり領域を算出した後、重なり領域検出部１０２は、ステップＳ３０１で選択していない人物領域、すなわちステップＳ３０１〜Ｓ３０４について未処理の人物領域があるか否かを判定する（ステップＳ３０５）。

一方、ステップＳ３０２において選択した人物領域と重なり、かつ重なり領域が未設定の人物領域がないと判定した場合（ステップＳ３０２；Ｎｏ）、重なり領域検出部１０２は、ステップＳ３０３，Ｓ３０４をスキップし、ステップＳ３０５の判定を行う。

ステップＳ３０５において未処理の人物領域があると判定した場合（ステップＳ３０５；Ｙｅｓ）、重なり領域検出部１０２は、ステップＳ３０１に戻り、未処理の人物領域に対しステップＳ３０１〜Ｓ３０４の処理を行う。そして、ステップＳ３０５において未処理の人物領域はないと判定した場合（ステップＳ３０５；Ｎｏ）、重なり領域検出部１０２は、重なり領域検出処理を終了する。なお、図７では省略しているが、ステップＳ３０５において未処理の人物領域はないと判定した後、重なり領域検出部１０２は、現在の処理対象フレーム、及び重なり領域に関する情報等を前後関係判定部１０３に出力してから重なり領域検出処理を終了する。

図８は、重なり領域の有無の判定方法及び重なり領域の算出方法を説明する図である。
図８に示したフレーム７１３では、人物６Ｆについての人物領域ＡＲ１と、人物６Ｇについての人物領域ＡＲ２とが重なっている。また、人物６Ｆと人物６Ｇとは、人物６Ｆの頭部のほうが画面下方（＋ｙ方向）にある。

このようなフレーム７１３に対して重なり領域検出処理を行う場合、重なり領域検出部１０２は、例えば、まず、ステップＳ３０１で人物領域ＡＲ１を選択し、ステップＳ３０２で人物領域ＡＲ１と人物領域ＡＲ２とが重なるかを判定する。ここで、人物領域ＡＲ１の４つの頂点のうち左上の頂点、右上の頂点、及び右下の頂点の座標をそれぞれ（Ｘｓ，Ｙｓ），（Ｘｅ，Ｙｓ），及び（Ｘｅ，Ｙｅ）とする。また、人物領域ＡＲ２の４つの頂点のうち左上の頂点、右上の頂点、及び右下の頂点の座標をそれぞれ（Ｘｓ’，Ｙｓ’），（Ｘｅ’，Ｙｓ’），及び（Ｘｅ’，Ｙｅ’）とする。このとき、２つの人物領域ＡＲ１，ＡＲ２は、ｘ方向の座標がＸｓ＜Ｘｓ’＜Ｘｅであり、ｙ方向の座標がＹｓ＜Ｙｅ’＜Ｙｅである。そのため、２つの人物領域ＡＲ１，ＡＲ２は条件１を満たしており、ステップＳ３０２において重なり領域があると判定される。よって、２つの人物領域ＡＲ１，ＡＲ２の重なり領域が未設定の場合、ステップＳ３０３，Ｓ３０４により重なり領域（太い点線で示した領域）ＯＡが設定される。

また、図８に示した人物６Ｆと人物６Ｇとは、人物６Ｆの頭部のほうが下方にある。そのため、ステップＳ３０３では、人物６Ｆに最前の人物の候補であることを表す人物１のラベルが付与され、人物６Ｇには人物２のラベルが付与される。また、ステップＳ３０４で式（３−１）〜（３−４）を用いて人物領域ＡＲ１，ＡＲ２の重なり領域を算出すると、重なり領域ＯＡの４つの頂点のうち左上、右上、右下の頂点の座標は、それぞれ（Ｘｓ’，Ｙｓ），（Ｘｅ，Ｙｓ），及び（Ｘｅ，Ｙｅ’）となる。

図９は、前後関係判定処理の内容を示すフローチャートである。
図４に示したフローチャートの前後関係判定処理（ステップＳ４）は、上記のように前後関係判定部１０３が行う。前後関係判定部１０３は、前後関係判定処理として、図９に示したような処理を行う。

前後関係判定部１０３は、まず、ステップＳ３の処理結果に基づいて、重複フラグが１の人物領域の組があるか否かを判定する（ステップＳ４００）。該当する人物領域の組がない場合（ステップＳ４００；Ｎｏ）、前後関係判定部１０３は、ステップＳ４０１以降の処理をスキップし、前後関係判定処理を終了する（リターン）。ここで、重複フラグが１の人物領域の組がない場合は、現在の処理対象フレームに追跡中の人物が存在しない場合、及び追跡中の人物が一人の場合、並びに追跡中の人物が複数で各人物の人物領域に重なりがない場合を含む。なお、図９では省略しているが、重複フラグが１の人物領域の組がない場合、前後関係判定部１０３は、現在の処理対象フレーム、及び人物領域の重なりがないことを示す情報等を人物追跡部１０４に出力してから前後関係判定処理を終了する。

一方、重複フラグが１の人物領域の組がある場合（ステップＳ４００；Ｙｅｓ）、前後関係判定部１０３は、次に、重複フラグが１で判定フラグが未設定の人物領域の組の１つを選択する（ステップＳ４０１）。ここで、判定フラグは、重なり領域検出処理で選出した最前の人物の候補が最前の人物であるか否かの判定結果を示すフラグである。

次に、前後関係判定部１０３は、選択した人物領域の組みについて、人物１の照合用データにおける重なり領域部分と人物領域の重なり領域との照合割合Ｍ１、及び人物２についての照合用データと人物領域との照合割合Ｍ２を算出する（ステップＳ４０２）。ここで、照合割合Ｍ１の算出に用いる人物領域の重なり領域、及び照合割合Ｍ２の算出に用いる人物領域は、それぞれ、現在の処理対象フレームにおける重なり領域及び人物領域である。また、照合割合Ｍ１，Ｍ２は、２つの画像の類似度や一致度の算出に用いる既知の関数により算出する。

次に、前後関係判定部１０３は、照合割合Ｍ１，Ｍ２がＭ１＜Ｔｈ１かつＭ２＞Ｔｈ２であるか否か、及び２つの照合位置が同じ位置に存在するか否かを判定する（ステップＳ４０３）。ここで、Ｔｈ１及びＴｈ２はそれぞれ予め定めた閾値であり、例えば、照合割合Ｍ１，Ｍ２が０≦Ｍ１≦１，０≦Ｍ２≦１の場合、それぞれ０．７〜０．８程度の数値とする。

Ｍ１＜Ｔｈ１かつＭ２＞Ｔｈ２である場合、又は２つの照合位置が同じ位置に存在する場合（ステップＳ４０３；Ｙｅｓ）、前後関係判定部１０３は、人物１が遮蔽状態であると判定し、判定フラグを０にする（ステップＳ４０４）。ここで、遮蔽状態は、人物１よりも前に人物２がいて、人物１の一部又は全部が人物２に隠れている状態を意味する。すなわち、重なっている人物領域の組に対する判定フラグを０にすることで、当該人物領域の組における最前の人物は、最前の人物の候補（人物１）ではなく、人物２であることが特定される。

一方、Ｍ１≧Ｔｈ１又はＭ２≦Ｔｈ２であり、かつ２つの照合位置が同じ位置に存在しない場合（ステップＳ４０３；Ｎｏ）、前後関係判定部１０３は、人物１のほうが前であると判定し、判定フラグを１にする（ステップＳ４０５）。すなわち、重なっている人物領域の組に対する判定フラグを１にすることで、当該人物領域の組における最前の人物は最前の人物の候補（人物１）であることが特定される。

ステップＳ４０４又はＳ４０５により判定フラグの値を設定した後、前後関係判定部１０３は、判定フラグが未設定の人物領域の組があるか否かをチェックする（ステップＳ４０６）。判定フラグが未設定の人物領域の組がある場合（ステップＳ４０６；Ｙｅｓ）、前後関係判定部１０３は、未設定の人物領域の組に対しステップＳ４０１〜ステップＳ４０５の処理を行う。そして、ステップＳ４０６において判定フラグが未設定の人物領域の組がないと判定した場合（ステップＳ４０６；Ｎｏ）、前後関係判定部１０３は、前後関係判定処理を終了する。なお、図９では省略しているが、ステップＳ４０６において判定フラグが未設定の人物領域の組はないと判定した後、前後関係判定部１０３は、現在の処理対象フレーム、及び処理結果に関する情報等を人物追跡部１０４に出力してから前後関係判定処理を終了する。

図１０Ａは、頭部が下方にある人物１が人物２よりも手前にいる場合の前後関係判定処理の結果を説明する図である。図１０Ｂは、頭部が下方にある人物１が人物２よりも奥にいる場合の前後関係判定処理の結果を説明する図である。

図１０Ａに示したフレーム７１３のように二人の人物６Ｆ，６Ｇが重なっている場合、重なり領域検出処理（ステップＳ３）により、頭部がより画面下方に位置する人物６Ｆが人物１となり、頭部がより画面上方に位置する人物６Ｇが人物２となる。そのため、前後関係判定処理のステップＳ４０２では、次のような照合割合Ｍ１，Ｍ２の算出処理が行われる。まず、人物１（人物６Ｆ）については、照合用データＢＲ１のうちフレーム７１３の重なり領域ＯＡ（太い点線で囲まれた領域）と対応する部分領域ＢＲ１’を、フレーム７１３の重なり領域ＯＡ及びその近傍領域と照合して照合割合Ｍ１を算出する。このとき、図１０Ａに示したように、人物６Ｆが人物６Ｇよりも前（撮像装置側）にいれば、重なり領域ＯＡ内で人物６Ｆが人物６Ｇに隠れることはない。そのため、照合割合Ｍ１は、人物６Ｆと人物６Ｇとが重なっていない状態である場合と同程度の大きな値になる。

また、人物２（人物６Ｇ）については、照合用データＢＲ２の全体を、フレーム７１３の人物２についての人物領域ＡＲ２及びその近傍領域と照合して照合割合Ｍ２を算出する。このとき、図１０Ａに示したように、人物６Ｆが人物６Ｇよりも前（撮像装置側）にいると、人物６Ｇの一部が人物６Ｆで遮蔽される。そのため、照合割合Ｍ２は人物６Ｆと人物６Ｇとが重なっていない状態である場合に比べて小さな値になる。

一方、図１０Ｂに示したフレーム７１４のように二人の人物６Ｆ，６Ｇが重なっており、前（撮像装置側）にいる人物６Ｇの頭部のほうがより画面上方に位置する場合、奥にいる人物６Ｆが人物１となり、前にいる人物６Ｇが人物２となる。すなわち、実際には最前の人物ではない人物６Ｆが、最前の人物の候補となる。そのため、前後関係判定処理のステップＳ４０２では、人物１（人物６Ｆ）については、照合用データＢＲ１のうち重なり領域ＯＡと対応する部分領域ＢＲ１’を、フレーム７１４の重なり領域ＯＡ及びその近傍領域と照合して照合割合Ｍ１を算出する。このとき、図１０Ｂに示したように、人物６Ｇが人物６Ｆよりも前（撮像装置側）にいると、重なり領域ＯＡでは人物６Ｆの一部が人物６Ｇに遮蔽される。そのため、照合割合Ｍ１は、人物６Ｆと人物６Ｇとが重なっていない状態である場合に比べて小さな値になる。

また、人物２（人物６Ｇ）については、照合用データＢＲ２の全体を、フレーム７１４の人物２についての人物領域ＡＲ２及びその近傍領域と照合して照合割合Ｍ２を算出する。このとき、人物６Ｇが前（撮像装置側）にいると、人物６Ｇが人物６Ｆで遮蔽されることはないため、照合割合Ｍ２は人物６Ｆと人物６Ｇとが重なっていない状態である場合と同程度の大きな値になる。

更に、人物１についての照合領域ＢＲ１の部分領域ＢＲ１’と人物２についての照合領域ＢＲ２とが同じ位置にある場合、頭部が下方にある人物１（人物６Ｆ）が人物２（人物６Ｇ）よりも奥にいると、人物１の全体が人物２に遮蔽されてしまう。

よって、本実施形態の前後関係判定処理において、上記のようにＭ１＜Ｔｈ１かつＭ２＞Ｔｈ２である場合、又は２つの照合位置が同じ位置に存在する場合、前後関係判定部１０３は、人物２のほうが前であると判定する。

このように、前後関係判定部１０３が行う前後関係判定処理では、重なっている複数の人物の頭部の位置関係、及び人物毎に算出した照合割合に基づいて、重なっている複数の人物の前後関係を判定する。また、重なっている複数の人物のうち最前の人物の候補に選出された人物については、照合用データのうち重なり領域検出処理のステップＳ３０４で算出した重なり領域と対応する部分領域のみを用いて照合割合Ｍ１を算出する。そのため、本実施形態の前後関係判定処理によれば、図１０Ｂに示したように、前にいる人物の頭部が奥にいる人物の頭部よりも画面上方にある場合でも、両人物の前後関係を正確に判定することができる。

例えば、人物１と人物２との重なり領域が狭く、かつ図１０Ｂに示したように人物１（人物６Ｆ）が実際には他の人物６Ｇよりも奥にいる場合、人物６Ｆのうち人物６Ｇに遮蔽される部分が少なくなる。そのため、人物１についての照合用データＢＲ１の全体を用いて照合割合Ｍ１を算出すると、照合割合Ｍ１は、人物６Ｇと人物６Ｆとが重なっていない状態である場合に比べてわずかに小さくなるだけである。よって、人物１についての照合用データＢＲ１の全体を用いて照合割合Ｍ１を算出すると、人物６Ｇ及び人物６Ｆのどちらが前にいるかを正確に判定することが困難になる。

これに対し、本実施形態の前後関係判定処理では、上記のように最前の人物の候補に選出された人物６Ｆについての照合割合Ｍ１は、重なり領域ＯＡのみで算出する。そのため、最前の人物の候補である人物６Ｆよりも前に他の人物６Ｇがいる場合、重なり領域ＯＡ内における人物６Ｆのうち人物６Ｇで遮蔽された部分の割合は、人物領域ＡＲ１における人物６Ｆのうち人物６Ｇで遮蔽された部分の割合よりも高くなる。そして、照合する領域内における照合対象人物のうち他の人物等で遮蔽された部分の割合が高いほど、照合割合は小さくなる。したがって、重なり領域ＯＡと対応する部分領域ＢＲ１’のみで照合割合Ｍ１を算出すると、照合用データＢＲ１の全体を用いて照合割合Ｍ１を算出した場合に比べて、照合割合Ｍ１が小さくなる。よって、最前の人物の候補（人物１）についての照合割合Ｍ１を重なり領域ＯＡと対応する部分領域ＢＲ１’のみを用いて算出すると、人物１と人物２との重なり領域が狭い場合でも、人物６Ｇ及び人物６Ｆの前後関係を正確に判定することが可能になる。

図１１Ａは、人物追跡処理の内容を示すフローチャートである。図１１Ｂは、人物追跡処理における人物１，２の位置を特定する処理の内容を示すフローチャートである。

図４に示したフローチャートの人物追跡処理（ステップＳ５）は、上記のように人物追跡部１０４が行う。人物追跡部１０４は、人物追跡処理として、図１１Ａ及び図１１Ｂに示したような処理を行う。

人物追跡部１０４は、まず、ステップＳ２〜Ｓ４の処理結果に基づいて、現在の処理対象フレームに追跡中の人物がいるか否かを判定する（ステップＳ５００）。追跡中の人物がいない場合（ステップＳ５００；Ｎｏ）、人物追跡部１０４は、ステップＳ５０１以降の処理をスキップし、人物追跡処理を終了する（リターン）。なお、図１１Ａでは省略しているが、追跡中の人物がいない場合、人物追跡部１０４は、追跡中の人物がいないことを示す情報を人物検出部１０５に出力してから人物追跡処理を終了する。

追跡中の人物がいる場合（ステップ５００；Ｙｅｓ）、人物追跡部１０４は、次に、重複フラグが０の人物領域、すなわち他の人物領域との重なり領域が存在しない人物領域があるか否かをチェックする（ステップＳ５０１）。重複フラグが０の人物領域がある場合（ステップＳ５０１；Ｙｅｓ）、人物追跡部１０４は、既知の追跡方法（例えば、テンプレートマッチング）により、該当する人物の位置を特定する（ステップＳ５０２）。また、ステップＳ５０２において、人物追跡部１０４は、記憶部１０７が記憶している過去のフレームにおける人物の位置情報のうちステップＳ５０２で位置を特定した人物についての位置情報を更新する。そして、ステップＳ５０２の処理を終えると、人物追跡部１０４は、次に、重複フラグが１の人物領域の組があるか否かをチェックする（ステップＳ５０３）。

また、重複フラグが０の人物領域がない場合（ステップＳ５０１；Ｎｏ）、人物追跡部１０４は、ステップＳ５０２をスキップしてステップＳ５０３のチェックを行う。

重複フラグが１の人物領域の組がない場合（ステップＳ５０３；Ｎｏ）、人物追跡部１０４は、ステップＳ５０４以降の処理をスキップし、人物追跡処理を終了する。追跡中の人物がいて重複フラグが１の人物領域の組がない場合、追跡中の人物は他の人物と重ならない人物のみであり、ステップＳ５０２において位置が特定されている。そのため、図１１Ａでは省略しているが、重複フラグが１の人物領域の組がない場合、人物追跡部１０４は、ステップＳ５０２で特定した追跡中の人物の位置を示す情報を人物検出部１０５に出力してから人物追跡処理を終了する。

一方、重複フラグが１の人物領域の組がある場合（ステップＳ５０３；Ｙｅｓ）、人物追跡部１０４は、次に、人物領域の組を１つ選択し（ステップＳ５０４）、選択した人物領域の組についての判定フラグが１であるか否かをチェックする（ステップＳ５０５）。判定フラグが１である場合（ステップＳ５０５；Ｙｅｓ）、人物追跡部１０４は、選択した人物領域の組における人物１，２の位置を特定する処理（ステップＳ５０６）を行う。

また、判定フラグが０である場合（ステップＳ５０５；Ｎｏ）、人物追跡部１０４は、次に、選択した人物領域の組における人物１についての照合用データを保持するとともに、人物１についての遮蔽フラグを１にする（ステップＳ５０７）。その後、人物追跡部１０４は、選択した人物領域の組における人物２について、現在の処理対象フレームにおける人物２の位置を特定する（ステップＳ５０８）。

ステップＳ５０６又はステップＳ５０８により人物の位置を特定すると、人物追跡部１０４は、次に、重複フラグが１の全ての人物領域の組について追跡（人物の位置を特定する処理）をしたか否かを判断する（ステップＳ５０９）。未処理の人物領域の組がある場合（ステップＳ５０９；Ｎｏ）、人物追跡部１０４は、未処理の人物領域の組に対しステップＳ５０４以降の処理を行う。そして、全ての人物領域の組について追跡を行った場合（ステップＳ５０９；Ｙｅｓ）、人物追跡部１０４は、人物追跡処理を終了する。なお、図１１Ａでは省略しているが、全ての人物領域の組に対しステップＳ５０４〜Ｓ５０８の処理を行った場合、人物追跡部１０４は、特定した追跡中の人物の位置を示す情報等を人物検出部１０５に出力してから人物追跡処理を終了する。

上記の人物追跡処理におけるステップＳ５０６の処理、すなわち重複フラグ及び判定フラグが１の人物領域の組における人物１，２の位置を特定する処理として、人物追跡部１０４は、図１１Ｂに示したような処理を行う。

人物１，２の位置を特定する処理において、人物追跡部１０４は、まず、人物１，２の人物領域を表す座標を読み出す（ステップＳ５０６ａ）。次に、人物追跡部１０４は、人物１，２の人物領域におけるｙ座標の最小値を抽出する（ステップＳ５０６ｂ）。

次に、人物追跡部１０４は、人物２の人物領域から、人物１，２の人物領域におけるｙ座標の最小値で挟まれた重なりのない領域を抽出する（ステップＳ５０６ｃ）。次に、人物追跡部１０４は、人物１の照合用データの全体、及び人物２の照合用データのうちステップＳ５０６ｃで抽出した重なりのない領域と対応する部分領域を人物１，２の位置の特定に用いるテンプレートに設定する（ステップＳ５０６ｄ）。

次に、人物追跡部１０４は、設定した人物１，２のテンプレートを用いて現在の処理対象フレームを走査し、各位置における類似度Ｒを算出する（ステップＳ５０６ｅ）。類似度Ｒは、例えば、下記式（４）のような評価関数Ｒ（ｘ，ｙ）を用いて算出する。

式（４）において、Ｔ（ｘ’，ｙ’）はテンプレートの座標（ｘ’，ｙ’）の画素値であり、Ｉ（ｘ＋ｘ’，ｙ＋ｙ’）は処理対象フレームの座標（ｘ＋ｘ’，ｙ＋ｙ’）の画素値である。また、式（４）において、ｗ及びｈは、それぞれ、テンプレートのｘ方向（左右方向）の画素数及びｙ方向（上下方向）の画素数である。

次に、人物追跡部１０４は、類似度Ｒが最も高い位置を現在の処理対象フレームにおける人物の位置とし、記憶部１０７が記憶する人物の位置を表す座標を更新する（ステップＳ５０６ｆ）。このステップＳ５０６ｆの処理を終えると、人物追跡部１０４は、人物１，２の位置を特定する処理を終了する（リターン）。

図１２Ａは、人物２の追跡に用いるテンプレートの設定方法を説明する図である。図１２Ｂは、テンプレートマッチングによる人物１，２の追跡方法を説明する図である。

図１１Ｂに示した人物１，２の位置を特定する処理は、判定フラグが１である人物領域の組に対して行う。判定フラグが１である人物領域の組では、図１２Ａに示したフレーム７１３のように、重なる二人の人物６Ｆ、６Ｇのうち頭部がより画面下方の人物６Ｆ（人物１）のほうが人物６Ｇ（人物２）よりも前にいるので人物６Ｇの一部は人物６Ｆに遮蔽されている。そのため、人物６Ｇの照合用データＢＲ２の全体をテンプレートとしたテンプレートマッチングを行った場合、人物６Ｆで遮蔽された部分における類似度（一致度）が低くなり、人物６Ｇの位置を精度良く特定することが難しい。よって、人物６Ｇ（人物２）の位置を特定する際には、照合用データのうち人物６Ｆ（人物１）の人物領域と重ならない領域のみを用いて特定することが好ましい。

そこで、本実施形態では、図１２Ａに示したように、人物６Ｇの照合用データＢＲ２のうち人物領域ＡＲ１のｙ座標の最小値と人物領域ＡＲ２のｙ座標の最小値とで挟まれる高さΔｄ３の領域と対応した部分領域ＢＲ２’を、人物２のテンプレートに設定する。

一方、重なっている人物６Ｆ，６Ｇのうち前にいる人物６Ｆ（人物１）は、遮蔽された部分がない。そのため、人物６Ｆについては、照合領域ＢＲ１全体を追跡用のテンプレートとして用いることができる。

また、図１２Ｂに示したように、現在の処理対象フレーム７１５において追跡中の二人の人物６Ｈ，６Ｊが重なっている場合、重なり領域判定処理において頭部の位置がより画面下方である人物６Ｈが人物１（最前の人物の候補）になる。そして、上記の前後関係判定処理を続けて行うことで、最前の人物の候補である人物６Ｈが人物６Ｊよりも前にいることが特定され、人物６Ｈ，６Ｊに対する判定フラグが１になる。よって、フレーム７１５についての人物追跡処理では、図１１Ｂに示した処理により人物６Ｈ，６Ｊの位置を特定する。

この際、前にいる人物６Ｈについては、人物６Ｈの照合用データＢＲ１の全体をテンプレートとして、テンプレートマッチングを行う。人物６Ｈは他の人物に遮蔽された部分がないため、照合用データＢＲ１の全体をテンプレートとして用いた場合に、遮蔽された部分が含まれることによる類似度Ｒの低下は起こらない。そのため、人物６Ｈについては、照合用データＢＲ１の全体をテンプレートとして用いることで、人物６Ｈの正確な位置を算出する。

一方、奥にいる人物６Ｊについては、人物領域ＡＲ２のうち人物６Ｈの人物領域ＡＲ１と重ならない領域ＡＲ２’を求め、照合用データＢＲ２のうち人物領域ＡＲ２の部分領域ＡＲ２’と対応した部分領域ＢＲ２’のみをテンプレートとして用いる。奥にいる人物６Ｊは、その一部が前にいる人物６Ｈに遮蔽されているため、照合用データＢＲ２の全体をテンプレートとして用いると、人物６Ｈに遮蔽された部分が含まれることにより類似度Ｒが低下する。これに対し、本実施形態の人物追跡処理では、上記のように照合用データＢＲ２のうち人物６Ｈの人物領域ＡＲ１と重ならない部分領域ＢＲ２’（頭部６Ｊ’）のみをテンプレートとして用いる。そのため、人物６Ｈに遮蔽された部分が含まれることによる類似度Ｒの低下を防げ、人物６Ｊの位置を精度良く算出することができる。

以上のように、本実施形態に係る画像処理では、撮像装置２の光軸２００の方向から推定される人物の前後関係とフレーム（画像）内における頭部の位置の上下関係とに基づいて、重なっている人物のうち最前の人物の候補を選出する。そして、前後関係判定処理により、最前の人物の候補が最前の人物であるか否かを判定し、最前の人物を特定する。その際、上記のように最前の人物の候補についての照合を重なり領域のみで行うことで、重なり領域が狭い場合でも、重なっている人物のなかから最前の人物を正確に特定することができる。また、本実施形態に係る画像処理では、現在の処理対象フレームから得られる二次元の情報に基づいて人物の前後関係を特定することができるので、三次元モデルを用いて人物の前後関係を特定する場合に比べて監視装置１における処理負荷が軽減される。よって、本実施形態によれば、画像内の追跡中の人物に重なりが生じた場合に重なる人物の前後関係を正確かつ容易に判断することができる。

また、本実施形態に係る画像処理では、重なっている人物のうち前後関係判定処理により奥（後ろ）にいると特定された人物については、前にいる人物と重ならない領域のみを用いて現在の処理対象フレームにおける位置を特定（追跡）する。そのため、奥にいる人物の位置を特定する際に、前にいる人物と重なり遮蔽された部分領域における類似度の低下による位置の特定精度の低下を防ぐことが可能になる。よって、本実施形態によれば、画像内の人物を精度良く追跡することができる。

なお、図４、図５、図７、図９、図１１Ａ及び図１１Ｂのフローチャートは、画像処理の一例に過ぎず、監視装置１の構成や条件に応じて一部の処理を変更又は省略してもよい。例えば、前後関係判定処理は、人物１についての照合用データＢＲ１における部分領域ＢＲ１’と人物領域の重なり領域ＯＡとの照合割合Ｍ１のみを算出し、照合割合Ｍ１と閾値Ｔｈ１との大小関係のみで人物１，２の前後関係を判定するようにしてもよい。また、人物検出処理におけるＨＯＧ特徴量等を用いて現在の処理対象フレームから人物を検出する処理は、ステップＳ５の処理結果を用いずに行うことが可能であるため、ステップＳ２〜Ｓ５の後に限らず、ステップＳ２〜Ｓ５と並列に行うようにしてもよい。

また、本実施形態に係る画像処理において、撮像装置２から取得する画像データは、動画像データに限らず、例えば、非常に短い撮像間隔（例えば、０．５秒以下）で撮像された複数の静止画像データであってもよい。

また、上記の画像処理を行う監視装置１は、例えば、コンピュータと、コンピュータに上記の画像処理を実行させるプログラムとにより実現可能である。以下、監視装置１として動作させることが可能なコンピュータについて、図１３を参照して説明する。

図１３は、コンピュータのハードウェア構成を示す図である。
図１３に示すように、コンピュータ９は、Central Processing Unit（ＣＰＵ）９０１と、主記憶装置９０２と、補助記憶装置９０３と、Digital Signal Processor（ＤＳＰ）９０４と、を備える。また、コンピュータ９は、入力装置９０５と、表示装置９０６と、インタフェース装置９０７と、記憶媒体駆動装置９０８と、通信装置９０９と、を更に備える。コンピュータ９におけるこれらの要素９０１〜９０９は、バス９１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

ＣＰＵ ９０１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ９の全体の動作を制御する演算処理装置である。

主記憶装置９０２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ９の起動時にＣＰＵ ９０１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭは、ＣＰＵ ９０１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。

補助記憶装置９０３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置９０２に比べて大容量の記憶装置である。補助記憶装置９０３には、ＣＰＵ ９０１によって実行される各種のプログラムや各種のデータ等を記憶させる。補助記憶装置９０３に記憶させるプログラムとしては、例えば、図４、図５、図７、図９、図１１Ａ及び図１１Ｂに示したような画像処理をコンピュータ９に実行させるプログラムが挙げられる。また、補助記憶装置９０３に記憶させるデータとしては、例えば、上記のプログラムによる画像処理を行った後の画像データ等が挙げられる。

ＤＳＰ ９０４は、ＣＰＵ ９０１からの制御信号等に従って画像処理における一部の処理等を行う演算処理装置である。

入力装置９０５は、例えばキーボード装置やマウス装置であり、コンピュータ９のオペレータにより操作されると、その操作内容に対応付けられている入力情報をＣＰＵ ９０１に送信する。

表示装置９０６は、例えば液晶ディスプレイである。液晶ディスプレイは、ＣＰＵ ９０１等から送信される表示データに従って各種のテキスト、画像等を表示する。

インタフェース装置９０７は、例えば、コンピュータ９を撮像装置２や他の電子機器と接続するための入出力装置である。

記憶媒体駆動装置９０８は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置９０３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う装置である。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。

通信装置９０９は、インターネット等の通信網１０を介してコンピュータ９と他のコンピュータ等とを通信可能に接続する装置である。

このコンピュータ９は、ＣＰＵ ９０１が補助記憶装置９０３から上述した画像処理を含むプログラムを読み出し、ＤＳＰ ９０４、主記憶装置９０２、補助記憶装置９０３等と協働して撮像装置２から取得した画像データの画像処理を実行する。この際、ＣＰＵ ９０１は、画像処理における演算処理の一部、例えば人物追跡処理や人物検出処理をＤＳＰ ９０４に実行させる。

また、コンピュータ９で画像処理を行った後の画像データは、例えば、補助記憶装置９０３に記憶させておき、必要に応じてコンピュータ９で再生する。また、画像処理後の画像データは、例えば、通信装置９０９を用い、通信網１０を介して他のコンピュータ（例えば管理サーバ）に転送することもできる。また、画像処理後の画像データは、例えば、記憶媒体駆動装置９０８を用い、光ディスク等に記録して保管することもできる。

なお、監視装置１として用いるコンピュータ９は、図１３に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ＤＳＰ ９０４を省略し、ＣＰＵ ９０１において図４に示した画像処理における全ての演算処理を行う構成であってもよい。また、コンピュータ９は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、人物の検出及び追跡に特化した画像処理装置でもよい。

以上記載した実施形態に関し、更に以下の付記を開示する。
（付記１）
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定し、
推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
処理をコンピュータに実行させる監視プログラム。
（付記２）
選出した前記最前の人物の候補についての照合用データのうち前記他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域との前記照合では、更に、前記他の人物についての照合用データと、前記現在の処理対象の画像データにおける当該他の人物についての人物領域とを照合し、
前記最前の人物の候補が最前の人物であるか否かの判定は、前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び前記照合用データのうち照合に用いた領域の大小関係に基づいて行う、
ことを特徴とする付記１に記載の監視プログラム。
（付記３）
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおける人物の位置を特定し、
前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行い、前記現在の処理対象の画像データにおける前記人物の位置を前記過去の画像データから検出された人物の位置として保持する、
処理を更に前記コンピュータに実行させることを特徴とする付記１に記載の監視プログラム。
（付記４）
前記現在の処理対象の画像データにおける人物の位置の特定では、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおいて重なっている人物の前後関係を特定した後、
最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、
最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち前記重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
ことを特徴とする付記３に記載の監視プログラム。
（付記５）
最前の人物に特定された前記人物と重なっている他の人物の照合用データの全体が前記重なり領域に含まれる場合、当該他の人物の前記現在の処理対象の画像データにおける位置は、前記過去の画像データにおける位置から推定した位置に特定する、
ことを特徴とする付記４に記載の監視プログラム。
（付記６）
前記現在の処理対象の画像データから人物を検出し、
検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物の位置を、前記過去の画像データから検出された人物の位置に追加する、
処理を更に前記コンピュータに実行させることを特徴とする付記３に記載の監視プログラム。
（付記７）
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出は、前記現在の処理対象の画像データにおける前記複数の人物の頭部の位置に基づいて行う、
ことを特徴とする付記１に記載の監視プログラム。
（付記８）
前記撮像装置の光軸が俯角である場合、
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出では、前記複数の人物のうち前記現在の処理対象の画像データにおける頭部の位置が最も下方である人物を選出する、
ことを特徴とする付記１に記載の監視プログラム。
（付記９）
撮像装置で撮像した画像データを取得する画像取得部と、
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定する位置推定部と、
推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出する重なり領域検出部と、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する前後関係判定部と、
を備えることを特徴とする監視装置。
（付記１０）
前記前後関係判定部は、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合するとともに、前記他の人物についての照合用データと、前記現在の処理対象の画像データにおける当該他の人物についての人物領域とを照合し、
前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び前記照合用データのうち照合に用いた領域の大小関係に基づいて、当該最前の人物の候補が最前の人物であるか否かを判定する、
ことを特徴とする付記９に記載の監視装置。
（付記１１）
当該監視装置は、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて重なっている人物の前後関係を特定するとともに、前記現在の処理対象の画像データにおける人物の位置を特定し、前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行う人物追跡部、
を更に備えることを特徴とする付記９に記載の監視装置。
（付記１２）
前記人物追跡部は、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
ことを特徴とする付記１１に記載の監視装置。
（付記１３）
当該監視装置は、
前記現在の処理対象の画像データから人物を検出し、検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物を、前記過去の画像データから検出された人物に追加する人物検出部、
を更に備えることを特徴とする付記１１に記載の監視装置。
（付記１４）
コンピュータが、
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定し、
推定した前記人物の位置に基づいて複数の人物が重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
処理を実行することを特徴とする監視方法。
（付記１５）
選出した前記最前の人物の候補についての照合用データのうち前記他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域との照合では、前記他の人物についての照合用データと、前記現在の処理対象の画像データにおける当該他の人物についての人物領域との照合も行い、
前記最前の人物の候補が最前の人物であるか否かの判定は、前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び前記照合用データのうち照合に用いた領域の大小関係に基づいて行う、
ことを特徴とする付記１４に記載の監視方法。
（付記１６）
前記コンピュータが、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおける人物の位置を特定し、
前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行い、前記現在の処理対象の画像データにおける前記人物の位置を前記過去の画像データから検出された人物の位置として保持する、
処理を更に実行することを特徴とする付記１４に記載の監視方法。
（付記１７）
前記現在の画像データにおける人物の位置の特定では、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおいて重なっている人物の前後関係を特定した後、
最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、
最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
ことを特徴とする付記１６に記載の監視方法。
（付記１８）
前記コンピュータが、
前記現在の処理対象の画像データから人物を検出し、
検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物の位置を、前記過去の画像データから検出された人物の位置に追加する、
処理を更に実行することを特徴とする付記１６に記載の監視方法。
（付記１９）
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出は、前記現在の処理対象の画像データにおける前記複数の人物の頭部の位置に基づいて行う、
ことを特徴とする付記１４に記載の監視方法。
（付記２０）
前記撮像装置の光軸が俯角である場合、
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出では、前記複数の人物のうち前記現在の処理対象の画像データにおける頭部の位置が最も下方である人物を選出する、
ことを特徴とする付記１４に記載の監視方法。

１ 監視装置
１００ 画像取得部
１０１ 人物位置推定部
１０２ 重なり領域検出部
１０３ 前後関係判定部
１０４ 人物追跡部
１０５ 人物検出部
１０６ 画像出力部
１０７ 記憶部
２ 撮像装置
３ 表示装置
５ 地面
６Ａ〜６Ｊ 人物
７００，７０１，７１０〜７１５ 画像（フレーム）
９ コンピュータ
９０１ ＣＰＵ
９０２ 主記憶装置
９０３ 補助記憶装置
９０４ ＤＳＰ
９０５ 入力装置
９０６ 表示装置
９０７ インタフェース装置
９０８ 記憶媒体駆動装置
９０９ 通信装置
９１０ バス
１０ 通信網

Claims (9)

1. 過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定し、
   推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
   選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
   当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
   処理をコンピュータに実行させる監視プログラム。
2. 選出した前記最前の人物の候補についての照合用データのうち前記他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域との前記照合では、更に、前記他の人物についての照合用データと、前記現在の処理対象の画像データにおける当該他の人物についての人物領域とを照合し、
   前記最前の人物の候補が最前の人物であるか否かの判定は、前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び、前記現在の処理対象の画像データにおける前記重なり領域と前記現在の処理対象の画像データにおける前記他の人物についての人物領域とが同じ位置に存在するか否かに基づいて行う、
   ことを特徴とする請求項１に記載の監視プログラム。
3. 前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおける人物の位置を特定し、
   前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行い、前記現在の処理対象の画像データにおける前記人物の位置を前記過去の画像データから検出された人物の位置として保持する、
   処理を更に前記コンピュータに実行させることを特徴とする請求項１に記載の監視プログラム。
4. 前記現在の処理対象の画像データにおける人物の位置の特定では、
   前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおいて重なっている人物の前後関係を特定した後、
   最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、
   最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち前記重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
   ことを特徴とする請求項３に記載の監視プログラム。
5. 前記現在の処理対象の画像データから人物を検出し、
   検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物の位置を、前記過去の画像データから検出された人物の位置に追加する、
   処理を更に前記コンピュータに実行させることを特徴とする請求項３に記載の監視プログラム。
6. 前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出は、前記現在の処理対象の画像データにおける前記複数の人物の頭部の位置に基づいて行う、
   ことを特徴とする請求項１に記載の監視プログラム。
7. 前記撮像装置の光軸が俯角である場合、
   前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出では、前記複数の人物のうち前記現在の処理対象の画像データにおける頭部の位置が最も下方である人物を選出する、
   ことを特徴とする請求項１に記載の監視プログラム。
8. 撮像装置で撮像した画像データを取得する画像取得部と、
   過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定する位置推定部と、
   推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出する重なり領域検出部と、
   選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する前後関係判定部と、
   を備えることを特徴とする監視装置。
9. コンピュータが、
   過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定し、
   推定した前記人物の位置に基づいて複数の人物が重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
   選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
   当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
   処理を実行することを特徴とする監視方法。

Images