JP3879732B2 - 物体検出装置、物体検知方法、およびコンピュータプログラム - Google Patents

Description

本発明は、画像の中から目標の物体を検出する物体検出装置または物体検知方法に関する。

従来より、歩行者や侵入者の検知、個人認証、またはフレーミングなどを目的とした人体検知方法が提案されている。

人体検知方法として、歩行者が通る場所にカメラを設置しておき、そのカメラで撮影して得た画像を解析して歩行者の画像領域を検出することによって、歩行者を検知する方法が知られている。歩行者の画像領域を検出する方法として、例えば、背景差分を用いる方法、動き差分（時間差分）を用いる方法、オプティカルフローを求める方法、肌色領域を検出する方法、頭部の楕円形状を検出する方法、または眼や鼻などの身体の部位を検出する方法などが提案されている。

上記の検出方法では、次のような不都合がある場合に歩行者を上手く検出できないことがある。

例えば、背景画像が肌などの色と近い場合または照明条件の変化によって背景基準画像に誤差が生じた場合は、背景差分が上手く求められないので、背景差分を用いる方法では歩行者を上手く検出ができないことがある。歩行者の移動速度が遅い場合または歩行者が静止している場合は、２枚の画像の差が現れにくいので、動き差分（時間差分）を用いる方法およびオプティカルフローを求める方法では歩行者を上手く検出ができないことがある。

背景領域に肌色が多く含まれている場合は背景領域を人体の領域と誤認識しやすく、歩行者が後ろを振り返っている場合は肌色領域が小さくなるので、肌色領域を検出する方法では、歩行者を上手く検出ができないことがある。歩行者が帽子、眼鏡、サングラス、またはマスクなどを身に付けている場合は、これらの部位が隠れてしまうので、頭部の楕円形状を検出する方法および眼や鼻などの身体の部位を検出する方法では歩行者を上手く検出ができないことがある。

これらの問題点を解決する方法として、特許文献１に記載されるような方法が提案されている。係る方法によると、特性の異なる複数の被写体抽出を行い、各被写体抽出で抽出された被写体を合成する。そして、もしも合成結果が所定の判定基準を満たしていなければ、さらに特性の異なる補助被写体抽出を行い、合成結果と補助被写体抽出による抽出結果とを用いて主要被写体を抽出する。

しかし、係る方法では、合成結果と補助被写体抽出による抽出結果とを用いて主要被写体を抽出してもなお、所定の判定基準を満たしていなければ、さらに特性の異なる補助被写体抽出を行わなければならない。したがって、元の被写体抽出の結果の信頼性によっては、補助被写体抽出をたくさん追加して行わなければならない。また、合成結果が所定の判定基準を満たしているか否かを常に判別しなければならない。よって、同時に（つまり１つのフレームに対して）実行する処理数が多くなり、処理速度が非常に遅くなってしまう。
特開平１１−３１６８４５号公報

本発明は、上記のような問題点に鑑み、目標物の検出を行う際に撮影環境などに変化が生じても、処理速度をあまり低下させることなく当該検出を正確に行うことができるようにすることを目的とする。

本発明に係る物体検出装置は、画像の中から目標の物体を検出する物体検出装置であって、カメラで撮影されて得られた撮影画像を入力する画像入力手段と、互いに異なる方法を用いて、前記撮影画像の特徴を検出する複数の特徴検出手段と、前記カメラの撮影に関する事項の条件を示す情報を取得する撮影条件取得手段と、取得された前記条件の場合の、前記各特徴検出手段によって検出される前記特徴の信頼性を求める、信頼性算出手段と、１つまたは複数の前記特徴検出手段によって前記撮影画像からそれぞれ検出された前記特徴および前記信頼性算出手段によって求められた当該特徴の信頼性に基づいて前記撮影画像に写っている前記物体を検出する物体検出手段と、を有することを特徴とする。

好ましくは、前記特徴検出手段は、前記特徴を特徴量として検出し、前記物体検出手段は、それぞれの信頼性の高さに応じて重み付けをした、前記各特徴の特徴量に基づいて、前記物体を検出する。前記信頼性算出手段によって求められた前記特徴の信頼性を記憶する信頼性記憶手段を有し、前記信頼性算出手段は、所定のタイミングで前記特徴の信頼性を算出し、前記物体検出手段は、前記信頼性記憶手段に記憶されている最新の前記特徴に基づいて前記撮影画像に写っている前記物体を検出するようにしてもよい。

前記物体は人である場合には、前記特徴検出手段として、例えば、前記撮影画像と半楕円形状のテンプレートとのマッチングの度合いを算出することによって前記特徴を求める手段、前記撮影画像の画素面を区画した領域ごとの肌の色らしさを検出することによって前記特徴を求める手段、前記撮影画像の前記領域の髪の色らしさを検出することによって前記特徴を求める手段、または前記撮影画像と肩形状のテンプレートとのマッチングの度合いを算出することよって前記特徴を求める手段、を設ける。

または、前記条件の場合の、前記各特徴検出手段によって検出される前記特徴の信頼性を求める、信頼性算出手段と、前記信頼性算出手段によって求められた、前記各特徴検出手段によって検出された前記各特徴の信頼性に応じて、前記物体を検出するための演算方法を決定する、演算方法決定手段と、１つまたは複数の前記特徴検出手段によってそれぞれ検出された前記特徴および前記演算方法決定手段によって決定された前記演算方法に基づいて前記撮影画像に写っている前記物体を検出する物体検出手段と、を有してなる。

本発明において、「カメラの撮影に関する事項の条件」とは、カメラの周囲の環境または設定の状況など、撮影に関する様々な条件を意味する。例えば、監視を行っている通路の照明の明るさ、影、または通行量など周囲の環境や、カメラの撮影速度（フレームレート）、ズーム、パン、またはチルトの設定などが挙げられる。前のフレームに係る頭部検出結果やオペレータによる頭部検出に関する評価（オペレータが画像を見て頭部を指示した結果および装置による判定結果が正しいか否かの評価など）も、カメラの撮影に関する事項の条件に含まれる。

請求項４の演算方法として、例えば、相加平均法を用いた演算方法、相乗平均法を用いた演算方法、最大値または最小値を選択する関数を用いた演算方法、四則演算または論理演算を用いた演算方法、平方根を用いた演算方法などが挙げられる。

本発明によると、目標物の検出を行う際に撮影環境などに変化が生じても、処理速度をあまり低下させることなく当該検出を正確に行うことができる。

図１は監視システム１００の全体的な構成の例を示す図、図２はビデオカメラ２の位置姿勢および撮影状況の例を示す図、図３は人体検出装置１のハードウェア構成の例を示す図、図４は人体検出装置１の機能的構成の例を示す図である。

図１に示すように、監視システム１００は、本発明に係る人体検出装置１、ビデオカメラ２、センサ３、および通信回線４などによって構成される。人体検出装置１とビデオカメラ２およびセンサ３とは、通信回線４を介して互いに接続されている。通信回線４として、ＬＡＮ、公衆回線、専用線、またはインターネットなどが用いられる。

ビデオカメラ２は、ＣＣＤなどのイメージセンサ、光学系、外部の装置とデータの送受信を行うためのインタフェース、および制御用回路などを備えており、撮影によって得られた画像を画像データ７０として人体検出装置１に送信する。

このビデオカメラ２は、図２に示すように、スーパーマーケットまたはデパートなどの商業施設、店舗、地下街、ビル、またはイベント会場などの施設の通路または出入口などのように、人が通行する場所の天井などに設置される。以下、ビデオカメラ２が施設の通路に設置され、その通路の様子を監視するために使用される場合を例に説明する。また、ビデオカメラ２は、水平画角が６０度くらい、検知対象（被写体）との距離すなわち撮影距離が３〜５ｍくらい、出力する画像の解像度が６４０×４８０画素（いわゆるＶＧＡ）に設定されているものとする。通路の幅は、１〜１．５ｍくらいであるものとする。

センサ３は、監視を行っている通路の状況、例えば、明るさ、歩行者の速度、または歩行者の数などを検知するために用いられる。センサ３は、定期的に（例えばオペレータが設定した所定の間隔で）または何かを検知したタイミングで、検知結果情報８０を人体検出装置１に送信される。センサ３として具体的にどのようなものが用いられるのかは、後に説明する。

人体検出装置１は、図３に示すように、ＣＰＵ１ａ、ＲＡＭ１ｂ、ＲＯＭ１ｃ、磁気記憶装置（ハードディスク）１ｄ、通信インタフェース１ｅ、表示装置１ｆ、およびマウスまたはキーボードなどの入力装置１ｇなどによって構成される。

磁気記憶装置１ｄには、図４に示すような画像入力部１０１、前処理部１０２、特徴量演算部１０３、頭部中心度プレーン生成部１０４、検出処理部１０５、頭部画像表示部１７１、頭部画像保存部１７２、学習部１０８、特徴度プレーン記憶部１Ｍ１、前フレーム記憶部１Ｍ２、およびテンプレート記憶部１Ｍ３などの機能を実現するためのプログラムおよびデータがインストールされている。これらのプログラムおよびデータは必要に応じてＲＡＭ１ｂにロードされ、ＣＰＵ１ａによってプログラムが実行される。

この人体検出装置１は、施設の管理室などに設置されており、警備員が管理室に居ながら通路の様子を監視するために使用される。また、ビデオカメラ２によって撮影された画像に写っている通行人の頭部を検出し、頭部を拡大表示しまたは頭部の画像（映像）を保存しておくことができる。人体検出装置１として、ワークステーションまたはパーソナルコンピュータなどが用いられる。

以下、ビデオカメラ２で撮影された画像から歩行者の頭部の中心の位置（例えば、鼻の先端）を検出する際の、図４に示す人体検出装置１の各部の処理内容などについて説明する。

〔検出対象の画像の入力および前処理〕
図５はビデオカメラ２で撮影された画像ＦＧの例を示す図、図６は色空間変換処理の流れの例を説明するフローチャート、図７は切出画像ＧＣの生成方法の例を説明する図、図８は切出縮小画像ＧＳの生成方法の例を説明する図、図９は画像縮小処理の流れの例を説明するフローチャート、図１０は時間差分プレーンＳＴの生成方法の例を示す図、図１１は時間差分検出処理の流れの例を説明するフローチャート、図１２は空間差分プレーンＳＳの生成方法の例を示す図、図１３は空間差分検出処理の流れの例を説明するフローチャート、図１４は論理積プレーンＡＮの生成方法の例を示す図、図１５は論理積画像生成処理の流れの例を説明するフローチャート、図１６は論理積プレーンＡＮの例を示す図である。

図４の画像入力部１０１は、ビデオカメラ２から送信されてきた画像データ７０の受信処理を行う。これにより、ビデオカメラ２の撮影速度に応じたフレーム数（例えば、毎秒３０フレーム）の、図５に示すような画像ＦＧ（映像）が得られる。

前処理部１０２は、色空間変換部２０１、画像縮小処理部２０２、時間差分算出部２０３、空間差分算出部２０４、および論理積画像生成部２０５などによって構成され、画像ＦＧに写っている歩行者ＨＭＮの頭部の中心位置を求める処理に必要な画像を準備する処理を行う。

色空間変換部２０１は、画像入力部１０１によって入力された画像ＦＧがＲＧＢ色空間の画像である場合に、この画像のデータをＹＵＶ色空間のデータに変換する処理を行う。係る処理は、図６および図７に示す手順で行われる。

画像ＦＧの中から歩行者ＨＭＮの頭部が写っていそうな画像領域を図７のように設定する（図６の＃１０１）。以下、係る画像領域を「注目画像領域ＲＣ」と記載する。注目画像領域ＲＣは、ビデオカメラ２の位置姿勢および人の頭部のサイズなどに基づいて設定される。または、予めビデオカメラ２で撮影しておいた画像を参照して設定してもよい。本実施形態の人体検出装置１では、注目画像領域ＲＣのサイズおよび形状は、６４０×１００画素の長方形であると定められている。したがって、注目画像領域ＲＣの開始アドレス（左上隅の画素の座標）だけを設定すればよい。例えば、図７に示すように、開始アドレスの座標（Ｘｓ，Ｙｓ）として（０，２０）を与えるだけで、終了アドレスすなわち右下隅の画素の座標（Ｘｅ，Ｙｅ）が自ずと決まり、注目画像領域ＲＣが設定される。

画像ＦＧについて、座標（Ｘｓ，Ｙｓ）の画素からＸ軸方向（画像の水平方向）に向かって１画素ずつ順番に走査するようにその画素のＲＧＢ値をＹＵＶ値に変換する（＃１０２でＮｏ、＃１０３、＃１０４）。係る変換は、例えば、その画素のＲＧＢ値を次の（１）式に代入することによって行うことができる。

Ｙ座標がＹｓであるライン上にある画素について変換が終わったら（＃１０２でＹｅｓ）、そのすぐ下のラインつまり「Ｙｓ＋１」のラインに注目し（＃１０５）、そのライン上にある画素について、同様に、１画素ずつ順番にその画素のＲＧＢ値をＹＵＶ値に変換する（＃１０２でＮｏ、＃１０３、＃１０４）。以下、座標（Ｘｅ，Ｙｅ）についての変換が終了するまで、上の処理を繰り返す。

そして、すべての画素についての変換の終了後（＃１０６でＹｅｓ）、ＹＵＶ値に変換された注目画像領域ＲＣの画像を切り出すことによって、切出画像ＧＣを生成する（＃１０７）。なお、先に画像ＦＧから注目画像領域ＲＣを切り出しておいて、その注目画像領域ＲＣの全画素に対して変換処理（＃１０３）を施すようにしてもよい。

ビデオカメラ２から入力された画像ＦＧが最初からＹＵＶ色空間の画像であった場合は、ステップ＃１０２〜＃１０６の変換処理は実行せず、ステップ＃１０１の注目画像領域ＲＣの設定および＃１０７の切出し処理だけを行って切出画像ＧＣを取得する。

図４に戻って、画像縮小処理部２０２は、図８に示すように、切出画像ＧＣを所定の倍率（本実施形態では１／４倍）に縮小し、切出縮小画像ＧＳを生成する処理を行う。係る処理は、図９に示すような手順で行われる。

切出画像ＧＣを、４×４画素の大きさからなるブロックＢＫに区切っておくとともに、開始アドレスの座標（Ｘ，Ｙ）を（０，０）に設定しておく（図９の＃１１１）。切出画像ＧＣの画素のうち、対角線の両端の座標が（４Ｘ，４Ｙ）および（４Ｘ＋３，４Ｙ＋３）となるブロックＢＫに属する画素の画素値（ＹＵＶ値）を次の（２）式に代入する。

ただし、ｍ＝４Ｘ、ｎ＝４Ｙ、である。Ｑ（Ｘ，Ｙ）は切出縮小画像ＧＳの座標（Ｘ，Ｙ）の画素のＹＵＶ値であり、Ｐ（ｍ，ｎ）は、切出画像ＧＣの座標（ｍ，ｎ）の画素のＹＵＶ値である。

これにより、切出画像ＧＣの左上隅のブロックＢＫのＹＵＶ値の平均（単純平均）が算出される（＃１１３）。算出された値が、切出縮小画像ＧＳの左上隅の画素のＹＵＶ値となる。

そのブロックＢＫの右隣に並ぶ１５９個のブロックＢＫについても同様にＹＵＶ値の平均を算出し（＃１１３、＃１１４）、切出縮小画像ＧＳの水平方向の１ライン目の残りの１５９個の画素のＹＵＶ値を得る。

切出縮小画像ＧＳの２〜１００ライン目のＹＵＶ値も同様に、切出画像ＧＣの２〜２５段目のブロックＢＫの画素のＹＵＶ値の平均を算出することによって取得する（＃１１２〜＃１１６）。そして、切出縮小画像ＧＳの右下隅の画素のＹＵＶ値が求められたら（＃１１６でＹｅｓ）、処理を終了する。

このようにして、切出画像ＧＣを縮小し、切出縮小画像ＧＳを生成する。生成された切出縮小画像ＧＳは、後に説明する肌色度プレーンの生成処理、髪色度プレーンの生成処理、時間差分の算出処理、および空間差分の算出処理のために用いられる。また、生成された切出縮小画像ＧＳは、後に説明するように、必要に応じて前フレーム記憶部１Ｍ２に記憶しておく。

図４に戻って、時間差分算出部２０３は、図１０に示すように、画像縮小処理部２０２によって生成された切出縮小画像ＧＳ（図１０の説明において、「現切出縮小画像ＧＳｃ」と記載する。）の明度とそれより前の時刻（例えば、２フレーム前）の切出縮小画像ＧＳ（図１０の説明において、「前切出縮小画像ＧＳｐ」と記載する。）の明度との時間差分（フレーム差分）を算出し、時間差分プレーンＳＴを生成する。生成された時間差分プレーンＳＴは、現切出縮小画像ＧＳｃと前切出縮小画像ＧＳｐの明度の時間差分画像であると言える。本実施形態では、時間差分プレーンＳＴの各画素の値を二進数の値（二値）で表している。したがって、時間差分プレーンＳＴは、白黒画像として表すことができる。時間差分プレーンＳＴの生成は、図１１に示す手順で行われる。

まず、開始アドレスの座標（Ｘ，Ｙ）を（０，０）に設定しておく（＃１２１）。次の（３）式に基づいて、現切出縮小画像ＧＳｃおよび前切出縮小画像ＧＳｐのそれぞれの（０，０）の画素の明度すなわちＹＵＶ値のＹ成分同士の差（明度差分）を求める。
Ｂｕｆｆｅｒ＝ａｂｓ｜Ｙｃ（ｉ，ｊ）−Ｙｐ（ｉ，ｊ）｜ … （３）

ただし、Ｙｃ（ｉ、ｊ）、Ｙｐ（ｉ、ｊ）はそれぞれ現切出縮小画像ＧＳｃ、前切出縮小画像ＧＳｐの座標（ｉ、ｊ）の画素のＹＵＶ値のＹ成分である。ａｂｓ｜Ａ｜は、Ａの絶対値である。

得られたＢｕｆｆｅｒを二値化する。例えば、Ｂｕｆｆｅｒが閾値ＴＨｓｔを超えた場合は両画像の明度差分を「１」とし、閾値ＴＨｓｔ以下であった場合は明度差分を「０」とする（＃１２３）。ＹＵＶ値が２５６階調である場合は、閾値ＴＨｓｔとして、例えば「１０」を設定しておく。

以下、同様に、Ｘ軸方向（画像の水平方向）に向かって１画素ずつシフトしながら、互いに対応する画素の明度差分を求める（＃１２３、＃１２４）。右端の画素の明度差分が求められたら（＃１２２でＹｅｓ）、Ｙ軸方向（画像の垂直方向）に１画素シフトし（＃１２５）、同様に、左端から右端に向かって明度差分を求める（＃１２３、＃１２４）。そして、右下隅の画素の明度差分が求められたら（＃１２６でＹｅｓ）、処理を終了する。このようにして、時間差分プレーンＳＴが生成される。

図４に戻って、空間差分算出部２０４は、図１２および図１３に示す手順で、画像縮小処理部２０２によって生成された切出縮小画像ＧＳの空間差分を算出し、空間差分プレーンＳＳ（空間差分画像）を生成する。

切出縮小画像ＧＳの各画素に対して空間差分処理を施す（図１３の＃１３３）。例えば、図１１で説明した時間差分検出処理の場合と同様に、左上隅の画素から順に右下隅の画素まで空間差分処理を施す。

空間差分処理は、図１２に示すように、まず、処理対象の画素およびその周囲にある８つの画素の画素値を次の（４）式および（５）式に代入する。つまり、ＳＯＢＥＬフィルタを掛ける。

ただし、Ｐ（ｉ，ｊ）は切出縮小画像ＧＳの（ｉ，ｊ）の画素の明度（Ｙ成分）の値であり、Ｑ１（ｉ，ｊ）およびＱ２（ｉ，ｊ）はそれぞれ切出縮小画像ＧＳの（ｉ，ｊ）の画素についての水平エッジ検出用垂直ＳＯＢＥＬフィルタおよび垂直エッジ検出用水平ＳＯＢＥＬフィルタによる出力結果である。また、Ｋ１（ｍ，ｎ）およびＫ２（ｍ，ｎ）は下記に示すような値を持つ水平エッジ検出用垂直ＳＯＢＥＬフィルタおよび垂直エッジ検出用水平ＳＯＢＥＬフィルタである。

算出されたＱ１（ｉ，ｊ）およびＱ２（ｉ，ｊ）の値を次の（６）式に代入することによって、ＳｏｂｅｌプレーンＳＢを求める（図１２の＃１４１）。

このＳｏｂｅｌプレーンＳＢを、次の（７）式に示す平滑化フィルタを掛けることによって平滑化する（＃１４２）。

ただし、ＱＳ（ｉ，ｊ）は平滑化されたＳｏｂｅｌプレーンＳＢの座標（ｉ，ｊ）の画素の明度（Ｙ成分）の値であり、ＫＳ（ｍ，ｎ）は下記に示すような値を持つ平滑化フィルタである。

そして、次の（８）式に基づいて二値化の処理を行う（＃１４３）。

ただし、Ｂｕｆｆｅｒ＝ＱＳ（ｉ，ｊ）−Ｓｂｌ（ｉ，ｊ）、である。Ｔｈｓｓは閾値である。ＴＨｓｓとして、例えば「６」が設定される。

このような演算を行うことによって、空間差分プレーンＳＳが生成される。なお、空間差分プレーンＳＳは、白黒画像として表される。

図４に戻って、論理積画像生成部２０５は、図１４および図１５に示すように、時間差分算出部２０３によって算出（生成）された時間差分プレーンＳＴおよび空間差分算出部２０４によって算出された空間差分プレーンＳＳの互いに対応する画素の画素値（二値）の論理積を算出することによって、論理積プレーンＡＮを生成する。

この論理積プレーンＡＮには、図１６に示すように、動いている物体のエッジ（輪郭）だけが表れる。つまり、論理積プレーンＡＮは、動体のエッジ画像（輪郭画像）であると言える。論理積プレーンＡＮを生成する手順は、図１５のフローチャートに示す通りである。なお、図１５のフローチャートでは、左上隅の画素から右下隅の画素まで順に走査するように論理積演算処理（＃１５３）を行うことを説明している。このような順で処理を行う点は、図１１および図１３の場合と同じであるので、詳しい説明は省略する。以下、図１９、図２０、図２５、図２６などについても同様である。

〔特徴度プレーンの生成〕
図１７は４種類の特徴度プレーン８の例を示す図、図１８は肌色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図、図１９は肌色度プレーン生成処理の流れの例を説明するフローチャート、図２０は髪色度プレーン生成処理の流れの例を説明するフローチャート、図２１はオフセット補正について説明する図、図２２は髪色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図、図２３はテンプレートＴＰ１、ＴＰ２の例を示す図、図２４はテンプレートＴＰ１、ＴＰ２の作成方法の例を示す図、図２５は中心度プレーン算出処理の流れの例を説明するフローチャート、図２６は投票処理の流れの例を説明するフローチャート、図２７はテンプレートＴＰ１によるテンプレートマッチングの方法の例を説明する図である。

図４に戻って、特徴量演算部１０３は、肌色度プレーン生成部３０１、半楕円中心度プレーン生成部３０２、髪色度プレーン生成部３０３、および肩中心度プレーン生成部３０４などによって構成され、４種類の特徴度プレーン８（肌色度プレーン８ＦＣ、半楕円中心度プレーン８ＳＥ、髪色度プレーン８ＨＣ、肩中心度プレーン８ＳＨ）を生成するための演算処理を行う。これらの特徴度プレーン８は、図１７に示すように、各画素の値の大きさを濃さで表現した濃淡画像（明度画像）として表される。後に説明する頭部中心度プレーン８４（図３２参照）も同様である。

肌色度プレーン生成部３０１は、画像縮小処理部２０２によって生成された切出縮小画像ＧＳの各画素の肌色度を検出することによって、肌色度プレーン８ＦＣを生成する。「肌色度」とは、肌の色らしさ、を意味する。つまり、肌色に近いまたは類似しているほど肌色度は大きくなる。本実施形態では、画素値（ここでは、ＹＵＶ値）のＵ成分およびＶ成分の値がそれぞれＦＣｕ、ＦＣｖの場合に、肌色度が最大となるように設定している。例えば、ベージュ色を肌の色とする場合は、ＦＣｕおよびＦＣｖとしてそれぞれ「１０７」および「１５７」を設定しておく。肌色度は、次の（９）式に画素値を代入することによって算出される。

ただし、ａｂｓ｜Ａ｜は、Ａの絶対値である。

なお、（９）式に示す、画素のＵ成分の値およびＶ成分の値と肌色度の大きさとの関係を濃淡で表すと、およそ図１８のように表される。

切出縮小画像ＧＳの各画素の肌色度の検出処理の手順は、図１９のステップ＃１６１〜＃１６６に示す通りである。つまり、切出縮小画像ＧＳの各画素の肌色度を順に求めることによって（＃１６３）、肌色度検出プレーンを生成する。

ところで、ビデオカメラ２で撮影された画像ＦＧ（図５参照）に歩行者ＨＭＮの顔（頭部）が写っていれば、ステップ＃１６１〜＃１６６の処理によって得られる肌色度検出プレーンの中の肌色度の高い画像領域とその歩行者ＨＭＮの頭部の領域とは、ほぼ一致するはずである。したがって、肌色度検出プレーンの中の肌色度のピークがある画素または画像領域に、検索の目標である歩行者ＨＭＮの頭部の中心があると考えられる。

しかし、顔の中はすべてが肌色というわけではなく、眉毛、目、鼻の穴、および唇といった肌色以外の色をした部位が含まれている。また、歩行者ＨＭＮが眼鏡を掛けている場合もあり得るし、元の画像ＦＧそのものにノイズが含まれている場合もあり得る。そこで、本実施形態では、頭部の中心の検出精度を高めるために例えば次のような補正処理を行う。

すなわち、まず、肌色以外の部分およびノイズなどを除去するために、ステップ＃１６１〜＃１６６によって得られた肌色度検出プレーンに対して３×３の輝度（明度）の最大値フィルタを掛けることによってＤｉｌａｔｉｏｎ処理を行う（＃１６７）。そして、先鋭度を高めるために、Ｄｉｌａｔｉｏｎ処理がなされた肌色度検出プレーンに対して３×３の輝度（明度）の最小値フィルタを掛けることによってＥｒｏｓｉｏｎ処理を行い、さらにＥｒｏｓｉｏｎ処理の処理前の肌色度検出プレーンと処理後の肌色度検出プレーンとの平均処理を行う（＃１６８）。ステップ＃１６８の処理は、「（ＨＷ／２）＋１」回繰り返す。「ＨＷ」は、切出縮小画像ＧＳに写っていると想定される検出目標である頭部の幅を示す画素数である。例えば、頭部の幅を示す画素数が「７」であると想定されている場合は、４回または５回繰り返すことになる。

以上のように、切出縮小画像ＧＳの肌色度を検出し（＃１６１〜＃１６６）、検出精度を高めるための補正処理（＃１６７、＃１６８）を実行することによって、図１７（ａ）に示すような肌色度プレーン８ＦＣが生成される。

図４に戻って、髪色度プレーン生成部３０３は、画像縮小処理部２０２によって生成された切出縮小画像ＧＳの各画素の髪色度を検出することによって、図１７（ｃ）に示すような髪色度プレーン８ＨＣを生成する。「髪色度」とは、髪の色らしさ、を意味する。つまり、髪の色に近いまたは類似しているほど髪色度は大きくなる。本実施形態では、画素値のＵ成分およびＶ成分の値がそれぞれＨＣｕ、ＨＣｖの場合に、髪色度が最大であると設定している。例えば、黒色を髪の色とする場合は、ＦＣｕおよびＦＣｖとしてそれぞれ「１１２」および「１４２」を設定しておく。

髪色度プレーン８ＨＣの生成する手順は、肌色度プレーン８ＦＣを生成する手順と基本的に同様である。すなわち、図２０に示すように、切出縮小画像ＧＳの各画素について髪色度を算出し（＃１７１〜＃１７６）、頭部の中心の検出精度を高めるための処理を行う（＃１７７、＃１７８）。ただし、髪色度の検出関数として、（９）式の関数の代わりに、次の（１０）式の関数を用いる。

図２１に示すように、高い髪色度が検出される領域は、髪の毛の生えている頭の上部の領域ＲＹｋである。しかし、前に述べたように、本実施形態では、頭部の中心（点Ｐｔｃ）を検出することが目的である。そこで、高い髪色度が検出されると予測される領域の中心（点Ｐｔｋ）と頭部の中心（点Ｐｔｃ）とができるだけ一致するように、（１０）式では、Ｙ軸方向（垂直方向）にずれの調整（オフセット補正）を行っている。（１０）式中の「ｏｆｆｓｅｔ」はオフセット値であり、例えば、ｏｆｆｓｅｔ＝ＨＳ／２、と設定される。「ＨＳ」は、切出縮小画像ＧＳに写っていると想定される検出目標である頭部の頂から顎までの長さを示す画素数である。例えば、長さを示す画素数が「９」であると想定されている場合は、ｏｆｆｓｅｔ＝４．５、となる。

なお、（１０）式に示す画素のＵ成分の値およびＶ成分の値と髪色度の大きさとの関係を濃淡で表すと、図２２のように表される。

図４に戻って、半楕円中心度プレーン生成部３０２は、論理積画像生成部２０５によって生成された論理積プレーンＡＮ（エッジ画像）の各画素の半楕円中心度を検出することによって、図１７（ｂ）に示すような半楕円中心度プレーン８ＳＥを生成する。「半楕円中心度」とは、論理積プレーンＡＮに対して図２３（ａ）の半楕円形のテンプレートＴＰ１を用いたテンプレートマッチングを行った際に、論理積プレーンＡＮの画素がそのテンプレートの中心位置（基準点ＣＴ１）にどれだけ近いか、つまり、中心らしさ、を意味する。テンプレートマッチングの方法として、例えば、後述するＨｏｕｇｈ変換法に基づく方法が用いられる。

テンプレートＴＰ１および後に説明する肩中心度プレーン生成部３０４で使用されるテンプレートＴＰ２は、例えば、次のようにして作成される。

まず、通路の基準位置Ｌ１（図２参照）にモデルとなる人を立たせ、ビデオカメラ２によって撮影を行う。モデルとなる人は、標準的な体型であることが望ましい。図２４（ａ）に示すように、撮影によって得られた画像の中のモデルの輪郭部分に注目する。

図２４（ｂ）に示すように、モデルの輪郭から頭部の上半分を示す１本の開曲線および両肩を示す２本の開曲線をそれぞれエッジＥＧ１、ＥＧ２として抽出する。この際に、エッジＥＧ１、ＥＧ２から離れた所定の位置をそれぞれ基準点ＣＴ１、ＣＴ２として定める。基準点ＣＴ１、ＣＴ２は、それぞれ、テンプレートＴＰ１、ＴＰ２の基準位置（中心位置）を示すものである。なお、基準点ＣＴ１、ＣＴ２をそれぞれエッジＥＧ１、ＥＧ２上の所定の位置に定めてもよい。この基準点ＣＴ１、ＣＴ２もエッジＥＧ１、ＥＧ２とともに抽出する。

すると、図２４（ｂ）（ｃ）に示すようなテンプレート画像が得られる。そして、エッジＥＧ１、ＥＧ２をそれぞれ基準点ＣＴ１、ＣＴ２を中心に半回転（１８０度回転）させる。このようにして、テンプレートＴＰ１、ＴＰ２が作成される。テンプレートＴＰ１、ＴＰ２は、図４のテンプレート記憶部１Ｍ３に記憶（格納）しておく。

または、論理積プレーンＡＮに写る頭部の大きさがそれほど大きくないと想定される（例えば、縦横１０画素前後くらいと想定される場合）は、その想定される大きさの半楕円をＣＧソフトなどで作成し、これをテンプレートＴＰ１として用いてもよい。テンプレートＴＰ２についても同様である。

図２４（ａ）のα１、α２は、テンプレートマッチングの際に位置のずれの調整（オフセット補正）のために用いられるオフセット値である。前に述べたように、本実施形態では頭部の中心を検出することが目的である。したがって、半楕円中心度のピークの位置と頭部の中心位置とができるだけ一致することが望まれるからである。

半楕円中心度プレーン８ＳＥを生成する手順は、図２５に示す通りである。すなわち、まず、論理積プレーンＡＮの画素ごとに１つずつカウンタを用意し、これらのカウンタを「０」にリセットし（＃１８０）、開始アドレスの座標を（０，０）に設定しておく（＃１８１）。論理積プレーンＡＮにおける（０，０）の画素を注目画素として、投票処理を行う（＃１８３）。投票処理は、図２６に示すような手順で行われる。

まず、論理積プレーンＡＮに写っているエッジ（輪郭線）の上にその注目画素があるか否かを判別する（＃１９１）。エッジ上になければ（＃１９１でＮｏ）、その注目画素についての投票処理は終了し、図２５のステップ＃１８４に進む。

図２７（ｂ）に示すように、注目画素が論理積プレーンＡＮのエッジＲＮ上にある場合は（＃１９１でＹｅｓ）、その注目画素とテンプレートＴＰ１の基準点ＣＴ１とが一致するように、論理積プレーンＡＮの上にテンプレートＴＰ１を重ねる（＃１９２）。

テンプレートＴＰ１と重なった論理積プレーンＡＮのｔｘｓｉｚｅ×ｔｙｓｉｚｅの領域（図２７（ｂ）の点線領域）に注目し、ステップ＃１９３〜＃１９８の処理を行う。すなわち、その点線領域の中の、エッジＥＧ１と重なった画素を見つける。そして、図２７（ｄ）に示すように、見つかった画素からオフセット値α１（図２４（ａ）参照）だけ下にシフト（オフセット補正）した画素のカウンタに「１」を加算して１票を投じる。

なお、図２７（ｃ）において、太枠の正方形は論理積プレーンＡＮのエッジＲＮ上の画素を示し、黒く塗りつぶした正方形は注目画素を示し、斜線で塗りつぶした正方形はテンプレートＴＰ１のエッジＥＧ１が重なった画素を示している。

図２５に戻って、論理積プレーンＡＮの他の画素についても同様に、これを注目画素として投票処理を行う（＃１８２〜＃１８６）。以上のように投票を行った結果、各画素のカウンタにカウントされた得票数の分布が、図１７（ｂ）に示す半楕円中心度プレーン８ＳＥとなる。

図４に戻って、肩中心度プレーン生成部３０４は、論理積画像生成部２０５によって生成された論理積プレーンＡＮ（エッジ画像）の各画素の肩中心度を検出することによって、図１７（ｄ）に示すような肩中心度プレーン８ＳＨを生成する。「肩中心度」とは、論理積プレーンＡＮに対して図２３（ｂ）の肩の形状をしたテンプレートＴＰ２によるテンプレートマッチングを行った際に、論理積プレーンＡＮの画素がそのテンプレートの中心位置（基準点ＣＴ２）にどれだけ近いか、つまり、中心らしさ、を意味する。

肩中心度プレーン８ＳＨを生成する手順は、図２５および図２６に示す半楕円中心度プレーン８ＳＥを生成する手順と同様である。ただし、テンプレートマッチングのためのテンプレートＴＰ２（図２３（ｂ）参照）を使用し、オフセット補正のためのオフセット値としてα２（図２４（ａ）参照）を使用する。

特徴度プレーン記憶部１Ｍ１は、特徴量演算部１０３の各プレーン生成部３０１〜３０４で生成された特徴度プレーン８（肌色度プレーン８ＦＣ、半楕円中心度プレーン８ＳＥ、髪色度プレーン８ＨＣ、肩中心度プレーン８ＳＨ）を、その基になる画像ＦＧの撮影時刻と対応付けて記憶する。

〔頭部中心度の算出および頭部の中心の検出〕
図２８は学習部１０８の構成の例を示す図、図２９は種々の撮影条件の変化とそれに伴う現象および影響との関係の例を説明する図、図３０は演算方法決定処理の流れの例を説明するフローチャート、図３１は信頼度変換テーブルＴＬ０の例を示す図、図３２は頭部中心度プレーン８４の例を示す図、図３３は頭部中心検出処理の処理の流れの例を説明するフローチャート、図３４は矩形領域ＫＲの抽出の例を示す図、図３５は頭部抽出処理の流れの例を説明するフローチャート、図３６は頭部検出結果プレーンＴＫの生成方法の例を説明する図、図３７は探索領域ＲＴおよび二乗和算出範囲ＮＲの例を示す図、図３８は矩形領域ＫＲ１から抜き出されまたはクリアされる対象となる領域ＴＲ１、ＴＲ２の形状およびサイズの例を説明する図である。

頭部中心度プレーン生成部１０４は、頭部中心度プレーン８４（図３２参照）を生成するための処理を行う。「頭部中心度」とは、頭部の中心らしさ、すなわち、頭部の中心までの近さを示す度合いを意味する。頭部中心度プレーン８４は、学習部１０８による演算結果および図１７に示す４種類の特徴度プレーン８すなわち肌色度プレーン８ＦＣ、半楕円中心度プレーン８ＳＥ、髪色度プレーン８ＨＣ、および肩中心度プレーン８ＳＨに基づいて生成する。生成方法については、後に説明する。

学習部１０８は、図２８に示すように、コンディション情報取得部８０１、信頼度算出部８０２、演算方法決定部８０３、データベース８０４、および信頼度記憶部８０５などによって構成され、頭部の中心を検出するための最適な演算方法を求め学習する処理を行う。

コンディション情報取得部８０１は、監視を行っている通路の環境または状態、ビデオカメラ２の設定または状態など、撮影に関する種々の事項の条件（コンディション）を示す情報を取得する。以下、係る情報を「コンディション情報７２」と記載する。コンディション情報７２は、例えば、次のようにして取得される。

通路の照度に関する状態を示すコンディション情報７２は、ビデオカメラ２から送信されてきた画像ＦＧのＹＵＶ空間値の平均値（平均画素値）のうちのＹ成分の値を抽出することによって得られる。または、センサ３（図１参照）として照度センサを用い、そのセンサ３から送信されてくる検知結果情報８０をコンディション情報７２として取得してもよい。

歩行者の影またはホワイトバランスは、朝、昼、夕方、または夜など一日の中の時間帯によって変化する。そこで、時間帯ごとの歩行者の影またはホワイトバランスの発生具合の情報を予めデータベース８０４に登録しておき、人体検出装置１または外部装置に内蔵されているタイマから現在の時刻を示す時間情報を取得し、その時間情報に対応する発生具合の情報を、歩行者の影またはホワイトバランスに関するコンディション情報７２として取得してもよい。または、センサ３としてホワイトバランスセンサを用い、そのセンサ３から送信されてくる検知結果情報８０を、ホワイトバランスに関するコンディション情報７２として取得してもよい。

通路を通行する歩行者の特徴の傾向（客層）も、朝、昼、夕方、または夜など一日の中の時間帯によって変化する。そこで、時間帯ごとの平均的な、歩行者の人数、年齢層、身長、通過速度、またはカップルまたは親子連れなどの組数などを示す客層情報を予めデータベース８０４に登録しておき、タイマから取得した時間情報に対応する客層情報を、これらの歩行者の特徴の傾向に関するコンディション情報７２として取得してもよい。または、センサ３として、重量センサを床に設置しておき、そのセンサ３から送信されてくる検知結果情報８０に基づいてコンディション情報７２を取得するようにしてもよい。例えば、歩行者の人数は、単位時間当たりに送信されてくる検知結果情報８０の個数より知ることができる。歩行者の年齢層および身長は、センサ３が検知した重量（つまり歩行者の体重）より推測することができる。または、歩行者の人数に関するコンディション情報７２は、後に説明する計数処理部５０３の処理結果をフィードバックし、その処理結果に基づいて取得してもよい。通過速度に関するコンディション情報７２は、ビデオカメラ２から送信されてきた時系列上に並ぶ複数の画像ＦＧのオプティカルフローを求めることによって取得してもよい。

ビデオカメラ２の撮影速度（フレームレート）、ズーム、パン、またはチルトなどの設定に関するコンディション情報７２は、ビデオカメラ２より取得する。ビデオカメラ２の設置場所に関するコンディション情報７２は、オペレータが入力装置１ｇ（図３参照）を操作して入力することによって取得される。なお、上記の照明、歩行者、ビデオカメラ２の設定などに関するコンディション情報７２についても、オペレータが入力するようにしてもよい。

なお、コンディション情報７２の取得は、１枚の画像ＦＧが撮影されるごとに（つまり、１フレームごとに）行う必要はなく、所定の時間ごと（フレームごと）に行えばよい。

ところで、このようにして取得された様々な種類の撮影条件（環境、状態、または設定など）に関するコンディション情報７２に示される内容が撮影に最適とされる基準条件と一致しない（ずれている、変化している）場合は、図２９に示すような現象が生じ、画像ＦＧにおける特徴度（肌色度、髪色度、頭部中心度、または肩中心度など）の表れ方に影響を及ぼす。つまり、図１７の特徴度プレーン８の正確性に影響を及ぼす。

例えば、取得されたコンディション情報７２が、通路の照度が基準の照度に対して変化している旨を示している場合は、その変化の割合が大きいほど、画像ＦＧに写っている歩行者の肌、髪、その他の部位、および背景の色が正確に表れなくなる。したがって、肌色度プレーン８ＦＣおよび髪色度プレーン８ＨＣに表れる肌色度および髪色度の妥当性（正確性）が低くなる。

また、取得されたコンディション情報７２が、歩行者数が通常（基準）の歩行者数よりも多い旨を示している場合は、その数が多いほど、歩行者同士が重なりやすくなり、画像ＦＧの中に肩の写っていない歩行者が多く見られるようになる。したがって、肩中心度プレーン８ＳＨに表れる肩中心度の妥当性が低くなる。

そこで、信頼度算出部８０２は、ビデオカメラ２の現在の撮影条件（コンディション）における肌色度、髪色度、頭部中心度、および肩中心度（以下、「特徴度」と総称することがある。）の信頼性を示す信頼度Ｒを算出する処理を、図３０に示すような手順で行う。なお、本実施形態では、Ｎ種類の撮影条件に関するコンディション情報７２（７２１、７２２、…、７２Ｎ）が取得されるものとする。また、コンディション情報７２１、７２２、…、７２Ｎの内容を示す値を格納するパラメータをそれぞれ環境パラメータθ１、θ２、…、θＮと記載する。

コンディション情報取得部８０１によって新しいコンディション情報７２が取得されたとする。すると、信頼度算出部８０２は、それと同じ種類であってかつ過去に（例えば直前に）取得されたコンディション情報７２をデータベース８０４から呼び出し（＃２３１）、両者の内容を比較する（＃２３２）。

比較した結果、両者の内容に所定の量または所定の割合以上の違いがあった場合はビデオカメラ２の撮影条件に変化があったものと判断し（＃２３３でＹｅｓ）、次の（１１）式に示す変換関数Ψなどを用いて各特徴度の信頼度Ｒを算出する（＃２３４）。

ただし、変換関数Ψは、各環境パラメータθ（コンディション情報７２）が各特徴度に及ぼす影響を表した関数であり、環境パラメータθごとに用意されている。
ｒ１（θｋ）、ｒ２（θｋ）、ｒ３（θｋ）、およびｒ４（θｋ）は、それぞれ、環境パラメータθｋ（ただし、１≦ｋ≦Ｎ）に対する肌色度、髪色度、半楕円中心度、および肩中心度を求めるための個別信頼度関数である。
ｒ（θ）∈［０，１］、である。

具体的には、まず、新たに取得されたコンディション情報７２ｋの値を、（１１）式の右辺の各個別信頼度関数ｒ１（θｋ）〜ｒ４（θｋ）に代入する。なお、Ｎ種類のコンディション情報７２のうち、コンディション情報７２ｋと同じタイミングで取得されなかったコンディション情報７２がある場合は、取得されなかったコンディション情報７２と同じ種類の、最近に取得されたコンディション情報７２の値を代入する。

算出された特徴度ごとのｒ（θ）の乗積を、次の（１２）式に基づいて算出する。

ただし、信頼度Ｒ１、Ｒ２、Ｒ３、Ｒ４は、それぞれ、肌色度、髪色度、半楕円中心度、および肩中心度の信頼度である。以下、それぞれを、「肌色信頼度Ｒ１」、「髪色信頼度Ｒ２」、「半楕円中心信頼度Ｒ３」、および「肩中心信頼度Ｒ４」と記載することがある。

このようにして、各特徴度の信頼度Ｒ１〜Ｒ４が算出される。（１２）式に示されるように、信頼度Ｒ１〜Ｒ４は、Ｎ種類の撮影条件ごとの信頼度（個別信頼度）を乗積して統合したものである。よって、信頼度Ｒを「統合信頼度」と呼ぶことができる。また、（１１）式および（１２）式をまとめた統合変換関数を、次の（１３）式のように表すことができる。

なお、（１２）式の各個別信頼度関数ｒ（θ）は、過去の経験則や実験結果などを解析し定量化することによって、予めオフラインで用意しておく。例えば、照明の度合い（照度）に関する環境パラメータθ（例えばθ１）の値が小さいときは、ビデオカメラ２は色を上手く検出できなくなるので、肌色度および髪色度の個別信頼度が小さくなるように個別信頼度関数ｒ１（θ１）およびｒ２（θ１）を設定しておく。また、歩行者の人数に関する環境パラメータθ（例えばθ２）の値が小さいときは、歩行者の画像領域同士が重なることが少なくなるので、肩中心度の個別信頼度が大きくなるように、逆に大きいときは、個別信頼度が小さくなるように、個別信頼度関数ｒ４（θ２）を設定しておく。ある撮影条件に関する環境パラメータθ（例えばθ３）の値に関わらず半楕円中心度の信頼性が一定であれば、個別信頼度関数ｒ３（θ３）＝β（βは定数）、と設定しておく。

フローチャートに戻って、後に行う頭部検出の演算のために、肌色信頼度Ｒ１、髪色信頼度Ｒ２、半楕円中心信頼度Ｒ３、および肩中心信頼度Ｒ４に対して重み付けを行い、重みｗ１〜ｗ４を求めておく（図３０の＃２３５）。重みｗ１〜ｗ４は、例えば、上の（１２）式で算出された信頼度Ｒ１〜Ｒ４の値を次の（１４）式に代入し正規化することによって求められる。

ステップ＃２３４、＃２３５で算出された信頼度Ｒ１〜Ｒ４および重みｗ１〜ｗ４を信頼度記憶部８０５に記憶させておく。これにより、人体検出装置１は、ビデオカメラ２の現在の撮影条件に応じた各特徴度の信頼性を学習する（＃２３６）。

一方、コンディション情報取得部８０１によって得られた新しいコンディション情報７２と過去に取得されたコンディション情報７２とを比較した結果（＃２３２）、両者の内容に所定以上の違いがない場合は、ビデオカメラ２の撮影条件に変化がないものと判断し（＃２３３でＮｏ）、信頼度の算出などは行わない。したがって、後に行う頭部の検出処理には、前に学習した信頼度が用いられることになる。

なお、ステップ＃２３４において信頼度Ｒ１〜Ｒ４を求めるために、変換関数Ψを用いる代わりに、図３１に示すような信頼度変換テーブルＴＬ０を用いてもよい。信頼度変換テーブルＴＬ０は、実験の結果または経験則に基づいて作成する。例えば、撮影条件（環境パラメータθ１〜θＮの各値）を少しずつ変えながら各特徴度プレーン８（図１７参照）を生成し、実験者がその出来具合を評価することによってその環境パラメータθ１〜θＮの各値の組合せに対応する信頼度Ｒ１〜Ｒ４を決め、信頼度変換テーブルＴＬ０を完成させる。信頼度変換テーブルＴＬ０は、データベース８０４に登録しておく。

図２８に戻って、演算方法決定部８０３は、頭部中心度プレーン８４を生成する際の演算方法を決定する処理を行う。具体的には、信頼度算出部８０２の処理によって学習した、ビデオカメラ２の現在の撮影条件（撮影環境およびビデオカメラ２の設定など）に応じた信頼度Ｒ１〜Ｒ４の重みｗ１〜ｗ４に基づいて、後に説明する所定の関数を用いて演算を行う、と決定する。決定された内容は、頭部中心度プレーン生成部１０４に伝えられる。

図４に戻って、頭部中心度プレーン生成部１０４は、学習部１０８の演算方法決定部８０３が決定した演算方法を用いて、図３２に示すような頭部中心度プレーン８４を生成するため演算を行う。つまり、頭部中心度プレーン生成部１０４は、学習部１０８によって制御されている。

例えば、下記の（１５）式に示す関数と重みｗ１〜ｗ４とを用いて演算するように演算方法決定部８０３から指示されたとする。すると、頭部中心度プレーン生成部１０４は、その重みｗ１〜ｗ４および特徴量演算部１０３によって生成された各特徴度プレーン８の特徴度を（１５）式に代入し、各画素の頭部中心度ＴＣ（ｉ，ｊ）を算出する。これにより、頭部中心度プレーン８４が生成される。

ただし、Ｉ１（ｉ，ｊ）＝ＦＣ（ｉ，ｊ）、Ｉ２（ｉ，ｊ）＝ＨＣ（ｉ，ｊ）、Ｉ３（ｉ，ｊ）＝ＳＥ（ｉ，ｊ）、Ｉ４（ｉ，ｊ）＝ＳＨ（ｉ，ｊ）、である。
ＦＣ（ｉ，ｊ）、ＨＣ（ｉ，ｊ）、ＳＥ（ｉ，ｊ）、およびＳＨ（ｉ，ｊ）はそれぞれ肌色度プレーン８ＦＣ、髪色度プレーン８ＨＣ、半楕円中心度プレーン８ＳＥ、および肩中心度プレーン８ＳＨにおける座標（ｉ，ｊ）の画素の画素値（特徴度）である。

検出処理部１０５は、頭部中心度ピーク検出部５０１、検出結果プレーン生成部５０２、および計数処理部５０３などによって構成され、頭部中心度プレーン生成部１０４で生成された頭部中心度プレーン８４に基づいて、画像ＦＧ（図５参照）に写っている歩行者ＨＭＮの頭部の中心を検出する処理を行う。

頭部中心度ピーク検出部５０１は、検出対象の画像ＦＧに係る頭部中心度プレーン８４の中の、歩行者ＨＭＮの頭部の中心があると予測される位置を１つまたは複数検出する。検出結果プレーン生成部５０２は、頭部中心度ピーク検出部５０１によって検出された位置に基づいて、歩行者ＨＭＮの頭部の中心の位置を最終的に決定し、その結果を示す頭部検出結果プレーンＴＫを生成する。これらの処理は、図３３に示すような手順で行われる。

まず、頭部中心度プレーン８４の各画素の濃度（頭部中心度）の値に応じて図３４に示すような斜影ヒストグラムを求める（図３３の＃２０１）。水平方向の斜影ヒストグラムに注目し、座標（０，０）から水平方向に向かって順に各画素の値を調べ、閾値ＨＩＳＴ＿ＭＩＮ（例えば、「１０」）以上の度数が連続している範囲を検出する（＃２０２、＃２０３）。何も検出されなかった場合は（＃２０４でＮｏ）、検出対象の画像ＦＧには歩行者が写っていないものとして、この検出処理を終了する。

検出された場合は（＃２０４でＹｅｓ）、検出されたその水平方向の範囲に属する領域の垂直方向の斜影ヒストグラムに注目し、閾値ＨＩＳＴ＿ＭＩＮ以上の度数が連続している範囲を検出する（＃２０６）。

連続している範囲が見つからなかった場合は（＃２０７でＮｏ）、ステップ＃２０３に戻って、閾値ＨＩＳＴ＿ＭＩＮ以上の度数が連続している水平方向の範囲がほかにないかどうか調べる。

見つかった場合は（＃２０７でＹｅｓ）、ステップ＃２０３、＃２０６で見つかった範囲の矩形領域ＫＲ（例えば、図３４のｘａ≦ｘ≦ｘｂ，ｙａ≦ｙ≦ｙｂにある矩形領域ＫＲ１）に対して、次に説明する頭部抽出処理を行う（＃２０８）。

図３５に示すように、矩形領域ＫＲ（例えば、矩形領域ＫＲ１）の中から画素値（頭部中心度）のピークを検出する（＃２２１）。すると、図３６（ａ）に示すように、ピークの画素（以下、「ピーク画素Ｐｋ」と記載する。）が３つ検出される。

検出されたピーク画素Ｐｋについて、次に挙げる２つの要件を満たしているか否かを判別することによって、頭部の中心を検出する。
（Ａ） ピーク画素Ｐｋの画素値（頭部中心度）が閾値ＴＨ＿ＭＡＸを超えていること。
（Ｂ） 微調整後のピーク画素Ｐｋを中心とした二乗和算出範囲の二乗和（最大二乗和）が閾値ＴＨ＿ＳＵＭ２以上になること。

上記（Ａ）の要件を満たすピーク画素Ｐｋまたはその周辺には頭部の中心が存在する可能性があり、満たさないピーク画素Ｐｋおよびその周辺には頭部の中心が存在する可能性はないものと判別する（＃２２２）。係る判別の結果、ピーク画素Ｐｋ１は上記（Ａ）の要件を満たさず（＃２２２でＮｏ）、ピーク画素Ｐｋ２、Ｐｋ３は上記（Ａ）の要件を満たしたとする（＃２２２でＹｅｓ）。この場合は、以下、ピーク画素Ｐｋ２、Ｐｋ３にのみ注目する。

ピーク画素Ｐｋ２、Ｐｋ３と検出目標の頭部の中心とがより正確に一致するように、現在のピーク画素Ｐｋ２、Ｐｋ３の位置の微調整（微修正）を次のようにして行う（＃２２３）。

まず、図３７（ａ）に示すように、現在のピーク画素Ｐｋ２の位置を中心とする横「（ｗ／２）＋１」個の画素、縦「（ｈ／２）＋１」個の画素の領域（以下、「探索領域ＲＴ」と記載する。）に注目する。探索領域ＲＴの中の各画素について、その画素が図３７（ｂ）に示す二乗和算出範囲ＮＲの中心になるようにし、その二乗和算出範囲ＮＲの中の画素値の二乗和を算出する。そして、算出した二乗和が最大となったときの二乗和算出範囲ＮＲの中心の画素を、新たなピーク画素Ｐｋ２とする。これにより、ピーク画素Ｐｋの微調整が完了する。ピーク画素Ｐｋ３についても同様に微調整を行う。

図３５および図３６に戻って、微調整後のピーク画素Ｐｋ２、Ｐｋ３についてのそれぞれの二乗和が閾値ＴＨ＿ＳＵＭ２以上になるか否かを判別する（図３５の＃２２４）。つまり、上記（Ｂ）の要件を満たすか否かを判別する。係る判別の結果、ピーク画素Ｐｋ２は上記（Ｂ）の要件を満たすが（＃２２４でＹｅｓ）、ピーク画素Ｐｋ３は上記（Ｂ）の要件を満たさなかったとする（＃２２４でＮｏ）。

この場合は、ピーク画素Ｐｋ２を頭部の中心とみなし、ピーク画素Ｐｋ２およびその周囲の画素を含む領域ＴＲ１を図３６（ｂ）に示すように矩形領域ＫＲ１から抜き出す（＃２２５）。そして、その抜き出した矩形領域ＫＲ１を、頭部検出結果プレーンＴＫとして結果プレーン記憶部１Ｍ４に記憶させておきまたは表示装置１ｆ（図３参照）などに出力する。この頭部検出結果プレーンＴＫが、頭部の中心の位置の最終的な検出結果である。矩形領域ＫＲ１において、領域ＴＲ１が抜き出された部分の画素値は、他の検出に影響を与えないようにするために、すべて消去（クリア）しておく（＃２２６）。

一方、ピーク画素Ｐｋ３およびその周辺の画素は頭部ではないものとみなし、他の検出に影響を与えないようにするために、ピーク画素Ｐｋ２およびその周囲の画素を含む領域ＴＲ２を図３６（ｄ）に示すように消去（クリア）する（＃２２７）。

なお、図３６の領域ＴＲ１、ＴＲ２のサイズおよび検出目標の頭部のサイズは、図３８に示すようなテンプレートによって定められている。

そして、図３３に戻って、ステップ＃２０３、＃２０６の検出処理を繰り返し、ほかにも図３４に示すような矩形領域ＫＲがないかどうか調べる。ある場合は、その矩形領域ＫＲに対して、上に説明した図３５および図３６の処理を行う（＃２０８）。

図４に戻って、計数処理部５０３は、検出結果プレーン生成部５０２によって生成された頭部検出結果プレーンＴＫの個数つまり画像ＦＧから検出された歩行者ＨＭＮの人数を計数する。

頭部画像表示部１７１は、頭部検出結果プレーンＴＫに示される頭部の中心位置に基づいて、画像ＦＧより歩行者ＨＭＮの頭部の領域を抽出して拡大し、これを拡大画像として表示装置１ｆ（図３参照）に表示する。これにより、監視員は、歩行者ＨＭＮを容易に特定することができる。また、頭部画像保存部１７２は、歩行者ＨＭＮの頭部の拡大画像を磁気記憶装置１ｄまたは外部の記録媒体（ＤＶＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒなど）に保存（録画）する。その他、頭部の拡大画像を用紙に印刷しまたは他のコンピュータなどにデータ転送することによって出力することができる。

〔頭部中心度の算出の変形例〕
図３９は演算方法決定処理の流れの変形例を説明するフローチャート、図４０は演算方法選択用テーブルＴＬ１の例を示す図である。

上に述べた実施形態では、頭部中心度プレーン８４の各画素の頭部中心度を、各特徴度プレーン８の信頼度にそれぞれの重みｗを掛け、それを加算することによって算出したが（（１５）式参照）、例えば、複数の演算方法を用意しておき、図３９に示すような手順でいずれかの演算方法を選択するようにしてもよい。

まず、次の（１６）式のように定義される関数を図２８のデータベース８０４に予め複数用意しておく（＃２４０）。
ＴＣ（ｉ，ｊ）
＝χｍ（Ｉ１，Ｉ２，Ｉ３，Ｉ４，ｗ１，ｗ２，ｗ３，ｗ４） … （１６）

ただし、０≦ｍ≦用意した関数の個数、である。

前に図３０で説明した手順と同じように、撮影環境の変化が検出された場合に、各特徴度プレーン８の新たな信頼度Ｒ１〜Ｒ４を算出する（＃２４１〜＃２４４）。

最新の信頼度Ｒ１〜Ｒ４に基づいて、いずれか１つの演算方法を選択する（＃２４５）。例えば、演算方法を選択するための関数、ｍ＝ｆ（Ｒ１，Ｒ２，Ｒ３，Ｒ４）、を用意しておき、これに基づいて選択してもよい。または、図４０に示すように、演算方法選択用テーブルＴＬ１をデータベース８０４に予め用意しておき、これに基づいて選択してもよい。

例えば、選択した演算が相乗平均の場合は、（１４）式に基づいて重みｗ１〜ｗ４を算出する（＃２４６）。ついで、（１７）式に基づいて、各画素の頭部中心度ＴＣ（ｉ，ｊ）を算出する。つまり、重みｗ１〜ｗ４を信頼度Ｒ１〜Ｒ４の相加平均とする。

演算方法によっては、重みｗの算出方法を複数用意しておき、信頼度Ｒ１〜Ｒ４に基づいていずれかを選択して重みｗを算出するようにしてもよい。

選択または算出された関数、信頼度Ｒ１〜Ｒ４、および重みｗ１〜ｗ４を信頼度記憶部８０５に記憶させておく。これにより、人体検出装置１は、ビデオカメラ２の現在の撮影条件に応じた各特徴度プレーン８の演算方法を学習する（＃２４７）。

そして、図４の検出処理部１０５は、以上のようにして選択（決定）された演算方法を用いて頭部中心度プレーン８４（図３２参照）を生成する。

図４１は人体検出装置１の全体の処理の流れの例を説明するフローチャートである。次に、ビデオカメラ２で撮影される画像から歩行者を検出する際の人体検出装置１の処理の流れを、フローチャートを参照して説明する。

人体検出装置１は、ビデオカメラ２によって撮影された、ある時刻における画像ＦＧ（フレーム画像）を入力すると（図４１の＃１）、色空間の変換処理（図６参照）、切出縮小画像ＧＳの生成処理（図９参照）、および論理積プレーンＡＮの生成処理（図１５参照）などの前処理を行う（＃２）。

図１７に示すような肌色度プレーン８ＦＣ、髪色度プレーン８ＨＣ、半楕円中心度プレーン８ＳＥ、および肩中心度プレーン８ＳＨを生成する（＃３〜＃６）。これらの特徴度プレーン８の生成方法は、前に図１９、図２０、および図２１などで説明した通りである。生成されたこれらの特徴度プレーン８は、特徴度プレーン記憶部１Ｍ１に記憶させておく（＃７）。

頭部中心度を算出するための演算方法を決定するための処理を行い（＃８）、決定した演算方法で頭部中心度プレーン８４（図３２参照）を生成する（＃９）。決定するための処理は、前に説明した図３０または図３９に示すいずれかの手順により行われる。

生成された頭部中心度プレーン８４に基づいて、検出目標である歩行者の頭部の位置および中心を検出し（＃１０）、図３６（ｂ）のような最終的な検出結果を示す頭部検出結果プレーンＴＫを生成する。そして、これに基づいて、ステップ＃１で入力された画像ＦＧより歩行者ＨＭＮの頭部の領域を抽出して拡大し、これを拡大画像として表示装置１ｆ（図３参照）または外部装置などに出力する（＃１１）。

ステップ＃１〜＃１１の処理は、ビデオカメラ２で撮影が行われている間、繰り返し行う（＃１２でＮｏ）。なお、ステップ＃８の演算方法決定処理は、毎回行う必要はなく、所定のタイミングで行えばよい。例えば、オペレータが設定した時間ごとに１回行うようにする。または、特定の種類のコンディション情報７２が得られた入力されたときに行うようにする。演算方法決定処理を行わなかった場合は、前に学習した演算方法を用いて頭部中心度プレーン８４の生成を行う。

本実施形態によると、ビデオカメラ２によって撮影された現在または過去の画像（フレーム）より検知される撮影条件またはセンサ３によって検知される撮影条件に基づいて複数の特徴度を算出し、これらの特徴度の用い方を撮影条件に合うように調整する演算方法を学習する。そして、学習した演算方法によって歩行者の頭部の中心の検出を行う。したがって、目標物の検出を行う際に撮影環境などに変化が生じても、処理速度の低下を抑えつつその目標物の検出を正確に行うことができる。

例えば、歩行者の人数が通常よりも多くなった場合には、オクルージョンが発生し歩行者の肩の輪郭が撮影画像（フレーム）に表れにくくなるので肩中心度（図１７参照）の信頼性が落ちるが、他の３つの特徴度に大きな重みを持たせてこれを補うことによって歩行者を上手く検出することができる。この際に、これらの４種類の特徴度以外の特徴度の追加検出は行わないので、処理速度を低下させることなく歩行者を検出することができる。同様に、照明や背景（床や壁）の状況によって肌色または髪色が上手く検出できない場合には、肌色度または髪色度の信頼性が落ちるが、他の特徴度に大きな重みを持たせることによって、処理速度の低下を抑えつつ歩行者の検出を正確に行うことができる。

図４２は前のフレームの頭部検出結果プレーンＴＫを使用して頭部中心の検出を行う方法の例を示す図である。

本実施形態では、各画像または各プレーンを構成する各画素に対する処理を、水平方向を主走査方向とするような順番で行ったが、垂直方向を主走査方向とするような順番で行ってもよい。または、右下隅の画素から順に処理を行うなど、処理の順序は適宜変更可能である。

（１）〜（１７）式において使用した係数、定数、閾値、または関数などは、監視システム１００を使用する目的、ビデオカメラ２の設置場所の環境またはスペック、または他の様々な条件に応じて適宜変更可能である。また、特徴度プレーン８の組合せまたは生成の順序もこれらの条件に応じて適宜変更可能である。

本実施形態では、図５の画像ＦＧから歩行者ＨＭＮの頭部の中心を検出する際に、この画像ＦＧを縮小し、その縮小画像（図８の切出縮小画像ＧＳ）を用いたが、この画像ＦＧを縮小せずにそのまま用いてもよい。肌色度および髪色度を、ＹＵＶ空間値に基づいて求めたが、ＲＧＢ空間など他の色空間の値に基づいて求めてもよい。

本実施形態では、（１２）式に示すように、撮影条件（環境パラメータθ）ごとに個別信頼度を算出し、これらの個別信頼度を合計することによって、信頼度Ｒ１〜Ｒ４を求めた。しかし、複数の撮影条件が関連し合って信頼度に影響を及ぼす場合がある。そこで、次の（１８）式のような関数を定義し、これに基づいて信頼度Ｒ１〜Ｒ４を求めるようにしてもよい。
Ｒｉ＝ｆｉ（θ１，θ２、…、θＮ） … （１８）

ただし、ｉ＝１，２，３，４
頭部検出結果プレーンＴＫを生成する際に、直前のフレームにおける検出結果である頭部検出結果プレーンＴＫｐを使用し、検出精度を高めるようにしてもよい。なぜなら、直前のフレームの頭部検出結果プレーンＴＫｐを示される頭部の中心の位置と今回検出すべき頭部の中心の位置とは、歩行者の動きによって多少のずれはあるものの、ほぼ一致するはずだからである。例えば、図４２に示すような手順で頭部検出結果プレーンＴＫｐを使用する。

今回のフレームに係る頭部中心度プレーン８４と前のフレームに係る頭部検出結果プレーンＴＫｐとの互いに対応する画素の画素値を平均を求めることによって、頭部中心度プレーン８４’を生成する。そして、検出処理部１０５は、その頭部中心度プレーン８４’に基づいて、前に説明した図３３および図３５などの処理を行い、頭部検出結果プレーンＴＫを生成する。なお、生成された頭部検出結果プレーンＴＫは、次のフレームの頭部検出結果プレーンＴＫを生成するために、結果プレーン記憶部１Ｍ４に保存しておく。

コンディション情報７２として、前のフレームに係る頭部検出結果やオペレータによる頭部検出に関する評価（オペレータが画像を見て頭部を指示した結果および装置による判定結果が正しいか否かの評価など）などを用いてもよい。

本発明に係る人体検出装置１を使用して、人以外の物体の検出を行うことも可能である。例えば、動物の身体の検出、直方体の検出、または自動車やオートバイなどのナンバープレートの検出に応用することも可能である。

その他、監視システム１００、人体検出装置１、ビデオカメラ２の全体または各部の構成、特徴度プレーン８の生成方法、中心度の算出方法、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。

本発明によると、撮影条件に変化や不具合が生じても、処理速度を落とすことなく目標物を検出することができる。よって、本発明は、特に、撮影条件が変化しやすい施設における歩行者または侵入者の検出のために好適に用いられる。

監視システムの全体的な構成の例を示す図である。 ビデオカメラの位置姿勢および撮影状況の例を示す図である。 人体検出装置のハードウェア構成の例を示す図である。 人体検出装置の機能的構成の例を示す図である。 ビデオカメラで撮影された画像の例を示す図である。 色空間変換処理の流れの例を説明するフローチャートである。 切出画像の生成方法の例を説明する図である。 切出縮小画像の生成方法の例を説明する図である。 画像縮小処理の流れの例を説明するフローチャートである。 時間差分プレーンの生成方法の例を示す図である。 時間差分検出処理の流れの例を説明するフローチャートである。 空間差分プレーンの生成方法の例を示す図である。 空間差分検出処理の流れの例を説明するフローチャートである。 論理積プレーンの生成方法の例を示す図である。 論理積画像生成処理の流れの例を説明するフローチャートである。 論理積プレーンの例を示す図である。 ４種類の特徴度プレーンの例を示す図である。 肌色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図である。 肌色度プレーン生成処理の流れの例を説明するフローチャートである。 髪色度プレーン生成処理の流れの例を説明するフローチャートである。 オフセット補正について説明する図である。 髪色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図である。 テンプレートの例を示す図である。 テンプレートの作成方法の例を示す図である。 中心度プレーン算出処理の流れの例を説明するフローチャートである。 投票処理の流れの例を説明するフローチャートである。 テンプレートによるテンプレートマッチングの方法の例を説明する図である。 学習部の構成の例を示す図である。 種々の撮影条件の変化とそれに伴う現象および影響との関係の例を説明する図である。 演算方法決定処理の流れの例を説明するフローチャートである。 信頼度変換テーブルの例を示す図である。 頭部中心度プレーンの例を示す図である。 頭部中心検出処理の処理の流れの例を説明するフローチャートである。 矩形領域の抽出の例を示す図である。 頭部抽出処理の流れの例を説明するフローチャートである。 頭部検出結果プレーンの生成方法の例を説明する図である。 探索領域および二乗和算出範囲の例を示す図である。 矩形領域から抜き出されまたはクリアされる対象となる領域の形状およびサイズの例を説明する図である。 演算方法決定処理の流れの変形例を説明するフローチャートである。 演算方法選択用テーブルの例を示す図である。 人体検出装置の全体の処理の流れの例を説明するフローチャートである。 前のフレームの頭部検出結果プレーンを使用して頭部中心の検出を行う方法の例を示す図である。

符号の説明

１ 人体検出装置（物体検出装置）
２ ビデオカメラ（カメラ）
１０１ 画像入力部（画像入力手段）
１０５ 検出処理部（物体検出手段）
３０１ 肌色度プレーン生成部（特徴検出手段）
３０２ 半楕円中心度プレーン生成部（特徴検出手段）
３０３ 髪色度プレーン生成部（特徴検出手段）
３０４ 肩中心度プレーン生成部（特徴検出手段）
８０１ コンディション情報取得部（撮影条件取得手段）
８０２ 信頼度算出部（信頼性算出手段）
８０３ 演算方法決定部（演算方法決定手段）
８０５ 信頼度記憶部（信頼性記憶手段）
ＦＧ 画像（撮影画像）
ＨＭＮ 歩行者（物体）

Claims (6)

1. 画像の中から目標の人物を検出する人物検出装置であって、
   カメラで撮影されて得られた撮影画像を入力する画像入力手段と、
   互いに異なる方法を用いて、前記撮影画像の人物の特徴の特徴量を検出する複数の特徴検出手段と、
   前記カメラの周囲の環境または設定の状況を示す情報を取得する撮影環境設定状況取得 手段と、
   前記撮影環境設定状況取得手段によって取得された情報に示される周囲の環境または設 定の状況である場合に前記各特徴検出手段によって検出される前記特徴の特徴量それぞれの信頼性を求める、信頼性算出手段と、
   前記各特徴検出手段によって前記撮影画像から検出された前記特徴の特徴量それぞれに 対して前記信頼性算出手段によって求められた当該特徴量それぞれの信頼性の高さに応じ て重み付けを行うことによって得られる値に基づいて、当該撮影画像の画素面を複数に区 画した領域ごとの、当該領域が当該撮影画像に写っている人物の頭部の中心である可能性 の高さを示す頭部中心度を求める、頭部中心度算出手段と、
   前記頭部中心度算出手段によって求められた前記頭部中心度に基づいて、前記撮影画像 に写っている人物を検出する人物検出手段と、
   を有することを特徴とする人物検出装置。
2. 前記信頼性算出手段によって求められた前記特徴の特徴量の信頼性を記憶する信頼性記憶手段を有し、
   前記信頼性算出手段は、所定のタイミングで前記特徴の特徴量の信頼性を求め、
   前記頭部中心度算出手段は、前記特徴に係る前記頭部中心度を、前記信頼性記憶手段に 記憶されている当該特徴の最新の特徴量の信頼性に基づいて求める、
   請求項１記載の人物検出装置。
3. 前記特徴検出手段として、前記撮影画像と半楕円形状のテンプレートとのマッチングの度合いを算出することよって前記特徴の特徴量を求める手段、前記撮影画像の前記領域ごとの肌色度を検出することによって前記特徴の特徴量を求める手段、前記撮影画像の前記領域ごとの髪色度を検出することによって前記特徴の特徴量を求める手段、または前記撮影画像と肩形状のテンプレートとのマッチングの度合いを算出することよって前記特徴の 特徴量を求める手段、を有する、
   請求項１または請求項２記載の人物検出装置。
4. 前記信頼性算出手段によって求められた、前記各特徴検出手段によって検出された前記 各特徴の特徴量の信頼性に応じて、人物を検出するための演算方法を決定する、演算方法 決定手段、を有し、
   前記頭部中心度算出手段は、前記演算方法決定手段によって決定された前記演算方法に 基づいて前記頭部中心度を求める、
   請求項１ないし請求項３のいずれかに記載の人物検出装置。
5. 画像の中から目標の人物を検出する人物検出方法であって、
   カメラで撮影されて得られた撮影画像を入力するステップと、
   互いに異なる特徴検出方法を用いて、前記撮影画像の人物の特徴の特徴量を検出するステップと、
   前記カメラの周囲の環境または設定の状況を示す情報を取得するステップと、
   取得された情報に示される周囲の環境または設定の状況である場合に前記各特徴検出方 法によって検出される前記特徴の特徴量それぞれの信頼性を求めるステップと、
   前記各特徴検出方法によって前記撮影画像から検出された前記特徴の特徴量それぞれに 対して当該特徴量それぞれの信頼性の高さに応じて重み付けを行うことによって得られる 値に基づいて、当該撮影画像の画素面を複数に区画した領域ごとの、当該領域が当該撮影 画像に写っている人物の頭部の中心である可能性の高さを示す頭部中心度を求めるステッ プと、
   求めた前記頭部中心度に基づいて、前記撮影画像に写っている人物を検出するステップと、
   を有することを特徴とする人物検出方法。
6. 画像の中から目標の人物を検出するコンピュータに用いられるコンピュータプログラムであって、
   カメラで撮影されて得られた撮影画像を入力する処理と、
   互いに異なる特徴検出方法を用いて、前記撮影画像の人物の特徴の特徴量を検出する処理と、
   前記カメラの周囲の環境または設定の状況を示す情報を取得する処理と、
   取得された情報に示される周囲の環境または設定の状況である場合に前記各特徴検出方 法によって検出される前記特徴の特徴量それぞれの信頼性を求める処理と、
   前記各特徴検出方法によって前記撮影画像から検出された前記特徴の特徴量それぞれに 対して当該特徴量それぞれの信頼性の高さに応じて重み付けを行うことによって得られる 値に基づいて、当該撮影画像の画素面を複数に区画した領域ごとの、当該領域が当該撮影 画像に写っている人物の頭部の中心である可能性の高さを示す頭部中心度を求める処理と 、
   求めた前記頭部中心度に基づいて、前記撮影画像に写っている人物を検出する処理と、
   をコンピュータに実行させるためのコンピュータプログラム。

Images