JP7255173B2 - 人検出装置および人検出方法 - Google Patents

Description

本発明は、魚眼カメラの画像を用いて人を検出する技術に関する。

ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ（フィッシュアイレンズ）を搭載した超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる。）を利用することが多い。

魚眼カメラで撮影された画像は大きく歪んでいる。それゆえ、魚眼カメラの画像（以後「魚眼画像」と呼ぶ。）から人体や顔などを検出する場合には、あらかじめ魚眼画像を平面展開することで歪みの少ない画像に補正した後に検出処理にかけるという方法が一般的である（特許文献１参照）。

特開２０１６－３９５３９号公報

しかしながら、従来技術では次のような問題がある。一つは、魚眼画像を平面展開するという前処理が発生することで、全体の処理コストが大きくなるという問題である。これは、リアルタイムの検出処理を困難にし、機器制御の遅延を招く可能性があり、好ましくない。二つ目の問題は、魚眼カメラの真下など、ちょうど平面展開時の境界（画像の切れ目）の位置に存在する人や物体の像が、平面展開の処理によって大きく変形してしまったり、像が分断されてしまったりして、正しく検出できない恐れがあることである。

これらの問題を回避するため、本発明者らは、魚眼画像をそのまま（「平面展開せずに」という意味である。）検出処理にかけるというアプローチを研究している。しかし、通常のカメラ画像に比べ、魚眼画像の場合は、検出対象となる人の見え方（人体の傾き、歪み、大きさ）のバリエーションが増加するため、検出が困難となる。特に、ＢＡやＦＡなどのアプリケーションを想定した場合、画像中に、イス、パーソナルコンピュータ、ごみ箱、扇風機、サーキュレーターなど、人体や頭部と誤り易い物体が多く存在するため、検出精度の低下を招きやすい。

本発明は上記実情に鑑みなされたものであって、魚眼画像から高速に且つ高精度に人を検出する技術を提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第一側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、人の頭部を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の頭部候補を検出
する頭部検出部と、人体を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の人体候補を検出する人体検出部と、前記頭部検出部の検出結果と前記人体検出部の検出結果とを組み合わせて作成される、前記頭部候補と前記人体候補のペアのうち、所定の条件を満たすペアを、人と判定する判定部と、を有することを特徴とする人検出装置を提供する。

「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラや全天球カメラも魚眼カメラの一種である。魚眼カメラは、検出対象エリアの上方から検出対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。「人の頭部を検出するアルゴリズム」と「人体を検出するアルゴリズム」は、前者が頭部のみを検出対象とし、後者が人体を検出対象とする点で、異なるアルゴリズムである。ここで「人体」は、人の全身でもよいし、半身（例えば、上半身、頭部と胴体など）でもよい。

本発明によれば、魚眼画像を平面展開しないため、高速な検出処理が可能である。また、画像から頭部と体がともに検出され、且つ、それらが所定の条件を満たす場合に、はじめて「人」と判定するので、高精度な検出が実現できる。

前記所定の条件は、前記頭部候補と前記人体候補の相対位置に関する条件を含んでもよい。魚眼カメラで得られる魚眼画像では、頭部の領域と人体の領域の位置関係に一定の法則があるため、頭部の領域と人体の領域の相対位置に基づいて、当該ペアの妥当性（人である確からしさ）を判定することができる。具体的には、前記所定の条件は、前記頭部候補の領域と前記人体候補の領域とが重なりを有するという条件を含んでもよい。前記所定の条件は、前記人体候補が前記頭部候補よりも前記魚眼画像の中心に近い座標に存在するという条件を含んでもよい。

前記所定の条件は、前記頭部候補と前記人体候補の相対サイズに関する条件を含んでもよい。固定カメラで得られる魚眼画像における頭部および人体のサイズはあらかじめ想定できるため、頭部候補と人体候補の相対サイズに基づいて、当該ペアの妥当性（人である確からしさ）を判定することができる。具体的には、前記所定の条件は、前記頭部候補と前記人体候補のサイズ比率が所定の範囲であるという条件を含んでもよい。ここで、前記判定部は、前記頭部候補または前記人体候補の前記魚眼画像上の座標に応じて、前記所定の範囲を変えてもよい。

前記頭部検出部は、検出した頭部候補ごとに、検出の信頼度を出力し、前記人体検出部は、検出した人体候補ごとに、検出の信頼度を出力し、前記所定の条件は、前記頭部候補および前記人体候補の信頼度に関する条件を含んでもよい。これにより、最終的な検出結果の信頼性、すなわち検出精度の向上を図ることができる。

例えば、前記判定部は、前記頭部候補の信頼度と前記人体候補の信頼度を基に総合信頼度を求め、前記所定の条件は、前記総合信頼度が閾値より大きいという条件を含んでもよい。総合信頼度は、頭部候補の信頼度と人体候補の信頼度の関数であればどのような指標でもよい。例えば、頭部候補の信頼度と人体候補の信頼度の合計、単純平均、加重平均などを用いることができる。

前記判定部は、前記頭部候補または前記人体候補の前記魚眼画像上の座標に応じて、前記総合信頼度を求めるときの前記頭部候補の信頼度と前記人体候補の信頼度の重みを変えてもよい。例えば、カメラの真下にいる人は、頭部は写るが、人体は両肩くらいしか写らないため、頭部検出に比べて人体検出は困難となる。このように、画像上の座標に依存し
て、頭部候補の信頼度と人体候補の信頼度のどちらの値が高くなりやすいかが変わるため、総合信頼度を求めるときにその特性を考慮することで、最終的な判定精度の向上を図ることができる。

前記頭部候補の信頼度と前記人体候補の信頼度のいずれか一方が十分に高い場合に、前記判定部は、他方の信頼度に対する条件を緩和してもよい。いずれか一方の信頼度が十分に高ければ、（他方の検出の信頼度が多少低かったとしても）人である確からしさが高いと考えられるからである。

本発明の第二側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、人の頭部を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の頭部候補を検出する頭部検出ステップと、人体を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の人体候補を検出する人体検出ステップと、前記頭部検出ステップの検出結果と前記人体検出ステップの検出結果とを組み合わせて作成される、前記頭部候補と前記人体候補のペアのうち、所定の条件を満たすペアを、人と判定する判定ステップと、を有することを特徴とする人検出方法を提供する。

本発明は、上記手段の少なくとも一部を有する人検出装置として捉えてもよいし、検出した人を認識（識別）する人認識装置、検出した人をトラッキングする人追跡装置、あるいは画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む人検出方法、人認識方法、人追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、魚眼画像から高速に且つ高精度に人を検出することができる。

図１は、本発明に係る人検出装置の適用例を示す図である。 図２は、人検出装置を備える監視システムの構成を示す図である。 図３は、魚眼画像の例を示す図である。 図４は、人検出処理のフローチャートである。 図５は、頭部検出の結果の例を示す図である。 図６は、頭部検出の結果に人体検出の結果を重ねた例を示す図である。 図７は、最終判定結果（人検出結果）の例を示す図である。 図８は、相対位置に基づくペアリング処理のフローチャートである。 図９は、相対サイズに基づくペアリング処理のフローチャートである。 図１０は、画像上の位置に応じて処理を変える例を示す図である。

＜適用例＞
図１を参照して、本発明に係る人検出装置の適用例を説明する。人検出装置１は、検出対象エリア１１の上方（例えば天井１２など）に設置された魚眼カメラ１０により得られた魚眼画像を解析して、検出対象エリア１１内に存在する人１３を検出する装置である。この人検出装置１は、例えば、オフィスや工場などにおいて、検出対象エリア１１を通行する人１３の検出、認識、追跡などを行う。人検出装置１の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視などに利用される。

人検出装置１は、魚眼画像をそのまま（つまり、平面展開や歪み補正などの前処理を行わずに）人検出処理に用いる点に特徴の一つを有する。これにより、検出処理の高速化（リアルタイム性）を実現する。さらに人検出装置１は、魚眼画像に対し頭部検出と人体検出を行い、頭部検出の結果と人体検出の結果とを組み合わせて最終的な判定（人か否かの判定）を行う点に特徴の一つを有する。このとき、魚眼画像の特性を考慮して、頭部と人体のペアリングおよび信頼度の評価を行うことによって、高精度な検出が実現できる。

＜監視システム＞
図２を参照して、本発明の実施形態を説明する。図２は、本発明の実施形態に係る人検出装置を適用した監視システムの構成を示すブロック図である。監視システム２は、概略、魚眼カメラ１０と人検出装置１とを備えている。

魚眼カメラ１０は、魚眼レンズを含む光学系と撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。魚眼カメラ１０は、例えば図１に示すように、検出対象エリア１１の天井１２などに、光軸を鉛直下向きにした状態で設置され、検出対象エリア１１の全方位（３６０度）の画像を撮影するとよい。魚眼カメラ１０は人検出装置１に対し有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で接続され、魚眼カメラ１０で撮影された画像データは人検出装置１に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、１０ｆｐｓ（１秒あたり１０枚）で取り込まれるモノクロ画像を用いることを想定している。

図３は、魚眼カメラ１０から取り込まれた魚眼画像の例を示す。光軸が鉛直下向きになるように魚眼カメラ１０を設置した場合、魚眼画像の中心には、魚眼カメラ１０の真下に存在する人を頭頂部から観察した像が表れる。そして、魚眼画像の端にいくにしたがって俯角が小さくなるため、人を斜め上方から観察した像が表れることとなる。また、魚眼画像の中心は比較的歪みが小さいが、魚眼画像の端にいくにしたがって画像の歪みが大きくなる。背景技術の欄で述べたように、従来は、魚眼画像の歪みを補正した平面展開画像を作成した後、検出や認識などの画像処理を行っていたが、本実施形態の監視システム２では、図３に示すような魚眼画像をそのまま（歪んだまま）検出や認識の処理に用いる。これにより、歪み補正などの前処理を省略し、リアルタイム監視を実現する。

図２に戻り、人検出装置１の説明を行う。本実施形態の人検出装置１は、画像入力部２０、頭部検出部２２、人体検出部２４、判定部２６、記憶部２７、出力部２８を有している。頭部検出部２２と人体検出部２４をまとめて「検出部２１」とも称す。画像入力部２０は、魚眼カメラ１０から画像データを取り込む機能を有する。取り込まれた画像データは記憶部２７に格納される。頭部検出部２２は、人の頭部を検出するアルゴリズムを用いて、魚眼画像から頭部候補を検出する機能を有する。頭部検出辞書２３は、魚眼画像に表れる頭部の画像特徴があらかじめ登録されている辞書である。人体検出部２４は、人体を検出するアルゴリズムを用いて、魚眼画像から人体候補を検出する機能を有する。人体検出辞書２５は、魚眼画像に表れる人体の画像特徴があらかじめ登録されている辞書である。判定部２６は、頭部検出部２２と人体検出部２４の検出結果に基づいて、魚眼画像内に存在する「人」を判定する機能を有する。記憶部２７は、魚眼画像、検出結果、判定結果などを記憶する機能を有する。出力部２８は、魚眼画像、検出結果、判定結果などの情報を外部装置に出力する機能を有する。例えば、出力部２８は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やＦＡ装置に対し情報や制御信号を送信してもよい。

人検出装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

＜人検出処理＞
図４は、監視システム２による人検出処理のフローチャートである。図４に沿って人検出処理の全体的な流れを説明する。なお、図４のフローチャートは、１フレームの魚眼画像に対する処理を示している。１０ｆｐｓで魚眼画像が入力される場合には、図４の処理が１秒間に１０回実行されることとなる。

まず、画像入力部２０が魚眼カメラ１０から１フレームの魚眼画像を入力する（ステップＳ４０）。図３は入力された魚眼画像の例である。この画像には５人の人が写っている。

次に、頭部検出部２２が魚眼画像から人の頭部を検出する（ステップＳ４１）。魚眼画像内に複数の人が存在する場合には、複数の頭部が検出される。また、多くの場合、頭部ではない物体（例えば、ボール、ＰＣ、サーキュレーター、丸イスなど、形状や色が人頭と紛らわしい物）が誤って検出される場合もある。このように頭部検出部２２の検出結果には頭部ではない物体も含まれ得るため、この段階では「頭部候補」と呼ぶ。検出結果には、例えば、検出された頭部候補の外接矩形（「バウンディングボックス」とも称す。）と、検出の信頼度（頭部であることの確からしさ）とが含まれるとよい。図５は、頭部検出の結果の例である。符号５０がバウンディングボックスを示している。この例では、人の頭部５１、５２、５３、５４、５５の他、頭部ではない物体５６、５７も頭部候補として検出されてしまっている。なお、頭部検出にはどのようなアルゴリズムを用いてもよい。例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）による頭部認識を用いてもよい。

次に、人体検出部２４が魚眼画像から人体を検出する（ステップＳ４２）。魚眼画像内に複数の人が存在する場合には、複数の人体が検出される。また、多くの場合、人体ではない物体（例えば、扇風機、デスクチェア、コート掛けなど、形状や色が人体と紛らわしい物）が誤って検出される場合もある。このように人体検出部２４の検出結果には人体ではない物体も含まれ得るため、この段階では「人体候補」と呼ぶ。検出結果には、例えば、検出された人体候補の外接矩形（「バウンディングボックス」とも称す。）と、検出の信頼度（人体であることの確からしさ）とが含まれるとよい。図６は、頭部検出の結果に人体検出の結果を重ねた例である。符号６０が人体候補のバウンディングボックスを示している。この例では、人体６１、６２、６３、６４、６５の他、人体ではない物体６６、６７も人体候補として検出されてしまっている。なお、人体検出にはどのようなアルゴリズムを用いてもよい。例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）による人体認識を用いてもよい。本実施形態では、人体として人の全身を検出しているが、これに限らず、上半身など体の一部を検出対象としてもよい。

なお、頭部検出と人体検出は独立した処理であるため、人体検出→頭部検出の順に実行してもよいし、頭部検出と人体検出を並列処理してもよい。

次に、判定部２６が、頭部候補と人体候補のペアリングを行う（ステップＳ４３）。判定部２６は、例えば、図６に示す７つの頭部候補５１～５７と７つの人体候補６１～６７の４９通りのペアの中から、所定のペアリング条件を満足するペアのみを選択する。ペアリング条件およびペアリング処理の詳細は後述する。

次に、判定部２６は、ステップＳ４３で得られた各ペアの信頼度を求める（ステップＳ４４）。ペアの信頼度とは、当該ペア（頭部候補と人体候補）が実際の人間の頭部と身体を示している可能性の高さ（人であることの確からしさ）を表す尺度である。信頼度の詳細は後述する。

次に、判定部２６は、ステップＳ４３で得られた複数のペアの中から、所定の信頼度条件を満足するペアのみを抽出する（ステップＳ４５）。そして、判定部２６は、ここで抽出されたペア（頭部候補と人体候補の組み合わせ）を「人」と最終判定し、その判定結果を記憶部２７に格納する。判定結果は、例えば、頭部候補および人体候補を包含する外接矩形（バウンディングボックス）の位置およびサイズ、当該ペアの信頼度、などの情報を含むとよい。図７は、最終判定結果（人検出結果）の例である。

最後に、出力部２８が、ステップＳ４５で得られた判定結果を外部装置に出力する（ステップＳ４６）。以上で１フレームの魚眼画像に対する処理が終了する。

本実施形態の人検出処理によれば、魚眼画像をそのまま解析し、魚眼画像からダイレクトに人検出を行う。したがって、魚眼画像の平面展開や歪み補正といった前処理を省略でき、高速な人検出処理が可能である。魚眼画像をそのまま検出処理に用いる方法は、平面展開（歪み補正）した後に検出処理を行う方法に比べ、検出精度が低下するという課題があるが、本実施形態では、魚眼画像から頭部と身体がともに検出され、且つ、それらが所定の条件を満たす場合に「人」と判定するというロジックを採用したので、非常に高精度な検出が実現できる。

なお、本実施形態では、所定の条件として、ペアリング条件と信頼度条件の２つを用いたが、いずれか一方だけでも十分な精度が得られるならば、一方の条件のみを用いても構わない。あるいは、ペアリング条件と信頼度条件以外の他の条件を用いてもよい。

＜ペアリング＞
判定部２６によるペアリング処理およびペアリング条件の具体例を説明する。

（１）相対位置に基づくペアリング
魚眼画像は人を見下ろすような角度で撮影されるため、図６に示すように、頭部領域（バウンディングボックス）と人体領域（バウンディングボックス）とは重なりをもつ。また、カメラの真下に（つまり、光軸上に）存在する人の場合は、頭部領域と人体領域の中心がほぼ一致するが、それ以外の位置に存在する人の場合は、人体領域が頭部領域よりも画像の中心側に写る（言い換えると、画像の中心からみて、人体領域の中心、頭部領域の中心、という順に並ぶ。）。このような魚眼画像の特性を利用し、頭部領域と人体領域の相対位置を考慮することで、頭部候補と人体候補の組み合わせの妥当性を評価することができる。

図８は、相対位置に基づくペアリング処理のフローチャートである。まず判定部２６は、頭部候補と人体候補のすべての組み合わせの中から、頭部領域と人体領域とが重なりを
有するペアを生成する（ステップＳ８０）。図６の例の場合、６通りのペアが生成される。実際の人の数（５人）より多い理由は、人体候補６２と誤検出による頭部候補５６のペアも生成されるためである。

次に判定部２６は、ステップＳ８０で得られたペアのそれぞれについて、頭部領域と人体領域のどちらが画像中心に近いかを判定し、人体領域の方が画像中心に近いペアのみ抽出する（ステップＳ８１）。この判定は、例えば、頭部領域の中心と画像中心の間の距離と人体領域の中心と画像中心の間の距離の比較により行えばよい。かかる処理により、人体候補６２と頭部候補５６のペアを除外することができる。その結果、頭部候補５１と人体候補６１、頭部候補５２と人体候補６２、頭部候補５３と人体候補６３、頭部候補５４と人体候補６４、頭部候補５５と人体候補６５、の５つのペアに絞り込まれる。

（２）相対サイズに基づくペアリング
検出対象エリアに対する魚眼カメラ１０の位置が固定されている場合、頭部や人体の魚眼画像上でのサイズは概ね予測可能である。また、身体の大きさの個人差は、頭部と人体の相対サイズを計算することでキャンセルできる。このような魚眼画像の特性を利用し、頭部領域と人体領域の相対サイズを考慮することで、頭部候補と人体候補の組み合わせの妥当性を評価することができる。

図９は、相対サイズに基づくペアリング処理のフローチャートである。まず判定部２６は、頭部候補と人体候補のすべての組み合わせの中から、頭部領域と人体領域とが重なりを有するペアを生成する（ステップＳ９０）。この処理は図８のステップＳ８０と同じである。次に判定部２６は、ステップＳ９０で得られたペアのそれぞれについて、頭部領域と人体領域のサイズ比率を計算する（ステップＳ９１）。例えば、バウンディングボックスの面積比をサイズ比率として求めてもよいし、辺もしくは対角線の長さの比をサイズ比率として求めてもよい。そして、判定部２６は、サイズ比率が所定の範囲に収まっているペアのみ抽出する（ステップＳ９２）。かかる処理により、実際の頭部や人体とはサイズが明らかに異なる誤検出物体をペアリング対象から除外することができる。

ところで、魚眼画像の特性として、画像の端にいくにしたがって俯角が小さくなり、頭部領域に比して人体領域のサイズが相対的に大きくなっていくという特性がある。すなわち、頭部領域と人体領域のサイズ比率は画像全体で一定ではなく、魚眼画像内の位置に応じて変わり得る。それゆえ、判定部２６は、ステップＳ１０２で用いる「所定の範囲」を頭部候補または人体候補の画像上の座標に応じて可変にしてもよい。例えば、図１０に示すように、魚眼画像をＬ１～Ｌ２５の２５個のエリアに分割し、各分割エリアにサイズ比率の正解範囲を設定する。図１０の例では、画像中心からの距離が遠いほどサイズ比率（頭部領域／人体領域）が小さくなるような正解範囲が設定されている。判定部２６がステップＳ９２の判定処理において図１０に示すようなテーブルを参照することで、魚眼画像内の位置に応じた適切な判定が実現できる。これにより、ペアリングの信頼性をより一層向上することができる。

＜信頼度＞
判定部２６による信頼度判定の具体例をいくつか説明する。

（１）個別判定
判定部２６は、ペアを構成する頭部候補と人体候補のそれぞれの信頼度がともに所定の閾値を超えている場合に、当該ペアが人であると判定してもよい。すなわち、頭部候補の信頼度をＣｈ、人体候補の信頼度をＣｂ、頭部候補の閾値をＴｈ、人体候補の閾値をＴｂとしたときに、
Ｃｈ＞Ｔｈ 且つ Ｃｂ＞Ｔｂ ⇒ 人
Ｃｈ≦Ｔｈ 又は Ｃｂ≦Ｔｂ ⇒ 人ではない
と判定する方法が個別判定である。

（２）単純平均
判定部２６は、頭部候補の信頼度Ｃｈと人体候補の信頼度Ｃｂを基に総合信頼度Ｃｗを求め、この総合信頼度Ｃｗが閾値Ｔｗより大きいか否かで、当該ペアが人か否かを判定してもよい。単純平均の場合、総合信頼度Ｃｗは以下の式で計算するとよい。
Ｃｗ＝（Ｃｈ＋Ｃｂ）／２

（３）加重平均
加重平均の場合、総合信頼度Ｃｗは例えば以下の式で計算するとよい。
Ｃｗ＝（ｗ×Ｃｈ＋（１－ｗ）×Ｃｂ）／２

ここで、ｗは重みである。重みｗは、固定値でもよいし、頭部候補または人体候補の魚眼画像上の座標に応じて変えてもよい。図６に示すように、画像の中央部分では、頭部が大きく写るが、人体はほとんど写らない。そして、画像の端にいくにしたがい、人体の写る割合が大きくなっていく。このような魚眼画像の特性を考慮し、画像の中央部分では頭部候補の信頼度Ｃｈの重みｗを相対的に大きくし、画像の端にいくにしたがい、人体候補の信頼度Ｃｂの重み（１－ｗ）を徐々に大きくしていくとよい。

（４）頭部優先
頭部候補の信頼度Ｃｈが極めて高い場合には、判定部２６は、人体候補の信頼度Ｃｂを考慮せずに（あるいは人体候補の信頼度Ｃｂの重みを極めて小さくして）、人か否かの最終判定を行ってもよい。さらには、頭部候補の信頼度Ｃｈが極めて高い場合には、ペアとなる人体候補が見つかっていない場合でも、「人」と判定してもよい（身体が物陰に隠れている蓋然性が高いとみなす）。なお、信頼度Ｃｈが極めて高いかどうかの判断に用いる閾値は、上述したＴｈ、Ｔｗよりも大きい値に設定するとよい。

（５）人体優先
人体候補の信頼度Ｃｂが極めて高い場合には、判定部２６は、頭部候補の信頼度Ｃｈを考慮せずに（あるいは頭部候補の信頼度Ｃｈの重みを極めて小さくして）、人か否かの最終判定を行ってもよい。さらには、人体候補の信頼度Ｃｂが極めて高い場合には、ペアとなる頭部候補が見つかっていない場合でも、「人」と判定してもよい（頭部が物陰に隠れている蓋然性が高いとみなす）。なお、信頼度Ｃｂが極めて高いかどうかの判断に用いる閾値は、上述したＴｂ、Ｔｗよりも大きい値に設定するとよい。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

＜付記１＞
（１）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３）を検出する人検出装置（１）であって、
人の頭部を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の頭部候補を検出する頭部検出部（２２）と、
人体を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の人体候補を検出する人体検出部（２４）と、
前記頭部検出部（２２）の検出結果と前記人体検出部（２４）の検出結果とを組み合わ
せて作成される、前記頭部候補と前記人体候補のペアのうち、所定の条件を満たすペアを、人と判定する判定部（２６）と、
を有することを特徴とする人検出装置（１）。
（２）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３）を検出する人検出方法であって、
人の頭部を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の頭部候補を検出する頭部検出ステップ（Ｓ４１）と、
人体を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の人体候補を検出する人体検出ステップ（Ｓ４２）と、
前記頭部検出ステップの検出結果と前記人体検出ステップの検出結果とを組み合わせて作成される、前記頭部候補と前記人体候補のペアのうち、所定の条件を満たすペアを、人と判定する判定ステップ（Ｓ４５）と、
を有することを特徴とする人検出方法。

１：人検出装置
２：監視システム
１０：魚眼カメラ
１１：検出対象エリア
１２：天井
１３：人

Claims (12)

1. 検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、
   人の頭部を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の頭部候補を検出するとともに、検出した頭部候補ごとに検出の信頼度を出力する頭部検出部と、
   人体を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の人体候補を検出するとともに、検出した人体候補ごとに検出の信頼度を出力する人体検出部と、
   前記頭部検出部の検出結果と前記人体検出部の検出結果とを組み合わせて作成される、前記頭部候補と前記人体候補のペアのうち、所定の条件を満たすペアを、人と判定する判定部と、
   を有し、
   前記所定の条件は、前記頭部候補の信頼度と前記人体候補の信頼度を基に求めた総合信頼度が閾値より大きいという条件を含み、
   前記判定部は、前記頭部候補または前記人体候補の前記魚眼画像上の座標に応じて、前記総合信頼度を求めるときの前記頭部候補の信頼度と前記人体候補の信頼度の重みを変えることを特徴とする人検出装置。
2. 前記判定部は、前記人体候補が前記魚眼画像の端にあるほど前記人体候補の重みが大きくなるように、前記頭部候補の信頼度と前記人体候補の信頼度の重みを変える
   ことを特徴とする請求項１に記載の人検出装置。
3. 前記所定の条件は、前記頭部候補と前記人体候補の相対位置に関する条件を含む
   ことを特徴とする請求項１または２に記載の人検出装置。
4. 前記所定の条件は、前記頭部候補の領域と前記人体候補の領域とが重なりを有するという条件を含む
   ことを特徴とする請求項１～３のいずれか１項に記載の人検出装置。
5. 前記所定の条件は、前記人体候補が前記頭部候補よりも前記魚眼画像の中心に近い座標
   に存在するという条件を含む
   ことを特徴とする請求項１～４のいずれか１項に記載の人検出装置。
6. 前記所定の条件は、前記頭部候補と前記人体候補の相対サイズに関する条件を含む
   ことを特徴とする請求項１～５のいずれか１項に記載の人検出装置。
7. 前記所定の条件は、前記頭部候補と前記人体候補のサイズ比率が所定の範囲であるという条件を含む
   ことを特徴とする請求項１～６のいずれか１項に記載の人検出装置。
8. 前記判定部は、前記頭部候補または前記人体候補の前記魚眼画像上の座標に応じて、前記所定の範囲を変える
   ことを特徴とする請求項７に記載の人検出装置。
9. 前記頭部候補の信頼度と前記人体候補の信頼度のいずれか一方が十分に高い場合に、前記判定部は、他方の信頼度に対する条件を緩和する
   ことを特徴とする請求項１～８のいずれか１項に記載の人検出装置。
10. 検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、
    人の頭部を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の頭部候補を検出するとともに、検出した頭部候補ごとに検出の信頼度を出力する頭部検出ステップと、
    人体を検出するアルゴリズムを用いて、前記魚眼画像から１つ以上の人体候補を検出するとともに、検出した人体候補ごとに検出の信頼度を出力する人体検出ステップと、
    前記頭部検出ステップの検出結果と前記人体検出ステップの検出結果とを組み合わせて作成される、前記頭部候補と前記人体候補のペアのうち、所定の条件を満たすペアを、人と判定する判定ステップと、
    を有し、
    前記所定の条件は、前記頭部候補の信頼度と前記人体候補の信頼度を基に求めた総合信頼度が閾値より大きいという条件を含み、
    前記判定ステップでは、前記頭部候補または前記人体候補の前記魚眼画像上の座標に応じて、前記総合信頼度を求めるときの前記頭部候補の信頼度と前記人体候補の信頼度の重みを変えることを特徴とする人検出方法。
11. 前記判定ステップでは、前記人体候補が前記魚眼画像の端にあるほど前記人体候補の重みが大きくなるように、前記頭部候補の信頼度と前記人体候補の信頼度の重みを変える
    ことを特徴とする請求項１０に記載の人検出方法。
12. 請求項１０または１１に記載の人検出方法の各ステップをコンピュータに実行させるためのプログラム。
    

Images