JP2009282742A - 人物検出装置及び人物検出方法並びにプログラム - Google Patents

Abstract

【課題】カメラから出力される映像フレームに基づいて、撮影領域にいる人物を検出する人物検出装置において、カメラと人物との位置関係によって、映像フレーム中に存在する人物画像の大きさや形状が大きく変化する場合であっても、映像フレームに映る人物を精度良く検出できるようにする。
【解決手段】人物モデル設定手段３が、カメラが撮影対象にしている撮影領域に三次元人物モデルを定義し、この定義した三次元人物モデルを、映像フレーム上に投影することにより二次元輪郭モデルを生成する。人物検出手段４は、カメラから出力された映像フレームと、人物モデル設定手段３で生成された二次元輪郭モデルとを用いて、映像フレームに映る人物を検出する。
【選択図】図１

Description

本発明は、カメラから出力される映像フレームに基づいて撮影領域にいる人物を検出する人物検出技術に関し、特に、映像フレーム中に存在する人物画像の大きさや形状に関わらず、人物を精度良く検出することができる人物検出技術に関する。

所定領域を撮影するカメラから出力される映像フレームに基づいて上記所定領域に存在する人物を検出する技術としては、次のような技術が知られている（例えば、特許文献１参照）。

特許文献１に記載されている技術は、カメラと人物との間の距離によって映像フレームに映る人物の大きさや形状が多少変化しても人物を検出できるようにするため、所定領域を撮影した映像フレームから、人物の輪郭形状モデルと許容範囲内で合致する形状の画像を検出することにより、上記所定領域に存在する人物を検出するようにしている。

特開２００１−１７５８６８号公報

上述した特許文献１に記載されている技術は、所定領域を撮影した映像フレームから、輪郭形状モデルと許容範囲内で合致する形状の画像を人物画像として検出するようにしているので、映像フレーム中の人物画像の形状や大きさが多少変化しても、人物画像を検出することができる。しかし、特許文献１に記載されている技術は、１つの輪郭形状モデルを基準にして人物画像を検出するようにしているため、映像フレーム中の人物画像の大きさや形状が大きく変化した場合、人物の検出精度が低下してしまうという問題がある。例えば、比較的低い天井にカメラを設置して撮影した場合には、対象人物に対してカメラの視点が近いため、カメラの近くにいる人物は頭部のみが大きく写り、離れている人物は小さく映る。また、直立している人物も、カメラとの位置関係によっては、映像フレーム内では斜めに映る。このような場合、特許文献１に記載されている技術では、人物の検出精度が低下してしまう。

〔発明の目的〕
そこで、本発明の目的は、カメラと人物との位置関係によって、映像フレーム中に存在する人物画像の大きさや形状が大きく変化する場合であっても、映像フレームに映る人物を精度良く検出できるようにすることにある。

本発明にかかる第１の人物検出装置は、
カメラの撮影領域に三次元人物モデルを定義し、該定義した三次元人物モデルを前記カメラから出力される映像フレーム上に投影することにより二次元輪郭モデルを生成する人物モデル設定手段と、
前記カメラから出力された映像フレームと、前記二次元輪郭モデルとを用いて、前記映像フレームに映る人物を検出する人物検出手段とを備えている。

本発明にかかる第１の人物検出方法は、
コンピュータが、カメラの撮影領域に三次元人物モデルを定義し、該定義した三次元人物モデルを、前記カメラから出力される映像フレーム上に投影することにより二次元輪郭モデルを生成する人物モデル設定ステップと、
前記コンピュータが、前記カメラから出力された映像フレームと、前記二次元輪郭モデルとを用いて、前記映像フレームに映る人物を検出する人物検出ステップとを含む。

本発明にかかる第１のプログラムは、
コンピュータを人物検出装置として機能させるためのプログラムであって、
前記コンピュータを、
カメラが撮影対象にしている撮影領域に三次元人物モデルを定義し、該定義した三次元人物モデルを、前記カメラから出力される映像フレーム上に投影することにより二次元輪郭モデルを生成する人物モデル設定手段、
前記カメラから出力された映像フレームと、前記二次元輪郭モデルとを用いて、前記映像フレームに映る人物を検出する人物検出手段として機能させる。

本発明によれば、カメラと人物との位置関係によって、映像フレーム中に存在する人物画像の大きさや形状が大きく変化する場合であっても、映像フレームに映る人物を精度良く検出することが可能になる。

次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

〔本発明の第１の実施の形態〕
図１を参照すると、本実施の形態にかかる人物検出装置１０は、カメラ映像入力手段１と、キャリブレーション手段２と、人物モデル設定手段３と、人物検出手段４と、人物追跡手段５とから構成されている。

これらの手段はそれぞれ概略つぎのように動作する。

カメラ映像入力手段１は、図示を省略したカメラから送られてくる映像フレームを受け付ける。

キャリブレーション手段２は、カメラ映像入力手段１が受け付けた映像フレームを解析し、カメラの撮影領域上の位置と映像フレーム上の位置との対応関係を求める。

人物モデル設定手段３は、撮影領域の空間に人物概形を示す三次元人物モデルを設定（定義）し、キャリブレーション手段２により得られた対応関係を元に、映像フレーム上に三次元人物モデルを投影することにより、二次元輪郭モデルを生成する。

人物検出手段４は、カメラ映像入力手段１が受け付けた映像フレームと、人物モデル設定手段３により生成された二次元輪郭モデルとを用いて、映像フレーム内に存在する人物画像を検出する。

人物追跡手段５は、人物検出手段４により検出された各映像フレームの人物画像について、隣接する映像フレームでの検出結果と比較して同一人物画像と推測されるものを関連付けて追跡し、その対象人物画像に対応する人物の空間内での移動軌跡を決定する。

なお、人物検出装置１０は、コンピュータによって実現可能であり、コンピュータによって実現する場合は、例えば、次のようにする。コンピュータを人物検出装置１０として機能させるためのプログラムを記録したディスク、半導体メモリ、その他の記録媒体を用意し、コンピュータにより上記プログラムを読み取る。コンピュータは、読み取ったプログラムに従って、自身の動作を制御することにより、自コンピュータ上にカメラ映像入力手段１、キャリブレーション手段２、人物モデル設定手段３、人物検出手段４及び人物追跡手段５を実現する。

〔第１の実施の形態の動作の説明〕
次に、本実施の形態の全体の動作について詳細に説明する。

先ず、実際に追跡処理を実施する前に、カメラで撮影されている撮影領域上の位置とカメラから出力される映像フレーム上の位置とを対応付けるためのキャリブレーション処理を、キャリブレーション手段２において行う（図２のステップＡ１）。具体的には、撮影領域上の座標（Ｘ，Ｙ，Ｚ）を映像フレーム上の座標（ｘ，ｙ）に変換する、下記の射影変換式（１）、（２）中の射影変換係数ａ１〜ａ１１を求める。

ｘ＝（a1＊Ｘ＋a2＊Ｙ＋a3＊Ｚ＋a4）／（a9＊Ｘ＋a10＊Ｙ＋a11＊Ｚ＋１） …（１）
ｙ＝（a5＊Ｘ＋a6＊Ｙ＋a7＊Ｚ＋a8）／（a9＊Ｘ＋a10＊Ｙ＋a11＊Ｚ＋１） …（２）

キャリブレーション処理の方法としては、任意の方法を採用することができ、例えば、次のような方法を採用することができる。先ず、図３に示すように、画角を固定したカメラ１０１で、三次元座標系１００が設定されている撮影領域を撮影する。その際、撮影領域上の位置（Ｘ，Ｙ，Ｚ座標値）が既知の点をマークし、その点がカメラ１０１で撮影された映像フレーム上で識別可能になるようにしておく。ここで、マークする点の数は、射影変換係数ａ１〜ａ１１を求めるために必要となる数以上であれば良い。カメラ１０１で撮影された映像フレームは、カメラ映像入力手段１を介してキャリブレーション手段２に供給される。キャリブレーション手段２は、上記マークされた各点の映像フレーム上の座標値を取得する。座標値取得処理としては、例えば、システム使用者が映像フレーム中のマーカの座標を手動で取得する方法や、特定の色・記号を用いて設定したマーカについて、任意の手法による画像処理を用いて取得する方法を採用することができる。その後、キャリブレーション手段２は、上記マークした各点の３次元座標系１００における座標値と映像フレーム上の座標値との組を用いて、射影変換式（１）、（２）における射影変換係数ａ１〜ａ１１の値を求める。

このキャリブレーション処理を完了したならば、カメラ１０１のズーム・画角などを固定にしたまま、撮像領域における対象の検出・追跡処理に移る。

検出・追跡処理においては、先ず、三次元人物モデルの配置処理を行う（ステップＡ２）。このステップＡ２では、先ず、人物モデル設定手段３が、撮影領域内の予め定められている複数の位置（人物が存在し得る範囲内の位置）の内の或る位置に三次元人物モデルを定義する。三次元人物モデルを撮影領域内の或る位置に定義するとは、定性的には、撮影空間内の上記或る位置に図３に示すように三次元人物モデル１０２を自然な形で置くことであり、具体的には、次のような処理を行う。撮影領域の３次元座標系１００と三次元人物モデル１０２を定義する３次元座標系１０３について、上記或る位置において三次元人物モデル１０２が地面の上に接し且つ直立するなどの適切な制限を与えつつ、平行移動と３軸の回転とで構成される上記２つの３次元座標系１００、１０３の相対位置関係を一つ決め、この相対位置関係に従って三次元人物モデル１０２の各点の座標（ｕ，ｖ，ｗ）を、撮影領域の３次元座標系１００の座標（Ｘ，Ｙ，Ｚ）に変換する。

その後、撮影領域の上記或る位置に定義した三次元人物モデル１０２を、カメラ１０１から出力される映像フレーム上に投影することにより二次元輪郭モデルを生成する。具体的には、前出の射影変換式（１）、（２）と、キャリブレーション手段２で算出された射影変換係数ａ１〜ａ１１とを用いて、三次元人物モデル１０２の各点の、映像フレーム上の座標（ｘ，ｙ）を求める。定性的には、撮影領域の３次元座標系１００で記述された三次元人物モデル１０２の各点をカメラ座標系の原点であるカメラ中心と結んだ直線と、カメラ座標中の画像平面との交点を求めることにより、三次元人物モデル１０２の各点を画像平面に投影することになる。そして、生成した二次元輪郭モデルを人物検出手段４に渡す。なお、三次元人物モデルとしては種々のものを利用でき、本実施の形態では、図３に示すような三次元人物モデル１０２を利用する。この三次元人物モデル１０２は、それぞれが人物の胴体および頭部に対応する形状および大きさを有する２つの楕円柱から構成されている。このような三次元人物モデル１０２を用いることにより、撮影領域上の三次元人物モデル１０２の鉛直軸に対する回転で二次元輪郭モデルの輪郭形状が変化しないので、１つの回転角についてのみ二次元輪郭モデルを生成すれば良く、計算量を少なくすることができる。

人物検出手段４は、人物モデル設定手段３から二次元輪郭モデル（映像フレームの二次元座標系で表されている）が渡されると、カメラ映像入力手段１が取得した映像フレーム上に存在する人物画像を、上記二次元輪郭モデルの輪郭周辺の画素の特徴量に基づいて探索する。そして、人物画像を探索できた場合は、人物モデル設定手段３が三次元人物モデル１０２を定義している位置に人物が存在するものと判定し、その位置の三次元座標系１００における座標値を人物モデル設定手段３から取得して人物追跡手段５に渡す（ステップＡ４）。具体的には、先ず、図４に示すように、二次元輪郭モデル上の点Ｇ（三次元人物モデル１０２の重心点を映像フレーム上に投影した点）から予め定められている複数の方向に直線を伸ばし、二次元輪郭モデルの輪郭との交点を求める。その後、各交点にその輪郭の向き（接線方向）に対応したエッジ検出器を置き、その全てでエッジが検出された場合、人物画像が検出されたと判定する。なお、二次元輪郭モデルの輪郭近傍の画素の特徴量に基づいて人物画像を検出する方法は、これに限られるものではない。

そして、現時点において所定位置に定義されている三次元人物モデル１０２を利用した人物画像の探索処理が終了したならば（ステップＡ４が終了すると）、ステップＡ２に戻り、撮影領域内の他の位置に三次元人物モデル１０２を再配置した後、再度前述したステップＡ４の人物画像の探索処理を行う。これを撮影領域内の予め定められている全ての位置について行う（ステップＡ３がＹＥＳとなるまで行う）。なお、三次元人物モデル１０２の配置位置間の間隔は、数cm程度とする。

ステップＡ３がＹＥＳとなると、人物追跡手段５が、人物検出手段４で検出された人物の位置（三次元座標系１００における座標値）を基に、隣接映像フレームの検出結果との関連付けを行い、人物追跡処理を行う（ステップＡ５）。この追跡処理は、現映像フレームで探索された人物画像の撮影領域内での検出位置と、前映像フレームでの人物画像の検出位置を比較する。両者の位置が所定の基準より近接している組につき、双方の映像フレームにおける撮像人物領域内の色分布などの特徴量を比較し所定の基準を超えるなどして類似する場合に、前映像フレームの検出人物画像が現映像フレームに移動したものと判定し、当該検出人物画像の移動経路を更新して、追跡結果として出力する。なお、ここで用いる撮像人物領域の類似度算定方法は、色分布に制限されるものではなく、例えば対象人物がカメラに顔を向ける可能性が高い環境で実施する場合には、既知の顔認識技術を用いて同一対象人物か否かを決定しても良い。

〔第１の実施の形態の効果〕
本実施の形態によれば、カメラ１０１と人物との位置関係によって、映像フレーム中に存在する人物画像の大きさや形状が大きく変化する場合であっても、映像フレームに映る人物を精度良く検出できるという効果を得ることができる。その理由は、カメラ１０１の撮影領域に三次元人物モデル１０２を定義し、この定義した三次元人物モデル１０２を映像フレーム上に投影する人物モデル設定手段３と、カメラ１０１から出力される映像フレームと、映像フレームに投影された三次元人物モデル１０２とを用いて映像フレームに映る人物を検出する人物検出手段４とを備えているからである。

また、本実施の形態によれば、新たにカメラ１０１を設置して人物検出を行う場合や、カメラの設置位置や画角を変更した場合でも、直ちに、人物の検出・追跡処理を開始することが可能になるという効果を得ることができる。その理由は、カメラ１０１から出力される映像フレームを解析し、撮影領域上の位置と映像フレーム上の位置との対応関係を求めるキャリブレーション手段２を備えているからである。

更に、本実施の形態によれば、撮影領域内を移動する人物の移動軌跡を求めることができるという効果を得ることができる。その理由は、人物検出手段４により検出された各映像フレームの人物領域について、隣接する映像フレームでの検出結果と比較して同一対象と思われるものを関連付けて追跡し、その対象の前記撮影領域内での移動軌跡を決定する人物追跡手段５を備えているからである。

〔本発明の他の実施の形態〕
なお、本発明は上記した実施の形態に限定されるものではなく、種々の変形が可能である。

例えば撮影領域に三次元人物モデルを一様に設置（定義）して人物検出を行う必要はなく、事前に生成したより詳細な対象空間の３次元モデルを参照することで、三次元人物モデルを置き人物探索を行う領域を限定することが可能である。例えば、空間内に障害物が存在する場合には、これに重なる位置に人物がいることはないものとして、探索時の三次元人物モデル設置を避けて誤検出を回避できる。

また、障害物で隠蔽される位置に三次元人物モデルを配置した場合には、障害物と三次元人物モデルとの位置関係を映像フレームに射影し、人物の輪郭エッジを探索する範囲や、領域内の特徴量を取得する範囲を人物が撮影されると思しき領域に限定して、障害物領域のエッジや色の影響を回避し誤検出を抑えることが可能である。

更に、人物が撮影領域に進入する箇所が限定され得る場合には、人物を検出しない限り、その進入箇所近辺のみに人物概形モデルを設置して探索を行い、進入した人物が検出された場合には、前映像フレームでの検出位置周辺をモデル設置範囲に追加し、追跡しながら探索する構成としても良い。

本発明によれば、屋内外に設置したカメラの映像フレームにより、人物の行動を取得するシステムに広く適用できる。例えば、公共空間や店舗内の監視カメラシステムや、マーケティング向け顧客追跡システムなどの用途に用いることができる。

本発明にかかる人物検出装置１０の実施の形態の構成例を示すブロック図である。 人物検出装置１０の処理例を示すフローチャートである。 撮影領域を模式的に示した図である。 人物検出処理の一例を説明するための図である。

符号の説明

１０…人物検出装置
１…カメラ映像入力手段
２…キャリブレーション手段
３…人物モデル設定手段
４…人物検出手段
５…人物追跡手段
１００…三次元座標系
１０１…カメラ
１０２…三次元人物モデル
１０３…三次元座標系

Claims (27)

1. カメラの撮影領域に三次元人物モデルを定義し、該定義した三次元人物モデルを前記カメラから出力される映像フレーム上に投影することにより二次元輪郭モデルを生成する人物モデル設定手段と、
   前記カメラから出力された映像フレームと、前記二次元輪郭モデルとを用いて、前記映像フレームに映る人物を検出する人物検出手段とを備えたことを特徴とする人物検出装置。
2. 請求項１記載の人物検出装置において、
   前記人物モデル設定手段は、前記撮影領域上の位置と前記映像フレーム上の位置との対応関係に基づいて、前記三次元人物モデルを前記映像フレーム上に投影することを特徴とする人物検出装置。
3. 請求項２記載の人物検出装置において、
   前記カメラから出力される映像フレームを解析し、前記撮影領域上の位置と前記映像フレーム上の位置との対応関係を求めるキャリブレーション手段を更に備えたことを特徴とする人物検出装置。
4. 請求項１乃至３の何れか１項に記載の人物検出装置において、
   前記人物モデル設定手段は、前記撮影領域上の複数の位置に前記三次元人物モデルを定義することを特徴とする人物検出装置。
5. 請求項１乃至４の何れか１項に記載の人物検出装置において、
   前記人物モデル設定手段は、前記撮影領域上の障害物の設置位置を除外して前記三次元人物モデルを定義することを特徴とする人物検出装置。
6. 請求項１乃至５の何れか１項に記載の人物検出装置において、
   前記人物モデル設定手段は、前記撮影領域上の人物の進入箇所近傍のみに前記三次元人物モデルを定義し、前記人物検出手段によって人物が検出された場合は、該人物が検出された位置の周辺に三次元人物モデルを定義することを特徴とする人物検出装置。
7. 請求項１乃至６の何れか１項に記載の人物検出装置において、
   前記三次元人物モデルは、人物の頭部および胴体をそれぞれ楕円柱で表したものであることを特徴とする人物検出装置。
8. 請求項１乃至７の何れか１項に記載の人物検出装置において、
   前記人物検出手段は、前記映像フレームの画素の内の、前記二次元輪郭モデルの輪郭近傍の画素の特徴量に基づいて、前記映像フレーム中に映る人物を検出することを特徴とする人物検出装置。
9. 請求項１乃至８の何れか１項に記載の人物検出装置において、
   前記人物検出手段により検出された各映像フレーム中に映る人物について、隣接する映像フレームでの検出結果と比較して同一人物と推測されるものを関連付けて追跡し、その人物の前記撮影領域内での移動軌跡を決定する人物追跡手段を更に備えたことを特徴とする人物検出装置。
10. コンピュータが、カメラの撮影領域に三次元人物モデルを定義し、該定義した三次元人物モデルを、前記カメラから出力される映像フレーム上に投影することにより二次元輪郭モデルを生成する人物モデル設定ステップと、
    前記コンピュータが、前記カメラから出力された映像フレームと、前記二次元輪郭モデルとを用いて、前記映像フレームに映る人物を検出する人物検出ステップとを含むことを特徴とする人物検出方法。
11. 請求項１０記載の人物検出方法において、
    前記人物モデル設定ステップでは、前記撮影領域上の位置と前記映像フレーム上の位置との対応関係に基づいて、前記三次元人物モデルを前記映像フレーム上に投影することを特徴とする人物検出方法。
12. 請求項１１記載の人物検出方法において、
    前記コンピュータが、前記カメラから出力される映像フレームを解析し、前記撮影領域上の位置と前記映像フレーム上の位置との対応関係を求めるキャリブレーションステップを含むことを特徴とする人物検出方法。
13. 請求項１０乃至１２の何れか１項に記載の人物検出方法において、
    前記人物モデル設定ステップでは、前記撮影領域上の複数の位置に前記三次元人物モデルを定義することを特徴とする人物検出方法。
14. 請求項１０乃至１３の何れか１項に記載の人物検出方法において、
    前記人物モデル設定ステップでは、前記撮影領域上の障害物の設置位置を除外して前記三次元人物モデルを定義することを特徴とする人物検出方法。
15. 請求項１０乃至１４の何れか１項に記載の人物検出方法において、
    前記人物モデル設定ステップでは、前記撮影領域上の人物の進入箇所近傍のみに前記三次元人物モデルを定義し、前記人物検出手段によって人物が検出された場合は、該人物が検出された位置の周辺に三次元人物モデルを定義することを特徴とする人物検出方法。
16. 請求項１０乃至１５の何れか１項に記載の人物検出方法において、
    前記三次元人物モデルは、人物の頭部および胴体をそれぞれ楕円柱で表したものであることを特徴とする人物検出方法。
17. 請求項１０乃至１６の何れか１項に記載の人物検出方法において、
    前記人物検出ステップでは、前記映像フレームの画素の内の、前記二次元輪郭モデルの輪郭近傍の画素の特徴量に基づいて、前記映像フレーム中に映る人物を検出することを特徴とする人物検出方法。
18. 請求項１０乃至１７の何れか１項に記載の人物検出方法において、
    前記コンピュータが、前記人物検出ステップで検出された各映像フレーム中に映る人物について、隣接する映像フレームでの検出結果と比較して同一人物と推測されるものを関連付けて追跡し、その人物の前記撮影領域内での移動軌跡を決定する人物追跡ステップを含むことを特徴とする人物検出方法。
19. コンピュータを人物検出装置として機能させるためのプログラムであって、
    前記コンピュータを、
    カメラが撮影対象にしている撮影領域に三次元人物モデルを定義し、該定義した三次元人物モデルを、前記カメラから出力される映像フレーム上に投影することにより二次元輪郭モデルを生成する人物モデル設定手段、
    前記カメラから出力された映像フレームと、前記二次元輪郭モデルとを用いて、前記映像フレームに映る人物を検出する人物検出手段として機能させるためのプログラム。
20. 請求項１９記載のプログラムにおいて、
    前記人物モデル設定手段は、前記撮影領域上の位置と前記映像フレーム上の位置との対応関係に基づいて、前記三次元人物モデルを前記映像フレーム上に投影することを特徴とするプログラム。
21. 請求項２０記載のプログラムにおいて、
    前記コンピュータを、
    前記カメラから出力される映像フレームを解析し、前記撮影領域上の位置と前記映像フレーム上の位置との対応関係を求めるキャリブレーション手段として機能させるためのプログラム。
22. 請求項１９乃至２１の何れか１項に記載のプログラムにおいて、
    前記人物モデル設定手段は、前記撮影領域上の複数の位置に前記三次元人物モデルを定義することを特徴とするプログラム。
23. 請求項１９乃至２２の何れか１項に記載のプログラムにおいて、
    前記人物モデル設定手段は、前記撮影領域上の障害物の設置位置を除外して前記三次元人物モデルを定義することを特徴とするプログラム。
24. 請求項１９乃至２３の何れか１項に記載のプログラムにおいて、
    前記人物モデル設定手段は、前記撮影領域上の人物の進入箇所近傍のみに前記三次元人物モデルを定義し、前記人物検出手段によって人物が検出された場合は、該人物が検出された位置の周辺に三次元人物モデルを定義することを特徴とするプログラム。
25. 請求項１９乃至２４の何れか１項に記載のプログラムにおいて、
    前記三次元人物モデルは、人物の頭部および胴体をそれぞれ楕円柱で表したものであることを特徴とするプログラム。
26. 請求項１９乃至２５の何れか１項に記載のプログラムにおいて、
    前記人物検出手段は、前記映像フレームの画素の内の、前記二次元輪郭モデルの輪郭近傍の画素の特徴量に基づいて、前記映像フレーム中に映る人物を検出することを特徴とするプログラム。
27. 請求項１９乃至２６の何れか１項に記載のプログラムにおいて、
    前記人物検出手段により検出された各映像フレーム中に映る人物について、隣接する映像フレームでの検出結果と比較して同一人物と推測されるものを関連付けて追跡し、その人物の前記撮影領域内での移動軌跡を決定する人物追跡手段を更に備えたことを特徴とするプログラム。

Images