JP2007233523A

JP2007233523A - 非同期カメラ映像を用いた人物位置推定方法及びそのシステム

Info

Publication number: JP2007233523A
Application number: JP2006051900A
Authority: JP
Inventors: Michio Oikawa; 通雄及川; Miho Kobayashi; 美保小林
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-02-28
Filing date: 2006-02-28
Publication date: 2007-09-13

Abstract

【課題】カメラにより撮影した画像を利用して空間の人物位置を推定するシステムを安価に構築する。
【解決手段】同一人物を２台以上の非同期カメラで撮影し、参照カメラで撮影された連続する前後フレームを選択し、前後フレームの間の時刻に撮影した基準カメラと基準フレームを選択し、各フレーム画像中の人物領域を推定し、人物領域の各々から人物の頭頂部を推定し、前後フレームおよび基準フレームの各頭頂部の位置情報を用いて人物の３次元的な頭頂部位置を推定する。
【選択図】図３

Description

本発明は、非同期の複数のカメラ映像を利用し、人物の位置を推定する技術に関する。

近年の安全への意識の高まりや、カメラの低価格化などより、監視システムに対するニーズが高まってきている。また、監視目的だけでなく、カメラを用いて人物の位置情報などを収集することにより、顧客に対するサービスを向上させたり、売り上げ拡大を図りたいというニーズも増加してきている。

このような目的のためには、広範囲の情報を取得する必要があるが、広い範囲の情報を取得するためには、１台のカメラだけでカバーすることは不可能であるとともに、３次元的な位置情報を得るためには、マルチカメラによる撮影が必要となる。複数台のカメラを用いて人物の位置情報を取得するには、一般的には、各カメラの同期を取ることが必要となるが、厳密な同期は困難であったり、システムが高価になってしまったりするという課題がある。

そこで、カメラの同期を不要とするため、複数のカメラを利用せずに、１台のカメラの画像から人物位置を推定する方法として、特許文献１のように、想定する人物の身長の可能性分布を利用し、１台のカメラから人物の３次元位置を推定するための技術が開示されている。

また、非特許文献１には、同期したカメラの画像を使わずに、２台のカメラに写った位置情報を補間することにより、幾何学的に３次元位置情報を求めるための技術が述べられている。

特開２００４−３０２７００号公報 S. Shimizu, et al, "A Pseudo Stereo Vision Method for Unsynchronized Cameras", ACCV2004, pp.363-368(2004).

まず、上記特許文献１記載の方法においては、特定の場所や時間においては身長の可能性分布の精度がある程度期待できるが、一般の環境においては精度が落ちてしまうことが考えられる。また、複数のカメラに写った人物の情報から、３次元位置を求めようとする場合、従来一般的である色や形状などの特徴情報を用いたマッチング方法では、同期撮影された２台のカメラを用いる必要があり、一つのカメラに写った人物と別のカメラに写った同じ人物を同定する際には、カメラの方向により写り方が異なる場合に、同一人物と認識することができないという課題が存在する。

また、前述のように、複数カメラで完全に同期をとった撮影をすることは、コストが高くなり、非同期の複数のカメラを利用したいが、上記の非特許文献１に記載の技術では、それぞれのカメラに写っているものは一つであり、対応関係が明らかとなっていることが前提であり、非同期カメラにおいて、同一の人物を決定することが難しいという課題がある。

本発明は、複数台の非同期カメラを用いて人物の３次元空間における位置を推定する技術を特徴とする。より詳細には、本発明は、各カメラで撮影されたフレーム画像とその撮影時刻をメモリに入力し、第１のカメラで撮影された連続する２フレーム分の画像を前フレームと後フレームとして特定し、第１のカメラとは別の第２のカメラで撮影され、前フレームと後フレームとの間の撮影時刻であって後フレームの撮影時刻に最も近い時刻に撮影されたフレーム画像を基準フレームとして特定し、前フレーム、後フレームおよび基準フレームの各画像から人物が映っている領域を推定し、推定された人物領域の各々から人物の頭頂部を推定し、前フレーム、後フレームおよび基準フレームの各頭頂部の位置情報を用いて人物の３次元的な頭頂部位置を推定し、その位置情報に基づいて床面上の人物位置を表示する。

また本発明の１つの実施例によれば、撮影時刻の間隔の間に移動した人物の位置の差分から移動速度を求め、基準フレームの直前の基準フレームについて求められた３次元的な頭頂部位置および移動速度から求められた現在の基準フレームに対応する３次元的な頭頂部位置と、現在推定した３次元的な頭頂部位置との誤差を求め、その誤差を用いて現在の３次元的な頭頂部位置の近傍に人物が存在する可能性を求める。

本発明により、複数台のカメラを用い、広範囲の撮影を行うような場合にも、安価な非同期カメラを使うことができ、低コストで人物位置を推定することができるという効果がある。また、本発明によれば、誤差はあるものの人物のおよその位置を推定して確認することができるという効果がある。さらに、頭頂部位置を利用することによって、足元の情報を用いる場合よりもテーブルや棚などの障害物で画像を取得できないことが少なくなるため、安定的に人物位置を求めることが可能となる。

小売店などで顧客などの人物の位置情報を取得することを想定し、複数の非同期カメラを用いて建物内の人物位置を推定するための方法について、以下の実施例により実現方法を説明する。

図１は、本発明を実現する１実施例のシステム構成図である。空間を撮影する複数のカメラとして有線カメラ１−１から有線カメラ１−ｍの有線カメラ群１が撮影した映像を、ネットワーク７を介して録画装置９に送り、録画装置９に蓄積する。また、カメラは無線カメラでもよく、無線カメラ３−１から無線カメラ３−ｎの無線カメラ群３が撮影した映像を、無線アクセスポイント５を介しネットワーク７を経由して録画装置９に送り、録画装置９に蓄積する。なお、無線アクセスポイント５は複数存在してもよい。画像処理装置１１は、録画装置９に蓄積された撮影画像を利用して人物位置推定を行い、その結果を表示装置１３に表示する。なお、録画装置９、画像処理装置１１および表示装置１３は、１台のコンピュータとして一体のものであってもよい。

画像処理装置１１の内部構成について図２を用いてさらに説明する。画像処理装置１１は、プロセッサおよびメモリを備えるコンピュータであり、画像メモリ１５、カメラパラメータ記憶部１７、制御部１９および入出力部２６を有する。画像メモリ１５およびカメラパラメータ記憶部１７は、メモリ上に設けられる。制御部１９は、基準／参照カメラ選択部２０、人物領域推定部２１、頭頂部位置推定部２２、３次元頭頂部位置推定部２３、移動量推定部２４および存在可能性推定部２５の各プログラムを有する。制御部１９は、メモリ上に格納されるこれらプログラムをプロセッサにより実行する。また制御部１９のメモリは、これらプログラムへの入力データおよび処理結果を一時的に格納する。画像処理装置１１は、録画装置９、表示装置１３および入力装置２７と接続する。入出力部２６は、これらの装置と画像処理装置１１のメモリとの間のデータの入出力を制御する。

画像処理装置１１は、入出力部２６を介し、録画装置９に記録された画像データを取得し、画像メモリ１５に記憶する。また、カメラパラメータ記憶部１７は、事前に求められた各カメラの画角、画素数などの内部パラメータや、空間におけるカメラの位置などの外部パラメータを記憶する。画角とは、カメラが撮像可能な視野角であり、水平方向の画角および垂直方向の画角を含む。制御部１９は、格納されるプログラムを実行することにより、録画装置９に蓄積された各フレーム画像とその撮影時刻を画像メモリ１５に入力して一時保存し、カメラパラメータ記憶部１７に記憶された情報などを用いてフレーム中の人物画像を解析し、３次元空間における人物位置の推定を行う。各フレーム画像には、その画像を撮影したカメラの識別子が付加されている。

続いて、図１の構成を用いて人物位置を推定する例について、図４のような３台のカメラで室内を撮影している環境を想定し、人物位置推定を行う方法について、図５を用いて説明する。図４は、室内を上から見たときのカメラ位置と撮影範囲を示した平面図である。カメラＡ（図中３０Ａ）、カメラＢ（図中３０Ｂ）、カメラＣ（図中３０Ｃ）により撮影されない空間が領域３３、１台のカメラのみで撮影される空間が領域３４、２台のカメラで撮影される空間が領域３５、３台のカメラで撮影される空間が領域３６である。各カメラの位置、方向、画角は事前に調べられているものとし、３台のカメラを組み合わせたときの撮影領域の重なりについての情報は事前に既知であるとする。また、撮影する空間の形状や大きさなどの情報も既知であるとする。ここで、室内を撮影することを想定する場合には、入口と出口付近の空間については、少なくとも２台以上のカメラで撮影するようにカメラを配置することが望ましい。

カメラＡ〜ＣはＷｅｂカメラとして市販されているものを利用することを想定する。これらのカメラは同期をとることはできないが、外部から内部時計の時刻をセットすることが可能で、カメラＡ〜Ｃの内部時計は一致しているものとする。そして、各カメラで撮影された画像は、録画装置９に撮影時刻と共に記録される。また、このカメラは、撮影した画像を圧縮し、図１に示すように、撮影画像をネットワーク７を介して録画装置９へ送り、蓄積するが、撮影する対象により圧縮に必要な時間が異なるため、各カメラの各フレーム画像の撮影時刻は異なることを想定する。例えば、図５のように、カメラＡのフレーム画像の撮影時刻は４０、４１、カメラＢの撮影時刻は４２、４３、４４、カメラＣの撮影時刻は４５、４６のようになっているものとする。

このような想定のもとに図３のフローチャートに沿って処理の流れを説明する。まず、制御部１９は、入力装置２７から入力された人物位置推定結果の表示を開始する命令をメモリに入力する（ステップＳ１００）。制御部１９は、表示終了命令が入力されるまで、以下の人物位置推定処理を繰り返し、終了命令が入力されれば処理を終了する（ステップＳ１０４）。基準／参照カメラ選択部２０は、画像メモリ１５に入力されたフレーム画像に対応するカメラの識別子を参照し、人物位置推定処理の最初に、録画装置９に連続して２フレーム分画像が記録されたカメラを参照カメラとする（ステップＳ１０５）。例えば図５のような場合に、撮影時刻t-τ1(図中４２)の時点で表示開始命令が入力されたとすると、最初に２フレーム分の画像が録画装置９に蓄積されたカメラＢを参照カメラとする。そして、基準／参照カメラ選択部２０は、その２つのフレームを前後フレームとし、時刻t-τ1とt+τ2(図中４３)との間で最も時刻t+τ2に近い時刻tに撮影したカメラを基準カメラとし、そのフレームを基準フレームとする（ステップＳ１０６）。例えば図５の場合には、カメラＡが基準カメラとなり、時刻t(図中４０)のフレームが基準フレームとなる。

次に、人物領域推定部２１は、画像メモリ１５中の基準フレーム画像および前後フレーム画像を参照し、これらの画像の中から人物が写っている領域を推定する（ステップＳ１１２）。推定の方法としては、人物の写っていないときの画像を背景として記憶しておき、背景差分により人物領域を推定すれば良いが、サーモセンサの情報を利用するなど、他の方法を用いてもよい。次に、頭頂部位置推定部２２は、人物領域の中から、頭頂部位置を推定する（ステップＳ１１４）。頭頂部は人物領域中の最も高い位置として推定すればよい。

次に、３次元頭頂部位置推定部２３は、各フレーム画像で推定された頭頂部位置から、３次元的な頭頂部位置を推定する（ステップＳ１１６）。その方法について図６を用いて説明する。カメラＡの光学中心がＣ１、カメラＢの光学中心がＣ２とし、時刻tに撮影したカメラＡのフレーム画像５１中に写った人物の頭頂部が点p、カメラＢにより時刻t-τ1に撮影したフレーム画像５２中に写った人物の頭頂部が点q、時刻t+τ2に撮影したフレーム画像５３に写った人物の頭頂部が点rであるとする。図６では、各フレーム画像は、カメラの位置、方向、画角から、３次元空間における投影面として配置してある。このとき、撮影間隔がそれほど長くないことを想定すると、人物の頭頂部位置の高さはその間に変わらないと近似することが可能であり、カメラＢの光学中心Ｃ２と点q、点rとからなる平面と、カメラＡの光学中心Ｃ１と点ｐを結ぶ直線の交点Ｐを人物の３次元的な頭頂部位置であると推定することが可能である。ここで、推定された３次元位置から、人物の身長と床面上の人物位置（頭頂部位置からの垂線が床面と交わる位置）を求め、身長が事前に想定した人物らしい身長、例えば大人を想定すれば150〜200cmの範囲に入っているか、また、撮影空間の情報、すなわち、部屋の広さや、机、棚などから、人の存在し得ない領域であるかどうかの判定を行い、正しそうな結果であれば人物位置として採用し、正しくなさそうな結果であれば、採用しないとする。

カメラの位置と角度からカメラの光学中心を通る３次元の主軸の式を計算することができ、この主軸は、フレームの中心である原点(0,0)を通る３次元空間上の直線に一致するはずである。またフレームのX軸とフレーム終端の交点およびY軸とフレーム終端の交点が各々水平方向の画角を示す直線および垂直方向の画角を示す直線に対応する。従ってカメラＡで撮影した２次元フレーム上の任意の点p(X,Y)に対応する３次元空間上の直線は、(X,Y)の比例配分に応じて光学中心Ｃ１を通る直線の式で表現される。同様にカメラＢで撮影した２次元フレーム上の点q,rもそれぞれ光学中心Ｃ２を通る３次元空間上の２本の直線の式で表現される。光学中心Ｃ２とこれら２本の直線によって形成される３次元空間上の平面と、光学中心Ｃ１を通る上記の直線との交点がＰ（ｘ，ｙ，ｚ）となる。

３次元頭頂部位置推定部２３は、カメラパラメータ記憶部１７に格納されるカメラパラメータを用いて点p(X,Y)に対応する３次元空間上の直線の式を算出することができる。３次元頭頂部位置推定部２３は、フレーム画像の画素数から点p,q,rの各々の２次元座標値を求め、カメラの位置、角度、画角の情報を用いて各２次元座標値から３つの直線の式を求め、Ｃ２を通る２本の直線の式から３次元空間上の平面の式を求め、Ｃ１を通る直線の式とこの平面の式とから点Ｐの座標値を求める。３次元頭頂部位置推定部２３は、このようにして計算の途中結果をメモリに一時記憶しながら計算を進め、算出した点Ｐの座標値をメモリに一時保存する。

もし人物が移動せず、２次元フレーム上の点q,rがほぼ同一位置にあれば、３次元空間上の直線は１本となるから、カメラＡによる直線がカメラＢによる直線と最接近したところの点を点Ｐの位置とすればよい。

そして、実施例１の場合にはＳ１１６からＳ１２０に移り、制御部１９は、上記の方法により推定された床面上の人物位置を表示装置１３に表示する（ステップＳ１２０）。人物位置表示終了命令がない場合にはステップＳ１０５へ戻り、時刻t以降で同一カメラで２フレームの画像が録画装置９に記録され、かつ、その２フレームの撮影間隔内に別のカメラの撮影フレームが存在する条件をチェックし、参照カメラを決定し、続いてステップＳ１０６により基準カメラと基準フレームを決定する。例えば図５の場合には、時刻４１のフレーム画像を取得した時点でカメラＡが参照カメラとなり、最も時刻４１に近い時刻t+τ2（図中４３）に撮影したカメラＢが基準カメラとなり、そのフレームが基準フレームとなる。

実施例１によれば、同期していない複数のカメラを用いても、人物位置を推定することが可能であり、システムを安価に構築することが可能となる。

実施例１の場合、人物の３次元的な頭頂部位置を推定することは可能であるが、この位置情報には様々な誤差が含まれている。例えば、カメラの光学中心位置、撮影時刻、画像中から推定された人物領域、頭頂部位置などに、それぞれ誤差が存在する。そこで、実施例２では図３のフローチャートにおいて、人物の移動速度を推定するステップ（Ｓ１１７）と、人物位置と移動速度と時間の関係を用いて、人物の空間的な存在可能性について推定するステップ（Ｓ１１８）を追加する。

存在可能性の推定方法について図６を用いて説明する。まず、実施例1の方法により、時刻tにおける人物の３次元頭頂部位置Ｐが求まる。すると、人物の身長が求まり、前述のように、撮影間隔が十分短いとして身長が変わらないことを想定すると、時刻t-τ1, t+τ2における３次元頭頂部位置Ｑ、Ｒについて、カメラＢの光学中心C２とq、Ｃ２とrを結ぶそれぞれの直線上で、床面からの距離が身長に一致する点として求めることが可能である。この結果を利用し、撮影時刻の間隔が十分短いことから等速直線運動を仮定し、移動量推定部２４は、ＱからＰへの移動速度(移動方向と速さ)とＰからＲへの移動速度の平均として、点Ｐの移動速度を示すベクトルν_ｐを求める（ステップＳ１１７）。ν_ｐは、速度のｘ成分とｙ成分をもち、ｚ成分をもたない。求めた位置と移動速度は、次の時刻における人物の存在可能性推定が終了するまでメモリに記憶しておく。

次に、存在可能性推定部２５は、ステップＳ１１８において人物の２次元空間的な存在可能性（存在確率）について推定する。前述のように推定された人物位置は点Ｐを中心として、２次元空間的に存在する可能性がガウス分布状になると仮定し、さらにガウス分布の分散σは前時刻の人物位置と移動速度から推定した位置との誤差に比例させるものとする。例えば、位置Ｐ_ｆ（ｘ，ｙ）に人物が存在する可能性の評価値をＦ（Ｐ_ｆ）、Ｐ_ｆの近傍空間をＳとして、以下のように求める。

ここで点Ｐは、位置座標値のうちｘ成分とｙ成分のみをとるものとし、Ｐ_ｆとＰとの差の絶対値の２乗は、Ｐ_ｆとＰ間の距離の２乗を表すものとする。また時刻tの直前のフレーム時刻t'における人物位置の位置Ｐ’と移動速度としてのベクトルν_ｐ’がメモリに記憶されている場合、数１におけるσは以下に示す数２のように求めるとし、Ｐ’とベクトルν_ｐ’が記憶されていない場合には、デフォルトのσとしてある範囲の値をとる所定値を用いるとする。

ここでＡは比例定数であり、２つの‖は距離を算出することを示す。σは、点Ｐと前時刻の位置Ｐ’およびその移動速度から推定した位置との距離の差に比例することを示す。

存在可能性推定部２５は、ステップＳ１２０において、人物の存在可能性Ｆ（Ｐ_ｆ）を表示する。

以上の方法により、誤差を含む人物位置情報について、空間的な存在可能性分布により、あいまい性を許容した表示を行うことが可能となる。

これまでの実施例では、カメラ画像に一人の人物が写っていることを想定していたため、人が少ない環境やカメラの画角が狭い環境の場合での利用にとどまるが、より一般的な環境に適応可能な複数の人物が写っている場合の別の実施例について図７，８，９を用いて説明する。

図７のように、カメラＡのフレーム画像５１に二人の人物が写っており、それぞれの頭頂部位置がp1, p2であるとする。同様に、カメラＡのフレーム画像５２には人物の頭頂部q1,q2、フレーム画像５３には人物の頭頂部r1,r2が写っているものとする。このとき、各人物像はどれとどれが同一人物であるかは分からないと想定すると、p1と同一の頭頂部位置である可能性は、(q1,r1), (q1,r2), (q2, r1), (q2,r2)の４通りが存在する。同様にp2と同一の頭頂部の可能性も４通り考えられる。

このとき、組み合わせの８通りの全パターンについて、二人の人物の３次元頭頂部位置Ｐ１，Ｐ２を求める。その結果求められた身長と床面上の位置を調べ、もっともらしい結果を採用する。例えば、図８のようにp1と対応する位置として、q1,r2を採用した場合に求められた人物の３次元頭頂部位置Ｐ１（１）は、想定する身長レンジより小さいため採用せず、図９のように、p1と対応する位置として、q1,r1を用いた場合の３次元頭頂部位置Ｐ１（２）が想定身長レンジ内かつ、想定空間内ということで採用するものとする。

３次元頭頂部位置推定部２３は、Ｓ１１６において、点p1,q1,r1の各々の２次元座標値を用いて上記のような処理によって３次元空間上の位置Ｐ１（１）を求める。同様にして他の３通りのパターンについても位置Ｐ１（２），Ｐ１（３），Ｐ１（４）を求める。３次元頭頂部位置推定部２３は、位置Ｐ１（１）〜Ｐ１（４）について各々のｚ成分を身長として求め、これら身長の中で最も身長レンジに近い位置を点Ｐ１としてその座標値をメモリに保存する。３次元頭頂部位置推定部２３は、同様に点Ｐ２についても３次元空間上の位置Ｐ２（１），Ｐ２（２），Ｐ２（３），Ｐ２（４）を求め、そのｚ成分が最も身長レンジに近い位置を点Ｐ２としてその座標値をメモリに保存する。

なお想定する身長レンジ内かつ想定空間内の結果が複数存在する可能性が存在する。そのような場合には、撮影場所や時間の条件から撮影空間に存在しそうな人物を想定し、想定身長を分布として定義するものとする。例えば、ビジネス向け展示会であれば、大人の平均身長を最大とする分布を定義し、おもちゃ売り場であれば、子供の平均身長と親の平均身長をピークとする分布を定義するようにすればよい。そして、上記のように求められた人物の３次元頭頂部位置から求まる身長情報から、最も妥当な結果を人物位置として採用するようにすればよい。

以上のように、本実施例によれば、複数の人物がカメラ画像に写っていても、人物位置の推定を行うことが可能となる。

実施例３では、画像に写る人物の数が増えると、調べなければならない組み合わせの数が指数的に増加してしまう。そこで、調べるべき組み合わせの数を減らす方法について、図７の例を用いて説明する。

まず、参照カメラの前後フレーム画像において、頭頂部位置q1, q2, r1, r2を求める。次に、参照カメラの前フレーム５２の画像中からq1を選択する。ここで、撮影空間の特性に応じ、人間の最大移動速度を想定し、例えば早足程度の1.7m/s程度を想定する。すると、撮影画像中で最も移動量が大きくなるのは人がカメラの投影面と平行に移動した場合となり、フレーム画像５３との撮影間隔分だけのフレーム内での移動量Lを求めることができる。そこでフレーム画像５３については、点q1を中心とした半径Lの範囲内に存在する頭頂部のみを対象として組み合わせを考えればよいこととなる。

３次元頭頂部位置推定部２３は、フレーム画像５３について、点q1から点r1,r2,…の各々までのフレーム上の距離を計算し、距離L内に存在する頭頂部位置ri,rj,…をすべて求める。フレーム画像５２内の点q2など他の点についても同様に距離L内に存在する頭頂部位置rk,rl,…をすべて求める。そうすると、点p1と同一の頭頂部位置である可能性は、(q1,ri),(q1,rj),(q1,…),(q2,rk),(q2,rl),(q2,…),…の組合せのパターンとなる。３次元頭頂部位置推定部２３は、この結果の人物の位置情報をメモリに一時保存し、実施例３を適用して３次元空間上の位置Ｐ１，Ｐ２，．．．を求め、その計算結果の座標値をメモリに保存する。

本実施例を用いることにより、人物の３次元位置を推定する計算量を低減することが可能となり、推定までの時間を短縮することが可能となる。

次に、実施例２のように、前の時刻t'における複数の人物位置と速度が推定されている場合に時刻tにおける人物位置を推定する実施例について図１０を用いて説明する。図１０は、図３のステップＳ１１６、Ｓ１１７の部分について、本実施例に合わせて詳細化したものとなっている。

まず、実施例２のように、ステップＳ１１４では、基準カメラの基準フレーム画像と参照カメラの前後フレーム画像内のすべての人物の頭頂部位置を推定しておく。前の時刻t'において推定された人物数がｍ人のとき、３次元空間上で推定された位置をＰ'（１）〜Ｐ'（ｍ）、速度ベクトルをν_{ｐ’（１）}〜ν_{ｐ’（ｍ）}とする。この結果を利用し、３次元頭頂部位置推定部２３は、現在の時刻tにおける人物位置Ｐａ（１）〜Ｐａ（ｍ）を、これまでと同様に等速直線運動を仮定して、以下の数３を用いて推定する（ステップＳ２００）。

ただし、Ｐａ（ｋ）およびＰ’（ｋ）は、３次元空間の座標値のうち、ｘ成分とｙ成分のみとるものとする。

次に、３次元頭頂部位置推定部２３は、実施例３と同様に、ステップＳ１１４でもとめた基準フレーム画像と前後フレーム画像内の頭頂部位置から、すべての組み合わせを想定して、３次元的な仮の頭頂部位置を算出する（ステップＳ２０２）。次に、３次元頭頂部位置推定部２３は、想定する身長レンジと床面との関係により、妥当性を調べ、不適切な組み合わせは削除し、仮の３次元頭頂部位置Ｐ（１）〜Ｐ（ｎ）を求める（ステップＳ２０４）。ここでｎは、ｍ個のＰａのうち不適切な組合せを除いた残りの個数であり、ｍ≧ｎである。

次に、３次元頭頂部位置推定部２３は、Ｓ２００の人物位置の情報とＳ２０４の位置情報を用いて時刻tにおける人物位置を確定する（ステップＳ２０６）。ここでは、前の時刻t'から推定された人物位置Ｐａ（１）〜Ｐａ（ｍ）と時刻tの情報から求められた仮の３次元頭頂部位置Ｐ（１）〜Ｐ（ｎ）のｍ×ｎ個のペアを作成し、各ペアについて２つの位置間の距離を求め、あらかじめ定めたしきい値以上のペアを除外する。続いて、残ったペアのうち、距離の最も近い組み合わせを採用し、そのときの時刻tにおける人物の仮の３次元頭頂部位置情報Ｐ（ｉ）；ｉ＝１〜ｎを人物位置として確定する。そして、確定したＰ（ｉ）を仮の３次元頭頂部位置Ｐ（１）〜Ｐ（ｎ）から削除する。そして残った仮の３次元頭頂部位置情報と前の時刻t'から推定された人物位置のペアから最も近い組み合わせを採用して３次元頭頂部位置情報として確定する処理を繰り返す。この処理は、まだ仮のままで確定していない３次元頭頂部位置Ｐ（ｉ）か、前の時刻t'から推定された人物位置Ｐａ（ｊ）がなくなるまで繰り返す。

ここでもし、仮の３次元頭頂部位置が余ってしまった場合、時刻tに新たに撮影空間に人物が入ってきたと考え、仮の３次元頭頂部位置情報を確定する。また、もし前の時刻t'から推定された人物位置Ｐａ（ｊ）が余ってしまった場合には、Ｐａ（ｊ）が基準カメラの撮影範囲かを求め、撮影範囲であれば、前の時刻t'の時の推定が誤っていたものと考え、時刻tの人物位置としては登録しないこととする。撮影範囲外であれば、人物が基準カメラの撮影範囲外に移動したと考え、Ｐａ（ｊ）を時刻tの人物位置として登録する。

続いて、移動量推定部２４は、Ｓ２０６で時刻tの人物位置として確定された各点について、実施例２と同様の方法により、時刻tにおける人物の移動速度を求める（ステップS２０８）。但し、Ｐａ（ｊ）を人物位置として登録した場合には、速度情報は時刻t'の情報を用いるものとする。また、新規に登録された人物位置については、速度0とする。

そして、図３のステップＳ１１８へと進み、実施例３と同様に人物位置の推定結果を表示する。

以上、本実施例によれば、基準カメラと参照カメラに複数の人物が写っていた場合の同一人物であるというマッチングを画像の色や形状から行わなくても、時間的な位置情報を利用することにより行うことが可能となり、実環境における位置情報の精度を向上させることが可能である。

次に、実施例５において仮の３次元頭頂部位置を求めるステップＳ２０２について、計算する組み合わせ数を、前の時刻t'の情報を用いて削減する実施例を示す。

実施例５のＳ２００と同様に前の時刻t'において推定された人物数がｍ人、推定された位置をＰ'（１）〜Ｐ'（ｍ）、速度ベクトルをν_{ｐ’（１）}〜ν_{ｐ’（ｍ）}とする。また、カメラの前フレーム画像の撮影時刻をs1, 後フレーム画像の撮影時刻をs2とする。すると、時刻t'の推定情報より、時刻s1における推定３次元頭頂部位置Ｑａ（１）〜Ｑａ（ｍ）, 時刻s2における推定３次元頭頂部位置Ｒａ（１）〜Ｒａ（ｍ）を、以下の数４により求めることが可能である。

次に、３次元頭頂部位置推定部２３は、推定３次元頭頂部位置Ｑａ（１）〜Ｑａ（ｍ）を参照カメラで撮影したと想定して、カメラの位置、方向、画角の情報より、フレーム画像上に投影した位置qa(1)〜qa(m)を求める。同様に、３次元頭頂部位置推定部２３は、Ｒａ（１）〜Ｒａ（ｍ）の参照カメラ画像上での位置ra(1)〜ra(m)を求める。さらに同様に、３次元頭頂部位置推定部２３は、数３により求められたＰａ（１）〜Ｐａ（ｍ）の基準フレーム画像上での時刻t'の情報からの推定位置pa(1)〜pa(m)を求める。

次に、３次元頭頂部位置推定部２３は、基準フレーム画像、前後フレーム画像内の頭頂部位置をすべて求める。基準フレーム画像内の頭頂部位置をp(1)〜p(a), 前フレーム画像内の頭頂部位置をq(1)〜q(b)、後フレーム画像内の頭頂部位置をr(1)〜r(c)とする。

そして、頭頂部位置p(1)からp(a)について、あらかじめ指定した半径L1の範囲内に、時刻t'の情報からの推定位置pa(1)〜pa(m)が存在するかを調べる。その範囲内に存在する位置がpa(u)であったとき（複数存在しても良い）、前フレーム画像については、qa(u)の周囲半径L2の中に存在する頭頂部位置q(複数でよい)と、後フレーム画像については、ra(u)の周囲半径L3の中に存在する頭頂部位置r（複数でよい）とを３次元位置を求める組み合わせとする。

もし、頭頂部位置p(1)〜p(a)に対応するq,rの組み合わせが存在しない場合には、ステレオ視できる範囲に人物が存在しないと想定し、３次元頭頂部位置の計算には用いないものとする。

以上の本実施例により、画像に写った人物の数が多い場合には、組み合わせ計算を減らすことが可能となり、人物位置推定を高速化することが可能となる。

ここでは、基準カメラと参照カメラの両方で撮影している撮影領域以外に人物が存在する場合の実施例について説明する。

例えば図４のようなカメラ配置で部屋３８を撮影している状況を想定する。そして、時刻t'の時点でカメラＡとカメラＢを用いて人物位置を求めた結果が存在するとする。次の時刻tの時点ではカメラＢを基準カメラ、カメラＣを参照カメラとして人物位置情報を求めるとする。すると、時刻tの時点ではカメラＢ，Ｃの撮影範囲内に存在する人物位置の情報しか得ることが出来ない。ここで、時刻t'における人物位置と速度の情報を用いることにより、カメラＢ，Ｃの撮影範囲外の人物位置推定を行うこととする。この際、人物は等速直線運動を行うことと推定する。また、空間的な制約も人物の移動の際に考慮し、移動不可能な領域との境界で反射運動を想定したり、境界領域との距離に応じて速度を落とすとともに、移動方向を移動不可能領域から離れる向きに変更するような想定をしたりしてもよい。

ここでは、これまでの実施例により推定された、人物の３次元頭頂部位置と空間的な存在可能性分布の表示方法の実施例について、図１１ａ〜図１１ｃを用いて説明する。

図１１ａは、時刻t1における人物の存在可能性分布を表示した例で、左側は、撮影している空間（例えば部屋）の床面を格子状に区切ったブロック（図中６０）として表示し、その上に、求められた人物の３次元頭頂部位置の垂線と床面が交わる点を中心として、人物の存在可能性分布を濃淡で表現（図中６１）している。右の図は６２の点線位置（ピーク位置）における人物の存在可能性分布のプロファイル６３である。左側の存在可能性分布は、人物の存在可能性が高いほど濃く表示される。

同様に、図１１ｂは時刻ｔ２、図１１ｃは時刻ｔ３における人物の存在可能性分布（図中６４、６７）を示し、点線６５、６８における存在可能性分布プロファイルがそれぞれ６６、６９である。

なお、存在可能性分布は、可能性に応じた色の違いで表現してもよく、可能性の高いものを赤、低いものを青と表現するなどしてもよい。

以上のような表示方法により、人物の移動の様子について、位置推定の誤差を含んだ表示が可能となる。

次に、人物の３次元頭頂部位置と空間的な存在可能性分布の別の表示方法の実施例について、図１２ａ〜図１２ｃを用いて説明する。人物の３次元頭頂部位置と空間的な存在可能性分布については、図１１と同じものを用いるとする。

本実施例では、床面を格子状に区切った各ブロック内の存在可能性の評価値を積分した値に比例したブロックの輝度値として、存在可能性について表示する。例えば時刻t1においては、点線７１の位置の存在可能性プロファイルは図１２ａ右図のようになる。このときブロック７０の輝度は、このブロック中の存在可能性評価値の積分値７２に比例する値として表示させる。この図は、存在可能性が高いほど斜線の密度が大きくなるように表示している。同様に時刻t2については図１２ｂのように、ブロック７４、７５の輝度値は、点線７３における存在可能性プロファイルに示したブロック中の積分値７６、７７の値に比例させ、時刻t3のときには、図１２ｃのように、ブロック７８の輝度値は、点線７９における存在可能性プロファイル中に示したブロック中の積分値８０の値に比例させることにより表示する。

以上の本実施例によれば、注目する場所における人物の存在可能性を可視化することが可能であり、一つのブロック内に複数の人物が存在するような場合にも人数に応じた存在可能性を表示することが可能である。

さらに、人物の３次元頭頂部位置と空間的な存在可能性分布の別の表示方法の実施例について、図１３ａ〜図１３ｃを用いて説明する。人物の３次元頭頂部位置と空間的な存在可能性分布については、図１１と同じものを用いるとする。

本実施例では、実施例９と同様に、床面を格子状に区切った各ブロック内の輝度として人物の存在可能性を表示するが、ブロック内の存在可能性評価値の最大値に比例した輝度として表示を行う。例えば、時刻t1の場合、図１３ａのように、点線８２の存在可能性プロファイル上に示したようなブロック内の最大値８３に比例するように、ブロック８１の輝度を決定する。同様に、時刻t2では図１３ｂのように、点線８６における存在可能性プロファイル上にしめした８７，８８の値により、ブロック８４、８５の輝度を決定し、時刻t3においては、点線９０における存在可能性プロファイル上に示した評価値９１に比例するように、ブロック８９の輝度値を決定する。

本実施例の実施例９と比べた利点は、人物が存在している可能性が最も高いブロックが常にはっきりと表示されることにある。例えば、図１２を見てみると、時刻t1,t3における図１２ａ，図１２ｂの図ではどのブロックにいる可能性が高いかということがはっきりしているが、時刻t2における図１２ｂの図では全体に輝度が低く表示され、ぼやけた表示となってしまっている。これに対し、本実施例では、図１３に示したように、人物が存在していることがどの時刻においてもはっきり表示することが可能となっている。

但し、本実施例を用いた場合には、一つのブロックに複数の人物が存在することを表現することが困難となるため、ブロックのサイズを一人の人間が存在する程度の小さな領域にするとよい。

次に、上記実施例により人物の空間的な存在可能性分布の表示結果を利用する実施例について図１４、１５を用いて説明する。

図１４は、スーパーなどの室内を撮影空間と想定した場合の例である。実施例１０の方法により作成した人物の空間的な存在可能性分布９５を、空間の物理的な棚やテーブルなどの配置９６に重ね合わせたものとして、店内人物存在可能性分布９７として表示する。

図１５に店内人物存在可能性分布９７の利用法を示す。店内人物存在可能性分布９７を表示装置１３に表示し、店のスタッフ１００が時間的な変化を観察し、１０１に示すようなサービス創出に利用する。

このような表示方法は、どの空間に、どの時刻にどのくらい人が存在したかということを直感的に把握できるとともに、自動的にデータを収集することが可能である。例えば、レジの手前の空間における人物の存在可能性を監視（自動的でも、人が監視してもよい）することにより、人の存在が多くなったときには、スタッフを配置し（図中１０３）、新しくレジを開けて、混雑を緩和する（図中１０４）ことも可能である。

本発明におけるシステムの構成例を示した図である。画像処理装置の内部構成図である。画像処理装置の処理手順を示すフローチャートである。撮影空間とカメラの配置例を示した図である。カメラの撮影時刻の例を示した図である。２台のカメラの撮影画像から人物の３次元頭頂部を求める方法を説明する図である。カメラの撮影画像に複数の人物が写っている場合の位置関係を示す図である。誤った人物の３次元頭頂部位置を推定してしまう例を示す図である。正しく人物の３次元頭頂部位置を推定した例を示す図である。図３のフローチャートの一部を詳細化した処理手順である。人物の存在可能性分布を表示した１例である。人物の存在可能性分布を表示した１例（続き）である。人物の存在可能性分布を表示した１例（続き）である。積分を利用し、床をブロック化して人物の存在可能性分布を表示した例である。積分を利用し、床をブロック化して人物の存在可能性分布を表示した例（続き）である。積分を利用し、床をブロック化して人物の存在可能性分布を表示した例（続き）である。最大値を利用し、床をブロック化して人物の存在可能性分布を表示する別の例である。最大値を利用し、床をブロック化して人物の存在可能性分布を表示する別の例（続き）である。最大値を利用し、床をブロック化して人物の存在可能性分布を表示する別の例（続き）である。店内の人物存在可能性分布を表示する例である。表示された店内人物存在可能性分布を利用し、サービスを創出する例である。

符号の説明

１：有線カメラ群、３：無線カメラ群、９：録画装置、１１：画像処理装置、１３：表示装置、３０：カメラ

Claims

同一人物を２台以上の非同期カメラで撮影された画像を用いて人物の３次元空間における位置を推定する画像処理装置による方法であって、
各カメラで撮影されたフレーム画像とその撮影時刻をメモリに入力するステップと、
第１のカメラで撮影された連続する２フレーム分の画像を前フレームと後フレームとして特定するステップと、
第１のカメラとは別の第２のカメラで撮影され、前記前フレームと前記後フレームとの間の撮影時刻であって前記後フレームの撮影時刻に最も近い時刻に撮影されたフレーム画像を基準フレームとして特定するステップと、
前記の前フレーム、後フレームおよび基準フレームの各画像から人物が映っている領域を推定するステップと、
推定された人物領域の各々から人物の頭頂部を推定するステップと、
前記前フレーム上の頭頂部に対応し前記第１のカメラの光学中心を通る３次元空間上の第１の直線および前記後フレーム上の頭頂部に対応し前記第１のカメラの光学中心を通る３次元空間上の第２の直線によって形成される３次元空間上の平面あるいは同一直線と、前記基準フレーム上の頭頂部に対応し前記第２のカメラの光学中心を通る３次元空間上の直線との交点あるいは最接近点を計算し、人物の３次元的な頭頂部位置を推定するステップと，
前記３次元的な頭頂部位置の情報に基づいて床面上の人物位置を表示するステップとを有することを特徴とする人物位置推定方法。
さらに、前記３次元的な頭頂部位置から前記人物の身長を求めるステップと、
前記身長が変わらないとして前記第１の直線上の３次元的な第１の位置と、前記第２の直線上の３次元的な第２の位置とを求め、撮影時刻の間隔から前記基準フレームの撮影時刻における前記人物の移動速度を求めるステップと、
前記基準フレームの直前の基準フレームについて求められた３次元的な頭頂部位置および前記移動速度から求められた現在の前記基準フレームに対応する３次元的な頭頂部位置と、現在推定した前記３次元的な頭頂部位置との誤差を求めるステップと、
前記誤差を用いて現在の３次元的な頭頂部位置の近傍に人物が存在する可能性を求めるステップとを有することを特徴とする請求項１記載の人物位置推定方法。
前記の前フレーム、後フレームおよび基準フレームの各々に複数の人物が写っている場合に、
前記基準フレーム上の１人の人物と、対応する前記前フレーム上のいずれかの人物および前記後フレーム上のいずれかの人物との各組み合わせの各々について前記３次元的な頭頂部位置を推定するステップと、
前記組合せの各々について前記３次元的な頭頂部位置から身長を求めるステップと、
前記身長が最も身長レンジに近い組合せの前記３次元的な頭頂部位置を前記基準フレーム上の人物の位置と推定するステップとを有することを特徴とする請求項１記載の人物位置推定方法。
前記前フレーム上のいずれかの人物の頭頂部の位置と前記後フレーム上のいずれかの人物との頭頂部の位置のフレーム上の距離を計算するステップと、
前記前フレーム上の人物の撮影時刻間隔における最大移動可能距離を越える後フレーム上の人物をもつ前記組合せを３次元的な頭頂部位置の推定候補から除外するステップとを有することを特徴とする請求項３記載の人物位置推定方法。
前記身長が所定の身長レンジに入る組合せの各々について前記３次元的な頭頂部位置を推定し、さらに、
前記身長が変わらないとして前記第１の直線上の３次元的な第１の位置と、前記第２の直線上の３次元的な第２の位置とを求め、撮影時刻の間隔から前記基準フレームの撮影時刻における前記人物の移動速度を求めるステップと、
前記基準フレームの直前の基準フレームについて求められた３次元的な頭頂部位置および前記移動速度から現在の前記基準フレームに対応する第２の３次元的な頭頂部位置を各人物について求めるステップと、
推定された前記３次元的な頭頂部位置のうち、前記第２の３次元的な頭頂部位置との距離が最小の位置を人物位置として確定するステップとを有することを特徴とする請求項３記載の人物位置推定方法。
前記床面上の人物位置の表示に際し、前記人物が存在する可能性の大きさに応じた濃淡により人物の存在可能性を表示することを特徴とする請求項２記載の人物位置推定方法。
前記床面上の人物位置の表示に際し、前記床面を各々が同一サイズの複数のブロックに分割し、前記人物が存在する可能性分布のうち、各ブロック内に存在する可能性を積分した評価値を求め、前記の積分した評価値の大きさに応じた濃淡により該ブロック内の人物の存在可能性を表示することを特徴とする請求項２記載の人物位置推定方法。
前記床面上の人物位置の表示に際し、前記床面を各々が同一サイズの複数のブロックに分割し、前記人物が存在する可能性分布のうち、各ブロック内に存在する最大の可能性を求め、前記最大の可能性に応じた濃淡により該ブロック内の人物の存在可能性を表示することを特徴とする請求項２記載の人物位置推定方法。
人物の空間的な存在可能性に応じて、撮影空間における人物に提供するサービスを変更することを特徴とする請求項２記載の人物位置推定の利用方法。
同一人物を２台以上の非同期カメラで撮影可能なように配置されたカメラ群と、各カメラで撮影されたフレーム画像とその撮影時刻を記録する録画装置と、前記フレーム画像を用いて人物の３次元空間における位置を推定する画像処理装置とを有するシステムであって、
前記画像処理装置は、
前記録画装置に蓄積されたフレーム画像とその撮影時刻をメモリに入力する手段と、
第１のカメラで撮影された連続する２フレーム分の画像を前フレームと後フレームとして特定する手段と、
第１のカメラとは別の第２のカメラで撮影され、前記前フレームと前記後フレームとの間の撮影時刻であって前記後フレームの撮影時刻に最も近い時刻に撮影されたフレーム画像を基準フレームとして特定する手段と、
前記の前フレーム、後フレームおよび基準フレームの各画像から人物が映っている領域を推定する手段と、
推定された人物領域の各々から人物の頭頂部を推定する手段と、
前記前フレーム上の頭頂部に対応し前記第１のカメラの光学中心を通る３次元空間上の第１の直線および前記後フレーム上の頭頂部に対応し前記第１のカメラの光学中心を通る３次元空間上の第２の直線によって形成される３次元空間上の平面あるいは同一直線と、前記基準フレーム上の頭頂部に対応し前記第２のカメラの光学中心を通る３次元空間上の直線との交点あるいは最接近点を計算し、人物の３次元的な頭頂部位置を推定する手段と，
前記３次元的な頭頂部位置の情報に基づいて床面上の人物位置を表示する手段とを有することを特徴とする人物位置推定システム。
前記画像処理装置は、さらに、
前記３次元的な頭頂部位置から前記人物の身長を求める手段と、
前記身長が変わらないとして前記第１の直線上の３次元的な第１の位置と、前記第２の直線上の３次元的な第２の位置とを求め、撮影時刻の間隔から前記基準フレームの撮影時刻における前記人物の移動速度を求める手段と、
前記基準フレームの直前の基準フレームについて求められた３次元的な頭頂部位置および前記移動速度から求められた現在の前記基準フレームに対応する３次元的な頭頂部位置と、現在推定した前記３次元的な頭頂部位置との誤差を求める手段と、
前記誤差を用いて現在の３次元的な頭頂部位置の近傍に人物が存在する可能性を求める手段とを有することを特徴とする請求項１０記載の人物位置推定システム。
前記の前フレーム、後フレームおよび基準フレームの各々に複数の人物が写っている場合に、前記画像処理装置は、さらに、
前記基準フレーム上の１人の人物と、対応する前記前フレーム上のいずれかの人物および前記後フレーム上のいずれかの人物との各組み合わせの各々について前記３次元的な頭頂部位置を推定する手段と、
前記組合せの各々について前記３次元的な頭頂部位置から身長を求める手段と、
前記身長が最も身長レンジに近い組合せの前記３次元的な頭頂部位置を前記基準フレーム上の人物の位置と推定する手段とを有することを特徴とする請求項１０記載の人物位置推定システム。
前記画像処理装置は、さらに、
前記前フレーム上のいずれかの人物の頭頂部の位置と前記後フレーム上のいずれかの人物との頭頂部の位置のフレーム上の距離を計算する手段と、
前記前フレーム上の人物の撮影時刻間隔における最大移動可能距離を越える後フレーム上の人物をもつ前記組合せを３次元的な頭頂部位置の推定候補から除外する手段とを有することを特徴とする請求項１２記載の人物位置推定システム。
前記画像処理装置は、前記床面上の人物位置の表示に際し、前記人物が存在する可能性の大きさに応じた濃淡により人物の存在可能性を表示することを特徴とする請求項１１記載の人物位置推定システム。
前記画像処理装置は、前記床面上の人物位置の表示に際し、前記床面を各々が同一サイズの複数のブロックに分割し、前記人物が存在する可能性分布のうち、各ブロック内に存在する可能性を積分した評価値を求め、前記の積分した評価値の大きさに応じた濃淡により該ブロック内の人物の存在可能性を表示することを特徴とする請求項１１記載の人物位置推定システム。