JP2007233523A - 非同期カメラ映像を用いた人物位置推定方法及びそのシステム - Google Patents
非同期カメラ映像を用いた人物位置推定方法及びそのシステム Download PDFInfo
- Publication number
- JP2007233523A JP2007233523A JP2006051900A JP2006051900A JP2007233523A JP 2007233523 A JP2007233523 A JP 2007233523A JP 2006051900 A JP2006051900 A JP 2006051900A JP 2006051900 A JP2006051900 A JP 2006051900A JP 2007233523 A JP2007233523 A JP 2007233523A
- Authority
- JP
- Japan
- Prior art keywords
- person
- frame
- dimensional
- camera
- possibility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】カメラにより撮影した画像を利用して空間の人物位置を推定するシステムを安価に構築する。
【解決手段】同一人物を2台以上の非同期カメラで撮影し、参照カメラで撮影された連続する前後フレームを選択し、前後フレームの間の時刻に撮影した基準カメラと基準フレームを選択し、各フレーム画像中の人物領域を推定し、人物領域の各々から人物の頭頂部を推定し、前後フレームおよび基準フレームの各頭頂部の位置情報を用いて人物の3次元的な頭頂部位置を推定する。
【選択図】図3
【解決手段】同一人物を2台以上の非同期カメラで撮影し、参照カメラで撮影された連続する前後フレームを選択し、前後フレームの間の時刻に撮影した基準カメラと基準フレームを選択し、各フレーム画像中の人物領域を推定し、人物領域の各々から人物の頭頂部を推定し、前後フレームおよび基準フレームの各頭頂部の位置情報を用いて人物の3次元的な頭頂部位置を推定する。
【選択図】図3
Description
本発明は、非同期の複数のカメラ映像を利用し、人物の位置を推定する技術に関する。
近年の安全への意識の高まりや、カメラの低価格化などより、監視システムに対するニーズが高まってきている。また、監視目的だけでなく、カメラを用いて人物の位置情報などを収集することにより、顧客に対するサービスを向上させたり、売り上げ拡大を図りたいというニーズも増加してきている。
このような目的のためには、広範囲の情報を取得する必要があるが、広い範囲の情報を取得するためには、1台のカメラだけでカバーすることは不可能であるとともに、3次元的な位置情報を得るためには、マルチカメラによる撮影が必要となる。複数台のカメラを用いて人物の位置情報を取得するには、一般的には、各カメラの同期を取ることが必要となるが、厳密な同期は困難であったり、システムが高価になってしまったりするという課題がある。
そこで、カメラの同期を不要とするため、複数のカメラを利用せずに、1台のカメラの画像から人物位置を推定する方法として、特許文献1のように、想定する人物の身長の可能性分布を利用し、1台のカメラから人物の3次元位置を推定するための技術が開示されている。
また、非特許文献1には、同期したカメラの画像を使わずに、2台のカメラに写った位置情報を補間することにより、幾何学的に3次元位置情報を求めるための技術が述べられている。
まず、上記特許文献1記載の方法においては、特定の場所や時間においては身長の可能性分布の精度がある程度期待できるが、一般の環境においては精度が落ちてしまうことが考えられる。また、複数のカメラに写った人物の情報から、3次元位置を求めようとする場合、従来一般的である色や形状などの特徴情報を用いたマッチング方法では、同期撮影された2台のカメラを用いる必要があり、一つのカメラに写った人物と別のカメラに写った同じ人物を同定する際には、カメラの方向により写り方が異なる場合に、同一人物と認識することができないという課題が存在する。
また、前述のように、複数カメラで完全に同期をとった撮影をすることは、コストが高くなり、非同期の複数のカメラを利用したいが、上記の非特許文献1に記載の技術では、それぞれのカメラに写っているものは一つであり、対応関係が明らかとなっていることが前提であり、非同期カメラにおいて、同一の人物を決定することが難しいという課題がある。
本発明は、複数台の非同期カメラを用いて人物の3次元空間における位置を推定する技術を特徴とする。より詳細には、本発明は、各カメラで撮影されたフレーム画像とその撮影時刻をメモリに入力し、第1のカメラで撮影された連続する2フレーム分の画像を前フレームと後フレームとして特定し、第1のカメラとは別の第2のカメラで撮影され、前フレームと後フレームとの間の撮影時刻であって後フレームの撮影時刻に最も近い時刻に撮影されたフレーム画像を基準フレームとして特定し、前フレーム、後フレームおよび基準フレームの各画像から人物が映っている領域を推定し、推定された人物領域の各々から人物の頭頂部を推定し、前フレーム、後フレームおよび基準フレームの各頭頂部の位置情報を用いて人物の3次元的な頭頂部位置を推定し、その位置情報に基づいて床面上の人物位置を表示する。
また本発明の1つの実施例によれば、撮影時刻の間隔の間に移動した人物の位置の差分から移動速度を求め、基準フレームの直前の基準フレームについて求められた3次元的な頭頂部位置および移動速度から求められた現在の基準フレームに対応する3次元的な頭頂部位置と、現在推定した3次元的な頭頂部位置との誤差を求め、その誤差を用いて現在の3次元的な頭頂部位置の近傍に人物が存在する可能性を求める。
本発明により、複数台のカメラを用い、広範囲の撮影を行うような場合にも、安価な非同期カメラを使うことができ、低コストで人物位置を推定することができるという効果がある。また、本発明によれば、誤差はあるものの人物のおよその位置を推定して確認することができるという効果がある。さらに、頭頂部位置を利用することによって、足元の情報を用いる場合よりもテーブルや棚などの障害物で画像を取得できないことが少なくなるため、安定的に人物位置を求めることが可能となる。
小売店などで顧客などの人物の位置情報を取得することを想定し、複数の非同期カメラを用いて建物内の人物位置を推定するための方法について、以下の実施例により実現方法を説明する。
図1は、本発明を実現する1実施例のシステム構成図である。空間を撮影する複数のカメラとして有線カメラ1−1から有線カメラ1−mの有線カメラ群1が撮影した映像を、ネットワーク7を介して録画装置9に送り、録画装置9に蓄積する。また、カメラは無線カメラでもよく、無線カメラ3−1から無線カメラ3−nの無線カメラ群3が撮影した映像を、無線アクセスポイント5を介しネットワーク7を経由して録画装置9に送り、録画装置9に蓄積する。なお、無線アクセスポイント5は複数存在してもよい。画像処理装置11は、録画装置9に蓄積された撮影画像を利用して人物位置推定を行い、その結果を表示装置13に表示する。なお、録画装置9、画像処理装置11および表示装置13は、1台のコンピュータとして一体のものであってもよい。
画像処理装置11の内部構成について図2を用いてさらに説明する。画像処理装置11は、プロセッサおよびメモリを備えるコンピュータであり、画像メモリ15、カメラパラメータ記憶部17、制御部19および入出力部26を有する。画像メモリ15およびカメラパラメータ記憶部17は、メモリ上に設けられる。制御部19は、基準/参照カメラ選択部20、人物領域推定部21、頭頂部位置推定部22、3次元頭頂部位置推定部23、移動量推定部24および存在可能性推定部25の各プログラムを有する。制御部19は、メモリ上に格納されるこれらプログラムをプロセッサにより実行する。また制御部19のメモリは、これらプログラムへの入力データおよび処理結果を一時的に格納する。画像処理装置11は、録画装置9、表示装置13および入力装置27と接続する。入出力部26は、これらの装置と画像処理装置11のメモリとの間のデータの入出力を制御する。
画像処理装置11は、入出力部26を介し、録画装置9に記録された画像データを取得し、画像メモリ15に記憶する。また、カメラパラメータ記憶部17は、事前に求められた各カメラの画角、画素数などの内部パラメータや、空間におけるカメラの位置などの外部パラメータを記憶する。画角とは、カメラが撮像可能な視野角であり、水平方向の画角および垂直方向の画角を含む。制御部19は、格納されるプログラムを実行することにより、録画装置9に蓄積された各フレーム画像とその撮影時刻を画像メモリ15に入力して一時保存し、カメラパラメータ記憶部17に記憶された情報などを用いてフレーム中の人物画像を解析し、3次元空間における人物位置の推定を行う。各フレーム画像には、その画像を撮影したカメラの識別子が付加されている。
続いて、図1の構成を用いて人物位置を推定する例について、図4のような3台のカメラで室内を撮影している環境を想定し、人物位置推定を行う方法について、図5を用いて説明する。図4は、室内を上から見たときのカメラ位置と撮影範囲を示した平面図である。カメラA(図中30A)、カメラB(図中30B)、カメラC(図中30C)により撮影されない空間が領域33、1台のカメラのみで撮影される空間が領域34、2台のカメラで撮影される空間が領域35、3台のカメラで撮影される空間が領域36である。各カメラの位置、方向、画角は事前に調べられているものとし、3台のカメラを組み合わせたときの撮影領域の重なりについての情報は事前に既知であるとする。また、撮影する空間の形状や大きさなどの情報も既知であるとする。ここで、室内を撮影することを想定する場合には、入口と出口付近の空間については、少なくとも2台以上のカメラで撮影するようにカメラを配置することが望ましい。
カメラA〜CはWebカメラとして市販されているものを利用することを想定する。これらのカメラは同期をとることはできないが、外部から内部時計の時刻をセットすることが可能で、カメラA〜Cの内部時計は一致しているものとする。そして、各カメラで撮影された画像は、録画装置9に撮影時刻と共に記録される。また、このカメラは、撮影した画像を圧縮し、図1に示すように、撮影画像をネットワーク7を介して録画装置9へ送り、蓄積するが、撮影する対象により圧縮に必要な時間が異なるため、各カメラの各フレーム画像の撮影時刻は異なることを想定する。例えば、図5のように、カメラAのフレーム画像の撮影時刻は40、41、カメラBの撮影時刻は42、43、44、カメラCの撮影時刻は45、46のようになっているものとする。
このような想定のもとに図3のフローチャートに沿って処理の流れを説明する。まず、制御部19は、入力装置27から入力された人物位置推定結果の表示を開始する命令をメモリに入力する(ステップS100)。制御部19は、表示終了命令が入力されるまで、以下の人物位置推定処理を繰り返し、終了命令が入力されれば処理を終了する(ステップS104)。基準/参照カメラ選択部20は、画像メモリ15に入力されたフレーム画像に対応するカメラの識別子を参照し、人物位置推定処理の最初に、録画装置9に連続して2フレーム分画像が記録されたカメラを参照カメラとする(ステップS105)。例えば図5のような場合に、撮影時刻t-τ1(図中42)の時点で表示開始命令が入力されたとすると、最初に2フレーム分の画像が録画装置9に蓄積されたカメラBを参照カメラとする。そして、基準/参照カメラ選択部20は、その2つのフレームを前後フレームとし、時刻t-τ1とt+τ2(図中43)との間で最も時刻t+τ2に近い時刻tに撮影したカメラを基準カメラとし、そのフレームを基準フレームとする(ステップS106)。例えば図5の場合には、カメラAが基準カメラとなり、時刻t(図中40)のフレームが基準フレームとなる。
次に、人物領域推定部21は、画像メモリ15中の基準フレーム画像および前後フレーム画像を参照し、これらの画像の中から人物が写っている領域を推定する(ステップS112)。推定の方法としては、人物の写っていないときの画像を背景として記憶しておき、背景差分により人物領域を推定すれば良いが、サーモセンサの情報を利用するなど、他の方法を用いてもよい。次に、頭頂部位置推定部22は、人物領域の中から、頭頂部位置を推定する(ステップS114)。頭頂部は人物領域中の最も高い位置として推定すればよい。
次に、3次元頭頂部位置推定部23は、各フレーム画像で推定された頭頂部位置から、3次元的な頭頂部位置を推定する(ステップS116)。その方法について図6を用いて説明する。カメラAの光学中心がC1、カメラBの光学中心がC2とし、時刻tに撮影したカメラAのフレーム画像51中に写った人物の頭頂部が点p、カメラBにより時刻t-τ1に撮影したフレーム画像52中に写った人物の頭頂部が点q、時刻t+τ2に撮影したフレーム画像53に写った人物の頭頂部が点rであるとする。図6では、各フレーム画像は、カメラの位置、方向、画角から、3次元空間における投影面として配置してある。このとき、撮影間隔がそれほど長くないことを想定すると、人物の頭頂部位置の高さはその間に変わらないと近似することが可能であり、カメラBの光学中心C2と点q、点rとからなる平面と、カメラAの光学中心C1と点pを結ぶ直線の交点Pを人物の3次元的な頭頂部位置であると推定することが可能である。ここで、推定された3次元位置から、人物の身長と床面上の人物位置(頭頂部位置からの垂線が床面と交わる位置)を求め、身長が事前に想定した人物らしい身長、例えば大人を想定すれば150〜200cmの範囲に入っているか、また、撮影空間の情報、すなわち、部屋の広さや、机、棚などから、人の存在し得ない領域であるかどうかの判定を行い、正しそうな結果であれば人物位置として採用し、正しくなさそうな結果であれば、採用しないとする。
カメラの位置と角度からカメラの光学中心を通る3次元の主軸の式を計算することができ、この主軸は、フレームの中心である原点(0,0)を通る3次元空間上の直線に一致するはずである。またフレームのX軸とフレーム終端の交点およびY軸とフレーム終端の交点が各々水平方向の画角を示す直線および垂直方向の画角を示す直線に対応する。従ってカメラAで撮影した2次元フレーム上の任意の点p(X,Y)に対応する3次元空間上の直線は、(X,Y)の比例配分に応じて光学中心C1を通る直線の式で表現される。同様にカメラBで撮影した2次元フレーム上の点q,rもそれぞれ光学中心C2を通る3次元空間上の2本の直線の式で表現される。光学中心C2とこれら2本の直線によって形成される3次元空間上の平面と、光学中心C1を通る上記の直線との交点がP(x,y,z)となる。
3次元頭頂部位置推定部23は、カメラパラメータ記憶部17に格納されるカメラパラメータを用いて点p(X,Y)に対応する3次元空間上の直線の式を算出することができる。3次元頭頂部位置推定部23は、フレーム画像の画素数から点p,q,rの各々の2次元座標値を求め、カメラの位置、角度、画角の情報を用いて各2次元座標値から3つの直線の式を求め、C2を通る2本の直線の式から3次元空間上の平面の式を求め、C1を通る直線の式とこの平面の式とから点Pの座標値を求める。3次元頭頂部位置推定部23は、このようにして計算の途中結果をメモリに一時記憶しながら計算を進め、算出した点Pの座標値をメモリに一時保存する。
もし人物が移動せず、2次元フレーム上の点q,rがほぼ同一位置にあれば、3次元空間上の直線は1本となるから、カメラAによる直線がカメラBによる直線と最接近したところの点を点Pの位置とすればよい。
そして、実施例1の場合にはS116からS120に移り、制御部19は、上記の方法により推定された床面上の人物位置を表示装置13に表示する(ステップS120)。人物位置表示終了命令がない場合にはステップS105へ戻り、時刻t以降で同一カメラで2フレームの画像が録画装置9に記録され、かつ、その2フレームの撮影間隔内に別のカメラの撮影フレームが存在する条件をチェックし、参照カメラを決定し、続いてステップS106により基準カメラと基準フレームを決定する。例えば図5の場合には、時刻41のフレーム画像を取得した時点でカメラAが参照カメラとなり、最も時刻41に近い時刻t+τ2(図中43)に撮影したカメラBが基準カメラとなり、そのフレームが基準フレームとなる。
実施例1によれば、同期していない複数のカメラを用いても、人物位置を推定することが可能であり、システムを安価に構築することが可能となる。
実施例1の場合、人物の3次元的な頭頂部位置を推定することは可能であるが、この位置情報には様々な誤差が含まれている。例えば、カメラの光学中心位置、撮影時刻、画像中から推定された人物領域、頭頂部位置などに、それぞれ誤差が存在する。そこで、実施例2では図3のフローチャートにおいて、人物の移動速度を推定するステップ(S117)と、人物位置と移動速度と時間の関係を用いて、人物の空間的な存在可能性について推定するステップ(S118)を追加する。
存在可能性の推定方法について図6を用いて説明する。まず、実施例1の方法により、時刻tにおける人物の3次元頭頂部位置Pが求まる。すると、人物の身長が求まり、前述のように、撮影間隔が十分短いとして身長が変わらないことを想定すると、時刻t-τ1, t+τ2における3次元頭頂部位置Q、Rについて、カメラBの光学中心C2とq、C2とrを結ぶそれぞれの直線上で、床面からの距離が身長に一致する点として求めることが可能である。この結果を利用し、撮影時刻の間隔が十分短いことから等速直線運動を仮定し、移動量推定部24は、QからPへの移動速度(移動方向と速さ)とPからRへの移動速度の平均として、点Pの移動速度を示すベクトルνpを求める(ステップS117)。νpは、速度のx成分とy成分をもち、z成分をもたない。求めた位置と移動速度は、次の時刻における人物の存在可能性推定が終了するまでメモリに記憶しておく。
次に、存在可能性推定部25は、ステップS118において人物の2次元空間的な存在可能性(存在確率)について推定する。前述のように推定された人物位置は点Pを中心として、2次元空間的に存在する可能性がガウス分布状になると仮定し、さらにガウス分布の分散σは前時刻の人物位置と移動速度から推定した位置との誤差に比例させるものとする。例えば、位置Pf(x,y)に人物が存在する可能性の評価値をF(Pf)、Pfの近傍空間をSとして、以下のように求める。
存在可能性推定部25は、ステップS120において、人物の存在可能性F(Pf)を表示する。
以上の方法により、誤差を含む人物位置情報について、空間的な存在可能性分布により、あいまい性を許容した表示を行うことが可能となる。
これまでの実施例では、カメラ画像に一人の人物が写っていることを想定していたため、人が少ない環境やカメラの画角が狭い環境の場合での利用にとどまるが、より一般的な環境に適応可能な複数の人物が写っている場合の別の実施例について図7,8,9を用いて説明する。
図7のように、カメラAのフレーム画像51に二人の人物が写っており、それぞれの頭頂部位置がp1, p2であるとする。同様に、カメラAのフレーム画像52には人物の頭頂部q1,q2、フレーム画像53には人物の頭頂部r1,r2が写っているものとする。このとき、各人物像はどれとどれが同一人物であるかは分からないと想定すると、p1と同一の頭頂部位置である可能性は、(q1,r1), (q1,r2), (q2, r1), (q2,r2)の4通りが存在する。同様にp2と同一の頭頂部の可能性も4通り考えられる。
このとき、組み合わせの8通りの全パターンについて、二人の人物の3次元頭頂部位置P1,P2を求める。その結果求められた身長と床面上の位置を調べ、もっともらしい結果を採用する。例えば、図8のようにp1と対応する位置として、q1,r2を採用した場合に求められた人物の3次元頭頂部位置P1(1)は、想定する身長レンジより小さいため採用せず、図9のように、p1と対応する位置として、q1,r1を用いた場合の3次元頭頂部位置P1(2)が想定身長レンジ内かつ、想定空間内ということで採用するものとする。
3次元頭頂部位置推定部23は、S116において、点p1,q1,r1の各々の2次元座標値を用いて上記のような処理によって3次元空間上の位置P1(1)を求める。同様にして他の3通りのパターンについても位置P1(2),P1(3),P1(4)を求める。3次元頭頂部位置推定部23は、位置P1(1)〜P1(4)について各々のz成分を身長として求め、これら身長の中で最も身長レンジに近い位置を点P1としてその座標値をメモリに保存する。3次元頭頂部位置推定部23は、同様に点P2についても3次元空間上の位置P2(1),P2(2),P2(3),P2(4)を求め、そのz成分が最も身長レンジに近い位置を点P2としてその座標値をメモリに保存する。
なお想定する身長レンジ内かつ想定空間内の結果が複数存在する可能性が存在する。そのような場合には、撮影場所や時間の条件から撮影空間に存在しそうな人物を想定し、想定身長を分布として定義するものとする。例えば、ビジネス向け展示会であれば、大人の平均身長を最大とする分布を定義し、おもちゃ売り場であれば、子供の平均身長と親の平均身長をピークとする分布を定義するようにすればよい。そして、上記のように求められた人物の3次元頭頂部位置から求まる身長情報から、最も妥当な結果を人物位置として採用するようにすればよい。
以上のように、本実施例によれば、複数の人物がカメラ画像に写っていても、人物位置の推定を行うことが可能となる。
実施例3では、画像に写る人物の数が増えると、調べなければならない組み合わせの数が指数的に増加してしまう。そこで、調べるべき組み合わせの数を減らす方法について、図7の例を用いて説明する。
まず、参照カメラの前後フレーム画像において、頭頂部位置q1, q2, r1, r2を求める。次に、参照カメラの前フレーム52の画像中からq1を選択する。ここで、撮影空間の特性に応じ、人間の最大移動速度を想定し、例えば早足程度の1.7m/s程度を想定する。すると、撮影画像中で最も移動量が大きくなるのは人がカメラの投影面と平行に移動した場合となり、フレーム画像53との撮影間隔分だけのフレーム内での移動量Lを求めることができる。そこでフレーム画像53については、点q1を中心とした半径Lの範囲内に存在する頭頂部のみを対象として組み合わせを考えればよいこととなる。
3次元頭頂部位置推定部23は、フレーム画像53について、点q1から点r1,r2,…の各々までのフレーム上の距離を計算し、距離L内に存在する頭頂部位置ri,rj,…をすべて求める。フレーム画像52内の点q2など他の点についても同様に距離L内に存在する頭頂部位置rk,rl,…をすべて求める。そうすると、点p1と同一の頭頂部位置である可能性は、(q1,ri),(q1,rj),(q1,…),(q2,rk),(q2,rl),(q2,…),…の組合せのパターンとなる。3次元頭頂部位置推定部23は、この結果の人物の位置情報をメモリに一時保存し、実施例3を適用して3次元空間上の位置P1,P2,...を求め、その計算結果の座標値をメモリに保存する。
本実施例を用いることにより、人物の3次元位置を推定する計算量を低減することが可能となり、推定までの時間を短縮することが可能となる。
次に、実施例2のように、前の時刻t'における複数の人物位置と速度が推定されている場合に時刻tにおける人物位置を推定する実施例について図10を用いて説明する。図10は、図3のステップS116、S117の部分について、本実施例に合わせて詳細化したものとなっている。
まず、実施例2のように、ステップS114では、基準カメラの基準フレーム画像と参照カメラの前後フレーム画像内のすべての人物の頭頂部位置を推定しておく。前の時刻t'において推定された人物数がm人のとき、3次元空間上で推定された位置をP'(1)〜P'(m)、速度ベクトルをνp’(1)〜νp’(m)とする。この結果を利用し、3次元頭頂部位置推定部23は、現在の時刻tにおける人物位置Pa(1)〜Pa(m)を、これまでと同様に等速直線運動を仮定して、以下の数3を用いて推定する(ステップS200)。
次に、3次元頭頂部位置推定部23は、実施例3と同様に、ステップS114でもとめた基準フレーム画像と前後フレーム画像内の頭頂部位置から、すべての組み合わせを想定して、3次元的な仮の頭頂部位置を算出する(ステップS202)。次に、3次元頭頂部位置推定部23は、想定する身長レンジと床面との関係により、妥当性を調べ、不適切な組み合わせは削除し、仮の3次元頭頂部位置P(1)〜P(n)を求める(ステップS204)。ここでnは、m個のPaのうち不適切な組合せを除いた残りの個数であり、m≧nである。
次に、3次元頭頂部位置推定部23は、S200の人物位置の情報とS204の位置情報を用いて時刻tにおける人物位置を確定する(ステップS206)。ここでは、前の時刻t'から推定された人物位置Pa(1)〜Pa(m)と時刻tの情報から求められた仮の3次元頭頂部位置P(1)〜P(n)のm×n個のペアを作成し、各ペアについて2つの位置間の距離を求め、あらかじめ定めたしきい値以上のペアを除外する。続いて、残ったペアのうち、距離の最も近い組み合わせを採用し、そのときの時刻tにおける人物の仮の3次元頭頂部位置情報P(i);i=1〜nを人物位置として確定する。そして、確定したP(i)を仮の3次元頭頂部位置P(1)〜P(n)から削除する。そして残った仮の3次元頭頂部位置情報と前の時刻t'から推定された人物位置のペアから最も近い組み合わせを採用して3次元頭頂部位置情報として確定する処理を繰り返す。この処理は、まだ仮のままで確定していない3次元頭頂部位置P(i)か、前の時刻t'から推定された人物位置Pa(j)がなくなるまで繰り返す。
ここでもし、仮の3次元頭頂部位置が余ってしまった場合、時刻tに新たに撮影空間に人物が入ってきたと考え、仮の3次元頭頂部位置情報を確定する。また、もし前の時刻t'から推定された人物位置Pa(j)が余ってしまった場合には、Pa(j)が基準カメラの撮影範囲かを求め、撮影範囲であれば、前の時刻t'の時の推定が誤っていたものと考え、時刻tの人物位置としては登録しないこととする。撮影範囲外であれば、人物が基準カメラの撮影範囲外に移動したと考え、Pa(j)を時刻tの人物位置として登録する。
続いて、移動量推定部24は、S206で時刻tの人物位置として確定された各点について、実施例2と同様の方法により、時刻tにおける人物の移動速度を求める(ステップS208)。但し、Pa(j)を人物位置として登録した場合には、速度情報は時刻t'の情報を用いるものとする。また、新規に登録された人物位置については、速度0とする。
そして、図3のステップS118へと進み、実施例3と同様に人物位置の推定結果を表示する。
以上、本実施例によれば、基準カメラと参照カメラに複数の人物が写っていた場合の同一人物であるというマッチングを画像の色や形状から行わなくても、時間的な位置情報を利用することにより行うことが可能となり、実環境における位置情報の精度を向上させることが可能である。
次に、実施例5において仮の3次元頭頂部位置を求めるステップS202について、計算する組み合わせ数を、前の時刻t'の情報を用いて削減する実施例を示す。
実施例5のS200と同様に前の時刻t'において推定された人物数がm人、推定された位置をP'(1)〜P'(m)、速度ベクトルをνp’(1)〜νp’(m)とする。また、カメラの前フレーム画像の撮影時刻をs1, 後フレーム画像の撮影時刻をs2とする。すると、時刻t'の推定情報より、時刻s1における推定3次元頭頂部位置Qa(1)〜Qa(m), 時刻s2における推定3次元頭頂部位置Ra(1)〜Ra(m)を、以下の数4により求めることが可能である。
次に、3次元頭頂部位置推定部23は、基準フレーム画像、前後フレーム画像内の頭頂部位置をすべて求める。基準フレーム画像内の頭頂部位置をp(1)〜p(a), 前フレーム画像内の頭頂部位置をq(1)〜q(b)、後フレーム画像内の頭頂部位置をr(1)〜r(c)とする。
そして、頭頂部位置p(1)からp(a)について、あらかじめ指定した半径L1の範囲内に、時刻t'の情報からの推定位置pa(1)〜pa(m)が存在するかを調べる。その範囲内に存在する位置がpa(u)であったとき(複数存在しても良い)、前フレーム画像については、qa(u)の周囲半径L2の中に存在する頭頂部位置q(複数でよい)と、後フレーム画像については、ra(u)の周囲半径L3の中に存在する頭頂部位置r(複数でよい)とを3次元位置を求める組み合わせとする。
もし、頭頂部位置p(1)〜p(a)に対応するq,rの組み合わせが存在しない場合には、ステレオ視できる範囲に人物が存在しないと想定し、3次元頭頂部位置の計算には用いないものとする。
以上の本実施例により、画像に写った人物の数が多い場合には、組み合わせ計算を減らすことが可能となり、人物位置推定を高速化することが可能となる。
ここでは、基準カメラと参照カメラの両方で撮影している撮影領域以外に人物が存在する場合の実施例について説明する。
例えば図4のようなカメラ配置で部屋38を撮影している状況を想定する。そして、時刻t'の時点でカメラAとカメラBを用いて人物位置を求めた結果が存在するとする。次の時刻tの時点ではカメラBを基準カメラ、カメラCを参照カメラとして人物位置情報を求めるとする。すると、時刻tの時点ではカメラB,Cの撮影範囲内に存在する人物位置の情報しか得ることが出来ない。ここで、時刻t'における人物位置と速度の情報を用いることにより、カメラB,Cの撮影範囲外の人物位置推定を行うこととする。この際、人物は等速直線運動を行うことと推定する。また、空間的な制約も人物の移動の際に考慮し、移動不可能な領域との境界で反射運動を想定したり、境界領域との距離に応じて速度を落とすとともに、移動方向を移動不可能領域から離れる向きに変更するような想定をしたりしてもよい。
ここでは、これまでの実施例により推定された、人物の3次元頭頂部位置と空間的な存在可能性分布の表示方法の実施例について、図11a〜図11cを用いて説明する。
図11aは、時刻t1における人物の存在可能性分布を表示した例で、左側は、撮影している空間(例えば部屋)の床面を格子状に区切ったブロック(図中60)として表示し、その上に、求められた人物の3次元頭頂部位置の垂線と床面が交わる点を中心として、人物の存在可能性分布を濃淡で表現(図中61)している。右の図は62の点線位置(ピーク位置)における人物の存在可能性分布のプロファイル63である。左側の存在可能性分布は、人物の存在可能性が高いほど濃く表示される。
同様に、図11bは時刻t2、図11cは時刻t3における人物の存在可能性分布(図中64、67)を示し、点線65、68における存在可能性分布プロファイルがそれぞれ66、69である。
なお、存在可能性分布は、可能性に応じた色の違いで表現してもよく、可能性の高いものを赤、低いものを青と表現するなどしてもよい。
以上のような表示方法により、人物の移動の様子について、位置推定の誤差を含んだ表示が可能となる。
次に、人物の3次元頭頂部位置と空間的な存在可能性分布の別の表示方法の実施例について、図12a〜図12cを用いて説明する。人物の3次元頭頂部位置と空間的な存在可能性分布については、図11と同じものを用いるとする。
本実施例では、床面を格子状に区切った各ブロック内の存在可能性の評価値を積分した値に比例したブロックの輝度値として、存在可能性について表示する。例えば時刻t1においては、点線71の位置の存在可能性プロファイルは図12a右図のようになる。このときブロック70の輝度は、このブロック中の存在可能性評価値の積分値72に比例する値として表示させる。この図は、存在可能性が高いほど斜線の密度が大きくなるように表示している。同様に時刻t2については図12bのように、ブロック74、75の輝度値は、点線73における存在可能性プロファイルに示したブロック中の積分値76、77の値に比例させ、時刻t3のときには、図12cのように、ブロック78の輝度値は、点線79における存在可能性プロファイル中に示したブロック中の積分値80の値に比例させることにより表示する。
以上の本実施例によれば、注目する場所における人物の存在可能性を可視化することが可能であり、一つのブロック内に複数の人物が存在するような場合にも人数に応じた存在可能性を表示することが可能である。
さらに、人物の3次元頭頂部位置と空間的な存在可能性分布の別の表示方法の実施例について、図13a〜図13cを用いて説明する。人物の3次元頭頂部位置と空間的な存在可能性分布については、図11と同じものを用いるとする。
本実施例では、実施例9と同様に、床面を格子状に区切った各ブロック内の輝度として人物の存在可能性を表示するが、ブロック内の存在可能性評価値の最大値に比例した輝度として表示を行う。例えば、時刻t1の場合、図13aのように、点線82の存在可能性プロファイル上に示したようなブロック内の最大値83に比例するように、ブロック81の輝度を決定する。同様に、時刻t2では図13bのように、点線86における存在可能性プロファイル上にしめした87,88の値により、ブロック84、85の輝度を決定し、時刻t3においては、点線90における存在可能性プロファイル上に示した評価値91に比例するように、ブロック89の輝度値を決定する。
本実施例の実施例9と比べた利点は、人物が存在している可能性が最も高いブロックが常にはっきりと表示されることにある。例えば、図12を見てみると、時刻t1,t3における図12a,図12bの図ではどのブロックにいる可能性が高いかということがはっきりしているが、時刻t2における図12bの図では全体に輝度が低く表示され、ぼやけた表示となってしまっている。これに対し、本実施例では、図13に示したように、人物が存在していることがどの時刻においてもはっきり表示することが可能となっている。
但し、本実施例を用いた場合には、一つのブロックに複数の人物が存在することを表現することが困難となるため、ブロックのサイズを一人の人間が存在する程度の小さな領域にするとよい。
次に、上記実施例により人物の空間的な存在可能性分布の表示結果を利用する実施例について図14、15を用いて説明する。
図14は、スーパーなどの室内を撮影空間と想定した場合の例である。実施例10の方法により作成した人物の空間的な存在可能性分布95を、空間の物理的な棚やテーブルなどの配置96に重ね合わせたものとして、店内人物存在可能性分布97として表示する。
図15に店内人物存在可能性分布97の利用法を示す。店内人物存在可能性分布97を表示装置13に表示し、店のスタッフ100が時間的な変化を観察し、101に示すようなサービス創出に利用する。
このような表示方法は、どの空間に、どの時刻にどのくらい人が存在したかということを直感的に把握できるとともに、自動的にデータを収集することが可能である。例えば、レジの手前の空間における人物の存在可能性を監視(自動的でも、人が監視してもよい)することにより、人の存在が多くなったときには、スタッフを配置し(図中103)、新しくレジを開けて、混雑を緩和する(図中104)ことも可能である。
1:有線カメラ群、3:無線カメラ群、9:録画装置、11:画像処理装置、13:表示装置、30:カメラ
Claims (15)
- 同一人物を2台以上の非同期カメラで撮影された画像を用いて人物の3次元空間における位置を推定する画像処理装置による方法であって、
各カメラで撮影されたフレーム画像とその撮影時刻をメモリに入力するステップと、
第1のカメラで撮影された連続する2フレーム分の画像を前フレームと後フレームとして特定するステップと、
第1のカメラとは別の第2のカメラで撮影され、前記前フレームと前記後フレームとの間の撮影時刻であって前記後フレームの撮影時刻に最も近い時刻に撮影されたフレーム画像を基準フレームとして特定するステップと、
前記の前フレーム、後フレームおよび基準フレームの各画像から人物が映っている領域を推定するステップと、
推定された人物領域の各々から人物の頭頂部を推定するステップと、
前記前フレーム上の頭頂部に対応し前記第1のカメラの光学中心を通る3次元空間上の第1の直線および前記後フレーム上の頭頂部に対応し前記第1のカメラの光学中心を通る3次元空間上の第2の直線によって形成される3次元空間上の平面あるいは同一直線と、前記基準フレーム上の頭頂部に対応し前記第2のカメラの光学中心を通る3次元空間上の直線との交点あるいは最接近点を計算し、人物の3次元的な頭頂部位置を推定するステップと,
前記3次元的な頭頂部位置の情報に基づいて床面上の人物位置を表示するステップとを有することを特徴とする人物位置推定方法。 - さらに、前記3次元的な頭頂部位置から前記人物の身長を求めるステップと、
前記身長が変わらないとして前記第1の直線上の3次元的な第1の位置と、前記第2の直線上の3次元的な第2の位置とを求め、撮影時刻の間隔から前記基準フレームの撮影時刻における前記人物の移動速度を求めるステップと、
前記基準フレームの直前の基準フレームについて求められた3次元的な頭頂部位置および前記移動速度から求められた現在の前記基準フレームに対応する3次元的な頭頂部位置と、現在推定した前記3次元的な頭頂部位置との誤差を求めるステップと、
前記誤差を用いて現在の3次元的な頭頂部位置の近傍に人物が存在する可能性を求めるステップとを有することを特徴とする請求項1記載の人物位置推定方法。 - 前記の前フレーム、後フレームおよび基準フレームの各々に複数の人物が写っている場合に、
前記基準フレーム上の1人の人物と、対応する前記前フレーム上のいずれかの人物および前記後フレーム上のいずれかの人物との各組み合わせの各々について前記3次元的な頭頂部位置を推定するステップと、
前記組合せの各々について前記3次元的な頭頂部位置から身長を求めるステップと、
前記身長が最も身長レンジに近い組合せの前記3次元的な頭頂部位置を前記基準フレーム上の人物の位置と推定するステップとを有することを特徴とする請求項1記載の人物位置推定方法。 - 前記前フレーム上のいずれかの人物の頭頂部の位置と前記後フレーム上のいずれかの人物との頭頂部の位置のフレーム上の距離を計算するステップと、
前記前フレーム上の人物の撮影時刻間隔における最大移動可能距離を越える後フレーム上の人物をもつ前記組合せを3次元的な頭頂部位置の推定候補から除外するステップとを有することを特徴とする請求項3記載の人物位置推定方法。 - 前記身長が所定の身長レンジに入る組合せの各々について前記3次元的な頭頂部位置を推定し、さらに、
前記身長が変わらないとして前記第1の直線上の3次元的な第1の位置と、前記第2の直線上の3次元的な第2の位置とを求め、撮影時刻の間隔から前記基準フレームの撮影時刻における前記人物の移動速度を求めるステップと、
前記基準フレームの直前の基準フレームについて求められた3次元的な頭頂部位置および前記移動速度から現在の前記基準フレームに対応する第2の3次元的な頭頂部位置を各人物について求めるステップと、
推定された前記3次元的な頭頂部位置のうち、前記第2の3次元的な頭頂部位置との距離が最小の位置を人物位置として確定するステップとを有することを特徴とする請求項3記載の人物位置推定方法。 - 前記床面上の人物位置の表示に際し、前記人物が存在する可能性の大きさに応じた濃淡により人物の存在可能性を表示することを特徴とする請求項2記載の人物位置推定方法。
- 前記床面上の人物位置の表示に際し、前記床面を各々が同一サイズの複数のブロックに分割し、前記人物が存在する可能性分布のうち、各ブロック内に存在する可能性を積分した評価値を求め、前記の積分した評価値の大きさに応じた濃淡により該ブロック内の人物の存在可能性を表示することを特徴とする請求項2記載の人物位置推定方法。
- 前記床面上の人物位置の表示に際し、前記床面を各々が同一サイズの複数のブロックに分割し、前記人物が存在する可能性分布のうち、各ブロック内に存在する最大の可能性を求め、前記最大の可能性に応じた濃淡により該ブロック内の人物の存在可能性を表示することを特徴とする請求項2記載の人物位置推定方法。
- 人物の空間的な存在可能性に応じて、撮影空間における人物に提供するサービスを変更することを特徴とする請求項2記載の人物位置推定の利用方法。
- 同一人物を2台以上の非同期カメラで撮影可能なように配置されたカメラ群と、各カメラで撮影されたフレーム画像とその撮影時刻を記録する録画装置と、前記フレーム画像を用いて人物の3次元空間における位置を推定する画像処理装置とを有するシステムであって、
前記画像処理装置は、
前記録画装置に蓄積されたフレーム画像とその撮影時刻をメモリに入力する手段と、
第1のカメラで撮影された連続する2フレーム分の画像を前フレームと後フレームとして特定する手段と、
第1のカメラとは別の第2のカメラで撮影され、前記前フレームと前記後フレームとの間の撮影時刻であって前記後フレームの撮影時刻に最も近い時刻に撮影されたフレーム画像を基準フレームとして特定する手段と、
前記の前フレーム、後フレームおよび基準フレームの各画像から人物が映っている領域を推定する手段と、
推定された人物領域の各々から人物の頭頂部を推定する手段と、
前記前フレーム上の頭頂部に対応し前記第1のカメラの光学中心を通る3次元空間上の第1の直線および前記後フレーム上の頭頂部に対応し前記第1のカメラの光学中心を通る3次元空間上の第2の直線によって形成される3次元空間上の平面あるいは同一直線と、前記基準フレーム上の頭頂部に対応し前記第2のカメラの光学中心を通る3次元空間上の直線との交点あるいは最接近点を計算し、人物の3次元的な頭頂部位置を推定する手段と,
前記3次元的な頭頂部位置の情報に基づいて床面上の人物位置を表示する手段とを有することを特徴とする人物位置推定システム。 - 前記画像処理装置は、さらに、
前記3次元的な頭頂部位置から前記人物の身長を求める手段と、
前記身長が変わらないとして前記第1の直線上の3次元的な第1の位置と、前記第2の直線上の3次元的な第2の位置とを求め、撮影時刻の間隔から前記基準フレームの撮影時刻における前記人物の移動速度を求める手段と、
前記基準フレームの直前の基準フレームについて求められた3次元的な頭頂部位置および前記移動速度から求められた現在の前記基準フレームに対応する3次元的な頭頂部位置と、現在推定した前記3次元的な頭頂部位置との誤差を求める手段と、
前記誤差を用いて現在の3次元的な頭頂部位置の近傍に人物が存在する可能性を求める手段とを有することを特徴とする請求項10記載の人物位置推定システム。 - 前記の前フレーム、後フレームおよび基準フレームの各々に複数の人物が写っている場合に、前記画像処理装置は、さらに、
前記基準フレーム上の1人の人物と、対応する前記前フレーム上のいずれかの人物および前記後フレーム上のいずれかの人物との各組み合わせの各々について前記3次元的な頭頂部位置を推定する手段と、
前記組合せの各々について前記3次元的な頭頂部位置から身長を求める手段と、
前記身長が最も身長レンジに近い組合せの前記3次元的な頭頂部位置を前記基準フレーム上の人物の位置と推定する手段とを有することを特徴とする請求項10記載の人物位置推定システム。 - 前記画像処理装置は、さらに、
前記前フレーム上のいずれかの人物の頭頂部の位置と前記後フレーム上のいずれかの人物との頭頂部の位置のフレーム上の距離を計算する手段と、
前記前フレーム上の人物の撮影時刻間隔における最大移動可能距離を越える後フレーム上の人物をもつ前記組合せを3次元的な頭頂部位置の推定候補から除外する手段とを有することを特徴とする請求項12記載の人物位置推定システム。 - 前記画像処理装置は、前記床面上の人物位置の表示に際し、前記人物が存在する可能性の大きさに応じた濃淡により人物の存在可能性を表示することを特徴とする請求項11記載の人物位置推定システム。
- 前記画像処理装置は、前記床面上の人物位置の表示に際し、前記床面を各々が同一サイズの複数のブロックに分割し、前記人物が存在する可能性分布のうち、各ブロック内に存在する可能性を積分した評価値を求め、前記の積分した評価値の大きさに応じた濃淡により該ブロック内の人物の存在可能性を表示することを特徴とする請求項11記載の人物位置推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006051900A JP2007233523A (ja) | 2006-02-28 | 2006-02-28 | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006051900A JP2007233523A (ja) | 2006-02-28 | 2006-02-28 | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007233523A true JP2007233523A (ja) | 2007-09-13 |
Family
ID=38554080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006051900A Withdrawn JP2007233523A (ja) | 2006-02-28 | 2006-02-28 | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007233523A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
JP2009223693A (ja) * | 2008-03-17 | 2009-10-01 | Glory Ltd | 人物計数装置および人物計数方法 |
JP2010199701A (ja) * | 2009-02-23 | 2010-09-09 | Fujitsu Ltd | 画像処理装置、画像処理方法、及び、画像処理プログラム |
JP2010206405A (ja) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | 画像監視装置 |
JP2012014281A (ja) * | 2010-06-29 | 2012-01-19 | Canon Inc | 情報処理装置およびその動作方法 |
JP2012159957A (ja) * | 2011-01-31 | 2012-08-23 | Secom Co Ltd | 移動物体追跡装置 |
JP2012216180A (ja) * | 2011-03-30 | 2012-11-08 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP2016162307A (ja) * | 2015-03-03 | 2016-09-05 | 国立大学法人 和歌山大学 | 身長推定方法及び身長推定システム |
JP2017103602A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
WO2019186677A1 (ja) * | 2018-03-27 | 2019-10-03 | 株式会社日立製作所 | ロボット位置姿勢推定・三次元計測装置 |
JPWO2018142496A1 (ja) * | 2017-02-01 | 2019-11-07 | 株式会社日立製作所 | 三次元計測装置 |
JP2020068495A (ja) * | 2018-10-26 | 2020-04-30 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2006
- 2006-02-28 JP JP2006051900A patent/JP2007233523A/ja not_active Withdrawn
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
JP2009223693A (ja) * | 2008-03-17 | 2009-10-01 | Glory Ltd | 人物計数装置および人物計数方法 |
JP2010199701A (ja) * | 2009-02-23 | 2010-09-09 | Fujitsu Ltd | 画像処理装置、画像処理方法、及び、画像処理プログラム |
JP2010206405A (ja) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | 画像監視装置 |
JP2012014281A (ja) * | 2010-06-29 | 2012-01-19 | Canon Inc | 情報処理装置およびその動作方法 |
JP2012159957A (ja) * | 2011-01-31 | 2012-08-23 | Secom Co Ltd | 移動物体追跡装置 |
JP2012216180A (ja) * | 2011-03-30 | 2012-11-08 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP2016162307A (ja) * | 2015-03-03 | 2016-09-05 | 国立大学法人 和歌山大学 | 身長推定方法及び身長推定システム |
JP2017103602A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
JPWO2018142496A1 (ja) * | 2017-02-01 | 2019-11-07 | 株式会社日立製作所 | 三次元計測装置 |
WO2019186677A1 (ja) * | 2018-03-27 | 2019-10-03 | 株式会社日立製作所 | ロボット位置姿勢推定・三次元計測装置 |
JP2020068495A (ja) * | 2018-10-26 | 2020-04-30 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7237520B2 (ja) | 2018-10-26 | 2023-03-13 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007233523A (ja) | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム | |
JP7002056B2 (ja) | 三次元モデル生成装置及び三次元モデル生成方法 | |
US20200143165A1 (en) | Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium | |
Stauffer et al. | Automated multi-camera planar tracking correspondence modeling | |
EP2745171B1 (en) | Projector and control method thereof | |
US7825948B2 (en) | 3D video conferencing | |
USRE47925E1 (en) | Method and multi-camera portable device for producing stereo images | |
CN107273846B (zh) | 一种人体体型参数确定方法及装置 | |
CN102833486B (zh) | 一种实时调节视频图像中人脸显示比例的方法及装置 | |
JP2020184795A (ja) | 映像監視システム、映像監視方法、及びプログラム | |
KR102397343B1 (ko) | 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스 | |
JP6619927B2 (ja) | キャリブレーション装置 | |
JP2019075156A (ja) | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード | |
JP6749498B2 (ja) | 撮影対象追跡装置及び撮影対象追跡方法 | |
JP2012057974A (ja) | 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム | |
WO2022127181A1 (zh) | 客流的监测方法、装置、电子设备及存储介质 | |
TWI433049B (zh) | 眼鏡虛擬試戴互動服務系統與方法 | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
US9525860B2 (en) | Enhancing a spatio-temporal resolution of a depth data stream | |
JP6622575B2 (ja) | 制御装置、制御方法、およびプログラム | |
JP2005135339A (ja) | 通行人検出方法および装置ならびに通行人計数装置 | |
EP2866446B1 (en) | Method and multi-camera portable device for producing stereo images | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
JP2002117403A (ja) | 画像処理装置および画像処理方法 | |
JP2015033047A (ja) | 複数カメラを用いた奥行き推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081223 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20091110 |