JP4759447B2 - 動体追跡装置,動体追跡方法およびその方法を記述したプログラムを格納した記録媒体 - Google Patents
動体追跡装置,動体追跡方法およびその方法を記述したプログラムを格納した記録媒体 Download PDFInfo
- Publication number
- JP4759447B2 JP4759447B2 JP2006158007A JP2006158007A JP4759447B2 JP 4759447 B2 JP4759447 B2 JP 4759447B2 JP 2006158007 A JP2006158007 A JP 2006158007A JP 2006158007 A JP2006158007 A JP 2006158007A JP 4759447 B2 JP4759447 B2 JP 4759447B2
- Authority
- JP
- Japan
- Prior art keywords
- target state
- image
- moving object
- distribution
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Z.Zhang,"Aflexible new technique for camera calibration",IEEE,Transactions on Pattern Analysis and Machine Intelligence,2000(平成12年),vol.22,No.11,p.1330−1334. 加藤博一、中澤篤志、井口征史,「楕円体モデルを用いたリアルタイム人物追跡」,情報処理学会論文誌,1999(平成11年)11月,vol.40,No11,p.4087−4096。
前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、対象状態予測手段よって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された焦点距離・画像中心に関する撮像装置の内部パラメータ及び撮像装置自体の三次元位置および姿勢情報に関する撮像装置の外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理ステップと、各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶ステップと、各時刻の前記変化ベクトルを記憶する対象状態記憶ステップと、を有し、前記対象状態分布推定ステップが、予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、前記変化タイプを適応して変化させる動体を選択するステップと、前記選択された変化タイプに基づいて、選択された動体の対象状態を変化させるステップと、前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做すステップと、前記三次元構造に関する事前知識に基づいた対象状態の確率的な第1条件尤度と、動体同士の重なりに関する事前知識に基づいた対象状態の確率的な第2条件尤度と、前記シルエット画像とシミュレーション画像の比較による第3条件尤度と、を計算し、その第1乃至第3条件尤度の積を、前記変化させた対象状態の尤度と見做すステップと、前記変化させた対象状態の尤度を用いてシミュレーション画像の暫定状態に更新した回数に応じた対象状態分布を推定するステップと、を有することを特徴とする。
すなわち、インデックスの「0」は更新回数が「0」である初期値であることを示す。
本実施例では、上述の動体追跡装置を用いて、二台のビデオカメラ(カメラC1およびカメラC2)から得られた映像を処理して、追跡範囲に一人ずつ侵入してくる2人の人物を追跡した結果を図4に示した処理フローに基づいて説明する。
12…画像取得手段
13…シルエット画像作成手段
14…対象状態分布推定手段
15…対象状態計算手段
21…三次元環境情報管理手段
22…対象状態分布記憶手段
23…対象状態記憶手段
501…入力画像
502,801〜812,901…シルエット画像
701〜712,1001〜1006…カメラからの画像
902〜904…シミュレーション画像
1007〜1018…対象状態をシミュレートした画像
B…非対象物体
C1,C2,Cp…カメラ
H1,H2,Hk…人物
e…楕円体
Claims (5)
- 動体の三次元位置及び大きさを該動体の対象状態と見做し、1又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡装置であって、
複数の前記動体に対して前時刻に得られた対象状態と対象状態の変化ベクトルとを用いて現時点における対象状態を予測する対象状態予測手段と、
前記画像データを取得する画像取得手段と、
前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、
対象状態予測手段よって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された焦点距離・画像中心に関する撮像装置の内部パラメータおよび撮像装置自体の三次元位置および姿勢情報に関する撮像装置の外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定手段と、
対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて、最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算手段と、
予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、
各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、
各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、を備え、
前記対象状態分布推定手段が、予め用意された変化タイプから任意の確率に従って変化タイプを選択する手段と、
前記変化タイプを適応して変化させる動体を選択する手段と、
前記選択された変化タイプに基づいて、選択された動体の対象状態を変化させる手段と、
前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做す手段と、
前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第1条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第2条件尤度と、
前記シルエット画像とシミュレーション画像の比較による第3条件尤度と、を計算し、その第1乃至第3条件尤度の積を、前記変化させた対象状態の尤度と見做す手段と、
前記変化させた対象状態の尤度を用いてシミュレーション画像の暫定状態に更新した回数に応じた対象状態分布を推定する手段と、
を有することを特徴とする動体追跡装置。 - 請求項1記載の動体追跡装置において、
前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置(x,y)、動体の大きさを該楕円体モデルの半径rと高さh、で表し、
それらパラメータx,y,r,hの値の組み合わせを複数記憶する、
ことを特徴とする動体追跡装置。 - 動体の三次元位置及び大きさを該動体の対象状態と見做し、1又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡方法であって、
複数の前記動体に対して前時刻に得られた対象状態と対象状態の変化ベクトルとを用いて現時点における対象状態を予測する対象状態予測ステップと、
前記画像データを取得する画像取得ステップと、
前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、
対象状態予測手段よって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された焦点距離・画像中心に関する撮像装置の内部パラメータ及び撮像装置自体の三次元位置および姿勢情報に関する撮像装置の外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、
対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、
予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理ステップと、
各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶ステップと、
各時刻の前記変化ベクトルを記憶する対象状態記憶ステップと、を有し、
前記対象状態分布推定ステップが、予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、
前記変化タイプを適応して変化させる動体を選択するステップと、
前記選択された変化タイプに基づいて、選択された動体の対象状態を変化させるステップと、
前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做すステップと、
前記三次元構造に関する事前知識に基づいた対象状態の確率的な第1条件尤度と、動体同士の重なりに関する事前知識に基づいた対象状態の確率的な第2条件尤度と、
前記シルエット画像とシミュレーション画像の比較による第3条件尤度と、を計算し、その第1乃至第3条件尤度の積を、前記変化させた対象状態の尤度と見做すステップと、
前記変化させた対象状態の尤度を用いてシミュレーション画像の暫定状態に更新した回数に応じた対象状態分布を推定するステップと、
を有することを特徴とする動体追跡方法。 - 請求項3記載の動体追跡方法において、
前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置(x,y)、動体の大きさを該楕円体モデルの半径rと高さh、で表し、
それらパラメータx,y,r,hの値の組み合わせを複数記憶する、
ことを特徴とする動体追跡方法。 - 請求項3または4のいずれかに記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006158007A JP4759447B2 (ja) | 2006-06-07 | 2006-06-07 | 動体追跡装置,動体追跡方法およびその方法を記述したプログラムを格納した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006158007A JP4759447B2 (ja) | 2006-06-07 | 2006-06-07 | 動体追跡装置,動体追跡方法およびその方法を記述したプログラムを格納した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007328479A JP2007328479A (ja) | 2007-12-20 |
JP4759447B2 true JP4759447B2 (ja) | 2011-08-31 |
Family
ID=38928917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006158007A Expired - Fee Related JP4759447B2 (ja) | 2006-06-07 | 2006-06-07 | 動体追跡装置,動体追跡方法およびその方法を記述したプログラムを格納した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4759447B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4923000B2 (ja) * | 2008-06-11 | 2012-04-25 | 日本電信電話株式会社 | 複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体 |
KR101480410B1 (ko) | 2008-12-04 | 2015-01-08 | 삼성전자주식회사 | 디지털 영상 처리기에서 스포츠 자세 교정 장치 및 방법 |
JP4879257B2 (ja) * | 2008-12-12 | 2012-02-22 | 日本電信電話株式会社 | 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4070618B2 (ja) * | 2003-01-15 | 2008-04-02 | 日本電信電話株式会社 | 物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにそのプログラムを記録した記録媒体 |
US7212665B2 (en) * | 2004-11-05 | 2007-05-01 | Honda Motor Co. | Human pose estimation with data driven belief propagation |
-
2006
- 2006-06-07 JP JP2006158007A patent/JP4759447B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007328479A (ja) | 2007-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7940957B2 (en) | Object tracker for visually tracking object motion | |
JP4951490B2 (ja) | 動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体 | |
JP4625129B2 (ja) | 座標化された混合因子分析法を用いた3次元ヒューマンモーションの単眼追跡 | |
JP6816058B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
Gao et al. | Object tracking using firefly algorithm | |
JP5555207B2 (ja) | 3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
CN107980150A (zh) | 对三维空间建模 | |
US20120114173A1 (en) | Image processing device, object tracking device, and image processing method | |
KR20120014106A (ko) | 이미지 형성을 위한 모션 블러 모델링 | |
Ye et al. | Faster voxelpose: Real-time 3d human pose estimation by orthographic projection | |
KR101925879B1 (ko) | 깊이 영상을 이용하는 동작 추정 방법 및 장치 | |
WO2021044122A1 (en) | Scene representation using image processing | |
AU2018379393A1 (en) | Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments | |
EP3998582A1 (en) | Three-dimensional model generation method and three-dimensional model generation device | |
JP2008134939A (ja) | 動体追跡装置,動体追跡方法,その方法を記述した動体追跡プログラム及びそのプログラムを格納した記録媒体 | |
JP4070618B2 (ja) | 物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにそのプログラムを記録した記録媒体 | |
JP4759447B2 (ja) | 動体追跡装置,動体追跡方法およびその方法を記述したプログラムを格納した記録媒体 | |
JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
JP4673241B2 (ja) | 動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体 | |
KR100635883B1 (ko) | 실시간 물체 추적 장치 | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
JP2010187130A (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体。 | |
JP2005242646A (ja) | 人流計測装置、人流計測方法および人流計測プログラム | |
JP4923000B2 (ja) | 複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体 | |
Lanz et al. | Hybrid joint-separable multibody tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080905 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090605 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4759447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |