JP5751996B2 - 被写体3次元領域推定方法およびプログラム - Google Patents
被写体3次元領域推定方法およびプログラム Download PDFInfo
- Publication number
- JP5751996B2 JP5751996B2 JP2011196928A JP2011196928A JP5751996B2 JP 5751996 B2 JP5751996 B2 JP 5751996B2 JP 2011196928 A JP2011196928 A JP 2011196928A JP 2011196928 A JP2011196928 A JP 2011196928A JP 5751996 B2 JP5751996 B2 JP 5751996B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- coordinates
- plane
- estimating
- likelihood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
を含むこと
s(u’、v’、1)T=Hc(u、v、1)T
である。なお、sは規格化のためのスカラーである。
(Ut,Vt)=(Xt−Xt−1,Yt−Yt−1)
と定式化される。
s(xt,c (n)、yt,c (n)、1)T=Hc(Xt (n)、Yt (n)、1)T
なお、n=1,・・・,Nであり、cは、カメラを示す。例えばカメラがC台あるとき、c=1,・・・,Cとなる。
Φ(xy)=(1/カメラ台数)×(1/長方形内の画素数)ΣΣφc(x’、y’)
と表せる。
ここで、φc(x’、y’)は、カメラcによるカメラ画像での長方形領域内の画素(x’、y’)での被写体らしさを示す尤度であり、最初のΣは全カメラについての総和であり、次のΣは長方形内のすべて画素についての総和である。
Claims (8)
- 初期フレームにおける被写体の3次元世界座標と、複数のカメラで撮影された複数フレームの、前記被写体を含むカメラ画像とから、後続フレームにおける被写体の3次元世界座標を推定する方法であって、
前記初期フレームにおける被写体の3次元世界座標を特定平面上のXY座標に射影するステップと、
前記後続フレームにおける前記特定平面上の被写体のXY座標を時間軸情報に基づき推定するステップと、
前記特定平面上の被写体のXY座標を評価するステップと、
を含み、
前記特定平面上のXY座標に射影するステップは、前記被写体の3次元世界座標を、前記被写体が存在するフィールド面を真上から俯瞰した場合に得られる俯瞰平面を前記特定平面として該俯瞰平面上のXY座標に射影し、前記被写体を俯瞰平面上に存在する複数の粒子として近似し、
前記被写体のXY座標を評価するステップは、前記俯瞰平面上の被写体のXY座標が被写体らしいかどうかを示す尤度を、前記被写体が前記粒子として近似された各カメラ画像から算出し、全カメラ画像から算出された被写体ごとの該尤度の総和から、前記俯瞰平面上の当該被写体のXY座標が被写体のものらしいかどうかを被写体ごとに評価し、前記後続フレームにおける被写体の3次元世界座標を、被写体のものらしいと評価されたXY座標でマップ化して推定することを特徴とする被写体の3次元世界座標を推定する方法。 - 前記時間軸情報に基づき推定するステップは、
前記被写体を形成する粒子に関して、俯瞰平面上の移動方向をフレーム間のXY座標差分に基づく速度により定式化することを特徴とする請求項1に記載の方法。 - 前記被写体のXY座標を評価するステップは、
各カメラの前記俯瞰平面に対する平面射影行列を推定するサブステップと、
前記平面射影行列により射影された各カメラ画像から、被写体を形成する各粒子の尤度を算出するサブステップと、
前記被写体を形成する各粒子の尤度から、前記後続フレームで被写体を形成する粒子群のXY座標を推定するサブステップと、
を含むことを特徴とする請求項1または2に記載の方法。 - 前記カメラの前記俯瞰平面に対する平面射影行列を推定するサブステップは、
前記俯瞰平面上のXY座標が既知の特徴点について、前記カメラ画像中で観測される画素を4点以上与え、最小2乗法により前記俯瞰平面に対する平面射影行列を推定することを特徴とする請求項3に記載の方法。 - 前記各粒子の尤度を算出するサブステップは、
前記粒子のXY座標を前記俯瞰平面に対する平面射影行列により各カメラ画像へ射影し、
前記各カメラ画像において、前記粒子のXY座標が射影された画素を底辺の中心とする長方形領域を設定し、
前記長方形領域内部に含まれる各画素の被写体らしさを算出し、
前記被写体らしさの平均から前記粒子の尤度を算出することを特徴とする請求項3または4に記載の方法。 - 前記各画素の被写体らしさは、
現時刻のフレーム直前までに構築される動的背景モデルに基づく尤度と、
被写体のユニフォーム色に基づく情報と、
背景パターン色に基づく情報と、
から算出されることを特徴とする請求項5に記載の方法。 - 前記後続フレームで被写体を形成する粒子群のXY座標を推定するサブステップは、
一定の尤度以下の粒子を消滅させ、一定尤度より大きい粒子近傍に、新たな粒子を再配置する処理を含むことを特徴とする請求項3から6のいずれか1項に記載の方法。 - 初期フレームにおける被写体の3次元世界座標と、複数のカメラで撮影された複数フレームの、前記被写体を含むカメラ画像とから、後続フレームにおける被写体の3次元世界座標を推定するためのコンピュータを、
前記初期フレームにおける被写体の3次元世界座標を特定平面上のXY座標に射影する手段と、
前記後続フレームにおける前記特定平面上の被写体のXY座標を時間軸情報に基づき推定する手段と、
前記特定平面上の被写体のXY座標を評価する手段と、
して機能させ、
前記特定平面上のXY座標に射影する手段は、前記被写体の3次元世界座標を、前記被写体が存在するフィールド面を真上から俯瞰した場合に得られる俯瞰平面を前記特定平面として該俯瞰平面上のXY座標に射影し、前記被写体を俯瞰平面上に存在する複数の粒子として近似し、
前記被写体のXY座標を評価する手段は、前記俯瞰平面上の被写体のXY座標が被写体らしいかどうかを示す尤度を、前記被写体が前記粒子として近似された各カメラ画像から算出し、全カメラ画像から算出された被写体ごとの該尤度の総和から、前記俯瞰平面上の当該被写体のXY座標が被写体のものらしいかどうかを被写体ごとに評価し、前記後続フレームにおける被写体の3次元世界座標を、被写体のものらしいと評価されたXY座標でマップ化して推定する被写体の3次元世界座標を推定することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196928A JP5751996B2 (ja) | 2011-09-09 | 2011-09-09 | 被写体3次元領域推定方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196928A JP5751996B2 (ja) | 2011-09-09 | 2011-09-09 | 被写体3次元領域推定方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013058132A JP2013058132A (ja) | 2013-03-28 |
JP5751996B2 true JP5751996B2 (ja) | 2015-07-22 |
Family
ID=48133958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011196928A Active JP5751996B2 (ja) | 2011-09-09 | 2011-09-09 | 被写体3次元領域推定方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5751996B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2452508A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | Generating a three-dimensional representation of a sports game |
JP4991595B2 (ja) * | 2008-02-21 | 2012-08-01 | 株式会社東芝 | パーティクルフィルタを使用する追跡システム |
JP5180733B2 (ja) * | 2008-08-19 | 2013-04-10 | セコム株式会社 | 移動物体追跡装置 |
JP5366258B2 (ja) * | 2010-02-17 | 2013-12-11 | Kddi株式会社 | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
-
2011
- 2011-09-09 JP JP2011196928A patent/JP5751996B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013058132A (ja) | 2013-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3698323B1 (en) | Depth from motion for augmented reality for handheld user devices | |
CN104980651B (zh) | 图像处理设备及控制方法 | |
US10789765B2 (en) | Three-dimensional reconstruction method | |
US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
CN111243071A (zh) | 实时三维人体重建的纹理渲染方法、***、芯片、设备和介质 | |
KR101820673B1 (ko) | 멀티 스레드 방식을 기반으로 하는 3d 디스플레이를 위한 비디오 처리 방법 | |
KR101669840B1 (ko) | 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법 | |
JP2016095849A (ja) | 前景画像分割方法及び装置、プログラム、並びに記録媒体 | |
CN107798704B (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
JP6985897B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
KR20110032157A (ko) | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 | |
CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
CN110660076A (zh) | 一种人脸交换方法 | |
WO2015188666A1 (zh) | 三维视频滤波方法和装置 | |
US20140050392A1 (en) | Method and apparatus for detecting and tracking lips | |
JP2018195084A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
WO2016030304A1 (en) | Method and device for editing a facial image | |
CN113724155A (zh) | 用于自监督单目深度估计的自提升学习方法、装置及设备 | |
JP6272071B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Takai et al. | Harmonised texture mapping | |
KR20100122381A (ko) | 회화적 렌더링 장치 및 방법 | |
CN111275610B (zh) | 一种人脸变老图像处理方法及*** | |
JP5751996B2 (ja) | 被写体3次元領域推定方法およびプログラム | |
JP2001141425A (ja) | 3次元形状計測装置 | |
US10366510B1 (en) | Systems and methods for determining location and orientation of a body |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130418 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130531 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5751996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |