JP5751996B2

JP5751996B2 - 被写体３次元領域推定方法およびプログラム

Info

Publication number: JP5751996B2
Application number: JP2011196928A
Authority: JP
Inventors: 浩嗣三功; 内藤　整; 整内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2011-09-09
Filing date: 2011-09-09
Publication date: 2015-07-22
Anticipated expiration: 2031-09-09
Also published as: JP2013058132A

Description

本発明は、自由視点映像の合成において最も重要な処理である、被写体の３次位置を推定する方法およびプログラムに関する。

大空間を対象に、カメラの強校正を前提とせず、画像情報のみを用いて任意視点画像を合成する手法が提案された。しかしながら、サッカー等の屋外大空間で実施されるスポーツ映像を対象に、選手の３次元位置を高精度に推定する従来技術は、単一カメラ情報のみを用いるものがほとんどである。

また、非特許文献１は、一般状態空間モデルにおける高次元の状態ベクトルの推定手法として、実装の容易さから様々な応用分野へ急速に普及しつつある粒子フィルタの概説を行っている。

樋口知之:"粒子フィルタ", 電子情報通信学会誌,Vol.88, No. 12, pp. 989-994 (2005)

しかしながら、単一カメラ情報のみを用いる従来技術では、被写体どうしが重なるオクルージョン領域の発生により、推定精度が低下するという課題があった。

以上の問題点を踏まえ、本発明では、単一のカメラ映像だけでなく、同期撮影された複数のカメラ映像を統合的に扱うことで、被写体３次元位置推定の精度を向上させる被写体３次元領域推定方法およびプログラムを提供することを目的とする。

上記目的を実現するため本発明による被写体の３次元世界座標を推定する方法は、初期フレームにおける被写体の３次元世界座標と、複数のカメラで撮影された複数フレームの、前記被写体を含むカメラ画像とから、後続フレームにおける被写体の３次元世界座標を推定する方法であって、前記初期フレームにおける被写体の３次元世界座標を特定平面上のＸＹ座標に射影するステップと、前記後続フレームにおける前記特定平面上の被写体のＸＹ座標を時間軸情報に基づき推定するステップと、前記特定平面上の被写体のＸＹ座標を評価するステップと、を含み、前記特定平面上のＸＹ座標に射影するステップは、前記被写体の３次元世界座標を、前記被写体が存在するフィールド面を真上から俯瞰した場合に得られる俯瞰平面を前記特定平面として該俯瞰平面上のＸＹ座標に射影し、前記被写体を俯瞰平面上に存在する複数の粒子として近似し、前記被写体のＸＹ座標を評価するステップは、前記俯瞰平面上の被写体のＸＹ座標が被写体らしいかどうかを示す尤度を、前記被写体が前記粒子として近似された各カメラ画像から算出し、全カメラ画像から算出された被写体ごとの該尤度の総和から、前記俯瞰平面上の当該被写体のＸＹ座標が被写体のものらしいかどうかを被写体ごとに評価し、前記後続フレームにおける被写体の３次元世界座標を、被写体のものらしいと評価されたＸＹ座標でマップ化して推定する。

また、前記時間軸情報に基づき推定するステップは、前記被写体を形成する粒子に関して、俯瞰平面上の移動方向をフレーム間のＸＹ座標差分に基づく速度により定式化することも好ましい。

また、前記被写体のＸＹ座標を評価するステップは、各カメラの前記俯瞰平面に対する平面射影行列を推定するサブステップと、前記平面射影行列により射影された各カメラ画像から、被写体を形成する各粒子の尤度を算出するサブステップと、前記被写体を形成する各粒子の尤度から、前記後続フレームで被写体を形成する粒子群のＸＹ座標を推定するサブステップとを含むことも好ましい。
を含むこと

また、前記カメラの前記俯瞰平面に対する平面射影行列を推定するサブステップは、前記俯瞰平面上のＸＹ座標が既知の特徴点について、前記カメラ画像中で観測される画素を４点以上与え、最小２乗法により前記俯瞰平面に対する平面射影行列を推定することも好ましい。

また、前記各粒子の尤度を算出するサブステップは、前記粒子のＸＹ座標を前記俯瞰平面に対する平面射影行列により各カメラ画像へ射影し、前記各カメラ画像において、前記粒子のＸＹ座標が射影された画素を底辺の中心とする長方形領域を設定し、前記長方形領域内部に含まれる各画素の被写体らしさを算出し、前記被写体らしさの平均から前記粒子の尤度を算出することも好ましい。

また、前記各画素の被写体らしさは、現時刻のフレーム直前までに構築される動的背景モデルに基づく尤度と、被写体のユニフォーム色に基づく情報と、背景パターン色に基づく情報とから算出されることも好ましい。

また、前記後続フレームで被写体を形成する粒子群のＸＹ座標を推定するサブステップは、一定の尤度以下の粒子を消滅させ、一定尤度より大きい粒子近傍に、新たな粒子を再配置する処理を含むことも好ましい。

上記目的を実現するため本発明による被写体の３次元世界座標を推定することを特徴とするプログラムは、初期フレームにおける被写体の３次元世界座標と、複数のカメラで撮影された複数フレームの、前記被写体を含むカメラ画像とから、後続フレームにおける被写体の３次元世界座標を推定するためのコンピュータを、前記初期フレームにおける被写体の３次元世界座標を特定平面上のＸＹ座標に射影する手段と、前記後続フレームにおける前記特定平面上の被写体のＸＹ座標を時間軸情報に基づき推定する手段と、前記特定平面上の被写体のＸＹ座標を評価する手段として機能させ、前記特定平面上のＸＹ座標に射影する手段は、前記被写体の３次元世界座標を、前記被写体が存在するフィールド面を真上から俯瞰した場合に得られる俯瞰平面を前記特定平面として該俯瞰平面上のＸＹ座標に射影し、前記被写体を俯瞰平面上に存在する複数の粒子として近似し、前記被写体のＸＹ座標を評価する手段は、前記俯瞰平面上の被写体のＸＹ座標が被写体らしいかどうかを示す尤度を、前記被写体が前記粒子として近似された各カメラ画像から算出し、全カメラ画像から算出された被写体ごとの該尤度の総和から、前記俯瞰平面上の当該被写体のＸＹ座標が被写体のものらしいかどうかを被写体ごとに評価し、前記後続フレームにおける被写体の３次元世界座標を、被写体のものらしいと評価されたＸＹ座標でマップ化して推定する被写体の３次元世界座標を推定する。

本発明により、被写体３次元領域の推定精度を大幅に改善することができ、自由視点映像の合成画質を向上することができる。

本発明によるフローチャートを示す。カメラ画像における長方形領域を示す。初期フレームでのカメラ画像と被写体ＸＹ座標マップ画像を示す。フレーム３０でのカメラ画像と被写体ＸＹ座標マップ画像を示す。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。提案手法は、時間軸情報と複数カメラ間の情報を統合的に扱うことを特徴とする。具体的には、ある特定フレームにおいて、各選手の３次元位置を真上から見下ろした場合に得られるＸＹ座標でマップ化し、後続フレームでは、同マップのフレーム間情報に基づく動き予測と、カメラ間での対応を考慮した選手らしさの評価（候補点をカメラ視点に投影し、選手かどうかを評価）によってマップを自動生成する。以下、本フローチャートに基づいて説明する。なお、本実施例では、非固定ズームカメラの３次元位置は変化しないことを前提とする。

開始：複数フレーム分の多視点映像を入力する。つまり、２台以上のカメラで撮影された複数フレームのカメラ画像が入力される。

ステップ１：各カメラのフィールド面に対する平面射影行列を推定する。例えば、フィールド上ライン等、予め３次元座標が既知の特徴点について、カメラ画像中での画素座標を複数組与えることで、平面射影行列Ｈｃを推定することができる（参考：特願２０１０−０３２１３６）。また、空間内のユークリッド座標系とカメラ座標系との射影関係を推定するカメラの強校正を予め行って、平面射影行列Ｈｃを事前に求めておくこともできる。

平面射影行列Ｈｃは、３行３列の行列であり、対象フィールドの２次元座標中の点（ｕ、ｖ）をカメラ画素座標（ｕ’、ｖ’）に射影する。つまり、
s（ｕ’、ｖ’、１）^Ｔ＝Ｈｃ（ｕ、ｖ、１）^Ｔ
である。なお、ｓは規格化のためのスカラーである。

ステップ２：各被写体を複数の粒子で近似する。３次元世界座標を、各被写体が存在するフィールド面を真上から俯瞰した場合に得られる俯瞰平面上のＸＹ座標に射影し、各被写体を俯瞰平面上に存在する複数の粒子として近似する。この被写体は、Ｎ個の粒子から構成されるものとして、時刻ｔにおける被写体の状態を、多数の離散的な粒子群として定式化する。時刻ｔの被写体は、
のＮ個のベクトルによって表される。カメラ画像中にＭ個の被写体があれば、Ｎ×Ｍ個のベクトルでカメラ画像中の全被写体が複数の粒子で近似される。なお、このベクトルの初期値として、最低２フレーム分（ｔ＝０、１）が事前に入力され、以下のステップで、これ以降のフレームにおける被写体を形成する粒子の位置を推定し、被写体のＸＹ座標での位置を推定する。

ステップ３：粒子の状態遷移モデルを定式化する。各被写体を形成する粒子に関して、俯瞰平面上の移動方向をフレーム間のＸＹ座標差分に基づく速度（Ｕ，Ｖ）により定式化する。

フレームｔで粒子の速度を表す移動ベクトル（Ｕ_ｔ，Ｖ_ｔ）は、
（Ｕ_ｔ，Ｖ_ｔ）＝（Ｘ_ｔ−Ｘ_ｔ−１，Ｙ_ｔ−Ｙ_ｔ−１）
と定式化される。

この式により、２フレーム分（ｔ＝０、１）の粒子の位置が入力された場合、（Ｕ_１，Ｖ_１）が求まり、この速度を用いてｔ＝２での粒子の位置（Ｕ_２，Ｖ_２）が求まる。ｔ＝３以上も同様にして粒子の位置を求めることができる。

ステップ４：粒子の尤度を算出する。被写体のＸＹ座標での位置を推定するフレームをｔとする。ステップ３の式により、初期フレーム（ｔ＝０）の粒子のＸＹ座標（Ｘ_０ ^（ｎ）、Ｙ_０ ^（ｎ））から、フレームｔでの粒子のＸＹ座標（Ｘ_ｔ ^（ｎ）、Ｙ_ｔ ^（ｎ））が求まる。求めた（Ｘ_ｔ ^（ｎ）、Ｙ_ｔ ^（ｎ））を、平面射影行列Ｈｃにより各カメラ画像中の画素（ｘ_ｔ，ｃ ^（ｎ）、ｙ_ｔ，ｃ ^（ｎ））に射影する。
s（ｘ_ｔ，ｃ ^（ｎ）、ｙ_ｔ，ｃ ^（ｎ）、１）^Ｔ＝Ｈｃ（Ｘ_ｔ ^（ｎ）、Ｙ_ｔ ^（ｎ）、１）^Ｔ
なお、ｎ＝１，・・・，Ｎであり、ｃは、カメラを示す。例えばカメラがＣ台あるとき、ｃ＝１，・・・，Ｃとなる。

次に、カメラ画像において、画素（ｘ_ｔ，ｃ ^（ｎ）、ｙ_ｔ，ｃ ^（ｎ））を底辺の中心点とする長方形領域を設定する。例えば、長方形の幅をｗ、高さをｖとすると画素ｘｙに対して、（ｘ−ｗ／２、ｙ）、（ｘ＋ｗ／２、ｙ）、（ｘ−ｗ／２、ｙ＋ｖ）、（ｘ＋ｗ／２、ｙ＋ｖ）の４点の長方形領域が設定される。図２は、画素ｘｙに対して設定された長方形領域を示す。

次に、この長方形領域に含まれる各画素について、被写体らしさを示す尤度を算出し、算出された尤度の平均値を、画素ｘｙでの粒子の尤度（Φ（ｘｙ））とする。Φ（ｘｙ）は、
Φ（ｘｙ）＝（１／カメラ台数）×（１／長方形内の画素数）ΣΣφｃ（ｘ’、ｙ’）
と表せる。
ここで、φｃ（ｘ’、ｙ’）は、カメラｃによるカメラ画像での長方形領域内の画素（ｘ’、ｙ’）での被写体らしさを示す尤度であり、最初のΣは全カメラについての総和であり、次のΣは長方形内のすべて画素についての総和である。

なお、各画素での被写体らしさを示す尤度は、時刻ｔ−１までに構築される動的背景モデルをもとに尤度を算出する。なお、動的背景モデルは、画素ごとに、複数フレーム分の平均、分散をもとにガウス分布を仮定することで定式化される。

さらに、被写体の人物のユニフォームの色が事前に分かっている場合、長方形領域の被写体の色とこのユニフォームの色を比較して、差分情報を被写体らしさを示す尤度に加えることができる。さらに、背景の色が事前に分かっている場合、長方形領域の背景の色とこの背景の色を比較して、差分情報を被写体らしさを示す尤度に加えることができる。

ステップ５：一定尤度以上の粒子近傍に再配置する。上記ステップで画素（ｘ_ｔ ^（ｎ）、ｙ_ｔ ^（ｎ））に対して、粒子の尤度が算出される。ここで、尤度が一定以下の粒子を消滅させ、消滅させた粒子数と同じ数の粒子を、尤度が一定より大きい粒子の周りに再配置する。例えば、画素（ｘ_ｔ ^（ｎ）、ｙ_ｔ ^（ｎ））において、ｎ＝１から１００の尤度が一定以下の場合、（ｘ_ｔ ^（１）、ｙ_ｔ ^（１））から（ｘ_ｔ ^{（１００）}、ｙ_ｔ ^{（１００）}）の粒子は、消滅させられ、（ｘ_ｔ ^{（１０１）}、ｙ_ｔ ^{（１０１）}）から（ｘ_ｔ ^（Ｎ）、ｙ_ｔ ^（Ｎ））の近傍に新たな（ｘ_ｔ ^（１）、ｙ_ｔ ^（１））から（ｘ_ｔ ^{（１００）}、ｙ_ｔ ^{（１００）}）の新たな粒子が再配置される。

以上のようにして、フレームｔにおいて、被写体を近似する複数の粒子が推定され、この複数の粒子から、俯瞰平面上でのフレームｔにおける被写体のＸＹ座標が推定される。

次に、本発明の実施例を示す。図３は、初期フレームでのカメラ画像と被写体ＸＹ座標マップ画像を示す。図３（ａ）は、カメラ１の画像を示し、図３（ｂ）は、カメラ２の画像を示し、図３（ｃ）は、被写体ＸＹ座標マップ画像を示す。図３（ｃ）の各点が、被写体（本実施例では選手）を示す。この被写体を構成する複数の粒子のＸＹ座標が初期値として入力される。

図４は、フレーム３０でのカメラ画像と被写体ＸＹ座標マップ画像を示す。図４（ａ）は、カメラ１の画像を示し、図４（ｂ）は、カメラ２の画像を示し、図４（ｃ）は、被写体ＸＹ座標マップ画像を示す。それぞれ、ｔ＝３０での画像を示す。本実施例は、１秒間３０フレームであるため、図４のカメラ画像は、図３のカメラ画像から１秒後の画像である。図４（ｃ）が、フレーム３０において、本発明の方法により推定された被写体の粒子の画像である。

以上のように、本発明は、ある特定フレームにおいて、各選手の３次元位置を真上から見下ろした場合に得られるＸＹ座標でマップ化し、後続フレームで、同マップのフレーム間情報に基づく動き予測と、カメラ間での対応を考慮した選手らしさの評価によって被写体領域を推定する。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

Claims

初期フレームにおける被写体の３次元世界座標と、複数のカメラで撮影された複数フレームの、前記被写体を含むカメラ画像とから、後続フレームにおける被写体の３次元世界座標を推定する方法であって、
前記初期フレームにおける被写体の３次元世界座標を特定平面上のＸＹ座標に射影するステップと、
前記後続フレームにおける前記特定平面上の被写体のＸＹ座標を時間軸情報に基づき推定するステップと、
前記特定平面上の被写体のＸＹ座標を評価するステップと、
を含み、
前記特定平面上のＸＹ座標に射影するステップは、前記被写体の３次元世界座標を、前記被写体が存在するフィールド面を真上から俯瞰した場合に得られる俯瞰平面を前記特定平面として該俯瞰平面上のＸＹ座標に射影し、前記被写体を俯瞰平面上に存在する複数の粒子として近似し、
前記被写体のＸＹ座標を評価するステップは、前記俯瞰平面上の被写体のＸＹ座標が被写体らしいかどうかを示す尤度を、前記被写体が前記粒子として近似された各カメラ画像から算出し、全カメラ画像から算出された被写体ごとの該尤度の総和から、前記俯瞰平面上の当該被写体のＸＹ座標が被写体のものらしいかどうかを被写体ごとに評価し、前記後続フレームにおける被写体の３次元世界座標を、被写体のものらしいと評価されたＸＹ座標でマップ化して推定することを特徴とする被写体の３次元世界座標を推定する方法。
前記時間軸情報に基づき推定するステップは、
前記被写体を形成する粒子に関して、俯瞰平面上の移動方向をフレーム間のＸＹ座標差分に基づく速度により定式化することを特徴とする請求項１に記載の方法。
前記被写体のＸＹ座標を評価するステップは、
各カメラの前記俯瞰平面に対する平面射影行列を推定するサブステップと、
前記平面射影行列により射影された各カメラ画像から、被写体を形成する各粒子の尤度を算出するサブステップと、
前記被写体を形成する各粒子の尤度から、前記後続フレームで被写体を形成する粒子群のＸＹ座標を推定するサブステップと、
を含むことを特徴とする請求項１または２に記載の方法。
前記カメラの前記俯瞰平面に対する平面射影行列を推定するサブステップは、
前記俯瞰平面上のＸＹ座標が既知の特徴点について、前記カメラ画像中で観測される画素を４点以上与え、最小２乗法により前記俯瞰平面に対する平面射影行列を推定することを特徴とする請求項３に記載の方法。
前記各粒子の尤度を算出するサブステップは、
前記粒子のＸＹ座標を前記俯瞰平面に対する平面射影行列により各カメラ画像へ射影し、
前記各カメラ画像において、前記粒子のＸＹ座標が射影された画素を底辺の中心とする長方形領域を設定し、
前記長方形領域内部に含まれる各画素の被写体らしさを算出し、
前記被写体らしさの平均から前記粒子の尤度を算出することを特徴とする請求項３または４に記載の方法。
前記各画素の被写体らしさは、
現時刻のフレーム直前までに構築される動的背景モデルに基づく尤度と、
被写体のユニフォーム色に基づく情報と、
背景パターン色に基づく情報と、
から算出されることを特徴とする請求項５に記載の方法。
前記後続フレームで被写体を形成する粒子群のＸＹ座標を推定するサブステップは、
一定の尤度以下の粒子を消滅させ、一定尤度より大きい粒子近傍に、新たな粒子を再配置する処理を含むことを特徴とする請求項３から６のいずれか１項に記載の方法。
初期フレームにおける被写体の３次元世界座標と、複数のカメラで撮影された複数フレームの、前記被写体を含むカメラ画像とから、後続フレームにおける被写体の３次元世界座標を推定するためのコンピュータを、
前記初期フレームにおける被写体の３次元世界座標を特定平面上のＸＹ座標に射影する手段と、
前記後続フレームにおける前記特定平面上の被写体のＸＹ座標を時間軸情報に基づき推定する手段と、
前記特定平面上の被写体のＸＹ座標を評価する手段と、
して機能させ、
前記特定平面上のＸＹ座標に射影する手段は、前記被写体の３次元世界座標を、前記被写体が存在するフィールド面を真上から俯瞰した場合に得られる俯瞰平面を前記特定平面として該俯瞰平面上のＸＹ座標に射影し、前記被写体を俯瞰平面上に存在する複数の粒子として近似し、
前記被写体のＸＹ座標を評価する手段は、前記俯瞰平面上の被写体のＸＹ座標が被写体らしいかどうかを示す尤度を、前記被写体が前記粒子として近似された各カメラ画像から算出し、全カメラ画像から算出された被写体ごとの該尤度の総和から、前記俯瞰平面上の当該被写体のＸＹ座標が被写体のものらしいかどうかを被写体ごとに評価し、前記後続フレームにおける被写体の３次元世界座標を、被写体のものらしいと評価されたＸＹ座標でマップ化して推定する被写体の３次元世界座標を推定することを特徴とするプログラム。