JP2011170487A - 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム - Google Patents
大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム Download PDFInfo
- Publication number
- JP2011170487A JP2011170487A JP2010032136A JP2010032136A JP2011170487A JP 2011170487 A JP2011170487 A JP 2011170487A JP 2010032136 A JP2010032136 A JP 2010032136A JP 2010032136 A JP2010032136 A JP 2010032136A JP 2011170487 A JP2011170487 A JP 2011170487A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- area
- virtual viewpoint
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】複数の視点画像を、1つまたは複数の移動領域と背景領域に分割し、複数の視点画像内の幾何情報をもとに、モデル座標空間を構築し、視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成する。また、前記背景領域の画像から、仮想視点での背景領域の画像を生成する。生成された移動領域の画像と生成された背景領域の画像を合成し、仮想視点での画像を生成する。
【選択図】図1
Description
u1u2+v1v2+f2=0
から、焦点距離fを求める。図3は、フットサルコートの縦横のラインから、消失点V1,V2算出の例を示す。
u1u2+v1v2+f2=0
から求まる。中心射影行列Pは、視点画像の4つ以上の平面上の対応点、および2つ以上の空間上の対応点の位置と高さから算出する。
・重なっているところは、一番手前の選手の位置しかマッピングできていない
・同じ選手のマッピングでもH行列の精度で微妙にずれている
・対応していないごみエリアを含んでいる
という状態を含んでいる。図7は、フットサルコートにおける平面座標での全視点分のマッピング結果の例を示す。ここで、図7aは、全視点分がマッピングされた画像である。例えば、矢印1で示されるところは、それぞれ同じ選手のずれている位置であるが、微妙にずれていることがわかる。
・モデル座標上にマッピングされたn個の点P1(x1,y1,0),・・・,Pn(xn,yn,0)に対し、全ての点間でのユークリッド2乗距離
dij 2=(xi−xj)2+(yi−yj)2 (i,j=1,2,・・・,n)
を求め、
dij<閾値
である場合、点Pi(xi,yi,0)と点Pj(xj,yj,0)は同じグループに属すると判断される。逆に、
dij≧閾値
である場合、点Pi(xi,yi,0)と点Pj(xj,yj,0)は同じグループに属さないと判断される。
・隣の視点でオクルージョンを起こしていない場合:隣の視点の背景領域を、オクルージョンしている視点に射影する。射影した背景領域を用いて人物領域のテクスチャを抜き出す。
・隣の視点でもオクルージョンを起こしている場合:この場合、抜き出したテクスチャをそのまま利用する。
・視点1、視点2の内部パラメータ行列A1,A2から仮想視点cでの内部パラメータ行列Acを求める。内部パラメータ行列A1,A2は、
fAc=(1−α)fA1+αfA2
このfAcを用いて、仮想視点cでの内部パラメータ行列Acは、
・視点1、視点2の回転行列R1,R2から仮想視点cでの回転行列Rcを求める。回転行列R1,R2に対して、方位角θ、仰角φ、チルト角τに分解する(ただし、本実施形態では水平線に対して傾いていることは想定しないのでτ=0とする)。回転行列R1,R2の方位角θ1,θ2、仰角φ1,φ2、すると、仮想視点cの方位角θc、φcは、
θc=(1−α)θ1+αθ2
φc=(1−α)φ1+αφ2
と表せる。このθc、φcとを組み合わせて、Rcが求まる。
・視点1、視点2の並進ベクトルT1,T2から仮想視点cでの並進ベクトルTcを求める。視点1、視点2、仮想視点cのモデル座標上での位置を、それぞれ
・空間射影行列Pcは、Ac、Rc、Tcから、
Pc=Ac[Rc|Tc]
で求められる。ここで、[Rc|Tc]は、3×3の行列Rcと1×3のベクトルTcを、あわせた3×4の行列である。Acとこの行列の積により、空間射影行列Pcが求まる。
Claims (11)
- 複数の視点画像から、仮想視点での画像を生成する方法であって、
前記複数の視点画像を、1つまたは複数の移動領域と背景領域に分割するステップと、
前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築するステップと、
視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成するステップと、
前記背景領域の画像から、仮想視点での背景領域の画像を生成するステップと、
前記生成された移動領域の画像と前記生成された背景領域の画像を合成するステップと、
を含むことを特徴とする仮想視点での画像を生成する方法。 - 前記移動領域の画像を生成するステップは、
視点画像毎に、該視点画像と前記モデル座標空間との間で成立する平面射影行列を算出するサブステップと、
前記平面射影行列により、視点画像毎に前記移動領域の座標を前記モデル座標空間における床平面に射影するサブステップと、
前記射影された座標から、前記移動領域のモデル座標空間における座標を算出するサブステップと、
仮想視点において前記モデル座標空間との間で成立する空間射影行列を算出し、該空間射影行列により、前記モデル座標空間中の座標をもとに仮想視点での移動領域の画像を生成するサブステップと、
を含むことを特徴とする請求項1に記載の仮想視点での画像を生成する方法。 - 前記移動領域のモデル座標空間における座標の算出は、各座標間の距離をもとに該座標をグループ化して、同一グループ内の重心を算出することを特徴とする請求項2に記載の仮想視点での画像を生成する方法。
- 前記仮想視点での移動領域の画像を生成するサブステップは、モデル座標空間中の移動領域ごとに、適当な大きさの長方形領域を設定し、該長方形領域の仮想視点での対応領域および実視点での対応領域を算出し、仮想視点での対応領域のテクスチャを仮想視点に近い実視点での対応領域から抽出することを特徴とする請求項2または3に記載の仮想視点での画像を生成する方法。
- 前記仮想視点での対応領域および実視点での対応領域の算出は、前記仮想視点および実視点において前記モデル座標空間との間で成立する中心射影行列を算出し、該中心射影行列により、前記モデル空間中の移動領域ごとに設定された長方形領域を各仮想画像および実視点に射影することで画像領域を決定することを特徴とする請求項4に記載の仮想視点での画像を生成する方法。
- 前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記仮想視点での対応領域と前記実視点での対応領域間の平面射影行列を算出し、実視点での対応領域のテクスチャを仮想視点での対応領域に射影することを特徴とする請求項4または5に記載の仮想視点での画像を生成する方法。
- 前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記実視点での対応領域においてオクルージョンが生じているか否かを判定する機能を有し、生じている場合は、他の実視点での対応領域をもとに合成することを特徴とする請求項4から6のいずれか1項に記載の仮想視点での画像を生成する方法。
- 前記幾何情報は、前記視点画像内の線分の長さおよび対応点であり、
前記座標空間を構築するステップは、原点を定め、前記線分の長さをもとに対応点に座標を割り当てることを特徴とする請求項1から7のいずれか1項に記載の仮想視点での画像を生成する方法。 - 前記幾何情報は、前記視点画像内の平行線であり、
前記座標空間を構築するステップは、前記平行線が同一方向になるように各視点画像を回転させ、該視点画像の平行線上の点を距離をもとにグループ化して、同一グループ内の重心を対応点として、該対応点に座標を割り当てることを特徴とする請求項1から7のいずれか1項に記載の仮想視点での画像を生成する方法。 - 前記平面射影行列は、前記対応点から算出されることを特徴とする請求項8または9に記載の仮想視点での画像を生成する方法。
- 複数の視点画像から、仮想視点での画像を生成するためのコンピュータを、
前記複数の視点画像を、1つまたは複数の移動領域と背景領域に分割する手段と、
前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築する手段と、
視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成する手段と、
前記背景領域の画像から、仮想視点での背景領域の画像を生成する手段と、
前記生成された移動領域の画像と前記生成された背景領域の画像を合成する手段と、
して機能させ、仮想視点での画像を生成することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032136A JP5366258B2 (ja) | 2010-02-17 | 2010-02-17 | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032136A JP5366258B2 (ja) | 2010-02-17 | 2010-02-17 | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011170487A true JP2011170487A (ja) | 2011-09-01 |
JP5366258B2 JP5366258B2 (ja) | 2013-12-11 |
Family
ID=44684572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010032136A Active JP5366258B2 (ja) | 2010-02-17 | 2010-02-17 | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5366258B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013058132A (ja) * | 2011-09-09 | 2013-03-28 | Kddi Corp | 被写体3次元領域推定方法およびプログラム |
JP2015114716A (ja) * | 2013-12-09 | 2015-06-22 | シャープ株式会社 | 画像データ再生装置および画像データ生成装置 |
JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
JP2017097800A (ja) * | 2015-11-27 | 2017-06-01 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP2017156880A (ja) * | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像処理装置および画像処理方法 |
JP2018026064A (ja) * | 2016-08-12 | 2018-02-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、システム |
JP2018125642A (ja) * | 2017-01-31 | 2018-08-09 | Kddi株式会社 | 領域抽出装置及びプログラム |
JP2020046944A (ja) * | 2018-09-19 | 2020-03-26 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JPWO2020105697A1 (ja) * | 2018-11-22 | 2021-10-07 | 国立大学法人 東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
-
2010
- 2010-02-17 JP JP2010032136A patent/JP5366258B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
Non-Patent Citations (8)
Title |
---|
CSNG200401785011; 古山孝好,外2名: '"仮想化現実技術を用いた大規模空間自由視点映像のライブ配信と提示"' 電子情報通信学会技術研究報告 Vol.103,No.96, 2003, p.61-66, 社団法人電子情報通信学会 * |
CSNG200600144005; 有澤博,外1名: '"多視点カメラを用いたスポーツ映像からの被写体情報抽出"' 電子情報通信学会技術研究報告 Vol.105,No.415, 2005, p.27-32, 社団法人電子情報通信学会 * |
CSNG200600724022; 林邦彦,外1名: '"多視点サッカー映像からの自由視点映像生成"' 情報処理学会研究報告 Vol.2006,No.51, 2006, p.173-180, 社団法人情報処理学会 * |
CSNG200801034019; 榎本暁人,外1名: '"フィールドパターンを用いたカメラトラッキングに基づく多視点スポーツ映像の拡張現実感表示"' 電子情報通信学会技術研究報告 Vol.108,No.363, 2008, p.111-116, 社団法人電子情報通信学会 * |
JPN6013026924; 林邦彦,外1名: '"多視点サッカー映像からの自由視点映像生成"' 情報処理学会研究報告 Vol.2006,No.51, 2006, p.173-180, 社団法人情報処理学会 * |
JPN6013026927; 榎本暁人,外1名: '"フィールドパターンを用いたカメラトラッキングに基づく多視点スポーツ映像の拡張現実感表示"' 電子情報通信学会技術研究報告 Vol.108,No.363, 2008, p.111-116, 社団法人電子情報通信学会 * |
JPN6013026930; 古山孝好,外2名: '"仮想化現実技術を用いた大規模空間自由視点映像のライブ配信と提示"' 電子情報通信学会技術研究報告 Vol.103,No.96, 2003, p.61-66, 社団法人電子情報通信学会 * |
JPN6013026934; 有澤博,外1名: '"多視点カメラを用いたスポーツ映像からの被写体情報抽出"' 電子情報通信学会技術研究報告 Vol.105,No.415, 2005, p.27-32, 社団法人電子情報通信学会 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013058132A (ja) * | 2011-09-09 | 2013-03-28 | Kddi Corp | 被写体3次元領域推定方法およびプログラム |
JP2015114716A (ja) * | 2013-12-09 | 2015-06-22 | シャープ株式会社 | 画像データ再生装置および画像データ生成装置 |
JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
JP2017097800A (ja) * | 2015-11-27 | 2017-06-01 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP2017156880A (ja) * | 2016-02-29 | 2017-09-07 | Kddi株式会社 | 画像処理装置および画像処理方法 |
JP2018026064A (ja) * | 2016-08-12 | 2018-02-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、システム |
EP3285484A1 (en) | 2016-08-12 | 2018-02-21 | Canon Kabushiki Kaisha | Image processing apparatus, image generation method, and program |
US10244163B2 (en) | 2016-08-12 | 2019-03-26 | Canon Kabushiki Kaisha | Image processing apparatus that generates a virtual viewpoint image, image generation method, and non-transitory computer-readable storage medium |
JP2018125642A (ja) * | 2017-01-31 | 2018-08-09 | Kddi株式会社 | 領域抽出装置及びプログラム |
JP2020046944A (ja) * | 2018-09-19 | 2020-03-26 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JPWO2020105697A1 (ja) * | 2018-11-22 | 2021-10-07 | 国立大学法人 東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
JP7395189B2 (ja) | 2018-11-22 | 2023-12-11 | 国立大学法人 東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5366258B2 (ja) | 2013-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5366258B2 (ja) | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム | |
JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US9117310B2 (en) | Virtual camera system | |
US8447099B2 (en) | Forming 3D models using two images | |
US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
US8452081B2 (en) | Forming 3D models using multiple images | |
US20130095920A1 (en) | Generating free viewpoint video using stereo imaging | |
JP6818606B2 (ja) | 自由視点画像の生成表示方法、装置およびプログラム | |
CN105574933B (zh) | 物体全方位轮廓精确绘制方法 | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2012185772A (ja) | 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム | |
CN110490967A (zh) | 图像处理和对象建模方法与设备、图像处理装置及介质 | |
Poullis et al. | 3d reconstruction of urban areas | |
JP5667846B2 (ja) | 対象物画像判定装置 | |
JP2016071645A (ja) | オブジェクト3次元モデル復元方法、装置およびプログラム | |
Starck et al. | Virtual view synthesis of people from multiple view video sequences | |
JP4354708B2 (ja) | 多視点カメラシステム | |
JP5373931B2 (ja) | 仮想視点画像生成方法,仮想視点画像生成装置および仮想視点画像生成プログラム | |
JP5422538B2 (ja) | 画像処理装置、表示装置、方法およびそのプログラム | |
Yaguchi et al. | Arbitrary viewpoint video synthesis from multiple uncalibrated cameras | |
Grammatikopoulos et al. | Automatic multi-image photo-texturing of 3d surface models obtained with laser scanning | |
JP2003271928A (ja) | 三次元モデリング装置及びその方法及びそのプログラム | |
JP2013069026A (ja) | 被写体の3次元形状を復元する装置、方法およびプログラム | |
Graciá et al. | A system for real-time multi-view 3d reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120816 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130408 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130509 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5366258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |