JP6818606B2 - 自由視点画像の生成表示方法、装置およびプログラム - Google Patents

Description

本発明は、自由視点画像の生成表示方法、装置およびプログラムに係り、特に、スポーツ競技等の比較的大きな空間で複数台のカメラを密に配置できない撮影条件に好適な自由視点画像の生成表示方法、装置およびプログラムに関する。

自由視点映像の生成手法は、大きくモデルベース型とイメージベース型とに分類される。モデルベース型の代表的な手法が非特許文献１に開示されている。非特許文献１では、被写体の3次元形状を3Dモデルとして復元し、3Dモデル表面を細かなポリゴンに分割した後、各ポリゴンのテクスチャを複数の撮影カメラ映像から取得して視点位置に応じて適切な割合でブレンドすることで、撮影カメラが存在しない視点からの映像を合成する。

この手法は、理論的には任意視点での見え方を滑らかに再現することが可能であるが、最終的な合成画像が、ポリゴンの繋ぎ合わせとして表現される特性上、合成画像の品質が3Dモデルやカメラパラメータの精度に大きく依存するので、スポーツシーン等、カメラを密に配置できない場合の品質には限界がある。

一方、イメージベース型の代表的な手法が非特許文献２に開示されている。非特許文献２では、各撮影カメラ映像から被写体の存在領域を抽出し、1枚の矩形型ポリゴンとして表現するビルボード方式が提案されている。

ビルボード方式では、被写体の3次元形状は復元しないが、対象とする3次元空間においてビルボードを設置する座標を算出し、撮影カメラ映像から取得される被写体領域のテクスチャをマッピングすることで、被写体同士や、被写体と背景との位置関係を任意視点において再現することが可能である。

ビルボード方式では、3Dモデル方式のような滑らかな見え方の変化を再現することはできないが、撮影カメラ映像のテクスチャを加工することなく、そのまま利用するため、3Dモデル方式に比べて高精細な見え方を実現できる。

特開2015-191538号公報

T. Kanade, P. W. Rander, and P. J. Narayanan, "Virtualized Reality: Constructing Virtual Worlds from Real Scenes," IEEE Multimedia, vol. 4, no. 1, pp. 34-47, 1997. Y. Ohta, I. Kitahara, Y. Kameda, H. Ishikawa, and T. Koyama, "Live 3D Video in Soccer Stadium," International Journal of Computer Vision (IJCV), vol. 75, no. 1, pp. 173-187, 2007. Hiroshi Sankoh and Sei Naito, "Free-viewpoint Video Rendering in Large Outdoor Space such as Soccer Stadium based on Object Extraction and Tracking Technology," The Journal of The Institute of Image Information and Television Engineers (ITE), Vol. 68, No. 3, pp. J125-J134, 2014.

モデルベース型およびイメージベース型に共通する最大の課題として、撮影カメラ映像における被写体同士の重なり等によって生じるオクルージョンがある。特にビルボード方式では、各カメラ映像における被写体領域から取得されるテクスチャを加工することなくそのまま利用するため、別の被写体との重なり等によって観測できない領域が生じる場合、当該領域の見え方を再現することは不可能である。

オクルージョン領域において、カメラに対して手前側に存在する被写体であっても、重なりの境界を適切に分離することは困難であるため、適切な被写体領域の抽出は難易度の高い課題であると言える。

このような技術課題に対して、各被写体に個別IDを与え、時間方向でIDが保持されるよう追跡を行うことで、オクルージョンの検出と、フレーム間での補間を行う手法が非特許文献３および特許文献１に開示されている。

これらの先行技術は、複数カメラの情報を用いることで、オクルージョン領域における各被写体のテクスチャと、ビルボードの設置座標の各々をフレーム間で補間する手法を提案する。しかしながら、オクルージョンの継続時間（フレーム数）が長い場合、補間性能に限界があるために主観品質を損なう問題がある。

また、追跡処理に誤りが含まれる場合、異なる被写体間でテクスチャや位置を補正することとなり、合成映像の主観品質を著しく損なうという課題もある。追跡誤りに対する頑健性を高める目的から、特許文献１では、目視による追跡IDの確認・修正を可能とする手法が提案されているが、非常に多くの時間を要するという課題がある。

本発明の目的は、上記の技術課題を解決し、ビルボード方式での合成過程において各カメラにおける各オブジェクトの存在領域を個別に抽出することにより、ビルボード方式の固有の高精細な見え方を維持しながら、特にオクルージョン領域についても主観品質を損なうことなくオブジェクトの3Dモデルを短時間で再現できる自由視点画像の生成表示方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、自由視点画像の生成表示方法、装置およびプログラムにおいて、以下のような構成を具備した点に特徴がある。

(1) 本発明の自由視点画像を生成して表示する装置は、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、オブジェクトごとに各視点における矩形投影画像のテクスチャを取得する手段と、各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択して、そのカメラに関して生成した全てのビルボードを表示する手段とを具備した。

(2) 本発明のコンピュータが自由視点画像を生成して表示する方法は、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択して、そのカメラに関して生成した全てのビルボードを表示するようにした。

(3) 本発明の自由視点画像を生成して表示するプログラムは、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、そのカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述した。

(1) 自由視点映像の最終的な表示およびレンダリングはビルボード方式により実施することを前提に、合成過程でオブジェクトの三次元形状モデルを復元し、当該モデルの各カメラへの投影像を利活用することで、各カメラにおけるオクルージョン領域を検出し、オブジェクトごとの存在領域およびテクスチャを抽出できるようになる。

すなわち、ビルボードを作成する際、非オクルージョン領域に関しては投影像の抽出元カメラ画像から対応画素のテクスチャを取得する一方、オクルージョン領域に関しては、抽出元カメラ以外のカメラ画像の対応画素からテクスチャを取得することができる。

したがって、主観品質を損なうことなくオブジェクトの3Dモデルを短時間で再現できるようになり、オクルージョンが頻繁に発生するようなシーンにおいても、手作業を必要とすることなく高品質な自由視点画像を自動生成することが可能となる。

(2) 特に大空間を対象とする場合、被写体の3次元形状の復元性能には限界があるが、本発明では、視体積交差法で復元されるVisual Hullの各カメラへの投影像に注目することで、各カメラにおける被写体の存在領域を個別に抽出できるようになる。

本発明の自由視点画像の生成表示方法、装置およびプログラムが適用されるシステムの一実施形態の構成を示した機能ブロック図である。 オブジェクトの三次元形状を推定する方法を示した図である。 オブジェクトごとに、その投影像を含む矩形投影画像を視点ごとに取得する方法を示した図である。 矩形投影画像の投影像部分に張り付けるテクスチャの取得方法を示した図である。 ビルボードの生成方法を示した図である。 ビルボードの表示方法を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明に係る自由視点画像の生成表示方法、装置およびプログラムの一実施形態の構成を示した機能ブロック図である。

このようなシステムは、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。

多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラCa（Ca1，Ca2，Ca3…）からカメラ画像をフレーム単位で取得する。以下の説明では、各カメラCaまたはそのカメラ画像を「視点１」、「視点２」…と表現する場合もある。三次元形状モデル生成部２０は、各カメラCaから取得したカメラ画像に基づいてフレーム単位でオブジェクトObjごとに三次元形状モデルを生成する。

前記三次元形状モデル生成部２０において、カメラパラメータ推定部２１は、各カメラCaの中心射影行列（カメラパラメータ）を推定する。マスク画像抽出部２２は、フレーム画像ごとに各オブジェクトの存在領域を示すマスク画像を抽出する。三次元形状推定部２３は、図２に示したように、各視点において抽出したマスク画像を実空間に投影した視体積の中にオブジェクトが含まれるという制約に基づいて、視体積交差法により、複数のマスク画像に対応する視体積の共通部分をオブジェクトの三次元形状（３次元ボクセルデータ）と推定し、３次元ボクセル空間におけるオブジェクトの存在領域を示すVisual Hullを復元する。

三次元形状モデル復元部２４は、前記ボクセル空間の幾何連結性に基づいて前記Visual Hullをクラス分類し、前記クラス分類されたVisual Hullのうち、大きさ（ボクセル数）や高さ（y座標）が所定の条件を満たすVisual Hullのみを各オブジェクトの三次元形状モデルとして復元する。

矩形投影画像抽出部３０は、図３に示したように、復元されたオブジェクトの三次元形状モデルを各視点のカメラ画像へ投影し、各オブジェクトの投影像を含む矩形画像（以下、矩形投影画像と表現する場合もある）を視点ごとに取得する。

前記矩形投影画像抽出部３０において、オクルージョン領域特定部３１は、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域（灰色）を特定する。

テクスチャ取得部４０は、各視点のカメラ画像からオブジェクトのテクスチャを取得して各矩形投影画像の投影像部分に張り付ける。図４は、前記テクスチャ取得部４０によるテクスチャの取得方法を、視点２のカメラ画像から抽出した矩形投影画像に注目して説明するための図である。

テクスチャ取得部４０において、第1テクスチャ取得部４１は、矩形投影画像の投影像部分のうち、オクルージョン領域以外（非オクルージョン領域）の画素ついて、当該矩形投影画像を抽出したカメラ画像（抽出元カメラ画像）の対応画素の画素値をテクスチャとして取得する。第２テクスチャ取得部４２は、前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素ついて、抽出元カメラ画像以外のカメラ画像の対応画素の画素値をテクスチャとして取得する。

図４の例では、２つのオブジェクトOj1，Oj2間にオクルージョンが発生しており、オブジェクトOj1の脚部のテクスチャを、その抽出元カメラ画像である視点２のカメラ画像からは取得できない。

前記第２テクスチャ取得部４２は、矩形投影画像のオクルージョン領域（灰色）の画素について、光線探索により投影元ボクセルBtを特定する。そして、当該投影元ボクセルBtを他のカメラ画像に投影し、前記各オブジェクトOj1，Oj2の三次元形状モデルの位置関係に基づいて当該ボクセルの観測可否を判定すると、観測可能なカメラ画像から対応画素の画素値を取得する。

なお、観測可能なカメラが複数存在する場合には、抽出元のカメラに最寄りのカメラを特定し、当該最寄りのカメラから対応画素の画素値を優先的に取得する。図示の例では、視点２のカメラ映像からは取得できないオブジェクトOj1の脚部のテクスチャを、視点１および視点Nのいずれからも取得できるが、最寄りの視点１のカメラ画像から取得している。

ビルボード生成部５０は、視点ごとに全てのオブジェクトObjのビルボードを生成する。テクスチャ画像抽出部５１は、各視点のオブジェクトごとにテクスチャを含む前記矩形投影画像を抽出する。

ビルボードサイズ決定部５２は、図５に示したように、矩形投影画像の底辺に存在する画素の投影元ボクセルを特定し、当該投影元ボクセルと対象となるカメラとの距離および前記矩形投影画像の縦横比に基づいて各ビルボードのサイズを算出する。ビルボード設置部５３は、前記各投影元ボクセルの3次元座標に前記生成したビルボードを前記算出したサイズで設置する。

ビルボード表示部６０は、視点操作情報に基づいて仮想視点に最寄りのカメラを推定し、当該カメラに関して生成された全てのビルボードを選表示する。

前記ビルボード表示部６０において、仮想視点算出部６１は、各カメラから取得した注視点の変更、撮影カメラ視点への移動、前進後退、左右回転、上下回転などの視点操作情報に基づいて仮想視点の位置および向きを算出する。

ビルボード選択部６２、図６に示したように、隣接するカメラペア（A，B）ごとにカメラ選択に関する境界面を予め設定しておき、前記算出された仮想視点が一方のカメラAに割り当てられた領域を指向していれば当該カメラAの画像を抽出元とする全てのビルボードを表示する。また、他方のカメラBに割り当てられた領域を指向していれば当該カメラBを抽出元とする全てのビルボードを表示する。

１０…多視点画像入力部，２０…三次元形状モデル生成部，２１…カメラパラメータ推定部，２２…マスク画像抽出部，２３…三次元形状推定部，２４…三次元形状モデル復元部，３０…矩形投影画像抽出部，３１…オクルージョン領域特定部，４０…テクスチャ取得部，４１…第1テクスチャ取得部，４２…第２テクスチャ取得部，５０…ビルボード生成部，５１…テクスチャ画像抽出部，５２…ビルボードサイズ決定部，５３…ビルボード設置部，６０…ビルボード表示部，６１…仮想視点算出部，６２…ビルボード選択部

Claims (12)

1. 多視点画像から自由視点画像を生成して表示する装置において、
   オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手段と、
   各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、
   オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手段と、
   前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、
   自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手段と、
   前記選択されたカメラに関して生成した全てのビルボードを表示する手段とを具備し、
   前記矩形投影画像を視点ごとに抽出する手段が、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定する手段を含むことを特徴とする自由視点画像の生成表示装置。
2. 多視点画像から自由視点画像を生成して表示する装置において、
   オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手段と、
   各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、
   オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手段と、
   前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、
   自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手段と、
   前記選択されたカメラに関して生成した全てのビルボードを表示する手段とを具備し、
   前記テクスチャを取得する手段は、
   前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得する第１テクスチャ取得手段と、
   前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得する第２テクスチャ取得手段とを具備したことを特徴とする自由視点画像の生成表示装置。
3. 前記オブジェクトの３次元形状モデルを生成する手段は、
   各カメラのカメラパラメータを推定する手段と、
   各カメラ画像におけるオブジェクトのマスク画像を抽出する手段と、
   前記カメラパラメータおよびマスク画像に基づく視体積交差法により３次元ボクセル空間における各オブジェクトのVisual Hullを復元する手段とを具備し、
   前記Visual Hullを三次元形状モデルとして採用することを特徴とする請求項１または２に記載の自由視点画像の生成表示装置。
4. 前記ボクセル空間における幾何連結性に基づいて、前記復元されたVisual Hullをクラス分類する手段と、
   前記クラス分類されたVisual Hullのうち所定の条件を満たすものを三次元形状モデルとして採用することを特徴とする請求項３に記載の自由視点画像の生成表示装置。
5. 前記第２テクスチャ取得手段は、
   オクルージョン領域の画素について、三次元形状モデル上の投影元ボクセルを特定する手段と、
   前記投影元ボクセルを抽出元カメラ画像とは異なるカメラ画像に投影して当該ボクセルの観測可否を判定する手段とを具備し、
   観測可能なカメラの画像から対応画素の画素値を取得することを特徴とする請求項２に記載の自由視点画像の生成表示装置。
6. 前記観測可能なカメラが複数台あると、当該複数台のカメラから抽出元カメラに最寄りのカメラを特定し、当該最寄りのカメラの画像の対応画素の画素値を取得することを特徴とする請求項５に記載の自由視点画像の生成表示装置。
7. 前記ビルボードを生成する手段は、
   オブジェクトごとにテクスチャを含む矩形投影画像を抽出する手段と、
   前記矩形投影画像の底辺に存在する画素の投影元ボクセルとカメラとの距離を算出する手段と、
   前記距離および前記矩形投影画像の縦横比に基づいて各ビルボードのサイズを決定する手段と、
   前記投影元ボクセルの3次元座標に前記決定されたサイズのビルボードを設置する手段とを具備したことを特徴とする請求項１ないし６のいずれかに記載の自由視点画像の生成表示装置。
8. 前記ビルボードを表示する手段は、
   視点操作に関する入力情報に基づいて仮想視点を算出する手段と、
   前記仮想視点に最寄りのカメラに関して生成された全てのビルボードを表示する手段とを含むことを特徴とする請求項１ないし７のいずれかに記載の自由視点画像の生成表示装置。
9. コンピュータが、多視点画像から自由視点画像を生成して表示する方法において、
   オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成し、
   各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、
   オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、
   前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、
   自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、
   前記選択されたカメラに関して生成した全てのビルボードを表示し、
   前記矩形投影画像を視点ごとに抽出する際に、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定することを特徴とする自由視点画像の生成表示方法。
10. コンピュータが、多視点画像から自由視点画像を生成して表示する方法において、
    オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成し、
    各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、
    オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、
    前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、
    自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、
    前記選択されたカメラに関して生成した全てのビルボードを表示し、
    前記テクスチャを対応するカメラ画像から取得する際に、
    前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得し、
    前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得することを特徴とする自由視点画像の生成表示方法。
11. 多視点画像から自由視点画像を生成して表示するプログラムにおいて、
    オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手順と、
    各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、
    オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、
    前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、
    自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手順と、
    前記選択されたカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述し、
    前記矩形投影画像を視点ごとに抽出する手順では、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定する自由視点画像の生成表示プログラム。
12. 多視点画像から自由視点画像を生成して表示するプログラムにおいて、
    オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手順と、
    各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、
    オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、
    前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、
    自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手順と、
    前記選択されたカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述し、
    前記テクスチャを取得する手順が、
    前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得する手順と、
    前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得する手順とを含む自由視点画像の生成表示プログラム。