JP2021018570A - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】処理負荷の増大を抑制しつつ、オブジェクトの形状データにおけるオクルージョンの発生箇所を判別できるようにする。【解決手段】レンダリング用の形状データを生成した領域の周辺領域で生成された形状データを取得して、レンダリング用の形状データについて、各撮像装置から見えるかどうかの可視性判定を行う。【選択図】図５

Description

本開示の技術は、仮想視点画像の生成に関し、特に複数視点画像からオブジェクトの形状データを生成する際のオクルージョン対策に関するものである。

昨今、複数のカメラ（撮像装置）をそれぞれ異なる位置に設置して多視点で同期撮像し、該撮像により得られた複数視点画像を用いて、実在しない仮想的なカメラからの見えを表す仮想視点画像を生成する技術が注目されている。この仮想視点画像によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の撮像画像と比較してユーザに高臨場感を与えることができる。

仮想視点画像の生成においては、まず、複数のカメラで撮像された映像をサーバなどに集約し、該映像内のオブジェクト（被写体）の三次元モデルを生成する。そして、この三次元モデルに対して、指定された仮想視点に基づき色付けを行い、さらに射影変換などの二次元変換を行って、二次元の仮想視点画像が得られる。上記生成プロセスのうち三次元モデルへの色付けには、視点依存テクスチャマッピングの手法がよく用いられる（非特許文献１）。視点依存テクスチャマッピングでは、オブジェクト上の着目する点の色を決定する際、複数のカメラそれぞれの撮像画像上の対応点における色を重み付きでブレンドする。こうすることで、各視点に対応する撮像画像間の色の差異、三次元モデル形状、カメラパラメータの誤差などに起因する色変化の不連続性を抑制し、より自然なテクスチャ表現を実現している。

上記視点依存テクスチャマッピングにおいては、特定の視点から見て手前にあるオブジェクトがその奥にあるオブジェクトの一部を隠してしまうオクルージョンによって、奥のオブジェクトの三次元モデルへの色付けが不正確になることがあった。この点、どのカメラの撮像画像においてオブジェクトに隠れが生じているかをその三次元モデルより判断し、判断結果に基づいて色付けを行う研究も行われている（非特許文献２）。

P.E.Debevec，C.J.Taylor，and J.Malik："Modeling and Rendering Architecture from Photographs：A Hybrid Geometry-and Image-Based Approach，"SIGGRAPH’96，pp.11-20，1996. Gregory G.Slabaugh，Ronald W.Schafer，and Mat C.Hans："Image-Based Photo Hulls for Fast and Photo-Realistic New View Synthesis，"Real-Time Imaging,Vol.9，No.5，October 2003.

非特許文献２に開示の技術では、複数視点画像から生成した三次元モデル自体を用いてオクルージョンの発生箇所を判別する。そのため、撮像空間における三次元モデルを生成するための三次元空間（モデル生成領域）の外に存在するオブジェクトに起因するオクルージョンについては判別できないという問題がある。この問題は、モデル生成領域を拡げることで対処可能であるが、モデル生成領域を拡げるとその分だけ三次元モデルの生成に要する演算量も膨大となってサーバ等の処理負荷が大幅に増大することになる。そのため、モデル生成領域の単純な拡大はシステムの処理効率の悪化に繋がる。

本開示の技術は、上記の課題に鑑みてなされたものであり、その目的は、処理負荷の増大を抑制しつつ、オブジェクトの形状データにおけるオクルージョンの発生箇所を判別することである。

本開示に係る画像処理装置は、複数の撮像装置で同期撮像して得られた複数視点画像の少なくとも一つに含まれるオブジェクトの三次元形状を表す形状データを、前記同期撮像の対象三次元空間のうち所定の三次元領域で生成する生成手段と、前記同期撮像の対象三次元空間のうち前記所定の三次元領域とは異なる三次元領域で生成された形状データを取得する取得手段と、前記取得手段で取得された形状データを用いて、前記生成手段で生成された形状データについて、前記撮像装置からの可視性判定を行う判定手段と、前記生成手段で生成された形状データを、前記可視性判定の結果と共に出力する出力手段と、を有し、前記判定手段は、前記生成手段で生成された形状データが、前記取得手段で取得された形状データによって遮られるかどうかを判定することを特徴とする。

本開示の技術によれば、処理負荷の増大を抑制しつつ、オブジェクトの形状データにおけるオクルージョンの発生箇所を正確に判別することができる。

実施形態１に係る、仮想視点画像を生成する画像処理システムの構成を示すブロック図 実施形態１に係る、カメラアレイを構成する各カメラの配置を示す図 （ａ）〜（ｃ）は、ボクセル形式の三次元モデルを説明する図 可視性判定処理の概念を説明する図 三次元モデル生成装置としての情報処理装置のハードウェア構成の一例を示すブロック図 実施形態１に係る、三次元モデル生成装置のソフトウェア構成を示す機能ブロック図 （ａ）及び（ｂ）は、実施形態１に係る、レンダリング用領域とそれに隣接する判定用領域を説明する図 （ａ）〜（ｃ）は、視体積交差法の基本原理を説明する図 （ａ）及び（ｂ）は、可視性判定の意義を説明する図 （ａ）は変換前の世界座標系を示す図、（ｂ）は変換後のカメラ座標系を示す図 実施形態１に係る、三次元モデル生成装置における処理の流れを示すフローチャート 実施形態２に係る、仮想視点画像を生成する画像処理システムの構成を示すブロック図 実施形態２に係る、カメラアレイを構成する各カメラの配置を示す図 実施形態２に係る、三次元モデル生成装置のソフトウェア構成を示す機能ブロック図 （ａ）〜（ｃ）は、実施形態２に係る、レンダリング用領域とそれに隣接する判定用領域を説明する図 実施形態２に係る、三次元モデル生成装置における処理の流れを示すフローチャート

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［実施形態１］
本実施形態では、レンダリング用の三次元モデルを生成する三次元領域の隣接領域において可視性判定用の暫定的な三次元モデルを生成し、レンダリング用の三次元モデルについての可視性判定を行う態様を説明する。なお、本実施形態では動画の場合を例に説明を行うが、静止画についても同様に適用可能である。

＜システム構成＞
図１は、本実施形態に係る、仮想視点画像を生成する画像処理システムの構成を示すブロック図である。画像処理システム１は、複数のカメラ（撮像装置）１０ａ−１０ｐからなるカメラアレイ１０、複数の前景抽出装置１２ａ−１２ｐからなる前景抽出装置群１２、制御装置１３、三次元モデル生成装置１４、レンダリング装置１５を有する。

カメラアレイ１０は、複数のカメラ１０ａ−１０ｐで構成され、様々な角度からオブジェクト（被写体）を同期撮像（撮影）する。各カメラで撮像された画像のデータ（そのまとまりが複数視点画像データ）は、前景抽出装置群１２へ送られる。本実施形態では、カメラアレイ１０を構成する各カメラ１０ａ−１０ｐは、図２に示すようにスタジアム内のフィールドを囲むように配置される。そして、各カメラ１０ａ−１０ｐは、フィールド上の点Ｔ０を注視点として、時刻を同期させて撮像を行う。

前景抽出装置群１２を構成する各前景抽出装置１２ａ−１２ｐは、各カメラ１０ａ−１０ｐとそれぞれ対応付けられており、自身に対応付いているカメラの撮像画像から前景となるオブジェクトの部分を抽出して、マスク画像とテクスチャ画像を生成する。ここで、前景とは、撮像空間内の任意の視点から見ることのできる動的オブジェクトを指し、本実施例ではフィールド上に存在する人物やボールがその代表例となる。そして、フィールド上のゴールや観客席といった前景以外の静的オブジェクトは背景となる。また、マスク画像とは、撮像画像のうち前景部分を白で、背景部分を黒で表した２値のシルエット画像である。テクスチャ画像とは、前景を内包する矩形（外接矩形）部分を撮像画像から切り出して得られる多値の画像である。撮像画像から前景を抽出する手法としては、例えば背景差分法がある。背景差分法は、例えば試合開始前など前景となる動的オブジェクトがいない状態で撮像を行って得られた背景画像を保持しておき、当該背景画像と動的オブジェクトがいる状態での撮像画像との差分を検出し、差分が一定以上の部分を抽出する手法である。なお、前景の抽出にはフレーム間差分法など他の手法を用いてもよい。生成したマスク画像とテクスチャ画像のデータは、三次元モデル生成装置１４に送られる。

制御装置１３は、各カメラ１０ａ−１０ｐのカメラパラメータを取得したり、不図示のＵＩ（ユーザインタフェース）を介して仮想視点情報を受け付けたりする。カメラパラメータには、外部パラメータと内部パラメータとがある。外部パラメータは、回転行列と並進行列で構成されており、カメラの位置や姿勢を示す。内部パラメータは、カメラの焦点距離、光学的中心などを含み、カメラの画角や撮像センサの大きさなどを示す。カメラパラメータを取得するための作業はキャリブレーションと呼ばれる。キャリブレーションでは、まず、チェッカーボードのような特定パターンを撮像した複数枚の画像を用意する。そして、これらの画像から、三次元の世界座標系の点とそれに対応する二次元上の点との対応関係を算出することで、カメラパラメータが求められる。キャリブレーションによって得られたカメラパラメータは、三次元モデル生成装置１４とレンダリング装置１５に送られる。仮想視点情報には、同期撮像の対象三次元空間上に設定された仮想視点（仮想カメラ）の位置・姿勢、注視点、移動経路などが含まれ、例えば専用のジョイスティック等を用いてユーザが指定したり或いは撮影シーンに応じて自動で設定したりする。ユーザ入力等に基づき設定された仮想視点情報は、レンダリング装置１５に送られる。

三次元モデル生成装置１４は、入力されたマスク画像とカメラパラメータとに基づき、レンダリング装置１５での色付けの対象となる動的オブジェクトの三次元モデル（三次元形状を表す形状データ）を生成する。本実施形態では、三次元モデルのデータ形式として、ボクセル形式を例に説明を行うものとする。ボクセル形式では、オブジェクトの三次元形状を、“ボクセル”と呼ばれる図３（ａ）で示すような微小な立方体を用いて表現する。図３（ｂ）は、三次元モデルを生成する対象三次元空間を表したボクセル集合である。そして、図３（ｃ）は、図３（ｂ）に示すボクセル集合から視体積交差法により対象三次元空間内の非前景部分のボクセルを削ることで得られた、ボクセルを構成要素とする四角錐の三次元モデルである。なお、三次元モデルのデータ形式は、形状を表現する構成要素として点群を用いた点群形式や、ポリゴンを用いたポリゴンメッシュ形式など他の形式でもよい。三次元モデル生成装置１４は、レンダリング処理の対象となる三次元モデルそれぞれについて、各カメラからどのように見えているかを判定する処理（可視性判定処理）を行う。なお、以下の説明では、レンダリング処理の対象となる三次元モデルを、単に「レンダリング用モデル」と表記する。図４は、可視性判定処理の概念を説明する図である。図４において、破線４０１はカメラｃ１（カメラアレイ１０の中の任意の１台のカメラ）の画角を示し、一点鎖線４０２及び４０３はカメラｃ１からの視線を表現している。いま、一点鎖線４０２は、モデルｍ２に遮られることなく、モデルｍ１を構成するボクセルｖ１に届いている。これは、カメラｃ１からボクセルｖ１が見えていることを意味している。この場合、ボクセルｖ１はカメラｃ１の撮像画像に写る、つまり、可視という判定結果になる。一方、一点鎖線４０３は、モデルｍ２までしか届いていない。二点鎖線４０４は、一点鎖線４０３で示す視線がモデルｍ２によって遮られていなければ届いていたはずの視線を示している。いま、二点鎖線４０４は、モデルｍ１を構成するボクセルｖ２に届いており、これはモデルｍ２が存在しなければカメラｃ１からボクセルｖ２が見えていたことを意味している。この場合、ボクセルｖ２はカメラｃ１の撮像画像には写らないので、不可視という判定結果になる。このような判定を、生成されたレンダリング用モデルを構成する各ボクセルについて行う。このような可視性判定処理によって、レンダリング用モデルを構成する各ボクセルについて、各カメラ１０ａ−１０ｐの画角内で他のオブジェクトによって遮られることなく撮像画像に写っているかどうか（オクルージョンの発生の有無）を示す情報が得られることになる。生成したレンダリング用モデル及び可視性判定処理の結果は、テクスチャ画像のデータと共に、レンダリング装置１５に送られる。

レンダリング装置１５は、三次元モデル生成装置１４から受信したレンダリング用モデルに対し色付け処理を行って、制御装置１３から受信した仮想視点情報に従った仮想視点画像を生成する。具体的には、まず、レンダリング用モデルを構成するボクセルの中から注目するボクセルを決定する。そして、注目するボクセルについての可視性判定結果が“可視”のカメラを特定し、そのテクスチャ画像群における座標の対応関係をカメラパラメータより求め、当該対応関係にある座標の画素値をブレンドした値を、当該注目するボクセルに付与する処理を行う。画素値のブレンドにおいては、“可視”と判定されたカメラのテクスチャ画像だけを用い、その中で、注目するボクセルとの距離に近いカメラのテクスチャ画像の画素値ほど重みを大きくする。さらに、仮想視点情報で特定される任意の視点位置に基づきレンダリング用モデルを透視投影変換して、対象三次元空間上の二次元画像を生成する。

以上が、本実施形態に係る画像処理システムの構成の概要である。なお、前景抽出装置１２ａ−１２ｐと三次元モデル生成装置１４との接続は、スター型、リング型、バス型等のいずれのネットワークトポロジーを採用してもよい。

＜三次元モデル生成装置の詳細＞
続いて、本実施形態に係る、三次元モデル生成装置１４における処理について詳しく説明する。

＜ハードウェア構成＞
図５は、三次元モデル生成装置１４としての情報処理装置のハードウェア構成の一例を示すブロック図である。なお、前景抽出装置１２、制御装置１３、レンダリング装置１５のハードウェア構成も、以下で説明する三次元モデル生成装置１４と同様のハードウェア構成を備える。三次元モデル生成装置１４は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、表示部１０５、操作部１０６、通信Ｉ／Ｆ１０７、及びバス１０８を有する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて装置全体を制御することで、後述の図６に示す三次元モデル生成装置１４の各機能を実現する。なお、ＣＰＵ１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１０３は、補助記憶装置１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部１０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが三次元モデル生成装置１４を操作するためのＧＵＩ（Graphical User Interface）などを表示する。操作部１０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１０１に入力する。ＣＰＵ１０１は、表示部１０５を制御する表示制御部、及び操作部１０６を制御する操作制御部として動作する。通信Ｉ／Ｆ１０７は、ＬＡＮ等のネットワークを介して接続される外部装置との通信に用いられる。例えば、外部装置と有線で接続される場合には通信用のケーブルが通信Ｉ／Ｆ１０７に接続される。また、三次元モデル生成装置１４が外部装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１０７はアンテナを備える。バス１０８は、上記各部を繋いで情報を伝達する。なお、表示部１０５と操作部１０６は、外部の独立した装置として存在していてもよい。

＜ソフトウェア構成＞
図６は、本実施形態の三次元モデル生成装置１４のソフトウェア構成を示す機能ブロック図である。三次元モデル生成装置１４は、入力部２０１、モデル生成条件設定部２０２、レンダリング用モデル生成部２０３、判定用モデル生成部２０４、モデル統合部２０５、可視性判定部２０６、出力部２０７を有する。これら各機能部は、上述した三次元モデル生成装置１４内のＣＰＵ１０１が、ＲＯＭ１０２或いは補助記憶装置１０４に格納された所定のプログラムをＲＡＭ１０３に展開してこれを実行することで実現される。以下、各部の機能について説明する。

入力部２０１は、外部装置から各種データの入力を受け付ける。具体的には、制御装置１３から各カメラ１０ａ−１０ｐのカメラパラメータを受信し、前景抽出装置群１２からカメラ１０ａ−１０ｐそれぞれに対応するテクスチャ画像とマスク画像のデータを受信する。受信したカメラパラメータやマスク画像のデータは、可視性判定処理や三次元モデルの生成処理で用いるためにＲＡＭ１０３或いは補助記憶装置１０４に格納される。なお、受信したテクスチャ画像のデータは出力部１０８を介してレンダリング装置１５に提供される。

モデル生成条件設定部２０２は、レンダリング用モデル及び判定用モデルの生成条件を、ＧＵＩ（不図示）を介したユーザ入力等に基づいてそれぞれ設定する。ここで、判定用モデルとは、レンダリング用モデルの生成対象領域外に存在するオブジェクトの形状を表す三次元モデルであって、レンダリング用モデルの可視性判定にのみ使用する暫定的な三次元モデルを指す。レンダリング用モデルの生成条件には、その生成を行う対象空間（仮想視点映像における前景を描画する三次元領域）、およびレンダリング用モデルを構成する単位ボクセルの大きさなどの情報が含まれる。判定用モデルの生成条件には、その生成を行う対象空間（レンダリング用モデルを生成する三次元領域に隣接する所定の三次元領域）、および判定用モデルを構成する単位ボクセルの大きさなどの情報が含まれる。以降、レンダリング用モデルを生成する三次元領域を「レンダリング用領域」と呼び、判定用モデルを生成する三次元領域を「判定用領域」と呼ぶこととする。レンダリング用領域の設定は、撮影シーンに応じ、ユーザが任意の三次元領域を、ＧＵＩ（不図示）などを介して指定することで行う。例えばサッカーの試合であれば図７（ａ）に示すように、長辺方向をフィールドの半面の長さ、短辺方向をフィールドの２／３の長さ、高さ方向を選手の身長の２倍程度とした三次元領域を設定する。そして、単位ボクセルのサイズは、生成する三次元モデルの細かさを規定するもので、例えば５ｍｍといった値を設定する。そして、設定されたレンダリング用領域の周辺に判定用領域を設定する。図７（ａ）に示すレンダリング用領域に対しては、例えば図７（ｂ）に示すような、長辺方向、短辺方向、高さ方向それぞれを数ｍ拡げた、レンダリング用領域に隣接する三次元領域を、判定用領域として設定している。そして、判定用領域の単位ボクセルのサイズについては、レンダリング用領域の単位ボクセルと同じサイズでもよいが、一回り大きなサイズ（例えば５ｍｍに対して１０ｍｍなど）を設定するのが望ましい。すなわち、以下の不等式で示す関係となるように単位ボクセルを決定するのが望ましい。
“レンダリング用領域のボクセルサイズ”≦“判定用領域のボクセルサイズ”

レンダリング用モデルの単位ボクセルのサイズを大きくするとそれだけ粗い三次元モデルとなって画質低下に繋がってしまう。これに対し、可視性判定のみに用いる判定用モデルはレンダリング用モデルを遮る可能性のあるオブジェクトの大凡の形状が把握できれば十分なため、粗い三次元モデルであっても支障はない。また、判定用モデルの単位ボクセルサイズを大きくすることでその分だけ処理負荷を低減できる。なお、図７（ｂ）に示す判定用領域は、レンダリング用領域の全体を囲むように設定しているがこれに限定されない。その必要に応じて、例えば長辺方向の片側だけといったように、特定方向のみに隣接する領域を、判定用領域としてもよい。こうして設定された、レンダリング用モデル及び判定用モデルの生成条件（設定値）は、レンダリング用モデル生成部２０３及び判定用モデル生成部２０４に提供される。なお、レンダリング用モデル及び判定用モデルの生成条件は、ＧＵＩによる設定に限らず、ＣＵＩ（Character User Interface）により設定してもよいし、当該条件が記憶されたファイルを読み込むことで設定するようにしても構わない。また、本実施形態では、１つのモデル生成条件設定部２０２にて、レンダリング用モデルの生成条件と判定用モデルの生成条件を設定しているが、別々の設定部で行うようにしてもよい。

レンダリング用モデル生成部２０３は、モデル生成条件設定部２０２で設定されたレンダリング用モデル生成条件に基づき、入力部２０１に入力されたマスク画像とカメラパラメータを用いて、レンダリング用モデルを生成する。同様に、判定用モデル生成部２０４も、モデル生成条件設定部２０２で設定された判定用モデル生成条件に基づき、入力部２０１に入力されたマスク画像とカメラパラメータを用いて、判定用モデルを生成する。本実施形態では、レンダリング用モデル及び判定用モデルともに、視体積交差法によって、ボクセル集合で表現した三次元モデルが生成される。

ここで、視体積交差法について説明する。図８の（ａ）〜（ｃ）は、視体積交差法の基本原理を説明する図である。あるオブジェクトを撮像した画像からは、撮像面に当該オブジェクトの２次元シルエットを表すマスク画像が得られる（図８（ａ））。そして、カメラの投影中心からマスク画像の輪郭上の各点を通すように、三次元空間中に広がる錐体を考える（図８（ｂ））。この錐体のことを該当するカメラによる対象の「視体積」と呼ぶ。さらに、複数の視体積の共通領域、すなわち視体積の交差を求めることによって、オブジェクトの三次元形状が求まる（図８（ｃ））。なお、三次元モデルの生成手法として視体積交差法は一例であってこれに限定されるものではない。

モデル統合部２０５は、レンダリング用モデル生成部２０３で生成されたレンダリング用モデルと、判定用モデル生成部２０４で生成された判定用モデルを統合する。この統合によって、レンダリング用モデルと判定用モデルとが、共通の三次元空間内に配置されることになる。

可視性判定部２０６は、同一の三次元空間上に配置されたレンダリング用モデルと判定用モデルとを用いて、レンダリング用モデルの各ボクセルについての可視性判定を行う。図９の（ａ）及び（ｂ）は、可視性判定の意義を説明する図である。いま、レンダリング用領域９０１内でモデルｍ１が生成され、隣接する判定用領域９０２内で判定用モデルｍ２が生成されている。カメラｃ１から見たとき、モデルｍ１を遮る位置にモデルｍ２は存在する。その結果、モデルｍ１を構成するボクセルの大部分は、カメラｃ１から見えない（不可視）と正しく判定することができる。一方、図９（ｂ）は、判定用領域９０２を設定しない場合の例である。上述のとおり、カメラｃ１から見たときに、本来であればモデルｍ１を遮る位置にモデルｍ２が存在するはずである。しかし、モデルｍ２の位置はレンダリング用領域９０１の外であるため、そこにオブジェクトが存在していてもその三次元モデルが生成されない。その結果、モデルｍ１を構成するボクセルの大部分はカメラｃ１から見えないにも関わらず見えるものとして扱われ、その色づけ処理においては、仮想視点からの距離に応じた重み付けがなされてしまう。本実施形態では、レンダリング用の三次元モデルを生成する三次元領域に隣接する領域内でも可視性判定用の暫定的な三次元モデルを生成することで、このような問題の発生を抑止する。可視性判定では、まずレンダリング用モデル及び判定用モデルを構成する各ボクセルの座標系を、カメラパラメータに基づき、世界座標系からカメラ座標系に変換する。図１０（ａ）は変換前の世界座標系を示し、同（ｂ）は変換後のカメラｃ１を基準とするカメラ座標系を示している。そして、カメラ１０ａ−１０ｐを順に注目カメラとし、そのカメラ座標系におけるｘ座標とｙ座標が同一、かつ、ｚ座標が小さいボクセルが他にあるかどうかを、各ボクセルを注目ボクセルとしてチェックする。そして、注目ボクセルとｘ座標とｙ座標が同一で、しかもｚ座標が小さいボクセルが他にある場合、当該注目ボクセルは、注目カメラからは見えない（不可視）と判定する。こうして、レンダリング用モデルについてボクセル単位で得られた可視性判定結果の情報は、出力部２０７へ提供される。

出力部２０７は、レンダリング用の三次元モデル、当該三次元モデルについての可視性判定結果、およびテクスチャ画像データを、レンダリング装置１５へ出力する。

＜三次元モデル生成装置における処理フロー＞
図１１は、本実施形態に係る、三次元モデル生成装置１４における処理の流れを示すフローチャートである。図１１のフローチャートの実行開始前において、制御装置１３からカメラパラメータを受信しＲＡＭ１０３等に格納済みであり、また、レンダリング用モデル及び判定用モデルの生成条件がユーザ入力に基づき設定済みであるものとする。以下、図１１のフローチャートに沿って、三次元モデル生成装置１４における処理の流れを説明する。なお、以下の説明において記号「Ｓ」はステップを表す。

Ｓ１１０１では、入力部２０１が、三次元モデルの生成に必要な入力データ（カメラ単位のマスク画像のデータ）の受信を監視する。入力データの受信が検知されれば、Ｓ１１０２に進む。なお、本実施形態では、複数視点画像データは動画であることを前提としているので、Ｓ１１０２以降の処理はフレーム単位で実行される。

Ｓ１１０２では、レンダリング用モデル生成部２０３が、モデル生成条件設定部２０２によって設定されたレンダリング用モデルの生成条件に従い、Ｓ１１０１で受信した入力データを用いて、レンダンリング用の三次元モデルを生成する。続くＳ１１０３では、判定用モデル生成部２０４が、モデル生成条件設定部２０２によって設定された判定用モデルの生成条件に従い、Ｓ１１０１で受信した入力データを用いて、可視性判定用の暫定的な三次元モデルを生成する。

Ｓ１１０４では、モデル統合部１０５が、Ｓ１１０２で生成されたレンダリング用の三次元モデルおよびＳ１１０３で生成された判定用の三次元モデルを、共通の三次元空間内に配置する。そして、Ｓ１１０５では、可視性判定部２０６が、共通の三次元空間に配置されたレンダリング用モデルを構成する各ボクセルについて、判定用モデルを含む他の三次元モデルによって遮られることがないか、各カメラからの可視性を判定する。

Ｓ１１０６では、出力部２０７が、Ｓ１１０２で生成されたレンダリング用モデル、Ｓ１１０５で得られた可視性判定の結果を、レンダリング装置１５に出力する。この際、入力部２０１が受け取ったテクスチャ画像のデータも一緒に出力される。

Ｓ１１０７では、Ｓ１１０１で受信した入力データの全フレームについて処理が完了したか否かが判定される。未処理のフレームがあれば、Ｓ１１０２に戻って次のフレームを対象として処理が続行される。

以上が、本実施形態に係る、三次元モデル生成装置１４における処理の流れである。なお、図１１のフローチャートでは、出力部２０７はフレーム単位で出力を行っているが、複数フレーム分をまとめて出力してもよいし、入力データを構成する全フレーム分の処理が終了した時点でまとめて出力してもよい。

＜変形例＞
なお、本実施形態では、レンダリング用領域に隣接する予め規定した周辺領域を判定用領域として設定するものとしたが、これに限定されない。例えば、レンダリング用領域外のオブジェクトによってレンダリング用モデルにオクルージョンが発生し得る領域を算出して、判定用領域として設定してもよい。この算出の際には、前景となるオブジェクトの形状や大きさ、各カメラの位置及び姿勢を少なくとも含むカメラパラメータ、レンダリング用領域の形状や大きさといった情報などを考慮する。図９（ｃ）は、判定用領域を算出する際の考え方を説明する図である。図９（ｃ）において、モデルｍ４の位置は、レンダリング用領域９０１の境界に存在するモデルｍ３に対し、オクルージョンが生じる可能性のある限界点となる位置である。このモデルｍ４の位置を上述の情報を用いた計算によって求める。このような計算結果に基づき判定用領域を設定することで、より正確な可視性判定が可能となる。

以上のとおり本実施形態によれば、処理負荷の増大を抑制しつつ、レンダリング対象の三次元モデルにおけるオクルージョンの発生箇所を正確に判別することができる。その結果、レンダリング時において、三次元モデルに対し適切な色づけが可能となり、高品質の仮想視点画像を得ることができる。

［実施形態２］
次に、フィールド上に複数のレンダリング用領域が隣り合って設定される場合において、一方のレンダリング用領域の一部を他方の判定用領域として扱い、複数のレンダリング用領域間で三次元モデルを融通し合う態様を、実施形態２として説明する。なお、実施形態１と共通する部分については省略ないしは簡略化し、以下では差異点を中心に説明することとする。

＜システム構成＞
図１２は、本実施形態に係る、仮想視点画像を生成する画像処理システムの構成を示すブロック図である。画像処理システム１’は、実施形態１の図１で示した画像処理システム１に対し、カメラアレイ１０’、前景抽出装置群１２’、制御装置１３’、三次元モデル生成装置１４’の各要素が追加されている。追加要素１０’、１２’、１３’、１４’の働きは、実施形態１の図１における要素１０、１２、１３、１４の働きと同じである。

カメラアレイ１０及びカメラアレイ１０’を構成する各カメラは、図１３に示すようにスタジアム内のフィールドを囲むように配置される。図示の都合上、カメラアレイ１０’はカメラアレイ１０の外側に配置されてフィールドから遠いように見えるが、フィールドまでの実際の距離は、カメラアレイ１０とカメラアレイ１０’とで略同一である。本実施形態の場合、カメラアレイ１０を構成する各カメラ１０ａ−１０ｐはフィールド上の点Ｔ１を注視点として、カメラアレイ１０’を構成する各カメラ１０ａ’−１０ｐ’はフィールド上の点Ｔ２を注視点として、時刻を同期させて撮像を行う。
前景抽出装置群１２から入力データを受け取る三次元モデル生成装置１４と、前景抽出装置群１２’から入力データを受け取る三次元モデル生成装置１４’とは互いに接続されている。そして、三次元モデル生成装置１４及び三次元モデル生成装置１４’は、それぞれ自装置で生成したレンダリング用モデルの一部を、他方の装置に対し可視性判定用の三次元モデルとして提供する。

＜ソフトウェア構成＞
図１４は、本実施形態の三次元モデル生成装置１４及び１４’のソフトウェア構成を示す機能ブロック図である。三次元モデル生成装置１４及び１４’は、入力部２０１、モデル生成条件設定部２０２’、レンダリング用モデル生成部２０３、モデル統合部２０５’、可視性判定部２０６’、出力部２０７を有する。そして、判定用モデル生成部２０４に代えて、判定用モデル送受信部１４０１及び判定用領域設定部１４０２を有する。以下、各部の機能について説明するが、実施形態１と同じ処理ブロック（入力部２０１、レンダリング用モデル生成部２０３、可視性判定部２０６及び出力部２０７）については説明を省略するものとする。

モデル生成条件設定部２０２’は、レンダリング用モデル生成部２０３がレンダリング用の三次元モデルを生成する際の生成条件（レンダリング用領域及びボクセルサイズ）を、ＧＵＩを介したユーザ入力に基づいて設定する。本実施形態では、自装置で生成したレンダリング用の三次元モデルの一部が他方の三次元モデル生成装置における判定用モデルとなるので、判定用モデル生成部２０４は存在しない。よって、本実施形態のモデル生成条件設定部２０２’は、判定用モデルの生成条件の設定は行わない。

判定用モデル送受信部１４０１は、自装置で生成されたレンダリング用モデルの一部を、他方の三次元モデル生成装置からの取得要求に基づき、判定用モデルとして送信する。また、他方の三次元モデル生成装置に対して、判定用モデルの取得要求を行って、他方の三次元モデル生成装置で生成されたレンダリング用モデルの一部を、自装置における判定用モデルとして受信する。図１５（ａ）は、図１２に示すカメラアレイ１０の注視点Ｔ１に対応するレンダリング用領域＿１と、カメラアレイ１０’の注視点Ｔ２に対応するレンダリング用領域＿２を示している。そして、図１５（ｂ）は、カメラアレイ１０に対応する三次元モデル生成装置１４についての送信領域と受信領域を示している。ここで、送信領域は、レンダリング用領域＿１内の一部領域であって、自装置で生成したレンダリング用モデルを判定用モデルとして送信する際の対象領域を指す。この送信領域は、他装置１４’からの所得要求の付帯情報において特定される。また、受信領域は、他装置１４’から受信した判定用モデルが生成された領域（レンダリング用領域＿２内の一部領域）であって、自装置における判定用領域＿１を指す。この受信領域は、自装置１４から他装置１４’へ送る所得要求の付帯情報において特定される。同様に、図１５（ｃ）は、カメラアレイ１０’に対応する三次元モデル生成装置１４’についての送信領域と受信領域を示している。この場合の送信領域は、レンダリング用領域＿２内の一部領域であって、自装置で生成したレンダリング用モデルを送信する際の対象となる領域を指す。また、受信領域は、他装置１４から受け取る判定用モデルの生成された領域（レンダリング用領域＿１内の一部領域）であって、自装置における判定用領域＿２を指す。このように、本実施形態の場合、一方の三次元モデル生成装置において生成された三次元モデルの一部が、他方の三次元モデル生成装置での可視性判定処理における判定用モデルとして使用されることになる。

判定用領域設定部１４０２は、上述の所得要求の付帯情報において定義する、自装置における判定用領域（すなわち、受信領域）を、ユーザ入力に基づいて設定する。この際の設定対象となる領域は、前述のとおり、他方のレンダリング用領域内の一部であって、自装置におけるレンダリング用領域に隣接する領域である。

モデル統合部２０５’は、レンダリング用モデル生成部２０３で生成されたレンダリング用モデルと、判定用モデル送受信部１４０１が他方の三次元モデル生成装置から受信した判定用モデルとを統合する。

＜三次元モデル生成装置における処理フロー＞
図１６は、本実施形態に係る、三次元モデル生成装置１４／１４’における処理の流れを示すフローチャートである。図１６のフローチャートの実行開始前において、制御装置１３からカメラパラメータを受信しＲＡＭ１０３等に済みであり、また、レンダリング用モデルの生成条件及び送信領域がユーザ入力に基づき設定済みであるものとする。さらに、他方の三次元モデル生成装置からの判定用モデルの取得要求についても、本フローの実行開始前に受信済みであるものとする。以下、図１６のフローチャートに沿って、三次元モデル生成装置１４／１４’における処理の流れを説明する。

Ｓ１６０１では、図１１のフローのＳ１１０１と同様、入力部２０１が、三次元モデルの生成に必要な入力データ（すなわち、カメラ単位のマスク画像とテクスチャ画像のデータ）の受信を監視する。入力データの受信が検知されれば、Ｓ１６０２に進む。なお、本実施形態も、複数視点画像データは動画であることを前提としているので、Ｓ１６０２以降の処理はフレーム単位で実行される。

Ｓ１６０２では、図１１のフローのＳ１１０２と同様、Ｓ１６０１で受信した入力データを用いてレンダリング用モデル生成部２０３がレンダンリング用の三次元モデルを生成する。生成したレンダリング用モデルは、モデル統合部２０５’及び出力部２０７に加え、判定用モデル送受信部１４０１に提供される。
Ｓ１６０３では、判定用モデル送受信部１４０１が、Ｓ１６０２で生成したレンダリング用モデルのうち、他方の三次元モデル生成装置からの取得要求で特定される領域内に存在するレンダリング用モデルを抽出する。ここで抽出されたレンダリング用モデルが、他方の三次元モデル生成装置における判定用モデルとなる。

Ｓ１６０４では、判定用モデル送受信部１４０１が、Ｓ１６０３で抽出したレンダリング用モデルを、取得要求の送信元である他方の三次元モデル生成装置へ送信する。続くＳ１６０５では、判定用モデル送受信部１４０１が、事前に送信した取得要求に基づき、他方の三次元モデル生成装置から判定用モデルを受信する。

以降のＳ１６０６〜Ｓ１６０９の各ステップは、図１１のフローにおけるＳ１１０４〜Ｓ１１０７にそれぞれ対応する。すなわち、Ｓ１６０２で生成されたレンダリング用モデルとＳ１６０５で受信した判定用モデルを共通の三次元空間内に配置し（Ｓ１６０６）、レンダリング用モデルを構成する各ボクセルについて可視性判定処理をカメラ単位で実行する（Ｓ１６０７）。そして、Ｓ１６０２で生成されたレンダリング用モデル、Ｓ１６０７で得られた可視性判定の結果が、テクスチャ画像のデータと共にレンダリング装置１５に出力され（Ｓ１６０８）、それが全フレーム分繰り返される（Ｓ１６０９）。

以上が、本実施形態に係る、三次元モデル生成装置１４／１４’における処理の流れである。なお、出力部２０７における出力を、フレーム単位に代えて、複数フレーム単位や入力データ単位としてもよいことは実施形態１と同様である。また、本実施形態では、２台の三次元モデル装置間で双方の三次元モデルを融通し合う例を説明したがこれに限定されない。例えば、カメラアレイや前景抽出装置群などをさらに増やして３つ以上のレンダリング用領域を設定し、３台以上の三次元モデル生成装置間でそれぞれ生成した三次元モデルを融通し合ってもよい。

本実施形態によっても、処理負荷の増大を抑制しつつ、レンダリング対象の三次元モデルにおけるオクルージョンの発生箇所を正確に判別することができる。特に、本実施形態の場合は、他方の三次元モデル生成装置が生成したレンダリング用の三次元モデルを判定用モデルとして使用するため、より高精度で可視性判定を行うことができ、より高品位な仮想視点映像を得ることができる。

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理システム
１４ 三次元モデル生成装置
２０３ レンダリング用モデル生成部
２０４ 判定用モデル生成部
２０６ 可視性判定部
１４０１ 判定用モデル送受信部

Claims (14)

1. 複数の撮像装置で同期撮像して得られた複数視点画像の少なくとも一つに含まれるオブジェクトの三次元形状を表す形状データを、前記同期撮像の対象三次元空間のうち所定の三次元領域で生成する生成手段と、
   前記同期撮像の対象三次元空間のうち前記所定の三次元領域とは異なる三次元領域で生成された形状データを取得する取得手段と、
   前記取得手段で取得された形状データを用いて、前記生成手段で生成された形状データについて、前記撮像装置からの可視性判定を行う判定手段と、
   前記生成手段で生成された形状データを、前記可視性判定の結果と共に出力する出力手段と、
   を有し、
   前記判定手段は、前記生成手段で生成された形状データが、前記取得手段で取得された形状データによって遮られるかどうかを判定する
   ことを特徴とする画像処理装置。
2. 前記所定の三次元領域とは異なる三次元領域は、前記所定の三次元領域に隣接していることを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記所定の三次元領域とは異なる三次元領域にて、前記複数の撮像装置で同期撮像して得られた複数視点画像の少なくとも一つに含まれるオブジェクトの三次元形状を表す形状データを生成することにより取得する、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記所定の三次元領域とは異なる三次元領域は、前記オブジェクトの形状及び大きさ、前記複数の撮像装置それぞれの位置及び姿勢、前記所定の三次元領域の形状及び大きさに基づく計算によって決定されることを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段で取得される形状データの構成要素の単位は、前記生成手段で生成される形状データの構成要素の単位よりも小さいことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記判定手段は、前記生成手段で生成された形状データが、前記取得手段で取得された形状データによって遮られるかどうかを、前記構成要素の単位で判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記判定手段は、
   前記生成手段で生成された形状データ及び前記取得手段で取得された形状データの座標系を世界座標系から撮像装置座標系に変換し、
   前記取得手段で取得された形状データの位置が注目する撮像装置に対してより近い場合に、前記生成手段で生成された形状データが、前記取得手段で取得された形状データによって遮られる、と判定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記所定の三次元領域とは異なる三次元領域にて、前記複数の撮像装置で同期撮像して得られた複数視点画像に写るオブジェクトの三次元形状を表す形状データを生成する手段を有する外部装置と接続され、
   前記取得手段は、前記外部装置から、前記同期撮像の対象三次元空間のうち前記所定の三次元領域とは異なる三次元領域で生成された形状データを受信することにより取得する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
9. 前記取得手段で取得される形状データの構成要素の単位は、前記生成手段で生成される形状データの構成要素の単位と同じであることを特徴とする請求項８に記載の画像処理装置。
10. 前記判定手段は、前記生成手段で生成された形状データが、前記取得手段で取得された形状データによって遮られるかどうかを、前記構成要素の単位で判定することを特徴とする請求項９に記載の画像処理装置。
11. 前記判定手段は、
    前記生成手段で生成された形状データ及び前記取得手段で取得された形状データの座標系を世界座標系から撮像装置座標系に変換し、
    前記取得手段で取得された形状データの位置が前記撮像装置により近い場合に、前記生成手段で生成された形状データが、前記取得手段で取得された形状データによって遮られる、と判定する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 複数の撮像装置で同期撮像して得られた複数視点画像の少なくとも一つに含まれるオブジェクトの三次元形状を表す形状データを、前記同期撮像の対象三次元空間のうち所定の三次元領域で生成する生成手段と、
    前記同期撮像の対象三次元空間のうち前記所定の三次元領域とは異なる三次元領域で生成された形状データを取得する取得手段と、
    前記取得手段で取得された形状データを用いて、前記生成手段で生成された形状データについて、前記撮像装置からの可視性判定を行う判定手段と、
    前記生成手段で生成された形状データを、前記可視性判定の結果と共に出力する出力手段と、
    前記同期撮像を行った三次元空間内に設定された仮想視点の情報を取得する取得手段と、
    前記取得手段で取得された前記仮想視点の情報、前記出力手段で出力された前記可視性判定の結果に基づき、前記出力手段で出力された前記形状データに対して色付け処理を行うレンダリング手段と、
    を有し、
    前記判定手段は、前記生成手段で生成された形状データが、前記取得手段で取得された形状データによって遮られるかどうかを判定する
    ことを特徴とする画像処理システム。
13. 複数の撮像装置で同期撮像して得られた複数視点画像の少なくとも一つに含まれるオブジェクトの三次元形状を表す形状データを、前記同期撮像の対象三次元空間のうち所定の三次元領域で生成する生成ステップと、
    前記同期撮像の対象三次元空間のうち前記所定の三次元領域とは異なる三次元領域で生成された形状データを取得する取得ステップと、
    前記取得ステップにて取得された形状データを用いて、前記生成ステップにて生成された形状データについて、前記撮像装置からの可視性判定を行う判定ステップと、
    前記生成ステップにて生成された形状データを、前記可視性判定の結果と共に出力する出力ステップと、
    を含み、
    前記判定ステップでは、前記生成ステップにて生成された形状データが、前記取得ステップにて取得された形状データによって遮られるかどうかを判定する
    ことを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images