JP2022029239A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】三次元形状データに関わる処理負荷を抑制すること。
【解決手段】
三次元モデル生成装置１０４は、フレーム内の第１の領域のオブジェクトと前記第１の領域以外の領域である第２の領域のオブジェクトとを選定する抑制前景選定部９０２と、前記第１の領域のオブジェクトの三次元形状データを生成する第１のフレームレートを決定し、第２の領域のオブジェクトの三次元形状データを生成するための第２のフレームレートを第１のフレームレートとは異なるフレームレートに決定する抑制間隔決定部９０３と、オブジェクト画像を用いて、三次元形状データを生成するモデル生成部９０５と、第１のフレームレートで第１の領域のオブジェクトの三次元形状データが生成されるように制御し、第２のフレームレートで第２の領域のオブジェクトの三次元形状データが生成されるように制御するデータ削除部９０４と、を有する。
【選択図】図９

Description

本開示の技術は、オブジェクトの三次元形状データの生成に関する。

複数のカメラを異なる位置に設置して複数の視点で同期して撮像し、撮像により得られた複数の画像を用いて仮想視点画像を生成する技術がある。仮想視点画像の生成では、対象物体の三次元形状データが生成される。また、三次元形状データの生成では、対象物体の数や大きさ、撮像装置の台数、三次元形状を構成するボクセルの大きさ、対象となる三次元空間の大きさなどの要因により、計算量が大きくなることがある。

計算量を削減する方法として、特許文献１には、最大ボクセルで分割した測定対象空間内の対象物体と重なるボクセルに対してボクセルの分割を繰り返すことで、多数の最小ボクセルの塊によって対象物体を再構成する方法が記載されている。

特開２００１－３０７０７３号公報

撮像画像には、サッカーの試合におけるゴール前のような重要度が高い領域とフィールド外のような重要度が低い領域とが含まれることがあり、対象物体は、重要度が高い領域だけでなく重要度が低い領域にも位置することがある。このため、特許文献１に記載の方法によって、撮像画像に含まれる複数の対象物体の三次元形状データを生成すると、重要度が低い領域の処理負荷の抑制が十分ではなく、三次元形状データに関わる処理負荷が増す虞がある。

本開示は、三次元形状データに関わる処理負荷を抑制することを目的とする。

本開示に関わる画像処理装置は、複数の撮像装置の撮像によって得られたフレーム内のオブジェクトの形状を示すオブジェクト画像を用いて、前記フレーム内に含まれるオブジェクトの三次元形状データを生成する画像処理装置であって、前記フレーム内の第１の領域のオブジェクトと、前記第１の領域以外の領域である第２の領域のオブジェクトと、を選定する選定手段と、前記第１の領域のオブジェクトの三次元形状データを生成する第１のフレームレートを決定し、前記第２の領域のオブジェクトの三次元形状データを生成するための第２のフレームレートを第１のフレームレートとは異なるフレームレートに決定する決定手段と、前記フレームに対応する前記オブジェクト画像を生成する画像生成手段と、前記画像生成手段によって生成された前記オブジェクト画像を用いて、前記三次元形状データを生成するデータ生成手段と、を有し、前記画像生成手段は、前記第１のフレームレートで前記第１の領域のオブジェクトの三次元形状データが生成されるように制御し、前記第２のフレームレートで前記第２の領域のオブジェクトの三次元形状データが生成されるように制御することを特徴とする。

本開示の技術によれば、三次元形状データに関わる処理負荷を抑制することができる。

仮想視点画像生成システムの構成を示す図。 仮想視点画像生成システムのカメラ配置の例を表した図。 撮像画像から検出された前景を表した図。 矩形テクスチャと矩形マスクを表した図。 前景マスク画像を表した図。 視体積交差法による三次元モデルの生成方法を説明するための図。 ボクセルによる前景の三次元モデルを説明するための図。 三次元モデル生成装置のハードウエア構成を表した図。 三次元モデル生成装置の機能構成を示す図。 背景モデルと重要度情報を説明するための図。 三次元モデル生成の処理を示すフローチャート。 重要度領域とマスク画像を表した図。 低重要度領域の矩形マスクの削除を説明するための図。 三次元モデルの合成を説明するための図。 三次元モデル生成装置の機能構成を示す図。 三次元モデル生成の処理を示すフローチャート。 ボクセル数に応じた重要度情報を説明するための図。 ボールモデルからの距離に応じた重要度領域を説明するための図。

以下、添付の図面を参照して、実施形態に基づいて本開示の技術の詳細を説明する。以下の実施形態は、本開示の技術を実施するにあたっての具体化の例を示したものに過ぎず、本開示の技術的範囲が限定的に解釈されるものではない。本開示の技術はその技術思想又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

＜第１の実施形態＞
第１の実施形態では、一連のフレームに含まれる複数のオブジェクトの三次元モデルを生成する処理において、複数のオブジェクトのうち、予め設定した重要度が低い領域に位置するオブジェクトの三次元モデルの更新頻度（生成頻度）を下げる処理を行う。本実施形態では、この処理によって三次元モデルに関わる処理負荷を抑制する方法を説明する。

［システム構成］
図１は、仮想視点画像を生成するための、本実施形態の仮想視点画像生成システム１００の構成を示すブロック図である。仮想視点画像とは、実カメラとは異なる実在しない仮想カメラの位置及び向き等に基づいて生成される画像であり、自由視点画像や任意視点画像とも呼ばれる。仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。仮想視点画像は、動画であっても、静止画であってもよい。本実施形態では、仮想視点画像は動画であるものとして説明する。

本実施形態の仮想視点画像生成システム１００は、複数のカメラ１０１ａ～１０１ｐを有するカメラアレイ１０１、複数の前景抽出装置１０２ａ～１０２ｒを有する前景抽出装置群１０２、制御装置１０３を有する。さらに、仮想視点画像生成システム１００は、三次元モデル生成装置１０４、レンダリング装置１０５を有する。前景抽出装置１０２ａ～１０２ｐ、制御装置１０３、三次元モデル生成装置１０４、及びレンダリング装置１０５は、演算処理を行うＣＰＵ、演算処理の結果やプログラム等を記憶するメモリなどを備えた一般的な画像処理装置によって実現される。

カメラアレイ１０１は、複数のカメラ１０１ａ～１０１ｐで構成され、様々な角度の複数方向からオブジェクトを撮像して前景抽出装置群１０２へ撮像画像の画像データを出力する。

図２は、カメラアレイ１０１を構成する全１６台のカメラ１０１ａ～１０１ｐの配置を、フィールドを真上から見た俯瞰図で示した図である。図２に示すようにカメラは競技場の周囲に配置され、全てのカメラ１０１ａ～１０１ｐで共通したフィールド上の注視点に向けて様々な角度から時刻同期して撮像する。ただし、本開示において、カメラ１０１ａ～１０１ｐのうちいくつかは別の注視点に向けられて配置されていてもよいし、全てのカメラ１０１ａ～１０１ｐが異なる位置に向けて配置されていてもよい。また、カメラ１０１ａ～１０１ｐのうちいくつかは同じ注視点に向けられて配置され、残りのカメラは互いに異なる位置に向けて配置されるような構成であってもよい。

前景抽出装置群１０２は、夫々のカメラ１０１ａ～１０１ｐに対応する前景抽出装置１０２ａ～１０２ｐで構成される。各前景抽出装置１０２ａ～１０２ｐは、対応するカメラから出力された撮像画像の画像データから撮像画像に含まれるオブジェクトのシルエットを示す前景領域を抽出する。

撮像画像の前景であるオブジェクトとは、仮想視点の任意の角度から見ることを可能とする被写体であり、例えば、競技場のフィールド上に存在する人物のことを指す。または、オブジェクトは、ボール、またはゴール等、画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。

そして各前景抽出装置１０２ａ～１０２ｐは、対応するカメラが撮像することによって得られた撮像画像の前景領域とそれ以外の領域とを示す矩形マスク、およびオブジェクトのテクスチャを示す画像である矩形テクスチャを生成する。

図３は、前景抽出装置１０２ａ～１０２ｐにおける前景領域の抽出処理について説明するための図である。図３（ａ）は、図２のカメラ１０１ｄが撮像することによって得られた撮像画像の例であり、撮像画像３００には５つオブジェクトを示す前景３ａ－３ｅが含まれる。前景抽出装置１０２ｄはカメラ１０１ｄの撮像画像３００に含まれる前景領域を抽出し、図３（ｂ）で示すように前景３ａ－３ｅに対応する５つの矩形領域４ａ－４ｅを算出する。前景領域の抽出方法は、例えば、保持している背景画像と撮像画像の輝度や色の差分の大きい領域を前景と判定する方法が用いられる。背景は撮像画像の前景以外の領域を指す。

図４は、矩形テクスチャおよび矩形マスクを示す図である。図４（ａ）は、図３（ｂ）で示した前景を内包する矩形領域を切り出すことによって得られた複数の画像を表す図であり、この画像を矩形テクスチャと呼ぶ。また、図４（ｂ）は図３（ｂ）で示した前景を内包する矩形領域のうち、オブジェクトを示す前景領域を白で、背景の領域を黒で、表したオブジェクトごとの二値のシルエット画像５ａ－５ｅを表す図である。この二値画像を矩形マスクと呼ぶ。矩形テクスチャおよび矩形マスクは矩形領域の座標と共に三次元モデル生成装置１０４に送信される。

制御装置１０３は、カメラアレイ１０１のカメラによって時刻同期され撮像された撮像画像の画像データからカメラ１０１ａ～カメラ１０１ｐの位置や姿勢を示すカメラパラメータを算出し、三次元モデル生成装置１０４とレンダリング装置１０５に出力する。

カメラパラメータは、外部パラメータ、および内部パラメータで構成されている。外部パラメータは、回転行列および並進行列で構成されておりカメラの位置や姿勢を示すものである。一方、内部パラメータは、カメラの焦点距離や光学的中心などを含みカメラの画角や撮像センサの大きさなどを示すものである。カメラパラメータを算出する処理はキャリブレーションと呼ばれ、チェッカーボードのような特定パターンを撮像した複数枚の画像を用いて取得した三次元の世界座標系の点とそれに対応する二次元上の点との対応関係を用いることで求められる。

三次元モデル生成装置１０４は、制御装置１０３よりカメラパラメータを取得し、前景抽出装置群１０２から矩形マスクを取得し、複数の矩形マスク画像を再構成して複数のカメラ毎のマスク画像を生成する。

図５は、カメラ１０１ｄが撮像することによって得られた撮像画像３００に対応する、オブジェクトのシルエットを示す前景マスク画像（オブジェクト画像とも記す）を表す図である。前景マスク画像は、撮像画像内のオブジェクトの領域を示す画像であり、矩形マスクと各矩形マスクの座標情報を基に撮像画像３００におけるオブジェクトの位置に矩形マスクを配置して再構成された画像である。矩形マスクは図４（ｂ）で示すように撮像画像における個々のオブジェクトを内包する矩形で切り出されたオブジェクトごとの画像であるのに対して、前景マスク画像は図５で示すように複数の矩形マスクを切り出された座標へ貼り付けて合成した画像である。前景マスク画像は、矩形マスクと同様に、撮像画像の前景領域を白、背景領域を黒で表した二値のシルエット画像である。なお、本実施形態では、前景マスク画像は、三次元モデル生成装置１０４で生成されるもとして説明するが前景抽出装置１０２ａ～１０２ｐで生成されてもよい。

さらに、三次元モデル生成装置１０４は、複数のカメラの前景マスク画像を用いて、視体積交差法によりボクセル集合で表されるオブジェクトの三次元モデルを三次元空間上に生成する。三次元モデルの生成およびボクセルについては後述する。三次元モデル生成装置１０４は、生成したオブジェクトの三次元モデルのデータをレンダリング装置１０５に出力する。

レンダリング装置１０５は、オブジェクトの三次元モデル、および前景テクスチャ画像を取得する。前景テクスチャ画像は、矩形テクスチャと各矩形テクスチャの座標情報を基に撮像画像におけるオブジェクトの位置に矩形テクスチャを配置するように再構成された画像である。また、レンダリング装置１０５は、制御装置１０３からカメラパラメータを取得する。レンダリング装置１０５はこれらのデータに基づき仮想視点画像を生成する。具体的には、カメラパラメータから前景テクスチャ画像とオブジェクトの三次元モデルとの位置関係を求める。そして、三次元モデルを構成する各ボクセルに対応する前景テクスチャ画像における画素の色に基づき色づけすることで三次元空間が再構築され、任意視点から見た映像が生成される。

なお、本実施形態では、前景抽出装置１０２ａ～１０２ｐと三次元モデル生成装置１０４とがスター型のトポロジーで接続されている形態であるものとして説明する。他にも、前景抽出装置１０２ａ～１０２ｐと三次元モデル生成装置１０４とがディジーチェーン接続によるリング型またはバス型等のトポロジーで接続されている形態であってもよい。

[三次元モデルの生成方法について]
次に、三次元モデル生成装置において行われるオブジェクトの三次元モデルの生成処理の概要について説明する。三次元形状データにおいてボクセルで表されるオブジェクトの三次元形状を、オブジェクト（前景）の三次元モデルとも呼ぶ。ここでは、視体積交差法によるオブジェクトの三次元モデルの生成について説明する。

図６は、視体積交差法の基本原理を示す図である。図６（ａ）は、あるオブジェクトである対象物体Ｃを撮像装置であるカメラにより撮像したときの図である。前述したように、対象物体Ｃを撮像して得られる撮像画像と背景画像との色または輝度の差分に基づき二値化することで対象物体Ｃの二次元シルエット（前景領域）が含まれる前景マスク画像が得られる。

図６（ｂ）は、カメラの投影中心（Ｐａ）から二次元シルエットＤａの輪郭上の各点を通すように、三次元空間中に広がる錐体を示す図である。この錐体のことを当該カメラによる視体積Ｖａと呼ぶ。図６（ｃ）は複数の視体積によりオブジェクトの三次元モデルが求まる様子を示す図である。図６（ｃ）のように、位置が異なる複数の異なるカメラによって同期撮像された画像に基づく二次元シルエットＤａからカメラごとの複数の視体積を求める。視体積交差法による三次元モデルの生成では、複数のカメラの視体積の交差（共通領域）を求めることによって、対象物体の三次元モデルが生成される。生成される三次元モデルはボクセルの集合で表される。

図７はボクセルを説明するための図である。ボクセルとは、図７（ａ）で示すような微小な立方体のことである。図７（ｂ）は三次元モデルを生成するカメラの対象空間をボクセルの集合として表したものである。対象空間のボクセルのうち処理対象のボクセルである１つの着目ボクセルを各カメラの前景マスク画像に射影したとき、各カメラの前景マスク画像の前景領域内に着目ボクセルの射影が収まるか否かが判定される。この判定の結果、着目ボクセルの射影が前景領域から外れる場合、着目ボクセルは削除される。

カメラの前景領域に収まらなかったボクセルを削ることで、図７（ｃ）に示す四角錐の対象物体の三次元モデルが、図７（ｄ）に示すようにボクセルによって生成される。生成された三次元モデルを構成する各ボクセルの位置に対応したテクスチャ画像の画素値をボクセルに付与することで三次元空間上に色の付いたオブジェクトの三次元形状を構成することができる。

対象物体の数や大きさ、カメラの台数、ボクセルのサイズ、対象となる三次元空間の大きさなどの要因により三次元モデルに関わる処理の計算量が多くなり、仮想視点画像の生成が困難となる場合がある。特に三次元モデルの精細さ、三次元モデル生成時の負荷、または三次元モデルに関わる処理負荷は、三次元モデルを構成するボクセルの数に影響される。

なお、本実施形態では、オブジェクトの三次元モデルを立方体のボクセルとして表すがこれに限られない。他にも例えば、三次元空間を構成する要素として点を用いて、三次元モデルを点群で表してもよい。

[三次元モデル生成装置のハードウエア構成]
図８は、本実施形態の三次元モデル生成装置１０４のハードウエア構成例を示すブロック図である。三次元モデル生成装置１０４は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、記憶装置８０４、表示部８０５、操作部８０６、および通信部８０７を有する。

ＣＰＵ８０１は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ＲＯＭ８０２またはＲＡＭ８０３に格納されたプログラムを実行することにより三次元モデル生成装置１０４の全体を制御する。

ＲＯＭ８０２は読み取り専用の不揮発性メモリである。ＲＡＭ８０３は、随時読み書きが可能なメモリである。ＲＡＭ８０３として、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いることができる。記憶装置８０４はたとえばハードディスクなどで構成される大容量の記憶装置である。記憶装置８０４には、前景抽出装置１０２ａ～１０２ｐから得られた矩形マスクなどを格納することができる。

表示部８０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが三次元モデル生成装置１０４を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部８０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ８０１に入力する。ＣＰＵ８０１は、表示部８０５を制御する表示制御部、及び操作部８０６を制御する操作制御部としても動作する。本実施形態では表示部８０５と操作部８０６が三次元モデル生成装置１０４の内部に存在するものとするが、表示部８０５と操作部８０６との少なくとも一方が三次元モデル生成装置１０４の外部に別の装置として存在していてもよい。

通信部８０７は、三次元モデル生成装置１０４と外部装置との通信制御を行う。例えば、通信部８０７が通信制御を行うことで、ＬＡＮなどのネットワークを介して、三次元モデル生成装置１０４は、前景抽出装置群１０２とレンダリング装置１０５とに接続される。

なお、三次元モデル生成装置１０４において実現される後述する図９の各機能部は、ＣＰＵ８０１が所定のプログラムを実行することにより実現されるが、これに限られるものではない。他にも例えば、演算を高速化するためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウエアが利用されてもよい。すなわち、三次元モデル生成装置１０４の各機能部は、ソフトウエアと専用ＩＣなどのハードウエアとの協働で実現されてもよいし、一部またはすべての機能がハードウエアのみで実現されてもよい。また、三次元モデル生成装置１０４を複数用いることにより各機能部の処理を分散させて実行するような構成でもよい。

［三次元モデル生成装置の機能構成］
図９は、本実施形態における三次元モデル生成装置１０４の機能構成を示すブロック図である。本実施形態の三次元モデル生成装置１０４は、取得部９０１、抑制前景選定部９０２、抑制間隔決定部９０３、データ削除部９０４、モデル生成部９０５、データ管理部９０６、およびデータ合成部９０７を有する。

取得部９０１は、カメラアレイ１０１を構成する各カメラ１０１ａ～１０１ｐのカメラパラメータ、競技場などの撮像環境の三次元形状を示す背景モデル、競技場などの撮像環境内の領域の重要度を示す重要度情報を制御装置１０３から取得する。重要度情報については後述する。さらに、取得部９０１は、カメラアレイ１０１を構成する各カメラの撮像画像から前景抽出することによって得られた図４（ａ）に示す矩形テクスチャと図４（ｂ）に示す矩形マスクとを前景抽出装置群１０２から取得する。取得部９０１は、カメラパラメータ、背景モデル、および重要度情報を、抑制前景選定部９０２へ出力する。また、取得部９０１は、カメラパラメータ、矩形テクスチャ、および矩形マスクをデータ削除部９０４へ出力する。

抑制前景選定部９０２は、背景モデルとカメラパラメータと重要度情報と用いて各カメラ１０１ａ～１０１ｐの撮像画像内の領域に重要度を設定する。撮像画像内の領域の重要度の設定の方法は、例えば、撮像環境の三次元空間を示す背景モデル上に、重要度情報を用いて、重要度に応じた領域を配置する。そして、各重要度に応じた三次元空間上の領域を、カメラパラメータを用いて、カメラの撮像画像に射影することで撮像画像内の領域の重要度を設定する。撮像画像内の領域の重要度を示す情報を重要度領域情報と呼ぶ。そして、抑制前景選定部９０２は、三次元形状データの生成の対象である対象フレームにおける所定の重要度の領域に位置するオブジェクトを選定する。抑制前景選定部９０２は、各々の撮像画像内の重要度領域情報を抑制間隔決定部９０３に出力する。

抑制間隔決定部９０３は、撮像画像内の重要度が低い領域（低重要度領域）に位置するオブジェクトの三次元モデルの更新の頻度を示す時間間隔を決定する。この時間間隔を抑制間隔とも記す。例えば、抑制間隔は、撮像画像の受信頻度である入力フレームレートが６０ｆｐｓの場合において、低重要度領域のオブジェクトの三次元モデルの更新頻度を示すフレームレートを３０ｆｐｓとする場合の、更新頻度を示すフレームレートに関わる情報である。なお、三次元モデルの更新の頻度は、三次元モデルを生成する頻度ともいえる。

フレームレート（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）は１秒間に処理される単位を示し、入力フレームレートは１秒間にカメラから出力される撮像画像（フレーム）の数である。同様に、フレームレートは１秒間に生成される前景テクスチャ画像、および前景マスク画像の数を示す。

処理フレームレートは１秒間に生成する三次元モデルの数を表す。カメラからフレームを取得するごとに、視体積交差法によって、低重要度領域に位置しないオブジェクトの三次元モデルが生成される。このため、入力フレームレートが６０ｆｐｓの場合、低重要度領域に位置しないそれぞれのオブジェクトの三次元モデルは１秒間にそれぞれ６０個生成される。低重要度領域に位置しないオブジェクトの三次元モデルの更新頻度を表す処理フレームレートは、入力フレームレートと同じ６０ｆｐｓである。

一方、間隔が２の場合、入力フレームレート（６０ｆｐｓ）の１／２のフレームレートである３０ｆｐｓの処理フレームレートで、低重要度領域に位置する前景の三次元モデルが視体積交差法により生成されて更新される。この場合、１秒間にカメラから入力される６０フレームの内、低重要度領域のオブジェクトの三次元モデルを生成には用いられないフレームが含まれることになる。低重要度領域のオブジェクトの三次元モデルの生成に用いられないフレームを処理抑制フレームとも呼ぶ。同様に、間隔が４の場合、入力フレームレートの１／４のフレームレートである１５ｆｐｓで、低重要度領域のオブジェクトの三次元モデルが生成されて更新される。

抑制間隔決定部９０３は、この間隔または低重要度領域の処理フレームレートを抑制間隔として決定する。抑制間隔決定部９０３は、抑制間隔の情報を取得して、低重要度領域に位置するオブジェクトの三次元モデルの更新の頻度を示す時間間隔を決定してもよい。また、抑制間隔決定部９０３は夫々の重要度に応じた抑制間隔を決定してもよい。重要度領域情報と夫々の重要度ごとの抑制間隔をデータ削除部９０４に出力する。

なお、抑制間隔決定部９０３は、動的に抑制間隔を決定してもよい。または、所定の条件を満たす場合に対象フレームを処理抑制フレームと決定してもよい。例えば、三次元モデルの生成時の処理負荷が高くなった場合、対象フレームを処理抑制フレームとして決定してもよい。または、三次元モデルの生成時の処理負荷が高くなった場合、低重要度領域に位置するオブジェクトの三次元モデルの更新の時間間隔を大きくして、三次元モデルを更新する処理フレームレートを下げるように抑制間隔が決定してもよい。

データ削除部９０４は、抑制間隔決定部９０３から出力される重要度領域情報と抑制間隔とを取得する。取得部９０１が取得した矩形マスク等を抽出するために用いられたフレームが処理抑制フレームである場合、データ削除部９０４は、生成された矩形マスクのうち低重要度領域内に位置するオブジェクトの矩形マスクを削除する。データ削除部９０４は、削除した矩形マスクの画像以外の矩形マスクを用いて図５で示した前景マスク画像を生成する。生成された前景マスク画像をモデル生成部９０５に出力する。

なお、本実施形態では、前景マスク画像は、矩形マスクを合成して生成されるものとして説明するが、矩形マスクを用いないで前景マスク画像が生成されてもよい。例えば、撮像画像から前景領域を抽出して、前景領域を白、背景領域を黒に表すように二値化することにより生成されてもよい。その場合、データ削除部９０４は、前景マスク画像の低重要度領域内にある前景領域が背景領域になるように前景マスク画像に処理を行うことで低重要度領域の前景領域を削除してもよい。

また、データ削除部９０４は、低重要度領域内にあるオブジェクトの矩形マスクを削除した場合、同様に、低重要度領域内にあるオブジェクトの矩形テクスチャを削除してもよい。低重要度領域内にあるオブジェクトの矩形テクスチャを削除することで、レンダリング装置１０５における色付けにおいて、低重要度領域の矩形テクスチャが用いられないようにすることができる。

モデル生成部９０５は、カメラパラメータと、データ削除部９０４から出力された複数のカメラの前景マスク画像とを用いて、視体積交差法により、フレームに含まれるオブジェクトの三次元モデルの生成をする三次元形状データ生成部である。生成されたデータは、データ合成部９０７に出力される。処理抑制フレームの三次元モデルを生成する場合、モデル生成に用いられる前景マスク画像は、データ削除部９０４によって削除された矩形マスクに対応する前景領域は含まれない前景マスク画像である。このため、モデル生成部９０５は、処理抑制フレームでは、低重要度領域に位置するオブジェクトの三次元モデルは生成しないで、低重要度領域以外の領域に位置するオブジェクトの三次元モデルを生成することができる。

データ合成部９０７は、前景マスク画像と、モデル生成部９０５が生成したオブジェクトの三次元モデルとを取得し、データ削除部９０４から前景テクスチャ画像と抑制間隔とを取得する。対象フレームが処理抑制フレームである場合、データ合成部９０７は、データ削除部９０４が削除を行った三次元空間上の低重要度領域に、前回生成されたオブジェクトの三次元モデルを合成する。そして、合成の結果得られたデータを対象フレームに含まれるオブジェクトの三次元形状を表すデータとしてレンダリング装置１０５に出力する。

同様に、データ合成部９０７は、前景マスク画像の低重要度領域に、前回生成された前景マスク画像の対応する領域の前景領域を合成する。合成の結果得られた前景マスク画像は、次のフレームにおける低重要度領域の位置する前景のマスク画像として用いられる。同様に、データ合成部９０７は、前景テクスチャ画像の低重要度領域に、前回生成された前景テクスチャ画像の対応する前景の部分を合成する。合成の結果得られた夫々のデータはデータ管理部９０６に出力される。

データ管理部９０６は、データ合成部９０７が出力したデータをＲＯＭ８０３または記憶装置８０４等の記憶部に記憶させる。記憶されるデータは、三次元モデル、前景テクスチャ画像、前景マスク画像のそれぞれのデータである。このため、データ合成部９０７は、データ管理部９０６を介して、１つ前のフレームに対応する三次元モデルから、低重要度領域に位置するオブジェクトの三次元モデルを取得することができる。

[画像内の領域の重要度について]
図１０は、画像内の領域の重要度を説明するための図である。図１０（ａ）は、背景モデルの三次元空間上に、重要度が設定された領域である重要度領域Ｒ１～Ｒ３を重畳して表示している図である。また、図１０（ａ）にはカメラパラメータに基づきカメラ１０１ａ～１０１ｐの配置を表している。

背景モデルは、撮像環境の三次元空間を表す三次元形状データであり図１０（ａ）では簡易的な競技場を表している。背景モデルのデータ形式としては、例えば、三次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）でも用いられるジオメトリ定義ファイル形式で表される。

重要度領域Ｒ１～Ｒ３は、重要度情報に基づき表示される。重要度情報は、三次元空間上での夫々の領域の重要度を決定するための情報である。重要度情報に基づき、背景モデルの床面を分割して夫々の領域に重要度が付与される。重要度は、本実施形態では、重要度の高い順に１、２、３の３段階で設定するものとして説明する。そして、重要度が１の領域を領域Ｒ１、重要度が２の領域を領域Ｒ２、重要度が３の領域を領域Ｒ３として背景モデルに設定される。重要度が、最も高い領域Ｒ１以外の領域である、領域Ｒ２および領域Ｒ３を低重要度領域と呼ぶ。重要度情報は、例えば、ユーザの指示により設定された夫々の領域の重要度を示す情報である。

図１０の例では、領域Ｒ１は視聴者の注目度が高いゴール前、領域Ｒ２はフィールド内の中央付近、領域Ｒ３はフィールド外を示している。なお、本実施形態では、重要度情報は、分割した二次元平面である床面に重要度を付与するための情報であるものとして説明するが、三次元空間に重要度を付与する情報であってもよい。

本実施形態では、低重要度領域に位置するオブジェクトについては、三次元モデルを更新する頻度が低くなるように処理される。このため、重要でない領域の三次元モデルの更新頻度を低くすることで、重要な領域の三次元モデルの更新頻度を高い状態に保ちつつ、三次元モデルに関わる全体の処理負荷を抑制することができる。

図１０（ｂ）は、カメラパラメータに基づき三次元空間上の点を透視投影変換することで得られるカメラ１０１ｅによる図１０（ａ）の三次元空間を撮像した場合の撮像画像を示す図である。夫々のカメラにおいて透視投影変換することで、全てのカメラの撮像画像の各重要度領域を求めることができる。

透視投影変換とは、式１により、三次元座標点をカメラから撮像した画像平面に射影することである。
ｓｘ＝Ａ［Ｒ｜ｔ］Ｘ ・・・式１
式１において、Ｘは三次元空間の座標点、Ｒ｜ｔは、カメラパラメータの外部パラメータ、Ａはカメラパラメータの内部パラメータ、ｘは二次元平面の座標点、ｓはカメラ座標系における座標点のｚ座標を示す。

［三次元モデルの生成の処理フロー］
図１１は、フレーム内のオブジェクトの三次元モデルを示す三次元形状データの生成の流れを示すフローチャートである。図１１のフローチャートで示される一連の処理は、三次元モデル生成装置１０４のＣＰＵ８０１がＲＯＭ８０３に記憶されているプログラムコードをＲＡＭ８０２に展開し実行することにより行われる。また、図１１におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

Ｓ１１０１において抑制前景選定部９０２は、カメラパラメータ、背景モデル、重要度情報に基づき、各カメラ１０１ａ～１０１ｐの撮像画像内の領域の重要度を決定する。

Ｓ１１０２において抑制間隔決定部９０３は、重要度ごとの抑制間隔を取得する。本フローチャートの説明では、抑制間隔は処理フレームレートで表現する。重要度が最大である重要度１の領域Ｒ１に位置するオブジェクトの処理フレームレートは、入力フレームレートと同じ６０ｆｐｓと予め決められているものとする。また、重要度２の領域Ｒ２に位置するオブジェクトの処理フレームレートは３０ｆｐｓ、重要度が最小の３の領域Ｒ３に位置するオブジェクトの処理フレームレートは１５ｆｐｓ、と予め決定されているものとする。このため、抑制間隔決定部９０３は決定されている各重要度の処理フレームレートを取得する。

Ｓ１１０３～Ｓ１１１０は、カメラ１０１ａ～１０１ｐから出力された１フレーム（対象フレーム）に含まれるオブジェクトの三次元モデルを出力するためのステップである。まず、Ｓ１１０３において取得部９０１は、各カメラの、矩形マスクおよび矩形テクスチャを、前景抽出装置群１０２から取得する。Ｓ１１０４において抑制前景選定部９０２は、取得した矩形マスクのうち低重要度領域に位置する矩形マスクがあるか判定する。

図１２は、本ステップの処理を説明するための図である。図１２（ａ）は図１０（ａ）のカメラ１０１ｅの撮像に基づくフレームを示す図である。図１２（ｂ）は、各重要度領域が重畳された背景モデルをカメラ１０１ｅが撮像することによって得られた画像に、図１２（ａ）のフレームに基づき生成された矩形マスクを配置した図である。図１２（ｂ）に示すように、低重要度領域であるフィールド中央の領域Ｒ２とフィールド外の領域Ｒ３に位置する矩形マスクがある場合、低重要度領域に位置する矩形マスクがあると判定される。

図１２（ｂ）の矩形マスクＭ１が示すように領域Ｒ１と領域Ｒ２との２つの重要度領域に跨る矩形マスクについては、矩形マスクの下端が属する領域の重要度に基づき、低重要度領域に位置する矩形マスクはあるかの判定が行われる。即ち、矩形マスクＭ１は領域Ｒ１の高重要度領域に位置すると判定される。

低重要度領域に位置する矩形マスクがある場合、Ｓ１１０５に進む。Ｓ１１０５におい重要度の抑制間隔に基づき、Ｓ１１０３で取得された矩形マスクを生成するために用いられた対象フレームが処理抑制フレームか判定される。例えば、抑制間隔決定部９０３は、対象フレームが、ある重要度の領域に位置するオブジェクトの三次元モデルの更新を行わないフレームであるかを決定する。決定は、抑制間隔と対象フレームのタイムコードとに基づき行われる。

例えば、入力フレームレートが６０ｆｐｓの場合であって、領域Ｒ２のオブジェクトの処理フレームレートが３０ｆｐｓに設定されているとする。また、領域Ｒ３のオブジェクトの処理フレームレートが１５ｆｐｓに設定されているとする。この場合、対象フレームのタイムコードのフレーム数を示す値が２の倍数以外のときは、対象フレームは、領域Ｒ２または領域Ｒ３に位置するオブジェクトの三次元モデルの更新は行わない処理抑制フレームであると決定される。また、対象フレームのタイムコードのフレーム数を示す値が、２の倍数であり、かつ、４の倍数以外の場合、対象フレームは、領域Ｒ３に位置するオブジェクトの三次元モデルの更新は行わない処理抑制フレームであると決定される。

タイムコードとは［時：分：秒．フレーム］の形式で表される時刻情報である。以下、本フローチャートにおいては、領域Ｒ２の処理フレームレートは３０ｆｐｓ、領域Ｒ３の処理フレームレートは１５ｆｐｓとして説明をする。

つまり、領域Ｒ２に位置するオブジェクトは、対象フレームのタイムコードのフレームの値が２の倍数の場合に、対象フレームに基づき生成された矩形マスクを用いて三次元モデルが生成されることになる。領域Ｒ３に位置するオブジェクトは、タイムコードのフレームの値が４の倍数の場合に、対象フレームに基づき生成された矩形マスクを用いて三次元モデルが生成される。

対象フレームが処理抑制フレームである場合（Ｓ１１０５がＹＥＳ）、Ｓ１１０６において、低重要度領域に位置する矩形マスクのうち、三次元モデルの生成を抑制する対象となる領域に位置する矩形マスクが選定される。そして、データ削除部９０４は、選定された三次元モデルの生成を抑制する対象となる領域に位置する矩形マスクを削除する。

図１３は、処理抑制フレームの矩形マスクを削除する本ステップの処理を説明するための図である。図１３（ａ）は、図１２（ｂ）に含まれる矩形マスクのうち、領域Ｒ３に位置する矩形マスクを削除した後の矩形マスクを表す図である。例えば、タイムコードが１２：３４：５６．０２のように、フレームの値が２の倍数であり、かつ、４の倍数ではない場合、重要度が最も低い領域Ｒ３の位置するオブジェクトの三次元モデルは生成しない処理抑制フレームである。このため、領域Ｒ３に位置する矩形マスクが削除される。

図１３（ｂ）は、図１２（ｂ）の図に含まれる矩形マスクのうち、領域Ｒ３または領域Ｒ２に位置する矩形マスクを削除した後の矩形マスクマスクを表す図である。タイムコードが１２：３４：５６．０３のように、フレームの値が２の倍数ではなくかつ４の倍数以外の場合、重要度が最も高い領域Ｒ１以外の領域である領域Ｒ２および領域Ｒ３の位置するオブジェクトの三次元モデルは生成しない処理抑制フレームである。このため、領域Ｒ２および領域Ｒ３に位置する矩形マスクが削除される。

Ｓ１１０７ではオブジェクトの三次元モデルを生成する。初めに、データ削除部９０４は、矩形マスクを用いて前景マスク画像を生成する。Ｓ１１０６で矩形マスクが削除された場合、データ削除部９０４は、削除された矩形マスクは用いないで、各カメラの前景マスク画像を生成する。そして、モデル生成部９０５は、カメラパラメータと各カメラの前景マスク画像を用いて視体積交差法で三次元モデルを生成する。図１３（ａ）または図１３（ｂ）で示すように処理抑制フレームにおける三次元モデル生成処理では、矩形マスクが少なくなる。このため、前景マスク画像における前景領域も少なくなり、生成される三次元モデルのボクセル数も少なくなる。このため、本実施形態では、三次元モデルに関わる処理負荷を軽減することができる。

一方、Ｓ１１０４においてＮＯ、またはＳ１１０５においてＮＯと判定された場合は、Ｓ１１０６はスキップしてＳ１１０７に進む。このため、取得した全ての矩形マスクを用いて前景マスク画像が生成され、フレームに含まれるオブジェクトの三次元モデルが生成される。

Ｓ１１０８では、Ｓ１１０７で三次元モデルの生成がされなかったオブジェクトがあるか判定される。Ｓ１１０６で矩形マスクが削除された場合はＹＥＳと判定される。

三次元モデルが生成されないオブジェクトがある場合（Ｓ１１０８がＹＥＳ）、Ｓ１１０９においてデータ合成部９０７は、オブジェクトの三次元モデルが生成されなかった領域に位置する、１つ前のフレームの三次元モデルを取得する。そして今回の生成した三次元モデルが配置された三次元空間に、取得された１つ前のフレームのオブジェクトの三次元モデルを追加するように合成する。合成の結果得られたデータは対象フレームのオブジェクトの三次元モデルを表すデータとして、レンダリング装置１０５に出力される。

図１４はデータ合成部９０７の処理を説明するための図である。図１４（ａ）は、Ｓ１１０７の処理の結果生成されたオブジェクトの三次元モデルを白色の領域で示した図である。図１３（ｂ）で示した領域Ｒ２と領域Ｒ３とに位置する矩形マスクが削除されたことに基づき生成された前景マスク画像に基づき生成された三次元モデルを、背景に重畳させて表した図が図１４（ａ）である。つまり、対象フレームのタイムコードが１２：３４：５６．０３である場合のように、高重要度領域である領域Ｒ１に位置するオブジェクトの三次元モデルのみ生成されていることを示す。

図１４（ｂ）は、１つ前のフレームに対応する、前回出力されたオブジェクトの三次元モデルを斜線の領域で示した図である。本ステップでは、今回、三次元モデルが生成されなかった領域に位置するオブジェクトの三次元モデルが、１つ前のフレームの三次元モデルから取得される。つまり、図１４の例では、図１４（ｂ）における領域Ｒ２と領域Ｒ３とに位置する三次元モデルが取得される。そして図１４（ｃ）に示すように、１つ前のフレームにおける領域Ｒ２と領域Ｒ３に位置する三次元モデルを、今回生成された三次元モデルが配置されている三次元空間上の領域Ｒ２と領域Ｒ３に追加する。つまり、低重要度領域である領域Ｒ２と領域Ｒ３とに位置する三次元モデルは今回のフレームでは更新されないことになり、高重要度領域である領域Ｒ１に位置する三次元モデルのみ処理抑制フレームでは更新される。

なお、図１３（ａ）で示したように領域Ｒ２の矩形マスクは削除されず、領域Ｒ３に位置する矩形マスクが削除された場合も同様に１つ前のフレームの三次元モデルが追加による合成が行われる。即ち、１つ前のフレームの三次元モデルから領域Ｒ３に位置する三次元モデルが取得されて、今回の生成された三次元モデルが配置されている三次元空間上に取得された三次元モデルが追加される。

また、重要度が異なる領域の境界付近にある三次元モデルについては、位置の誤判定等により、三次元モデルが生成されたにも関わらず、１つ前のフレームの三次元モデルが取得されることが考えられる。この場合、合成により三次元モデルが重複してしまう。この重複を回避するため、１つ前のフレームに対応する三次元モデルと生成した三次元モデルとが重なるか判定し、重なる場合は１つ前のフレームの三次元モデルを合成しないという処理が行われてもよい。

一方、三次元モデルの生成がされなかったオブジェクトが無いと判定された場合（Ｓ１１０８がＮＯ）、全てのオブジェクトの三次元モデルは生成されている。このため１つ前のフレームの三次元モデルを合成する処理は行わないため、Ｓ１１０９はスキップされる。

Ｓ１１１０においてデータ管理部９０６は、対象フレームの三次元モデル等を記憶部に記憶する。記憶する三次元モデルは、Ｓ１１０９で合成が行われた場合は、合成の結果得られた三次元モデルである。記憶されたデータは、次のフレームにおけるＳ１１０９の三次元モデルの合成処理における、１つ前のフレームの三次元モデルのデータとして用いられる。１つ前のフレームが処理抑制フレームである場合、記憶される三次元モデルのデータには、１つ前のフレームに基づき生成された三次元モデルと、１つ前のフレームより過去のフレームに基づき生成された三次元モデルとが含まれる。

Ｓ１１１１において、次のフレームがあるかが判定される。次のフレームがある場合は、Ｓ１１０３に戻る。そして、Ｓ１１０３～Ｓ１１１０の処理を繰り返すことで、時間的に連続した一連のフレームの三次元モデルが生成され、時間的に連続した三次元モデルが出力される。

以上説明したように本実施形態においては、仮想視点画像の視聴者の注目度が低いような低重要度領域に位置する三次元モデルの生成の頻度を抑制する。一方、サッカーのゴール前の領域など視聴者の注目度の高い高重要度領域に位置する三次元モデルの更新の頻度は維持される。よって、三次元モデルに関わる処理が高負荷となる場合においても、仮想視点画像映像品質を損なうことを抑制しつつ、処理負荷を抑制することができる。

なお、上記の説明では、処理抑制フレームにおいて、低重要度領域に位置するオブジェクトの三次元モデルを生成しなかった場合、１つ前のフレームにおける低重要度領域の三次元モデルを追加するものとして説明した。フレーム内の領域によっては、オブジェクトの三次元モデルが生成されなくても視聴者への影響が少ない場合がある。この場合、その領域に位置するオブジェクトの三次元モデルを生成しなかった場合、１つ前のフレームにおいて出力された三次元モデルを追加しなくてもよい。この場合でも仮想視点画像映像品質を損なうことを抑制しつつ、処理負荷を抑制することができる。

＜第２の実施形態＞
第１の実施形態では予め決定された重要度情報に基づき、フレーム内の低重要度領域に位置するオブジェクトの三次元モデルの更新を抑制する方法を説明した。本実施形態では、処理負荷を高くするオブジェクトを特定し、特定されたオブジェクトの三次元モデルの更新の頻度を減らすことで処理負荷を抑制する方法について説明する。本実施形態については、第１の実施形態からの差分を中心に説明する。特に明記しない部分については第１の実施形態と同じ構成および処理である。

図１５は本実施形態の三次元モデル生成装置１０４の機能構成を示すブロック図である。第１の実施形態と同一の処理ブロックについては同じ番号を付して説明を省略する。本実施形態の三次元モデル生成装置１０４は、重要度情報決定部１５０１をさらに有する。

重要度情報決定部１５０１は、モデル生成部９０５が生成した三次元モデルのボクセル数を算出し、ボクセル数が閾値以上である三次元モデルを特定する。そして、特定した三次元モデルの三次元空間における位置が含まれる領域の決定をする領域決定を行う。決定された三次元空間における領域の位置情報と重要度とを抑制前景選定部９０２に出力する。

図１６は、フレーム内のオブジェクトの三次元モデルを表す三次元形状データの生成の流れを示すフローチャートである。図１６を用いて本実施形態における、三次元形状データの生成方法を説明する。

Ｓ１６０１において抑制前景選定部９０２は、初期値として、フレーム内の全ての領域の重要度を最も高い重要度に設定する。Ｓ１６０２では、Ｓ１１０２と同様に、抑制間隔決定部９０３は重要度ごとの抑制間隔を取得する。

Ｓ１６０３～Ｓ１６１３は、カメラから出力された１フレームに含まれるオブジェクトの三次元モデルを出力するためのステップである。Ｓ１６０３～Ｓ１６０７の処理は、Ｓ１１０３～Ｓ１１０７の処理と同様であるため概略を説明する。Ｓ１６０３において取得部９０１は、前景抽出装置群１０２から矩形マスク、矩形テクスチャを取得する。Ｓ１６０４では取得された矩形マスクのうち、低重要度領域に位置するオブジェクトの矩形マスクがあるか判定される。最初のフレームでは、Ｓ１６０１で全ての領域の重要度を最も高い重要度に設定しているため本ステップではＮＯと判定される。Ｓ１６０５では対象フレームが処理抑制フレームであるか判定される。Ｓ１６０６では低重要度領域に位置するオブジェクトの矩形マスクを削除する。Ｓ１６０７では複数の前景マスク画像を用いて視体積交差法により三次元モデルを生成する。

Ｓ１６０８において重要度情報決定部１５０１は、Ｓ１６０７で生成された三次元モデルのうち、三次元モデルを構成するボクセル数が閾値以上である三次元モデルがあるかを判定する。閾値は、例えば、三次元モデル生成装置１０４の処理性能、または生成する仮想視点画像の要求仕様に基づき予め決められた値が用いられる。

閾値以上のボクセル数で構成される三次元モデルがある場合（Ｓ１６０８がＹＥＳ）、Ｓ１６０９に進む。Ｓ１６０９において重要度情報決定部１５０１は、ボクセル数が閾値以上である三次元モデルが含まれる、背景モデルの三次元空間上の領域を低重要度領域に設定する。抑制前景選定部９０２は、設定された背景モデルの重要度情報に基づき、各カメラ１０１a～１０１ｐの撮像画像内の重要度領域を更新する。このため次のフレームが処理抑制フレームである場合、次フレームの三次元モデル生成の処理では、本ステップにおいて決定された低重要度領域に位置するオブジェクトの三次元モデルの更新を抑制することができる。

図１７は、重要度情報決定部１５０１による低重要度領域の決定について説明するための図である。図１７（ａ）は、三次元空間上の、生成された三次元モデルを示す図であり、生成された三次元モデルには閾値以上のボクセル数で構成されたフラッグのオブジェクトの三次元モデル１７０１が含まれる。図１７（ｂ）では、閾値以上のボクセル数で構成される三次元モデル１７０１が位置する三次元空間上の領域を、低重要度領域である領域Ｒ３に設定したことを示している。図１７（ｃ）は、領域Ｒ３を含む三次元空間上を、カメラ１０１ｅのカメラパラメータを用いてカメラ１０１ｅの画像平面に投影することによって得られた画像を示している。よって、次フレームでは、図１７（ｃ）に示す重要度領域に基づき、フレーム内の低重要度領域に位置するオブジェクトがあるかが判定される。

このように本実施形態では、領域の重要度を、フレーム毎に、フレームに応じて決定することで、多くのボクセル数で構成されている三次元モデルの更新の頻度を少なくすることができる。三次元モデルに関わる処理量はボクセル数に依存することが多い。このため、多くのボクセル数で構成されている三次元モデルの更新の頻度を少なくすることで、三次元モデルに関わる処理負荷を抑制することができる。

一方、閾値以上のボクセル数で構成される三次元モデルがない場合（Ｓ１６０８がＮＯ）、Ｓ１６０９に進む。Ｓ１６０９では、Ｓ１６０１と同様に、フレーム内の領域の重要度を最大とする重要度領域の設定が行われる。

Ｓ１６１１～Ｓ１６１３の処理は、Ｓ１１０８～Ｓ１１１０の処理と同様であるため概略を説明する。Ｓ１６１１では三次元モデルが生成されなかったオブジェクトがあるか判定される。三次元モデル生成が生成されなかったオブジェクトがある場合、Ｓ１６１２において１つ前のフレームで出力された低重要度領域に位置する三次元モデルを合成してレンダリング装置１０５に出力する。Ｓ１６１３では出力された三次元モデル等を記憶する。Ｓ１６１４において、次のフレームがあるかが判定される。次のフレームがある場合は、Ｓ１６０３に戻る。そして、Ｓ１６０３～Ｓ１６１３の処理を繰り返すことで、一連のフレームの三次元モデルが生成され、時間的に連続した三次元モデルが出力される。

なお、今回のフレームで閾値以上のボクセル数で構成される三次元モデルが存在し、次のフレームでも閾値以上のボクセル数で構成される三次元モデルが存在する場合がある。この場合、1つ前フレームで低重要度領域に設定した領域を高重要度領域に戻してから、今回のフレームで三次元モデルが位置する領域を低重要度領域に設定してもよい。

また、上記の説明では、閾値以上のボクセル数であるような、多くのボクセル数で構成されている三次元モデルの更新頻度を抑制する方法を説明した。他にも、予め決められた所定のオブジェクトの位置に基づき領域の重要度が動的に決定されてもよい。

図１８は、サッカーの試合を撮像することによって得られたフレームに基づき生成された三次元モデルである。図１８は、サッカーの試合におけるボールのような重要度の高いオブジェクトの三次元モデル１８０１に近い領域ほど重要度が高くなるように、フレーム内の領域の重要度を決定した場合の例を示す図である。このように、動的に重要度を決定することにより、ボールの周辺領域のように、フレームごとにユーザの注目度の高い領域が変わる場合であっても、注目度の高い領域を高重要度領域とすることができる。このため、注目度の高い領域に位置するオブジェクトの三次元モデルの更新頻度は高いフレームレートを維持することが可能となる。

また、上記の説明では、閾値以上のボクセル数で構成される三次元モデルがある場合、その三次元モデルが位置する領域を一律に低重要度領域に決定する方法を説明した。他にも、三次元モデルを構成するボクセル数に応じて重要度を変えて、その三次元モデルが位置する領域の重要度を決定してもよい。例えば、複数の閾値を設定して、ボクセル数が第1の閾値以上の場合は、その三次元モデルが位置する領域を重要度が一番低い領域Ｒ３に決定する。そして、ボクセル数が第１の閾値未満で第１の閾値より小さい第２の閾値以上の場合、その三次元モデルが位置する領域を重要度が次に低い領域Ｒ２に決定するような構成でもよい。

また、オブジェクトの動きが少ない場合、そのオブジェクトの三次元モデルの更新頻度を下げても視聴者へ与える影響は少なくなる。このため、生成された数フレーム分の三次元モデルから、それぞれのオブジェクトの移動量を算出する。そして、移動量が閾値以下であるような動きの少ないオブジェクトの三次元モデルについては、更新頻度を下げるために、処理フレームレートを小さくする決定がされてもよい。

また、上記の説明では、生成した三次元モデルのボクセル数に基づいて領域の重要度を設定した。他にも、処理抑制フレームの場合、三次元モデルの生成中にボクセル数が閾値以上となる三次元モデルがあるか判定して、ボクセル数が閾値以上となったらその三次元モデルの生成を打ち切ってもよい。そして生成処理が打ち切られた三次元モデルが位置する領域を低重要度領域に決定してもよい。

また、対象フレームを得るためにカメラが撮像した時間に応じて領域の重要度または領域の位置を変更してもよい。例えば、時間に紐づいた重要度情報を取得して、指定された時間で領域の重要度を切り替えてもよい。

重要度情報決定部１５０１は、撮像装置による撮像対象がスポーツ競技の場合、撮像画像からフィールドに引かれたラインなどの情報に基づき競技の行われる領域を特定し、競技の行われる領域をそれ以外の領域よりも重要度の高い領域に設定してもよい。

以上説明したように本実施形態によれば、フレーム内の領域の重要度を動的に変更することができる。このため、三次元モデルに関わる処理負荷を抑制でき、高負荷時においても品質低下を抑制して三次元モデルの生成を実現することができる。

＜その他の実施形態＞
上述した実施形態では、制御装置１０３、三次元モデル生成装置１０４、レンダリング装置１０５はそれぞれ別の装置であるものとして説明した。他にも、１つのまたは２つの装置により、制御装置１０３、三次元モデル生成装置１０４、レンダリング装置１０５の機能が実現されてもよい。例えば、前景の三次元モデルの生成と、仮想視点画像の生成を１つの画像処理装置によって行う形態でもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 三次元モデル生成装置
９０２ 抑制前景選定部
９０４ データ削除部
９０５ モデル生成部

Claims (17)

1. 複数の撮像装置の撮像によって得られたフレーム内のオブジェクトの形状を示すオブジェクト画像を用いて、前記フレーム内に含まれるオブジェクトの三次元形状データを生成する画像処理装置であって、
   前記フレーム内の第１の領域のオブジェクトと、前記第１の領域以外の領域である第２の領域のオブジェクトと、を選定する選定手段と、
   前記第１の領域のオブジェクトの三次元形状データを生成する第１のフレームレートを決定し、前記第２の領域のオブジェクトの三次元形状データを生成するための第２のフレームレートを第１のフレームレートとは異なるフレームレートに決定する決定手段と、
   前記フレームに対応する前記オブジェクト画像を生成する画像生成手段と、
   前記画像生成手段によって生成された前記オブジェクト画像を用いて、前記三次元形状データを生成するデータ生成手段と、を有し、
   前記画像生成手段は、
   前記第１のフレームレートで前記第１の領域のオブジェクトの三次元形状データが生成されるように制御し、前記第２のフレームレートで前記第２の領域のオブジェクトの三次元形状データが生成されるように制御する
   ことを特徴とする画像処理装置。
2. 前記第１の領域は、前記第２の領域よりも重要度が低い領域である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のフレームレートの値は、前記第２のフレームレートの値より小さい
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記重要度は、ユーザの指示に基づき設定される
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記フレーム内の領域の前記重要度を決定する領域決定手段をさらに有する
   ことを特徴とする請求項２または３に記載の画像処理装置。
6. 前記領域決定手段は、
   前記複数の撮像装置による撮像対象がスポーツ競技を対象とする場合において、前記フレーム内の前記競技の行われる領域を特定し、前記競技の行われる領域以外の領域を、前記競技の行われる領域よりも重要度の低い領域に決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記領域決定手段は、
   前記データ生成手段による三次元形状データの生成時の処理負荷に基づき、前記重要度が低い領域を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記領域決定手段は、
   前記データ生成手段が生成した三次元形状データが示すオブジェクトの三次元形状のうち、三次元形状を構成する要素の数が閾値以上である三次元形状が位置する領域に基づき、前記重要度が低い領域を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記領域決定手段は、
   所定のオブジェクトを含む領域に基づき、前記重要度が低い領域を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
10. 前記領域決定手段は、
    複数の重要度に対応する夫々の領域を決定し、前記所定のオブジェクトとからの距離が近い領域ほど、領域の重要度が高くなるように、前記夫々の領域の決定を行う
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記領域決定手段は、
    オブジェクトの移動量に基づき、前記重要度が低い領域を決定する
    ことを特徴とする請求項５に記載の画像処理装置。
12. 前記領域決定手段は、
    前記フレームが撮像された時刻に基づき、前記重要度が低い領域を決定する
    ことを特徴とする請求項５に記載の画像処理装置。
13. 前記決定手段は、
    前記画像処理装置の処理負荷に基づき、前記第１のフレームレートおよび前記第２のフレームレートを決定する
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. オブジェクトの三次元形状データを生成しない前記フレーム内の領域がある場合、過去に生成された該領域のオブジェクトの三次元形状データにおける三次元形状が、前記データ生成手段によって生成された三次元形状データにおける三次元空間に含まれるように処理する処理手段をさらに有する
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記フレームに含まれるオブジェクトごとの形状を示す画像を取得する取得手段をさらに有し、
    前記画像生成手段は、前記取得された画像を用いて前記オブジェクト画像を生成し、
    オブジェクトの三次元形状データを生成しない前記フレーム内の領域がある場合、
    前記画像生成手段は、前記オブジェクトの三次元形状データを生成しない前記フレーム内の領域に対応する前記画像を削除し、前記取得された画像のうち前記削除された画像以外の画像を用いて前記オブジェクト画像を生成する
    ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 複数の撮像装置の撮像によって得られたフレーム内のオブジェクトの形状を示すオブジェクト画像を用いて、前記フレーム内に含まれるオブジェクトの三次元形状データを生成する画像処理方法であって、
    前記フレーム内の第１の領域のオブジェクトと、前記第１の領域以外の領域である第２の領域のオブジェクトと、を選定する選定ステップと、
    前記第１の領域のオブジェクトの三次元形状データを生成する第１のフレームレートを決定し、前記第２の領域のオブジェクトの三次元形状データを生成するための第２のフレームレートを第１のフレームレートとは異なるフレームレートに決定する決定ステップと、
    前記フレームに対応する前記オブジェクト画像を生成する画像生成ステップと、
    前記画像生成ステップによって生成された前記オブジェクト画像を用いて、前記三次元形状データを生成するデータ生成ステップと、を有し、
    前記画像生成ステップでは、
    前記第１のフレームレートで前記第１の領域のオブジェクトの三次元形状データが生成されるように制御し、第２のフレームレートで前記第２の領域のオブジェクトの三次元形状データが生成されるように制御する
    ことを特徴とする画像処理方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images