JP2015187797A - 画像データ生成装置および画像データ再生装置 - Google Patents

Abstract

【課題】同時刻に複数の推奨視点を保有する自由視点映像の生成と再生を可能とする。
【解決手段】自由視点画像データ生成装置（１）は、背景モデルデータにおけるオブジェクトの配置位置を示すオブジェクト座標データを生成するオブジェクト配置データ生成部（２）と、オブジェクト座標データと、視点の位置を示す視点座標データと、視点の方向の初期位置を示し、かつ自由視点表示を行う際の視点の回転中心を示す回転基点データを含む、推奨視点配置データを生成し、オブジェクト座標データと推奨視点配置データから、自由視点メタデータを生成する自由視点メタデータ生成部（３）と、視点画像データ、および各オブジェクトの領域を識別するための領域画像データを符号化する符号化部（４）と、自由視点メタデータ、視点画像データ、領域画像データ、および背景モデルデータを多重化し、自由視点画像データを生成する多重化部（５）と、を具備する。
【選択図】図１

Description

本発明は、画像データ生成装置および画像データ再生装置に関し、より具体的には、入力された視点画像データを用いて任意の視点からの画像の再生が可能な自由視点画像データを生成する画像データ生成装置と、その画像データ生成装置が生成する自由視点画像データを再生する画像データ再生装置に関する。

近年、任意の視点位置から見ることのできる自由視点画像を表示するために、複数台のカメラで異なる視点位置から同一シーンを撮影し、様々な方法でそれらの画像を再生して表示させる手法が存在する。例えば、特許文献１では、複数のカメラにより撮影された画像から補間した中間視点画像を生成する技術が開示されている。

また、固定カメラで撮影した画像に加え、パンや、チルト、ズーム、フォーカス値の変更を伴う非固定ズームカメラで撮影した画像を特定の被写体に合成することにより、合成画質の向上を図る手法が存在する。例えば、特許文献２に記載された自由視点画像を生成する方法では、固定カメラで撮影した画像データと、非固定ズームカメラで撮影した画像データから、非固定ズームカメラの中心射影行列を推定し、非固定ズームカメラで撮影した画像データに含まれる被写体の３次元モデルを構築し、固定カメラ画像からの自由視点画像データを生成し、被写体の３次元モデルテクスチャを、自由視点画像データにマッピングすることができる。

特開２００８−２１７２４３号公報 特開２０１２−１８５７７２号公報

上記特許文献１では、自由視点画像の生成に必要な視点情報として、ユーザが任意に指定した位置を入力している。しかし、特に動画の場合は、動きがあるため、視点の位置の入力が複雑で難しくなり、さらに継続的に視点の位置を入力する必要もあるといった問題があった。また、同時刻に複数の視点の情報を保持する仕組みがないため、好みの異なる不特定多数のユーザを対象とした視聴を目的とする映像に対しては不向きであり、例えばスポーツ等の自由視点映像において、ユーザが応援するチームの選手から見た視点の映像や、そのライバルチームの選手から見た視点の映像などを、好みに応じて切り替えるといったことができないという問題があった。

一方、特許文献２の手法では、非固定ズームカメラの映像からビルボードを使って３次元モデルを構築し、自由視点画像を実現しているが、本手法では、伝送すべき情報量が多く、放送やネットでの配信が難しい。また、伝送後も表示側で３次元モデルを構築する必要があり、非常に負荷がかかるという問題があった。

本発明は、このような問題に鑑みてなされたもので、その目的は、自由視点画像を再生する際に、複数の視点の情報を推奨視点として、自由視点画像データの生成時に、メタデータとして自由視点画像データに格納することで、再生時に視点の指定が容易となる自由視点画像データを生成できるようにした画像データ生成装置と、その画像データ生成装置で生成された自由視点画像データによる自由視点画像を再生する画像データ再生装置とを提供することにある。

上記の課題を解決するために、本発明の一態様によれば、本発明にかかる画像データ生成装置は、少なくとも一つ以上の視点から撮影された視点画像データを取得し、該取得した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置であって、背景をモデル化して画像データとして作成した背景モデルデータにおけるオブジェクトの配置位置を示すオブジェクト座標データを生成するオブジェクト配置データ生成部と、視点の位置を示す視点座標データと、視点の方向の初期位置を示し、かつ視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転基点データとをそれぞれ少なくとも一つ以上含む推奨視点配置データを生成し、さらに、前記オブジェクト座標データと、前記推奨視点配置データから、自由視点メタデータを生成する自由視点メタデータ生成部と、前記視点画像データ、および前記視点画像データにおける各オブジェクトの領域を識別するための領域画像データを符号化する符号化部と、前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、および前記背景モデルデータを多重化し、前記自由視点画像データを生成する多重化部と、を具備することを特徴とすることを特徴とする。

本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記自由視点メタデータに含まれる、前記視点座標データと前記回転基点データはそれぞれ、座標値、もしくは前記座標値の代わりに前記オブジェクト座標データを使用することを示す情報を格納することを特徴とする。

本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記自由視点メタデータは、視点を切り替える際に、切り替え前の視点から切り替え後の視点を切り替える際の表示の方法を示す情報である切り替え手法指定データを含むことを特徴とする。

本発明にかかる画像データ再生装置は、任意の視点からの画像の再生を可能とした自由視点画像データを再生する画像データ再生装置において、少なくとも一つ以上の視点から撮影された視点画像データにおけるオブジェクトの大きさを示すサイズデータおよび前記オブジェクトを囲む矩形領域の法線によって前記オブジェクトの向きを示す法線データを含み、背景をモデル化して画像データとして作成した背景モデルデータにおける前記オブジェクトの配置位置を示すオブジェクト配置データ、視点の位置を示す視点座標データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転基点データを含む自由視点メタデータと、少なくとも一つ以上の視点から撮影された視点画像データと、前記視点画像データ内の各オブジェクトの領域を識別するための領域画像データと、前記背景モデルデータと、が多重化された自由視点画像データを取得するとともに、前記自由視点画像データを表示する際の視点位置を指定したユーザ視点データを取得し、前記自由視点メタデータと、前記ユーザ視点データとを用いて、前記自由視点画像データの視点位置を設定する視点設定データを生成する視点設定データ生成部と、前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、前記背景モデルデータ、および前記視点設定データから、所定の表示部で表示可能な前記自由視点画像データを生成する自由視点画像生成部と、を具備することを特徴とする。

本発明の別の一態様によれば、本発明にかかる画像データ再生装置は、前記自由視点メタデータに含まれる、複数の前記視点座標データと、前記回転基点データのうちから、それぞれ一つずつを、所定の方法に沿って選択し、選択した視点座標データと回転基点データにより、前記視点設定データを生成することを特徴とする。

本発明によれば、自由視点画像データを生成する側で、再生時の視点として用いることのできる、複数の推奨視点の位置を生成し、メタデータとして含むことで、制作者の意図を反映しつつ、各シーンや視聴者の嗜好に応じた最適な視点の情報を含んだ自由視点画像データを生成できるようにした画像データ生成装置と、その画像データ生成装置で生成された自由視点画像データによる自由視点画像を再生する画像データ再生装置とを提供することができる。

本発明の実施形態に係る画像データ生成装置の構成を示すブロック図である。 画像データ生成装置に入力される画像データの一例を示す図である。 画像データ生成装置に入力される領域画像データの一例を示す図である。 背景モデルデータの一例を示す図である。 自由視点画像データの一例を示す図である。 画像データ生成装置の動作の一例を示すフローチャートである。 自由視点メタデータの一例を示す図である。 オブジェクト座標データの一例を示す図である。 サイズ・法線データの一例を示す図である。 視点画像データにおけるビルボードの一例を示す図である。 切り出し位置データ、切り出しサイズデータ、および法線データを説明するための図である。 視点画像データにおけるオブジェクトごとのビルボードの一例を示す図である。 ビルボード表示の一例を示す図である。 一つのオブジェクトを中心にしてカメラを回転させて撮影した状態を上から観察した様子を説明する図である。 同一オブジェクトに対する複数のビルボードから形成された三次元モデルオブジェクトについて説明するための図である。 複数のビルボードから形成された三次元モデルオブジェクトを観察する際の様子について説明する図である。 複数のビルボードから形成された三次元モデルオブジェクトを観察する際の様子について説明する他の図である。 カメラから各オブジェクトまでの距離と、撮影画像におけるオブジェクトの大きさについて説明するための図である。 切り出したビルボードを、縮尺を合わせずにそのまま配置した場合の様子を示す図である。 仮想カメラとその位置に合わせて選択されるビルボードの関係を説明するための図である。 推奨視点配置データの一例を示す図である 回転基点データの一例を示す図である。 回転基点データに基づいて、仮想カメラを設置する位置について説明するための図である。 別の回転基点データに基づいて、仮想カメラを設置する位置について説明するための図である。 別の回転基点データに基づいて、仮想カメラを設置する位置について説明するための図である。 別の回転基点データに基づいて、仮想カメラを設置する位置について説明するための図である。 別の回転基点データに基づいて、仮想カメラを設置する位置について説明するための図である。 視点座標データまたは 回転基点データの一例を示す図である。 視点座標データまたは 回転基点データの別の一例を示す図である。 本発明の実施形態に係る画像データ再生装置の構成を示すブロック図である。 画像データ再生装置動作の一例を示すフローチャートである。 自由視点画像生成部の動作を示すフローチャート図である。 視点設定データ生成部の動作を示すフローチャート図である。 推奨視点別 配置データの一例を示す図である。 ユーザが推奨視点別配置データの回転基点データを指定するときの仮想カメラの位置を説明するための図である。 ユーザが推奨視点別配置データの別の回転基点データを指定するときの仮想カメラの位置を説明するための図である。 ユーザが推奨視点別配置データの別の回転基点データを指定するときの仮想カメラの位置を説明するための図である。 ユーザが推奨視点別配置データの回転基点データとして視点座標データと同じ座標データを指定するときの仮想カメラの位置を説明するための図である。 回転基点として、回転基点データを使用せずに視点座標データを使用する際の仮想カメラの位置を説明するための図である。 推奨視点別 配置データの一例を示す図である。 推奨視点別配置データに基づいて配置された仮想カメラの位置を説明するための図である。 スタジアム上の選手とボールのオブジェクトを横からみた図である。 視点の高低差を減らすための仮想カメラの配置例を説明するための図である。 視点の高低差を減らすための仮想カメラの別の配置例を説明するための図である。 視点の高低差を減らすための仮想カメラの別の配置例を説明するための図である。 視点の高低差を減らすための仮想カメラの別の配置例を説明するための図である。 本発明の実施形態に係る画像データ生成装置と、画像データ再生装置とが一体化された画像処理システムの構成を示すブロック図である。

以下に添付図面を参照して、本発明に係る画像データ生成装置および再生装置の好適な実施形態を詳細に説明する。以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。
以下で述べる画像データとは、静止画像データと動画像データの両方を示すものとする。また、画像データには、音声データを含んでも構わないが、以下では、説明の簡易化のため、音声データに関する説明は省略する。

＜本発明の実施形態に係る画像データ生成装置の構成の説明＞
図１は、本発明の実施形態に係る自由視点画像データ生成装置１の構成を示すブロック図である。まず、この図を用いて本発明の実施形態に係る自由視点画像データ生成装置１の構成の概略を説明する。自由視点画像データ生成装置１は、オブジェクト配置データ生成部２と、自由視点メタデータ生成部３と、符号化部４と、多重化部５と、を具備している。
自由視点画像データ生成装置１の具体的な例として、画像データを生成する放送機器装置や、クラウド上のサーバ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）の画像データ生成ソフトウェア等が挙げられる。

オブジェクト配置データ生成部２は、外部から入力されるサイズ・法線データと、オブジェクト座標データと、アノテーションデータとを受け付け、オブジェクト配置データを生成し、自由視点メタデータ生成部３に出力するための装置である。なお、サイズ・法線データ、オブジェクト座標データ、アノテーションデータの具体的内容と、オブジェクト配置データ生成部２の詳細な動作については後述する。

自由視点メタデータ生成部３は、外部から入力される、視点座標データと、回転基点データと、オブジェクト配置データ生成部２から入力される、オブジェクト配置データを受け付け、推奨視点配置データを生成した後、さらに、オブジェクト座標データと推奨視点配置データを用いて、自由視点メタデータを生成し、多重化部５に出力するための装置である。なお、自由視点メタデータと、視点座標データと、回転基点データと、推奨視点配置データの具体的内容と、自由視点メタデータ生成部３の詳細な動作については後述する。

符号化部４は、外部から入力される少なくとも一つ以上の画像データと、その画像データに対応する領域画像データとを受け付けて符号化し、符号化した画像データと領域画像データとを多重化部５に出力するための装置である。ここで画像データと領域画像データについて図面を用いて説明する。

図２は、画像データ生成装置に入力される画像データの一例を示す図である。視点画像データ６は、少なくとも一つ以上の視点から撮影された画像データである。図２に示す視点画像データ６において、オブジェクト７、８はそれぞれサッカーをしている人物を示し、オブジェクト９はサッカーボールを示している。

図３は、画像データ生成装置に入力される領域画像データの一例を示す図である。図３に示す領域画像データ１０は、図２の視点画像データ６の各オブジェクト７〜９の領域を示す画像データであり、例えば、領域１１、１２、１３は、それぞれ図２に示すオブジェクト７、８、９の領域を示している。
このとき領域画像データ１０は、０〜２５５の値のいずれかを持つ画像データであるものとし、例えば、背景の領域の値を０とし、それ以外のオブジェクトの値を２５５のとしてもよく、あるいは各オブジェクトの領域ごとに異なる値としても構わない。このときの各オブジェクトに対応する領域の値をオブジェクトＩＤとし、後述する自由視点メタデータ内に含ませても構わない。

またここで、画像データから各オブジェクトの領域を切り出して領域画像データを作成する際に、各視点画像データに対応する視差画像データ、もしくはデプス画像データの奥行き情報から各オブジェクト領域を切り出してもよい。あるいは背景を予め用意して、オブジェクト領域として前景を切り出してもよく、また一般的にクロマキー合成と呼ばれる、特定の色を持つ領域を背景として除去してもよく、さらにまた、人が手動でオブジェクト領域を切り出しても構わない。このオブジェクト領域を切り出す手法については、いずれの手法を適用しても構わず、本発明を直接特徴づけるものではなく公知の手法であるためその詳細な説明は省略する。

また、符号化部４で用いる符号化方式としては、例えばＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐａｒｔｓ Ｇｒｏｕｐ）で標準化された方式であるＭＰＥＧ−２方式や、Ｈ．２６４方式、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式や、ＪＰＥＧ（Ｊｏｉｎｔ ＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等、画像を符号化する方式であればいずれの方式であっても適用できる。これら符号化方式は、本発明を直接特徴づけるものではなく公知の技術であるためその詳細な説明は省略する。また、入力された画像データや領域画像データは、符号化することなく非圧縮のまま出力しても構わない。

多重化部５は、自由視点メタデータ生成部３で生成された自由視点メタデータと、符号化部４で符号化された視点画像データおよび領域画像データと、背景モデルデータとを多重化し、自由視点メタデータを含んだ自由視点画像データを生成し、出力するための装置である。

ここで、背景モデルデータについて説明する。背景モデルデータは、背景をモデル化して作成した画像データであり、視点画像データ内の各オブジェクト以外の領域である背景領域のモデルデータとテクスチャデータとで構成されている。このときの背景モデルデータは、テクスチャ付きの３次元モデルをコンピュータグラフィック（以下、ＣＧと呼ぶ）で作成したものであっても構わない。あるいは、複数のカメラを用いて、被写体を複数の方向から撮影した画像から特徴点を算出し、特徴点マッチングを行なって３次元モデルを生成し、生成した３次元モデルにテクスチャを張り付けるといった一般的な手法で生成されたものであっても構わない。あるいはその他のフォーマットのデータであっても構わない。なお、背景モデルデータのフォーマットについては、本発明を直接特徴づけるものではなく公知の技術であるためその詳細な説明は省略する。

図４は、背景モデルデータの一例を示す図で、サッカースタジアムのテクスチャデータ付きのモデルデータを示す。本モデルデータは、図４に示すように、例えば、スタジアム１４の左上部にある原点１５として、ｘ軸、ｙ軸、ｚ軸をそれぞれ設定して作成されている。

次に、自由視点画像データの構成について、図面を用いて説明する。
図５は、自由視点画像データの一例を示す図である。自由視点画像データは、少なくとも一つ以上の視点から撮影された画像データである視点画像データと、各視点画像データに対応する領域画像データ、背景モデルデータ、および自由視点メタデータから構成される。自由視点メタデータについては後述する。

＜本発明の実施形態に係る画像データ生成装置の動作の概略＞
次に、本発明の実施形態に係る自由視点画像データ生成装置１の動作について説明する。図６は、自由視点画像データ生成装置１の動作の一例を示すフローチャートである。
まずステップＳ１において、自由視点画像データ生成装置１のオブジェクト配置データ生成部２に、各種データ、すなわちサイズ・法線データと、オブジェクト座標データと、アノテーションデータとが入力され、ステップＳ２に移行する。ステップＳ２において、オブジェクト配置データ生成部２は、入力された各種データからオブジェクト配置データを生成する。

ここで、自由視点メタデータについて図面を用いて詳細に説明する。図７は、自由視点メタデータの一例を示す図である。自由視点メタデータは、オブジェクト配置データと、推奨視点配置データとから構成されている。
このとき、オブジェクト配置データは、複数の視点画像データのいずれかに存在するオブジェクトの総数を示すオブジェクト数と、ｋ個のオブジェクト別配置データＯｋを含んでいる。このとき、オブジェクト数は、１から最大ｋの値となる（ｋは１以上の整数）。推奨視点配置データについては、後述する。

なお、このオブジェクトに関して、例えば、所定のオブジェクトが所定の視点の画像データに含まれているが、別の視点の画像データに含まれない場合が存在する。オブジェクトの例として、サッカーの場合であれば、選手や審判、ボール、ゴール等がオブジェクトになる。またコンサートやライブ等の場合であれば、歌手や演奏者、ダンサー、その他司会者等の人物がオブジェクトとなる。

次に、オブジェクト別配置データについて説明する。図８は、オブジェクト別配置データの一例を示す図である。図８に示すように、オブジェクト別配置データＯ１は、そのオブジェクトを識別するためのＩＤ、サイズ・法線データ、オブジェクト座標データ、およびアノテーションデータを含んで構成されている。

まず、サイズ・法線データについて説明する。なお、以下の説明では、説明の簡略化のため、少なくとも一つ以上の視点画像データから作成した、視点画像データの数と同じ数のビルボードを用いて、背景以外の各オブジェクトのモデルを構築する場合の例を説明する。ここで、ビルボード方式とは、板にテクスチャを張り付けてレンダリングする方式であって、レンダリング時の処理量を削減するためによく使われるごく一般的な手法である。この板のことを一般的にビルボードと呼んでいる。

なお、レンダリングの際、アルファチャネルと呼ばれるテクスチャに対応した領域情報を用いて、特定の領域の透過度を変えてレンダリングするアルファブレンデイング法を用いることにより、板状のモデル形状を感じさせずに臨場感の高い自由視点画像データを高速表示させることができる。

図９は、サイズ・法線データの一例を示す図である。図９に示すように、サイズ・法線データは、視点データ数と、サイズデータＰｌと、法線データとを含んで構成される。このうち、視点データ数は、自由視点画像データ内に含まれるｌ個の視点画像データの数を示す（ｌは１以上の整数）。
また、サイズデータは、視点画像データ内のオブジェクトの大きさを示すデータであって、切り出し位置データと、切り出しサイズデータとを含んで構成されている。
まず、切り出し位置データと切り出しサイズデータについて説明する。図１０は、視点画像データにおけるビルボードの一例を示す図である。図１０において、オブジェクト７を取り囲む矩形の点線の示す領域である、ビルボード１６に囲まれた領域のテクスチャが視点画像データ６から切り出され、オブジェクト７用のビルボードのテクスチャとして使用される。

図１１は、切り出し位置データ、切り出しサイズデータ、および法線データを説明するための図である。ここで図１１において、ビルボード１６の左上の位置である点１７を、オブジェクト７の視点画像データ６からビルボード用のテクスチャとして切り出す際の始点となる切り出し位置データデータとする。また、ビルボード１６の上下左右の長さを切り出しサイズデータとする。さらにまた、ビルボード１６の向きを示す法線１８をオブジェクト７の法線データとする。なお、このときの法線データの向きは、撮影時のカメラの光軸の向きを反転させた向きとしても構わない。

このように、オブジェクト７を囲むビルボード１６の左上の座標、サイズ、および法線の向きを、それぞれオブジェクト７の切り出し位置データ、切り出しサイズデータ、および法線データとしてサイズ・法線データに格納する。なおこのときの切り出し位置データは、視点画像データの右上を原点とした座標であっても構わないし、ビルボード１６の中心座標であっても構わない。また、法線データについては、背景モデルを設置する世界座標上における法線ベクトルとして表現しても構わない。

また、サイズ・法線データは、オブジェクトごとに存在する。図１２は、視点画像データにおけるオブジェクトごとのビルボードの一例を示す図である。図１２において、ビルボード１９がオブジェクト８に対応し、ビルボード２０がオブジェクト９に対応してそれぞれ存在する。また、オブジェクト毎に存在するサイズ・法線データは、それぞれ切り出す元となる視点画像データの数だけさらに存在する。

このようにして、視点画像データから切り出したビルボード用のテクスチャは、実際にビルボードに張り付け、背景モデルデータ上に配置されるが、このときの各オブジェクトのビルボードの配置情報がオブジェクト座標データとなる。オブジェクト座標データは、背景モデル上におけるオブジェクトの配置位置を示すデータである。
オブジェクト座標データは、撮影時にオブジェクトのデプス情報を取得し、取得したデプス情報から各オブジェクトの背景モデル上の位置を求めても構わない。なお、オブジェクト座標データは、すべての視点で同じであるため、オブジェクト別配置データ毎に一つだけ含まれる。

図１３は、ビルボード表示の一例を示す図である。図１３において、背景モデルであるスタジアム２１上のオブジェクト座標データが示す位置に、各オブジェクトに対応するビルボードを配置する。またこのとき、ビルボードは、法線データが示す方向に傾けて配置する。さらに、これらのビルボードには、切り出し位置データとサイズデータとを用いて、視点画像データ６から切り出したビルボード１６、１９、２０のテクスチャを貼り付けて表示する。

なお、ビルボード１６、１９、２０のテクスチャを貼り付ける際は、図３で示した領域画像データ内の領域情報であって、各ビルボードのオブジェクトのＩＤに対応するオブジェクトＩＤをもつ領域情報を用いることにより、オブジェクト以外の領域を透過させ、表示することができる。

次に、複数の視点画像データからそれぞれ作成した複数のビルボードのデータ表示方法について説明する。図１４は、一つのオブジェクトを中心にしてカメラを回転させて撮影した状態を上から観察した様子を説明する図である。図１４において、例えばオブジェクト２２の重心となる点２３に向けてカメラ２４を配置し、さらに点２３を中心にして回転させた位置にカメラ２５を配置する。このとき、各カメラ２４、２５に対する点２３の位置が等しくなるように配置する。

ここで、例えば、オブジェクト２２が水平方向に細長い形をしている場合、その向きに応じてビルボードの水平方向の長さも変化する。カメラ２４が撮影した画像において、画像全体の水平方向の長さを線分２６の長さとすると、オブジェクト２２の占める水平方向の長さは、ビルボード２７が示す長さとなり、同様に、カメラ２５が撮影した画像において、画像全体の水平方向の長さを線分２８の長さとすると、オブジェクト２２の占める水平方向の長さは、ビルボード２９が示す長さとなる。

図１５は、同一オブジェクトに対する複数のビルボードから形成された三次元モデルオブジェクトについて説明するための図である。図１５において、カメラ２４とカメラ２５で撮影した２つの異なる視点の視点画像データからそれぞれ切り出した、同じオブジェクトのビルボード２７、２９が配置され、そのとき、ビルボード２７とビルボード２９の中心が、オブジェクト２２の重心となる点２３の位置となるよう、ビルボード２７と、ビルボード２９をそれぞれ配置する。

次に、このように配置されたビルボードがどのように表示されるかについて説明する。図１６と図１７は、複数のビルボードから形成された三次元モデルオブジェクトを観察する際の様子について説明する図である。図１６において、ユーザ３０は、ビルボード２７が正面となる位置で３次元モデルオブジェクトを観察している。この場合は、ビルボード２９は表示されず、ビルボード２７のみが表示される。また、図１７において、ユーザ３０は、ビルボード２９が正面となる位置で３次元モデルオブジェクトを観察している。この場合は、ビルボード２７は表示されず、ビルボード２９のみが表示される。

なお、このとき、ユーザ３０は、必ずしも各ビルボードの正面である必要はなく、ユーザ３０の視点と、各ビルボードの法線がなす角が、所定の範囲内であれば、そのビルボードを表示し、所定の範囲外であれば、表示しないようにしても構わない。
このとき、隣り合うビルボード間で、ユーザ３０の視点と、各ビルボードの法線がなす角に対する範囲を、特定の視点でビルボードが表示されないことのないよう、途切れ目がなく設定することにより、ユーザが望みの方向の視点を選択した場合でも、対象のオブジェクトが消えることのないように表示をすることができる。

以上のように、表示する３次元オブジェクトに対する視点の方向に合わせて、視点の方向に最も近い方向を向いている法線を有するビルボードのみを表示することにより、より近い視点の画像を使ってビルボード表示できるため、より違和感のない、実際の映像に近い表示を行うことができる。
またこのとき、同じオブジェクトの各ビルボードの位置が変わらないように配置することにより、視点を変え、異なる方向の視点画像から切り出したビルボードを表示した場合でも、オブジェクトの中心位置は画面内の同じ位置に表示されるため、ユーザに違和感を生じさせずにオブジェクトを表示させることができる。

また、撮影画像は、カメラから透視投影された画像になるため、カメラから各オブジェクトまでの距離に応じてオブジェクトの縮尺が異なる。このため、切り出したビルボードをそのまま表示するのではなく、カメラからオブジェクトまでの距離に応じた縮尺を考慮する必要がある。この場合について図面を用いて説明する。

図１８は、カメラから各オブジェクトまでの距離と、撮影画像におけるオブジェクトの大きさについて説明するための図であり、２台のカメラによって水平方向からオブジェクト３０を観察したときの様子を示す図である。
図１８において、オブジェクト３１からカメラ３２までの距離が、オブジェクト３１からカメラ３３までの距離よりも近くなるように、各カメラ３２、３３が配置されている。このとき、各カメラ３２、３３が撮影する画像データ内に占めるオブジェクト３１の垂直方向の割合は、カメラ３２とカメラ３３とで異なる。

例えば、カメラ３２が撮影した画像において、画像全体の垂直方向の長さを線分３４の長さとすると、オブジェクト３１が占める垂直方向の長さは、オブジェクト３１のビルボード３５の長さとなる。同様に、カメラ３３が撮影した画像において、画像全体の垂直方向の長さを線分３６の長さとすると、オブジェクト３１が占める垂直方向の長さは、オブジェクト３１のビルボード３７の長さとなる。

図１９は、切り出したビルボードを、縮尺を合わせずにそのまま配置した場合の様子を示す図である。図１９（Ａ）において、オブジェクト座標データが示す位置３８が各ビルボード３５、３７の中心に一致するように各ビルボード３５、３７を設置する。この場合、ビルボード３５とビルボード３７は、同じオブジェクトにもかかわらず縮尺が異なって表示される。

このように、オブジェクトからカメラまでの距離に応じて縮尺が異なるため、背景モデルのスタジアムのサイズに合わせて違和感のない正しい大きさとなるように、各ビルボードのサイズを変換して配置する必要がある。
図１９（Ｂ）に、ビルボード３５の縮尺とビルボード３７の縮尺とが同じになるようにサイズを変換した際の様子を示す。図１９（Ｂ）において、ビルボード３９は、ビルボード３７の縮尺を変換した後のビルボードとなる。

なお、このときの各オブジェクトの実際のサイズについては、デプス情報から取得しても構わないし、予めデータベースに登録しておいたものを使用しても構わないし、ユーザが入力しても構わない。なお、スタジアムのサイズについては、背景モデルデータを参照する。また、このときのオブジェクトの実寸のサイズをアノテーションデータの一部として記録しても構わない。なお、アノテーションデータについては、再度あらためて説明する。

以上のようにして、各オブジェクトのカメラまでの距離が異なる場合であっても、その距離に応じて各ビルボードのサイズを変換して配置し、それら複数のビルボードの中から最も視点方向に近い法線を有するビルボードを用いることによって、ユーザにとってより違和感のない実際の映像に近い表示を行うことができる。

次に、複数のビルボードを用いた自由視点表示について説明する。
複数の視点画像データに同一のオブジェクトが含まれる場合、そのオブジェクトのビルボードは、複数の視点画像データの数だけ作成される。作成された複数のビルボードは、背景モデル上の同じ位置に配置される。
ここで、自由視点画像データをレンダリングする際は、仮想カメラに最も正対するビルボードのみが、そのオブジェクトのレンダリングに用いられる。例えば、作成された各ビルボードの法線と仮想カメラの光軸とのなす角が最小で、かつ、ビルボードの法線が仮想カメラの方向を示しているようなビルボードがレンダリングの際に選択される。

図２０は、複数の視点画像データから作成した複数のビルボードを使って自由視点表示を行う場合の仮想カメラとその位置に合わせて選択されるビルボードとの関係を説明するための図である。
図２０において、例えば、仮想カメラ４０の光軸とビルボードの法線とのなす角が最小で、かつ、ビルボードの法線が仮想カメラの方向を示しているビルボードは、線分３５の位置に配置されたビルボードとなる。一方、仮想カメラ４１の光軸とビルボードの法線とのなす角が最小で、かつ、ビルボードの法線が仮想カメラのある方向を示しているビルボードは、線分３９の位置に配置されたビルボードとなる。

以上のように、仮想カメラとビルボードの法線とのなす角が最小となるビルボードを用いて自由視点画像をレンダリングし、実際の視点に最も近い視点の画像データを用いることにより、ユーザにとって違和感の少ない自由視点表示を行うことができる。

次にアノテーションデータについて説明する。自由視点メタデータには、各オブジェクトに対するアノテーションデータを含んでいても構わない。以下にアノテーションデータの例について説明する。
まず例えば、そのオブジェクトが、選手なのか、ボールなのか、あるいは観客なのか等を示すオブジェクト種別データや、オブジェクト種別データが選手の場合は、選手名や所属するチーム名、現在のレッドカードやイエローカードの枚数、経歴データ等をアノテーションデータとして含んでも構わない。また、これらのデータ以外にそのオブジェクトの付加的な説明をする情報であれば、どのような情報を含んでも構わない。また、自由視点画像データを表示する際、これらのアノテーションデータをユーザが指定したオブジェクトに合ませて表示しても構わない。

以上のように、各オブジェクトの属性情報をアノテーションデータとしてユーザに提示することにより、ユーザが選択したオブジェクトを中心として視点を変える際に、選択オブジェクトを決定するための手がかりとして使うことができる。

さらにまた、例えば撮影時に十分な台数のカメラが用意できなかったり、撮影に失敗したりする等により、各視点画像の数が少なくなる場合が存在する。このとき、ビルボードの数も少なくなるため、隣り合うビルボード間を切り替える際に、ビルボードと視点のなす角が急峻になり、ユーザは違和感を覚える。このような場合、ビルボードと視点のなす角が急峻にならない方向に、ビルボードの向きを変えて表示しても構わない。例えば、所定のビルボードが正対して表示されるような視点の位置から、隣の視点のビルボードが正対して表示されるような視点の位置に、ユーザが連続的に視点を切り変える場合、視点とビルボードの法線がなす角度が、所定の範囲内に納まるようにビルボードの向きを変えて表示しても構わない。以上のようにすることにより、視点の切り替えが起きた場合でも、ビルボードと視点のなす角がなだらかになるため、より違和感の少ない表示をすることができる。

以上のようにして、オブジェクト配置データ生成部２は、外部から入力されるサイズ・法線データと、オブジェクト座標データと、アノテーションデータとを受け付け、オブジェクト配置データを生成し、自由視点メタデータ生成部３に出力する。

図６のフローチャートに戻って説明する。上記のようにして、オブジェクト配置データが生成されると、自由視点画像データ生成装置１の動作は図６のフローチャートのステップＳ３に移行する。ステップＳ３において、自由視点メタデータ生成部３は、入力された各種データから推奨視点配置データを生成する。

まず、推奨視点配置データについて説明する。図２１は推奨視点配置データの一例を示す図である。図２１に示すように、推奨視点配置データは、そこに含まれる推奨視点データの総数を示す推奨視点数と、少なくとも一つ以上の推奨視点別配置データＶｍから構成されている（ｍは１以上の整数）。推奨視点別配置データＶ１は、視点名称データと、視点座表データと、回転基点データとを含んで構成されている。なおこのとき、視点名称データは、生成時、ユーザが任意入力してもよいし、自動的に、例えば推奨視点１、推奨視点２というように、連番のついた名前としてもよいし、視点名称データを省略し、推奨視点別配置データに含まないようにしても構わない。

まず、視点座表データについて説明する。視点座表データは、自由視点映像の視点位置を表し、自由視点映像をレンダリングにより生成する際の仮想カメラの位置に相当し、図２０における仮想カメラ４０や、仮想カメラ４１の座標位置に相当する。

次に、回転基点データについて説明する。図２２は、回転基点データの一例を示す図である。図２２に示すように、回転基点データは、そこに含まれる回転基点データの総数を示す回転基点数と、少なくとも一つ以上の回転基点要素データＣｎから構成される（ｎは１以上の整数）。

次に、推奨視点別配置データと、回転基点データの関係について説明する。
図２３は、回転基点データに基づいて、仮想カメラを設置する位置について説明するための図である。図２３において、スタジアム４２に対して、４つの異なる方向の視点の映像を生成する。ここで、点４３は推奨視点の位置を示し、推奨視点別配置データＶ１の視点座標データが示すスタジアム４２の座標位置となり、また、点４４は回転基点を示し、推奨視点別配置データＶ１の回転基点データが示すスタジアム４２の座標位置となる。ここで、仮想カメラ４５を、点４３の位置に、点４４の存在する方向に向けて設置することにより、推奨視点別配置データＶ１の示す推奨視点の映像を生成できる。

さらにまた、仮想カメラ４５は、回転基点４４を中心に視点位置を回転させることができる。例えば図２３において、回転基点４４を中心に、反時計回りに９０度回転させた視点の映像を生成したい場合は、仮想カメラ４５を点４６の位置に移動させればよい。
同様に、回転基点４４を中心に、反時計回りに１８０度回転させた視点の映像を生成したい場合は、仮想カメラ４５を点４７の位置に、反時計回りに２７０度回転させた視点の映像を生成したい場合は、仮想カメラ４５を点４８の位置に、それぞれ移動させればよい。このときの仮想カメラ４５を回転させる角度はユーザが外部から入力する。
以上のようにして、ユーザが任意の角度を指定することにより、回転基点４４を中心に視点を回転させた映像を生成することができる。

また、上記の例では、回転基点データの座標をスタジアムの中心として設定したが、ユーザは自由に指定しても構わない。図２４から図２７は、別の回転基点データに基づいて、仮想カメラを設置する位置について説明するための図である。
例えば、回転基点データの座標をゴール付近に設定しても構わない。図２４において、回転基点データの座標位置にある点４９に向け、かつ視点座標データの座標位置にある点５０の位置に、仮想カメラ４５を配置する。例えば、ユーザが、現在の視点から、回転基点４９を中心にして、視点を反時計回りに９０度動かした映像を生成したい場合は、回転基点４９を中心に、仮想カメラ４５を点５１の位置まで回転移動させて、自由視点映像を生成すればよい。

このときの回転基点の代表的な例について、図２５に示す。図２５において、スタジアムの中心である点４４や、スタジアムの左中央のゴール前の点４９、スタジアムの右中央のゴール前の点５０、左上側のコーナーポストの点５１、左下側のコーナーポストの点５２、右上側のコーナーポストの点５３、あるいは右下側のコーナーポストの点５４のうちのいずれかの座標を、回転基点データとして、自由視点メタデータ内に格納しても構わない。

上記では、ユーザが、自由視点画像データ内に記録された回転基点データを用いて自由に視点を回転させることができる仕組みについて説明したが、このときの回転基点データとしてオブジェクト座標データを用いて、自由に視点を回転させても構わない。この場合、例えばユーザの望みに応じて、各選手やボール等のオブジェクト座標データを用いて、自由に視点を回転させることが可能である。例えば、回転基点データは、スタジアム上に存在する、選手や、ボール、審判などの動きのあるオブジェクトの座標でも構わない。
図２６および図２７は、別の回転基点データの一例を示す図である。
図２６において、仮想カメラ４５を視点座標データの座標位置にある点５５に配置し、仮想カメラ４５の向きは、回転基点データの座標位置にある点５６に向ける。このとき、点５５は選手５７のオブジェクト座標データを、点５６はボール５８のオブジェクト座標データをそれぞれ示す。この場合、選手５５がボール５８を追いかけるような視点の映像を生成することができる。

また図２７においては、視点座標データの座標位置にある点５５に、図２６と同様にして仮想カメラ４５を配置するが、仮想カメラ４５の向きは、別の回転基点データの座標位置にある点５９に向ける。この場合、選手５７の位置から点５９、つまりゴールを見ている視点の映像を生成することができる。
以上で説明したように、視点座標データや、回転基点データに格納する座標は、動きのあるオブジェクトの座標であっても、固定のオブジェクトの座標であっても構わない。

上記では、ボール５８のオブジェクト座標データや、選手５７のオブジェクト座標データは、時刻毎に変化するが、その座標データを、そのまま視点座標データや、回転基点データに格納しても構わないし、また、座標の値を格納せず、指定したオブジェクトのオブジェクト座標データを、視点座標データまたは回転基点データとして用いることを示す情報を挿入しても構わない。

図２８および図２９は、それぞれ視点座標データまたは回転基点データの一例を示す図である。図２８および図２９において、視点座標データまたは回転基点データは、座標値を格納しているか、もしくはオブジェクト座標を参照するかを示す識別子を含む。ここで、識別子が座標値を格納していることを示す情報である場合、図２８のように座標値がそのまま、視点座標データまたは回転基点データとして格納され、識別子がオブジェクト座標を参照することを示す情報である場合、図２９のように、参照するオブジェクト座標を指定するオブジェクト指定データが、視点座標データまたは回転基点データとして格納される。

またこのときの視点座標データを複数格納してもよい。例えば、最初に格納した視点と比べ、より近くなるような第１の追加視点の視点座標データや、より遠くなるような第２の追加視点の視点座標データをそれぞれ格納しても構わない。なおこのとき生成する各追加視点の視点座標データは、回転基点と視点座標データを結んだ線上に位置し、回転基点と視点座標データの距離を変えて生成しても構わないし、視点座標データのｚ方向の値を変えて生成しても構わない。上記のようなデータ構造とすることにより、再生時、ユーザは、好みの被写体の距離にあわせて、視点を簡易に選択することができる。

このようにして、推奨視点や回転基点の位置を、動きのあるオブジェクトとして指定することにより、指定オブジェクトの動きに合わせて視点も動くため、ユーザは、迫力のある視点の映像を生成することができる。また、ユーザは、好みの選手の視点や、ボールからみた視点の映像をみることができる。さらにまた、選手や、ボールの位置が時刻ごとに変化する場合でも、ユーザは、いつでも、指定した選手やボールの位置を中心にして回転させた視点の映像を生成することができる。
さらに、自由視点メタデータも重複なく、自由視点画像データ全体のデータ量も削減することができる。

図６のフローチャートに戻って説明する。
ステップＳ３において、自由視点メタデータ生成部３は、入力されたオブジェクト配置データと、ユーザが外部から入力する視点座標データと回転基点データを用いて、推奨視点配置データを生成し、生成した推奨視点配置データと、オブジェクト配置データを多重化し、自由視点メタデータを生成する。
このとき、ユーザが入力した、視点座標データや、回転基点データから生成した推奨視点以外に、デフォルトの視点座標データとして、ボールに近い選手のオブジェクト座標データを、デフォルトの回転基点データとして、ボールのオブジェクト座標データを、それぞれ選択し、推奨視点配置データを自動で作成しても構わない。

またこのとき、デフォルトの視点座標データとして、ボールのスタジアム上の位置に応じて、いずれかの対戦チームの選手のうち、最もボールに近い選手のオブジェクト座標データを選択して、推奨視点配置データを自動生成しても構わないし、所定のチームの選手のうち、最もボールに近い選手のオブジェクト座標データを選択して、推奨視点配置データを自動生成しても構わないし、もう一方のチームの選手のうち、最もボールに近い選手のオブジェクト座標データを選択して、推奨視点配置データを自動生成しても構わない。
上記のようにして生成した複数の推奨視点配置データを、自由視点メタデータ内に格納しても構わない。
なお、複数の推奨視点配置データを格納する場合は、そのうちの一つの推奨視点配置データを再生時のデフォルトの視点として使用することを示す代表推奨視点情報を、自由視点メタデータ内に含んでも構わない。
以上のようにして、自由視点メタデータ生成部３は、推奨視点配置データを生成し、オブジェクト配置データと多重化し、自由視点メタデータを生成し、多重化部５に出力する。

図６のフローチャートに戻って説明する。上記のようにして自由視点メタデータが生成されると、自由視点画像データ生成装置１の動作は図６のフローチャートのステップＳ４に移行する。ステップＳ４において、符号化部４は、入力された画像データを、例えばＨＥＶＣなどの機器ごとに予め設定された符号化方式で符号化し、符号化した画像データを出力する。

次に、自由視点画像データ生成装置１の動作はステップＳ５に移行する。ステップＳ５において、符号化部４は、入力された領域画像データを、例えば、ＨＥＶＣなどの機器ごとにあらかじめ設定された符号化方式で符号化し、符号化された領域画像データを出力する。

次に、自由視点画像データ生成装置１の動作はステップＳ６に移行する。ステップＳ６において、多重化部５には、符号化された画像データと、符号化された領域画像データと、背景モデルデータと、自由視点メタデータとが入力され、多重化部５はこれら入力されたデータを多重化し、自由視点画像データを生成する。

次に、自由視点画像データ生成装置１の動作は判定ステップＳ７に移行する。判定ステップＳ７において、自由視点画像データ生成装置１は、入力された画像データのフレームが最後のフレームか否かを判定し、最後のフレームである場合は処理を終了し、そうでない場合はステップＳ１に戻る。

以上の説明により、本発明に係る実施形態の自由視点画像データ生成装置１によれば、自由視点画像データ生成装置１は、生成する自由視点画像データ内に含まれる各オブジェクトに対して、画像データにおける各オブジェクトの領域を示すサイズデータと、各オブジェクトを背景モデル上に配置するための法線データと、背景モデル上におけるオブジェクトの配置位置を示すオブジェクト座標データと、および各オブジェクトについての説明を記述するためのアノテーションデータと、推奨視点の位置を示す視点位置座標データと、視点を切り替える際の中心となる回転基点データを自由視点メタデータとして含むように自由視点画像データを生成する。
これにより、ユーザは、推奨視点の情報を用いて自由視点映像を簡易に生成することができ、いちいち視点位置の入力をしなくても、自由な視点の映像を生成できる。
また、推奨視点の情報にオブジェクトの座標を利用することにより、データ量を増やすことなく、より動きや迫力のある視点の映像を推奨視点として生成することができ、また、任意の選手から見た視点を簡易に選択できる。

なお、上記では、各オブジェクトの３次元モデルとして、ビルボードを用いた場合について説明したが、背景モデルデータのように、一般的な３次元モデルであっても構わない。その場合、ＴＯＦ（Ｔｉｍｅｏｆ Ｆｌｉｇｈｔ）方式などのデプスカメラで撮影した点群のデプスデータや、２枚の画像からステレオマッチングにより算出した視差マップ画像から、それぞれ、もしくはそれらを組み合わせることにより、各オブジェクトの３次元モデルを生成しても構わないし、位置や方向、解像度等がばらばらな複数の画像データから３次元モデルを生成しても構わない。
なお、通常の３次元モデルを使う場合は、領域画像データと、各オブジェクトの領域を示すサイズデータとの代わりに、３次元モデルデータと、各視点画像データのテクスチャマッピングの情報を送ればよい。

＜本発明の実施形態に係る画像データ再生装置の構成要素の説明＞
図３０は、本発明の実施形態に係る自由視点画像データ再生装置１００の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る自由視点画像データ再生装置１００の構成の概略を説明する。自由視点画像データ再生装置１００は、分離部１０１と、復号部１０２と、自由視点画像生成部１０３と、視点設定データ生成部１０４と、表示部１０５と、を具備している。

なお、自由視点画像データ再生装置１００の具体的な例として、例えば、スマートフォンやタブレットのようなタッチパネル機能を持つ装置であっても構わないし、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなどに代表される光磁気ディスク、ＵＳＢメモリやＳＤ（登録商標）カードなどに代表される半導体メモリ等の電子媒体からコンテンツデータを読み込み、再生する装置であってもよい。また、ＴＶ放送の放送波を受信するテレビ信号受信装置、もしくはインターネットやその他の通信回線から配信されるコンテンツデータを受信する装置であってもよい。

あるいは、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなどの外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ ＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）レシーバなどで構成しても構わない。すなわち、外部からコンテンツデータの入力を受け、入力されたコンテンツデータを再生するための装置であれば、どのような装置であっても構わない。

分離部１０１は、外部から自由視点画像データの入力を受け付け、その自由視点画像データから、視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、を分離して出力するための装置である。分離部１０１は、入力された自由視点画像データから、画像データと領域画像データを復号部１０２に出力し、背景モデルデータを自由視点画像生成部１０３に出力し、自由視点メタデータを視点設定データ生成部１０４に出力する。

復号部１０２は、外部から入力される視点画像データと、領域画像データとを復号し、出力するための装置である。なお、このときの復号の方法は、例えばＨＥＶＣ等の一般的な符号化方式の画像データや、領域画像データを復号するためのものであり、ここに適用できる複合方式は本発明を直接特徴づけるものではなく公知の手法を適用できるためその詳細な説明は省略する。
復号部１０２は、入力された視点画像データと、領域画像データとを復号し、復号された視点画像データと、領域画像データとを、自由視点画像生成部１０３に出力する。

自由視点画像生成部１０３は、外部から入力される視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定データとを用いて、自由視点画像データである表示用画像データを生成し、出力するための装置である。自由視点画像生成部１０３は、入力された視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定データとから、表示用画像データを生成し、表示部１０５に出力する。

視点設定データ生成部１０４は、外部から入力される自由視点メタデータから、オブジェクト配置データと推奨視点配置データを抽出すると同時に、表示させたい視点方向を示すユーザ視点データの外部からの入力を受け付け、ユーザ視点データと、自由視点メタデータとから、視点設定データを生成し、自由視点メタデータとともに出力するための装置である。視点設定データ生成部１０４は、外部から入力される、推奨視点配置データとユーザ視点データから、視点位置を設定するための視点設定データを生成し、視点設定データと自由視点メタデータを自由視点画像生成部１０３に出力する。なお、ユーザ視点データと、視点設定データについては後述する。

表示部１０５は、外部から入力される表示用画像データを表示するための装置であり、外部から入力された表示用画像データを表示する。このときユーザは、自由視点画像生成部１０３で生成された表示用画像データを、ユーザが指定した視点の画像として視認する。

＜本発明の実施形態に係る画像データ再生装置の動作＞
次に、本発明の実施形態に係る自由視点画像データ再生装置１００の動作について説明する。
（全体動作）
図３１は、自由視点画像データ再生装置１００の動作の一例を示すフローチャートである。
ステップＳ１００において、自由視点画像データ再生装置１００の分離部１０１に自由視点画像データが入力される。分離部１０１は、入力された自由視点画像データから、少なくとも１つ以上の視点画像データと、それに対応する領域画像データとを分離し、復号部１０２に出力する。これと同時に分離部１０１は、背景モデルデータと自由視点メタデータとを分離し、背景モデルデータを自由視点画像生成部１０３に出力し、自由視点メタデータを視点設定データ生成部１０４に出力する。

次に、自由視点画像データ再生装置１００の動作はステップＳ１０１に移行する。
ステップＳ１０１において、復号部１０２は、分離部１０１から出力された視点画像データを復号し、出力する。次に、自由視点画像データ再生装置１００の動作はステップＳ１０２に移行する。ステップＳ１０２において、復号部１０２は、分離部１０１から出力された領域画像データを復号し、出力する。次に、自由視点画像データ再生装置１００の動作はステップＳ１０３に移行する。

ステップＳ１０３において、視点設定データ生成部１０４は、分離部１０１から出力された自由視点メタデータから、オブジェクト配置データと推奨視点配置データを抽出し、推奨視点配置データを、デフォルトの視点設定データとして、自由視点画像生成部１０３に出力する。
ここで、視点設定データとは、ユーザが望みの視点で自由視点画像データを表示する際の視点位置を表すデータであり、例えば、レンダリング時の仮想カメラ位置の向きと座標であっても構わず、これは、推奨視点別配置データと同じ構成であり、視点座標データと、回転基点データを含んで構成されるが、視点名称データは含まなくても構わない。

なおこのとき、推奨視点配置データが１つであれば、その値をデフォルトの視点設定データとして出力する。このとき、推奨視点配置データが複数ある際、代表推奨視点情報がある場合は、代表推奨視点情報が示す推奨視点配置データを、そうでない場合は、最初の推奨視点配置データを、それぞれデフォルトの視点設定データとして出力する。
なお、もし推奨視点配置データが自由視点メタデータ内に存在しない場合は、視点画像データの最初のフレームに最も近くなるような、仮想カメラ位置の向きと座標を選択しても構わない。

次に、自由視点画像データ再生装置１００の動作はステップＳ１０４に移行する。
ステップＳ１０４において、視点設定データ生成部１０４は、デフォルトの視点設定データを自由視点画像生成部１０３に出力し、自由視点画像生成部１０３は、分離部１０１からそれぞれ出力された視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定データ生成部１０４から出力された視点設定データから、デフォルト視点の自由視点画像データを生成し、表示用画像データとして、表示部１０５に出力する。なお、ステップＳ１０４の詳細な動作については、後述する。

次に、自由視点画像データ再生装置１００の動作は判定ステップＳ１０５に移行する。判定ステップＳ１０５において、自由視点画像データ再生装置１００に対し、ユーザにより外部から視点位置を変更するユーザ視点データが入力された否かを判定し、ユーザ視点データが入力された場合はステップＳ１０６に移行し、そうでない場合は、ステップＳ１０８に移行する。

ステップＳ１０６において、ユーザは、現在表示されている視点の映像を参照しながら、外部から自由視点画像データ再生装置１００にユーザ視点データを入力し、視点位置を設定する。そして、視点設定データ生成部１０４は、入力されたユーザ視点データにあわせて、視点設定データを新たに生成する。
なおこのときの、ユーザ視点データの入力の具体的な例として、例えばマウスでのポインティング入力や、キーボードのキー入力、タッチパネルによるフリックや、ピンチイン、ピンチアウト等の操作があげられる。なお、ステップＳ１０６の詳細な動作については、後述する。

次に、自由視点画像データ再生装置１００の動作はステップＳ１０７に移行する。ステップＳ１０７において、自由視点画像生成部１０３は、ステップＳ１０４と同様にして、自由視点画像データを生成し、表示用画像データとして表示部１０５に出力する。
次に、自由視点画像データ再生装置１００の動作はステップＳ１０８に移行する。ステップＳ１０８において、表示部１０５は、入力された表示用画像データとしての自由視点画像データを表示する。

次に、自由視点画像データ再生装置１００の動作は判定ステップＳ１０９に移行する。判定ステップＳ１０９において、自由視点画像データ再生装置１００の分離部１０１は、入力されたコンテンツデータである自由視点画像データの最後のフレームを再生したか否かを判定する。ここで、最後のフレームを再生した場合は、自由視点画像データ再生装置１００の動作は終了し、そうでない場合、自由視点画像データ再生装置１００の動作はステップＳ１０１に移行する。

（自由視点画像データの生成処理）
次に、上記図３１におけるステップＳ１０４の自由視点画像データの生成処理についてさらに詳細に説明する。
ステップＳ１０４において、自由視点画像生成部１０３は、所定の視点の画像を生成するが、その方法は、自由視点画像データ生成装置１における自由視点メタデータの生成処理と同様の方法である。ここで、自由視点画像生成部１０３が、入力された視点設定データに基づいて任意の視点の自由視点画像データを生成する動作について、フローチャート図を用いて詳細に説明する。図３２は、自由視点画像生成部１０３の動作を示すフローチャート図である。

ステップＳ１１０において、自由視点画像生成部１０３は、背景の設定を行う。ここでは自由視点画像生成部１０３は、入力されたテクスチャ付きの背景モデルデータから、ＣＧモデル空間上に背景モデルを設定する。次に、自由視点画像生成部１０３の動作はステップＳ１１１に移行する。
ステップＳ１１１において、自由視点画像生成部１０３は、モデルの設定を行う。ここでは自由視点画像生成部１０３は、所定のオブジェクトに対し、自由視点メタデータに含まれる法線データを参照し、デフォルト視点に最も平行に近くなる法線データとなる視点を選択し、その視点の切り出しサイズデータから、ビルボードモデルを生成する。そして、生成したビルボードモデルは、そのオブジェクトのモデルとしてＣＧモデル空間上のオブジェクト座標データの示す位置に配置される。

次に、自由視点画像生成部１０３の動作はステップＳ１１２に移行する。ステップＳ１１２において、自由視点画像生成部１０３は、テクスチャの設定を行う。ここでは自由視点画像生成部１０３は、生成したビルボードに対し、自由視点画像生成部１０３で選択された視点に対応する視点画像データから、切り出し位置データと、切り出しサイズデータをと使ってテクスチャを切り出し、さらに、その視点画像データに対応する領域画像データから、オブジェクトの形状を抽出し、オブジェクトに含まれない部分については背景を透過させるようにしてテクスチャを修正した後、対応するビルボードモデルに貼り付ける。

次に、自由視点画像生成部１０３の動作は判定ステップＳ１１３に移行する。判定ステップＳ１１３において、自由視点画像生成部１０３は、視点画像データ内に含まれる全オブジェクトのうちの最後のオブジェクトであるかを判別することで、全オブジェクトに対して処理を終えたか否かを判定する。ここで、全オブジェクトに対して処理を終えた場合は、自由視点画像生成部１０３の動作はステップＳ１１４に移行し、そうでない場合、自由視点画像生成部１０３の動作はステップＳ１１１に移行する。

ステップＳ１１４において、自由視点画像生成部１０３は、デフォルト視点の位置が格納された視点設定データを用い、各モデルが配置されたＣＧモデル空間上に、視点設定データが示す位置と向きに仮想カメラを設置して、レンダリングし、表示用画像データとして表示部１０５に出力する。これにより自由視点画像生成部１０３の動作は終了する。

（視点位置の設定処理）
次に、上記図３１におけるステップＳ１０６の視点位置の設定処理についてさらに詳細に説明する。ステップＳ１０６では、視点設定データ生成部１０４は、ユーザからのユーザ視点データの入力を受け付け、入力されたユーザ視点データを、視点設定データとして出力する。ここで、ユーザ視点データとは、ユーザが指定する視点位置を示すデータであり、視点座標データと回転基点データとから構成される。

図３３は、ステップＳ１０６における視点設定データ生成部１０４の動作を示すフローチャートである。
ステップＳ１１５において、ユーザ視点データの初期化を行う。ここで、ユーザ視点データには、現在の視点の視点座標データと回転基点データが入力される。

次に、視点設定データ生成部１０４の動作は判定ステップＳ１１６に移行する。判定ステップＳ１１６において、視点設定データ生成部１０４は、推奨視点配置データ内の推奨視点数を参照し、複数の推奨視点別配置データがあるか否かを判定し、複数ある場合は、判定ステップＳ１１７に移行し、そうでない場合は、判定ステップＳ１１９に移行する。

（推奨視点の変更）
判定ステップＳ１１７において、視点設定データ生成部１０４は、現在の推奨視点に対して別の推奨視点に変更する旨の入力をユーザが行ったか否かを判定し、変更の入力があった場合は、ステップＳ１１８に移行し、そうでない場合は、判定ステップＳ１１９に移行する。

ステップＳ１１８において、ユーザは、推奨視点別配置データを指定する。このとき、複数の推奨視点別配置データの中から、現在表示されている推奨視点別配置データとは別の推奨視点別配置データをユーザが選択する。さらにこのとき、推奨視点別配置データに含まれる回転基点数が複数ある場合は、どの回転基点数を用いるかをユーザが選択できるようにしても構わない。また、もし回転基点数をユーザが選択しなかった場合は、最初の回転基点データを自動的に選択するようにしても構わない。

このときの、ユーザが推奨視点別配置データや、回転基点数が複数ある場合に、どの回転基点数を用いるかを選択する際の様子について、図面を用いて詳細に説明する。
まず、一つの推奨視点別配置データに、回転基点データが複数ある場合の切り替え方法について説明する。図３４は、推奨視点別配置データＶ１の一例を示す図である。図３４において、推奨視点別配置データＶ１の視点名称データには“選手Ａの視点“という名称が、視点座標データには選手Ａの座標位置が、回転基点データには、回転基点数として”４“の値と、ボール、選手Ｂ、ゴールＣの座標位置、そして選手Ａの座標位置が、それぞれ格納されている。なお、このときの視点座標データおよび回転基点データには、ボール、選手Ａ、選手Ｂ、ゴールＣ等の各オブジェクトの座標の値、または、それぞれに対応するオブジェクト別配置データ内のオブジェクト座標データを利用することを示す情報が格納されている。

図３５、図３６、図３７は、スタジアムのフィールド上において、ユーザが推奨視点別配置データの回転基点データを指定するときの仮想カメラの位置を説明するための図である。
図３５は推奨視点別配置データＶ１に基づいて配置された仮想カメラの位置を説明するための図である。図３５において、スタジアムのフィールド上には、選手Ａを示すオブジェクト１０６と、選手Ｂを示すオブジェクト１０７と、ボールを示すオブジェクト１０８と、ゴールＣを示すオブジェクト１０９が配置されている。ここで、視点別配置データＶ１の視点座標データが示すオブジェクト１０６の位置に、仮想カメラ１１０を配置する。なお、このときの仮想カメラ１１０は、回転基点データ内の先頭に位置するボールの座標位置に対応するオブジェクト１０８に向けて配置する。これに対してユーザは回転基点を、図３６に示すように選手Ｂの座標位置に切り替えたり、図３７に示すようにゴールＣの座標位置に切り替えたりしても構わない。

以上のようにすることにより、回転基点データに含まれる複数の座標位置のうち、いずれか一つの座標位置を自由に選択することにより、簡単に視点を切り替えることができる。
また、ユーザは、それぞれの回転基点座標を中心に仮想カメラ１１０を回転移動させても構わない。このように移動することにより各回転基点座標を中心にして、その周囲を自由な角度にて視点を指定することができる。

また、視点座標データと回転基点データの座標位置が同じ場合、例えば図３４において回転基点データが選手Ａの座標位置である場合、視点の切り替えは特定のオブジェクトの座標位置を指定して変更するのではなく、任意の座標を指定して切り替える事としても構わない。このとき、仮想カメラは、視点座標データの座標位置を中心にして、外向きに回転する。つまり、仮想カメラの位置は動かさず、向きのみを変化させることにより、視点の位置を変更する。このときの仮想カメラの様子について、図３８を用いて説明する。
図３８は、選手Ａを示すオブジェクト１０６に仮想カメラ１１０を配置して、その視点を点１１１から点１１２の位置まで視点を切り替えることを示す為の図である。このとき、点１１１、１１２はユーザが任意に指定しても構わないし、設定された所定の角度ずつ自動で指定されても構わない。

また、回転基点として、回転基点データを使用せずに、視点座標データを使用しても構わない。図３９は、回転基点として、回転基点データを使用せず、その代わりに視点座標データを使用する際の仮想カメラの位置を説明するための図である。このとき、視点別配置データＶ１の視点座標データである選手Ａの座標位置を、回転基点として使用するために、仮想カメラの位置を、選手Ａの座標位置であるオブジェクト１０６の位置から所定の距離だけずらして配置する。例えば、図３９において、仮想カメラの位置を、点１１３の位置にずらして配置する。このとき、ユーザは、オブジェクト１０６の位置を中心にして、点１１３から点１１４の位置まで、仮想カメラを回転移動させても構わない。
以上のようにすることにより、特定のオブジェクトの視点からみた視点の向きを切り替えるだけでなく、特定のオブジェクトを中心にして、その周囲を自由な角度の視点を指定することができる。

次に、推奨視点別配置データＶ１から、推奨視点別配置データＶ２に切り替える場合について説明する。
図４０は、推奨視点別配置データＶ２の一例を示す図である。図４０において、推奨視点別配置データＶ２の視点名称データには“選手Ｂの視点“という名称が、視点座標データには選手Ｂの座標位置が、回転基点データには、回転基点数として”３“の値と、ボール、選手Ａ、ゴールＣの座標位置が、それぞれ格納されている。なお、このときの視点座標データおよび回転基点データには、図３４で説明した時と同様に、ボール、選手Ａ、選手Ｂ、ゴールＣ等の各オブジェクトの座標の値、または、それぞれに対応するオブジェクト別配置データ内のオブジェクト座標データを利用することを示す情報が格納されている。

図４１は、推奨視点別配置データＶ２に基づいて配置された仮想カメラの位置を説明するための図である。
図４１において、スタジアムのフィールド上には、図３５で説明した時と同様に、選手Ａを示すオブジェクト１０６と、選手Ｂを示すオブジェクト１０７と、ボールを示すオブジェクト１０８と、ゴールＣを示すオブジェクト１０９が配置されている。ここで、視点別配置データＶ２の視点座標データが示すオブジェクト１０７の位置に、仮想カメラ１１０を配置する。なお、このときの仮想カメラ１１０は、回転基点データ内の先頭に位置するボールの座標位置に対応するオブジェクト１０８に向けて配置する。
もし、ユーザが推奨視点別配置データＶ１から推奨視点別配置データＶ２に切り替えるように指定した場合は、仮想カメラの位置が、図３５の配置から図４１の配置に切り替わる。
以上のようにして、推奨視点別配置データをユーザが自由に選択することにより、簡易に視点を切り替えることができる。

また、このときの視点座標データの示すｙ座標と、回転基点データの示すｙ座標の差が所定の値よりも大きい場合、つまり視点に高低差が発生する場合が発生し、その結果、視点が下を向きすぎたり、上を向きすぎたりしてしまうという問題がある。
これはステップＳ１２１で説明したように、ｙ軸方向の回転角度を変えてやっても構わないし、自動的に視点座標データもしくは回転基点データの示すｙ座標のどちらか一方に対して、その差が減るように修正をかければよい。以下に、図面を用いて、視点の高低差を減らすための手法について説明する。
図４２は、スタジアム上に選手とボールのオブジェクトを横からみた図である。図４２において、選手１１３とボール１１４がスタジアム上にそれぞれ配置されており、選手１１３を表示するためのビルボードはビルボード１１５であり、ボール１１４を表示するためのビルボードはビルボード１１６である。

図４３から図４６は、視点の高低差を減らすための仮想カメラの配置例を説明するための図である。
図４３において、視点座標データの示すｙ座標は、ビルボード１１５の頂点である点１１７の座標となり、回転基点データの示すｙ座標は、ビルボード１１６の頂点である点１１８の座標となる。このとき、選手１１３からボール１１４を見た場合の視点を表示するためには、仮想カメラ１１９を、点１１７に配置して点１１８に向ければよいが、視点が下を向きすぎてしまう。これを改善するため、図４４に示すように、仮想カメラ１１９の位置を点１２０の位置まで下げて表示しても構わない。こうすることにより、仮想カメラの向きが、変更前より上向きにすることができる。

また、視線の位置を下げたくない場合は、仮想カメラ１１９の位置は変えず、向きだけを望みの向きに変えても構わない。例えば図４５に示すように、仮想カメラ１１９の撮影範囲１２１内にビルボード１１６が収まり、かつ最もカメラの向きと水平線のなす角が小さくなる位置となるように、仮想カメラ１１９の向きを調整しても構わない。
また、視線の向きを水平に保ちたい場合は、図４６に示すように、仮想カメラ１１９の位置は変えず、その向きが水平になるように、仮想カメラ１１９を配置しても構わない。
以上のようにして、仮想カメラ１１９の向きと水平線のなす角が所定の値よりも大きくなる場合は、仮想カメラ１１９の位置や向きを自動的に変えることにより、極端に下向きもしくは上向きの視点が表示されないようにすることができる。

なお選択の際、表示部１０５に現在、表示されている推奨視点別配置データの視点名称データを表示すると同時に、さらに、選択できる別の推奨視点別配置データの視点名称データを、例えばプルダウンのメニュー形式などで表示し、選択できるようにしても構わない。
このようにして選択された推奨視点別配置データの視点座標データと回転基点データを用いて、ユーザ視点データの視点座標データと回転基点データを更新する。
なお、上記で説明した推奨視点別配置データの切り替えの際、直前に表示している視点の回転基点データを、ユーザ視点データの回転基点データとして保持しても構わない。
このようにすることにより、推奨視点別配置データを切り替えた場合であっても、仮想カメラの先にあるオブジェクトは同じものを表示するため、視点の切り替えによるユーザの混乱を防ぐことができる。

以上のようにすることにより、ユーザは、現在の視点から他の視点の映像に、非常に簡易な操作で切り替えることができる。例えば、視点名称データを参照しつつ、好みの選手をアップで見たり、周りの様子が分かる位置まで少し離して見たり、遠くの視点から選手の全体のフォーメーションを確認したりする等、非常に簡易な操作で、自由な視点の表示を行うことができる。

（回転基点の変更）
次に、視点設定データ生成部１０４の動作は判定ステップＳ１１９に移行する。判定ステップＳ１１９において、視点設定データ生成部１０４は、回転基点データの位置を変更する旨の入力をユーザが行ったか否かを判定し、変更の入力があった場合はステップＳ１２０に移行し、そうでない場合は、判定ステップＳ１２１に移行する。
ステップＳ１２０において、ユーザは、視点を変える際の回転基点の座標を、画面上で自由に指定する。このようにして指定された回転基点データを用いて、ユーザ視点データの回転基点データを更新する。

（回転角度の入力による視点座標データの変更）
次に、視点設定データ生成部１０４の動作は判定ステップＳ１２１に移行する。判定ステップＳ１２１において、視点設定データ生成部１０４は、ユーザが視点を変える際の回転角度を変更する旨の入力を行ったか否かを判定し、変更の入力があった場合はステップＳ１２２に移行し、そうでない場合は、判定ステップＳ１２３に移行する。
ステップＳ１２２において、ユーザは、視点を変える際の回転角度を指定する。ここで、ユーザが指定した回転角度の分、回転基点データを中心に視点座標データの位置を回転させ、その時の視点座標データの位置と、現在の回転基点データの値を用いて、ユーザ視点データの視点座標データと回転基点データを更新する

（前後位置の入力による視点座標データの変更）
次に、視点設定データ生成部１０４の動作は判定ステップＳ１２３に移行する。判定ステップＳ１２３において、ユーザが、回転基点データにより指定された位置に対する前後方向の視点の位置（前後位置と称す）の入力を行ったか否かを判定し、前後位置の入力があった場合は、ステップＳ１２４に移行し、そうでない場合は、ステップＳ１２５に移行する。前後位置を設定することによりズーム位置を指定することができる。

次に、視点設定データ生成部１０４の動作はステップＳ１２４に移行する。ステップＳ１２４において、ユーザは、画面上で、回転基点データのある位置に対して前後方向に、視点座標データの位置を移動させる際の位置を指定する。ここで、ユーザが指定した視点座標データの位置と、現在の回転基点データの値を用いて、ユーザ視点データの視点座標データと回転基点データを更新する。

次に、視点設定データ生成部１０４の動作はステップＳ１２５に移行する。ステップＳ１２５において、ユーザ視点データを視点設定データとして出力する。

以上のようにすることにより、自由視点画像データ再生装置１００に入力された視点画像データに対し、複数の推奨視点が存在する場合、ユーザは推奨視点を変更して、望みの推奨視点の画像データを表示することができる。さらに、回転基点位置、回転角度、および前後位置を入力して、より詳細な視点位置を指定することにより、より正確に望みの視点の画像データを表示することができる。
またこのとき、ユーザが任意視点を選択後、所定の時間が経過した後、直前に選択していた推奨視点配置データの示す視点に表示を自動的に切り換えても構わない。
また、前の推奨視点配置データの示す視点に戻ることを示す戻るボタンを表示し、戻るボタンを押すことにより、直前に選択していた推奨視点配置データの示す視点に表示を手動で切り換えても構わない。

また上記で説明した、視点設定データ生成部１０４は、入力された複数の推奨視点の中から所定の時間毎にランダムに選択した視点の視点座標データと回転基点データを用いて、視点設定データを生成しても構わない。その際、例えば、応援するチームの選手の所属する視点から選択する等のユーザの嗜好に合わせて設定された条件や、他のなんらかの理由で設定された別の条件により、視点座標データと回転基点データを抽出し、その中から、視点座標データと回転基点データをランダムに選択しても構わない。
このようにすることにより、ユーザが自由視点映像の選択に飽きて、途中で選択をやめてしまった場合でも、適切な視点の表示に戻したり、所定の時間毎に、視点を自動的に切り替えて表示したりすることができる。

また、自由視点画像データ再生装置１００は、上述した例えばテレビやデジタルビデオレコーダーのような画像データ再生装置だけでなく、デジタルカメラ、デジタルムービー、携帯型ムービープレイヤー、携帯電話、カーナビゲーションシステム、携帯型ＤＶＤプレイヤー、ＰＣ等、画像データを扱う装置に広く適用可能である。また、これらの装置は、装置自体が画像表示部を備えず、外部の画像表示装置を用いて画像表示を行う画像データ再生装置であっても構わない。また、画像データ処理装置と外部の画像表示装置を含む画像データ表示システムであってもよい。また、本発明は、画像データ表示方法や画像データ処理方法にも適用可能である。

本発明に係る実施形態は、図４７に示されるように、自由視点画像データ生成装置１と自由視点画像データ再生装置１００とが一体化されたものであってもよい。図４７の画像処理システム２００は、自由視点画像データ生成装置１と、自由視点画像データ再生装置１００とを具備している。
この場合、第１のユーザおよび第２のユーザは、画像処理システム２００を共有するかもしくは個別に所有し、第１のユーザは、画像処理システム２００の自由視点画像データ生成装置１を利用して画像データの生成を行ない、第２のユーザは、画像処理システム２００の自由視点画像データ再生装置１００を利用して、画像データの再生を行なっても構わない。

＜本発明の実施形態に係る画像データ生成装置及び再生装置の応用例＞
上記において本発明の実施形態に係る画像データ生成装置及び再生装置はそれぞれ画像データを利用するユーザ側にて利用する場合を記載しているが、これに限らず画像データ生成装置を画像の制作者であるコンテンツ制作者が利用しても構わない。
上記の場合、ユーザに配信されるデータ内の自由視点メタデータ内の推奨視点配置データ内にコンテンツ制作者の推奨視点に関する情報を含めることができ、制作者の意図をコンテンツに反映することができる。

また、上記において、切り替え前の視点から切り替え後の視点を切り替える際の表示の方法を示す情報である切り替え手法指定データを自由視点メタデータ内に含めても構わない。
このときの切り替え手法指定データとして、例えば切り替え前の視点から切り替え後の視点に瞬間的に切り替えることを示す情報や、各種フェードインや、オーバーラップ表示等の一般的なトランジションの方法を使って切り替えることを示す情報、仮想カメラを、切り替え前の視点から切り替え後の視点まで、所定の時間で移動させて連続的に切り替えることを示す情報を含んでも構ないし、さらにまた、複数の切り替え方法の情報が含まれていても構わない。
このようにすることにより、シーンに応じて、演出として最適な視点の切り替えをする等のコンテンツ制作者の意図を更に反映することが可能である。

さらにまた、自由視点メタデータ内に、強制的に所定の視点座標データと、回転基点データを用いて表示することを示す、強制視点表示データを含んでも構わない。このときの強制視点表示データは、直接、視点座標データと、回転基点データの値としても構わず、また、同じ自由視点メタデータ内に存在する、所定の推奨視点配置データを用いて表示することを示す情報としても構わない。再生時、強制視点表示データを検出した場合、強制的に強制視点表示データの示す視点での表示に切り換える。このようにすることにより、ゴール等の名場面となるシーンに応じて、より適切な視点の表示を行うことができる。また、災害情報などの緊急放送を自由視点映像で放映している際など、全視聴者に対して同じ情報を共有してもらう必要のある状況であっても、より正確でかつ的確に情報を伝えることが可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行なってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

なお上記の各実施形態で記載されている技術的特徴（構成要件）は、お互いに組み合わせ可能であり、組み合わせることにより、新しい技術的特徴を形成することができる。

１…自由視点画像データ生成装置、２…オブジェクト配置データ生成部、３…自由視点メタデータ生成部、４…符号化部、５…多重化部、６…視点画像データ、７〜９…オブジェクト、１０…領域画像データ、１１〜１３…領域、１４…スタジアム、１５…原点、１６…ビルボード、１７…点、１８…法線、１９〜２０…ビルボード、２１…スタジアム、２２…オブジェクト、２３…点、２４〜２５…カメラ、２６…線分、２７…ビルボード、２８…線分、２９…ビルボード、３０…ユーザ、３１…オブジェクト、３２〜３３…カメラ、３４…線分、３５…ビルボード、３６…線分、３７…ビルボード、３８…位置、３９…ビルボード、４０〜４１…仮想カメラ、４２…スタジアム、４３〜４４…点、４５…仮想カメラ、４６〜５６…点、５７…選手、５８…ボール、５９…点、１００…自由視点画像データ再生装置、１０１…分離部、１０２…復号部、１０３…自由視点画像生成部、１０４…視点設定データ生成部、１０５…表示部、１０６〜１０９…オブジェクト、１１０…仮想カメラ、１１１〜１１２…点、１１３…選手、１１４…ボール、１１５〜１１６…ビルボード、１１７〜１１８…点、１１９…仮想カメラ、１２０…点、１２１…撮影範囲、２００…画像処理システム。

Claims (5)

1. 少なくとも一つ以上の視点から撮影された視点画像データを取得し、該取得した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置であって、背景をモデル化して画像データとして作成した背景モデルデータにおけるオブジェクトの配置位置を示すオブジェクト座標データを生成するオブジェクト配置データ生成部と、
   視点の基点となる位置を示す視点座標データと、視点の方向の初期位置を示し、かつ視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転基点データとをそれぞれ少なくとも一つ以上含む推奨視点配置データを生成し、さらに、前記オブジェクト座標データと、前記推奨視点配置データから、自由視点メタデータを生成する自由視点メタデータ生成部と、
   前記視点画像データ、および前記視点画像データにおける各オブジェクトの領域を識別するための領域画像データを符号化する符号化部と、
   前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、および前記背景モデルデータを多重化し、前記自由視点画像データを生成する多重化部と、を具備することを特徴とする画像データ生成装置。
2. 前記自由視点メタデータに含まれる、前記視点座標データと前記回転基点データはそれぞれ、座標値、もしくは前記オブジェクト座標データを使用することを示す情報を格納することを特徴とする請求項１に記載の画像データ生成装置。
3. 前記自由視点メタデータは、強制的に所定の視点座標データと回転基点データを用いた視点で表示する、もしくは所定の推奨視点配置データを用いた視点で表示することを示す強制視点表示データを含むことを特徴とする請求項１に記載の画像データ生成装置。
4. 任意の視点からの画像の再生を可能とした自由視点画像データを再生する画像データ再生装置において、
   少なくとも一つ以上の視点から撮影された視点画像データにおけるオブジェクトの大きさを示すサイズデータおよび前記オブジェクトを囲む矩形領域の法線によって前記オブジェクトの向きを示す法線データを含み、背景をモデル化して画像データとして作成した背景モデルデータにおける前記オブジェクトの配置位置を示すオブジェクト配置データ、
   視点の基点となる位置を示す視点座標データ、
   および視点の方向の初期位置を示し、かつ視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転基点データをそれぞれ少なくとも一つ以上含む推奨視点配置データを含む自由視点メタデータと、
   前記視点画像データと、
   前記視点画像データ内の各オブジェクトの領域を識別するための領域画像データと、前記背景モデルデータと、が多重化された自由視点画像データを取得するとともに、
   前記自由視点画像データを表示する際の視点位置を指定したユーザ視点データを取得し、前記自由視点メタデータと、前記ユーザ視点データとを用いて、前記自由視点画像データの視点位置を設定する視点設定データを生成する視点設定データ生成部と、
   前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、前記背景モデルデータ、および前記視点設定データから、所定の表示部で表示可能な前記自由視点画像データを生成する自由視点画像生成部と、を具備することを特徴とする画像データ再生装置。
5. 前記ユーザ視点データは前記自由メタデータに含まれる前記推奨配置データにより生成された自由視点画像を基に指定されることを特徴とする請求項４に記載の画像データ再生装置。

Images