JP7023696B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、複数のカメラ等の撮像装置を異なる位置に配置して、複数の視点から同期して撮影し、撮影により得られた複数の視点からの画像を用いて、任意の視点からの画像である仮想視点画像を生成する技術がある。
複数の視点からの画像に基づく仮想視点画像の生成は、例えば、複数の撮像装置が撮影した画像をサーバ等の画像処理部に集約し、画像処理部にて、仮想視点に基づくレンダリング等の処理を施すこと等により実現できる。
この仮想視点画像により、例えば、サッカーやバスケットボールの試合を撮影した画像から、迫力のある視点のコンテンツを制作したり、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができる。
特許文献１では、被写体を取り囲むように配置された複数のカメラにより被写体が撮影された画像を用いて、仮想視点画像を生成、表示する技術が開示されている。

特開２００８－１５７５６号公報

仮想視点画像は、複数の撮像装置により同期して撮影された画像を利用して生成される。そのため、一部の撮像装置が撮影した画像に異常が発生すると、仮想視点画像の品質が低下する場合がある。例えば、１台の撮像装置の露出が、他の撮像装置と異なったまま撮影した場合、特定の仮想視点から見ると被写体の色味がおかしくなる場合がある。また、カメラに想定外の被写体（観客や応援旗等の遮蔽物）が撮影され、撮影対象の被写体の一部が隠れてしまう場合、特定の仮想視点から見ると被写体（例えば、選手等）の一部（手、足等）がない画像となる場合がある。このような場合に、ユーザによる仮想視点画像の品質の低下の原因の把握をより容易にしたいという要望があった。しかし、従来技術では、ユーザによる仮想視点画像の品質の低下の原因の把握をより容易にできなかった。

本発明の画像処理装置は、仮想的な視点からの画像である仮想視点画像の生成に関連する画像から、表示対象となる画像である表示対象画像を決定する決定手段と、前記仮想視点画像と前記決定手段により決定された前記表示対象画像と、を表示部に表示させる表示制御手段と、を有し、前記表示制御手段は、前記決定手段により決定された前記表示対象画像に含まれる画像それぞれの前記仮想視点画像の生成に寄与する度合いに応じた表示態様で、前記仮想視点画像と前記表示対象画像とを前記表示部に表示させる。

本発明によれば、ユーザによる仮想視点画像の品質の低下の原因の把握をより容易にすることができる。

画像処理システムのシステム構成の一例を示す図である。 撮像装置の配置状況の一例を示す図である。 画像生成装置等のハードウェア構成の一例を示す図である。 画像生成装置の機能構成の一例を示す図である。 画像生成装置の処理の一例を示すフローチャートである。 表示画像の表示状況の一例を示す図である。 画像生成装置の処理の一例を示すフローチャートである。 画像生成装置の機能構成の一例を示す図である。 画像生成装置の処理の一例を示すフローチャートである。 撮像装置の配置状況の一例を示す図である。 表示画像の表示状況の一例を説明する図である。

以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、画像処理システム１００のシステム構成の一例を示す図である。
画像処理システム１００は、２台以上の複数の撮像装置１１０、画像生成装置１２０、ユーザ端末１３０を含む。複数の撮像装置１１０それぞれと画像生成装置１２０とは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）、インターネット、イーサネット（登録商標）等のネットワークを介して、相互に通信可能に接続されている。また、画像生成装置１２０とユーザ端末１３０とは、ＬＡＮ、インターネット、イーサネット等のネットワークを介して、相互に通信可能に接続されている。
撮像装置１１０それぞれは、静止画、動画等の画像を撮影可能なネットワークカメラ、デジタルカメラ等の撮像装置である。撮像装置１１０それぞれは、サッカー場等の競技場、コンサート会場、特定の被写体等の撮影対象を取り囲むように配置されている。撮像装置１１０それぞれは、撮影した画像を、有線又は無線で、ネットワークを介して、画像生成装置１２０に送信する。
図２は、撮像装置１１０の配置状況の一例を示す図である。本実施形態では、撮像装置１１０それぞれは、サッカーの競技場を取り囲むように配置されており、競技場の全部又は一部を撮影する。

画像生成装置１２０は、撮像装置１１０により撮影された画像を蓄積し、ユーザ端末１３０から仮想視点情報を受信し、蓄積した複数の画像に基づいて、受信した仮想視点情報に応じた仮想視点画像を生成する。仮想視点情報とは、仮想的に配置される視点の情報である。仮想視点情報は、例えば、競技場における予め定められた位置（例えば、競技場の中央位置）に対する相対的な位置の情報を含む。また、仮想視点情報は、例えば、予め定められた座標系（例えば、世界座標系）における仮想的に配置される視点の位置を示す座標の情報を含むこととしてもよい。また、仮想視点情報は、撮影方向（その仮想視点から見ている方向）を示す情報を含む。
画像生成装置１２０は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。画像生成装置１２０は、競技の開始前等における予め被写体（例えば、選手、控え選手、監督、審判、ボール、ゴールポスト、ゴールネット等）が存在しない状態の競技会場の場面が撮影された画像を背景画像として記憶している。
ユーザ端末１３０は、ＰＣ、タブレット装置、スマートホン等の情報処理装置である。ユーザ端末１３０は、ユーザからの情報の入力を受け付け、入力された情報に基づいて、仮想視点情報や仮想視点情報の更新内容を示す情報を生成し、生成した情報を、ネットワークを介して、画像生成装置１２０に送信する。また、ユーザ端末１３０は、画像生成装置１２０から受信した仮想視点画像を、表示部に表示することで、ユーザに提示する。これにより、ユーザは、指定した仮想的な視点からの仮想視点画像を確認できる。

図３（ａ）は、画像生成装置１２０のハードウェア構成の一例を示す図である。
画像生成装置１２０は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０１、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）３０２、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）３０３を含む。また、画像生成装置１２０は、Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ（ＨＤＤ）３０４、表示部３０５、入力部３０６、通信部３０７を含む。各要素は、システムバス３０８を介して、相互に通信可能に接続されている。
ＣＰＵ３０１は、ＲＯＭ３０２、ＨＤＤ３０４等に記憶された制御プログラム等のプログラムを読み出して各種処理を実行する中央演算装置である。ＲＯＭ３０２は、制御プログラム、各種設定情報等を記憶する記憶装置である。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる記憶装置である。ＨＤＤ３０４は、各種設定情報、仮想視点情報、各種画像の情報、各種プログラム等を記憶する記憶装置である。画像生成装置１２０は、ＨＤＤ３０４の代わりに、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等の記憶装置を含むこととしてもよい。また、画像生成装置１２０は、ＨＤＤ３０４に加えて、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等の記憶装置を含むこととしてもよい。ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４は、記憶媒体の一例である。

表示部３０５は、各種情報を表示するモニタ、タッチパネルの表示部等の表示装置である。入力部３０６は、キーボード、マウス、６軸コントローラ、タッチパネルの操作部等の入力装置である。通信部３０７は、撮像装置１１０、ユーザ端末１３０等の外部の装置とのネットワークを介した通信を行う通信部である。
ＣＰＵ３０１が、ＲＯＭ３０２又はＨＤＤ３０４に記憶されたプログラムにしたがって処理を実行することで、図４、８で後述する画像生成装置１２０の機能、及び、図５、７、９で後述するフローチャートの処理等が実現される。
ユーザ端末１３０のハードウェア構成は、画像生成装置１２０のハードウェア構成と同様である。
ユーザ端末１３０のＣＰＵが、ユーザ端末１３０のＲＯＭ又はＨＤＤに記憶されたプログラムにしたがって処理を実行することで、ユーザ端末１３０の機能、及び、ユーザ端末１３０の処理等が実現される。

図３（ｂ）は、撮像装置１１０それぞれのハードウェア構成の一例を示す図である。
撮像装置１１０は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、撮影部３１４、通信部３１５を含む。各要素は、システムバス３１６を介して、相互に通信可能に接続されている。
ＣＰＵ３１１は、撮像装置１１０を制御する中央演算装置である。ＲＯＭ３１２は、各種設定情報、各種プログラムを記憶する記憶装置である。ＲＡＭ３１３は、ＣＰＵ３１１のワークエリア、撮影部３１４により撮影された画像等のデータの一時的な記憶場所として機能する記憶装置である。
撮影部３１４は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子やレンズを含み、画像を撮影する撮影部である。通信部３１５は、画像生成装置１２０等の外部の装置との間でのネットワークを介した通信を行う通信部である。
ＣＰＵ３１１が、ＲＯＭ３１２に記憶されたプログラムにしたがって処理を実行することで、撮像装置１１０の機能、及び、撮像装置１１０の処理等が実現される。

図４は、画像生成装置１２０の機能構成の一例を示す図である。
画像生成装置１２０は、データ入力部４０１、分離部４０２、データ管理部４０３、被写体形状決定部４０４、実カメラ位置管理部４０５、ユーザ入力部４０６、仮想視点管理部４０７、仮想視点画像生成部４０８を含む。また、画像生成装置１２０は、寄与度決定部４０９、表示画像生成部４１０、画像出力部４１１を含む。
データ入力部４０１は、撮像装置１１０から撮像装置１１０により撮影された画像の入力を受付け、受け付けた画像を分離部４０２へ送信する。
分離部４０２は、データ入力部４０１から送信された被写体が存在しない状況の画像を、背景画像として、データ管理部４０３に送信する。また、分離部４０２は、データ入力部４０１から送信された被写体が存在する状況の画像から、背景画像に基づいて、画像処理を行い、前景として被写体の画像を分離し、分離した被写体の画像を、前景画像として、データ管理部４０３に送信する。分離部４０２は、例えば、被写体が撮影された画像から、背景画像との差分を抽出する方法等のオブジェクト抽出方法を用いる。また、分離部４０２は、動体の部分を、被写体である前景として分離してもよい。また、分離部４０２は、分離した前景画像に加えて、前景と背景とに分離される前の元の画像を、データ管理部４０３に送信してもよい。

データ管理部４０３は、分離部４０２から送信された画像のうち、被写体が存在しない状態を撮影された画像である背景画像を、ＨＤＤ３０４等に記憶する。また、データ管理部４０３は、分離部４０２から入力された画像のうち、被写体が存在する状態を撮影された画像から分離された前景画像を、ＨＤＤ３０４等に記憶する。また、データ管理部４０３は、分離部４０２から前景と背景とに分離される前の元の画像が送信された場合、その画像を、元画像として、ＨＤＤ３０４等に記憶する。また、データ管理部４０３は、被写体形状決定部４０４に前景画像を送信する。また、データ管理部４０３は、仮想視点画像生成部４０８から、背景画像と前景画像との要求を受付け、要求に応じた背景画像と前景画像とを仮想視点画像生成部４０８へ送信する。また、データ管理部４０３は、要求に応じた前景画像に加えて、その前景画像に対応する元画像を仮想視点画像生成部４０８へ送信してもよい。
被写体形状決定部４０４は、データ管理部４０３から送信された前景画像と、実カメラ位置管理部４０５から送信された実カメラ位置情報と、を用いて、被写体の形状を決定する。実カメラ位置情報とは、実際に撮影を行う撮像装置１１０それぞれの位置を示す情報である。実カメラ位置情報には、例えば、予め定められた座標系における撮像装置１１０それぞれの位置を示す座標の情報、撮像装置１１０それぞれの撮影方向等の情報が含まれる。被写体形状決定部４０４は、例えば、視体積交差法等の三次元形状復元手法を用いて、被写体の形状を決定し、被写体の形状を示すモデル（以下では、形状モデルとする）の情報である形状モデル情報を生成する。また、被写体形状決定部４０４は、生成した形状モデル情報を、仮想視点画像生成部４０８へ送信する。

実カメラ位置管理部４０５は、ＨＤＤ３０４等に記憶されている撮像装置１１０それぞれの位置を示す実カメラ位置情報を管理する。ＨＤＤ３０４等には、予め撮影対象である競技場全体に対する３Ｄスキャン等により計測された撮像装置１１０それぞれの位置を示す情報が、実カメラ位置情報として、予め記憶されているとする。本実施形態では、撮像装置１１０それぞれの位置は、計測により特定されることとする。しかし、撮像装置１１０それぞれが、予め定められた位置に配置されることとしてもよい。その場合、撮像装置１１０の位置を計測する必要がない。また、実カメラ位置管理部４０５は、実カメラ位置情報を被写体形状決定部４０４、仮想視点画像生成部４０８へ送信する。また、実カメラ位置管理部４０５は、表示画像生成部４１０に実カメラ位置情報を送信することとしてもよい。
ユーザ入力部４０６は、ユーザ端末１３０から、画像生成装置１２０への指示を示すコマンドデータを、受信する。ユーザ入力部４０６は、受信したコマンドデータが仮想視点の更新指示を示す場合、そのコマンドデータに含まれる仮想視点情報又は仮想視点情報の更新内容の情報を、仮想視点管理部４０７に送信する。
仮想視点管理部４０７は、ユーザ入力部４０６から送信された仮想視点情報又は仮想視点の更新内容の情報に基づいて、ＨＤＤ３０４等に記憶されている現在の仮想カメラの位置や撮影方向を示す仮想視点情報を更新する。以下では、現在の仮想カメラの位置や撮影方向等の情報を示すＨＤＤ３０４等に記憶されている仮想視点情報を、仮想カメラ視点情報とする。仮想カメラの位置は、予め定められた座標系における座標として管理されている。この座標系の原点は、例えば、撮影対象である競技場の中心等に予め設定されている。仮想視点管理部４０７は、ＨＤＤ３０４等に記憶されている仮想カメラ視点情報を、仮想視点画像生成部４０８へ送信する。

仮想視点画像生成部４０８は、データ管理部４０３から前景画像と背景画像とを受信し、被写体形状決定部４０４から形状モデル情報を受信し、実カメラ位置管理部４０５から実カメラ位置情報を受信する。また、仮想視点画像生成部４０８は、仮想視点管理部４０７から仮想カメラ視点情報を受信する。そして、仮想視点画像生成部４０８は、受信した前景画像と、背景画像と、形状モデル情報と、実カメラ位置情報と、仮想カメラ視点情報と、に基づいて、仮想視点画像を生成する。
仮想視点画像生成部４０８は、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）という手法を用いて、仮想視点画像を生成する。
ＭＢＲとは、被写体を複数の方向から撮影した複数の画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。より具体的には、ＭＢＲは、以下のような技術である。即ち、視体積交差法、ＭＶＳ等の三次元形状復元手法により得られた対象シーンの三次元形状（モデル）に対し、仮想視点からの三次元形状の見えに対応した複数の撮影画像をレンダリング画像として投影することで仮想視点画像を生成する技術である。ＭＶＳとは、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏの略である。また、仮想視点画像生成部４０８は、ＭＢＲ以外のレンダリング手法を用いて、仮想視点画像を生成してもよい。

仮想視点画像生成部４０８は、仮想カメラ視点情報が示す視点から見た形状モデル情報が示す形状モデルに対して、前景画像（撮像装置１１０で撮影された画像）の色情報に基づいて、色付け（レンダリング）する。そして、仮想視点画像生成部４０８は、色付けした形状モデルを、背景モデル上に配置し、仮想カメラ視点情報が示す視点からの画像を、仮想視点画像として生成する。
仮想視点画像生成部４０８は、例えば、仮想カメラの視点から被写体モデルが見えている際に、受信した実カメラ位置情報が示す撮像装置１１０の位置のうち、被写体モデルを中心とした予め定められた範囲内に含まれるものがある場合、以下の処理を行う。即ち、その範囲内に位置する撮像装置１１０がある場合、仮想視点画像生成部４０８は、その撮像装置１１０により撮影された前景画像（被写体が撮影された画像）の色に基づいて、形状モデルの色を決定する。
また、仮想視点画像生成部４０８は、生成した仮想視点画像を、表示画像生成部４１０へ送信する。また、仮想視点画像生成部４０８は、仮想視点画像の生成に利用した画像（前景画像、背景画像）と、仮想視点画像の生成にどの画像がどのように利用されたのかを示す情報と、を寄与度決定部４０９へ送信する。以下では、仮想視点画像の生成にどの画像がどのように利用されたのかを示す情報を、生成情報とする。生成情報は、例えば、被写体の形状モデルが３次元情報を持つ点群からなる場合、この点群に含まれる点それぞれについて、どの画像を用いて色付けされたかを示す情報を含む。また、生成情報は、例えば、仮想カメラ視点情報が示す視点から見える被写体の形状モデル情報を生成するために、どの画像が利用されたかを示す情報を含む。

寄与度決定部４０９は、仮想視点画像生成部４０８から送信された生成情報に基づいて、仮想視点画像生成部４０８から送信された各画像について、仮想視点画像の生成における寄与の度合いを示す指標である寄与度を決定する。そして、寄与度決定部４０９は、仮想視点画像生成部４０８から送信された各画像に決定した寄与度を対応付けて、表示画像生成部４１０に送信する。寄与度決定部４０９は、例えば、仮想視点画像生成部４０８から送信された生成情報に基づいて、仮想視点から見える被写体の点群で表された形状モデルに含まれる各点の色付けに利用された画像を特定する。そして、寄与度決定部４０９は、色付けに利用された回数がより多い画像ほど、より高い寄与度となるように、仮想視点画像生成部４０８から送信された各画像について寄与度を決定する。また、寄与度決定部４０９は、仮想視点から見える被写体の形状モデルの生成に利用された画像を、利用されなかった画像よりも寄与度が高くなるように、仮想視点画像生成部４０８から送信された各画像について寄与度を決定する。

表示画像生成部４１０は、仮想視点画像生成部４０８から送信された仮想視点画像と、寄与度決定部４０９から送信された寄与度に対応付けられた画像と、を用いて、ユーザ端末１３０の表示部等の表示部に表示される画像を生成する。以下では、表示画像生成部４１０により生成される表示部に表示される画像を、表示画像とする。表示画像生成部４１０は、例えば、予め定められたサイズの画像を、初期の表示画像として生成する。そして、表示画像生成部４１０は、例えば、仮想視点画像生成部４０８から送信された仮想視点画像を、表示画像内の予め定められた位置に配置する。
また、表示画像生成部４１０は、寄与度決定部４０９から送信された寄与度に対応付けられた画像から、表示画像に含ませることで表示部に表示させる対象となる画像を決定する。以下では、寄与度決定部４０９から送信された寄与度に対応付けられた画像のうち、表示部に表示させる対象となる画像を、表示対象画像とする。表示画像生成部４１０は、例えば、寄与度決定部４０９から送信された寄与度に対応付けられた画像それぞれの寄与度に基づいて、表示対象画像を決定する。表示画像生成部４１０は、例えば、対応する寄与度が予め定められた閾値以上の画像を、表示対象画像として決定する。また、表示画像生成部４１０は、例えば、対応する寄与度が最も高いものから順に予め定められた数の画像を、表示対象画像として決定してもよい。これにより、画像処理システム１００は、仮想視点画像の生成により多く寄与した表示対象画像を、表示部に表示できることとなる。仮想視点画像の品質の低下が発生した際、その原因は、仮想視点画像の生成により多く寄与した画像内にあると仮定できる。そのため、画像処理システム１００は、仮想視点画像の生成により多く寄与した画像のみを、表示部に表示することで、ユーザによる仮想視点画像の品質低下の原因の把握をより容易にすることができる。

また、表示画像生成部４１０は、例えば、寄与度決定部４０９から送信された寄与度に対応付けられた画像のうち、仮想カメラ視点情報が示す仮想カメラの位置と、撮像装置１１０それぞれの位置と、の位置関係に基づいて、表示対象画像を決定してもよい。表示画像生成部４１０は、実カメラ位置管理部４０５から送信された実カメラ位置情報から、撮像装置１１０それぞれの位置を取得することができる。その場合、表示画像生成部４１０は、例えば、寄与度決定部４０９から送信された寄与度に対応付けられた画像のうち、仮想カメラ視点情報が示す視点の位置からの距離が予め定められた閾値以下の位置に存在する撮像装置１１０により撮影された画像を特定する。そして、表示画像生成部４１０は、特定した画像を表示対象画像として決定する。これにより、画像処理システム１００は、寄与度決定部４０９から送信された寄与度に対応付けられた画像のうち、仮想カメラの位置からの距離が閾値以下の位置に存在する撮像装置により撮影された画像を表示部に表示できることとなる。仮想視点画像は、仮想カメラからの距離が一定以下の位置に存在する撮像装置により撮影された画像から生成される場合がある。そのため、画像処理システム１００は、仮想カメラの位置からの距離が閾値以下の位置に存在する撮像装置により撮影された画像を表示部に表示することで、ユーザによる仮想視点画像の品質低下の原因の把握をより容易にすることができる。
また、表示画像生成部４１０は、例えば、寄与度決定部４０９から送信された寄与度に対応付けられた画像すべてを、表示対象画像として決定してもよい。また、表示画像生成部４１０は、例えば、寄与度決定部４０９から送信された寄与度に対応付けられた画像のうち、予め定められた撮像装置により撮影された画像を、表示対象画像として決定してもよい。

表示画像生成部４１０は、決定した表示対象画像それぞれについて、表示画像内におけるサイズを決定する。表示画像生成部４１０は、例えば、表示対象画像それぞれに対応する寄与度に基づいて、表示画像内におけるサイズを決定する。表示画像生成部４１０は、例えば、対応する寄与度が高い程、表示画像内におけるサイズが大きくなるように、表示対象画像それぞれの表示画像内におけるサイズを決定する。これにより、画像処理システム１００は、仮想視点画像の生成により多く寄与した表示対象画像を、より大きなサイズで表示部に表示できることとなる。仮想視点画像の品質の低下が発生した際、その原因は、仮想視点画像の生成により多く寄与した画像内にあると仮定できる。そのため、画像処理システム１００は、仮想視点画像の生成により多く寄与した画像を、より大きなサイズで表示部に表示することで、ユーザによる仮想視点画像の品質低下の原因の把握をより容易にすることができる。
また、表示画像生成部４１０は、例えば、表示対象画像それぞれについて、仮想カメラ視点情報が示す仮想カメラの位置と、撮像装置１１０それぞれの位置と、の位置関係に基づいて、表示画像におけるサイズを決定してもよい。その場合、表示画像生成部４１０は、例えば、表示対象画像それぞれについて、撮影した撮像装置と仮想カメラとの距離を特定する。そして、表示画像生成部４１０は、特定した距離に対応する撮像装置により撮影された表示対象画像の表示画像におけるサイズを、特定した距離が小さい程、大きくなるように決定する。これにより、画像処理システム１００は、表示対象画像を、撮影した撮像装置が仮想カメラに近い程、大きなサイズで表示部に表示できることとなり、ユーザによる仮想視点画像の品質低下の原因の把握をより容易にすることができる。
また、表示画像生成部４１０は、例えば、表示対象画像すべてについて、表示画像におけるサイズを、予め定められたサイズに決定してもよい。

表示画像生成部４１０は、表示画像内に表示対象画像それぞれを配置する。
表示画像生成部４１０は、例えば、サイズを決定した表示対象画像それぞれを、表示画像内の予め定められた領域に、並べて表示する。表示画像生成部４１０は、例えば、サイズを決定した表示対象画像それぞれを、表示画像内の予め定められた領域に、サイズの大きい順に、上から下に並べて配置する。また、表示画像生成部４１０は、例えば、サイズを決定した表示対象画像それぞれを、表示画像内の予め定められた領域に、サイズの大きい順に、左から右に並べて配置する。
また、表示画像生成部４１０は、例えば、サイズを決定した表示対象画像それぞれについて、仮想カメラ視点情報が示す仮想カメラの位置と、撮像装置１１０それぞれの位置と、の位置関係に基づいて、表示画像における位置を決定してもよい。その場合、表示画像生成部４１０は、例えば、仮想カメラの位置を基準に仮想カメラの水平方向における撮影方向を前方向、地面の方向を下方向として、表示対象画像それぞれを撮影した撮像装置それぞれが仮想カメラの右側にあるか、左側にあるかを特定する。そして、表示画像生成部４１０は、仮想カメラの右側に存在すると特定した撮像装置により撮影された表示対象画像を、表示画像における仮想視点画像が配置された領域の中心よりも右側の予め定められた領域に、表示することを決定する。また、表示画像生成部４１０は、仮想カメラの左側に存在すると特定した撮像装置により撮影された表示対象画像を、表示画像における仮想視点画像が配置された領域の中心よりも左側の予め定められた領域に、表示することを決定する。

そして、表示画像生成部４１０は、表示画像における仮想視点画像が配置された領域の中心よりも右側の予め定められた領域に表示することを決定した表示対象画像を、その予め定められた領域内で、例えば、サイズの大きさ順に上から下に並べて配置する。また、表示画像生成部４１０は、表示画像における仮想視点画像が配置された領域の中心よりも左側の予め定められた領域に表示することを決定した表示対象画像を、その予め定められた領域内で、例えば、サイズの大きさ順に上から下に並べて配置する。
これにより、画像処理システム１００は、表示対象画像それぞれを撮影した撮像装置それぞれの仮想カメラに対する方向に対応する表示態様で、表示対象画像それぞれを表示することができる。ユーザは、この表示された画像を視認することで、どの表示対象画像が、仮想カメラから見てどの方向に位置する撮像装置により撮影された画像であるかをより容易に把握できるようになる。

そして、表示画像生成部４１０は、仮想視点画像と、表示対象画像それぞれと、を配置した表示画像を、画像出力部４１１に送信する。また、表示画像生成部４１０は、仮想視点画像と、表示対象画像それぞれと、を配置した表示画像に更に、表示対象画像それぞれを撮影した撮像装置の属性情報を示す情報を、表示画像内の予め定められた領域に配置してもよい。撮像装置の属性情報には、例えば、露出値、画角、座標、ＩＳＯ、シャッタースピード等の情報がある。これにより、ユーザは、表示対象画像がどのような撮像装置により撮影されたかをより容易に把握できる。
画像出力部４１１は、表示画像生成部４１０から送信された表示画像を、ユーザ端末１３０へ送信し、表示画像を表示部に表示するよう指示することで、表示画像を表示させるよう制御する。
なお、図４に記載の機能構成の一部又はすべてをハードウェアにより実現してもよい。ハードウェアの一例としては、ＡＳＩＣ、ＦＰＧＡ又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。図４に記載の機能構成の一部を他の装置が有してもよい。また、複数の装置による協働の処理により、図４に記載の機能構成の一部又はすべてを実現してもよい。

図５は、画像生成装置１２０の処理の一例を示すフローチャートである。
Ｓ５０１において、仮想視点管理部４０７は、ユーザ入力部４０６を介して、ユーザ端末１３０から仮想視点情報又は仮想視点の更新内容を示す情報が受信されたか否かを判定する。仮想視点管理部４０７は、ユーザ端末１３０から仮想視点情報又は仮想視点の更新内容を示す情報が受信されたと判定した場合、受信された仮想視点情報又は仮想視点の更新内容を示す情報に基づいて、仮想カメラ視点情報を更新する。そして、仮想視点管理部４０７は、更新した仮想カメラ視点情報を、仮想視点画像生成部４０８に送信し、Ｓ５０２の処理に進む。また、仮想視点管理部４０７は、ユーザ端末１３０から仮想視点情報又は仮想視点の更新内容を示す情報が受信されていないと判定した場合、Ｓ５０１の処理を繰り返す。
Ｓ５０２において、仮想視点画像生成部４０８は、Ｓ５０１で仮想視点管理部４０７から送信された仮想カメラ視点情報が示す視点を特定する。そして、仮想視点画像生成部４０８は、特定した視点から仮想カメラにより撮影可能な領域が撮影された画像から分離された前景画像と背景画像とを、データ管理部４０３に要求する。そして、仮想視点画像生成部４０８は、データ管理部４０３から要求に応じた前景画像と背景画像とを取得する。仮想視点画像生成部４０８は、例えば、仮想カメラ視点情報が示す視点から撮影される競技上の領域を撮影可能な撮像装置１１０を特定する。そして、仮想視点画像生成部４０８は、特定した撮像装置１１０により撮影された画像から分離された前景画像と背景画像とを、データ管理部４０３から取得する。また、仮想視点画像生成部４０８は、その前景画像と併せて、対応する元画像をデータ管理部４０３から取得してもよい。

Ｓ５０３において、仮想視点画像生成部４０８は、仮想カメラ視点情報が示す視点から仮想カメラにより撮影可能な被写体について、形状モデル情報を被写体形状決定部４０４から取得する。
Ｓ５０４において、仮想視点画像生成部４０８は、仮想カメラ視点情報が示す視点から仮想カメラにより撮影可能な領域を撮影する撮像装置１１０についての実カメラ位置情報を、実カメラ位置管理部４０５から取得する。
Ｓ５０５において、仮想視点画像生成部４０８は、仮想カメラ視点情報、Ｓ５０２～Ｓ５０４で取得した前景画像、背景画像、形状モデル情報、実カメラ位置情報に基づいて、仮想視点画像を生成する。
Ｓ５０６において、寄与度決定部４０９は、仮想視点画像生成部４０８から取得した仮想視点画像の生成に使用された画像それぞれについて、仮想視点画像の生成にどの程度寄与したかを示す寄与度を決定する。寄与度決定部４０９は、例えば、各画像の被写体の形状モデルの点群に含まれる点それぞれについての色付けに使用された回数に基づいて、各画像の寄与度を決定する。また、寄与度決定部４０９は、Ｓ５０１により取得した情報により示される仮想カメラの視点と近い視点を有する実カメラを寄与度が高い画像を撮影する実カメラと決定してもよい。

Ｓ５０７において、表示画像生成部４１０は、仮想視点画像生成部４０８から送信された仮想視点画像と、寄与度決定部４０９から送信された寄与度と対応付けられた画像と、が内部に配置された表示画像を生成する。
Ｓ５０８において、画像出力部４１１は、ユーザ端末１３０へ、Ｓ５０７で生成された表示画像を出力する。より具体的には、画像出力部４１１は、Ｓ５０７で生成された表示画像を、ユーザ端末１３０へ送信し、ユーザ端末１３０の表示部に表示画像を表示するよう指示することで、出力する。画像出力部４１１は、Ｓ５０７で生成された表示画像を、画像生成装置１２０の表示部３０５に表示することで出力してもよい。また、画像出力部４１１は、Ｓ５０７で生成された表示画像を、プロジェクタ等を介して、外部のスクリーン等に表示することで出力してもよい。Ｓ５０８の処理は、表示制御処理の一例である。

図６は、ユーザ端末１３０の表示部に表示画像が表示されている状況の一例を示す図である。領域６００は、ユーザ端末１３０の表示部の表示領域である。図６の例では、領域６００全体に、表示画像が表示されている状況が示されている。画像６０１は、仮想視点画像である。図６の例では、仮想視点画像である画像６０１が領域６００の中央下寄りの領域に表示されている状況が示されている。画像６０２～６０６は、それぞれ表示対象画像である。図６の例では、表示対象画像のサイズは、その表示対象画像の寄与度が高い程、大きくなっている。即ち、画像６０２は、画像６０４、６０６よりも寄与度が高いこととなる。また、画像６０４は、６０６よりも寄与度が高いこととなる。また、画像６０３は、画像６０５、６０７よりも寄与度が高いこととなる。また、画像６０５は、６０７よりも寄与度が高いこととなる。
また、図６の例では、表示対象画像の仮想視点画像に対する方向は、表示対象画像それぞれを撮影した撮像装置の仮想カメラに対する方向に対応する方向となっている。即ち、仮想カメラの水平方向における撮影方向を前方向として、地面方向を下方向とした場合に、仮想カメラからみて右側に位置する撮像装置により撮影された表示対象画像は、仮想視点画像の中心よりも右側に配置される。また、仮想カメラからみて左側に位置する撮像装置により撮影された表示対象画像は、仮想視点画像の中心よりも左側に配置される。よって、画像６０２、６０４、６０６を撮影した撮像装置は、仮想カメラから見て左側に存在し、画像６０３、６０５、６０７を撮影した撮像装置は、仮想カメラから見て右側に存在することとなる。
なお、図６に示す例は一例にすぎず、他の表示形態で画像６０１～画像６０７等を表示してもよい。例えば、表示画像生成部４１０は、寄与度に関わらず実カメラの撮影画像を一律の大きさで表示させてもよい。また、表示画像生成部４１０は、ユーザ端末１３０から画像６０２～画像６０７のうち何れかを操作したことを示す操作情報を受信した場合、操作された画像を拡大表示した表示画像を生成してもよい。また、表示画像生成部４１０は、露出等の撮影パラメータが他の撮影装置と異なる撮影装置の撮影画像を識別可能に強調表示するための表示画像を生成してもよい。また、表示画像生成部４１０は、障害物等、仮想視点画像の画質低下の要因を画像処理により検出し、当該障害物を撮影するカメラの撮影画像を識別可能に強調表示するための表示画像を生成してもよい。

本実施形態では、画像処理システム１００は、仮想視点画像と、表示対象画像それぞれと、を配置した表示画像を、ユーザ端末１３０の１つの表示部に表示することとした。しかし、画像処理システム１００は、仮想視点画像と、表示対象画像それぞれと、を複数の表示部に分割して表示してもよい。例えば、表示画像生成部４１０は、仮想視点画像と表示対象画像として決定した画像とを、画像出力部４１１に送信する。画像出力部４１１は、仮想視点画像と、表示対象画像それぞれと、をそれぞれ個別の画像として、ユーザ端末１３０に送信し、それぞれの画像を、ユーザ端末１３０に接続された複数のモニタ等の複数の表示部に分割して表示するように指示してもよい。その場合、例えば、１つの表示部に１つの画像が表示されることとなる。
本実施形態では、画像処理システム１００は、予め撮影された背景画像、撮像装置１１０により撮影された画像から分離された前景画像、から表示対象画像となる画像を決定することとした。しかし、画像処理システム１００は、元画像を、表示対象画像として決定してもよい。例えば、表示画像生成部４１０は、図４等で説明した方法で、表示対象画像を決定し、決定した表示対象画像が前景画像である場合、データ管理部４０３から、その前景画像に対応する元画像を取得する。そして、表示画像生成部４１０は、取得した元画像を、その前景画像に変わる表示対象画像として決定することとしてもよい。

本実施形態では、画像処理システム１００は、仮想視点画像と併せて仮想視点画像の生成に関連する画像をユーザ端末１３０の表示部に表示することとした。しかし、画像処理システム１００は、仮想視点画像をユーザ端末１３０の表示部に表示して、ユーザ端末１３０の入力部を介して、仮想視点画像の一部の選択を受付けた場合、以下の処理を行うこととしてもよい。即ち、画像処理システム１００は、選択された仮想視点画像の一部の部分について、その部分の生成に利用された画像を、表示対象画像として決定して、ユーザ端末１３０の表示部に表示することとしてもよい。
本実施形態では、画像処理システム１００は、仮想視点画像と併せて、表示対象画像を常時表示することとした。しかし、画像処理システム１００は、仮想視点画像の品質の低下を検知した場合に、表示対象画像を表示することとしてもよい。また、画像処理システム１００は、ユーザ端末１３０の入力部を介して、ユーザから、仮想視点画像の品質の低下が起こったことを通知された場合に、表示対象画像を表示することとしてもよい。

以上、本実施形態では、画像処理システム１００は、仮想的な視点からの画像である仮想視点画像と併せて、仮想視点画像の生成に関連する画像を、表示部に表示することとした。ユーザは、表示部に表示された画像を視認することで、仮想視点画像と併せて、仮想視点画像の生成に用いられた画像を視認することができる。これにより、画像処理システム１００は、ユーザによる仮想視点画像の品質低下の原因の把握をより容易にすることができる。

＜実施形態２＞
本実施形態では、実施形態１の処理により表示された表示対象画像のうち、仮想視点画像の品質の低下の原因となっている画像の指定をユーザから受け付け、その指定が示す画像を仮想視点画像の生成に利用することを禁止する処理について説明する。
本実施形態の画像処理システム１００のシステム構成は、実施形態１と同様である。本実施形態の撮像装置１１０、画像生成装置１２０、ユーザ端末１３０のハードウェア構成は、実施形態１と同様である。
本実施形態のユーザ端末１３０のＣＰＵは、ユーザ端末１３０の入力部を介したユーザによる操作に基づいて、実施形態１のＳ５０８の処理で、表示が指示された表示対象画像から、仮想視点画像の品質低下の原因となっている画像の指定を受付ける。そして、ユーザ端末１３０のＣＰＵは、指定が示す画像の情報を、画像生成装置１２０に送信し、その画像を撮影する撮像装置が撮影する画像を、仮想視点画像の生成に用いることを禁止するように指示する。
本実施形態の画像生成装置１２０は、実施形態１と同様に、データ入力部４０１、分離部４０２、データ管理部４０３、被写体形状決定部４０４、実カメラ位置管理部４０５、ユーザ入力部４０６、仮想視点管理部４０７、仮想視点画像生成部４０８を含む。また、画像生成装置１２０は、実施形態１と同様に、寄与度決定部４０９、表示画像生成部４１０、画像出力部４１１を含む。各要素は、実施形態１と同様の機能を有する。
本実施形態の画像生成装置１２０の機能構成について、実施形態１と異なる点について説明する。

ユーザ入力部４０６は、実施形態１と同様の機能に加えて以下で説明するような処理を行う機能を有する。
実施形態１では、画像生成装置１２０は、被写体の形状モデルの色付けに利用された回数や、被写体の形状モデルの決定に利用されたか否か等に基づいて、仮想視点画像の生成に利用された各画像の寄与度を決定した。本実施形態では、画像処理システム１００は、被写体の形状モデルの色付けに利用された回数や、被写体の形状モデルの決定に利用されたか否か等のうち予め定められた指標に基づいて、仮想視点画像の生成に利用された各画像の寄与度を決定する。そして、画像生成装置１２０は、ユーザ端末１３０から寄与度の決定に用いられる指標の切り替え指示を受信した場合、以下の処理を実行する。即ち、画像生成装置１２０は、受信した切り替え指示が示す指標に基づいて、仮想視点画像の生成に利用された各画像の寄与度を決定し直し、改めて表示対象画像を決定することとする。
そこで、本実施形態では、ユーザ入力部４０６は、ユーザ端末１３０から切り替え指示を受信した場合、寄与度決定部４０９等に送信する。
また、ユーザ入力部４０６は、ユーザ端末１３０から仮想視点画像の品質低下の原因となっている画像の指定を受信した場合、指定された画像の情報を、仮想視点画像生成部４０８へ送信する。

被写体形状決定部４０４は、実施形態１と同様の機能に加えて、以下で説明するような処理を行う機能を有する。ユーザ入力部４０６から仮想視点画像生成部４０８に仮想視点画像の品質低下の原因となっている画像の指定が送信された場合、仮想視点画像生成部４０８は、送信された指定の情報を、被写体形状決定部４０４に送信する。被写体形状決定部４０４は、仮想視点画像の品質低下の原因となっている画像の指定を受信すると、受信した指定が示す画像を撮影した撮像装置により撮影された画像から分離された前景画像を用いずに、被写体の形状を決定し直す。そして、被写体形状決定部４０４は、決定し直した形状モデルの形状モデル情報を仮想視点画像生成部４０８へ送信する。
仮想視点画像生成部４０８は、ユーザ入力部から送信された指定が示す画像を撮影した撮像装置により撮影された画像（前景画像、背景画像）を用いずに、仮想視点画像を生成する。例えば、仮想視点画像生成部４０８は、ユーザ入力部から送信された指定が示す画像を撮影した撮像装置以外の撮像装置により撮影された画像を用いて形状モデルの各点の色付けを行う。
寄与度決定部４０９は、実施形態１と同様の機能に加えて、以下で説明する処理を行う機能を有する。寄与度決定部４０９は、ユーザ入力部４０６から切り替え指示が送信された場合、受信した切り替え指示が示す指標に基づいて、仮想視点画像の生成に用いられた各画像の寄与度を決定し直す。例えば、寄与度決定部４０９は、切り替え指示が示す指標が、被写体の形状モデルへの色付けにおける利用された回数である場合、被写体の形状モデルの色付けに利用された回数に基づいて、各画像の寄与度を決定し直す。また、寄与度決定部４０９は、切り替え指示が示す指標が、被写体の形状モデルの決定に利用されたか否かである場合、被写体の形状モデルの決定に利用されたか否かに基づいて、各画像の寄与度を決定し直す。

図７は、本実施形態の画像生成装置１２０の処理の一例を示すフローチャートである。
図７の処理は、図５の処理のうち、Ｓ５０３～Ｓ５０５の処理の代わりに、Ｓ７０１～Ｓ７０７の処理が入った処理である。図７におけるＳ５０１～Ｓ５０２、Ｓ５０６～Ｓ５０８の処理は、図５のＳ５０１～Ｓ５０２、Ｓ５０６～Ｓ５０８の処理と同様である。図７の処理のうち、図５の処理と異なる点について説明する。
Ｓ７０１において、ユーザ入力部４０６は、仮想視点画像の品質の低下の原因となっている画像の情報を、ユーザ端末１３０から受信したか否かを判定する。ユーザ入力部４０６は、仮想視点画像の品質の低下の原因となっている画像の情報を受信したと判定した場合、受信したと判定した情報を、仮想視点画像生成部４０８に送信し、Ｓ７０２の処理に進む。また、ユーザ入力部４０６は、仮想視点画像の品質の低下の原因となっている画像の情報を受信していないと判定した場合、Ｓ７０３の処理に進む。

Ｓ７０２において、仮想視点画像生成部４０８は、Ｓ７０１で受信されたと判定された情報が示す画像を撮影した撮像装置により撮影された画像を、以降の仮想視点画像の生成に利用しないことを決定する。また、仮想視点画像生成部４０８は、Ｓ７０１で受信されたと判定された情報が示す画像の情報を、被写体形状決定部４０４に送信する。
Ｓ７０３において、仮想視点画像生成部４０８は、被写体の形状モデル情報を被写体形状決定部４０４から取得する。仮想視点画像生成部４０８は、Ｓ７０２の処理を実行している場合、Ｓ７０２で利用しないと決定された画像を用いずに生成された被写体の形状モデル情報を、被写体形状決定部４０４から取得することとなる。また、仮想視点画像生成部４０８は、Ｓ７０２の処理を実行していない場合、Ｓ５０３と同様の処理を行うこととなる。
Ｓ７０４において、仮想視点画像生成部４０８は、実カメラ位置情報を実カメラ位置管理部４０５から取得する。仮想視点画像生成部４０８は、Ｓ７０２の処理を実行している場合、Ｓ７０２で利用しないと決定された画像を撮影する撮像装置の実カメラ位置情報については、取得しないこととなる。また、仮想視点画像生成部４０８は、Ｓ７０２の処理を実行していない場合、Ｓ５０４と同様の処理を行うこととなる。
Ｓ７０５において、仮想視点画像生成部４０８は、現在の仮想カメラの視点の情報を示す仮想カメラ視点情報、Ｓ７０２～Ｓ７０４で取得した画像（前景画像、背景画像）、形状モデル情報、実カメラ位置情報に基づいて、仮想視点画像を生成する。仮想視点画像生成部４０８は、Ｓ７０２の処理を実行している場合、Ｓ７０２で利用しないと決定された画像を利用せずに、仮想視点画像を生成することとなる。また、仮想視点画像生成部４０８は、Ｓ７０２の処理を実行していない場合、Ｓ５０５と同様の処理を行うこととなる。

Ｓ７０６において、ユーザ入力部４０６は、寄与度の決定に用いられる指標の切り替え指示を、ユーザ端末１３０から受信したか否かを判定する。ユーザ入力部４０６は、寄与度の決定に用いられる指標の切り替え指示を、ユーザ端末１３０から受信したと判定した場合、受信したと判定した切り替え指示が示す指標の情報を、寄与度決定部４０９に送信し、Ｓ７０７の処理に進む。また、ユーザ入力部４０６は、寄与度の決定に用いられる指標の切り替え指示を、ユーザ端末１３０から受信していないと判定した場合、Ｓ５０６の処理に進む。
Ｓ７０７において、寄与度決定部４０９は、仮想視点画像の生成に用いられた各画像についての仮想視点画像の生成への寄与度の決定に用いられる指標を、Ｓ７０６で送信された情報が示す指標に決定する。そして、寄与度決定部４０９は、Ｓ５０６で、Ｓ７０７で決定した指標に基づいて、各画像の寄与度を決定する。また、寄与度決定部４０９は、Ｓ７０７の処理を実行していない場合、Ｓ５０６で、予め定められた指標に基づいて、各画像の寄与度を決定する。Ｓ７０６～Ｓ７０７の処理により、画像処理システム１００は、指定された指標に応じた寄与度を決定できる。

以上、本実施形態では、画像処理システム１００は、実施形態１と同様に、仮想視点画像と併せて、仮想視点画像の生成に関連する画像を表示部に表示した。また、本実施形態の画像処理システム１００は、表示部に表示された各画像を確認したユーザから、ユーザ端末１３０を介して、仮想視点画像の品質の低下の原因となる画像の指定を受付けた。そして、画像処理システム１００は、ユーザから指定された画像を撮影した撮像装置により撮影された画像を、以降の仮想視点画像の生成に用いることを禁止することとした。これにより、画像処理システム１００は、仮想視点画像の品質の低下を回避することができる。

＜実施形態３＞
仮想視点画像は、仮想視点画像の生成に用いられる複数の画像それぞれを撮影する撮影部同士がより離れている程、その撮影部により撮影された画像を利用して生成される仮想視点画像は、以下のようになる。即ち、この仮想視点画像は、その仮想視点から実際の撮像装置により撮影された画像に比べて、画質がより低下する。そのため、仮想視点画像の生成に用いられた各画像を撮影した撮像装置同士の距離が、より離れている程、生成された仮想視点画像の品質の低下が起きやすくなる。そこで、本実施形態では、画像処理システム１００は、撮像装置１１０それぞれの位置に基づいて、仮想視点画像の品質の低下が発生しやすい仮想的な視点を決定して、決定した仮想的な視点からの仮想視点画像と表示対象画像とを表示部に表示する処理を行う。
本実施形態の画像処理システム１００のシステム構成は、実施形態１と同様である。本実施形態の撮像装置１１０、画像生成装置１２０、ユーザ端末１３０のハードウェア構成は、実施形態１と同様である。

図８は、本実施形態の画像生成装置１２０の機能構成の一例を示す図である。
本実施形態の画像生成装置１２０は、図４と比べて、ユーザ入力部４０６の代わりに、距離取得部８０１を含む点で異なる。
距離取得部８０１は、実カメラ位置管理部４０５から送信された実カメラ位置情報に基づいて、撮像装置１１０に含まれる撮像装置同士の距離それぞれと、撮像装置１１０に含まれる撮像装置同士の中間の位置と、を取得する。距離取得部８０１は、取得した距離が大きいものから順に１つずつ選択する。距離取得部８０１は、距離を１つ選択する毎に、選択した距離に対応する２つの撮像装置の情報と、この撮像装置同士の中間の位置の情報と、を仮想視点管理部４０７に送信する。そして、距離取得部８０１は、この撮像装置同士の中間の位置を、仮想カメラの視点の位置とするように仮想カメラ視点情報を更新するよう仮想視点管理部４０７に指示する。これにより、距離取得部８０１は、品質の低下が発生しやすい順に、仮想カメラの位置を更新できる。
画像処理システム１００は、品質の低下が発生しやすい順に位置が更新される仮想カメラについて、位置が更新されるごとに、仮想視点画像を生成し、仮想視点画像と表示対象画像とを表示することとなる。これにより、ユーザは、仮想カメラが品質の低下が発生しやすい位置に存在する場合について、他の場合よりも先に確認することができる。

また、距離取得部８０１は、実カメラ位置管理部４０５から送信された実カメラ位置情報に基づいて、撮像装置１１０に含まれる撮像装置同士の距離のうち、最も大きな距離を取得してもよい。そして、距離取得部８０１は、取得した距離がどの２つの撮像装置の間の距離であるかを特定し、特定した２つの撮像装置の間の中間の位置を取得することとしてもよい。距離取得部８０１は、この位置を、仮想視点画像の品質の低下が最も起きやすい仮想的な視点の位置として取得する。そして、距離取得部８０１は、取得した位置の情報を、仮想視点管理部４０７に送信し、送信した情報で、仮想カメラ視点情報を更新するよう指示することとしてもよい。
この場合、画像処理システム１００は、品質の低下が最も発生しやすい位置に配置される仮想カメラについて、仮想視点画像を生成し、仮想視点画像と表示対象画像とを表示することとなる。これにより、ユーザは、最も仮想視点画像の品質の低下が発生しやすい場合について、品質の低下を監視できる。

仮想視点管理部４０７は、この指示に応じて、ＨＤＤ３０４等に記憶された仮想カメラ視点情報を更新する。そして、仮想視点管理部４０７は、更新した仮想カメラ視点情報と、更新された仮想カメラの位置がどの２つの撮像装置の中間の位置であるかを示す情報と、を仮想視点画像生成部４０８に送信し、仮想視点画像の生成を指示する。仮想視点画像生成部４０８は、送信された更新された仮想カメラの位置がどの２つの撮像装置の中間の位置であるかを示す情報に基づいて、現在の仮想カメラの位置を中間の位置とする２つの撮像装置を特定する。そして、仮想視点画像生成部４０８は、特定した２つの撮像装置により撮影された画像を最も寄与度が高くなるように利用して、仮想視点画像を生成する。

図９は、本実施形態の画像生成装置１２０の処理の一例を示すフローチャートである。
図９の処理のうち、図５と異なる点について説明する。図９のＳ５０２～Ｓ５０８の処理は、図５のＳ５０２～Ｓ５０８の処理と同様である。
Ｓ９０１において、距離取得部８０１は、実カメラ位置管理部４０５に実カメラ位置情報を要求し、要求に応じて実カメラ位置管理部４０５から送信された実カメラ位置情報を受信することで取得する。
Ｓ９０２において、距離取得部８０１は、Ｓ９０１で取得した実カメラ位置情報に基づいて、撮像装置１１０に含まれる撮像装置同士の距離それぞれを取得し、撮像装置１１０に含まれる撮像装置同士の中間の位置それぞれを取得する。
Ｓ９０３において、距離取得部８０１は、Ｓ９０２で取得した距離から、大きいものから１つずつ選択する。以下では、選択された距離を選択距離とする。そして、距離取得部８０１は、選択距離を選択するごとに、選択距離に対応する２つの撮像装置の情報とこの２つの撮像装置の中間の位置の情報とを仮想視点管理部４０７に送信し、Ｓ９０４、Ｓ５０２～Ｓ５０８の処理を繰り返すように制御する。
Ｓ９０４において、仮想視点管理部４０７は、Ｓ９０３で送信された２つの撮像装置の中間の位置の情報に基づいて、仮想カメラ視点情報を更新する。仮想視点管理部４０７は、この２つの撮像装置の情報を、仮想視点画像生成部４０８に送信する。仮想視点画像生成部４０８は、送信された情報が示す撮像装置により撮影された画像を用いて、仮想視点画像を生成することとなる。

図１０は、本実施形態の撮像装置１１０それぞれの配置状況の一例を示す図である。図１０を用いて、本実施形態の撮像装置１１０それぞれと仮想カメラとの位置関係を説明する。撮像装置１１０それぞれは、撮影対象である競技場の中心を取り囲むように配置されている。
図１０の例では、撮像装置１１０に含まれる撮像装置同士の距離のうち、最も大きいものは、撮像装置１１０（ａ）と撮像装置１１０（ｂ）との間の距離であるとする。仮想カメラ１１０５は、撮像装置１１０（ａ）と撮像装置１１０（ｂ）との中間の位置に配置された仮想カメラである。
また、撮像装置１１０に含まれる撮像装置同士の距離のうち、２番目に大きいものは、撮像装置１１０（ｃ）と撮像装置１１０（ｄ）との間の距離であるとする。仮想カメラ１１０６は、撮像装置１１０（ｃ）と撮像装置１１０（ｄ）との中間の位置に配置された仮想カメラである。

図１１は、本実施形態の表示画像の表示状況の一例を示す図である。図１１（ａ）は、仮想カメラ１１０５により撮影されたとみなすことができる仮想視点画像を含む表示画像が表示されている状況の一例を示す図である。画像１１０１は、仮想視点画像である。また、画像１１０２～１１０７は、表示対象画像である。画像１１０２、１１０３は、最も寄与度が大きい撮像装置１１０（ａ）、撮像装置１１０（ａ）により撮影された画像である。
図１１（ｂ）は、仮想カメラ１１０６により撮影されたとみなすことができる仮想視点画像を含む表示画像が表示されている状況の一例を示す図である。画像１１１１は、仮想視点画像である。また、画像１１１２～１１１７は、表示対象画像である。画像１１１２、１１１３は、最も寄与度が大きい撮像装置１１０（ａ）、撮像装置１１０（ａ）により撮影された画像である。
本実施形態では、画像処理システム１００は、仮想カメラ視点情報を更新し、仮想視点画像を生成し直すごとに、生成し直した仮想視点画像と対応する表示対象画像とをユーザ端末１３０の表示部に表示することとした。しかし、画像処理システム１００は、仮想カメラ視点情報を更新し、仮想視点画像を生成し直すごとに、生成し直した仮想視点画像のみを表示してもよい。また、画像処理システム１００は、仮想カメラ視点情報を更新するたびに、生成し直した複数の仮想視点画像を、まとめて、ユーザ端末１３０の表示部に表示することとしてもよい。

以上、本実施形態では、画像処理システム１００は、仮想視点画像の品質の低下が起きやすい位置から順に仮想カメラの配置位置を更新しながらして、仮想視点画像を生成し、仮想視点画像と表示対象画像とを表示した。２つの撮影部同士の距離が大きいほど、その２つの撮影部の間の中間の位置に仮想カメラが配置された場合に、その２つの撮影部により撮影された画像を用いて生成される仮想視点画像は、品質の低下が発生しやすくなる。そのため、本実施形態の処理により、ユーザは、品質の低下が発生しやすい場合について、他の場合よりも先に仮想視点画像の品質の監視を行うことができる。即ち、ユーザは、より効率的に仮想視点画像の品質の監視を行うことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
例えば、上述した画像処理システム１００の機能構成の一部又は全てをハードウェアとして画像生成装置１２０に実装してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよいし、適宜改良や置換を行ったものや、他の構成としたものでもよい。

１００ 画像処理システム
１１０ 撮像装置
１２０ 画像生成装置

Claims (17)

1. 仮想的な視点からの画像である仮想視点画像の生成に関連する画像から、表示対象となる画像である表示対象画像を決定する決定手段と、
   前記仮想視点画像と前記決定手段により決定された前記表示対象画像と、を表示部に表示させる表示制御手段と、
   を有し、
   前記表示制御手段は、前記決定手段により決定された前記表示対象画像に含まれる画像それぞれの前記仮想視点画像の生成に寄与する度合いに応じた表示態様で、前記仮想視点画像と前記表示対象画像とを前記表示部に表示させる情報処理装置。
2. 仮想的な視点からの画像である仮想視点画像の生成に関連する画像から、表示対象となる画像である表示対象画像を決定する決定手段と、
   前記仮想視点画像と前記決定手段により決定された前記表示対象画像と、を表示部に表示させる表示制御手段と、
   を有し、
   前記決定手段は、複数の撮影部に含まれる撮影部同士の距離に応じて決定された仮想的な視点からの画像である仮想視点画像の生成に関連する画像であって、前記複数の撮影部により撮影される画像から、前記表示対象画像を決定する情報処理装置。
3. 前記複数の撮影部に含まれる撮影部同士の距離に応じて決定された仮想的な視点は、前記複数の撮影部に含まれる撮影部同士の距離のうち、最も大きい距離に応じて決定された仮想的な視点である請求項２に記載の情報処理装置。
4. 前記複数の撮影部に含まれる撮影部同士の距離に応じて決定された仮想的な視点は、前記複数の撮影部に含まれる撮影部同士の距離に応じて、前記複数の撮影部に含まれる撮影部同士の間の中間の位置から決定された仮想的な視点である請求項２又は３に記載の情報処理装置。
5. 前記複数の撮影部に含まれる撮影部同士の距離それぞれから大きい順に１つずつを選択距離として選択し、選択した前記選択距離それぞれについて、前記選択距離に対応する２つの撮影部の間の位置を、前記仮想的な視点として決定する別の決定手段を更に有し、
   前記決定手段は、前記別の決定手段により前記仮想的な視点が決定されるごとに、前記別の決定手段により決定された仮想的な視点からの画像である仮想視点画像の生成に関連する画像であって、前記複数の撮影部により撮影される画像から、前記表示対象画像を決定し、
   前記表示制御手段は、前記別の決定手段により前記仮想的な視点が決定されるごとに、前記仮想視点画像と前記決定手段により決定された前記表示対象画像とを前記表示部に表示させる請求項２乃至４の何れか１項に記載の情報処理装置。
6. 前記決定手段は、前記仮想視点画像に含まれるオブジェクトのモデルの生成に関連する画像を、前記表示対象画像として決定する請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記決定手段は、前記オブジェクトのモデルの形状の決定に関連する画像を、前記表示対象画像として決定する請求項６に記載の情報処理装置。
8. 前記決定手段は、前記オブジェクトのモデルの色の決定に関連する画像を、前記表示対象画像として決定する請求項６又は７に記載の情報処理装置。
9. 前記表示制御手段は、前記仮想的な視点と前記決定手段により決定された前記表示対象画像を撮影した撮影部との位置関係に応じた表示態様で、前記仮想視点画像と前記表示対象画像とを前記表示部に表示させる請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記表示制御手段は、前記決定手段により決定された前記表示対象画像を撮影した撮影部が前記仮想的な視点に対してどの方向に位置するかを示す前記位置関係に応じた前記表示態様で、前記仮想視点画像と前記表示対象画像とを前記表示部に表示させる請求項９に記載の情報処理装置。
11. 前記表示制御手段は、前記決定手段により決定された前記表示対象画像を撮影した撮影部が前記仮想的な視点からどの程度の距離に位置に位置するかを示す前記位置関係に応じた前記表示態様で、前記仮想視点画像と前記表示対象画像とを前記表示部に表示させる請求項９又は１０に記載の情報処理装置。
12. 前記表示制御手段は、前記決定手段により決定された前記表示対象画像を撮影した撮影部が前記仮想的な視点からより遠い距離に位置する程、より小さく表示させる前記表示態様で、前記仮想視点画像と前記表示対象画像とを前記表示部に表示させる請求項１１に記載の情報処理装置。
13. 前記表示制御手段は、前記仮想視点画像と前記表示対象画像と前記表示対象画像を撮影した撮影部の属性情報とを前記表示部に表示させる請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 前記決定手段により決定された前記表示対象画像から、前記仮想視点画像の品質の低下の原因となる画像の指定を受付ける受付手段と、
    前記受付手段により受付けられた指定が示す画像を撮影した撮影部により撮影される画像を、仮想視点画像の生成に用いることを禁止する禁止手段と、
    を更に有する請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 情報処理装置が実行する情報処理方法であって、
    仮想的な視点からの画像である仮想視点画像の生成に関連する画像から、表示対象となる画像である表示対象画像を決定する決定ステップと、
    前記仮想視点画像と前記決定ステップで決定された前記表示対象画像とを表示部に表示させる表示制御ステップと、
    を含み、
    前記表示制御ステップは、前記決定ステップで決定された前記表示対象画像に含まれる画像それぞれの前記仮想視点画像の生成に寄与する度合いに応じた表示態様で、前記仮想視点画像と前記表示対象画像とを前記表示部に表示させる、
    情報処理方法。
16. 情報処理装置が実行する情報処理方法であって、
    仮想的な視点からの画像である仮想視点画像の生成に関連する画像から、表示対象となる画像である表示対象画像を決定する決定ステップと、
    前記仮想視点画像と前記決定ステップで決定された前記表示対象画像と、を表示部に表示させる表示制御ステップと、
    を含み、
    前記決定ステップは、複数の撮影部に含まれる撮影部同士の距離に応じて決定された仮想的な視点からの画像である仮想視点画像の生成に関連する画像であって、前記複数の撮影部により撮影される画像から、前記表示対象画像を決定する、
    情報処理方法。
17. コンピュータを、請求項１乃至１４の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。

Images