JP2022007619A - 画像配信装置、画像生成装置及びプログラム - Google Patents

Abstract

【課題】多視点映像での多くの視点数確保、データ転送量の増大防止、画質低下防止、並びに視点変更の際の遅延軽減を同時に実現可能な画像配信装置及びプログラムを提供する。
【解決手段】画像配信システム１において、画像配信装置２は、複数の撮影装置によって構成される撮影装置群を用い、同一シーンを撮影する異なる複数の視点から視聴希望視点を指定する操作が行われたことを示す指定情報を画像表示装置３から受信する指定情報受信部２１１と、撮影装置群を構成する複数の撮影装置のうち、視聴希望視点における撮影画像、及び視聴希望視点の周辺に位置する周辺視点における１又は複数の撮影画像を一つのフレーム内に統合した統合画像を画像表示装置３に配信する配信部２１２と、を備える。
【選択図】図１

Description

本発明は、画像配信装置、画像生成装置及びプログラム、より詳しくは、同一シーンを異なる視点から見ることができる多視点映像を提供可能な装置及びプログラムに関する。

近年、同一シーンを異なる視点から見ることができる多視点映像技術が提供されている。例えば、サッカースタジアムにおける所定の１点に固定された撮影装置による限られた視点からの映像にとどまらず、スタジアム内のあらゆる位置に複数の撮影装置を配置し、これら複数の撮影装置から好みの角度で映像を見られる自由視点映像が提供される。より具体的には、サッカースタジアムのピッチ内にいる選手の見ていた光景の再現や、同じシーンをさまざまなアングルで見る等、視聴者が自由自在に視点を設定できる。さらには、映像をスローモーションにしながら視点を視聴者が自由に変更する等、視点と時間を視聴者の思いのままに操作することが可能である。

このような多視点映像技術として、画像配信装置と画像表示装置とを備え、画像配信装置は、同一シーンを異なる視点から見た複数の画像を一つのフレーム内に配置した単一の統合画像を生成し、当該単一の統合画像を画像表示装置に配信し、画像表示装置は、単一の統合画像に含まれる複数の画像のうち１つを表示するシステムが提案されている（特許文献１参照）。

特許文献１に記載のシステムによると、複数の画像表示装置に同一の統合画像を送信できる。よって、システムの構成を簡略化できる。また、統合画像として単一画像の形式を用いることで、既存のシステム構成から変更を低減できるとともに、既存の画像圧縮技術等を用いて、配信される映像のデータ量を低減できる。

国際公開第２０１８／１５５６７０号パンフレット

しかしながら、特許文献１に記載のシステムは、同一シーンを異なる視点から見た複数の画像の全てを一つのフレーム内に配置し、単一の統合画像を生成するものである。そのため、ユーザが視聴可能な視点の数が増えるにつれ、統合画像のデータ量が膨大になり、画像配信装置及び画像表示装置のそれぞれにとって、画像配信装置から画像表示装置に向けて統合画像を配信するのに多大な負荷がかかる。そして、負荷が高まるにつれ、画像配信装置から画像表示装置への配信において輻輳が生じやすくなる。輻輳が生じると、配信された多視点画像を視聴者が利用できるようになるまでの時間が長くなり、視聴体験の質が低下する。したがって、データ転送量の増大を防ぎ、多視点映像に関する視聴体験の質を向上させることについて、なおいっそうの課題がある。

データ転送量の増大を防ぐために、統合画像のデータ量を一定に保ちつつ統合画像に含まれる画像の数を増やす手法が考えられる。しかしながら、この手法では、統合画像に含まれるそれぞれの個別画像１つあたりのデータ量を抑えなければならない。一般に、データ量が大きい画像ほど画質が高く、データ量が小さい画像ほど画質が低い。したがって、個別画像１つあたりのデータ量を抑えると、それぞれの個別画像の画質が低いものとなってしまう。そして、個別画像の画質が低いと、視聴者にとっての視聴体験の質の低下に繋がってしまう。

また、多視点映像に関する視聴体験の質の向上においては、視点を変更する場合の遅延の軽減も重要である。視点を変更する場合の遅延が大きければ、視聴者が変更後の視点から見た画像を利用できるようになるまでの時間が長くなり、視聴体験の質が低下する。

以上から、質の高い多視点映像を提供するには、視点の数を増やすことと、データ転送量の増大防止、画像の画質低下防止、及び視点を変更するときの遅延軽減との互いに相反する要請を両立させることが求められる。

本発明は、このような事情に鑑みてなされたものであり、質の高い多視点映像を提供するにあたり、視点の数を増やすことと、データ転送量の増大防止、画像の画質低下防止、及び視点を変更するときの遅延軽減との互いに相反する要請を両立させることの可能な画像配信装置、画像生成装置及びプログラムを提供することを目的とする。

本発明者らは、上記課題を解決するために鋭意検討した結果、視点の指定操作が行われた場合に、同一シーンを異なる視点から見た一群の画像から、指定操作に係る所定視点から見た所定視点画像と、所定視点の周辺に位置する周辺視点から見た周辺視点画像とを一つのフレーム内に配置した統合画像を外部に配信することで、上記の目的を達成できることを見出し、本発明を完成させるに至った。具体的に、本発明は以下のものを提供する。

第１の特徴に係る発明は、同一シーンを撮影する異なる複数の視点から所定視点を指定する操作が行われたことを示す指定情報を外部から受信する受信部と、前記所定視点から見た所定視点画像、及び前記複数の視点のうち前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を一つのフレーム内に統合した統合画像を前記外部に配信する配信部と、を備える画像配信装置を提供する。

第１の特徴に係る発明によれば、外部に配信される統合画像は、同一シーンを撮影する異なる複数の視点のうち、例えば、視聴者の操作によって視聴を希望する視点として指定された所定視点（視聴希望視点）から見た所定視点画像を含む。そのため、統合画像が配信された外部装置（例えば、画像表示装置等）では、視聴者に対し、視聴者が実際に指定した視点から見た所定視点画像を再生できる。

また、統合画像には、上記所定視点画像に加え、所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像が一つのフレーム内に統合されており、配信部は、当該統合画像を外部に配信する。そのため、表示中の画像における視点の切り替え（例えば、表示中の画像における視点から視聴者が希望する視点への切り替え）を上記外部装置が実行する場合、切り替え後の視点での画像表示を上記外部装置の内部処理にて実現できる。

より詳しく説明すると、視聴者が所定視点周辺の所定視点とは異なる表示視点から見た画像の表示を希望してから指定情報が指定する所定視点に応じた統合画像を視聴者が利用できるようになるまでには、配信に関する通信に要する時間や配信された映像のデコード（復号処理）に要する時間等により生じる待機時間がある。配信される統合画像は、所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を含むため、この待機時間であっても、視聴者は、所定視点周辺の所定視点とは異なる表示視点から見た画像を遅延なく利用できる。したがって、第１の特徴に係る発明によれば、多視点映像を提供するときの課題である、視点を変更するときの遅延を軽減できる。

一方、統合画像に含まれる画像は、所定視点画像及び１又は複数の周辺視点画像であり、同一シーンを撮影する異なる複数の視点全てから見た全ての画像ではない。そのため、統合画像に含まれる画像の数を抑えられ、統合画像に含まれる画像の解像度が比較的高い場合であっても、画像配信装置から外部へのデータ転送量の増大を防ぐことができる。したがって、多視点映像の視点の数を増やすことと、データ転送量の増大を防ぐことと、画像の画質の低下を防ぐこととを同時に実現し、視聴者の視聴体験の質を向上できる。

よって、第１の特徴に係る発明によれば、多視点映像の視点の数を増やすことと、データ転送量の増大防止、画像の画質低下防止、及び視点を変更するときの遅延軽減との互いに相反する要請を両立させた画像配信装置を提供できる。

第２の特徴に係る発明は、第１の特徴に係る発明であって、前記統合画像に含まれる前記所定視点画像及び前記１又は複数の周辺視点画像の解像度がそれぞれ等しい、画像配信装置を提供する。

第２の特徴に係る発明によれば、統合画像に含まれる所定視点画像及び周辺視点画像の解像度がそれぞれ等しい。そのため、画像表示装置等の外部装置が統合画像に含まれるいずれかの画像を表示する際、所定視点を指定する操作によって外部装置での表示画像の切り替えが行われる場合であっても、外部装置は、切り替えの前後で等しい解像度の画像の表示を、内部処理によって遅滞なく実現することができる。

したがって、第２の特徴に係る発明によれば、上述した互いに相反する要請のうち、外部装置で表示される画像の画質低下をよりいっそう抑えることの可能な画像配信装置を提供できる。

第３の特徴に係る発明は、第１の特徴に係る発明であって、前記１又は複数の周辺視点画像のうち、いずれか１以上の前記周辺視点画像の解像度が前記所定視点画像の解像度よりも低く、前記一つのフレームには、画像を配置可能な１又は複数の第１領域と、画像を配置可能であって、前記第１領域よりも面積が小さい１又は複数の第２領域とが設けられており、少なくとも前記所定視点画像は、前記第１領域に配置されており、少なくとも前記所定視点画像よりも小さい解像度の前記周辺視点画像は、前記第２領域に配置されている、画像配信装置を提供する。

第３の特徴に係る発明によれば、統合画像は一つのフレーム内に統合されており、この一つのフレームそれ自体の面積は一定である。また、第２領域の面積は、第１領域の面積よりも小さい。そのため、一つのフレームの中に第１領域と第２領域との両方を配置する方が、一つのフレームの中に第１領域だけを配置する場合に比べ、一つのフレームの中に数多くの領域を配置される。その結果、一つのフレームの中に第１領域と第２領域との両方を配置することで、一つのフレームの中に第１領域だけを配置する場合に比べて、統合画像に統合させる周辺視点画像の数を増やすことができる。したがって、第３の特徴に係る発明によれば、上述の待機時間において遅延なく表示できる周辺視点画像の数を、データ転送量を増やすことなく増やすことができる。

また、視聴者が視聴する画像は、相対的に解像度が高い所定視点画像であり、この所定視点画像は、相対的に面積が広い第１領域に配置されている。そのため、統合画像を構成する一つのフレーム内に第２領域を配置したとしても、視聴者が視聴する画像そのものの解像度が下がることは、ない。したがって、第３の特徴に係る発明によれば、視聴者が視聴する所定視点画像そのものの解像度を下げることなく、統合画像を構成する一つのフレームに配置する領域の数を増やすことができる。

よって、第３の特徴に係る発明によれば、上述した相反する要請によりいっそう応えた画像配信装置を提供できる。

第４の特徴に係る発明は、第３の特徴に係る発明であって、前記所定視点画像に加え、前記所定視点画像と等しい解像度の前記周辺視点画像が前記第１領域にそれぞれ配置されている、画像配信装置を提供する。

相対的に面積が広い第１領域には、所定視点画像に加え、所定視点画像と等しい解像度の周辺視点画像も配置されている。したがって、第４の特徴に係る発明によれば、視聴者が視聴する所定視点画像だけでなく、複数の周辺視点画像のうち、その後に視聴者が指定する可能性が高いと予測される周辺視点画像については解像度を下げることなく、統合画像を構成する一つのフレームに配置できる。

よって、第４の特徴に係る発明によれば、上述した相反する要請によりいっそう応えた画像配信装置を提供できる。

第５の特徴に係る発明は、第１から第４の特徴のいずれか１つに係る発明であって、前記所定視点画像及び前記周辺視点画像は、実質的に同じ時刻に撮影された画像である、画像配信装置を提供する。

第５の特徴に係る発明によれば、外部装置が所定視点画像から周辺視点画像に表示画像を切り替えて表示するときに、切り替え前後の時刻が実質的に同じ時刻となる。したがって、第５の特徴に係る発明によれば、多視点表示技術における画像切り替えを行う際に、所定視点画像の時刻と同じ時刻の映像を統合画像から呼び出すシーク処理や所定視点画像の時刻と同じ時刻の映像を画像配信装置から呼び出す処理を行う必要がない。これにより、シーク処理等により生じる遅延を軽減できる。

したがって、第５の特徴に係る発明によれば、上述した互いに相反する要請のうち、視点を変更するときの遅延をよりいっそう軽減することの可能な画像配信装置を提供できる。

第６の特徴に係る発明は、第１の特徴に係る発明のカテゴリ違いである。

第７の特徴に係る発明は、同一シーンを撮影する異なる複数の視点から所定視点を指定する操作が行われたことを示す指定情報を外部から受信する受信部と、前記所定視点から見た所定視点画像、及び前記複数の視点のうち前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を一つのフレーム内に統合した統合画像を生成する生成部と、を備える画像生成装置を提供する。

第７の特徴に係る発明によれば、第１の特徴に係る発明の画像配信装置等に適した統合画像を生成可能な画像生成装置を提供できる。

第８の特徴に係る発明は、画像表示装置に、同一シーンを撮影する複数の視点からの複数画像を一つのフレーム内に統合した統合画像を前記外部から受信させる受信ステップと、前記統合画像に含まれる前記複数画像の中から、いずれかの画像を表示させる表示ステップと、前記複数の視点から所定視点を指定する操作が行われたことを示す指定情報を前記外部に送信する視点指令ステップと、を実行させ、前記視点指令ステップが実行されると、前記表示ステップでは、前記統合画像に含まれる前記複数画像の中から、前記所定視点から見た所定視点画像を前記画像表示装置の内部処理で選択して表示させ、前記視点指令ステップが実行された後に前記受信ステップで受信させる前記統合画像は、前記所定視点から見た所定視点画像、及び前記複数の視点のうち、前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を一つのフレーム内に統合した画像である、プログラムを提供する。

第８の特徴に係る発明によれば、画像表示装置は、指定情報の送信を介して、同一シーンを撮影する複数の視点から指定した所定視点から見た所定視点画像を表示できる。したがって、データ転送量の増大と画像の画質の低下とを防ぎつつ、多視点映像の視点の数を増やせる。

所定視点を所定視点周辺の所定視点とは異なる視点に変更したとき、変更後の所定視点を指定する指定情報を送信してから変更後の所定視点に応じた統合画像を表示できるようになるまでには、配信に関する通信に要する時間や配信された映像のデコード（復号処理）に要する時間等により生じる待機時間がある。受信する統合画像は、前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を含むため、この待機時間であっても、画像表示装置は、変更前の所定視点周辺の所定視点とは異なる変更後の所定視点から見た画像を遅延なく表示できる。したがって、多視点映像の視点の数を増やすことと、データ転送量の増大を防ぐことと、画像の画質の低下を防ぐこととに加えて、視点を変更するときの遅延の軽減をも、同時に実現できる。これにより、視聴者の視聴体験の質をさらに向上できる。

したがって、第８の特徴に係る発明によれば、多視点映像の視点の数を増やすことと、データ転送量の増大防止、画像の画質低下防止、及び視点を変更するときの遅延軽減との互いに相反する要請を両立させたプログラムを提供できる。

本発明によれば、多視点映像の視点の数を増やすことと、データ転送量の増大防止、画像の画質低下防止、及び視点を変更するときの遅延軽減との互いに相反する要請を両立させた画像配信装置、画像生成装置及びプログラムを提供できる。

図１は、本実施形態の画像配信システム１の構成の一例を示すブロック図である。 図２は、本実施形態の画像配信装置２を用いた画像配信処理の流れの一例を示すメインフローチャートである。 図３は、多視点映像の一例を示す概念図である。 図４は、統合画像の一例を示す概念図である。 図５は、統合画像テーブル２２１の一例である。 図６は、本実施形態の画像配信装置２を用いた統合画像取得処理の流れの一例を示すフローチャートである。 図７は、多視点映像テーブル２２２の一例である。 図８は、本実施形態の画像表示装置３を用いた画像表示処理の流れの一例を示すフローチャートである。 図９は、統合画像を用いた視点移動の概念図である。 図１０は、変形例１の画像配信システム１の構成の一例を示すブロック図である。

以下、本発明を実施するための好適な形態の一例について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

＜画像配信システム１＞
図１は、本実施形態の画像配信システム１の構成の一例を示すブロック図である。画像配信システム１（以下、単にシステム１とも称する）は、画像配信装置２（以下、単に配信装置２とも称する）と、画像表示装置３（以下、単に表示装置３とも称する）と、撮影装置群４と、ネットワーク５（第１ネットワーク５Ａ及び第２ネットワーク５Ｂ）と、を含んで構成される。

〔配信装置２〕
配信装置２は、制御部２１と、記憶部２２と、通信部２３と、を含んで構成される。

［制御部２１］
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

制御部２１は、所定のプログラムを読み込み、必要に応じて記憶部２２及び／又は通信部２３と協働することで、配信装置２におけるソフトウェア構成の要素である、指定情報受信部２１１、配信部２１２、及び生成部２１３等を実現する。

［記憶部２２］
記憶部２２は、データやファイルが記憶される装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を有する。記憶部２２は、ネットワークを介してＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、クラウドストレージ、ファイルサーバ、分散ファイルシステム等の記憶装置又は記憶システムとの接続を可能にする仕組みを有してもよい。

記憶部２２には、マイクロコンピューターで実行される制御プログラム、統合画像テーブル２２１、多視点映像テーブル２２２等が記憶されている。

（統合画像テーブル２２１）
統合画像テーブル２２１には、視点データと統合画像とを紐付けたデータが記憶される。本実施形態において、視点データとは、同一シーンを異なる視点から見ることができる多視点映像を実現するための視点に関するデータをいう。視点データの種類は、特に限定されるものでなく、例えば、多視点映像を実現するために設けられた複数の視点のそれぞれに対応する撮影装置を示すデータ、視点の方向を示すデータ、視点の座標を示すデータ、視点の画角を示すデータ、視点に割り当てられたラベルを示すデータ又はこれら視点に関するデータの２つ以上を組み合わせたデータ等が挙げられる。

本実施形態において、統合画像とは、多視点映像を実現するために設けられた複数の視点のそれぞれに対応する複数の視点画像から、所定の基準で選択された複数の視点画像を統合した画像をいう。

本実施形態において、統合画像テーブル２２１に、視点データと統合画像とを紐付けたデータが記憶されていることにより、統合画像取得部２１２は、多視点映像を実現するために設けられた複数の視点のうち、画像表示装置３を通じて多視点映像を視聴する視聴者等からの指令に応じた被指令視点からみた被指令視点画像と、当該被指令視点の周囲にある１又は複数の周囲視点からみた１又は複数の周囲視点画像とを統合した統合画像を取得できる。

（多視点映像テーブル２２２）
多視点映像テーブル２２２には、視点データと、多視点映像を実現するために設けられた複数の視点のうち、当該視点データに相当する視点から見た画像とを紐付けたデータが記憶される。

［通信部２３］
通信部２３は、配信装置２を表示装置３その他の機器と通信可能にするためのデバイスを有する。デバイスの種類は特に限定されるものでなく、例えばイーサネット規格に対応したネットワークカード、ＩＥＥＥ８０２．１１に準拠したＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス、等を有する。データ量が大きい画像を配信するために、通信部２３は、イーサネット規格に対応したネットワークカードを有することが好ましい。

〔表示装置３〕
表示装置３は、制御部３１と、記憶部３２と、通信部３３と、表示部３４と、入力部３５と、を含んで構成される。

［制御部３１］
制御部３１のハードウェア構成は、制御部２１と同様である。制御部３１は、所定のプログラムを読み込み、必要に応じて記憶部３２、通信部３３、表示部３４及び／又は入力部３５と協働することで、表示装置３におけるソフトウェア構成の要素である、統合画像受信部３１１、視点指令部３１２、画像表示部３１３等を実現する。

［記憶部３２］
記憶部３２のハードウェア構成は、記憶部２２と同様である。記憶部３２には、マイクロコンピューターで実行される制御プログラム等が記憶されている。

［通信部３３］
通信部３３は、表示装置３を配信装置２その他の機器と通信可能にするためのデバイスを有する。通信部３３のハードウェア構成は、通信部２３と同様である。

［表示部３４］
表示部３４の種類は、特に限定されない。表示部３４として、例えば、モニタ、タッチパネル等が挙げられる。

［入力部３５］
入力部３５の種類は、特に限定されない。入力部３５として、例えば、キーボード、マウス、タッチパネル等が挙げられる。

〔撮影装置群４〕
撮影装置群４は、同一シーンを異なる視点から撮影する複数の撮影装置を含む。

撮影装置群４に含まれる撮影装置は、動画像を撮影可能であることが好ましい。撮影装置が動画像を撮影可能であることにより、視聴者の視聴体験の質をより向上できる。

撮影装置群４に含まれる撮影装置は、配信装置２その他の機器と接続可能であることが好ましい。撮影装置群４に含まれる撮影装置は、後述するネットワーク５を介して配信装置２その他の機器と接続されてもよく、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ（ＨＤＭＩ（登録商標））に準拠したケーブル等を用いて配信装置２その他の機器と接続されてもよい。撮影装置群４に含まれる撮影装置が配信装置２その他の機器と接続可能であることにより、配信装置２は、撮影装置が撮影したシーンを表示装置３に向けてリアルタイムに配信するライブ配信を行える。

撮影装置群４に含まれる複数の撮影装置は、撮影可能な解像度の上限がそれぞれ等しいことが好ましい。撮影装置が撮影可能な解像度の上限が等しいことにより、視点を移動したときの画質を、移動前の画質の状態で維持できるため、視聴体験の質を向上できる。

〔ネットワーク５〕
ネットワーク５は、配信装置２と表示装置３とを接続する第１ネットワーク５Ａと、配信装置２と撮影装置群４とを接続する第２ネットワーク５Ｂと、を含む。

第１ネットワーク５Ａ及び第２ネットワーク５Ｂの種類は特に限定されず、パーソナルエリアネットワーク、ローカルエリアネットワーク、イントラネット、エクストラネット、インターネット、Ｗｉ－Ｆｉネットワーク、ユニバーサル・シリアル・バス（ＵＳＢ）に準拠したバスネットワーク、あるいはこれらを含むネットワークを複数組み合わせたネットワーク等が挙げられる。第１ネットワーク５Ａと第２ネットワーク５Ｂとは互いに独立したネットワークでもよく、互いに接続されていてもよい。

〔画像配信のメインフローチャート〕
図２は、本実施形態における画像配信の手順を示すメインフローチャートの一例である。以下では、図２を参照しながら、配信装置２が行う画像配信に関する処理の好ましい手順について説明する。

［ステップＳ１：指定情報の受信の有無を判定］
制御部２１は、記憶部２２及び通信部２３と協働して指定情報受信部２１１を実行し、指定情報を受信したか否かを判定する（ステップＳ１）。指定情報を受信していれば、制御部２１は、処理をステップＳ２に移す。指定情報を受信していなければ、制御部２１は、処理をステップＳ３に移す。

指定情報は、同一シーンを撮影する異なる複数の視点から、視聴者が視聴を希望したい視聴希望視点（指定操作に係る所定視点。以下同じ。）を指定する操作が行われたことを示すものであれば、特に限定されない。指定情報は、視聴希望視点を指定する操作に関する情報を含む。指定情報に含まれる視聴希望視点を指定する操作に関する情報は、特に限定されず、視聴希望視点を示すラベル、視聴希望視点から見た画像を撮影する撮影装置を示すラベル、視聴希望視点の座標等（座標及び／又は方向）等が挙げられる。制御部２１が指定情報を受信したか否かを判定することにより、制御部２１が指定情報を受信した場合、制御部２１は、指定情報を用いて視聴希望視点を変更できる。

［ステップＳ２：視聴希望視点を変更］
制御部２１は、記憶部２２と協働して指定情報受信部２１１を実行し、指定情報を用いて視聴希望視点を変更する（ステップＳ２）。制御部２１は、処理をステップＳ３に移す。ステップＳ２の処理により、配信装置２は、視聴者の視聴希望視点に相当する統合画像を表示装置３に配信できるため、統合画像が配信された表示装置３では、視聴者に対し、視聴希望視点から見た画像を再生できる。

［ステップＳ３：統合画像取得処理］
制御部２１は、記憶部２２と協働して配信部２１２を実行し、後に図６を参照しながら説明する統合画像取得処理を実行し（ステップＳ３）、処理をステップＳ４に移す。統合画像取得処理は、統合画像テーブル２２１から、視聴希望視点から見た視聴希望視点画像と、視聴希望視点の周辺にある複数の周辺視点から見た１又は複数の周辺視点画像とを含む統合画像を取得する処理である。

統合画像には、視聴希望視点画像が含まれ、配信装置２は、当該統合画像を表示装置３に配信するため、表示装置３は、視聴者による視聴希望視点から見た視聴希望視点画像を再生できる。また、統合画像には、視聴希望視点画像に加え、視聴希望視点の周辺にある１又は複数の周辺視点から見た周辺視点画像も含まれるため、視聴者が表示装置３での視点の切り替え（例えば、表示中の画像における視点から視聴希望視点への切り替え）を希望する場合、表示装置３は、配信装置２からのデータの配信を受けることなく、表示装置３の内部処理だけで視点の切り替えを実現できる。

より詳しく説明すると、視聴者が現在表示中の視点とは異なる別の視点から見た画像の表示を希望してから当該別の視点（新たな視聴希望視点）に応じた統合画像を視聴者が利用できるようになるまでには、配信に要する時間や、配信された映像のデコード（復号処理）に要する時間等により生じる待機時間がある。もともと配信装置２から表示装置３に向けて配信されていた統合画像は、視聴希望視点画像だけでなく、視聴希望視点の周辺に位置する周辺視点から見た周辺視点画像も含むため、待機時間であっても、視聴者は、統合画像に含まれる画像としてもともと配信されていた複数の周辺視点画像から、新たな視聴希望視点画像を読み出し、その視聴希望視点画像を遅延なく（待機時間の経過を待つことなく）利用できる。したがって、多視点映像を提供するときの課題である、視点を変更するときの遅延を軽減できる。この視点を変更するときの遅延の軽減については、後に図９を用いてより詳細に説明する。

一方、統合画像に含まれる画像は、視聴希望視点画像及び１又は複数の周辺視点画像であり、同一シーンを撮影する異なる複数の視点全てから見た全ての画像ではない。そのため、統合画像に含まれる画像の数を抑えられ、統合画像に含まれる画像の解像度が比較的高い場合であっても、配信装置２から表示装置３へのデータ転送量の増大を防ぐことができる。したがって、多視点映像の視点の数を増やすことと、データ転送量の増大を防ぐことと、画像の画質の低下を防ぐこととを同時に実現し、視聴者の視聴体験の質を向上できる。

図３は、多視点映像の一例を示す概念図である。

撮影装置群４に含まれる撮影装置４Ａ～４Ｘは、それぞれ異なる視点から撮影対象Ｔを撮影する。これにより、異なる視点から見た画像４ａ～４ｘを得られる。視点は、略同一平面上にあってもよく、異なる平面上にあってもよい。画像は、静止画像であってもよく、動画像であってもよい。視聴体験の質をより一層向上できるため、画像は、動画像であることが好ましい。

視点は、撮影装置４Ａ～４Ｘの中から選択される２以上の撮影装置の間に設定された仮想的な視点であってもよい。視点が当該仮想的な視点である場合、仮想的な視点から見た画像は、これら２以上の撮影装置のいずれかによって撮影された画像でもよく、当該撮影された画像を用いて生成された画像でもよい。これら複数の撮影装置４Ａ～４Ｘによって撮影されて得られた複数の画像４ａ～４ｘの解像度は、それぞれ等しいことが好ましい。

図４は、撮影装置群４を構成する複数の撮影装置４Ａ～４Ｘから見た複数の視点のうち、視聴希望視点が撮影装置４Ａから見た視点である場合における、撮影装置４Ａからの画像と、撮影装置４Ａの周囲に設けられた撮影装置からの画像とを統合した統合画像の一例である。

図４（ａ）は、一つのフレームに、互いに面積が等しい９つの領域（視聴希望視点画像４ａ及び８つの周辺視点画像４ｕ～４ｘ及び４ｂ～４ｅ）が設けられているときの統合画像１０１ａの構成例を示す。

統合画像１０１ａは、９つの領域に分割され、画像４ｕ～４ｘ及び４ａ～４ｅは、分割された各領域に収まるように画像の大きさを変更されて、統合画像１０１ａの各領域に配置される。このように統合画像１０１ａを構成することにより、配信装置２は、視聴希望視点画像４ａだけでなく、８つの周辺視点画像４ｕ等を表示装置３に配信でき、表示装置３は、統合画像に含まれる視聴希望視点画像４ａ及び周辺視点画像４ｕ等から、視聴希望視点画像４ａを読み出して視聴者に表示できる。

視聴者が視聴希望視点の切り替えを希望する場合、表示装置３は、配信装置２に対して切り替えを指示し、配信装置２は、切り替え後の新たな視聴希望視点画像を含む統合画像を生成し、新たな統合画像を表示装置３に向けて配信する。そのため、視聴者が視聴希望視点の切り替えを希望すると、切り替えを指示してから新たな統合画像を視聴者が利用できるようになるまでには、配信に関する通信に要する時間や配信された映像のデコード（復号処理）に要する時間等に起因する待機時間が必要となる。

本実施形態では、統合画像１０１ａは、視聴希望視点画像４ａに加え、視聴者が指定する可能性が高いと予測される視点、すなわち視聴希望視点の周辺にあたる周辺視点の画像（周辺視点画像４ｕ～４ｘ及び４ｂ～４ｅ）を含む。そのため、上述した待機時間においても、表示装置３は、統合画像１０１ａに含まれる周辺視点画像４ｕ～４ｘ及び４ｂ～４ｅの中から新たな視聴希望視点に相当する画像を読み出し、視聴者に表示できる。したがって、本実施形態によると、多視点映像を提供するときの課題である、視点を変更するときの遅延を軽減できる。

統合画像１０１ａに含まれる視聴希望視点画像４ａ並びに周辺画像４ｕ～４ｘ及び４ｂ～４ｅは、解像度が互いに等しいことが好ましい。解像度が互いに等しければ、視聴者が視聴希望視点の切り替えを希望したときに、切り替え後に表示装置３が新たに表示する画像の解像度を、切り替え前の画像の解像度と同じになり、視聴者に与えるストレスをよりいっそう軽減できる。

図４（ｂ）は、構成する一つのフレームに、７つの第１領域（視聴希望視点画像４ａ及び６つの周辺視点画像４ｖ～４ｘ及び４ｂ～４ｄが配置される領域）と、第１領域よりも面積が狭い８つの第２領域（８つの周辺視点画像４ｒ～４ｕ及び４ｅ～４ｈが配置される領域）とが設けられているときの統合画像１０１ｂの構成例を示す。

第１領域には、視聴希望視点画像４ａと、視聴希望視点画像４ａと６つの周辺視点画像４ｖ～４ｘ及び４ｂ～４ｄが配置されている。

６つの周辺視点画像４ｖ～４ｘ及び４ｂ～４ｄは、撮影装置４Ｖ～４Ｘ及び４Ｂ～４Ｄによって撮影された画像であり、周辺視点画像４ｖ～４ｘ及び４ｂ～４ｄの解像度は、視聴希望視点画像４ａの解像度と等しい。図３を参照すると、撮影装置４Ｖ～４Ｘ及び４Ｂ～４Ｄは、視聴希望視点に相当する撮影装置４Ａからみて比較的近い位置に設置されている。そのため、撮影装置４Ｖ～４Ｘ及び４Ｂ～４Ｄに位置する視点は、視聴者が視聴希望視点の切り替えを希望する際、切り替え後の視点として選択される可能性が相対的に高い視点であると予測される。本実施形態によると、相対的に面積が広い第１領域には、複数の周辺視点画像の中でも、切り替え後の視点として選択される可能性が相対的に高い周辺視点画像が、解像度が相対的に高い状態で配置されている。

他方、第２領域には、８つの周辺視点画像４ｒ～４ｕ及び４ｅ～４ｈが配置されている。

８つの周辺視点画像４ｒ～４ｕ及び４ｅ～４ｈは、撮影装置４Ｒ～４Ｕ及び４Ｅ～４Ｈによって撮影された画像であり、周辺視点画像４ｒ～４ｕ及び４ｅ～４ｈの解像度は、視聴希望視点画像４ａの解像度よりも小さい。図３を参照すると、撮影装置４Ｒ～４Ｕ及び４Ｅ～４Ｈは、視聴希望視点に相当する撮影装置４Ａからみて比較的遠い位置に設置されている。そのため、撮影装置４Ｒ～４Ｕ及び４Ｅ～４Ｈに位置する視点は、視聴者が視聴希望視点の切り替えを希望する際、切り替え後の視点として選択される可能性が相対的に低い視点であると予測される。本実施形態によると、相対的に面積が狭い第２領域には、複数の周辺視点画像の中でも、切り替え後の視点として選択される可能性が相対的に低い周辺視点画像が、解像度が相対的に低い状態で配置されている。

統合画像１０１ｂは一つのフレーム内に統合されており、この一つのフレームそれ自体の面積は一定である。また、第２領域の面積は、第１領域の面積よりも小さい。そのため、一つのフレームの中に第１領域と第２領域との両方を配置する方が、一つのフレームの中に第１領域だけを配置する場合に比べ、一つのフレームの中に数多くの領域を配置される。その結果、一つのフレームの中に第１領域と第２領域との両方を配置することで、一つのフレームの中に第１領域だけを配置する場合に比べて、統合画像に統合させる周辺視点画像の数を増やすことができる。したがって、本実施形態に係る発明によれば、上述の待機時間において遅延なく表示できる周辺視点画像の数を、データ転送量を増やすことなく増やすことができる。

また、視聴者が視聴する画像は、相対的に解像度が高い視聴希望視点画像４ａであり、この視聴希望視点画像４ａは、相対的に面積が広い第１領域に配置されている。そのため、統合画像１０１ｂを構成する一つのフレーム内に第２領域を配置したとしても、視聴者が視聴する画像そのものの解像度が下がることは、ない。したがって、本実施形態に係る発明によれば、視聴者が視聴する視聴希望視点画像４ａそのものの解像度を下げることなく、統合画像１０１ｂを構成する一つのフレームに配置する領域の数を増やすことができる。

加えて、相対的に面積が広い第１領域には、視聴希望視点画像４ａに加え、視聴希望視点画像４ａと等しい解像度の周辺視点画像４ｖ～４ｘ及び４ｂ～４ｄも配置されている。したがって、本実施形態に係る発明によれば、視聴者が視聴する視聴希望視点画像４ａだけでなく、複数の周辺視点画像のうち、その後に視聴者が指定する可能性が高いと予測される周辺視点画像４ｖ～４ｘ及び４ｂ～４ｄについては解像度を下げることなく、統合画像を構成する一つのフレームに配置できる。

以上から、本実施形態に係る発明によると、質の高い多視点映像を提供するにあたり、視点の数を増やすことと、データ転送量の増大防止、画像の画質低下防止、及び視点を変更するときの遅延軽減との互いに相反する要請を両立させることが可能な配信装置２を提供できる。

図４（ａ）及び図４（ｂ）では、統合画像１０１ａ、１０１ｂを構成する一つのフレーム内に視聴希望視点画像４ａと８又は１４の周辺視点画像４ｕ等とを配置する例を示したが、これに限るものではない。統合画像を構成する一つのフレーム内における画像の配置は、配信に関する状況等に応じて、任意の態様で構成できる。

図４（ｃ）は、構成する一つのフレームに、５つの第１領域（視聴希望視点画像４ａ及び４つの周辺視点画像４ｗ、４ｘ、４ｂ、４ｃが配置される領域）と、第１領域よりも面積が小さい１６個の第２領域（１６個の周辺視点画像４ｏ～４ｖ及び４ｄ～ｋ）とが設けられているときの統合画像１０１ｂの構成例を示す。例えば、統合画像を構成する一つのフレーム内における画像の配置を、図４（ｃ）のような態様にしてもよい。

また、図４（ａ）～（ｃ）では、視聴希望視点画像４ａ及び複数の周辺視点画像４ｕ等は、統合画像の左上から右下に向かって図３に示した視点に応じた撮影装置の並びに沿って配置されているが、視聴者が指定する可能性の高さに応じて配置されてもよい。

視聴希望視点画像４ａ及び周辺視点画像４ｕ等との種類は、特に限定されず、静止画像であってもよいし、動画像であってもよい。多視点映像が動画像であるとき、１つの統合画像に配置される画像の時刻は、実質的に同じ時刻であることが好ましい。「実質的に同じ時刻」は、動画像のフレームレート（１秒間に見せる静止画の枚数）をｆとしたときに、統合画像に配置される複数の画像に含まれる任意の２つの画像の時刻の差が最大でも（２／ｆ）秒であることを示す。このように画像を配置することで、表示装置３が視聴希望視点画像から周辺視点画像に表示画像を切り替えて表示するときの切り替え前後の時刻は、実質的に同じ時刻となる。したがって、表示装置３は、多視点表示技術における画像切り替えを行う際に、視聴希望視点画像の時刻と同じ時刻の映像を統合画像から呼び出すシーク処理や視聴希望視点画像の時刻と同じ時刻の映像を配信装置２から呼び出す処理を行う必要がない。これにより、シーク処理等により生じる遅延を軽減できる。

図５は、統合画像テーブル２２１の一例である。図５に示す統合画像テーブル２２１は、統合画像を識別するＩＤと、視聴希望視点に関する視点データと、統合画像に含まれる画像の数を記憶する分割数と、視聴希望視点から見た統合画像と、を紐付けたデータが含まれている。視聴希望視点が撮影装置４Ａから見た視点であるときに対応する統合画像を記憶するＩＤ１の行には、ＩＤ「１」と、視点データ（撮影装置、視点のＸ座標、Ｙ座標、Ｚ座標、視点に対する撮影対象の方向、視点が撮影対象を撮影するときの仰角／伏角、視点が撮影対象を撮影するときの画角）と、分割数「９」と、視聴希望視点画像４ａ及び周辺視点画像４ｕ～４ｘ、４ｂ～４ｅを含む統合画像とを紐付けたデータが記憶されている。配信部２１２は、これらのＩＤ、視点データ、分割数のうち１つ以上を指定して、統合画像を取得できる。例えば、配信部２１２は、「撮影装置４Ａに対応する視点に相当する統合画像、かつ、９つの画像が含まれる統合画像」を指定して、ＩＤ１の行に記憶された統合画像を取得できる。

ＩＤ１０１の行及びＩＤ２０１の行に示すように、統合画像テーブル２２１は、構成する一つのフレームに、第１領域と、第１領域よりも面積が狭い第２領域とが設けられているときの統合画像を記憶してもよい。また、統合画像テーブル２２１は、ＩＤ１の行、ＩＤ１０１の行及びＩＤ２０１の行に示すように、同じ視聴希望視点に対応し、統合画像に含まれる画像の数が異なる複数の統合画像を記憶してもよい。統合画像テーブル２２１をこのように構成することで、配信部２１２は、配信に関する状況等に応じた適切な統合画像を選択して、配信できる。

［ステップＳ４：統合画像を配信］
図２に戻る。制御部２１は、記憶部２２及び通信部２３と協働して配信部２１２を実行し、ステップＳ３で取得した統合画像を表示装置３へ配信する（ステップＳ４）。制御部２１は、処理をステップＳ１に移し、ステップＳ１からＳ４を繰り返す。配信部２１２は、統合画像を表示装置３へ配信する前に、統合画像を画像配信に適したデータ形式に符号化するエンコード処理を行うことが好ましい。エンコード処理を行うことにより、配信装置２は、データ転送量の増大を防ぐことができる。配信部２１２がステップＳ３で取得した統合画像を表示装置３へ配信するため、配信された統合画像を受信した表示装置３は、視聴者が実際に指定した視点から見た視聴希望視点画像を、表示できる。

ステップＳ４において、配信部２１２は、統合画像内における複数の画像の配置を示す配置情報を表示装置３に配信することが好ましい。配置情報を配信することにより、仮に配信装置２が統合画像に配置された画像の数を配信に関する状況等に応じて選択したとしても、表示装置３は、配信された配置情報を受信し、さらに、視聴者が実際に指定した視聴希望視点から見た視聴希望視点画像を、配置情報を用いた内部処理で選択して表示できる。

ステップＳ４において、配信部２１２は、統合画像内における前記複数の画像のそれぞれと紐付けられた複数の視点を示す視点情報を表示装置３に配信することが好ましい。視点情報を配信することにより、仮に多視点映像が配信中に視点の座標等が変化するような多視点映像であったとしても、表示装置３は、配信された視点情報を受信し、さらに、視聴者が実際に指定した視聴希望視点から見た視聴希望視点画像を、視点情報を用いた内部処理で選択して表示できる。

配信装置２は、ステップＳ１からＳ４に係る手順で被指令視点から見た画像及び被指令視点周辺の複数の視点から見た２以上の画像を含む統合画像を配信するため、多視点映像の視点の数を増やすことと、データ転送量の増大を防ぐことと、画像の画質の低下を防ぐことと、視点を移動するときの画質の維持及び遅延の軽減とを同時に実現する画像配信装置及びプログラムを提供できる。

〔統合画像取得処理のフローチャート〕
図６は、本実施形態における配信装置２の処理のステップＳ３で実行される統合画像取得処理の手順を示すフローチャートの一例である。

［ステップＳ１１：視聴希望視点から見た画像を取得］
制御部２１は、記憶部２２と協働して生成部２１３を実行し、視聴希望視点から見た視聴希望視点画像を多視点映像テーブル２２２から取得する（ステップＳ１１）。制御部２１は、処理をステップＳ１２に移す。生成部２１３が視聴希望視点画像を取得することにより、配信装置２は、視聴希望視点画像を統合画像に配置できる。

図７は、多視点映像テーブル２２２の一例である。図７に示す多視点映像テーブル２２２は、画像を識別するＩＤと、視点に関する視点データと、当該視点から見た統合画像と、を紐付けたデータを記憶している。撮影装置４Ａから見た視点に相当する画像４ａを記憶するＩＤ１の行には、ＩＤ「１」と、撮影装置４Ａから見た視点に関する視点データ（撮影装置、視点のＸ座標、Ｙ座標、Ｚ座標、視点に対する撮影対象の方向、視点が撮影対象を撮影するときの仰角／伏角、視点が撮影対象を撮影するときの画角）と、画像４ａとを紐付けたデータが記憶されている。生成部２１３は、これらのＩＤ及び視点データのうち１つ以上を指定して、画像を取得できる。例えば、配信部２１２は、「撮影装置４Ａから見た視点から見た画像」を指定して、ＩＤ１の行に記憶された画像４ａを取得できる。

［ステップＳ１２：視聴希望視点の周辺に位置する周辺視点から見た画像を取得］
制御部２１は、記憶部２２と協働して生成部２１３を実行し、視聴希望視点の周辺に位置する複数の周辺視点から見た複数の周辺視点画像を多視点映像テーブル２２２から取得する（ステップＳ１２）。制御部２１は、処理をステップＳ１３に移す。生成部２１３が１又は複数の周辺視点画像を取得することにより、配信装置２は、周辺視点画像を統合画像に配置できる。

［ステップＳ１３：統合画像を生成］
図６に戻る。制御部２１は、記憶部２２と協働して生成部２１３を実行し、ステップＳ１１で取得された視聴希望視点画像と、ステップＳ１２で取得された周辺視点画像とを１つのフレーム内に統合した統合画像を生成し、統合画像テーブル２２１に記憶する（ステップＳ１３）。制御部２１は、処理をステップＳ１４に移す。

［ステップＳ１４：統合画像を取得］
制御部２１は、記憶部２２と協働して生成部２１３を実行し、ステップＳ１３で生成した統合画像を統合画像テーブル２２１から取得する（ステップＳ１４）。制御部２１は、統合画像取得処理を終了し、処理をステップＳ３に戻す。

〔画像表示処理のフローチャート〕
図８は、本実施形態における表示装置３で行われる画像表示処理の手順を示すフローチャートの一例である。以下では、図８を参照しながら、表示装置３が行う画像表示処理の好ましい手順について説明する。

［ステップＳ２１：統合画像を受信］
まず、制御部３１は、記憶部３２及び通信部３３と協働して統合画像受信部３１１を実行し、外部から統合画像を受信する（ステップＳ２１）。制御部３１は、処理をステップＳ２２に移す。統合画像を受信することにより、表示装置３は、統合画像を用いた多視点映像の出力を行える。

統合画像受信部３１１は、さらに、統合画像内における複数の画像の配置を示す配置情報を受信してもよい。配置情報を受信することにより、仮に配信装置２が統合画像に配置された画像の数を配信に関する状況等に応じて選択したとしても、表示装置３は、配信された配置情報を受信し、さらに、視聴者が実際に指定した視聴希望視点から見た視聴希望視点画像を、配置情報を用いた内部処理で選択して表示できる。

統合画像受信部３１１は、さらに、統合画像内における前記複数の画像のそれぞれと紐付けられた複数の視点を示す視点情報を受信してもよい。視点情報を受信することにより、仮に多視点映像が配信中に視点の座標等が変化するような多視点映像であったとしても、表示装置３は、配信された視点情報を受信し、さらに、視聴者が実際に指定した視聴希望視点から見た視聴希望視点画像を、視点情報を用いた内部処理で選択して表示できる。

［ステップＳ２２：視聴希望視点を指定する操作が行われたか否かを判定］
制御部３１は、記憶部３２、入力部３５と協働して視点指令部３１２を実行し、入力部３５を介して視聴希望視点（視聴希望視点）を指定する操作が行われたか否かを判定する（ステップＳ２２）。視聴希望視点（視聴希望視点）を指定する操作が行われたならば、制御部３１は、処理をステップＳ２３に移す。視聴希望視点（視聴希望視点）を指定する操作が行われていないならば、制御部３１は、処理をステップＳ２５に移す。

入力部３５を介して視聴希望視点を指定する操作は特に限定されず、マウスによって視聴希望視点を示すアイコンをクリックする、キーボードからキー入力を行う、タッチパネルによって視聴希望視点を示すアイコンをタップする等の周知の手法を用いた視聴希望視点を指定する操作を行える。視点指令部３１２が視聴希望視点を指定する操作が行われたか否かを判定することにより、表示装置３は、視聴希望視点を指定する操作が行われたときに、画像の表示に用いる視聴希望視点を変更し、配信装置２に指定情報を送信する一連の処理を行える。

［ステップＳ２３：視聴希望視点を変更］
制御部３１は、記憶部３２と協働して視点指令部３１２を実行し、ステップＳ２２で行われた操作に応じて、視聴希望視点を変更する（ステップＳ２３）。制御部３１は、処理をステップＳ２４に移す。視点指令部３１２がステップＳ２２で行われた操作に応じて視聴希望視点を変更することにより、表示装置３は、視聴者の操作に応じた新たな視聴希望視点から見た画像を表示できる。

［ステップＳ２４：指定情報を送信］
制御部３１は、記憶部３２と協働して視点指令部３１２を実行し、配信装置２へ視聴希望視点を指定する操作が行われたことを示す指定情報を送信する（ステップＳ２４）。制御部３１は、処理をステップＳ２５に移す。

指定情報は、同一シーンを撮影する異なる複数の視点から視聴希望視点を指定する操作が行われたことを示すものであれば、特に限定されない。指定情報は、視聴希望視点を指定する操作に関する情報を含む。指定情報に含まれる視聴希望視点を指定する操作に関する情報は、特に限定されず、指定された視聴希望視点を示すラベル、指定された視聴希望視点から見た画像を撮影する撮影装置を示すラベル、指定された視聴希望視点の座標等（座標及び／又は方向）等が挙げられる。表示装置３が配信装置２へ指定情報を送信するため、配信装置２は、視聴者が視聴希望視点を指定する操作を行ったことに応じて視聴希望視点を変更し、指定された視聴希望視点に相当する統合画像を配信できる。

［ステップＳ２５：視聴希望視点から見た画像を統合画像から取得］
制御部３１は、記憶部３２と協働して画像表示部３１３を実行し、ステップＳ２１で受信した統合画像に含まれる複数の画像の中から、視聴希望視点から見た視聴希望視点画像を選択して取得する内部処理を行う（ステップＳ２５）。制御部３１は、処理をステップＳ２６に移す。

統合画像に含まれる複数の画像の中から視聴希望視点から見た視聴希望視点画像を選択して取得する内部処理は特に限定されず、予め決定された所定の画像配置に基づいて統合画像から視聴希望視点画像を切り出す内部処理、受信した配置情報及び／又は視点情報を用いて統合画像から視聴希望視点画像を切り出す内部処理、が挙げられる。画像表示部３１３が視聴希望視点（視聴希望視点）から見た視聴希望視点画像を選択して取得する内部処理を行うことにより、表示装置３は、視聴希望視点画像を表示できる。

［ステップＳ２６：視聴希望視点から見た画像を表示］
制御部３１は、記憶部３２及び表示部３４と協働して画像表示部３１３を実行し、ステップＳ２５で取得した視聴希望視点画像を表示部３４に表示する（ステップＳ２６）。制御部３１は、処理をステップＳ１に戻し、ステップＳ２１からステップＳ２６を繰り返す。ステップＳ２５で取得した視聴希望視点画像を出力することにより、表示装置３は、視聴希望視点から見た画像を表示できる。ステップＳ２６において画像表示部３１３は、視聴希望視点画像の大きさを表示部３４に適した大きさに変更して、表示部３４に表示することが好ましい。画像表示部３１３が視聴希望視点画像の大きさを表示部３４に適した大きさに変更して表示部３４に表示することにより、画像表示部３１３は、表示部３４に表示する画像の大きさを一定に保ち、視聴体験の質をより一層向上できる。

ステップＳ２１からステップＳ２６に係る上述の手順で、表示装置３に、同一シーンを撮影する複数の視点からの複数画像を一つのフレーム内に統合した統合画像を外部から受信させる受信ステップと、統合画像に含まれる複数画像の中から、いずれかの画像を表示させる表示ステップと、複数の視点から視聴希望視点を指定する操作が行われたことを示す指定情報を外部に送信する視点指令ステップと、を実行させるため、多視点映像の視点の数を増やすことと、データ転送量の増大を防ぐことと、画像の画質の低下を防ぐことと、視点を変更するときの遅延の軽減とを同時に実現するプログラムを提供できる。

＜画像配信システムの使用例＞
続いて、本実施形態におけるシステム１の使用例を説明する。

本実施形態によると、配信装置２は、第１ネットワーク５Ａを介し、表示装置３と接続可能に構成されている。

〔画像の配信〕
利用者、管理者又は配信装置２で実行される他のプログラム等は、配信装置２に表示装置３への多視点映像の配信を指令する。配信装置２は、指定情報受信部２１１を実行し、表示装置３から指定情報を受信していれば視聴希望視点を変更する。配信装置２は、配信部２１２を実行し、同一シーンを視聴希望視点から見た視聴希望視点画像及び視聴希望視点の周辺の周辺視点から見た周辺視点画像を一つのフレーム内に配置した統合画像を統合画像テーブル２２１から取得し、取得した統合画像を表示装置３へ配信する。

〔画像の再生〕
表示装置３は、統合画像受信部３１１を実行し、配信装置２から統合画像を受信する（受信ステップ）。表示装置３は、視点指令部３１２を実行し、視聴希望視点を指定する操作が行われたか否かを判定し、視聴希望視点を指定する操作が行われていれば、視聴希望視点を変更し、配信装置２に指定情報を送信する（視点指令ステップ）。表示装置３は、画像表示部３１３を実行し、統合画像から視聴希望視点から見た視聴希望視点画像を取得し、表示部３４に表示する（表示ステップ）。

図９は、統合画像を用いた視点移動の概念図である。

図９の上方から下方に向けて複数示された行に相当し、破線の矩形で示される撮影装置４Ａ～４Ｆ及び撮影装置４Ｒ～４Ｘは、それぞれ、多視点映像に含まれる画像に対応する撮影装置を示す。黒丸とで示される表示装置３における視聴希望視点Ｖは、表示装置３における視聴希望視点を示す。黒丸及び折れ線によると、時間が図９の左から右に向かって進むにつれて視聴希望視点Ｖが移動していることが分かる。図９の左方から右方に向けて複数示された列に相当し、実線の矩形で示される統合画像１０１～１１０は、それぞれ、配信装置２が配信し、表示装置３が受信した統合画像に含まれる視聴希望視点画像及び複数の周辺視点画像に相当する視点を示す。以下、「撮影装置（符号）から見た視点」を、単に「視点（符号）」とも称する。例えば、「視点４Ａ」は「撮影装置４Ａから見た視点」を示す。

以下では、図９を用いて、本実施形態のシステム１による、視点を移動する際、視点移動の前後において画像の表示遅延を軽減できることについて説明する。

統合画像受信部３１１がステップＳ２１で統合画像１０１を受信したとき、統合画像１０１は、撮影装置４Ｕ～４Ｘ、４Ａ～４Ｅのそれぞれに対応する矩形と重なっている。これは、統合画像１０１が撮影装置４Ｕ～４Ｘ、４Ａ～４Ｅに対応する画像４ｕ～４ｘ、４ａ～４ｅを含んでいることを示す。また、統合画像１０１の矩形内において、視聴希望視点Ｖの黒丸は、撮影装置４Ａの矩形の内部にある。これは、視聴希望視点Ｖが、撮影装置４Ａから見た視点であることを表している。図９に示すように、統合画像１０１は、撮影装置４Ａから見た画像及び撮影装置４Ａ周辺に位置する撮影装置４Ｕ～４Ｘ及び４Ｂ～４Ｅから見た画像を含んでいる。視聴希望視点を指定する操作が行われなかったため、画像表示部３１３は、ステップＳ２５で視点４Ａから見た画像４ａを取得し、ステップＳ２６で取得した画像４ａを表示する。

統合画像受信部３１１がステップＳ２１で統合画像１０２を受信したとき、統合画像１０２は、統合画像１０１と同じ視点から見た画像を含んでいる。そして、ステップＳ２２で視聴希望視点を指定する操作が行われ、ステップＳ２３で視聴希望視点Ｖが視点４Ｘに変更される。ステップＳ２４で、視点指令部３１２は、視点４Ｘを指定する操作が行われたことを示す指定情報を、配信装置２へ送信する。視聴希望視点Ｖが視点４Ｘに変更されたため、ステップＳ２５で画像表示部３１３は、統合画像から、視点４Ｘから見た画像４ｘを取得する。そして、ステップＳ２６で画像表示部３１３は、画像４ｘを表示する。統合画像１０２は、視点４Ａから見た画像４ａ及び視点４Ａ周辺に位置する視点４Ｕ～４Ｘ、４Ｂ～４Ｅから見た画像４ｕ～４ｘ、４ｂ～４ｅを含むため、視聴希望視点が視点４Ｘに変更されても、視点４Ｘから見た画像４ｘを表示できる。視点４Ｘから見た画像４ｘは配信済の統合画像１０２に含まれているため、画像表示部３１３は、視点４Ｘから見た画像４ｘを遅延なく表示できる。

図９に示した例では、視聴希望視点Ｖの変更と、統合画像に含まれる視点の範囲の変更との間には時間差がある。視聴希望視点Ｖが初めて変更されるのは統合画像１０２に対応する箇所であるが、統合画像に含まれる視点の範囲が初めて変更されるのは統合画像１０４に対応する箇所である。すなわち、表示装置３は、視聴希望視点Ｖの変更に応じて配信された統合画像を利用できるようになるまでに遅延がある。しかし、統合画像のそれぞれは視聴希望視点から見た視聴希望視点画像と視聴希望視点周辺の周辺視点から見た周辺視点画像とを含むため、視聴希望視点Ｖが、視点４Ａ、４Ｘ、４Ｗ、４Ｖ、４Ｗ、４Ｘ、４Ａ、４Ｂと移動しても、これらの視点から見た画像のそれぞれは、対応する統合画像１０１～１１０に含まれており、表示装置３は、視点４Ａ、４Ｘ、４Ｗ、４Ｖ、４Ｗ、４Ｘ、４Ａ、４Ｂから見た画像を、遅延なく表示できる。すなわち、変更後の視聴希望視点に基づく統合画像を視聴者が利用できるようになるまでに遅延があっても、表示装置３は、視聴希望視点から見た画像を、遅延なく表示できる。

よって、本実施形態に記載のシステム１によれば、質の高い多視点映像を提供するにあたり、視点の数を増やすことと、データ転送量の増大防止、画像の画質低下防止、及び視点を変更するときの遅延軽減との互いに相反する要請を両立させることの可能な画像配信装置、画像生成装置及びプログラムを提供できる。

＜変形例＞
以下、本実施形態に記載の発明における種々の変形例を例示する。

〔変形例１〕 （画像配信装置の外部で統合画像を生成する処理を実行するデータ配信）
基本実施例のシステム１において、統合画像を生成する処理は、配信装置２が備える生成部２１３により実行されたが、本発明の統合画像を生成する処理は、配信装置２の外部で実行されてもよい。

図１０は、本変形例のシステム１の構成の一例を示すブロック図である。本変形例のシステム１は、画像配信処理等を行う配信装置２と、表示装置３と、撮影装置群４と、ネットワーク５と、統合画像を生成する処理等を行う画像生成装置６（以下、単に生成装置６とも称する）とを含む。

〔配信装置２〕
本変形例の配信装置２は、制御部２１と、記憶部２２と、通信部２３と、を含んで構成される。

［制御部２１］
本変形例の制御部２１のハードウェア構成は、基本実施例の制御部２１と同様である。制御部２１は、所定のプログラムを読み込み、必要に応じて記憶部２２及び／又は通信部２３と協働することで、配信装置２におけるソフトウェア構成の要素である、指定情報受信部２１１、配信部２１２等を実現する。

［記憶部２２］
本変形例の記憶部２２のハードウェア構成は、基本実施例の記憶部２２と同様である。記憶部２２には、マイクロコンピューターで実行される制御プログラム、統合画像テーブル２２１等が記憶されている。

［通信部２３］
本変形例の通信部２３のハードウェア構成は、基本実施例の通信部２３と同様である。

〔表示装置３〕
本変形例の表示装置３は、基本実施例の表示装置３と同様である。

〔撮影装置群４〕
本変形例の撮影装置群４は、基本実施例の撮影装置群４と同様である。

〔ネットワーク５〕
本変形例のネットワーク５は、基本実施例のネットワーク５と同様である。ネットワーク５Ａは、配信装置２と表示装置３とを接続する。ネットワーク５Ｂは、配信装置２と撮影装置群４及び生成装置６とを接続する。

〔生成装置６〕
本変形例の生成装置６は、制御部６１と、記憶部６２と、通信部６３と、を含んで構成される。

［制御部６１］
本変形例の制御部６１のハードウェア構成は、制御部２１と同様である。制御部６１は、所定のプログラムを読み込み、必要に応じて記憶部６２及び／又は通信部６３と協働することで、生成装置６におけるソフトウェア構成の要素である、生成部６１１等を実現する。

［記憶部６２］
本変形例の記憶部６２のハードウェア構成は、記憶部２２と同様である。記憶部６２には、マイクロコンピューターで実行される制御プログラム、統合画像テーブル６２１、多視点映像テーブル６２２等が記憶されている。

［通信部６３］
本変形例の通信部６３のハードウェア構成は、通信部２３と同様である。通信部６３は、生成装置６を配信装置２その他の機器と通信可能にするためのデバイスを有する。

〔画像配信処理の手順〕
本変形例の配信装置２が画像配信処理を行う手順は、制御部２１がステップＳ３においてステップＳ１１～Ｓ１３の処理を行うかわりに生成装置６に統合画像の生成を指令して生成装置６が生成した統合画像を統合画像テーブル２２１に記憶する一連の処理を行うことを除き、基本実施例の配信装置２と同様である。

〔統合画像を生成する処理の手順〕
本変形例の生成装置６は、図６に示したフローチャートと同様の手順で、統合画像を生成する。ただし、制御部２１が生成部２１３を実行して行う処理は、制御部６１が生成部６１１を実行して行う。記憶部２２に記憶された統合画像テーブル２２１、多視点映像テーブル２２２に関する処理は、記憶部６２に記憶された統合画像テーブル６２１、多視点映像テーブル６２２を用いて行う。通信部２３に関する処理は、通信部６３を用いて行う。ステップＳ１４の処理を行うかわりに、生成された統合画像を配信装置２に配信する処理を行う。

統合画像を生成する処理を配信装置２の外部にある生成装置６で実行することにより、制御部２１で実行される処理の量がより少なくなり、制御部２１は、画像配信に関する処理をより高速に実行できる。したがって、視点を移動するときの遅延が軽減され、視聴者の視聴体験がより一層向上する。

生成装置６は、予め統合画像を生成する処理を行って統合画像を生成することもできる。生成装置６が予め生成された統合画像を統合画像テーブル６２１に記憶すれば、生成装置６が統合画像テーブル６２１に記憶された統合画像を統合画像テーブル２２１に転送することで、配信装置２は、統合画像の取得に関する処理をより一層高速に実行できる。これにより、視点を移動するときの遅延が軽減され、視聴者の視聴体験がより一層向上する。統合画像テーブル６２２が記憶する統合画像を統合画像テーブル２２１に転送する手法は、特に限定されない。統合画像テーブル６２１が記憶する統合画像を統合画像テーブル２２１に転送する手法として、例えば、統合画像テーブル６２１が記憶する統合画像を、第２ネットワーク５Ｂを用いて配信装置２に配信する手法、統合画像テーブル６２１が記憶する統合画像を磁気記憶装置、光学メディア等の取り外しが容易な記憶媒体に記憶させ、この記憶媒体を生成装置６から取り外して配信装置２に取付け、統合画像テーブル２２１に転送する手法、等が挙げられる。

本変形例のシステム１は、統合画像を生成する処理を配信装置２の外部にある生成装置６で実行するため、制御部２１で実行される処理の量がより少なくなり、制御部２１は、画像配信に関する処理をより高速に実行できる。したがって、視点を移動するときの遅延が軽減され、視聴者の視聴体験がより一層向上する。また、本変形例の生成装置６は、予め統合画像を生成する処理を行って統合画像を生成することもできるため、統合画像の取得に関する処理をより一層高速に実行できる。これにより、視点を移動するときの遅延が軽減され、視聴者の視聴体験がより一層向上する。

〔変形例２〕 （撮影装置群が別体である画像配信システム）
基本実施例及び変形例１のシステム１は、撮影装置群４を含んでいたが、システム１は、撮影装置群４を含まないよう構成してもよい。本変形例のシステム１は、基本実施例のシステム１又は変形例１のシステム１と同様の構成を有するが、撮影装置群４を含まず、外部の撮影装置群が撮影した画像やコンピュータグラフィックス技術を用いて外部の装置で生成した画像を多視点映像テーブル２２２又は多視点映像テーブル６２２に転送して、統合画像を生成する。画像を多視点映像テーブル２２２（６２２）に転送する手段は、特に限定されない。画像は、各種のネットワークを介して転送されてもよく、磁気記憶装置、光学メディア等の取り外しが容易な記憶媒体を介して転送されてもよい。

以上、本発明の実施形態及び各種変形例について説明したが、本発明は上述したこれらの実施形態及び各種変形例に限るものではない。また、本発明の実施形態及び各種変形例に記載された効果は、本発明から生じる最も好適な効果を列挙したものに過ぎず、本発明による効果は、本発明の実施形態及び各種変形例に記載されたものに限定されるものではない。

また、上述した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。

１ 画像配信システム
２ 画像配信装置
２１ 制御部
２１１ 指定情報受信部
２１２ 配信部
２１３ 生成部
２２ 記憶部
２２１ 統合画像テーブル
２２２ 多視点映像テーブル
２３ 通信部
３ 画像表示装置
３１ 制御部
３１１ 統合画像受信部
３１２ 視点指令部
３１３ 画像表示部
３２ 記憶部
３３ 通信部
３４ 表示部
３５ 入力部
４ 撮影装置群
４Ａ～４Ｘ 撮影装置
４ａ～４ｘ 画像
５ ネットワーク
５Ａ 第１ネットワーク
５Ｂ 第２ネットワーク
６ 画像生成装置
６１ 制御部
６１１ 生成部
６２ 記憶部
６２１ 統合画像テーブル
６２２ 多視点映像テーブル
６３ 通信部
１０１～１１０、１０１ａ、１０１ｂ、１０１ｃ 統合画像
Ｔ 撮影対象
Ｖ 視聴希望視点

Claims (8)

1. 同一シーンを撮影する異なる複数の視点から所定視点を指定する操作が行われたことを示す指定情報を外部から受信する受信部と、
   前記所定視点から見た所定視点画像、及び前記複数の視点のうち前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を一つのフレーム内に統合した統合画像を前記外部に配信する配信部と、
   を備える画像配信装置。
2. 前記統合画像に含まれる前記所定視点画像及び前記１又は複数の周辺視点画像の解像度がそれぞれ等しい、請求項１に記載の画像配信装置。
3. 前記１又は複数の周辺視点画像のうち、いずれか１以上の前記周辺視点画像の解像度が前記所定視点画像の解像度よりも低く、
   前記一つのフレームには、画像を配置可能な１又は複数の第１領域と、画像を配置可能であって、前記第１領域よりも面積が小さい１又は複数の第２領域とが設けられており、
   少なくとも前記所定視点画像は、前記第１領域に配置されており、
   少なくとも前記所定視点画像よりも小さい解像度の前記周辺視点画像は、前記第２領域に配置されている、請求項１に記載の画像配信装置。
4. 前記所定視点画像に加え、前記所定視点画像と等しい解像度の前記周辺視点画像が前記第１領域にそれぞれ配置されている、請求項３に記載の画像配信装置。
5. 前記所定視点画像及び前記周辺視点画像は、実質的に同じ時刻に撮影された画像である、請求項１から４のいずれか１項に記載の画像配信装置。
6. 画像配信装置に、
   同一シーンを撮影する異なる複数の視点から所定視点を指定する操作が行われたことを示す指定情報を外部から受信させる受信ステップと、
   前記所定視点から見た所定視点画像、及び前記複数の視点のうち前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を一つのフレーム内に統合した統合画像を前記外部に配信させる配信ステップと、
   を実行させる、プログラム。
7. 同一シーンを撮影する異なる複数の視点から所定視点を指定する操作が行われたことを示す指定情報を外部から受信する受信部と、
   前記所定視点から見た所定視点画像、及び前記複数の視点のうち前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を一つのフレーム内に統合した統合画像を生成する生成部と、
   を備える画像生成装置。
8. 画像表示装置に、
   同一シーンを撮影する複数の視点からの複数画像を一つのフレーム内に統合した統合画像を前記外部から受信させる受信ステップと、
   前記統合画像に含まれる前記複数画像の中から、いずれかの画像を表示させる表示ステップと、
   前記複数の視点から所定視点を指定する操作が行われたことを示す指定情報を前記外部に送信する視点指令ステップと、
   を実行させ、
   前記視点指令ステップが実行されると、前記表示ステップでは、前記統合画像に含まれる前記複数画像の中から、前記所定視点から見た所定視点画像を前記画像表示装置の内部処理で選択して表示させ、
   前記視点指令ステップが実行された後に前記受信ステップで受信させる前記統合画像は、前記所定視点から見た所定視点画像、及び前記複数の視点のうち、前記所定視点の周辺に位置する周辺視点から見た１又は複数の周辺視点画像を一つのフレーム内に統合した画像である、
   プログラム。
   
   

Images