JP2019221001A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2019221001A JP2019221001A JP2019183276A JP2019183276A JP2019221001A JP 2019221001 A JP2019221001 A JP 2019221001A JP 2019183276 A JP2019183276 A JP 2019183276A JP 2019183276 A JP2019183276 A JP 2019183276A JP 2019221001 A JP2019221001 A JP 2019221001A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- time
- viewpoint content
- content
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims 3
- 239000000463 material Substances 0.000 claims abstract description 125
- 239000002994 raw material Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、コンテンツを生成するシステムに関する。 The present invention relates to a system for generating content.
それぞれ異なる位置に配置された複数のカメラによって被写体を多視点で同期撮影し、その撮影で得られた複数視点の画像を用いて自由視点コンテンツ（仮想視点コンテンツ）を生成する技術が注目されている。特許文献１には、複数視点の画像に基づいて自由視点コンテンツが生成されて保存されるシステムにおいて、映像受信装置が、生成した視点情報に基づく映像データを読み出すことによって、任意の自由視点コンテンツを取得する技術が記載されている。
Attention has been paid to a technique of synchronously photographing a subject from multiple viewpoints by a plurality of cameras arranged at different positions, and generating free viewpoint contents (virtual viewpoint contents) using images of the plurality of viewpoints obtained by the photographing. .
仮想視点コンテンツの生成は、１つ以上の被写体の三次元モデルを組み合わせて行うことができる。複数のカメラで撮影された被写体の三次元モデルを生成する方法は、非特許文献１に示される視体積交差法でありうる。視体積交差法は、複数のカメラで撮影される測定対象の空間が、小さな立方体又は直方体（以下では、「ボクセル」と呼ぶ。）によって分割される。そして、各ボクセルが幾何学的に変換されてカメラ画像に投影され、カメラ画像において、モデル化対象物体のシルエット内に、そのボクセルが投影されたか否かが判定される。そして、すべてのカメラ画像でシルエット内に投影されたと判定されたボクセルは、対象物体を構成するボクセルとして登録され、登録されたボクセルの集合体が三次元モデルとして出力される。
Generation of virtual viewpoint content can be performed by combining three or more three-dimensional models of one or more subjects. A method of generating a three-dimensional model of a subject captured by a plurality of cameras may be a volume intersection method described in Non-Patent
三次元モデルを用いた仮想視点コンテンツの生成では、三次元モデルを生成することができていることが前提となる。しかしながら、ある時点における仮想視点コンテンツを生成しようとした際に、一部の三次元モデルを生成できず、仮想視点コンテンツを生成することができない場合がありうる。この場合、三次元モデルの生成ができないことを判定するのに時間がかかり、仮想視点コンテンツを生成することができないことをユーザが認識できるまでに時間がかかってしまい、利便性が低下してしまうという課題があった。 Generation of virtual viewpoint content using a three-dimensional model is based on the premise that a three-dimensional model can be generated. However, when trying to generate virtual viewpoint content at a certain point in time, some 3D models may not be generated, and virtual viewpoint content may not be generated. In this case, it takes time to determine that the generation of the three-dimensional model cannot be performed, and it takes time until the user can recognize that the virtual viewpoint content cannot be generated, and the convenience is reduced. There was a problem.
本発明はかかる課題に鑑みてなされたものであり、コンテンツを生成／表示する際のユーザの利便性を向上させる技術を提供することを目的とする。 The present invention has been made in view of such a problem, and an object of the present invention is to provide a technique for improving user convenience when generating / displaying content.
本発明の一態様による情報処理装置は、仮想視点コンテンツの生成に用いられる素材データを記憶する所定の記憶部の記憶内容に関する記憶情報を取得する取得手段と、何れの時刻の前記仮想視点コンテンツを生成できるかを表す情報を、前記取得手段により取得された記憶情報に基づいて出力する出力手段とを有する。 An information processing apparatus according to one aspect of the present invention is an information processing apparatus, comprising: an acquisition unit configured to acquire storage information regarding storage content of a predetermined storage unit that stores material data used for generation of virtual viewpoint content; Output means for outputting information indicating whether or not it can be generated based on the storage information acquired by the acquisition means.
本発明によれば、コンテンツを生成／表示する際のユーザの利便性を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the user's convenience at the time of generating / displaying a content can be improved.
以下、図面を参照しながら、本発明の実施の形態について説明する。説明される各実施形態においては、複数の撮像装置（カメラ）によって撮像された複数の画像から１つ以上の被写体についての三次元モデルを生成し、その三次元モデルに基づいて自由視点コンテンツ（仮想視点コンテンツ）を生成するシステムについて説明する。複数のカメラによって撮像された画像からの三次元モデルの生成は、一般に、多くの計算量及び時間を要する。特に高解像度の三次元モデルを生成する場合、ボクセルの大きさを小さくする必要があり、それに伴ってボクセルの数が増加し、シルエット内に投影されるか否かの判定回数も増大する。このため、本実施形態では、三次元モデルやその三次元モデルの各ボクセルの色情報を保持したテクスチャデータ等を、素材データとして予め生成して保存する、画像処理サーバ等の素材データ生成装置を用いてシステムを構成するものとする。このようなシステムによれば、仮想視点コンテンツを生成する度に三次元モデルを生成する処理が行われるのを防ぎ、処理を効率化することができる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each described embodiment, a three-dimensional model of one or more subjects is generated from a plurality of images captured by a plurality of imaging devices (cameras), and a free viewpoint content (virtual) is generated based on the three-dimensional model. A system for generating viewpoint content will be described. Generating a three-dimensional model from images captured by a plurality of cameras generally requires a large amount of calculation and time. In particular, when generating a high-resolution three-dimensional model, it is necessary to reduce the size of the voxel, and accordingly, the number of voxels increases, and the number of determinations as to whether or not to be projected in a silhouette increases. For this reason, in the present embodiment, a material data generation device such as an image processing server that generates and stores, in advance, material data such as texture data holding color information of a three-dimensional model and each voxel of the three-dimensional model is stored. It is assumed that the system is configured by using them. According to such a system, it is possible to prevent a process of generating a three-dimensional model from being performed every time virtual viewpoint content is generated, and to improve the efficiency of the process.
なお、例えばライブ配信用に比較的処理時間の短い低解像度の三次元モデルが生成され、ハイライトシーンのリプレイ映像等のために高解像度の三次元モデルが生成されるなど、用途に合わせて複数段階の解像度の三次元データが生成されうる。このとき、素材データの１つであるテクスチャも、高解像度用と低解像度用とのそれぞれに対して生成されうる。また、例えば、ポリゴンデータが生成されてもよい。すなわち、同一の被写体に対して、複数の異なる素材データが生成されうる。 For example, a low-resolution three-dimensional model with a relatively short processing time is generated for live distribution, and a high-resolution three-dimensional model is generated for a replay video of a highlight scene. Three-dimensional data of different resolutions may be generated. At this time, a texture, which is one of the material data, can be generated for each of the high resolution and the low resolution. Further, for example, polygon data may be generated. That is, a plurality of different material data can be generated for the same subject.
このシステムでは、例えば、素材データから仮想視点コンテンツを生成する映像生成装置が、仮想視点コンテンツを生成する際に、予め生成されて保存されている素材データを素材データ生成装置から取得して、映像生成を行うことができる。このとき、映像生成装置は、仮想視点コンテンツを生成するのに必要な素材データが存在するか否かを事前に知ることはできない。例えば、三次元モデルは、撮像装置によって撮像された画像の質や撮像装置の稼働状況等によっては、生成が困難となる場合がありうる。すなわち、ある時点において特定の被写体についての素材データが存在しない場合がありうる。また、上述のように、同一の被写体に対して複数の異なる素材データが生成される場合、素材データごとに、生成が完了して保存されるまでの時間が異なる。すなわち、ユーザが要求した時点において、一部の素材データの生成が完了していない場合がありうる。また、サッカーのハーフタイム等では、全て又は多数の撮像装置が撮像を停止し、その時間範囲においては、素材データが全く保存されていないこともありうる。 In this system, for example, when generating a virtual viewpoint content from a material data, a video generation device obtains previously generated and stored material data from the material data generation device when generating the virtual viewpoint content, and Generation can be performed. At this time, the video generation device cannot know in advance whether or not there is material data necessary for generating the virtual viewpoint content. For example, it may be difficult to generate a three-dimensional model depending on the quality of an image captured by the imaging device, the operating status of the imaging device, and the like. That is, there may be a case where material data for a specific subject does not exist at a certain time. Further, as described above, when a plurality of different material data are generated for the same subject, the time from the completion of the generation to the storage of the different material data differs for each material data. That is, at the time when the user requests, the generation of some material data may not be completed. Further, in a soccer half time or the like, all or a large number of imaging devices stop imaging, and material data may not be stored at all in the time range.
このため、映像生成装置は、ユーザに指定された時間における仮想視点コンテンツを生成する際に、その指定時間において必要な各素材データが保存されているかを素材データ生成装置に問い合わせながら、仮想視点コンテンツを生成することとなりうる。なお、指定時間において必要な素材データの一部が保存されていない場合、その指定時間では仮想視点コンテンツを生成することができない。すなわち、ユーザによって時間が指定された後に、その指定時間においては仮想視点コンテンツを生成することができないことをそのユーザに通知することとなるため、ユーザにとっての利便性が良くない場合がありうる。 For this reason, when generating the virtual viewpoint content at the time designated by the user, the video generation device queries the material data generation device as to whether the necessary material data is stored at the designated time. Can be generated. If part of the necessary material data is not stored at the designated time, the virtual viewpoint content cannot be generated at the designated time. That is, after the time is specified by the user, the user is notified that the virtual viewpoint content cannot be generated at the specified time, which may not be convenient for the user.
このため、本実施形態に係るシステムでは、素材データが利用可能な時間に関する情報を生成し、ユーザが仮想視点コンテンツを生成する際に、その仮想視点コンテンツを生成するのに必要な素材データの集合を利用可能な期間の情報を映像生成装置に通知する。これによれば、ユーザは、仮想視点コンテンツを生成することができる時間区間を明確に認識することができるため、時刻を指定して、その時刻における素材データが存在するかを都度確認する必要がなくなる。なお、以下では、このような処理を実行するシステム及び処理の詳細について、競技場（スタジアム）における競技の様子を撮像してライブ配信やリプレイ用の仮想視点映像の生成などに供する場合の例について説明する。ただし、これに限られず、例えばコンサート会場、相撲などの格闘技、撮影スタジオにおいて撮像された画像に基づく仮想視点映像の生成が行われてもよい。なお、以下で説明する態様は一例に過ぎず、本発明の思想の範囲内で、同様の処理を実行可能な任意の構成及び手順が用いられうる。 For this reason, in the system according to the present embodiment, information on the time when the material data is available is generated, and when the user generates the virtual viewpoint content, a set of material data necessary for generating the virtual viewpoint content is generated. Is notified to the video generation apparatus. According to this, since the user can clearly recognize the time section in which the virtual viewpoint content can be generated, it is necessary to specify the time and confirm whether the material data at that time exists every time. Gone. In the following, a system for executing such processing and details of the processing will be described with respect to an example of a case where an image of a competition in a stadium (stadium) is captured and provided for live distribution, generation of a virtual viewpoint video for replay, and the like. explain. However, the present invention is not limited to this. For example, martial arts such as a concert hall, sumo, and the like, and generation of a virtual viewpoint video based on an image captured in a shooting studio may be performed. The embodiment described below is merely an example, and any configuration and procedure capable of executing the same processing may be used within the scope of the concept of the present invention.
（システム構成）
本実施形態に係るシステムの構成例を図１に示す。本システムは、例えば、撮像部１、同期部２、素材データ生成部３、保存部４、時間情報管理部５、映像生成部６、映像出力部７、データ群選択部８、及び、操作部１０を含んで構成される。なお、本システムは、１つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。
(System configuration)
FIG. 1 shows a configuration example of a system according to the present embodiment. The system includes, for example, an
本システムでは、複数の撮像部１が、同期部２による同期信号に基づいて互いに高精度に同期して撮像を行う。なお、複数の撮像部１は、図２に示すように、グラウンドや被写体を囲むように設置されうる。撮像部１のそれぞれは、撮像した画像を、素材データ生成部３へと送信する。素材データ生成部３は、撮像部１から受信された複数視点からの撮像画像を用いて、仮想視点映像を生成する際に用いられる素材データを生成して、保存部４に出力する。このとき、素材データ生成部３は、素材データの生成に使用した撮像画像の撮像時刻に基づく時間情報を、素材データと共に保存部４へ出力する。なお、時間情報は、時刻に関するものでありうるが、例えばフレーム番号などの時間に関連する任意の情報でありうる。
In the present system, a plurality of
素材データは、例えば、被写体の三次元形状を示すボクセルデータである被写体三次元モデルと、被写体三次元モデルの各ボクセルに着色するための被写体テクスチャとのいずれか又は両方を含む。また、素材データは、被写体以外の背景を投影するためのポリゴンデータである背景三次元モデルと、背景三次元モデルのポリゴンに張り付ける背景テクスチャ画像とのいずれか又は両方を含みうる。さらに、素材データは、データ転送量を少なくするための被写体ポリゴンモデルと、それに張り付けるための被写体ポリゴン用テクスチャとの少なくともいずれかを含みうる。また、素材データは、選手の移動の解析などに用いることができる被写***置情報を含みうる。なお、素材データの三次元モデルは、例えば視体積交差法を用いて生成されうるが、これ以外の方法が用いられてもよく、他の任意の方法によって三次元モデルが生成されてもよい。また、他の素材データについても、任意の方法によって生成されうる。 The material data includes, for example, one or both of a subject three-dimensional model, which is voxel data indicating the three-dimensional shape of the subject, and a subject texture for coloring each voxel of the subject three-dimensional model. The material data may include one or both of a background three-dimensional model, which is polygon data for projecting a background other than the subject, and a background texture image attached to a polygon of the background three-dimensional model. Further, the material data may include at least one of a subject polygon model for reducing a data transfer amount and a subject polygon texture to be attached to the subject polygon model. In addition, the material data may include subject position information that can be used for analysis of a player's movement and the like. Note that the three-dimensional model of the material data can be generated using, for example, the volume intersection method, but other methods may be used, and the three-dimensional model may be generated by another arbitrary method. Further, other material data can be generated by an arbitrary method.
保存部４は、素材データ生成部３から取得した１つ以上の種別情報の素材データを、時間情報と対応付けて保存する。このように各種素材データと時間情報とを対応付けて保存することで、保存部４は、時間情報と素材データの種別情報とに基づいて、対応する素材データを特定して読み出すことができる。保存部４は、保存が完了した素材データの種別情報と時間情報とを時間情報管理部５へ出力する。
The
時間情報管理部５は、保存部４から取得した素材データの種別情報と時間情報とに基づいて、時間範囲管理情報の生成又は更新を行う。時間範囲管理情報は、素材データの種別ごとに、保存部４に連続して保存されている時間範囲を記録する。この時間範囲は、保存部４から取得した時間情報に基づいて、素材データが連続して保存されている時間範囲の開始時間と終了時間の組み合わせとして定められうる。例えば、時間情報管理部５は、それまでに保存されていない素材データが新規に保存された場合は、その素材データに対応する時間情報を開始時間及び終了時間として保存する。また、時間情報管理部５は、既に保存されている素材データについて、そのデータに対応する時間情報が示す時刻から所定期間内の新たな時刻に対応する新たなデータが保存された場合、その素材データの終了時間を更新し、時間範囲を拡大する。そして、時間情報管理部５は、既に保存されている素材データについて、その素材データの時間情報が示す時刻から所定期間が経過すると、その素材データについての時間範囲の情報の更新を終了する。したがって、時間情報管理部５は、既に保存されている素材データについて、最新の終了時間から所定期間以上の期間が経過した時刻を示す時間情報と共に新たなデータが保存された場合、その時刻を開始時刻として、新たな時間範囲の情報を生成する。なお、この場合、１種類の素材データに対して、複数の時間範囲を特定する時間範囲管理情報が生成されることとなる。なお、ここでの所定期間は、例えば１フレーム分の期間でありうるが、例えばそれ以上の期間など、任意の期間でありうる。
The time
映像生成部６は、接続された操作部１０からの指示に基づいて、保存部４から素材データを取得して、仮想視点映像を生成する。生成された仮想視点映像は、例えば、操作部１０の表示部１１および映像出力部７に出力され、表示される。
The
操作部１０は、例えば、タッチパネルや、ボタン・キーボード等とディスプレイとの組み合わせ等、ユーザからの入力の受付を行い、ユーザへの情報の提示を行うための、ユーザインタフェースを提供する。操作部１０は、例えば、その機能として、表示部１１、映像種別選択部１２、及び時間指示部１３を含んで構成される。操作部１０は、例えば図３に示すような画面を表示して、ユーザ操作の受付を行う。図３において、表示部１１は、生成された仮想視点映像を表示する。映像種別選択部１２は、出力する仮想視点映像の映像種別を選択する。時間指示部１３は、生成する仮想視点映像の時間を指定する。映像種別選択部１２では、例えば、「ライブ配信」、「低画質リプレイ」、「高画質リプレイ」、「携帯端末用」、「選手位置解析」等の種別の選択の受付を行う。ここで、「ライブ配信」は、画質が低いことが許容される即時配信用の仮想視点映像を生成する場合に選択される。「低画質リプレイ」は、ライブ配信と同等の画質でリプレイ再生を行うための仮想視点映像を生成する場合に選択される。「ライブ配信」と「低画質リプレイ」では、仮想視点映像の生成のために低解像度の三次元モデルが用いられる。「高画質リプレイ」は、ハイライトシーンのリプレイなど、繰り返し視聴されることを前提とした高画質な仮想視点映像を生成する場合に選択される。「高画質リプレイ」では、仮想視点映像の生成のために低解像度の三次元モデルが用いられる。「携帯端末用」は、データ量が少ない仮想視点映像を生成する場合に選択される。「携帯端末用」では、例えばボクセルではなくポリゴン等の三次元モデルを用いて仮想視点映像が生成される。「選手位置解析」は、例えばフィールド上で選手たちがどのように移動しているのかを確認する際に選択される。「選手位置解析」では、位置情報だけが用いられ、被写体である選手の三次元モデルは用いられない。選択された映像種別の情報は、例えば映像生成部６を介して、データ群選択部８へ入力される。
The
データ群選択部８は、入力された映像種別に基づいて、その映像種別の仮想視点映像生成に必要な素材データの組み合わせであるデータ群を選択する。例えば、上述の映像種別ごとに選択されるデータ群を、図４に示す表のような組み合わせでありうる。例えば、「高画質リプレイ」が選択された場合、対応するデータ群として、高解像度の被写体三次元モデル、高解像度の被写体テクスチャ、背景三次元モデル、及び高解像度の背景テクスチャが選択される。また「選手位置解析」が選択された場合は、選手の配置・動きのみを特定可能であれば足りるため、対応するデータ群として被写***置情報と背景三次元モデルとが選択される。データ群選択部８は、選択したデータ群を映像生成部６に通知する。そして、映像生成部６は、通知されたデータ群に基づいて、保存部４にそのデータ群がすべて保存されている時間範囲を示す有効時間範囲２０を、時間情報管理部５に問い合わせる。
The data
時間情報管理部５は、図５に示すように、保存部４に保存されている素材データのそれぞれについての時間範囲を特定する時間範囲管理情報を管理している。時間情報管理部５は、映像生成部６からデータ群を指定した問い合わせを受信すると、その指定されたデータ群の全てが保存されている時間範囲を特定して、操作部１０へ返信する。
As shown in FIG. 5, the time
時間情報管理部５は、例えば映像種別が高画質用データ群の場合、高解像度の被写体三次元モデル、高解像度の被写体テクスチャ、背景三次元モデル、及び高解像度の背景テクスチャの全てが保存されている時間範囲を特定する。すなわち、この場合、時間情報管理部５は、高画質用データ群の時間範囲の論理積である時間範囲２０ｈを特定する。また、時間情報管理部５は、映像種別が選手位置解析用データ群であった場合、選手位置情報が保存されている時間範囲に対応する時間範囲２０ｐを特定する。また映像種別がライブ配信である場合、図５に示すように、必要なデータ群がそろっている時間である最新時間情報２１を、有効時間範囲２０として特定する。
For example, when the video type is a data group for high image quality, the time
特定された有効時間範囲２０は、映像生成部６を介して操作部１０に通知され、時間指示部１３にその情報が表示される。なお、時間範囲２０ｈや時間範囲２０ｐのように、複数の時間範囲が有効時間範囲として特定された場合、その複数の時間範囲の全て又は一部（例えば所定数の時間範囲）が、操作部１０に通知される。
The specified effective time range 20 is notified to the
仮想視点を生成する映像の時間を有効時間範囲２０の範囲内でユーザが指定すると、その指定時間が映像生成部６に伝えられる。このとき、描画すべき仮想視点の視点位置・姿勢およびその画角などの視点情報が３Ｄマウスを用いて決定され、その視点情報も映像生成部６に伝えられる。なお、３Ｄマウスを用いる必要はなく、例えばＧＵＩを通じた操作や、専用の操作部による操作を受け付けることによって、視点情報が決定されてもよい。映像生成部６は、得られた指定時間と予め設定されているデータ種別群とに基づいて、保存部４に対して必要な素材データを要求して取得する。このとき、有効時間範囲２０の情報に基づいて、映像生成部６が要求する指定時間におけるデータ群が保存部４に保存されていることが事前に確認できている。このため、映像生成部６は、データの有無の確認を行うことなく、確実に対象のデータを取得することができる。映像生成部６は、得られた素材データと視点情報とに基づいて、仮想視点映像を生成し、その仮想視点映像を操作部１０の表示部１１および映像出力部７に出力する。
When the user specifies the time of the video for generating the virtual viewpoint within the effective time range 20, the specified time is transmitted to the
このような構成により、保存部４に保存されている素材データを用いて適切な仮想視点映像が生成可能な時間範囲の情報をユーザに通知することができる。そして、ユーザは、通知された時間範囲の中から仮想視点映像を生成したい時間を指定することができるため、指定した時間において仮想視点映像を生成することができないことがなくなる。これにより、仮想視点映像の生成／表示の際のユーザの利便性を向上させることができる。
With such a configuration, the user can be notified of information on a time range in which an appropriate virtual viewpoint video can be generated using the material data stored in the
（有効時間範囲の表示と映像再生制御の例）
続いて、時間指示部１３が有効時間範囲２０を表示し、ユーザによる時刻指定を受け付ける手法の例について説明する。時間指示部１３は、一例として、図６（ａ）〜図６（ｂ）のように、バー状のグラフィカルインターフェース（ＧＵＩ）であるシークバー１３ａを用いて、有効時間範囲２０を表示する。ここでは例として第１の有効時間範囲２０ａと第２の有効時間範囲２０ｂの２つの有効時間範囲が表示される場合の例を示す。なお、ここで説明する例は一例に過ぎず、有効時間範囲とそれ以外の時間範囲とが識別可能に、かつ有効時間範囲内の任意の時刻を特定可能な任意の表示手法が用いられうる。例えば、物理的なジョグダイヤル等を用いて時刻をカウンタ値で指定する等の構成が用いられてもよい。この場合、有効時間範囲の表示は、開始時刻と終了時刻とにより１つの時間範囲を示すデータのリストなどであってもよい。
(Example of valid time range display and video playback control)
Next, an example of a method in which the
図６（ａ）の例では、時間指示部１３は、１つのシークバー１３ａ内に、取得した２つの有効時間範囲２０ａ及び２０ｂを、シークバー１３ａの一部の色を変えて有効な範囲として表示する。この場合、シークバー１３ａの全範囲は想定されるコンテンツ全体の長さに対応し、サッカーなどのスポーツの場合、試合開始から試合終了の時間範囲がシークバー１３ａの全体によって表示される。
In the example of FIG. 6A, the
図６（ｂ）の例では、時間指示部１３は、所望の仮想視点映像を生成できない時間範囲を、実際の時間範囲の長さに対応する長さよりも短く表示する。なお、図６（ｂ）の例では、第１の有効時間範囲２０ａと第２の有効時間範囲２０ｂとの間の期間が表示されているが、この期間については必ずしも表示されなくてもよい。このとき、図６（ｂ）に示すように、有効時間範囲２０の開始時間と終了時間とを示す数値が、シークバー１３ａに表示されてもよい。
In the example of FIG. 6B, the
なお、図６（ａ）の例は、コンテンツ全体の時間範囲と、その時間範囲のうちの有効時間範囲２０の割合や現在の再生位置とをユーザに認識させやすい点で有用である。一方、例えば有効時間範囲２０のコンテンツ全体の時間範囲に対する比率が少ない場合は、図６（ｂ）の例のような表示が行われることにより、ユーザの操作を容易にすることができる点で有用である。このように、それぞれの表示手法が異なる利点を有するため、これらの２つの表示方式を切替可能に構成し、時間指示部１３は、これらの表示方式のうちのいずれを用いるかのユーザによる選択を受け付けるようにしてもよい。また、時間指示部１３は、例えば、コンテンツ全体の時間範囲の長さに対する有効時間範囲２０の割合等のパラメータに基づいて、いずれの表示方式を用いるかの選択を自動的に実行してもよい。
The example of FIG. 6A is useful in that the user can easily recognize the time range of the entire content, the ratio of the effective time range 20 in the time range, and the current playback position. On the other hand, for example, when the ratio of the effective time range 20 to the entire content time range is small, the display as shown in the example of FIG. 6B is performed, which is useful in that the user operation can be facilitated. It is. As described above, since each display method has a different advantage, these two display methods are configured to be switchable, and the
ユーザは、時間指示部１３が表示した有効時間範囲２０ａ及び２０ｂのうちのいずれかの位置にカーソル１４を移動させることにより、その位置に対応する時刻を、仮想視点映像を生成・表示させる時刻として指定することができる。映像生成部６は、その指定された時刻に対応する素材データを保存部４から取得して、仮想視点映像を生成し、映像出力部７及び操作部１０へ出力する。なお、カーソル１４は、時刻指定の際に、シークバー１３ａ上の有効時間範囲２０ａ及び２０ｂにおいてのみ移動可能なように、すなわち、有効時間範囲以外の時間を選択できないように構成されうる。このような構成が行われた場合の例について、図６（ｃ）を用いて説明する。図６（ｃ）には、ポインタ１５によってシークバー１３ａ上のカーソル１４をドラッグして移動させるインターフェースが用いられる例を示している。図６（ｃ）に示すように、ユーザは、カーソル１４をドラッグしながら、第１の有効時間範囲２０ａ内の位置１５ａや１５ｂにポインタ１５を移動させることによって、カーソル１４を位置１４ａや１４ｂに移動させることができる。一方、ユーザがカーソル１４をドラッグしたままポインタ１５を位置１５ｃに移動させたとしても、第１の有効時間範囲２０ａの終了時間である位置１４ｃにカーソル１４が固定される。すなわち、時間指示部１３は、第１の有効時間範囲２０ａの外にカーソル１４を移動させることを許容しない。一方、ユーザが、カーソル１４をドラッグしたまま、第２の有効時間範囲２０ｂ内又は第２の有効時間範囲２０ｂから所定の範囲内の位置１５ｄにポインタ１５を移動させた場合、カーソル１４が第２の有効時間範囲２０ｂの開始時間１４ｄに移動させられる。このように、カーソル１４を第１の有効時間範囲２０ａと第２の有効時間範囲２０ｂとの間の時間範囲に移動させることを防ぐことにより、仮想視点映像を生成することができない時刻が選択されることを防ぐことができる。なお、時間指示部１３は、有効時間範囲２０ではない部分を選択又は指定できるように構成されてもよい。また、有効時間範囲以外の時間をユーザが指定できないようにする構成に代えて、有効時間範囲以外の時間をユーザが指定しても、その指定を無効にする構成を採用してもよい。
The user moves the
ユーザが有効時間範囲２０内の１つの時刻を指定した場合、映像生成部６は、その指定時刻についてのみ仮想視点映像を生成してもよいが、その指定時刻以降の連続するフレームにおいて仮想視点映像を生成して、再生するようにしてもよい。このとき、有効時間範囲２０ａ内の時刻からの連続したフレームでの再生が開始された場合、有効時間範囲２０ａの終了後にそのまま再生が継続されると、有効時間範囲２０ｂとの間の有効時間範囲外の時間範囲においても再生が継続されてしまいうる。このため、ある有効時間範囲（第１の有効時間範囲２０ａ）の終了時間まで映像生成および再生が完了した場合に、次の有効時間範囲（第２の有効時間範囲２０ｂ）の開始時間から継続して仮想視点映像の生成および再生を行うようにすることができる。これによれば、仮想視点映像の生成と出力を止めることがなくなるため、ユーザに対して操作を要求することなく、連続した仮想視点映像の視聴が可能となる。また、複数の有効時間範囲を跨いで仮想視点映像の再生が行われる場合、図７（ａ）に示すように、有効時間範囲の切り替えの際に再生対象の仮想視点映像が不連続な時間に関するものであることを示すための表示画面２２が挿入されるようにしうる。または、図７（ｂ）に示すように、切り替え後の有効時間範囲の再生開始時に、再生対象の仮想視点映像が不連続な時間に関するものであることを示す情報２３が重畳表示されるようにしてもよい。これらにより、再生されているフレームが、それまでに再生されていたフレームと不連続な時間に関するものであることをユーザに示すことができる。なお、複数の有効時間範囲のうちの最後の有効時間範囲の終了時間まで再生が完了した場合は、その時点で再生が停止されうる。なお、繰り返し再生の設定を設けておき、その設定が選択されたことに応じて最初の有効時間範囲の開始時間から再度再生が開始されてもよい。
When the user designates one time within the valid time range 20, the
また、例えば「ライブ配信」が選択された場合など、リアルタイムの映像を生成すべき場合は、映像生成部６は、最新時間情報２１を取得し、その最新時間情報２１に対応する時刻の素材データを保存部４から取得して、仮想視点映像を生成することができる。なお、この場合、時間指示部１３に最新時間情報２１によって示される時刻は必ずしも表示されなくてもよい。また、ライブ配信等の場合は、最新時刻の映像のみがあればよく、時刻情報は明示される必要はない。例えば、映像生成部６は、映像種別としてライブ配信等の種別が選択された場合に、特定の時刻を指定せずに「最新時刻」のデータ群の取得要求を時間情報管理部５に対して行う。時間情報管理部５は、要求されたデータ群が既に保存されている最新の時刻を特定し、その時刻におけるデータ群を保存部４から読み出して、映像生成部６へ伝える。なお、時間情報管理部５は、保存部４からデータ群を読み出さずに、映像生成部６へデータ群を送信するように保存部４に対して指示を送信してもよい。映像生成部６は、得られた素材データ群を用いて仮想視点映像を生成する。このとき、映像生成部６は、最新時刻の情報を明示的に取得する必要はないが、例えば操作部１０の表示部１１などに時刻情報を表示したい場合には、素材データ群と共に時刻情報を取得するように構成されてもよい。
When real-time video is to be generated, for example, when “live distribution” is selected, the
（変形例）
上述の構成及び処理は一例に過ぎず、様々な態様の装置構成が用いられてもよく、また、同様の処理が異なる手順や表示内容をもって行われてもよい。また、図１に示される１つの機能ブロックが複数の電子機器によって分担されて実現されてもよいし、１つ以上の機能ブロックが１つの電子機器によって実現されるように構成されてもよい。例えば、図１では素材データ生成部３と保存部４とが独立した機能ブロックとして示されているが、これらは１つの同じ処理装置の内部に含まれていてもよく、これらの機能部と映像生成部６を１つの装置内に含めて仮想視点映像配信サーバ等の装置としてもよい。なお、本システムに係る機能ブロックの少なくとも一部が、ＣＰＵやＭＰＵ等のプロセッサによってＲＯＭやＲＡＭ等のメモリに記憶されたプログラムが実行されることによって実現されうる。例えば、操作部１０は、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等におけるプロセッサにおいて所定のアプリケーションプログラムを実行させて表示させる、グラフィカルユーザインタフェース（ＧＵＩ）によって実現されうる。また、映像生成部６と操作部１０とが、ＰＣ、タブレット、および／またはスマートフォンなどにおけるプロセッサで、アプリケーションプログラムが実行されることによって実現されてもよい。
(Modification)
The above-described configuration and processing are merely examples, and various types of apparatus configurations may be used, and similar processing may be performed with different procedures and display contents. Further, one functional block shown in FIG. 1 may be realized by being shared by a plurality of electronic devices, or one or more functional blocks may be realized by one electronic device. For example, in FIG. 1, the material
また、図１のシステムでは、撮像部１による撮像から、操作部１０による操作の下での映像生成部６による仮想視点コンテンツの生成までの一連の処理が一括して行われるシステムの構成例が示されているが、これに限られない。例えば、撮像及び素材データの保存及び時間範囲管理情報の生成までが行われるシステムと、仮想視点映像の生成が行われるシステムとが別個に用意されてもよい。すなわち、仮想視点映像の生成時には、素材データや時間範囲管理情報が保存されていると共にそれらの情報を提供可能な情報提供装置が存在すれば足り、システム内にこれらの情報を生成する機構が存在しなくてもよい。
Further, in the system of FIG. 1, there is an example of a system configuration in which a series of processes from imaging by the
なお、上述の説明では、時間情報管理部５は、保存部４に素材データが保存された際に、時間範囲管理情報を生成又は更新するとしたが、時間範囲管理情報は必ずしも生成されなくてもよい。例えば、時間情報管理部５は、映像生成部６から有効時間範囲の問い合わせを受信する度に、保存部４に保存されている素材データの時間情報を抽出して、有効時間範囲に関する情報を生成して映像生成部６へ送信するようにしてもよい。これによれば、その時点で保存されている素材データに基づいて正確な時間情報を抽出することができる。また、時間情報管理部５は、映像生成部６からの有効時間範囲の問い合わせを受信したことに応じて、その問い合わせで指定された映像種別の仮想視点映像を生成するための素材データ群に関する有効時間範囲を特定するとしたが、これに限られない。例えば、時間情報管理部５は、複数のデータ群のそれぞれについての有効時間範囲のデータを予め生成しておき、映像生成部６からの問い合わせに応答して、対応する種別に関して予め生成された有効時間範囲の情報を映像生成部６へと送信しうる。また、時間情報管理部５は、各素材データについての時間範囲管理情報を生成せずに、種別ごとの素材データ群に含まれるデータの全てが保存されている時間範囲を時間範囲管理情報として生成してもよい。また、時間情報管理部５は、これ以外の形式で時間範囲管理情報を生成してもよい。また、時間情報管理部５は、指定された素材データ群についての時間範囲管理情報で示される時間範囲の論理積を有効時間範囲２０として映像生成部６へ通知するとしたが、必ずしもこれに限られない。例えば、時間情報管理部５は、素材データごとの時間範囲管理情報を映像生成部６へと送信し、映像生成部６または操作部１０が、その情報が示す時間範囲の論理積を計算し、その計算結果を有効時間範囲として特定しうる。また、映像生成部６または操作部１０は、複数の映像種別のそれぞれについての複数の有効時間範囲を特定し、操作部１０の時間指示部１３にその複数の有効時間範囲を並列表示する等の処理を実行してもよい。また、操作部１０は、映像生成部６を介して時間範囲管理情報を取得するが、時間情報管理部５からこの時間範囲管理情報を直接取得してもよい。
In the above description, the time
また、上述の説明では、操作部１０が映像種別選択部１２を含み、映像種別選択部１２において映像種別の選択が行われるとしたが、必ずしもこのような構成でなくてもよい。例えば、映像生成部６および／または操作部１０の種別や性能によって、映像種別が自動的に決定されてもよいし、例えば、操作部１０を操作するユーザの権限に基づいて映像種別が自動的に選択されるようにシステムが構成されてもよい。なお、映像生成部６の種別や性能等によって映像種別が決定される場合には、データ群選択部８は存在しなくてもよい。例えば、映像生成部６は、固定のデータの組み合わせの情報を保持しておくことにより、データ群選択部８に対する問い合わせを行う必要がなくなる。また、映像生成部６の性能等に基づいて映像種別が決定される場合、データ群選択部８は、保存部４または時間情報管理部５に接続されるように構成されてもよい。この場合、例えば、映像生成部６は、データ群の指定をせずに、例えば自装置の種別や性能等の情報又は自装置の機種情報や識別情報等の種別や性能を特定可能な情報を伴う問い合わせを、時間情報管理部５へと送信しうる。時間情報管理部５は、この問い合わせに含まれる情報に基づいて、対応する素材データ群を特定し、その特定されたデータ群に対応する有効時間範囲の情報を、映像生成部６へ通知する。
In the above description, the
また、上述の説明では、素材データの全てが時間情報と対応付けて保存されているように説明しているが必ずしもこれに限られない。例えば、保存部４は、背景の三次元モデルなどは変化がなければ単一のデータだけを保存しておき、有効時間範囲の問い合わせに対しては全ての時刻において有効として、取得要求の度に同一のデータを映像生成部６に出力してもよい。また、このような素材データについては、有効時間範囲の問い合わせの対象とせず、映像生成部６は、この素材データを一度取得すると、その素材データを継続して利用するようにしてもよい。
Further, in the above description, it has been described that all the material data is stored in association with the time information, but the present invention is not limited to this. For example, the
また、保存部４および時間情報管理部５に映像生成部６が接続されて素材データを利用する構成について説明したが、映像生成部６以外の機能部によって、素材データが利用されてもよい。例えば、映像は生成せずに被写体の位置や速度を計測する被写体解析装置が、素材データである被写***置情報を用いるようにシステムが構成されてもよい。
Also, the configuration in which the
また、上述の説明では、操作部１０の映像種別選択部１２が、「ライブ配信」、「低画質リプレイ」、「高画質リプレイ」、「携帯端末用」、「選手位置解析」の５種類の映像種別から１つを選択する例について説明したが、映像種別はこれらに限定されない。例えば、「Ｆｕｌｌ ＨＤ」、「４Ｋ」、「放送用」、「ネット配信用」、「モバイル端末用」等のさらなる映像種別が設定されてもよいし、これらの映像種別の一部が省略されてもよい。さらに、映像生成の際に、映像種別が特定されずに、取得する素材データの種別が直接指定されるように構成されてもよい。
Further, in the above description, the video
また、操作部１０の映像種別選択部１２は、例えば「高画質優先リプレイ」といった優先度を持った映像種別を選択可能なように構成されうる。上述の「高画質リプレイ」では、高画質の仮想視点映像を生成できる有効時間範囲のみが取得され、高画質な仮想視点映像のみが生成される。これに対し、「高画質優先リプレイ」では、高画質な仮想視点映像を生成できる時間範囲では高画質で仮想視点映像を生成し、それ以外の時間範囲では、低画質だが仮想視点映像を生成することができる時間範囲においては、低画質で仮想視点映像を生成する。これによれば、映像が途切れることによって視聴者に違和感を与えることを防ぐことができる。この場合、データ群選択部８は、例えば、指定された映像種別に基づいて、必須データ群、高優先度データ群、低優先度データ群等の複数の優先度を付したデータ群を特定し、特定したデータ群を映像生成部６に通知する。「高画質優先リプレイ」の例では、高優先度データ群は、例えば、高解像度の映像を生成するための、高解像度の被写体三次元モデル、高解像度の被写体テクスチャ、高解像度背景テクスチャでありうる。一方、低優先度データ群は、低解像度の映像が生成可能な、低解像度の被写体モデル、低解像度の被写体テクスチャ、低解像度の背景テクスチャでありうる。また、必須データ群は背景モデルでありうる。なお、どのようなデータを高優先度又は低優先度とするかは、これに限られず、例えば通信回線の容量が小さい場合などでは、低解像度のデータが高優先度で、高解像度のデータが低優先度であるような設定が行われてもよい。
In addition, the video
映像生成部６は、これらのデータ群に基づいて、有効時間範囲を時間情報管理部５に問い合わせる。時間情報管理部５は、これに対して、まず、必須データ群と高優先度データ群とが共に保存されている時間範囲を、図８の２０ｃによって示されるような高優先度データ群が得られる高優先範囲として特定する。また、時間情報管理部５は、高優先範囲２０ｃ以外の時間範囲のうち、必須データ群と低優先度データ群とが得られる時間範囲を、図８の２０ｄによって示されるような低優先範囲として特定する。そして、時間情報管理部５は、特定した高優先範囲２０ｃ及び低優先範囲２０ｄの情報を、映像生成部６へと送信する。操作部１０は、受信した有効時間範囲２０を高優先範囲２０ｃと、低優先範囲２０ｄとで識別可能に（例えば異なる色で）表示する。このような表示により、ユーザは、主として高優先範囲２０ｃ内で時間を指定して高解像度な仮想視点映像を生成するが、ある時間の映像を解像度が低くとも生成したい場合には低優先範囲２０ｄ内の時間を指定する等の判断を行うことができるようになる。なお、低優先範囲は、高優先範囲２０ｃとは無関係に特定されてもよい。この場合、映像生成部６又は操作部１０において、高優先範囲と低優先範囲とが重なる範囲については、高優先範囲であると特定することができる。また、操作部１０は、高優先範囲と低優先範囲とを並列表示してもよい。また、例えば、高優先範囲２０ｃでも低優先範囲２０ｄでもない時間範囲については、図６（ａ）又は図６（ｂ）の例のような表示が行われうる。
The
なお、映像生成部６は、データ種別ごとに優先度が設定された問い合わせを、時間情報管理部５に行うものとしたが、これに限られない。例えば、映像生成部６が優先度ごとに時間情報管理部５へ問い合わせを行い、操作部１０または映像生成部６が、優先度ごとに得られた有効時間範囲２０を統合し、時間指示部１３に統合された有効時間範囲２０を表示してもよい。
Note that the
また、高解像度映像を生成するための高優先度データ群と低解像度映像を生成可能な低優先度データ群とを分類して有効時間範囲２０が特定され、映像生成部６は、それに基づいて素材データを取得すると説明したがこれに限られない。例えば、被写体のモデルおよびテクスチャは高解像度のものを取得できるが、背景テクスチャは低解像度のものしか取得できない等の場合に、背景テクスチャに合わせて被写体についてまで低解像度のものを用いる必要はない。このような場合、映像生成部６は、背景テクスチャについては低解像度のものを利用するように構成されてもよい。このような構成のために、三次元モデルやテクスチャなどのデータ種別の分類ごとに優先度の組み合わせが作成され、映像生成部６が、データ種別の分類ごとに高優先度の素材データを優先して取得するように構成されてもよい。また、この場合の時間指示部１３においては、すべての種別において優先度が高いものが取得できる有効時間範囲と、すくなくとも一部が低優先度のものしか取得できない有効時間範囲とが互いに識別可能に表示されてもよい。
In addition, a high-priority data group for generating a high-resolution video and a low-priority data group capable of generating a low-resolution video are classified to specify an effective time range 20, and the
また、上述の例では、複数の撮像部１で撮像された画像が素材データ生成部３に入力され、保存部４は、素材データ生成部３が生成した素材データを保存するものとしたが、これに限られない。例えば、複数の撮像部１で撮像された画像が、一度、保存部４にすべて保存され、素材データ生成部３がその保存された画像を用いて素材データを生成するようにしてもよい。この構成例を図９に示す。図９の構成では、素材データ生成部３は、保存部４に保存された複数の画像を用いて素材データを生成して、その生成した素材データと、その素材データに対応する時間情報とを保存部４に出力する。これによれば、例えば、素材データ生成部３が、高画質な素材データの生成の際に、例えば手動での補正等の編集・修正が行われた素材データや、編集・修正が行われた画像に基づく素材データを生成することができる。
In the above example, the images captured by the plurality of
このような構成とすることで、複数の撮像部１により撮像された画像が保存部４に保存されるため、それに基づいて、多くの時間を用いたより高品質な素材データを作ることができるようになる。そして、その結果、さらに高品位な仮想視点映像を生成することも可能となる。なお、高品質な素材データを作るにはコストがかかるため、全時間範囲において高品位な素材データが作成されない場合がありうる。このような場合には、上述のような優先度を利用することにより、高品質な仮想視点映像を生成することができる時間範囲においては高品質の仮想視点映像を生成し、それ以外の部分では低品質の仮想視点映像を生成するようにしうる。
With such a configuration, since images captured by the plurality of
なお、上述の実施形態は、仮想視点映像を生成するためのシステムについて説明したが、例えば自由聴点音響等の、仮想視点映像以外のコンテンツを生成するための情報処理システムに、上述の技術を適用することができる。すなわち、１つ以上の素材データを取得して、その素材データから任意のコンテンツを生成する任意の情報処理装置に、上述の議論が適用されうる。すなわち、情報処理装置は、コンテンツを生成するための１つ以上の素材データが存在している場合にその素材データが対応する時刻に関する情報を取得する。そして、情報処理装置は、その情報に基づいてコンテンツを生成可能な有効時間範囲を特定し、その範囲内の時間について素材データを取得してコンテンツを生成する。このとき、情報処理装置は、有効時間範囲を、コンテンツを生成することができない時間範囲と識別可能に表示することができる。なお、上述の実施形態では、優先度に応じて色付けする等により、例えば高優先度のコンテンツを生成可能な時間範囲を他の時間範囲と識別可能に表示する手法について説明したが、これを拡張することができる。例えば、生成可能なコンテンツの種類／組み合わせを識別可能に表示する手法が用いられうる。例えば、仮想視点映像と自由聴点音響とが共に生成可能な時間範囲と、仮想視点映像のみ生成可能な時間範囲と、自由聴点音響のみ生成可能な時間範囲と、そのいずれも生成できない時間範囲とが、色付け等によってそれぞれ識別可能に表示されうる。また、これらに対して、さらに解像度等に基づいてコンテンツを分類し、分類ごとに識別可能な表示が行われるようにしてもよい。なお、コンテンツの種類ごとの有効時間範囲を並列表示するようにしてもよい。このように、ユーザが識別できるように生成可能なコンテンツの種類が示されることにより、コンテンツを生成する際のユーザの利便性を向上させることができる。 Note that, in the above-described embodiment, a system for generating a virtual viewpoint video has been described. However, the above-described technology is applied to an information processing system for generating content other than the virtual viewpoint video, such as a free listening point sound. Can be applied. That is, the above discussion can be applied to any information processing apparatus that acquires one or more material data and generates any content from the material data. That is, when one or more pieces of material data for generating a content exist, the information processing apparatus acquires information on the time corresponding to the material data. Then, the information processing apparatus specifies a valid time range in which the content can be generated based on the information, acquires material data for a time within the range, and generates the content. At this time, the information processing apparatus can display the valid time range so as to be distinguishable from the time range in which the content cannot be generated. In the above-described embodiment, a method has been described in which, for example, a time range in which high-priority content can be generated is displayed so as to be distinguishable from other time ranges by, for example, coloring according to the priority. can do. For example, a method of identifiably displaying the types / combinations of contents that can be generated may be used. For example, a time range in which both the virtual viewpoint video and the free listening point sound can be generated, a time range in which only the virtual viewpoint video can be generated, a time range in which only the free listening point sound can be generated, and a time range in which none of them can be generated May be identifiably displayed by coloring or the like. In addition, the content may be further classified based on the resolution or the like, and an identifiable display may be performed for each classification. The effective time range for each type of content may be displayed in parallel. By indicating the type of content that can be generated so that the user can identify it, the convenience of the user when generating the content can be improved.
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<< Other embodiments >>
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. It can also be realized by the following processing. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
１：撮像部、２：同期部、３：素材データ生成部、４：保存部、５：時間情報管理部、６：映像生成部、７：映像出力部、８：データ群選択部、１０：操作部、１１：表示部、１２：映像種別選択部、１３：時間指示部 1: imaging unit, 2: synchronization unit, 3: material data generation unit, 4: storage unit, 5: time information management unit, 6: video generation unit, 7: video output unit, 8: data group selection unit, 10: Operation unit, 11: display unit, 12: video type selection unit, 13: time instruction unit
Claims (24)
何れの時刻の前記仮想視点コンテンツを生成できるかを表す情報を、前記取得手段により取得された記憶情報に基づいて出力する出力手段とを有することを特徴とする情報処理装置。 Acquisition means for acquiring storage information regarding storage content of a predetermined storage unit that stores material data used for generation of virtual viewpoint content,
An information processing apparatus, comprising: output means for outputting information indicating at which time the virtual viewpoint content can be generated based on the storage information acquired by the acquisition means.
前記出力手段は、何れの時刻の前記第１仮想視点コンテンツを生成できるかと、何れの時刻の前記第２仮想視点コンテンツを生成できるかとを表す情報を、前記取得手段により取得された記憶情報に基づいて出力することを特徴とする請求項１に記載の情報処理装置。 The storage unit stores material data used for generating a first virtual viewpoint content and material data used for generating a second virtual viewpoint content of a type different from the first virtual viewpoint content,
The output unit outputs information indicating at which time the first virtual viewpoint content can be generated and at which time the second virtual viewpoint content can be generated based on the storage information acquired by the acquisition unit. The information processing apparatus according to claim 1, wherein the information is output.
前記出力手段は、前記特定手段により特定された種類の仮想視点コンテンツについて、何れの時刻の当該仮想視点コンテンツを生成できるかを表す情報を、前記取得手段により取得された記憶情報に基づいて出力することを特徴とする請求項１に記載の情報処理装置。 A specifying unit that specifies one or more types of virtual viewpoint contents among the plurality of types of virtual viewpoint contents;
The output unit outputs, for the virtual viewpoint content of the type specified by the specifying unit, information indicating at what time the virtual viewpoint content can be generated based on the storage information obtained by the obtaining unit. The information processing apparatus according to claim 1, wherein:
前記受付手段により受け付けられた指定情報により指定される時刻に対応する素材データを前記記憶部から取得し、取得した当該素材データを用いて仮想視点コンテンツを生成する生成手段とを有することを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。 Accepting means for accepting designation information for designating which virtual viewpoint content to generate at which time;
Generating means for obtaining material data corresponding to a time specified by the specifying information received by the receiving means from the storage unit, and generating a virtual viewpoint content using the obtained material data. The information processing apparatus according to any one of claims 1 to 15, wherein:
何れの時刻の前記仮想視点コンテンツを生成できるかを表す情報を、前記判定手段による判定の結果に基づいて出力する出力手段とを有することを特徴とする情報処理装置。 Determining means for generating the virtual viewpoint content using the material data to determine at which time the material data used for generating the virtual viewpoint content can be used;
An information processing apparatus, comprising: output means for outputting information indicating at which time the virtual viewpoint content can be generated based on a result of the determination by the determination means.
前記出力手段は、何れの時刻の前記第１仮想視点コンテンツを生成できるかと、何れの時刻の前記第２仮想視点コンテンツを生成できるかとを表す情報を、前記判定手段による判定の結果に基づいて出力することを特徴とする請求項１８に記載の情報処理装置。 The generating means can generate a first virtual viewpoint content and a second virtual viewpoint content of a type different from the first virtual viewpoint content,
The output unit outputs information indicating at what time the first virtual viewpoint content can be generated and at what time the second virtual viewpoint content can be generated based on the result of the determination by the determination unit. The information processing apparatus according to claim 18, wherein:
前記出力手段は、前記特定手段により特定された種類の仮想視点コンテンツについて、何れの時刻の当該仮想視点コンテンツを生成できるかを表す情報を、前記判定手段による判定の結果に基づいて出力することを特徴とする請求項１８に記載の情報処理装置。 A specifying unit that specifies one or more types of virtual viewpoint contents among the plurality of types of virtual viewpoint contents;
The output unit may output information indicating at which time the virtual viewpoint content can be generated for the type of virtual viewpoint content specified by the specifying unit based on a result of the determination by the determination unit. The information processing apparatus according to claim 18, wherein
何れの時刻の前記仮想視点コンテンツを生成できるかを表す情報を、前記取得工程において取得された記憶情報に基づいて出力する出力工程とを有することを特徴とする情報処理方法。 An acquisition step of acquiring storage information related to storage content of a predetermined storage unit that stores material data used for generation of virtual viewpoint content,
An output step of outputting information indicating at what time the virtual viewpoint content can be generated based on the storage information acquired in the acquisition step.
前記出力工程は、何れの時刻の前記第１仮想視点コンテンツを生成できるかと、何れの時刻の前記第２仮想視点コンテンツを生成できるかとを表す情報を、前記取得工程において取得された記憶情報に基づいて出力することを特徴とする請求項２１に記載の情報処理方法。 The storage unit stores material data used for generating a first virtual viewpoint content and material data used for generating a second virtual viewpoint content of a type different from the first virtual viewpoint content,
The output step includes, based on the storage information acquired in the acquiring step, information indicating at which time the first virtual viewpoint content can be generated and at which time the second virtual viewpoint content can be generated. 22. The information processing method according to claim 21, wherein the information is output.
前記出力工程は、前記特定工程において特定された種類の仮想視点コンテンツについて、何れの時刻の当該仮想視点コンテンツを生成できるかを表す情報を、前記取得工程において取得された記憶情報に基づいて出力することを特徴とする請求項２１に記載の情報処理方法。 A specifying step of specifying at least one type of virtual viewpoint content among a plurality of types of virtual viewpoint content;
The output step outputs, for the virtual viewpoint content of the type specified in the specifying step, information indicating at which time the virtual viewpoint content can be generated based on the storage information obtained in the obtaining step. The information processing method according to claim 21, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019183276A JP6910405B2 (en) | 2018-09-20 | 2019-10-03 | Information processing equipment, information processing methods, and programs |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018176147A JP6600399B2 (en) | 2018-09-20 | 2018-09-20 | Information processing apparatus, information processing method, and program |
| JP2019183276A JP6910405B2 (en) | 2018-09-20 | 2019-10-03 | Information processing equipment, information processing methods, and programs |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018176147A Division JP6600399B2 (en) | 2018-09-20 | 2018-09-20 | Information processing apparatus, information processing method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019221001A true JP2019221001A (en) | 2019-12-26 |
| JP2019221001A5 JP2019221001A5 (en) | 2020-10-22 |
| JP6910405B2 JP6910405B2 (en) | 2021-07-28 |
Family
ID=69097197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019183276A Active JP6910405B2 (en) | 2018-09-20 | 2019-10-03 | Information processing equipment, information processing methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6910405B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7522605B2 (en) | 2020-08-14 | 2024-07-25 | 日本放送協会 | Transmitting device, receiving device, network node, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005267033A (en) * | 2004-03-17 | 2005-09-29 | Canon Inc | Mixed reality video storage retrieval method and device |
| JP2006053694A (en) * | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | Space simulator, space simulation method, space simulation program and recording medium |
-
2019
- 2019-10-03 JP JP2019183276A patent/JP6910405B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005267033A (en) * | 2004-03-17 | 2005-09-29 | Canon Inc | Mixed reality video storage retrieval method and device |
| JP2006053694A (en) * | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | Space simulator, space simulation method, space simulation program and recording medium |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7522605B2 (en) | 2020-08-14 | 2024-07-25 | 日本放送協会 | Transmitting device, receiving device, network node, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6910405B2 (en) | 2021-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6409107B1 (en) | Information processing apparatus, information processing method, and program | |
| US11734931B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP6568670B1 (en) | VIDEO DISTRIBUTION DEVICE, VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION METHOD, AND VIDEO DISTRIBUTION PROGRAM | |
| JP2020024619A (en) | Information processing apparatus, information processing method, and program | |
| US11956408B2 (en) | Information processing system, information processing method, and storage medium | |
| JP5910447B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5966834B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2013210989A (en) | Image processing device, image processing method, and image processing program | |
| JP6910405B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP6600399B2 (en) | Information processing apparatus, information processing method, and program | |
| JP7514346B2 (en) | Image processing device, method, and program | |
| JP2020102687A (en) | Information processing apparatus, image processing apparatus, image processing method, and program | |
| JP5920152B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2013211821A (en) | Image processing device, image processing method, and image processing program | |
| JP5983259B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2023111640A (en) | Information processor, method for processing information, data structure, and program | |
| CN117768766A (en) | Shooting method, video processing method and shooting device | |
| JP2013211822A (en) | Image processing device, image processing method, and image processing program | |
| JP2019118042A (en) | Image processing device, image processing method and program | |
| JP2019115035A (en) | Display control device and display control method | |
| JP2021002811A (en) | Distribution server, distributing method and program | |
| JP2013211819A (en) | Image processing device, image processing method, and image processing program | |
| JP2013211820A (en) | Image processing device, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200903 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200903 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210706 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6910405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |