JP7218105B2 - File generation device, file generation method, processing device, processing method, and program - Google Patents

File generation device, file generation method, processing device, processing method, and program Download PDF

Info

Publication number
JP7218105B2
JP7218105B2 JP2018116888A JP2018116888A JP7218105B2 JP 7218105 B2 JP7218105 B2 JP 7218105B2 JP 2018116888 A JP2018116888 A JP 2018116888A JP 2018116888 A JP2018116888 A JP 2018116888A JP 7218105 B2 JP7218105 B2 JP 7218105B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
file
viewpoint video
data
access information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116888A
Other languages
Japanese (ja)
Other versions
JP2019220847A (en
JP2019220847A5 (en
Inventor
裕尚 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018116888A priority Critical patent/JP7218105B2/en
Priority to PCT/JP2019/023224 priority patent/WO2019244731A1/en
Publication of JP2019220847A publication Critical patent/JP2019220847A/en
Priority to US17/122,931 priority patent/US11431957B2/en
Publication of JP2019220847A5 publication Critical patent/JP2019220847A5/ja
Application granted granted Critical
Publication of JP7218105B2 publication Critical patent/JP7218105B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、仮想視点映像ファイルの処理に関する。 The present invention relates to processing virtual viewpoint video files.

複数のカメラを用いて得られる複数の撮像画像に基づいて、仮想カメラの位置及び向きに応じた仮想視点画像を作る方法が知られている。 A method of creating a virtual viewpoint image corresponding to the position and orientation of a virtual camera based on a plurality of captured images obtained using a plurality of cameras is known.

特許文献１は、複数のカメラを用いて得られる複数の撮影画像に基づいて、前景テクスチャ画像、背景テクスチャ画像、及び３Ｄモデルなどのデータ（以下では素材データと呼ぶ）を生成し、該素材データを用いて仮想視点映像を生成することを開示している。 In Patent Document 1, data such as a foreground texture image, a background texture image, and a 3D model (hereinafter referred to as material data) is generated based on a plurality of captured images obtained using a plurality of cameras, and the material data is generated. to generate a virtual viewpoint video.

特開２０１７－２１１８２８号公報JP 2017-211828 A

仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを生成することは容易ではなかった。 It is not easy for a device that acquires virtual viewpoint video data to generate new virtual viewpoint video data corresponding to a new virtual viewpoint.

例えば、他者が設定した仮想カメラワークに基づいて生成された仮想視点映像を閲覧したユーザが、別の仮想カメラワークに基づくオリジナルの仮想視点映像を生成したいと考える場合がある。その場合、仮想視点映像の生成のための素材データの所在を調べ、該素材データを取得し、新たな仮想視点映像データを生成することが考えられるが、それでは煩雑な作業が発生する。また、素材データを見つけることができなければ、新たな仮想視点映像データを生成できないこともあり得る。 For example, a user viewing a virtual viewpoint video generated based on virtual camera work set by another person may want to generate an original virtual viewpoint video based on another virtual camera work. In that case, it is conceivable to check the location of the material data for generating the virtual viewpoint video, acquire the material data, and generate new virtual viewpoint video data, but this would require complicated work. Also, if material data cannot be found, new virtual viewpoint video data may not be generated.

本発明は上記の課題を鑑みてなされたものであり、その目的は、仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを容易に生成できるようにすることである。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to enable a device that acquires virtual viewpoint video data to easily generate new virtual viewpoint video data corresponding to a new virtual viewpoint. That is.

上記課題を解決するため、本発明のファイル生成装置は、例えば以下の構成を有する。すなわち、仮想視点に対応する仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を取得する取得手段と、前記取得手段により取得されたアクセス情報と前記取得手段により取得された仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成手段と、前記ファイル生成手段により生成された仮想視点映像ファイルを出力する出力手段と、を有する。 In order to solve the above problems, the file generation device of the present invention has, for example, the following configuration. That is , generation of other virtual viewpoint video data corresponding to a virtual viewpoint different from the virtual viewpoint video data corresponding to the virtual viewpoint video data , which is the material data used for generating the virtual viewpoint video data corresponding to the virtual viewpoint video data. a virtual viewpoint including: access information used for obtaining material data used for ; obtaining means for obtaining the access information obtained by the obtaining means; and virtual viewpoint video data obtained by the obtaining means. It has file generation means for generating a video file, and output means for outputting the virtual viewpoint video file generated by the file generation means.

本発明によれば、仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを容易に生成できるようになる。 According to the present invention, a device that acquires virtual viewpoint video data can easily generate new virtual viewpoint video data corresponding to a new virtual viewpoint.

第一実施形態の機能ブロック図である。3 is a functional block diagram of the first embodiment; FIG. 撮影システムを説明するための図である。It is a figure for explaining an imaging system. 仮想視点映像ファイルの生成に関するシーケンス図である。FIG. 10 is a sequence diagram regarding generation of a virtual viewpoint video file; 仮想視点映像ファイルの再生に関するシーケンス図である。FIG. 10 is a sequence diagram regarding reproduction of a virtual viewpoint video file; 素材データへのアクセス情報を例示した図である。It is the figure which illustrated the access information to material data. ＩＳＯＢＭＦＦに準拠するボックスの構造の一例である。It is an example of the structure of a box conforming to ISOBMFF. ＩＳＯＢＭＦＦに基づくファイル構造の一例である。It is an example of a file structure based on ISOBMFF. ＩＳＯＢＭＦＦに準拠するムービーボックスにアクセス情報を記述する例を示す図である。FIG. 10 is a diagram showing an example of describing access information in a movie box conforming to ISOBMFF; 静止画フォーマットにアクセス情報を記述する方法を例示した図である。It is the figure which illustrated the method of describing access information in a still picture format. 素材データアクセス情報のタグ情報を例示した図である。FIG. 4 is a diagram exemplifying tag information of material data access information; 動画ポータルサイトのトップ画面を例示した図である。It is the figure which illustrated the top screen of the video portal site. 動画ポータルサイトの動画再生画面を例示した図である。It is the figure which illustrated the video reproduction screen of the video portal site. 仮想視点映像の生成画面を例示した図である。FIG. 10 is a diagram exemplifying a screen for generating a virtual viewpoint video; 第二実施形態の機能ブロック図である。It is a functional block diagram of a second embodiment. その他の実施形態の機能ブロック図である。It is a functional block diagram of other embodiments. ファイル処理装置２０のハードウェア構成を示す図である。2 is a diagram showing the hardware configuration of a file processing device 20; FIG.

＜第一実施形態＞
図１は、第一実施形態における素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の機能を説明するためのブロック図である。なお、本実施形態における各装置の機能は、図１６にて示すハードウェア資源により実現される。図１６はファイル処理装置２０のハードウェア構成を説明するための図であるが、素材サーバ１０及びファイルサーバ３０のハードウェア構成もファイル処理装置２０のそれと同様である。図１６において、ＣＰＵ１６０１は、ＲＡＭ１６０２をワークメモリとして、ＲＯＭ１６０３及び／又はハードディスクドライブ（ＨＤＤ）１６０５に格納されたプログラムを実行する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェース（Ｉ／Ｆ）１６０４は、ファイル処理装置２０と、ＨＤＤ１６０５や光ディスクドライブなどの二次記憶装置とを接続するためのインタフェースである。入力インタフェース（Ｉ／Ｆ）１０６は、１又は複数の座標を入力するためのタッチパネル、キーボード、マウス、デジタルカメラ、及びスキャナなどの入力デバイス１６０７とファイル処理装置２０とを接続するためのインタフェースである。入力インタフェース（Ｉ／Ｆ）１６０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。出力インタフェース（Ｉ／Ｆ）１６０８は、ディスプレイなどの出力デバイス１６０９とファイル処理装置２０とを接続するためのインタフェースである。ネットワークインタフェース（Ｉ／Ｆ）１６１０は、ファイル処理装置２０と外部の装置（例えば、素材サーバ１０及びファイルサーバ３０）とを接続するためのインタフェースである。ＣＰＵ１６０１は、ネットワークＩ／Ｆ１６１０を介して外部の装置データのやり取りを行うことが可能である。 <First Embodiment>
FIG. 1 is a block diagram for explaining functions of a material server 10, a file processing device 20, and a file server 30 in the first embodiment. Note that the functions of each device in this embodiment are implemented by the hardware resources shown in FIG. FIG. 16 is a diagram for explaining the hardware configuration of the file processing device 20. The hardware configurations of the material server 10 and the file server 30 are the same as that of the file processing device 20. FIG. In FIG. 16, a CPU 1601 executes programs stored in a ROM 1603 and/or a hard disk drive (HDD) 1605 using a RAM 1602 as a work memory. As a result, various processes to be described later are executed. An HDD interface (I/F) 1604 is an interface for connecting the file processing device 20 and a secondary storage device such as an HDD 1605 or an optical disk drive. An input interface (I/F) 106 is an interface for connecting an input device 1607 such as a touch panel, keyboard, mouse, digital camera, scanner, etc. for inputting one or more coordinates to the file processing apparatus 20. . An input interface (I/F) 1606 is a serial bus interface such as USB or IEEE1394. An output interface (I/F) 1608 is an interface for connecting an output device 1609 such as a display and the file processing apparatus 20 . A network interface (I/F) 1610 is an interface for connecting the file processing device 20 and external devices (for example, the material server 10 and the file server 30). The CPU 1601 can exchange external device data via the network I/F 1610 .

なお、ファイル処理装置２０は複数のＣＰＵ１６０１を有してもよい。また、ＣＰＵ１６０１とは異なる専用の１又は複数のハードウェアを有し、ＣＰＵ１６０１による処理の少なくとも一部を専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などがある。 Note that the file processing device 20 may have a plurality of CPUs 1601 . Alternatively, one or a plurality of dedicated hardware different from the CPU 1601 may be provided, and at least part of the processing by the CPU 1601 may be performed by the dedicated hardware. Examples of dedicated hardware include GPUs (Graphics Processing Units), ASICs (Application Specific Integrated Circuits), FPGAs (Field Programmable Gate Arrays), and DSPs (Digital Signal Processors).

図３は、仮想視点映像ファイルを生成するときの素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の処理の流れを説明するためのシーケンス図である。以下、図１及び図３を用いて各装置の機能及び動作について説明する。 FIG. 3 is a sequence diagram for explaining the processing flow of the material server 10, the file processing device 20, and the file server 30 when generating a virtual viewpoint video file. The function and operation of each device will be described below with reference to FIGS. 1 and 3. FIG.

まず、ファイル処理装置２０は、素材サーバ１０に対して素材リストを要求する（Ｓ１０１）。具体的には、ファイル処理装置２０のデータ受信部２００は、ユーザ操作の入力に応じて、素材サーバ１０の外部インタフェース部１００に対して素材リストの要求を送信する。本実施形態において、素材リストとは、素材サーバ１０が提供可能な素材データをリスト化したデータである。 First, the file processing device 20 requests a material list from the material server 10 (S101). Specifically, the data receiving unit 200 of the file processing device 20 transmits a material list request to the external interface unit 100 of the material server 10 in response to the input of the user's operation. In this embodiment, the material list is data in which material data that can be provided by the material server 10 is listed.

また、本実施形態において素材データとは、仮想視点映像の生成のために用いられるデータである。素材データの一例としては、オブジェクト（例えばスポーツ選手やボールなど）の３次元形状を示す３次元形状データと、該オブジェクトのテクスチャデータと、背景画像のテクスチャデータである。これらの素材データを用いることで、仮想視点（仮想カメラ）の位置と向きに応じた仮想視点映像を生成することができる。また、素材データの別の例としては、複数のカメラによる撮影画像と、各カメラの位置、姿勢、及び画角に関するカメラ情報であっても良い。これらの素材データを用いることによっても、仮想視点（仮想カメラ）の位置と向きに応じた仮想視点映像を生成することができる。なお、このような素材データは、図２に示すような撮像システムを用いることによって得られる。図２に示すように、複数のカメラが所定の撮影領域を異なる方向から同期撮影を行うことで得られる撮影画像を用いることによって、該撮影領域内に存在するオブジェクトの形状やテクスチャデータが得られる。具体的なアルゴリズムとしては、ＶｉｓｕａｌＨｕｌｌなど公知の手法を用いることができる。また、図２に示す各カメラの位置、姿勢、及び画像角度に関するカメラ情報は、例えば、各カメラの撮影画像に基づいて得ることができる。 Further, material data in the present embodiment is data used for generating a virtual viewpoint video. An example of material data is three-dimensional shape data representing a three-dimensional shape of an object (such as an athlete or a ball), texture data of the object, and texture data of a background image. By using these material data, it is possible to generate a virtual viewpoint video corresponding to the position and orientation of a virtual viewpoint (virtual camera). Another example of the material data may be images taken by a plurality of cameras, and camera information regarding the position, orientation, and angle of view of each camera. By using these material data as well, it is possible to generate a virtual viewpoint video according to the position and orientation of the virtual viewpoint (virtual camera). It should be noted that such material data is obtained by using an imaging system as shown in FIG. As shown in FIG. 2, by using a photographed image obtained by synchronously photographing a predetermined photographing area from different directions with a plurality of cameras, the shape and texture data of an object existing within the photographing area can be obtained. . As a specific algorithm, a known method such as VisualHull can be used. Further, the camera information regarding the position, orientation, and image angle of each camera shown in FIG. 2 can be obtained, for example, based on the captured image of each camera.

なお、本実施形態の素材リストには、提供可能な素材データの種別、時間帯、撮影場所、及び、該素材データを要求するためのアクセス情報が含まれる。なお、本実施形態では素材リストという名称を用いているが、必ずしもリスト形式のデータでなければならないわけではない。また、上述した情報（種別、時間帯、撮影場所、アクセス情報）のすべてが必ずしも必須の情報であることは限らない。上述した情報のうち一部が素材リストに含まれていなくても良いし、別の情報が加えられていても良い。 It should be noted that the material list of this embodiment includes the type of material data that can be provided, the time zone, the shooting location, and access information for requesting the material data. Although the name "material list" is used in this embodiment, the data does not necessarily have to be in the form of a list. Also, not all of the above-described information (type, time zone, shooting location, access information) is necessarily essential information. Some of the above information may not be included in the material list, and other information may be added.

また、アクセス情報は、例えば、素材データを記録する記録装置（素材サーバ１０）のＩＰアドレス、又は、素材データの所在を示すＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含み得る。また、アクセス情報は、例えば、素材データを格納するファイルの名称（ファイル名）、及び、素材データを識別するための識別情報（例えばタイトル）のうち、少なくとも何れか一方を含んでいても良い。 The access information may also include, for example, the IP address of the recording device (material server 10) that records the material data, or a URL (Uniform Resource Locator) indicating the location of the material data. Also, the access information may include, for example, at least one of the name of the file storing the material data (file name) and identification information (for example, title) for identifying the material data.

図２のＳ１０２において、ファイル処理装置２０は、素材サーバ１０から素材リストを受信する。具体的には、素材サーバ１０の外部インタフェース部１００は、素材リストの要求を受けると、データリスト取得部１０１を介してデータ蓄積部１０２から素材リストを取得し、その素材リストをファイル処理装置２０のデータ受信部２００に対して送信する。 In S102 of FIG. 2, the file processing device 20 receives the material list from the material server 10. FIG. Specifically, upon receiving a request for a material list, the external interface unit 100 of the material server 10 acquires the material list from the data storage unit 102 via the data list acquisition unit 101, and sends the material list to the file processing device 20. is transmitted to the data receiving unit 200 of .

そして、ファイル処理装置２０は、素材サーバ１０に対して素材データを要求する（Ｓ１０３）。具体的には、ファイル処理装置２０のデータ受信部２００は、ユーザによる素材データの選択操作に応じて、素材サーバ１０の外部インタフェース部１００に対して素材データの要求を送信する。 Then, the file processing device 20 requests material data from the material server 10 (S103). Specifically, the data receiving section 200 of the file processing device 20 transmits a request for material data to the external interface section 100 of the material server 10 in response to the user's operation of selecting material data.

そして、ファイル処理装置２０は、素材サーバ１０から素材データを受信する（Ｓ１０４）。具体的には、素材サーバ１０の外部インタフェース部１００は、ファイル処理装置２０から素材データの要求を受けると、データ取得部１０３を介してデータ蓄積部１０２から素材データを取得する。そして、該素材データをファイル処理装置２０のデータ受信部２００に対して送信する。 Then, the file processing device 20 receives the material data from the material server 10 (S104). Specifically, upon receiving a request for material data from the file processing device 20 , the external interface section 100 of the material server 10 acquires material data from the data storage section 102 via the data acquisition section 103 . Then, the material data is transmitted to the data receiving section 200 of the file processing device 20 .

そして、ファイル処理装置２０は、仮想視点の情報を取得する（Ｓ１０５）。具体的には、仮想視点入力部２０２から仮想視点の位置、向き、及び画角などに関する仮想視点情報の入力を受付ける。本実施形態において、仮想視点情報はユーザ操作に基づいて決定される情報であるものとするが、これに限らず、自動的に仮想カメラが操縦されるようにしても良い。 Then, the file processing device 20 acquires information on the virtual viewpoint (S105). Specifically, input of virtual viewpoint information regarding the position, orientation, angle of view, and the like of the virtual viewpoint is received from the virtual viewpoint input unit 202 . In the present embodiment, it is assumed that the virtual viewpoint information is information determined based on the user's operation.

そして、ファイル処理装置２０の仮想視点映像生成部２０１は、Ｓ１０４において取得された素材データと、Ｓ１０５において入力された仮想視点情報とに基づいて、仮想視点映像データを生成する（Ｓ１０６）。 Then, the virtual viewpoint video generation unit 201 of the file processing device 20 generates virtual viewpoint video data based on the material data acquired in S104 and the virtual viewpoint information input in S105 (S106).

そして、ファイル処理装置２０のファイル生成部２０４は、Ｓ１０６において生成された仮想視点映像データに基づいて仮想視点映像ファイルを生成する（Ｓ１０７）。本実施形態のファイル処理装置２０は、仮想視点映像データの生成のために用いられた素材データの要求のアクセス情報を含む仮想視点映像ファイルを生成する。なお、図１は、ファイル生成部２０４が仮想視点映像ファイルを生成したあとにアクセス情報付与部２０５がアクセス情報を付加する例を示しているが、これに限らない。例えば、アクセス情報が記述された仮想視点映像ファイルを生成したあとに、仮想視点映像データを付加するようにしても良い。 Then, the file generation unit 204 of the file processing device 20 generates a virtual viewpoint video file based on the virtual viewpoint video data generated in S106 (S107). The file processing device 20 of the present embodiment generates a virtual viewpoint video file including access information for requesting material data used for generating virtual viewpoint video data. Although FIG. 1 shows an example in which the access information adding unit 205 adds access information after the file generating unit 204 generates the virtual viewpoint video file, the present invention is not limited to this. For example, the virtual viewpoint video data may be added after the virtual viewpoint video file in which the access information is described is generated.

そして、ファイル処理装置２０は、Ｓ１０７において生成された仮想視点映像ファイルをファイルサーバ３０へ出力する（Ｓ１０９）。具体的には、ファイル処理装置２０のファイル出力部２０６が、ファイルサーバ３０のファイル受信部３０５に対して仮想視点映像ファイルを送信する。 The file processing device 20 then outputs the virtual viewpoint video file generated in S107 to the file server 30 (S109). Specifically, the file output unit 206 of the file processing device 20 transmits the virtual viewpoint video file to the file reception unit 305 of the file server 30 .

そして、ファイルサーバ３０は、ファイル処理装置２０から受け取った仮想視点映像ファイルを記録する（Ｓ１０９）。記録された仮想視点映像ファイルは、一般公開された場合、他のファイル処理装置２０（例えばスマートフォンやタブレットＰＣなど）へ提供される。 The file server 30 then records the virtual viewpoint video file received from the file processing device 20 (S109). The recorded virtual viewpoint video file is provided to other file processing devices 20 (for example, smart phones, tablet PCs, etc.) when open to the public.

なお、仮想視点映像ファイルの出力先はファイルサーバ３０に限らない。例えば、ファイル処理装置２０に接続されるハードディスクに出力されても良いし、他の端末（例えばスマートフォンやタブレットＰＣなど）に出力されても良い。 Note that the output destination of the virtual viewpoint video file is not limited to the file server 30 . For example, it may be output to a hard disk connected to the file processing device 20, or may be output to another terminal (for example, a smart phone, a tablet PC, etc.).

また、図１は、素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０がそれぞれ１台ずつ接続される例を示しているが、これに限らず、種々の変形例があり得る。例えば、素材サーバ１０とファイルサーバ３０が同一の（又は同一とみなせる）サーバであっても良いし、複数の素材サーバ１０と複数のファイルサーバ３０が存在するシステムもあり得る。例えば、素材サーバ１０が複数存在する場合、ファイル処理装置２０は該複数の素材サーバ１０に対して、素材リストの要求を送信しうる。また、複数のファイルサーバ３０が存在する場合、ファイル処理装置２０は該複数のファイルサーバ３０に対して、仮想視点映像ファイルを送信しうる。また、図１では、ファイル処理装置２０が仮想視点映像ファイルを生成する機能と、仮想視点映像ファイルを再生する機能の両方を有している例を示しているが、これに限らない。すなわち、仮想視点映像ファイルを生成するための機能と、仮想視点映像ファイルを再生するための機能とが別の装置として存在することもありうる。すなわち、本実施形態のファイル処理装置２０は、ファイル生成装置やファイル再生装置と呼ぶこともできる。 Also, although FIG. 1 shows an example in which one material server 10, one file processing device 20, and one file server 30 are connected, the present invention is not limited to this, and various modifications are possible. For example, the material server 10 and the file server 30 may be the same (or can be regarded as the same) server, and there may be a system in which a plurality of material servers 10 and a plurality of file servers 30 exist. For example, when there are a plurality of material servers 10, the file processing device 20 can transmit a material list request to the plurality of material servers 10. FIG. Also, when a plurality of file servers 30 exist, the file processing device 20 can transmit virtual viewpoint video files to the plurality of file servers 30 . Also, FIG. 1 shows an example in which the file processing device 20 has both a function of generating a virtual viewpoint video file and a function of reproducing the virtual viewpoint video file, but the present invention is not limited to this. That is, the function for generating the virtual viewpoint video file and the function for reproducing the virtual viewpoint video file may exist as separate devices. That is, the file processing device 20 of this embodiment can also be called a file generation device or a file reproduction device.

また、本実施形態のファイル処理装置２０は、ユーザにより指定された素材データを一括ですべて受信してから仮想視点映像データを生成することを想定しているが、所定時間ごとの素材データを部分的に取得しながら、仮想視点映像データを生成しても良い。 Further, the file processing device 20 of the present embodiment is assumed to generate virtual viewpoint video data after receiving all the material data designated by the user at once. The virtual viewpoint video data may be generated while acquiring the virtual viewpoint video data.

次に、本実施形態のファイル処理装置２０が仮想視点映像ファイルを再生するときの素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の処理の流れについて、図１及び図４を用いて説明する。 Next, the processing flow of the material server 10, the file processing device 20, and the file server 30 when the file processing device 20 of the present embodiment reproduces the virtual viewpoint video file will be described with reference to FIGS. 1 and 4. .

まず、ファイル処理装置２０は、ファイルサーバ３０に対してファイルリストを要求する（Ｓ２０１）。ファイルリストとは、ファイルサーバ３０がファイル処理装置２０に対して提供可能なコンテンツファイルの一覧を示す情報である。ただし、必ずしもリスト形式のデータである必要はない。また、ファイルリストが示すコンテンツファイルには、仮想視点映像ファイルが含まれる。本実施形態のファイル処理装置２０のファイルリスト受信部２０７は、ファイルリストの取得に関するユーザ操作を受け付けると、ファイルリストの要求をファイルサーバ３０の外部インタフェース部３００に対して送信する。 First, the file processing device 20 requests a file list from the file server 30 (S201). A file list is information indicating a list of content files that the file server 30 can provide to the file processing device 20 . However, it does not necessarily have to be list format data. Also, the content files indicated by the file list include virtual viewpoint video files. The file list receiving unit 207 of the file processing apparatus 20 of this embodiment transmits a request for the file list to the external interface unit 300 of the file server 30 upon receiving a user operation regarding acquisition of the file list.

そして、ファイル処理装置２０は、ファイルサーバ３０からファイルリストを取得する（Ｓ２０２）。具体的には、ファイルサーバ３０の外部インタフェース部３００は、ファイル処理装置２０からの要求を受信すると、ファイルリスト取得部３０１を介してファイル蓄積部３０２からファイルリストを取得する。そして、そのファイルリストをファイル処理装置２０に対して送信する。 Then, the file processing device 20 acquires the file list from the file server 30 (S202). Specifically, upon receiving a request from the file processing device 20 , the external interface section 300 of the file server 30 acquires the file list from the file storage section 302 via the file list acquisition section 301 . Then, the file list is transmitted to the file processing device 20 .

そして、ファイル処理装置２０は、ファイルリストにおいて示された複数のコンテンツファイルのうち、ユーザにより指定された仮想視点映像ファイルの要求をファイルサーバ３０に対して送信する（Ｓ２０３）。具体的には、ファイル処理装置２０のファイル要求部２０８が、ユーザにより指定された仮想視点映像ファイルの識別情報を含む要求をファイルサーバ３０の外部インタフェース部３００に対して送信する。 Then, the file processing device 20 transmits to the file server 30 a request for the virtual viewpoint video file specified by the user among the plurality of content files indicated in the file list (S203). Specifically, the file requesting unit 208 of the file processing device 20 transmits a request including the identification information of the virtual viewpoint video file designated by the user to the external interface unit 300 of the file server 30 .

そして、ファイル処理装置２０は、ファイルサーバ３０から仮想視点映像ファイルを受信する（Ｓ２０４）。具体的には、ファイルサーバ３０の外部インタフェース部３００は、ファイル処理装置２０から仮想視点映像ファイルの要求を受けると、該要求された仮想視点映像ファイルを、ファイル取得部３０３を介してファイル蓄積部３０２から取得する。そして、該取得された仮想視点映像ファイルをファイル処理装置２０のファイル受信部２１０に対して送信する。 Then, the file processing device 20 receives the virtual viewpoint video file from the file server 30 (S204). Specifically, when the external interface unit 300 of the file server 30 receives a request for a virtual viewpoint video file from the file processing device 20, the requested virtual viewpoint video file is sent to the file storage unit via the file acquisition unit 303. 302. Then, the acquired virtual viewpoint video file is transmitted to the file receiving section 210 of the file processing device 20 .

そして、ファイル処理装置２０は、Ｓ２０４において取得した仮想視点映像ファイルを再生する（Ｓ２０５）。具体的には、ファイル処理装置２０のファイル再生部２１１が、ファイル受信部２１０により受信された仮想視点映像ファイルに含まれる仮想視点映像データをデコードし、デコードの結果を映像出力部２０３に対して送信する。そして、映像出力部２０３は、仮想視点映像を表示させる。このとき、オーディオデータもあれば、映像と合わせて再生される。 Then, the file processing device 20 reproduces the virtual viewpoint video file acquired in S204 (S205). Specifically, the file reproducing unit 211 of the file processing device 20 decodes the virtual viewpoint video data included in the virtual viewpoint video file received by the file receiving unit 210, and outputs the decoding result to the video output unit 203. Send. Then, the video output unit 203 displays the virtual viewpoint video. At this time, if there is also audio data, it is reproduced together with the video.

そして、ファイル処理装置２０は、素材データの取得指示が入力されたか判定する（Ｓ２０６）。素材データの取得指示は、典型的には、ユーザ操作により入力される。ユーザは、ファイルサーバ３０から取得した仮想視点映像ファイルに基づく仮想視点映像を再生中に、該映像とは異なる視点から映像を視聴したいと考えた場合に、素材データの取得指示を入力する。素材データの取得指示が入力されなかった場合、仮想視点映像の再生が継続される。 Then, the file processing device 20 determines whether an instruction to acquire material data has been input (S206). An instruction to acquire material data is typically input by a user operation. When the user wants to view the video from a different viewpoint while reproducing the virtual viewpoint video file based on the virtual viewpoint video file obtained from the file server 30, the user inputs an instruction to obtain the material data. If the instruction to acquire the material data is not input, the reproduction of the virtual viewpoint video is continued.

一方、素材データの取得指示が入力された場合、ファイル処理装置２０は、素材データをファイルサーバ３０に対して要求する（Ｓ２０７）。具体的には、ファイル処理装置２０の素材データ要求部２０９が、素材データの取得に関するユーザ操作の入力に応じて、ファイルサーバ３０に対して素材データの要求を送信する。この素材データの要求は、素材データのアクセス情報に基づいて行われる。例えば、アクセス情報が素材サーバ１０のＩＰアドレスとファイル名の組み合わせである場合、該アクセス情報が素材データの要求に含まれる。また、例えば、アクセス情報がＵＲＬである場合、素材データ要求部２０９は、該ＵＲＬに対するＧＥＴリクエストを送信することにより、素材データを取得できる。この場合、ＧＥＴリクエストはファイルサーバ３０ではなく、素材サーバ１０に直接送信されることがある。 On the other hand, when an instruction to acquire material data is input, the file processing device 20 requests the material data from the file server 30 (S207). Specifically, the material data requesting unit 209 of the file processing device 20 transmits a request for material data to the file server 30 in response to the input of the user's operation regarding acquisition of material data. This material data request is made based on the access information of the material data. For example, if the access information is a combination of the IP address of the material server 10 and the file name, the access information is included in the material data request. Further, for example, when the access information is a URL, the material data requesting unit 209 can acquire material data by transmitting a GET request for the URL. In this case, the GET request may be sent directly to the material server 10 instead of the file server 30 .

ファイルサーバ３０のメタデータ解析部３０６は、ファイル処理装置２０から素材データの要求を受け付けた場合、該要求に含まれるアクセス情報を参照する。もし素材データの要求にアクセス情報が含まれていない場合（Ｓ２０８でＮｏ）、ファイル処理装置２０に対してエラーが通知される（Ｓ２０９）。一方、素材データの要求にアクセス情報が含まれる場合、ファイルサーバ３０は、素材サーバ１０に対して素材データの要求を送信する（Ｓ２１０）。具体的には、ファイルサーバ３０のデータ受信部３０７から素材サーバ１０のデータ送信部１０４に対して素材データの要求が送信される。その後、ファイルサーバ３０は素材サーバ１０から素材データ及びアクセス情報を取得し（Ｓ２１１）、その素材データとアクセス情報をファイル処理装置へ提供する（Ｓ２１２）。ただし、素材サーバ１０からファイル処理装置２０に対して直接的に素材データとアクセス情報が送信されるようにしても良い。図４のＳ２１３～Ｓ２１７は、図３のＳ１０５～Ｓ１０９と同様である。 Upon receiving a request for material data from the file processing device 20, the metadata analysis unit 306 of the file server 30 refers to the access information included in the request. If the access information is not included in the material data request (No in S208), an error is notified to the file processing device 20 (S209). On the other hand, if access information is included in the material data request, the file server 30 transmits the material data request to the material server 10 (S210). Specifically, a request for material data is transmitted from the data receiving unit 307 of the file server 30 to the data transmitting unit 104 of the material server 10 . After that, the file server 30 acquires material data and access information from the material server 10 (S211), and provides the material data and access information to the file processing device (S212). However, the material data and the access information may be directly transmitted from the material server 10 to the file processing device 20 . S213 to S217 in FIG. 4 are the same as S105 to S109 in FIG.

次に図５を用いて、素材データのアクセス情報について詳細に説明する。図５において、アクセス情報バージョン５０１Ａは、アクセス情報５００のバージョンを示し、バージョンごとに格納するパラメータが変わることに対応するための情報である。 Next, with reference to FIG. 5, access information of material data will be described in detail. In FIG. 5, the access information version 501A indicates the version of the access information 500, and is information for coping with the fact that the parameters to be stored are changed for each version.

アクセス情報フラグ５０２Ａは、アクセス情報５００に含まれる情報のうち、有効な情報を示す。たとえば、二値の値で、１が有効を示すようなビットアサインのデータ等を使用できる。 The access information flag 502A indicates valid information among the information included in the access information 500. FIG. For example, it is possible to use bit-assigned data such as a binary value in which 1 indicates validity.

データベースＵＲＬ５０３Ａは、素材データを記録するサーバ（データベース）のＵＲＬを示す。データベースＩＰアドレス５０４Ａは、素材データを記録するサーバ（データベース）のＩＰアドレスを示す。 The database URL 503A indicates the URL of the server (database) that records the material data. The database IP address 504A indicates the IP address of the server (database) that records the material data.

データＩＤ５０５Ａは、素材データを記録するサーバ（データベース）において、素材データを一意に特定するためのＩＤ（識別情報）である。また、データ名５０６Ａは、素材データを記録するサーバ（データベース）において、素材データを一意に特定するためのデータ名（識別情報）である。識別情報の具体例としては、素材データのタイトルやファイル名などである。 The data ID 505A is an ID (identification information) for uniquely identifying the material data in the server (database) that records the material data. The data name 506A is a data name (identification information) for uniquely identifying the material data in the server (database) that records the material data. Specific examples of identification information include the title and file name of material data.

映像生成ポータルサイトＵＲＬ５０７Ａは、仮想視点映像の生成機能を含むポータルサイトのＵＲＬである。このＵＲＬによって特定されるサイトは、ユーザが指定した素材データから仮想視点映像を生成できるサービスを提供するものとする。 The image generation portal site URL 507A is the URL of the portal site including the virtual viewpoint image generation function. It is assumed that the site specified by this URL provides a service capable of generating a virtual viewpoint video from material data specified by the user.

映像生成に用いたデータの時間情報５０８は、仮想視点映像に対応する開始時間及び終了時間等を示す。この時間情報は、仮想視点映像に対応する実カメラの撮影時刻に基づく情報である。この時間情報を用いることで、ユーザは同じ時間の仮想視点映像を再度生成することができる。 The time information 508 of the data used for video generation indicates the start time, end time, etc. corresponding to the virtual viewpoint video. This time information is information based on the shooting time of the real camera corresponding to the virtual viewpoint video. By using this time information, the user can regenerate the virtual viewpoint video at the same time.

なお、図５で示す情報のすべてがアクセス情報として含まれていなければならないわけではないことに留意されたい。 Note that not all of the information shown in FIG. 5 must be included as access information.

次に、アクセス情報をＩＳＯ／ＩＥＣ１４４９６－１２（ＭＰＥＧ－４ Ｐａｒｔ１２） ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｏｒｍａｔ（以下、ＩＳＯＢＭＦＦ）規格に準拠した動画用ファイルフォーマットに格納する場合の例について詳細に説明する。 Next, an example of storing access information in a movie file format conforming to the ISO/IEC14496-12 (MPEG-4 Part 12) ISO base media format (hereinafter referred to as ISOBMFF) standard will be described in detail.

ＩＳＯＢＭＦＦは、サイズとタイプを示す情報とデータとが格納されるボックスという単位でファイルを扱う。図６（ａ）はボックスの構造を例示した図である。図６（ｂ）のように、ボックスの中にデータとしてボックスを含む構造とすることも可能である。 ISOBMFF handles files in units of boxes in which information indicating size and type and data are stored. FIG. 6(a) is a diagram illustrating the structure of a box. As shown in FIG. 6B, it is also possible to have a structure in which boxes are included as data within boxes.

図７はＩＳＯＢＭＦＦに準拠したファイルのデータ構造を示している。図７に示すように、ＩＳＯＢＭＦＦに準拠したファイルは、ｆｔｙｐ７０１（Ｆｉｌｅ Ｔｙｐｅ Ｃｏｍｐａｔｉｂｉｌｉｔｙ Ｂｏｘ）、ｍｏｏｖ７０２（Ｍｏｖｉｅ Ｂｏｘ）、及びｍｄａｔ７０３（Ｍｅｄｉａ Ｄａｔａ Ｂｏｘ）のボックスを含む。ｆｔｙｐ７０１にはファイルフォーマットの情報、例えばファイルがＩＳＯＢＭＦＦに準拠していることや、ボックスのバージョン、ファイルを作成したメーカ名称等が格納される。ｍｏｏｖ７０２（ムービーボックス）には、メディアデータを管理するための時間軸、アドレスなどのメタデータが格納される。ｍｄａｔ７０３（メディアデータボックス）には、実際に動画として再生されるメディアデータが格納される。本実施形態において、ｍｏｏｖ７０２はメタデータを格納するためのメタデータ領域、ｍｄａｔ７０３はメディアデータを格納するためのメディアデータ領域と呼ぶことができる。 FIG. 7 shows the data structure of a file conforming to ISOBMFF. As shown in FIG. 7, an ISOBMFF compliant file includes ftyp701 (File Type Compatibility Box), moov702 (Movie Box), and mdat703 (Media Data Box) boxes. The ftyp 701 stores file format information, such as the fact that the file conforms to ISOBMFF, the version of the box, the name of the manufacturer that created the file, and the like. The moov 702 (movie box) stores metadata such as a time axis and an address for managing media data. The mdat 703 (media data box) stores media data to be actually reproduced as moving images. In this embodiment, the moov 702 can be called a metadata area for storing metadata, and the mdat 703 can be called a media data area for storing media data.

図８は、ｍｏｏｖ７０２に、素材データへのアクセス情報５００を記述する例を示した図である。図８（ａ）のように、ファイル全体のメタ情報を示すｍｅｔａ８０１に情報を付与することができる。またトラックごとに異なる映像をつなぎ合わせて編集されたファイルの場合は、図８（ｂ）のように、各トラックのボックスｍｅｔａ８０２にアクセス情報５００を記述することも可能である。また、図８（ｃ）のように、アクセス情報５００を格納する新たなボックスを定義しても良い。こうすることで、異なる素材データから生成された仮想視点映像を混在させた編集動画を生成した場合でも、それぞれのトラックから素材データへアクセスすることが可能となる。 FIG. 8 is a diagram showing an example of describing the access information 500 to the material data in the moov 702. As shown in FIG. As shown in FIG. 8A, information can be added to meta 801 indicating meta information of the entire file. In the case of a file edited by connecting different videos for each track, it is possible to write access information 500 in the box meta 802 of each track as shown in FIG. 8B. Alternatively, a new box for storing the access information 500 may be defined as shown in FIG. 8(c). By doing so, even when an edited moving image is generated in which virtual viewpoint videos generated from different material data are mixed, it is possible to access the material data from each track.

アクセス情報５００を格納するための新たなボックスの例を以下に示す。 An example of a new box for storing access information 500 is shown below.

aligned(8) class MetaBox (handler_type)
extends FullBox(‘meta’, version = 0, 0) {
HandlerBox(handler_type) theHandler;
PrimaryItemBox primary_resource; // optional
DataInformationBox file_locations; // optional
ItemLocationBox item_locations; // optional
ItemProtectionBox protections; // optional
ItemInfoBox item_infos; // optional
IPMPControlBox IPMP_control; // optional
ItemReferenceBox item_refs; // optional
ItemDataBox item_data; // optional
Original_Data_Access_info // optional
Box other_boxes[]; // optional
}
ここで、Original_Data_Access_infoが素材データへのアクセス情報５００を表す。このボックスは
Box Type: ‘odai’
Container: Meta box (‘meta’)
Mandatory: No
Quantity: Zero or one
そのシンタックスは
aligned(8) class ItemLocationBox extends FullBox(‘odai’,version,0) {
unsigned int(32) offset_size;
unsigned int(32) length_size;
unsigned int(32) base_offset_size;
if (version == 1) {
unsigned int(32) index_size;
} else {
unsigned int(32) reserved;
unsigned int(32) ; //

}
for (i=0, i<4; i++) {
unsigned char(8) Information Version[i]; //アクセス情報バージョン
}
unsigned int(32) Access Info Flag; //アクセス情報フラグ
unsigned int(32) Database URL Character Num;
//データベースＵＲＬ文字数
for (i=0, i<Database URL Character Num; i++) {
char(8) Database URL[i]; /データベースURL
}
for (i=0, i<15; i++) {
char(8) Database IP Address[i]; //データベースIPアドレス
}
unsigned int(32) Data Name Character Num; //データ名 文字数
for (i=0, i<Database Name Character Num; i++) {
char(8) Database Name[i]; //データ名
}
unsigned int(32) Video Create Portal Site URL Character Num;
//映像生成ポータルサイトURL 文字数
for (i=0, i< Video Create Portal Site URL Character Num; i++) {
char(8) Video Create Portal Site URL [i];
//映像生成ポータルサイトURL
}
unsigned int(32) Start Time Of Using Data; //データ使用開始時間
unsigned int(32) End Time Of Using Data; //データ使用終了時間
}
となる。なお、アクセス情報５００はボックスで構成されるため、図８（ｃ）のように別途設定しても構わない。また、ＩＳＯＢＭＦＦは一例であり、アクセス情報５００が他のファイルフォーマットに準拠したファイルにメタデータとして格納されるようにしても良い。 aligned(8) class MetaBox (handler_type)
extends FullBox('meta', version = 0, 0) {
HandlerBox(handler_type) theHandler;
PrimaryItemBox primary_resource;
DataInformationBox file_locations;
ItemLocationBox item_locations;
ItemProtectionBox protections;
ItemInfoBox item_infos;
IPMPControlBox IPMP_control;
ItemReferenceBox item_refs;
ItemDataBox item_data;
Original_Data_Access_info // optional
Box other_boxes[];
}
Here, Original_Data_Access_info represents the access information 500 to the material data. This box is
Box Type: 'odai'
Container: Meta box ('meta')
Mandatory: No
Quantity: Zero or one
Its syntax is
aligned(8) class ItemLocationBox extends FullBox('odai',version,0) {
unsigned int(32) offset_size;
unsigned int(32) length_size;
unsigned int(32) base_offset_size;
if (version == 1) {
unsigned int(32) index_size;
} else {
unsigned int(32) reserved;
unsigned int(32); //

}
for (i=0, i<4; i++) {
unsigned char(8) Information Version[i]; // access information version
}
unsigned int(32) Access Info Flag;
unsigned int(32) Database URL Character Num;
//Database URL number of characters
for (i=0, i<Database URL Character Num; i++) {
char(8) Database URL[i]; /Database URL
}
for (i=0, i<15; i++) {
char(8) Database IP Address[i]; //Database IP Address
}
unsigned int(32) Data Name Character Num;
for (i=0, i<Database Name Character Num; i++) {
char(8) Database Name[i]; //data name
}
unsigned int(32) Video Create Portal Site URL Character Num;
// Video generation portal site URL number of characters
for (i=0, i< Video Create Portal Site URL Character Num; i++) {
char(8) Video Create Portal Site URL [i];
// Video generation portal site URL
}
unsigned int(32) Start Time Of Using Data;
unsigned int(32) End Time Of Using Data;
}
becomes. Since the access information 500 is composed of boxes, it may be set separately as shown in FIG. 8(c). Also, ISOBMFF is an example, and the access information 500 may be stored as metadata in a file conforming to another file format.

以下、カメラ映像機器工業会規格ＤＣ－００８－２０１２デジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ２．３に準拠したフォーマットでアクセス情報５００を記述する場合の例について説明する。図９（ａ）は、Ｅｘｉｆ規格に準拠したファイルフォーマットに、アクセス情報５００を記述する場合の例を示している。 An example of describing the access information 500 in a format conforming to the Camera and Imaging Products Association standard DC-008-2012 digital still camera image file format standard Exif 2.3 will be described below. FIG. 9A shows an example of writing access information 500 in a file format conforming to the Exif standard.

図９（ａ）は、使用カメラ情報を、Ｄａｔａ Ａｃｃｅｓｓ Ｉｎｆｏ Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ（以下、ＤＡＩ ＩＦＤ）９０２として定義し、素材データへのアクセス情報５００を格納している。図１０に、ＤＡＩ ＩＦＤのタグ情報の構成の一例を示す。また、ＤＡＩ ＩＦＤ Ｐｏｉｎｔｅｒ９０１は、ＤＡＩ ＩＦＤ９０２を指し示すポインタである。 In FIG. 9A, used camera information is defined as Data Access Info Image File Directory (hereinafter referred to as DAI IFD) 902, and access information 500 to material data is stored. FIG. 10 shows an example of the configuration of tag information of the DAI IFD. Also, the DAI IFD Pointer 901 is a pointer pointing to the DAI IFD 902 .

図１０において、ＤＡＩタグのバージョンは１から始まる値であり、以下に続くデータのフォーマットのバージョンを表している。アクセス情報フラグはビットごとの１又は０の値で、以下に続く情報が有効か否かを示し、４バイト符号なし整数で表現される。データベースＵＲＬ文字数は、データベースＵＲＬの文字数を示し、４バイト符号なし整数で表現される。データベースＵＲＬは、データベースのＵＲＬを示し、ＡＳＣＩＩで表現される。ＡＳＣＩＩは、１つの７ピットＡＳＣＩＩコードを納めた８ビットバイトである。データベースＩＰアドレスは、データベースのＩＰアドレスを示し、ＡＳＣＩＩで表現される。データＩＤは、データを一意に特定するためのＩＤであり、４バイト符号なし整数で表現される。データ名文字数は、データ名の文字数を示し、４バイト符号なし整数で表現される。データ名は、データ名を示し、ＡＳＣＩＩで表現される。 In FIG. 10, the version of the DAI tag is a value starting from 1 and represents the format version of the data that follows. The access information flag is a value of 1 or 0 for each bit, and indicates whether or not the following information is valid, and is represented by a 4-byte unsigned integer. The number of database URL characters indicates the number of characters in the database URL and is represented by a 4-byte unsigned integer. The database URL indicates the URL of the database and is expressed in ASCII. ASCII is an 8-bit byte containing one 7-bit ASCII code. The database IP address indicates the IP address of the database and is expressed in ASCII. The data ID is an ID for uniquely identifying data, and is represented by a 4-byte unsigned integer. The number of data name characters indicates the number of characters in the data name and is represented by a 4-byte unsigned integer. A data name indicates a data name and is expressed in ASCII.

映像生成ポータルサイトＵＲＬ文字数は、映像生成ポータルサイトのＵＲＬの文字数を示し、４バイト符号なし整数で表現される。映像生成ポータルサイトＵＲＬは仮想視点映像生成のサービスを提供するポータルサイトのＵＲＬを示し、ＡＳＣＩＩで表現される。データ使用開始時間及びデータ使用終了時間は、どの時間からどの時間までの素材データで仮想視点映像が生成されたかを示す。データ使用開始時間及びデータ使用終了時間は、４バイト符号なし整数で表現され、たとえば１バイトずつ１０進数で時間、分、秒、及びフレームを示す方式を用いる。ただし、上記の情報の順序、データ長はこれに限定されない。また、図１０で示すすべての情報がアクセス情報５００として必須であるとは限らない。また、図１０で示す情報以外の情報がアクセス情報５００に含まれることもありうる。 The video generation portal site URL character count indicates the number of characters in the URL of the video generation portal site, and is represented by a 4-byte unsigned integer. The video generation portal site URL indicates the URL of the portal site that provides the virtual viewpoint video generation service, and is expressed in ASCII. The data use start time and the data use end time indicate from what time to what time the virtual viewpoint video was generated with the material data. The data use start time and data use end time are represented by 4-byte unsigned integers, and for example, a system is used in which hours, minutes, seconds, and frames are indicated by 1-byte decimal numbers. However, the order and data length of the above information are not limited to this. Also, not all the information shown in FIG. 10 is essential as the access information 500 . Also, information other than the information shown in FIG. 10 may be included in the access information 500 .

図９（ｂ）は、Ｅｘｉｆ規格では定義されていないが、ベンダーあるいは業界団体が任意に利用することができる未定義のＡＰＰｎマーカであるＡＰＰ３（８１１）に準拠する形式でアクセス情報５００を格納する例を示している。このように、既存の静止画用ファイルフォーマットであるＥｘｉｆ規格に、素材データへのアクセス情報５００を格納するための領域を追加定義し、仮想視点パラメータ付き仮想視点映像を生成することできる。 FIG. 9(b) stores the access information 500 in a format conforming to APP3 (811), which is an undefined APPn marker that is not defined in the Exif standard but can be used arbitrarily by vendors or industry groups. shows an example. In this manner, an area for storing the access information 500 to the material data is additionally defined in the Exif standard, which is an existing file format for still images, and a virtual viewpoint video with virtual viewpoint parameters can be generated.

上記実施形態では、動画フォーマットとしてＩＳＯＢＭＦＦ規格、静止画フォーマットとしてＥｘｉｆ規格を例に説明したが、フォーマットはこれに限るものではなく、他の規格であっても、独自のフォーマットであっても構わない。また、アクセス情報５００に含まれる各パラメータの値及び表現は上述の例に限定されない。 In the above embodiment, the ISOBMFF standard is used as the moving image format, and the Exif standard is used as the still image format. . Also, the value and expression of each parameter included in the access information 500 are not limited to the above examples.

また、今回はネットワークでつながった機器同士が連携する例について紹介したが、ひとつの装置内に素材データと、その素材データから生成された仮想視点映像がある場合は、ローカルフォルダパス等で素材データへのアクセス情報を表現することもできる。 This time, we introduced an example where devices connected via a network work together. It is also possible to express access information to

次に、ｗｅｂページを動画ポータルサイトとする動画配信サービスのクライアントとして、ファイル処理装置２０が動作する場合の例について説明する。ファイル処理装置２０は、ｗｅｂブラウザを有するものとする。ｗｅｂブラウザは、ファイルサーバ３０から送信されたｗｅｂページデータを解析し、画面を再構成することで、ユーザは動画ポータルサイトを閲覧する。 Next, an example in which the file processing device 20 operates as a client of a video distribution service that uses a web page as a video portal site will be described. It is assumed that the file processing device 20 has a web browser. The web browser analyzes the web page data transmitted from the file server 30 and reconfigures the screen so that the user can view the video portal site.

図１１は動画ポータルサイトのトップ画面を例示した図である。トップ画面は、キーワードで動画を検索可能な検索バー１１００、ジャンル等から動画を検索できるメニュー画面１１０１、おすすめファイルリスト１１０２などから構成される。おすすめファイルリスト１１０２により示される各動画は、サムネイル画面、タイトル、投稿者、及び視聴回数などで構成される。例えばユーザが、マウスなどで動画をクリックすると、動画再生画面に遷移する。 FIG. 11 is a diagram exemplifying the top screen of the video portal site. The top screen is composed of a search bar 1100 for searching for videos by keyword, a menu screen 1101 for searching for videos by genre or the like, a recommended file list 1102, and the like. Each moving image indicated by the recommended file list 1102 is composed of a thumbnail screen, title, contributor, viewing count, and the like. For example, when the user clicks the video with a mouse or the like, the screen transitions to the video playback screen.

図１２は、動画再生画面を例示した図である。動画再生画面は、動画が表示される動画ウィンドウ１２００、再生ボタン、停止ボタン、及び時間的な再生位置を指定するシークバーなどを備えた再生操作バー１２０１を有する。また、動画再生画面は、素材データへのアクセスボタン１２０２を有する。 FIG. 12 is a diagram exemplifying a video playback screen. The video playback screen has a video window 1200 on which a video is displayed, a playback button 1201, a stop button, and a playback operation bar 1201 including a seek bar for designating a temporal playback position. The video playback screen also has an access button 1202 to access material data.

例えば、本実施形態のファイルサーバ３０のメタデータ解析部３０６は、ファイル処理装置２０に対して提供する仮想視点映像ファイルにアクセス情報５００が含まれているかを判定する。そしてファイルサーバ３０は、アクセス情報５００が含まれていると判定された場合、ファイル処理装置２０により表示される動画再生画面上に、素材データへのアクセスボタン１２０２（所定領域）を加えることができる。 For example, the metadata analysis unit 306 of the file server 30 of this embodiment determines whether the access information 500 is included in the virtual viewpoint video file provided to the file processing device 20 . When the file server 30 determines that the access information 500 is included, the file server 30 can add an access button 1202 (predetermined area) to the material data on the video playback screen displayed by the file processing device 20. .

ユーザが再生中の仮想視点映像と同じ素材データに基づいて異なる視点の仮想視点映像を生成したいと考えた場合、素材データへのアクセスボタン１２０２を押下（クリック）する。そのユーザ操作に応じて、素材データ要求部２０９がファイルサーバ３０に対し、素材データを要求し、前述の通り、ファイルサーバ３０（又は素材サーバ１０）から素材データを取得する。図１３は、ファイル処理装置２０がファイルサーバ３０（又は素材サーバ１０）から素材データを取得して、仮想視点映像を生成するための画面を例示する図である。図１３の画面は、仮想視点映像を再生するウィンドウ１３００、編集対象とする時間の指定のための時間指定バー１３０１、編集スタートボタン１３０２、編集ストップボタン１３０３、静止操作ボタン１３０４、及び、仮想視点映像再生バー１３０５を有する。 When the user wants to generate a virtual viewpoint video with a different viewpoint based on the same material data as the virtual viewpoint video being reproduced, the user presses (clicks) the material data access button 1202 . In response to the user's operation, the material data requesting unit 209 requests material data from the file server 30, and acquires the material data from the file server 30 (or material server 10) as described above. FIG. 13 is a diagram illustrating a screen for the file processing device 20 to acquire material data from the file server 30 (or the material server 10) and generate a virtual viewpoint video. The screen of FIG. 13 includes a window 1300 for reproducing a virtual viewpoint video, a time designation bar 1301 for designating a time to be edited, an edit start button 1302, an edit stop button 1303, a still operation button 1304, and a virtual viewpoint video. It has a play bar 1305 .

ユーザは、時間指定バー１３０１で、編集を開始する時間を指定する。そして、編集スタートボタン１３０２を押下すると時間が進み始め、ユーザはマウスや専用コントローラなどを使って仮想視点を操作する。これにより、オリジナルの視点に基づく仮想視点映像が生成される。ユーザが編集ストップボタン１３０３を押下すると編集が終了する。仮想視点映像再生バー１３０５を操作すると、新たに生成された仮想視点映像を確認することができる。 The user designates a time to start editing using a time designation bar 1301 . Then, when the edit start button 1302 is pressed, the time starts to advance, and the user operates the virtual viewpoint using a mouse, dedicated controller, or the like. As a result, a virtual viewpoint video based on the original viewpoint is generated. Editing ends when the user presses an edit stop button 1303 . By operating the virtual viewpoint video reproduction bar 1305, the newly generated virtual viewpoint video can be confirmed.

以上、第一実施形態では、仮想視点映像データと、該仮想視点映像データの生成に用いられた素材データにアクセスするためのアクセス情報５００とを含む仮想視点映像ファイルを生成する。これにより、該仮想視点映像ファイルを取得したファイル処理装置２０は、アクセス情報に基づいて素材データへアクセス可能となり、異なる視点の仮想視点映像を簡単に生成できるようになる。 As described above, in the first embodiment, the virtual viewpoint video file is generated that includes the virtual viewpoint video data and the access information 500 for accessing the material data used to generate the virtual viewpoint video data. As a result, the file processing device 20 that has acquired the virtual viewpoint video file can access the material data based on the access information, and can easily generate virtual viewpoint videos from different viewpoints.

なお、本実施形態では素材データの取得をファイルサーバ３０経由で行う例を中心に説明したが、これに限定さない。例えば、素材データ要求部２０９がメタデータ解析部３０６の機能を持つことで、ファイル処理装置２０が直接的に素材サーバ１０に素材データを要求しても良い。 In the present embodiment, an example in which material data is obtained via the file server 30 has been mainly described, but the present invention is not limited to this. For example, the material data requesting unit 209 may have the function of the metadata analyzing unit 306 so that the file processing device 20 may directly request material data from the material server 10 .

なお、素材データへのアクセスボタン１２０２はこれに限らず、「再構成可能ボタン」または「編集ボタン」のように、素材データへのアクセスの可否を直接あらわさない表現にしても良い。 Note that the material data access button 1202 is not limited to this, and may be an expression that does not directly indicate whether or not the material data is accessible, such as "reconfigurable button" or "edit button".

＜第二実施形態＞
第一実施形態では、ファイル処理装置２０が、素材サーバ１０に記録された素材データをファイルサーバ３０経由で取得する場合の例を中心に説明した。これに対し、第二実施形態では、ファイル処理装置２０が素材サーバ１０から直接的に素材データを取得する形態について説明する。 <Second embodiment>
In the first embodiment, an example in which the file processing device 20 acquires the material data recorded in the material server 10 via the file server 30 has been mainly described. On the other hand, in the second embodiment, a form in which the file processing device 20 directly acquires material data from the material server 10 will be described.

図１４は、第二実施形態における素材サーバ４０、ファイル処理装置５０、及びファイルサーバ６０の詳細を説明するためのブロック図である。図１と同様のブロックについては、同じ番号を付与し、その説明を省略する。 FIG. 14 is a block diagram for explaining details of the material server 40, the file processing device 50, and the file server 60 in the second embodiment. Blocks similar to those in FIG. 1 are assigned the same numbers, and descriptions thereof are omitted.

ファイル処理装置５０が、仮想視点映像データと素材データへのアクセス情報とを有する仮想視点映像ファイルをファイルサーバ６０に出力することについては第一実施形態と第二実施形態において共通である。 The file processing device 50 outputs to the file server 60 a virtual viewpoint video file containing virtual viewpoint video data and material data access information is common to the first embodiment and the second embodiment.

本実施形態では、ファイル処理装置５０がファイルサーバ６０から仮想視点映像ファイルを取得し、該ファイルに含まれるアクセス情報に基づいて素材サーバ４０から素材データを取得し、新たな仮想視点に基づく仮想視点映像データを生成するケースを説明する。 In this embodiment, the file processing device 50 acquires the virtual viewpoint video file from the file server 60, acquires the material data from the material server 40 based on the access information included in the file, and acquires the virtual viewpoint based on the new virtual viewpoint. A case of generating video data will be described.

ファイル処理装置５０のファイル受信部５０１は、所定のユーザ操作（例えば素材データの取得指示）の入力に応じて、メタデータ解析部５０２に仮想視点映像ファイル中のメタデータを送信する。 The file reception unit 501 of the file processing device 50 transmits metadata in the virtual viewpoint video file to the metadata analysis unit 502 in response to the input of a predetermined user operation (for example, an instruction to acquire material data).

メタデータ解析部５０２は、ファイル受信部５０１から受け取ったメタデータを解析し、仮想視点映像ファイルの素材データへのアクセス情報を抽出する。メタデータ解析部５０２は、素材データへのアクセス情報がメタデータに含まれていない場合は、ファイル受信部５０１にその旨を通知する。この場合、映像出力部２０３は、素材データへのアクセスができない旨を示す画像を表示する。メタデータにアクセス情報が含まれている場合、メタデータ解析部５０２は、アクセス情報をデータ受信部５０３に送信する。アクセス情報の具体例は第一実施形態において説明した通りである。すなわち、素材データを記録する装置（素材サーバ１０）のＩＰアドレスと、素材データを特定するための識別情報（データＩＤ）の組み合わせなどがありうる。また、アクセス情報の別の例としては、特定の素材データに所在を表すＵＲＬなどもありうる。 The metadata analysis unit 502 analyzes the metadata received from the file reception unit 501 and extracts access information to the material data of the virtual viewpoint video file. If the metadata does not include access information to the material data, the metadata analysis unit 502 notifies the file reception unit 501 of that effect. In this case, the video output unit 203 displays an image indicating that the material data cannot be accessed. If access information is included in the metadata, metadata analysis section 502 transmits the access information to data reception section 503 . A specific example of the access information is as described in the first embodiment. That is, there may be a combination of the IP address of the device (material server 10) that records the material data and the identification information (data ID) for specifying the material data. Another example of access information is a URL indicating the location of specific material data.

データ受信部５０３は、アクセス情報に基づいて素材データの取得を行う。例えば、アクセス情報が素材サーバ４０のＩＰアドレスとデータＩＤであった場合、データ受信部５０３は、素材サーバ４０の外部インタフェース部１００に該データＩＤを指定して素材データを要求する。 The data receiving unit 503 acquires material data based on the access information. For example, if the access information is the IP address and data ID of the material server 40, the data receiving unit 503 specifies the data ID and requests material data from the external interface unit 100 of the material server 40. FIG.

素材サーバ４０の外部インタフェース部１００は、データ取得部１０３を介してデータ蓄積部１０２から素材データを取得し、データ送信部１０４を介してファイル処理装置５０へ送信する。なお、ファイル処理装置５０のデータ受信部５０３は、素材サーバ４０から受け取った素材データを仮想視点映像生成部２０１に提供すると共に、アクセス情報をアクセス情報付与部２０５に対して提供する。このようにすることで、新たに生成される仮想視点映像データに基づいて仮想視点映像ファイルを生成する場合においても、その生成に用いられた素材データのアクセス情報を含めることができるようになる。 The external interface unit 100 of the material server 40 acquires material data from the data storage unit 102 via the data acquisition unit 103 and transmits the material data to the file processing device 50 via the data transmission unit 104 . The data receiving unit 503 of the file processing device 50 provides the material data received from the material server 40 to the virtual viewpoint video generating unit 201 and provides access information to the access information providing unit 205 . By doing so, even when a virtual viewpoint video file is generated based on newly generated virtual viewpoint video data, it is possible to include the access information of the material data used for the generation.

以上、第二実施形態によれば、ファイル処理装置５０が、仮想視点映像を生成するための素材データへのアクセス情報を解析し、素材データを取得する。このような方法によれば、ファイルサーバ６０を介さずに素材データを取得できるため、素材データの取得に要する時間の削減や、システム全体の負荷削減などの効果が期待できる。 As described above, according to the second embodiment, the file processing device 50 analyzes the access information to the material data for generating the virtual viewpoint video, and acquires the material data. According to such a method, the material data can be acquired without going through the file server 60, so effects such as reduction of the time required for acquiring the material data and reduction of the load on the entire system can be expected.

＜その他の実施形態＞
第一及び第二実施形態では、オブジェクト（前景）の３次元形状データの構成要素（例えばボクセル）と撮影画像の構成要素（例えば画素）との位置の対応関係に基づいて、前景の３次元形状に色づけが行われるケースを想定して説明している。しかしながら、このような色づけ処理は三次元計算を伴うため、処理負荷が高い。したがって、ファイル処理装置５０としての機能をスマートフォンなどの端末によって実現することができない可能性も考えられる。そこで、例えば下記のような方式を用いることにより、スマートフォンなど処理性能が高くない端末においても仮想視点映像の生成ができるようになる。 <Other embodiments>
In the first and second embodiments, the three-dimensional shape of the foreground is determined based on the positional correspondence between the components (eg, voxels) of the three-dimensional shape data of the object (foreground) and the components (eg, pixels) of the captured image. It is explained assuming a case where coloring is performed on . However, since such coloring processing involves three-dimensional calculation, the processing load is high. Therefore, it is conceivable that the function of the file processing device 50 cannot be realized by a terminal such as a smart phone. Therefore, for example, by using the following method, it becomes possible to generate a virtual viewpoint video even in a terminal such as a smartphone that does not have high processing performance.

まず、素材サーバ４０において、あらかじめオブジェクトの３次元形状データの各構成要素の色を決定し、色つきの３次元形状データを生成する。そして、素材サーバ４０は、色つきの３次元形状データを素材データとしてファイル処理装置５０へ提供する。このようにすれば、ファイル処理装置５０の仮想視点映像生成部２０１は３次元形状データに対する色づけ処理を省略することができる。 First, in the material server 40, the color of each component of the three-dimensional shape data of the object is determined in advance to generate colored three-dimensional shape data. Then, the material server 40 provides the file processing device 50 with the colored three-dimensional shape data as material data. By doing so, the virtual viewpoint video generation unit 201 of the file processing device 50 can omit the coloring process for the three-dimensional shape data.

また、色づけ処理の省略に代えて、又は、色づけ処理の省略に加えて、画像サイズを小さくする、フレームレートを低くするなどの処理負荷の低減方法を採用しても良い。処理端末（ファイル処理装置５０）の性能や負荷状況に合わせて素材データやレンダリング方法が選択されるようにしても良い。 Alternatively, instead of omitting the coloring process, or in addition to omitting the coloring process, a method of reducing the processing load such as reducing the image size or lowering the frame rate may be adopted. The material data and rendering method may be selected according to the performance and load status of the processing terminal (file processing device 50).

また、仮想視点映像ファイルは、動画のファイルフォーマットに準拠したファイルであっても良いし、静止画のファイルフォーマットに準拠したファイルであっても良いし、イメージシーケンスのファイルフォーマットに準拠したファイルであっても良い。 Also, the virtual viewpoint video file may be a file conforming to a moving image file format, a file conforming to a still image file format, or a file conforming to an image sequence file format. can be

例えば、静止画データ（仮想視点静止画）とアクセス情報を含む静止画ファイルを生成し、それをファイル処理装置２０に提供されるようにしても良い。この場合、ファイル処理装置２０は、静止画データに基づく静止画を再生する。そして、所定のユーザ操作の入力に応じて、ファイル処理装置２０が素材サーバ１０から素材データを取得し、該静止画とは別のアングルに基づく静止画を生成するようにしても良い。このようにすれば、例えば、ユーザがあるアングルに基づく静止画を再生中に、別のアングルから見たいと考えたときに、アングルを変更した新たな静止画を容易に生成できるようになる。 For example, a still image file containing still image data (virtual viewpoint still image) and access information may be generated and provided to the file processing device 20 . In this case, the file processing device 20 reproduces still images based on the still image data. Then, the file processing device 20 may acquire the material data from the material server 10 in response to the input of a predetermined user operation, and generate a still image based on an angle different from that of the still image. In this way, for example, when a still image based on a certain angle is being reproduced and the user wants to view it from another angle, a new still image with a different angle can be easily generated.

また、画像サイズの変更や、トリミング、及び、色調整などの画像処理を行うファイル処理装置２０に対して、画像処理の実施前の静止画へのアクセス情報を含む画像ファイルを提供しても良い。このようにすれば、オリジナルの静止画を再処理することが可能となる。また同様に、動画についても、画像サイズの変更や、フレームレートの変更、時間方向のトリミングなどの処理を行う動画処理装置に対して、画像処理の実施前の動画へのアクセス情報を含む画像ファイルを提供するようにしても良い。 Also, an image file containing access information to a still image before image processing may be provided to the file processing device 20 that performs image processing such as image size change, trimming, and color adjustment. . In this way, the original still image can be reprocessed. Similarly, for moving images, an image file containing access information to the moving image before image processing is sent to the moving image processing device that performs processing such as changing the image size, changing the frame rate, and trimming in the time direction. may be provided.

また、素材データへのアクセス情報を暗号化しても良い。図１５は、素材データへのアクセス情報を暗号化する暗号化部７００と、素材データへのアクセス情報の暗号化を解除する暗号化解除部８００を含むファイル処理装置７０の例を示している。ファイル処理装置７０は、暗号化部７００で暗号化された素材データへのアクセス情報を含む仮想視点映像ファイルを生成する。また、ファイル処理装置７０は、アクセス情報が暗号化されていることを示すために、アクセス情報フラグの特定のビットを立てる。ここでは、３１ビット目をアクセス情報フラグとして使用するものとする。一方、ファイルサーバ８０は、ファイル処理装置７０から素材データを要求された場合、素材データへのアクセス情報の解析において、アクセス情報フラグを確認し、素材データへのアクセス情報が暗号化されているか確認する。暗号化されていた場合、暗号化解除部８００に素材データへのアクセス情報の暗号化解除を要求し、暗号化が解除された素材データへのアクセス情報を取得し、素材データへアクセスする。これにより素材データへのアクセス情報の秘匿性を高め、不正なアクセスを防止することが可能となる。 Also, the access information to the material data may be encrypted. FIG. 15 shows an example of a file processing device 70 including an encryption unit 700 that encrypts access information to material data and a decryption unit 800 that decrypts the access information to material data. The file processing device 70 generates a virtual viewpoint video file including access information to the material data encrypted by the encryption unit 700 . File processing device 70 also sets a specific bit in the access information flag to indicate that the access information is encrypted. Here, it is assumed that the 31st bit is used as an access information flag. On the other hand, when the file server 80 receives a request for the material data from the file processing device 70, the file server 80 checks the access information flag in analyzing the access information to the material data, and confirms whether the access information to the material data is encrypted. do. If it is encrypted, it requests the decryption unit 800 to decrypt the access information to the material data, acquires the access information to the decrypted material data, and accesses the material data. This makes it possible to increase the confidentiality of access information to material data and prevent unauthorized access.

また、上述の実施形態では、ファイル処理装置２０が仮想視点映像ファイルを生成する機能と、仮想視点映像ファイルを再生する機能の両方を有している場合の例を中心に説明した。しかしながら、この例に限らない。例えば、仮想視点映像ファイルを生成する機能のみを有する第１ファイル処理装置（ファイル生成装置）と、図１のファイル処理装置２０に対応する第２ファイル処理装置が存在するようにしても良い。 Further, in the above-described embodiment, an example in which the file processing device 20 has both the function of generating a virtual viewpoint video file and the function of reproducing the virtual viewpoint video file has been mainly described. However, it is not limited to this example. For example, there may be a first file processing device (file generation device) having only the function of generating a virtual viewpoint video file, and a second file processing device corresponding to the file processing device 20 in FIG.

また、上述の実施形態では、ファイル処理装置２０が仮想視点映像生成部２０１とファイル生成部２０４の両方を有している場合の例を中心に説明した。しかしこれに限らない。例えば、ファイル処理装置２０は、仮想視点映像生成装置から仮想視点映像データとアクセス情報を取得し、該仮想視点映像データとアクセス情報とを含む仮想視点映像ファイルを生成するようにしても良い。また、仮想視点映像データとアクセス情報が異なる装置から取得されるようにしても良い。また、素材サーバ１０とファイルサーバ３０が一体であっても良い。このように、図１のシステム構成には種々の変形例が存在することに留意されたい。 Further, in the above-described embodiment, an example in which the file processing device 20 has both the virtual viewpoint video generation unit 201 and the file generation unit 204 has been mainly described. However, it is not limited to this. For example, the file processing device 20 may acquire virtual viewpoint video data and access information from a virtual viewpoint video generation device, and generate a virtual viewpoint video file including the virtual viewpoint video data and access information. Also, the virtual viewpoint video data and the access information may be acquired from different devices. Also, the material server 10 and the file server 30 may be integrated. As such, it should be noted that there are various modifications to the system configuration of FIG.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１０ 素材サーバ
２０ ファイル処理装置
３０ ファイルサーバ
２００ データ受信部
２０４ ファイル生成部
２０６ ファイル出力部 10 Material Server 20 File Processing Device 30 File Server 200 Data Reception Unit 204 File Generation Unit 206 File Output Unit

Claims (17)

仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を取得する取得手段と、
前記取得手段により取得されたアクセス情報と前記取得手段により取得された仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成手段と、
前記ファイル生成手段により生成された仮想視点映像ファイルを出力する出力手段と、を有することを特徴とするファイル生成装置。 virtual viewpoint video data corresponding to a virtual viewpoint, and material data used for generating the virtual viewpoint video data , which are material data corresponding to a virtual viewpoint different from the virtual viewpoint video data corresponding to the virtual viewpoint video data; an acquisition means for acquiring access information used to acquire material data used to generate viewpoint video data ;
file generating means for generating a virtual viewpoint video file containing the access information obtained by the obtaining means and the virtual viewpoint video data obtained by the obtaining means;
and output means for outputting the virtual viewpoint video file generated by the file generation means. 仮想視点の位置及び仮想視点からの視線方向に関する仮想視点情報を取得する情報取得手段と、
前記情報取得手段により取得された仮想視点情報と前記素材データとに基づいて、前記仮想視点映像データを生成する映像生成手段と、を有することを特徴とする請求項１に記載のファイル生成装置。 information acquisition means for acquiring virtual viewpoint information regarding the position of the virtual viewpoint and the line-of-sight direction from the virtual viewpoint;
2. The file generating apparatus according to claim 1, further comprising video generating means for generating said virtual viewpoint video data based on said material data and said virtual viewpoint information obtained by said information obtaining means. 前記アクセス情報は、ＩＰアドレス及びＵＲＬのうち少なくとも何れか一方を含むことを特徴とする請求項１又は２に記載のファイル生成装置。 3. The file generation device according to claim 1, wherein said access information includes at least one of an IP address and a URL. 前記アクセス情報は、前記素材データを格納するファイルのファイル名、及び、前記素材データを識別するための識別情報のうち、少なくとも何れか一方を含むことを特徴とする請求項１乃至３の何れか１項に記載のファイル生成装置。 4. The access information according to any one of claims 1 to 3, wherein the access information includes at least one of a file name of a file storing the material data and identification information for identifying the material data. The file generation device according to item 1. 前記素材データは、オブジェクトの３次元形状データと、前記オブジェクトのテクスチャデータと、背景画像のテクスチャデータと、複数の撮影装置による撮影画像と、前記複数の撮影装置の位置及び姿勢に関する情報と、のうち、少なくとも何れか１つを含むことを特徴とする請求項１乃至４の何れか１項に記載のファイル生成装置。 The material data includes three-dimensional shape data of an object, texture data of the object, texture data of a background image, images captured by a plurality of photographing devices, information regarding the positions and orientations of the plurality of photographing devices, 5. The file generation device according to any one of claims 1 to 4, comprising at least one of: 前記仮想視点映像ファイルはメタデータ領域とメディアデータ領域とを含み、
前記ファイル生成手段は、前記メタデータ領域に前記アクセス情報が記述され、前記メディアデータ領域に前記仮想視点映像データが記述された前記仮想視点映像ファイルを生成することを特徴とする請求項１乃至５の何れか１項に記載のファイル生成装置。 the virtual viewpoint video file includes a metadata area and a media data area;
6. The file generating means generates the virtual viewpoint video file in which the access information is described in the metadata area and the virtual viewpoint video data is described in the media data area. The file generation device according to any one of 1. 前記取得手段は、前記素材データを記録する記録装置から前記アクセス情報を取得することを特徴とする請求項１乃至６の何れか１項に記載のファイル生成装置。 7. The file generation device according to claim 1, wherein said acquisition means acquires said access information from a recording device that records said material data. 前記ファイル生成手段は、前記仮想視点映像ファイルとして、ＩＳＯ／ＩＥＣ１４４９６－１２に基づくファイルフォーマットに対応するファイルを生成し、
前記アクセス情報は、ＩＳＯ／ＩＥＣ１４４９６－１２に基づく動画用ファイルフォーマットのムービーボックスに格納される
ことを特徴とする請求項１乃至７の何れか１項に記載のファイル生成装置。 The file generation means generates a file corresponding to a file format based on ISO/IEC14496-12 as the virtual viewpoint video file,
8. The file generation device according to claim 1, wherein said access information is stored in a movie box of a movie file format based on ISO/IEC14496-12. 前記ファイル生成手段は、前記仮想視点映像ファイルとして、Ｅｘｉｆに基づくファイルフォーマットに対応するファイルを生成し、
前記アクセス情報は、Ｅｘｉｆに準拠した形式で格納される
ことを特徴とする請求項１乃至７のうち、何れか１項に記載のファイル生成装置。 The file generation means generates a file corresponding to a file format based on Exif as the virtual viewpoint video file,
8. The file generation device according to any one of claims 1 to 7, wherein said access information is stored in a format conforming to Exif. 前記アクセス情報を暗号化する暗号化手段を有し、
前記ファイル生成手段は、前記暗号化手段により暗号化されたアクセス情報を含む仮想視点映像ファイルを生成することを特徴とする請求項１乃至９の何れか１項に記載のファイル生成装置。 having encryption means for encrypting the access information;
10. The file generation device according to claim 1, wherein said file generation means generates a virtual viewpoint video file containing the access information encrypted by said encryption means. 仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を含む仮想視点映像ファイルを取得する取得手段と、
前記取得手段により取得された仮想視点映像ファイルに含まれる前記アクセス情報を、前記仮想視点映像ファイルから抽出する抽出手段と、
前記抽出手段により抽出された前記アクセス情報を使用して、前記素材データの取得を要求する要求手段と、
前記要求手段による要求に基づいて取得された素材データを使用して、前記仮想視点映像ファイルに含まれる仮想視点映像データとは異なる他の仮想視点映像データを出力する出力手段と、を有することを特徴とする処理装置。 virtual viewpoint video data corresponding to a virtual viewpoint, and material data used for generating the virtual viewpoint video data , which are material data corresponding to a virtual viewpoint different from the virtual viewpoint video data corresponding to the virtual viewpoint video data; an acquisition means for acquiring a virtual viewpoint video file including access information used for acquiring material data used to generate viewpoint video data ;
an extraction means for extracting the access information included in the virtual viewpoint video file acquired by the acquisition means from the virtual viewpoint video file;
requesting means for requesting acquisition of the material data using the access information extracted by the extracting means;
and output means for outputting virtual viewpoint video data different from the virtual viewpoint video data contained in the virtual viewpoint video file, using the material data acquired based on the request by the request means. A processing device characterized by: 前記他の仮想視点映像データは、前記仮想視点映像ファイルに含まれる仮想視点映像データに対応する仮想視点とは異なる仮想視点に基づいて生成される仮想視点映像データであることを特徴とする請求項１１に記載の処理装置。 3. The virtual viewpoint video data generated based on a virtual viewpoint different from the virtual viewpoint video data corresponding to the virtual viewpoint video data included in the virtual viewpoint video file. 12. The processing apparatus according to 11. 前記仮想視点映像ファイルを提供するファイルサーバと、前記素材データを提供する素材サーバとは、異なることを特徴とする請求項１１又は１２に記載の処理装置。 13. The processing apparatus according to claim 11, wherein a file server that provides the virtual viewpoint video file and a material server that provides the material data are different. 前記取得手段により取得された前記仮想視点映像ファイルに含まれる仮想視点映像データを再生する再生手段と、
前記再生手段により再生される前記仮想視点映像データの再生画面上に表示される所定領域に対するユーザ操作を受け付ける受付手段と、を有し、
前記要求手段は、前記受付手段による前記ユーザ操作の受け付けに応じて、前記素材データの取得を要求することを特徴とする請求項１１乃至１３の何れか１項に記載の処理装置。 reproduction means for reproducing virtual viewpoint video data included in the virtual viewpoint video file acquired by the acquisition means;
reception means for receiving a user operation on a predetermined area displayed on a reproduction screen of the virtual viewpoint video data reproduced by the reproduction means;
14. The processing apparatus according to any one of claims 11 to 13, wherein the requesting means requests acquisition of the material data in response to acceptance of the user operation by the accepting means. 仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を取得する取得工程と、
前記取得工程により取得されたアクセス情報と前記取得工程により取得された仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成工程と、
前記ファイル生成工程により生成された仮想視点映像ファイルを出力する出力工程と、を有することを特徴とするファイル生成方法。 virtual viewpoint video data corresponding to a virtual viewpoint, and material data used for generating the virtual viewpoint video data , which are material data corresponding to a virtual viewpoint different from the virtual viewpoint video data corresponding to the virtual viewpoint video data; an acquisition step of acquiring access information used to acquire material data used to generate viewpoint video data ;
a file generating step of generating a virtual viewpoint video file including the access information obtained by the obtaining step and the virtual viewpoint video data obtained by the obtaining step ;
and an outputting step of outputting the virtual viewpoint video file generated by the file generating step. 仮想視点に対応する仮想視点映像データと、当該仮想視点映像データの生成に用いられた素材データであって、当該仮想視点映像データに対応する仮想視点とは異なる仮想視点に対応する他の仮想視点映像データの生成に用いられる素材データの取得のために使用されるアクセス情報と、を含む仮想視点映像ファイルを取得する取得工程と、
前記取得工程により取得された仮想視点映像ファイルに含まれる前記アクセス情報を、前記仮想視点映像ファイルから抽出する抽出工程と、
前記抽出工程により抽出された前記アクセス情報を使用して、前記素材データの取得を要求する要求工程と、
前記要求工程による要求に基づいて取得された素材データを使用して、前記仮想視点映像ファイルに含まれる仮想視点映像データとは異なる仮想視点に基づく他の仮想視点映像データを出力する出力工程と、を有することを特徴とする処理方法。 virtual viewpoint video data corresponding to a virtual viewpoint, and material data used for generating the virtual viewpoint video data , which are material data corresponding to a virtual viewpoint different from the virtual viewpoint video data corresponding to the virtual viewpoint video data; an obtaining step of obtaining a virtual viewpoint video file including access information used for obtaining material data used to generate viewpoint video data ;
an extracting step of extracting the access information included in the virtual viewpoint video file obtained by the obtaining step from the virtual viewpoint video file;
a requesting step of requesting acquisition of the material data using the access information extracted by the extracting step;
an output step of outputting other virtual viewpoint video data based on a virtual viewpoint different from the virtual viewpoint video data included in the virtual viewpoint video file, using the material data acquired based on the request in the requesting step; A processing method characterized by having コンピュータを、請求項１乃至１０の何れか１項に記載のファイル生成装置、又は、請求項１１乃至１４の何れか１項に記載の処理装置として動作させるためのプログラム。 A program for operating a computer as the file generation device according to any one of claims 1 to 10 or as the processing device according to any one of claims 11 to 14.
JP2018116888A 2018-06-20 2018-06-20 File generation device, file generation method, processing device, processing method, and program Active JP7218105B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018116888A JP7218105B2 (en) 2018-06-20 2018-06-20 File generation device, file generation method, processing device, processing method, and program
PCT/JP2019/023224 WO2019244731A1 (en) 2018-06-20 2019-06-12 File generation device, file generation method, processing device, processing method, and program
US17/122,931 US11431957B2 (en) 2018-06-20 2020-12-15 File generation apparatus, file generation method, processing apparatus, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116888A JP7218105B2 (en) 2018-06-20 2018-06-20 File generation device, file generation method, processing device, processing method, and program

Publications (3)

Publication Number Publication Date
JP2019220847A JP2019220847A (en) 2019-12-26
JP2019220847A5 JP2019220847A5 (en) 2021-07-29
JP7218105B2 true JP7218105B2 (en) 2023-02-06

Family

ID=68983326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116888A Active JP7218105B2 (en) 2018-06-20 2018-06-20 File generation device, file generation method, processing device, processing method, and program

Country Status (3)

Country Link
US (1) US11431957B2 (en)
JP (1) JP7218105B2 (en)
WO (1) WO2019244731A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212591A (en) 2016-05-25 2017-11-30 キヤノン株式会社 Control apparatus, control method, and program
JP2018513574A (en) 2015-02-10 2018-05-24 ノキア テクノロジーズ オサケユイチア Method, apparatus and computer program product for processing an image sequence track

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005200888B2 (en) * 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
JP4737573B2 (en) * 2009-02-05 2011-08-03 富士フイルム株式会社 3D image output apparatus and method
CN103339947B (en) * 2011-02-03 2014-07-30 富士胶片株式会社 3D video playing device, 3D video playing program and recording medium for same, 3D display device, 3D imaging device, and 3D video playing method
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
JP6429829B2 (en) * 2016-05-25 2018-11-28 キヤノン株式会社 Image processing system, image processing apparatus, control method, and program
WO2019012817A1 (en) * 2017-07-14 2019-01-17 ソニー株式会社 Image processing device, image processing method for image processing device, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513574A (en) 2015-02-10 2018-05-24 ノキア テクノロジーズ オサケユイチア Method, apparatus and computer program product for processing an image sequence track
JP2017212591A (en) 2016-05-25 2017-11-30 キヤノン株式会社 Control apparatus, control method, and program

Also Published As

Publication number Publication date
JP2019220847A (en) 2019-12-26
US11431957B2 (en) 2022-08-30
WO2019244731A1 (en) 2019-12-26
US20210105450A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
EP1249002B1 (en) Authenticating metadata and embedding metadata in watermarks of media signals
CN1604080B (en) Image file container
US20020105529A1 (en) Generation and display of multi-image video streams
JP2009506475A (en) Integrated multimedia file format structure and multimedia service system and method based on the integrated multimedia file format structure
US20080195924A1 (en) Method and apparatus for encoding multimedia contents and method and system for applying encoded multimedia contents
JP2000069442A (en) Moving picture system
JP6004283B2 (en) Multimedia content editing server, multimedia content editing method, program, and integrated circuit
JP2005513831A (en) Conversion of multimedia data for distribution to many different devices
US20150035999A1 (en) Method for sharing digital photos securely
CN107851425B (en) Information processing apparatus, information processing method, and program
JP2006308952A (en) Character information generating device and method, character information display device and method, digital movie picture screening method and system, and subtitle display device
JP4303085B2 (en) Content provision service system
EP1357495A1 (en) Content data encoding system and content registering system
JP7218105B2 (en) File generation device, file generation method, processing device, processing method, and program
EP3952275A1 (en) File generation device, file generation method, file reproduction device, file reproduction method, and program
JP5782120B2 (en) Content data playback method and thumbnail image generation method
US20230006818A1 (en) File processing device and file processing method
US9219945B1 (en) Embedding content of personal media in a portion of a frame of streaming media indicated by a frame identifier
JP2010206540A (en) File generating apparatus, file reproducing apparatus and computer program
US8565425B2 (en) Recording medium, method for manufacturing the same and apparatus for reproducing the same
KR20050116846A (en) A method of providing a personal informaion processor with caption information corresponding to multimedia contents and a system thereof
JP4017436B2 (en) 3D moving image data providing method and display method thereof, providing system and display terminal, execution program of the method, and recording medium recording the execution program of the method
KR100960092B1 (en) Method and system for uploading image data
JP4373739B2 (en) Digital camera
US20230104640A1 (en) File processing device, file processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R151 Written notification of patent or utility model registration

Ref document number: 7218105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151