WO2018066382A1 - 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム - Google Patents

再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム Download PDF

Info

Publication number
WO2018066382A1
WO2018066382A1 PCT/JP2017/034238 JP2017034238W WO2018066382A1 WO 2018066382 A1 WO2018066382 A1 WO 2018066382A1 JP 2017034238 W JP2017034238 W JP 2017034238W WO 2018066382 A1 WO2018066382 A1 WO 2018066382A1
Authority
WO
WIPO (PCT)
Prior art keywords
free
edit
stream
editing
recording
Prior art date
Application number
PCT/JP2017/034238
Other languages
English (en)
French (fr)
Inventor
充 勝股
仕豪 温
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/330,616 priority Critical patent/US11398077B2/en
Priority to JP2018543838A priority patent/JP6988813B2/ja
Priority to CN201780059930.6A priority patent/CN109791707B/zh
Publication of WO2018066382A1 publication Critical patent/WO2018066382A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Definitions

  • the present disclosure relates to a playback device and a playback method, a recording device and a recording method, a playback recording device and a playback recording method, and a program, and in particular, a playback device and a playback capable of supporting a more appropriate 3D model display.
  • the present invention relates to a method, a recording apparatus, a recording method, a reproduction recording apparatus, a reproduction recording method, and a program.
  • moving image content such as UGC (User-Generated Contents) is distributed on a distribution site where a user can upload a moving image, or moving image content such as a movie or a drama is free or charged on a commercial distribution site.
  • UGC User-Generated Contents
  • moving image contents 2D moving image contents in which the line-of-sight direction and the viewpoint position are fixed by the camera work at the time of content generation are mainly used.
  • omnidirectional moving image content moving image content
  • the line-of-sight direction can be freely changed. Since the omnidirectional video content can change the line-of-sight direction according to the orientation of the face using, for example, a head-mounted display, it has a higher sense of realism and is expected to spread in the future.
  • moving image content (hereinafter referred to as free viewpoint video) that can change the line-of-sight direction in the same way as the omnidirectional moving image content and can move freely in the space reproduced by the moving image.
  • free viewpoint video moving image content
  • Patent Document 1 discloses a metadata structure capable of editing information on the size and position of a moving image to be output as metadata related to moving image data.
  • Patent Document 2 discloses a playback apparatus that can select a display format based on playlist information including playback attribute information, a stream information table that enables a display method according to age, and the like. Yes.
  • a free viewpoint space in which 3D models are arranged is created by rendering objects and texture data.
  • the free viewpoint moving image content as described above can have data as a 3D model, but depending on various situations, the 3D model was not properly displayed.
  • the present disclosure has been made in view of such a situation, and is intended to be able to cope with display of a more appropriate 3D model.
  • the playback device is set by a playback processing unit that plays back a free-viewpoint video content composed of a free-viewpoint video stream and an edit data stream, and edit data that forms the edit data stream.
  • a display control unit that controls display of a 3D model arranged in a space reproduced by the free viewpoint moving image stream according to the basic information, with reference to additional information set in the editing data.
  • the playback method or program according to the first aspect of the present disclosure plays back a free-viewpoint video content composed of a free-viewpoint video stream and an edit data stream, and is set with edit data constituting the edit data stream. Controlling the display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information with reference to the additional information set in the editing data.
  • a free viewpoint moving image content including a free viewpoint moving image stream and an editing data stream is reproduced, and the free viewpoint is determined according to basic information set in the editing data constituting the editing data stream.
  • the display of the 3D model arranged in the space reproduced by the moving image stream is controlled with reference to the additional information set in the edit data.
  • the recording apparatus provides the free device according to the basic information set in the editing data constituting the editing data stream of the free viewpoint moving image content including the free viewpoint moving image stream and the editing data stream.
  • Edit content acquisition unit for acquiring edit content for additional information referred to when controlling display of a 3D model arranged in a space reproduced by a viewpoint video stream, and edit content acquired by the edit content acquisition unit
  • the edit data setting unit for editing the additional information of the edit data constituting the edit data stream, the edit data stream edited by the edit data setting unit, and the edit data stream corresponding to the edit data stream
  • a free viewpoint video stream is recorded as the free viewpoint video content.
  • a recording processing unit that performs processing for recording the parts.
  • the recording method or program according to the second aspect of the present disclosure is based on the basic information set in the editing data constituting the editing data stream of the free viewpoint moving image content including the free viewpoint moving image stream and the editing data stream.
  • Edit content for additional information referred to when controlling display of a 3D model arranged in a space reproduced by the free viewpoint video stream is acquired, and the edit data stream is configured according to the acquired edit content Edit the additional information of the edit data, and record the edited edit data stream and the free viewpoint moving image stream corresponding to the edited data stream in the recording unit as the free viewpoint moving image content.
  • a free-viewpoint video stream according to basic information set in edit data constituting an edit data stream of a free-viewpoint video content composed of a free-viewpoint video stream and an edit data stream The editing content for the additional information referred to when controlling the display of the 3D model arranged in the space reproduced by is acquired, and the editing for the additional information of the editing data constituting the editing data stream is performed according to the editing content.
  • the editing data stream that has been edited and the free viewpoint moving image stream corresponding to the edited data stream is recorded in the recording unit as free viewpoint moving image content.
  • a playback / recording apparatus is set by a playback processing unit that plays back a free-viewpoint video content composed of a free-viewpoint video stream and an edit data stream, and edit data that forms the edit data stream
  • a display control unit that controls the display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information that is set with reference to the additional information set in the editing data; Arranged in the space reproduced by the free-viewpoint video stream according to the basic information set in the edit data constituting the edit data stream of the free-viewpoint video content composed of the viewpoint video stream and the edit data stream Editing additional information referenced when controlling the display of a 3D model
  • An editing content acquisition unit for acquiring content, an editing data setting unit for editing additional information of the editing data constituting the editing data stream according to the editing content acquired by the editing content acquisition unit, and the editing data setting unit
  • a recording processing unit that performs processing for recording the editing data stream edited in accordance with the above-described editing data stream and the free viewpoint
  • the playback recording method or program according to the third aspect of the present disclosure plays back the free-viewpoint video content composed of the free-viewpoint video stream and the edit data stream when the free-viewpoint video content is played back, and the editing Refer to the additional information set in the edit data for the display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information set in the edit data constituting the data stream.
  • the free viewpoint moving image content when the free viewpoint moving image content is played back, the free viewpoint moving image content including the free viewpoint moving image stream and the editing data stream is played back, and the editing that forms the editing data stream
  • the display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information set in the data is controlled with reference to the additional information set in the edit data.
  • the free-viewpoint when recording free-viewpoint video content, the free-viewpoint according to the basic information set in the edit data that constitutes the edit data stream of the free-viewpoint video content composed of the free-viewpoint video stream and the edit data stream Edit content for additional information referred to when controlling the display of the 3D model arranged in the space reproduced by the moving image stream is acquired, and according to the edit content, additional information of the edit data constituting the edit data stream Is edited, and the edited edit data stream and the free viewpoint moving image stream corresponding to the edited data stream are recorded in the recording unit as free viewpoint moving image content.
  • more appropriate 3D model display can be handled.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a recording / reproducing apparatus to which the present technology is applied.
  • the recording / reproducing apparatus 11 can be used by connecting an operation unit 12, a display unit 13, and a data input unit 14, and includes a content recording unit 21, a reproduction processing unit 22, and a 3D model construction unit. 23, a display control unit 24, an editing content acquisition unit 25, an editing data setting unit 26, and a recording processing unit 27.
  • the recording / reproducing apparatus 11 can record and reproduce free viewpoint moving image content that can be spatially moved and can be looked around in various gaze directions from various viewpoint positions.
  • the operation unit 12 supplies various operation signals according to the operation by the user to the recording / reproducing apparatus 11 by wire or wireless like a remote controller, for example.
  • the operation unit 12 performs an operation signal for instructing a viewing direction and a viewpoint position when reproducing the free viewpoint moving image content and an editing content for recording the free viewpoint moving image content according to the operation by the user.
  • a signal or the like is supplied to the recording / reproducing apparatus 11.
  • the display unit 13 displays moving image content reproduced by the recording / reproducing apparatus 11. For example, when free viewpoint moving image content is played back by the recording / playback apparatus 11, a free viewpoint moving image in the line of sight synchronized with the direction of the user's face is displayed on the display unit 13 from the viewpoint position synchronized with the user's operation. Is displayed.
  • the data input unit 14 inputs the moving image content recorded and reproduced by the recording / reproducing apparatus 11 to the recording / reproducing apparatus 11.
  • the content recording unit 21 records moving image content input via the data input unit 14.
  • the content recording unit 21 records free viewpoint moving image content including a free viewpoint moving image stream and an edit data stream, which will be described later with reference to FIG.
  • the reproduction processing unit 22 reads out and decodes the moving image content from the content recording unit 21, and performs processing for reproducing the moving image content.
  • the playback processing unit 22 supplies the edit data stream that forms the free viewpoint moving image content to the 3D model construction unit 23 to freely configure the free viewpoint moving image content.
  • the viewpoint moving image stream is supplied to the display control unit 24.
  • the 3D model construction unit 23 follows the basic information (for example, 3D model information, operation information, and position information shown in FIG. 2) set in the edit data that constitutes the edit data stream supplied from the reproduction processing unit 22.
  • a 3D model arranged in a space reproduced by a free viewpoint moving image stream reproduced by the recording / reproducing apparatus 11 is constructed.
  • the 3D model construction unit 23 constructs a 3D model according to a preset object and texture, and generates 3D model display data for laying out the 3D model with a preset size, arrangement position, and the like. And supplied to the display control unit 24.
  • the 3D model constructed by the 3D model construction unit 23 is predetermined in the space represented by the moving image of the omnidirectional sphere reproduced according to the free viewpoint moving image stream supplied from the reproduction processing unit 22. Control the display so that it is arranged in the layout. The display control unit 24 then supplies the display unit 13 with a free viewpoint moving image that can be seen from the line-of-sight direction and the viewpoint position according to the user's operation. Furthermore, as will be described later, the display control unit 24 performs display control of the 3D model with reference to additional information set in the editing data.
  • the editing content acquisition unit 25 acquires the editing content for the free viewpoint moving image content based on the operation signal supplied from the operation unit 12 according to the user's operation when recording the free viewpoint moving image content in the recording / playback apparatus 11. Then, the data is supplied to the edit data setting unit 26. For example, the editing content acquisition unit 25 may acquire editing content for the free viewpoint moving image content recorded in the content recording unit 21.
  • the editing data setting unit 26 receives an editing data stream constituting the free viewpoint moving image content via the data input unit 14. Then, the edit data setting unit 26 sets (edits) the edit data constituting the edit data stream in accordance with the edit content supplied from the edit content acquisition unit 25 and supplies the edit data stream to the recording processing unit 27. .
  • the edit data setting unit 26 edits priority information and viewing age restriction information as described later as additional information set in the edit data.
  • the recording processing unit 27 performs processing of encoding moving image content to be recorded in the content recording unit 21 and supplying the encoded moving image content to the content recording unit 21. For example, when the recording processing unit 27 records free viewpoint moving image content in the recording / reproducing apparatus 11, a free viewpoint moving image stream constituting the free viewpoint moving image content is input via the data input unit 14. Then, the recording processing unit 27 encodes the free viewpoint moving image stream and the editing data stream supplied from the editing data setting unit 26 and causes the content recording unit 21 to record the encoded data as free viewpoint moving image content.
  • the recording / playback apparatus 11 uses the display control unit 24 as editing data for the 3D model constructed by the 3D model construction unit 23. Display control with reference to the set additional information is performed. Thereby, the recording / reproducing apparatus 11 can respond
  • the free viewpoint moving image content is, for example, a free viewpoint moving image for reproducing a moving image of a celestial sphere that represents a space in which the direction of the line of sight and the movement of the viewpoint position can be freely performed.
  • the edit data stream is composed of a set of edit data for each 3D model.
  • moving image data is encoded.
  • the editing data is used for the purpose. This facilitates partial editing of moving image data.
  • the edit data includes information set for an editable 3D model arranged in a space reproduced in the free viewpoint moving image content, and includes time information, 3D model information, operation information, position information, and additional information. Holds information.
  • FIG. 3 shows an example of information held in the edit data.
  • time information for example, a start time for starting the display of the 3D model and an end time for ending the display of the 3D model are set as information indicating the display time of the 3D model.
  • 3D model data itself (that is, an object representing the shape of the 3D model and a texture representing the texture of the surface of the 3D model) or the 3D model is identified as information indicating the 3D model. ID and the like are set.
  • operation information as information indicating an operation on the 3D model, for example, rotation of the 3D model, enlargement or reduction of the 3D model, deletion of the 3D model, transparency of the 3D model, and the like are set.
  • coordinates of the 3D model are set as information indicating the position of the 3D model in the space.
  • the additional information includes, for example, priority information and viewing age restriction as additional information referred to when displaying an editable 3D model arranged in a space reproduced in the free viewpoint moving image content. Information etc. are set.
  • the priority information is information for uniquely displaying a plurality of 3D models, and can be set by numerical values as shown in FIG. 4, for example.
  • the layout is such that the surface of any 3D model matches, the surface of the 3D model with a higher priority is the front side, and the 3D with a lower priority
  • the display is controlled so that the surface of the model is on the back side.
  • the priority information of the existing 3D model in the space reproduced in the free viewpoint moving image content is set to 0. Moreover, when the numerical values of the priority information are the same among a plurality of 3D models, which priority 3D model is displayed preferentially is not determined in the priority information.
  • the recording / reproducing apparatus 11 can appropriately control the display of the 3D model arranged in the space reproduced in the free viewpoint moving image content by using the editing data having such a data structure. That is, the recording / reproducing apparatus 11 can easily perform editing work by editing the editing data stream provided separately from the free viewpoint moving image stream without changing the free viewpoint moving image stream itself. And the recording / reproducing apparatus 11 can display a 3D model appropriately according to various situations by a data structure to which priority information is added together with time information, 3D model information, operation information, and position information. .
  • the display control unit 24 refers to each priority information, and FIG. As shown in A, display control is performed so that the surface of the 3D model B is displayed on the near side.
  • the priority information of the 3D model B is set to -1.
  • the priority information of the existing 3D model A is 0, and the display control unit 24 refers to each priority information, and as shown in FIG. 5B, the surface of the 3D model A is on the near side. Display control can be performed as displayed.
  • the display control unit 24 refers to the priority information represented by the numerical values as shown in FIG. 4, so that even if the surfaces of the plurality of 3D models coincide, The 3D model can be appropriately displayed.
  • the priority information is represented by a numerical value, and the priority information of the existing 3D model is set to 0, so that the display control based on the relationship with the 3D model already arranged in the space is appropriately performed. It can be carried out.
  • FIG. 6 is a flowchart for explaining a reproduction process for reproducing the free viewpoint moving image content. For example, when a free viewpoint moving image content to be reproduced is selected by the user and an operation for instructing the reproduction is performed, the reproduction process is started.
  • step S11 the reproduction processing unit 22 reads the free viewpoint moving image content to be reproduced from the content recording unit 21 according to the operation by the user, and decodes the free viewpoint moving image content. Then, the playback processing unit 22 supplies the edit data stream to the 3D model construction unit 23 and the free viewpoint video stream to the display control unit 24 according to the playback time of the free viewpoint video content.
  • step S12 the 3D model construction unit 23 acquires edit data sequentially from the top of the edit data stream supplied from the reproduction processing unit 22.
  • step S13 the 3D model construction unit 23 constructs a 3D model based on the object and the texture according to the 3D model information of the edit data acquired in step S12.
  • step S14 the 3D model construction unit 23 determines the layout such as the size and arrangement position of the 3D model constructed in step S13 according to the operation information and position information of the editing data acquired in step S12, and displays the 3D model. 3D model display data is generated.
  • step S15 the 3D model construction unit 23 sets the playback time of the free viewpoint moving image content to the display time for displaying the 3D model according to the time information of the edit data of the 3D model for which 3D model display data has already been generated. It is determined whether or not.
  • step S15 when the 3D model construction unit 23 determines that the playback time of the free viewpoint moving image content is not the display time for displaying the 3D model, the process skips steps S16 and S17, and proceeds to step S18. move on. That is, in this case, the 3D model for which the 3D model display data was generated in the immediately preceding step S14 is not displayed, and the display is waited until the display time of the 3D model is reached.
  • step S15 when the 3D model construction unit 23 determines in step S15 that the playback time of the free viewpoint moving image content is the display time for displaying the 3D model, the process proceeds to step S16.
  • step S ⁇ b> 16 the 3D model construction unit 23 supplies the priority information set in the edit data of the 3D model to the display control unit 24 together with the 3D model display data of the 3D model determined to have reached the display time. . Thereby, the display control unit 24 acquires 3D model display data and priority information.
  • step S17 the display control unit 24 refers to the priority information acquired in step S16 and performs display control of the 3D model based on the 3D model display data. That is, for example, when the surface of the 3D model determined to have reached the display time matches the surface of another 3D model that has already been arranged, the display control unit 24 refers to the priority information of each, Display control is performed so that the surface of the higher 3D model is displayed on the front side.
  • step S18 the display control unit 24 generates a free viewpoint moving image based on the free viewpoint moving image stream supplied from the reproduction processing unit 22 in step S11, and supplies the free viewpoint moving image to the display unit 13 for display.
  • the display control unit 24 generates a free viewpoint moving image in which the 3D model determined to have reached the display time in step S15 is newly arranged according to the 3D model display data. Note that if there is no 3D model determined to have reached the display time in step S15, the display control unit 24 generates a free viewpoint moving image without a newly arranged 3D model.
  • step S18 After the process of step S18, the process returns to step S11, and the same process is repeated thereafter until the reproduction of the free viewpoint moving image content is completed.
  • the recording / reproducing apparatus 11 can appropriately display the 3D model by the reproduction process of performing display control of the 3D model with reference to the priority information.
  • the priority information is set using a numerical value as shown in FIG. 4 above, and at the display time of a newly placed 3D model, a 1-bit value to be compared with the already placed 3D model Can be set.
  • the display control unit 24 can perform display control of the 3D model based on the order of displaying the 3D model and the relative priority of the 3D model displayed so far.
  • the display control unit 24 displays the A in FIG. As shown, the display control is performed so that the surface of the 3D model B is displayed on the near side.
  • the display control unit 24 As shown in FIG. 5B, display control is performed so that the surface of the 3D model A is displayed on the near side.
  • the priority information can be represented by 1 bit to reduce the amount of data, and display control of the 3D model can be easily performed based on the relative priority with the existing 3D model. it can. Therefore, it is preferable to apply the 1-bit priority information to the free viewpoint moving image content in which the 3D model does not exist in a complicated manner.
  • step S21 to step S26 shown in the flowchart of FIG. 8 is performed in the same manner as the processing from step S11 to step S16 of the flowchart described with reference to FIG.
  • step S27 the display control unit 24 determines whether the 1-bit priority information acquired in step S26 is 1 or 0.
  • step S27 when the display control unit 24 determines that the 1-bit priority information is 0, the process proceeds to step S28.
  • step S28 when the surface of the 3D model determined to have reached the display time in step S25 matches the surface of another 3D model that has already been arranged, the display control unit 24 Display is prioritized and display control is performed so that the surface of the 3D model is displayed on the near side.
  • step S27 determines in step S27 that the 1-bit priority information is 1, the process proceeds to step S29.
  • step S29 if the surface of the 3D model determined to have reached the display time in step S25 matches the surface of another 3D model that has already been arranged, the display control unit 24 displays the other 3D model. Prioritize the display control so that the surface of the other 3D model is displayed on the near side. That is, in this case, the surface of the newly placed 3D model is displayed on the back side.
  • step S28 or S29 the process proceeds to step S30, and the same process as step S18 in the flowchart of FIG. 6 is performed. Thereafter, the process returns to step S21, and the same process is repeated until the reproduction of the free viewpoint moving image content ends.
  • the recording / reproducing apparatus 11 can appropriately display the 3D model by the reproduction process of performing display control of the 3D model with reference to the priority information represented by a 1-bit value.
  • viewing age restriction information for providing a viewing age restriction for each 3D model can be set as additional information.
  • time information is set in the editing data, and viewing age restriction information is set as additional information, so that the free viewpoint moving image content is partially displayed or hidden according to the viewing age restriction information. be able to.
  • the display control unit 24 displays the 3D model of the editing data. Display control is performed as follows. In addition, when viewing age restriction information is not set in the edit data, the display control unit 24 performs display control so that the 3D model of the edit data is always displayed.
  • the viewing age restriction information includes numerical information of the minimum age that can be viewed. For example, when the numerical information is set to 20, the viewing age restriction information may be viewed by those over 20 years old. Is shown.
  • the priority information described above can be used in the case of using the data with priority display (overwriting) over the existing data. For example, when using priority information set numerically as shown in FIG. 4, a value larger than 0 is set in the priority information.
  • a plurality of viewing age restriction information may be set for each edited data. For example, display control that gives priority to data of the largest age by increasing the priority information as the age increases. It can be performed. Also, when using 1-bit priority information as shown in FIG. 7, by setting 0 to the priority information and storing the edit data in the edit data stream in order of increasing age, Appropriate display control can be performed.
  • step S41 and step S42 shown in the flowchart in FIG. 10 is performed in the same manner as the processing in step S11 and step S12 in the flowchart of the reproduction processing described above with reference to FIG.
  • step S43 the 3D model construction unit 23 determines whether viewing age restriction information is set for the 3D model of the edited data acquired in step S42.
  • step S43 when the 3D model construction unit 23 determines that the viewing age restriction information is set, the process proceeds to step S44.
  • step S44 the 3D model construction unit 23 obtains the viewing age restriction information set in the recording / reproducing apparatus 11 by reading it from, for example, a memory storing various settings of the recording / reproducing apparatus 11.
  • step S45 the 3D model construction unit 23 determines whether or not the viewing age restriction information set for the 3D model of the edit data is equal to or less than the viewing age restriction information acquired from the recording / reproducing apparatus 11.
  • step S45 when the 3D model construction unit 23 determines that the viewing age restriction information of the 3D model is not less than or equal to the listening age restriction information of the recording / reproducing device 11, the process skips steps S46 to S50 and proceeds to step S51. move on. That is, in this case, it can be determined that it is not appropriate to display the 3D model in the recording / reproducing apparatus 11, and the 3D model display data of the 3D model is not generated.
  • step S46 when the 3D model construction unit 23 determines that the viewing age restriction information of the 3D model is equal to or less than the listening age restriction information of the recording / reproducing apparatus 11, it is suitable to display the 3D model in the recording / reproducing apparatus 11. And the process proceeds to step S46. In addition, when the 3D model construction unit 23 determines in step S43 that the viewing age restriction information is not set, the process proceeds to step S46.
  • step S46 to step S51 is performed in the same manner as the processing from step S13 to step S18 in the flowchart described with reference to FIG. Thereafter, the process returns to step S41, and the same process is repeated until the reproduction of the free viewpoint moving image content ends.
  • the recording / reproducing apparatus 11 can appropriately display the 3D model by the reproduction process of performing display control of the 3D model with reference to the viewing age restriction information. That is, the recording / reproducing apparatus 11 can apply age restriction to only a part of 3D models constituting the free viewpoint moving image content, and the 3D model according to the viewing age restriction information set in the recording / reproducing apparatus 11 can be applied. Display control can be performed.
  • viewing age restriction information is not limited to application to video data of free viewpoint moving image content, but can be applied to audio data, for example. That is, in the free viewpoint moving image content, the audio data corresponding to the video data is also converted into an object, and is arranged in a space reproduced in the free viewpoint moving image content, as in the 3D model. Therefore, in the editing data constituting the audio editing data stream corresponding to the audio data stream, by adding the viewing age restriction information to the respective audio data, it is possible to perform audio output control according to the viewing age restriction information. . Thereby, for example, the recording / reproducing apparatus 11 can output the audio only when the viewing age restriction information of the audio data is equal to or less than the viewing age restriction information set in the recording / reproducing apparatus 11.
  • the recording / reproducing apparatus 11 can perform display control with reference to the additional information set in the edit data.
  • the recording / playback apparatus 11 can be edited by placing another 3D model on a specific 3D model. It can be transmitted as a data stream.
  • the surface of a part of the 3D model can be replaced with an advertisement, or a different surface (for example, a building has been rebuilt) between the present and the past can be reproduced.
  • the recording / reproducing apparatus 11 can easily compare before and after editing of editing data.
  • the recording / reproducing apparatus 11 sets the age restriction only on the inconvenient portion of the free viewpoint moving image content in which the age restriction is set on the whole due to the partial inconvenience, and the free viewpoint moving image. It is possible to prevent the reproduction of the content itself from being restricted. Thus, by using the recording / reproducing apparatus 11, it is possible to provide free viewpoint moving image content that can be experienced for a wide range of ages. Similarly, the recording / reproducing apparatus 11 can apply age restriction to only a part of audio data.
  • FIG. 11 is a flowchart for explaining a recording process for recording free viewpoint moving image content. For example, when free viewpoint moving image content to be recorded on the recording / reproducing apparatus 11 is input to the data input unit 14 according to a user operation, the recording process is started.
  • step S61 the editing content acquisition unit 25 determines whether editing has been performed on the 3D model constituting the free viewpoint moving image content. For example, when a user operates the operation unit 12 to edit a predetermined 3D model and an operation signal according to the operation is supplied from the operation unit 12, the editing content acquisition unit 25 performs editing on the 3D model. Judge that it was broken.
  • step S61 when the editing content acquisition unit 25 determines that editing has been performed on the 3D model constituting the free viewpoint moving image content, the process proceeds to step S62.
  • step S62 the editing content acquisition unit 25 acquires editing content performed by the user on the 3D model constituting the free viewpoint moving image content based on the operation signal supplied from the operation unit 12, and the editing data It supplies to the setting part 26.
  • the editing content acquisition unit 25 acquires the editing content for the additional information and supplies it to the editing data setting unit 26.
  • step S61 if it is determined in step S61 that the editing content acquisition unit 25 has not edited the 3D model constituting the free viewpoint moving image content, the process skips step S62 and proceeds to step S63.
  • step S63 the edit data setting unit 26 sequentially acquires edit data from the head of the edit data stream input via the data input unit 14.
  • the edit data setting unit 26 edits the edit data corresponding to the 3D model supplied with the edit content from the edit content acquisition unit 25 according to the edit content, and supplies the edit data to the recording processing unit 27.
  • the edit data setting unit 26 edits the additional information of the edit data and supplies it to the recording processing unit 27.
  • the edit data setting unit 26 supplies the edit data corresponding to the 3D model for which the edit content is not supplied from the edit content acquisition unit 25 to the recording processing unit 27 as it is.
  • step S64 the recording processing unit 27 is input via the data input unit 14 corresponding to the editing data stream composed of the editing data supplied from the editing data setting unit 26 in step S63.
  • the free viewpoint moving image stream is encoded and recorded in the content recording unit 21 as free viewpoint moving image content.
  • step S64 After the processing in step S64, the processing returns to step S61, and the same processing is repeated until the input of all free viewpoint moving image streams and editing data streams constituting the free viewpoint moving image content is completed.
  • the recording / reproducing apparatus 11 can record the free viewpoint moving image content by reflecting the editing on the 3D model by the user in the editing data stream without changing the data of the free viewpoint moving image stream.
  • the recording / reproducing apparatus 11 capable of performing both the reproducing process and the recording process of the free viewpoint moving image content has been described.
  • the reproducing apparatus and the recording apparatus have independent configurations. May be.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and nonvolatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
  • the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
  • the program is recorded on a removable medium 111 that is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • a playback processing unit for playing back a free-viewpoint video content composed of a free-viewpoint video stream and an edit data stream The display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information set in the edit data constituting the edit data stream, and the additional information set in the edit data
  • a display device comprising: a display control unit controlled by reference.
  • the additional information is priority information indicating a display priority of the 3D model, The playback apparatus according to (1), wherein the display control unit performs display control with reference to the priority information so that the 3D model set with a high priority is preferentially displayed.
  • the display control unit refers to the priority information so that the surface of the 3D model set with a high priority is displayed in front.
  • the priority information the priority of the newly placed 3D model is set as a 1-bit value that is relatively represented with respect to the other 3D models that have already been placed in the above (2) or (3) The reproducing apparatus as described.
  • the additional information is viewing age restriction information indicating an age for restricting display of the 3D model,
  • the display control unit displays the 3D model corresponding to the editing data when the viewing age restriction information set in the editing data is equal to or less than the viewing age restriction information preset in the playback device.
  • the playback device according to any one of (1) to (4), wherein display control is performed as described above.
  • the free viewpoint moving image content is configured to have an audio data stream and an audio editing data stream,
  • the playback device according to (5), wherein output of audio data corresponding to the editing data is controlled in accordance with the viewing age restriction information set in the editing data constituting the audio editing data.
  • (7) Play back the free-viewpoint video content composed of the free-viewpoint video stream and the edit data stream, The display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information set in the edit data constituting the edit data stream, and the additional information set in the edit data
  • a playback method including a step of controlling by reference.
  • the display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information set in the edit data constituting the edit data stream, and the additional information set in the edit data A program for causing a computer to execute a reproduction process including a step controlled by reference.
  • the editing data stream is input to the editing data setting unit, and the free viewpoint moving image stream is input to the recording processing unit,
  • a recording method including a step of performing processing of recording the edited edit data stream and the free viewpoint moving image stream corresponding to the edited data stream as the free viewpoint moving image content in a recording unit.
  • a playback processing unit for playing back a free-viewpoint video content composed of a free-viewpoint video stream and an edit data stream;
  • the display of the 3D model arranged in the space reproduced by the free viewpoint moving image stream according to the basic information set in the edit data constituting the edit data stream, and the additional information set in the edit data A display control unit for reference and control;
  • An edit content acquisition unit for acquiring edit content for additional information referred to when controlling display of the 3D model to be performed;
  • an editing data setting unit for editing the additional information of the editing data constituting the editing data stream;
  • Recording processing for performing processing for recording the editing data stream edited by the editing data setting unit and the free viewpoint moving image stream corresponding to the editing data stream in the recording unit as the free viewpoint moving image content
  • a display control unit for reference and

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

本開示は、より適切な３Ｄモデルの表示に対応することができるようにする再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラムに関する。 再生処理部は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、編集データで設定されている付加情報を参照して制御する。本技術は、例えば、自由視点動画像コンテンツを再生可能な再生装置に適用できる。

Description

再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
　本開示は、再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラムに関し、特に、より適切な３Ｄモデルの表示に対応することができるようにした再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラムに関する。
　一般的に、ユーザにより動画像をアップロード可能な配信サイトにおいてＵＧＣ（User-Generated Contents）などの動画像コンテンツが配信されたり、商用の配信サイトにおいて映画やドラマなどの動画像コンテンツが無料または有料で配信されている。従来、これらの動画像コンテンツとしては、コンテンツ生成時のカメラワークによって視線方向および視点位置が固定されている２Ｄ動画像コンテンツが主流である。
　これに対し、近年、視線方向を自由に変更することができる動画像コンテンツ（以下、全天球動画像コンテンツと称する）の作成が可能となっている。全天球動画像コンテンツは、例えば、ヘッドマウントディスプレイを利用して、顔の向きに合わせて視線方向を変更することができるため、より臨場感が高く、今後の普及が期待されている。
　さらに、今後、全天球動画像コンテンツと同様に視線方向を変更することができ、かつ、動画像により再現されている空間内を自由に移動することができる動画像コンテンツ（以下、自由視点動画像コンテンツと称する）の普及が想定される。
　例えば、特許文献１には、動画像データに関連したメタデータとして、出力する動画像の大きさや位置に関する情報などを編集することができるメタデータの構造が開示されている。また、特許文献２には、再生属性情報などを含むプレイリスト情報や、年齢に応じた表示方式を有効とするストリーム情報テーブルなどに基づいて表示形式を選択することができる再生装置が開示されている。
特開２００６－１４０９０号公報 特開２０１２－２１３２２０号公報
　ところで、ゲームなどではオブジェクトやテクスチャデータをレンダリングすることで３Ｄモデルが配置されている自由視点空間を作り出している。上述したような自由視点動画像コンテンツでは、２Ｄ動画像コンテンツや全天球動画像コンテンツとは異なり、３Ｄモデルとしてデータを持つことが可能となっているが、様々な状況に応じて、３Ｄモデルを適切に表示することは行われていなかった。
　本開示は、このような状況に鑑みてなされたものであり、より適切な３Ｄモデルの表示に対応することができるようにするものである。
　本開示の第１の側面の再生装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部とを備える。
　本開示の第１の側面の再生方法またはプログラムは、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御するステップを含む。
　本開示の第１の側面においては、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツが再生され、編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示が、編集データで設定されている付加情報を参照して制御される。
　本開示の第２の側面の記録装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部とを備える。
　本開示の第２の側面の記録方法またはプログラムは、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行うステップを含む。
　本開示の第２の側面においては、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容が取得され、その編集内容に従い、編集データストリームを構成する編集データの付加情報に対する編集が行われ、編集が行われた編集データストリームと、その編集データストリームに対応する自由視点動画像ストリームとを、自由視点動画像コンテンツとして記録部に記録する処理が行われる。
　本開示の第３の側面の再生記録装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部とを備える。
　本開示の第３の側面の再生記録方法またはプログラムは、自由視点動画像コンテンツを再生する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、自由視点動画像コンテンツを記録する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行うステップを含む。
　本開示の第３の側面においては、自由視点動画像コンテンツを再生する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツが再生され、編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示が、編集データで設定されている付加情報を参照して制御される。一方、自由視点動画像コンテンツを記録する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容が取得され、その編集内容に従い、編集データストリームを構成する編集データの付加情報に対する編集が行われ、編集が行われた編集データストリームと、その編集データストリームに対応する自由視点動画像ストリームとを、自由視点動画像コンテンツとして記録部に記録する処理が行われる。
　本開示の一側面によれば、より適切な３Ｄモデルの表示に対応することができる。
記録再生装置の一実施の形態の構成例を示すブロック図である。 自由視点動画像コンテンツのデータ構造の一例を示す図である。 編集データに含まれる各種の情報の一例を示す図である。 優先度情報の一例について説明する図である。 優先度情報を参照した３Ｄモデルの表示制御について説明する図である。 自由視点動画像コンテンツを再生する再生処理を説明するフローチャートである。 優先度情報の変形例について説明する図である。 １ビットの優先度情報を用い再生処理を説明するフローチャートである。 視聴年齢制限情報を付加した編集データを示す図である。 視聴年齢制限情報を用いた再生処理を説明するフローチャートである。 自由視点動画像コンテンツを記録する記録処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜記録再生装置の構成例＞
　図１は、本技術を適用した記録再生装置の一実施の形態の構成例を示すブロック図である。
　図１に示すように、記録再生装置１１は、操作部１２、表示部１３、およびデータ入力部１４を接続して使用することができ、コンテンツ記録部２１、再生処理部２２、３Ｄモデル構築部２３、表示制御部２４、編集内容取得部２５、編集データ設定部２６、および記録処理部２７を備えて構成される。例えば、記録再生装置１１は、空間的な移動が可能であって様々な視点位置から任意の視線方向で見回すことが可能な自由視点動画像コンテンツを記録および再生することができる。
　操作部１２は、例えば、リモートコントローラのように有線または無線により、ユーザによる操作に従った各種の操作信号を記録再生装置１１に供給する。例えば、操作部１２は、ユーザによる操作に従って、自由視点動画像コンテンツを再生する際の視線方向および視点位置を指示する操作信号や、自由視点動画像コンテンツを記録する際の編集内容を指示する操作信号などを、記録再生装置１１に供給する。
　表示部１３は、記録再生装置１１により再生される動画像コンテンツを表示する。例えば、記録再生装置１１により自由視点動画像コンテンツが再生されるとき、表示部１３には、ユーザの操作に同期した視点位置から、ユーザの顔の向きに同期した視線方向の自由視点動画像が表示される。
　データ入力部１４は、記録再生装置１１において記録および再生される動画像コンテンツの記録再生装置１１への入力を行う。
　コンテンツ記録部２１は、データ入力部１４を介して入力される動画像コンテンツを記録する。例えば、コンテンツ記録部２１は、図２を参照して後述するような、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを記録する。
　再生処理部２２は、コンテンツ記録部２１から動画像コンテンツを読み出してデコードし、その動画像コンテンツを再生する処理を行う。また、再生処理部２２は、例えば、自由視点動画像コンテンツを再生するとき、自由視点動画像コンテンツを構成する編集データストリームを３Ｄモデル構築部２３に供給し、自由視点動画像コンテンツを構成する自由視点動画像ストリームを表示制御部２４に供給する。
　３Ｄモデル構築部２３は、再生処理部２２から供給される編集データストリームを構成する編集データで設定されている基本情報（例えば、図２に示す３Ｄモデル情報、操作情報、および位置情報）に従って、記録再生装置１１において再生される自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルを構築する。例えば、３Ｄモデル構築部２３は、予め設定されているオブジェクトおよびテクスチャに従って３Ｄモデルを構築し、予め設定されている大きさや配置位置などで３Ｄモデルをレイアウトするための３Ｄモデル表示データを生成して、表示制御部２４に供給する。
　表示制御部２４は、再生処理部２２から供給される自由視点動画像ストリームに従って再現される全天球の動画像により表される空間内に、３Ｄモデル構築部２３において構築された３Ｄモデルが所定のレイアウトで配置されるように表示を制御する。そして、表示制御部２４は、ユーザの操作に従った視線方向および視点位置から見える自由視点動画像を、表示部１３に供給して表示させる。さらに、表示制御部２４は、後述するように、編集データに設定されている付加情報を参照して、３Ｄモデルの表示制御を行う。
　編集内容取得部２５は、記録再生装置１１に自由視点動画像コンテンツを記録する際に、ユーザの操作に従って操作部１２から供給される操作信号に基づいて、自由視点動画像コンテンツに対する編集内容を取得し、編集データ設定部２６に供給する。なお、例えば、編集内容取得部２５は、コンテンツ記録部２１に記録済みの自由視点動画像コンテンツに対する編集内容を取得してもよい。
　編集データ設定部２６には、記録再生装置１１に自由視点動画像コンテンツを記録する際に、自由視点動画像コンテンツを構成する編集データストリームがデータ入力部１４を介して入力される。そして、編集データ設定部２６は、編集内容取得部２５から供給される編集内容に従い、編集データストリームを構成する編集データに対する設定（編集）を行って、編集データストリームを記録処理部２７に供給する。例えば、編集データ設定部２６は、編集データに設定される付加情報として、後述するような優先度情報や視聴年齢制限情報などを編集する。
　記録処理部２７は、コンテンツ記録部２１に記録させる動画像コンテンツをエンコードし、コンテンツ記録部２１に供給する処理を行う。例えば、記録処理部２７は、記録再生装置１１に自由視点動画像コンテンツを記録する際に、自由視点動画像コンテンツを構成する自由視点動画像ストリームがデータ入力部１４を介して入力される。そして、記録処理部２７は、その自由視点動画像ストリームと、編集データ設定部２６から供給される編集データストリームとをエンコードし、自由視点動画像コンテンツとしてコンテンツ記録部２１に記録させる。
　以上のように構成される記録再生装置１１は、例えば、自由視点動画像コンテンツを再生する際に、表示制御部２４において、３Ｄモデル構築部２３により構築された３Ｄモデルに対して、編集データに設定されている付加情報を参照した表示制御が行われる。これにより、記録再生装置１１は、付加情報の設定（編集）に応じて、従来よりも適切な３Ｄモデルの表示に対応することができる。
　＜自由視点動画像コンテンツのデータ構造＞
　図２および図３を参照して、記録再生装置１１において再生される自由視点動画像コンテンツのデータ構造について説明する。
　図２に示すように、自由視点動画像コンテンツは、例えば、視線方向の変更および視点位置の移動を自由に行うことができる空間を表す全天球の動画像を再生するための自由視点動画像ストリームと、元のデータを改変することなく３Ｄモデルに対する編集を適用するための編集データストリームとにより構成される。
　また、自由視点動画像コンテンツにおいて、複数の３Ｄモデルが編集可能である場合、図２に示すように、編集データストリームは、それぞれの３Ｄモデルごとの編集データの集合により構成される。一般的に、動画像データは符号化されており、例えば、一部分を編集するためには一度デコードした後に編集して再度エンコードする必要があるため、元の動画像データを改変せず編集を適応させるために、編集データが用いられる。これにより、動画像データの部分的な編集を行い易くすることができる。
　編集データは、自由視点動画像コンテンツにおいて再現される空間内に配置される編集可能な３Ｄモデルに対して設定される情報により構成され、時間情報、３Ｄモデル情報、操作情報、位置情報、および付加情報を保持している。
　図３には、編集データが保持している情報の一例が示されている。
　時間情報には、３Ｄモデルの表示時間を示す情報として、例えば、３Ｄモデルの表示を開始する開始時刻、および、３Ｄモデルの表示を終了する終了時刻が設定される。
　３Ｄモデル情報には、３Ｄモデルを示す情報として、例えば、３Ｄモデルのデータそのもの（即ち、３Ｄモデルの形状を表すオブジェクト、および、３Ｄモデルの表面の質感を表すテクスチャ）や、３Ｄモデルを識別するためのＩＤなどが設定される。
　操作情報には、３Ｄモデルに対する操作を示す情報として、例えば、３Ｄモデルの回転や、３Ｄモデルの拡大または縮小、３Ｄモデルの消去、３Ｄモデルの透明度などが設定される。
　位置情報には、３Ｄモデルの空間内での位置を示す情報として、例えば、３Ｄモデルの座標などが設定される。
　付加情報には、例えば、自由視点動画像コンテンツにおいて再現される空間内に配置される編集可能な３Ｄモデルを表示する際に参照される付加的な情報として、例えば、優先度情報や視聴年齢制限情報などが設定される。
　優先度情報は、複数の３Ｄモデルの表示を一意に行うための情報であり、例えば、図４に示すような数値により設定することができる。図４に示す例では、優先度情報の数値が大きいほど優先度が高いことを表しており、優先度情報の数値が小さいほど優先度が低いことを表している。例えば、編集データに従って複数の３Ｄモデルを配置したとき、いずれかの３Ｄモデルの表面が一致するようなレイアウトとなる場合に、優先度の高い３Ｄモデルの表面が手前側となり、優先度の低い３Ｄモデルの表面が奥側となるように表示が制御される。
　なお、自由視点動画像コンテンツにおいて再現される空間における既存の３Ｄモデルの優先度情報は０に設定されている。また、複数の３Ｄモデルにおいて優先度情報の数値が同一である場合、どの３Ｄモデルを優先的に表示するかについて、優先度情報においては決定されない。
　記録再生装置１１は、このようなデータ構造の編集データを用いて、自由視点動画像コンテンツにおいて再現される空間内に配置される３Ｄモデルの表示を適切に制御することができる。即ち、記録再生装置１１は、自由視点動画像ストリームそのものを変更することなく、自由視点動画像ストリームとは別に設けられる編集データストリームに対する編集を行うことで、編集作業を容易に行うことができる。そして、記録再生装置１１は、時間情報、３Ｄモデル情報、操作情報、および位置情報とともに、優先度情報を付加したデータ構造により、様々な状況に応じて、３Ｄモデルを適切に表示することができる。
　図５を参照して、優先度情報を参照した３Ｄモデルの表示制御について説明する。
　例えば、図５に示すような３ＤモデルＡおよび３ＤモデルＢの配置位置を編集した結果、３ＤモデルＡの表面と３ＤモデルＢの表面とが一致するようなレイアウトになった例について説明する。なお、優先度情報が用いられない場合、３ＤモデルＡの表面と３ＤモデルＢの表面とのどちらを手前側に表示するかは、一意に決定することができない。
　これに対し、例えば、３ＤモデルＡの優先度が１に設定され、３ＤモデルＢの優先度が４に設定されていた場合、表示制御部２４は、それぞれの優先度情報を参照し、図５のＡに示すように、３ＤモデルＢの表面が手前側に表示されるように表示制御を行う。
　また、例えば、自由視点動画像コンテンツにおいて再現される空間に、既存の３ＤモデルＡが存在しているときに、３ＤモデルＢの優先度情報が－１に設定されたとする。この場合、既存の３ＤモデルＡの優先度情報は０であり、表示制御部２４は、それぞれの優先度情報を参照し、図５のＢに示すように、３ＤモデルＡの表面が手前側に表示されるような表示制御を行うことができる。
　このように、表示制御部２４は、図４に示したような数値により表される優先度情報を参照することで、複数の３Ｄモデルの表面が一致するような状況となったとしても、それぞれの３Ｄモデルを適切に表示することができる。ここで、優先度情報を数値で表し、かつ、既存の３Ｄモデルの優先度情報を０に設定することで、既に空間内に配置されている３Ｄモデルとの関係に基づいた表示制御を適切に行うことができる。
　＜自由視点動画像コンテンツの再生処理＞
　次に、図６は、自由視点動画像コンテンツを再生する再生処理を説明するフローチャートである。例えば、ユーザにより再生対象となる自由視点動画像コンテンツが選択されて、その再生を指示する操作が行われると再生処理が開始される。
　ステップＳ１１において、再生処理部２２は、ユーザによる操作に従って、コンテンツ記録部２１から再生対象の自由視点動画像コンテンツを読み出し、その自由視点動画像コンテンツをデコードする。そして、再生処理部２２は、自由視点動画像コンテンツの再生時刻に従って、編集データストリームを３Ｄモデル構築部２３に供給するとともに、自由視点動画像ストリームを表示制御部２４に供給する。
　ステップＳ１２において、３Ｄモデル構築部２３は、再生処理部２２から供給される編集データストリームの先頭から順次、編集データを取得する。
　ステップＳ１３において、３Ｄモデル構築部２３は、ステップＳ１２で取得した編集データの３Ｄモデル情報に従って、オブジェクトおよびテクスチャに基づいた３Ｄモデルを構築する。
　ステップＳ１４において、３Ｄモデル構築部２３は、ステップＳ１２で取得した編集データの操作情報および位置情報に従って、ステップＳ１３で構築した３Ｄモデルの大きさや配置位置などのレイアウトを決定し、３Ｄモデルを表示するための３Ｄモデル表示データを生成する。
　ステップＳ１５において、３Ｄモデル構築部２３は、３Ｄモデル表示データが生成済みとなっている３Ｄモデルの編集データの時間情報に従って、自由視点動画像コンテンツの再生時刻が、３Ｄモデルを表示する表示時刻になったか否かを判定する。
　ステップＳ１５において、３Ｄモデル構築部２３が、自由視点動画像コンテンツの再生時刻が３Ｄモデルを表示する表示時刻になっていないと判定した場合、処理はステップＳ１６およびＳ１７をスキップして、ステップＳ１８に進む。即ち、この場合、直前のステップＳ１４で３Ｄモデル表示データが生成された３Ｄモデルの表示は行われず、その３Ｄモデルの表示時刻となるまで表示が待機されることになる。
　一方、ステップＳ１５において、３Ｄモデル構築部２３が、自由視点動画像コンテンツの再生時刻が、３Ｄモデルを表示する表示時刻になったと判定した場合、処理はステップＳ１６に進む。
　ステップＳ１６において、３Ｄモデル構築部２３は、表示時刻になったと判定された３Ｄモデルの３Ｄモデル表示データとともに、その３Ｄモデルの編集データに設定されている優先度情報を表示制御部２４に供給する。これにより、表示制御部２４は、３Ｄモデル表示データおよび優先度情報を取得する。
　ステップＳ１７において、表示制御部２４は、ステップＳ１６で取得した優先度情報を参照し、３Ｄモデル表示データに基づいた３Ｄモデルの表示制御を行う。即ち、表示制御部２４は、例えば、表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、それぞれの優先度情報を参照し、優先度が高い方の３Ｄモデルの表面が手前側に表示されるように表示制御を行う。
　ステップＳ１８において、表示制御部２４は、ステップＳ１１で再生処理部２２から供給される自由視点動画像ストリームに基づいて自由視点動画像を生成し、表示部１３に供給して表示させる。このとき、表示制御部２４は、ステップＳ１５において表示時刻になったと判定された３Ｄモデルを、３Ｄモデル表示データに従って新たに配置した自由視点動画像を生成する。なお、表示制御部２４は、ステップＳ１５において表示時刻になったと判定された３Ｄモデルがない場合には、新たに配置される３Ｄモデルのない自由視点動画像を生成する。
　ステップＳ１８の処理後、処理はステップＳ１１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
　以上のように、記録再生装置１１は、優先度情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。
　＜優先度情報の変形例＞
　図７を参照して、優先度情報の変形例について説明する。
　例えば、優先度情報は、上述の図４に示したような数値を用いて設定する他、新たに配置される３Ｄモデルの表示時刻において、既に配置されている３Ｄモデルと比較する１ビットの値により設定することができる。
　即ち、図７に示すように、１ビットの優先度情報が０である場合、新たに配置される３Ｄモデルは、既存の３Ｄモデルより優先して手前側に表示されることを指定する。また、１ビットの優先度情報が１である場合、新たに配置される３Ｄモデルは、既存の３Ｄモデルを優先して奥側に表示されることを指定する。従って、表示制御部２４は、３Ｄモデルを表示する順番と、それまでに表示されている３Ｄモデルとの相対的な優先度に基づいて、３Ｄモデルの表示制御を行うことができる。
　例えば、上述の図５を参照して説明する。例えば、３ＤモデルＡが先に表示され、３ＤモデルＢが後に表示される順番である場合、３ＤモデルＢの優先度情報が０に設定されているとき、表示制御部２４は、図５のＡに示すように、３ＤモデルＢの表面が手前側に表示されるように表示制御を行う。
　また、例えば、自由視点動画像コンテンツにおいて再現される空間における既存の３ＤモデルＡが存在している場合に、３ＤモデルＢの優先度情報が１に設定されているとき、表示制御部２４は、図５のＢに示すように、３ＤモデルＡの表面が手前側に表示されるように表示制御を行う。
　このように、優先度情報を１ビットで表すことによってデータ量を削減することができるとともに、既存の３Ｄモデルとの相対的な優先度に基づいて、３Ｄモデルの表示制御を容易に行うことができる。従って、１ビットの優先度情報は、３Ｄモデルが複雑に存在していないような自由視点動画像コンテンツに適用することが好適である。
　このような１ビットの値で表される優先度情報を用いた再生処理について、図８のフローチャートを参照して説明する。
　図８のフローチャートに示すステップＳ２１からステップＳ２６までの処理は、上述の図６を参照して説明したフローチャートのステップＳ１１からステップＳ１６までの処理と同様に行われる。
　ステップＳ２７において、表示制御部２４は、ステップＳ２６で取得した１ビットの優先度情報が、１および０のどちらであるかを判定する。
　ステップＳ２７において、表示制御部２４が、１ビットの優先度情報が０であると判定した場合、処理はステップＳ２８に進む。ステップＳ２８において、表示制御部２４は、ステップＳ２５で表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、新たに配置する３Ｄモデルの表示を優先し、その３Ｄモデルの表面が手前側に表示されるように表示制御を行う。
　一方、ステップＳ２７において、表示制御部２４が、１ビットの優先度情報が１であると判定した場合、処理はステップＳ２９に進む。ステップＳ２９において、表示制御部２４は、ステップＳ２５で表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、他の３Ｄモデルの表示を優先させ、他の３Ｄモデルの表面が手前側に表示されるように表示制御を行う。即ち、この場合、新たに配置する３Ｄモデルの表面は奥側に表示されることになる。
　ステップＳ２８またはＳ２９の処理後、処理はステップＳ３０に進み、図６のフローチャートのステップＳ１８と同様の処理が行われる。その後、処理はステップＳ２１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
　以上のように、記録再生装置１１は、１ビットの値で表される優先度情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。
　＜付加情報の他の例＞
　ところで、付加情報は、上述したような優先度情報の他、自由視点動画像コンテンツにおいて再現される空間内に配置される３Ｄモデルを表示する際に参照される様々な情報を設定することができる。
　例えば、図９に示すように、付加情報として、優先度情報に加えて、３Ｄモデルごとに視聴年齢制限を設けるための視聴年齢制限情報を設定することができる。例えば、編集データには、時間情報が設定されており、さらに付加情報として視聴年齢制限情報を設定することで、自由視点動画像コンテンツを部分的に、視聴年齢制限情報に従って表示または非表示にすることができる。
　例えば、表示制御部２４は、編集データに設定されている視聴年齢制限情報が、記録再生装置１１に対して予め設定されている視聴年齢制限情報以下である場合、その編集データの３Ｄモデルを表示するように表示制御を行う。また、表示制御部２４は、編集データに視聴年齢制限情報が設定されていない場合には、その編集データの３Ｄモデルを常に表示するように表示制御を行う。
　ここで、視聴年齢制限情報は、視聴してもよい最小の年齢の数値情報が含まれており、例えば、この数値情報が２０に設定されている場合、２０歳以上は視聴しても良いことを示している。また、視聴年齢制限情報が設定されている編集データでは、既存のデータより優先表示する（上書きする）使い方をする場合は、上述した優先度情報を用いることができる。例えば、図４に示したように数値で設定される優先度情報を用いる場合は、優先度情報に０より大きな値を設定する。さらに、編集データごとに、複数の視聴年齢制限情報を設定してもよく、例えば、年齢が大きくなるほど優先度情報を大きくすることで、一番大きな年齢のデータが最も優先されるような表示制御を行うことができる。また、図７に示したように１ビットの優先度情報を用いる場合には、優先度情報に０を設定し、年齢が大きくなる順に編集データを編集データストリーム中に格納しておくことで、適切な表示制御を行うことができる。
　このような視聴年齢制限情報を用いた再生処理について、図１０のフローチャートを参照して説明する。
　図１０のフローチャートに示すステップＳ４１およびステップＳ４２の処理は、図６を参照して上述した再生処理のフローチャートのステップＳ１１およびステップＳ１２の処理と同様に行われる。
　ステップＳ４３において、３Ｄモデル構築部２３は、ステップＳ４２で取得した編集データの３Ｄモデルに対して視聴年齢制限情報が設定されているか否かを判定する。
　ステップＳ４３において、３Ｄモデル構築部２３が、視聴年齢制限情報が設定されていると判定した場合、処理はステップＳ４４に進む。
　ステップＳ４４において、３Ｄモデル構築部２３は、記録再生装置１１に設定されている視聴年齢制限情報を、例えば、記録再生装置１１の各種設定を記憶しているメモリから読み出して取得する。
　ステップＳ４５において、３Ｄモデル構築部２３は、編集データの３Ｄモデルに対して設定されていた視聴年齢制限情報が、記録再生装置１１から取得した視聴年齢制限情報以下であるか否かを判定する。
　ステップＳ４５において、３Ｄモデル構築部２３が、３Ｄモデルの視聴年齢制限情報が、記録再生装置１１の聴年齢制限情報以下でないと判定した場合、処理はステップＳ４６乃至Ｓ５０をスキップして、ステップＳ５１に進む。即ち、この場合、記録再生装置１１において３Ｄモデルを表示することは適していないと判断することができ、その３Ｄモデルの３Ｄモデル表示データは生成されないことになる。
　一方、３Ｄモデル構築部２３が、３Ｄモデルの視聴年齢制限情報が、記録再生装置１１の聴年齢制限情報以下であると判定した場合、記録再生装置１１において３Ｄモデルを表示することは適していると判断することができ、処理はステップＳ４６に進む。また、ステップＳ４３において、３Ｄモデル構築部２３が、視聴年齢制限情報が設定されていないと判定した場合にも、処理はステップＳ４６に進む。
　ステップＳ４６からステップＳ５１までの処理は、上述の図６を参照して説明したフローチャートのステップＳ１３からステップＳ１８までの処理と同様に行われる。その後、処理はステップＳ４１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
　以上のように、記録再生装置１１は、視聴年齢制限情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。即ち、記録再生装置１１は、自由視点動画像コンテンツを構成する一部の３Ｄモデルだけ年齢制限を適用させることができ、記録再生装置１１に設定されている視聴年齢制限情報に従った３Ｄモデルの表示制御を行うことができる。
　なお、例えば、視聴年齢制限情報は、自由視点動画像コンテンツの映像データへの適用に限定されることなく、例えば、音声データへも適用させることができる。即ち、自由視点動画像コンテンツでは、映像データに対応する音声データもオブジェクト化されており、３Ｄモデルと同様に、自由視点動画像コンテンツにおいて再現される空間内に配置されている。従って、音声データストリームに対応する音声編集データストリームを構成する編集データにおいて、それぞれの音声データに視聴年齢制限情報を付加することで、視聴年齢制限情報に従った音声の出力制御を行うことができる。これにより、例えば、記録再生装置１１は、音声データの視聴年齢制限情報が記録再生装置１１に設定されている視聴年齢制限情報以下である場合のみ、音声を出力することができる。
　以上のように、記録再生装置１１は、編集データに設定されている付加情報を参照した表示制御を行うことができ、例えば、特定の３Ｄモデルに別の３Ｄモデルを重ねて配置することを編集データストリームとして伝送することができる。これにより、記録再生装置１１では、例えば、一部の３Ｄモデルの表面を広告に差し替えたり、現在と過去とで異なる表面（例えば、建物が建て替わったこと）を再現したりすることができる。また、記録再生装置１１は、編集データに対する編集の前後を容易に見比べることができる。
　また、記録再生装置１１は、部分的な不都合を理由として全体に対して年齢制限が設定されていた自由視点動画像コンテンツについて、その不都合な部分だけに年齢制限を設定して、自由視点動画像コンテンツ自体の再生が制限されることを回避することができる。これにより、記録再生装置１１を利用することで、広範囲な年齢に対して体験可能な自由視点動画像コンテンツの提供が可能となる。また、記録再生装置１１は、音声データについても同様に、一部分の音声だけに年齢制限を適用することができる。
　＜自由視点動画像コンテンツの記録処理＞
　次に、図１１は、自由視点動画像コンテンツを記録する記録処理を説明するフローチャートである。例えば、ユーザの操作に従って、記録再生装置１１に記録させる自由視点動画像コンテンツがデータ入力部１４に入力されると記録処理が開始される。
　ステップＳ６１において、編集内容取得部２５は、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われたか否かを判定する。例えば、ユーザが操作部１２を操作して所定の３Ｄモデルに対する編集を行い、その操作に従った操作信号が操作部１２から供給されると、編集内容取得部２５は、３Ｄモデルに対する編集が行われたと判定する。
　ステップＳ６１において、編集内容取得部２５が、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われたと判定した場合、処理はステップＳ６２に進む。ステップＳ６２において、編集内容取得部２５は、操作部１２から供給された操作信号に基づいて、ユーザが自由視点動画像コンテンツを構成する３Ｄモデルに対して行った編集内容を取得して、編集データ設定部２６に供給する。例えば、編集内容取得部２５は、付加情報に対する編集内容を取得して、編集データ設定部２６に供給する。
　一方、ステップＳ６１において、編集内容取得部２５が、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われなかったと判定した場合、処理はステップＳ６２をスキップして、ステップＳ６３に進む。
　ステップＳ６３において、編集データ設定部２６は、データ入力部１４を介して入力される編集データストリームの先頭から順次、編集データを取得する。そして、編集データ設定部２６は、編集内容取得部２５から編集内容が供給された３Ｄモデルに対応する編集データに対し、その編集内容に従った編集を行って、記録処理部２７に供給する。例えば、編集データ設定部２６は、編集データの付加情報に対する編集を行って、記録処理部２７に供給する。なお、編集データ設定部２６は、編集内容取得部２５から編集内容が供給されなかった３Ｄモデルに対応する編集データについては、そのまま記録処理部２７に供給する。
　ステップＳ６４において、記録処理部２７は、ステップＳ６３において編集データ設定部２６から供給される編集データにより構成される編集データストリームと、その編集データストリームに対応してデータ入力部１４を介して入力される自由視点動画像ストリームとをエンコードし、自由視点動画像コンテンツとしてコンテンツ記録部２１に記録する。
　ステップＳ６４の処理後、処理はステップＳ６１に戻り、自由視点動画像コンテンツを構成する全ての自由視点動画像ストリームおよび編集データストリームの入力が終了するまで、以下、同様の処理が繰り返して行われる。
　以上のように、記録再生装置１１は、自由視点動画像ストリームのデータを変更することなく、ユーザによる３Ｄモデルに対する編集を編集データストリームに反映させて、自由視点動画像コンテンツを記録することができる。
　なお、本実施の形態では、自由視点動画像コンテンツの再生処理および記録処理の両方を行うことができる記録再生装置１１について説明したが、例えば、再生装置と記録装置とで独立した構成となっていてもよい。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（再生方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と
　を備える再生装置。
（２）
　前記付加情報は、前記３Ｄモデルの表示の優先度を示す優先度情報であり、
　前記表示制御部は、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行う
　上記（１）に記載の再生装置。
（３）
　前記表示制御部は、複数の前記３Ｄモデルの表面が一致している場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルの表面が手前に表示されるように表示制御を行う
　上記（２）に記載の再生装置。
（４）
　前記優先度情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する
　上記（２）または（３）に記載の再生装置。
（５）
　前記付加情報は、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報であり、
　前記表示制御部は、前記編集データで設定されている視聴年齢制限情報が、前記再生装置に予め設定されている視聴年齢制限情報以下である場合、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
　上記（１）から（４）までのいずれかに記載の再生装置。
（６）
　前記自由視点動画像コンテンツは音声データストリームおよび音声編集データストリームを有して構成されており、
　前記音声編集データを構成する編集データに設定されている前記視聴年齢制限情報に従って、その編集データに対応する音声データの出力が制御される
　上記（５）に記載の再生装置。
（７）
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
　ステップを含む再生方法。
（８）
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
　ステップを含む再生処理をコンピュータに実行させるプログラム。
（９）
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
　前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
　前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
　を備える記録装置。
（１０）
　前記記録装置に前記自由視点動画像コンテンツを記録する際に、前記編集データ設定部に前記編集データストリームが入力されるとともに、前記記録処理部に自由視点動画像ストリームが入力され、
　前記編集データ設定部は、ユーザの操作に従って前記編集内容取得部が取得した編集内容に基づいて前記編集データに対する編集を行う
　上記（９）に記載の記録装置。
（１１）
　前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示の優先度を示す優先度情報を設定する
　上記（９）または（１０）に記載の記録装置。
（１２）
　前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報を設定する
　上記（９）から（１１）までのいずれかに記載の記録装置。
（１３）
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
　ステップを含む記録方法。
（１４）
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
　ステップを含む記録処理をコンピュータに実行させるプログラム。
（１５）
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、
　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
　前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
　前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
　を備える再生記録装置。
（１６）
　自由視点動画像コンテンツを再生する際に、
　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
　　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
　自由視点動画像コンテンツを記録する際に、
　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
　　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
　　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
　ステップを含む再生記録方法。
（１７）
　自由視点動画像コンテンツを再生する際に、
　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
　　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
　自由視点動画像コンテンツを記録する際に、
　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
　　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
　　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
　ステップを含む再生記録処理をコンピュータに実行させるプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　記録再生装置，　１２　操作部，　１３　表示部，　１４　データ入力部，　２１　コンテンツ記録部，　２２　再生処理部，　２３　３Ｄモデル構築部，　２４　表示制御部，　２５　編集内容取得部，　２６　編集データ設定部，　２７　記録処理部

Claims (17)

  1. 　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
    　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と
    　を備える再生装置。
  2. 　前記付加情報は、前記３Ｄモデルの表示の優先度を示す優先度情報であり、
    　前記表示制御部は、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行う
    　請求項１に記載の再生装置。
  3. 　前記表示制御部は、複数の前記３Ｄモデルの表面が一致している場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルの表面が手前に表示されるように表示制御を行う
    　請求項２に記載の再生装置。
  4. 　前記優先度情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する
    　請求項２に記載の再生装置。
  5. 　前記付加情報は、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報であり、
    　前記表示制御部は、前記編集データで設定されている視聴年齢制限情報が、前記再生装置に予め設定されている視聴年齢制限情報以下である場合、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
    　請求項１に記載の再生装置。
  6. 　前記自由視点動画像コンテンツは音声データストリームおよび音声編集データストリームを有して構成されており、
    　前記音声編集データを構成する編集データに設定されている前記視聴年齢制限情報に従って、その編集データに対応する音声データの出力が制御される
    　請求項５に記載の再生装置。
  7. 　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
    　ステップを含む再生方法。
  8. 　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
    　ステップを含む再生処理をコンピュータに実行させるプログラム。
  9. 　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
    　前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
    　前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
    　を備える記録装置。
  10. 　前記記録装置に前記自由視点動画像コンテンツを記録する際に、前記編集データ設定部に前記編集データストリームが入力されるとともに、前記記録処理部に自由視点動画像ストリームが入力され、
    　前記編集データ設定部は、ユーザの操作に従って前記編集内容取得部が取得した編集内容に基づいて前記編集データに対する編集を行う
    　請求項９に記載の記録装置。
  11. 　前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示の優先度を示す優先度情報を設定する
    　請求項９に記載の記録装置。
  12. 　前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報を設定する
    　請求項９に記載の記録装置。
  13. 　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    　ステップを含む記録方法。
  14. 　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    　ステップを含む記録処理をコンピュータに実行させるプログラム。
  15. 　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
    　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、
    　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
    　前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
    　前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
    　を備える再生記録装置。
  16. 　自由視点動画像コンテンツを再生する際に、
    　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    　　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
    　自由視点動画像コンテンツを記録する際に、
    　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    　　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    　　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    　ステップを含む再生記録方法。
  17. 　自由視点動画像コンテンツを再生する際に、
    　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    　　前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
    　自由視点動画像コンテンツを記録する際に、
    　　自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    　　取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    　　編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    　ステップを含む再生記録処理をコンピュータに実行させるプログラム。
PCT/JP2017/034238 2016-10-06 2017-09-22 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム WO2018066382A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/330,616 US11398077B2 (en) 2016-10-06 2017-09-22 Reproducing device, reproducing method, recording device, recording method, reproducing/recording device, and reproducing/recording method for display of a 3D model arranged in a space recreated by a free visual point moving image stream
JP2018543838A JP6988813B2 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
CN201780059930.6A CN109791707B (zh) 2016-10-06 2017-09-22 再现装置和方法、记录装置和方法、再现/记录装置和方法、记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-198250 2016-10-06
JP2016198250 2016-10-06

Publications (1)

Publication Number Publication Date
WO2018066382A1 true WO2018066382A1 (ja) 2018-04-12

Family

ID=61831004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034238 WO2018066382A1 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11398077B2 (ja)
JP (1) JP6988813B2 (ja)
CN (1) CN109791707B (ja)
WO (1) WO2018066382A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020101847A (ja) * 2018-12-19 2020-07-02 キヤノン株式会社 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム
WO2021006047A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114175019A (zh) * 2019-07-19 2022-03-11 富士胶片株式会社 图像显示装置、方法及程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム
JP2014032443A (ja) * 2012-08-01 2014-02-20 Yahoo Japan Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2014183502A (ja) * 2013-03-21 2014-09-29 Geo Technical Laboratory Co Ltd 立体視画像データ生成装置
JP2015187797A (ja) * 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4088274B2 (ja) 2004-06-28 2008-05-21 株式会社東芝 メタデータの構造及びその編集方法
US8683386B2 (en) * 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
JP4957831B2 (ja) * 2009-08-18 2012-06-20 ソニー株式会社 再生装置および再生方法、並びに記録装置および記録方法
US20130113879A1 (en) * 2011-11-04 2013-05-09 Comcast Cable Communications, Llc Multi-Depth Adaptation For Video Content
US10314559B2 (en) * 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
US9836845B2 (en) * 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US20170286993A1 (en) * 2016-03-31 2017-10-05 Verizon Patent And Licensing Inc. Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム
JP2014032443A (ja) * 2012-08-01 2014-02-20 Yahoo Japan Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2014183502A (ja) * 2013-03-21 2014-09-29 Geo Technical Laboratory Co Ltd 立体視画像データ生成装置
JP2015187797A (ja) * 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020101847A (ja) * 2018-12-19 2020-07-02 キヤノン株式会社 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム
JP7297439B2 (ja) 2018-12-19 2023-06-26 キヤノン株式会社 ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム
WO2021006047A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム

Also Published As

Publication number Publication date
CN109791707B (zh) 2023-05-26
CN109791707A (zh) 2019-05-21
US20210287432A1 (en) 2021-09-16
US11398077B2 (en) 2022-07-26
JPWO2018066382A1 (ja) 2019-07-18
JP6988813B2 (ja) 2022-01-05

Similar Documents

Publication Publication Date Title
US20230023257A1 (en) Generation and use of user-selected scenes playlist from distributed digital content
JP5652642B2 (ja) データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
WO2018066382A1 (ja) 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
WO2010064472A1 (ja) コンテンツ再生装置、再生方法、プログラム及び記録媒体
JP2009302637A (ja) 生成装置、生成方法、及び、プログラム
JPWO2020071112A1 (ja) 情報処理装置および情報処理方法
JP7288760B2 (ja) インタラクティブなオーディオメタデータの操作
CN101681661A (zh) 编辑装置和编辑方法
JP7226335B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20070098362A (ko) 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법
US9620167B2 (en) Broadcast-quality graphics creation and playout
WO2014065165A1 (ja) 情報処理装置、情報処理方法、およびプログラム、並びに情報処理システム
US20130128114A1 (en) Multiple-Resolution Audio and Video Systems, Methods of Production, Delivery and Uses Thereof
JP4325312B2 (ja) コンテンツ企画データ作成方法、コンテンツ企画データ作成プログラム、プログラム記録媒体、コンテンツ企画データ作成装置、撮像装置、撮像方法、撮像プログラム、音声入力装置、音声入力方法、音声入力プログラム
JP4333532B2 (ja) 再生装置
JP2007189418A (ja) 情報処理装置および方法、並びにプログラム
US20130232144A1 (en) Managing storyboards
JPWO2018066381A1 (ja) 再生装置および再生方法、並びにプログラム
JP5111422B2 (ja) コンテンツ制作システム及びコンテンツ制作プログラム
US8452159B2 (en) Image processing device and image processing method
JP2010239400A (ja) 送出サーバ、ビデオサーバ、ビデオサーバシステム、素材管理方法及び素材管理プログラム
JP2007088915A (ja) 動画像編集装置
JP2009017385A (ja) 動画像生成装置、動画像生成方法、及び動画像生成プログラム
JP2015185195A (ja) 音響・映像機器の再生制御装置
JP5517194B2 (ja) ノンリニア編集装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858221

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543838

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858221

Country of ref document: EP

Kind code of ref document: A1