WO2023153472A1 - メディア処理装置、送信装置及び受信装置 - Google Patents
メディア処理装置、送信装置及び受信装置 Download PDFInfo
- Publication number
- WO2023153472A1 WO2023153472A1 PCT/JP2023/004363 JP2023004363W WO2023153472A1 WO 2023153472 A1 WO2023153472 A1 WO 2023153472A1 JP 2023004363 W JP2023004363 W JP 2023004363W WO 2023153472 A1 WO2023153472 A1 WO 2023153472A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- viewpoint
- content
- user terminal
- specific content
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 140
- 230000005540 biological transmission Effects 0.000 claims description 67
- 230000004044 response Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 22
- VKALYYFVKBXHTF-UHFFFAOYSA-N 4-(methylsulfanyl)-m-cresol Chemical compound CSC1=CC=C(O)C=C1C VKALYYFVKBXHTF-UHFFFAOYSA-N 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Definitions
- the present disclosure relates to media processing devices, transmitting devices and receiving devices.
- Non-Patent Document 1 mechanisms for transmitting content such as 360° video and 3D objects have been proposed (for example, Non-Patent Document 1).
- Known mechanisms of this kind include 3DoF+ (Degree of Freedom), which allows the user to move their head in a sitting position, and 6DoF, which allows the user to freely move their viewpoint.
- 3DoF+ Degree of Freedom
- 6DoF 6DoF
- a media processing device includes a renderer that generates specific content including at least the content based on a configuration of content having a degree of freedom of viewpoint and specific viewpoint information, and the specific content generated by the renderer. to the user terminal.
- a transmission device comprising a transmission unit that transmits a configuration of content having a degree of freedom of viewpoint, wherein the transmission unit transmits specific viewpoint information used to generate specific content including at least the content.
- One aspect of the disclosure is a receiving device comprising a receiving unit that receives a configuration of content having a degree of freedom of viewpoint, wherein the receiving unit receives specific viewpoint information used to generate specific content including at least the content. be.
- FIG. 1 is a diagram showing a transmission system 10 according to an embodiment.
- FIG. 2 is a block diagram showing a media processing device 200 and a user terminal 300 according to an embodiment.
- FIG. 3 is a diagram for explaining the second content according to the embodiment.
- FIG. 4 is a diagram showing a method for viewing specific content according to the embodiment.
- FIG. 5 is a diagram for explaining Operation Example 1.
- FIG. FIG. 6 is a diagram for explaining Operation Example 2.
- FIG. FIG. 7 is a diagram for explaining Operation Example 2.
- FIG. FIG. 8 is a diagram for explaining Operation Example 3.
- FIG. FIG. 9 is a diagram for explaining Operation Example 3.
- FIG. FIG. 10 is a diagram for explaining Operation Example 3.
- FIG. FIG. 11 is a diagram for explaining Operation Example 3.
- FIG. 12 is a diagram for explaining Operation Example 4.
- FIG. FIG. 13 is a diagram for explaining Operation Example 4.
- FIG. FIG. 14 is a diagram for explaining Operation Example 4.
- FIG. 15 is a diagram for explaining Operation Example 5.
- FIG. FIG. 16 is a diagram for explaining Operation Example 5.
- FIG. 17 is a diagram for explaining Operation Example 5.
- FIG. FIG. 18 is a diagram for explaining Operation Example 5.
- FIG. FIG. 19 is a diagram for explaining the first method according to Modification 1.
- FIG. FIG. 20 is a diagram for explaining the second method according to Modification 1.
- a media processing device includes a renderer that generates specific content including at least the content based on a configuration of content having a degree of freedom of viewpoint and specific viewpoint information, and a renderer that generates the specific content generated by the renderer. and an output unit for outputting to the user terminal.
- the media processing device generates specific content based on the composition of the content and specific viewpoint information.
- the media processing device can generate the specific content based on the specific viewpoint information, and the first user terminal that feeds back the viewpoint information and the second user terminal that does not feed back the viewpoint information coexist. Even if the case is assumed, the specific content can be displayed appropriately.
- the specific content generated by the media processing device is generated based on viewpoint information, and that the user terminal side can handle the video included in the specific content as 2D video.
- Viewpoint information used to generate specific content may include specific viewpoint information, or may include viewpoint information received from a user terminal.
- FIG. 1 is a diagram showing a transmission system 10 according to an embodiment.
- the digital wireless transmission system comprises a transmitting device 100, a media processing device 200 and a user terminal 300.
- FIG. 1 is a diagram showing a transmission system 10 according to an embodiment.
- the digital wireless transmission system comprises a transmitting device 100, a media processing device 200 and a user terminal 300.
- FIG. 1 is a diagram showing a transmission system 10 according to an embodiment.
- the digital wireless transmission system comprises a transmitting device 100, a media processing device 200 and a user terminal 300.
- the transmission device 100 transmits to the media processing device 200 the first content without viewpoint freedom and the second content with viewpoint freedom. Furthermore, the transmitting device 100 transmits to the media processing device 200 first control information accompanying the first content and second control information accompanying the second content.
- the first content may include at least one of 2D video and audio.
- the first content and the first control information may be transmitted in the first scheme.
- the first method may be a method conforming to ISO/IEC 23008-1 (hereinafter referred to as MMT (MPEG Media Transport)).
- MMT MPEG Media Transport
- MMTP MMT Protocol
- the first control information may be called MMT-SI (Signaling Information).
- the second content may include 360° video and 3D objects.
- the second content and second control information may be transmitted by the second method. Alternatively, it may be transmitted by a protocol such as HTTP (Hyper Text Transfer Protocol).
- the second content may conform to 3DoF+ (Degree of Freedom), in which the user can move his or her head in a sitting position, or 6DoF, in which the user can move freely. Since the second content has a degree of freedom of viewpoint, it may include two or more 360° videos and two or more 3D objects at the same time (frame).
- the second control information may be called scene description.
- the second control information may be transmitted by the first method described above. That is, the second control information may be transmitted by the same first scheme (eg, MMTP) as the first control information. Alternatively, it may be transmitted using a protocol such as HTTP.
- first scheme eg, MMTP
- HTTP HyperText Transfer Protocol
- Transmission from the transmission device 100 to the media processing device 200 is not particularly limited, but may be transmission using satellite broadcasting, transmission using the Internet network, or mobile communication network. may be used for transmission.
- the transmission system may be a digital wireless transmission system.
- the digital wireless transmission system may be a system used for 4K and 8K satellite broadcasting.
- the media processing device 200 generates specific content including at least the second content described above based on the viewpoint information received from the user terminal 300, and transmits the generated specific content to the user terminal 300.
- the transmission of the specific content may be transmission using the Internet network or transmission using a mobile communication network.
- the user terminal 300 may be a user terminal such as a smartphone, tablet terminal, or head-mounted display. As shown in FIG. 1 , two or more user terminals 300 may be provided as user terminals 300 . In other words, two or more user terminals 300 may request the media processing device 200 to generate specific content. Each user terminal 300 may transmit different viewpoint information to the media processing device 200 .
- FIG. 2 is a block diagram showing a media processing device 200 and a user terminal 300 according to an embodiment.
- the media processing device 200 has a reception unit 210, a renderer 220, and an encoding processing unit 230.
- the reception unit 210 receives viewpoint information.
- the receiving unit 210 constitutes a receiving unit that receives viewpoint information from the user terminal 300.
- the viewpoint information includes an information element indicating the viewpoint position of the user of the user terminal 300 and an information element indicating the line-of-sight direction of the user of the user terminal 300 .
- the renderer 220 generates specific content including at least the second content based on the viewpoint information. Since the specific content is generated based on viewpoint information, it may include one 360° video and one 3D object at the same time (frame). In the following, the specific content will be exemplified for the case where the first content is included in addition to the second content.
- the renderer 220 generates first content including 2D video and audio as part of specific content based on first control information (MMT-SI). Viewpoint information is not required in generating the first content.
- MMT-SI first control information
- the renderer 220 acquires 2D video, audio, and MMT-SI in the form of MMTP packets in which 2D video, audio, and MMT-SI are packetized.
- MMTP packets are stored in IP (Internet Protocol) packets.
- IP packets may be transmitted using UDP (User Datagram Protocol) or may be transmitted using TCP (Transmission Control Protocol).
- UDP User Datagram Protocol
- TCP Transmission Control Protocol
- MPU Media Processing Unit
- MPU includes one or more access units.
- An access unit may also be treated as an MFU (Media Fragment Unit).
- An MFU for 2D video may be referred to as a NAL (Network Abstraction Layer) unit, and an MFU for audio may be referred to as an MHAS (MPEG-H 3D Audio Stream) packet.
- NAL Network Abstraction Layer
- MHAS MPEG-H 3D Audio Stream
- MMT-SI includes a PA (Package Access) message, and the PA message includes an MPT (MMT Package Table) that lists the first content. Furthermore, MMT-SI includes an MPU timestamp descriptor that indicates the presentation time of the first content.
- the MPU Timestamp Descriptor may represent the presentation time of the MPU, ie the time of the first presented access unit in the MPU.
- the MPU timestamp descriptor may be generated using UTC (Coordinated Universal Time) as the reference time.
- TAI International Atomic Time
- GPS Global Positioning System
- the reference time may be the time provided by an NTP (Network Time Protocol) server or the time provided by a PTP (Precision Time Protocol) server.
- the renderer 220 generates second content including 360° video and 3D objects as part of the specific content based on the second control information (scene description). Viewpoint information is used in generating the second content.
- the renderer 220 may acquire the scene description in the form of MMTP packets in which the scene description is packetized.
- the acquisition method of 360° video and 3D object is not particularly limited.
- 360° video may be converted to 2D video by projective transformation such as ERP (Equirectangular projection) or cube map. Metadata indicating the type of projective transformation applied to the 360° video may be added.
- a 3D object may be encoded in a mesh format.
- ISO/IEC 14496-16 “Animation framework extension (AFX)” may be used as mesh format encoding.
- 3D objects may be encoded in point cloud format.
- ISO/IEC 23090-5 “Video-based Point Cloud Compression” may be used as point cloud format encoding.
- the second content is grouped into one file in units separated by a certain time width.
- the constant time width may be 500ms.
- the frame rate is 60fps (frame per second)
- one file contains 30 frames.
- a scene description is generated for each file and includes information specifying 360° video and 3D objects for each frame.
- the scene description contains an information element (object_name) indicating the name of the 3D object in the frame, an information element (frame_number) indicating the frame number, an information element (translation_object) indicating the position of the 3D object in the frame, and a rotation of the 3D object in the frame. and an information element (rotation_object) indicating the size of the 3D object in the frame (scale_object).
- the renderer 220 outputs specific content including the first content and the second content to the encoding processing unit 230.
- the renderer 220 may output the presentation time of the specific content to the encoding processing unit 230 together with the specific content.
- the presentation time of the specific content may be corrected based on the delay time between the media processing device 200 and the user terminal 300.
- the renderer 220 provides the content from the media processing device 200 to the user terminal 300 based on the presentation time (T) and the delay time ( ⁇ T) of the specific content provided from the transmission device 100 to the media processing device 200.
- the delay time ( ⁇ T) may be a predetermined value in the media processing device 200, or may be a different value for each user terminal 300.
- the renderer 220 may constitute a transmission unit that transmits the viewpoint information used to generate the specific content to the user terminal 300 .
- Viewpoint information used to generate specific content may be transmitted from the encoding processing unit 230 to the user terminal 300 .
- the transmission method for viewpoint information and specific content may be MMTP or HTTP.
- the viewpoint information may be stored as metadata in OMAF (Omnidirectional Media Format) defined by ISO/IEC 23090-2.
- the encoding processing unit 230 encodes the specific content generated by the renderer 220.
- the encoding processing unit 230 may be an example of a transmitting unit that transmits specific content to the user terminal 300. FIG.
- the encoding processing unit 230 may encode the presentation time of the specific content.
- the encoding processing unit 230 may transmit the information element indicating the presentation time to the user terminal 300 together with the specific content.
- the compression encoding method used by the encoding processing unit 230 any compression encoding method can be used.
- the compression encoding method may be HEVC (High Efficiency Video Coding) or VVC (Versatile Video Coding).
- the second content included in the specific content is generated based on viewpoint information, so the video included in the specific content can be treated as a 2D video that does not have a degree of freedom of viewpoint.
- the transmission control method used to start and end viewing of specific content may include RTSP (Real Time Streaming Protocol).
- the transmission method may be MMTP or HTTP.
- specific content may be stored in OMAF defined in ISO/IEC 23090-2.
- the user terminal 300 has a detection unit 310, a decoding processing unit 320, and a renderer 330.
- the detection unit 310 detects the user's viewpoint position and line-of-sight direction.
- the detection unit 310 may include an acceleration sensor and may include a GPS (Global Positioning System) sensor.
- the detection unit 310 may include a user I/F (eg, touch sensor, keyboard, mouse, controller, etc.) manually input by the user.
- the detection unit 310 may transmit viewpoint information (viewpoint position and line-of-sight direction) to the media processing device 200 .
- the detection unit 310 may output viewpoint information (viewport) to the renderer 330 .
- the decoding processing unit 320 decodes the specific content received from the media processing device 200.
- the decoding processing unit 320 may decode the presentation time received from the media processing device 200 .
- the decoding processing unit 320 may output the specific content to the renderer 330 and may output the presentation time to the renderer 330 .
- the renderer 330 outputs the specific content decrypted by the decryption processing unit 320.
- the renderer 330 may output the specific content based on the presentation time decoded by the decoding processing unit 320.
- FIG. For example, the renderer 330 may output video content included in the specific content to a display and output audio content included in the specific content to a speaker.
- the renderer 330 may generate specific content in which the viewpoint position and line-of-sight direction are corrected based on the difference between the viewpoint information received from the media processing device 200 and the viewpoint information input from the detection unit 310. .
- the second content according to the embodiment will be described below.
- a 360° video may be displayed without displaying a 3D object.
- a 360° image may be considered as a background image of a 3D object.
- the 3D object may be displayed in a form superimposed on the 360° video.
- the position and rotation of the 3D object superimposed on the 360° image may be changed.
- Viewing method A viewing method according to the embodiment will be described below. Here, viewing of specific content including first content and second content is exemplified.
- step S11 the user terminal 300 transmits RTSP SETUP to the media processing device.
- RTSP SETUP is a message to start viewing specific content.
- the RTSP SETUP includes the IP address of the user terminal 300, standby port number, content identification information (content ID), and the like.
- RTSP SETUP may include information on the capabilities of the user terminal 300 to view specific content. Capability information may include frame rate, display resolution, and the like. The display resolution may include a field of view (FoV).
- the capability information may include an information element indicating the encoding scheme and compression scheme that the user terminal 300 supports.
- the capability information of the user terminal 300 is directly notified to the media processing device 200, but the embodiment is not limited to this.
- the capability information of the user terminal 300 may be notified to the transmission device 100 and then transmitted from the transmission device 100 to the media processing device 200 .
- the media processing device 200 transmits a response to RTSP SETUP.
- an ACK indicating that the RTSP SETUP has been accepted is sent as a response.
- step S21 the user terminal 300 transmits initial viewpoint information to the media processing device 200.
- the initial viewpoint information may be transmitted in the form of MMT-SI.
- step S22 the media processing device 200 generates initial specific content based on the initial viewpoint information (rendering process). For example, the media processing device 200 generates second content to be included in the initial specific content based on the initial viewpoint information and the scene description.
- the media processing device 200 may generate the initial specific content using a viewport that is wider than the display resolution of the user terminal 300 .
- the range wider than the display resolution may be a range of +20% display resolution in the horizontal direction and +20% display resolution in the vertical direction.
- the media processing device 200 applies the compression encoding method to the initial specific content.
- the compression encoding method may be HEVC or VVC.
- step S23 the media processing device 200 transmits the initial specific content corresponding to the initial viewpoint information to the user terminal 300.
- the media processing device 200 transmits the presentation time of the initial specific content to the user terminal 300 .
- the presentation time (T') provided to the user terminal 300 may be determined based on the delay time ( ⁇ T).
- the user terminal 300 outputs specific content based on the presentation time (T'). Based on the difference between the viewpoint information received from the media processing device 200 and the viewpoint information input from the detection unit 310, the user terminal 300 may generate specific content in which the viewpoint position and line-of-sight direction are corrected.
- step S31 the user terminal 300 transmits viewpoint information to the media processing device 200.
- Viewpoint information may be transmitted in the form of MMT-SI.
- the user terminal 300 may transmit viewpoint information at a predetermined cycle (eg, 500 ms), or may transmit viewpoint information in accordance with a change in at least one of the viewpoint position and line-of-sight direction.
- step S32 the media processing device 200 generates specific content based on the viewpoint information received in step S31 (rendering processing).
- the media processing device 200 transmits to the user terminal 300 the specific content corresponding to the viewpoint information received at step S31.
- steps S31 to S33 is the same as the processing of steps S21 to S23, except that the viewpoint information received in step S31 is used instead of the initial viewpoint information. Therefore, the details of the processing in steps S31 to S33 are omitted.
- the processing of steps S31 to S33 may be repeated at a predetermined cycle, or may be repeated each time the user's viewpoint position or line-of-sight direction is changed.
- step S41 the user terminal 300 transmits RTSP TEARDOWN to the media processing device.
- RTSP TEARDOWN is a message to end viewing of specific content.
- the media processing device 200 transmits a response to RTSP TEARDOWN.
- an ACK indicating that RTSP TEARDOWN has been accepted is sent as a response.
- FIG. 4 illustrates the case where steps S11 and S12 are executed based on RTSP, the embodiment is not limited to this. Steps S11 and S12 may be executed based on MMTP or HTTP.
- Steps S41 and S42 may be executed based on MMTP or HTTP.
- FIG. 4 exemplifies the case where steps S31 to S33 are executed based on MMTP, the embodiment is not limited to this. Steps S31-S33 may be performed in other ways (eg, HTTP) based.
- Steps S41 to S43 are executed based on MMTP has been exemplified, but the embodiment is not limited to this. Steps S41-S43 may also be performed on a different basis (eg, HTTP).
- Operation Example 1 The above-described embodiment may include Operation Example 1 shown below.
- the media processing device 200 transmits viewpoint information used in generating the specific content to the user terminal 300 in association with the sequence number added to the specific content.
- the media processing device 200 includes 360° video and 3D objects as part of the specific content based on the second control information (scene description), as in the above-described embodiment.
- the renderer 220 associates the viewpoint information used in generating the specific content (here, the second content) with the sequence number.
- the renderer 220 transmits viewpoint information used in generating the specific content to the user terminal 300 in association with the sequence number added to the specific content.
- Viewpoint information may be stored in a VP (View Port) message.
- a VP message may have the format of MMT-SI as specified in ISO/IEC 23008-1, ARIB STD-B60, ARIB TR-B39, etc.
- a VP message may be sent every frame.
- the VP message may be sent to the user terminal 300 as a message related to MMTP (MMT-SI).
- the VP message may have the data structure shown in FIG. As shown in FIG. 5, the VP message may include message_id, version, length, fov, viewpoint_pos_x, viewpoint_pos_y, viewpoint_pos_z, viewpoint_yaw, viewpoint_pitch, viewpoint_roll, viewport_width, viewport_height, mpu_sequence_number_flag, mpu_sequence_number, and so on.
- message_id is identification information indicating a VP message.
- message_id may be 0x0204.
- version is information indicating the version of the MMTP protocol. version may be 0x00.
- length is information indicating the length of the VP message.
- “fov” is information indicating the field of view.
- viewpoint_pos_x is information indicating the x-coordinate of the viewpoint position.
- viewpoint_pos_x is an example of viewpoint information used in generating specific content.
- viewpoint_pos_y is information indicating the y-coordinate of the viewpoint position.
- viewpoint_pos_y is an example of viewpoint information used in generating specific content.
- viewpoint_pos_z is information indicating the z-coordinate of the viewpoint position.
- viewpoint_pos_z is an example of viewpoint information used in generating specific content.
- viewpoint_yaw is information indicating the yaw of the viewpoint position.
- viewpoint_yaw is an example of viewpoint information used in generating specific content.
- viewpoint_pitch is information indicating the pitch of viewpoint positions.
- viewpoint_pitch is an example of viewpoint information used in generating specific content.
- viewpoint_roll is information indicating the roll of the viewpoint position.
- viewpoint_roll is an example of viewpoint information used in generating specific content.
- viewport_width is information indicating the width of the display area (specific content).
- viewport_height is information indicating the height of the display area (specific content).
- mpu_sequence_number_flag is information indicating whether or not the mpu_sequence_number field exists. For example, if the mpu_sequence_number_flag is 1, the mpu_sequence_number field may exist, and if the mpu_sequence_number_flag is 0, the mpu_sequence_number field may not exist.
- mpu_sequence_number is the MPU sequence number of the video corresponding to the specific content indicated by the VP message.
- mpu_sequence_number is an example of a sequence number added to specific content.
- viewpoint_pos_x, viewpoint_pos_y, and viewpoint_pos_z are examples of information elements that indicate the user's viewpoint position in the three-dimensional space configured by the scene description.
- viewpoint_yaw, viewpoint_pitch, and viewpoint_roll are examples of information elements that indicate the direction of the user's line of sight in the three-dimensional space configured by the scene description.
- viewport_width and viewport_height are examples of information elements indicating the number of pixels of video included in specific content.
- the media processing device 200 and the user terminal 300 may perform the following operations.
- the media processing device 200 may specify viewpoint_pos_x, viewpoint_pos_y, and viewpoint_pos_z based on the viewpoint position used to generate the specific content.
- the renderer 220 may identify the viewpoint_yaw, viewpoint_pitch, and viewpoint_roll based on the viewing direction used to generate the particular content.
- the renderer 220 may determine viewport_width based on the number of pixels in the horizontal direction of the specific content, and determine viewport_height based on the number of pixels in the vertical direction of the specific content.
- the media processing device 200 may compress and encode the specific content generated by the renderer 220 and transmit the specific content.
- the encoding processing unit 230 may transmit the VP message shown in FIG. 5 to the user terminal 300.
- FIG. That is, the encoding processing unit 230 may transmit the viewpoint information used in generating the specific content to the user terminal 300 in association with the sequence number added to the specific content.
- user terminal 300 (decryption processing unit 320) constitutes a receiving unit that receives viewpoint information used in generating specific content from media processing device 200 in association with the sequence number added to the specific content. may That is, the decoding processing unit 320 may receive the VP message (MMT-SI) shown in FIG.
- MMT-SI VP message
- the user terminal 300 may associate the video that constitutes the decoded specific content with the viewpoint information included in the VP message. Based on the difference between the viewpoint information detected by the detector 310 and the viewpoint information included in the VP message, the renderer 330 renders the detector 310 from the display area defined by the information (viewport_width and viewport_height) included in the VP message. You may specify the image
- the above-described embodiment may include Operation Example 2 shown below.
- Operation Example 2 shown below.
- the first user terminal 400 may be a terminal such as a head mounted display.
- the first user terminal may have the same functions as the user terminal 300 described above.
- the second user terminal 500 may be a terminal such as a volumetric display.
- the media processing device 200 may configure a receiving unit that receives content configuration and recommended viewport information from the transmitting device 100.
- the configuration of content may be considered to include 2D video, audio, 360° video, and 3D objects.
- Content configuration may be considered to include MMT-SI and scene description.
- the recommended viewport information may be considered as an example of specific viewpoint information.
- the recommended viewport information is information that defines (recommended) the position, direction, and angle of view in which the video is viewed in the 3D space configured by the specific content (the 3D space constructed by the scene description). good too.
- the recommended viewport information is information that indicates at least one of information elements indicating the viewpoint position in the 3D space configured by the specific content and information elements indicating the viewing direction in the 3D space configured by the specific content. may contain elements. It may be considered that the recommended viewport information is mainly viewpoint information used by the second user terminal 500 .
- the viewpoint information used in generating the specific content may include the specific viewpoint information (recommended viewport information) received from the transmission device 100, or the viewpoint information received from the user terminal 300. may contain.
- the recommended viewport information may be included in the scene description in the manner shown in FIG. As shown in FIG. 7, the recommended viewport information may include camera_orientation, frame_number, translation, and yfov.
- camera_orientation is information that indicates the direction in which the video is viewed in the 3D space constructed by the scene description. camera_orientation may be considered synonymous with viewing direction.
- frame_number is information indicating the frame number of the video to which camera_orientation, translation, and yfov are applied.
- camera_orientation may be considered as an example of specific viewpoint information.
- Translation is information that indicates the position where the video is viewed in the 3D space constructed by the scene description. You may think that translation is synonymous with viewpoint position. You may think that translation is an example of specific viewpoint information. For example, in FIG. 7, when the frame number is 0, the viewpoint position is [0, 0, -50], and when the frame number is 2505, the viewpoint position is [0, 0, -75]. A moving case is illustrated.
- yfov is information that indicates the viewing angle of the video in the 3D space constructed by the scene description.
- camera_orientation and translation may be given by the creator of the content.
- camera_orientation and translation may be automatically given by the GPS and sensor provided in the camera.
- the translation is an example of an information element that indicates the viewpoint position in the 3D space configured by the specific content.
- camera_orientation is an example of an information element that indicates the line-of-sight direction in a three-dimensional space configured by specific content.
- the media processing device 200 and the user terminal 300 may perform the following operations.
- the media processing device 200 may generate specific content based on specific viewpoint information (recommended viewport information).
- the media processing device 200 (encoding processing unit 230) may perform compression encoding of the specific content generated by the renderer 220 and transmit the specific content.
- the encoding processing unit 230 may transmit the specific content generated based on the specific viewpoint information to the first user terminal 400, and transmit the specific content generated based on the specific viewpoint information to the second user terminal. You may send to 500.
- the media processing device 200 may receive viewpoint information from the first user terminal 400 when the user terminal is the first user terminal 400 that feeds back viewpoint information.
- the media processing device may generate specific content based on the viewpoint information received from the first user terminal 400 .
- the media processing device 200 (accepting unit 210) may receive the reset signal from the first user terminal 400.
- FIG. The media processing device (renderer 220) may generate specific content based on the specific viewpoint information (recommended viewport information) in response to the reset signal.
- the first user terminal 400 may have the same configuration as the user terminal 300.
- first user terminal 400 (detection unit 310) may have a function of detecting a reset signal.
- the detection unit 310 may detect a user operation of inputting a reset signal.
- the detector 310 may send a reset signal to the media processing device 200 .
- the media processing device 200 (renderer 220) generates specific content based on specific viewpoint information (recommended viewport information) when the user terminal is the second user terminal 500 that does not feed back viewpoint information. good too.
- the second user terminal 500 may not have the detection unit 310 that detects viewpoint information. Second user terminal 500 may not have renderer 330 . Second user terminal 500 may have the same configuration as user terminal 300 except that it does not have detector 310 and renderer 330 .
- the above-described embodiment may include Operation Example 3 shown below.
- the media processing device 200 (for example, the selection unit 260 to be described later) selects two or more streams whose quality differs depending on the direction of the 3D object based on the viewpoint information, as the stream quality information regarding the 3D object included in the specific content.
- a receiving unit may be configured to receive quality information about each of the streams from the transmitting device 100 .
- the media processing device 200 has a selector 260 in addition to the configuration shown in FIG.
- the selection unit 260 receives the scene description and the 3D objects from the sending device 100 .
- the selection unit 260 inputs a stream (3D object) selected from two or more streams to the renderer 220 .
- the selection unit 260 may request the transmission device 100 to transmit the selected stream.
- the selection unit 260 selects the transmission device 100 to transmit a stream required by each of the plurality of user terminals 300. , or may request the transmitting apparatus 100 to transmit all streams.
- the selection unit 260 receives, from the transmission device 100, quality information about each of two or more streams whose quality differs depending on the direction of the 3D object based on the viewpoint information, as the quality information of the streams about the 3D object.
- the quality information may be information indicating the relative quality of each face that constitutes the bounding box of the 3D object.
- a bounding box may be represented by a three-dimensional rectangle that projects the 3D object.
- a bounding box may be defined by vertex A through vertex H, as shown in FIG.
- each face of the bounding box is face #1 represented by vertices A, B, F, E, face #2 represented by vertices B, C, G, F, vertices A, B, Face #3 represented by C, D, Face #4 represented by vertices E, F, G, H, Face #5 represented by vertices A, D, H, E, Vertices D, C, G, Includes face #6, denoted by H.
- two or more streams with different quality depending on the orientation of the 3D object based on the viewpoint information are prepared as streams related to the 3D object included in the specific content.
- the quality information may be included in the scene description in the manner shown in FIG. In FIG. 10, six streams are illustrated as streams with different orientations of 3D objects.
- the quality information may be expressed in the form "quality" [#1,#2,#3,#4,#5,#6].
- #1 to #6 mean the quality index of plane #1 to plane #6.
- the quality index may take values ranging from 1-9.
- the media processing device 200 may perform the following operations. In the following, selection of a stream (3D object) selected from two or more streams will be mainly described.
- the media processing device 200 specifies the vertex (for example, vertex B) closest to the user's viewpoint position, and then selects the vertex having the closest vertex.
- vertex B for example, vertex B
- the vertex closest to the user's viewpoint position is specified based on the viewpoint information. may be considered to select the stream to be sent to the .
- Mode 2 may be a mode that is applied when a reduced display or enlarged display of a 3D object is executed.
- the media processing device 200 selection unit 260
- vertex B for example, vertex B
- the pixels of the 3D object are thinned out.
- the selection unit 260 selects the user terminal 300 from the two or more streams based on the viewpoint information and the quality information. may be considered to select the stream to be sent to the .
- Mode 3 may be applied when two 3D objects (3D object #1 and 3D object #2) overlap in the direction of the user's line of sight.
- selection of a stream for 3D object #1 will be described.
- the media processing device 200 the selection unit 260
- the media processing device 200 identifies the vertex (for example, vertex B) closest to the user's viewpoint position, and then selects three surfaces having the closest vertex.
- vertex B for example, vertex B
- surface #2 represented by vertices B, C, G, F
- surface #3 represented by vertices A, B, C, D
- the selection unit 260 selects the user terminal 300 from the two or more streams based on the viewpoint information and the quality information. may be considered to select the stream to be sent to the . Furthermore, in mode 3, the overlapping of two 3D objects is specified based on the viewpoint information and the arrangement information of the 3D objects. It may be considered that a stream to be transmitted to the user terminal 300 is selected from among the streams.
- 3D object placement information (for example, "rotation_object”, “scale_object”, “translation_object” shown in Fig. 10) may be included in the scene description, and the 3D object placement information is "link_area" shown in Fig. 10. In other words, the selection unit 260 may receive the placement information of the 3D object in the 3D space from the transmission device 100.
- the total sum of the quality indexes of the six planes is the same for each stream.
- embodiments are not so limited.
- the sum of the six-sided quality indices may differ between two or more streams.
- Operation Example 4 The above-described embodiment may include Operation Example 4 shown below.
- operation example 4 includes the following operation.
- the media processing device 200 (for example, the selection unit 270 to be described later) may configure a reception unit that receives importance information regarding each of two or more objects included in the specific content from the transmission device 100. .
- the media processing device 200 has a selection unit 270 in addition to the configuration shown in FIG.
- the selection unit 270 receives the scene description, 3D objects and 360° video from the transmission device 100 .
- the selection unit 270 inputs a stream (3D object) selected from two or more streams to the renderer 220 .
- the selection unit 270 receives importance information about each of the two or more objects from the transmission device 100.
- FIG. Objects may include 3D objects and 360° videos.
- the importance information may be information indicating relative importance between two or more objects.
- object A background
- object B person
- object C dog
- the importance information may be information indicating the relative importance among each of object A (background), object B (person) and object C (dog).
- the importance information may be included in the scene description in the manner shown in FIG.
- the importance information may be represented by weight.
- weight may take values in the range 1-9. A larger value of weight may mean a higher degree of importance.
- a low case is illustrated.
- the media processing device 200 may perform the following operations. In the following, selection of a stream (3D object) selected from two or more streams will be mainly described.
- the media processing device 200 selects the highest quality stream for the 3D object with the highest importance.
- the stream selection method may be the same as in Operation Example 3. For example, since the importance of object C (dog) is higher than the importance of object B (person), the selection unit 270 selects three planes of object C (dog) that have vertices closest to the user's viewpoint position. Select the stream with the highest sum of quality indices.
- the media processing device 200 selects the lowest quality stream for 3D objects other than the 3D object with the highest importance. Subsequently, the selection unit 270 replaces the lowest quality stream with the highest quality stream within the range where the specific condition is satisfied, in descending order of importance of the 3D object.
- the specific conditions may include a first condition that the bandwidth of the line from the transmission device 100 to the media processing device 200 is equal to or less than a threshold, and may include a second condition that the processing load of the media processing device 200 is equal to or less than the threshold.
- a specific condition may be defined by a combination of a first condition and a second condition. For example, since the importance of object B (human) is lower than the importance of object C (dog), the selection unit 270 selects a high-quality stream for object B (human) within a range that satisfies a specific condition. select.
- media processing device 200 selects a stream to be transmitted to user terminal 300 from among two or more streams based on viewpoint information, quality information, and importance information. good. It may be considered that the media processing device 200 (selection unit 270) selects a stream to be transmitted to the user terminal 300 from among two or more streams based on viewpoint information, quality information, arrangement information, and importance information.
- the above-described embodiment may include Operation Example 3 shown below.
- the media processing device 200 for example, the renderer 220
- the renderer 220 generates an information element that defines the movement range of the user's viewpoint position in a three-dimensional space configured by specific content (three-dimensional space constructed by scene description). from the transmitting device 100 may be configured.
- the information element may include an information element (hereinafter referred to as the first information element) that restricts movement of the user's viewpoint position to the inside of the 3D object included in the specific content.
- the first information element an information element that restricts movement of the user's viewpoint position to the inside of the 3D object included in the specific content.
- the first information element an information element that restricts movement of the user's viewpoint position to the inside of the 3D object included in the specific content.
- the information element may include an information element that restricts movement of the user's viewpoint position to the outside of the three-dimensional space (hereinafter referred to as the second information element).
- the three-dimensional space may be defined by a combination of cuboids and spheroids.
- the number of cuboids defining the three-dimensional space may be two or more, and the number of spheroids defining the three-dimensional space may be two or more.
- the first information element may be included in the scene description in the manner shown in FIG. In FIG. 17, the first information element may be represented by viewing_inside_object_flag.
- viewing_inside_object_flag may be set for each 3D object. For example, when viewing_inside_object_flag is "0", movement of the viewpoint position into the 3D object may be restricted, and when viewing_inside_object_flag is "1", movement of the viewpoint position into the 3D object may be permitted. .
- the second information element may be included in the scene description in the manner shown in FIG.
- the second information element may include information elements (cuboid_center_x, cuboid_center_y, cuboid_center_z, cuboid_size_x, cuboid_size_y, cuboid_size_z) that define a cuboid defining a three-dimensional space.
- cuboid_center_x, cuboid_center_y, and cuboid_center_z are information elements that indicate the center position of the cuboid
- cuboid_size_x, cuboid_size_y, and cuboid_size_z are information elements that indicate the size of the cuboid.
- the second information element may include information elements (spheroid_center_x, spheroid_center_y, spheroid_center_z, spheroid_size_x, spheroid_size_y, spheroid_size_z) defining a spheroid defining a three-dimensional space.
- spheroid_center_x, spheroid_center_y, spheroid_center_z are information elements indicating the center position of the spheroid
- spheroid_size_x, spheroid_size_y, spheroid_size_z are information elements indicating the size of the spheroid.
- cuboid_enable may be an information element indicating whether or not a three-dimensional space is defined by a cuboid
- spheroid_enable may be an information element indicating whether or not a three-dimensional space is defined by a spheroid.
- FIG. 18 illustrates a case where a three-dimensional space is defined by two cuboids and two spheroids.
- the media processing device 200 may perform the following operations.
- the renderer 220 may generate specific content using the intersection of the trajectory of the user's viewpoint position and the boundary of the movement range as the viewpoint position. That is, the renderer 220 may fix the viewpoint position at the position (boundary position) when the viewpoint position is about to move out of the movement range.
- the renderer 220 may notify the user that movement of the viewpoint position is restricted when the user's viewpoint position moves outside the movement range. For example, the renderer 220 may display a message such as "You cannot move beyond this point.”
- the media processing device 200 generates specific content based on viewpoint information, and then transmits the specific content to the user terminal 300.
- FIG. According to such a configuration, there is no need for the user terminal 300 to generate specific content including the second content having a degree of freedom of viewpoint, and the user terminal 300 can provide the media processing device 200 with viewpoint information. For example, specific content can be presented. Therefore, although there is a delay between the media processing device 200 and the user terminal 300, the processing load on the user terminal 300 can be reduced.
- the media processing device 200 transmits to the user terminal 300 the viewpoint information used in generating the specific content in association with the sequence number added to the specific content.
- the user terminal 300 can grasp the viewpoint information and the sequence number used in generating the specific content. Even if it is assumed that the viewpoint information differs from the viewpoint information used when displaying the specific content on the terminal 300, the specific content can be displayed appropriately.
- the media processing device 200 receives the content configuration and specific viewpoint information (recommended viewport information) from the transmission device 100 .
- the media processing device 200 can generate specific content based on specific viewpoint information, and the first user terminal 400 that feeds back viewpoint information and the second user terminal 500 that does not feed back viewpoint information. specific content can be displayed appropriately even when assuming a case where
- the media processing device 200 generates the specific content based on the specific viewpoint information in response to the reset signal.
- the viewpoint position and line-of-sight direction in the three-dimensional space constructed by the scene description are unknown in the first user terminal 400 (the case of getting lost in the three-dimensional space).
- the media processing device 200 sends quality information about each of two or more streams that differ in quality depending on the orientation of the 3D object based on viewpoint information, as stream quality information about the 3D object included in the specific content. Receive from 100.
- the 3D object can be displayed appropriately while suppressing the transmission traffic based on the new knowledge that the quality of each surface constituting the bounding box of the 3D object does not have to be uniform. be able to.
- the media processing device 200 receives from the transmission device 100 importance information regarding each of two or more objects included in the specific content. According to such a configuration, by introducing a mechanism for setting the importance of each object such as 360° video and 3D objects, while suppressing transmission traffic, each object included in specific content can be displayed appropriately. can do.
- the media processing device 200 receives from the transmission device 100 an information element that defines the movement range of the user's viewpoint position in the three-dimensional space configured by the specific content. According to such a configuration, it is possible to appropriately display the specific content including the content having a degree of freedom of viewpoint without causing failure of the specific content displayed on the user terminal 300 .
- Modification 1 of the embodiment will be described below. In the following, mainly the differences with respect to the embodiments will be described.
- Modification 1 describes a method for synchronizing the first content and the second content when the specific content includes both the first content and the second content.
- synchronization means that the presentation times of the first content (eg, MPU) and the second content (file) are appropriately aligned. Therefore, synchronization may include aligning the presentation times of the 2D video and the 3D object, and may include aligning the presentation times of the audio and the 3D object. Similarly, synchronization may include aligning presentation times of 2D video and 360° video, and aligning presentation times of audio and 360° video.
- the media processing device 200 synchronizes the first content and the second content based on the first control information (MMT-SI).
- MMT-SI first control information
- the media processing device 200 uses MMT-SI as an entry point to check whether there is a scene description (second content). Identify the presentation time of the specific content including the content and the second content.
- 2D video and audio are presented based on the MPU timestamp descriptor (just timestamp in FIG. 19), so 2D video and audio can be synchronized.
- the presentation time of the first frame included in the scene description is specified by referring to the MPU timestamp descriptor included in MMT-SI.
- the presentation times of the second and subsequent frames included in the scene description can be specified by the frame numbers included in the scene description and the frame rate of the second content. For example, considering the case where the frame rate is 30 fps, the presentation time of the nth frame is determined by adding 1/30*n to the time specified by the MPU Timestamp Descriptor. However, the frame number of the first frame included in the scene description is "0".
- the scene description does not include the presentation time of the first frame included in the scene description, but the scene description may include the presentation time of the first frame included in the scene description.
- the media processing device 200 synchronizes the first content and the second content based on the second control information (scene description). Using the scene description as an entry point, the media processing device 200 confirms the presence or absence of MMT-SI (first content), and if MMT-SI exists, based on the presentation time included in the scene description, Identify the presentation time of the specific content including the first content and the second content.
- scene description as an entry point, the media processing device 200 confirms the presence or absence of MMT-SI (first content), and if MMT-SI exists, based on the presentation time included in the scene description, Identify the presentation time of the specific content including the first content and the second content.
- the scene description includes absolute time information indicating the presentation time of the second content.
- the absolute time information may be the presentation time of the first frame included in the scene description.
- absolute time information may be generated using UTC as the reference time.
- TAI may be used, or the time provided by GPS may be used.
- the reference time may be the time provided by the NTP server or the time provided by the PTP server.
- absolute time information may be generated based on the same reference time as the MPU timestamp descriptor.
- the scene description includes reference information for identifying the first content.
- the reference information may be information for identifying the MPUs forming the first content. That is, the reference information is information for handling the first content (MPU) as an object included in the scene description.
- the presentation time of the first frame included in the scene description is specified by the absolute time information included in the scene description.
- the presentation times of the second and subsequent frames included in the scene description can be specified by the frame numbers included in the scene description and the frame rate of the second content. For example, considering the case where the frame rate is 30 fps, the presentation time of the nth frame is determined by adding 1/30*n to the time specified by the MPU Timestamp Descriptor. However, the frame number of the first frame included in the scene description is "0".
- 2D video and audio are presented based on the MPU timestamp descriptor (just timestamp in FIG. 20), so 2D video and audio can be synchronized.
- the media processing device 200 can confirm the presence or absence of the first content to be presented together with the second content based on the reference information included in the scene description. .
- 2D video and audio are synchronized based on the MPU timestamp descriptor included in MMT-SI.
- at least the MPU timestamp descriptor included in MMT-SI may be omitted.
- MMT-SI itself may be omitted.
- the At least one of the first control information (MMT-SI) and the second control information (scene description) may include conversion information between the first reference time and the second reference time.
- MMT-SI in addition to an MPU timestamp descriptor expressed in a first reference time (e.g. UTC), an MPU timestamp description expressed in a second reference time (e.g. a reference time other than UTC) May contain children.
- the scene description may include absolute time information expressed in a first reference time (eg, UTC) in addition to absolute time information expressed in a second reference time (eg, a reference time other than UTC).
- the MPU timestamp descriptor included in MMT-SI may be referred to as first absolute time information, and the absolute time information included in the scene description may be referred to as second absolute time information.
- the above disclosure exemplified the case where the specific content includes both the first content and the second content, the above disclosure is not limited to this.
- the specific content should include at least the second content.
- MMT Mobility Management Entities
- ISO/IEC 23008-1 ARIB STD-B60, ARIB TR-B39, etc.
- the MPU timestamp descriptor was exemplified as the first absolute time information included in MMT-SI.
- the first absolute time information included in MMT-SI may be an MPU extended timestamp descriptor.
- the media processing device 200 may request part of the second content from the transmission device 100 as necessary. According to such a configuration, it is possible to save the band accompanying the transmission of the second content and suppress an increase in the processing load of the media processing device 200.
- FIG. 1 A block diagram illustrating an exemplary computing environment in accordance with the present disclosure.
- MMTP was exemplified as the transmission method for the first content.
- the transmission method of the first content may be a method conforming to ISO/IEC 23009-1 (hereinafter referred to as MPEG-DASH (Dynamic Adaptive Stream over HTTP)).
- MPEG-DASH Dynamic Adaptive Stream over HTTP
- the first control information may be MPD (Media Presentation Description). That is, in the above disclosure, MMT-SI may be read as MPD.
- acquisition may be read as “reception”.
- the transmission device 100 includes a transmission unit that transmits a configuration of content having a degree of freedom of viewpoint, and the transmission unit transmits specific viewpoint information that is used to generate specific content that includes at least the content.
- the receiving device includes a receiving unit that receives a configuration of content having a degree of freedom of viewpoint, and the receiving unit receives specific viewpoint information that is used to generate specific content including at least the content. In such cases, the receiving device may be the media processing device 200 or the user terminal 300 .
- the transmission device 100 includes a transmission unit that transmits a content configuration having a degree of freedom of viewpoint, the transmission unit transmits stream quality information about a three-dimensional object included in specific content that includes at least the content, and the quality information is , containing quality information about each of two or more streams whose quality varies depending on the orientation of the 3D object.
- the receiving device includes a receiving unit that receives a content configuration having a degree of freedom of viewpoint, the receiving unit receives stream quality information about a three-dimensional object included in specific content that includes at least the content, and the quality information includes: Contains quality information for each of two or more streams that differ in quality depending on the orientation of the 3D object.
- the receiving device may be the media processing device 200 or the user terminal 300 .
- Operation Example 4 may be expressed as follows.
- the transmission device 100 includes a transmission unit that transmits a content configuration having a degree of freedom of viewpoint, and the transmission unit transmits importance information regarding each of two or more objects included in specific content that includes at least the content.
- the receiving device includes a receiving unit that receives a configuration of content having a degree of freedom of viewpoint, and the receiving unit receives importance information regarding each of two or more objects included in specific content that includes at least the content. In such cases, the receiving device may be the media processing device 200 or the user terminal 300 .
- Operation Example 4 may be expressed as follows.
- the transmission device 100 includes a transmission unit that transmits a content configuration having a degree of freedom of viewpoint, and the transmission unit defines a movement range of a user's viewpoint position in a three-dimensional space configured by specific content including at least the content.
- the receiving device includes a receiving unit that receives a content configuration having a degree of freedom of viewpoint, and the receiving unit includes information that defines a movement range of a user's viewpoint position in a three-dimensional space configured by specific content including at least the content.
- Receive elements In such cases, the receiving device may be the media processing device 200 or the user terminal 300 .
- a program that causes a computer to execute each process performed by the transmission device 100, the media processing device 200, and the user terminal 300 may be provided.
- the program may be recorded on a computer-readable medium.
- a computer readable medium allows the installation of the program on the computer.
- the computer-readable medium on which the program is recorded may be a non-transitory recording medium.
- the non-transitory recording medium is not particularly limited, but may be, for example, a recording medium such as CD-ROM or DVD-ROM.
- a chip configured by a memory storing a program for executing each process performed by the transmitting device 100, the media processing device 200, and the user terminal 300 and a processor executing the program stored in the memory may be provided. .
- the above disclosure may have the following problems and effects.
- a first user terminal that feeds back viewpoint information such as a head-mounted display, and a second user terminal that does not feed back viewpoint information such as a volumetric display are considered. be done.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
メディア処理装置は、視点の自由度を有するコンテンツの構成及び特定視点情報に基づいて、前記コンテンツを少なくとも含む特定コンテンツを生成するレンダラと、前記レンダラによって生成された前記特定コンテンツを前記ユーザ端末に出力する出力部と、を備える。
Description
本開示は、メディア処理装置、送信装置及び受信装置に関する。
従来、360°映像及び3Dオブジェクトなどのコンテンツを伝送する仕組みが提案されている(例えば、非特許文献1)。このような仕組としては、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+(Degree of Freedom)、利用者が自由に動く範囲の視点移動を伴う6DoFなどが知られている。このような仕組みでは、360°映像と3Dオブジェクトとの位置関係は、シーン記述によって示される。
3GPP TR 26.928 V16.1.0 2020年12月
開示の一態様は、メディア処理装置は、視点の自由度を有するコンテンツの構成及び特定視点情報に基づいて、前記コンテンツを少なくとも含む特定コンテンツを生成するレンダラと、前記レンダラによって生成された前記特定コンテンツを前記ユーザ端末に出力する出力部と、を備える、メディア処理装置である。
開示の一態様は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、前記送信部は、前記コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を送信する、送信装置である。
開示の一態様は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、前記受信部は、前記コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を受信する、受信装置である。
次に、本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。
したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
[開示の概要]
開示の概要に係るメディア処理装置は、視点の自由度を有するコンテンツの構成及び特定視点情報に基づいて、前記コンテンツを少なくとも含む特定コンテンツを生成するレンダラと、前記レンダラによって生成された前記特定コンテンツを前記ユーザ端末に出力する出力部と、を備える。
開示の概要に係るメディア処理装置は、視点の自由度を有するコンテンツの構成及び特定視点情報に基づいて、前記コンテンツを少なくとも含む特定コンテンツを生成するレンダラと、前記レンダラによって生成された前記特定コンテンツを前記ユーザ端末に出力する出力部と、を備える。
開示の概要では、メディア処理装置は、コンテンツの構成及び特定視点情報に基づいて特定コンテンツを生成する。このような構成によれば、メディア処理装置は、特定視点情報に基づいて特定コンテンツを生成することができ、視点情報をフィードバックする第1ユーザ端末及び視点情報をフィードバックしない第2ユーザ端末が混在するケースを想定した場合であっても、特定コンテンツを適切に表示することができる。
なお、メディア処理装置によって生成される特定コンテンツは視点情報に基づいて生成されるものであり、ユーザ端末側では、特定コンテンツに含まれる映像について2D映像として扱うことができることに留意すべきである。特定コンテンツの生成で用いる視点情報は、特定視点情報を含んでもよく、ユーザ端末から受信する視点情報を含んでもよい。
[実施形態]
(伝送システム)
以下において、実施形態に係る伝送システムについて説明する。図1は、実施形態に係る伝送システム10を示す図である。図1に示すように、デジタル無線伝送システムは、送信装置100、メディア処理装置200及びユーザ端末300を備える。
(伝送システム)
以下において、実施形態に係る伝送システムについて説明する。図1は、実施形態に係る伝送システム10を示す図である。図1に示すように、デジタル無線伝送システムは、送信装置100、メディア処理装置200及びユーザ端末300を備える。
実施形態において、送信装置100は、視点の自由度を有していない第1コンテンツ及び視点の自由度を有する第2コンテンツをメディア処理装置200に送信する。さらに、送信装置100は、第1コンテンツに付随する第1制御情報及び第2コンテンツに付随する第2制御情報をメディア処理装置200に送信する。
第1コンテンツは、2D映像及び音声の少なくともいずれか1つを含んでもよい。第1コンテンツ及び第1制御情報は、第1方式で送信されてもよい。第1方式は、ISO/IEC 23008-1(以下、MMT(MPEG Media Transport))に準拠する方式であってもよい。以下においては、第1方式がMMTに準拠するMMTP(MMT Protocol)であるケースについて例示する。第1制御情報は、MMT-SI(Signaling Information)と称されてもよい。
第2コンテンツは、360°映像及び3Dオブジェクトを含んでもよい。第2コンテンツ及び第2制御情報は、第2方式で送信されてもよい。あるいは、HTTP(Hyper Text Transfer Protocol)などのプロトコルで伝送されてもよい。第2コンテンツは、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+(Degree of Freedom)、利用者が自由に動く範囲の視点移動を伴う6DoFなどに準拠してもよい。第2コンテンツは、視点の自由度を有するため、同一時刻(フレーム)において、2以上の360°映像を含んでもよく、2以上の3Dオブジェクトを含んでもよい。第2制御情報は、シーン記述と称されてもよい。
ここで、第2制御情報は、上述した第1方式で送信されてもよい。すなわち、第2制御情報は、第1制御情報と同じ第1方式(例えば、MMTP)で送信されてもよい。あるいは、HTTPなどのプロトコルで伝送されてもよい。
送信装置100からメディア処理装置200への伝送は、特に限定されるものではないが、衛星放送を用いた伝送であってもよく、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。
特に限定されるものではないが、伝送システムは、デジタル無線伝送システムであってもよい。デジタル無線伝送システムは、4K、8K衛星放送で用いるシステムであってもよい。
メディア処理装置200は、ユーザ端末300から受信する視点情報に基づいて、上述した第2コンテンツを少なくとも含む特定コンテンツを生成し、生成された特定コンテンツをユーザ端末300に送信する。特に限定されるものではないが、特定コンテンツの伝送は、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。
ユーザ端末300は、スマートフォン、タブレット端末、ヘッドマウントディスプレイなどのユーザ端末であってもよい。図1に示すように、ユーザ端末300として2以上のユーザ端末300が設けられてもよい。言い換えると、2以上のユーザ端末300は、特定コンテンツの生成をメディア処理装置200に要求してもよい。各ユーザ端末300は、別々の視点情報をメディア処理装置200に送信してもよい。
(メディア処理装置及びユーザ端末)
以下において、実施形態に係るメディア処理装置及びユーザ端末について説明する。図2は、実施形態に係るメディア処理装置200及びユーザ端末300を示すブロック図である。
以下において、実施形態に係るメディア処理装置及びユーザ端末について説明する。図2は、実施形態に係るメディア処理装置200及びユーザ端末300を示すブロック図である。
第1に、メディア処理装置200は、受付部210と、レンダラ220と、符号化処理部230と、を有する。
受付部210は、視点情報を受け付ける。実施形態では、受付部210は、視点情報をユーザ端末300から受信する受信部を構成する。視点情報は、ユーザ端末300のユーザの視点位置を示す情報要素、ユーザ端末300のユーザの視線方向を示す情報要素を含む。
レンダラ220は、視点情報に基づいて、第2コンテンツを少なくとも含む特定コンテンツを生成する。特定コンテンツは、視点情報に基づいて生成されるため、同一時刻(フレーム)において、1つの360°映像を含んでもよく、1つの3Dオブジェクトを含んでもよい。以下において、特定コンテンツは、第2コンテンツに加えて第1コンテンツを含むケースについて例示する。
図2に示すように、レンダラ220は、第1制御情報(MMT-SI)に基づいて、特定コンテンツの一部として、2D映像及び音声を含む第1コンテンツを生成する。第1コンテンツの生成において視点情報は不要である。
具体的には、レンダラ220は、2D映像、音声及びMMT-SIがパケット化されたMMTPパケットの形式で、2D映像、音声及びMMT-SIを取得する。
例えば、MMTPパケットは、IP(Internet Protocol)パケットに格納される。IPパケットは、UDP(User Datagram Protocol)を用いて伝送されてもよく、TCP(Transmission Control Protocol)を用いて伝送されてもよい。
ここで、第1コンテンツは、一定時間幅で区切られた単位(以下、MPU;Media Processing Unit)で処理される。MPUは、1以上のアクセスユニットを含む。アクセスユニットは、MFU(Media Fragment Unit)として扱われることもある。2D映像に関するMFUは、NAL(Network Abstraction Layer)ユニットと称されてもよく、音声に関するMFUは、MHAS(MPEG-H 3D Audio Stream)パケットと称されてもよい。
MMT-SIは、PA(Package Access)メッセージを含み、PAメッセージは、第1コンテンツの一覧を示すMPT(MMT Package Table)を含む。さらに、MMT-SIは、第1コンテンツの提示時刻を示すMPUタイムスタンプ記述子を含む。MPUタイムスタンプ記述子は、MPUの提示時刻、すなわち、MPUにおいて最初に提示するアクセスユニットの時刻を意味してもよい。
MPUタイムスタンプ記述子は、UTC(Coordinated Universal Time)を基準時刻として生成されてもよい。基準時刻は、TAI(International Atomic Time)が用いられてもよく、GPS(Global Positioning System)から提供される時刻が用いられてもよい。基準時刻は、NTP(Network Time Protocol)サーバから提供される時刻であってもよく、PTP(Precision Time Protocol)サーバから提供される時刻であってもよい。
第2に、レンダラ220は、第2制御情報(シーン記述)に基づいて、特定コンテンツの一部として、360°映像及び3Dオブジェクトを含む第2コンテンツを生成する。第2コンテンツの生成において視点情報が用いられる。
具体的には、レンダラ220は、シーン記述がパケット化されたMMTPパケットの形式で、シーン記述を取得してもよい。360°映像及び3Dオブジェクトの取得方法は特に限定されるものではない。
360°映像は、ERP(Equirectangular projection)やキューブマップなどの射影変換によって2D映像に変換されていてもよい。360°映像に適用した射影変換の種類を示すメタデータが付加されていてもよい。3Dオブジェクトは、メッシュ形式で符号化されてもよい。メッシュ形式の符号化としては、ISO/IEC 14496-16 “Animation framework extension (AFX)”が用いられてもよい。3Dオブジェクトは、ポイントクラウド形式で符号化されてもよい。ポイントクラウド形式の符号化としては、ISO/IEC 23090-5 “Video-based Point Cloud Compression”が用いられてもよい。
ここで、第2コンテンツは、一定時間幅で区切られた単位で1つのファイルに纏められる。一定時間幅は、500msであってもよい。例えば、フレームレートが60fps(frame per second)である場合には、1つのファイルは、30 frameを含む。
シーン記述は、1つのファイル毎に生成され、360°映像及び3Dオブジェクトを特定する情報をフレーム毎に含む。例えば、シーン記述は、フレームの3Dオブジェクトの名称を示す情報要素(object_name)、フレーム番号を示す情報要素(frame_number)、フレームにおける3Dオブジェクトの位置を示す情報要素(translation_object)、フレームにおける3Dオブジェクトの回転を示す情報要素(rotation_object)、フレームにおける3Dオブジェクトの大きさを示す情報要素(scale_object)などを含む。
第3に、レンダラ220は、第1コンテンツ及び第2コンテンツを含む特定コンテンツを符号化処理部230に出力する。レンダラ220は、特定コンテンツとともに、特定コンテンツの提示時刻を符号化処理部230に出力してもよい。
ここで、特定コンテンツの提示時刻は、メディア処理装置200とユーザ端末300との間の遅延時間に基づいて修正されてもよい。具体的には、レンダラ220は、送信装置100からメディア処理装置200に提供される特定コンテンツの提示時刻(T)及び遅延時間(ΔT)に基づいて、メディア処理装置200からユーザ端末300に提供される特定コンテンツの提示時刻(T’=T+ΔT)を算出してもよい。遅延時間(ΔT)は、メディア処理装置200において予め定められた値であってもよく、ユーザ端末300毎に異なる値であってもよい。
第4に、レンダラ220は、特定コンテンツの生成に用いた視点情報をユーザ端末300に送信する送信部を構成してもよい。特定コンテンツの生成に用いた視点情報は、符号化処理部230からユーザ端末300に送信されてもよい。
例えば、視点情報及び特定コンテンツの伝送方式は、MMTPであってもよく、HTTPであってもよい。特定コンテンツの伝送方式としてMMTPが用いられる場合には、視点情報は、ISO/IEC 23090-2で規定されたOMAF(Omnidirectional Media Format)にメタデータとして格納されてもよい。
符号化処理部230は、レンダラ220によって生成された特定コンテンツを符号化する。実施形態では、符号化処理部230は、特定コンテンツをユーザ端末300に送信する送信部の一例であってもよい。
さらに、符号化処理部230は、特定コンテンツの提示時刻を符号化してもよい。符号化処理部230は、提示時刻を示す情報要素を特定コンテンツとともにユーザ端末300に送信してもよい。
ここで、符号化処理部230が用いる圧縮符号化方式としては、任意の圧縮符号化方式を用いることができる。例えば、圧縮符号化方式は、HEVC(High Efficiency Video Coding)であってもよく、VVC(Versatile Video Coding)であってもよい。
上述したように、特定コンテンツに含まれる第2コンテンツは、視点情報に基づいて生成されるため、特定コンテンツに含まれる映像は、視点の自由度を有していない2D映像として扱うことができる。
例えば、特定コンテンツの視聴開始や終了で用いる伝送制御方式は、RTSP(Real Time Streaming Protocol)を含んでもよい。伝送方式は、MMTPであってもよく、HTTPであってもよい。伝送方式としてMMTPが用いられる場合には、特定コンテンツは、ISO/IEC 23090-2で規定されたOMAFに格納されてもよい。
図2に示すように、ユーザ端末300は、検出部310と、復号処理部320と、レンダラ330と、を有する。
検出部310は、ユーザの視点位置及び視線方向を検出する。検出部310は、加速度センサを含んでもよく、GPS(Global Positioning System)センサを含んでもよい。検出部310は、ユーザによって手動で入力されるユーザI/F(例えば、タッチセンサ、キーボード、マウス、コントローラなど)を含んでもよい。検出部310は、視点情報(視点位置及び視線方向)をメディア処理装置200に送信してもよい。検出部310は、視点情報(ビューポート)をレンダラ330に出力してもよい。
復号処理部320は、メディア処理装置200から受信する特定コンテンツを復号する。復号処理部320は、メディア処理装置200から受信する提示時刻を復号してもよい。復号処理部320は、特定コンテンツをレンダラ330に出力してもよく、提示時刻をレンダラ330に出力してもよい。
レンダラ330は、復号処理部320によって復号された特定コンテンツを出力する。レンダラ330は、復号処理部320によって復号された提示時刻に基づいて特定コンテンツを出力してもよい。例えば、レンダラ330は、特定コンテンツに含まれる映像コンテンツをディスプレイに出力し、特定コンテンツに含まれる音声コンテンツをスピーカに出力してもよい。
ここで、レンダラ330は、メディア処理装置200から受信する視点情報と検出部310から入力される視点情報との差異に基づいて、視点位置及び視線方向が修正された特定コンテンツを生成してもよい。
(第2コンテンツ)
以下において、実施形態に係る第2コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第2コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
以下において、実施形態に係る第2コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第2コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
例えば、図3に示すように、t=0において、3Dオブジェクトが表示されずに、360°映像が表示されてもよい。360°映像は、3Dオブジェクトの背景映像であると考えてもよい。t=1において、360°映像に重畳される形式で3Dオブジェクトが表示されてもよい。さらに、t=1において、360°映像に重畳される3Dオブジェクトの位置及び回転が変更されてもよい。
上述したシーン記述は、t=0、t=1及びt=2のそれぞれについて、3Dオブジェクトの位置、回転及び大きさを示す情報要素を含み、360°映像上に3Dオブジェクトを適切に重畳することができる。
(視聴方法)
以下において、実施形態に係る視聴方法について説明する。ここでは、第1コンテンツ及び第2コンテンツを含む特定コンテンツの視聴について例示する。
以下において、実施形態に係る視聴方法について説明する。ここでは、第1コンテンツ及び第2コンテンツを含む特定コンテンツの視聴について例示する。
図4に示すように、ステップS11において、ユーザ端末300は、RTSP SETUPをメディア処理装置に送信する。RTSP SETUPは、特定コンテンツの視聴を開始する旨のメッセージである。
ここで、RTSP SETUPは、ユーザ端末300のIPアドレス、待受ポート番号、コンテンツの識別情報(コンテンツID)などを含む。RTSP SETUPは、特定コンテンツを視聴するためのユーザ端末300の能力情報を含んでもよい。能力情報は、フレームレート、表示解像度などを含んでもよい。表示解像度は、視野角(FoV:Field of View)を含んでもよい。能力情報は、ユーザ端末300が対応する符号化方式及び圧縮方式を示す情報要素を含んでもよい。
ここでは、ユーザ端末300の能力情報がメディア処理装置200に直接的に通知されるケースが例示されているが、実施形態はこれに限定されるものではない。ユーザ端末300の能力情報は、送信装置100に通知された上で、送信装置100からメディア処理装置200に通知されてもよい。
ステップS12において、メディア処理装置200は、RTSP SETUPに対する応答を送信する。ここでは、RTSP SETUPを受け付けた旨を示すACKが応答として送信される。
ステップS21において、ユーザ端末300は、初期視点情報をメディア処理装置200に送信する。初期視点情報は、MMT-SIの形式で送信されてもよい。
ステップS22において、メディア処理装置200は、初期視点情報に基づいて初期特定コンテンツを生成する(レンダリング処理)。例えば、メディア処理装置200は、初期視点情報及びシーン記述に基づいて、初期特定コンテンツに含める第2コンテンツを生成する。
ここで、メディア処理装置200は、ユーザ端末300の表示解像度よりも広い範囲をビューポートとして初期特定コンテンツを生成してもよい。例えば、表示解像度よりも広い範囲は、水平方向において表示解像度+20%、垂直方向において表示解像度+20%の範囲であってもよい。
メディア処理装置200は、初期特定コンテンツに圧縮符号化方式を適用する。特に限定されるものではないが、圧縮符号化方式は、HEVCであってもよく、VVCであってもよい。
ステップS23において、メディア処理装置200は、初期視点情報に対応する初期特定コンテンツをユーザ端末300に送信する。メディア処理装置200は、初期特定コンテンツの提示時刻をユーザ端末300に送信する。上述したように、ユーザ端末300に提供される提示時刻(T’)は、遅延時間(ΔT)に基づいて定められてもよい。
なお、遅延時間(ΔT)としてユーザ端末300毎に異なる値を用いる場合には、上述したRTSP SETUPにRTSP SETUPの送信時刻を含めることによって、メディア処理装置200側で特定することが可能である。
ユーザ端末300は、提示時刻(T’)に基づいて特定コンテンツを出力する。ユーザ端末300は、メディア処理装置200から受信する視点情報と検出部310から入力される視点情報との差異に基づいて、視点位置及び視線方向が修正された特定コンテンツを生成してもよい。
ステップS31において、ユーザ端末300は、視点情報をメディア処理装置200に送信する。視点情報は、MMT-SIの形式で送信されてもよい。ここで、ユーザ端末300は、所定周期(例えば、500ms)で視点情報を送信してもよく、視点位置及び視線方向の少なくともいずれか1つの変更に応じて視点情報を送信してもよい。
ステップS32において、メディア処理装置200は、ステップS31で受信する視点情報に基づいて特定コンテンツを生成する(レンダリング処理)。
ステップS33において、メディア処理装置200は、ステップS31で受信する視点情報に対応する特定コンテンツをユーザ端末300に送信する。
ステップS31~ステップS33の処理は、初期視点情報に代えてステップS31で受信する視点情報を用いる点を除いて、ステップS21~ステップS23の処理と同様である。従って、ステップS31~ステップS33の処理の詳細については省略する。ステップS31~ステップS33の処理は、所定周期で繰り返されてもよく、ユーザの視点位置又は視線方向の変更毎に繰り返されてもよい。
ステップS41において、ユーザ端末300は、RTSP TEARDOWNをメディア処理装置に送信する。RTSP TEARDOWNは、特定コンテンツの視聴を終了する旨のメッセージである。
ステップS42において、メディア処理装置200は、RTSP TEARDOWNに対する応答を送信する。ここでは、RTSP TEARDOWNを受け付けた旨を示すACKが応答として送信される。
図4では、ステップS11及びステップS12がRTSPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS11及びステップS12は、MMTPベースで実行されてもよく、HTTPベースで実行されてもよい。
同様に、ステップS41及びステップS42がRTSPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS41及びステップS42は、MMTPベースで実行されてもよく、HTTPベースで実行されてもよい。
図4では、ステップS31~ステップS33がMMTPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS31~ステップS33は、他の方式(例えば、HTTP)ベースで実行されてもよい。
同様に、ステップS41~ステップS43がMMTPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS41~ステップS43は、他の方式(例えば、HTTP)ベースで実行されてもよい。
(動作例1)
上述した実施形態は、以下に示す動作例1を含んでもよい。動作例1では、メディア処理装置200は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。
上述した実施形態は、以下に示す動作例1を含んでもよい。動作例1では、メディア処理装置200は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。
具体的には、メディア処理装置200(レンダラ220)は、上述した実施形態と同様に、第2制御情報(シーン記述)に基づいて、特定コンテンツの一部として、360°映像及び3Dオブジェクトを含む第2コンテンツを生成する。第2コンテンツの生成において、ユーザ端末300から受信する視点情報が用いられる。
動作例1では、レンダラ220は、特定コンテンツ(ここでは、第2コンテンツ)の生成で用いた視点情報をシーケンス番号と対応付ける。レンダラ220は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。視点情報は、VP(View Port)メッセージに格納されてもよい。VPメッセージは、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定されたMMT-SIの形式を有してもよい。VPメッセージは、フレーム毎に送信されてもよい。VPメッセージは、MMTPに関するメッセージ(MMT-SI)としてユーザ端末300に送信されてもよい。
特に限定されるものではないが、VPメッセージは、図5に示すデータ構造を有してもよい。図5に示すように、VPメッセージは、message_id、version、length、fov、viewpoint_pos_x、viewpoint_pos_y、viewpoint_pos_z、viewpoint_yaw、viewpoint_pitch、viewpoint_roll、viewport_width、viewport_height、mpu_sequence_number_flag、mpu_sequence_numberなどを含んでもよい。
message_idは、VPメッセージを示す識別情報である。message_idは、0x0204であってもよい。
versionは、MMTPプロトコルのバージョンを示す情報である。versionは、0x00であってもよい。
lengthは、VPメッセージの長さを示す情報である。
fovは、視野角(field of view)を示す情報である。
viewpoint_pos_xは、視点位置のx座標を示す情報である。viewpoint_pos_xは、特定コンテンツの生成で用いた視点情報の一例である。
viewpoint_pos_yは、視点位置のy座標を示す情報である。viewpoint_pos_yは、特定コンテンツの生成で用いた視点情報の一例である。
viewpoint_pos_zは、視点位置のz座標を示す情報である。viewpoint_pos_zは、特定コンテンツの生成で用いた視点情報の一例である。
viewpoint_yawは、視点位置のヨーを示す情報である。viewpoint_yawは、特定コンテンツの生成で用いた視点情報の一例である。
viewpoint_pitchは、視点位置のピッチを示す情報である。viewpoint_pitchは、特定コンテンツの生成で用いた視点情報の一例である。
viewpoint_rollは、視点位置のロールを示す情報である。viewpoint_rollは、特定コンテンツの生成で用いた視点情報の一例である。
viewport_widthは、表示領域(特定コンテンツ)の幅を示す情報である。
viewport_heightは、表示領域(特定コンテンツ)の高さを示す情報である。
mpu_sequence_number_flagは、mpu_sequence_numberのフィールドが存在するか否かを示す情報である。例えば、mpu_sequence_number_flagが1である場合に、mpu_sequence_numberのフィールドが存在し、mpu_sequence_number_flagが0である場合に、mpu_sequence_numberのフィールドが存在しなくてもよい。
mpu_sequence_numberは、VPメッセージが示す特定コンテンツに対応する映像のMPUシーケンス番号である。mpu_sequence_numberは、特定コンテンツに付加されるシーケンス番号の一例である。
ここで、viewpoint_pos_x、viewpoint_pos_y、viewpoint_pos_zは、シーン記述によって構成される3次元空間におけるユーザの視点位置を示す情報要素の一例である。viewpoint_yaw、viewpoint_pitch、viewpoint_rollは、シーン記述によって構成される3次元空間におけるユーザの視線方向を示す情報要素の一例である。viewport_width、viewport_heightは、特定コンテンツに含まれる映像の画素数を示す情報要素の一例である。
このような前提下において、メディア処理装置200及びユーザ端末300は、以下に示す動作を実行してもよい。
第1に、メディア処理装置200(レンダラ220)は、特定コンテンツの生成に用いた視点位置に基づいて、viewpoint_pos_x、viewpoint_pos_y、viewpoint_pos_zを特定してもよい。レンダラ220は、特定コンテンツの生成に用いた視線方向に基づいて、viewpoint_yaw、viewpoint_pitch、viewpoint_rollを特定してもよい。レンダラ220は、特定コンテンツの横方向の画素数に基づいてviewport_widthを特定し、特定コンテンツの縦方向の画素数に基づいてviewport_heightを特定してもよい。
メディア処理装置200(符号化処理部230)は、レンダラ220によって生成された特定コンテンツの圧縮符号化を実行し、特定コンテンツを送信してもよい。ここで、符号化処理部230は、図5に示すVPメッセージをユーザ端末300に送信してもよい。すなわち、符号化処理部230は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信してもよい。
第2に、ユーザ端末300(復号処理部320)は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をメディア処理装置200から受信する受信部を構成してもよい。すなわち、復号処理部320は、図5に示すVPメッセージ(MMT-SI)をメディア処理装置200から受信してもよい。
ユーザ端末300(レンダラ330)は、シーケンス番号(mpu_sequence_number)に基づいて、復号された特定コンテンツを構成する映像とVPメッセージに含まれる視点情報とを対応付けてもよい。レンダラ330は、検出部310によって検出される視点情報とVPメッセージに含まれる視点情報との差異に基づいて、VPメッセージに含まれる情報(viewport_width及びviewport_height)によって定義される表示領域から、検出部310によって検出される視点情報によって特定される範囲の映像を特定してもよい。レンダラ330は、特定された映像を表示してもよい。
(動作例2)
上述した実施形態は、以下に示す動作例2を含んでもよい。動作例2では、図6に示すように、視点情報をフィードバックする第1ユーザ端末400及び視点情報をフィードバックしない第2ユーザ端末500が混在するケースが想定される。第1ユーザ端末400は、ヘッドマウントディスプレイなどの端末であってもよい。第1ユーザ端末は、上述したユーザ端末300と同様の機能を有していてもよい。第2ユーザ端末500は、ボリュメトリックディスプレイなどの端末であってもよい。
上述した実施形態は、以下に示す動作例2を含んでもよい。動作例2では、図6に示すように、視点情報をフィードバックする第1ユーザ端末400及び視点情報をフィードバックしない第2ユーザ端末500が混在するケースが想定される。第1ユーザ端末400は、ヘッドマウントディスプレイなどの端末であってもよい。第1ユーザ端末は、上述したユーザ端末300と同様の機能を有していてもよい。第2ユーザ端末500は、ボリュメトリックディスプレイなどの端末であってもよい。
具体的には、動作例2では、図6に示すように、メディア処理装置200(レンダラ220)は、コンテンツの構成及び推奨ビューポート情報を送信装置100から受信する受信部を構成してもよい。コンテンツの構成は、2D映像、音声、360°映像、3Dオブジェクトを含むと考えてもよい。コンテンツの構成は、MMT-SI及びシーン記述を含むと考えてもよい。推奨ビューポート情報は、特定視点情報の一例であると考えてもよい。推奨ビューポート情報は、特定コンテンツによって構成される3次元空間(シーン記述で構築される3次元空間)において、どの位置、方向及び画角で映像を見るのかを定義(推奨)する情報であってもよい。推奨ビューポート情報は、特定コンテンツによって構成される3次元空間における視点位置を示す情報要素及び特定コンテンツによって構成される3次元空間における視線方向を示す情報要素の少なくてもいずか1つを示す情報要素を含んでもよい。推奨ビューポート情報は、主として、第2ユーザ端末500で用いられる視点情報であると考えてもよい。
以下において、明示的に記載しない限りにおいて、特定コンテンツの生成で用いる視点情報は、送信装置100から受信する特定視点情報(推奨ビューポート情報)を含んでもよく、ユーザ端末300から受信する視点情報を含んでもよい。
特に限定されるものではないが、推奨ビューポート情報は、図7に示す態様でシーン記述に含まれてもよい。図7に示すように、推奨ビューポート情報は、camera_orientation、frame_number、translation、yfovを含んでもよい。
camera_orientationは、シーン記述で構築される3次元空間において映像を見る方向を示す情報である。camera_orientationは、視線方向と同義であると考えてもよい。
frame_numberは、camera_orientation、translation及びyfovが適用される映像のフレーム番号を示す情報である。camera_orientationは、特定視点情報の一例であると考えてもよい。
translationは、シーン記述で構築される3次元空間において映像を見る位置を示す情報である。translationは、視点位置と同義であると考えてもよい。translationは、特定視点情報の一例であると考えてもよい。例えば、図7では、フレーム番号が0である場合に、視点位置が[0,0,-50]であり、フレーム番号が2505である場合に、視点位置が[0,0,-75]に移動するケースが例示されている。
yfovは、シーン記述で構築される3次元空間において映像を見る画角を示す情報である。
特に限定されるものではないが、camera_orientation及びtranslationは、コンテンツの制作者が付与してもよい。或いは、コンテンツがカメラによって撮像されるケースを想定した場合に、カメラに設けられるGPS及びセンサによってcamera_orientation及びtranslationが自動的に付与されてもよい。
ここで、translationは、特定コンテンツによって構成される3次元空間における視点位置を示す情報要素の一例である。camera_orientationは、特定コンテンツによって構成される3次元空間における視線方向を示す情報要素の一例である。
このような前提下において、メディア処理装置200及びユーザ端末300は、以下に示す動作を実行してもよい。
第1に、メディア処理装置200(レンダラ220)は、特定視点情報(推奨ビューポート情報)に基づいて特定コンテンツを生成してもよい。メディア処理装置200(符号化処理部230)は、レンダラ220によって生成された特定コンテンツの圧縮符号化を実行し、特定コンテンツを送信してもよい。ここで、符号化処理部230は、特定視点情報に基づいて生成された特定コンテンツを第1ユーザ端末400に送信してもよく、特定視点情報に基づいて生成された特定コンテンツを第2ユーザ端末500に送信してもよい。
第2に、メディア処理装置200(受付部210)は、ユーザ端末が視点情報をフィードバックする第1ユーザ端末400である場合に、第1ユーザ端末400から視点情報を受信してもよい。メディア処理装置(レンダラ220)は、第1ユーザ端末400から受信する視点情報に基づいて特定コンテンツを生成してもよい。このようなケースにおいて、メディア処理装置200(受付部210)は、リセット信号を第1ユーザ端末400から受信してもよい。メディア処理装置(レンダラ220)は、リセット信号に応じて、特定視点情報(推奨ビューポート情報)に基づいて特定コンテンツを生成してもよい。
このようなケースにおいて、第1ユーザ端末400は、ユーザ端末300と同様の構成を有していてもよい。但し、第1ユーザ端末400(検出部310)は、リセット信号を検出する機能を有してもよい。検出部310は、リセット信号を入力するユーザ操作を検出してもよい。検出部310は、リセット信号をメディア処理装置200に送信してもよい。
第3に、メディア処理装置200(レンダラ220)は、ユーザ端末が視点情報をフィードバックしない第2ユーザ端末500である場合に、特定視点情報(推奨ビューポート情報)に基づいて特定コンテンツを生成してもよい。
このようなケースにおいて、第2ユーザ端末500は、視点情報を検出する検出部310を有していなくてもよい。第2ユーザ端末500は、レンダラ330を有していなくてもよい。第2ユーザ端末500は、検出部310及びレンダラ330を有していない点を除いて、ユーザ端末300と同様の構成を有してもよい。
(動作例3)
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200(例えば、後述する選択部260)は、特定コンテンツに含まれる3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する受信部を構成してもよい。
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200(例えば、後述する選択部260)は、特定コンテンツに含まれる3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する受信部を構成してもよい。
具体的には、動作例3では、図8に示すように、メディア処理装置200は、図2に示す構成に加えて、選択部260を有する。選択部260は、シーン記述及び3Dオブジェクトを送信装置100から受信する。選択部260は、2以上のストリームの中から選択されたストリーム(3Dオブジェクト)をレンダラ220に入力する。選択部260は、選択されたストリームの送信を送信装置100に要求してもよい。なお、メディア処理装置200が複数のユーザ端末300に特定コンテンツを送信するケースを想定した場合には、選択部260は、複数のユーザ端末300の各々で必要とされるストリームの送信を送信装置100に要求してもよく、全てのストリームの送信を送信装置100に要求してもよい。
ここで、選択部260は、3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する。
品質情報は、3Dオブジェクトに関するバウンディングボックスを構成する各面の相対品質を示す情報であってもよい。バウンディングボックスは、3Dオブジェクトを射影する3次元の矩形によって表されてもよい。例えば、図9に示すように、バウンディングボックスは、頂点A~頂点Hによって定義されてもよい。このようなケースにおいて、バウンディングボックスの各面は、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3、頂点E,F,G,Hで表される面#4、頂点A,D,H,Eで表される面#5、頂点D,C,G,Hで表される面#6を含む。
このようなケースにおいて、シーン記述によって構築される3次元空間において3Dオブジェクトを見るケースを想定すると、3つの面について主として観察されると想定される。言い換えると、残りの3つの面についてはあまり観察されないと想定される。
動作例3では、特定コンテンツに含まれる3Dオブジェクトに関するストリームとして、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームが準備される。
特に限定されるものではないが、品質情報は、図10に示す態様でシーン記述に含まれてもよい。図10では、3Dオブジェクトの向きが異なるストリームとして、6つのストリームが例示されている。品質情報は、”quality” [#1,#2,#3,#4,#5,#6]の形式で表されてもよい。なお、[ ]内において、#1~#6は、面#1~面#6の品質インデックスを意味している。品質インデックスは、1~9の範囲の値を取り得てもよい。品質インデックスの値が大きいほど、品質が高いことを意味してもよい。例えば、”id”=”1”で識別されるストリームでは、#1,#2,#3の品質(”8”)が高く、#4,#5,#6の品質(”3”)が低い。”id”=”2”で識別されるストリームでは、#1,#2,#3の品質(”3”)が低く、#4,#5,#6の品質(”8”)が高い。
このような前提下において、メディア処理装置200は、以下に示す動作を実行してもよい。以下においては、2以上のストリームの中から選択されたストリーム(3Dオブジェクト)の選択について主として説明する。
モード1では、図11の上段に示すように、メディア処理装置200(選択部260)は、ユーザの視点位置に最も近い頂点(例えば、頂点B)を特定した上で、最も近い頂点を有する3つの面(例えば、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3)を特定してもよい。選択部260は、特定された3つの面の品質インデックスの総和が最大となるストリーム(図10に示す例では、”id”=”1”で識別されるストリーム)を選択してもよい。
なお、モード1では、視点情報に基づいてユーザの視点位置に最も近い頂点が特定されることから、選択部260は、視点情報及び品質情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。
モード2では、3Dオブジェクトの縮小表示又は拡大表示が実行されるケースで適用されるモードであってもよい。例えば、図11の中段に示すように、メディア処理装置200(選択部260)は、ユーザの視点位置に最も近い頂点(例えば、頂点B)を特定した上で、最も近い頂点を有する3つの面(例えば、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3)を特定してもよい。3Dオブジェクトの縮小表示が実行されるケースでは、3Dオブジェクトの画素が間引かれる。従って、選択部260は、特定された3つの面の品質インデックスの総和が最小となるストリーム(図10に示す例では、”id”=”2”で識別されるストリーム)を選択してもよい。一方で、3Dオブジェクトの拡大表示が実行されるケースでは、3Dオブジェクトの画素が補間される。従って、選択部260は、特定された3つの面の品質インデックスの総和が最大となるストリーム(図10に示す例では、”id”=”1”で識別されるストリーム)を選択してもよい。
なお、モード2では、視点情報に基づいてユーザの視点位置に最も近い頂点が特定されることから、選択部260は、視点情報及び品質情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。
モード3では、ユーザの視線方向において、2つの3Dオブジェクト(3Dオブジェクト#1及び3Dオブジェクト#2)が重なるケースで適用されるモードであってもよい。ここでは、3Dオブジェクト#1に関するストリームの選択について説明する。例えば、図11の下段に示すように、メディア処理装置200(選択部260)は、ユーザの視点位置に最も近い頂点(例えば、頂点B)を特定した上で、最も近い頂点を有する3つの面(例えば、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3)を特定してもよい。ここで、ユーザの視点位置に最も近い頂点(例えば、頂点B)とユーザの視点位置とを結ぶ線分上において3Dオブジェクト#2が重なっており、特定された3つの面が3Dオブジェクト#2によって遮られる。従って、選択部260は、特定された3つの面の品質インデックスの総和が最小となるストリーム(図10に示す例では、”id”=”2”で識別されるストリーム)を選択してもよい。
なお、モード3では、視点情報に基づいてユーザの視点位置に最も近い頂点が特定されることから、選択部260は、視点情報及び品質情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。さらに、モード3では、視点情報及び3Dオブジェクトの配置情報に基づいて2つの3Dオブジェクトの重なりが特定されることから、選択部260は、視点情報、品質情報及び配置情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。3Dオブジェクトの配置情報(例えば、図10に示す”rotation_object”、”scale_object”、”translation_object)は、シーン記述に含まれてもよい。3Dオブジェクトの配置情報は、図10に示す”link_area”であると考えてもよい。すなわち、選択部260は、3次元空間における3Dオブジェクトの配置情報を送信装置100から受信してもよい。
なお、図10に示す品質情報では、各ストリームにおいて6つの面の品質インデックスの総和が等しい。しかしながら、実施形態はこれに限定されるものではない。6つの面の品質インデックスの総和は、2以上のストリーム間で異なっていてもよい。
(動作例4)
上述した実施形態は、以下に示す動作例4を含んでもよい。ここでは、動作例4は、動作例3に加えて、以下に示す動作を含む。動作例4では、メディア処理装置200(例えば、後述する選択部270)は、特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する受信部を構成してもよい。
上述した実施形態は、以下に示す動作例4を含んでもよい。ここでは、動作例4は、動作例3に加えて、以下に示す動作を含む。動作例4では、メディア処理装置200(例えば、後述する選択部270)は、特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する受信部を構成してもよい。
具体的には、動作例4では、図12に示すように、メディア処理装置200は、図2に示す構成に加えて、選択部270を有する。選択部270は、シーン記述、3Dオブジェクト及び360°映像を送信装置100から受信する。選択部270は、2以上のストリームの中から選択されたストリーム(3Dオブジェクト)をレンダラ220に入力する。
ここで、選択部270は、2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する。オブジェクトは、3Dオブジェクト及び360°映像を含んでもよい。
例えば、重要度情報は、2以上のオブジェクト間の相対的な重要度を示す情報であってもよい。例えば、図13に示すように、シーン記述によって構築される3次元空間において、オブジェクトA(背景)、オブジェクトB(人)及びオブジェクトC(犬)が存在するケースについて考える。オブジェクトA(背景)は、360°映像の一例であり、オブジェクトB(人)及びオブジェクトC(犬)は、3Dオブジェクトの一例である。このようなケースにおいて、重要度情報は、オブジェクトA(背景)、オブジェクトB(人)及びオブジェクトC(犬)の各々の間の相対的な重要度を示す情報であってもよい。
特に限定されるものではないが、重要度情報は、図14に示す態様でシーン記述に含まれてもよい。図14では、重要度情報は、weightで表されてもよい。weightは、1~9の範囲の値を取り得てもよい。weightの値が大きいほど、重要度が高いことを意味してもよい。図14では、”object_id”=”0”で識別されるオブジェクトA(背景)のweight(”9”)が最も高く、”object_id”=”1”で識別されるオブジェクトB(人)のweight(”3”)が最も低く、”object_id”=”2”で識別されるオブジェクトC(犬)のweight(”8”)がオブジェクトB(人)のweightよりも高くオブジェクトA(背景)のweightよりも低いケースが例示されている。
このような前提下において、メディア処理装置200は、以下に示す動作を実行してもよい。以下においては、2以上のストリームの中から選択されたストリーム(3Dオブジェクト)の選択について主として説明する。
第1に、メディア処理装置200(選択部270)は、重要度が最も高い3Dオブジェクトについて、品質が最も高いストリームを選択する。ストリームの選択方法は、動作例3と同様であってもよい。例えば、選択部270は、オブジェクトC(犬)の重要度がオブジェクトB(人)の重要度よりも大きいため、オブジェクトC(犬)について、ユーザの視点位置に最も近い頂点を有する3つの面の品質インデックスの総和が最大となるストリームを選択する。
第2に、メディア処理装置200(選択部270)は、重要度が最も高い3Dオブジェクト以外の3Dオブジェクトについて、品質が最も低いストリームを選択する。続いて、選択部270は、重要度が高い3Dオブジェクトから順に、特定条件が満たされる範囲内において、品質が最も低いストリームを品質が高いストリームに置き換える。特定条件は、送信装置100からメディア処理装置200への回線の帯域が閾値以下である第1条件を含んでもよく、メディア処理装置200の処理負荷が閾値以下である第2条件を含んでもよい。特定条件は、第1条件及び第2条件の組み合わせによって定義されてもよい。例えば、選択部270は、オブジェクトB(人)の重要度がオブジェクトC(犬)の重要度よりも小さいため、オブジェクトB(人)について、特定条件が満たされる範囲内において、品質が高いストリームを選択する。
上述したように、メディア処理装置200(選択部270)は、視点情報、品質情報及び重要度情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。メディア処理装置200(選択部270)は、視点情報、品質情報、配置情報及び重要度情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。
なお、動作例4では、360°映像について、1つのストリームが存在するケースについて例示した。しかしながら、実施形態はこれに限定されるものではない。360°映像についても、品質が異なる2以上のストリームが存在してもよい。
動作例4では、3Dオブジェクトについて、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームが存在するケースについて例示した。しかしながら、実施形態はこれに限定されるものではない。3Dオブジェクトについて、3Dオブジェクトの向きによらずに、品質が異なる2以上のストリームが存在してもよい。
(動作例5)
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200(例えば、レンダラ220)は、特定コンテンツによって構成される3次元空間(シーン記述によって構築される3次元空間)においてユーザの視点位置の移動範囲を定義する情報要素を送信装置100から受信する受信部を構成してもよい。
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200(例えば、レンダラ220)は、特定コンテンツによって構成される3次元空間(シーン記述によって構築される3次元空間)においてユーザの視点位置の移動範囲を定義する情報要素を送信装置100から受信する受信部を構成してもよい。
第1に、動作例5では、情報要素は、特定コンテンツに含まれる3Dオブジェクトの内側へのユーザの視点位置の移動を制限する情報要素(以下、第1情報要素)を含んでもよい。例えば、図15に示すように、シーン記述によって構築される3次元空間に3Dオブジェクトが配置されるケースにおいて、3Dオブジェクトの内側への視点位置の移動が制限されてもよい。但し、3Dオブジェクトが建築物であるケース、3Dオブジェクトの内側に別のシーンが存在するケースなどにおいては、3Dオブジェクトの内側への視点位置の移動が許容されてもよい。
第2に、動作例5では、情報要素は、3次元空間の外側へのユーザの視点位置の移動を制限する情報要素(以下、第2情報要素)を含んでもよい。例えば、図16に示すように、3次元空間は、直方体及び回転楕円体の組合せで定義されてもよい。3次元空間を定義する直方体の数は2以上であってもよく、3次元空間を定義する回転楕円体の数は2以上であってもよい。但し、3次元空間の外側へのユーザの視点位置の移動が許容されるケースがあってもよい。
特に限定されるものではないが、第1情報要素は、図17に示す態様でシーン記述に含まれてもよい。図17では、第1情報要素は、viewing_inside_object_flagで表されてもよい。viewing_inside_object_flagは、3Dオブジェクト毎に設定されてもよい。例えば、viewing_inside_object_flagが”0”である場合に、3Dオブジェクト内への視点位置の移動が制限され、viewing_inside_object_flagが”1”である場合に、3Dオブジェクト内への視点位置の移動が許容されてもよい。
特に限定されるものではないが、第2情報要素は、図18に示す態様でシーン記述に含まれてもよい。図18では、第2情報要素は、3次元空間を定義する直方体を定義する情報要素(cuboid_center_x, cuboid_center_y, cuboid_center_z, cuboid_size_x, cuboid_size_y, cuboid_size_z)を含んでもよい。cuboid_center_x, cuboid_center_y, cuboid_center_zは、直方体の中心位置を示す情報要素であり、cuboid_size_x, cuboid_size_y, cuboid_size_zは、直方体のサイズを示す情報要素である。第2情報要素は、3次元空間を定義する回転楕円体を定義する情報要素(spheroid_center_x, spheroid_center_y, spheroid_center_z, spheroid_size_x, spheroid_size_y, spheroid_size_z)を含んでもよい。spheroid_center_x, spheroid_center_y, spheroid_center_zは、回転楕円体の中心位置を示す情報要素であり、spheroid_size_x, spheroid_size_y, spheroid_size_zは、回転楕円体のサイズを示す情報要素である。なお、cuboid_enableは、直方体によって3次元空間を定義するか否かを示す情報要素であり、spheroid_enableは、回転楕円体によって3次元空間を定義するか否かを示す情報要素であってもよい。図18では、2つの直方体及び2つの回転楕円体によって3次元空間が定義されるケースが例示されている。
このような前提下において、メディア処理装置200(レンダラ220)は、以下に示す動作を実行してもよい。
第1に、レンダラ220は、ユーザの視点位置が移動範囲外に移動する場合において、ユーザの視点位置の軌跡と移動範囲の境界との交点を視点位置として、特定コンテンツを生成してもよい。すなわち、レンダラ220は、視点位置が移動範囲外に移動しようとした時点の位置(境界位置)で視点位置を固定してもよい。
第2に、レンダラ220は、ユーザの視点位置が移動範囲外に移動する場合において、視点位置の移動が制限されている旨をユーザに通知してもよい。例えば、レンダラ220は、「ここから先は移動できません」などのメッセージを表示してもよい。
(作用及び効果)
実施形態では、メディア処理装置200は、視点情報に基づいて特定コンテンツを生成した上で、特定コンテンツをユーザ端末300に送信する。このような構成によれば、視点の自由度を有する第2コンテンツを含む特定コンテンツをユーザ端末300側で生成する必要がなく、ユーザ端末300は、メディア処理装置200に対して視点情報を提供すれば、特定コンテンツを提示することができる。従って、メディア処理装置200とユーザ端末300との間の遅延が生じるものの、ユーザ端末300の処理負荷を軽減することができる。
実施形態では、メディア処理装置200は、視点情報に基づいて特定コンテンツを生成した上で、特定コンテンツをユーザ端末300に送信する。このような構成によれば、視点の自由度を有する第2コンテンツを含む特定コンテンツをユーザ端末300側で生成する必要がなく、ユーザ端末300は、メディア処理装置200に対して視点情報を提供すれば、特定コンテンツを提示することができる。従って、メディア処理装置200とユーザ端末300との間の遅延が生じるものの、ユーザ端末300の処理負荷を軽減することができる。
動作例1では、メディア処理装置200は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。このような構成によれば、ユーザ端末300は、特定コンテンツの生成で用いた視点情報及びシーケンス番号を把握することができるため、メディア処理装置200で特定コンテンツを生成する際に用いる視点情報がユーザ端末300で特定コンテンツを表示する際に用いる視点情報と異なるケースを想定した場合であっても、特定コンテンツを適切に表示することができる。
動作例2では、メディア処理装置200は、コンテンツの構成及び特定視点情報(推奨ビューポート情報)を送信装置100から受信する。このような構成によれば、メディア処理装置200は、特定視点情報に基づいて特定コンテンツを生成することができ、視点情報をフィードバックする第1ユーザ端末400及び視点情報をフィードバックしない第2ユーザ端末500が混在するケースを想定した場合であっても、特定コンテンツを適切に表示することができる。
動作例2では、メディア処理装置200は、ユーザ端末が第1ユーザ端末400である場合であっても、リセット信号に応じて、特定視点情報に基づいて特定コンテンツを生成する。このような構成によれば、シーン記述によって構築される3次元空間において視点位置及び視線方向が第1ユーザ端末400において不明となるケース(3次元空間において迷子になるケース)を想定した場合であっても、リセット信号によって特定視点情報に基づいた特定コンテンツに復帰することができる。
動作例3では、メディア処理装置200は、特定コンテンツに含まれる3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する。このような構成によれば、3Dオブジェクトに関するバウンディングボックスを構成する各面の品質が均一でなくてもよいという新たな知見に基づいて、伝送トラフィックを抑制しながらも、3Dオブジェクトを適切に表示することができる。
動作例4では、メディア処理装置200は、特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する。このような構成によれば、360°映像及び3Dオブジェクトなどのオブジェクト毎の重要度を設定する仕組みを導入することによって、伝送トラフィックを抑制しながらも、特定コンテンツに含まれる各オブジェクトを適切に表示することができる。
動作例5では、メディア処理装置200は、特定コンテンツによって構成される3次元空間においてユーザの視点位置の移動範囲を定義する情報要素を送信装置100から受信する。このような構成によれば、ユーザ端末300に表示される特定コンテンツの破綻を生じることなく、視点の自由度を有するコンテンツを含む特定コンテンツを適切に表示することができる。
[変更例1]
以下において、実施形態の変更例1について説明する。以下においては、実施形態に対する相違点について主として説明する。
以下において、実施形態の変更例1について説明する。以下においては、実施形態に対する相違点について主として説明する。
変更例1では、特定コンテンツが第1コンテンツ及び第2コンテンツの双方を含む場合において、第1コンテンツと第2コンテンツとの同期を取る方法について説明する。
なお、以下において、同期とは、第1コンテンツ(例えば、MPU)と第2コンテンツ(ファイル)との提示時刻が適切に揃うことを意味する。従って、同期は、2D映像と3Dオブジェクトとの提示時刻が揃うことを含んでもよく、音声と3Dオブジェクトとの提示時刻が揃うことを含んでもよい。同様に、同期は、2D映像と360°映像との提示時刻が揃うことを含んでもよく、音声と360°映像との提示時刻が揃うことを含んでもよい。
第1方法では、メディア処理装置200が第1制御情報(MMT-SI)に基づいて、第1コンテンツと第2コンテンツとの同期を取るケースについて説明する。メディア処理装置200は、MMT-SIをエントリーポイントとして、シーン記述(第2コンテンツ)の有無を確認した上で、シーン記述が存在する場合には、MPUタイムスタンプ記述子を流用して、第1コンテンツ及び第2コンテンツを含む特定コンテンツの提示時刻を特定する。
具体的には、図19に示すように、2D映像及び音声は、MPUタイムスタンプ記述子(図19では、単にtimestamp)に基づいて提示されるため、2D映像及び音声の同期が取れる。
一方で、シーン記述に含まれる最初のフレームの提示時刻は、MMT-SIに含まれるMPUタイムスタンプ記述子を参照することによって特定される。シーン記述に含まれる2番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第2コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。
第1方法では、シーン記述に含まれる最初のフレームの提示時刻をシーン記述が含まないケースを例示したが、シーン記述は、シーン記述に含まれる最初のフレームの提示時刻を含んでもよい。
第2方法では、メディア処理装置200が第2制御情報(シーン記述)に基づいて、第1コンテンツと第2コンテンツとの同期を取るケースについて説明する。メディア処理装置200は、シーン記述をエントリーポイントとして、MMT-SI(第1コンテンツ)の有無を確認した上で、MMT-SIが存在する場合には、シーン記述に含まれる提示時刻に基づいて、第1コンテンツ及び第2コンテンツを含む特定コンテンツの提示時刻を特定する。
このようなケースにおいて、シーン記述は、第2コンテンツの提示時刻を示す絶対時刻情報を含む。絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
例えば、絶対時刻情報は、UTCを基準時刻として生成されてもよい。基準時刻は、TAIが用いられてもよく、GPSから提供される時刻が用いられてもよい。基準時刻は、NTPサーバから提供される時刻であってもよく、PTPサーバから提供される時刻であってもよい。さらに、絶対時刻情報は、MPUタイムスタンプ記述子と同一基準時刻に基づいて生成されてもよい。
さらに、シーン記述は、第1コンテンツを特定するための参照情報を含む。参照情報は、第1コンテンツを構成するMPUを特定するための情報であってもよい。すなわち、参照情報は、シーン記述に含まれるオブジェクトとして第1コンテンツ(MPU)を扱うための情報である。
具体的には、図20に示すように、シーン記述に含まれる最初のフレームの提示時刻は、シーン記述に含まれる絶対時刻情報によって特定される。シーン記述に含まれる2番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第2コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。
一方で、2D映像及び音声は、MPUタイムスタンプ記述子(図20では、単にtimestamp)に基づいて提示されるため、2D映像及び音声の同期が取れる。ここで、上述した参照情報がシーン記述に含まれるため、メディア処理装置200は、シーン記述に含まれる参照情報に基づいて、第2コンテンツとともに提示すべき第1コンテンツの有無を確認することができる。
第2方法では、2D映像と音声との同期がMMT-SIに含まれるMPUタイムスタンプ記述子に基づいて取られているが、変更例1では、2D映像と音声との同期についても、シーン記述に含まれる情報要素(絶対時刻情報及び参照情報)に基づいて取られてもよい。このようなケースにおいて、少なくとも、MMT-SIに含まれるMPUタイムスタンプ記述子については省略されてもよい。さらに、MMT-SIそのものが省略されてもよい。
なお、MMT-SIに含まれるMPUタイムスタンプ記述子の基準時刻(以下、第1基準時刻)とシーン記述に含まれる絶対時刻情報の基準時刻(第2基準時刻)とが異なる場合には、第1制御情報(MMT-SI)及び第2制御情報(シーン記述)の少なくともいずれか1つは、第1基準時刻と第2基準時刻との変換情報を含んでもよい。例えば、MMT-SIは、第1基準時刻(例えば、UTC)で表されたMPUタイムスタンプ記述子に加えて、第2基準時刻(例えば、UTC以外の基準時刻)で表されたMPUタイムスタンプ記述子を含んでもよい。シーン記述は、第2基準時刻(例えば、UTC以外の基準時刻)で表された絶対時刻情報に加えて、第1基準時刻(例えば、UTC)で表された絶対時刻情報を含んでもよい。
なお、MMT-SIに含まれるMPUタイムスタンプ記述子は、第1絶対時刻情報と称されてもよく、シーン記述に含まれる絶対時刻情報は、第2絶対時刻情報と称されてもよい。
[その他の実施形態]
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
上述した開示では、特定コンテンツが第1コンテンツ及び第2コンテンツの双方を含むケースについて例示したが、上述した開示はこれに限定されるものではない。特定コンテンツは、少なくとも第2コンテンツを含めばよい。
上述した開示では特に触れていないが、MMTに関する用語は、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定された内容に基づいて解釈されてもよい。
上述した開示では、MMT-SIに含まれる第1絶対時刻情報として、MPUタイムスタンプ記述子を例示した。しかしながら、上述した開示はこれに限定されるものではない。MMT-SIに含まれる第1絶対時刻情報は、MPU拡張タイムスタンプ記述子であってもよい。
上述した開示では特に触れていないが、メディア処理装置200は、必要に応じて、第2コンテンツの一部を送信装置100に要求してもよい。このような構成によれば、第2コンテンツの伝送に伴う帯域を節約し、メディア処理装置200の処理負荷の増大を抑制することができる。
上述した開示では、第1コンテンツの伝送方式としてMMTPを例示した。しかしながら、上述した開示はこれに限定されるものではない。第1コンテンツの伝送方式は、ISO/IEC 23009-1(以下、MPEG-DASH(Dynamic Adaptive Stream over HTTP))に準拠する方式であってもよい。このようなケースにおいて、第1制御情報は、MPD(Media Presentation Description)であってもよい。すなわち、上述した開示において、MMT-SIはMPDと読み替えられてもよい。
上述した開示では特に触れていないが、「取得」は「受信」と読み替えられてもよい。
特に限定されるものではないが、動作例2は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を送信する。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を受信する。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
特に限定されるものではないが、動作例3は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツに含まれる3次元オブジェクトに関するストリームの品質情報を送信し、品質情報は、3次元オブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を含む。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツに含まれる3次元オブジェクトに関するストリームの品質情報を受信し、品質情報は、3次元オブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を含む。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
特に限定されるものではないが、動作例4は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信する。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を受信する。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
特に限定されるものではないが、動作例4は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツによって構成される3次元空間においてユーザの視点位置の移動範囲を定義する情報要素を送信する。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツによって構成される3次元空間においてユーザの視点位置の移動範囲を定義する情報要素を受信する。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
上述した開示では特に触れていないが、送信装置100、メディア処理装置200及びユーザ端末300が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
或いは、送信装置100、メディア処理装置200及びユーザ端末300が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
上述した開示は、以下に示す課題及び効果を有していてもよい。
具体的には、コンテンツを表示するユーザ端末としては、ヘッドマウントディスプレイなどのように視点情報をフィードバックする第1ユーザ端末、ボリュメトリックディスプレイなどのように視点情報をフィードバックしない第2ユーザ端末などが考えられる。
発明者等は、鋭意検討の結果、視点の自由度を有するコンテンツを含む特定コンテンツを生成し得るメディア装置を想定した場合において、第1ユーザ端末及び第2ユーザ端末が混在する状況下においても、特定コンテンツを適切に表示し得る仕組みが必要であることを見出した。
上述した開示によれば、視点の自由度を有するコンテンツを含む特定コンテンツを適切に表示することを可能とするメディア処理装置、送信装置及び受信装置を提供することができる。
本願は、日本国特許出願第2022-019710号(2022年2月10日出願)の優先権を主張し、その内容の全てが本願明細書に組み込まれている。
10…伝送システム、100…送信装置、200…メディア処理装置、210…受付部、220…レンダラ、230…符号化処理部、260…選択部、270…選択部、300…ユーザ端末、310…検出部、320…復号処理部、330…レンダラ、400…第1ユーザ端末、500…第2ユーザ端末
Claims (7)
- 視点の自由度を有するコンテンツの構成及び特定視点情報に基づいて、前記コンテンツを少なくとも含む特定コンテンツを生成するレンダラと、
前記レンダラによって生成された前記特定コンテンツを前記ユーザ端末に出力する出力部と、を備える、メディア処理装置。 - 前記特定視点情報は、前記特定コンテンツによって構成される3次元空間における視点位置を示す情報要素及び前記3次元空間における視線方向を示す情報要素の少なくともいずれか1つを含む、請求項1に記載のメディア処理装置。
- 前記ユーザ端末が視点情報をフィードバックする第1ユーザ端末である場合に、前記視点情報を前記第1ユーザ端末から受信する受信部を備え、
前記レンダラは、前記視点情報に基づいて前記特定コンテンツを生成し、
前記出力部は、前記視点情報に基づいて生成された前記特定コンテンツを前記第1ユーザ端末に出力する、請求項1又は請求項2に記載のメディア処理装置。 - リセット信号を前記第1ユーザ端末から受信する受信部を備え、
前記レンダラは、前記リセット信号に応じて、前記特定視点情報に基づいて前記特定コンテンツを生成する、請求項3に記載のメディア処理装置。 - 前記レンダラは、前記ユーザ端末が視点情報をフィードバックしない第2ユーザ端末である場合に、前記特定視点情報に基づいて前記特定コンテンツを生成する、請求項1乃至請求項4のいずれか1項に記載のメディア処理装置。
- 視点の自由度を有するコンテンツの構成を送信する送信部を備え、
前記送信部は、前記コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を送信する、送信装置。 - 視点の自由度を有するコンテンツの構成を受信する受信部を備え、
前記受信部は、前記コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を受信する、受信装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022019710 | 2022-02-10 | ||
JP2022-019710 | 2022-02-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023153472A1 true WO2023153472A1 (ja) | 2023-08-17 |
Family
ID=87564537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/004363 WO2023153472A1 (ja) | 2022-02-10 | 2023-02-09 | メディア処理装置、送信装置及び受信装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023153472A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020116154A1 (ja) * | 2018-12-03 | 2020-06-11 | ソニー株式会社 | 情報処理装置および方法 |
-
2023
- 2023-02-09 WO PCT/JP2023/004363 patent/WO2023153472A1/ja unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020116154A1 (ja) * | 2018-12-03 | 2020-06-11 | ソニー株式会社 | 情報処理装置および方法 |
Non-Patent Citations (1)
Title |
---|
ANONYMOUS: "Immersive high-presence media technology being worked on by NHK Giken", NIKKEI ELECTRONICS, NIKKEI BUSINESS PUBLICATIONS, TOKYO, JP, no. 1236, 20 January 2022 (2022-01-20), JP , pages 54 - 61, XP009548573, ISSN: 0385-1680 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10841532B2 (en) | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission | |
US12041219B2 (en) | Immersive media content presentation and interactive 360° video communication | |
US20190104326A1 (en) | Content source description for immersive media data | |
US10887600B2 (en) | Method and apparatus for packaging and streaming of virtual reality (VR) media content | |
US10992961B2 (en) | High-level signaling for fisheye video data | |
US11089285B2 (en) | Transmission device, transmission method, reception device, and reception method | |
US10313728B2 (en) | Information processing apparatus and information processing method | |
US20200294188A1 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
EP3739889A1 (en) | Transmission device, transmission method, reception device and reception method | |
US20230033063A1 (en) | Method, an apparatus and a computer program product for video conferencing | |
WO2023153472A1 (ja) | メディア処理装置、送信装置及び受信装置 | |
WO2023153473A1 (ja) | メディア処理装置、送信装置及び受信装置 | |
US11341976B2 (en) | Transmission apparatus, transmission method, processing apparatus, and processing method | |
JP2023117151A (ja) | メディア処理装置及びユーザ端末 | |
JP2023117400A (ja) | メディア処理装置、送信装置及び受信装置 | |
JP2023117157A (ja) | メディア処理装置、送信装置及び受信装置 | |
JP2022139133A (ja) | メディア処理装置 | |
JP6969572B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US20240195966A1 (en) | A method, an apparatus and a computer program product for high quality regions change in omnidirectional conversational video | |
JP7296219B2 (ja) | 受信装置、送信装置、及びプログラム | |
US20240007603A1 (en) | Method, an apparatus and a computer program product for streaming of immersive video | |
JP2022139100A (ja) | 送信装置及び受信装置 | |
US20230421743A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
US20240187673A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
JP2022139106A (ja) | 送信装置及び受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23752936 Country of ref document: EP Kind code of ref document: A1 |