WO2019203207A1 - 受信装置、受信方法、送信装置および送信方法 - Google Patents

受信装置、受信方法、送信装置および送信方法 Download PDF

Info

Publication number
WO2019203207A1
WO2019203207A1 PCT/JP2019/016232 JP2019016232W WO2019203207A1 WO 2019203207 A1 WO2019203207 A1 WO 2019203207A1 JP 2019016232 W JP2019016232 W JP 2019016232W WO 2019203207 A1 WO2019203207 A1 WO 2019203207A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
information
image data
angle
data
Prior art date
Application number
PCT/JP2019/016232
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980025347.2A priority Critical patent/CN111971955A/zh
Priority to US16/981,051 priority patent/US20210006769A1/en
Priority to EP19789348.0A priority patent/EP3783887A4/en
Publication of WO2019203207A1 publication Critical patent/WO2019203207A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Definitions

  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a service transmission system 100 and a service receiver 200.
  • the control unit 101 includes a CPU (Central Processing Unit) and controls the operation of each unit of the service transmission system 100 based on a control program.
  • the user operation unit 101a constitutes a user interface for a user to perform various operations, and includes, for example, a keyboard, a mouse, a touch panel, a remote controller, and the like.
  • the 16-bit field of “rendering_metadata_id” is an ID for identifying a rendering metadata structure.
  • a 16-bit field of “rendering_metadata_length” indicates a rendering metadata structure byte size.
  • Each 16-bit field of “reference_point_horizontal” and “reference_point_vertical” indicates position information of the reference point RP (x, y) of the projection image (see FIG. 7B).
  • the field “reference_point_horizontal” indicates the horizontal pixel position “x” of the reference point RP (x, y).
  • the field “reference_point_vertical” indicates the vertical pixel position “y” of the reference point RP (x, y).
  • FIG. 9 illustrates a concept of depth control of, for example, graphics using a parallax value.
  • the parallax value is a negative value
  • the parallax is given so that the left-eye display graphics are shifted to the right side and the right-eye display graphics are shifted to the left side on the screen.
  • the graphics display position is in front of the screen.
  • the parallax value is a positive value
  • parallax is given so that the left-eye display graphics are shifted to the left and the right-eye display graphics are shifted to the right on the screen.
  • the graphics display position is behind the screen.
  • ( ⁇ 0 ⁇ 2) indicates the parallax angle in the same direction
  • ( ⁇ 0 ⁇ 1) indicates the parallax angle in the intersecting direction
  • D indicates the distance between the screen and the installation surface of the camera (human eye) (viewing distance)
  • E indicates the installation interval (eye_baseline) of the camera (human eye)
  • K is the distance to the target.
  • S indicates a parallax value.
  • Equation (1) constitutes a conversion equation for converting the parallax value S to the depth value K.
  • Equation (2) constitutes a conversion formula for converting the depth value K into the parallax value S.
  • the representative depth value of each angle area is the minimum value of the depth values of the blocks in the angle area among the depth values for each block generated by the depth generation unit 105.
  • FIG. 11 shows one angle area ARi set on the projection image.
  • the outer rectangular frame shows the entire projection image, and there is a depth value dv (jk) corresponding to this projection image in units of blocks, and these are combined to form a depth map. .
  • the representative depth value DPi in the angle area ARi is the minimum value among the plurality of depth values dv (jk) included in the angle area ARi, and is represented by the following formula (3).
  • the subtitle (subtitle) generator 107 generates subtitle data to be superimposed on the image.
  • the caption encoder 108 encodes the caption data generated by the caption generation unit 107 to generate a caption stream.
  • the caption encoder 108 refers to the depth value for each block generated by the depth generation unit 105, and controls the depth of the caption when the default view is displayed around the reference point RP (x, y) of the projection image.
  • a usable depth value or a parallax value obtained by converting the depth value is added to the caption data.
  • the container encoder 109 includes a video stream generated by the video encoder 104, a subtitle stream generated by the subtitle encoder 108, and a timed meta having depth meta information for each picture generated by the depth meta information generation unit 106.
  • a container including a data stream here an MP4 stream, is generated as a distribution stream STM.
  • the container encoder 109 inserts rendering metadata (see FIG. 6) into the MP4 stream including the video stream.
  • rendering metadata is inserted into both the video stream layer and the container layer, but it is also conceivable to insert the rendering metadata into only one of them.
  • FIG. 14A shows a structural example (syntax) of a component descriptor
  • FIG. 14B shows contents (semantics) of main information in the structural example.
  • the 4-bit field of “stream_content” indicates the encoding method of the video / audio subtitle.
  • “0x9” is set, which indicates HEVC encoding.
  • the transmitting unit 110 transmits the MP4 distribution stream STM obtained by the container encoder 109 on a broadcast wave or a packet on the network and transmits it to the service receiver 200.
  • each random access period starts from an initialization segment (IS: initialization segment), and further includes “styp”, “sidx (Segment index box)”, and “ssix (Sub-segment index ⁇ ⁇ ⁇ box). ) ”,“ Moof (Movie fragment box) ”, and“ mdat (Media data box) ”boxes.
  • the initialization segment (IS) has a box structure based on ISOBMFF (ISO Base Media Media Format). Rendering metadata and component descriptors are inserted into this initialization segment (IS).
  • ISOBMFF ISO Base Media Media Format
  • Control information is entered in the“ moof ”box.
  • NAL units of “VPS”, “SPS”, “PPS”, “PSEI”, “SSEI”, and “SLICE” are arranged.
  • the encoded image data of each picture in the random access period is included in the “SLICE” NAL unit.
  • each random access period starts from an initialization segment (IS), and “styp”, “sidx”, “six”, “moof”, “mdat” It is the structure that followed.
  • the “mdat” box includes depth meta information of each picture in the random access period.
  • cutout position information is inserted into the SPS NAL unit of the video stream (see FIG. 4). Further, an SEI message (see FIG. 6) having rendering metadata (rendering meta information) is inserted into the “SEIs” portion of the access unit (AU).
  • the caption (subtitle) generation unit 107 generates caption data to be superimposed on the image.
  • This caption data is supplied to the caption encoder 108.
  • the caption encoder 108 encodes the caption data and generates a caption stream.
  • a depth value that can be used for subtitle depth control at the time of default view display centered on the reference point RP (x, y) of the projection image is added to the subtitle data.
  • the MP4 stream obtained by the container encoder 109 is supplied to the transmission unit 110.
  • the MP4 distribution stream STM obtained by the container encoder 109 is transmitted to the service receiver 200 on a broadcast wave or a network packet.
  • FIG. 21 shows a configuration example of the service receiver 200.
  • the service receiver 200 includes a control unit 201, a UI unit 201a, a sensor unit 201b, a reception unit 202, a container decoder 203, a video decoder 204, a caption decoder 205, a graphics generation unit 206, and a renderer 207. And a scaling unit 208 and a display unit 209.
  • the receiving unit 202 receives the MP4 distribution stream STM transmitted from the service transmission system 100 on broadcast waves or net packets.
  • MP4 streams each including a video stream, a caption stream, and a timed metadata stream are obtained as the distribution stream STM.
  • the depth meta information of each picture is inserted into a video stream and sent, there is no MP4 stream including a timed metadata stream.
  • the container decoder 203 extracts a video stream from the MP4 stream including the video stream received by the receiving unit 202, and sends the video stream to the video decoder 204.
  • the container decoder 203 extracts “moov” block information and the like from the MP4 stream including the video stream, and sends the information to the control unit 201.
  • Rendering metadata exists as one piece of information of the “moov” block. Further, as one of the information of the “moov” block, there is a component descriptor (see FIG. 14).
  • the subtitle decoder 205 decodes the subtitle stream extracted by the container decoder 203 to obtain subtitle data, obtains subtitle display data and subtitle superposition position data from the subtitle data, and sends the subtitle display data to the renderer 207.
  • the caption decoder 205 acquires a depth value that can be used for depth control of the caption at the time of default view display added to the caption data, and sends the depth value to the control unit 201.
  • the graphics generation unit 206 generates graphics display data and graphics superimposition position data related to graphics such as OSD (On Screen Display) or application, or EPG (Electronic Program Guide), and sends them to the renderer 207.
  • OSD On Screen Display
  • EPG Electronic Program Guide
  • the scaling unit 208 scales the image data of the left eye and the right eye so as to fit the display size of the display unit 209.
  • the display unit 209 displays a stereoscopic image (stereoscopic image) based on the scaled left eye and right eye image data.
  • the display unit 209 includes, for example, a display panel or an HMD (Head-Mounted Display).
  • the image data generation unit 211R is supplied with the image data VPR of the right-eye projection image from the video decoder 204. Further, display area information is supplied from the control unit 201 to the right eye image data generation unit 211R. The right eye image data generation unit 211R performs rendering processing on the right eye projection image to obtain right eye image data VR corresponding to the display area.
  • Display area information and depth meta information are supplied from the control unit 201 to the depth processing unit 213.
  • the depth processing unit 213 is supplied with caption superimposition position data and graphics superimposition position data.
  • the depth processing unit 213 obtains a subtitle depth value, that is, a depth value for giving parallax to the subtitle display data, based on the subtitle superimposition position data, the display area information, and the depth meta information.
  • the depth processing unit 213 sets the depth value for giving parallax to the caption display data as the minimum value of the representative depth values of a predetermined number of angle areas corresponding to the caption overlay range indicated by the caption overlay position data. Value.
  • FIG. 23 shows an example of a display area for a projection image. Note that there are two left and right eye projection images, but only one is shown here for simplicity of the drawing.
  • this projection image in addition to the reference point RP, six viewpoints VpA to VpF serving as a reference for the angle area are set. The position of each viewpoint is set by an offset from the origin at the upper left of the projection image. Alternatively, the position of each viewpoint is set with an offset from the reference point RP that is set with an offset from the origin at the upper left of the projection image.
  • the display area A and the display area B are at positions including the viewpoint VpD.
  • the display area A and the display area B have different sizes, the display area A is wide, and the display area B is narrow. Variations in the size of the display area appear depending on how much display capability the receiver has.
  • the subtitle is superimposed so as to be displayed in front of the object OB1.
  • the display area B the foreground object OB1 is not included, and therefore, the display area B is superimposed so as to be displayed behind the foreground object OB1, that is, before the object OB2 located far away.
  • Each angle region has a depth representative value, and a solid broken line D indicates the degree of depth according to the representative depth value.
  • the values taken by the actual broken line D are as follows. That is, L0 to L1 are depth representative values of the angle area AR1. L1 and L2 are depth values indicating “far” because the angle area is not defined. L2 to L3 are depth representative values of the angle area AR2. L3 to L4 are depth values indicating “far” because the angle areas are not defined. L4 to L5 are depth representative values of the angle area AR3. L5 to L6 are depth representative values of the angle area AR4. L6 to L7 are depth representative values of the angle area AR5.
  • the depth value (caption depth value) for giving parallax to the caption display data is the representative depth of the angle area AG_2. Deserved. Further, as shown in FIG. 26B, when the display area overlaps both the angle areas AG_2 and AG_3, the caption depth value is set to the minimum value of the representative depth values of the angle areas AG_2 and AG_3.
  • the representative depth values of the angle areas AG_2 and AG_3 are weighted and added in accordance with the ratio of the display area overlapping the respective angle areas. In that case, the subtitle depth value can smoothly transition between the state in which the display area is included in the angle area AG_2 and the state in which the display area is included in the angle area AG_3.
  • the depth value (caption depth value) for giving parallax to the caption display data is the angle area AG_3.
  • the representative depth value is the angle area AG_3.
  • the depth processing unit 213 obtains a depth value distribution in the display area in step ST3 (see the solid line D in FIG. 25).
  • the portion where the angle region exists is the representative depth value
  • the portion where the angle region does not exist is the depth value indicating “far”.
  • the minimum depth value within the subtitle overlapping range is set as the subtitle depth value.
  • the depth process part 213 complete finishes a process in step ST5.
  • step ST4 the depth processing unit 213 does not set the minimum depth value in the caption superimposition range as the caption depth value, but if the display area overlaps a plurality of depth value areas, the depth processing unit 213 depends on the overlapping ratio.
  • the depth / disparity conversion unit 214 converts the caption depth value and the graphics depth value obtained by the depth processing unit 213 into a disparity value, respectively, and obtains a caption disparity value and a graphics disparity value. In this case, conversion is performed according to the above-described equation (2).
  • the superimposing unit 212 superimposes the subtitle display data on the superimposition position indicated by the subtitle superimposition position data of the left eye image data and the right eye image data. In addition, the superimposing unit 212 superimposes the graphics display data on the superimposition position indicated by the graphics superimposition position data of the left eye image data and the right eye image data. Note that when the superimposed position of the caption and graphics partially overlaps, the superimposing unit 212 overwrites the graphics display data on the caption display data for that portion.
  • FIG. 29 shows an example of depth control in the case where the superimposed position of subtitles and graphics partially overlaps.
  • the caption is displayed in front of the image objects in the four angle areas AR8, AR9, AR10, and AR11 corresponding to the caption display position.
  • the graphics are displayed in front of the eight right angle areas AR2, AR3, AR6, AR7, AR10, AR11, AR14, and AR15 and in front of the subtitles.
  • the container decoder 203 extracts a video stream from the MP4 stream including the video stream and sends it to the video decoder 204. Also, the container decoder 203 extracts “moov” block information and the like from the MP4 stream including the video stream, and sends the information to the control unit 201.
  • the container decoder 203 extracts a subtitle stream from the MP4 stream including the subtitle stream and sends it to the subtitle decoder 205.
  • the subtitle decoder 205 decodes the subtitle stream to obtain subtitle data, subtitle display data and subtitle superposition position data are obtained from the subtitle data, and are sent to the renderer 207.
  • the container decoder 203 When the container decoder 203 receives the MP4 stream including the timed metadata stream at the receiving unit 202, the container decoder 203 extracts the timed metadata stream from the MP4 stream and includes the depth metadata included in the timed metadata stream. Information is sent to the control unit 201.
  • the left-eye and right-eye image data for stereoscopic image display obtained by the renderer 207 is supplied to the scaling unit 208.
  • the scaling unit 208 performs scaling so as to fit the display size of the display unit 209.
  • the display unit 209 displays a stereoscopic image (stereoscopic image) whose display area is interactively changed based on the scaled left-eye and right-eye image data.
  • the service transmission system 100 uses a video stream obtained by encoding image data of a wide viewing angle image for each picture of the left eye and right eye, and a wide viewing angle for each picture. Depth meta information including the position information of a predetermined number of angle regions in the image and the representative depth value is transmitted. Therefore, the depth information in the wide viewing angle image can be transmitted efficiently.
  • this technique can also take the following structures.
  • a video stream obtained by encoding image data of a wide viewing angle image for each picture of the left eye and right eye, and position information of a predetermined number of angle regions in the wide viewing angle image for each picture
  • a receiving unit for receiving depth meta information including a representative depth value The left eye and right eye display area image data is extracted from the image data of the wide viewing angle image for each picture of the left eye and right eye obtained by decoding the video stream, and the left eye and right eye display areas
  • a processing unit that superimposes and outputs the superimposition information data on the image data; When the superimposition information data is superimposed on the left eye and right eye display area image data, the processing unit superimposes the left eye and right eye display area image data based on the depth meta information, respectively.
  • a receiving device that adds parallax to superimposition information data (2) The reception device according to (1), wherein the reception unit receives the depth meta information for each picture by a timed metadata stream associated with the video stream. (3) The reception device according to (1), wherein the reception unit receives the depth meta information for each picture in a state of being inserted into the video stream. (4) When the superimposition information data is superimposed on the left-eye and right-eye display area image data, the processing unit includes a representative depth of a predetermined number of angle areas corresponding to the superimposition range included in the depth meta information. The receiving device according to any one of (1) to (3), wherein the parallax is given based on a minimum value among the values.
  • a video stream obtained by encoding image data of a wide viewing angle image for each picture of the left eye and right eye, and positional information of a predetermined number of angle regions in the wide viewing angle image for each picture A procedure for receiving depth meta information including a representative depth value;
  • the left eye and right eye display area image data is extracted from the image data of the wide viewing angle image for each picture of the left eye and right eye obtained by decoding the video stream, and the left eye and right eye display areas It has a procedure to superimpose and output superimposition information data on image data, When the superimposition information data is superimposed on the left eye and right eye display area image data, the superimposition information data superimposed on the left eye and right eye display area image data, respectively, based on the depth meta information.
  • the depth meta information further includes position information indicating which position in the region the representative depth value of the predetermined number of angle regions relates to,
  • position information indicating which position in the region the representative depth value of the predetermined number of angle regions relates to.
  • the depth meta information includes position information of a predetermined number of angle regions in the wide viewing angle image and a representative depth value.
  • the main feature of the present technology is that when superimposing information (caption or graphics) display data is superimposed on left eye and right eye display area image data, position information of a predetermined number of angle areas in the wide viewing angle image and By applying parallax based on the depth meta information including the representative depth value, it is possible to easily realize depth control when superimposing information is superimposed and displayed using depth information transmitted efficiently ( (See FIGS. 21, 22, and 25).
  • DESCRIPTION OF SYMBOLS 10 ... Transmission / reception system 100 ... Service transmission system 101 ... Control part 101a ... User operation part 102L ... Left camera 102R ... Right camera 103L, 103R ... Plane packing part 104 ... Video encoder 105 ... Depth generation unit 106 ... Depth meta information generation unit 107 ... Subtitle generation unit 108 ... Subtitle encoder 109 ... Container decoder 110 ... Transmission unit 111 ... Depth sensor 200 ..Service receiver 201... Control unit 201a... UI unit 201b .. Sensor unit 202... Reception unit 203 .. Container decoder 204... Video decoder 205. ⁇ Graphics generator 207 ... Renderer 208 ... Scaling unit 09 ... display unit 211L ... left-eye image data generating unit 211R ... right-eye image data generation unit 212 ... superimposing unit 213 ... depth processing unit 214 ... depth / parallax converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

効率的に伝送されてくる奥行き情報を用いて重畳情報を重畳表示する際の奥行き制御を簡易に実現する。　左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、ピクチャ毎の広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を受信する。ビデオストリームを復号化して得られた左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データを取り出し、この左眼および右眼の表示領域画像データに重畳情報のデータを重畳して出力する。左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、デプスメタ情報に基づいて、視差を付与する。

Description

受信装置、受信方法、送信装置および送信方法
　本技術は、受信装置、受信方法、送信装置および送信方法に関し、詳しくは、ステレオスコピック画像をＶＲ表示する受信装置等に関する。
　ステレオスコピック画像をＶＲ（Virtual Reality）表示する場合、インタラクティブに表示されるオブジェクトよりも近い位置に字幕やグラフィックスを重畳することが、立体視覚的に重要になる。例えば、特許文献１には、左眼および右眼の画像の画像データと共に画像の画素毎のあるいは均等分割したブロック毎の奥行き情報を送信し、受信側で字幕やグラフィックスを重畳表示する際の奥行き制御に用いる技術が示されている。しかし、広視野角画像の場合には、奥行き情報の送信のために多くの伝送帯域を確保する必要がある。
国際公開第２０１３/１０５４０１号
　本技術の目的は、効率的に伝送されてくる奥行き情報を用いて重畳情報を重畳表示する際の奥行き制御を簡易に実現することにある。
　本技術の概念は、
　左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎の上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を受信する受信部と、
　上記ビデオストリームを復号化して得られた上記左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データを取り出し、該左眼および右眼の表示領域画像データに重畳情報のデータを重畳して出力する処理部を備え、
　上記処理部は、上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に基づいて、上記左眼および右眼の表示領域画像データにそれぞれ重畳する上記重畳情報のデータに視差を付与する
　受信装置にある。
　本技術において、受信部により、左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、ピクチャ毎の広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報が受信される。例えば、受信部は、ピクチャ毎のデプスメタ情報を、ビデオストリームに関連づけられたタイムドメタデータストリームにより受信する、ようにされてもよい。また、例えば、受信部は、ピクチャ毎のデプスメタ情報を、ビデオストリームに挿入された状態で受信する、ようにされてもよい。また、例えば、アングル領域の位置情報は、所定のビューポイントの位置を基準としたオフセット情報で与えられる、ようにされてもよい。
　処理部により、ビデオストリームを復号化して得られた左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データが取り出され、この左眼および右眼の表示領域画像データに重畳情報のデータが重畳されて出力される。ここで、左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、デプスメタ情報に基づいて、左眼および右眼の表示領域画像データにそれぞれ重畳する重畳情報の表示データに視差が付与される。例えば、重畳情報は、字幕および/またはグラフィクスである、ようにされてもよい。
　例えば、処理部は、左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値のうちの最小値に基づいて、視差を付与する、ようにされてもよい。また、例えば、デプスメタ情報は、所定数のアングル領域の代表デプス値が領域内のどの位置に係るものであるかを示す位置情報をさらに含み、処理部は、左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値と位置情報に基づいて、視差を付与する、ようにされてもよい。また、デプスメタ情報は、スクリーンの深さに相当するデプス値を、デプス値の基準としてさらに含む、ようにされてもよい。
　また、例えば、重畳情報のデータが重畳された左眼および右眼の表示領域画像データに基づいて立体画像を表示する表示部をさらに備える、ようにされてもよい。この場合、例えば、表示部は、ヘッドマウントディスプレイである、ようにされてもよい。
　このように本技術においては、左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報に基づいて、左眼および右眼の表示領域画像データにそれぞれ重畳する重畳情報のデータに視差を付与するものである。そのため、効率的に伝送されてくる奥行き情報を用いて字幕やグラフィックスを重畳表示する際の奥行き制御を簡易に実現し得る。
　また、本技術の他の概念は、
　左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎のデプスメタ情報を送信する送信部を備え、
　上記デプスメタ情報は、上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含む
　送信装置にある。
　本技術において、送信部により、左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、ピクチャ毎のデプスメタ情報が送信される。ここで、デプスメタ情報には、広視野角画像内の所定数のアングル領域の位置情報と代表デプス値が含まれる。
　このように本技術においては、左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、ピクチャ毎の広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を送信するものである。そのため、広視野角画像内の奥行き情報を効率的に伝送し得る。
　本技術によれば、効率的に伝送されてくる奥行き情報を用いて重畳情報を重畳表示する際の奥行き制御を簡易に実現できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 サービス送信システムの構成例を示すブロック図である。 球面キャプチャ画像からプロジェクション画像を得る平面パッキングを説明するための図である。 ＨＥＶＣの符号化におけるＳＰＳ　ＮＡＬユニットの構造例を示す図である。 切出し位置の中心Ｏ(p,q)をプロジェクション画像のリファレンスポイントＲＰ(x,y)と一致させることを説明するための図である。 レンダリングメタデータの構造例を示す図である。 図６の構造例における各情報を説明するための図である。 図６の構造例における各情報を説明するための図である。 視差値によるグラフィクスの奥行き制御の概念を示す図である。 ある一つのビューポイントの影響下にあるアングル領域の設定例を概略的に示す図である。 アングル領域の代表デプス値を説明するための図である。 左眼および右眼のプロジェクション画像にそれぞれ対応した球面画像の一部を示す図である。 アングル領域の定義を示す図である。 コンポーネントデスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 配信ストリームとしてのＭＰ４ストリームを概略的に示す図である。 デプスメタ情報を含む１ピクチャ分のタイムドメタデータの構造例を示す図である。 図１６の構成例における主要な情報の内容を示す図である。 ＭＰＤファイルの記述例を示す図である。 ＰＳＶＰ・ＳＥＩメッセージの構造例を示す図である。 デプスメタ情報をビデオストリームに挿入して送信する場合におけるＭＰ４ストリームを概略的に示す図である。 サービス受信機の構成例を示すブロック図である。 レンダラの構成例を示すブロック図である。 プロジェクション画像に対する表示領域の一例を示す図である。 表示領域の大きさにより字幕表示データに視差を与えるためのデプス値が異なることを説明するための図である。 表示領域の各移動位置において字幕表示データに視差を与えるためのデプス値の設定方法の一例を示す図である。 プロジェクション画像に設定された複数のアングル領域の間で表示領域が遷移する場合において、各移動位置における字幕表示データに視差を与えるためのデプス値の設定方法の一例を示す図である。 表示部としてＨＭＤを用いる場合のデプス値の設定の一例を示す図である。 デプス処理部における字幕デプス値を得るための手順の一例を示すフローチャートである。 字幕とグラフィクスの重畳位置が一部重なる場合におけるデプス制御例を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信システム１００とサービス受信機２００により構成されている。
　サービス送信システム１００は、ＤＡＳＨ/ＭＰ４、つまりメタファイルとしてのＭＰＤファイルと、ビデオやオーディオなどのメディアストリームが含まれるＭＰ４（ＩＳＯＢＭＦＦ）を、通信ネットワーク伝送路、またはＲＦ伝送路を通じて、送信する。この実施の形態においては、メディアストリームとして、左眼および右眼のピクチャ毎の広視野角画像の画像データを符号して得られたビデオストリームが含まれる。
　また、サービス送信システム１００は、ビデオストリームと共に、ピクチャ毎のデプスメタ情報を送信する。このデプスメタ情報には、広視野角画像内の所定数のアングル領域の位置情報と代表デプス値が含まれるが、この実施の形態においては、さらに、その代表デプス値が領域内のどの位置に係るものであるかを示す位置情報も含まれる。例えば、ピクチャ毎のデプスメタ情報は、ビデオストリームに関連づけられたタイムドメタデータストリームにより送信されるか、あるいはビデオストリームに挿入されて送信される。
　サービス受信機２００は、サービス送信システム１００から通信ネットワーク伝送路またはＲＦ伝送路を通じて送られてくる上述のＭＰ４（ＩＳＯＢＭＦＦ）を受信する。サービス受信機２００は、ＭＰＤファイルから、ビデオストリームに関するメタ情報、さらにはタイムドメタデータストリームが存在する場合にはそれに関するメタ情報を取得する。
　また、サービス受信機２００は、ビデオストリームを復号化して得られた左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データを取り出し、この左眼および右眼の表示領域画像データに、字幕やグラフィクス等の重畳情報のデータを重畳して出力する。この場合、表示領域は、ユーザの動作あるいは操作に基づき、インタラクティブに変化する。左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、デプスメタ情報に基づいて、左眼および右眼の表示領域画像データにそれぞれ重畳する重畳情報のデータに視差が付与される。
　例えば、デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値のうちの最小値に基づいて、視差が付与される。また、例えば、デプスメタ情報に代表デプス値が領域内のどの位置に係るものであるかを示す位置情報をさらに含む場合には、デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値とその位置情報に基づいて、視差が付与される。
　「サービス送信システムの構成例」
　図２は、サービス送信システム１００の構成例を示している。このサービス送信システム１００は、制御部１０１と、ユーザ操作部１０１ａと、左側カメラ１０２Ｌと、右側カメラ１０２Ｒと、平面パッキング部１０３Ｌ，１０３Ｒと、ビデオエンコーダ１０４と、デプス生成部１０５と、デプスメタ情報生成部１０６と、字幕発生部１０７と、字幕エンコーダ１０８と、コンテナエンコーダ１０９と、送信部１１０を有している。
　制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス送信システム１００の各部の動作を制御する。ユーザ操作部１０１ａは、ユーザが種々の操作を行うためのユーザインタフェースを構成し、例えばキーボード、マウス、タッチパネル、リモコンなどで構成される。
　左側カメラ１０２Ｌおよび右側カメラ１０２Ｒは、ステレオカメラを構成している。左側カメラ１０２Ｌは、被写体を撮像して、球面キャプチャ画像（３６０°ＶＲ画像）を得る。同様に、右側カメラ１０２Ｒは、被写体を撮像して、球面キャプチャ画像（３６０°ＶＲ画像）を得る。例えば、カメラ１０２Ｌ，１０２Ｒは、バック・ツー・バック（Back to Back）方式で撮像を行って、球面キャプチャ画像として、それぞれ魚眼レンズを用いて撮像された１８０°以上の視野角を持つ、超広視野角の前面画像および後面画像を得る（図３（ａ）参照）。
　平面パッキング部１０３Ｌ，１０３Ｒは、それぞれ、カメラ１０２Ｌ，１０２Ｒで得られた球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像（projection picture）を得る（図３（ｂ）参照）。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー(Equirectangular)、クロスキュービック（Cross-cubic）などが選択される。なお、平面パッキング部１０３Ｌ，１０３Ｒは、プロジェクション画像に必要に応じて切り出しを行い、またスケーリングを施し、所定の解像度のプロジェクション画像を得る（図３（ｃ）参照）。
　ビデオエンコーダ１０４は、平面パッキング部１０３Ｌからの左眼のプロジェクション画像の画像データおよび平面パッキング部１０３Ｒからの右眼のプロジェクション画像の画像データに対して、例えばＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含むビデオストリームを生成する。例えば、左眼および右眼のプロジェクション画像の画像データがサイドバイサイド方式あるいはトップアンドボトム方式で合成され、その合成画像データに対して符号化が行われて、１つのビデオストリームが生成される。また、例えば、左眼および右眼のプロジェクション画像の画像データのそれぞれに対して符号化が行われて、２つのビデオストリームが生成される。
　ビデオストリームのＳＰＳ　ＮＡＬユニットには、切出し位置情報が挿入されている。例えば、ＨＥＶＣの符号化では「default_display_window」が対応する。
　図４は、ＨＥＶＣの符号化におけるＳＰＳ　ＮＡＬユニットの構造例（Syntax）を示している。「pic_width_in_luma_samples」のフィールドは、プロジェクション画像の水平方向の解像度（画素サイズ）を示している。「pic_height_in_luma_samples」のフィールドは、プロジェクション画像の垂直方向の解像度（画素サイズ）を示している。そして、「default_display_window_flag」が立っているとき、切出し位置情報「default_display_window」が存在する。この切出し位置情報は、デコード画像の左上を基点（０，０）としたオフセット情報とされる。
　「def_disp_win_left_offset」のフィールドは、切出し位置の左端位置を示している。「def_disp_win_right_offset」のフィールドは、切出し位置の右端位置を示している。「def_disp_win_top_offset」のフィールドは、切出し位置の上端位置を示している。「def_disp_win_bottom_offset」のフィールドは、切出し位置の下端位置を示している。
　この実施の形態において、この切出し位置情報で示される切出し位置の中心をプロジェクション画像のリファレンスポイント（基準点）と一致するように設定することができる。ここで、切出し位置の中心をＯ(p,q)とすると、ｐ，ｑは、それぞれ、以下の数式で表される。
　p = ( def_disp_win_right_offset -　def_disp_win_left_offset ) * 1/2
　　　　　　　　　　　　　　　　　　　　　　　　　+ def_disp_win_left_offset
　q = ( def_disp_win_bottom_offset -　def_disp_win_top_offset ) * 1/2
　　　　　　　　　　　　　　　　　　　　　　　　　+ def_disp_win_top_offset
　図５は、切出し位置の中心Ｏ(p,q)がプロジェクション画像のリファレンスポイントＲＰ(x,y)と一致することを示している。図示の例において、「projection_pic_size_horizontal」はプロジェクション画像の水平画素サイズを示し、「projection_pic_size_vertical」はプロジェクション画像の垂直画素サイズを示している。なお、ＶＲ表示対応受信機ではプロジェクション画像をレンダリングして表示ビュー（表示画像）を得ることが可能とされるが、デフォルトビューはリファレンスポイントＲＰ(x,y)を中心としたものとされる。なお、リファレンスポイントは実際の東西南北の特定の方角と一致させることで物理空間との整合を取ることが可能である。
　また、ビデオエンコーダ１０４は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（SEI message）を挿入する。図６は、レンダリングメタデータ（Rendering_metadata）の構造例（Syntax）を示している。また、図８は、各構造例における主要な情報の内容（Semantics）を示している。
　「rendering_metadata_id」の１６ビットフィールドは、レンダリングメタデータ構造体を識別するＩＤである。「rendering_metadata_length」の１６ビットフィールドは、レンダリングメタデータ構造体バイトサイズを示す。
　「start_offset_sphere_latitude」、「start_offset_sphere_longitude」、「end_offset_sphere_latitude」、「end_offset_sphere_longitude」の各１６ビットフィールドは、球面キャプチャ画像を平面パッキングする場合の切り取り範囲の情報を示す（図７（ａ）参照）。「start_offset_sphere_latitude」のフィールドは、球面からの切り取り開始オフセットの緯度（垂直方向）を示す。「start_offset_sphere_longitude」のフィールドは、球面からの切り取り開始オフセットの経度（水平方向）を示す。「end_offset_sphere_latitude」のフィールドは、球面からの切り取り終了オフセットの緯度（垂直方向）を示す。「end_offset_sphere_longitude」のフィールドは、球面からの切り取り終了オフセットの経度（水平方向）を示す。
　「projection_pic_size_horizontal」、「projection_pic_size_vertical」の各１６ビットフィールドは、プロジェクション画像（projection picture）のサイズ情報を示す（図７（ｂ）参照）。「projection_pic_size_horizontal」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの水平画素カウントを示す。「projection_pic_size_vertical」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの垂直画素カウントを示す。
　「scaling_ratio_horizontal」、「scaling_ratio_vertical」の各１６ビットフィールドは、プロジェクション画像の元のサイズからのスケーリング比を示す（図３（ｂ），（ｃ）参照）。「scaling_ratio_horizontal」のフィールドは、プロジェクション画像の元のサイズからの水平スケーリング比を示す。「scaling_ratio_vertical」のフィールドは、プロジェクション画像の元のサイズからの垂直スケーリング比を示す。
　「reference_point_horizontal」、「reference_point_vertical」の各１６ビットフィールドは、プロジェクション画像のリファレンスポイントＲＰ(x,y)の位置情報を示す（図７（ｂ）参照）。「reference_point_horizontal」のフィールドは、リファレンスポイントＲＰ(x,y)の水平画素位置“ｘ”を示す。「reference_point_vertical」のフィールドは、リファレンスポイントＲＰ(x,y)の垂直画素位置“ｙ”を示す。
　「format_type」の５ビットフィールドは、プロジェクション画像のフォーマットタイプを示す。例えば、“０”はエクイレクタングラー(Equirectangular)を示し、“１”はクロスキュービック（Cross-cubic）を示し、“２”はパーティションド・クロスキュービック（partitioned cross cubic）を示す。
　「backwardcompatible」の１ビットフィールドは、後方互換性の設定がなされているかどうか、つまりビデオストリームのレイヤに挿入される切出し位置情報で示される切出し位置の中心Ｏ(p,q)がプロジェクション画像のリファレンスポイントＲＰ(x,y)と一致するように設定されているか否かを示す。例えば、“０”は後方互換性の設定がなされていないことを示し、“１”は後方互換性の設定がなされていることを示す。
　デプス生成部１０５は、平面パッキング部１０３Ｌ，１０３Ｒからの左眼および右眼のプロジェクション画像を用いて、ブロック毎の奥行き情報であるデプス（Depth）値を求める。この場合、デプス生成部１０５は、４×４、８×８等の画素ブロック毎に、ＳＡＤ（Sum of Absolute Difference）を求めて視差（Disparity）値を得、さらにこの視差値を奥行き情報であるデプス値に変換する。
　ここで、視差値からデプス値への変換について説明する。図９は、視差値による例えばグラフィクスの奥行き制御の概念を示している。視差値がマイナス値である場合、スクリーン上において左眼表示用のグラフィクスが右側に、右眼表示用のグラフィクスが左側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも手前となる。また、視差値がプラス値である場合、スクリーン上において左眼表示用のグラフィクスが左側に、右眼表示用のグラフィクスが右側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも奥となる。
　図９において、（θ0－θ2）は同側方向の視差角を示し、（θ0－θ1）は交差方向の視差角を示している。また、Ｄはスクリーンとカメラ（人間の目）の設置面の距離（viewing distance）を示し、Ｅはカメラ（人間の目）の設置間隔（eye_baseline)を示し、Ｋは対象までの距離であるデプス値を示し、さらにＳは視差値を示すものとする。
　このとき、Ｋは、ＳとＥの比と、ＤとＫの比により、以下の数式（１）で求められる。この数式を変形して、数式（２）が得られる。数式（１）は、視差値Ｓをデプス値Ｋに変換するための変換式を構成する。逆に、数式（２）は、デプス値Ｋを視差値Ｓに変換するための変換式を構成する。
　　　Ｋ＝Ｄ/（１＋Ｓ/Ｅ）　　・・・（１）
　　　Ｓ＝（Ｄ－Ｋ）Ｅ/Ｋ　　　・・・（２）
　図２に戻って、デプスメタ情報生成部１０６は、デプスメタ情報を生成する。このデプスメタ情報には、プロジェクション画像上に設定された所定数のアングル領域の位置情報と代表デプス値が含まれ、この実施の形態ではさらに、その代表デプス値が領域内のどの位置に係るものであるかを示す位置情報も含まれる。
　ここで、所定数のアングル領域は、ユーザがユーザ操作部１０１ａを操作することで設定される。この場合、所定数のビューポイントが設定され、さらにそれぞれのビューポイントの影響下にある所定数のアングル領域が設定される。それぞれのアングル領域の位置情報は、対応するビューポイントの位置を基準としたオフセット情報で与えられる。
　また、それぞれのアングル領域の代表デプス値は、デプス生成部１０５で生成されたブロック毎のデプス値のうち、そのアングル領域内にある各ブロックのデプス値のうちの最小値とされる。
　図１０は、ある一つのビューポイントの影響下にあるアングル領域の設定例を概略的に示している。図１０（ａ）は、アングル領域ＡＲが等間隔の分割領域で構成される場合の例を示しており、ＡＲ１～ＡＲ９の９個のアングル領域が設定されている。図１０（ｂ）は、アングル領域ＡＲがフレキシブルなサイズの分割領域で構成される場合の例を示しており、ＡＲ１～ＡＲ６の６個のアングル領域が設定されている。なお、アングル領域同士は必ずしも空間で連続的に配置されていなくてもよい。
　図１１は、プロジェクション画像上に設定されたある一つのアングル領域ＡＲｉを示している。図において、外側の矩形枠はプロジェクション画像の全体を示しており、このプロジェクション画像に対応してブロック単位でデプス値ｄｖ(j.k)が存在し、それらをまとめてデプスマップ（depthmap）が構成される。
　アングル領域ＡＲｉにおける代表デプス値ＤＰiは、アングル領域ＡＲｉに含まれる複数のデプス値ｄｖ(j.k)のうちの最小値であり、以下の数式（３）で表される。
Figure JPOXMLDOC01-appb-M000001
　図１２（ａ），（ｂ）は、平面パッキング部１０３Ｌ，１０３Ｒで得られた左眼および右眼のプロジェクション画像にそれぞれ対応した球面画像の一部を示している。“Ｃ”は、視聴位置に対応した中心位置を示している。図示の例においては、プロジェクション画像のリファレンスポイントＲＰの他に、アングル領域の基準となるＶｐＡ～ＶｐＨの８つのビューポイントが設定されている。
　各ポイントの位置は、アジマス角度φとエレベーション角度θで示される。各アングル領域（図１２には図示せず）の位置は、対応するビューポイントからのオフセット角で与えられる。ここで、アジマス角度φとエレベーション角度θは、それぞれ、矢印方向の角度を示し、矢印の基点位置の角度は０度である。例えば、図示の例のように、リファレンスポイント（ＲＰ）のアジマス角度φはφr＝０°、リファレンスポイント（ＲＰ）のエレベーション角度θはθr＝９０°（π/２）に設定される。
　図１３は、アングル領域の定義を示している。図示の例において、外側の矩形枠はプロジェクション画像の全体を示している。また、図示の例においては、ビューポイントＶＰの影響下にあるアングル領域としてＡＧ_1，ＡＧ_2，ＡＧ_3の３つが示されている。それぞれのアングル領域は、ビューポイント位置に対する長方形のアングル領域の左上開始点と右下終了点の位置情報であるアングル角ＡＧ_tl，ＡＧ_brで表される。ここで、ＡＧ_tl，ＡＧ_brは、それぞれ、表示位置と想定視聴位置との想定距離をＤとし、ビューポイントＶＰを基準とした、水平、垂直の２次元アングル角である。
　なお、上述では、デプスメタ情報生成部１０６は、デプス生成部１０５で生成されたブロック毎のデプス値を用いてそれぞれのアングル領域の代表デプス値を求めるように説明したが、図２に破線で示すように、デプスセンサ１１１で得られた画素毎あるいはブロック毎のデプス値を用いてそれぞれのアングル領域の代表デプス値を求めることも可能である。その場合には、デプス生成部１０５は不要となる。
　字幕（サブタイトル）発生部１０７は、画像に重畳する字幕のデータを発生する。字幕エンコーダ１０８は、字幕発生部１０７で発生された字幕データを符号化して字幕ストリームを生成する。なお、字幕エンコーダ１０８は、デプス生成部１０５で生成されたブロック毎のデプス値を参照して、プロジェクション画像のリファレンスポイントＲＰ(x,y)を中心とするデフォルトビュー表示時における字幕の奥行き制御に使用し得るデプス値、あるいはそれを変換した視差値を、字幕データに付加する。なお、この字幕データに、さらに、上述のデプスメタ情報に設定されている各ビューポイントを中心とするビュー表示時に使用し得るデプス値あるいは視差値を付加することも考えられる。
　図２に戻って、コンテナエンコーダ１０９は、ビデオエンコーダ１０４で生成されたビデオストリーム、字幕エンコーダ１０８で生成された字幕ストリーム、デプスメタ情報生成部１０６で生成されたピクチャ毎のデプスメタ情報を持つタイムドメタデータストリームを含むコンテナ、ここではＭＰ４ストリームを、配信ストリームＳＴＭとして生成する。この場合、コンテナエンコーダ１０９は、ビデオストリームを含むＭＰ４ストリームに、レンダリングメタデータ（図６参照）を挿入する。なお、この実施の形態においては、ビデオストリームのレイヤとコンテナのレイヤの双方にレンダリングメタデータを挿入するものであるが、いずれか一方のみに挿入することも考えられる。
　また、コンテナエンコーダ１０５は、ビデオストリームを含むＭＰ４ストリームに、ビデオストリームに対応付けて、種々の情報を持つデスクリプタを挿入する。このデスクリプタとして、従来周知のコンポーネントデスクリプタ（component_descriptor）が存在する。
　図１４（ａ）は、コンポーネントデスクリプタの構造例（syntax）を示し、図１４（ｂ）は、その構造例における主要な情報の内容（semantics）を示している。「stream_content」の４ビットフィールドは、ビデオ・オーディオ・サブタイトルの符号化方式を示す。この実施の形態では、“０ｘ９”とされ、ＨＥＶＣ符号化であることが示される。
　「stream_content_ext」の４ビットフィールドは、上述の「stream_content」との組み合わせで用いることで符号化対象の詳細を示す。「component_type」の８ビットフィールドは、各符号化方式の中のバリエーションを示す。この実施の形態では、「stream_content_ext」を“０ｘ２”とし、「component_type」を“０ｘ５”とすることで“ＨＥＶＣ　Ｍａｉｎ１０　Ｐｒｏｆｉｌｅ　ＵＨＤの符号化でステレオスコピックＶＲの配信”であることを示す。
　送信部１１０は、コンテナエンコーダ１０９で得られたＭＰ４の配信ストリームＳＴＭを、放送波あるいはネットのパケットに載せて、サービス受信機２００に送信する。
　図１５は、ＭＰ４ストリームを概略的に示している。図には、ビデオストリームを含むＭＰ４ストリーム（ビデオトラック）と、タイムドメタデータトラックストリームを含むＭＰ４ストリーム（タイムドメタデータトラック）が示されている。ここでは、省略するが、その他に、字幕ストリームを含むＭＰ４ストリーム（字幕トラック）なども存在する。
　ＭＰ４ストリーム（ビデオトラック）は、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
　イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。このイニシャライゼーション・セグメント（ＩＳ）に、レンダリングメタデータやコンポーネントデスクリプタが挿入されている。
　“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。“ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
　“ｍｏｏｆ”ボックスには制御情報が入る。“ｍｄａｔ”ボックスには、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＳＥＩ」、「ＳＬＩＣＥ」のＮＡＬユニットが配置されている。「ＳＬＩＣＥ」のＮＡＬユニットに、ランダムアクセス期間の各ピクチャの符号化画像データが含まれている。
　一方、ＭＰ４ストリーム（タイムドメタデータトラック）も、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ”、“ｓｓｉｘ”、“ｍｏｏｆ”、“ｍｄａｔ”のボックスが続いた構成となっている。“ｍｄａｔ”ボックスには、ランダムアクセス期間の各ピクチャのデプスメタ情報が含まれている。
　図１６は、デプスメタ情報を含む１ピクチャ分のタイムドメタデータの構造例（Syntacs）を示し、図１７は、その構成例における主要な情報の内容（Semantics）を示している。「number_of_viewpoints」の８ビットフィールドは、ビューポイントの数を示している。このビューポイントの数だけ、以下の情報が繰り返し存在する。
　「viewpoint_id」の８ビットフィールドは、ビューポイントの識別番号を示している。「center_azimuth」の１６ビットフィールドは、ビュー中心位置、つまりビューポイントの視点位置からのアジマス角を示す。「center_elevation」の１６ビットフィールドは、ビュー中心位置、つまりビューポイントの視点位置からのエレベーション角を示す。「center_tilt」の１６ビットフィールドは、ビュー中心位置、つまりビューポイントのチルト角を示す。このチルト角はビュー中心に対するアングルの傾きを示している。「number_of_depth_sets」の８ビットフィールドは、デプスセットの数、つまりアングル領域の数を示す。このデプスセットの数だけ、以下の情報が繰り返し存在する。
　「angle_tl_horizontal」の１６ビットフィールドは、対象アングル領域の左上コーナを示す水平位置をビューポイントからのオフセット角で示す。「angle_tl_vertical」の１６ビットフィールドは、対象アングル領域の左上コーナを示す垂直位置をビューポイントからのオフセット角で示す。「angle_br_horizontal」の１６ビットフィールドは、対象アングル領域の右下コーナを示す水平位置をビューポイントからのオフセット角で示す。「angle_br_vertical」の１６ビットフィールドは、対象アングル領域の右下コーナを示す垂直位置をビューポイントからのオフセット角で示す。
　「depth_reference」の１６ビットフィールドは、デプス値の基準、つまりスクリーン（図９参照）の深さに相当するデプス値を示す。このデプス値では、視差展開の際に左眼画像（レフトビュー）および右眼画像（ライトビュー）の表示オフセットがゼロとなるようにデプス視差変換式（１）、（２）の調整をすることができる。「depth_representative_position_horizontal」の１６ビットフィールドは、代表デプス値に対応した位置、つまり代表デプス値が領域内のどの位置に係るものであるかを示す位置の水平位置をビューポイントからのオフセット角で示す。「depth_representative_position_vertical」の１６ビットフィールドは、代表デプス値に対応した位置の垂直位置をビューポイントからのオフセット角で示す。「depth_representative」の１６ビットフィールドは、代表デプス値を示している。
　ビデオストリームを含むＭＰ４ストリーム（ビデオトラック）と、タイムドメタデータトラックストリームを含むＭＰ４ストリーム（タイムドメタデータトラック）の紐付は、ＭＰＤファイルにより行われる。
　図１８は、ＭＰＤファイルの記述例を示している。ここでは、説明の簡単化のために、ビデオトラックとタイムドメタデータトラックに関する情報のみが記述されている例を示しているが、実際には字幕ストリーム等の他のメディアストリームに関する情報も記述されている。
　一点鎖線の矩形枠で囲む部分は、詳細説明は省略するが、ビデオトラックに関連する情報を示す。また、破線の矩形枠で囲む部分は、タイムドメタデータトラックに関する情報を示す。ビューポイントのメタ情報ストリームで構成されるストリーム“preset-viewpoints.mp4”を含むアダプテーションセット（AdaptationSet）であることを示す。「Representation id」は、"preset-viewpoints"であり、「associationId」は"360-video"、「associationType」が "cdsc"であり、ビデオのトラックとリンクされていることを示す。
　図２に示すサービス送信システム１００の動作を簡単に説明する。左側カメラ１０２Ｌおよび右側カメラ１０２Ｒでは、それぞれ、被写体が撮像されて、球面キャプチャ画像（３６０°ＶＲ画像）が得られる。カメラ１０２Ｌ，１０２Ｒで得られた球面キャプチャ画像は、それぞれ平面パッキング部１０３Ｌ，１０３Ｒに供給される。平面パッキング部１０３Ｌ，１０３Ｒでは、それぞれ、カメラ１０２Ｌ，１０２Ｒで得られた球面キャプチャ画像の一部または全部が切り取られて平面パッキングされ、長方形のプロジェクション画像が得られる。
　平面パッキング部１０３Ｌ，１０３Ｒで得られたプロジェクション画像の画像データはビデオエンコーダ１０４に供給される。ビデオエンコーダ１０４では、平面パッキング部１０３Ｌ，１０３Ｒで得られたプロジェクション画像の画像データに対して符号化が施され、符号化画像データを含むビデオストリームが生成される。
　この場合、ビデオストリームのＳＰＳ　ＮＡＬユニットには、切出し位置情報が挿入される（図４参照）。また、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（図６参照）が挿入される。
　また、平面パッキング部１０３Ｌ，１０３Ｒで得られたプロジェクション画像の画像データはビデオエンコーダ１０４に供給される。デプス生成部１０５では、平面パッキング部１０３Ｌ，１０３Ｒからの左眼および右眼のプロジェクション画像が用いられて、ブロック毎の奥行き情報であるデプス値が求められる。つまり、このデプス生成部１０５で、ピクチャ毎に、ブロック単位のデプス値ｄｖ(j.k)の集まりであるデプスマップ（dpepthmap）が生成される。
　デプス生成部１０５で生成されたピクチャ毎のデプスマップは、デプスメタ情報生成部１０６に供給される。デプスメタ情報生成部１０６では、ピクチャ毎に、デプスメタ情報が生成される。このデプスメタ情報には、プロジェクション画像上に設定された所定数のアングル領域の位置情報と代表デプス値が含まれ、さらにその代表デプス値が領域内のどの位置に係るものであるかを示す位置情報も含まれる。なお、デプスメタ情報生成部１０６では、デプス生成部１０５で生成されたピクチャ毎のデプスマップの代わりに、デプスセンサ１１１で得られた情報により生成されるデプスマップが用いられてもよい。
　また、字幕（サブタイトル）発生部１０７では、画像に重畳する字幕のデータが発生される。この字幕データは、字幕エンコーダ１０８に供給される。字幕エンコーダ１０８では、字幕データが符号化されて字幕ストリームが生成される。この場合、字幕データには、プロジェクション画像のリファレンスポイントＲＰ(x,y)を中心とするデフォルトビュー表示時における字幕の奥行き制御に使用し得るデプス値が付加される。
　ビデオエンコーダ１０４で生成されたビデオストリーム、字幕エンコーダ１０８で生成された字幕ストリーム、デプスメタ情報生成部１０６で生成されたピクチャ毎のデプスメタ情報はコンテナデコーダ１０９に供給される。コンテナデコーダ１０９では、ビデオストリーム、字幕ストリーム、ピクチャ毎のデプスメタ情報を持つタイムドメタデータストリームを含むコンテナ、ここではＭＰ４ストリームが、配信ストリームＳＴＭとして生成される。
　この場合、コンテナエンコーダ１０９では、ビデオストリームを含むＭＰ４ストリームに、レンダリングメタデータ（図６参照）が挿入される。また、コンテナエンコーダ１０９では、ビデオストリームを含むＭＰ４ストリームに、ビデオストリームに対応付けて、種々の情報を持つデスクリプタ、例えばコンポーネントデスクリプタ（図１４参照）等が挿入される。
　コンテナエンコーダ１０９で得られたＭＰ４ストリームは、送信部１１０に供給される。この送信部１１０では、コンテナエンコーダ１０９で得られたＭＰ４の配信ストリームＳＴＭが、放送波あるいはネットのパケットに載せて、サービス受信機２００に送信される。
　なお、上述では、各ピクチャのデプスメタ情報をタイムドメタデータストリームにより送信するように説明した。しかし、各ピクチャのデプスメタ情報をビデオストリームに挿入して送信することも考えられる。この場合、各ピクチャのアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、デプスメタ情報を含むＰＳＶＰ・ＳＥＩメッセージ（SEI message）を挿入する。
　図１９は、ＰＳＶＰ・ＳＥＩメッセージの構造例（Syntax）を示している。このＰＳＶＰ・ＳＥＩメッセージにおける主要な情報は、図１６に示すタイムドメタデータにおける主要な情報と同様であるので、その詳細な説明は省略する。図２０は、各ピクチャのデプスメタ情報をビデオストリームに挿入して送信する場合におけるＭＰ４ストリームを概略的に示している。図示のように、この場合には、タイムドメタデータトラックストリームを含むＭＰ４ストリーム（タイムドメタデータトラック）は存在しない（図１５参照）。
　「サービス受信機」
　図２１は、サービス受信機２００の構成例を示している。このサービス受信機２００は、制御部２０１と、ＵＩ部２０１ａと、センサ部２０１ｂと、受信部２０２と、コンテナデコーダ２０３と、ビデオデコーダ２０４と、字幕デコーダ２０５と、グラフィクス発生部２０６と、レンダラ２０７と、スケーリング部２０８と、表示部２０９を有している。
　制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス受信機２００の各部の動作を制御する。ＵＩ部２０１ａは、ユーザインタフェースを行うためものであり、例えば、表示領域の移動をユーザが操作するためのポインティングデバイスや、ユーザが音声で表示領域の移動を指示するために音声入力するためのマイクロホン等もこれに含まれる。センサ部２０１ｂは、ユーザ状態や環境の情報を取得するための種々のセンサを備えるものであり、例えば、ＨＭＤ（Head Mounted Display）に搭載されている姿勢検出センサなどもこれに含まれる。
　受信部２０２は、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭを受信する。この場合、配信ストリームＳＴＭとして、ビデオストリーム、字幕ストリーム、タイムドメタデータストリームをそれぞれ含むＭＰ４ストリームが得られる。なお、各ピクチャのデプスメタ情報がビデオストリームに挿入されて送られてくる場合には、タイムドメタデータストリームを含むＭＰ４ストリームは存在しない。
　コンテナデコーダ２０３は、受信部２０２で受信されたビデオストリームを含むＭＰ４ストリームからビデオストリームを取り出し、ビデオデコーダ２０４に送る。また、コンテナデコーダ２０３は、ビデオストリームを含むＭＰ４ストリームから“ｍｏｏｖ”ブロックの情報などを取り出し、制御部２０１に送る。“ｍｏｏｖ”ブロックの情報の一つとしてレンダリングメタデータ（図６参照）が存在する。また、“ｍｏｏｖ”ブロックの情報の一つとして、コンポーネントデスクリプタ（図１４参照）も存在する。
　また、コンテナデコーダ２０３は、受信部２０２で受信された字幕ストリームを含むＭＰ４ストリームから字幕ストリームを取り出し、字幕デコーダ２０５に送る。また、コンテナデコーダ２０３は、受信部２０２でタイムドメタデータストリームを含むＭＰ４ストリームが受信されたとき、このＭＰ４ストリームからタイムドメタデータストリームを取り出し、このタイムドメタデータストリームに含まれるデプスメタ情報を抽出して、制御部２０１に送る。
　ビデオデコーダ２０４は、コンテナデコーダ２０３で取り出されたビデオストリームに復号化処理を施して、左眼および右眼のプロジェクション画像の画像データを得る。また、ビデオデコーダ２０４は、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、ＳＰＳ　ＮＡＬパケットに挿入されている切出し位置「default_display_window」の情報、さらにはレンダリングメタデータ（図６参照）を持つＳＥＩメッセージも含まれる。また、デプスメタ情報がビデオストリームに挿入されて送られてくる場合には、デプスメタ情報を含むＳＥＩメッセージ（図１９参照）も含まれる。
　字幕デコーダ２０５は、コンテナデコーダ２０３で取り出された字幕ストリームに復号化処理を施して字幕データを得、この字幕データから字幕表示データおよび字幕重畳位置データを得て、レンダラ２０７に送る。また、また、字幕デコーダ２０５は、字幕データに付加されているデフォルトビュー表示時における字幕の奥行き制御に使用し得るデプス値を取得し、制御部２０１に送る。
　グラフィクス発生部２０６は、ＯＳＤ（On Screen Display）あるいはアプリケーション、あるいはＥＰＧ（Electronic Program Guide）などのグラフィクスに係るグラフィクス表示データおよびグラフィクス重畳位置データを発生し、レンダラ２０７に送る。
　レンダラ２０７は、ビデオデコーダ２０４で得られた左眼および右眼のプロジェクション画像の画像データと、字幕デコーダ２０５からの字幕表示データおよび字幕重畳位置データと、グラフィクス発生部２０６からのグラフィクス表示データおよびグラフィクス重畳位置データに基づいて、字幕やグラフィクスが重畳された立体画像（ステレオスコピック画像）表示用の左眼および右眼の画像データを生成する。この場合、制御部２０１の制御のもと、ユーザの姿勢や操作に応じて、表示領域はインタラクティブに変更される。
　スケーリング部２０８は、表示部２０９の表示サイズに合うように左眼および右眼の画像データのスケーリングをする。表示部２０９は、スケーリング処理された左眼および右眼の画像データに基づいて、立体画像（ステレオスコピック画像）を表示する。表示部２０９は、例えば、表示パネルやＨＭＤ（Head Mounted Display）などで構成される。
　図２２は、レンダラ２０７の構成例を示している。このレンダラ２０７は、左眼画像データ生成部２１１Ｌと、右眼画像データ生成部２１１Ｒと、重畳部２１２と、デプス処理部２１３と、デプス/視差変換部２１４を有している。
　左眼画像データ生成部２１１Ｌには、ビデオデコーダ２０４から左眼プロジェクション画像の画像データＶPLが供給される。また、この左眼画像データ生成部２１１Ｌには、制御部２０１から、表示領域情報が供給される。左眼画像データ生成部２１１Ｌは、左眼プロジェクション画像に対してレンダリング処理を施し、表示領域に対応した左眼画像データＶＬを得る。
　画像データ生成部２１１Ｒには、ビデオデコーダ２０４から右眼プロジェクション画像の画像データＶPRが供給される。また、この右眼画像データ生成部２１１Ｒには、制御部２０１から、表示領域情報が供給される。右眼画像データ生成部２１１Ｒは、右眼プロジェクション画像に対してレンダリング処理を施し、表示領域に対応した右眼画像データＶＲを得る。
　ここで、制御部２０１は、ＨＭＤ搭載のジャイロセンサ等で得られる動きの方向と量の情報に基づいて、あるいはユーザ操作によるポインティング情報あるいはユーザの音声ＵＩ情報に基づいて、表示領域の移動の方向や速度の情報を得て、インタラクティブに表示領域を変更させるための表示領域情報を発生する。なお、制御部２０１は、例えば電源オン時等の表示開始時には、プロジェクション画像のリファレンスポイントＲＰ(x,y)（図５参照）を中心とするデフォルトビューに対応した表示領域情報を発生する。
　デプス処理部２１３には、制御部２０１から、表示領域情報およびデプスメタ情報が供給される。また、デプス処理部２１３には、字幕重畳位置データおよびグラフィクス重畳位置データが供給される。デプス処理部２１３は、字幕重畳位置データ、表示領域情報およびデプスメタ情報に基づき、字幕デプス値、つまり字幕表示データに視差を与えるためのデプス値を得る。
　例えば、デプス処理部２１３は、字幕表示データに視差を与えるためのデプス値を、字幕重畳位置データで示される字幕重畳範囲に対応した所定数のアングル領域の代表デプス値のうちの最小値のデプス値とする。このように字幕表示データに視差を与えるためのデプス値が決定されることで、字幕を字幕重畳範囲に存在する画像オブジェクトより手前に表示させることができ、画像内の各オブジェクトに対する遠近感の整合性を維持できる。
　図２３は、プロジェクション画像に対する表示領域の一例を示している。なお、プロジェクション画像としては左眼および右眼の２つが存在するが、ここでは、図面の簡単化のために１つのみを示している。このプロジェクション画像には、リファレンスポイントＲＰの他に、アングル領域の基準となるＶｐＡ～ＶｐＦの６つのビューポイントが設定されている。各ビューポイントの位置は、プロジェクション画像の左上の原点からのオフセットで設定される。あるいは、各ビューポイントの位置は、プロジェクション画像の左上の原点からのオフセットで設定されるリファレンスポイントＲＰからのオフセットで設定される。
　図示の例において、表示領域Ａおよび表示領域Ｂは、ビューポイントＶｐＤを含む位置にある。この場合、表示領域Ａと表示領域Ｂは領域の大きさが異なり、表示領域Ａが広く、表示領域Ｂは狭くなっている。受信機がどれだけの表示能力を持っているかによって表示領域の大きさのバリエーションが出てくる。
　表示領域Ａの場合には、近景のオブジェクトＯＢ１が含まれることから、字幕（Subtitle）はこのオブジェクトＯＢ１よりも手前に表示されるように重畳される。一方、表示領域Ｂの場合には、近景のオブジェクトＯＢ１が含まれず、そのためこの近景のオブジェクトＯＢ１よりも後方に、即ち、遠くに位置するオブジェクトＯＢ２よりも手前に表示されるように重畳される。
　図２４（ａ）は、表示領域Ａにおけるデプス値の分布を示すデプスカーブ（Depth Curve）を示している。この場合、字幕表示データに視差を与えるためのデプス値は、近景のオブジェクトＯＢ１よりも手前が字幕重畳位置となるように、オブジェクトＯＢ１に対応したデプス値よりも小さな値とされる。図２４（ｂ）は、表示領域Ｂにおけるデプス値の分布を示すデプスカーブを示している。この場合、字幕表示データに視差を与えるためのデプス値は、近景のオブジェクトＯＢ１の後ろに位置するオブジェクトＯＢ２よりも手前が字幕重畳位置となるように、オブジェクトＯＢ２に対応したデプス値よりも小さな値とされる。
　図２５は、ビューポイントＶＰ１の影響下にある第１の領域とビューポイントＶＰ２の影響下にある第２の領域との間で表示領域が移動する場合において、各移動位置における字幕表示データに視差を与えるためのデプス値の設定方法の一例を示している。図示の例において、ビューポイントＶＰ１の影響下にある第１の領域には、アングル領域ＡＲ１，ＡＲ２が存在する。また、ビューポイントＶＰ２の影響下にある第２の領域には、アングル領域ＡＲ３，ＡＲ４，ＡＲ５が存在する。
　各アングル領域はデプス代表値をもっており、実折れ線Ｄは代表デプス値による深さの度合いを示している。実折れ線Ｄのとる値は、以下のようになる。すなわち、Ｌ０～Ｌ１はアングル領域ＡＲ１のデプス代表値となる。Ｌ１～Ｌ２はアングル領域が定義されていない部分なので“far”を示すデプス値となる。Ｌ２～Ｌ３はアングル領域ＡＲ２のデプス代表値となる。Ｌ３～Ｌ４はアングル領域が定義されていない部分なので“far”を示すデプス値となる。Ｌ４～Ｌ５はアングル領域ＡＲ３のデプス代表値となる。Ｌ５～Ｌ６はアングル領域ＡＲ４のデプス代表値となる。そして、Ｌ６～Ｌ７はアングル領域ＡＲ５のデプス代表値となる。
　破線Ｐは、字幕表示データに視差を与えるためのデプス値（字幕デプス値）を示している。表示領域が移動する際、字幕デプス値は、実折れ線Ｄをトレースするように遷移する。しかし、Ｌ１～Ｌ２の部分は字幕の横幅よりも狭いため、字幕デプス値は実折れ線Ｄをトレースせず、Ｌ０～Ｌ１のデプス値あるいはＬ２～Ｌ３のデプス値となる。また、字幕が実折れ線Ｄの複数のデプス値の区間に重なる際には、字幕デプス値は、デプス値の小さな方に添う形となる。なお、Ｓ１～Ｓ３は、字幕位置の一例とそのときの字幕デプス値を概略的に示している。
　図２６は、プロジェクション画像に設定された複数のアングル領域の間で表示領域が遷移する場合において、各移動位置における字幕表示データに視差を与えるためのデプス値の設定方法の一例を示している。図示の例において、プロジェクション画像には、水平方向に隣接して、アングル領域ＡＧ_1，ＡＧ_2，ＡＧ_3が存在する。
　図２６（ａ）に示すように、表示領域がアングル領域ＡＧ_2に含まれている場合には、字幕表示データに視差を与えるためのデプス値（字幕デプス値）は、このアングル領域ＡＧ_2の代表デプス値される。また、図２６（ｂ）に示すように、表示領域がアングル領域ＡＧ_2，ＡＧ_3の双方に重なる場合には、字幕デプス値は、アングル領域ＡＧ_2，ＡＧ_3の代表デプス値のうちの最小値とされてもよいが、それぞれのアングル領域に重なる表示領域の割合等に応じてアングル領域ＡＧ_2，ＡＧ_3の代表デプス値が重み付け加算されたものとすることも考えられる。その場合には、表示領域がアングル領域ＡＧ_2に含まれた状態からアングル領域ＡＧ_3に含まれた状態となるまでの間で字幕デプス値がスムーズに遷移させることが可能となる。
　なお、このように表示領域がアングル領域ＡＧ_2，ＡＧ_3の双方に重なる場合には、上述したようにそれぞれのアングル領域に重なる表示領域の割合等に応じてアングル領域ＡＧ_2，ＡＧ_3の代表デプス値を重み付け加算して字幕デプス値とする他に、例えば、それぞれの代表デプス値が領域内のどの位置に係るものであるかを示す位置情報に基づいて、対象領域でのデプス値の変化を段階的に行うなどが可能である。
　例えば、図２６(b)においては表示領域の右端がＡＧ_2からＡＧ_3に移動する際、そのデプス代表値はＡＧ_2の値からＡＧ_3の値へ瞬時に変化させずに表示領域右端がＡＧ_3のデプス代表値の位置に差し掛かるまでに、ＡＧ_2のデプス代表値からＡＧ_3のデプス代表値へ徐々に変化させるなどの表示制御が可能となる。
　また、図２６（ｃ）に示すように、表示領域がアングル領域ＡＧ_3に含まれている場合には、字幕表示データに視差を与えるためのデプス値（字幕デプス値）は、このアングル領域ＡＧ_3の代表デプス値される。
　図２７は、表示部２０９としてＨＭＤ（Head Mounted Display）を用いる場合の例を示している。この場合、図２７（ａ）に示すように、ＨＭＤを装着しているユーザが首をＴ１→Ｔ２→Ｔ３のように左から右に回していくことで、視点がビューポイントＶＰに近づいていき、Ｔ３の状態では、視点がビューポイントＶＰと一致した状態となる。
　図２７（ｂ）は、ＨＭＤを装着しているユーザが首をＴ１→Ｔ２→Ｔ３のように左から右に回していったときの表示領域の移動時の一例を示している。ここでは、表示領域がアングル領域以下である標準表示と表示領域がアングル領域より大きい広角表示を考える。
　Ｔ１の状態では、表示領域はアングル領域ＡＧ_1に対応したものとなる。標準表示の場合には、表示領域がアングル領域ＡＧ_1に含まれるので、字幕デプス値（字幕表示データに視差を与えるためのデプス値）は、このアングル領域ＡＧ_1の代表デプス値とされる。一方、広角表示の場合には、表示領域がアングル領域ＡＧ_0～ＡＧ_2に跨るので、字幕デプス値は、これらのアングル領域ＡＧ_0～ＡＧ_2の代表デプス値のうちの最小値とされる。
　また、Ｔ２の状態では、表示領域はアングル領域ＡＧ_2に対応したものとなる。標準表示の場合には、表示領域がアングル領域ＡＧ_2に含まれるので、字幕デプス値（字幕表示データに視差を与えるためのデプス値）は、このアングル領域ＡＧ_2の代表デプス値とされる。一方、広角表示の場合には、表示領域がアングル領域ＡＧ_1～ＡＧ_3に跨るので、字幕デプス値は、これらのアングル領域ＡＧ_1～ＡＧ_3の代表デプス値のうちの最小値とされる。
　また、Ｔ３の状態では、表示領域はアングル領域ＡＧ_3に対応したものとなる。標準表示の場合には、表示領域がアングル領域ＡＧ_3に含まれるので、字幕デプス値（字幕表示データに視差を与えるためのデプス値）は、このアングル領域ＡＧ_3の代表デプス値とされる。一方、広角表示の場合には、表示領域がアングル領域ＡＧ_2～ＡＧ_4に跨るので、字幕デプス値は、これらのアングル領域ＡＧ_2～ＡＧ_4の代表デプス値のうちの最小値とされる。
　図２８のフローチャートは、デプス処理部２１３における字幕デプス値を得るための手順の一例を示している。このフローチャートは、ピクチャ毎に実行される。デプス処理部２１３は、ステップＳＴ１において、処理を開始する。次に、デプス処理部２１３は、ステップＳＴ２において、字幕重畳位置データ、表示領域情報、さらにはデプスメタ情報を入力する。
　次に、デプス処理部２１３は、ステップＳＴ３において、表示領域内におけるデプス値分布を得る（図２５の実折れ線Ｄ参照）。この場合、アングル領域が存在する部分はその代表デプス値とされ、アングル領域が存在しない部分は、“far”を示すデプス値とされる。次に、ステップＳＴ４において、字幕重畳範囲内での最小のデプス値を字幕デプス値とする。そして、デプス処理部２１３は、ステップＳＴ５において、処理を終了する。
　なお、デプス処理部２１３は、ステップＳＴ４において、字幕重畳範囲内における最小のデプス値を字幕デプス値とするのではなく、表示領域が複数のデプス値の領域に重なる場合、重なりの割合に応じて各デプス値を重み付け加算して字幕デプス値とすることで、字幕デプス値がデジタル的に急に変化することを回避でき、字幕デプス値をスムーズに遷移させることが可能となる。
　図２２に戻って、また、デプス処理部２１３は、グラフィクス重畳位置データ、表示領域情報およびデプスメタ情報に基づき、グラフィクスデプス値（グラフィクス表示データに視差を与えるためのデプス値）を得る。詳細説明は省略するが、デプス処理部２１３において、グラフィクスデプス値を求める処理は、上述の字幕デプス値を求める処理と同様である。なお、字幕とグラフィクスの重畳位置が一部重なる場合、グラフィクスが字幕の手前に位置するように、グラフィクスデプス値が調整される。
　デプス/視差変換部２１４は、デプス処理部２１３で得られた字幕デプス値、グラフィクスデプス値を、それぞれ視差値に変換して、字幕視差値、グラフィクス視差値を得る。この場合、上述した数式（２）により、変換される。
　重畳部２１２には、左眼画像データ生成部２１１Ｌで得られた左眼画像データＶＬが供給されると共に、右眼画像データ生成部２１１Ｒで得られた右眼画像データＶＲが供給される。また、重畳部２１２には、字幕表示データおよび字幕重畳位置データと、グラフィクス表示データおよびグラフィクス重畳位置データが供給される。さらに、重畳部２１２には、デプス/視差変換部２１４で得られた字幕視差値、グラフィクス視差値が供給される。
　重畳部２１２は、左眼画像データおよび右眼画像データの字幕重畳位置データで示される重畳位置に字幕表示データを重畳するが、その際に字幕視差値に基づいて視差を付与する。また、重畳部２１２は、左眼画像データおよび右眼画像データのグラフィクス重畳位置データで示される重畳位置にグラフィクス表示データを重畳するが、その際にグラフィクス視差値に基づいて視差を付与する。なお、重畳部２１２は、字幕とグラフィクスの重畳位置が一部重なる場合、その部分に関しては、字幕表示データの上にグラフィクス表示データが上書きされる。
　図２９は、字幕とグラフィクスの重畳位置が一部重なる場合におけるデプス制御例を示している。図示において、字幕は、字幕表示位置に対応した４つのアングル領域ＡＲ８，ＡＲ９，ＡＲ１０，ＡＲ１１の画像オブジェクトより手前に表示される。また、グラフィクスは、右側の８つのアングル領域ＡＲ２，ＡＲ３，ＡＲ６，ＡＲ７，ＡＲ１０，ＡＲ１１，ＡＲ１４，ＡＲ１５より手前で、字幕よりも手前に表示される。
　重畳部２１２は、左眼画像データに、左眼用字幕表示データおよび左眼用グラフィクス表示データが重畳された、左眼画像データＶLDを出力する。また、重畳部２１２は、右眼画像データに、右眼用字幕表示データおよび右眼用グラフィクス表示データが重畳された、右眼画像データＶRDを出力する。
　なお、上述したように、字幕表示データに視差を与えるための字幕視差値は、デプス処理部２１３で字幕重畳位置データ、表示領域情報およびデプスメタ情報に基づいて字幕デプス値を得て、その字幕デプスチをデプス/視差変換部２１４で変換して得ることができる。ただし、デフォルトビューの表示時に関しては、字幕データに付加されて送られてくる字幕デプス値や字幕視差値を用いることもできる。
　図２１に示すサービス受信機２００の動作を簡単に説明する。受信部２０２では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３に供給される。
　コンテナデコーダ２０３では、ビデオストリームを含むＭＰ４ストリームからビデオストリームが取り出され、ビデオデコーダ２０４に送られる。また、コンテナデコーダ２０３では、ビデオストリームを含むＭＰ４ストリームから“ｍｏｏｖ”ブロックの情報などが取り出され、制御部２０１に送られる。
　また、コンテナデコーダ２０３では、字幕ストリームを含むＭＰ４ストリームから字幕ストリームが取り出され、字幕デコーダ２０５に送られる。字幕デコーダ２０５では、字幕ストリームに復号化処理が施されて字幕データが得られ、この字幕データから字幕表示データおよび字幕重畳位置データが得られて、レンダラ２０７に送られる。
　また、コンテナデコーダ２０３では、受信部２０２でタイムドメタデータストリームを含むＭＰ４ストリームが受信されたときは、このＭＰ４ストリームからタイムドメタデータストリームが取り出され、このタイムドメタデータストリームに含まれるデプスメタ情報が制御部２０１に送られる。
　ビデオデコーダ２０４では、ビデオストリームに復号化処理が施されて、左眼および右眼のプロジェクション画像の画像データが得られ、レンダラ２０７に供給される。また、ビデオデコーダ２０４では、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージが抽出されて、制御部２０１に送られる。デプスメタ情報がビデオストリームに挿入されて送られてくる場合には、デプスメタ情報を含むＳＥＩメッセージも含まれる。
　グラフィクス発生部２０６では、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスに係るグラフィクス表示データおよびグラフィクス重畳位置データが発生されて、レンダラ２０７に供給される。
　レンダラ２０７では、左眼および右眼のプロジェクション画像の画像データと、字幕デコーダ２０５からの字幕表示データおよび字幕重畳位置データと、グラフィクス発生部２０６からのグラフィクス表示データおよびグラフィクス重畳位置データに基づいて、字幕やグラフィクスが重畳された立体画像（ステレオスコピック画像）表示用の左眼および右眼の画像データが生成される。この場合、制御部２０１の制御のもと、ユーザの姿勢や操作に応じて、表示領域はインタラクティブに変更される。
　レンダラ２０７で得られた立体画像表示用の左眼および右眼の画像データは、スケーリング部２０８に供給される。スケーリング部２０８では、表示部２０９の表示サイズに合うようにスケーリングされる。表示部２０９では、スケーリング処理された左眼および右眼の画像データに基づいて、インタラクティブに表示領域が変更される立体画像（ステレオスコピック画像）が表示される。
　上述したように、図１に示す送受信システム１０において、サービス受信機２００では、　左眼および右眼の表示領域画像データに重畳情報（字幕やグラフィクス）の表示データを重畳する際に、広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報に基づいて視差付与を制御するものである。そのため、効率的に伝送されてくる奥行き情報を用いて重畳情報を重畳表示する際の奥行き制御を簡易に実現し得る。
　また、図１に示す送受信システム１０において、サービス送信システム１００では、左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、ピクチャ毎の広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を送信するものである。そのため、広視野角画像内の奥行き情報を効率的に伝送し得る。
　＜２．変形例＞
　なお、上述実施の形態においては、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）である例を示した。しかし、本技術は、コンテナがＭＰ４に限定されるものではなく、ＭＰＥＧ－２　ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。
　また、上述実施の形態においては、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることを想定した説明となっている（図３、図５参照）。上述したように、プロジェクション画像のフォーマットタイプはエクイレクタングラーに限定されるものではなく、その他のフォーマットであってもよい。
　また、本技術は、以下のような構成を取ることもできる。
　（１）左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎の上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を受信する受信部と、
　上記ビデオストリームを復号化して得られた上記左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データを取り出し、該左眼および右眼の表示領域画像データに重畳情報のデータを重畳して出力する処理部を備え、
　上記処理部は、上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に基づいて、上記左眼および右眼の表示領域画像データにそれぞれ重畳する上記重畳情報のデータに視差を付与する
　受信装置。
　（２）上記受信部は、上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに関連づけられたタイムドメタデータストリームにより受信する
　前記（１）に記載の受信装置。
　（３）上記受信部は、上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに挿入された状態で受信する
　前記（１）に記載の受信装置。
　（４）上記処理部は、上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数のアングル領域の代表デプス値のうちの最小値に基づいて、上記視差を付与する
　前記（１）から（３）のいずれかに記載の受信装置。
　（５）上記デプスメタ情報は、上記所定数のアングル領域の上記代表デプス値が領域内のどの位置に係るものであるかを示す位置情報をさらに含み、
　上記処理部は、上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値と上記位置情報に基づいて、上記視差を付与する
　前記（２）から（３）いずれかに記載の受信装置。
　（６）上記アングル領域の位置情報は、所定のビューポイントの位置を基準としたオフセット情報で与えられる
　前記（１）から（５）のいずれかに記載の受信装置。
　（７）上記デプスメタ情報は、スクリーンの深さに相当するデプス値をデプス値の基準としてさらに含む
　前記（１）から（６）のいずれかに記載の受信装置。
　（８）上記重畳情報は、字幕および/またはグラフィクスである
　前記（１）から（７）のいずれかに記載の受信装置。
　（９）上記重畳情報のデータが重畳された左眼および右眼の表示領域画像データに基づいて立体画像を表示する表示部をさらに備える
　前記（１）から（８）のいずれかに記載の受信装置。
　（１０）上記表示部は、ヘッドマウントディスプレイである
　前記（９）に記載の受信装置。
　（１１）左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎の上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を受信する手順と、
　上記ビデオストリームを復号化して得られた上記左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データを取り出し、該左眼および右眼の表示領域画像データに重畳情報のデータを重畳して出力する手順を有し、
　上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に基づいて、上記左眼および右眼の表示領域画像データにそれぞれ重畳する上記重畳情報のデータに視差を付与する
　受信方法。
　（１２）上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに関連づけられたタイムドメタデータストリームにより受信する
　前記（１１）に記載の受信方法。
　（１３）上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに挿入された状態で受信する
　前記（１１）に記載の受信方法。
　（１４）上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数のアングル領域の代表デプス値のうちの最小値に基づいて、上記視差を付与する
　前記（１１）から（１３）のいずれかに記載の受信方法。
　（１５）上記デプスメタ情報は、上記所定数のアングル領域の上記代表デプス値が領域内のどの位置に係るものであるかを示す位置情報をさらに含み、
　上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値と上記位置情報に基づいて、上記視差を付与する
　前記（１１）から（１４）のいずれかに記載の受信方法。
　（１６）上記アングル領域の位置情報は、所定のビューポイントの位置を基準としたオフセット情報で与えられる
　前記（１１）から（１５）のいずれかに記載の受信方法。
　　（１７）上記デプスメタ情報は、スクリーンの深さに相当するデプス値をデプス値の基準としてさらに含む
　請求項１１に記載の受信方法。
　（１８）上記重畳情報は、字幕および/またはグラフィクスである
　前記（１１）から（１７）のいずれかに記載の受信方法。
　（１９）左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎のデプスメタ情報を送信する送信部を備え、
　上記デプスメタ情報は、上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含む
　送信装置。
　（２０）左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎のデプスメタ情報を送信し、
　上記デプスメタ情報は、上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含む
　送信方法。
　本技術の主な特徴は、左眼および右眼の表示領域画像データに重畳情報（字幕やグラフィクス）の表示データを重畳する際に、広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報に基づいて視差付与をすることで、効率的に伝送されてくる奥行き情報を用いて重畳情報を重畳表示する際の奥行き制御を簡易に実現可能としたことである（図２１、図２２、図２５参照）。
　１０・・・送受信システム
　１００・・・サービス送信システム
　１０１・・・制御部
　１０１ａ・・・ユーザ操作部
　１０２Ｌ・・・左側カメラ
　１０２Ｒ・・・右側カメラ
　１０３Ｌ，１０３Ｒ・・・平面パッキング部
　１０４・・・ビデオエンコーダ
　１０５・・・デプス生成部
　１０６・・・デプスメタ情報生成部
　１０７・・・字幕発生部
　１０８・・・字幕エンコーダ
　１０９・・・コンテナデコーダ
　１１０・・・送信部
　１１１・・・デプスセンサ
　２００・・・サービス受信機
　２０１・・・制御部
　２０１ａ・・・ＵＩ部
　２０１ｂ・・・センサ部
　２０２・・・受信部
　２０３・・・コンテナデコーダ
　２０４・・・ビデオデコーダ
　２０５・・・字幕デコーダ
　２０６・・・グラフィクス発生部
　２０７・・・レンダラ
　２０８・・・スケーリング部
　２０９・・・表示部
　２１１Ｌ・・・左眼画像データ生成部
　２１１Ｒ・・・右眼画像データ生成部
　２１２・・・重畳部
　２１３・・・デプス処理部
　２１４・・・デプス/視差変換部

Claims (20)

  1. 　左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎の上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を受信する受信部と、
    　上記ビデオストリームを復号化して得られた上記左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データを取り出し、該左眼および右眼の表示領域画像データに重畳情報のデータを重畳して出力する処理部を備え、
    　上記処理部は、上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に基づいて、上記左眼および右眼の表示領域画像データにそれぞれ重畳する上記重畳情報のデータに視差を付与する
    　受信装置。
  2. 　上記受信部は、上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに関連づけられたタイムドメタデータストリームにより受信する
    　請求項１に記載の受信装置。
  3. 　上記受信部は、上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに挿入された状態で受信する
    　請求項１に記載の受信装置。
  4. 　上記処理部は、上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数のアングル領域の代表デプス値のうちの最小値に基づいて、上記視差を付与する
    　請求項１に記載の受信装置。
  5. 　上記デプスメタ情報は、上記所定数のアングル領域の上記代表デプス値が領域内のどの位置に係るものであるかを示す位置情報をさらに含み、
    　上記処理部は、上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値と上記位置情報に基づいて、上記視差を付与する
    　請求項１に記載の受信装置。
  6. 　上記アングル領域の位置情報は、所定のビューポイントの位置を基準としたオフセット情報で与えられる
    　請求項１に記載の受信装置。
  7. 　上記デプスメタ情報は、スクリーンの深さに相当するデプス値をデプス値の基準としてさらに含む
    　請求項１に記載の受信装置。
  8. 　上記重畳情報は、字幕および/またはグラフィクスである
    　請求項１に記載の受信装置。
  9. 　上記重畳情報のデータが重畳された左眼および右眼の表示領域画像データに基づいて立体画像を表示する表示部をさらに備える
    　請求項１に記載の受信装置。
  10. 　上記表示部は、ヘッドマウントディスプレイである
    　請求項９に記載の受信装置。
  11. 　左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎の上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含むデプスメタ情報を受信する手順と、
    　上記ビデオストリームを復号化して得られた上記左眼および右眼のピクチャ毎の広視野角画像の画像データから左眼および右眼の表示領域画像データを取り出し、該左眼および右眼の表示領域画像データに重畳情報のデータを重畳して出力する手順を有し、
    　上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に基づいて、上記左眼および右眼の表示領域画像データにそれぞれ重畳する上記重畳情報のデータに視差を付与する
    　受信方法。
  12. 　上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに関連づけられたタイムドメタデータストリームにより受信する
    　請求項１１に記載の受信方法。
  13. 　上記ピクチャ毎の上記デプスメタ情報を、上記ビデオストリームに挿入された状態で受信する
    　請求項１１に記載の受信方法。
  14. 　上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数のアングル領域の代表デプス値のうちの最小値に基づいて、上記視差を付与する
    　請求項１１に記載の受信方法。
  15. 　上記デプスメタ情報は、上記所定数のアングル領域の上記代表デプス値が領域内のどの位置に係るものであるかを示す位置情報をさらに含み、
    　上記左眼および右眼の表示領域画像データに重畳情報のデータを重畳する際に、上記デプスメタ情報に含まれる、重畳範囲に対応した所定数の領域の代表デプス値と上記位置情報に基づいて、上記視差を付与する
    　請求項１１に記載の受信方法。
  16. 　上記アングル領域の位置情報は、所定のビューポイントの位置を基準としたオフセット情報で与えられる
    　請求項１１に記載の受信方法。
  17. 　上記デプスメタ情報は、スクリーンの深さに相当するデプス値をデプス値の基準としてさらに含む
    　請求項１１に記載の受信方法。
  18. 　上記重畳情報は、字幕および/またはグラフィクスである
    　請求項１１に記載の受信方法。
  19. 　左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎のデプスメタ情報を送信する送信部を備え、
    　上記デプスメタ情報は、上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含む
    　送信装置。
  20. 　左眼および右眼のピクチャ毎の広視野角画像の画像データを符号化して得られたビデオストリームと、上記ピクチャ毎のデプスメタ情報を送信し、
    　上記デプスメタ情報は、上記広視野角画像内の所定数のアングル領域の位置情報と代表デプス値を含む
    　送信方法。
PCT/JP2019/016232 2018-04-19 2019-04-15 受信装置、受信方法、送信装置および送信方法 WO2019203207A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980025347.2A CN111971955A (zh) 2018-04-19 2019-04-15 接收装置、接收方法、发送装置和发送方法
US16/981,051 US20210006769A1 (en) 2018-04-19 2019-04-15 Reception device, reception method, transmission device, and transmission method
EP19789348.0A EP3783887A4 (en) 2018-04-19 2019-04-15 RECEIVING DEVICE, AND RECEIVING METHOD, TRANSMISSION DEVICE, AND TRANSMISSION PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018080978 2018-04-19
JP2018-080978 2018-04-19

Publications (1)

Publication Number Publication Date
WO2019203207A1 true WO2019203207A1 (ja) 2019-10-24

Family

ID=68239155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016232 WO2019203207A1 (ja) 2018-04-19 2019-04-15 受信装置、受信方法、送信装置および送信方法

Country Status (4)

Country Link
US (1) US20210006769A1 (ja)
EP (1) EP3783887A4 (ja)
CN (1) CN111971955A (ja)
WO (1) WO2019203207A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230237731A1 (en) * 2022-01-27 2023-07-27 Meta Platforms Technologies, Llc Scalable parallax system for rendering distant avatars, environments, and dynamic objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927971A (ja) * 1995-07-10 1997-01-28 Shimadzu Corp 画像表示システム
JP2010158009A (ja) * 2008-12-26 2010-07-15 Samsung Electronics Co Ltd 映像処理方法及びその装置
WO2011001856A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
WO2013105401A1 (ja) 2012-01-13 2013-07-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378118B2 (ja) * 2003-06-27 2009-12-02 学校法人早稲田大学 立体映像呈示装置
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、***及方法
CN102113324B (zh) * 2008-07-31 2013-09-25 三菱电机株式会社 视频编码装置、视频编码方法、视频再现装置、视频再现方法
US8208790B2 (en) * 2009-05-19 2012-06-26 Panasonic Corporation Recording medium, reproducing device, encoding device, integrated circuit, and reproduction output device
JP5369952B2 (ja) * 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法
JP2011097441A (ja) * 2009-10-30 2011-05-12 Sony Corp 情報処理装置、画像表示方法及びコンピュータプログラム
CN102834849B (zh) * 2011-03-31 2016-08-31 松下知识产权经营株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
US20140063187A1 (en) * 2012-01-19 2014-03-06 Sony Corporation Reception device, reception method, and electronic device
JP5837841B2 (ja) * 2012-02-09 2015-12-24 株式会社ジオ技術研究所 ３次元地図表示システム
EP2688304B1 (en) * 2012-03-01 2019-09-25 Sony Corporation Transmitter, transmission method and receiver
CN107170345B (zh) * 2017-04-11 2019-07-19 广东工业大学 面向工业机器人的基于机器视觉和陀螺仪的示教方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927971A (ja) * 1995-07-10 1997-01-28 Shimadzu Corp 画像表示システム
JP2010158009A (ja) * 2008-12-26 2010-07-15 Samsung Electronics Co Ltd 映像処理方法及びその装置
WO2011001856A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
WO2013105401A1 (ja) 2012-01-13 2013-07-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3783887A4 *

Also Published As

Publication number Publication date
US20210006769A1 (en) 2021-01-07
EP3783887A4 (en) 2021-05-19
EP3783887A1 (en) 2021-02-24
CN111971955A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN109691094B (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN104506839B (zh) 处理三维视频信号的方法和执行该方法的数字广播接收机
KR20190094451A (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
JP7047095B2 (ja) カメラレンズ情報を含む３６０°ビデオを送受信する方法及びその装置
US10893254B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
EP3632124B1 (en) High-level signalling for fisheye video data
WO2012043352A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CA2772927C (en) Cable broadcast receiver and 3d video data processing method thereof
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN114095737B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
EP3739889A1 (en) Transmission device, transmission method, reception device and reception method
WO2023061131A1 (zh) 媒体文件封装方法、装置、设备及存储介质
WO2020107998A1 (zh) 视频数据的处理方法、装置、相关设备及存储介质
WO2019203207A1 (ja) 受信装置、受信方法、送信装置および送信方法
WO2021109412A1 (en) Volumetric visual media process methods and apparatus
JP2011151773A (ja) 映像処理装置及び制御方法
CN111684823B (zh) 发送装置、发送方法、处理装置以及处理方法
CN114556962A (zh) 多视点视频处理方法和装置
CN115733576B (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
WO2019181493A1 (ja) 受信装置、受信方法、送信装置および送信方法
WO2023024843A1 (zh) 媒体文件封装与解封装方法、设备及存储介质
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
WO2023153473A1 (ja) メディア処理装置、送信装置及び受信装置
CN116137664A (zh) 点云媒体文件封装方法、装置、设备及存储介质
JP2023117400A (ja) メディア処理装置、送信装置及び受信装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19789348

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019789348

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019789348

Country of ref document: EP

Effective date: 20201119

NENP Non-entry into the national phase

Ref country code: JP