CN111971955A - 接收装置、接收方法、发送装置和发送方法 - Google Patents

Abstract

本发明有效使用传入的深度信息易于实现通过叠加而显示叠加信息时的深度控制。接收通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息。从通过解码视频流而获得的左眼图片和右眼图片中的每一者的宽视角图像中提取左眼显示区域图像数据和右眼显示区域图像数据，并且将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上，用于输出。当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于深度元信息给出视差。

Description

接收装置、接收方法、发送装置和发送方法

技术领域

本技术涉及接收装置、接收方法、传输装置和传输方法，以及更具体地，本技术涉及VR显示立体图像的接收装置等。

背景技术

在立体图像是虚拟现实(VR)显示的情况下，立体视觉将字幕和图形叠加在更靠近交互式显示的对象的位置是重要的。例如，专利文献1示出了一种技术，该技术将图像的每个像素或均匀划分的块的深度信息与左眼图像和右眼图像的图像数据一起传输，并且当在接收侧叠加和显示字幕和图形时，将深度信息用于深度控制。然而，对于宽视角图像，需要确保用于传输深度信息的大传输频带。

引用列表

专利文献

专利文献1：WO2013/105401。

发明内容

本发明要解决的问题

本技术的目的是在通过使用有效发送的深度信息来叠加和显示叠加信息时容易实现深度控制。

问题的解决方案

本技术的概念是一种接收装置，包括：

接收单元，被配置为接收通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息；以及

处理单元，被配置为从通过解码视频流而获得的左眼图片和右眼图片中的每一者的宽视角图像的图像数据中，提取左眼显示区域图像数据和右眼显示区域图像数据，并将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上，用于输出，

其中，当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，处理单元基于深度元信息，将视差提供给要叠加在左眼显示区域图像数据和右眼显示区域图像数据中的每一者上的叠加信息数据。

在本技术中，接收单元接收通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息。例如，接收单元可以通过使用与视频流相关联的时间元数据流来接收每个图片的深度元信息。此外，例如，接收单元可以接收每个图片的深度元信息，深度元信息被***到视频流中。此外，例如，可以基于预定视点的位置给出关于角度区域的位置信息，作为偏移信息。

处理单元从通过解码视频流而获得的左眼图片和右眼图片中的每一者的宽视角图像的图像数据中，提取左眼显示区域图像数据和右眼显示区域图像数据。并将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上，用于输出。在此处，当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于深度元信息，将视差添加到叠加在左眼显示区域图像数据和右眼显示区域图像数据中的每一者上的叠加信息显示数据。例如，叠加信息可以包括字幕和/或图形。

例如，当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，处理单元可以基于与叠加范围对应的预定数量的区域的代表性深度值的最小值给出视差，代表性深度值包括在深度元信息中。此外，例如，深度元信息还可以包括位置信息，该位置信息指示预定数量的角度区域的代表性深度值涉及区域中的哪个位置。当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，处理单元可以基于与叠加范围对应的预定数量的区域的代表性深度值和位置信息给出视差，代表性深度值包括在深度元信息中。此外，深度元信息还可以包括与屏幕深度对应的深度值，作为深度值的基准。

此外，例如，可以包括显示单元，该显示单元基于叠加有叠加信息数据的左眼显示区域图像数据和右眼显示区域图像数据来显示三维图像。在这种情况下，例如，显示单元可以包括头戴式显示器。

以这种方式，在本技术中，当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值的深度元信息，将视差提供给叠加在左眼显示区域图像数据和右眼显示区域图像数据中的每一者上的叠加信息数据。因此，当通过使用有效发送的深度信息来叠加和显示字幕和图形时，可以容易地实现深度控制。

此外，本技术的另一概念是

发送装置，包括：

发送单元，被配置为发送通过对左眼图片和右眼图片的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及每个图片的深度元信息，

其中，深度元信息包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值。

在本技术中，发送单元发送通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及每个图片的深度元信息。在此处，深度元信息包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值。

以这种方式，在本技术中，发送通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图像的宽视角图像中预定数量的角度区域的位置信息和代表性深度值的深度元信息。因此，可以有效地发送宽视角图像中的深度信息。

发明效果

根据本技术，当通过使用有效发送的深度信息来叠加和显示叠加信息时，可以容易地实现深度控制。注意，本文描述的有利效果不一定是限制性的，并且可以应用本公开中描述的任何效果。

附图说明

图1是示出作为实施方式的发送-接收***的配置示例的框图；

图2是示出服务发送***的配置示例的框图；

图3是用于描述从球形捕获图像获得投影图像的平面封装的示图；

图4是示出HEVC编码中的SPS NAL单元的结构示例的示图；

图5是用于描述使剪切位置的中心O(p,q)与投影图像的基准点RP(x,y)一致的示图；

图6是示出渲染元数据的结构示例的示图；

图7是用于描述图6的结构示例中的每条信息的示图；

图8是用于描述图6的结构示例中的每条信息的示图；

图9是示出通过视差值对图形进行深度控制的概念的示图；

图10是示意性示出在一个视点的影响下设置角度区域的示例的示图；

图11是用于描述角度区域的代表性深度值的示图；

图12是分别示出对应于左眼投影图像和右眼投影图像中的每一个的球形图像的一部分的示图；

图13是示出角度区域的定义的示图；

图14是示出组件描述符的结构示例和该结构示例中的主要信息的细节的示图；

图15是示意性示出作为分发流的MP4流的示图；

图16是示出包括深度元信息的一张图片的时间元数据的结构示例的示图；

图17是示出图16的配置示例中的主要信息的细节的示图；

图18是示出MPD文件的描述示例的示图；

图19是示出PSVP/SEI消息的结构示例的示图；

图20是示意性示出在深度元信息***到视频流中并传输的情况下的MP4流的示图；

图21是示出服务接收器的配置示例的框图；

图22是示出渲染器的配置示例的框图；

图23是示出投影图像的显示区域的一个示例的示图；

图24是用于描述给字幕显示数据提供视差的深度值根据显示区域的大小而不同的示图；

图25是示出在每个移动位置设置显示区域中深度值的方法的一个示例的示图，该深度值用于向字幕显示数据提供视差；

图26是示出在显示区域在投影图像中设置的多个角度区域之间转换的情况下，在每个移动位置设置深度值的方法的一个示例的示图，该深度值用于向字幕显示数据提供视差；

图27是示出在HMD用作显示单元的情况下设置深度值的一个示例的示图；

图28是示出用于在深度处理单元中获得字幕深度值的过程的一个示例的流程图；

图29是示出在字幕和图形的叠加位置彼此部分重叠的情况下的深度控制的示例的示图。

具体实施方式

下面将描述实施本发明的模式(以下称为实施方式)。注意，将按以下顺序进行描述。

1.实施方式

2.变形例

<1.实施方式>

[发送-接收***的配置示例]

图1示出了发送-接收***10的配置示例作为实施方式。发送-接收***10包括服务发送***100和服务接收器200。

服务发送***100通过通信网络传输路径或RF传输路径发送DASH/MP4，即作为元文件的MPD文件和包括诸如视频和音频的媒体流的MP4(ISOBMFF)。在该实施方式中，通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流被包括为媒体流。

此外，服务发送***100将每个图片的深度元信息与视频流一起发送。深度元信息包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值。在该实施方式中，深度元信息还包括指示代表性深度值涉及的区域中的哪个位置的位置信息。例如，通过使用与视频流相关联的时间元数据流来发送每个图片的深度元信息，或者将深度元信息***到视频流中并进行发送。

服务接收器200通过通信网络传输路径或RF传输路径接收从服务发送***100发送的上述MP4(ISOBMFF)。服务接收器200从MPD文件获取关于视频流的元信息，并且此外，在存在时间元数据流的情况下获取关于时间元数据流的元信息。

此外，服务接收器200从通过解码视频流而获得的左眼图片和右眼图片中的每一者的宽视角图像的图像数据中，提取左眼显示区域图像数据和右眼显示区域图像数据。服务接收器200将诸如字幕和图形的叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上，用于输出。在这种情况下，显示区域基于用户的动作或操作交互式地改变。当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于深度元信息，将视差提供给被叠加在左眼显示区域图像数据和右眼显示区域图像数据中的每一者上的叠加信息数据。

例如，基于与深度元信息中包括的叠加范围对应的预定数量的区域的代表性深度值的最小值来给出视差。此外，例如，在深度元信息还包括指示代表性深度值涉及区域中的哪个位置的位置信息的情况下，基于与深度元信息中包括的叠加范围对应的预定数量的区域的代表性深度值和位置信息来添加视差。

“服务发送***的配置示例”

图2示出了服务发送***100的配置示例。服务发送***100包括控制单元101、用户操作单元101a、左相机102L、右相机102R、平面封装(planar packing)单元103L和103R、视频编码器104、深度生成单元105、深度元信息生成单元106、字幕生成单元107、字幕编码器108、容器编码器109和发送单元110。

控制单元101包括中央处理单元(CPU)，并且基于控制程序控制服务发送***100的每个单元的操作。用户操作单元101a构成用户执行各种操作的用户接口，并且包括例如键盘、鼠标、触摸板、遥控器等。

左相机102L和右相机102R构成立体相机。左相机102L捕获对象，以获得球形捕获图像(360°VR图像)。类似地，右相机102R捕获对象，以获得球形捕获图像(360°VR图像)。例如，相机102L和102R通过背靠背方法执行图像捕获，并且获得超宽视角前后图像，每个图像具有180°以上的视角并且使用鱼眼透镜捕获作为球形捕获图像(参见图3的(a))。

平面封装单元103L和103R剪切分别用相机102L和102R获得的球形捕获图像的一部分或全部，并执行平面封装，以获得矩形投影图像(投影图片)(参见图3的(b))。在这种情况下，作为投影图像的格式类型，例如，选择了等矩形、交叉立方体等。注意，平面封装单元103L和103R根据需要剪切投影图像，并执行缩放以获得具有预定分辨率的投影图像(参见图3的(c))。

视频编码器104例如对来自平面封装单元103L的左眼投影图像的图像数据和来自平面封装单元103R的右眼投影图像的图像数据执行诸如HEVC的编码，以获得编码图像数据并生成包括编码图像数据的视频流。例如，左眼投影图像和右眼投影图像的图像数据通过并排方法或自上而下方法进行组合，并且对组合的图像数据进行编码以生成一个视频流。此外，例如，左眼投影图像和右眼投影图像中的每一者的图像数据被编码以生成两个视频流。

剪切位置信息被***到视频流的SPS NAL单元。例如，在HEVC的编码中，“default_display_window”对应于此。

图4示出了HEVC编码中SPS NAL单元的结构示例(语法)。字段“pic_width_in_luma_samples”指示投影图像的水平分辨率(像素大小)。字段“pic_height_in_luma_samples”指示投影图像的垂直分辨率(像素大小)。然后，当设置“default_display_window_flag”时，存在剪切位置信息“default_display_window”。剪切位置(cutoutposition)信息是以解码图像的左上角作为基点(0，0)的偏移信息。

字段“def_disp_win_left_offset”指示剪切位置的左端位置。字段“def_disp_win_right_offset”指示剪切位置的右端位置。字段“def_disp_win_top_offset”指示剪切位置的上端位置。字段“def_disp_win_bottom_offset”指示剪切位置的下端位置。

在该实施方式中，由剪切位置信息指示的剪切位置的中心可以被设置为与投影图像的基准点一致。在此处，当剪切位置的中心是O(p,q)时，p和q分别由以下公式表示。

p＝(def_disp_win_right_offset-def_disp_win_left_offset)*1/2+def_disp_win_left_offset

q＝(def_disp_win_bottom_offset-def_disp_win_top_offset)*1/2+def_disp_win_top_offset

图5示出了剪切位置的中心O(p,q)与投影图像的基准点RP(x,y)一致。在所示的示例中，“projection_pic_size_horizontal”表示投影图像的水平像素大小，以及“projection_pic_size_vertical”表示投影图像的垂直像素大小。注意，支持VR显示的接收器可以通过渲染投影图像获得显示视图(显示图像)，但是默认视图以基准点RP(x,y)为中心。注意，基准点可以通过与实际的北、南、东和西的指定方向一致来匹配物理空间。

此外，视频编码器104将具有渲染元数据(用于渲染的元信息)的SEI消息***访问单元(AU)的“SEI”部分。图6示出了渲染元数据(Rendering_metadata)的结构示例(语法)。此外，图8示出了每个结构示例中的主要信息(语义)的细节。

16位字段“rendering_metadata_id”是识别渲染元数据结构的ID。16位字段“rendering_metadata_length”指示渲染元数据结构字节大小。

16位字段“start_offset_sphere_latitude”、“start_offset_sphere_longitude”、“end_offset_sphere_latitude”和“end_offset_sphere_longitude”中的每一者指示在球形捕获图像经历平面封装的情况下的剪切范围信息(参见图7的(a))。字段“start_offset_sphere_latitude”指示剪切起点偏移球体的纬度(垂直方向)。字段“start_offset_sphere_longitude”指示剪切起点偏移球体的经度(水平方向)。字段“end_offset_sphere_latitude”指示剪切终点偏移球体的纬度(垂直方向)。字段“end_offset_sphere_longitude”指示剪切终点偏移球体的经度(水平方向)。

16位字段“projection_pic_size_horizontal”和“projection_pic_size_vertical”中的每一项指示关于投影图像(投影图片)的大小信息(参见图7的(b))。字段“projection_pic_size_horizontal”指示从左上角开始的水平像素计数以及投影图像的大小。字段“projection_pic_size_vertical”指示从左上角开始的垂直像素计数以及投影图像的大小。

16位字段“scaling_ratio_horizontal”和“scaling_ratio_vertical”中的每一项指示投影图像的原始尺寸的缩放比例(参见图3的(b)、(c))。字段“scaling_ratio_horizontal”指示投影图像原始尺寸的水平缩放比例。字段“scaling_ratio_vertical”指示投影图像原始尺寸的垂直缩放比例。

16位字段“reference_point_horizontal”和“reference_point_vertical”中的每一项指示投影图像的基准点RP(x,y)的位置信息(参见图7的(b))。字段“reference_point_horizontal”指示基准点RP(x,y)的水平像素位置“x”。字段“reference_point_vertical”指示基准点RP(x,y)的垂直像素位置“y”。

5位字段“format_type”指示投影图像的格式类型。例如，“0”表示等矩形，“1”表示交叉立方体，以及“2”表示分区交叉立方体。

1位字段“backwardcompatible”指示是否已经设置了向后兼容，即，由***视频流层中的剪切位置信息指示的剪切位置的中心O(p,q)是否已经被设置为与投影图像的基准点RP(x,y)匹配。例如，“0”表示未设置向后兼容性，以及“1”表示设置了向后兼容性。

深度生成单元105通过使用来自平面封装单元103L和103R的左眼投影图像和右眼投影图像来确定深度值，该深度值是每个块的深度信息。在这种情况下，深度生成单元105通过确定4×4、8×8等的每个像素块的绝对误差和(SAD)来获得视差(差异)值，并且进一步将视差(差异)值转换成深度值。

在此处，将描述从视差值到深度值的转换。图9示出了例如通过使用视差值的图形深度控制的概念。在视差值是负值的情况下，给出视差使得在屏幕上用于左眼显示的图形向右移动，并且用于右眼显示的图形向左移动。在这种情况下，图形的显示位置在屏幕的前方。此外，在视差值是正值的情况下，给出视差使得在屏幕上用于左眼显示的图形向左移动，并且用于右眼显示的图形向右移动。在这种情况下，图形的显示位置在屏幕后方。

在图9中，(θ0-θ2)示出了同一侧向的视差角，以及(θ0-θ1)示出了交叉方向的视差角。此外，D表示屏幕和相机(人眼)的安装面之间的距离(观看距离)，E表示相机(人眼)的安装间隔(eye_baseline)，K表示到物体的距离的深度值，以及S表示视差值。

此时，通过下面的公式(1)从S和E的比率以及D和K的比率计算K。通过转换该公式，获得公式(2)。公式(1)构成用于将视差值S转换成深度值K的转换公式。相反，公式(2)构成用于将深度值K转换成视差值S的转换公式。

K＝D/(1+S/E) (1)

S＝(D-K)E/K (2)

回到图2，深度元信息生成单元106生成深度元信息。深度元信息包括投影图像上设置的预定数量的角度区域的位置信息和代表性深度值。在该实施方式中，深度元信息还包括指示代表性深度值涉及区域中的哪个位置的位置信息。

在此处，预定数量的角度区域由操作用户操作单元101a的用户来设置。在这种情况下，设置预定数量的视点，并且进一步设置在每个视点的影响下的预定数量的角度区域。基于相应视点的位置，给出每个角度区域的位置信息，作为偏移信息。

此外，每个角度区域的代表性深度值是由深度生成单元105生成的每个块的深度值中角度区域内的每个块的深度值的最小值。

图10示意性地示出了在一个视点影响下设置角度区域的示例。图10的(a)示出了角度区域AR包括等间隔的分区并且设置了9个角度区域AR1至AR9的情况下的示例。图10的(b)示出了角度区域AR包括具有灵活尺寸的分区并且设置了6个角度区域AR1至AR6的情况下的示例。注意，角度区域不一定必须在空间中连续排列。

图11示出了在投影图像上设置的一个角度区域ARi。在该图中，外部矩形框架示出了整个投影图像，并且存在与该投影图像对应的以块为单位的深度值dv(j,k)，并且这些值组合以构成深度图(depthmap)。

角度区域ARi中的代表性深度值DPi是包括在角度区域ARi中的多个深度值dv(j,k)中的最小值，并且由下面的公式(3)表示。

[式1]

图12的(a)和图12的(b)示出了分别对应于由平面封装单元103L和103R获得的左眼投影图像和右眼投影图像的球形图像的部分。“C”表示与观察位置相对应的中心位置。在所示的示例中，除了投影图像的基准点RP之外，还设置了作为角度区域的基准的从VpA到VpH这8个视点。

每个点的位置由方位角φ和仰角θ表示。每个角度区域(图12中未示出)的位置由从相应视点的偏移角度给出。在此处，方位角φ和仰角θ均表示箭头方向的角度，并且在箭头的基点位置处的角度为0°。例如，如在所示的示例中，基准点(RP)的方位角φ被设置为

并且基准点(RP)的仰角θ被设置为θr＝90°(π/2)。

图13示出了角度区域的定义。在所示的示例中，外部矩形框架显示了整个投影图像。此外，在所示的示例中，示出了视点VP影响下的3个角度区域AG_1、AG_2和AG_3。每个角度区域由角度AG_tl和AG_br表示，角度AG_tl和AG_br是矩形角度区域相对于视点位置的左上角开始点和右下角终点的位置信息。在此处，AG_tl和AG_br是相对于视点VP的水平和垂直二维角度，其中，D是显示位置和估计的观看位置之间的估计距离。

注意，在以上描述中，深度元信息生成单元106通过使用由深度生成单元105生成的每个块的深度值来确定每个角度区域的代表性深度值。然而，如图2中的虚线所示，也可以通过使用深度传感器111获得的每个像素或每个块的深度值来确定每个角度区域的代表性深度值。在这种情况下，深度生成单元105不是必需的。

字幕生成单元107生成要叠加在图像上的字幕数据。字幕编码器108对字幕生成单元107生成的字幕数据进行编码，以生成字幕流。注意，字幕编码器108向字幕数据添加在以投影图像的基准点RP(x,y)为中心的默认视图显示期间可用于字幕的深度控制的深度值、或者通过参考深度生成单元105生成的每个块的深度值转换深度值而获得的视差值。注意，考虑向字幕数据进一步添加可以在以上述深度元信息中设置的每个视点为中心的视图显示期间使用的深度值或视差值。

回到图2，容器编码器109(container encoder)生成容器作为分发流STM，在此处是MP4流，容器包括由视频编码器104生成的视频流、由字幕编码器108生成的字幕流、以及具有由深度元信息生成单元106生成的每个图片的深度元信息的时间元数据流。在这种情况下，容器编码器109将渲染元数据(参见图6)***到包括视频流的MP4流中。注意，在该实施方式中，渲染元数据被***到视频流层和容器层中，但是可以仅***到其中之一。

此外，容器编码器105将具有各种类型信息的描述符与视频流相关联地***到包括视频流的MP4流中。作为该描述符，存在传统上众所周知的组件描述符(component_descriptor)。

图14的(a)示出了组件描述符的结构示例(语法)，以及图14的(b)示出了结构示例中的主要信息(语义)的细节。4位字段“stream_content”指示视频/音频字幕的编码方法。在该实施方式中，该字段被设置为“0x9”，并指示HEVC编码。

4位字段“stream_content_ext”通过与上述“stream_content”结合使用来指示编码目标的细节。

8位字段“component_type”指示每种编码方法的变化。在该实施方式中，“stream_content_ext”被设置为“0x2”，而“component_type”被设置为“0x5”，以指示“通过对HEVCMain10 Profile UHD进行编码来分发立体VR”。

发送单元110将由容器编码器109获得的MP4分发流STM放在广播波或网络分组上，并将MP4分发流STM发送到服务接收器200。

图15示意性地示出了MP4流。图15示出了包括视频流(视频轨道)的MP4流和包括时间元数据轨道流(时间元数据轨道)的MP4流。尽管此处省略了，此外，还存在包括字幕流(字幕轨道)等的MP4流。

MP4流(视频轨道)具有这样的配置，其中，每个随机访问周期以初始化段(IS)开始，随后是框“styp”、“sidx(段索引框)”、“ssix(子段索引框)”、“moof(电影片段框)”和“mdat(媒体数据框)”。

初始化段(IS)具有基于ISO基媒体文件格式(ISOBMFF)的框结构。渲染元数据和组件描述符被***到这个初始化段(IS)中。

“styp”框包含段类型信息。“sidx”框包含每个轨道上的距离信息，指示“moof”/“mdat”的位置，并且还指示“mdat”中每个样本(图片)的位置。“ssix”框包含轨道分类信息，并被分类为I/P/B类型。

“moof”框包含控制信息。在“mdat”框中，放置了“VPS”、“SPS”、“PPS”、“PSEI”、“SSEI”和“SLICE”的NAL单元。“SLICE”的NAL单元包括随机访问周期中每个图片的编码图像数据。

同时，MP4流(时间元数据轨道)也具有一种配置，其中，每个随机访问周期以初始化段(IS)开始，随后是框“styp”、“sidx”、“ssix”、“moof”和“mdat”。“mdat”框包含随机访问周期中每个图片的深度元信息。

图16示出了包括深度元信息(语法)的一个图片的时间元数据的结构示例。图17示出了配置示例中的主要信息(语义)的细节。8位字段“number_of_viewpoints”指示视点的数量。对于视点的数量，反复存在以下信息。

8位字段“viewpoint_id”指示视点的标识号。16位字段“center_azimuth”指示从观看中心位置的方位角，即视点的观看点位置。16位字段“center_elevation”指示从观看中心位置(即视点的观看点位置)的仰角。16位字段“center_tilt”指示观看中心位置(即视点)的倾斜角。该倾斜角表示该角度相对于观看中心的倾斜度。8位字段“number_of_depth_sets”指示深度集的数量，即角度区域的数量。对于深度集的数量，以下信息反复存在。

16位字段“angle_tl_horizontal”指示水平位置，该位置指示目标角度区域的左上角，作为距视点的偏移角度。16位字段“angle_tl_vertical”指示垂直位置，该位置指示目标角度区域的左上角，作为距视点的偏移角度。16位字段“angle_br_horizontal”指示水平位置，该位置指示目标角度区域的右下角，作为距视点的偏移角度。16位字段“angle_br_vertical”指示垂直位置，该位置指示目标角度区域的右下角，作为距视点的偏移角度。

16位字段“depth_reference”指示深度值的基准，即对应于屏幕深度的深度值(参见图9)。深度值允许调整深度视差转换公式(1)和(2)，使得在视差扩展期间左眼图片(左视图)和右眼图片(右视图)的显示偏移变为零。16位字段“depth_representative_position_horizontal”指示对应于代表性深度值的位置的水平位置，即指示代表性深度值涉及区域中的哪个位置的位置，作为距视点的偏移角度。16位字段“depth_representative_position_vertical”指示对应于代表性深度值的位置的垂直位置，作为距视点的偏移角度。16位字段“depth_representative”指示代表性深度值。

包括视频流(视频轨道)的MP4流和包括时间元数据轨道流(时间元数据轨道)的MP4流通过MPD文件相互关联。

图18示出了MPD文件的描述示例。在此处，为了描述简单，示出了仅描述关于视频轨道和时间元数据轨道的信息的示例，但是实际上，还描述了关于包括字幕流等的其他媒体流的信息。

虽然省略了详细描述，但是由点划线矩形框包围的部分表示与视频轨道相关的信息。此外，由虚线矩形框包围的部分指示关于时间元数据轨道的信息。这表示包括流“preset-viewpoints.mp4”的自适应集(AdaptationSet)，该流包括视点的元信息流。“Representation id”是“preset-viewpoints”，“associationId”是“360-video”，以及“associationType”是“cdsc”，表示链接到视频轨道。

将简要描述图2所示的服务发送***100的操作。左相机102L和右相机102R中的每一者捕获对象的图像，以获得球形捕获图像(360°VR图像)。由相机102L和102R获得的球形捕获图像分别提供给平面封装单元103L和103R。平面封装单元103L和103R剪切由相机102L和102R获得的球形捕获图像的一部分或全部，并执行平面封装以获得矩形投影图像。

由平面封装单元103L和103R获得的投影图像的图像数据提供给视频编码器104。视频编码器104对由平面封装单元103L和103R获得的投影图像的图像数据进行编码，并生成包括编码图像数据的视频流。

在这种情况下，剪切位置信息被***到视频流的SPS NAL单元中(参见图4)。此外，具有渲染元数据(用于渲染的元信息)(参见图6)的SEI消息被***到访问单元(AU)的“SEI”部分。

此外，由平面封装单元103L和103R获得的投影图像的图像数据提供给视频编码器104。深度生成单元105通过使用来自平面封装单元103L和103R的左眼投影图像和右眼投影图像来获得深度值，该深度值是每个块的深度信息。即，深度生成单元105生成深度图(dpepthmap)，该深度图是每个图片的基于块的深度值dv(j,k)的集合。

由深度生成单元105生成的每个图片的深度图被提供给深度元信息生成单元106。深度元信息生成单元106为每个图片生成深度元信息。深度元信息包括投影图像上设置的预定数量的角度区域的位置信息和的代表性深度值。深度元信息还包括指示代表性深度值涉及区域中的哪个位置的位置信息。注意，深度元信息生成单元106可以使用通过使用深度传感器111获得的信息生成的深度图，而不是深度生成单元105生成的每个图片的深度图。

此外，字幕生成单元107生成要叠加在图像上的字幕数据。字幕数据被提供给字幕编码器108。字幕编码器108编码字幕数据，以生成字幕流。在这种情况下，将可以在以投影图像的基准点RP(x,y)为中心的默认视图显示期间用于字幕深度控制的深度值添加到字幕数据。

由视频编码器104生成的视频流、由字幕编码器108生成的字幕流以及由深度元信息生成单元106生成的每个图片的深度元信息被提供给容器解码器109。容器解码器109生成包含视频流、字幕流和具有每个图片的深度元信息的时间元数据流的容器，作为分发流STM，此处是MP4流。

在这种情况下，容器编码器109将渲染元数据(参见图6)***到包括视频流的MP4流中。此外，容器编码器109将具有各种信息的描述符(例如，组件描述符(参见图14)等)与视频流相关联地***到包括视频流的MP4流中。

由容器编码器109获得的MP4流被提供给发送单元110。发送单元110将由容器编码器109获得的MP4分发流STM放在广播波或网络分组上，以发送到服务接收器200。

注意，在以上描述中，通过使用时间元数据流来传输每个图片的深度元信息。然而，考虑将每个图片的深度元信息***视频流中，用于传输。在这种情况下，包括深度元信息的PSVP/SEI消息(SEI消息)被***到每个图片的访问单元(AU)的“SEI”部分。

图19示出了PSVP/SEI消息的结构示例(语法)。由于PSVP/SEI消息中的主要信息类似于图16所示的时间元数据中的主要信息，因此将省略其详细描述。图20示意性地示出了在每个图片的深度元信息被***到视频流中并传输的情况下的MP4流。如图所示，在这种情况下，不存在包括时间元数据轨道流(时间元数据轨道)的MP4流(参见图15)。

“服务接收器”

图21示出了服务接收器200的配置示例。服务接收器200包括控制单元201、UI单元201a、传感器单元201b、接收单元202、容器解码器203、视频解码器204、字幕解码器205、图形生成单元206、渲染器207、缩放单元208和显示单元209。

控制单元201包括中央处理单元(CPU)，并且基于控制程序控制服务接收器200的每个单元的操作。UI单元201a执行用户接口，并且包括例如用于用户操作显示区域的移动的定点装置以及用于用户输入语音以通过语音指示显示区域的移动的麦克风等。传感器单元201b包括用于获取关于用户状态和环境的信息的各种传感器，并且包括例如安装在头戴式显示器(HMD)等上的姿势检测传感器。

接收单元202接收从服务发送***100发送的广播波或网络分组上的MP4分发流STM。在这种情况下，包括视频流、字幕流和时间元数据流的MP4流作为分发流STM而获得。注意，在关于每个图片的深度元信息被***到视频流并发送的情况下，不存在包括时间元数据流的MP4流。

容器解码器203从由接收单元202接收的包括视频流的MP4流中提取视频流，并将提取的视频流发送到视频解码器204。此外，容器解码器203从包括视频流的MP4流中提取关于“moov”块的信息等，并将该信息等发送到控制单元201。作为关于“moov”块的一条信息，存在渲染元数据(参见图6)。此外，作为关于“moov”块的一条信息，也存在组件描述符(参见图14)。

此外，容器解码器203从由接收单元202接收的包括字幕流的MP4流中提取字幕流，并将字幕流发送到字幕解码器205。此外，当接收单元202接收到包括时间元数据流的MP4流时，容器解码器203从MP4流中提取时间元数据流，提取包括在时间元数据流中的深度元信息，并将深度元信息发送到控制单元201。

视频解码器204对由容器解码器203提取的视频流执行解码处理，以获得左眼投影图像和右眼投影图像的图像数据。此外，视频解码器204提取***到视频流中的参数集或SEI消息，以发送到控制单元201。提取的信息包括关于***到SPS NAL分组中的剪切位置“default_display_window”的信息，并且此外还包括具有渲染元数据的SEI消息(参见图6)。此外，在深度元信息被***视频流并发送的情况下，还包括包含深度元信息的SEI消息(参见图19)。

字幕解码器205对由容器解码器203提取的字幕流执行解码处理，以获得字幕数据，从字幕数据获得字幕显示数据和字幕叠加位置数据，并将字幕显示数据和字幕叠加位置数据发送到渲染器207。此外，字幕解码器205获取可在默认视图显示期间添加到字幕数据用于字幕的深度控制的深度值，并将该深度值发送到控制单元201。

图形生成单元206生成诸如屏幕显示(OSD)、应用程序或电子节目指南(EPG)的与图形相关的图形显示数据和图形叠加位置数据，并将该数据发送到渲染器207。

渲染器207基于由视频解码器204获得的左眼投影图像和右眼投影图像的图像数据、来自字幕解码器205的字幕显示数据和字幕叠加位置数据、以及来自图形生成单元206的图形显示数据和图形叠加位置数据，生成用于显示其上叠加有字幕和图形的三维图像(立体图像)的左眼图像数据和右眼图像数据。在这种情况下，在控制单元201的控制下，显示区域响应于用户的姿势和操作而交互式地改变。

缩放单元208对左眼图像数据和右眼图像数据执行缩放，以便与显示单元209的显示尺寸匹配。显示单元209基于经过缩放处理的左眼图像数据和右眼图像数据显示三维图像(立体图像)。显示单元209包括例如显示面板、头戴式显示器(HMD)等。

图22示出了渲染器207的配置示例。渲染器207包括左眼图像数据生成单元211L、右眼图像数据生成单元211R、叠加单元212、深度处理单元213和深度/视差转换单元214。

左眼投影图像的图像数据VPL从视频解码器204提供给左眼图像数据生成单元211L。此外，显示区域信息从控制单元201提供给左眼图像数据生成单元211L。左眼图像数据生成单元211L对左眼投影图像执行渲染处理，以获得对应于显示区域的左眼图像数据VL。

右眼投影图像的图像数据VPR从视频解码器204提供给图像数据生成单元211R。此外，显示区域信息从控制单元201提供给右眼图像数据生成单元211R。右眼图像数据生成单元211R对右眼投影图像执行渲染处理，以获得对应于显示区域的右眼图像数据VR。

在此处，基于由配备有HMD等的陀螺仪传感器获得的关于移动方向和移动量的信息，或者基于用户操作的定点信息或用户的语音UI信息，控制单元201获得关于显示区域的移动方向和速度的信息，并且生成用于交互式地改变显示区域的显示区域信息。注意，例如，当开始显示时(例如，当接通电源时)，控制单元201生成与以投影图像的基准点RP(x,y)为中心的默认视图对应的显示区域信息(参见图5)。

显示区域信息和深度元信息从控制单元201提供给深度处理单元213。此外，字幕叠加位置数据和图形叠加位置数据被提供给深度处理单元213。深度处理单元213基于字幕叠加位置数据、显示区域信息和深度元信息获得字幕深度值，即，用于向字幕显示数据提供视差的深度值。

例如，深度处理单元213将用于向字幕显示数据提供视差的深度值设置为具有与由字幕叠加位置数据指示的字幕叠加范围对应的预定数量的角度区域的代表性深度值的最小值的深度值。由于以这种方式确定了用于向字幕显示数据提供视差的深度值，所以可以在字幕叠加范围内存在的图像对象的前方显示字幕，并且可以保持图像中每个对象的视角的一致性。

图23示出了投影图像的显示区域的一个示例。注意，存在左眼和右眼两个投影图像，但是为了简化附图，在此处仅示出一个投影图像。在该投影图像中，除了基准点RP之外，还设置了作为角度区域的基准的6个视点VpA至VpF。通过距投影图像左上角的原点的偏移来设置每个视点的位置。或者，由距基准点RP的偏移来设置每个视点的位置，该偏移由距投影图像左上角的原点的偏移来设置。

在所示的示例中，显示区域A和显示区域B位于包括视点VpD的位置。在这种情况下，显示区域A和显示区域B具有不同的区域尺寸，显示区域A宽而显示区域B窄。根据接收器具有的显示容量，显示区域的尺寸有所不同。

由于显示区域A在近距离视图中包括对象OB1，所以叠加字幕以便在对象OB1的前方显示。同时，显示区域B不包括近距离视图中的对象OB1，因此叠加字幕以便在近距离视图中的对象OB1的后面显示，即，在遥远的对象OB2的前方显示。

图24的(a)示出了指示显示区域A中深度值的分布的深度曲线。在这种情况下，用于向字幕显示数据提供视差的深度值被设置为小于对应于对象OB1的深度值的值，使得字幕叠加位置在近距离视图中对象OB1的前方。图24的(b)示出了指示显示区域B中深度值的分布的深度曲线。在这种情况下，用于向字幕显示数据提供视差的深度值被设置为小于对应于对象OB2的深度值的值，使得字幕叠加位置在近距离视图中对象OB1后面的对象OB2的前方。

图25示出了在显示区域在视点VP1影响下的第一区域和视点VP2影响下的第二区域之间移动的情况下，在每个移动位置设置用于向字幕显示数据提供视差的深度值的方法的一个示例。在所示的示例中，在视点VP1的影响下在第一区域中存在角度区域AR1和AR2。此外，在视点VP2的影响下在第二区域中存在角度区域AR3、AR4和AR5。

每个角度区域都有深度代表值，以及实心折线D根据代表性深度值指示深度的程度。实心折线D的值如下。即，L0至L1是角度区域AR1的深度代表值。L1至L2是未定义角度区域的部分，是指示“远”的深度值。L2至L3是角度区域AR2的深度代表值。L3至L4是未定义角度区域的部分，是指示“远”的深度值。L4至L5是角度区域AR3的深度代表值。L5至L6是角度区域AR4的深度代表值。然后，L6至L7是角度区域AR5的深度代表值。

虚线P表示向字幕显示数据提供视差的深度值(字幕深度值)。当显示区域移动时，字幕深度值转换，以便跟踪实心折线D。然而，由于L1至L2部分比字幕的水平宽度窄，所以字幕深度值不跟踪实心折线D，而变成深度值L0至L1或深度值L2至L3。此外，当字幕与实心折线D的多个深度值部分重叠时，字幕深度值跟随较小的深度值。注意，S1至S3示意性地示出了当时的字幕位置和字幕深度值的一个示例。

图26示出了在显示区域在投影图像中设置的多个角度区域之间转换的情况下，在每个移动位置设置用于向字幕显示数据提供视差的深度值的方法的一个示例。在所示的示例中，在水平方向上彼此相邻的角度区域AG_1、AG_2和AG_3存在于投影图像中。

如图26的(a)所示，在显示区域包括在角度区域AG_2中的情况下，用于向字幕显示数据提供视差的深度值(字幕深度值)是该角度区域AG_2的代表性深度值。此外，如图26的(b)所示，在显示区域与角度区域AG_2和角度区域AG_3重叠的情况下，字幕深度值可以是角度区域AG_2和角度区域AG_3的代表性深度值的最小值。然而，可以认为角度区域AG_2和角度区域AG_3的代表性深度值根据与每个角度区域重叠的显示区域的比例等进行加权相加。在这种情况下，字幕深度值可以从显示区域包括在角度区域AG_2中的状态平滑地转换到显示区域包括在角度区域AG_3中的状态。

注意，在显示区域以这种方式与角度区域AG_2和角度区域AG_3重叠的情况下，如上所述，除了对角度区域AG_2和角度区域AG_3的代表性深度值执行加权相加以根据与每个角度区域重叠的显示区域的比例等获得字幕深度值之外，例如，可以基于指示每个代表性深度值涉及区域中的哪个位置的位置信息，在目标区域中逐步改变深度值。

例如，在图26的(b)中，当显示区域的右端从AG_2移动到AG_3时，可以执行显示控制，以不将深度代表值从AG_2的值立即改变为AG_3的值，而是从AG_2的深度代表值逐渐改变为AG_3的深度代表值，直到显示区域的右端到达AG_3的深度代表值的位置等。

此外，如图26的(c)所示，在显示区域包括在角度区域AG_3中的情况下，用于向字幕显示数据提供视差的深度值(字幕深度值)是角度区域AG_3的代表性深度值。

图27示出了将头戴式显示器(HMD)用作显示单元209的情况下的示例。在这种情况下，如图27的(a)所示，当佩戴HMD的用户像T1→T2→T3那样从左向右转动颈部时，观看点接近视点VP，并且在T3的状态下，观看点与视点VP匹配。

图27的(b)示出了当佩戴HMD的用户像T1→T2→T3那样从左向右转动头部的同时显示区域移动时的一个示例。在此处，考虑显示区域等于或小于角度区域的标准显示以及显示区域大于角度区域的广角显示。

在T1状态下，显示区域对应于角度区域AG_1。由于显示区域包括在角度区域AG_1中用于标准显示，所以字幕深度值(用于向字幕显示数据提供视差的深度值)是角度区域AG_1的代表性深度值。同时，由于显示区域在角度区域AG_0至角度区域AG_2上延伸用于广角显示，所以字幕深度值是角度区域AG_0至角度区域AG_2的代表性深度值的最小值。

此外，在T2状态下，显示区域对应于角度区域AG_2。由于显示区域包括在角度区域AG_2中用于标准显示，所以字幕深度值(用于向字幕显示数据提供视差的深度值)是角度区域AG_2的代表性深度值。同时，由于显示区域在角度区域AG_1至角度区域AG_3上延伸用于广角显示，所以字幕深度值是角度区域AG_1至角度区域AG_3的代表性深度值的最小值。

此外，在T3状态下，显示区域对应于角度区域AG_3。由于显示区域包括在角度区域AG_3中用于标准显示，所以字幕深度值(用于向字幕显示数据提供视差的深度值)是角度区域AG_3的代表性深度值。同时，由于显示区域在角度区域AG_2至角度区域AG_4上延伸用于广角显示，所以字幕深度值是角度区域AG_2至角度区域AG_4的代表性深度值的最小值。

图28的流程图示出了用于在深度处理单元213中获得字幕深度值的过程的一个示例。针对每个图片执行该流程图。深度处理单元213在步骤ST1开始处理。接下来，在步骤ST2中，深度处理单元213输入字幕叠加位置数据、显示区域信息和深度元信息。

接下来，在步骤ST3中，深度处理单元213获得显示区域中的深度值分布(参见图25的实心折线D)。在这种情况下，在存在角度区域的部分中，使用其代表性深度值，而在不存在角度区域的部分中，使用指示“远”的深度值。接下来，在步骤ST4中，字幕叠加范围内的最小深度值被设置为字幕深度值。然后，深度处理单元213在步骤ST5结束处理。

注意，在步骤ST4中，深度处理单元213不将字幕叠加范围中的最小深度值设置为字幕深度值。在显示区域与多个深度值区域重叠的情况下，通过根据重叠比例对每个深度值执行加权相加以获得字幕深度值，可以避免字幕深度值的突然数字变化，并使得字幕深度值平滑转换。

回到图22，此外，深度处理单元213基于图形叠加位置数据、显示区域信息和深度元信息获得图形深度值(用于向图形显示数据提供视差的深度值)。虽然省略了详细描述，但是深度处理单元213中确定图形深度值的处理类似于上述确定字幕深度值的处理。注意，在字幕和图形的叠加位置彼此部分重叠的情况下，调整图形深度值，使得图形位于字幕的前方。

深度/视差转换单元214将深度处理单元213获得的字幕深度值和图形深度值转换成视差值，以分别获得字幕视差值和图形视差值。在这种情况下，通过上述公式(2)进行转换。

向叠加单元212提供由左眼图像数据生成单元211L获得的左眼图像数据VL和由右眼图像数据生成单元211R获得的右眼图像数据VR。此外，向叠加单元212提供字幕显示数据和字幕叠加位置数据、以及图形显示数据和图形叠加位置数据。此外，向叠加单元212提供由深度/视差转换单元214获得的字幕视差值和图形视差值。

叠加单元212将字幕显示数据叠加在由左眼图像数据和右眼图像数据的字幕叠加位置数据指示的叠加位置。此时，叠加单元212基于字幕视差值给出视差。此外，叠加单元212将图形显示数据叠加在由左眼图像数据和右眼图像数据的图形叠加位置数据指示的叠加位置。此时，叠加单元212基于图形视差值给出视差。注意，在字幕和图形的叠加位置彼此部分重叠的情况下，对于该部分，叠加单元212将图形显示数据覆盖在字幕显示数据上。

图29是示出在字幕和图形的叠加位置彼此部分重叠的情况下的深度控制的示例的示图。在该图中，在对应于字幕显示位置的4个角度区域AR8、AR9、AR10和AR11的图像对象的前方显示字幕。此外，在字幕右侧和前方的8个角度区域AR2、AR3、AR6、AR7、AR10、AR11、AR14和AR15的前方显示图形。

叠加单元212输出左眼字幕显示数据和左眼图形显示数据叠加在左眼图像数据上的左眼图像数据VLD。此外，叠加单元212输出右眼字幕显示数据和右眼图形显示数据叠加在右眼图像数据上的右眼图像数据VRD。

注意，如上所述，通过深度处理单元213基于字幕叠加位置数据、显示区域信息和深度元信息获得字幕深度值然后深度/视差转换单元214转换字幕深度值，可以获得向字幕显示数据提供视差的字幕视差值。然而，当显示默认视图时，也可以使用除了字幕数据之外发送的字幕深度值和字幕视差值。

将简要描述图21所示的服务接收器200的操作。接收单元202接收从服务发送***100发送的广播波或网络分组上的MP4分发流STM。分发流STM被提供给容器解码器203。

容器解码器203从包括视频流的MP4流中提取视频流，并将提取的视频流发送到视频解码器204。此外，容器解码器203从包括视频流的MP4流中提取关于“moov”块等的信息，并将该信息发送到控制单元201。

此外，容器解码器203从包括字幕流的MP4流中提取字幕流，并将字幕流发送到字幕解码器205。字幕解码器205对字幕流执行解码处理，以获得字幕数据，从字幕数据获得字幕显示数据和字幕叠加位置数据，并将字幕显示数据和字幕叠加位置数据发送到渲染器207。

此外，当接收单元202接收到包括时间元数据流的MP4流时，容器解码器203从MP4流中提取时间元数据流，提取包括在时间元数据流中的深度元信息，并将深度元信息发送到控制单元201。

视频解码器204对视频流执行解码处理，以获得左眼投影图像和右眼投影图像的图像数据，并将图像数据提供给渲染器207。此外，视频解码器204提取***到视频流中的参数集和SEI消息，并将参数集和SEI消息发送到控制单元201。在深度元信息***视频流并发送的情况下，也包括包含深度元信息的SEI消息。

图形生成单元206生成包括OSD、应用程序、EPG等的与图形相关的图形显示数据和图形叠加位置数据，并将数据提供给渲染器207。

渲染器207基于左眼投影图像和右眼投影图像的图像数据、来自字幕解码器205的字幕显示数据和字幕叠加位置数据、以及来自图形生成单元206的图形显示数据和图形叠加位置数据，生成用于显示其上叠加有字幕和图形的三维图像(立体图像)的左眼图像数据和右眼图像数据。在这种情况下，在控制单元201的控制下，显示区域响应于用户的姿势和操作而交互式地改变。

用于显示由渲染器207获得的三维图像的左眼图像数据和右眼图像数据被提供给缩放单元208。缩放单元208执行缩放，以与显示单元209的显示尺寸匹配。显示单元209显示三维图像(立体图像)，该三维图像的显示区域基于已经历缩放处理的左眼图像数据和右眼图像数据而交互式地改变。

如上所述，在图1所示的发送-接收***10中，当在左眼显示区域图像数据和右眼显示区域图像数据上叠加该叠加信息显示数据(字幕和图形)时，服务接收器200基于深度元信息来控制视差，该深度元信息包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值。因此，当通过使用有效发送的深度信息来叠加和显示叠加信息时，可以容易地实现深度控制。

此外，在图1所示的发送-接收***10中，服务发送***100发送通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息。因此，可以有效地发送宽视角图像中的深度信息。

<2.变形例>

注意，上述实施方式已经示出了容器是MP4(ISOBMFF)的示例。然而，本技术不限于MP4容器，并且类似地适用于其他格式的容器，例如，MPEG-2TS或MMT。

此外，在上述实施方式的描述中，假设投影图像的格式类型是等矩形(参见图3和图5)。如上所述，投影图像的格式类型不限于等矩形，而是可以是另一种格式。

此外，本技术还可以具有以下配置。

(1)一种接收装置，包括：

接收单元，被配置为接收通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息；以及

处理单元，被配置为从通过解码视频流而获得的左眼图片和右眼图片中的每一者的宽视角图像的图像数据中，提取左眼显示区域图像数据和右眼显示区域图像数据，并将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上，用于输出，

其中，当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，处理单元基于深度元信息将视差提供给要叠加在左眼显示区域图像数据和右眼显示区域图像数据中的每一者上的叠加信息数据。

(2)根据上述(1)的接收装置，其中，

接收单元通过使用与视频流相关联的时间元数据流来接收每个图片的深度元信息。

(3)根据上述(1)的接收装置，其中，

接收单元接收处于***到视频流中状态的每个图片的深度元信息。

(4)根据上述(1)至(3)中任一项的接收装置，其中，

当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，处理单元基于与叠加范围对应的预定数量的角度区域的代表性深度值的最小值给出视差，代表性深度值包括在深度元信息中。

(5)根据上述(2)至(3)中任一项的接收装置，其中，

深度元信息还包括位置信息，该位置信息指示预定数量的角度区域的代表性深度值涉及区域中的哪个位置，并且

当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，处理单元基于与叠加范围对应的预定数量的区域的代表性深度值和深度元信息中包括的位置信息给出视差。

(6)根据上述(1)至(5)中任一项的接收装置，其中，

基于预定视点的位置，给出关于角度区域的位置信息，作为偏移信息。

(7)根据上述(1)至(6)中任一项的接收装置，其中，

深度元信息还包括对应于屏幕深度的深度值，作为深度值的基准。

(8)根据上述(1)至(7)中任一项的接收装置，其中，

叠加信息包括字幕和/或图形。

(9)根据上述(1)至(8)中任一项的接收装置，还包括

显示单元，被配置为基于叠加有叠加信息数据的左眼显示区域图像数据和右眼显示区域图像数据来显示三维图像。

(10)根据上述(9)的接收装置，其中，

显示单元包括头戴式显示器。

(11)一种接收方法，包括：

接收通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息；以及

从通过解码视频流而获得的左眼图片和右眼图片中的每一者的宽视角图像的图像数据中，提取左眼显示区域图像数据和右眼显示区域图像数据，并将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上，用于输出，

其中，当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于深度元信息将视差提供给要叠加在左眼显示区域图像数据和右眼显示区域图像数据中的每一者上的叠加信息数据。

(12)根据上述(11)的接收方法，其中，

通过使用与视频流相关联的时间元数据流来接收每个图片的深度元信息。

(13)根据上述(11)的接收方法，其中，

接收处于***到视频流中状态的每个图片的深度元信息。

(14)根据上述(11)至(13)中任一项的接收方法，其中，

当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于与叠加范围对应的预定数量的角度区域的代表性深度值的最小值给出视差，代表性深度值包括在深度元信息中。

(15)根据上述(11)至(14)中任一项的接收方法，其中，

深度元信息还包括位置信息，该位置信息指示预定数量的角度区域的代表性深度值涉及区域中的哪个位置，并且

当将叠加信息数据叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于与叠加范围对应的预定数量的区域的代表性深度值和深度元信息中包括的位置信息给出视差。

(16)根据上述(11)至(15)中任一项的接收方法，其中，

基于预定视点的位置，给出关于角度区域的位置信息，作为偏移信息。

(17)根据上述(11)的接收方法，其中，

深度元信息还包括对应于屏幕深度的深度值，作为深度值的基准。

(18)根据上述(11)至(17)中任一项的接收方法，其中，

叠加信息包括字幕和/或图形。

(19)一种发送装置，包括：

发送单元，被配置为发送通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及每个图片的深度元信息，

其中，深度元信息包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值。

(20)一种发送方法，包括：

发送通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及每个图片的深度元信息，

其中，深度元信息包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值。

本技术的主要特征在于，当将叠加信息显示数据(字幕和图形)叠加在左眼显示区域图像数据和右眼显示区域图像数据上时，基于包括宽视角图像中预定数量的角度区域的位置信息和代表性深度值的深度元信息，给出视差，从而使得当通过使用有效发送的深度信息叠加和显示叠加信息时能够容易地实现深度控制(参见图21、图22和图25)。

附图标记列表

10 发送-接收***

100 服务发送***

101 控制单元

101a 用户操作单元

102L 左相机

102R 右相机

103L、103R 平面封装单元

104 视频编码器

105 深度生成单元

106 深度元信息生成单元

107 字幕生成单元

108 字幕编码器

109 容器解码器

110 发送单元

111 深度传感器

200 服务接收器

201 控制单元

201a UI单元

201b 传感器单元

202 接收单元

203 容器解码器

204 视频解码器

205 字幕解码器

206 图形生成单元

207 渲染器

208 缩放单元

209 显示单元

211L 左眼图像数据生成单元

211R 右眼图像数据生成单元

212 叠加单元

213 深度处理单元

214 深度/视差转换单元。

Claims (20)

1.一种接收装置，包括：

接收单元，被配置为接收通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的所述宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息；以及

处理单元，被配置为从通过解码所述视频流而获得的所述左眼图片和所述右眼图片中的每一者的所述宽视角图像的图像数据中，提取左眼显示区域图像数据和右眼显示区域图像数据，并将叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上，以输出，

其中，当将所述叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上时，所述处理单元基于所述深度元信息将视差提供给要叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据中的每一者上的所述叠加信息数据。

2.根据权利要求1所述的接收装置，其中，

所述接收单元通过使用与所述视频流相关联的时间元数据流，来接收每个图片的所述深度元信息。

3.根据权利要求1所述的接收装置，其中，

所述接收单元接收处于***到所述视频流中的状态的每个图片的所述深度元信息。

4.根据权利要求1所述的接收装置，其中，

当将所述叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上时，所述处理单元基于与叠加范围对应的所述预定数量的角度区域的所述代表性深度值的最小值给出所述视差，所述代表性深度值包括在所述深度元信息中。

5.根据权利要求1所述的接收装置，其中，

所述深度元信息还包括位置信息，所述位置信息指示所述预定数量的角度区域的所述代表性深度值涉及区域中的哪个位置，并且

当将所述叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上时，所述处理单元基于所述深度元信息中包括的与叠加范围对应的所述预定数量的区域的所述代表性深度值和所述位置信息给出所述视差。

6.根据权利要求1所述的接收装置，其中，

基于预定视点的位置，给出关于所述角度区域的所述位置信息，作为偏移信息。

7.根据权利要求1所述的接收装置，其中，

所述深度元信息还包括与屏幕深度对应的深度值，作为深度值的基准。

8.根据权利要求1所述的接收装置，其中，

所述叠加信息包括字幕和/或图形。

9.根据权利要求1所述的接收装置，还包括

显示单元，被配置为基于叠加有所述叠加信息数据的所述左眼显示区域图像数据和所述右眼显示区域图像数据来显示三维图像。

10.根据权利要求9所述的接收装置，其中，

所述显示单元包括头戴式显示器。

11.一种接收方法，包括：

接收通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及包括每个图片的所述宽视角图像中的预定数量的角度区域的位置信息和代表性深度值的深度元信息；以及

从通过解码所述视频流而获得的所述左眼图片和所述右眼图片中的每一者的所述宽视角图像的图像数据中，提取左眼显示区域图像数据和右眼显示区域图像数据，并将叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上，以输出，

其中，当将所述叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上时，基于所述深度元信息将视差提供给要叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据中的每一者上的所述叠加信息数据。

12.根据权利要求11所述的接收方法，其中，

通过使用与所述视频流相关联的时间元数据流，来接收每个图片的所述深度元信息。

13.根据权利要求11所述的接收方法，其中，

以***到所述视频流中的状态接收每个图片的所述深度元信息。

14.根据权利要求11所述的接收方法，其中，

当将所述叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上时，基于与叠加范围对应的所述预定数量的角度区域的所述代表性深度值的最小值给出所述视差，所述代表性深度值包括在所述深度元信息中。

15.根据权利要求11所述的接收方法，其中，

所述深度元信息还包括位置信息，所述位置信息指示所述预定数量的角度区域的所述代表性深度值涉及区域中的哪个位置，并且

当将所述叠加信息数据叠加在所述左眼显示区域图像数据和所述右眼显示区域图像数据上时，基于所述深度元信息中包括的与叠加范围对应的所述预定数量的区域的所述代表性深度值和所述位置信息给出所述视差。

16.根据权利要求11所述的接收方法，其中，

基于预定视点的位置，给出关于所述角度区域的所述位置信息，作为偏移信息。

17.根据权利要求11所述的接收方法，其中，

所述深度元信息还包括与屏幕深度对应的深度值，作为深度值的基准。

18.根据权利要求11所述的接收方法，其中，

所述叠加信息包括字幕和/或图形。

19.一种发送装置，包括：

发送单元，被配置为发送通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及每个图片的深度元信息，

其中，所述深度元信息包括所述宽视角图像中预定数量的角度区域的位置信息和代表性深度值。

20.一种发送方法，包括：

发送通过对左眼图片和右眼图片中的每一者的宽视角图像的图像数据进行编码而获得的视频流、以及每个图片的深度元信息，

其中，所述深度元信息包括所述宽视角图像中预定数量的角度区域的位置信息和代表性深度值。

Images