CN103843330A - 发送设备、发送方法、接收设备以及接收方法 - Google Patents

Abstract

为了使得能够在接收侧实现适当且高效的处理，发送具有预定格式的容器，其中以时间分割方式包含针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流。例如，具有各种格式的容器是适合的，诸如数字广播标准中采用的传输流（MPEG-2TS）和互联网串流中使用的MP4。将包含在容器中的针对每个视图的视频流的配置信息***该容器中。

Description

发送设备、发送方法、接收设备以及接收方法

技术领域

本技术涉及一种发送设备、一种发送方法、一种接收设备以及一种接收方法，具体地涉及一种以时间分割方式发送针对二维图像显示和三维图像显示的相应视图的视频流的发送设备等。

背景技术

一般地，已知显示各种三维图像（立体图像）的各种类型的***。例如，如PTL1中所述，已知如下方法：在显示器上以预定周期交替地显示其间具有视差的左图像和右图像，并使用包括与显示器同步驱动的液晶快门的快门眼镜来观看左图像和右图像。

引用列表

专利文献

PTL1：日本未审专利申请公开No.9-138384号。

发明内容

技术问题

在假定将内容诸如电视节目从广播站发送至用户的电视接收机的情况下，已考虑到切换并显示针对三维（3D）图像显示的多个视图的视频流和针对二维（2D）图像显示的单个视图的视频流。

例如，已考虑如下情况：其中，针对事件（节目）的主要部分发送针对三维图像显示的多个视图的视频流，并针对商业消息（CM）发送针对二维图像显示的单个视图的视频流。另外，例如，已考虑如下情况：其中，针对一定的事件（节目）发送针对二维图像显示的单个视图的视频流，并在针对其他事件（节目）的时段的至少一部分时段内发送针对三维图像显示的多个视图的视频流。

在此情况下，优选的是，用户侧的电视接收机识别从发送侧发送的视频流的配置。换句话说，如果这样的视频流配置的识别是可能的，则可以执行适当且高效的处理。

期望的是，接收侧能够执行适当且高效的处理。

问题的解决方案

本技术提供一种发送设备，包括：

发送单元，所述发送单元发送预定格式的容器，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流；以及

配置信息***单元，所述配置信息***单元将每个视图的包括在所述容器中的视频流的配置信息***所述容器中。

在本技术中，通过发送单元发送预定格式的容器，该预定格式的容器以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流。例如，容器可以是数字广播标准中采用的传输流（MPEG-2TS）。此外，例如，针对三维图像显示的多个视图可以是左视图和右视图这两个视图。

通过配置信息***单元将每个视图的包括在容器中的视频流的配置信息***容器中。例如，该配置信息可以包括用于标识包括在该容器中的视频流是针对二维图像显示的单个视图的视频流还是针对三维图像显示的多个视图的视频流的信息。

此外，例如，该配置信息可以包括表示多个视图的视频流是否被***在单个视频基本流中的信息。此外，例如，该配置信息可以包括表示多个视图的视频流的数据是否被交织在单个画面中的信息。

此外，例如，该配置信息可以包括表示视图分配的信息。此外，例如，该配置信息可以包括表示视频流是否具有二维图像显示所需要的视图的信息。此外，例如，该配置信息可以包括关于预定水平和/或垂直分辨率的像素比信息。

以该方式，在本技术中，每个视图的包括在容器中的视频流的配置信息被***容器中，从而在接收侧适当且高效的处理是可能的。

另外，本技术还可以包括例如***层选择单元，该***层选择单元选择配置信息被***其中的单个层或多个层。例如，容器的层和视频流的层包括在配置信息的***层的选项中。在该情况下，能够将配置信息***在根据服务所需要的层中，并且可以在接收侧实现处理方便。

此外，在本技术中，例如，在该多个视图的视频流被***在单个视频基本流中的情况下，表示视图之间的边界的信息可以位于相应视图的视频流之间。

此外，本技术的其他构思是一种接收设备，包括：

接收单元，所述接收单元接收预定格式的容器，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流，

其中每个视图的包括在所述容器中的视频流的配置信息被***所述容器中，以及

其中所述接收设备还包括图像数据获取单元，所述图像数据获取单元从所述容器中基于所述配置信息对每个视图的视频流进行解码以获取图像数据。

在本技术中，通过接收单元接收预定格式的容器，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流。每个视图的包括在容器中的视频流的配置信息被***在容器中。然后，基于该配置信息来对每个视图的视频流进行解码，并通过图像数据获取单元获得图像数据。此时，基于被***例如在事件单元中或在比所述事件单元小的时间单元中的所述配置信息来确保解码缓冲区域。

例如，当与事件（节目）的整个时段对应地来发送针对二维图像显示的单个视图的视频流时，确保用于单个视图的视频流的缓冲的解码缓冲区域。相比之下，当在针对事件（节目）的时段的至少一部分时段内对应地发送针对三维图像显示的多个视图的视频流时，确保用于多个视图的视频流的缓冲的解码缓冲区域。

在该方式下，在本技术中，基于每个视图的包括在容器中的视频流的配置信息来对每个视图的视频流进行解码以获得图像数据，从而适当且高效的处理是可能的。

本发明的有益效果

根据本技术，在接收侧适当且高效的处理是可能的。

附图说明

图1是示出了作为实施方式的图像发送和接收***的配置示例的框图。

图2是示出了针对三维图像显示的左眼和右眼两个视图的视频流包括在一个或两个视频基本流中的示例的图。

图3是示出了构成图像发送和接收***的广播站的发送数据生成单元的配置示例的框图。

图4是示出了包括有在一个视频基本流中的左眼和右眼两个视图的视频流的AVC流的示例的图。

图5是示出了传输流TS在针对三维图像显示的左眼和右眼两个视图的视频流作为子流包括在一个视频基本流中的情况下的配置示例的图。

图6是示出了传输流TS在针对三维图像显示的左眼和右眼两个视图的视频流分别包括在独立的视频基本流中的情况下的配置示例的图。

图7是示出了传输流TS在针对三维图像显示的左眼和右眼两个视图的视频流包括在分离的视频基本流中的情况下的配置示例的图。

图8是示出了子流配置描述符的结构示例（语法）的图。

图9是示出了“substream_configuration_data()”的结构示例（语法）的图。

图10是示出了“substream_configuration_data()”的结构示例中的每条信息的内容（语义）的图（1/2）。

图11是示出了“substream_configuration_data()”的结构示例中的每条信息的内容（语义）的图（2/2）。

图12是用于说明子流配置数据作为“子流配置SEI消息”***在访问单元的“SEIs”的部分中的图。

图13是示出了“子流配置SEI消息”和“userdata_for_substream_configuration_data()”的结构示例（语法）的图。

图14是示出了“user_data()”的结构示例（语法）的图。

图15是示出了包括在子流配置描述符和子流配置数据中的信息的时间修改示例的图。

图16是示出了包括在子流配置描述符和子流配置数据中的信息的时间修改示例的图。

图17是示出了包括在子流配置描述符和子流配置数据中的信息的时间修改示例的图。

图18是示出了包括在子流配置描述符和子流配置数据中的信息的时间修改示例的图。

图19是示出了构成图像发送和接收***的接收机的配置示例的框图。

具体实施方式

下面描述实现本发明的模式（在后文中称为“实施方式”）。另外，将按照以下顺序进行描述。

1.实施方式

2.修改示例

<1.实施方式>

[图像发送和接收***]

图1示出了作为实施方式的图像发送和接收***10的配置示例。图像发送和接收***10包括广播站100和接收机200。广播站100在广播波上发送作为容器的传输流TS。

针对二维图像显示的单个视图的视频流（图像数据）和针对三维图像显示的多个视图的视频流（图像数据）以时间分割方式包括在传输流TS中。针对三维图像显示的多个视图的视频流包括在一个基本流中从而被发送，或者包括在各个分离的基本流中并被发送。在实施方式中，多个视图表示包括左视图（左图像）和右视图（右图像）的两个视图。

例如，考虑如下情况：其中，针对事件（节目）的主要部分发送针对三维图像显示的左眼和右眼两个视图的视频流，并针对商业消息（CM）发送针对二维图像显示的单个视图的视频流。另外，例如，考虑如下情况：其中，在一定的事件（节目）中仅发送针对二维图像显示的单个视图的视频流，并在其他事件（节目）中在时段的至少一部分时段内发送针对三维图像显示的左眼和右眼两个视图的视频流。

每个视图的包括在传输流TS中的视频流的配置信息被***在传输流TS中。该配置信息包括标识包括在传输流TS中的视频流是针对二维图像显示的单个视图的视频流还是针对三维图像显示的左眼和右眼两个视图的视频流的信息等。

该配置信息被选择性地***在传输流TS的单个层或多个层中。***层的选项包括例如传输流的层。在该情况下，该配置信息被***包括在传输流TS内的节目映射表（PMT）的视频基本环（视频ES环）下或事件信息表（EIT）下等。

此外，***层的选项包括例如视频流的层（画面层和序列层）。在该情况下，配置信息被***视频流的画面头部或序列头部的用户数据区域中等。后续将对配置信息的细节进行描述。

接收机200接收从广播站100在广播波上发送的传输流TS。此外，接收机200提取***在所接收的传输流TS中的配置信息。然后，接收机200基于该配置信息从所接收的传输流TS中获得视频流（图像数据）。

换句话说，当传输流TS包括针对二维图像显示的单个视图的视频流（图像数据）时，接收机200获得单个视图的视频流。此外，当传输流TS包括针对三维图像显示的左眼和右眼两个视图的视频流（图像数据）时，接收机200获得这两个视图的视频流。

图2（a）示出了针对三维图像显示的左眼和右眼两个视图的视频流包括在一个视频基本流中的示例。在该示例中，该视频基本流配置有以PMT的“Stream_Type=0x1b”来发送的AVC流。

图2（b）示出了针对三维图像显示的左眼和右眼两个视图的相应视频流包括在分离的视频基本流中的示例。在该示例中，该视频基本流配置有以PMT的“Stream_Type=0x1b”来发送的MVC的基础视图的流和以PMT的“Stream_Type=0x20”来发送的MVC的非基础视图的流。

图2（c）示出了针对三维图像显示的左眼和右眼两个视图的相应视频流包括在分离的视频基本流中的示例。在该示例中，该视频基本流配置有以PMT的“Stream_Type=0x02”发送的MPEG2视频流和以PMT的“Stream_Type=0x1b”发送的AVC流。

发送数据生成单元的配置示例

图3示出了广播站100中的生成上述传输流TS的发送数据生成单元110的配置示例。发送数据生成单元110包括数据提取单元（存档单元）111、视频编码器112、视差信息编码器113和音频编码器114。此外，发送数据生成单元110包括图形生成单元115、图形编码器116和多路复用器117。

数据记录介质111a例如可拆卸地安装在数据提取单元111上。在传输流TS上发送的预定事件（节目）的视频流（图像数据）和与该视频流（图像数据）对应的语音数据被记录在数据记录介质111a中。

例如，根据事件（节目）将该视频流切换成针对二维图像显示的单个视图的视频流或针对三维图像显示的左眼和右眼两个视图的视频流。此外，例如，甚至在事件（节目）中，根据内容诸如主要部分或商业部分来将图像数据切换成针对三维图像显示的左眼和右眼两个视图的视频流或针对二维图像显示的单个视图的视频流。

当视频流是左眼和右眼两个视图的视频流（图像数据）时，还在数据记录介质111a中与视频流关联地记录视差信息。该视差信息是深度数据或表示左视图（左图像）与右视图（右图像）之间的视差的视差矢量等。通过预定变换使该深度数据能够作为视差矢量被处理。

视差信息是例如通过按照预定数目来分割视图（图像）而获得的每个分割区域的视差信息。使用该视差信息通过调节在接收侧分别叠加在左视图和右视图上的相同的叠加信息（图形信息等）的位置来给出视差。数据记录介质111a是盘形的记录介质或半导体存储器等。数据提取单元111从数据记录介质111a中提取视频流（图像数据）、语音数据和视差信息等，使得将其输出。

视频编码器112对从数据提取单元111输出的视频流执行编码诸如MPEG4-AVC（MVC）和MPEG2视频以获得编码视频数据。此外，当视频流是针对二维图像显示的单个视图的视频流时，视频编码器112通过后阶段中提供的流格式器（未示出）来生成包括作为子流的视频流的视频基本流。

此外，当视频流是针对三维图像显示的左眼和右眼两个视图的视频流时，视频编码器112通过后阶段中提供的流格式器（未示出）来生成包括作为子流的视频流的视频基本流。这里，针对三维图像显示的左眼和右眼两个视图的视频流包括在一个视频基本流中（见图2（a）），或者分别包括在分离的视频基本流中（见图2（b）和（c））。

这里，将对左眼和右眼两个视图的视频流包括在一个视频基本流中的情况进行描述。图4（a）和（b）示出了一个视图的数据（SPS至编码片）被置于每个访问单元的第一半部分中且其他视图的数据（子集SPS至编码片）被置于每个访问单元的第二半部分中的示例。另外，该示例是MPEG4-AVC的编码的示例，并且附图中的十六进制数字表示“NAL单元类型”。

当左眼和右眼两个视图的视频流共同存在于一个视频基本流中时，需要各个视图的画面的边界是可识别的。使得能够仅在一个访问单元的开始处分配访问单元定界符（AUD）。

从而，如图4（b）所示，考虑定义表示视图之间的边界的称为“视图分割标记”的新的NAL单元并将其布置在两个视图的数据之间。从而，可以立即访问每个视图的画面的开始数据。另外，图4（a）示出了两个视图的数据之间未布置“视图分割标记”的示例。

视差信息编码器113生成包括从数据提取单元111输出的视差信息的视差信息基本流。音频编码器114对从数据提取单元111输出的语音数据执行编码诸如MPEG-2音频和AAC以生成音频基本流。

图形生成单元115生成待叠加在图像上的图形信息（包括子标题信息）的数据（图形数据）。图形编码器116生成包括在图形生成单元115中生成的图形数据的图形基本流。这里，图形信息形成叠加信息以及例如标志等。例如，子标题信息是子标题。

图形数据是位图数据。在图形数据中，增加了示出图像上的叠加位置的空闲偏移信息。该空闲偏移信息表示在垂直方向和水平方向上例如从图像左上方的原点到图形信息的叠加位置的左上方处的像素的偏移值。另外，对用于发送作为位图数据的子标题数据的标准进行标准化并将其用作例如作为欧洲数字广播标准的DVB中的“DVB_Subtitling”。

多路复用器117对通过视频编码器112、视差信息编码器113、音频编码器114和图形编码器116所生成的各个基本流进行打包和多路复用使得将其生成为传输流TS。

传输流TS意于在以下时段中具有以下视频基本流：从数据提取单元111提取针对二维图像显示的单个视图的视频流的预定事件的时段或在该事件期间的预定时段。换句话说，在该时段内，传输流TS意于具有一个视频基本流，其中视频流作为子流包括在其中。

此外，在从数据提取单元111提取针对三维图像显示的左眼和右眼两个视图的视频流的预定事件的时段内或在该事件期间的预定时段内，传输流TS意于具有以下的视频基本流。换句话说，在该时段内，传输流TS意于具有包括作为子流的两个视频流的一个视频基本流，或者具有分别包括作为子流的视频流的两个视频基本流。

多路复用器117将上述配置信息***传输流TS中。例如，基于根据用户的选择操作的***层信息来将该配置信息选择性地***传输流TS的单个层或多个层中。例如，作为***层的选项，存在传输流的层和视频流（子流）的层等。

配置信息被***PMT的视频基本回路（视频ES回路）下或传输流的层中的EIT下。此外，配置信息被***视频流内的层（画面层或序列层）中的画面头部或序列头部的用户数据区域中等。后续将对多路复用器117中的配置信息的***的详细描述进行说明。

将简要描述图3所示的发送数据生成单元110的操作。将从数据提取单元111输出的数据流提供至视频编码器112。在该情况下，数据流是针对三维图像显示的左眼和右眼两个视图的数据流或针对二维图像显示的单个视图的数据流。

视频编码器112对该数据流执行编码诸如MPEG4-AVC（MVC）和MPEG2视频，并生成包括编码视频数据的视频基本流从而将其提供至多路复用器117。这里，当提供针对二维图像显示的单个视图的视频流时，生成包括作为子流的视频流的一个视频基本流。

相比之下，当提供针对三维图像显示的左眼和右眼两个视图的视频流时，生成以下视频基本流。换句话说，生成包括两个视图的两个视频流的一个视频基本流、或分别包括两个视图的视频流的两个视频基本流。

此外，当从数据提取单元111输出针对三维图像显示的左眼和右眼两个视图的视频流时，还从数据提取单元111输出与视频流对应的视差信息。将视差信息提供至视差信息编码器113。视差信息编码器113对视差信息执行预定编码以生成包括编码数据的视差信息基本流。将视差信息基本流提供至多路复用器117。

此外，当从数据提取单元111输出视频流时，还从数据提取单元111输出与该视频流对应的语音数据。将该语音数据提供至音频编码器114。该音频编码器114对该语音数据执行编码诸如MPEG-2或MPEG-4音频AAC以生成包括编码音频数据的音频基本流。将该音频基本流提供至多路复用器117。

此外，图形生成单元115生成叠加在与从数据提取单元111输出的视频流对应的图像（视图）上的图形信息（包括子标题信息）的数据（图形数据）。将图形数据提供至图形编码器116。图形编码器116对该图形数据执行预定编码以生成包括编码数据的图形基本流。将该图形基本流提供至多路复用器117。

多路复用器117对从每个编码器提供的基本流进行打包和多路复用以生成传输流TS。此外，多路复用器117将每个视图的包括在传输流TS中的视频流的配置信息***该传输流TS中。

[配置信息及其***]

如上所述，多路复用器117将配置信息***传输流TS中。基于根据用户的选择操作的***层信息来将该配置信息选择性地***传输流TS的单个层或多个层例如传输流的层和视频流的层等中。

当将配置信息***传输流的层中时，包括该配置信息的子流配置描述符（Substream_configuration_descriptor）被***例如PMT的视频基本回路（视频ES回路）下或EIT下。此外，将配置信息***视频流的层中，包括配置信息的子流配置数据（Substream_configuration_data()）被***例如用户数据区域中。

图5示出了传输流TS的配置示例。另外，在该配置示例中，为了简单起见，从图示中省略了视差信息、音频和图形。该配置示例示出了针对三维图像显示的左眼和右眼两个视图的视频流作为子流包括在一个视频基本流中的示例。该视频基本流是以“Stream_Type=0x1b”来发送的AVC流（见图2（a））。该配置示例包括视频基本流的PES包“视频PES1”。该PES包具有左眼和右眼两个视图的数据。

此外，传输流TS包括作为节目特定信息（PSI）的节目映射表（PMT）。PSI是描述包括在传输流中的每个基本流所属于的节目的信息。此外，传输流包括作为服务信息（SI）的事件信息表（EIT），该服务信息（SI）用于执行事件单位的管理。

在PMT中存在具有与每个基本流关联的信息的基本回路。在配置示例中存在视频基本回路（视频ES回路）。信息诸如包标识符（PID）和流类型（Stream_Type）以及描述与基本流关联的信息的描述符被置于基本回路中的每个流处。

在该配置示例中，与每个视图的视频流对应地将子流配置数据（Substream_configuration_data()）***视频基本流的用户数据（user_data）区域中。此外，在该配置示例中，子流配置描述符（Substream_configuration_descriptor()）被***PMT的视频基本循环（视频ES循环）中。另外，还考虑了将子流配置描述符***EIT下。

图6还示出了传输流TS的配置示例。另外，在该配置示例中，为了简单起见，从图示中省略了视差信息、音频和图形。该配置示例示出了针对三维图像显示的左眼和右眼两个视图的视频流分别包括在分离的视频基本流中的示例。两个视频基本流是以“Stream_Type=0x1b”来发送的MVC的基础视图的流和以“Stream_Type=0x20”来发送的MVC的非基础视图的流（见图2（b））。该配置示例包括视频基本流的PES包“视频PES1”和PES包“视频PES2”，并且每个PES包具有左眼和右眼两个视图的数据。

此外，传输流TS包括作为节目特定信息（PSI）的节目映射表（PMT）。PSI是描述包括在传输流中的每个基本流所属于的节目的信息。此外，传输流包括作为服务信息（SI）的事件信息表（EIT），该服务信息（SI）用于执行事件单位的管理。

在PMT中存在具有与每个基本流关联的信息的基本回路。在配置示例中存在视频基本回路（视频ES回路）。信息诸如包标识符（PID）和流类型（Stream_Type）以及描述与基本流关联的信息的描述符被置于基本回路中的每个流处。

在该配置示例中，子流配置数据（Substream_configuration_data()）被***每个视频基本流的用户数据（user_data）区域中。此外，在该配置示例中，子流配置描述符（Substream_configuration_descriptor）在每个流处被***PMT的视频基本回路（视频ES循环）中。另外，还考虑：将子流配置描述符***EIT下。

图7还示出了传输流TS的配置示例。另外，在该配置示例中，为了简单起见，从图示中省略了视差信息、音频和图形。该配置示例示出了针对三维图像显示的左眼和右眼两个视图的视频流分别包括在分离的视频基本流中的示例。两个视频基本流是以“Stream_Type=0x02”来发送的MPEG2视频流和以“Stream_Type=0x1b”来发送的AVC流（见图2（c））。该配置示例包括视频基本流的PES包“视频PES1”和PES包“视频PES2”，并且每个PES包具有左眼和右眼两个视图的数据。

此外，传输流TS包括作为节目特定信息（PSI）的节目映射表（PMT）。PSI是描述包括在传输流中的每个基本流所属于的节目的信息。此外，传输流包括作为服务信息（SI）的事件信息表（EIT），该服务信息（SI）用于执行事件单位的管理。

在PMT中存在具有与每个基本流关联的信息的基本回路。在配置示例中存在视频基本回路（视频ES回路）。信息诸如包标识符（PID）和流类型（Stream_Type）以及描述与基本流关联的信息的描述符被置于基本流中的每个流处。

在该配置示例中，子流配置数据（Substream_configuration_data()）被***每个视频基本流的用户数据（user_data）区域中。此外，在该配置示例中，子流配置描述符（Substream_configuration_descriptor）在每个流处被***PMT的视频基本循环（视频ES循环）中。另外，还考虑：将子流配置描述符***EIT下。

图8示出了子流配置描述符的结构示例（语法）。“substream_configuration_tag”是表示描述符类型的8位数据，并且在本文中表示描述符类型是子流配置描述符。“substream_configuration_data_length”是表示描述符的长度（大小）的8位数据。该数据表示后面要描述的“substream_configuration_data()”的字节数。

图9示出了“substream_configuration_data()”的结构示例（语法）。图10和图11示出了图9所示的结构示例中的每条信息的内容（语义）。一位字段“3D_flag”表示待编码的视频是否为3D。“1”表示待编码的视频为3D，即，具有针对三维（3D）图像显示的左眼和右眼两个视图的视频流包括在传输流TS中。相比之下，“0”表示待编码的视频不是3D而是2D，即，针对二维（2D）图像显示的单个视图的视频流包括在传输流TS中。

此外，当确立了“3D_flag=1”时存在以下信息。1位字段“single_view_es_flag”表示是否仅一个视图被编码在一个视频基本流中。换句话说，该1位字段“single_view_es_flag”表示是否多个视图的视频流（子流）被***一个视频基本流中。“1”表示仅一个视图被编码在一个视频基本流中。相比之下，“0”表示两个或更多个视图被编码在一个视频基本流中。

1位字段“View_interleaving_flag”表示是否多个视图的视频流的数据被交织在一个画面中。“1”表示该数据被交织。相比之下，“0”表示该数据未被交织。

3位字段“view_allocation”表示视图的视频流的视图分配。“001”表示视图对应于立体视图配置的右视图。“010”表示视图对应于多视图配置的中心视图或2D的视图。“011”表示与在多视图配置时的“最右视图”“001”相比更接近中心的右视图。

“100”表示视图对应于立体视图配置的左视图。“101”表示一个画面配置有多个视图数据，并表示左视图和右视图被并排布置的画面。这仅在确立了“View_interleaving_flag=1”时是有效的。

“110”表示与在多视图配置时的“最左视图”“100”相比更接近中心的左视图。“111”表示一个画面配置有多个视图数据，并表示左视图、中心视图和右视图共同存在于水平分割位置处的画面。这仅在确立了“View_interleaving_flag=1”时是有效的。

1位字段“display_prompting_flag”表示在执行2D显示时的显示是否需要该视图。“1”表示显示需要该视图。相比之下，“0”表示显示不需要该视图。

4位字段“indication_of_picture_size_scaling_horizontal”表示针对全HD（1920）的解码画面的水平像素比。“0000”、“0001”、“0010”、“0011”、“0100”、“0101”、“0110”和“0111”分别表示100%、80%、75%、66%、50%、33%、25%和20%。

4位字段“indication_of_picture_size_scaling_vertical”表示针对全HD（1080）的解码画面的垂直像素比。“0000”、“0001”、“0010”、“0011”、“0100”、“0101”、“0110”和“0111”分别表示100%、80%、75%、66%、50%、33%、25%和20%。

另外，解码画面最终被显示的比取决于再现装备。例如，在电视接收机（TV）的情况下，考虑：L/R在后续阶段被频繁缩放至100%。此外，例如，在机顶盒（STB）的情况下，当解码画面使用数字接口诸如HDMI被发送至电视接收机（TV）时，L/R在水平方向上被缩放至50%使得作为并排画面来发送。

接下来，将描述如下情况：将子流配置数据（Substream_configuration_data()）***视频基本流的用户数据区域中。在该情况下，子流配置数据使用用户数据区域被***例如画面的单元中或GOP的单元中。

例如，当编码方法是AVC时，子流配置数据作为“子流配置SEI消息”被***访问单元的“SEIS”的部分中。图12（a）示出了画面组（Groupof Pictures，GOP）的开始部分的访问单元。图12（b）示出了除GOP的开始部分以外的访问单元。当子流配置数据被***GOP的单元中时，“子流配置SEI消息”仅被***GOP的开始部分的访问单元中。

图13（a）示出了“子流配置SEI消息”的结构示例（语法）。“uuid_iso_iec_11578”具有通过“ISO/IEC11578:1996AnnexA”表示的UUID值。“userdata_for_substream_configuration_data()”被***字段“user_data_payload_byte”中。图13(b)示出了“userdata_for_substream_configuration_data()”的结构示例（语法），并且子流配置数据（Substream_configuration_data()）被***其中（参照图9）。“stream_association_id”是子流配置数据的标识符，其用无符号16位来表示。

此外，例如，当编码方法是MPEG2视频时，子流配置数据作为用户数据“user_data()”被***画面头部部分的用户数据区域中。图14(a)示出了“user_data()”的结构示例（语法）。32位字段“user_data_start_code”是用户数据（user_data）的开始代码并且具有“0x000001B2”的固定值。

在开始代码之后的32位字段是用于标识用户数据的内容的标识符。这里，该标识符是表示用户数据是子流配置数据的“Stereo_Video_Format_Signaling_identifier”。作为该标识符之后的数据主体，“substream_configuration_information()”作为流关联信息被***。图14(b)示出了“substream_configuration_information()”的示例结构（语法），并且该子流配置数据（Substream_configuration_data()）被***其中（见图9）。

如上所述，在图2所示的发送数据生成单元110中，多路复用器117能够将每个视图的包括在传输流TS中的视频流的配置信息（Substream_configuration_data()）***传输流TS中。因此，接收侧能够基于该配置信息来执行适当且高效的处理。

此外，图2中的发送数据生成单元110能够将子流配置数据（Substream_configuration_data()）作为配置信息选择性***传输流的层以及视频流的层的单个或多个层中。因此，可以将配置信息***根据服务所需要的层中，从而可以在接收侧实现处理方便。

例如，包括子流配置数据的子流配置描述符在事件单位或时间内被置于静态或动态使用序列中的适当位置处。另外，通过使用用户数据区域等作为在画面单位或场景单位（对应于随机访问）中进行动态切换时的信令将子流配置数据置于视频基本流中的适当位置处。

图15示出了包括在***传输流的层中的子流配置描述符内或***视频流的层中的子流配置数据内的信息的时间修改示例。该示例示出了针对三维图像显示的左眼和右眼两个视图的视频流被包括在一个视频基本流中的示例（见图2（a）和图5）。在该示例中，一个视频基本流是以“Stream_Type=0x1b”来发送的AVC流。

该示例示出了事件1“EVENT_1”、事件2“EVENT_2”和事件3“EVENT_3”的视频流（图像数据）以此顺序来发送的例子。整个事件1“EVENT_1”是2D服务的事件。在事件1“EVENT_1”的服务时段内，在传输流TS中发送包括针对二维图像显示的单个视图的视频流的一个视频基本流。

事件2“EVENT_2”是包括3D服务的事件。在事件2“EVENT_2”的2D服务时段内，在传输流TS中发送包括针对二维图像显示的单个视图的视频流的一个视频基本流。此外，在事件2“EVENT_2”的3D服务时段内，在传输流TS中发送包括针对三维图像显示的左眼和右眼两个视图的视频流的一个视频基本流。

与事件1“EVENT_1”类似，整个事件3“EVENT_3”是2D服务的事件。在事件3“EVENT_3”的服务时段内，在传输流TS中发送包括针对二维图像显示的单个视图的视频流的一个视频基本流。

在该示例中，子流配置描述符被***EIT下，并且配置信息的内容以事件单位被改变。例如，在事件1“EVENT_1”和事件3“EVENT_3”中，“3D_flag=0”，使得表示出这些事件都是2D服务而不包括3D服务。此外，在事件2“EVENT_2”中，“3D_flag=1”，使得表示出该事件包括3D服务。接收侧能够通过“3D_flag”的信息来执行适当的控制以确保例如在事件的单位中所需要的解码缓冲区域。

此外，与每个视图的视频流对应的子流配置数据被***视频基本流的用户数据区域中，并且配置信息的内容在画面单位或GOP单位中被改变。例如，在事件1“EVENT_1”和事件3“EVENT_3”中，“3D_flag=0”，使得表示出这些事件都是2D服务。

此外，在事件2“EVENT_2”中，在3D服务时段内，“3D_flag=1”，并且在2D服务时段内，“3D_flag=0”，使得表示出这些事件在画面单位中或在GOP单位中是3D服务还是2D服务。接收侧能够通过“3D_flag”的信息来对接收处理执行适当的切换控制。

此外，在这时，接收侧通过“display_prompting_flag”的信息能够了解在3D服务时段内2D显示是可能的，并且能够了解在这是可能的情况下应当显示哪个视图，从而对2D显示执行适当的控制。

此外，在该示例中，例如，在事件2“EVENT_2”的第一3D服务时段内，“2D_display_allowed”，即2D显示是可能的，并且“2D_display=view0”，即显示2D显示中的左视图（View0）。在3D服务时段内，针对左视图（View0）将上述“display_prompting_flag”置1并且针对右视图（View1）将其置0。

此外，在该示例中，例如，在事件2“EVENT_2”的第二3D服务时段内，“2D_display_allowed”，即2D显示是可能的，并且2D_display=view1，即显示2D显示中的右视图（View0）。在3D服务时段内，针对右视图（View1）将上述“display_prompting_flag”置1并且针对左视图（View0）将其置0。

图16还示出了包括在***传输流的层中的子流配置描述符内或***视频流的层中的子流配置数据内的信息的时间修改示例。该示例示出了针对三维图像显示的左眼和右眼两个视图的视频流被分别包括在分离的视频基本流中的示例（见图2（b）和图6）。在该示例中，两个视频基本流是以“Stream_Type=0x1b”来发送的MVC的基础视图的流和以PMT的“Stream_Type=0x20”来发送的MVC的非基础视图的流。

该示例示出了事件1“EVENT_1”、事件2“EVENT_2”和事件3“EVENT_3”的视频流（图像数据）以此顺序来发送的例子。整个事件1“EVENT_1”是2D服务的事件。在事件1“EVENT_1”的服务时段内，在传输流TS中发送包括针对二维图像显示的单个视图的视频流的一个视频基本流。

事件2“EVENT_2”是包括3D服务的事件。在事件2“EVENT_2”的2D服务时段内，在传输流TS中发送包括针对二维图像显示的单个视图的视频流的一个视频基本流。此外，在事件2“EVENT_2”的3D服务时段内，在传输流TS中发送分别包括针对三维图像显示的左眼和右眼两个视图的视频流的分离的视频基本流。

与事件1“EVENT_1”类似，整个事件3“EVENT_3”是2D服务的事件。在事件3“EVENT_3”的服务时段内，在传输流TS中发送包括针对二维图像显示的单个视图的视频流的一个视频基本流。

在该示例中，子流配置描述符被***EIT下，并且配置信息的内容以事件单位被改变。例如，在事件1“EVENT_1”和事件3“EVENT_3”中，“3D_flag=0”，使得表示出这些事件都是2D服务而不包括3D服务。此外，在事件2“EVENT_2”中，“3D_flag=1”，使得表示出该事件包括3D服务。接收侧能够使用“3D_flag”的信息执行适当的控制以确保在事件单位中例如所需要的解码缓冲区域。

此外，与每个视图的视频流对应的子流配置数据被***每个视频基本流的用户数据区域中，并且配置信息的内容在画面单位或GOP单位中被改变。例如，在事件1“EVENT_1”和事件3“EVENT_3”中，“3D_flag=0”，使得表示出这些事件都是2D服务。

此外，在事件2“EVENT_2”中，在3D服务时段内，“3D_flag=1”，并且在2D服务时段内，“3D_flag=0”，使得表示出这些事件在画面单位中或在GOP单位中是3D服务还是2D服务。接收侧能够通过“3D_flag”的信息来对接收处理执行适当的切换控制。

此外，在这时，接收侧通过“display_prompting_flag”的信息能够了解在3D服务时段内2D显示是可能的，并且能够了解在这是可能的情况下应当显示哪个视图，从而对2D显示执行适当的控制。在该示例中，与图15的示例类似，表示出在3D服务时段内“2D_display_allowed”，换句话说，2D显示是可能的。

图17还示出了包括在***传输流的层中的子流配置描述符内或***视频流的层中的子流配置数据内的信息的时间修改示例。该示例示出了针对三维图像显示的左眼和右眼两个视图的视频流被分别包括在分离的视频基本流中的示例（见图2（c）和图7）。在该示例中，两个视频基本流是以“Stream_Type=0x02”来发送的MPEG2视频流的流和以PMT的“Stream_Type=0x1b”来发送的AVC流的流。尽管省略了描述，然而其他内容与图16的示例中的内容相同。

图18还示出了包括在***传输流的层中的子流配置描述符内或***视频流的层中的子流配置数据内的信息的时间修改示例。该示例示出了针对三维图像显示的左眼和右眼两个视图的视频流被分别包括在分离的视频基本流中的示例（见图2（b）和图6）。

即使在该示例中，与上述每个示例类似地，接收侧能够通过“3D_flag”的信息来执行适当的控制以切换接收处理。此外，在这时，接收侧通过“display_prompting_flag”的信息能够了解在3D服务时段内2D显示是可能的以及在这是可能的情况下应当显示哪个视图，从而对2D显示执行适当的控制。

在该示例中，例如，在事件2“EVENT_2”的每个3D服务时段内，2D_display_NOTallowed，即不允许2D显示从而2D显示是不可能的。在3D服务时段内，针对左视图（View0）和右视图（View1）二者将上述“display_prompting_flag”置1。

尽管未详细描述，但其他内容与图16的示例中的内容相同。

接收机的配置示例

图19示出了接收机200的配置示例。该接收机200包括CPU201、快闪ROM202、DRAM203、内部总线204、远程控制接收单元205和远程控制发送器206。此外，接收机200包括天线端子211、数字调谐器212、传输流缓冲器（TS缓冲器）213和多路解复用器214。

此外，接收机200包括编码缓冲器215、视频解码器216a和216b、视频缓冲器217a和217b、缩放器218a和218b，以及视频叠加单元（显示缓冲器）219a和219b。此外，接收机200包括图形解码器221、图形生成单元222、视差信息解码器223、图形缓冲器224a和224b、音频解码器225和通道处理单元226。

CPU201控制接收机200的每个单元的操作。快闪ROM202存储控制软件和数据。DRAM203形成CPU201的工作区域。CPU201发展从快闪ROM202读取到DRAM203上的软件和数据以激活软件并控制接收机200的每个单元。远程控制接收单元205接收从远程控制发送器206发送的远程控制信号（远程控制代码）从而将其提供至CPU201。CPU201基于该远程控制代码来控制接收机200的每个单元。CPU201、快闪ROM202和DRAM203连接至内部总线204。

天线端子211是输入在接收天线（未示出）中接收到的电视广播信号的端子。数字调谐器212对输入至天线端子211的电视广播信号进行处理，并输出与用户的选择通道对应的预定传输流（位流数据）TS。传输流缓冲器（TS缓冲器）213临时累积从数字调谐器212输出的传输流TS。

如上所述，传输流TS包括针对二维图像显示的单个视图的视频流或针对三维图像显示的左眼和右眼两个视图的视频流。另外，左眼和右眼两个视图的视频流被包括在一个视频基本流中或分别包括在分离的视频流中。如上所述，每个视图的包括在传输流TS中的视频流的配置信息被***在该传输流TS中。

换句话说，基于根据用户的选择操作的***层信息来将该配置信息选择性地***传输流TS的单个层或多个层例如传输流的层、视频流的层等中。当将配置信息***传输流的层中时，例如，包括该配置信息的子流配置描述符被***PMT的视频基本回路（视频ES回路）下或EIT下。此外，当将配置信息***视频流的层中时，例如，包括配置信息的子流配置数据被***用户数据区域中。

多路解复用器214从临时累积在TS缓冲器213中的传输流TS提取视频、视差信息、图形和音频的每个基本流。仅当包括在传输流TS中的视频基本流包括针对三维图像显示的左眼和右眼两个视图的视频流（图像数据）时才提取视差信息基本流。在多路解复用器214中提取的一个或两个视频基本流被临时累积在编码缓冲器215中。

传输流TS以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流（图像数据）。针对三维图像显示的左眼和右眼两个视图的视频流在被包括在一个基本流中的情况下来发送，或在被包括在各个分离的基本流中的情况下来发送。

例如，考虑如下情况：其中，针对事件（节目）的主要部分发送针对三维图像显示的左眼和右眼两个视图的视频流，并针对商业消息（CM）发送针对二维图像显示的单个视图的视频流。另外，例如，考虑如下情况：其中，在一定的事件（节目）中发送针对二维图像显示的单个视图的视频流，并在其他事件（节目）中的时段的至少一部分时段内发送针对三维图像显示的左眼和右眼两个视图的视频流。

此外，多路解复用器214提取被***在传输流TS的层下例如PMT的视频基本回路下或EIT下的子流配置描述符，使得将其提供至CPU201。如上所述，每个视图的包括在传输流TS中的视频流的配置信息（Substream_configuration_data()）（见图9）被***在该描述符中。

如上所述，表示待编码视频是否为3D的1位字段“3D_flag”存在于配置信息中。CPU201基于例如被***EIT下的子流配置描述符的“3D_flag”执行控制以在事件（节目）的单位中确保所需区域，作为编码缓冲器215的区域（解码缓冲区域）。换句话说，在表示事件包括3D服务的“3D_flag=1”的情况下，确保3D的缓冲空间。相比之下，在表示整个事件是2D服务的“3D_flag=0”的情况下，确保用于2D的缓冲空间。

视频解码器216a和216b在CPU201的控制下对存储在编码缓冲器215中的视频基本流执行解码处理以获得预定视图的视频流（图像数据）。这里，视频解码器216a获得针对二维图像显示的视图的视频流或针对三维图像显示的左视图的视频流。相反，视频解码器216b获得针对三维图像显示的右视图的视频流。

此外，视频解码器216a和216b使用视频流的层例如用户数据区域来提取被***画面单位或GOP单位中的子流配置数据（Substream_configuration_data()）从而将其提供至CPU201。如上所述，每个视图的包括在传输流TS中的视频流的配置信息（见图9）被***数据中。

如上所述，表示待编码视频是否为3D的1位字段“3D_flag”存在于配置信息中。此外，存在表示是否仅一个视图被编码在一个视频基本流中的1位字段“single_view_es_flag”。在配置信息中存在表示视图分配的3位字段“view_allocation”。CPU201基于该信息控制在画面单位或GOP单位中的视频解码器216a和216b的操作。

例如，当一个视图的数据配置有一个基本流时，CPU201能够通过被描述在与每个流对应的描述符中或在基本流内的用户数据中的3位字段“view_allocation”来识别左视图和右视图（见图6和图7）。另外，例如，当两个视图的数据配置有一个基本流时，CPU201能够通过被描述在基本流内的用户数据中的3位字段“view_allocation”来识别左视图和右视图（见图5）。

从而，在2D服务时段内，通过视频解码器216a获得针对二维图像显示的视图的视频流（图像数据）。此外，在3D服务时段内，通过视频解码器216a获得针对三维图像显示的左视图的视频流（图像数据），并且通过视频解码器216b获得针对三维图像显示的右视图的视频流（图像数据）。

此外，在配置信息中存在表示在执行2D显示时的显示是否需要每个视图的1位字段“display_prompting_flag”。当用户在3D服务时段内选择2D显示模式时，CPU201基于该信息来控制视频解码器216a和216b的操作。

换句话说，当存在显示所需要的视图并且2D显示是可能的时，通过视频解码器216a来获得显示所需要的视图（左视图或右视图）的视频流（图像数据）。相比之下，当不存在显示所需要的视图且不允许2D显示时，用户对2D显示模式的选择是无效的，并且通过视频解码器216a和216b分别获得左眼和右眼的各个视图的视频流（图像数据）。

视频缓冲器217a和217b临时累积通过视频解码器216a和216b所获得的各个视图的视频流（图像数据）。

图形解码器221执行上述发送数据生成单元110的图形编码器116（见图3）的相反处理。换句话说，图形解码器221对包括在通过多路解复用器214所提取的图形基本流中的编码图形数据执行解码处理以获得解码图形数据（包括子标题数据）。

视差信息解码器223执行上述发送数据生成单元110的视差信息编码器113（见图3）的相反处理。换句话说，视差信息解码器223对包括在通过多路解复用器214所提取的视差信息基本流中的编码视差信息执行解码处理以获得解码视差信息。该视差信息是深度数据或表示左视图（左图像）与右视图（右图像）之间的视差的视差矢量等。深度数据变得能够通过预定转换作为视差矢量来被处理。该视差信息是例如通过按照预定数目来分割视图（图像）所获得的每个分割区域的视差信息。

图形生成单元222基于通过图形解码器221所获得的图形数据来生成待叠加在视图（图像）上的图形信息的数据。图形生成单元222在3D服务（除2D显示模式之外）时生成分别待叠加在左视图和右视图上的图形信息的数据。在该情况下，图形生成单元222基于通过视差信息解码器223所获得的视差信息通过调节图形信息待叠加在每个视图上的叠加位置来给出视差。此外，图形生成单元222在2D服务（包括3D服务时的2D显示模式）时生成待叠加在针对二维图像显示的视图上的图形信息的数据。

图形缓冲器224a临时累积在图形生成单元222中在3D服务（除2D显示模式之外）时生成的待叠加在左视图上的图形信息的数据。此外，图形缓冲器224a临时累积在服务图形生成单元222中在2D服务（包括3D服务时的2D显示模式）时生成的待叠加在针对二维图像显示的视图上的图形信息的数据。此外，图形缓冲器224b临时累积在图形生成单元222中在3D服务（除2D显示模式之外）时生成的待叠加在右视图上的图形信息的数据。

缩放器218a和218b分别将从视图缓冲器217a和217b输出的各个视图的视频流（图像数据）的输出分辨率调节至预定分辨率。在上述配置信息中存在表示解码画面的水平像素比的4位字段“indication_of_picture_size_scaling_horizontal”和表示解码画面的垂直像素比的4位字段“indication_of_picture_size_scaling_vertical”。CPU201基于像素比信息来控制缩放器218a和218b中的缩放比，并获得预定分辨率。

视频叠加单元219a输出用于显示在3D服务（除2D显示模式之外）时图形信息叠加在其上的左视图（左图像）的视频流（图像数据）SL。在这时，视频叠加单元219a将在图形缓冲器224a中累积的图形信息的数据叠加在累积在视图缓冲器217a中并在缩放器218a中经历了缩放处理的左视图的视频流上以获得视频流SL。

此外，视频叠加单元219a输出用于显示在2D服务（包括3D服务时的2D显示模式）时图形信息叠加在其上的针对二维图像显示的视图的视频流（图像数据）SV。在这时，视频叠加单元219a将在图形缓冲器224a中累积的图形信息的数据叠加在累积在视图缓冲器217a中并在缩放器218a中经历了缩放处理的针对二维图像显示的视图的视频流上以获得视频流SV。

此外，视频叠加单元219b输出用于显示在3D服务（除2D显示模式之外）时图形信息叠加在其上的右视图（右图像）的视频流（图像数据）SR。在这时，视频叠加单元219b将在图形缓冲器224b中累积的图形信息的数据叠加在累积在视图缓冲器217b中并在缩放器218b中经历了缩放处理的右视图的视频流上以获得视频流SR。

音频解码器225执行上述发送数据生成单元110的音频编码器114（见图3）的相反处理。换句话说，音频解码器225对包括在通过多路解复用器214所提取的音频基本流中的编码语音数据执行解码处理以获得解码语音数据。通道处理单元226针对在音频解码器225中所获得的语音数据生成并输出每个通道的语音数据SA以产生例如5.1通道环绕等。

另外，如果从视图缓冲器217a和217b中读取每个视图的视频流（图像数据），则基于时间戳PTS来执行读取与来自图形缓冲器224a和224b的每个视图对应的图形信息的数据，从而实现传送同步。

将简要描述接收机200的操作。将输入至天线端子211的电视广播信号提供至数字调谐器212。数字调谐器212对该电视广播信号进行处理以输出与用户的选择通道对应的预定传输流TS。将传输流TS临时累积在TS缓冲器213中。

多路解复用器214从临时累积在TS缓冲器213中的传输流TS提取视频、视差信息、图形和音频的每个基本流。仅当包括在传输流TS中的视频基本流包括针对三维图像显示的左眼和右眼两个视图的视频流（图像数据）时才提取视差信息基本流。

此外，多路解复用器214提取被***在传输流TS的层下例如PMT的视频基本回路下或EIT下的子流配置描述符，使得将其提供至CPU201。CPU201基于描述符执行控制以在事件（节目）的单位中确保作为编码缓冲器215的区域（解码缓冲区域）的所需区域。另外，考虑：在比事件单位小的时间单位例如场景单位中执行用于确保解码缓冲区域的控制。在该情况下，例如，能够在比事件单位小的时间单位中基于被***视频流的层中的子流配置数据（Substream_configuration_data()）来执行该控制。

将通过多路解复用器214所提取的视频基本流临时累积在编码缓冲器215中。视频解码器216a和216b对存储在编码缓冲器215中的视频基本流执行解码处理以获得预定视图的视频流（图像数据）。这里，视频解码器216a获得针对二维图像显示的视图的视频流或针对三维图像显示的左视图的视频流。相比之下，视频解码器216b获得针对三维图像显示的右视图的视频流。

此后，视频解码器216a和216b使用视频流的层例如用户数据区域来提取被***画面的单位或GOP的单位中的子流配置数据（Substream_configuration_data()）使得将其提供至CPU201。CPU201基于该数据来控制在画面的单位或在GOP的单位中的视频解码器216a和216b等的操作。

下面，将首先对3D服务时的操作（除2D显示模式以外）进行描述。从视频解码器216a获得针对三维图像显示的左视图的视频流（图像数据），并且将该视频流临时累积在视频缓冲器217a中。此外，从视频解码器216b获得针对三维图像显示的右视图的视频流（图像数据），并且将该视频流临时累积在视频缓冲器217b中。

将通过多路解复用器214所提取的图形基本流提供至图形解码器221。图形解码器221对包括在图形基本流中的编码图形数据执行解码处理以获得解码图形数据（包括子标题数据）。将图形数据提供至图形生成单元222。

将通过多路解复用器214所提取的视差信息基本流提供至视差信息解码器223。视差信息解码器223对包括在视差信息基本流中的编码视差信息执行解码处理以获得解码视差信息。将视差信息提供至图形生成单元222。

图形生成单元222基于通过图形解码器221所获得的图形数据生成待叠加在图像上的图形信息的数据。在该情况下，图形生成单元222基于在视差信息解码器223中所获得的视差信息通过调节图形信息待叠加在左视图（左图像）和右视图（右图像）中的每个视图上的叠加位置来给出视差。

将在图形生成单元222中生成并且待叠加在左视图上的图形信息的数据临时累积在图形缓冲器224a中。此外，将在图形生成单元222中生成并且待叠加在右视图上的图形信息的数据临时累积在图形缓冲器224b中。

视频叠加单元219a将累积在图形缓冲器224a中的图形信息的数据叠加在被累积在视图缓冲器217a中并在缩放器218a中经历了缩放处理的左视图的视频流（图像数据）上以获得左视图的视频流（图像数据）SL。输出该视频流SL作为用于显示图形信息叠加在其上的左视图（左图像）的视频流。

此外，视频叠加单元219b将在图形缓冲器224b中累积的图形信息的数据叠加在累积在视图缓冲器217b中并在缩放器218b中经历了缩放处理的右视图的视频流（图像数据）上以获得右视图的视频流（图像数据）SR。输出该视频流SR作为用于显示图形信息叠加在其上的右视图（左图像）的视频流。

接下来将对2D服务时的操作（包括3D服务时的2D显示模式）进行描述。从视频解码器216a获得针对二维图像显示的视图的视频流（图像数据），并且将该视频流临时累积在视图缓冲器217a中。

将在多路解复用器214中提取的图形基本流提供至图形解码器221。图形解码器221对包括在图形基本流中的编码图像数据执行解码处理以获得解码图形数据（包括子标题）。将图形数据提供至图形生成单元222。

图形生成单元222基于在图形解码器221中所获得的图形数据生成待叠加在视图（图像）上的图形信息的数据。将该图形信息的数据临时累积在图形缓冲器224a中。

视频叠加单元219a将累积在图形缓冲器224a中的图形信息的数据叠加在被累积在视图缓冲器217a中并在缩放器218a中经历了缩放处理的针对二维图像显示的视图的视频流（图像数据）上以获得针对二维图像显示的视图的视频流（图像数据）SV。输出该视频流SV作为用于显示图形信息叠加在其上的针对二维图像显示的视图（图像）的视频流。

此外，将通过多路解复用器214所提取的音频基本流提供至音频解码器225。音频解码器225对包括在音频基本流中的编码语音数据执行解码处理以获得解码语音数据。将语音数据提供至通道处理单元226。通道处理单元226针对语音数据生成并输出每个声道的语音数据SA以产生例如5.1声道环绕等。

另外，在图19所示的接收机200中，编码缓冲器215被示出为一个块。尽管以上未描述，但是编码缓冲器215可以具有两个方面，包括：由两个视频解码器216a和216b根据基本流配置来共享编码缓冲器215的一个方面，以及通过以被各个视频解码器216a和216b占用的形式将编码缓冲器分割成两部分来管理的另一方面。

如上所述，包括每个视图的视频流的配置信息在内的子流配置描述符和子流配置数据被***在通过图19所示的接收机200所接收到的传输流TS中。在接收机200中，基于配置信息来控制每个单元的处理。因此，适当且高效的处理是可能的。

<2.修改示例>

另外，在上述实施方式中，本技术被应用于处理左眼和右眼两个视图的示例。然而，当然，即便在处理多视图的情况下，也能够类似地应用本技术。

另外，在上述实施方式中，描述了容器为传输流（MPEG-2TS）的示例。然而，本技术能够类似地甚至应用于如下配置的***：其中使用网络诸如因特网来将容器递送至接收端子。在通过因特网的递送中，可能在MP4或其他格式的容器中递送传输流TS。换句话说，容器对应于可变格式的容器，诸如数字广播标准中所采用的传输流（MPEG-2TS）、在通过因特网的递送中使用的MP4。

此外，尽管在上述实施方式中描述了叠加信息是图形的示例，但是类似地考虑其他类型的叠加信息诸如隐藏式字幕的情况。而且，尽管上述实施方式中描述了从发送侧发送图像数据以及图形数据的示例，但是考虑叠加信息的数据是在接收侧生成的OSD显示的情况。

此外，本技术能够采用以下配置。

（1）一种发送设备，包括：

发送单元，所述发送单元发送预定格式的容器，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流；以及

配置信息***单元，所述配置信息***单元将每个视图的包括在所述容器中的视频流的配置信息***所述容器中。

（2）根据（1）所述的发送设备，还包括：

***层选择单元，所述***层选择单元选择所述配置信息被***其中的单个层或多个层。

（3）根据（2）所述的发送设备，

其中所述容器的层和所述视频流的层包括在所述配置信息的***层的选项中。

（4）根据（1）至（3）中任一项所述的发送设备，

其中所述配置信息包括标识包括在所述容器中的视频流是针对所述二维图像显示的单个视图的视频流还是针对所述三维图像显示的多个视图的视频流的信息。

（5）根据（1）至（4）中任一项所述的发送设备，

其中所述配置信息包括表示所述多个视图的视频流是否被***在单个视频基本流中的信息。

（6）根据（1）至（5）中任一项所述的发送设备，

其中所述配置信息包括表示所述多个视图的视频流的数据是否被交织在单个画面中的信息。

（7）根据（1）至（6）中任一项所述的发送设备，

其中所述配置信息包括表示视图分配的信息。

（8）根据（1）至（7）中任一项所述的发送设备，

其中所述配置信息包括表示视频流是否具有二维图像显示所需要的视图的信息。

（9）根据（1）至（8）中任一项所述的发送设备，

其中所述配置信息包括关于预定水平和/或垂直分辨率的像素比信息。

（10）根据（1）至（9）中任一项所述的发送设备，

其中所述容器是传输流。

（11）根据（1）至（10）中任一项所述的发送设备，

其中针对所述三维图像显示的多个视图是包括左视图和右视图的两个视图。

（12）根据（1）至（11）中任一项所述的发送设备，

其中在所述多个视图的视频流被***在单个视频基本流中的情况下，表示视图之间的边界的信息位于各个视图的视频流之间。

（13）一种发送方法，包括：

发送预定格式的容器的发送步骤，其中在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流；以及

将每个视图的包括在所述容器中的视频流的配置信息***所述容器中的配置信息***步骤。

（14）一种接收设备，包括：

接收单元，所述接收单元接收预定格式的容器，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流，

其中每个视图的包括在所述容器中的视频流的配置信息被***所述容器中，以及

其中所述接收设备还包括图像数据获取单元，所述图像数据获取单元从所述容器基于所述配置信息对每个视图的视频流进行解码以获取图像数据。

（15）根据（14）所述的接收设备，

其中所述图像数据获取单元基于被***在事件单位或在比所述事件单位小的时间单位中的所述配置信息来确保解码缓冲区域。

（16）一种接收方法，包括：

接收预定格式的容器的接收步骤，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流；

其中每个视图的包括在所述容器中的视频流的配置信息被***所述容器中，以及

其中所述接收方法还包括图像数据获取步骤，其中从所述容器基于所述配置信息对每个视图的视频流进行解码以获取图像数据。

本技术的主要特性是：当在容器诸如2D服务和3D服务中的传输流（图5至图7）中发送每个视图的视频传输流时，通过使表示每个视图的视频流的配置的配置信息能够***所选择的预定层中，来使得能够在接收侧实现适当且高效的处理。

附图标记列表

10 图像发送和接收***

100 广播站

110 发送数据生成单元

111 数据提取单元

111a 数据记录介质

112 视频编码器

113 视差信息编码器

114 音频编码器

115 图形生成单元

116 图形编码器

117 多路复用器

200 接收机

201 CPU

202 快闪ROM

203 DRAM

204 内部总线

205 远程控制接收单元

206 远程控制发送器

211 天线端子

212 数字调谐器

213 传输流缓冲器（TS缓冲器）

214 多路解复用器

215 编码缓冲器

216a、216b 视频解码器

217a、217b 视图缓冲器

218a、218b 缩放器

219a、219b 视频叠加单元

221 图形解码器

222 图形生成单元

223 视差信息解码器

224a、224b 图形缓冲器

225 音频解码器

226 通道处理单元

Claims (16)

1.一种发送设备，包括：

发送单元，所述发送单元发送预定格式的容器，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流；以及

配置信息***单元，所述配置信息***单元将每个视图的包括在所述容器中的视频流的配置信息***所述容器中。

2.根据权利要求1所述的发送设备，还包括：

***层选择单元，所述***层选择单元选择所述配置信息被***其中的单个层或多个层。

3.根据权利要求2所述的发送设备，

其中所述容器的层和所述视频流的层包括在所述配置信息的***层的选项中。

4.根据权利要求1所述的发送设备，

其中所述配置信息包括标识包括在所述容器中的视频流是针对所述二维图像显示的单个视图的视频流还是针对所述三维图像显示的多个视图的视频流的信息。

5.根据权利要求1所述的发送设备，

其中所述配置信息包括表示所述多个视图的视频流是否被***在单个视频基本流中的信息。

6.根据权利要求1所述的发送设备，

其中所述配置信息包括表示所述多个视图的视频流的数据是否被交织在单个画面中的信息。

7.根据权利要求1所述的发送设备，

其中所述配置信息包括表示视图分配的信息。

8.根据权利要求1所述的发送设备，

其中所述配置信息包括表示视频流是否具有二维图像显示所需要的视图的信息。

9.根据权利要求1所述的发送设备，

其中所述配置信息包括关于预定水平和/或垂直分辨率的像素比信息。

10.根据权利要求1所述的发送设备，

其中所述容器是传输流。

11.根据权利要求1所述的发送设备，

其中针对所述三维图像显示的多个视图是包括左视图和右视图的两个视图。

12.根据权利要求1所述的发送设备，

其中在所述多个视图的视频流被***在单个视频基本流中的情况下，表示视图之间的边界的信息位于各个视图的视频流之间。

13.一种发送方法，包括：

发送预定格式的容器的发送步骤，其中在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流；以及

将每个视图的包括在所述容器中的视频流的配置信息***所述容器中的配置信息***步骤。

14.一种接收设备，包括：

接收单元，所述接收单元接收预定格式的容器，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流，

其中每个视图的包括在所述容器中的视频流的配置信息被***所述容器中，以及

其中所述接收设备还包括图像数据获取单元，所述图像数据获取单元从所述容器基于所述配置信息对每个视图的视频流进行解码以获取图像数据。

15.根据权利要求14所述的接收设备，

其中所述图像数据获取单元基于被***在事件单位或在比所述事件单位小的时间单位中的所述配置信息来确保解码缓冲区域。

16.一种接收方法，包括：

接收预定格式的容器的接收步骤，在所述容器中以时间分割方式包括针对二维图像显示的单个视图的视频流和针对三维图像显示的多个视图的视频流；

其中每个视图的包括在所述容器中的视频流的配置信息被***所述容器中，以及

其中所述接收方法还包括图像数据获取步骤，其中从所述容器基于所述配置信息对每个视图的视频流进行解码以获取图像数据。

Images