CN103404153A - 发送装置、发送方法以及接收装置 - Google Patents

Abstract

以不妨碍遗留2D接收设备的接收处理的方式来发送视差信息。复用的数据流被提供有包括冗余信息数据的第一私有数据流（2D流）和包括视差信息的第二私有数据流（3D扩展流）。具有与第一私有数据流和第二私有数据流相对应的语言信息的第一描述符和第二描述符被分别***到复用的数据流中。第二描述符的语言信息是非语言的。基于该语言信息，遗留2D接收设备能够容易而精确地从复用的数据流中仅提取和解码2D流。换句话说，遗留2D接收设备不解码3D扩展流；因此，可以避免由此导致的对接收设备的干扰到。

Description

发送装置、发送方法以及接收装置

技术领域

本技术涉及一种发送装置、发送方法以及接收装置。具体地，本技术涉及一种与包括左眼图像数据和右眼图像数据的立体图像数据一起发送叠加信息数据和视差信息的发送装置等。

背景技术

例如，专利文档1已提出了一种使用立体图像数据的电视广播波的传输方案。在该传输方案中，发送具有左眼图像数据和右眼图像数据的立体图像数据，以使用双眼视差来显示立体图像。

图64图示了在使用双眼视差的立体图像显示中、物体（事物）在屏幕上的左和右图像的显示位置与其立体图像的再现位置之间的关系。例如，对于如所图示的、其左图像La和右图像Ra分别被显示在屏幕的右侧和左侧的物体A，因为左视线和右视线在屏幕表面的前方彼此相交，所以其立体图像的再现位置在屏幕表面的前方。DPa表示沿水平方向的物体A的视差矢量。

而且，例如，对于如所图示的、其左图像Lb和右图像Rb分别被显示在屏幕上的相同位置的物体B，因为左视线和右视线在屏幕表面上彼此相交，所以其立体图像的再现位置在屏幕表面上。另外，例如，对于如所图示的、其左图像Lc和右图像Rc分别被显示在屏幕表面的左侧和右侧的物体C，因为左视线和右视线在屏幕表面之内彼此相交，所以其立体图像的再现位置在屏幕表面之内。DPc表示沿水平方向的物体C的视差矢量。

引用列表

专利文档

专利文档1：日本专利公开No.2005-6114

发明内容

本发明要解决的问题

如上所述，在立体图像显示中，观看者通常使用双眼视差来感觉到立体图像的立体感。而且，期望结合立体图像显示、不仅仅作为二维（2D）空间深度感觉而且作为三维（3D）空间深度感觉来渲染叠加在图像上的诸如字幕的叠加信息。例如，在其中就立体感而言将图像和字幕以叠加（覆盖）方式显示而不是显示在最近的图像中的事物（物体）前方的情况下，观看者可能感到立体感觉差异。

因此，考虑将左眼图像和右眼图像之间的视差信息与叠加信息的数据一起发送并且接收侧提供左眼叠加信息和右眼叠加信息之间的视差。以该方式，在能够显示立体图像的接收装置中，视差信息是有意义的信息。另一方面，对于遗留2D兼容接收装置，视差信息是不必要的。在2D兼容接收装置中，需要采用某些类型的措施来防止正常的接收处理被视差信息的传输打断。

本技术的目的是防止遗留2D兼容接收装置的接收处理被视差信息的传输打断。

对问题的解决方案

本技术的概念是一种发送设备，包括：

图像数据输出单元，所述图像数据输出单元被配置为输出用于显示立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，所述叠加信息数据输出单元被配置为输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据；

视差信息输出单元，所述视差信息输出单元被配置为输出用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息；以及

数据发送单元，所述数据发送单元被配置为发送复用的数据流，所述复用的数据流包含包括从所述图像数据输出单元输出的图像数据的视频数据流、包括从所述叠加信息数据输出单元输出的叠加信息数据的第一私有数据流和包括从所述视差信息输出单元输出的视差信息的第二私有数据流，

其中，包括与所述第一私有数据流和所述第二私有数据流相对应的相应条语言信息的第一描述符和第二描述符被***到所述复用的数据流中，并且包括在所述第二描述符中的语言信息被设置为表示非语言。

在本技术中，图像数据输出单元输出用于显示立体图像的左眼图像数据和右眼图像数据。叠加信息数据输出单元输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据。这里，叠加信息包括叠加在图像上的字幕、图形、文本等。视差信息输出单元输出用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息。

数据发送单元发送所述复用的数据流。传送流包含包括图像数据的视频数据流、包括叠加信息数据的第一私有数据流和包括视差信息的第二私有数据流。

包括与所述第一私有数据流和所述第二私有数据流相对应的相应条语言信息的第一描述符和第二描述符被***到所述复用的数据流中。包括在所述第二描述符中的语言信息被设置为表示非语言。

例如，所述叠加信息数据是DVB（数字视频广播）子标题数据，并且所述描述符是组件（component）描述符和子标题描述符。而且，例如，表示非语言的语言信息是表示ISO语言代码的非语言的“zxx”、或包括在ISO语言代码的从“qaa”至“qrz”的空间中的语言代码中的任何一个。

以该方式，在本技术中，所述复用的数据流包含包括所述叠加信息数据的第一私有数据流和包括所述视差信息的第二私有数据流。包括相应条语言信息的所述第一描述符和第二描述符被***到所述复用的数据流中。因而，基于包括在描述符中的语言信息，接收侧的遗留2D兼容接收装置能够只从复用的数据流中提取第一私有数据流，并且对所提取的第一私有数据流进行解码。因而，可以防止对第二私有数据流进行解码。因此，能够防止遗留2D兼容接收装置的接收处理被视差信息的传输打断。

而且，在本技术中，例如，叠加信息数据可以是DVB子标题数据，并且分别与第一私有数据流和第二私有数据流相对应的第一子标题描述符和第二子标题描述符可以被***到复用的数据流中，并且由第一子标题描述符的子标题类型信息表示的子标题类型可以与由第二子标题描述符的子标题类型信息表示的子标题类型不同。

在该情况下，基于包括在子标题描述符中的子标题类型信息，接收侧的遗留2D兼容接收装置能够仅从复用的数据流中提取第一私有数据流。因而，可以防止第二私有数据流被解码。因此，可以防止遗留2D兼容接收装置的接收处理被视差信息的传输打断。

而且，在本技术中，例如，叠加信息数据可以是DVB子标题数据，并且包括第一私有数据流的叠加信息数据的分段可以等于包括第二私有数据流的视差信息的分段的页ID。在该情况下，基于页ID，接收侧的3D兼容接收装置能够容易地组合包括叠加信息数据的分段和包括视差信息的分段。

而且，在本技术中，叠加信息数据可以是DVB子标题数据，并且包括在第二私有数据流中的视差信息可以***作为辅助页。在该情况下，当应对多语言服务时，由于可以共同地将包括视差信息的第二私有数据流发送到每个服务，所以能够获得传输带宽的有效使用。

本技术的另一个概念是一种接收装置，包括：

数据接收单元，所述数据接收单元被配置为接收复用的数据流，所述复用的数据流包含包括用于显示立体图像数据的左眼图像数据和右眼图像数据的视频数据流、包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据的第一子标题数据流、以及包括用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息的第二子标题数据流；

视频解码单元，所述视频解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述视频数据流，并且对所提取的视频数据流进行解码；以及

子标题解码单元，所述子标题解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述第一子标题数据流，并且对所提取的第一子标题数据流进行解码，

其中，包括与第一子标题数据流和第二子标题数据流相对应的相应条子标题类型信息的描述符被***到复用的数据流中，

包括在与第一子标题数据流和第二子标题数据流相对应的描述符中的相应条子标题类型信息被设置为表示不同的子标题类型，以及

子标题解码单元基于***在描述符中的子标题类型信息来确定要在从复用的数据流提取之后被解码的子标题数据流。

在本技术中，数据接收单元接收包括视频数据流、第一子标题数据流和第二子标题数据流的复用的数据流。视频解码单元从复用的数据流中提取视频数据流，并对所提取的视频数据流进行解码。而且，视频解码单元从复用的数据流中提取第一子标题数据流，并对所提取的第一子标题数据流进行解码。

这里，包括与第一子标题数据流和第二子标题数据流相对应的相应条子标题类型信息的描述符被***到复用的数据流中，包括在与第一子标题数据流和第二子标题数据流相对应的描述符中的相应条子标题类型信息被设置为表示不同的子标题类型。

子标题解码单元基于***在描述符中的子标题类型信息来确定要在从复用的数据流提取之后被解码的子标题数据流。因此，例如，在接收侧的2D兼容接收装置中，由于可以防止包括视差信息的第二私有数据流被解码，所以能够防止遗留2D兼容接收装置的接收处理被视差信息的传输打断。

本技术的另一个概念是一种接收装置，包括：

数据接收单元，所述数据接收单元被配置为接收复用的数据流，所述复用的数据流包含包括用于显示立体图像的左眼图像数据和右眼图像数据的视频数据流、包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据的第一子标题数据流、以及包括用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息的第二子标题数据流；

视频解码单元，所述视频解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述视频数据流，并且对所提取的视频数据流进行解码；以及

子标题解码单元，所述子标题解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述第一子标题数据流，并且对所述第一子标题数据流进行解码，

其中，包括与第一子标题数据流和第二子标题数据流相对应的相应条语言信息的描述符被***到复用的数据流中，

包括在与第二子标题数据流相对应的描述符中的语言信息被设置为表示非语言，以及

子标题解码单元基于***在描述符中的语言信息来确定要在从复用的数据流中提取之后被解码的子标题数据流。

在本技术中，数据接收单元接收包括视频数据流、第一子标题数据流和第二子标题数据流的复用的数据流。视频解码单元从复用的数据流中提取视频数据流，并对所提取的视频数据流进行解码。而且，视频解码单元从复用的数据流中提取第一子标题数据流，并对所提取的第一子标题数据流进行解码。

这里，包括与第一子标题数据流和第二子标题数据流相对应的相应条语言信息的描述符被***到复用的数据流中。包括在与第二子标题数据流相对应的描述符中的语言信息被设置为表示非语言。

子标题解码单元基于***在描述符中的语言信息来确定要在从复用的数据流中提取之后被解码的子标题数据流。因此，例如，在接收侧的2D兼容接收装置中，由于能够防止包括视差信息的第二私有数据流被解码，所以能够防止遗留2D兼容接收装置的接收处理被视差信息的传输打断。

发明效果

根据本技术，能够防止遗留2D兼容接收装置的接收处理被视差信息的传输打断。

附图说明

图1是图示根据本发明的实施例的图像发送/接收***的构造示例的框图。

图2是图示在广播站中的发送数据生成单元的构造示例的框图。

图3是图示1920×1080像素格式的图像数据的图。

图4是描述作为立体图像数据（3D图像数据）发送方案的“上下”方案、“并排”方案和“帧顺序”方案的图。

图5是用于描述检测右眼图像关于左眼图像的视差矢量的示例的图。

图6是用于描述通过块匹配方案获得视差矢量的图。

图7是图示在将每个像素的视差矢量的值用作每个像素的亮度值的情况下图像的示例的图。

图8是图示每个块的视差矢量的示例的图。

图9是用于描述由发送数据生成单元的视差信息创建单元执行的缩减（downsizing）过程的图。

图10是图示在子标题数据中的图像上定义的区域和在该区域中定义的子区域的示例的图。

图11是图示在传送流TS中包括的2D流和3D扩展流的构造的图。

图12是用于描述***在2D流PES1（1）：PES#1的PES报头中的时间戳PTS的值和***在3D扩展流PES2（2）：PES#2的PES报头中的时间戳PTS的值的关联的图。

图13是图示其中将2D流和3D扩展流的时间戳PTS的值设置为彼此不同的值的示例的图。

图14是图示其中将2D流和3D扩展流的时间戳PTS的值设置为彼此不同的值的另一示例的图。

图15是图示包括2D流和3D扩展流的传送流TS的构造示例的图。

图16是图示构造子标题数据的PCS（page_composition_segment）的结构的图。

图17是图示在“segment_type”的每个值和分段类型之间的对应关系的图。

图18是用于描述表示新定义的3D子标题格式的信息（Comonent_type=0×15,0×25）的图。

图19是图示提取***在传送流中的子标题描述符（Subtitling_descriptor）和组件描述符（Component_descriptor）的图。

图20是图示提取***在传送流中的PES流（2D流和3D扩展流）的图。

图21是图示将在ISO语言代码的从“qaa”至“qrz”的空间中包括的语言代码中的任何一个用作表示非语言的ISO语言代码的图。

图22是图示ISO语言代码（ISO639-2代码）列表的摘录的图。

图23是图示子标题数据流（2D流和3D扩展流）的流构造示例的图。

图24是图示组件描述符（Component_descriptor）的句法的示例的图。

图25是图示子标题描述符（subtitling_descriptor）的句法的示例的图。

图26是图示通过使用间隔时间段来更新视差信息以及间隔时间段是固定的并且等于更新时间段的情况的示例的图。

图27是图示使用间隔时间段来更新视差信息的示例和在将间隔时间段设置为较短的情况的示例的图。

图28是图示3D扩展流的构造示例的图。

图29是图示在依序发送DSS分段的情况下更新视差信息的示例的图。

图30是图示其中通过多个用作单位时间段的间隔时间段ID来表达更新帧间隔的更新视差信息的示例的图。

图31是图示其中在页区域（用于Page_default的Area）中包括作为标题显示区域的两个区域的显示子标题的示例的图。

图32是图示在DSS分段中包括区域单元的视差信息和包括所有区域的页单元的视差信息两者作为要在标题显示时间段中依序更新的视差信息的情况下每个区域和页的视差信息曲线的示例的图。

图33是图示每个页和区域的视差信息的传输结构的图。

图34是图示DSS的句法的示例的图（1/3）。

图35是图示DSS的句法的示例的图（2/3）。

图36是图示DSS的句法的示例的图（3/3）。

图37是图示DSS的主要数据定义内容（语义）的图（1/4）。

图38是图示DSS的主要数据定义内容（语义）的图（2/4）。

图39是图示DSS的主要数据定义内容（语义）的图（3/4）。

图40是图示DSS的主要数据定义内容（语义）的图（4/4）。

图41是图示在机顶盒和电视接收机是3D兼容设备的情况下广播接收的概念的图。

图42是示意性图示在机顶盒（3D兼容设备）中2D流和3D扩展流的提取处理的图。

图43是图示在机顶盒和电视接收机是遗留2D兼容设备的情况下广播接收的概念的图。

图44是示意性图示在机顶盒（2D兼容设备）中仅2D流的提取处理的图。

图45是图示在接收机是遗留2D兼容设备（2D接收机）的情况下以及在接收机是是3D兼容设备（3D接收机）的情况下广播接收的概要的图。

图46是图示显示在图像上的标题（图形信息）和背景、近景物体和标题的立体感觉的示例的图。

图47是图示显示在图像上的子标题、以及用于显示标题的左眼标题LGI和右眼标题RGI的示例的图。

图48是图示在图像发送/接收***中包括的机顶盒的构造的示例的框图。

图49是图示在机顶盒的位流处理单元的构造的示例（3D兼容）的框图。

图50是图示用于将2D流与3D扩展流相关联的多解码描述符的句法的示例的框图。

图51是在多解码描述符的句法的示例中主要信息的内容（语义）的图。

图52是在布置多解码描述符的情况下传送流TS的构造的示例的图。

图53是包括在机顶盒中的位流处理单元的构造的另一个示例（2D兼容）的框图。

图54是图示包括在图像发送/接收***中的电视接收机的构造示例的框图。

图55是图示在将3D扩展流中包括的视差信息操作为辅助页（ancillary_page）的情况下传送流的构造示例的图。

图56是图示***在传送流中的子标题描述符（Subtitling_descriptor）和组件描述符（Component_descriptor）的摘录的图。

图57是图示***在传送流中的PES流（2D流和3D扩展流）的摘录的图。

图58是图示在将3D扩展流中包括的视差信息操作为辅助页（ancillary_page）的情况下子标题数据流（2D流和3D扩展流）的流构造示例的图。

图59是示意性地图示3D兼容设备中2D流和3D扩展流的提取处理的图。

图60是示意性地图示在2D兼容设备中仅2D流的提取处理的图。

图61是图示在图像发送/接收***中包括的机顶盒的另一构造示例的框图。

图62是图示在图像发送/接收***中包括的电视接收机的另一构造示例的框图。

图63是图示图像发送/接收***的另一构造示例的框图。

图64是用于描述在使用双眼视差的立体图像显示中在屏幕上的物体的左图像和右图像的显示位置与其立体图像的再现位置之间的关系的图。

具体实施方式

下面，将描述用于实现本发明的模式（下面称为“实施例”）。此外，将以下面的次序进行描述：

1.实施例

2.修改例

<1.实施例>

[图像发送/接收***的构造示例]

图1图示了根据实施例的图像发送/接收***10的构造示例。图像发送/接收***10包括广播站100、机顶盒（STB）200和电视接收机（TV）300。

机顶盒200和电视接收机300通过HDMI（高清多媒体接口）的数字接口相连接。机顶盒200和电视接收机300通过使用HDMI线缆400相连接。机顶盒200被提供有HDMI端子202。电视接收机300被提供有HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，并且HDMI线缆400的另一端连接到电视接收机300的HDMI端子302。

[广播站的描述]

广播站200在广播波上发送传送流TS。广播站100包括生成传送流TS的发送数据生成单元110。传送流TS包括立体图像数据、音频数据、叠加信息数据、视差信息等。立体图像数据具有预先确定的传输格式，并且包括用于显示立体图像的左眼图像数据和右眼图像数据。一般地，叠加信息是字幕、图形信息、文本信息等。然而，在本实施例中，叠加信息是子标题（字幕）。

[发送数据生成单元的构造示例]

图2图示了在广播站100中的发送数据生成单元110的构造示例。发送数据生成单元110以能够容易地与作为现有的广播标准之一的DVB（数字视频广播）方案协作的数据结构来发送视差信息（视差矢量）。发送数据生成单元110包括数据提取单元111、视频编码器112和音频编码器113。而且，发送数据生成单元110包括子标题生成单元114、视差信息创建单元115、子标题处理单元116、子标题编码器118和复用器119。

例如，数据提取单元111与数据记录介质111a被可拆卸地安装。数据记录介质111a将音频数据和视差信息与包括左眼图像数据和右眼图像数据的立体图像数据相关联地存储。数据提取单元111从数据记录介质111a中提取立体图像数据、音频数据、视差信息等，并且将其输出。数据记录介质111a的示例包括盘形记录介质和半导体存储器。

记录在数据记录介质111a中的立体图像数据是预先确定的传输方案的立体图像数据。将描述用于发送立体图像数据（3D图像数据）的传输方案的示例。这里，尽管将描述下面的第一至第三传输方案作为示例，但是可以使用任何其他传输方案来发送立体图像数据（3D图形数据）。而且，这里将描述其中左眼（L）图像数据和右眼（R）图像数据是具有预先确定的分辨率（例如图3中图示的1920×1080像素格式）的图像数据的情形作为示例。

第一传输方案是上下（top&bottom）方案，并且是如图4（a）中所示的在垂直方向的前一半中发送左眼图像数据的每一行数据、并且在垂直方向的后一半中发送右眼图像数据的每一行数据的方案。在该情况下，由于左眼图像数据和右眼图像数据的行被减少1/2，所以垂直分辨率相对于原始信号降低1/2。

第二传输方案是并排（side by side）方案，并且是如图4（b）中所示的在水平方向的前一半中发送左眼图像数据的像素数据、并且在水平方向的后一半中发送右眼图像数据的像素数据的方案。在该情况下，左眼图像数据和右眼图像数据中的每一个的水平方向像素数据被减少1/2。水平分辨率相对于原始信号降低1/2。

第三传输方案是帧顺序（frame sequential）方案或L/R非交织方案，并且是如图4（c）中所示的对于各个帧通过依序切换来发送左眼图像数据和右眼图像数据的方案。此外，该方案还包括全帧方案或用于常规2D格式的服务兼容方案。

而且，记录在数据记录介质111a中的视差信息是例如构造图像的每个像素的视差矢量。将描述检测视差矢量的示例。这里，将描述检测右眼图像关于左眼图像的视差矢量的示例。如图5中所示，左眼图像被用作检测图像，并且右眼图像被用作参考图像。在该示例中，检测在位置（xi，yi）和（xj，yj）处的视差矢量。

将描述检测在位置（xi，yi）处的视差矢量的情况作为示例。在该情况下，在左眼图像中，例如以左上像素在位置（xi，yi）处来设置4×4、8×8或16×16像素块（视差检测块）Bi。在右眼图像中，搜索与像素块Bi匹配的像素块。

在该情况下，在右眼图像中，设置位置（xi，yi）周围的搜索范围。使用搜索范围内的每个像素作为依序关注的像素，依序设置与上述的像素块Bi类似的比较块，例如4×4、8×8或16×16比较块。

在像素块Bi和依序设置的比较块之间，获得各对应像素的绝对差值之和。这里，如图6中所示，当像素块Bi的像素值是L（x，y）并且比较块的像素值是R（x，y）时，将像素块Bi和比较块之间的绝对差值之和表示为∑|L(x，y)-R(x，y)|。

当在右眼图像中设置的搜索范围内包括n个像素时，最终获得n个和S1至Sn，并且选择它们中的最小和Smin。从对其获得最小和Smin的比较块获得左上像素的位置（xi’，yi’）。因此，将在位置（xi，yi）处的视差矢量检测为（xi’-xi，yi’-yi）。尽管没有详细描述，但是例如在左眼图像中设置左上像素在位置（xj，yj）处的4×4、8×8或16×16像素块Bj，并且通过相同过程检测在位置（xj，yj）处的视差矢量。

视频编码器112对由数据提取单元111提取的立体图像数据执行编码，诸如MPEG4-AVC、MPEG2、VC-1，以生成视频数据流（视频基本流）。音频编码器113对由数据提取单元111提取的音频数据执行编码，诸如VC-3、AAC，以生成音频数据流（音频基本流）。

子标题生成单元114生成子标题数据，作为DVB（数字视频广播）方案的字幕数据。子标题数据是二维图像的子标题数据。子标题生成单元114构造叠加信息数据输出单元。

视差信息创建单元115对由数据提取单元111提取的多个像素或每个像素的视差矢量（水平方向视差矢量）执行缩减过程，以生成如下所述的每层的视差信息。此外，视差信息不必必须由视差信息创建单元115来生成，并且可以从外部单独地提供。

图7图示了作为每个像素的亮度值提供的深度方向相关数据的示例。这里，可以通过预先确定的转换将深度方向相关数据处理为每个像素的视差矢量。在该示例中，人体部分的亮度值被设置为较高。这意味着人体部分的视差矢量值较大，因而意味着在立体图像显示中人体部分被感觉为是突出的。而且，在该示例中，背景部分的亮度值被设置为较小。这意味着背景部分的视差矢量值较小，因而意味着在立体图像显示中背景部分被感觉为是凹陷的。

图8图示了每个块的视差矢量的示例。块对应于位于最低层的像素的上层。通过沿水平方向和垂直方向将图像（图片）区域划分成预先确定的大小来构造块。例如，通过从在块中存在的所有像素的视差矢量中选择具有最大值的视差矢量来获得每个块的视差矢量。在该示例中，通过箭头来表示每个块的视差矢量，并且箭头的长度对应于视差矢量的幅度。

图9图示了由视差信息创建单元115执行的缩减处理的示例。首先，如图9（a）中所示，视差信息创建单元115通过使用每个像素的视差矢量来获得每个块的有符号视差矢量。如上所述，块对应于位于最低层的像素的上层，并且通过沿水平方向和垂直方向将图像（图片）区域划分成预先确定的大小来构造。例如，通过从在块中存在的所有像素的视差矢量中选择具有最小值的视差矢量或具有最大绝对值是的负视差矢量来获得每个块的视差矢量。

接下来，如图9（b）中所示，视差信息创建单元115通过使用每个块的视差矢量来获得每个组（块组）的视差矢量。组对应于块的上层，并且通过将多个相邻块分组到一起来获得。在图9（b）的示例中，每个组包括通过虚框划界的4个块。例如，通过从组的所有块的视差矢量中选择具有最小值的视差矢量或具有最大绝对值的负视差矢量来获得每个组的视差矢量。

接下来，如图9（c）中所示，视差信息创建单元115通过使用每个组的视差矢量来获得每个分区的视差矢量。分区对应于组的上层，并且通过将多个相邻组分组到一起来获得。在图9（c）的示例中，每个分区包括通过虚框划界的2个组。例如，通过从分区的所有组的视差矢量中选择具有最小值的视差矢量或具有最大绝对值的负视差矢量来获得每个分区的视差矢量。

接下来，如图9（d）中所示，视差信息创建单元115通过使用每个分区的视差矢量来获得位于最高层的整个图片（整个图像）的视差矢量。在图9（d）的示例中，整个图片包括通过虚框划界的4个分区。例如，通过从整个图片中包括的所有分区的视差矢量中选择具有最小值的视差矢量或具有最大绝对值的负视差矢量来获得每个整个图片的视差矢量。

以该方式，视差信息创建单元115可以通过对位于最低层的每个像素的视差矢量执行缩减处理来获得诸如块、组、分区和整个图片的每个层的每个区域的视差矢量。而且，在图9中图示的缩减处理的示例中，除了像素层外，最终获得块、组、分区和整个图片的四个层的视差矢量。然而，层的数目、划分每个层的区域的方法、区域的数目不限于上述示例。

返回图2，子标题处理单元116可以基于由子标题生成单元114生成的子标题数据来定义区域内的子区域。而且，子标题处理单元116基于由视差信息创建单元115创建的视差信息来设置用于在左眼图像和右眼图像数据中对叠加信息的显示位置进行移位的视差信息。可以对于每个子区域、区域或页来设置视差信息。

图10（a）图示了在子标题数据中的图像上定义的区域和在该区域中定义的子区域的示例。在该示例中，在Region_Starting Position（区域起始位置）是R0的区域0中定义了两个子区域SubRegion1和SubRegion2。SubRegion1的水平位置x是SR1，并且SubRegion2的水平位置x是SR2。在该示例中，对于子区域SubRegion1设置视差信息Disparity1（视差1），并且对于子区域SubRegion2设置视差信息Disparity2（视差2）。

图10（b）图示了通过视差信息来移位调整在左眼图像中的子区域的示例。对于子区域SubRegion1设置视差信息Disparity1。因而，对于子区域SubRegion1执行移位调整，使得水平位置x是SR1-disparity1。而且，对于子区域SubRegion2设置视差信息Disparity2。因而，对于子区域SubRegion2执行移位调整，使得水平位置x是SR2-disparity2。

图10（c）图示了通过视差信息来移位调整在右眼图像中的子区域的示例。对于子区域SubRegion1设置视差信息Disparity1。因而，与上述的左眼图像相反，对于子区域SubRegion1执行移位调整，使得水平位置x是SR1+disparity1。而且，对于子区域SubRegion2设置视差信息Disparity2。因而，与上述的左眼图像相反，对于子区域SubRegion2执行移位调整，使得水平位置x是SR2+disparity2。

子标题处理单元116与由子标题生成单元114生成的子标题数据一起输出诸如视差信息的显示控制信息和上述子区域的区域信息。而且，除了以上述的子区域为单位进行设置外，也可以以区域或页为单位来设置视差信息。

子标题数据包括分段，诸如DDS、PCS、RCS、CDS、ODS和EDS等。DDS（显示分辨率分段）指定HDTV的显示大小。PCS（页组成分段）指定页中的区域位置。RCS（区域组成分段）指定区域的大小或对象的编码模式，并且还指定对象的起始位置。

CDS（CLUT分辨率分段）指定CLUT内容。ODS（对象数据分段）包括编码的像素数据Pixeldata。EDS（显示设置分段的结束）指示从DDS的分段起始的子标题数据的结束。在该实施例中，进一步定义分段DSS（视差信令分段）。上述的显示控制信息被***在DSS分段中。

返回图2，子标题编码器118生成第一和第二私有数据流（第一和第二子标题数据流）。也就是说，子标题编码器118生成包括分段DDS、PCS、RCS、CDS、ODS和EDS的第一私有数据流（2D流）。而且，子标题编码器118生成包括分段DDS、DSS和EDS的第二私有数据流（3D扩展流）。

复用器119复用来自视频编码器112、音频编码器113和子标题编码器118的各数据流，以获得传送流TS作为复用的数据流。传送流TS包括作为PES（分组化基本流）流的视频数据流、音频数据流以及第一和第二私有数据流。

图11图示了包括在传送流TS中的第一私有数据流（2D流）和第二私有数据流（3D扩展流）的构造。图11（a）图示了2D流，其中PES报头被布置在开始处，随后是包括各分段DDS、PCS、RCS、CDS、ODS和EDS的PES有效载荷。

图11（b）图示了3D扩展流，其中PES报头被布置在开始处，随后是包括各分段DDS、DSS和EDS的PES有效载荷。而且，如图11（c）中所示，可以将3D扩展流配置为在PES有效载荷中包括各分段DDS、PCS、DSS和EDS。在该情况下，PCS的页状态是正常情况，这指示在叠加数据（位图）中没有改变。

这里，包括在2D流中的每个分段的页ID（page_id）和包括在3D扩展流中的每个分段的页ID（page_id）相等。因此，基于页ID，接收侧的3D兼容接收装置能够容易地组合2D流的分段和3D扩展流的分段。

复用器119包括同步信息，其用于通过接收侧的叠加信息数据的显示与通过2D流和3D扩展流中的视差信息的移位控制之间的同步。特别地，如图12中所示，将复用器119设置为使得***在2D流PES1（1）：PES#1的PES报头中的时间戳PTS（呈现时间戳）的值与***在3D扩展流PES2（2）：PES#2的PES报头中的时间戳PTS的值相关联。

图12图示了其中2D流和3D扩展流的时间戳PTS的值被设置为同一值（即PTS1）的示例。在该情况下，在接收侧（解码侧），通过子标题数据（叠加信息数据）的字幕图案的显示从PTS1开始，并且通过用于以3D显示字幕图案的视差信息的移位控制也从PTS1开始。

而且，在图12的示例中，图示了3D扩展流包括两条视差信息，其是PTS1帧的视差信息和预先确定的随后帧的视差信息。在接收侧（解码侧），指示可以通过插值处理来获得两个帧之间的任意帧的视差信息，并且可以动态地执行移位控制。

而且，在图12中，包括在2D流中的“常规分段”表示各分段DDS、PCS、RCS、CDS、ODS和EDS。而且，包括在3D扩展流中的“扩展分段”表示各分段DDS、DSS和EDS、或者各分段DDS、PCS、DSS和EDS。而且，在图12中，2D流的“Elementary_PID（基本PID）”是ID1，并且3D扩展流的“Elementary_PID”是ID2。这类似地适用于下面描述的图13和图14。

图13图示了其中2D流和3D扩展流的时间戳PTS的值被设置为不同的值的示例。也就是说，在图13的示例中，2D流的时间戳PTS的值被设置为PTS1，并且3D扩展流的时间戳PTS的值被设置为在PTS1之后的PTS2。在该情况下，在接收侧（解码侧），通过子标题数据（叠加信息的数据）的字幕图案的显示从PTS1开始，并且通过用于以3D显示字幕图案的视差信息的移位控制从PTS2开始。

而且，在图13的示例中，图示了3D扩展流包括PTS2帧的视差信息和多个随后的帧的视差信息。在接收侧（解码侧），指示可以通过插值处理来获得多个帧之间的任意帧的视差信息，并且可以动态地执行移位控制。

类似于图13，图14图示了其中2D流和3D扩展流的时间戳PTS的值被设置为不同的值的示例。此外，图14图示了存在具有不同的时间戳（PTS）的值的多个3D扩展流的示例。也就是说，在图14的示例中，2D流的时间戳PTS的值被设置为PTS1。而且，多个3D扩展帧的时间戳PTS的值被设置为在PTS1之后的PTS2、PTS3、PTS4……

在该情况下，在接收侧（解码侧），通过子标题数据（叠加信息数据）的字幕图案的显示从PTS1开始。而且，通过用于以3D显示字幕图案的视差信息的移位控制从PTS2开始，并且然后依序执行更新。而且，在图14的示例中，多个3D扩展流仅包括通过各类型戳表示的视差信息。在接收侧（解码侧），指示可以通过插值处理来获得多个帧之间的任意帧的视差信息，并且可以动态地执行移位控制。

将简要描述图2中图示的发送数据生成单元110的操作。从数据提取单元111中提取的立体图像数据被提供给视频编码器112。在视频编码器112中，对立体图像数据执行诸如MPEG4-AVC、MPEG2、VC-1的编码，并且生成包括编码的视频数据的视频数据流。视频数据流被提供给复用器119。

从数据提取单元111中提取的音频数据被提供给音频编码器113。在音频编码器113中对音频数据执行诸如MPEG2Audio AAC、MPEG-4AAC的编码，并且生成包括编码的音频数据的音频数据流。音频数据流被提供给复用器119。

在子标题生成单元114中，生成作为DVB标题数据的子标题数据（用于2D图像）。子标题数据被提供给视差信息创建单元115和子标题处理单元116。

从数据提取单元111中提取的每个像素的视差矢量被提供给视差信息创建单元115。在视差信息创建单元115中，对每个像素的视差矢量或多个像素的视差矢量执行缩减处理，并且生成每个层的视差信息。视差信息被提供给子标题处理单元116。

在子标题处理单元116中，例如，基于由子标题生成单元114生成的子标题数据来定义区域中的子区域。而且，在子标题处理单元116中，基于由视差信息创建单元115创建的视差信息来设置用于移位左眼图像和右眼图像中的叠加信息的显示位置的视差信息。在该情况下，对于每个子区域、区域或页来设置视差信息。

从子标题处理单元116输出的显示控制信息和子标题数据被提供给子标题编码器118。显示控制信息包括子区域的区域信息、视差信息等。在子标题编码器118中，生成第一和第二两个私有数据流（基本流）。

也就是说，生成包括各分段DDS、PCS、RCS、CDS、ODS和EDS的第一私有数据流（2D流）。此外，生成包括各分段DDS、DSS和EDS的第二私有数据流（3D流）。如上所述，分段DSS是包括显示控制信息的分段。

如上所述，来自视频编码器112、音频编码器113、和子标题编码器118的各数据流被提供给复用器119。在复用器119中，将各数据流分组化并复用到PES分组中，并且获得传送流TS作为复用的数据流。传送流TS包括视频数据流、音频数据流以及第一和第二私有数据流（第一和第二子标题数据流）作为PES流。

图15图示了传送流TS的构造示例。此外，在图15中，为了图示的简化，省略了与视频和音频相关的部分。传送流TS包括通过分组化每个基本流而获得的PES分组。

在该构造示例中，包括2D流（第一私有数据流）的PES分组（子标题PES1）和3D扩展流（第二私有数据流）的PES分组（子标题PES2）。2D流（PES流）包括各分段DDS、PCS、RCS、CDS、ODS和EDS。3D扩展流（PES流）包括各分段DDS、DSS和EDS。在该情况下，2D流的“Elementary_PID”和3D扩展流的“Elementary_PID”被不同地设置为PID1和PID2，因而指示这些流是不同的PES流。

图16图示了PCS（page_composition_segment，页组成分段）的结构。如图17中所示，PCS的分段类型是0x10。Region_Horizontal_Address（区域水平地址）和Region_Vertical_Address（区域垂直地址）指示区域的起始位置。而且，关于诸如DDS、RCS和ODS的其他分段，将省略其结构的描述。如图17中所示，DDS的分段类型是0x14，RCS的分段类型是0x11，CDS的分段类型是0x12，ODS的分段类型是0x13，以及EDS的分段类型是0x80。另外，如图17中所示，DSS的分段类型是0x15。下面将描述DSS分段的详细结构。

返回图15，传送流TS还包括作为PSI（节目特定信息）的PMT（节目映射表）。PSI是描述包括在传送流中的每个基本流属于哪个节目的信息。而且，传送流包括作为SI（服务信息）的EIT（事件信息表），用于对每个事件执行管理。EIT描述关于每个节目的元数据。

表示子标题的内容的子标题描述符（Subtitling_descriptor）被***在PMT中。而且，表示每个流的传递内容的组件描述符（Component_descriptor）被***在EIT中。如图18中所示，在组件描述符的“stream_content（流内容）”表示子标题的情况下，当“component_type（组件类型）”是0x15或0x25时，其表示3D子标题；并且当“component_type”是任何其他值时，其表示2D子标题。如图15中所示，将子标题描述符的“subtitling_type（子标题类型）”设置为“component_type”的值。

而且，PMT包括具有与子标题基本流相关的信息的子标题基本循环。在子标题基本循环中，尽管未示出，但是对于每个流，布置诸如分组标识符（PID）的信息，并且还布置描述与基本流相关的信息的描述符。

图19图示了在图15中图示的子标题描述符（Subtitling_descriptor）和组件描述符（component_descriptor）的摘录。图20图示了在图15中图示的PES流（2D流和3D扩展流）的摘录。

设置子标题描述符的组成页ID（composition_page_id），以指示在3D扩展流中包括的每个分段与2D流的每个分段相关联。也就是说，3D扩展流的“composition_page_id”和2D流的“composition_page_id”被设置为共享相同的值（图中的0xXXXX）。而且，为了指示在3D扩展流中包括的每个分段与2D流的每个分段相关联，编码两个PES流中的各个相关联的分段的“page_id”，以具有相同的值。

在子标题描述符和组件描述符中，例如，描述ISO语言代码（ISO_639_language_code）作为语言信息。设置与2D流相对应的描述符的ISO语言代码以表示子标题（字幕）的语言。在图示的示例中，将ISO语言代码设置为表示英语的“eng”。3D扩展流具有带有视差信息的分段DSS，但是不具有分段ODS。因而，3D扩展流不依赖于语言。例如，将在与3D扩展流相对应的描述符中描述的ISO语言代码设置为表示非语言的“zxx”。

而且，可以考虑将在ISO语言代码的从“qaa”至“qrz”的空间中包括的语言代码中的任何一个用作表示非语言的ISO语言代码。图21图示了在该情况下的子标题描述符（subtitling_descriptor）和组件描述符（component_descriptor）的摘录。而且，为了参考，图22图示了ISO语言代码（ISO639-2Code）列表的摘录。

图23图示了子标题数据流（2D流和3D扩展流）的流构造示例。该示例是英语“eng”和德语“ger”的双语言的服务的示例。3D扩展流在各语言服务中被包括作为“composition_page_id”，并且被指定为“subtitling_type=3D”、“ISO_639_language_code=zxx”。

图24图示了组件描述符（Component_descriptor）的句法的示例。8位字段“descriptor_tag（描述符标签）”指示描述符是组件描述符。8位字段“descriptor_length（描述符长度）”表示在该字段之后的整个字节大小。

4位字段“stream_content（流内容）”表示诸如视频、音频和子标题的主流的流类型。4位字段“component_type（组件类型）”表示诸如视频、音频和子标题的主流的组件类型。

在主流是2D流的情况下，即在与2D流相对应的组件描述符中，“stream_content”是子标题“subtitle”，并且“component_type”是二维“2D”。而且，在主流是3D扩展流的情况下，即在与3D扩展流相对应的组件描述符中，“stream_content”是子标题“subtitle”，并且“component_type”是三维“3D”。

8位字段“component_tag（组件标签）”具有与对应于主流的流标识符描述符（stream_identifier描述符）中的“component_tag”相同的值。因此，流标识符描述符和组件描述符与“component_tag”相关联。24位字段“ISO_639_language_code”表示ISO语言代码。

图25图示了子标题描述符（Subtitling_descriptor）的句法的示例。8位字段“descriptor_tag”指示该描述符是子标题描述符。8位字段“descriptor_length”表示在该字段之后的整个字节大小。

24位字段“ISO_639_language_code”表示ISO语言代码。8位字段“subtitling_type”表示子标题类型信息。在主流是2D流的情况下，即在与2D流相对应的子标题描述符中，“subtitling_type”是“2D”。另一方面，在主流是3D扩展流的情况下，即在与3D扩展流相对应的子标题描述符中，“subtitling_type”是“3D”。16位字段“composition_page_id”表示组成页ID，并具有与在主流中包括分段的页ID（page_id）相同的值。

[视差信息的更新]

如上所述，通过3D扩展流来发送视差信息。将描述视差信息的更新。

图26和图27图示了使用间隔时间段的视差信息更新的示例。图26图示了其中间隔时间段是固定的并且等于更新时间段的示例。也就是说，更新时间段A-B、B-C和C-D中的每一个包括一个间隔时间段。

图27对应于一般情况，并且图示了在其中将间隔时间段设置为短时间段（可以例如是帧时间段）的情况下视差信息更新的示例。在该情况下，各更新时间段中的间隔时间段的数目是M、N、P、Q和R。而且，在图26和图27中，“A”表示字幕显示时间段的起始帧（起始点），并且“B”至“F”表示随后的更新帧（更新点）。

当将在字幕显示时间段内依序更新的视差信息被发送到接收侧（机顶盒200等）时，接收侧能够通过对关于每个更新时间段的视差信息执行插值处理来生成和使用任意帧间隔（例如一个帧间隔）的视差信息。

图28图示了3D扩展流的构造示例。而且，在该构造示例中，尽管图示了其中在PES数据有效载荷中包括各分段DDS、DSS、和EDS的情况，但是其同样适用于其中在PES数据有效载荷中包括各分段DDS、PCS、DSS和EDS的情况。

图28（a）图示了其中***仅仅一个DSS分段的示例。PES报头包括时间信息（PTS）。而且，包括各分段DDS、DSS、和EDS作为PES有效载荷数据。在子标题显示时间段开始之前，这些分段被一起发送。DSS分段可以包括在字幕显示时间段中依序更新的多条视差信息。

而且，DSS分段可以不包括在字幕显示时间段中依序更新的多条视差信息，并且多条视差信息可以被发送到接收侧（机顶盒200等）。在该情况下，在每个更新时定时将DSS分段***在3D扩展流中。图28（b）图示了在该情况下的3D扩展流的构造示例。

图29图示了在如上述图28（b）中图示地依序发送DSS分段的情况下的视差信息更新的示例。而且，在图29中，“A”表示字幕显示时间段的起始帧（起始点），并且“B”至“F”表示随后的更新帧（更新点）。

而且，在其中通过依序发送DSS分段来将在字幕显示时间段中依序更新的视差信息发送到接收侧（机顶盒200等）的情况下，接收侧也可以执行上述处理。也就是说，也在该情况下，接收侧能够通过对关于每个更新时间段的视差信息执行插值处理来生成和使用任意帧间隔（例如一个帧间隔）的视差信息。

图30图示了上述的图27中图示的视差信息更新的示例。以多个间隔持续时间（ID）作为单位时间段来表示更新帧间隔。例如，将更新帧间隔DivisionPeriod1表示为“ID*M”，将更新帧间隔Division Period2表示为“ID*N”，并且类似地表示随后的更新帧间隔。在图30中图示的视差信息更新的示例中，更新帧间隔不是固定的，并且根据视差信息曲线来设置更新帧间隔。

而且，在视差信息更新的示例中，在接收侧，字幕显示时间段的起始帧（起始时间）T1_0被提供为***在包括视差信息的PES流的报头中的PTS（呈现时间戳）。在接收侧，基于关于间隔持续时间的信息（关于单位时间段的信息）——其是关于每一个更新帧间隔的信息——以及关于间隔持续时间的数目的信息，来获得视差信息的每个更新时间。

在该情况下，根据字幕显示时间段的起始帧（起始时间）T1_0，基于下面的公式（1）依序获得各更新时间。在公式（1）中，“interval_count（间隔计数）”表示间隔时间段的数目，并且是与图30中的M、N、P、Q、R和S相对应的值。而且，在公式（1）中，“interval_time（间隔时间）”是与图30中的间隔持续时间（ID）相对应的值。

Tm_n=Tm_(n-1)+(interval_time*interval_count)…(1)

例如，在图30中图示的更新示例中，以下面的方式基于公式（1）获得每个更新时间。也就是说，通过使用起始时间T1_0、间隔持续时间ID和数目M来将更新时间T1_1获得为T1_1=T1_0+(ID*M)。而且，通过使用更新时间T1_1、间隔持续时间ID和数目N来将更新时间T1_2获得为T1_2=T1_1+(ID*N)。以相同的方式获得随后的每个更新时间。

在图30中图示的更新示例中，在接收侧，对在字幕显示时间段依序更新的视差信息执行插值处理，并且生成和使用字幕显示时间段内的任意帧间隔（例如一个帧间隔）的视差信息。例如，作为上面的插值处理，通过沿时间方向（帧方向）不是执行线性插值处理而是执行伴随有低通滤波器（LPF）的插值处理，在插值处理后沿时间方向（帧方向）的预定帧间隔的视差信息的改变变得平滑。

图31图示了用作字幕的子标题的显示示例。在该显示示例中，页区域（用于Page_default的Area）包括作为字幕显示区域的两个区域（区域1和区域2）。区域包括一个或多个子区域。这里，假定区域包括一个子区域，因而区域和子区域是相同的。

图32图示了在其中以区域为单位的视差信息和以页为单位的视差信息被包括在DSS分段中作为在字幕显示时间段中依序更新的视差信息的情况下、每个区域和页的视差信息的示例。这里，页的视差信息曲线采用两个区域的视差信息曲线的最小值。

关于区域1，存在作为起始时间T1_0和随后的更新时间T1_1、T1_2、T1_3…、T1_6的7条视差信息。而且，关于区域2，存在作为起始时间T2_0和随后的更新时间T2_1、T2_2、T2_3、…、T2_7的8条视差信息。另外，关于页（Page_default），存在作为起始时间T0_0和随后的更新时间T0_1、T0_2、T0_3、…、T0_6的7条视差信息。

图33图示了图32中所图示的每个页和区域的视差信息的传输结构。首先，将描述页层。在页层中布置视差信息的固定值“page_default_disparity（页默认视差）”。对于在字幕显示时间段中依序更新的视差信息，依序布置表示表示与起始时间和随后的更新时间相对应的间隔时间段的数目的“interval_count”和表示视差信息“disparity_page_update（视差页更新）”。而且，将在起始时间的“interval_count”设置为“0”。

接下来，将描述区域层。对于区域1（子区域1），布置作为视差信息的固定值的“subregion_disparity_integer_part（子区域视差整数部分）”和“subregion_disparity_fractional_part（子区域视差小数部分）”。这里，“subregion_disparity_integer_part”表示视差信息的整数部分，并且“subregion_disparity_fractional_part”表示视差信息的小数部分。

对于在字幕显示时间段中依序更新的视差信息，依序布置表示与起始时间和随后的更新时间相对应的间隔时间段的数目的“interval_count”、以及表示视差信息的“disparity_region_update_integer_part（视差区域更新整数部分）”和“disparity_region_update_fractional_part（视差区域更新小数部分）”。这里，“disparity_region_update_integer_part”表示视差信息的整数部分，并且“disparity_region_update_fractional_part”表示视差信息的小数部分。而且，将在起始时间的“interval_count”设置为“0”。

类似于上述的区域1，对于区域2（子区域2），布置作为视差信息的固定值的“subregion_disparity_integer_part”和“subregion_disparity_fractional_part”。对于在字幕显示时间段中依序更新的视差信息，依序布置表示与起始时间和随后的更新时间相对应的间隔时间段的数目的“interval_count”、以及表示视差信息的“disparity_region_update_integer_part”和“disparity_region_update_fractional_part”。

图34至图36图示了DSS（Disparity_Signaling_Segment，视差信令分段）的句法的示例。图37至图40图示了DSS的主要数据定义内容（语义）。该句法包括相应条信息“sync_byte（句法字节）”、“segment_type（分段类型）”、“page_id（页id）”、“segment_length（分段长度）”和“dss_version_number（dss版本号）”。“segment_type”是表示分段类型的8位数据，并且这里是表示DSS的值。“segment_length”是表示随后的字节数目的8位数据。

1位标记“disparity_shift_update_sequence_page_flag（视差移位更新序列页标记）”指示是否存在作为以页为单位的视差信息的、在字幕显示时间段中依序更新的视差信息。“1”表示存在，而“0”表示不存在。8位字段“page_default_disparity_shift（页默认视差移位）”表示以页为单位的固定视差信息，即在字幕显示时间段内共同使用的视差信息。当上述的标记“disparity_page_update_sequence_flag”是“1”时，执行“disparity_shift_update_sequence()”的读取。

图36图示“disparity_shift_update_sequence()”的句法的示例。“disparity_page_update_sequence_length（视差页更新序列长度）”是表示随后的字节数目的8位数据。24位字段“interval_duration[23..0]（间隔持续时间）”指定以90KHz为单位作为单位时间的间隔持续时间（参见图30）。也就是说，“interval_duration[23..0]”表示利用90KHz时钟测量的24位值的间隔持续时间。

相对于***在PES的报头部分中的PTS的33位长度而言，24位长度的原因如下。也就是说，可以由33位长度来表示超过24小时的时间，但是作为字幕显示时间段内的间隔持续时间这是不必要的长度。而且，通过24位表示，可以降低数据大小，并且可以执行紧凑传输。而且，24位是8×3位，并且便利了字节对准。

8位字段“division_period_count（分区时间段计数）”表示视差信息所影响的分区时间段的数目。例如，在图30中图示的更新示例的情况下，分区时间段的数目是与起始时间T1_0和随后的更新时间T1_1至T1_6相对应的“7”。将下面的“for”循环重复通过“division_period_count”的8位字段表示的次数。

8位字段“interval_count”表示间隔时间段的数目。例如，在图30中图示的更新示例的情况下，其对应于M、N、P、Q、R和S。8位字段“disparity_shift_update_integer_part”表示视差信息。“interval_count”是与起始时间的视差信息（视差信息的初始值）对应的“0”。也就是说，当“interval_count”是“0”时，“disparity_page_update（视差页更新）”表示起始时间的视差信息（视差信息的初始值）。

当届时处理的数据长度（processed_length）没有达到分段数据长度（segment_length）时重复图34的“while”循环。在“while”循环中，布置以区域为单位或以区域中的子区域为单位的视差信息。这里，区域包括一个或多个子区域，并且子区域和区域可以相同。

在“while”循环中，包括“region_id（区域id）”的信息。1位标记“disparity_shift_update_sequence_region_flag（视差移位更新序列区域标记）”是指示对于区域中的所有子区域是否存在“disparity_shift_update_sequence()（视差移位更新序列）”的信息。2位字段“number_of_subregions_minus_1（子区域的数目减1）”表示等于区域中的子区域的数目减去1的值。当number_of_subregions_minus_1=0时，区域包括具有与区域相同大小的子区域。

当number_of_subregions_minus_1>0时，区域包括沿水平方向划分的多个子区域。在图35的“for”循环中，包括与子区域的数目相对应的“subregion_horizontal_position（子区域水平位置）”和“subregion_width（子区域宽度）”的信息。16位字段“subregion_horizontal_position”表示子区域的左端的像素位置。“subregion_width”利用像素的数目来表示子区域的水平宽度。

8位字段“subregion_disparity_shift_integer_part（子区域视差移位整数部分）”表示以区域为单位（以子区域为单位）的固定视差信息，即在字幕显示时间段中共同使用的视差信息的整数部分。4位字段“subregion_disparity_shift_fractional_part（子区域视差移位小数部分）”表示以区域为单位（以子区域为单位）的固定视差信息，即在字幕显示时间段中共同使用的视差信息的小数部分。当上述的标记“disparity_shift_update_sequence_region_flag”是“1”时，执行“disparity_shift_update_sequence()”的读取（参见图36）。

[广播接收概念]

图41图示了在机顶盒200和电视接收机300是3D兼容设备的情况下广播接收的概念。在该情况下，在广播站100中，在区域“Region0”中定义子区域“SR00”，并且设置视差信息“Disparity1”。这里，假定区域Region0和子区域SR00是相同的区域。将子标题数据和显示控制信息（子区域的区域信息Position（位置）和视差信息Disparity1（视差1））与立体图像数据一起从广播站100发送。

首先，将对由作为3D兼容设备的机顶盒200来接收的情况进行描述。在该情况下，机顶盒200从2D流中读取构造子标题数据的各分段数据，从3D扩展流中读取包括诸如视差信息的显示控制信息的DSS分段数据，并且使用所读取的数据。在该情况下，机顶盒200基于子标题类型信息和语言信息从传送流TS中提取用户所选择的语言的2D流和3D扩展流，并且对所提取的2D流和3D扩展流进行解码。

如上所述，在传送流TS中，与2D流和3D扩展流相关联地***子标题描述符（参见图15）。将与2D流相对应的子标题描述符的子标题类型信息“subtitling_type”设置为“2D”。而且，将与3D流相对应的子标题描述符的子标题类型信息“subtitling_type”设置为“3D”。

而且，如上所述，在传送流TS中，与2D流和3D扩展流相关联地分别***组件描述符和子标题描述符（参见图15）。将与2D流相对应的描述符的语言信息（ISO语言代码）设置为表示语言，并且将与3D扩展流相对应的描述符的语言信息（ISO语言代码）设置为表示非语言。

机顶盒200是3D兼容设备。因此，基于子标题类型信息，机顶盒200确定与子标题类型“2D（HD，SD）”相对应的2D流和与子标题类型“3D”相对应的3D扩展流作为要提取的流（参见下面将描述的图42的“○”标记）。而且，机顶盒200确定由用户所选择的语言的2D流和具有表示非语言的语言信息（ISO语言代码）的3D扩展流作为要提取的流（参见下面将描述的图42的“○”标记）。

图42示意性图示了例如在用户选择的语言服务是上述图23中图示的流构造示例中的英语“eng”的情况下机顶盒200的上述2D流和3D扩展流提取处理。在该情况下，作为结果，基于子标题类型信息和语言信息，将语言服务当中与英语“eng”相对应的2D流和包括在“composition_page_id”中的3D扩展流确定为要提取的流。

机顶盒200基于子标题数据来生成用于显示子标题的区域显示数据。机顶盒200通过将区域显示数据叠加在构造立体图像数据的左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上来获得输出立体图像数据。

这里，机顶盒200基于视差信息对相应叠加的显示数据的位置进行移位。而且，机顶盒200根据立体图像数据的传输格式（并排方案、上下方案、帧顺序方案、和其中每个视图具有全屏大小的方案）而适当地改变叠加位置、大小等。

机顶盒200通过例如HDMI数字接口向3D兼容电视接收机300发送如上所述获得的输出立体图像数据。电视接收机300对从机顶盒200接收的立体图像数据执行3D信号处理，以生成子标题叠加在其上的左眼图像数据和右眼图像的数据。电视接收机300在诸如LCD的显示面板上显示双眼视差图像（左眼图像和右眼图像），以允许用户识别立体图像。

接下来，将对由作为3D兼容设备的电视接收机300来接收的情况进行描述。在该情况下，电视接收机300从2D流中读取构造子标题数据的各分段数据，从3D扩展流中读取包括诸如视差信息的显示控制信息的DSS分段数据，并且使用所读取的数据。在该情况下，类似于上述的机顶盒200，基于子标题类型信息、语言信息等，电视接收机300从传送流TS中提取用户所选择的语言的2D流和3D扩展，并且对所提取的2D流和3D扩展流进行解码。

电视接收机300基于子标题数据生成用于显示子标题的区域显示数据。电视接收机300将区域显示数据叠加在通过对立体图像数据执行根据传输格式的处理而获得的左眼图像数据和右眼图像数据上，以生成子标题叠加在其上的左眼图像数据和右眼图像数据。电视接收机300在诸如LCD的显示面板上显示双眼视差图像（左眼图像和右眼图像），以允许用户识别立体图像。

图43图示了在机顶盒200和电视接收机300是遗留2D兼容设备的情况下广播接收的概念。在该情况下，如在图41的情况中一样，将子标题数据和显示控制信息（子区域的视差信息“Disparity1”和区域信息“Position”）与立体图像数据一起从广播站100发送。

首先，将对由作为遗留2D兼容设备的机顶盒200来接收的情况进行描述。在该情况下，机顶盒200从2D流中读取构造子标题数据的各分段数据，并且使用所读取的数据。在该情况下，机顶盒200基于子标题类型信息、语言信息等从传送流TS中提取仅仅用户所选择的语言的2D流，并且对所提取的2D流进行解码。也就是说，因为机顶盒200不读取包括诸如视差信息的显示控制信息的DSS分段，因此能够避免接收处理被读取打断。

如上所述，在传送流TS中，与2D流和3D扩展流相关联地***子标题描述符（参见图15）。将与2D流相对应的子标题描述符的子标题类型信息“subtitling_type”设置为“2D”。而且，将与3D流相对应的子标题描述符的子标题类型信息“subtitling_type”设置为“3D”。

而且，如上所述，在传送流TS中，与2D流和3D扩展流相关联地分别***组件描述符和子标题描述符（参见图15）。将与2D流相对应的描述符的语言信息（ISO语言代码）设置为表示语言，并且将与3D扩展流相对应的描述符的语言信息（ISO语言代码）设置为表示非语言。

机顶盒200是2D兼容设备。因此，基于子标题类型信息，机顶盒200确定与子标题类型“2D（HD，SD）”相对应的2D流作为要提取的流。而且，机顶盒200将由用户选择的语言的2D流确定为要提取的流。

图44示意性图示了例如在用户选择的语言服务是上述图23中图示的流构造示例中的英语“eng”的情况下机顶盒200的2D流提取处理。在该情况下，基于子标题类型信息，机顶盒200确定与子标题类型“2D（HD，SD）”相对应的2D流作为要提取的流。这里，由于机顶盒200是遗留2D兼容设备并且不能解释子标题类型“3D”，所以机顶盒200也可能将3D扩展流确定为要提取的流（图示为标记“△”）。

然而，在该情况下，基于语言信息，机顶盒200确定与英语“eng”相对应的2D流作为要提取的流，并且不确定具有表示非语言的语言信息的3D扩展流作为要提取的流（被图示为标记“×”）。结果，机顶盒200仅确定与英语“eng”相对应的2D流作为要提取的流。因此，由于机顶盒200能够更安全地防止对包括具有视差信息的DSS分段的3D扩展流执行解码处理，所以能够防止其接收处理被解码处理打断。

机顶盒200基于子标题数据而生成用于显示子标题的区域显示数据。机顶盒200通过将区域显示数据叠加在已通过对立体图像数据执行根据传输格式的处理而获得的2D图像数据上，来获得输出2D图像数据。

机顶盒200通过例如HDMI数字接口向电视接收机300发送如上所述获得的输出2D图像数据。电视接收机300根据从机顶盒200接收的2D图像数据显示2D图像。

接下来，将对由作为2D兼容设备的电视接收机300来接收的情况进行描述。在该情况下，电视接收机300从2D流中读取构造子标题数据的各分段数据，并且使用所读取的数据。在该情况下，类似于上述的机顶盒200，电视接收机300基于子标题类型信息和语言信息从传送流TS中提取仅仅用户所选择的语言的2D流，并且对所提取的2D流进行解码。也就是说，因为电视接收机300不读取包括诸如视差信息的显示控制信息的DSS分段，因此能够防止接收处理被读取打断。

电视接收机300基于子标题数据生成用于显示子标题的区域显示数据。电视接收机300通过将区域显示数据叠加在已通过对立体图像数据执行根据传输格式的处理而获得的2D图像数据上，来获得输出2D图像数据。

图45图示了在上述的接收机（机顶盒200、电视接收机300）是遗留2D兼容设备（2D接收机）的情况下和在接收机是3D兼容设备（3D接收机）的情况下的广播接收的概念的概要。而且，在图45中，立体图像数据（3D图像数据）传输方案是并排方案。

而且，在3D兼容设备（3D接收机）的情况下，可以选择3D模式或2D模式。当用户选择3D模式时，情况与参考图41描述的相同。当用户选择2D模式时，情况与参考图43描述的2D兼容设备（2D接收机）的情况相同。

在图2中图示的发送数据生成单元110中，从复用器119输出的作为复用的数据流的传送流TS包括两个私有数据流（子标题数据流）。也就是说，在传送流TS中包括2D流和3D扩展流（参见图11）。

因而，在接收侧的遗留2D兼容接收装置中，可以通过从2D流中仅仅读取构造子标题数据的各分段来执行接收处理。也就是说，在2D兼容接收装置中，由于不需要从3D扩展流中读取DSS分段，所以可以防止接收处理被读取打断。

而且，在图2中图示的发送数据生成单元110中，在与2D流和3D扩展流相关联地***在传送流TS中的组件描述符和子标题描述符中，设置子标题类型信息和语音信息以识别各流。因而，基于对应的子标题类型信息和语言信息，2D兼容接收装置能够从传送流TS中仅提取用户选择的语言的2D流，并且容易地以高精确度来解码2D流。因此，由于2D兼容接收装置能够更安全地防止对包括具有视差信息的DSS分段的3D扩展流执行解码处理，所以能够防止其接收处理被解码处理打断。

而且，在图2中图示的发送数据生成单元110中，***在传送流TS中的2D流和3D扩展流中所包括的各分段的页ID（page_id）相等。因此，基于页ID，接收侧的3D兼容接收装置可以容易地将2D流的分段与3D扩展流的分段组合。

而且，在图2中图示的发送数据生成单元110中，由于可以发送包括在子标题显示时间段依序更新的视差信息的DSS分段，所以能够动态地控制左眼子标题和右眼子标题的显示位置。因此，在接收侧，可以结合图像内容的改变来动态地改变在左眼子标题和右眼子标题之间提供的视差。

而且，在图2中图示的发送数据生成单元110中，包括在由子标题解码器118获得的DSS分段中的关于每个更新帧间隔的帧的视差信息不是自先前视差信息的偏移值，而是自身的视差信息。因而，在接收侧，即使在插值过程中出现错误时，也可以在预定的延迟时间内执行从错误的恢复。

[机顶盒的描述]

返回图1，机顶盒200从广播站100接收在广播波上发送的传送流TS。传送流TS包括音频数据以及包含左眼图像数据和右眼图像数据的立体图像数据。而且，传送流TS进一步包括用于显示子标题（字幕）的关于立体图像的子标题数据（包括显示控制信息）。

也就是说，传送流TS包括视频数据流、音频数据流、以及第一和第二私有数据流（子标题数据流）作为PES流。如上所述，第一和第二私有数据流分别是2D流和3D扩展流（参见图11）。

机顶盒200包括位流处理单元201。当机顶盒200是3D兼容设备（3DSTB）时，位流处理单元201从传送流TS中获取立体图像数据、音频数据和子标题数据（包括显示控制信息）。在该情况下，位流处理单元201从2D流中获取构造子标题数据的各分段数据，以及从3D扩展流中获取包括诸如视差信息的显示控制信息的DSS分段数据。

位流处理单元201使用立体图像数据和子标题数据（包括显示控制信息）来生成输出立体图像数据，在输出立体图像数据中，子标题被叠加在左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上（参见图41）。在该情况下，可以在叠加在左眼图像上的子标题（左眼子标题）和叠加在右眼图像上的子标题（右眼子标题）之间提供视差。

例如，如上所述，被添加到关于从广播站100接收的立体图像的子标题数据的显示控制信息包括视差信息，并且可以基于视差信息在左眼子标题和右眼子标题之间提供视差。以该方式，由于在左眼子标题和右眼子标题之间提供视差，所以用户可以识别图像前方的子标题（字幕）。

图46（a）图示了在图像上的子标题（字幕）的显示示例。在该显示示例中，字幕被叠加在包括背景和近景物体的图像上。图46（b）图示了表现背景、近景物体和字幕并且字幕被识别为在最前面的位置的立体感觉。

图47（a）图示了在图46（a）中一样的图像上的子标题（字幕）的显示示例。图47（b）图示了叠加在左眼图像上的左眼字幕LGI和叠加在右眼图像上的右眼字幕RGI。图47（c）图示了在左眼字幕LGI和右眼字幕RGI之间提供视差，使得字幕被识别为在最前面的位置。

而且，当机顶盒200是遗留2D兼容设备（2D STB）时，位流处理单元201从传送流TS中获取立体图像数据、音频数据和子标题数据（不包括显示控制信息的位图图案数据）。位流处理单元201使用立体图像数据和子标题数据来生成子标题叠加在其上的2D图像数据（参见图43）。

在该情况下，位流处理单元201从2D流中获取构造子标题数据的各分段数据。也就是说，在该情况下，由于不从3D扩展流中读取DSS分段，所以能够防止接收处理被读取打断。在该情况下，基于子标题类型信息和语言信息，位流处理单元201容易地以高精确度从传送流TS中仅提取2D流并对提取的2D流进行解码。

[机顶盒的构造的示例]

将描述机顶盒200的构造的示例。图48图示了机顶盒200的构造的示例。机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206以及音频信号处理电路207。而且，机顶盒200包括CPU211、闪速ROM212、DRAM213、内部总线214、远程控制接收单元（RC接收单元）215以及远程控制发送器（RC发送器）216。

天线端子203是被配置为输入通过接收天线（未图示）接收的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并且输出与用户选择的频道相对应的传送流TS（位流数据）。

基于传送流TS，位流处理单元201输出音频数据和子标题叠加在其上的输出立体图像数据。当机顶盒200是3D兼容设备（3D STB）时，位流处理单元201从传送流TS中获取立体图像数据、音频数据、和子标题数据（包括显示控制信息）。

位流处理单元201通过将子标题叠加在构造立体图像数据的左眼图像帧（frame0）部分和右眼立体图像帧（frame1）部分上来生成输出立体图像数据（参见图41）。这里，基于视差信息，在叠加在左眼图像上的子标题（左眼子标题）和叠加在右眼图像上的子标题（右眼子标题）之间提供视差。

也就是说，位流处理单元201基于子标题数据而生成用于显示子标题的区域显示数据。位流处理单元201通过将区域显示数据叠加在构造立体图像数据的左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上来获得输出立体图像数据。这里，位流处理单元201基于视差信息对相应叠加的显示数据的位置进行移位。

而且，当机顶盒200是2D兼容设备（2D STB）时，位流处理单元201获取立体图像数据、音频数据、和子标题数据（不包括显示控制信息）。位流处理单元201使用立体图像数据和子标题数据来生成子标题叠加在其上的2D图像数据（参见图43）。

也就是说，位流处理单元201基于子标题数据而生成用于显示子标题的区域显示数据。位流处理单元201通过将区域显示数据叠加在已通过对立体图像数据执行根据传输格式的处理而获得的2D图像数据上来获得输出2D图像数据。

视频信号处理电路205当需要时对位流处理单元201获取的图像数据执行图像质量调整处理，并且将处理后的图像数据提供给HDMI发送单元206。音频信号处理单元207当需要时对已从位流处理单元201输出的音频数据执行声音质量调整，并且将处理后的音频数据提供给HDMI发送单元206。

HDMI发送单元206通过基于HDMI的通信将例如未压缩的图像数据和音频数据发送到HDMI端子202。在该情况下，由于在HDMI TMDS信道上发送，所以将图像数据和音频数据打包并将其从HDMI发送单元206输出到HDMI端子202。

CPU211控制机顶盒200的每个单元的操作。闪速ROM212存储控制软件和数据。DRAM213构成CPU211的工作区。CPU211将从闪速ROM212读取的软件或数据部署到DRAM213上，并且激活软件以控制机顶盒200的每个单元。

RC接收单元215接收从RC发送器216发送的远程控制信号（远程控制代码），并且将所接收的远程控制信号提供给CPU211。CPU211基于远程控制代码来控制机顶盒200的每个单元。CPU211、闪速ROM212和DRAM213连接到内部总线214.

将简单描述机顶盒200的操作。输入到天线端子203的电视广播信号被提供给数字调谐器204。数字调谐器204对电视广播信号进行处理，并且输出与用户选择的频道相对应的传送流TS（位流数据）。

从数字调谐器204输出的传送流TS（位流数据）被提供给位流处理单元201。位流处理单元201如下生成要输出到电视接收机300的输出图像数据。

当机顶盒200是3D兼容设备（3D STB）时，从传送流TS中获取立体图像数据、音频数据和子标题数据（包括显示控制信息）。位流处理单元201通过将子标题叠加在构造立体图像数据的左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上来生成输出立体图像数据。这里，基于视差信息，在叠加在左眼图像上的左眼子标题和叠加在右眼图像上的右眼子标题之间提供视差。

而且，当机顶盒200是2D兼容设备（2D STB）时，获取立体图像数据、音频数据和子标题数据（不包括显示控制信息）。位流处理单元201使用立体图像数据和子标题数据来生成子标题叠加在其上的2D图像数据。

由位流处理单元201获取的输出图像数据被提供给视频信号处理电路205。视频信号处理电路205当需要时对输出图像数据执行图像质量调整处理。从视频信号处理电路205输出的处理后的图像数据被提供给HDMI发送单元206。

而且，由位流处理单元201获取的音频数据被提供给音频信号处理电路207。音频信号处理电路207当需要时对音频数据执行声音质量调整处理。从音频信号处理电路207输出的处理后的音频数据被提供给HDMI发送单元206。通过HDMI TMDS信道将提供给HDMI发送单元206的图像数据和音频数据从HDMI端子202发送到HDMI线缆400。

[位流处理单元的构造的示例]

图49图示了在机顶盒200是3D兼容设备（3D STB）的情况下位流处理单元201的构造的示例。位流处理单元201具有与上述图2中图示的发送数据生成单元110相对应的构造。位流处理单元201包括解复用器221、视频解码器222和音频解码器229。

而且，位流处理单元201包括编码数据缓冲器223、子标题解码器224、像素缓冲器225、视差信息插值单元226、位置控制单元227和视频叠加单元228。这里，编码数据缓冲器223构造解码缓冲器。

解复用器221从传送流TS中提取视频数据流和音频数据流分组，并且将提取的分组传递到相应解码器用于解码。此外，解复用器221提取下面的流，并且将所提取的流临时存储在编码数据缓冲器223中。在该情况下，如参考上述图41所述的，解复用器221基于子标题类型信息和语言信息来提取由用户选择的语言的2D流和3D扩展流。

CPU211基于在与2D流和3D扩展流相关联地布置在PMT内的ES循环中的子标题描述符中的“composition_page_id”的值来认知解码两个PES流的必要性。也就是说，当“composition_page_id”的值相等时，意味着解码两个PES流。替选地，当“composition_page_id”的值相等并且是特定值（预定义的）时，意味着解码两个PES流。

而且，还可以认为新定义了将两个流相关联的描述符，其指示解码两个PES流（2D流和3D扩展流）两者的必要性，并且该描述符被布置在预先确定的位置。通过该描述符，CPU211认知解码两个PES流的必要性，并且控制位流处理单元201。

图50图示了可以用来将2D流与3D扩展流相关联的多解码描述符的句法的示例。图51图示了在句法示例中的主要信息内容（语义）。

8位字段“descriptor_tag（描述符标签）”指示描述符是multi-decoding（多解码）描述符。8位字段“descriptor_length（描述符长度）”表示该字段之后的整个字节大小。

4位字段“stream_content（流内容）”表示诸如视频、音频或子标题的主要流的流内容。4位字段“component_type（组件类型）”表示诸如视频、音频、或子标题的主要流的组件类型。“stream_content”和“component_type”是与在与主要流相对应的组件描述符中的“stream_content”和“component_type”相同的信息。

在该实施例中，主要流是2D流，“stream_content”是子标题“subtitle”，并且“component_type”是二维“2D”。

“component_tag（组件标签）”具有与和主要流相对应的stream_identifier描述符中的“component_tag”相同的值。因此，stream_identifier描述符和multi-decoding描述符与“component_tag”相关联。

4位字段“multi_decoding_count（多解码计数）”表示与主要流相关联的目标流的数目。在该实施例中，与作为主要流的2D流相关联的目标流是3D扩展流，并且“multi_decoding_count”是1。

8位字段“target_stream_component_type（目标流组件类型）”表示添加到主要流的流的流类型，诸如视频、音频和子标题。4位字段“component_type”表示目标流的组件类型。而且，8位字段“target_stream_component_tap（目标流组件标签）”具有与在和目标流相对应的stream_identifier描述符中的“component_tag”相同的值。

在该实施例中，目标流是3D扩展流，“target_stream_component_type”是三维“3D”，并且“target_stream_component_tap”具有与3D扩展流的“component_tag”相同的值。。

将multi-decoding描述符布置在例如PMT下或EIT中。图52图示了在布置multi-decoding描述符的情况下传送流TS的构造的示例。

参考图49，视频解码器222执行与上述发送数据生成单元110的视频编码器112相反的处理。也就是说，视频解码器222根据解复用器221提取的视频分组来重构视频数据流，执行编码处理，并且获得包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据的传输格式的示例包括并排方案、上下方案、帧顺序方案和每个视图占用全屏大小的视频传输方案。

子标题解码器224执行与上述发送数据生成单元110的子标题编码器125相反的处理。也就是说，子标题解码器224根据存储在编码数据缓冲器223中的每个流分组来重构每个流，并且执行编码过程以获取下述分段数据。

也就是说，子标题解码器224对2D流进行解码以获取构造子标题数据的各分段数据。而且，子标题解码器224对3D扩展流进行解码以获取DSS分段数据。如上所述，包括在2D流中的每个分段的页ID（page_id）和包括在3D扩展流中的每个分段的页ID（page_id）相同。因而，基于页ID，子标题解码器224能够容易地将2D流的分段与3D扩展流的分段相组合。

基于构造子标题数据的各分段数据和子区域区域信息，子标题解码器224生成用于显示子标题的区域显示数据（位图数据）。这里，向位于区域内但是没有被子区域包围的区域分配透明色彩。像素缓冲器225暂时存储显示数据。

视频叠加单元228获得输出立体图像数据Vout。在该情况下，视频叠加单元228将存储在像素缓冲器225中的显示数据叠加在由视频解码器222获得的立体图像数据的左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上。在该情况下，视频叠加单元228根据立体图像数据的传输方案（诸如并排方案、上下方案、帧顺序方案或MVC方案）适当地改变叠加位置、大小等。视频叠加单元228向位流处理单元201的外部输出该输出立体图像数据Vout。

视差信息插值单元226将由子标题解码器224获得的视差信息提供给位置控制单元227。当需要时，视差信息插值单元226对要提供给位置控制单元227的视差信息执行插值处理。位置控制单元227基于视差信息对叠加在每个帧上的显示数据的位置进行移位（参见图41）。在该情况下，基于视差信息，位置控制单元227通过沿相反方向对叠加在左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上的显示数据（字幕图案数据）进行移位来提供视差。

而且，显示控制信息包括在字幕显示时间段内共同使用的视差信息。而且，显示控制信息可以包括在字幕显示时间段内依序更新的视差信息。如上所述，在字幕显示时间段内依序更新的视差信息包括字幕显示时间段的初始帧的视差信息和每个随后的更新帧间隔的帧的视差信息。

对于在字幕显示时间段中共同使用的视差信息，位置控制单元227不加以改变地使用视差信息。另一方面，对于在字幕显示时间段内依序更新的视差信息，位置控制单元227使用当需要时通过视差信息插值单元226插值的视差信息。例如，视差信息插值单元226生成字幕显示时间段中的任意帧间隔的视差信息，例如一个帧间隔的视差信息。

例如，作为插值处理，视差信息插值单元226沿时间方向（帧方向）执行伴随有低通滤波器（LPF）处理的插值处理，而不是线形插值处理。因此，在插值处理之后沿时间方向（帧方向）的预定帧间隔的视差信息中的改变变得平滑。

而且，音频解码器229执行与上述发送数据生成单元110的音频编码器113相反的处理。也就是说，音频解码器229根据解复用器221提取的音频分组来重构音频基本流，执行编码处理，并且获得输出音频数据Aout。音频解码器229将输出音频数据Aout输出到位流处理单元201的外部。

将简要描述图49中图示的位流处理单元201的操作。从数字调谐器204（参见图48）输出的传送流TS被提供给解复用器221。解复用器221从传送流TS中提取视频数据流分组和音频数据流分组，并且将所提取的分组传递给各解码器。而且，用户选择的语言的2D流分组和3D扩展流分组被解复用器221提取，并且所提取的分组被临时存储在编码数据缓冲器223中。

视频解码器222根据解码器221提取的视频数据分组来重构视频数据流，执行解码处理，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据被提供给视频叠加单元228。

子标题解码器224从编码数据缓冲器223中读取2D流分组和3D扩展流分组，并且对读取的分组进行解码。基于构造子标题数据的各分段数据和子区域区域信息，子标题解码器224生成用于显示子标题的区域显示数据（位图数据）。显示数据临时被存储在像素缓冲器225中。

视频叠加单元228将存储在像素缓冲器225中的显示数据叠加在由视频解码器222获得的立体图像数据的左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上。在该情况下，根据立体图像数据的传输方案（诸如并排方案、上下方案、帧顺序方案或MVC方案）来适当地改变叠加位置、大小等。由视频叠加单元228获得的输出立体图像数据Vout被输出到位流处理单元201的外部。

而且，通过视差信息插值单元226将由子标题解码器224获得的视差信息提供给位置控制单元227。视差信息插值单元226当需要时执行插值处理。例如，对于在字幕显示时间段内以若干帧间隔依序更新的视差信息，当需要时通过视差信息插值单元226执行插值处理，以生成任意帧间隔（例如一个帧间隔）的视差信息。

基于视差信息，位置控制单元227通过视频叠加单元228对叠加在左眼图像帧（frame0）部分和右眼图像帧（frame1）部分上的显示数据（字幕图案数据）进行移位，使得它们方向相反。因此，在显示在左眼图像上的左眼子标题和显示在右眼图像数据上的右眼子标题之间提供视差。因此，根据立体图像的内容实现子标题（字幕）的3D显示。

而且，音频解码器229根据解码器221提取的音频分组来重构音频基本流，执行解码处理，并且获取与用于显示的上述立体图像数据Vout相对应的音频数据Aout。音频数据Aout被输出到位流处理单元201的外部。

图53图示了在机顶盒200是2D兼容设备（2D STB）的情况下位流处理单元201的构造的示例。在图53中，与图49相对应的单元通过相同的参考数字表示，并且将省略其详细描述。在下面，为了便于描述，将图49中图示的位流处理单元201称为3D兼容位流处理单元201，并且将图53中图示的位流处理单元201称为2D兼容位流处理单元201。

在图49中图示的3D兼容位流处理单元201中，视频解码器222根据解复用器221提取的视频分组来重构视频数据，执行解码处理，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。另一方面，在图53中图示的2D兼容位流处理单元201中，视频解码器222获取立体图像数据，拆出（cutout）左眼图像数据或右眼图像数据，并且当需要时执行缩放处理，以获得2D图像数据。

而且，在图49中图示的3D兼容位流处理单元201中，解复用器221如上所述提取用户选择的语言的2D流分组和3D扩展流分组，并且将所提取的流分组提供给子标题解码器224。另一方面，在图53中图示的2D兼容位流处理单元201中，如参考图43描述的，解复用器221仅提取用户选择的语言的2D流分组，并且将所提取的流分组提供给子标题解码器224。

在该情况下，基于子标题类型信息和语言信息，解复用器221容易地以高精确度从传送流TS中仅提取2D流，并且对所提取的2D流进行解码。也就是说，与2D流和3D扩展流相关联***的组件描述符和子标题描述符被***在传送流TS中（参见图15）。

在这些描述符中，设置子标题类型信息“subtitling_type”和语言信息“ISO_639_language_code”以识别2D流和3D扩展流（参见图15和图19）。因而，基于对应的子标题类型信息和语言信息，解复用器221能够容易地以高精确度从传送流TS中仅提取2D流，并且对所提取的2D流进行解码。

而且，在图49中图示的3D兼容位流处理单元201中，如上所述，子标题解码器224例如从2D流中获取构造子标题数据的各分段数据，并且从3D扩展流中获取DSS分段数据。

另一方面，在图53中图示的2D兼容位流处理单元201中，子标题解码器224仅仅从2D流中获取构造子标题数据的各分段数据。基于各分段数据和子区域区域信息，子标题解码器224生成用于显示子标题的区域显示数据（位图数据），并且临时将所生成的数据存储在像素缓冲器225中。在该情况下，子标题解码器224不读取DSS分段数据。因而，能够防止接收处理被读取打断。

而且，在图49中图示的3D兼容位流处理单元201中，视频叠加单元228获取输出立体图像数据Vout，并且将输出立体图像数据Vout输出到位流处理单元201的外部。在该情况下，视频叠加单元228通过将存储在像素缓冲器225中的显示数据叠加在由视频解码器222获得的立体图像数据的左眼图像帧（frame0）部分和右眼图像帧（frame1）上来获得输出立体图像数据。基于视差信息，位置控制单元227将显示数据移位为处于相反方向，并且在显示在左眼图像上的左眼子标题和显示在右眼图像数据上的右眼子标题之间提供视差。

另一方面，在图53中图示的2D兼容位流处理单元201中，视频叠加单元228通过将存储在像素缓冲器225中的显示数据叠加在由视频解码器222获得的2D图像数据上来获得输出2D图像数据Vout。视频叠加单元228将输出2D图像数据Vout输出到位流处理单元201的外部。

将简要描述图53中图示的2D位流处理单元201的操作。而且，因为音频***的操作类似于图49中图示的3D位流处理单元201的操作，因此将省略其描述。

从数字调谐器204（参见图48）输出的传送流TS被提供给解复用器221。解复用器221从传送流TS中提取视频数据流分组和音频数据流分组，并且将所提取的分组提供给各解码器。此外，解复用器221提取2D流分组，并且将所提取的2D流分组临时存储在编码数据缓冲器223中。

视频解码器222根据解复用器221提取的视频数据分组来重构视频数据流，执行解码处理，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。视频解码器222从立体图像数据中拆出左眼图像数据或右眼图像数据，并且当需要时执行缩放处理，以获得2D图像数据。2D图像数据被提供给视频叠加单元228。

而且，子标题解码器224从编码数据缓冲器223中读取2D流，并且对2D流进行解码。基于构造子标题数据的各分段数据，子标题解码器224生成用于显示子标题的区域显示数据（位图数据）。显示数据被临时存储在像素缓冲器225中。

视频叠加单元228通过将存储在像素缓冲器225中的子标题的显示数据（位图数据）叠加在由视频解码器222获得的2D图像数据上来获得输出2D图像数据Vout。输出2D图像数据Vout被输出到位流处理单元201的外部。

在图48中图示的机顶盒200中，从数字调谐器204输出的传送流TS除了立体图像数据和子标题数据外还包括显示控制信息。显示控制信息包括诸如视差信息和子区域的区域信息的显示控制信息。因而，可以向左眼子标题和右眼子标题的显示位置提供视差。因此，在子标题（字幕）的显示中，可以以最佳状态维持图像中的各对象之间的透视感觉的一致性。

而且，在图48中图示的机顶盒200中，当由3D兼容位流处理单元201（参见图46）的子标题解码器224获取的显示控制信息包括在字幕显示时间段内依序更新的视差信息时，可以动态地控制左眼子标题和右眼子标题的显示位置。因此，可以结合图像内容的改变来动态地改变在左眼子标题和右眼子标题之间提供的视差。

而且，在图48中图示的机顶盒200中，3D位流处理单元201（参见图49）的视差信息插值单元226对构造在字幕显示时间段（预定数目帧的时间段）内依序更新的视差信息的多个帧的视差信息执行插值处理。在该情况下，即使当以更新帧间隔从发送侧发送视差信息时，也可以以精细间隔（例如每帧）来控制在左眼子标题和右眼子标题之间提供的视差。

而且，在图48中图示的机顶盒200中，3D位流处理单元201（参见图49）的视差信息插值单元226中的插值处理可以例如伴随有沿时间方向（帧方向）的低通滤波器处理。因而，即使当以更新帧间隔从发送侧发送视差信息时，也可以使得在插值处理之后沿时间方向的视差信息的改变平滑。因此，能够抑制当在左眼子标题和右眼子标题之间提供的视差的移位在每个帧间隔变得不连续时导致的不舒服感觉。

而且，在图48中图示的机顶盒200中，基于子标题类型信息和语言信息，2D位流处理单元201（参见图53）的解复用器221容易地以高准确度仅从传送流TS提取2D流，并且对所提取的2D流解码。因此，子标题解码器224能够更安全地防止对包括具有视差信息的DSS分段的3D扩展流执行解码处理，所以可以避免接收处理被解码处理打断。

此外，尽管上面没有描述，但是当机顶盒200是3D兼容设备时，用户可以选择2D显示模式或3D显示模式。在该情况下，当选择3D显示模式时，位流处理单元201具有与上述的3D位流处理单元201（参见图49）相同的构造和操作。另一方面，当选择2D模式时，位流处理单元201可以具有与上述的2D位流处理单元201（参见图53）相同的构造和操作。

[电视接收机的描述]

返回图1，当是3D兼容设备时，电视接收机300通过HDMI线缆400接收从机顶盒200发送的立体图像数据。电视接收机300包括3D信号处理单元301。3D信号处理单元301对立体图像数据执行与传输格式相对应的处理（解码处理），以生成左眼图像数据和右眼图像数据。

[电视接收机的构造的示例]

将描述3D兼容电视接收机300的构造的示例。图54图示了电视接收机300的构造的示例。电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。

而且，电视接收机300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。而且，电视接收机300包括CPU321、闪速ROM322、DRAM323、内部总线324、远程控制接收单元（RC接收单元）325以及远程控制发送器（RC发送器）326。

天线端子304是被构造为输入通过接收天线（未图示）接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并且输出与用户选择的频道相对应的传送流TS（位流数据）。

基于传送流TS，位流处理单元306输出音频数据和子标题叠加在其上的输出立体图像数据。尽管将不进行详细描述，但是例如位流处理单元201具有与上述的机顶盒200的3D位流处理单元201（参见图49）相同的构造。对于立体图像数据，位流处理单元306同步左眼子标题和右眼子标题的显示数据，并且生成和输出叠加有子标题的输出立体图像数据。

而且，例如，当立体图像数据的传输格式是并排方案、上下方案等时，位流处理单元306执行缩放（scaling）处理以输出全分辨率的左眼图像数据和右眼图像数据。而且，位流处理单元306输出与图像数据相对应的音频数据。

HDMI接收单元303通过基于HDMI的通信接收通过HDMI线缆400提供到HDMI端子302的未压缩的图像数据和音频数据。HDMI接收单元303具有例如HDMI1.4a版本，并且因此可以处理立体图像数据。

3D信号处理单元301对由HDMI接收单元303接收的立体图像数据执行解码处理，以生成全分辨率的左眼图像数据和右眼图像数据。3D信号处理单元301执行与TMDS传输数据格式相对应的解码处理。而且，3D信号处理单元301不对位流处理单元306获得的全分辨率的左眼图像数据和右眼图像数据执行任何处理。

视频/图形处理电路307基于由3D信号处理单元301生成的左眼图像数据和右眼图像数据来生成用于显示立体图像的图像数据。而且，视频/图形处理电路307当需要时对图像数据执行图像质量调整处理。

而且，关于图像数据，视频/图形处理电路307当需要时同步诸如菜单或节目的叠加信息数据。面板驱动电路308基于从视频/图形处理电路307输出的图像数据来驱动显示面板309。显示面板309包括例如LCD（液晶显示器）、PDP（等离子显示面板）等。

视频信号处理电路310对HDMI接收单元303接收的或位流处理单元306获得的音频数据执行诸如D/A转换的必要处理。音频放大电路311放大从音频信号处理电路310输出的音频信号，并且将放大后的音频信号提供给扬声器312。

CPU321控制电视接收机300的每个单元的操作。闪速ROM322存储控制软件和数据。DRAM323构成CPU321的工作区。CPU321将从闪速ROM322读取的软件或数据部署到DRAM323上，并且激活软件，以控制电视接收机300的每个单元。

RC接收单元325接收从RC发送器326发送的远程控制信号（远程控制代码），并且将所接收的远程控制信号提供给CPU321。CPU321基于远程控制代码来控制电视接收机300的每个单元。CPU321、闪速ROM322和DRAM323连接到内部总线324.

将简单描述图54中图示的电视接收机300的操作。HDMI接收单元303接收从通过HDMI线缆400连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。HDMI接收单元303接收的立体图像数据被提供到3D信号处理单元301。而且，HDMI接收单元303接收的音频数据被提供到音频信号处理电路310。

输入到天线端子304的电视广播信号被提供给数字调谐器305。数字调谐器305对电视广播信号进行处理，并且输出与用户选择的频道相对应的传送流TS（位流数据）。传送流TS被提供给位流处理单元306。

基于视频数据流、音频数据流、2D流、3D扩展流和3D流，位流处理单元306获得音频数据和叠加有子标题的输出立体图像数据。在该情况下，关于立体图像数据，同步左眼子标题和右眼子标题的显示数据，以生成叠加有子标题的输出立体图像数据（全分辨率的左眼图像数据和右眼图像数据）。通过3D信号处理单元801将输出立体图像数据提供给视频/图形处理电路307。

3D信号处理单元301对HDMI接收单元303接收的立体图像数据执行解码处理，以生成全分辨率的左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据被提供给视频/图形处理电路307。视频/图形处理电路307基于左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据，并且当需要时还执行诸如图像质量调整处理和OSD（On Screen Display，屏幕显示）处理的叠加信息数据同步处理。

由视频/图形处理电路307获得的图像数据被提供给面板驱动电路308。因而，通过显示面板309来显示立体图像。例如，显示面板309以时分方式交替显示与左眼图像数据相对应的左眼图像和与右眼图像数据相对应的右眼图像。通过佩戴例如具有与显示面板309的显示同步地交替打开的左眼快门和右眼快门的快门眼镜，观看者能够用左眼仅观看左眼图像以及用右眼仅观看右眼图像，因而识别出立体图像。

而且，由位流处理单元306获得的音频数据被提供给音频信号处理电路310。音频信号处理电路310对HDMI接收单元303接收的或位流处理单元306获得的音频数据执行诸如D/A转换的必要处理。通过音频放大电路311来放大音频数据并且放大后的音频数据被提供给扬声器312。因而，从扬声器312输出与显示面板309的显示图像相对应的声音。

此外，图54图示了上述的3D兼容电视接收机300。尽管没有进行详细描述，但是遗留2D兼容电视接收机具有几乎相同的构造。然而，在遗留2D兼容电视接收机的情况下，位流处理单元306具有与上述图53中图示的2D兼容位流处理单元201相同的构造和操作。而且，在遗留2D兼容电视接收机的情况下，不需要3D信号处理单元301。

而且，在3D兼容电视接收机300的情况下，用户可以选择2D显示模式和3D显示模式。在该情况下，当选择3D显示模式时，位流处理单元306具有如上所述的相同构造和操作。另一方面，当选择2D显示模式时，位流处理单元306具有如上述图53中图示的2D兼容位流处理单元201相同的构造和操作。

<2.修改例>

而且，在上面的实施例中，图示了包括在3D扩展流中的视差信息***作为组成页（composition_page）（参见图15、图19和图23）。在该情况下，如上所述，3D扩展流被包括为各语言服务中的“composition_page_id”，并且被指定为“subtitling_type=3D”和“ISO_639_language_code=zxx”。

另一方面，可以考虑将3D扩展流中包括的视差信息操作为辅助页“ancillary_page”。在该情况下，当3D扩展流被指定为各语言服务的公共辅助页ID（ancillay_page_id）时，各语言服务共同引用3D扩展流，使得可以有效地编码子标题。即使在该情况下，也将3D扩展流指定为“subtitling_type=3D”和“ISO_639_language_code=zxx”。然而，其仅适用于3D扩展流的构造是DDS、DSS和EDS的情况。这是因为不允许在服务之间共享PCS，并且因而需要“page_id”总是等于“composition_page_id”。

图55图示了在该情况下的传送流TS的构造的示例。与在上面所述的图15中图示的传送流TS的构造示例一样，也在图55中，为了图示的简化，省略了与视频和音频相关的部分。在图55中，通过相同的参考数字表示与图15相对应的单元，并且将适当省略其详细描述。

将分别与2D流和3D扩展流相对应的子标题描述符（Subtitling_Descriptor）***在PMT中。在2D流中，不操作辅助页ID（aucillary_page_id）。因而，将与2D流相对应的子标题描述符的辅助页ID（aucillary_page_id）设置为具有与组成页ID“composition_page_id”相同的值（图中的0xXXXX）。也就是说，这是因为当不操作辅助页ID时需要两个页ID的值相同。对2D流的每个分段的“page_id”进行编码以具有与“composition_page_id”相同的值。

另一方面，在3D扩展流中，操作辅助页ID（aucillary_page_id）。因而，将与3D扩展流相对应的子标题描述符的辅助页ID（aucillary_page_id）设置为具有与组成页ID“composition_page_id”不同的值（图中的0xPPPP）。对3D扩展流的每个分段的“page_id”进行编码以具有与“aucillary_page_id”相同的值。因此，3D扩展流是等于辅助页ID“aucillary_page_id”的页ID“page_id”的值，并且在各语言服务中被共同引用。

图56图示了在图55中图示的子标题描述符（Subtitling_descriptor）和组件描述符（component_descriptor）的摘录。而且，图57图示了在图55中图示的PES流（2D流和3D扩展流）的摘录。

设置子标题描述符的组成页ID（composition_page_id），以指示在3D扩展流中包括的每个分段与2D流的每个分段相关联。也就是说，将3D扩展流中的“composition_page_id”和2D流中的“composition_page_id”设置为共享相同的值（图中的0xXXXX）。

而且，在子标题描述符和组件描述符中，例如，描述ISO语言代码（ISO_639_language_code）作为语言信息。与2D流相对应的描述符的ISO语言代码被设置为表示子标题（字幕）的语言。在图示的示例中，将ISO语言代码设置为表示英语的“eng”。3D扩展流具有带有视差信息的DSS分段，但是不具有分段ODS。因而，3D扩展流不依赖于语言。在与3D扩展流相对应的描述符中描述的ISO语言代码被设置为例如表示非语言的“zxx”。

而且，将与2D流相对应的子标题描述符的辅助页ID（aucillary_page_id）设置为具有与组成页ID“composition_page_id”相同的值（图中的0xXXXX）。另一方面，将与3D扩展流相对应的子标题描述符的辅助页ID（aucillary_page_id）设置为具有与组成页ID“composition_page_id”不同的值（图中的0xPPPP）。

图58图示了子标题数据流（2D流和3D扩展流）的流构造的示例。类似于图23的构造示例，该示例是英语“eng”和德语“ger”的双语言服务的示例。不同于图23的构造，3D扩展流不被包括作为各语言服务中的“composition_page_id”。在该构造示例中，3D扩展流是各语言服务的公共辅助页（aucillary_page_id），并且从各语言服务被共同引用。

图59示意性地图示了在用户选择的语言服务是英语“eng”的情况下在3D兼容设备（机顶盒、电视接收机等）中的2D流和3D扩展流提取处理。

在该情况下，基于子标题类型信息，3D兼容设备确定与子标题类型“2D（HD，SD）相对应的2D流和与子标题类型“3D”相对应的3D扩展流作为要提取的流（参见“○”标记）。而且，接收装置确定用户选择的语言的2D流和具有表示非语言的语言信息（ISO语言代码）的3D扩展流作为要提取的流（参见“○”标记）。

在该情况下，作为结果，基于子标题类型信息和语言信息，与英语“eng”相对应的2D流和从各语言服务作为“aucillary_page_id”共同引用的3D扩展流被确定为要提取的流。

图60示意性地图示了在用户选择的语言服务是英语“eng”的情况下在遗留2D兼容设备（机顶盒、电视接收机等）中的仅2D流的提取处理。

在该情况下，基于子标题类型信息，2D兼容设备可以确定与子标题类型“2D（HD，SD）”相对应的2D流作为要提取的流（参见“○”标记）。这里，由于2D兼容设备不能解释子标题类型“3D”，所以也可以将3D流确定为要提取的流（参见“△”标记）。

然而，在该情况下，基于语言信息，2D兼容设备确定与英语“eng”相对应的2D流作为要提取的流，并且不确定具有表示非语言的语言信息的3D扩展流作为要提取的流（被图示为标记“×”）。作为结果，2D兼容设备仅确定与英语“eng”相对应的2D流作为要提取的流。因此，由于2D兼容设备可以更安全地防止对包括具有视差信息的DSS分段的3D扩展流执行解码处理，所以能够防止其接收处理被解码处理打断。

此外，图48图示了机顶盒200被提供有连接到数字调谐器204的天线输入端子203。然而，也可以相同的方式配置接收通过线缆发送的RF信号的机顶盒。在该情况下，提供线缆端子来代替天线端子203。

而且，也可以以相同的方式配置直接地或通过路由器连接到因特网或家庭网络的机顶盒。在该情况下，上述传送流TS可以直接地或通过路由器从因特网和家庭网络被发送到机顶盒。

图61图示了在该情况下的机顶盒200A的构造示例。在图61中，通过相同的参考数字表示与图48的单元相对应的单元。机顶盒200A包括连接到网络接口209的网络端子208。传送流TS从网络接口209输出，然后被提供给位流处理单元201。尽管没有进行详细描述，但是机顶盒200A的其他单元具有与图48中图示的机顶盒200相同的构造和操作。

而且，在图54图示了电视接收机300被提供有连接到数字调谐器204的天线输入端子304。然而，也可以以相同的方式构造接收通过线缆发送的RF信号的电视接收机。在该情况下，提供线缆端子来代替天线端子304。

而且，也可以以相同的方式构造直接地或通过路由器连接到因特网或家庭网络的电视接收机。在该情况下，传送流TS直接地或经由路由器从因特网和家庭网络被发送到电视接收机。

图62图示了在该情况下的电视接收机300A的构造示例。在图62中，通过相同的参考数字表示与图54的单元相对应的单元。电视接收机300A包括连接到网络接口314的网络端子313。传送流TS从网络接口314输出，然后被提供给位流处理单元306。尽管没有进行详细描述，但是电视接收机300A的其他单元具有与图54中图示的电视接收机300的对应单元相同的构造和操作。

而且，在上述实施例中，图像发送/接收***10被图示为包括广播站100、机顶盒200和电视接收机300。然而，如图54中所图示的，电视接收机300包括以与机顶盒200中的位流处理单元201相同的方式起作用的位流处理单元306。因而，如图63中图示的，可以将图像发送/接收***10A设计为包括广播站100和电视接收机300。

而且，在上述实施例中，机顶盒200和电视接收机300被图示为通过HDMI数字接口连接。然而，即使当机顶盒200和电视接收机300通过与HDMI数字接口等效的任何其他数字接口（包括无线接口以及有线接口）连接时，本发明也可以类似地适用。

而且，在上述实施例中，将子标题（字幕）对待为叠加信息。然而，即使当将诸如图形信息和文本信息的其他类型信息对待为叠加信息时，以及即使当划分成基本流和附加流并且被编码以便以相关联的方式输出的那些信息被与音频流相关地对待时，本发明也可以类似地适用。

另外，本技术可以具有下面的构造。

（1）一种发送装置，包括：

图像数据输出单元，所述图像数据输出单元被配置为输出用于显示立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，所述叠加信息数据输出单元被配置为输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据；

视差信息输出单元，所述视差信息输出单元被配置为输出用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息；以及

数据发送单元，所述数据发送单元被配置为发送复用的数据流，所述复用的数据流包含包括从所述图像数据输出单元输出的所述图像数据的视频数据流、包括从所述叠加信息数据输出单元输出的所述叠加信息数据的第一私有数据流、和包括从所述视差信息输出单元输出的所述视差信息的第二私有数据流，

其中，包括与所述第一私有数据流和所述第二私有数据流相对应的相应条语言信息的第一描述符和第二描述符被***到所述复用的数据流中，并且包括在所述第二描述符中的语言信息被设置为表示非语言。

（2）根据（1）的发送装置，其中

所述叠加信息数据是DVB子标题数据，并且

所述描述符是组件描述符和子标题描述符。

（3）根据（1）或（2）的发送装置，其中，表示非语言的所述语言信息是表示ISO语言代码的非语言的“zxx”。

（4）根据（1）或（2）的发送装置，其中，表示非语言的所述语言信息是包括在ISO语言代码的从“qaa”至“qrz”的空间中的语言代码中的任何一个。

（5）根据（1）至（4）中的任何一个的发送装置，其中，

所述叠加信息数据是DVB子标题数据，

分别与所述第一私有数据流和所述第二私有数据流相对应的第一子标题描述符和第二子标题描述符被***在复用的数据流中，并且

由所述第一子标题描述符的子标题类型信息表示的子标题类型与由所述第二子标题描述符的子标题类型信息表示的子标题类型不同。

（6）根据（1）至（5）中的任何一个的发送装置，其中，

所述叠加信息数据是DVB子标题数据，并且

包括所述第一私有数据流的叠加信息数据的分段等于包括所述第二私有数据流的视差信息的分段的页ID。

（7）根据（1）至（5）中的任何一个的发送装置，其中，

所述叠加信息数据是DVB子标题数据，并且

包括在所述第二私有数据流中的视差信息***作为辅助页。

（8）一种发送方法，包括步骤：

输出用于显示立体图像的左眼图像数据和右眼图像数据；

输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据；

输出用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息；以及

发送复用的数据流，所述复用的数据流包含包括在图像数据输出步骤中输出的所述图像数据的视频数据流、包括在叠加信息数据输出步骤中输出的所述叠加信息数据的第一私有数据流、和包括在视差信息输出步骤中输出的所述视差信息的第二私有数据流，

其中，包括与所述第一私有数据流和所述第二私有数据流相对应的相应条语言信息的第一描述符和第二描述符被***到所述复用的数据流中，并且包括在所述第二描述符中的语言信息被设置为表示非语言。

（9）一种接收装置，包括：

数据接收单元，所述数据接收单元被配置为接收复用的数据流，所述复用的数据流包括用于显示立体图像数据的左眼图像数据和右眼图像数据的视频数据流、包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据的第一子标题数据流、以及包括用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息的第二子标题数据流；

视频解码单元，所述视频解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述视频数据流，并且对所提取的视频数据流进行解码；以及

子标题解码单元，所述子标题解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述第一子标题数据流，并且对所提取的所述第一子标题数据流进行解码，

其中

包括与所述第一子标题数据流和所述第二子标题数据流相对应的相应条子标题类型信息的描述符被***到所述复用的数据流中，

包括在与所述第一子标题数据流和所述第二子标题数据流相对应的描述符中的相应条子标题类型信息被设置为表示不同的子标题类型，以及

所述子标题解码单元基于***在所述描述符中的所述子标题类型信息来确定要在从所述复用的数据流提取之后被解码的子标题数据流。

（10）一种接收装置，包括：

数据接收单元，所述数据接收单元被配置为接收复用的数据流，所述复用的数据流包括用于显示立体图像的左眼图像数据和右眼图像数据的视频数据流、包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据的第一子标题数据流、以及包括用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息的第二子标题数据流；

视频解码单元，所述视频解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述视频数据流，并且对所提取的视频数据流进行解码；以及

子标题解码单元，所述子标题解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述第一子标题数据流，并且对所提取的第一子标题数据流进行解码，

其中

包括与所述第一子标题数据流和所述第二子标题数据流相对应的相应条语言信息的描述符被***到所述复用的数据流中，

包括在与所述第二子标题数据流相对应的所述描述符中的语言信息被设置为表示非语言，以及

所述子标题解码单元基于***在所述描述符中的语言信息来确定要在从所述复用的数据流提取之后被解码的子标题数据流。

参考符号列表

10、10A 图像发送/接收***

100 广播站

11L、11R 相机

112 视频成帧单元

113 视差矢量检测单元

114 麦克风

115 数据提取单元

115a 数据记录介质

116 至118转变开关

119 视频编码器

120 视频解码器

121 子标题生成单元

122 视差信息创建单元

123 子标题处理单元

125 子标题编码器

126 复用器

200、200A 机顶盒（STB）

201 位流处理单元

202 HDMI端子

203 天线端子

204 数字调谐器

205 视频信号处理电路

206 HDMI发送单元

207 音频信号处理电路

208 网络端子

209 网络接口

211 CPU

215 远程控制接收单元

216 远程控制发送单元

221 解复用器

222 视频解码器

223 编码数据缓冲器

224 子标题解码器

225 像素缓冲器

226 视差信息插值单元

227 位置控制单元

228 视频叠加单元

229 音频解码器

300、300A 电视接收机（TV）

3013D 信号处理单元

302 HDMI端子

303 HDMI接收单元

304 天线端子

305 数字调谐器

306 位流处理单元

307 视频/图形处理电路

308 面板驱动电路

309 显示面板

310 音频信号处理电路

311 音频放大电路

312 扬声器

Claims (10)

1.一种发送装置，包括：

图像数据输出单元，所述图像数据输出单元被配置为输出用于显示立体图像的左眼图像数据和右眼图像数据；

叠加信息数据输出单元，所述叠加信息数据输出单元被配置为输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据；

视差信息输出单元，所述视差信息输出单元被配置为输出用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息；以及

数据发送单元，所述数据发送单元被配置为发送复用的数据流，所述复用的数据流包含包括从所述图像数据输出单元输出的所述图像数据的视频数据流、包括从所述叠加信息数据输出单元输出的所述叠加信息数据的第一私有数据流、和包括从所述视差信息输出单元输出的所述视差信息的第二私有数据流，

其中，包括与所述第一私有数据流和所述第二私有数据流相对应的相应条语言信息的第一描述符和第二描述符被***到所述复用的数据流中，并且包括在所述第二描述符中的语言信息被设置为表示非语言。

2.根据权利要求1所述的发送装置，其中

所述叠加信息数据是DVB子标题数据，并且

所述描述符是组件描述符和子标题描述符。

3.根据权利要求1所述的发送装置，其中，表示非语言的所述语言信息是表示ISO语言代码的非语言的“zxx”。

4.根据权利要求1所述的发送装置，其中，表示非语言的所述语言信息是包括在ISO语言代码的从“qaa”至“qrz”的空间中的语言代码中的任何一个。

5.根据权利要求1所述的发送装置，其中

所述叠加信息数据是DVB子标题数据，

分别与所述第一私有数据流和所述第二私有数据流相对应的第一子标题描述符和第二子标题描述符被***到复用的数据流中，并且

由所述第一子标题描述符的子标题类型信息表示的子标题类型与由所述第二子标题描述符的子标题类型信息表示的子标题类型不同。

6.根据权利要求1所述的发送装置，其中

所述叠加信息数据是DVB子标题数据，并且

包括所述第一私有数据流的叠加信息数据的分段等于包括所述第二私有数据流的视差信息的分段的页ID。

7.根据权利要求1所述的发送装置，其中

所述叠加信息数据是DVB子标题数据，并且

包括在所述第二私有数据流中的视差信息***作为辅助页。

8.一种发送方法，包括步骤：

输出用于显示立体图像的左眼图像数据和右眼图像数据；

输出要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据；

输出用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息；以及

发送复用的数据流，所述复用的数据流包含包括在图像数据输出步骤中输出的所述图像数据的视频数据流、包括在叠加信息数据输出步骤中输出的所述叠加信息数据的第一私有数据流、和包括在视差信息输出步骤中输出的所述视差信息的第二私有数据流，

其中，包括与所述第一私有数据流和所述第二私有数据流相对应的相应条语言信息的第一描述符和第二描述符被***到所述复用的数据流中，并且包括在所述第二描述符中的语言信息被设置为表示非语言。

9.一种接收装置，包括：

数据接收单元，所述数据接收单元被配置为接收复用的数据流，所述复用的数据流包括用于显示立体图像的左眼图像数据和右眼图像数据的视频数据流、包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据的第一子标题数据流、以及包括用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息的第二子标题数据流；

视频解码单元，所述视频解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述视频数据流，并且对所提取的视频数据流进行解码；以及

子标题解码单元，所述子标题解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述第一子标题数据流，并且对所提取的所述第一子标题数据流进行解码，

其中

包括与所述第一子标题数据流和所述第二子标题数据流相对应的相应条子标题类型信息的描述符被***到所述复用的数据流中，

包括在与所述第一子标题数据流和所述第二子标题数据流相对应的描述符中的相应条子标题类型信息被设置为表示不同的子标题类型，以及

所述子标题解码单元基于***在所述描述符中的所述子标题类型信息来确定要在从所述复用的数据流提取之后被解码的子标题数据流。

10.一种接收装置，包括：

数据接收单元，所述数据接收单元被配置为接收复用的数据流，所述复用的数据流包括用于显示立体图像的左眼图像数据和右眼图像数据的视频数据流、包括要叠加在所述左眼图像数据和所述右眼图像数据的图像上的叠加信息数据的第一子标题数据流、以及包括用于通过对要叠加在所述左眼图像数据和所述右眼图像数据的图像上的所述叠加信息进行移位来提供视差的视差信息的第二子标题数据流；

视频解码单元，所述视频解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述视频数据流，并且对所提取的视频数据流进行解码；以及

子标题解码单元，所述子标题解码单元被配置为从由所述数据接收单元接收的所述复用的数据流中提取所述第一子标题数据流，并且对所提取的第一子标题数据流进行解码，

其中

包括与所述第一子标题数据流和所述第二子标题数据流相对应的相应条语言信息的描述符被***到所述复用的数据流中，

包括在与所述第二子标题数据流相对应的所述描述符中的语言信息被设置为表示非语言，以及

所述子标题解码单元基于***在所述描述符中的语言信息来确定要在从所述复用的数据流提取之后被解码的子标题数据流。

Images