CN103329545A - 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法 - Google Patents

Abstract

本发明利用裁切信息在所有时间能够在接收方上适当地执行剪切处理。发送预定格式的载体，该载体包括在报头中***的裁切信息的视频流，如传输流。在比视频流更高的层中***用于裁切信息的参数值的解释信息。基于解释信息可以在接收方上适当地解释裁切信息，利用裁切信息可以适当地执行剪切处理（裁切），可以适当地生成用于显示的图像数据，而不管该图像数据是二维图像数据还是帧兼容的三维图像数据。

Description

图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法

技术领域

本技术涉及图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法，更具体地，涉及以下图像发送和接收***的图像发送装置，在该图像发送和接收***中，发送方除了发送图像数据之外还发送裁切（cropping）信息并且接收方基于裁切信息对图像数据执行剪切（cutout）处理。

背景技术

例如，PTL1提出了利用立体图像数据的电视无线波（airwave）的发送方案。在该情况下，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且在电视接收机中利用双目视差（disparity）来执行立体图像显示。

图22是示出了当利用双目视差来执行立体图像显示时屏幕上的对象（主体）的左图像和右图像的显示位置与其立体图像（3D图像）的再现位置之间的关系的图。例如，由于按照左图像La向屏幕的右侧偏移而右图像Ra向屏幕的左侧偏移的方式，与屏幕上显示的对象A有关的左视线和右视线在屏幕表面的前方相交，如所示，因而其立体图像的再现位置位于屏幕表面的前方。DPa表示与对象A有关的在水平方向上的视差矢量。

例如，由于关于左图像Lb和右图像Rb被显示在屏幕上的同一位置的对象B，左视线和右视线在屏幕表面上相交，如所示，其立体图像的再现位置在屏幕表面上。例如，由于按照左图像Lc向屏幕的左侧偏移而右图像Rc向屏幕的右侧偏移的方式，与屏幕上显示的对象C有关的左视线和右视线在屏幕表面的后方相交，如所示，因而其立体图像的再现位置位于屏幕表面的后方。DPc表示与对象C有关的在水平方向上的视差矢量。

在过去作为立体图像数据的发送格式，已知帧兼容方案，如左右方案（side by side scheme）和上下方案（top and bottom scheme）。例如，图23（a）是示出左右方案的图，图23（b）是示出上下方案的图。此处，示出了像素格式1920×1080的情况。

左右方案是在水平方向上的第一半部分中发送左眼图像数据的像素数据而在水平方向上的第二半部分中发送右眼图像数据的像素数据的方案，如图23（a）所示。在该方案的情况下，左眼图像数据和右眼图像数据各自的在水平方向上的像素数据均被抽掉1/2，因此水平分辨率是原始信号的一半。

如图23（b）所示，上下方案是在竖直方向上的第一半部分中发送左眼图像数据的每条线的数据而在竖直方向上的第二半部分中发送右眼图像数据的每条线的数据的方案。在该方案的情况下，左眼图像数据和右眼图像数据的线被抽掉1/2，因此竖直分辨率是原始信号的一半。

在下文中，将简要描述在接收方生成显示图像数据的过程。图24（a）示意性地示出了与具有1920×1080像素格式的二维图像数据有关的处理。在该情况下，由于在发送方对每个16×16的块执行编码，因此添加由空白数据形成的8条线并执行编码以获得1920像素×1088线的图像数据。

因此，当解码后，在接收方能够获得1920像素×1088线的图像数据。然而，由于图像数据中的8条线是空白数据，因而基于在视频数据流中包括的裁切信息剪切出包括真正的图像数据的1920像素×1080线的图像数据，并且生成用于二维电视接收机（在下文中，适当地称作“2D TV”）的显示图像数据。

图24（b）是示意性地示出了与具有像素格式1920×1080的左右方案的立体图像数据（三维图像数据）有关的处理的图。甚至在该情况下，由于在发送方对每个16×16的块执行编码，因而添加了由空白数据形成的8条线并且执行编码以获得1920像素×1088线的图像数据。

因此，当解码后，在接收方能够获得1920像素×1088线的图像数据。然而，由于图像数据中的8条线是空白数据，因而基于在视频数据流中包括的裁切信息来剪切出包括真正的图像数据的1920像素×1080线的图像数据。然后，图像数据被平分成左数据和右数据，对每个数据执行缩放处理，生成立体电视接收机（在下文中，适当地称作“3D TV”）的左眼显示图像数据和右眼显示图像数据。

图24（c）是示意性地示出了与具有像素格式1920×1080的上下方案的立体图像数据（三维图像数据）有关的处理的图。甚至在该情况下，由于在发送方对每个16×16的块执行编码，因而添加由空白数据形成的8条线并且执行编码以获得1920像素×1088线的图像数据。

因此，当解码后，在接收方能够获得1920像素×1088线的图像数据。然而，由于图像数据中的8条线是空白数据，因而基于在视频数据流中包括的裁切信息来剪切出包括真实的图像数据的1920像素×1080线的图像数据。然后，图像数据被平分为上数据和下数据，对每个数据执行缩放处理，并且生成3D TV的左眼显示图像数据和右眼显示图像数据。

引用列表

专利文献

PTL1：日本未审查专利申请

公开号2005-6114

发明内容

技术问题

当在上述的左右方案和上下方案的立体图像数据的情况下在2D TV中剪切出1920像素×1080线的图像数据并生成用于2D TV的图像数据时，显示布置了左右完全相同的图像或上下完全相同的图像的不自然的图像。

因此，为了防止在2D TV中显示不自然的图像，可以考虑将视频数据流中所包括的裁切信息设置为用于仅剪切出左眼图像数据和右眼图像数据中的一个（例如，仅左眼图像数据）的信息。在该情况下，如下地执行2D TV和3D TV的处理。

图25（a）是示意性地示出2D TV中的1920×1080的像素格式的左右方案的立体图像数据（三维图像数据）的处理的图。在2D TV中，在解码之后能够获得1920像素×1088线的图像数据，但是该图像数据中的8条线是空白数据。在该情况下，基于裁切信息，从包括真实的图像数据的1920像素×1080线的图像数据中剪切出960像素×1080线的左眼图像数据。然后，对左眼图像数据执行缩放处理以生成用于2D TV的显示图像数据。在该情况下，执行正确的二维显示（2D显示）。

另一方面，图25（b）是示意性地示出3D TV中具有1920×1080的像素格式的左右方案的立体图像数据（三维图像数据）的处理的图。即使在3D TV中，在解码之后仍可以获得1920像素×1088线的图像数据，但是该图像数据中的8条线是空白数据。在该情况下，基于裁切信息，从包括真实的图像数据的1920像素×1080线的图像数据中剪切出960像素×1080线的左眼图像数据。

然后，对左眼图像数据执行缩放处理以生成1920像素×1080线的图像数据。该图像数据与上述的2D TV的显示图像数据相同。由于在3D TV中使用左右方案，因而图像数据被平分为左图像数据和右图像数据，并对每个图像数据执行缩放处理以生成用于3D TV的左眼显示图像数据和右眼显示图像数据。在该情况下，由于左眼图像和右眼图像分别是从一个图像中平分出的左图像和右图像中的一个和另一个，未正确地执行立体显示（3D显示）。

图26（a）是示意性地示出2D TV中具有1920×1080的像素格式的上下方案的立体图像数据（三维图像数据）的处理的图。在2D TV中，在解码之后能够获得1920像素×1088线的图像数据，但是该图像数据中的8条线是空白数据。在该情况下，基于裁切信息，从包括真实的图像数据的1920像素×1080线的图像数据中剪切出1920像素×540线的左眼图像数据。然后，对左眼图像数据执行缩放处理以生成用于2D TV的显示图像数据。在该情况下，执行正确的二维显示（2D显示）。

另一方面，图26（b）是示意性地示出3D TV中的1920×1080的像素格式的上下方案的立体图像数据（三维图像数据）的处理的图。在3D TV中，在解码之后能够获得1920像素×1088线的图像数据，但是该图像数据中的8条线是空白数据。在该情况下，基于裁切信息，从包括真实的图像数据的1920像素×1080线的图像数据中剪切出1920像素×540线的左眼图像数据。

然后，对左眼图像数据执行缩放处理以生成1920像素×1080线的图像数据。该图像数据与上述的2D TV的显示图像数据相同。由于在该3DTV中使用上下方案，该图像数据被平分为上数据和下数据，并且对每个图像数据执行缩放处理以生成用于3D TV的左眼显示图像数据和右眼显示图像数据。在该情况下，由于左眼图像和右眼图像分别是从一个图像中平分出的上图像和下图像中的一个和另一个，因而未正确地执行立体显示（3D显示）。

本技术的一个目的是在接收方上基于裁切信息适当地执行剪切处理，并能够正确地生成显示图像数据。

解决方案

根据本技术的构思，图像数据发送装置包括：

图像数据发送单元，其发送具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中；以及

信息***单元，其将所述裁切信息的参数值的解释信息***比视频流更高的层中。

在本技术中，图像数据发送单元发送具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中裁切信息被***报头部分中。例如，该载体可以是在数字广播标准中使用的传输流（MPEG-2TS）。例如，该载体可以是在例如互联网传送中使用的MP4或其他格式的载体。

信息***单元将裁切信息的参数值的解释信息***比视频流的更高的层中。例如，该载体可以是传输流，并且信息***单元可以将解释信息***在节目映射表或事件信息表下。例如，信息***单元可以在被***在节目映射表或事件信息表下的描述符中描述解释信息。

例如，视频流是H.264/AVC或HEVC的编码数据。可以在视频流的序列参数集中定义裁切信息。信息***单元可以在被***在节目映射表或事件信息表下的描述符中描述解释信息。

例如，当图像数据是在同一帧的水平方向或竖直方向上划分并布置左眼图像数据和右眼图像数据的立体图像数据（即，所谓的帧兼容方案的立体图像数据）时，考虑用解释信息表示裁切信息的参数值被特殊地解释。在该情况下，当图像数据是二维图像数据时，考虑用解释信息表示裁切信息的参数值被不变地解释。

例如，当图像数据是在同一帧的水平方向或竖直方向上划分并布置左眼图像数据和右眼图像数据的立体图像数据时，解释信息可以表示裁切信息的参数值被解释为使得裁切区域在水平方向或竖直方向上被加倍。例如，当图像数据是左右方案的立体图像数据时，解释信息表示参数值被解释为使得裁切区域在水平方向上被加倍。例如，当图像数据是上下方案的立体图像数据时，解释信息表示参数值被解释为使得裁切区域在竖直方向上被加倍。在该情况下，解释信息指定裁切信息的参数值的解释。

在本技术中，裁切信息的参数值的解释信息被***比视频流更高的层中。因此，即使当图像数据是帧兼容方案的二维图像数据和立体图像数据中的任一个时，接收方基于解释信息仍能够适当地解释裁切信息的参数值。因此，基于裁切信息可以适当地执行剪切处理（裁切）并正确地生成显示图像数据。

在本技术中，例如，图像数据可以是二维图像数据或立体图像数据，在立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内。信息***部可以被配置为在二维图像数据和立体图像数据的切换定时之前的定时处将与切换后的图像数据对应变化的解释信息***比视频流更高的层中。

在该情况下，接收方能够在二维图像数据和立体图像数据的切换定时之前获取与切换后的图像数据对应变化的解释信息。因此，通过紧在切换定时之前解释适合于切换后的图像数据的裁切信息的参数值来执行图像数据剪切处理（裁切）。因此，可以防止由于图像数据的切换而显示不自然的图像。

根据本技术的另一构思，一种图像接收装置包括：

图像数据接收单元，其接收具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中，

其中，所述裁切信息的参数值的解释信息被***比所述视频流更高的层中，以及

所述图像数据接收装置还包括：

信息获取单元，其从所述载体获取所述解释信息；

解码单元，其对所述载体中所包括的视频流进行解码以获取所述图像数据和所述裁切信息；以及

图像数据处理单元，其基于所述解释信息来解释所述裁切信息的参数值，并从所述图像数据中剪切出预定区域的图像数据以生成显示图像数据。

在本技术中，图像数据接收单元接收具有视频流（例如，传输流）的预定格式的载体，该视频流包括图像数据，并且在视频流中，裁切信息被***报头部分中。此处，裁切信息的参数值的解释信息被***比视频流更高的层中。

信息获取单元从载体中获取解释信息。解码单元对在载体中包括的视频流进行解码并获取图像数据和裁切信息。图像数据处理单元基于解释信息来解释裁切信息的参数值，并从图像数据中剪切出预定区域的图像数据以生成显示图像数据。

因此，在本技术中，发送具有视频流的预定格式的载体，其中在视频流中，裁切信息被***报头部分中。然而，裁切信息的解释信息被***比视频流更高的层中。因此，即使当图像数据是帧兼容方案的二维图像数据和立体图像数据中的任一个时，基于解释信息仍能够适当地解释裁切信息。因此，基于裁切信息能够适当地执行剪切处理，并正确地生成显示图像数据。

在本技术中，例如，图像数据可以是二维图像数据和立体图像数据中的任一个，在立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内。在二维图像数据和立体图像数据的切换定时之前的定时处，可以将与切换后的图像数据相应地改变的解释信息***比视频流更高的层中。从图像数据的切换定时起，图像数据处理单元可以基于与切换后的图像数据对应的改变的并在切换定时之前的定时处***的解释信息来解释裁切信息的参数值。

在该情况下，通过紧在切换定时之前解释适合于切换后的图像数据的裁切信息的参数值，能够适当地执行图像数据剪切处理。因此，即使当解释信息的获取不与图像数据的切换定时同步，仍可以防止显示不自然的图像。

本发明的有益效果

根据本技术，在接收方上基于裁切信息可以适当地执行剪切处理，并正确地生成显示图像数据。

附图说明

[图1]是示出根据实施例的图像发送和接收***的配置的示例的框图。

[图2]是示出视频流中的访问单元（access unit）的数据结构的示例的图。

[图3]是示出访问单元的SPS（Sequence Parameter Set，序列参数集）中定义的裁切信息的结构的图。

[图4]是示意性地示出接收具有像素格式1920×1080的左右方案的立体图像数据的过程的图。

[图5]是示意性地示出接收具有像素格式1920×1080的上下方案的立体图像数据的过程的图。

[图6]是示出在图像发送和接收***中包括的广播站的发送数据生成单元的配置的示例的框图。

[图7]是示出传输流TS的配置的示例的图。

[图8]是示出传输流TS的另一配置的示例的图。

[图9]是示出“AVC_video_descriptor（AVC_视频_描述符）”的示例性配置（语法）的图。

[图10]是示出“AVC_video_descriptor”的规定内容（语义）的图。

[图11]是示出“Cropping_interpretation_descriptor（裁切_解释_描述符）”的示例性配置（语法）的图。

[图12]是示出图像发送和接收***中包括的接收器的配置的示例的框图。

[图13]是示出接收器中的CPU的裁切控制处理的示例的流程图。

[图14]是示出在操作时在PMT下的AVC视频描述符中描述的标记信息“cropping_normal_interpretation_flag（裁切_正常_解释_标记）”的示例的图。

[图15]是示出传输流TS的配置的示例的图。

[图16]是示出传输流TS的另一配置的示例的图。

[图17]是示出“AVC_video_descriptor”的示例性配置（语法）的图。

[图18]是示出“AVC_video_descriptor”的规定内容（语义）的图。

[图19]是示出“Cropping_interpretation_descriptor”的示例性配置（语义）的图。

[图20]是示出接收器中的CPU的裁切控制处理的示例的流程图。

[图21]是示出在PMT下的AVC视频描述符中描述的“cropping_interpretation_mode（裁切_解释_模式）”中的操作时的模式信息的示例的图。

[图22]是示出当利用双眼视差来执行立体图像显示时立体图像的再现位置和屏幕上的对象的左眼图像和右眼图像的显示位置之间的关系的图。

[图23]是示出立体图像数据的发送格式的示例（左右方案和上下方案）的图。

[图24]是示出在接收方上生成显示图像数据的过程的图。

[图25]是示出根据相关技术的利用裁切信息的左右方案中的图像处理的图。

[图26]是示出根据相关技术的利用裁切信息的上下方案中的图像处理的图。

具体实施方式

在下文中，将描述执行本发明的模式（在下文中，称作“实施例”）。将按照下列顺序来进行描述。

1.实施例

2.修改示例

<1.实施例>

[图像发送和接收***]

图1是示出根据实施例的图像发送和接收***10的配置的示例的图。图像发送和接收***10包括广播站100和接收器（3D TV）200。广播站100将具有视频流的传输流TS加载在无线波上以发送传输流TS，其中，视频流包含图像数据。

在视频流中包括的图像数据是二维图像数据或所谓的帧兼容方案（frame-compatible scheme）的立体图像数据，在立体图像数据中，在同一帧中的水平方向或竖直方向上划分和布置左眼图像数据和右眼图像数据。立体图像数据的发送格式的示例包括左右方案（见图23（a））和上下方案（见图23（b））。

在该实施例中，假设图像数据的像素格式为1920×1080。广播站100针对每个16×16的块对图像数据执行编码。因此，广播站100添加由空白数据形成的8条线并执行编码以获得1920像素×1088线的图像数据。

裁切信息被***视频流的报头部分中。当图像数据是二维图像数据时，裁切信息当作用于从1920像素×1088线的解码图像中剪切出包括真实图像数据的1920像素×1080线的图像数据的信息。

当图像数据是帧兼容方案的立体图像数据时，裁切信息当作用于从1920像素×1088线的解码图像中剪切出真实的左眼图像数据或真实的右眼图像数据的信息。例如，在左右方案的立体图像数据中，剪切信息当作用于剪切出960像素×1080线的图像数据的信息。此外，例如，在上下方案的立体图像数据中，裁切信息当作用于剪切出1920像素×540线的图像数据的信息。

在该实施例中，视频数据流例如是H.264/AVC（高级视频编码）流。在视频流的序列参数集（SPS）中定义裁切信息。图2（a）和2（b）是示出视频数据流中的访问单元的数据结构的示例的图。H.264是示出GOP（图片组）的头访问单元（head access unit）的结构的图。图2（b）是示出GOP的除了头访问单元之外的访问单元的结构的图。

裁切信息被***在GOP的头访问单元中存在的SPS（序列参数集）的一部分中。图3是示出在SPS中定义的裁切信息的结构（语法）的图。在SPS中，通过标记信息“frame_cropping_flag（帧_裁切_标记）来表示是否存在裁切信息。裁切信息是用于指定图像数据的作为剪切区域的矩形区域的信息。

“frame_crop_left_offset（帧_裁切_左_偏移）表示水平方向的起始位置，即，左端位置。“frame_crop_right_offset（帧_裁切_右_偏移）”表示水平方向上的末端位置，即，右端位置。“frame_crop_top_offset（帧_裁切_上_偏移）”表示竖直方向上的起始位置，即，上端位置。“frame_crop_bottom_offset（帧_裁切_下_偏移）”表示竖直方向上的末端位置，即，下端位置。全部从左上位置起用偏移值来表达。

当图像数据是立体图像数据时，“Frame Packing Arrangement SEImessage（帧封装布置SEI消息）”被***访问单元的SEI部分中。SEI包括类型信息，类型信息表示图像数据具有立体图像数据的哪种发送格式。

在传输流TS中，裁切信息的参数值的解释信息被***比视频流更高的层中。该解释信息被***在例如节目映射表（PMT）之下。具体而言，例如，在***在节目映射表的视频原始循环（loop）之下的描述符中描述该解释信息。该描述符例如是已知的AVC视频描述符或新定义的裁切解释描述符（Cropping_interpretation_descriptor（裁切_解释_描述符））。

当图像数据是帧兼容方案的立体图像数据时，解释信息表示特殊地解释裁切信息的参数值。此外，当图像数据是二维图像数据时，解释信息表示必须不变地解释裁切信息的参数值。解释信息被***在二维图像数据和立体图像数据的切换定时之前的定时处。

接收器200接收从广播站100发送的在无线波上加载的传输流TS。接收器200从传输流TS中获取如上所述的在比视频流更高的层中***的裁切信息的参数值的解释信息。此外，接收器200对视频流进行解码并获取图像数据和裁切信息。

接收器200基于解释信息来解释裁切信息的参数值并剪切出预定区域的图像数据，并根据该图像数据生成显示图像数据。例如，当图像数据是二维图像数据时，裁切信息当作用于从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据的信息。在该情况下，接收器200不变地解释裁切信息的参数值，从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据，并生成二维图像显示的图像数据。

例如，当图像数据是帧兼容方案的立体图像数据时，裁切信息当作用于从1920像素×1088线的解码图像数据中剪切出包括真实的左眼图像数据和真实的右眼图像数据的信息。在该情况下，接收器200将裁切信息的参数值解释为使得裁切区域在水平方向或竖直方向上加倍。然后，接收器200从1920像素×1088线的解码图像数据中剪切出包括真实的图像数据的1920像素×1080线的图像数据，对左眼图像数据部分和右眼图像数据部分均执行缩放处理，并生成用于立体图像显示的左眼图像数据和右眼图像数据。

如上所述，解释信息***在二维图像数据和立体图像数据的切换定时之前的定时处。根据图像数据的切换定时，接收器200根据与切换后的图像数据相应改变的并且在切换定时之前的定时处***的解释信息，解释裁切信息的参数值。即，接收器200通过紧在切换定时之前解释适合于切换后的图像数据的裁切信息来剪切出图像数据，并生成显示图像数据。

图4是示意性地示出接收1920×1080像素格式的左右方案的立体图像数据的过程的图。在解码之后，可以获得1920像素×1088线的图像数据，但是图像数据中的8条线是空白数据。

在二维（2D）显示模式的情况下，不变地解释裁切信息（其中由白色O标志来表示偏移位置）。因此，基于裁切信息，例如，从包括真实图像数据的1920像素×1088线的图像数据中剪切出960像素×1080线的左眼图像数据。然后，在水平方向上对左眼图像数据执行缩放处理以生成用于二维图像显示的图像数据。在该情况下，正确地显示二维图像。

在立体（3D）显示模式的情况下，裁切信息（其中由白色O标志表示偏移位置）被解释成使得裁切区域在水平方向上被加倍（其中，由阴影标志O表示偏移改变位置）。因此，基于裁切信息，剪切出包括真实图像数据的1920像素×1080线的图像数据。剪切出的图像数据被平分成左右方案的立体图像数据的左图像和右图像，并且在水平方向上执行缩放处理以生成用于立体图像数据的左眼图像数据和右眼图像数据。在该情况下，正确地显示立体图像。

图5是示意性地示出接收像素格式1920×1080的上下方案的立体图像数据的过程的图。在解码之后，能够获得1920像素×1088线的图像数据，但是图像数据中的8条线是空白数据。

在二维（2D）显示模式的情况下，不变地解释裁切信息（其中由白色O标志表示偏移位置）。因此，基于裁切信息，例如，从包括真实图像数据的1920像素×1080线的图像数据中剪切出1920像素×540线的左眼图像数据。然后，在竖直方向上对左眼图像数据执行缩放处理以生成用于二维图像显示的图像数据。在该情况下，正确地显示二维图像。

在立体（3D）显示模式的情况下，裁切信息（其中由白色Ｏ标志表示偏移位置）被解释为使得裁切区域在竖直方向上被加倍（其中由阴影标志Ｏ表示偏移改变位置）。因此，基于该裁切信息，剪切出包括真实图像数据的1920像素×1080线的图像数据。剪切出的图像数据被平分为上下方案的立体图像数据的上图像和下图像，并且在竖直方向上执行缩放处理以生成用于立体图像显示的左眼图像数据和右眼图像数据。在该情况下，正确地显示立体图像。

[发送数据生成单元的配置的示例]

图6是示出在广播站100中的用于生成上述传输流TS的发送数据生成单元110的配置的示例的图。发送数据生成单元110包括数据提取单元（实现单元）111、视频编码器112、音频编码器113和复用器114。

例如，数据记录介质111a被可拆卸地安装在数据提取单元111上。数据记录介质111a是例如盘形记录介质或半导体存储器。数据记录介质111a记录通过传输流TS发送的多个节目的图像数据。

每个节目的图像数据被配置为例如二维图像数据或帧兼容方案的立体图像数据（在下文中，简称为“立体图像数据”）。立体图像数据的发送格式是例如左右方案或上下方案（见图23（a）和23（b））。数据提取单元111从数据记录介质111a中顺序地提取并输出发送目标节目的图像数据和音频数据。

视频编码器112对从数据提取单元111输出的图像数据执行H.264/AVC（高级视频编码）编码以获得编码视频图像。在视频编码器112中，在后级上设置的流格式器（未示出）生成包括编码视频数据的视频流（视频原始流）。此时，视频编码器112将裁切信息***视频流的报头部分中。如上所述，裁切信息被***在GOP的头访问单元中存在的SPS（序列参数集）的一部分中（见图2（a））。

音频编码器113对从数据提取单元111输出的音频数据执行MPEG-2音频AAC编码等以生成音频流（音频原始流）。复用器114对视频编码器112和音频编码器113所生成的各个原始流进行分组和复用，以生成传输流（复用数据流）TS。

此处，复用器114将裁切信息的参数值的解释信息***比视频流更高的层中。复用器114将与切换后的图像数据对应的解释信息***在二维图像数据和立体图像数据的切换定时之前的定时处。

如上所述，例如，在***在节目映射表的视频原始循环之下的描述符中描述解释信息。描述符例如是已知的AVC视频描述符或新定义的裁切解释描述符（Cropping_interpretation_descriptor（裁切_解释_描述符））。

图7是示出传输流TS的配置的示例的图。该配置的示例是这样的示例，其中在已知的AVC视频描述符中描述当作裁切信息的参数值的解释信息的标记信息“cropping_normal_interpretation_flag（裁切_正常_解释_标记）”。

在配置的示例中，包括视频流的PES数据包“Video PES1”。在视频流中，当所包括的图像数据是立体图像数据时，“Frame PackingArrangement SEI message（帧封装布置SEI消息）被***在访问单元的SEI的一部分中，如上所述。SEI包括表示图像数据具有哪种立体图像数据发送格式的类型信息。

传输流TS包括作为PSI（节目特定信息）的PMT（节目映射表）PSI是用于描述传输流中所包括的每个原始流属于哪个节目的信息。传输流还包括作为用于管理事件单元的SI（业务信息，Serviced Information）的EIT（事件信息表）。

在PMT中，存在用于描述与整个节目有关的信息的节目描述符（Program Descriptor）。在PMT中，存在具有与每个原始流有关的信息的原始循环。在该配置的示例中，存在视频原始循环（视频ES循环）。

在原始循环中，针对每个流布置诸如数据包标识符（PID）的信息，并且还布置用于描述与原始流有关的信息的描述符。在该配置的示例中，为了简化附图，未示出音频。

在该配置的示例中，在视频原始循环（视频ES循环）中包括的“AVC_video_descriptor（AVC_视频_描述符）”中描述标记信息“cropping_normal_interpretation_flag（裁切_正常_解释_标记）”。

图8（a）是示出传输流TS的另一配置的示例的图。该配置的示例是在新定义的裁切解释描述符中描述当作裁切信息的参数值的解释信息的标记信息“cropping_normal_interpretation_flag”的示例。

在该配置的示例中，在***到视频原始循环（视频ES循环）中的“Cropping_interpretation_descriptor（裁切_解释_描述符）”中描述标记信息“cropping_normal_interpretation_flag”。尽管省略了详细描述，其余配置与图7中所示的配置的示例相同。

当在每个事件处改变裁切信息的参数值的解释时，考虑将“Cropping_interpretation_descriptor”插在EIT之下，如图8（b）所示。

图9是示出“AVC_video_descriptor”的结构（语法）的示例的图。该描述符本身已经满足H.264/AVC标准。此处，在该描述符中新定义了1位标记信息“cropping_normal_interpretation_flag（裁切_正常_解释_标记）”。

如图10中的规定内容（语义）所表示的那样，该标记信息表示是否不变地应用GOP的头访问单元中的SPS（序列参数集）中定义的裁切信息的参数值，换句话说，是否特殊地解释裁切信息的参数值。

当标记信息为“0”时，标记信息表示特殊地解释裁切信息的参数值。此时，当（frame_crop_right_offset-frame_crop_left_offset）等于图片在水平方向上的尺寸（horizontal_size（水平_尺寸））的1/2时，接收器通过在下面的（1）和（2）的每个中将右手方代入到左手方来设置执行裁切的位置，并且基于所述执行裁切的位置来执行裁切。此外，可以取决于（1）中的解释值是否处于图片尺寸的范围内来确定是（1）还是（2）。

(1)frame_crop_right_offset=frame_crop_right_offset*2

(2)frame_crop_left_offset=0

此外，当（frame_crop_bottom_offset-frame_crop_top_offset）等于图片在竖直方向上的尺寸（vertical_size（竖直_尺寸））的1/2时，接收器通过在（3）和（4）的每个中将右手方代入到左手方中来设置执行裁切的位置，并且基于所述执行裁切的位置来执行裁切。此外，可以取决于（3）中的解释值是否处于图片尺寸的范围内来确定是（3）还是（4）。

(3)frame_crop_bottom_offset=frame_crop_bottom_offset*2

(4)frame_crop_top_offset=0

当标记信息为“0”但是上述描述均不适用时，接收器不变地解释在SPS中定义的裁切信息的参数值并执行裁切。

当标记信息为“1”时，接收器不变地解释在SPS中定义的裁切信息的参数值并执行裁切。

图11是示出“Cropping_interpretation_descriptor（裁切_解释_描述符）”的结构（语法）的示例的图。8位字段的“descriptor_tag（描述符_标记）”表示该描述符是“Cropping_interpretation_descriptor”。8位字段的“descriptor_length（描述符_长度）”表示后续数据的字节数。此外，在该描述符中描述上述的1位标记信息“cropping_normal_interpretation_flag”。

将简要描述图6中示出的发送数据生成单元110的处理。从数据提取单元111顺序地输出的、要发送的节目的图像数据（二维图像数据或立体图像数据）被提供至视频编码器112。视频编码器112对图像数据执行H.264/AVC（高级视频编码）编码以获得编码视频数据。在视频编码器112中，在后续级上设置的流格式器（未示出）生成包括编码视频数据的视频流（视频原始流）。

在该情况下，视频编码器112将裁切信息***视频数据流的头部。即，在该情况下，裁切信息被***在GOP的头访问单元中存在的SPS（序列参数集）的一部分中（参见图2和3）。当图像数据是立体图像数据时，视频编码器112将“Frame Packing Arrangement SEI message（帧封装布置SEI消息）”***访问单元的SEI的一部分中（见图2）。SEI包括类型信息，类型信息表示图像数据具有哪种立体图像数据发送格式。

当从数据提取单元111输出要发送的上述节目的图像数据时，还从数据提取单元111输出与图像数据对应的音频数据。音频数据被提供至音频编码器113。音频编码器113对音频数据执行MPEG-2音频AAC（MPEG-2Audio AAC）等编码，以生成包括编码音频数据的音频流（音频原始流）。

视频编码器112所生成的视频流被提供至复用器114。音频编码器113所生成的音频流也被提供至复用器114。复用器114对从各编码器提供的原始流进行分组和复用，以生成传输流（复用的数据流）TS。

在该情况下，复用器114将裁切信息的参数值的解释信息***比数据流更高的层中。在该情况下，与切换后的图像数据的解释信息被***在二维图像数据和立体图像数据的切换定时之前的定时处。在该情况下，例如，在节目映射表的视频原始循环之下***的描述符中描述当作解释信息的标记信息“cropping_normal_interpretation_flag”（参见图7、8、9和11）。

如上所述，图6中示出的发送数据生成单元110将裁切信息的参数值的解释信息***比视频流更高的层中。因此，无论图像数据是二维图像数据还是立体图像数据，接收方都能够基于解释信息来适当地解释裁切信息的参数值，因此能够基于裁切信息来适当地执行剪切处理（裁切）以正确地生成显示图像数据。

图6中示出的发送数据生成单元110在二维图像数据和立体图像数据的切换定时之前的定时处将与切换后的图像数据对应的解释信息***比视频流更高的层中。因此，接收方能够在二维图像数据和立体图像数据的切换定时之前获取与切换后的图像数据对应改变的解释信息。相应地，由于可以通过紧在切换定时之前解释适合于切换后的图像数据的裁切信息的参数值来执行图像数据剪切处理（裁切），可以防止图像数据的切换而导致的不自然的图像显示。

[接收器的配置示例]

图12是示出接收器（3D TV）200的配置的示例的图。接收器200包括CPU201、闪存ROM202、DRAM203、内部总线204、遥控接收单元（RC接收单元）205、遥控发送单元（RC发送单元）206。

接收器200还包括天线端子210、数字调谐器211、解复用器213、视频解码器214、视角缓冲器217L和217R、音频解码器218和声道处理单元219。

CPU201控制接收器200的每个单元的处理。闪存202存储控制软件并存储数据。DRAM203包括CPU201的工作区。CPU201将从闪存ROM202读取的软件或数据加载在DRAM203上，激活该软件，并控制接收器200的每个单元。RC接收单元205接收从RC发送单元206发送的遥控信号（遥控码）并将遥控码提供至CPU201。CPU201基于遥控码来控制接收器200的每个单元。CPU201、闪存ROM202和DRAM203连接至内部总线204。

天线端子210是输入接收天线（未示出）所接收的电视广播信号的端子。数字调谐器211对输出到天线端子210的电视广播信号进行处理并输出与用户所选频道对应的预定传输流TS。

如上所述，传输流TS具有包括图像数据的视频流，裁切信息被***报头部分中。此处，图像数据是二维图像数据或立体图像数据。在传输流TS中，如上所述，当作裁切信息的参数值的解释信息的标记信息“cropping_normal_interpretation_flag”被***比视频流更高的层中。

如上所述，例如，在节目映射表或事件信息表之下***的描述符中描述解释信息。描述符例如是已知AVC视频描述符或新定义的裁切解释描述符。在该情况下，在二维图像数据和立体图像数据的切换定时之前的定时处，与切换后的图像数据对应的解释信息被***比视频流更高的层中。

解复用器213从输出自数字调谐器211的传输流TS中提取视频和音频的各个流。解复用器213从传输流TS中提取诸如节目映射表（PMT）的信息并将该信息提供至CPU201。

如上所述，该信息包括当作裁切信息的参数值的解释信息的标记信息“cropping_normal_interpretation_flag”。CPU201基于该标记信息来解释裁切信息的参数值，并且对解码图像数据的图像数据剪切处理（裁切）进行控制。

视频解码器214执行上述的发送数据生成单元110的视频编码器112的处理的逆处理。即，视频解码器214对解复用器213所提取的视频流中所包括的解码图像数据执行解码处理，以获得解码图像数据。

如上所述，广播站110的发送数据生成单元110添加由空白数据形成的8条线以针对每个16×16块的执行编码，并执行编码以获得1920像素×1088线的图像数据。因此，视频解码器214获取被添加了由空白数据形成的8条线的1920像素×1088线的图像数据作为解码图像数据。

视频解码器214提取视频数据流的报头信息，并将报头信息提供至CPU201。在该情况下，GOP的头访问单元的SPS的一部分包括裁切信息。当图像数据是立体图像数据时，包括类型信息的“Frame PackingArrangement SEI message（帧封装布置SEI消息）”被***访问单元的SEI的一部分中。CPU201基于裁切信息和SEI来对解码图像数据的图像数据剪切处理（裁切）进行控制。

视频解码器214在CPU201的控制下对解码图像数据执行图像数据剪切处理（裁切）并适当地执行缩放处理以生成显示图像数据。

当图像数据是二维图像数据时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据，并生成用于二维图像显示的图像数据SV。

当图像数据是立体图像数据并且处于二维显示模式时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实的图像数据的1920像素×1080线的图像数据中的左眼图像数据或右眼图像数据。然后，视频解码器214对剪切出的图像数据执行缩放处理以生成用于二维图像显示的图像数据SV（参见图4和5中的二维显示模式）。

当图像数据是立体图像数据并且处于立体显示模式时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据。

视频解码器214将剪切出的图像数据平分成左图像数据和右图像数据或者上图像数据和下图像数据，并对每个图像数据执行缩放处理以生成用于立体图像显示的左眼图像数据SL和右眼图像数据SR（参见图4和5中的三维显示模式）。在该情况下，当图像数据是左右方案的立体图像数据时，图像数据被平分为左图像数据和右图像数据。当图像数据是上下方案的立体图像数据时，图像数据被平分为上图像数据和下图像数据。

视频缓冲器217L临时累积视频解码器214所生成的1920像素×1080线的左眼图像数据SL或者二维图像数据SV，并将二维图像数据SV或左眼图像数据SL输出到图像输出单元，如显示器。此外，视角缓冲器217R临时累积视频解码器214所生成的1920像素×1080线的右眼图像数据SR，并将右眼图像数据SR输出到图像输出单元，如显示器。

视频解码器218执行上述的发送数据生成单元110的音频编码器113的处理的逆处理。即，音频解码器218对解复用器213所提取的音频流中包括的编码音频数据执行解码处理以获得解码音频数据。声道处理单元219处理从音频解码器218获得的音频数据，以生成用于实现例如5.1声道环绕的各声道的音频数据SA，并将音频数据SA输出到音频输出单元，如扬声器。

[裁切控制]

将描述CPU201对视频解码器214执行的裁切（图像数据剪切处理）的控制。CPU201基于裁切信息、参数值的解释信息、包括立体图像的类型信息的SEI等等来执行视频解码器214的裁切控制。

图13是示出CPU201所执行的裁切控制处理的示例的流程图。CPU201对每个图片执行该流程图的处理。CPU201在步骤ST1中开始该处理，然后使处理前进到步骤ST2。在步骤ST2中，CPU201确定模式是否为3D显示模式。用户对RC发送单元206进行操作以设置3D显示模式或2D显示模式。

当模式是3D显示模式时，在步骤ST3中，CPU201确定作为裁切信息的参数值的解释信息的“cropping_normal_interpretation_flag”是否为“0”。该标记信息在图像数据是立体图像数据时被设置为“0”，并且在考虑了2D兼容性的情况下用于3D业务。

当标记信息为“0”时，在步骤ST4中，CPU201确定是否检测到SEI“Frame Packing Arrangement SEI message”。当图像数据是立体图像数据时，存在SEI。当检测到SEI时，在步骤ST5中，CPU201确定（frame_crop_right_offset-frame_crop_left_offset）是否等于图片在水平方向上的尺寸（horizontal_size（水平_尺寸））的1/2。

当图像数据是左右方案的立体图像数据时，满足步骤ST5的条件。因此，当满足步骤ST5的条件时，CPU201使处理前进到步骤ST6。在步骤ST6中，CPU201解释裁切信息并执行裁切处理,以使得裁切区域在水平方向上被加倍。

在该情况下，CPU201根据基于原始裁切信息而剪切出的区域是左半部分还是右半部分来如下地改变裁切信息的参数值。即，当该区域是左半部分时，通过将右手方代入到左手方中将解释执行为“frame_crop_right_offset=frame_crop_right_offset*2”，然后执行裁切控制处理。相反地，当该区域是右半部分时，通过将右手方代入到左手方中将解释执行为“frame_crop_left_offset=0”，然后执行裁切控制处理。

CPU201执行步骤ST6的处理，然后在步骤ST7中结束处理。

相反地，当步骤ST5的条件不被满足时，CPU201使处理前进到步骤ST8。在步骤ST8中，CPU201确定（frame_crop_bottom_offset-frame_crop_top_offset）是否等于图片在竖直方向上的尺寸（vertical_size（竖直_尺寸））的1/2。

当图像数据是上下方案的立体图像数据时，满足步骤ST8的条件。因此，当满足步骤ST8的条件时，CPU201使处理前进到步骤ST9。在步骤ST9中，CPU201将裁切信息解释为使得裁切区域在竖直方向上被加倍，并执行裁切控制处理。

在该情况下，CPU201根据基于原始裁切信息而剪切出的区域是上半部分还是下半部分来如下地改变裁切信息的参数值。即，当该区域是上半部分时，通过将右手方代入到左手方中来将解释执行为“frame_crop_bottom_offset=frame_crop_bottom_offset*2”，然后执行裁切控制处理。相反地，当该区域是下半部分时，通过将右手方代入到左手方中将解释执行为“frame_crop_top_offset=0”，然后执行裁切控制处理。

CPU201执行步骤ST9的处理，然后结束步骤ST7中的处理。当然“Frame Packing Arrangement SEI（帧封装布置SEI）”知道相应图片的格式是左右方案还是上下方案。

当在步骤ST2中该模式不是3D显示模式，在步骤ST3中标记信息是“1”，在步骤ST4中未检测到SEI，并且步骤ST8的条件不被满足时，CPU201使处理前进到步骤ST10。在步骤ST10中，CPU201在不改变裁切信息的参数值的情况下执行裁切处理。CPU201执行步骤ST10的处理，然后结束步骤ST7中的处理。

图14是示出在操作时被***到***层中的PMT之下的AVC视频描述符（AVC_video_descriptor（AVC_视频_描述符））中描述的标记信息“cropping_normal_interpretation_flag”的示例的图。在MPEG中，PMT的最大***周期是100msec。因此，PMT的***定时不一定与视频的帧的定时对应。在下文中，将基于该模式是3D显示模式的假设来进行描述。

在所示出的示例中，在定时Tb，图像数据从二维图像数据切换到立体图像数据。在定时Tb之前的定时Ta处获取AVC视频描述符，在AVC视频描述符中描述了与切换后的图像数据对应的标记信息“cropping_normal_interpretation_flag”。

由于切换后的图像数据是立体图像数据时，在AVC视频描述符（AVC_video_descriptor）中设置“Frame_Packing_SEI_not_present_flag=0”和“cropping_normal_interpretation_flag=0”。然而，直到定时Tb，图像数据是二维图像数据，并且未检测到SEI“Frame PackingArrangement SEI message”。

即，当获取到标记信息“cropping_normal_interpretation_flag=0”时，CPU201直到定时Tb不特殊地解释裁切信息的参数值，不变地解释该参数值，并且执行裁切控制处理。因此，直到定时Tb，视频解码器214正确地生成用于二维图像显示的图像数据SV。

在定时Tb，未检测到SEI“Frame Packing Arrangement SEImessage”。在所示出的示例中，在SEI中包括的立体图像数据的类型信息被设置为“3”，并且已知该图像数据为左右方案的立体图像数据。CPU201从定时Tb起特殊地解释裁切信息的参数值，并执行裁切控制处理。因此，视频解码器214从定时Tb起正确地生成用于立体图像显示的图像数据SL和图像数据SR。

类似地，在所示出的示例中，在定时Td处，图像数据从立体图像数据切换到二维图像数据。在定时Td之前的定时Tc处获取AVC视频描述符，在该视频描述符中，描述了与切换后的图像数据对应的标记信息“cropping_normal_interpretation_flag”。

由于切换后的图像数据是二维图像数据，在AVC视频描述符（AVC_video_descriptor）中设置“Frame_Packing_SEI_not_present_flag=1”和“cropping_normal_interpretation_flag=1”。然而，直到定时Td，图像数据是立体图像数据，并且检测到SEI“Frame Packing ArrangementSEI message”。

即，即使当获取到标记信息“cropping_normal_interpretation_flag=1”时，CPU201仍继续特殊地解释裁切信息的参数值直到定时Td，并执行裁切控制处理。因此，直到定时Td，视频解码器214正确地生成用于立体图像显示的图像数据SL和图像数据SR。这可以通过在之前的状态下将“cropping_normal_interpretation_flag=0”存储在接收器中来实现。

另一方面，在图14中，为了即使当在定时Td处切换频道时仍执行正确的显示，通过将“cropping_normal_interpretation_flag”正常地设置为“0”并且使接收方解释裁切信息的参数值可以确定显示范围。

当图像数据是左右方案的立体图像数据时，接收方如下地执行解释。即，当剪切出的区域可以被确定为左半部分时，通过将右手方代入左手方而将该解释执行为“frame_crop_right_offset=frame_crop_right_offset*2”。此外，当剪切出的区域可以被确定为右手方时，通过将右手方代入左手方而将该解释执行为“frame_crop_left_offset=0”。

当图像数据是上下方案的立体图像数据时，接收方如下地执行解释。即，当剪切出的区域可以被确定为上半部分时，通过将右手方代入左手方而将该解释执行为“frame_crop_bottom_offset=frame_crop_bottom_offset*2”。此外，当剪切出的区域可以被确定为下半部分时，通过将右手方代入左手方而将该解释执行为“frame_crop_top_offset=0”。

或者，当针对每个事件设置裁切信息的参数值的解释时，如图8（b）所示，可以通过上述布置来实现，即，将“Cropping_interpretation_descriptor”插在EIT之下。

在定时Td处，未检测到SEI“Frame Packing Arrangement SEImessage”。CPU201从定时Td起不变地解释裁切信息的参数值，并执行裁切控制处理。因此，视频解码器214从定时Td起正确地生成用于二维图像显示的图像数据SV。

将简要地描述接收器200的处理。输入到天线端子210的电视广播信号被提供到数字调谐器211。数字调谐器211对电视广播信号进行处理并输出与用户所选频道对应的预定传输流TS。

解复用器213从数字调谐器211所获得的传输流TS中提取音频和视频的每个原始流。解复用器213从传输流TS中提取诸如节目映射表（PMT）的信息，并将该信息提供到CPU201。该信息包括标记信息“cropping_normal_interpretation_flag”，该标记信息当作裁切信息的参数值的解释信息。

从解复用器213提取的视频流被提供到视频解码器214。视频解码器214通过对视频流中包括的编码图像数据执行解码处理来获得解码图像数据（二维图像数据或立体图像数据）。该图像数据是1920像素×1088线的图像数据，其中添加了由空白数据形成的8条线。视频解码器214提取视频数据流的报头信息并将该报头信息提供到CPU201。报头信息包括裁切信息或SEI“Frame Packing Arrangement SEI message”。

CPU201基于裁切信息、参数值的解释信息、包括立体图像数据的类型信息的SEI等等来控制视频解码器214的裁切。在该情况下，当图像数据是二维图像数据时，CPU201不变地解释裁切信息的参数值。

当图像数据是立体图像数据时，CPU201在2D显示模式下不变地解释裁切信息的参数值。此外，当图像数据是立体图像数据时，CPU201在3D显示模式下将裁切信息解释为使得裁切区域在水平方向或竖直方向上加倍。

视频解码器214在CPU201的控制下基于解释的裁切信息对解码图像数据执行图像数据剪切处理（裁切）。此外，视频解码器214对剪切出的图像数据适当地执行缩放处理以生成显示图像数据。

此处，当图像数据是二维图像数据时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据，并生成用于二维图像显示的图像数据SV。

当图像数据是立体图像数据并且处于二维显示模式时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的解码图像数据中的左眼图像数据或右眼图像数据。然后，视频解码器214对剪切出的图像数据执行缩放处理以生成用于二维图像显示的图像数据SV。

当图像数据是立体图像数据并且处于立体显示模式时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据。视频解码器214将剪切出的图像数据平分为左图像数据和右图像数据、或上图像数据和下图像数据，并对每个图像数据执行缩放处理以生成用于立体图像显示的左眼图像数据SL和右眼图像数据SR。

视频解码器214所生成的用于二维图像显示的图像数据SV和用于立体图像显示的左眼图像数据SL被经由视角缓冲器217L输出到图像输出单元如显示器。此外，视频解码器214所生成的用于立体图像显示的右眼图像数据SR被经由视角缓冲器217R输出到图像输出单元如显示器。

解复用器213所提取的音频流被提供到音频解码器218。音频解码器218对在音频流中包括的编码音频数据执行解码处理以获得解码音频数据。该音频数据被提供到声道处理单元219。声道处理单元219对音频数据进行处理以生成用于实现例如5.1声道环绕的每个声道的音频数据SA。音频数据SA被输出到音频输出单元如扬声器。

如上所述，图12所示的接收器200的CPU201基于在比视频流更高的层中***的裁切信息的参数值的解释信息来适当地解释在视频流的报头部分中***的裁切信息。然而，基于解释结果，CPU201控制视频解码器214所执行的图像数据剪切处理（裁切）。相应地，不管图像数据是二维图像数据还是立体图像数据，视频解码器214都能够适当地执行图像数据剪切处理，因此能够正确地生成显示图像数据。

在图12所示的接收器200中，CPU201在图像数据的切换定时之前获取与切换后的图像数据对应变化的解释信息。然而，当真正切换图像数据之后，立即反映基于解释信息对裁切信息的参数值进行的解释。相应地，通过从切换定时起立即解释适合于切换后的图像数据的裁切信息的参数值，能够适当地执行图像数据剪切处理。此外，甚至当解释信息的获取与图像数据的切换定时不同步时，仍可以防止显示不自然的图像。

此处，将通过legacy（遗产）2D接收器（2D TV）接收来自图1所示的图像发送和接收***10中的广播站100的传输流TS的情况。在该情况下，legacy2D接收器跳过在比视频流更高的层中***的裁切信息的参数值的解释信息。因此，解释信息很少影响2D接收器中的裁切处理。

<2.修改示例>

在上述实施例中，已经描述了标记信息“cropping_normal_interpretation_flag”被描述成在节目映射表的视频原始循环下***的描述符中的解释信息的示例。代替该标记信息，可以考虑将以下将要详细描述的模式信息“cropping_interpretation_mode（裁切_解释_模式）”描述为描述符中的解释信息。

图15是示出传输流TS的配置的示例的图。该配置的示例是模式信息“cropping_interpretation_mode”被描述成已知AVC视频描述符中的裁切信息的参数值的解释信息的示例。

在该配置的示例中，包括视频流的PES数据包“Video PES”。在该视频流中，当所包括的图像数据是立体图像数据时，如上所述，“FramePacking Arrangement SEI message”被***访问单元的SEI的一部分中。该SEI包括类型信息，类型信息表示该图像数据具有哪种立体图像数据发送格式。

传输流TS包括作为PSI（节目特定信息）的PMT（节目映射表）。PSI是描述传输流中所包括的每个原始流属于哪个节目的信息。传输流还包括作为用于管理事件单元的SI（业务信息）的EIT（事件信息表）。

在PMT中存在用于描述与整个节目有关的信息的节目描述符。此外，在PMT中存在具有与每个原始流有关的信息的原始循环。在该配置的示例中，存在视频原始循环（视频ES循环）。

在原始循环中，针对每个流布置诸如数据包标识符（PID）的信息，还布置用于描述与原始流有关的信息的描述符。在该配置的示例中，未示出音频以简化附图。

在该配置的示例中，在视频原始循环（视频ES循环）中包括的“AVC_video_descriptor（AVC_视频_描述符）”中描述了模式信息“cropping_interpretation_mode（裁切_解释_模式）”。

图16（a）是示出传输流TS的另一配置的示例的图。该配置的示例是在新定义的裁切解释描述符中描述当作裁切信息的参数值的解释信息的模式信息“cropping_interpretation_mode”的示例。

在该配置的示例中，在***到视频原始循环（视频ES循环）中的“Cropping_interpretation_descriptor”中描述模式信息“cropping_interpretation_mode”。尽管省略了详细描述，其余配置与图15所示的配置的示例相同。

当在每个事件处改变裁切信息的参数值的解释时，可以考虑将“Cropping_interpretation_descriptor”插在EIT之下，如图16（b）所示。

图17是示出“AVC_video_descriptor（AVC_视频_描述符）”的结构（语法）的示例的图。该描述符本身已经满足H.264/AVC标准。此处，在该描述符中新定义了2位模式信息“cropping_interpretation_mode（裁切_解释_模式）”。

如图18中的规定内容（语义）所示，模式信息指定在GOP的头访问单元中的SPS（序列参数集）中定义的裁切信息的参数值的解释。当模式信息是“01”时，该模式信息表示frame_crop_right_offset（帧_裁切_右_偏移）的值被解释为加倍。这是针对左右方案的立体图像数据而设计的。当模式信息是“10”时，模式信息指定frame_crop_bottom_offset（帧_裁切_下_偏移）的值被解释为加倍。这是针对上下方案的立体图像数据而设计的。当模式信息是“11”时，模式信息指定这样的解释，其中，裁切信息的参数值被不变地解释。

图19是示出“Cropping_interpretation_descriptor（裁切_解释_描述符）”的配置（语义）的示例的图。8位字段的“descriptor_tag（描述符_标记）”表示描述符是“Cropping_interpretation_descriptor”。8位字段的“descriptor_length（描述符_长度）”表示后续数据的字节的数量。此外，在描述符中描述了上述的2位模式信息“cropping_interpretation_mode（裁切_解释_模式）”。

甚至当使用模式信息“cropping_interpretation_mode”而不是标记信息“cropping_normal_interpretation_flag”时，接收器200的视频解码器214仍在CPU201的控制下执行相同的处理。

即，当图像数据是二维图像数据时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据，以生成用于二维图像显示的图像数据SV。

当图像数据是立体图像数据并且处于二维显示模式时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据中的左眼图像数据或右眼图像数据。然而，视频解码器214对剪切出的图像数据执行缩放处理以生成用于二维图像显示的图像数据SV。

当图像数据是立体图像数据并且处于立体显示模式时，视频解码器214执行以下处理。即，视频解码器214从1920像素×1088线的解码图像数据中剪切出包括真实图像数据的1920像素×1080线的图像数据。视频解码器214将剪切出的图像数据平分成左图像数据和右图像数据、或上图像数据和下图像数据，并对每个图像数据执行缩放处理以生成用于立体图像显示的左眼图像数据SL和右眼图像数据SR。

图20是示出当使用模式信息“cropping_interpretation_mode”时CPU201的裁切控制处理的示例的流程图。CPU201针对每个图片执行该流程图的处理。CPU201开始步骤ST11中的处理，然而使该处理前进到步骤ST12。在步骤ST12中，CPU201确定模式是否为3D显示模式。用户操作RC发送单元206来设置3D显示模式或2D显示模式。

当该模式是3D显示模式时，在步骤ST13中，CPU201确定模式信息“cropping_interpretation_mode”是否为“01”。当模式信息是“01”时，在步骤ST14中，CPU201确定是否检测到SEI“Frame PackingArrangement SEI message”。当图像数据是立体图像数据时，存在SEI。当检测到SEI时，在步骤ST15中，CPU201确定（frame_crop_right_offset-frame_crop_left_offset）是否等于图片在水平方向上的尺寸（horizontal_size）的1/2。

当图像数据是左右方案的立体图像数据时，满足步骤ST15的条件。因此，当满足步骤ST15的条件时，CPU201使处理前进到步骤ST16。在步骤ST16中，CPU201解释裁切信息并执行裁切控制处理以使得裁切区域在水平方向上被加倍。

在该情况下，取决于基于原始裁切信息而剪切出的区域是左半部分还是右半部分，CPU201如下地改变裁切信息的参数值。即，当该区域是左半部分时，裁切控制处理被执行为“frame_crop_right_offset=frame_crop_right_offset*2”。相反，当该区域是右半部分时，裁切控制处理被执行为“frame_crop_left_offset=0”。

CPU201执行步骤ST16的处理，然后在步骤ST17中结束处理。

当在步骤ST12中模式不是3D显示模式，在步骤ST14中未检测到SEI并且不满足步骤ST15的条件时，CPU201使处理前进到步骤ST18。在步骤ST18中，CPU201在不改变裁切信息的参数值的情况下执行裁切控制处理。CPU201执行步骤ST18的处理，然后在步骤ST17中结束处理。

当在步骤ST13中模式信息不是“01”时，CPU201使处理前进到步骤ST19。在步骤ST19中，CPU201确定模式信息“cropping_interpretation_mode”是否为“01”。当模式信息是“10”时，在步骤ST20中，CPU201确定是否检测到SEI“Frame PackingArrangement SEI message”。

当图像数据是立体图像数据时，存在SEI。当检测到SEI时，在步骤ST21，CPU201确定（frame_crop_bottom_offset-frame_crop_top_offset）是否等于图片在竖直方向上的尺寸（vertical_size）的1/2。

当图像数据是上下方案的立体图像数据时，满足步骤ST21的条件。因此，当满足步骤ST21的条件时，CPU201使处理前进到步骤ST22。在步骤ST22中，CPU201将裁切信息解释为使得裁切信息在竖直方向上被加倍，并执行裁切控制处理。

在该情况下，CPU201取决于基于原始裁切信息而剪切出的区域是上半部分还下半部分来如下地改变裁切信息的参数值。即，当该区域是上半部分时，裁切控制处理被执行为“frame_crop_bottom_offset=frame_crop_bottom_offset*2”。相反，当该区域是下半部分时，裁切控制处理被执行为“frame_crop_top_offset=0”。

CPU201执行步骤ST22的处理，并在步骤ST17中结束处理。

当在步骤ST19中模式信息不是“10”，在步骤ST20中未检测到SEI并且不满足步骤ST21的条件时，CPU201使处理前进到步骤ST18。在步骤ST18中，CPU201在不改变裁切信息的参数值的情况下执行裁切控制处理。CPU201执行步骤ST18的处理，然后在步骤ST17中结束处理。

图21是示出在操作时在***层中***的PMT下的AVC视频描述符（AVC_video_descriptor）中描述的模式信息“cropping_interpretation_mode”的示例的图。在MPEG中，PMT的最大***周期是100msec。因此，PMT的***定时不一定等于视频的帧的定时。在下文中，将基于模式是3D显示模式的假设来进行描述。

在所示出的示例中，在定时Tb，图像数据从二维图像数据切换到立体图像数据。在定时Tb之前的定时Ta处获取AVC视频描述符，在AVC视频描述符中描述了与切换后的图像数据对应的模式信息“cropping_interpretation_mode”。

由于切换后的图像数据是立体图像数据，因而在AVC视频描述符（AVC_video_descriptor）设置“Frame_Packing_SEI_not_present_flag=0”和“cropping_interpretation_mode=01”。然而，直到定时Tb，图像数据是二维图像数据，并且未检测到SEI“Frame Packing ArrangementSEI message”。

即，即使当获取到模式信息“cropping_interpretation_mode=01”时，直到定时Tb，CPU201不将frame_crop_right_offset的值解释为加倍，不变地解释该值，并执行裁切控制处理。因此，直到定时Tb，视频解码器214正确地生成用于二维图像显示的图像数据SV。

在定时Tb，检测到SEI“Frame Packing Arrangement SEI message”。在所示出的示例中，在SEI中包括的立体图像数据的类型信息被设置为“3”，并且已知该图像数据为左右方案的立体图像数据。CPU201从定时Tb起将frame_crop_right_offset的值解释为加倍，并执行裁切控制处理。因此，视频解码器214从定时Tb起正确地生成用于立体图像显示的图像数据SL和图像数据SR。

类似地，在所示出的示例中，在定时Td处，图像数据从立体图像数据切换到二维图像数据。在定时Td之前的定时Tc处获取AVC视频描述符，在该视频描述符中，描述了与切换后的图像数据对应的模式信息“cropping_interpretation_mode”。

由于切换后的图像数据是二维图像数据，在AVC视频描述符（AVC_video_descriptor）中设置“Frame_Packing_SEI_not_present_flag=1”和“cropping_interpretation_mode=11”。然而，直到定时Td，图像数据是立体图像数据，并且检测SEI“Frame Packing Arrangement SEImessage”。

即，即使当获取到标记信息“cropping_interpretation_mode=11”时，CPU201继续将frame_crop_right_offset的值解释为加倍直到定时Td，并执行裁切控制处理。因此，直到定时Td，视频解码器214正确地生成用于立体图像显示的图像数据SL和图像数据SR。这可以通过在之前的状态下将“cropping_interpretation_mode”=“01”或“10”存储在接收器中来实现。

另一方面，在图21中，为了即使当在定时Td处切换频道时仍执行正确的显示，通过将“cropping_interpretation_mode”正常地设置为“01”或“10”并且使接收方解释裁切信息的参数值，可以确定显示范围。

当图像数据是左右方案的立体图像数据时，接收方如下地执行解释。即，当剪切出的区域可以被确定为左半部分时，通过将右手方代入左手方而将该解释执行为“frame_crop_right_offset=frame_crop_right_offset*2”。此外，当剪切出的区域可以被确定为右手方时，通过将右手方代入左手方而将该解释执行为“frame_crop_left_offset=0”。

当图像数据是上下方案的立体图像数据时，接收方如下地执行解释。即，当剪切出的区域可以被确定为上半部分时，通过将右手方代入左手方而将该解释执行为“frame_crop_bottom_offset=frame_crop_bottom_offset*2”。此外，当剪切出的区域可以被确定为下半部分时，通过将右手方代入左手方而将该解释执行为“frame_crop_top_offset=0”。

或者，当针对每个事件设置裁切信息的参数值的解释时，如图16（b）所示，可以通过上述布置，即，将“Cropping_interpretation_descriptor”插在EIT之下，来实现。

在定时Td处，未检测到SEI“Frame Packing Arrangement SEImessage”。CPU201从定时Td起不变地解释裁切信息的参数值，并执行裁切控制处理。因此，视频解码器214从定时Td起正确地生成用于二维图像显示的图像数据SV。

因此，即使当在描述符中描述作为解释信息的模式信息“cropping_interpretation_mode”时，接收器200仍能够执行与上述实施例的处理相同的处理。即，即使在该情况下，仍可以获得与上述实施例的优点相同的优点。

在上述实施例中，已经描述了图像数据受到H.264/AVC编码的示例。然而，例如，图像数据可以受到MPEG2视频的其他编码等等。例如，图像数据可以受到HEVC（高效视频编码）的其他编码等等。当执行MPEG2视频的编码时，例如，将立体图像数据的类型信息***图片报头中。

在上述实施例中，已经描述了包括广播站100和接收器200的图像发送和接收***10。然而，可以应用本技术的图像发送和接收***的配置不限于此。例如，接收器200可以包括机顶盒和监视器，机顶盒和监视器通过数字接口如HDMI（高清多媒体接口）相连。

在上述实施例中，已经描述了载体是传输流（MPEG-2TS）的示例。然而，本技术可以类似地应用于以下***，该***被配置为使得利用网络如互联网来将信息传送到接收终端。在互联网的传送中，在许多情况下利用MP4或其他格式的载体来传送信息。即，按照数字广播标准而使用的传输流（MPEG-2TS）以及在互联网的传送中所使用的各种格式如MP4的载体对应于该载体。

可以如下地配置本技术。

作为本技术的主要特征，当发送预定格式的传输流（载体）并且该传输流具有裁切信息被***报头部分中的视频流时，通过将裁切信息的参数值的解释信息***比视频流更高的层中，而在接收方正常地适当地执行利用裁切信息的图像数据剪切处理（裁切）（参见图4和图5）。

（1）一种图像数据发送装置，包括：

图像数据发送单元，其发送具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中；以及

信息***单元，其将所述裁切信息的参数值的解释信息***比所述视频流更高的层中。

（2）在上述（1）中描述的图像数据发送装置中，

当所述图像数据是立体图像数据时，所述解释信息表示所述裁切信息的参数值被特殊地解释，其中在所述立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内。

（3）在上述（2）中描述的图像数据发送装置中，

所述解释信息表示所述裁切信息的参数值被解释为使得裁切区域在所述水平方向或所述竖直方向上被加倍。

（4）在上述（1）至（3）中任一项描述的图像数据发送装置中，

所述图像数据是二维图像数据和立体图像数据之一，在所述立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内。

所述信息***单元在所述二维图像数据和所述立体图像数据的切换定时之前的定时处将与切换后的图像数据对应改变的解释信息***比所述视频流更高的层中。

（5）在上述（1）至（4）中任一项描述的图像数据发送装置中，所述载体是传输流。

所述信息***单元将所述解释信息插在节目映射表和事件信息表之一下。

（6）在上述（5）中描述的图像数据发送装置中，

所述信息***单元在被***在所述节目映射表和所述事件信息表之一下的描述符中描述所述解释信息。

（7）在上述（6）中描述的图像数据发送装置中，

所述视频流是H.264/AVC和HEVC之一的编码数据。

在所述视频流的序列参数集中定义所述裁切信息。

所述信息***单元在被***在所述节目映射表和所述事件信息表之一下的描述符中描述所述解释信息。

（8）一种图像数据发送方法，包括：

图像数据发送步骤，发送具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中；

以及信息***步骤，将所述裁切信息的参数值的解释信息***比所述视频流更高的层中。

（9）一种图像数据接收装置，包括：

图像数据接收单元，其接收具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中。

所述裁切信息的参数值的解释信息被***比所述视频流更高的层中。

所述图像数据接收装置还包括：信息获取单元，其从所述载体获取所述解释信息；

解码单元，其对所述载体中所包括的视频流进行解码以获取所述图像数据和所述裁切信息；

以及图像数据处理单元，其基于所述解释信息来解释所述裁切信息的参数值，并从所述图像数据中剪切出预定区域的图像数据以生成显示图像数据。

（10）在上述（10）中描述的图像数据接收装置中，

所述图像数据是二维图像数据和立体图像数据之一，在所述立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内。

在所述二维图像数据和所述立体图像数据的切换定时之前的定时处，与切换后的图像数据对应改变的解释信息被***比所述视频流更高的层中。

从所述图像数据的切换定时起，所述图像数据处理单元基于与切换后的图像对应改变的并且在所述切换定时之前的定时处***的解释信息来解释所述裁切信息的参数值。

（11）一种图像数据接收方法，包括：

图像数据接收步骤，接收具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中。

所述裁切信息的参数值的解释信息被***比所述视频流更高的层中。

所述图像数据接收方法还包括：信息获取步骤，从所述载体中获取所述解释信息；

解码步骤，对在所述载体中包括的视频流进行解码以获取所述图像数据和所述裁切信息；

以及图像数据处理步骤，基于所述解释信息来解释所述裁切信息的参数值，并从所述图像数据中剪切出预定区域的图像数据以生成显示图像数据。

参考标号列表

10   图像发送和接收***

100  广播站

110  发送数据生成单元

111  数据提取单元

111a 数据记录介质

112  视频编码器

113  音频编码器

114  复用器

200  接收器

201  CPU

202  闪存ROM

203  DRAM

204  内部总线

205  遥控接收单元（RC接收单元）

206  遥控发送单元（RC发送单元）

210  天线端子

211  数字调谐器

213  解复用器

214  视频解码器

217L,217R  视角缓冲器

218  音频解码器

219  声道处理单元

Claims (11)

1.一种图像数据发送装置，包括：

图像数据发送单元，其发送具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中；以及

信息***单元，其将所述裁切信息的参数值的解释信息***比所述视频流更高的层中。

2.根据权利要求1所述的图像数据发送装置，其中，当所述图像数据是立体图像数据时，所述解释信息表示所述裁切信息的参数值被特殊地解释，其中在所述立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内。

3.根据权利要求2所述的图像数据发送装置，其中所述解释信息表示所述裁切信息的参数值被解释为使得裁切区域在所述水平方向或所述竖直方向上被加倍。

4.根据权利要求1所述的图像数据发送装置，

其中，所述图像数据是二维图像数据和立体图像数据之一，在所述立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内，以及

其中，所述信息***单元在所述二维图像数据和所述立体图像数据的切换定时之前的定时处将与切换后的图像数据对应改变的解释信息***比所述视频流更高的层中。

5.根据权利要求1所述的图像数据发送装置，

其中，所述载体是传输流，以及

其中，所述信息***单元将所述解释信息插在节目映射表和事件信息表之一下。

6.根据权利要求5所述的图像数据发送装置，

其中，所述信息***单元在被***在所述节目映射表和所述事件信息表之一下的描述符中描述所述解释信息。

7.根据权利要求6所述的图像数据发送装置，

其中，所述视频流是H.264/AVC和HEVC之一的编码数据，

其中，在所述视频流的序列参数集中定义所述裁切信息，以及

其中，所述信息***单元在被***在所述节目映射表和所述事件信息表之一下的描述符中描述所述解释信息。

8.一种图像数据发送方法，包括：

图像数据发送步骤，发送具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中；以及

信息***步骤，将所述裁切信息的参数值的解释信息***比所述视频流更高的层中。

9.一种图像数据接收装置，包括：

图像数据接收单元，其接收具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中，

其中，所述裁切信息的参数值的解释信息被***比所述视频流更高的层中，以及

其中，所述图像数据接收装置还包括：

信息获取单元，其从所述载体获取所述解释信息；

解码单元，其对所述载体中所包括的视频流进行解码以获取所述图像数据和所述裁切信息；以及

图像数据处理单元，其基于所述解释信息来解释所述裁切信息的参数值，并从所述图像数据中剪切出预定区域的图像数据以生成显示图像数据。

10.根据权利要求9所述的图像数据接收装置，

其中，所述图像数据是二维图像数据和立体图像数据之一，在所述立体图像数据中，沿水平方向或竖直方向将左眼图像数据和右眼图像数据划分并布置在同一帧内，

其中，在所述二维图像数据和所述立体图像数据的切换定时之前的定时处，与切换后的图像数据对应改变的解释信息被***比所述视频流更高的层中，以及

其中，从所述图像数据的切换定时起，所述图像数据处理单元基于与切换后的图像对应改变的并且在所述切换定时之前的定时处***的解释信息来解释所述裁切信息的参数值。

11.一种图像数据接收方法，包括：

图像数据接收步骤，接收具有视频流的预定格式的载体，所述视频流包括图像数据，并且在所述视频流中，裁切信息被***报头部分中，

其中，所述裁切信息的参数值的解释信息被***比所述视频流更高的层中，以及

其中，所述图像数据接收方法还包括：

信息获取步骤，从所述载体中获取所述解释信息；

解码步骤，对在所述载体中包括的视频流进行解码以获取所述图像数据和所述裁切信息；以及

图像数据处理步骤，基于所述解释信息来解释所述裁切信息的参数值，并从所述图像数据中剪切出预定区域的图像数据以生成显示图像数据。

Images