CN101951527B - 信息处理设备和信息处理方法 - Google Patents

Abstract

信息处理设备包括：深度信息检测部分、比较/检测部分和控制单元。提供深度信息检测部分用于检测对象在深度方向上的峰值位置，在该位置，对象在附加信息显示区域中显示在前面。提供比较/检测部分用于在附加信息的深度信息和立体视频数据的峰值位置之间进行比较，以检测在深度方向上立体数据和附加信息的显示位置之间的位置关系。提供控制单元用于响应于立体视频数据和附加信息的显示位置之间的位置关系，控制立体视频数据和附加信息的显示位置。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及信息处理设备和信息处理方法。更具体地，本发明涉及控制立体(stereoscopic)视频和立体图像的表现法的信息处理设备和信息处理方法，在立体视频和立体图像上叠加和显示附加信息。

背景技术

近年来，已经开发了以立体方式记录视频和静止图片的图像摄像设备和记录装置。以这种方式记录的运动图像和静止图像作为立体视频和立体静止图像输出，使得用户更具真实感地观看和收听拍摄的视频和静止图像。已经提出了使得这种立体视频和立体图像更易于观看和收听的技术。例如，日本已公开的专利申请No.2009-59113披露了一种立体图像发生器，其执行通过将合成目标(target)图像叠加到背景图像上而生成印刷用立体图像的处理。该立体图像发生器获取与合成目标图像的位置对应的背景图像部分的深度信息，然后叠加与和深度信息相对应的合成目标图像的眼睛的数目一样多的合成目标图像，由此生成印刷用立体图像。通过这种方式，确定合成目标图像的眼睛的数目导致了易于观察的打印用立体图像的生成。

发明内容

当再现记录的立体视频或立体图像时，再现设备可能指示附加的信息，比如拍摄日期和时间及字幕，以允许用户视觉上立刻识别出与立体视频或立体图像相关的信息。附加信息，诸如字幕，可以在屏幕上的垂直和水平方向上定义的固定位置当在该固定位置以深度方向上的距离叠加时，在记录的立体视频或立体图像上作为视频或静止图像显示。即使在将附加信息叠加在立体视频或立体图像上然后显示附加信息的情况下，也需要提供能容易被用户观看和收听的视频或图像。

通常，附加信息被显示在固定的位置上而不考虑立体视频或立体图像的内容。但是，当拍摄视频时，可能拍摄各种视频。因此，除了字幕信息外，也可以记录进一步的附加信息，诸如时钟信息、用照相机拍摄的测量信息和关于存储在介质中的数据量的信息。

在以立体的方式记录的运动图片的情况下，也可以识别出视频中的对象在深度方向上的位置。但是，各个对象在深度方向上的位置可能各不相同而且随时间变化。此外，由于拍摄者的环境或拍摄的初始想法，作为拍摄视场角的远摄/广角(telephoto/wide angle)的缩放或切换操作可能以不可预测的方式进行和改变。

由于这样的视频内容的改变在拍摄前是不可预测的，因此当附加信息被显示在屏幕上的在垂直和水平方向上定义的固定位置上同时深度方向上的距离固定时，存在着不希望的立体视频的显示被破坏的可能性。

因此，人们期望能提供新颖的、改进的信息处理设备和信息处理方法，其中，能够提供即使当立体视频和附加信息被互相叠加时也能够方便地观看和收听的立体视频。

根据本发明的第一实施例，提供了一种信息处理设备，包括深度信息检测部分、比较/检测部分、和控制单元。在这样的信息处理设备中，深度信息检测部分基于表示立体视频数据中的对象在深度方向的位置的深度信息，该深度信息在拍摄和记录的时候确定，检测对象在深度方向上的峰值位置，在所述深度方向上的峰值位置，所述对象在附加信息显示区域中显示在前面，在所述附加信息显示区域中，附加信息数据与所述立体视频重叠并显示。另外，比较/检测部分在附加信息的深度信息和立体视频数据的峰值之间进行比较，以检测在附加信息显示区域中在深度方向上立体数据和附加信息的显示位置之间的位置关系。控制单元响应于立体视频数据和附加信息的显示位置之间的位置关系，控制立体视频数据和附加信息的显示位置。

根据本发明的实施例，基于代表立体视频数据中的对象在深度方向上的位置的深度信息，控制立体视频数据和附加信息数据的显示位置。当在拍摄或记录视频时视频显示的视角通过光学或电子远摄或宽缩放被改变以放大或缩小地记录或再现的位于远处的主题对象时，考虑到立体视频数据和附加信息数据之间在立体显示屏上在深度方向上的位置关系，在显示可控制的同时，视频数据和附加信息均被记录。因此，可以提供视觉上可识别的立体视频数据。

在此，当比较/检测部分确定立体视频数据的对象被显示在附加信息的前面时，控制单元可以将在附加信息显示区域中的立体视频数据的对象显示在附加信息的后面。

信息处理设备还可以包括超过时间检测单元，用于通过所述比较/检测部分检测所述立体视频数据的所述对象显示在所述附加信息前面的超过时间。在信息处理设备的这种配置中，深度信息检测部分可以对于所述立体视频数据的每一基本单元，检测所述对象在附加信息显示区域中在深度方向上显示在附加信息的前面的位置作为单元峰值。比较/检测部分将在深度方向上的附加信息数据的位置和单元峰值进行比较，以检测在附加信息显示区域中立体视频数据的对象和附加信息之间的位置关系。当超过时间超过第一阈值时间时，控制单元可以在附加信息显示区域中将立体视频数据的对象显示在附加信息的后面。

此外，当超过时间超过第一阈值时间时，控制单元可以为用户提供允许用户确定是否应执行立体视频数据和附加信息数据的显示控制的消息。

控制单元可以以增加的透明度显示附加信息数据的背景视频，以使得与背景视频重叠的立体视频数据的对象能够在视觉上识别。在此，例如，背景视频可以是可在占用屏幕的预定区域同时被显示的字符背景。

可替代地，当比较/检测部分确定立体视频数据的对象显示在附加信息的前面时，控制单元显示附加信息数据，使得与立体视频数据的对象重叠的部分隐藏在对象之后。

在此，信息处理设备还可以包括超过时间检测单元，用于通过比较/检测部分检测立体视频数据的对象显示在附加信息前面的超过时间。例如，当超过时间被显示在前面只有一会儿并被确定为不会妨碍用户观看和收听附加信息表达时。超过时间自然地被显示在前面一会儿。这时，深度信息检测部分对于立体视频数据的每一基本单元，检测单元平均值，单元平均值是所述对象显示在附加信息显示区域中的深度方向上的位置的平均值。比较/检测部分将附加信息数据在深度方向上的位置和单元平均值进行比较，以检测在附加信息显示区域中立体视频数据的对象和附加信息之间的位置关系。当超过时间超过第二阈值时间时，控制单元显示附加信息数据，使得与立体视频数据的对象重叠的部分隐藏在对象之后。

当超过时间超过第二阈值时间时，控制单元可以为用户提供允许用户确定是否应执行立体视频数据和附加信息数据的显示控制的消息。

附加信息数据在深度方向的显示位置可以是固定的位置。

此外，立体视频数据和附加信息数据均以AVCHD格式被记录。立体视频数据的每一基本单元的深度信息与每一基本单元的立体视频数据一起记录。

根据本发明的另一个实施例，提供了一种信息处理方法，包括下列步骤：基于表示立体视频数据中的对象在深度方向上的位置的深度信息，检测所述对象在深度方向上的峰值位置，在深度方向上的峰值位置，所述对象在附加信息显示区域中显示在前面，在附加信息显示区域中，附加信息数据与立体视频重叠并显示；在附加信息的深度信息和立体视频数据的峰值之间进行比较；根据附加信息的深度信息和立体视频数据的峰值之间的比较结果，检测在附加信息显示区域中在深度方向上立体视频数据和附加信息的显示位置之间的位置关系；及响应于立体视频数据和附加信息的显示位置之间的位置关系，控制立体视频数据和附加信息的显示位置。

根据如上所述的本发明的任何实施例，可以提供即使立体视频和附加信息互相叠加，也能允许用户容易地观看和收听立体视频和附加信息的信息处理设备和信息处理方法。

附图说明

图1是图示在只显示立体视频流的非显示(隐藏)模式中的显示状态的说明图；

图2是图示在显示立体视频流和叠置位图(overlay bitmap)的按入(pinning)显示控制模式中的显示状态的说明图；

图3是图示在显示立体视频流和叠置位图的嵌入显示控制模式中的显示状态的说明图；

图4是图示本实施例的图像拾取/记录设备的输入/记录处理部分的方框图；

图5是图示立体视频RUV和记录介质之间的关系的说明图；

图6是图示本实施例的图像拾取/记录设备的再现/输出处理部分的方框图；

图7是图示能够再现立体视频流的典型的再现设备的配置的方框图；

图8是图示根据本发明的实施例的具有显示控制单元的再现设备的配置的方框图；

图9是图示用于立体视频流的叠置位图的显示控制的信息的配置的说明图；

图10是图示在按入显示控制模式时，通过本实施例的显示控制单元执行的显示控制方法的流程图；

图11是图示在嵌入显示控制模式时，通过本实施例的显示控制单元执行的显示控制方法的流程图；

图12图示在流管理文件上记录的方法，当一个流记录在流管理文件上时采用该方法；

图13图示在流管理文件上记录的方法，当一个流记录在流管理文件上时采用该方法；和

图14图示根据本发明第二实施例，将立体视频流和叠置位图转换成MP4格式的立体流的方法。

具体实施方式

参考如下附图，详细描述本发明的适当实施例。在本说明书和附图中，通过关于具有实质相同功能构造的构成要素附以相同附图标记，而省略重复说明。

说明按下列顺序给出：

1.第一实施例(立体视频流和叠置位图的显示控制)

2.第二实施例(以AVCHD格式记录的立体视频流和MP4流的转换)

<1.第一实施例>

<显示控制模式的说明>

首先参考图1至图3，说明通过根据本发明的第一实施例的再现设备的立体视频流和附加信息的叠置位图的显示控制模式。具体地，图1是图示其中只显示立体视频流的非显示(隐藏)模式中的显示状态的说明图。图2是图示在显示立体视频流和叠置位图的按入显示控制模式中的显示状态的说明图。图3为图示在显示立体视频流和叠置位图的嵌入显示控制模式中的显示状态的说明图

此处，在本实施例的说明中，术语“按入显示控制模式”和“嵌入显示控制模式”的每个被提供来定义控制在显示可以在本实施例的立体显示设备上再现显示的立体视频流的深度方向的位置和附加信息的立体显示的叠置位图的深度方向的位置之间的位置关系的概念。稍后详细说明。

本发明的再现设备包括显示控制单元，其在显示控制模式下控制立体视频流和叠置位图的显示，以提供能够容易收听和观看的立体视频流。显示控制单元控制叠置位图的显示，使得能够避免立体视频流的内容的显示被中断，而且叠置位图能够在能够容易观看和收听的合适位置被显示。为了执行该显示控制，本发明的再现设备具有三种显示控制模式。

首先，在只显示立体视频而不显示叠置位图的非显示模式中，如图1所述，立体视频流能够以拍摄时记录的状态显示。

在图1中，多个对象210、220和230显示在显示区域250。当立体视频流的再现视频在立体视频的再现设备上显示时，对象210、220和230的每个由左眼图片和右眼图片构成，使得其能够利用左右视差(1eft-and-rightparallax)得以被观看。在对象(obj)#1(210)的情况中，实际图片用作左眼图片210a，而右眼图片210b通过左眼图片210a向左侧的水平偏移而生成。这样，能够立体形成对象(obj)#1(210)。

立体视频流中的每个对象和背景的深度信息被保持为深度图数据。深度图数据包括在一屏幕中的每个像素或宏块(macro block)的深度图值。可以使用关于拍摄视频的照相机单元101的自动对焦(AF)的信息中的镜头场(lens field)的深度产生深度图值。对应于通过光学和电子缩放(zoom)以及聚焦操作测得的被摄体距离，要生成的深度图值在近距离为较大的数值，在远距离为较小的数值。在本实施例中，要使用的深度图值为使用照相机拍摄的作为拍摄信息而获得的数值，因此测得的被摄体距离被指定为二的八次幂，八比特数值。相反，十进制中零(0)指定为无限远，数字255被指定给最近的距离。

此处，说明产生深度图数据的方法的例子。首先，通过在镜头广角处打开光圈，通过镜头场的最小深度，镜头焦点被设为“无限远”(＞5m)。设置无限远为＞5m的原因是基于这样的事实，即一旦镜头的视角为广角侧的广端(例如对应于28mm镜头的视角相当于35mm底片(film)的情况)，5m外的对象很难通过左右的视差的立体效果被识别。在这种状态下，在屏幕中待聚焦的视频区域被识别并且被设置成背景区域。背景区域的深度图值设置为零(0)比特。

接下来，通过在镜头的广角处打开光圈，通过镜头场的最小深度，镜头焦点被设为“近距离(邻近)”(0.5m)。设置近距离为0.5m的原因如下：在位于固定位置的观众收听和观看立体视频的显示的前提下，让观众收听和观看小于0.5m的距离的对象是不合适的，这是因为人类左眼和右眼的间隔距离小于0.1m，即使当镜头的视角为视角侧的广端时(例如对应于28mm镜头的视角相当于35mm底片的情况)，通过左右视差的过度的立体效果，对象也很难被识别。此外，当观众水平移动了10cm或更多同时左眼和右眼之间的间距保持其位置关系时，其结果是看起来前景和背景被相互移开，由观众察觉的距离与本实施例的左右立体视频给出的距离感大不相同。

在这种情况下，在屏幕中要聚焦的视频区域被识别和设置为最近的距离点。此处，当其被指定为二的八次幂比特时，最近距离点的深度图值被设为8比特，十进制数字255，其为二的八次幂比特范围内的最大数值。

于是，在镜头广端，在镜头场的最小深度和在镜头的广角处打开的光圈的条件下，镜头的焦点逐渐从近距离(0.5m)改变为无限远距离(＞5m)。此时，指数表达要聚焦的表面区域上的差(difference)的比特数值被指定给镜头的每个焦距。接着，在调整镜头位置的同时执行距离测量，以及然后与距离测量同步地顺序记录屏幕区域中的要聚焦(focuse)的视频区域。例如，当测得距离为一米(1m)时，深度图值为十进制数字180，二的八次幂。此外，例如，当测得距离为两米(2m)时，深度图值为十进制数字100。

在深度图值范围内的照相对象以个别的或集体的方式客观地被识别。在于拍摄时初始化深度图值之后，通过运动向量跟踪要拍摄的对象的移动，以连续识别对象的轮廓(profile)，由此自光学***的变焦镜头和聚焦镜头确定测得的镜头的焦距。这样，深度图数据的每个深度图值能够连续地指定给每个拍摄对象的视频轮廓中的区域。

此外，将描述当在光学镜头的远摄端(telephoto end)拍摄时深度图的生成。此时，在通过打开光圈控制镜头而场的深度为最低的同时，执行距离测量。有两种远摄端，一种针对光学缩放，其中通过光学镜头利用增加视频的视角能够获得高倍率，另一种针对电子缩放，利用高分辨率图像拾取器件的部分而具有劣的倍率。通常，当仅通过双眼的左右视差立体拍摄对象时，一般认为，在光学缩放时因为没有左右视差生成，所以立体拍摄可能很困难。然而，在本实施例中，通过使用深度图流用于拍摄和记录视频，能够克服该难题。换句话说，即使当在远摄端拍摄某视角时，通过使用距被摄体的距离的测量执行深度图流的生成，然后记录视频。然后，视频被再现且输出为具有来自拍摄时的视频和深度图流两者的左右视差的立体视频流。即使在光学缩放拍摄时也能够获得立体视频的拍摄。

镜头设置为光学缩放的远摄端而且镜头焦点设置为无限远(＞500m)。此处，当镜头具有与望远侧的远摄端对应的视角时(例如对应于135mm镜头的视角相当于35mm底片的情况)，按照类似于在广视角处对被摄体的聚焦控制的深度图的指定(assignment)的方式，当要指定给深度图的测得距离位于＜50m的近距离时，指定8比特的十进制表示，255。相反，当要指定给深度图的测得距离位于＞500m的远距离时，指定8比特的十进制表示，0(零)。以类似于上述的方式，对应于两者之间的测得距离的深度图的十进制数值分别由从50m到500m的指数线上的8比特的数值所指定。

有关组成光学镜头组的变焦(zoom)镜头组和聚焦镜头组的缩放行为，首先在变焦镜头组的控制位置确定视角，然后通过调整聚焦镜头组的聚焦将光学***聚集在被摄体上。因此，能够拍摄目标被摄体的清晰视频。此时在镜头机构中变焦镜头组的位置的特性和对应的被聚焦的聚焦镜头组的控制位置的特性是设计和生产这些镜头时唯一确定的。由此，即使在缩放(zoom)视角增加的时候也能够在聚焦位置执行距离测量。因此，就如同视角处于广角的情况那样，当通过光学的或电子的缩放扩大视角时，立体视频的拍摄和记录能够通过深度图的指定而实现。

这样，立体视频流管理作为被摄体对象的深度图数据的深度信息。在如图1所示的视频图片中，在最短测量距离处的对象#1(210)的深度图值为三个对象中最大的(例如，在1m的测量距离，8比特的十进制表示，180)。于是，位于对象#1(210)后侧的对象#2(220)和#3(230)的深度图值变小，因为其向后移动(例如在视角处于广端的情况下，在2m的测量距离的8比特的十进制表示为100，在5m的测量距离的8比特的十进制表示为(0))。

接着，如果以本实施例的说明中定义的按入显示控制模式执行显示控制，立体视频流和叠置位图可以如图2所示。在按入显示控制模式中，显示控制单元控制显示在叠置位图的显示区域(在下文中，称为“OB显示区域”)上的立体视频流252的对象，使得从处于叠置位图的观众角度看，其显示在相对于叠置位图的显示位置的所显示立体屏幕的后侧。

例如，如果观众意欲相比于拍摄的立体视频流，优先显示附加的信息，诸如捕获和时钟信息，则可以利用本实施例的说明中定义的按入显示控制模式。在按入显示控制模式中，显示控制单元控制位于OB显示区域252中的对象#1(210)成为如图2所示的叠置位图的显示位置的后面。因此，变得可以避免附加的信息被位于OB显示区域252的对象隐藏(hide)。

另一方面，如果以本实施例的说明中定义的嵌入显示控制模式执行显示控制，立体视频流和叠置位图可以如图3所示。在嵌入显示控制模式中，从叠置位图处的观众的视点看，在OB显示区域252上显示的立体视频流的对象被显示在叠置位图的显示位置的前面。此时，叠置位图部分——其与对象#1(210)重叠——被对象#1(210)隐藏。嵌入显示控制模式使得立体视频流避免被叠置位图隐藏。

因此，本发明的再现设备能够基于深度图数据通过控制立体视频流和叠置位图的显示，提供能够容易收听和观看的立体视频流。在下文中，将详细说明本实施例的再现设备的配置和使用该再现设备的显示控制方法。

[图像拾取/记录设备的配置]

在描述本实施例的再现设备之前，参考图4至图6，说明根据本发明的实施例的图像拾取/记录设备，其用于记录通过图像拾取单元捕获的视频。图4为图示本实施例的图像拾取/记录设备100的输入/记录处理部分的方框图。图5为图示立体视频RUV和记录介质之间的关系的解释图。图6为图示本实施例的图像拾取/记录设备100的再现/输出处理部分的方框图。

在本实施例中，本发明说明了这种情况，其中通过图像拾取/记录设备捕获的视频被以AVCHD格式作为立体视频流记录，然后通过再现装置再现。此处，图像拾取/记录设备100具有用于再现记录的立体视频流的再现功能。图像拾取/记录设备100的例子包括可携式摄像机(视频录制机)、具有视频捕获功能的数字照相机、视频可移动装置，其能够编码立体视频流和深度图数据，将其记录在诸如闪存驱动和硬盘的记录介质上，再现记录的立体视频流。

[图像拾取/记录设备的输入/记录处理部分的配置和功能]

本实施例的图像拾取/记录设备100的输入/记录处理部分包括，如图4所示，作为用于捕获视频的图像拾取单元的照相机单元101、照相机控制单元110、麦克风122和麦克风音频输入单元120。照相机控制单元110控制包括成像器件、镜头等的照相机单元101以获取由照相机单元101捕获的视频。麦克风音频输入单元120输入通过麦克风122获取的音频信息。音频信息优选地在立体声***中或5.1声道环绕声音频***中。

照相机控制单元110向编码单元130输出由照相机单元101捕获的记录的视频流。麦克风输入单元120向编码单元130输出自麦克风122输入的音频信息。编码单元130编码自照相机控制单元110输入的记录的视频流(主视频编码)，还编码自麦克风音频输入单元120输入的音频信息(音频编码)。

此外，诸如时间戳(time stamp)和用于视频照相机控制的参数的附加信息作为拍摄视频时的拍摄信息参数被输出，以产生附加信息的叠置位图。在下面的说明中，特别关于其中捕获图像的时钟信息作为附加信息记录的情况说明本实施例。此时，图像拾取/记录设备100将用于捕获视频的时间信息的字体数据作为各个图形字体记忆在字体数据存储器(未示出)中，其中数据被以AVCHD格式定义的压缩模式压缩。图像拾取/记录设备100排列从字体数据存储器获取的字体作为叠置位图数据，然后生成从照相机控制单元110输入的捕获视频的时间信息的图像。然后，编码单元130编码叠置位图流作为所生成的捕获视频的时钟信息的图像(叠置位图编码)。

此处，将说明叠置位图数据，蓝光(Blu-Ray，注册商标)/AVCHD的字幕数据。叠置位图的流分类为组成传输流的数据类型。叠置位图具有下列的控制规范。

首先，显示风格(例如针对记录日期，“YMD”、“DMY”或者“不记录”)在开始记录之前由用户指定和确定。这些设置可以在记录期间保持不变。在运动图片的纪录期间，记录叠置位图。记录日期可以与流内部中描述的时钟信息或修改的DV包(modified DV pack)的时钟信息相同。此处，如果在显示风格中选中“不记录叠置位图”，则叠置位图流自身被设定为不记录。光盘再现设备(例如Blu-Ray(注册商标)播放器或AVCHD记录DVD播放器)能够切换叠置位图的显示/隐藏。

一个叠置位图的数据(显示设置)包括下列的段：一个入口点(entrypoint)(1EP)记录一条数据。在1EP中提供五个段(PCS、WDS、PDS、ODS、END；＝5PESPacket)用于每个功能。

PCS(Seg PCS；呈现合成段(Presentation Composition Segment)信息)为定义显示配置(呈现)的段信息。对象的每一个，诸如要显示的字符，为字体的位图数据。数据被压缩和记录而非保持原样。WDS(Seg WDS；窗口定义段(Window Definition Segment)信息)为定义一屏幕配置的段数据(窗口定义)。PDS(Seg PDS；调色板定义段(Palette Definition Segment)信息)为定义色彩调色板的段数据(调色板定义)。虽然要显示的每个字符字体的数据为每个位图的压缩数据，但是其显示色彩由该数字数据规定。ODS(SegODS；对象定义段(Object Definition Segment)信息)(除了RLE)为定义显示对象的段数据。END(Seg END；显示设置段结束(End ofDisplay Set segment)信息)为表示显示数据设置结束的段数据。

记录这些段数据，以便其与作为TS流的1EP(此处作为例子，1GOP包括15帧视频帧)中的显示组(display set)收集的数据组共存同时被记录。1EP包括视频帧(视频帧I-pic/P-pic/B-pic)在本AVCDH***HD视频照相机的记录的视频流的例子中，紧接每一个GOP一个I-图片之后，叠置位图数据集体地记录下列显示组附加以对应的PTS，使得与再现图像显示时间PTS(时间戳)相对应。

根据本实施例的再现播放器在再现时读取并再现此叠置位图。在再现时要被记录和叠加到运动图片上的叠置位图包括按行排列的15段，使得对应于1EP中的各自15个视频帧，而每段包括按列排列的“Display/Set/PCS/WDS/PDS/ODS/END”。由于WDS、PDS和ODS中的每一个可以在1EP中只被定义一次，第二和后续段可以包括“Display/Set/PCS/END”。在此，尽管已经说明了其中1EP包括15段的例子，1EP可以包括大约10到15段。

字符字体的位图数据规格上利用游程(Run Length)编码压缩，游程(RunLength)编码是一种简单的数据压缩技术。例如，一个字符字体数据由10[像素]x14[行]组成。它可以直接用于逐行模式中的帧视频流的字幕。相反地，在隔行模式中的场视频流的字幕的情况下，在先决定“Top/Bottom”。将参考图9稍后描述包含TS流的叠置位图的每个段的分类和名字。

编码单元130保持从照相机控制单元110输入的捕获视频的时钟信息作为视频流中的附加信息。TS包配备有用于各个数据类型的PID，以及被利用记录的视频流、音频信息、叠置位图、和后述的深度图信息来一起编码。

另一方面，深度图处理单元150生成代表对象的深度信息的分布的深度图数据，该深度图数据可用于立体视频流的生成。深度图处理单元150使用从照相机单元101获取的视频信息和AF控制信息，根据通过在光学视角控制(光学缩放)和光学聚焦控制下的测得距离信息的处理获得的数据，生成深度图数据，该深度图数据是8比特值的十进制表示，范围为255到0，该光学视角控制(光学缩放)和光学聚焦控制基于光学镜头的广视角(对应于35mm胶片的28mm镜头的视角)的状态下在0.5m到5m的距离拍摄时的被摄体对象群的元视频辨别。由上述方法生成深度图数据。

深度图处理单元150向编码单元130输出生成的深度图数据中的与视频的立体显示部分对应的视频深度图信息。编码单元130编码从深度图处理单元150输入的视频深度图信息以及捕获的视频的时钟信息(深度图视频编码)。

另外，深度图处理单元150根据照相机单元101的AF控制信息，检测每个GOP(图片组)的深度图的峰值和平均值。此外，深度图处理单元150利用每个GOP的深度图的峰值和平均值计算一个视频章节中深度图的峰值和平均值。这些值被用于本实施例的显示控制。深度图处理单元150将检测到的深度图的峰值和平均值作为深度图属性信息输出到稍后描述的存储器。

上述处理产生的各种编码信息和深度图属性信息被输出到RUV(Recording Unit of Video Object Unit，视频对象单元的记录单位)创建记录处理单元140并以AVCHD格式记录各种编码信息和深度图属性信息。存储器142可以是任何记录介质，包括，诸如闪存卡、内部闪存、存储驱动(比如SSD)、磁盘(比如硬盘或盘形磁盘)、和光盘(比如，CD-RW(可重写光盘)、DVD(数字视频光盘)-RW/+RW/RAM(随机存储器)、或BD(蓝光盘(注册商标))。

AVCHD格式是用于将其中复用了视频数据和音频信息的AV流记录于可记录记录介质上的记录格式。由视频照相机等捕获的视频流等被编码为MPEG2-TS流，并且当以AVCHD格式记录时被作为文件记录在记录介质中。因此，这个文件是流管理文件。通常，流管理文件由四个文件构成：索引文件、电影对象文件、电影播放列表文件、和剪辑信息(clip-info)文件。稍后描述AVCHD格式的细节。

如图5所示，在立体视频流中，RUV，即用于在记录介质上记录的记录单位，包括多个GOP。立体视频流中的每个RUV可以被连续记录在存储区142上。RUV中GOP的数目由记录介质的记录单位限定。每个GOP包括主视频GOP及主视频GOP的深度图视频。主视频GOP及其深度图视频以完全相同的时间戳被记录。此外，如果RUV被记录在存储区142上，记录的附言(postscript)逻辑地址作为在存储器142上的记录位置信息被提供并添加到RUV上。记录位置信息被记录在AVCHD流管理文件的剪辑信息文件的EP_Map上。

EP_Map是与记录在记录介质上的流的EP(进入点)的逻辑地址位置和记录的内容流的时间戳对应的表格。在此，EP是AVCHD格式的记录介质的基本存取单位。

此外，本实施例的立体视频RUV具有立体属性标志，每个立体属性标志指示记录的视频流是否是立体视频。立体属性标志包括代表是否采用深度图模式的第一立体属性信息和代表是否是左右视差图像模式(binoculardisparity mode，双眼像差模式)的第二立体属性信息。如果有一个如本实施例的情况的流，当立体视频流被记录时，第一立体属性信息变成“TRUE”并且第二立体属性信息变成“FALSE”。然后，立体属性标志被记录在每个AVCHD流管理文件和用于修改的流DV包(pack)144的新的扩展定义字段中。

另外，各种编码信息和深度图属性信息也以AVCHD格式被记录在流管理文件中的预定文件146上。在流管理文件中的预定文件146中，例如，记录了记录在存储器142上的AVCHD格式的流属性信息、对应于时间戳的逻辑地址位置信息。此外，在流管理文件中的文件146中，记录与UI(用户接口)操作内容索引格式中的时间戳对应的各种流属性信息。

(图像拾取/记录设备的再现/输出处理部分的配置和功能)。

此外，本实施例的图像拾取/记录设备100包括再现记录的立体视频流的再现/输出处理部分。然而，本发明的再现/输出处理部分不是具有用于根据后述显示控制模式控制立体视频流和叠置位图的显示的显示控制单元的再现设备，而是重新生成仅仅立体视频流的设备。如图6所述，再现/输出处理部分允许RUV再现处理单元160从记录在存储器142上的AVCHD格式的流管理文件中解码编码的视频流、音频信息、和视频深度图信息，然后再现解码的信息。

RUV再现处理单元160获取记录在存储器142上的信息，然后输出信息到输出处理单元170。输出处理单元170解码编码的视频流、音频信息、和视频深度图信息(主视频解码、音频解码、和深度图视频解码)。

另外，RUV再现处理单元160将来自记录在流管理文件的修改的DV包144的新的扩展的定义字段中的深度图属性信息输出深度图的峰值和平均值、时间信息和照相机信息输出到输出处理单元170。此外，输出处理单元170中的盘配音时的写入叠置位图的处理中还使用立体视频流和时钟信息两者。

输出处理单元170输出解码的再现的视频流到视频输出控制单元182并且也输出解码的音频信息到音频输出单元184。视频输出控制单元182对视频流执行显示处理，然后输出处理的视频流到用于字符数据信息的叠加显示处理单元186。用于字符数据信息的叠加显示处理单元186叠加从用于稍后描述的深度图视频等级(1evel)的附加处理单元194输入的时钟信息和照相机信息作为字符信息到视频流。音频输出单元184输出音频信息到显示器200。

此外，输出处理单元170输出解码的视频深度图信息到用于深度图视频等级的适配处理单元192，并且也输出时钟信息和照相机信息到用于深度图视频等级的附加处理单元194。与从流管理文件的预定文件146获取的UI操作内容索引格式中的时间戳对应的各种流属性信息也被输入到用于深度图视频等级的适配处理单元192，和用于深度图视频等级的附加处理单元194。用于深度图视频等级的附加处理单元194输出经过附加处理的信息到用于深度图视频等级的适配处理单元192和用于字符数据信息的叠加视频处理单元186的每个。用于深度图视频等级的适配处理单元192输出产生的深度图视频到能够显示立体显示的显示器200。

视频流、音频信息、和深度图视频从图像拾取/记录设备100的再现/输出处理部分输入。显示器200通过用于视差视频的重构处理单元202执行重构视频的处理。因此，显示器200可以再现和显示立体视频流的深度感。

在上述描述中，已经描述了本实施例的图像拾取/记录设备100的配置。这种图像拾取/记录设备100可以连接到本实施例的再现设备。因此，再现/输出处理部分可以显示立体视频流，使得立体视频流可以被显示在连接到图像拾取/记录设备100的显示器200上。将稍后说明的本实施例的再现设备包括基于图像拾取/记录设备100产生的深度图执行立体视频流和叠置位图的显示控制的显示控制单元。在下文中，将参考图7到图11，说明具有本实施例的显示控制单元的再现设备的配置和使用这样的单元的显示控制。

图7是说明能够再现立体视频流的典型的再现设备的配置的方框图。图8是说明具有根据本发明实施例的显示控制单元的再现设备的配置的方框图。图9是说明用于立体视频流的叠置位图的显示控制的信息的配置的说明图。图10是说明通过本实施例的显示控制单元执行的按入显示控制模式时的显示控制方法的流程图。图11是说明通过本实施例的显示控制单元执行的嵌入显示控制模式时的显示控制方法的流程图。

[再现设备的配置]

除了用于解码视频流、音频信息等的典型再现设备的配置外，图7所示的再现设备还包括解码深度图的功能。再现设备从视频流的读出目的地读取在AVCHD格式的流管理文件(IFO)上记录的立体属性标志。当立体属性标志的第一立体属性信息是“FALSE”时，再现设备的PID选择器执行再现二维视频流的处理。另一方面，当立体属性标志的第一立体属性信息是“TRUE”时，再现设备的PID选择器执行再现立体视频流的处理。PID选择器基于赋予读取的视频流中的每个种类的每个包的PID，将深度图与其他信息分离。因此，避免将非期望的深度图数据包输入现有技术二维平面视图视频的视频解码侧。能够保持视频流再现的向下兼容性。

如图7所示，当记录TS流(传输流，下文中缩写为TS流)格式的视频流时，取决于TS包种类，PID被赋予每个包，再现设备基于其各自的PID，通过PID选择器把包分离到各个种类中。因此，PID选择器基于各自的PID将每个包与其它包分离。将包累积到包ES缓存后，各种信息被解码以向显示器输出诸如视频流、音频信息、和***控制信息的PB数据。同样地，再现设备解码由PID选择器分开的深度图流，然后输出解码的深度图流到显示器。

如果显示器是接收深度图流为输入的立体视频显示装置，深度图流可以从本实施例的再现设备输出。如果显示器是只接收有左右视差的两个视频流的立体视频显示装置，使用深度图信息产生左右视差视频，然后将其输出到仅具有左右视差的两个视频输入的立体视频显示装置。在本发明中，拍摄视频时同时记录的深度图流被保持。因此，即使是通过原本没有任何左右视差的远摄视角的远摄端缩放拍摄的视频流，也可以从深度图信息产生左右视差视频，然后输出到显示器，就像在广角端通过广角拍摄的视频流的情况一样。

此外，再现设备取出PCR，视频流的段(segment)之一，然后从STC(***时钟)产生作为用于同步再现的时间信息的PTS(呈现时间戳)和DTS(解码时间戳)。PTS是用于再现/显示时间并在PES(打包的基本流)的头部说明的时间戳。DTS是用于解码时间并在PES的头部说明的时间戳。PTS和DTS两者被输入到用于解码各种信息的解码部分，然后被供给到解码后的各种信息。PTS和DTS两者被用于关联解码后的视频流和深度图视频。

现在参考图8，将更加详细说明根据本实施例的具有显示控制单元的再现设备的配置。本实施例的显示控制单元174被安置在用于解码深度图视频的深度图视频解码部分173。显示控制单元174接收由主视频解码部分171解码的视频流、由OB解码部分172解码的叠置位图、和解码的深度图视频。显示控制单元174这些种类的信息和基于图1到图3中说明的显示控制模式控制立体视频流和叠置位图的显示。

主视频解码部分171解码视频流，然后把它输出到显示控制单元174。另外，深度图视频解码部分173读取每个1EP(或GOP)单元的修改的DV包144的信息——该信息基于拍摄时视频流的内容存储——以得到代表深度图的峰值和平均值的深度图属性信息。此外，深度图视频解码部分173输出获取的深度图属性信息到控制深度图视频的显示位置的显示控制单元174。

OB解码部分172解码叠置位图数据的位图图像数据。OB解码部分172构成解码的位图图像数据并通过图形控制器确定位图图像数据被显示在显示区域250的何处。这样，当显示区域250中的叠置位图数据的显示位置被识别时，OB解码部分172提供叠置位图数据的位置信息给显示控制单元174。

此外，图形控制器执行输出叠置位图的位置信息的处理以及确定构成的位图图像数据的平面和颜色的处理。此外，如上所述，立体视频流中的每个EP的叠置位图的段包括，显示配置信息定义(PCS)、色彩调色板定义(PDS)、窗口视频定义(WDS)、显示对象定义(ODS)等等。叠置位图的图像可以使用这些种类的信息制作。

显示控制单元174使用上述输入信息控制立体视频流和叠置位图的显示。至此，在说明显示控制单元174的显示控制处理之前，将说明用于显示控制处理的各种信息。

如图9所示，可以在立体视频流的显示区域250中限定显示叠置位图的OB显示区域252。例如，当作为叠置位图数据显示的附加信息是字幕和日期时间时，OB显示区域252定义在固定位置，比如显示区域250的右角，下面部分，或上面部分。在此实施例的显示控制处理中，在隐藏模式、按入显示模式、和嵌入显示模式中的任一个中，显示在OB显示区域252上的叠置位图的深度方向上的位置是固定的。因此，当从观看者观看立体视频显示装置时，它可以被叠加并显示在立体视频流的前面。

另一方面，在其中不显示叠置图像的隐藏模式中，深度图信息固定立体视频流的所显示被摄体对象。在按入显示模式和嵌入显示模式的每个中，在再现一个视频章节期间，当被记录在流管理DB文件上时，深度图的章节中的视频的深度图流的峰值和平均值被登记。与该值对应，整个屏幕上视频的深度图信息以某一固定比例减少，从而立体视图的深度信息可以减少。因此，如图4所示的图像拾取/记录设备100的深度图处理单元150检测在OB显示区域252内的EP(GOP)单元的深度图的峰值和平均值作为立体视频流的深度信息。

参考图4所示的图像拾取/记录设备100以及图9所示的配置，将详细说明在记录立体视频流时的每个视频的深度图信息及其峰值的记录。一个EP(GOP)包括多个段。图4所示的在记录侧的深度图处理单元150在流管理DB文件的预定字段上记录EP(GOP)单元的深度图的峰值(DepthMapGOP_PeakValue)和平均值(DepthMapGOP_Average Value)。在再现时，这些种类的信息在开始再现的准备阶段被获取，然后一个指定的再现章节中的峰深度图值瞬时被获取并判断，接着视频流的深度图的值经受算术处理以控制立体视频显示的深度方向。

此外，分开地，深度图处理单元150将EP(GOP)单元的深度图的峰值和平均值记录在每个EP视频帧的MDP内。通过以这种方式在流中记录，即使当用于管理对视频流的访间的流管理DB文件在记录、存储在介质中、再现、或编辑期间因任何事故而被破坏，也可以通过参考视频流中的MD包而获取EP(GOP)单元的深度图属性信息，尽管这花费很多时间。换句话说，这样的配置可以导致在可恢复的范围内读取流并恢复被破坏的流管理DB文件。另外，作为视频流也可以保持属性信息的完整性。

对于通过一个记录开始/停止操作获取并记录在介质上的一个视频章节，如果必需将显示区域限制在依据每个EP(GOP)的OB显示区域252内，可以在OB显示区域252中进行根据这种需求的设置和控制。或者，如果不是必需的，则可以在屏幕的整个显示区域上执行该设置和控制。换句话说，在这两种情况下，将用于获取深度图值的峰值和平均值的设置和控制设置于图4中记录侧的深度图处理单元150以执行检测。当获取视频深度图值时，如图9所示，能够识别在视频深度图值中的时间变化。图9所示的视频深度图值是在每个EP(GOP)单元中的OB显示区域252中的深度图的平均值。深度图处理单元150把一个视频章节中的最大视频深度图值作为关注的视频章节中的深度图的峰值，深度图处理单元150还把一个视频章节中的视频深度图值的平均值作为视频章节中的深度图的平均值。

由深度图处理单元150检测到的每个视频章节的深度图的峰值和平均值作为深度图属性信息被记录在流管理文件中的电影播放列表文件的扩展数据的播放项(playitem)上。在停止视频章节的记录后在向流管理文件的写入的阶段记录深度图属性信息。

[显示控制单元的显示控制处理]

如上所述，使用在拍摄视频时记录的每个视频章节的深度图的峰值和平均值，显示控制单元174在再现时控制立体视频流和叠置位图的显示。如图1到图3所示，本实施例的再现设备可以在三种不同模式中的任一模式执行显示控制：只显示立体视频模式而不显示叠置位图的隐藏模式；按入显示控制模式；和嵌入显示控制模式。可以事先在拍摄视频或创作时从这些模式中选择合适的模式。再现设备根据事先确定的显示控制模式控制立体视频流和叠置位图的显示。

(隐藏模式中的显示控制处理)

首先，如果显示控制模式被设置成隐藏模式，再现设备不解码不显示的叠置位图。因此，再现设备解码视频流、音频信息、和***信息，并将其输出到显示器。这时，再现设备并不典型地操作执行立体视频流和叠置位图的显示控制的显示控制单元174。

(按入显示控制模式中的显示控制处理)

接下来，如果显示控制模式被设置成按入显示控制模式，显示控制单元174执行图10所示的显示控制处理。首先，显示控制单元174从电影播放列表文件获取每个视频章节的深度图的峰值(步骤S100)。然后，显示控制单元174确定深度图的峰值是否超过叠置位图的深度图值(步骤S102)。

叠置位图的深度图值通常是固定值。例如，如果在视频中呈现在距离0到5米处的深度，在深度2米的固定位置呈现叠置位图。在步骤S102，如果确定深度图的峰值未超过叠置位图的深度图值，然后再现设备开始再现立体视频流而不执行利用显示控制单元174的显示控制(步骤S120)。即，显示立体视频流同时保持拍摄视频时记录的状态，以及在OB显示区252的固定显示位置上显示叠置位图。

另一方面，在步骤S102，如果确定深度图的峰值超过叠置位图的深度图值，再现设备获取每个EP(GOP)的深度图的峰值作为来自剪辑信息文件的列表(步骤S104)。然后，获取其中深度图的峰值超过叠置位图的深度图值的超峰值再现时间(S106)。按照EP(GOP)再现时间单位来获取超峰值再现时间。

再现设备执行显示控制使得用户可以容易地观看和收听立体视频流。然而，在针对每个EP(GOP)的深度图的峰值超过叠置位图的深度图值的状态下，通过被叠加并显示在立体视频流前面的观看者侧的叠置位图的深度图获得的立体视觉，可以导致通过具有流屏幕的对象的深度图的立体表示的显示混乱。因此用户可能不能视觉上识别附加信息，例如日期时间、拍摄信息、和拍摄时的各种信息。

然后，显示控制单元174以按入显示控制模式开始再现视频。这时，从流管理DB文件中，显示控制单元174首先读取并确认在拍摄视频时已经登记在文件的指定字段位置的、一章节部分中的深度图的峰值登记数据。这样的处理可以瞬时完成。然后，如果确定视频流的深度图流的峰值登记数据在由显示叠置位图的附加信息的深度图规定的屏幕上的立体显示位置隐藏，或在这种情况下，立体观看者在动画流的对象后面。控制视频流使得叠置位图的附加信息可以被显示在视频流的对象的前面，以避免叠置位图的显示被视频流隐藏。

在特别优选的实施例中，图6所示的用于深度图视频等级的适配处理单元192首先从流管理DB文件的注册字段获取当开始再现时，从一个视频的开始到其结束的视频流的深度图峰值。然后，用于深度图视频等级的适配处理单元192确定为避免章节再现期间深度图的最大峰值超过叠加的显示深度图而规定的深度图减少比率。随后，以该比率再现的视频流的深度图值以预定的比例减少。这样的配置可以通过用于深度图视频等级的适配处理单元192来设置，接着开始再现。深度图流值可以以一个视频章节的再现期间不被改变的恒定减少比例来减少。

在此，显示控制单元174确定超峰值再现时间是否超过第一阈值时间(步骤S108)。第一阈值值时间可以任意设置。相反，假设OB显示区域252中的立体视频流中的对象被显示在叠置位图的显示位置的后面，即使在很短的时间——其中在该时间中每个EP(GOP)中的深度图的峰值多于叠加叠置位图的深度图值——比第一阈值时间短，观看者可以被阻止观看和收听立体视频流，即显示的主要内容。这样，如果显示控制单元174确定超峰值再现时间没有超过第一阈值时间，再现立体流，同时保持其拍摄视频时记录的状态，而没有改变在深度方向上的视频流和叠置位图的位置(步骤S120)。

另一方面，如果确定超峰值再现时间超过第一阈值时间，可以指定再现设备输出向用户显示警示消息的指示到连接到再现设备的显示器。此处，“警示消息”是允许用户确定是否执行按入显示控制以在视觉上识别叠置位图的附加信息的消息。此时，再现设备响应于警示消息进入等待用户输入操作的状态(步骤S110)。显示器根据来自再现设备的指示显示警示消息。用户响应于显示在显示器屏幕上的警示消息确定是否应执行按入显示控制，然后使用诸如遥控器(未示出)的输入装置输入确定的结果。

由用户通过输入装置输入的确定的结果作为输入信息被输入到再现设备。接收到输入信息的再现设备解除等待用户输入操作的状态，然后基于输入信息确定是否实行按入显示控制(步骤S116)。如果用户没有确定执行按入显示控制信息，再现设备不改变在深度方向上视频流和叠置位图的位置。然后，再现设备再现立体视频流，同时保持其在拍摄视频时记录的状态(步骤S120)。另一方面，如果用户确定执行按入显示控制，显示控制单元174执行视屏流的按入显示控制(步骤S118)。

如图2所示，从观众侧观看立体显示设备，视频流的按入显示控制的执行允许位于OB预定显示区域252的位置上的视频流的对象典型地显示在深度方向上OB显示区域252的立体视频显示装置的位置的后面。如图8所示的显示控制单元174通过深度图流值的减少的算术控制而确定包括立体视频对象的整个视频屏幕在立体视频显示装置的深度方向上的显示位置，使得OB显示区域252中的视频流的对象的深度图值可以小于定义的叠置位图的深度图值。

此时，变化后的视频流的对象的深度图值可以如下：例如，在减少(reduction)处理之后的深度图流的峰值小于叠置位图的深度图值。换句话说，关于再现/解码深度图流的深度图流数值的减少比例可以作为固定值，使得叠置位图能够自一个视频章节再现的开始到结束显示在深度方向上立体显示位置的后面(back)。如上所述，图8的显示控制单元174在以预定比率将OB显示区域252中的视频流的对象的深度图值设定到减少的状态之后，再现立体视频流(步骤S120)。

此外，图8所示的OB解码部分172的图形控制器可以改变待显示的叠置位图的内容。例如，在显示诸如字幕和时间戳的附加信息的情况下，提高字符以外的字符背景的透明度，以允许光线通过，使得后面的立体视频流能够清楚地看到。因此，叠置位图能够优先于立体视频流被显示，同时信息量低的背景也能够呈现立体视频流的信息。

在上述说明中，参考图8说明了由显示控制单元174进行的视频流的按入显示控制。通过执行按入显示控制处理，能够避免叠置位图数据被隐藏在视频流的对象之后。因此，附加的信息能够被清晰地呈现给观看和收听立体视频流的用户。

(在嵌入显示控制模式中的显示控制处理)

接着，如果设置显示控制模式为嵌入显示控制模式，通过显示控制单元174执行如图11所示的显示控制处理。首先，如图8所示的显示控制单元174自电影播放列表文件获取每个视频章节的深度图的峰值(步骤S200)。然后，显示控制单元174确定深度图的峰值是否超过叠置位图的深度图值(步骤S202)。如果深度图的峰值未超过在一个视频章节中的叠置位图的深度图值，则可以不执行嵌入显示控制。

叠置位图的深度图值通常为固定值。在步骤S202，如果确定深度图的峰值未超过叠置位图的深度图值，则再现装置开始再现立体视频流，同时再现装置未利用如图8所示的显示控制单元执行显示控制(步骤S220)。在这些步骤中的过程同如图10所示的用于按入显示控制模式中的步骤S100和S102中的过程相同。

另一方面，在步骤S202，如果确定深度图的峰值超过叠置位图的深度图值，则再现设备自剪辑(clip)信息文件获取作为列表的每个EP(GOP)的深度图的平均值(步骤S204)。于是，针对每个EP(GOP)获取其中深度图的平均值超过叠置位图的深度图值的超均值再现时间(步骤S206)。超均值再现时间以EP(GOP)再现时间为单位而获得。

再现设备执行显示控制，使得用户能够容易地观看和收听立体视频流。叠置位图通常显示在固定位置。通常视频流的对象的显示位置随着时间的推移而变化。为此，在再现视频章节时，根据环境，视频流的对象显示在叠置位图的前面或后面。这样，根据情况，用户可能或不可能观看和识别一个视频章节中的叠置位图的附加信息，导致观看和收听立体视频流的困难。在嵌入显示控制模式中，图8所示的显示控制单元174执行对处理待显示图像的控制，使得对于与视频流的对象待重叠的叠置位图，其与OB显示区域252中立体流的对象重叠的部分被隐藏。

此处，具体地，在其中选择叠置位图显示模式的嵌入模式中，如果使用由正在再现一个视频章节的观众感官上定义的设置数值，隐藏叠置位图的显示内容的时间段相比较而言更长，当叠置位图在被嵌入在立体视频流的对象同时被显示时，其中观众不能观看和识别叠置位图的附加信息的时间段可能增加。其中不能在视觉上识别叠置位置的附加信息的时间段的增加发生。在这种情况下，即使选择的显示模式为用于显示叠置位图的模式时，显示在叠置位图上的附加信息也没有充分地被观看立体视频显示装置的观众识别。

因此，当开始指定的视频章节的再现时，如图8所示的显示控制单元174可以首先确认与对应于再现的视频流的视频章节部分中的深度图的峰值超过叠置位图显示的深度图值，然后确认视频流的深度图流的峰值超过叠置位图显示的深度图值。当确定超再现时间(其中视频流的深度图流的平均值超过叠置位图显示的深度图值)超过第二阈值时间时，期望显示控制单元174确定是否在按入显示模式中是否执行再现。此处，“第二阈值时间”为由视频再现时间的比例定义的、观众感官上是否接受的其中叠置位图的显示信息由于显示隐藏处理而不可能被观看的时间段的时间，该显示隐藏处理是由于指定给叠置位图显示的深度图值超过属于视频流的对象组的深度图流而引起的。

此处如图8所示的显示控制单元174确定是否超平均值再现时间超过第二阈值时间(步骤S208)。第二阈值时间能够任意设置。以类似于按入显示控制模式的方法，如果其中每个EP(GOP)中的深度图的平均值超过叠置位图的深度图值的时间段以有意义的方式(in a significant manner)略小于显著方法中的第二阈值时间，则即使叠置位图被嵌入在立体视频流的对象中，因为其中附加信息不可能在视觉上识别的时间段不打扰观众的观看和收听，叠置位图的附加信息足够被观众识别。这样，如果显示控制单元174确定平均值再现时间未超过第二阈值时间，立体流被再现同时保持其在拍摄视频的时间记录的状态，而不改变视频流和叠置位图在深度方向上的位置(步骤S220)。

另一方面，如果是显著较长的时间，则附加信息不能充分地被观众识别，这是因为当叠置位图被嵌入在立体视频流的对象中时，其中附加信息不可能在视觉上识别的时间段增加。这样，如果图8所示的显示控制单元174确定超平均再现时间超过第二阈值时间，则即使选择了嵌入模式，其为叠置位图显示模式之一，也可能妨碍叠置位图的显示内容被观看和收听。这样，优选地，使得用户确认是否可以不加改动地在嵌入模式中开始叠置位图显示控制的再现。在下文中，说明该过程的流程。

如果确定超平均值再现时间超过第二阈值时间，再现设备输出允许向用户输出显示器显示警示消息的指令。警示消息可以是允许用户确定是否应执行嵌入显示控制的信息。此时，再现设备响应于警示消息进入等待用户输入操作的状态(状态步骤S210)。显示器根据来自再现设备的指令显示警示消息。用户响应于显示在显示器屏幕上的警示消息而确定是否应执行嵌入显示控制，然后使用输入装置(未示出)输入确定的结果

由用户通过输入装置输入的确定的结果作为输入信息被输入到再现设备。已接收到输入信息的再现设备取消等待用户输入操作的状态，然后基于输入信息确定是否执行嵌入显示控制(步骤S216)。如果用户没有确定执行嵌入控制，则再现设备在不改变视频流和叠置位图在深度方向上的位置的情况下，在保持其在拍摄视频时记录的状态的同时，再现立体视频流(步骤S220)。另一方面，如果用户确定执行嵌入显示控制，则显示控制单元174对于立体视频流的对象，执行叠置位图的嵌入显示控制(步骤S218)。

如果执行叠置位图的嵌入显示控制，则显示控制单元174允许OB解码部分172的图形控制器对叠置位图执行图像处理。图像控制器对叠置位图和视频流的对象之间的重叠部分执行负像(negative-image)处理以隐藏同视频流的对象重叠的叠置位图。如图3所示，叠置位图在被嵌入在OB显示区域252的视频流的对象的同时被显示。

在上述说明中，已经说明了嵌入显示控制模式。替代地，在步骤S212中的警示消息可以是允许用户确定是使用按入显示控制模式还是嵌入显示控制模式执行显示控制模式的消息。在这种情况下，用户可以响应于显示在显示器上的警示消息选择待执行的显示控制模式，然后使用输入装置(未示出)输入选择的结果。

已接收到输入信息的再现设备取消等待用户输入操作的状态，然后基于输入信息确定显示控制模式(步骤S216)。如果用户选择执行嵌入显示控制，如上所述，显示控制单元执行叠置位图的嵌入显示控制(步骤S218)。另一方面，如果用户选择按入显示控制模式，显示控制单元174执行如上所述的视频流的按入显示控制。

在上述已经说明的按入显示控制模式和嵌入显示控制模式的任一个中，显示警示消息以允许用户确定是否执行显示控制处理以选择适合用户观看和收听的模式。然而，警示消息可能通常不显示。在这种情况下，当超峰值再现时间超过第一阈值时间时(S108)以按入显示控制模式执行显示控制处理，或当超平均值再现时间超过第二阈值时间时(S208)以嵌入显示控制模式执行显示控制处理。

在上述说明中，已经说明了通过本实施例的显示控制单元174的显示控制处理。本实施例的再现设备能够通过考虑视频流的内容，响应于选择的显示控制模式，处理叠置位图和视频流，而提供能够容易地被观众观看和收听的适合用户观看和收听的立体视频流。

[在AVCHD流管理文件上记录立体视频流]

现在，说明根据本实施例在AVCHD流管理文件上记录立体视频流的方法。通过在拍摄视频时记录或编写而在AVCHD格式的流管理文件上记录立体视频流。

流管理文件包括四个文件：索引文件、电影对象文件、电影播放列表文件和剪辑信息文件。索引文件为用于管理视频章节的记录的文件。在本实施例中，索引文件管理用于标识立体流的立体属性标志。电影对象文件为以应用记录格式定义的、管理视频章节的记录的文件。电影播放列表文件为按照记录单位和入点/出点逻辑时间指定来管理对每个内容的视频章节的访问的文件。剪辑信息文件为管理对立体视频章节的内部流的访问的文件。

将有关立体视频流的***数据记录在这样的流管理文件上。图12说明在流管理文件上记录的方法，当一个流被记录在其上时采用该方法。换句话说，当记录在流管理文件上的立体声属性标志的第一立体属性信息为“TRUE”而且第二立体属性信息为“FALSE”时，采用该方法。如图12所示，将PAT(节目关联表)和PMT(节目映射表)记录在电影播放列表上。将PMT记录在电影播放列表文件的深度图数据的扩展的定义字段上。在本实施例中，待记录的流的数目为一(1)，因此PAT为“1”。此外，PMT用作规定记录在电影播放列表文件上的各个流的特性值。

此外，在剪辑信息文件上，除了记录在电影播放列表文件上的PAT和PMT外，还记录立体视频流的视频数据、音频信息、叠置位图数据、菜单数据和深度图数据。视频数据包括PCR(Program Clock Reference，节目时钟基准)，I-图片，MDP(Modified DV Pack，改进的DV包)、P-图片、B-图片等。音频数据包括AC-3、LPCM等信息。将这些种类的信息登记在剪辑信息文件的扩展的定义字段的EP_Map中。

图13为说明当对应于多个视点的立体视频流时，在流管理文件上记录的方法的图。如图13所示的流管理文件存储两个流。换句话说，当记录在流管理文件上的第一立体属性信息和立体属性标志的第二立体属性信息两者为“TRUE”时，采用该方法。

同样在该情况下，将PAT和PMT记录在电影播放列表文件上。此外，立体视频流的PAT、PMT，视频数据、音频信息、叠置位图数据、菜单数据和深度图数据记录在剪辑信息文件中。在本实施例中，待记录的流的数目为二(2)，从而PAT是“2”。此外，将立体视频流的视频数据、音频信息、叠置位图数据、菜单数据和深度图数据记录在主流和子流的每一个上。

在上述说明中，已经根据本发明的第一实施例说明了图像拾取/记录设备100的配置、再现记录的立体视频流的再现设备的配置和显示控制方法。

根据本实施例，当通过本实施例的再现装置在编写(authoring)***中输出由图像获取/记录装置100在拍摄时在立体模式记录的TS流时，基于视频流的对象的深度图数据和叠置位图的深度图值，控制视频流和叠置位图的显示。这样，考虑电影流的内容，控制电影流和叠置位图的显示。

在本实施例中，本实施例的再现设备能够以三种不同模式的任一种执行显示控制：叠置位图的隐藏模式、按入显示控制模式和嵌入显示控制模式，使得适合用户的观看和收听。因此，能够避免由于叠置位图被隐藏在图像流的对象的后面，而且叠置位图在视频流的对象后为可视或被隐藏而导致的显示状被经常变换。

此外，本实施例的记录/再现设备100执行AVCHD格式的扩展定义，以及使得立体视频流存储在介质中。将AVCHD的扩展定义应用于立体视频流的配置，使得定义深度图的合适的距离位置，以立体显示叠置位图。然后，可以将所产生的立体视频流存储在任何一种存储介质中。因此，能够显示以AVCHD格式记录的立体视频流而没有不适感。

<2.第二实施例>

现在参考图14，将描述根据本发明的第二实施例——其为第一实施例的扩展修改——的立体视频流和将叠置位图转换为MP4立体流的方法为第一实施例的扩展修改。图14为说明根据第二实施例的立体视频流和将叠置位图转换为MP4立体流的方法的说明图。具体地，图14说明了这样一个情况，其中P4可携式录像机的深度图对应视频(MPEG-C第3部分标准)被转换为AVCD格式的立体视频流。

[以AVCHD格式记录的立体视频流和MP4流的转换]

近年来，已经开发了例如MP4到DVD、AVCHD或Blu-Ray(注册商标)的用于将视频转换为光盘视频应用格式的各种格式转换的技术。MP4为用于存储ISO/IEC14496标准指定的MPEG-4格式的压缩视频数据的文件格式之一。然而，今后，可能的技术将包括由MP4可携式录像机捕获的视频到以AVCHD格式记录的视频流的转换，其中转换的视频能够被存储在记录介质中，以及包括由高质量AVCHD可携式录像机捕获的深度图对应的视频流到mp4流的转换，其可以被存储在记录介质中。

因此，本发明的下述说明将适用于深度图对应MPEG-C第3部分视频到深度图类型AVCHD立体视频流(其可以记录在诸如盘的记录介质中)的转换，或由高质量AVCHD可携录像机捕获的深度图对应立体视频流到MP4可携录像机的MP4流(MPEG-C第3部分)的转换。

MP4可携录像机可以被定义为捕获经历图像处理的MP4视频流的设备，使得一帧能够被水平划分，以在屏幕的左边布置彩色图像而在其右边布置表示深度图的单色(monochrome)图像。在这种情况下，MP4到AVCHD的转换或AVCHD到MP4的转换通过每个可携录像机专用的支架(cradle)中的转换器执行。水平划分的输入视频流按每秒每30帧分割成彩色图像和深度图图像。然后，每个图像的屏幕被水平延长。在此，可以应用通过运动矢量等补足不足的水平分辨率的超解析(super-resolving)技术。如果屏幕被水平延长，于是彩色(color)图像和深度图图像具有对应的水平分辨率的比特数目，接下来分别被累积在视频缓冲器和深度图缓冲器中。

当编码该累积在视频缓冲器和深度图缓冲器中的彩色图像和深度图图像时，具有粗略分类为两个文件的MP4流处理如下：将以MP4应用格式定义的诸如PPS和SPS的视频管理信号嵌入在AVCHD流中，包标识符(packetidentifier，PID)被置于流中，然后该流被编码。可以执行称为“智能渲染(smartrendering)”的重新MUX(Re-MUX)(Demux/Mux)，以避免发生由于重新编码处理引起的图像质量恶化。此外，从MP4管理信息中获取拍摄的时间戳数据，然后将其嵌入AVCHD流。

为了将由高质量AVCHD***捕获的深度图格式的立体视频流转换为MP4视频流而且将转换的流记录在记录介质，通过使用PDI抽取视频数据、音频述和深度图数据，然后解码，接下来以ES级别编码成MP4。在MP4中，未确定用于将深度图保持为立体视频中的另一个数据的格式类型。这样，具有分割为按照MPEG-C第3部分指令的视频/深度图的屏幕的输出被编码成一个屏幕。显然，如本格式，MP4可以定义为其中立体视频流将深度图数据保留作为独立的介质数据的格式。此外，如果MP4和AVCHD格式两者均具有与H.264/AVC视频流压缩格式的兼容性，则可以获得不使用重新编码的利用智能渲染的重新MUX(re-MUX)配音(dubbing)。

此处，“MP4和AVCHD格式两者均具有处理H.264/AVC视频流压缩格式的兼容性”的含义说明如下：MP4主要发展了网络发行内容的应用。从周围情况，指定MP4流的配置使得压缩视频流的视频扩展解码不会在通信环境中的间歇性缺陷中失效，或不会在压缩视频流的视频扩展解码处理的破坏中失效。具体地，设计MP4，使得每秒或每两秒***具有从其可以新开始视频流的I-图片帧特性的I-图片(在下文中称作“即时解码器更新(IDR)”帧)，由此流可以耐受流解码中的故障。“IDR”帧是有益的。然而，在要存储通用Blu-Ray光盘(注册商标)的兼容AVCHD和Blu-Ray光盘(注册商标)的视频应用格式的通用H.264/AVC格式视频压缩流中，仅以大约每十秒一次***IDR帧，以便以相同的数据传输比特率以实现更高的图像质量和更有效的压缩。

将参考其中使用MP4、AVCHD和Blu-Ray(注册商标)作为应用格式的例子说明本实施例。此处，出于用户的方便，期望使用智能渲染而不是使用实时再现时配音捕获的立体视频，因为其允许用户仅使用少于实时复制时间的包数据配音处理执行配音。术语“智能渲染”为如下格式，其仅执行TS流包的解复用或复用，而流的压缩状态保持不变，同时未记录任何视频的再现解码或编码。为了使用H.264/AVC视频压缩格式实现智能渲染，下述前提基于：兼容两种应用格式MP4和AVCHD的再生***，可以另外处理H.264/AVC格式，然后记录和再现该格式的视频。认为，IDR***部分的MP4与两种应用格式即AVCHD和Blu-Ray(注册商标)中的IDR兼容。

此处，术语“IDR”指的是MPEG视频压缩***之一，其中H.264/AVC格式的一帧为屏幕上的单一图片，其中为在视频流中包括的图片之一。此处P-图片和B-图片为与时间轴上的I-图片相比较的差分视频成分。I-图片为在一个屏幕空间中的压缩视频。术语“时间轴压缩(time scale compression)”意味着一个图像被与另一个图像的参考差分图像代替。P-图片和B-图片两者具有其自己的参考关系；P-图片参考时间上早于该P-图片自身的图像，而B-图片参考时间上早于和晚于该B-图片自身的图像。除了I-图片外的P-图片和B-图片中的任一个具有作为参考关系的初始(original)的其自己的图片。帧间的依赖关系称为“参考(reference)”，包括I-图片以及参考和依赖与视频差分的图像的图片组正确地称作GOP(图片组)。

IDR(Instantaneous Decoder Refresh，即时解码器更新)帧为由MPEG压缩标准之一，H.264/AVC图像压缩标准，新近增加的，特别地其能够用作和识别为从该帧再生的I-帧。

在H.264/AVC格式中，多个参考，多参考(多参考图像)被新近引入和应用，以提高时间轴上的压缩率。例如，P-帧不仅参考紧紧位于其前的I-帧，也参考时间轴上的其他先前的I-帧。该新近定义的格式获得了在压缩效率上的提高，同时保持高的图像质量，适用于高图像质量的HD视频压缩。这样，新近定义的格式能够广泛用作视频拍摄、记录和视频内容的压缩流格式。

然而，如果根据该多参考的关系，任何参考关系基于时间轴上非常早的帧，则当视频流被非正常通信中断或者被编辑工作切断时，可能延长时间段，在该时间段内接下来的全部后继的流部分受到影响而且很难解码。此外，用于参考关系的数据量也可能增加。出于该原因，期望打破合适的预定的时间轴范围内的多个参考之间的参考关系。这样，具有用于打破多个参考的标志的I-图片称为“IDR”以区别于其他。

在将MP4格式记录/再现设备中的视频流变换成AVCHD-格式记录/再现设备视频流的转换处理中，获取MP4时钟信息，然后产生叠置位图。随后，叠置位图被提供有深度图值，然后固定布置在立体图像的预定立***置上。

在上述描述中，说明了根据本发明的第二实施例的将立体视频流和叠置位图转换为MP4格式立体流的处理。如上所述，也能够将以AVCHD格式记录的立体视频流转换成MP4格式流，反之亦然。如果以AVCHD格式记录的立体视频流为第一实施例中描述的记录模式，当由配备有显示控制单元的再现设备再现时，立体视频流和叠置位图能够在响应于上述显示控制模式的控制下被显示。

参考附图已经详细说明了优选实施例。然而，本发明不限于这些实施例。本领域的技术人员能够轻易识别不同修改和改进，该修改和改进能够轻易从权利要求书中描述的技术构思中获取，而且能够自然识别这些修改和改进属于本发明的技术范围。

例如，在上述实施例中，由图像拾取/记录设备记录的视频被设计为使用具有显示控制单元的再现装置执行立体视频流和叠置位图的显示控制。然而，本发明不限于此。例如，本发明的显示控制单元可以安装在如图4和图5所示的记录/再现设备的再现/输出处理部分。在这种情况下，例如待显示在可携录像机，即图像获取/记录装置的显示器上的立体视频流和叠置位图可以在由显示控制单元进行的响应于显示控制模式被处理的同时被显示。此外，具有上述实施例中的显示控制单元的装置为再现设备，但不限于此。替代地，其可以应用到记录/再现设备，和任何具有再现立体视频流的功能的设备。

本发明包含了与2009年07月10日在日本专利局提交的日本专利申请JP 2009-164050中的公开有关的主题，其全部内容通过引用结合到本说明书中。

应该理解，根据设计要求和其他因素，本领域的技术人员应该理解可发生各种修改，组合，部分组合和替代，只要其在所附的权利要求或其等效物的范围内。

Claims (8)

1.一种信息处理装置，包括：

深度信息检测部分，基于表示立体视频数据中的对象在深度方向上的位置的深度信息，在附加信息显示区域中检测所述对象的显示位置在所述深度方向上的位置在最前面时的峰值，其中所述附加信息显示区域是附加信息数据与所述立体视频重叠并显示的区域；及

控制单元，响应于所述立体视频数据和所述附加信息的显示位置关系，控制所述立体视频数据和所述附加信息的显示位置，其中，通过比较所述附加信息的深度信息和所述峰值，来获得所述显示位置关系。

2.如权利要求1所述的信息处理装置，还包括：

超过时间检测单元，检测所述立体视频数据的所述对象显示在所述附加信息前面的超过时间，其中，

所述深度信息检测部分，对于所述立体视频数据的每一基本单元，检测所述对象在所述附加信息显示区域中在所述深度方向上显示在所述附加信息的前面的所述位置作为单元峰值，

将在所述深度方向上的所述附加信息数据的所述位置和所述单元峰值进行比较，以检测在所述附加信息显示区域中所述立体视频数据的所述对象和所述附加信息之间的位置关系；及

当所述超过时间超过第一阈值时间时，所述控制单元在所述附加信息显示区域中将所述立体视频数据的所述对象显示在所述附加信息的后面。

3.如权利要求2所述的信息处理装置，其中，当所述超过时间超过所述第一阈值时间时，所述控制单元为用户提供允许所述用户确定是否应执行所述立体视频数据和所述附加信息数据的显示控制的消息。

4.如权利要求1所述的信息处理装置，其中，所述控制单元以增加的透明度显示所述附加信息数据的背景视频，以使得与所述背景视频重叠的所述立体视频数据的所述对象能够在视觉上识别。

5.如权利要求1-4的任一项所述的信息处理装置，其中，所述附加信息数据在所述深度方向上的所述显示位置是固定位置。

6.如权利要求5所述的信息处理装置，其中，所述立体视频数据和所述附加信息数据以AVCHD格式记录。

7.如权利要求6所述的信息处理装置，其中，所述立体视频数据的每一基本单元的深度信息与有关的每一基本单元的所述立体视频数据一起记录。

8.一种信息处理方法，包括以下步骤：

基于表示立体视频数据中的对象在深度方向上的位置的深度信息，在附加信息显示区域中检测所述对象的显示位置在所述深度方向上的位置在最前面时的峰值，其中所述附加信息显示区域是附加信息数据与所述立体视频重叠并显示的区域；及

响应于所述立体视频数据和所述附加信息的显示位置关系，控制所述立体视频数据和所述附加信息的显示位置，其中，通过比较所述附加信息的深度信息和所述峰值，来获得所述显示位置关系。

Images