CN1778119A - 立体视角用视频提供方法和立体视频显示装置 - Google Patents

Abstract

在发送侧装置(1)中，在将用作立体视角用视频的、视点不同的多个二维视频作为数据发送之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给每一个二维视频的每一个数据的视点号码信息和作为选择一个以上二维视频的信息的视点号码信息。接收侧装置(2)接收多个视频数据和附属信息，例如，在多个视频数据中的一个视频，可以进行缩略图显示等时，进行：从作为进行所述选择的信息的视点号码信息中选择视频数据的处理。

Description

立体视角用视频提供方法和立体视频显示装置

技术领域

本发明涉及立体视角用视频提供方法和立体视频显示装置。

背景技术

作为立体视角技术，以往已经知道：利用视差阻挡层(parallax barrier)的无眼镜立体视角方法、利用偏振光镜或液晶快门眼镜的有眼镜立体视角方法等。另外，对于可以进行立体视角的视频，不仅有实际摄像的视频，还有利用计算机制图(computer graphics)并把配置在假想空间上的目标投影在平面而进行绘图处理的3D绘图的视频。并且，通过在二视点进行所述绘图处理，从而可以制作右眼视频和左眼视频。另外，已经提出：将两个视频作为一个频道的视频来广播，在接收机侧可以进行立体视角的方法(参照特开平10-174064号公报)。如果可以制作由两个以上视频所构成的视频文件，则在打开该文件时就可以生成立体视频。

然而，在上述的以往技术中，在接收侧装置中，不能进行立体视角用视频的制作者侧(提供侧)所希望的处理(不限于立体显示，平面显示等中也是)。

发明内容

本发明鉴于上述的事情，其目的在于，提供一种在接收侧的装置(立体视频显示装置)中能够进行立体视角用视频的制作者侧(提供侧)所希望的处理的立体视角用视频提供方法和立体视频显示装置。

为了解决上述的问题，本发明的立体视角用视频提供方法，其特征在于，在作为数据而提供用作立体视角用视频的、视点不同的多个二维视频之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给各二维视频的每一个数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息；作为选择一个以上二维视频的信息的视点号码信息。

另外，本发明的立体视角用视频提供方法，其特征在于，在作为数据而提供用作立体视角用视频的视点不同的多个二维视频之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给各二维视频的每一个数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息；选择作为两个以上二维视频的信息的视点号码信息；和表示这些的优先顺序的优先顺序信息。

此外，本发明的立体视角用视频提供方法，其特征在于，在作为数据而提供用作立体视角用视频的、视点不同的多个二维视频之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给各二维视频的每一个数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息；按优先顺序排列作为选择两个以上二维视频的信息的视点号码信息而成的信息。

再有，本发明的立体视角用视频提供方法，其特征在于，在作为数据而提供用作立体视角用视频的、视点不同的多个二维视频之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给各二维视频的每一个数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息；作为选择一个以上二维视频的信息的视点号码信息；表示所述多个二维视频是否为具有连续性的视频的信息。

在这些立体视角用视频提供方法中，也可以将以下信息作为附属信息和该二维视频数据一起提供：表示将根据所述选择用信息而选择的二维视频数据作为原来的立体视角用以外的辅助性图像，应该以哪种形态显示的显示形态信息。另外，也可以将表示应该以怎样的目的使用根据所述选择用信息而选择的二维视频数据的使用目的信息，作为附属信息和该二维视频数据一起提供。该情况下，使比特的排列与使用目的内容互相对应，并且使每一个比特的「0」、「1」表示各使用目的的有效/无效。

另外，在这些立体视角用视频提供方法中，也可以将表示作为信息的记述形式采用了哪种记述形式的信息，作为附属信息和该二维视频数据一起提供。利用广播、通信、向记录介质的记录的任一种方法来进行信息的提供。

另外，本发明的立体视频显示装置，是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：从附属于所述二维视频数据的附属信息中取得各二维视频的视点号码信息和作为选择二维视频的信息的视点号码信息的机构；在原来的立体视角用视频处理以外，还执行需要选择一个或多个二维视频数据的处理的情况下，选择由作为所述选择的信息的视点号码信息指定的二维视频数据的机构。

此外，本发明的立体视频显示装置，是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：从附属于所述二维视频数据的附属信息，取得各二维视频的视点号码信息和作为选择两个以上二维视频的信息的视点号码信息的机构；在原来的立体视角用视频处理以外，还执行需要选择规定数的二维视频数据的处理的情况下，按照作为所述选择的信息的视点号码信息的排列顺序来选择该规定数的二维视频数据的机构。

进而，本发明的立体视频显示装置，是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：从附属于所述二维视频数据的附属信息，取得各二维视频的视点号码信息、作为选择两个以上二维视频的信息的视点号码信息、和表示其优先顺序的优先顺序信息的机构；在原来的立体视角用视频处理以外，还执行需要选择规定数的二维视频数据的处理的情况下，按照作为所述选择的信息的视点号码信息和优先顺序信息来选择该规定数的二维视频数据的机构。

另外，本发明的立体视频显示装置，是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：从附属于所述二维视频数据的附属信息，取得各二维视频的视点号码信息、作为选择二维视频的信息的视点号码信息、和表示将通过所述选择用信息而选择的二维视频数据作为原来立体视角用以外的辅助性图像应该以哪种形态显示的显示形态信息的机构；在原来的立体视角用视频处理以外，还执行需要选择一个或多个二维视频数据的处理的情况下，选择由作为所述选择的信息的视点号码信息指定的二维视频数据的机构；根据所述所选择的二维视频数据和所述显示形态信息，进行该显示形态的视频显示的机构。

在这些立体视频显示装置中，所述原来的立体视角用视频处理以外的处理，可以是：为了表示视点不同的多个二维视频数据的内容，而缩小处理一个或多个二维视频数据后显示在画面的处理。另外，也可以是为了打印输出用和/或图像传送用，从视点不同的多个二维视频数据选择一个或多个二维视频数据的处理。

另外，本发明的立体视频显示装置，是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：从附属于所述二维视频数据的附属信息，取得各二维视频的视点号码信息、作为选择二维视频的信息的视点号码信息、和表示应该以怎样的目的来使用通过所述选择的信息而选择的二维视频数据的使用目的信息的机构；在执行所述使用目的相对应的处理的情况下，选择由作为所述选择的信息的视点号码信息所指定的二维视频数据的机构。

此外，本发明的立体视频显示装置，是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：从附属于所述二维视频数据的附属信息，取得各二维视频的视点号码信息、作为选择两个以上二维视频的信息的视点号码信息的机构；在原来的立体视角用视频处理中，选择少于所述多个二维视频数据数的规定数的二维视频数据的情况下，根据作为所述选择的信息的视点号码信息来选择该规定数的二维视频数据的机构。在该构成中，可以是进行立体视角用视频处理，以便所述已经选择的规定数的二维视频中，具有一致于所述视点号码信息的视点号码信息的二维视频成为中央侧。另外，还可以构成为：包括从所述附属信息取得表示所述多个二维视频是否为连续视频的信息的机构；在获得表示所述多个二维视频为连续视频的信息时，允许所述多个二维视频的第一号二维视频和最后的二维视频存在于所述规定数的所选择的二维视频中。另外，还可以包括，从所述附属信息取得表示所述多个二维视频是否为连续视频的信息的机构；在获得表示所述多个二维视频不是连续视频的信息时，在所述规定数的已经被选择的二维视频中存在所述多个二维视频的第一号二维视频和最后的二维视频的情况下，进行选择视频的移位，以便排除第一号的二维视频或最后的二维视频，而选择新形成的一个以上的二维视频。

另外，在这些构成中，还可以构成为：包括从附属信息取得表示作为信息的记述形式而采用哪种记述形式的信息的机构；当取得了所述信息的情况下，根据该信息所表示的记述形式来判断附属信息内容。

附图说明

图1是表示本发明实施方式的立体视角用视频提供方法和立体视频显示装置的说明图。

图2是表示多个视频用格式例的说明图。

图3是表示多个视频用格式例的说明图。

图4是表示多个视频用格式例的说明图。

图5A、5B和5C是分别表示图像排列的值与图像排列之间关系的说明图。

具体实施方式

下面，结合图1至5来说明本发明的立体视角用视频提供方法和立体视频显示装置。

结合图1说明：作为数据发送用作立体视角用视频的、视点不同的多个二维视频的方法。另外，在本图中，表示：由作为广播局或互联网上的服务器等而构成的发送侧装置1、和广播接收装置或具备网络连接环境的个人用计算机或移动电话等接收侧装置2所构成的***。

视点不同的多个二维视频数据，例如，可以通过利用互相之间离开眼睛距离而设置的多个照相机等来摄像被摄像体而获得。另外，对利用多面(polygon)图像的三维视频，通过设定多个视线方向来分别进行平面投影，从而也可以获得视点不同的多个二维视频数据。利用省略图示的编辑装置，对每一个二维视频数据付与视点号码信息。假设在水平方向视点数为M(本实施方式中，M是1以上的正数)、垂直方向视点数为N(本实施方式中，N是1以上的正数)，则视点号码信息可以表示为(m、n)(m是0～M-1的范围、n是0～N-1的范围)。但是，由于M＝1且N＝1是变为一个二维视频数据，所以该情况是不会存在的。在此，M＝8且N＝1的水平8眼视的情况下，给以如(0，0)(1，0)(2，0)(3，0)(4，0)(5，0)(6，0)(7，0)的视点号码信息。

二维视频数据例如可以是JPEG数据。每一个JPEG数据是由JPEG标题、压缩图像数据、图像结束(end of image)所构成。在JPEG标题里，存在图像开始(start of image)或颜色管理信息等附属信息。例如，也可以使各二维视频数据的所述视点号码信息存在于每一个JPEG标题中。为了使视点不同的多个二维视频数据集中为一个，可以附加相对于全体的标题(下面，把此标题叫做文件标题)，该情况下，视点不同的多个二维视频数据可以作为文件标题、接续于它的多个JPEG数据和表示其全体结束的文件结束信息。不让存在相对于全体的标题的情况下(结合图像的情况下)，视点号码等信息存储在JPEG的标题内(应用标记/IFD)。

在文件标题中，如下所述，设定有识别号码i、组大小s、个数k、水平视点号码m、垂直视点号码n等。

[表1]

要素	大小	有效值	单位
				识别号码i组大小s个数k水平视点号码m垂直视点号码n	1字节1字节2字节1字节1字节	0～255210～M-10～N-1	字节个

识别号码i是表示信息的种类的记述，表示该号码以后的记述为与图像指定有关的记述。水平视点号码m和垂直视点号码n分别用1字节来记述，作为特定一个图像的信息(1组)需要有2字节，所以，在此例中，组大小s变为2字节。并且，在上述的例子中，因为组数为一个，故个数k变为表示一个。由于这样的记述，即使在个数k可变的情况下，也可以运算出字段全体的大小。在上述的例子中，字段全体的大小被运算为4+sk＝6。4是合计了i、s、k的大小1、1、2的数，sk表示(m、n)群的大小。另外，个数k变为0时，例如被定义为「无指定图像」。

如图2所示，在上述的例子中，作为文件标题内的附属信息，设定了作为选择一个二维视频信息的视点号码信息。在图2所示的例子中，表示M＝8且N＝1的水平8眼视的情况，在每一个二维视频数据中，被付与了如(0，0)(1，0)(2，0)(3，0)(4，0)(5，0)(6，0)(7，0)所示的视点号码信息，并且，作为选择二维视频数据的信息的视点号码信息是(3，0)。

由于这样的方法，从而在作为数据发送用作立体视角用视频的、视点不同的多个二维视频之际，将以下信息作为附属信息和该二维视频数据一起发送：付与各二维视频的每一个数据的视点号码信息和作为选择一个二维视频的信息的视点号码信息。集中在一起的、视点不同的多个二维视频数据在被发送等时，变为一维比特列，实施规定的数字调制处理之后从发送侧装置1输出。另外，不限于发送，也可以是广播，另外即使在记录到省略图示的记录介质时，也可以以图2所示的格式来记录二维视频数据。即使在下面所示的情况下也是同样的。

可以具有多个作为选择二维视频的信息的视点号码信息的情况如下。并且，在下面的例子中，从上开始按照(m0，n0)、(m1，n1)......(mk-1，nk-1)的顺序，定义为优先顺序高的图像。字段全体的大小是4+sk＝4+2k。

[表2]

要素	大小	有效值	单位
				识别号码i组大小s个数k水平视点号码m垂直视点号码n水平视点号码m1垂直视点号码n1··水平视点号码mk-1	1字节1字节2字节1字节1字节1字节1字节1字节	0～25520～M×N0～M-10～N-10～M-10～N-10～M-1	字节个

垂直视点号码nk-1

1字节

0～N-1

在上述的例子中，如图3所示，作为文件标题内的附属信息，设定了按照优先顺序排列作为选择两个以上二维视频的信息的视点号码信息而成的信息。并且，在图3所示的例子中，作为选择二维视频的信息的视点号码信息被设为(3，0)和(4，0)，由于先记述(3，0)，其后记述(4，0)，所以优先顺序是(3，0)为第一位，(4，0)为第二位。由此，在作为数据提供用作立体视角用视频的、视点不同的多个二维视频之际，将以下信息作为附属信息和该二维视频数据一起提供：付与给每一个二维视频的数据的视点号码信息和按照优先顺序排列作为选择两个以上二维视频的信息的视点号码信息而成的信息。

另外，在图3所示的例子中，作为附属信息设定有显示方法A。显示方法在本实施方式中设为原来的立体视角用以外的显示(例如，表示缩略图显示(thumbnail display)或图符显示(icon display)或壁纸视频显示等。这种显示叫做辅助性图像显示)。如下面的表3所示，显示方法A可能取得的值是在本实施方式中为0、1、2、3。另外，表示信息种类的识别号码I中记述有：表示「在下面记述了表示文件内容的图像的显示方法」的号码。在字段里记述显示方法。

[表3]

要素	大小	有效值
			识别号码i显示方法A值a0123	1字节1字节所表示的意思平面图像交叉法配置平行法配置变换为显示格式	0～2550～3

「0」表示显示方法为平面图像显示；「1」表示辅助性图像显示为交叉法配置显示(是简易立体视角用显示的一种)；「2」表示辅助性图像显示为平行法配置显示(是简易立体视角用显示的一种)；「3」表示辅助性图像显示为变换为显示格式的显示。

在「平面图像显示」中，变为：在接收侧装置2中表示选择一个二维视频数据(图3所示的例子中是选择第一优先的(3，0)的图像)并进行图像显示。

在「平行法配置显示」中，变为：在接收侧装置2中表示进行(3，0)图像和(4，0)图像的缩小图像处理，把(3，0)图像配置在左侧，把(4，0)图像配置在右侧。在「交叉法配置显示」中，变为：在接收侧装置2中表示进行(3，0)图像和(4，0)图像的缩小图像处理，把(4，0)图像配置在左侧，把(3，0)图像配置在右侧。

在「变换为显示格式的显示」中，变为：在接收侧装置2中表示，例如在接收侧装置2采用了纵向带状的视差阻挡层的情况下，向水平方向一个像素一个像素交替配置了各自被缩小的(3，0)的图像和(4，0)的图像。

另外，在上述的优先顺序设定中，视点号码信息的排列顺序表示优先顺序，但也可以是与排列无关，对每一个视点号码信息付与优先号码。例如，象2(3，0)、1(4，0)这样。

另外，这种附属信息为：在接收侧装置2中，在所接收的视频数和接收侧装置2的显示(以后说明接收侧装置2的构成)的视点数不一致的情况下，例如，从水平8(0～7)×垂直1(0)视点的图像，选择4视点的图像，而利用4眼式立体显示器来进行立体显示之际，知道哪一个视点成为基准的信息。

在文件标题中，如果指定有水平视点号码m为「3」且垂直视点号码n为「0」的图像即视点号码为(3，0)的图像，则在接收侧装置2中只要选择水平视点号码为(2，0)(3，0)(4，0)(5，0)就可以。在此，被指定的视点图像优选配置在接近四个视点的中央位置。即，在接收侧装置2中，在显示的视点数为L的情况下，一指定图像配置在第L/2的方式来进行选择。在视点数为奇数的情况下，决定四舍五入L/2的小数点以下的处理就可以。另外，也可以使文件标题具有：表示选择四舍或五入的哪一个的信息。

并且，如上所述，不限于被指定的视点图像配置在接近中央的位置，也可以考虑如下的指定方法。

例1.全指定

如果是2视点方式显示器的情况，则在发送侧指定两个视点号码(例如是(2，0)和(5，0))的方式。

如果是3视点方式显示器的情况，则在发送侧指定三个视点号码(例如是(1，0)、(3，0)和(5，0))的方式。

如果是4视点方式显示器的情况，则在发送侧指定四个视点号码(例如是(0，0)、(2，0)、(4，0)和(6，0))的方式。

例2.条件指定1(按条件类别来指定必须包含的视点)

在显示器的眼数为偶数的情况下，作为必须包含视点号码(2，0)和(3，0)的视点来指定的方式(其以外是选择任意的视点)。

在显示器的眼数为奇数的情况下，作为必须包含视点号码(3，0)的视点来指定的方式(其以外是选择任意的视点)。

例3.指定条件2(指定必须包含的视点、且指定如下的选择条件)

显示器的视点数为不足某数的情况下，每隔2个选择图像。

显示器的视点数为某数以上的情况下，每隔1个选择图像。

如果已经指定了水平视点号码m为「0」且垂直视点号码n为「0」的图像即指定视点号码(0，0)的图像，则虽然能够选择(7，0)(0，0)(1，0)(2，0)的图像，但在视点7和视点0有可能不连续的情况下，选择(1，0)(2，0)(3，0)(4，0)即可。即，从L/2的结果变为(-，0)(0，0)(1，0)(2，0)，而产生图像不存在的视点，所以向左移位来选择(1，0)(2，0)(3，0)(4，0)。一般在全周图像中，存在：最后的视点和最初的视点连续的可能性。

显示分散图像的情况也同样。例如，如果已经指定了水平视点号码m为「3」且垂直视点号码n为「0」的图像即指定了视点号码(3，0)的图像，则选择(1，0)(3，0)(5，0)(7，0)的图像。然而，若在图像的视点数为7(0～6)×1(0)且显示器为4眼式的情况下已经指定视点号码(3，0)的图像，则变为(1，0)(3，0)(5，0)(-，0)，而不存在第四号图像。该情况下，由于只存在叫做(0，2，4，6)的选择，所以，在接收侧装置2中忽略用于上述图像选择的信息就可以。

指定有多个图像的情况下，也可以按照其优先顺序来决定显示。例如，如果已经指定了视点号码(3，0)和视点号码(2，0)，则选择(1，0)(2，0)(3，0)(4，0)的图像而进行显示也可以，以便将这两枚图像配置在中央处。

如上所述，发送侧装置1在将以下信息作为附属信息和该二维视频数据一起提供：表示作为从多个二维视频选择几个二维视频的基准号码用的信息的视点号码信息的情况下，也可以将表示所述多个二维图像是否为具有连续性的图像的信息作为附属信息和该二维视频数据一起提供。

如果提供了表示连续性的信息(表示是否为全周图像、即两端图像的视点是否连续的信息)，则在接收此信息的接收侧装置2中，可以进行：是否允许选择上述(7，0)(0，0)(1，0)(2，0)图像的判定。在下述的例子中，变为：在作为表示信息种类的识别号码I中记述表示「在下面记述两端图像的连续性的有无」的号码。在表示连续性状态的字段r中记述是否连续。

[表4]

要素	大小	有效值
			识别号码i连续性r值r01	1字节1字节所表示的意思不连续连续	0～2550～1

如果为视点(0，0)和视点(7，0)连续的情况(r＝1)，则在接收侧装置2中选择(7，0)(0，0)(1，0)(2，0)的图像；如果为不连续的视点(r＝0)，则不进行上述选择而如上所述，进行向左移位的处理，选择(1，0)(2，0)(3，0)(4，0)的图像。另外，即使在垂直方向的视点数大于2的情况下，若将垂直方向的视点号码设为j，则也可以作为表示视点(0，j)和视点(7，j)是否连续的信息。

在以上所说明的例子中，发送侧装置1并没有发送：表示应该以怎样的目来使用通过进行所述选择用的信息而选择的二维视频数据的使用目的信息。发送侧装置1也可以将表示应该以怎样的目的来使用通过进行所述选择用的信息而选择的二维视频数据的使用目的信息，作为附属信息和该二维视频数据一起提供。该情况下，也可以使比特的排列和使用目的的内容相对应，每一个比特的「0」「1」表示每一个使用目的的有效/无效。

下面的表5中表示具体例子。目的指定b是对每一个比特(比特0、比特1、......比特7)加以对应其用途，表示：每一个是否为使用目的。

[表5]

目的指定b	1字节     00000000～11111111(二进制)
		b比特0b比特1b比特2b比特3··b比特6b比特3值b比特0～b比特701	从多视点选择一部分表示文件的内容平面图像显示稠密调整时的固定图像预约其他用途所表示的意思不是使用目的(无效)是使用目的(有效)

下面叙述的表6中表示具体例子。另外，将表示进行图像选择的记述的识别号码暂时设为2E(00101110)。在下面的例子中，「从多视点图像选择一部分的图像」和「表示文件内容的图像」成为相同的图像。并且，第一优先为(3，0)且第二优先为(2，0)。另外，「稠密调整时的固定图像的图像」作为(2，0)而单独指定。但是，如此例所示，通常表示相同信息的字段不会多次呈现，所以在表6中所示的例子中，「图像选择」的情况作为特例，将识别号码和目的指定合二为一，表示信息的种类。

[表6]

要素	值
		识别号码目的指定组大小个数水平视点号码m0垂直视点号码n0水平视点号码m1垂直视点号码n1要素识别号码目的指定组大小个数水平视点号码m0垂直视点号码n0	00101110(2E)00000011223020值00101110(2E)000000112120

在下面的表7中所表示的例子中，把目的指定共同利用于所有的选择视频。省略了组大小以下。另外，表7里所表示的「目的指定」中，b比特7也是1，所以例如可以完全与用途无关地定义为称作选择图像的指定。

[表7]

要素	值
		识别号码目的指定··	00101110(2E)11111111

也可以用其他记述形式来实现表6的内容。在下面的表8表示的例子中，缉拿个目的指定和视点号码作为组，进行使用目的的使用分类。和表6相同的指定可以如表9那样来进行。

[表8]

要素	大小	有效值	单位
				识别号码i组大小s个数k水平视点号码m0垂直视点号码n0目的指定b0水平视点号码m1垂直视点号码n1目的指定b1：水平视点号码mk-1垂直视点号码nk-1目的指定bk-1	1字节1字节2字节1字节1字节1字节1字节1字节1字节1字节1字节1字节	0～25530～M×N0～M-10～N-100000000～111111110～M-10～N-100000000～111111110～M-10～N-100000000～11111111	字节个

[表9]

要素	值
		识别号码组大小个数水平视点号码m0垂直视点号码n0目的指定b0水平视点号码m1垂直视点号码n1目的指定b1水平视点号码m2	00101110(2E)33300000001120000000112

垂直视点号码n2目的指定b3

000001000

在表9的例子中，根据第一组和第二组的记述，特定称作「从多视点选择一部分图像」和「表示文件内容的图像」的目的，并且根据第一组的记述，特定第一优先图像为(3，0)；根据第二组的记述，特定第二优先图像为(2，0)。在此，由于作为第三组记述的「稠密调整时的固定图像的图像」所特定的图像是和「从多视点选择一部分图像」及「表示文件内容的图像」的第二优先图像相同的(2，0)，也可以如下面的表10所示地记述。

[表10]

要素	值
		识别号码组大小个数水平视点号码m0垂直视点号码n0目的指定b0水平视点号码m1垂直视点号码n1目的指定b1	00101110(2E)3230000000112000000011

这样，通过附加目的指定，从而在接收侧装置2侧可以知道：附加信息的作者(writer)侧打算什么而选择图像的。

虽然采用表6、表9和表10所示的记述的哪一个都可以，但为了使之具有选择的自由度，也可以设为使文件标题具有表示是哪一个记述(是表6形式的记述还是表9形式的记述还是表10形式的记述)的记述c的格式。

在以上所说明的例子中，虽然把垂直视点数设为1，但是在大于2的值的情况下，也包含垂直方向来选择图像。其方法和水平方向同样。

另外，选择图像的决定方法，考虑：(1)接近正面的图像、(2)针对利用2D/3D转换而生成的图像成为基准的图像、(3)用多个照相机摄影的情况下成为基准的图像(特别是照相机的视点间存在性能差的情况下有效)等。

[接收侧装置]

接收侧装置2用接收部21(调制解调器、调谐器等)接收从发送侧装置1发送来的、集中一起的视点不同的多个二维视频数据(一维比特列信息)。如果该数据已经进行了数字调制处理，则在省略图示的解调电路中生成解调信号。另外，在该信息和其他信息多重化后发送时，进行多路分解(DEMUX)处理。所接收的二维视频数据(例如，所述的文件标题、每一个JPEG数据、图像结束)通过CPU22的控制而存储在存储器24中。在视频再生时，将利用CPU22的处理而从存储器24读出的数据提供给译码器23。由译码器23译码的视频数据被提供给视频生成部25。

在立体视角处理时，作为控制信息，将表示立体视角的控制信息从CPU22提供给视频生成部25。视频生成部25从译码部23接收多个视频(在图中是右眼视频和左眼视频)，进行立体视角用视频的生成处理。例如，在设为利用视差阻挡器的水平立体视角时，视频生成部25在每一个行中进行：在水平方向交替排列右眼视频(R)的像素和左眼视频(L)像素的处理，把R像素列和L像素列在水平方向交替排列的图像变换为比如NTSC信号，并提供给监视器26。监视器26根据所接收的NTSC信号进行视频显示。并且，例如通过使监视器26的显示面上具备液晶阻挡层，从而可以进行平面视角视频的显示和立体视角视频的显示的两种显示。

如上所述，如果立体视角视频是将右眼视频和左眼视频交替配置为纵向带状的视频，则通过CPU22的控制，在上述的液晶阻挡层中形成纵向带状的遮光区域。另外，不限于将右眼视频和左眼视频交替配置为纵向带状的立体视角视频，例如，也可以是以倾斜配置来配置右眼视频和左眼视频的立体视角视频(参照特许第3096613号公报)，该情况下，在液晶阻挡层中形成倾斜阻挡层。当然，除了这样的无眼镜的立体方式以外，也可以采用有眼镜的立体方式等立体视频显示。

接收侧装置2的CPU22根据上述附属信息，使视频生成部25执行视频生成处理。下面，说明该视频生成处理。

(1)CPU22从附属于二维视频数据的附属信息中取得付与给每一个二维视频数据的视点号码信息和作为选择二维视频的信息的视点号码信息。例如，从作为二维视频数据的JPEG数据的JPEG标题，按每一个数据取得视点号码信息(m、n)。并且，从文件标题取得作为选择二维视频的信息的视点号码信息(m、n)。

然后，CPU22在除了原来的立体视角用视频处理以外，还要求有必要选择一个或多个二维视频数据的处理的情况下，选择由作为进行所述选择的信息的视点号码信息所指定的二维视频数据。即，CPU22为了读出由作为选择信息的视点号码信息所指定的二维视频数据，向存储器24提供读出地址之后，取得该被选择的二维视频数据并提供给译码部23，同时向视频生成部25提供所述被要求的处理相对应的控制信息。

作为所述被要求的处理，有：表示集中在一起的、视点不同的多个二维视频数据(文件)的缩略图显示或图符显示等。在发送所述使用目的的例子中表示的目的内容也成为：接收侧装置2中的独自被要求的处理的内容。另外，作为被要求的处理，有：将集中在一起的、视点不同的多个二维视频数据中的一个二维视频数据设为壁纸视频的处理、设为打印输出视频的处理、和设为发送(例如，电子邮件发送)视频的处理等。

CPU22把表示每一个处理的控制信息提供给视频生成部25。视频生成部25在设为壁纸视频的处理的情况下，对从译码器23提供的视频数据进行处理(像素内插、像素剪切等)之后提供给监视器26，以便成为对应于监视器26画面尺寸的大小。视频生成部25在设为打印输出处理的情况下，对从译码器23提供的视频数据进行处理之后提供给打印机(省略图示)以便成为对应于输出视频尺寸的大小。只要用规定的接口(例如，USB接口或IEEE1394等)来连接打印机和接收侧视频显示装置就可以。另外，视频生成部25在设为图像发送处理的情况下，对从译码器23提供的视频数据进行处理之后提供给图像发送处理部(省略图示)，以便成为对应于输出视频尺寸的大小。

(2)CPU22在文件标题的内容例如是表2所示的记述时，根据组的排列顺序，来判断在每一个组中所特定的图像的优先顺序。并且，在是表示不同于排列顺序的优先顺序信息被付与给每一个图像的记述的情况下，根据该顺序信息来判断图像的优先顺序。

(3)作为文件标题内的附属信息，CPU22取得显示方法a。下面，说明：对应于表3中所示例子的处理例。CPU22在文件标题内记述的显示方法A为表示「平面图像显示」的情况下，按照文件标题内的记述，选择第一优先的(3，0)图像。即，从存储器24读出该数据，提供给译码部23的同时，向视频生成部25提供表示是「平面图像显示」的控制信息。视频生成部25把从译码部23接收的图像例如在VRAM上展开。变为：在监视器26的规定画面位置上显示图像(壁纸等)。

CPU22在文件标题内记述的显示方法A为表示「平行法配置显示」的情况下，选择(3，0)图像和(4，0)图像。即，从存储器24读出该数据之后提供给译码部23，同时向视频生成部25提供表示是「平行法配置显示」的控制信息。视频生成部25对从译码部23接收的图像进行剪切处理，例如在VRAM的规定位置上展开(3，0)图像的缩小图像，在其右侧位置展开(4，0)图像的缩小图像。变为：在监视器26的规定画面位置上左右并列显示所述两个缩小图像。

CPU22在文件标题内记述的显示方法A为表示「交叉法配置显示」的情况下，选择(3，0)图像和(4，0)图像。即，在从存储器24读出该数据之后提供给译码部23的同时，向视频生成部25提供表示「交叉法配置显示」的控制信息。视频生成部25对从译码部23接收的图像进行剪切处理，例如在VRAM的规定位置上展开(4，0)图像的缩小图像，在其右侧位置上展开(3，0)图像的缩小图像。变为：在监视器26的规定画面位置上左右并列显示所述两个缩小图像。

CPU22在文件标题内记述的显示方法A为表示「变换为显示格式的显示」的情况下，选择(3，0)图像和(4，0)图像。即，从存储器24读出该数据之后提供给译码部23，同时向视频生成部25提供表示「变换为显示格式的显示」的控制信息，接通监视器上的液晶阻挡层。视频生成部25对从译码部23接收的图像进行剪切处理，在VRAM的规定位置上展开：把分别被缩小后的(3，0)图像和(4，0)图像沿水平方向一个像素一个像素地交替配置的图像。

(4)接收侧装置2，例如可以进行基于8个图像的8眼视视频的显示处理，但也可以按照用户的指定，选择4个图像而进行4眼视视频的显示处理。或者，虽然接收侧装置2最大为4眼式，可是可能引起所接收的再生用图像为8眼式视频的情况。

例如，CPU22在从8视点的图像中选择4视点的图像而用4眼式来立体显示之际，根据文件标题的记述，判断哪一个视点成为基准。并且，CPU22在视点数为L的情况下，进行L/2的运算处理。如果视点数为4，则获得2的结果。如果指定水平视点号码m为「3」且垂直视点号码n为「0」的图像、即视点号码(3，0)的图像，则CPU22为了使视点号码(3，0)的图像位于第二(尽量中央)位置，而选择水平视点号码为(2，0)(3，0)(4，0)(5，0)的图像。

在此，在进行4眼式立体显示时，在适当视角的距离上，4个视点图像的视角认识范围变为：例如在水平方向上以眼间距离的节距存在。于是，在观察者位于监视器中央位置时，向左眼引入(3，0)图像，向右眼引入(4，0)图像。在视点数为奇数的情况下，CPU22进行四舍五入L/2的小数点以下等的规定处理。

(5)如果指定水平视点号码m为「0」且垂直视点号码n为「0」的图像，即视点号码(0，0)的图像，则CPU22选择水平视点号码为(7，0)(0，0)(1，0)(2，0)的图像。或者，CPU22进行把视点号码向左移位的处理，而选择(1，0)(2，0)(3，0)(4，0)的图像。也就是说，因为L/2的运算结果变为(-，0)(0，0)(1，0)(2，0)，产生不存在图像的视点，所以向左移位而选择(1，0)(2，0)(3，0)(4，0)的图像。显示分散图像的情况也同样。

例如，如果已经指定水平视点号码m为「3」且垂直视点号码n为「0」的图像、即视点号码(3，0)的图像，则CPU22选择水平视点号码为(1，0)(3，0)(5，0)(7，0)的图像。然而，在图像的视点数为7(0～6)×1(0)且显示器为4眼式的情况下，如果已经指定了视点号码(3，0)的图像，则所述L/2的运算结果变为(1，0)(3，0)(5，0)(-，0)，而不存在第四图像。该情况下，因为只存在(0，0)(2，0)(4，0)(6，0)的选择，CPU22执行该选择，进行忽略上述图像选择用的信息的处理。

另外，CPU22在已经指定多个图像的情况下，按照其优先顺序可以决定显示。也可以是，例如，如果已经指定视点号码(3，0)和视点号码(2，0)的图像，则以将这两枚图像被配置在中央的方式来进行选择(1，0)(2，0)(3，0)(4，0)图像的处理。

(6)在文件标题内存在表示连续性的记述时，CPU22进行如下的处理。在表示连续性的信息可以检测出的情况下，CPU22选择(7，0)(0，0)(1，0)(2，0)的图像。即，如果为视点(0，0)和视点(7，0)连续的情况下(r＝1)，则CPU22选择(7，0)(0，0)(1，0)(2，0)的图像，如果是不连续的视点(r＝0)，则不进行上述选择，而如上所述，进行向左移位的处理，选择(1，0)(2，0)(3，0)(4，0)的图像。

(7)在文件标题内存在表示使用目的的记述时，CPU22进行如下的处理。在下面所示的例子中，假设文件标题内的记述如表6所示。CPU22在从8视点视频选择4视点视频的处理时(从多视点选择一部分)，检测文件标题内的目的指定b的比特b0是否为「1」(有效)。在为有效时，选择对应目的指定b所记述的视点号码的图像。在不是有效时，例如选择接收侧装置2中预先用默认值(default)来决定的图像。

CPU22在进行表示文件内容的处理(缩略图等的显示处理)时，检测文件标题内的目的指定b的比特b1是否为「1」(有效)。在为有效时，选择对应目的指定b所记述的视点号码的图像。在不是有效时，例如选择接收侧装置2中预先用默认值来决定的图像。

CPU22在进行平面图像显示(壁纸视频显示等)的处理时，检测文件标题内的目的指定b的比特b2是否为「1」(有效)。在为有效时，选择对应目的指定b所记述的视点号码的图像。在不是有效时，例如选择接收侧装置2中预先用默认值来决定的图像。

CPU22在进行稠密调整时的图像挪动处理时，检测文件标题内的目的指定b的比特b3是否为「1」(有效)。在为有效时，选择对应目的指定b所记述的视点号码的图像。在不是有效时，例如选择接收侧装置2中预先用默认值来决定的图像。

另外，在立体显示中，在左右相互挪动图像而显示之际，稠密调整时的图像挪动处理的指定图像作为固定侧的图像。如果左右互相挪动每一个图像，则变更照相机稠密距离的修正成为可能，图像全体前后移动。在这样的处理中，如果决定不挪动位置而固定的图像，则处理是容易的。CPU22进行：作为所述固定图像采用所述指定图像的处理。

(8)在文件标题内存在其表示哪一个记述(是表6形式的记述还是表9形式的记述还是表10形式的记述)的记述c时，CPU22按照该记述c进行：以后的记述是哪一个记述(是表6形式的记述还是表9形式的记述还是表10形式的记述)的解释处理。

(9)也可以构成为：在接收侧装置2中内置或用规定的接口连接省略图示的记录介质再生部(例如，CD-ROM驱动器、DVD播放器)。并且，也可以是：从记录介质再生的文件为包含上述多个二维视频数据的文件时，利用和上述的处理同样的处理来进行图像再生。

包含于文件的多个图像并不只是以在文件内分离的情况作为对象的。多个图像也包含结合成为一枚的情况。即，多个二维视频数据可以是按照所决定的规则结合而变为一个二维图像。该情况下，在接收侧，由于从图像的大小和视点数信息可以特定每一个视点的二维图像，所以即使实际上没有对每一个图像付与视点号码，在接收侧也可以取得视点号码。下面，叙述具体的例子。

在图4中，表示：在横向的1枚图像中存在8枚份的图像的情况。即，结合8枚的图像而作为横向的1枚图像。在该横向的1枚图像的标题内，附加有水平像素数、垂直像素数、水平视点数、垂直视点数、图像排列的等附属信息。接收侧装置2不是从发送侧直接取得每一个图像的视点号码，而是如下所述，根据上述附属信息切出每一个图像的同时，判定该已经切出的图像与视点号码的对应关系。

水平像素数            8192/8＝1024

垂直像素数            768/1＝768

开始X坐标             1024×q

开始Y坐标             768×r

结束X坐标             1024×(q+1)-1

结束Y坐标             768×(r+1)-1

接收侧装置2根据上述附属信息，判断每一个图像的大小是水平像素数为1024、垂直像素数为768。并且，在图4所示的例子中，「图像排列」的值为「0」。「0」表示正向顺序。因此，接收侧装置2，例如针对视点号码(3，0)的图像，通过设为q＝3、r＝0，将开始X坐标设为3072、开始Y坐标设为0、结束X坐标设为4095、结束Y坐标设为767后切出，从而可以获得。另外，如图5A所示，在「图像排列」的值为「1」时，是作为反向顺序，该情况下，变为：判断第三被切出的图像的视点号码是(5，0)。另外，如图5B所示，在「图像排列」的值为「2」时，表示是上下排列；如图5C所示，在值为「3」时，表示其排列为(4，0)(7，0)(6，0)(5，0)(3，0)(2，0)(1，0)(0，0)、且表示前头图像为指定图像；接收侧装置2根据「图像排列」的值和图像切出的信息，取得每一个被切出图像的视点号码信息。

如上所说明的，根据本发明，可以获得：在接收侧的装置(立体视频显示装置)中，可以进行立体视角用视频的制作者侧(提供侧)所希望的处理的效果。

Claims (21)

1、一种立体视角用视频提供方法，其特征在于，

在将用作立体视角用视频的、视点不同的多个二维视频作为数据提供之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给每一个二维视频的数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息、作为选择一个以上二维视频的信息的视点号码信息。

2、一种立体视角用视频提供方法，其特征在于，

在将用作立体视角用视频的、视点不同的多个二维视频作为数据提供之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给每一个二维视频的每一个数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息、作为选择两个以上二维视频的信息的视点号码信息、表示这些的优先顺序的优先顺序信息。

3、一种立体视角用视频提供方法，其特征在于，

在将用作立体视角用视频的、视点不同的多个二维视频作为数据提供之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给每一个二维视频的每一个数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息、按优先顺序排列作为选择两个以上二维视频的信息的视点号码信息所构成的信息。

4、一种立体视角用视频提供方法，其特征在于，

在将用作立体视角用视频的、视点不同的多个二维视频作为数据提供之际，将以下信息作为附属信息和该二维视频的数据一起提供：付与给每一个二维视频的每一个数据的视点号码信息或在接收侧通过运算来取得视频数据的每一个二维视频区域的视点号码信息用的信息、作为选择一个以上二维视频的信息的视点号码信息、表示所述多个二维视频是否为具有连续性的视频的信息。

5、根据权利要求1至4中任一项所述的立体视角用视频提供方法，其特征在于，将以下信息作为附属信息和该二维视频数据一起提供：表示将根据进行所述选择用的信息所选择的二维视频数据作为原来的立体视角用以外的辅助性图像而应该以哪种形态来显示的显示形态信息。

6、根据权利要求1至5中任一项所述的立体视角用视频提供方法，其特征在于，将表示应该以怎样的目的使用通过进行所述选择用的信息所选择的二维视频数据的使用目的信息，作为附属信息和该二维视频数据一起提供。

7、根据权利要求6所述的立体视角用视频提供方法，其特征在于，使比特的排列与使用目的内容互相对应，并且使每一个比特的「0」、「1」意味着使用目的的有效/无效。

8、根据权利要求1至7中任一项所述的立体视角用视频提供方法，其特征在于，将表示作为信息的记述形式采用了哪种记述形式的信息，作为附属信息和该二维视频数据一起提供。

9、根据权利要求1至8中任一项所述的立体视角用视频提供方法，其特征在于，利用广播、通信、向记录介质的记录的任一种方法来进行信息的提供。

10、一种立体视频显示装置，其是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：

从附属于所述二维视频数据的附属信息中，取得每一个二维视频的视点号码信息和作为选择二维视频的信息的视点号码信息的机构；

在除原来的立体视角用视频处理以外，还执行需要选择一个或多个二维视频数据的处理的情况下，选择由作为进行所述选择用的信息的视点号码信息而指定的二维视频数据的机构。

11、一种立体视频显示装置，其是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：

从附属于所述二维视频数据的附属信息中，取得每一个二维视频的视点号码信息和作为选择二维视频的信息的视点号码信息的机构；

除了原来的立体视角用视频处理以外，还执行有必要选择规定数的二维视频数据的处理的情况下，按照作为进行所述选择的信息的视点号码信息的排列顺序来选择该规定数的二维视频数据的机构。

12、一种立体视频显示装置，其是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：

从附属于所述二维视频数据的附属信息中，取得每一个二维视频的视点号码信息、作为选择两个以上二维视频的信息的视点号码信息、和表示其优先顺序的优先顺序信息的机构；

除了原来的立体视角用视频处理以外，还执行有必要选择规定数的二维视频数据的处理的情况下，利用作为进行所述选择的信息的视点号码信息和优先顺序信息来选择该规定数的二维视频数据的机构。

13、一种立体视频显示装置，其是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：

从附属于所述二维视频数据的附属信息中，取得每一个二维视频的视点号码信息、作为选择二维视频的信息的视点号码信息、和表示将根据进行所述选择用的信息选择的二维视频数据作为原来的立体视角用以外的辅助性图像而应该以哪种形态来显示的显示形态信息的机构；

除了原来的立体视角用视频处理以外，还执行有必要选择一个或多个二维视频数据的处理的情况下，选择由作为进行所述选择的信息的视点号码信息而指定的二维视频数据的机构；

根据所述所选择的二维视频数据和所述显示形态信息，进行该显示形态的视频显示的机构。

14、根据权利要求10至13中任一项所述的立体视频显示装置，其特征在于，所述原来的立体视角用视频处理以外的处理是：为了表示视点不同的多个二维视频数据的内容，缩小处理一个或多个二维视频数据后显示在画面上的处理。

15、根据权利要求10至13中任一项所述的立体视频显示装置，其特征在于，所述原来的立体视角用视频处理以外的处理是：为了打印输出用和/或图像传送用，从视点不同的多个二维视频数据中选择一个或多个二维视频数据的处理。

16、一种立体视频显示装置，其是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：

从附属于所述二维视频数据的附属信息中，取得每一个二维视频的视点号码信息、作为选择二维视频的信息的视点号码信息、和表示应该以怎样的目的使用根据进行所述选择用的信息而选择的二维视频数据的使用目的信息的机构；

在执行所述使用目的相对应的处理的情况下，选择由作为进行所述选择的信息的视点号码信息指定的二维视频数据的机构。

17、一种立体视频显示装置，其是根据视点不同的多个二维视频数据来生成立体视角用视频的立体视频显示装置，其特征在于，包括：

从附属于所述二维视频数据的附属信息中，取得每一个二维视频的视点号码信息、作为选择两个以上二维视频的信息的视点号码信息的机构；

在原来的立体视角用视频处理中，选择了少于所述多个二维视频数据的规定数的二维视频数据的情况下，根据作为进行所述选择的信息的视点号码信息来选择该规定数的二维视频数据的机构。

18、根据权利要求17所述的立体视频显示装置，其特征在于，进行立体视角用视频处理，以便所述已经选择的规定数的二维视频中，具有一致于作为进行所述选择的信息的视点号码信息的二维视频成为中央侧。

19、根据权利要求17或18所述的立体视频显示装置，其特征在于，构成为：

还包括从所述附属信息中取得表示所述多个的二维视频是否为连续视频的信息的机构；

在获得表示所述多个二维视频为连续视频的信息时，在所述规定数的已经被选择的二维视频中，允许存在所述多个二维视频的第一号二维视频和最后号码的二维视频。

20、根据权利要求17或18所述的立体视频显示装置，其特征在于，构成为：

还包括从所述附属细腻取得表示所述多个的二维视频是否为连续视频的信息的机构；

在获得表示所述多个二维视频不是连续视频的信息时，在所述规定数的已经被选择的二维视频中，存在所述多个二维视频的第一号二维视频和最后号码的二维视频的情况下，进行选择视频的移位以便排除第一号的二维视频或最后号码的二维视频，并选择新形成的一个以上的二维视频。

21、根据权利要求17至20中任一项所述的立体视频显示装置，其特征在于，构成为：

还包括从附属信息中取得表示作为信息的记述形式采用了哪种记述形式的信息的机构；

在取得了所述信息的情况下，根据该信息所表示的记述形式来判断附属信息内容。

Images