CN102113324B - 视频编码装置、视频编码方法、视频再现装置、视频再现方法 - Google Patents

Abstract

在显示左右两眼用各自不同的视频来使立体视频视觉化的方式中，生成左眼用的副图像数据(GRD)，作为左眼用副图像，直接重叠显示在左眼用视频(VDD)上。重叠显示在右眼用视频上的右眼用副图像(106)通过使显示已生成的左眼用的副图像数据的水平位置移动预定宽度进行显示。例如，副图像能构成为包含多个对象(GRD-1、GRD-2、...GRD-N)，针对对象左右两端在显示画面上的水平位置，分别设定进行右眼用显示时的移动宽度(108、110)并将其保持在副图像数据(GRD)中。能对重叠在立体视频上的副图像进行深度方向的表现，而且可削减该副图像的数据量和用于显示的运算量。

Description

视频编码装置、视频编码方法、视频再现装置、视频再现方法

技术领域

本发明涉及显示立体视频的视频再现装置和方法以及生成立体视频的视频编码装置和编码方法，并且涉及保持视频编码数据的视频记录介质和视频数据流。 

背景技术

显示立体视频(三维视频)的视频再现装置有几种方式已得到实用化。最普遍的方式是这样的方式：显示左右两眼用各自不同的视频而用各个眼睛观察，通过对该左右两眼用的视频赋予与人观察实际立体时同等的视差来使立体视频视觉化。[0003] 在立体显示实拍视频时，在摄影时使用2台摄像机，使用在水平方向上隔开与两眼间隔相当的距离而配置的摄像机同时拍摄。然后当再现时，显示成在左眼仅看到由左眼用的摄像机拍摄到的视频，在右眼仅看到由右眼用的摄像机拍摄到的视频，可用两眼感知视差，从而识别为立体视频。以往，针对用于观察单眼各自专用的视频的方式、提高该视频的分辨率来观察的方式、削减表现该视频的数据量的方式等，公开了各种技术。 

将立体视频收录在以DVD或BD为代表的视频内容提供用的介质内的需要增高起来。在这些介质中，除了成为内容的主要部分的电影等的视频以外，还可将显示字幕的副图像、或者根据用户的设备操作显示选项或样本、指导等的图形进行重叠显示。这些附加的视频信息也成为突显作为主要部分的视频来提高内容的价值的重要构成要素。以往，由于视频是平面视频(二维视频)，因而重叠在其上的副图像、图形等的附加的视频信息也是平面视频，在重叠显示时，适当设定透过度来表示配置的前后关系，形成在视觉上印象深刻的表现。 

在视频内容为立体视频的情况下，附加的视频信息在平面视频的状态下表现效果受到限制，因而要求副图像、图形等的附加的视频信息也能进行深度方向的表现。 

以往，当在立体视频上重叠了平面字幕时，包含视差的立体视频被显示成产生远近感，而字幕被显示成在无限远，或者与字幕总是显示在图像近前的平面显示不同 而显示在远景，因而存在用户具有不协调感的问题。对此，公开了这样的技术：使字幕的数据具有表示深度方向的显示位置的参数，通过在重叠于立体视频上时对字幕进行变形处理并进行合成，将字幕显示在适当位置(例如，参照专利文献1)。 

专利文献1：日本特开2004-274125号公报 

在现有技术中，尽管能将字幕的显示位置设定在视频近前的适当位置，然而只限于这一点。并且，设定能使字幕自身从近前向内倾斜来配置的深度方向的显示位置的技术未作公开，作为立体视频的表现法缺乏自由度。 

发明内容

本发明鉴于这样的现状，目的是提供一种显示左右两眼用各自不同的视频来使立体视频视觉化的方式，在该方式中，对于重叠在立体视频上的副图像、图形等的附加的视频信息，也能进行深度方向的表现，从而能进行立体观察。 

并且，目的是削减用于对此时的副图像、图形等的附加的视频信息进行可立体观察的表现的数据量。 

而且，目的是在视频再现装置中，简化在实现副图像、图形等的视频信息的立体表现时的运算处理。同时，目的还在于，通过节约视频再现装置要求的运算处理性能来降低成本，以及提高在给定的运算处理性能下进行立体显示的视频信息的更新速度。 

本发明的视频编码装置，该视频编码装置生成通过显示左右两眼用各自不同的视频来使立体视频视觉化的视频数据，其特征在于， 

该视频编码装置具有副视频编码单元，该副视频编码单元对分别重叠显示在构成立体视频的第1视点的显示视频和第2视点的显示视频上的第1视点的显示副视频的数据和第2视点的显示副视频的数据进行编码，生成副视频编码数据流， 

在所述副视频编码单元中，编码成能对所述第1视点的显示副视频内包含的1个以上的对象的数据独立地进行解码，并且， 

通过将所述第2视点的显示副视频内包含的所述1个以上的对象，相对于作为所述第1视点的显示副视频而显示的各自对应的对象，至少在水平方向进行伸缩，来表现深度。 

并且，本发明的视频再现装置，该视频再现装置对编码后的包含副视频的立体 视频的数据进行解码，通过显示左右两眼用各自不同的视频来使立体视频视觉化，其特征在于， 

该视频再现装置具有副视频解码单元，该副视频解码单元对分别重叠显示在构成立体视频的所述第1视点的显示视频和第2视点的显示视频上的多个视点的显示副视频的数据进行解码， 

在所述副视频解码单元中，对所述第1视点的显示副视频内包含的1个以上的对象的数据独立地进行解码，并且， 

根据所述第2视点的显示副视频的数据，将所述第2视点的显示副视频内包含的1个以上的对象，相对于作为所述第1视点的显示副视频而显示的各自对应的对象，在显示面上在水平方向进行伸缩来进行显示。 

根据本发明，在显示左右两眼用各自不同的视频来使立体视频视觉化的方式中，针对重叠在立体视频上的副图像、图形等的副视频信息，能进行深度方向的表现，作为立体视频的表现法的自由度提高。 

并且，根据本发明，能削减用于对此时的副视频信息(副图像、图形等)进行可立体观察的表现的数据量。 

而且，根据本发明，能在视频再现装置中，简化在立体表现副视频信息(副图像、图形等)时的运算处理。 

并且，根据本发明，能节约视频再现装置要求的运算处理性能，能降低其成本。 

并且，根据本发明，还能提高在该给定的运算处理性能下进行立体显示的视频信息的显示更新速度，能在立体显示的状态下快进再现视频信息。 

附图说明

图1是示出本发明的实施方式1的视频编码装置的框图。 

图2是示出本发明的实施方式1的视频再现装置的框图。 

图3中的(a)和(b)是示出用于说明本发明的原理的视差和深度的关系的图。 

图4中的(a)和(b)是示出用于说明本发明的原理的两眼用图像的图。 

图5中的(a)和(b)是示出用于说明本发明的原理的视差和距离的定量关系的图。 

图6中的(a)和(b)是示出在本发明的实施方式1中使用的字幕配置的一例的图。 

图7中的(a)和(b)是示出图6中的(a)和(b)所示的字幕的两眼用图像的结构的图。 

图8是示出图6中的(a)和(b)的例子中的已编码的视频数据结构的图。 

图9中的(a)和(b)是示出在本发明的实施方式2中使用的字幕配置的一例的图。 

图10中的(a)和(b)是示出图9中的(a)和(b)所示的字幕的两眼用图像的结构的图。 

图11是示出图9中的(a)和(b)的例子中的已编码的视频数据结构的图。 

图12中的(a)和(b)是示出在本发明的实施方式3中使用的字幕描绘方法的一例的图。 

图13中的(a)和(b)是示出用于说明本发明的原理的视差和高度的关系的图。 

具体实施方式

以下，使用附图说明本发明的实施方式。 

实施方式1 

图1示出包含本发明的实施方式1的视频编码装置的***的结构。该装置对拍摄到的立体视频(以下称为主视频)进行数字编码，并生成在再现时重叠显示在该立体视频上的副视频，即，字幕用的副图像、根据用户的设备操作来显示选项、样本、指导等的图形等的视频并进行数字编码，生成与对主视频进行了数字编码后的数据复用的视频数据流。这里，主视频是能进行立体表现的视频，重叠显示在主视频上的副视频也按照能进行深度方向的表现而进行立体观察的方式来生成并编码，该装置具有：与左眼用摄像机11和右眼用摄像机12连接的视频编码器(视频编码单元)21、图形生成器22、图形数据编码器(副视频编码单元)23以及数据流复用器(流复用单元)25。数据流传输/蓄积单元30中的发送/记录单元31也形成视频编码装置的一部分。 

在拍摄主视频时，使用在水平方向上隔开与两眼间隔相当的距离而配置的2台摄像机，即左眼用摄像机11和右眼用摄像机12这2台摄像机同时拍摄。拍摄到的各摄像机的视频信号被输入到视频数据编码器21，在此进行数字编码而形成主视频编码数据流。立体视频的数字编码公知有多种方式，在本发明中不限定于特定方式。 

副视频由图形生成器22根据内容制作者的规格而生成，作为数字化后的副视频数据输出。该副视频数据中，除了作为副视频而显示的副图像、图形等的图像数据以外，还包含针对该副视频内包含的对象，应显示各对象的深度方向的位置信息。 

这里，由图形生成器22生成的副视频数据，只要以从视听者的视点看到的形状生成即可。例如当显示对象是正方形时，在该对象从视点未等距离地朝深度方向倾斜而配置的情况下，该对象看起来是梯形或不等边四边形，而以这样看到的形状生成副视频数据。对该副视频数据附上在深度方向上如何配置的位置信息。 

然后，副视频数据被输入到图形数据编码器23，被编码成左眼用的副视频和右眼用的副视频。将左眼和右眼的视点一般化而作为第1视点和第2视点，当例如分配了左眼作为成为基准的第1视点时，左眼用的副视频内包含的对象的数据以能独立解码并能显示的方式进行编码。 

从成为基准的第1视点的副视频生成第2视点的副视频。在该情况下，第2视点为右眼。根据两眼的视差，右眼用的副视频内包含的对象只需相对于作为左眼用的副视频而显示的对象朝水平方向伸缩移动来显示，就能表现深度感。因此，在表现右眼用的副视频时，只需将表示相对于各对象，使其左端和右端的显示位置从左眼用显 示时的水平位置移动多少即可的移动宽度生成为数据，使该数据相关联、或者附带该数据即可。例如使该数据作为数据流的一部分来保持。 

该原理在后面详细说明。 

这样在图形数据编码器23中生成的副视频编码数据与在视频数据编码器21中生成的主视频编码数据一起被输入到数据流复用器25。数据流复用器25对2个编码数据进行复用，生成复用编码数据流。这里，对被指定了时刻以便在相同时刻重叠显示在一个画面上的主视频和副视频进行合成，成为可没有数据的下划线等破绽地显示的复用编码数据流。 

复用编码数据流被输入到数据流传输/蓄积单元30。数据流传输/蓄积单元30在具有表示为发送/记录单元31的功能块中的发送功能的情况下，将复用编码数据流调制成传输用，传输到位于遥远地方的表示为接收/再现单元33的功能块中的接收功能。并且，在具有表示为发送/记录单元31的功能块中的记录功能的情况下，将复用编码数据流调制成蓄积用，记录并蓄积在记录介质32内。只要有发送功能或记录功能的任意一个必要的功能即可。 

图2示出包含本发明的实施方式1的视频再现装置的***的结构。该装置由视频编码装置按照图1中的说明编码，将输入到数据流传输/蓄积单元30的复用编码数据流解调成作为立体视频的主视频和能进行深度方向的表现且进行立体观察的副视频，再现成这些视频重叠后的视频，该视频再现装置具有：数据流解复用器45、视频数据解码器(视频解码单元)41、图形数据解码器(副视频解码单元)43、右眼用视频图形显示合成单元52、左眼用视频图形显示合成单元51以及立体显示显示器60。数据流传输/蓄积单元30中的接收/再现单元33也形成视频再现装置的一部分。 

在数据流传输/蓄积单元30中，在具有表示为接收/再现单元33的功能块中的接收功能的情况下，由发送功能传输的复用编码数据流由接收功能接收并解调，输入到数据流解复用器45。并且，在具有表示为接收/再现单元33的功能块中的再现功能的情况下，蓄积在记录介质32内的复用编码数据流由再现功能读出并解调，输入到数据流解复用器45。只要有接收功能或再现功能的任意一个必要的功能即可。 

在数据流解复用器45中，从复用编码数据流中，参照附加给流的属性信息，分离出主视频编码数据流和副视频编码数据流来进行分配。主视频编码数据流被输入到视频数据解码器41，副视频编码数据流被输入到图形数据解码器43。 

视频数据解码器41对主视频编码数据进行解码，再现成左眼用和右眼用的各主视频数据。这样解码后的两眼用的视频数据被分别发送到左眼用视频图形显示合成单元51和右眼用视频图形显示合成单元52。视频数据解码器41中的解码，在本发明中不限定于特定的视频编码方式，只要是与由视频数据编码器21编码的方式对应的方式即可。 

图形数据解码器43对副视频编码数据流进行解码，再现成左眼用和右眼用的各副视频数据。图形数据解码器43中的解码，采用与由图形数据编码器23编码时的方式对应的解码方式。 

如上所述，当把左眼分配给成为基准的第1视点时，左眼用的副视频内包含的对象的数据由于可独立进行解码，因而直接作为左眼用副视频数据输出。 

并且，成为第2视点的右眼用的副视频内包含的对象，通过相对于作为左眼用的副视频而显示的对象，在水平方向移动伸缩来显示，可表现深度感。这里关于各对象的左端和右端各自的显示位置，由于作为数据具有表示从进行左眼用显示时的水平位置移动多少即可的移动宽度，因而读出该移动宽度来计算显示位置。这样，可再现根据两眼的视差产生的立体感。 

由于视频信号设计成使水平方向的扫描线在画面自上而下依次扫描来表现，因而在表现对象的各扫描线上使显示内容朝水平方向移动是极其容易的。并且，关于水平方向的伸缩，只需针对1条扫描线上的各点根据位置改变移动宽度，也能通过简单的运算处理容易地实现。 

这样解码后的两眼用的副视频数据分别被发送到左眼用视频图形显示合成单元51和右眼用视频图形显示合成单元52。在左眼用视频图形显示合成单元51和右眼用视频图形显示合成单元52中，按照预定规格对分别复原后的主视频和副视频进行重叠，作为视频显示信号发送到立体显示显示器60。视听者经过立体显示显示器60识别为立体视频。 

主视频的立体显示的深度感和副视频的立体显示的深度感，由内容制作者在创作(authoring)时进行调整。基本上除了在深度方向的位置表示前后关系以外，还能使用颜色信息和透过度的信息表现副视频，通过越远处越增大透过度来与主视频混合这样的设定，表现与成为背景的主视频的前后关系。 

以下，详细说明只需根据两眼的视差，相对于左眼用的副视频的对象使对应的 右眼用的副视频的对象在水平方向移动伸缩来显示，就能表现深度感的原理，以及深度方向的位置与水平方向的移动宽度的关系。 

图3中的(a)和(b)是示出成为本发明的原理的视差和深度的关系的图。图3中的(a)示出包含摄像机、即视听者的视点在内成为视频对象的空间整体的俯视图，图3中的(b)示出其侧视图。如图3中的(a)所示，设x轴为水平方向(右为正)，设z轴为深度方向(内为正)，如图3中的(b)所示，设y轴为垂直方向(下为正)。左眼和右眼的视点、即左眼和右眼的摄像机分别在z＝0的距离、x轴上所示的L和R的位置。左眼L和右眼R的视线的中心都如图中箭头(实线和虚线)所示，朝向位于相同方向的前方的无限远点。并且如图3中的(a)所示，左眼L的水平方向的视野范围由朝深度方向扩展的扇形(实线)表示，右眼R的水平方向的视野范围由朝深度方向扩展的扇形(虚线)表示。 

以下，将距深度方向的视点的距离简称为距离。在左眼L的视线中心线上的距离d1、d2、d3、d4、d5、d6、d7的位置，分别有对象L1、L2、L3、L4、L5、L6、L7。并且，在右眼R的视线中心线上的距离d1、d2、d3、d4、d5、d6、d7的位置，分别有对象R1、R2、R3、R4、R5、R6、R7。对象L1、L2、L3、L4、L5、L6、L7以白棒形式从垂直方向中央向上延伸，越在远处越长。对象R1、R2、R3、R4、R5、R6、R7以黑棒形式从垂直方向中央向下延伸，越在远处越长。考虑从左眼L和右眼R的视点观察这些对象时的各自的观察方法。 

图4中的(a)和(b)是示出成为本发明原理的两眼用图像的一例的图。图4中的(a)示出左眼L看到的、即当进行再现显示时进行左眼用显示的图像，图4中的(b)示出右眼R看到的、即进行再现显示时进行右眼用显示的图像。距视点等距离的2个对象L1和R1、L2和R2等以相同间隔放置，而在视点的图像上根据远近法，越是较近的距离，间隔显示得越大。 

如图4中的(a)所示，在左眼L中，对象L1、L2、L3、L4、L5、L6、L7全部在水平方向的中央看到。对象R1、R2、R3、R4、R5、R6、R7在从水平方向的中央分别朝右侧移动了ΔR1、ΔR2、ΔR3、ΔR4、ΔR5、ΔR6、ΔR7后的位置看到。这里，考虑使用该左眼L的图像来生成图4中的(b)所示的右眼R的图像。 

在左眼L中在水平方向的中央看到的对象L1、L2、L3、L4、L5、L6、L7在右眼R中，与左眼L的图像中的水平方向的位置相比较，在分别向左移动了ΔL1、ΔL2、ΔL3、ΔL4、ΔL5、ΔL6、ΔL7的位置看到。

并且，在左眼L中靠水平方向的右侧看到的对象R1、R2、R3、R4、R5、R6、R7在右眼R中全部在水平方向的中央重叠看到。即，与左眼L的图像中的水平方向的位置相比较，在分别朝左侧移动了ΔR1、ΔR2、ΔR3、ΔR4、ΔR5、ΔR6、ΔR7的位置看到。 

从以上可知，当使用左眼L的图像来生成右眼R的图像时，对象的水平方向的位置的移动宽度，越是距离近就越大，越是距离远就越小，在无限远点不移动而停止在相同位置。针对这些对象各方，只要指定与各自的位置对应的水平方向的位置的移动宽度，就能从左眼L的图像生成右眼R的图像来表现两眼的视差，能再现深度方向的距离感。也就是说，能生成可进行立体观察的图像。 

图5中的(a)和(b)是示出用于说明本发明的原理的视差和距离的定量关系的图。图5中的(a)与图3中的(a)一样，示出包含视听者的视点在内成为视频对象的空间整体的俯视图。x轴、z轴的定义、左眼和右眼的视点、视线、视野范围的表示方法也相同。图5中的(b)示出左眼用的图像。在图5中的(a)和(b)中，2θ是摄像机的水平视场角，d是距摄像机的距离，a是两眼间隔，X0是水平方向的视野宽度，Δx是两眼视差，Px是水平方向的像素数，ΔPx是与两眼视差Δx相当的画面水平方向的像素数。 

针对距水平视场角2θ的两眼用的各摄像机朝深度方向的距离d的垂直面上的水平方向的视野宽度X0，如下所示，求出两眼间隔a的相对长度(称为两眼视差)Δx。 

[算式1] 

$\frac{\mathrm{\Δx}}{X0}=\frac{a}{2d\tan \mathrm{\θ}}...\left(1\right)$

然后，将起因于两眼间隔a的两眼视差Δx换算为摄像机、或者显示用显示器的画面上的水平方向的像素数ΔPx。设水平方向的画面尺寸(像素数)为Px，在Px是1920像素的情况下，ΔPx如下所示。 

[算式2] 

$\mathrm{\ΔPx}=\mathrm{Px}\·\left(\frac{\mathrm{\Δx}}{X0}\right)$ …(2) 

$=1920\·\left(\frac{a}{2d\tan \mathrm{\θ}}\right)$

反之，利用(2)式，根据摄像机的水平视场角2θ和两眼间隔a、以及与两眼视差Δx相当的显示画面上的水平方向的像素数ΔPx，如下所示计算深度方向的距离d。 

[算式3] 

$d=\left(\frac{a}{2\tan \mathrm{\θ}}\right)\·\left(\frac{1920}{\mathrm{\ΔPx}}\right)...\left(3\right)$

使用以上所示的各参数间的关系式，当制作立体图像时，能使用左眼L的图像来生成右眼R的图像。通过指定摄像机的视野角和距离、以及画面尺寸(像素数)，可定量地计算当使用左眼L的图像来生成右眼R的图像时的、相对于该对象的位置的水平方向的移动宽度，能以像素数为单位指定。 

通过如上所述，针对各对象、或者各对象的预定部位指定计算出的移动宽度ΔPx，能生成在再现时表现深度方向的距离感的图像。 

在某个视频场景中，由于a和θ被认为是固定参数，因而在(3)式中求出的深度方向的距离d仅对应于对象各部分的ΔPx值而变化。 

因此，例如在2个对象配置成重叠的情况下，可根据ΔPx的大小判断在显示时重叠的部分中哪一方出现在前。对于不透明的对象，后面的对象被隐藏，而对于重叠的部分，ΔPx大的部分显示在近前，ΔPx小的部分被隐藏。 

在本发明的视频编码装置中，当实施该处理时，使用图形生成器22生成左眼L的图像数据，并附加与图像的预定部位相关的深度方向的距离、以及摄像机的视野角和画面尺寸，输出到图形数据编码器23。在图形数据编码器23中，针对被指定了距离的图像的预定部位，如上所述使用(2)式来计算ΔPx，生成右眼R的图像进行编码。 

下面，说明根据以上原理实际表现副视频的具体例。 

图6中的(a)和(b)示出在本实施方式1中使用的字幕配置的一例。与图3中的(a)和(b)一样，示出包含视听者的视点在内成为视频对象的空间整体的俯视图和侧视图。x轴、y轴、z轴的定义、左眼和右眼的视点、视线、视野范围的表示方法也相同。现在，在距离d5的位置从视点看垂直配置长方形的字幕[A]，并且，在从距离d5到d7的位置从视点看右边向内倾斜地配置长方形的字幕[B]。从侧视图可知，字幕[A]配置在中央以上的部分，字幕[B]配置在中央以下的部分。参照图3中的(a)和(b)，考虑从两眼的视点如何看到该2个字幕，即，该2个字幕 应如何显示在显示画面上。 

图7中的(a)和(b)示出图6中的(a)和(b)所示的字幕的两眼用图像的结构。如图7中的(a)所示，在左眼L中，垂直放置的长方形的字幕[A]看起来仍然是长方形，向内倾斜的长方形的字幕[B]看起来是梯形。2个字幕的水平方向的位置，左边相同为x1。右边对于实物相同，而对于图像，在距离d5的字幕[A]为x2，在距离d7的字幕[B]为x3。 

如图7中的(b)所示，在右眼R中，垂直放置的长方形的字幕[A]看起来仍然是长方形，向内倾斜的长方形的字幕[B]看起来是梯形。2个字幕的水平方向的位置，左边相同为(x1-Δx1)。右边对于实物相同，而对于图像，在距离d5的字幕[A]为(x2-Δx1)，在距离d7的字幕[B]为(x3-Δx3)。 

在以左眼用的图像为基准生成右眼用的图像时，关于字幕[A]，使整体向左侧移动Δx1即可。并且，关于字幕[B]，使左边向左侧移动Δx1，使右边向左侧移动Δx3即可。在该例子中，Δx1＞Δx3，右边在内距离越大，该移动宽度Δx3就越小。 

结果，字幕[A]的宽度，左眼L和右眼R都为(x2-x1)而不变，然而字幕[B]的宽度，左眼为(x3-x1)，右眼为(x3-x1)-(Δx3-Δx1)，由于两眼视差的影响，从右眼R观察时看起来较长。 

在显示对象的左右部分深度方向的距离不同的情况下，在图形数据编码器23中进行编码时，只要计算使对象左端的位置和右端的位置移动的各自的移动宽度Δx1和Δx3并保持在副视频编码数据中，就能以左眼用的图像为基准表现右眼用的图像。使用该副视频编码数据，在图形数据解码器43中进行解码时，可根据左眼用的图像数据和移动宽度Δx1和Δx3，简单地再现显示在右眼用的图像上的对象。 

图8示出图6中的(a)和(b)的例子中的已编码视频的数据结构。是对包含主视频和副视频的视频进行了编码后的视频数据流的整体结构。将该视频数据流整体称为“立体视频数据和图形数据流”VGS。立体视频数据和图形数据流VGS按照预定的“编码单位”UOC划分来进行数字化，进行编码。在数据流复用器25中进行复用，使得在1个编码单位UOC中包含由主视频编码数据构成的“视频数据”VDD和由副视频编码数据构成的“图形数据”GRD。 

在再现显示1个编码单位UOC的数据当中，通过读出下一编码单位UOC的数据，在结束1个编码单位UOC的显示之后，可不中断地继续下一编码单位UOC的 显示。不过，图8所示的数据配置是一例，例如，在准备了足够图形数据GRD的缓冲存储器的情况下，图形数据GRD可以不必为全部的编码单位UOC。 

在图形数据GRD中存储作为副视频而显示的全部对象的数据。图中示出其结构。“对象数”NOB表示在该图形数据GRD的编码单位UOC内包含的对象的个数。当对象数NOB是N时，对象#1～对象#N的图形数据被存储在“对象#1图形数据”GRD-1～“对象#N图形数据”GRD-N内。 

各对象的图形数据GRD-n(n＝1、2、...N)的结构在开头具有用于识别该对象的“ID”102，以下具有：表现左眼用的副视频的编码数据的“左眼显示图形数据”104、和用于以左眼用的副视频为基准表现右眼用的图像的“右眼显示图形数据”106。“右眼显示图形数据”106由“左端移动宽度”108和“右端移动宽度”110构成。该两种数据均是为了按以上说明那样从显示在左眼用的图像上的对象再现显示在右眼用的图像上的对象所需要的移动宽度的数据，在图7中的(a)和(b)的例子中相当于Δx1和Δx3。 

另外，上述说明是这样的情况：对应于对象的右端和左端配置在深度方向不同的位置的情况，为了表现该对象的配置而使设定于“右眼显示图形数据”106内的“左端移动宽度”108和“右端移动宽度”110为不同值。在预先知道对象整体配置在深度方向相同位置的情况下，可以说只要使“左端移动宽度”108和“右端移动宽度”110为相同值即可。此时，作为“右眼显示图形数据”106，规定一个“移动宽度”。 

实施方式2 

图9中的(a)和(b)示出在本实施方式2中使用的字幕配置的一例。与图6中的(a)和(b)一样，示出包含视听者的视点在内成为视频对象的空间整体的俯视图和侧视图。字幕[A]的配置与图6中的(a)和(b)所示的例子相同。长方形的字幕[C]配置在从距离d5到d7的位置，从视点看上边朝内倾斜。从侧视图可知，字幕[A]配置在中央以上的部分，字幕[C]配置在中央以下的部分。与图6中的(a)和(b)的情况一样，考虑从从两眼的视点如何看到该2个字幕，即，该2个字幕应如何显示在显示画面上。 

图10中的(a)和(b)示出图9中的(a)和(b)所示的字幕的两眼用图像的结构。如图10中的(a)所示，在左眼L中，垂直放置的长方形的字幕[A]看起来仍然是长方形，向内倾斜的长方形的字幕[C]看起来是梯形。2个字幕的水平方向的位置，在距离d5的各自的下边的左右两端在相同位置x1和x2。关于上边，字幕 [A]在距离d5与下边相同为x1和x2，而对于在距离d7的字幕[C]，上左端的位置为x4，上右端的位置为x3。 

如图10中的(b)所示，在右眼R中，垂直放置的长方形的字幕[A]看起来仍然是长方形，向内倾斜的长方形的字幕[C]看起来是梯形。2个字幕的水平方向的位置，左下端和右下端相同为(x1-Δx1)和(x2-Δx1)。关于上边，在距离d5的字幕[A]与下边相同，上左端为(x1-Δx1)，上右端为(x2-Δx1)，而在距离d7的字幕[C]，上左端为(x4-Δx3)，上右端为(x3-Δx3)。 

在以左眼用的图像为基准生成右眼用的图像时，关于字幕[A]，使整体向左侧移动Δx1即可。并且，关于字幕[C]，使下左端和下右端都向左侧移动Δx1，使上左端和上右端都向左侧移动Δx3即可。在该例子中，Δx1＞Δx3，上边在内距离越大，该移动宽度Δx3就越小。 

结果，字幕[A]的宽度，左眼L和右眼R都为(x2-x1)而不变。并且，字幕[C]的形状由于两眼视差的影响而变形供左右眼用，对于宽度，左眼L和右眼R都是下边为(x2-x1)、上边为(x3-x4)，关于相同距离的部分则不变。 

在显示对象的上下部分深度方向的距离不同的情况下，在图形数据编码器23中进行编码时，只要计算使对象下端的位置和上端的位置移动的各自的移动宽度Δx1和Δx3并保持在副视频编码数据中，就能以左眼用的图像为基准表现右眼用的图像。使用该副视频编码数据，在图形数据解码器43中进行解码时，可根据左眼用的图像数据和移动宽度Δx1和Δx3，简单地再现显示在右眼用的图像上的对象。 

而且，在图6中的(a)和(b)的例子中，与针对在显示对象的左右部分深度方向的距离不同时所示的例子对照，可总结如下。 

在显示对象的上下左右部分深度方向的距离不同时，在图形数据编码器23中进行编码时，只要计算使对象左上下端的位置和右上下端的位置移动的各自的移动宽度并保持在副视频编码数据中，就能以左眼用的图像为基准表现右眼用的图像。使用该副视频编码数据，在图形数据解码器43中进行解码时，可根据左眼用的图像数据和其各左右上下端的位置的移动宽度，简单地再现显示在右眼用的图像上的对象。 

图11示出图9中的(a)和(b)的例子中的已编码视频的数据结构。图的大部分与图8相同，对不同部分进行说明。 

在图8中，“右眼显示图形数据”106仅由“左端移动宽度”108和“右端移动宽 度”110这2个区段构成。在图11中，由于与上述的图9中的(a)和(b)的例子对照，更详细地，“左端移动宽度”108由“左上端移动宽度”112和“左下端移动宽度”114这2个区段构成，“右端移动宽度”110由“右上端移动宽度”116和“右下端移动宽度”118这2个区段构成。 

该两种数据均是为了按以上说明那样从显示在左眼用的图像上的对象再现显示在右眼用的图像上的对象所需要的移动宽度的数据，在应用于图7中的(a)和(b)的例子时，向“左上端移动宽度”和“左下端移动宽度”输入相同值，向“右上端移动宽度”和“右下端移动宽度”输入相同值即可。 

并且，在应用于图中的10(a)和(b)的例子时，向“左上端移动宽度”和“右上端移动宽度”输入相同值，向“左下端移动宽度”和“右下端移动宽度”输入相同值即可。更一般地，在图形数据编码器23中计算根据对象的倾斜方式适合于4个区段各方的值并设定在各区段内。 

实施方式3 

图12中的(a)和(b)是示出在本发明的实施方式3中使用的字幕描绘方法的一例的图。这里，示出与图10中的(a)和(b)所示的字幕描绘方法不同的表现方法。在所述的图10中，示出这样的方法：针对朝深度方向倾斜而配置的图形，以字幕[C]为例从左眼用的图像生成右眼用的图像。在该例子中，左眼用的图像是梯形，各顶点的水平方向的位置即x坐标的值是x1、x2、x3、x4。在简化以左眼用的图像为基准的右眼用的图像的位置表现时，以下方法是简单的：确保长方形的描绘区域，在其中描绘成为梯形的字幕[C]，在右眼用的图像中通过使该长方形的描绘区域整体变形，来使该描绘区域上的图像变形。 

如图12中的(a)所示，在左眼L用的图像中，将梯形的字幕[C]描绘在图中由单点划线包围所示的x坐标位于x1至x2之间的长方形的描绘区域上。该长方形的下边与字幕[C]的下边一致。这里，如图12中的(b)所示，以左眼L用的图像为基准生成右眼R用的图像时，移动由单点划线包围的长方形Qa的描绘区域来变形成为适当的平行四边形Qb时，描绘在该区域上的梯形的字幕[C]与图10中的(b)所示的形状一致。 

对于右眼R用的图像，在左眼L用的图像中是长方形的描绘区域的水平方向的位置，左下端为(x1-Δx1)，右下端为(x2-Δx2)。并且，左上端为(x1-Δx11)， 右上端为(x2-Δx12)。这里，Δx1和Δx2相等，Δx11和Δx12也相等。在生成右眼用的图像时，按水平方向的各扫描线计算描绘区域的左右端的移动宽度，决定描绘位置。这样将长方形的描绘区域定义为一个对象，通过指定各顶点的水平方向的移动宽度来从左眼用的图像生成右眼用的图像时，可简单地表现对象的存在场所，因而图像生成变得容易。 

例如作为描绘方法，可考虑在各水平扫描线中长方形的描绘区域内包含的部分中，使水平方向的长度要素乘以系数来进行比例换算。求出长方形的描绘区域的宽度在变型后的梯形的描绘区域的上边和下边分别为几倍，在各扫描线中，只要根据该描绘区域的高度方向的位置通过比例分配计算用于比例换算而相乘的系数，就能简化生成右眼用的图像的运算。 

表现各顶点的移动宽度的数据的结构，可应用已说明的图11所示的数据结构，在上述图12的例子中，“左上端移动宽度”为Δx11，“左下端移动宽度”为Δx1，“右上端移动宽度”为Δx12，“右下端移动宽度”为Δx2。通过适当设定该4点的值，能表现朝任意方向倾斜，配置在深度方向的任意位置的平面对象的立体感。 

另外，本发明的主旨在于，在显示位于深度方向的不同深度的对象时，从左眼用的对象的左右上下端的4个顶点的位置计算右眼用的对象的相同4个顶点的位置。此时，说明了为了容易计算右眼用的对象的左右上下端的4个顶点的位置，设置设定各自的移动宽度的区段来表现的例子，而该4个顶点的位置表现法不限于“移动宽度”。作为其他表现方法，也有这样的方法：右眼用的对象的“左上端”、“左下端”的位置如上所述由“移动宽度”来表现，“右上端”、“右下端”的位置由对象的上端和下端各自的水平方向的长度的比率来表现。例如在长度的比率是“1.0”时，该对象的右端的移动宽度定义成与左端的移动宽度相同，当长度的比率大于“1.0”时，对象从左端到右端的长度以该比率伸长，当长度的比率小于“1.0”时，对象从左端到右端的长度以该比率缩短。然后，这些对象的上端和下端各自的水平方向的长度的比率可以设置取代“右上端”、“右下端”的“移动宽度”而设定的区段来表现。 

另外，在以上说明中描述成，当以左眼用的图像为基准生成右眼用的图像时，只需使左眼用的图像朝水平方向移动，就能生成右眼用的图像。这里确认其根据。 

图13中的(a)和(b)是示出成为本发明的原理的视差和高度的关系的图。图13中的(a)和(b)与图3所示的示出成为本发明的原理的视差和深度的关系的图 一样，是示出成为视频对象的空间整体的俯视图(a)和侧视图(b)的图，然而配置的对象不同。在深度方向的距离d6的位置，在假定一般情况而偏离视线中心的位置放置纵棒状的对象E。在摄像时从左眼和右眼的摄像机拍摄到的图像，在再现时显示在例如图中表示为“显示屏”的距离d0的位置处的画面上。从视听者的视点观察该画面时，显示成在左眼L看到由左眼的摄像机拍摄到的图像，在右眼R看到由右眼的摄像机拍摄到的图像。 

从左眼L和右眼R看到这样显示的对象E的两端时的视线分别在俯视图(a)和侧视图(b)示出。在左眼用的图像和右眼用的各图像中，对象E显示在视线与位于距离d0的位置的显示屏交叉的平面上。可知，观察对象E的上端的两眼的视线方向在俯视图(a)上在水平方向由于视差而偏移，然而在侧视图(b)上在垂直方向一致。换句话说，可知，左眼用和右眼用显示的对象E在两个图像中可以是相同高度。 

如上所述，在本发明的视频编码装置和方法中，副图像能构成为包含多个模块，在各模块内针对模块左右两端的画面上的水平显示位置，分别设定在左眼用显示时的移动宽度，并保持在副图像数据中。 

并且，在本发明的视频再现装置和方法中，副图像数据作为左眼用副图像直接重叠显示在左眼用视频上，在右眼用副图像上，使副图像数据的水平显示位置移动预定宽度，重叠显示在右眼用视频上。 

而且，在本发明的视频记录介质和视频数据流中，将包含如上所述编码后的副图像数据的立体视频的数据保持在各方中。 

并且，上述的各“移动宽度”在数据流上被保持为固定值，而在再现装置中，还可以利用附加给再现装置的调整功能来使读出的数据流的“移动宽度”变化，并使显示有对应的对象的深度方向的距离变化。能在用户的期望距离显示对象。 

在本发明涉及的以上说明中，描述了进行在作为立体视频的主视频上重叠显示的副视频的编码和再现的装置和方法。然而本发明也能应用于没有主视频而仅有副视频的情况。 

即，能应用于这样的进行一般的编码和再现的装置和方法：能对图形进行深度方向的表现并可进行立体观察，而且削减该数据量，简化立体表现时的运算处理，或者节约视频再现装置要求的运算处理性能来降低成本，在给定的运算处理性能下提高立体视频显示的更新速度。 

在视频仅是图形的情况下，在图1所示的视频编码装置的结构中，不需要的是：左眼用摄像机11、右眼用摄像机12、视频数据编码器21以及数据流复用器25。并且，在图2所示的视频再现装置的结构中，不需要的是：视频数据解码器41、数据流解复用器45、左眼用视频图形显示合成单元51以及右眼用视频图形显示合成单元52。 

标号说明 

11：左眼用摄像机；12：右眼用摄像机；21：视频数据编码器；22：图形生成器；23：图形数据编码器；25：数据流复用器；30：数据流传输/蓄积单元；31：发送/记录单元；32：记录介质；33：接收/再现单元；41：视频数据解码器；43：图形数据解码器；45：数据流解复用器；51：左眼用视频图形显示合成单元；52：右眼用视频图形显示合成单元；60：立体显示显示器。 

Claims (6)

1.一种视频编码装置，该视频编码装置生成通过显示左右两眼用各自不同的视频来使立体视频视觉化的视频数据，其特征在于，

该视频编码装置具有副视频编码单元，该副视频编码单元对分别重叠显示在构成立体视频的第1视点的显示视频和第2视点的显示视频上的第1视点的显示副视频和第2视点的显示副视频的数据进行编码，生成副视频编码数据流，

在所述副视频编码单元中，编码成能对所述第1视点的显示副视频内包含的1个以上的对象的数据独立地进行解码，并且，

以所述第1视点的显示副视频为基准，生成所述第2视点的显示副视频；

通过将所述第2视点的显示副视频内包含的所述1个以上的对象，相对于作为所述第1视点的显示副视频而显示的各自对应的对象，至少在水平方向进行伸缩，来表现深度。

2.根据权利要求1所述的视频编码装置，其特征在于，作为所述第2视点的显示副视频的数据，独立地生成针对各个所述对象的、表示显示面上的水平方向的左端的移动宽度和右端的移动宽度的数据。

3.一种视频编码方法，该视频编码方法生成通过显示左右两眼用各自不同的视频来使立体视频视觉化的视频数据，其特征在于，

该视频编码方法具有副视频编码步骤，在该副视频编码步骤中，对分别重叠显示在构成立体视频的第1视点的显示视频和第2视点的显示视频上的第1视点的显示副视频和第2视点的显示副视频的数据进行编码，生成副视频编码数据流，

所述副视频编码步骤具有如下子步骤：

编码成能对所述第1视点的显示副视频内包含的1个以上的对象的数据独立地进行解码；以及

以所述第1视点的显示副视频为基准，生成所述第2视点的显示副视频的子步骤；

将所述第2视点的显示副视频内包含的所述1个以上的对象，相对于作为所述第1视点的显示副视频而显示的各自对应的对象，至少在水平方向进行伸缩，

通过这些子步骤来表现深度。

4.根据权利要求3所述的视频编码方法，其特征在于，作为所述第2视点的显示副视频的数据，独立地生成针对各个所述对象的、表示显示面上的水平方向的左端的移动宽度和右端的移动宽度的数据。

5.一种视频再现装置，该视频再现装置对由权利要求1所述的视频编码装置编码后的包含副视频的立体视频的数据进行解码，通过显示左右两眼用各自不同的视频来使立体视频视觉化，其特征在于，

该视频再现装置具有副视频解码单元，该副视频解码单元对分别重叠显示在构成立体视频的所述第1视点的显示视频和第2视点的显示视频上的多个视点的显示副视频的数据进行解码，

在所述副视频解码单元中，对所述第1视点的显示副视频内包含的1个以上的对象的数据独立地进行解码，并且，

根据所述第2视点的显示副视频的数据，将所述第2视点的显示副视频内包含的1个以上的对象，相对于作为所述第1视点的显示副视频而显示的各自对应的对象，在显示面上在水平方向进行伸缩而显示。

6.一种视频再现方法，该视频再现方法对通过权利要求3所述的视频编码方法编码后的包含副视频的立体视频的数据进行解码，通过显示左右两眼用各自不同的视频来使立体视频视觉化，其特征在于，

该视频再现方法具有副视频解码步骤，在该副视频解码步骤中，对分别重叠显示在构成立体视频的所述第1视点的显示视频和第2视点的显示视频上的多个视点的显示副视频的数据进行解码，

所述副视频解码步骤具有如下子步骤：

对所述第1视点的显示副视频内包含的1个以上的对象的数据独立地进行解码；以及

根据所述第2视点的显示副视频的数据，将所述第2视点的显示副视频内包含的1个以上的对象，相对于作为所述第1视点的显示副视频而显示的各自对应的对象，在显示面上在水平方向进行伸缩而显示。

Images