CN103765902B

CN103765902B - 多视角视频编码方案

Info

Publication number: CN103765902B
Application number: CN201180073149.7A
Authority: CN
Inventors: 李相熙; X·朱; H·蒋
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2011-08-30
Filing date: 2011-12-13
Publication date: 2017-09-29
Anticipated expiration: 2031-12-13
Also published as: CN103765902A; WO2013032512A1; KR20140051970A; JP2014527782A; TWI594634B; US20140037007A1; EP2751998A1; TW201325239A; US10165267B2; RU2573213C2; KR101626683B1; EP2751998A4; RU2014107928A

Abstract

描述了***、设备和方法，包括对于图像帧的至少一部分确定视角间编码模式、规定视角间编码模式指示符的相对应的值、和在包括与图像帧部分相关联的经编码的运动向量的比特流中提供模式指示符。模式指示符的第一值相对应于第一视角间编码模式，其中经编码的运动向量包括多个维度中的分量。模式指示符的第二值相对应于第而视角间编码模式，其中经编码的运动向量包括仅一个维度中的分量。

Description

多视角视频编码方案

相关申请

本申请要求2011年8月30日提交的美国临时专利申请第61/528,844号的优先权和权益。

背景技术

多视角视频编码（MVC）是H.264/AVC视频编码标准的扩展。它允许有场景的不同视角的几个视频序列被编码在包括基本视角和可以依赖于基本视角而编码的附加非基本视角的单个比特流中。非基本视角之间也存在可能的编码依赖关系。在编码之后，可以将每个视角表示为单个比特流，或者可以将各个视角比特流合并到一起。

视点视角间预测是MVC中重要的压缩技术。在相对于场景不同的相机位置处拍摄的不同视频序列通常展示视角之间的强相干性。因此，在对特定视角中的图像帧或图片编码时，基本视角和/或其它附加视角中的图片可以用作视角间参考图片，以改进编码效率。而且，编码器可以在使用视角间参考图片或使用来自同一视角的视频序列内的时间参考图片之间选择。在运动估计中，首先预测MV（x_p，y_p）形式的二维（2D）运动向量（MV），然后在特定范围内搜索其它MV以标识最小化当前块和参考块之间的失真的最佳MV（x，y）。然后将MV（x，y）和MV（x_p，y_p）之间的差别编码为残留信号。

在多个视角序列中，同一物体在不同视角上的投影可以相关于相对应的相机位置。例如，并行相机技术被广泛使用，因为它们很好地模拟了人的立体视觉***。在并行相机设置中，可以将相机对齐从而它们的位置仅在一个维度（例如沿x轴）中基本不同。因此，同一3D空间像素到两个相对应的视角上的两个投影的位置可以仅在一个维度（例如在x方向）中不同。

附图简述

此处所描述的内容是作为示例的方式而不是作为限制的方式在附图中示

出的。为了图示的简明和清晰起见，图中示出的元素不必按尺寸绘制。例如，为了清晰，一些元素的尺寸可以相对于其它元素放大。而且，在认为合适的地方，引用标签在图中进行重复以指示相对应的或类似的元素。在附图中：

图1是示例多视角视频编码***的说明性图；

图2示出示例多视角情景；

图3示出示例比特流部分；

图4和5示出了示例语法方案；

图6和7是用于实现视角间编码方案的示例过程的流程图；

图8是示例***的说明性图；以及

图9是示例设备的说明性图，所述示例设备全部是根据本发明的至少一些实现而安排的。

具体实施方式

现在参考附图描述一个或多个实施例或实现。尽管讨论了具体配置和安排，但应当理解，这仅是出于说明的目的。相关领域的技术人员将意识到可以采用其它配置和安排而不背离本描述的精神和范围。对于相关领域的技术人员显而易见的是，此处所描述的技术和/或安排也可以在此处所描述的那些之外的各种其它***和应用中采用。

尽管以下描述阐述了可以表现在例如片上***（SoC）架构的架构中的各种实现，但此处所描述的技术和/或安排的实现不限于特定架构和/或计算***，并可以通过出于类似目的的任何架构和/或计算***来实现。例如，采用例如多个集成电路（IC）芯片和/或包的各种架构和/或诸如机顶盒、智能电话等等的各种计算设备和/或消费电子（CE）设备可以实现此处所描述的技术和/或安排。而且，尽管以下描述可以阐述诸如逻辑实现、***组件的类型和相互关系、逻辑分区/集成选择等的众多具体细节，但没有这些具体细节也可以实践所要求保护的主题。在其它实例中，诸如例如控制结构和完整软件指令序列的一些内容，可以不详细示出以便不妨碍此处所公开的内容。

此处所公开的内容可以用硬件、固件、软件或其任何组合来实现。此处所公开的内容也可以实现为存储在机器可读介质上的指令，该指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以可由机器（例如计算机设备）读的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器（ROM）；随机访问存储器（RAM）；磁盘存储介质；光存储介质；闪存设备；电子、光学、声学或其它形式的传播信号（例如载波、红外信号、数字信号等）及其它。

说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表示所描述的实现可以包括特定特征、结构或特性，但是，每一个实现可以不必包括该特定特征、结构，或特征。此外，这些短语不必指同一实现。而且，当结合实现描述特定特征、结构或特性时，不管是否在此处明确描述，结合其它实现来实现这样的特征、结构或特性被认为是在本领域技术人员的知识范围内。

图1示出了根据本公开的示例多视角视频编码（MVC）***100。在各种实现中，MVC100可以包括MVC编码器102、服务器104、网络106、媒体网关108和MVC解码器110和112。在各种实现中，MVC编码器102可以接收相对应于三维（3D）场景的多个输入相机视角的输入视频图像帧或图片，并可以被配置为根据一个或多个先进的视频编解码器标准进行视频压缩和/或实现视频编解码器，视频编解码器标准诸如，例如H.264/AVC标准（见ISO/IEC JTC1和ITU-T，H.264/AVC——用于通用视听服务的先进视频编码，ITU-T Rec.H.264和ISO/IEC14496-10（MPEG-4part10），版本3，2005）和其扩展，包括AVC标准的多视角视频编码（MVC）扩展（见ISO/IEC14496-10：2008修正I（2008））（此后称为“MVC标准”）。尽管此处可以出于说明和解释的目的在MVC标准的上下文中描述***100和/或其它***、方案或过程，但本公开不限于任何特定的视频编码标准或规范。

在各种实现中，MVC编码器102可以实现基于块的混合视频编码方法，其中视频帧被细分成切片，切片进而被细分成宏块（MB）用于编码。每个MB都可以相对应于16×16的亮度样本的矩形图像区域，以及在4：2：0的色度取样格式的视频的情况下两个8×8的色度分量样本区域。可以空间地或时间地预测MB样本，并且产生的预测残留信号可以使用变换编码来表示。在各种实现中，MVC编码器102可以确定在每MB的基础上执行什么类型的编码。如此处所使用的，术语“块”可以指视频数据的MB或子MB分区。

如下面将更详细解释的，MVC编码器102可以使用根据本公开的技术来生成表示场景的不同视角的经编码的多视角视频数据。MVC编码器102可以提供编码的MVC比特流103形式的经编码的多视角视频数据，包括基本视角和其编码可以依赖于基本视角的附加非基本视角。在各种实现中，每个视角可以由单独的MVC比特流表示，或者可以将视角比特流合并到一起形成诸如MVC比特流103的单个比特流。

服务器104可以通过网络106将比特流103传输到具有不同的视频解码能力的不同客户端，诸如MVC解码器110和112。在各种实现中，比特流103可以在诸如媒体网关108的一个或多个媒体网关中传输通过。在各种实现中，媒体网关108可以是知晓媒体（media-aware）的网络元素，其可以在将比特流103的经更改的形式提供给MVC解码器110和112之前操纵比特流103的传入视频分组或子比特流。在一些实现中，媒体网关108可以操纵比特流103以向未配置成采取MVC技术的***和/或设备（图1中未示出）仅提供基本视角比特流。对于诸如MVC解码器110和112的能够采取MVC技术的***和/或设备，比特流103的基本视角比特流和一个或多个非基本视角比特流分量可以用来采取此处将描述的MVC技术。

在MVC解码器110和112处，编码的视频数据可以从比特流103提取，然后取决于结合MVC解码器110和112的***和/或设备的应用情景和能力以不同的方式被解码和渲染。例如，举几个非限制性示例，MVC解码器110可以是立体显示***（图1中未描绘）的一部分，而MVC解码器112可以是自由视角视频***（图1中也未描绘)的一部分。在各种实现中，MVC解码器110和112可以使用比特流103所提供的信息和/或数据来采取诸如视角间运动补偿的各种MVC技术。例如，可以基于指向或引用基本视角图片中的MB的MVC比特流103中所提供的经编码的MV来预测非基本视角图片切片中的MB。

在各种实施例中，视频和/或媒体处理器可以实现***100的MVC编码器102或MVC解码器110和/或102。一般地，***100的各种组件可以用软件、固件和/或硬件和/或其任何组合来实现。例如，***100的各种组件可以至少部分地由诸如可以在消费电子（CE）设备或***中找到的计算片上***（SoC）的硬件来提供。

而且，尽管图1描绘了服务器104将MVC编码器102通信地耦合到网络106，出于清晰起见未在图1中描绘的类似的服务器也可以同样将MVC解码器110和112通信地耦合到网络106。此外，尽管图1将MVC解码器110和112描绘为从网络106接收比特流103，但本公开不限于将比特流103通信给MVC解码器110和112的任何特定方案、技术和/或***。因此，在各种实现中，MVC解码器110和112可以将比特流103作为存储在诸如例如高清晰度/密度数字视频盘（HD-DVD）的计算机可读存储介质上的数据而接收。此外，在各种实现中，根据本公开的MVC解码器可以在诸如机顶盒、可接收有线的电视等等的CE设备中实现，并可以根据本公开经由电缆网络、卫星网络等等接收MVC比特流。

在各种实现中，本公开不为***100的各种组件的具体本质所限制，组件诸如服务器104、网络106和/或媒体网关108。例如，服务器104可以包括任何web服务器或在任何计算***上运行的类似程序，从而许可MVC编码器102通过网络106发送比特流103。类似地，网络106可以是能够在MVC编码器102和/或服务器104与MVC解码器110和112之间通信比特流103的有线和/或无线网络或网络***的任何类型和/或组合。

视点视角间预测

如先前所提到的，在对诸如非基本视角的特定视角中的图片编码时，MVC编码器102可以使用基本视角和/或其它非基本视角中的图片作为视角间参考图片以改进编码效率。而且，在执行特定帧部分（例如MB）的运动估计时，MVC编码器102可以在使用视角间预测或时间预测技术之间选择。当执行视角间预测技术时，MVC编码器102可以使用视角间图片作为参考图片用于运动估计的目的。

根据本公开和如下面将更详细解释的，MVC编码器102可以确定在执行视角间预测时采用的视角间编码模式，并可以提供指示与至少一个图像部分或一个多视角视频序列相关联的视角间编码模式的比特流103中的相对应的模式指示符、比特或标志。在各种实现中，MVC编码器102可以将模式指示符放置在比特流103内的不同位置中，包括比特流103的图片和/或切片头语法和/或MB语法分量之内。

MVC编码器102确定的视角间编码模式可以被规定为具有两个状态之一：第一视角间编码模式，其中二维（2D）视角间MV被编码使得对于每个MV两个MV分量都在比特流中编码并显示；以及第二视角间编码模式，其中一维（1D）视角间MV被编码使得对于每个MV仅一个MV分量在比特流中编码并显示。如此处所使用的，视角间MV从一个视角的视频序列中的MB（或宏块和/或子宏块分区）指向另一个视角的视频序列中的MB（或宏块和/或子宏块分区）。例如，在第一视角间编码模式中，经编码的视角间MV可以包括规定两个维度上的位移的两个MV分量（例如x和y），而在第二视角间编码模式中，经编码的视角间MV可以仅包括一个MV分量（例如x或y），其规定仅一个维度上的位移，由此减少显示在相对应的比特流中的比特的数量。

例如，图2示出了示例多视角情景200，其中3D场景202的视频序列是从沿一个方向——在此示例中任意地标记为“x”轴——移位的两个不同的视角204和206捕获的。在情景200中，诸如从视角204和206捕捉视频的相机的成像设备可以处于并行相机设置，其中相机沿一个方向对齐从而它们的位置仅在一个维度（例如x轴）上基本不同并在其它两个维度上基本相同。结果是，场景202的3D空间像素到两个视角204和206的两个投影的位置可以仅在该一个维度上基本不同。因此，从一个视角中的MB指向另一个视角中的MB的视角间MV可以仅有一个实质分量（例如x分量），而另一个分量（例如y分量）有为0或基本为0的值。由此，当在诸如情景200的有为0或基本为0的MV分量值的情景中形成比特流时，MVC编码器102可以选择不对为0或基本为0的MV分量编码，并且因此，被编码和放入比特流中的唯一MV分量可以是非0的MV分量。

MVC比特流

在各种实现中，根据本公开的视角间视频编码方案可以在视频比特流中直接地指示MV的y分量是否被编码了并显示在比特流中。例如，比特流可以包括视角间模式指示符、标志或比特（b），以指定在第一视角间编码模式（例如有b=0的值）中，x和y MV分量都被编码并显示在比特流中，或者在第二视角间编码模式（例如有b=1的值）中，只有x MV分量被编码并显示在比特流中并且没有y MV分量被编码并因此不显示在比特流中。相对应地，当模式比特有为0的值时比特流语法将包括经编码的x和经编码的y MV分量（例如（MV_x,MV_y）），或者当模式比特有为1的值时比特流语法可以仅包括经编码的x MV分量（例如（MV_x,0））。然而，本发明不限于特定视角间模式指示符的逻辑值，并因此在其它实现中，为0的模式比特值可以用来指示仅MV_x分量被编码了而模式比特值b=1可以用来指示MV_x和MV_y分量都被编码了，等等。

在各种实现中，视角间编码模式指示符可以应用于各种编码级别，包括但不限于MB级别和/或诸如切片级别或图片级别的更高级别。当应用于包括多个MV的编码级别时，视角间编码模式比特可以是编码级别的头中的领先比特，而经编码的MV分量可以包括在MB语法中。

在各种实施例中，MVC编码器102可以实现网络抽象层（NAL），其通过格式化经编码的视频数据以包括在比特流103中和通过提供许可由MVC解码器110和112实现多视角编码方案的比特流103中的头信息来生成比特流103。根据本公开，MVC编码器102可以生成比特流103作为NAL单元或分组的序列，其中每个NAL单元包括多字节视频数据载荷，该载荷包括经编码的运动向量分量。单个编码的图像帧或访问单元可以相对应于一组连续的NAL单元，并且诸如基本视角或非基本视角编码视频序列的编码的视频序列可以相对应于一组连续的访问单元。

在各种实现中，比特流103中的NAL单元可以包括具有序列和图片参数组和/或补充增强信息（SEI）消息的切片或图片头。例如，在MVC标准中，MVC编码的切片NAL单元包括后接NAL单元载荷的4-字节头。图片或切片头中的语法元素可以包括优先级标识、视角标识等等。例如，图3示出了示例比特流部分300，包括切片头302和数据载荷304，其中载荷304包括例如编码的MB语法元素306。每个编码的MB语法元素306可以包括MB头308、一个和多个编码的运动向量310的编码的分量值、和编码的残留数据312。

在根据本公开的各种实现中，比特流103中的切片和/或图片头可以包括如此处书描述的视角间编码模式指示符。在各种实现中，比特流103可以包括宏块层或级别的视角间编码模式指示符。在这样的实现中，视角间编码模式指示符可以是宏块头中提供的领先比特。例如，图4示出了根据本公开的各种实现的示例MB级别语法方案400。方案400包括MB语法402，其中领先比特404为0的值（例如，相对应于第一视角间编码模式）指示MV_x406和MV_y408两个分量都被编码了。方案400也包括MB语法410，其中领先比特404为1的值（例如，相对应于第二视角间编码模式）指示仅MV_x分量412被编码了。在一些实现中，多个MV_x和MV_y分量对414（例如，多于两个的MV_x和MV_y分量对）可以在语法402中跟随领先比特404，和/或多个MV_x分量416（例如，多于一个的MV_x分量）可以在语法410中跟随领先比特404。

在各种实现中，比特流103可以包括图片和/或切片层或级别的视角间编码模式指示符。在这样的实现中，视角间编码模式指示符可以是图片和/或切片头中提供的领先比特（leading bit）。例如，图5示出了根据本公开的各种实现的示例切片级别语法方案500。方案500包括切片/图片语法502，其中切片/图片头506中的比特504为0的值（例如，相对应于第一视角间编码模式）指示MV_x506和MV_y508两个分量都被编码了。方案500也包括切片/图片语法508，其中切片/图片头506中的比特504为1的值（例如，相对应于第二视角间编码模式）指示仅MV_x分量512被编码了。在一些实现中，多个MV_x和MV_y分量对510可以在语法502中跟随头506，且/或多个MV_x分量512可以在语法508410中跟随头506。

图6示出了根据本公开的各种实现的在视频编码器处用于实现视角间编码方案的示例过程600的流程图。在各种实现中，过程600可以用来通过使用***到由例如***100的MVC编码器102产生的比特流中的编码模式指示符来指示视角间编码模式。过程600可以包括如由图6的一个或多个框602、604和606所示出的一个或多个操作、功能或动作。作为非限制性示例，此处可以分别参考图4和5的视角间编码语法方案400和500以及图1的***100来描述过程600。

过程600可以在框602处开始，其中可以确定图像帧的至少一部分的视角间编码模式。例如，框602可以涉及MVC解码器102确定相对应于方案400的语法402的视角间编码模式，其中在比特流103中将提供当前图像帧的特定宏块的多个维度的经编码的MV分量（例如MV_x和MV_y分量）。替换性地，可以确定相对应于方案100的语法410的视角间编码模式，其中在比特流103中将提供该特定宏块的仅一个维度的经编码的MV分量（例如，仅MV_x分量）。

在各种实现中，框602可以包括选择性地确定视角间编码模式。例如，根据本公开的MVC编码方案可以应用于视角间预测和时间预测方案二者。例如，如果对当前帧的编码仅取决于同一视频序列中的单个参考图片则视角间编码模式的实现可能不是所期望的（并因此仅时间预测应用于该帧）。在这样的情况中，可以将视角间编码模式标志或指示符从比特流语法中移除或不放入比特流语法中。另一方面，如果当前帧有多个参考帧并且视角间和时间预测二者都可以应用，则可以基于参考帧索引选择性地将视角间编码模式标志添加到语法中。例如，如果参考图像帧索引相对应于另一视角的视频序列的图像帧，则可以将视角间编码模式标志添加到比特流。因此，在各种实现中，如果特定MB或子块分区仅使用时间预测，那么不需要将视角间编码模式指示符***到比特流中。另一方面，如果特定MB或子块分区可以采用视角间预测编码，那么可以如此处所描述的将一个或多个视角间编码模式指示符***到相对应的比特流中，等等。

在框604处，可以规定视角间编码模式指示符的相对应的值。例如，参考语法方案400，领先比特404可以由MVC编码器102规定以具有相对应于在框602处所确定的模式的值。继续方案400的示例，如果在框602处确定的视角间编码模式规定了多维度视角间运动向量，那么在框604处MVC编码器102可以规定领先比特404应该有为0的值。另一方面，如果在框602处确定的视角间编码模式规定了仅一维的视角间运动向量，那么在框604处MVC编码器102可以规定领先比特404应该有为1的值。类似地，参考语法方案500，切片头506中的领先比特504可以由MVC编码器102在框604处规定以具有相对应于在框602处所确定的模式的值。

过程600可以在框606处结束，其中可以在比特流中提供视角间编码模式指示符。例如，框606可以涉及***100的MVC编码器102将比特404和/或比特504***到比特流103中以指示在框602处确定的视角间编码模式。如上面提到的，可以在切片NAL单元的图片和/或切片头语法和/或编码的MB或子块元素的头语法中提供视角间编码模式指示符。

图7示出了根据本公开的各种实现的视频解码器处用于实现视角间编码方案的示例过程700的流程图。在各种实现中，过程700可以用来按照由例如***100的MVC编码器102所提供的比特流中所接收的编码模式指示符所指示的，在***100的MVC解码器100和/或112的一个或二者处进行视角间运动补偿。过程700可以包括如由图7的一个或多个框702、704和706所示出的一个或多个操作、功能或动作。通过非限制性示例的方式，此处可以分别参考图4和5的视角间编码语法方案400和500以及图1的***100来描述过程700。

过程700可以在框702处开始，其中可以接收比特流，其中该比特流包括与图像帧的至少一部分相关联的视角间编码模式指示符。例如，框702可以涉及MVC解码器110接收包括如此处所描述的视角间编码模式指示符的比特流。例如，在框702处接收的比特流可以相对应于如上所述在过程600的框608处提供的比特流。

在框704处，可以响应于在框702处接收的视角间编码模式指示符而确定视角间编码模式。例如，取决于视角间编码模式指示符的值，MVC解码器110可以在框704处确定视角间编码模式。例如，如果MVC解码器110接收了类似于方案400的语法402所提供的视角间编码模式指示符，那么MVC解码器100可以确定视角间编码模式，其中将使用经编码的多维度MV（例如，包括经编码的MV_x和MV_y分量）来执行当前图像帧的特定宏块的视角间运动补偿。替换性地，如果MVC解码器110接收了类似于方案400的语法410所提供的视角间编码模式指示符，那么MVC解码器100可以确定视角间编码模式，其中将使用经编码的一维MV（例如，仅包括一个经编码的MV_x分量）来执行该特定宏块的视角间运动补偿。

过程700可以在框706处结束，其中可以响应于在框704处确定的视角间编码模式来执行图像帧部分的视角间运动补偿。例如，在各种实现中，在一种视角间编码模式中，框706可以涉及MVC解码器110使用多维度MV（例如包括MV_x和MV_y分量）来执行特定宏块的多视角运动补偿。替换性地，在另一种视角间编码模式中，框706可以涉及MVC解码器110使用一维MV（例如仅包括MV_x分量）来执行特定宏块的多视角运动补偿。

尽管如图6和7中所示的示例过程600和700的实现可以包括采取以所示的次序展示的所有框，但本发明不限于此，并且，在各种示例中，过程600和700的实现可以包括仅采取和/或以不同于所示的次序展示的框的子集。

而且，可以响应于由一个或多个计算机程序产品所提供的指令来采取图6和7的框中的任何一个或多个。这样的程序产品可以包括提供当由例如处理器执行时可以提供此处所描述的功能的指令的承载信号的媒体。计算机程序产品可以在任何形式的计算机可读介质中提供。因此，例如，包括一个或多个处理器核的处理器可以响应于由计算机可读介质传达给处理器的指令而采取图6和7中的一个或多个框。

如在此处所描述的任何实现中所使用的，术语“模块”指被配置为提供此处所描述的功能的软件、固件和/或硬件的任何组合。软件可以体现为软件包、代码和/或指令集或指令，并且如此处所描述的任何实现中所使用的，“硬件”可以包括，例如，独自或以任何组合的，硬连线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可以集合地或各自地体现为形成更大***的一部分的电路，更大***例如，集成电路（IC）、片上***（SoC）等等。

图8示出了根据本公开的示例***800。在各种实现中，***800可以是媒体***，尽管***800不限于此上下文。例如，***800可以合并进个人计算机（PC）、膝上型计算机、超级膝上型计算机、平板机、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备（例如智能电话、智能平板机或智能电视）、移动互联网设备（MID）、消息设备、数据通信设备等。

在各种实现中，***800包括耦合到显示820的平台802。平台802可以从内容设备接收内容，内容设备诸如内容服务设备（多个）830或内容递送设备（多个）840或其它类似内容源。包括一个或多个导航特征的导航控制器850可以用来与例如平台802和/或显示820交互。下面将更详细地描述这些组件中的每一个。

在各种实现中，平台802可以包括芯片组805、处理器810、存储器812、存储814、图形子***815、应用816和/或无线电818的任何组合。芯片组805可以提供处理器810、存储器812、存储814、图形子***815、应用816和/或无线电818之间的互通信。例如，芯片组805可以包括能够提供与存储814的交互通信的存储适配器（未示出）。

处理器810可以实现为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器、x86指令集兼容的处理器、多核、或任何其它微处理器或中央处理单元（CPU）。在各种实现中，处理器810可以是双核处理器、双核移动处理器等等。

存储器812可以实现为易失性存储器设备，诸如但不限于，随机访问存储器（RAM）、动态随机访问存储器（DRAM）或静态RAM（SRAM）。

存储814可以实现为非易失性存储设备，诸如但不限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连存储设备、闪存、电池备用SDRAM（异步DRAM）和/或网络可访问存储设备。在各种实现中，存储814包括在包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强保护的技术。

图形子***815可以执行诸如用于显示的静态或视频图像的处理。例如，图形子***815可以是图形处理单元（GPU）或视觉处理单元（VPU）。可以使用模拟或数字接口将图形子***815和显示820通信地耦合。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一个。图形子***815可以集成进处理器810或芯片组805中。在一些实现中，图形子***815可以是通信地耦合到芯片组805的独立卡。

此处描述的图形和/或视频处理技术可以用各种硬件架构实现。例如，图形和/或视频功能可以集成在芯片组中。替换性地，可以使用分立的图形和/或视频处理器。如又一实现，图形和/或视频功能可以通过通用处理器包括多核处理器来实现。在又一实施例中，功能可以在消费电子设备中实现。

无线电818可以包括能够使用各种适合的无线通信技术发送和接收信号的一个或多个无线电。这些技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括（但不限于）无线局域网（WLAN）、无线个人区域网（WPAN）、无线城域网（WMAN）、蜂窝网络和卫星网络。在跨这些网络的通信中，无线电818可以根据一个或多个适用的标准的任何版本操作。

在各种实现中，显示820可以包括电视型监视器或显示。显示820可以包括，例如，计算机显示屏、触摸屏显示、视频监视器、电视机类的设备和/或电视机。显示820可以是数字的和/或模拟的。在各种实现中，显示820可以是全息显示。显示820也可以是可以接收视觉投影的透明表面。这样的投影可以传递各种形式的信息、图像、物体等。例如，这样的投影可以是移动增强现实（MAR）应用的视觉覆盖。在一个或多个软件应用816的控制下，平台802可以在显示820上显示用户界面822。

在各种实现中，内容服务设备830可以由任何国家的、国际的和/或独立服务主存，并因此经由例如因特网对平台802是可访问的。内容服务设备830可以耦合到平台802和/或显示820。平台802和/或内容服务设备830可以耦合到网络860以将媒体信息去往和来自网络860地通信（例如发送和/或接收）。内容递送设备840也可以耦合到平台802和/或显示820。

在各种实现中，内容服务设备830可以包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的启用因特网的设备或电器、和能够经由网络860或直接地、单向地或双向地在内容提供者和平台802和显示802之间通信内容的任何其它类似设备。应理解，内容可以经由网络860单向地和/或双向地去往和来自***800中的任何一个组件和内容提供者通信。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。

内容服务设备830可以接收内容，诸如有线电视节目包括媒体信息、数字信息或其它内容。内容提供者的示例可以包括任何有线或***或无线电或因特网内容提供者。所提供的示例不旨在以任何方式限制根据本公开的实现。

在各种实现中，平台802可以从具有一个或多个导航特征的导航控制器850接收控制信号。控制器850的导航特征可以用来与例如用户界面822交互。在各实施例中，导航控制器850可以是定点设备，其可以是允许用户将空间（例如连续的和多维的）数据输入进计算机的计算机硬件组件（具体而言，人机接口设备）。诸如图形用户接口（GUI）和电视机和监视器的许多***允许用户使用物理姿势控制计算机或电视机并向计算机或电视机提供数据。

导航控制器850的导航特征的动作可以通过指针、光标、焦点环或显示在显示上的其它视觉指示符的动作而在显示（例如显示820）上回显。例如，在软件应用816的控制下，位于导航控制器850上的导航特征可以映射到显示在用户接口820上的虚拟导航特征。在各实施例中，控制器850可以不是单独的组件，而是可以集成进平台802和/或显示820中。然而本公开不限于此处所示出或描述的元素或上下文。

在各种实现中，驱动器（未示出）可以包括像电视机在初始启动之后用按钮的触摸（当启用时，例如）使用户能立即打开或关闭平台802的技术。即使当平台被“关闭”时，程序逻辑也可以允许平台802将内容流传输到内容适配器或其它内容服务设备830或内容递送设备840。而且，例如，芯片组805可以包括支持例如5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动器可以包括***组件互连快速（PCIe）图形卡。

在各种实现中，任何一个或多个***800中示出的组件都可以是集成的。例如，平台802和内容服务设备830可以是集成的；或者平台802和内容递送设备840可以是集成的；或者平台802、内容服务设备830和内容递送设备840可以是集成的。在各种实施例中，平台802和显示804可以是集成的单元。例如，显示820和内容服务设备830可以是集成的，或者显示820和内容递送设备840可以是集成的。这些示例不旨在限制本公开。

在各种实施例中，***800可以实现为无线***、有线***或二者的组合。当实现为无线***时，***800可以包括适合于通过诸如一个或多个天线、发送器、接收器、收发器、放大器、过滤器、控制逻辑等的无线共享介质通信的组件和接口。无线共享介质的示例可以包括无线频谱的部分，诸如RF频谱等等。当实现为有线***时，***800可以包括适合于通过诸如输入/输出（I/O）适配器、将I/O适配器与相对应的有线通信介质连接的物理连接器、网络接口卡（NIC）、盘控制器、视频控制器、音频控制器等的有线通信介质通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属线、印刷电路板（PCB）、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。

平台802可以建立一个或多个逻辑或物理信道以通信信息。信息可以包括媒体信息和控制信息。媒体信息可以指表示为用户准备的内容的任何数据。内容的示例可以包括，例如，来自语音对话的数据、视频会议、流视频、电子邮件（email）消息、语音邮件消息、字母数字符号、图形、图形、视频文本等。来自语音对话的数据可以是，例如，发言信息、沉默期、背景噪音、舒适噪音、音质等。控制信息可以指表示命令、指令或为自动***准备的控制字的任何数据。例如，控制信息可以用来路由媒体信息通过***，或指令节点以预确定的方式处理媒体信息。然而各实施例不限于图8中示出或描述的元素或上下文。

如上所述，***800可以用变化的物理风格或形状系数来体现。图9示出了图8中的***800可以体现于其中的小形状系数设备900的实现。例如，在各实施例中，设备900可以实现为具有无线能力的移动计算设备。移动计算设备可以指具有处理***和例如诸如一个或多个电池的无线电力源或供应的任何设备。

如上所述，移动计算设备的示例可以包括个人计算机（PC）、膝上型计算机、超级膝上型计算机、平板机、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备（例如智能电话、智能平板机或智能电视）、移动互联网设备（MID）、消息设备、数据通信设备等。

移动计算设备的示例也可以包括安排为由人佩戴的计算机，诸如腕式计算机、指式计算机、环式计算机、眼镜计算机、带扣计算机、臂环计算机、鞋式计算机、衣式计算机和其它可佩戴的计算机。例如，在各种实施例中，移动计算设备可以实现为能够执行计算机应用及语音通信和/或数据通信的智能电话。尽管一些实施例可以用作为示例实现为智能电话的移动计算设备描述，但应理解，其它实施例也可以使用其它无线移动计算设备实现。各实施例不限于该上下文。

如图9中所示，设备900可以包括外壳902、显示904、输入/输出（I/O）设备906和天线908。设备900也可以包括导航特征912。显示904可以包括用于显示适合于移动计算设备的信息的任何适合的显示单元。I/O设备906可以包括用于将信息输入进移动计算设备的任何适合的I/O设备。I/O设备906的示例可以包括字母数字键盘、数字小键盘、触摸垫、输入建、按钮、开关、翘板开关、话筒、扬声器、语音识别设备和软件等。信息也可以通过话筒的方式输入进设备900中。这样的信息可以通过语音识别设备（未示出）数字化。各实施例不限于该上下文。

各种实施例可以使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器等）、集成电路、专用集成电路（ASIC）、可编程逻辑器件（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序编程接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任何组合。确定一实施例是否使用硬件元件和/或软件元素来实现可以根据任何数量的因素而变化，这些因素诸如所需的计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。

至少一个实施例的一个或多个方面可以通过存储在表示处理器内的各种逻辑的机器可读介质上的代表性指令来实现，当所述指令被机器读时导致机器制造逻辑以执行此处描述的技术。称为“IP核”（IP core）的这样的表示可以存储在有形的、机器可读的介质上并供应给各种顾客或制造设施以装载进实际制造所述逻辑或处理器的制造机器中。

尽管已经参考各种实现描述了此处所阐述的某些特征，但本描述不旨在以限制性的意义来解释。因此，对于本公开目标所涉及的领域的技术人员显而易见的此处所描述的实现的各种修改和其它实施例被认为落入本公开的精神和范围之内。

Claims

1.一种编码视频的方法，包括：

在视频编码器处，

接收输入视频图像帧以用于对其编码；

对图像帧的至少一部分确定视角间编码模式，用于基于参考图像帧对其进行视角间编码；

规定视角间编码模式指示符的相对应的值；以及

在比特流中提供所述模式指示符，其中所述比特流包括与所述图像帧的部分相关联的经编码的运动向量，

其中所述模式指示符的第一值相对应于其中所述经编码的运动向量包括多个维度中的分量的第一视角间编码模式，并且其中所述模式指示符的第二值相对应于其中所述经编码的运动向量分量包括仅一个维度中的分量的第二视角间编码模式。

2.如权利要求1所述的方法，其特征在于，所述比特流的图片头或切片头包括所述视角间编码模式指示符。

3.如权利要求1所述的方法，其特征在于，所述图像帧部分包括宏块，并且其中在所述比特流中提供所述模式指示符包括将所述模式指示符放置在与所述宏块相关联的语法中。

4.如权利要求1所述的方法，其特征在于，在所述第一视角间编码模式中所述经编码的运动向量包括多于一个的分量，并且在所述第二视角间编码模式中所述经编码的运动向量包括仅一个分量。

5.如权利要求1所述的方法，其特征在于，确定所述视角间编码模式包括响应于参考图像帧索引而选择性地确定所述视角间编码模式。

6.如权利要求5所述的方法，其特征在于，所述图像帧部分包括第一视角的视频序列的图像帧部分，并且其中选择性地确定所述视角间编码模式包括仅当所述参考图像帧索引相对应于第二视角的视频序列的图像帧时确定所述视角间编码模式。

7.一种视频编码***，所述***包括：

天线装置，用于传输包括视频数据的比特流；以及

耦合到所述天线装置的视频编码器装置,所述视频编码器装置用于：接收输入视频图像帧以用于对其编码；对于图像帧的至少一部分确定视角间编码模式，用于基于参考图像帧对其进行视角间编码；规定视角间编码模式指示符的相对应的值；并在所述比特流中提供所述模式指示符，其中所述比特流包括与所述图像帧部分相关联的经编码的运动向量，其中所述模式指示符的第一值相对应于其中所述经编码的运动向量包括多个维度中的分量的第一视角间编码模式，并且其中所述模式指示符的第二值相对应于其中所述经编码的运动向量分量包括仅一个维度中的分量的第二视角间编码模式。

8.如权利要求7所述的***，其特征在于，所述图像帧部分包括宏块，并且其中为了在所述比特流中提供所述模式指示符所述视频编码器装置将所述模式指示符放置在与所述宏块相关联的语法中。

9.如权利要求7所述的***，其特征在于，在所述第一视角间编码模式中所述经编码的运动向量包括多于一个的分量，并且在所述第二视角间编码模式中所述经编码的运动向量包括仅一个分量。

10.如权利要求7所述的***，其特征在于，为了确定所述视角间编码模式所述视频编码器装置响应于参考图像帧索引而选择性地确定所述视角间编码模式。