CN104285433A - 用于视频编码的运动传感器辅助的速率控制 - Google Patents

Abstract

本发明描述用于视频编码的运动传感器辅助的速率控制的***和方法。用于对视频内容进行编码的设备包括传感器和编码器。所述传感器经配置以提供与所述设备相关的运动信息。所述编码器经配置以至少部分地基于量化参数对所述视频内容进行编码。所述编码器进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。

Description

用于视频编码的运动传感器辅助的速率控制

技术领域

本申请案大体上涉及具有视频编码能力的手持式装置，且更具体来说涉及用于基于运动信息的视频编码的速率控制的***和方法。

背景技术

数字视频能力可并入到广范围的装置中，所述装置包含数码相机、数字记录装置、蜂窝式或卫星无线电电话、个人数字助理(PDA)、视频游戏装置、视频电话会议装置和类似装置。数字视频装置实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准和这些标准的扩展中所描述的技术，以更有效地发射和接收数字视频信息。

在使用此数字视频装置的实时视频俘获和编码的过程期间，用户可快速地移动装置以切换场景或焦点。在此些情况下，针对量化参数(“QP”)(编码参数中的一者)可选择比实际需要小得多的值。这导致位速率中的暂时尖峰，之后是位预算的快速耗尽。为了维持恒定位速率，在移动之后降低即将到来的帧的质量。然而，在移动之后将俘获的主题一般是用户较关注的，且在移动停止之后需要较高的视频质量。

发明内容

本发明的***、方法和装置各自具有若干方面，其中并无单个一者唯一地负责其所需属性。在并不如所附权利要求书所表达般限制本发明的范围的情况下，现在将简要论述一些特征。在考虑此论述之后，且尤其在阅读标题为“具体实施方式”的部分之后，将理解本发明的特征如何提供包含用于实施视频编码的运动传感器辅助的速率控制的***和方法的优点。

本发明的一个实施例提供一种用于对视频内容进行编码的设备。所述设备包括传感器，其经配置以提供与所述设备相关的运动信息。所述设备进一步包括编码器，其经配置以至少部分地基于量化参数对所述视频内容进行编码。所述编码器进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。

本发明的另一实施例提供一种用于对视频内容进行编码的设备。所述设备包括用于提供与所述设备相关的运动信息的装置和用于至少部分地基于量化参数对所述视频内容进行编码的装置。所述用于对所述视频内容进行编码的装置进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。

本发明的又一实施例提供一种对视频内容进行编码的方法。所述方法包括使用传感器获得与包括所述传感器和编码器的设备相关的运动信息。所述方法进一步包括使用所述编码器至少部分地基于量化参数对所述视频内容进行编码。所述方法还包括响应于所述所获得运动信息而增加所述量化参数的值。

本发明的另一实施例提供一种计算机可读媒体，其存储致使编码器接收与包括所述编码器的设备相关的运动信息的指令。所述指令进一步致使所述编码器至少部分地基于量化参数对视频内容进行编码，且响应于所述所接收运动信息而增加所述量化参数的值。

附图说明

图1是可实施用于视频编码的运动传感器辅助的速率控制的实例性装置的框图。

图2是说明可实施用于视频编码的运动传感器辅助的速率控制的视频编码器的实例的框图。

图3是用于视频编码的运动传感器辅助的速率控制的示范性过程的流程图。

图4是更详细的用于视频编码的运动传感器辅助的速率控制的示范性过程的流程图。

具体实施方式

许多手持式数字视频装置包含可容易地提供运动信息的传感器。装置的快速或强运动一般导致即将俘获的视频帧序列中的场景改变，且在快速或强运动期间的记录质量与在此运动之后相比相对较不重要。因此，在一个方面中，将来自传感器的运动信息提供到编码器以使得编码器可与运动的速度和强度相关来调整编码参数。更具体来说，当识别出快速或强装置运动时，使即将到来的视频帧的QP增加与运动的速度/强度成比例的值以减轻位速率中的尖峰。

词语“示范性”在本文用以表示“充当实例、例子或说明”。本文描述为“示范性”的任一实施例都不一定解释为比其它实施例优选或有利。呈现以下描述以使得所属领域的技术人员能够制作和使用本发明。在以下描述中为了阐释的目的而陈述细节。应了解，所属领域的技术人员将认识到，可在不使用这些具体细节的情况下实践本发明。在其它实例中，未阐述众所周知的结构和过程，以免以不必要的细节使本发明的描述不清楚。因此，本发明既定不受所展示实施例的限制，而是应被赋予与本文揭示的原理和特征一致的最广范围。

本文描述的***和方法涉及实施用于视频编码的运动传感器辅助的速率控制。许多手持式数字视频装置包含可容易地提供与数字视频装置相关的运动信息的运动传感器。运动传感器可为加速度计传感器、陀螺仪传感器、磁力计传感器或任一其它传感器，或可提供关于数字视频装置的运动信息的其组合。在一个方面中，所提供的运动信息用以做出用于视频编码的速率控制决策。用户可能不关注在突然或强移动期间将俘获的主题，其一般指示场景改变。运动信息可用以确定数字视频装置的运动的速度或强度。如果检测到的运动满足速度或强度阈值，那么与检测到的运动低于此阈值时相比，选择用于量化参数(“QP”)的较高值。选择用于QP的较高值一般导致较低的编码速率。通过在快速或强移动期间减小编码速率，在移动后，即在移动停止之后可分配较多的位。

视频编码器采用速率控制来在某一时间周期中分配位预算以便实现针对某一服务质量(QoS)的目标位速率。一般来说，对于有限容量通信信道上的流式传输视频需要恒定位速率(CBR)，其中要求瞬时位速率不超过通信路径的数据速率。甚至在其中可使用可变位速率(VBR)的例如因特网等一些速率自适应通信中，大多数实时视频应用对网络延迟和处理量性能强加若干约束。为了适应这些约束，可能希望实施预防性速率控制以避免网络拥塞。

速率控制算法根据当前帧的位预算和统计数据动态地调整用于当前帧的编码参数，最明显的是量化参数。广泛采用平均绝对差(“MAD”)来表示纹理复杂性。举例来说，在H.264/AVC标准中，可使用二次模型来表示目标位、MAD与QP之间的关系：

其中Q_步长是从其推导QP的参数，T表示纹理位，且c₁和c₂是经验估计的系数。由于在实际编码之前无法准确知道MAD_n，因此可使用如等式(2)中所示的线性模型来预测当前帧MAD_n(“平均绝对差”)：

MAD_n＝a₁×MAD_n-1+a₂    (2)

其中MAD_n是第n帧的预测MAD且MAD_n-1是第n-1帧的实际MAD，且a₁和a₂是取决于实施方案经验选择的系数。以上速率控制在其中场景平稳且缓慢改变的稳定条件下良好工作，只要可对传入帧的MAD大致预测等式(2)即可。

然而，在使用手持式装置的实时视频俘获和编码的过程期间，典型用户可快速地移动装置以切换场景或焦点。装置的此些运动对视频编码带来特殊挑战。在此些情况下，等式(2)的假设减弱。因为编码器不会预见MAD的突然增加，所以编码器选择比实际需要小得多的QP值。因此，导致位速率中的暂时尖峰，之后是位预算的快速耗尽。为了维持恒定位速率，编码器随后不得不急剧降低随后的帧的质量或甚至完全跳过一些帧。这可导致在装置的移动停止之后的显著时间周期中的不良感知视频质量。

许多手持式数字视频装置包含运动传感器。这些运动传感器可以极少的成本提供关于装置的运动信息，尤其是即时运动信息。在一个方面中，由运动传感器提供的运动信息用以调整和调适QP和编码速率，以便避免位速率中的暂时尖峰和位预算的随后耗尽。以此方式，来自运动传感器的信息可帮助编码器在速率控制方面做出更好选择。

图1是可执行用于视频编码的运动传感器辅助的速率控制的实例性装置100的框图。装置100可为包含摄像机的手持式装置，例如数码相机、相机电话、视频电话和视频电话会议装置。在图1的实例中，装置100包含摄像机110、传感器120和视频编码器130。摄像机110可为能够实时俘获视频图像的任何装置。

传感器120获得且提供与装置100相关的运动信息。传感器120可为加速度计传感器、陀螺仪传感器、磁力计或可提供与装置100相关的运动信息的任一其它传感器。装置100可包含一个传感器或多个传感器。如果装置100包含多个传感器，那么传感器可具有相同类型或不同类型。举例来说，装置可包含加速度计传感器、陀螺仪传感器和磁力计。

视频编码器130对由摄像机110俘获的视频数据进行编码。其可经配置以至少部分地基于量化参数对视频内容进行编码。视频编码器130可为可处理实施视频的任何编码器，例如实时硬件H.264编码器。视频编码器130可包含如图2中详细展示的许多不同组件，包含基于由传感器120提供的运动信息控制编码速率和量化参数的速率控制单元。

由传感器120获得的运动信息可包含关于装置100的运动的各种类型的信息。在一个方面中，运动信息可为与装置100相关的即时运动信息。在另一方面中，运动信息可涉及装置100的平移移动、装置100的旋转移动或两者。可用运动信息也可取决于运动传感器的类型而变化。举例来说，加速度计传感器可提供装置的坐标系(例如，沿着x、y和z轴)中的加速度向量。陀螺仪传感器可提供围绕三个轴(即，x、y和z轴)的角速率。传感器读数可以规则间隔取得，例如每10ms。

在一个方面中，由传感器120提供的运动信息用以确定主题对用户的重要性和用户的意图。举例来说，如果移动是突然或强的，那么可推断用户正在做出场景改变。在此情形中，与在移动停止之后将俘获的主题相比，在移动期间俘获的主题对用户较不重要。为了确保在运动之后分配足够的位速率，在运动期间增加量化参数以将编码速率调整为较低。以此方式，可以足够细节获得在运动之后的图像数据，同时不以较大细节俘获在运动期间的图像数据。

在一个方面中，编码器130可迅速响应于快速运动，提供优化用于传入帧的位分配的较好机会，平衡位速率需求以实现一致的服务质量，且在例如视频电话等实时视频编码使用情况中增强感知视频质量。

图2是说明可执行用于视频编码的运动传感器辅助的速率控制的图1中的视频编码器130的实例的框图。视频编码器220是可执行用于视频编码的运动传感器辅助的速率控制的视频处理装置的实例。然而应了解，任何视频处理装置均可经配置以执行运动传感器辅助的速率控制。而且，运动传感器辅助的速率控制可以硬件、软件和/或固件的任一组合来实施。在软件和/或固件的情况下，运动传感器辅助的速率控制是实施在执行由所述软件和/或固件提供的指令的底层硬件装置上。

视频编码器220可根据视频压缩标准操作，例如ITU-T H.264标准，或者描述为MPEG4第10部分高级视频译码(AVC)。然而，视频编码器220不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。虽然图2中未图示，但在一些方面中，视频编码器220可与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，那么MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起制定为被称为联合视频小组(JVT)的集体合作的产品。在一些方面中，一般符合H.264标准的装置可执行用于视频编码的运动传感器辅助的速率控制。H.264标准通过ITU-T研究组且在日期2005年3月描述于ITU-T推荐H.264“用于一般视听服务的高级视频译码(Advanced Video Coding for generic audiovisual services)”中，其在本文中可被称为H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。

在图2的实例中，视频编码器220可执行视频帧(包含宏块或者宏块的分区或子分区)内的块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧内的视频中的时间冗余。帧间译码也可用以例如在多视图译码的情况下移除来自表示同一场景的不同视图的不同视频序列的视频帧之间的冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者，且例如预测(P模式)或双向(B模式)等帧间模式可指代若干基于时间的压缩模式中的任一者。虽然图2中描述用于帧间模式编码的分量，但应了解，视频编码器220可进一步包含用于帧内模式编码的分量。然而，为了简明和清楚的原因未说明此些分量。

如图2中所示，视频编码器220接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器220包含运动补偿单元244、运动估计单元242、参考帧存储装置264、求和器250、变换单元252、量化单元254，和熵译码单元256。针对视频块重构，视频编码器220还包含逆量化单元258、逆变换单元260以及求和器262。还可包含解块滤波器(图2中未图示)以对块边界进行滤波以从经重构视频移除成块假象。如果需要，解块滤波器将通常对求和器262的输出进行滤波。

在编码过程期间，视频编码器220接收待译码的视频帧或切片。可将帧或切片划分为多个视频块。运动估计单元242及运动补偿单元244相对于一或多个参考帧中的一或多个块执行对所接收视频块的帧间预测性译码，以提供时间压缩。帧内预测单元也可相对于与待译码的块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码，以提供空间压缩。

模式选择单元(图2中未图示)可例如基于错误结果而选择译码模式(帧内或帧间)中的一者，且将所得的经帧内或帧间译码的块提供到求和器250以产生残余块数据，且提供到求和器262以重构经编码块以用作参考帧。

运动估计单元242与运动补偿单元244可为高度集成的，但为了概念性目的而单独说明。运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示在预测性参考帧内的预测性块(或其它译码单元)相对于在当前帧内正译码的当前块(或其它译码单元)的位移。预测性块为就像素差来说被发现紧密匹配待译码的块的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度来确定。运动向量还可指示宏块的分区的位移。运动补偿可涉及基于由运动估计确定的运动向量而取得或产生预测性块。再次，在一些实例中，运动估计单元242与运动补偿单元244可在功能上集成。

运动估计单元242通过将视频块与参考帧存储装置264中的参考帧的视频块进行比较来计算经帧间译码帧的视频块的运动向量。运动补偿单元244还可内插参考帧(例如，I帧或P帧)的子整数像素。ITU H.264标准涉及作为“列表”的参考帧。因此，存储在参考帧存储装置264中的数据也可为考虑的列表。运动估计单元242将来自参考帧存储装置264的一或多个参考帧(或列表)的块与当前帧(例如，P帧或B帧)的待编码的块进行比较。当参考帧存储装置264中的参考帧包含子整数像素的值时，由运动估计单元242计算的运动向量可涉及参考帧的子整数像素位置。运动估计单元242将所计算的运动向量发送到熵译码单元256和运动补偿单元244。通过运动向量识别的参考帧块可称为预测性块。运动补偿单元244针对参考帧的预测性块计算误差值。

运动补偿单元244可基于预测性块计算预测数据。视频编码器220通过从正译码的原始视频块减去来自运动补偿单元244的预测数据而形成残余视频块。求和器250表示执行此减法运算的一或多个组件。变换单元252将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换单元252可执行概念上类似于DCT的其它变换，例如由H.264标准界定的那些变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任一情况下，变换单元252将变换应用于残余块，从而产生残余变换系数的块。变换可将残余信息从像素值域转换到变换域，例如频域。

量化单元254量化残余变换系数以进一步减小位率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在H.264/AVC中，量化参数用于确定变换系数的量化。所述参数可采用52个值。这些值经布置以使得量化参数增加1意味着量化步长大小增加近似12％(增加6意味着量化步长大小增加确切为2倍)。可注意到，步长大小改变近似12％也意味着位速率大致减少近似12％。

在量化之后，熵译码单元256对经量化变换系数进行熵译码。举例来说，熵译码单元256可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术。在通过熵译码单元256熵译码之后，可将经编码视频发射到另一装置或加以存档以供稍后发射或检索。在上下文自适应二进制算术译码的情况下，上下文可基于相邻宏块。

在一些情况下，熵译码单元256或视频编码器220的另一单元可经配置以除了熵译码之外还执行其它译码功能。举例来说，熵译码单元256可经配置以确定宏块和分区的CBP值。而且，在一些情况下，熵译码单元256可执行宏块或其分区中的系数的延伸长度译码。特定来说，熵译码单元256可应用z字形扫描或其它扫描模式来扫描宏块或分区中的变换系数且对零的延伸进行编码以用于进一步压缩。熵译码单元256还可用适当语法元素构造标头信息以用于在经编码视频位流中发射。

逆量化单元258和逆变换单元260分别应用逆量化和逆变换，以在像素域中重构残余块(例如)以供稍后用作参考块。运动补偿单元244可通过将残余块加到参考帧存储装置264的帧中的一者的预测性块而计算参考块。运动补偿单元244也可将一或多个内插滤波器应用于经重构的残余块，以计算子整数像素值。求和器262将经重构的残余块加到由运动补偿单元244产生的经运动补偿预测块，以产生经重构的视频块以用于存储在参考帧存储装置264中。经重构的视频块可由运动估计单元242和运动补偿单元244用作参考块，以对后续视频帧中的块进行帧间译码。

在图2的实例中，视频编码器220还包含速率控制单元246。大体上，速率控制单元246基于由运动传感器提供的运动信息控制视频编码速率。图2展示作为视频编码器220的部分的速率控制单元246，但其也可与视频编码器220分离。

速率控制单元246从传感器接收运动信息，其可包含加速度计读数、陀螺仪传感器读数或两者。运动信息可包含关于装置的平移、装置的旋转或两者的信息。在一个实施例中，速率控制单元246基于从运动信息确定的运动的速度或强度确定适当量化参数，且将量化参数值发送到量化单元254。如果运动的速度或强度满足阈值，那么速率控制单元246与运动的速度或强度成比例地增加量化参数。否则，速率控制单元246使用正常QP值。速率控制单元246将经确定QP值发送到量化单元254，且量化单元254相应地调整量化参数。量化单元254可将位速率信息提供到速率控制单元246。

图3是用于视频编码的运动传感器辅助的速率控制的示范性过程的流程图。过程300可由例如图1中的装置100的数字视频装置执行。在一个方面中，过程300可当用户正使用数字视频装置(例如，图1中的装置100)实时俘获视频数据时执行。在过程300的步骤301处，传感器120获得与装置100相关的运动信息。由传感器120获得的运动信息提供到编码器130以执行速率控制。

在步骤302处，编码器130响应于所提供运动信息而增加QP。在一个方面中，编码器130经配置以至少部分地基于QP对视频内容进行编码。编码器130基于从传感器120接收的运动信息计算装置的运动的速度和/或强度。如果运动的速度和/或强度满足或超过阈值，那么编码器130与运动的速度和/或强度成比例地增加QP。如果运动的速度和/或强度下降到阈值以下，那么不增加QP，且使用正常QP值。增加QP一般导致减小编码速率。

取决于编码器130的实际实施方案，在移动期间可能需要连续增加QP。也就是说，可能需要针对具有等于或大于阈值的速度或强度的每一检测到的运动增加QP。只要移动持续，便将必须增加QP值。在其它实施方案中，仅在移动的开始时增加QP。在移动的持续时间中可使用相同QP。

图4是更详细的用于视频编码的运动传感器辅助的速率控制的示范性过程的流程图。过程400可由例如图1中的装置100的数字视频装置执行。在一个方面中，过程400可在用户正使用数字视频装置(例如，图1中的装置100)实时俘获视频数据时执行。在过程400的步骤401处，传感器120获得且提供运动信息。由于由装置100俘获的场景经受装置平移和旋转的组合，因此可使用由例如加速度计传感器、陀螺仪传感器、磁力计传感器或传感器的任一组合等运动传感器提供的运动信息来跟踪装置100的运动。一般地，编码效率(尤其在时间域中)与场景移动速度(即，全局运动)负相关。经验上，装置的速率越高，传入帧的即时位速率将越高。

在步骤402处，编码器130使用与在步骤401由传感器120提供的视频装置相关的运动信息估计运动的强度或速度。此步骤可由例如图2中所示的速率控制单元246执行。在一个实施例中，装置100包含加速度计传感器。加速度计传感器可提供装置100的坐标系(例如，沿着x、y和z轴)中的加速度向量。在一个方面中，传感器读数是基于装置100自身的运动与重力加速度的组合。可使用等式(3)推导装置100的即时速率v以便估计即将到来的帧的即时位速率：

$v=v_0+{\∫}_0^t(a\left(t\right)-g)\mathrm{dt}---\left(3\right)$

其中a(t)指示从加速度计读数推导的加速度，v₀表示在时间0处装置的初始速率，且g指示重力加速度。在一个方面中，运动的向量可通过减去重力加速度从加速度计读数推导：

$\stackrel{\→}{s}={\stackrel{\→}{s}}_g-\stackrel{\→}{g}---\left(4\right)$

其中指示加速度计读数，下标g指示读数包含重力，且表示重力加速度向量。然而，等式(4)要求的方向相对于装置坐标系已知，无论装置的姿态如何。即使的量值众所周知等于9.81m/s²，但相对于装置定向的方向从加速度计传感器自身未知，且需要来自例如陀螺仪传感器的其它传感器的额外输入。

因此，在一个实施例中，使用多个加速度计读数的均方差(“MSD”)S来估计运动强度：

$S={(x-\stackrel{\‾}{x})}^2+{(y-\stackrel{\‾}{y})}^2+{(z-\stackrel{\‾}{z})}^2---\left(5\right)$

其中

$(\stackrel{\‾}{x},\stackrel{\‾}{y},\stackrel{\‾}{z})=\stackrel{\‾}{S_g}=\mathrm{mean}\left\{{\stackrel{\→}{s}}_g\left(t\right)\right\},t=[n...m]---\left(6\right).$

举例来说，可使用50个加速度计读数来确定均方差。使用多个读数的均方差可消除校准加速度计传感器的需要，且运动传感器辅助的速率控制也可借助不敏感或不复杂的传感器来良好工作。将均方差S与阈值进行比较以确定装置100的运动是否足够强，如下：

在步骤403处，编码器130在运动的强度满足阈值的情况下增加QP。对于具有等于或大于阈值的强度的运动，可假定场景将与先前帧不同得多。因此，新帧的编码复杂性可预期显著增加。因此，应例如与运动的强度成比例地增加QP值。如等式(8)中所示，可通过将ΔQP加到QP_正常来增加QP。当运动不强时使用QP_正常，且当运动强时使用QP_正常+ΔQP。

在其它实施例中，可使用其它算法。举例来说，通过调整参数a₁可修改等式(2)中所示的线性模型，如下：

以此方式调整参数a₁，因为运动越强，MAD将变得越高。可在经验上选择系数p。

在另一实施例中，装置100包含陀螺仪传感器。如上文论述，在步骤402处，编码器130使用来自传感器120的运动信息估计运动的强度。陀螺仪传感器提供分别围绕三个轴x、y和z的角速率。在一些实施例中，在检测突然运动中仅考虑围绕x和y轴的角速率读数，因为围绕z轴的角速率表示图像平面中的旋转，且用户可能仍在俘获关注对象。

为了指示角速率的量值，为了简单可如等式(10)中界定伪速率ω_p：

ω_p＝|ω_x|+|ω_y|    (10)。

根据用于强运动检测的等式(12)将伪速率ω_p与阈值进行比较：

如上文阐释，在步骤403处，编码器130在运动的强度满足阈值的情况下增加QP。如等式(8)中所示，可通过将ΔQP加到QP_正常来增加QP。当运动不强时使用QP_正常，且当运动强时使用QP_正常+ΔQP。

在又一实施例中，装置100包含3轴磁力计传感器。在步骤402处，可根据等式(5)和等式(6)使用多个磁力计读数的均方差(“MSD”)估计运动强度，其中由指示原始磁力计读数的代替。在步骤403处，如上文相对于包含加速度计和陀螺仪传感器的实施例阐释，在运动强度满足阈值的情况下增加QP。

在步骤404处，编码器130在运动的强度低于阈值的情况下减小QP。一旦强运动停止，由传感器120提供的运动信息便将指示运动的强度下降到低于阈值。一旦检测到强运动的结束，编码器130便将QP减小到正常值，进而增加编码速率。减小QP的实际时序可取决于编码器130的实施方案而变化。

由传感器120提供的运动信息也可用以进一步优化编解码器。在一些实施例中，如果增加QP，那么可移除或丢弃在运动期间获得的帧以便进一步减小运动期间的位速率。在一些实施例中，当强运动停止时，可在QP减小到正常值时***I帧。在某些实施例中，由传感器120提供的运动信息可在由编码器130执行的运动估计中使用。运动估计可由例如图2中所示的运动估计单元242执行。一般地，运动估计是编解码器的最耗时且最消耗电力的部分，且可通过利用由传感器120提供的运动信息来优化编解码器。举例来说，如果运动强到足以触发QP的增加，那么其也可触发运动估计单元增加早期终止阈值，减小搜索范围，或使用快速子像素运动估计算法。

所属领域的技术人员应了解，过程300和400仅是说明性的。可移除过程300和400的步骤，可添加额外步骤，和/或改变步骤的次序，同时仍与本文揭示的原理和新颖特征一致。而且，过程300和400的步骤可由其它模块、单元和/或装置执行。

本文描述的功能性(例如，关于附图中的一或多者)可在一些方面中对应于所附权利要求书中类似指定的“用于...的装置”功能性。图1到2的模块的功能性可以与本文的教示一致的各种方式来实施。在一些方面中，这些模块的功能性可实施为一或多个电组件。在一些方面中，这些块的功能性可实施为包含一或多个处理器组件的处理***。在一些方面中，这些模块的功能性可使用例如一或多个集成电路(例如，ASIC)的至少一部分来实施。如本文论述，集成电路可包含处理器、软件、其它相关组件或其某种组合。这些模块的功能性也可以如本文教示的某种其它方式来实施。

应了解，本文使用例如“第一”、“第二”等等名称对元件的任何参考不会一般地限制所述元件的数量或次序。而是，这些名称在此可用作在两个或两个以上元件或一元件的若干实例之间进行区分的常规方法。因此，对第一和第二元件的参考不意味着在该处仅可采用两个元件，或者不意味着第一元件必须以某种方式在第二元件之前。而且，除非另外陈述，否则一组元件可包括一或多个元件。另外，在描述或权利要求书中使用的“A、B或C中的至少一者”形式的术语意味着“A或B或C或这些元件的任一组合”。

所属领域的技术人员将了解，可使用多种不同技艺和技术中的任一者来表示信息和信号。举例来说，贯穿以上描述可参考的数据、指令、命令、信息、信号、位、符号和码片可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任一组合来表示。

所属领域的技术人员将进一步了解，结合本文揭示的实例描述的各种说明性逻辑块、模块、电路、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体在其功能性方面描述了各种说明性组件、块、模块、电路、方法和算法。此功能性实施为硬件还是软件取决于特定应用和强加于总体***的设计约束。所属领域的技术人员可针对每一特定应用以各种方式实施所描述的功能性，但此些实施方案决策不应解释为造成脱离本发明的范围。

结合本文揭示的实例描述的各种说明性逻辑块、模块和电路可以通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文描述的功能的任一组合来实施或执行。通用处理器可为微处理器，但在替代例中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP通信的一或多个微处理器，或任何其它此类配置。

结合本文揭示的实例描述的方法或算法可直接以硬件、以由处理器执行的软件模块或以两者的组合来体现。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式磁盘、CD-ROM或此项技术中已知的任一其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储器媒体可与处理器成一体式。处理器和存储媒体可驻留在ASIC中。

在一或多个示范性实施例中，所描述功能可以硬件、由处理器执行的软件或固件或者其任一组合来实施。如果以软件来实施，那么功能可作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包含计算机存储媒体和通信媒体两者，所述通信媒体包含促进计算机程序从一处转移到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。举例来说且并非限制，此计算机可读媒体可包括非暂时性计算机可读存储媒体，例如RAM、ROM、快闪存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以载运或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含于媒体的定义中。如本文所使用，磁盘和光盘包含快闪存储器存储装置、压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各项的组合也应包含在计算机可读媒体的范围内。

提供所揭示实例的先前描述以使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明了对这些实例的各种修改，且在不脱离本发明的精神或范围的情况下可将本文界定的一般原理应用于其它实例。因此，本发明既定不限于本文展示的实例，而是应被赋予与本文揭示的原理和新颖特征一致的最广范围。

Claims (44)

1.一种用于对视频内容进行编码的设备，所述设备包括：

传感器，其经配置以提供与所述设备相关的运动信息；以及

编码器，其经配置以至少部分地基于量化参数对所述视频内容进行编码，所述编码器进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。

2.根据权利要求1所述的设备，其中所述传感器包括加速度计传感器、陀螺仪传感器、磁力计传感器或其任一组合。

3.根据权利要求1到2中任一权利要求所述的设备，其中所述运动信息用以估计所述设备的运动的强度。

4.根据权利要求1到3中任一权利要求所述的设备，其中所述运动信息用以估计所述设备的运动的速度。

5.根据权利要求3所述的设备，其中估计所述运动的所述强度包括确定来自所述传感器的多个读数的均方差。

6.根据权利要求3所述的设备，其中所述编码器在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

7.根据权利要求5所述的设备，其中所述编码器在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

8.根据权利要求6所述的设备，其中所述编码器在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。

9.根据权利要求7所述的设备，其中所述编码器在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。

10.根据权利要求6到9中任一权利要求所述的设备，其中所述编码器在所述量化参数的所述值增加时移除所述视频内容的若干帧。

11.根据权利要求8到10中任一权利要求所述的设备，其中所述编码器在所述量化参数的所述值减小时***I帧。

12.一种用于对视频内容进行编码的设备，所述设备包括：

用于提供与所述设备相关的运动信息的装置；以及

用于至少部分地基于量化参数对所述视频内容进行编码的装置，其中所述用于对所述视频内容进行编码的装置进一步经配置以响应于所述所提供运动信息而增加所述量化参数的值。

13.根据权利要求12所述的设备，其中所述用于提供运动信息的装置包括加速度计传感器、陀螺仪传感器、磁力计传感器或其任一组合。

14.根据权利要求12到13中任一权利要求所述的设备，其中所述运动信息用以估计所述设备的运动的强度。

15.根据权利要求12到14中任一权利要求所述的设备，其中所述运动信息用以估计所述设备的运动的速度。

16.根据权利要求14所述的设备，其中估计所述运动的所述强度包括确定来自所述传感器的多个读数的均方差。

17.根据权利要求14所述的设备，其中所述用于对所述视频内容进行编码的装置在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

18.根据权利要求16所述的设备，其中所述用于对所述视频内容进行编码的装置在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

19.根据权利要求17所述的设备，其中所述用于对所述视频内容进行编码的装置在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。

20.根据权利要求18所述的设备，其中所述用于对所述视频内容进行编码的装置在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。

21.根据权利要求17到20中任一权利要求所述的设备，其中所述用于对所述视频内容进行编码的装置在所述量化参数的所述值增加时移除所述视频内容的若干帧。

22.根据权利要求19到21中任一权利要求所述的设备，其中所述用于对所述视频内容进行编码的装置在所述量化参数的所述值减小时***I帧。

23.一种对视频内容进行编码的方法，其包括：

使用传感器获得与包括所述传感器和编码器的设备相关的运动信息；

使用所述编码器至少部分地基于量化参数对所述视频内容进行编码；以及

响应于所述所获得运动信息而增加所述量化参数的值。

24.根据权利要求23所述的方法，其中所述传感器包括加速度计传感器、陀螺仪传感器、磁力计传感器或其任一组合。

25.根据权利要求23到24中任一权利要求所述的方法，其中所述运动信息用以估计所述设备的运动的强度。

26.根据权利要求23到25中任一权利要求所述的方法，其中所述运动信息用以估计所述设备的运动的速度。

27.根据权利要求25所述的方法，其中估计所述运动的所述强度包括确定来自所述传感器的多个读数的均方差。

28.根据权利要求25所述的方法，其中在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

29.根据权利要求27所述的方法，其中在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

30.根据权利要求28所述的方法，其进一步包括在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。

31.根据权利要求29所述的方法，其进一步包括在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值。

32.根据权利要求28到31中任一权利要求所述的方法，其中在所述量化参数的所述值增加时移除所述视频内容的若干帧。

33.根据权利要求30到32中任一权利要求所述的方法，其中在所述量化参数的所述值减小时***I帧。

34.一种计算机可读媒体，其存储致使编码器进行以下操作的指令：

接收与包括所述编码器的设备相关的运动信息；

至少部分地基于量化参数对视频内容进行编码；以及

响应于所述所接收运动信息而增加所述量化参数的值。

35.根据权利要求34所述的计算机可读媒体，其中所述运动信息包括来自包括加速度计传感器、陀螺仪传感器、磁力计传感器或其任一组合的传感器的运动信息。

36.根据权利要求34到35中任一权利要求所述的计算机可读媒体，其进一步包括用以致使所述编码器使用所述运动信息来估计所述设备的运动的强度的指令。

37.根据权利要求34到36中任一权利要求所述的计算机可读媒体，其进一步包括用以致使所述编码器使用所述运动信息来估计所述设备的运动的速度的指令。

38.根据权利要求36所述的计算机可读媒体，其中估计所述运动的所述强度包括确定来自所述传感器的多个读数的均方差。

39.根据权利要求36所述的计算机可读媒体，其中在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

40.根据权利要求38所述的计算机可读媒体，其中在所述运动的所述强度满足阈值时增加所述量化参数的所述值。

41.根据权利要求39所述的计算机可读媒体，其进一步包括用以致使所述编码器在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值的指令。

42.根据权利要求40所述的计算机可读媒体，其进一步包括用以致使所述编码器在所述运动的所述强度低于所述阈值时在增加所述量化参数的所述值之后减小所述量化参数的所述值的指令。

43.根据权利要求39到42中任一权利要求所述的计算机可读媒体，其中在所述量化参数的所述值增加时移除所述视频内容的若干帧。

44.根据权利要求41到43中任一权利要求所述的计算机可读媒体，其中在所述量化参数的所述值减小时***I帧。