CN102598665A - 基于图像捕捉参数控制视频编码 - Google Patents

基于图像捕捉参数控制视频编码 Download PDF

Info

Publication number
CN102598665A
CN102598665A CN2010800496488A CN201080049648A CN102598665A CN 102598665 A CN102598665 A CN 102598665A CN 2010800496488 A CN2010800496488 A CN 2010800496488A CN 201080049648 A CN201080049648 A CN 201080049648A CN 102598665 A CN102598665 A CN 102598665A
Authority
CN
China
Prior art keywords
frame
grade
estimated
fuzzy grade
estimated fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800496488A
Other languages
English (en)
Inventor
梁亮
塞波·R·洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102598665A publication Critical patent/CN102598665A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用于使用由例如摄像机等前端装置所检测和估计的参数来改进例如视频编码器等后端装置的功能性的技术。所述技术可涉及估计与在重新对焦过程期间捕捉到的帧相关联的模糊等级。基于所述所估计的模糊等级，在所述摄像机中或在所述视频编码器中调整用于编码模糊帧的量化参数QP。所述视频编码器使用所述经调整的QP来编码所述模糊帧。所述视频编码器还使用所述模糊等级估计值来通过简化所述模糊帧中的运动估计和补偿来调整编码算法。

Description

基于图像捕捉参数控制视频编码
本申请案主张2009年11月6日申请的第61/258,913号美国临时申请案的权益，所述临时申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字多媒体能力可并入到各种各样的装置中，包括数字电视机、数字直播***、无线通信装置、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电话、数字媒体播放器等。数字多媒体装置可实施例如MPEG-2、ITU-H.263、MPEG-4或ITU-H.264/MPEG-4第10部分增强型视频译码(AVC)等视频译码技术，以较高效地发射及接收或存储及检索数字视频数据。
视频编码技术可经由空间及时间预测来执行视频压缩，以减少或去除视频序列中固有的冗余。视频捕捉装置(例如摄像机)可捕捉视频，并将其发送到视频编码器以供编码。视频编码器处理捕捉到的视频，对经处理的视频进行编码，且发射经编码的视频数据以供存储或发射。在任一情况下，对经编码视频数据进行编码以再现所述视频供显示。用于存储或发射视频的可用带宽通常是有限的，且受例如视频编码数据速率等因素影响。
若干因素有助于视频编码数据速率。因此，当设计视频编码器时，关注之一是改进视频编码数据速率。通常，改进实施于视频编码器中，且通常增加了视频编码器的额外计算复杂性，这可抵消改进的频编码数据速率的某些益处。
发明内容
本发明描述用于至少部分地基于视频捕捉装置的一个或一个以上参数来控制视频译码的技术。所述技术可在例如相机等视频捕捉装置中执行。所述视频捕捉装置可感测、测量或产生一个或一个以上参数。
在一个实例中，本发明描述一种方法，其包括：在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及在视频编码器中至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码。
在另一实例中，本发明描述一种***，其包括：用于在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级的装置；以及用于在视频编码器中至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码的装置。
在另一实例中，本发明描述一种***，所述***包括：视频捕捉模块，其用以估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及视频编码器，其用以至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码。
本发明中所描述的技术可以硬件、软件、固件或其任一组合来实施。如果以软件来实施，那么可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上处理器中执行软件。可最初将执行所述技术的软件存储于非暂时计算机可读存储媒体中，且在处理器中加载并执行。
因此，本发明还预期一种计算机可读媒体，其包括用于致使可编程处理器进行以下操作的指令：在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及在视频编码器中至少部分地基于所述帧的所估计的模糊等级而对所述帧进行编码。
本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述内容和图式并从权利要求书中将明白本发明中所描述的技术的其它特征、目标和优点。
附图说明
图1为说明可实施本发明的技术的示范性视频捕捉装置及视频编码器***的框图。
图2为说明可实施本发明的技术的另一示范性视频捕捉装置及视频编码器***的框图。
图3为说明可实施本发明的技术的视频编码器***的实例的框图。
图4为说明视频捕捉装置进行的实例自动对焦重新对焦过程的性能的图。
图5是说明用于编码期间的运动估计的示范性块分区大小的图。
图6A到6C是说明根据本发明的技术的使用捕捉到的帧中的模糊等级的估计值来进行视频编码的流程图。
图7是说明根据本发明的方面使用模糊等级的估计值来简化编码算法的视频编码的流程图。
具体实施方式
本发明描述用于至少部分地基于视频捕捉装置的一个或一个以上参数来控制视频译码的技术。在一些实例中，视频编码器可基于在支持连续自动对焦(CAF)过程的视频捕捉装置中的重新对焦期间对帧中的模糊等级的估计值来控制视频译码。在视频***(例如视频编码***)中，带宽限制可为关注点，且可能受例如视频编码数据速率等参数影响。在一个实例中，根据本发明的技术可基于视频捕捉装置所捕捉到的视频帧的特性来调整视频译码过程的一个或一个以上方面，例如视频编码数据速率。在一个实例中，可基于帧的所估计模糊等级在编码视频帧的过程中更高效地分配位，从而优化视频编码数据速率。
在实时视频记录期间，视频帧中的模糊可由若干因素导致。举例来说，视频捕捉装置的快速运动或正由视频捕捉装置(例如摄像机)捕捉的图像中的对象的快速运动可导致模糊，因为相机或对象移动太快以致无法对焦。模糊还可能在具有CAF的***中的重新对焦阶段期间或当使用手动对焦时的重新对焦期间发生。在使用CAF的视频捕捉装置中，可例如在逐帧基础上连续地调整透镜位置，以实现最佳对焦性能。当关注对象在视频记录期间已改变或移动时，视频捕捉装置通过找到新的关注对象的新的焦平面来重新对焦。在此重新对焦过程期间出现模糊，且装置在找到新的焦平面之前捕捉到的帧在实现重新对焦之前可能模糊。视频编码器通过执行计算以作出关于帧的内容的确定来执行视频数据速率控制。这些计算通常增加了视频编码器的计算复杂性。
本发明的技术可包含基于由视频捕捉装置确定和/或测量的参数来执行视频捕捉装置中的功能。在本发明的一个方面中，视频编码器可通过使用视频编码器从记录视频帧的视频捕捉装置获得的信息来降低额外的计算复杂性。
在一个实例中，视频捕捉装置可估计CAF过程的重新对焦阶段期间(例如，装置的快速运动期间)的视频帧中的模糊量。视频捕捉装置可向视频编码器发送视频帧中的模糊量的估计值。基于视频帧中的模糊量，视频编码器可分配较少的数据速率，即较少的译码位，来编码具有高于某一阈值的模糊量的帧，而不必评估视频编码器内的模糊。事实上，编码器可依靠已经由视频捕捉装置确定的模糊参数。举例来说，视频编码器可分配较少的数据速率来编码模糊帧，因为模糊帧通常具有不受使用较低数据速率影响的较低视觉质量。当视频帧的内容变得模糊时，根据本发明的一个方面，视频编码器可分配较少的数据速率，即译码位，来编码模糊帧，从而在给定模糊的情况下，降低带宽消耗，同时维持可接受的总视觉质量。
在本发明的一个方面中，量化参数(QP)可基于模糊估计值而调整，且可基于帧中的模糊量而变化。在本发明的另一方面中，视频编码器可使用用于预测译码和运动补偿的不同大小的块分区来对帧进行编码。在本发明的另一方面中，视频编码器无需实施用于确定帧是否模糊以及帧中的模糊量的算法，因为这些是由视频捕捉装置决定的。
使用本发明的技术，简化的视频编码算法可降低视频编码器的计算复杂性，且较低的数据速率可减小视频编码器所使用的带宽。可从视频捕捉装置向视频编码器报告模糊估计值。视频编码器又可确定特定帧是模糊的，而不花费编码器资源来检测模糊(这在由视频编码器进行时可能是计算密集型操作)。代替的是，视频编码器可依靠视频捕捉装置所评估的模糊估计值。
本发明的方面可用于多种记录装置的任一者中，所述记录装置可为独立的记录装置或***的一部分。出于此论述的目的，使用摄像机作为示范性视频捕捉装置。
图1为说明可实施本发明的技术的示范性视频捕捉装置和视频编码器***100的框图。如图1中所示，***100包含视频捕捉装置102，例如摄像机，其捕捉视频流且经由链路120将视频流发送到视频编码器110。视频捕捉装置102和视频编码器110可包括各种各样的装置中的任一者，包含移动装置。在一些实例中，视频捕捉装置102和视频编码器110包括无线通信装置，例如无线手持机、个人数字助理(PDA)、移动媒体播放器、相机或可捕捉并编码视频数据的任何装置。在一些实例中，视频捕捉装置102和视频编码器110可包含于同一外包壳中，作为同一***的一部分。在其它实例中，视频捕捉装置102和视频编码器110可驻存在两个或两个以上不同装置中，且可为两个或两个以上不同***的一部分。如果视频捕捉装置102和视频编码器110驻存在两个或两个以上不同装置中，那么链路120可为有线或无线链路。
在图1的实例中，视频捕捉装置102可包含输入传感器单元104、CAF单元106以及模糊估计单元108。视频编码器110可包含QP重新调整单元112、帧模糊评估单元114以及编码单元116。根据本发明，视频捕捉装置102可经配置以估计帧的模糊等级，且将模糊估计值发送到视频编码器110。视频编码器110可使用模糊信息来确定适当的视频编码数据速率且/或简化视频编码算法。
视频捕捉装置102的输入传感器104可感测用于捕捉的帧图像内容。输入传感器单元104可包含耦合到传感器的相机透镜，所述传感器例如为电荷耦合装置(CCD)阵列或另一图像感测装置，其经由相机透镜接收光，且响应于接收到的图像而产生图像数据。视频捕捉装置102可在记录视频的同时利用CAF过程。在CAF过程中，相机透镜位置可连续地调整以实现在视频帧中的对象上的可接受对焦。当新的关注对象进入正被输入传感器单元104捕捉的场景中时，用户移动视频捕捉装置110以捕捉不同对象或不同场景，或者场景内的对象移动，输入传感器单元104可检测新对象的存在。输入传感器单元104可接着将信号发送到CAF单元106，CAF单元106分析接收到的信号，且基于所述信号的对焦值来确定在所述场景中检测到新对象，且触发重新对焦过程。新对象上的重新对焦可涉及例如以下动作：调整透镜位置，直到视频捕捉装置通过分析从输入传感器单元104接收到的信号的对焦值而实现所要对焦为止，其中每一信号包含帧的像素。CAF单元106可将指示CAF单元106正执行重新对焦过程的指示发送到模糊估计单元108。模糊估计单元108可在重新对焦正发生时估计帧中的模糊。模糊估计单元108可估计与帧n相关联的模糊B(n)，且将B(n)发送到视频编码器110。下文将更详细地描述估计模糊等级。
视频编码器110可接收对具有模糊的帧的模糊估计值B(n)，且可在对视频帧进行编码的过程中利用所述模糊等级，而不必执行额外计算以确定帧中的模糊量。在一个实例中，视频编码器110可将模糊等级用于QP重新调整112。换句话说，视频编码器110可基于帧的所估计模糊等级来调整用于对帧进行编码的QP值。
QP调节经编码图像中所保留的细节量。视频编码器在编码期间执行(例如)残余值的量化。残余值可为表示残余值块的离散余弦变换(DCT)系数值，所述残余值块表示待译码的原始块(例如宏块)与参考帧中的用于对所述块进行译码的预测块之间的残余失真。在一个实例中，当编码器将非常小的QP值用于较高量化时，较大量的图像细节得以保持。然而，使用非常小的QP值导致较高的编码数据速率。随着QP值增加，视频编码速率降低，但细节中的一些丢失，且图像可能变得更为失真。在模糊图像中，图像的细节已经失真，且视频编码器可增加QP，而不影响图像的质量。视频编码器可实施算法以确定帧是否模糊。然而，这些算法增加了视频编码器的计算复杂性。
根据本发明的技术，视频编码器110可能无需确定帧是否模糊。代替的是，视频编码器110可从视频捕捉装置102接收帧为模糊的指示。在一个实例中，视频编码器110可接收待编码的帧n的所估计模糊等级B(n)，且基于所述模糊等级来确定增加还是减小QP。换句话说，视频编码器110可基于从视频捕捉装置102获得的所估计模糊等级B(n)来调整QP值。在一个实例中，视频编码器110可使用较大QP来编码具有较高模糊量的帧，且使用较小QP来编码具有较低模糊量的帧。以此方式，视频编码器110可将较多译码位分配给较不模糊的帧，且将较少译码位分配给较模糊的帧。尽管本文将较大和较小QP值描述为分别对应于较多和较少量化，但对于一些译码技术，可为相反情况。
在另一实例中，视频编码器110可利用模糊等级来简化由视频编码器110实施的编码算法。简化的编码算法可为(例如)针对运动估计搜索使用整数像素精度而不是分数像素精度的算法。其它编码算法简化可涉及(例如)利用跳过模式，修改用于运动估计中的参考图片列表，以及修改用于预测代码和运动补偿的块分区大小，如下文更详细地阐释。在图像编码中，基于周围像素的色彩和强度值而使用内插来近似表示像素色彩和强度，且内插可用于改进帧间译码中的压缩。帧间译码是指用以跟踪邻近帧内的移动的运动估计，且指示帧内的块相对于一个或一个以上参考帧中的对应块的移位。在编码期间，编码器可确定块在帧内的位置。可通过使用子像素或分数内插在分数像素等级搜索块来改进压缩等级。分数越小，编码器实现的压缩越高，但编码算法的计算越密集。举例来说，可执行内插以产生分数或子像素值(例如，二分之一和四分之一像素值)，且编码算法可基于内容使用不同的精度等级。对于较详细的帧或帧内的块，编码算法可利用较小的子像素值(例如四分之一)，其将要求在四分之一像素位置处内插像素值。对于较不详细的帧或帧内的块，编码算法可利用二分之一像素值的内插。在此实例中，与内插二分之一像素值相比，内插四分之一像素值可提供较好的运动估计，但计算较密集。在模糊帧中，图像中具有较少细节，且因此，在子像素等级的内插对于保留图像的细节可能不是必要的。因此，可利用整数像素精度来编码运动估计块，其中编码算法查找所述像素值，因此避免内插像素值的增加的计算复杂性。视频编码器110可在B(n)评估单元114中将帧的所估计模糊等级B(n)与阈值进行比较，以确定是否实施简化的编码算法。在一个实例中，可将所述阈值设定为默认值。在另一实例中，可基于视频捕捉装置102和/或视频编码器110中的设定值而改变所述阈值。在另一实例中，阈值可由***的用户定义。举例来说，模糊等级可为范围[0，1]内的值，且作为默认，可将阈值设定为0.5，或模糊等级值范围的中点。在其它实例中，可根据用户偏好设定阈值。如果B(n)评估单元114确定所估计的模糊高于阈值，那么B(n)评估单元114信令编码算法单元116实施适当的简化算法来编码模糊帧。
图2为说明可实施本发明的技术的另一示范性视频捕捉装置及视频编码器***200的框图。图2的实例大体上对应于图1的实例，但视频编码器在图1中执行的计算的一部分可在图2的视频捕捉装置202中执行，如下文将更详细地论述。如图2中所示，***200包含视频捕捉装置202，例如摄像机，其捕捉视频流且经由链路220将视频流发送到视频编码器210。视频捕捉装置202和视频编码器210可包括各种各样的装置中的任一者，包含移动装置。在一些实例中，视频捕捉装置202和视频编码器210包括无线通信装置，例如无线手持机、个人数字助理(PDA)、移动媒体播放器、相机或可捕捉并编码视频数据的任何装置。在一些实例中，视频捕捉装置202和视频编码器210可包含于同一外包壳中作为同一***的一部分。在其它实例中，视频捕捉装置202和视频编码器210可驻存在两个或两个以上不同装置中，且可为两个或两个以上不同***的一部分。如果视频捕捉装置202和视频编码器210驻存在两个或两个以上不同装置中，那么链路220可为有线或无线链路。
在图2的实例中，如在图1的实例中一样，视频捕捉装置202可包含输入传感器204、CAF单元206以及模糊估计单元208。另外，在此实例中，视频捕捉装置202包含QP重新调整单元212。视频编码器210可包含量化单元218、帧模糊评估单元214以及编码算法单元216。根据本发明，视频捕捉装置202可经配置以估计帧的模糊等级，且基于所估计的模糊等级重新调整QP。视频捕捉装置202可从视频编码器210接收先前QP值，基于所述先前QP值，视频捕捉装置202可计算经重新调整的QP值。在一个实例中，经重新调整的QP值可基于帧中的模糊等级，且编码较不模糊的帧可利用较多量化(例如，较小QP)，且较模糊的帧可利用较少量化(例如较大QP)，其中经重新调整的量化可不超过视频编码器210所使用的先前量化量。视频捕捉装置202可将经重新调整的QP和模糊估计值发送到视频编码器210。视频编码器210可使用模糊信息来确定适当的视频编码数据速率且/或简化视频编码算法。视频编码器210可在量化期间使用经重新调整的QP。在此实例中，基于模糊等级估计值调整QP可进一步降低视频编码器210中的计算复杂性。视频编码器210可基于除模糊之外的因素进一步重新调整QP。
视频捕捉装置202的输入传感器204可感测用于捕捉的帧内容。所捕捉的场景的改变可导致输入传感器204将信号发送到CAF单元206，且触发重新对焦过程，如上文结合图1所描述。CAF单元206可将指示CAF单元206正执行重新对焦过程的指示发送到模糊估计单元208。模糊估计单元208可在重新对焦正发生时估计帧中的模糊。模糊估计单元208可估计与帧n相关联的模糊B(n)，且将B(n)发送到QP重新调整单元212。QP重新调整单元212可利用模糊等级来重新调整帧的QP，如上文所述。视频捕捉装置202可将帧n的模糊估计值B(n)和经调整的QP发送到视频编码器210。
在一些实例中，视频编码器210可接收对具有模糊的帧的模糊估计值B(n)和经调整的QP，且可在例如对视频帧进行编码的过程中利用所述模糊等级，而不必执行额外计算以确定帧中的模糊量。在一个实例中，视频编码器210可在量化单元218中利用经重新调整的QP来量化与帧n中的块的残余数据相关联的系数值。
除利用经重新调整的QP之外，视频编码器210还可利用模糊等级来进一步简化由视频编码器210实施的编码算法。简化的编码算法可为(例如)针对运动估计搜索使用整数像素精度而不是分数像素精度的算法，如上文所述。其它编码算法简化可涉及(例如)利用跳过模式，修改用于运动估计中的参考图片列表，以及修改用于预测代码和运动补偿的块分区大小，如下文更详细地阐释。在一个实例中，视频编码器210可基于所估计的模糊等级确定要使用编码算法简化方法中的哪一者。在一个实例中，如下文进一步论述，视频编码器210可实施一种或一种以上编码算法简化方法。视频编码器210可在B(n)评估单元214中将帧的所估计模糊等级B(n)与阈值进行比较，以确定是否实施简化的编码算法以及实施哪些简化的编码算法。在一个实例中，可将所述阈值设定为默认值。在另一实例中，可基于视频捕捉装置202和/或视频编码器210中的设定值而改变所述阈值。在另一实例中，阈值可由***的用户定义。如果B(n)评估单元214确定所估计的模糊高于阈值，那么B(n)评估单元214信令编码算法单元216实施适当的简化算法来编码模糊帧。
图3为说明可实施本发明的技术的视频编码***300的实例的框图。如图3中所示，***300包含视频编码器310，以及模糊估计单元308和QP重新调整单元312。模糊估计单元308可为图1的模糊估计单元108或图2的模糊估计单元208的实例。在一个实例中，QP重新调整单元312可为视频编码器310的一部分。在此实例中，视频编码器310可为图1的视频编码器110的实例。在另一实例中，QP重新调整单元312可不是视频编码器310的一部分。在此实例中，视频编码器310可为图2的视频编码器210的实例。视频编码器310包含常规视频编码器的元件以及实施本发明的技术的元件。视频编码***300可编码由视频捕捉装置(例如图1的视频捕捉装置102或图2的视频捕捉装置202)捕捉的视频帧。F(n)302可表示视频编码器正处理以供编码的当前帧。
在其平常操作期间，即当帧对焦且视频捕捉装置中未发生重新对焦时，如果视频编码器310正在帧间预测模式下操作，那么视频编码器310可对当前帧执行运动估计。或者，如果视频编码器310在帧内预测模式下操作，那么视频编码器310可对当前帧执行帧内预测。使用选择器332，视频编码器310可在帧间预测与帧内预测之间切换。举例来说，如果帧中的所估计模糊等级超过某一阈值，那么视频编码器310可通过使用选择器332激活运动补偿单元316而在帧间预测模式下操作。当在帧间预测模式下操作时，除表示帧间预测数据与当前帧之间的差异的残余数据之外，视频编码器310还可将运动向量数据用于运动补偿，如下文将更详细地描述。
在一个实例中，视频编码器310可在帧内预测模式下操作。可将帧内预测数据从当前帧302减去，以产生残余数据，且结果可经历变换单元322中的变换，例如离散余弦变换(DCT)，以产生表示残余数据的变换系数。经变换的帧数据(例如变换系数)可接着经历量化单元324中的量化。视频编码器310可具有默认QP，其确保某一图像质量，其中较高的量化程度保留经编码帧中的较多细节，但导致较高的数据速率，即经分配以编码给定帧或块的残余数据的位的较高数目。经量化的帧数据可接着经历熵译码单元326，以供进一步压缩。经量化的帧可反馈到逆量化单元330和逆变换单元328，且可与来自帧内预测单元318的结果组合，以获得未经滤波的信号。未经滤波的信号可经历去块滤波器320，这产生经重构的帧F(n)，其可用作用于编码其它帧的参考帧。
在一个实例中，视频捕捉装置(例如摄像机)的输入传感器(例如，图1的输入传感器104或图2的204)可检测新的关注对象何时进入正被捕捉的场景中，或用户可重定向输入传感器以捕捉不同对象或不同场景。检测新对象可致使视频捕捉装置起始重新对焦以在新对象上重新建立对焦。重新对焦可使调整透镜位置成为必要，直到实现所要对焦为止。在重新对焦期间，捕捉到的帧可能不具有所要对焦，且因此可能是模糊的。视频编码***300可利用帧的模糊来降低模糊帧的编码数据速率，且/或简化应用于模糊帧的编码算法。
根据本发明的技术，视频捕捉装置中的模糊估计单元308可估计帧F(n)的模糊B(n)。视频捕捉装置(例如图1的装置102或图2的装置202)可在模糊估计单元314中估计帧的模糊等级。视频捕捉装置可将所估计的模糊等级发送到QP重新调整单元312，其中基于所估计的模糊等级重新调整QP值，如上文所述。在一个实例中，QP重新调整单元312可在视频捕捉装置中，如图2中所示。在另一实例中，QP重新调整单元312可在视频编码器310中，如图1中所示。QP重新调整单元312可基于所估计的模糊等级重新调整QP值。视频编码器310可进一步基于其它因素重新调整QP值。
视频捕捉装置还可将所估计的模糊等级发送到视频编码器310，其中帧模糊评估单元314将所估计的模糊等级B(n)与阈值进行比较，以确定是否实施简化的编码算法。如图3展示，如果B(n)高于阈值，那么模糊评估单元314将使用简化的编码算法的信号发送到运动估计单元310。在一个实例中，编码的简化可包含(例如)调整像素精度等级，以便在运动估计块搜索中不需要像素的子像素内插或需要像素的较小子像素内插(例如，1/2而不是1/4或更小)，这使得减少待译码的数据量。举例来说，如果所估计的模糊等级超过阈值，那么视频编码器310可选择性地激活整数像素精度运动估计搜索，而不是分数像素精度运动估计搜索。在此实例中，代替于花费计算资源来将分数像素内插在参考帧内，视频编码器310可依靠整数像素精度且不执行内插。通过使用整数像素精度，视频编码器310可选择不如使用分数像素精度选择的块准确的预测块。然而，对于已经模糊的帧，降低的精度可能不会显著影响图像质量。因此，整数精度可为可接受的。通过消除对执行子像素内插的需要，视频编码器310执行较少计算，这导致使用较少的例如电力等***资源，且减少编码期间的处理时间和等待时间。在另一实例中，编码的简化可涉及通过将帧内的较大块用于运动估计来调整块分区等级。举例来说，在H.264标准中，帧可分区成大小为16x16、8x16、16x8、8x8、8x4、4x8和4x4的块。举例来说，如果所估计的模糊等级超过阈值，那么视频编码器310可选择较大块分区，例如16x16，以用于运动估计搜索。在此实例中，与编码较不模糊的帧时相比，视频编码器310使用较少的块来编码较模糊的帧，因为每一帧将由较少块组成，且因此，针对所述帧将编码较少的运动向量。通过使用较大的块分区，且因此，每帧较少块，视频编码器310编码较少的运动向量，这导致使用较少的***资源。在又一实例中，编码的简化可包含在跳过模式下操作，其中视频编码器310跳过帧而不对其进行编码，例如视频编码器310丢弃这些帧。如果所估计的模糊等级超过帧序列的的阈值，那么视频编码器310在模糊等级如此高以致连续帧群组将看起来大体上相同的假设的基础上操作。因此，视频编码器310可编码模糊帧中所估计的模糊等级高于某一阈值的一者，且跳过对其它大体上相同的帧的编码。当随后解码和/或显示捕捉到的视频时，可一次解码一个经编码帧，且代替跳过的帧而重复以供显示。通过使用跳过模式，视频编码器310编码一个帧，而不是一组帧，因此减少编码视频序列所需的计算量，且减少编码期间所消耗的电力量。另外，编码一个帧而不是多个帧减少编码过程期间的处理时间的等待时间。如果所估计的模糊等级高于阈值，那么视频编码器310还可利用编码帧内的块的跳过模式，其中视频编码器310编码一个块，且使用经编码的块代替可能因模糊等级而无法辨别的其它块。
如果B(n)高于阈值，那么模糊评估单元314还将信号发送到参考帧单元304。参考帧单元304可将参考帧F(n)设定为先前帧F(n-1)。参考帧单元304将信息发送到运动补偿单元316，运动补偿单元316可使用帧间预测模式，即使用来自其它帧而不是当前帧的数据，在当前模糊帧中执行运动补偿。因此，模糊等级B(n)可控制用于预测的帧间模式与帧内模式之间的选择332。可将帧间预测数据从当前帧302减去，且结果可经历变换322，例如离散余弦变换(DCT)。
根据本发明的技术，可将所估计的模糊等级发送到QP重新调整单元312，QP重新调整单元312可在视频编码器(图1)中或在视频捕捉装置(图2)中。QP重新调整单元312基于帧中的模糊量B(n)而调整QP。在一个实例中，如果所估计的模糊等级高于阈值，那么重新调整QP值。在另一实例中，评估帧中的模糊等级，且基于帧中的模糊等级而重新调整QP值，其中重新调整的量与帧中的模糊严重性成比例。
在一个实例中，帧中的模糊可能不是太严重，且因此，QP的重新调整可能不是优选的。因此，当所估计的模糊等级不超过阈值时，可使用默认QP值来执行量化。在另一实例中，QP重新调整单元312可基于所估计的模糊等级B(n)而确定帧中是否存在某一模糊量，以在所估计的模糊等级超过阈值时增加QP。随着QP增加，视频编码速率降低，但细节中的一些丢失，且图像可能变得更加失真。在模糊图像中，图像的细节已经失真，且增加量化等级可对图像质量具有非常小的可察觉影响。QP重新调整单元312可将经调整的QP(QPnew)发送到量化单元324。量化单元324可使用QPnew来量化从变换单元322接收到的经变换的残余帧数据，例如残余数据变换系数值。经量化的帧数据可接着经历熵译码326，以供进一步压缩、存储或发射经编码的数据。编码器可将经量化的残余变换系数数据反馈给逆量化单元330和逆变换单元328，且可与来自帧间预测316的结果组合，以获得表示帧或帧内的块的经重构数据。经重构数据可经历去块滤波器320，其产生经重构的帧F(n)。
图4为说明实例自动对焦重新对焦过程(其可称为CAF过程)的图。在本发明的一个方面中，CAF功能性可实施于视频捕捉装置(例如图1的视频捕捉装置102或图2的视频捕捉装置202)中。CAF过程可为(例如)无源自动对焦算法，其可包含可由CAF单元106(图1)或206(图2)执行的对比度测量以及搜索算法(以及其它功能性)。对比度测量可基于通过对所捕捉到的帧中的对焦窗上的亮度值进行高通滤波而获得的对焦值(FV)。当达到最高对比度时，即当FV达到峰值时，自动对焦算法可确定实现最佳或最优对焦。CAF单元可实施搜索算法以在达到最高或最优对比度(即，FV达到峰值)的方向上调整透镜位置，使得可在帧内实现最佳或最优对焦。
如图4中所示，可将对焦值(FV)标绘为透镜位置的函数。透镜位置范围可表示视频捕捉装置(例如摄像机)的透镜的范围，从近端透镜位置(402)到远端透镜位置(404)变动。最优焦点处的帧可具有峰值对焦值FV0(406)。在此实例中，新对象可进入帧中，从而产生触发CAF单元106或206起始重新对焦过程的信号。此时，帧的对焦值可从FV0(406)降到FV1(408)，而透镜位置尚未开始改变。接着可逐步调整透镜位置，直到达到新的最优或峰值对焦值为止。在此实例中，在新的透镜位置处，最优对焦值可为FV10(410)。在重新对焦过程期间，视频捕捉装置***可确定每一透镜位置处的对焦值，直到实现最优值为止。在确定搜索方向，即确定透镜位置是转向近端(402)还是远端(404)的过程中，当重新对焦被触发时，可通过找到FV增加的方向来估计搜索方向。在此实例中，重新对焦过程的第一值可为FV1(408)。在下一步骤中，透镜位置可转向近端(402)，且可确定对应的对焦值FV2(412)，其在此情况下可小于FV1(408)。由于FV2(412)小于FV1(408)，所以视频捕捉装置***确定搜索方向应朝向透镜位置的远端(404)，因此远离FV2(412)。
随着透镜位置的每次改变，捕捉帧，且确定对焦值，如由FV3到FV9所说明。在一个实例中，当到达FV10(410)时，透镜位置可在同一方向上连续改变，在此实例中，朝远端位置(404)改变，直到一系列中的特定数目的步骤给出比已经达到的对焦值低的对焦值为止。举例来说，达到FV10(410)，且在此***中，可将额外步骤的数目设定为三。因此，透镜位置可增加另外三个步骤，从而产生FV11、FV12和FV13，其全都低于FV10(410)。视频捕捉装置可接着确定FV10(410)可为新的最优对焦值，且返回到对应于FV10(410)的透镜位置。
如上文所提到，可针对在FV1(408)之间捕捉到的每个帧确定模糊等级，且直到FV10(410)被分配作为新的最佳对焦值为止。可如上文所述利用每一步骤处的模糊等级，即用以确定是否重新调整用于编码相关联帧的QP，且在一些情况下，确定对QP进行调整的程度。还可将帧的模糊等级与阈值进行比较，以确定是否简化用于所述帧的编码算法。
在一个实例中，可基于帧的对焦值和前面帧的对焦值来确定帧的模糊等级。可基于初始下降(即从FV0(406)到FV1(408))之后的对焦值改变的百分比(与原始对焦值(即，FV0)相比)来估计初始模糊等级B(1)，如下：
B 1 = | FV 1 - FV 0 | FV 0
当确定搜索方向时，如上文所论述，可逐步调整透镜以实现最佳对焦位置。可如下评估此过程期间的模糊：
Figure BDA0000159847040000122
其中K可为用于将模糊等级正规化到选定范围(例如[0，1])的可调整常数。Bi为帧i的所估计模糊等级，且FVi为与帧i相关联的对焦值。在一个实例中，K的默认值可为FV1，因为FV1是重新对焦过程开始时的初始FV值。通过将K设定为FV1，将重新对焦过程期间的模糊等级正规化为初始FV值，这导致将模糊等级正规化到范围[0，1]。Gi为梯度的绝对值，且可计算如下：
Figure BDA0000159847040000131
其中透镜Pi为对应于FVi(当前帧的对焦值)的透镜位置，且透镜Pi-1为对应于FVi(先前帧的对焦值)的透镜位置。
在一个实例中，当确定FVN的峰值时，重新对焦过程可结束，且可使模糊复位到其初始值，从而指示所述帧对焦。在此实例中，可使模糊复位到零，BN＝0。
在本发明的一个实例中，CAF可能不是针对每一帧都有效。如果重新对焦过程期间存在帧跳过，那么可使跳过的帧的模糊等级保持与先前计算的模糊等级相同：
Bi＝Bi-1
在本发明的一个方面中，可实时确定如上文所述的模糊，且可实现实时或大体上实时的编码，其中可利用模糊等级来控制视频数据速率和/或编码算法的简化。
在本发明的另一方面中，可在具有延迟的情况下在CAF重新对焦期间评估模糊。可在CAF重新对焦过程期间通过评估新的焦平面的透镜位置与重新对焦过程期间的先前透镜位置之间的透镜位置差来估计帧i的模糊B[i]，例如如由以下等式所指示：
B[i]具体延迟＝k|透镜位置[N]-透镜位置[i]
N为当可找到新的焦平面时，重新对焦过程结束时的透镜位置的索引，且i＝0，...，(N-1)。k为可调整常数，透镜位置[i]为与所述新的焦平面相关联的透镜位置，且透镜位置[N]为与先前重新对焦过程相关联的透镜位置。
在一个实例中，可需要将模糊等级的值限制到某一范围，且常数k的值可取决于所界定的范围。举例来说，可将模糊等级限制到范围[0，1]，且在此实例中
Figure BDA0000159847040000132
其中透镜远端为最大透镜位置，且透镜近端为最小透镜位置。
在其中可在延迟的基础上评估模糊的实例中，一旦确定最佳对焦位置，就可较准确地评估从当前透镜位置到所要透镜位置(即，对应于最佳对焦的透镜位置)的距离。在此实例中，可仅为在初始位置与最佳对焦位置之间的帧确定模糊。
在CAF重新对焦过程期间，可在每一搜索步骤处逐帧评估模糊。可根据帧内容的所估计的模糊等级，为了数据速率节省而重新调整用于编码当前帧的QP。在一个实例中，帧越模糊，用于编码对应帧的量化越少，因为帧中的尖锐边缘信息越少且细节越少。在一些实例中，量化程度可与QP值成比例。在一些实例中，量化程度可与QP值成反比。在任一情况下，QP值可用以指定量化程度。因此，可为较模糊的帧分配较低的编码数据速率。在一些实例中，可使用译码速率的所得节省将较多译码位分配给非模糊帧，或具有较少模糊的帧。
在一个实例中，可通过QP重新调整单元112(图1)或212(图2)如下确定QP重新调整：
QP i new = QP 0 org + a × QP max × B i QP 0 org
QPmax可为特定视频编码***中所允许的最大QP值。在此实例中，量化可与QP值成比例，例如如同在H.264编码中。举例来说，在H.264中，QPmax＝51；
QPi new可为对应于重新调整之后的FVi的新的QP值；
QP0 org可为由视频编码器应用于编码所述帧的FV0下的初始QP；
Bi可为对应于重新对焦过程期间的FVi的模糊等级；且
a可为在界定为适合于***设计的范围内选择的常数参数，且用以正规化QP的改变，使得QPnew保持在设定范围内，所述设定范围可依标准而定。举例来说，在H.264中，QP值的范围为[0，51]。在一个实例中，a可在范围[0，10]内，且10可为默认值。用户可基于用户希望针对模糊帧实施的位减少的程度来选择a的值。
在一个实例中，可在重新对焦过程期间应用QP重新调整。当重新调整完成时，可使QP复位到原始QP值QP0 org。在一个实例中，在重新对焦期间，可独立于先前计算的QP值计算每一新的QP值。
在一个实例中，本发明的方面可结合H.264视频编码***使用。H.264视频编码已实现压缩性能和速率失真效率相对于现有标准的显著改进。然而，计算复杂性可因编码的某些方面(例如运动补偿过程)而增强。H.264支持从16x16到4x4范围内的运动补偿块。可针对可能的块分区组合中的每一者计算速率失真成本。可选择可产生最小速率失真性能的块分区作为块分区决策。在运动补偿过程中，参考帧可多达16个先前编码的帧，这也可增加***的计算复杂性。在H.264视频编码中，可使用小至1/4或1/8的子像素预测的预测，且可使用内插方法来计算子像素值。
如上文所论述，在H.264视频编码中，块分区可以任何组合在16x16(502)到4x4(514)范围内，如图5中所说明。举例来说，一旦选择8x8(508)块分区，每一8x8块就可具有8x4(510)、4x8(512)或4x4(514)的分区选择。
在一个实例中，可基于CAF重新对焦期间的模糊等级来简化视频编码器的视频编码算法。可使用上述方法中的至少一者来估计模糊等级。可将所估计的模糊等级与预定义的块分区阈值进行比较：
Bi≥阈值块分区
其中Bi为帧i的所估计模糊等级，且Threshold_blockpartition为可基于其调整块分区等级的阈值。举例来说，根据用户的偏好或***要求，可将阈值调整为在范围(例如)[0，1]内的值。阈值越高，触发编码算法的简化所需的模糊等级越高。
在一个实例中，如果所估计的模糊等级超过阈值，那么视频编码器310(图3)可选择较大块分区，例如16x16(502)、16x8(506)、8x16(504)和8x8(508)，因此减少视频编码器对给定帧或帧群组进行编码所需的运动补偿的量。较大块分区的使用意味着将每一帧划分为较大块，且因此，视频编码器将编码每帧较少数目的块。因此，视频编码器将编码较少的运动向量，且因此将使用较少的***资源，例如电力和存储器。在一个实例中，视频编码器可基于帧中的模糊严重性来选择块分区。举例来说，较大块分区(例如16x16、16x8或8x16)可用于具有较高模糊等级的帧，且稍小的块分区(例如8x8)可用于具有较低模糊等级的帧。如果模糊等级超过阈值，那么可将较小的块分区(例如8x4、4x8和4x4)排除在考虑之外，且基于模糊的严重性，可如上文所述选择较大块分区中的一者。
在另一实例中，可通过限制视频编码器从中选择参考帧的帧范围来实现编码算法简化。使用与参考帧选择相关联的阈值，视频编码器可将参考帧选择缩减到仅先前编码的帧：
Bi≥阈值参考
其中Bi为帧i的所估计模糊等级，且Threshold_reference为可基于其调整参考图片列表的阈值。在视频编码中，当对帧进行编码时，可从参考图片列表选择参考帧，以用于运动估计目的。视频编码器可确定最合适的参考帧，且将其搜索到当前帧以编码运动估计数据。在一个实例中，如果帧中的所估计模糊等级超过阈值，那么视频编码器可将参考图片列表限制为帧的子集，例如在当前模糊帧前面的帧。
通过利用模糊估计，当模糊等级高于预定义的阈值时，可信令跳过模式(例如，在H.264中)。跳过模式的选择激活还可降低编码数据速率。使用与帧跳过模式相关联的阈值，视频编码器可确定激活跳过模式：
Bi≥阈值帧跳过
其中Bi为帧i的所估计模糊等级，且Threshold_frameskip为可基于其激活帧跳过模式的阈值。在一个实例中，如果所估计模糊等级超过帧跳过模式的阈值，那么视频编码器可激活跳过模式，且可跳过(即，丢弃)所述帧而不进行编码。在一个实例中，帧跳过的阈值可大于其它编码算法简化技术(例如像素精度等级、块分区等级和参考图片列表修改)的阈值。在一个实例中，可首先将帧的所估计模糊等级与帧跳过阈值进行比较，使得如果模糊等级超过阈值，且将跳过所述帧，那么视频捕捉装置无需执行与阈值的其它比较，因为视频编码器无需编码与所述帧相关联的任何内容。在一个实例中，可基于简化算法进行的次序以特定次序来执行所估计模糊等级与各种阈值的比较。举例来说，可在分区块等级和像素精度等级确定之前执行参考图片列表的修改。
在另一实例中，可使用重新对焦期间的模糊估计来信令可具有模糊内容的帧，使得视频编码器实施去模糊算法并将所述算法应用于这些帧。视频编码器可不必作出帧为模糊的确定，且仅在其接收到来自视频捕捉装置的指示模糊内容的存在的信号时应用去模糊算法。在另一实例中，可使用所估计模糊等级来确定模糊帧所需的去模糊的量，其中基于模糊等级，视频编码器选择对应的去模糊算法，或界定由去模糊算法使用的对应参数。以此方式，视频编码器可根据帧中的模糊等级应用不同的去模糊等级。
根据本发明，视频编码器可能无法获得重新对焦统计(例如，FV值、透镜位置)，且可能因此无法基于重新对焦统计确定帧中的模糊量。因此，视频编码器可能需要执行更计算密集的计算来确定帧中的模糊。使用本发明的方面，视频捕捉装置可估计重新对焦期间的模糊等级，且将模糊等级发送到视频编码器。在本文所描述的实例中，可利用不同策略来评估重新对焦期间的模糊等级。在一个实例中，可在视频编码中使用QP重新调整，以基于重新对焦期间的模糊等级更好地控制和减小视频数据速率。在一个实例中，可使用所估计的模糊来改进视频编码算法简化。在另一实例中，视频捕捉装置可估计模糊以识别由CAF重新对焦引起的模糊帧及其模糊等级。视频捕捉装置可将模糊信息发送到视频编码器，视频编码器可应用去模糊技术来对帧内容进行去模糊。
在本发明的实例中，所论述算法的计算可因若干因素而利用较少的计算资源。举例来说，作为AF过程的一部分，例如由FV指示的模糊等CAF统计可能已经在视频捕捉装置本身中处理。因此，编码器中可能需要很少的额外计算或不需要额外计算来计算(例如)透镜位置和对焦值。而且，举例来说，模糊等级估计可涉及与用于计算的常数参数的简单减法、除法和乘法。此外，举例来说，CAF重新对焦期间的QP重新调整的计算可为简单且直接的，而无需视频编码器的过多的额外计算复杂性，或如果在相机***中进行，那么可减少来自编码器侧的一些计算。上文所描述的技术和方法可在告知视频编码器模糊帧内容方面有用，而不导致伴随视频编码器中的额外计算的延迟。另外，在某些情形中，如上文所论述，除高效地降低编码数据速率之外，还可通过在不导致延迟的情况下识别模糊帧内容来显著降低运动补偿的计算复杂性。
图6A到6C是说明根据本发明的实例技术的使用捕捉到的帧中的模糊等级的估计值来控制视频编码的流程图。图6的过程可在视频***中由前端装置(例如视频捕捉装置或摄像机)和后端装置(例如视频编码器)执行。图6的过程的不同方面可分配在视频捕捉装置与视频编码器之间。举例来说，可在视频编码器(图1)或视频捕捉装置(图2)中执行QP重新调整。
如图6中所示，具有CAF的视频捕捉装置102(图1)可正在捕捉帧且将帧发送到视频编码器110(图1)。视频捕捉装置可基于捕捉到的帧的对焦值的下降确定帧中已发生改变，从而产生减小的对焦(602)。视频捕捉装置可具有输入传感器单元104(图1)，其捕捉视频帧，且确定捕捉到的帧的对焦值何时已下降，因此指示帧中的可能模糊。对焦的下降可能是因新的对象进入场景中或从场景移出或在场景周围移动或因视频捕捉装置的用户而产生的新的场景而导致，无论是有意还是无意，从而使视频捕捉装置朝新的对象或场景重定向。输入传感器单元可基于捕捉到的帧确定所述帧的FV，且将其与先前帧FV进行比较。当FV下降时，输入传感器单元可向视频捕捉装置内的CAF单元106(图1)信令检测到的下降(604)。响应于FV中的所指示的下降，CAF单元起始重新对焦过程(606)。重新对焦过程可涉及例如以下动作：调整透镜位置，直到视频捕捉装置实现所要对焦(例如如通过FV达到峰值所指示)为止。当视频捕捉装置正在执行重新对焦过程时，捕捉到的帧可离焦，且因此可能模糊。视频捕捉装置可估计在重新对焦过程期间捕捉到的每一帧中的模糊等级(608)。视频捕捉装置可包含模糊估计单元108(图1)，其实施算法以估计帧模糊等级，如上文所描述。接着可使用所估计模糊等级来重新调整视频编码器在其量化功能性中利用的QP。QP控制应用于由编码器产生的残余变换系数值的量化的程度。当编码器利用较多量化时，较大量的图像细节得以保留。然而，使用较多量化产生较高的编码数据速率。随着量化减少，视频编码速率降低，但细节中的一些丢失，且图像可能变得更加失真。在模糊图像中，图像的细节已经失真，且视频编码器可减少量化，而不影响图像的质量。根据本发明，视频捕捉装置或视频编码器可基于帧中的模糊量针对在重新对焦过程期间捕捉到的帧将QP重新调整到较大值。
在本发明的一个实例中，视频捕捉装置可实施QP重新调整，且将经调整的QP发送到视频编码器，以进一步减少视频编码器执行的计算的量，如图6B中所说明。在此实例中，基于所估计模糊等级，视频捕捉装置可重新调整视频编码器用以编码帧的QP值(610)。视频捕捉装置可接着向视频编码器传送经重新调整的QP值和所估计模糊等级(612)。视频编码器接着将经重新调整的QP值用于量化，且利用所估计模糊等级来简化若干编码算法，如上文所描述。
在本发明的另一实例中，视频捕捉装置可将所估计模糊等级传送到视频编码器(614)，如图6C中所说明。在此实例中，视频编码器可基于所估计模糊等级重新调整QP，且将经重新调整的QP用于量化。视频编码器也可利用所估计模糊等级来简化若干编码算法，如上文所描述。
图7是说明根据本发明的方面的使用模糊等级的估计值来简化编码算法的视频编码的流程图。视频捕捉装置(例如图1的视频捕捉装置102或图2的202)可估计捕捉到的帧的模糊等级，如上文所描述。视频捕捉装置可将所估计模糊等级发送到视频编码器(例如图1的视频编码器110或图2的210)，所述视频编码器可利用所估计模糊等级来简化编码算法。视频编码器可基于帧中的模糊等级来简化编码算法，视频编码器可基于与和不同编码算法相关联的阈值的比较来确定所述模糊等级。在一个实例中，视频编码器可将所估计模糊等级与和帧跳过模式相关联的阈值进行比较(702)。如果所估计模糊等级超过帧跳过模式的阈值，那么视频编码器可激活跳过模式(704)，且可跳过所述帧而不对其进行编码，因为视频编码器是在假定模糊等级如此高以致连续帧的群组将看起来大体上相同的基础上操作。因此，视频编码器可编码模糊帧中的一者，且跳过编码其它大体上相同的模糊帧。如果激活跳过模式，且因此跳过所述帧，那么可不编码所述帧，且因此，视频编码器可能无需继续作出关于其它编码算法简化的决策。
如果所估计模糊等级不超过帧跳过模式的阈值，那么视频编码器不激活跳过模式，且可继续确定是否调整参考图片列表。在一个实例中，视频编码器可将所估计模糊等级与和参考帧相关联的阈值进行比较(706)。如果所估计模糊等级超过阈值，那么视频编码器可将参考图片列表限制为帧的子集，例如在当前模糊帧前面的帧(708)，且可继续确定用于运动估计的块分区大小。如果所估计模糊等级不超过阈值，那么视频编码器可利用现有参考图片列表，且继续确定用于运动估计的块分区大小。
在一个实例中，视频编码器可将所估计模糊等级与和分区块相关联的阈值进行比较(710)。如果所估计模糊等级超过阈值，那么视频编码器可利用较大块分区来编码运动估计(712)。举例来说，在H.264中，编码利用大小为16x16、8x16、16x8、8x8、4x8、8x4和4x4的块分区。对于模糊帧，视频编码器可利用较大分区(例如16x16、8x16和16x8)来实施运动估计，因此需要编码较少的运动图片。视频编码器可继续确定用于运动估计的像素精度。如果所估计模糊等级不超过所述阈值，那么视频编码器可根据其常用实施方案利用块分区，且继续确定用于运动估计的像素精度。在一个实例中，当帧含有模糊内容时，可确定模糊的等级，且基于模糊的严重性，可相应地确定块分区，其中可针对较大量的模糊利用较大的分区块。
在一个实例中，视频编码器可将所估计模糊等级与和运动估计中使用的像素精度相关联的阈值进行比较(714)。如果所估计模糊等级超过阈值，那么视频编码器可调整用于实施运动估计的像素精度(716)，其中针对模糊图像使用较大的像素精度，因此需要较少计算。在一个实例中，视频编码器可利用整数像素精度，因此消除搜索用于运动估计中的参考块的过程中对子像素内插的需要。在另一实例中，视频编码器可估定帧中的模糊严重性，且相应地调整像素精度。举例来说，视频编码器可针对具有较大模糊量的帧利用整数像素精度，但针对具有较小模糊等级的帧利用相对较大的子像素精度，例如1/2。如果所估计模糊等级不超过阈值，那么视频编码器可以与视频编码器编码不具有模糊的帧相同的方式编码所述帧。
视频编码器可利用经修改的编码技术来编码在重新对焦过程期间捕捉到的帧，且可重返其针对在视频捕捉装置对焦时捕捉到的帧的正常编码功能性。在一个实例中，视频编码器可依据捕捉到的帧中的模糊的严重性，针对编码算法和功能性使用不同等级的修改。举例来说，较高的模糊等级可导致将QP重新调整到比与较小模糊等级相关联的值大的值。在一个实例中，视频编码器还可利用从视频捕捉装置接收到的模糊信息来实施去模糊功能。
可直接或间接连接***的前端(例如视频捕捉装置)和后端(例如视频编码器)部分。在一个实例中，视频捕捉装置可例如使用某种类型的有线连接直接连接到视频编码器。在另一实例中，可携式摄像机可例如使用无线连接间接连接到视频编码器。
本发明中所描述的技术可在装置中利用以辅助视频编码器的功能性，或可按照装置和所述装置可用于的应用的需要单独利用。
本发明中所描述的技术可至少部分以硬件、软件、固件或其任一组合来实施。举例来说，所描述技术的各种方面可实施于以下各项内：一个或一个以上处理器(包括一个或一个以上微处理器)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效集成式或离散逻辑电路，以及此些组件的任何组合。术语“处理器”或“处理电路”通常可指代单独或与其它逻辑电路组合的前述逻辑电路中的任一者，或任何其它等效电路。包括硬件的控制单元也可执行本发明的技术中的一者或一者以上。
此硬件、软件及固件可实施于同一装置内或单独装置内以支持本发明中描述的各种操作及功能。此外，所描述的单元、模块或组件中的任一者可一起实施或单独地实施为离散但可共同操作的逻辑装置。将不同特征描绘为模块或单元意在突出不同功能方面，且未必暗示必须通过单独的硬件及/或软件组件来实现这些模块或单元。事实上，与一个或一个以上模块或单元相关联的功能性可由单独的硬件、固件和/或软件组件来执行，或集成于共同或单独的硬件或软件组件内。
本发明中所描述的技术还可体现或编码在例如计算机可读存储媒体等含有指令的计算机可读媒体中。举例来说，嵌入或编码于计算机可读媒体中的指令可致使一个或一个以上可编程处理器或其它处理器实施所述方法(例如，在执行所述指令时)。计算机可读存储媒体可包括：随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、硬盘、CD-ROM、软盘、盒式磁带、磁性媒体、光学媒体或其它计算机可读媒体。
在示范性实施方案中，本发明中所描述的技术可由数字视频译码硬件设备执行，不管部分地由硬件、固件和/或软件实施。
已描述各种方面及实例。然而，可在不脱离所附权利要求书的范围的情况下对本发明的结构或技术进行修改。

Claims (44)

1.一种方法，其包括：
在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及
在视频编码器中至少部分地基于所述帧的所述所估计的模糊等级对所述帧进行编码。
2.根据权利要求1所述的方法，其中估计所述模糊等级包括基于与所述帧相关联的对焦值产生所述模糊等级的估计值。
3.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的量化等级。
4.根据权利要求3所述的方法，其中选择量化等级包括：
为第一所估计模糊等级选择第一量化等级；以及
为第二所估计模糊等级选择第二量化等级，
其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
5.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的分区大小。
6.根据权利要求5所述的方法，其中选择分区大小包括：
为第一所估计模糊等级选择第一分区；以及
为第二所估计模糊等级选择第二分区，
其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
7.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的像素精度等级。
8.根据权利要求7所述的方法，其中选择像素精度等级包括：
为第一所估计模糊等级选择第一像素精度等级；以及
为第二所估计模糊等级选择第二像素精度等级，
其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
9.根据权利要求1所述的方法，其中编码包括基于所述所估计的模糊等级来选择将用于编码所述帧的一组参考帧。
10.根据权利要求9所述的方法，其中选择一组参考帧包括：
为第一所估计模糊等级选择第一组参考帧；以及
为第二所估计模糊等级选择第二组参考帧，
其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
11.根据权利要求1所述的方法，其编码包括以下步骤中的一者：
如果所述所估计的模糊等级超过阈值，那么丢弃所述帧；以及
如果所述所估计的模糊等级超过所述阈值，那么使用跳过模式来编码所述帧。
12.一种***，其包括：
视频捕捉模块，其用以估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及
视频编码器，其用以至少部分地基于所述帧的所述所估计的模糊等级来编码所述帧。
13.根据权利要求12所述的***，其中所述视频捕捉模块通过基于与所述帧相关联的对焦值产生所述模糊等级的估计值来估计所述模糊等级。
14.根据权利要求12所述的***，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的量化等级来编码所述帧。
15.根据权利要求14所述的***，其中所述视频编码器通过以下步骤来选择量化等级：
为第一所估计模糊等级选择第一量化等级；以及
为第二所估计模糊等级选择第二量化等级，
其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
16.根据权利要求12所述的***，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的分区大小来编码所述帧。
17.根据权利要求16所述的***，其中所述视频编码器通过以下步骤来选择分区大小：
为第一所估计模糊等级选择第一分区；以及
为第二所估计模糊等级选择第二分区，
其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
18.根据权利要求12所述的***，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的像素精度等级来编码所述帧。
19.根据权利要求18所述的***，其中所述视频编码器通过以下步骤来选择像素精度等级：
为第一所估计模糊等级选择第一像素精度等级；以及
为第二所估计模糊等级选择第二像素精度等级，
其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
20.根据权利要求12所述的***，其中所述视频编码器通过基于所述所估计的模糊等级选择将用于编码所述帧的一组参考帧来编码所述帧。
21.根据权利要求20所述的***，其中所述视频编码器通过以下步骤来选择一组参考帧：
为第一所估计模糊等级选择第一组参考帧；以及
为第二所估计模糊等级选择第二组参考帧，
其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
22.根据权利要求12所述的***，其中所述视频编码器通过以下步骤中的一者来编码所述帧：
如果所述所估计的模糊等级超过阈值，那么丢弃所述帧；以及
如果所述所估计的模糊等级超过所述阈值，那么使用跳过模式来编码所述帧。
23.一种计算机可读媒体，其包括用于致使可编程处理器进行以下操作的指令：
在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级；以及
在视频编码器中至少部分地基于所述帧的所述所估计的模糊等级来编码所述帧。
24.根据权利要求23所述的计算机可读媒体，其中所述用以估计所述模糊等级的指令包括用以基于与所述帧相关联的对焦值产生所述模糊等级的所述估计的指令。
25.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的量化等级的指令。
26.根据权利要求25所述的计算机可读媒体，其中所述用以选择量化等级的指令包括用以进行以下操作的指令：
为第一所估计模糊等级选择第一量化等级；以及
为第二所估计模糊等级选择第二量化等级，
其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
27.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的分区大小的指令。
28.根据权利要求27所述的计算机可读媒体，其中所述用以选择分区大小的指令包括用以进行以下操作的指令：
为第一所估计模糊等级选择第一分区；
为第二所估计模糊等级选择第二分区，
其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
29.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的像素精度等级的指令。
30.根据权利要求29所述的计算机可读媒体，其中所述用以选择像素精度等级的指令包括用以进行以下操作的指令：
为第一所估计模糊等级选择第一像素精度等级；以及
为第二所估计模糊等级选择第二像素精度等级，
其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
31.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以基于所述所估计的模糊等级来选择将用于编码所述帧的一组参考帧的指令。
32.根据权利要求31所述的计算机可读媒体，其中所述用以选择一组参考帧的指令包括用以进行以下操作的指令：
为第一所估计模糊等级选择第一组参考帧；以及
为第二所估计模糊等级选择第二组参考帧，
其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
33.根据权利要求23所述的计算机可读媒体，其中所述用以编码的指令包括用以进行以下操作中的一者的指令：
如果所述所估计的模糊等级超过阈值，那么丢弃所述帧；以及
如果所述所估计的模糊等级超过所述阈值，那么使用跳过模式来编码所述帧。
34.一种***，其包括：
用于在视频捕捉模块中估计在所述视频捕捉模块的重新对焦过程期间捕捉到的视频数据帧的模糊等级的装置；以及
用于在视频编码器中至少部分地基于所述帧的所述所估计的模糊等级来编码所述帧的装置。
35.根据权利要求34所述的***，其中所述用于估计所述模糊等级的装置包括用于基于与所述帧相关联的对焦值产生所述模糊等级的估计值的装置。
36.根据权利要求34所述的***，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的量化等级的装置。
37.根据权利要求36所述的***，其中所述用于选择量化等级的装置包括：
用于为第一所估计模糊等级选择第一量化等级的装置；以及
用于为第二所估计模糊等级选择第二量化等级的装置，
其中所述第一量化等级大于所述第二量化等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
38.根据权利要求34所述的***，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的分区大小的装置。
39.根据权利要求38所述的***，其中所述用于选择分区大小的装置包括：
用于为第一所估计模糊等级选择第一分区的装置；以及
用于为第二所估计模糊等级选择第二分区的装置，
其中所述第一分区大于所述第二分区，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
40.根据权利要求34所述的***，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的像素精度等级的装置。
41.根据权利要求40所述的***，其中所述用于选择像素精度等级的装置包括：
用于为第一所估计模糊等级选择第一像素精度等级的装置；以及
用于为第二所估计模糊等级选择第二像素精度等级的装置，
其中所述第一像素精度等级低于所述第二像素精度等级，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
42.根据权利要求34所述的***，其中所述用于编码的装置包括用于基于所述所估计的模糊等级来选择将用于编码所述帧的一组参考帧的装置。
43.根据权利要求42所述的***，其中所述用于选择一组参考帧的装置包括：
用于为第一所估计模糊等级选择第一组参考帧的装置；以及
用于为第二所估计模糊等级选择第二组参考帧的装置，
其中所述第一组参考帧小于所述第二组参考帧，且所述第一所估计模糊等级大于所述第二所估计模糊等级。
44.根据权利要求34所述的方法，其所述用于编码的装置包括以下各项中的一者：
用于在所述所估计的模糊等级超过阈值的情况下丢弃所述帧的装置；以及
用于在所述所估计的模糊等级超过所述阈值的情况下使用跳过模式来编码所述帧的装置。
CN2010800496488A 2009-11-06 2010-10-26 基于图像捕捉参数控制视频编码 Pending CN102598665A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25891309P 2009-11-06 2009-11-06
US61/258,913 2009-11-06
US12/774,491 2010-05-05
US12/774,491 US10178406B2 (en) 2009-11-06 2010-05-05 Control of video encoding based on one or more video capture parameters
PCT/US2010/054149 WO2011056601A2 (en) 2009-11-06 2010-10-26 Control of video encoding based on image capture parameters

Publications (1)

Publication Number Publication Date
CN102598665A true CN102598665A (zh) 2012-07-18

Family

ID=43413677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800496488A Pending CN102598665A (zh) 2009-11-06 2010-10-26 基于图像捕捉参数控制视频编码

Country Status (6)

Country Link
US (1) US10178406B2 (zh)
EP (1) EP2497270A2 (zh)
JP (1) JP5591942B2 (zh)
KR (1) KR101375892B1 (zh)
CN (1) CN102598665A (zh)
WO (1) WO2011056601A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076370A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 一种视频帧的处理方法及设备
CN111567044A (zh) * 2019-03-13 2020-08-21 北京大学 一种视频处理方法、装置、编码设备及解码设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754904B2 (en) * 2011-04-03 2014-06-17 Lucidlogix Software Solutions, Ltd. Virtualization method of vertical-synchronization in graphics systems
US8761094B2 (en) 2009-07-22 2014-06-24 Qualcomm Incorporated Method and apparatus that facilitates interference cancellation for control channels in heterogenous networks
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
US20120300849A1 (en) * 2010-01-12 2012-11-29 Yukinobu Yasugi Encoder apparatus, decoder apparatus, and data structure
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
EP3413564A1 (en) * 2011-03-10 2018-12-12 Sharp Kabushiki Kaisha Image decoding device
US8964056B2 (en) * 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras
JP6021306B2 (ja) * 2011-07-25 2016-11-09 キヤノン株式会社 撮像装置およびその制御方法
US9451163B2 (en) * 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
EP2885765B1 (en) * 2012-08-15 2019-12-18 Intuitive Surgical Operations, Inc. Methods and systems for optimizing video streaming
TWI578780B (zh) * 2014-10-02 2017-04-11 晶睿通訊股份有限公司 模糊影像偵測方法及其相關攝影機和影像處理系統
US10462480B2 (en) * 2014-12-31 2019-10-29 Microsoft Technology Licensing, Llc Computationally efficient motion estimation
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技（深圳）有限公司 视频编码处理方法、装置及电子设备
CN109756739B (zh) * 2017-11-07 2022-09-02 华为技术有限公司 图像预测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002001488A1 (en) * 2000-06-26 2002-01-03 Rojer Alan S Use of image detail to select and classify variably-sized pixel blocks for motion estimation
JP2006121224A (ja) * 2004-10-19 2006-05-11 Canon Inc 動画像符号化装置及び動画像符号化方法
US20070040917A1 (en) * 2005-08-17 2007-02-22 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, program, and storage medium
CN101044763A (zh) * 2004-08-18 2007-09-26 高通股份有限公司 编码器辅助式自适应视频帧内插
CN101098405A (zh) * 2006-06-30 2008-01-02 索尼株式会社 自聚焦装置、图像捕获装置和自聚焦方法
CN101164345A (zh) * 2005-03-01 2008-04-16 高通股份有限公司 用于速率受控视频编码的自适应跳帧技术

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US304681A (en) * 1884-09-02 And enoch j
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
WO1994018799A1 (en) * 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
JP3752510B2 (ja) * 1996-04-15 2006-03-08 イーストマン コダック カンパニー 画像の自動被写体検出方法
GB9619117D0 (en) * 1996-09-12 1996-10-23 Pandora Int Ltd Digital image processing
US6295379B1 (en) * 1997-09-29 2001-09-25 Intel Corporation DPCM image compression with plural quantization table levels
US6822758B1 (en) * 1998-07-01 2004-11-23 Canon Kabushiki Kaisha Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
GB0029880D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
US7084909B2 (en) * 2001-01-24 2006-08-01 Olympus Corporation Electronic camera, imaging system and imaging method
KR100393066B1 (ko) 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
JP4497761B2 (ja) 2001-07-18 2010-07-07 キヤノン株式会社 画像処理装置及びインデックス作成方法
US7313183B2 (en) * 2003-06-24 2007-12-25 Lsi Corporation Real time scene change detection in video sequences
US7304681B2 (en) 2004-01-21 2007-12-04 Hewlett-Packard Development Company, L.P. Method and apparatus for continuous focus and exposure in a digital imaging device
US7720148B2 (en) * 2004-03-26 2010-05-18 The Hong Kong University Of Science And Technology Efficient multi-frame motion estimation for video compression
KR100668303B1 (ko) 2004-08-04 2007-01-12 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
US7463755B2 (en) 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
JP4418342B2 (ja) 2004-10-13 2010-02-17 オリンパス株式会社 画像処理装置及び電子カメラ
JP4541825B2 (ja) * 2004-10-15 2010-09-08 キヤノン株式会社 動画像符号化装置及びその制御方法
US8115728B2 (en) 2005-03-09 2012-02-14 Sharp Laboratories Of America, Inc. Image display device with reduced flickering and blur
US20060171569A1 (en) 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
JP4310282B2 (ja) 2005-01-11 2009-08-05 シャープ株式会社 画像符号化装置および符号化方法
JP4674471B2 (ja) * 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
JP4419084B2 (ja) * 2005-04-15 2010-02-24 ソニー株式会社 制御装置および方法、プログラム、並びにカメラ
JP4886210B2 (ja) 2005-04-21 2012-02-29 キヤノン株式会社 撮像装置
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
WO2007007225A2 (en) 2005-07-12 2007-01-18 Nxp B.V. Method and device for removing motion blur effects
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
JP4887750B2 (ja) 2005-11-16 2012-02-29 カシオ計算機株式会社 画像処理装置、制御方法及びプログラム
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
JP4655957B2 (ja) 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
JP2007272684A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 画像整理装置および方法ならびにプログラム
JP4655991B2 (ja) 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
TWI311679B (en) * 2006-04-28 2009-07-01 Primax Electronics Ltd A method of evaluating minimum sampling steps of auto focus
EP2025171A1 (en) 2006-06-08 2009-02-18 Thomson Licensing Scene change detection for video
KR100803611B1 (ko) 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US7667739B2 (en) * 2006-12-15 2010-02-23 Mediatek Inc. Brightness adjusting methods for video frames of video sequence by applying scene change detection and/or blinking detection and brightness adjusting devices thereof
JP4885698B2 (ja) 2006-12-20 2012-02-29 富士フイルム株式会社 動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置
US8564687B2 (en) 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
JP2009054130A (ja) 2007-07-27 2009-03-12 Ricoh Co Ltd 画像処理装置、画像処理方法およびデジタルスチルカメラ
KR101341095B1 (ko) * 2007-08-23 2013-12-13 삼성전기주식회사 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
US20090060373A1 (en) 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
KR101415872B1 (ko) * 2007-09-14 2014-07-11 삼성전기주식회사 영상 획득 장치의 자동초점조절 방법 및 장치
CN101965732B (zh) 2008-01-07 2015-03-25 汤姆森特许公司 用于使用参数滤波进行视频编码和解码的方法和装置
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
JP5153674B2 (ja) 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US7573305B1 (en) * 2008-03-03 2009-08-11 Hrl Laboratories, Llc High speed divider circuit
KR101438480B1 (ko) * 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
JP5217600B2 (ja) 2008-04-22 2013-06-19 ソニー株式会社 撮像装置
US8094714B2 (en) 2008-07-16 2012-01-10 Sony Corporation Speculative start point selection for motion estimation iterative search
JP4840426B2 (ja) 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
WO2010041857A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
CN102349297B (zh) 2009-03-13 2014-01-22 汤姆森特许公司 在基于块压缩的图像中的模糊量测
JP5177284B2 (ja) 2009-03-30 2013-04-03 富士通株式会社 被写体動き検出装置および方法
US20100278231A1 (en) * 2009-05-04 2010-11-04 Imagine Communications Ltd. Post-decoder filtering
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002001488A1 (en) * 2000-06-26 2002-01-03 Rojer Alan S Use of image detail to select and classify variably-sized pixel blocks for motion estimation
CN101044763A (zh) * 2004-08-18 2007-09-26 高通股份有限公司 编码器辅助式自适应视频帧内插
JP2006121224A (ja) * 2004-10-19 2006-05-11 Canon Inc 動画像符号化装置及び動画像符号化方法
CN101164345A (zh) * 2005-03-01 2008-04-16 高通股份有限公司 用于速率受控视频编码的自适应跳帧技术
US20070040917A1 (en) * 2005-08-17 2007-02-22 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, program, and storage medium
CN101098405A (zh) * 2006-06-30 2008-01-02 索尼株式会社 自聚焦装置、图像捕获装置和自聚焦方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JORDI RIBAS-CORBERA ；DAVID L. NEUHOFF: "on the Optimal Motion Vector Accuracy for Block-Based Motion-Compensated Video Coders", 《PROCESSING OF SPIE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076370A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 一种视频帧的处理方法及设备
CN108713318A (zh) * 2016-10-31 2018-10-26 华为技术有限公司 一种视频帧的处理方法及设备
CN111567044A (zh) * 2019-03-13 2020-08-21 北京大学 一种视频处理方法、装置、编码设备及解码设备

Also Published As

Publication number Publication date
US20110110420A1 (en) 2011-05-12
KR20120074330A (ko) 2012-07-05
WO2011056601A2 (en) 2011-05-12
KR101375892B1 (ko) 2014-03-19
EP2497270A2 (en) 2012-09-12
US10178406B2 (en) 2019-01-08
WO2011056601A3 (en) 2011-06-30
JP5591942B2 (ja) 2014-09-17
JP2013510505A (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
CN102598665A (zh) 基于图像捕捉参数控制视频编码
CN103650504B (zh) 基于图像捕获参数对视频编码的控制
Huang et al. Analysis and reduction of reference frames for motion estimation in MPEG-4 AVC/JVT/H. 264
JP4799477B2 (ja) 画像符号化装置及び画像符号化方法
CN102986211B (zh) 视频编码中的速率控制
US20130027581A1 (en) Adaptive auto exposure adjustment
EP2106145A2 (en) Method and apparatus for intra-prediction video coding/decoding
KR20110050283A (ko) 다중 참조 영상을 이용한 고속 움직임 추정 방법
JP4690966B2 (ja) 動画像符号化装置
Chang et al. A novel approach to fast multi-frame selection for H. 264 video coding
JP4764136B2 (ja) 動画像符号化装置、及びフェードシーン検出装置
KR20120116936A (ko) 영상 블록 코딩 및 재구성 방법
US20080107175A1 (en) Method and apparatus for encoding and decoding based on intra prediction
US20100166075A1 (en) Method and apparatus for coding video image
JP2005348093A (ja) 画像処理装置、そのプログラムおよびその方法
JP5649296B2 (ja) 画像符号化装置
EP1784984A1 (en) Fast motion estimation for multiple reference pictures
EP1766991A1 (en) Method and apparatus for video encoding optimization
Jenab et al. Content-adaptive resolution control to improve video coding efficiency
JP5171658B2 (ja) 画像符号化装置
JP4281667B2 (ja) 画像符号化装置
KR101036137B1 (ko) 비디오 부호화를 위한 다중 참조 프레임 선택방법
US12022115B2 (en) Methods and devices for coding and decoding a data stream representative of at least one image
Hsieh et al. Fast motion estimation algorithm for H. 264/MPEG-4 AVC by using multiple reference frame skipping criteria
Tsang et al. New weighted prediction architecture for coding scenes with various fading effects image and video processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20120718

RJ01 Rejection of invention patent application after publication