CN102369731B - 基于视频译码中的活动度量的滤波预测 - Google Patents

基于视频译码中的活动度量的滤波预测 Download PDF

Info

Publication number
CN102369731B
CN102369731B CN201080004510.6A CN201080004510A CN102369731B CN 102369731 B CN102369731 B CN 102369731B CN 201080004510 A CN201080004510 A CN 201080004510A CN 102369731 B CN102369731 B CN 102369731B
Authority
CN
China
Prior art keywords
filter
decoding
video
filtering
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080004510.6A
Other languages
English (en)
Other versions
CN102369731A (zh
Inventor
陈培松
马尔塔·卡切维奇
乔瓦尼·莫塔
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102369731A publication Critical patent/CN102369731A/zh
Application granted granted Critical
Publication of CN102369731B publication Critical patent/CN102369731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述与视频编码及/或解码过程中的视频数据的滤波相关联的技术。根据本发明,在编码器处应用滤波,且将滤波信息编码在位流中,以识别曾在所述编码器处应用的所述滤波。可基于针对所述视频数据所确定的活动度量而应用不同类型的滤波。此外,根据本发明,将所述滤波信息编码到所述位流中的方式可取决于所述活动度量。明确地说,对于所述活动度量的第一范围,直接编码一个或一个以上滤波器,且对于所述活动度量的第二范围,预测性地编码一个或一个以上滤波器。

Description

基于视频译码中的活动度量的滤波预测
本申请案主张2009年1月15日申请的第61/144,873号美国临时申请案及2009年5月14日申请的第61/178,346号美国临时申请案的权益,所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及用以压缩视频数据的基于块的数字视频译码,且更明确地说,涉及用于译码与视频块的滤波相关联的滤波系数的技术。
背景技术
数字视频能力可并入至广泛范围的装置中,包括数字电视、数字直播***、例如无线电电话手机等无线通信装置、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施视频压缩技术,例如MPEG-2、MPEG-4或ITU-T H.264/MPEG-4第十部分(高级视频译码(AVC)),以更高效地发射及接收数字视频。视频压缩技术执行空间及时间预测以减少或去除视频序列中固有的冗余。
基于块的视频压缩技术可执行空间预测及/或时间预测。帧内译码依赖于空间预测来减少或去除给定经译码单元内的视频块之间的空间冗余,所述经译码单元可包含视频帧、视频帧的切片(slice)等。相比之下,帧间译码依赖于时间预测来减少或去除视频序列的连续经译码单元的视频块之间的时间冗余。对于帧内译码,视频编码器执行空间预测以基于同一经译码单元内的其它数据来压缩数据。对于帧间译码,视频编码器执行运动估计及运动补偿以跟踪两个或两个以上邻近经译码单元的对应视频块的移动。
经译码视频块可由预测信息表示,所述预测信息可用以创建或识别预测性块及指示正被译码的块与预测性块之间的差异的残余数据块。在帧间译码的情况下,一个或一个以上运动向量用以从前一或后一经译码单元识别预测性数据块,而在帧内译码的情况下,预测模式可用以基于与正被译码的视频块相关联的经译码单元内的数据产生预测性块。帧内译码及帧间译码两者均可界定若干不同预测模式,所述预测模式可界定用于译码中的不同块大小及/或预测技术。还可包括额外类型的语法元素作为经编码视频数据的一部分,以便控制或界定用于译码过程中的译码技术或参数。
在基于块的预测译码之后,视频编码器可应用变换、量化及熵译码过程来进一步减少与残余块的传送相关联的位速率。变换技术可包含离散余弦变换(DCT)或概念上类似的过程,例如小波变换(wavelet transform)、整数变换或其它类型的变换。在离散余弦变换过程中,例如,变换过程将一组像素值转换成变换系数,其可表示像素值在频域中的能量。将量化应用于变换系数,且量化通常涉及限制与任何给定变换系数相关联的位的数目的过程。熵译码包含共同压缩一连串经量化的变换系数的一个或一个以上过程。
可应用视频块的滤波作为编码及解码循环的一部分,或作为对经重构的视频块的后滤波过程的一部分。滤波通常用以(例如)减少成块效应(blockiness)或基于块的视频译码所共有的其它假象。滤波系数(有时称为滤波器分接头)可经界定或选择以便促进可减少成块效应的所要等级的视频块滤波及/或以其它方式改进视频质量。举例来说,一组滤波系数可界定如何沿视频块的边缘或视频块内的其它位置应用滤波。不同滤波系数可引起关于视频块的不同像素的不同等级的滤波。举例来说,滤波可平滑化或锐化邻近像素值的强度差异,以便帮助消除不想要的假象。
发明内容
本发明描述与视频编码及/或解码过程中的视频数据的滤波相关联的技术。根据本发明,在编码器处应用一个或一个以上滤波器,且将滤波信息编码在位流中以识别在所述编码器处曾应用的滤波器。解码器接收包括滤波信息的经编码的视频数据,解码所述视频数据,且基于编码在位流中的滤波信息而应用一个或一个以上滤波器。可基于针对所述视频数据确定的活动度量应用不同类型的滤波器。此外,根据本发明,将所述滤波信息编码到位流中的方式可取决于活动度量。
举例来说,可针对经译码单元基于与所述经译码单元的像素相关联的活动度量的不同值而界定不同滤波器。不同滤波器可应用于落入活动度量的不同范围中的像素数据。此外,滤波器的编码还取决于活动度量。对于第一范围的活动度量,将一个或一个以上滤波器直接译码到滤波信息中。举例来说,在此情况下,可将滤波系数的值编码到位流中,而不使用任何预测性编码技术。然而,对于第二范围的活动度量,将一个或一个以上滤波器预测性地译码到滤波信息中。在此情况下,滤波系数的值可由相对于针对另一经译码单元而界定的滤波系数的残值或差界定。通过对于活动度量的第一范围使用无任何预测的直接编码来编码一个或一个以上滤波器,且对于活动度量的第二范围使用预测性编码来编码一个或一个以上滤波器,可实现改进的数据压缩。除了不同滤波器使用不同滤波系数以外,不同滤波器可为同样的。或者,不同滤波器可包括不同数目的系数,或可界定不同的滤波器支持。
在一个实例中,本发明描述译码视频数据的方法。所述方法包含译码所述视频数据的经译码单元的像素数据;及译码与对所述像素数据的滤波过程相关联的滤波信息,其中所述滤波信息包含基于活动度量的不同值而针对经译码单元界定的不同滤波器,其中对于所述活动度量的第一范围,将所述滤波器中的一者或一者以上直接编码到所述滤波信息中,且对于所述活动度量的第二范围,将所述滤波器中的一者或一者以上预测性地编码到所述滤波信息中。在本发明中,术语“译码”指代编码或解码。
在另一实例中,本发明描述一种译码(例如,编码或解码)视频数据的设备。所述设备包含视频译码器,所述视频译码器译码视频数据的经译码单元的像素数据;且译码与对像素数据的滤波过程相关联的滤波信息,其中所述滤波信息包含基于活动度量的不同值而针对所述经译码单元所界定的不同滤波器,其中对于所述活动度量的第一范围,将所述滤波器中的一者或一者以上直接编码到所述滤波信息中,且对于所述活动度量的第二范围,将所述滤波器中的一者或一者以上预测性地编码到所述滤波信息中。
在另一实例中,本发明描述一种译码视频数据的装置,所述装置包含:用于译码视频数据的经译码单元的像素数据的装置;及用于译码与对像素数据的滤波过程相关联的滤波信息的装置,其中所述滤波信息包含基于活动度量的不同值而针对所述经译码单元所界定的不同滤波器,其中对于所述活动度量的第一范围,将所述滤波器中的一者或一者以上直接编码到所述滤波信息中,且对于所述活动度量的第二范围,将所述滤波器中的一者或一者以上预测性地编码到所述滤波信息中。
本发明中所描述的技术可以硬件、软件、固件或其任何组合来实施。如果以硬件实施,那么可将设备作为集成电路、处理器、离散逻辑,或其任何组合来实现。如果以软件实施,那么软件可执行于例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上处理器中。执行所述技术的软件最初可存储在计算机可读媒体中,且加载并执行于处理器中。
因而,本发明还涵盖一种计算机可读存储媒体,其包含指令,所述指令在于处理器中执行时致使所述处理器:译码所述视频数据的经译码单元的像素数据;及译码与对所述像素数据的滤波过程相关联的滤波信息,其中所述滤波信息包含基于活动度量的不同值而针对所述经译码单元所界定的不同滤波器,其中对于所述活动度量的第一范围,将所述滤波器中的一者或一者以上直接编码到所述滤波信息中,且对于所述活动度量的第二范围,将所述滤波器中的一者或一者以上预测性地编码到所述滤波信息中。
在附图及下文的描述中陈述本发明的一个或一个以上方面的细节。将从所述描述及图式且从所附权利要求书明白本发明中描述的技术的其它特征、目标及优点。
附图说明
图1为说明示范性视频编码及解码***的示范性框图。
图2为说明与本发明一致的示范性视频编码器的框图。
图3为说明与本发明一致的示范性视频解码器的框图。
图4为说明用于活动度量的值的范围的概念图。
图5为说明与本发明一致的编码技术的流程图。
图6为说明与本发明一致的解码技术的流程图。
具体实施方式
本发明描述与视频编码及/或视频解码过程中的视频数据的滤波相关联的技术。根据本发明,在编码器处应用滤波,且将滤波信息编码于位流中以识别曾在编码器处应用的滤波。解码器接收包括滤波信息的经编码视频数据,解码所述视频数据且基于所述滤波信息应用滤波。以此方式,解码器应用曾在编码器处应用的相同滤波。
可基于针对视频数据确定的活动度量而应用不同类型的滤波。活动度量可量化与视频数据内的一个或一个以上像素块相关联的活动。活动度量可包含指示一组像素内的像素方差的方差度量。举例来说,活动度量可包含改进拉普拉斯求和函数值(sum-modifiedLaplacian function value),如下文更详细地阐释。在任何情况下,根据本发明,编码(及解码)滤波信息的方式可取决于活动度量。举例来说,根据本发明,基于与经译码单元的像素相关联的活动度量的不同值而为所述经译码单元界定不同滤波器。
对于活动度量的第一范围,将一个或一个以上滤波器直接译码到滤波信息中。举例来说,在此情况下,可将滤波系数的值直接编码到位流中而不使用任何预测性编码技术。然而,对于活动度量的第二范围,将一个或一个以上滤波器预测性地译码到滤波信息中。在此情况下,滤波系数的值可由相对于为另一经译码单元界定的滤波系数的残值或差界定。经预测性地译码的滤波信息可包括第一数据,其(例如)通过识别不同的经译码单元来识别不同的经编码滤波器。另外,经预测性地译码的滤波信息还可包括第二数据,其表示正被译码的当前滤波系数与由第一数据识别的不同滤波器的滤波系数之间的差。
通过针对活动度量的第一范围使用无任何预测的直接编码来编码一个或一个以上滤波器,且针对活动度量的第二范围使用预测性编码来编码一个或一个以上滤波器,可实现改进的数据压缩。在此情况下,使编码及解码滤波器的方式取决于活动度量。此外,滤波器选择自身也可取决于活动度量。因此,活动度量可确定应用于经译码单元的像素的滤波,且还可界定或影响将滤波信息编码到位流中及从位流解码的方式。
本发明的技术可应用于循环内滤波或后滤波。循环内滤波指代其中经滤波数据为编码及解码循环的一部分,使得经滤波数据用于预测性帧内译码或帧间译码的滤波。后滤波指代在编码循环之后应用于经重构视频数据的滤波。在后滤波的情况下,将未经滤波的数据用于预测性帧内译码或帧间译码。本发明的技术不限于循环内滤波或后滤波,且可应用于在视频译码期间应用的各种各样的滤波。
在本发明中,术语“译码”指代编码或解码。类似地,术语“译码器”通常指代任何视频编码器、视频解码器或组合式编码器/解码器(编解码器)。因而,术语“译码器”在本文中用以指代执行视频编码或视频解码的专用计算机装置或设备。
图1为说明可实施本发明的技术的示范性视频编码及解码***10的框图。如图1中所示,***10包括经由通信信道15将经编码视频发射到目的装置16的源装置12。源装置12及目的装置16可包含各种各样的装置中的任一者。在一些情况下,源装置12及目的装置16可包含无线通信装置手持机,例如所谓的蜂窝式或卫星无线电话。然而,更一般地应用于视频数据的滤波及滤波信息的译码的本发明的技术不一定限于无线应用或设定,且可应用于包括视频编码及/或解码能力的非无线装置。
在图1的实例中,源装置12可包括视频源20、视频编码器22、调制器/解调器(调制解调器)23及发射器24。目的装置16可包括接收器26、调制解调器27、视频解码器28及显示装置30。根据本发明,源装置12的视频编码器22可经配置以基于与视频块的像素相关联的活动度量选择用于视频块滤波过程的滤波系数,且接着基于所述活动度量编码所选择的滤波系数。具体地说,对于活动度量的第一范围,直接编码滤波系数,且对于活动度量的第二范围,预测性地译码滤波系数。
经编码的位流可包括信令语法元素以界定每一给定滤波系数集合是预测性地编码还是直接编码。举例来说,对于在编码器处考虑的活动度量的每一范围,位流可包括指示曾使用直接译码还是预测性译码来编码待用于所述范围中的滤波系数的对应位。因此,解码器可通过应用如由信令语法元素界定的预测性解码或直接解码来适当地解码滤波系数。此外,解码器还可基于经解码的像素值计算活动度量,且藉此确定活动度量落在第一范围内还是第二范围内。以此方式,解码器可基于活动度量确定将哪一滤波器应用于不同像素数据。
更具体地说,源装置12的视频编码器22可选择滤波系数,在编码过程期间应用此些滤波系数,且接着编码所述滤波系数以供传送到目的装置16的视频解码器28。视频编码器22可确定与正被译码的像素相关联的活动度量,以便选择滤波系数及确定如何编码滤波系数。在解码器侧,目的装置16的视频解码器28也确定与像素相关联的活动度量,使得视频解码器28可确定滤波系数以应用于像素数据。视频解码器28可依据滤波系数曾如何编码而基于直接解码或预测性解码来解码滤波系数,滤波系数曾如何编码可作为位流语法的一部分而用信号通知。图1的所说明的***10仅为示范性的。本发明的滤波技术可由任何编码装置或解码装置执行。源装置12及目的装置16仅为可支持此些技术的译码装置的实例。
源装置12的视频编码器22可使用本发明的技术来编码从视频源20接收到的视频数据。视频源20可包含例如视频相机等视频捕捉装置、含有先前捕捉到的视频的视频档案,或从视频内容提供商馈送的视频。作为另一替代,视频源20可产生基于计算机图形的数据作为源视频,或直播视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源20为视频相机,那么源装置12及目的装置16可形成所谓的相机电话或视频电话。在每一情况下,可由视频编码器22对所捕捉到、预先捕捉到或计算机产生的视频进行编码。
一旦视频数据由视频编码器22编码,就可接着通过调制解调器23根据例如码分多址(CDMA)或另一通信标准或技术等通信标准来调制经编码的视频信息,且经由发射器24将其发射到目的装置16。调制解调器23可包括各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路,包括放大器、滤波器及一个或一个以上天线。
目的装置16的接收器26经由信道15接收信息,且调制解调器27解调所述信息。由视频解码器28执行的视频解码过程可包括滤波,例如作为循环内解码的一部分或作为解码循环之后的后滤波步骤。无论哪种方式,由视频解码器28应用的滤波系数均可使用本发明的技术来解码。当将预测性译码用于滤波系数时,可利用不同滤波系数之间的相似性来减少经由信道15传达的信息的量。明确地说,可将一组滤波系数预测性地译码为相对于与不同经译码单元相关联的另一组滤波系数的差值。在此情况下,视频解码器28接收包含视频块及识别不同经译码单元(以识别相关联的滤波器)的滤波信息的经编码位流。滤波信息还包括相对于不同经译码单元的滤波器界定当前滤波器的差值。明确地说,所述差值可包含相对于用于不同经译码单元的不同滤波器的滤波系数界定用于当前滤波器的滤波系数的滤波系数差值。
视频解码器28解码视频块,产生滤波系数,及基于所产生的滤波系数对经解码的视频块进行滤波。经解码及滤波的视频块可组合为视频帧以形成经解码的视频数据。显示装置28向用户显示经解码的视频数据,且可包含多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
通信信道15可包含任何无线或有线通信媒体,例如射频(RF)频谱或一个或一个以上物理传输线,或无线媒体与有线媒体的任何组合。通信信道15可形成例如局域网、广域网或全球网络(例如,因特网)等基于包的网络的一部分。通信信道15通常表示用于将视频数据从源装置12传输到目的装置16的任何合适通信媒体或不同通信媒体的集合。
视频编码器22及视频解码器28可根据视频压缩标准(例如,ITU-T H.264标准,或者称为MPEG-4第10部分(高级视频译码(AVC)))而操作。然而,本发明的技术可容易地应用于多种其它视频译码标准中的任一者。具体地说,允许在编码器及解码器处的滤波的任何标准可通过减少将滤波信息从编码器传送到解码器所需的数据的量而受益于本发明的教示。
尽管图1中未展示,但在一些方面中,视频编码器22及视频解码器28可各自与音频编码器及解码器集成,且可包括适当的MUX-DEMUX单元或其它硬件及软件,以处置共用数据流或单独数据流中的音频与视频两者的编码。如果适用,那么MUX-DEMUX单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
视频编码器22及视频解码器28各自可实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。可将视频编码器22及视频解码器28中的每一者包括于一个或一个以上编码器或解码器中,其中任一者可作为组合式编码器/解码器(CODEC)的一部分而集成在相应的移动装置、订户装置、广播装置、服务器等中。
在一些情况下,装置12、16可以实质上对称的方式操作。举例来说,装置12、16中的每一者可包括视频编码及解码组件。因此,***10可支持视频装置12、16之间的单向或双向视频发射,例如以用于视频流式传输、视频重放、视频广播或视频电话。
在编码过程期间,视频编码器22可执行若干译码技术或步骤。通常,视频编码器22对个别视频帧(或例如切片等其它经独立译码的单元)内的视频块进行操作,以便编码所述视频块。可将帧、切片、帧的部分、图片群组(GOP)或其它数据结构定义为包括多个视频块的可独立解码的单元。在一些情况下,每一视频帧可包括一系列可独立解码的切片,且每一切片可包括一系列宏块,宏块可布置成甚至更小的块。术语“经译码单元”指代帧、切片、帧的部分、图片群组(GOP),或可独立解码的其它数据结构。经译码单元内的视频块可具有固定或不同的大小,且可根据指定译码标准而在大小上不同。可在每经译码单元基础上界定语法数据,使得每一经译码单元包括相关联的语法数据。本文中描述的滤波信息可为用于经译码单元的此语法的一部分,且可指示用于经译码单元的滤波系数或用以对经译码单元的像素数据进行滤波的滤波器的可能其它特性(例如,滤波器类型)。举例来说,滤波器类型可为线性的、双线性的、二维的、双三次的(bicubic),或可大体上界定任何形状的滤波器支持。有时,滤波器类型可由编码器及解码器推定,在此情况下滤波器类型不包括于位流中,但在其它情况下,滤波器类型可连同如本文中描述的滤波系数信息一起编码。语法数据还可向解码器用信号通知如何编码滤波器(例如,如何编码滤波系数),以及应针对其而使用不同滤波器的活动度量的范围。可包括用于活动度量的范围的位,以界定应使用预测性解码还是直接解码。
宏块通常指代16×16的数据块。ITU-T H.264标准支持各种块大小的帧内预测,例如针对亮度分量的16×16、8×8或4×4及针对色度分量的8×8,以及各种块大小的帧间预测,例如针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8及4×4,及针对色度分量的对应的按比例缩放的大小。在本发明中,词组“视频块”指代任何大小的视频块。此外,视频块可指代像素域中的视频数据块,或例如离散余弦变换(DCT)域、类似于DCT的域、小波域等变换域中的数据块。
视频编码器22可执行预测性译码,其中将正被译码的视频块与预测性帧(或其它经译码单元)相比较以便识别预测性块。将正被译码的当前视频块与预测性块之间的差译码为残余块,且使用预测语法来识别预测性块。可变换且量化残余块。变换技术可包含DCT过程或概念上类似的过程、整数变换、小波变换或其它类型的变换。在DCT过程中,举例来说,变换过程将一组像素值转换成变换系数,所述变换系数可表示像素值在频域中的能量。通常对变换系数应用量化,且量化通常涉及限制与任何给定变换系数相关联的位的数目的过程。
在变换及量化之后,可对经量化及变换的残余视频块执行熵译码。语法元素(例如在编码期间界定的滤波信息及预测向量)也可包括于用于每一经译码单元的经熵译码的位流中。一般来说,熵译码包含共同压缩一连串经量化的变换系数及/或其它语法信息的一个或一个以上过程。对经量化的变换系数执行例如Z形扫描技术(zig-zag scanningtechnique)等扫描技术(例如,作为熵译码过程的一部分),以便从二维视频块界定一个或一个以上串行化一维系数向量。接着(例如)经由内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码过程来熵译码经扫描的系数连同任何语法信息。
作为编码过程的一部分,可解码经编码的视频块以便产生用于后续视频块的后续基于预测的译码的视频数据。在此阶段,可使用滤波以便改进视频质量,且(例如)去除来自经解码视频的成块效应假象。经滤波的数据可用于其它视频块的预测,在所述情况下,滤波被称作“循环内”滤波。或者,其它视频块的预测可基于未经滤波的数据,在所述情况下,滤波被称作“后滤波”。
编码器可以促进视频质量的方式选择滤波系数。此些滤波系数可选自预先界定的系数集合,或可自适应地界定以促进视频质量。举例来说,视频编码器22可为给定经译码单元选择或界定若干滤波系数集合,使得不同滤波系数集合用于所述经译码单元的视频块的不同像素。明确地说,可为每一经译码单元界定若干滤波系数集合,且与所述经译码单元的像素相关联的活动可界定要此些像素上使用的滤波系数。在一些情况下,视频编码器22可应用若干滤波系数集合,且选择产生在经译码块与原始块之间的失真量方面的最佳质量视频及/或最高压缩等级的一个或一个以上集合。在任何情况下,一旦选定,就可编码由视频编码器22对每一经译码单元应用的滤波系数集合,并将其传送到目的装置18的视频解码器28,使得视频解码器28可应用曾在针对每一给定经译码单元的编码过程期间应用的相同滤波。
本发明的技术特别适用于滤波系数的选择及编码。明确地说,如所提到,可使用活动度量来界定滤波系数以及编码滤波系数的方式(例如,直接地或预测性地)。可为经译码单元界定活动度量,或可为经译码单元内的不同部分(例如,像素的子块)界定不同的活动度量。示范性活动度量的额外细节在下文更详细地概述。
图2为说明与本发明一致的视频编码器50的框图。视频编码器50可对应于装置20的视频编码器22或不同装置的视频编码器。如图2中所示,视频编码器50包括预测单元32、加法器48及51,以及存储器34。视频编码器50还包括变换单元38及量化单元40,以及逆量化单元42及逆变换单元44。视频编码器50还包括扫描单元45及熵译码单元46。视频编码器50的滤波器单元47可执行滤波,且可根据本发明而编码滤波信息,使得滤波信息可高效地传送到另一装置。
在编码过程期间,视频编码器50接收待译码的视频块,且预测单元32执行预测性译码技术。对于帧间译码,预测单元32将待编码的视频块与一个或一个以上视频参考帧或切片中的各种块进行比较,以便界定预测性块。对于帧内译码,预测单元32基于同一经译码单元内的相邻数据而产生预测性块。预测单元32输出预测块,且加法器48从正被译码的视频块中减去所述预测块以便产生残余块。
对于帧间译码,预测单元32可包含运动估计及运动补偿单元,其识别指向预测块的运动向量且基于所述运动向量而产生所述预测块。通常,认为运动估计是产生运动向量的过程,其估计运动。举例来说,运动向量可指示预测性帧内的预测性块相对于正在当前帧内译码的当前块的移位。通常认为运动补偿是基于由运动估计确定的运动向量而取得或产生预测性块的过程。对于帧内译码,预测单元32基于同一经译码单元内的相邻数据而产生预测性块。一个或一个以上帧内预测模式可界定可以何方式界定帧内预测块。
在预测单元32输出预测块且加法器48从正被译码的视频块减去所述预测块以便产生残余块之后,变换单元38将变换应用于残余块。所述变换可包含离散余弦变换(DCT)或概念上类似的变换,例如由H.264标准界定的变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换单元38将变换应用于残余块,从而产生残余变换系数块。变换可将残余信息从像素域转换到频域。
量化单元40接着量化残余变换系数以进一步减小位率。量化单元40(例如)可限制用以译码所述系数中的每一者的位的数目。在量化之后,熵译码单元46可将经量化系数块从二维表示扫描到一个或一个以上串行化一维向量。扫描次序可经预先编程以按所界定的次序出现(例如,z形扫描或另一预先界定的次序),或可能基于先前译码统计而自适应地界定。
在此扫描过程之后,熵编码单元46根据例如CAVLC或CABAC等熵译码方法来编码经量化的变换系数(连同任何语法元素),以进一步压缩数据。包括于经熵译码的位流中的语法元素可包括来自预测单元32的预测语法,例如用于帧间译码的运动向量或用于帧内译码的预测模式。包括于经熵译码的位流中的语法元素还可包括来自滤波器单元47的滤波信息,其可以本文所描述的方式编码。
CAVLC是由ITU H.264/MPEG4AVC标准支持的一种类型的熵译码技术,其可由熵译码单元46在向量化基础上加以应用。CAVLC以有效地压缩变换系数及/或语法元素的串行化“游程(run)”的方式使用可变长度译码(VLC)表。CABAC是由ITU H.264/MPEG4AVC标准支持的另一类型的熵译码技术,其可由熵译码单元46在向量化基础上加以应用。CABAC可涉及若干阶段,包括二值化(binarization)、上下文模型选择及二进制算术译码。在此情况下,熵译码单元46根据CABAC来译码变换系数及语法元素。还存在许多其它类型的熵译码技术,且新的熵译码技术将很可能在将来出现。本发明不限于任何特定熵译码技术。
在熵编码单元46进行的熵译码之后,可将经编码的视频发射到另一装置或存档以供日后发射或检索。此外,经编码的视频可包含经熵译码的向量及各种语法,其可由解码器使用以恰当地配置解码过程。逆量化单元42及逆变换单元44分别应用逆量化及逆变换,以在像素域中重构残余块。求和器51将经重构的残余块与由预测单元32产生的预测块相加以产生经重构的视频块,以供存储在存储器34中。然而,在此存储之前,滤波器单元47可将滤波应用于所述视频块以改进视频质量。滤波器单元47进行的此滤波可减少成块效应或其它假象。在一些情况下,滤波器单元47可被称作去块滤波器单元。此外,滤波可通过产生比未经滤波的预测性视频块更接近地匹配正被译码的视频块的预测性视频块来改进压缩。在滤波之后,经重构的视频块可由预测单元32用作参考块以帧间译码后续视频帧或其它经译码单元中的块。尽管将滤波器单元47展示为“循环内”,但本发明的技术还可与后滤波器一起使用,在所述情况下,未经滤波的数据(而非经滤波数据)将用于预测后续经译码单元中的数据的目的。
滤波器单元47可以提升视频质量的方式执行滤波系数选择。举例来说,滤波器单元47可从预先界定的系数集合选择滤波系数,或可自适应地界定滤波系数以便提升视频质量或经改进的压缩。滤波器单元47可为给定经译码单元选择或界定一个或一个以上滤波系数集合,使得相同滤波系数集合用于所述经译码单元的不同视频块的像素。在一些情况下,滤波器单元47可应用若干滤波系数集合,且选择产生最佳质量视频或最高压缩等级的集合。在任何情况下,一旦选定,可能需要编码由滤波器单元47针对每一经译码单元而应用的所述滤波系数集合,并将其传送到解码装置。
根据本发明,滤波器单元47可基于量化与经译码单元内的一个或一个以上像素集合相关联的活动的活动度量来选择滤波系数。以此方式,由滤波器单元47应用的滤波是由与经译码单元的像素相关联的活动界定。活动可在经译码单元内的像素值方差方面得以指示。经译码单元中的像素值中的较大方差可指示较高像素活动等级,而像素值中的较小方差可指示较低像素活动等级。不同滤波系数可取决于像素方差的等级(即,活动)而引起较佳滤波(例如,较高图像质量)。像素方差可由活动度量量化,所述活动度量可包含改进拉普拉斯求和值,如下文更详细地论述。然而,还可使用其它类型的活动度量。
根据本发明,滤波器单元47执行关于滤波信息的译码技术,其可减少编码滤波信息及将滤波信息从编码器50传达到另一装置所需的数据的量。此外,对于每一经译码单元(例如帧、图片群组(GOP)、切片或其它经译码单元),滤波器单元37可界定或选择待应用于所述经译码单元的像素的一个或一个以上滤波系数集合。滤波器单元47应用所述滤波系数以便对存储在存储器34中的经重构视频帧的视频块进行滤波,其可用于与循环内滤波一致的预测性译码。滤波器单元47可将滤波系数编码为滤波信息,将滤波信息转发到熵译码单元46以用于包括于经编码的位流中。
本发明的技术认可且利用以下事实:由滤波器单元47界定或选择的滤波系数中的一些可非常类似于关于另一经译码单元的像素而应用的其它滤波系数。可针对不同译码单元应用相同类型的滤波器(例如,相同滤波器支持),但所述滤波器可能在与滤波器支持的不同索引相关联的滤波系数值方面不同。因而,为了减少传达此些滤波系数所需的数据的量,滤波器单元47可基于另一经译码单元的滤波系数,利用所述滤波系数之间的任何相似性来预测性地编码待用于滤波的一个或一个以上滤波系数。然而,在一些情况下,直接编码所述滤波系数(例如,不使用任何预测)可能更理想。本发明利用活动度量的使用以界定何时使用预测性译码技术来编码滤波系数,及何时在无任何预测性译码的情况下直接编码滤波系数。
对于活动度量的第一范围,滤波器单元47将一个或一个以上滤波器直接编码到滤波信息中。举例来说,在此情况下,可将滤波系数的值直接编码到位流中,而不使用任何预测性编码技术。然而,对于活动度量的第二范围,滤波器单元47将一个或一个以上滤波器预测性地编码到滤波信息中。在此情况下,滤波系数的值可由相对于为另一经译码单元界定的滤波系数的残值或差界定。如上文提到,经预测性地译码的滤波信息可包括第一数据,其(例如)通过识别不同经译码单元来识别不同的经编码滤波器,且经预测性地译码的滤波信息还可包括第二数据,其表示正被译码的当前滤波系数与由第一数据识别的不同滤波器的滤波系数之间的差。
举例来说,如果一滤波系数集合针对六元素滤波器支持在垂直或水平维度上包含(5,-2,10,10,-2,5),那么这些滤波系数的直接编码将编码每一值,例如5、-2、10、10、-2及5。然而,对于预测性译码,滤波器单元47可识别(例如)曾界定前一滤波系数集合(6,-2,12,12,-2,6)的前一经译码单元。在此情况下,通过识别所述前一滤波系数集合(6,-2,12,12,-2,6),可将当前滤波系数集合(5,-2,10,10,-2,5)编码为不同值(1,0,2,2,0,1)。以此方式,预测性译码可减少传达滤波系数所需的数据的量。在此实例中,所述系数集合(5,-2,10,10,-2,5)可包含对称滤波器分接头,使得一个维度中的三个相邻像素分别基于系数10、-2及5而滤波,且另一维度中的三个像素也分别基于系数10、-2及5而滤波。在此情况下,系数10及10用于紧邻当前像素的像素,系数-2及-2用于距离当前像素两个整数位置的接近像素,且系数5及5用于距离当前像素三个整数位置的接近像素。
还可强加对称性以使得系数的子集(例如,5,-2,10)由解码器获知以界定完整集合(5,-2,10,10,-2,5)。可在直接及预测性译码情形两者中强加对称性。
通过对于活动度量的第一范围使用无任何预测的直接编码来编码一个或一个以上滤波器,且对于活动度量的第二范围使用预测性编码来编码一个或一个以上滤波器,可实现改进的数据压缩。在此情况下,使编码及解码滤波器的方式取决于活动度量。此外,如所指出,滤波器选择自身也可取决于活动度量。因此,活动度量可确定应用于经译码单元的像素的滤波,且还可界定或影响将滤波信息编码到位流中及从位流解码的方式。经编码的滤波信息可包括信令语法,信令语法向解码器用信号通知用于任何给定系数集合的编码方式,以及应针对其使用任何给定系数集合的活动度量范围。解码器可按照此信令语法来解码及应用所述滤波系数。
图3为说明视频解码器60的实例的框图,所述视频解码器60解码以本文中描述的方式编码的视频序列。所接收到的视频序列可包含经编码的图像帧集合、帧切片集合、经共同译码的图片群组(GOP),或各种各样的经译码视频单元(包括经编码的视频块及语法以界定如何解码此些视频块)。在一些情况下,甚至宏块或其它视频块也可为经译码单元(例如,如果宏块被编码为可单独地解码的单元)。
视频解码器60包括熵解码单元52,熵解码单元52执行由图2的熵编码单元46执行的编码的互逆解码功能。明确地说,熵解码单元52可执行CAVLC或CABAC解码,或由视频编码器50使用的任何其它类型的熵解码。呈一维串行化格式的经熵解码的视频块可经逆扫描以将系数的一个或一个以上一维向量转换回到二维块格式中。向量的数目及大小,以及为视频块界定的扫描次序可界定如何重构二维块。经熵解码的预测语法可从熵解码单元52发送到预测单元54,且经熵解码的滤波信息可从熵解码单元52发送到滤波器单元57。
视频解码器60还包括预测单元54、逆量化单元56、逆变换单元58、存储器及求和器64。另外,视频解码器60还包括对求和器64的输出进行滤波的滤波器单元57。与本发明一致,滤波器单元57可接收包括待应用的一个或一个以上滤波器的经熵解码的滤波信息。所述滤波器可由若干滤波系数集合界定。滤波器单元57可经配置以基于滤波信息产生滤波系数。滤波信息可包括信令语法,所述信令语法用信号通知解码器用于任何给定系数集合的编码方式,以及应针对其使用任何给定系数集合的活动度量范围。在滤波器的解码之后,滤波器单元57可基于一个或一个以上滤波系数集合及包括应针对其使用不同滤波系数集合的活动度量范围的信令语法而对经解码的视频块的像素值进行滤波。所述活动度量范围可由一组活动值界定,所述组活动值界定用以界定所使用的编码的类型(例如,预测性或直接)的活动度量的范围。
滤波器单元57可计算与经译码单元的经解码像素(例如,加法器51的输出)相关联的一个或一个以上活动度量,以便确定如何应用滤波器。对于活动度量的第一范围,滤波器单元57应用曾直接编码到滤波信息中的一个或一个以上滤波器。举例来说,在此情况下,滤波系数的值将已直接编码到位流中,而不使用任何预测性编码技术。然而,对于活动度量的第二范围,滤波器单元57应用曾预测性地编码于滤波信息中的一个或一个以上滤波器。在此情况下,滤波系数的值可能已由相对于为另一经译码单元界定的滤波系数的残值或差界定。对于这些系数,滤波器单元57可基于滤波信息识别不同经译码单元的不同滤波器,基于所述滤波信息确定残值,且将所述残值与所述不同经译码单元的一个或一个以上不同滤波器加以组合,以便产生待应用于当前经译码单元的一个或一个以上新滤波器。由滤波器单元57计算的活动度量界定在解码过程中应用哪些滤波器。滤波器单元57对滤波系数的实际解码(例如,直接或预测性解码)可基于经编码的滤波信息中界定曾如何编码滤波器的信令语法来执行。
所述滤波器通常可采用任何类型的滤波器支持形状或布置。滤波器支持指代相对于正被滤波的给定像素的滤波器的形状,且滤波系数可根据滤波器支持界定应用于相邻像素值的加权。有时,滤波器类型可由编码器及解码器推定,在此情况下,滤波器类型不包括于位流中,但在其它情况下,滤波器类型可与如本文中描述的滤波系数信息一起编码。语法数据还可向解码器用信号通知如何编码滤波器(例如,如何编码滤波系数)以及应针对其使用不同滤波器的活动度量的范围。
预测单元54接收来自熵解码单元52的预测语法(例如运动向量)。使用所述预测语法,预测单元54产生曾用以译码视频块的预测块。逆量化单元56执行逆量化,且逆变换单元58执行逆变换以将残余视频块的系数改变回到像素域。加法器64将每一预测块与由逆变换单元58输出的对应残余块组合以便重构视频块。
滤波器单元57产生待应用于每一经译码单元的滤波系数,且接着应用此些滤波系数以便对所述经译码单元的经重构的视频块进行滤波。举例来说,所述滤波可包含使边缘平滑及/或消除与视频块相关联的假象的去块滤波。将经滤波的视频块累积在存储器62中,以便重构视频信息的经解码帧(或其它可解码单元)。经解码单元可从视频解码器60输出以向用户呈现,但也可经存储以用于后续预测性解码中。
在视频译码的领域中,在编码器及解码器处应用滤波以便增强经解码的视频信号的质量是常见的。滤波可经由后滤波器而应用,在所述情况下,经滤波的帧不用于将来帧的预测。或者,可“循环内”应用滤波,在所述情况下,经滤波的帧可用以预测将来帧。可通过最小化原始信号与经解码的经滤波信号之间的误差来设计理想的滤波器。
以类似于变换系数的量化的方式,还可量化滤波器的系数h(k,l),其中k=-K,...,K,且l=-L,...,L。K及L可表示整数值。滤波器的系数h(k,l)可量化为:
f(k,l)=round(normFact·h(k,l))
其中normFact为归一化因子,且round为经执行以实现到所要位深度的量化的舍入运算。滤波系数的量化可在编码期间由滤波器单元47(图2)执行,且解量化或逆量化可由滤波器单元57(图3)对经解码的滤波系数执行。
经量化的滤波系数经编码且作为经编码位流的一部分从与编码器60相关联的源装置发送到与解码器60相关联的目的装置。在上文的实例中,normFact的值通常等于2n,但可使用其它值。normFact的值越大,引起越精确的量化,使得经量化的滤波系数f(k,l)提供较佳性能。然而,normFact的值越大可能产生需要越多个位发射到解码器的系数f(k,l)。
在解码器60处,经解码的滤波系数f(k,l)可如下应用于经重构的图像R(i,j),其中i=0,…,M,且j=0,..,N:
R ~ ( i , j ) = Σ k = - K K Σ l = - L L f ( k , l ) R ( i + k , j + l ) / Σ k = - K K Σ l = - L L f ( k , l )
变量M、N、K及L可表示整数。K及L可界定横跨从-K到K及从-L到L的两个维度的像素块。
本发明的技术可改进后滤波器或循环内滤波器的性能,且还可减少发射滤波系数f(k,l)所需的位的数目。在一些情况下,对于每一经译码单元(例如,对于每一帧、切片、帧的部分、图片群组(GOP)等),将若干不同后滤波器或循环内滤波器发射到解码器。对于每一滤波器,额外信息包括于位流中以识别应针对其应用给定滤波器的经译码单元、宏块及/或像素。
所述帧可由帧数目及/或帧类型(例如,I帧、P帧或B帧)识别。I帧指代经帧内预测的帧内帧。P帧指代具有基于一个数据列表(例如,一个先前帧)而预测的视频块的预测性帧。B帧指代基于两个数据列表(例如,前一帧及后一帧)而预测的双向预测性帧。可通过列出宏块类型及/或用以重构宏块的量化参数(QP)值的范围来识别宏块。
滤波信息还可指示只有图像的局部特性的给定量度的值(称为活动度量)在指定范围内的像素应用特定滤波器来滤波。举例来说,对于像素(i,j),活动度量可包含如下计算的改进拉普拉斯求和值:
var ( i , j ) = Σ k = - K K Σ l = - L L | 2 R ( i + k , j + l ) - R ( i + k - 1 , j + l ) - R ( i + k + 1 , j + l | +
| 2 R ( i + k , j + l ) - R ( i + k , j + l - 1 ) - R ( i + k , j + l + 1 ) |
其中对于横跨从-K到K及从-L到L的二维窗,k表示从-K到K的像素值的总和的值,且l表示从-L到L的总和的值,其中i及j表示像素数据的像素坐标,R(i,j)表示在坐标i及j处的给定像素值,且var(i,j)为活动度量。
可使用来自针对先前经译码单元而发射的系数的预测来译码滤波系数f(k,l)。对于每一经译码单元m(例如,每一帧、切片或GOP),编码器可编码及发射一组M个滤波器:
其中i=0,…,M-1。
对于每一滤波器,可编码位流以识别应针对其使用滤波器的活动度量值var的值的范围。
举例来说,编码器50的滤波器单元47可指示滤波器:
g o m
应用于活动度量值var在区间[0,var0)内的像素,即,var≥0且var<var0。此外,编码器50的滤波器单元47可指示滤波器:
其中i=1,..,M-2,
应用于活动度量值var在区间[vari-1,vari)内的像素。另外,编码器50的滤波器单元47可指示滤波器:
g M - 1 m
应用于活动度量var在var>varM-2时的像素。
可使用用于前一经译码单元中的经重构的滤波系数来预测滤波系数。先前滤波系数可表示为:
其中i=0,…,N-1,
在此情况下,经译码单元的数目n可用以识别用于当前滤波器的预测的一个或一个以上滤波器,且数目n可作为经编码位流的一部分发送到解码器。另外,信息可经编码且发射到解码器以识别针对其使用预测性译码的活动度量var的值。
举例来说,假定对于当前经译码帧m,针对活动度量值[varr-1,varr)发射系数:
g r m .
帧m的滤波系数是从帧n的滤波系数预测的。假定滤波器
f s n
用于活动度量在区间[vars-1,vars)内的像素的帧n中,其中vars-1==varr-1且vars>varr。在此情况下,区间[varr-1,varr)含于区间[vars-1,vars)内。另外,可向解码器发射指示滤波系数的预测应用于活动值[vart-1,vart),而不用于活动值[vart,vart+1)的信息,其中vart-1==varr-1且vart+1==varr
区间[varr-1-1,varr)、[vars-1,vars)、[vart-1,vart)与[vart,vart+1)之间的关系描绘于图4中。在此情况下,用以对具有区间[vart-1,vart)中的活动度量的像素进行滤波的滤波系数的最终值:
f t m
等于以下系数的总和:
f s n g r m
相应地:
f t m ( k , l ) = f s n ( k , l ) + g r m ( k , l ) , k = - K , . . . , K , l = - L , . . . , L .
另外,用于具有活动度量[vart,vart+1)的像素的滤波系数:
f t + 1 m
等于滤波系数:
g l m .
因此:
f t + 1 m ( k , l ) = g r m ( k , l ) , k = - K , . . . , K , l = - L , . . . , L .
滤波系数g(k,l)的幅值取决于k及l的值。通常,具有最大幅值的系数为系数g(0,0)。预期具有大幅值的其它系数为k或l的值等于0的系数。可利用此现象来进一步减少发射所述系数所需的位的量。索引值k及l可界定在已知滤波器支持内的位置。
用于每一帧m的系数:
g i m ( k , l ) , i = 0 , · · · , M - 1
可使用根据参数p而界定的例如哥伦布码(Golomb code)或指数哥伦布码(exp-Golomb code)等经参数化的可变长度码来译码。通过改变界定经参数化的可变长度码的参数p的值,这些码可用以高效地表示各种各样的源分布。系数g(k,l)的分布(即,其具有大值或小值的可能性)取决于k及l的值。因此,为增加译码效率,对于每一帧m,针对每一对(k,l)发射参数p的值。当编码系数:
其中k=-K,...,K,l=-L,...,L
时,参数p可用于经参数化的可变长度译码。
图5为说明与本发明一致的编码技术的流程图。如图5中所示,视频编码器50编码经译码单元的像素数据(101)。所述经译码单元可包含帧、切片、图片群组(GOP)或另一可独立解码的单元。像素数据可布置于视频块中,且视频编码器50可通过根据例如ITU-T H.264等视频编码标准或类似的基于块的视频译码标准来编码视频块而编码像素数据。
作为视频编码过程的一部分,视频编码器50的滤波器单元47选择一个或一个以上滤波器来对所述经译码单元的像素数据进行滤波(102)。此滤波可用以通过使不同块之间的边缘平滑来去除成块效应假象。将滤波器单元47展示为循环内,这意味着经滤波的数据是用于后面视频块的预测性编码。然而,滤波器单元47可替代地应用后滤波,在所述情况下,未经滤波的数据将用于后面视频块的预测性编码。
滤波器单元47基于活动度量的不同值(例如上文阐释的改进拉普拉斯求和值)来编码滤波器(103)。在进行此操作时,滤波器单元47针对在活动度量的第一范围中应用的滤波器使用直接编码,且针对在活动度量的第二范围中应用的滤波器使用预测性编码(103)。以此方式,不同滤波器可由滤波器单元47应用于活动度量的不同范围,且不同类型的编码(直接或预测性)可基于活动度量由滤波器单元47用来编码不同滤波器。视频编码器50输出用于经译码单元的经编码位流(104),经编码位流包括经编码的像素数据及经编码的滤波器。经编码的像素数据可表示为可在解码器处解码以产生像素值的经熵译码、经量化且经变换的值。经编码的滤波器可由经熵译码的语法表示,其中所述语法包含经直接编码的滤波器及/或经预测性地译码的滤波器。经编码的滤波器还可包括信令语法,所述信令语法识别滤波器曾如何编码及不同滤波器应应用于的活动度量的范围。
不同滤波器可由应用于不同大小的二维滤波器支持的不同滤波系数集合界定。对于活动度量的第一范围,将所述滤波系数集合中的一者或一者以上直接译码到滤波信息中,且对于活动度量的第二范围,将所述滤波系数集合中的一者或一者以上预测性地译码到滤波信息中。或者,对于给定滤波器可界定不同滤波器类型及不同滤波系数集合,其中对于活动度量的第一范围,将所述滤波系数集合中的一者或一者以上直接译码到滤波信息中,且对于活动度量的第二范围,将所述滤波系数集合中的一者或一者以上预测性地译码到滤波信息中。在一些情况下,不同滤波器可具有类似数目的滤波系数。然而,在其它实例中,不同滤波器可包含界定不同数目的滤波系数及不同滤波器支持的完全不同的滤波器。
经编码的滤波信息可包括识别与特定滤波器相关联的帧数目的信息、识别与特定滤波器相关联的帧类型的信息、识别与特定滤波器相关联的视频块类型的信息,及/或识别与特定滤波器相关联的量化参数的信息。这些或其它机制或元素可用以识别位流中的滤波器,尤其是在将预测性译码用于滤波器时。并且,经编码的滤波信息还可包括信令语法,所述信令语法识别滤波器曾如何编码及不同滤波器应应用于的活动度量的范围。
对于活动度量的第二范围,滤波信息可包括识别用以预测经预测性地译码的滤波器中的一者或一者以上的参考数据的信息。举例来说,此参考数据可为识别位流中的前一或后一滤波器的信息,例如识别前一或后一经译码单元的信息。在此情况下,通过识别前一或后一经译码单元,滤波信息可暗示用于前一或后一经译码单元的滤波器曾用于当前滤波器的预测性译码。因而,滤波信息可进一步包括指示当前滤波器与前一或后一经译码单元的滤波器之间的差的差值。所述差值可与由参考数据界定的滤波系数相加,以产生用于当前经译码单元的当前滤波系数。为进一步改进滤波器的压缩,可使用经参数化的可变长度码来译码滤波系数,如上文所提到。
图6为说明与本发明一致的解码技术的流程图。如图6中所示,视频解码器60接收用于经译码单元的包括经编码视频数据及经编码滤波器的经编码位流(111)。视频解码器60解码所述视频数据以产生像素数据(112)。明确地说,视频解码器60可根据ITU-TH.264视频标准或类似的基于块的视频译码标准来执行基于块的视频重构。
根据本发明,视频解码器60使用直接解码或预测性解码来解码滤波器(113)。明确地说,在熵解码单元52进行的熵解码之后,可将经编码的滤波信息发送到滤波器单元57。滤波器单元57可使用直接解码或预测性解码来解码滤波器,且位流可向滤波器单元57告知(例如,经由语法信息)如何使用直接解码或预测性解码来适当地解码滤波器。滤波器单元57可接着基于与经解码的像素数据相关联的活动度量来选择性地应用滤波器(114)。明确地说,对于活动度量的第一范围,滤波器单元57可使用直接编码于位流中的滤波器,而对于活动度量的第二范围,滤波器单元57可使用预测性地编码于位流中的滤波器。
以此方式,由视频编码器50基于像素的活动度量而应用的滤波器可依据此些滤波器是用于活动度量的第一范围还是第二范围而使用直接编码或预测性编码来编码到位流中。相同滤波器可接着由视频解码器60应用,使得在解码器处重构的数据与在编码器处重构的数据匹配。如上文所阐释,通过基于此些滤波器是用于活动度量的第一范围还是第二范围来将不同类型的编码用于滤波器,可实现改进的数据压缩。
前述揭示内容在某种程度上已简化以便表达细节。然而,在实施方案中,每个经译码单元可存在大量滤波器,每个滤波器可存在大量系数,且针对不同范围的方差而界定的滤波器中的每一者可存在大量不同等级的方差。举例来说,在一些情况下,可存在为每一经译码单元界定的十六个或以上滤波器,及对应于每一滤波器的十六个不同范围的方差。在此情况下,可仍存在界定是将直接编码还是预测性编码用于滤波器的两个较大范围的方差(由活动度量界定)。其它或另外,活动度量的每一方差范围可在位流中界定告知解码器曾使用直接编码还是预测性编码的对应位。
所述滤波器中的每一者可包括许多系数。在一个实例中,滤波器包含具有针对在两个维度上延伸的滤波器支持而界定的81个不同系数的二维滤波器。然而,在一些情况下,针对每一滤波器而发射的滤波系数的数目可少于81个。举例来说,可强加系数对称性以使得一个维度或象限中的滤波系数可对应于相对于其它维度或象限中的系数的反转值或对称值。系数对称性可允许81个不同系数由较少系数表示,在所述情况下,编码器及解码器可假定系数的反转值或镜像值界定其它系数。举例来说,可编码系数(5,-2,10,10,-2,5),且将其作为系数子集(5,-2,10)而发射。在此情况下,解码器可知晓这三个系数界定较大的对称系数集合(5,-2,10,10,-2,5)。
本发明的技术可实施于各种各样的装置或设备中,包括无线手持机及集成电路(IC)或一组IC(即,芯片组)。已将任何组件、模块或单元描述为经提供以强调功能方面,且未必需要由不同的硬件单元来实现。
因而,可以硬件、软件、固件或其任何组合来实施本文中所描述的技术。如果以硬件实施,那么描述为模块、单元或组件的任何特征可一起实施于集成逻辑装置中或单独作为离散但能共同操作的逻辑装置而实施。如果以软件实施,那么所述技术可至少部分地由包含指令的计算机可读媒体实现,当在处理器中执行时,所述指令实施上述方法中的一者或一者以上。计算机可读媒体可包含计算机可读存储媒体,且可形成计算机程序产品(其可包括封装材料)的一部分。计算机可读存储媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或其它,可至少部分通过计算机可读通信媒体来实现所述技术,计算机可读通信媒体运载或传送呈指令或数据结构的形式的代码,且可由计算机存取、读取及/或执行。
代码可由一个或一个以上处理器执行,例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因而,如本文中所使用的术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供于经配置以用于编码及解码的专用软件模块或硬件模块内,或并入组合式视频编解码器中。并且,所述技术可完全实施于一个或一个以上电路或逻辑元件中。
已描述本发明的各种方面。这些及其它方面在所附权利要求书的范围内。

Claims (33)

1.一种译码视频数据的方法,所述方法包含:
译码所述视频数据的经译码单元的像素数据;以及
译码与对所述像素数据的滤波过程相关联的滤波信息,其中所述滤波信息包含基于活动度量的不同值而为所述经译码单元界定的不同滤波器,所述活动度量包含指示所述像素数据内的像素方差的方差度量,其中对于所述活动度量的第一范围,将所述滤波器中的一者或多者直接编码到所述滤波信息中,且对于所述活动度量的第二范围,将所述滤波器中的一者或多者预测性地编码到所述滤波信息中,
其中所述活动度量量化与所述视频数据内的一个或多个像素块相关联的活动。
2.根据权利要求1所述的方法,其中所述不同滤波器是由不同的滤波系数集合界定,且其中对于所述活动度量的所述第一范围,将所述滤波系数集合中的一者或多者直接译码到所述滤波信息中,且对于所述活动度量的所述第二范围,将所述滤波系数集合中的一者或多者预测性地译码到所述滤波信息中。
3.根据权利要求1所述的方法,其中译码所述视频数据包含编码所述视频数据,译码所述像素数据包含将所述像素数据编码到经编码位流中,且译码所述滤波信息包含编码所述滤波信息,所述方法进一步包含输出所述滤波信息作为所述经编码位流的一部分。
4.根据权利要求1所述的方法,其中译码所述视频数据包含解码所述视频数据,译码所述像素数据包含从经编码位流解码所述像素数据,且译码所述滤波信息包含解码所述滤波信息,所述方法进一步包含接收作为所述经编码位流的一部分的所述滤波信息。
5.根据权利要求1所述的方法,其中所述滤波信息进一步包括以下各项中的一者或多者:
识别与特定滤波器相关联的帧数目的信息;
识别与特定滤波器相关联的帧类型的信息;
识别与特定滤波器相关联的视频块类型的信息;
识别与特定滤波器相关联的量化参数的信息。
6.根据权利要求1所述的方法,其中对于所述活动度量的所述第二范围,所述滤波信息包括识别用以预测经预测性地译码的所述滤波器中的所述一者或多者的参考数据的信息。
7.根据权利要求1所述的方法,其中所述活动度量包含改进拉普拉斯求和值。
8.根据权利要求7所述的方法,其中所述改进拉普拉斯求和值包含大致根据以下等式而界定的var(i,j):
var ( i , j ) = Σ k = - K K Σ l = - L L | 2 R ( i + k , j + l ) - R ( i + k - 1 , j + l ) - R ( i + k + 1 , j + l | + | 2 R ( i + k , j + l ) - R ( i + k , j + l - 1 ) - R ( i + k , j + l - 1 ) |
其中对于横跨从-K到K及从-L到L的二维窗,k表示从-K到K的总和的值,且1表示从-L到L的总和的值,其中i及j表示所述像素数据的像素坐标,R(i,j)表示在坐标i及j处的给定像素值,且var(i,j)为所述活动度量。
9.根据权利要求1所述的方法,其中所述不同滤波器是由不同的滤波系数集合界定,所述方法进一步包含使用经参数化的可变长度码来译码所述滤波系数。
10.根据权利要求1所述的方法,其中所述经译码单元包含以下各项中的一者:
视频帧,
视频帧的一部分,以及
图片群组(GOP)。
11.一种译码视频数据的设备,所述设备包含视频译码器,所述视频译码器:
译码所述视频数据的经译码单元的像素数据;且
译码与对所述像素数据的滤波过程相关联的滤波信息,其中所述滤波信息包含基于活动度量的不同值而为所述经译码单元界定的不同滤波器,所述活动度量包含指示所述像素数据内的像素方差的方差度量,其中对于所述活动度量的第一范围,将所述滤波器中的一者或多者直接编码到所述滤波信息中,且对于所述活动度量的第二范围,将所述滤波器中的一者或多者预测性地编码到所述滤波信息中,
其中所述活动度量量化与所述视频数据内的一个或多个像素块相关联的活动。
12.根据权利要求11所述的设备,其中所述不同滤波器是由不同的滤波系数集合界定,且其中对于所述活动度量的所述第一范围,将所述滤波系数集合中的一者或多者直接译码到所述滤波信息中,且对于所述活动度量的所述第二范围,将所述滤波系数集合中的一者或多者预测性地译码到所述滤波信息中。
13.根据权利要求11所述的设备,其中所述设备编码所述视频数据,且所述视频译码器包含编码器,所述编码器将所述像素数据编码到经编码位流中,编码所述滤波信息,且输出所述滤波信息作为所述经编码位流的一部分。
14.根据权利要求11所述的设备,其中所述设备解码所述视频数据,且所述视频译码器包含解码器,所述解码器接收作为经编码位流的一部分的滤波信息,从所述经编码位流解码所述像素数据,且从所述经编码位流解码所述滤波信息。
15.根据权利要求11所述的设备,其中所述滤波信息进一步包括以下各项中的一者或多者:
识别与特定滤波器相关联的帧数目的信息;
识别与特定滤波器相关联的帧类型的信息;
识别与特定滤波器相关联的视频块类型的信息;
识别与特定滤波器相关联的量化参数的信息。
16.根据权利要求11所述的设备,其中对于所述活动度量的所述第二范围,所述滤波信息包括识别用以预测经预测性地译码的所述滤波器中的所述一者或多者的参考数据的信息。
17.根据权利要求11所述的设备,其中所述活动度量包含改进拉普拉斯求和值。
18.根据权利要求17所述的设备,其中所述改进拉普拉斯求和值包含大致根据以下等式而界定的var(i,j):
var ( i , j ) = Σ k = - K K Σ l = - L L | 2 R ( i + k , j + l ) - R ( i + k - 1 , j + l ) - R ( i + k + 1 , j + l | + | 2 R ( i + k , j + l ) - R ( i + k , j + l - 1 ) - R ( i + k , j + l - 1 ) |
其中对于横跨从-K到K及从-L到L的二维窗,k表示从-K到K的总和的值,且1表示从-L到L的总和的值,其中i及j表示所述像素数据的像素坐标,R(i,j)表示在坐标i及j处的给定像素值,且var(i,j)为所述活动度量。
19.根据权利要求11所述的设备,其中所述不同滤波器是由不同的滤波系数集合界定,且其中所述视频译码器使用经参数化的可变长度码来译码所述滤波系数。
20.根据权利要求11所述的设备,其中所述经译码单元包含以下各项中的一者:
视频帧,
视频帧的一部分,以及
图片群组(GOP)。
21.根据权利要求11所述的设备,其中所述视频译码器包含集成电路。
22.根据权利要求11所述的设备,其中所述视频译码器包含微处理器。
23.根据权利要求11所述的设备,其中所述设备包含包括所述视频译码器的无线通信装置。
24.一种译码视频数据的装置,所述装置包含:
用于译码所述视频数据的经译码单元的像素数据的装置;以及
用于译码与对所述像素数据的滤波过程相关联的滤波信息的装置,其中所述滤波信息包含基于活动度量的不同值而为所述经译码单元界定的不同滤波器,所述活动度量包含指示所述像素数据内的像素方差的方差度量,其中对于所述活动度量的第一范围,将所述滤波器中的一者或多者直接编码到所述滤波信息中,且对于所述活动度量的第二范围,将所述滤波器中的一者或多者预测性地编码到所述滤波信息中,
其中所述活动度量量化与所述视频数据内的一个或多个像素块相关联的活动。
25.根据权利要求24所述的装置,其中所述不同滤波器是由不同的滤波系数集合界定,且其中对于所述活动度量的所述第一范围,将所述滤波系数集合中的一者或多者直接译码到所述滤波信息中,且对于所述活动度量的所述第二范围,将所述滤波系数集合中的一者或多者预测性地译码到所述滤波信息中。
26.根据权利要求24所述的装置,其中用于译码所述视频数据的装置包含用于编码所述视频数据的装置,用于译码所述像素数据的装置包含用于将所述像素数据编码到经编码位流中的装置,且用于译码所述滤波信息的装置包含用于编码所述滤波信息的装置,所述装置进一步包含用于输出所述滤波信息作为所述经编码位流的一部分的装置。
27.根据权利要求24所述的装置,其中用于译码所述视频数据的装置包含用于解码所述视频数据的装置,用于译码所述像素数据的装置包含用于从经编码位流解码所述像素数据的装置,且用于译码所述滤波信息的装置包含用于解码所述滤波信息的装置,所述装置进一步包含用于接收作为所述经编码位流的一部分的所述滤波信息的装置。
28.根据权利要求24所述的装置,其中所述滤波信息进一步包括以下各项中的一者或多者:
识别与特定滤波器相关联的帧数目的信息;
识别与特定滤波器相关联的帧类型的信息;
识别与特定滤波器相关联的视频块类型的信息;
识别与特定滤波器相关联的量化参数的信息。
29.根据权利要求24所述的装置,其中对于所述活动度量的所述第二范围,所述滤波信息包括识别用以预测经预测性地译码的所述滤波器中的所述一者或多者的参考数据的信息。
30.根据权利要求24所述的装置,其中所述活动度量包含改进拉普拉斯求和值。
31.根据权利要求30所述的装置,其中所述改进拉普拉斯求和值包含大致根据以下等式而界定的var(i,j):
var ( i , j ) = Σ k = - K K Σ l = - L L | 2 R ( i + k , j + l ) - R ( i + k - 1 , j + l ) - R ( i + k + 1 , j + l | + | 2 R ( i + k , j + l ) - R ( i + k , j + l - 1 ) - R ( i + k , j + l - 1 ) |
其中对于横跨从-K到K及从-L到L的二维窗,k表示从-K到K的总和的值,且1表示从-L到L的总和的值,其中i及j表示所述像素数据的像素坐标,R(i,j)表示在坐标i及j处的给定像素值,且var(i,j)为所述活动度量。
32.根据权利要求24所述的装置,其中所述不同滤波器是由不同的滤波系数集合界定,所述装置进一步包含用于使用经参数化的可变长度码来译码所述滤波系数的装置。
33.根据权利要求24所述的装置,其中所述经译码单元包含以下各项中的一者:
视频帧,
视频帧的一部分,以及
图片群组(GOP)。
CN201080004510.6A 2009-01-15 2010-01-15 基于视频译码中的活动度量的滤波预测 Active CN102369731B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US14487309P 2009-01-15 2009-01-15
US61/144,873 2009-01-15
US17834609P 2009-05-14 2009-05-14
US61/178,346 2009-05-14
US12/687,487 2010-01-14
US12/687,487 US9143803B2 (en) 2009-01-15 2010-01-14 Filter prediction based on activity metrics in video coding
PCT/US2010/021239 WO2010083438A2 (en) 2009-01-15 2010-01-15 Filter prediction based on activity metrics in video coding

Publications (2)

Publication Number Publication Date
CN102369731A CN102369731A (zh) 2012-03-07
CN102369731B true CN102369731B (zh) 2015-03-18

Family

ID=42319083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080004510.6A Active CN102369731B (zh) 2009-01-15 2010-01-15 基于视频译码中的活动度量的滤波预测

Country Status (8)

Country Link
US (1) US9143803B2 (zh)
EP (1) EP2387851B1 (zh)
JP (1) JP5405596B2 (zh)
KR (1) KR101323546B1 (zh)
CN (1) CN102369731B (zh)
BR (1) BRPI1007143A2 (zh)
TW (1) TWI413416B (zh)
WO (1) WO2010083438A2 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US20110222608A1 (en) * 2010-03-15 2011-09-15 Yongying Gao Localized in-loop filtering with multiple filters in hybrid video coding
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
JPWO2011158657A1 (ja) * 2010-06-17 2013-08-19 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US20120044986A1 (en) * 2010-08-17 2012-02-23 Qualcomm Incorporated Low complexity adaptive filter
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
WO2012071417A1 (en) 2010-11-24 2012-05-31 Thomson Licensing Adaptive loop filtering
US8958478B2 (en) * 2010-12-03 2015-02-17 Technische Universitaet Berlin Method and device for processing pixels contained in a video sequence
US9445126B2 (en) * 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
US20120183078A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
US20120189064A1 (en) * 2011-01-14 2012-07-26 Ebrisk Video Inc. Adaptive loop filtering using multiple filter shapes
US8964852B2 (en) * 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
JP2012213128A (ja) 2011-03-24 2012-11-01 Sony Corp 画像処理装置および方法
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
EP2725790A4 (en) * 2011-06-24 2014-12-10 Lg Electronics Inc PROCESS FOR CODING AND DECODING IMAGE INFORMATION
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
JP5882450B2 (ja) * 2011-08-31 2016-03-09 メディアテック インコーポレイテッド 制約付きフィルタ係数を有する適応ループフィルタの方法及び装置
US9167269B2 (en) 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
US9635359B2 (en) * 2011-11-28 2017-04-25 Canon Kabushiki Kaisha Method and apparatus for determining deblocking filter intensity
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
US9445088B2 (en) * 2012-04-09 2016-09-13 Qualcomm Incorporated LCU-based adaptive loop filtering for video coding
JP6159225B2 (ja) * 2013-10-29 2017-07-05 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US9584395B1 (en) 2013-11-13 2017-02-28 Netflix, Inc. Adaptive metric collection, storage, and alert thresholds
US10142636B2 (en) * 2014-06-09 2018-11-27 Sony Corporation Communication system with coding mechanism and method of operation thereof
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
KR20180019547A (ko) * 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치
US10764574B2 (en) * 2015-07-01 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
KR102424411B1 (ko) 2017-04-13 2022-07-25 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
GB2572595B (en) * 2018-04-04 2023-03-22 British Broadcasting Corp Video encoding and decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS612482A (ja) 1984-06-15 1986-01-08 Mitsubishi Electric Corp サブナイキスト標本化フイルタ
CA1270322A (en) * 1983-12-22 1990-06-12 Kotaro Asai Adaptive comb filter
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
JPH0970044A (ja) * 1995-08-31 1997-03-11 Sony Corp 画像信号処理装置および方法
US5798795A (en) * 1996-03-01 1998-08-25 Florida Atlantic University Method and apparatus for encoding and decoding video signals
US5844613A (en) 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
KR100265722B1 (ko) * 1997-04-10 2000-09-15 백준기 블럭기반영상처리방법및장치
WO2000018129A1 (en) 1998-09-22 2000-03-30 Matsushita Electric Industrial Co., Ltd. Video signal encoding method, video signal encoder, and program recorded medium
US6421720B2 (en) * 1998-10-28 2002-07-16 Cisco Technology, Inc. Codec-independent technique for modulating bandwidth in packet network
US6529638B1 (en) * 1999-02-01 2003-03-04 Sharp Laboratories Of America, Inc. Block boundary artifact reduction for block-based image compression
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7203234B1 (en) * 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US6504872B1 (en) * 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
US20030026495A1 (en) * 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
DE10120395A1 (de) 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20040247190A1 (en) 2001-09-18 2004-12-09 Makoto Hagai Image encoding method and image decoding method
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
KR100418437B1 (ko) * 2001-12-24 2004-02-14 (주)씨앤에스 테크놀로지 멀티미디어 신호처리를 위한 영상복원 프로세서
KR100945546B1 (ko) 2002-01-14 2010-03-08 노키아 코포레이션 동적 필터 부호화
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
JP4313757B2 (ja) * 2002-05-02 2009-08-12 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 画像および/またはビデオ符号器と復号器における変換係数を符号化するための方法と装置および対応するコンピュータプログラムと対応するコンピュータによる読み出し可能な記憶媒体
CN100566379C (zh) * 2002-06-25 2009-12-02 松下电器产业株式会社 移动检测装置及其利用该装置的噪声衰减装置
EP1408697A4 (en) 2002-07-11 2007-07-25 Matsushita Electric Ind Co Ltd METHOD FOR DETERMINING THE FILTRATION THICKNESS, METHOD FOR MOVING PICTOR CODING AND METHOD FOR MOVING PICTOR CODING
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
EP1603338A4 (en) 2003-03-10 2007-12-05 Mitsubishi Electric Corp APPARATUS AND METHOD FOR VIDEO SIGNAL CODING
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
WO2005034517A1 (en) 2003-09-17 2005-04-14 Thomson Licensing S.A. Adaptive reference picture generation
US7822286B2 (en) * 2003-11-07 2010-10-26 Mitsubishi Electric Research Laboratories, Inc. Filtering artifacts in images with 3D spatio-temporal fuzzy filters
US7437013B2 (en) 2003-12-23 2008-10-14 General Instrument Corporation Directional spatial video noise reduction
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US8165389B2 (en) * 2004-03-15 2012-04-24 Microsoft Corp. Adaptive interpolation with artifact reduction of images
JP4468734B2 (ja) * 2004-04-27 2010-05-26 オリンパス株式会社 映像信号処理装置と映像信号処理プログラム
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20070230565A1 (en) * 2004-06-18 2007-10-04 Tourapis Alexandros M Method and Apparatus for Video Encoding Optimization
TW200625964A (en) 2004-07-20 2006-07-16 Qualcomm Inc Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US20060028562A1 (en) * 2004-08-09 2006-02-09 Martin Schmitz Fast area-selected filtering for pixel-noise and analog artifacts reduction
US7370126B2 (en) * 2004-11-03 2008-05-06 Cisco Technology, Inc. System and method for implementing a demand paging jitter buffer algorithm
US7634148B2 (en) * 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
US8149926B2 (en) * 2005-04-11 2012-04-03 Intel Corporation Generating edge masks for a deblocking filter
US7680355B2 (en) * 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US20060285597A1 (en) * 2005-06-20 2006-12-21 Flextronics International Usa, Inc. Reusing interpolated values in advanced video encoders
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US7778169B2 (en) * 2005-09-02 2010-08-17 Cisco Technology, Inc. Packetizing media for a time slotted communication system
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
JP4455487B2 (ja) 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
WO2007111292A1 (ja) 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置
EP2041981B1 (en) * 2006-07-18 2013-09-04 Thomson Licensing Methods and apparatus for adaptive reference filtering
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US8731064B2 (en) * 2006-09-11 2014-05-20 Apple Inc. Post-processing for decoder complexity scalability
US20080075165A1 (en) 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
RU2461977C2 (ru) 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
EP2227020B1 (en) * 2007-09-28 2014-08-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8451902B2 (en) * 2008-04-23 2013-05-28 Telefonaktiebolaget L M Ericsson (Publ) Template-based pixel block processing
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8290782B2 (en) * 2008-07-24 2012-10-16 Dts, Inc. Compression of audio scale-factors by two-dimensional transformation
US8736751B2 (en) * 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8150191B2 (en) * 2008-10-14 2012-04-03 Interra Systems Inc. Method and system for calculating blur artifacts in videos using user perception threshold
US8792564B2 (en) * 2008-10-28 2014-07-29 Sony Corporation Adaptive preprocessing method using feature-extracted video maps
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
WO2010102935A1 (en) 2009-03-09 2010-09-16 Thomson Licensing Estimation of the prediction mode for the intra coding mode
EP2262267A1 (en) 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
US8787449B2 (en) 2010-04-09 2014-07-22 Sony Corporation Optimal separable adaptive loop filter
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding

Also Published As

Publication number Publication date
TW201119398A (en) 2011-06-01
CN102369731A (zh) 2012-03-07
WO2010083438A2 (en) 2010-07-22
BRPI1007143A2 (pt) 2018-03-13
KR20110111476A (ko) 2011-10-11
KR101323546B1 (ko) 2013-10-29
EP2387851A2 (en) 2011-11-23
JP5405596B2 (ja) 2014-02-05
EP2387851B1 (en) 2013-11-27
JP2012515514A (ja) 2012-07-05
WO2010083438A3 (en) 2010-11-11
US20100177822A1 (en) 2010-07-15
US9143803B2 (en) 2015-09-22
WO2010083438A8 (en) 2011-11-17
TWI413416B (zh) 2013-10-21

Similar Documents

Publication Publication Date Title
CN102369731B (zh) 基于视频译码中的活动度量的滤波预测
CN102342101B (zh) 用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案
CN101690227B (zh) 用于对子带进行熵译码的子带扫描技术
US8638852B2 (en) Video coding of filter coefficients based on horizontal and vertical symmetry
CN103222263B (zh) 基于改进的拉普拉斯求和滤波器标引与四叉树分割的组合的多输入自适应滤波器
EP2684356B1 (en) MOTION VECTOR PREDICTORS (MVPs) FOR BI-PREDICTIVE INTER MODE IN VIDEO CODING
CN101911702B (zh) 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置
CN101946515B (zh) Cabac译码器的二回合量化
JP5415546B2 (ja) ベクトル化エントロピーコーディングに基づく加重予測
US20120163455A1 (en) Mode dependent scanning of coefficients of a block of video data
CN103718551A (zh) 在视频译码中用信号发出图片大小
CN103460695A (zh) 视频译码中基于单预测相邻者的双预测合并模式
CN103250414A (zh) 用于内插视频译码的子像素的值的自适应支持
KR101469338B1 (ko) 혼합된 탭 필터들
CN104012096A (zh) 执行视频译码的运动向量预测
CN103004196A (zh) 在经压缩位流中包含切换式内插滤波器系数
CN103404144A (zh) 视频译码中的经量化脉码调制
CN103370939A (zh) 用于对图像进行编码/解码的方法和装置
CN103918263A (zh) 用于扫描视频编译中的矩形变换的设备和方法
CN103283230A (zh) 使用一维切换滤波器与一维自适应滤波器的组合的视频滤波
CN103636207A (zh) 用于明度及色度块的可变长度译码系数译码
CN103650514A (zh) 使用vlc码字来译码语法元素

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant