CN102598660B - 用于多层视频传输的自适应内插滤波器 - Google Patents

用于多层视频传输的自适应内插滤波器 Download PDF

Info

Publication number
CN102598660B
CN102598660B CN201080013282.9A CN201080013282A CN102598660B CN 102598660 B CN102598660 B CN 102598660B CN 201080013282 A CN201080013282 A CN 201080013282A CN 102598660 B CN102598660 B CN 102598660B
Authority
CN
China
Prior art keywords
layer video
video signal
enhancement
filter
base layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080013282.9A
Other languages
English (en)
Other versions
CN102598660A (zh
Inventor
叶琰
佩沙拉·V·帕哈拉瓦达
亚历山德罗斯·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102598660A publication Critical patent/CN102598660A/zh
Application granted granted Critical
Publication of CN102598660B publication Critical patent/CN102598660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

描述了用于多层视频传输的自适应内插滤波器。也提出了在帧兼容3D视频传输***或2D兼容的3D视频传输***、以及2D可伸缩视频传输***的环境下具有其它预处理步骤的这种自适应滤波器的组合。

Description

用于多层视频传输的自适应内插滤波器
对相关申请的交叉引用
本公开要求2009年4月20日递交的美国临时申请第61/170,995号、2009年7月4日递交的美国临时申请第61/223,027号、2010年1月14日递交的美国临时申请第61/295,034号以及2010年2月1日递交的美国临时申请第61/300,427号的优先权，所有这些申请的全部内容通过引用合并于此。
技术领域
本公开涉及图像处理和视频压缩。更具体地，本公开的实施例涉及多层视频传输。多层视频传输的示例性实施例包括但不限于2D可伸缩编码(scalable coding)、2D兼容的3D以及帧兼容的3D。
背景技术
为了在消费者中促进对立体(3D)内容的迅速采用，理想的家用3D***应该是可以以对诸如机顶盒、DVD和蓝光碟播放器的现有播放设备进行最小改动或者不进行改动而实现的家用3D***。理想的家用3D***也应该最大限度地与现有的具有3D功能的显示器相兼容，诸如三星(Samsung)和三菱(Mitsubishi)的DLP(参见参考文献1，其全部内容通过引用合并于此)显示器、一些等离子显示器、以及基于偏振的和帧顺序的(frame sequential)LCD显示器。
对于全分辨率3D内容的期望已经产生了一些***，例如MPEG-4AVC/H.264视频编码标准(参见参考文献3，其全部内容通过引用合并于此)的多视图视频编码(Multiview Video Coding，MVC)扩展，以利用两个或者更多个层，其中，基础层代表一个视图而每个增强层代表附加的视图，所有这些层均处于原始分辨率。
H.264/AVC的可伸缩视频编码(Scalable Video Coding，SVC)扩展([2]中的附录G)定义了用于2D视频编码的多层视频编码***。SVC扩展提供了各种类型的可伸缩性：空间可伸缩性、质量可伸缩性、时间可伸缩性或者以上各项的任意组合。例如，在空间可伸缩性中，基础层比特流携带较低空间分辨率的视频信号，而增强层比特流携带附加的信息，使得当一起解码增强层比特流与基础层比特流时，可获得较高空间分辨率的视频信号。再例如，在质量可伸缩性中，增强层比特流携带附加信息，该附加信息可改进基础层比特流所携带的视频信号的质量。本公开中的教导可进一步改进诸如SVC***的2D可伸缩视频***的编码性能，这一点在随后的描述中将变得明显。
附图说明
并入本说明书中并构成本说明书一部分的附图示出了本公开的一个或多个实施例，并与示例实施例的描述一起用于说明本公开的原理和实现。
图1示出了用于立体内容的传输的水平采样/并排排列。
图2示出了帧兼容3D***架构。
图3示出了编码侧的帧兼容3D***架构的图。
图4示出了解码侧的帧兼容3D***架构的图。
图5示出了在给定用于水平采样+并排压缩排列的基础层的情况下对增强层的预测处理。
图6示出1D自适应滤波器的示例。
图7示出根据本公开实施例的改进的参考处理单元。
图8示出编码器处的选择性参考处理。
图9示出基础层视频的滤波。
图10示出多层帧兼容3D视频***。
具体实施方式
概述
本公开的实施例涉及图像处理和视频压缩。
全部内容通过引用合并于此的美国临时申请第61/170,995号公开了一种使得能够对图像或视频信号进行经指导的处理(guided processing)的***，这种经指导的处理可用在视频压缩或后处理(post processing)应用中。例如，处理可为利用特定的滤波器或者机制对图像进行滤波或或内插(分级)，该特定的滤波器或者机制可以导致某些期望的性能或行为。
全部内容通过引用合并于此的美国临时申请第61/223,027号公开了一种FCFR(frame-compatible full-resolution，帧兼容全分辨率)3D***。帧兼容配置的各种方法允许使用各种滤波、采样以及排列方法。例如，采样可为水平的、垂直的或五点式的(quincunx)。类似地，排列(arrangement)可包括并排的(side-by-side)、上下的(over-under)、隔行的(line-interleaved)、棋盘式封装的(checkerboard packing)、等等。图1中示出了示例性的帧配置(水平采样/并排排列)。在图1中，左视图的帧和右视图的帧被水平子采样，并被并排封装为一个视频帧。除了其它可能性之外，帧采样/排列的附加示例还包括以下的可能性。此外，也可以对视图进行不对称的子采样。
-五点式采样/棋盘式交织排列
-水平采样/列交织排列
-垂直采样/行交织排列
-垂直采样/上下排列
-五点式采样/并排排列
采样减小了帧分辨率，因此会使高质量3D内容的用户体验劣化。可以在子采样期间施加滤波，以缓和某些潜在问题(例如图形失真，aliasing)并改进视频质量。然而，在很多应用中，全分辨率立体内容的传输与3D***的迅速采用及运用是相关的。
根据美国临时申请第61/223,027号中描述的帧兼容3D***的某些方面(参见图2-5)，基础层对应于之前已经使用上述各种采样方法及排列中的任意一个而被子采样并被复用的两个视图。为了实现全分辨率视频传输，将增强层用于传送与两个视图的较高分辨率有关的丢失的视频信息(例如一些高频信息)。
由基础层和增强层代表的视频信号高度相关。因此，为了促进增强层的有效压缩，当对增强层视频进行编码时，可以将基础层重构的视频用作预测。此外，如图2至图4所示，可以引入预处理级，以在将基础层信息用作增强层的潜在预测前处理该基础层信息。这种预处理可以包括全局运动补偿校正、固定或自适应内插机制等等，其中固定或自适应内插机制导致***所使用的采样及排列方法的特性。
例如，处理可包括可分离(separable)或不可分离的(non-separable)内插滤波器，边缘自适应内插机制，基于小波(wavelet)、细带(bandlet)或脊波(ridgetlet)方法的滤波器，等等。预处理方法的设计和选择可以是编码器决策的一部分，或者，可基于具有诸如成本、复杂度和编码/质量性能的各种考虑的用户输入。
为了清楚并易于阅读起见，在图2中示出了根据上述美国临时申请第61/223,027号的3D***架构的高级别框图。在编码侧，在基础层编码器(220)与增强层编码器(230)之间示出了参考处理单元(referenceprocessing unit，RPU)(210)(例如3D RPU)，而在解码侧，在基础层解码器(250)与增强层解码器(260)之间示出了RPU(240)(例如3D RPU)。也参见其全部内容通过引用合并于此的美国临时申请第61/170,995号。参考处理单元(210)获得参考画面和要被编码的当前画面，并执行参考画面的定向处理，以使得参考画面尽可能地与当前画面类似。以此方式，利用了这两个画面之间可能存在的相关性。
如图2所示，3D RPU(210)产生稍后进一步描述的元数据信息，并且，通常，这个预处理级的作用是处理和调节基础层视频的特性，以便与增强层视频的特性更匹配。例如，这可通过考虑诸如滤波(例如，锐化滤波器或低通滤波器)的预处理机制、或者诸如全局/区域运动补偿/纹理映射的甚至其它更复杂的方法来完成。本领域技术人员将理解，遍及本公开中描述的方法也可应用于包括多于一个增强层的3D视频***和2D可伸缩视频***。图10示出了这种***的示例，例如具有两个增强层的帧兼容3D视频***。
在本公开的其余部分中，讨论了基于内插滤波器的技术。此外，也提出了将内插与其它预处理步骤相组合的考虑。
根据第一方面，提供了一种多层视频编码***，包括：基础层，包括基础层视频编码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频编码器；以及编码器处理模块，用于对基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将该经处理的编码器输出作为增强层估计而输入至增强层视频编码器。
根据第二方面，提供了一种多层视频***，包括：基础层，包括基础层视频编码器和基础层视频解码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频编码器和增强层视频解码器；编码器处理模块，用于对基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将该经处理的编码器输出作为增强层估计而输入至增强层视频编码器；以及解码器处理模块，用于处理基础层视频解码器的输出，以形成经处理的解码器输出以重构增强层，以及将该经处理的解码器输出输入至增强层视频解码器。
根据第三方面，提供了一种多层视频解码***，包括：基础层，包括基础层视频解码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频解码器；以及解码器处理模块，用于处理基础层视频解码器的输出以形成解码器处理输出，以及将该解码器处理输出输入至增强层视频解码器，该解码器处理模块包括用于重构增强层视频信号的自适应滤波器，以及一个或更多个解码滤波器缓冲器，在一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。
根据第四方面，提供了一种多层视频***，包括：基础层，包括基础层视频编码器和基础层视频解码器；与基础层相关联的至少一个增强层，该至少一个增强层包括增强层视频编码器和增强层视频解码器；编码器处理模块，用于对基础层视频编码器的输出进行处理以形成编码器处理输出，以及将该编码器处理输出输入至增强层视频编码器，该编码器处理模块包括基于基础层视频信号而估计增强层视频信号的自适应滤波器；解码器处理模块，用于处理基础层视频解码器的输出以形成解码器处理输出，以及将该解码器处理输出输入至增强层视频解码器，该解码器包括基于基础层视频信号而重构增强层视频信号的自适应滤波器；一个或更多个编码滤波器缓冲器，在一个或更多个编码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的编码；以及一个或更多个解码滤波器缓冲器，在一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。
根据第五方面，提供了一种多层视频方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；对基础层视频信号进行自适应滤波，以估计增强层视频信号；使用固定滤波器对基础层视频信号进行滤波，以估计增强层视频信号；建立编码准则；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达(signal)表现最佳的滤波器；采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码，以形成解码视频信号；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的表现最佳的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。
根据第六方面，提供了一种多层视频编码方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；对基础层视频信号进行运动预测，以形成预测的基础层视频信号；对预测的基础层视频信号进行自适应滤波，以估计增强层视频信号；使用固定滤波器对预测的基础层视频信号进行滤波，以估计增强层视频信号；建立编码准则；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；以及采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码。
根据第七方面，提供了一种多层视频方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；对增强层视频信号进行增强层视频编码；对基础层视频信号进行运动预测，以形成预测的基础层视频信号；对预测的基础层视频信号进行自适应滤波，以估计增强层视频信号；建立编码准则；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的表现最佳的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。
根据第八方面，提供了一种多层视频编码方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；使用固定滤波器对基础层视频信号进行滤波，以估计增强层视频信号；以及建立编码准则，以评估增强层视频信号估计的质量；如果固定滤波满足编码准则，则：传达固定滤波器进行；以及采用固定滤波器和经处理的基础层视频信号，用于增强视频层编码；否则，对基础层视频信号进行自适应滤波，以估计增强层视频信号；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；以及采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码。
根据第九方面，提供了一种多层视频方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；使用固定滤波器对基础层视频信号进行滤波，以估计增强层视频信号；以及建立编码准则，以评估增强层视频信号估计的质量；如果固定滤波满足编码准则，则：传达固定滤波器；以及采用固定滤波器和经处理的基础层视频信号，用于增强视频层编码；否则，对基础层视频信号进行自适应滤波，以估计增强层视频信号；基于编码准则，建立增强层视频信号的质量；基于编码准则，针对自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；基于所建立的估计的质量，选择表现最佳的滤波器；传达表现最佳的滤波器；以及采用表现最佳的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码；对基础层视频信号进行基础层视频解码；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。
根据第十方面，提供了一种多层视频编码方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；针对增强层视频画面的当前区域，选择与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器；传达所选择的滤波器；以及采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码。
根据第十一方面，提供了一种多层视频方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；针对增强层视频画面的当前区域，选择与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器；传达所选择的滤波器；采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码，以形成基础层解码视频信号；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码，以形成解码第二视图。
根据第十二方面，提供了一种多层视频编码方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；建立一个或更多个滤波器特性准则；从一组滤波器中，针对增强层视频画面的当前区域选择若干滤波器，这若干滤波器与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则；传达所选择的若干滤波器；以及采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码。
根据第十三方面，提供了一种多层视频方法，包括：对基础层视频信号进行基础层视频编码；处理基础层视频信号；对增强层视频信号进行增强层视频编码；建立一个或更多个图像特性准则；识别增强层视频画面的当前区域的若干相邻区域，其中，相邻区域与增强层视频画面的当前区域满足相同的一个或多个图像特性准则；建立一个或更多个滤波器特性准则；从一组滤波器中，针对增强层视频画面的当前区域选择若干滤波器，这若干滤波器与用于对满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则；传达所选择的若干滤波器；采用所选择的滤波器和经处理的基础层视频信号，用于增强视频层编码；对基础层视频信号进行基础层视频解码，以形成解码视频信号；处理基础层解码视频信号；采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及对增强层视频信号进行增强层视频解码。
在本申请的描述、附图和权利要求书中示出了本公开的其它方面。
在下文中，给出了对自适应内插滤波器的导出处理的简要回顾。随后的是在帧兼容的或2D兼容的3D(立体或多视图)传输***、或者2D可伸缩传输***的示例性环境下应用自适应滤波器的细节。
1.自适应内插滤波器综述
先前已广泛研究了自适应内插滤波器(AIF)(参见参考文献4-7，其全部内容通过引用合并于此)，以改进运动预测处理的准确性，其中运动预测处理在诸如H.264/AVC(参见参考文献3，其全部内容通过引用合并于此)的很多视频编码***中被用于减小时间冗余。遍及本公开中，将自适应滤波器定义为，其系数基于预定义编码准则而被自适应地估计的滤波器。由于自适应滤波器的系数是基于传入的视频信号的统计信息而导出的，因此，这些系数可被应用于通过从基础层进行内插而获得增强层的更准确的预测信号。
参考图6，尽管作为示例将假定使用1D滤波器来根据基础层(阴影像素)对增强层(白像素)进行内插，然而以下处理可容易地扩展为导出任意抽头长度(tap length)的2D不可分离滤波器。在本公开中，术语“抽头长度”表示滤波器抽头的数目。
E ^ ( x , y ) = Σ n = 0 L - 1 h ( n ) · B ( x + n - FO , y ) - - - ( 1 )
其中，h(n)是第n个滤波器系数，L是滤波器抽头长度，是滤波器偏移(filter offset)，而和B(x，y)分别代表位置(x，y)处的内插的增强层像素与基础层。
基于使预定义失真测量最小化，来自适应导出滤波器系数h(n)。假定将误差平方和(Sum of Squared Error)作为失真测量，那么通过使如下SSE最小化来导出滤波器系数：
SSE = Σ ( x , y ) ( E ( x , y ) - E ^ ( x , y ) ) 2 - - - ( 2 )
其中，E(x，y)和分别是位置(x，y)处增强层视频的实际像素值和内插的像素值(例如使用公式(1)内插的)。
作为示例而非限制，编码器可使用线性优化处理，以使预测误差SSE(或任意其它失真测量)最小化，从而获取hopt(n)。最终，可通过求解如下等式来得到最佳的滤波器系数：
(RT·R)·hopt(n)＝RT·O  (3)
其中，
h opt = h opt ( 0 ) · · · h opt ( L - 1 ) - - - ( 4 )
R = B 0 pix 0 · · · B L - 1 pix 0 · · · · · · B 0 pix P - 1 · · · B L - 1 pix P - 1 - - - ( 5 )
O = E pix 0 · · · E pix P - 1 - - - ( 6 )
换言之，RT·R是基础层视频帧中由表示的、内插处理中所涉及的所有像素的自相关矩阵，而RT·O是基础层视频中由 表示的、内插处理中所涉及的所有像素与由表示的、被预测的所有增强层像素之间的互相关矩阵。
2.AIF及其在多层应用中的使用
可以在多层***中使用自适应内插滤波器处理，以改进对增强层编码的预测。根据本公开的实施例，一旦导出出自适应滤波器最佳系数hopt(n)，就将其量化、编码，并且，例如将其作为元数据信息的一部分在比特流中发送，其中，传达元数据信息，以协助和指示RPU单元中的预测处理。在本公开中，术语“传达(signal)”将表示作为要传输的比特流的一部分而进行编码。如图2所示，这种元数据由编码器处的参考处理单元(210)导出并发送，并由解码器处的参考处理单元(240)接收并译出。在另一实施例中，在给定用于相邻分区的滤波器情况下，也可以在量化前预测自适应滤波器系数。在本公开中，术语“分区(partition)”旨在表明画面的如下分段：可在比特流中将该分段的参数与该画面的其它分段的参数分离地传达。
当在帧(或感兴趣区域)上导出自适应滤波器hopt(n)时，尽管该滤波器对整个帧而言是最佳的，但是对该帧中的所有区域(或感兴趣区域内的所有子区域)而言，它可能并不是最佳的。而且，量化向最佳自适应滤波器系数hopt(n)引入了失真。在一些情况下，这可能导致自适应滤波器在某些区域上承受比某些固定滤波器更大的失真。在本公开中，将固定滤波器定义为具有固定系数的滤波器。而且，与发送自适应滤波器系数相关联的比特开销可能并不微小，而固定滤波器则可高效得多地传达(通过仅表明滤波器指示数(filter index))。
参考图2，根据本公开的实施例，编码器(220)基于预定义编码准则，例如拉格朗日率失真成本(Lagrangian rate-distortion cost)，选择要使用的最佳滤波器：
Jadpat＝Dadapt+λ·radapt  (7)
Jfix＝Dfix+λ·rfix        (8)
其中，Dadapt和Dfix分别是使用自适应滤波器以及使用固定滤波器的、在内插的增强层信号与原始增强层信号之间的失真(例如，平方误差和、绝对差值和、主观质量测量等)；radapt和rfix分别是用于发送自适应滤波器系数以及用于发送固定滤波器指示数的比特率(即比特的数目)；而λ是拉格朗日λ因子。编码器(220)可以决定：如果Jfix≤Jadpat，则使用固定滤波器；或者如果Jadpat＜Jfix，则使用自适应滤波器。在比特流中传达该决定。视频编码领域的技术人员理解，公式(7)和(8)只是将率失真成本用作示例；也可以使用其它编码准则，例如替代或附加地考虑到***复杂度、主观质量等的编码准则。
根据本公开的其它实施例，提供了用于滤波器选择的方法，包括具有各种特性的多个自适应滤波器。作为示例而非限制，在滤波器选择处理中，可导出并可包括1D和2D自适应滤波器。可预期其它实施例，其中也可以考虑具有不同抽头长度和/或不同滤波器系数对称性(如稍后所述)的自适应滤波器。在另外的其它实施例中，也可以考虑这些滤波器的某些线性组合。
在图2的帧兼容3D***中，基础层和增强层均包含关于两个视图的信息。这种信息包括亮度分量和两个色度分量(chroma component)。根据一些实施例，可针对每个单个的视角和每个单个的分量，单独地导出和传达自适应内插滤波器；或者，可针对两个视图和/或全部或一些颜色分量(color component)，对自适应内插滤波器进行联合导出(特别是两个色度分量可以共享相同的滤波器)。而且，根据其它实施例，这种处理也可以发生在RGB域中或者必要时发生在任意其它颜色空间中；并且，不管视频内容是渐进式的(progressive)还是交织式的(interlaced)，都可以应用这种处理。
可预期如下实施例：在视图和/或颜色分量之间，共享相同的自适应滤波器，因此减少了与传达系数相关联的比特开销。进一步参考图2，根据实施例，编码器(220)对一些视图和/或颜色分量应用自适应滤波器(可以是相同或不同的滤波器)，而对其余的视图和/或颜色分量应用固定滤波器(再一次地，可以是相同或不同的滤波器)。这种决策(共享相同滤波器还是使用不同滤波器，在何处使用自适应滤波器或固定滤波器，等等)可以由编码器(220)来进行，并传达至解码器(250)。
作为示例，可以考虑有关两个视图的滤波器决策。视频编码领域的技术人员将理解，相同的概念也可容易地扩展至多个颜色分量。如果对两个视图使用相同的滤波器(自适应的或固定的)，那么率失真成本(或任意其它编码准则)具有公式(9)的形式，其中，比特开销用于只发送一个滤波器。可替选地，可以对两个视图应用不同的滤波器：两个视图使用不同的自适应滤波器；两个视图使用不同的固定滤波器；或者一个视图使用自适应滤波器而另一个视图使用固定滤波器，等等。后一种情况的率失真成本具有公式(10)的形式。
J jopint = Σ view = { 0,1 } D view joint + λ · r joint - - - ( 9 )
J sep = Σ view = { 0,1 } ( D view sep + λ · r view sep ) - - - ( 10 )
进一步参考图2，编码器(220)选择提供期望的率失真成本的滤波器配置。可预期这样的实施例，其中，可以在序列级、画面级或区域级进行这种编码器决策。例如，可以针对一个画面或一个画面的一个区域的两个视图和/或多个颜色分量，使用相同的自适应滤波器；而可以针对另一画面或一个画面的另一区域的每个视图和/或每个颜色分量使用不同的自适应滤波器。
根据本公开的实施例，减小与发送滤波器系数相关联的比特开销的附加方式是实施滤波器对称性。作为示例，当使用L抽头的1D自适应滤波器时，那么以下公式使独有的滤波器系数的数目减小50％：
h ( n ) = h ( L - 1 - n ) , n = 0 , . . . , L 2 - 1 - - - ( 11 )
针对具有抽头L×K的2D自适应滤波器，除了其它情况之外，滤波器对称性可以只是水平的(公式(12))、只是垂直的(公式(13))、水平且垂直的(公式(14))、对角的(公式(15))。针对3D***，可以在序列级、画面级或区域级上决定滤波器对称性。另外，一个视图可以使用一种滤波器对称性，而另一视图可以使用另一种滤波器对称性。
h ( n , k ) = h ( L - 1 - n , k ) , n = 0 . . . L 2 - 1 , k = 0 . . . K - 1 - - - ( 12 )
h ( n , k ) = h ( n , K - 1 - k ) , n = 0 . . . L - 1 , k = 0 , . . . , K 2 - 1 - - - ( 13 )
h ( n , k ) = h ( L - 1 - n , K - 1 - k ) , n = 0 , . . . , L 2 - 1 , k = 0 . . . K 2 - 1 - - - ( 14 )
h(n，k)＝h(k，n)，n，k＝0，...min(L，K)-1    (15)
根据本公开的一些实施例，可使用多种方法，使选择适当的内插滤波器(固定的或自适应的)的处理加速。例如，可以不在整个基础层帧或整个感兴趣区域(其可以为视频帧的一部分)上导出自适应滤波器系数，而是使用基础层视频的子区域或若干子区域。这减少了获取公式(3)中的自相关矩阵和互相关矩阵所需要的计算。作为另一示例，参考图2，编码器(220)可以首先检查使用某些固定滤波器的预测质量；如果固定滤波器预测足够准确(例如预测误差能量在预定义阈值以下)，那么编码器可以直接使用固定滤波器，而完全绕过导出自适应滤波器以及从自适应滤波器和固定滤波器中选择最佳滤波器的处理。
进一步参考图2，根据本公开的其它实施例，如果针对视频帧的不同区域单独应用不同的滤波方案，那么编码器(220)可以将相邻区域用作指导，以缩小针对当前区域的滤波器选择。例如，编码器(220)可以进行特定的低复杂度图像分析，以理解区域特性；如果当前区域具有与其邻域类似的特性，那么可使用与这些邻域相同的滤波器；或者，可作为针对当前区域的滤波器候选，来评估与相邻区域中使用的滤波器具有类似滤波器特性的若干滤波器。就识别相邻区域而言，可以为此考虑空间邻域(例如相同视频画面中位于当前区域上方、左侧或左上方的区域)和时间邻域(例如在时间上相邻而又不同的视频画面中位于与当前区域相同位置处的区域)二者。
上述2010年1月14日递交的、名为“Buffered Adaptive Filters”的美国临时申请第61/295,034号(其全部内容通过引用合并于此)中，讨论了缓冲自适应滤波器(buffered adaptive filter，BAF)方案。在BAF方案中，在先发送的滤波器被存储在滤波器缓冲器中，并用于对未来视频信号的编码。也讨论了关于各种动态缓冲器管理方法的考虑，包括如何决定滤波器缓冲器容量，如何在滤波器缓冲器满了的时候用新的滤波器代替现有滤波器，如何在滤波器缓冲器中排列滤波器的顺序，等等。BAF方案的概念可以直接扩展至3D视频***和可伸缩视频***。
根据本公开的实施例，在先发送的自适应内插滤波器被存储在一个或更多个滤波器缓冲器中，并可被选择为用于对未来视频信号的编码的潜在滤波器候选。此外，也可以将某些固定滤波器存储在滤波器缓冲器中。对滤波器缓冲器进行动态管理，使得可以基于对最大编码效率和/或减小内插复杂度的考虑来增加滤波器、移除滤波器、对滤波器重新排序，等等。可由编码器来明确地传达滤波器缓冲器管理命令(例如滤波器增加/删除/重新排序)。
可替选地，参考图2，编码器(220)和解码器(250)可以使用在先达成一致的规则来管理滤波器缓冲器。例如，编码器(220)和解码器(250)均可以周期性地根据滤波器使用计数来对滤波器缓冲器中的滤波器重新排序(例如使用更频繁的滤波器被赋予更小的索引)；编码器(220)和解码器(250)均可以在滤波器缓冲器满了的时候删除最少使用的滤波器，等等。可以针对每个视图和/或每个颜色分量来联合地或单独地维护滤波器缓冲器。另外，可预期其它的实施例，其中可以针对基础层和增强层来联合地或单独地维护滤波器缓冲器。
根据本公开的另一实施例，可以在基础层和增强层之间进行其它类型的处理，以改进增强层预测的质量。例如，如图7所示，作为参考处理(705)的一部分，执行内插滤波器(720)和运动预测(710)。例如，在3D视频***中，运动预测(710)用于合理解决两个视图之间的视差。为了易于图示，这种改进的参考处理方案被示出为图4的解码器(400)的一部分(405)；然而，如图3的编码器(300)所示，相同的方案存在于参考处理单元(305)中。另外，可以全局地(针对整个画面)或局部地(针对画面的区域)执行运动预测。这些处理步骤(710、720)的顺序是可以交换的。如果在导出内插滤波器(720)之前应用运动预测(710)(如图7所示)，那么公式(5)中的像素值将是其代表执行运动预测(或任意其它预处理步骤)后的基础层视频信号。换言之，
B ^ ( x , y ) = B ( x + mvx , y + mvy ) - - - ( 16 )
其中，(mvx，mvy)为运动向量。
当使用运动预测时，将公式(1)修改为公式(17)。以与公式(1)中相同的方式，作为示例假定使用1D滤波器。根据本公开的实施例，也可以以亚像素精度来执行参考处理单元(705)内的运动预测，在这种情况下，使用运动内插来获得亚像素值。在运动内插期间，初始可以使用简单的固定滤波器(例如H.264/AVC 6抽头滤波器、双线性滤波器等)。在运动预测后，可以通过以下公式(17)和以上在公式(2)至公式(10)中提出的处理，来执行上述自适应滤波器和滤波器选择处理。可以迭代地执行运动预测处理和滤波器选择处理的组合，直到所选的滤波器不会改变为止、直到满足预定义的质量准则为止、直到已完成特定次数的迭代之后为止、或这些准则的任意组合。在其它实施例中，在自适应滤波器的计算中，也可利用来自编码处理、预编码处理或其它预处理处理的完整运动信息(例如运动向量、加权参数以及与利用不同预测参考的分区有关的信息)。换言之，为了导出用于经运动补偿的内插的增强层的自适应滤波器，考虑公式(17)而非公式(1)。
E ^ ( x , y ) = Σ n = 0 L - 1 h ( n ) · B ( x + mvx + n - FO , y + mvy ) - - - ( 17 )
在执行编码前，高级视频编码器经常执行图像及视频分析，以更好地理解输入视频信号。参考图2A-B，可预期其它实施例，其中，视频编码器(220)可以应用图像分割，以将输入画面分割为若干区域，这些区域中的每个均拥有某些类似的特征。然后，可以在区域的基础上执行上述自适应滤波器和滤波器选择处理，其中，每个区域可以独立地选择要使用的最佳滤波器。作为示例，假定将画面、视图、或颜色分量划分为四个区域，其中，区域0和区域1选择自适应滤波器，而区域2和区域3选择固定滤波器。在执行滤波器选择之后，由于将仅在区域0和区域1内应用自适应滤波器，因此可能有益的是，仅使用这两个区域中的视频信号来改善自适应滤波器。
根据本公开的实施例，考虑图3的帧兼容3D***(300)，在增强层视频块的实际编码期间，增强层视频块的预测块可以基于RPU预测器(经上采样的基础层视频，其为图3所示的参考处理器单元(305)的输出)或增强层内的时间预测器(即增强层参考画面存储器(320)中存储的在先编码的增强层视频)。在对当前的增强层画面编码之后，可以将基于块的编码决策反馈到参考处理器(305)。然后，参考处理器可以通过将那些选择使用时间预测器而非RPU预测器的块从滤波器计算处理中排除，来改善自适应滤波器。然后，可以将经改善的滤波器用于对增强层视频再次编码。这种迭代处理可以一直继续，直至可实现的编码增益在预定义阈值T以下，或已执行了最大次数的迭代，或满足其它编码准则为止。根据本公开的其它实施例，也可预期使用上述迭代处理的2D兼容的3D***和2D可伸缩***。下面描述用于改进这种迭代处理的速度及复杂度的另外的其它实施例。
上述迭代处理在自适应滤波器计算和增强层视频的完全编码(fullencoding)之间迭代。在另一实施例中，可以不执行增强层的完全编码，而是在迭代处理期间使用预分析和/或快速模式决策(fast mode decision)，以识别更可能使用时间预测器而非RPU预测器的那些块或区域。然后，可以将这些块或区域从自适应滤波器的计算中排除。作为示例，假定使用预分析来识别增强层画面的两个区域，其中区域0更可能使用时间预测器而区域1更可能使用RPU预测器。然后，可以仅使用来自区域1的视频信号来计算自适应滤波器。然后，可以使用这些自适应滤波器进行如下的“轻量级”增强层编码过程(″light-weight″enhancement layer codingpass)：在“轻量级”增强层编码过程期间，可以基于率失真优化而使用快速模式决策以代替完全模式决策。基于“轻量级”编码过程的编码结果，可以将区域1改善成包含对可能会使用RPU预测器的视频信号的更精确估计。然后，也可以基于改善的区域1来改善自适应滤波器。然后将这些经改善的自适应滤波器反馈至使用更复杂的模式决策的另一编码过程。而且，迭代处理可以一直继续，直到满足上述准则中的一个或更多个为止。图8绘出了选择性参考处理方法，其中，可以通过执行预处理或快速模式决策(830)，或者通过如箭头(806)所示那样将率失真优化单元(840)的输出送入至参考处理模块(805)，来确定被选择要在参考处理中使用的块/区域。
根据本公开的其它实施例，如图9所示，也可将迄今为止描述的所有自适应滤波器机制应用于基础层视频，以改进基础层视频质量。可将这种滤波应用于RPU(903)处理循环的外部(以箭头(901)示出)；或者，可替选地，可将其应用于RPU(903)处理循环的内部(以箭头(902)示出)，使得在内插期间使用经滤波的基础层视频(其具有更好的质量)，以获得用于增强层编码的预测信号。当基础层视频被滤波时，也可应用以上针对增强层滤波的所有考虑(编码器侧滤波器选择及传达、缓冲自适应滤波器等)。在另一实施例中，可以迭代地决定RPU(903)处理中使用的自适应滤波器的计算以及滤波器(904)中的自适应滤波器的计算。
尽管使用了基础层与增强层视频均包含关于第一视图和第二视图的视频信号的帧兼容全分辨率3D***的示例来对本公开的各种实施例进行了描述，然而，本公开的教导可容易地应用于其它3D***还有2D可伸缩***。例如，在基础层包含关于第一视图的视频信号而增强层包含关于第二视图的视频信号的2D兼容的3D***中，也可以使用参考处理单元，来将经编码的基础层视频应用于自适应的滤波和/或固定的滤波；然后可以将经处理的基础层视频(其代表第一视图)用作预测器，以用于增强层视频(其代表第二视图)的编码。在2D可伸缩***中，基础层可以包含关于特定分辨率的2D图像的信息，而增强层可以包含允许增加该分辨率的附加信息，同时参考处理单元可以提供根据基础层样本来预测增强层样本的机制，该机制使用与3D情况下提出的相类似的机制。本公开的各种教导，包括基于编码准则选择表现最佳的滤波器、针对不同颜色分量单独地和/或联合地应用自适应的滤波器和/或固定的滤波器、对自适应滤波器进行缓冲、对经编码的基础层视频应用运动预测(例如视差补偿)、迭代地计算自适应滤波器并对增强层视频编码、等等，可容易地扩展到这些***。另外，本公开的教导可以扩展至包含多于两个视图的多视图编码***。例如，如果在帧兼容格式中出现多个视图，则可以应用这些教导。这些教导也可以应用于3D立体和多视图编码***，例如美国临时申请第61/223,027号所描述的可以出现多于一个增强层的***。在这种情况下，可以使用包含本公开中所描述的教导的参考处理单元，以从在先编码的一层或多层中获取用于每个增强层的预测器。本公开的教导也可以应用于包括多于一个增强层的各种3D视频***和2D可伸缩视频***。在图10中示出了具有多于一个增强层的帧兼容3D立体***的示例。
本公开中描述的方法和***可以在硬件、软件、固件或其组合中实施。作为块、模块或组件而描述的特征可以一起实施(例如，在诸如集成逻辑器件的逻辑器件中)或单独实施(例如，作为单独的、被连接的逻辑器件)。本公开的方法的软件部分可以包括计算机可读介质，其包括指令，这些指令在被执行时至少部分地进行所描述的方法。计算机可读介质可以包括，例如随机存取存储器(RAM)和/或只读存储器(ROM)。这些指令可以由处理器(例如数字信号处理器(DSP)、专用集成电路(ASIC)或现场可编程逻辑阵列(FPGA))来执行。
本发明的实施例可以涉及下面列举的示例实施例中的一个或更多个。
1.一种多层视频编码***，包括：
基础层，包括基础层视频编码器；
与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器；以及
编码器处理模块，用于对所述基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将所述经处理的编码器输出作为增强层估计而输入至所述增强层视频编码器。
2.一种多层视频***，包括：
基础层，包括基础层视频编码器和基础层视频解码器；
与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器和增强层视频解码器；
编码器处理模块，用于对所述基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将所述经处理的编码器输出作为增强层估计而输入至所述增强层视频编码器；以及
解码器处理模块，用于处理所述基础层视频解码器的输出，以形成经处理的解码器输出以重构所述增强层，以及将所述经处理的解码器输出输入至所述增强层视频解码器。
3.如所列举的示例实施例1或2所述的多层视频***，其中，所述编码器处理模块包括对基础层视频输出进行滤波并估计增强层视频信号的自适应滤波器。
4.如所列举的示例实施例3所述的多层视频***，其中，基于被输入至所述基础层视频编码器和所述增强层视频编码器的输入视频信号的统计信息，导出所述自适应滤波器的系数。
5.如所列举的示例实施例3所述的多层视频***，其中，基于增强层视频信号与估计的增强层视频信号之间的失真测量，导出所述自适应滤波器的系数。
6.如所列举的示例实施例5所述的多层视频***，其中，从平方误差和、绝对差值和、主观质量测量或以上各项的组合中选择所述失真测量。
7.如所列举的示例实施例3所述的多层视频***，其中，与输入视频信号的分区相对应的滤波器系数是使用针对该分区的相邻分区而导出的滤波器来预测的。
8.如所列举的示例实施例3所述的多层视频***，其中，在帧、感兴趣区域、该帧中的区域或该感兴趣区域的子集上导出所述自适应滤波器的系数。
9.如所列举的示例实施例1或2所述的多层视频***，其中，所述编码器处理模块包括自适应滤波器和固定滤波器。
10.如所列举的示例实施例9所述的多层视频***，其中，所述编码器处理模块基于编码准则，在所述自适应滤波器和所述固定滤波器中选择表现最佳的滤波器。
11.如所列举的示例实施例10所述的多层视频***，其中，所述编码准则为拉格朗日率失真成本。
12.如所列举的示例实施例10所述的多层视频***，其中，所述编码准则基于***复杂度、主观质量或其组合。
13.如所列举的示例实施例3所述的多层视频***，其中，所述编码器处理模块包括一维自适应滤波器、二维自适应滤波器、具有不同抽头长度的自适应滤波器、以及具有不同的系数对称性的自适应滤波器中的一个或更多个。
14.如所列举的示例实施例13所述的多层视频***，其中，所述编码器处理模块基于编码准则，在所述一维自适应滤波器、所述二维自适应滤波器、所述具有不同抽头长度的自适应滤波器、所述具有不同的系数对称性的自适应滤波器或者以上各项的线性组合中选择表现最佳的滤波器。
15.如所列举的示例实施例3所述的多层视频***，其中，所述自适应滤波器是具有滤波器系数对称性的一维自适应滤波器。
16.如所列举的示例实施例3所述的多层视频***，其中，所述自适应滤波器是具有滤波器系数对称性的二维自适应滤波器。
17.如所列举的示例实施例16所述的多层视频***，其中，所述滤波器对称性为以下之一：只是水平的、只是垂直的、水平且垂直的、或者对角的。
18.如所列举的示例实施例1或2所述的多层视频***，其中，所述基础层视频编码器和所述增强层视频编码器中的每个都接收表明第一视图和第二视图的两个输入。
19.如所列举的示例实施例18所述的多层视频***，还包括自适应滤波器，其中，针对所述第一视图和所述第二视图中的每个以及所述第一视图和所述第二视图的每个颜色分量，单独地导出所述自适应滤波器的系数。
20.如所列举的示例实施例18所述的多层视频***，其中，针对所述第一视图和所述第二视图二者和/或所述第一视图和所述第二视图的全部或一些颜色分量，联合地导出所述自适应滤波器的系数。
21.如所列举的示例实施例18所述的多层视频***，其中，针对所述第一视图和所述第二视图中的每个的两个色度分量或者所述第一视图和所述第二视图二者的两个色度分量，使用相同的滤波器。
22.如所列举的示例实施例18所述的多层视频***，其中，所述编码器处理模块还包括固定滤波器。
23.如所列举的示例实施例22所述的多层视频***，其中，针对所述第一视图、所述第二视图和/或所述第一视图及所述第二视图的各个颜色分量中的每个，所述编码器处理模块基于编码准则，在所述自适应滤波器和所述固定滤波器中选择表现最佳的滤波器。
24.如所列举的示例实施例23所述的多层视频***，其中，如果所述固定滤波器的性能满足预定义阈值，则跳过所述自适应滤波器的计算和评估。
25.如所列举的示例实施例23所述的多层视频***，其中，在从序列级、画面级和区域级中的一个或更多个中选择出的级上，进行表现最佳滤波器的选择。
26.如所列举的示例实施例23所述的多层视频***，其中，所述编码准则为率失真成本函数。
27.一种多层视频编码***，包括：
基础层，包括基础层视频编码器；
与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器；以及
编码器处理模块，用于对所述基础层视频编码器的输出进行处理以形成编码器处理输出，以及将所述编码器处理输出输入至所述增强层视频编码器，所述编码器处理模块包括用于基于基础层视频信号估计增强层视频信号的自适应滤波器，以及一个或更多个编码滤波器缓冲器，在所述一个或更多个编码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的编码。
28.一种多层视频解码***，包括：
基础层，包括基础层视频解码器；
与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频解码器；以及
解码器处理模块，用于处理所述基础层视频解码器的输出以形成解码器处理输出，以及将所述解码器处理输出输入至所述增强层视频解码器，所述解码器处理模块包括用于重构增强层视频信号的自适应滤波器，以及一个或更多个解码滤波器缓冲器，在所述一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。
29.一种多层视频***，包括：
基础层，包括基础层视频编码器和基础层视频解码器；
与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器和增强层视频解码器；
编码器处理模块，用于对所述基础层视频编码器的输出进行处理以形成编码器处理输出，以及将所述编码器处理输出输入至所述增强层视频编码器，所述编码器处理模块包括用于基于基础层视频信号而估计增强层视频信号的自适应滤波器；
解码器处理模块，用于处理所述基础层视频解码器的输出以形成解码器处理输出，以及将所述解码器处理输出输入至所述增强层视频解码器，所述解码器包括用于基于所述基础层视频信号而重构增强层视频信号的自适应滤波器；
一个或更多个编码滤波器缓冲器，在所述一个或更多个编码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的编码；以及
一个或更多个解码滤波器缓冲器，在所述一个或更多个解码滤波器缓冲器处，针对在先信号而导出的自适应滤波器被存储并用于未来视频信号的解码。
30.如所列举的示例实施例27或29所述的多层视频***，其中，所述一个或更多个编码滤波器缓冲器还包括固定滤波器。
31.如所列举的示例实施例28或29所述的多层视频***，其中，所述一个或更多个解码滤波器缓冲器还包括固定滤波器。
32.如所列举的示例实施例27、28或29所述的多层视频***，其中，所述一个或更多个编码滤波器缓冲器和所述一个或更多个解码滤波器缓冲器是被动态管理的滤波器缓冲器。
33.如所列举的示例实施例32所述的多层视频***，其中，通过滤波器增加、滤波器删除和滤波器重新排序中的至少之一，对所述动态滤波器缓冲器进行动态管理。
34.如所列举的示例实施例32或33所述的多层视频***，其中，通过所述基础层视频编码器和/或所述增强视频编码器，来传达滤波器缓冲器管理命令。
35.如所列举的示例实施例32或33所述的多层视频***，其中，动态滤波器缓冲器管理基于所述编码器处理模块与所述解码器处理模块之间达成一致的滤波器缓冲器管理规则。
36.如所列举的示例实施例35所述的多层视频***，其中，所述滤波器缓冲器管理规则包括根据滤波器使用计数对所述编码器滤波器缓冲器和所述解码器滤波器缓冲器内的滤波器的重新排序。
37.如所列举的示例实施例36所述的多层视频***，其中，使用更频繁的滤波器被赋予更小的索引。
38.如所列举的示例实施例33所述的多层视频***，其中，在对应的编码器滤波器缓冲器和对应的解码器滤波器缓冲器满了的时候，从所述对应的编码器滤波器缓冲器和所述对应的解码器滤波器缓冲器中删除最少使用的滤波器。
39.如所列举的示例实施例29所述的多层视频***，其中，所述基础层视频编码器和所述增强层视频编码器中的每个都接收表明第一视图和第二视图的两个输入，针对所述第一视图或所述第二视图中的每个单独地维护或者联合地维护所述一个或更多个编码器滤波器缓冲器和所述一个或更多个解码器滤波器缓冲器。
40.如所列举的示例实施例29所述的多层视频***，其中，所述基础层视频编码器和所述增强层视频编码器中的每个都接收表明一个或更多个颜色分量的视频信号，针对所述一个或更多个颜色分量中的每个单独地维护或者联合地维护所述一个或更多个编码器滤波器缓冲器和所述一个或更多个解码器滤波器缓冲器。
41.如所列举的示例实施例29所述的多层视频***，其中，针对所述基础层和所述至少一个增强层中的每个单独地维护或者联合地维护所述一个或更多个编码器滤波器缓冲器和所述一个或更多个解码器滤波器缓冲器。
42.如所列举的示例实施例4-41中的任意一个所述的多层视频***，其中：
处理基础层视频信号，以形成经处理的基础层视频信号；以及
基于所述经处理的基础层视频信号，导出所述自适应滤波器。
43.如所列举的示例实施例42所述的多层视频***，其中，所述经处理的基础层视频信号是对所述基础层视频信号的运动预测。
44.如所列举的示例实施例43所述的多层视频***，其中，全局地或局部地执行所述运动预测。
45.如所列举的示例实施例43所述的多层视频***，其中，以亚像素精度执行所述运动预测。
46.如所列举的示例实施例43所述的多层视频***，其中，迭代执行自适应滤波和运动预测的组合，直至所获得的滤波器不会改变、满足质量准则、完成特定次数的迭代、或以上各情形的组合为止。
47.如所列举的示例实施例4所述的多层视频***，其中，所述增强层还包括：基于在先编码的增强层视频的当前增强层视频的时间预测器。
48.如所列举的示例实施例47所述的多层视频***，其中，所述增强层估计是基于视频块的，基于RPU预测器预测一些块，基于时间预测器预测一些块，以及基于以上各项的组合预测一些块。
49.如所列举的示例实施例48所述的多层视频***，其中，执行迭代的增强层编码，其中：
通过从计算中至少部分地排除基于时间预测器预测的增强层块以及对应的基础层块，来计算所述自适应滤波器；
将计算出的自适应滤波器用于再次对所述增强层进行编码；以及
对增强层编码进行再次迭代，直至能够实现的编码增益在预定义阈值以下或者执行了特定次数的迭代为止。
50.如所列举的示例实施例48所述的多层视频***，其中，执行预分析以识别使用时间预测器可能预测到的增强视频块。
51.如所列举的示例实施例50所述的多层视频***，其中，从自适应滤波器导出中至少部分地排除所识别的使用时间预测器可能预测到的增强块。
52.如所列举的示例实施例3-51中的任意一个所述的多层视频***，其中，对基础层视频应用自适应滤波，以及传达对应的自适应滤波器系数。
53.如所列举的示例实施例52所述的多层视频***，其中，将基础层视频滤波应用于RPU处理循环的外部或内部。
54.一种多层视频编码方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号；
使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号；
建立编码准则；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器；以及
采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
55.一种多层视频方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号；
使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号；
建立编码准则；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器；
采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码；
对所述基础层视频信号进行基础层视频解码，以形成基础层解码视频信号；
处理所述基础层解码视频信号；
采用经处理的基础层解码视频信号和传达的表现最佳的滤波器，用于增强层视频解码；以及
对所述增强层视频信号进行增强层视频解码。
56.一种多层视频编码方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
对所述基础层视频信号执行运动预测，以形成预测的基础层视频信号；
对所述预测的基础层视频信号进行自适应滤波，以估计所述增强层视频信号；
使用固定滤波器对所述预测的基础层视频信号进行滤波，以估计所述增强层视频信号；
建立编码准则；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器；以及
采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
57.一种多层视频方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
对所述基础层视频信号执行运动预测，以形成预测的基础层视频信号；
对所述预测的基础层视频信号进行自适应滤波，以估计所述增强层视频信号；
使用固定滤波器对所述预测的基础层视频信号进行滤波，以估计所述增强层视频信号；
建立编码准则；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器；
采用所述表现最佳的滤波器和经处理的基础层视频信号，用于所述增强视频层编码；
对所述基础层视频信号进行基础层视频解码；
处理基础层解码视频信号；
采用经处理的基础层解码视频信号和所传达的表现最佳的滤波器，用于增强层视频解码；以及
对所述增强层视频信号进行增强层视频解码。
58.一种多层视频编码方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号；以及
建立编码准则，以评估增强层视频信号估计的质量；
如果固定滤波满足所述编码准则，则：
传达所述固定滤波器；以及
采用所述固定滤波器和经处理的基础层视频信号，用于所述增强视频层编码；
否则，
对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器；以及
采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码。
59.一种多层视频方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
使用固定滤波器对所述基础层视频信号进行滤波，以估计所述增强层视频信号；以及
建立编码准则，以评估增强层视频信号估计的质量；
如果固定滤波满足所述编码准则，则：
传达所述固定滤波器；以及
采用所述固定滤波器和经处理的基础层视频信号，用于所述增强视频层编码；
否则，
对所述基础层视频信号进行自适应滤波，以估计所述增强层视频信号；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器；以及
采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码；
对所述基础层视频信号进行基础层视频解码；
处理基础层解码视频信号；
采用经处理的基础层解码视频信号和传达的滤波器，用于增强层视频解码；以及
对所述增强层视频信号进行增强层视频解码。
60.如所列举的示例实施例54-59中的任意一个所述的多层视频方法，其中，所述编码准则为拉格朗日率失真成本。
61.一种多层视频编码方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
建立一个或更多个图像特性准则；
识别增强层视频画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或更多个图像特性准则；
针对所述增强层视频画面的当前区域，选择与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器；
传达所选择的滤波器；以及
采用所选择的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
62.一种多层视频方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
建立一个或更多个图像特性准则；
识别增强层视频画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或更多个图像特性准则；
针对所述增强层视频画面的当前区域，选择与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器相同的滤波器；
传达所选择的滤波器；
采用所选择的滤波器和经处理的基础层视频信号，用于所述增强视频层编码；
对所述基础层视频信号进行基础层视频解码，以形成基础层解码视频信号；
处理所述基础层解码视频信号；
采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及
对所述增强层视频信号进行增强层视频解码，以形成解码第二视图。
63.一种多层视频编码方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
建立一个或更多个图像特性准则；
识别增强层视频画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或多个图像特性准则；
建立一个或更多个滤波器特性准则；
从一组滤波器中，针对所述增强层视频画面的当前区域选择若干滤波器，所述若干滤波器与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则；
传达所选择的若干滤波器；以及
采用所选择的滤波器和经处理的基础层视频信号，用于所述增强视频层编码。
64.一种多层视频方法，包括：
对基础层视频信号进行基础层视频编码；
处理所述基础层视频信号；
对增强层视频信号进行增强层视频编码；
建立一个或更多个图像特性准则；
识别增强层视频画面的当前区域的若干相邻区域，其与所述增强层视频画面的当前区域满足相同的一个或多个图像特性准则；
建立一个或更多个滤波器特性准则；
从一组滤波器中，针对所述增强层视频画面的当前区域选择若干滤波器，所述若干滤波器与用于对所述满足相同的一个或更多个图像特性准则的若干相邻区域进行滤波的那些滤波器满足相同的一个或更多个滤波器特性准则；
传达所选择的若干滤波器；
采用所选择的滤波器和经处理的基础层视频，用于所述增强视频层编码；
对所述基础层视频信号进行基础层视频解码，以形成解码视频信号；
处理所述基础层解码视频信号；
采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及
对所述增强层视频信号进行增强层视频解码。
65.如所列举的示例实施例61-64中的任意一个所述的多层视频方法，其中，所述相邻区域是时间邻域、空间邻域、或时间且空间的邻域。
66.如所列举的示例实施例55、57、60、62或64中的任意一个所述的多层视频方法，其中，所述基础层视频信号和所述增强层视频信号中的每个均包括第一视图和第二视图。
67.如所列举的示例实施例1-27或29-53中的任意一个所述的多层视频***，其中，所述基础层和所述至少一个增强层接收帧兼容3D视频信号、2D兼容的3D视频信号或2D可伸缩视频信号。
68.一种编码器，用于根据所列举的示例实施例54、56、58、60、61、63、65或66中的一个或更多个所述的方法来对视频信号进行编码。
69.一种设备，用于根据所列举的示例实施例54、56、58、60、61、63、65或66中的一个或更多个所述的方法来对视频信号进行编码。
70.一种***，用于根据所列举的示例实施例54、56、58、60、61、63、65或66中的一个或更多个所述的方法来对视频信号进行编码。
71.一种包含指令的集合的计算机可读介质，所述指令使计算机执行如所列举的示例实施例54-68中的一个或更多个所述的方法。
72.一种如所列举的示例实施例54、56、58、60、61、63、65或66中的一个或更多个所述的方法的用途，用于对视频信号进行编码。
73.一种如所列举的示例实施例55、56、57、59、60、62、64、65或66中的一个或更多个所述的方法的用途，用于对视频信号进行解码。
提出以上阐明的示例，是为了向本领域技术人员给出关于如何针对帧兼容3D传输来进行和使用自适应内插滤波器的实施例的完整公开及描述，这些示例并非旨在限制被发明人视为其公开的范围。视频领域的技术人员可以使用对用于实现本公开的上述模式的修改，并且这些修改旨在处于以下权利要求书的范围之内。说明书中所提到的所有专利和申请都可以指示本公开所属领域的技术人员的水平。通过引用而合并了本公开中提到的所有参考文献，而这种合并达到了与单独通过引用而合并每个参考文献的全部内容相同的程度。
应理解，本公开不限于特定方法或***，其当然可以变化。也应理解，本文中使用的术语仅出于描述特定实施例的目的，而非旨在进行限制。当在本说明书及所附权利要求书中使用时，除非上下文语境清楚地另行表明，否则单数形式的“一”、“该”均包括多个被指示的对象。除非上下文语境清楚地另行表明，否则术语“多个”包括两个或更多个被指示的对象。除非另行定义，否则本文中使用的所有的科技术语均具有与本公开所属领域技术人员的通常理解相同的含义。
已经描述了本公开的很多实施例。然而，应理解，可以在不脱离本公开精神及范围的情况下进行各种修改。相应地，其它实施例也处于以下权利要求书的范围之内。
参考文献列表
[1]D.C.Hutchison，″Introducing DLP 3-D TV″，http://www.dlp.com/downloads/Introducing DLP 3D HDTVWhitepaper.pdf.
[2]Advanced video coding for generic audiovisual services，http://www.itu.int/rec/recommendation.asp？type＝folders&lang＝e&parent＝T-REC-H.264，2003年3月。
[3]Y.Vatis及J.Ostermann，″Comparison of complexity betweentwo-dimensional non-separable adaptive interpolation filter andstandard wiener filter″，ITU-T SGI 6/Q.6 Doc.VCEG-AA1l，法国，尼斯，2005年10月。
[4]S.Wittmann，T.Wedi，″Separable Adaptive Interpolation Filter forVideo Coding，″Proc.ICIP 2008，IEEE International Conference onImage Processing，加利福尼亚，圣地亚哥，2008年10月。
[5]D.Rusanovskyy，K.Ugur，J.Lainema，″Adaptive Interpolation withDirectional Filters，″ITU-T SGI 6/Q.6 Doc.VCEG-AG21，中国，深圳，2007年10月。
[6]Y.Ye及M.Karczewicz，″Enhanced Adaptive Interpolation Filter，″ITU-T/SG16/Q.6 document C.464，瑞士，日内瓦，2008年4月。
[7]Y.Vatis，B.Edler，D.T.Nguyen，及J.Ostermann，″Two-dimensionalnon-separable adaptive Wiener interpolation filter for H.264/AVC″，ITU-T SGI 6/Q.6 Doc.VCEG-Z17，韩国，釜山，2005年4月。

Claims (26)

1.一种适合于接收输入视频信号的多层视频***，所述输入视频信号包括原始基础层视频信号和至少一个原始增强层视频信号，所述多层视频***包括：
基础层，包括基础层视频编码器，其中所述基础层视频编码器适合于接收所述原始基础层视频信号；
与所述基础层相关联的至少一个增强层，所述至少一个增强层包括增强层视频编码器，其中每个增强层视频编码器适合于接收所述至少一个原始增强层视频信号中的一个或更多个；以及
包括至少一个自适应滤波器的编码器处理模块，所述至少一个自适应滤波器用于对所述基础层视频编码器的输出进行滤波以形成经处理的编码器输出，以及将所述经处理的编码器输出作为增强层估计信号而输入至所述增强层视频编码器中的至少之一，
其中：
所述原始基础层视频信号和所述至少一个增强层视频信号适合于被分割成多个分区，
选择所述至少一个自适应滤波器，用于应用至所述多个分区中的分区的全集或子集，
所述至少一个自适应滤波器包括滤波器系数，其中，基于所述分区的全集或子集中的每个分区中的图像信息、和与所述分区的全集或子集中的每个分区相邻的一个或更多个分区中的图像信息中的至少一个，在所述至少一个自适应滤波器的应用之前，调整所述至少一个自适应滤波器的滤波器系数，
所述至少一个增强层包括时间预测器和参考处理单元预测器，其中，所述时间预测器包括基于在先编码的增强层视频的当前增强层视频的预测器，并且所述参考处理单元预测器包括具有关于基础层的信息的经上采样的基础层视频，以用于经由所述至少一个自适应滤波器获得的增强层预测，以及
所述增强层估计信号是基于视频块的，基于所述参考处理单元预测器预测所述增强层的一些块，以及基于所述时间预测器预测所述增强层的一些块。
2.如权利要求1所述的多层视频***，所述基础层还包括基础层视频解码器，以及所述至少一个增强层中的每个增强层还包括增强层视频解码器，所述多层视频***还包括：
解码器处理模块，用于处理所述基础层视频解码器的输出，以形成经处理的解码器输出以重构所述增强层，以及将所述经处理的解码器输出输入至所述增强层视频解码器中的至少之一，
其中：
所述基础层视频解码器适合于接收所述基础层视频编码器的输出，而每个增强层视频解码器适合于接收所述增强层视频编码器中的一个或更多个的输出。
3.如权利要求1或2所述的多层视频***，其中，在帧、感兴趣区域、该帧中的区域或该感兴趣区域的子集上导出所述至少一个自适应滤波器的滤波器系数。
4.如权利要求3所述的多层视频***，其中，基于被输入至所述基础层视频编码器和所述增强层视频编码器的输入视频信号的统计信息，导出所述至少一个自适应滤波器的滤波器系数。
5.如权利要求3所述的多层视频***，其中，基于所述至少一个原始增强层视频信号中的每个与估计的增强层视频信号之间的失真测量，导出所述至少一个自适应滤波器的滤波器系数。
6.如权利要求3所述的多层视频***，其中，与输入视频信号的分区相对应的滤波器系数是使用针对该分区的相邻分区而导出的滤波器来预测的。
7.如权利要求1或2所述的多层视频***，其中，所述编码器处理模块还包括至少一个固定滤波器。
8.如权利要求7所述的多层视频***，其中，所述至少一个固定滤波器被应用至所述多个分区中的特定分区，以及其中，在所述应用之前，基于所述至少一个自适应滤波器将被应用到的分区的全集或子集中的每个分区，来调整所述至少一个自适应滤波器的滤波器系数，而不基于所述至少一个固定滤波器将被应用到的特定分区来调整所述至少一个自适应滤波器的滤波器系数。
9.如权利要求3所述的多层视频***，其中，所述编码器处理模块 包括一维自适应滤波器、二维自适应滤波器、具有不同抽头长度的自适应滤波器以及具有不同的系数对称性的自适应滤波器中的一个或更多个。
10.如权利要求1或2所述的多层视频***，其中，所述基础层视频编码器和所述增强层视频编码器中的每个都接收表明第一视图和第二视图的两个输入。
11.如权利要求10所述的多层视频***，还包括自适应滤波器，其中，针对所述第一视图和所述第二视图中的每个以及所述第一视图和所述第二视图的每个颜色分量，单独地导出所述自适应滤波器的滤波器系数。
12.如权利要求10所述的多层视频***，其中，针对所述第一视图和所述第二视图二者和/或所述第一视图和所述第二视图的全部或一些颜色分量，联合地导出所述自适应滤波器的滤波器系数。
13.如权利要求10所述的多层视频***，其中，针对所述第一视图和所述第二视图中的每个的两个色度分量或者所述第一视图和所述第二视图二者的两个色度分量，使用相同的滤波器。
14.如权利要求4所述的多层视频***，其中：
处理所述基础层编码器的输出以形成经处理的基础层视频信号；以及
基于所述经处理的基础层视频信号，导出所述自适应滤波器。
15.如权利要求4所述的多层视频***，其中，执行迭代的增强层编码，其中：
通过从计算中完全地排除基于所述时间预测器预测的增强层块以及对应的基础层块，并且在所述自适应滤波器的计算中仅使用基于所述参考处理单元预测器预测的增强层块，计算所述自适应滤波器；
将计算出的自适应滤波器用于对所述增强层再次编码；以及
对增强层编码执行再次迭代，直至能够实现的编码增益在预定义阈值以下或者执行特定次数的迭代为止。
16.如权利要求4所述的多层视频***，其中，执行预分析以识别使用时间预测器可能预测到的增强层视频块，以及其中，通过从计算中至少部分地排除使用时间预测器可能预测到的增强层视频块，来计算所述自适应滤波器。
17.如权利要求3所述的多层视频***，其中，对基础层视频应用自 适应滤波，以及传达对应的自适应滤波器系数。
18.如权利要求1或2所述的多层视频***，其中，所述基础层和所述至少一个增强层接收帧兼容3D视频信号、2D兼容的3D视频信号或2D可伸缩视频信号。
19.一种多层视频方法，包括：
提供输入视频信号，所述输入视频信号包括原始基础层视频信号和至少一个增强层视频信号；
对所述原始基础层视频信号进行基础层视频编码，以形成经编码的基础层视频信号；
处理所述经编码的基础层视频信号，以形成经处理的基础层视频信号；
对所述至少一个增强层视频信号进行增强层视频编码，以针对每个增强层视频信号来形成经编码的增强层视频信号；
使用自适应滤波器对所述经处理的基础层视频信号进行自适应滤波，以估计所述至少一个增强层视频信号；
使用固定滤波器对所述经处理的基础层视频信号进行滤波，以估计所述至少一个增强层视频信号；
建立编码准则；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器，其中所传达的表现最佳的滤波器适合于增强层视频解码；以及
采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码，
其中：
所述原始基础层视频信号和所述至少一个增强层视频信号适合于被分割成多个分区，
选择所述自适应滤波器中的每个，用于应用至所述多个分区中的分区的全集或子集，
所述自适应滤波器中的每个均包括滤波器系数，其中，基于所述分区的全集或子集中的每个分区中的图像信息、和与所述分区的全集或子集中的每个分区相邻的一个或更多个分区中的图像信息中的至少之一，在特定的自适应滤波器的应用之前，调整所述特定的自适应滤波器的滤波器系数，
所述至少一个增强层包括时间预测器和参考处理单元预测器，其中，所述时间预测器包括基于在先编码的增强层视频的当前增强层视频的预测器，并且所述参考处理单元预测器包括具有关于基础层的信息的经上采样的基础层视频，以用于经由所述至少一个自适应滤波器获得的增强层预测，以及
所述增强层估计信号是基于视频块的，基于所述参考处理单元预测器预测所述增强层的一些块，以及基于所述时间预测器预测所述增强层的一些块。
20.一种多层视频方法，包括：
提供输入视频信号，所述输入视频信号包括原始基础层视频信号和至少一个增强层视频信号；
对所述原始基础层视频信号进行基础层视频编码，以形成经编码的基础层视频信号；
处理所述经编码的基础层视频信号，以形成经处理的基础层视频信号；
对所述至少一个增强层视频信号进行增强层视频编码，以针对每个增强层视频信号来形成经编码的增强层视频信号；
对所述经处理的基础层视频信号执行运动预测，以形成预测的基础层视频信号；
使用自适应滤波器对所述预测的基础层视频信号进行自适应滤波，以形成经自适应滤波的基础层视频信号，其中所述经自适应滤波的基础层视频信号估计所述至少一个增强层视频信号；
迭代执行所述执行的运动预测和所述自适应滤波，直至所获得的滤波器不会改变、满足质量准则、完成特定次数的迭代、或以上各情形的组合，其中所述质量准则包括所述经自适应滤波的基础层视频信号与所述原始增强层视频信号之间的失真，
使用固定滤波器对所述预测的基础层视频信号进行滤波，以估计所述至少一个增强层视频信号；
建立编码准则；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器，其中所传达的表现最佳的滤波器适合于增强层视频解码；以及
采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码。
21.一种多层视频方法，包括：
提供输入视频信号，所述输入视频信号包括原始基础层视频信号和至少一个增强层视频信号；
对所述原始基础层视频信号进行基础层视频编码，以形成经编码的基础层视频信号；
处理所述经编码的基础层视频信号，以形成经处理的基础层视频信号；
对所述至少一个增强层视频信号进行增强层视频编码，以针对每个增强层视频信号来形成经编码的增强层视频信号；
使用固定滤波器对所述经处理的基础层视频信号进行滤波，以估计所述增强层视频信号；以及
建立编码准则，以评估增强层视频信号估计的质量；
如果固定滤波满足所述编码准则，则：
传达所述固定滤波器；以及
采用所述固定滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码；
否则，对所述经处理的基础层视频信号进行自适应滤波，以估计所述增强层视频信号；
基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强 层视频信号估计的质量；
基于所建立的估计的质量，选择表现最佳的滤波器；
传达所述表现最佳的滤波器，其中所传达的表现最佳的滤波器适合于增强层视频解码；以及
采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码。
22.如权利要求19-21中的任一项所述的多层视频方法，还包括：
对所述经编码的基础层视频信号进行基础层视频解码，以形成基础层解码视频信号；
处理所述基础层解码视频信号；
采用经处理的基础层解码视频信号和所传达的滤波器，用于增强层视频解码；以及
对至少一个经编码的增强层视频信号进行增强层视频解码。
23.如权利要求22所述的多层视频方法，其中，所述相邻区域是时间邻域、空间邻域、或时间且空间的邻域。
24.一种多层视频设备，包括：
用于提供输入视频信号的装置，所述输入视频信号包括原始基础层视频信号和至少一个增强层视频信号；
用于对所述原始基础层视频信号进行基础层视频编码，以形成经编码的基础层视频信号的装置；
用于处理所述经编码的基础层视频信号，以形成经处理的基础层视频信号的装置；
用于对所述至少一个增强层视频信号进行增强层视频编码，以针对每个增强层视频信号来形成经编码的增强层视频信号的装置；
用于使用自适应滤波器对所述经处理的基础层视频信号进行自适应滤波，以估计所述至少一个增强层视频信号的装置；
用于使用固定滤波器对所述经处理的基础层视频信号进行滤波，以估计所述至少一个增强层视频信号的装置；
用于建立编码准则的装置；
用于基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量的装置；
用于基于所建立的估计的质量，选择表现最佳的滤波器的装置；
用于传达所述表现最佳的滤波器的装置，其中所传达的表现最佳的滤波器适合于增强层视频解码；以及
用于采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码的装置，
其中：
所述原始基础层视频信号和所述至少一个增强层视频信号适合于被分割成多个分区，
选择所述自适应滤波器中的每个，用于应用至所述多个分区中的分区的全集或子集，
所述自适应滤波器中的每个均包括滤波器系数，其中，基于所述分区的全集或子集中的每个分区中的图像信息、和与所述分区的全集或子集中的每个分区相邻的一个或更多个分区中的图像信息中的至少之一，在特定的自适应滤波器的应用之前，调整所述特定的自适应滤波器的滤波器系数，
所述至少一个增强层包括时间预测器和参考处理单元预测器，其中，所述时间预测器包括基于在先编码的增强层视频的当前增强层视频的预测器，并且所述参考处理单元预测器包括具有关于基础层的信息的经上采样的基础层视频，以用于经由所述至少一个自适应滤波器获得的增强层预测，以及
所述增强层估计信号是基于视频块的，基于所述参考处理单元预测器预测所述增强层的一些块，以及基于所述时间预测器预测所述增强层的一些块。
25.一种多层视频设备，包括：
用于提供输入视频信号的装置，所述输入视频信号包括原始基础层视频信号和至少一个增强层视频信号；
用于对所述原始基础层视频信号进行基础层视频编码，以形成经编码的基础层视频信号的装置；
用于处理所述经编码的基础层视频信号，以形成经处理的基础层视频信号的装置；
用于对所述至少一个增强层视频信号进行增强层视频编码，以针对每个增强层视频信号来形成经编码的增强层视频信号的装置；
用于对所述经处理的基础层视频信号执行运动预测，以形成预测的基础层视频信号的装置；
用于使用自适应滤波器对所述预测的基础层视频信号进行自适应滤波，以形成经自适应滤波的基础层视频信号的装置，其中所述经自适应滤波的基础层视频信号估计所述至少一个增强层视频信号；
用于迭代执行所述执行的运动预测和所述自适应滤波，直至所获得的滤波器不会改变、满足质量准则、完成特定次数的迭代、或以上各情形的组合的装置，其中所述质量准则包括所述经自适应滤波的基础层视频信号与所述原始增强层视频信号之间的失真，
用于使用固定滤波器对所述预测的基础层视频信号进行滤波，以估计所述至少一个增强层视频信号的装置；
用于建立编码准则的装置；
用于基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量的装置；
用于基于所建立的估计的质量，选择表现最佳的滤波器的装置；
用于传达所述表现最佳的滤波器的装置，其中所传达的表现最佳的滤波器适合于增强层视频解码；以及
用于采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码的装置。
26.一种多层视频设备，包括：
用于提供输入视频信号的装置，所述输入视频信号包括原始基础层视频信号和至少一个增强层视频信号；
用于对所述原始基础层视频信号进行基础层视频编码，以形成经编码的基础层视频信号的装置；
用于处理所述经编码的基础层视频信号，以形成经处理的基础层视频信号的装置；
用于对所述至少一个增强层视频信号进行增强层视频编码，以针对每个增强层视频信号来形成经编码的增强层视频信号的装置；
用于使用固定滤波器对所述经处理的基础层视频信号进行滤波，以估计所述增强层视频信号的装置；以及
用于建立编码准则，以评估增强层视频信号估计的质量的装置；
用于在固定滤波满足所述编码准则的情况下进行这样的操作的装置：
传达所述固定滤波器；以及
采用所述固定滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码；
用于在固定滤波不满足所述编码准则的情况下对所述经处理的基础层视频信号进行自适应滤波，以估计所述增强层视频信号的装置；
用于基于所述编码准则，针对所述自适应滤波和固定滤波二者，建立增强层视频信号估计的质量的装置；
用于基于所建立的估计的质量，选择表现最佳的滤波器的装置；
用于传达所述表现最佳的滤波器的装置，其中所传达的表现最佳的滤波器适合于增强层视频解码；以及
用于采用所述表现最佳的滤波器和所述经处理的基础层视频信号，用于所述增强视频层编码的装置。
CN201080013282.9A 2009-04-20 2010-04-20 用于多层视频传输的自适应内插滤波器 Active CN102598660B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US17099509P 2009-04-20 2009-04-20
US61/170,995 2009-04-20
US22302709P 2009-07-04 2009-07-04
US61/223,027 2009-07-04
US29503410P 2010-01-14 2010-01-14
US61/295,034 2010-01-14
US30042710P 2010-02-01 2010-02-01
US61/300,427 2010-02-01
PCT/US2010/031701 WO2010123862A1 (en) 2009-04-20 2010-04-20 Adaptive interpolation filters for multi-layered video delivery

Publications (2)

Publication Number Publication Date
CN102598660A CN102598660A (zh) 2012-07-18
CN102598660B true CN102598660B (zh) 2015-04-29

Family

ID=42370925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080013282.9A Active CN102598660B (zh) 2009-04-20 2010-04-20 用于多层视频传输的自适应内插滤波器

Country Status (5)

Country Link
US (1) US9078008B2 (zh)
EP (1) EP2422520A1 (zh)
JP (1) JP5416271B2 (zh)
CN (1) CN102598660B (zh)
WO (1) WO2010123862A1 (zh)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8265167B2 (en) * 2008-10-31 2012-09-11 Sprint Communications Company L.P. Application specific video format
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
US9218644B2 (en) * 2009-12-17 2015-12-22 Broadcom Corporation Method and system for enhanced 2D video display based on 3D video input
JP5680674B2 (ja) * 2010-01-27 2015-03-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像及び映像コーデックにおける参照処理のための方法及びシステム
WO2011094047A1 (en) * 2010-02-01 2011-08-04 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
CN103026706B (zh) * 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的***及方法
WO2013090923A1 (en) * 2011-12-17 2013-06-20 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
US8780991B2 (en) * 2010-09-14 2014-07-15 Texas Instruments Incorporated Motion estimation in enhancement layers in video encoding
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
CN103141099B (zh) 2010-10-01 2016-10-26 杜比实验室特许公司 用于参考图片处理的优化的滤波器的选择
US9628821B2 (en) * 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
JP5748463B2 (ja) * 2010-12-02 2015-07-15 キヤノン株式会社 符号化装置およびプログラム
US20120169845A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Method and apparatus for adaptive sampling video content
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
CN103404137B (zh) * 2011-01-09 2016-10-19 寰发股份有限公司 有效的样本自适应补偿的方法和装置
US9282314B2 (en) * 2011-02-24 2016-03-08 Vixs Systems, Inc. Stereoscopic video processing with separable 2D filter
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
KR20120118779A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치
KR101855975B1 (ko) * 2011-06-24 2018-05-09 가부시키가이샤 엔.티.티.도코모 모션 보상 예측을 위한 방법 및 장치
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
JP5749595B2 (ja) * 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
WO2013040170A1 (en) 2011-09-16 2013-03-21 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3d compression and decompression
US8923403B2 (en) * 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
JP2013093662A (ja) * 2011-10-24 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
WO2013103490A1 (en) * 2012-01-04 2013-07-11 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
EP2820848B1 (en) 2012-02-29 2019-11-20 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
US8667548B2 (en) * 2012-03-11 2014-03-04 Broadcom Corporation Audio/video channel bonding architecture
US9094161B2 (en) * 2012-03-11 2015-07-28 Broadcom Corporation Channel bonding with multiple network types
JP5905610B2 (ja) 2012-03-12 2016-04-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ３ｄ視覚的ダイナミックレンジ符号化
US9071842B2 (en) * 2012-04-19 2015-06-30 Vixs Systems Inc. Detection of video feature based on variance metric
US9357197B2 (en) 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
KR101636269B1 (ko) * 2012-07-04 2016-07-05 인텔 코포레이션 3차원 비디오 코딩을 위한 뷰 간 필터 파라미터 재사용
US8891906B2 (en) * 2012-07-05 2014-11-18 Intel Corporation Pixel-adaptive interpolation algorithm for image upscaling
WO2014010584A1 (ja) * 2012-07-09 2014-01-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
CN104541506A (zh) * 2012-09-28 2015-04-22 英特尔公司 层间像素样本预测
CN103716622B (zh) * 2012-09-29 2017-02-08 华为技术有限公司 用于图像处理的方法和装置
US9674519B2 (en) * 2012-11-09 2017-06-06 Qualcomm Incorporated MPEG frame compatible video coding
KR20150091043A (ko) * 2012-11-29 2015-08-07 엘지전자 주식회사 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
US9596465B2 (en) 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
CN104183207B (zh) * 2013-05-23 2017-04-26 晨星半导体股份有限公司 影像显示方法以及影像显示装置
CN104346770A (zh) * 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补***
US9432676B2 (en) * 2013-10-29 2016-08-30 Broadcom Corporation RDO-based small transform coefficients suppression algorithm for HEVC
US9930084B2 (en) * 2014-06-30 2018-03-27 Echostar Technologies Llc Adaptive data segment delivery arbitration for bandwidth optimization
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP6037521B2 (ja) * 2015-07-02 2016-12-07 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
US11811975B2 (en) 2017-05-31 2023-11-07 Interdigital Madison Patent Holdings, Sas Method and a device for picture encoding and decoding
EP3410723A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing A method and a device for picture encoding and decoding
EP3410711A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing A method and a device for picture encoding and decoding
US11228757B2 (en) 2017-05-31 2022-01-18 Interdigital Vc Holdings, Inc. Method and a device for picture encoding and decoding
WO2019118097A1 (en) 2017-12-14 2019-06-20 Interdigital Vc Holdings, Inc. Method and apparatus for encoding a picture block
EP4221201A1 (en) 2018-01-29 2023-08-02 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
CN111937383B (zh) 2018-03-30 2023-08-01 交互数字Vc控股公司 视频编码和解码中的色度量化参数调整
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1631090A1 (en) * 2004-08-31 2006-03-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
KR100977101B1 (ko) 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
WO2011087932A1 (en) 2010-01-14 2011-07-21 Dolby Laboratories Licensing Corporation Buffered adaptive filters

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1631090A1 (en) * 2004-08-31 2006-03-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YING CHEN ET AL.Adaptive Filter for Spatial Scalability Video Coding.《25.PICTURE CODING SYMPOSIIUM 24-4-2006-26-4-2006;BEIJING》.2006,第3页左列，摘要. *

Also Published As

Publication number Publication date
CN102598660A (zh) 2012-07-18
JP5416271B2 (ja) 2014-02-12
JP2012521735A (ja) 2012-09-13
EP2422520A1 (en) 2012-02-29
WO2010123862A1 (en) 2010-10-28
US20120027079A1 (en) 2012-02-02
US9078008B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
CN102598660B (zh) 用于多层视频传输的自适应内插滤波器
JP6356286B2 (ja) 多視点信号コーデック
JP4751928B2 (ja) 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
US9521413B2 (en) Optimized filter selection for reference picture processing
JP5693716B2 (ja) 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US8457201B2 (en) Inter-layer prediction method for video signal
US9241160B2 (en) Reference processing using advanced motion models for video coding
EP3700213B1 (en) Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
US8902976B2 (en) Hybrid encoding and decoding methods for single and multiple layered video coding systems
US20120033040A1 (en) Filter Selection for Video Pre-Processing in Video Applications
CN103155559A (zh) 用于帧兼容视频传输的联合层优化
CN104704835A (zh) 视频编码中运动信息管理的装置与方法
TW201206203A (en) Image encoding device, image decoding device, image encoding method and image decoding method
CN110999290A (zh) 使用跨分量线性模型进行帧内预测的方法和装置
Vatis et al. Coding of coefficients of two-dimensional non-separable adaptive Wiener interpolation filter
JP5439162B2 (ja) 動画像符号化装置および動画像復号装置
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101346349B1 (ko) 스케일러블 다시점 영상 복호화 장치 및 방법
KR20190091431A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20130119717A (ko) 보조 움직임 정보를 활용한 효율적인 영상 부호화 방법 및 장치
Li Improved motion-compensated temporal filtering (mctf) for scalable video coding
KR20140124438A (ko) 밝기 보상을 이용한 비디오 부호화/복호화 방법 및 장치
GB2512828A (en) Method and apparatus for encoding or decoding an image with inter layer motion information prediction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20181105

Address after: No. 18, Wu Sha seashore road, Changan Town, Dongguan, Guangdong

Patentee after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: American California

Patentee before: Dolby Lab Licensing Corp.

TR01 Transfer of patent right