CN101325707A

CN101325707A - 纹理自适应视频编解码***

Info

Publication number: CN101325707A
Application number: CN 200710069093
Authority: CN
Inventors: 虞露; 武晓阳
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2007-06-12
Filing date: 2007-06-12
Publication date: 2008-12-17
Anticipated expiration: 2027-06-12
Also published as: CN101325707B

Abstract

本发明公开了一种纹理自适应视频编码***、一种纹理自适应视频解码***和一种纹理自适应视频编解码***。纹理自适应视频编码***包含视频编码器和编码端纹理分析器；纹理自适应视频解码***包含视频解码器和解码端纹理分析器；纹理自适应视频编解码***包括纹理自适应视频编码***和纹理自适应视频解码***。纹理自适应视频编解码***将视频图像的纹理特征信息纳入到视频编解码***中，以提高视频编码的压缩效率和主观质量。

Description

纹理自适应视频编解码***

技术领域

本发明涉及信号处理与通信领域，特别地，涉及一种纹理自适应视频编码***、一种纹理自适应视频解码***和一种纹理自适应视频编解码***。

背景技术

当前视频编解码标准，比如ITU制定的H.261，H.263，H.26L和ISO的MPEG组织制定的MPEG-1，MPEG-2，MPEG-4，以及JVT制定的H.264/MPEG-AVC(简称H.264)和中国自主知识产权的视频编码标准AVS第二部分都是基于传统混合视频编解码框架。

视频编码的一个重要目的就是对视频信号进行压缩，减少视频信号的数据量，从而节约视频信号的存储空间和传输带宽。一方面，原始视频信号，数据量非常巨大，这是视频编码压缩的必要性所在；另一方面，原始视频信号存在大量的冗余信息，这是视频编码压缩的可能性所在。这些冗余信息可以分成空间冗余信息、时间冗余信息、数据冗余信息和视觉冗余信息。其中前面三种冗余信息仅仅只是考虑像素间统计概念上的冗余信息，总称统计冗余信息；视觉冗余信息更加侧重考虑人眼视觉***的特性。视频编码要降低视频信号数据量，就需要降低视频信号中存在的各种冗余信息。传统混合视频编码框架是综合考虑预测编码、变换编码以及熵编码的视频编码框架，着力降低视频信号的统计冗余信息，传统混合视频编码框架有以下主要特点：

(1)利用预测编码降低时间冗余信息和空间冗余信息；

(2)利用变换编码进一步降低空间冗余信息；

(3)利用熵编码降低数据冗余信息；

预测编码包括帧内预测编码和帧间预测编码。用帧内预测编码技术压缩的视频帧，称为帧内编码帧(I帧)。帧内编码帧的编码过程如下：首先，将编码帧分成编码块(编码单元的一种形式)；对编码块进行帧内预测，得到帧内预测的残差数据；接着对残差数据进行二维变换编码；然后在变换域中对变换系数进行量化；然后经过扫描将二维信号转换成一维信号；最后进行熵编码。用帧间预测编码技术压缩的视频帧，称为帧间编码帧(P帧、B帧)。帧间编码帧的编码过程如下：首先，将编码帧分成编码块；对编码块采用运动估计技术得到运动矢量和参考块(参考单元的一种形式)；然后采用运动补偿技术，得到帧间预测后的残差数据；接着对残差数据进行二维变换编码；然后在变换域中对变换系数进行量化；然后经过扫描将二维信号转换成一维信号；最后进行熵编码。残差数据，也就是残差信号，相对于原始视频信号，空间冗余信息和时间冗余信息都减小了。如果空间冗余信息和时间冗余信息用数学上相关性来表示，则残差信号的空间相关性和时间相关性都比原始视频信息量小。然后对残差信号进行二维变换编码，进一步降低空间相关性，最后对变换系数进行量化和熵编码降低数据冗余信息。可见要继续提高视频编码的压缩效率，需要更精确的预测编码技术，进一步降低预测后残差信号的空间相关性和时间相关性；同时也需要更有效的变换编码技术，进一步降低空间相关性；同时在预测编码和变换编码后，设计相适应的扫描技术、量化技术和熵编码技术。

上述基于传统混合视频编解码框架的视频编解码标准，虽然取得了很大的成功，但要进一步提高视频编码的压缩效率，传统混合视频编解码框架本身存在着瓶颈。研究结果显示，视频信号并非平稳信源，也就是说每个编码单元的特征是不尽相同的。然而，传统混合视频编解码框架中功能模块的设计却是建立在平稳视频信号的假设基础上，例如，其中预测编码模块、变换编码模块、量化模块、扫描模块等在对编码单元进行编码时，所采用的工作模式都是固定的：

(1)在帧间预测编码中预测补偿精确到亚像素时，需要采用插值技术对参考图像中的亚像素点进行构建。现行的基于传统混合视频编解码框架的视频标准都采用横向、纵向可分离的一维插值滤波器，对亚像素进行构建。插值滤波器的抽头个数和系数都是固定的，因此，采用的插值滤波器与***值图像的内容无关。

(2)变换编码模块广泛采用离散余弦变换(DCT)技术以及其近似变换技术整数余弦变换(ICT)技术。变换编码拟在降低空间相关性，将编码单元能量向少数几个变换系数集中，在DCT、ICT中就是向低频能量集中。变换矩阵都是固定的，因此，采用的变换与被变换图像的内容无关。

(3)量化模块是对变换系数的一种有损不可逆转编码模块。目前视频标准中采用的量化技术是对各个变换系数进行相同步长的标量量化或者通过量化矩阵加权对高频系数进行粗量化(利用人眼对高频信号不敏感特性)。可见，量化过程与被量化的图像内容无关。

(4)扫描模块是将二维信号转化成一维信号，具体就是把量化后的二维变换系数转化为run、level信号，以利于对run、level信号进行熵编码。目前视频编码标准中采用针对帧编码的zigzag扫描方式和针对场编码的纵向优先的alternative扫描方式，并且固定这两种扫描的扫描顺序，对于编码块的变换系数基本沿着左上到右下的顺序。可见，扫描顺序与被扫描的图像内容无关。

近年来，为了进一步提高视频编码效率，涌现出一些新的编码技术，这些技术的共同点在于“自适应”，可以对每帧或者每个编码块选择不同的的编码方式(指某些功能模块选择相适应工作模式)。这些技术的自适应方法，有些基于率失真优化(RDO)技术实现，即通过RDO这种高复杂度的途径从几种候选的方法中选择一种在RD意义上最优的方法；有些基于统计的方法，采用“两遍”的思想，在第一遍结束后，利用第一遍的数据统计得到相适应的工作模式，然后用相适应的工作模式进行第二遍编码。

另外有一种自适应变换技术，它基于神经网络的方法。最初设定一个初始变换模式，随着编码的进行，通过神经网络逐步训练新的变换模式，对接下来的编码块进行变换编码。

这些方法的“自适应”观点实际上是利用编码单元的局部特征不同的思想，但是它们的局部特征是模糊笼统的。

在前面分析和研究的基础上，为了突破传统混合视频编解码框架的瓶颈，本发明提出一种纹理自适应视频编解码***，纹理自适应视频编解码***包括纹理自适应视频编码***和纹理自适应视频解码***。纹理自适应视频编解码***把视频图像的纹理特征(图像局部特征的一种)信息纳入到视频编解码***中，以提高视频编码的压缩效率和主观质量。

发明内容

本发明的目的在于针对传统混合视频编解码框架的瓶颈，提出一种纹理自适应视频编码***、一种纹理自适应视频解码***和一种纹理自适应视频编解码***。纹理自适应视频编解码***包含纹理自适应视频编码***和纹理自适应视频解码***。纹理自适应视频编解码***把视频图像的纹理特征纳入到视频编解码***中，以提高视频编码的压缩效率和主观质量。

纹理自适应视频编码***包含视频编码器和编码端纹理分析器；视频编码器至少包含一个编码功能模块，以完成编码压缩；编码端纹理分析器进行纹理分析，以提取编码单元纹理特征信息；视频编码器中至少存在一个编码功能模块，其工作模式由编码端纹理分析器提取的编码单元纹理特征信息控制。编码端纹理分析器的输入信号包含以下一种或多种：原始图像数据、参考图像数据、编码功能模块输出数据。编码端纹理分析器提取的编码单元纹理特征信息包含以下一种或多种：纹理方向信息、纹理强度信息、纹理方向强度信息等。编码功能模块的工作模式由编码端纹理分析器提取的编码单元纹理特征信息控制是指编码功能模块根据编码单元纹理特征信息，确定采用与编码单元纹理特征信息相适应的工作模式；不同的编码功能模块可以使用同种的或不同种的编码单元纹理特征信息进行控制。

纹理自适应视频解码***包含视频解码器和解码端纹理分析器；视频解码器至少包含一个解码功能模块，以完成解码重建；解码端纹理分析器进行纹理分析，以提取解码单元纹理特征信息；视频解码器中至少存在一个解码功能模块，其工作模式由解码端纹理分析器提取的解码单元纹理特征信息控制。解码端纹理分析器的输入信号包含以下一种或多种：参考图像数据、解码功能模块输出数据。解码端纹理分析器提取的解码单元纹理特征信息包含以下一种或多种：纹理方向信息、纹理强度信息、纹理方向强度信息等。解码功能模块的工作模式由解码端纹理分析器提取的解码单元纹理特征信息控制是指解码功能模块根据解码单元纹理特征信息，确定采用与解码单元纹理特征信息相适应的工作模式；不同的解码功能模块可以使用同种的或不同种的解码单元纹理特征信息进行控制。

纹理自适应视频编解码***包含纹理自适应视频编码***和纹理自适应视频解码***。

附图说明

图1是纹理自适应视频编码***示意图；

图2是纹理自适应视频解码***示意图；

图3是纹理自适应视频编解码***示意图；

图4是n×m编码块原始数据示意图；

图5是n×m参考图像块的数据示意图；

图6是帧内预测模式作为编码端纹理分析器信号输入示意图；

图7是Sobel算子示意图；

图8纹理自适应插值模块的示意图；

图9是整像素点和亚像素点示意图；

图10是纹理自适应扫描模块的示意图；

图11是纵向优先扫描顺序示意图；

图12是横向优先扫描顺序示意图；

图13是实施实例1示意图：纹理自适应视频编码***；

图14是实施实例2示意图：纹理自适应视频解码***；

图15是实施实例4示意图：纹理自适应视频编码***；

图16是实施实例5示意图：纹理自适应视频解码***；

图17是实施实例7示意图：纹理自适应视频编码***；

图18是实施实例8示意图：纹理自适应视频解码***；

图19是实施实例10示意图：纹理自适应视频编码***；

图20是实施实例11示意图：纹理自适应视频解码***；

具体实施方式

本发明涉及一种纹理自适应视频编码***(图1所示)、一种纹理自适应视频解码***(图2所示)和一种纹理自适应视频编解码***(图3所示)，注意图3中所示的“传输信道”不包含在纹理自适应视频编解码***中。

纹理自适应视频编解码***涉及范围很广，下面先对本发明中涉及的名词进行举例说明。

A、编码单元的实例

编码单元是纹理自适应的单元，它由视频像素点组成的集合。编码单元的形式很多，在早期的差分脉冲调制编码***中，编码单元为一个一个单独的像素点；在当前许多视频编码标准中编码单元是矩形像素块，包括方块；而最新有文献中提到的编码单元是三角形、梯形等不同的形式；编码单元也可以是一个条带(slice)、一个帧、一个场等形式；此外，编码单元还可以由不相邻的像素点组成。

编码块是编码单元的一种实例，它是由像素点组成的矩形块，矩形块大小为n×m，代表该编码块高度为n个像素点，宽度为m个像素点。比如16×16的编码块，16×8的编码块，8×16的编码块，8×8的编码块，8×4的编码块，4×8的编码块，4×4的编码块。以下将以编码块为例来给出具体实施实例，在没有特别说明时，将使用编码块代替编码单元。但实施实例中列举的方法同样可用于其它形式的编码单元。

B、解码单元的实例

解码单元和编码单元是同一事物在***不同位置的不同说法。编码单元是纹理自适应视频编码***中的概念，与此对应的，在纹理自适应视频解码***中，它就被称为解码单元。所以A中提到编码单元的举例和说明也适合对解码单元的举例和说明。

C、视频编码功能模块的实例

视频编码器中编码功能模块包括以下模块中的一个或多个：预测模块、插值模块、变换模块、反变换模块、量化模块、反量化模块、扫描模块、反扫描模块、去块滤波模块、熵编码模块等。这些编码功能模块可以一个细分为多个或多个合并成一个编码功能模块，比如插值模块可以分成二分之一像素插值模块和四分之一像素插值模块；比如变换模块和量化模块合并为变换量化模块。视频编码器也可以有其它的功能划分方法，形成一套新的编码功能模块。

视频编码器中的编码功能模块通过一定的方式相联，完成编码压缩的功能。

对于一个编码功能模块，其工作模式可以多样，比如插值模块，采用不同的滤波器抽头个数和滤波器系数就是不同的工作模式。

D、视频解码功能模块的实例

视频解码器中的解码功能模块包括以下模块中的一个或多个：预测模块、插值模块、反变换模块、反量化模块、反扫描模块、去块滤波模块、熵解码模块等。这些解码功能模块可以一个细分为多个或多个合并成一个解码功能模块，比如插值模块可以分成二分之一像素插值模块和四分之一像素插值模块；比如反变换模块和反量化模块合并为反变换量化模块。视频解码器也可以有其它的功能划分方法，形成一套新的解码功能模块。

视频解码器中的解码功能模块通过一定的方式相联，完成解码重建的功能。

对于一个解码功能模块，其工作模式可以多样，比如插值模块，采用不同的滤波器抽头个数和滤波器系数就是不同的工作模式。

E、纹理特征信息的实例

纹理特征信息的表示方式可以有纹理方向信息、纹理强度信息、纹理方向强度信息，也可以有其它的表示方式，例如纹理结构等。

E-1、纹理方向信息

纹理方向信息主观表现为图像中纹理的朝向，一般用纹理倾斜角度表示。倾斜角度是连续量，在使用时，可以量化为离散量。量化的时候可以选择不同的精度，把纹理分成不同种类的方向。量化时，将角度属于同一量化区域的纹理倾斜角度归为同一类纹理方向。比如，量化精度为4档次时，纹理方向信息可以分为横向纹理、纵向纹理、左对角纹理和右对角纹理。当然，有些编码单元，它没有明显的纹理方向，也可以说各个纹理方向对应的纹理强度相当，称之为平坦区域，平坦区域是一种特殊的纹理方向信息。

图像中的边沿的方向是一种纹理方向信息的实例。

E-2、纹理强度信息

纹理强度信息主观表现为图像中纹理的明显程度，可以用梯度强度表示、也可以用能量强度表示，还可以用其它方法表示。

E-3、纹理方向强度信息

纹理方向强度信息是指将纹理方向按E-1分成不同种类，而每一种类的纹理方向都有与之对应的强度信息。纹理方向强度信息就是对应于各纹理方向的纹理强度信息。

F、编码端纹理分析器的输入信号的实例

F-1、原始图像数据

原始图像数据是指由原始图像原始像素值组成或构建的数据。构建方式多种多样，例如插值方式、滤波方式、像素重复方式等。

F-2、参考图像数据

参考图像数据是指由已解码重建图像的像素值组成或构建的数据。构建方式多种多样，例如插值方式、滤波方式、像素重复方式等。

F-3、编码功能模块输出数据

●编码功能模块输出的与当前编码单元对应的数据。

例如，功能模块为帧内预测模块，输出数据为当前编码单元的帧内预测模式。图6是此例的示意图。

●编码功能模块输出的与(一个或多个)已编码的编码单元对应的数据。

例如，功能模块为帧内预测模块，输出数据为当前编码单元上方和左方的编码单元的帧内预测模式。为了供编码端纹理分析器分析当前编码单元的纹理特征，这些信息应该经过一定时间的缓存后输入编码端纹理分析器。

编码功能模块输出数据不限于帧内预测模块输出的帧内预测模式，它可以是变换模块输出的变换系数；扫描模块输出的扫描顺序；帧间预测模块输出的帧间预测模式等。

注意，编码功能模块输出数据是指编码功能模块的部分或者全部输出数据，例如这里帧内预测模式只是帧内预测模块的部分输出数据。

I-4、输入信号为多种数据

输入信号包括以下数据中的多种数据：原始图像数据、参考图像数据和编码功能模块输出数据。

例如，编码单元的原始图像数据和编码单元帧间匹配单元作为输入信号都送入编码端纹理分析器。

其中，图4是编码单元的原始图像数据的一个例子，编码单元为编码块，它是一个n×m的块P，P_ji代表第(j，i)位置的像素值，是该像素点的原始像素值。

匹配单元是与编码单元最相近的参考图像数据。构成匹配单元的像素点与当前编码单元不在同一帧图像中，称为帧间匹配单元；构成匹配单元的像素点与当前编码单元在同一帧图像中，称为帧内匹配单元。图5是帧间匹配单元的一个例子，帧间匹配单元R，是大小为n×m的块。R_ji代表第(j，i)位置像素点的值。

G、解码端纹理分析器的输入信号的实例

G-1、参考图像数据

解码端纹理分析器的输入信号为参考图像数据时，它与F-2相一致。

G-2、解码功能模块输出数据

●解码功能模块输出的与当前解码单元对应的数据。

例如，一、熵解码模块进行码流解析后，获得当前解码单元纹理特征信息，将此纹理特征信息输出到解码端纹理分析器；二、功能模块为帧内预测模块，输出数据为当前解码单元的帧内预测模式。

●解码功能模块输出的与(一个或多个)已解码的解码单元对应的数据。

例如，功能模块为帧内预测模块，输出数据为当前解码单元上方和左方的解码单元的帧内预测模式。为了供解码端纹理分析器分析当前解码单元的纹理特征，这些信息应该经过一定时间的缓存后输入解码端纹理分析器。

解码功能模块输出数据不限于这些例子，它还可以是变换模块输出的变换系数；扫描模块输出的扫描顺序；帧间预测模块输出的帧间预测模式等。

注意，解码功能模块输出数据是指解码功能模块的部分或者全部输出数据，例如这里帧内预测模式只是熵解码模块的部分输出数据。

G-3、输入信号为多种数据

输入信号包括以下数据中的多种数据：参考图像数据和解码功能模块输出数据。

例如，解码单元的帧间匹配单元与解码单元的上方和左方解码单元的帧间预测模式作为输入信号都送入解码端纹理分析器。

H、编码端纹理分析器提取编码单元纹理特征信息的实例

H-1、输入信号为原始图像数据

编码端纹理分析器的输入信号如F-1所述。

以编码单元的原始图像数据为输入信号的情况为例子，此处编码单元为编码块，图4是-个n×m的编码块P，P_ji代表第(j，i)位置像素点的值，是该像素点的原始数据。纹理分析器以Sobel算子来提取得到编码块P的纹理特征信息，即纹理方向信息和纹理强度信息。图7是Sobel算子x方向和y方向梯度的求取方法。根据Sobel算子可以求得P_ji的x方向和y方向的梯度。

其x方向的梯度为：

hx(P_ji)＝P_j-1，i-1+2×P_j-1，i+P_j-1，i+1-P_j+1，i-1-2×P_j+1，i-P_j+1，i+1

其y方向的梯度为：

hy(P_ji)＝P_j-1，i+1+2×P_j，i+1+P_j+1，i+1-P_j-1，i-1-2×P_j-1，i-P_j-1，i+1

则P_ji的梯度方向为

Dir(P_ji)＝arctan(hy(P_ji)/hx(P_ji))，arctan为反正切函数；

P_ji的梯度强度为

Mag(P_ji)＝sqrt(hx((P_ji)^2+hy(P_ji)^2，sqrt为求根函数，^2指平方。

将Dir(P_ji)量化成相应精度的档次，每个档次对应一种纹理方向信息，。比如四个量化档次：横向、纵向、左对角和右对角。

为了确定P的纹理方向信息和纹理强度信息，依次求出P₁₁到P_n-1，m-1这(n-2)×(m-2)个像素点的Dir值和Mag值，根据Dir量化档次，将这些点分类，求出每类中像素点Mag值的和，Mag值的和是P的纹理方向强度信息。占主导地位的纹理方向强度信息就是P的纹理强度信息，它所对应的纹理方向信息定为P的纹理方向信息；如果分类中没有占主导地位的纹理强度信息，可以认为P是平坦区域。

纹理分析器还可以利用原始图像数据采用其它的算子或者方法提取与此实例中表达方式相同或不同的纹理特征信息。

H-2、输入信号为参考图像数据

编码端纹理分析器的输入信号如F-2所述。

参考图像数据以帧间匹配单元为例子，编码单元为编码块，帧间匹配单元为帧间匹配块，例如图5。纹理特征信息提取方法可以采用H-1中例举的方法。

II-3、输入信号为编码功能模块输出数据

编码端纹理分析器的输入信号如F-3所述。

例一：输入信号为F-3中当前编码单元的帧内预测模式，帧内预测模式是有方向性的，比如横向预测模式，纵向预测模式，左对角预测模式，右对角预测模式和DC预测模式。编码端纹理分析器根据预测模式决定该编码块的纹理特征信息，这里只是纹理方向信息。如果预测模式为横向预测模式，纹理方向为横向纹理；如果预测模式为纵向预测模式，纹理方向为纵向纹理；如果预测模式为左对角预测模式，纹理方向为左对角纹理；如果预测模式为右对角预测模式，纹理方向为右对角纹理；如果预测模式为DC预测模式，纹理特征信息为平坦区域，无明显纹理。

例二：输入信号为帧间预测模块输出的当前编码单元上方和左方的编码单元的帧间预测模式信息。帧间预测模式是指帧间预测时的块大小。比如，当编码块上方和左方的编码块的帧间预测模式为16×8时，确定该编码块为横向纹理方向；当编码块上方和左方的编码块的帧间预测模式为8×16时，确定该编码块为纵向纹理方向；其它情况，确定该编码块为平坦区域。

H-4、输入信号为组合数据

编码端纹理分析器的输入信号如F-4所述。

此处，原始图像数据以编码单元的原始数据为例子，参考图像数据以帧间匹配单元为例子。这两种信号作为编码端纹理分析器的输入信号，编码单元为编码块，编码端纹理分析器先求得它们间的差分信号，差分信号是指编码块和帧间匹配块的差值；对差分信号采用H-1中例举的方法处理，以获得编码单元纹理特征信息。

I、解码端纹理分析器提取纹理特征信息实例

I-1、输入信号为参考图像数据

解码端纹理分析器的输入信号为参考图像数据时，如G-1所述，可以按H-2中例举的方法提取解码单元纹理特征信息。

I-2、输入信号为解码功能模块输出数据

例一：码流中包含解码单元纹理特征信息，解码端纹理分析器的输入信号是熵解码模块通过码流解析获得的解码块的纹理特征信息或者解码块的纹理特征信息的一种编码形式，将此信息输入到解码端纹理分析器，解码端纹理分析器直接利用或者解码这些信息，得到解码块的纹理特征信息。

例二：解码端纹理分析器的输入信号为帧内预测模块输出的当前解码块的帧内预测模式。解码端纹理分析器按照H-3中例举的方法，确定解码块的纹理特征信息。

例三：输入信号为帧间预测模块输出的当前解码单元上方和左方的解码单元的帧间预测模式信息。解码端纹理分析器按照H-3中例举的方法，确定解码块的纹理特征信息。

J、编码功能模块、解码功能模块的工作模式与纹理特征相适应的实例

J1、纹理自适应插值模块

图8足纹理自适应插值模块示意图。编码端纹理分析器提取编码块的纹理特征信息，由纹理特征信息控制纹理自适应插值模块，使其选择一种相适应的插值方法，也就是工作模式，来构建亚像素点。图8中纹理自适应插值模块有N类纹理方向插值，每一类对应一种工作模式。编码端纹理分析器提取的纹理特征信息有纹理方向信息。纹理自适应插值模块在获得编码块的纹理方向信息后，根据纹理方向的不同选择不同的工作模式，来进行亚像素的插值构建。图9是需要插值的亚像素点示意图，图中大写字母A-P代表整像素的位置；小写字母a-o代表整像素点A对应的亚像素点的位置。亚像素点可以分成二分之一像素点和四分之一像素点。其中，b、h、j代表二分之一像素点，其它小写字母代表四分之一像素点。下面表格列出的是编码块不同纹理方向所对应的插值工作模式。当然，插值滤波器的设计不仅仅局限于这种方法，还可以有其它设计方法。

	横向纹理	纵向纹理
	横向纹理	纵向纹理	二分之一像素b	b’＝-I+5A+5B-Jb＝Clip((b’+4)＞＞3)	b’＝A+Bb＝(b’+1)＞＞1
二分之一像素h	h’＝A+Ch＝Clip((h’+1)＞＞1)	h’＝-F+5A+5C-Nh＝Clip((h’+4)＞＞3)	二分之一像素b	b’＝-I+5A+5B-Jb＝Clip((b’+4)＞＞3)	b’＝A+Bb＝(b’+1)＞＞1
二分之一像素h	h’＝A+Ch＝Clip((h’+1)＞＞1)	h’＝-F+5A+5C-Nh＝Clip((h’+4)＞＞3)	二分之一像素j	j’＝-bb+5h+5cc-ddj＝(Clip(j’+4)＞＞3)	j’＝-aa+5b+5cc-ffj＝Clip((j’+4)＞＞3)
四分之一像素a	a’＝A+ba＝Clip((a’+1)＞＞1)	a’＝A+ba＝Clip((a’+1)＞＞1)	二分之一像素j	j’＝-bb+5h+5cc-ddj＝(Clip(j’+4)＞＞3)	j’＝-aa+5b+5cc-ffj＝Clip((j’+4)＞＞3)
四分之一像素a	a’＝A+ba＝Clip((a’+1)＞＞1)	a’＝A+ba＝Clip((a’+1)＞＞1)	四分之一像素c	c’＝B+bc＝Clip((c’+1)＞＞1)	c’＝B+bc＝Clip((c’+1)＞＞1)
四分之一像素d	d’＝A+hd＝Clip((d’+1)＞＞1)	d’＝A+hd＝Clip((d’+1)＞＞1)	四分之一像素c	c’＝B+bc＝Clip((c’+1)＞＞1)	c’＝B+bc＝Clip((c’+1)＞＞1)
四分之一像素d	d’＝A+hd＝Clip((d’+1)＞＞1)	d’＝A+hd＝Clip((d’+1)＞＞1)	四分之一像素f	f’＝b+jf＝Clip((f’+1)＞＞1)	f’＝b+jf＝Clip((f’+1)＞＞1)
四分之一像素i	i’＝h+ji＝Clip((i’+1)＞＞1)	i’＝h+ji＝Clip((i’+1)＞＞1)	四分之一像素f	f’＝b+jf＝Clip((f’+1)＞＞1)	f’＝b+jf＝Clip((f’+1)＞＞1)
四分之一像素i	i’＝h+ji＝Clip((i’+1)＞＞1)	i’＝h+ji＝Clip((i’+1)＞＞1)	四分之一像素k	k’＝j+cck＝Clip((k’+1)＞＞1)	k’＝j+cck＝Clip((k’+1)＞＞1)
四分之一像素1	l’＝C+hl＝Clip((l’+1)＞＞1)	l’＝C+hl＝Clip((l’+1)＞＞1)	四分之一像素k	k’＝j+cck＝Clip((k’+1)＞＞1)	k’＝j+cck＝Clip((k’+1)＞＞1)
四分之一像素1	l’＝C+hl＝Clip((l’+1)＞＞1)	l’＝C+hl＝Clip((l’+1)＞＞1)	四分之一像素n	n’＝j+een＝Clip((n’+1)＞＞1)	n’＝j+een＝Clip((n’+1)＞＞1)
四分之一像素e	e’＝d+fe＝Clip((e’+1)＞＞1)	e’＝a+ie＝Clip((e’+1)＞＞1)	四分之一像素n	n’＝j+een＝Clip((n’+1)＞＞1)	n’＝j+een＝Clip((n’+1)＞＞1)
四分之一像素e	e’＝d+fe＝Clip((e’+1)＞＞1)	e’＝a+ie＝Clip((e’+1)＞＞1)	四分之一像素g	m’＝f+pg＝Clip((m’+1)＞＞1)	g’＝c+kg＝Clip((m’+1)＞＞1)
四分之一像素m	m’＝1+nm＝Clip((m’+1)＞＞1)	m’＝i+rm＝Clip((m’+1)＞＞1)	四分之一像素g	m’＝f+pg＝Clip((m’+1)＞＞1)	g’＝c+kg＝Clip((m’+1)＞＞1)
四分之一像素m	m’＝1+nm＝Clip((m’+1)＞＞1)	m’＝i+rm＝Clip((m’+1)＞＞1)	四分之一像素o	o’＝n+qo＝Clip((o’+1)＞＞1)	o’＝k+so＝Clip((o’+1)＞＞1)

	左对角纹理	右对角纹理
	左对角纹理	右对角纹理	二分之一像素b	b’＝7A+7B+C+Gb＝Clip((b’+8)＞＞4)	b’＝7A+7B+F+D；b＝Clip((b’+8)＞＞4)
二分之一像素h	h’＝7A+7C+B+Kh＝Clip((h’+8)＞＞4)	h’＝7A+7C+I+D；h＝Clip(h’+8)＞＞4)	二分之一像素b	b’＝7A+7B+C+Gb＝Clip((b’+8)＞＞4)	b’＝7A+7B+F+D；b＝Clip((b’+8)＞＞4)
二分之一像素h	h’＝7A+7C+B+Kh＝Clip((h’+8)＞＞4)	h’＝7A+7C+I+D；h＝Clip(h’+8)＞＞4)	二分之一像素j	j’＝A+7B+7C+D；j＝Clip((j’+8)＞＞4)	j’＝7A+B+C+7D；j＝Clip((j’+8)＞＞4)
四分之一像素a	a’＝A+ba＝Clip((a’+1)＞＞1)	a’＝A+ba＝Clip((a’+1)＞＞1)	二分之一像素j	j’＝A+7B+7C+D；j＝Clip((j’+8)＞＞4)	j’＝7A+B+C+7D；j＝Clip((j’+8)＞＞4)
四分之一像素a	a’＝A+ba＝Clip((a’+1)＞＞1)	a’＝A+ba＝Clip((a’+1)＞＞1)	四分之一像素c	c’＝B+bc＝Clip((c’+1)＞＞1)	c’＝B+bc＝Clip((c’+1)＞＞1)
四分之一像素d	d’＝A+hd＝Clip((d’+1)＞＞1)	d’＝A+hd＝Clip((d’+1)＞＞1)	四分之一像素c	c’＝B+bc＝Clip((c’+1)＞＞1)	c’＝B+bc＝Clip((c’+1)＞＞1)
四分之一像素d	d’＝A+hd＝Clip((d’+1)＞＞1)	d’＝A+hd＝Clip((d’+1)＞＞1)	四分之一像素f	f’＝b+jf＝Clip((f’+1)＞＞1)	f’＝b+jf＝Clip((f’+1)＞＞1)
四分之一像素i	i’＝h+ji＝Clip((i’+1)＞＞1)	i’＝h+ji＝Clip((i’+1)＞＞1)	四分之一像素f	f’＝b+jf＝Clip((f’+1)＞＞1)	f’＝b+jf＝Clip((f’+1)＞＞1)
四分之一像素i	i’＝h+ji＝Clip((i’+1)＞＞1)	i’＝h+ji＝Clip((i’+1)＞＞1)	四分之一像素k	k’＝j+cck＝Clip((k’+1)＞＞1)	k’＝j+cck＝Clip((k’+1)＞＞1)
四分之一像素1	l’＝C+hl＝Clip((l’+1)＞＞1)	l’＝C+hl＝Clip((l’+1)＞＞1)	四分之一像素k	k’＝j+cck＝Clip((k’+1)＞＞1)	k’＝j+cck＝Clip((k’+1)＞＞1)
四分之一像素1	l’＝C+hl＝Clip((l’+1)＞＞1)	l’＝C+hl＝Clip((l’+1)＞＞1)	四分之一像素n	n’＝j+een＝Clip((n’+1)＞＞1)	n’＝j+een＝Clip((n’+1)＞＞1)
四分之一像素e	e’＝b+he＝Clip((e’+1)＞＞1)	e’＝A+je＝Clip((e’+1)＞＞1)	四分之一像素n	n’＝j+een＝Clip((n’+1)＞＞1)	n’＝j+een＝Clip((n’+1)＞＞1)
四分之一像素e	e’＝b+he＝Clip((e’+1)＞＞1)	e’＝A+je＝Clip((e’+1)＞＞1)	四分之一像素g	g’＝B+jg＝Clip(g’+1)＞＞1)	g’＝b+ccg＝Clip((g’+1)＞＞1)
四分之一像素m	m’＝j+Cm＝Clip((m’+1)＞＞1)	m’＝h+eem＝Clip((m’+1)＞＞1)	四分之一像素g	g’＝B+jg＝Clip(g’+1)＞＞1)	g’＝b+ccg＝Clip((g’+1)＞＞1)
四分之一像素m	m’＝j+Cm＝Clip((m’+1)＞＞1)	m’＝h+eem＝Clip((m’+1)＞＞1)	四分之一像素o	o’＝cc+eeo＝Clip((o’+1)＞＞1)	o’＝j+Do＝Clip((o’+1)＞＞1)

纹理自适应插值模块位于纹理自适应视频编码***称为纹理自适应插值编码功能模块，位于纹理自适应视频解码***称为纹理自适应插值解码功能模块。

J-2、纹理自适应扫描模块实例

图10是纹理自适应扫描方法示意图。编码端纹理分析器提取编码块的纹理特征信息，纹理自适应扫描模块根据编码端纹理分析器提取的纹理特征信息选择一种相适应的扫描顺序，每种扫描顺序对应一种工作模式。扫描顺序有纵向优先的扫描顺序；有横向优先的扫描顺序；有无方向优先的扫描顺序等。如图11所示，是8×8块两种纵向优先的扫描顺序的例子，图中右边的扫描顺序比左边的扫描顺序纵向优先程度大；如图12所示，是8×8块两种横向优先的扫描顺序的例子，图中右边的扫描顺序比左边的扫描顺序横向优先程度大；无方向优先的扫描顺序，比如zigzag扫描顺序。纹理分析器输出的纹理特征信息是纹理方向信息和纹理强度信息，纹理方向信息分成横向纹理、纵向纹理和其它纹理三种；纹理强度信息分成强、弱两种。下表举例说明了使用纹理方向信息和纹理强度信息控制纹理自适应扫描模块工作模式的情况，比如对于强的横向纹理，自适应扫描模块采用图11右图所示的扫描顺序作为工作模式；对于弱的其它纹理，自适应扫描模块采用zigzag扫描顺序作为工作模式等。

下表举例说明了仅使用纹理方向信息控制纹理自适应扫描模块工作模式的情况，比如对于横向纹理，自适应扫描模块采用图11右图所示的扫描顺序作为工作模式；对于纵向纹理，自适应扫描模块采用图12右图所示的扫描顺序作为工作模式；对于其它纹理，自适应扫描模块采用zigzag扫描顺序作为工作模式。

纹理自适应扫描模块位于纹理自适应视频编码***称为纹理自适应扫描编码功能模块，位于纹理自适应视频解码***称为纹理自适应扫描解码功能模块。

当然，还有其它编码功能模块、解码功能模块与纹理特征相适应的例子，比如变换模块、量化模块等等，不再一一例举。

实施实例1

图13是实施实例1的示意图，它是一个纹理自适应视频编码***。编码端纹理分析器的输入信号为编码单元的参考图像数据，如F-2所述，输出信息是编码单元的纹理方向信息，纹理方向信息的提取方法如H-2所例举的方法。输出的纹理方向信息控制视频编码器中纹理自适应插值模块的工作模式，使得纹理自适应插值模块根据纹理方向信息以J-1中所例举的方法选取相适应的插值工作模式。视频编码器中的其它编码功能模块不根据纹理特征信息进行自适应。

实施实例2

图14是实施实例2的示意图，它是一个纹理自适应视频解码***。解码端纹理分析器的输入信号为解码单元的参考图像数据，如G-1所述，输出信息是解码单元的纹理方向信息，纹理方向信息的提取方法如I-1所例举的方法。输出的纹理方向信息控制视频解码器中纹理自适应插值模块的工作模式，使得纹理自适应插值模块根据纹理方向信息以J-1中所例举的方法选取相适应的插值工作模式。视频解码器中的其它解码功能模块不根据纹理特征信息进行自适应。

实施实例3

实施实例3的纹理自适应视频编解码***包含实施实例1的纹理自适应视频编码***和实施实例2的纹理自适应视频解码***。

实施实例4

图15是实施实例4的示意图，它是一个纹理自适应视频编码***。编码端纹理分析器的输入信号为编码单元的参考图像数据，如F-2所述，输出信息是编码单元的纹理方向信息和纹理强度信息，提取方法采用H-2所例举的方法。纹理方向信息控制视频编码器中纹理自适应插值模块，使得纹理自适应插值模块根据纹理方向信息以J-1中所例举的方法选取相适应的插值工作模式；纹理方向信息和纹理强度信息控制视频编码器中纹理自适应扫描模块，使得纹理自适应扫描模块按照J-2中所例举的方法选取相适应的扫描工作模式。视频编码器中的其它编码功能模块不根据纹理特征信息进行自适应。

实施实例5

图16是实施实例5的示意图，它是一个纹理自适应视频解码***。解码端纹理分析器的输入信号为需要解码的解码单元的参考图像数据，如G-1所述，输出信息是需要解码单元的纹理方向信息和纹理强度信息，提取方法采用I-1所例举的方法。纹理方向信息控制视频解码器中纹理自适应插值模块，使得纹理自适应插值模块根据纹理方向信息以J-1中所例举的方法选取相适应的插值工作模式；纹理方向信息和纹理强度信息控制视频解码器中纹理自适应扫描模块，使得纹理自适应扫描模块按照J-2中所例举的方法选取相适应的反扫描工作模式。视频解码器中的其它解码功能模块不根据纹理特征信息进行自适应。

实施实例6

实施实例6的纹理自适应视频编解码***包含实施实例4的纹理自适应视频编码***和实施实例5的纹理自适应视频解码***。

实施实例7

图17是实施实例7的示意图，它是一个纹理自适应视频编码***。编码端纹理分析器的输入信号为需要编码的编码单元的原始数据，如F-1所述，输出信息是需要编码单元的纹理方向信息和纹理强度信息，提取方法采用H-1所例举的方法。纹理方向信息控制视频编码器中纹理自适应插值模块，使得纹理自适应插值模块根据纹理方向信息按J-1中所例举的方法选取相适应的插值工作模式；纹理方向信息和纹理强度信息控制视频编码器中纹理自适应扫描模块，使得纹理自适应扫描模块按照J-2中所例举方法选取相适应的扫描工作模式。视频编码器中的其它编码功能模块不根据纹理特征信息进行自适应。

实施实例8

图18是实施实例8的示意图，它是一个纹理自适应视频解码***。解码端纹理分析器的输入信号为熵解码模块的输出信号，如G-2所述，输出信息是需要解码的解码单元的纹理方向信息和纹理强度信息，纹理方向信息和纹理强度信息的提取方法采用I-2中所例举的方法。纹理方向信息控制视频解码器中纹理自适应插值模块，使得纹理自适应插值模块根据纹理方向特征信息按J-1中所例举的方法选取相适应的插值工作模式；纹理方向信息和纹理强度信息控制视频解码器中纹理自适应扫描模块，使得纹理自适应扫描模块按照J-2中所例举的方法选取相适应的反扫描工作模式。视频解码器中的其它解码功能模块不根据纹理特征信息进行自适应。

实施实例9

实施实例9的纹理自适应视频编解码***包含实施实例7的纹理自适应视频编码***和实施实例8的纹理自适应视频解码***。

实施实例10

图19是实施实例10的示意图，它是一个纹理自适应视频编码***。编码端纹理分析器的输入信号为帧内预测模块输出的帧内预测模式，如F-3所述，输出信息是编码单元的纹理方向信息，纹理方向信息的提取方法采用H-3中所例举的方法。纹理方向信息控制视频编码器中纹理自适应插值模块和纹理自适应扫描模块，使得纹理自适应插值模块根据纹理方向信息按J-1中所例举的方法选取相适应的插值工作模式；使得纹理自适应扫描模块根据纹理方向信息，按照J-2中方法选取相适应的扫描工作模式。视频编码器中的其它编码功能模块不根据纹理特征信息进行自适应。

实施实例11

图20是实施实例11的示意图，它是一个纹理自适应视频解码***。解码端纹理分析器的输入信号为帧内预测模块输出的帧内预测模式，如G-2所述，输出信息是需要解码单元的纹理方向信息，纹理方向信息的提取方法采用I-2中所例举的方法。纹理方向信息控制视频解码器中纹理自适应插值模块和纹理自适应扫描模块，使得纹理自适应插值模块根据纹理方向信息按J-1中例举的方法选取相适应的插值工作模式；使得纹理自适应扫描模块根据纹理方向信息，按照J-2中所例举的方法选取相适应的反扫描工作模式。视频解码器中的其它解码功能模块不根据纹理特征信息进行自适应。

实施实例12

实施实例12的纹理自适应视频编解码***包含实施实例10的纹理自适应视频编码***和实施实例11的纹理自适应视频解码***。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims

1.一种纹理自适应视频编码***，其特征在于：它包含视频编码器和编码端纹理分析器；视频编码器至少包含一个编码功能模块，以完成编码压缩；

编码端纹理分析器进行纹理分析，以提取编码单元纹理特征信息；视频编码器中至少存在一个编码功能模块，其工作模式由编码端纹理分析器提取的编码单元纹理特征信息控制。

2.根据权利要求1所述的纹理自适应视频编码***，其特征在于：所述的纹理特征信息包含以下一种或多种：纹理方向信息、纹理强度信息、纹理方向强度信息等。

3.根据权利要求1所述的纹理自适应视频编码***，其特征在于：所述的编码端纹理分析器的输入信号包含以下一种或多种：原始图像数据、参考图像数据、编码功能模块输出数据。

4.根据权利要求1所述的纹理自适应视频编码***，其特征在于：所述的编码功能模块的工作模式由编码端纹理分析器提取的编码单元纹理特征信息控制是指编码功能模块根据编码单元纹理特征信息，确定采用与编码单元纹理特征信息相适应的工作模式；不同的编码功能模块可以使用同种的或不同种的编码单元纹理特征信息进行控制。

5.一种纹理自适应视频解码***，其特征在于：它包含视频解码器和解码端纹理分析器；视频解码器至少包含一个解码功能模块，以完成解码重建；解码端纹理分析器进行纹理分析，以提取解码单元纹理特征信息；视频解码器中至少存在一个解码功能模块，其工作模式由解码端纹理分析器提取的解码单元纹理特征信息控制。

6.根据权利要求5所述的纹理自适应视频解码***，其特征在于：所述的纹理特征信息包含以下一种或多种：纹理方向信息、纹理强度信息、纹理方向强度信息等。

7.根据权利要求5所述的纹理自适应视频解码***，其特征在于：所述的解码端纹理分析器的输入信号包含以下一种或多种：参考图像数据、解码功能模块输出数据。

8.根据权利要求5所述的纹理自适应视频解码***，其特征在于：所述的解码功能模块的工作模式由解码端纹理分析器提取的解码单元纹理特征信息控制是指解码功能模块根据解码单元纹理特征信息，确定采用与解码单元纹理特征信息相适应的工作模式；不同的解码功能模块可以使用同种的或不同种的解码单元纹理特征信息进行控制。

9.一种纹理自适应视频编解码***，其特征在于：它包含权利要求1所述的纹理自适应视频编码***和权利要求5所述的纹理自适应视频解码***。