CN106664416B - 处理视频信号的方法及其装置 - Google Patents

处理视频信号的方法及其装置 Download PDF

Info

Publication number
CN106664416B
CN106664416B CN201580036589.3A CN201580036589A CN106664416B CN 106664416 B CN106664416 B CN 106664416B CN 201580036589 A CN201580036589 A CN 201580036589A CN 106664416 B CN106664416 B CN 106664416B
Authority
CN
China
Prior art keywords
sampling
current block
information
reference sample
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580036589.3A
Other languages
English (en)
Other versions
CN106664416A (zh
Inventor
孙银庸
芮世薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106664416A publication Critical patent/CN106664416A/zh
Application granted granted Critical
Publication of CN106664416B publication Critical patent/CN106664416B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及用于解码视频信号的方法及其装置，该方法包括步骤∶从不同于包含当前块的图片的第一参考图片获得至少一个第一参考采样；产生第一参考采样，通过将滤波器应用于获得的第一参考采样对第一参考采样进行滤波；从获得的第一参考采样和滤波的第一参考采样之间的差值产生参考采样阵列；从视频信号获得第一视差矢量信息；基于第一视差矢量信息从产生的参考采样阵列获得第一预测采样；以及基于第一预测采样恢复当前块。

Description

处理视频信号的方法及其装置
技术领域
本发明涉及视频处理，更具体地说，涉及使用频分编译方案处理视频信号的方法和装置。
背景技术
按照数字视频处理技术的快速发展，使用各种媒体，诸如高清晰度数字广播、数字多媒体广播、因特网广播等等的数字多媒体服务已经被启用。随着高清晰度数字广播变得普通，已经开发了各种服务应用，并且需要用于高质量和高分辨率的视频图像的高速视频处理技术。为此，用于编译视频信号的标准，诸如H.265/HEVC(高效视频编译)和H.264/AVC(高级视频编译)已经积极地讨论。
发明内容
技术任务
本发明的一个目的是提供一种有效地处理视频信号的方法及其装置。
本发明的另一个目的是提供一种使用频分方案有效地处理视频信号的方法及其装置。
本发明的另一个目的是提供一种以帧间条纹预测(ISP)适用于的编译方案有效地处理视频信号的方法及其装置。
从本发明可获得的技术任务不受以上提及的技术任务的限制。并且，其他未提及的技术任务可以由本发明所属于的技术领域的普通技术人员从以下的描述中清楚地理解。
技术方案
在本发明的一个方面中，此处提供一种解码设备解码视频信号的方法，该方法包括∶从不同于包含当前块的图片的第一参考图片获得至少一个第一参考采样；通过将滤波器应用于获得的第一参考采样产生滤波的第一参考采样；基于获得的第一参考采样和滤波的第一参考采样之间的差值产生参考采样阵列；从视频信号获得第一视差矢量信息；基于第一视差矢量信息从产生的参考采样阵列获得第一预测采样；以及基于第一预测采样重建当前块。
在本发明的另一个方面中，此处提供一种被配置为解码视频信号的解码设备，该解码设备包括∶存储器。该存储器被配置为存储至少一个图片；处理器，该处理器可操作地与存储器相连接，并且被配置为∶从不同于包含当前块的图片的第一参考图片获得至少一个第一参考采样，通过将滤波器应用于获得的第一参考采样产生滤波的第一参考采样，基于获得的第一参考采样和滤波的第一参考采样之间的差值产生参考采样阵列，从视频信号获得第一视差矢量信息，基于第一视差矢量信息从产生的参考采样阵列获得第一预测采样，以及基于第一预测采样重建当前块。
优选地，该方法进一步包括∶从视频信号获得帧间条纹预测(ISP)模式信息，其中ISP模式信息指示用于当前块的扫描顺序，并且其中重建当前块包括∶基于第一预测采样重建用于当前块的一维采样阵列，以及按照由ISP模式信息指示的扫描顺序将重建的一维采样阵列转换为二维采样阵列。
优选地，该方法进一步包括∶从视频信号获得分段编号信息，其中分段编号信息指示包含在用于当前块的一维采样阵列中的分段的编号；如果分段的数目大于1，则从视频信号获得第二视差矢量信息，并且基于第二视差矢量信息从参考采样阵列获得第二预测采样，其中当前块被基于第一预测采样和第二预测采样重建。
优选地，获得至少一个第一参考采样包括∶从视频信号获得第一运动信息，从获得的第一运动信息获得第一运动矢量和第一参考图片索引，其中第一参考图片索引指示参考图片列表内的第一参考图片，以及基于第一运动矢量从第一参考图片获得至少一个第一参考采样。
优选地，产生参考采样阵列包括∶按照第一扫描顺序将差值转换为第一一维采样阵列，获得在一维采样阵列内的两个邻近采样之间的差值的绝对值的总和，按照第二扫描顺序将差值转换为第二一维采样阵列，获得在第二一维采样阵列内的两个邻近采样之间的差值的绝对值的总和，将第一一维采样阵列的绝对值的总和与第二一维采样阵列的绝对值的总和相比较，一级按照比较的结果将具有较小绝对值的总和的一维采样阵列确定为参考采样阵列。
优选地，视差矢量信息指示用于当前块中的特定的分段的视差矢量，并且视差矢量示出在参考采样阵列中特定的分段的开始采样位置和第一预测采样的开始采样位置之间的差值。
优选地，该方法进一步包括∶从视频信号获得第一变换系数信息；以及通过基于获得的第一变换系数信息执行反变换来产生第一残差数据，其中重建当前块包括使用第一预测采样和第一残差数据获得当前块的第一重建的采样。
优选地，该方法进一步包括∶从第二参考图片获得至少一个第二参考采样；通过将滤波器应用于获得的第二参考采样产生第二预测采样；从视频信号获得第二变换系数信息；通过基于获得的第二变换系数信息执行反变换来产生第二残差数据，以及基于第二预测采样和第二残差数据获得当前块的第二重建的采样。
优选地，重建当前块包括通过增加当前块的第一重建的采样和第二重建的采样来重建当前块。
优选地，获得至少一个第二参考采样包括：从视频信号获得第二运动信息，从获得的第二运动信息获得第二运动矢量和第二参考图片索引，其中第二参考图片索引指示在参考图片列表内的第二参考图片，以及基于第二运动矢量从第二参考图片获得至少一个第二参考采样。
优选地，第一重建的采样对应于当前块的高频分量，并且第二重建的采样对应于当前块的低频分量。
优选地，滤波器包括高斯滤波器。
优选地，滤波的第一参考采样按照以下的等式产生：
L(x，y)＝1/16*O(x-1，y-1)+1/8*(x，y-1)+1/16*O(x+1，y-1)
+1/8*O(x-1，y)+1/4*O(x，y)+1/8*O(x+1，y)
+1/16*O(x-1，y+1)+1/8*O(x，y+1)+1/16*O(x+1，y+1)
其中x指示采样的水平坐标，y指示采样的垂直坐标，O(x，y)指示在至少一个第一参考采样之中对应于(x，y)位置的采样，并且L(x，y)指示在滤波的第一参考采样之中对应于(x，y)位置的采样。
优选地，该差值按照以下的等式产生：
H(x，y)＝O(x，y)-L(x，y)
其中H(x，y)指示在差值之中对应于(x，y)位置的采样。
有益效果
按照本发明，其能够有效地处理视频信号。
按照本发明，其能够使用频分方案有效地处理视频信号。
按照本发明，其能够以帧间条纹预测(ISP)适用于的编译方案有效地处理视频信号。
从本发明可获得的效果可以不受以上提及的效果的限制。并且，其他未提及的效果可以由本发明所属于的技术领域的普通技术人员从以下的描述中清楚地理解。
附图说明
该附图被包括以提供对本发明进一步的理解，其图示本发明的实施例，并且与该说明书一起用作解释本发明的原理。
图1图示按照现有技术的编码过程。
图2图示按照现有技术的解码过程。
图3图示使用帧间条纹预测(ISP)的编码方法。
图4图示帧间条纹预测(ISP)的流程图。
图5图示能够被用于帧间条纹预测(ISP)的扫描模式。
图6图示按照特定的扫描模式产生的条纹和分段。
图7图示用于分段的视差矢量。
图8图示按照本发明的编码方法。
图9图示能够适用于本发明的滤波器。
图10图示被包括在按照本发明产生的比特流中的信息。
图11图示按照频分编译方案的解码方法的流程图。
图12图示本发明可以适用于的图像处理装置的方框图。
具体实施方式
在下文中描述的技术可以用于被配置为编码和/或解码视频信号的图像信号处理设备。通常地，视频信号对应于能够由眼睛识别的图像信号或者图片的序列。但是，在本说明书中，视频信号可以用于指示表示编码的图片的位序列，或者对应于位序列的比特流。图片可以指示采样阵列，并且可以被称为帧、图像等等。更具体地说，图片可以指示采样的二维阵列或者二维的采样阵列。采样可以指示用于构成图片的最小单位，并且可以被称为像素、图片元素、像元等等。采样可以包括亮度(luma)分量和/或色度(色度、色差)分量。在本说明书中，编译可用于指示编码，或者可以通常地指示编码/解码。
图片可以包括至少一个或多个条带，并且片段可以包括至少一个或多个块。当比特流由于数据丢失等等被破坏的时候，条带可以被配置为包括为了诸如并行处理、解码的再同步目的的整数的块。每个条带可以被独立地编码。块可以包括至少一个或多个采样，并且可以指示采样的阵列。块可以具有等于或者小于图片大小的大小。块可以被称为单元。当前编码的图片可以称为当前图片，并且当前编码的模块可以称为当前块。可以存在构成图片的各种块单元。例如，在ITU-T H.265标准(或者高效视频编译(HEVC)标准)的情况下，可以存在诸如编译树块(CTB)(或者编译树单元(CTU))、编译块(CB)(或者编译单元(CU))、预测块(PB)(或者预测单元(PU))、变换块(TB)(或者变换单元(TU))等等这样的块单元。
编译树块对应于用于构成图片的最基本单元，并且可以被划分为4树形式的编译块以按照图片的纹理提升编译效率。编译块可以对应于用于执行编译的基本单元，并且帧内编译或者帧间编译可以以编译块为单位执行。帧内编译将使用帧内预测执行编译，并且帧内预测将使用包括在相同的图片或者条带中的采样执行预测。帧间编译将使用帧间预测执行编译，并且帧间预测将使用包括在不同于当前图片的图片中的采样执行预测。使用帧内编译来编译的块可以称为帧内块，并且使用帧间编译来编译的块可以被称为帧间块。并且，使用帧内编译的编译模式可以被称为帧内模式，并且使用帧间编译的编译模式可以被称为帧间模式。
预测块可以对应于用于执行预测的基本单元。相同的预测可以适用于预测块。例如，在帧间预测的情况下，相同的运动矢量可以适用于一个预测块。变换块可以对应于用于执行变换的基本单元。变换可以对应于将像素域(或者空间域或者时间域)的采样变换为频率域(或者变换系数域)的变换系数的操作，或者反之亦然。尤其是，将频率域(或者变换系数域)的变换系数变换为像素域(或者空间域或者时间域)的采样的操作可以被称为反变换。例如，该变换可以包括离散余弦变换(DCT)、离散正弦变换(DST)、傅里叶变换等等。
图1图示按照现有技术的编码过程。
编码设备100接收原始图像102的输入，对原始图像执行编码，并且输出比特流114。原始图像102可以对应于图片。但是，在当前的示例中，假设原始图像102对应于用于构成图片的块。例如，原始图像102可以对应于编译块。编码设备100可以确定是否原始图像102被以帧内模式或者帧间模式编码。如果原始图像102被包括在帧内图片或者条带中，原始图像102可以被仅仅以帧内模式编码。但是，如果原始图像102被包括在帧间图片或者条带中，例如，其能够在帧内编译之后考虑到RD(速率失真)成本确定有效编译方法，并且对原始图像102执行帧间编译。
在对原始图像102执行帧内编译的情况下，编码设备100可以使用包括原始图像102(104)的当前图片的重建的采样确定示出RD优化的帧内预测模式。例如，帧内预测模式可以由从直流(DC)预测模式、平面预测模式和角度预测模式组成的组中选择出来的一个确定。DC预测模式对应于使用在当前图片的重建的采样之中的参考采样的平均值执行预测的模式，平面预测模式对应于使用参考采样的双线性内插执行预测的模式，角度预测模式对应于使用相对于原始图像102位于特定的方向的参考采样执行预测的模式。编码设备100可以使用确定的帧内预测模式输出预测的采样或者预测值(或者预测器)107。
当对原始图像102执行帧间编译的时候，编码设备100使用被包括在(解码的)图片缓存器122中的重建的图片执行运动估计(ME)，并且然后可以能够获得运动信息(106)。例如，运动信息可以包括运动矢量、参考图片索引等等。运动矢量可以对应于二维矢量，其在当前图片中提供从原始图像102的坐标到在参考图片中的坐标的偏移。参考图片索引可以对应于在存储在(解码的)图片缓存器122中的重建的图片之中用于帧间预测的参考图片的列表(或者参考图片列表)的索引。参考图片索引指示相应的参考图片。编码设备100可以使用获得的运动信息输出预测的采样或者预测的值107。
随后，编码设备100可以从在原始图像102和预测的采样107之间的差值产生残差数据108。编码设备100可以对产生的残差数据108(110)执行变换。例如，离散余弦变换(DCT)、离散正弦变换(DST)，和/或子波变换可以适用于该变换。更具体地说，其可以使用具有4×4至32×32大小的基于整数的DCT，并且可以使用4×4、8×8、16×16和32×32变换。编码设备100执行变换110以获得变换系数信息。
编码设备100量化变换系数信息以产生量化的变换系数信息(112)。量化可以对应于使用量化参数(QP)度量缩放变换系数信息的等级的操作。因此，量化的变换系数信息可以被称为缩放的变换系数信息。量化的变换系数信息可以经由熵编译114作为比特流116被输出。例如，熵编译114可以基于固定长度编译(FLC)、可变长度编译(VLC)或者算术编译来执行。更具体地说，其可以应用基于算术编译的上下文自适应的二进制算术编译(CABAC)、基于可变长度编译的Exp-Golomb编译和固定长度编译。
并且，编码设备100对量化的变换系数信息执行反量化118和反变换120以产生重建的采样121。虽然在图1中没有描述，但在通过获得用于图片的重建的采样121获得重建的图片之后，可以对重建的图片执行环路滤波。对于环路滤波，例如，其可以应用去块滤波、采样自适应偏移(SAO)滤波。随后，重建的图片121被存储在图片缓存器122中，并且可以被用于编码下一个图片。
图2图示按照现有技术的解码过程。
解码设备200接收比特流202，并且可以执行熵解码204。熵解码204可以对应于在图1中先前提及的熵编译114的反操作。解码设备200可以经由熵解码204通过包括预测模式信息、帧内预测模式信息、运动信息等等获得解码所必需的数据和(量化的)变换系数信息。解码设备200可以通过对获得的变换系数信息执行反量化206和反变换208产生残差数据209。
经由熵解码204获得的预测模式信息可以指示是否当前块被以帧内模式或者帧间模式编码。如果预测模式信息指示帧内模式，则解码设备200可以基于经由熵解码204(210)获得的帧内预测模式，从当前图片的重建的采样获得预测采样(或者预测值)213。如果预测模式信息指示帧间模式，则解码设备200可以基于经由熵解码204(212)获得的运动信息，从存储在图片缓存器214中的参考图片获得预测采样(或者预测值)213。
解码设备200可以使用残差数据209和预测采样(或者预测值)获得用于当前块的重建的采样216。虽然在图2中没有描述，在通过获得用于图片的重建的采样216重建图片之后，可以对重建的图片执行环路滤波。随后，重建的图片216可以存储在图片缓存器中以解码下一个图片，或者可以被输出用于显示。
图3图示使用帧间条纹预测(ISP)的编码方法。使用ISP的编码方法被划分为FOR(第一阶残差)编译和SOR(第二阶残差)编译，并且顺序地执行FOR编译和SOR编译。原始图像302可以对应于一个图片。但是，在当前的示例中，假设原始图像302对应于构成图片的块。原始图像302可以包括至少一个或多个像素。原始图像302可以对应于作为非限制示例的编译块，并且可以包括至少一个或多个预测块。在以下的描述中，原始图像302可以被称为输入块。
参考图3，输入块302可以被输入给FOR编译单元310和SOR编译单元320。例如，FOR编译单元310可以按照参考图1先前提及的编码方法编码输入块302，以产生比特流314和重建的采样312。例如，比特流314可以对应于在图1中先前提及的比特流116，并且重建的采样312可以对应于在图1中先前提及的重建的采样121。在当前的说明书中，由FOR编译单元310产生的比特流314被称为FOR比特流。FOR比特流314可以被经由网络发送，或者存储在存储设备中。从FOR编译单元310产生的重建的采样312被输入给SOR编译单元320，并且可以用于SOR编译320。
在FOR编译单元310中，应用具有高的值的量化参数(QP)(例如，涉及与图1的112相关的描述)。量化参数可以对应于用于缩放经由变换获得的变换系数信息的大小等级(或者变换系数等级)的变量。例如，具有大约30至40的值的量化参数可以在FOR编译单元310中被使用。在这种情况下，如果应用具有高的值的量化参数，则在变换系数信息之中存在于高频区域中的变换系数信息可以主要被缩放为0的值。在这种情况下，在输入块302和来自FOR编译单元310的重建的采样312之间的差值示出在属于原始图像的对象的边界上的条纹图案。
SOR编译单元320接收输入块302和从FOR编译单元310产生的重建的采样312，并且从在两个信号之间的差值获得残差数据314。由于FOR编译单元310使用高的值的量化参数，所以残差数据314可以具有对应于在属于原始图像的对象之间的边界的条纹图案。获得的残差数据314被输入给ISP 322，并且ISP 322对残差数据314执行预测以获得残差数据314的预测值(或者预测采样)。ISP 322基于残差数据314和获得的预测值之间的差值输出残差数据323。关于ISP 322的操作，将参考图4至7详细描述。
SOR编译单元320对从ISP 322输出的残差数据323执行变换以获得变换系数信息，并且量化获得的变换系数信息以获得量化的变换系数信息。并且，SOR编译单元320按照预先确定的格式对用于SOR编译的各种信息和量化的变换系数信息执行熵编译以产生比特流328。在当前的说明书中，由SOR编译单元320产生的比特流328被称为SOR比特流。
由SOR编译单元320产生的量化的变换系数信息被输入给SOR解码单元330。SOR解码单元330对量化的变换系数信息执行反量化和反变换，并且使用在ISP 322上获得的运动信息(例如，视差矢量)对反向地变换的残差数据执行帧间条纹预测。SOR解码单元330将经由帧间条纹预测获得的预测采样增加给反向地变换的残差数据以获得由SOR编译单元320重建的重建的采样332。
按照FOR编译310的重建的采样312和按照SOR编译320的重建的采样332被求和以按照图3的编码方法产生重建的采样342。重建的采样342被存储在图片缓存器中，并且可以被用于对下一个图片执行FOR编译310。并且，由于按照SOR编译310的重建的采样332需要对下一个图片执行SOR编译320，所以重建的采样332还可以被存储在图片缓存器中。或者，按照FOR编译的重建的采样312和按照SOR编译的重建的采样332可以被存储在图片缓存器中。
图4图示帧间条纹预测(ISP)的流程图。在图4中示出的顺序仅仅只是一个示例。顺序可以改变。
在步骤S402中，当前块的扫描模式被确定。扫描模式指示用于相应的块的扫描顺序。更具体地说，扫描模式可以指示将块的采样切换为一维阵列(或者条纹)，或者将一维的采样阵列(或者条纹)切换为块的扫描顺序。在当前的说明书中，扫描模式可以被称为条纹扫描模式或者ISP模式。例如，当当前块的大小对应于8×8的时候，扫描模式可以指示12个扫描顺序中的一个。
在步骤S402中，当前块可以对应于从输入块(例如，302)和重建的信号(例如，312)之间的差值(其是通过对输入块执行FOR编译(例如，310)产生的)获得的残差数据314。特定的量度被设置为确定扫描模式，并且每个扫描模式被应用于设置的量度。因此，具有最佳值的扫描顺序可以被确定为扫描模式。例如，当当前块由按照特定的扫描顺序的一维采样阵列表示时，一维采样阵列的平滑度可以被用作量度。平滑度可以由邻近采样之间差值的总和表示。例如，如果被包括在一维采样阵列中的邻近采样之间的差值小，则由于采样值的变化小，所以平滑度高。如果被包括在一维采样阵列中的邻近采样之间的差值大，则由于采样值的变化大，所以平滑度低。
作为更加具体的示例，被包括在一维采样阵列中邻近采样之间差值的绝对值的总和可以被用作量度以测量平滑度。在这种情况下，被包括在一维采样阵列中邻近采样之间差值的绝对值可以在可用的扫描模式之中获得。绝对值的总和变为最小的扫描顺序可以被确定为扫描模式。例如，当当前块对应于8×8的时候，邻近采样之间差值的绝对值被对于所有12个扫描顺序获得，并且示出最小值的扫描顺序可以被确定为当前块的扫描模式。被包括在一维阵列中的邻近采样之间差值的绝对值的总和可以由等式1表示。
[等式1]
D(s，p)＝Vs(p+1)-Vs(p)
在等式1中，maxPix对应于被包括在相应的块中的像素的数目，p对应于用于块的像素的扫描顺序，或者一维采样阵列中采样的位置或索引，s对应于与扫描模式相对应的编号或者索引，mod对应于一组可用的扫描模式，||指示绝对值，argmin对应于函数，其在属于mod的s之中选择在{}中最小的结果值，m对应于确定的扫描模式。在等式1中，Vs(p)指示在按照扫描模式s排列的一维采样阵列中对应于位置p的采样，并且D(s，p)指示在按照扫描模式s排列的一维采样阵列中对应于位置p+1的采样和对应于位置p的采样之间的差值。P可以具有从0到(块的最大像素编号-1)范围的值。
在步骤S404中，其能够按照在步骤S402中确定的扫描模式，通过扫描当前块的像素获得一维采样阵列。为了清楚，通过按照特定扫描模式(或者扫描顺序)扫描块的采样产生的一维采样阵列可以被称为条纹，并且从当前块中获得的采样阵列(或者条纹)可以被称为当前条纹。条纹包括和与被包括在相应的块中的像素的数目相同的采样一样多的采样，并且每个采样在该条纹中具有对应于扫描顺序的索引。例如，当对特定块执行扫描的时候，索引0被分配给对应于起点的像素，并且(块的像素的数目-1)的索引可以分配给最后扫描的像素。作为更加具体的示例，被包括在用于8×8块的条纹中的像素可以具有从0到63范围的索引，并且被包括在用于4×4块的条纹中的像素可以具有从0到15范围的索引。
条纹可以被划分为至少一个或多个分段。在当前的说明书中，分段可以对应于一组采样，其包括被包含在条纹中的所有或者一部分采样。构成条纹的分段可以包括相同数目的采样，本发明可以不受其限制。每个分段可以被配置为包括不同数目的采样。并且，一个分段可以被配置为在包括该分段的条纹中包括连续采样，本发明可以不受其限制。一个分段可以被配置为在条纹中包括具有断续的索引的采样。在这种情况下，被包括在该分段中的采样可以被配置为具有特定的偏移。
例如，如果对应于8×8块的条纹被划分为四个分段，在该条纹中具有索引0至15的采样可以被包括在第一分段中，具有索引16至31的采样可以被包括在第二分段中，具有索引32至47的采样可以被包括在第三分段中，并且具有索引48至63的采样可以被包括在第四分段中(例如，参考图6(c))。
在步骤S406中，参考块的扫描模式被确定。参考块包括至少一个或多个参考采样，并且可以从不同于当前图片的参考图片中获得，或者可以从当前图片的重建的采样中获得。参考块可以基于运动信息(例如，参考图片索引、运动矢量)获得，或者可以从预先确定的位置获得。如果参考块基于运动信息获得，则运动信息可以通过对用于SOR编译的先前图片的重建的采样(例如，图3的332)执行运动估计来获得。或者，运动信息可以基于通过FOR编译(例如，310)确定的运动信息获得。如果参考块基于预先确定的位置获得，例如，参考块可以从在先前地编码的参考图片内对应于当前块的位置的并置块中获得。在步骤S406中，参考块可以从SOR编译产生的重建的采样(例如，图3的332)中获得。
为了确定参考块的扫描模式，其可以能够同等地或者类似地应用该方法，其被用于确定当前块的扫描模式。例如，当参考块由按照特定扫描顺序的一维采样阵列表示的时候，一维采样阵列的平滑度可以被用作量度。作为更加具体的示例，获得被包括在一维采样阵列中邻近采样之间的差值的绝对值，并且绝对值的总和变为最小值的扫描顺序可以被确定为扫描模式。
在步骤S408中，参考块的条纹按照在步骤S406中确定的扫描模式获得。为了清楚，从参考块中获得的采样阵列(或者条纹)或者参考采样阵列可以被称为参考条纹。
在该步骤S410，用于当前块的条纹的视差矢量被获得。为了获得该视差矢量，当前块的条纹被划分为至少一个或多个分段，并且视差矢量可以从划分的分段的每个中获得。例如，当当前块的条纹被划分为特定数目的分段的时候，其可以能够相对于当前的条纹获得和特定数目的分段一样多的视差矢量。被包括在当前块的条纹中分段的数目可以在编码器和解码器侧上被预先限定。或者，用于RD优化的分段的数目可以由编码器侧确定，然后分段的数目可以经由比特流通知给解码器侧。
为了获得当前块的条纹的特定的分段的视差矢量，获得被包括在特定的分段中的采样和来自参考块的条纹的参考采样之间的绝对差值的总和(SAD)，并且其可以能够确定SAD变为最小的参考采样。其能够基于确定的参考采样的位置和特定的分段的位置之间的差值确定视差矢量。例如，该视差矢量可以指示差值或者分段的开始采样位置和SAD变为最小值的采样的开始采样位置之间的位移量。
在步骤S412中，其能够获得用于每个分段的预测采样。在编码过程中，预测采样可以在步骤S410中从具有最小SAD的参考采样中获得。在解码过程中，预测采样可以使用该视差矢量从参考块的条纹中获得。每个分段的残差数据可以使用获得的预测采样获得，并且残差数据可以以经历变换和量化(例如，图3的324)以及熵编译(例如，图3的326)的方式被包括在比特流中(例如，图3的328)。在步骤S410中获得的视差矢量可以以经历熵编译(例如，图3的326)的方式被包括在比特流(例如，图3的328)中。或者，其可以能够通过级联每个分段的残差数据获得当前块的残差数据。其可以能够对当前块的残差数据执行变换、量化和熵编译。
图5图示能够被用于帧间条纹预测(ISP)的扫描模式。在图5的示例中，小的方块指示像素，并且粗的实线指示扫描顺序。虽然图5的示例图示用于8×8块的扫描模式的示例，虽然当前块具有除8×8以外的大小，但可以使用类似于在图5中示出的扫描模式的扫描模式。当当前块对应于8×8的时候，可能存在12个扫描模式，当当前块对应于4×4的时候，可能存在6个扫描模式，当当前块对应于16×16的时候，可能存在18个扫描模式，并且当当前块对应于32×32的时候，可能存在24个扫描模式。图5(a)、5(b)、5(c)、5(d)和5(e)分别地图示扫描模式0、扫描模式1、扫描模式2、扫描模式10和扫描模式11。其余的扫描模式4至9还可以以类似于在图5中图示的方式来确定。
参考图5(a)，在垂直方向上从当前块的V0(0)到最上面的像素顺序地执行扫描，然后在垂直方向上从V0(0)的右侧像素到最上面的像素顺序地执行扫描。通过这样做，其可以能够通过扫描至最右列来产生一维采样阵列。
参考图5(b)，在从当前块的V1(0)开始到最上面的像素的垂直方向上顺序地执行扫描。随后，从包括V1(0)的列的最下面的像素到紧接在V1(0)下面的像素执行扫描。随后，在垂直方向上从V1(0)的右侧像素到上层像素顺序地执行扫描。穿过粗体实线的其余的像素可以在箭头方向以同样的方式被顺序地扫描以产生一维采样阵列。
参考图5(c)，在从当前块的V2(0)开始到最上面的像素的垂直方向上顺序地执行扫描。随后，对在包括V2(0)的列中的V2(0)的第二较低的像素、在V2的第二较低的像素之上的像素、V2(0)的右侧像素执行扫描，然后对正好在V2(0)的右侧像素之上的像素执行扫描。穿过粗体实线的其余的像素可以在箭头方向以同样的方式被顺序地扫描以产生一维采样阵列。
参考图5(d)，在从当前块的V3(0)开始的对角右上方向顺序地执行扫描。一维采样阵列可以通过以位于左上的粗体实线的箭头和位于右下的粗体实线的箭头的顺序顺序地扫描穿过粗体实线的像素来产生。
参考图5(e)，在从当前块的V10(0)开始的垂直方向上向下执行扫描。随后，像素被以粗体实线沿着从V10(0)的左侧像素开始的箭头前进的顺序顺序地扫描。穿过粗体实线的其余的像素可以在箭头方向以同样的方式被顺序地扫描以产生一维采样阵列。
参考图5(f)，在从当前块的V11(0)开始的垂直方向上向下执行扫描。随后，像素被以粗体实线沿着从V11(0)的左侧像素开始的箭头前进的顺序顺序地扫描。穿过粗体实线的其余的像素可以在箭头方向以同样的方式被顺序地扫描以产生一维采样阵列。
图6图示按照特定的扫描模式产生的条纹和分段。在图6的示例中，虽然假设产生用于8×8块的条纹，但相同/类似的原理可以适用于不同大小的块。并且，在图6中，假设参考块的扫描模式由扫描模式0确定，并且当前块的扫描模式由扫描模式1确定。然而，虽然参考块的扫描模式和当前块的扫描模式由不同的扫描模式，而不是扫描模式0或者扫描模式1确定，但其可以产生相同/类似的条纹。例如，图6(a)的示例涉及图4的步骤S406和S408，并且图6(b)的示例涉及图4的步骤S402和S404。
参考图6(a)，如图6(a)的右侧所示，参考条纹可以通过以按照参考块的扫描模式的顺序扫描参考块的像素来产生。例如，如上参考图4的步骤S402所述，参考块的扫描模式可以基于一维阵列的平滑度来确定，并且参考条纹可以按照参考块的扫描模式来产生。由于在图6的示例中假设8×8块，其可以假设存在12个可用的扫描模式。因此，块被转换为用于12个扫描模式中的每个的一维采样阵列，结果值在下文中按照等式1获得，并且在12个结果值之中示出最小的值的扫描模式可以被确定为参考块的扫描模式。作为前面提到的计算结果，在图6A的示例中扫描模式0被确定为参考块的扫描模式，并且在图6B的示例中扫描模式1可以被确定为参考块的扫描模式。
参考图6(c)，在图6(b)中示出的当前的条纹可以被划分为四个分段。例如，对应于索引0至15的像素被分配给分段0，对应于索引16至31的像素分配给分段1，对应于索引32至47的像素分配给分段2，对应于索引48至63的像素可以分配给分段3。随后，其可以能够获得用于划分的分段中的每个的视差矢量。
图7图示用于分段的视差矢量。为了获得用于特定的分段的视差矢量，具有与特定的分段的长度相同长度的参考采样可在参考条纹中相互比较，以找出SAD(绝对差值的总和)变为最小的参考采样。例如，其可以获得在具有与特定的分段的长度相同长度的参考采样和在参考条纹中从对应于索引0的采样开始的特定的分段之间的SAD值，并且在向右方向逐个地移动像素部分以找出示出最小SAD值的参考采样的同时，顺序地获得SAD值。在图7的示例中，由于假设块大小对应于8×8，并且当前的条纹被划分为四个分段，其能够相对于分段0获得参考条纹0的0至15采样和SAD，和参考条纹1的1至16采样和SAD。其能够通过顺序地重复前面提到的过程获得参考条纹的48至63采样和SAD。因此，在图7的示例中，49个SAD值可以通过对分段0执行SAD计算49次来获得，并且其可以能够确定在49个SAD值之中示出最小的值的参考采样。
视差矢量可以由差值或者参考条纹内最小化SAD的参考采样的开始位置和相应的分段的开始位置之间的位移量表示。在图7的示例中，示出用于分段0的最小的SAD值的参考条纹的参考采样可以由采样3至18确定。在这种情况下，用于分段0的视差矢量可以由3(例如，DV0＝+3)表示。类似地，在图7的示例中，示出最小的SAD值的参考条纹的参考采样可以通过对分段3重复地执行与前面提到的过程相同/类似的过程由采样46至61确定。在这种情况下，用于分段3的视差矢量可以由-2(例如，DV0＝-2)表示。例如，先前参考图7提及的操作可以在图4的步骤S410中执行。
视差矢量和当前块的扫描模式可以经由熵编译存储在比特流(例如，SOR比特流328)中。由于其能够使用与由编码器使用的方案相同的方案由解码器获得参考块的扫描模式，所以参考块的扫描模式可以不必存储在比特流中。另一方面，由于解码器不具有有关当前块的任何信息，所以解码器不能知道由编码器使用的扫描模式。因此，当前块的扫描模式可以经由熵编译包括在比特流中。此外，可以包括指示是否存在用于每个分段的非零量化的变换系数信息的信息。为了清楚，指示是否存在非零量化的变换系数信息的信息可以被称为CBF(编码的块标志)。如果存在用于相应的分段的非零的变换系数信息，则具有1的值的CBF可以被存储在比特流中。如果不存在用于相应的分段的非零的变换系数信息，则具有0的值的CBF可以被存储在比特流中。
此外，分段划分方案可以在编码器侧和解码器侧上相同地预先定义。在这种情况下，有关分段划分方案的信息可以不必被包括在比特流(例如，SOR比特流328)中。但是，在支持可变分段划分方案的情况下，有关分段划分方案的信息同样也可以被包括在比特流中。例如，有关分段划分方案的信息可以包括有关当前的条纹被划分的分段的数目信息、有关被包括在每个分段中采样的数目信息等等中的至少一个。
在图3示出的编码方法的情况下，由于SOR编译320使用经由FOR编译310产生的重建的采样312来执行，应顺序地执行两个编码过程。因此，与仅执行对应于FOR编译的编码过程的传统编码方法(例如，参见图1)相比，发生处理延迟。此外，由于顺序地执行编码过程，其很难实现并行处理。
并且，在图3中先前提及的编码方法的情况下，由于包括FOR编译310和SOR编译320的两个层被配置，所以两个比特流(例如，SOR比特流328和FOR比特流322)可以从FOR编译和SOR编译产生。因此，必须具有编码/解码视频的两个比特流。在这种情况下，由于视频序列由两个比特流编码，所以被包括在比特流中的每个中的语法可能互相重叠，从而使编译效率恶化。
并且，在图3中先前提及的编码方法的情况下，在图片缓存器(或者解码的图片缓存器)中存储两个类型的重建的采样(例如，332和342或者312和332)以对下一个图片执行编译可能是必要的。因此，与传统方法(例如，参考图1)相比，用于存储重建的采样的存储空间增加。因此，存在需要大的存储空间的问题。
因此，本发明提出用于改善在图3中先前提及的编码方法的问题的方法。在按照本发明的编码方法中，原始图像和重建的图像被滤波，并且被划分为低频图像和高频图像，按照传统方法(例如，参考图1)的编码方法适用于低频图像，并且ISP适用于高频图像以执行编码。例如，适用于原始图像和重建的图像的滤波器对应于低通滤波器，并且产生作为输出的输入图像的低频分量。滤波器的系数和大小(或者内核大小)可以根据就输入给滤波器的图像的类型和大小不同地适用。按照本发明的编码/解码方法可以被称为频分编译方案。
图8图示按照本发明的编码方法。在图8的示例中，主要地解释使用帧间预测模式的编译方法。但是，按照本发明的编码/解码方法还可以同等地/类似地适用于使用帧内预测模式的编译方法。
按照在图8中图示的编码方法，其可以能够有选择地使用传统编码方法(例如，参考图1)和按照本发明的编码方法。例如，其可以能够通过计算RD(速率失真)成本从传统编码方法和按照本发明的编码方法之中选择示出较好结果的编码方法。
参考图8，其能够使用开关A和开关B来分别地选择用于传统编码方法(例如，参考图1)的数据路径和用于按照本发明的编码方法的数据路径。如果传统编码方法通过计算RD成本来选择，则开关A可以被切换到P1，并且开关B可以被切换到P4。如果选择传统编码方法，则在当前的图片中的当前块(org)被经由P1输入给加法器。并且，运动估计(ME)使用存储在图片缓存器(解码的图片缓存器)中的参考图片来执行(INTER块)，以获得运动信息和参考采样，并且获得的运动信息和参考采样可以按照被设置为INTER的开关的路径被输入给加法器。在当前块(org)和参考图片的参考采样之间的残差数据在加法器中获得，并且对按照传统编码方法获得的残差数据执行变换和量化(TQ)以产生变换系数信息(系数1)。经由P4对产生的变换系数信息(系数1)执行熵编译(EC)以在比特流中存储产生的变换系数信息。产生的变换系数信息(系数1)被经由反变换和反量化(IQIT)重建，并且当前块的重建的采样(重建1)被存储在图片缓存器中。
如果按照本发明的编码方法通过计算RD成本来选择，则开关A可以被切换到P2，并且开关B可以被切换到P3。在这种情况下，当前图片的当前块(org)被经由P2输入给滤波器(滤波器A)。滤波器A可以对应于低通滤波器，并且可以能够对输入的当前块进行滤波以产生用于当前块的低频分量的输入采样(低频输入)。随后，经由滤波器A输出的输入采样(低频输入)被输入给加法器，并且加法器可以基于当前块(org)的采样和用于当前块的低频分量的输入采样(低频输入)之间的差值产生对应于当前块的高频分量的输入采样(高频输入)。
其可以能够执行运动估计(ME)从而以帧间预测模式执行编译。为了执行运动预测，其可以对在图片缓存器(解码的图片缓存器)中存储的参考图片的参考采样进行滤波。存储在图片缓存器中的参考采样被输入给滤波器(滤波器B)，并且滤波器(滤波器B)对输入的参考采样进行滤波以产生对应于低频分量的参考采样(低频参考)。低频分量的产生的参考采样(低频参考)被输入给用于低频分量的运动估计单元(INTER LOW)。在用于低频分量的运动估计单元(INTER LOW)中，使用对应于当前块的低频分量的输入采样(低频输入)和低频分量的参考采样(低频参考)执行运动估计。作为执行运动估计的结果，其能够获得运动信息(例如，运动矢量、参考图片索引等等)和低频分量的预测采样(低频预测)。
对应于当前块的低频分量的输入采样(低频输入)和低频分量的预测采样(低频预测)被输入给加法器以产生对应于低频分量的残差数据(低频残差)。其可以能够通过对对应于低频分量的残差数据(低频残差)执行变换和量化(TQ)产生低频分量的变换系数信息(低频量化的系数)。产生的低频分量的变换系数信息(低频量化的系数)被经由反量化和反变换(IQIT)再次增加给低频分量的预测采样以产生低频分量的重建的采样(低频重建)。
并且，对应于低频分量的参考采样(低频参考)被与参考图片的参考采样一起输入给加法器。加法器基于对应于低频分量的参考采样(低频参考)和参考图片的参考采样之间的差值产生对应于高频分量的参考采样(高频参考)。产生的高频分量的参考采样(高频参考)被输入给用于高频分量的运动估计单元(INTER HIGH)，并且用于高频分量的运动估计单元(INTER HIGH)使用对应于当前块的高频分量的输入采样(高频输入)和高频分量的参考采样(高频参考)执行运动估计。作为执行运动估计的结果，其能够获得运动信息(例如，运动矢量、参考图片索引等等)和高频分量的预测采样(高频预测)。
或者，如果用于低频分量的运动估计和用于高频分量的运动估计被分别地执行，则由于其可能花费更多的处理时间，并且必须分别地发送运动信息，所以要经由比特流发送的信息可能增加。为了防止这些，其能够无需对高频分量执行运动估计，通过使用有关低频分量的运动信息，从高频分量的参考采样(高频参考)获得高频分量的预测采样(高频预测)。或者，其也能够通过仅对高频分量执行运动估计，使用有关高频分量的运动信息获得低频分量的预测采样(低频预测)。
对应于当前块的高频分量的输入采样(高频输入)和高频分量的预测采样(高频预测)被输入给帧间条纹预测单元(ISP)。帧间条纹预测单元(ISP)可以执行先前参考图4至7提及的操作。在这种情况下，例如，对应于当前块的高频分量的输入采样(高频输入)可以对应于在图4中示出的当前块，并且高频分量的预测采样(高频预测)可以对应于在图4中示出的参考块。
帧间条纹预测单元(ISP)执行帧间条纹预测以产生用于高频分量的残差数据(高频残差)的分段的视差矢量和对应于当前块的高频分量的输入采样(高频输入)。其能够通过对高频分量的残差数据(高频残差)执行变换和量化(TQ)产生高频分量的变换系数信息(高频量化的系数)。产生的高频分量的变换系数信息(高频量化的系数)被经由反量化和反变换(IQIT)再次增加给高频分量的预测采样(高频预测)以产生高频分量的重建的采样(高频重建)。
低频分量的重建的采样(低频重建)和高频分量的重建的采样(高频重建)可以被加在一起以产生重建的采样(重建2)。产生的重建的采样(重建2)可以被存储在图片缓存器(解码的图片缓存器)中以编码下一个图片。
此外，低频分量的变换系数信息(低频量化的系数)和高频分量的变换系数信息(高频量化的系数)可以在P3上互相聚合以形成单个变换系数信息(系数2)。对聚合的变换系数信息(系数2)执行熵编译以产生比特流。
如在先前的描述中提及的，与在图3中先前提及的编码方法相比，按照本发明，产生ISP适用于的视频信号的方法已经被改变。按照图3的编码方法，由于重建的信号经由FOR编译产生，并且ISP适用于的视频信号使用产生的重建信号来产生，所以必须具有将输入信号变换为频率域以及再次将频率域变换为像素域(或者空间域)的过程。因此，编码过程被以划分为多个层(例如，FOR编译和SOR编译)的方式顺序地执行。另一方面，按照本发明，由于ISP适用于的视频信号在像素域(或者空间域)中被经由滤波产生，所以该过程可以通过单个层来实现，并且可以由单个编码器/解码器配置。
按照本发明的编码方法，其能够通过对当前块执行滤波(例如，滤波器A)，没有处理延迟近似同时产生当前块的低频分量(例如，低频输入)和高频分量(例如，高频输入)。此外，用于当前块的低频分量的编译和用于高频分量(使用ISP)的编译可以被并行执行。
按照本发明的编码方法，输入图像可以被划分为高频分量和低频分量，并且预测、变换和量化可以按照每个频率域的特征执行。并且，按照本发明的编码方法，由于仅产生单个比特流，所以其能够防止编译效率由于语法复制而被恶化。
图9图示能够适用于本发明的滤波器。按照本发明，在像素域(或者空间域)中对视频信号执行滤波以将视频信号划分为对应于低频分量的采样和对应于高频分量的采样。作为用于频分的滤波器，其可以使用用于原始视频信号的滤波器(例如，滤波器A)和用于重建的视频信号的滤波器。
按照本发明，其可以使用低通滤波器作为用于频分的滤波器。例如，其可以使用高斯(Gaussian)滤波器。图9图示3×3高斯滤波器，本发明可以不受其限制。滤波器的系数和大小可以按照图像的类型和大小以各种方式变化。如果应用在图9中图示的滤波器，其可以能够按照等式2获得对应于输入采样的低频分量的采样。
[等式2]
L(x，y)＝1/16*O(x-1，y-1)+1/8*O(x，y-1)+1/16*O(x+1，y-1)
+1/8*O(x-1，y)+1/4*O(x，y)+1/8*O(x+1，y)
+1/16*O(x-1，y+1)+1/8*O(x，y+1)+1/16*O(x+1，y+1)
在等式2中，O(x，y)指示位于原始视频信号或者重建的视频信号的(x，y)位置上的采样，L(x，y)指示位于(x，y)位置上的低频分量的采样。按照本发明的频分滤波器将高斯滤波器应用于目标采样O(x，y)和与目标采样相邻的邻近采样，以产生原始视频信号或者重建的视频信号的低频分量采样(例如，低频输入或者图8的低频参考)。
原始视频信号或者重建的视频信号的高频分量采样(例如，高频输入或者图8的高频参考)可以基于原始视频信号或者重建的视频信号和低频分量采样L(x,y)之间的差值获得。例如，原始视频信号或者重建的视频信号的高频分量采样(例如，高频输入或者图8的高频参考)可以由等式3产生。在等式3中，H(x,y)指示位于(x,y)位置上的高频分量采样。
[等式3]
H(x，y)＝O(x，y)-L(x，y)
用于原始视频信号的滤波器(例如，滤波器A)可以以与用于重建的视频信号的滤波器(例如，滤波器B)相同或者不同的方式设置。如果滤波器被相同地设置，则每个滤波器的滤波系数和大小(或者内核大小)可以是相同的。如果滤波器被不同地配置，则每个滤波器的滤波系数和/或大小(或者内核大小)可以相互不同。此外，不同类型的低通滤波器可以按照每个视频信号的特征被用于用于原始视频信号的滤波器(例如，滤波器A)和用于重建的视频信号的滤波器(例如，滤波器B)。
图10图示被包括在按照本发明产生的比特流中的信息。被包括在比特流中的单独信息在本说明书中可以被称为语法(或者语法元素)。图10(a)图示当当前块(例如，编译块)按照传统编码方法(例如，参考图1)编码的时候产生的比特流的语法，图10(b)图示当当前块(例如，编译块)按照本发明的编码方法编码的时候产生的比特流的语法。在编码器侧的方面中，该信息中的每个可以按照预先确定的顺序经由熵编译存储在比特流中。在解码器侧的方面中，对应于每个语法的信息可以按照以上提及的顺序经由熵解码从比特流中获得。本发明不受在图10中图示的顺序限制，并且该语法顺序可以变化。
参考图10(a)，按照传统编码方法(例如，参考图1)产生的比特流可以包括预测模式信息1002、分割模式信息1004、预测信息1006、变换系数信息1008等等。预测模式信息1002指示是否当前块被以帧内预测模式或者帧间预测模式编码。例如，如果预测模式信息1002具有第一值(例如，0)，则其指示当前块被以帧间预测模式编码。如果预测模式信息1002具有第二值(例如，1)，则其可以指示当前块被以帧内预测模式编码。第一值和第二值可以互换。例如，预测模式信息1002可以被称为pred_mode_flag。
分割模式信息1004指示当前块(例如，编译块)的分割模式。分割模式信息1004可以按照由预测模式信息1002确定的预测模式指示各种分割模式。例如，分割模式信息1004可以称为part_mode。表1图示预测模式和按照分割模式信息1004的分割模式。
[表1]
在表1中，PART_2N×2N、PART_2N×N、PART_N×2N和PART_N×N对应于对称分割模式，并且PART_2N×nU、PART_2N×nD、PART_nL×2N和PART_nR×2N对应于不对称分割模式。
在表1中，假设当前块的大小对应于2N×2N。在这种情况下，PART_2N×2N指示分割的大小对应于2N×2N，并且当前块没有被分割。PART_N×N指示分割的大小对应于N×N，并且当前块被分割为具有一半高度和宽度(即，N×N)的四个分割。PART_2N×N指示分割的大小对应于2N×N，并且当前块被分割为分别地具有一半高度和相同的宽度(即，2N×N)的两个分割。PART_N×2N指示分割的大小对应于N×2N，并且当前块被分割为分别地具有相同的高度和一半宽度(即，N×2N)的两个分割。
PART_2N×nU表示当前块被分割为两个分割。在这种情况下，在两个分割之中的上层分割具有当前块相同的宽度和1/4高度(即，2N×(N/2))，并且在两个分割之中的下层分割具有当前块相同的宽度和3/4高度(即，2N×(3N/2))。PART_2N×nD指示当前块被分割为两个分割。在这种情况下，上层分割具有当前块相同的宽度和3/4高度(即，2N×(3N/2))，并且下层分割具有当前块相同的宽度和1/4高度(即，2N×(N/2))。PART_nR×2N指示当前块被分割为两个分割。在这种情况下，在两个个分割之中的左侧分割具有当前块的3/4宽度和相同的高度(即，(3N/2)×2N)，并且在两个分割之中的右侧分割具有当前块的1/4高度和相同的宽度(即，(N/2)×2N)。PART_nL×2N指示当前块被分割为两个分割。在这种情况下，在两个分割之中的左侧分割具有当前块的1/4宽度和相同的高度(即，(N/2)×2N)，并且在两个个分割之中的右侧分割具有当前块的3/4高度和相同的宽度(即，(3N/2)×2N)。
预测信息1006可以根据预测模式具有不同的语法。如果预测模式对应于帧内模式，则预测信息1006可以包括指示用于当前块的亮度(luma)采样的帧内预测模式的信息(例如，prev_intra_luma_pred_flag、mpm_idx、rem_intra_luma_pred_mode)，和指示用于当前块的色度(或者色度或者色差)采样的帧内预测模式的信息(例如，intra_chroma_pred_mode)。
如果预测模式对应于帧间模式，则预测信息1006可以包括从由以下的信息组成的组中选择出来的至少一个：指示用于当前块的每个分割的正向(例如，列表0)运动矢量候选的索引的信息(例如，mvp_l0_flag)，指示反向(例如，列表1)运动矢量候选的索引的信息(例如，mvp_l1_flag)，指示是否用于当前块的分割的帧间预测参数从邻近分割导出的信息(例如，merge_flag)，指示在合并候选列表之中合并候选的索引的信息(例如，merge_idx)，指示在正向(例如，列表0)预测、反向预测和双向预测之中要被用于相应的分割的预测的信息(例如，inter_pred_idc)，指示用于相应的分割的列表0参考图片索引的信息(例如，ref_idx_l0)，和指示用于相应的分割的列表1参考图片索引的信息(例如，ref_idx_l1)。
变换系数信息1008可以包括指示量化的变换系数信息的语法。
参考图10(b)，按照本发明的比特流可以不仅包括按照传统编码方法的语法，而且可以包括额外的语法。特别地，按照本发明的比特流可以包括从由频分标志信息1010、分段编号信息1012、ISP模式信息1014、ISP视差矢量信息1016、第一变换系数信息1018和第二变换系数信息1020组成的组中选择出来的至少一个。
频分标志信息1010指示是否应用按照本发明的频分编译方案。如果频分标志信息1010具有第一值(例如，1)，则其指示应用按照本发明的频分编译方案。比特流可以包括用于支持按照本发明的频分编译方案的语法。如果频分标志信息1010具有第二值(例如，0)，则其指示不应用按照本发明的频分编译方案，并且比特流可以包括按照传统方法的变换系数信息1008。第一值和第二值可以互换。例如，频分标志信息1010可以被称为freq_div_flag。
如果频分标志信息1010具有第一值(例如，1)，则比特流可以包括分段编号信息1012、ISP模式信息1014、ISP视差矢量信息1016、第一变换系数信息1018和第二变换系数信息1020。
分段编号信息1012指示被包括在当前块的条纹中分段的数目。例如，分段编号信息1012可以具有(被包括在当前块的条纹中分段的数目-1)的值。在这种情况下，如果当前块的条纹被划分为四个分段，分段编号信息1012可以具有3的值。对应于由分段编号信息1012指示的编号的分段可以存在于当前块的条纹中。对于每个分段，可能存在诸如ISP视差矢量信息1016、第一变换系数信息1018、第二变换系数信息1020等等这样的语法。例如，如果分段编号信息1012具有(N-1)的值，则由于当前块的条纹被划分为N个分段，诸如ISP视差矢量信息1016、第一变换系数信息1018、第二变换系数信息1020等等的语法可以对于N个分段中的每个存在。或者，ISP视差矢量信息1016可以对于每个分段存在，并且第一变换系数信息1018和第二变换系数信息1020可以对于所有N个分段存在。并且，如果分段具有可变长度，则分段编号信息1012可以进一步包括指示每个分段长度的信息。
ISP模式信息1014指示用于当前块的ISP模式。ISP模式指示用于当前块的扫描顺序。更具体地说，ISP模式指示用于将块的采样转换为一维采样阵列(或者条纹)，或者将一维采样阵列(或者条纹)转换为块(例如，参考图5)的扫描顺序。在当前的说明书中，ISP模式可以被称为扫描模式或者条纹扫描模式。各种ISP模式可以根据当前块的大小存在，并且每个ISP模式可以被配置为具有唯一值。例如，ISP模式信息1014可以被称为ISP_mode或者interframe_stripe_prediction_mode。
由于ISP模式可以根据当前块的大小具有高的值，所以其可以预测当前块的ISP模式以提升编译效率。例如，当前块的ISP模式可以使用参考块的ISP模式(例如，参考图4的步骤S406和图6(a))来预测。在这种情况下，参考块的ISP模式可以被用作当前块的预测ISP模式，并且ISP模式信息1014可以指示参考块的ISP模式和当前块的ISP模式之间的差值。因此，如果ISP模式信息1014是从比特流中获得的，并且参考块的ISP模式被用作预测ISP模式，则其能够获得被用于当前块的ISP模式。
如果有关低频分量的运动信息和有关高频分量的运动信息被经由比特流分别地发送，则参考块可以被使用有关高频分量的运动信息从参考图片中获得。或者，如果有关低频分量的运动信息，或者有关高频分量的运动信息被仅经由比特流发送，则参考块可以被使用单个运动信息从参考图片中获得。如果用于获得的参考块的ISP模式被确定(例如，参考图4的步骤S406和图6(a))，则其能够基于确定的ISP模式预测当前块的ISP模式。作为不同的示例，其能够使用包括当前块的运动矢量预测器(或者预测的运动矢量)的块的ISP模式预测当前块的ISP模式。作为进一步不同的示例，如果当前块的运动信息被从在当前图片中的邻近块，或者在时间上不同于当前图片的图片中的对应于当前块的块导出，则其能够使用块的ISP模式预测当前块的ISP模式，或者无需从比特流获得当前块的ISP模式信息1014，其可以使用该块的ISP模式作为当前块的ISP模式。
ISP视差矢量信息1016可以指示用于特定的分段的视差矢量。视差矢量可以指示分段的开始位置和参考采样阵列(或者条纹)(例如，参考图7)的预测采样的开始位置之间的差值或者位移量。解码设备可以从由参考块的条纹中的ISP视差矢量指示的位置获得相应的分段的预测采样。例如，ISP视差矢量信息1016可以被称为ISP_disparity或者interframe_stripe_prediction_disparity。
其可以对ISP变化矢量执行预测。在这种情况下，ISP视差矢量信息1016可以包括用于ISP视差矢量候选和ISP视差矢量差的索引。ISP视差矢量差可以指示当前块的预测ISP视差矢量和ISP视差矢量之间的差值。例如，解码设备可以构成与当前块相邻的邻近块的ISP视差矢量候选列表，并且从ISP视差矢量候选的列表中选择由ISP视差矢量候选的索引指示的ISP视差矢量候选作为预测ISP视差矢量。随后，解码设备可以使用(例如，求和)预测ISP视差矢量和ISP视差矢量之间的差值获得ISP视差矢量。做为选择，作为不同的示例，如果有关当前块的运动信息被从当前的图片中的邻近块，或者不同于当前图片的图片中对应于当前块的位置的块导出，则该块的ISP视差矢量可以被用作当前块的ISP视差矢量。
第一变换系数信息1018包括有关当前块的低频分量的量化的变换系数信息(例如，图8的低频量化的系数)，并且第二变换系数信息1020包括有关当前块的高频分量的量化的变换系数信息(例如，图8的高频量化的系数)。第一变换系数信息1018和第二变换系数信息1020的顺序可以互换。
图11图示按照频分编译方案的解码方法的流程图。
在步骤S1102中，解码设备可以从比特流中获得有关当前块的频分标志信息(例如，1010)。如果频分标志信息指示按照传统方法的解码过程，则解码设备可以进行到步骤S1118。如果频分标志信息指示按照本发明的解码过程，则解码设备可以进行到步骤S1104和S1110。
在步骤S1104中，解码设备从比特流获得分段编号信息(例如，1012)，并且对由分段编号信息指示的分段的每个执行步骤S1104至S1108。
在步骤S1104中，获得对应于当前块的高频分量的至少一个预测采样。在当前的说明书中，对应于当前块的高频分量的预测采样可以被称为第一预测采样。解码设备可以从比特流获得运动信息(例如，运动矢量、参考图片索引等等)以获得第一预测采样。或者，如果当前块的运动信息从当前的图片中与当前块相邻的邻近块，或者在时间上不同于当前图片的图片中对应于当前块的位置的块导出，该块的运动信息可以被用作当前块的运动信息。例如，解码设备可以基于由参考图片列表之中的参考图片索引指示的参考图片的运动矢量获得至少一个参考采样。获得的至少一个参考采样可以被称为第一参考采样，并且可以对应于参考块。第一参考采样可以从不同于包括当前块的当前图片的参考图片中获得。
为了从获得的第一参考采样获得高频分量，可以对第一参考采样执行滤波。滤波可以通过应用诸如高斯滤波器(参考图8和图9的滤波器B)这样的低通滤波器执行。解码设备可以获得第一参考采样和滤波的第一参考采样之间的差值，并且将该差值转换为参考采样阵列。在这种情况下，该差值对应于参考块，并且可以对应于二维采样阵列(例如，参考与图4的步骤S406相关的描述)。该参考采样阵列对应于参考条纹，并且可以对应于一维采样阵列(例如，参考图4的步骤S408)。解码设备可以确定用于该差值的ISP模式以将该差值转换为参考采样阵列(例如，参考图4的步骤S406)。解码设备可以按照确定的ISP模式将该差值转换为参考采样阵列。
随后，解码设备可以从比特流获得ISP视差矢量信息(例如，图10的1016)。解码设备基于获得的ISP视差矢量信息获得用于相应的分段的ISP视差矢量，并且可以能够使用获得的ISP视差矢量从参考采样阵列获得第一预测采样。例如，为了获得ISP视差矢量，其可以应用参考图10的ISP视差矢量信息1016的先前提及的各种各样的方法。并且，如果ISP视差矢量指示在参考采样阵列中的分数位置，则可以对被包括在参考采样阵列中的采样进行内插以获得预测采样。例如，可以对最靠近分数位置的两个采样进行线性内插来获得预测采样。作为不同的示例，可以以至少四个抽头的滤波器被应用于最靠近分数位置的至少四个采样的方式来获得预测采样。
如果存在用于当前块的至少两个分段，其能够获得用于该分段中的每个的ISP视差矢量信息，并且基于获得的ISP视差矢量信息获得预测采样。
在步骤S1106中，解码设备从比特流获得有关高频分量的变换系数信息(例如，图10的1020，图8的高频量化的系数)，并且基于获得的变换系数信息执行反变换(IT)以获得用于当前块的高频分量的残差数据(例如，图8的高频残差)。用于当前块的高频分量的残差数据可以被称为第一残差数据。更具体地说，第一残差数据可以通过对获得的变换系数信息执行反量化(IQ)和反变换(IT)来获得。
在步骤S1108中，其可以能够基于在步骤S1104中获得的预测采样和在步骤S1106中获得的残差数据，获得对应于当前块的高频分量的重建的采样。例如，用于每个分段的重建的采样可以通过对在步骤S1104中获得的预测采样和在步骤S1106中获得的残差数据求和来获得。用于每个分段的重建的采样被以预先确定的顺序级联以重建用于当前块的高频分量的采样阵列(或者条纹)。解码设备获得用于当前块的ISP模式信息(例如，图10的1014)，并且按照由ISP模式信息指示的扫描顺序(或者ISP模式)顺序地排列重建的采样阵列(或者条纹)以切换到二维阵列(或者块)。
解码设备进行到步骤S1110，并且然后可以能够重建当前块的低频分量。
在步骤S1110中，获得用于当前块的低频分量的预测采样。在当前的说明书中，用于当前块的低频分量的预测采样可以被称为第二预测采样。为了获得第二预测采样，其可以执行按照传统方法的预测方案。例如，如果当前块的预测模式信息(例如，图10的1002)指示帧内模式，则解码设备从比特流获得帧内预测模式信息，并且可以能够基于获得的帧内预测模式信息，从当前图片中重建的像素获得用于当前块的低频分量数据的参考采样。作为不同的示例，如果当前块的预测模式信息(例如，图10的1002)指示帧间模式，则解码设备获得运动信息，并且可以能够基于获得的运动信息，从在时间上不同于当前图片的参考图片中的重建的像素中获得用于当前块的低频分量数据的参考采样。
解码设备可以对获得的参考采样执行滤波以获得用于当前块的低频分量的预测采样。滤波可以使用诸如高斯滤波器(例如，参考图8和图9的滤波器B)这样的低通滤波器执行。用于获得第一预测采样的滤波器和用于获得第二预测采样的滤波器彼此相同，本发明可以不受其限制。彼此不同的滤波器可以同时被使用。
在步骤S1112中，解码设备从比特流获得有关当前块的低频分量的变换系数信息(例如，图10的1018，图8的低频量化的系数)，并且基于获得的变换系数信息执行反变换(IT)以获得用于当前块的低频分量的残差数据(例如，图8的低频残差)。更具体地说，用于当前块的低频分量的残差数据可以通过对从比特流中获得的变换系数信息执行反量化(IQ)和反变换(IT)来获得。
在步骤S1114中，其可以能够基于在步骤S1110中获得的预测采样和在步骤S1112中获得的残差数据获得用于当前块的低频分量的重建的采样。例如，用于当前块的低频分量的重建的采样可以通过对在步骤S1110中获得的预测采样和在步骤S1112中获得的残差数据求和来获得。
解码设备可以通过对用于在步骤S1108中获得的当前块的高频分量的重建的采样和用于在步骤S1114中获得的当前块的低频分量的重建的采样求和，重建当前块[S1116]。
如果频分标志信息指示按照在步骤S1102中的传统方法的解码过程(例如，参考图2)，则解码设备进行到步骤S1118，并且可以按照传统方法执行解码过程。步骤S1118可以对应于以传统解码方法经由帧内预测210或者帧间预测212获得预测采样的过程。步骤S1120可以对应于从比特流获得变换系数信息(例如，204)，以及通过对获得的变换系数信息执行反量化206和反变换208获得残差数据的过程。步骤S1122可以对应于基于预测值和残差数据重建216当前块的过程。
按照本发明的解码过程，由于接收到单个比特流，并且在像素域(或者空间域)中经由滤波产生参考图片的高频分量和低频分量，所以不需要用于参考图片的低频分量和高频分量的单独的存储空间。此外，由于参考图片的高频分量和低频分量在像素域(或者空间域)中经由滤波产生，所以处理延迟是很低的，并且并行处理的实现是可用的。
图12图示本发明可以适用于视频处理装置的方框图。视频处理装置可以包括视频信号的编码装置和/或解码装置。例如，本发明可以适用于的视频处理装置可以包括移动终端，诸如智能电话，移动设备，诸如膝上电脑，消费电子设备，诸如数字TV、数字视频播放器等等。
存储器12可以存储由处理器11处理和控制的程序，并且可以存储编码的比特流、重建的图像、控制信息等等。此外，存储器12可以用作各种视频信号的缓存器。存储器12可以作为存储设备，诸如ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存、SRAM(静态RAM)、HDD(硬盘驱动器)、SSD(固态驱动器)等等来实现。
处理器11控制视频处理装置中的每个模块的操作。处理器11可以执行按照本发明的各种控制功能以执行编码/解码。处理器11可以被称为控制器、微控制器、微处理器、微型计算机等等。处理器11可以作为硬件或者固件、软件或者其组合来实现。当本发明使用硬件实现的时候，处理器11可以包括ASIC(专用集成电路)、DSP(数字信号处理器)、DSPD(数字信号处理设备)、PLD(可编程序逻辑器件)、FPGA(现场可编程门阵列)等等。同时，当本发明使用固件或者软件实现的时候，固件或者软件可以包括执行按照本发明的功能或者操作的模块、过程或者功能。配置为执行本发明的固件或者软件可以在处理器11中实现，或者可以存储在存储器12中，并且由处理器11执行。
此外，装置10可以选择性地包括网络接口模块(NIM)13。网络接口模块13可操作地与处理器11相连接，并且处理器11可以控制网络接口模块13以经由无线/有线网发送或者接收携带信息、数据、信号和/或消息的无线/有线信号。例如，网络接口模块13可以支持各种通信标准，诸如IEEE 802系列、3GPP LTE(-A)、Wi-Fi、ATSC(高级电视***委员会)、DVB(数字视频广播)等等，并且可以按照相应的通信标准发送和接收视频信号，诸如编码的比特流和/或控制信息。根据需要，网络接口模块13可以不必被包括。
此外，装置10可以选择性地包括输入/输出接口14。输入/输出接口14可操作地与处理器11相连接，并且处理器11可以控制输入/输出接口14以输入或者输出控制信号和/或数据信号。例如，输入/输出接口14可以支持规范，诸如USB(通用串行总线)、蓝牙、NFC(近场通信)、串行/并行接口、DVI(数字视觉接口)、HDMI(高分辨率多媒体接口)，以便与输入设备，诸如键盘、鼠标、触摸板、照相机以及输出设备，诸如显示器连接。
如上所述的本发明的实施例是本发明的元素和特征的组合。除非另作说明，该元素或者特征可以考虑是选择性的。每个元素或者特征可以无需与其它的元素或者特征结合来实践。此外，本发明的实施例可以通过合并元素和/或特征的一部分来构成。在本发明的实施例中描述的操作顺序可以被重新排序。任何一个实施例的某些结构可以被包括在另一个实施例中，并且可以以另一个实施例的相应的结构替换。对本领域技术人员来说显而易见，在所附的权利要求书中没有明确地相互引用的权利要求可以以作为本发明的实施例的组合呈现，或者通过在本申请提交之后的后续的修改作为新的权利要求被包括。
本发明的实施例可以通过各种手段，例如，硬件、固件、软件或者其组合实现。在硬件实现中，本发明的实施例可以通过一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程序逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等等来实现。
在固件或者软件实现中，本发明的实施例可以以模块、过程、功能等等的形式来实现。该软件代码可以被存储在存储单元中，并且由处理器执行。该存储单元位于处理器的内部或者外面，并且可以经由各种已知的装置向处理器发送数据以及从处理器接收数据。
对于那些本领域技术人员来说显而易见，不脱离本发明的精神或者范围，可以在本发明中进行各种修改和变化。因此，本发明意欲覆盖本发明的修改和变化，只要它们落入所附权利要求及其等同物的范围内。
工业实用性
本发明可以适用于视频处理装置。

Claims (15)

1.一种通过解码设备解码视频信号的方法，所述方法包括∶
基于第一运动矢量从不同于包含当前块的图片的第一参考图片获得至少一个第一参考采样；
通过将滤波器应用于获得的第一参考采样产生滤波的第一参考采样；
基于所述获得的第一参考采样和所述滤波的第一参考采样之间的差值产生参考采样阵列；
从所述视频信号获得第一视差矢量信息；
基于所述第一视差矢量信息从产生的参考采样阵列获得第一预测采样；以及
基于所述第一预测采样重建所述当前块。
2.根据权利要求1所述的方法，进一步包括∶
从所述视频信号获得帧间条纹预测ISP模式信息，其中所述ISP模式信息指示用于所述当前块的扫描顺序，并且
其中重建所述当前块包括∶
基于所述第一预测采样重建用于所述当前块的一维采样阵列，以及
按照由所述ISP模式信息指示的扫描顺序将重建的一维采样阵列转换为二维采样阵列。
3.根据权利要求1所述的方法，进一步包括∶
从所述视频信号获得分段编号信息，其中所述分段编号信息指示包含在用于所述当前块的一维采样阵列中的分段的数目；
如果所述分段的数目大于1，则从所述视频信号获得第二视差矢量信息，并且基于所述第二视差矢量信息从所述参考采样阵列获得第二预测采样，
其中所述当前块被基于所述第一预测采样和所述第二预测采样重建。
4.根据权利要求1所述的方法，其中获得所述至少一个第一参考采样包括∶
从所述视频信号获得第一运动信息，以及
从获得的第一运动信息获得所述第一运动矢量和第一参考图片索引，其中所述第一参考图片索引指示参考图片列表内的所述第一参考图片。
5.根据权利要求1所述的方法，其中产生所述参考采样阵列包括∶
按照第一扫描顺序将所述差值转换为第一一维采样阵列，
获得所述第一一维采样阵列内的两个邻近采样之间的差值的绝对值的总和，
按照第二扫描顺序将所述差值转换为第二一维采样阵列，
获得所述第二一维采样阵列内的两个邻近采样之间的差值的绝对值的总和，
将所述第一一维采样阵列的绝对值的总和与所述第二一维采样阵列的绝对值的总和相比较，以及
按照比较的结果将具有较小绝对值的总和的一维采样阵列确定为所述参考采样阵列。
6.根据权利要求1所述的方法，其中所述视差矢量信息指示用于所述当前块中特定分段的视差矢量，并且
其中所述视差矢量示出在所述参考采样阵列中特定分段的开始采样位置和所述第一预测采样的开始采样位置之间的差值。
7.根据权利要求1所述的方法，进一步包括∶
从所述视频信号获得第一变换系数信息；以及
通过基于获得的第一变换系数信息执行反变换来产生第一残差数据，
其中使用所述第一预测采样和所述第一残差数据重建所述当前块的第一采样。
8.根据权利要求7所述的方法，进一步包括∶
基于第二运动矢量从第二参考图片获得至少一个第二参考采样；
通过将所述滤波器应用于获得的第二参考采样产生第二预测采样；
从所述视频信号获得第二变换系数信息；以及
通过基于获得的第二变换系数信息执行反变换产生第二残差数据；
其中，基于所述第二预测采样和所述第二残差数据重建所述当前块的第二采样。
9.根据权利要求8所述的方法，其中重建所述当前块包括通过增加所述当前块的重建的第一采样和重建的第二采样重建所述当前块。
10.根据权利要求8所述的方法，其中获得所述至少一个第二参考采样包括∶
从所述视频信号获得第二运动信息，
从获得的第二运动信息获得所述第二运动矢量和第二参考图片索引，其中所述第二参考图片索引指示参考图片列表内的所述第二参考图片。
11.根据权利要求8所述的方法，其中所述第一重建的采样对应于所述当前块的高频分量，并且所述第二重建的采样对应于所述当前块的低频分量。
12.根据权利要求1所述的方法，其中所述滤波器包括高斯滤波器。
13.根据权利要求1所述的方法，其中所述滤波的第一参考采样按照以下的等式产生：
L(x，y)＝1/16*O(x-1，y-1)+1/8*O(x，y-1)+1/16*O(x+1，y-1)
+1/8*O(x-1，y)+1/4*O(x，y)+1/8*O(x+1，y)
+1/16*O(x-1，y+1)+1/8*O(x，y+1)+1/16*O(x+1，y+1)
其中x指示采样的水平坐标，y指示采样的垂直坐标，O(x，y)指示在所述至少一个第一参考采样之中对应于(x，y)位置的采样，并且L(x，y)指示在所述滤波的第一参考采样之中对应于(x，y)位置的采样。
14.根据权利要求13所述的方法，其中所述差值按照以下的等式产生：
H(x，y)＝O(x，y)-L(x，y)
其中，H(x，y)指示在所述差值之中对应于(x，y)位置的采样。
15.一种被配置为解码视频信号的解码设备，所述解码设备包括：
存储器，所述存储器被配置为存储至少一个图片；和
处理器，所述处理器被可操作地与所述存储器相连接，并且被配置为：
基于第一运动矢量从不同于包含当前块的图片的第一参考图片获得至少一个第一参考采样，
通过将滤波器应用于获得的第一参考采样产生滤波的第一参考采样，
基于在所述获得的第一参考采样和所述滤波的第一参考采样之间的差值产生参考采样阵列，
从所述视频信号获得第一视差矢量信息，
基于所述第一视差矢量信息从产生的参考采样阵列获得第一预测采样，以及
基于所述第一预测采样重建所述当前块。
CN201580036589.3A 2014-07-06 2015-07-06 处理视频信号的方法及其装置 Expired - Fee Related CN106664416B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462021195P 2014-07-06 2014-07-06
US62/021,195 2014-07-06
PCT/KR2015/006951 WO2016006894A1 (ko) 2014-07-06 2015-07-06 비디오 신호의 처리 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
CN106664416A CN106664416A (zh) 2017-05-10
CN106664416B true CN106664416B (zh) 2019-11-05

Family

ID=55064456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580036589.3A Expired - Fee Related CN106664416B (zh) 2014-07-06 2015-07-06 处理视频信号的方法及其装置

Country Status (4)

Country Link
US (1) US10567755B2 (zh)
KR (1) KR20170026334A (zh)
CN (1) CN106664416B (zh)
WO (1) WO2016006894A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
EP3554071A1 (en) * 2018-04-12 2019-10-16 InterDigital VC Holdings, Inc. Method and apparatus for intra prediction using a composite reference array
KR20210158432A (ko) * 2018-05-12 2021-12-30 주식회사 윌러스표준기술연구소 참조 샘플을 이용하는 비디오 신호 처리 방법 및 장치
CN113196780A (zh) 2019-01-12 2021-07-30 韦勒斯标准与技术协会公司 使用多变换核处理视频信号的方法和设备
US11272198B2 (en) * 2019-01-30 2022-03-08 Tencent America LLC Method and apparatus for improved sub-block partitioning intra sub-partitions coding mode
EP3900333A4 (en) * 2019-02-15 2022-05-25 Huawei Technologies Co., Ltd. ENCODERS, DECODERS AND RELATIVE METHODS FOR LIMITING THE SIZE OF SUBDIVISIONS FROM A TOOL WITH INTRADIVISION CODING MODE
KR20220112864A (ko) 2019-03-15 2022-08-11 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스
CN113785588B (zh) 2019-04-12 2023-11-24 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的色度编解码模式确定
CN114125441B (zh) * 2019-04-25 2022-09-20 北京达佳互联信息技术有限公司 对视频信号解码的双向光流方法、计算设备和存储介质
CN113812150B (zh) * 2019-05-01 2023-11-28 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
KR20220011127A (ko) * 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
MX2022000395A (es) * 2019-07-10 2022-04-06 Beijing Dajia Internet Information Tech Co Ltd Métodos y aparatos en refinamiento de predicción con flujo óptico.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965732A (zh) * 2008-01-07 2011-02-02 汤姆森特许公司 用于使用参数滤波进行视频编码和解码的方法和装置
CN102638683A (zh) * 2011-02-10 2012-08-15 索尼公司 图片编码设备、图片编码方法和程序
CN102986234A (zh) * 2010-07-16 2013-03-20 索尼公司 图像处理装置和图像处理方法
CN103139562A (zh) * 2011-11-30 2013-06-05 富士通株式会社 运动估计方法和装置
CN103716629A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 用于图像处理的方法、装置编码器和解码器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130056441A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
KR20140072938A (ko) * 2012-12-04 2014-06-16 광운대학교 산학협력단 화면 내 예측을 위한 적응적 참조 픽셀 필터링 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965732A (zh) * 2008-01-07 2011-02-02 汤姆森特许公司 用于使用参数滤波进行视频编码和解码的方法和装置
CN102986234A (zh) * 2010-07-16 2013-03-20 索尼公司 图像处理装置和图像处理方法
CN102638683A (zh) * 2011-02-10 2012-08-15 索尼公司 图片编码设备、图片编码方法和程序
CN103139562A (zh) * 2011-11-30 2013-06-05 富士通株式会社 运动估计方法和装置
CN103716629A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 用于图像处理的方法、装置编码器和解码器

Also Published As

Publication number Publication date
US10567755B2 (en) 2020-02-18
US20170201747A1 (en) 2017-07-13
WO2016006894A1 (ko) 2016-01-14
CN106664416A (zh) 2017-05-10
KR20170026334A (ko) 2017-03-08

Similar Documents

Publication Publication Date Title
CN106664416B (zh) 处理视频信号的方法及其装置
US11006145B2 (en) Intra prediction method and apparatus using the method
CN109417637A (zh) 用于编码/解码图像的方法和设备
CN103891283B (zh) 帧内预测的方法和设备
CN103535040B (zh) 选择运动矢量预测值的方法和使用其的设备
CN105282558B (zh) 帧内像素预测方法、编码方法、解码方法及其装置
CN107257476A (zh) 帧间预测方法及其装置
CN104285444B (zh) 视频编码方法、视频解码方法和使用其的设备
CN107431806A (zh) 用于处理视频信号的方法及其设备
TR201900358T4 (tr) İç tahmin aracılığıyla görüntü kodlama usulü ve kod çözme cihazı.
CN107534780A (zh) 视频中的帧间画面的编码和解码
KR102212631B1 (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
CN109891892A (zh) 依赖于图像编译***中的帧内预测的图像解码方法和装置
CN109889831A (zh) 基于cu尺寸的360度视频帧内模式选择
Tung et al. An efficient parallel execution for intra prediction in HEVC Video Encoder
KR102125969B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
WO2014189345A1 (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191105

Termination date: 20210706

CF01 Termination of patent right due to non-payment of annual fee