CN107211144A - 用于预测残差的增强型多重变换 - Google Patents

用于预测残差的增强型多重变换 Download PDF

Info

Publication number
CN107211144A
CN107211144A CN201680006207.7A CN201680006207A CN107211144A CN 107211144 A CN107211144 A CN 107211144A CN 201680006207 A CN201680006207 A CN 201680006207A CN 107211144 A CN107211144 A CN 107211144A
Authority
CN
China
Prior art keywords
conversion
subset
block
video
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680006207.7A
Other languages
English (en)
Other versions
CN107211144B (zh
Inventor
赵欣
李圣远
陈建乐
张莉
李想
陈颖
马尔塔·卡切维奇
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107211144A publication Critical patent/CN107211144A/zh
Application granted granted Critical
Publication of CN107211144B publication Critical patent/CN107211144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用以确定在视频编码及视频解码期间使用的变换的实例技术。视频编码器及视频解码器可选择各自识别一或多个候选变换的变换子集。所述视频编码器及所述视频解码器可从所述经选择的变换子集确定变换。

Description

用于预测残差的增强型多重变换
本申请案请求于2015年1月26日申请的美国临时申请案第62/107,996号及2015年3月23日申请的美国临时申请案第62/137,038号的权利，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及解码。
背景技术
数字视频能力可并入至广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式发射装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)、ITU-T H.265、高效率视频译码(HEVC)所定义的标准及这些标准的扩展中所描述的所述视频压缩技术。视频装置可通过实施这类视频压缩技术而更高效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频图块(即，视频帧或视频帧的一部分)分割成视频块。图片的经帧内译码(I)图块中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)图块中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。空间或时间预测产生待译码的块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本的块的运动向量来编码，且残差数据指示经译码块与预测性块之间的差。根据帧内译码模式及残差数据来编码经帧内译码块。为进行进一步压缩，可将残差数据从像素域变换至变换域，从而产生可接着进行量化的残差变换系数。
发明内容
本发明描述用于确定用以从变换块产生系数块而作为视频编码的一部分的变换及用以从系数块产生变换块作为视频解码的一部分的变换的技术。在一些实例中，视频编码器可确定多个变换子集。同样地，视频解码器可确定多个变换子集。视频编码器及视频解码器可使用不一定要求额外信令的隐式技术选择多个变换子集的变换子集并从所选择的变换子集确定变换。以这种方式，视频编码器及视频解码器可从具有需要信令的最小增长量的信息的相对大的变换集合进行选择。
在一个实例中，本发明描述解码视频数据的方法，所述方法包括：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集；针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定左变换；从所述经选择的第二变换子集确定右变换；基于左变换、右变换及当前系数块确定当前变换块；及基于当前变换块及预测性块重建视频块。
在一个实例中，本发明描述编码视频数据的方法，所述方法包括：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集；针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定左变换；从所述经选择的第二变换子集确定右变换；基于左变换、右变换及当前变换块确定当前系数块；及产生包含信息的视频位流，所述信息指示用于重建视频块的当前系数块的系数。
在一个实例中，本发明描述用于视频解码视频数据的装置，所述装置包括：视频数据存储器，其经配置以存储视频数据及变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；及包括集成电路的视频解码器，所述视频解码器经配置以从经存储的变换子集确定多个变换子集，针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集，针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集，从经选择的第一变换子集确定左变换，从经选择的第二变换子集确定右变换，基于左变换、右变换及当前系数块确定当前变换块，且基于当前变换块及预测性块重建视频块。
在一个实例中，本发明描述用于编码视频数据的装置，所述装置包括：视频数据存储器，其经配置以存储视频数据及变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；及视频编码器，其经配置以从经存储的变换子集确定多个变换子集，针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集，针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集，从经选择的第一变换子集确定左变换，从经选择的第二变换子集确定右变换，基于左变换、右变换及当前变换块确定当前系数，且产生包含信息的视频位流，所述信息指示用于重建视频块的当前系数块的系数。
在一个实例中，本发明描述用于解码视频数据的装置，所述装置包括：用于确定多个变换子集的装置，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；用于针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集的装置；用于针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集的装置；用于从经选择的第一变换子集确定左变换的装置；用于从经选择的第二变换子集确定右变换的装置；用于基于左变换、右变换及当前系数块确定当前变换块的装置；及用于基于当前变换块及预测性块重建视频块的装置。
在一个实例中，本发明描述存储指令的非暂时性计算机可读存储媒体，所述指令在执行时使得用于视频解码的装置的视频解码器进行以下操作：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集；针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集；从经选择的第一变换子集确定左变换；从经选择的第二变换子集确定右变换；基于左变换、右变换及当前系数块确定当前变换块；及基于当前变换块及预测性块重建视频块。
在一个实例中，本发明描述用于编码视频数据的装置，所述装置包括：用于确定多个变换子集的装置，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；用于针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集的装置；用于针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集的装置；用于从经选择的第一变换子集确定左变换的装置；用于从经选择的第二变换子集确定右变换的装置；用于基于左变换、右变换及当前变换块确定当前系数块的装置；及用于产生包含信息的视频位流的装置，所述信息指示用于重建视频块的当前系数块的系数。
在一个实例中，本发明描述存储指令的非暂时性计算机可读存储媒体，所述指令在执行使得用于视频编码的装置的视频编码器进行以下操作：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集；针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集；从经选择的第一变换子集确定左变换；从经选择的第二变换子集确定右变换；基于左变换、右变换及当前变换块确定当前系数块；及产生包含信息的视频位流，所述信息指示用于重建视频块的当前系数块的系数。
在以下附图及描述中阐述一或多个实例的细节。其它特征、目标及优势将从所述描述及图式以及权利要求书而显而易见。
附图说明
图1A至1F为说明变换类型的实例的表。
图2为说明可利用本发明中所描述的技术的实例视频译码***的框图。
图3为说明基于高效率视频译码(HEVC)中的残差四叉树的变换方案的实例的概念图。
图4为说明基于HEVC中的译码分组的系数扫描的实例的概念图。
图5为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图6为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图7为说明根据ITU-TH.263标准中定义的视频译码过程的重叠块运动补偿(OBMC)的实例的概念图。
图8A及8B为说明用于OBMC的块的部分的概念图。
图9为说明解码视频数据的实例方法的流程图。
图10为说明编码视频数据的实例方法的流程图。
具体实施方式
本发明涉及应用于帧内或帧间预测残差的多重变换。所述技术可用于先进视频编解码器的上下文中，例如高效率视频译码(HEVC)标准的扩展或下一代视频译码标准。
在视频译码中，视频编码器通过从预测性块的样本值减去当前块的样本值而产生残差块。视频编码器将残差块分成一或多个变换块并将变换(例如，例如离散余弦变换(DCT)的离散频率变换)应用至一或多个变换块以将一或多个变换块中的残差值从像素域变换至频域。在频域中，经变换块被称为包含一或多个变换系数值的系数块。
在解码期间，视频解码器执行互逆过程。举例来说，视频解码器将逆变换应用至系数块以将系数块变换至变换块(例如，从频域变换至像素域)。变换块为残差块的一个块，且视频解码器将残差块的残差值添加至预测性块的样本值以重建当前块。
仅为了易于说明，本发明将视频编码器及视频解码器描述为分别确定用于编码及解码过程的变换。然而，应理解，视频编码器将变换应用至变换块以产生系数块，且视频解码器将所述变换的相逆者应用至系数块以重建变换块。因此，视频解码器应用的变换为视频编码器应用的变换的相逆者。因此，在本发明中，当视频解码器经描述为确定变换及/或应用变换时，应理解，视频解码器正确定为通过视频编码器确定的变换的相逆者的变换及/或视频解码器正应用为通过视频编码器应用的变换的相逆者的变换。
本发明描述用于确定应用于用于编码变换系数的残差值的变换块或应用于用于解码残差值的变换系数的系数块的变换的实例技术。举例来说，视频编码器及视频解码器可各自构建多个变换子集，每一变换子集识别多个候选变换。候选变换指代不同类型的变换，例如，不同类型的DCT及不同类型的离散正弦变换(DST)。视频编码器及视频解码器选择变换子集并从所选择的变换子集确定变换，所述所选择的变换子集用于从用于视频编码的变换块确定系数块或从用于视频解码的系数块确定变换块。
以这种方式，视频编码器及视频解码器可确定从候选变换的较大集合使用哪些变换，允许对变换块的变化统计较好地适应而不过度使位流带宽负担。举例来说，一些技术约束多少变换为可用的，这可产生不良译码性能，因为变换块的统计使得可用变换中无一者良好执行。可存在其它较好变换，但由于约束条件，这些变换为不可用的。
在本发明中描述的技术中，因为更多变换为可用的，视频编码器及视频解码器可使用提供比将可能具有有限集合的变换更好的译码性能的变换。此外，如更详细地描述，使用于指示将使用哪个变换的信令开销保持低，以使得当具有更多可用变换及保持对带宽低的影响时可达成译码增益。
举例来说，视频解码器可基于隐式技术(例如，基于帧内预测模式、变换块的定位等)选择使用哪些变换子集，而不是依赖位流中的用信号发送的信息。视频解码器可随后可能基于在位流中用信号发送的用于所选择变换子集的相应者的一或多个变换子集索引或其它因素(包含但不限于非零系数的数目、非零系数的总和或系数块中的非零系数的位置)从所选择的变换子集确定使用哪些变换。
即使针对相应变换子集用信号发送变换子集索引，但信令开销可保持低，因为索引值仅跨越变换子集的范围而不是跨越所有可能变换。举例来说，假定存在至多16个可能的变换，且变换子集包含三个候选变换。在这种情况下，索引值将在0至2的范围内，而对所有变换的列表的索引将在0至15的范围内。用信号发送的较小值(例如0至2)可需要比用信号发送的较大值更少的位。
在描述构建及选择变换子集的方式之前，下文描述视频译码标准、一般DCT及DST、不同类型的DCT及DST以及一些现有DCT及DST技术。本发明随后描述现有技术中的一些问题，接着描述可克服所述问题的实例技术。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。另外，已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发新的视频译码标准(即，高效率视频译码(HEVC))。最终HEVC草案说明书及下文被称作HEVC WD可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip.获得。HEVC标准的最终草案为：ITU-T H.265，H系列：视听及多媒体***、移动视频的视听服务译码的基础结构、通用视听服务的先进视频译码、国际电信联盟，2014年10月，且可从http://www.itu.int/rec/T-REC-H.265-201410-I/en获得。
下文为离散正弦及余弦变换的描述。变换指示导出输入信号的替代表示的过程。举例来说，变换将值从像素域转化至频域(例如，在视频编码中)或从频域转化至像素域(例如，在视频解码中)。给定N点向量x＝[x0,x1,…,xN-1]T及给定向量的集合{Φ0,Φ1,…,ΦM-1}，可使用Φ0,Φ1,…,ΦM-1的线性组合近似地或精确地表示x，其公式如下，
其中可为x的近似值或等值，向量f＝[f0,f1,f2,..,fM-1]被称作变换系数向量且{Φ0,Φ1,…,ΦM-1}为变换基础向量。
在视频译码的情形中，变换系数为大致非相关的及稀疏的，即输入向量x的能量仅在几个变换系数上为紧密的，且残差大部分变换系数通常接近0。举例来说，当视频编码器将变换块变换至系数块时，系数块中的非零系数值倾向于被一起分组在系数块的左上角处，且大部分系数值为零。分组于靠近系数块的左上角的非零系数反映低频分量，而靠近系数块的右下角的系数值(倾向于零)反映高频分量。
给定特定的输入数据，就能量集中性而言优化变换为所谓的Karhunen-Loeve变换(KLT)，其使用输入数据的协方差矩阵的本征向量作为变换基础向量。因此，KLT实际上为数据相依的变换且不具有通用数学公式。然而，在某些假定情况下，例如，输入数据形成一阶静止马尔可夫(Markov)过程，其已经在对应KLT实际上为单变换的正弦家族的成员的文献中被证实，其描述于Jain,A.K的单变换的正弦家族(1979年，IEEE Trans，图案分析及机器智能，1,356，中)。单变换的正弦家族使用公式如下的变换基础向量指示变换：
Φm(k)＝A·eikθ+B·e-ikθ
其中e为近似等于2.71828的自然对数的底，A、B及θ通常为复数且取决于m的值。
包含离散傅里叶、余弦、正弦及KLT(用于一阶静止马尔可夫过程)的若干熟知变换为单变换的这个正弦家族的成员。根据S.A.Martucci的“对称卷积及离散正弦与余弦变换(Symmetric convolution and the discrete sine and cosine transforms)”(IEEETrans.Sig.Processing SP-42,1038-1051(1994))，整个离散余弦变换(DCT)及离散正弦变换(DST)家族包含基于不同类型(即，A、B及θ的不同值)的共计16个变换，且下文给定不同类型的DCT及DST的完整定义。
假定输入N点向量表示为x＝[x0,x1,…,xN-1]T，且其通过乘以矩阵而变换至被表示为y＝[y0,y1,…,yN-1]T的另一N点变换系数向量，其过程可根据以下变换公式中的一者进一步说明，其中包含性的k在0至N-1的范围中：
DCT类型-I(DCT-1)：
其中
DCT类型-II(DCT-2)：
其中
DCT类型-III(DCT-3)：
其中
DCT类型-IV(DCT-4)：
DCT类型-V(DCT-5)：
其中
DCT类型-VI(DCT-6)：
其中
DCT类型-VII(DCT-7)：
其中
DCT类型-VIII(DCT-8)：
DST类型-I(DST-1)：
DST类型-II(DST-2)：
其中
DST类型-III(DST-3)：
其中
DST类型-IV(DST-4)：
DST类型-V(DST-5)：
DST类型-VI(DST-6)：
DST类型-VII(DST-7)：
DST类型-VIII(DST-8)：
其中
上文提供不同DCT及DST类型的实例，总体而言存在16个变换类型。变换类型由变换基底函数的数学公式来指定。不应混淆变换类型与变换大小。变换类型指基底函数，而变换大小指变换的大小。举例来说，4点DST-VII及8点DST-VII具有相同变换类型，而与N的值(例如，4点或8点)无关。
在不损失一般性的情况下，所有以上变换类型可使用下文的通用公式来表示：
其中T为通过一个特定变换(例如，DCT类型-I至DCT类型-VIII，或DST类型-I至DST类型-VIII)的定义所指定的变换矩阵，且T的行向量(例如，[Ti,0,Ti,1,Ti,2,…,Ti,N-1])为第i个变换基础向量。应用于N点输入向量上的变换被称作N点变换。
也应注意，应用于1-D输入数据x上的以上变换公式可以下文的矩阵乘法形式来表示：
y＝T·x
其中T指示变换矩阵，x指示输入数据向量，且y指示输出变换系数向量。
举例来说，视频编码器可执行矩阵乘法y＝T·x以产生变换系数向量。视频解码器可执行逆矩阵乘法以从变换系数向量产生变换向量。
上文引入的变换应用于1-D输入数据上，且变换也可经扩展以用于2-D输入数据源。假设X为输入M×N数据阵列。将变换应用于2-D输入数据上的典型方法包含可分离的及非可分离的2-D变换。
可分离的2-D变换将1-D变换依序应用于X的水平向量及垂直向量，公式如下：
Y＝C·X·RT
其中C及R分别指示给定的M×M及N×N变换矩阵。
从所述公式可见，C将1-D变换应用于X的列向量，而R将1-D变换应用于X的行向量。在本发明的稍后部分，为简单起见，将C及R表示为左(垂直)及右(水平)变换，且其均形成变换对。存在C等于R且C为正交矩阵的情况。在这种情况下，可分离的2-D变换由仅一个变换矩阵确定。
非可分离的2-D变换通过进行作为实例的以下数学映射首先将X的所有元素重组成单个向量(即X')：
X′(i·N+j)＝Xi,j
随后1-D变换T'如下应用于X'：
Y＝T′·X
其中T'为(M*N)×(M*N)变换矩阵。
在视频译码中，始终应用可分离的2-D变换，因为其需要比1-D变换更少的运算(加法、乘法)计数。如下文更详细地描述，本发明描述视频编码器及视频解码器选择左变换及右变换所使用的实例技术。
举例来说，视频编码器及视频解码器可确定多个变换子集，每一变换子集识别多个候选变换。作为16个可能变换(例如，DCT-1至DCT-8及DST-1至DST-8)的实例，视频编码器及视频解码器可确定三个变换子集，且变换子集中的每一者包含16个变换中的两个或两个以上变换。视频编码器及视频解码器可选择三个变换子集中的一者并从所选择的变换子集确定左变换(例如，C)及选择三个变换子集中的一者并从所选择的变换子集确定右变换(例如，R)。所选择的变换子集可为不同子集或相同子集。
下文为HEVC中应用的变换类型的描述。在常规视频编解码器(例如，H.264/AVC)中，4点及8点离散余弦变换(DCT)类型-II的整数近似始终应用于帧内及帧间预测残差。帧内预测残差指来自帧内预测的残差且帧间预测残差指来自帧间预测的残差。残差、帧间预测及帧内预测均在下文得以更详细地描述。通常，残差块被分成多个变换块。在视频编码中，变换应用于变换块中的每一者以产生系数块。在视频解码中，变换应用于系数块中的每一者以产生变换块及重建残差块。
为更好地适应残差样本的各种统计，除DCT类型-II外的更灵活类型的变换用于新一代视频编解码器中。举例来说，在HEVC中，4点类型-VII离散正弦变换(DST)的整数近似用于帧内预测残差，其在理论上证明及以实验方式证实，DST类型-VII比DCT类型-II对于沿帧内预测方向产生的残差残差向量更有效，例如，DST类型-VII比DCT类型-II对于由水平帧内预测方向产生的行残差向量更有效。参见(例如)J.Han,A.Saxena及K.Rose的“关于视频/图像译码中的联合优化空间预测与自适应变换(Towards jointly optimal spatialprediction and adaptive transform in video/image coding)”(IEEE声学语音及信号处理国际会议(ICASSP)，2010年3月，第726-729页)。
在HEVC中，4点DST类型-VII的整数近似仅应用于4×4明度帧内预测残差块(下文更详细地描述明度帧内预测残差块)。用于HEVC中的4点DST-VII在图1A中展示。
在HEVC中，对于不为4×4明度帧内预测残差块的残差块，也应用4点、8点、16点及32点DCT类型-II的整数近似。图1B说明4点DCT-II的实例；图1C说明8点DCT-II的实例；图1D说明16点DCT-II的实例；且图1E及1F说明32点DCT-II的实例。图1A至1F说明大小不同的II型的DCT的实例，且如同图1A至1F，存在不同类型的N点DCT及DST的实例。
图2为说明可利用本发明的技术的实例视频译码***10的框图。如本文所使用，术语“视频译码器”大体上指视频编码器及视频解码器。在本发明中，术语“视频译码”或“译码”可大体上指视频编码或视频解码。根据本发明中描述的各种实例，视频译码***10的视频编码器20及视频解码器30表示可经配置以执行用于预测残差的增强型多重变换的技术的装置的实例。
如图1中所示，视频译码***10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等等。
目的地装置14可通过信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动至目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射至目的地装置14的一或多个通信媒体。在这个实例中，源装置12可根据通信标准(例如，无线通信协议)调制经编码视频数据，且可将经调制视频数据发射至目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个实体发射线。一或多个通信媒体可形成基于数据包的网络(例如局域网、广域网或全球网络(例如，互联网))的部分。一或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12至目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12所产生的经编码视频数据的存储媒体。在这个实例中，目的地装置14可(例如)通过磁盘存取或卡存取而存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、闪存，或用于存储经编码视频数据的其它合适的数字存储媒体。
在另一实例中，信道16可包含存储由源装置12所产生的经编码视频数据的文件服务器或另一中间存储装置。在这个实例中，目的地装置14可通过流式发射或下载而存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射至目的地装置14的类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协定(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。
目的地装置14可通过标准数据连接(例如，互联网连接)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用(例如，(例如)通过互联网的空中电视广播、有线电视发射、***发射、流式视频发射)的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码***10可经配置以支持单向或双向视频发射以支持例如视频流式发射、视频播放、视频广播及/或视频电话的应用。
图2中所说明的视频译码***10仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，从通过网络等而流式发射的区域存储器检索数据。视频编码装置可编码数据并将数据存储至存储器，及/或视频解码装置可从存储器检索数据并解码数据。在许多实例中，由并不彼此通信但简单地将数据编码至存储器及/或从存储器检索数据并解码数据的装置来执行编码及解码。
在图2的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频捕获装置(例如，摄像机)、含有先前所捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，及/或用于产生视频数据的计算机图形***，或这些视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12通过输出接口22将经编码视频数据直接发射至目的地装置14。在其它实例中，经编码视频数据也可存储于存储媒体或文件服务器上，以供目的地装置14稍后存取以用于解码及/或播放。
在图2的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可通过信道16接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。一般而言，显示装置32显示经解码视频数据。显示装置32可包括各种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20及视频解码器30各自从可实施为各种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件来实施所述技术，那么装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。可将前述各者(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
本发明通常可指代视频编码器20将某一信息“用信号发送”或“发射”至另一装置，例如，视频解码器30。术语“用信号发送”或“发射”通常可指代用于解码经压缩视频数据的语法元素及/或其它数据的通信。这种通信可实时地或近乎实时地发生。替代地，这种通信可在一时间跨度内发生，例如，这种通信可能在当编码时在经编码位流中将语法元素存储至计算机可读存储媒体时发生，所述语法元素在存储至这个媒体之后接着可由解码装置在任何时间检索。
在一些实例中，视频编码器20及视频解码器30根据视频压缩标准(例如，上文所提及的HEVC标准、HEVC的扩展或可能为开发中的下一代视频译码标准)来操作。仅为了易于理解，下文提供关于HEVC标准的一些信息。然而，本发明中描述的技术不应被视为受限于HEVC标准。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，表示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度(chrominance)样本的二维阵列。色度样本在本文中也可被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含明度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可为明度样本的译码树型块、色度样本的两个对应译码树型块，及用于对译码树型块的样本进行译码的语法结构。译码树型块可为样本的N×N块。CTU也可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。图块可包含在光栅扫描中连续排序的整数数目个CTU。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四叉树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可为图片的明度样本的译码块及色度样本的两个对应译码块，所述图片具有明度样本阵列、Cb样本阵列及Cr样本阵列，以及用以对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为其上应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块、色度样本的两个对应预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的明度、Cb及Cr预测块产生预测性明度块、Cb块及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生(例如，确定)PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。
如果视频编码器20使用帧间预测来产生(例如，确定)PU的预测性块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本产生PU的预测性块。视频编码器20可使用单向预测或双向预测以产生PU的预测性块。当视频编码器20使用单向预测来产生PU的预测性块时，PU可具有单一运动向量(MV)。当视频编码器20使用双向预测来产生PU的预测性块时，PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性明度块、Cb块及Cr块之后，视频编码器20可产生CU的明度残差块。CU的明度残差块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四叉树分割以将CU的明度残差块、Cb残差块及Cr残差块分解成一或多个明度变换块、Cb变换块及Cr变换块。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。
视频编码器20可将一或多个变换应用至TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。如更详细地描述，本发明描述视频编码器20确定用于产生系数块的变换的实例方式。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化通常指对变换系数进行量化以可能地减少用以表示变换系数的数据的量，从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含经熵编码的语法元素的位流。位流可包含形成经译码图片及相关联数据的表示的位的序列。位流可包括网络抽象层(NAL)单元的序列。NAL单元中的每一者包含NAL单元标头且囊封原始字节序列有效载荷(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封于NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封经译码图块的RBSP，第三类型的NAL单元可囊封SEI的RBSP，等等。囊封视频译码数据的RBSP(如与参数集及SEI消息的RBSP相反)的NAL单元可被称作视频译码层(VCL)NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流解码语法元素。视频解码器30可至少部分地基于从位流解码的语法元素而重建视频数据的图片。重建视频数据的过程通常可与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的MV来确定当前CU的PU的预测性块。另外，视频解码器30可逆量化与当前CU的TU相关联的变换系数块。
视频解码器30可对变换系数块执行逆变换以重建与当前CU的TU相关联的变换块。本发明描述视频解码器30确定用于对变换系数块执行逆变换的变换的方式的实例技术。
通过将当前CU的PU的预测性块的样本添加至当前CU的TU的变换块的对应样本，视频解码器30可重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
如上文所描述，CU包含一或多个TU。下文描述基于HEVC中的残差四叉树的变换方案。为适应残差块的各种特性，使用残差四叉树(RQT)的变换译码结构应用于HEVC中，其简要地描述于http://www.hhi.fraunhofer.de/fields-of-competence/image-processing/research-groups/image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the-residual-quadtree-rqt.html中。
如上文所描述，每一图片被分成CTU，所述CTU以光栅扫描次序译码以用于特定方块或图块。CTU为方形块且表示四叉树(即，译码树)的根。CTU大小可在8×8至64×64明度样本的范围内，但通常使用64×64。每一CTU可进一步***成被称作译码单元(CU)的更小方形块。在CTU以回归方式***成CU之后，每一CU经进一步分成预测单元(PU)及变换单元(TU)。基于四叉树方法以回归方式进行CU至TU的分割，因此每一CU的残差信号通过树型结构(即，残差四叉树(RQT))来译码。RQT允许从4×4直至32×32明度样本的TU大小。
图3展示其中CU包含10个TU(标记有字母“a”至“j”)及对应的块分割的实例。RQT的每一节点实际上为变换单元(TU)。以深度优先树遍历次序来处理个别TU，所述次序在图3中经说明为字母次序，所述处理在具有深度优先遍历的回归Z扫描之后。四叉树方法使得能够使变换适应残差信号的变化的空间频率特性。通常，具有较大空间支持的较大变换块大小提供更好的频率分辨率。然而，具有较小空间支持的较小变换块大小提供更好的空间分辨率。两个分辨率(空间分辨率与频率分辨率)之间的折衷由编码器模式决定(例如，由视频编码器20)(例如)基于速率失真优化技术所选择。速率失真优化技术针对每一译码模式(例如，特定RQT***结构)计算译码位及重建失真的加权总和(即，速率失真成本)，并选择具有最小速率失真成本的译码模式作为最佳模式。
三个参数定义于RQT中：树的最大深度、最小允许变换大小及最大允许变换大小。最小及最大变换大小可在从4×4至32×32样本的范围内变化，其对应于先前段落中提及的所支持的块变换。RQT的最大允许深度限制TU的数目。最大深度等于零意指CB(译码块)无法经进一步***，如果每一CB包含TB(变换块)，那么达到最大允许变换大小(例如32×32)。
所有这些参数与RQT结构相互作用并影响RQT结构。考虑根CB大小为64×64，最大深度等于零及最大变换大小等于32×32的情况。在这种情况下，CB必须被分割至少一次，否则其将产生不被允许的64×64TB。在HEVC中，不采用较大的大小变换(例如，64×64变换)，主要因为其受限的益处考量及对于相对较小分辨率视频的相对高的复杂度。
RQT参数(即，最大RQT深度、最小及最大变换大小)在位流中以序列参数集级别发射。关于RQT深度，可指定不同值并用信号发送不同值以用于经帧内及帧间译码的CU(即，经帧内预测编码的CU或经帧间预测解码的CU或经帧内预测编码的CU或经帧间预测的CU)。
四叉树变换应用于帧内残差块及帧间残差块。通常，相同大小的当前残差四叉树分割区的DCT-II变换应用于残差块。然而，如果当前残差四叉树块为4×4并由帧内预测产生，那么应用以上4×4DST-VII变换。
下文描述HEVC中的系数译码。无论TU大小如何，使用非重叠系数群组(CG)来译码变换单元的残差，且每一者含有TU的4×4块的系数。举例来说，32×32TU具有共计64个CG，且16×16TU具有共计16个CG。根据某一预定义扫描次序来译码TU内部的CG。当译码每一CG时，根据用于4×4块的某一预定义扫描次序来扫描并译码当前CG内部的系数。图4说明用于含有4个CG的8×8TU的系数扫描。
对于每一色彩分量，可首先用信号发送一个旗标以指示当前变换单元是否具有至少一个非零系数。如果存在至少一个非零系数，那么变换单元中的系数扫描次序中的最末有效系数的位置随后使用相对于变换单元的左上角的协调而经明确地译码。协调的垂直或水平分量通过其前缀及后缀表示，其中前缀经二进制化具有截断莱斯(TR)，且后缀经二进制化具有固定长度。
last_sig_coeff_x_prefix指定变换块内的扫描次序中的最末有效系数的列位置的前缀。last_sig_coeff_x_prefix的包含性值应在0至(log2TrafoSize<<1)-1的范围内。
last_sig_coeff_y_prefix指定变换块内的扫描次序中的最末有效系数的行位置的前缀。last_sig_coeff_y_prefix的包含性值应在0至(log2TrafoSize<<1)-1的范围内。
last_sig_coeff_x_suffix指定变换块内的扫描次序中的最末有效系数的列位置的后缀。last_sig_coeff_x_suffix的包含性值应在0至(1<<((last_sig_coeff_x_prefix>>1)-1))-1的范围内。
变换块LastSignificantCoeffX内的扫描次序中的最末有效系数的行位置经导出如下：
-如果不存在last_sig_coeff_x_suffix，那么下文适用：
LastSignificantCoeffX＝last_sig_coeff_x_prefix
-否则(存在last_sig_coeff_x_suffix)，下文适用：
LastSignificantCoeffX＝(1<<((last_sig_coeff_x_prefix>>1)-1))*(2+(last_sig_coeff_x_prefix&1))+last_sig_coeff_x_suffix
last_sig_coeff_y_suffix指定变换块内的扫描次序中的最末有效系数的行位置的后缀。last_sig_coeff_y_suffix的包含性值应在0至(1<<((last_sig_coeff_y_prefix>>1)-1))-1的范围内。
变换块LastSignificantCoeffY内的扫描次序中的最末有效系数的行位置经导出如下：
-如果不存在last_sig_coeff_y_suffix，那么下文适用：
LastSignificantCoeffY＝last_sig_coeff_y_prefix
-否则(存在last_sig_coeff_y_suffix)，下文适用：
LastSignificantCoeffY＝(1<<((last_sig_coeff_y_prefix>>1)-1))*(2+(last_sig_coeff_y_prefix&1))+last_sig_coeff_y_suffix
当scanIdx等于2时，坐标如下调换：
(LastSignificantCoeffX,LastSignificantCoeffY)＝Swap(LastSignificantCoeffX,LastSignificantCoeffY)
在具有这类经译码的位置以及CG的系数扫描次序的情况下，进一步用信号发送一个旗标以用于除最末CG(在扫描次序中)外的CG，所述旗标指示其是否含有非零系数。对于可含有非零系数的所述CG，有效旗标、系数的绝对值及正负号信息可根据预定义4×4系数扫描次序针对每一系数而经进一步译码。
如上文所描述，本发明中描述的技术描述了确定视频编码器20所应用来将变换块转化成系数块的变换的方式及确定视频解码器30所应用(例如，作为逆变换)来将系数块转化成变换块的变换的方式。下文描述帧内及帧间预测残差的多重变换(例如，用于当残差块从帧内预测产生时及用于当残差块从帧间预测产生时的不同变换类型)。
在一些情况下，尽管DST类型-VII相较于常规DCT类型-II可有效地改善帧内译码效率，但变换效率相对受限，因为预测残差呈现各种统计，且DCT类型-II及DST类型-VII的固定使用无法有效地适应所有可能的情况。已经提出一些技术来适应不同情况。
在S.-C.Lim、D.-Y.Kim、S.Jeong、J.S.Choi、H.Choi及Y.-L.Lee的“率失真优化自适应变换译码(Rate-distortion optimized adaptive transform coding)”(2009年8月，Opt.Eng.，第48卷，第8号，第087004-1-087004-14页)中，提出适应性地采用用于预测残差的DCT或DST的完整版本的新变换方案，对于每一块，用信号发送DCT或DST变换是否用于预测残差。在Y.Ye及M.Karczewicz的“基于双向帧内预测、方向性变换及自适应系数扫描的经改善H.264帧内译码(Improved H.264intra coding based on bidirectional intraprediction,directional transform,and adaptive coefficient scanning)”(2008年10月，第15次IEEE国际会议的图像处理学报，第2116-2119页)中，已提出每一帧内预测模式可映射至经预定义为KLT对的独特变换对(C及R)，以使得应用模式相依变换(MDDT)。以此方式，不同KLT变换可用于不同帧内预测模式；然而，预定义使用哪个变换且其取决于帧内预测模式。
然而，在X.Zhao、L.Zhang、S.W.Ma及W.Gao的“借助率失真优化变换的视频译码(Video coding with rate-distortion optimized transform)”(2012年1月，IEEETrans.，电路***视频技术，第22卷，第1号，第138-151页)中，可使用更多变换且明确地用信号发送来自导出于离线训练过程的预定义变换候选集合的变换的索引。类似于MDDT，每一帧内预测方向可具有其独特的变换对的集合。用信号发送索引以指定哪一变换对选自所述集合。举例来说，针对最小块大小4×4，存在至多四个垂直KLT变换及至多四个水平KLT变换；因此可选择16个组合。对于较大块大小，使用较少数目的组合。“借助率失真优化变换的视频译码(Video coding with rate-distortion optimized transform)”中所提出的方法适用于帧内及帧间预测残差。对于帧间预测残差，可选择KLT变换的至多16个组合，且针对每一块用信号发送所述组合(四个用于4×4及十六个用于8×8)中的一者的索引。
在A.Saxena及F.Fernandes的“用于图像/视频译码中的帧内预测的基于DCT/DST的变换译码(DCT/DST-based transform coding for intra prediction in image/videocoding)”(IEEE Trans.，图像处理)及C.Yeo、Y.H.Tan、Z.Li及S.Rahardja的“用于译码方向性帧内预测残差的模式相依变换(Mode-dependent transforms for coding directionalintra prediction residuals)”(2012年，IEEE Trans.，电路***视频技术，第22卷，第4号，第545-554页)中，使用多重变换；然而，替代使用KLT变换(通常需要经过训练)，使用DCT(DCT-II)或DST(DST-VII)以用于变换单元(左变换及右变换(例如，C及R)两者相同)，且通过用信号发送的旗标确定使用哪一者。在F.Zou、O.C.Au、C.Pang、J.Dai及F.Lu的“用于帧内块译码的基于劳埃德类型算法的率失真优化变换(Rate-Distortion OptimizedTransforms Based on the Lloyd-Type Algorithm for Intra Block Coding)”(2013年11月，信号处理中的所选择话题的IEEE期刊，第7卷，第6期)中，使用若干预定义KLT变换对，且针对译码单元用信号发送(而不是导出)变换对的索引，以使得译码单元的每一变换单元使用相同对的变换。
在J.An、X.Zhao、X.Guo及S.Lei的“Non-CE7：用于经帧内预测残差的与边界有关的变换(Non-CE7:Boundary-Dependent Transform for Inter-Predicted Residue)”(JCTVC-G281)中，根据TU在CU内的位置选择多重变换以用于TU的经帧间预测残差。C及R变换两者选自DST-VII及DST-VII的倒装版本。因此，至多四个组合可能用于CU内的TU。然而，因为组合完全通过PU的位置确定，所以不需要用信号发送正在使用哪个组合。
可存在与用于残差的变换相关的技术的某些问题(例如，由帧内预测所引起的经帧内预测的残差的问题，但也可适用于由帧间预测引起的经帧间预测的残差)。现有方法可使用一对DST或DCT变换以用于经帧内预测的残差。然而，所述变换无法覆盖残差信号的所有可能的分布。
举例来说，仅DCT类型-II应用于大于或等于HEVC中的8×8的帧内预测残差块，所述DCT类型-II无法适应帧内预测残差的变化统计。仅DCT类型-II应用于HEVC中的帧间预测残差，所述DCT类型-II无法适应帧间预测残差的变化统计。仅取决于变换块大小或帧内预测模式选择变换并不十分有效，因为即使在相同帧内预测模式或同一变换大小下，残差统计仍可具有大变化。
本发明描述以下技术。在一些实例中，以下技术中的一或多者可解决上文所提及的问题中的一或多者。然而，并不要求以下技术解决上文所提及的问题中的一或多者。以下技术可经个别地应用。在一些情况下，可应用实例技术的任何组合。举例来说，视频编码器20及视频解码器30可个别地应用所述技术，或在一些情况下，应用所述一或多个技术的任何组合。
在一些实例中，除了用于HEVC中的基于DCT-II的变换之外，对于通过帧内预测模式产生的每一残差块，视频编码器20及视频解码器30可从DCT及DST家族的两个或两个以上候选变换选择变换。作为一个实例，候选变换可属于基于不同类型的DCT及DST家族的共计16个变换，且可包含(但不限于)DCT–I至DCT-VIII、DST-I至DST-VIII。替代地或另外，视频编码器20及视频解码器30可使用其它正弦单变换，或甚至可使用其它KLT变换。对于每一TU，水平及垂直变换(例如，右变换及左变换)可为同一类型。举例来说，候选变换为DST-VII、DCT-VIII、DST-I及DST-V。
如上文所描述，存在16个变换(例如，DCT-I至DCT-VIII及DST-I至DST-VIII)。识别使用哪些变换的一方式为使视频编码器20及视频解码器30构建这些16变换的列表。视频编码器20可随后用信号发送(例如，在位流中产生)对所述列表的第一索引以识别左变换(例如，用于方程式Y＝C*X*RT的变换C，其中X为变换块且Y为所得系数块)并用信号发送(例如，在位流中产生)对所述列表的第二索引以识别右变换(例如，用于方程式Y＝C*X*RT的变换R)。视频解码器30将随后从位流接收第一索引及第二索引并确定视频解码器30将使用的变换C及R以将系数块逆变换回到变换块。
在这个实例中，第一索引的值可在0至15的范围内，且第二索引的值可在0至15的范围内。通常，译码较大数字需要用信号发送比译码较小数字更多的位(例如，指示索引值15需要比指示索引值2更多的位)。在列表包含所有16个变换的情况下，可存在比所要消耗更多带宽的信令开销。然而，关于可使用哪些变换的限制选项(如HEVC中所进行)可减小信令开销，但不利地影响译码效率，因为更好的变换不可用。
在本发明中描述的技术中，视频编码器20及视频解码器30可能能够从对信令开销具有较少影响的相对大量的候选变换确定左变换及右变换。作为一个实例，视频编码器20及视频解码器30可各自确定多个变换子集，其中每一者变换子集识别多个候选变换。
举例来说，视频编码器20及视频解码器30可各自构建以下三个变换子集并将所述变换子集存储于存储器中：变换子集0：{DST-VII,DCT-VIII}、变换子集1：{DST-VII,DST-I}及变换子集2：{DST-VII,DCT-V}。在一些实例中，这三个变换可预存储于视频编码器20及视频解码器30的存储器中。在任何情况下，视频编码器20及视频解码器30可被视为确定这三个变换子集，其中所述三个变换子集中的每一者识别多个候选变换(例如，在这个实例中识别两个变换)。多个变换子集可包含超过或低于三个变换子集，且通常包含两个或两个以上变换子集。每一变换子集可包含一或多个候选变换，但至少一者识别多个候选变换。举例来说，一些变换子集可仅识别一个变换，且其它变换子集可识别两个或两个以上变换。在一些实例中，每一变换子集可识别相对较小数目的变换(例如，低于或等于5)。
在本发明中描述的技术中，视频编码器20及视频解码器30可确定对应的变换子集。举例来说，如果视频编码器20中的所存储变换子集为变换子集0：{DST-VII,DCT-VIII}、变换子集1：{DST-VII,DST-I}及变换子集2：{DST-VII,DCT-V}，那么视频解码器30可存储逆变换子集：逆变换子集0：{IDST-VII,IDCT-VIII}、逆变换子集1：{IDST-VII,IDST-I}及逆变换子集2：{IDST-VII,IDCT-V}。作为另一实例，视频解码器30可存储与视频编码器20相同的变换，且可在应用逆变换之前将其逆向。在任一实例中，视频编码器20及视频解码器30可被视为存储对应的变换子集(例如，相同子集或具有彼此的逆变换的子集)。
视频编码器20及视频解码器30可利用隐式技术来选择左变换及右变换的变换子集。隐式技术意指视频编码器20不需要向视频解码器30用信号发送关于指示视频解码器30选择哪些变换子集的信息。视频编码器20及视频解码器30可经配置执行相同隐式技术以选择变换子集，从而在不对需用信号发送的信息的量进行任何增加的情况下引起视频编码器20及视频解码器30选择相同变换子集。
作为一个实例，如果变换块从帧内预测产生，那么视频编码器20及视频解码器30可基于帧内预测模式确定选择哪些变换子集。举例来说，视频编码器20及视频解码器30可各自存储将帧内预测模式映射至左变换待从其确定的变换子集及映射至右变换待从其确定的变换子集的表。
作为一实例，视频编码器20可在帧内预测模式X中对当前块进行帧内预测编码。在这个实例中，视频编码器20从在帧内预测模式X中对当前块进行帧内预测编码而产生的残差块来产生变换块。视频编码器20可基于帧内预测模式X选择用于左变换的变换子集及基于帧内预测模式X选择用于右变换的变换子集。如下文更详细地描述，视频编码器20可从相应所选择变换子集确定左变换及右变换，并应用变换以产生系数块。
视频编码器20可产生包含信息的视频位流，所述信息指示离开系数块的系数值的信息以及指示从系数块产生的变换块用于使用帧内预测模式X经帧内预测编码的块。视频解码器30可从用信号发送的信息产生系数块并且也从用信号发送的信息确定帧内预测模式为模式X。视频解码器30可基于为模式X的帧内预测模式来选择用于左变换的变换子集(在这种情况下，其将为由视频编码器20应用的变换的相逆者)及用于右变换的变换子集(在这种情况下，其将为由视频编码器20应用的变换的相逆者)。
指示哪些变换子集映射至哪些帧内预测模式的经存储映射在视频编码器20侧与视频解码器30侧上是相同的。因此，视频编码器20及视频解码器30选择对应的变换子集。如下文更详细地描述，视频解码器30可从相应所选择变换子集确定左变换及右变换，并应用变换以产生变换块。
尽管关于帧内预测模式描述了以上实例，但本发明中描述的技术不如此受限。在一些实例中，视频编码器20及视频解码器30可基于其它信息(例如，RQT深度、经量化系数等等)选择相应变换子集而不是帧内预测模式。
并且，尽管针对帧内预测描述以上实例，本发明中描述的技术也可经扩展至帧间预测。举例来说，类似于上文，视频编码器20及视频解码器30可确定多个变换子集。帧间预测情况的多个变换子集可与帧内预测情况的多个变换子集相同或不同。在一些情况下，帧间预测情况的多个变换子集可与帧内预测情况的多个变换子集的一些但并非全部相同。
对于帧间预测，视频编码器20及视频解码器30可存储变换块相对于与其相关联的PU、CU、或LCU的位置之间的映射。举例来说，映射可指示如果变换块处于PU、CU或LCU的左边界，那么选择变换子集的第一群组(例如，用于左变换的一个变换子集及用于右变换的一个变换子集)。如果变换块处于PU、CU或LCU的右边界，那么选择变换子集的第二群组，及对于顶边界及底边界等等也是如此，其中在每一情况下，视频编码器20及视频解码器30选择用于左变换的一个变换子集及用于右变换的一个变换子集。
视频编码器20及视频解码器30可以特定次序编码及解码图片的块。因此，基于刚经编码或解码块的位置，视频编码器20及视频解码器30可确定PU、CU或LCU中的变换块的位置。并且，从视频解码器30的角度，视频解码器30从系数块产生变换块。然而，基于解码次序，视频解码器30可能能够确定将从系数块产生的变换块的位置。
以这种方式，在不对需用信号发送的信息的量进行任何增加的情况下，视频编码器20及视频解码器30可确定相应变换子集，将从所述相应变换子集确定左变换及右变换。在一些实例中，在视频编码器20选择变换子集之后，视频编码器20可用信号发送指示所选择变换子集中的哪些变换用于左变换及哪一变换用于右变换的信息(例如，在视频位流中产生所述信息)。视频解码器30接收用信号发送的信息并确定左变换及右变换。
举例来说，视频编码器20可用信号发送(例如，在位流中产生)对经选择用于左变换的变换子集的索引及用信号发送(例如，在位流中产生)对经选择用于右变换的变换子集的索引。视频解码器30可接收对相应变换子集的相应索引，并确定左变换及右变换。
在这个实例中，需用信号发送的信息可增加(例如，用信号发送确定左变换及右变换的索引)。然而，需用信号发送的信息的增加可为最小。如上文所描述，变换子集中的每一者可识别相对较小数目的变换。因此，索引值的范围可相对较小(例如，如果每一变换子集识别的变换的最大数目为5，那么索引值范围为0至4)。
因此，对于信令开销的相对小的增加，本发明中描述的技术允许可被选择的变换的数目相对大的增加。举例来说，由于存在每一者包含一或多个变换的多个变换子集，16个实例变换中的许多个变换及可能所有变换可在变换中的一或多者加以识别。因为变换子集使用隐式技术所选择的，所以不存在信令开销的增加，且因为每一变换子集识别相对小数目的变换，所以识别特定变换不会大幅度地增加信令开销。
在一些实例中，进一步减小信令开销的量是可能的。举例来说，在一些实例中，如上文所描述，视频编码器20及视频解码器30可选择变换子集，但随后经配置以基于某些条件而从相应变换子集中的每一者确定特定变换。在这种情况下，视频编码器20可能不需要用信号发送，且视频解码器30可能不需要接收指示使用所选择变换子集内的哪些变换的信息。
作为一实例，在编码过程期间，视频编码器20可使用来自所选择变换子集的特定变换(例如，所选择变换子集中的第一经识别变换)，且在应用所述变换之后，确定所得系数块中的非零系数的数目小于阈值。在这种情况下，视频解码器30可接收指示系数块的系数值的信息并类似地确定非零系数的数目小于阈值。在一些实例中，如果视频解码器30确定系数块中的非零系数的数目小于阈值(例如，1或2)，那么视频解码器30可确定视频解码器30应使用来自所选择变换子集的特定变换(例如，所选择变换子集中的第一经识别变换)。
举例来说，假定基于帧内预测模式，视频编码器20确定用于左变换的变换子集为子集0且用于右变换的变换子集为子集1。在这种情况下，视频编码器20可确定如果子集0中的第一经识别变换用作左变换且如果子集1中的第一经识别变换用作右变换，那么所得系数块中的非零系数的数目小于阈值。在这个实例中，视频编码器20可不用信号发送指示子集0及子集1中的第一经识别变换将分别用作左变换及右变换的信息。在其它情况下，如果子集0(或子集1)中的第一经识别变换并不用作左变换(或右变换)，那么所得系数块中的非零系数的数目小于阈值。在这个实例中，视频编码器20添加子集0及子集1中的经识别变换不可用作左变换及右变换的限制。
视频解码器30可接收帧内预测模式，且类似于视频编码器20而基于帧内预测模式确定变换子集0及变换子集1将经选择以分别用于左变换及右变换。并且，在从指示系数值的信息产生系数块之后，视频解码器30也可确定系数块中的非零系数的数目小于阈值。视频解码器30可确定子集0中的第一经识别变换及子集1中的第一经识别变换将分别用作左变换及右变换，而不从视频编码器20接收此信息，是因为非零系数的数目小于阈值。
在以上实例中，变换子集由16个变换(即，八个DCT及八个DST)形成。然而，本发明中所描述的技术不如此受限。变换的额外实例包含KLT变换。因此，变换子集可包含来自八个DCT、八个DST、KLT变换及其它变换实例的一或多个变换。仅为了易于说明，关于八个DCT及八个DST描述实例。
作为概述，在本发明中描述的一些实例中，执行从三个或三个以上候选变换的预选择以制定变换的子集，且从变换的子集选择待用于当前TU的最终变换。举例来说，变换的子集可组成左变换的子集及/或右变换的子集。可通过已解码信息(例如，帧内预测模式、RQT深度、经量化系数等)来确定制定变换的子集(或左变换的子集及右变换的子集)的预选择。
变换的子集的数目可限于较小整数，例如，1、2、3或4，且变换的不同子集含有不同类型的变换。在一个实例中，产生变换的三个子集(每一者含有两个变换)。基于给定帧内预测模式，左变换的子集经设定成三个子集中的一者，且右变换的子集也经设定成三个子集中的一者(可或可不与左变换的子集相同)。作为实例，变换的三个子集为：{DST-VII,DCT-VIII}、{DST-VII,DST-I}及{DST-VII,DCT-V}。左变换的子集或右变换的子集可为以上三个子集中的一者。因此，各种帧内预测模式可对应于用于左变换及右变换的子集的至多9个不同组合。替代地或另外，左变换的子集或右变换的子集仅含有一个变换。替代地或另外，左变换的子集及右变换的子集两者可仅含有一个变换。
在上文所描述的实例中，无论TU大小如何，变换子集及在变换子集中识别的变换可以是相同的，且变换子集中的变换的数目对于不同帧内预测模式可以是相同的。然而，本发明中所描述的技术不如此受限。
在一些实例中，对于不同TU大小，左/右变换的子集中的变换的数目可不同，其典型数目可为(但不限于)2、3及4。对于不同帧内预测模式，左/右变换的子集中的变换的数目可不同；变换的典型数目可为(但不限于)2、3及4。
如上文所描述，当已经预选择变换的子集时，待使用的最终变换可通过变换的子集的索引用信号发送。当左变换的子集(或右变换的子集)含有两个或两个以上变换时，用信号发送属于左变换的子集(或右变换的子集)的变换的索引。其意指当左变换或右变换的子集的数目等于1时，不需要用信号发送变换的索引。
以上实例描述视频编码器20及视频解码器30可预选择以制定变换子集的情况。然而，本发明中所描述的实例不如此受限。替代地或另外，可能不需要进行预选择以制定变换的子集，且直接用信号发送两个或两个以上候选变换(如全集合)的一个索引以指示左变换或右变换。举例来说，在视频编码器20处，可引入可仅测试完整集合内的一些变换且不测试其它变换的约束条件以减小编码器复杂度。选择哪些变换及变换的索引可取决于帧内预测模式或其它信息。
在一些实例中，对于每一TU，对于左变换(右变换)，视频编码器20及视频解码器30可从候选变换的子集选择左变换及右可能是受约束的。举例来说，变换的仅一个子集含有DST-VII、DCT-VIII及DCT-II，且用于每一TU的左变换始终选自{DST-VII、DCT-VIII及DCT-II}，且用于每一TU的右变换也始终选自{DST-VII、DCT-VIII及DCT-II}。
如上文所描述，本发明中所描述的实例技术可适用于帧内预测及帧间预测。在HEVC中，对于从帧间预测产生的变换块，仅基于DCT-II的变换是可用的。在一些实例中，除如HEVC中的常规基于DCT-II的变换之外，对于通过帧间预测模式产生的每一残差块，除产生左变换的子集及右变换的子集之外，视频编码器20及视频解码器30可根据两个或两个以上候选变换方法从DCT及DST家族或其它变换(例如，KLT)选择变换。类似于用于帧内预测的以上实例，视频编码器20可用信号发送(例如，在位流中产生)及视频解码器30可在位流中接收用于每一TU的左变换的子集的索引及右变换的子集的索引以确定左变换及右变换。
作为一个实例，将两个变换(例如，DST-VII及DCT-VIII)置于左变换的子集及右变换的子集中。这些子集中的每一者的一位索引确定当前TU的最终左变换及最终右变换。子集可为{DST-VII,DCT-VIII}或{DST-VIII,DCT-VII}。
替代地或另外，执行从三个或三个以上候选变换的预选择以制定变换的子集，且从变换的子集选择待用于当前TU的最终变换。举例来说，制定变换的子集(或左变换的子集及右变换的子集)的预选择可通过当前TU对于附属PU的相对位置(即，当前TU是否位于附属PU的顶边界、左边界、右边界、底边界或其它位置处)来确定。
在一个实例中，产生变换的三个子集(每一者含有两个变换)。基于当前TU对于附属PU的相对位置，左变换的子集经设定成三个子集中的一者，且右变换的子集也经设定成三个子集中的一者(可能或可能不与左变换的子集相同)。替代地或另外，左变换的子集或右变换的子集仅含有一个变换。替代地或另外，左变换的子集及右变换的子集两者可仅含有一个变换。
在以上实例中，视频编码器20及视频解码器30可选择用于CU的每一TU的变换子集，且接着如上文所描述确定用于的每一TU的左变换及右变换。在这个实例中，确定使用哪些变换被视为处于TU级别。然而，本发明中所描述的实例技术不如此受限。
在一些情况下，视频编码器20可确定用于CU的每一TU的左变换及右变换应为同一默认变换(例如，DCT-II作为一个实例，但其它变换类型也为可能的)。并且，可存在用于左变换的默认变换及用于右变换的默认变换，或用于左变换与右变换的默认变换可为相同的。在以下描述中，术语“默认变换”应解释为包含用于左变换及右变换的默认变换为不同的及用于左变换及右变换的默认变换为相同的两种情况。举例来说，用于左变换及右变换的默认变换(例如，在不同或相同的情况下)可经预选择，且其对于视频编码器20及视频解码器30是相同的。
如果视频编码器20确定CU的每一TU应具有相同默认变换，那么视频编码器20可用信号发送如此指示的信息(例如，在视频位流中产生如此指示的信息)。在这个实例中，视频编码器20可不用信号发送变换子集中的索引，这减小需要用信号发送的信息的量，是因为视频解码器30可基于所接收信息确定默认变换将用于CU的每一TU。
作为实例，视频编码器20可用信号发送(例如，在位流中产生)指示CU的每一TU是否将应用相同默认变换的旗标。如果旗标为第一值(例如，数字高)，那么CU的每一TU以相同默认变换应用。如果旗标为第二值(例如，数字低)，那么CU的至少一个TU以除默认变换外的变换应用。在CU的至少一个TU以不同变换应用的情况下，如果需要(例如，大于阈值的非零系数)，那么视频编码器20可选择变换子集并在变换子集中用信号发送索引，如上文所描述。在CU的每一TU以相同默认变换应用的情况下，视频编码器20可在变换子集中的任一者中用信号发送任何索引，因为视频解码器30可已确定使用哪些变换。
视频解码器30可接收指示CU的每一TU是否应用相同默认变换的旗标。若旗标为第一值，那么视频解码器30可确定未选择变换子集且未从位流剖析(例如，接收)变换子集的索引。在这种情况下，视频解码器30可应用默认变换至CU的每一系数块。如果旗标为第二值，那么视频解码器30可确定将选择变换子集，确定是否将接收索引(例如，基于非零系数的数目)，并基于将接收索引的确定接收所选择变换子集中的索引。
在以上实例中，指示每一TU是否将使用相同默认变换的旗标处于CU级别(例如，指示CU的每一TU使用相同默认变换)。在一些实例中，旗标可处于CTU级别或PU级别而不是处于CU级别。
举例来说，视频编码器20可用信号发送(例如，在位流中产生)指示是否使用相同变换来变换块的所有变换块的旗标。响应于接收指示块的所有变换块并非是使用相同变换来变换的旗标，视频解码器30可选择变换子集并如上文所描述确定所选择变换中的索引。响应于接收指示块的所有变换块是使用相同变换来变换的旗标，视频解码器30可将所述变换用于块的变换块中的每一者。在这个实例中，作为几个实例，“块”可为CTU、CU或PU中的一者。
作为概述，当使用当前CU利用额外变换时(例如，如上文所描述)，待用于每一TU的变换的用信号发送可在TU级别中进行。举例来说，视频编码器20可对每一CU发送指示其内的TU是否使用额外变换(例如，使用除HEVC中的所述变换的变换)而译码的一个旗标。替代地或另外，可在LCU级别(CTU级别)、CU级别、PU级别、TU或任何其它块级别处来用信号发送所述指示。
当旗标指示未使用额外变换译码CU内的TU时，使用一个默认变换来译码所有TU。在一个实例中，默认变换为DCT-II。替代地或另外，默认变换可取决于帧内/帧间模式、帧内预测模式、块大小、PU内的TU位置、或当前TU的任何其它统计。举例来说，如上文所描述，视频编码器20及视频解码器30可确定相同默认变换，且默认变换使用的条件可基于例如帧内/帧间模式、帧内预测模式、块大小、PU内的TU位置或当前TU的任何其它统计的因素。以这种方式，通过使用默认变换，可减少需要用信号发送的信息的量。
另外，指示可存在于不同阶层中。举例来说，如果一位旗标为0，那么视频编码器20可首先用信号发送(例如，在位流中产生)在LCU(CTU)级别处的所述一位旗标，视频编码器20及视频解码器30可仅对每一CU应用DCT-II，否则，如果一位旗标为1，那么视频编码器20可用信号发送在CU级别处的指定CU内的TU是否可使用多重变换或仅默认变换的另一旗标。
在这个实例中，视频解码器30可在每一阶层式级别处确定特定阶层式级别内的所有TU是否使用默认变换。举例来说，如果CTU级别处的旗标指示CTU的所有TU将使用相同默认变换，那么视频解码器30可使用用于CTU的所有TU的相同默认变换。如果CTU级别处的旗标指示CTU的所有TU并非将使用相同默认变换，那么视频解码器30可选择变换子集并如上文所描述确定用于CTU的每一TU的变换。
在一些情况下，可存在用于CTU的CU中的每一者的另一旗标，而不是在CTU级别处停止并确定用于每一TU的变换。举例来说，视频解码器30可接收用于CTU的每一CU的旗标，其指示CU的所有TU是否使用相同默认变换或并不使用相同默认变换。如果对于CU，视频解码器30接收指示CU的所有TU使用相同默认变换的旗标，那么视频解码器30可应用所述默认变换。如果对于CU，视频解码器30接收指示CU的所有TU并非使用相同默认变换的旗标，那么视频解码器30可选择变换子集并如上文所描述确定用于CU的每一TU的变换。
在一些情况下，可存在用于CU的PU中的每一者的另一旗标，而不是在CU级别处停止并确定用于每一TU的变换。举例来说，视频解码器30可接收用于CU的每一PU的旗标，其指示PU的所有TU是否使用相同默认变换或并不使用相同默认变换。如果对于PU，视频解码器30接收指示PU的所有TU使用相同默认变换的旗标，那么视频解码器30可应用所述默认变换。如果对于PU，视频解码器30接收指示PU的所有TU并非使用相同默认变换的旗标，那么视频解码器30可选择变换子集并如上文所描述确定用于PU的每一TU的变换。
替代地或另外，此外，当CU的重叠块运动补偿(OBMC)旗标用信号发送为关闭时，并不针对当前CU用信号发送指示是否仅应用一个默认变换的一位旗标，且所述一位旗标经推断为指示默认变换(例如，DCT-II)经应用的默认值(例如，0)。替代地或另外，当允许OBMC用于当前图块时，一个块的一位旗标(其指示是否仅应用一个默认变换)的CABAC上下文模型化取决于当前块的OBMC旗标(例如，取决于OBMC旗标的值)。
在一个实例中，当OBMC旗标(经隐式导出或明确用信号发送)为真(即，等于1)时，视频编码器20及视频解码器30可使用上下文模型的一个集合以用于CABAC编码或CABAC解码所述一位旗标。当OBMC旗标为假(即，等于0)时，上下文模型的另一集合可用于译码所述一位旗标。替代地或另外，此外，上下文模型的两个集合的初始化机率可为不同的。替代地或另外，一个块的一位旗标(其指示是否仅应用一个默认变换)的CABAC上下文模型化取决于空间相邻块(例如，左相邻块及/或上相邻块)或时间相邻块(例如，参考图片中的共置块)的对应的一位旗标的值。
当CU启用额外变换时(例如，意指HEVC的更受限制的选择)，对于每一TU，视频编码器20可用信号发送且视频解码器30可从候选变换(集合或子集)接收变换的索引，如上文所描述。替代地或另外，视频编码器20可用信号发送这类信息，且视频解码器30可在LCU级别、CU级别、PU级别或任何其它块级别处接收这类信息。当视频编码器20在LCU级别、CU级别、PU级别或任何其它块级别处用信号发送指示符时，所有包含于所述级别内的TU可使用相同变换对。
举例来说，视频编码器20及视频解码器30可如上文所描述(例如，基于帧内预测模式或基于用于帧间预测的TU的位置)选择变换子集。在一些实例中，对于每一变换块，视频编码器20可用信号发送索引且视频解码器30可接收用于每一变换块的索引。然而，在一些实例中，作为几个实例，视频编码器20可用信号发送用于左变换的一个索引及用于右变换的一个索引以用于CTU的所有TU、CU的所有TU或PU的所有TU，而不是接收用于每一变换块的索引。在这个实例中，对于视频解码器30针对TU的右变换及左变换所选择的每一变换子集，视频解码器30可应用通过块(例如，CUT、CU或PU)的所有TU的索引所识别的变换。
换言之，在一些情况下，至变换子集的索引可被视为更“全域的”。举例来说，视频编码器20可用信号发送用于左变换及右变换的索引。在这种情况下，在索引对于块的每一TU相同而不考虑所选择的特定变换子集如何的意义上，索引可为全域的，其中块为CTU、CU或PU。在这些实例中，视频解码器30可从这些全域索引确定来自所选择变换子集的左变换及右变换。举例来说，视频解码器30可不剖析用于每一变换块的每一所选择变换子集的索引，而是基于全域索引识别用于块(例如，CTU、CU或PU)的所有变换块的变换。
如上文所描述，在一些实例中，视频编码器20可不用信号发送对所选择变换子集的索引。举例来说，对于特定TU，如果残差信号的能量受到限制(例如，若不存在经发射用于当前TU的非零系数)，那么可跳过额外变换的用信号发送。额外变换的用信号发送的类似跳跃可适用于LCU、CU、PU或任何其它块级别。
替代地或另外，如果在某一块级别处所发射的非零系数的总数目或总绝对总和或平方值的总和小于给定阈值，那么可跳过所述某一块级别处的指示符。换言之，如果系数块的非零系数的总数目或总绝对总和或平方值的总和小于阈值，那么视频编码器20可不用信号发送对所选择变换子集的索引。在这些实例中，如果视频解码器30确定非零系数的总数目或总绝对总和或平方值的总和小于给定阈值，那么视频解码器30可确定对所选择变换子集的索引并不从位流接收(例如，剖析)。
在一个实例中，非零系数的总数目的阈值为2。替代地或另外，非零系数的总数目的阈值对于不同块大小或不同帧内预测模式可以不同。
在一些实例中，当LCU、CU、PU或块的大小大于或小于预定义阈值，或在给定阈值范围内时，视频编码器20可跳过指示符(例如，对变换子集的索引)的用信号发送，且视频编码器20及视频解码器30可仅应用默认变换类型。在一个实例中，默认变换为DCT-II。此外，当CU大小大于32×32时，视频编码器20可不用信号发送指示符，且视频编码器20及视频解码器30可仅应用用于每一TU的DCT-II。
视频编码器20及视频解码器30可使用(例如)固定长度码、截断一元码或指数哥伦布码来二进制化指示符(例如，对变换子集的索引)。视频编码器20及视频解码器30可使用具有上下文的CABC熵译码(例如，分别编码或解码)指示符，且对于每一二进数，应用一个上下文。在一个实例中，基于二进数索引选择上下文模型。在另一实例中，此外，当选择上下文模型时也考虑帧内预测模式或TU大小或TU深度。替代地或另外，使用上下文模型译码二进数的部分，且使用旁路模式译码残差二进数。替代地或另外，指示符可经旁路译码，即，不应用上下文模型化。
在实例技术中，视频编码器20可在位流中用信号发送各种信息，且视频解码器30可从位流接收这类信息。视频编码器20可用信号发送这类信息且视频解码器30可从不同位置接收这类信息。
作为一个实例，与多重变换相关的语法可出现于高级语法中。视频编码器20可用信号发送(例如，在位流中产生)且视频解码器30可接收待用于图片参数集(PPS)、序列参数集(SPS)或任何其它位置(甚至包含图块标头处)的候选变换的数目(如上文关于选自两个或两个以上候选变换的变换所所描述)。视频编码器20可用信号发送(例如，在位流中产生)且视频解码器30可在图块标头、图片参数集(PPS)、序列参数集(SPS)或任何其它位置处接收每一子集中的候选变换的数目，如上文关于对三个或三个以上候选变换的预选择所描述。
可在图块标头、PPS、SPS或任何其它位置处用信号发送旗标或索引以指示以上所提及的多重变换是否应用于块级别处。如上文所描述，这个旗标或索引的一个指定值可指示所有TU使用一个默认变换来译码。另外或替代地，这个旗标或索引的一个指定值可指示一或多个旗标/索引可在块级别处用信号发送以用于块级别处的变换选择。并且，多重变换并不适用的块的大小(当大小大于用信号发送的大小或小于用信号发送的大小或在两个用信号发送的大小的范围内时)可存在于参数集(例如，图片参数集或序列参数集)中。
重申，以上描述利用术语“变换”。然而，应理解，视频编码器20利用变换以从残差块产生变换系数值的变换块。另一方面，视频解码器30利用逆变换以从变换块产生残差值的残差块。因此，在以上描述中，应理解，变换的描述同样适用于视频解码器30；然而，视频解码器30利用逆变换。
图5为说明可实施本发明的技术的实例视频编码器20的框图。出于解释的目的而提供图5，且不应将所述图视为对本发明中所广泛例示及描述的技术的限制。出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。举例来说，视频编码器20可经配置以应用比HEVC中提供的受限选项更多的变换至变换块。
在图5的实例中，视频编码器20包含预测处理单元100、视频数据存储器101、残差产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元及运动补偿单元(未展示)。在其它实例中，视频编码器20可包含较多、较少或不同功能组件。
视频数据存储器101可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器101中的视频数据。经解码图片缓冲器116可为存储用于视频编码器20(例如)以帧内或帧间译码模式编码视频数据的参考视频数据的参考图片存储器。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器101及经解码图片缓冲器116。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于所述组件在芯片外。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的图块中的每一CTU。CTU中的每一者可与相等大小的明度译码树型块(CTB)及图片的对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行四叉树分割以将CTU的CTB划分成渐渐更小的块。较小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子块，等等。
视频编码器20可编码CTU的CU以产生CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与明度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小，且PU的大小可指PU的明度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似的对称PU大小。视频编码器20及视频解码器30也可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及PU的运动信息。取决于PU是在I图块中、P图块中还是B图块中，帧间预测单元121可针对CU的PU执行不同操作。在I图块中，所有PU经帧内预测。因此，如果PU在I图块中，那么帧间预测单元121不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用空间预测从同一帧内的先前经编码的相邻块而形成。
如果PU在P图块中，那么帧间预测处理单元120的运动估计单元可在用于PU的参考区域的参考图片列表(例如，“RefPicList0”)中搜寻参考图片。用于PU的参考区域可为参考图片内含有最紧密地与PU的样本块对应的样本块的区域。运动估计单元可产生指示含有用于PU的参考区域的参考图片的RefPicList0中的位置的参考索引。另外，运动估计单元可产生指示PU的译码块与关联于参考区域的参考位置之间的空间位移的MV。举例来说，MV可为提供从当前经解码图片中的坐标至参考图片中的坐标的偏移的二维向量。运动估计单元可输出参考索引及MV作为PU的运动信息。帧间预测处理单元120的运动补偿单元可基于由PU的运动向量指示的参考位置处的实际或经内插样本而产生PU的预测性块。
如果PU在B图块中，那么帧间预测处理单元120的运动估计单元可针对PU执行单向预测或双向预测。为针对PU执行单向预测，运动估计单元可搜寻RefPicList0或用于PU的参考区域的第二参考图片列表(“RefPicList1”)的参考图片。运动估计单元可输出以下各者作为PU的运动信息：指示含有参考区域的参考图片在RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与关联于参考区域的参考位置之间的空间位移的MV，及指示参考图片是在RefPicList0中还是在RefPicList1中的一或多个预测方向指示符。帧间预测处理单元120的运动补偿单元可至少部分地基于由PU的运动向量指示的参考区域处的实际或经内插样本而产生PU的预测性块。
为针对PU执行双向帧间预测，运动估计单元可在用于PU的参考区域的RefPicList0中搜寻参考图片，且也可在用于PU的另一参考区域的RefPicList1中搜寻参考图片。运动估计单元可产生指示含有参考区域的参考图片在RefPicList0及RefPicList1中的位置的参考图片索引。另外，运动估计单元可产生指示关联于参考区域的参考位置与PU的样本块之间的空间位移的MV。PU的运动信息可包含参考索引及PU的MV。帧间预测处理单元120的运动补偿单元可至少部分地基于由PU的运动向量指示的参考区域处的实际或经内插样本而产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I图块、P图块及B图块中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式以产生用于PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本来产生用于PU的预测性块。对于PU、CU及CTU，假定从左至右、从上而下的编码次序，那么相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，35个方向性帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元100可从由帧间预测处理单元120针对PU产生的预测性数据或由帧内预测处理单元126针对PU产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真度量而选择用于CU的PU的预测性数据。所选择的预测性数据的预测性块在本文中可被称作所选择的预测性块。
在本发明中描述的实例中，所述技术适用于视频块经帧内预测或帧内预测的情况。举例来说，当块经帧内预测时，帧内预测模式可用于确定变换子集。当块经帧间预测时，其位置可用于确定变换子集。因此，实例技术适用于在帧内预测模式中的任一者中经帧内预测或经单向或双向帧间预测的视频块。
此外，实例技术不限于帧内预测或帧间预测，且也可经扩展至块内复制(IBC)模式。在IBC模式中，预测性块在与经编码的视频块相同的图片中，且由块向量识别。在IBC模式中，作为几个实例，变换子集可选自视频块的位置、预测性块的位置或块向量。
残差产生单元102可基于CU的明度、Cb及Cr译码块及CU的PU的所选择的预测性明度、Cb及Cr块而产生CU的明度、Cb及Cr残差块。举例来说，残差产生单元102可产生CU的残差块，以使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选择预测性块中的对应样本之间的差值。
转换处理单元104可执行四叉树分割以将与CU相关联的残差块分割成与CU的TU相关联的转换块。因此，TU可与明度转换块及两个色度转换块相关联。CU的TU的明度转换块及色度转换块的大小及位置可能或可能不基于CU的PU的预测块的大小及位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的分叶节点。
转换处理单元104可通过将一或多个转换应用于TU的转换块而产生用于CU的每一TU的转换系数块。转换处理单元104可将各种转换应用于与TU相关联的转换块。举例来说，转换处理单元104可将离散余弦转换(DCT)、定向转换或在概念上类似的转换应用于转换块。在一些实例中，转换处理单元104并不将转换应用于转换块。在这些实例中，转换块可经处理为转换系数块。
在本发明中描述的技术中，变换处理单元104可应用左变换及右变换于TU的变换块。在一些实例中，预测处理单元100可使用本发明中描述的技术确定应用哪些变换。
举例来说，预测处理单元100可确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换。候选变换为不同变换类型，且在一些实例中，预测处理单元100基于经编码视频块的大小确定多个变换子集。
在一些实例中，视频数据存储器101存储多个变换子集，且预测处理单元100可从所存储变换子集确定多个变换子集。在一些实例中，视频数据存储器101可存储所有变换，且预测处理单元100可以预定义方式构建变换子集。候选变换的实例包含DCT-I至DCT-VIII、DST-I至DST-VIII、KLT变换等等。在一些实例中，多个变换子集包含三个或三个以上变换子集。
预测处理单元100可针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集及针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集。当前变换块可为变换处理单元104产生的变换块且变换处理单元104将对其应用变换。
预测处理单元100可从所选择第一变换子集确定左变换并从所选择第二变换子集确定右变换。举例来说，预测处理单元100可测试所选择变换子集中的变换中的每一者并确定哪一变换提供最佳视频译码。预测处理单元100可确定提供最佳视频译码的相应变换为左变换及右变换。
变换处理单元104可基于左变换、右变换及当前变换块确定当前系数块。举例来说，变换处理单元104可执行以下方程式：Y＝C*X*RT，其中C为左变换，R为右变换，X为当前变换块，且Y为所得当前系数块。
如果视频块(例如，CU或PU)经帧内预测编码，那么预测处理单元100可确定视频块的帧内预测模式。预测处理单元100可基于所确定帧内预测模式选择第一变换子集，并基于所确定帧内预测模式选择第二变换子集。
如果视频块(例如，CU或PU)经帧间预测编码，那么预测处理单元100可确定视频块中的当前变换块的位置(例如，确定变换块是否用于从视频块中的特定位置产生的残差)。预测处理单元100可基于所确定的当前变换块的位置选择第一变换子集，并基于所确定的当前变换块的位置选择第二变换子集。
对于帧内预测或帧间预测，在一些实例中，预测处理单元100可产生熵编码单元118以用信号发送(例如，在位流中产生)对第一变换子集的第一变换子集索引以识别用于确定当前系数块的第一变换子集中的变换，并用信号发送(例如，在位流中产生)对第二变换子集的第二变换子集索引以识别用于确定当前系数块的第二变换子集中的变换。在一些实例中，预测处理单元100可确定当前系数块中的非零系数的数目。在这些实例中，预测处理单元100可使得熵编码单元118以基于大于阈值的非零系数的数目而用信号发送第一变换子集索引，并基于大于阈值的非零系数的数目用信号发送第二变换子集。如果非零系数的数目小于阈值，那么预测处理单元100可不使得熵编码单元118用信号发送第一及第二变换子集中的索引。
在一些实例中，第一变换子集或第二变换子集中的至少一者包含不同于离散余弦变换(DCT)-II变换及离散正弦变换(DST)-VII变换的变换。在一些实例中，第一变换子集及第二变换子集包含不同变换(例如，第一变换子集中的至少一个变换并不在第二变换子集中，或反之亦然)。
量化单元106可量化系数块中的转换系数。量化过程可减少与转换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位转换系数舍入至m位转换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息的损失；因此，经量化转换系数相较于原始转换系数可具有较低精确度。
逆量化单元108及逆转换处理单元110可分别将逆量化及逆转换应用于系数块，以从系数块重建残差块。重建单元112可将经重建的残差块添加到来自由预测处理单元100产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建的转换块。通过以这种方式重建CU的每一TU的转换块，视频编码器20可重构CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。在滤波器单元114对经重建的译码块执行一或多个解块操作之后，经解码图片缓冲器116可存储经重建的译码块。帧间预测处理单元120可使用含有经重建的译码块的参考图片，以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建的译码块，以对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块(例如，指示用于重建视频块的当前系数块的系数的信息)且可从预测处理单元100接收语法元素(例如，对第一及第二变换子集的索引)。熵编码单元118可对数据执行一或多个熵编码操作，以产生经熵编码的数据。举例来说，熵编码单元118可对数据执行上下文自适应性可变长度译码(CAVLC)操作、CABAC操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含通过熵编码单元118产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
在实例技术中，预测处理单元100确定预测性块，且在熵编码单元118输出的视频位流中基于预测性块产生指示视频块的预测模式的信息。预测模式指示视频块是经帧内预测还是帧间预测。举例来说，预测性块为基于经帧内预测的视频块而处于与所述视频块相同的图片中或基于经帧间预测的所述视频块而处于与包含所述视频块的图片不同的图片中的块。残差产生单元102可确定当前变换块为视频块与预测性块之间的残差。
图6为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释的目的而提供图6，且其并不限制本发明中所广泛例示及描述的技术。出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
视频解码器30表示可经配置以执行根据本发明中描述的各种实例的技术的装置的实例。在图6的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158、滤波器单元160及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包括较多、较少或不同功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)从计算机可读媒体16(例如，从本地视频源(例如，相机))通过视频数据的有线或无线网络通信或者通过存取实体数据存储媒体而获得存储于视频数据存储器151中的视频数据。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于视频解码器30(例如)以帧内或帧间译码模式解码视频数据的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独的存储器装置提供视频数据存储器151及经解码图片缓冲器162。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于所述组件在芯片外。
经译码图片缓冲器(CPB)可接收并存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB接收经编码视频数据(例如，NAL单元)并剖析NAL单元以解码语法元素。熵解码单元150可熵解码NAL单元中的经熵编码的语法元素。预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码图块NAL单元。作为解码位流的部分，熵解码单元150可从经译码图块NAL单元提取语法元素并对所述语法元素进行熵解码。经译码图块中的每一者可包含图块标头及图块数据。图块标头可含有关于图块的语法元素。图块标头中的语法元素可包含识别与含有图块的图片相关联的PPS的语法元素。
除了解码来自位流的语法元素之外，视频解码器30可对未分割的CU执行重建操作。为了对未分割的CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过针对CU的每一TU执行重构操作，视频解码器30可重建CU的残差块。
作为对CU的TU执行重建操作的部分，逆量化单元154可对与TU相关联的系数块进行逆量化(即，解量化)。逆量化单元154可使用与TU的CU相关联的QP值来确定量化程度且同样地确定逆量化单元154应用的逆量化程度。即，可通过调整在量化变换系数时使用的QP值来控制压缩比，即，用以表示原始序列及经压缩序列的位数目的比率。压缩比也可取决于所采用的熵译码的方法。
在逆量化单元154对系数块进行逆量化之后，逆变换处理单元156可将一或多个逆变换应用于系数块，以便产生与TU相关联的残差块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
在本发明中描述的技术中，预测处理单元152可确定逆变换处理单元156将应用的左变换及右变换。举例来说，预测处理单元152可确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换。候选变换为不同变换类型，且在一些实例中，预测处理单元152基于经解码的视频块的大小确定多个变换子集。
在一些实例中，视频数据存储器151存储多个变换子集，且预测处理单元152可从所存储变换子集确定多个变换子集。在一些实例中，视频数据存储器151可存储所有变换，且预测处理单元152可以预定义方式构建变换子集。在一些实例中，预测处理单元152可从位流接收识别变换子集的信息。候选变换的实例包含DCT-I至DCT-VIII、DST-I至DST-VIII、KLT变换等等。在一些实例中，多个变换子集包含三个或三个以上变换子集。
预测处理单元152可针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集，并针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集。预测处理单元152可从所选择第一变换子集确定左变换并从所选择第二变换子集确定右变换。
逆变换处理单元156可基于左变换、右变换及当前系数块确定当前变换块。举例来说，逆变换处理单元156可执行以下方程式的相逆者：Y＝C*X*RT，其中Y为系数块，C为左变换，X为变换块且R为右变换。并且，在本发明中，应理解，逆变换处理单元156应用视频编码器20所应用的变换的相逆者，但为了简单，视频解码器30经描述为应用变换。
预测处理单元152可基于当前变换块及预测性块重建(例如，帧内预测或帧间预测解码)视频块。举例来说，如果使用帧内预测来编码PU，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于在空间上相邻的PU的预测块而产生PU的预测性明度、Cb及Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素而确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素而构建第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果PU是使用帧间预测来编码，那么熵解码单元150可提取用于PU的运动信息。运动补偿单元164可基于PU的运动信息而确定PU的一或多个参考区域。运动补偿单元164可基于用于PU的一或多个参考块处的样本块产生用于PU的预测性明度、Cb及Cr块。
在本发明中描述的实例中，所述技术适用于视频块经帧内预测或帧内预测的情况。举例来说，当块经帧内预测时，帧内预测模式可用于确定变换子集。当块经帧间预测时，其位置可用于确定变换子集。因此，实例技术适用于在帧内预测模式中的任一者中经帧内预测或经单向或双向帧间预测的视频块。
此外，实例技术不限于帧内预测或帧间预测，且也可经扩展至块内复制(IBC)模式。在IBC模式中，用于形成预测性块的参考块在与经编码的视频块相同的图片中，且由块向量识别。在IBC模式中，作为几个实例，变换子集可选自视频块的位置、参考块的位置或块向量。
重建单元158可在适用时使用与CU的TU相关联的明度变换块、Cb变换块及Cr变换块以及CU的PU的预测性明度块、Cb块及Cr块(即，帧内预测数据或帧间预测数据)来重建CU的明度译码块、Cb译码块及Cr译码块。举例来说，重建单元158可将明度变换块、Cb变换块及Cr变换块的样本添加到预测性明度块、Cb块及Cr块的对应样本，以重建CU的明度译码块、Cb译码块及Cr译码块。
滤波器单元160可执行解块操作以减少与CU的明度译码块、Cb译码块及Cr译码块相关联的块伪影。视频解码器30可将CU的明度译码块、Cb译码块及Cr译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如，图1的显示装置32)上呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的明度块、Cb块及Cr块对其它CU的PU执行帧内预测操作或帧间预测操作。
在一些实例中，在视频块将经帧内预测解码的情况下，预测处理单元152可确定视频块的帧内预测模式。预测处理单元152可基于所确定的帧内预测模式选择第一变换子集，并基于所确定的帧内预测模式选择第二变换子集。
在视频块将经帧间预测解码的情况下，预测处理单元152可确定视频块中的当前变换块的位置(例如，确定系数块是否用于从视频块中的特定位置产生的残差)。预测处理单元152可基于所确定的当前变换块的位置选择第一变换子集，并基于所确定的当前变换块的位置选择第二变换子集。
在一些实例中，预测处理单元152可接收对第一变换子集的第一变换子集索引，并接收对第二变换子集的第二变换子集索引。在这些实例中，预测处理单元152可基于通过第一变换子集索引识别的第一变换子集中的变换来确定左变换，并基于通过第二变换子集索引识别的第二变换子集中的变换来确定右变换。
然而，预测处理单元152可能不需要接收第一变换子集及第二变换子集中的索引。举例来说，预测处理单元152可确定当前系数块中的非零系数的数目小于阈值。在这些情况下，响应于确定当前系数块中的非零系数的数目小于阈值，在不接收对第一变换子集的变换子集索引的情况下，预测处理单元152可确定在第一变换子集中识别的第一变换为左变换，且响应于确定当前系数块中的非零系数的数目小于阈值，在不接收对第二变换子集的变换子集索引的情况下，确定在第二变换子集中识别的第一变换为右变换。
并且，预测处理单元152可不必在所有情况下从变换子集确定变换。在一些实例中，预测处理单元152可接收指示包含当前变换块的块的所有变换块并非是使用相同变换来变换的旗标。在这些实例中，预测处理单元152可选择第一变换及第二变换，并响应于接收指示包含当前变换块的块的所有变换块并非是使用相同变换来变换的旗标，从相应第一变换及第二变换确定左变换及右变换。块的实例包含译码树型单元(CTU)、译码单元(CU)或预测单元(PU)。
在一些实例中，第一变换子集或第二变换子集中的至少一者包含不同于离散余弦变换(DCT)-II变换及离散正弦变换(DST)-VII变换的变换。在一些实例中，第一变换子集及第二变换子集包含不同变换(例如，第一变换子集中的至少一个变换并不在第二变换子集中，或反之亦然)。
在实例技术中，视频解码器30可从位流接收指示预测模式的信息(例如，视频块是经帧内预测还是帧间预测)，并从位流接收指示当前系数块的系数的信息。预测处理单元152可基于预测模式确定预测性块，且逆变换单元156或预测处理单元152可基于所接收的指示系数的信息构建系数块。预测模式为帧间预测模式或帧内预测模式中的一者，且当前变换块为视频块及预测性块的残差。
上文所描述的技术可通过视频编码器20(图4及5)及/或视频解码器30(图4及6)执行，所述两者通常可被称作视频译码器。同样地，在适用时，视频译码可指视频编码或视频解码。另外，视频编码及视频解码一般可被称作“处理”视频数据。
在以下子部分中，将提供以上技术的实例。实务上，实例的任何部分的任何组合可被用作新的实例技术。
下文描述构建额外候选变换列表的实例。除将DCT-II始终应用于所有所包含的TU的默认变换方法外，对于每一TU，给定所选择变换集合，可构建额外候选变换方法。在一个实例中，帧内及帧间预测残差的额外候选变换列表经构建如下：首先，变换集合被定义为变换类型的集，例如，实例变换集合可被定义为包含两个类型的变换(即，DCT-II及DST-VII)的{DCT-II,DST-VII}。基于两个给定变换集合，可通过从第一变换集合选择一个变换类型作为水平变换且从第二变换集合选择另一变换类型作为垂直变换而产生不同的变换方法。举例来说，当变换集合0{DCT-II,DST-VII}用于水平变换，且变换集合1{DCT-VIII,DST-VII}用于垂直变换时，可产生共计四个变换方法如下：
表1：基于变换集合{DCT-II,DST-VII}的四个变换方法
变换方法1 变换方法2 变换方法3 变换方法4
水平变换 DCT-II DCT-II DST-VII DST-VII
垂直变换 DCT-VIII DST-VII DCT-VIII DST-VII
对于帧内预测残差，定义共计三个变换子集，包含：变换子集0：{DST-VII,DCT-VIII}，变换子集1：{DST-VII,DST-I}及变换子集2：{DST-VII,DCT-V}。对于用于水平变换及垂直变换的变换集合的选择取决于帧内预测模式，如下表2中所示，
表2：帧内预测模式与变换集合之间的映射表
帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
RightTransSubsetldx 2 1 0 1 0 1 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 1 0 1 2 2 2 2 2 1 0 1 0 1 0
LeftTransSubsetldx 2 1 0 1 0 1 0 1 2 2 2 2 2 1 0 1 0 1 0 1 0 1 0 1 0 0 0 0 0 1 0 1 0 1 0
举例来说，对于帧内模式10，水平(右)变换的候选变换类型来自包含DST-VII及DCT-VIII的变换集合0，且垂直(左)变换的候选变换类型来自包含DST-VII及DCT-V的变换集合2。因此，帧内模式10的额外候选变换列表最终如表3中所示构建，其中产生共计四个变换方法
表3：基于表2的帧内预测模式10的四个变换方法的实例
变换方法1 变换方法2 变换方法3 变换方法4
水平变换 DST-VII DST-VII DCT-VIII DCT-VIII
垂直变换 DST-VII DCT-V DST-VII DCT-V
根据表2，对于每一TU，给定帧内预测模式，可产生共计四个变换方法。对于帧间预测残差，同一变换集合{DST-VII,DCT-VIII}用于水平变换及垂直变换。因此，对于每一TU，如表4中所示构建额外候选变换列表。
表4：用于帧间预测残差的四个变换方法
变换方法1 变换方法2 变换方法3 变换方法4
水平变换 DST-VII DST-VII DCT-VIII DCT-VIII
垂直变换 DST-VII DCT-VIII DST-VII DCT-VIII
以下描述是指示符信号发送的实例。为适应性地适于不同内容，在CU级别及TU级别处用信号发送关于变换使用的指示符。CU级别指示符为指示默认DCT-II是否应用于包含于当前CU中的所有TU的一位旗标。如果一位旗标为0，那么仅默认DCT-II可应用于包含于当前CU中的所述TU；否则，二位TU级别指示符可针对每一TU进一步用信号发送，且第一位指定来自给定变换集合的哪一变换类型经应用为水平变换，且第二位指定来自给定变换集合的哪一变换类型经应用为垂直变换。
对于帧内预测残差，在系数之后用信号发送TU级别指示符，且当TU的非零系数的总数目不大于2时，TU级别指示符未用信号发送且经导出为0。否则，TU级别指示符经明确地用信号发送。对于帧间预测残差，可在系数之前或之后用信号发送TU级别指示符，且当TU中不存在非零系数时，不用信号发送TU级别指示符。
在下文中提供所提出实例的基于HEVC的语法、语义。在以下语法中，分量的灰化用于指示语法中的潜在变化或以其它方式辅助理解。
变换树语法
替代地，add_multi_transform_flag可不依赖cbf_luma而用信号发送。
这等效于发送译码单元中的旗标。
变换树语义
add_multi_transform_flag[x0][y0]指定增强型多重变换是否应用于包含于当前CU中的每一TU，当add_multi_transform_flag[x0][y0]为0时，DCT-II始终应用于包含于当前CU中的每一TU，否则，left_transform_flag及right_transform_flag可经进一步用信号发送以用于每一TU指定应用于属于当前变换树的TU的左变换及右变换。当不存在add_multi_transform_flag[x0][y0]时，推断其等于0。
残差译码语法
残差译码语义
left_transform_flag[x0][y0]指定应用于当前TU的左变换的变换索引，当不存在时，left_transform_flag[x0][y0]经推断为0。
right_transform_flag[x0][y0]指定应用于当前TU的右变换的变换索引，当不存在时，right_transform_flag[x0][y0]经推断为0。
用于导出左变换及右变换的解码过程
-如果CuPredMode[x0][y0]＝＝MODE_INTRA，给定帧内模式值IntraPredModeY[xPb][yPb]，那么基于下表导出LeftTransSubsetIdx及RightTransSubsetIdx的值：
帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
RightTransSubsetldx 2 1 0 1 0 1 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 1 0 1 2 2 2 2 2 1 0 1 0 1 0
LeftTransSubsetldx 2 1 0 1 0 1 0 1 2 2 2 2 2 1 0 1 0 1 0 1 0 1 0 1 0 0 0 0 0 1 0 1 0 1 0
-给定LeftTransSubsetIdx及left_tranform_flag的值，使用下表导出左变换：
-给定RightTransSubsetIdx及right_tranform_flag的值，使用下表导出左变换：
-否则(CuPredMode[x0][y0]！＝MODE_INTRA)，执行以下内容：
-给定值left_tranform_flag，使用下表导出左变换：
-给定值right_tranform_flag，使用下表导出右变换：
下文为应用增强型多重变换及大变换的实例。对于通过视频编码器20执行的编码过程，在一个实例中，对于小于(或等于)32×32的每一CU，对当前CU进行两次译码。在第一遍次中，仅使用DCT-II来译码当前CU。用于译码整个CU的速率失真成本经记录为RDcost_CU_DCT；及用于译码PU的每一帧内预测模式的速率失真成本经记录为RDcost_PU_DCT[i][p]，其中ⅰ指示当前CU内部的帧内预测模式的索引，且p指示当前CU内部的PU的索引。基于由p索引的当前PU的速率失真优化的最优帧内预测模式表示为IPM[p]。
在第二遍次中，使用下文描述的多重变换再次译码当前CU。对于通过当前CU的p'所索引的每一所包含的PU，执行以下内容。对于每一候选帧内预测模式i'，如果RDcost_PU_DCT[i'][p']>RDcost_PU_DCT[IPM[p']][p']，那么跳过帧内预测模式i'且不选择帧内预测模式i'作为当前PU的最优帧内预测模式。否则，针对包含于当前PU中的每一TU执行以下内容。
对于当前PU内部的每一TU，给定当前候选帧内预测模式，根据以上实例，选择2个候选右(R)变换及2个候选左(L)变换，因此共计4个不同R及L变换组合。随后，使用速率失真成本测试每一候选R及L变换组合。
在这个过程期间，如果一个R及L变换组合产生零系数(例如，零值或无系数)，那么跳过残差的L及R变换组合且不选择残差的L及R变换组合作为最优R及L变换组合。选择具有最小速率失真成本的R及L变换组合作为实际变换以编码当前残差块。另外，在选择组合R及L变换的以上过程期间，如果一个候选R及L变换组合产生不超过2个的非零系数，那么不选择其作为最优变换组合，除非R变换及L变换两者为DST-VII变换。
当针对当前CU内部的所有PU进行以上过程之后，那么用于译码整个CU的速率失真成本经记录为RDcost_CU_EMT。如果RDcost_CU_DCT小于RDcost_CU_EMT，那么一个旗标add_multi_transform_flag经条件性地用信号发送为0，如以上实例中所描述，且使用DCT-II编码所有所包含的TU。否则，add_multi_transform_flag经条件性地用信号发送为1，如以上实例中所描述，且对于每一所包含的TU，当如以上实例所描述信令系数之后，条件性地用信号发送left_transform_flag及另一旗标right_transform_flag以指示选择哪些左变换及右变换以用于编码当前TU。
下文描述通过视频解码器30执行的解码过程的实例。在一个实例中，对于小于(或等于)32×32的每一CU，一位旗标add_multi_transform_flag经条件性地用信号发送，如以上实例中所描述。仅当变换深度为0且明度分量的经译码块旗标(CBF)值为0时不用信号发送这个旗标，否则，始终用信号发送所述旗标。
如果add_multi_transform_flag为0，那么仅DCT-2应用于所有所包含的TU，否则，执行以下内容。对于每一TU，在如以上实例中所描述信令系数之后，条件性地用信号发送一位旗标left_transform_flag及另一旗标right_transform_flag。下文描述是否用信号发送left_transform_flag及right_transform_flag的条件。
在当前CU经帧内译码时，非零系数的总数目小于(或等于)2时，不用信号发送left_transform_flag及right_transform_flag。否则，用信号发送left_transform_flag及right_transform_flag。
否则，在当前CU不经帧内译码时，不存在非零系数时，不用信号发送left_transform_flag及right_transform_flag。否则，用信号发送left_transform_flag及right_transform_flag。
对于每一TU，给定用信号发送的left_transform_flag及right_transform_flag，如以上实例中所描述导出左变换及右变换。在当前CU大于32×32时，对于具有同一64×64大小的每一TU，执行变换，如下文关于更大大小的TU的实例更详细地描述。
下文为基于帧内预测模式构建额外变换列表的另一替代案的实例。除始终对所有所包含的TU应用DCT-II的默认变换方法外，对于每一TU，额外候选变换DST-VII可经应用如下。给定当前TU的帧内预测模式(表示为IPM)，应用于这个TU上的左变换及右变换经指定如下。如果(IPM&1)等于1，那么DCT-II经应用为用于当前TU的左变换及右变换；否则((IPM&1等于0)，DST-VII经应用为用于当前TU的左变换及右变换。
上文描述用于确定待使用的变换的实例技术。下文描述用于支持较大大小的变换的实例。举例来说，支持64×64变换为有利的，尤其对于译码具有较大分辨率(例如，1080p及4K)的视频如此。为支持64×64变换，同时约束视频编码器20及视频解码器30的复杂度为重要的，且但可进行各种方式以实现所述情况，可获得更好的解决方案。
实际应用的N×N变换矩阵可为缩放原始浮点变换矩阵之后的整数点近似，且缩放可大于64*log2N，包含(但不限于)s*log2N，其中s可为128或256。在一个实例中，水平变换及垂直变换之后的所得变换系数通过应用额外右位移操作保持于16位表示内。额外右位移操作包含(但不限于)将垂直及水平逆/正变换之后的所得变换系数右位移额外log2(s/64)个位。
可应用大于32点变换的变换大小，包含(但不限于)残差块上的64点、128点、256点。当M点及N点变换分别应用于水平变换及垂直变换(其中M及N为整数且M可与N相同或不相同)时，仅用信号发送所得M×N系数块内部的左上X×Y较低频率系数(其中X<M及Y<N)，且不用信号发送残差系数并导出残差系数为0。
就上下文模型化而言，所得M×N系数块内部的最末非零系数的位置可通过再使用用于S×T块(其中X≤S≤M且Y≤T≤N)的最末非零系数位置译码的相同逻辑而译码。为使超出X×Y的系数归零，可针对LastSignificantCoeffY及LastSignificantCoeffX引入约束条件。举例来说，LastSignificantCoeffX(LastSignificantCoeffY)的值可小于X(Y)。X及Y的值可为常数，例如32，或取决于变换大小，例如X＝M/2，Y＝N/2。对于64点变换，X及Y的典型值为32。
在一个实例中，可预定义及使用用于M×N的一或多个CG(译码分组)扫描次序。然而，对于所得M×N系数块的左上X×Y区域外侧的CG，跳过用信号发送每一CG中是否存在至少一个非零系数的CG级别旗标且未译码所述旗标。替代地或另外，对于所有W×H个CG，其中W及H的典型值为4，遵循用于X×Y区域的扫描次序来译码CG，所述扫描次序包含(但不限于)(M/W)×(N/H)包含对角线、曲折、水平或垂直扫描次序。替代地或另外，所有CG经分组于W'×H'单元中，其中W'为W的倍数且H'为H的倍数，所述W'×H'单元遵循扫描次序而经译码，所述扫描次序包含(但不限于)(M/W’)×(N/H’)对角线、曲折、水平或垂直扫描次序，每一W×H单元内的CG遵循扫描次序而经译码，所述扫描次序包含(但不限于)(W'/W)×(H'/H)对角线、曲折、水平或垂直扫描次序。
为支持译码对应于64×64、128×128或256×256的变换大小的RQT深度，可针对对应于大于32×32的变换大小的RQT深度值共享用于译码取决于变换大小的RQT***旗标的CABAC上下文。举例来说，对于特定RQT深度情况，包含(但不限于)对应于变换大小64×64及32×32的RQT深度值，相同CABAC上下文可应用于译码RQT***旗标。
下文为针对64×64变换执行32×32归零的实例。可存在对于最末位置的约束条件，其中last_sig_coeff_x_suffix指定变换块内的扫描次序中的最末有效系数的列位置的后缀。last_sig_coeff_x_suffix的包含性值应在0至(1<<((last_sig_coeff_x_prefix>>1)-1))-1的范围内。变换块内的扫描次序中的最末有效系数的列位置LastSignificantCoeffX经导出如下。如果不存在last_sig_coeff_x_suffix，那么以下内容适用：LastSignificantCoeffX＝last_sig_coeff_x_prefix，否则(last_sig_coeff_x_suffix存在)，以下内容适用：LastSignificantCoeffX＝(1<<((last_sig_coeff_x_prefix>>1)-1))*(2+(last_sig_coeff_x_prefix&1))+last_sig_coeff_x_suffix。
语法元素last_sig_coeff_y_suffix指定变换块内的扫描次序中的最末有效系数的行位置的后缀。last_sig_coeff_y_suffix的包含性的值应在(包含)0至(1<<((last_sig_coeff_y_prefix>>1)-1))-1的范围内。变换块内的扫描次序中的最末有效系数的行位置LastSignificantCoeffY经导出如下。如果不存在last_sig_coeff_y_suffix，那么下文使用：LastSignificantCoeffY＝last_sig_coeff_y_prefix，否则(存在last_sig_coeff_y_suffix)，下文适用：LastSignificantCoeffY＝(1<<((last_sig_coeff_y_prefix>>1)-1))*(2+(last_sig_coeff_y_prefix&1))+last_sig_coeff_y_suffix。
当scanIdx等于2时，坐标调换如下(LastSignificantCoeffX,LastSignificantCoeffY)＝Swap(LastSignificantCoeffX,LastSignificantCoeffY)。LastSignificantCoeffX或LastSignificantCoeffY的值应小于32。
下文为用于用信号发送有效CG及有效系数的条件。
残差译码语法
下文描述重叠块运动补偿(OBMC)的实例。在ITU-T H.263的研发中提出OBMC。参见用于低位速率通信的视频译码的文件(Rec.H.263，ITU-T，1995年4月)。在8×8块上执行OBMC，且两个已连接的相邻8×8块的运动向量用于当前块，如图8A及8B中所展示。举例来说，对于当前宏块中的第一8×8块，除其自身运动向量外，上相邻运动向量及左相邻运动向量也经应用以产生两个额外预测块。以这种方式，当前8×8块中的每一像素具有三个预测值，且这三个预测值的加权平均数用作对相应像素的最终预测。
当相邻块不经译码或经译码为帧内(即，相邻块不具有可用运动向量)时，当前8×8块的运动向量用作相邻运动向量。同时，对于当前宏块的第三及第四8×8块(如图7中所展示)，可不使用下相邻块(例如，总是不使用或不总是使用)。换言之，在一些实例中，对于每一MB，在OBMC期间，将不使用来自其下方的MB的运动信息来重建当前MB的像素。
下文描述如HEVC中所提出的OBMC。在HEVC中，在2011年11月18日申请的美国临时申请案第61/561,783号、2012年11月15日申请的美国申请案第13/678,329号、2011年1月10日申请的美国临时申请案第61/431,480号、2011年3月8日申请的美国临时申请案第61/450,532号及2011年12月6日申请的美国申请案第13/311,834号中，也提出OBMC以使PU边界平滑。图8A及8B中展示HEVC中所提出的方法的实例，其中白色区域为通过PU0表示的第一预测单元(PU)，且灰色区域为表通过PU1)表示的第二PU。当CU含有两个(或更多)PU时，通过OBMC使靠近PU边界的行/列平滑。对于PU0或PU1中的用“A”或“B”标记的像素，产生两个预测值(即，通过分别应用PU0及PU1的运动向量)，且其加权平均数用作最终预测。
另外，在2015年1月26日申请的美国临时申请案第62/107,964号及2015年2月16日申请的美国临时申请案第62/116,631号中，已提出指示OBMC是否应用于当前CU的CU-级别旗标(即OBMC旗标)。
观测到当OBMC不应用于一个译码单元(例如，用信号发送的旗标为0)时，除DCT-II外的变换是无效的。因此，用于指示多重变换的使用的额外信令为冗余的。
如所描述，视频编码器20可用信号发送(例如，在位流中产生)CU-级别旗标以指示是否启用OBMC而用于当前CU。在一些实例中，当这个OBMC旗标已用信号发送为1(指示OBMC经启用而用于当前CU)时，仅默认DCT-II用于每一TU，且因此视频编码器20可不用信号发送用于变换选择的任何事物，即，既不用信号发送CU-级别旗标也不用信号发送TU-级别索引。
下文描述优化视频编码器20的实例。举例来说，以下实例可用于视频编码器20。然而，对于视频解码器30而言，执行类似技术是可能的。
在编码器(例如，视频编码器20)处，当所提出的多重变换应用于当前TU时，对于大于或等于M×N的变换大小，仅计算M'×N'低频系数，且其它系数经设定为0，其中(M'<＝M及N'<＝N及M'*N'<M*N)。在一个实例中，M及N中的每一者的值为32，且M'及N'中的每一者的值为16。在这个实例中，定位于大于M'及/或大于N'的位置处的系数可被视为较高频率系数。通常，比TU的右边更远及比TU的底部更远的系数可被视为较高频率系数。
在编码器处，对于某一译码模式，如果使用默认变换(例如，DCT-II)的译码成本大于当前最小译码成本乘以给定阈值，那么跳过所提出的多重变换。译码成本可为速率失真成本、绝对预测残差的总和、平方预测残差的总和或绝对变换差的总和。阈值可取决于译码块大小。在一个实例中，阈值的值为1.1。
在编码器处，对于某一帧内预测方向模式，如果使用默认变换(例如DCT-II)的译码成本大于最佳帧内预测方向模式的译码成本乘以给定阈值，那么不对这个帧内预测模式应用所提出的多重变换且跳过所述多重变换。译码成本可为速率失真成本、绝对预测残差的总和、平方预测残差的总和或绝对变换差的总和。阈值可取决于译码块大小。在一个实例中，对于4×4、8×8、16×16及32×32块大小，阈值的值分别为1.47、1.28、1.12及1.06。
在编码器处，如果使用默认变换(例如，DCT-II)的N×N帧内PU分割区的译码成本大于2N×2N帧内PU分割区的译码成本乘以给定阈值，那么不对N×N帧内PU分割区应用所提出的多重变换且跳过所述多重变换。译码成本可为速率失真成本、绝对预测残差的总和、平方预测残差的总和或绝对变换差的总和。阈值可取决于译码块大小。在一个实例中，阈值的值为1.2。
在编码器处，如果使用默认变换(例如，DCT-II)的2N×2N帧内PU分割区模式的译码成本大于最佳帧间译码模式的译码成本乘以给定阈值，那么不对帧内PU模式应用所提出的多重变换且跳过所述多重变换。译码成本可为速率失真成本、绝对预测残差的总和、平方预测残差的总和或绝对变换差的总和。阈值可取决于译码块大小。在一个实例中，阈值的值为1.4。
在编码器处，如果使用多重变换候选中的一者产生用于当前块的全零系数，那么不对当前块应用残差变换候选且跳过所述残差变换候选。替代地或另外，如果使用默认变换(例如，DCT-II)产生用于当前块的全零系数，那么不对当前块应用多重变换候选且跳过所述多重变换候选，且仅默认变换(例如，DCT-II)用于译码当前块。
在编码器处，当已用信号发送OBMC旗标且其指示OBMC关闭时，那么指示是否仅应用一个默认变换的一位旗标仍用信号发送为默认值(例如，0)，所述旗标指示应用默认变换(例如，DCT-II)，且不对当前块应用多重变换候选且跳过所述多重变换候选。
图9为说明解码视频数据的实例方法的流程图。视频解码器30可确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换200。举例来说，预测处理单元152可从存储于视频数据存储器151中的变换子集检索多个变换子集。多个变换子集可经预存储于视频数据存储器151中，或可从视频编码器20接收识别如何构建变换子集的信息。视频解码器30可针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集，并针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集202。举例来说，预测处理单元152可基于在视频位流中用信号发送的帧内预测模式信息或基于以几种实例方式解码的视频块的位置来选择第一及第二变换子集从而确定变换子集。
视频解码器30可从所选择的第一变换子集确定左变换，且从所选择的第二变换子集确定右变换204。举例来说，预测处理单元152可接收位流中的信息(例如，对所选择变换子集的索引)或可隐含地基于非零系数的数目确定变换。视频解码器30可基于左变换、右变换及当前系数块确定当前变换块206。举例来说，逆变换处理单元156可通过应用左变换及右变换于由逆量化单元154输出的系数块上来确定当前变换块。视频解码器30可基于当前变换块及预测性块重建(例如，帧内预测或帧间预测解码)视频块208。举例来说，重建单元158可添加当前变换块(其为视频块与预测性块之间的残差)至预测性块以重建视频块。
图10为说明编码视频数据的实例方法的流程图。视频编码器20可确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换300。举例来说，预测处理单元100可从存储于视频数据存储器101中的变换子集检索多个变换子集。多个变换子集可经预存储于视频数据存储器101中。视频编码器20可针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集并针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集302。举例来说，预测处理单元100可基于熵编码单元118在视频位流中产生的帧内预测模式信息或基于以几种实例方式编码的视频块的位置来选择第一及第二变换子集从而确定变换子集。
视频编码器20可从所选择的第一变换子集确定左变换，且从所选择的第二变换子集确定右变换304。举例来说，预测处理单元100可测试各种确定变换以识别提供良好视频译码品质的变换。视频编码器20可基于左变换、右变换及当前系数块确定当前变换块306。举例来说，变换处理单元104可通过应用左变换及右变换于由重建单元102输出的变换块上来确定当前系数块。视频编码器20可产生具有指示用于重建视频块的当前系数块的系数的信息(例如，信号信息)的视频位流308。举例来说，熵编码单元118可输出视频解码器30用以重建视频块的信息。
应理解，本文所描述的所有技术可单独地或以组合方式使用。本发明包含可取决于某些因素(例如，块大小、图块类型等)改变的若干用信号发送的方法。在用信号发送或推断语法元素中的这类变化事先可对编码器及解码器已知或可在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图块标头中在图案块级别或其它处经明确地用信号发送。
将认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行，可添加、合并或完全省略所述动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践都是必要的)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而不是依序地执行动作或事件。另外，尽管出于清晰的目的将本发明的某些方面描述为通过单一模块或单元执行，但应理解，本发明的技术可通过与视频译码器相关联的单元或模块的组合来执行。
尽管在上文描述技术的各种方面的特定组合，但提供这些组合仅为了说明本发明中所描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想组合。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或通过计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体。以这种方式，计算机可读媒体通常可对应于非暂时性的有形计算机可读存储媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存或可用以存储呈指令或数据结构形式的所要代码且可由计算机存取的任何其它媒体。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为针对非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用雷射以光学方式再生数据。以上的组合也应包含于计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文中所描述的功能性可提供在经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以多种装置或设备予以实施，所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如，芯片集合)。本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必需要通过不同硬件单元来实现。确切而言，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件及/或固件来提供所述单元。
已描述各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (60)

1.一种解码视频数据的方法，所述方法包括：
确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；
针对所述视频数据的当前系数块的左变换从所述多个变换子集选择第一变换子集；
针对所述视频数据的所述当前系数块的右变换从所述多个变换子集选择第二变换子集；
从所述经选择的第一变换子集确定所述左变换；
从所述经选择的第二变换子集确定所述右变换；
基于所述左变换、右变换及所述当前系数块确定当前变换块；及
基于所述当前变换块及预测性块重建视频块。
2.根据权利要求1所述的方法，其进一步包括：
基于所述视频块的预测模式为帧内预测而确定所述视频块的帧内预测模式，
其中选择所述第一变换子集包括基于所述经确定的帧内预测模式选择所述第一变换子集，
其中选择所述第二变换子集包括基于所述经确定的帧内预测模式选择所述第二变换子集，且
其中重建所述视频块包括基于所述经确定的帧内预测模式重建所述视频块。
3.根据权利要求1所述的方法，其进一步包括：
基于所述视频块的预测模式为帧间预测而确定所述视频块中的所述当前变换块的位置，
其中选择所述第一变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第一变换子集，且
其中选择所述第二变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第二变换子集。
4.根据权利要求1所述的方法，其进一步包括：
接收对所述第一变换子集的第一变换子集索引；及
接收对所述第二变换子集的第二变换子集索引，
其中确定所述左变换包括基于通过所述第一变换子集索引识别的所述第一变换子集中的变换而确定所述左变换，且
其中确定所述右变换包括基于通过所述第二变换子集索引识别的所述第二变换子集中的变换而确定所述右变换。
5.根据权利要求1所述的方法，其进一步包括：
确定所述当前系数块中的非零系数的数目小于阈值，
其中确定所述左变换包括响应于确定所述当前系数块中的非零系数的所述数目小于所述阈值，在不接收对所述第一变换子集的变换子集索引的情况下，确定在所述第一变换子集中识别的第一变换为所述左变换，且
其中确定所述右变换包括响应于确定所述当前系数块中的非零系数的所述数目小于所述阈值，在不接收对所述第二变换子集的变换子集索引的情况下，确定在所述第二变换子集中识别的第一变换为所述右变换。
6.根据权利要求1所述的方法，其进一步包括：
接收指示包含所述当前变换块的块的所有变换块并非是使用相同变换而变换的旗标，
其中针对所述视频数据的所述当前系数块的所述左变换选择所述第一变换子集、针对所述视频数据的所述当前系数块的所述右变换选择所述第二变换子集、从所述经选择的第一变换子集确定所述左变换及从所述经选择的第二变换子集确定所述右变换包括：响应于接收到指示包含所述当前变换块的所述块的所有变换块并非是使用所述相同变换而变换的所述旗标，针对所述视频数据的所述当前系数块的所述左变换选择所述第一变换子集，针对所述视频数据的所述当前系数块的所述右变换选择所述第二变换子集，从所述经选择的第一变换子集确定所述左变换，及从所述经选择的第二变换子集确定所述右变换。
7.根据权利要求6所述的方法，其中所述视频块包括以下中的一者：
译码树型单元CTU、译码单元CU或预测单元PU。
8.根据权利要求1所述的方法，其中所述第一变换子集或所述第二变换子集中的至少一者包含与离散余弦变换DCT-II变换及离散正弦变换DST-VII变换不同的变换。
9.根据权利要求1所述的方法，其中所述第一变换子集及所述第二变换子集包含不同变换类型。
10.根据权利要求1所述的方法，其中所述多个变换子集包括三个或三个以上变换子集。
11.根据权利要求1所述的方法，其中所述候选变换为不同变换类型。
12.根据权利要求1所述的方法，其中确定所述多个变换子集包括基于所述视频块的大小确定所述多个变换子集。
13.根据权利要求1所述的方法，其进一步包括：
从位流接收指示预测模式的信息；
从所述位流接收指示所述当前系数块的系数的信息；
基于所述经接收的指示所述系数的信息构建所述当前系数块；及
基于所述预测模式确定所述预测性块。
14.根据权利要求13所述的方法，其中所述预测模式包括帧间预测模式或帧间预测模式中的一者。
15.根据权利要求1所述的方法，其中所述当前变换块为所述视频块及所述预测性块的残差。
16.一种编码视频数据的方法，所述方法包括：
确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；
针对所述视频数据的视频块的当前变换块的左变换从所述多个变换子集选择第一变换子集；
针对所述视频数据的所述视频块的所述变换块的右变换从所述多个变换子集选择第二变换子集；
从所述经选择的第一变换子集确定所述左变换；
从所述经选择的第二变换子集确定所述右变换；
基于所述左变换、右变换及所述当前变换块确定当前系数块；及
产生包含信息的视频位流，所述信息指示用于重建所述视频块的所述当前系数块的系数。
17.根据权利要求16所述的方法，其进一步包括：
确定所述视频块的帧内预测模式，
其中选择所述第一变换子集包括基于所述经确定的帧内预测模式选择所述第一变换子集，且
其中选择所述第二变换子集包括基于所述经确定的帧内预测模式选择所述第二变换子集。
18.根据权利要求16所述的方法，其进一步包括：
基于所述视频块是帧间预测编码而确定所述视频块中的所述当前变换块的位置，
其中选择所述第一变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第一变换子集，及
其中选择所述第二变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第二变换子集。
19.根据权利要求16所述的方法，其进一步包括：
在所述视频位流中产生对所述第一变换子集的第一变换子集索引以识别用于确定所述当前系数块的所述第一变换子集中的变换；及
在所述视频位流中产生对所述第二变换子集的第二变换子集索引以识别用于确定所述当前系数块的所述第二变换子集中的变换。
20.根据权利要求19所述的方法，其进一步包括：
确定所述当前系数块中的非零系数的数目，
其中用信号发送所述第一变换子集索引包括基于非零系数的所述数目大于阈值而用信号发送所述第一变换子集索引，且
其中用信号发送所述第二变换子集索引包括基于非零系数的所述数目大于所述阈值而用信号发送所述第二变换子集索引。
21.根据权利要求16所述的方法，其中所述第一变换子集或所述第二变换子集中的至少一者包含与离散余弦变换DCT-II变换及离散正弦变换DST-VII变换不同的变换。
22.根据权利要求16所述的方法，其中所述第一变换子集及所述第二变换子集包含不同变换类型。
23.根据权利要求16所述的方法，其中所述多个变换子集包括三个或三个以上变换子集。
24.根据权利要求16所述的方法，其中所述候选变换为不同变换类型。
25.根据权利要求16所述的方法，其中确定所述多个变换子集包括基于所述视频块的大小确定所述多个变换子集。
26.根据权利要求16所述的方法，其进一步包括：
确定所述预测性块；及
基于所述预测性块在所述视频位流中产生指示所述视频块的预测模式的信息。
27.根据权利要求26所述的方法，其中所述预测性块是基于所述视频块是帧内预测而处于与所述视频块相同的图片中或基于所述视频块是帧间预测而处于与包含所述视频块的所述图片不同的图片中的块。
28.根据权利要求16所述的方法，其进一步包括：
确定所述当前变换块是所述视频块与所述预测性块之间的残差。
29.一种用于视频解码视频数据的装置，所述装置包括：
视频数据存储器，其经配置以存储所述视频数据及变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；及
包括集成电路的视频解码器，所述视频解码器经配置以：
从所述经存储的变换子集确定多个变换子集；
针对所述视频数据的当前系数块的左变换从所述多个变换子集选择第一变换子集；
针对所述视频数据的所述当前系数块的右变换从所述多个变换子集选择第二变换子集；
从所述经选择的第一变换子集确定所述左变换；
从所述经选择的第二变换子集确定所述右变换；
基于所述左变换、右变换及所述当前系数块确定当前变换块；及
基于所述当前变换块及预测性块重建视频块。
30.根据权利要求29所述的装置，其中所述视频解码器经配置以基于所述视频块的预测模式为帧内预测而确定所述视频块的帧内预测模式，其中为了选择所述第一变换子集，所述视频解码器经配置以基于所述经确定的帧内预测模式选择所述第一变换子集，其中为了选择所述第二变换子集，所述视频解码器经配置以基于所述经确定的帧内预测模式选择所述第二变换子集，且其中为了重建所述视频块，所述视频解码器经配置以基于所述经确定的帧内预测模式重建所述视频块。
31.根据权利要求29所述的装置，其中所述视频解码器经配置以基于所述视频块的预测模式为帧间预测而确定所述视频块中的所述当前变换块的位置，其中为了选择所述第一变换子集，所述视频解码器经配置以基于所述经确定的所述当前变换块的位置选择所述第一变换子集，且其中为了选择所述第二变换子集，所述视频解码器经配置以基于所述经确定的所述当前变换块的位置选择所述第二变换子集。
32.根据权利要求29所述的装置，其中所述视频解码器经配置以：
接收对所述第一变换子集的第一变换子集索引；及
接收对所述第二变换子集的第二变换子集索引，
其中为了确定所述左变换，所述视频解码器经配置以基于通过所述第一变换子集索引识别的所述第一变换子集中的变换而确定所述左变换，且
其中为了确定所述右变换，所述视频解码器经配置以基于通过所述第二变换子集索引识别的所述第二变换子集中的变换而确定所述右变换。
33.根据权利要求29所述的装置，其中所述视频解码器经配置以：
确定所述当前系数块中的非零系数的数目小于阈值，
其中为了确定所述左变换，所述视频解码器经配置以响应于确定所述当前系数块中的非零系数的所述数目小于所述阈值，在不接收对所述第一变换子集的变换子集索引的情况下，确定在所述第一变换子集中识别的第一变换为所述左变换，且
其中为了确定所述右变换，所述视频解码器经配置以响应于确定所述当前系数块中的非零系数的所述数目小于所述阈值，在不接收对所述第二变换子集的变换子集索引的情况下，确定在所述第二变换子集中识别的第一变换为所述右变换。
34.根据权利要求29所述的装置，其中所述视频解码器经配置以：
接收指示包含所述当前变换块的块的所有变换块并非是使用相同变换而变换的旗标，
其中为了针对所述视频数据的所述当前系数块的所述左变换选择所述第一变换子集、针对所述视频数据的所述当前系数块的所述右变换选择所述第二变换子集、从所述经选择的第一变换子集确定所述左变换及从所述经选择的第二变换子集确定所述右变换，所述视频解码器经配置以响应于接收指示包含所述当前变换块的所述块的所有变换块并非是使用所述相同变换而变换的所述旗标，针对所述视频数据的所述当前系数块的所述左变换选择所述第一变换子集，针对所述视频数据的所述当前系数块的所述右变换选择所述第二变换子集，从所述经选择的第一变换子集确定所述左变换，及从所述经选择的第二变换子集确定所述右变换。
35.根据权利要求34所述的装置，其中所述块包括以下中的一者：
译码树型单元CTU、译码单元CU或预测单元PU。
36.根据权利要求29所述的装置，其中所述第一变换子集或所述第二变换子集中的至少一者包含与离散余弦变换DCT-II变换及离散正弦变换DST-VII变换不同的变换。
37.根据权利要求29所述的装置，其中所述第一变换子集及所述第二变换子集包含不同变换类型。
38.根据权利要求29所述的装置，其中所述多个变换子集包括三个或三个以上变换子集。
39.根据权利要求29所述的装置，其中所述候选变换为不同变换类型。
40.根据权利要求29所述的装置，其中为了确定所述多个变换子集，所述视频解码器经配置以基于所述视频块的大小确定所述多个变换子集。
41.根据权利要求29所述的装置，其中所述视频解码器经配置以：
从位流接收指示预测模式的信息；
从所述位流接收指示所述当前系数块的系数的信息；
基于所述经接收的指示所述系数的信息构建所述当前系数块；及
基于所述预测模式确定所述预测性块。
42.根据权利要求41所述的装置，其中所述预测模式包括帧间预测模式或帧间预测模式中的一者。
43.根据权利要求29所述的装置，其中所述当前变换块为所述视频块及所述预测性块的残差。
44.一种用于编码视频数据的装置，所述装置包括：
视频数据存储器，其经配置以存储所述视频数据及变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；及
视频编码器，其经配置以：
从所述经存储的变换子集确定多个变换子集；
针对所述视频数据的视频块的当前变换块的左变换从所述多个变换子集选择第一变换子集；
针对所述视频数据的所述视频块的所述变换块的右变换从所述多个变换子集选择第二变换子集；
从所述经选择的第一变换子集确定所述左变换；
从所述经选择的第二变换子集确定所述右变换；
基于所述左变换、右变换及所述当前变换块确定当前系数块；及
产生包含信息的视频位流，所述信息指示用于重建所述视频块的所述当前系数块的系数。
45.根据权利要求44所述的装置，其中所述视频编码器经配置以确定所述视频块的帧内预测模式，其中为了选择所述第一变换子集，所述视频编码器经配置以基于所述经确定的帧内预测模式选择所述第一变换子集，且其中为了选择所述第二变换子集，所述视频编码器经配置以基于所述经确定的帧内预测模式选择所述第二变换子集。
46.根据权利要求44所述的装置，其中所述视频编码器经配置以基于所述视频块是帧间预测编码而确定所述视频块中的所述当前变换块的位置，其中为了选择所述第一变换子集，所述视频编码器经配置以基于所述经确定的所述当前变换块的位置选择所述第一变换子集，且其中为了选择所述第二变换子集，所述视频编码器经配置以基于所述经确定的所述当前变换块的位置选择所述第二变换子集。
47.根据权利要求44所述的装置，其中所述视频编码器经配置以：
在所述视频位流中产生对所述第一变换子集的第一变换子集索引以识别用于确定所述当前系数块的所述第一变换子集中的变换；及
在所述视频位流中产生对所述第二变换子集的第二变换子集索引以识别用于确定所述当前系数块的所述第二变换子集中的变换。
48.根据权利要求47所述的装置，其中所述视频编码器经配置以确定所述当前系数块中的非零系数的数目，其中为了在所述视频位流中产生所述第一变换子集索引，所述视频编码器经配置以基于非零系数的所述数目大于阈值而在所述视频位流中产生所述第一变换子集索引，且其中为了产生所述第二变换子集索引，所述视频编码器经配置以基于非零系数的所述数目大于所述阈值而在所述视频位流中产生所述第二变换子集索引。
49.根据权利要求44所述的装置，其中所述第一变换子集或所述第二变换子集中的至少一者包含与离散余弦变换DCT-II变换及离散正弦变换DST-VII变换不同的变换。
50.根据权利要求44所述的装置，其中所述第一变换子集及所述第二变换子集包含不同变换类型。
51.根据权利要求44所述的装置，其中所述多个变换子集包括三个或三个以上变换子集。
52.根据权利要求44所述的装置，其中所述候选变换为不同变换类型。
53.根据权利要求44所述的装置，其中为了确定所述多个变换子集，所述视频编码器经配置以基于所述视频块的大小确定所述多个变换子集。
54.根据权利要求44所述的装置，其中所述视频编码器经配置以：
确定所述预测性块；及
基于所述预测性块在所述视频位流中产生指示所述视频块的预测模式的信息。
55.根据权利要求44所述的装置，其中所述预测性块是基于所述视频块是帧内预测而处于与所述视频块相同的图片中或基于所述视频块是帧间预测而处于与包含所述视频块的所述图片不同的图片中的块。
56.根据权利要求44所述的装置，其中所述视频编码器经配置以：
确定所述当前变换块为所述视频块与所述预测性块之间的残差。
57.一种用于解码视频数据的装置，所述装置包括：
用于确定多个变换子集的装置，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；
用于针对所述视频数据的当前系数块的左变换从所述多个变换子集选择第一变换子集的装置；
用于针对所述视频数据的所述当前系数块的右变换从所述多个变换子集选择第二变换子集的装置；
用于从所述经选择的第一变换子集确定所述左变换的装置；
用于从所述经选择的第二变换子集确定所述右变换的装置；
用于基于所述左变换、右变换及所述当前系数块确定当前变换块的装置；及
用于基于所述当前变换块及预测性块重建视频块的装置。
58.一种存储指令的非暂时性计算机可读存储媒体，所述指令在执行时使得用于视频解码的装置的视频解码器进行以下操作：
确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；
针对所述视频数据的当前系数块的左变换从所述多个变换子集选择第一变换子集；
针对所述视频数据的所述当前系数块的右变换从所述多个变换子集选择第二变换子集；
从所述经选择的第一变换子集确定所述左变换；
从所述经选择的第二变换子集确定所述右变换；
基于所述左变换、右变换及所述当前系数块确定当前变换块；及
基于所述当前变换块及预测性块重建视频块。
59.一种用于编码视频数据的装置，所述装置包括：
用于确定多个变换子集的装置，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；
用于针对所述视频数据的视频块的当前变换块的左变换从所述多个变换子集选择第一变换子集的装置；
用于针对所述视频数据的所述视频块的所述变换块的右变换从所述多个变换子集选择第二变换子集的装置；
用于从所述经选择的第一变换子集确定所述左变换的装置；
用于从所述经选择的第二变换子集确定所述右变换的装置；
用于基于所述左变换、右变换及所述当前变换块确定当前系数块的装置；及
用于产生包含信息的视频位流的装置，所述信息指示用于重建所述视频块的所述当前系数块的系数。
60.一种存储指令的非暂时性计算机可读存储媒体，所述指令在执行时使得用于视频编码的装置的视频编码器进行以下操作：
确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；
针对所述视频数据的视频块的当前变换块的左变换从所述多个变换子集选择第一变换子集；
针对所述视频数据的所述视频块的所述变换块的右变换从所述多个变换子集选择第二变换子集；
从所述经选择的第一变换子集确定所述左变换；
从所述经选择的第二变换子集确定所述右变换；
基于所述左变换、右变换及所述当前变换块确定当前系数块；及
产生包含信息的视频位流，所述信息指示用于重建所述视频块的所述当前系数块的系数。
CN201680006207.7A 2015-01-26 2016-01-26 用于预测残差的增强型多重变换 Active CN107211144B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562107996P 2015-01-26 2015-01-26
US62/107,996 2015-01-26
US201562137038P 2015-03-23 2015-03-23
US62/137,038 2015-03-23
US15/005,736 US10306229B2 (en) 2015-01-26 2016-01-25 Enhanced multiple transforms for prediction residual
US15/005,736 2016-01-25
PCT/US2016/014898 WO2016123091A1 (en) 2015-01-26 2016-01-26 Enhanced multiple transforms for prediction residual

Publications (2)

Publication Number Publication Date
CN107211144A true CN107211144A (zh) 2017-09-26
CN107211144B CN107211144B (zh) 2020-01-03

Family

ID=56433544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006207.7A Active CN107211144B (zh) 2015-01-26 2016-01-26 用于预测残差的增强型多重变换

Country Status (10)

Country Link
US (1) US10306229B2 (zh)
EP (1) EP3251364A1 (zh)
JP (1) JP6768675B2 (zh)
KR (1) KR102452745B1 (zh)
CN (1) CN107211144B (zh)
CA (1) CA2971880C (zh)
EA (1) EA038534B1 (zh)
TN (1) TN2017000286A1 (zh)
TW (1) TWI686076B (zh)
WO (1) WO2016123091A1 (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019076200A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
WO2019114294A1 (zh) * 2017-12-13 2019-06-20 华为技术有限公司 图像编解码方法、装置、***及存储介质
CN110324619A (zh) * 2018-03-29 2019-10-11 腾讯美国有限责任公司 变换信息预测
CN110944174A (zh) * 2018-09-21 2020-03-31 阿里巴巴集团控股有限公司 小尺寸块的变换选择
CN110944177A (zh) * 2018-09-21 2020-03-31 华为技术有限公司 视频解码方法及视频解码器，视频编码方法及视频编码器
CN111031316A (zh) * 2018-10-09 2020-04-17 腾讯美国有限责任公司 视频解码的方法和装置、计算机设备及存储介质
CN111226442A (zh) * 2017-08-04 2020-06-02 Lg电子株式会社 用于配置用于视频压缩的变换的方法及设备
CN111263158A (zh) * 2020-02-28 2020-06-09 中南大学 一种基于空间相关度的多变换核快速处理方法
CN111385584A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 进行编码、解码的方法、装置和***
CN111385573A (zh) * 2018-06-29 2020-07-07 腾讯美国有限责任公司 解码或编码的方法和装置、计算机设备和存储介质
CN111567041A (zh) * 2018-07-13 2020-08-21 瑞典爱立信有限公司 视频编码器和/或视频解码器中的变换选择
CN111837398A (zh) * 2018-05-07 2020-10-27 腾讯美国有限责任公司 快速dst-7
CN111955010A (zh) * 2018-06-29 2020-11-17 腾讯美国有限责任公司 用于解码或编码的方法、装置和介质
CN112042193A (zh) * 2018-05-02 2020-12-04 交互数字Vc控股公司 编码和解码视频
CN112042187A (zh) * 2018-04-13 2020-12-04 联发科技股份有限公司 隐式变换设置
WO2020244660A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for video coding
CN112106374A (zh) * 2018-05-07 2020-12-18 腾讯美国有限责任公司 解码或编码的方法、装置和介质
CN112204969A (zh) * 2018-06-01 2021-01-08 高通股份有限公司 用于视频编解码的编解码自适应多重变换信息
CN112425164A (zh) * 2018-07-16 2021-02-26 高通股份有限公司 多个可分离变换选择的变换变体
CN112753220A (zh) * 2018-09-02 2021-05-04 Lg电子株式会社 基于多重变换选择的图像编码方法及其装置
CN113302924A (zh) * 2018-11-22 2021-08-24 交互数字Vc控股公司 用于视频编码和解码的量化
CN113316932A (zh) * 2018-12-06 2021-08-27 腾讯美国有限责任公司 使用8比特变换核心的主变换的方法和装置
CN113711597A (zh) * 2019-04-23 2021-11-26 北京字节跳动网络技术有限公司 上下文建模和多重变换矩阵的选择
CN113812162A (zh) * 2019-05-10 2021-12-17 北京字节跳动网络技术有限公司 视频中的简化二次变换的上下文建模
CN113853791A (zh) * 2019-05-19 2021-12-28 字节跳动有限公司 数字视频中的变换旁路编解码残差块
US11252426B2 (en) 2018-05-31 2022-02-15 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
US11388402B2 (en) 2018-02-23 2022-07-12 Huawei Technologies Co., Ltd. Position dependent spatial varying transform for video coding
CN114762338A (zh) * 2019-10-04 2022-07-15 Lg电子株式会社 基于变换的图像编码方法及其装置
CN115134592A (zh) * 2018-09-02 2022-09-30 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质
US11558612B2 (en) 2018-08-16 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Coefficient dependent coding of transform matrix selection
US11575901B2 (en) 2019-08-17 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
CN116389737A (zh) * 2019-03-11 2023-07-04 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712652A (zh) * 2012-06-29 2018-10-26 韩国电子通信研究院 视频编码方法和计算机可读介质
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
FR3038196A1 (fr) * 2015-06-29 2016-12-30 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US10200719B2 (en) 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US11233990B2 (en) * 2016-02-08 2022-01-25 Sharp Kabushiki Kaisha Systems and methods for intra prediction coding
CN108702508B (zh) * 2016-02-12 2023-04-11 交互数字Vc控股公司 用于帧内预测编码/解码的方法和设备
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
ES2710807B1 (es) * 2016-03-28 2020-03-27 Kt Corp Metodo y aparato para procesar senales de video
CN109076223B (zh) * 2016-05-13 2021-07-09 夏普株式会社 图像解码装置以及图像编码装置
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
ES2699691R1 (es) 2016-06-24 2019-04-05 Kt Corp Método y aparato para procesar señales de vídeo
CN109479138B (zh) * 2016-07-13 2023-11-03 韩国电子通信研究院 图像编码/解码方法和装置
KR20240104228A (ko) * 2016-07-14 2024-07-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
CN117041539A (zh) 2016-08-31 2023-11-10 株式会社Kt 用于处理视频信号的方法和设备
CN113873243B (zh) * 2016-08-31 2024-02-20 株式会社Kt 用于对视频进行解码的方法和用于对视频进行编码的方法
KR20190039562A (ko) 2016-09-01 2019-04-12 엘지전자 주식회사 레이어드 기븐스 변환을 이용하여 변환을 수행하는 방법 및 장치
US10880564B2 (en) 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
CN118158395A (zh) 2016-10-04 2024-06-07 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
EP3975559A1 (en) * 2016-10-04 2022-03-30 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
FR3057429A1 (fr) * 2016-10-07 2018-04-13 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US11095893B2 (en) 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
CA3041856A1 (en) * 2016-12-28 2018-07-05 Sony Corporation Image processing apparatus and method for curbing deterioration in coding efficiency
BR112019013831A2 (pt) * 2017-01-03 2020-01-28 Lg Electronics Inc método de processamento de imagem e aparelho para tal finalidade
KR20180089858A (ko) * 2017-02-01 2018-08-09 엘지전자 주식회사 레이어드 기븐스 변환을 이용하여 변환을 수행하는 방법 및 장치
US11405645B2 (en) * 2017-02-28 2022-08-02 Google Llc Transform kernel selection and entropy coding
WO2018166429A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
US10701391B2 (en) * 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
FR3064870A1 (fr) * 2017-03-31 2018-10-05 B<>Com Procede de decodage d'au moins une image numerique, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
US20180288439A1 (en) * 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
US10750181B2 (en) 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
US10630974B2 (en) * 2017-05-30 2020-04-21 Google Llc Coding of intra-prediction modes
WO2018226067A1 (ko) * 2017-06-08 2018-12-13 엘지전자 주식회사 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치
US11070806B2 (en) * 2017-06-28 2021-07-20 Lg Electronics Inc. Method and apparatus for performing low complexity computation in transform kernel for video compression
FR3068556A1 (fr) 2017-06-29 2019-01-04 B<>Com Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
EP3451663A1 (en) * 2017-08-31 2019-03-06 Thomson Licensing Pools of transforms for local selection of a set of transforms in video coding
US20200221130A1 (en) * 2017-09-03 2020-07-09 Lg Electronics Inc. Method and device for performing transform using layered givens transform
WO2019069782A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN115776572A (zh) * 2017-12-21 2023-03-10 Lg电子株式会社 图像解码和编码方法、存储比特流的介质和数据发送方法
EP3503549A1 (en) * 2017-12-22 2019-06-26 Thomson Licensing Method and apparatus for video compression using efficient multiple transforms
US20200359025A1 (en) * 2017-12-22 2020-11-12 Interdigital Vc Holdings, Inc. Method and apparatus for video compression using efficient multiple transforms
CN115190297A (zh) * 2017-12-28 2022-10-14 松下电器（美国）知识产权公司 编码方法和解码方法
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
US10567801B2 (en) 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
KR20190113591A (ko) * 2018-03-28 2019-10-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11368691B2 (en) 2018-03-29 2022-06-21 Lg Electronics Inc. Method and device for designing low-complexity calculation DST7
WO2019185883A1 (en) * 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Determination of set of candidate transforms for video encoding
WO2019188466A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置および方法
WO2019194458A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 Obmc를 이용한 영상 코딩 방법 및 그 장치
WO2019194505A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 축소된 회전기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10645396B2 (en) * 2018-06-04 2020-05-05 Tencent America LLC Method and apparatus for implicit transform splitting
CN117097892A (zh) * 2018-07-06 2023-11-21 Lg电子株式会社 图像编码/解码设备和图像数据发送设备
CN112567754B (zh) * 2018-08-22 2022-09-20 寰发股份有限公司 转换系数编码或解码的方法与装置
GB2577318B (en) 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
RU2766571C1 (ru) * 2018-09-23 2022-03-15 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ кодирования/декодирования видеосигналов и устройство для этого
WO2020071873A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 그 장치
WO2020073882A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Video decoder and corresponding methods
US11128866B2 (en) 2018-10-18 2021-09-21 Qualcomm Incorporated Scans and last coefficient position coding for zero-out transforms
EP3709658A4 (en) * 2018-11-12 2021-03-10 LG Electronics Inc. HIGH-FREQUENCY RESET BASED TRANSFORMATION COEFFICIENT CODING PROCESS AND APPARATUS THEREFOR
US11102513B2 (en) * 2018-12-06 2021-08-24 Tencent America LLC One-level transform split and adaptive sub-block transform
JP2021510943A (ja) * 2018-12-17 2021-04-30 エルジー エレクトロニクス インコーポレイティド 高周波ゼロイングに基づいて変換係数スキャン順序を決定する方法及び装置
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
RU2767513C1 (ru) * 2018-12-28 2022-03-17 Телефонактиеболагет Лм Эрикссон (Пабл) Способ и оборудование для проведения выбора преобразования в кодере и декодере
US11632557B2 (en) 2019-01-01 2023-04-18 Lg Electronics Inc. Method and device for decoding video using residual sign related information in video coding system
WO2020141892A1 (ko) * 2019-01-01 2020-07-09 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
US10904563B2 (en) * 2019-01-02 2021-01-26 Tencent America LLC Method and apparatus for improved zero out transform
WO2020141159A2 (en) * 2019-01-02 2020-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Unified transform type signaling and transform type dependent transform coefficient level coding
US11595663B2 (en) 2019-02-01 2023-02-28 Qualcomm Incorporated Secondary transform designs for partitioned transform units in video coding
US10986339B2 (en) * 2019-02-08 2021-04-20 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection
KR20210100741A (ko) * 2019-02-21 2021-08-17 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
US20220182629A1 (en) * 2019-03-10 2022-06-09 Mediatek Inc. Method and Apparatus of the Quantization Matrix Computation and Representation for Video Coding
CN113574895B (zh) * 2019-03-11 2024-01-30 腾讯美国有限责任公司 视频编解码方法、装置及存储介质
KR102461123B1 (ko) 2019-03-11 2022-10-28 엘지전자 주식회사 Ibc 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11539952B2 (en) 2019-03-12 2022-12-27 Qualcomm Incorporated Implicit transform selection in video coding
US11025937B2 (en) * 2019-03-16 2021-06-01 Tencent America LLC Method and apparatus for video coding
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
US11240534B2 (en) 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
US11032572B2 (en) 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
US11695960B2 (en) 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
US11949870B2 (en) 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
KR20220024500A (ko) 2019-07-12 2022-03-03 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR20220036939A (ko) 2019-07-26 2022-03-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 모드의 블록 크기 종속적 사용
US11677984B2 (en) 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
US11184617B2 (en) 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
MX2022003187A (es) 2019-09-19 2022-05-20 Humax Co Ltd Metodo y aparato de procesamiento de se?ales de video usando proceso de escalamiento.
US11153576B2 (en) 2019-09-20 2021-10-19 Qualcomm Incorporated Scaling matrices and signaling for video coding
KR20220154260A (ko) * 2019-09-21 2022-11-21 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US11206400B2 (en) 2019-09-26 2021-12-21 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) simplifications
US11432014B2 (en) 2019-10-25 2022-08-30 Qualcomm Incorporated Parametric graph-based separable transforms for video coding
US11470353B2 (en) 2019-12-20 2022-10-11 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) with reduced zero-out in video coding
US20210195192A1 (en) 2019-12-20 2021-06-24 Qualcomm Incorporated Coefficient group based restriction on multiple transform selection signaling in video coding
US11457229B2 (en) 2019-12-23 2022-09-27 Qualcomm Incorporated LFNST signaling for chroma based on chroma transform skip
US11706425B2 (en) 2020-01-08 2023-07-18 Qualcomm Incorporated Multiple transform set signaling for video coding
KR20220143870A (ko) * 2020-02-21 2022-10-25 알리바바 그룹 홀딩 리미티드 최대 변환 크기 및 잔차 코딩 방법의 시그널링
CN115315944A (zh) * 2020-03-07 2022-11-08 抖音视界有限公司 视频编解码中的隐式多变换集信令通知
KR20220161381A (ko) * 2020-03-24 2022-12-06 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021194221A1 (ko) * 2020-03-26 2021-09-30 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US11582491B2 (en) 2020-03-27 2023-02-14 Qualcomm Incorporated Low-frequency non-separable transform processing in video coding
US20210321137A1 (en) 2020-03-30 2021-10-14 Qualcomm Incorporated Low-frequency non-separable transform index signaling in video coding
US11388401B2 (en) * 2020-06-26 2022-07-12 Google Llc Extended transform partitions for video compression
CN113824957B (zh) * 2020-09-27 2022-10-28 腾讯科技（深圳）有限公司 视频编解码方法、装置及电子设备
CN114339217A (zh) * 2020-09-30 2022-04-12 中国科学院深圳先进技术研究院 变换集合生成方法和装置、机器可读存储介质和机器设备
US11871010B2 (en) 2020-10-02 2024-01-09 Qualcomm Incorporated Extended low-frequency non-separable transform (LFNST) designs with worst-case complexity handling
US11924471B2 (en) 2020-11-12 2024-03-05 Qualcomm Incorporated Context-based transform index signaling in video coding
US11800110B2 (en) * 2021-04-20 2023-10-24 Tencent America LLC Adaptive scanning with multiple transform selection
EP4175296A1 (en) * 2021-10-29 2023-05-03 Ateme Method for image processing and apparatus for implementing the same
WO2024080799A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024080798A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024080795A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024085566A1 (ko) * 2022-10-16 2024-04-25 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024085565A1 (ko) * 2022-10-16 2024-04-25 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024085567A1 (ko) * 2022-10-16 2024-04-25 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577605A (zh) * 2008-05-08 2009-11-11 吴志军 基于滤波器相似度的语音lpc隐藏和提取算法
CN102316320A (zh) * 2001-12-17 2012-01-11 微软公司 处理视频图像的方法
CN103329523A (zh) * 2010-12-29 2013-09-25 高通股份有限公司 使用经映射变换和扫描模式的视频译码
CN103402097A (zh) * 2013-08-15 2013-11-20 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
JP2015507429A (ja) * 2012-01-13 2015-03-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化において変換係数データをコード化するためのコンテキストの決定

Family Cites Families (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1000643A5 (fr) 1987-06-05 1989-02-28 Belge Etat Procede de codage de signaux d'image.
JPH0270127A (ja) 1988-09-06 1990-03-09 Toshiba Corp 変換符号化方式
US5136371A (en) 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
DE69322713T2 (de) 1992-08-31 1999-05-06 Victor Company Of Japan, Ltd., Yokohama, Kanagawa Vorrichtung zur orthogonalen Transformationskodierung und -dekodierung
TW224553B (en) 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
TW297202B (zh) 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
EP0729688A1 (en) 1993-11-15 1996-09-04 National Semiconductor Corporation Quadtree-structured walsh transform coding
KR0183688B1 (ko) 1994-01-12 1999-05-01 김광호 영상부호화방법 및 장치
JP3086396B2 (ja) 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
KR0178198B1 (ko) 1995-03-28 1999-05-01 배순훈 영상 신호 부호화 장치
US5721822A (en) 1995-07-21 1998-02-24 Intel Corporation Run-length encoding/decoding video signals using scan patterns explicitly encoded into bitstreams
US5790706A (en) 1996-07-03 1998-08-04 Motorola, Inc. Method and apparatus for scanning of transform coefficients
KR100211050B1 (ko) 1996-11-05 1999-07-15 이계철 선택적 양자화 계수 전송 장치 및 방법
JP2002232887A (ja) 1996-11-07 2002-08-16 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置並びに画像復号化方法および画像復号化装置
CN1697522B (zh) 1996-11-07 2010-11-24 松下电器产业株式会社 图像编码装置和图像解码装置
US5974181A (en) 1997-03-20 1999-10-26 Motorola, Inc. Data compression system, method, and apparatus
JPH10271505A (ja) 1997-03-25 1998-10-09 Oki Electric Ind Co Ltd 信号処理装置、符号化回路および復号回路
US5995055A (en) 1997-06-30 1999-11-30 Raytheon Company Planar antenna radiating structure having quasi-scan, frequency-independent driving-point impedance
US6157676A (en) 1997-07-31 2000-12-05 Victor Company Of Japan Digital video signal inter-block interpolative predictive encoding/decoding apparatus and method providing high efficiency of encoding
JP2900998B2 (ja) 1997-07-31 1999-06-02 日本ビクター株式会社 ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
US6917711B1 (en) 1998-08-10 2005-07-12 Digital Accelerator Corporation Embedded quadtree wavelets in image compression
EP0986026A1 (en) 1998-09-07 2000-03-15 STMicroelectronics S.r.l. Fractal coding of data in the DCT domain
US6674910B1 (en) 1998-11-24 2004-01-06 Hyundai Electronics Industries Co., Ltd. Apparatus and method for image-compression encoding and decoding using adaptive transform
NZ518774A (en) 1999-10-22 2004-09-24 Activesky Inc An object oriented video system
US6476805B1 (en) 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
US6654503B1 (en) 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
US6724818B1 (en) 2000-07-17 2004-04-20 Telefonaktiebolaget Lm Ericsson (Publ) Alternative block orders for better prediction
CN1142683C (zh) 2000-10-13 2004-03-17 清华大学 无转置行列分离二维离散余弦正反变换电路及其方法
JP2002135126A (ja) 2000-10-26 2002-05-10 Seiko Epson Corp 半導体装置及びこれを用いた電子機器
WO2002051157A2 (en) 2000-12-19 2002-06-27 Pulsent Corporation Adaptive transforms
US6856701B2 (en) 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100468844B1 (ko) 2002-01-07 2005-01-29 삼성전자주식회사 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
JP4447197B2 (ja) 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
US7190840B2 (en) 2002-01-07 2007-03-13 Hewlett-Packard Development Company, L.P. Transform coefficient compression using multiple scans
MXPA04006814A (es) 2002-01-14 2004-12-06 Nokia Corp Filtros dinamicos de codificacion.
MXPA04007053A (es) 2002-01-22 2004-10-11 Nokia Corp Codificacion de coeficientes de transformacion en codificadores y/o decodificadores de imagenes y video.
US6757576B2 (en) 2002-02-05 2004-06-29 Gcc, Inc. System and method for drawing and manufacturing bent pipes
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
US20060218482A1 (en) 2002-04-19 2006-09-28 Droplet Technology, Inc. Mobile imaging application, device architecture, service platform architecture and services
US7170937B2 (en) 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
EP1467491B1 (de) 2002-05-02 2007-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Arithmetische Codierung von Transformationskoeffizienten
CN101087422B (zh) 2002-05-28 2011-05-25 夏普株式会社 用于估计象素预测模式的设备
US7145948B2 (en) 2002-05-29 2006-12-05 Koninklijke Philips Electronics N.V. Entropy constrained scalar quantizer for a Laplace-Markov source
US20030231795A1 (en) 2002-06-12 2003-12-18 Nokia Corporation Spatial prediction based intra-coding
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
CN101039424B (zh) 2002-07-15 2010-05-26 株式会社日立制作所 动态图像编码方法
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US7463782B2 (en) 2002-11-05 2008-12-09 Canon Kabushiki Kaisha Data encoding with an amplitude model and path between the data and corresponding decoding
US20040091047A1 (en) 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
FI116710B (fi) 2002-12-20 2006-01-31 Oplayo Oy Kuvien koodausmenetelmä ja -järjestely
WO2004080084A1 (en) 2003-03-03 2004-09-16 Agency For Science, Technology And Research Fast mode decision algorithm for intra prediction for advanced video coding
KR100750110B1 (ko) 2003-04-22 2007-08-17 삼성전자주식회사 ４×４인트라 휘도 예측 모드 결정방법 및 장치
JP3756897B2 (ja) 2003-07-30 2006-03-15 株式会社東芝 動画像符号化装置及び動画像符号化方法
US7289562B2 (en) 2003-08-01 2007-10-30 Polycom, Inc. Adaptive filter to improve H-264 video quality
US20050036549A1 (en) 2003-08-12 2005-02-17 Yong He Method and apparatus for selection of scanning mode in dual pass encoding
US7782954B2 (en) 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7379608B2 (en) 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
JP4142563B2 (ja) 2003-12-12 2008-09-03 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP4127818B2 (ja) 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
US7142231B2 (en) 2003-12-29 2006-11-28 Nokia Corporation Method and apparatus for improved handset multi-tasking, including pattern recognition and augmentation of camera images
EP1558039A1 (en) 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
CN100479527C (zh) 2004-02-26 2009-04-15 联合信源数字音视频技术（北京）有限公司 一种帧内预测模式选取方法
JP5037938B2 (ja) 2004-04-28 2012-10-03 日立コンシューマエレクトロニクス株式会社 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP4542447B2 (ja) 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
US8731054B2 (en) 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US8369402B2 (en) 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
US7664184B2 (en) 2004-07-21 2010-02-16 Amimon Ltd. Interpolation image compression
WO2006052399A1 (en) 2004-11-04 2006-05-18 Thomson Licensing Fast intra mode prediction for a video encoder
JP2006140758A (ja) 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
JP4763422B2 (ja) 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
US8311119B2 (en) 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US7751478B2 (en) 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
US7706443B2 (en) 2005-03-11 2010-04-27 General Instrument Corporation Method, article of manufacture, and apparatus for high quality, fast intra coding usable for creating digital video content
JP2006295408A (ja) 2005-04-07 2006-10-26 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像符号化プログラム
EP1711018A1 (en) 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
EP1878257A1 (en) 2005-04-12 2008-01-16 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
EP1768415A1 (en) 2005-09-27 2007-03-28 Matsushita Electric Industrial Co., Ltd. Adaptive scan order of DCT coefficients and its signaling
KR100703200B1 (ko) 2005-06-29 2007-04-06 한국산업기술대학교산학협력단 인트라 부호화 장치 및 방법
KR101088375B1 (ko) 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
US20090123066A1 (en) 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
CN101218830B (zh) 2005-07-22 2011-10-12 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US7933337B2 (en) 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
JP2007053561A (ja) 2005-08-17 2007-03-01 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP4650173B2 (ja) 2005-09-05 2011-03-16 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US20070070082A1 (en) 2005-09-27 2007-03-29 Ati Technologies, Inc. Sample-level screen-door transparency using programmable transparency sample masks
EP1949703A4 (en) 2005-10-21 2011-03-16 Korea Electronics Telecomm DEVICE AND METHOD FOR CODING AND DECODING A MOVABLE IMAGE USING ADAPTIVE SENSING
WO2007063472A2 (en) 2005-11-30 2007-06-07 Koninklijke Philips Electronics N.V. Encoding method and apparatus applying coefficient reordering
US7529484B2 (en) 2005-12-14 2009-05-05 Nec Laboratories America, Inc. Triplexer transceiver using parallel signal detection
CN1801940A (zh) 2005-12-15 2006-07-12 清华大学 整型变换电路和整型变换方法
US7944965B2 (en) 2005-12-19 2011-05-17 Seiko Epson Corporation Transform domain based distortion cost estimation
US8000539B2 (en) 2005-12-21 2011-08-16 Ntt Docomo, Inc. Geometrical image representation and compression
JP2007189276A (ja) 2006-01-11 2007-07-26 Victor Co Of Japan Ltd 画像圧縮装置及び画像圧縮プログラム
KR101246294B1 (ko) 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP2007267123A (ja) 2006-03-29 2007-10-11 Victor Co Of Japan Ltd 動画像符号化装置
US8036264B2 (en) 2006-05-23 2011-10-11 Lsi Corporation Memory management in video decoding systems
US20080008246A1 (en) 2006-07-05 2008-01-10 Debargha Mukherjee Optimizing video coding
JP2008022405A (ja) 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
KR100882949B1 (ko) 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
KR101242013B1 (ko) 2006-10-10 2013-03-12 니폰덴신뎅와 가부시키가이샤 인트라 예측 부호화 제어 방법 및 장치, 그 프로그램 및 프로그램을 기록한 기억 매체
JP4908180B2 (ja) 2006-12-20 2012-04-04 株式会社東芝 動画像符号化装置
KR101366086B1 (ko) 2007-01-03 2014-02-21 삼성전자주식회사 잔차 블록의 계수들에 대한 부호화 결정 방법, 장치,인코더 및 디코더
JPWO2008084817A1 (ja) 2007-01-09 2010-05-06 株式会社東芝 画像符号化と復号化の方法及び装置
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
WO2008086828A1 (en) 2007-01-18 2008-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable video data stream
KR101365570B1 (ko) 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
US8488672B2 (en) 2007-04-17 2013-07-16 Qualcomm Incorporated Mode uniformity signaling for intra-coding
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
CN103338365B (zh) 2007-06-29 2017-04-12 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
US8437564B2 (en) 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
TW200910971A (en) 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
JP5004180B2 (ja) 2007-11-07 2012-08-22 Ｋｄｄｉ株式会社 動画像符号化装置および復号装置
EP2223527A1 (en) 2007-12-21 2010-09-01 Telefonaktiebolaget LM Ericsson (publ) Adaptive intra mode selection
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
US8024121B2 (en) 2008-01-25 2011-09-20 Smith International, Inc. Data compression method for use in downhole applications
KR20100027384A (ko) 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
KR101549823B1 (ko) 2008-09-02 2015-09-04 삼성전자주식회사 적응적 이진화를 이용한 영상 부호화, 복호화 방법 및 장치
US20100172409A1 (en) 2009-01-06 2010-07-08 Qualcom Incorporated Low-complexity transforms for data compression and decompression
EP2422520A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
US9154798B2 (en) 2009-09-14 2015-10-06 Thomson Licensing Methods and apparatus for efficient video encoding and decoding of intra prediction mode
US20110116539A1 (en) 2009-11-13 2011-05-19 Freescale Semiconductor, Inc. Method and apparatus for video decoding with reduced complexity inverse transform
US20110317757A1 (en) 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US9641846B2 (en) 2010-10-22 2017-05-02 Qualcomm Incorporated Adaptive scanning of transform coefficients for video coding
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
RU2713697C2 (ru) * 2011-10-17 2020-02-06 Кт Корпорейшен Способ декодирования видеосигнала
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9307264B2 (en) * 2012-06-22 2016-04-05 Sharp Kabushiki Kaisha Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
US10278767B2 (en) * 2014-03-27 2019-05-07 Endomedical Concepts, Inc. Vaporization electrodes and electrosurgical devices equipped therewith
US10230980B2 (en) 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316320A (zh) * 2001-12-17 2012-01-11 微软公司 处理视频图像的方法
CN101577605A (zh) * 2008-05-08 2009-11-11 吴志军 基于滤波器相似度的语音lpc隐藏和提取算法
CN103329523A (zh) * 2010-12-29 2013-09-25 高通股份有限公司 使用经映射变换和扫描模式的视频译码
JP2015507429A (ja) * 2012-01-13 2015-03-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコード化において変換係数データをコード化するためのコンテキストの決定
CN103402097A (zh) * 2013-08-15 2013-11-20 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111226442B (zh) * 2017-08-04 2022-06-21 Lg电子株式会社 配置用于视频压缩的变换的方法及计算机可读存储介质
US11825119B2 (en) 2017-08-04 2023-11-21 Lg Electronics Inc. Method and apparatus for configuring transform for video compression
CN111226442A (zh) * 2017-08-04 2020-06-02 Lg电子株式会社 用于配置用于视频压缩的变换的方法及设备
US11277640B2 (en) 2017-08-04 2022-03-15 Lg Electronics Inc. Method and apparatus for configuring transform for video compression
US11523129B2 (en) 2017-10-16 2022-12-06 Huawei Technologies Co., Ltd. Encoding method and apparatus
US11956455B2 (en) 2017-10-16 2024-04-09 Huawei Technologies Co., Ltd. Coding method and apparatus
US11006139B2 (en) 2017-10-16 2021-05-11 Huawei Technologies Co., Ltd. Encoding method and apparatus
WO2019076200A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
US11343523B2 (en) 2017-10-16 2022-05-24 Huawei Technologies Co., Ltd. Coding method and apparatus
US11528507B2 (en) 2017-12-13 2022-12-13 Huawei Technologies Co., Ltd. Image encoding and decoding method, apparatus, and system, and storage medium to determine a transform core pair to effectively reduce encoding complexity
WO2019114294A1 (zh) * 2017-12-13 2019-06-20 华为技术有限公司 图像编解码方法、装置、***及存储介质
US11917152B2 (en) 2018-02-23 2024-02-27 Huawei Technologies Co., Ltd. Position dependent spatial varying transform for video coding
US11388402B2 (en) 2018-02-23 2022-07-12 Huawei Technologies Co., Ltd. Position dependent spatial varying transform for video coding
CN110324619A (zh) * 2018-03-29 2019-10-11 腾讯美国有限责任公司 变换信息预测
CN110324619B (zh) * 2018-03-29 2021-09-03 腾讯美国有限责任公司 变换信息预测
CN112042187A (zh) * 2018-04-13 2020-12-04 联发科技股份有限公司 隐式变换设置
CN112042187B (zh) * 2018-04-13 2024-02-23 寰发股份有限公司 一种解码方法和编码方法
CN112042193A (zh) * 2018-05-02 2020-12-04 交互数字Vc控股公司 编码和解码视频
CN112106374A (zh) * 2018-05-07 2020-12-18 腾讯美国有限责任公司 解码或编码的方法、装置和介质
CN111837398B (zh) * 2018-05-07 2022-07-15 腾讯美国有限责任公司 使用dst-vii变换核对视频序列进行解码的方法和设备
CN111837398A (zh) * 2018-05-07 2020-10-27 腾讯美国有限责任公司 快速dst-7
US11252426B2 (en) 2018-05-31 2022-02-15 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
US12022100B2 (en) 2018-05-31 2024-06-25 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
US11601663B2 (en) 2018-05-31 2023-03-07 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
CN112204969A (zh) * 2018-06-01 2021-01-08 高通股份有限公司 用于视频编解码的编解码自适应多重变换信息
CN112204969B (zh) * 2018-06-01 2022-11-11 高通股份有限公司 用于视频编解码的编解码自适应多重变换信息
CN111385573A (zh) * 2018-06-29 2020-07-07 腾讯美国有限责任公司 解码或编码的方法和装置、计算机设备和存储介质
US11503338B2 (en) 2018-06-29 2022-11-15 Tencent America LLC Method, apparatus and medium for decoding or encoding
US11849146B2 (en) 2018-06-29 2023-12-19 Tencent America LLC Method, apparatus and medium for decoding
CN111955010A (zh) * 2018-06-29 2020-11-17 腾讯美国有限责任公司 用于解码或编码的方法、装置和介质
CN111955010B (zh) * 2018-06-29 2022-07-05 腾讯美国有限责任公司 解码或编码的方法、装置和介质
US11930214B2 (en) 2018-06-29 2024-03-12 Tencent America LLC Method, apparatus and medium for decoding or encoding
US11218716B2 (en) 2018-07-13 2022-01-04 Telefonaktiebolaget Lm Ericsson (Publ) Transform selection in a video encoder and/or video decoder
US11627329B2 (en) 2018-07-13 2023-04-11 Telefonaktiebolaget Lm Ericsson (Publ) Transform selection in a video encoder and/or video decoder
CN111567041B (zh) * 2018-07-13 2022-04-29 瑞典爱立信有限公司 视频编码器和/或视频解码器中的变换选择
US11882302B2 (en) 2018-07-13 2024-01-23 Telefonaktiebolaget Lm Ericsson (Publ) Transform selection in a video encoder and/or video decoder
CN111567041A (zh) * 2018-07-13 2020-08-21 瑞典爱立信有限公司 视频编码器和/或视频解码器中的变换选择
CN112425164A (zh) * 2018-07-16 2021-02-26 高通股份有限公司 多个可分离变换选择的变换变体
US11558612B2 (en) 2018-08-16 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Coefficient dependent coding of transform matrix selection
CN115134592B (zh) * 2018-09-02 2024-04-26 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质
CN112753220A (zh) * 2018-09-02 2021-05-04 Lg电子株式会社 基于多重变换选择的图像编码方法及其装置
CN115134592A (zh) * 2018-09-02 2022-09-30 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质
CN110944174A (zh) * 2018-09-21 2020-03-31 阿里巴巴集团控股有限公司 小尺寸块的变换选择
CN110944177B (zh) * 2018-09-21 2024-03-01 华为技术有限公司 视频解码方法及视频解码器，视频编码方法及视频编码器
CN110944177A (zh) * 2018-09-21 2020-03-31 华为技术有限公司 视频解码方法及视频解码器，视频编码方法及视频编码器
CN111031316A (zh) * 2018-10-09 2020-04-17 腾讯美国有限责任公司 视频解码的方法和装置、计算机设备及存储介质
CN111031316B (zh) * 2018-10-09 2023-03-24 腾讯美国有限责任公司 视频解码的方法和装置、计算机设备及存储介质
CN113302924A (zh) * 2018-11-22 2021-08-24 交互数字Vc控股公司 用于视频编码和解码的量化
CN113316932B (zh) * 2018-12-06 2022-07-29 腾讯美国有限责任公司 编解码方法、装置和设备
CN113316932A (zh) * 2018-12-06 2021-08-27 腾讯美国有限责任公司 使用8比特变换核心的主变换的方法和装置
CN111385584A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 进行编码、解码的方法、装置和***
CN111385584B (zh) * 2018-12-28 2022-09-06 杭州海康威视数字技术股份有限公司 进行编码、解码的方法、装置和***
CN116389737B (zh) * 2019-03-11 2024-05-31 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
CN116389737A (zh) * 2019-03-11 2023-07-04 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
CN113711597A (zh) * 2019-04-23 2021-11-26 北京字节跳动网络技术有限公司 上下文建模和多重变换矩阵的选择
US11930176B2 (en) 2019-04-23 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Context modeling and selection of multiple transform matrix
CN113711597B (zh) * 2019-04-23 2022-11-25 北京字节跳动网络技术有限公司 上下文建模和多重变换矩阵的选择
US11622131B2 (en) 2019-05-10 2023-04-04 Beijing Bytedance Network Technology Co., Ltd. Luma based secondary transform matrix selection for video processing
US11611779B2 (en) 2019-05-10 2023-03-21 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
US11575940B2 (en) 2019-05-10 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of reduced secondary transforms in video
CN113812162A (zh) * 2019-05-10 2021-12-17 北京字节跳动网络技术有限公司 视频中的简化二次变换的上下文建模
US11870996B2 (en) 2019-05-19 2024-01-09 Bytedance Inc. Transform bypass coded residual blocks in digital video
CN113853791B (zh) * 2019-05-19 2023-11-14 字节跳动有限公司 数字视频中的变换旁路编解码残差块
CN113853791A (zh) * 2019-05-19 2021-12-28 字节跳动有限公司 数字视频中的变换旁路编解码残差块
US11653002B2 (en) 2019-06-06 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for video coding
WO2020244660A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for video coding
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
US11882274B2 (en) 2019-08-03 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Position based mode derivation in reduced secondary transforms for video
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
US11575901B2 (en) 2019-08-17 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11968367B2 (en) 2019-08-17 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
CN114762338B (zh) * 2019-10-04 2023-12-15 Lg电子株式会社 基于变换的图像编码方法及其装置
CN114762338A (zh) * 2019-10-04 2022-07-15 Lg电子株式会社 基于变换的图像编码方法及其装置
CN111263158A (zh) * 2020-02-28 2020-06-09 中南大学 一种基于空间相关度的多变换核快速处理方法
CN111263158B (zh) * 2020-02-28 2021-11-16 中南大学 一种基于空间相关度的多变换核快速处理方法

Also Published As

Publication number Publication date
CA2971880A1 (en) 2016-08-04
US20160219290A1 (en) 2016-07-28
EA038534B1 (ru) 2021-09-10
KR102452745B1 (ko) 2022-10-07
TWI686076B (zh) 2020-02-21
CN107211144B (zh) 2020-01-03
EA201791457A1 (ru) 2017-12-29
TW201637446A (zh) 2016-10-16
CA2971880C (en) 2023-12-19
JP2018506905A (ja) 2018-03-08
WO2016123091A1 (en) 2016-08-04
EP3251364A1 (en) 2017-12-06
US10306229B2 (en) 2019-05-28
KR20170107452A (ko) 2017-09-25
TN2017000286A1 (en) 2019-01-16
JP6768675B2 (ja) 2020-10-14
BR112017016012A2 (pt) 2018-03-20

Similar Documents

Publication Publication Date Title
CN107211144A (zh) 用于预测残差的增强型多重变换
CN106416249B (zh) 用于编码/解码视频数据的方法和装置
CN106797477B (zh) 用于解码及编码视频数据的方法和设备
CN103141100B (zh) 用于视频译码的帧内平滑滤波器
CN105874796B (zh) 用于基于调色板的视频译码的颜色索引译码
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN108141605A (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN103959785B (zh) 在视频译码中用于色度分量的变换单位分割
CN110393010A (zh) 视频译码中的帧内滤波旗标
CN110100436A (zh) 使用导出色度模式译码视频数据
CN108605142A (zh) 用于视频译码的多遍不可分开的变换
CN108464001A (zh) 用于视频译码的多类型树框架
CN107592972A (zh) 用于视频数据中特定图片内的帧间译码的搜索区域确定
CN108781296A (zh) 为视频译码中非方形块确定预测参数
CN110100439A (zh) 用于视频译码的帧内预测技术
CN108605141A (zh) 用于紧凑多遍变换的高效参数存储
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN110024403A (zh) 用于视频译码的仿射运动模型的运动向量生成
CN109792533A (zh) 在视频译码中用于仿射运动模型的运动向量预测
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN109716772A (zh) 用于视频译码的变换选择
CN108464002A (zh) 视频译码中具有非正方形预测单元的线性模型预测
CN106105204A (zh) 在颜色空间变换译码中修改位深度
CN106464877A (zh) 在视频译码中确定将解块滤波应用于经调色板译码块

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant