CN107615765A - 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置 - Google Patents

视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置 Download PDF

Info

Publication number
CN107615765A
CN107615765A CN201680031394.4A CN201680031394A CN107615765A CN 107615765 A CN107615765 A CN 107615765A CN 201680031394 A CN201680031394 A CN 201680031394A CN 107615765 A CN107615765 A CN 107615765A
Authority
CN
China
Prior art keywords
block
inter
deblocking
data
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680031394.4A
Other languages
English (en)
Inventor
庄子德
赵屏
陈庆晔
孙域晨
王智鸣
郑佳韵
周汉良
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107615765A publication Critical patent/CN107615765A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种共享片上缓冲器或高速缓冲存储器用于使用包括帧间预测模式和帧内块复制模式的编解码模式的视频编解码***的方法和装置。将当前图像的至少部分预去块重建的视频数据和来自于先前图像的至少部分帧间参考视频数据存储于片上缓冲器或高速缓冲存储器中。如果使用帧内块复制模式对当前块进行编码，将存储于所述片上缓冲器或高速缓冲存储器中的所述当前图像的所述预去块重建的视频数据用于获取用于所述当前块的帧内块复制预测。如果使用帧间预测模式对所述当前块进行编码，将存储于片上缓冲器或高速缓冲存储器中的所述先前图像中的所述帧间参考数据用于获取用于所述当前块的帧间预测。在另一个实施例中，两个模式共享运动补偿/运动估计单元。

Description

视频编解码***中在帧内块复制模式和帧间预测模式之间的 资源共享的方法和装置
相关申请
本申请要求递交于2015年6月3日的号码为60/170,267的美国临时专利申请案和递交于2015年9月2日的号码为62/213,254的美国临时专利申请案的优先权。美国临时专利申请案整体通过引用的方式纳入本文当中。
技术领域
本申请涉及使用帧内块复制(Intra Block Copy,简称IntraBC)模式的视频编解码。具体地，本申请涉及视频编解码***中的帧内块复制模式和帧间预测模式之间的资源共享。
背景技术
高效视频编码(HEVC)是最近几年发展起来的一种新的编解码标准。在高效视频编码***中，H.264/AVC中固定大小的宏块(macroblock)被一个灵活的块所代替，称为编码单元(coding unit，简称CU)，CU中的像素共享相同的编解码参数以提升编解码效率。一个CU可以开始于一个最大的CU(LCU)，在HEVC中也称为编码树单元(coded tree unit，CTU)。除了编码单元的概念，HEVC中也介绍了预测单元(prediction unit，简称PU)的概念。一旦完成了CU分层树的拆分，根据预测类型和PU分区，每个叶CU进一步被拆分为一个或多个预测单元。
随着HEVC标准的发展，也开始了HEVC扩展的发展，HEVC扩展包括屏幕内容编码(screen content coding，简称SCC)。由于屏幕内容特定的特性，已经完成开发的编解码工具在编解码效率方面证明了其显著增益。其间，色彩索引编码(colour index coding)(也称为基于主色彩的编码(major colour based coding))技术表示像素块将索引(indices)用于调色板(主色彩)，并且利用空间冗余(spatial redundancy)对调色板和索引进行编码。虽然可能的色彩组合(colour combinations)的总数目是巨大的，但是对于典型的屏幕内容，图像的一个区域中的色彩通常是非常有限的。因此，色彩索引编码对于屏幕内容材料变得非常有效，相关的关键色彩索引编码技术简要说明如下。
在屏幕内容编码(SCC)发展的历程中，已经描述了各种各样的视频编码工具，包括“帧内图像块复制”(IntraBC)技术。IntraBC技术第一次公开于JCTVC-M0350(2013年4月18-26日，在韩国仁川举行的视频编码联合协作小组(Joint Collaborative Team on VideoCoding，简写为JCT-VC)ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第13次会议中，Budagavi在AHG8：使用帧内运动补偿的视频编解码(Video coding using Intra motioncompensation)，文献：JCTVC-M0350)中。图1示出了根据JCTVC-M0350的一个示例，其中使用帧内运动补偿(motion compensation，简称MC)对当前编码单元(CU，110)进行编码。帧内MC也称为帧内块复制(IntraBC)。预测块(120)由当前CU和位移向量(112)来定位，在这个示例中，搜索范围被限制于当前CTU(编码树单元)、左CTU以及左左CTU(left-left CTU)，预测块从已经重建的区域中获得。然后，也被称为运动向量(MV)或块向量(BV)的当前CU的位移向量和当前CU的残差进行编码。众所周知，HEVC采用CTU和CU块结构作为编解码视频数据的基础单元，每个图像被分成多个CTU且每个CTU递归地分成多个CU。在预测期间，每个CU可以被分成用于执行预测进程多个块，称为预测单元(prediction units,简称PUs)。
在JCTVC-M0350中，在至少以下方面，IntraBC不同于用于帧间预测的运动补偿：
帧内运动补偿的块向量(MVS)被限制为一维的(1-D)(也就是水平或者垂直)，而帧间运动补偿使用二维的(2-D)运动估计。
帧内运动补偿的二进制化是定长的，而帧间预测使用指数哥伦布(exponential-Golomb)。
帧内运动补偿引入了一个新的语法元素来用指示块向量是水平的或者垂直的。
基于JCTVC-M0350，2013年7月25日-8月2日，在奥地利维也纳举行的JCT-VC ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第14次会议中，Pang等人在Non-RCE3：使用2-D运动向量的帧内运动补偿(Intra Motion Compensation with 2-D MVS)中公开了一些修正，文献：JCTVC-N0256(以下称为JCTVC-N0256)。首先，IntraBC扩展至支持2-D MVs，以致于垂直和水平的两个MV分量可以同时是非0的，相比于MV被严格限制为水平的或垂直的传统方法，这为IntraBC提供了更多的灵活性。
在JCTVC-R0309(2014年7月，在日本札幌举行的JCT-VC ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第18次会议中，Pang等人提出了：Non-SCCE1：JCTVC-R0185和JCTVC-R0203的组合，文献:JCTVC-R0309)中，相邻的BVs和编码的BVs被用作BV预测值(BVP)。BV预测值的获取与HEVC中的高级运动向量预测(advanced motion vector prediction，简称AMVP)方案相类似。由首先顺序访问当前块(210)的空间邻近的块a1(220)和b1(230)构成预测值候选列表，如图2所示。如果任一空间邻近的块没有块向量，最后两个编码的BVs用作替代块向量以填充块向量候选列表以致于该列表包括两个不同的条目。替代块向量用(-2*CU_width,0)和(-CU_width,0)进行初始化，其中CU_width是CU的宽度。为了避免线缓冲器(line buffer)，上述在CTU之外的BV被认为是不可用的，在每个CTU编解碼结束时，将每个CTU的最后两个编码的BVs重置为(0,0)以防止数据的相关性。
在HEVC中，从帧间编码的切片(slice)中的用于当前编码的块的空间/时间相邻的块中获取Merge候选。merge_flag用于发信当前块是否被并入到其候选之一中，如果是，使用另一个索引以发信哪一候选被用于Merge模式。例如，如果图2中的候选块a1被发信为将要被使用的候选，则当前块将共享与块a1相同的运动向量和参考图像。
如果任何Merge候选都是不可用的(例如，在帧间模式中不存在或未被编码)，则在候选列表中***的额外的候选。如果Merge候选列表在***额外的候选后还是没有满，具有等于0的参考索引(也就是refIdx)的0运动向量将被用于填充所有空的候选。
可以***的额外的候选的两种类型：
1.组合的双向预测的Merge候选(候选类型1)
2.0向量Merge/AWVP候选(候选类型2)
在额外的候选类型1之后***额外的候选类型2。
对于候选类型1，通过组合原始的Merge候选生成组合的双向预测的Merge候选。具体地，具有mvL0(列表0中的运动向量)和refIdxL0(列表0中的参考图像索引)，或者具有mvL1(列表1中的运动向量)和refIdxL1(列表1中的参考图像索引)的两个原始的候选被用于生成双向预测的Merge候选。
对于候选类型2，通过组合0向量和可以被参考的参考索引来生成0向量Merge/AMVP候选。如果0向量候选没有重复，它将被加入至Merge/AMVP候选集中。
在SCM-2.0中(2014年6月30日-7月9日，在日本札幌举行的JCT-VCITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第18次会议中，Joshi等人提出了：屏幕内容编码测试模式2(Screen content coding test model 2(SCM 2))，文献：JCTVC-R1014)，将块向量差异的编码修正为去使用一个上下文编码(context-coded)的二进制(bin)以用于编码每个向量分量。在此文献中，还提出了一种进一步提升编解码效率和能够实现BVD个MVD编解码统一的方法。
在SCM3.0中(2014年8月17-24日，在法国斯特拉斯堡举行的JCT-VCITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第19次会议中，Joshi等人提出：屏幕内容编码测试模式3(Screen content coding test model 3(SCM 3))，文献：JCTVC-S1014)，如图3所示，采用了阶梯形(ladder shaped)的IntraBC搜索范围约束，其中具有交叉线背景的块指示阶梯形的IntraBC的搜索范围以及对应于当前CTU的块310。对于在当前CTU中的IntraBC块，将可用搜索区域被约束到具有点背景的CTUs和当前CTU中的重建的块中。
发明内容
本发明公开了一种用于在使用包括帧内块复制(IntraBC)的编码模式的视频编解码***中配置片上缓冲器(on-chip buffer)或高速缓冲存储器(cache memory)方法和装置。根据这一方法，当前图像的至少部分预去块重建(pre-deblocking reconstructed)的视频数据存储于片上缓冲器或高速缓冲存储器中，当视频编解码***使用包括帧间预测模式的编码模式的时候，来自于在先图像的至少部分帧间参考视频数据也存储在片上缓冲器或高速缓冲存储器中。在这种情况下，来自于在先图像的至少部分帧间参考视频数据存储在片上缓冲器或高速缓冲存储器中。如果当前块使用IntraBC模式进行编码，存储在片上缓冲器或高速缓冲存储器中当前图像的预去块重建的视频数据被用于获取用于当前块的IntraBC预测。在一些实施例中，如果当前块使用帧间预测模式进行编码，存储在片上缓冲器或高速缓冲存储器中的帧间参考视频数据被用于获取用于当前块的帧间预测。来自于先前图像的部分帧间参考视频数据可以从基于片外存储器(off-chip memory)中的解码图像缓冲器中预取出至片上缓冲器或高速缓冲存储器中。在一个实施例中，当前图像的第二部分预去块重建的视频数据可以存储于片外存储器。
为了压缩***带宽，当前图像的预去块重建的视频数据可以从运动补偿或运动估计(MC/ME)单元中直接输出至片上存储器或高速缓冲存储器中。因此，对于IntraBC编码或解码当前图像的后续编码树单元(CTU)中的另一个块，***可以决定所需要的预去块重建的视频数据在片上缓冲器或高速缓冲存储器中。如果是，那么***可以从片上缓冲器或高速缓冲存储器中读取所需要的预去块重建的视频数据。否则，***将从片外存储器中读取所需要的预去块重建的视频数据。当片上缓冲器或高速缓冲存储器是饱和或几乎饱和的时候，清除片上缓冲器或高速缓冲存储器中的至少一些预去块重建的数据，被清除的数据可以对应于长时间逗留的、近期几乎不使用的、在几何位置上远离当前块的或在将来最不可能使用的数据。
在一个实施例中，片上缓冲器或高速缓冲存储器被重新配置以存储在一个配置中属于当前图像的预去块重建的视频数据的重建的视频数据，并且存储在另一个配置中属于来自于先前图像的所述至少部分帧间参考视频数据的重建视频数据。如果片上缓冲器或高速缓冲存储器包括N条高速缓存线，所述N条高速缓存线可以被配置到M个高速缓存线组中，其中每个所述高速缓存线组由1至(N-M+1)个高速缓存线组成，其中N和M是正整数且1＜M≤N。所述高速缓存线组可以单独地和动态地被配置以在帧间预测模式中存储参考帧数据以及在IntraBC模式中存储预去块数据。一个标记或地址范围可以被用于标识在高速缓存线组中所存储的数据是否是帧间预测模式中的参考帧数据或IntraBC模式中的预去块数据。如果用于帧间预测模式和IntraBC模式中的一个模式的高速缓存线组的总数超过了阈值，清除至少一个高速缓存线组以释放资源以用于另一个模式，所述阈值可以根据编码条件适应性地确定。例如，如果在一个Intra切片中对块进行编码或解码，用于所述帧间预测模式的所述阈值被设置为0。
根据本发明的另一种方法，使用编码器侧用于所述帧间预测模式的所述运动估计(MC)单元或者解码器侧用于所述帧间预测模式的所述运动补偿(ME)单元在IntraBC模式中执行像素重建。所述运动估计单元或所述运动补偿单元使用在先前图像中的参考像素和运动向量生成预测块。对于IntraBC模式，所述运动估计单元或所述运动补偿单元在当前图像中的使用先前的预去块重建视频数据作为参考像素以及使用块向量作为运动向量以生成所述预测块。在帧间预测模式和IntraBC模式之间的所述MC/ME共享可以与片上缓冲器或高速缓冲存储器共享合并。
当IntraBC应用于非444色彩视频数据的时候，色度分量必须水平和垂直地插值，然而，插值过滤需要来自相邻块的数据，数据相关性将会在处理管线中造成泡沫周期(bubble cycles)。根据本发明的又一方法，通过交错第一色彩色度块和第二色彩色度块将空间插值应用于第一色彩色度块和第二色彩色度块。此外，通过将每个亮度块拆分成两半亮度块以及在一个第二色彩色度块和一个第二色彩色度块之间处理每一半个亮度块，将重建进程应用于亮度块、第一色彩色度块以及第二色彩色度块。
附图说明
图1示出了帧内块复制(IntraBC)的示例，其中块向量被限制为水平方向。
图2示出了基于空间相邻的块的运动向量构造运动向量预测值候选列表的示例。
图3示出了根据现有的HEVC SCC(高效视频编码-屏幕内容编码)规格的一个阶梯形的IntraBC搜索范围的示例。
图4示出了与预去块数据高速缓存方法有关的一个示例性***框图，其中仅示出了编解码***中相关的***块。
图5示出了用于结合了共享的预去块数据和帧间参考数据高速缓存方法的实施例的编解码***的示例性框图。
图6A示出了根据本发明的一实施例的用于存储预去块数据和帧间参考数据的配置共享的片上存储器的示例。
图6B示出了根据本发明一实施例的用于存储预去块数据和帧间参考数据的配置共享的片上存储器的示例。
图7示出了对应于IntraBC模式中色度水平滤波、垂直滤波和重建的处理线程的示例性定时关系，其中在相同色度分量的两个连续的块的水平处理之间需要两个泡沫周期。
图8示出了根据本发明一实施例的对应于色彩分量交错方法以估算泡沫周期的处理线程的一个示例性定时关系。
图9示出了根据本发明一实施例的对应于色彩分量交错方法以估算泡沫周期的处理线程的另一个示例性定时关系。
图10示出了根据本发明一实施例的对应于色彩分量交错方法以估算泡沫周期的处理线程的又一个示例性定时关系。
图11示出了用于分数的块向量情况下的对应于色彩分量交错方法的处理线程的另一个示例性定时关系。
图12示出了根据本发明一实施例的使用包括IntraBC模式和帧间预测模式的编码模式的一个示例性编解码***的流程图，其中帧间预测模式和IntraBC模式共享片上缓冲器和高速缓冲存储器。
图13示出了根据本发明一实施例的使用包括IntraBC模式和帧间预测模式的编码模式的一个示例性编解码***的流程图，其中帧间预测模式和IntraBC模式共享运动补偿(MC)单元或运动估计(ME)单元。
具体实施方式
以下描述是实施本发明的最佳实施模式，本说明书旨在说明本发明的一般原理而不应该做限制性的理解，本发明的范围由所附权利要求最佳确定。
帧间模式和IntraBC模式共享片上高速缓冲器
在视频编码设计中，片上缓冲器或高速缓冲存储器(cache)通常用于存储对应于参考帧的纹理(texture)的搜索范围数据。在SCC(屏幕内容编码)中，对于IntraBC预测而言，需要当前图像的预去块重建的纹理。当前图像的预去块重建的视频数据(例如，纹理)通常存储在与参考图像相同的地方。由于相当大的存储需求，所述参考图像通常存储在片外存储器中，例如DRAM(动态随机存取存储器)。然而，在编码器侧，通常有一个或多个片上缓冲器或高速缓冲存储器以存储参考图像的部分数据用于帧间预测模式中的运动估计。在本发明中，公开了帧间预测和IntraBC预测两者共享片上缓冲器或高速缓冲存储器，片上缓冲器或高速缓冲存储器不仅存储参考图像的部分数据，而且存储当前图像的预去块重建的纹理。因此，帧间运动估计和IntraBC块匹配可以存取相同的片上缓冲器或高速缓冲存储器获得所需要的数据。
在一个实施例中，当前图像的部分预去块重建的纹理存储于片外缓冲器中，而当前图像的部分预去块重建的纹理存储于片上缓冲器或高速缓冲存储器中，在帧间预测和IntraBC预测之间共享所述片上缓冲器或高速缓冲存储器。
在另一个实施例中，当前图像的部分预去块重建的纹理存储于片外缓冲器中，而当前图像的部分预去块重建的纹理存储于片上缓冲器或高速缓冲存储器中。然而，所述片上缓冲器或高速缓冲存储器对于帧间预测是不共享的，在这种情况下，存储在片上缓冲器或高速缓冲存储器中的数据可以被当前帧中的CUs参考。
与用于帧间预测的Merge模式相似，根据本发明的一个实施例，用于当前PU的可能的候选BVs可以从相邻块的信息中获取，可能的BV候选可以是左边的、左下方的、上方的、左上方的、右上方的相邻的块的BVs，可能的BV候选也可以是根据Merge候选获取而获取的。在对当前PU进行编码之前，当前PU的IntraBC预测的参考数据可以被预取出至片上缓冲器或高速缓冲存储器中。在一些其他实施例中，来自于先前图像的至少部分帧间参考视频数据可以从基于片外存储器中的解码图像缓冲器中被预取出至片上缓冲器或高速缓冲存储器中。
预去块数据高速缓存方法
对于IntraBC模式，视频编码器和解码器需要在缓冲器中存储预去块数据，所述缓冲器其通常作为外部存储器被实施，为了存取存储在外部存储器中的预去块数据，将会导致存储器带宽消耗的增加。为了减少存储器带宽，一个预去块数据高速缓存方法可以包括以下步骤或特征中的一个或多个：
1.从MC(运动补偿)/ME(运动估计)中输出重建的数据(预去块数据)至预去块滤波模块；
2.在内部缓冲器中(例如，SRAM(静态随机存取存储器)或高速缓冲存储器)存储直接来自于MC/ME的至少一部分预去块数据；
a)为了长期使用，预去块数据也可以存在于外部缓冲器中。在编码器侧，为了节省存储器的带宽，预去块数据可以不存储于外部存储器中或仅一部分预去块数据存储于外部存储器中。
3.当在相同帧的后续CTU中进行编码/解码IntraBC模式的时候，检查所需要的预去块数据是否在内部缓冲器中；
a)如果所需要的预去块数据存在于内部缓冲器中，从内部缓冲器中读取所述数据；
b)如果所需要的预去块数据不存在，从外部缓冲器中读取所述数据；
4.在下列情况下，清除内部缓冲器中的预去块数据：
a)缓冲器饱和或几乎饱和；或者
b)数据存储了最长的时间、或数据最近最少被使用、或数据在未来最不可能被使用。
图4示出了与预去块数据高速缓存方法有关的一个示例性***框图，其中仅示出了编解码***中相关的***块。主要的***块包括MC/ME单元410(运动补偿/运动估计单元)、去块滤波单元420、内部缓冲器430以及外部缓冲器440。内部缓冲器430使用SRAM(静态随机存取存储器)或高速缓冲存储器设备实施以支持所需要的高速存取速度。另一方面，外部缓冲器可以基于DRAM(动态随机存储器)实现以低成本实现大存储。在一些实施例中，可以根据预定的策略(例如阈值)，确定缓冲器是否饱和或者几乎饱和或者没有饱和。
共享的预去块数据高速缓存的方法
预去块数据高速缓存方法可以被实施为专用的高速缓冲存储器或像高速缓冲存储器一样的存储器，其通常具有高成本。为了进一步减少成本，提出了一种共享的预去块数据高速缓存的方法。
可以看出，数据缓冲对于不同的编解码情景可以是不同的。在一个情景中，视频编码***可能不需要缓冲预去块数据，在另一个情景中，视频编解码***可能需要缓冲多于参考帧数据的预去块数据以用于运动补偿。可以存储对应于去块和/或滤波数据的预去块数据和参考帧数据两者的可重配置的高速缓冲存储器可以显著提高高速缓冲存储器的利用和降低成本。所述数据高速缓存方法可以包括下列步骤或特征的一个或多个：
1.使用高速缓冲存储器***去同时存储对应于去块和/或滤波数据的预去块数据和参考帧数据，其中至少一部分高速缓冲存储器资源可以被重配置以存储参考帧数据或预去块数据；
2.将高速缓冲存储器***配置为N个高速缓存线，其中所述N个高速缓存线被配置到M个组中，每个组有1到(N-M+1)个高速缓存线，M和N是正整数且1＜M≤N；
3.独立地和动态地配置至少一组高速缓存线作为用于存储所述参考帧数据的参考模式或用于存储预去块数据的预去块模式：
a.模式配置：使用标签或地址范围去标注高速缓存线作为参考模式或预去块模式。
4.使用清除方法来控制参考模式或预去块模式的资源使用，以提高高速缓存命中率(hit rate)：
a.限制用于两个模式之一的高速缓存线的数量。例如，当被占用的高速缓存线数量超过阈值的时候，清除高速缓存线以释放资源至另一个模式；
b.根据编解码情景适应性地确定资源限制，例如，当帧内切片被编码或解码的时候，用于参考模式的高速缓存线的数量被限制为0。
图5示出了中结合了共享的预去块数据的高速缓存方法的实施例的编解码***中配置高速缓冲存储器的示例。高速缓冲缓存器(510-0至510-4)用于缓冲当前帧的预去块数据(520)或者先前帧的参考帧数据(530)。换句话说，预去块数据和参考帧数据共享高速缓冲缓存器(510-0至510-4)，预去块数据用于IntraBC预测并且来自于先前帧的参考帧数据用于帧间预测。高速缓冲存储器被配置至高速缓存线组中以致于每个高速缓存线组可以单独地和适应性地被分配以存储预去块数据或参考帧数据。在图5的示例中，有五个高速缓存线组，其中高速缓存线组0(510-0)和高速缓存线组2(510-2)被分配用于存储预去块数据，另一方面，高速缓存线组1(510-1)和高速缓存线组3(510-3)和4(510-4)被分配用于存储参考帧数据。每个高速缓存线组由一个或多个高速缓存线组成。图5示出了一个示例，其中IntraBC进程和帧间预测进程通过选择器550共享相同的MC/ME单元540(运动补偿/运动估计单元)，不过，独立的处理单元可以用于IntraBC预测和帧间预测。因为高速缓冲存储器的分配是单独地和适应性地执行的，在下一决策实例中可以改变高速缓存线组的分配，如下一个预测单元(PU)、编码单元(CU)或编码树单元(CTU)。
高速缓冲存储器配置-示例1。根据共享的预去块数据高速缓存方法的示例如下所示：
1.如图6A所示，N＝5，M＝2。换句话说，有五个高速缓存线(610-0至610-4)被配置至两个高速缓存线组(620-0和620-1)中。
2.每个组具有预定义的高速缓存线的数量
a.在这种情况下，高速缓存线组0(620-0)有两个高速缓存线并且高速缓存线组1(620-1)有三个高速缓存线。
3.两个高速缓存线组中的每一个可以被独立地被配置为用于存储参考帧数据的参考模式或用于存储预去块数据的预去块模式：
a.对于不使用IntraBC模式的帧间切片类型，将两个缓存线组配置为参考模式以将全部高速缓存线用于MC/ME。
b.对于帧内切片类型，配置两个高速缓存线组为预去块模式以将全部高速缓存线用于IntraBC模式。
4.两个高速缓存线组可以被实施为两个单独的缓冲器/SRAMs。
高速缓冲存储器配置-示例2，根据共享的预去块数据高速缓存方法的示例如下所示：
1.如图6B所示，N＝M＝5。换句话说，五个高速缓存线(610-0至610-4)被配置至五个高速缓存线组(630-0至630-4)中，其中每个高速缓存线组中有一个高速缓存线。
2.高速缓存线组中的每个高速缓存线可以被单独地和动态地配置为用于存储参考帧数据的参考模式或用于存储预去块数据的预去块模式。
3.使用标签或存储器地址范围以标注高速缓存线为参考模式或预去块模式。
4.对参考模式高速缓存线和预去块模式高速缓存线两者使用LRU(最近最少使用)清除方法。
高速缓冲存储器的更新可以基于数据几何关系。在SCM中，左边相邻的CTUs和上面的CTUs通常用作IntraBC预测值。在解码器侧，预去块取样的左边M个CTUs和上面N个CTUs可以存储于高速缓冲缓存器或从高速缓冲缓存器预取出。在高速缓冲缓存器中，不在左边M个CTUs和上面N个CTUs中的取样可以由其他数据替代。
重新使用MC HW用于IntraBC图像
在SCM-4.0中，IntraBC将使用BV和参考像素以执行用于目标块的补偿，这一操作恰好和MC(运动补偿)进程的操作是一样的，其使用先前帧中的MV和参考像素。因此，用于MC进程的处理器、电子电路或其他硬件可以被重新使用以执行IntraBC补偿。在解码器侧，IntraBC补偿可以在像素重建阶段执行，在编码器侧，ME硬件可以在IntraBC模式和帧间预测模式之间被重新使用或共享。
色度IBC MC时间表
在SCM-5.1中(在2015年6月19-26日，在波兰华沙举行的JCT-VCITU-TSG16WP3和ISO/IECJTC1/SC29/WG11，第21次会议中，Joshi等人提出的：屏幕内容编码测试模式3(Screen content coding test model 3,简称SCM 3)，文献JCTVC-U1014)，在非444格式中需要进行色度插值。如果输入和输出数据具有数据相关性，插值可能需要泡沫周期(bubblecycle)，所述泡沫周期是添加到处理线程以解决数据相关性问题的无操作(NOP)周期(也就是空闲周期)。例如，如果先前PU/CU中重建的数据用作为用于当前PU/CU的预测值，可能需要泡沫周期。在这种情况下，根据HEVC-SCC规格使用2D可分离的插值滤波器。如图7所示，在过滤了4行(也就是将4个分接头的滤波器用于色度分量)以后，首先应用水平滤波器(H-filter)接着应用垂直滤波器(V-filter)以获得插值的预测值。因为执行垂直滤波需要额外的水平线(也就是3行)，所以总的水平滤波将需要7个周期(也就是4c+3c)。需要一个额外的周期来通过加上残差以生成重建像素，如图7所示，需要两个泡沫周期。
为了减少泡沫周期，如图8所示，可以应用本发明的色彩分量交错方法，其中处理对应于第一色度分量(也就是Cb)的块，随后是另一个对应于第二色度分量(也就是Cr)的块，换句话说，交错两个色彩块(也就是Cb块和Cr块)用于IntraBC处理。在另一个实施例中，如图9所示，可以将亮度分量分成两部分，一部分可以插在Cb和Cr之间且另一部分插在Cr和Cb之间以减少泡沫周期。
在另一个实施例中，如图10所示，Cb和Cr分量可以并行处理以减少所需要的泡沫周期。
在HEVC-SCC中，如果块向量(BV)是分数的(也就是BV指向一分数的位置)，根据本发明的一个实施例，那么靠近于可用像素边界的2像素边缘被认为是不可用区域。因此，如图11所示，在前2个周期期间，先前CU的输出数据将不会被用于当前CU的插值，泡沫周期将被隐藏起来。
图12示出了根据本发明一实施例的使用包括IntraBC模式和帧间预测模式的编码模式的示例性编解码***的流程图，其中帧间预测模式和IntraBC模式共享片上缓冲器或高速缓冲存储器。如步骤1210所示，将当前图像的至少部分预去块重建的视频数据存储于片上缓冲器或高速缓冲存储器中。在步骤1220中接收当前图像中与当前块有关的输入数据，在编码器侧，使用帧间预测模式或IntraBC模式对对应于像素数据的输入数据进行编码，在解码器侧，使用帧间预测模式或IntraBC模式对对应于编码的像素数据的输入数据进行解码。在步骤1230中，如果使用所述IntraBC模式对所述当前块进行编码，使用当前图像的所述至少部分预去块重建的视频数据以获取用于所述当前块的IntraBC预测。
图13示出了根据本发明一实施例的使用包括IntraBC模式和帧间预测模式的编码模式的示例性编解码***的流程图，其中帧间预测模式和IntraBC模式共享运动补偿(MC)单元或运动估计(ME)单元。在步骤1310中，接收与当前图像中当前块有关的输入数据，在编码器侧，使用使用帧间预测模式或IntraBC模式对对应于像素数据的输入数据进行编码，在解码器侧，使用帧间预测模式或IntraBC模式对对应于编码的像素数据的输入数据进行解码。在步骤1320中，如果使用帧间预测模式对当前块进行编码，使用编码器侧中的运动估计单元或解码器侧中的运动补偿单元以执行像素重建，其中运动估计单元或运动补偿单元使用先前图像中的参考像素和运动向量生成预测块。在步骤1330中，如果使用IntraBC模式对当前块进行编码，使用编码器侧中的运动估计单元或解码器侧中的运动补偿单元执行像素重建。
根据本发明所示出的流程图是为了说明视频编解码的一个示例，在不脱离本发明精神的前提下，本领域技术人员可以对每一步进行修改、重新排列步骤、拆分步骤或合并步骤来实施本发明。在本发明中，使用了特定的语法和语义示出了实施本发明实施例的示例，在不背离本发明精神的前提下，本领域技术人员可以用相等的语法和情景替换语法和语义以实施本发明。
上述描述是为了使本领域普通技术人员能够根据上下文所提供的特定应用和其需求实施本发明。对于本领域普通技术人员而言，所描述的实施例的各种各样的修正是显而易见的，且本文中所定义的一般原理可应用于其他实施例。因此，本发明不旨在限制于示出和描述的具体实施例，其应符合这里所公开的原则和新颖性特征一致的最广范围。在上述详细的描述中，为了提供本发明透彻的理解，示出了各种各样的具体的细节，然而本领域技术人员应当理解，可以实施本发明。
上述所描述的本发明的实施例可以实施为各种各样的硬件、软件代码或两者的组合，例如，本发明的一个实施例可以是集成到视频压缩芯片上的一个或多个电子电路或集成到视频压缩软件中的程序代码以执行本文所描述的进程。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，简称DSP)上执行的程序代码以执行本文所描述的进程。本发明也可以包含由电脑处理器、数字信号处理器、微处理器或现场可编程门阵列(field programmable gate array，简称FPGA)执行的一些功能。可以配置这些处理器执行根据本发明的具体的任务，通过执行由本发明定义的具体方法的机器可读软件代码或固件代码。软件代码或固件代码可以以不同的编程语言和不同的格式或样式来开发，还可以被不同的目标平台编译软件代码。然而，软件代码的不同的代码格式、风格和语言以及配置代码以执行与本发明中认为一致的其他手段将不会脱离本发明的精神和范围。
在不背离本发明精神或基本特征的情况下，本发明可以以其他特定的形式实施。所描述的实施例在所有方面仅被认为是说明性的而非限制性的，因此，本发明的范围由所附权利要求所指示而不是前面的描述。在权利要求的等同物的含义和范围内的所有变化都包括在它们的范围内。

Claims (24)

1.一种视频编解码方法，其配置片上缓冲器或高速缓冲存储器用于使用包括帧内块复制模式的的视频编解码***，其特征在于，包括：
将当前图像的至少部分预去块重建的视频数据存储于所述片上缓冲器或高速缓冲存储器中；
接收所述当前图像中与当前块有关的输入数据；以及
如果使用所述帧内块复制模式对所述当前块进行编码，使用存储于所述片上缓冲器或高速缓冲存储器中的所述当前图像中的所述至少部分预去块重建的视频数据以获取用于所述当前块的帧内块复制预测。
2.如权利要求1所述的视频编解码方法，其特征在于，进一步包括：将所述当前图像的第二部分预去块重建的视频数据存储于片外存储器。
3.如权利要求1所述的视频编解码方法，其特征在于，进一步包括：将来自于先前图像的至少部分帧间参考视频数据存储于所述片上缓冲器或高速缓冲存储器；以及，如果使用帧间预测模式对所述当前块进行编码，使用来自于所述先前图像的所述至少部分帧间参考视频数据以获取用于所述视频编解码***的所述当前块的帧间预测，所述视频编解码***使用进一步包括所述帧间预测模式的编解码模式。
4.如权利要求3所述的视频编解码方法，其特征在于，其中来自于所述先前图像的所述至少部分帧间参考视频数据从基于片外存储器的解码图像缓冲器中预取出至所述片上缓冲器或高速缓冲存储器中。
5.如权利要求3所述的视频编解码方法，其特征在于，其中所述当前图像的所述至少部分预去块重建的视频数据直接从运动补偿单元、运动估计单元或重建单元中直接输出至所述片上缓冲器或高速缓冲存储器中。
6.如权利要求5所述的视频编解码方法，其特征在于，进一步包括：决定用于所述当前图像的后续编码树单元中的另一个块的帧内块复制编码或解码所需要的所述预去块重建的视频数据是否在所述片上缓冲器或高速缓冲存储器中；如果所述所需要的所述预去块重建的视频数据存在于所述片上缓冲器或高速缓冲存储器中，从所述片上缓冲器或高速缓冲存储器中读取所述所需要的所述预去块重建的视频数据；以及，如果所述所需要的所述预去块重建的视频数据不存在于所述片上缓冲器或高速缓冲存储器中，从片外存储器中读取所述所需要的所述预去块重建的视频数据。
7.如权利要求5所述的视频编解码方法，其特征在于，当所述片上缓冲器或高速缓冲存储器饱和或几乎饱和的时候，清除所述片上缓冲器或高速缓冲存储器中的至少一些所述预去块重建的视频数据。
8.如权利要求7所述的视频编解码方法，其特征在于，将要被清除的所述至少一些所述预去块重建的视频数据对应于逗留最长时间的、最近最少使用的、在几何位置上远离当前块的或在将来最不可能使用的存储数据。
9.如权利要求3所述的视频编解码方法，其特征在于，配置所述片上缓冲器或高速缓冲存储器的至少一部分，在一个配置中，存储属于所述当前图像的所述至少部分预去块重建的视频数据的重建的视频数据；以及，在另一个配置中，存储属于来自于所述先前图像的所述至少部分帧间参考视频数据的重建的视频数据。
10.如权利要求3所述的视频编解码方法，其特征在于，其中所述片上缓冲器或高速缓冲存储器包括N个高速缓存线，所述N个高速缓存线被配置到由1到(N-M+1)高速缓存线组成的M个高速缓存线组中，以及N和M是正整数且1＜M≤N。
11.如权利要求10所述的视频编解码方法，其特征在于，其中至少一个所述高速缓存线组单独地和动态地被配置以存储所述帧间预测模式中所述参考帧数据或所述帧内块复制模式中的所述预去块数据。
12.如权利要求11所述的视频编解码方法，其特征在于，其中使用一个标记或地址范围去标识所述至少一个高速缓存线组中的存储数据是用于所述帧间预测的所述参考帧数据或用于所述帧内块复制模式的所述预去块数据。
13.如权利要求11所述的视频编解码方法，其特征在于，如果用于所述帧间预测模式和所述帧内块复制模式之一的至少一个所述高速缓存线组的总数量超过了阈值，清除至少一个所述高速缓存线组以释放用于另一个模式的资源。
14.如权利要求13所述的视频编解码方法，其特征在于，所述阈值是根据编解码条件适应性地确定的。
15.如权利要求14所述的视频编解码方法，其特征在于，如果块在帧内切片中被编码被或解码，用于所述帧间预测模式的所述阈值被设置为0。
16.如权利要求3所述的视频编解码方法，其特征在于，进一步包括：使用编码器侧中的用于所述帧间预测模式的运动估计单元或解码器侧中的用于所述帧间预测模式的运动补偿单元以在所述帧内块复制模式中执行像素重建，其中所述运动估计单元或所述运动补偿单元使用先前图像中的参考像素和运动向量生成预测块。
17.如权利要求16所述的视频编解码方法，其特征在于，其中将所述当前图像中先前的预去块重建视频数据用作为所述参考像素以及块向量用作为所述运动向量以生成用于所述帧内块复制模式的所述预测块。
18.一种视频编解码装置，其使用包括帧内块复制模式的编解码模式，其特征在于，包括一个或多个电子电路或处理器用于：
将当前图像的至少部分预去块重建的视频数据存储于片上缓冲器或高速缓冲存储器中；
接收与所述当前图像中当前块相关的输入数据；以及
如果使用所述帧内块复制模式对所述当前块进行编码，使用存储于所述片上缓冲器或高速缓冲存储器中的所述当前图像中的所述至少部分预去块重建的视频数据以获取用于所述当前块的帧内块复制预测。
19.一种视频编解码方法，其在帧间预测模式和帧内块复制模式之间共享处理资源，其特征在于，包括：
接收当前图像中与当前块有关的输入数据；
如果使用帧间预测模式对所述当前块进行编码，使用编码器侧中的运动估计单元或解码器侧中的运动补偿单元以执行像素重建，其中所述运动估计单元和所述运动补偿单元使用先前图像中的参考像素和运动向量生成预测块；以及
如果使用所述帧内块复制模式对所述当前块进行编码，使用所述编码器侧中的所述运动估计单元或所述解码器侧中的所述运动补偿单元以执行所述像素重建。
20.如权利要求19所述的视频编解码方法，其特征在于，其中所述当前图像中的先前的预去块重建视频数据用作所述参考像素以及块向量用作所述运动向量以生成用于所述帧内块复制模式的所述预测块。
21.一种视频编解码装置，其使用包括帧间预测模式和帧内块复制模式的编解码模式，其特征在于，包括一个或多个电子电路或处理器用于：
接收当前图像中与当前块有关的输入数据；
如果使用帧间预测模式对所述当前块进行编码，使用编码器侧中的运动估计单元或解码器侧中的运动补偿单元以执行像素重建，其中所述运动估计单元和所述运动补偿单元使用先前图像中的参考像素和运动向量生成预测块；以及
如果使用所述帧内块复制模式对所述当前块进行编码，使用所述编码器侧中的所述运动估计单元或所述解码器侧中的所述运动补偿单元以执行所述像素重建。
22.一种非444色彩视频数据的视频编解码方法，其使用包括帧内块复制模式的视频编解码模式，其特征在于，包括：
接收当前图像中与非444色彩块有关的输入数据，其中每个非444色彩块包括一个亮度块和一个第一色彩色度块以及一个第二色彩色度块；以及
通过交错所述第一色彩色度块和所述第二色彩色度块将空间插值应用于所述第一色彩色度块和所述第二色彩色度块。
23.如权利要求22所述的方法，进一步包括：将重建进程应用于所述亮度块、所述第一色彩色度块和所述第二色彩色度块，其中每个亮度块被拆分成两半亮度块以及每一半亮度块在一个所述第一色彩色度块和一个所述第二色彩色度块之间由重建进程进行处理。
24.一种视频编解码装置，其使用包括帧间预测模式和帧内块复制模式的编解码模式，其特征在于，包括一个或多个电子电路或处理器用于：
接收当前图像中与非444色彩块有关的输入数据，其中每个非444色彩块包括一个亮度块和一个第一色彩色度块以及一个第二色彩色度块；以及
通过交错所述第一色彩色度块和所述第二色彩色度块将空间插值应用于所述第一色彩色度块和所述第二色彩色度块。
CN201680031394.4A 2015-06-03 2016-06-03 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置 Pending CN107615765A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562170267P 2015-06-03 2015-06-03
US62/170,267 2015-06-03
US201562213254P 2015-09-02 2015-09-02
US62/213,254 2015-09-02
PCT/CN2016/084651 WO2016192662A1 (en) 2015-06-03 2016-06-03 Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems

Publications (1)

Publication Number Publication Date
CN107615765A true CN107615765A (zh) 2018-01-19

Family

ID=57440179

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680031394.4A Pending CN107615765A (zh) 2015-06-03 2016-06-03 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置
CN201680031708.0A Pending CN107637057A (zh) 2015-06-03 2016-06-03 图像和视频数据的调色板编解码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680031708.0A Pending CN107637057A (zh) 2015-06-03 2016-06-03 图像和视频数据的调色板编解码方法

Country Status (6)

Country Link
US (2) US10397588B2 (zh)
EP (2) EP3295660A4 (zh)
KR (1) KR20180010260A (zh)
CN (2) CN107615765A (zh)
MY (1) MY183484A (zh)
WO (2) WO2016192662A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572648A (zh) * 2018-06-05 2019-12-13 北京字节跳动网络技术有限公司 帧内块复制与帧间编码工具的交互
WO2020024152A1 (zh) * 2018-08-01 2020-02-06 深圳市大疆创新科技有限公司 视频处理设备和方法
CN110855993A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 一种图像块的运动信息的预测方法及装置
WO2020042990A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN110868589A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
WO2020047807A1 (zh) * 2018-09-05 2020-03-12 华为技术有限公司 帧间预测方法、装置以及编解码器
CN111010565A (zh) * 2018-10-04 2020-04-14 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN111492659A (zh) * 2018-02-05 2020-08-04 腾讯美国有限责任公司 视频编码的方法和装置
WO2020156547A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer resetting for intra block copy in video coding
WO2020177661A1 (en) * 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Order-based updating for intra block copy in video coding
CN111684806A (zh) * 2018-02-08 2020-09-18 高通股份有限公司 用于视频译码的块内复制
CN112534807A (zh) * 2018-06-08 2021-03-19 联发科技股份有限公司 用于多假设模式参考和约束的方法和设备
CN112997487A (zh) * 2018-11-15 2021-06-18 北京字节跳动网络技术有限公司 仿射模式与其他帧间编解码工具之间的协调
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
CN114666604A (zh) * 2018-09-21 2022-06-24 腾讯美国有限责任公司 视频编码的方法、装置及计算机可读介质
CN115086706A (zh) * 2022-08-19 2022-09-20 摩尔线程智能科技(北京)有限责任公司 数据缓存方法及芯片
US11477463B2 (en) 2018-06-21 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11616945B2 (en) 2018-09-24 2023-03-28 Beijing Bytedance Network Technology Co., Ltd. Simplified history based motion vector prediction
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11968377B2 (en) 2018-06-21 2024-04-23 Beijing Bytedance Network Technology Co., Ltd Unified constrains for the merge affine mode and the non-merge affine mode

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846597B (zh) * 2016-09-20 2019-12-10 上海澜至半导体有限公司 用于视频解码器的数据缓存方法和装置
US10798402B2 (en) * 2017-10-24 2020-10-06 Google Llc Same frame motion estimation and compensation
EP3906681A4 (en) 2019-02-01 2022-06-01 Beijing Bytedance Network Technology Co., Ltd. INTERACTIONS BETWEEN IN-LOOP TRANSFORMING AND INTERMEDIATE ENCODING TOOLS
WO2020156535A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and block differential pulse coded modulation
US10924750B2 (en) * 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
US11202101B2 (en) 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
EP3925216A4 (en) 2019-03-23 2022-06-15 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON ADAPTIVE LOOP FILTER PARAMETER SETS
CN113039798B (zh) * 2019-05-16 2024-03-26 华为技术有限公司 解码设备实现的译码方法及解码器
JP7324065B2 (ja) * 2019-06-26 2023-08-09 キヤノン株式会社 動きベクトル検出装置、撮像装置、動きベクトル検出方法、及びプログラム
CN114375581A (zh) * 2019-09-12 2022-04-19 字节跳动有限公司 在视频编解码中使用调色板预测器
US11120289B2 (en) * 2019-09-30 2021-09-14 Ati Technologies Ulc Parallel histogram calculation with application to palette table derivation
WO2021086022A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 색상 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
BR112022007946A2 (pt) * 2019-10-29 2022-07-12 Lg Electronics Inc Método para codificação de imagem com base em transformada e aparelho para o mesmo
AU2020374347B2 (en) 2019-10-29 2023-11-23 Lg Electronics Inc. Transform-based image coding method and device therefor
WO2021133529A1 (en) * 2019-12-26 2021-07-01 Alibaba Group Holding Limited Methods for coding video data in palette mode
WO2021137556A1 (ko) * 2019-12-29 2021-07-08 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021134631A1 (zh) * 2019-12-31 2021-07-08 深圳市大疆创新科技有限公司 视频处理的方法与装置
US20230179760A1 (en) * 2020-03-19 2023-06-08 Lg Electronics Inc. Image encoding/decoding method and apparatus based on palette mode, and recording medium that stores bitstream
US11463716B2 (en) * 2021-02-25 2022-10-04 Qualcomm Incorporated Buffers for video coding in palette mode
US20220345604A1 (en) * 2021-04-27 2022-10-27 Apple Inc. Camera integration for portable electronic devices
US11800122B2 (en) * 2021-08-17 2023-10-24 Mediatek Inc. Video processing apparatus using internal prediction buffer that is shared by multiple coding tools for prediction
US20230064790A1 (en) * 2021-08-30 2023-03-02 Mediatek Inc. Prediction processing system using reference data buffer to achieve parallel non-inter and inter prediction and associated prediction processing method
US11789352B2 (en) * 2021-11-01 2023-10-17 GM Global Technology Operations LLC Camera system laminated into glass using microsensor and lens
CN113997868B (zh) * 2021-11-15 2023-07-04 武汉华星光电技术有限公司 车载显示装置
US20230412907A1 (en) * 2022-05-20 2023-12-21 Sony Interactive Entertainment Inc. Near infrared (nir) transparent organic light emitting diode (oled) display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687216A (en) * 1993-08-31 1997-11-11 Ericsson Inc. Apparatus for storing messages in a cellular mobile terminal
US5699128A (en) * 1994-09-28 1997-12-16 Nec Corporation Method and system for bidirectional motion compensation for compression of motion pictures
US20100287333A1 (en) * 2009-05-06 2010-11-11 Samsung Electronics Co., Ltd. Data storage device and related method of operation
US20140286442A1 (en) * 2013-03-25 2014-09-25 Kwangwoon University Industry-Academic Collaboration Foundation Apparatus and method for in-loop filtering based on largest coding unit for reducing external memory access bandwidth
US20140376634A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Intra prediction from a predictive block

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793883A (en) * 1995-09-29 1998-08-11 Siemens Medical Systems, Inc. Method for enhancing ultrasound image
US6037982A (en) 1996-03-28 2000-03-14 Intel Corporation Multi-pass video compression
JP2001231044A (ja) * 2000-02-14 2001-08-24 Nec Corp Ｍｐｅｇ画像復号装置および方法
US7162080B2 (en) * 2001-02-23 2007-01-09 Zoran Corporation Graphic image re-encoding and distribution system and method
KR100436760B1 (ko) 2001-12-20 2004-06-23 삼성전자주식회사 잉크젯 프린터의 헤드 및 그 제조방법
US8428349B2 (en) * 2003-05-21 2013-04-23 Broadcom Corporation Method and apparatus for DRAM 2D video word formatting
KR100842557B1 (ko) 2006-10-20 2008-07-01 삼성전자주식회사 동영상 처리 장치에서 메모리 액세스 방법
WO2012092761A1 (en) 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and apparatus for improved intra prediction mode coding
EP2708027B1 (en) * 2011-05-10 2019-12-25 MediaTek Inc. Method and apparatus for reduction of in-loop filter buffer
US8655086B1 (en) * 2011-11-01 2014-02-18 Zynga, Inc. Image compression with alpha channel data
EP2796604A4 (en) * 2011-12-22 2015-09-23 Teijin Ltd RANDOM MATERIAL AND FIBER REINFORCING COMPOSITE MATERIAL
US9712817B1 (en) * 2013-02-15 2017-07-18 Apple Inc. Lossless video coding systems and methods
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
US9654777B2 (en) * 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
US9774879B2 (en) 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
US20150071357A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
GB2519514A (en) * 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
KR102257269B1 (ko) * 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
EP3033878A4 (en) * 2013-10-14 2017-04-05 HFI Innovation Inc. Method of residue differential pulse-code modulation for hevc range extension
US10291827B2 (en) * 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
WO2015086718A2 (en) * 2013-12-10 2015-06-18 Canon Kabushiki Kaisha Method and apparatus for encoding or decoding blocks of pixel
KR102494913B1 (ko) * 2014-03-14 2023-02-06 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
US9681135B2 (en) * 2014-03-14 2017-06-13 Hfi Innovation Inc. Method for palette table initialization and management
CA2942737A1 (en) * 2014-03-17 2015-09-24 Nokia Technologies Oy Method and technical equipment for video encoding and decoding
EP3055830A4 (en) * 2014-03-21 2017-02-22 Huawei Technologies Co., Ltd. Advanced screen content coding with improved color table and index map coding methods
US9654806B2 (en) * 2014-03-26 2017-05-16 Qualcomm Incorporated Determining palette size, palette entries and filtering of palette coded blocks in video coding
US9877034B2 (en) * 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
US10091512B2 (en) * 2014-05-23 2018-10-02 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US20150381994A1 (en) * 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US10687064B2 (en) * 2014-08-04 2020-06-16 Qualcomm Incorporated Palette mode encoding and decoding with inferred pixel scan order
US9544607B2 (en) * 2014-08-25 2017-01-10 Hfi Innovation Inc. Method of palette index signaling for image and video coding
US20160100177A1 (en) * 2014-10-06 2016-04-07 Qualcomm Incorporated Non-uniform exponential-golomb codes for palette mode coding
TW201626798A (zh) * 2014-10-06 2016-07-16 Vid Scale Inc 用於螢幕內容編碼之改良調色編碼
US9596479B2 (en) * 2014-10-07 2017-03-14 Hfi Innovation Inc. Method of pulse-code modulation and palette coding for video coding
US9986248B2 (en) * 2015-01-29 2018-05-29 Qualcomm Incorporated Palette mode coding for video coding
WO2016123388A1 (en) * 2015-01-29 2016-08-04 Vid Scale, Inc. Palette coding modes and palette flipping
KR102422484B1 (ko) * 2015-01-29 2022-07-20 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2016119726A1 (en) * 2015-01-30 2016-08-04 Mediatek Inc. Method and apparatus for entropy coding of source samples with large alphabet
US20160227254A1 (en) * 2015-01-30 2016-08-04 Qualcomm Incorporated Coding palette run in palette-based video coding
WO2016124158A1 (en) * 2015-02-05 2016-08-11 Mediatek Inc. Methods and apparatus of decoding process for palette syntax
CN107455007B (zh) * 2015-04-02 2021-02-09 株式会社Kt 对视频信号进行编解码的方法
US20160323600A1 (en) * 2015-04-30 2016-11-03 Zhan Ma Methods and Apparatus for Use of Adaptive Prediction Resolution in Video Coding
US10448058B2 (en) * 2015-05-21 2019-10-15 Qualcomm Incorporated Grouping palette index at the end and index coding using palette size and run value
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687216A (en) * 1993-08-31 1997-11-11 Ericsson Inc. Apparatus for storing messages in a cellular mobile terminal
US5699128A (en) * 1994-09-28 1997-12-16 Nec Corporation Method and system for bidirectional motion compensation for compression of motion pictures
US20100287333A1 (en) * 2009-05-06 2010-11-11 Samsung Electronics Co., Ltd. Data storage device and related method of operation
US20140286442A1 (en) * 2013-03-25 2014-09-25 Kwangwoon University Industry-Academic Collaboration Foundation Apparatus and method for in-loop filtering based on largest coding unit for reducing external memory access bandwidth
US20140376634A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Intra prediction from a predictive block

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XU J ET AL.: "On intra block copying in RExt", 《JCT-VC MEETING; 23-10-2013 -1-11-2013; GENEVA; URL:HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/,NO. JCTVC-00232-V3》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111492659B (zh) * 2018-02-05 2023-08-08 腾讯美国有限责任公司 视频解码的方法和装置、及存储介质
CN111492659A (zh) * 2018-02-05 2020-08-04 腾讯美国有限责任公司 视频编码的方法和装置
CN111684806A (zh) * 2018-02-08 2020-09-18 高通股份有限公司 用于视频译码的块内复制
CN111684806B (zh) * 2018-02-08 2024-03-15 高通股份有限公司 用于视频译码的块内复制
US11973962B2 (en) 2018-06-05 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Interaction between IBC and affine
US11831884B2 (en) 2018-06-05 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Interaction between IBC and BIO
CN110572648B (zh) * 2018-06-05 2023-05-02 北京字节跳动网络技术有限公司 帧内块复制与帧间编码工具的交互
US11523123B2 (en) 2018-06-05 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11509915B2 (en) 2018-06-05 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
CN110572648A (zh) * 2018-06-05 2019-12-13 北京字节跳动网络技术有限公司 帧内块复制与帧间编码工具的交互
CN112534807A (zh) * 2018-06-08 2021-03-19 联发科技股份有限公司 用于多假设模式参考和约束的方法和设备
CN112534807B (zh) * 2018-06-08 2024-01-05 寰发股份有限公司 一种用于编码/解码视频数据的方法和装置
US11659192B2 (en) 2018-06-21 2023-05-23 Beijing Bytedance Network Technology Co., Ltd Sub-block MV inheritance between color components
US11895306B2 (en) 2018-06-21 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Component-dependent sub-block dividing
US11968377B2 (en) 2018-06-21 2024-04-23 Beijing Bytedance Network Technology Co., Ltd Unified constrains for the merge affine mode and the non-merge affine mode
US11477463B2 (en) 2018-06-21 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
CN110945872A (zh) * 2018-08-01 2020-03-31 深圳市大疆创新科技有限公司 视频处理设备和方法
WO2020024152A1 (zh) * 2018-08-01 2020-02-06 深圳市大疆创新科技有限公司 视频处理设备和方法
CN110855993A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 一种图像块的运动信息的预测方法及装置
CN110868589B (zh) * 2018-08-28 2023-10-20 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN110868589A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
WO2020042990A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
WO2020047807A1 (zh) * 2018-09-05 2020-03-12 华为技术有限公司 帧间预测方法、装置以及编解码器
CN114666604A (zh) * 2018-09-21 2022-06-24 腾讯美国有限责任公司 视频编码的方法、装置及计算机可读介质
CN114710676A (zh) * 2018-09-21 2022-07-05 腾讯美国有限责任公司 视频解码的方法、装置及可读介质
US12010340B2 (en) 2018-09-21 2024-06-11 Tencent America LLC Intra block copy search range
US11616945B2 (en) 2018-09-24 2023-03-28 Beijing Bytedance Network Technology Co., Ltd. Simplified history based motion vector prediction
CN111010565A (zh) * 2018-10-04 2020-04-14 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN111010565B (zh) * 2018-10-04 2023-05-16 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations
CN112997487A (zh) * 2018-11-15 2021-06-18 北京字节跳动网络技术有限公司 仿射模式与其他帧间编解码工具之间的协调
US12003745B2 (en) 2019-02-02 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Buffer updating for intra block copy in video coding
US11438613B2 (en) 2019-02-02 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Buffer initialization for intra block copy in video coding
US11375217B2 (en) 2019-02-02 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
WO2020156547A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer resetting for intra block copy in video coding
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
CN113545068B (zh) * 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
WO2020177661A1 (en) * 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Order-based updating for intra block copy in video coding
US11956438B2 (en) 2019-03-01 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Direction-based prediction for intra block copy in video coding
CN113545068A (zh) * 2019-03-01 2021-10-22 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11936852B2 (en) 2019-07-10 2024-03-19 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
CN115086706A (zh) * 2022-08-19 2022-09-20 摩尔线程智能科技(北京)有限责任公司 数据缓存方法及芯片

Also Published As

Publication number Publication date
US20180152714A1 (en) 2018-05-31
CN107637057A (zh) 2018-01-26
KR20180010260A (ko) 2018-01-30
US10390028B2 (en) 2019-08-20
EP3295660A1 (en) 2018-03-21
EP3295660A4 (en) 2019-05-29
US20180103260A1 (en) 2018-04-12
EP3298785A1 (en) 2018-03-28
EP3298785A4 (en) 2019-02-13
MY183484A (en) 2021-02-20
US10397588B2 (en) 2019-08-27
WO2016192662A1 (en) 2016-12-08
WO2016192678A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
CN107615765A (zh) 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置
CN105874795B (zh) 在波前并行处理被启用时对图片内预测模式的规则
CN104244007B (zh) 一种图像编码方法和装置及解码方法和装置
CN107852505A (zh) 用于使用帧内块复制模式的视频解码错误处理的方法和装置
CN103931196B (zh) 帧间预测方法及其装置
CN103329525B (zh) 用于视频译码的组合参考图片列表建构
CN101490968B (zh) 用于视频压缩的并行处理装置
CN111869216B (zh) 用于视频编解码***的语法处理的方法和装置
CN106797466A (zh) 用于帧内块复制的解块滤波
CN107592972A (zh) 用于视频数据中特定图片内的帧间译码的搜索区域确定
CN107925759A (zh) 用于编码和解码帧内预测的方法和设备
CN109479138A (zh) 图像编码/解码方法和装置
CN107079161A (zh) 用于屏幕内容以及视频编码的帧内图片块复制的方法
CN106134196A (zh) 在视频译码中用于帧内块复制的搜索区域确定
CN102088603B (zh) 用于视频编码器的熵编码器及其实现方法
CN107852499A (zh) 用于在视频编解码中减少最坏情况下的带宽的约束帧内块复制的方法
CN106416243A (zh) 利用基于帧内图像区块复制预测的视频编码方法
CN109644271A (zh) 用于二叉树分割块的确定候选集的方法及装置
CN106716999A (zh) 用于视频编码的调色板预测器信令的方法
CN109952762A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
CN106105215A (zh) 将当前图片用作视频译码的参考
CN106105207A (zh) 用于视频译码的具有行程长度码的调色板预测器信令
CN101822056A (zh) 用于视频编解码几何划分的双向预测模式划分的方法和装置
CN107223333A (zh) 用以减少译码参数的hevc预测的可用性检查的填补技术
CN105850132B (zh) 编解码视频数据块的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180119