CN106576163A - 用于调色板模式译码的从先前行复制 - Google Patents

用于调色板模式译码的从先前行复制 Download PDF

Info

Publication number
CN106576163A
CN106576163A CN201580032643.7A CN201580032643A CN106576163A CN 106576163 A CN106576163 A CN 106576163A CN 201580032643 A CN201580032643 A CN 201580032643A CN 106576163 A CN106576163 A CN 106576163A
Authority
CN
China
Prior art keywords
palette
index
decoding
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580032643.7A
Other languages
English (en)
Inventor
邹锋
马尔塔·卡切维奇
霍埃尔·索赖·罗哈斯
拉詹·拉克斯曼·乔希
濮伟
瓦迪姆·谢廖金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106576163A publication Critical patent/CN106576163A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种解码视频数据的实例方法包含：确定用于解码块的调色板，所述调色板包含条目，每一条目具有相应调色板索引；确定用于所述块的第一像素的调色板索引的参考行程；以及基于所述参考行程确定用于所述块的第二像素的调色板索引的当前行程。确定所述第二多个调色板索引包含：定位所述参考行程的参考索引，所述参考索引与所述当前行程的初始索引间隔至少一行；确定所述参考行程的行程长度，所述参考行程的最终索引与所述当前行程的所述初始索引分离至少一个索引；复制所述参考行程的所述调色板索引作为调色板索引的所述当前行程；以及使用所述调色板解码所述所复制的当前行程的像素。

Description

用于调色板模式译码的从先前行复制
本申请案主张以下各者的权益：
2014年6月20日申请的第62/015,177号美国临时申请案；
2014年6月27日申请的第62/018,477号美国临时申请案；以及
2014年10月6日申请的第62/060,485号美国临时申请案，
其中的每一者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码和压缩，且在特定实例中涉及基于调色板的视频/图像译码方法。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频译码技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频译码技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块，视频块也可称为树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据自像素域变换至变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置为二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
大体来说，本发明的技术涉及基于调色板的视频译码。在基于调色板的译码中，视频译码器(例如视频编码器或视频解码器)可形成所谓的“调色板”，作为表示特定区域(例如给定块)的视频数据的颜色或像素值的表。以此方式，代替于针对当前视频数据块对实际像素值或其残余译码，视频译码器可对当前块的像素值中的一或多者的颜色或调色板索引值译码，其中所述索引值指示调色板中用于表示当前块的像素值的条目。可使用给定扫描次序和行程长度译码技术逐行地对当前视频数据块的调色板索引值的地图译码。所述地图的给定行中的索引值中的每一者可经显式译码，从给定行的左模式索引预测，或从给定行上方的行中的并置索引预测。
本发明的各种技术是针对增强现有的基于调色板的译码技术。在一些方面，本发明针对添加基于调色板的译码模式(在本文中被称作“从先前行复制”模式)，其使视频译码装置能够从定位在正译码的当前像素上方多个行处的参考像素复制调色板索引。本发明还包含用于译码模式的技术-使用截断一元码识别信息。举例来说，所述技术使视频译码装置能够使用唯一截断一元码字来识别各种调色板译码模式中的每一者，包含本文中所描述的从先前行复制模式。
在另一实例中，本发明描述一种视频解码装置，其包含经配置以存储经编码视频数据的存储器和一或多个处理器。所述一或多个处理器经配置以：确定用于解码经编码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；且基于所述第一多个调色板索引确定所述视频数据块的第二像素的第二多个调色板索引。为确定所述第二多个调色板索引，所述一或多个处理器经配置以：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；且使用调色板解码与所述所复制的第二多个调色板索引相关联的块的多个像素。
在另一实例中，本发明描述一种计算机可读存储媒体，其经指令编码，所述指令在执行时致使视频解码装置的一或多个处理器：确定用于解码经编码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；且基于所述第一多个调色板索引确定所述视频数据块的第二像素的第二多个调色板索引。为确定所述第二多个调色板索引，所述指令在执行时致使所述一或多个处理器经配置以：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；且使用调色板解码与所述所复制的第二多个调色板索引相关联的块的多个像素。
在一个实例中，本发明描述一种解码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；以及基于所述第一多个调色板索引确定所述视频数据块的第二像素的第二多个调色板索引。确定所述第二多个调色板索引包含：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及使用调色板解码与所述所复制的第二多个调色板索引相关联的块的多个像素。
在另一实例中，本发明描述一种编码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；以及基于所述第一多个调色板索引确定所述视频数据块的第二像素的第二多个调色板索引。确定所述第二多个调色板索引包含：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及使用调色板编码与所述所复制的第二多个调色板索引相关联的块的多个像素。
在另一实例中，本发明描述一种解码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；基于正相对于所述第一多个调色板索引解码的所述视频数据块的第二像素的第二多个调色板索引的行程的行程长度满足行程长度阈值而启用调色板译码模式；以及使用调色板译码模式相对于所述第一多个调色板索引解码所述行程的所述第二多个调色板索引。
在另一实例中，本发明描述一种编码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；基于正相对于所述第一多个调色板索引编码的所述视频数据块的第二像素的第二多个调色板索引的行程的行程长度满足行程长度阈值而启用调色板译码模式；以及使用调色板译码模式相对于所述第一多个调色板索引编码所述行程的所述第二多个调色板索引。
在另一实例中，本发明描述一种用于解码经编码视频数据的装置，其包含经配置以存储经编码视频数据的存储器和一或多个处理器。所述一或多个处理器经配置以：确定用于解码经编码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；基于正相对于所述第一多个调色板索引编码的所述视频数据块的第二像素的第二多个调色板索引的行程的行程长度满足行程长度阈值而启用调色板译码模式；以及使用调色板译码模式相对于所述第一多个调色板索引编码所述行程的所述第二多个调色板索引。
在另一实例中，本发明描述一种计算机可读存储媒体，其经指令编码，所述指令在执行时致使视频解码装置的一或多个处理器：确定用于解码经编码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；基于正相对于所述第一多个调色板索引编码的所述视频数据块的第二像素的第二多个调色板索引的行程的行程长度满足行程长度阈值而启用调色板译码模式；以及使用调色板译码模式相对于所述第一多个调色板索引编码所述行程的所述第二多个调色板索引。
附图和以下描述中阐明一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。
附图说明
图1为说明可利用本发明中描述的用于基于调色板的视频译码的技术用于视频译码中深度定向的视图间运动向量预测的实例视频编码和解码***的框图。
图2为说明可利用本发明中描述的用于基于调色板的视频译码的技术的视频编码器的实例的框图。
图3为说明可利用本发明中描述的用于基于调色板的视频译码的技术的视频解码器的实例的框图。
图4为说明依据本发明的技术针对模式识别符号的二进位的上下文译码指派的实例的表。
图5为说明依据本发明的技术的实例调色板译码块的概念图。
图6为说明视频解码装置可借以执行本发明的一或多个基于调色板的解码技术的实例方法的流程图。
图7为说明视频编码装置可借以执行本发明的一或多个基于调色板的编码技术的实例方法的流程图。
图8为说明视频编码器和/或视频解码器可使用本发明的从先前行复制模式进行译码的块的另一实例的概念图。
图9为说明视频解码装置可借以执行本发明的一或多个基于调色板的解码技术的实例方法的流程图。
图10为说明视频编码装置可借以执行本发明的一或多个基于调色板的编码技术的实例方法的流程图。
具体实施方式
本发明包含用于视频译码和压缩的技术。确切地说，本发明描述用于视频数据的基于调色板的译码的技术。在传统的视频译码中，假定图像为连续色调且空间上平滑。基于这些假设，已经开发各种工具，例如基于块的变换、滤波等，且此些工具已展示用于自然内容视频的良好性能。
然而，在例如远程桌面、合作工作和无线显示器等应用中，计算机产生的屏幕内容(例如，例如文字或计算机图形)可为待压缩的主要内容。此类型的内容趋向于具有离散色调，且以尖锐线及高对比度对象边界为特征。连续色调及平滑度的假定可不再适用于屏幕内容，且因此，传统视频译码技术可能不是压缩包含屏幕内容的视频数据的高效方式。
本发明描述基于调色板的译码，其可以尤其适用于屏幕产生的内容译码或其中一或多个传统译码工具效率低下时的其它内容。用于视频数据的基于调色板的译码的技术可与一或多个其它译码技术一起使用，例如用于帧间或帧内预测性译码的技术。举例来说，如下文更详细地描述，编码器或解码器或组合编码器-解码器(编解码器)可经配置以执行帧间和帧内预测性译码以及基于调色板的译码。
在一些实例中，基于调色板的译码技术可经配置以与一或多个视频译码标准一起使用。举例来说，高效率视频译码(HEVC)是由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准。新近HEVC文本规范草案描述于布洛斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案10(用于FDIS及同意)(High Efficiency Video Coding(HEVC)Text Specification Draft 10(forFDIS&Consent))”(JCVC-L1003_v13，ITU-T SG16WP 3及ISO/IEC JCT 1/SC 29/WG 11的JCT-VC第12次会议，2013年1月14日至23日)(“HEVC草案10”)中。
相对于HEVC框架，作为一实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的构架中的PU模式。因此，在CU模式的上下文中描述的所有以下所揭示的过程可另外或替代地应用于PU。然而，这些基于HEVC的实例不应被视为对本文所描述的基于调色板的译码技术的限定或限制，因为此些技术可经应用以独立地工作或作为其它现有或尚待开发的***/标准的部分而工作。在这些情况下，用于调色板译码的单元可为正方形块、矩形块乃至非矩形形状的区。
在基于调色板的译码中，可以假定视频数据的特定区域具有相对较少数目的颜色。视频译码器(视频编码器或视频解码器)可将所谓的“调色板”译码为用于表示特定区域(例如，给定块)的视频数据的颜色的表。每一像素可与调色板中表示像素的颜色的条目相关联。举例来说，视频译码器可对使像素值与调色板中的适当值相关的索引进行译码。
在以上实例中，视频编码器可通过确定块的调色板、在调色板中定位表示每一像素的值的条目以及以使像素值与调色板相关的用于像素的索引值对调色板进行编码来对视频数据块进行编码。视频解码器可从经编码位流获得块的调色板以及所述块的像素的索引值。视频解码器可使像素的索引值与调色板的条目相关以重建块的像素值。像素(和/或指示像素值的相关索引值)通常可被称为样本。
假定使用水平光栅扫描次序处理(例如，扫描)块中的样本。举例来说，视频编码器可以通过使用水平光栅扫描次序来扫描索引而将索引的二维块转换成一维阵列。类似地，视频解码器可以使用水平光栅扫描次序重建索引块。因此，本发明可将先前样本指代为块中以扫描次序在当前经译码的样本之前的样本。应了解，也可以应用除水平光栅扫描之外的扫描，例如垂直光栅扫描次序。以上实例既定提供基于调色板的译码的一般描述。
调色板通常包含以索引编号并表示至少一个颜色分量(例如，RGB、YUV或类似者的至少一个分量)值或亮度的条目。视频编码器和视频解码器两者确定调色板条目的数目、每个调色板条目的颜色分量值以及当前块的调色板条目的确切排序。在本发明中，假定每一调色板条目指定样本的所有颜色分量的值。然而，本发明的概念适用于针对每一颜色分量使用单独的调色板。
在一些实例中，可以使用来自先前经译码块或先前经译码调色板的信息构成调色板。也就是说，调色板可以含有从用来对先前块进行译码的调色板预测的经预测调色板条目。举例来说，如Wei Pu等人的标准提交文档“AHG10：用于基于RExt6.0的调色板译码的推荐软件(AHG10：Suggested Software for Palette Coding based on RExt6.0)”(JCTVC-Q0094，巴伦西亚，ES，2014年3月27日至4月4日)(以下简称JCTVC-Q0094)中所描述，调色板可包含从预测值调色板复制的条目。预测值调色板可包含来自先前使用调色板模式经译码的块或其它经重建样本的调色板条目。预测值调色板可以使用先前经译码调色板的全部或部分，或可以由若干先前经译码调色板的条目形成。
在一些实例中，对于预测值调色板中的每一条目，二进制旗标可经译码以指示与旗标相关联的条目是否被复制到当前调色板(例如，以旗标＝1指示)。所述串二进制旗标可被称为二进制调色板预测向量。用于对当前块进行译码的调色板还可包含多个新调色板条目，其可(例如，从调色板预测向量单独地)经显式译码。还可以对新条目的数目的指示进行译码。经预测条目和新条目的总和可以指示用于块的总调色板大小。
如所提出的JCTVC-Q0094，可使用三个调色板模式中的一者对以基于调色板的译码模式进行译码的块中的每一样本进行译码，如下文所阐述：
●逸出模式：在此模式中，由于针对所有颜色分量显式地用信号表示调色板条目和经量化样本值，因此样本值不包含在调色板中。其类似于用信号表示新调色板条目，但是对于新调色板条目，颜色分量值不经量化。
●复制模式(也被称为CopyFromTop模式或CopyAbove模式)：在此模式中，从位于块中正上方的样本复制用于当前样本的调色板条目索引。
●行程模式(也称为索引模式、值模式或从左复制模式)：在此模式中，显式地用信号表示调色板条目索引的值。还可用信号表示具有相同值的若干随后连续索引的行程。
如本文所描述，调色板条目索引可被称作调色板索引或简单地被称作索引。这些术语可互换地使用以描述本发明的技术。另外，如下文更详细地描述，调色板索引可具有一或多个相关联颜色或亮度值。举例来说，调色板索引可具有与像素的单个颜色或亮度分量(例如，RGB数据的红色分量、YUV数据的Y分量或类似者)相关联的单个相关联颜色或亮度值。在另一实例中，调色板索引可具有多个相关联颜色或亮度值。在一些情况下，可应用基于调色板的译码以对单***进行译码。因此，“颜色值”通常可指用来产生像素值的任何颜色或非颜色分量。
对于复制和行程模式，还可以用信号表示行程值(其也可以简单地被称为行程)。行程值可指示经调色板译码块中经一起译码的呈特定扫描次序的多个连续样本(例如，样本的行程)。在一些情况下，样本的行程也可被称为调色板索引的行程，因为所述行程中的每一样本具有与调色板相关联的索引。
行程值可指示使用同一调色板译码模式经译码的调色板索引的行程。举例来说，关于行程模式，视频译码器(视频编码器或视频解码器)可对调色板索引(也被称为调色板索引值或简单地称为索引值)进行译码，以及对指示扫描次序中具有同一调色板索引并经所述调色板索引译码的多个连续样本的行程值进行译码。关于复制模式，视频译码器可对基于上方相邻样本(例如，定位在块中当前经译码的样本上方的样本)的索引复制当前样本值的索引的指示进行译码，以及对指示扫描次序中也从上方相邻样本复制调色板索引并经所述调色板索引译码的多个连续样本的行程值进行译码。因此，在以上实例中，调色板索引的行程是指具有相同值的调色板索引的行程或从上方相邻调色板索引复制的调色板索引的行程。
因此，对于给定模式，行程可指定属于同一模式的后续样本的数目。在一些情况下，用信号表示索引和行程值可类似于行程长度译码。在出于说明目的的实例中，块的一连串连续索引可为0、2、2、2、2、5(例如，其中每一索引对应于块中的一个样本)。在此实例中，视频译码器可使用行程模式对第二样本(例如，两者的第一索引值)进行译码。在对等于2的索引进行译码之后，视频译码器可对为三的行程进行译码，所述行程指示也具有二的相同索引值的三个后续样本。以类似方式，在使用复制模式对索引进行译码之后对四个的行程进行译码可指示从当前正译码的样本位置上方的行中的相应索引复制总共五个索引。
如下文更详细地描述，视频译码器(例如，视频编码器和视频解码器)可对指示是否在每样本的基础上将样本译码为逸出样本的数据进行编码或对所述数据进行解码。逸出样本(也被称为逸出像素)可为块中的不具有用于对块进行译码的调色板中表示的相应颜色的样本(或像素)。因此，可不使用来自调色板的颜色条目(或像素值)重建逸出样本。实际上，与调色板的颜色值分离而在位流用信号表示逸出样本的颜色值。一般来说，使用“逸出模式”对样本进行译码通常可指对块中的不具有用于对块进行译码的调色板中表示的相应颜色的样本进行译码。如上所述，此类样本可被称为逸出样本或逸出像素。
在一些实例中，视频译码器可对指示样本是否经译码为逸出样本的每一样本的旗标进行译码(此技术可被称为显式逸出用信号表示)，随后对逸出样本值进行译码。在另一实例中，视频译码器可对调色板的额外索引值进行译码以指示特定样本经译码为逸出样本(此技术可被称为隐式逸出用信号表示)。
本发明描述关于基于调色板的视频译码的各种技术。在一些方面中，本发明包含用于基于调色板的译码的新模式(即，“从先前行复制”模式)的技术。举例来说，本发明可支持将从先前行复制模式添加到基于调色板的视频译码的现有模式(例如，上文描述的行程模式、复制模式或逸出模式)。本文中所描述的从先前行复制模式可向视频译码装置(例如视频编码器或视频解码器)提供与现有基于调色板的译码模式相比增强的基于调色板的译码能力。
举例来说，上述从先前行复制模式可允许视频译码器(例如，视频编码器或视频解码器)从并非紧邻块中当前被译码的索引行的索引行复制一或多个索引。在一实例中，视频译码装置可确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的调色板索引的参考行程；且基于所述参考行程确定所述视频数据块的第二像素的调色板索引的当前行程。更确切地说，为确定当前行程，视频译码装置可定位包含在参考行程中的参考索引，使得所述参考索引与当前行程的初始索引间隔至少一个行。另外，视频译码装置可确定参考行程的行程长度，其中参考行程的最终索引在块中与当前行程的初始索引分离至少一个索引。视频译码装置可复制包含在参考行程中的索引作为调色板索引的当前行程，且使用调色板对映射到调色板索引的所复制当前行程的块的像素进行译码。
因此，在一些实例中，从先前行复制模式可在对索引进行译码时提供额外灵活性，这可改进译码效率。在一些实例中，本文中所描述的技术可约束潜在参考像素的范围(或“动态范围”)以便减小或潜在地消除由复制模式提供的潜在参考像素上的冗余。举例来说，所述技术可识别其中先前经译码像素的特定行属于与当前像素的所有可能参考像素行程不同的行程的情形。在此实例中，所述技术可使译码装置能够抢先消除来自参考索引的搜索范围的特定行，借此节省例如处理器时钟循环和存储器存取等计算资源。因此，本发明的技术可改进现有基于调色板的译码技术，同时使视频译码装置能够以有效方式利用计算资源。
本发明的其它方面包含用于对识别用于像素的特定调色板译码模式的信息进行译码的技术。举例来说，所述技术使视频译码装置能够使用唯一截断一元码字来识别各种调色板译码模式中的每一者，包含本文中所描述的从先前行复制模式。根据本文所揭示的技术的各种实施方案，视频译码装置可导出对应于截断一元码字的一或多个二进位的上下文，所述截断一元码字经译码以识别用于调色板译码块的像素的特定基于调色板的译码模式。
在一些实例中，所述技术可使视频译码装置能够使用调色板译码块的调色板的大小来确定待针对所述块对多少不同截断一元码字进行译码。在其中调色板大小在预定阈值大小内的情境中，视频译码装置可实施所述技术以将截断一元码字的数目限制在可用单一位表达的范围内。以此方式，所述技术可使视频译码装置能够基于调色板译码块的调色板的大小节省计算资源和降低位速率要求。
本发明的一些方面是针对增加调色板索引的行程长度译码的效率。举例来说，根据现有基于调色板的译码技术，行程长度可经显式译码且在经编码视频位流中用信号表示。然而，行程长度的显式用信号表示可致使潜在低效率。举例来说，相对长的行程长度可需要相对大数目的位来显式地用信号表示。为缓解与行程长度译码相关联的位速率要求，本发明的技术可包含当对行程长度进行译码时强加行程长度约束。行程长度约束可结合特定调色板模式而施加。举例来说，所述技术可包含基于参考行程与当前行程之间的匹配的行程长度是否满足行程长度阈值而启用基于调色板的视频译码的特定调色板模式(例如，本文中所描述的从先前行复制模式)。
在出于说明的目的的一实例中，视频译码装置可基于确定模式的行程长度等于或大于阈值而启用从先前行复制模式。在此实例中，视频编码器可编码和发射实际匹配的行程长度与阈值之间的差。如下文进一步详细描述，如果最小行程阈值由变量‘T’表示，那么视频编码器可将由‘K’表示的差值在位流中发射到一或多个视频解码器。在此实例中，K＝(N-T)，其中N为实际匹配行程长度。对应地，接收值K的视频解码器可通过对以下等式求解而导出实际匹配行程长度N：N＝K+T。因此，在上文的实例中，较少位数目可用于指示行程长度(例如，相对于无阈值的译码)。因此，本发明的技术可在一些实例中改进当以特定调色板译码模式对行程长度进行译码时的效率，如下文更详细描述。
所公开的第2014/0301475号美国专利申请公开案及其对应的第PCT/US2014/33019号国际专利申请案描述基于调色板的视频译码技术。在一些实例中，本发明的技术可用作此些文献中描述的一或多种技术的扩展。
图1是说明可以利用本发明的技术的实例视频译码***10的框图。如本文所使用，术语“视频译码器”一般是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。视频译码***10的视频编码器20和视频解码器30表示可经配置以根据本发明中描述的各种实例执行用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20和视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC草案10指定的各种译码模式。
如图1中所示，视频译码***10包含源装置12和目的地装置14。源装置12产生经编码的视频数据。因此，源装置12可被称为视频编码装置或视频编码设备。目的地装置14可以对由源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以被称为视频解码装置或视频解码设备。源装置12以及目的地装置14可以是视频译码装置或视频译码设备的实例。
源装置12和目的地装置14可包括广范围的装置，包含台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-carcomputer)或其类似者。
目的地装置14可经由通道16从源装置12接收经编码的视频数据。通道16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，通道16可包括使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)调制经编码视频数据，且可将经调制视频数据发射至目的地装置14。所述一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。所述一或多个通信媒体可以形成基于包的网络的一部分，所述基于包的网络例如局域网、广域网或全球网络(例如，因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，通道16可包含存储由源装置12产生的经编码的视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适的数字存储媒体。
在另一实例中，通道16可包含存储由源装置12产生的经编码的视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由串流或下载来存取存储于文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置和本地磁盘驱动器。
目的地装置14可以通过标准数据连接(例如因特网连接)来存取经编码的视频数据。实例类型的数据连接可包含无线通道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从文件服务器的发射可为串流发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、***发射、串流视频发射(例如，经由因特网)、用于存储于数据存储媒体上的视频数据的编码、存储在数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码***10可经配置以支持单向或双向视频发射以支持例如视频串流、视频重放、视频广播及/或视频电话等应用。
图1中说明的视频译码***10仅为实例，并且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，从本地存储器数据检索数据，经由网络串流数据等。视频编码装置可以对数据进行编码并且将数据存储到存储器，和/或视频解码装置可以从存储器检索数据并且对数据进行解码。在许多实例中，由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的装置执行编码和解码。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，及/或用于产生视频数据的计算机图形***，或视频数据的此些来源的组合。
视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口22将经编码的视频数据直接发射到目的地装置14。在其它实例中，经编码的视频数据也可存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或重放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可以在通道16上接收经编码的视频数据。显示装置32可以与目的地装置14集成在一起或可以在目的地装置14的外部。一般来说，显示装置32显示经解码的视频数据。显示装置32可以包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
本发明可大体上将视频编码器20称为将某些信息“用信号表示”或“发射”到例如视频解码器30等另一装置。术语“用信号表示”或“发射”可大体上指代用以对经压缩视频数据进行解码的语法元素和/或其它数据的传送。此传送可实时或几乎实时发生。替代性地，可历时时间跨度而发生此通信，例如当在编码时，以经编码位流将语法元素存储到计算机可读存储媒体时，可发生此通信，接着，在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。因此，虽然视频解码器30可被称为“接收”某些信息，但信息的接收不一定实时或近实时发生且可在存储之后的某个时间从媒体检索。
视频编码器20以及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件来实施所述技术，那么装置可将软件的指令存储在合适的非暂时性计算机可读存储媒体中，且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。可将前述内容中的任一者(包含硬件、软件、硬件与软件的组合等)视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。
在一些实例中，视频编码器20和视频解码器30根据视频压缩标准操作，例如上文所提到且在HEVC草案10中描述的HEVC标准。除基础HEVC标准外，存在持续努力产生用于HEVC的可缩放视频译码、多视图视频译码和3D译码扩展。此外，可提供(例如)如本发明中所描述的基于调色板的译码模式以用于HEVC标准的扩展。在一些实例中，本发明中针对基于调色板的译码而描述的技术可应用于经配置以根据其它视频译码标准(例如ITU-T-H.264/AVC标准或将来标准)操作的编码器及解码器。因此，将基于调色板的译码模式用于HEVC编解码器中的译码单元(CU)或预测单元(PU)的译码是为了实例的目的而描述。
在HEVC和其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，表示为SL、SCb以及SCr。SL是亮度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中也可以被称为“色度(chroma)”样本。在其它情况下，图片可为单色的且可仅包含亮度样本阵列。
为了产生图片的经编码的表示，视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可为亮度样本的译码树块、色度样本的两个对应译码树块及用于对译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可以被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含光栅扫描中连续排序的整数数目的CTU。经译码切片可包括切片标头和切片数据。切片的切片标头可为包含提供关于切片的信息的语法元素的语法结构。切片数据可包含切片的经译码CTU。
本发明可使用术语“视频单元”或“视频块”或“块”来指代一或多个样本块以及用于对所述一或多个样本块的样本译码的语法结构。实例类型的视频单元或块可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等。在一些情形中，PU的论述可与宏块或宏块分区的论述互换。
为了产生经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块是样本的NxN块。CU可为具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块和色度样本的两个对应译码块，以及用于对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为在上面应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可以是图片的亮度样本的预测块，图片的色度样本的两个对应的预测块，以及用以对预测块样本进行预测的语法结构。视频编码器20可产生用于CU的每个PU的亮度预测块、Cb预测块以及Cr预测块的预测性亮度块、Cb块以及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可以基于与PU相关联的图片的经解码的样本来产生PU的预测性块。
如果视频编码器20使用帧间预测产生PU的预测性块，则视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本产生PU的预测性块。视频编码器20可使用单向预测或双向预测来产生PU的预测性块。当视频编码器20使用单向预测来产生PU的预测性块时，PU可具有单个运动向量(MV)。当视频编码器20使用双向预测来产生PU的预测性块时，PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性块(例如，预测性亮度、Cb和Cr块)之后，视频编码器20可产生CU的残余块。CU的残余块中的每一样本可指示CU的PU的预测性块中的样本与CU的译码块中的对应样本之间的差。举例来说，视频编码器20可产生CU的亮度残余块。CU的亮度残余块中的每个样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中对应的样本之间的差。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差。
此外，视频编码器20可使用四叉树分割将CU的残余块(例如，亮度、Cb及Cr残余块)分解为一或多个变换块(例如，亮度、Cb及Cr变换块)。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可为亮度样本的变换块、色度样本的两个对应的变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每个TU可以与亮度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用于变换块从而产生TU的系数块。系数块可为变换系数的二维阵列。变换系数可为标量。举例来说，视频编码器20可将一或多个变换应用到TU的亮度变换块以产生TU的亮度系数块。视频编码器20可将一或多个变换应用至TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用至TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以量化系数块。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码语法元素。位流还可包含未经熵编码的语法元素。
视频编码器20可输出包含经熵编码的语法元素的位流。位流可包含形成经译码图片和相关联数据的表示的位序列。位流可包括一连串网络抽象层(NAL)单元。所述NAL单元中的每一者包含NAL单元标头且囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封用于图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封用于经译码切片的RBSP，第三类型的NAL单元可囊封用于补充增强信息(SEI)的RBSP，等等。囊封视频译码数据的RBSP(与参数集及SEI消息的RBSP相对)的NAL单元可被称为视频译码层(VCL)NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可获得来自位流的语法元素。举例来说，视频解码器30可剖析位流以解码来自所述位流的语法元素。视频解码器30可至少部分地基于从位流获得(例如解码)的语法元素来重建视频数据的图片。用以重建视频数据的过程通常可与由视频编码器20执行的过程互逆。
举例来说，视频解码器30可使用PU的MV来确定当前CU的PU的预测性样本块(即，预测性块)。另外，视频解码器30可以反量化与当前CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行逆变换以重建与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应的样本，视频解码器30可重建当前CU的译码块。通过重建用于图片的每一CU的译码块，视频解码器30可重建图片。
在一些实例中，视频编码器20和视频解码器30可经配置以执行基于调色板的译码。举例来说，在基于调色板的译码中，代替于执行上文所描述的帧内预测性或帧间预测性译码技术，视频编码器20和视频解码器30可将所谓的调色板代码为表示特定区域(例如，给定块)的视频数据的颜色或像素值的表。以此方式，代替于对当前视频数据块的实际像素值或其残余译码，视频译码器可对当前块的像素值中的一或多者的索引值译码，其中所述索引值指示调色板中的用以表示当前块的像素值的条目。
举例来说，视频编码器20可通过以下操作来编码视频数据块：为所述块确定调色板，定位调色板中具有表示所述块的一或多个个别像素的值的值的条目，以及用指示调色板中用以表示所述块的一或多个个别像素值的条目的索引值来编码所述块。另外，视频编码器20可在经编码位流中用信号表示索引值。并且，视频解码装置(例如，视频解码器30)可从经编码位流获得块的调色板，以及用于使用调色板确定块的各种个别像素的索引值。视频解码器30可将个别像素的索引值与调色板的条目匹配以重建块的像素值。在与个别像素相关联的索引值不匹配块的对应调色板的任何索引值的情况下，出于基于调色板的译码的目的，视频解码器30可将此像素识别为逸出像素。
在另一实例中，视频编码器20可根据以下操作编码视频数据块。视频编码器20可确定块的个别像素的预测残余值，确定块的调色板，且定位调色板中具有表示个别像素的预测残余值中的一或多者的值的值的条目(例如，索引值)。另外，视频编码器20可通过指示调色板中用于表示块的每一个别像素的对应预测残余值的条目的索引值编码所述块。视频解码器30可从由源装置12用信号表示的经编码位流获得块的调色板，以及对应于块的个别像素的预测残余值的索引值。如所描述，索引值可对应于调色板中与当前块相关联的条目。并且，视频解码器30可使预测残余值的索引值与调色板的条目相关，以重建所述块的预测残余值。可将预测残余值添加到预测值(例如使用帧内或帧间预测获得)以重建所述块的像素值。
视频编码器20可导出包含当前块中的最主要像素值的调色板。举例来说，调色板可指经确定或假定为当前CU的主要及/或代表性像素值的若干像素值。视频编码器20可首先将调色板的大小和要素发射到视频解码器30。视频编码器20可根据特定扫描次序来编码给定块中的像素值。对于包含在给定块中的每一像素，视频编码器20可用信号表示将像素值映射至调色板中的对应条目的索引值。如果像素值并不包含在调色板中(即，不存在指定经调色板译码块的特定像素值的调色板条目)，则此像素被定义为“逸出像素”。根据基于调色板的译码，视频编码器20可编码且用信号表示经保留以用于逸出像素的索引值。在一些实例中，视频编码器20还可编码且用信号表示包含在给定块中的逸出像素的像素值或残余值(或其经量化版本)。
在接收到由视频编码器20用信号表示的经编码视频位流后，视频解码器30可即刻首先基于从视频编码器20接收的信息确定调色板。视频解码器30可接着将接收到的与给定块中的像素位置相关联的索引值映射到调色板的条目，以重建给定块的像素值。在一些情况下，视频解码器30可确定经调色板译码块的像素为逸出像素，例如通过确定像素以经保留以用于逸出像素的索引值而进行调色板译码。在视频解码器30识别经调色板译码块中的逸出像素的情况下，视频解码器30可接收包含在给定块中的逸出像素的像素值或残余值(或其经量化版本)。视频解码器30可通过将个别像素值映射至对应调色板条目且通过使用像素值或残余值(或其经量化版本)重建包含在经调色板译码块中的任何逸出像素来重建经调色板译码块。
在一些实例中，视频编码器20可编码指示给定扫描次序中一起译码的连续像素的数目的一或多个语法元素。举例来说，如上所述，行程值可指示调色板译码块中在特定扫描次序中一起译码的若干连续样本(例如，样本的行程)，或若干连续索引(例如，索引的行程)，或样本与索引的任何组合。在一些情况下，行程值可指示使用相同调色板译码模式经译码的调色板索引的行程。
在一些实例中，像素值可恰好与调色板中的一个索引值相关联。因此，在一些情况下，值的行程也可指代相同值的像素值的串。在其它实例中，如下文相对于有损译码所描述，一个以上像素值可映射到调色板中的同一索引值。在此些实例中，值的行程指代相同值的索引值。
在用于说明目的的实例中，如果处于给定扫描次序的两个连续索引具有不同值，那么行程等于零。如果处于给定扫描次序的两个连续索引具有相同值但扫描次序中的第三索引具有不同值，那么行程等于一。视频解码器30可从经编码位流获得指示行程的语法元素且使用所述数据确定具有同一索引值的连续像素位置的数目。
另外或替代地，根据本发明的方面，视频编码器20和视频解码器30可执行用于映射的一或多个条目的行复制。所述条目由于映射的条目与块的像素位置之间的关系而也可被称作“位置”。在一些实例中，行复制可取决于扫描方向。如本文所描述，“行”可通常指代一行块或一列块，这取决于块的扫描次序。
举例来说，视频编码器20可指示块中的特定位置的像素值或索引映射值等于所述特定位置上方的行(对于水平扫描)或所述特定位置左边的列(对于垂直扫描)中的像素或索引值。视频编码器20还可将等于特定位置的上方的对应像素值或索引或特定位置左边的列的处于扫描次序的像素值或索引的数目指示为行程。在此实例中，视频编码器20和或视频解码器30可从指定相邻行且从当前正译码的块的行的指定数目的条目复制像素或索引值。
在一些情况下，根据本发明的方面，从其复制值的行可紧邻当前被译码的位置的行(例如，在其上方或左侧)。在其它实例中，根据本发明的方面，块的若干行可由视频编码器20和/或视频解码器30缓冲，使得映射的所述若干行中的任一者可用作当前被译码的映射的行的预测值。在用于说明目的的实例中，视频编码器20和/或视频解码器30可经配置以在对像素的当前行进行译码之前存储先前四行的索引或像素值。在此实例中，预测性行(索引或像素值从其复制的行)可在位流中以截断一元码或例如一元代码等其它码来指示。相对于截断一元码，视频编码器20和/或视频解码器30可基于最大行计算(例如，row_index-1)或最大列计算(例如，column_index-1)确定截断一元码的最大值。另外，被复制的来自预测性行的位置的数目的指示也可以包含在位流中。在一些实例中，如果正从其预测当前位置的行或列属于另一块(例如，CU或CTU)，那么可停用此预测。
本发明的技术是针对提供基于调色板的视频译码模式，即上文介绍的从先前行复制模式。更确切地说，本文中所描述的技术使视频编码器20和视频解码器30能够结合支持基于调色板的视频译码的行程、复制和逸出模式而支持从先前行复制模式。参考基于调色板的译码模式的现有群组，本发明的技术可提供基于调色板的译码模式的“扩展”集合，其包含从先前行复制模式。本发明的某些方面是针对用于基于调色板的译码的从先前行复制模式的译码和导出技术，且其它方面是针对用信号表示支持用以识别从先前行复制模式的信息的模式识别信息。
本发明的从先前行复制模式不同于现有复制模式，在现有复制模式中视频编码装置20和/或视频解码装置30可实施从先前行复制模式以利用定位在正译码像素(“当前”像素)上方多个行处的参考像素。另外，视频编码器20和/或视频解码器30可确定匹配长度为小于当前正译码的块中的像素的总数的任何数目。
为根据从先前行复制模式编码调色板译码块的像素，视频编码器20可从定位在当前像素上方多个行处的参考像素复制调色板索引。在根据从先前行复制模式编码的一些实例中，视频编码器20可将参考像素识别为在与当前像素相同的列中，且定位在当前像素上方多个行处。换句话说，为使用从先前行复制模式编码像素，视频编码器20可复制在与当前像素相同的列中且定位在当前像素上方两个或更多个行处的参考像素的索引。
另外，根据用于基于调色板的译码的从先前行复制模式，视频编码器20可编码行索引，且将行索引包含在位流(例如，经由信道16用信号表示的经编码视频位流)中。因此，视频编码器20可向视频解码器30指示哪一先前行包含根据从先前行复制模式编码的当前像素的参考像素。在一些实例中，视频编码器20可编码行程长度的指示，在参考像素处开始，且向视频解码器30用信号表示行程长度。以此方式，视频编码器20可使视频解码器30能够将整个行程(在参考像素处开始)的参考调色板索引复制到对应行程(在当前像素处开始)。下文相对于参考像素行程的行程与当前像素的行程之间的“匹配长度”更详细地论述此实例的方面。
进而，视频解码器30可使用由视频编码器20用信号表示的行索引重建根据从先前行复制模式编码的像素。举例来说，视频解码器30可使用由视频编码器20用信号表示的行索引来识别包含参考像素的行(例如，其定位在正重建的像素行上方两个或更多个行处)。另外，视频解码器30可确定当前像素的左到右计数(或列数目)与参考像素的列数目匹配。视频解码器30可定位行索引和列数目的交叉点以识别参考像素。进而，视频解码器30可复制经识别参考像素的调色板索引以确定正重建的当前像素的颜色信息。以此方式，视频编码器20和视频解码器30可实施本发明的从先前行复制模式以相对于简单地从块中的邻近行复制邻近索引值而利用从其复制当前像素的调色板索引的潜在参考像素的较大集区。
根据一些实施方案，视频编码器20可根据本发明的从先前行复制模式约束从其识别参考像素的可能行的数目。从其识别参考像素的可能行的数目在本文中被称作“范围”或“动态范围”。视频编码器20可搜索先前行的动态范围以识别当前像素的参考像素。举例来说，视频编码器20可确定当前像素定位在由变量‘T’表示的行中。在此情境下，针对当前像素的可允许的行搜索范围跨越行0到行T-2，其中T大于或等于2。在此情况下待搜索的行的动态范围由[0,T-2]表示。在所描述的实例中，行0表示当前块中的第一(或最顶端)行的像素，且行T-2表示定位在包含当前正被编码的像素的行上方两行处的行。
如上文所描述，视频编码器20可编码行索引(由‘i’表示)，以识别包含参考像素的调色板译码块的特定行。因为根据从先前行复制模式编码的像素的参考像素定位在动态范围[0,T-2]中，所以i表示包含在范围[0,T-2]中的整数值。视频编码器20可将对应于行索引的符号值编码为(T-2-i)。举例来说，视频编码器20编码器30可使用截断一元码字、固定长度码字、Golomb-Rice码字或指数Golomb码字中的任一者编码符号值(T-2-i)。在Golomb-Rice码字的一个实例中，视频编码器20可使用Golomb-Rice参数值三。通过限制动态范围和/或使用特定码字对行索引的指示进行译码，本发明的技术可改进视频译码位速率效率而不会实质上产生失真。
视频解码器30可执行互逆操作以重建当前像素。举例来说，视频解码器30可在经编码视频位流中接收符号值(T-2-i)，且使用所述符号值定位待重建的像素的参考像素，如上文所描述。进而，视频解码器30可使用参考像素的调色板索引选择用以重建当前像素的调色板条目。符号值(T-2-i)的最大可能值与T的值相关(例如，成正比)。在上文描述的实例中，符号值的最大值为T-2，其中T大于或等于2。举例来说，假如T具有二或更大的值，那么如果行索引‘i’具有其最小可能值0，那么(T-2-i)的符号值计算合计为T-2。
在其它实例中，视频编码器20可将行的动态范围(或“可允许的搜索范围”)约束到由[0,T-2]表达的更广范围的子集。举例来说，视频编码器20可将动态范围约束在行元组[N1,N2]内，其中N1和N2中的每一者表示经调色板译码块中像素的相应行，且其中0<＝N1<＝N2<＝T-2。换句话说，在此实例中，N2小于或等于值(T-2)，且N2大于或等于N1。在此实例中，N1进而大于或等于0。在此实例中，视频编码器20约束动态范围使得从当前像素朝上穿越到第零行的可允许的搜索行从行N2变成行(N1+1)。在一个实例中，可允许的行范围跨越行元组[N1,N2]，其中N1等于0，N2大于0，且(T-2)大于N2(表达为N1＝0和N1<N2<T-2)。
在根据本发明的方面的各种实例中，视频编码器20可向视频解码器30用信号表示可允许的搜索行的动态范围。在上文描述的行元组[N1,N2]的实例中，视频编码器20可用信号表示跨越视频数据的不同层级中的行N2到行(N1+1)的动态范围。作为一些非限制性实例，视频编码器20可在序列参数集(SPS)、图片参数集(PPS)、切片参数集或译码单元(CU)的一或多者中用信号表示动态范围信息。表示动态范围[N1,N2]内的整数值的行索引i具有对应符号值(N2-i)。视频编码器20可使用固定长度码字、截断一元码字、截断二进制码字、Golomb-Rice码字或指数Golomb码字中的任一者发射符号值(N2-1)。
下文表1说明视频编码器20可使用以在N1＝0和N2＝6的情境中在动态范围[N1,N2]内编码行索引的截断一元码字的实例。在一些实例中，如果参考行相对较接近当前行(例如，包含正被编码的像素的行)，那么视频编码器20可使用相对较短码字来编码参考行索引。
表1.用以对行索引进行译码的截断一元码
I N2-i 码字
6 0 0
5 1 10
4 2 110
3 3 1110
2 4 11110
1 5 111110
0 6 111111
或者，视频编码器20可使用截断二进制代码来用信号表示指示行索引i的值的信息。截断二进制译码常常用于具有有限字母表的均匀概率分布，且由具有由“n”表示的数字的总大小的字母表参数化。截断二进制译码在其中n的值不是二的幂的情况下可描述为二进制编码的一般化形式。如果n确实是二的幂，那么0≤x<n的经译码值为具有长度log2(n)的x的简单二进制代码。另外，k＝floor(log2(n))，使得2k≤n<(2k+1)且u＝2k+(1-n)，其中u表示比值n小的值。
根据截断二进制译码，例如视频编码器20或视频解码器30等译码装置向第一u符号指派长度k的码字，且接着向剩余(n-u)符号指派长度(k+1)的最后(n-u)码字。下文表2说明视频编码器20可使用的截断二进制码字(i实例)，其中n＝5。
表2.截断二进制码字
根据本发明的各方面，视频编码器20和/或视频解码器30可检测和缓解(或潜在地消除)行索引信息的冗余。举例来说，在编码参考行索引时，视频编码器20可检测与使用从先前行复制模式编码的先前像素相比的任何冗余参考行索引信息。在一个实例中，视频编码器20可将先前像素识别为紧靠在水平光栅扫描次序中的当前像素前面的像素。如果视频编码器20确定经识别先前像素是根据本发明的从先前行复制模式而编码，那么视频编码器20可确定当前像素的参考行索引信息相对于先前像素的参考行索引信息是否冗余。
下文描述实例，其中先前像素是使用从先前行复制模式编码，且具有对应参考行索引的经译码符号(N2,prev-iprev)。在此实例中，视频编码器20可确定当前像素在根据从先前行复制模式编码的情况下无法具有其参考行索引的相同经译码符号。换句话说，视频编码器20可确定当前像素的参考行索引经译码符号(N2,cur-icur)不同于先前像素的参考行索引(N2,prev-iprev)，其限制条件为当前像素也根据从先前行复制模式编码。
在上文描述的实例中，变量‘iprev’和‘icur’表示当前块中的实际参考行索引值。因此，如果当前和先前像素两者都使用从先前行复制模式编码，那么视频编码器20可在当前块的参考行索引译码期间排除一个可能行索引。更确切地说，在编码当前像素的参考行索引时，视频编码器20可排除指派到先前像素的参考行索引，即由符号值(N2,prev-iprev)描述的参考行索引。下文描述视频编码器20可借以根据从先前行复制模式编码当前像素的参考行索引的技术的特定实施方案。
根据本文中所描述的冗余减少技术的一些实施方案，如果当前像素和先前(水平光栅扫描次序中紧靠在前的)像素两者都利用从先前行复制模式编码，那么视频编码器20可执行以下程序来对当前像素的参考行索引进行译码。
视频编码器20可编码RefCodedRowIdx＝(N2,prev-iprev)以指示先前像素的经译码参考行符号，且可编码TotalRowNum＝(N2,cur-N1,cur+1)以指示当前像素的可用参考行的数目。另外，视频编码器20可根据如下代码导出当前像素的经译码行索引符号(表示为CurCodedRowIdx)：
其中EntropyCodingFunction(CurCodedRowIdx,TotalRowNum)为利用(例如)截断二进制或截断一元或固定长度或指数-Golomb的熵译码方法。
视频解码器30还可实施本发明的冗余减少技术。举例来说，如果视频解码器30确定待重建的当前像素以及先前(水平光栅扫描次序中紧靠在前的，作为一实例)像素两者都根据从先前行复制模式编码，那么视频解码器30可根据下文描述的非限制性实例实施方案解码当前像素的参考行索引。
视频解码器30可编码RefCodedRowIdx，先前像素的已经解码的参考行符号，且可将TotalRowNum＝(N2,cur-N1,cur+1)编码为当前像素的可能可用参考行的数目。另外，视频解码器30可导出当前像素的行索引符号，表示为CurCodedRowIdx，根据以下代码导出：
其中EntropyDecodingFunction(CurCodedRowIdx,TotalRowNum)为利用截断二进制、截断一元或固定长度或指数Golomb来解码符号的熵解码方法。使用值icur＝N2,cur-CurCodedRowIdx获得参考行索引。
视频编码器20可编码使用从先前行复制模式编码的调色板译码块的匹配长度。在一些实例中，视频编码器20可在位流中用信号表示匹配长度，从而使视频解码器30能够获得调色板译码块的匹配长度。如本文所使用，调色板译码块的匹配长度指代就像素差异而言与仍待译码的连续像素匹配的连续参考像素(先前经译码区中)的数目。在一个实例中，先前经译码区可包含参考像素的值的以下串联：[23,25,68,233]。在此实例中，仍待编码的像素的区包含“当前”像素的值的以下串联：[11,23,25,68,233,15]。
如所展示，当前像素串联的四个连续像素(在值和次序方面)与先前经译码参考像素的串联匹配。因此，视频编码器20可确定当前经调色板译码块的匹配长度等于四(4)。大体来说，块的匹配长度可为小于当前块中的像素的数目的任何值，因为参考匹配像素的不同串联可与当前串重叠。
图5中说明“从先前行复制”的实例，其在下文更详细地描述。根据本发明的从先前行复制模式，视频编码器20可使用定位在当前像素的“竖直上方”或正上方的参考像素确定匹配准则。换句话说，视频编码器20可识别参考像素使得参考像素具有当前块中的与当前像素相同的水平位置。因此，根据此实例，虽然参考像素定位在与当前像素不同(例如，在前面两个或更多行处)的行中，但参考像素必定定位在与当前像素相同的列中。
如果使用从先前行复制模式编码像素的当前串(或“行程”)，那么在匹配长度信息的熵编码期间，在行程大于零(0)或大于一(1)或大于二(2)的情况下，视频编码器20可使用三个额外上下文来编码所述行程。当当前串使用“从先前行复制”时，上文所列的三个值情境分别由符号(Gr0)、(Gr1)和(Gr2)表示。
视频编码装置20可确定调色板译码块的匹配长度的值受约束(或具有“约束”)。举例来说，视频编码器20可确定匹配长度的值(由项“MatchingLen”表示)具有特定最小值(例如，由‘T’表示的值)。在此情况下，对调色板译码块的匹配长度的约束用数学方式表达为MatchingLen>＝T。
根据本文中所描述的技术的一些实施方案，视频编码器20可编码和用信号表示指示值(MatchingLen-T)的信息，而非如现有基于调色板的译码技术的情况下值(MatchingLen-1)的信息。因此，根据本文中所描述的技术的这些方面，视频编码器20可编码和用信号表示块的实际匹配长度与对匹配长度的值的所检测约束之间的差或“δ”。通过以此方式编码和用信号表示值(MatchingLen-T)，视频编码器20可潜在地节省在将匹配长度信息提供到视频解码器30的过程中的位速率要求和带宽消耗。
本文中描述潜在位速率和带宽节省的非限制性实例。如果约束T的值为三(3)，那么视频编码器20可编码和向视频解码器30用信号表示值(MatchingLen-3)。在此实例中，取决于MatchingLen变量的原始值，缩减三(3)可潜在地使视频编码器20能够使用比编码值(MatchingLen-1)(如现有基于调色板的译码技术的情况)少的位。
进而，视频解码器30可解码所接收的(MatchingLen-T)值以获得当前调色板译码块的匹配长度。更确切地说，视频解码器30可实施现有技术以解码所接收的值(MatchingLen-T)，且将所接收的值递增约束T。视频解码器30可应用以获得MatchingLen的值的实例程序以下文的代码描述：
DecodeRun(MatchingLen)；/*DecodeRun为用以解码语法MatchingLen的熵解码方法*/
MatchingLen+＝T；
如下文更详细地描述，图5说明以行0作为参考的从先前行复制的实例。
根据本发明的某些方面，视频编码器20和/或视频解码器30可实施本发明的一或多种技术来增加调色板索引的行程长度译码的效率。在一些实例中，视频编码器20和/或视频解码器30可实施本发明的特定技术以当对行程长度进行译码时强加行程长度约束。视频编码器20和/或视频解码器30可结合特定调色板模式施加行程长度约束。举例来说，视频编码器20或视频解码器30可基于行程长度阈值启用用于基于调色板的视频译码的特定调色板模式，其中行程长度阈值与正作为群组以调色板模式处理的块的像素的数目相关联。在出于说明的目的的一实例中，视频编码器20和/或视频解码器30可在行程长度满足(例如，大于或等于)阈值的情况下启用本发明的从先前行复制模式。
在一些实例中，在根据本发明的用于基于调色板的译码的从先前行复制模式编码视频数据块时，视频编码器20可对参考行程和当前经译码行程的行程长度(或“匹配行程长度”)强加约束，使得行程长度满足或超出对应阈值。另外，视频编码器20可在匹配行程长度等于或大于阈值时启用从先前行复制模式。根据各种实施方案，所述阈值可为预定义恒定数目或自适应数目(例如，以逐案例基础导出)。举例来说，视频编码器20可基于因素的各种组合导出自适应阈值，所述因素包含当前行程的开始像素的参考行偏移、调色板大小或调色板索引中的一或多者。
如下文更详细描述，在根据本发明的一些情境中，视频编码器20和视频解码器30两者可经配置以独立地获得阈值，借此消除视频编码器20向视频解码器30用信号表示阈值的需要。同样如下文更详细地论述，在根据本发明的一些实例中，视频编码器20可向视频解码器30用信号表示阈值，借此使视频解码器30能够使用所述阈值作为参数或运算元来导出匹配行程长度。在其中视频编码器20用信号表示阈值的实例中，视频编码器20可在各种层级处用信号表示阈值，例如在参数集的标头中，例如在序列参数集(SPS)标头中或图片参数集(PPS)标头中。在一些实例中，视频编码器20可在位流中显式地用信号表示阈值，例如在LCU层级处或CU层级处。
视频编码器20可在经编码视频位流中用信号表示实际行程长度与阈值之间的差。举例来说，视频编码器20可用信号表示所述差(本文中由符号‘K’表示)。更确切地说，所述差可由等式K＝(N-T)表达，其中N表示实际匹配行程长度，且其中T表示最小行程阈值。
对应地，视频解码器30可使用由K表示的所用信号表示差导出实际行程长度N。视频解码器30可将阈值相加到所接收的值K，以获得根据从先前行复制模式编码的调色板译码块的部分的实际匹配行程长度。更确切地说，视频解码器30可通过执行以下数学运算获得实际匹配行程长度N：K+T，其中K的值在经编码视频位流中接收。如上文所描述，K表示数学表达式(N-T)。因此，通过将T的值相加到K，视频解码器30有效地执行数学运算(N-T+T)、其产生值N。如上文所描述，N表示行程中的要素的实际数目(即，行程长度)。
以此方式，根据本发明的各方面，视频编码器20和视频解码器30可经配置以减小位速率要求。举例来说，通过用信号表示差值(上文表达式中的K)，视频编码器20可用信号表示比匹配行程长度(上文表达式中的N)小的值，从而潜在地消耗经编码视频位流中的较少位。尤其在其中匹配行程长度为相对大的值的例项中(如根据从先前行复制模式译码的行程的各种例项中可能的情况)，视频编码器20可缓解位速率要求。对应地，视频解码器30还可需要较少用信号表示位来通过利用最小阈值(上文表达式中的T)导出匹配行程长度(上文的表达式中的N)。因此，视频编码器20和视频解码器30可使用本文中所描述的基于阈值的约束来节省位速率，同时维持译码精确度。
如上文所描述，在根据本发明的方面的各种情境中，最小行程阈值T可为恒定数目。在此些情境中，视频编码器20和视频解码器30两者可经配置以符合根据从先前行复制模式的基于调色板的译码的最小行程约束。进而，因为视频编码器20和视频解码器30两者经配置以按照恒定阈值实施从先前行复制模式，所以基于阈值的约束可消除视频编码器20向视频解码器30用信号表示阈值的任何需要。具体地说，如果视频解码器30确定当前像素的基于调色板的译码模式为从先前行复制模式，那么视频解码器30可使用K的所接收的差值确定实际行程长度。在一个实例中，视频解码器30可确定阈值T为三(例如，T＝3)。使用从视频编码器20接收的K的值，视频解码器30可将值三相加到K的所接收的值，以获得匹配行程长度N。在此特定实例中，视频解码器30可通过执行运算(N-3+3)获得N的值。
根据依据本发明的各方面的其它情境，视频编码器20和视频解码器30可使用两个因数自适应地导出最小行程阈值T。在这些情境中，所述两个因数为参考行偏移(例如，当前正译码的行与从其复制索引的参考行之间的行的数目)，和当前行程的开始像素的调色板索引。举例来说，为编码参考行偏移，视频编码器20可需要在截断二进制代码的二进制化中由‘A’表示的若干位。另外，为编码行程的开始像素的调色板索引，视频编码器20可需要截断二进制代码的二进制化中由‘N’表示的若干位。在这些实例中，视频编码器20和视频解码器30两者可根据以下等式导出最小行程阈值T：
因为视频编码器20和视频解码器30两者经配置以应用相同函数(上文展示)来导出T，所以视频编码器20可不需要经由位流向视频解码器30显式地用信号表示T的值。
根据依据本发明的各方面的另外其它实例，视频编码器20和视频解码器30可从查找表获得最小行程阈值T，条件是给定当前行程(或当前“串”)的开始像素的参考行偏移和调色板索引的值。在其它实例中，视频编码器20和视频解码器30可从查找表获得最小行程阈值T，条件是给定当前行程的开始像素的参考行偏移和调色板索引的二进制位。作为一实例，以下查找表RunConstraint[9][6]可用于导出阈值，其中RunConstraint[][]中的第一索引表示用于编码参考行偏移的位数目，且其中第二索引表示用于编码调色板索引的位数目。上文查找表的实例导出可表达为如下：
在基于查找表的导出的实例中，视频编码器20和视频解码器30两者可独立地导出阈值T。因此，本发明的基于查找表的阈值导出技术可消除视频编码器20向视频解码器30用信号表示阈值的需要。
在其它实例中，根据本发明的各方面，视频编码器20可编码和显式地用信号表示根据本发明的从先前行复制模式编码的调色板译码块的最小阈值行程长度T。在一些此类实例中，视频编码器20可编码和显式地用信号表示调色板译码块的T的值，而无关于用于所述块的调色板译码模式。进而，视频解码器30可在经编码视频位流中接收差值K以及最小行程长度阈值T。视频解码器30可使用K和T的所接收的值通过将K和T的所接收的值相加而导出当前行程(或当前“串”)的行程长度N。在各种实例中，视频编码器20可使用截断一元码、指数-Golomb代码或使用用于行程译码的各种译码技术编码调色板经码块的最小行程长度阈值T。
在其中视频编码器20用信号表示阈值T的实例中，视频编码器20可在各种层级处用信号表示阈值，例如在参数集的标头中，例如在序列参数集(SPS)标头中或图片参数集(PPS)标头中。在一些实例中，视频编码器20可在位流中显式地用信号表示阈值，例如在LCU层级处或CU层级处。在其中视频编码器20向视频解码器30用信号表示T的值的情况下，本发明的技术潜在地提供位速率要求的减小，因为K和T的值可比原本用信号表示N的值将需要的位少的位。如上文所描述，在各种情境中，N的值可为需要相称地大量位来用信号表示的相对较大数字。
在一些实例中，视频编码器20和视频解码器30可将从先前行复制模式视为单独行程模式。在一些实例中，根据本发明的方面，视频编码器20和视频解码器30可将从先前行复制模式与复制上方模式合并。举例来说，当用信号表示语法元素palette_mode旗标时，视频编码器可使用仅一个二进位来区分以下组合：(复制上方、复制先前)或(复制左、逸出)。举例来说，视频编码器20可使用palette_mode旗标值1来指示复制上方模式或复制先前行模式，且可使用palette_mode旗标值0来指示复制左模式或逸出模式。在这些实例中，如果视频编码器20将palette_mode旗标设定为值1，那么视频编码器20可用信号表示由“yOffset”表示的语法元素以指示从其复制当前像素的调色板索引的参考行。视频编码器20可实施本发明的技术以相对于复制上方模式和从先前行复制模式编码特殊码字yOffset。举例来说，视频编码器20可获得yOffset码字的可变长度代码(VLC)如下：
0-复制上方模式
1+yOffset的截断二进制代码-复制先前行模式
本发明的各方面还针对识别像素的调色板译码模式的信息的编码、用信号表示和解码，其中可能的基于调色板的译码模式的集区包含上文描述的从先前行复制模式。在各种实例中视频编码器20可使用截断一元码编码模式识别信息且向视频解码器30用信号表示用于可适用的模式的截断一元码。进而，视频解码器30可经配置以解码模式识别截断一元码，以确定适用于调色板译码块的对应像素的基于调色板的译码模式。
在一些情况下，视频编码器20和/或视频解码器30可使用最大符号值来确定可能模式的截断一元代码。根据一个实施方案，视频编码器20和/或视频解码器30可在所有例项中以等于二(2)的最大符号值对模式进行译码。与现有基于调色板的译码技术(其可将截断一元码约束到使用单一位表达的值)相比，此实施方案的模式识别技术使视频编码器20和视频解码器30能够以可使用单一位表达的值或需要两个位来表达的值识别基于调色板的译码模式。
根据一个此类实施方案，视频编码器20和视频解码器30可使用单一截断一元码字来表达行程模式的使用，包含使用索引译码的逸出像素的译码。更确切地说，在此实例中，单一截断一元码字可表示像素的行程模式的使用，以及逸出像素的“保留”调色板索引的使用。举例来说，视频编码器20和视频解码器30可使用符号0(由截断一元码字0表达)来指示像素的行程模式的使用或逸出像素的保留调色板索引的使用。在此实例中，视频编码器20和视频解码器30可使用符号1(由截断一元码字10表达)来指示调色板译码块中像素的复制模式的使用。此外，根据此实例，视频编码器20和视频解码器30可使用符号(由截断一元码字11表达)来指示经调色板译码块中像素的从先前行复制模式的使用。下文表3说明根据上文描述的实施方案符号到对应截断一元码字的映射。
表3.用于经扩展调色板模式译码的码字
根据基于调色板的译码技术的一些实例，视频编码器20可设定旗标以指示调色板译码块中的像素为逸出像素。在一些此类实例中，视频编码器20可编码逸出像素的颜色信息且向视频解码器30用信号表示经编码颜色信息。进而，视频解码器30可解码位流中的经启用旗标以将调色板译码块中的像素识别为逸出像素。另外，视频解码器30可使用所用信号表示的颜色信息来重建逸出像素。
根据一个此类实施方案，视频编码器20和视频解码器30可使用单一截断一元码字来表达针对调色板译码像素的行程模式的使用。举例来说，视频编码器20和视频解码器30可使用符号0(由截断一元码字0表达)来指示针对像素的行程模式的使用或针对逸出像素的保留调色板索引的使用。在此实例中，视频编码器20和视频解码器30可使用符号1(由截断一元码字10表达)来指示针对调色板译码块中的像素的复制模式的使用。此外，根据此实例，视频编码器20和视频解码器30可使用所述符号(由截断一元码字11表达)来指示针对经调色板译码块中的像素的从先前行复制模式的使用。下文表4说明根据上文描述的实施方案的符号到对应截断一元码字的映射。
表4.用于经扩展调色板模式译码的码字
符号 模式 截断一元码字
0 行程模式 0
1 复制模式 10
2 从先前行复制 11
在本文中所描述的技术的一些实例实施方案中，视频编码器20和视频解码器30可在不同情境中不同地设定最大符号值。举例来说，视频编码器20和视频解码器30可利用指示调色板译码块中的当前像素的位置的信息和指示用以对当前像素的相邻像素进行译码的模式的信息，来减小可用于对当前像素进行译码的可能模式的数目。通过减少可能模式的数目，视频编码器20和视频解码器30可实施本发明的技术以解决、缓解或潜在地消除由现有基于调色板的译码技术产生的冗余问题。
为解决与基于调色板的译码相关联的特定冗余问题，视频编码器20和/或视频解码器30确定当前像素定位在调色板译码块的第一行中，或当前像素的左相邻像素使用复制模式进行译码。在此些实例中，视频编码器20和/或视频解码器30可使用模式识别符号值的减少的集合，使得最大符号值为一(1)而不是二(2)。视频编码器20和/或视频解码器30可确定从先前行复制模式可供从调色板译码块中的第三行开始使用。因此，如果当前像素处于调色板译码块的第一或第二行中，那么视频编码器20和视频解码器30可排除从先前行复制模式作为用于当前像素的可能模式。视频编码器20和视频解码器30可借此将用于像素的可能基于调色板的译码模式的集区减小为仅行程模式和复制模式，即总共两个可能模式。因此，视频编码器20和视频解码器30可将最大符号值减小一(1)，减小到值一(1)。
在其中用以识别基于调色板的译码模式的最大符号值为零(0)的情况下，视频编码器20可推断模式信息，代替显式地发射符号值。类似地，视频解码器30可在其中最大符号值为零(0)的例项中推断模式信息。以下伪码表示视频编码器20可实施以产生模式识别符号的冗余移除技术的实例：
根据本文中所描述的技术的一些实施方案，视频编码器20和/或视频解码器30可导出用于编码截断一元码的上下文使得所述上下文取决于相邻的先前译码像素模式。具体地说，视频编码器20和/或视频解码器30可使用若干上下文来编码模式识别符号。视频编码器20和视频解码器30可取决于用于先前经译码的左相邻像素的调色板译码模式或取决于用于先前经译码上方相邻像素的调色板译码模式对上下文进行译码。针对左相邻像素和上方相邻像素中的每一者，可能译码模式包含行程、复制和从先前行复制模式。
在一个实例中，视频编码器20和/或视频解码器30可使用左相邻像素或上方相邻像素的上下文来对当前像素的截断一元码字的第一二进位进行译码。或者，在另一实例中，视频编码器20和/或视频解码器30可使用左相邻像素或上方相邻像素的上下文来对当前像素的截断一元码字的所有二进位进行译码。又或者，在另一实例中，视频编码器20和/或视频解码器30可使用左相邻像素或上方相邻像素中的一者的上下文来对第一二进位进行译码，且使用左相邻像素或上方相邻像素中的另一者的上下文来对截断一元码字的剩余二进位进行译码，以指示用于当前像素的模式。
根据本文中所描述的技术的一些实施方案，视频编码器20和/或视频解码器30可确定可用上下文中的一些取决于先前经译码相邻像素的模式信息，且上下文的其它部分并不取决于先前经译码相邻像素中的任一者的模式信息。在特定实例中，取决于先前经译码(例如上方或左)相邻像素，存在视频编码器20和/或视频解码器30可借以对第一二进位进行译码的两个可能上下文。更确切地说，视频编码器20和/或视频解码器30可基于用于相应相邻像素的基于调色板的译码模式(例如，行程、复制或从先前行复制模式中的一者)从两个可用上下文选择上下文。
在一些实例中，视频编码器20和/或视频解码器30可基于用于先前经译码相邻像素的译码模式动态地确定截断一元码字的第一二进位的上下文。举例来说，先前经译码相邻像素是使用行程模式进行译码，视频编码器20和/或视频解码器30可使用单一CABAC上下文(在本文中被称作“上下文A”)对第一二进位进行译码。另一方面，如果先前经译码相邻像素是使用复制模式或本发明的从先前行复制模式进行译码，那么视频编码器20和/或视频解码器30可使用CABAC上下文(在本文中被称作“上下文B”)对第一二进位进行译码。
为了对第二二进位进行译码(如果可适用，相对于截断一元码字)，视频编码器20和/或视频解码器30可使用并不取决于用于先前经译码相邻像素的任一者(即，上方相邻者和左相邻者)的基于调色板的译码模式的上下文。因此，视频编码器20和/或视频解码器30可独立于关于先前经译码相邻像素的任一者的模式识别信息对截断一元码字的第二二进位进行译码。举例来说，第二二进位可鉴于关于先前经译码相邻像素的任一者的改变的模式信息而保持恒定。视频编码器20和/或视频解码器30可用以对截断一元码字的第二二进位进行译码的CABAC上下文在本文中被称作“上下文C”。如上文所描述，视频编码器20和/或视频解码器30可使用上下文C对截断一元码字的第二二进位进行译码，而无关于用于在当前像素正译码之前译码的相邻像素的基于调色板的译码模式。
根据一些实施方案，视频编码器20和/或视频解码器30可在其中符号(例如截断一元码字)经修改以解决模式信息冗余的例项中组合上文描述的上下文指派方案。举例来说，视频编码器20和/或视频解码器30可仅在其中调色板的大小满足或超出阈值的情况下启用基于调色板的译码的从先前行复制模式。视频编码器20和视频解码器30可使用QC_COPY_PREV_ROW_PLT_SIZE符号指示用以激活从先前行复制模式的阈值调色板大小。在一些情况下，QC_COPY_PREV_ROW_PLT_SIZE可对应于调色板大小二(2)。
另外，视频编码器20和视频解码器30可在当前调色板译码块中的像素的第三行处开始继续到第三行下方的后续行而启用从先前行复制模式。更确切地说，从先前行复制模式涉及从定位在当前像素上方的多个(即，至少两个)行处的参考像素复制索引。因此，归因于没有像素可能定位在两个最顶端行上方的多个行处的事实，视频编码器20和视频解码器30可排除从先前行复制模式作为相对于定位在块的两个最顶端行中的像素的可能的基于调色板的译码模式。另外，在一些情况下，视频编码器20和视频解码器30可在左相邻像素是使用复制模式进行译码的情况下停用针对当前像素的复制模式。
在实施上文描述的约束中的任一者的例项中，视频编码器20和视频解码器30可在若干情况中确定对于像素仅一个或两个基于调色板的译码模式是可能的，而不是三个可能模式。更确切地说，根据上文描述的每一约束，视频编码器20和视频解码器30可针对给定像素将可能的基于调色板的译码模式的数目减小到二(2)。视频解码器30可实施由以下伪码表示的技术以当使用上文描述的约束中的一或多者解决模式冗余时解码调色板模式信息：
视频编码器20也可实施对应技术以实施所描述约束中的一或多者。通过施加上文描述的约束中的任一或多者，视频编码器20和视频解码器30可实施本发明的各种技术以减小位速率要求和节省计算资源，同时维持图片精确度。举例来说，在其中视频编码器20和视频解码器30将针对像素的可能的调色板译码模式的数目约束到二(2)的情况下，将用信号表示所述模式必需的位数目减少到单一位。更确切地说，视频编码器20和视频解码器30可实施所述约束以利用单一位情境来识别模式，同时仍支持调色板译码的三个模式(包含本发明的从先前行复制模式)。
图2为说明可实施本发明的各种技术的实例视频编码器20的框图。图2是出于解释的目的而提供且不应被视为限制如本发明中大致例示和描述的技术。出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。
在图2的实例中，视频编码器20包含视频数据存储器98、预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重建单元112、滤波器单元114、经解码图片缓冲器116和熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120包含运动估计单元和运动补偿单元(未图示)。视频编码器20还包含基于调色板的编码单元视频编码器20还包含基于调色板的编码单元122，其经配置以执行本发明中描述的基于调色板的译码技术的各种方面。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
视频数据存储器98可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器98中的视频数据。经解码图片缓冲器116可为参考图片存储器，其存储用于由视频编码器20(例如)以帧内或帧间译码模式对视频数据进行编码的参考视频数据。视频数据存储器98和经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器98和经解码图片缓冲器116可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器98可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20可接收视频数据。视频编码器20可对视频数据的图片的切片中每一CTU进行编码。CTU中的每一者可与图片的大小相等的亮度译码树块(CTB)以及对应的CTB相关联。作为对CTU进行编码的一部分，预测处理单元100可执行四叉树分割以将CTU的CTB划分为逐渐更小的块。这些更小的块可以是CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的子子块等。
视频编码器20可对CTU的CU进行编码以产生CU的经编码表示(即，经译码的CU)。作为对CU进行编码的部分，预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与亮度预测块和对应的色度预测块相关联。视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小并且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小是2Nx2N，那么视频编码器20和视频解码器30可支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20以及视频解码器30还可支持用于帧间预测的2NxnU、2NxnD、nLx2N以及nRx2N的PU大小的非对称分割。
帧间预测处理单元120可通过对CU的每个PU执行帧间预测来产生用于PU的预测性数据。PU的预测性数据可包含PU的一或多个预测性样本块以及PU的运动信息。取决于PU是在I切片中、P切片中或B切片中，帧间预测单元121可对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU是在I切片中，那么帧间预测单元121并不对PU执行帧间预测。因此，对于以I模式进行编码的视频块，使用来自相同帧内的经先前编码的相邻块的空间预测来形成预测块。
如果PU在P切片中，那么帧间预测处理单元120的运动估计单元可搜索参考图片列表(例如，“RefPicList0”)中的参考图片是否有用于PU的参考区。用于PU的参考区可以是在参考图片内含有最紧密地对应于PU的样本块的样本块的区。运动估计单元可产生指示含有用于PU的参考区的参考图片在RefPicList0中的位置的参考索引。另外，运动估计单元可产生指示PU的译码块与相关联于参考区的参考位置之间的空间移位的MV。举例来说，MV可为用以提供从当前经解码图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元可将参考索引和MV输出为PU的运动信息。帧间预测处理单元120的运动补偿单元可基于在由PU的运动向量指示的参考位置处的实际或经内插样本而产生PU的预测性样本块。
如果PU是在B切片中，则运动估计单元可对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元可搜索RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片是否有用于PU的参考区。运动估计单元可输出以下各项作为PU的运动信息：参考索引，其指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置；MV，其指示PU的样本块与同参考区相关联的参考位置之间的空间位移；以及一或多个预测方向指示符，其指示参考图片是否在RefPicList0或RefPicList1中。帧间预测处理单元120的运动补偿单元可至少部分地基于在由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性样本块。
为了对PU执行双向帧间预测，运动估计单元可搜索RefPicList0中的参考图片是否有用于PU的参考区，并且还可搜索RefPicList1中的参考图片是否有用于PU的另一参考区。运动估计单元可产生指示含有参考区的参考图片在RefPicList0以及RefPicList1中的位置的参考图片索引。另外，运动估计单元可产生指示与参考区相关联的参考位置与PU的样本块之间的空间移位的MV。PU的运动信息可包含PU的参考索引及MV。运动补偿单元可至少部分地基于在由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性样本块。
根据本发明的各种实例，视频编码器20可经配置以执行基于调色板的译码。相对于HEVC构架，作为一实例，基于调色板的译码技术可经配置以用作CU模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式。因此，本文在CU模式的上下文中描述的所有所揭示过程(贯穿本发明)可另外或替代地适用于PU模式。然而，这些基于HEVC的实例不应被视为对本文所描述的基于调色板的译码技术的限定或限制，因为此些技术可应用以独立地工作或作为其它现有或尚待开发的***/标准的部分而应用。在这些情况下，用于调色板译码的单元可为正方形块、矩形块乃至非矩形形状的区。
当基于调色板的编码模式经选择(例如)用于CU或PU时，基于调色板的编码单元122(例如)可执行基于调色板的解码。举例来说，基于调色板的编码单元122可经配置以产生具有指示像素值的条目的调色板，选择调色板中表示视频数据块的至少一些位置的像素值的像素值，且用信号表示使视频数据块的位置中的至少一些与调色板中分别对应于选定像素值的条目关联的信息。虽然将各种功能描述为由基于调色板的编码单元122执行，但此些功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。
基于调色板的编码单元122可经配置以产生本文中所描述的各种语法元素中的任一者。因此，视频编码器20可经配置以使用如本发明中所描述的基于调色板的译码模式对视频数据块进行编码。视频编码器20可选择性地使用调色板译码模式对视频数据块进行编码，或使用不同模式(例如此HEVC帧间预测性或帧内预测性译码模式)对视频数据块进行编码。视频数据块可(例如)为根据HEVC译码过程产生的CU或PU。视频编码器20可以帧间预测性时间预测或帧内预测性空间译码模式对一些块进行编码，且以基于调色板的译码模式对其它块进行解码。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。用于PU的预测性数据可以包含用于PU的预测性样本块以及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生PU的多组预测性数据。当使用一些帧内预测模式来产生用于PU的预测数据的集合时，帧内预测处理单元126可在与帧内预测模式相关联的方向上跨PU的预测性块从相邻PU的样本块扩展样本的值。假定对于PU、CU和CTU采用从左到右、从上到下的编码次序，相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区的大小。
预测处理单元100可从PU的由帧间预测处理单元120产生的预测性数据或PU的由帧内预测处理单元126产生的预测性数据当中选择CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据集合的速率/失真量度选择CU的PU的预测性数据。所选预测性数据的预测性样本块在本文中可被称为所选预测性样本块。
残余产生单元102可基于CU的译码块(例如亮度、Cb和Cr译码块)以及CU的PU的选定预测性样本块(例如预测性亮度、Cb和Cr块)产生CU的残余块(例如亮度、Cb和Cr残余块)。举例来说，残余产生单元102可产生CU的残余块以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，在一些实例中，TU可与亮度变换块和两个色度变换块相关联。CU的TU的亮度变换块以及色度变换块的大小和位置可以或可不基于CU的PU的预测块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与区中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用到TU的变换块而产生用于CU的每一TU的变换系数块。变换处理单元104可将各种变换应用到与TU相关联的变换块。例如，变换处理单元104可以离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此类实例中，变换块可处理为变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化的程度。量化可能使得信息丢失，因此经量化的变换系数可具有比原始变换系数更低的精度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块，以从系数块重建残余块。重建单元112可将经重建的残余块添加到来自由预测处理单元100产生的一或多个预测性样本块的对应样本，以产生与TU相关联的经重建变换块。通过以此方式重建CU的每一TU的变换块，视频编码器20可重建CU的译码块。
滤波器单元114可执行一或多个解块操作以减小与CU相关联的译码块中的成块假影。经解码的图片缓冲器116可在滤波器单元114对经重建的译码块执行一或多个解块操作之后存储经重建的译码块。帧间预测处理单元120可使用含有经重建译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建的译码块以对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。例如，熵编码单元118可从量化单元106接收系数块，并且可以从预测处理单元100接收语法元素。熵编码单元118可以对数据执行一或多个熵编码操作以产生经熵编码的数据。例如，熵编码单元118可以对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可以输出包含由熵编码单元118产生的经熵编码的数据的位流。例如，位流可以包含表示用于CU的RQT的数据。
在一些实例中，残余译码并不与调色板译码一起执行。因此，当使用调色板译码模式来译码时，视频编码器20可不执行变换或量化。另外，视频编码器20可对单独地使用调色板译码模式从残余数据产生的数据进行熵编码。
图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是出于解释的目的而提供且不限制如本发明中大致例示和描述的技术。出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图3的实例中，视频解码器30包含视频数据存储器148、熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158、滤波器单元160和经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。视频解码器30还包含基于调色板的解码单元165，其经配置以执行本发明中描述的基于调色板的译码技术的各种方面。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
视频数据存储器148可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器148中的视频数据可例如从计算机可读媒体16获得，例如经由视频数据的有线或无线网络通信从本地视频源(例如相机)或通过存取物理数据存储媒体而获得。视频数据存储器148可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为参考图片存储器，其存储用于通过视频解码器30例如在帧内或帧间译码模式中对视频数据进行解码的参考视频数据。视频数据存储器148和经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器148和经解码图片缓冲器162可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器148可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频数据存储器148(即，CPB)可接收并存储位流的经编码视频数据(例如NAL单元)。熵解码单元150可从视频数据存储器148接收经编码视频数据(例如NAL单元)，且可解析NAL单元以解码语法元素。熵解码单元150可对NAL单元中的经熵编码的语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158和滤波器单元160可基于从位流获得(例如提取)的语法元素来产生经解码视频数据。
位流的NAL单元可包含经译码切片NAL单元。作为对位流进行编码的一部分，熵解码单元150可从经译码切片NAL单元提取语法元素并且对所述语法元素进行熵解码。经译码切片中的每一者可包含切片标头以及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了对来自位流的语法元素进行解码之外，视频解码器30还可对未分割CU执行重建操作。为对未经分割CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过对CU的每一TU执行重建操作，视频解码器30可重建CU的残余块。
作为对CU的TU执行重建操作的一部分，逆量化单元154可逆量化(即，解量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度和(同样)反量化单元154将应用的逆量化的程度。也就是说，可通过调整当量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列以及经压缩的序列的位的数目的比率。压缩比还可取决于所采用的熵译码的方法。
在逆量化单元154对系数块进行逆量化之后，逆变换处理单元156可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。例如，逆变换处理单元156可以将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果使用帧内预测对PU进行编码，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可以使用帧内预测模式，以基于空间上相邻的PU的预测块产生用于PU的预测性亮度块、Cb块以及Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素来建构第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果使用帧间预测对PU进行编码，则熵解码单元150可提取用于PU的运动信息。运动补偿单元164可基于PU的运动信息来确定用于PU的一或多个参考区。运动补偿单元164可基于在PU的一或多个参考块处的样本块而产生PU的预测块(例如，预测亮度、Cb和Cr块)。
重建单元158可使用与CU的TU相关联的变换块(例如，亮度、Cb和Cr变换块)以及CU的PU的预测性块(例如，亮度、Cb和Cr块)(即，在适用时，帧内预测数据或帧间预测数据)来重建CU的译码块(例如，亮度、Cb和Cr译码块)。举例来说，重建单元158可将变换块(例如，亮度、Cb和Cr变换块)的样本添加到预测性块(例如，预测亮度、Cb和Cr块)的对应样本，来重建CU的译码块(例如，亮度、Cb和Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块(例如，亮度、Cb和Cr译码块)相关联的成块假影。视频解码器30可将CU的译码块(例如亮度、Cb和Cr译码块)存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测以及在例如图1的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块(例如，亮度、Cb和Cr块)对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取有效系数块的变换系数层级，对所述变换系数层级进行逆量化，对所述变换系数层级应用变换以产生变换块，至少部分基于变换块产生译码块并且输出译码块以供显示。
根据本发明的各种实例，视频解码器30可经配置以执行基于调色板的译码。当基于调色板的解码模式经选择(例如)用于CU或PU时，基于调色板的解码单元165(例如)可执行基于调色板的解码。举例来说，基于调色板的解码单元165可经配置以产生具有指示像素值的条目的调色板。此外，在此实例中，基于调色板的解码单元165可接收使视频数据块的至少一些位置与调色板中的条目关联的信息。在此实例中，基于调色板的解码单元165可基于所述信息来选择调色板中的像素值。另外，在此实例中，基于调色板的解码单元165可基于选定像素值来重建所述块的像素值。虽然将各种功能描述为由基于调色板的解码单元165执行，但此些功能中的一些或全部可由其它处理单元或不同处理单元的组合来执行。
基于调色板的解码单元165可接收调色板译码模式信息，且当调色板译码模式信息指示调色板译码模式应用于块时执行上述操作。当调色板译码模式信息指示调色板译码模式未应用于块时，或当其它模式信息指示不同模式的使用时，基于调色板的解码单元165在调色板译码模式信息指示调色板译码模式未应用于块时使用非基于调色板的译码模式(例如此HEVC帧间预测性或帧内预测性译码模式)对视频数据块进行解码。视频数据块可(例如)为根据HEVC译码过程产生的CU或PU。视频解码器30可以帧间预测性时间预测或帧内预测性空间译码模式对一些块进行解码且以基于调色板的译码模式对其它块进行解码。基于调色板的译码模式可包括多个不同基于调色板的译码模式中的一者，或可存在单个基于调色板的译码模式。
根据本发明的技术中的一或多者，视频解码器30，并且具体地说基于调色板的解码单元165，可执行经调色板译码的视频块的基于调色板的视频解码。如上所述，由视频解码器30解码的调色板可由视频编码器20显式地编码和用信号表示，可由视频解码器30相对于所接收的经调色板译码块重建，从先前调色板条目预测，从先前像素值预测，或其组合。
图4为说明在其中视频编码器20和视频解码器30支持本发明的从先前行复制模式的情况下针对模式识别符号的两个二进位的上下文译码指派的实例的表200。在图4中说明的情境中，先前根据行程模式对当前像素的上方相邻像素进行译码。另外，在图4中说明的实例中，视频编码器20和/或视频解码器30可基于用于先前经译码相邻像素的译码模式动态地确定截断一元码字的第一二进位的上下文。举例来说，如果先前经译码相邻像素是使用行程模式进行译码，那么视频编码器20和/或视频解码器30可使用单一CABAC上下文(在本文中被称作“上下文A”)对第一二进位进行译码。如图4中所示，上下文A包含用于行程、复制和从先前行复制模式中的每一者的可能上下文。在表200的特定实例中，视频编码器20和视频解码器30针对复制和从先前行复制模式两者使用共享上下文，即值一(1)。
相比而言，为对截断一元码字的第二二进位进行译码，视频编码器20和/或视频解码器30可使用并不取决于用于先前经译码相邻像素的基于调色板的译码模式的上下文。因此，视频编码器20和/或视频解码器30可独立于关于先前经译码相邻像素的任一者的模式识别信息对截断一元码字的第二二进位进行译码。举例来说，第二二进位可鉴于关于先前经译码相邻像素的任一者的改变的模式信息而保持恒定。视频编码器20和/或视频解码器30可用以对截断一元码字的第二二进位进行译码的CABAC上下文在本文中被称作“上下文C”。
在表200的特定实例中，先前经译码上方相邻像素是根据行程模式进行译码。在此实例中，视频编码器20和视频解码器30可在确定可能上下文的过程中排除行程模式来对截断一元码字的第二二进位进行译码。如图4中所示，表200并不包含对应于行程模式的上下文C的值。
图5为说明视频编码器20和视频解码器30对于其可实施本文中所描述的约束中的一或多者的实例调色板译码块300的概念图。调色板译码块300包含当前开始像素302、参考开始像素304、先前经译码相邻像素306和左相邻参考像素308。参考开始像素304为对应行程的第一像素，且利用常见阴影方案以图5中的参考开始像素304说明行程的剩余像素。当前开始像素302为对应行程的第一像素，且利用常见阴影方案以图5中的当前开始像素302说明行程的剩余像素。
举例来说，视频解码器30可确定用于解码调色板译码块300的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引。另外，视频解码器30可在参考开始像素304处开始且在预定行程长度的末尾终止而确定用于调色板译码块300的那些像素的调色板索引的参考行程。视频解码器30可使用调色板索引的参考行程来确定调色板译码块300内的调色板索引的当前行程，其中当前行程在当前开始像素302处开始，且在预定行程长度的末尾终止。
更确切地说，为确定当前行程，视频解码器30可针对开始参考行程的参考开始像素304定位调色板索引。如所展示，参考开始像素304的索引与当前开始像素302间隔至少一行。另外，视频解码器30可确定参考行程的行程长度，其中参考行程的最终索引在块中与当前开始像素302的索引分离至少一个索引。视频解码器30可复制包含在参考行程中的索引作为调色板索引的当前行程，且使用调色板对映射到调色板索引的所复制当前行程的块的像素进行解码。
在一些实例中，视频编码器20和视频解码器30可确定相邻像素306是在从先前行复制模式中进行译码，且从相邻参考像素308复制用于左相邻像素306的调色板索引。如所展示，在调色板译码块300的实例中，相邻参考像素308定位在包含左相邻像素306和当前开始像素302的行上方三(3)行处。更确切地说，左相邻像素306和当前开始像素302定位在调色板译码块300的第五行(行编号4)中，而相邻参考像素308定位在调色板译码块300的第二行(行编号1)中。
施加本发明的约束，视频编码器20和视频解码器30可确定当前开始像素302在根据从先前行复制模式进行译码的情况下无法继承来自包含相邻参考像素308的相同(即，第二)行的索引。举例来说，视频编码器20和视频解码器30可确定在与当前开始像素302相同的列中的第二行的像素处于与相邻参考像素308相同的行程中。进而，视频编码器20和视频解码器30可确定处于与相邻参考像素308相同的行程中的潜在参考像素并不提供用于当前开始像素302的供继承的唯一调色板索引。因此，视频编码器20和视频解码器30可确定用于当前开始像素302的参考像素定位在处于包含相邻参考像素308的行前面的行中。
在调色板译码块300的特定实例中，在相邻参考像素308的行前面的唯一行是调色板译码块300的第一行(具有行编号0)。因此，视频编码器20和视频解码器30可通过定位第一行与包含当前开始像素302的第五列的交叉点来识别参考开始像素304。因此，图5说明一实例，其中当前像素302是根据本发明的从先前行复制模式进行调色板译码，使得对应参考像素(在此情况下，参考开始像素304)包含在行0中。
在图5的特定实例中，参考像素行程与当前像素行程的匹配长度为六(6)个像素。视频编码器20可将在用于参考开始像素304的索引处开始的六(6)个连续索引复制到在当前开始像素302处开始的六(6)个像素的对应行程的索引，编码且向视频解码器30用信号表示相应像素行程的匹配长度。另外，视频编码器20可向视频解码器30编码匹配长度六(6)。
视频解码器30可使用指示当前开始像素302在从先前行复制模式中编码的所用信号表示信息以及所用信号表示匹配长度来重建调色板译码块300。举例来说，视频解码器30可将在参考开始像素304处开始的六(6)像素长行程的索引复制到在当前开始像素302处开始的六(6)像素长行程。在一些实例中，视频编码器20可将匹配长度用信号表示为递减值。举例来说，视频编码器20可使匹配长度递减匹配长度的最小值。在此些实例中，视频解码器30可通过使所接收的值递增匹配长度的预定最小值来重建匹配长度。
通过以所描述的方式约束可从其选择用于当前像素的参考像素的可能行的数目，视频编码器20和视频解码器30可实施本发明的技术以节省计算资源，同时维持图片精确度。更确切地说，视频编码器20和视频解码器30可限制待搜索的行的数目，借此减少存储器存取和处理时钟循环要求。另外，通过使用如上文所描述的递减的匹配长度值，视频编码器20和视频解码器30可实施本发明的技术以节省位速率和计算资源来获得匹配长度，同时维持图片精确度。
图6为说明视频解码装置可借以执行本发明的一或多个基于调色板的解码技术的实例方法320的流程图。虽然过程320可由多种装置根据本发明的各方面执行，但过程320出于方便描述的目的在本文中相对于图1及3的视频解码器30描述。
在图6的实例中，视频解码器30确定用于调色板译码块的调色板(322)。在各种实例中，视频解码器30可独立地确定用于位流中接收的调色板编码块的调色板，从另一调色板译码块复制调色板，或在位流中接收调色板自身。
另外，视频解码器30可确定用于调色板译码块内的参考行程的调色板索引(324)。举例来说，视频解码器30可重建用于像素的第一连续串联的调色板索引，其进而可充当用于像素的一或多个后续串联的参考像素的行程。
视频解码器30可定位参考行程中的参考索引，使得参考索引在当前行程的开始索引上方间隔一或多行(326)。举例来说，用于当前被解码的像素的调色板索引可充当当前行程的开始索引。另外，参考行程中的第一像素的调色板索引可充当参考索引。施加到图5的调色板译码块300的实例，视频解码器30可将用于参考开始像素308的调色板索引识别为参考索引，且将当前开始像素302的调色板索引识别为当前行程的开始像素。
视频解码器30可确定参考行程的行程长度(328)。根据各种实例，视频解码器30可使用行程长度来确定待复制到当前行程的参考行程的连续索引的数目。举例来说，视频解码器30可确定行程长度等于从视频编码器20接收的经编码视频位流中用信号表示的匹配长度。进而，视频解码器30将在参考索引处开始且一直达到行程长度的参考行程的调色板索引复制到当前行程(330)。更确切地说，视频解码器30可确定当前行程在开始像素处开始，一直达到所确定的行程长度。另外，视频解码器30可使用由相应所复制调色板索引识别的颜色信息重建当前行程的像素(332)。
因此，在各种实例中，本发明针对一种解码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定用于所述视频数据块的第一像素的第一多个调色板索引；以及基于所述第一多个调色板索引确定用于所述视频数据块的第二像素的第二多个调色板索引。根据所述方法的一些实施方案，确定所述第二多个调色板索引包含：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及使用调色板解码与所述所复制的第二多个调色板索引相关联的块的多个像素。
根据所述方法的一些实施方案，定位所述参考索引包含在所述块的搜索范围内定位所述参考索引。在一个此类实施方案中，所述搜索范围包含对应于所述块的至少两行的调色板索引的子集。在另一此类实施方案中，所述方法进一步包含通过解码表示所述搜索范围的码字来获得搜索范围。根据一些实例，所述码字以截断一元格式表达。
在所述方法的一些实例实施方案中，所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一行索引。根据一些实例实施方案，所述方法可进一步包含：确定与相邻索引相关联的基于调色板的译码模式，所述相邻索引定位成邻近于所述第二多个调色板索引的初始索引；以及如果与所述相邻索引相关联的基于调色板的译码模式包含从先前行复制模式，那么确定所述参考索引与相邻参考索引间隔至少一行，其中所述相邻索引从相邻参考索引复制。在一个此类实例中，相邻参考索引定位在相邻索引上方至少两行处，且参考索引定位在相邻参考索引上方至少一行处。在另一此类实例中，所述方法可进一步包含约束在其内定位参考索引的块的搜索范围。
在一些实例中，确定行程长度包含确定所述第一多个调色板索引与所述第二多个调色板索引之间的匹配长度，所述行程长度指示所述第一多个与所述第二多个之间的连续匹配索引的数目。在一些实例中，复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引包含基于所述第一多个调色板索引与所述第二多个调色板索引之间的匹配长度复制所述第一多个调色板索引。根据一个此类实例，所述方法进一步包含在经编码视频位流中接收匹配长度的递减值。
在各种实例中，所述方法可在无线通信装置上执行，所述无线通信装置包含经配置以存储视频数据的存储器、经配置以执行用以处理存储于所述存储器中的视频数据的指令的处理器，以及经配置以接收所述视频数据块的接收器。在一些实例中，所述无线通信装置为蜂窝式电话，且待解码的所述视频数据块由接收器接收并根据蜂窝式通信标准来调制。在各种实例中，可由以指令编码的计算机可读存储媒体或计算机可读存储装置实施本文中所描述的解码技术，所述指令在执行时致使视频解码装置的一或多个处理器执行所述技术的任一或多者或其任何组合。在各种实例中，本文中所描述的解码技术可由一装置实施，所述装置包含经配置以存储经编码视频数据的存储器，和经配置以执行所述技术中的任一或多者或其任何组合的一或多个处理器。
图7为说明视频编码装置可借以执行本发明的一或多个基于调色板的解码技术的实例方法350的流程图。虽然过程350可由多种装置根据本发明的各方面执行，但过程350出于方便描述的目的在本文中相对于图1及2的视频编码器20描述。
在图7的实例中，视频编码器20确定用于调色板译码块的调色板(352)。在各种实例中，视频编码器20可构造用于调色板编码块的新调色板，或从另一调色板译码块复制调色板，或以符合基于调色板的视频译码技术的其它方式确定调色板。
另外，视频编码器20可确定用于调色板译码块内的参考行程的调色板索引(354)。举例来说，视频编码器20可针对像素的第一连续串联指派调色板索引，其进而可充当用于像素的一或多个后续串联的参考像素的行程。
视频编码器20可定位参考行程中的参考索引，使得参考索引在当前行程的开始索引上方间隔一或多行(356)。举例来说，用于当前正被编码的像素的调色板索引可充当当前行程的开始索引。另外，参考行程中的第一像素的调色板索引可充当参考索引。应用图5的调色板译码块300的实例，视频编码器20可将用于参考开始像素308的调色板索引识别为参考索引，且将当前开始像素302的调色板索引识别为当前行程的开始像素。
视频编码器20可确定参考行程的行程长度(358)。根据各种实例，视频编码器20可使用行程长度来确定待复制到当前行程的参考行程的连续索引的数目。进而，视频编码器20将在参考索引处开始且一直达到行程长度的参考行程的调色板索引复制到当前行程(360)。更确切地说，视频编码器20可确定当前行程在开始像素处开始，一直达到所确定的行程长度。视频编码器20可使用调色板通过从参考行程复制调色板索引以识别每一相应像素的颜色信息来编码当前行程的像素(362)。另外，视频编码器20可向视频解码器30用信号表示译码模式(例如，呈截断一元码字的形式)(364)。通过用信号表示识别基于调色板的译码模式的信息，视频编码器20可使视频解码器30能够实施互逆技术来重建当前行程。举例来说，在其中视频编码器20用信号表示码字以识别用于当前开始像素的从先前行复制模式的情况下，视频解码器30可使用所用信号表示信息将参考行程的调色板索引复制到当前行程，借此改进译码效率，同时维持译码精确度。
在一些实例中，本发明揭示编码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定用于所述视频数据块的第一像素的第一多个调色板索引；以及基于所述第一多个调色板索引确定用于所述视频数据块的第二像素的第二多个调色板索引。根据这些实例方法，确定所述第二多个调色板索引包含：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及使用调色板编码与所述所复制的第二多个调色板索引相关联的块的多个像素。
在一些实例中，定位所述参考索引包含在所述块的搜索范围内定位所述参考索引。根据一个此类实例，所述搜索范围包含对应于所述块的至少两行的调色板索引的子集。在一些实例中，所述方法进一步包含编码表示搜索范围的码字，以及在经编码视频位流中用信号表示所述经编码的码字。根据一个此类实例，编码所述码字包含以截断一元格式编码所述码字。
根据所述方法的一些实例实施方案，所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一行索引。在一些实例中，所述方法可进一步包含：确定与相邻索引相关联的基于调色板的译码模式，所述相邻索引定位成邻近于所述第二多个调色板索引的初始索引；以及如果与所述相邻索引相关联的基于调色板的译码模式包含从先前行复制模式，那么确定所述参考索引与相邻参考索引间隔至少一行，其中所述相邻索引从相邻参考索引复制。在一个此类实例中，相邻参考索引定位在相邻索引上方至少两行处，且参考索引定位在相邻参考索引上方至少一行处。在其它此类实例中，所述方法可进一步包含约束在其内定位参考索引的块的搜索范围。根据一个此类实例，确定所述行程长度包含确定所述第一多个调色板索引与所述第二多个调色板索引之间的匹配长度，所述行程长度指示所述第一多个与所述第二多个之间的连续匹配索引的数目，且复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引包含基于所述第一多个调色板索引与所述第二多个调色板索引之间的匹配长度复制所述第一多个调色板索引。根据一个实施方案，所述方法进一步包含在经编码视频位流中用信号表示匹配长度的递减值。
在各种实例中，所述方法可在无线通信装置上执行，所述无线通信装置包含经配置以存储视频数据的存储器、经配置以执行用以处理存储于所述存储器中的视频数据的指令的处理器，以及经配置以发射表示所述块的经编码视频数据的发射器。在一个此类实例中，所述无线通信装置为蜂窝式电话，且经编码视频数据由发射器发射并根据蜂窝式通信标准来调制。在各种实例中，本文中所描述的编码技术可由以指令编码的计算机可读存储媒体或计算机可读存储装置实施，所述指令在执行时致使视频编码装置的一或多个处理器执行所述技术的任一或多者或其任何组合。在各种实例中，本文中所描述的编码技术可由一装置实施，所述装置包含经配置以存储视频数据的存储器，和经配置以执行所述技术中的任一或多者或其任何组合的一或多个处理器。
图8为说明视频编码器20和/或视频解码器30可使用本发明的从先前行复制模式进行译码的块的另一实例的概念图。当前CU 400包含若干行的像素，包含row_0 402和row_4 404。如所展示，row_4 404包含当前相对于被称作参考行程的row_0 402(用X标记，以参考像素410开始)的四个经先前译码像素正译码的四个像素的行程(用X标记，以像素408开始)。在一些实例中，为对当前CU 400进行译码，视频编码器20和/或视频解码器30可将以参考像素410开始的row_0 402中的参考行程的调色板索引复制到以像素408开始的当前行程的对应像素。在图8的特定实例中，参考行程与当前行程之间的匹配行程长度为四，这意味着为了对当前CU 400进行译码，视频编码器20和视频解码器30可将来自参考行程的四个连续调色板索引的串复制到当前行程。
因此，在图8的实例中，视频编码器20和视频解码器30可确定用于视频数据块的第一像素的第一多个调色板索引，例如与row_0 402的四个标记像素相关联的索引。此外，视频编码器20和视频解码器30可基于当前行程(在像素408处开始的四个像素的行程)的行程长度满足行程长度阈值而启用调色板译码模式(例如，从上方复制模式)。在图8中展示的实例中，行程长度阈值可为四，使得视频编码器20和视频解码器30可针对当前行程使用调色板译码模式，但可针对相对较短行程停用调色板译码模式。视频编码器20和视频解码器30可使用调色板译码模式相对于所述第一多个调色板索引对当前行程进行译码。
图9为说明视频解码装置可借以执行本发明的一或多个基于调色板的解码技术的实例方法420的流程图。虽然过程420可由多种装置根据本发明的各方面执行，但过程420出于方便描述的目的在本文中相对于图1及3的视频解码器30描述。
在图9的实例中，视频解码器30确定用于调色板译码块的调色板(422)。在各种实例中，视频解码器30可独立地确定用于位流中接收的调色板编码块的调色板，从另一调色板译码块复制调色板，或在位流中接收调色板自身。
另外，视频解码器30可确定用于调色板译码块内的参考行程的调色板索引(424)举例来说，视频解码器30可重建用于像素的第一连续串联的调色板索引，其进而可充当用于像素的一或多个后续串联的参考像素的行程。
视频解码器30可基于当前行程的行程长度启用特定调色板译码模式(426)。举例来说，如果行程长度满足(例如，等于大于)阈值行程长度，那么视频解码器30可相对于当前行程启用从先前行复制模式。视频解码器30可使用经启用调色板译码模式解码当前行程的像素(428)。举例来说，在所启用模式为从先前行复制模式的情况下，视频解码器30可根据图6中说明的过程320解码当前行程。
因此，在各种实例中，本发明针对一种解码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；基于正相对于所述第一多个调色板索引解码的所述视频数据块的第二像素的第二多个调色板索引的行程的行程长度满足行程长度阈值而启用调色板译码模式；以及使用调色板译码模式相对于所述第一多个调色板索引解码所述第二多个调色板索引的行程。在一些实例中，所述方法可进一步包含确定行程长度与行程长度阈值之间的差，以及将所述差相加到行程长度阈值以确定行程的行程长度。在一个此类实例中，确定所述差包含从经编码视频位流解码表示所述差的一或多个语法元素。在另一此类实例中，行程长度阈值包含不由经编码位流中的语法元素指示的恒定行程长度阈值。
根据一些实例实施方案，所述方法进一步包含使用查找表基于参考行偏移和所述第二多个调色板索引的开始调色板索引确定行程长度阈值。在一些实例中，使用调色板译码模式相对于所述第一多个调色板索引解码所述第二多个调色板索引的行程包含复制所述第一多个调色板索引作为所述第二多个调色板索引。
在一些实例中，所述方法进一步包含基于与参考行偏移和所述第二多个调色板索引的开始调色板索引中的每一者相关联的二进制位的相应数目获得行程长度阈值。根据一个此类实例，基于与参考行偏移和所述第二多个调色板索引的开始调色板索引中的每一者相关联的二进制位的相应数目获得所述行程长度阈值包含通过将预定恒定值相加到与参考行偏移和所述第二多个调色板索引的开始调色板索引中的每一者相关联的相应二进制位的商来计算所述行程长度阈值。
根据一些实例，调色板模式为从先前行复制模式。在一个此类实例中，使用从先前行复制模式相对于所述第二多个调色板索引解码所述第一多个调色板索引包含：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；以及复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引。在一些实例中，所述方法进一步包含接收指示与所述第二多个调色板索引相关联的基于调色板的译码模式的数据，以及基于所接收的数据指示值零而确定基于调色板的译码模式包含从上方复制模式或从先前行复制模式中的一者。
在各种实例中，所述方法可在无线通信装置上执行，所述无线通信装置包含经配置以存储视频数据的存储器、经配置以执行用以处理存储于所述存储器中的视频数据的指令的处理器，以及经配置以接收所述视频数据块的接收器。在一些实例中，所述无线通信装置为蜂窝式电话，且待解码的所述视频数据块由接收器接收并根据蜂窝式通信标准来调制。在各种实例中，本文中所描述的解码技术可由以指令编码的计算机可读存储媒体或计算机可读存储装置实施，所述指令在执行时致使视频解码装置的一或多个处理器执行所述技术的任一或多者或其任何组合。在各种实例中，本文中所描述的解码技术可由一装置实施，所述装置包含经配置以存储经编码视频数据的存储器，和经配置以执行所述技术中的任一或多者或其任何组合的一或多个处理器。
图10为说明视频编码装置可借以执行本发明的一或多个基于调色板的解码技术的实例方法440的流程图。虽然过程440由多种装置根据本发明的各方面执行，但过程440出于方便描述的目的在本文中相对于图1及2的视频编码器20描述。
在图10的实例中，视频编码器20确定用于调色板译码块的调色板(442)。在各种实例中，视频编码器20可独立地确定用于调色板编码块的调色板，从另一调色板译码块复制调色板，或根据基于调色板的译码的各种其它技术确定调色板。
另外，视频编码器20可确定用于调色板译码块内的参考行程的调色板索引(444)。举例来说，视频编码器20可编码用于像素的第一连续串联的调色板索引，其进而可充当用于像素的一或多个后续串联的参考像素的行程。
视频编码器20可基于当前行程的行程长度启用特定调色板译码模式(446)。举例来说，如果行程长度满足(例如，等于大于)阈值行程长度，那么视频编码器20可相对于当前行程启用从先前行复制模式。视频编码器20可使用经启用的调色板译码模式编码当前行程的像素(448)。举例来说，在启用模式为从先前行复制模式的情况下，视频编码器20可根据图7中说明的过程350编码当前行程。
因此，在各种实例中，本发明针对一种编码视频数据的方法，所述方法包含：确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；确定所述视频数据块的第一像素的第一多个调色板索引；基于正相对于所述第一多个调色板索引编码的视频数据块的第二像素的第二多个调色板索引的行程的行程长度满足行程长度阈值而启用调色板译码模式；以及使用调色板译码模式相对于所述第一多个调色板索引编码所述第二多个调色板索引的行程。在一些实例中，所述方法进一步包含确定行程长度与行程长度阈值之间的差，以及在经编码视频位流中用信号表示表示所述差的语法元素。
在一些实例中，行程长度阈值包含不由经编码位流中的语法元素指示的恒定行程长度阈值。根据一些实例实施方案，所述方法包含使用查找表基于参考行偏移和所述第二多个调色板索引的开始调色板索引确定行程长度阈值。在一些实例中，使用调色板译码模式相对于所述第一多个调色板索引编码所述第二多个调色板索引的行程包含复制所述第一多个调色板索引作为所述第二多个调色板索引。
根据一些实例实施方案，所述方法进一步包含基于与参考行偏移和所述第二多个调色板索引的开始调色板索引中的每一者相关联的二进制位的相应数目获得行程长度阈值。在一个此类实施方案中，基于与参考行偏移和所述第二多个调色板索引的开始调色板索引中的每一者相关联的二进制位的相应数目获得行程长度阈值包含通过将预定恒定值相加到与参考行偏移和所述第二多个调色板索引的开始调色板索引中的每一者相关联的相应二进制位的商来计算所述行程长度阈值。
在一些情况下，所述方法进一步包含在经编码视频位流中用信号表示行程长度阈值。根据一些实例，调色板模式为从先前行复制模式。在一个此类实例中，使用从先前行复制模式相对于所述第二多个调色板索引编码所述第一多个调色板索引包含：定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一个索引；复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及使用调色板编码与所述所复制的第二多个调色板索引相关联的块的多个像素。在一些实例中，所述方法进一步包含确定用于所述第二多个调色板索引的基于调色板的译码模式包含从上方复制模式或从先前行复制模式中的一者，以及基于确定基于调色板的译码模式包含从上方复制模式或从先前行复制模式中的一者而编码指示调色板译码模式的数据以具有值零。
出于说明的目的，已经相对于开发HEVC标准而描述本发明的某些方面。然而，本发明中描述的技术可有用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
上文所描述的技术可由视频编码器20(图1及2)及/或视频解码器30(图1及3)执行，其两者可大体上被称作视频译码器。同样地，在适用时，视频译码可指视频编码或视频解码。此外，视频编码和视频解码可一般被称作“处理”视频数据。
应理解，本文中描述的所有技术可个别地或组合地使用。本发明包含可取决于例如块大小、调色板大小、切片类型等特定因素改变的若干用信号表示方法。用信号表示或推断语法元素的过程中的此变化可为编码器和解码器先验已知的，或可显式地在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头中、瓦片层级处或其它地方用信号表示。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同序列来执行，可添加、合并或全部省略所述动作或事件(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非循序地执行动作或事件。
在一或多个实例中，所描述功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体或通信媒体等有形媒体，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用来存储指令或数据结构的形式的所要程序代码并且可以由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已经描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (30)

1.一种对视频数据进行解码的方法，所述方法包括：
确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；
确定用于所述视频数据块的第一像素的第一多个调色板索引；以及
基于所述第一多个调色板索引确定用于所述视频数据块的第二像素的第二多个调色板索引，其中确定所述第二多个调色板索引包括：
定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；
确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的所述初始索引分离至少一个索引；
复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及
使用所述调色板解码与所述所复制的第二多个调色板索引相关联的所述块的多个像素。
2.根据权利要求1所述的方法，其中定位所述参考索引包括在所述块的搜索范围内定位所述参考索引。
3.根据权利要求2所述的方法，其中所述搜索范围包括对应于所述块的至少两行的调色板索引的子集。
4.根据权利要求2所述的方法，其进一步包括通过解码表示所述搜索范围的码字获得所述搜索范围。
5.根据权利要求4所述的方法，其中所述码字以截断一元格式表达。
6.根据权利要求1所述的方法，其中所述行程的所述最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一行索引。
7.根据权利要求1所述的方法，其进一步包括：
确定与相邻索引相关联的基于调色板的译码模式，所述相邻索引定位成邻近于所述第二多个调色板索引的所述初始索引；以及
如果与所述相邻索引相关联的所述基于调色板的译码模式包括从先前行复制模式，那么确定所述参考索引与相邻参考索引间隔至少一行，
所述相邻索引从所述相邻参考索引复制。
8.根据权利要求7所述的方法，
其中所述相邻参考索引定位在所述相邻索引上方至少两行处；以及
其中所述参考索引定位在所述相邻参考索引上方至少一行处。
9.根据权利要求7所述的方法，其进一步包括约束在其内定位所述参考索引的所述块的搜索范围。
10.根据权利要求9所述的方法，
其中确定所述行程长度包括确定所述第一多个调色板索引与所述第二多个调色板索引之间的匹配长度，所述行程长度指示所述第一多个与所述第二多个之间的连续匹配索引的数目；以及
其中复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引包括基于所述第一多个调色板索引与所述第二多个调色板索引之间的所述匹配长度复制所述第一多个调色板索引。
11.根据权利要求10所述的方法，其进一步包括在经编码视频位流中接收所述匹配长度的递减值。
12.根据权利要求1所述的方法，所述方法可在无线通信装置上执行，其中所述装置包括：
存储器，其经配置以存储所述视频数据；
处理器，其经配置以执行用以处理存储在所述存储器中的所述视频数据的指令；以及
接收器，其经配置以接收所述视频数据块。
13.根据权利要求12所述的方法，其中所述无线通信装置为蜂窝式电话，且待解码的所述视频数据块由所述接收器接收并根据蜂窝式通信标准来调制。
14.一种对视频数据进行编码的方法，所述方法包括：
确定用于解码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；
确定用于所述视频数据块的第一像素的第一多个调色板索引；
基于所述第一多个调色板索引确定用于所述视频数据块的第二像素的第二多个调色板索引，且其中确定所述第二多个调色板索引包括：
定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；
确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的所述初始索引分离至少一个索引；
复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及
使用所述调色板编码与所述所复制的第二多个调色板索引相关联的所述块的多个像素。
15.根据权利要求14所述的方法，其中定位所述参考索引包括在所述块的搜索范围内定位所述参考索引。
16.根据权利要求15所述的方法，其中所述搜索范围包括对应于所述块的至少两行的调色板索引的子集。
17.根据权利要求15所述的方法，其进一步包括：
编码表示所述搜索范围的码字；以及
在经编码视频位流中用信号表示所述经编码码字。
18.根据权利要求17所述的方法，其中编码所述码字包括以截断一元格式编码所述码字。
19.根据权利要求14所述的方法，其中所述行程的所述最终索引在所述块中与所述第二多个调色板索引的初始索引分离至少一行索引。
20.根据权利要求14所述的方法，其进一步包括：
确定与相邻索引相关联的基于调色板的译码模式，所述相邻索引定位成邻近于所述第二多个调色板索引的所述初始索引；以及
如果与所述相邻索引相关联的所述基于调色板的译码模式包括从先前行复制模式，那么确定所述参考索引与相邻参考索引间隔至少一行，
其中所述相邻索引从所述相邻参考索引复制。
21.根据权利要求20所述的方法，
其中所述相邻参考索引定位在所述相邻索引上方至少两行处，且
其中所述参考索引定位在所述相邻参考索引上方至少一行处。
22.根据权利要求20所述的方法，其进一步包括约束在其内定位所述参考索引的所述块的搜索范围。
23.根据权利要求22所述的方法，
其中确定所述行程长度包括确定所述第一多个调色板索引与所述第二多个调色板索引之间的匹配长度，所述行程长度指示所述第一多个与所述第二多个之间的连续匹配索引的数目，且
其中复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引包括基于所述第一多个调色板索引与所述第二多个调色板索引之间的所述匹配长度复制所述第一多个调色板索引。
24.根据权利要求23所述的方法，其进一步包括在经编码视频位流中用信号表示所述匹配长度的递减值。
25.根据权利要求14所述的方法，所述方法可在无线通信装置上执行，其中所述装置包括：
存储器，其经配置以存储所述视频数据；
处理器，其经配置以执行用以处理存储在所述存储器中的所述视频数据的指令；以及
发射器，其经配置以发射表示所述块的经编码视频数据。
26.根据权利要求25所述的方法，其中所述无线通信装置为蜂窝式电话，且所述经编码视频数据由所述发射器发射并根据蜂窝式通信标准来调制。
27.一种视频解码装置，其包括：
存储器，其经配置以存储经编码视频数据；以及
一或多个处理器，其经配置以：
确定用于解码所述经编码视频数据的块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；
确定用于所述视频数据块的第一像素的第一多个调色板索引；以及
基于所述第一多个调色板索引确定用于所述视频数据块的第二像素的第二多个调色板索引，其中为确定所述第二多个调色板索引，所述一或多个处理器经配置以：
定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；
确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的所述初始索引分离至少一个索引；
复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及
使用所述调色板解码与所述所复制的第二多个调色板索引相关联的所述块的多个像素。
28.根据权利要求27所述的视频解码装置，其中所述视频解码装置为无线通信装置，且其中所述视频解码装置进一步包括经配置以接收所述经编码视频数据的所述块的接收器。
29.根据权利要求28所述的视频解码装置，其中所述无线通信装置为蜂窝式电话，且待解码的所述视频数据块由所述接收器接收并根据蜂窝式通信标准来调制。
30.一种以指令编码的非暂时性计算机可读存储媒体，所述指令在执行时致使视频解码装置的一或多个处理器：
确定用于解码经编码视频数据块的调色板，其中所述调色板包含一或多个调色板条目，每一调色板条目具有相应调色板索引；
确定用于所述视频数据块的第一像素的第一多个调色板索引；以及
基于所述第一多个调色板索引确定用于所述视频数据块的第二像素的第二多个调色板索引，其中为确定所述第二多个调色板索引，所述指令在执行时致使所述一或多个处理器经配置以：
定位包含在所述第一多个调色板索引中的参考索引，其中所述参考索引与所述第二多个调色板索引的初始索引间隔至少一行；
确定所述第一多个索引的行程的行程长度，其中所述行程的最终索引在所述块中与所述第二多个调色板索引的所述初始索引分离至少一个索引；
复制包含在所述行程中的所述第一多个索引作为所述第二多个调色板索引；以及
使用所述调色板解码与所述所复制的第二多个调色板索引相关联的所述块的多个像素。
CN201580032643.7A 2014-06-20 2015-06-19 用于调色板模式译码的从先前行复制 Pending CN106576163A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201462015177P 2014-06-20 2014-06-20
US62/015,177 2014-06-20
US201462018477P 2014-06-27 2014-06-27
US62/018,477 2014-06-27
US201462060485P 2014-10-06 2014-10-06
US62/060,485 2014-10-06
US14/743,883 US10313684B2 (en) 2014-06-20 2015-06-18 Copy from previous rows for palette mode coding
US14/743,883 2015-06-18
PCT/US2015/036642 WO2015196047A1 (en) 2014-06-20 2015-06-19 Copy from previous rows for palette mode coding

Publications (1)

Publication Number Publication Date
CN106576163A true CN106576163A (zh) 2017-04-19

Family

ID=54870864

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580032095.8A Pending CN106464875A (zh) 2014-06-20 2015-06-19 用于调色板模式译码的从先前行复制
CN201580032643.7A Pending CN106576163A (zh) 2014-06-20 2015-06-19 用于调色板模式译码的从先前行复制

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580032095.8A Pending CN106464875A (zh) 2014-06-20 2015-06-19 用于调色板模式译码的从先前行复制

Country Status (5)

Country Link
US (2) US9906799B2 (zh)
EP (2) EP3158740B1 (zh)
JP (2) JP2017525230A (zh)
CN (2) CN106464875A (zh)
WO (2) WO2015196047A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116824A1 (zh) * 2020-12-05 2022-06-09 腾讯科技（深圳）有限公司 视频解码方法、视频编码方法、相关设备及存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654777B2 (en) 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
WO2015103496A2 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Two-demensional palette coding for screen content coding
US9906799B2 (en) 2014-06-20 2018-02-27 Qualcomm Incorporated Copy from previous rows for palette mode coding
US10097839B2 (en) 2014-12-19 2018-10-09 Qualcomm Incorporated Palette mode for subsampling format
EP3262839B1 (en) * 2015-04-08 2021-06-16 HFI Innovation Inc. Methods for palette mode context coding and binarization in video coding
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
WO2017133753A1 (en) * 2016-02-01 2017-08-10 Huawei Technologies Co., Ltd. Vector quantization for video coding using codebook generated by selected training signals
US10504281B2 (en) * 2017-06-30 2019-12-10 Microsoft Technology Licensing, Llc Tracking pixel lineage in variable rate shading
KR102394777B1 (ko) 2017-09-29 2022-05-04 주식회사 엘엑스세미콘 데이터 통신 시스템 및 그의 데이터 전송 장치 및 데이터 수신 장치
US10931963B2 (en) * 2017-12-07 2021-02-23 Tencent America LLC Method and apparatus for video coding
US11695919B2 (en) * 2018-08-28 2023-07-04 Google Llc Lossy image compression using palettization of locally mixed colors
US11516506B2 (en) 2018-10-05 2022-11-29 Lg Electronics Inc. Method and apparatus for processing image service
US10924750B2 (en) 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
WO2020207421A1 (en) * 2019-04-09 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Entry construction for palette mode coding
US11330306B2 (en) * 2019-08-07 2022-05-10 Tencent America LLC Method and apparatus for video coding
EP4087652A1 (en) 2020-01-08 2022-11-16 Regeneron Pharmaceuticals, Inc. Treatment of fibrodysplasia ossificans progressiva
CN111402380B (zh) * 2020-03-12 2023-06-30 杭州小影创新科技股份有限公司 一种gpu压缩纹理处理方法
US11496731B2 (en) * 2020-06-08 2022-11-08 Tencent America LLC String matching with single color value

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048943A1 (en) * 1997-11-27 2003-03-13 Seiko Epson Corporation Encoding method of a color image and its encoding device and a decoding method of the color image and its decoding device
WO2013099076A1 (ja) * 2011-12-27 2013-07-04 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
CN103209326A (zh) * 2013-03-29 2013-07-17 惠州学院 一种png图片的压缩方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408542A (en) 1992-05-12 1995-04-18 Apple Computer, Inc. Method and apparatus for real-time lossless compression and decompression of image data
US6008816A (en) 1996-04-25 1999-12-28 Microsoft Corporation Method and system for managing color specification using attachable palettes and palettes that refer to other palettes
US6256415B1 (en) 1998-06-10 2001-07-03 Seiko Epson Corporation Two row buffer image compression (TROBIC)
BR0009255A (pt) 1999-12-22 2002-02-19 Neomtel Co Ltd Método e sistema, para transmissão de dados binários de figura em movimento e de mensagem para estação móvel
US6819793B1 (en) 2000-06-30 2004-11-16 Intel Corporation Color distribution for texture and image compression
US6748116B1 (en) 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
US6898313B2 (en) * 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
US7343037B1 (en) 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
JP2006229583A (ja) 2005-02-17 2006-08-31 Eastman Kodak Co 通信システム及びデジタルカメラ並びにドック装置
CN200962655Y (zh) * 2006-09-08 2007-10-17 上海尚茂电子技术有限公司 一种用于移动设备的活动图像压缩***
US7343837B1 (en) 2006-09-15 2008-03-18 James Anthony Domanico Multi-plane flexible handle for ratchets and wrenches
WO2010022002A1 (en) 2008-08-19 2010-02-25 Marvell World Trade Ltd Systems and methods for perceptually lossless video compression
US20110110416A1 (en) 2009-11-12 2011-05-12 Bally Gaming, Inc. Video Codec System and Method
CN102611888B (zh) * 2011-11-18 2014-07-23 北京工业大学 一种对屏幕内容的编码方法
US9654777B2 (en) * 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US10291827B2 (en) * 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
WO2015096808A1 (en) * 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for syntax redundancy removal in palette coding
US9930348B2 (en) 2014-03-14 2018-03-27 Qualcomm Incorporated Coefficient level coding in a video coding process
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
US9906799B2 (en) 2014-06-20 2018-02-27 Qualcomm Incorporated Copy from previous rows for palette mode coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048943A1 (en) * 1997-11-27 2003-03-13 Seiko Epson Corporation Encoding method of a color image and its encoding device and a decoding method of the color image and its decoding device
WO2013099076A1 (ja) * 2011-12-27 2013-07-04 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
CN103209326A (zh) * 2013-03-29 2013-07-17 惠州学院 一种png图片的压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN J ET AL: "Description of screen content coding technology proposal by Qualcomm", 《 17TH MEETING: VALENCIA, ES, 27 MARCH – 4 APRIL 2014;JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116824A1 (zh) * 2020-12-05 2022-06-09 腾讯科技（深圳）有限公司 视频解码方法、视频编码方法、相关设备及存储介质

Also Published As

Publication number Publication date
WO2015196079A1 (en) 2015-12-23
WO2015196047A1 (en) 2015-12-23
EP3158740A1 (en) 2017-04-26
EP3158741A1 (en) 2017-04-26
US10313684B2 (en) 2019-06-04
JP2017525227A (ja) 2017-08-31
JP2017525230A (ja) 2017-08-31
CN106464875A (zh) 2017-02-22
US9906799B2 (en) 2018-02-27
US20150373340A1 (en) 2015-12-24
EP3158740B1 (en) 2020-02-19
US20150373339A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
CN106576163A (zh) 用于调色板模式译码的从先前行复制
CN106464915B (zh) 基于调色板的视频译码中的最大调色板参数
CN105075272B (zh) 在基于调色板的视频译码中确定调色板索引的方法及设备
CN106464884B (zh) 基于调色板的视频译码中的译码行程
CN106464883B (zh) 基于调色板的视频译码中的逃脱样本译码方法、装置及设备
CN106068648B (zh) 调色板译码模式中视频块的逸出像素的量化
CN106416249B (zh) 用于编码/解码视频数据的方法和装置
CN106105200B (zh) 基于调色板的视频译码
CN105556974B (zh) 基于调色板的视频译码中的调色板预测
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN106464872B (zh) 在基于调色板的视频译码中基于调色板索引对行程值进行译码
CN106464873B (zh) 处理视频数据的方法和装置
CN106464871B (zh) 处理视频数据的方法、装置、设备以及计算机可读媒体
CN106105228B (zh) 一种处理视频数据的方法、装置及计算机可读介质
CN106797484A (zh) 用于基于调色板的视频译码的调色板索引二进制化
CN107637080A (zh) 对最后的调色板索引进行分组以及使用调色板大小和游程值的索引译码
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN107211148A (zh) 在视频译码中调色板块大小的限制
CN106797474A (zh) 基于调色板的视频译码中的调色板游程隐藏
CN106464877A (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
CN107409215A (zh) 用于视频译码的调色板模式译码
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN107925764A (zh) 视频译码中的系数等级译码
CN106717003A (zh) 调色板索引译码的解析依赖性减小

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419