CN104823449B - 在视频译码中用信号表示关注区和逐渐解码刷新 - Google Patents

在视频译码中用信号表示关注区和逐渐解码刷新 Download PDF

Info

Publication number
CN104823449B
CN104823449B CN201380050014.8A CN201380050014A CN104823449B CN 104823449 B CN104823449 B CN 104823449B CN 201380050014 A CN201380050014 A CN 201380050014A CN 104823449 B CN104823449 B CN 104823449B
Authority
CN
China
Prior art keywords
picture
gdr
video
decoding
isp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380050014.8A
Other languages
English (en)
Other versions
CN104823449A (zh
Inventor
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104823449A publication Critical patent/CN104823449A/zh
Application granted granted Critical
Publication of CN104823449B publication Critical patent/CN104823449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在译码过程期间，***、方法及设备可对指示图片的逐渐解码器刷新GDR是否经启用的信息进行译码。当GDR经启用时，所述译码过程、***、方法及设备可对指示所述图片的一或多个切片是否属于所述图片的前景区的信息进行译码。在另一实例中，在译码过程期间，***、方法及设备可对对应于用于图片的切片的ISP中的一者的ISP识别ISP ID的视频数据进行解码。所述***、方法及设备可使用所述ISP对对应于ROI的视频数据进行解码。

Description

在视频译码中用信号表示关注区和逐渐解码刷新
本申请案主张2012年9月28日申请的第61/707,729号美国临时申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更具体地说，涉及在视频译码中用信号表示关注区和逐渐解码刷新。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式发射装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致对块的预测性块进行译码。残余数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式和残余数据来编码的。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
一股来说，本发明描述视频译码技术。确切地说，所述技术涉及编码和解码过程，包含用信号表示和处理与关注区(ROI)、逐渐解码刷新(GDR)操作或两者相关的信息。所述技术可以用于多种视频译码过程中，且可尤其有用于符合当前在开发的上述高效率视频译码(HEVC)标准和其它视频译码标准的译码过程。
在一个实例中，本发明描述对视频数据进行译码的方法，所述方法包括对指示独立子图片(ISP)是否经启用的信息进行译码，当独立子图片经启用时对指示用于ISP中的一者的ISP识别(ISP ID)的信息进行译码，以及对对应于作为ISP中的一者的关注区(ROI)的视频数据进行译码。
在另一实例中，本发明描述对视频数据进行译码的方法，所述方法包括对指示图片的GDR是否经启用的信息进行译码，且当GDR经启用时对指示切片是否属于图片的前景区的信息进行译码。前景区也可被称作刷新区，且背景区(不是前景区的区)也可被称作非刷新区。
本发明还描述用于执行所述方法的装置，其包含经配置以执行所述方法的视频编码器、经配置以执行所述方法的视频解码器，以及具有用于执行所述方法的装置的装置，以及包括致使一或多个处理器执行所述方法的指令的计算机可读媒体。
一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
图1是说明如本发明中所描述的可利用用于用信号表示关注区(ROI)、逐渐解码刷新(GDR)或两者的技术的实例视频编码和解码***的框图。
图2是说明如本发明中所描述的可利用用于用信号表示ROI、GDR或两者的技术的视频编码器的实例的框图。
图3是说明如本发明中所描述的可利用用于用信号表示ROI、GDR或两者的技术的视频解码器的实例的框图。
图4是利用本发明中描述的技术指示背景和前景区的实例一系列补充增强信息(SEI)消息的框图。
图5是说明涉及GDR且实施本发明的一或多个方面的实例方法的流程图。
图6是说明涉及ROI且实施本发明的一或多个方面的实例方法的流程图。
具体实施方式
本发明描述用于在视频译码过程中用信号表示和处理与关注区(ROI)、逐渐解码刷新(GDR)或这两种操作相关的信息的各种技术。因此，一些实例实施方案可用信号表示与GDR相关的信息。其它实例实施方案可用信号表示与ROI相关的信息。在又另一实例中，如本文中所描述，一些实例实施方案可用信号表示与GDR和ROI两者相关的信息。所述技术在一些方面中可由视频编码器执行。在其它方面中，所述技术可由视频解码器执行。另外，此类方法可在例如转码器、媒体感知网络元件(MANE)或类似者等其它装置中执行。在本发明中，出于说明的目的将相对于视频编码器和解码器描述所述技术。
根据本发明，在一个实例中，在译码过程期间，***、方法及设备可对指示图片的GDR是否经启用的信息进行译码，并且当GDR经启用时对指示切片是否属于图片的前景区的信息进行译码。前景区也可被称作刷新区。在另一实例中，在译码过程期间，***、方法及设备可对指示是否一或多个ISP经启用的信息进行译码。
在另一实例中，当独立子图片经启用时，这些***、方法及设备可对指示用于所述ISP中的一者的ISP ID的信息进行译码且对对应于作为所述ISP中的一者的ROI的视频数据进行译码。因此，编码器可指定用于ROI的ISP ID且在位流中包含ROI信息，其中所述ROI信息可指示哪一ISP ID对应于所述ROI。此外，因为每一ROI可经译码为ISP，所以当对应于ROI的特定ISP是所要的仅有区时，可丢弃每一图片中不属于所述ISP的切片。
一些实例***、方法及设备可执行这两者。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
另外，高效率视频译码(HEVC)标准正由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。被称作“HEVC工作草案8”或“WD8”的HEVC标准的最近草案在布洛斯等人的文献JCTVC-J1003v7“高效率视频译码(HEVC)文本规范草案8”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞典斯德哥尔摩第10次会议，2012年7月11-20日)中描述，其从2013年5月1日起可从以下链接下载：http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip。
被称作“HEVC工作草案9”或“WD9”的HEVC标准的另一草案在布洛斯等人的文献JCTVC-K1003v13“高效率视频译码(HEVC)文本规范草案9”(ITU-T SG16 WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，中国上海第11次会议，2012年10月10-19)中描述，其从2012年12月27日起可从以下链接下载：http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip，其整个内容以引用的方式并入本文中。HEVC WD8及WD9的整个内容通过引用结合在此。
在视频译码过程中，补充增强信息(SEI)消息使得编码器能够在位流中包含元数据，所述元数据对于输出图片的样本值的正确解码是不需要的，但可以用于各种其它目的，例如图片输出计时和显示，以及丢失检测和隐藏。编码器可在存取单元中包含任何数目的SEI网络抽象层(NAL)单元，且每一SEI NAL单元可含有一或多个SEI消息。
例如HEVC WD8中呈现的HEVC标准包含用于若干SEI消息的语法和语义，但未指定SEI消息的处置，因为SEI消息并不影响规范性解码过程。在HEVC标准中具有SEI消息的一个原因是使得补充数据能够在使用HEVC的不同***中相同地解译。使用HEVC的规范和***可需要编码器产生某些SEI消息或可界定特定类型的所接收SEI消息的特定处置。
以下表1列出HEVC WD8中指定的SEI消息且简要地描述其目的。
表1-SEI消息的概述
在SEI消息当中，子图片图片SEI消息可按解码次序跟随含有所述SEI消息的存取单元中的第一VCL NAL单元，但在一些实例中，将不按解码次序跟随存取单元中的最后VCLNAL单元。当对于含有SEI消息的SEI NAL单元nuh_reserved_zero_6bits等于0时所有其它SEI消息可在存取单元中的第一VCL NAL单元之前。
在一个实例中，作为图片的子集的ROI可在整个持续时间独立地经译码以使得可按需要仅发射、解码且显示ROI。
在另一实例中，视频序列也可以用从非帧内图片的随机存取是可能的方式经编码，且在几个图片之后整个图片区可在一位置正确地经解码且然后处于显示/输出次序。此行为被称作逐渐解码刷新(GDR)。GDR提供随机可存取性和增强的错误恢复。
在HEVC WD8中，不存在用于在HEVC中用信号表示关注区ROI的机制。HEVC中的恢复点SEI消息可用以用信号表示GDR起始点和对应恢复点。然而，不存在用信号表示在GDR起始点执行随机存取的情况下需要哪些NAL单元的方法。在一些实例中，本发明提供用于ROI的增强的用信号表示的方法。在其它实例中，本发明提供用于GDR的增强的用信号表示的方法。根据本发明的其它实例可提供用于ROI的增强用信号表示和GDR的增强用信号表示两者的方法。
在一个实例方法中，例如在序列参数集(SPS)中用信号表示旗标以指示ISP是否经启用。或者，所述旗标可在其它地方用信号表示，例如视频参数集(VPS)或图片参数集(PPS)。所述旗标可由视频编码器在经编码视频位流中用信号表示。解码器又可在经编码视频位流中接收此旗标，且使用所述旗标支持ROI功能。
当经启用时，在切片标头中或SEI消息中用信号表示每一ISP的ISP识别(ISP ID)。此用信号表示也实现切片到ISP的关联。序列层级SEI消息经界定以载运经译码视频序列中的ISP的数目以及ISP的位置和大小。这些信息项目也可以在序列参数集、视频参数集或图片参数集中用信号表示。每一ROI可经译码为ISP。当对应于ROI的特定ISP是所要的仅有区时，可例如由视频解码器丢弃每一图片中不属于ISP的切片。
在另一方法中，例如在序列参数集中用信号表示旗标以指示GDR是否经启用。或者，所述旗标可在其它地方用信号表示，例如视频参数集或图片参数集。所述旗标可由视频编码器在经编码视频位流中用信号表示。解码器又可在经编码视频位流中接收此旗标，且使用所述旗标支持GDR功能。
当经启用时，在切片标头中或SEI消息中用信号表示切片是否属于图片中的前景区。当从作为含有恢复点SEI消息的非RAP存取单元的GDR起始点随机存取时，可丢弃在所有图片中从起始点直到恢复点(但不包含所述恢复点)的并不属于前景区的切片。
上文所描述的方法可以认为是通用的且可应用于多种不同类型的视频编码器-解码器(编解码器)。下文提供所述方法中的一些的具体实施方案的实例。
现将描述用于在切片标头中用信号表示独立子图片ID前景旗标的方法的实例实施方案。以下表2提供用于此方法的实施的序列参数集原始字节序列有效负载(RBSP)语法的实例。
表2-序列参数集RBSP语法
用于表2中的语法元素的语义如下。等于1的independent_sub_picture_enabled_flag语法元素指定经译码视频序列中的经译码图片的切片标头中isp_id语法元素(下文描述的语义)的存在。等于0的independent_sub_picture_enabled_flag语法元素指定经译码视频序列中的经译码图片的切片标头中isp_id语法元素的不存在。
等于1的gradual_decoding_refresh_enabled_flag语法元素指定经译码视频序列中的经译码图片的切片标头中gdr_foreground_flag语法元素(下文描述的语义)的存在。等于0的gradual_decoding_refresh_enabled_flag指定经译码视频序列中的经译码图片的切片标头中的gdr_foreground_flag语法元素的不存在。
以下表3提供用于此方法的实施的切片标头语法元素的实例。
表3-切片标头语法
用于表3中的语法元素的语义如下。isp_id语法元素指定切片属于的独立子图片的识别符。isp_id的值可在0到255(包含性)的范围内。
在一实例中，由特定值ispID识别的独立子图片(ISP)包含且将仅包含同一图片中具有等于ispID的isp_id的所有切片。由ISP表示的区可为矩形区。并且，在一些实例中，图片中由不同ISP表示的区将不重叠。在一实例中，ISP将从不在同一图片中的ISP中的其它切片可独立解码，即当切片属于ISP且具有等于1的dependent_slice_flag时，具有等于0的dependent_slice_flag的按解码次序的先前切片可属于同一ISP。因此，ISP可独立于(即，无需参考)不在同一图片中的ISP中的任何切片而解码。
在经译码视频序列内，当independent_sub_picture_enabled_flag等于1时，来自所有经译码图片的由particualr isp_id识别的独立子图片统称为ISP序列。ISP序列可从不属于ISP序列的经译码切片独立地可解码，即，在ISP中的切片的解码中，在帧间预测过程中不可使用来自不属于ISP序列的切片的样本。因此，ISP序列可独立于(即，无需参考)不在ISP序列中的任何经译码切片而解码。
等于1的gdr_foreground_flag语法元素指示切片属于当前图片中的前景区。等于0的gdr_foreground_flag语法元素指示切片属于当前图片中的背景区。
图片中的前景区包含且可能仅包含图片中具有等于1的gdr_foreground_flag的所有切片，以及属于图片的背景区的其它切片。前景区可从同一图片中的区独立地可解码，即当切片属于前景区且具有等于1的dependent_slice_flag时，具有等于0的dependent_slice_flag的按解码次序的先前切片也可属于前景区。因此，前景区可独立于背景区而解码。
当gradual_decoding_refresh_enabled_flag等于1且当前图片是随机存取点(RAP)图片时。与当前图片相关联的恢复点SEI消息的存在指示全部以下各项：(a)图片中的前景区仅含有经帧内译码译码块，(b)从相关联图片开始到恢复点(包含性)的图片集合中的前景区可独立于按解码次序属于在所述相关联图片之前的经译码图片或属于同一图片集合中的背景区的经译码切片而解码，以及(c)图片中按解码次序在恢复点之后的所有切片可独立于属于按解码次序在所述相关联图片之前的经译码图片或属于同一图片集合中的背景区的切片而解码。因此，当gradual_decoding_refresh_enabled_flag等于1且当前图片是随机存取点(RAP)图片时，解码器可对属于按解码次序在所述相关联图片之前的经译码图片或属于同一图片集合中的背景区的经译码切片独立地解码。解码器还可对属于按解码次序在所述相关联图片之前的经译码图片或属于同一图片集合中的背景区的切片独立地解码。
下文现将参考表4描述用于独立子图片序列信息SEI消息的语法和语义。
表4-独立子图片序列信息SEI消息语法
下文描述用于表4中的语法元素的语义。独立子图片序列信息SEI消息提供含有所述独立子图片序列信息SEI消息的经译码视频序列中的ISP的数目以及ISP位置和大小。
num_isps_minus1加1指定含有独立子图片序列信息SEI消息的经译码视频序列中的每一图片中的ISP的数目。num_isps_minus1的值可在0到255(包含性)的范围内。
isp_top_left[i]和isp_bottom_right[i]分别指定经译码视频序列中的每一图片中具有等于i的isp_id的ISP的左上角和右下角。top_left[i]和bottom_right[i]是图片的译码树块光栅扫描中的译码树块地址。具有分别由top_left[i]和bottom_right[i]指定的左上角和右下角的ISP可在经译码视频序列中的图片内部且可不与任何其它ISP重叠。
现将描述用于在SEI消息中用信号表示独立子图片ID前景旗标的方法的实例实施方案。以下表5提供用于此方法的实施的序列参数集原始字节序列有效负载(RBSP)语法的实例。用于在SEI消息中用信号表示独立子图片ID前景旗标的此实例的表5与上述在切片标头中用信号表示独立子图片ID前景旗标的实例中的以上表2相同。
表5-序列参数集RBSP语法
下文描述用于表5中的语法元素的语义。等于1的independent_sub_picture_enabled_flag语法元素指定经译码视频序列中的ISP和GDR信息SEI消息中的isp_id语法元素的存在。等于0的independent_sub_picture_enabled_flag语法元素指定经译码视频序列中的ISP和GDR信息SEI消息中的isp_id语法元素的不存在。
等于1的gradual_decoding_refresh_enabled_flag向解码器指定经译码视频序列中的gdr_foreground_flag语法元素ISP和GDR信息SEI消息的存在。等于0的gradual_decoding_refresh_enabled_flag向解码器指定经译码视频序列中的gdr_foreground_flag语法元素ISP和GDR信息SEI消息的不存在。
用于在SEI消息中用信号表示独立子图片ID前景旗标的方法的独立子图片序列信息SEI消息语法和语义可与上文相对于用于在SEI消息中用信号表示独立子图片ID前景旗标的方法所述相同或大体上相同。确切地说，下文重复参考表4描述的语法和语义。
表6-独立子图片序列信息SEI消息语法
下文描述用于表6中的语法元素的语义。
独立子图片序列信息SEI消息提供含有所述独立子图片序列信息SEI消息的经译码视频序列中的ISP的数目以及ISP位置和大小。
num_isps_minus1加1指定含有独立子图片序列信息SEI消息的经译码视频序列中的每一图片中的ISP的数目。num_isps_minus1的值可在0到255(包含性)的范围内。
isp_top_left[i]和isp_bottom_right[i]分别指定经译码视频序列中的每一图片中具有等于i的isp_id的ISP的左上角和右下角。top_left[i]和bottom_right[i]是图片的译码树块光栅扫描中的译码树块地址。具有分别由top_left[i]和bottom_right[i]指定的左上角和右下角的ISP可在经译码视频序列中的图片内部且可不与任何其它ISP重叠。
下文现将参考表7描述用于独立子图片和GDR信息SEI消息的语法和语义。
表7：独立子图片和逐渐解码刷新信息SEI消息语法
ISP和GDR信息SEI消息提供含有当前SEI消息应用于的切片的ISP的识别符，和/或当前SEI消息应用于的切片是否属于当前图片的前景区(其中存取单元含有当前SEI消息)。
如果ISP和GDR信息SEI消息不是存取单元中的最后ISP和GDR信息SEI消息，那么SEI消息应用于的切片按解码次序由按解码次序跟随含有所述SEI消息的SEI NAL单元且按解码次序在含有ISP和GDR信息SEI消息的下一SEI NAL单元之前的所有切片组成。否则，ISP和GDR信息SEI消息应用于的切片由按解码次序在含有所述SEI消息的SEI NAL单元之后的所有切片组成。
ISP和GDR信息SEI消息应用于的切片也被称作与ISP和GDR信息SEI消息相关联的切片。
isp_id语法元素指定与当前SEI消息相关联的切片属于的独立子图片的识别符。isp_id的值可在0到255(包含性)的范围内。
由特定值ispID识别的ISP包含且可能仅包含与同一图片中具有等于ispID的isp_id的ISP和GDR信息SEI消息相关联的所有切片。由ISP表示的区可为矩形区。并且，图片中由不同ISP表示的区可能不重叠。ISP可从不在同一图片中的ISP中的其它切片可独立解码，即当切片属于ISP且具有等于1的dependent_slice_flag时，具有等于0的dependent_slice_flag的按解码次序的先前切片可属于同一ISP。因此，ISP可独立于(即，无需参考)不在同一图片中的ISP中的切片而解码。
在经译码视频序列内，当independent_sub_picture_enabled_flag等于1时，来自所有经译码图片的由particualr isp_id识别的独立子图片统称为ISP序列。ISP序列可从不属于ISP序列的经译码切片独立地可解码，即，在ISP中的切片的解码中，在帧间预测过程中不可使用来自不属于ISP序列的切片的样本。
等于1的gdr_foreground_flag语法元素指示与当前SEI消息相关联的切片属于当前图片中的前景区。等于0的gdr_foreground_flag指示与当前SEI消息相关联的切片属于当前图片中的背景区。
图片中的前景区包含且可能仅包含与图片中具有等于1的gdr_foreground_flag的ISP和GDR信息SEI消息相关联的所有切片，且其它切片属于图片的背景区。前景区可从同一图片中的区独立地可解码，即当切片属于前景区且具有等于1的dependent_slice_flag时，具有等于0的dependent_slice_flag的按解码次序的先前切片也可属于前景区。因此，前景区可独立于(即，无需参考)同一图片中的背景区而可解码。
当gradual_decoding_refresh_enabled_flag等于1且当前图片是RAP图片时，与当前图片相关联的恢复点SEI消息的存在指示所有以下各项：(a)图片中的前景区仅含有经帧内译码译码块，(b)从相关联图片开始到恢复点(包含性)的图片集合中的前景区可独立于属于按解码次序在所述相关联图片之前的经译码图片或属于同一图片集合中的背景区的经译码切片而解码，以及(c)图片中按解码次序在恢复点之后的所有切片可独立于属于按解码次序在所述相关联图片之前的经译码图片或属于同一图片集合中的背景区的切片而解码。
使用上述技术，编码器可对例如与一或多个ISP相关联的切片内或表示为属于前景区的切片内的对应于ROI的视频数据进行编码，且用信号表示例如本发明中描述的语法元素的信息以准许解码器提取且解码此类ROI视频数据。举例来说，视频解码器可剖析且解码位流以获得信令信息，例如本发明中描述的语法元素，对与ROI相关联的选定切片进行解码，例如其中可基于如本文中所描述的ISP或前景区指定而识别此类切片。在一些实例中，使用所述信息，解码器可能不对并非ROI的部分的选定切片进行解码，例如其中此类切片并不属于特定ISP或并不属于前景区。实际上，解码器可丢弃此类切片。
本发明中所描述的方法可由视频编码器或视频解码器执行，例如参考图1到3的实例描述的视频编码器20或视频解码器30。在一个实例中，使用上述语法元素，解码器可使用ISP信息或GDR前景信息识别载运ROI视频数据的切片，且作为ISP或在GDR处理的过程中选择性解码ROI信息，如本文中所描述。
如本发明中所描述，在一个实例中，视频编码器20或视频解码器30可经配置以执行对视频数据进行译码的方法，所述方法包括对指示ISP是否经启用的信息进行译码，当独立子图片经启用时，对指示用于ISP中的一者的ISP ID的信息进行译码，且对对应于作为ISP中的一者的ROI的视频数据进行译码。
对信息进行译码以指示ISP是否经启用可包括对序列参数集、视频参数集或图片参数集中的一者中的信息进行译码以指示ISP是否经启用。在一些实例中，此信息可指示ISP针对序列中的所有图片、序列的层中的所有图片或个别图片经启用。对指示用于一或多个ISP中的每一者的ISP ID的信息进行译码可包括对切片标头或补充增强信息(SEI)消息中的信息进行译码以指示用于一或多个ISP中的每一者的ISP ID。
一或多个视频数据切片可与ISP相关联。举例来说，给定切片可与给定ISP相关联。在一些实例中，包含经译码视频序列中的ISP的数目、所述的位置和ISP的大小的ISP特性可经译码。ISP特性可(例如)在SEI消息中经译码。在一些实例中，ISP特性可在序列参数集、视频参数集或图片参数集中的一者中经译码。
如本文所使用，术语“译码”可指代编码或解码，如给定上下文中适用，且在许多情况下可指代通用意义，尤其是根据视频编码和解码处理器的一些方面的互逆本质。因此，译码可指代以视频编码器20的编码或以视频解码器30的解码。
在解码的情况下，解码器可接收经编码视频位流中的信息，解码所述信息，且使用所述信息解码视频数据。举例来说，视频解码器可对属于ISP的切片进行解码且不对并不属于ISP的切片进行解码(例如，丢弃)。解码器可基于属于ISP的经解码切片产生对应于ROI的视频数据。
如本发明中所描述，在另一实例中，视频编码器20或视频解码器30可经配置以执行对视频数据进行译码的方法，所述方法包括对指示图片的GDR是否经启用的信息进行译码，且当GDR经启用时，对指示切片是否属于图片的前景区的信息进行译码。
在一个实例中，所述方法可包括对指示对应于GDR起始点和GDR恢复点的图片的信息进行译码。在另一实例中，所述方法可包括对对应于属于前景区的切片中的ROI的视频数据进行译码。作为另一实例，所述方法可包括对对应于属于GDR起始点与GDR恢复点之间的前景区的切片中的ROI的视频数据进行译码。
对信息进行译码以指示GDR是否经启用可包括对序列参数集、视频参数集或图片参数集中的一者中的信息进行译码以指示GDR是否经启用。在一些实例中，此信息可指示GDR是否针对序列中的所有图片、序列的层中的所有图片或个别图片经启用。对指示切片是否属于图片的前景区的信息进行译码可包括对切片标头或SEI消息中的信息进行译码以指示所述切片是否属于图片的前景区。
再次，此方法在一些实例中可由视频编码器20或视频解码器30执行。在解码的情况下，所述方法可进一步包括接收指示图片的切片是否属于经编码视频位流中的相应图片的前景区的信息，解码所述信息，且使用所述信息解码视频数据。另外，所述方法可包括对属于前景区的切片进行解码，且丢弃并不属于前景区的切片，且基于属于前景区的经解码切片产生对应于ROI的视频数据。作为另一实例，所述方法可包括执行从GDR起始点的随机存取，对图片中属于前景区的从GDR起始点到GDR恢复点的切片进行解码，且丢弃图片中并不属于前景区的从GDR起始点到GDR恢复点的切片。
图1是说明可利用用于用信号表示和/或接收与ROI相关的信息、与GDR相关的信息或两者的技术的实例视频编码和解码***10的框图。如图1中所示，***10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。明确地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码的视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理发射线路。通信媒体可能形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适合于存取存储于文件服务器上的经编码视频数据的两者的组合。经编码的视频数据从存储装置的发射可能是流式发射、下载发射或两者的组合。
本发明的技术不必限于无线应用或设置。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、***发射、因特网流式视频发射(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，***10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以执行用于用信号表示与ROI相关的信息、与GDR相关的信息或两者的技术。举例来说，视频编码器20可经配置以在经编码视频位流对信令信息进行编码以为例如视频解码器30等视频解码器提供与ROI相关的信息、与GDR相关的信息或两者供用于视频解码过程。视频解码器30可经配置以解码且剖析位流以获得与ROI相关的信令信息、与GDR相关的信息或两者且在视频解码过程中使用此信息。在其它实例中，源装置和目的地装置可包括其它组件或布置。举例来说，视频源18可为外部视频源以使得源装置12可从例如外部相机的外部视频源接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包含集成显示装置。
根据本发明，用于对视频数据进行译码的***、方法或设备在一个实例中可对指示图片的GDR是否经启用的信息进行译码。在一些实例中，当GDR经启用时，一或多个处理器可对指示切片是否属于图片的前景区的信息进行译码。举例来说，用于对视频数据进行译码的***或设备可包含经配置以执行所述方法的一或多个步骤的一或多个处理器。此一或多个处理器在一些实例中可为视频编码器20或视频解码器30的部分。
根据本发明，用于对视频数据进行译码的***、方法或设备在另一实例中可对指示一或多个ISP是否经启用的信息进行译码。当独立子图片经启用时，这些***、方法或设备可对指示用于ISP中的一者的ISP ID的信息进行译码且对对应于作为ISP中的一者的ROI的视频数据进行译码。如本文中所描述，一些实例可对指示图片的GDR是否经启用以及一或多个ISP是否经启用的信息两者进行译码。
根据本发明，在一些实例中，译码可包括编码且实施在此所描述的方法中的一或多者的设备可经配置以以视频编码器20进行编码。在另一实例中，视频编码器20可为实施在此所描述的方法中的一或多者的设备。根据本发明，在一些实例中，译码可包括解码且实施在此所描述的方法中的一或多者的设备可经配置以以视频解码器30进行解码。在另一实例中，编码器20可为实施在此所描述的方法中的一或多者的设备。
图1的说明的***10只是一个实例。用于用信号表示和/或接收与ROI、GDR或两者相关的信息的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一股通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)来执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为这些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，***10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一股来说可适用于视频译码，且可应用于无线及/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字影音光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可以从源装置12接收经编码的视频数据，并且例如经由网络发射将经编码的视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码的视频数据并且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可以根据一种视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。替代地，视频编码器20和视频解码器30可以根据其它专属或行业标准来操作，所述标准例如ITU-TH.264标准，替代地被称为MPEG-4第10部分高级视频译码(AVC)，或这些标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，多路复用器-多路分用器单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中，本发明中描述的技术可应用到一股符合H.264标准的装置。H.264标准描述于ITU-T研究组的日期为2005年3月的“ITU-T推荐H.264，用于通用视听服务的高级视频译码(ITU-TRecommendation H.264，Advanced Video Coding for generic audiovisual services)”中，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频组(JVT)持续致力于扩展H.264/MPEG-4 AVC。
视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化模型。HM根据(例如)ITU-T H.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一股来说，HM的工作模型描述视频帧或图片可以分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。即将来临的HEVC标准还将LCU称为“译码树单元”。位流内的语法数据可以定义最大译码单元(LCU，依据像素数目来说，其为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可被分割成一或多个切片。每一树块可以根据四叉树而***成译码单元(CU)。一股来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于所述树块。如果CU***成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一个节点可包括一个***旗标，这表明对应于所述节点的所述CU是否***成子CU。CU的语法元素可以递归地来定义，且可以取决于CU是否***成子CU。如果CU不进一步***，那么将其称为叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确***时也是如此。举例来说，如果16x16大小的CU不进一步***，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未***。
CU具有与H.264标准的宏块类似的目的，除了CU不具有大小区别。举例来说，树块可以***成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以***成另外四个子节点。最终的未***子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以界定树块可以***的最大次数，被称作最大CU深度，并且还可界定译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”指代CU、PU或TU中的任一者(在HEVC的情况下)或类似数据结构(在其它标准的情况下)(例如，在H.264/AVC中的宏块及其子块)。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可以是正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU残余样本可以使用一种被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。
叶CU可包含一或多个预测单元(PU)。一股来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。举例来说，定义PU的运动向量的数据可以描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一个或一个以上PU的叶CU还可包含一个或一个以上变换单位(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，***旗标可以指示叶CU是否***成四个变换单元。接着，每一变换单元可以进一步***成其它的子TU。当TU未经进一步***时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共享相同的帧内预测模式。也就是说，总体上应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器20可以使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的相对应的叶TU位于同一地点。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。
此外，叶CU的TU还可与相应的四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一股对应于叶CU，而CU四叉树的根节点一股对应于树块(或LCU)。未经***的RQT的TU被称作叶TU。一股来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一股包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一者或一者以上的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上方”、“下方”、“左侧”或“右侧”指示来指示。因此，例如，“2NxnU”是指经水平分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。
在本发明中，“NxN”及“N乘N”可以互换使用以指在垂直尺寸及水平尺寸方面的视频块的像素尺寸，例如，16x16像素或16乘16像素。大体来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算CU的TU的残余数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。残余数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化一股是指将变换系数量化以可能减少用以表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。
在量化之后，视频编码器20可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器还20可对与经编码的视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
为了执行CABAC，视频编码器20可以向待发射的符号指派上下文模型内的一个上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对较短的码对应于更有可能的符号，而较长的码对应于不太可能的符号。(例如)与对待发射的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相对应的帧的编码/预测模式。
视频编码器20及视频解码器30各自可实施为可适用的多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为组合视频编码器/解码器(编解码器)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
图2是说明可实施用于用信号表示指示ROI的信息、指示GDR的信息或两者的技术的视频编码器20的实例的框图。视频编码器20可以执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的译码模式中的任一者。
如图2中所示，视频编码器20接收待编码视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图2中未图示)以对块边界进行滤波，从而从经重构视频移除成块假象。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未图示此些滤波器，但是必要时，此些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，为了为每一视频数据块选择一种适当的译码模式。
此外，分割单元48可以基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据，并且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可以计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。此外，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一股来说，运动估计单元42相对于亮度分量执行运动估计，并且运动补偿单元44对于色度分量及亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。确切地说，帧内预测单元46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可以例如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一股确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可以编码指示选定帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据。所述配置数据可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也被称作码字映射表)。所述配置数据还可包含用于各种块的编码上下文的定义，以及将用于所述上下文中的每一者的最可能帧内预测模式、帧内预测模式索引表和经修改帧内预测模式索引表的指示。
视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。
在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可以基于相邻块。在熵编码单元56的熵译码之后，可以将经编码位流发射到另一装置(例如视频解码器30)，或者将所述视频存档用于以后发射或检索。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块，例如以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值以用于运动估计。求和器62将经重构残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重构视频块用于存储在参考帧存储器64中。经重构的视频块可供运动估计单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
图2的视频编码器20表示经配置以执行本发明中描述的各种方法的视频编码器的实例。根据在本发明中所描述的方法，视频编码器20可使用本文所描述的语法元素。视频编码器20可使用ISP信息或GDR前景信息来识别载运ROI或前景区视频数据的切片，且作为ISP或在GDR处理的过程中选择性解码ROI或前景区信息，如本文中所描述。
在一个实例中，视频编码器20可经配置以执行对视频数据进行译码的方法。所述方法可包含对指示ISP是否经启用的信息进行译码。当独立子图片经启用时，视频编码器20可对指示用于ISP中的一者的ISP ID的信息进行译码。视频编码器20还可对对应于作为ISP中的一者的ROI的视频数据进行译码。
对信息进行编码以指示ISP是否经启用可包含对序列参数集、视频参数集或图片参数集中的一者中的信息进行编码以指示ISP是否经启用。在一些实例中，此信息可指示ISP针对序列中的所有图片、序列的层中的所有图片或个别图片经启用。对指示用于一或多个ISP中的每一者的ISP ISP ID的信息进行编码可包括对切片标头或SEI消息中的信息进行译码以指示用于一或多个ISP中的每一者的ISP ID。
如本发明中所描述，在另一实例中，视频编码器20可经配置以执行对视频数据进行译码的方法，所述方法包括对指示图片的GDR是否经启用的信息进行译码，且当GDR经启用时，对指示切片是否属于图片的前景区的信息进行译码。
所述方法可包含对指示对应于GDR起始点和GDR恢复点的图片的信息进行编码。在一些实例中，所述方法可包括对对应于属于前景区的切片的视频数据进行译码。作为另一实例，所述方法可包括对对应于属于GDR起始点与GDR恢复点之间的前景区的切片的视频数据进行译码。
对信息进行编码以指示GDR是否经启用可包括对序列参数集、视频参数集或图片参数集中的一者中的信息进行译码以指示GDR是否经启用。在一些实例中，此信息可指示GDR是否针对序列中的所有图片、序列的层中的所有图片或个别图片经启用。对指示切片是否属于图片的前景区的信息进行编码可包括对切片标头或SEI消息中的信息进行译码以指示所述切片是否属于图片的前景区。在一些实例中，SEI消息可指示切片是否为前景或背景。在一实例中，在指示前景的SEI消息之后的所有切片都是前景，直到接收到指示随后的切片是背景的稍后SEI消息。在另一实施方案实例中，***或方法可使用SEI消息作为用于每个切片或用于预定数目的切片的指示符。
在对视频数据进行编码的实例方法中，视频编码器20可对指示图片的GDR是否经启用的信息进行编码。举例来说，这可由熵编码单元56执行。另外，当GDR经启用时，视频编码器20的熵编码单元56可对指示切片是否属于图片的前景区的信息进行编码。在其它实例中，视频编码器20的其它***或子***可执行在此所描述的方法的一或多个方面。
在一些实例中，视频编码器20的熵编码单元56或某个其它处理单元可对指示对应于GDR起始点和GDR恢复点的图片的信息进行编码。熵编码单元56可对对应于属于前景区的切片中的ROI的视频数据进行编码。在一个实例中，熵编码单元56可对属于GDR起始点与GDR恢复点之间的前景区的切片集合中的第一切片中的此信息进行编码。因此，旗标或SEI消息可指示前景区或背景区中的一系列切片的开始。
所述信息可(例如)由SEI消息、切片标头中的旗标或语法元素或在任何参数集或图片定界符中指示。使用SEI消息来指示切片是否属于图片的前景区的实例可每切片发送一个SEI消息或SEI消息可应用于一系列切片。在一些实例中，预定数目的切片可由SEI消息指示。在另一实例中，SEI消息可应用于一系列切片直到接收到下一SEI消息。切片标头中的旗标可能具有相似功能性。旗标可针对每一切片发送一次或旗标可应用于一系列切片或已知数目的切片。
在另一实例中，熵编码单元56可对属于GDR起始点与GDR恢复点之间的前景区的切片中的此信息进行编码。因此，一些实例可设定每一切片中的前景旗标以指示其是否处于前景区或背景区中。前景区也可被称作刷新区，且背景区(不是前景区的区)也可被称作非刷新区。在一些实例中，对信息进行编码以指示GDR是否经启用可包含对序列参数集、视频参数集或图片参数集中的一者中的信息进行编码以指示GDR是否经启用。所述信息可包含(例如)旗标或SEI消息且可指示GDR针对整个序列经启用。
在一些实例中，对指示切片是否属于图片的前景区的信息进行编码可包含对切片标头或SEI消息中的信息进行编码以指示所述切片是否属于图片的前景区。举例来说，切片标头或前景SEI消息中的旗标可指示在所述旗标或SEI消息之后的所有切片都是前景直到接收到指示背景的下一SEI消息。在其它实例中，切片中的旗标或SEI消息中的旗标可指示某个预定数目的前景切片。在使用切片中的旗标的实例中，每个切片可具有旗标而不是使用单个切片中的单个旗标来指示用于多个切片的前景或背景。在一些实例中，视频编码器20的熵编码单元56可对指示一或多个ISP是否经启用的信息进行编码。当独立子图片经启用时，熵编码单元56可对指示用于ISP中的一者的ISP ID的信息进行编码且对对应于作为ISP中的一者的ROI的视频数据进行编码。对信息进行编码以指示ISP是否经启用可包含对序列参数集、视频参数集或图片参数集中的一者中的信息进行编码以指示ISP是否经启用。另外，对指示用于一或多个ISP中的每一者的ISP ISP ID的信息进行编码包括对切片标头或SEI消息中的信息进行编码以指示用于一或多个ISP中的每一者的ISP ID。在一些实例中，视频编码器20可使一或多个视频数据切片与ISP关联。另外，熵编码单元56可对包含经译码视频序列中的ISP的数目、ISP的位置和ISP的大小的ISP特性进行编码，对SEI消息中的ISP特性进行编码，或对序列参数集、视频参数集或图片参数集中的一者中的ISP特性进行编码。
图3是说明可实施用于处理指示ROI的信息、指示GDR前景区的信息或两者的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考帧存储器82及求和器80。在一些实例中，视频解码器30可执行总体上与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号表示的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可以从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可以基于存储在参考帧存储器82中的参考图片使用默认建构技术建构参考帧列表--列表0和列表1。运动补偿单元72通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
逆量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数逆量化，即解量化。逆量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度和同样逆量化程度的量化参数QPY。
逆变换单元78对变换系数应用逆变换(例如，逆DCT、逆整数变换，或概念上类似的逆变换过程)，以便产生像素域中的残余块。
在运动补偿单元72基于运动向量及其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自逆变换单元78的残余块与由运动补偿单元72产生的相对应的预测性块求和来形成经解码视频块。求和器80表示可以执行此求和运算的一或多个组件。必要时，还可应用解块滤波器以对经解码块进行滤波以便去除成块性假象。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考帧存储器82中，参考帧存储器82存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
图3的视频解码器30表示经配置以执行本发明中描述的各种方法的视频解码器的实例。本发明中所描述的方法可由视频解码器30执行。举例来说，可在视频解码器30内的熵解码单元70可执行本发明中描述的一或多个方面。举例来说，使用上述语法元素，视频解码器30可使用ISP信息或GDR前景区信息来识别载运ROI或GDR前景区视频数据的切片，且将ROI或GDR前景区信息选择性解码为ISP或GDR前景区，如本文中所描述。如本发明中所描述，在一个实例中，视频解码器30可经配置以执行对视频数据进行译码的方法。所述方法可包含对指示ISP是否经启用的信息进行解码。换句话说，所述信息可指示何时ISP存在且仅由ISP覆盖的区的处理是可能的。当独立子图片经启用时，所述方法可包含对指示用于ISP中的一者的ISP ID的信息进行译码，且对对应于作为ISP中的一者的ROI的视频数据进行解码。例如可能ROI或GDR语法元素的解码中的一些或全部可在熵解码单元70内发生。然而大体上，所述解码可这视频解码器30的另一处理单元中发生，例如帧内预测单元74或其它处理单元。
对信息进行解码以指示ISP是否经启用可包含对序列参数集、视频参数集或图片参数集中的一者中的信息进行解码以指示ISP是否经启用。在一些实例中，此信息可指示ISP针对序列中的所有图片、序列的层中的所有图片或个别图片经启用。举例来说，在某些情况下不可使用ISP。在其它情况下，ISP可以用于序列中的所有图片、序列的层中的所有图片或用于个别图片。对指示用于一或多个ISP中的每一者的ISP ID的信息进行解码可包括对切片标头或SEI消息中的信息进行解码以指示用于一或多个ISP中的每一者的ISP ID。以此方式，每一ISP的ISP ID可例如在切片标头中或SEI消息中用信号表示。此用信号表示也可实现切片到ISP的关联。另外，当对应于ROI的特定ISP是所要的仅有区时，可丢弃不属于每一图片中的ISP的切片，属于ISP的切片可经解码且作为ROI视频数据而处理。
如本发明中所描述，在另一实例中，视频解码器30，例如视频解码器30的熵解码单元70或其它部分可经配置以执行对视频数据进行解码的方法。所述方法可包含对指示图片的GDR是否经启用的信息进行解码，且当GDR经启用时对指示切片是否属于图片的前景区或背景区的信息进行解码。前景区也可被称作刷新区，且背景区(不是前景区的区)也可被称作非刷新区。当从作为含有恢复点SEI消息的非RAP存取单元的GDR起始点随机存取时，可丢弃在所有图片中从起始点直到恢复点(但不包含所述恢复点)的并不属于前景区的切片。
在一些实例中，视频解码器30可经配置以执行对视频数据进行解码的方法，包含对指示对应于GDR起始点和GDR恢复点的图片的信息进行解码。所述方法可包含对对应于属于前景区的切片的视频数据进行解码。作为另一实例，所述方法可包含对对应于属于GDR起始点与GDR恢复点之间的前景区的切片的视频数据进行解码。
对信息进行解码以指示GDR是否经启用可包含对序列参数集、视频参数集或图片参数集中的一者中的信息进行解码以指示GDR是否经启用。在一些实例中，此信息可指示GDR是否针对序列(也被称作经译码视频序列)中的所有图片、序列的层中的所有图片或序列中的个别图片经启用。对指示切片是否属于图片的前景区的信息进行解码可包括对切片标头中的信息(例如，指示特定切片是前景或背景的旗标)或SEI消息进行解码以指示与所述SEI消息相关联的切片是否属于图片的前景区。使用SEI消息来指示切片是否属于图片的前景区的实例可每切片发送一个SEI消息或SEI消息可应用于一系列切片。在一些实例中，可指示预定数目的切片。在另一实例中，SEI消息可应用于一系列切片直到接收到下一SEI消息。因此，在连续SEI消息之间可存在多个切片。
再次，在一些实例中此方法可由视频解码器30执行。在解码情况中，所述方法可进一步包含接收指示图片的切片是否属于经编码视频位流中的相应图片的前景区的信息，对指示图片的切片是否属于相应图片的前景区的信息进行解码，且使用所述信息对视频数据进行解码。另外，所述方法可包含对例如由SEI消息或切片标头中的旗标或语法元素指示的属于前景区的切片进行解码且丢弃并不属于前景区的切片，且基于属于前景区的经解码切片产生对应于前景区的视频数据。作为另一实例，由视频解码器30实施的方法可包含执行从GDR起始点的随机存取，对图片中从GDR起始点到GDR恢复点的属于前景区的切片进行解码，且丢弃图片中从GDR起始点到GDR恢复点的并不属于前景区的切片。
如本发明中所描述，在一个实例中，对视频数据进行解码的***、设备和方法可包含对指示图片的GDR是否经启用的信息进行解码。当GDR经启用时，这些***、设备和方法可对指示切片是否属于图片的前景区的信息进行解码。此类***、设备和方法可进一步包含对指示对应于GDR起始点和GDR恢复点的图片的信息进行解码。
在一些实例中，视频解码器30可对对应于属于GDR起始点与GDR恢复点之间的前景区的切片的视频数据进行解码，如由恢复点SEI消息指示。在一些实例中，对信息进行解码以指示GDR是否经启用可包含对指示图片的切片是否属于序列参数集、视频参数集或图片参数集中的一者中的相应图片的前景区的信息进行解码以指示GDR是否经启用。对指示切片是否属于图片的前景区的信息进行解码可包含对切片标头或SEI消息中的信息进行解码以指示所述切片是否属于图片的前景区。所述信息可(例如)由SEI消息或切片标头中的旗标或语法元素指示。熵解码单元70可执行相对于图3描述的解码的一些或全部。
在实例视频解码器30中，例如熵解码单元70可接收经编码视频位流中的信息。熵解码单元70可对所述信息进行解码且使用所述信息对视频数据进行解码。视频解码器30可进一步对属于前景区的切片进行解码且丢弃并不属于前景区的切片。在一些实例中，视频解码器30可基于属于前景区的经解码切片产生对应于前景区的视频数据。视频解码器30还可执行从GDR起始点的随机存取，对图片中从GDR起始点到GDR恢复点的属于前景区的切片进行解码，且丢弃图片中从GDR起始点到GDR恢复点的并不属于前景区的切片。在一些实例中，此范围可在起始点与恢复点之间。在其它实例中，此范围可在起始点与恢复点之间且包含一者、另一者或两者。大体上，在一个实施方案中，当从作为含有恢复点SEI消息的非RAP存取单元的GDR起始点随机存取时，可丢弃在所有图片中从起始点直到恢复点(但不包含恢复点)的并不属于前景区的切片。
图4是利用本发明中描述的技术的SEI消息的实例系列的框图。如本文中所描述，SEI消息或切片标头中的语法元素可用以指示切片是否是前景或背景以用于GDR过程或指示用于ROI处理的切片的ISP ID。在图4的所说明的实例中，SEI消息可包含指示在所述SEI消息之后的所有切片是用于GDR的前景切片或指示在所述SEI消息之后的用于ROI的所有切片的ISP ID直到接收到下一SEI消息的语法元素。在接收到下一SEI消息之后，在下一SEI消息之后的切片的背景或前景状态或ISP ID可基于下一SEI消息中的指示而确定。举例来说，在图4中，第一SEI消息(SEI 1)旨示在第一SEI消息之后的切片(切片1和2)是属于背景区的切片。在图4的所说明的实例中，SEI 1使用SEI消息中的等于“0”的旗标指示此情况。然而将理解，可能使用等于“1”的旗标来提供此指示。
第二SEI消息(SEI 2)指示在第二SEI消息之后的切片(切片3和4)是属于前景区的切片。在图4的所说明的实例中，SEI 2使用等于“1”的旗标指示此情况。然而再次将理解，可能使用等于“0”的旗标来提供此指示。
第三SEI消息(SEI 3)指示在第三SEI消息之后的切片(切片5和6)是属于背景区的切片。在图4的所说明的实例中，SEI 3使用等于“0”的旗标指示此情况。然而再次将理解，可能使用等于“1”的旗标来提供此指示。因此，在SEI 1之后的切片是背景，直到接收到另一SEI消息(SEI 2)，其指示在SEI 2之后的切片是前景切片。SEI 3指示在SEI3之后的切片是背景切片。因此，在SEI 2与SEI 3之间的切片是前景切片。虽然在每一SEI消息之间展示两个切片，但可在SEI消息之间提供任何数目的切片。在特定SEI消息之后的切片将具有由SEI消息指示的前景或背景状态。所述前景或背景状态将对于在SEI消息之后的切片保持相同直到接收到下一SEI消息，在此时在下一SEI消息之后的切片将具有由所述下一SEI消息指定的前景或背景状态。
因此，总而言之，在图4的所说明的实例中，切片标头或前景SEI消息中的旗标可指示在所述旗标或SEI消息之后的所有切片是背景切片(如果SEI消息指示切片是背景，例如旗标等于“0”)或前景切片(如果SEI消息指示切片是前景，例如旗标等于“1”)。如图4中所示，SEI消息中的旗标可用作前景或背景的指示符直到包含此指示的下一SEI消息。在图4的所说明的实例中，等于“0”的旗标指示背景且等于“1”的旗标指示前景。然而将理解，也可以使用相反情况。换句话说，等于“1”的旗标可用以指示背景且等于“0”的旗标可指示前景。
图5和6是说明实施本发明的一或多个方面的实例方法的流程图。如本文中所描述，一些实例实施方案可用信号表示与GDR相关的信息。其它实例实施方案可用信号表示与ROI相关的信息。图5涉及本发明的GDR方面，而图6涉及本发明的ROI方面。另外，如本文中所描述，一些实例实施方案可用信号表示与GDR和ROI两者相关的信息。
图5是说明涉及GDR且实施本发明的一或多个方面的实例方法的流程图。在根据本文所描述的***和方法的各种实例中，视频编码器20或视频解码器30可对指示图片的GDR是否经启用的信息进行译码(500)。举例来说，视频编码器20中的熵编码单元56可对指示图片的GDR是否经启用的信息进行编码或视频解码器30的熵解码单元70可对指示图片的GDR是否经启用的信息进行解码。因此，译码可指代编码或解码。在一些实例中，当GDR经启用时，视频编码器20或视频解码器30可对指示切片是否属于图片的前景区的信息进行译码(502)。在一些实例中，如果GDR经启用，那么例如视频解码器30将例如在切片标头中或SEI消息中寻找前景信息。视频编码器20中的熵编码单元56在一实例中可对指示切片是否属于图片的前景区的信息进行译码或视频解码器30的熵解码单元70可对指示切片是否属于图片的前景区的信息进行译码。一些实例可将此类信息译码为SEI消息中的切片标头的部分，例如作为旗标或其它语法元素。在一些实例中，实施所述方法的设备中的一或多个处理器可经配置以执行这些步骤中的一或多者。
在一些实例中，视频编码器20或视频解码器30可对指示对应于GDR起始点和GDR恢复点的图片的信息进行译码(504)。另外，在一些实例中，视频编码器20或视频解码器30可对对应于属于GDR起始点与GDR恢复点之间的前景区的切片的视频数据进行译码。
在一些实例中，视频编码器20或视频解码器30可通过对序列参数集、视频参数集或图片参数集中的一者中的信息进行译码以指示GDR是否经启用来对信息进行译码以指示GDR是否经启用。
在一些实例中，视频译码器可进一步经配置以通过对切片标头或SEI消息中的信息进行译码以指示切片是否属于图片的前景区来对指示切片是否属于图片的前景区的信息进行译码。所述信息可(例如)由SEI消息或切片标头中的旗标或语法元素指示。使用SEI消息来指示切片是否属于图片的前景区的实例可每切片发送一个SEI消息或SEI消息可应用于一系列切片。在一些实例中，预定数目的切片可由SEI消息指示。在另一实例中，SEI消息可应用于一系列切片直到接收到下一SEI消息。举例来说，SEI消息中的前景旗标可指示在下一SEI消息之前接收的一或多个随后切片的状态。切片标头中的旗标可能具有相似功能性。旗标可针对每一切片发送一次或旗标可应用于一系列切片或已知数目的切片。在一些实例中，使用SEI消息中的旗标或切片标头中的旗标，可明确指示前景或背景。视频译码器可为视频编码器20或视频解码器30。
根据本文所描述的一些实例，***、方法及设备可接收经编码视频位流中的信息，对所述信息进行解码，且使用所述信息对视频数据进行解码。这些实例还可对属于前景区的切片进行解码且丢弃并不属于前景区的切片。
在另一实例中，***、方法及设备可进一步经配置以基于属于前景区的经解码切片产生对应于前景区的视频数据。在另一实例中，***、方法及设备可经配置以执行从GDR起始点的随机存取，对图片中从GDR起始点到GDR恢复点的属于前景区的切片进行解码，且丢弃图片中从GDR起始点到GDR恢复点的并不属于前景区的切片。
图6是说明涉及ROI且实施本发明的一或多个方面的实例方法的流程图。在所说明的实例中，用于对视频数据进行译码的设备，例如视频编码器20或视频解码器30，可包含经配置以对指示一或多个ISP的使用是否针对特定切片经启用的信息进行译码(600)的一或多个处理器。另外，当独立子图片经启用时，所述设备对指示用于ISP中的一者的ISP ID的信息进行译码(602)。所述一或多个处理器还可经配置以对对应于作为ISP中的一者的ROI的视频数据进行译码(604)。在一个实例中，SEI消息或切片标头指示在SEI消息的情况下用于切片或多个连续切片的ISP ID。视频解码器30使用所述ISP ID识别对应于ROI的切片且对所述切片进行解码。一些实例可使用ISP ID指示处于ROIISP中的切片。SEI消息还可使ISP ID与切片关联。
根据本发明，用于对视频数据进行译码的***、方法或设备可对信息进行译码以指示ISP是否经启用包括对序列参数集、视频参数集或图片参数集中的一者中的信息进行译码以指示ISP是否经启用。用于对视频数据进行译码的***、方法或设备还可对指示用于一或多个ISP中的每一者的ISP ID的信息进行译码包括对切片标头或SEI消息中的信息进行译码以指示用于一或多个ISP中的每一者的ISP ID。所述信息可(例如)由SEI消息或切片标头中的旗标或语法元素指示。在一些实例中，可提供SEI消息中或切片标头中的ISP ID。因此，一些实例***可基于ISP ID确定ROI。举例来说，一些***可基于ISP ID确定所述切片中的一或多者是否为ROI或非ROI切片。
用于对视频数据进行译码的这些***、方法或设备可使一或多个视频数据切片与ISP关联。根据本发明，用于对视频数据进行译码的***、方法或设备可对包含经译码视频序列中的ISP的数目、ISP的位置和ISP的大小的ISP特性进行译码。这些***、方法或设备可对SEI消息、序列参数集、视频参数集或图片参数集中的一者中的ISP特性进行译码。
在一些实例中，视频解码器30可在对ROI进行解码中使用ISP ID。举例来说，SEI消息可指示ISP ID。在SEI消息之后的切片可与同一ISP相关联直到下一SEI消息。这可类似于与相对于图4论述的GDR一起使用的方法。在一些实例中，ISP ID可使用ROI中的所有切片。也可以使用具有ISP ID的特殊值(例如无效值)的切片。举例来说，空值也可以用以指示不在ROI中的切片。应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一股可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘使用激光以光学方式复制数据。以上的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC的集合(即，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (30)

1.一种对视频数据进行解码的方法，所述方法包括：
在经编码视频位流中接收补充增强信息SEI消息或切片标头的一者中的旗标；
解码所述旗标以确定逐渐解码器刷新GDR是否相对于对随机存取解码无效的图片经启用；及
当经解码的旗标指示所述GDR相对于所述对随机存取解码无效的图片经启用时，解码指示所述图片的一个或多个切片是否属于所述图片的前景区的信息，
其中所述图片的所述前景区表示所述图片的已经根据GDR刷新的区域，且
其中所述图片的背景区表示所述图片的不同于所述前景区的没有根据GDR刷新的区域。
2.根据权利要求1所述的方法，其中所述SEI消息包括区域刷新SEI消息。
3.根据权利要求1所述的方法，其中所述图片的所述前景区包括一或多个切片，所述方法进一步包括对指示表示GDR序列的所述GDR起始点的图片以及表示所述序列的所述GDR恢复点的图片的信息进行解码，所述表示所述GDR恢复点的图片对随机存取解码有效。
4.根据权利要求3所述的方法，其进一步包括对对应于属于所述GDR序列的一个或多个图片中的前景区的切片的视频数据进行解码，所述一个或多个图片按解码顺序位于所述表示所述GDR起始点的图片以及所述表示所述GDR恢复点的图片之间。
5.根据权利要求4所述的方法，其进一步包括丢弃对应于属于按解码顺序位于所述表示所述GDR起始点的图片以及所述表示所述序列的GDR恢复点的图片之间的所述一个或多个图片中的背景区的任何切片的视频数据。
6.根据权利要求1所述的方法，其进一步包括基于属于所述图片的所述前景区的所述图片的所述一或多个切片产生对应于所述图片的所述前景区的视频数据。
7.一种对视频数据进行编码的方法，所述方法包括：
对指示逐渐解码器刷新GDR是否相对于对随机存取解码无效的图片经启用的旗标进行编码；
当GDR相对于对随机存取解码无效的图片经启用时，对指示所述图片的一个或多个切片是否属于所述图片的前景区的信息进行编码，
其中所述图片的所述前景区表示所述图片的已经根据GDR刷新的区域，且
其中所述图片的背景区表示所述图片的不同于所述前景区的没有根据GDR刷新的区域；及
在经编码的视频位流中，在补充增强信息SEI消息或切片标头的一者中发送指示GDR是否经启用的所述旗标。
8.根据权利要求7所述的方法，其中所述SEI消息包括区域刷新SEI消息。
9.根据权利要求7所述的方法，其中所述图片的前景区包括一或多个切片，所述方法进一步包括对指示表示GDR序列的GDR起始点的图片以及表示所述GDR序列的GDR恢复点的图片的信息进行编码。
10.根据权利要求9所述的方法，其进一步包括对对应于属于所述GDR序列的一个或多个图片的前景区的切片的视频数据进行编码，所述一个或多个图片按解码顺序位于表示所述GDR起始点的图片以及表示所述GDR恢复点的图片之间。
11.一种用于对视频数据进行解码的设备，所述设备包括：
存储装置，其经配置以存储经编码视频位流的至少一部分；及
一个或多个处理器，其经配置以：
从所述经编码视频位流的存储的部分解码补充增强信息SEI消息或切片标头的一者中的旗标；
解码所述旗标以确定逐渐解码器刷新GDR是否相对于对随机存取解码无效的图片经启用；及
当经解码的旗标指示所述GDR相对于所述对随机存取解码无效的图片经启用时，对指示所述图片的一个或多个切片是否属于所述图片的前景区的信息进行解码，
其中所述图片的所述前景区表示所述图片的已经根据GDR刷新的区域，且
其中所述图片的背景区表示所述图片的没有根据GDR刷新的区域。
12.根据权利要求11所述的设备，其中所述SEI消息包括区域刷新SEI消息。
13.根据权利要求11所述的设备，其中所述图片中的前景区包括一或多个切片，且其中所述一或多个处理器进一步经配置以对指示表示GDR序列的GDR起始点的图片以及表示所述序列的GDR恢复点的图片的信息进行译码，表示所述GDR恢复点的图片对随机存取解码有效。
14.根据权利要求13所述的设备，其中所述一或多个处理器进一步经配置以对对应于属于所述GDR序列的一个或多个图片中的前景区的所述切片的视频数据进行解码，所述一个或多个图片按解码顺序位于表示所述GDR起始点的图片以及表示所述GDR恢复点的图片之间。
15.根据权利要求14所述的设备，其中所述一或多个处理器进一步经配置以丢弃对应于属于按解码顺序位于所述表示所述GDR起始点的图片以及所述表示所述GDR恢复点的图片之间的一个或多个图片中的背景区的任何切片的视频数据。
16.根据权利要求11所述的设备，其中所述一或多个处理器进一步经配置以基于属于所述图片的所述前景区的所述图片的所述一或多个切片产生对应于所述图片的所述前景区的视频数据。
17.根据权利要求11所述的设备，其进一步包括经配置以显示重构的视频数据的显示设备。
18.根据权利要求11所述的设备，其进一步包括以下各项中的至少一个：一个或多个集成电路；一个或多个微处理器；一个或多个数据信号处理器DSP；一个或多个现场可编程门阵列FPGA；台式电脑；笔记本电脑；平板电脑；电话；电视；摄像机；显示设备；数字媒体播放器；电子游戏机；视频游戏设备；视频流设备；或无线通信设备。
19.一种用于对视频数据进行译码的设备，其包括：
用于在经编码视频位流中接收补充增强信息SEI消息或切片标头的一者中的旗标的装置；
用于解码所述旗标以确定逐渐解码器刷新GDR是否相对于对随机存取解码无效的图片经启用的装置；及
用于当经解码的旗标指示所述GDR相对于所述对随机存取解码无效的图片经启用时，解码指示所述图片的一个或多个切片是否属于所述图片的前景区的信息的装置，
其中所述图片的所述前景区表示所述图片的已经根据GDR刷新的区域，且
其中所述图片的背景区表示所述图片的不同于所述前景区的没有根据GDR刷新的区域。
20.根据权利要求19所述的设备，其中所述SEI消息包括区域刷新SEI消息。
21.根据权利要求19所述的设备，其中所述图片中的前景区包括一或多个切片，且其中所述设备进一步包括用于对指示表示GDR序列的GDR起始点的图片以及表示所述序列的GDR恢复点的图片的信息进行解码的装置，所述表示所述GDR恢复点的图片对随机存取解码有效。
22.根据权利要求21所述的设备，其进一步包括用于对对应于属于所述GDR序列的一个或多个图片中的前景区的切片的视频数据进行解码的装置，所述一个或多个图片按解码顺序位于表示所述GDR起始点的图片以及表示所述GDR恢复点的图片之间。
23.根据权利要求22所述的设备，其进一步包括用于丢弃对应于属于按解码顺序位于所述表示所述GDR起始点的图片以及所述表示所述GDR恢复点的图片之间的一个或多个图片中的背景区的任何切片的视频数据的装置。
24.根据权利要求19所述的设备，其进一步包括用于显示重构的视频数据的装置。
25.根据权利要求19所述的设备，其进一步包括以下各项中的至少一个：一个或多个集成电路；一个或多个微处理器；一个或多个数据信号处理器DSP；一个或多个现场可编程门阵列FPGA；台式电脑；笔记本电脑；平板电脑；电话；电视；摄像机；显示设备；数字媒体播放器；电子游戏机；视频游戏设备；视频流设备；或无线通信设备。
26.一种其上存储有指令的计算机可读存储媒体，所述指令在执行时致使视频解码装置的一个或多个处理器进行以下操作：
在经编码视频位流中接收补充增强信息SEI消息或切片标头的一者中的旗标；
解码所述旗标以确定逐渐解码器刷新GDR是否相对于对随机存取解码无效的图片经启用；及
当经解码的旗标指示所述GDR相对于所述对随机存取解码无效的图片经启用时，译码指示一个或多个切片是否属于所述图片的前景区的信息，
其中所述图片的所述前景区表示所述图片的已经根据GDR刷新的区域，且
其中所述图片的背景区表示所述图片的与已经根据GDR刷新的区域不同的区域。
27.根据权利要求26所述的计算机可读存储媒体，其中所述SEI消息包括区域刷新SEI消息。
28.根据权利要求26所述的计算机可读存储媒体，其中所述图片的所述前景区包括一或多个切片，所述指令在执行时进一步致使所述一个或多个处理器对表示GDR序列的GDR起始点的图片以及表示所述序列的GDR恢复点的图片进行解码，表示所述GDR恢复点的图片对随机存取解码有效。
29.根据权利要求28所述的计算机可读存储媒体，其进一步具有存储于其上的进一步的指令，所述进一步的指令在执行时致使所述一个或多个处理器对对应于属于所述GDR序列的一个或多个图片中的前景区的切片的视频数据进行解码，所述一个或多个图片按解码顺序位于表示所述GDR起始点的图片以及表示所述GDR恢复点的图片之间。
30.根据权利要求29所述的计算机可读存储媒体，其具有存储于其上的进一步的指令，所述进一步的指令在执行时致使所述一个或多个处理器丢弃对应于属于按解码顺序位于所述表示所述GDR起始点的图片以及所述表示所述GDR恢复点的图片之间的所述一个或多个图片中的背景区的任何切片的视频数据。
CN201380050014.8A 2012-09-28 2013-08-27 在视频译码中用信号表示关注区和逐渐解码刷新 Active CN104823449B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261707729P 2012-09-28 2012-09-28
US61/707,729 2012-09-28
US14/010,054 US9491457B2 (en) 2012-09-28 2013-08-26 Signaling of regions of interest and gradual decoding refresh in video coding
US14/010,054 2013-08-26
PCT/US2013/056859 WO2014051915A1 (en) 2012-09-28 2013-08-27 Signaling of regions of interest and gradual decoding refresh in video coding

Publications (2)

Publication Number Publication Date
CN104823449A CN104823449A (zh) 2015-08-05
CN104823449B true CN104823449B (zh) 2018-04-20

Family

ID=50385163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380050014.8A Active CN104823449B (zh) 2012-09-28 2013-08-27 在视频译码中用信号表示关注区和逐渐解码刷新

Country Status (9)

Country Link
US (1) US9491457B2 (zh)
EP (1) EP2901677B1 (zh)
JP (2) JP2015534775A (zh)
KR (1) KR101743852B1 (zh)
CN (1) CN104823449B (zh)
DK (1) DK2901677T3 (zh)
ES (1) ES2884723T3 (zh)
HU (1) HUE055955T2 (zh)
WO (1) WO2014051915A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3301923B1 (en) 2012-09-26 2020-01-08 Velos Media International Limited Image decoding method and image decoding apparatus
EP2901688B1 (en) 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
EP3055998A1 (en) * 2013-10-11 2016-08-17 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
US11228764B2 (en) 2014-01-15 2022-01-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
US9787986B2 (en) * 2014-06-30 2017-10-10 Intel Corporation Techniques for parallel video transcoding
CN104469395B (zh) * 2014-12-12 2017-11-07 华为技术有限公司 图像传输方法和装置
US10574988B2 (en) * 2015-11-19 2020-02-25 Qualcomm Incorporated System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
KR20170091323A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
WO2018011042A1 (en) * 2016-07-14 2018-01-18 Koninklijke Kpn N.V. Video coding
BE1025277B1 (nl) * 2016-10-14 2019-01-07 Auro Technologies Nv Codeerder, registratie-inrichting, afspeelinrichting met robuuste gegevensblokkop
US11290755B2 (en) 2017-01-10 2022-03-29 Qualcomm Incorporated Signaling data for prefetching support for streaming media data
CN107734331A (zh) * 2017-11-17 2018-02-23 南京理工大学 一种基于hevc标准的视频转码方法
CN108600863A (zh) * 2018-03-28 2018-09-28 腾讯科技（深圳）有限公司 多媒体文件处理方法和装置、存储介质及电子装置
US10567781B2 (en) * 2018-05-01 2020-02-18 Agora Lab, Inc. Progressive I-slice reference for packet loss resilient video coding
WO2019221072A1 (ja) * 2018-05-15 2019-11-21 シャープ株式会社 画像符号化装置、符号化ストリーム抽出装置及び画像復号装置
US12003775B2 (en) * 2018-08-06 2024-06-04 Sharp Kabushiki Kaisha Video decoding apparatus and video coding apparatus
EP3846474A4 (en) * 2018-08-29 2022-06-08 Sharp Kabushiki Kaisha VIDEO DECODING DEVICE AND VIDEO ENCODING DEVICE
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
CN109618186B (zh) * 2018-11-15 2021-01-01 中国航空工业集团公司洛阳电光设备研究所 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
US10972755B2 (en) * 2018-12-03 2021-04-06 Mediatek Singapore Pte. Ltd. Method and system of NAL unit header structure for signaling new elements
US11956471B2 (en) 2018-12-20 2024-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Normative indication of recovery point
SG11202107543SA (en) * 2019-01-09 2021-08-30 Huawei Tech Co Ltd Sub-picture layout signaling in video coding
TWI799682B (zh) * 2019-02-01 2023-04-21 弗勞恩霍夫爾協會 允許逐子圖像或逐區域隨機存取之視訊編碼解碼器及使用它之視訊合成技術
MX2021009355A (es) * 2019-02-05 2021-09-14 Beijing Dajia Internet Information Tech Co Ltd Codificacion de video que utiliza el modo de codificacion de subparticion.
CN111263156B (zh) * 2019-02-20 2022-03-25 北京达佳互联信息技术有限公司 视频解码方法、视频编码方法及装置
CN114143548B (zh) * 2019-03-11 2023-02-14 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
SG11202109980WA (en) * 2019-03-11 2021-10-28 Huawei Tech Co Ltd Sub-picture level filtering in video coding
MX2021011013A (es) 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
WO2020184999A1 (ko) * 2019-03-12 2020-09-17 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
WO2020184966A1 (ko) 2019-03-13 2020-09-17 엘지전자 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11368698B2 (en) * 2019-04-16 2022-06-21 Tencent America LLC Method and apparatus for video coding using planar intra prediction mode for intra sub-partition coding mode
EP4210329A1 (en) 2019-04-23 2023-07-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image decoding method, decoder and storage medium
US11581022B2 (en) * 2019-05-29 2023-02-14 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds
WO2021027773A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture size definition in video processing
KR20220050877A (ko) * 2019-08-29 2022-04-25 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법, 복호 방법 및 기록 매체
WO2021044974A1 (ja) * 2019-09-06 2021-03-11 株式会社ソニー・インタラクティブエンタテインメント 送信装置、受信装置、送信方法、受信方法及びプログラム
CN114303384A (zh) * 2019-09-06 2022-04-08 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
KR20220063262A (ko) 2019-09-23 2022-05-17 후아웨이 테크놀러지 컴퍼니 리미티드 서브픽처 기반 비디오 코딩에서 서브픽처당 하나의 슬라이스의 지시
CN114430907A (zh) * 2019-09-24 2022-05-03 华为技术有限公司 在多层视频码流中支持在接入单元内包括混合irap图像和非irap图像
MX2022003554A (es) * 2019-09-24 2022-06-02 Huawei Tech Co Ltd Señalización de encabezado de imagen en codificación de video.
US11936880B2 (en) * 2019-09-27 2024-03-19 Tencent America LLC Method for signaling output subpicture layer set
BR112022006387A2 (pt) 2019-10-02 2022-07-26 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de vídeo, e, meio legível por computador
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
CN115362677A (zh) * 2019-12-25 2022-11-18 抖音视界有限公司 在视频比特流中以子图片级别信令通知参数
CN116506635B (zh) * 2019-12-27 2024-01-12 阿里巴巴（中国）有限公司 用于对图像执行逐步解码刷新处理的方法和***
US11228777B2 (en) 2019-12-30 2022-01-18 Tencent America LLC Method for layerwise random access in a coded video stream
US11330305B2 (en) * 2020-02-24 2022-05-10 Qualcomm Incorporated Signaling constraints and sequence parameter set sharing in video coding
EP4117291A4 (en) * 2020-03-05 2024-03-27 LG Electronics, Inc. METHOD AND DEVICE FOR CODING/DECODING VIDEOS WITH MIXED UNITS AND METHOD FOR TRANSMITTING BIT STREAMS
CN115380530A (zh) 2020-03-20 2022-11-22 字节跳动有限公司 临近子图片的编解码
WO2021201559A1 (ko) * 2020-04-01 2021-10-07 엘지전자 주식회사 Gdr에 대한 리커버리 포인트 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
CN115943628A (zh) * 2020-04-13 2023-04-07 Op方案有限责任公司 用于组合的无损和有损编码的方法和***
CN115462070A (zh) 2020-04-20 2022-12-09 字节跳动有限公司 对参考图片列表的约束

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232616A (zh) * 2002-07-16 2008-07-30 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
MX350507B (es) * 2012-01-20 2017-09-08 Fraunhofer Ges Forschung Concepto de codificacion permitiendo el procesamiento paralelo, demultiplexor de transporte y tren de bits de video.
CN108933943B (zh) * 2012-07-02 2020-12-25 太阳专利托管公司 图像编码方法及图像编码装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232616A (zh) * 2002-07-16 2008-07-30 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Gradual Decoder Refresh Using Isolated Regions;Ye-Kui Wang等;《Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)3rd Meeting: Fairfax, Virginia, USA, 6-10 May, 2002》;20020510;第1-19页 *
Isolated Regions in Video Coding;M.M.Hannuksela等;《IEEE Transactions on Multimedia》;20040401;第6卷(第2期);第259-267页 *
RANDOM ACCESS USING ISOLATED REGIONS;M.M.Hannuksela等;《Image Processing 2003.ICIP 2003.Proceedings.2003 International Conference On》;20030917;第3卷;第841-844页 *

Also Published As

Publication number Publication date
US20140092963A1 (en) 2014-04-03
WO2014051915A1 (en) 2014-04-03
JP2017225159A (ja) 2017-12-21
EP2901677B1 (en) 2021-07-28
HUE055955T2 (hu) 2022-01-28
ES2884723T3 (es) 2021-12-10
DK2901677T3 (da) 2021-08-30
US9491457B2 (en) 2016-11-08
JP2015534775A (ja) 2015-12-03
KR101743852B1 (ko) 2017-06-05
CN104823449A (zh) 2015-08-05
EP2901677A1 (en) 2015-08-05
JP6495390B2 (ja) 2019-04-03
KR20150065762A (ko) 2015-06-15

Similar Documents

Publication Publication Date Title
CN104823449B (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN105009588B (zh) 用于视频译码的并行处理
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
CN105052152B (zh) 用于视频译码及压缩的设备、方法及非暂时性计算机可读媒体
CN104704843B (zh) 视频性质的指示
CN106464918B (zh) 用信号表示用于位流分区的hrd参数
CN104584550B (zh) 用于可缩放视频译码的帧内预测改善
CN105284113B (zh) 分量间滤波
CN104471942B (zh) 重新使用参数集用于视频译码
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN104247430B (zh) 标记视频序列中具有断链图片的参考图片
CN104584557B (zh) 对视频数据进行编码、解码的方法、装置以及计算机可读介质
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN105409219B (zh) 高效率视频译码扩展中的目标输出层的选择
CN110326299A (zh) 提取mcts子位流以用于视频译码
CN105009590B (zh) 用于视频信息的可缩放译码的装置和方法
KR20170020798A (ko) 다중-계층 코덱들에서의 시간적 모션 벡터 예측 (tmvp) 표시
CN106664425A (zh) 视频译码中的跨分量预测
CN104221387A (zh) 在视频译码中的低延迟视频缓冲
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN104685875A (zh) 用于视频译码中的4:2:2样本格式的帧内译码
CN104221381A (zh) 用于视频译码的波前并行处理
CN104685887A (zh) 于视频译码中发信用于操作点的层识别符
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN104956676B (zh) 层间语法预测控制

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant