CN104704850A - 对位流中的图像格式转换的在先解码的图像的输出管理 - Google Patents

对位流中的图像格式转换的在先解码的图像的输出管理 Download PDF

Info

Publication number
CN104704850A
CN104704850A CN201380052543.1A CN201380052543A CN104704850A CN 104704850 A CN104704850 A CN 104704850A CN 201380052543 A CN201380052543 A CN 201380052543A CN 104704850 A CN104704850 A CN 104704850A
Authority
CN
China
Prior art keywords
image
cvs
value
output
pics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380052543.1A
Other languages
English (en)
Inventor
阿图鲁·A·罗德里格斯
阿尼尔·库马尔·卡蒂
黄翔业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN104704850A publication Critical patent/CN104704850A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于判定在对位流中的两个连贯的经编码视频序列中的第二个的随机访问点(RAP)图像进行解码之后是否输出“有待输出的解码的图像”(DPYTBO)的***和方法可被提供。DPYTBO图像可驻留于耦合到视频解码器的存储器的一部分中。该存储器的部分可对应于视频解码器的解码的图像缓冲器(DPB)。位流中的图像分辨率只被允许在CVS的开始处发生改变。经编码视频序列(CVS)中的第一经编码图像可以是RAP图像。第二CVS可以具有也可以不具有与对应于第一CVS的图像解析度不同的图像解析度。

Description

对位流中的图像格式转换的在先解码的图像的输出管理
对相关申请的交叉引用
本申请要求申请日为2012年10月9日、题为“Output Management ofPrior Decoded Pictures at Picture Format Transitions in Video Streams(对视频流中的图像格式转换的在先解码的图像的输出管理)”的美国临时专利申请No.61/711245的权益，其全部内容被通过引用结合于此。
技术领域
本公开一般地涉及判定在对位流中的两个连贯的经编码视频序列中的第二个的随机访问点(RAP)图像进行解码之后是否输出“有待输出的解码的图像”(DPYTBO)。
背景技术
在提供视频程序的***(比如，用户电视网络、互联网或数字视频播放器)中，能够提供视频服务或视频回放的设备包括输入并处理数字视频信号以向最终用户提供具有各等级的可用性和/或功能性的数字视频回放所必需的硬件和软件。该设备包括以下能力：接收或输入压缩格式的数字视频信号，其中这样的压缩可根据视频编码规范；对接收或输入的数字视频信号进行解压缩；以及输出经解压缩的视频信号。压缩形式的数字视频信号在这里指的是包含连续的经编码视频序列的位流(bitstream)。
经数字编码的视频流可由诸如机顶盒和电视之类的设备通过某种类型的传输信道来接收。在输出经数字编码的视频流的过程中，可能需要判定在对位流中的两个连贯的经编码视频序列中的第二个的RAP图像进行解码之后是否输出“有待输出的解码的图像”(DPYTBO)。
附图说明
参考附图能够更好地理解本公开的很多方面。附图中的组件不必按比例绘制，而是重点在于清楚地示出本公开的原理。
图1是示出了本公开的实施例可在其中实现的示例性环境的高层次框图。
图2A-2B是图1所描述的接收器和相关设备的实施例的框图，本公开的实施例可在其中实现。
图3A-3B是示出了本公开的实施例的流程图。
图4A-4B是示出了本公开的实施例的流程图。
发明内容
本公开的实施例描述了用于判定在对位流中的两个连贯的经编码视频序列的第二个的随机访问点(RAP)图像进行解码之后是否输出“有待输出的解码的图像”(DPYTBO)的方法。DPYTBO图像可驻留于耦合到视频解码器的存储器的一部分中。该存储器的部分可对应于视频解码器的解码的图像缓冲器(DPB)。位流中的图像分辨率只允许在CVS的开始处改变。经编码视频序列(CVS)中的第一经编码图像可以是RAP图像。第二CVS可以具有也可以不具有与对应于第一CVS的图像解析度不同的图像解析度。
具体实施方式
在提供视频程序的***(比如，用户电视网络、互联网或数字视频播放器)中，能够提供视频服务或视频回放的设备包括输入并处理数字视频信号以向最终用户提供具有各等级的可用性和/或功能性的数字视频回放所必需的硬件和软件。该设备包括以下能力：接收或输入压缩格式的数字视频信号，其中这样的压缩可根据视频编码规范；对接收或输入的数字视频信号(例如，位流)进行解压缩；以及输出经解压缩的视频信号。压缩形式的数字视频信号在这里指的是包含连贯的经编码视频序列(CVS)的位流。
HEVC规范(也称为Rec.“ITU-T H.265”)(2013年4月发布)，被通过引用结合于此。在本公开的一些实施例中，位流可在接收器处被接收。位流可包括连续的CVS，其中一些具有第一图像分辨率，其他的具有第二且不同的图像分辨率。位流中的两个连续的CVS具有样本宽高比相同但图像分辨率不同的图像，以使得水平和垂直样本的数量是不同的。对应于CVS中的图像的样本宽高比和空间跨度的信息可由一个或多个参数集来提供，所述参数集对应于该CVS。位流中的每个CVS可具有相应的序列参数集(SPS)，其包括视频可用性信息(VUI)。该VUI信息包括关于样本宽高比的信息。在一个实施例中，样本比例因子被确定并应用到相应CVS中的图像的样本上。
编码器可提供由接收器接收的位流的一个或多个CVS。其他网络设备(比如，拼接器或数字程序***器)可替代具有CVS的位流的多个部分，这些CVS具有不同的图像分辨率并且可能具有或可能不具有相同的样本宽高比。
在一个方法实施例中，接收和处理设备可接收连续经编码图像的位流，以及分别对应于该位流的连续经编码图像的每个连贯部分的辅助信息。对应于位流的第一部分的第一辅助信息对应于第一部分中的连续经编码图像的第一隐含空间跨度。对应于位流的第二部分的第二辅助信息对应于第二部分中的连续经编码图像的第二隐含空间跨度。空间跨度对应于由视频解码器输出的图像意欲占据的二维空间。位流的连续经编码图像的第二部分的第一经编码图像是位流的连续经编码图像的第一部分的最后一个经编码图像之后的位流中的第一个经编码图像。接收器对所接收的第一部分的连续经编码图像进行解码，并且根据对应于第一辅助信息的第一隐含空间跨度输出经解码的图像。接收器对所接收的第二部分的连续经编码图像进行解码，并且根据对应于第二辅助信息的第二隐含空间跨度输出经解码的图像。
no_output_of_prior_pios_flag(不输出在先图像标志)指定在对开始CVS的RAP图像(例如，IDR或BLA)进行解码之后，如何处理解码的图像缓冲器中的先前解码的图像。该标志被包括在RAP图像的分片头部(slice header)中。如果图像分辨率改变，则可推断该标志等于1，而不管分片头部中所提供的标志的实际值。在一些实施例中，图像分辨率可改变，并且有待输出的解码的图像缓冲器(DPB)中的图像需要被输出。DPB中的帧缓冲器的数量以离散步长(比如，根据HEVC规范)进行调整。DPB中的帧缓冲器的数量如在审的美国专利申请no.13/937209(其全部内容被通过引用结合于此)所表述的那样来确定。
在一个实施例中，隔行扫描视频的场编码和帧编码之间的改变只在CVS的开始处(即，因为需要新的SPS来改变图像分辨率)。在这种情况下，不对no_output_of_prior_pics_flag的值进行推断，而是根据相应的RAP图像的分片头部中所提供的标志值来进行处理。
在位流的第一类型的CVS中，图像分辨率和样本宽高比均可相对于位流中前面紧接的CVS中的图像分辨率和样本宽高比发生改变。在位流的第二类型的CVS中，相对于位流中前面紧接的CVS中的相应值，图像分辨率发生改变而样本宽高比不变(即，保持相同)。在第二类型的CVS中，所有图像分辨率改变可包括水平图像大小(即，图像中水平样本的数量)的改变和垂直图像大小(即，图像中的垂直样本的数量)的改变。在本公开的一些实施例中，位流可包括根据第二类型CVS的至少一个图像分辨率改变，但不包括根据位流中的第一类型CVS的至少一个图像分辨率改变。在替代实施例中，位流可包括根据第二类型CVS的至少一个图像分辨率改变和根据第一类型CVS的至少一个图像分辨率改变。
对应于CVS的图像分辨率可由对应于该CVS的序列参数集(SPS)来提供。SPS可在位流中在相应的CVS的RAP图像之前被提供。SPS可以如视频编码规范(例如，HEVC规范)中所描述的那样。SPS可包括确定“亮度样本中的图像宽度”和“亮度样本中的图像高度”的参数，但应该理解该图像还可包括色度样本。这些参数可被提供为相应的数值，这些数值可乘以亮度样本的整数以获得“亮度样本中的图像宽度”和“亮度样本中的图像高度”值。
对应于开始CVS的RAP图像的每个分片的分片头部可包括表示是否输出DPYTBO图像的标志。例如，该RAP图像可以是IDR访问单元或BLA图像。作为非限制性示例，该标志可被表示为no_output_of_prior_pics_flag以协助该方法的描述，但是应该理解在替代的实施例中其命名可能不同。
在一些实施例中，当RAP图像不对应于两个连贯的CVS中的第二个的第一图像时，no_output_of_prior_pics_flag的值被忽略。例如，在HEVC中，这将是CVS(即，在此情况下为第二CVS)包括另一RAP图像并且变量“NoRaslOutputFlag”被推导为不等于1的情况。变量“NoRaslOutputFlag”的推导可以根据HEVC规范。
在位流的第一类型CVS中，图像分辨率和样本宽高比均可相对于位流中前面紧接的CVS中的图像分辨率和样本宽高比发生改变。在位流的第二类型的CVS中，相对于位流中前面紧接的CVS中的相应值，图像分辨率发生改变而样本宽高比不变(即，保持相同)。所有图像分辨率改变可包括水平图像大小(即，图像中水平样本的数量)的改变和垂直图像大小(即，图像中的垂直样本的数量)的改变。在一些实施例中，位流可包括根据第二类型CVS的至少一个图像分辨率改变，但不包括根据位流中的第一类型CVS的任意图像分辨率改变。在替代实施例中，位流可包括根据第二类型CVS的至少一个图像分辨率改变和根据第一类型CVS的至少一个图像分辨率改变。
位流中的每个经编码图像对应于包括一个或多个NAL单元的访问单元，并且被包括在访问单元中的至少一个NAL单元对应于经编码图像的分片(即，经编码分片)。每个NAL单元包括包含NAL单元类型的头部。多个NAL单元类型分别对应于不同的分片类型。一些NAL单元类型对应于不同于经编码分片的信息。经编码图像可包括一个或多个经编码分片。当经编码分片对应于完全图像分辨率时，对应于经编码图像的访问单元只包含一个经编码分片。RAP图像是内部经编码图像(即，只包括编码的内部分片)。多个单元类型分别对应于多个类型的RAP图像。一些内部图像可能不是RAP图像。开始CVS的RAP图像的NAL单元类型标识对应于该RAP图像的RAP图像的类型。
在本公开的一些实施例中，多个类型的RAP图像中的至少一个不对应于第二连贯的CVS的第一经编码图像。在替代实施例中，多个类型的RAP图像中的每一个可对应于第二CVS的第一经编码图像。
在本公开的一些实施例中，由两个CVS中的第二个引入的图像分辨率改变可只在对应于第二CVS的RAP图像的类型是一组RAP图像类型中的一个时才被允许，其中该组不包括RAP图像的多个类型中的至少一个。在替代实施例中，RAP图像的多个类型中只有一个不被包括在允许改变第二CVS中的图像分辨率的范围之内。
在本公开的一些实施例中，如果第二CVS中的第一经编码图像对应于被排除的类型的RAP图像，则no_output_of_prior_pics_flag的值在对应于该RAP图像的一个或多个分片头部中被忽略。
在其他实施例中，当RAP图像不对应于第二CVS的第一图像时，分片头部不包括no_output_of_prior_pics_flag。
当第二CVS的RAP图像引入相对于第一CVS的图像分辨率改变时，对应于RAP的每个分片的分片头部向no_output_of_prior_pics_flag提供相同的值。
在一个实施例中，从由对应于第二CVS的参数集(例如，SPS)中提供信息中推导出的一组参数被检查以判定是否输出DPYTBO图像。在替代实施例中，从由对应于第二CVS的参数集(例如，SPS)中提供信息中推导出的该组参数被检查以判定no_output_of_prior_pics_flag是否被推断。在另一实施例中，从由对应于第二CVS的参数集(例如，SPS)中提供信息中推导出的该组参数被检查以确定当no_output_of_prior_pics_flag的值必须被读取或推断时的方法。该标志的值判定是否输出DPYTBO图像。在第一实施例中，所推导出的参数集对应于样本宽高比、样本比例因子和输出图像裁剪矩形。在第二实施例中，所推导出的参数集对应于样本宽高比和输出图像裁剪矩形。在第三实施例中，所推导出的参数集对应于以下各项中的一个或多个：样本宽高比、样本比例因子和输出图像裁剪矩形。输出裁剪矩形对应于满足一致性所需要的CVS中的图像的部分。
这里的“样本”可等价于像素，比如，亮度样本或亮度像素。除了需要输出如下所述的空白图像时，被提供给显示设备的图像的输出序列可从来自解码的图像缓冲器的输出图像(即，解码的图像)中得到。
当转换到具有不同于与第一CVS相关联的图像分辨率的图像分辨率的第二CVS时，对于是否输出对应于第一CVS的DPYTBO图像的判定可基于：1)no_output_of_prior_pics_flag的值；和2)由分别对应于第一和第二CVS的第一和第二SPS导出或提供的以下参数的相应的值：a)亮度样本中的图像宽度、b)亮度样本中的图像高度、c)样本宽高比、d)样本比例因子、以及e)输出图像裁剪矩形。
样本宽高比对应于解码的图像的亮度样本的宽对高的比率。例如，样本宽高比通常可等于其导出值，并且隐含的样本比例因子等于1，除了针对两个连贯的CVS中的第一CVS和第二CVS导出的样本宽高比具有相同的值时，比如，当在图像分辨率1280x720和1920x1080(二者均具有正方形的样本宽高比)之间转换时。
在替代实施例中，no_output_of_prior_pics_flag被提供在NAL单元类型的NAL单元头部中，该NAL单元类型对应于在第二CVS中发现的RAP图像的类型。在这里，no_output_of_prior_pics_flag将既不被提供在分片头部中，又不在其他NAL单元类型的头中。
样本宽高比是从参数集中(比如，SPS的VUI部分中)所提供的信息中导出的。样本比例因子是从参数集中(比如，SPS的VUI部分中)提供的信息中导出的。在一个实施例中，样本比例因子被推断或推导为等于1，除非两个连贯的CVS中的第二个的图像分辨率改变而样本宽高比不变。样本比例因子是放大或缩小因子，其允许图像分辨率跨越具有相同的样本宽高比和图像宽高比但具有不同的图像分辨率的经编码视频序列(CVS)而发生改变，例如，在1280x720和1920x1080的图像之间转换。所导出的样本比例因子允许在RAP图像处进入的位流在不改变样本宽高比的情况下改变图像分辨率，以使从来自解码的图像缓冲器的输出图像中获得的图像序列的空间分辨率维持不变。
输出图像裁剪矩形可由解码亮度图像内的左、右、上和下分界线(分别为pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_crop_bottom_offset)来限定。当参数集中(例如，SPS的VUI部分中)提供的相应的标志指示其存在时，参数集(例如，SPS)提供这些裁剪参数。图像裁剪参数可根据相应的标志的值。
在一些实施例中，在解码的图像已根据得到的样本比例因子进行缩放之后，可在解码的图像上应用裁剪处理以获取所导出的对应于相应的解码的图像的最终输出图像。所导出的最终输出图像对应于相应的空间跨度。在另一实施例中，在应用所导出的样本比例因子之前，裁剪过程可首先被应用到解码的图像上以导出相应的最终输出图像。最终输出图像的图像分辨率可被称作最终图像分辨率。在一个实施例中，如果所导出的最终图像分辨率从第一CVS改变到第二CVS，则no_output_of_prior_pics_flag被推断为等于1。如果其没有发生改变，则不对该标志的值进行推断而是根据在对应于第二CVS的RAP图像的分片头部中提供的值。其可在判定是否输出DPYTBO图像时被考虑。当1080个逐行扫描图像被编码为1088行的帧时，则该图像被缩放并输出为720个渐进行。类似地，在HEVC中，当图像序列源于渐进内容、为输出目的而被分为多个场(例如，用3∶2下拉式)、并且随后被编码为场时，可应用前面的实施例。在该示例中，编码544行的图像可首先被缩放，然后从1088行裁剪到1080行。
所允许的DPYTBO图像的最大数量可取决于解码的图像缓冲器的大小。在一些实施例中，当解码的图像缓冲器的大小在第一CVS与第二CVS之间变化时，no_output_of_prior_pics_flag被适当地表示。no_output_of_prior_pics_flag的实际值不被推断，而是针对(例如，在对应于RAP图像的分片头部中的)RAP图像被提供的。
当DPYTBO图像可被丢弃并且未输出时，为了防止视频解码器的经编码图像缓冲器(CPB)中的向下溢出和/或向上溢出，等量的连贯的空白图像可被输出到其位置中。空白图像的数量可等于丢弃和未输出的DPYTBO图像的数量。否则，在累积了其中DPYTBO图像被丢弃并且未输出的第一和第二连续CVS的多个实例之后，可能出现向下溢出和/或向上溢出的问题。
在一些实施例上，对应于第二CVS的第一类型的RAP图像可以是IDR图像。第二类型的图像可对应于内部图像，该内部图像对应于商业或视频内容的CVS，该商业或视频内容与对应于第一CVS的视频内容不同。第二CVS可能改变图像格式。
即使在位流中的图像分辨率改变时(比如，在广播应用的商业化过程中)，在耦合到视频解码器或接收器的显示设备上呈现并显示的图像序列的图像格式也可保持不变。
图1是示出了本公开的一个或多个实施例可在其中运作的示例性环境的高层次框图。具体地，图1是示出了示例视频传输***100的框图。在该示例中，视频传输***100可包括头端110和一个或多个接收器200。在本公开的一些实施例中，接收器200可容纳视频解码器。接收器200可被耦合到通信网络或存储设备，并且接收、获取或被提供有对应于视频信号的位流。接收器200还可包括耦合到显示设备的输出视频端口。接收器200在接收或获取到包含位流(即，视频流)的视频程序时，即可通过输出视频端口设置并提供视频信号。在一些实施例中，当接收器获取或接收位流时，耦合到显示设备的视频端口的相应的物理输出时钟即可被设置并保持不变。在这里，位流还可被称为视频流。在一些实施例中，视频流可由调谐到提供视频程序的电视频道的接收器获取。
接收器200和头端110通过网络130来耦合。头端110和接收器200合作以向用于提供数字电视服务、视频点播(VOD)和付费收看(pay-per-view)以及其他数字服务(例如，音乐、互联网访问、贸易(例如，家庭购物)、IP电话(VoIP)和/或其他电话或数据服务)。
接收器200可以是单独的单元或被集成到另一设备(例如，显示设备140、个人计算机、个人数字助理(PDA)、移动电话等设备)中。换句话说，接收器200(这里也被称为数字接收器或处理设备或数字家庭通信终端(DHCT))可包括很多设备中的一个或设备的组合，这些设备例如是：机顶盒、具有通信能力的电视、蜂窝电话、个人数字助理(PDA)或其他计算机或基于计算机的设备或***(例如，膝上型计算机和个人计算机等)。如上所述，接收器200可被耦合到显示设备140(例如，计算机显示器、电视机等)，或者在一些实施例中，接收器200可包括(具有或不具有集成音频组件的)集成显示器。
接收器200可通过网络130从头端110接收包括以数字化视频信号的压缩表示(例如，HEVC位流)的数字视频信号的信号(视频、音频和/或其他数据)，并通过网络130向头端110提供逆向信息。如下面进一步解释的那样，除其他组件之外，接收器200还包括视频解码器和可重新配置的解码图像缓冲器(DPB)。
数字电视服务通过相应的显示设备140来呈现，每个显示设备通常包括根据其类型来用隔行扫描视频信号或逐行扫描视频信号驱动的电视机。但是，显示设备140还可以是能够显示视频图像的任意其他设备，例如包括，计算机监视器、移动电话、游戏设备等。在一个实施例中，显示设备140被配置有音频组件(例如，扬声器)，而在一些实现中，音频功能可由分离但通信地耦合到显示设备140和/或接收器200的设备提供。虽然被示为与显示设备140通信，但是接收器200可与从接收器200接收、存储和/或处理位流或向接收器200提供或发送位流或非压缩视频信号的其他设备进行通信。
头端110可包括一个或多个服务器设备(未示出)以向客户端设备(例如，接收器200)提供数字视频、音频以及其他类型的媒体或数据。头端110可通过有线和/或无线连接(例如，卫星或地面网络)从头端110外部的源或视频传输***100接收内容，例如，从内容提供商接收内容。
头端110还包括一个或多个编码器(编码设备或压缩引擎)111(示出了一个)及体现为耦合到编码器111的一个或多个拼接器112(示出一个)的一个或多个视频处理设备。在一些实施例中，编码器111和拼接器112可共同位于同一设备中和/或同一场所中(例如，二者均在头端110中或其他地方)，而在一些实施例中，编码器111和拼接器112可分布在视频传输***100的不同位置中。例如，虽然被示为位于头端110，但在一些实施例中，编码器111和/或拼接器112可位于其他位置(例如，集线器或节点)处。
编码器111可提供由接收器200接收的位流的一个或多个CVS。其他网络设备(例如，拼接器112或数字程序***器)可用具有不同的图像分辨率并且可以具有或可以不具有相同的样本宽高比的CVS替代位流的多个部分。
图2A是接收器200的选定组件的示例性实施例。本领域普通技术人员应该理解，图2A所示的接收器200只是示意性的，并且不应被解释为暗含对本公开的范围的任何限制。
接收器200包括耦合到复用/解调***204(为了简便起见，在这里简称为解复用器204)的通信接口202。解复用器204可包括MPEG-2传输解复用功能。当接收到数字位流时，解复用器204使得对应于想要的视频流的数据分组能够分离以供进一步处理。
解复用器204被耦合到总线205和媒体引擎206。在一个实施例中，媒体引擎206包括解码逻辑，该解码逻辑包括一个或多个相应的音频解码器208和视频解码器210。媒体引擎206还被耦合到总线205和媒体存储器212，在一个实施例中，后者包括用于临时存储经压缩(压缩图像缓冲器或位缓冲器，未示出)和/或重建的图像(解码的图像缓冲器或DPB213)的一个或多个相应的缓冲器。DPB 213包括多个存储装置215，该存储装置215的数量在从位流接收图像之前针对当前观看的频道来配置并固定。在一些实施例中，媒体存储器212的一个或多个缓冲器可位于其他存储器(例如，下面解释的存储器222)或组件中。
接收器200还包括耦合到总线205(虽然被示为单一总线，但是一个或多个总线被预期在实施例的范围内)的附加组件。例如，接收器200还包括时钟电路218，时钟电路218包括相位和/或频率锁环电路以从在视频流中接收的程序时钟参考(或PCR)锁定到***时钟(STC)来协助解码和输出操作。明确的PTS/DTS值和(针对PTS和DTS的)推测的值与(由时钟电路218生成的)重建的STC相比较以辅助确定何时将缓冲的压缩图像提供给视频解码器210以用于解码(DTS)以及何时由视频解码器210将缓冲的解码的图像输出给显示和输出逻辑230以用于处理和后续在显示设备140上的呈现(PTS)。在一些实施例中，时钟电路218可包括用于相应的视频和音频解码操作及输出处理操作的多个(例如，独立或从属)电路。虽然在硬件电路的情境中进行描述，但是时钟电路218的一些实施例可被配置为软件(例如，虚拟时钟)或硬件和软件的组合。此外，在一些实施例中，时钟电路218是可编程的。
接收器200还可包括存储设备220(和存储器222中的相关联的控制逻辑以及一个或多个驱动器)以临时存储缓冲的媒体内容和/或更永久地存储记录的媒体内容。存储设备220可通过适当的接口(未示出)耦合到总线205，正如本领域普通技术人员应理解的那样。接收器200中的存储器222包括易失和/或非易失存储器，并且被配置为存储与操作***(O/S)224及其他应用相关联的可执行指令或代码。
接收器200还被配置有显示和输出逻辑230，如上所述，其包括缩放器232、行缓冲器231以及一个或多个输出***(例如，被配置为HDMI、DENC或本领域普通技术人员熟知的其他输出***)233以处理经解码的图像并提供以在显示设备140上呈现(例如，显示)。在一些实施例中，缩放器232可被配置为一个或多个采样率转换器。
图2B示出了显示和输出逻辑230的一个实施例的框图。本领域普通技术人员应该理解，图2B所示的显示和输出逻辑230只是示意性的，并且不应被解释为暗含对本公开的范围的任何限制。例如，在一些实施例中，显示和输出逻辑230可包括所示组件的不同布置和/或未示出的附加组件，除在本公开的情境中本领域普通技术人员应该认识到的其他组件之外，还包括附加存储器、处理器、交换机、时钟电路、滤波器和/或采样器、图形流水线。
此外，虽然在图2A中在概念上被示为与媒体引擎206分离的实体，但在一些实施例中，显示和输出逻辑230的一个或多个功能可被合并在媒体引擎206中(例如，在单一芯片上)，或在一些实施例中在其他地方。如上所述，在一个实施例中，显示和输出逻辑230包括缩放器232以及耦合到缩放器232和显示设备140的一个或多个输出***233。
缩放器232可包括显示流水线，包括被配置为执行水平缩放的水平图像缩放电路(HPSC)240和被配置为执行垂直缩放的垂直图像缩放电路(VPSC)242。在一个实施例中，VPSC 242的输入被耦合到对应于被连接到HPSC 240的输出的一个或多个行缓冲器231的内部存储器。行缓冲器231作为临时储存库存储器来影响缩放操作。
在一个实施例中，根据同步视频定时和内部FIFO(未示出)，重建的图像可从DPB中读取，并按照光栅扫描的顺序提供，通过缩放器232馈送以实现水平和/或垂直缩放，并且经缩放的图像根据从输出***233导出的物理时钟(例如，在时钟电路218中或其他地方)的定时被提供(例如，在一些实施例中，通过诸如位于媒体存储器212中的显示缓冲器之类的中间介质)给输出端口233。在一些实施例中，垂直缩小可通过用忽略读取并显示选定视频图像行代替由VPSC 242处理来实现。在一些实施例中，当图像格式的垂直分辨率发生改变时，垂直缩小可通过处理每个图像的多个行的相应集合并将其转换为输出图像的相应输出行来针对例如采用整数抽样因子(例如，2∶1)的所有情况被实现。
本领域普通技术人员应该理解，接收器200可包括未示出的其他组件，包括解密器、采样器、数字化器(例如，模数转换器)、复用器、条件访问处理器和/或应用软件、驱动器软件、互联网浏览器等。此外，虽然逻辑228被示为位于存储器222中，但是应该理解的是该逻辑228的全部或部分可被合并到媒体引擎206、显示和输出***230或其他地方中或被分布在存储引擎206、显示和输出***230或其他地方之间。类似地，在一些实施例中，结合图2A所示或所述的一个或多个组件的功能可与另一组件结合为单一集成组件或设备。
在一个实施例中，根据同步视频时序和内部FIFO(未示出)，重建图像可从DPB中读取，通过缩放器232馈送以获得产生由第一类型CVS或由第二类型CVS所暗示的相同的平面跨度所必须的水平和/或垂直缩放。
作为使用导出的样本宽高比、样本比例因子和图像分辨率的值来提供对应于显性的输出图像格式和隐含的空间跨度的图像格式的实现的一个示例，考虑将1920x1080的图像格式表示为主要输出图像格式，而替换图像格式对应于1280x720。当两个图像分辨率中的每一个均被接收为连续的1920x1080图像时，对应于位流的1280x720部分的样本比例因子由接收器逻辑导出以输出两个图像分辨率。1280x720图像经受解码并且被升级以被1920x1080的显示器呈现。在不破坏时钟(例如，像素输出时钟)的情况下，显示和输出逻辑230从媒体存储器212访问解码图片并将解码图片升级为1920x1080(通过显示流水线的缩放器232)以使由CVS的输出图像隐含的空间跨度的2D大小和宽高比维持不变。
图3A-3B示出了实现本公开的方法的流程图。方法300是当固定图像速率标志值被允许改变时，用于确定no_output_of_prior_pics_flag的值的方法。方法300是确定两个连续CVS中的第二CVS处的no_output_of_prior_pics_flag值的方法，其中活动的位流可包括具有固定图像速率及不具有固定图像速率的CVS，如相应的CVS的SPS中的固定图像速率标志的值所指示的那样。方法300可开始于步骤305，其中水平空间跨度值和垂直空间跨度值可被导出。例如，水平空间跨度值可被导出为由样本宽高比和所导出的样本比例因子调整的亮度样本值中的输出图像宽度。垂直空间跨度值可被导出为由所导出的样本比例因子调整的亮度样本值中的输出图像高度。
亮度样本值中的输出图像宽度(SPS中的“output_pic_width_in_luma_samples”)和亮度样本值中的输出图像高度(SPS中的“output_pic_height_in_luma_samples”)可指定可能裁剪的输出图像的样本。这样的经裁剪的图像可通过根据相应的CVS的SPS中提供的采集参数来对来自DPB的每个图像输出应用裁剪处理(在下面进行描述)来导出。解码的图像的图像分辨率是根据SPS中提供的“pic_width_in_luma_samples”或“pic_height_in_luma_samples”的值的。
裁剪可根据对应于裁剪矩形(例如，被应用于具有(在亮度样本的数量中的)宽和高(例如，可由pic_width_in_luma_samples和pic_height_in_luma_samples来提供)的解码亮度图像的裁剪矩形的左、右、上和下分界线(分别为pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_bottom_offset))所提供的值的对应集合来实行。当SPS中的相应标志根据第一值(例如，，＝1)来指示图像裁剪参数的存在时，SPS可提供这些裁剪参数。
或者在其他实施例中，裁剪参数可从例如接近广泛使用的特定图像分辨率的图像宽度和高度值中推断出。推断出的裁剪参数可对应于由亮度样本中的图像宽度和高度的值指定的解码的图像的最左上、最上或最左的矩形。例如，对具有1920x1088图像分辨率的CVS应用裁剪矩形功能可产生具有1920x1080图像分辨率的导出的输出图像。
样本比例因子是从参数集中提供的信息中(例如，SPS的VUI部分中)导出的。样本比例因子允许图像分辨率跨越具有相同的样本宽高比和图像宽高比但图像分辨率不同(例如，在1280x720和1920x1080图像之间转换)的CVS发生改变。样本比例因子可允许在任意RAP处进入位流而使从输出DPB图像导出的图像序列的空间分辨率保持不变。样本宽高比可对应于解码的图像的亮度样本的宽对高的比率。
当对应于隔行视频的位流被编码为CVS中的场时，每个解码的场可被理解为具有两倍大的物理垂直跨度，因为场的每行对应于整个帧的交替行。在场编码和帧编码之间的转换只在新的CVS处(即，因为需要新的SPS来改变图像分辨率)，no_output_of_prior_pics_flag的值不是推断出的，而是在RAP图像的分片头部中被提供的。
方法300可进行到步骤310，其中可判定从活动SPS中导出的水平空间跨度值或垂直空间跨度值是否分别与从针对在前图像活动的SPS中导出的水平空间跨度值或垂直空间跨度值的值不同。
如果在步骤310判定从活动SPS中导出的水平空间跨度值或垂直空间跨度值与从针对在前图像活动的SPS中导出的水平空间跨度值或垂直空间跨度值的值不同，则方法300可进行到步骤315，其中no_output_of_prior_pics_flag的值被推断为等于第一值(例如，1)。
如果在步骤310判定从活动SPS中导出的水平空间跨度值或垂直空间跨度值均不与从针对在前图像活动的SPS中导出的水平空间跨度值或垂直空间跨度值的值不同，则方法300可进行到步骤320，其中可确定在活动的序列参数集或针对先前图像活动的序列参数集中的固定图像速率标志的值是否等于第一值(例如，1)。
如果在步骤320判定在活动的序列参数集或针对在前的图像活动的序列参数集中的固定图像速率标志的值不等于第一值(例如，1)，则方法300可进行到步骤315，其中no_output_of_prior_pics_flag的值被推断为等于第一值(例如，1)。
如果在步骤320判定在活动的序列参数集或针对在前的图像活动的序列参数集中的固定图像速率标志的值等于第一值(例如，1)，则方法300可进行到步骤330，其中可以判定从活动SPS中导出的解码的图像缓冲器的最大大小(“sps_max_dec_pic_buffering”[sps_max_temporal_layers_minusl])是否与从针对在前图像活动的SPS中导出的解码的图像缓冲器的最大大小的值不同。应该理解的是，在本公开的一些实施例中，步骤330可以是可选的。
如果在步骤330判定从活动SPS中导出的解码的图像缓冲器的最大大小与从针对先前图像活动的SPS中导出的解码的图像缓冲器的最大大小的值不同，则no_output_of_prior_pics_flag的值将不被推断，并且方法300可进行到步骤335。
在步骤335，no_output_of_prior_pics_flag的值将被确定为等于RAP图像的分片头部中所提供的它的值。一旦no_output_of_prior_pics_flag的值被确定，如果在步骤340no_output_of_prior_pics_flag的值是第一值(例如，1)，则方法300进行到步骤345。在步骤345，除了对应于解码的图像缓冲器中的第二CVS的RAP图像的图像存储缓冲器之外的所有图像存储缓冲器可在不输出它们包含的图像的情况下被清空。
然后，方法300可前进到步骤350，其中如果RAP图像稍后将被输出，则解码的图像缓冲器充满值可被设置为第一值(例如，1)。否则，解码的图像缓冲器充满值可被设置为第二值(例如，0)，并且来自活动序列参数集的第一图像将在对应于针对未被输出的在前图像活动的SPS的任意解码的图像缓冲器的最后输出时间之后被输出。
一旦no_output_of_prior_pics_flag的值被确定，如果no_output_of_prior_pics_flag的值是第二值(例如，0)，则方法300进行到步骤355。在步骤355DPYTBO图像可根据其各自的输出时间来输出。
图4A-4B示出了实现本公开的方法的流程图。方法400是当位流中的所有CVS的固定图像速率标志值均相同(例如，1)时，用于确定no_output_of_prior_pics_flag的值的方法。方法400是确定两个连续CVS中的第二CVS处no_output_of_prior_pics_flag的值的方法，其中活动的位流可包括只具有固定图像速率的CVS，如相应的CVS的SPS中的固定图像速率标志的值所指示的那样。
方法400可开始于步骤405，其中水平空间跨度值和垂直空间跨度值可被导出。例如，水平空间跨度值可被导出为由样本宽高比和所导出的样本比例因子调整的亮度样本值中的输出图像宽度。垂直空间跨度值可被导出为由所导出的样本比例因子调整的亮度样本值中的输出图像高度。
方法400可进行到步骤410，其中可判定从活动SPS中导出的水平空间跨度值或垂直空间跨度值是否分别与从针对在前图像活动的SPS中导出的水平空间跨度值或垂直空间跨度值的值不同。
如果在步骤410判定从活动SPS中导出的水平空间跨度值或垂直空间跨度值与从针对在前图像活动的SPS中导出的水平空间跨度值或垂直空间跨度值的值不同，则方法400可进行到步骤415，其中no_output_of_prior_pics_flag的值被推断为等于第一值(例如，1)。
如果在步骤410判定从活动SPS中导出的水空间跨度值或垂直空间跨度值均不与从针对在前图像活动的SPS中导出的水平空间跨度值或垂直空间跨度值的值不同，则方法400可进行到步骤420，其中可判定从活动SPS中导出的解码的图像缓冲器的最大大小是否与从针对先前图像活动的SPS中导出的解码的图像缓冲器的最大大小的值不同。
如果在步骤420判定从活动SPS中导出的解码的图像缓冲器的最大大小与从针对在前图像活动的SPS中导出的解码的图像缓冲器的最大大小的值不同，则no_output_of_prior_pics_flag的值将不被推断，并且方法400可进行到步骤425。
在步骤425，no_output_of_prior_pics_flag的值将被确定为等于RAP图像的分片头部中所提供的它的值。一旦no_output_of_prior_pics_flag值被确定，如果在步骤430判定no_output_of_prior_pics_flag的值被确定为第一值(例如，1)，则方法400进行到步骤435。在步骤435，除了对应于解码的图像缓冲器中的第二CVS的RAP图像的图像存储缓冲器之外的所有图像存储缓冲器可在不输出它们包含的图像的情况下被清空。
然后，方法400可前进到步骤440，其中如果RAP图像稍后将被输出，则解码的图像缓冲器充满值可被设置为第一值(例如，1)。否则，解码的图像缓冲器充满值可被设置为第二值(例如，0)，并且来自活动序列参数集的第一图像将在对应于针对未被输出的先前图像活动的SPS的任意解码的图像缓冲器的最后输出时间之后被输出。
一旦no_output_of_prior_pics_flag的值被确定，如果在步骤430no_output_of_prior_pics_flag的值是第二值(例如，0)，则方法400进行到步骤445。在步骤445DPYTBO图像可根据其各自的输出时间来输出。
虽然说明书已经针对其具体实施例进行了描述，但是这些具体实施例只是示意性不是限制性的。例如，虽然描述了具体应用，但是可以使所公开的实施例的特征适应其他应用。任意适当的编程语言(包括C、C++、Java、汇编语言等)可被用于实现具体实施例的例程。不同的编程技术(例如，程序化或面向对象的)可被采用。这些例程可在单个处理设备或多个处理器上执行。虽然步骤、操作或计算可以特定顺序被呈现，但是该顺序在一些实施例中可被改变。在一些实施例中，在本说明书中被示为连续的多个步骤可同时被执行。这里所述的操作的序列可被另一过程(例如，操作***、内核等)打断、暂停或以其他方式进行控制。该程序可在操作***环境中操作，或操作为占用***处理的所有或大部分的单独程序。功能可在硬件、软件、或二者的结合中被执行。
在这里的描述中，提供了很多具体细节(例如，组件和/或方法的示例)以提供对具体实施例的全面理解。但是，相关领域的技术人员将认识到具体实施例可在没有一个或多个具体细节的情况下或用其他装置、***、配件、方法、组件、材料、部分等来实现。在其他实例中，熟知的结构、材料或操作没有具体示出或详细描述以避免模糊具体实施例的方面。
具体实施例可通过使用编程的通用数字计算机，通过使用专用集成电路、可编程逻辑设备、现场可编程门阵列来实现，光的、化学的、生物的、量子的或纳米工程的***、组件和机制可被使用。一般地，具体实施例的功能可通过本领域知晓的任意方式获得。分布式网络化的***、组件和/或电路可被使用。数据的通信或传输可以是有线的、无线的或通过任意其他方式。
所示具体实施例的以上描述(包括摘要中所描述的)不意图是详尽的或将本发明限制在这里所公开的明确形式。而是在该精神和范围内可以实现各种等同修改的特定的具体实施例，如相关领域的技术人员将认识到的那样。如所指示的，这些修改可根据所示具体实施例的以上描述对本***和方法做出并且要被包括在该精神和范围内。
因此，虽然各种***和方法在这里参考其具体实施例进行了描述，但是一定范围的修改、各种改变和置换预期在以上公开中，并且将认识到的是在一些实例中，在不脱离所给出的范围和精神的情况下，具体实施例的一些特征将在没有其他特征的相应使用的情况下被采用。因此，很多修改可被做出以使具体情况或材料适应基本范围和精神。预期各种实施例不被限制在用于所附权利要求的具体条目和/或被公开为预期执行该***和方法的最佳模式的具体实施例，但是某些实施例将包括任意和全部具体实施例以及落入所附权利要求的范围内的等同物。

Claims (20)

1.一种方法，包括：
接收包括多个经编码视频序列(CVS)的位流，所述多个经编码视频序列包括具有至少第一图像的至少第一CVS和具有至少第二图像的第二CVS，其中所述至少第一图像具有固定图像速率且所述至少第二图像不具有固定图像速率，其中所述第一CVS和所述第二CVS是连贯的，其中对应于随机访问点图像的每个分片的分片头部包括表示是否输出有待输出的解码的图像(DPYTBO)的no_output_of_prior_pics_flag；
从所述第一CVS转换到所述第二CVS，其中所述第二CVS具有与所述第一CVS不同的图像格式；以及
基于所述no_output_of_prior_pics_flag判定是否输出与所述第一CVS相对应的DPYTBO图像。
2.如权利要求1所述的方法，还包括通过以下方式确定no_output_of_prior_pics_flag的值：
从输出图像宽度、样本宽高比和样本比例因子的导出值中导出所述第二CVS中的RAP图像的水平空间跨度值；
从输出图像高度和所述样本比例因子的导出值中导出所述第二CVS中的RAP图像的垂直空间跨度值；
如果所述RAP图像的所述水平空间跨度值或所述垂直空间跨度值分别与所述第一CVS中导出的水平空间跨度值或垂直空间跨度值不同，则推断所述no_output_of_prior_pics_flag的值为第一值；
如果针对所述第一CVS或所述第二CVS设置了固定图像速率，则推断所述no_output_of_prior_pics_flag的值为所述第一值；
如果解码的图像缓冲器的大小从所述第一CVS或所述第二CVS发生改变，则从所述RAP图像的分片头部中导出所述no_output_of_prior_pics_flag的值；以及
如果所述no_output_of_prior_pics_flag的值为所述第一值，则在不输出图像存储缓冲器包含的图像的情况下，清空除与所述解码的图像缓冲器中的所述RAP图像相对应的图像存储缓冲器之外的其他所有所述图像存储缓冲器。
3.如权利要求2所述的方法，还包括：如果所述RAP图像稍后将被输出，则设置解码的图像缓冲器充满值，并且如果所述no_output_of_prior_pics_flag的值为所述第一值，则来自活动序列参数集的第一图像将在与针对未被输出的所述第一CVS活动的所述序列参数集相对应的任意解码的图像缓冲器图像的最后输出时间之后被输出。
4.如权利要求3所述的方法，还包括：如果所述no_output_of_prior_pics_flag的值为不同于所述第一值的第二值，则根据所述DPYTBO图像各自的输出时间输出所述DPYTBO图像。
5.如权利要求2所述的方法，还包括：基于所述no_output_of_prior_pics_flag和输出图像裁剪矩形来判定是否输出所述DPYTBO图像。
6.如权利要求5所述的方法，还包括：在解码的图像已根据所述样本比例因子的导出值进行缩放之后，对所述解码的图像进行裁剪以获得与所述解码的图像相对应的最终输出图像，其中裁剪参数是由所述输出图像裁剪矩形限定的。
7.如权利要求5所述的方法，还包括：在根据所述样本比例因子的导出值对解码的图像进行缩放之前，对所述解码的图像进行裁剪以获得与所述解码的图像相对应的最终输出图像。
8.如权利要求2所述的方法，还包括：当所述RAP图像不与所述第二CVS的第一图像相对应时，忽略所述no_output_of_prior_pics_flag。
9.如权利要求2所述的方法，还包括：当所述RAP图像不与所述第二CVS的第一图像相对应时，不包括所述no_output_of_prior_pics_flag。
10.一种方法，包括：
接收具有同一固定图像速率的第一CVS和紧随其后的第二CVS；
如果所述第二CVS中的活动图像的水平空间跨度值或垂直空间跨度值分别与所述第一CVS中的在前图像的水平空间跨度值或垂直空间跨度值不同，则推断与所述第二CVS相关联的no_output_of_prior_pics_flag的值为第一值；
如果解码的图像缓冲器的大小从所述在前图像改变为所述活动图像，则从所述活动图像的分片头部中获得所述no_output_of_prior_pics_flag的值，其中所述活动图像是RAP图像；
如果所述no_output_of_prior_pics_flag的值为所述第一值，则在不输出图像存储缓冲器包含的图像的情况下，清空除了与所述解码的图像缓冲器中的所述RAP图像相对应的第一图像存储缓冲器之外的其他所有图像存储缓冲器；
如果所述RAP图像稍后将被输出，则设置解码的缓冲器充满值，并且如果所述no_output_of_prior_pics_flag的值为所述第一值，则来自活动序列参数集的第一图像将在与针对未被输出的所述在前图像活动的序列参数集相对应的任意解码的图像缓冲器图像的最后输出时间之后被输出；以及
如果所述no_output_of_prior_pics_flag的值为不同于所述第一值的第二值，则根据一个或多个DPYTBO图像各自的输出时间输出所述一个或多个DPYTBO图像。
11.如权利要求10所述的方法，其中，所述RAP图像是多种类型的RAP图像中的第一类型的RAP图像。
12.如权利要求11所述的方法，其中，所述RAP图像不与所述第二CVS的第一经编码图像相对应。
13.如权利要求11所述的方法，其中，所述RAP图像与所述第二CVS的第一经编码图像相对应。
14.如权利要求11所述的方法，还包括：只有在与所述第二CVS相对应的RAP图像类型是不包括多个RAP图像类型中至少一个的RAP图像类型集中的一个时，允许由所述第二CVS引入的图像分辨率的改变。
15.如权利要求14所述的方法，其中，所述多个RAP图像类型中只有一个被排除在被允许改变所述第二CVS中的图像分辨率之外。
16.如权利要求1l所述的方法，还包括：如果所述第二CVS中第一经编码图像与所排除的RAP图像类型相对应，则忽略与所述RAP图像相对应的一个或多个分片头部中的no_output_of_prior_pics_flag。
17.如权利要求11所述的方法，还包括：提供与在所述第二CVS中找到的RAP图像的类型相对应的NAL单元类型的NAL单元头部中的no_output_of_prior_pics_flag。
18.如权利要求10所述的方法，还包括：当所述解码的图像缓冲器的大小从所述第一CVS改变为所述第二CVS时，用信号表示所述no_output_of_prior_pics_flag。
19.一种***，包括：
存储器；
处理器；被配置为执行存储在所述存储器中的代码，所述代码包括以下步骤：
接收包括多个经编码视频序列(CVS)的位流，所述多个经编码视频序列包括具有被允许发生改变的固定图像速率标志的至少第一CVS和第二CVS，其中所述第一CVS和所述第二CVS是连贯的；
从所述第一CVS转换到所述第二CVS，其中所述第二CVS具有与所述第一CVS不同的图像格式；
基于所述no_output_of_prior_pics_flag判定是否输出与所述第一CVS相对应的DPYTBO图像；
从输出图像宽度、样本宽高比和样本比例因子的导出值中导出所述第二CVS中的RAP图像的水平空间跨度值；
从输出图像高度和所述样本比例因子的导出值中导出所述第二CVS中的RAP图像的垂直空间跨度值；
如果所述RAP图像的所述水平空间跨度值或所述垂直空间跨度值分别与所述第一CVS中导出的水平空间跨度值或垂直空间跨度值不同，则推断所述no_output_of_prior_pics_flag的值为第一值；
如果针对所述第一CVS或所述第二CVS设置固定图像速率，则推断所述no_output_of_prior_pics_flag的值为所述第一值；
如果解码的图像缓冲器的大小从所述第一CVS或所述第二CVS发生改变，则从所述RAP图像的分片头部中导出所述nooutput_of_prior_pics_flag的值；以及
如果所述no_output_of_prior_pics_flag的值为所述第一值，则在不输出图像存储缓冲器包含的图像的情况下，清空除与所述解码的图像缓冲器中的所述RAP图像相对应的图像存储缓冲器之外的其他所有所述图像存储缓冲器。
20.如权利要求19所述的***，还包括：如果所述RAP图像稍后将被输出，则设置解码的图像缓冲器充满值，并且如果所述no_output_of_prior_pics_flag的值为所述第一值，则来自活动序列参数集的第一图像将在与针对未被输出的所述第一CVS活动的所述序列参数集相对应的任意解码的图像缓冲器图像的最后输出时间之后被输出；以及
如果所述no_output_of_prior_pics_flag的值为不同于所述第一值的第二值，则根据所述DPYTBO图像各自的输出时间输出所述DPYTBO图像。
CN201380052543.1A 2012-10-09 2013-10-09 对位流中的图像格式转换的在先解码的图像的输出管理 Pending CN104704850A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261711245P 2012-10-09 2012-10-09
US61/711,245 2012-10-09
PCT/US2013/064180 WO2014059049A1 (en) 2012-10-09 2013-10-09 Output management of prior decoded pictures at picture format transitions in bitstreams

Publications (1)

Publication Number Publication Date
CN104704850A true CN104704850A (zh) 2015-06-10

Family

ID=49514036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380052543.1A Pending CN104704850A (zh) 2012-10-09 2013-10-09 对位流中的图像格式转换的在先解码的图像的输出管理

Country Status (4)

Country Link
US (3) US9462268B2 (zh)
EP (1) EP2907318A1 (zh)
CN (1) CN104704850A (zh)
WO (1) WO2014059049A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547897A (zh) * 2015-07-01 2018-01-05 联发科技股份有限公司 残值升采样装置、残值降采样装置以及电路

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
CN104756500B (zh) 2012-10-09 2018-07-17 思科技术公司 向经编码视频的子层提供共同参数集
EP2907318A1 (en) 2012-10-09 2015-08-19 Cisco Technology, Inc. Output management of prior decoded pictures at picture format transitions in bitstreams
US9641862B2 (en) * 2013-10-15 2017-05-02 Nokia Technologies Oy Video encoding and decoding
JP7104485B2 (ja) * 2018-02-20 2022-07-21 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング
CN113170198B (zh) 2018-11-22 2022-12-09 北京字节跳动网络技术有限公司 子块时域运动矢量预测
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
CN114097239A (zh) * 2019-05-06 2022-02-25 华为技术有限公司 视频译码中开始新编码视频序列的图像的先前图像的输出
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
WO2021052507A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Sub-picture coding and decoding of video
MX2022011424A (es) 2020-03-20 2022-10-03 Bytedance Inc Uso de informacion de subimagen en codificacion de video.
CN115462070A (zh) 2020-04-20 2022-12-09 字节跳动有限公司 对参考图片列表的约束
US11290514B2 (en) 2020-05-18 2022-03-29 Tencent America LLC Method for content preparation templates for 5G common media application format based media streaming
US11477471B2 (en) * 2020-05-20 2022-10-18 Tencent America LLC Techniques for signaling combination of reference picture resampling and spatial scalability
KR20230015382A (ko) 2020-05-22 2023-01-31 바이트댄스 아이엔씨 비디오 비트스트림 처리에서 픽처 유형들에 대한 제약들
US11589052B2 (en) * 2020-06-10 2023-02-21 Tencent America LLC Techniques for bitstream extraction for subpicture in coded video stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703098A (zh) * 2004-05-29 2005-11-30 三星电子株式会社 用于语法分析的方法、电路和计算机程序产品
WO2007115129A1 (en) * 2006-03-29 2007-10-11 Qualcomm Incorporated Video processing with scalability

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101827A1 (ja) 2004-04-16 2005-10-27 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム
BRPI0610398B1 (pt) 2005-04-13 2019-07-02 Nokia Technologies Oy Método e aparelho
EP2805520A1 (en) 2012-01-20 2014-11-26 Telefonaktiebolaget LM Ericsson (Publ) Sub-bitstream extraction
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
EP2907318A1 (en) 2012-10-09 2015-08-19 Cisco Technology, Inc. Output management of prior decoded pictures at picture format transitions in bitstreams
CN104756500B (zh) 2012-10-09 2018-07-17 思科技术公司 向经编码视频的子层提供共同参数集
US20140301477A1 (en) 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703098A (zh) * 2004-05-29 2005-11-30 三星电子株式会社 用于语法分析的方法、电路和计算机程序产品
WO2007115129A1 (en) * 2006-03-29 2007-10-11 Qualcomm Incorporated Video processing with scalability

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHOI B ET AL: "AHG9: NAL unit header design for base spec", 《JCT-VC 11TH MEETING：SHANGHAI》 *
RODRIGUEZ A ET AL: "Semantics of no_output_of_prior_pics_flag", 《JCT-VC 11TH MEETING：SHANGHAI》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547897A (zh) * 2015-07-01 2018-01-05 联发科技股份有限公司 残值升采样装置、残值降采样装置以及电路
CN107547897B (zh) * 2015-07-01 2021-01-08 联发科技股份有限公司 残值升采样装置、残值降采样装置以及电路

Also Published As

Publication number Publication date
US20170353718A1 (en) 2017-12-07
US10051269B2 (en) 2018-08-14
WO2014059049A1 (en) 2014-04-17
US9787984B2 (en) 2017-10-10
US20140098853A1 (en) 2014-04-10
EP2907318A1 (en) 2015-08-19
US9462268B2 (en) 2016-10-04
US20170026640A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
CN104704850A (zh) 对位流中的图像格式转换的在先解码的图像的输出管理
US11700388B2 (en) Transmission device, transmitting method, reception device, and receiving method
US10313417B2 (en) Methods and systems for auto-zoom based adaptive video streaming
US9699465B2 (en) Method and device for partitioning an image
EP2907308B1 (en) Providing a common set of parameters for sub-layers of coded video
EP0661888A2 (en) Multiplexing/demultiplexing method for superimposing sub- images on a main image
US9854333B2 (en) Method and apparatus for transmitting and receiving broadcast signal for providing HEVC based IP broadcast service
US20140003539A1 (en) Signalling Information for Consecutive Coded Video Sequences that Have the Same Aspect Ratio but Different Picture Resolutions
KR100818148B1 (ko) Ｍｐｅｇ 및 다른 데이터 포맷에 적합한 순차적인 비디오시퀀스를 송신하기 위한 장치 및 방법
US20230019913A1 (en) Signaling Size and Position of Target Picture-In-Picture Region
WO2014008321A1 (en) Signalling information for consecutive coded video sequences that have the same aspect ratio but different picture resolutions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150610

WD01 Invention patent application deemed withdrawn after publication