CN108141616A - 多层位流的文件中的参数集信令 - Google Patents

多层位流的文件中的参数集信令 Download PDF

Info

Publication number
CN108141616A
CN108141616A CN201680059633.7A CN201680059633A CN108141616A CN 108141616 A CN108141616 A CN 108141616A CN 201680059633 A CN201680059633 A CN 201680059633A CN 108141616 A CN108141616 A CN 108141616A
Authority
CN
China
Prior art keywords
sample
irap pictures
rail
irap
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680059633.7A
Other languages
English (en)
Other versions
CN108141616B (zh
Inventor
王业奎
伏努·亨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108141616A publication Critical patent/CN108141616A/zh
Application granted granted Critical
Publication of CN108141616B publication Critical patent/CN108141616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明提供一种装置，其产生、存储或获得文件，所述文件遵从所述文件所符合的文件格式中指定的限制。所述限制要求：对于每一相应帧内随机存取点IRAP图片，解码所述相应IRAP图片所需的参数集在以下中的至少一个中：所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项、用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项、所述相应IRAP图片的样本，或携载所述参考层的播放轨中的所述相应IRAP图片的样本的依时共置的样本。

Description

多层位流的文件中的参数集信令
本申请主张2015年10月14日申请的美国临时专利申请第62/241,683号的权益，所述临时专利申请的全部内容以引用的方式并入本文中。
技术领域
本发明是关于视频编码及解码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在研发的高效视频译码(HEVC)标准及此些标准的扩展中所描述的那些视频压缩技术。视频装置可通过实施此些视频压缩技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频图块(即，视频帧或视频帧的部分)分割成视频块。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)图块中的视频块。图片的经帧间译码(P或B)图块中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待编码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间编码块是根据指向形成预测性块的参考样本的块的运动向量来编码，且残余数据指示经译码块与预测性块之间的差。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生接着可经量化的残余系数。可扫描最初按二维阵列布置的经量化系数以便产生系数的一维向量，且可应用熵译码以达成甚至更多压缩。
HEVC提供参数集，例如视频参数集(VPS)、序列参数集(SPS)及图片参数集(PPS)。此些参数集包含适用于一或多个经编码图片的参数。举例来说，SPS中的参数可适用于全部序列的编码图片。视频解码器可需要能够存取适用于经编码图片的参数集以解码经编码图片。在HEVC位流中，参数集包括于与含有经编码图片的经编码图块区段的NAL单元分离的网络抽象层(NAL)单元中。因此，含有经编码图片的经编码图块区段的NAL单元可在位流的与含有用于解码经编码图片所需的参数集的NAL单元分离的部分中。
在视频译码的上下文中，随机存取是指从位流中的非第一经译码图片的经译码图片解码位流。HEVC位流包含帧内随机存取图片(IRAP)图片以便于随机存取。如其它类型的图片，视频解码器可需要存取适用于IRAP图片的参数集以解码IRAP图片。
用于存储多层HEVC位流(即，L-HEVC位流)的文件格式正在研发中。在文件格式中，文件的每一播放轨可包含一系列样本。播放轨的每一样本可包含一或多个不同层的依时共置的经编码图片。存储含有L-HEVC位流的文件的装置可提取所有L-HEVC位流或部分L-HEVC位流，且将所提取的数据直接地或间接地提供到视频解码器。为便于随机存取，装置可从含有IRAP图片的文件的样本开始提取部分L-HEVC位流。因此，尽管装置可能够将IRAP图片的经编码视频数据提供到视频解码器，但如果装置无法将用于解码IRAP图片所需的参数集提供到视频解码器，那么视频解码器可能无法解码IRAP图片。对于文件格式的前述提议无法使得装置能够保证将解码IRAP图片所需的参数集提供到视频解码器，尤其在装置未经配置以解析L-HEVC位流自身的实例中。增加解析L-HEVC位流的能力可对装置增加显著的复杂度并减慢装置的操作。此外，此些前述提议可带来不必要的较大文件大小。
发明内容
一种装置产生、存储或获得文件，所述文件遵从所述文件所符合的文件格式中指定的限制。所述限制要求对于每一相应帧内随机存取点(IRAP)图片，解码相应IRAP图片所需的参数集在以下中的至少一个中：所述相应IRAP图片的播放轨中适用于相应IRAP图片的样本的样本项、用于相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项、所述相应IRAP图片的样本，或携载所述参考层的播放轨中的所述相应IRAP图片的样本的依时共置的样本。
在本发明的一个实例中，一种处理视频数据的方法，所述方法包括：获得多层位流，所述多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示；及产生用于存储多层位流的文件，使得文件遵从所述文件所符合的文件格式中指定的限制，其中：对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，所述限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项；用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本；及所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本。
在另一实例中，本发明描述用于处理视频数据的装置，所述装置包括：一或多个处理电路，其经配置以产生用于存储多层位流的文件，使得文件遵从所述文件所符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，所述限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项；用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本；及所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及数据存储媒体，其经配置以存储文件。
在另一实例中，本发明描述处理视频数据的方法，所述方法包括：存储将多层位流进行存储的文件，所述文件遵从所述文件符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，所述限制要求用解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项；用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本；及所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及将文件的至少一部分流式传输到接收装置。
在另一实例中，本发明描述用于处理视频数据的装置，所述装置包括：数据存储媒体，其经配置以存储将多层位流进行存储的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，所述限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项；用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本；及多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及接口，其经配置以将文件的至少一部分流式传输到接收装置。
在另一实例中，本发明描述处理视频数据的方法，所述方法包括：获得存储多层位流的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，所述限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项；用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本；及所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及解码所述文件中的多层位流的至少一部分。
在另一实例中，本发明描述用于处理视频数据的装置，所述装置包括：输入接口，其经配置以获得存储多层位流的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，所述限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项；用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本；及所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及一或多个处理电路，其耦合到输入接口，所述一或多个处理电路经配置以解码文件中的多层位流的至少一部分。
在另一实例中，本发明描述用于处理视频数据的装置，所述装置包括：用于获得多层位流的装置，所述多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示；及用于产生用于存储多层位流的文件以使得所述文件遵从所述文件所符合的文件格式中指定的限制的装置，其中：对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项；用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本；及多个播放轨中携载相应IRAP图片的层的参考层的播放轨中的相应IRAP图片的样本的任何依时共置的样本。
在另一实例中，本发明描述包括指令的计算机可读存储媒体，所述指令在经执行时使装置：获得多层位流，所述多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示；及产生用于存储多层位流的文件以使得文件遵从所述文件所符合的文件格式中指定的限制，其中：对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：相应IRAP图片的播放轨中适用于相应IRAP图片的样本的样本项、用于相应IRAP图片的携载相应IRAP图片的层的参考层的非对应播放轨的样本项，用于相应IRAP图片的所述非对应播放轨为除多个播放轨中的相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本；相应IRAP图片的样本，及多个播放轨中携载相应IRAP图片的层的参考层的播放轨中的相应IRAP图片的样本的任何依时共置的样本。
在另一实例中，本发明描述处理视频数据的装置，所述装置包括：用于存储将多层位流进行存储的文件的装置，所述文件遵从所述文件符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示，及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：相应IRAP图片的播放轨中适用于相应IRAP图片的样本的样本项、用于相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本、相应IRAP图片的样本，及多个播放轨中携载相应IRAP图片的层的参考层的播放轨中的相应IRAP图片的样本的任何按依时共置的样本；及用于将文件的至少一部分流式传输到接收装置的装置。
在另一实例中，本发明描述经配置以存储指令的计算机可读存储媒体，所述指令在经执行时使装置：存储将多层位流进行存储的文件，所述文件遵从所述文件符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示，及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：相应IRAP图片的播放轨中适用于相应IRAP图片的样本的样本项、用于相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的一播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本、相应IRAP图片的样本，及所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的相应IRAP图片的样本的任何依时共置的样本；及将文件的至少一部分流式传输到接收装置。
在另一实例中，本发明描述处理视频数据的装置，所述装置包括：用于获得存储多层位流的文件的装置，所述文件遵从所述文件符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示，及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：相应IRAP图片的播放轨中适用于相应IRAP图片的样本的样本项、用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的样本项适用于相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本、相应IRAP图片的样本，及所述多个播放轨中携载相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及用于解码文件中的多层位流的至少一部分的装置。
在另一实例中，本发明描述上面存储有指令的计算机可读存储媒体，所述指令在经执行时使装置：获得存储多层位流的文件，所述文件遵从所述文件符合的文件格式中指定的限制，其中：多层位流包括多个参数集、视频数据的多个IRAP图片的经编码表示，及视频数据的多个非IRAP图片的经编码表示，对于文件的多个播放轨中的每一相应播放轨，相应播放轨的媒体内容包括相应序列的样本，对于多个IRAP图片中的每一相应IRAP图片：相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨，限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项、用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于相应IRAP图片的非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本、相应IRAP图片的样本，及多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及解码文件中的多层位流的至少一部分。
在随附图式及以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1为说明可利用本发明中描述的技术的实例视频译码***的框图。
图2为说明根据本发明的一或多种技术的文件的实例结构的框图。
图3为说明根据本发明的一或多种技术的文件的实例结构的框图。
图4为说明实例视频编码器的框图。
图5为说明实例视频解码器的框图。
图6为说明形成网络的部分的装置的实例集合的框图。
图7为说明根据本发明的技术的装置的实例操作的流程图。
图8为说明根据本发明的技术的装置的实例操作的流程图。
图9为说明根据本发明的技术的装置的实例操作的流程图。
图10为说明根据本发明的技术的装置使用存储于样本项中的参数集的实例操作的流程图。
图11为说明根据本发明的技术的装置使用存储于不同播放轨的样本项中的参数集的实例操作的流程图。
图12为说明根据本发明的技术的装置使用存储于样本中的参数集的实例操作的流程图。
图13为说明根据本发明的技术的装置使用存储于含有参考层的播放轨的样本中的参数集的实例操作的流程图。
具体实施方式
本发明是关于以ISO(国际标准化组织)基础媒体文件格式及从其衍生的文件格式存储视频内容。更具体来说，本发明描述尤其当多个播放轨用于存储多层位流时，用于多层位流的文件中的参数集信令的技术。
举例来说，正研发用于携载经编码视频数据的多层位流(例如分层高效视频译码(L-HEVC)位流)的基于ISO基础媒体文件格式的文件格式。多层位流包括多个层。每一层包括在不同输出时间出现的一序列经编码图片。在可调式视频译码的情况下，多层位流的层可包含基础层及一或多个增强层。基础层可不参考增强层中的任一个来解码。增强层可在空间上或在时间上增强基础层的图片。举例来说，增强层可具有比基础层高的帧率。因此，增强层可包含针对输出时间的经编码图片且基础层不包含针对所述输出时间的经编码图片。在多层位流的第一层包含输出时间处的经编码图片且多层位流的第二层不包含针对输出时间的经编码图片的情况下，第一层中的经编码图片被称作与第二层中的经编码图片未对准。在多视图视频译码中，多层位流的层可对应于不同视图中的经编码图片。
符合文件格式的文件包括被称作“逻辑框(box)”的数据结构的集合。文件的逻辑框可包含媒体数据逻辑框，所述媒体数据逻辑框中的每一个包含一或多个样本。样本可包含在同一存取单元中的一或多个经编码图片(即，具有相同输出时间)。举例来说，样本可包含具有相同输出时间但在不同层中的经编码图片。此外，在ISO基础媒体文件格式及其扩展中，术语“样本”适用于媒体存取单元，例如视频存取单元或音频存取单元。然而，在编解码器层级，术语“样本”可适用于像素的色彩分量的值。因此，除非另有明确规定或如将从论述的上下文理解，否则在本发明中提及的“样本”应理解为是指在文件格式层级的样本(即，包含同一存取单元的一或多个经编码图片的那些样本)。
另外，文件的逻辑框可包含含有用于文件的播放轨的元数据的一或多个播放轨逻辑框。举例来说，播放轨逻辑框可包含样本表逻辑框。用于播放轨的元数据包含一或多个样本描述项。每一样本与播放轨的样本描述项中的一个相关联。由于播放轨的单独样本可包含属于多个层的经编码图片且此些层的经编码图片可未对准，因此播放轨的不同样本可包含不同数目的经编码图片。
各种编解码器允许位流包含与经编码图片分离但含有解码经编码图片所需的参数的各种类型的参数集。举例来说，HEVC定义视频参数集(VPS)、序列参数集(SPS)及图片参数集(PPS)。在特定情形中，与需要装置能够在位流层级解释参数集相反，可需要使参数集可供装置在文件层级使用。举例来说，可需要参数集除了在根据编解码器编码的视频数据位流(例如L-HEVC)中编码之外，还包含于文件的元数据中。举例来说，能够在文件层级解释参数集可使装置能够确定解码器是否能够解码存储于文件中的特定经编码图片。另外，在一些实例中，在文件的元数据中具有参数集可通过使装置能够处理文件以将参数集提供到视频解码器而有助于随机存取。
因此，此前提议的限制要求文件符合以下要求：如果样本含有至少一个如HEVC(即，ISO/IEC 23008-2)中所定义的帧内随机存取点(IRAP)图片，那么解码在含有样本中的IRAP图片的每一层中的IRAP图片及按解码次序在其后的图片所需的每一参数集应包含于携载存在于此样本中的层的播放轨的样本项中抑或包含于所述样本自身中(可能通过使用提取器)。此外，已经提议，在其它方面(即，样本不含有IRAP图片)，解码所述样本所需的每一参数集应包含于携载存在于此样本中的层的播放轨的样本项中抑或包含于在含有至少一个IRAP图片的前一样本之后到所述样本自身的样本中的任一个中(可能通过使用提取器)，所述前一样本及所述样本自身包含在内。提取器是指文件的另一部分。
然而，可存在关于上述限制的某些问题。举例来说，所提议的限制不明确且不允许可能需要的情境。本发明中描述的技术可解决关于上述限制的问题。举例来说，文件可遵从以下限制而非以上指定的限制。在此实例中，对于文件中的多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本。对于多个IRAP图片中的每一相应IRAP图片，相应IRAP图片的层含有相应IRAP图片且其为多层位流的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨。在其它实例中，当相关样本项的样本项名称具有另一值时，限制可适用。在此实例中，限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：
相应IRAP图片的播放轨中适用于相应IRAP图片的样本的样本项，
用于相应IRAP图片的携载相应IRAP图片的层的参考层的非对应播放轨的样本项，用于相应IRAP图片的非对应播放轨为除多个播放轨中的相应IRAP图片的播放轨以外的播放轨，用于相应IRAP图片的非对应播放轨的样本项适用于相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于相应IRAP图片的非对应播放轨中的解码时间小于但最接近于相应IRAP图片的样本的解码时间的样本，
相应IRAP图片的样本，及
多个播放轨中携载相应IRAP图片的层的参考层的播放轨中的相应IRAP图片的样本的任何依时共置的样本。
实施此些限制可通过潜在地减小文件的大小来增强使用遵从所述限制的文件的计算装置的功能性，减少文件的大小可节省此些计算装置的存储空间及处理资源。举例来说，如先前所描述，如果需要文件包含解码含有IRAP图片的样本中的每一IRAP图片所需的参数集或适用于含有IRAP图片的样本的样本项，那么文件可以解码IRAP图片所需的参数集的不需要复本结束。此至少是因为在多层HEVC中，解码经编码图片所需的VPS可适用于多个层中的图片，所述多个层中的两个或多于两个可在文件的多个不同播放轨中。相比于此前提议的限制，在本发明中提议的限制不需要此VPS的复本存在于多个播放轨中的每一个的样本项中或存在于含有VPS所适用的图片的样本中。相反，在遵从本发明的限制的文件中，VPS可存在于少于所有播放轨的样本或样本项中，从而潜在地减少文件中的VPS的复本的数目。
图1为说明可利用本发明的技术的实例视频译码***10的框图。如本文所使用，术语“视频译码器”大体上是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”大体上可指视频编码或视频解码。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264或ISO/IEC MPEG-4AVC，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展，及高效视频译码(HEVC)，也被称作ITU-T H.265及ISO/IEC 23008-2，包含其可调式译码扩展(即，可调式高效视频译码，SHVC)及多视图扩展(即，多视图高效视频译码，MV-HEVC)。
如图1所展示，视频译码***10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的手持电话、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一项实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。一或多个通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。一或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12所产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取而存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体。数据存储媒体的实例包含短期存储器、蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适的数字存储媒体。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载而存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。
目的地装置14可经由例如因特网连接的标准数据连接存取经编码视频数据。数据连接的实例类型可包含适合用于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从文件服务器的发射可为流式传输发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用(例如，(例如)经由因特网的空中电视广播、有线电视发射、***发射、流式传输视频发射)的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码***10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
图1中所说明的视频译码***10仅为实例，且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据是从本地存储器检索，经由网络流式传输发射，或类似者。视频编码装置可编码数据且将数据存储到存储器，及/或视频解码装置可从存储器检索数据并解码数据。在许多实例中，由彼此不通信但简单地将数据编码到存储器及/或从存储器检索且解码数据的装置来执行编码及解码。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含例如摄像机的视频俘获装置，含有先前所俘获的视频数据的视频封存档、用以从视频内容提供者接收视频数据的视频馈入接口，及/或用于产生视频数据的计算机图形***，或视频数据的此些源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22将经编码视频数据直接发射到目的地装置14。在其它实例中，经编码视频数据也可存储到存储媒体上或文件服务器上，以供目的地装置14稍后存取以用于解码及/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收经编码视频数据。举例来说，输入接口28可获得存储位流(例如多层位流)的文件。显示装置32可与目的地装置14集成或可在目的地装置14外部。一般来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
本发明可大体上指视频编码器20将某一信息“信令”或“发射”到另一装置，例如视频解码器30。术语“信令”或“发射”可大体上指用以解码经压缩视频数据的语法元素及/或其它数据的通信。此通信可实时地或接近实时地发生。替代地，此通信可在时间跨度内发生，例如此通信可能在编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，接着，在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。因此，尽管视频解码器30可被称作“接收”某些信息，但信息的接收未必实时或接近实时地发生且可在存储之后在某一时间处从媒体检索。
视频编码器20及视频解码器30各自可实施为多种合适电路中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果在软件中部分地实施技术，那么装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。可将前述各项(包含硬件、软件、硬件与软件的组合等)中的任一个视为一或多个处理器。视频编码器20及视频解码器30中的每一个可包含于一或多个编码器或解码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
在一些实例中，视频编码器20及视频解码器30根据视频压缩标准(例如上文所提及且在HEVC标准中描述的HEVC标准)操作。除基础HEVC标准之外，存在持续努力产生用于HEVC的可调式视频译码、多视图视频译码及3D译码扩展。在一些实例中，本发明中所描述的技术可应用于经配置以根据其它视频译码标准操作的编码器及解码器。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含表示为SL、SCb及SCr的三个样本阵列。SL为明度样本的二维阵列(即，块)。SCb为Cb色度(chrominance)样本的二维阵列。SCr为Cr色度样本的二维阵列。色度样本在本文中也可被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含明度样本的阵列。
为产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一个可为明度样本的译码树型块、色度样本的两个对应译码树型块及用以对译码树型块的样本进行译码的语法结构。译码树型块可为样本的N×N块。CTU也可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。图块可包含在光栅扫描中连续排序的整数数目个CTU。经译码图块可包括图块标头及图块数据。图块的图块标头可为包含提供关于图块的信息的语法元素的语法结构。图块数据可包含图块的经译码CTU。
本发明可使用术语“视频单元”或“视频块”或“块”以指代一或多个样本块及用以译码样本的一或多个块的样本的语法结构。视频单元或块的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等等。在一些情形中，PU的论述可与宏块或宏块分区的论述互换。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可为图片的明度样本的译码块及色度样本的两个对应译码块，所述图片具有明度样本阵列、Cb样本阵列及Cr样本阵列，及用以对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块、色度样本的两个对应预测块及用以对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的明度、Cb及Cr预测块产生预测性明度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测以产生PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。
如果视频编码器20使用帧间预测以产生PU的预测性块，那么视频编码器20可基于除与PU相关联的图片之外的一或多个图片的经解码样本而产生PU的预测性块。视频编码器20可使用单向预测或双向预测以产生PU的预测性块。当视频编码器20使用单向预测以产生PU的预测性块时，PU可具有单一运动向量(MV)。当视频编码器20使用双向预测以产生PU的预测性块时，PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性块(例如，预测性明度、Cb及Cr块)之后，视频编码器20可产生CU的残余块。CU的残余块中的每一样本可指示CU的PU的预测性块中的样本与CU的译码块中的对应样本之间的差异。举例来说，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的中一个中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割将CU的残余块(例如，明度、Cb及Cr残余块)分割成一或多个变换块(例如，明度、Cb及Cr变换块)。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应变换块及用以对经变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用到变换块以产生TU的系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。举例来说，视频编码器20可将一或多个变换应用到TU的明度变换块，以产生TU的明度系数块。视频编码器20可将一或多个变换应用到TU的Cb变换块，以产生TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常是指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的程序。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。位流也可包含未经熵编码的语法元素。
视频编码器20可输出包含经熵编码的语法元素的位流。位流可包含形成经译码图片及相关联数据的表示的位的序列。位流可包括网络抽象层(NAL)单元的序列。NAL单元中的每一个包含NAL单元标头，且囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封经译码图块的RBSP，第三类型的NAL单元可囊封补充增强信息(SEI)的RBSP，等等。囊封视频译码数据的RBSP(如与参数集及SEI消息的RBSP相反)的NAL单元可被称作视频译码层(VCL)NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可从位流获得语法元素。举例来说，视频解码器30可解析位流以解码来自位流的语法元素。视频解码器30可至少部分地基于从位流获得(例如，解码)的语法元素来重构建视频数据的图片。重构建视频数据的程序可大体上与由视频编码器20执行的程序互逆。举例来说，视频解码器30可使用PU的运动向量来确定用于当前CU的PU的预测性样本块(即，预测性块)。另外，视频解码器30可逆量化与当前CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行逆变换以重构建与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本来重构建当前CU的译码块。通过重构建图片的每一CU的译码块，视频解码器30可重构建图片。
在HEVC中，每一NAL单元包含指示NAL单元的NAL单元类型的语法元素(例如nal_unit_type)。此外，在HEVC中，视频解码器30可基于NAL单元的NAL单元类型识别与多个图片类型中的一个相关联的NAL单元。此些图片类型可包含瞬时解码再新(IDR)图片、清洁随机存取(CRA)图片、时间子层存取(TSA)图片、断链存取(BLA)图片及不为IDR、CRA或TSA图片的经译码图片。
HEVC及其它视频译码标准提供用于实现到位流的随机存取的机制。随机存取是指从位流中的非第一经译码图片的经译码图片开始解码位流。在例如广播及流式传输的各种视频应用中可能需要对位流的随机存取。对位流的随机存取可使得用户能够在任何时间调入到程序中，在不同信道之间切换，跳转到视频的特定部分，或切换到不同位流以用于流式传输调适(例如位速率的调适、帧率的调适、空间分辨率的调适等)。将帧内随机存取点(IRAP)图片以规律的间隔***到位流中可实现随机存取。IRAP图片的实例类型包含IDR图片、CRA图片及BLA图片。因此，IDR图片、CRA图片及BLA图片共同被称作随机存取点(IRAP)图片。
IDR图片仅含有I个图块(即，仅使用帧内预测的图块)。IDR图片可为按解码次序在位流中的第一图片，或可稍后出现在位流中。每一IDR图片为CVS的按解码次序的第一图片。如HEVC及H.264/AVC中指定的IDR图片可用于随机存取。然而，按解码次序在IDR图片之后的图片不能使用在IDR图片之前解码的图片作为参考。因此，依赖于IDR图片用于随机存取的位流与使用额外类型的随机存取图片的位流相比可具有显著较低的译码效率。IDR存取单元为含有IDR图片的存取单元。
IDR图片可使解码程序将所有参考图片标记为“未用于参考”。由于标记为“未用于参考”的参考图片可从存储参考图片的经解码图片缓冲器(DPB)去除，所以IDR图片可清除DPB。按解码次序在IDR图片之后的所有经译码图片可经解码而无需从按解码次序先于IDR图片的任何图片进行帧间预测。每一经译码视频序列的按解码次序的第一图片为IDR图片或BLA图片，或也为位流的第一图片的CRA图片。当存取单元的经译码图片为IDR图片时，存取单元可被称作IDR存取单元。在一些实例中，经译码视频序列为存取单元的序列，所述序列包含或按解码次序由以下各项组成：IDR存取单元，接着是并非NoRaslOutputFlag等于1的IRAP存取单元的零个或多个存取单元，包含所有后续存取单元，直到但不包含任何后续IDR存取单元。
理想地，以此方式的信道切换及跳转应以最小量的延迟进行。可通过在视频位流中以规律的间隔包含随机存取图片来实现信道切换及跳转。IDR图片可用于H.264/AVC及HEVC两者中作为随机存取图片。换句话说，在H.264/AVC及HEVC两者中指定的IDR图片可用于随机存取。然而，因为IDR图片开始经译码视频序列且可始终清理DPB，所以按解码次序在IDR图片之后的图片不能将按解码次序在IDR图片之前解码的图片用于参考。因此，依赖于IDR图片用于随机存取的位流可具有显著较低的译码效率(例如，低6％的译码效率)。为改进译码效率，HEVC中的CRA图片可允许按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片将在CRA之前解码的图片用于参考。
CRA及TSA图片类型在HEVC中为新的且不可用于H.264/AVC规范中。CRA图片类型促进从视频序列的中间的任何随机存取点(RAP)开始的解码。将CRA图片***视频序列可比将IDR图片***到同一视频序列中更有效。在HEVC中，从CRA图片开始的位流可为协调式位流。也就是说，以CRA图片开始的位流的部分可符合HEVC规范。TSA图片可用以指示有效时间子层切换点。
CRA图片允许按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片将在CRA之前解码的图片用于参考。按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片被称作与CRA图片相关联的前置图片(或CRA图片的前置图片)。也就是说，为了改进译码效率，在HEVC中引入CRA图片以允许按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片将在CRA图片前解码的图片用于参考。CRA存取单元为其中经译码图片为CRA图片的存取单元。
如果解码从IDR图片或按解码次序在所述CRA图片前出现的CRA图片开始，那么CRA图片的前置图片可被正确地解码。然而，当发生从CRA图片的随机存取时，CRA图片的前置图片可能不可解码。因此，视频解码器在随机存取解码期间通常解码CRA图片的前置图片。为防止从取决于解码开始处而可能不可用的参考图片的误差传播，按解码次序及输出次序两者在CRA图片之后的图片都不可将按解码次序或输出次序在CRA图片之前的任何图片(其包含前置图片)用于参考。
在引入CRA图片之后，在HEVC中引入断链存取(BLA)图片，且断链存取(BLA)图片是基于CRA图片的概念。BLA图片通常源自在CRA图片的位置处拼接的位流，且在所述拼接的位流中，将拼接点CRA图片改变到BLA图片。含有RAP图片的存取单元在本文中可被称作RAP存取单元。BLA存取单元为含有BLA图片的存取单元。
BLA图片与CRA图片之间的一个差异如下。对于CRA图片，如果解码开始于按解码次序在CRA图片前的RAP图片，那么相关联的前置图片可被正确地解码。然而，当发生从CRA图片的随机存取时(即，当解码从所述CRA图片开始时，或换句话说，当所述CRA图片为位流中的第一图片时)，与CRA图片相关联的前置图片可能不正确地解码。相比之下，可能不存在与BLA图片相关联的前置图片可解码的情形，甚至当解码从按解码次序在BLA图片前的RAP图片开始时。
与特定CRA图片或特定BLA图片相关联的前置图片中的一些可正确地解码，甚至当所述特定CRA图片或所述特定BLA图片为位流中的第一图片时。此些前置图片可被称作可解码前置图片(DLP)。其它前置图片可被称作不可解码前置图片(NLP)。NLP也可被称作标示为丢弃(tagged for discard；TFD)图片。
如上文所描述，本发明中所描述的实例技术是关于媒体文件格式及基于其衍生的文件格式。在图1的实例中，源装置12、目的地装置14及/或信道16可包含一或多个文件处理单元34。一或多个处理电路可经配置以执行一或多个文件处理单元34的功能性。文件处理单元34可为后处理实体的实例。后处理实体可包含媒体感知网络元件(MANE)、DASH感知网络元件(DANE)、服务器计算装置、个人计算装置、专用计算装置、商业计算装置、或另一类型的计算装置。后处理实体可为内容递送网络的一部分。在一些实例中，后处理实体可在源装置12的外部。举例来说，输出接口22可输出到产生如本发明中所描述的文件格式的后处理实体且将所产生的文件存储于如上文所描述的存储装置或服务器中。为易于理解，本发明将文件描述为从此后处理实体所产生。
举例来说，在图1的实例中，文件处理单元34包含文件产生单元36，其产生囊封由视频编码器20产生的位流或囊封所述位流的部分的一或多个文件。文件产生单元36可产生根据本发明的技术的文件。在一些实例中，文件产生单元36实施于源装置12中。在此些实例中，文件产生单元36在概念上可出现于源装置12中的视频编码器20与输出接口22之间。在其它实例中，文件产生单元36实施于例如MANE的一或多个其它装置中。在一些实例中，文件产生单元36为后处理实体的实例。在后处理物理在视频编码器20的外部的实例中，后处理实体可为源装置12上的单独、独特的单元，或可为输出接口22的一部分。
此外，文件处理单元34可包含从文件提取位流或其部分的文件提取单元38。在一些实例中，目的地装置14实施文件提取单元38。在此些实例中，文件提取单元38在概念上可出现于目的地装置14中的输入接口28与视频解码器30之间。在其它实例中，一或多个其它装置可实施文件提取单元38。视频解码器30可解码由文件提取单元38从文件提取的位流。另外，在一些实例中，文件处理单元34中的一或多个选择性转递含有足够经编码视频数据的文件的部分以使视频解码器30能够从位流中的点(除位流的起点之外)开始解码视频数据。
以下为文件格式及文件格式标准的进一步描述。文件格式标准包含ISO基础媒体文件格式(ISOBMFF，ISO/IEC 14496-12)，及从ISOBMFF衍生的其它格式，包含MPEG-4文件格式(ISO/IEC 14496-15)、3GPP文件格式(3GPP TS 26.244)及AVC文件格式(ISO/IEC14496-15)。
将ISOBMFF用作用于许多编解码器囊封格式(例如，AVC文件格式)以及用于许多多媒体容器格式(例如，MPEG-4文件格式、3GPP文件格式(3GP)及DVB文件格式)的基础。除例如音频及视频的连续媒体之外，例如图像的静态媒体以及元数据可存储于符合ISOBMFF的文件中。根据ISOBMFF结构化的文件可用于许多用途，包含本地媒体文件播放、远程文件的逐步下载、用于经由HTTP的动态自适应流式传输(DASH)的区段、用于待流式传输的内容及其包化指令的容器及接收的实时媒体流的记录。
逻辑框可为ISOBMFF中的基本语法结构，包含四字符译码逻辑框类型、逻辑框的字节计数及有效负载。ISOBMFF文件包含或由一序列逻辑框组成，且逻辑框可含有其它逻辑框。电影逻辑框(“moov”)含有用于存在于文件中的连续媒体流的元数据。可将媒体流中的每一个在文件中表示为播放轨。将用于播放轨的元数据围封于播放轨逻辑框(“trak”)中，而将播放轨的媒体内容围封于媒体数据逻辑框(“mdat”)中或直接围封于单独文件中。用于播放轨的媒体内容可包括或由一序列样本组成，例如音频或视频存取单元。
ISOBMFF指定以下类型的播放轨：媒体播放轨，其含有基本媒体流；提示播放轨，其包含媒体发射指令或表示接收的包流；及计时元数据播放轨，其包括时间同步的元数据。尽管原先针对存储而设计，但已证明ISOBMFF用于流式传输发射(例如，用于逐步下载或DASH)极有价值。为了流式传输的目的，可使用在ISOBMFF中定义的电影片段。
用于每一播放轨的元数据包含样本描述项的列表，每一项提供在播放轨中使用的译码或囊封格式及处理所述格式需要的初始化数据。播放轨的每一样本与播放轨的样本描述项中的一个相关联。
ISOBMFF实现通过各种机制指定样本特有的元数据。举例来说，播放轨逻辑框包含样本表(“stbl”)逻辑框。播放轨的样本表逻辑框含有样本表，所述样本表可含有播放轨的媒体样本的所有时间及数据索引。样本表包含用于播放轨的特定样本的样本项。因此，当装置(例如实施文件处理单元34中的一个的装置)正在处理样本(例如准备解码样本的经编码图片、转递样本、提取样本等)时，装置可能够回顾样本表逻辑框中的样本项以确定如何处理样本。
更具体来说，样本表逻辑框可包含样本描述(“stbl”)逻辑框。样本描述逻辑框可包含关于所使用的译码类型的详细信息及所述解码所需的任何初始化信息。为实现此目标，样本描述逻辑框包含样本项逻辑框(即，样本项)的集合。以下代码定义ISOBMFF中的逻辑框的样本项及样本描述逻辑框类。
在ISOBMFF中，样本项类为经扩展用于特定媒体类型的抽象类。举例来说，VisualSampleEntry类扩展SampleEntry类且含有视频数据的信息。类似地，AudioSampleEntry类扩展SampleEntry类且含有用于音频数据的信息。以下代码定义ISOBMFF中的VisualSampleEntry类。
此外，VisualSampleEntry类可经扩展用于更加特定的用途，例如定义用于特定编解码器的数据。举例来说，以下代码定义扩展VisualSampleEntry类且含有特定于HEVC的信息的HEVCSampleEntry类。
样本表逻辑框也可包含样本到块逻辑框(“stsc”)。样本到块逻辑框将媒体数据内的样本分成块。更具体来说，样本到块逻辑框包含项的集合。每一项给出具有相同特征的块的游程的第一块的索引。特定来说，样本到块逻辑框包含样本描述索引(例如sample_description_index)。样本描述索引为给出描述此块中的样本的样本项的索引的整数。因此，样本到块逻辑框可使装置能够确定哪个样本项与样本相关联。因为样本描述索引为对样本项的索引，所以样本描述索引也可被称作“样本项索引”。
此外，样本表逻辑框(“stbl”)内的特定逻辑框已经标准化以响应常见需求。举例来说，同步样本逻辑框(“stss”)是用以列举播放轨的随机存取样本。样本分组机制实现根据四字符分组类型将样本映射成共享指定为文件中的样本群组描述项的同一特性的样本的群组。已在ISOBMFF中指定若干分组类型。
ISOBMFF规格指定适用于DASH的六种类型流式传输存取点(SAP)。前两种SAP类型(类型1及2)对应于H.264/AVC及HEVC中的IDR(瞬时解码器再新)图片。第三SAP类型(类型3)对应于HEVC中的开放式GOP随机存取点、BLA(断链存取)或CRA(清洁随机存取)图片。第四SAP类型(类型4)对应于GDR随机存取点。
此外，为便于随机存取，“信息技术-视听对象的译码(Information technology-Coding of audio-visual objects)-第15部分：在基于ISO的媒体文件格式中携载网络抽象层(NAL)单元结构视频(Carriage of network abstraction layer(NAL)unitstructure video in the ISO base media file format)”(ISO/IEC FDIS 14496-15:2014(E)，文件N15479，(以下称作N15479)，其为最新的草案L-HEVC文件格式)规定适用于样本的样本项包含解码IRAP图片所需的参数集或样本自身包含所述参数集。特定来说，(N15479中的)最新的草案L-HEVC文件格式通过围封于标记<emphasis>及</emphasis>中的强调部分在条款9.7.3.1.1中如下指定对参数集的限制：
当样本项名称作“lhe1“时，以下各项适用：
●如果样本含有至少一个如ISO/IEC 23008-2中所定义的IRAP图片，那么解码<emphasis>在含有样本</emphasis>中的IRAP图片的每一层中的IRAP图片及按解码次序接下来的图片所需的每一参数集应包含于<emphasis>携载存在于此样本</emphasis>中的层的播放轨的样本项抑或包含于所述样本自身中(可能通过使用提取器)。
●否则(样本不含有IRAP图片)，那么解码所述样本所需的每一参数集应包含于<emphasis>携载存在于此样本中的层的播放轨的样本项</emphasis>抑或包含于从含有至少一个IRAP图片的前述样本到所述样本自身的样本中的任一个中(可能通过使用提取器)，所述之前样本和所述样本自身包含在内。
限制的目的是实现从任何IRAP(帧内随机存取图片)图片随机存取层而不需要从较早存取单元搜索及提取参数集。然而，至少存在关于上述限制的以下问题。第一，不明确哪些图片确切为“IRAP图片”。意图似乎为“样本中的IRAP图片”。第二，在第一标题符号项目中包含“及在含有样本中的IRAP图片的每一层中的按解码次序在接下来的图片”并非必要的，且可未必不允许将此些图片中的任一个所需要的参数集作为存取单元自身的部分或新的样本项。限制本质上需要所有参数集在第一样本中抑或在适用于所述第一样本的样本项中。第三，措辞“携载存在于此样本中的层的播放轨的样本项”(在两个标题符号项目中)暗示本文中的样本的范围为整个L-HEVC位流的整个存取单元，而不仅为播放轨内的子集合。此与条款9.6.1中的样本定义不一致。第四，以上措辞自身不明确，因为每一播放轨可含有多个样本项，所以要求应明确地指定此类播放轨的相关样本项，而非任何样本项。举例来说，对于含有所讨论的当前样本的播放轨，相关样本项为适用于当前样本的样本项，而非任何其它样本项。
以下描述根据本发明的实例技术。所述技术可单独地或一起应用。对于当前播放轨(即，含有所讨论的当前样本的播放轨)，可直接将相关样本项指定为适用于当前样本的样本项。对于所涉及的另一播放轨(其例如含有当前播放轨中的层的参考层)，一个直接方法为将相关样本项指定为适用于所述另一播放轨中的依时共置的样本的样本项(即，与当前样本具有相同解码时间)。然而，可能在所述另一播放轨中不存在此依时共置的样本。因此，此方法可不(但可能)对于此些情形始终起作用。用于特定播放轨中的特定样本的依时共置的样本可经定义为除相应播放轨之外的播放轨中的样本且与所述特定样本具有相同解码时间。
为解决此问题，一种实例技术是如下定义依时共置的样本项的概念。对于携载同一L-HEVC位流的不同部分的任何两个播放轨，可需要两个播放轨中的样本项依时对准，即，如果第一播放轨中的样本项sampleEntryA适用于解码时间在T1到T2(包含在内)的范围中的第一播放轨中的所有样本，那么解码时间在相同范围中的第二播放轨中的所有样本是指第二播放轨中的一个样本项sampleEntryB。因此，sampleEntryA及sampleEntryB为依时共置的样本项。由此，相关样本项可经指定为所述另一播放轨中的依时共置的样本项。为进一步简化，可进一步需要所有依时共置的样本项使用相同的样本项索引值(即，sample_description_index)。此些两个要求可通过如下共同地表达：要求在携载L-HEVC位流的所有播放轨内，具有相同解码时间的所有样本应与相同样本项索引值相关联。
因此，为解决部分或所有上列问题，对参数集的限制经提议如下改变：
当样本项名称为“lhe1”时，以下各项适用：
●在携载L-HEVC位流的所有播放轨内，具有相同解码时间的所有样本将与相同样本项索引值相关联(即，sample_description_index)。对于特定播放轨中的任何特定样本，另一播放轨中的依时共置的样本项为与此特定播放轨中的样本项具有相同样本项索引的样本项且适用于此特定样本，另一播放轨中的依时共置的样本为与此特定样本具有相同解码时间的样本。
●对于包括于层中及播放轨的样本中的IRAP图片，解码IRAP图片所需的每一参数集应包含于以下中的一个中：
a.此播放轨的样本项且适用于此样本
b.携载此层的参考层的播放轨的依时共置的样本项
c.此样本自身，可能通过使用提取器
d.当存在时，携载此层的参考层的播放轨中的此样本的依时共置的样本中的任一个，可能通过使用提取器
●对于层中及播放轨的样本中所含有的非IRAP图片，解码所述图片所需的每一参数集应包含于以下中的一个中：
a.此播放轨的样本项且适用于此样本
b.携载此层的参考层的播放轨的依时共置的样本项
c.从含有此层中的IRAP图片的前一样本到此样本自身(所述前一样本和所述样本自身包含在内)的此播放轨中的样本中的任一个，可能通过使用提取器
d.当存在时，从含有此层中的IRAP图片的前一样本的依时共置的样本到此样本的依时共置的样本(所述两依时共置的样本包含在内)的携载此层的参考层的播放轨中的样本中的任一个，可能通过使用提取器
为易于解释，本发明可将上述限制称作“本发明的第一实例限制”。本发明的第一实例限制的替代版本要求在每一操作点所需要的所有播放轨内，具有相同解码时间的所有样本应与相同样本项索引值相关联(即，sample_description_index)。
替代地，对参数集的限制经提议如下改变：
当样本项名称为“lhe1”时，以下各项适用：
●在携载L-HEVC位流的所有播放轨内，对于特定播放轨中的任何特定样本，另一播放轨中的依时共置的样本为与此特定样本具有相同解码时间的样本。
●对于层中及播放轨的样本中所含有的IRAP图片，解码IRAP图片所需的每一参数集应包含于以下中的一个中：
a.此播放轨的样本项且适用于此样本
b.携载此层的参考层的第二播放轨的样本项，其中样本项适用于第二播放轨中的依时共置的样本(当存在时)或，当依时共置的样本不存在时，适用于第二播放轨中的解码时间小于但最接近于此样本的解码时间的样本
c.此样本自身，可能通过使用提取器
d.当存在时，携载此层的参考层的播放轨中的此样本的依时共置的样本中的任一个，可能通过使用提取器
●对于层中及播放轨的样本中所含有的非IRAP图片，解码图片所需要的每一参数集应包含于以下中的一个中：
a.此播放轨的样本项且适用于此样本
b.携载此层的参考层的第二播放轨的样本项，其中样本项适用于第二播放轨中的依时共置的样本(当存在时)或，当依时共置的样本不存在时，适用于第二播放轨中的解码时间小于但最接近于此样本的解码时间的样本
c.从含有此层中的IRAP图片的前一样本到此样本自身(所述前一样本和所述样本自身包含在内)的此播放轨中的样本中的任一个，可能通过使用提取器
d.当存在时，从含有此层中的IRAP图片的前一样本到此样本的依时共置的样本(所述前一样本和所述依时共置的样本包含在内)的携载此层的参考层的播放轨中的样本中的任一个，可能通过使用提取器
为易于解释，本发明可将上述限制称作“本发明的第二实例限制”。文件产生单元36可确保文件以各种方式符合本发明的第一或第二实例限制。举例来说，在文件产生单元36应用本发明的第二实例限制的实例中，文件产生单元36可确定文件的当前播放轨的当前样本中所含有的IRAP图片是否满足上列条件(b)、(c)或(d)。在此实例中，响应于确定不满足条件(b)、(c)及(d)，文件产生单元36可包含解码当前播放轨中适用于当前样本的样本项中的IRAP图片所需的每一参数集的复本。同样，文件产生单元36可确定文件的当前播放轨的当前样本中所含有的非IRAP图片是否满足上列条件(b)、(c)或(d)。在此实例中，响应于确定不满足条件(b)、(c)及(d)，文件产生单元36可包含解码当前播放轨中适用于当前样本的样本项中的非IRAP图片所需的每一参数集的复本。
因此，关于本发明的第二实例限制，对于多个播放轨中的每一相应播放轨，用于相应播放轨的媒体内容包括相应序列的样本，且相应播放轨的样本的相关样本项为相应播放轨中适用于所述样本的样本项。此外，对于多个IRAP图片中的每一相应IRAP图片，相应IRAP图片的层含有相应IRAP图片且其为多层位流(例如L-HEVC位流)的层，相应IRAP图片的播放轨含有相应IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应IRAP图片的播放轨。在此实例中，当相应IRAP图片的相关样本项的样本项名称具有特定值(例如“lhe1”)时，限制可适用。在其它实例中，当相应IRAP图片的相关样本项的样本项名称具有另一值时，限制可适用。限制要求解码相应IRAP图片所需的多个参数集中的每一参数集在以下中的至少一个中：
适用于相应IRAP图片的样本的相应IRAP图片的播放轨的样本项，
用于相应IRAP图片的携载相应IRAP图片的层的参考层的非对应播放轨的样本项，用于相应IRAP图片的所述非对应播放轨为除多个播放轨中的相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的非对应播放轨的所述样本项适用于所述相应IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于所述相应IRAP图片的非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
相应IRAP图片的样本，及
多个播放轨中携载相应IRAP图片的层的参考层的播放轨中的相应IRAP图片的样本的任何依时共置的样本。
此外，在以上第二实例限制的描述中，解码特定IRAP图片所需的第一参数集可通过存在于特定IRAP图片的样本中的一或多个提取器的第一集合参考。类似地，解码特定IRAP图片所需的第二参数集可通过存在于多个播放轨中携载所述特定IRAP图片的层的参考层的播放轨中的所述特定IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
在至少一些实例中，本发明的第二实例限制要求：对于多个非IRAP图片中的每一相应非IRAP图片，相应非IRAP图片的层含有相应非IRAP图片且其为多层位流的层，相应非IRAP图片的播放轨含有相应非IRAP图片的样本，相应IRAP图片的样本含有相应IRAP图片，且多个播放轨包含相应非IRAP图片的播放轨。此外，在一些实例中，当相应非IRAP图片的相关样本项的样本项名称为“lhe1”时，限制可适用。在其它实例中，当相应非IRAP图片的相关样本项的样本项名称具有另一值时，限制可适用。在此实例中，限制可进一步要求解码相应非IRAP图片所需要的参数集中的每一个在以下中的至少一个中：
相应非IRAP图片的播放轨的适用于相应非IRAP图片的样本的样本项，
用于相应非IRAP图片的携载相应非IRAP图片的层的参考层的非对应播放轨的样本项，用于相应非IRAP图片的所述非对应播放轨为除多个播放轨中的相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的非对应播放轨的所述样本项适用于所述相应非IRAP图片的非对应播放轨中的依时共置的样本或，当用于相应非IRAP图片的非对应播放轨中的依时共置的样本不存在时，适用于相应非IRAP图片的非对应播放轨中的解码时间小于但最接近相应非IRAP图片的样本的解码时间的样本，
在相应非IRAP图片的层中的前一含有IRAP图片的样本之后及直到相应非IRAP图片的样本(所述前一样本和所述非IRAP图片的样本包含在内)的相应非IRAP图片的播放轨的任何样本，及
所述多个播放轨中携载相应非IRAP图片的层的任何参考层的任何播放轨的任何样本，所述任何样本在相应非IRAP图片的层中的前一含有IRAP图片的样本的依时共置样本之后及直到相应非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
此外，在以上第二实例限制的描述中，解码所述特定非IRAP图片所需的第一参数集可通过存在于所述特定非IRAP图片的样本中的一或多个提取器的第一集合参考。类似地，解码特定非IRAP图片所需要的第二参数集可通过存在于多个播放轨中携载特定非IRAP图片的层的参考层的播放轨中的所述特定非IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
能够依赖于本发明的第一实例限制抑或第二实例限制可增强视频解码器30执行随机存取的能力。举例来说，视频解码器30可需要存取特定参数集以从位流的起点之后的特定点开始解码位流。因此，例如文件提取单元38的文件处理单元可能够根据条件(c)及条件(d)从文件的样本确定特定参数集是否已可供视频解码器30使用，或根据条件(a)及条件(b)确定是否使用存储于样本项中的特定参数集的复本来具体地将特定参数集中的一或多个提供到视频解码器30。
在上述本发明的实例限制中，多个参数集可包含以下中的至少一个：如ISO/IEC23008-2中所定义的视频参数集、如ISO/IEC 23008-2中所定义的序列参数集及如ISO/IEC 23008-2中所定义的图片参数集。在本发明的其它实例中，以上实例中的“小于”的实例在一些或所有情况下改变为“大于”。替代地或另外，在以上实例中的一些或每一个中，“此层的参考层”的所有实例改变为“此播放轨中携载的层的参考层”。替代地或另外，在以上实例中的一些或每一个中，“含有此层中的IRAP图片的前一样本”的所有实例改变为“在此播放轨中含有层中的IRAP图片的前一样本”。
此外，在本发明的一些实例中，用于在特定IRAP图片处随机存取层的位流构建程序是经指定的，包含将来自相关样本项的参数集放置在位流的开始处并接着按照NAL单元的解码时间及递增次序的层ID将来自播放轨的NAL单元放置于存取单元内，并接着指定解码任何图片所需的每一参数集必须在所述图片之前构建的位流中为可用的。
图2为说明根据本发明的一或多种技术的文件300的实例结构的框图。文件300可由例如文件产生单元36(图1)的文件处理单元产生。在图2的实例中，文件300包含电影逻辑框302及多个媒体数据逻辑框304。尽管在图2的实例中说明为在同一文件中，但在其它实例中，电影逻辑框302及媒体数据逻辑框304可在单独的文件中。如上所指示，逻辑框可为由唯一类型识别符及长度定义的对象导向构建块。举例来说，逻辑框可为ISOBMFF中的基本语法结构，包含四字符经译码逻辑框类型、逻辑框的字节计数及有效负载。
电影逻辑框302可含有用于文件300的播放轨的元数据。用于文件300的每一播放轨可包括连续媒体数据流。媒体数据逻辑框304中的每一个可包含一或多个样本305A到305N(统称作“样本305”)。此外，在图2的实例中，电影逻辑框302包含播放轨逻辑框306。播放轨逻辑框306可围封用于文件300的播放轨的元数据。在其它实例中，电影逻辑框302可包含用于文件300的不同播放轨的多个播放轨逻辑框。播放轨逻辑框306包含媒体逻辑框307。媒体逻辑框307可含有声明关于播放轨内的媒体数据的信息的对象。媒体框307包含媒体信息逻辑框308。媒体信息逻辑框308可含有声明播放轨的媒体的特征信息的对象。媒体信息逻辑框308包含样本表逻辑框309。样本表逻辑框309可指定样本特有的元数据。
样本表逻辑框309可包含样本描述逻辑框310。另外，样本表逻辑框309可包含零个或多个SampleToGroup逻辑框及零个或多个SampleGroupDescription逻辑框。在图2的实例中，样本表逻辑框309包含SampleToGroup逻辑框312及SampleGroupDescription逻辑框314。在其它实例中，样本表逻辑框309可包含除样本描述逻辑框310、SampleToGroup逻辑框312及SampleGroupDescription逻辑框314之外的其它逻辑框，及/或可包含多个SampleToGroup逻辑框及SampleGroupDescription逻辑框。SampleToGroup逻辑框312可将样本(例如，样本305中的特定一个)映射到一群样本。SampleGroupDescription逻辑框314可指定由所述群样本(即，样本群组)中的样本共享的性质。
样本描述逻辑框310包括用于播放轨的样本项316的集合。样本项316的每一相应样本项适用于播放轨的一或多个样本。在图2的实例中，样本项316的集合包含样本项316A。如本发明中其它处所描述，根据本发明的技术，对于层中及播放轨的样本中所含有的IRAP图片，解码IRAP图片所需的每一参数集可包含于播放轨的样本项中且适用于此样本。因此，在图2的实例中，样本项316A可包含解码对应于播放轨逻辑框306的播放轨中所含有的IRAP图片所需的参数集318。
此外，在本发明中的其它处所描述，根据本发明的技术，对于增强层或其它非基础层中及播放轨的样本中所含有的IRAP图片，解码IRAP图片所需的每一参数集可包含于携载所述增强层或其它非基础层的参考层的第二播放轨的样本项中，其中样本项适用于第二播放轨中的依时共置的样本(当存在时)或，当依时共置的样本不存在时，适用于第二播放轨中的解码时间小于但最接近于此样本的解码时间的样本。在图2的实例中，第一播放轨可包含含有IRAP图片的特定样本且播放轨逻辑框306可对应于第二播放轨。在此实例中，如果样本项316A适用于第二播放轨中与第一播放轨中的特定样本依时共置的样本，或样本项316A适用于第二播放轨中的解码时间小于但最接近于所述特定样本的解码时间的样本，那么样本项316A可包含解码所述特定样本中的IRAP图片所需的参数集。
此外，如本发明中其它处所描述，对于层中及播放轨的样本中所含有的非IRAP图片，解码图片所需的每一参数集可在播放轨的样本项中且适用于此样本。因此，在图2的实例中，假定特定样本包含非IRAP图片且样本项316A与所述特定样本在同一播放轨中且适用于所述特定样本，那么样本项316A可包含解码非IRAP图片所需的参数集318。
另外，对于层中及播放轨的样本中所含有的非IRAP图片，解码所述图片所需的每一参数集可在携载此层的参考层的第二播放轨的同一样本项中，其中所述样本项适用于第二播放轨中的依时共置的样本(当存在时)或，当依时共置的样本不存在时，适用于第二播放轨中的解码时间小于但最接近于此样本的解码时间的样本。在图2的实例中，第一播放轨可包含含有非IRAP图片的特定样本且播放轨逻辑框306可对应于第二播放轨。在此实例中，如果样本项316A适用于第二播放轨中的与第一播放轨中的特定样本依时共置的样本，或样本项316A适用于第二播放轨中的解码时间小于但最接近于所述特定样本的解码时间的样本，那么样本项316A可包含解码所述特定样本中的非IRAP图片所需的参数集。
另外，如本发明中其它处所描述，根据本发明的技术，对于层中及播放轨的样本中所含有的IRAP图片，解码IRAP图片所需的每一参数集可包含于样本自身中。因此，如图2的实例所展示，媒体数据逻辑框304中的样本305A可包含一或多个经编码图片320及例如参数集322的一或多个参数集。此外，如本发明中其它处所描述，对于层中及播放轨的样本中所含有的IRAP图片，解码IRAP图片所需的每一参数集可包含于携载此层的参考层的播放轨中的此样本的依时共置的样本中。因此，在图2的实例中，特定样本包含IRAP图片，所述特定样本在第一播放轨中，且样本305A在第二播放轨中。在此实例中，样本305A可包含解码所需的参数集，且所述特定样本为样本305A，且所述特定样本为共置的，且第一播放轨为第二播放轨的参考播放轨。
如本发明中其它处所描述，对于层中及播放轨的样本中所含有的非IRAP图片，用于解码所述图片所需的每一参数集可包含于从含有此层中的IRAP图片的前一样本到此样本自身(所述前一样本和所述样本自身包含在内)的此播放轨中的样本的任一个中，可能通过使用提取器。举例来说，在图2的实例中，在含有IRAP图片的前一样本之后的含有非IRAP图片的播放轨的任何样本(例如样本305A)可包含解码非IRAP图片所需的参数集(例如参数集322)。
此外，如本发明中其它处所描述，对于层中及播放轨的样本中所含有的非IRAP图片，解码所述图片所需的每一参数集(如果存在)可包含于携载此层的参考层的播放轨中的样本中的任一个中，其是可能通过使用提取器在含有此层中的IRAP图片的前一样本的依时共置的样本之后到此样本的依时共置的样本(所述两依时共置的样本包含在内)。因此，在图2的实例中，对于特定层中及第一播放轨的样本中所含有的非IRAP图片，如果样本305A在携载特定层的参考层的播放轨中且样本305A在与含有IRAP图片的特定层的样本共置的样本之后，那么解码非IRAP图片所需的每一参数集可包含于样本305A中。
图3为说明根据本发明的一或多种技术的文件450的实例结构的框图。文件450可由例如文件产生单元36(图1)的文件处理单元产生。在图3的实例中，文件450包含一或多个电影片段逻辑框452及多个媒体数据逻辑框454。尽管在图3的实例中说明为在同一文件中，但在其它实例中，电影片段逻辑框452及媒体数据逻辑框454可在单独的文件中。媒体数据逻辑框454中的每一个可包含一或多个样本456A到456N(统称作“样本456”)。电影片段逻辑框中的每一个对应于电影片段。每一电影片段可包括播放轨片段的集合。可存在每播放轨零个或多个播放轨片段。
在图3的实例中，电影片段逻辑框452提供关于对应电影片段的信息。此信息将先前已处于例如电影逻辑框302(图2)的电影逻辑框中。电影片段逻辑框452可包含播放轨片段逻辑框458。播放轨片段逻辑框458对应于播放轨片段，且提供关于播放轨片段的信息。
举例来说，在图3的实例中，播放轨片段逻辑框458可包含样本描述逻辑框460、零个或多个SampleToGroup逻辑框及零个或多个SampleGroupDescription逻辑框。在图3的实例中，播放轨片段逻辑框458含有一或多个SampleToGroup逻辑框462及含有关于对应于播放轨片段逻辑框458的播放轨片段的信息的一或多个SampleGroupDescription逻辑框464。样本描述逻辑框460包括用于播放轨片段的样本项466的集合。样本项466的每一相应样本项适用于播放轨的一或多个样本。在图3的实例中，样本项466的集合包含样本项466A。如图3的实例中所展示，样本项466A可包含参数集468。此外，如图3的实例中所展示，媒体数据逻辑框454中的样本456A可包含一或多个经编码图片470及例如参数集472的一或多个参数集。本发明中其它处关于解码IRAP图片及非IRAP图片所需的参数集的位置而描述的限制可对于文件450中的样本项466及样本456适用。
图4为说明实例视频编码器20的框图。出于解释的目的而提供图4，且不应将其视为对如本发明中广泛例示及描述的技术的限制。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图4的实例中，视频编码器20包含视频数据存储器98、预测处理单位100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元及运动补偿单元(未展示)。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
视频数据存储器98可存储待由视频编码器20的组件编码的视频数据。存储于视频数据存储器98中的视频数据可(例如)从视频源18(图1)获得。经解码图片缓冲器116可为存储用于由视频编码器20在例如以帧内或帧间译码模式编码视频数据时使用的参考视频数据的参考图片存储器。视频数据存储器98及经解码图片缓冲器116可由多种存储器装置中的任一个形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器98及经解码图片缓冲器116。在各种实例中，视频数据存储器98可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的图块中的每一CTU。CTU中的每一个可与图片的相等大小的明度译码树型块(CTB)及对应CTB相关联。作为编码CTU的部分，预测处理单位100可执行四分树分割以将CTU的CTB划分成逐步较小的块。较小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个相等大小的子块，将子块中的一或多个分割成四个相等大小的子子块，等等。
视频编码器20可编码CTU的CU以产生CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与明度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小且PU的大小可指PU的明度预测块的大小。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的一或多个预测性样本块及PU的运动信息。帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性样本块及各种语法元素。帧内预测处理单元126可对I图块、P图块及B图块中的PU执行帧内预测。
预测处理单元100可从由帧间预测处理单元120所产生的用于PU的预测性数据或由帧内预测处理单元126所产生的用于PU的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真度量而选择用于CU的PU的预测性数据。所选择预测性数据的预测性样本块在本文中可被称作所选择的预测性样本块。
残余产生单元102可基于CU的译码块(例如，明度、Cb及Cr译码块)及CU的PU的所选择预测性样本块(例如，预测性明度、Cb及Cr块)产生CU的残余块(例如，明度、Cb及Cr残余块)。举例来说，残余产生单元102可产生CU的残余块，使得残余块中的每一样本的值等于CU的译码块中的样本与CU的PU的对应所选择预测性样本块中的对应样本之间的差。
变换处理单元104可执行分割(例如四分树分割)以将与CU相关联的残余块分割为与CU的TU相关联的变换块。因此，在一些实例中，TU可与明度变换块及两个色度变换块相关联。CU的TU的明度变换块及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称作“残余四分树”(RQT)的四分树结构可包含与区域中的每一个相关联的节点。CU的TU可对应于RQT的叶节点。
通过将一或多个变换应用到TU的变换块，变换处理单元104可产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用到变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在此些实例中，变换块可经处理为变换系数块。
量化单元106可量化系数块中的变换系数。量化程序可减少与变换系数中的一些或所有相关联的位深度。逆量化单元108及逆变换处理单元110可分别将逆量化及逆变换应用于系数块，以从系数块重构建残余块。重构建单元112可将经重构建的残余块添加到来自由预测处理单元100产生的一或多个预测性样本块的对应样本，以产生与TU相关联的经重构建变换块。通过以此方式重构建CU的每一TU的变换块，视频编码器20可重构建CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。经解码图片缓冲器116可在滤波器单元114对经重构建的译码块执行一或多个解块操作之后存储经重构建的译码块。帧间预测处理单元120可使用含有经重构建的译码块的参考图片，以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构建的译码块来对与CU位于相同图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作，以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应性可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
除上述作用之外，视频编码器20可形成参数集，例如VPS、PPS及SPS。由视频编码器20所形成的参数集可包含表示关于位流的各种信息的参数，例如启用的译码工具、包含于位流中的多个层、可用于确定何时解码及输出位流的图片的视频可用性信息(VUI)、图片大小信息、轮廓-层-电平(PTL)信息及其它类型的信息。视频编码器20在位流中可包含指示参数集的数据。
如图4的实例中所展示，后处理实体(PPE)119可获得由视频编码器20产生的位流。PPE 119可为文件产生单元36(图1)的实例。PPE 119可为可处理经编码视频数据的视频实体(例如文件产生单元、MANE或拼接/编辑装置)的实例。在一些实例中，PPE 119可为网络实体的实例。在一些视频编码***中，PPE 119及视频编码器20可为单独装置的部分，而在其它实例中，关于PPE 119描述的功能可通过包括视频编码器20的同一装置执行。如上文所描述，PPE 119可经配置以执行上述实例技术(例如根据上述一或多个实例的格式文件)，且(例如目的地装置14、MANE或另一装置的)文件处理单元可经配置以获得如通过PPE 119格式化的文件。
根据本发明的技术，PPE 119可产生或修改文件使得文件符合本发明的第一或第二实例限制。举例来说，可能需要当前参数集以用于解码位流中的当前经译码IRAP图片，当前样本含有当前经译码IRAP图片，当前样本在当前播放轨中，且当前经译码IRAP图片在当前层中。在此实例中，PPE 119可确保当前参数集存在于以下各项中：(1)当前样本，(2)在携载当前层的参考层的播放轨中且与当前样本依时共置的样本，或(3)在携载当前层的参考层的任何给定播放轨的样本项中，其中样本项适用于给定播放轨中的依时共置的样本，或给定播放轨中的解码时间小于但最接近于当前样本的解码时间的样本。在此实例中，如果以上不适用，那么PPE 119可包含当前播放轨中适用于当前样本的样本项中的当前参数集的复本。在一些实例中，PPE 119可始终包含当前播放轨中适用于当前样本的样本项中的当前参数集的复本。
类似地，可能需要当前参数集以用于解码位流中的当前经译码非IRAP图片，当前样本含有当前经译码非IRAP图片，当前样本在当前播放轨中，且当前经译码IRAP图片在当前层中。在此实例中，PPE 119可确保当前参数集存在于以下各项中：(1)在含有当前层中的IRAP图片的当前播放轨中的前一样本之后直到且包含当前样本的当前播放轨的任何样本，(2)在携载当前层的参考层的给定播放轨的样本的范围中的任何样本，从给定播放轨的样本开始的范围与含有当前层中的IRAP图片的当前播放轨的前一样本共置，且继续到给定播放轨中与当前样本依时共置的样本，或(3)携载当前层的参考层的任何给定播放轨的样本项，其中样本项适用于给定播放轨中与当前样本共置的样本，或给定播放轨中的解码时间小于但最接近于当前样本的解码时间的样本。在此实例中，如果以上不适用，那么PPE 119可包含适用于当前样本的当前播放轨的样本项中的当前参数集的复本。在一些实例中，PPE119可始终包含适用于当前样本的当前播放轨的样本项中的当前参数集的复本。
图5为说明实例视频解码器30的框图。出于解释的目的而提供图5，且其并不限制如本发明中所广泛例示及描述的技术。出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图5的实例中，视频解码器30包含视频数据存储器151、熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构建单元158、滤波器单元160，及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储于视频数据存储器151中的视频数据可从(例如)信道16(图1)或通过存取物理数据存储媒体来获得。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于通过视频解码器30例如以帧内或帧间译码模式解码视频数据时使用的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一个形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可通过相同存储器装置或单独存储器装置来提供视频数据存储器151及经解码图片缓冲器162。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频数据存储器151(即，CPB)可接收及存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从视频数据存储器151接收经编码视频数据(例如，NAL单元)，且可解析NAL单元以解码语法元素。熵解码单元150可熵解码NAL单元中的经熵编码语法元素。预测处理单元152、逆量化单元154、逆变换处理单元156、重构建单元158及滤波器单元160可基于从位流获得(例如，提取)的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码图块NAL单元。作为解码位流的部分，熵解码单元150可提取及熵解码来自经译码图块NAL单元的语法元素。经译码图块中的每一个可包含图块标头及图块数据。图块标头可含有关于图块的语法元素。图块标头中的语法元素可包含识别与含有图块的图片相关联的PPS的语法元素。PPS又可识别适用于图片的SPS。SPS又可识别适用于图片的VPS。
除解码来自位流的语法元素以外，视频解码器30可对未经分割的CU执行重构建操作。为对未经分割的CU执行重构建操作，视频解码器30可对CU的每一TU执行重构建操作。通过对CU的每一TU执行重构建操作，视频解码器30可重构建CU的残余块。
作为对CU的TU执行重构建操作的部分，逆量化单元154可逆量化(即，解量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定逆量化单元154应用的量化程度及(同样地)逆量化程度。也就是说，可通过调整在量化变换系数时使用的QP值来控制压缩比，即，用于表示原始序列及经压缩序列的位数目的比率。压缩比也可取决于所采用的熵译码方法。
在逆量化单元154逆量化系数块之后，逆变换处理单元156可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果PU是使用帧内预测来编码，那么帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于空间相邻的PU的预测块而产生用于PU的预测性明度、Cb及Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素而确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素而构建第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果使用帧间预测来编码PU，那么熵解码单元150可提取PU的运动信息。运动补偿单元164可基于PU的运动信息而确定PU的一或多个参考区域。运动补偿单元164可基于用于PU的一或多个参考块处的样本块而产生用于PU的预测性块(例如，预测性明度、Cb及Cr块)。
重构建单元158可使用可适用的与CU的TU相关联的变换块(例如，明度、Cb及Cr变换块)及CU的PU的预测性块(例如，明度、Cb及Cr块)(即，帧内预测数据或帧间预测数据)来重构建CU的译码块(例如，明度、Cb及Cr译码块)。举例来说，重构建单元158可将变换块(例如，明度、Cb及Cr变换块)的样本添加到预测性块(例如，预测性明度、Cb及Cr块)的对应样本，以重构建CU的译码块(例如，明度、Cb及Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块(例如，明度、Cb及Cr译码块)相关联的块伪影。视频解码器30可将CU的译码块(例如，明度、Cb及Cr译码块)存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块(例如，明度、Cb及Cr块)而对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取重要系数块的变换系数层级，逆量化变换系数层级，将变换应用于变换系数层级以产生变换块，至少部分地基于变换块产生译码块，且输出译码块以供显示。
在图5的实例中，计算机可读媒体148包括例如存储器、光学光盘、磁盘或计算装置能够从其读取数据的其它类型的非暂时性存储媒体的计算机可读存储媒体。在计算机可读媒体148包括计算机可读存储媒体的一些实例中，计算机可读存储媒体形成例如源装置12(图1)、文件处理单元34(图1)(例如文件提取单元38)中的一或多个、内容递送网络装置或另一类型的装置的装置的部分。在一些实例中，计算机可读媒体148包括计算机可读通信媒体，例如光纤、通信电缆、电磁波或计算装置能够从其读取数据的其它类型的媒体。
此外，在图5的实例中，文件处理单元149从计算机可读媒体148接收文件或文件的部分。文件处理单元149可为文件提取单元38(图1)或文件处理单元34(图1)中的另一个的实例。文件处理单元149可通过装置(例如目的地装置14、MANE、内容递送网络装置或另一类型的装置)的一或多个处理电路来实施。
文件处理单元149可处理文件。举例来说，文件处理单元149可从文件获得NAL单元。在图5的实例中，通过视频解码器30接收的经编码视频位流可包括从文件获得的NAL单元。根据本发明的技术，文件处理单元149可经配置以依赖于符合本发明的第一或第二实例限制的文件。举例来说，如果参数集在合适的样本中不可用，那么文件处理单元149可经配置以将解码图片所需的参数集的复本从文件的样本项发送到视频解码器30。
图6为说明形成网络200的部分的装置的实例集合的框图。在此实例中，网络200包含路由装置204A、204B(路由装置204)及转码装置206。路由装置204及转码装置206打算表示可形成网络200的一部分的少数装置。例如交换器、集线器、网关、防火墙、桥接器及其它此类装置的其它网络装置也可包含在网络200内。此外，可沿着服务器装置202与客户端装置208之间的网络路径提供额外网络装置。在一些实例中，服务器装置202可对应于源装置12(图1)，而客户端装置208可对应于目的地装置14(图1)。
一般来说，路由装置204实施一或多个路由协议以经由网络200交换网络数据。在一些实例中，路由装置404可经配置以执行代理或高速缓存操作。因此，在一些实例中，路由装置204可被称作代理装置。一般来说，路由装置204执行路由协议以发现经由网络200的路线。通过执行此类路由协议，路由装置204B可发现从其自身经由路由装置204A到服务器装置202的网络路线。
本发明的技术可通过例如路由装置204及转码装置206的网络装置实施，且也可通过客户端装置208实施。以此方式，路由装置204、转码装置206及客户端装置208表示经配置以执行本发明的技术的装置的实例。
图7为说明根据本发明的技术的装置的实例操作的流程图。本发明的流程图作为实例提供。在其它实例中，可执行不同操作或可以不同次序或并行地执行动作。
图7的操作可通过例如源装置12(图1)、文件处理单元34(图1)、后处理实体119(图4)或另一类型的装置的各种装置执行。在图7的实例中，所述装置获得多层位流，其包括多个参数集、视频数据的多个IRAP图片的经编码表示及视频数据的多个非IRAP图片的经编码表示(500)。举例来说，图1的源装置12可从视频编码器20(图1)接收多层位流。作为另一实例，后处理实体119(图4)可从视频编码器20(图4)接收多层位流。另外，在图7的实例中，装置产生用于存储多层位流的文件，使得文件遵从所述文件所符合的文件格式中指定的限制(502)。产生文件可包括将表示文件的数据存储到数据存储媒体。限制可为如上文所描述的本发明的第一或第二实例限制。文件格式的语法不需要所述限制，但关于符合文件格式的文件的内容的其它规则需要所述限制。
图8为说明根据本发明的技术的装置的实例操作的流程图。图8的操作可由例如源装置12(图1)、文件处理单元34(图1)、后处理实体119(图4)、服务器装置202(图6)、转码装置206(图6)、MANE或另一类型的装置的各种装置执行。
在图8的实例中，装置存储将多层位流进行存储的文件(550)。文件遵从所述文件所符合的文件格式中指定的限制。举例来说，限制可为如上文所描述的本发明的第一或第二实例限制。此外，在图8的实例中，装置可将文件的至少一部分流式传输到接收装置(552)。在一些实例中，装置使用DASH或另一流式传输技术以将文件流式传输到接收装置。替代地，装置可将文件提供到(例如根据DASH)将文件输送到接收装置的服务器装置。接收装置可为多种各种类型的装置中的一个，例如目的地装置14、客户端装置208或另一类型的装置。举例来说，装置可从含有IRAP图片的样本开始将文件的一部分进行流式传输。
图9为说明根据本发明的技术的装置的实例操作的流程图。图9的操作可由例如目的地装置14(图1)、客户端装置208(图6)或另一类型的装置的各种类型的装置执行。
在图9的实例中，装置可获得存储多层位流的文件(600)。文件遵从所述文件所符合的文件格式中指定的限制。举例来说，限制可为如上文所描述的本发明的第一或第二实例限制。此外，在图9的实例中，装置可解码文件中的多层位流的至少一部分(602)。举例来说，装置可解码开始于特定IRAP存取单元(即，含有特定IRAP图片的存取单元)的多层位流的一部分。
图10、图11、图12及图13为说明根据本发明的技术的装置存取参数集的实例操作的流程图。图10、图11、图12及图13的实例操作可作为图8的操作的部分执行。举例来说，装置可基于接收装置的视频解码器经配置以从IRAP图片开始解码多层位流的确定将对应于含有IRAP图片的存取单元的文件的至少部分进行流式传输。此外，图10、图11、图12及图13的实例操作可作为图9的操作的部分执行。举例来说，装置可基于装置的视频解码器经配置以从多层位流中的IRAP图片开始解码多层位流的确定来解码文件中的多层位流(602)。
图10为说明根据本发明的技术的装置使用存储于样本项中的参数集的实例操作的流程图。如图10的实例中所说明，装置可确定含有IRAP图片的样本(650)。举例来说，装置可基于定义于文件的播放轨逻辑框中的样本群组来确定哪些样本包含IRAP图片。此外，在图10的实例中，装置可识别适用于所述经确定的样本的样本项(652)。举例来说，装置可基于播放轨的样本到块逻辑框确定播放轨的样本表逻辑框中的哪个样本项适用于所述经确定的样本。装置可接着从识别的样本项获得解码IRAP图片所需的参数集(654)。装置可以各种方式使用解码IRAP图片所需的参数集。举例来说，装置可基于参数集确定视频解码器30是否经配置以从IRAP图片开始解码位流。举例来说，在此实例中，装置可确定视频解码器30是否经配置以基于VPS中指定的轮廓、层及电平(PTL)数据解码位流。在一些实例中，装置可将参数集提供到视频解码器30以使视频解码器30能够解码IRAP图片。
图11为说明根据本发明的技术的装置使用存储于不同播放轨的样本项中的参数集的实例操作的流程图。在图11的实例中，装置可确定含有IRAP图片的样本(700)。在此实例中，样本可在文件的第一播放轨中。在一些实例中，为确定含有IRAP图片的样本，装置可基于定义于文件的播放轨逻辑框中的样本群组来确定哪些样本包含IRAP图片。此外，在图11的实例中，装置可识别携载第一播放轨的参考层的第二播放轨的样本项(702)。经识别的样本项可适用于与经确定的第一播放轨的样本依时共置的第二播放轨的样本。替代地，当并无第二播放轨的样本与经确定的第一播放轨的样本依时共置时，经识别的样本项可适用于第二播放轨中解码时间小于但最接近于经确定的第一播放轨的样本的解码时间的样本。举例来说，装置可使用第二播放轨的样本到块逻辑框来确定适用于第二播放轨的样本的样本项。
此外，在图11的实例中，装置可从识别的样本项获得解码IRAP图片所需的参数集(704)。举例来说，在此实例中，装置可确定视频解码器30是否经配置以基于VPS中指定的PTL数据来解码位流。在一些实例中，装置可将参数集提供到视频解码器30以使视频解码器30能够解码IRAP图片。
图12为说明根据本发明的技术的装置使用存储于样本中的参数集的实例操作的流程图。如图12的实例中所说明，装置可确定含有IRAP图片的样本(750)。此外，在图12的实例中，装置可接着从经确定的样本获得解码IRAP图片所需的参数集(752)。举例来说，在此实例中，装置可确定视频解码器30是否经配置以基于VPS中指定的PTL数据来解码位流。在一些实例中，装置可将参数集提供到视频解码器30以使视频解码器30能够解码IRAP图片。
图13为说明根据本发明的技术的装置使用存储于含有参考层的播放轨的样本中的参数集的实例操作的流程图。在图13的实例中，装置可确定含有IRAP图片的样本(800)。在此实例中，样本可在文件的第一播放轨中。此外，在图13的实例中，装置可识别携载第一播放轨的参考层的第二播放轨的依时共置的样本(802)。此外，在图13的实例中，装置可从识别的样本获得解码IRAP图片所需的参数集(804)。举例来说，在此实例中，装置可确定视频解码器30是否经配置以基于VPS中指定的PTL数据来解码位流。在一些实例中，装置可将参数集提供到视频解码器30以使视频解码器30能够解码IRAP图片。
类似于关于图10、图11、图12及图13描述的那些内容的实例操作可关于非IRAP图片而提供。然而，解码通常并非从非IRAP图片开始。此外，在图12中，就属于特定层且在特定播放轨的特定样本中的非IRAP图片来说，装置可从特定播放轨中的按解码时间在含有特定播放轨中的IRAP图片的前一样本之后及直到所述特定样本的任何样本获得解码非IRAP图片所需的参数集。此外，在图13中，就属于特定层且在第一播放轨的特定样本中的非IRAP图片来说，装置可识别第二播放轨的第一样本与第二播放轨的第二样本之间的第二播放轨中的任何样本。第二播放轨携载第一播放轨的参考层。在此实例中，第二播放轨的第一样本为第二播放轨中的与在第一播放轨中且为在含有IRAP图片的特定样本之前的第一样本的样本依时共置的样本。第二播放轨的第二样本与第一播放轨的特定样本依时共置。
应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同顺序执行、可添加、合并或完全省略(例如，并非所有所描述动作或事件对于所述技术的实践是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时地(而非依序地)执行动作或事件。另外，尽管出于明确性的目的而将本发明的某些方面描述为由单一模块或单元执行，但应理解本发明的技术可由与视频译码器相关联的单元或模块的组合执行。
出于说明的目的，已关于HEVC标准描述本发明的某些方面。然而，本发明中所描述的技术可适用于其它视频译码程序，包含尚未开发的其它标准或专有视频译码程序。
视频编码器20(图1及图4)及/或视频解码器30(图1及图5)可通常被称作视频译码器。同样地，视频译码在适用时可指代视频编码或视频解码。
尽管在上文描述技术的各种方面的特定组合，但提供此些组合仅为了说明本发明中所描述的技术的实例。因此，本发明的技术不应限于此些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想组合。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合实施。举例来说，所描述的功能可由例如处理电路的一或多个处理器执行。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序(例如，根据通信协议)从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制的方式，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储器、快闪存储器或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实际上关于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各项的组合也应包含于计算机可读媒体的范围内。
指令可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行。因此，如本文中所使用的术语“处理器”可指前述结构或适合用于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入组合式编解码器中。此外，所述技术可充分实施于一或多个电路或逻辑元件中。
本发明的技术可在多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能性方面，但未必需要通过不同硬件单元来实现。确切来说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件及/或固件来提供所述单元。
已描述本发明的各种实例。涵盖所描述的***、操作或功能的任何组合。此些及其它实例在以下权利要求书的范围内。

Claims (54)

1.一种处理视频数据的方法，所述方法包括：
获得多层位流，其包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示；及
产生用于存储所述多层位流的文件，使得所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
对于所述文件的多个播放轨的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需要的所述多个参数集的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本。
2.根据权利要求1所述的方法，其中，对于所述多个IRAP图片的特定IRAP图片，以下中的至少一个：
解码所述特定IRAP图片所需的第一参数集通过存在于所述特定IRAP图片的样本中的一或多个提取器的第一集合参考，及
解码所述特定IRAP图片所需的第二参数集通过存在于所述多个播放轨中携载所述特定IRAP图片的层的参考层的播放轨中的所述特定IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
3.根据权利要求1所述的方法，其中，对于所述多个非IRAP图片中的每一相应非IRAP图片：
所述相应非IRAP图片的层含有所述相应非IRAP图片且其为所述多层位流的层，所述相应非IRAP图片的播放轨含有所述相应非IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应非IRAP图片的播放轨，且
所述限制进一步需要解码所述相应非IRAP图片所需的所述参数集中的每一个在以下中的至少一个中：
所述相应非IRAP图片的播放轨中适用于所述相应非IRAP图片的样本的样本项，
用于所述相应非IRAP图片的携载所述相应非IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应非IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的所述非对应播放轨的所述样本项适用于所述相应非IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应非IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应非IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应非IRAP图片的样本的解码时间的样本，
所述相应非IRAP图片的播放轨的任何样本，其在所述相应非IRAP图片的层中的前一含有IRAP图片的样本之后及直到所述相应非IRAP图片的样本(所述前一样本和所述相应非IRAP图片的样本包含在内)，及
所述多个播放轨中携载所述相应非IRAP图片的层的任何参考层的任何播放轨的任何样本，其在所述相应非IRAP图片的层中的所述前一含有IRAP图片的样本的依时共置样本之后及直到所述相应非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
4.根据权利要求3所述的方法，其中，对于所述多个非IRAP图片中的特定非IRAP图片，以下中的至少一个：
解码所述特定非IRAP图片所需的第一参数集通过存在于所述特定非IRAP图片的播放轨的样本中的一或多个提取器的第一集合参考，所述样本在所述特定非IRAP图片的层中的含有IRAP图片的前一样本之后直到所述特定非IRAP图片的样本(所述前一样本和所述特定非IRAP图片的样本包含在内)，及
解码所述特定非IRAP图片所需的第二参数集通过存在于携载所述特定非IRAP图片的层的参考层的播放轨中的样本中的一或多个提取器的第二集合参考，所述样本在所述特定非IRAP图片的层中的含有所述IRAP图片的所述前一样本的依时共置样本之后直到所述特定非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
5.根据权利要求1所述的方法，所述多个参数集包含以下中的至少一个：如ISO/IEC23008-2中所定义的视频参数集、如ISO/IEC 23008-2中所定义的序列参数集，及如ISO/IEC23008-2中所定义的图片参数集。
6.一种用于处理视频数据的装置，所述装置包括：
一或多个处理电路，其经配置以产生用于存储多层位流的文件，以使得所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，其中用于所述相应播放轨的样本的相关样本项为所述相应播放轨中适用于所述样本的样本项，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
数据存储媒体，其耦合到所述一或多个处理电路，所述数据存储媒体经配置以存储所述文件。
7.根据权利要求6所述的装置，其中，对于所述多个IRAP图片的特定IRAP图片，以下中的至少一个：
解码所述特定IRAP图片所需的第一参数集通过存在于所述特定IRAP图片的样本中的一或多个提取器的第一集合参考，及
解码所述特定IRAP图片所需的第二参数集通过存在于所述多个播放轨中携载所述特定IRAP图片的层的参考层的播放轨中的所述特定IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
8.根据权利要求6所述的装置，其中，对于所述多个非IRAP图片中的每一相应非IRAP图片：
所述相应非IRAP图片的层含有所述相应非IRAP图片且其为所述多层位流的层，所述相应非IRAP图片的播放轨含有所述相应非IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应非IRAP图片的播放轨，且
所述限制进一步需要解码所述相应非IRAP图片所需的所述参数集中的每一个在以下中的至少一个中：
所述相应非IRAP图片的播放轨中适用于所述相应非IRAP图片的样本的样本项，
用于所述相应非IRAP图片的携载所述相应非IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应非IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的所述非对应播放轨的所述样本项适用于所述相应非IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应非IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应非IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应非IRAP图片的样本的解码时间的样本，
所述相应非IRAP图片的播放轨的任何样本，其在所述相应非IRAP图片的层中的前一含有IRAP图片的样本之后及直到所述相应非IRAP图片的样本(所述前一样本和所述相应非IRAP图片的样本包含在内)，及
所述多个播放轨中携载所述相应非IRAP图片的层的任何参考层的任何播放轨的任何样本，其在所述相应非IRAP图片的层中的所述前一含有IRAP图片的样本的依时共置样本之后及直到所述相应非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
9.根据权利要求8所述的装置，其中，对于所述多个非IRAP图片中的特定非IRAP图片，以下中的至少一个：
解码所述特定非IRAP图片所需的第一参数集通过存在于所述特定非IRAP图片的播放轨的样本中的一或多个提取器的第一集合参考，所述样本在所述特定非IRAP图片的层中的含有IRAP图片的前一样本之后直到所述特定非IRAP图片的样本(所述前一样本和所述特定非IRAP图片的样本包含在内)，及
解码所述特定非IRAP图片所需的第二参数集通过存在于携载所述特定非IRAP图片的层的参考层的播放轨中的样本中的一或多个提取器的第二集合参考，所述样本在所述特定非IRAP图片的层中的含有所述IRAP图片的所述前一样本的依时共置样本之后直到所述特定非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
10.根据权利要求8所述的装置，所述多个参数集包含以下中的至少一个：如ISO/IEC23008-2中所定义的视频参数集、如ISO/IEC 23008-2中所定义的序列参数集，及如ISO/IEC23008-2中所定义的图片参数集。
11.一种处理视频数据的方法，所述方法包括：
存储将多层位流进行存储的文件，所述文件遵从所述文件符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
将所述文件的至少一部分流式传输到接收装置。
12.根据权利要求11所述的方法，其中所述多个播放轨包含特定播放轨，所述方法进一步包括：
确定在所述特定播放轨中且含有特定IRAP图片的样本；
识别适用于所述经确定的样本的样本项；
从所述识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述特定IRAP图片开始解码所述多层位流。
13.根据权利要求11所述的方法，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载用于所述第一播放轨中携载的层的参考层，所述方法进一步包括：
确定在所述第一播放轨中且含有特定IRAP图片的样本；
识别所述第二播放轨的样本项，其中以下中的至少一个：
所述经识别的样本项适用于与所述经确定的所述第一播放轨的样本依时共置的所述第二播放轨的样本，或
当无所述第二播放轨的样本与所述经确定的所述第一播放轨的样本依时共置时，所述经识别的样本项适用于所述第二播放轨中的解码时间小于但最接近于所述经确定的所述第一播放轨的样本的解码时间的样本；
从所述识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述IRAP图片开始解码所述多层位流。
14.根据权利要求11所述的方法，其进一步包括：
确定含有IRAP图片的样本；
从所述经确定的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述IRAP图片开始解码所述位流。
15.根据权利要求11所述的方法，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载所述第一播放轨中携载的层的参考层，所述方法进一步包括：
确定含有IRAP图片的样本，所述样本在所述第一播放轨中，
识别所述第二播放轨的依时共置的样本；
从所述经识别的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述IRAP图片开始解码所述位流。
16.根据权利要求11所述的方法，其中，对于所述多个IRAP图片中的特定IRAP图片，以下中的至少一个：
解码所述特定IRAP图片所需的第一参数集通过存在于所述特定IRAP图片的样本中的一或多个提取器的第一集合参考，及
解码所述特定IRAP图片所需的第二参数集通过存在于所述多个播放轨中携载所述特定IRAP图片的层的参考层的播放轨中的所述特定IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
17.根据权利要求11所述的方法，其中，对于所述多个非IRAP图片中的每一相应非IRAP图片：
所述相应非IRAP图片的层含有所述相应非IRAP图片且其为所述多层位流的层，所述相应非IRAP图片的播放轨含有所述相应非IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应非IRAP图片的播放轨，且
所述限制进一步需要解码所述相应非IRAP图片所需的所述参数集中的每一个在以下中的至少一个中：
所述相应非IRAP图片的播放轨中适用于所述相应非IRAP图片的样本的样本项，
用于所述相应非IRAP图片的携载所述相应非IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应非IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的所述非对应播放轨的所述样本项适用于所述相应非IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应非IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应非IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应非IRAP图片的样本的解码时间的样本，
所述相应非IRAP图片的播放轨的任何样本，其在所述相应非IRAP图片的层中的前一含有IRAP图片的样本之后及直到所述相应非IRAP图片的样本(所述前一样本和所述相应非IRAP图片的样本包含在内)，及
所述多个播放轨中携载所述相应非IRAP图片的层的任何参考层的任何播放轨的任何样本，其在所述相应非IRAP图片的层中的所述前一含有IRAP图片的样本的依时共置样本之后及直到所述相应非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
18.根据权利要求17所述的方法，其中，对于所述多个非IRAP图片中的特定非IRAP图片，以下中的至少一个：
解码所述特定非IRAP图片所需的第一参数集通过存在于所述特定非IRAP图片的播放轨的样本中的一或多个提取器的第一集合参考，所述样本在所述特定非IRAP图片的层中的含有IRAP图片的前一样本之后直到所述特定非IRAP图片的样本(所述前一样本和所述特定非IRAP图片的样本包含在内)，及
解码所述特定非IRAP图片所需的第二参数集通过存在于携载所述特定非IRAP图片的层的参考层的播放轨中的样本中的一或多个提取器的第二集合参考，所述样本在所述特定非IRAP图片的层中的含有所述IRAP图片的所述前一样本的依时共置样本之后直到所述特定非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
19.根据权利要求11所述的方法，所述多个参数集包含以下中的至少一个：如ISO/IEC23008-2中所定义的视频参数集、如ISO/IEC 23008-2中所定义的序列参数集，及如ISO/IEC23008-2中所定义的图片参数集。
20.一种用于处理视频数据的装置，所述装置包括：
数据存储媒体，其经配置以存储将多层位流进行存储的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
接口，其经配置以将所述文件的至少一部分流式传输到接收装置。
21.根据权利要求20所述的装置，其中所述多个播放轨包含特定播放轨，所述装置包括一或多个处理电路，其经配置以：
确定在所述特定播放轨中且含有特定IRAP图片的样本；
识别适用于所述经确定的样本的样本项；
从所述识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述IRAP图片开始解码所述多层位流。
22.根据权利要求20所述的装置，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载用于所述第一播放轨中携载的层的参考层，所述装置包括一或多个处理电路，其经配置以：
确定在所述第一播放轨中且含有特定IRAP图片的样本；
识别所述第二播放轨的样本项，其中以下中的至少一个：
所述经识别的样本项适用于与所述经确定的所述第一播放轨的样本依时共置的所述第二播放轨的样本，或
当并无所述第二播放轨的样本与所述经确定的所述第一播放轨的样本依时共置时，所述经识别的样本项适用于所述第二播放轨中的解码时间小于但最接近于所述经确定的所述第一播放轨的样本的解码时间的样本；
从所述识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述特定IRAP图片开始解码所述多层位流。
23.根据权利要求20所述的装置，其进一步包括一或多个处理电路，其经配置以执行：
确定含有IRAP图片的样本；
从所述经确定的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述IRAP图片开始解码所述位流。
24.根据权利要求20所述的装置，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载所述第一播放轨中携载的层的参考层，所述装置包括一或多个处理电路，其经配置以：
确定含有IRAP图片的样本，所述样本在所述第一播放轨中，
识别所述第二播放轨的依时共置的样本；
从所述经识别的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定所述接收装置是否经配置以从所述IRAP图片开始解码所述位流。
25.根据权利要求20所述的装置，其中，对于所述多个IRAP图片的特定IRAP图片，以下中的至少一个：
解码所述特定IRAP图片所需的第一参数集通过存在于所述特定IRAP图片的样本中的一或多个提取器的第一集合参考，及
解码所述特定IRAP图片所需的第二参数集通过存在于所述多个播放轨中携载所述特定IRAP图片的层的参考层的播放轨中的所述特定IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
26.根据权利要求20所述的装置，其中，对于所述多个非IRAP图片中的每一相应非IRAP图片：
所述相应非IRAP图片的层含有所述相应非IRAP图片且其为所述多层位流的层，所述相应非IRAP图片的播放轨含有所述相应非IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应非IRAP图片的播放轨，且
所述限制进一步需要解码所述相应非IRAP图片所需的所述参数集中的每一个在以下中的至少一个中：
所述相应非IRAP图片的播放轨中适用于所述相应非IRAP图片的样本的样本项，
用于所述相应非IRAP图片的携载所述相应非IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应非IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的所述非对应播放轨的所述样本项适用于所述相应非IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应非IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应非IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应非IRAP图片的样本的解码时间的样本，
所述相应非IRAP图片的播放轨的任何样本，其为所述相应非IRAP图片的层中的前一含有IRAP图片的样本之后及直到所述相应非IRAP图片的样本(所述前一样本和所述相应非IRAP图片的样本包含在内)，及
所述多个播放轨中携载所述相应非IRAP图片的层的任何参考层的任何播放轨的任何样本，所述样本在所述相应非IRAP图片的层中的所述前一含有IRAP图片的样本的依时共置样本之后及直到所述相应非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
27.根据权利要求26所述的装置，其中，对于所述多个非IRAP图片的特定非IRAP图片，以下中的至少一个：
解码所述特定非IRAP图片所需的第一参数集通过存在于所述特定非IRAP图片的播放轨的样本中的一或多个提取器的第一集合参考，所述样本在所述特定非IRAP图片的层中的含有IRAP图片的前一样本之后直到所述特定非IRAP图片的样本(所述前一样本和所述特定非IRAP图片的样本包含在内)，及
解码所述特定非IRAP图片所需的第二参数集通过存在于携载所述特定非IRAP图片的层的参考层的播放轨中的样本中的一或多个提取器的第二集合参考，所述样本在所述特定非IRAP图片的层中的含有所述IRAP图片的所述前一样本的依时共置样本之后直到所述特定非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
28.根据权利要求20所述的装置，所述多个参数集包含以下中的至少一个：如ISO/IEC23008-2中所定义的视频参数集、如ISO/IEC 23008-2中所定义的序列参数集，及如ISO/IEC23008-2中所定义的图片参数集。
29.一种处理视频数据的方法，所述方法包括：
获得存储多层位流的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
解码所述文件中的所述多层位流的至少一部分。
30.根据权利要求29所述的方法，其中获得所述文件包括逐步下载所述文件。
31.根据权利要求29所述的方法，其中所述多个播放轨包含特定播放轨，所述方法进一步包括：
确定在所述特定播放轨中且含有特定IRAP图片的样本；
识别适用于所述经确定的样本的样本项；
从所述识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定是否从所述IRAP图片开始解码所述多层位流。
32.根据权利要求29所述的方法，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载用于所述第一播放轨中携载的层的参考层，所述方法进一步包括：
确定在所述第一播放轨中且含有特定IRAP图片的样本；
识别所述第二播放轨的样本项，其中以下中的至少一个：
所述经识别的样本项适用于与所述经确定的所述第一播放轨的样本依时共置的所述第二播放轨的样本，或
当并无所述第二播放轨的样本与所述经确定的所述第一播放轨的样本依时共置时，所述经识别的样本项适用于所述第二播放轨中的解码时间小于但最接近于所述经确定的所述第一播放轨的样本的解码时间的样本；
从所述经识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定是否从所述特定IRAP图片开始解码所述多层位流。
33.根据权利要求29所述的方法，其进一步包括：
确定含有IRAP图片的样本；
从所述经确定的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定是否从所述IRAP图片开始解码所述位流。
34.根据权利要求29所述的方法，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载所述第一播放轨中携载的层的参考层，所述方法进一步包括：
确定含有IRAP图片的样本，所述样本在所述第一播放轨中，
识别所述第二播放轨的依时共置的样本；
从所述经识别的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定是否从所述IRAP图片开始解码所述位流。
35.根据权利要求29所述的方法，其中，对于所述多个IRAP图片中的特定IRAP图片，以下中的至少一个：
解码所述特定IRAP图片所需的第一参数集通过存在于所述特定IRAP图片的样本中的一或多个提取器的第一集合参考，及
解码所述特定IRAP图片所需的第二参数集通过存在于所述多个播放轨中携载所述特定IRAP图片的层的参考层的播放轨中的所述特定IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
36.根据权利要求29所述的方法，其中，对于所述多个非IRAP图片的每一相应非IRAP图片：
所述相应非IRAP图片的层含有所述相应非IRAP图片且其为所述多层位流的层，所述相应非IRAP图片的播放轨含有所述相应非IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应非IRAP图片的播放轨，且
所述限制进一步需要解码所述相应非IRAP图片所需的所述参数集中的每一个在以下中的至少一个中：
所述相应非IRAP图片的播放轨中适用于所述相应非IRAP图片的样本的样本项，
用于所述相应非IRAP图片的携载所述相应非IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应非IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的所述非对应播放轨的所述样本项适用于所述相应非IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应非IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应非IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应非IRAP图片的样本的解码时间的样本，
所述相应非IRAP图片的播放轨的任何样本，其在所述相应非IRAP图片的层中的前一含有IRAP图片的样本之后及直到所述相应非IRAP图片的样本(所述前一样本和所述相应非IRAP图片的样本包含在内)，及
所述多个播放轨中携载所述相应非IRAP图片的层的任何参考层的任何播放轨的任何样本，其在所述相应非IRAP图片的层中的所述前一含有IRAP图片的样本的依时共置样本之后及直到所述相应非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
37.根据权利要求36所述的方法，其中，对于所述多个非IRAP图片中的特定非IRAP图片，以下中的至少一个：
解码所述特定非IRAP图片所需的第一参数集通过存在于所述特定非IRAP图片的播放轨的样本中的一或多个提取器的第一集合参考，所述样本在所述特定非IRAP图片的层中的含有IRAP图片的前一样本之后直到所述特定非IRAP图片的样本(所述前一样本和所述特定非IRAP图片的样本包含在内)，及
解码所述特定非IRAP图片所需的第二参数集通过存在于携载所述特定非IRAP图片的层的参考层的播放轨中的样本中的一或多个提取器的第二集合参考，所述样本在所述特定非IRAP图片的层中的含有所述IRAP图片的所述前一样本的依时共置样本之后直到所述特定非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
38.根据权利要求29所述的方法，所述多个参数集包含以下中的至少一个：如ISO/IEC23008-2中所定义的视频参数集、如ISO/IEC 23008-2中所定义的序列参数集，及如ISO/IEC23008-2中所定义的图片参数集。
39.一种用于处理视频数据的装置，所述装置包括：
输入接口，其经配置以获得存储多层位流的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
一或多个处理电路，其耦合到所述输入接口，所述一或多个处理电路经配置以解码所述文件中的所述多层位流的至少一部分。
40.根据权利要求39所述的装置，其中所述输入接口经配置使得作为获得所述文件的部分，所述输入接口逐步下载所述文件。
41.根据权利要求39所述的装置，其中所述多个播放轨包含特定播放轨，所述一或多个处理电路经配置以：
确定在所述特定播放轨中且含有特定IRAP图片的样本；
识别适用于所述经确定的样本的样本项；
从所述经识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定是否从所述IRAP图片开始解码所述多层位流。
42.根据权利要求39所述的装置，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载用于所述第一播放轨中携载的层的参考层，所述装置包括一或多个处理电路，其经配置以：
确定在所述第一播放轨中且含有特定IRAP图片的样本；
识别所述第二播放轨的样本项，其中以下中的至少一个：
所述经识别的样本项适用于与所述经确定的所述第一播放轨的样本依时共置的所述第二播放轨的样本，或
当并无所述第二播放轨的样本与所述经确定的所述第一播放轨的样本依时共置时，所述经识别的样本项适用于所述第二播放轨中的解码时间小于但最接近于所述经确定的所述第一播放轨的样本的解码时间的样本；
从所述经识别的样本项获得解码所述特定IRAP图片所需的参数集；及
基于所述参数集确定是否从所述特定IRAP图片开始解码所述多层位流。
43.根据权利要求39所述的装置，其中所述一或多个处理电路经配置以：
确定含有IRAP图片的样本；
从所述经确定的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定是否从所述IRAP图片开始解码所述位流。
44.根据权利要求39所述的装置，其中所述多个播放轨包含第一播放轨及第二播放轨，所述第二播放轨携载所述第一播放轨中携载的层的参考层，所述一或多个处理电路经配置以：
确定含有IRAP图片的样本，所述样本在所述第一播放轨中，
识别所述第二播放轨的依时共置的样本；
从所述经识别的样本获得解码所述IRAP图片所需的参数集；及
基于所述参数集确定是否从所述IRAP图片开始解码所述位流。
45.根据权利要求39所述的装置，其中，对于所述多个IRAP图片中的特定IRAP图片，以下中的至少一个：
解码所述特定IRAP图片所需的第一参数集通过存在于所述特定IRAP图片的样本中的一或多个提取器的第一集合参考，及
解码所述特定IRAP图片所需的第二参数集通过存在于所述多个播放轨中携载所述特定IRAP图片的层的参考层的播放轨中的所述特定IRAP图片的依时共置的样本中的一或多个提取器的第二集合参考。
46.根据权利要求39所述的装置，其中，对于所述多个非IRAP图片中的每一相应非IRAP图片：
所述相应非IRAP图片的层含有所述相应非IRAP图片且其为所述多层位流的层，所述相应非IRAP图片的播放轨含有所述相应非IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应非IRAP图片的播放轨，且
所述限制进一步需要解码所述相应非IRAP图片所需的所述参数集中的每一个在以下中的至少一个中：
所述相应非IRAP图片的播放轨中适用于所述相应非IRAP图片的样本的样本项，
用于所述相应非IRAP图片的携载所述相应非IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应非IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的所述非对应播放轨的所述样本项适用于所述相应非IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应非IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应非IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应非IRAP图片的样本的解码时间的样本，
所述相应非IRAP图片的播放轨的任何样本，其在所述相应非IRAP图片的层中的前一含有IRAP图片的样本之后及直到所述相应非IRAP图片的样本(所述前一样本和所述相应非IRAP图片的样本包含在内)，及
所述多个播放轨中携载所述相应非IRAP图片的层的任何参考层的任何播放轨的任何样本，其在所述相应非IRAP图片的层中的所述前一含有IRAP图片的样本的依时共置样本之后及直到所述相应非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
47.根据权利要求46所述的装置，其中，对于所述多个非IRAP图片中的特定非IRAP图片，以下中的至少一个：
解码所述特定非IRAP图片所需的第一参数集通过存在于所述特定非IRAP图片的播放轨的样本中的一或多个提取器的第一集合参考，所述样本在所述特定非IRAP图片的层中的含有IRAP图片的前一样本之后直到所述特定非IRAP图片的样本(所述前一样本和所述特定非IRAP图片的样本包含在内)，及
解码所述特定非IRAP图片所需的第二参数集通过存在于携载所述特定非IRAP图片的层的参考层的播放轨中的样本中的一或多个提取器的第二集合参考，所述样本在所述特定非IRAP图片的层中的含有所述IRAP图片的所述前一样本的依时共置样本之后直到所述特定非IRAP图片的样本的依时共置样本(所述两依时共置样本包含在内)。
48.根据权利要求39所述的装置，所述多个参数集包含以下中的至少一个：如ISO/IEC23008-2中所定义的视频参数集、如ISO/IEC 23008-2中所定义的序列参数集，及如ISO/IEC23008-2中所定义的图片参数集。
49.一种用于处理视频数据的装置，所述装置包括：
用于获得多层位流的装置，所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示；及
用于产生用于存储所述多层位流的文件而使得所述文件遵从所述文件所符合的文件格式中指定的限制的装置，其中：
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本。
50.一种包括指令的计算机可读存储媒体，所述指令在执行时使装置：
获得多层位流，所述多层位流包括多个参数集、视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示；及产生用于存储所述多层位流的文件，使得所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本。
51.一种用于处理视频数据的装置，所述装置包括：
用于存储将多层位流进行存储的文件的装置，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
用于将所述文件的至少一部分流式传输到接收装置的装置。
52.一种经配置以存储指令的计算机可读存储媒体，所述指令在执行时使装置：
存储将多层位流进行存储的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应非IRAP图片的播放轨以外的播放轨，用于所述相应非IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
将所述文件的至少一部分流式传输到接收装置。
53.一种用于处理视频数据的装置，所述装置包括：
用于获得存储多层位流的文件的装置，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、所述视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
用于解码所述文件中的所述多层位流的至少一部分的装置。
54.一种其上存储有指令的计算机可读存储媒体，所述指令在执行时使装置：
获得存储多层位流的文件，所述文件遵从所述文件所符合的文件格式中指定的限制，其中：
所述多层位流包括多个参数集、视频数据的多个帧内随机存取图片IRAP图片的经编码表示及所述视频数据的多个非IRAP图片的经编码表示，
对于所述文件的多个播放轨中的每一相应播放轨，用于所述相应播放轨的媒体内容包括相应序列的样本，
对于所述多个IRAP图片中的每一相应IRAP图片：
所述相应IRAP图片的层含有所述相应IRAP图片且其为所述多层位流的层，所述相应IRAP图片的播放轨含有所述相应IRAP图片的样本，所述相应IRAP图片的样本含有所述相应IRAP图片，且所述多个播放轨包含所述相应IRAP图片的播放轨，
所述限制要求解码所述相应IRAP图片所需的所述多个参数集中的每一参数集在以下中的至少一个中：
所述相应IRAP图片的播放轨中适用于所述相应IRAP图片的样本的样本项，
用于所述相应IRAP图片的携载所述相应IRAP图片的层的参考层的非对应播放轨的样本项，用于所述相应IRAP图片的所述非对应播放轨为除所述多个播放轨中的所述相应IRAP图片的播放轨以外的播放轨，用于所述相应IRAP图片的所述非对应播放轨的所述样本项适用于所述相应IRAP图片的所述非对应播放轨中的依时共置的样本或，当用于所述相应IRAP图片的所述非对应播放轨中的所述依时共置的样本不存在时，适用于所述相应IRAP图片的所述非对应播放轨中的解码时间小于但最接近于所述相应IRAP图片的样本的解码时间的样本，
所述相应IRAP图片的样本，及
所述多个播放轨中携载所述相应IRAP图片的层的参考层的播放轨中的所述相应IRAP图片的样本的任何依时共置的样本；及
解码所述文件中的所述多层位流的至少一部分。
CN201680059633.7A 2015-10-14 2016-09-26 用于处理视频数据的方法和设备 Active CN108141616B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562241683P 2015-10-14 2015-10-14
US62/241,683 2015-10-14
US15/274,544 2016-09-23
US15/274,544 US10306253B2 (en) 2015-10-14 2016-09-23 Signaling of parameter sets in files of multi-layer bitstreams
PCT/US2016/053758 WO2017065966A1 (en) 2015-10-14 2016-09-26 Signaling of parameter sets in files of multi-layer bitstreams

Publications (2)

Publication Number Publication Date
CN108141616A true CN108141616A (zh) 2018-06-08
CN108141616B CN108141616B (zh) 2020-10-16

Family

ID=57104205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680059633.7A Active CN108141616B (zh) 2015-10-14 2016-09-26 用于处理视频数据的方法和设备

Country Status (7)

Country Link
US (1) US10306253B2 (zh)
EP (1) EP3363203B1 (zh)
KR (1) KR102057404B1 (zh)
CN (1) CN108141616B (zh)
BR (1) BR112018007540A2 (zh)
TW (1) TWI676387B (zh)
WO (1) WO2017065966A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021209061A1 (en) * 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
WO2022089397A1 (en) * 2020-10-26 2022-05-05 Beijing Bytedance Network Technology Co., Ltd. Roll sample group in vvc video coding
US20230059183A1 (en) 2020-04-07 2023-02-23 Beijing Bytedance Network Technology Co., Ltd. Signaling for inter prediction in high level syntax
US11743506B1 (en) 2020-04-09 2023-08-29 Beijing Bytedance Network Technology Co., Ltd. Deblocking signaling in video coding
US11856237B2 (en) 2020-04-10 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
US11924474B2 (en) 2020-04-26 2024-03-05 Bytedance Inc. Conditional signaling of video coding Syntax Elements

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11197040B2 (en) * 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
WO2018124957A1 (en) 2016-12-30 2018-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Decoded picture buffer management for handling cross-picture data prediction
WO2020125756A1 (en) 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Motion vector bit depth in video processing
US11825156B1 (en) * 2020-02-25 2023-11-21 Axon Enterprise, Inc. Computer system for processing multiplexed digital multimedia files
WO2021201598A1 (ko) * 2020-03-31 2021-10-07 엘지전자 주식회사 레이어간 참조 여부에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
GB2593897B (en) * 2020-04-06 2024-02-14 Canon Kk Method, device, and computer program for improving random picture access in video streaming
WO2021222040A1 (en) 2020-04-27 2021-11-04 Bytedance Inc. Virtual boundaries in video coding
US11750815B2 (en) 2020-09-17 2023-09-05 Lemon, Inc. Versatile video coding track coding
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding
WO2023200291A1 (ko) * 2022-04-14 2023-10-19 엘지전자 주식회사 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301485A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Irap access units and bitstream switching and splicing
US20150110192A1 (en) * 2013-10-23 2015-04-23 Qualcomm Incorporated Multi-layer video file format designs
CN104919801A (zh) * 2013-01-04 2015-09-16 高通股份有限公司 用于多视图译码加深度的纹理及深度视图的分轨存储

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919801A (zh) * 2013-01-04 2015-09-16 高通股份有限公司 用于多视图译码加深度的纹理及深度视图的分轨存储
US20140301485A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Irap access units and bitstream switching and splicing
US20150110192A1 (en) * 2013-10-23 2015-04-23 Qualcomm Incorporated Multi-layer video file format designs

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230059183A1 (en) 2020-04-07 2023-02-23 Beijing Bytedance Network Technology Co., Ltd. Signaling for inter prediction in high level syntax
US11792435B2 (en) 2020-04-07 2023-10-17 Beijing Byedance Network Technology Co., Ltd. Signaling for inter prediction in high level syntax
US11743506B1 (en) 2020-04-09 2023-08-29 Beijing Bytedance Network Technology Co., Ltd. Deblocking signaling in video coding
US11856237B2 (en) 2020-04-10 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
WO2021209061A1 (en) * 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
US11831923B2 (en) 2020-04-17 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
US11924474B2 (en) 2020-04-26 2024-03-05 Bytedance Inc. Conditional signaling of video coding Syntax Elements
WO2022089397A1 (en) * 2020-10-26 2022-05-05 Beijing Bytedance Network Technology Co., Ltd. Roll sample group in vvc video coding

Also Published As

Publication number Publication date
KR20180066098A (ko) 2018-06-18
CN108141616B (zh) 2020-10-16
BR112018007540A2 (pt) 2018-10-23
KR102057404B1 (ko) 2019-12-18
TWI676387B (zh) 2019-11-01
EP3363203B1 (en) 2020-03-04
US10306253B2 (en) 2019-05-28
WO2017065966A1 (en) 2017-04-20
US20170111649A1 (en) 2017-04-20
EP3363203A1 (en) 2018-08-22
TW201715886A (zh) 2017-05-01

Similar Documents

Publication Publication Date Title
CN108141616A (zh) 多层位流的文件中的参数集信令
CN104704842B (zh) 假想参考解码器参数的语法结构
CN108141617B (zh) 用于处理及产生文件的方法和设备以及计算机可读存储媒体
CN104704830B (zh) 用于视频数据的文件格式
CN106170982B (zh) Hevc sei消息用于多层编解码器的一般使用
CN105612752B (zh) 对用于多层视频编解码器的多模提取的支持
CN104813671B (zh) 用于处理视频数据的方法和设备
CN104685888B (zh) 补充增强信息消息译码
CN104919802B (zh) 在视频译码中的非嵌套式补充增强信息消息
CN105659607B (zh) 多层视频文件格式设计
CN104205819B (zh) 用于视频编码的方法和装置
CN109155860A (zh) 以高效率视频译码及分层高效率视频译码文件格式的图块分组及样本的映射
CN106537922B (zh) 用于编码多层视频数据的方法、装置和设备
CN110431849A (zh) 包含用于视频译码的子图片位流的视频内容的信令传输
CN104429081B (zh) 基于干净随机存取(cra)图片的流式传输适应
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN104137551B (zh) 用于三维视频译码的网络抽象层单元标头设计
CN106664447A (zh) 用于载送视频译码延伸的传输流
CN107251559B (zh) 一种处理视频数据的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant