CN105122799B - 用于解码图像的方法以及使用其的设备 - Google Patents
用于解码图像的方法以及使用其的设备 Download PDFInfo
- Publication number
- CN105122799B CN105122799B CN201480017906.2A CN201480017906A CN105122799B CN 105122799 B CN105122799 B CN 105122799B CN 201480017906 A CN201480017906 A CN 201480017906A CN 105122799 B CN105122799 B CN 105122799B
- Authority
- CN
- China
- Prior art keywords
- layer
- picture
- inter
- current
- reference layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000010410 layer Substances 0.000 claims abstract description 448
- 239000011229 interlayer Substances 0.000 claims abstract description 119
- 230000033001 locomotion Effects 0.000 claims description 70
- 238000013139 quantization Methods 0.000 description 19
- 230000011664 signaling Effects 0.000 description 14
- 230000033228 biological regulation Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 3
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 230000006798 recombination Effects 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 229940075930 picrate Drugs 0.000 description 1
- OXNIZHLAWKMVMX-UHFFFAOYSA-M picrate anion Chemical compound [O-]C1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-M 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Machine Translation (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
根据本发明实施例的用于解码图像的方法,该图像支持多层,该方法可包括步骤:为了层间预测接收用于解码当前画面所使用的关于参考层的信息;基于所述关于参考层的信息来导出用于解码当前画面所使用的有效参考层画面的数目;并基于有效参考层画面的数目来执行层间预测。
Description
技术领域
本发明涉及视频编码和解码,并更具体地,涉及用于编码和解码比特流中的支持多层的视频的方法和设备。
背景技术
最近几年,随着HD(高清晰度)广播服务在全国和全世界的发展,许多人正习惯于高分辨率和高质量视频,并因此,多个组织促进下一代视频装置的开发。而且,随着对于具有比HDTV高四倍的分辨率的超高清晰度(UHD)服务的增长兴趣,需要用于高质量视频的压缩技术。
关于视频压缩,可使用根据当前画面的时间上在前和/或在后的画面来预测当前画面中包括的像素值的帧间预测技术、使用当前画面中的像素信息来预测当前画面中包括的像素值的帧内预测技术、或向具有高出现频率的码元分配短代码并向具有低出现频率的码元分配长代码的熵编码技术。
视频压缩技术可包括在硬件的有限操作环境下提供恒定网络带宽、而不考虑可变网络环境的技术。然而,为了压缩对于涉及带宽的频繁改变的网络环境所使用的视频数据,需要新压缩技术,其中可采用可伸缩视频编码/解码方法。
发明内容
【技术问题】
本发明的一方面是提供用信号通知在包括时间层的多层结构的视频编码的比特流中包含的层信息的方法、层间预测方法和获得目标输出层的方法。
本发明的另一方面是提供无需熵解码器为了会话协商存取比特流中的视频参数集(VPS)中规定的层信息的方法、以及使用该方法的设备。
本发明的另一方面是提供用于为了在层间预测中利用而标识解码当前画面所需要的活动层间参考画面的数目的方法、获得目标输出层的方法、以及使用所述方法的设备。
【技术方案】
本发明的一方面提供一种解码支持多层的视频的方法,该方法包括:为了层间预测而接收用于解码当前画面所使用的关于参考层的信息;基于所述关于参考层的信息来导出用于解码当前画面所使用的活动参考层画面的数目;和基于活动参考层画面的数目来执行层间预测。
当前画面的所有片段可具有相同数目的活动参考层画面。
当包括当前画面的当前层的层标识符为0时,活动参考层画面的数目可被导出为0。
当包括当前画面的当前层的直接参考层的数目为0时,活动参考层画面的数目可被导出为0。
当在与当前画面的存取单元相同的存取单元中、基于当前层的直接参考层的数目、参考层的最大时间子层信息、参考层中允许层间预测的时间子层的最大许可值和当前画面的时间标识符而导出的参考层画面的数目为0时,活动参考层画面的数目可被导出为0。
当包括当前画面的当前层的层标识符为0、或者和当前画面的存取单元相同的存取单元中的可用于层间预测的参考层画面的数目不为0、并且存在于与当前画面的存取单元相同的存取单元中并且被包括在当前画面的层间参考画面集合中的、属于包括当前画面的当前层的所有直接参考层的所有直接参考层画面被用作用于当前画面的参考层画面时,可基于指示当前层的直接参考层的数目的变量、关于每一层的最大时间子层信息、每一层中允许层间预测的时间子层的最大许可值和当前画面的时间标识符,而导出活动参考层画面的数目。
在当前画面的所有直接参考层画面之中,具有大于或等于当前画面的时间标识符的最大时间子层信息、和大于当前画面的时间标识符的允许层间预测的最大时间子层信息的参考层中的画面的数目可被用作用于解码当前画面的活动参考层画面的数目。
当不使用层间预测用于解码当前画面时,活动参考层画面的数目可被导出为0。
当使用至多一个画面用于编码视频序列中的每一画面的层间预测、或者包括当前画面的层的直接参考层的数目为1时,活动参考层画面的数目可被导出为1。
当使用至多一个画面用于编码视频序列中的每一画面的层间预测、或者包括当前画面的层的直接参考层的数目为1时,如果可用于解码当前画面的参考层画面的数目大于0,则活动参考层画面的数目可被导出为1,而如果可用于解码当前画面的参考层画面的数目为0,则活动参考层画面的数目可被导出为0。
当使用至多一个画面用于编码视频序列中的每一画面的层间预测、或者与当前画面的存取单元相同的存取单元中可用于层间预测的参考层画面的数目为1时,活动参考层画面的数目可被导出为1。
当关于参考层的信息包括指示用于层间预测的解码当前画面所使用的画面数目的数目信息时,活动参考层画面的数目可被导出为该数目信息所规定的值。
【有利效果】
根据本发明的实施例,提供了用信号通知在包括时间层的多层结构的视频编码的比特流中存在的层信息的方法、层间预测方法和获得目标输出层的方法。
根据本发明的另一实施例,提供了使得不具有熵解码器的甚至媒体感知网络设备(MANE)能为了会话协商存取比特流中的层信息的方法、以及使用该方法的设备。
根据本发明的另一实施例,提供了用于为了在层间预测中利用而精确标识解码当前画面所需要的活动层间参考画面的数目的方法、获得目标输出层的方法、以及使用所述方法的设备。
附图说明
图1是图示了根据实施例的视频编码设备的配置的框图。
图2是图示了根据实施例的视频解码设备的配置的框图。
图3是示意性图示了根据本发明实施例的使用多层的可伸缩视频编码结构的概念图。
图4是图示了根据本发明的视频解码方法的流程图。
图5图示了根据本发明实施例的导出活动参考层画面的数目的方法。
具体实施方式
其后,参考附图来详细描述本发明的实施例。在描述本发明的实施例时,将省略相关已知元件或功能的详细描述,如果认为其使得本发明的要义不必要的模糊的话。
将理解的是,当元件被称为“连接到”或“耦接到”另一元件时,该元件可直接连接或耦接到另一元件或居间元件。而且,当认为“包括”特定元件时,其可意味着不排除除了特定元件之外的元件,并且附加元件可被包括在本发明的实施例中或本发明的技术精神的范围中。
尽管可使用术语“第一”、“第二”等来描述各种元件,但是这些元件不应受到这些术语的限制。使用这些术语仅区分一个元件与另一元件。例如,第一元件可被称为第二元件,而不脱离本发明的范围。类似地,第二元件可被称为第一元件。
尽管独立图示本发明的实施例中描述的组件以便示出不同特性功能,但是这样的配置并不指示每一组件由单独硬件构成单元或软件构成单元构造。即,每一组件包括为了便于描述而安排的个别组件,其中至少两个组件可组合为单一组件,或者单一组件可被划分为多个组件来执行功能。要注意的是,其中一些组件被合并为一个组合组件和/或组件被划分为多个单独组件的实施例被包括在本发明的范围中,而不脱离本发明的要义。
一些构成元件不是执行本发明的基本功能所必需的,并且可以是用于仅改进性能的可选构成元件。本发明可通过仅包括除了用于仅改进性能的构成元件之外的、实现本发明的精神所必需的构成元件来实施。仅包括除了用于仅改进性能的可选构成元件之外的必要构成元件的结构也属于本发明的范围。
图1是图示了根据实施例的视频编码设备的配置的框图。可伸缩视频编码/解码方法或设备可通过不提供可伸缩性的一般视频编码/解码方法或设备的扩展实现,并且图1的框图图示了可形成可伸缩视频编码设备的基础的视频编码设备的示例。
参考图1,该视频编码设备100包括运动估计模块111、运动补偿模块112、帧内预测模块120、开关115、减法器125、变换模块130、量化模块140、熵编码模块150、反量化模块160、逆变换模块170、加法器175、滤波模块180、和参考画面缓冲器190。
视频编码设备100可按照帧内模式或帧间模式来对输入画面图像进行编码,并输出比特流。帧内预测意味着帧内部的预测,而帧间预测意味着帧之间的预测。在帧内模式中,开关115切换到“帧内”,而在帧间模式中,开关115切换到“帧间”。视频编码设备100可生成用于输入画面的输入块的预测块,并然后可对输入块和预测块之间的差进行编码。
在帧内模式中,帧内预测模块120可通过使用当前块周围的预先编码的块的像素值来执行空间预测,以生成预测块。
在帧间模式中,运动估计模块111可在运动估计处理期间获得参考画面缓冲器190中存储的参考画面中、与输入块最匹配的区域,以导出运动向量。运动补偿模块112可通过使用运动向量和参考画面缓冲器190中存储的参考画面来执行运动补偿,由此生成预测块。
减法器125可基于输入块和生成的预测块之间的差来生成残差块。变换模块130可对残差块进行变换,以输出变换系数。量化模块140可根据量化参数对变换系数进行量化,以输出量化后参数。
熵编码模块150可基于量化模块140导出的值或在编码时导出的编码参数值,根据概率分布对码元进行熵编码,由此输出比特流。熵编码是接收具有不同值的码元、并在去除统计冗余度的同时、将码元表示为可解码二进制序列或串的方法。
这里,码元意味着作为编码/解码目标的语法元素、编码参数、残差信号的值等。作为用于编码和解码所必需的参数的编码参数可包括编码设备所编码并向解码设备传递的信息(诸如语法元素)、以及在编码或解码处理期间要推断的信息,并且意味着编码和解码画面所必需的信息。编码参数可包括例如帧内/帧间预测模式的值或统计值、移动/运动向量、参考画面索引、编码块图案、残差信号的存在或不存在、变换系数、量化后变换系数、块尺寸和块分区信息。残差信号可表示原始信号和预测信号之间的差、原始信号和预测信号之间的差的变换后信号、或者原始信号和预测信号之间的差的变换后和量化后信号。以块为单位,残差信号可被称为残差块。
当应用熵编码时,在码元的表示中向具有高概率的码元分配少数目比特,并向具有低概率的码元分配多数目比特,由此降低用于要编码的码元的比特串的尺寸。因此,熵编码可增强视频编码的压缩性能。
关于熵编码,可使用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的编码方法。例如,可在熵编码模块150中存储诸如可变长度编码/代码(VLC)表格的、用于执行熵编码的表格,并且熵编码模块150可使用存储的VLC表格来执行熵编码。此外,熵编码模块150可导出目标码元的二值化方法以及目标码元/仓(bin)的概率模型,并使用导出的二值化方法或概率模型来执行熵编码。
量化后系数可由反量化模块160反量化并可由逆变换模块170逆变换。反量化和逆变换的系数由加法器175添加到预测块,由此生成重构的块。
重构的块经受滤波模块180,并且滤波模块180可向重构的块或重构的画面应用解块滤波、样本自适应偏移(SAO)、和自适应环路滤波(ALF)中的至少一个。经由滤波模块180获得的重构的块可被存储在参考画面缓冲器190中。
图2是图示了根据实施例的视频解码设备的配置的框图。如上面在图1中描述的,可通过不提供可伸缩性的一般视频编码/解码方法或设备的扩展来实现可伸缩视频编码/解码方法或设备,并且图2的框图图示了可形成可伸缩视频解码设备的基础的视频解码设备的示例。
参考图2,视频解码设备200包括熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260、和参考画面缓冲器270。
视频解码设备200接收从编码设备输出的比特流,并按照帧内模式或帧间模式对该比特流进行解码,以输出重组的画面,即重构的画面。在帧内模式中,开关可切换到“帧内”,而在帧间模式中,开关可切换到“帧间”。视频解码设备200可获得从输入比特流重构的残差块,生成预测块,并将残差块与预测块相加,以生成重组的块,即重构的块。
熵解码模块210可根据概率分布对输入比特流进行熵解码,以生成包括量化后系数形式的码元的码元。熵解码是接收二进制序列以生成码元的方法。熵解码方法与前述熵编码方法类似。
量化后系数由反量化模块220反量化,并由逆变换模块230逆变换,由此生成重构的残差块。
在帧内模式中,帧内预测模块240可使用当前块周围的预先编码的块的像素值来执行空间预测,以生成预测块。在帧间模式中,运动补偿模块250可使用运动向量和参考画面缓冲器270中存储的参考画面来执行运动补偿,由此生成预测块。
重构的残差块和预测块由加法器255相加,并且相加的块经受滤波模块260。滤波模块260可向重构的块或重构的画面应用解块滤波、SAO、和ALF中的至少一个。滤波模块260输出重组的画面,即重构的画面。重构的画面被存储在参考画面缓冲器270中,以被用于帧间预测。
在解码设备200的熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260、和参考画面缓冲器270之中,与视频解码直接相关的组件,诸如熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250和滤波模块260可被其它组件分离地定义为解码器或解码单元。
此外,解码设备200可进一步包括解析模块(未示出),以解析关于比特流中包括的编码后视频的信息。解析模块可包括熵解码模块210,或者可被包括在熵解码模块210中。解析模块可被提供为解码单元的一个组件。
图3是示意性图示了根据本发明实施例的使用多层的可伸缩视频编码结构的概念图。在图3中,画面组(GOP)表示画面组,即,一组画面。
为了传送视频数据,需要传送介质,并且其性能可根据各种网络环境针对每一传送介质而不同。为了应用到各种传送介质或网络环境,可提供可伸缩视频编码方法。
可伸缩视频编码方法是这样的编码方法,其利用纹理信息、运动信息、或层间的残差信号等来去除层间冗余,由此改进编码和解码性能。可伸缩视频编码方法可根据诸如传送比特率、传送误差率、和***资源的周围条件,在空间、时间、质量和视点方面,提供各种可伸缩性。
可通过使用多层结构来执行可伸缩视频编码,以便提供可向各种网络状况应用的比特流。例如,可伸缩视频编码结构可包括其中使用一般视频解码方法来压缩和处理视频的基础层,并且还包括其中使用基础层的解码信息和一般视频解码方法两者来压缩和处理视频数据的增强层。
这里,层表示根据空间方面(例如,画面尺寸)、时间方面(例如,编码顺序、画面输出顺序和帧频)、画面质量、视点、复杂度等分类的画面和比特流的集合。此外,基础层可表示更低层或参考层,而增强层可表示更高层。多层可具有彼此之间的从属性。
参考图3,例如,基础层可通过标准清晰度(SD)、15Hz帧频和1Mbps比特率来定义,第一增强层可通过高清晰度(HD)、30Hz帧频和3.9Mbps比特率来定义,并且第二增强层可通过4K-超高清晰度(UHD)、60Hz帧频和27.2Mbps来定义。这些格式、帧频和比特率仅为了示意性目的而提供,并且可根据需要改变和修改。此外,使用的层的数目可取决于情况改变,而不限于当前实施例。
例如,当传送带宽是4Mbps时,可按照降低为15Hz或更少的帧频来传送第一增强层HD。可伸缩视频编码方法可通过使用在上面参考图3描述的方法来提供空间、时间、质量和视点可伸缩性。
可伸缩视频编码可表示编码时的可伸缩视频编码、以及解码时的可伸缩视频解码。
本发明涉及编码/解码包括多个层或视图的视频的处理,其中所述多个层或视图可被表达为第一、第二、第三和第n层或视图。尽管将参考包括第一层和第二层的画面来进行以下描述,但是可向包括两个或多个层或视图的画面应用相同处理。第一层可被表示为基础层,并且第二层可被表示为上层。此外,第一层也可被表示为参考层,并且第二层可被表示为增强层。
与第二层画面/块对应的第一层中的画面/块可被调整为第二层画面/块的尺寸。即,如果第一层画面/块的尺寸小于第二层画面/块的尺寸,则可使用上采样或重采样来缩放第一层画面/块。
第一层画面可被添加到用于第二层的参考画面列表,并被用于编码/解码第二层视频。这里,第二层可经受使用参考画面列表中的第一层画面的预测和编码/解码,如同一般帧间预测中那样。
用于编码/解码的块可具有N x N尺寸(例如,4x 4、8x 8、16x 16、32x 32和64x64)的正方形形状或N x M尺寸(例如,4x 8、16x 8和8x32)的长方形形状,并且块单元可以是编码块(CB)、预测块(PB)和变换块(TB)的至少一个,它们可具有不同尺寸。
其后,将在编码和解码可伸缩视频(即,使用多层结构的视频)的方法中描述生成上层中的编码/解码目标块(“当前块”或“目标块)的预测块(即,预测信号)的方法。以下方法或设备可一般应用到编码设备和解码设备两者。
其间,根据可伸缩高效率视频编码(SHVC)和多视图高效率视频编码(MV-HEVC)标准的当前草案,在表格1中描述profile_tier_level,其规定对于视频参数集(VPS)扩展中的层集合使用的分布图、等级(tier)和级别(level)。
<表格1>
参考表格1,vps_num_profile_tier_level_minus1所规定的值指示VPS中的profile_tier_level()语法结构的数目。
vps_profile_present_flag[i]等于1指示在第i个profile_tier_level()语法结构中存在分布图和等级信息,而vps_profile_present_flag[i]等于0指示在第i个profile_tier_level()语法结构中不存在分布图和等级信息但是被推断出。
profile_ref_minus1[i]指示用于第i个profile_tier_level()语法结构的分布图和等级信息被推断为等于用于第(profile_ref_minus1[i]+1)个profile_tier_level()语法结构的分布图和等级信息。这里,profile_ref_minus1[i]加1小于或等于i。
根据表格1中的标准的当前草案,当i为1并且vps_profile_present_flag[1]为0时,用于第一个profile_tier_level()语法结构的分布图和等级信息需要从第(profile_ref_minus1[i]+1)个profile_tier_level()语法结构推断。即,profile_ref_minus1[1]+1需要为1或0。当profile_ref_minus1[1]+1为0时,profile_ref_minus1[1]为-1,由此破坏在u(6)中编码的profile_ref_minus1[i]的语法定义。
此外,当(profile_ref_minus1[1]+1)为1时,可出现以下问题,其中需要从第一个profile_tier_level语法结构推断第一分布图和等级信息。
为了解决该问题,向语法的语义添加以下限制,即,对于第一个profile_tier_level语法结构vps_profile_present_flag[1]需要总是为1。在该情况下,表格1中的vps_profile_present_flag[i]的语义可如下表达。
vps_profile_present_flag[i]等于1指示在第i个profile_tier_level()语法结构中存在分布图和等级信息,而vps_profile_present_flag[i]等于0指示在第i个profile_tier_level()语法结构中不存在分布图和等级信息但是被推断出。用于第一个profile_tier_level语法结构的vps_profile_present_flag[1]需要为1。
作为选择,可考虑表格2中图示的信令方法以解决以上问题。
<表格2>
参考表格2,vps_num_profile_tier_level_minus1所规定的值指示VPS中的profile_tier_level()语法结构的数目。
vps_profile_present_flag[i]等于1指示在第i个profile_tier_level()语法结构中存在分布图和等级信息,而vps_profile_present_flag[i]等于0指示分布图和等级信息在第i个profile_tier_level()语法结构中不存在,但是从关于第(i-1)个profile_tier_level()语法结构的分布图和等级信息推断出。用于第一个profile_tier_level语法结构的vps_profile_present_flag[1]需要为1。
根据表格2,不用信号通知profile_ref_minus1[1]。
作为选择,可修改VPS的语法结构,使得甚至不具有熵解码器的媒体感知网络设备(MANE)可解析VPS扩展。表格3到5图示了根据本发明各个实施例的VPS。
<表格3>
<表格4>
<表格5>
参考表格3,经由VPS传送的vps_extension_offset规定从VPS NAL单元的开始点到利用语法avc_base_layer_flag开始的固定长度编码的信息的字节偏移。
vps_extension_offset所定义的字节偏移使能对于不需要熵解码的VPS NAL单元中的多条基本信息的存取,并使能会话协商。
例如,不具有熵解码器的MANE可基于vps_extension_offset所规定的字节偏移值,来解析不需要熵解码的多条基本信息,以用于会话协商。
当不具有熵解码器的MANE基于用于会话协商的vps_extension_offset信息(而没有vps_extension_offset之后的熵解码信息)来解析表格4的VPS扩展中的输出层集合信息时,层标识符(ID)列表中的作为规定层的数目的变量的NumLayersInIdList需要被熵解码为表格3中的根据vps_extension_offset之后规定的关于层集合的信息计算的值,即layer_id_included_flag[i][j]。
为了使得VPS扩展中的输出层集合信息可用于会话协商而无需熵解码,可在表格5的VPS扩展中规定关于层集合的信息。
其间,表格5的VPS扩展中规定的与层集合相关的语法元素的语义如下。
与VPS中规定的vps_max_layer_id相同的vps_maximum_layer_id规定编码视频序列(CVS)的所有NAL单元的nuh_layer_id的最大许可值,并且可与VPS中描述的vps_max_layer_id具有相同的值。
vps_number_layer_sets_minus1规定层集合的数目,并且可在vps_vui_offset之前用信号通知。
与VPS中规定的layer_id_included_flag[i][j]类似,layer_id_nuh_included_flag[i][j]等于1指示等于j的nuh_layer_id的值被包括在层标识符列表layerSetLayerIdList[i]中,并且layer_id_nuh_included_flag[i][j]等于0指示等于j的nuh_layer_id的值不被包括layerSetLayerIdList[i]中。layer_id_nuh_included_flag[i][j]需要与VPS中规定的layer_id_included_flag[i][j]具有相同的值。
可如下获得numLayersInIdList[i]和layerSetLayerIdList[i],i在1到vps_number_layer_sets_minus1的范围中。
在基于多层的视频编码和解码方法中,基于VPS扩展中规定的layer_id_nuh_included_flag[i][j],规定VPS视频可使用性信息(VUI)比特流分区假设参考解码器(HRD)参数语法、比特流分区HRD参数补充增强信息(SEI)消息语法等,或者解释层集合相关信息。
作为选择,可在表格6的VPS扩展中规定关于层集合的信息。
<表格6>
表格6图示了VPS扩展中的关于层集合的信息,其中可使用VPS扩展中的输出层集合信息来执行会话协商而无需熵解码。
可在vps_vui_offset之前规定层集合相关语法元素(vps_maximum_layer_id、vps_number_layer_sets_minus1和layer_id_nuh_included_flag[i][j])。
另外,可在vps_vui_offset之前重新定位指示层之间的从属性的direct_dependency_flag。在该情况下,可使用vps_vui_offset来标识vps_vui信息,而无需解析vps_vui_offset之后的语法元素。
作为选择,可在表格7的VPS扩展中规定关于层集合的信息。
<表格7>
参考表格7,VPS中的层集合相关语法元素可位于vps_extension_offset之前。
在可变比特ue(V)中传统编码的vps_num_layer_sets_minus1可在固定比特u(10)中编码以避免熵解码,并且可删除具有VPS扩展中规定的相同功能的vps_number_layer_sets_minus1。
其间,VPS VUI中规定的视频信令信息可用于会话协商,并且VPS VUI可在表格8中描述。
<表格8>
参考表格8,video_signal_info_idx_present_flag等于1指示存在vps_num_video_signal_info_minus1和vps_video_signal_info_idx[i],而video_signal_info_idx_present_flag等于0指示不存在vps_num_video_signal_info_minus1和vps_video_signal_info_idx[i]。
vps_num_video_signal_info_minu1加1指示VPS中的video_signal_info()语法结构的数目。在不存在vps_num_video_signal_info_minu1的情况下,推断出vps_num_video_signal_info_minus1的数目等于MaxLayersMinus1值。
vps_video_signal_info_idx指示向具有等于layer_id_in_nuh[i]的nuh_layer_id的层应用的video_signal_info()语法结构列表的索引。在不存在vps_video_signal_info_idx的情况下,推断出vps_video_signal_info_idx[i]作为(video_signal_info_idx_present_flag?0:i)。vps_video_signal_info_idx[i]可以在0到vps_num_video_signal_info_minus1的范围中。
在SHVC和MV-HEVC标准的当前草案中,由于如表格8中那样在视频信令信息之前存在在指数哥伦布代码(ue(v))中编码的语法元素,所以不具有熵解码器的MANE可能不能使用视频信令信息用于会话协商。
为了解决这样的问题,即,为了使用无需熵解码在用于会话协商的VPS VUI中的视频信令信息,可在表格9中无需熵解码可存取的位置处规定视频信令信息。
<表格9>
如表格9中那样,为了无需熵解码存取视频信令信息,与视频信令信息相关的语法元素可在与bit_rate和pic_rate相关的语法元素之后的VPS_VUI中描述,诸如bit_rate_present_vps_flag、pic_rate_present_vps_flag、bit_rate_present_flag和pic_rate_present_flag。
即,在使用固定比特用信号通知的信号之后接收指示以下信号的存在的标志信息(即,video_signal_info_idx_present_flag),该信号指示多条视频信令信息video_signal_info的数目和视频信令信息的索引,由此没有熵解码地存取视频信令信息。
其间,本发明的方面提出用于为了层间预测获取用来解码当前画面的活动参考层画面的数目的各种方法。
第一方法
可如下获得NumActiveRefLayerPics,其是为了层间预测规定用来解码当前画面的活动参考层画面的数目的变量。根据第一方法,画面的所有片段被定义为具有相同NumActiveRefLayerPics值。
(1)如果作为包括当前画面的层的层ID的nuh_layer_id是0、或者作为包括当前画面的层的直接参考层的数目的NumDirectRefLayers是0,则NumActiveRefLayerPics可被设置为等于0。即,如果层是基础层或者直接参考层的数目是0,则用来解码当前画面的活动参考层画面的数目被设置为等于0。
(2)否则,如果VPS扩展中规定的all_ref_layers_active_flag是1,则NumActiveRefLayerPics可被设置为等于通过等式1、等式2或等式3获得的numRefLayerPics值。
all_ref_layers_active_flag等于1指示对于参考VPS的每一画面,属于包括该画面的层的所有直接参考层的、并且可用于sub_layers_vps_max_minus1[i]和max_tid_il_ref_pics_plus1[i][j]的值所规定的层间预测的直接参考层画面存在于与该画面相同的存取单元中,并被包括在该画面的层间参考画面集合中。
all_ref_layers_active_flag等于0指示可以应用或者可以不应用前述限制。
all_ref_layers_active_flag也可被表达为default_ref_layers_active_flag。
可如下导出numRefLayerPics,其是指示可用于层间预测的与当前画面的AU单元相同的AU单元中的参考层画面的数目的变量。
<等式1>
参考等式1,变量NumDirectRefLayers[]规定根据VPS扩展中规定的direct_dependency_flag所计算的当前层的直接参考层的数目。
sub_layers_vps_max_minus1[i]规定关于每一层的最大时间子层信息,max_tid_il_ref_pics_plus1[i][j]规定每一层中的允许层间预测的时间子层的最大许可值,并且TemporalId规定当前画面的时间级别。
根据等式1,在包括当前画面的层的直接参考层之中,仅具有大于或等于当前画面的TemporalId的sub_layers_vps_max_minus1[i]、并且具有大于当前画面的TemporalId的用于当前层的‘max_tild_il_ref_pics_plus1[i][j]的参考层中的画面可被看作用于层间预测的可用于解码当前画面的直接参考层画面。
其间,当max_tid_il_ref_pics_plus1[i][j]为0时,具有等于layer_id_in_nuh[i]的nuh_layer_id的非内部随机存取点(非IRAP)画面不可用作用于具有等于layer_id_in_nuh[j]的nuh_layer_id的画面的层间预测的参考画面。为了应用这样的限制,可用等式2来代替等式1。
<等式2>
在等式2中,变量NumDirectRefLayers[]规定根据VPS扩展中规定的direct_dependency_flag所计算的当前层的直接参考层的数目。
sub_layers_vps_max_minus1[i]规定关于每一层的最大时间子层信息,max_tid_il_ref_pics_plus1[i][j]规定每一层中的允许层间预测的时间子层的最大许可值,并且TemporalId规定当前画面的时间级别。
根据等式2,当max_tid_il_ref_pics_plus1[i][j]为0时,在包括当前画面的层的直接参考层之中,仅具有等于当前画面的TemporalId的0的max_tid_il_ref_pics_plus1[i][j]、并且具有大于或等于当前画面的TemporalId的sub_layers_vps_max_minus1[i]的参考层中的画面可被看作用于层间预测的可用于解码当前画面的参考层画面。在该情况下,参考层中的画面可限于IRAP画面。
当max_tid_il_ref_pics_plus1[i][j]大于0时,仅具有大于或等于当前画面的TemporalId的sub_layers_vps_max_minus1[i]、并具有大于当前画面的TemporalId的参考层的max_tild_il_ref_pics_plus1[i][j]的参考层中的画面可被看作用于层间预测的可用于解码当前画面的参考层画面。
作为选择,当max_tid_il_ref_pics_plus1[i][j]为0时,具有等于layer_id_in_nuh[i]的nuh_layer_id的非IRAP画面不可用作用于具有等于layer_id_in_nuh[j]的nuh_layer_id的画面的层间预测的参考画面。为了应用这样的限制,可用等式3来代替等式1。
<等式3>
在等式3中,变量NumDirectRefLayers[]规定根据VPS扩展中规定的direct_dependency_flag所计算的当前层的直接参考层的数目。
sub_layers_vps_max_minus1[i]规定关于每一层的最大时间子层信息,max_tid_il_ref_pics_plus1[i][j]规定每一层中的允许层间预测的时间子层的最大许可值,并且TemporalId规定当前画面的时间级别。
根据等式3,仅当参考层的sub_layers_vps_max_minus1[i]大于或等于作为0的当前画面的TemporalId、或者当参考层的max_tid_il_ref_pics_plus1[i][j]大于当前画面的TemporalId时,参考层中的画面可被看作用于解码当前画面的参考层画面。
(3)否则,如果当前画面的片段分段报头中规定的inter_layer_pred_enabled_flag为0,则NumActiveRefLayerPics可被设置为等于0。inter_layer_pred_enabled_flag指示是否使用层间预测用于解码当前画面。
(4)否则,如果VPS中规定的max_one_active_ref_layer_flag为1、或者作为包括当前画面的层的直接参考层的数目的NumDirectRefLayers为1并且通过等式1、等式2或等式3计算的变量numRefLayerPics大于0,则NumActiveRefLayerPics可被设置为等于1。如果从等式1、等式2或等式3获得的numRefLayerPics为0,则NumActiveRefLayerPics可被设置为等于0。
max_one_active_ref_layer_flag等于1指示使用至多一个画面用于编码视频序列中的每一画面的层间预测,并且max_one_active_ref_layer_flag等于0指示使用一个或多个画面用于层间预测。
(5)如果不满足条件(1)到(4),则NumActiveRefLayerPics可被设置为等于经由片段分段报头传送的num_inter_layer_ref_pics_minus1加上1。
(6)当该层的nuh_layer_id是k并且时间子层ID的TemporalId是m时,(1)到(5)中的numRefLayerPics可被表达为numRefLayerPics[k][m],其可通过等式4或等式5来计算。
可用等式4或等式5来替换等式1,等式1用于在VPS级别中导出numRefLayerPics,该numRefLayerPics指示可用于解码比特流中包括的所有层的每一层的子层画面的参考层画面的数目。在该情况下,可用numRefLayerPics[nuh_layer_id][TemporalId]来替换numRefLayerLayerPics。
<等式4>
在等式4中,变量NumDirectRefLayers[]规定根据VPS扩展中规定的direct_dependency_flag所计算的当前层的直接参考层的数目。
sub_layers_vps_max_minus1[i]规定关于每一层的最大时间子层信息,max_tid_il_ref_pics_plus1[i][j]’规定每一层中的允许层间预测的时间子层的最大许可值,并且vps_max_sub_layers_minus1规定可在VPS中规定的所有层中存在的时间子层的最大数目。
在等式4中,参考层画面的layer_id_in_nuh参考VCL NAL单元报头中存在的nuh_layer_id。
根据等式4,确定针对高级别(例如,VPS)的每一层(0~vps_max_layers_minus1)、使用具有0到vps_max_sub_layers_minus1的tid(时间)值的子层之中的哪个子层作为来自直接参考层的参考层。
结果,在存在可参考子层的情况下,可将该子层的layer_id_in_nuh应用到RefLayerIdListForTid[[lId][tId][k++]。numRefLayerPics[lId][tId]规定针对lId层具有tId值的子层的可参考子层的数目。
关于可参考子层的存在,当参考层的sub_layers_vps_max_minus1[]大于或等于当前画面的TemporalId(tId)并且参考层的max_tild_il_ref_pics_plus1[][]大于作为0的当前画面的TemporalId(tId)时,仅参考层中的画面可被确定为可用于解码当前画面的参考层画面用于层间预测。
<等式5>
在等式5中,变量NumDirectRefLayers[]规定根据VPS扩展中规定的direct_dependency_flag所计算的当前层的直接参考层的数目。
sub_layers_vps_max_minus1[i]规定关于每一层的最大时间子层信息,并且max_tid_il_ref_pics_plus1[i][j]规定每一层中的允许层间预测的时间子层的最大许可值。
在等式5中,参考层画面的layer_id_in_nuh参考VCL NAL单元报头中存在的nuh_layer_id。
根据等式5,确定针对高级别(例如,VPS)的每一层(0~vps_max_layers_minus1)、使用每一层的最大时间子层的具有0到sub_layers_vps_max_minus1的tid(时间)值的子层之中的哪个子层作为来自直接参考层的参考层。
结果,在存在可参考子层的情况下,可将该子层的layer_id_in_nuh应用到RefLayerIdListForTid[[lId][tId][k++]。numRefLayerPics[lId][tId]规定针对lId层具有tId值的子层的可参考子层的数目。
关于可参考子层的存在,当参考层的sub_layers_vps_max_minus1[]大于或等于当前画面的TemporalId(tId)并且参考层的max_tild_il_ref_pics_plus1[][]大于作为0的当前画面的TemporalId(tId)时,仅参考层中的画面可被确定为可用于解码当前画面的参考层画面用于层间预测。
第二方法
可如下导出NumActiveRefLayerPics,其是为了层间预测用于解码当前画面所使用的活动参考层画面的数目。画面的所有片段被定义为具有相同NumActiveRefLayerPics。
(1)如果包括当前画面的层的nuh_layer_id是0或者通过等式1、等式2或等式3获得的numRefLayerPics为0,则NumActiveRefLayerPics可被设置为等于0。
(2)否则,如果VPS中规定的all_ref_layers_active_flag为1,则NumActiveRefLayerPics可被设置为等于通过等式1、等式2或等式3获得的numRefLayerPics。
(3)否则,如果当前画面的片段分段报头中规定的inter_layer_pred_enabled_flag是0,则NumActiveRefLayerPics可被设置为等于0。
(4)否则,如果VPS中规定的max_one_active_ref_layer_flag是1或者规定包括当前画面的层的直接参考层的数目的NumDirectRefLayers是1,则NumActiveRefLayerPics可被设置为等于1。
(5)如果不满足条件(1)到(4),则NumActiveRefLayerPics可被设置为等于经由片段分段报头传送的num_inter_layer_ref_pics_minus1加上1。
(6)如果该层的nuh_layer_id是k并且时间子层ID的TemporalId是m,则(1)到(5)中的numRefLayerPics可被表达为numRefLayerPics[k][m],其可通过等式4或等式5导出。
第三方法
作为选择,可如下导出NumActiveRefLayerPics,其是为了层间预测用于解码当前画面所使用的活动参考层画面的数目。画面的所有片段被定义为具有相同NumActiveRefLayerPics.
(1)如果包括当前画面的层的nuh_layer_id是0或者通过等式1、等式2或等式3获得的numRefLayerPics为0,则NumActiveRefLayerPics可被设置为等于0。
(2)否则,如果VPS中规定的all_ref_layers_active_flag为1,则NumActiveRefLayerPics可被设置为等于通过等式1、等式2或等式3获得的numRefLayerPics。
(3)否则,如果当前画面的片段分段报头中规定的inter_layer_pred_enabled_flag是0,则NumActiveRefLayerPics可被设置为等于0。
(4)否则,如果VPS中规定的max_one_active_ref_layer_flag是1或者通过等式1、等式2或等式3获得的numRefLayerPics为1,则NumActiveRefLayerPics可被设置为等于1。
(5)如果不满足条件(1)到(4),则NumActiveRefLayerPics可被设置为等于经由片段分段报头传送的num_inter_layer_ref_pics_minus1加上1。
(6)如果该层的nuh_layer_id是k并且时间子层ID的TemporalId是m,则(1)到(5)中的numRefLayerPics可被表达为numRefLayerPics[k][m],其可通过等式4或等式5来导出。
其间,当使用根据VPS扩展中规定的语法元素所计算的、规定当前层的直接参考层的数目的NumDirectRefLayers[]、指示关于每一层的最大时间子层信息的sub_layers_vps_max_minus1[i]、指示每一层中允许层间预测的时间子层的最大许可值的max_tid_il_ref_pics_plus1[i][j]、以及作为关于当前画面的时间信息的TemporalId来导出指示可用于解码当前画面的参考层画面的数目的numRefLayerPics用于层间预测时,可在表格10中描述片段分段报头,该片段分段报头用信号通知用于层间预测而使用的关于画面的多条信息。
<表格10>
参考表格10,仅当nuh_layer_id大于0、VPS扩展中规定的all_ref_layers_active_flag为0并且通过等式1或2导出的numRefLayerPics大于0时,可用信号通知inter-layer_pred_enabled_flag作为层间参考画面信息。
而且,仅当inter_layer_pred_enabled_flag为1并且numRefLayerPics大于1时,可用信号通知指示层间参考画面的数目的num_inter_layer_ref_pics_minus1和指示层间参考画面的inter_layer_pred_layer_idc[i]。
在前述情形下,当VPS扩展中规定的max_one_active_ref_layer_flag为1时,可以不用信号通知指示层间参考画面的数目的num_inter_layer_ref_pics_minus1。
在前述情形下,当NumActiveRefLayerPics等于numRefLayerPics时,可以不用信号通知指示层间参考画面的inter_layer_pred_layer_idc[i]。
inter_layer_pred_layer_idc[i]可具有包括当前画面的层的范围为0到NumDirectRefLayers-1的值,并且inter_layer_pred_layer_idc[i]如果不用信号通知的话,则可被推断为等于通过等式1或2导出的refLayerPicIdc[i]。
这里,可通过等式6来导出关于可用于解码当前画面的活动参考层画面的信息。nuh_layer_id是当前画面的nuh_layer_id,并且RefLayerId[][]是参考层的layer_id_in_nuh[]。
<等式6>
for(i=0,j=0;i<NumActiveRefLayerPics;i++)
RefPicLayerId[i]=RefLayerId[nuh_layer_id][inter_layer_pred_layer_idc[i]]
作为选择,当使用等式4或等式5导出numRefLayerPics时,可在表格11中片段分段报头,该片段分段报头描述为了层间预测所使用的关于画面的多条信息。
在表格11中,nuh_layer_id是在当前解码目标画面的NAL报头中规定的层ID,并且TemporalId是关于当前解码目标画面的时间信息,即,子层层信息。
<表格11>
参考表格11,仅当nuh_layer_id大于0、VPS扩展中规定的all_ref_layers_active_flag为0、通过等式4或5导出的numRefLayerPics[nuh_layer_id][TemporalId]大于0时,可用信号通知inter-layer_pred_enabled_flag作为层间参考画面信息。
此外,仅当inter_layer_pred_enabled_flag为1并且numRefLayerPics[nuh_layer_id][TemporalId]大于1时,可用信号通知指示层间参考画面的数目的num_inter_layer_ref_pics_minus1和指示层间参考画面的inter_layer_pred_layer_idc[i]。
在前述情形下,当VPS扩展中规定的max_one_active_ref_layer_flag为1时,可以不用信号通知指示层间参考画面的数目的num_inter_layer_ref_pics_minus1。num_inter_layer_ref_pics_minus1可具有范围为0到通过等式4或5所导出的numRefLayerPics[nuh_layer_id][TemporalId]-1的值。
在前述情形下,当NumActiveRefLayerPics等于numRefLayerPics[nuh_layer_id][TemporalId]时,可以不用信号通知指示层间参考画面的inter_layer_pred_layer_idc[i]。
inter_layer_pred_layer_idc[i]可具有包括当前画面-1的层的范围为0到numRefLayerPics[nuh_layer_id][TemporalId]的值,并且inter_layer_pred_layer_idc[i]如果不用信号通知的话,则可被推断为等于索引“i”。
这里,可通过等式7来导出关于可用于解码当前画面的活动参考层画面的信息。nuh_layer_id是当前画面的nuh_layer_id,并且RefLayerIdListForTid[][]是具有通过等式4或等式5导出的参考层的layer_id_in_nuh[]的值的变量。
<等式7>
for(i=0,j=0;i<NumActiveRefLayerPics;i++)
RefPicLayerId[i]=RefLayerIdListForTid[nuh_layer_id][TemporalId][inter_layer_pred_layer_idc[i]]
其间,在SHVC和MV-HEVC标准的当前草案中,通过等式8导出作为目标解码层信息的TargetDecLayerIdList和作为目标输出层信息的TargetOptLayerIdList。
<等式8>
参考等式8,变量TargetOptLayerSetIdx指示目标输出层集合索引,并且可通过VPS扩展所规定的output_layer_set_idx_minus1[]被变换为层集合索引。
NumLayersInIdList规定层集合中包括的层的数目,并且TargetDecLayerIdList规定层集合中包括的要解码的层的nuh_layer_id值。TargetOptLayerIdList指示层集合中包括的要输出的层的nuh_layer_id值。
可在TargetOptLayerIdList中仅包括具有等于1的output_layer_flag的层的nuh_layer_id。
基于VPS扩展中的输出层集合的单位,来用信号通知output_layer_flag[][]。
然而,由于ouput_layer_flag不是由输出层集合确定而是由等式8中的层集合确定,所以可以不正常标识关于输出层的信息。
而且,由于不规定用于第i输出层集合的output_layer_flag[i][j],i在0到vps_number_layer_sets_minus1的范围中,所以可以不正常标识关于输出层的信息。
为了解决这样的问题,用于导出作为目标解码层信息的TargetDecLayerIdList和作为目标输出层信息的TargetOptLayerIdList的等式8可被修改为等式9。
可使用等式9来规定第i输出层集合的output_layer_flag[i][j],i在0到vps_number_layer_sets_minus1的范围中。
<等式9>
在等式9中,output_layer_flag[i][j]等于1指示第i输出层集合中的第j层是目标输出层,并且output_layer_flag[i][j]等于0指示第i输出层集合中的第j层不是目标输出层。
当指示是否输出目标输出层集合索引TargetOptLayerSetIdx所指示的输出层集合中的第j层的output_layer_flag等于1时,包括目标输出层信息的作为目标输出层ID列表的TargetOptLayerIdList可包括目标解码层集合索引TargetDecLayerSetIdx所指示的层集合中的第j层的layer_id值。
可根据经由VPS用信号通知的输出层集合索引信息,来用信号通知TargetDecLayerSetIdx。
包括目标解码层信息的作为目标解码层ID列表的TargetDecLayerIdList可包括TargetDecLayerSetIdx所指示的层集合中的第j层的layer_id值。
可如同下面(a)和(b)中那样推断用于第i输出层集合的output_layer_flag[i][j],i在0到vps_number_layer_sets_minus1的范围中,这可在标准中规定。
default_one_target_output_layer_idc在输出层中用信号通知以导出输出层,并可具有范围为0到3的值。
default_one_target_output_layer_idc等于0可指示输出输出层集合中的所有层,并且default_one_target_output_layer_idc等于1可指示仅输出该输出层集合中包括的层之中的最高层(即,具有最高层ID的层)。
另外,default_one_target_output_layer_idc等于2可指示仅输出output_layer_flag等于1的层。等于3的default_one_target_output_layer_idc可被保留用于将来使用。
(a)当VPS中规定的default_one_target_output_layer_idc为1时,第i层集合中包括的第j层的output_layer_flag[i][j]可被推断为1。j被设置为等于NumLayersInIdList[i]-1。否则,output_layer_flag[i][j]可被推断为0。这里,j具有范围为0到NumLayerInIdList[i]-1的值。
(b)当VPS中规定的default_one_target_output_layer_idc为0时,output_layer_flag[i][j]可被推断为1。这里,j具有范围为0到NumLayerInIdList[i]-1的值。
VPS扩展中规定的vps_number_layer_sets_minus1指示VPS中规定的层集合的数目。由于MV-HEVC/SHVC比特流包括两个或多个层集合,所以vps_number_sets_minus1总是大于1。由此,在u(10)中编码的vps_number_layer_sets_minus1可被规定为具有范围为1到1023的值。作为选择,vps_number_layer_sets_minus1被改变为vps_number_layer_sets_minus2,其可被规定为具有范围为0到1022的值。
而且,本发明提供了指示层间预测所不必需的非参考画面的方法。
可基于经由VPS扩展用信号通知的max_tid_il_ref_pics_plus1[][]来标识具有最高时间ID的画面是非参考画面还是参考画面。
在SHVC和MV-HEVC标准的当前草案中,如同等式10中那样将具有最高时间ID的画面标记为参考画面或非参考画面。
<等式10>
-如果下面规定的那样导出变量remainingInterLayerReferencesFlag:
-当remainingInterLayerReferenccsFlag等于0时,将currPic标记为“不用于参考”。
在等式10中,currTid指示当前解码的画面的时间ID,并且max_tid_il_ref_pics_plus1[iLidx][jLidx]指示当前层中允许层间预测的最大时间ID信息,其经由VPS用信号通知。通过与当前层具有从属性的上层来用信号通知max_tid_il_ref_pics_plus1[iLidx][jLidx]。
当当前解码的画面的时间ID小于或等于具有从属性的上层的max_tid_il_ref_pics_plus1[][]时,用于与包括当前解码画面的层具有从属性的上层的remainingInterLayerReferencesFlag被设置为等于1。
作为确定与当前解码画面具有从属性的所有上层的remainingInterLayerReferencesFlag值的结果,当remainingInterLayerReferencesFlag为0时,当前解码画面被标记为“非参考画面”或“不用于参考”。
然而,当将当前解码画面用作具有从属性的上层的任一个的参考层时,当前解码画面被标记为“参考画面”或“用于参考”。
由此,当指示用于具有从属性的上层之一的参考画面的remainingInterLayerReferencesFlag在等式10中为1时,可省略确定剩余上层的remainingInterLayerReferenceFlag值的处理,并且当前解码画面可以不被改变为非参考画面。即,当前解码画面可被看作参考画面。
<等式11>
-如果下面规定的那样导出变量remainingInterLayerReferencesFlag:
-当remainingInterLayerReferenccsFlag等于0时,将currPic标记为“不用于参考”。
图4是图示了根据本发明的视频解码方法的流程图。
首先,解码设备可为了层间预测接收用于解码当前画面的关于参考层的信息(S410)。
关于参考层的信息可包括标志信息和关于数目的信息,诸如指示具有j索引的层是否是具有i索引的层的直接参考层的direct_dependency_flag[i][j]、指示关于每一层的最大时间子层信息的sub_layers_vps_max_minus1[i]、指示每一层中允许层间预测的时间子层的最大许可值的max_tid_il_ref_pics_plus1[i][j]、当前画面的时间子层ID、指示可用于层间预测的参考层画面是否存在于与当前画面相同的AU中并且被包括在当前画面的层间参考画面集合中的all_ref_layers_active_flag(该层间参考画面被包括在包括当前画面的当前层的所有直接参考层中、并且由关于每一层的最大时间子层信息和每一层中允许层间预测的时间子层的最大许可值来规定)、指示是否使用层间预测用于解码当前画面的inter_layer_pred_enabled_flag、指示是否使用至多一个画面用于CVS中每一画面的层间预测的max_one_active_ref_layer_flag、指示用于层间预测的解码当前画面所使用的画面的数目的num_inter_layer_ref_pics_minus1等。
解码设备基于关于参考层的信息,来导出用于解码当前画面所使用的活动参考层画面的数目(S420)。
属于当前画面的所有片段可和活动参考层画面具有相同数目。
图5图示了根据本发明实施例的导出活动参考层画面的数目的方法。下面将参考图5来描述根据实施例的导出活动参考层画面的数目的处理。
首先,确定包括当前画面的当前层的层ID是否是0或者包括当前画面的当前层的直接参考层的数目是否为0(S510)。
当当前层的层ID为0或者当前层的直接参考层的数目为0时,活动参考层画面的数目被导出为0(S520)。
相反,当当前层的层ID为0或者当前层的直接参考层的数目不为0时,确定是否使用包括当前画面的层的所有直接参考层中包括的直接参考画面之中的、存在于与当前画面相同的AU中并且被包括在当前画面的层间参考画面集合中的所有直接参考画面用于层间预测(S530)。
可基于标志信息all_ref_layers_active_flag来确定操作S530。当all_ref_layers_active_flag等于1时,活动参考层画面的数目可被导出为等于指示用于解码当前画面所使用的参考层画面的数目的参考层画面数目(S540)。
基于指示当前层的直接参考层的数目的变量、关于每一层的最大时间子层信息、每一层中允许层间预测的时间子层的最大许可值、和当前画面的时间ID,来导出参考层画面数目。这里,在包括当前画面的层的直接参考层中的画面之中,具有大于或等于当前画面的时间ID的最大时间子层信息、和大于当前画面的时间ID的用于当前层的最大时间子层信息的参考层中的画面可被看作用于层间预测的可用于解码当前画面的参考层画面。
当all_ref_layers_active_flag为0时,通过层间er_pred_enabled_flag确定是否使用层间预测用于解码当前画面(S550)。当inter_layer_pred_enabled_flag为0时,活动参考层画面的数目被导出为0(S520)。
否则,确定是否使用至多一个画面用于CVS中每一画面的层间画面、或者包括当前画面的层的直接参考层的数目是否为1(S560)。
当max_one_active_ref_layer_flag为1或者包括当前画面的层的直接参考层的数目为1时,活动参考层画面的数目被导出为1(S570)。
当不满足前述确定条件时,活动参考层画面的数目可被导出为由指示用于层间预测的解码当前画面所使用的画面的数目的num_inter_layer_ref_pics_minus1所规定的参考层信息的值(S580)。
返回参考图4,当导出活动参考层画面的数目时,解码设备基于活动参考层画面的数目来执行层间预测(S430)。
如上所述,本发明提供了用信号通知在包括时间层的多层结构的视频编码的比特流中存在的层信息的方法、层间预测方法、获得目标输出层的方法以及使用这些方法的设备。
本发明还提供了无需熵解码器为了会话协商存取比特流中的VPS中规定的层信息的方法、以及使用该方法的设备。
在前述实施例中,已基于作为一连串步骤或块的流程图描述了方法,但是所述方法不限于本发明的步骤的顺序,并且可按照与前述步骤或顺序不同的步骤或顺序或者同时地出现任何步骤。此外,本领域技术人员能理解的是,流程图中示出的步骤不是排他性的,并且可包括其他步骤,或者一个或多个步骤不影响本发明的范围并且可删除。
前述实施例包括示例的各个方面。尽管这里可以不描述所有可能组合来图示各个方面,但是本领域技术人员将理解的是,可在这里进行各种组合,而不脱离所附权利要求限定的本发明的精神和范围。所以,该范围内的所有差别、改变和修改将被解释为包括在本发明中。
Claims (14)
1.一种解码支持多层的视频的方法,该方法包括:
为了层间预测接收用于解码当前画面所使用的关于参考层的信息;
基于所述关于参考层的信息,来导出用于解码当前画面所使用的活动参考层画面的数目;和
基于活动参考层画面的数目来执行层间预测,
其中当包括当前画面的当前层的层标识符为0、并且和当前画面的存取单元相同的存取单元中的可用于层间预测的参考层画面的数目不为0、并且当前层的所有直接参考层中包括的直接参考层画面之中的、通过关于每一层的最大时间子层信息的值和每一层中允许层间预测的时间子层的最大许可值的信息所规定的可用于层间预测的参考层画面存在于与当前画面的存取单元相同的存取单元中并且被包括在当前画面的层间参考画面集合中时,活动参考层画面的数目被导出为等于参考层画面的数目,并且
其中基于指示当前层的直接参考层的数目的信息、关于每一层的最大时间子层信息、每一层中允许层间预测的时间子层的最大许可值的信息和当前画面的时间标识符来导出参考层画面的数目,并且在包括当前画面的当前层的直接参考层中的画面之中,在当前画面的时间标识符和所述最大许可值均为0时,参考层中的画面被看作为了层间预测可用于解码当前画面的参考层画面。
2.根据权利要求1的方法,其中当前画面的所有片段具有相同数目的活动参考层画面。
3.根据权利要求1的方法,其中当包括当前画面的当前层的层标识符为0时,活动参考层画面的数目被导出为0。
4.根据权利要求1的方法,其中当和当前画面的存取单元相同的存取单元中的可用于层间预测的参考层画面的数目为0时,活动参考层画面的数目被导出为0。
5.根据权利要求1的方法,其中当不使用层间预测用于解码当前画面时,活动参考层画面的数目被导出为0。
6.根据权利要求1的方法,其中当使用至多一个画面用于编码视频序列中的每一画面的层间预测、或者当包括当前画面的层的直接参考层的数目为1时,活动参考层画面的数目被导出为1。
7.根据权利要求1的方法,其中当关于参考层的信息包括指示解码当前画面所使用的画面数目的数目信息用于层间预测时,活动参考层画面的数目被导出为该数目信息所规定的值。
8.一种用于解码支持多层的视频的设备,该设备包括:
解码模块,为了层间预测接收用于解码当前画面所使用的关于参考层的信息,基于所述关于参考层的信息,来导出用于解码当前画面所使用的活动参考层画面的数目,并基于活动参考层画面的数目来执行层间预测,
其中当包括当前画面的当前层的层标识符为0、并且和当前画面的存取单元相同的存取单元中的可用于层间预测的参考层画面的数目不为0、并且当前层的所有直接参考层中包括的直接参考层画面之中的、通过关于每一层的最大时间子层信息的值和每一层中允许层间预测的时间子层的最大许可值的信息所规定的可用于层间预测的参考层画面存在于与当前画面的存取单元相同的存取单元中并且被包括在当前画面的层间参考画面集合中时,活动参考层画面的数目被导出为等于参考层画面的数目,并且
其中基于指示当前层的直接参考层的数目的信息、关于每一层的最大时间子层信息、每一层中允许层间预测的时间子层的最大许可值的信息、和当前画面的时间标识符来导出参考层画面的数目,并且在包括当前画面的当前层的直接参考层中的画面之中,在当前画面的时间标识符和所述最大许可值均为0时,参考层中的画面被看作为了层间预测可用于解码当前画面的参考层画面。
9.根据权利要求8的设备,其中当包括当前画面的当前层的层标识符为0时,活动参考层画面的数目被导出为0。
10.根据权利要求8的设备,其中当和当前画面的存取单元相同的存取单元中的可用于层间预测的参考层画面的数目为0时,活动参考层画面的数目被导出为0。
11.根据权利要求8的设备,其中当不使用层间预测用于解码当前画面时,活动参考层画面的数目被导出为0。
12.根据权利要求8的设备,其中当使用至多一个画面用于编码视频序列中的每一画面的层间预测、或者当包括当前画面的层的直接参考层的数目为1时,活动参考层画面的数目被导出为1。
13.一种编码支持多层的视频的方法,该方法包括:
为了层间预测确定用于编码当前画面所使用的关于参考层的信息;
基于所述关于参考层的信息,来导出用于编码当前画面所使用的活动参考层画面的数目;和
基于活动参考层画面的数目来执行层间预测,
其中当包括当前画面的当前层的层标识符为0、并且和当前画面的存取单元相同的存取单元中的可用于层间预测的参考层画面的数目不为0、并且当前层的所有直接参考层中包括的直接参考层画面之中的、通过关于每一层的最大时间子层信息的值和每一层中允许层间预测的时间子层的最大许可值的信息所规定的可用于层间预测的参考层画面存在于与当前画面的存取单元相同的存取单元中并且被包括在当前画面的层间参考画面集合中时,活动参考层画面的数目被导出为等于参考层画面的数目,并且
其中基于指示当前层的直接参考层的数目的信息、关于每一层的最大时间子层信息、每一层中允许层间预测的时间子层的最大许可值的信息、和当前画面的时间标识符来导出参考层画面的数目,并且在包括当前画面的当前层的直接参考层中的画面之中,在当前画面的时间标识符和所述最大许可值均为0时,参考层中的画面被看作为了层间预测可用于编码当前画面的参考层画面。
14.一种存储比特流的计算机可读介质,该比特流通过编码支持多层的视频的方法生成,该方法包括:
为了层间预测确定用于编码当前画面所使用的关于参考层的信息;
基于所述关于参考层的信息,来导出用于编码当前画面所使用的活动参考层画面的数目;和
基于活动参考层画面的数目来执行层间预测,
其中当包括当前画面的当前层的层标识符为0、并且和当前画面的存取单元相同的存取单元中的可用于层间预测的参考层画面的数目不为0、并且当前层的所有直接参考层中包括的直接参考层画面之中的、通过关于每一层的最大时间子层信息的值和每一层中允许层间预测的时间子层的最大许可值的信息所规定的可用于层间预测的参考层画面存在于与当前画面的存取单元相同的存取单元中并且被包括在当前画面的层间参考画面集合中时,活动参考层画面的数目被导出为等于参考层画面的数目,并且
其中基于指示当前层的直接参考层的数目的信息、关于每一层的最大时间子层信息、每一层中允许层间预测的时间子层的最大许可值的信息、和当前画面的时间标识符来导出参考层画面的数目,并且在包括当前画面的当前层的直接参考层中的画面之中,在当前画面的时间标识符和所述最大许可值均为0时,参考层中的画面被看作为了层间预测可用于编码当前画面的参考层画面。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0000413 | 2014-01-02 | ||
KR20140000413 | 2014-01-02 | ||
KR10-2014-0003760 | 2014-01-13 | ||
KR20140003760 | 2014-01-13 | ||
KR20140030743 | 2014-03-17 | ||
KR10-2014-0030743 | 2014-03-17 | ||
KR10-2014-0033012 | 2014-03-20 | ||
KR20140033012 | 2014-03-20 | ||
KR1020140177008A KR102294092B1 (ko) | 2014-01-02 | 2014-12-10 | 영상의 복호화 방법 및 이를 이용하는 장치 |
KR10-2014-0177008 | 2014-12-10 | ||
PCT/KR2014/012495 WO2015102271A1 (ko) | 2014-01-02 | 2014-12-17 | 영상의 복호화 방법 및 이를 이용하는 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105122799A CN105122799A (zh) | 2015-12-02 |
CN105122799B true CN105122799B (zh) | 2019-02-05 |
Family
ID=53793008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480017906.2A Active CN105122799B (zh) | 2014-01-02 | 2014-12-17 | 用于解码图像的方法以及使用其的设备 |
Country Status (5)
Country | Link |
---|---|
US (6) | US9967571B2 (zh) |
EP (2) | EP3086555B1 (zh) |
JP (4) | JP2017508417A (zh) |
KR (4) | KR102294092B1 (zh) |
CN (1) | CN105122799B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9591324B2 (en) * | 2013-10-14 | 2017-03-07 | Qualcomm Incorporated | Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction |
KR102266902B1 (ko) * | 2014-01-13 | 2021-06-18 | 삼성전자주식회사 | 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치 |
WO2021061530A1 (en) * | 2019-09-24 | 2021-04-01 | Futurewei Technologies, Inc. | Ols for spatial and snr scalability |
US20220417519A1 (en) * | 2019-12-30 | 2022-12-29 | Lg Electronics Inc. | Image decoding method comprising dpb management process and apparatus therefor |
JP2023526151A (ja) * | 2020-03-26 | 2023-06-21 | アリババ グループ ホウルディング リミテッド | 映像パラメータセット又はシーケンスパラメータセットを符号化又は復号化するための方法 |
US11297350B1 (en) * | 2020-03-27 | 2022-04-05 | Tencent America LLC | Method for output layer set for multilayered video stream |
WO2021210935A1 (ko) * | 2020-04-15 | 2021-10-21 | 엘지전자 주식회사 | 서브 레이어 요구 개수에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
KR20230008795A (ko) * | 2020-05-04 | 2023-01-16 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
CN115699733A (zh) * | 2020-05-21 | 2023-02-03 | 字节跳动有限公司 | 在视频编解码中信令通知层间参考图片 |
US20230179769A1 (en) * | 2020-05-25 | 2023-06-08 | Lg Electronics Inc. | Multilayer-based image coding method in video or image coding system |
US11646014B1 (en) * | 2022-07-25 | 2023-05-09 | Intuit Inc. | Ensemble of machine learning models for real-time predictions in expert electronic chats |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794818A (zh) * | 2005-12-01 | 2006-06-28 | 西安交通大学 | 可伸缩视频编码中的高性能三维码率控制方法 |
WO2013116415A1 (en) * | 2012-01-31 | 2013-08-08 | Vid Scale, Inc. | Reference picture set (rps) signaling for scalable high efficiency video coding (hevc) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100763196B1 (ko) | 2005-10-19 | 2007-10-04 | 삼성전자주식회사 | 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치 |
US8396134B2 (en) * | 2006-07-21 | 2013-03-12 | Vidyo, Inc. | System and method for scalable video coding using telescopic mode flags |
CN101578884B (zh) | 2007-01-08 | 2015-03-04 | 诺基亚公司 | 提供和使用译码的媒体流的互操作点的预定信令的***和方法 |
JP5918354B2 (ja) | 2011-04-26 | 2016-05-18 | エルジー エレクトロニクス インコーポレイティド | 参照ピクチャリスト管理方法及びその方法を使用する装置 |
US10003817B2 (en) | 2011-11-07 | 2018-06-19 | Microsoft Technology Licensing, Llc | Signaling of state information for a decoded picture buffer and reference picture lists |
KR20130050863A (ko) | 2011-11-08 | 2013-05-16 | 삼성전자주식회사 | 참조리스트를 이용하는 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
US20130114710A1 (en) | 2011-11-08 | 2013-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by prediction using reference picture list, and method and apparatus for decoding video by performing compensation using reference picture list |
KR20130086011A (ko) | 2012-01-20 | 2013-07-30 | 한국전자통신연구원 | 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기 |
WO2013162450A1 (en) * | 2012-04-24 | 2013-10-31 | Telefonaktiebolaget L M Ericsson (Publ) | Encoding and deriving parameters for coded multi-layer video sequences |
US9398284B2 (en) * | 2012-08-16 | 2016-07-19 | Qualcomm Incorporated | Constructing reference picture lists for multi-view or 3DV video coding |
US20140218473A1 (en) * | 2013-01-07 | 2014-08-07 | Nokia Corporation | Method and apparatus for video coding and decoding |
US9756335B2 (en) * | 2013-07-02 | 2017-09-05 | Qualcomm Incorporated | Optimizations on inter-layer prediction signalling for multi-layer video coding |
US10595031B2 (en) * | 2013-07-12 | 2020-03-17 | Qualcomm Incorporated | Selection of target output layers in high efficiency video coding extensions |
EP3056007A4 (en) * | 2013-10-11 | 2017-05-24 | Sharp Kabushiki Kaisha | Color information and chromaticity signaling |
US9681145B2 (en) * | 2013-10-14 | 2017-06-13 | Qualcomm Incorporated | Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency |
ES2862434T3 (es) * | 2017-08-02 | 2021-10-07 | Siemens Healthcare Diagnostics Products Gmbh | Prueba de unión para el diagnóstico de trombocitopenia inducida por heparina |
-
2014
- 2014-12-10 KR KR1020140177008A patent/KR102294092B1/ko active Application Filing
- 2014-12-17 EP EP14876965.6A patent/EP3086555B1/en active Active
- 2014-12-17 JP JP2016562715A patent/JP2017508417A/ja active Pending
- 2014-12-17 EP EP21188128.9A patent/EP3937494A1/en not_active Withdrawn
- 2014-12-17 US US14/774,290 patent/US9967571B2/en active Active
- 2014-12-17 CN CN201480017906.2A patent/CN105122799B/zh active Active
-
2018
- 2018-03-22 US US15/933,040 patent/US10397584B2/en active Active
- 2018-03-22 US US15/933,010 patent/US10375400B2/en active Active
- 2018-03-22 US US15/933,051 patent/US10326997B2/en active Active
- 2018-03-22 US US15/928,964 patent/US10291920B2/en active Active
-
2019
- 2019-03-05 JP JP2019039912A patent/JP2019134444A/ja active Pending
-
2021
- 2021-02-15 JP JP2021022000A patent/JP7490592B2/ja active Active
- 2021-08-20 KR KR1020210109939A patent/KR102423851B1/ko active IP Right Grant
-
2022
- 2022-07-18 KR KR1020220088467A patent/KR102517340B1/ko active IP Right Grant
- 2022-11-30 US US18/060,351 patent/US20230114591A1/en active Pending
-
2023
- 2023-03-17 JP JP2023043188A patent/JP2023072090A/ja active Pending
- 2023-03-29 KR KR1020230041311A patent/KR20230047350A/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794818A (zh) * | 2005-12-01 | 2006-06-28 | 西安交通大学 | 可伸缩视频编码中的高性能三维码率控制方法 |
WO2013116415A1 (en) * | 2012-01-31 | 2013-08-08 | Vid Scale, Inc. | Reference picture set (rps) signaling for scalable high efficiency video coding (hevc) |
Non-Patent Citations (3)
Title |
---|
High efficiency video coding (HEVC) scalable extension Draft 4;Jianle Chen, Qualcomm;《Joint Collaborative Team on Video Coding (JCT-VC)》;20131101;第44,91-92页 |
MV-HEVC Draft Text 6;Gerhard Tech;《Joint Collaborative Team on 3D Video Coding Extension Development》;20131101;第36-64页 |
On Inter-layer Reference Picture Set;Sachin Deshpande;《Joint Collaborative Team on Video Coding (JCT-VC)》;20131101;第1-7页 |
Also Published As
Publication number | Publication date |
---|---|
EP3086555B1 (en) | 2021-09-15 |
US20180213238A1 (en) | 2018-07-26 |
KR20230047350A (ko) | 2023-04-07 |
EP3086555A1 (en) | 2016-10-26 |
EP3086555A4 (en) | 2018-01-10 |
KR102423851B1 (ko) | 2022-07-21 |
US20180213236A1 (en) | 2018-07-26 |
US10291920B2 (en) | 2019-05-14 |
KR20220106094A (ko) | 2022-07-28 |
KR20150081229A (ko) | 2015-07-13 |
CN105122799A (zh) | 2015-12-02 |
US20180213237A1 (en) | 2018-07-26 |
US20180288421A1 (en) | 2018-10-04 |
JP2021101538A (ja) | 2021-07-08 |
US20160316210A1 (en) | 2016-10-27 |
JP7490592B2 (ja) | 2024-05-27 |
JP2023072090A (ja) | 2023-05-23 |
US10326997B2 (en) | 2019-06-18 |
KR102517340B1 (ko) | 2023-04-03 |
US10397584B2 (en) | 2019-08-27 |
JP2017508417A (ja) | 2017-03-23 |
KR20210105868A (ko) | 2021-08-27 |
US10375400B2 (en) | 2019-08-06 |
JP2019134444A (ja) | 2019-08-08 |
KR102294092B1 (ko) | 2021-08-27 |
EP3937494A1 (en) | 2022-01-12 |
US9967571B2 (en) | 2018-05-08 |
US20230114591A1 (en) | 2023-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105122799B (zh) | 用于解码图像的方法以及使用其的设备 | |
CN104303503B (zh) | 图像信息解码方法、图像解码方法和使用所述方法的装置 | |
KR102273183B1 (ko) | 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치 | |
CN104335585B (zh) | 图像解码方法和使用其的装置 | |
CN104137561B (zh) | 解码图像的方法和使用其的装置 | |
KR102252319B1 (ko) | 시간적 스케일러빌러티를 갖는 비디오 부호화 방법 및 장치, 시간적 스케일러빌러티를 갖는 비디오 복호화 방법 및 장치 | |
CN105723712B (zh) | 基于多层的图像编码/解码方法和设备 | |
CN105765978B (zh) | 用于编码/解码图像的方法和使用其的装置 | |
CN107087204A (zh) | 图像解码方法及使用其的装置 | |
CN104969554B (zh) | 图像编码/解码方法和装置 | |
KR20140043240A (ko) | 영상 부호화/복호화 방법 및 장치 | |
KR102400485B1 (ko) | 영상의 복호화 방법 및 이를 이용하는 장치 | |
RU2822511C1 (ru) | Предотвращение избыточной сигнализации в многослойных битовых потоках видео | |
KR20130086011A (ko) | 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |