CN102158697B - 用于解码/编码视频信号的方法及装置 - Google Patents

用于解码/编码视频信号的方法及装置 Download PDF

Info

Publication number
CN102158697B
CN102158697B CN2011100504955A CN201110050495A CN102158697B CN 102158697 B CN102158697 B CN 102158697B CN 2011100504955 A CN2011100504955 A CN 2011100504955A CN 201110050495 A CN201110050495 A CN 201110050495A CN 102158697 B CN102158697 B CN 102158697B
Authority
CN
China
Prior art keywords
image
quality
primary image
information
nal unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011100504955A
Other languages
English (en)
Other versions
CN102158697A (zh
Inventor
朴胜煜
全柄文
朴志皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN102158697A publication Critical patent/CN102158697A/zh
Application granted granted Critical
Publication of CN102158697B publication Critical patent/CN102158697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种解码视频信号的方法，本发明包括当第一部分图像和第一完整图像相应于第一时间点时，决定是否存储该第一部分图像；存储该第一部分图像，以用于参考该第一部分图像解码第二完整图像，该第二完整图像相应于第二时间点，该第二时间点位于该第一时间点之后；其中，该第一部分图像在可伸缩域上的级别低于该第二完整图像在可伸缩域上的级别。

Description

用于解码/编码视频信号的方法及装置
本申请是申请日为2007年9月7日、申请号为200780008161.3、发明名称为“用于解码/编码视频信号的方法及装置”的发明专利申请的分案申请。
技术领域
本发明涉及一种视频信号编/解码方案。
背景技术
压缩编/解码是指一系列的信号处理技术，用于通过通信电路传输数字化信息，或者以合适的存储媒介的形式存储此数字化信息。压缩编/解码的对象有音频、视频、字符等。尤其是，对视频执行压缩编码的技术被称为视频序列压缩。通常，视频序列的特征在于包含空间冗余或时间冗余。
可伸缩视频编码比特流可被选择性地只部分解码。例如，具有低复杂度的解码器能够解码基本层，低数据率的比特流可被提取以用于通过有限容量的网络被传输。为了能进一步逐渐地生成高分辨率的图像，需要逐步提高序列的图像质量。
发明内容
本发明的目的在于提高视频信号的编/解码效率。
因此，本发明是针对一种编/解码视频信号的方法，其充分避免了因相关技术的限制和缺点而导致的一个或多个问题。
本发明的一个目的在于定义一种对于编码解码器(codec)的兼容性的语法，由此提高不同类型的编码解码器间的兼容性。
本发明的另一个目的在于定义一种用于重写可伸缩视频编码比特流的语法，从而提高编码解码器间的兼容性。
本发明的另一个目的在于限定一种语法，此语法用于表示是否于适当位置存储参考基本图像，从而提高编码解码器间的兼容性。
本发明的另一个目的在于定义一种语法，此语法用于表示是否在适当位置存储参考基本图像，从而有效地管理解码图像缓存区(decodedpicture buffer)。
本发明的另一个目的在于通过用于表示是否在适当位置存储参考基本图像的语法，有效地执行解码图像标记。
本发明的另一个目的在于提供一种解码方法，由此，最小化因传输过程中产生的错误而导致的视频信号解码过程中的问题。
本发明的另一个目的在于提供一种方法，通过最小化视频信号的解码过程中所产生的问题的解码方案来管理解码图像缓存区，其中此问题由传输过程产生的错误所导致。
因此，本发明提供以下效果或优点。
首先，编/解码视频信号时，通过定义用于编码解码器的兼容性的语法，本发明可提高不同类型的编码解码器间的兼容性。例如，用于把可伸缩视频编码比特流变换为AVC(先进视频编码)的编码解码器所编码的比特流从而增强编码解码器间的兼容性的语法结构。
第二，解码图像缓存区(DPB)通过本发明被更加有效地管理；从而减少解码图像缓存区上所施加的负担。因此，可提高编/解码速度。
第三，通过使用关于可伸缩视频序列的各种配置信息，本发明可实现更加有效的编/解码。
附图说明
本发明所包括的附图用于提供对本发明的进一步理解，它们被结合在此并构成了本说明书的一部分，这些附图示出了本发明的实施例，并且与说明书一起用于解释本发明的原理。
附图中：
图1为根据本发明的可伸缩视频编/解码***的示意框图；
图2为根据本发明的一个实施例的可增加至可伸缩视频编码比特流的可伸缩序列的配置信息图；
图3为根据本发明的一个实施例的用于解释存储和使用参考基本图像的过程的可伸缩视频编码的各种可伸缩结构的图；
图4为根据本发明的一个实施例的参考基本图像的存储过程的流程图；
图5为根据本发明的一个实施例的用于存储和标记参考基本图像的语法的结构图；
图6为根据本发明的一个实施例的用于存储和标记参考基本图像的语法的结构图；以及
图7至图12分别为根据本发明的一个实施例的获得用于表示是否在缓存区中存储当前NAL单元的标志信息的语法的结构图。
具体实施方式
本发明的其他优点及特征将在下面的描述中被说明，且其部分将可从描述中被了解，或可通过实施本发明而得到。本发明的目的及其他优点将可通过说明书及其权利要求以及附图中所具体指出的结构来实现并获得。
为了实现这些和其他优点，并根据如同包括并广泛描述的本发明的目的，根据本发明的一种解码视频信号的方法包括：当第一部分图像和第一完整图像相应于第一时间点时，决定是否存储该第一部分图像；存储该第一部分图像，以用于参考该第一部分图像解码第二完整图像，该第二完整图像相应于第二时间点，该第二时间点位于该第一时间点之后；其中，该第一部分图像在可伸缩域上的级别低于该第二完整图像在可伸缩域上的级别。
优选地，上述方法进一步包括提取表示是否存储第二部分图像的标志信息，该第二部分图像相应于解码的第二完整图像。
为了进一步实现这些和其他优点，并根据本发明的目的，根据本发明的一种解码视频信号的方法，包括：检查限制标志信息，该限制标志信息用于限制对于编码解码器的兼容性的特定语法；基于该限制标志信息获得第一标志信息，该第一标志信息表示是否在缓存区中存储参考基本图像；和利用根据该第一标志信息被存储的该参考基本图像解码该视频信号。
为了进一步实现这些和其他优点，并根据本发明的目的，根据本发明的用于解码视频信号的装置包括：识别信息检查单元，用于检查限制标志信息，该限制标志信息用于限制对于编码解码器的兼容性的特定语法；和解码图像缓存区单元，用于基于第一标志信息在缓存区中存储基本图像，该第一标志信息表示是否在该缓存区中存储参考基本图像，其中，从检查该限制标志信息的结果中获得该第一标志信息。
可以理解的是以上的一般描述和以下的详细描述都是示例的和解释性的，并且可以提供对本发明的权利要求的进一步说明。
现在将参考本发明优选实施例进行详细说明，其例子已表示在附图中。
首先，对视频信号数据的压缩编/解码考虑空间冗余、时间冗余、可伸缩冗余、视角间冗余。考虑可伸缩冗余的压缩编/解码只是本发明的一个实施例。但是本发明的技术构思可适用于时间冗余、空间冗余、视角间冗余等。
本说明书中所指的“编/解码(coding)”包含编码(encoding)和解码(decoding)两个概念，可以根据本发明的技术构思和技术范围灵活地进行解释。
在视频信号的比特序列配置中，存在称之为NAL(NetworkAbstraction Layer，网络提取层)的分离的层结构，其位于执行运动图像编码过程的VCL(Video Code Layer，视频编码层)和传输并存储编码信息的低层***之间。编码过程的输出为VCL数据，传输或存储之前通过NAL单元被映射。各个NAL单元包含压缩的视频数据或相应于头信息的数据RBSP(Raw Byte Sequence Payload，原始字节序列载荷：运动图像压缩的结果数据)。
NAL单元主要包括NAL单元头和RBSP两部分。NAL单元头包括表示是否包含作为该NAL单元的参考图像的条带的标志信息(nal_ref_idc)和表示NAL单元的类型的识别符(nal_unit_type)。在RBSP中存储经过压缩的原始数据。并且，为了使RBSP的长度表示为8比特的倍数，在RBSP的末尾加入RBSP拖尾比特(RBSP trailing bit)。NAL单元的类型有IDR(Instantaneous Decoding Refresh，即时解码刷新)图像，SPS(SequenceParameter Set，序列参数集)，PPS(Picture Parameter Set，图像参数集)SEI(Supplemental Enhancement Information，补充增强信息)等。
因此，如果表示上述NAL单元的类型的信息(nal_unit_type)表现为可伸缩视频编码条带的话，可通过增加与上述可伸缩编/解码有关的各种配置信息来提高编/解码效率。举例来说，可以增加表示当前接入单元是否为即时解码刷新(以下简称为IDR)接入单元的标志信息，表示空间可伸缩性的依赖关系识别信息(dependency identificationinformation)，质量识别信息，表示参考基本图像是否被用作参考图像的标志信息，优先级识别信息等。为了更加有效地管理解码图像缓存区，可以使用各种可伸缩编/解码的配置信息，下面将参考图2对其进行详细说明。
在标准化中，为了能以适当的费用购买目标产品，规定了对于各种简表和级别的要求。这种情况下，解码器必须满足根据相应简表和级别中所确定的要求。因此，定义了“简表”和“级别”两种概念来表示函数或参数，其用于表示解码器可以处理的被压缩序列的范围的大小。简表识别符(profile_idc)可以识别比特流基于预定的简表。简表识别符是表示比特流所基于的简表的标志。举例来说，H.264/AVC中，简表识别符为66，这是指比特流基于基准简表；简表识别符为77的话，是指以主要简表为基础，简表识别符为88的话，是指比特流以扩展简表为基础。而且，上述简表识别符包含在序列参数集中。
因此，为了处理可伸缩序列，需要识别输入比特流是否为用于可伸缩序列的简表，如果输入比特流识别为用于可伸缩序列的简表的话，有必要增加语法使得用于可伸缩序列的一个以上的附加信息可被传输。这里用于可伸缩序列的简表，作为H.264/AVC的附加方案，表示用于处理可伸缩视频的简表模式。
因为对于传统AVC技术来说，SVC为附加方案，所以，和无条件增加语法相比，增加语法作为用于SVC模式的附加信息更为有效。举例来说，当AVC的简表识别符表示为用于可伸缩序列的简表时，如果增加关于可伸缩序列的信息的话，则可提高编/解码效率。
序列参数集表示头信息，其中头信息包含存在于整个序列的编码中的信息，例如简表、级别等。整个压缩运动图像，即序列应该开始于序列头处。因此，相应于头信息的序列参数集应该在依赖于此参数集的数据到达之前先到达解码器。即，序列参数集RBSP承担用于运动图像压缩的结果数据的头信息的角色。一旦输入比特流，简表识别符优先识别出输入的比特流基于多个简表中的哪一个。
以下解释有效的视频信号解码方法的多个实施例。
图1为根据本发明的可伸缩视频编码***的示意框图。
为了提供对于各种通信环境和各种终端的优化序列，提供到终端的序列应该是多样化的。如果某个终端的优化序列被提供到相应终端的话，则表示针对各种参数(包括每秒的传输帧数，分辨率，每像素的比特数等)的组合值来准备单个序列源。因此，优化序列对内容提供商施加了负担。
因此，内容提供商把原始序列编码为高比特率的压缩序列数据。在接收到由终端做出的序列请求时，内容提供商解码原始序列，把其编码为适合于终端的序列处理能力的序列数据，并且然后把该编码数据提供给终端。因为该代码转化伴随着编码-解码-编码过程，所以在提供序列的过程中不可避免地产生时间延迟。因此，另外需要复杂的硬件设备和算法。
可伸缩视频编码(SVC)是一种以最佳图像质量编码视频信号的编码方案，以使得所产生的图像序列的部分序列能通过解码表现为序列。这里，部分序列是指由从整个序列中被间歇地挑选出来的帧构成的序列。对于由SVC编码的图像序列，对于低比特率利用空间可伸缩性，可缩减序列尺寸，并且也可使用质量可伸缩性降低序列的图像质量。这里，具有小屏幕和/或低的每秒帧数的图像序列可被称为基本层，且具有相对大屏幕和/或相对高的每秒帧数的序列可被称为被增强的或增强层。
上述可伸缩方案所编码的图像序列通过仅接收和处理部分序列的方式以实现低图像质量的序列表示。如果比特率被降低，则图像质量也降低地相当大。
为了解决图像质量的降低问题，可提供低比特率的分离的辅助图像序列，例如包含小屏幕和/或每秒较少帧数的图像序列。这种辅助序列可被称为基本层，而主图像序列可被称为被增强的或增强层。
以下详细解释可伸缩视频编码***。
首先，可伸缩视频编码***包含编码器102和解码器110。
编码器102包含基本层编码单元104、增强层编码单元106以及复用单元108。解码器110可包含去复用单元112、基本层解码单元114以及增强层解码单元116。
通过压缩输入的序列信号X(n)，基本层编码单元104能够产生基本比特流。
使用输入的序列信号X(n)和基本层编码单元104所产生的信息，增强层编码单元106可以产生增强层比特流。
并且，使用基本层比特流和增强层比特流，复用单元108能够产生可伸缩比特流。
所产生的可伸缩比特流通过指定信道被传送至解码器110。通过解码器110的去复用单元112，传输的可伸缩比特流可被分离为增强层比特流和基本层比特流。
基本层解码单元114接收并解码基本层比特流为输出序列信号Xb(n)。
增强层解码单元116接收增强层比特流，并且参考基本层解码单元114所重建的信号，解码增强层比特流为输出序列信号Xe(n)。这里，输出序列信号Xb(n)是具有比之后的输出序列信号Xe(n)低的图像质量或分辨率的序列信号。
可伸缩视频编码过程中，当特定图像通过编码增强层而被传输时，增强层比特流可能在相应的传输期间被部分损坏。这种情况下，因为解码器110使用损坏的增强层比特流解码相应图像，因此原始序列与解码序列在图像质量方面有所不同。特别地，如果存在这种问题的图像是为具有最低时间级别的解码另一图像所需的参考图像的话，则此问题会愈加严重。
因此，具有最低时间级别的图像需要更加有效地被管理。这将在下面通过参考图3和图4来加以详细解释。
根据本发明的一个实施例，解码图像缓存区(DPB)使得在可伸缩视频编码中可实现完整图像和部分图像的可伸缩存储或者标记。这种情形中，完整图像(full picture)表示具有最高质量级别的图像，而部分图像(partial picture)表示具有最低质量级别的图像。或者，完整图像和部分图像可分别被定义为表示相对高和低的质量级别。
例如，如果质量级别被分为5级(0-4)，部分图像可属于质量级别为0至3的例子。完整图像可属于质量级别为4的例子。或者，只有质量级别为0的情形相应于部分图像。
同时，第一时间点处的部分图像在用作参考图像之前需要被存储。因此，为了解码位于第一时间点之后的第二时间点的局部或完整图像，第一时间点处的部分图像可被用作参考图像。并且第一时间点处的完整或部分图像可自适应地被用作参考图像。
图2为根据本发明的一个实施例的可增加至可伸缩视频编码比特流的可伸缩序列的配置信息的图。
图2示出了使得可伸缩序列上的配置信息被增加于其上的NAL单元的结构示例。
NAL单元主要包含NAL单元头和RBSP(原始字节序列载荷：运动图像压缩的结果数据)。
NAL单元头可包含表示该NAL单元是否包含参考图像的条带的识别信息(nal_ref_idc)和表示NAL单元的类型的信息(nal_unit_type)。
并且，在一定限制下可包括NAL单元头的扩展区域。
例如，如果用于表示NAL单元类型的信息和可伸缩视频编码相关或者表示前缀NAL单元，则NAL单元可包含NAL单元头的扩展区域。尤其，如果nal_unit_type等于20或14，NAL单元可包含NAL单元头的扩展区域。根据能够识别是否为SVC比特流的标志信息(svc_mvc_flag)，多视角(multi-view)序列的配置信息可被增加至NAL单元头的扩展区域。
另一例子，如果用于表示NAL单元的类型的信息是表示子集序列参数集的信息，则RBSP可包含关于子集序列参数集的信息。尤其，如果nal_unit_type等于15，则RBSP可包含关于子集序列参数集的信息。这种情形中，根据简表信息，子集序列参数集可包含序列参数集的扩展区域。例如，如果简表信息(profile_idc)为与可伸缩视频编码相关的简表，子集序列参数集可包含序列参数集的扩展区域。或者，根据简表信息，序列参数集可包含序列参数集的扩展区域。序列参数集的扩展区域可包含限制标志信息，以用于为编码解码器的兼容性限制特别的语法。
以下详细解释关于可伸缩序列的各种配置信息，例如可包含于NAL单元头的扩展区域中的配置信息，或者可包含于序列参数集的扩展区域中的配置信息。
首先，表示空间可伸缩性的识别信息是指表示识别NAL单元的依赖关系的信息。例如，依赖关系根据空间分辨率而变化。图3中，Spa_Layer0和Spa_Layer1的图像可具有相同的分辨率。Spa_Layer0的图像可包含通过对Spa_Layer1中的图像执行下采样而获得的图像。
尤其，假设识别NAL单元的依赖关系的信息被命名为dependency_id，Spa_Layer0中的图像具有dependency_id＝0的关系，Spa Layer1的图像则具有dependency_id＝1的关系。
可采用多种方式定义依赖关系识别信息。因此，具有相同值的识别依赖关系的信息NAL单元可表示为依赖关系表示(dependencyrepresentat ion)。
质量识别信息表示用于识别NAL单元的质量的信息。例如，单个图像可被编码为质量不同的图像。图3中，Spa_Layer0和Spa_Layer1中的图像可被编码为彼此质量不同的图像。
尤其，假设用于识别NAL单元的质量的信息被命名为quality_id，图像B1、B2、…、B10可被设定为quality_id＝0。并且，图像Q1、Q2、…、Q10可被设定为quality_id＝1。即，图像B1、B2、…、B10表示包含最低图像质量的图像。这些被称为基本图像。图像Q1、Q2、…、Q10可以包含图像B1、B2、…、B10，并且图像质量好于图像B1、B2、…、B10。可采用多种方式定义质量识别信息。例如，质量识别信息可表示为16个级别。
同时，根据识别依赖关系的信息和质量识别信息，可定义单个层。这种情况下，具有相同数值的识别依赖关系的信息和质量识别信息的NAL单元可表达为层表示(layer representation)。
用于表示时间可伸缩性的识别信息是指用于识别NAL单元的时间级别的信息。可以在分级B图像结构中解释时间级别。
例如，Spa_Layer0中的图像(B1，Q1)和图像(B3，Q3)可包含相同的时间级别Tem_Layer0。如果图像(B5，Q5)参考于图像(B1，Q1)和图像(B3，Q3)，则图像(B5，Q5)可具有比图像(B1，Q1)或图像(B3，Q3)的时间级别Tem_Layer0更高的时间级别Tem_Layer1。同样，如果图像(B7，Q7)参考于图像(B1，Q1)和图像(B5，Q5)，则图像(B7，Q7)可具有比图像(B5，Q5)的时间级别Tem_Layer1更高的时间级别Tem_Layer2。单个存取单元内的全部NAL单元可包含相同的时间级别。IDR存取单元的例子中，时间级别值可变为0。
标志信息用于表示参考基本图像是否被用作参考图像，此标志信息表示帧间预测(inter-prediction)过程中参考基本图像是否用作参考图像或者解码图像是否被用作参考图像。相同层的NAL单元，即包含相同的识别依赖关系的信息的NAL单元的标志信息可包含相同的值。
优先级识别信息表示用于识别NAL单元的优先级的信息。使用优先级识别信息可提供层间(inter-layer)可扩展性或者图像间(inter-picture)可扩展性。例如，通过使用优先级识别信息可为用户提供各种时间和空间级别的序列。因此，用户可仅仅根据不同的限制条件就可看到特定时间和空间的序列或视图。
优先级信息可根据其参考条件采用多种方式而形成。优先级信息可随机形成而无须采用特别参考。并且，优先级信息可由解码器决定。
NAL单元头的扩展区域中包含的配置信息可包含用于表示当前存取单元是否为IDR存取单元的标志信息。
图3为根据本发明的一个实施例的用于解释存储和使用参考基本图像过程的可伸缩视频编码的各种可伸缩性结构的图。
首先，时间可伸缩性中，可根据帧速率决定视频序列的层。
请参考图3，每层中沿向上方向的话，则指更高的时间可伸缩层以表示帧率变得更高。
通过把分级B图像或分级P图像的概念应用至H.264视频编码，可实现时间可伸缩视频编码。例如，在预测属于时间级别Tem_Layer1中的图像(B5，Q5)的例子中，图像(B7，Q7，B9，Q9)属于具有比时间级别Tem_Layer1的值更大的时间级别Tem_Layer2，所以无法用作参考图像。然而，图像(B1，Q1，B3，Q3)属于具有更低时间级别的Tem_Layer0，所以可用作参考图像。
因此，无论是否存在属于比随机时间层更高的层的图像的解码，属于随机时间层的图像可被独立地解码。如果根据解码器的能力判定为可解码级别，则可解码相应帧速率的H.264兼容视频信号。
以下解释图3中的空间可伸缩性。Spa_Layer0和Spa_Layer1中的图像分别包含相同的分辨率。Spa_Layer0的图像是通过对Spa_Layer1中的图像执行下采样而获得的图像。例如，关于NAL单元的识别依赖关系的信息被设定为dependency_id，Spa_Layer0中的图像可被设定为dependency_id等于0，Spa_Layer1中的图像可被设定为dependency_id等于1。
以下解释质量可伸缩性。空间轴上每层的图像可包含彼此质量不同的图像。例如，假设用于识别NAL单元的质量的信息被设定为quality_id，图像B1、B2、…、B10可被设定为quality_id等于0，图像Q1、Q2…、Q10可被设定为quality_id＝1。尤其，图像B1、B2、…、B10表示具有最低图像质量的图像。相反地，图像Q1、Q2…、Q10相应的图像所具有的图像质量高于图像B1、B2、…、B10。可采用多种方式定义质量识别信息。例如，质量识别信息可表示为16个级别。
以下解释根据本发明的一个实施例的存储参考基本图像和使用所存储的参考基本图像进行解码的过程。
参考图3中所示的图像，解码顺序可设定为B1、Q1、B2、Q2、B3、Q3、…、B10、Q10(1→2→3→4→…，→9→10)。如果当前待解码的图像为B4，图像B1、Q1、B2、Q2、B3以及Q3为事先被解码的图像。图像B4相应于具有最低时间级别和最低质量级别的图像。图像B4可参考图像B2，其中图像B2为基本图像。因此，图像B2应该存储于解码图像缓存区中。
这种情形中，当解码该已被解码的图像B2时，需要表示图像B2将被存储于解码图像缓存区中以用于以后待编码的图像(例如，图像B4)的标志信息。例如，如果当前NAL单元相应于参考基本图像，则可定义表示是否存储当前NAL  单元于缓存区中的标志信息为store_ref_base_pic_flag。并且可能需要用于表示图像B2是否将被作为基本图像的标记。因此，在图像B2解码之后，解码图像缓存区可标记图像B2作为参考基本图像。完成这些步骤之后，当解码图像B4时，根据store_ref_base_pic_flag，图像B4可使用图像B2作为参考图像，其中图像B2存储于解码图像缓存区中，并且被标记为参考基本图像。
根据本发明的另一实施例，当前NAL单元相应于最低质量级别并且包含参考图像的条带时，以下解释获得标志信息的过程，此标志信息用于表示是否在缓存区中存储当前NAL单元。
例如，此标志信息可以仅为用于可伸缩视频编码比特流的语法元素。因此，需要能够限制此标志信息的另一信息以用于编码解码器的兼容性。或者，需要能够限制此标志信息的另一信息以使得比特流格式能被变换。例如，可定义用于重写可伸缩视频编码比特流的标志信息，以满足编码解码器的兼容性。
为了与前一编码解码器相容，例如，可伸缩视频编码比特流通过AVC编码解码器被解码的情况下，需要将可伸缩视频编码比特流重写为AVC比特流中。这样的话，限制标志信息仅仅可限制应用至可伸缩视频编码比特流的语法信息。通过限定，使用简单的变换过程就可变换可伸缩视频编码比特流为AVC比特流。例如，可表示为slice_header_retriction_flag。限制标志信息可从序列参数集或子集序列参数集中获得。或者，可从子集序列参数集的扩展区域中获得限制标志信息。
可限制仅用于特定编码解码器的语法元素。例如，当前NAL单元相应于最低质量级别并且包含参考图像的条带的情况下，可使用限制标志信息在条带头处限制标志信息，其中此标志信息用于表示是否在缓存区中存储当前NAL单元。尤其，仅仅当slice_header_retriction_flag＝0时，可获得store_ref_base_pic_flag信息。如果slice_header_retriction_flag＝1，则无法获得store_ref_base_pic_flag信息。这扮演了使可伸缩视频编码比特的条带头相等于AVC比特流的头的角色，从而可由AVC编码解码器实现解码。
图4为根据本发明的一个实施例的存储参考基本图像的过程的流程图。
首先，以下描述中将用到图3。在试图解码与当前图像相对应的图像B4的情况下，图像B4相应于包含最低时间级别和最低质量级别的图像。即，图像B4可相应于由基本表示(base representation)所表示的基本图像。因此，图像B4可参考图像B2作为基本图像。为了参考图像B2，需要事先将图像B2存储于解码图像缓存区中。
以下描述中解释把图像B2存储于解码图像缓存区中以使用图像B2作为参考图像的过程。
解码图像B2时，可从当前NAL单元头的扩展区域中获得质量识别信息。质量识别信息表示如同图2所述的最低值时，图像B2的当前NAL单元可相应于基本图像。因此，需要根据所获得的质量识别信息检查图像B2的当前NAL单元是否相应于基本图像(S410)。
因为图像B2将被用作参考图像，这可由NAL单元头被通知。例如，可获得识别信息(nal_ref_idc)，此识别信息(nal_ref_idc)用于表示当前NAL单元是否包含参考图像的条带。根据此识别信息，需要检查图像B2的当前NAL单元是否包含参考图像的条带(S420)。根据此识别信息，如果当前NAL单元为基本图像并且包含参考图像的条带，则当前NAL单元可相应于参考基本图像。
因此，如果当前NAL单元相应于最低质量级别并且包含参考图像的条带的话，则执行参考图像标记过程。解码图像缓存区的图像标记过程中，参考基本图像可额外地被标记为参考基本图像。这种情形中，可获得用于表示是否存储此参考基本图像的标志信息。为了获得此标志信息，则不应该存在其他标志信息以限制此标志信息。例如，需要检查用于限制对于编码解码器的兼容性的特别语法的限制标志信息(S430)。
标志信息可以是从子集序列参数集的扩展区域中获得的信息。尤其，假设用于重写可伸缩视频编码比特流为AVC比特流以用于编码解码器的兼容性的限制标志信息为slice_header_retriction_flag。使用此限制标志信息，可表示涉及到序列参数集的特别语法是否存在于条带头内。基于此限制标志信息，可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(S440)。
根据用于表示是否在缓存区中存储当前NAL单元的标志信息，如果当前网络提取层单元被存储，并且如果当前网络提取层单元并非为IDR图像，则可执行解码基本层的参考图像的标记过程。
根据用于表示是否在缓存区中存储当前NAL单元的标志信息，如果当前NAL单元被存储，并且如果包含此存储NAL单元的解码图像被标记为参考基本图像，则可使用此参考基本图像解码视频信号(S450)。例如，如果根据标志信息图像B2被存储并且被标记为参考基本图像，则在解码作为当前图像的图像B4时，可使用图像B2作为参考图像。
图5为根据本发明的一个实施例的用于存储和标记参考基本图像的语法结构图。
图5表示图4中所解释的流程图的技术构思的语法结构的示例。
首先，需要在条带头中根据质量识别信息检查当前NAL单元是否相应于基本图像(S510)。
根据用于表示当前NAL单元是否包含参考图像的条带的识别信息nal_ref_idc，需要检查当前NAL单元是否包含参考图像的条带(S520)。
如果当前NAL单元为基本图像并且包含参考图像的条带，则当前NAL单元可相应于参考基本图像。因此，如果当前NAL单元相应于此参考基本图像，则执行参考图像标记过程(S530)。在解码图像缓存区的图像标记过程中，此参考基本图像可被额外地标记为参考基本图像。
这种情形中，可获得表示是否存储该参考基本图像的标志信息。为了获得此标志信息，需要检查用于限制对于编码解码器的兼容性的特定语法的限制标志信息(S540)。
标志信息可为从子集序列参数集的扩展区域中获得的信息。例如，用于重写可伸缩视频编码比特流为AVC比特流以用于编码解码器的兼容性的限制标志信息可被设定为slice_header_retriction_flag，通过限制标志信息，可表示涉及到序列参数集的特别语法是否存在于条带头中。
根据该限制标志信息，可获得用于表示是否存储此参考基本图像的标志信息(S550)。
根据用于表示是否存储此参考基本图像的标志信息，如果此参考基本图像被存储，并且如果此参考基本图像并非为IDR图像(S560)，则可执行标记解码的基本层的参考图像的过程(S570)。
或者，可以检查表示参考基本图像是否被用作帧间预测过程中的参考图像或者解码图像是否被用作参考图像的标志信息。作为检查的结果，如果参考基本图像被用作参考图像并且此参考基本图像并非为IDR图像(S560)，则可执行对于标记解码的基本层的参考图像的过程(S570)。
图6为根据本发明的一个实施例的用于参考基本图像的存储和标记的语法结构的图。
通过NAL单元处理信号时，当前NAL单元之前的另一NAL单元可被使用。此另一NAL单元被称为“前缀NAL(prefix NAL)”。
此前缀NAL单元可用于把仅可被应用至SVC的信息传送到基本层，并且维持基本层比特流和AVC编码解码器之间的兼容性。
例如，图5中所解释的表示是否存储参考基本图像的标志信息可包含于前缀NAL单元中。尤其，根据表示当前NAL单元是否包含参考图像的条带的识别信息nal_ref_idc，需要检查当前NAL单元是否包含参考图像的条带。根据识别信息，如果当前NAL单元包含参考图像的条带，则可获得用于表示是否存储参考基本图像的标志信息。
根据表示是否存储参考基本图像的标志信息，如果参考基本图像被存储并且参考图像并非为IDR图像，则可执行标记解码的基本层的参考图像的过程。
或者，可检查表示参考基本图像是否被用作帧间预测(inter-prediction)过程中的参考图像或者解码图像是否被用作参考图像的标志信息。作为检查的结果，如果参考基本图像被用作参考图像，并且如果该参考基本图像并非为IDR图像，则可执行对于解码的基本层的参考图像的标记过程。
图7至图12分别为根据本发明的一个实施例的用于获得表示是否在缓存区中存储当前NAL单元的标志信息的语法结构的图。
图7所示的实施例中，用于存储参考基本图像的标志信息可被定义为store_base_ref_flag。此标志信息可从条带头中获得(S710)。
预定条件可被给出以获得此标志信息。例如，条带类型并非为PR的例子，也就是说，不是表示增强质量级别的条带类型的例子，其可被称为质量级别最低的例子。
可检查表示是否限制当前条带的特定语法以用于编码解码器的兼容性的信息。例如，可检查能够限制此标志信息的另一信息，从而使得比特流的格式能够被变换。
此外，可定义标志信息，用于重写可伸缩视频编码比特流以满足编码解码器的兼容性。
如前所述，如果条带类型并非为PR并且如果没有被标志信息所限制，则可获得用于存储参考基本图像的标志信息。
图8所示的实施例中，可定义另一标志信息以获得表示是否在缓存区中存储当前NAL单元的标志信息。例如，可定义表示参考基本图像是否被用作参考图像的标志信息。此标志信息表示在帧间预测的过程中参考基本图像是否被作参考图像或者解码图像是否被用作参考图像。对于具有相同识别依赖关系的信息的NAL单元，此标志信息可具有相同值。可在NAL单元头的扩展区域中定义该标志信息(S810)。
可检查当前条带是否相应基本层并且包含最低的质量级别(S820)。
可检查当前条带是否被用作参考图像(S830)。
可检查参考基本图像是否被用作参考图像(S840)。如果参考基本图像被用作参考图像，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(S850)。
当前NAL单元被存储于缓存区中之后，如果NAL单元的类型和SVC有关(S860)，可执行解码图像的标记过程，其中此解码图像包含用作参考基本图像的当前NAL单元(S870)。
可从条带头中获得表示一定条件下是否在缓存区中存储当前NAL单元的标志信息。例如，如果条带类型表示增强质量级别的条带，且相应于划分质量层时的第一部份，并且如果参考基本图像被用作参考图像(S880)，可获得表示是否存储当前NAL单元于缓存区中的标志信息(S890)。
图9所示的实施例中，表示是否在缓存区中存储当前NAL单元的标志信息(S930)可采用不同的方式被定义。例如，此标志信息可与表示参考基本图像是否用作参考图像的另一标志信息(S910)一同被定义于NAL单元头的扩展区域中。
图10所示的实施例中，通过使用另一标志信息可获得用于表示是否在缓存区中储存当前NAL单元的标志信息。例如，可定义用于表示参考基本图像是否用作参考图像的标志信息。该标志信息可定义于NAL单元头的扩展区域中(S1010)。
可检查当前条带是否相应于基本层以及当前条带的质量级别是否最低(S1020)。
可检查当前条带是否用作参考图像(S1030)。
如果当前条带被用作参考图像，然后可获得用于表示是否储存当前NAL单元于缓存区中的标志信息(S1040)。
如果当前NAL单元存储于缓存区中并且当前NAL单元的类型和SVC有关(S1050)，可执行标记解码图像为参考基本图像的过程，其中解码图像包含当前NAL单元(S1060)。
还可从条带头中获得表示在一定条件下是否在缓存区中存储当前NAL单元的标志信息。例如，如果条带类型不相应于增强质量级别的条带，当前条带的特定语法不限制对编码解码器的兼容性，并且参考基本图像用作参考图像(S1070)，可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(S1080)。
图11所示的实施例中，使用另一标志信息可获得用于表示是否在缓存区中存储当前NAL单元的标志信息。例如，可使用表示参考基本图像是否用作参考图像的标志信息。
例如，如果条带类型不相应于增强质量级别的条带，并且参考基本图像被用作参考图像，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(a)。
如果参考基本图像被用作参考图像，而且没有限制对于编码解码器的兼容性的当前条带的特别语法，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(b)。
检查参考基本图像是否被用作参考图像之后，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(c)。
图12所示的实施例中，使用另一标志信息可获得表示是否在缓存区中存储当前NAL单元的标志信息。
例如，如果条带类型表示增强质量级别的条带，如果质量层被划分则可检查条带类型是否相应第一部份(S1210)。
可检查参考基本图像是否用作参考图像或者当前条带的质量级别是否表示第一增强质量级别(S1230)。
因此，可获得表示是否在缓存区中存储当前NAL单元的标志信息(S1250)。
如前所述，本发明的解码器/编码器被提供至多媒体广播，例如DMB(数字多媒体广播)的广播发射机/接收机，以用于解码视频信号、数据信号等。多媒体广播的发射机/接收机可包含移动通信终端。
一种应用本发明的解码/编码方法，被作为用于计算机执行的程序，并且存储在计算机可读记录介质中。并且，具有本发明的数据结构的多媒体数据可以被存储在计算机可读记录介质中。计算机可读记录介质包括用于存储计算机***可读数据的各种类型的存储设备。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光盘存储设备等，并且还包括由载波实现的设备(例如，通过因特网的传输)。并且，由编码方法所生成的比特流被存储在计算机可读介质中或通过有线/无线通信网络被传输。
工业实用性
尽管本发明已参照其优选实施例进行了描述及说明，很明显本领域的技术人员可对其进行各种修改及变化，而不脱离本发明的精神或范畴。因此，本发明覆盖所附的权利要求书及其等同的范围中所提供本发明的修改及变化。

Claims (14)

1.一种解码可伸缩视频编码比特流的方法，包括：
检查当前NAL单元的质量识别信息；
检查当前NAL单元是否包含参考图像的条带；
检查用于限制编码解码器兼容性的特定句法的限制标志信息；
当所述质量识别信息为零并且根据所述检查步骤所述当前NAL单元包含参考图像的条带时，根据所述限制标志信息从所述可伸缩视频编码比特流获得标志信息，其中所述标志信息指示是否在缓存区中存储质量基本图像,所述质量基本图像指示对应于所述当前NAL单元的图像；以及
根据所述标志信息，将所述质量基本图像标记为参考基本图像，其中所述质量代表图像质量。
2.根据权利要求1所述的方法，其特征在于还包括根据所述质量识别信息获得标志信息。
3.根据权利要求1所述的方法，其特征在于：所述质量基本图像对应于所述当前NAL单元中的参考图像。
4.根据权利要求1所述的方法，其特征在于：所述标志信息是从条带头获得的。
5.根据权利要求1所述的方法，其特征在于：还包括利用已标记的质量基本图像解码所述可伸缩视频编码比特流。
6.根据权利要求1所述的方法，其特征在于：所述限制标志信息是从序列参数集的扩展区域获得的。
7.根据权利要求1所述的方法，其特征在于：所述质量基本图像是按照所述标志信息存储的，并且所述质量基本图像并非是IDR图像，所述质量基本图像被标记为所述参考基本图像。
8.根据权利要求1所述的方法，其特征在于还包括获得参考识别信息，所述参考识别信息指示所述质量基本图像是否被用作参考图像，其中当根据所述参考识别信息所述质量基本图像被用作参考图像以及所述质量基本图像并非是IDR图像时，所述质量基本图像被标记为所述参考基本图像。
9.根据权利要求1所述的方法，其特征在于：所述可伸缩视频编码比特流是作为广播信号接收的。
10.根据权利要求1所述的方法，其特征在于：所述可伸缩视频编码比特流是作为数字媒体接收的。
11.一种解码可伸缩视频编码比特流的装置，包括：
去复用单元，用于检查当前NAL单元的质量识别信息；检查当前NAL单元是否包含参考图像的条带；检查用于限制编码解码器兼容性的特定句法的限制标志信息；以及当所述质量识别信息为零并且根据所述检查步骤所述当前NAL单元包含参考图像的条带时，根据所述限制标志信息从所述可伸缩视频编码比特流获得标志信息，其中所述标志信息指示是否在缓存区中存储质量基本图像,所述质量基本图像指示对应于所述当前NAL单元的图像；以及
解码图像缓存区，用于根据所述标志信息，将质量基本图像标记为参考基本图像，
其中所述质量指示图像质量。
12.根据权利要求11所述的装置，其特征在于：所述质量基本图像对应于所述当前NAL单元中的参考图像。
13.根据权利要求11所述的装置，其特征在于：所述限制标志信息是从序列参数集的扩展区域获得的。
14.根据权利要求11所述的装置，其特征在于：所述质量基本图像是按照所述标志信息存储的，并且所述质量基本图像并非是IDR图像，所述质量基本图像被标记为所述参考基本图像。
CN2011100504955A 2006-09-07 2007-09-07 用于解码/编码视频信号的方法及装置 Active CN102158697B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US84266106P 2006-09-07 2006-09-07
US60/842,661 2006-09-07
US85780206P 2006-11-09 2006-11-09
US60/857,802 2006-11-09
US85895706P 2006-11-15 2006-11-15
US60/858,957 2006-11-15
US85953206P 2006-11-17 2006-11-17
US60/859,532 2006-11-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200780008161.3A Division CN101395925B (zh) 2006-09-07 2007-09-07 用于解码/编码视频信号的方法及装置

Publications (2)

Publication Number Publication Date
CN102158697A CN102158697A (zh) 2011-08-17
CN102158697B true CN102158697B (zh) 2013-10-09

Family

ID=39157444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100504955A Active CN102158697B (zh) 2006-09-07 2007-09-07 用于解码/编码视频信号的方法及装置

Country Status (7)

Country Link
US (2) US8401085B2 (zh)
EP (2) EP2060123A4 (zh)
JP (2) JP5143830B2 (zh)
KR (3) KR100908062B1 (zh)
CN (1) CN102158697B (zh)
TW (2) TWI364990B (zh)
WO (2) WO2008030067A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
KR20110123291A (ko) * 2006-10-16 2011-11-14 노키아 코포레이션 멀티뷰 비디오 코딩에서 효율적인 디코딩된 버퍼 관리를 구현하기 위한 시스템 및 방법
WO2008047258A2 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
EP3518547B1 (en) * 2007-04-12 2021-10-06 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
BRPI0817508A2 (pt) * 2007-10-05 2013-06-18 Thomson Licensing mÉtodos e aparelho para incorporaÇço de informaÇço de usabilidade de vÍdeo (vui) em um sistema de codificaÇço de vÍdeo com méltiplas visualizaÇÕes (mvc)
US20110110436A1 (en) * 2008-04-25 2011-05-12 Thomas Schierl Flexible Sub-Stream Referencing Within a Transport Data Stream
KR101220175B1 (ko) * 2008-12-08 2013-01-11 연세대학교 원주산학협력단 Ｓｖｃ 비디오 기반의 디지털 위성 방송을 위한 계층 분리형 ｐｅｓ 패킷 생성 및 처리 방법
EP2441224B1 (en) 2009-06-12 2020-02-26 Taiwan Semiconductor Manufacturing Company, Ltd. Systems and methods for intelligent discard in a communication network
US8745677B2 (en) 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US8627396B2 (en) 2009-06-12 2014-01-07 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US8531961B2 (en) 2009-06-12 2013-09-10 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
CN106162171B (zh) 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
BR112012026391B1 (pt) 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
HUE045579T2 (hu) 2010-04-13 2020-01-28 Ge Video Compression Llc Síkközi predikció
CN105120287B (zh) 2010-04-13 2019-05-17 Ge 视频压缩有限责任公司 解码器、编码器以及用于解码和编码的方法
WO2012042884A1 (ja) * 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
AU2012205650B2 (en) * 2011-01-14 2016-08-11 Vidyo, Inc. Improved NAL unit header
CN103404140B (zh) 2011-01-19 2017-06-13 瑞典爱立信有限公司 指示比特流子集的方法和设备
EP4075799B1 (en) 2011-06-14 2024-04-10 LG Electronics Inc. Apparatus for encoding and decoding image information
US10944994B2 (en) * 2011-06-30 2021-03-09 Telefonaktiebolaget Lm Ericsson (Publ) Indicating bit stream subsets
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
JP5955391B2 (ja) * 2011-09-29 2016-07-20 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 参照ピクチャリストの取り扱い
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US20150043639A1 (en) * 2012-03-20 2015-02-12 Samsung Electronics Co., Ltd. Method and device for coding scalable video on basis of coding unit of tree structure, and method and device for decoding scalable video on basis of coding unit of tree structure
KR102096566B1 (ko) 2012-04-13 2020-04-02 지이 비디오 컴프레션, 엘엘씨 저지연 화상 코딩
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
CA3095638C (en) 2012-06-29 2023-11-14 Ge Video Compression, Llc Video data stream concept
MX367928B (es) * 2012-07-03 2019-09-12 Samsung Electronics Co Ltd Metodo y aparato para codificar video que tiene escalabilidad temporal y metodo y aparato para decodificar video que tiene escalabilidad temporal.
EP2871567A4 (en) 2012-07-06 2016-01-06 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MULTILAYER VIDEO, AND METHOD AND APPARATUS FOR DECODING MULTILAYER VIDEO
GB2505169B (en) 2012-08-13 2016-03-16 Gurulogic Microsystems Oy decoder and method
US10412414B2 (en) 2012-08-13 2019-09-10 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
KR102091139B1 (ko) 2012-10-08 2020-03-20 삼성전자주식회사 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
WO2014058110A1 (ko) * 2012-10-09 2014-04-17 광운대학교 산학협력단 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치
KR20150095625A (ko) 2012-12-14 2015-08-21 엘지전자 주식회사 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치
WO2014107066A1 (ko) 2013-01-04 2014-07-10 삼성전자 주식회사 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
WO2014107092A1 (ko) * 2013-01-07 2014-07-10 삼성전자 주식회사 영상을 멀티 코덱에 호환 가능하도록 부호화/복호화하는 방법 및 장치
KR20140095442A (ko) 2013-01-23 2014-08-01 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9578339B2 (en) * 2013-03-05 2017-02-21 Qualcomm Incorporated Parallel processing for video coding
EP2978220B1 (en) * 2013-03-21 2019-08-21 Sony Corporation Device and method for decoding image
KR20160005027A (ko) * 2013-04-17 2016-01-13 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
EP3007444A4 (en) * 2013-06-05 2016-11-09 Sun Patent Trust PICTURE CODING METHOD, PICTURE DECODING METHOD, PICTURE CODING DEVICE AND IMAGE DECODING DEVICE
CN105379275A (zh) * 2013-07-15 2016-03-02 株式会社Kt 用于对可伸缩视频信号进行编码/解码的方法和装置
WO2015053596A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
WO2015060616A1 (ko) 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9967575B2 (en) 2013-10-29 2018-05-08 Kt Corporation Multilayer video signal encoding/decoding method and device
WO2015099401A1 (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015147426A1 (ko) 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR102553316B1 (ko) 2015-03-06 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
JP6328076B2 (ja) * 2015-06-17 2018-05-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 画像復号装置および方法、記録媒体、並びにプログラム
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
CN115362673A (zh) 2020-02-14 2022-11-18 抖音视界有限公司 视频比特流中的并置图片指示
CN116868575A (zh) * 2020-12-17 2023-10-10 Lg电子株式会社 生成/接收包括nal单元信息的媒体文件的方法和装置及发送媒体文件的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1154050A (zh) * 1995-10-04 1997-07-09 松下电器产业株式会社 从一个或两个预测数据块计算象素值的装置和方法
CN1640145A (zh) * 2002-03-04 2005-07-13 皇家飞利浦电子股份有限公司 使用高质量参考帧的改进高效快速的结构

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
JPH0779436A (ja) 1993-09-07 1995-03-20 Toshiba Corp 動きベクトル検出装置
DE644698T1 (de) 1993-09-14 1995-08-03 Gold Star Co B-Bild Verarbeitungsvorrichtung mit halbpixel Bewegungskompensation für einen Bildkodierer.
US6043846A (en) 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
JPH10276437A (ja) * 1997-03-31 1998-10-13 Matsushita Electric Ind Co Ltd 階層的動画像信号符号化／復号化方法及び装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
KR20010105361A (ko) * 1999-12-28 2001-11-28 요트.게.아. 롤페즈 Ｓｎｒ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
CN100346392C (zh) 2002-04-26 2007-10-31 松下电器产业株式会社 编码设备、解码设备、编码方法和解码方法
US6907079B2 (en) 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
JP2004289745A (ja) * 2003-03-25 2004-10-14 Toshiba Corp 動画像復号化方法および装置
KR20060109247A (ko) 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105407A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
IL162740A (en) 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging
BRPI0413647A (pt) 2003-08-26 2006-10-17 Thomson Licensing método e aparelho para codificar blocos intra-inter codificados hìbridos
WO2005027495A2 (en) 2003-09-07 2005-03-24 Microsoft Corporation Slice layer in video codec
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
KR100619822B1 (ko) 2003-12-24 2006-09-13 엘지전자 주식회사 영상처리 장치 및 방법
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7664176B2 (en) 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
US20060078049A1 (en) 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
JP2008516556A (ja) 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703744B1 (ko) 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
KR100913088B1 (ko) 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100703749B1 (ko) 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
CN100345450C (zh) 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
CN101204092B (zh) * 2005-02-18 2010-11-03 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实施所述方法的编码和解码设备
WO2006087319A2 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1862010A4 (en) 2005-03-25 2011-08-17 Korea Electronics Telecomm HIERARCHICAL VIDEO ENCODING / DECODING METHOD FOR COMPLETE SCALE VARIABILITY AND APPARATUS THEREOF
WO2006109141A1 (en) 2005-04-12 2006-10-19 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
WO2006108863A2 (en) 2005-04-13 2006-10-19 Thomson Licensing Process for scalable coding of images
US20060256863A1 (en) 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8483277B2 (en) 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
ZA200803018B (en) * 2005-10-12 2009-07-29 Thomson Licensing Region of interest H.264 scalable video coding
WO2007080480A2 (en) 2006-01-09 2007-07-19 Nokia Corporation Error resilient mode decision in scalable video coding
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
ZA200807142B (en) * 2006-03-29 2010-02-24 Thomson Licensing Multi view video coding method and device
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR100781524B1 (ko) 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
AU2007309044B2 (en) 2006-10-23 2011-04-28 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
CN105376567A (zh) 2006-11-08 2016-03-02 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
WO2008056959A1 (en) 2006-11-09 2008-05-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896290B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US9445128B2 (en) 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1154050A (zh) * 1995-10-04 1997-07-09 松下电器产业株式会社 从一个或两个预测数据块计算象素值的装置和方法
CN1640145A (zh) * 2002-03-04 2005-07-13 皇家飞利浦电子股份有限公司 使用高质量参考帧的改进高效快速的结构

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2004-289745A 2004.10.14
JP特开平10-276437A 1998.10.13

Also Published As

Publication number Publication date
EP2060123A4 (en) 2016-05-04
US8401085B2 (en) 2013-03-19
KR20090045323A (ko) 2009-05-07
US20090220010A1 (en) 2009-09-03
KR100908062B1 (ko) 2009-07-15
KR20080099246A (ko) 2008-11-12
TW200833117A (en) 2008-08-01
WO2008030067A1 (en) 2008-03-13
TW200829030A (en) 2008-07-01
US20090034626A1 (en) 2009-02-05
EP2060122A4 (en) 2016-04-27
TWI376958B (en) 2012-11-11
EP2060122A1 (en) 2009-05-20
WO2008030068A1 (en) 2008-03-13
KR20080093427A (ko) 2008-10-21
CN102158697A (zh) 2011-08-17
JP5143830B2 (ja) 2013-02-13
US8428144B2 (en) 2013-04-23
EP2060123A1 (en) 2009-05-20
TWI364990B (en) 2012-05-21
JP5143829B2 (ja) 2013-02-13
KR101349837B1 (ko) 2014-01-10
JP2009540734A (ja) 2009-11-19
JP2009540733A (ja) 2009-11-19
KR100904444B1 (ko) 2009-06-26

Similar Documents

Publication Publication Date Title
CN102158697B (zh) 用于解码/编码视频信号的方法及装置
CN112868184B (zh) 对视频序列进行解码的方法、设备以及存储介质
US11523135B2 (en) Apparatus, a method and a computer program for volumetric video
JP5144522B2 (ja) スケーラブルビデオ符号化でｒｏｉを定義し、再構成するための装置および方法
JP6219464B2 (ja) 高ダイナミックレンジ画像を生成するデコーダ及びその方法
KR102028527B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
US20080225116A1 (en) Method and Apparatus For Defining and Reconstructing Rois in Scalable Video Coding
CN114930863A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
JP7434578B2 (ja) ポイントクラウドデ－タ送信装置、ポイントクラウドデ－タ送信方法、ポイントクラウドデ－タ受信装置及びポイントクラウドデ－タ受信方法
KR101882596B1 (ko) 비트스트림의 생성과 처리 방법, 장치 및 시스템
CN101395925B (zh) 用于解码/编码视频信号的方法及装置
JP7472292B2 (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
US11363248B2 (en) Method and device for transmitting region information of 360-degree video
JP2023143935A (ja) サブブロック区分モードのためのエンコーダ、デコーダ、および対応する方法
CN114503587A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
KR20030005297A (ko) Ｍｐｅｇ-4 비디오 데이터를 인코딩하기 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant