CN104380745B - 图层间与视图间自适应帧内预测方法及其装置 - Google Patents

图层间与视图间自适应帧内预测方法及其装置 Download PDF

Info

Publication number
CN104380745B
CN104380745B CN201380033134.7A CN201380033134A CN104380745B CN 104380745 B CN104380745 B CN 104380745B CN 201380033134 A CN201380033134 A CN 201380033134A CN 104380745 B CN104380745 B CN 104380745B
Authority
CN
China
Prior art keywords
view
layer
block
frame prediction
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380033134.7A
Other languages
English (en)
Other versions
CN104380745A (zh
Inventor
蔡家扬
庄子德
陈庆晔
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104380745A publication Critical patent/CN104380745A/zh
Application granted granted Critical
Publication of CN104380745B publication Critical patent/CN104380745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭露一种用于视频编码***的图层间自适应帧内预测(IL‑AIP)与视图间自适应帧内预测(IV‑AIP)的方法及装置。将视频数据配置入该图层间视频编码***的基础层(BL)与增强层(EL)，并且将该视频数据配置入该视图间视频编码***的基础视图(BV)与增强视图(EV)。基于该BL或该BV推导该EL或该EV中该待处理区块的自适应帧内预测子。对于图层间与视图间LM帧内预测，基于该BL或该BV推导该EL或该EV中该待处理色度区块的LM自适应帧内预测子。本发明揭露的图层间或视图间自适应帧内预测方法及其装置可实现提高编解码性能的技术效果。

Description

图层间与视图间自适应帧内预测方法及其装置
相关申请的交叉引用
本发明要求如下优先权：编号为61/662,970，申请日为2012年6月22日，名称为“Adaptive Intra Prediction”的美国临时专利申请。上述美国临时专利申请在此一并作为参考。
技术领域
本发明涉及视频编码。特别地，本发明涉及用于图层间(inter-layer)与视图间(inter-view)编码的帧内预测(Intra prediction)技术。
背景技术
现今，视频流(video streaming)已经成为视频传输的主流。由于高速且无处不在的互联网以及移动网络的支持，视频内容可传输到终端用户，使得终端用户可在具有不同品质的不同平台进行观看。为了实现各种视频流应用的不同需求，必须处理视频源并将视频源以不同分辨率、帧率及/或品质进行储存。这将导致相当复杂的***并且需要较高的整体带宽或较大的存储空间。一个满足不同分辨率、帧率、品质及/或码率的解决方案是可伸缩视频编码(scalable video coding)。与解决上述问题的各种专有开发尝试相比，也存在一种用于可伸缩视频编码的现有视频标准。ISO/IEC MPEG与ITU-T VCEG的联合视频组(Joint Video Team,JVT)已经标准化了对H.264/AVC标准的可伸缩视频编码(ScalableVideo Coding,SVC)的扩展。H.264/AVC SVC比特流可包含从低帧率、低分辨率以及低品质到高帧率、高清晰度以及高品质的视频信息。可根据适当配置比特流的伸缩性从而将上述单一比特流应用于特定应用。例如，可通过高速网络将对应于高清晰视频的完整比特流进行传输以提供用于在大屏幕电视观看的全品质。可通过传统蜂窝网络将对应于高清晰视频的低分辨率版本的部分比特流进行传输以准备在手持/移动装置观看。因此，使用H.264/AVC SVC生成的比特流适用于各种视频应用，例如视频广播、视频流以及监控。
在SVC中，提供了三种类型的可伸缩性，即时域可伸缩性(temporalscalability)、空域可伸缩性(spatial scalability)以及品质可伸缩性(qualityscalability)。SVC使用多图层编码结构以实施三维可伸缩性。SVC的概念是生成一种可伸缩比特流，其中该可伸缩比特流能简单快速地适应于各种传输信道的比特率、不同的显示能力及/或不同的计算资源，不需要再转码或重新编码。SVC设计的重要特征是在比特流层提供可伸缩性。可通过舍弃不需要解码目标分辨率的网络提取层单元(或网络分组)简单取得降低空域及/或时域分辨率的比特流。可另外缩短用于品质细化的网络提取层(NAL)单元从而降低比特率及/或相应视频品质。
在H.264/AVC SVC扩展中，基于锥形编码(pyramid coding)支持空域可伸缩性。首先，将视频序列下采样(down-sample)至具有不同空域分辨率(图层)的更小图像。最低图层(即具有最低空域分辨率的图层)被称作基础层(Base Layer,BL)。基础层上面的任意图层可称为增强层(Enhancement Layer,EL)。除了并矢空域分辨率，H.264/AVC SVC扩展也支持任意分辨率比例，其称为扩展空域可伸缩性(Extended Spatial Scalability,ESS)。为了提高增强层(具有较大分辨率的视频图层)的编码效率，文献中已经揭露了各种图层间预测机制。SVC已经采用了三种图层间预测技术，包含图层间运动预测、图层间帧内预测与图层间残差预测(例如，C.Andrew Segall与Gary J.Sullivan提出的名称为“SpatialScalability Within the H.264/AVC Scalable Video Coding Extension”的文章，出处是IEEE电路***与视频技术会刊，第17期，第9号，页码1121-1135，日期：2007年9月)。
图1描述提供空域可伸缩性与品质可伸缩性的综合可伸缩视频编码***的示例，其中提供三个空域图层。在SVC中，如图1所示，基于锥形编码方案支持空域可伸缩性。在具有空域可伸缩性的SVC***中，首先，将视频序列下采样以取得具有不同空域分辨率(图层)的更小图像。例如，空域抽取器120可处理具有初始分辨率的图像110以取得分辨率降低的图像111。如图1所示，空域抽取器121可进一步处理分辨率降低的图像111以取得分辨率再次降低的图像112。除了并矢空域分辨率，其中空域分辨率可每层减半，SVC也支持任意分辨率比例，其称为扩展空域可伸缩性(ESS)。图1中的SVC***描述了具有三图层的空域可伸缩***的示例，其中图层0对应具有最低空域分辨率的图像以及图层2对应具有最高空域分辨率的图像。在不参考其他层的情况下编码图层0的图像，即独立层编码(single-layercoding)。例如，使用运动补偿与帧内预测器130编码最低图层图像112。
运动补偿与帧内预测器130将生成语法元素以及编码相关信息，例如进一步用于熵编码器140的运动信息。图1实际上描述了提供空域可伸缩性与品质可伸缩性(也称为SNR可伸缩性)的综合SVC***。上述***也可提供时域可伸缩性，本例并未明确示出。对于每个独立层编码，可使用信噪比(SNR)增强层编码器150微调残差编码误差。图1中的SNR增强层可提供多个品质图层(品质可伸缩性)。如非伸缩编码***，独立层运动补偿与帧内预测可分别编码每个支持的分辨率图层。也可使用图层间编码基于一个或多个较低空域图层以编码每个较高空域图层。例如，可使用基于图层0视频或基于逐个宏块的独立层编码或其他区块单元的图层间预测自适应编码图层1的视频。相似地，可使用基于重构图层1视频或独立层编码的图层间预测自适应编码图层2的视频。如图1所示，运动补偿与帧内预测器131、基础层熵编码器141与SNR增强层编码器151可编码图层1的图像111。相似地，运动补偿与帧内预测器132、基础层熵编码器142与SNR增强层编码器152可编码图层2的图像110。使用多工器160结合来自基础层熵编码器与SNR增强层编码器的数据以输出可伸缩比特流。由于采用图层间编码，所以可改善编码效率。此外，需要编码空域图层1的信息取决于重构图层0(图层间预测)。较高空域分辨率图层，例如图层1与图层2可被称为增强层(EL)。H.264SVC提供三种类型的图层间预测技术：图层间运动预测、图层间帧内预测与图层间残差预测。
在SVC中，增强层(EL)可重用基础层(BL)的运动信息以降低图层间运动数据冗余。例如，在决定mb_type指示EL运动信息是否直接从基础层(BL)推导之前，EL宏块编码可使用旗标(flag)，例如base_mode_flag。如果base_mode_flag等于1，则从BL中同位(collocated)8×8区块的对应数据中推导伴有关联参考指标与运动矢量的EL宏块的分割数据。在EL中可直接使用BL的参考图像指标。从关联BL的数据中扩展EL的运动矢量。此外，可使用上述扩展的BL运动矢量作为EL的附加运动矢量预测子(motion vectorpredictor)。
图层间残差预测使用上采样BL残差信息以减少EL残差的信息。可使用双向滤波器分块上采样BL的同位残差并且将上述同位残差用于EL中当前宏块的残差预测。以传输区块为基础完成参考图层残差的上采样从而保证在贯穿传输区块边界处不进行滤波。
与图层间残差预测相似，图层间帧内预测减少EL的冗余纹理信息。通过分块上采样同位BL重构信号生成EL的预测。在图层间帧内预测上采样进程中，可将4抽头与2抽头FIR滤波器分别用于亮度与色度组分。不同于图层间残差预测，在子区块边界处总是执行用于图层间帧内预测的滤波。对于简化解码，图层间帧内预测仅受限于BL中帧内编码宏块。
在新兴的高效率视频编码(High Efficiency Video Coding,HEVC)标准中，帧内预测具有更多模式去使用。例如，对于亮度组分的8×8、16×16、32×32与64×64预测单元(Prediction Unit,PU)，可使用35种帧内模式(模式0至模式34)。上述35种帧内预测模式包含直流(DC)模式、平面(Planar)模式以及33种方向性预测模式。对于色度组分，可使用一种称为线性(LM)模式的新式帧内预测模式。LM模式的基本原理是通常，在亮度组分与色度组分之间存在某些相关性。因此，LM模式使用重构帧内编码亮度区块以形成对色度区块的预测。此外，基于最小二乘标准，使用同位亮度区块的先前重构周围像素与当前色度区块的先前重构周围像素推导LM帧内预测的参数。将在像素位置(x,y)的色度像素的LM模式预测子表示为Predc(x,y)。将同位重构亮度像素表示为Rec’L(x,y)。Predc(x,y)与Rec’L(x,y)之间的关系可由下列公式(1)进行描述：
Predc(x,y)＝α·Rec’L(x,y)+β， (1)
其中α与β是LM帧内预测的参数并且可通过使用最小二乘法获得。
图2A-B描述示例LM预测过程。首先，使用图2A中同位亮度区块210的相邻重构像素212与图2B中的色度区块220中的相邻重构像素222评估区块之间的相关性。可相应取得LM帧内预测的参数。接着，使用已取得的参数从亮度区块(即亮度预测单元或亮度PU)的重构像素生成色度区块的预测像素。在上述取得参数过程中，使用当前亮度区块的第一上重构像素行以及第二左重构像素列。使用亮度区块的特定行列以匹配色度组分的4:2:0采样格式。下列说明以4:2:0采样格式为基础。可相似地推导其他采样格式的LM模式色度帧内预测。如图2A所示，可收集亮度PU 210的同位边界像素212以及如图2B所示，也可收集色度PU220的边界像素222。通过使用最小二乘法，可推导上述两个集合之间的线性关系。换句话说，可基于亮度与色度边界像素推导α与β。此外，可将两个短抽头采样滤波器[1,2,1]与[1,1]分别应用于那些采样的水平亮度边界像素与垂直亮度边界像素。
传统帧内预测未提出图层间帧内预测。因此，将帧内预测扩展至可伸缩视频编码以改善编码性能是令人满意的。
近年来，三维(3D)电视已经成为一种技术趋势，以给观众带来震撼的视觉体验。已经发展了各种技术用于3D观看。其中，多视图视频是其他3D电视应用的关键技术。传统视频是二维(2D)媒介，其仅提供给观众来自摄像机视角的单一场景视图。然而，多视图视频能够提供动态场景的任意视图并且提供给观众真实的感觉。
典型地，通过同时使用多个摄像机捕捉场景以产生多视图视频，其中合理分布多个摄像机从而使得每个摄像机从一个视点捕捉场景。因此，多个摄像机将捕捉对应多个视图的多个视频序列。为了提供多个视图，可使用更多摄像机生成具有与视图关联的大量视频序列的多视图视频。因此，多视图视频将需要大存储空间用于储存及/或高带宽用于传输。因此，在本领域中已经发展了多视图视频编码技术以降低所需存储空间或传输带宽。
一种简单方法可为对每个单独视图视频序列各自简单应用传统视频编码技术并且舍弃不同视图之间的所有相关性。上述编码***将变得非常无效率。为了提高多视图视频编码的效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码(3DVC)***考虑关联多视图与深度图的视频数据的相关性。
图3描述3D视频编码的通用预测结构。收到的3D视频数据包含对应多个视图的图像(310-0,310-1,310-2,…)。为每个视图收集的图像形成对应视图的图像序列。通常，遵循视频编码标准，例如H.264/AVC或HEVC，视频编码器330-0独立编码对应基础视图(也称为独立视图)的图像序列310-0。关联从属视图(即视图1,2,…)的图像序列的视频编码器(330-1,330-2,…)进一步利用时域预测与视图间预测，其中上述从属视图也可称为增强视图。图3中由短划线表示视图间预测。
为了支持交互式应用，视频比特流也包含在每个视图中与场景关联的深度图(320-0,320-1,320-2,…)。为了减少与深度图相关联的数据，如图3所示，使用深度图编码器(340-0,340-1,340-2,…)压缩上述深度图并且比特流包含上述压缩的深度图。使用多工器350结合来自图像编码器与深度图编码器的数据。在选中的中间视图中，使用深度信息合成虚拟视图。
如图3所示，传统3D视频编码***未考虑帧间预测的视图间相关性。将帧内预测扩展到3D视频编码以提高编码性能是令人满意的。
发明内容
本发明揭露一种用于视频编码***的图层间自适应帧内预测(IL-AIP)与视图间自适应帧内预测(IV-AIP)的方法及装置。将视频数据配置入该图层间视频编码***的基础层(BL)与增强层(EL)，并且将该视频数据配置入该视图间视频编码***的基础视图(BV)与增强视图(EV)。在本发明一实施例中，该方法包含：接收该EL或该EV中的待处理区块；确定该BL或该BV中的同位区块；基于该BL或该BV推导该EL或该EV中该待处理区块的自适应帧内预测子；以及使用该自适应帧内预测子将帧内预测编解码应用于该EL或该EV中的该待处理区块。该同位区块位于对应该EL或该EV中该待处理区块的该BL或该BV中的位置，并且帧内编码该同位区块。基于该BV、该EV或该BV与该EV两者的深度信息推导与该EV中该待处理区块对应的该BV中该同位区块的该位置。本发明提到的用于3D视频编码的“同位区块”也可称为“对应区块”。
本发明实施例也提出各种类型的自适应帧内预测子。该自适应帧内预测子对应该同位区块的像素数据的多项式函数或线性函数。对于该线性函数，使用两个像素集合基于最小二乘法推导参数，其中该两个像素集合对应与该EL或该EV关联的预测集合(PS)以及与该BL或该BV关联的同位集合(CS)。通过采样该EL或该EV的边界像素产生该PS，并且通过采样该BL或该BV的边界像素产生该CS。在基于该BL或该BV的像素数据推导该EL或该EV中该待处理区块的该自适应帧内预测子之前，将采样滤波器应用于该PS、该CS或两者。该CS的采样位置取决于该EL与该BL的空域分辨率比例或者该EV与该BV的该空域分辨率比例。可选择地，该CS的该采样位置取决于该BV、该EV或该BV与该EV两者的深度信息。发送各种旗标以指示是否启动该IL-AIP或该IV-AIP，是否使用该IL-AIP/IV-AIP或传统帧内预测，或是否使用该IL-AIP/IV-AIP或其他编码模式中的一种。
该IL-AIP/IV-AIP方法也可用于图层间或视图间编码***的LM帧内预测模式。该方法包含接收该EL或该EV中的待处理色度区块；确定该EL或该EV中的同位亮度区块；基于该BL或该BV推导该EL或该EV中该待处理色度区块的LM自适应帧内预测子；以及使用该LM自适应帧内预测子将帧内预测编解码应用于该EL或该EV中的该待处理色度区块。该同位亮度区块位于对应该EL或该EV中该待处理色度区块的位置，并且帧内编码该同位亮度区块。在一实施例中，基于该BL、该EL或该BL与该EL两者，或者基于该BV、该EV或该BV与该EV两者推导该LM自适应帧内预测子的参数。在另一实施例中，基于该BL或该BV中重构亮度区块与重构色度区块推导该LM自适应帧内预测子的参数，其中该BL或该BV中该重构亮度区块与该重构色度区块分别位于该EL或该EV中该同位亮度区块与该待处理色度区块的对应位置。在另一实施例中，如果该BL或该BV使用具有第一参数的LM帧内预测模式，则使用该第一参数作为该EL或该EV中该待处理色度区块的该LM自适应帧内预测子的该参数。
本发明揭露的图层间或视图间自适应帧内预测方法及其装置可实现提高编解码性能的技术效果。
附图说明
图1描述提供空域可伸缩性与品质可伸缩性的综合可伸缩视频编码***的示例，其中提供三个空域图层；
图2A-B描述基于同位亮度采样推导色度采样的帧内预测的示例，其中使用边界亮度像素与边界色度像素推导预测参数；
图3描述基于HEVC/H.264标准的3D视频编码***预测结构示例；
图4根据本发明描述图层间自适应帧内预测的基本概念；
图5是根据本发明实施例描述的图层间自适应帧内预测示例，其中增强层与基础层具有相同的空域分辨率；
图6是根据本发明实施例描述的图层间自适应帧内预测示例，其中基础层具有低于增强层的空域分辨率并且上采样BL用于自适应帧内预测；
图7是根据本发明实施例描述的图层间自适应帧内预测示例，其中基础层具有低于增强层的空域分辨率并且对于自适应帧内预测，仅使用整数位置处的上采样BL；
图8根据本发明描述视图间自适应帧内预测的基本概念；
图9是根据本发明实施例描述的图层间自适应LM帧内预测示例，其中该增强层根据高效率视频编码(HEVC)的LM帧内预测方法推导LM帧内预测参数；
图10是根据本发明实施例描述的图层间自适应LM帧内预测示例，其中该增强层基于重构BL推导LM帧内预测参数；
图11是根据本发明实施例描述的图层间自适应LM帧内预测示例，其中该增强层使用该BL推导的相同LM帧内预测参数；
图12描述包含图层间或视图间自适应帧内预测的***的示例流程图；
图13描述包含图层间或视图间自适应LM帧内预测的***的示例流程图。
具体实施方式
在本发明中，在可伸缩视频编码***中，将图层间的信息用于编码EL。本发明实施例中称为图层间自适应帧内预测(Inter-layer adaptive Intra Prediction,IL-AIP)。图4描述了IL-AIP的基本概念，其中PEL(x,y)是位置(x,y)处用于EL中待预测区块410的像素并且PBL(x,y)是BL中同位区块420的像素。既然EL与BL通常具有非常高的相关性，所以通过PBL(x,y)的映射函数f(·)生成PEL(x,y)的预测子P’EL(x,y)。下面根据本发明不同方面描述生成上述预测子的示例。
示例A：用于生成预测子的映射函数。对于EL中待预测像素PEL(x,y)，通过映射函数f(·)从BL的同位像素PBL(x,y)中推导预测子。上述映射函数可为非线性或线性。从与PBL(x,y)相关的边界方向或幅度直方图中推导映射函数。此外，也可根据下列的多项式方程产生映射函数：
其中an是n阶微量项的权重因子。通常，使用回归分析推导an。公式(2)可进一步简化为：
P'EL(x,y)＝f(PBL(x,y))＝α·PBL(x,y)+β， (3)
从而节省***成本，其中分别从与PEL(x,y)与PBL(x,y)相关的两组像素通过最小二乘法推导α与β。与HEVC的LM模式中使用的最小二乘法相似，可取得公式(3)中的参数α与β。
如果BL对EL的空域分辨率比例不为1:1，则使用BL的上采样结果，即P’BL(x,y)作为映射函数的输入。在本情况中，公式(2)与公式(3)可修改为：
与 (4)
P'EL(x,y)＝f(P'BL(x,y))＝α·P'BL(x,y)+β。 (5)
示例B：用于预测的BL采样方法。为了推导示例A中提到的映射函数，分别从BL与EL中推导两个像素集合(预测集合与同位集合)。图5是根据本发明实施例描述的图层间自适应帧内预测示例。如果BL与EL的空域分辨率比例为1:1，则如图5所示，通过采样EL中待预测区块510周围的边界像素512产生预测集合(Predicted Set,PS)，并且通过采样BL中同位区块520周围的边界像素522产生同位集合(Collocated Set,CS)。在本情况下，使用1:1采样从BL中同位区块的边界像素生成CS。如果不使用采样滤波，则可直接使用同位区块的边界像素作为CS。在生成PS与CS后，可基于PS与CS推导示例A中提到的映射函数。
在某些情况下，BL与EL的空域分辨率是不同的。图6是根据本发明实施例描述的图层间自适应帧内预测示例。通常，BL图像具有比EL图像更低的分辨率。必须对BL上采样以匹配EL的分辨率。因此，对于任何其他比例，如图6所示，通过采样已上采样的P’BL生成CS。与图5相似，通过采样BL中同位区块620周围的边界像素622产生同位集合。此外，如图6所示，使用同位区块的上采样像素P’BL(x,y)作为映射函数f(·)的输入。
对于不是1:1的其他比例，本发明揭露了另一CS与PS推导方法。当分辨率比例不是1:1时，从BL中同位区块的上采样边界像素中推导CS。因此，这样会产生许多人造像素。那些人为生成的像素可降低预测的精度。因此，仅整数位置的上采样像素用于CS与PS。图7描述了当空域分辨率比值为1:2时的示例。在图7中，使用EL中待预测区块710周围边界像素712的每隔像素作为PS并且使用BL中同位区块720周围的边界像素722的每隔像素作为CS。
示例C：采样滤波器设计。为了推导预测子的更精确映射函数，在推导IL-AIP预测子之前可进一步滤波CS。采样滤波的目的是减少在量化或上采样过程中导致的伪影(artifact)。本领域技术人员已熟知采样滤波设计。例如，可对CS中水平与垂直边界像素使用单一短抽头FIR滤波器。在另一示例中，可分别对CS中水平与垂直边界像素使用两个独立的短抽头FIR滤波器。在两个独立采样滤波器的情况下，滤波器设计与HEVC LM模式中的采样滤波设计相似。可在推导自适应帧内预测子之前，将采样滤波器应用于PS、CS或上述两者；并且采样滤波器可为FIR、IIR或定向滤波器。
示例D：语法设计。根据本发明实施例，在语法设计期间可考虑各个方面。下面列了几个示例。
1.当处理图层是EL时，仅激活IL-AIP。因此，仅与EL相关联的比特流具有IL-AIP语法。
2.在图层层、图像层、条带层、最大编码单元(LCU)层、编码单元(CU)层、传输(TU)层或预测单元(PU)层发送IL-AIP启动旗标以指示是否启动IL-AIP。
3.对于EL中的PU或CU，发送一个旗标以在IL-AIP与H.264/AVC SVC中传统图层间帧内预测之间进行切换。
4.对于EL中的PU或CU，发送一个旗标以指示是否使用IL-AIP或其他预测模式，其中其他预测模式包含合并模式、帧间预测模式与其他帧内预测模式。
5.对于EL中的PU，发送一个旗标以在IL-AIP与其他帧内预测模式之间进行切换。
6.对于EL中的PU，当IL-AIP作为最可能模式(Most Probable Mode,MPM)其中之一并且使用IL-AIP编码PU时，根据MPM编码PU的帧内预测模式。
7.对于EL中的PU，当IL-AIP不是最可能模式(MPM)其中之一时并且使用IL-AIP编码PU时，根据剩余模式编码PU的帧内预测模式。
上面揭露的IL-AIP方法可应用于BL的第一组件以预测EL中的第二组件，其中第一组件可为Y、Cb、Cr或Y、Cb与Cr的任意组合，以及第二组件可为Y、Cb或Cr。
上面揭露的IL-AIP方法可应用于多视图视频编码。本发明一个实施例可称为视图间自适应帧内预测(IV-AIP)。在视图间自适应帧内预测(IV-AIP)中，将IL-AIP中的BL与EL分别改变为基础视图(即BV，也称为独立视图)与增强视图(即EV，也称为从属视图)，其中BV与EV具有相同的空域分辨率。根据视差矢量推导EV中的同位位置，其中从视图间纹理信息中推导上述视差矢量。本领域技术人员熟知基于视差矢量推导同位位置的技术以及基于视图间纹理信息推导视差矢量的技术，因此本发明不进行描述。此外，如果深度信息可用，则使用BV、EV或两者的深度信息推导EV的同位位置。在基于H.264/AVC 3D视频编码(3D-AVC)中，在纹理信息之前编码深度信息。因此，根据视差矢量或深度信息推导同位区块。在基于HEVC 3D视频编码(3D-HEVC)中，如果在深度信息之前编码纹理信息，则使用BV的深度信息推导同位区块。换句话说，如果在纹理信息之前编码深度信息，则使用EV的深度信息推导同位区块。图8根据本发明实施例描述IV-AIP示例，其中使用EV中待预测区块810周围的边界像素812与BV中同位区块820周围的边界像素822推导映射函数的参数。此外，在IV-AIP中，BV中使用的视频数据可对应Y、Cb、Cr、深度(D)或其组合，并且EV中的视频数据可为Y、Cb、Cr或D。示例A至示例D描述的本发明关于IL-AIP的各方面也可适用于IV-AIP。
本发明其他实施例提出图层间与视图间编码的LM帧内预测。HEVC中的LM帧内预测使用亮度像素与色度像素之间的关系以降低色度组分中的纹理冗余。在本发明中，可将LM帧内预测应用于SVC。根据本发明揭露了三种图层间LM帧内预测的变化例。
图层间LM帧内预测的第一实施例将LM帧内预测分别应用于BL与EL。图9是根据本发明实施例描述的图层间自适应LM帧内预测示例。如图9所示，BL的LM帧内预测与HEVC中的帧内预测相同，其中使用BL中亮度区块920的边界像素922与色度区块910中的边界像素912推导两个变量αBL与βBL用于生成BL中待处理区块(即区块910)的LM预测子。将相同过程应用于EL，其中使用EL中亮度区块940的边界像素942与色度区块930中的边界像素932推导两个变量αEL与βEL用于生成EL中待处理区块(即区块930)的LM预测子。
图10显示图层间LM帧内预测的第二实施例。对于BL，LM帧内预测与HEVC中的帧内预测相同。换句话说，使用BL中亮度区块1020的边界像素1022与色度区块1010的边界像素1012推导两个变量αBL与βBL用于生成BL中待处理区块(即区块1010)的LM预测子。对于EL，既然在EL重构之前完成BL重构，则αEL与βEL的推导过程直接使用BL中亮度与色度的重构预测区块(即区块1020与1010)分别代替EL中亮度区块1040与色度区块1030的边界像素。因此，使用BL中亮度区块1020与色度区块1010推导两个变量αEL与βEL用于生成EL中待处理区块的LM预测子。
图11显示图层间LM帧内预测的第三实施例。为EL的LM帧内预测重用BL中用于LM帧内预测所推导的参数。对于BL，LM帧内预测与HEVC中的帧内预测相同，其中使用BL中亮度区块1120的边界像素1122与色度区块1110中的边界像素1112推导两个变量αBL与βBL用于生成BL的LM预测子。对于EL，如果在BL中启动LM模式，则EL可将BL中的LM参数αBL与βBL直接用于EL中的LM帧内预测。因此，通过使用LM帧内预测参数(即αBL与βBL)，EL中同位亮度区块(即区块1140)预测EL中待预测色度区块(即区块1130)。
上述的用于图层间视频编码的LM帧内预测也可应用于多视图视频编码。在视图间自适应帧内预测(IV-AIP)中，可分别将IL-AIP中的BL与EL变为BV与EV，其中BV与EV具有相同的空域分辨率。可使用与BV、EV或两者相关联的视差矢量或深度信息推导EV中与待处理色度区块对应的亮度区块的同位位置。
上述的图层间自适应帧内预测(IL-AIP)与视图间自适应帧内预测(IV-AIP)即可应用于视频编码器也可应用于视频解码器。图12是根据本发明实施例描述的编码器或解码器示例方法流程图，其中将视频数据配置入图层间视频编码***的基础层(BL)与增强层(EL)，并且将视频数据配置入视图间视频编码***的基础视图(BV)与增强视图(EV)。如步骤1210所示，从媒介或处理器接收EL或EV中的待处理区块。可从媒介，例如缓冲器(RAM或DRAM)的计算机存储器，取回EL或EV中的待处理区块。也可从处理器，例如中央处理单元或数字信号处理器，接收EL或EV中的待处理区块。在编码器端，待处理区块对应待编码的EL或EV中像素数据的区块。在视频解码器端，待处理区块对应待解码的EL或EV中像素数据的区块。处理器可从编码器中的输入视频数据产生待处理区块。并且处理器可从解码器中视频比特流中产生待处理区块。在步骤1220中，确定BL或BV中的同位区块，其中同位区块位于对应EL或EV中待处理区块的BL或BV的位置，并且帧内编码同位区块。如上所述，本领域技术人员熟知确定同位位置的技术。在步骤1230，基于BL或BV推导EL或EV中待处理区块的自适应帧内预测子。在步骤1240，接着使用自适应帧内预测子将帧内预测编解码应用于EL或EV中的待处理区块。
上述的使用LM帧内预测模式的图层间自适应帧内预测(IL-AIP)与视图间自适应帧内预测(IV-AIP)即可应用于视频编码器也可应用于视频解码器。图13是根据本发明实施例描述的编码器或解码器示例方法流程图，其中将视频数据配置入图层间视频编码***的基础层(BL)与增强层(EL)，并且将视频数据配置入视图间视频编码***的基础视图(BV)与增强视图(EV)。如步骤1310所示，从媒介或处理器接收EL或EV中的待处理色度区块。可从媒介，例如缓冲器(RAM或DRAM)的计算机存储器，取回EL或EV中的待处理色度区块。也可从处理器，例如中央处理单元或数字信号处理器，接收EL或EV中的待处理色度区块。在编码器端，待处理色度区块对应待编码的EL或EV中色度像素数据的区块。在视频解码器端，待处理色度区块对应待解码的EL或EV中色度像素数据的区块。处理器可从编码器中的输入视频数据产生待处理色度区块。并且处理器可从解码器中视频比特流中产生待处理色度区块。在步骤1320中，确定EL或EV中的同位亮度区块，其中同位亮度区块位于对应EL或EV中待处理色度区块的位置，并且帧内编码同位亮度区块。在步骤1330，基于BL或BV推导EL或EV中待处理色度区块的LM自适应帧内预测子。在步骤1340，接着使用LM自适应帧内预测子将帧内预测编解码应用于EL或EV中的待处理色度区块。
上述的流程图根据本发明实施例描述了视频编解码器的图层间自适应帧内预测(IL-AIP)与视图间自适应帧内预测(IV-AIP)的示例。本领域技术人员可修改每个步骤、重排步骤、分割步骤或结合步骤以在不违背本发明精神的情况下实施本发明。
呈现上述描述以允许本领域技术人员根据特定应用以及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。然而，本领域技术人员可以理解本发明是可实施的。
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital Signal Processor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。

Claims (25)

1.一种图层间或视图间自适应帧内预测方法，其用于图层间或视图间视频编码***，其中将视频数据配置入该图层间视频编码***的基础层与增强层，并且将该视频数据配置入该视图间视频编码***的基础视图与增强视图，该图层间或视图间自适应帧内预测方法包含：
接收该增强层或该增强视图中的待处理区块；
确定该基础层或该基础视图中的同位区块，其中该同位区块位于与该增强层或该增强视图中该待处理区块对应的该基础层或该基础视图中的位置，并且其中帧内编码该同位区块；
基于该基础层或该基础视图的像素数据从该基础层或该基础视图中该同位区块中推导该增强层或该增强视图中该待处理区块的自适应帧内预测子，其中该自适应帧内预测子对应根据P'EL/EV(x,y)＝α·P'BL/BV(x,y)+β的该同位区块中像素数据的线性函数，其中P’EL/EV(x,y)对应该增强层或该增强视图中该待处理区块的该自适应帧内预测子，P’BL/BV(x,y)对应该基础层或该基础视图中该同位区块的该像素数据，α与β是参数，以及其中α与β是基于最小二乘法使用两个像素集合推导而得，其中该两个像素集合对应与该增强层或该增强视图关联的预测集合以及与该基础层或该基础视图关联的同位集合；以及
使用该自适应帧内预测子将帧内预测编解码应用于该增强层或该增强视图中的该待处理区块。
2.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，基于该基础视图、该增强视图或该基础视图与该增强视图两者的深度信息推导与该增强视图中该待处理区块对应的该基础视图中该同位区块的该位置。
3.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，该自适应帧内预测子对应该同位区块的像素数据的多项式函数，其中如果该基础层或该基础视图具有低于该增强层或该增强视图的空域分辨率，则在应用该多项式函数之前上采样该同位区块。
4.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，如果该基础层或该基础视图具有低于该增强层或该增强视图的空域分辨率，则在应用该线性函数之前上采样该同位区块。
5.如权利要求4所述的图层间或视图间自适应帧内预测方法，其特征在于，通过采样该增强层或该增强视图的该待处理区块上方的第一边界像素，以及采样该增强层或该增强视图的紧邻该待处理区块左侧的第二边界像素产生该预测集合，并且通过采样该基础层或该基础视图的该同位区块上方的第三边界像素，以及采样该基础层或该基础视图的该同位区块左侧的第四边界像素产生该同位集合。
6.如权利要求5所述的图层间或视图间自适应帧内预测方法，其特征在于，该同位集合的采样位置取决于该增强层与该基础层的空域分辨率比例或者该增强视图与该基础视图的该空域分辨率比例，或者该同位集合的该采样位置取决于该基础视图、该增强视图或该基础视图与该增强视图两者的深度信息。
7.如权利要求6所述的图层间或视图间自适应帧内预测方法，其特征在于，如果该增强层或该增强视图具有低于该基础层或该基础视图的空域分辨率，则该同位集合的该采样位置对应于该基础层或该基础视图的整数位置。
8.如权利要求5所述的图层间或视图间自适应帧内预测方法，其特征在于，该预测集合的采样位置取决于该增强层与该基础层的空域分辨率，或者该增强视图与该基础视图的该空域分辨率比例。
9.如权利要求5所述的图层间或视图间自适应帧内预测方法，其特征在于，该预测集合与该同位集合的采样位置相同。
10.如权利要求5所述的图层间或视图间自适应帧内预测方法，其特征在于，在基于该基础层或该基础视图的像素数据推导该增强层或该增强视图中该待处理区块的该自适应帧内预测子之前，将采样滤波器应用于该预测集合、该同位集合或两者。
11.如权利要求10所述的图层间或视图间自适应帧内预测方法，其特征在于，将两个第一采样滤波器分别应用于该第一边界像素与该第二边界像素，将两个第二采样滤波器分别应用于该第三边界像素与该第四边界像素。
12.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，在图层层、图像层、条带层、编码单元层或预测单元层发送旗标以指示是否为该增强层或该增强视图中该待处理区块启动该图层间自适应帧内预测或该视图间自适应帧内预测。
13.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，发送旗标以指示该增强层或该增强视图中该待处理区块是否基于该图层间自适应帧内预测或该视图间自适应帧内预测进行处理，或该增强层或该增强视图中该待处理区块是否基于传统帧内预测进行处理，其中该传统帧内预测对应可伸缩视频编码的图层间帧内预测，并且该待处理区块对应预测单元或编码单元。
14.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，发送旗标以指示该增强层或该增强视图中该待处理区块是否基于该图层间自适应帧内预测或该视图间自适应帧内预测进行处理，或该增强层或该增强视图中该待处理区块是否使用其他预测模式中的一个进行处理，其中该其他预测模式包含合并模式、帧间预测模式与另外帧内预测模式，并且该待处理区块对应预测单元或编码单元。
15.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，当对应该自适应帧内预测子的帧内预测模式作为最可能模式其中之一并且为该待处理区块选择的当前帧内预测模式是对应该自适应帧内预测子的该帧内预测模式时，根据该最可能模式编码该待处理区块的该当前帧内预测模式，其中该待处理区块对应预测单元。
16.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，当对应该自适应帧内预测子的帧内预测模式不属于最可能模式其中之一并且为该待处理区块选择的当前帧内预测模式是对应该自适应帧内预测子的该帧内预测模式时，根据剩余模式中的一个编码该待处理区块的该当前帧内预测模式，其中该待处理区块对应预测单元。
17.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，基于该基础层或该基础视图的像素数据推导该增强层或该增强视图中该待处理区块的该自适应帧内预测子的步骤使用与该基础层或该基础视图中该同位区块或上采样同位区块的边界像素相关联的边界信息。
18.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，基于该基础层或该基础视图的像素数据推导该增强层或该增强视图中该待处理区块的该自适应帧内预测子的步骤使用与该基础层或该基础视图中该同位区块或上采样同位区块的边界像素相关联的幅度直方图信息。
19.如权利要求1所述的图层间或视图间自适应帧内预测方法，其特征在于，该基础层与该增强层，或该基础视图与该增强视图对应该视频数据的亮度组分、色度组分或深度组分。
20.一种图层间或视图间自适应帧内预测方法，其用于图层间或视图间视频编码***，其中将视频数据配置入该图层间视频编码***的基础层与增强层，并且将该视频数据配置入该视图间视频编码***的基础视图与增强视图，该图层间或视图间自适应帧内预测方法包含：
接收该增强层或该增强视图中的待处理色度区块；
确定该增强层或该增强视图中的同位亮度区块，其中该同位亮度区块位于与该增强层或该增强视图中该待处理色度区块对应的位置，并且其中帧内编码该同位亮度区块；
基于该基础层或该基础视图中亮度区块的边界像素与色度区块的边界像素或者基于该基础层或该基础视图中重构亮度区块与重构色度区块推导该增强层或该增强视图中该待处理色度区块的线性自适应帧内预测子；以及
使用该线性自适应帧内预测子将帧内预测编解码应用于该增强层或该增强视图中的该待处理色度区块。
21.如权利要求20所述的图层间或视图间自适应帧内预测方法，其特征在于，基于该基础层、该增强层或该基础层与该增强层两者，或者基于该基础视图、该增强视图或该基础视图与该增强视图两者推导该线性自适应帧内预测子的参数。
22.如权利要求20所述的图层间或视图间自适应帧内预测方法，其特征在于，基于该基础层或该基础视图中重构亮度区块与重构色度区块推导该线性自适应帧内预测子的参数，其中该基础层或该基础视图中该重构亮度区块与该重构色度区块分别位于该增强层或该增强视图中该同位亮度区块与该待处理色度区块的对应位置。
23.如权利要求20所述的图层间或视图间自适应帧内预测方法，其特征在于，如果该基础层或该基础视图使用具有第一参数的线性帧内预测模式，则使用该第一参数作为该增强层或该增强视图中该待处理色度区块的该线性自适应帧内预测子的参数。
24.一种用于自适应帧内预测的装置，其位于图层间或视图间视频编码***中，其中将视频数据配置入该图层间视频编码***的基础层与增强层，并且将该视频数据配置入该视图间视频编码***的基础视图与增强视图，该用于自适应帧内预测的装置包含：
接收模块，用于接收该增强层或该增强视图中的待处理区块；
确定模块，用于确定该基础层或该基础视图中的同位区块，其中该同位区块位于与该增强层或该增强视图中该待处理区块对应的该基础层或该基础视图中的位置，并且其中帧内编码该同位区块；
推导模块，用于基于该基础层或该基础视图的像素数据从该基础层或该基础视图中该同位区块中推导该增强层或该增强视图中该待处理区块的自适应帧内预测子，其中该自适应帧内预测子对应根据P'EL/EV(x,y)＝α·P'BL/BV(x,y)+β的该同位区块中像素数据的线性函数，其中P’EL/EV(x,y)对应该增强层或该增强视图中该待处理区块的该自适应帧内预测子，P’BL/BV(x,y)对应该基础层或该基础视图中该同位区块的该像素数据，α与β是参数，以及其中α与β是基于最小二乘法使用两个像素集合推导而得，其中该两个像素集合对应与该增强层或该增强视图关联的预测集合以及与该基础层或该基础视图关联的同位集合；以及
应用模块，用于使用该自适应帧内预测子将帧内预测编解码应用于该增强层或该增强视图中的该待处理区块。
25.一种用于自适应帧内预测的装置，其位于图层间或视图间视频编码***中，其中将视频数据配置入该图层间视频编码***的基础层与增强层，并且将该视频数据配置入该视图间视频编码***的基础视图与增强视图，该用于自适应帧内预测的装置包含：
接收模块，用于接收该增强层或该增强视图中的待处理色度区块；
确定模块，用于确定该增强层或该增强视图中的同位亮度区块，其中该同位亮度区块位于与该增强层或该增强视图中该待处理色度区块对应的位置，并且其中帧内编码该同位亮度区块；
推导模块，基于该基础层或该基础视图中亮度区块的边界像素与色度区块的边界像素或者基于该基础层或该基础视图中重构亮度区块与重构色度区块推导该增强层或该增强视图中该待处理色度区块的线性自适应帧内预测子；以及
应用模块，用于使用该线性自适应帧内预测子将帧内预测编解码应用于该增强层或该增强视图中的该待处理色度区块。
CN201380033134.7A 2012-06-22 2013-04-25 图层间与视图间自适应帧内预测方法及其装置 Active CN104380745B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261662970P 2012-06-22 2012-06-22
US61/662,970 2012-06-22
PCT/CN2013/074686 WO2013189205A1 (en) 2012-06-22 2013-04-25 Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding

Publications (2)

Publication Number Publication Date
CN104380745A CN104380745A (zh) 2015-02-25
CN104380745B true CN104380745B (zh) 2018-04-27

Family

ID=49768083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380033134.7A Active CN104380745B (zh) 2012-06-22 2013-04-25 图层间与视图间自适应帧内预测方法及其装置

Country Status (4)

Country Link
US (2) US9838688B2 (zh)
EP (1) EP2859724B1 (zh)
CN (1) CN104380745B (zh)
WO (1) WO2013189205A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885457B (zh) 2013-01-02 2017-03-29 杜比实验室特许公司 用于视频信号的向后兼容编码和解码的方法和装置
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
KR20150010660A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 깊이 영상의 화면내 예측 방법
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
EP3078194B1 (en) * 2014-01-02 2019-09-11 HFI Innovation Inc. Method and apparatus for intra prediction coding with boundary filtering control
WO2015102443A1 (ko) * 2014-01-03 2015-07-09 경희대학교 산학협력단 서브 예측 유닛 단위의 시간적인 시점 간 움직임 정보 유도의 방법 및 장치
US10681369B2 (en) 2014-01-03 2020-06-09 University-Industry Cooperation Group Of Kyung Hee University Method and device for inducing motion information between temporal points of sub prediction unit
US9930342B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Systems and methods for signaling hypothetical reference decoder parameters in a parameter set
GB2596767B (en) 2015-08-28 2022-07-06 Kt Corp Method and device for processing video signal
KR20180058224A (ko) * 2015-10-22 2018-05-31 엘지전자 주식회사 영상 코딩 시스템에서 모델링 기반 영상 디코딩 방법 및 장치
KR20190015216A (ko) * 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
EP3577899A4 (en) * 2017-01-31 2020-06-17 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SCALING TRANSFORM COEFFICIENT LEVEL VALUES
CN112703738A (zh) * 2018-08-03 2021-04-23 V-诺瓦国际有限公司 针对信号增强编码的上采样
CN113196763B (zh) * 2018-12-21 2024-04-12 北京字节跳动网络技术有限公司 使用多项式模型的帧内预测

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075240A1 (en) * 2005-01-12 2006-07-20 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
CN1848959A (zh) * 2005-04-13 2006-10-18 华为技术有限公司 一种增强层帧内预测方法
CN1863317A (zh) * 2005-10-12 2006-11-15 华为技术有限公司 一种增强层帧内预测方法和编解码设备
WO2008007342A2 (en) * 2006-07-11 2008-01-17 Nokia Corporation Scalable video coding
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100401789C (zh) 2004-06-11 2008-07-09 上海大学 H.264/avc帧内预测模式的快速选择方法
US20060020995A1 (en) * 2004-07-20 2006-01-26 Comcast Cable Communications, Llc Fast channel change in digital media systems
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
KR101307050B1 (ko) * 2006-12-14 2013-09-11 톰슨 라이센싱 비트 심도 스케일러빌리티를 위하여 인핸스먼트 계층 레시듀얼 예측을 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치
EP2193661A4 (en) 2007-06-27 2011-10-19 Thomson Licensing METHOD AND APPARATUS FOR ENCODING AND / OR DECODING VIDEO DATA USING RESIDUAL PREDICTION OF IMPROVING LAYER FOR SCALABILITY OF BINARY DEPTH
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
CN101904173B (zh) * 2007-12-21 2013-04-03 艾利森电话股份有限公司 用于视频编码的改进像素预测的方法及设备
KR101702553B1 (ko) * 2009-07-04 2017-02-03 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
FR2951346A1 (fr) 2009-10-08 2011-04-15 Thomson Licensing Procede de codage multivues et procede de decodage correspondant
US8908758B2 (en) * 2010-01-06 2014-12-09 Dolby Laboratories Licensing Corporation High performance rate control for multi-layered video coding applications
CN103026706B (zh) * 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的***及方法
US8994792B2 (en) * 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
WO2016172395A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075240A1 (en) * 2005-01-12 2006-07-20 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
CN1848959A (zh) * 2005-04-13 2006-10-18 华为技术有限公司 一种增强层帧内预测方法
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN1863317A (zh) * 2005-10-12 2006-11-15 华为技术有限公司 一种增强层帧内预测方法和编解码设备
WO2008007342A2 (en) * 2006-07-11 2008-01-17 Nokia Corporation Scalable video coding

Also Published As

Publication number Publication date
WO2013189205A1 (en) 2013-12-27
US10484678B2 (en) 2019-11-19
EP2859724A1 (en) 2015-04-15
US20150341636A1 (en) 2015-11-26
US9838688B2 (en) 2017-12-05
CN104380745A (zh) 2015-02-25
EP2859724B1 (en) 2019-09-04
EP2859724A4 (en) 2015-12-30
US20180070077A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN104380745B (zh) 图层间与视图间自适应帧内预测方法及其装置
CN104396249B (zh) 可伸缩视频编码的层间预测的方法和设备
CN104247423B (zh) 可伸缩视频编码***的帧内模式编码方法和装置
CN104205838B (zh) 可伸缩视频编码的方法以及装置
CN105791875B (zh) 可伸缩视频编码方法及其装置
KR100772883B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN104813667B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
CN104704835B (zh) 视频编码中运动信息管理的装置与方法
KR100913104B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
KR102062821B1 (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
CN105052144B (zh) 用于可伸缩视频编码的层间预测方法
TW201639365A (zh) 用於線性模型預測模式之降低取樣處理
CN105103563B (zh) 关于缩放列表数据信令的方法和装置
CN103621081A (zh) 可伸缩视频编码方法及装置
KR20120093442A (ko) 인코딩된 비트스트림들의 병합
MX2008002391A (es) Metodo y aparato para codificar video de vistas multiples.
CN108718411B (zh) 图像解码方法和使用其的装置
CN105191318B (zh) 画面块的编码和解码方法、对应的设备和数据流
CN103518374B (zh) 可伸缩视频编码方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220419

Address after: Taiwan Hsinchu County Chinese jhubei City, Taiwan five yuan a Street No. 3 Building 7

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Industrial Park, Taiwan, China

Patentee before: MEDIATEK Inc.