CN104718757B - 用于可缩放视频译码的预测模式信息上取样 - Google Patents

用于可缩放视频译码的预测模式信息上取样 Download PDF

Info

Publication number
CN104718757B
CN104718757B CN201380051419.3A CN201380051419A CN104718757B CN 104718757 B CN104718757 B CN 104718757B CN 201380051419 A CN201380051419 A CN 201380051419A CN 104718757 B CN104718757 B CN 104718757B
Authority
CN
China
Prior art keywords
block
layer
prediction mode
video
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380051419.3A
Other languages
English (en)
Other versions
CN104718757A (zh
Inventor
瓦迪姆·谢廖金
陈建乐
李想
克里希纳坎斯·拉帕卡
马尔塔·卡切维奇
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104718757A publication Critical patent/CN104718757A/zh
Application granted granted Critical
Publication of CN104718757B publication Critical patent/CN104718757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一个实施例中，经配置以对视频数据进行译码的设备包含处理器及存储器单元。所述存储器单元存储与具有第一空间分辨率的第一层及具有第二空间分辨率的第二层相关联的视频数据。与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，且所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联。所述处理器至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据，对所述所导出的预测模式数据及所述第一层块进行上取样，及将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。

Description

用于可缩放视频译码的预测模式信息上取样
技术领域
本发明大体上涉及视频译码及压缩。
背景技术
数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及类似装置。数字视频装置实施视频压缩技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)及此些标准的扩展。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由配置成水平及垂直线的像素构成。单个图像中的像素的数目通常有数万个。每一像素通常含有明度及色度信息。在无压缩的情况下，将从图像编码器传输到图像解码器的信息的量太过巨大以致其可能难以提供实时图像传输。为了减少将发射的信息的量，已开发了数种不同压缩方法。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
空间或时间预测导致译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。
基于块的视频译码及压缩可进一步利用可缩放技术。可缩放视频译码(SVC)指使用基础层和一或多个可缩放增强层的视频译码。对于SVC来说，基础层通常载运具有基础质量水平的视频数据。一或多个增强层载运额外视频数据以支持较高的空间、时间和/或SNR水平。
发明内容
为了总结本发明的目的，本文中已描述某些方面、优势和新颖特征。应理解，根据本文中揭示的任何特定实施例，未必可达成全部这些优势。因此，可以按照如本文所教示来达成或优化一个优势或一群优势而未必达成如本文可能教示或建议的其它优势的方式来体现或进行本文中揭示的特征。
根据一些实施例，一种经配置以对视频数据进行译码的设备包含存储器单元及处理器。所述存储器单元经配置以存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据。与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，且所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联。所述处理器与所述存储器单元通信，且所述处理器经配置以至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据，对所述所导出的预测模式数据及所述第一层块进行上取样，且将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。
先前段落的设备可包含以下特征中的一或多者：根据所述选择规则，所述处理器经配置以至少基于所述第一子块相对于所述第一层块的一或多个其它子块的位置来选择与所述多个子块中的第一子块相关联的所述预测模式数据。所述第一子块为在每一侧上与所述第一层块的所述多个子块中的一者相邻的中心子块。所述处理器经配置以根据信号旗标确定所述选择规则。所述处理器经配置以至少基于所述经上取样的第一层块及与所述经上取样的第一层块的每一经上取样的子块相关联的所述经上取样的预测模式数据来确定所述第二层中的第二层块的预测值。所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处，或所述第一层块位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。与所述第一层块的每一子块相关联的所述相应预测模式数据包含运动向量。所述经上取样的预测模式数据与所述所导出的预测模式数据之间的空间分辨率比率匹配所述第二空间分辨率与所述第一空间分辨率之间的空间分辨率比率。所述处理器经配置以：在第一译码器-解码器(译解码器)用以压缩所述第一层块时将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联；及在不同于所述第一译解码器的第二译解码器用以压缩第一层中的视频单元时至少基于指派规则将经指派的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。根据指派规则，处理器经配置以将预测模式数据指派为以下各者中的至少一者：零运动向量、等于零的参考索引、等于负一的参考索引及标记为不可用的运动字段。处理器经配置以将经上取样的第一层块***于参考列表中。处理器包括解码器。处理器包括编码器。设备为装置的部分，所述装置是从由以下组成的群组中选出的：计算机及无线通信装置手持机。
根据一些实施例，一种对视频数据进行译码的方法包含：存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联；至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据；对所述所导出的预测模式数据及所述第一层块进行上取样；及将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。
先前段落的方法可包含以下特征中的一或多者：根据所述选择规则，所述导出包含至少基于所述第一子块相对于所述第一层块的一或多个其它子块的位置来选择与所述多个子块中的第一子块相关联的所述预测模式数据。所述第一子块为在每一侧上与所述第一层块的所述多个子块中的一者相邻的中心子块。所述方法进一步包含根据信号旗标确定选择规则。所述方法进一步包含至少基于所述经上取样的第一层块及与所述经上取样的第一层块的每一经上取样的子块相关联的所述经上取样的预测模式数据来确定所述第二层中的第二层块的预测值，其中所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处，或所述第一层块位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。与所述第一层块的每一子块相关联的所述相应预测模式数据包含运动向量。所述经上取样的预测模式数据与所述所导出的预测模式数据之间的空间分辨率比率匹配所述第二空间分辨率与所述第一空间分辨率之间的空间分辨率比率。所述方法进一步包含：在第一译码器-解码器(译解码器)用以压缩所述第一层块时将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联；及在不同于所述第一译解码器的第二译解码器用以压缩第一层中的视频单元时至少基于指派规则将经指派的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。所述方法进一步包含根据指派规则，将预测模式数据指派为以下各者中的至少一者：零运动向量、等于零的参考索引、等于负一的参考索引及标记为不可用的运动字段。所述方法进一步包含将经上取样的第一层块***于参考列表中。所述方法进一步包含接收从经编码视频位流提取的语法元素，所述语法元素指示与第一层视频块相关联的预测模式信息。所述方法进一步包含产生用于经编码视频位流的语法元素，所述语法元素指示与第一层视频块相关联的预测模式信息。
根据一些实施例，一种经配置以对视频数据进行译码的设备包含：用于存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据的装置，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联；用于至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据的装置；用于对所述所导出的预测模式数据及所述第一层块进行上取样的装置；及用于将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联的装置。
根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令指引用于对视频数据进行译码的设备执行过程，所述过程包含：存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联；至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据；对所述所导出的预测模式数据及所述第一层块进行上取样；及将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。
附图说明
下文参看图式描述本文所揭示的各种实施例的特征。贯穿图式重复使用参考数字以指示所参考的元件之间的对应。提供图式以说明本文中所描述的实施例且不限制其范围。
图1是说明可以利用本发明中描述的技术的实例视频编码***的框图。
图2是说明可实施本发明的实施例的实例视频编码器的框图。
图3是说明可实施本发明的实施例的实例视频解码器的框图。
图4是说明可用于预测增强层的实例视频数据的概念图。
图5及6是说明实例基础层视频数据及经上取样的基础层视频数据的概念图。
图7说明用于对视频数据进行译码的实例方法。
具体实施方式
概述
本发明中所描述的技术通常涉及可缩放视频译码(SVC)、可缩放视频高效率视频译码(SHVC)、多视图译码及3D视频译码。举例来说，所述技术可与高效率视频译码(HEVC)SVC扩展相关，及与高效率视频译码(HEVC)SVC扩展一起或在高效率视频译码(HEVC)SVC扩展内使用。在SVC扩展中，可存在多个视频信息层。在最底层级处的层可充当基础层(BL)，且在最顶部的层可充当增强型层(EL)。在MVC中，可使用术语“视图”来取代术语“层”。因此，可分别用“视图”或“多个视图”来替代本发明中对“层”或“多个层”的参考。“增强型层”有时被称作“增强层”，且这些术语可互换地使用。在中间的层可充当增强层或基础层中的任一者或两者。举例而言，在中间的层可为在其下方的层(例如，基础层或任何***增强层)的增强层，且同时充当在其上方的增强层的基础层。
SVC可用以提供质量(也被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。增强层可具有与基础层相同或不同的空间分辨率。举例来说，增强层与基础层之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，增强层的空间纵横比可等于基础层的空间纵横比的1.0、1.5或2.0倍。在一些实例中，增强层的缩放因数可大于基础层。举例来说，增强层中的图片的大小可大于基础层中的图片的大小。以此方式，尽管并非限制，但有可能增强层的空间分辨率大于基础层的空间分辨率。
有时被称作再取样滤波的上取样滤波可应用于基础层以便增加基础层的空间分辨率。在一些实施方案中，基础层的空间分辨率可以增加以匹配增强层的空间分辨率。此过程可被称作空间可缩放性。上取样滤波器组可应用于基础层，且可基于相位(有时被称作分数像素偏移)从所述组中选出一个滤波器。可基于基础层及增强层图片之间的空间纵横比计算所述相位。
SVC额外地促进层间运动预测，其中基础层的运动用以预测增强层中的运动。运动信息(如运动向量、参考索引或与基础层的一或多个视频块相关联的帧间方向)可用以确定与增强层的一或多个视频块相关联的运动信息。举例来说，基础层图片中的相同位置块的运动向量可被用作用以在将基础层图片列为参考图片列表中的相同位置图片时预测增强层中的经预测视频单元的运动向量的候选者。
然而，在一些状况下，如果增强层的空间分辨率不同于基础层的空间分辨率，那么可能不启用层间运动预测，因为对于层间运动预测，在不对切片层级下面的基础层***设计实施改变或使用不同硬件或软件***设计的情况下，与基础层的视频块相关联的运动信息可能不是可存取的。结果，视频译码器压缩视频数据的能力可降低，其中增强层的空间分辨率不同于基础层的空间分辨率。
有利的是，本发明的实施例是部分针对基础层的有时被称为非像素信息的上取样预测模式信息(例如，可用于压缩视频数据的帧内预测模式、帧间预测模式或例如运动向量、参考索引或帧间方向等运动信息)，以使得经上取样的预测模式信息可用于增强层的层间运动预测。本发明的方法可在增强层具有不同于或大于基础层的空间分辨率时在不实施译码单元或低层级***改变的情况下促进层间运动预测。在一个实例中，对与基础层块相关联的预测模式信息进行上取样，且经上取样的预测模式信息中的一些或全部又可用以确定增强层块的经预测的预测模式信息。此外，在某些实施例中，默认预测模式信息可有利地被用作用以确定增强层块的经预测的预测模式信息的候选者。
仅出于说明的目的，本发明中所描述的技术可用仅包含两个层(例如，例如基础层等较低层级层及例如增强层等较高层级层)的实例来描述。然而，应理解，本发明中所描述的实例也可扩展到具有多个基础层及增强层的实例。
视频译码***
图1为说明可利用根据本发明中所描述的方面的技术的实例视频译码***10的框图。如本文中所描述地使用，术语“视频译码器”一般指视频编码器及视频解码器两者。术语“视频译码”或“译码”一般可指视频编码及视频解码。
如图1中所示，视频译码***10包含源装置12及目的地装置14。源装置12产生经编码视频数据。目的地装置14可对由源装置12产生的经编码的视频数据进行解码。源装置12及目的地装置14可包括多种多样的装置，包含桌上型计算机、笔记本(例如，膝上型等)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。在一些实例中，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，信道16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码的视频数据，且可将经调制视频数据发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取所述存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。在另一实例中，信道16可包含文件服务器或存储由源装置12产生的经编码视频的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载而存取存储在文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，用于网站等)、FTP服务器、网络附接存储(NAS)装置，及本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接等)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些状况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口和/或用于产生视频数据的计算机图形***等来源，或这些来源的组合。
视频编码器20可经配置以对所俘获的、预先俘获的或计算机生成的视频数据进行编码。经编码视频数据可经由源装置12的输出接口22直接发射到目的地装置14。还可将经编码视频数据存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码及/或重放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码视频数据。经编码的视频数据可包含由视频编码器20产生的表示视频数据的多种语法元素。语法元素可描述块及其它经译码单元(例如GOP)的特性及/或处理。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据例如HEVC标准等视频压缩标准操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专属或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。此外，在一些状况下，两个或两个以上标准(例如，HEVC及H.264/AVC)可一起或组合使用。举例来说，H.264/AVC或另一组合式编码器/解码器(译解码器)可用于基础层压缩，且增强层压缩可使用HEVC。
尽管图1的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
再次，图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输，等。编码装置可编码数据且将数据存储到存储器，和/或解码装置可从存储器检索数据且解码数据。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。
视频编码器20和视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器在硬件中执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的译解码器的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
视频编码器
图2是说明可实施根据本发明中所描述的方面的任何或所有技术的实例视频编码器20的框图。作为一个实例，帧间预测模块121及上取样模块130可执行本发明中所描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，可在视频编码器20的各种组件当中共享所述技术。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。
视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测模块100、残余产生模块102、变换模块104、量化模块106、反量化模块108、反变换模块110、重建模块112、滤波器模块113、经解码图片缓冲器114、熵编码模块116及上取样模块130。预测模块100包含帧间预测模块121、运动估计模块122、运动补偿模块124，及帧内预测模块126。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。此外，运动估计模块122与运动补偿模块124可高度集成，但出于解释的目的而在图2的实例中分开来表示。
视频编码器20可以接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(图1)或另一源接收视频数据。视频数据可表示一系列视频帧或图片，例如图片群组(GOP)。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
可将视频帧或图片进一步划分成包含明度及色度样本两者的一连串树块或最大译码单元(LCU)(有时被称作像素)。位流内的语法数据可以界定LCU(其是就样本数目来说的最大译码单位)的大小。切片包含按译码次序的多个连续树块。视频帧或图片可被分割成一或多个切片。每一树块可以根据四叉树而***成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于树块。如果CU***成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
与CU相关联的视频块的大小范围可从8x8样本高达最大64x64像素或更大的树块大小。在本发明中，“NxN”及“N乘N”可互换使用来指代在垂直及水平尺寸方面的视频块的像素尺寸，例如，16x16样本或16乘16样本。一般来说，16x16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，NxN块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含***旗标，所述***旗标指示是否将对应于节点的CU的视频块分割(即，***)成四个子块。用于CU的语法元素可递归地定义，且可取决于CU的视频块是否***成子块。其视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。
视频编码器20可对树块中的每一未分割CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。
作为对CU执行编码操作的部分，预测模块100可分割CU的一或多个预测单元(PU)当中的CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，视频编码器20和视频解码器30可支持2Nx2N或NxN的PU大小，和2Nx2N、2NxN、Nx2N、NxN、2NxnU、nLx2N、nRx2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测模块100可执行几何分割以沿不以直角与CU的视频块的侧会合的边界来在CU的PU当中分割CU的视频块。
帧间预测模块121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计模块122可产生用于所述PU的运动信息。运动补偿模块124可基于除与CU相关联的图片(即，参考图片)之外的图片的运动信息及经解码样本产生PU的经预测视频块。在本发明中，由运动补偿模块124产生的经预测视频块可被称为经帧间预测视频块。
切片可为I切片、P切片或B切片。运动估计模块122及运动补偿模块124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU在I切片中，那么运动估计模块122及运动补偿模块124不对PU执行帧间预测。
如果PU处于P切片中，那么含有PU的图片与被称为“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于帧间预测其它图片的样本。当运动估计模块122关于P切片中的PU执行运动估计操作时，运动估计模块122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如，样本块。运动估计模块122可使用多种度量来确定参考图片中的一组样本对应于PU的视频块中的样本的接近程度。举例来说，运动估计模块122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。
在识别出P切片中的PU的参考块之后，运动估计模块122可产生指示列表0中的参考图片含有参考块和指示PU与参考块之间的空间位移的运动向量的参考索引。在各种实例中，运动估计模组122可以变化的精度产生运动向量。举例来说，运动估计模块122可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动向量。在分数样本精度的状况下，参考块值可从整数位置样本值内插在参考图片中。运动估计模块122可将参考索引和运动向量输出为PU的运动信息。运动补偿模块124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。
如果PU在B切片中，那么含有PU的图片可与称为“列表0”及“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。
此外，如果PU在B切片中，那么运动估计模块122可对PU执行单向预测或双向预测。当运动估计模块122对PU执行单向预测时，运动估计模块122可搜索列表0或列表1中的参考图片以找出用于所述PU的参考块。运动估计模块122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引和指示PU与所述参考块之间的空间位移的运动向量。运动估计模块122可输出参考索引、预测方向指示符和运动向量，作为用于所述PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿模块124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。
当运动估计模块122对PU执行双向预测时，运动估计模块122可搜索列表0中的参考图片以找出用于所述PU的参考块，且还可搜索列表1中的参考图片以找出用于所述PU的另一参考块。运动估计模块122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引和指示所述参考块与PU之间的空间位移的运动向量。运动估计模块122可将PU的参考索引及运动向量输出为PU的运动信息。运动补偿模块124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。
在一些情况下，运动估计模块122不将PU的运动信息的完整集合输出到熵编码模块116。而是，运动估计模块122可参考另一PU的运动信息而用信号发送PU的运动信息。例如，运动估计模块122可确定PU的运动信息充分类似于相邻PU的运动信息。在此实例中，运动估计模块122可在与PU相关联的语法结构中指示一值，所述值对视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计模块122可在与PU相关联的语法结构中识别相邻的PU及运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在用信号发出第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少的位用信号发出第二PU的运动信息。
作为对CU执行编码操作的部分，帧内预测模组126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测模块126对PU执行帧内预测时，帧内预测模块126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测模块126可对I切片、P切片和B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测模块126可使用多个帧内预测模式方向或帧内预测方向来产生PU的多组预测数据。当帧内预测模块126使用帧内预测方向来产生用于PU的一组预测数据时，帧内预测模块126可在与帧内预测方向相关联的方向及/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。假定对于PU、CU及树块采用从左到右、从上到下的编码次序，相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测模组126可取决于PU的大小而使用各种数目的帧内预测方向(例如33帧内预测方向)。
预测模块100可从由运动补偿模块124针对PU产生的预测数据或由帧内预测模块126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测模块100基于预测数据的集合的速率/失真度量来选择用于PU的预测数据。
如果预测模块100选择由帧内预测模块126产生的预测数据，那么预测模块100可用信号发出用于产生PU的预测数据的帧内预测模式的方向(例如，选定的帧内预测方向)。预测模块100可以各种方式用信号发出所选定帧内预测方向。举例来说，有可能选定帧内预测方向与相邻PU的帧内预测方向相同。换句话说，相邻PU的帧内预测方向可为用于当前PU的最可能模式。因此，预测模块100可产生语法元素，所述语法元素用以指示选定帧内预测方向与相邻PU的帧内预测方向相同。
在预测模块100选择用于CU的PU的预测数据之后，残余产生模块102可通过从CU的视频块减去CU的PU的经预测视频块来产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的明度分量与CU的原始视频块中的样本的明度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。
预测模块100可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。
变换模块104可通过将一或多个变换应用到与CU的每一TU相关联的残余视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换模块104可将各种变换应用到与TU相关联的残余视频块。举例来说，变换模块104向与TU相关联的残余视频块应用离散余弦变换(DCT)、定向变换或概念上类似的变换。
在变换模块104产生与TU相关联的变换系数块之后，量化模块106可量化所述变换系数块中的变换系数。量化模块106可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。
视频编码器20可以各种方式使QP值与CU相关联。例如，视频编码器20可对与CU相关联的树块执行速率-失真分析。在速率-失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率及失真度量的树块的经译码表示中的CU相关联时，视频编码器20可用信号表示所述给定QP值与CU相关联。
反量化模块108及反变换模块110可分别应用反量化及反变换到变换系数块以从变换系数块重建残余视频块。重建模块112可将经重建残余视频块添加到来自由预测模块100产生的一或多个预测视频块的对应样本以产生与TU相关联的经重建视频块。通过以此方式重建用于CU的每一TU的视频块，视频编码器20可重建CU的视频块。
在重建模块112重建CU的视频块之后，滤波器模块113可执行解块操作以减少与所述CU相关联的视频块中的成块假影。在执行一或多个解块操作之后，滤波器模块113可将CU的经重建视频块存储在经解码图片缓冲器114中。运动估计模块122及运动补偿模块124可使用含有所述经重建视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测模块126可使用经解码图片缓冲器114中的经重建视频块来对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码模块116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码模块116可接收来自量化模块106的变换系数块及可接收来自预测模块100的语法元素。当熵编码模块116接收数据时，熵编码模块116可执行一或多个熵编码操作以产生经熵编码数据。例如，视频编码器20可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作或另一类型的熵编码操作。熵编码模块116可输出包含所述经熵编码数据的位流。
上取样模块130可按比例缩放或再取样包含像素及非像素信息(如预测模式信息)的视频数据，以增加空间分辨率。在一些实施例中，可对基础层的视频数据进行上取样以匹配增强层的空间分辨率。上取样模块130也可以与视频编码器20的一或多个其它功能组件协调以在将基础层图片***到参考列表中之前对基础层图片的基础层视频数据进行上取样。
视频编码器20可例如在帧标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，及帧语法数据可指示用以对对应帧进行编码的编码/预测模式。
视频解码器
图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162及上取样模块170可经配置以执行本发明中所描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的任何或所有技术。
视频解码器30包含熵解码单元150、运动补偿单元162、帧内预测单元164、反量化单元154、反变换单元156、参考图片存储器160及求和器158。视频解码器30在一些实例中可执行一般与关于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元162可基于从熵解码单元150接收的运动向量产生预测数据，而帧内预测单元164可基于从熵解码单元150接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。视频解码器30的熵解码单元150对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元150将运动向量及其它语法元素转发到运动补偿单元162。视频解码器30可在视频切片层级及/或视频块层级处接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元164可以基于用信号发出的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元162基于运动向量及从熵解码单元150接收的其它语法元素而产生用于当前视频切片的视频块的预测性块。可以从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可使用基于存储于参考图片存储器160中的参考图片的默认建构技术建构参考帧列表，即列表0及列表1。运动补偿单元162通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码当前视频块的预测性块。举例来说，运动补偿单元162使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
上取样模块170可按比例缩放或再取样包含像素及非像素信息(如预测模式信息)的视频数据，以增加空间分辨率。在一些实施例中，可对基础层的视频数据进行上取样以匹配增强层的空间分辨率。上取样模块130可以与视频编码器20的一或多个其它功能组件协调以在将基础层图片***到参考列表中之前对基础层图片的基础层视频数据进行上取样。
运动补偿单元162还可基于内插滤波器执行内插。运动补偿单元162可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元162可从所接收的语法元素确定由视频编码器20使用的内插滤波器，且使用内插滤波器产生预测性块。
反量化单元154对在位流中提供及由熵解码单元150解码的经量化变换系数进行反量化，例如解量化。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度及同样的反量化程度的量化参数QPY。
反变换单元156对变换系数应用反变换(例如，反DCT、反整数变换，或概念上类似的反变换过程)，以便产生像素域中的残余块。
在运动补偿单元162基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自反变换单元156的残余块与由运动补偿单元162产生的对应的预测性块求和来形成经解码视频块。求和器158表示可执行此求和运算的一或多个组件。如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器160中，参考图片存储器160存储用于后续运动补偿的参考图片。参考图片存储器160还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
在未图示的另一实施例中，在求和器158重建CU的视频块之后，滤波器模块可执行解块操作以减小与所述CU相关联的成块假影。在滤波器模块执行解块操作以减小与CU相关联的成块假影之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器中。经解码图片缓冲器可提供参考图片以用于后续运动补偿、帧内预测及在例如图1的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器中的视频块对其它CU的PU执行帧内预测或帧间预测操作。
在典型视频编码器中，将原始视频序列的帧分割成矩形区或块，所述矩形区或块经编码于帧内模式(I模式)或帧间模式(P模式)中。使用例如DCT译码等某一种类的变换译码对块进行译码。然而，基于纯变换的译码可仅减少特定块内的像素间相关，而不考虑像素的块间相关，且仍可产生用于发射的高位速率。当前数字图像译码标准还可采用减少块之间的像素值的相关的某些方法。
一般来说，从经先前译码的帧及发射的帧中的一者中预测在P模式中编码的块。块的预测信息可由二维(2D)运动向量表示。对于在I模式中编码的块，经预测的块使用从相同帧内的已经编码的相邻块的空间预测而形成。预测误差(例如，经编码的块与经预测块之间的差)可表示为某一离散变换的一组加权基底函数。预测误差也可被称作残余数据。通常在8x8或4x4块的基础上执行变换。随后量化权重(例如，变换系数)。量化引入信息的损耗，且因此经量化系数具有比原始精度低的精度。
经量化变换系数与运动向量及一些控制信息一起可形成完整的经译码序列表示，且被称作语法元素。在从编码器发射到解码器之前，可对所有语法元素进行熵编码以便进一步减少对于其表示所需要的位数。
在解码器中，可通过首先以与在编码器中相同的方式建构块的预测及通过将经压缩预测误差添加到预测来获得当前帧中的块。可通过使用经量化系数来加权变换基底函数而发现经压缩预测误差。经重建帧与原始帧之间的差可被称作重建误差。
视频译码及压缩实施例
MVC中的帧间预测可包含每一视图内的图片间预测及视图间预测(例如，视图之间的预测)两者。在MVC中使用视差运动补偿来支持视图间预测，所述视差运动补偿可应用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作参考图片。两个视图的译码也可由MVC支持。结果，MVC的优势中的一者可为使用MVC的编码器可将两个以上视图视作3D视频输入，且使用MVC的解码器可对此多视图表示进行解码。因此，使用MVC的呈现器及解码器可预期具有两个以上视图的3D视频内容。
可准许在相同存取单元中的图片当中的视图间预测，所述图片含有针对一个输出时间实例的所有视图的经译码图片。因此，在对非基础视图中的图片进行译码的状况下，如果图片在不同视图内且在与另一图片相同的时间实例处，那么可在一或多个不同位置中将图片添加到参考列表中。
在建构B图片的参考列表的实例(例如，建构过程)中可涉及两个步骤。首先，可初始化参考列表。参考列表初始化可为用于根据POC(图片次序计数)值的次序在列表中将参考图片放置于参考图片存储器(例如图2的经解码图片缓冲器114或图3的参考图片存储器160)中的机制。POC可与图片的显示次序对准。其次，可重新排序参考列表。参考列表重新排序可涉及修改参考列表中的图片的位置或将参考图片放置于参考图片存储器中的特定位置中，但所述图片可不属于经初始化的参考列表。可考虑将在参考列表重新排序之后的一些图片放置于最终参考列表中的位置中。然而，在一些状况下，如果图片的位置超过列表的作用中参考图片的数目，那么图片可不被认为是最终参考列表的条目。可在每一列表的切片标头中用信号发出作用中参考图片的数目。一旦建构参考列表，参考索引便可用以识别参考列表中的图片。
可通过存取例如参考列表等经解码图片缓冲器中的图片的运动向量而在HEVC中确定时间运动向量预测子(TMVP)。在一个实例实施方案中，在针对整个经译码视频序列启用TMVP时，可将序列参数集中的“sps_temporal_mvp_enable_flag”设定为1。“slice_temporal_mvp_enable_flag”接着可在切片标头中进一步用信号发出是否针对特定切片启用TMVP。在针对特定切片启用TMVP时，“collocated_from_10_flag”可用以在切片标头中用信号发出相同位置图片是否来自参考列表，例如列表0或列表1。在识别参考列表之后，可在切片标头中用信号发出“collocated_ref_idx”以识别列表中的图片中的图片。可通过检查相同位置图片来识别相同位置PU，且可使用含有此PU的CU的右下方PU的运动或含有此PU的CU的中心PU内的右下方PU的运动。
现在移动到图4，图4为说明可用于预测增强层的实例视频数据400的概念图。视频数据400包含基础层块410(例如突出显示的基础层块412)及与基础层块410相关联的预测模式信息(未图示)。预测模式信息包含与基础层块410的样本相关联的非像素信息，且可用于视频压缩的目的。此非像素信息可包含(但不限于)预测模式信息，如帧内预测模式、帧间预测模式、语法、运动向量、参考索引及帧间方向(例如，单一L0方向、单一L1方向或双向方向)。
基础层块410分别为在图4的实例中的16x16样本块。在图4中展示突出显示的基础层块412的每一样本。又可以对应于突出显示的基础层块412的4x4样本的分辨率存储与突出显示的基础层块412相关联的预测模式信息。举例来说，一组预测模式信息可存储与突出显示的基础层块412的突出显示的4x4样本子块414相关联的预测模式信息，而其它组预测模式信息可个别地存储与突出显示的基础层块412的其它4x4样本子块相关联的预测模式信息。图4的这些块大小及对应预测模式信息分辨率是作为说明性实例而提供的。在一些实施例中，基础层块410可包含较多样本(例如，32x32样本或64x64样本)或较少样本(例如，4x4样本或8x8样本)，且突出显示的基础层块412的预测模式信息可具有对应于突出显示的基础层块412的较多样本(例如，8x8样本)或较少样本(例如，2x2或1x1样本)的分辨率。
参看图5，图5为说明实例基础层视频数据及经上取样的基础层视频数据的概念图500。概念图500包含经上取样的基础层块520及基础层块410。
经上取样的基础层块520可通过根据空间纵横比(例如，视频数据的增强层与基础层之间的空间纵横比)对基础层块410进行上取样来确定。基础层块410的个别块在进行上取样时因此具有含有个别块的按比例缩放或再取样的版本的对应经上取样的块。举例来说，突出显示的经上取样的基础层块522可对应于突出显示的基础层块412，且通过对突出显示的基础层块412进行上取样来确定。
与基础层块410相关联的预测模式信息也可以经上取样，且与经上取样的基础层块520相关联。预测模式信息的上取样可匹配基础层块520的上取样，因此根据用以对基础层块410进行上取样的相同空间纵横比对预测模式信息进行上取样。在一些实施方案中，经上取样的预测模式信息的空间分辨率可进一步取决于用于对例如运动信息等某些预测模式信息进行下取样的块大小。
在一些实施例中，与一或多个基础层块(例如，仅一个基础层块)相关联的预测模式信息可用以确定与整个经上取样的基础层块相关联的经上取样的预测模式信息。举例来说，与突出显示的4x4样本子块414相关联的预测模式信息可经上取样且经指派为与突出显示的经上取样的基础层块522相关联的预测模式信息。有利的是，此方法可(1)限制或减少与突出显示的经上取样的基础层块522相关联及经存储以供帧间预测译码使用的预测模式信息的量，且(2)利用用于单层译码的译解码器的现有实施方案而不实施块层级改变。在一个实施方案中，预测模式信息连同经上取样的像素信息一起可存储于所产生的层间图片中。此层间图片可为基础层图片的经上取样的版本及具有匹配增强层图片的空间分辨率的空间分辨率的新产生的图片。在导出之后，层间图片可包含与时间参考图片相同的信息，且可以添加到参考图片列表及用于帧间预测增强层。可进一步根据由用于译码的增强层译解码器定义的预测模式信息存储装置选择增强层块的大小。举例来说，在HEVC标准中进行子取样的运动信息中，可在16x16样本的基础上存储一组预测模式信息。为了在不引入块层级处及在切片层级以外的改变的情况下遵循HEVC标准，预测模式信息存储于层间图片中的粒度可为至少16x16样本。
连同此方法一起，一或多个不同选择规则可用以选择将进行上取样及与经上取样的基础层块相关联的预测模式信息。不同的选择规则可提供用于选择预测模式信息的替代或复合规则。一个实例选择规则可提供与特定预测模式信息相关联的基础层子块(例如，突出显示的4x4样本子块414)的位置可用于选择或导出预测模式信息。对于此选择规则的子块位置可例如表示特定角子块(如基础层块的左下或右上角子块)或中心子块(如基础层块的左上或右下中心子块)。在图5的实例中，可基于右下中心子块位置选择规则来选择与突出显示的4x4样本子块414相关联的预测模式信息。另一实例选择规则可提供预测模式信息的值用以选择预测模式信息。举例来说，可比较预测模式单元的运动向量的值，且可选择与具有最高或最低总或平均值的运动向量相关联的预测模式信息。一或多个选择规则可用信号发出为取决于实施方案存储于标头(例如，视频参数集、序列参数集、图片参数集或切片标头)中或其它地方或根据默认规则设定确定的语法元素或旗标。
另外，在应用一或多个选择规则时，在一些状况下可不对与基础层块相关联的一些预测模式信息进行上取样，因为信息的此部分可不取决于空间比率，正如例如运动向量那样。因此，特定预测模式信息可基于选择规则导出，且接着在与经上取样的基础层块相关联之前经上取样。在其它实施例中，与基础层块相关联的预测模式信息可首先经上取样，且接着根据选择规则，特定经上取样的预测模式信息可被导出且与经上取样的基础层块相关联。此外，在一些实施方案中，可在上取样过程之前或之后对预测模式信息进行下取样。
包含例如突出显示的经上取样的基础层块522等经上取样的基础层块的经上取样的基底图片可被放置于一或多个增强层参考图片列表中作为基础层经重建图片的部分或作为新产生的图片(例如，层间图片)，且用于预测增强层。基础层经重建图片或层间参考图片可被添加到或替换一或多个参考列表中的另一图片。与经上取样的基础层块相关联的经上取样的预测模式信息可用于层间运动预测增强层。可将具有不同块上取样及/或预测模式上取样的一个以上基础层图片添加到一或多个参考列表。可使用语法元素或旗标来指示或标记不同块上取样及/或预测模式上取样。在某些实施例中，语法元素或旗标可指示块或预测模式上取样中的至少一者不同于默认上取样。
在某些实施例中，为了避免与将预测模式信息指派给作为参考***的基础层图片相关的问题，可不将基础层图片用作相同位置参考图片(例如，“collocated_ref_idx”参数可不等于增强层参考列表中的基础层图片的参考索引)。在此些实施方案中，可将参考列表设定为列表0、列表1或列表0及1两者。参考列表可进一步由“collocated_from_10_flag”参数定义，所述参数指示是否从列表0或列表1导出用于时间运动向量预测的相同位置图片。此外，如果相同位置参考索引指向基础层参考图片(例如，一或多个TMVP旗标可指示TMVP关闭，例如可指示“sps_temporal_mvp_enable_flag”或“slice_temporal_mvp_enable_flag”参数关闭)，那么可将TMVP标记为不可用。
在一些实施例中，如果将基础层图片作为P切片***到增强层参考图片列表中，那么对于列表0(但不对于列表1)可指定用于帧间预测的预测模式信息。另一方面，如果将基础层图片***为B切片，那么对于列表0及1可指定用于帧间预测的预测模式信息。然而，甚至在与基础层块相关联的预测模式信息为单向的时，作为用于预测模式信息的上取样过程的部分，可使预测模式信息为双向的。在一个实例方法中，从列表0按比例缩放单向运动向量，以接着用于具有特定参考索引(例如，零或一)的列表1。在另一实例中，单向预测模式信息补充有零运动或其它默认运动信息。此外，甚至对于B切片，单向运动字段可用于列表0或列表1。
图6是说明实例基础层视频数据及经上取样的基础层视频数据的概念图600。突出显示的基础层块412位于基础层中的对应于突出显示的经上取样的基础层块522的位置的位置处，所述突出显示的经上取样的基础层块522为经上取样的基础层中的突出显示的经上取样的基础层块624的相邻块。图6类似于图5，然而，与突出显示的4x4样本子块414相关联的预测模式信息可经上取样，且另外或替代地经指派为与突出显示的经上取样的基础层块624相关联的预测模式信息。也就是说，突出显示的4x4样本子块414可位于相对于经上取样的基础层块不同于图5中所示的位置的位置，且可不为经上取样的基础层块的相同位置块。在一些实施例中，来自预测模式单元422的预测模式信息可另外或替代地经指派给一或多个其它经上取样的基础层块，例如相同位置的突出显示的经上取样的基础层块522或突出显示的经上取样的基础层块624的其它相邻或邻近块。
图7说明用于对视频数据进行译码的实例方法700。所述方法700可由视频编码器20或视频解码器30的一或多个组件执行，所述组件包含帧间预测模块121、上取样模块130、运动补偿单元162或上取样模块170。在一些实施例中，其它组件可用以实施本文中所描述的步骤中的一或多者。例如，方法700可用以执行相对于图4到6描述的动作中的一或多者。
在节点705处，使用至少选择规则导出与基础层中的视频块的多个子块中的一者相关联的预测模式信息。预测模式信息可包含与视频块相关联的帧内预测模式、帧间预测模式、运动信息或其类似者，且可用于视频块的视频压缩。可以对应于视频块的4x4样本的分辨率存储与视频块相关联的预测模式信息。在一些实施例中，根据选择规则选择及导出与视频块的特定子块(例如，右下中心子块)相关联的预测模式信息。另外或替代地，可基于语法元素或旗标或默认规则设定指示及确定特定预测模式单元。
在节点710处，对所导出的预测模式信息及视频块进行上取样。例如在一些实施方案中，可根据视频内容的增强层及基础层之间的空间纵横比对预测模式信息进行上取样。
在节点715处，经上取样的预测模式信息与经上取样的视频块的每一经上取样的子块相关联。经上取样的预测模式信息及经上取样的视频块又可一起用于预测增强层中的视频块(例如，样本值)。在某些实施例中，增强层中的视频块可与基础层中的视频块位于相同位置，以使得基础层中的视频块位于基础层中的对应于增强层中的视频块的位置的位置处。或者，基础层中的视频块可位于基础层中的对应于增强层中的视频块的相邻视频块的位置的位置处。在一个实例中，可邻近于增强层中的视频块而定位相邻视频块。
除了方法700之外或作为的方法700的替代，在一些实施例中，默认预测模式信息可与经上取样的基础层块及/或图片而非经上取样的预测模式信息相关联。举例来说，零运动可与经上取样的基础层块相关联，以使得将与经上取样的基础层块相关联的运动向量及参考索引设定为零。在另一实例中，可通过将相关联的参考索引设定为负一而将与经上取样的基础层块相关联的预测模式信息标记为不可用。在此类状况下，可将默认预测模式信息设定为列表0、列表1或列表0及1两者。
此外，在某些条件下(但不在其它条件下)，例如根据指派规则，默认预测模式信息可与经上取样的基础层块及/或图片相关联。举例来说，默认预测模式信息可在TMVP目标参考图片参考相同位置图片(例如，TMVP参考索引等于相同位置参考索引)时被使用，且在TMVP目标参考图片不参考相同位置图片时不被使用。在另一实例中，默认预测模式信息可取决于用以压缩基础层的译码。举例来说，如果使用除例如H.264/AVC或MPEG-2等HEVC之外的译解码器对基础层进行译码，那么可使用默认预测模式信息，且如果使用HEVC译解码器对基础层进行译码，那么不使用默认预测模式信息。有利的是，此方法可避免在给定用以压缩基础层的译解码器的情况下可能难以在提取基础层语法时提取基础层语法。
在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其是非暂时的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
以实例说明且非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。而且，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包括于媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包括在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合译解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要通过不同硬件单元实现。相反地，如上文所描述，各种单元可结合合适的软件和/或固件组合在译解码器硬件单元中，或者由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
在又其它实例中，本发明可针对于存储经压缩视频内容的计算机可读媒体，其中根据本文中所描述的技术中的一或多者来压缩所述视频内容。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (22)

1.一种经配置以对视频数据进行译码的设备，其包括：
存储器单元，其经配置以存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联，所述相应预测模式数据包括非像素信息；及
处理器，其与所述存储器单元通信，针对通过对所述第一层块进行上取样而得到的层间图片的每一相应块，所述处理器经配置以：
识别所述第一层块的对应于所述层间图片的所述每一相应块的单个子块，经识别子块在每一侧上与所述第一层块的多个子块中的一者相邻；
选择与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据；
对所选择的与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据进行上取样；
将经上取样的预测模式数据与所述层间图片的所述块相关联；及
将所述层间图片添加到参考图片列表，所述参考图片列表内的图片可用于帧间预测具有所述第二空间分辨率的所述第二层。
2.根据权利要求1所述的设备，其中所述层间图片的所述相应块具有固定的大小。
3.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少基于添加到所述参考图片列表的所述层间图片来确定所述第二层中的第二层块的预测值。
4.根据权利要求3所述的设备，其中所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处。
5.根据权利要求3所述的设备，其中所述第一层块位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。
6.根据权利要求1所述的设备，其中所述经上取样的预测模式数据与所述所选择的相应预测模式数据之间的空间分辨率比率匹配所述第二空间分辨率与所述第一空间分辨率之间的所述空间分辨率比率。
7.根据权利要求1所述的设备，其中所述非像素信息包括帧内预测模式、帧间预测模式、运动信息、参考索引或可用于压缩视频数据的帧间方向中的至少一者。
8.根据权利要求1所述的设备，其中所述处理器包括解码器和编码器。
9.根据权利要求1所述的设备，其中所述设备包括计算机、平板电脑、机顶盒、手机、智能电话、智能平板、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载电脑或无线通信装置中的至少一者。
10.一种对视频数据进行译码的方法，其包括：
在存储器单元中存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联，所述相应预测模式数据包括非像素信息；
对所述第一层块进行上取样而得到层间图片；
针对在与存储器单元通信的处理器的控制下的所述层间图片的每一相应块：
识别所述第一层块的对应于所述层间图片的所述每一相应块的单个子块，经识别子块在每一侧上与所述第一层块的多个子块中的一者相邻；
选择与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据；
对所选择的与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据进行上取样；
将经上取样的预测模式数据与所述层间图片的所述块相关联；及
将所述层间图片添加到参考图片列表，所述参考图片列表内的图片可用于帧间预测具有所述第二空间分辨率的所述第二层。
11.根据权利要求10所述的方法，进一步包括至少基于添加到所述参考图片列表的所述层间图片来确定所述第二层中的第二层块的预测值，所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处，或所述第一层块位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。
12.根据权利要求10所述的方法，其中所述经上取样的预测模式数据与所述所选择的相应预测模式数据之间的空间分辨率比率匹配所述第二空间分辨率与所述第一空间分辨率之间的所述空间分辨率比率。
13.根据权利要求10所述的方法，其中所述层间图片的所述相应块具有固定的大小。
14.根据权利要求10所述的方法，其中所述非像素信息包括帧内预测模式、帧间预测模式、运动信息、参考索引或可用于压缩视频数据的帧间方向中的至少一者。
15.一种经配置以对视频数据进行译码的设备，其包括：
存储器单元，其经配置以存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联，所述相应预测模式数据包括非像素信息；以及
处理器，其与所述存储器单元通信，针对通过对所述第一层块进行上取样而得到的层间图片的每一相应块，所述处理器经配置以：
用于识别所述第一层块的对应于所述层间图片的所述每一相应块的单个子块的装置，经识别子块在每一侧上与所述第一层块的多个子块中的一者相邻；
用于选择与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据的装置；
用于对所选择的与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据进行上取样的装置；
用于将经上取样的预测模式数据与所述层间图片的所述块相关联的装置；及
用于将所述层间图片添加到参考图片列表的装置，所述参考图片列表内的图片可用于帧间预测具有所述第二空间分辨率的所述第二层。
16.根据权利要求15所述的设备，其中所述层间图片的所述相应块具有固定的大小。
17.根据权利要求15所述的设备，其进一步包括用于基于添加到所述参考图片列表的所述层间图片来确定所述第二层中的第二层块的预测值的装置，所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处，或位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。
18.根据权利要求15所述的设备，其中所述非像素信息包括帧内预测模式、帧间预测模式、运动信息、参考索引或可用于压缩视频数据的帧间方向中的至少一者。
19.一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令指引用于对视频数据进行译码的设备执行过程，所述过程包括：
在存储器单元中存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联，所述相应预测模式数据包括非像素信息；
对所述第一层块进行上取样而得到层间图片；
针对在与存储器单元通信的处理器的控制下的所述层间图片的每一相应块：
识别所述第一层块的对应于所述层间图片的所述每一相应块的单个子块，经识别子块在每一侧上与所述第一层块的多个子块中的一者相邻；
选择与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据；
对所选择的与所述第一层块的多个子块中的所述经识别子块相关联的相应预测模式数据进行上取样；
将经上取样的预测模式数据与所述层间图片的所述块相关联；及
将的所述层间图片添加到参考图片列表，所述参考图片列表内的图片可用于帧间预测具有所述第二空间分辨率的所述第二层。
20.根据权利要求19所述的非暂时性计算机存储装置，其中所述过程进一步包括基于添加到所述参考图片列表的所述层间图片来确定所述第二层中的第二层块的预测值，所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处，或位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。
21.根据权利要求19所述的非暂时性计算机存储装置，其中所述非像素信息包括帧内预测模式、帧间预测模式、运动信息、参考索引或可用于压缩视频数据的帧间方向。
22.根据权利要求19所述的非暂时性计算机存储装置，其中所述层间图片的所述相应块具有固定的大小。
CN201380051419.3A 2012-10-05 2013-09-26 用于可缩放视频译码的预测模式信息上取样 Active CN104718757B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261710640P 2012-10-05 2012-10-05
US61/710,640 2012-10-05
US201261711704P 2012-10-09 2012-10-09
US61/711,704 2012-10-09
US201261728193P 2012-11-19 2012-11-19
US61/728,193 2012-11-19
US14/035,129 US20140098880A1 (en) 2012-10-05 2013-09-24 Prediction mode information upsampling for scalable video coding
US14/035,129 2013-09-24
PCT/US2013/062001 WO2014055327A1 (en) 2012-10-05 2013-09-26 Prediction mode information upsampling for scalable video coding

Publications (2)

Publication Number Publication Date
CN104718757A CN104718757A (zh) 2015-06-17
CN104718757B true CN104718757B (zh) 2019-08-06

Family

ID=50432655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380051419.3A Active CN104718757B (zh) 2012-10-05 2013-09-26 用于可缩放视频译码的预测模式信息上取样

Country Status (7)

Country Link
US (2) US20140098880A1 (zh)
EP (1) EP2904802B1 (zh)
JP (2) JP2015532552A (zh)
KR (1) KR102188488B1 (zh)
CN (1) CN104718757B (zh)
BR (1) BR112015007116B1 (zh)
WO (1) WO2014055327A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2763414T3 (da) 2011-09-29 2020-11-30 Sharp Kk Billedafkodningsindretning og fremgangsmåde til billedafkodning til udførelse af konvertering af bi-forudsigelse til uni-forudsigelse
US20140098880A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR20140122195A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10051268B2 (en) * 2014-10-29 2018-08-14 Lg Electronics Inc. Method for encoding, decoding video signal and device therefor
US20170105006A1 (en) * 2015-10-13 2017-04-13 Mediatek Inc. Method and Apparatus for Video Coding Using Master-Slave Prediction Structure
CN106170089B (zh) * 2016-08-25 2020-05-22 上海交通大学 基于h.265的多路编码方法
WO2018061550A1 (ja) * 2016-09-28 2018-04-05 シャープ株式会社 画像復号装置及び画像符号化装置
FR3072850B1 (fr) * 2017-10-19 2021-06-04 Tdf Procedes de codage et de decodage d'un flux de donnees representatif d'une video omnidirectionnelle
US11032549B2 (en) 2018-07-26 2021-06-08 Google Llc Spatial layer rate allocation
BR122022002102B1 (pt) * 2018-10-08 2022-11-01 Lg Electronics Inc Método de decodificação/codificação de imagem realizado por um aparelho de decodificação/codificação, aparelho de decodificação/codificação para decodificação/codificação de imagem, método de transmissão de dados para imagem e mídia de armazenamento legível por computador não transitória
JP7277579B2 (ja) * 2018-11-02 2023-05-19 北京字節跳動網絡技術有限公司 Ｈｍｖｐ候補記憶装置のための表の保守
US10855983B2 (en) 2019-06-13 2020-12-01 Intel Corporation Encoding video using two-stage intra search

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728317B1 (en) * 1996-01-30 2004-04-27 Dolby Laboratories Licensing Corporation Moving image compression quality enhancement using displacement filters with negative lobes
CN101213840A (zh) * 2005-02-18 2008-07-02 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790839A (en) * 1996-12-20 1998-08-04 International Business Machines Corporation System integration of DRAM macros and logic cores in a single chip architecture
US5901304A (en) * 1997-03-13 1999-05-04 International Business Machines Corporation Emulating quasi-synchronous DRAM with asynchronous DRAM
KR100244769B1 (ko) * 1997-06-26 2000-02-15 전주범 스케일러빌리티를 갖는 간 윤곽선 부호화 방법 및 장치
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US6826232B2 (en) * 1999-12-20 2004-11-30 Koninklijke Philips Electronics N.V. Fine granular scalable video with embedded DCT coding of the enhancement layer
WO2001047283A1 (en) * 1999-12-22 2001-06-28 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
US7477688B1 (en) * 2000-01-26 2009-01-13 Cisco Technology, Inc. Methods for efficient bandwidth scaling of compressed video data
US7095782B1 (en) * 2000-03-01 2006-08-22 Koninklijke Philips Electronics N.V. Method and apparatus for streaming scalable video
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US7016412B1 (en) * 2000-08-29 2006-03-21 Koninklijke Philips Electronics N.V. System and method for dynamic adaptive decoding of scalable video to balance CPU load
WO2002035854A1 (en) * 2000-10-24 2002-05-02 Eyeball Networks Inc. Dct-based scalable video compression
US7263124B2 (en) * 2001-09-26 2007-08-28 Intel Corporation Scalable coding scheme for low latency applications
US7729421B2 (en) * 2002-02-20 2010-06-01 International Business Machines Corporation Low latency video decoder with high-quality, variable scaling and minimal frame buffer memory
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US7697608B2 (en) * 2004-02-03 2010-04-13 Sony Corporation Scalable MPEG video/macro block rate control
EP1894412A1 (en) 2005-02-18 2008-03-05 THOMSON Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
CN101253771B (zh) * 2005-08-30 2012-03-28 汤姆森许可贸易公司 用于ieee802.11无线局域网上的可扩展视频组播的跨层优化
JP2007081720A (ja) * 2005-09-13 2007-03-29 Sanyo Electric Co Ltd 符号化方法
JP4991762B2 (ja) 2006-01-09 2012-08-01 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング／デコーディング方法及び装置
EP2092748A4 (en) 2006-12-14 2011-01-05 Thomson Licensing METHOD AND DEVICE FOR CODING AND / OR DECODING VIDEO DATA USING EXPANSION LAYER RESTRICTION FOR SOFTENCE SCALINGABILITY
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
US20110268175A1 (en) * 2010-04-30 2011-11-03 Wai-Tian Tan Differential protection of a live scalable media
US20130028324A1 (en) * 2011-07-29 2013-01-31 National Chiao Tung University Method and device for decoding a scalable video signal utilizing an inter-layer prediction
US20130188717A1 (en) 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using partition mode without split flag
US9124899B2 (en) * 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US20140098880A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728317B1 (en) * 1996-01-30 2004-04-27 Dolby Laboratories Licensing Corporation Moving image compression quality enhancement using displacement filters with negative lobes
CN101213840A (zh) * 2005-02-18 2008-07-02 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Description of scalable video coding technology proposal by ETRI and Kwangwoon Univ";Jung W K et al.;《JCT-VC MEETING》;20121001;全文
"Description of scalable video coding technology proposal by Fraunhofer HHI(Configuration A)";H. Schwarz et al.;《JCT-VC MEETING》;20121002;全文
"Description of scalable video coding technology proposal by Qualcomm (Configuration 2)";Chen J et al.;《JCT-VC MEETING》;20121002;第3页第30行至第4页第2行、第10页第9-14行，附图5
"Description of scalable video coding technology proposal by Sharp (proposal 1)";Kiran Misra et al.;《JCT-VC MEETING》;20121002;全文

Also Published As

Publication number Publication date
BR112015007116B1 (pt) 2023-03-14
JP2018110410A (ja) 2018-07-12
US10721478B2 (en) 2020-07-21
JP6700323B2 (ja) 2020-05-27
US20140098880A1 (en) 2014-04-10
US20170237990A1 (en) 2017-08-17
JP2015532552A (ja) 2015-11-09
BR112015007116A2 (pt) 2017-07-04
KR20150065797A (ko) 2015-06-15
WO2014055327A1 (en) 2014-04-10
CN104718757A (zh) 2015-06-17
EP2904802A1 (en) 2015-08-12
KR102188488B1 (ko) 2020-12-08
EP2904802B1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
CN104718757B (zh) 用于可缩放视频译码的预测模式信息上取样
CN106416255B (zh) 用于编码视频信息的方法、设备及计算机可读媒体
CN104756499B (zh) 用于视频译码的方法、设备及计算机可读存储媒体
CN104871543B (zh) 视差矢量推导
CN105075265B (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN105052152B (zh) 用于视频译码及压缩的设备、方法及非暂时性计算机可读媒体
CN106165429B (zh) 多层译码中的一致性窗口信息
CN104980762B (zh) 用于对视频数据进行编码和解码的方法及装置
CN105009586B (zh) 多视图或3维视频译码中的视图间残余预测
CN106105197B (zh) 针对帧内块复制的基于散列的编码器搜索
CN103621095B (zh) 用于视频译码中的帧内预测的边界像素填补
CN104704833B (zh) 多视图或3维视频译码中的高级视图间残差预测
CN105556969B (zh) 视频译码中使用视差向量的块识别
CN105556967B (zh) 用于视频信息的可缩放译码的装置和方法
CN104396243B (zh) 用于视频压缩的自适应上取样滤波器
CN105025997B (zh) 针对位深度可缩放视频译码使用样本自适应调整的层间预测
CN105122811B (zh) 3d视频译码中的相邻块视差向量导出
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN105075258B (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN105009590B (zh) 用于视频信息的可缩放译码的装置和方法
CN103947205B (zh) 帧内模式译码中的参考模式选择
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN104662920B (zh) 在视频译码中长期参考图片的发信
CN103975595B (zh) 用于视频译码的分段参数集
CN106165423B (zh) 用于视频数据的方法、装置、设备和计算机可读存储媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant