CN104541506A - 层间像素样本预测 - Google Patents

层间像素样本预测 Download PDF

Info

Publication number
CN104541506A
CN104541506A CN201280075459.7A CN201280075459A CN104541506A CN 104541506 A CN104541506 A CN 104541506A CN 201280075459 A CN201280075459 A CN 201280075459A CN 104541506 A CN104541506 A CN 104541506A
Authority
CN
China
Prior art keywords
pixel
frame
methods
block
pixel samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280075459.7A
Other languages
English (en)
Inventor
张文豪
邱怡仁
徐理东
韩钰
邓智玭
蔡晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104541506A publication Critical patent/CN104541506A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了包含使用层间像素样本预测执行可缩放视频编码的***、装置和方法。增强层编码单元、预测单元或变换单元中的层间像素样本预测可使用从基础层或从较低增强层获得的重构像素样本。像素样本可受到上采样滤波和/或精炼滤波。上采样或精炼滤波器系数可预先确定，或者可自适应确定。

Description

层间像素样本预测
背景技术
当前在由ISO/IEC运动画面专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的关于视频编码的联合协作团队(JCT-VC)开发下的高效率视频编码(HEVC)是规划在2012年完成的视频压缩标准。类似于先前视频编码标准，HEVC包含诸如内部/中间预测、变换、量化以及环内滤波和熵编码的基本功能模块。
HEVC将编码单元(CU)定义为采用具有可变大小的矩形块形式的画面子分区。在每个CU内，基于四叉树的分割方案规定CU划分模式。HECV还定义了预测单元(PU)和变换单元(TU)，其规定分别为了预测和变换目的要如何划分给定CU。在内部或中间预测之后，变换操作可应用于残余块以生成系数。然后系数被量化、扫描到一维阶，并且最后进行熵译码。
HEVC预期包含可缩放视频编码(SVC)扩展。HECV SVC位流提供以不同空间分辨率、帧速率、质量、位深度等表示源视频内容的若干子集位流。可缩放性然后使用一般包含基础层(BL)和至少一个增强层(EL)的多层编码结构实现。这允许根据较低层画面(例如BL画面)或在同一层中之前编码的画面预测属于EL的画面或部分画面(诸如CU)。在常规方法中，相对于同一层内画面的CU执行当前CU的中间和/或内部预测。比如，常规上相对于同一EL的CU而不相对于另一EL或BL的CU执行EL CU的像素样本预测。
附图说明
本文描述的材料作为示例而非限制在附图中图示。为了图示的简洁和清晰起见，在附图中图示的元件不一定按比例绘制。例如，为了清晰起见，一些元件的尺寸相对于其它元件可能放大。进一步说，在合适的地方，附图标记在各图之间已经被重复以指示对应或类似元件。附图中：
图1是示例编码***的示意图；
图2是示例译码***的示意图；
图3是图示示例过程的流程图；
图4是示例***的示意图；
图5是示例编码方案的示意图；
图6是示例位流的示意图；
图7是示例解码***的示意图；
图8是图示示例过程的流程图；
图9是示例***的示意图；以及
图10图示了全都按照本公开的至少一些实现布置的示例装置。
具体实施方式
现在参考附图描述一个或多个实施例或实现。虽然讨论了特定配置和布置，但应该理解，这仅是用于说明性目的。相关领域的技术人员将认识到，在不脱离本描述的精神和范围的情况下可采用其它配置和布置。相关领域的技术人员将明白，本文描述的技术和/或布置也可被用在不同于本文所描述的各种其它***和应用中。
虽然如下描述阐述了可在例如诸如片上***(SoC)架构的架构中表明的各种实现，但本文描述的技术和/或布置的实现不限于具体架构和/或计算***，而是可为了类似目的由任何架构和/或计算***实现。比如，例如采用多个集成电路(IC)芯片和/或封装的各种架构和/或各种计算装置和/或消费电子(CE)装置(诸如机顶盒、智能电话等)可实现本文描述的技术和/或布置。进一步说，虽然如下描述可阐述众多特定细节，诸如***组件的逻辑实现、类型和相互关系、逻辑划分/集成选择等，但所要求保护的主题可在没有此类特定细节的情况下实行。在其它实例中，一些材料(诸如例如控制结构和全软件指令序列)可能未详细示出，以免使本文公开的材料模糊不清。
本文公开的材料可用硬件、固件、软件或它们的任何组合来实现。本文公开的材料还可被实现为存储在机器可读介质上的指令，所述指令可由一个或多个处理器读取和执行。机器可读介质可包含用于存储或传送由机器(例如计算装置)可读形式的信息的任何介质和/或机构。例如，机器可读介质可包含只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存装置；电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等)及其它。
在说明书中提到“一个实现”、“实现”、“示例实现”等指示所描述的实现可包含具体特征、结构或特性，但每一个实施例可能不一定包含该具体特征、结构或特性。而且，此类短语不一定是指同一实现。进一步说，当结合一个实施例描述具体特征、结构或特性时，认为结合不管本文是否明确描述的其它实现来实现此类特征、结构或特性在本领域技术人员的知识范围内。
下面描述包含用于采用层间像素样本预测的视频编码的操作的***、设备、制品和方法。
如本文所使用的，术语“编码器（coder）”可指的是译码器（encoder）和/或解码器（decoder）。类似地，如本文所使用的，术语“编码”可指的是经由译码器译码和/或经由解码器解码。例如，视频译码器和视频解码器都可以是能够编码的编码器示例。此外，如本文所使用的，术语“编解码器”可指的是可实现译码器和/或解码器的任何过程、程序或操作集合，诸如例如软件、固件和/或硬件的任何组合。
在可缩放视频编码***中，多层编码用于支持若干种可缩放性，包含空间可缩放性、时间可缩放性、质量可缩放性、位深度可缩放性等等。按照本公开，可使用各种层间像素样本预测方案增大可缩放视频编码***中的编码效率和/或编码灵活性。
图1图示了按照本公开的示例可缩放视频编码(SVC)编码***100。在各种实现中，***100可根据一个或多个标准或规范(诸如例如高效率视频编码(HEVC)标准(见ISO/IECJTC/SC29/WG11和ITU-TSG16 WP3, "High efficiency video coding (HEVC) text specification draft8" (JCTVC-J1003_d7), 2012年7月)以及其任何可缩放视频编码(SVC)扩展)承担视频压缩和解压缩和/或实现视频编解码器。尽管本文在HEVC标准的SVC扩展的上下文中描述了***100和/或其它***、方案或过程，但本公开不限于任何具体视频译码标准或规范或其扩展。
如所图示的，***100包含具有多个视频译码器(包含层0或基础层(BL)译码器102、层1或第一增强层(EL)译码器104和层2或第二EL译码器106)的译码器子***101。***100还包含解码器子***103的对应视频解码器，包含层0(BL)解码器108、层1(EL)解码器110和层2(EL)解码器112。一般而言，BL可以进行HEVC可兼容编码。当用等于N的层标识(ID)编码EL时，SVC编码方案保证了具有小于N的层ID的所有编码层可用于层间预测方案，使得可根据较低层画面(例如在具有较低层ID的BL或EL中)或同一层中之前编码的画面来预测属于具体EL的画面。
在各种实现中，HEVC规定了画面的最大编码单元(LCU)，其然后可被划分成采用具有可变大小的矩形块形式的编码单元(CU)。在每个LCU内，基于四叉树的分割方案规定CU划分模式。HECV还定义了预测单元(PU)和变换单元(TU)，其规定分别为了预测和变换目的要如何划分给定CU。CU通常包含一个亮度编码块(CB)和两个色度CB连同关联的语法，并且PU可进一步被分成预测块(PB)，大小范围从64x64个样本下至4x4个样本。如本文所使用的，术语“块”可以指的是视频画面的任何分区或子分区。例如，块可以指的是PU或PB。
按照本公开，如下面将更详细说明的，EL译码器104和106中任一个或二者可使用从译码器102或104获得的像素样本来执行层间像素样本预测。例如，在一些实现中，译码器104可使用从译码器102获得并由层间预测模块116处理的像素样本114执行层间像素样本预测。此外，在一些实现中，译码器106可使用分别从译码器102或译码器104获得并分别由层间预测模块120或层间预测模块122处理的像素样本114或像素样本118执行层间像素样本预测。
本文所使用的“层间像素样本预测”指的是使用从参考层画面获得的像素样本的增强层画面的中间预测。进一步说，本文所使用的“像素样本”指的是重构像素。通过重新使用编码信息，诸如由参考层重构的像素样本，层间像素预测可改进SVC***(诸如***100)的压缩效率和编码灵活性和/或编解码器设计。在按照本公开的各种实现中，层间像素样本预测可应用在时间、空间和/或质量可缩放视频编码应用的任何组合中。
采用层间预测模块116、120和/或122、译码器102、104和106中的任一个或多个可向熵译码器124提供单独位流。熵译码器124然后可向解码器子***103的熵解码器128提供压缩位流126，包含可缩放视频内容的多层。按照本公开，如也将在下面更详细地说明的，EL解码器110和112中的任一个或二者可使用从解码器108或110获得的像素样本执行层间像素样本预测。例如，在一些实现中，解码器110可使用从解码器108获得并由层间预测模块130处理的像素样本执行层间像素样本预测。此外，在一些实现中，解码器112可使用分别从解码器108或解码器110获得并分别由层间预测模块132或层间预测模块134处理的像素样本执行层间像素样本预测。
虽然图1将***100图示为采用可缩放视频内容的三层以及子***101中三个译码器和子***103中三个解码器的对应集合，但按照本公开可利用任何数量的可缩放视频编码层和对应的译码器和解码器。进一步说，虽然***100描绘了特定组件，但本公开不限于图1中图示的具体组件和/或布置***100的各种组件的方式。比如，在各种实现中，***100的一些元件，诸如例如译码器子***101的层间预测模块116、120和122，可由耦合到所有三个译码器102、104和106等的单个层间预测模块实现。
进一步说，可认识到，译码器子***101可与内容提供商***(例如包含服务器***)关联，并且位流126可由各种通信组件或***(诸如在图1中未描绘的收发器、天线、网络***等)传送或输送到解码器子***103。还可认识到，解码器子***103可与经由各种通信组件或***(诸如图1中也未描绘的收发器、天线、网络***等)接收位流126的客户端***(诸如计算装置(例如计算机、智能电话等))关联。
图2图示了按照本公开的示例SVC译码***200。***200包含例如可分别对应于***100的译码器102和译码器104的参考BL译码器202和目标EL译码器204。虽然***200仅包含对应于两个SVC编码层的两个译码器202和204，但除了在图2中描绘的那些之外，按照本公开还可利用任何数量的SVC编码层和对应译码器。例如，对应于附加增强层的附加译码器可被包含在***200中，并且可采用类似于下面相对于EL译码器204所描述的方式与BL译码器202交互。
当采用***200承担SVC编码时，增强层中的画面或图像帧(诸如EL输入帧206)的各种块可由EL译码器204根据由BL译码器202处理的画面(诸如BL输入帧208)或之前由EL译码器204译码的同一增强层中的其它画面预测。如将在下面更详细描述的，当使用***200承担层间像素样本预测操作时，层204中画面的像素(诸如EL输入帧206)可使用由BL译码器202提供的像素样本210进行预测。如上面所指出的，可在对应于像素值的一个或多个块的单元中编码EL输入帧206，并且要编码的块可采用CU、PU或TU的形式。进一步说，编码可应用在切片、画面或层级。
用于层间像素样本预测的像素样本210可使用包含变换和量化模块212、逆变换和逆量化模块214、内部预测模块216、中间预测模块218和环内滤波模块220的编码环，从BL输入帧208的处理中获得。具体地说，当操作BL译码器202以使用中间预测模块218执行中间预测时，像素样本210可从环内滤波模块220的输出获得。模块212、214、216、218和220的功能性在本领域已经得到了足够的认识，并且在本文将不再更详细描述。
如下面将更详细描述的，在一些实现中，像素样本210可由上采样模块222和/或精炼模块224处理，之后提供给EL译码器204。在各种实现中，上采样模块222和精炼模块224可以是层间预测模块(例如***100的层间预测模块116)的组件。进一步说，在各种实现中，上采样模块222和精炼模块224的至少部分可由硬件逻辑(诸如固定功能电路)提供。
在EL译码器204，由精炼模块224提供的滤波像素样本226可用于使用包含变换和量化模块228以及逆变换和逆量化模块230的编码环预测EL输入帧206的像素样本。当操作成承担EL输入帧206的层间像素样本预测时，EL译码器204可不采用用于压缩EL输入帧206的编码环中的内部预测模块232、中间预测模块234或环内滤波模块236中的任一个。再者，模块228、232、234和236的功能性在本领域已经得到了足够的认识，并且在本文将不再更详细描述。EL译码器204然后可使用滤波的像素样本226预测输入帧206的各种CU中的各种像素
在各种实现中，BL译码器202和EL译码器204中的任一个或二者可分别向熵译码器模块238提供对应于至少一些BL输入帧208和至少一些EL输入帧206的编码残差的压缩系数。模块238然后可执行残差的无损压缩，并提供包含译码残差的复用SVC位流作为来自***200的输出。在其它实现中，BL译码器202和EL译码器204中的任一个或二者可不向熵译码器模块238提供至少一些BL输入帧208和至少一些EL输入帧206的编码残差。
图3图示了根据本公开各种实现的示例过程300的流程图。过程300可包含由图3的块301、302、304、306、308、310、312、314和316中的一个或多个所图示的一个或多个操作、功能或动作。作为非限制示例，过程300可形成由译码器***200所承担的EL层的一部分(例如在此实现中是CU)的可缩放视频编码过程的至少一部分。
进一步说，过程300在本文还将参考使用图4的可缩放视频编码***400对增强层CU编码来描述，其中***400包含处理器402、SVC编解码器模块406和存储器408。处理器402可例示SVC编解码器模块406以按照本公开提供层间像素样本预测。在***400的示例中，存储器408可存储包含至少一些BL输入帧208和/或至少一些EL输入帧206的视频内容，以及其它项目，诸如滤波器系数等，这将在下面更详细地说明。SVC编解码器模块406可由适合于实现编码***200的软件逻辑、固件逻辑和/或硬件逻辑的任何组合提供。存储器408可以是任何类型的存储器，诸如易失性存储器(例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如闪存等)，诸如此类。在非限制示例中，存储器408可由高速缓冲存储器实现。
过程300可开始于块301，在此可以确定是否应该对于当前EL CU执行层间像素预测。在各种实现中，确定是否执行层间像素预测可基于速率失真成本。例如，SVC编解码器406可基于已知速率失真成本技术确定是否对于EL CU 502执行层间像素预测。如果要执行层间像素预测，则过程300可在块302继续，然而如果不执行层间像素预测，则过程300可结束。
过程300可在块302继续，在此对于当前EL CU，可确定对应于EL CU的BL的一个或多个协同定位块。例如，图5图示了EL输入帧206的当前CU 502，其中CU 502空间上对应于BL输入帧208的协同定位块504。在这个示例中，CU 502对应于BL输入帧208的四个协同定位块504。然而，在各种实现中，根据EL和BL或较低级EL之间的空间缩放，可相对于具体EL CU协同定位任何数量的BL或较低级EL块。在其它实现中，仅一部分BL或较低级EL块可与EL CU协同定位。进一步说，在不应用空间缩放使得EL和较低EL或BL具有1的空间比的一些可缩放视频编码实现中(例如当在层之间应用质量缩放而没有空间缩放时)，在EL中的块与较低EL中或BL中的块之间可能存在一对一的对应关系。
相对于图5的示例，在块302确定协同定位块可涉及将块504标示或以别的方式标记为相对于当前EL CU 502协同定位。进一步说，在各种实现中，BL或较低EL层中的协同定位块可被内部编码、中间编码，和/或可被混合内部/中间编码。此外，协同定位块的集合中的不同块可具有不同编码。比如，在非限制性示例中，协同定位块504可具有固定编码模式，使得其中两个协同定位块可被内部编码，其中一个协同定位块可被中间编码，并且剩余协同定位块可被混合内部/中间编码。
过程300可在块304继续，在此可访问对应于协同定位块的像素样本。比如，参考图4和图5，块304可涉及SVC编解码器406使用处理器402从存储器408获得对应于协同定位块504的像素样本。比如，存储器408可充当用于暂时存储视频内容(诸如对应于块504的重构像素值的BL输入帧208的部分)的帧缓冲器。
在块306，可关于执行在块304获得的像素样本的上采样做出确定。比如，在CU 502对应于四个协同定位块504的图5示例中，对应于块504的像素样本可能需要被上采样以匹配CU 502的大小，并且过程300可进行到块308。在其它实现中，诸如当不提供空间可缩放性时，可不执行上采样，并且过程300可从块306跳到块310，使得可不执行块308。
在各种实现中，通过对像素样本应用内插滤波器可执行在块308的像素上采样，不过本公开不限于任何具体形式的上采样滤波。在各种实现中，对像素样本上采样可改进层间像素预测的准确度，并且可导致EL的更好压缩性能。在各种实现中，在块308可应用固定内插滤波器或自适应内插滤波器。对于采用固定上采样滤波器的实现，滤波器系数可预先确定，并且可由译码器(例如***200)和解码器(要在下面更详细描述)都使用。对于采用自适应上采样滤波器的实现，滤波器系数可在译码器自适应确定(例如通过训练)，并且然后可作为一部分位流发送到解码器，这将在下面进一步说明。在各种实现中，在块308应用的内插滤波器可以是多抽头多相内插滤波器。进一步说，在各种实现中，块308可涉及SVC编解码器406使用处理器402中的硬件逻辑(诸如固定功能电路)对像素样本应用从存储器408获得的内插滤波器系数。
过程300可在块310继续，在此可关于精炼在块304获得的像素样本或由块308产生的上采样的像素做出确定。在各种实现中，对像素样本应用精炼滤波器可改进层间像素预测的准确度，并且可导致EL的更好压缩性能。如果选择精炼，则过程300可在一些实现中进行到块312，在此二维(2D)空间滤波器可被作为精炼滤波器应用，不过本公开不限于任何具体类型的精炼滤波器。在其它实现中，可不执行空间滤波，并且过程300可从块310跳到块314，使得可不执行块312。进一步说，在各种实现中，块312可涉及SVC编解码器406使用处理器402中的硬件逻辑(诸如固定功能电路)对像素样本应用从存储器408获得的精炼滤波器系数。
在各种实现中，如果p表示滤波之前的中心像素，并且周围像素(i,j=0,...,N)表示2D滤波器窗口，则在块312应用的精炼滤波器可根据下式确定对应滤波的中心像素p'：
，
其中ai,j(i,j=0,...,N)是滤波器系数，并且b是偏移因子。
在各种实现中，滤波器系数ai,j可以是固定的，或者可以是自适应的。在滤波器系数固定的实现中，滤波器系数ai,j和偏移因子b可预先确定，并且由译码器和解码器二者采用。在滤波器系数自适应的实现中，滤波器系数ai,j和偏移因子b可在译码器自适应确定(例如通过训练)，并且然后可作为一部分位流发送到解码器，这将在下面进一步说明。
参考***400，在各种实现中，SVC编解码器406可使用处理器402从存储器408获得滤波器系数来承担在块308和312应用滤波器。在自适应滤波器实现中，SVC编解码器406可使用处理器402自适应确定可以存储在或可以不存储在存储器408中的滤波器系数。
过程300可在块314继续，在此像素样本可用于确定当前EL CU的预测像素。比如，SVC编解码器406可使用在块304获得的像素样本，并且在块308和/或在块310可进行滤波，以形成CU 502的预测信号。在各种实现中，块314还可涉及生成当前EL CU的残差。比如，SVC编解码器406可生成对应于从块504获得的像素样本(滤波的或者别的方式的)与CU 502的像素值之间差的残差。在其它实现中，块314可不涉及生成当前EL CU的残差。在各种实现中，可使用硬件逻辑(诸如固定功能电路)来执行确定预测像素所需的算术运算承担块314。而且，此类硬件逻辑可允许并行确定当前PU各种部分和/或多个PU的预测像素。本文所使用的“预测像素”可指的是可基于从一个或多个较低层的一个或多个PU获得的一个或多个像素样本预测的当前PU中的像素样本值。
过程300可终止在块316，在此可对于当前EL CU形成位流。在各种实现中，块316可涉及形成对应于当前EL CU的位流部分，其中位流部分包含报头部分和数据部分，其中数据部分可以包含或者可以不包含当前EL CU的压缩残差。在各种实现中，报头部分可包含一个或多个指示符(诸如一个或多个标志)以指示是否执行当前EL CU的层间像素预测和/或指示是否存在当前CU的残差。
进一步说，在各种实现中，对应于块308的上采样滤波器系数或块312的精炼滤波器系数的滤波器系数可被指示在或包含在块316形成的位流中。例如，如果在块308或312采用自适应滤波器系数，则滤波器系数值可被包含在块316形成的位流的报头部分或数据部分中。在其它实现中，如果在块308或312中的任一个采用预先确定的滤波器系数，则所采用的滤波器系数例如可指示在块316形成的位流的报头部分中。
图6图示了按照本公开的各种实现对应于EL CU的示例位流部分600。部分600包含报头部分602和数据部分604。报头部分602包含一个或多个指示符606。比如，指示符606可包含指示符608，其值规定是否执行EL CU的层间像素预测。指示符606可以包含或者也可以不包含其值规定是否存在EL CU的残差的指示符610。例如，在一个实现中，指示符608可被标记为“inter_layer_pixel_prediction_flag”，并且可被添加到CU语法表以指示当前CU(例如CU 502)是否使用层间像素预测。进一步说，当inter_layer_pixel_prediction_flag具有具体值(例如等于1)时，位流报头部分602可随后包含可被标记为“inter_layer_residual_flag”并且可指示是否存在当前CU的残差的指示符610。
在各种实现中，按照本公开，指示符608和610可用于规定两种可缩放视频编码模式：层间跳跃模式，其中使用层间像素预测而没有残差；以及层间直接模式，其中使用层间像素预测连同残差。从而，在层间跳跃模式，SVC编解码器406可以不传送位流600的数据部分604中的残差。相反，在层间直接模式，SVC编解码器406可以传送位流600的数据部分604中的残差。
虽然本文已经在图5的上下文中描述了过程300，但本公开不限于执行层间像素预测，其中根据从相同协同定位的BL块导出的样本来预测EL CU的所有像素。从而，在各种实现中，CU的一部分(例如仅CU的一些块)可仅相对于其中一些协同定位块进行预测，而CU的另一部分可相对于其它协同定位块进行预测。例如，对于对应于四个协同定位的BL块的CU，CU的第一上部分可基于两个上面的水平邻近的协同定位的BL块进行预测，而CU的第二下部分可基于两个下面的水平邻近的协同定位的BL块进行预测。
进一步说，在各种实现中，CU的不同部分可根据具有不同编码的不同协同定位的BL块进行预测。继续以上示例，两个上面的水平邻近的协同定位的BL块可能已经被内部编码，而两个下面的水平邻近的协同定位的BL块可能已经被中间编码。从而，CU的第一部分可根据内部编码的像素样本进行预测，而CU的第二部分可根据中间编码的像素样本进行预测。
图7图示了按照本公开的示例SVC解码***700。***700包含例如可分别对应于***100的解码器108和解码器110的参考BL解码器702和目标EL译码器704。虽然***700仅包含对应于两个SVC编码层的两个解码器702和704，但按照本公开，除了图7中描绘的那些之外，还可利用任何数量的SVC编码层和对应解码器。例如，对应于附加增强层的附加解码器可被包含在***700中，并且可采用类似于下面相对于EL解码器704所描述的方式与BL解码器702交互。
当采用***700承担SVC编码时，增强层中的画面或图像帧(诸如EL输出帧706)可由EL解码器704根据由BL解码器702处理的画面(诸如BL输出帧708)或之前由EL解码器704译码的同一增强层中的其它画面进行中间预测。如将在下面更详细描述的，当使用***700承担层间像素样本预测操作时，层704中画面的像素(诸如EL输出帧706)可使用由BL解码器702提供的重构BL像素样本710进行预测。样本710可使用逆变换和逆量化模块712、中间预测模块714和环内滤波模块718获得。具体地说，当操作BL解码器702使用中间预测模块714执行中间预测时，样本710可从环内滤波模块718的输出获得。
如下面所更详细描述的，重构的像素样本710可在提供给EL解码器704之前由上采样模块720和精炼模块722处理。在各种实现中，上采样模块720和精炼模块722可以是层间预测模块(例如***100的层间预测模块130)的组件。在EL解码器704，由精炼模块322提供的滤波像素样本724可用于结合逆变换和逆量化模块726和环内滤波模块728的输出预测EL输出帧706中的像素样本。当操作成承担EL输出帧706的层间像素样本预测时，EL解码器704可不采用内部预测模块730或中间预测模块732中的任一个。EL解码器704然后可使用滤波的像素样本724预测EL输出帧706的各种CU中的各种像素。
本文描述的***的各种组件可用软件逻辑、固件逻辑和/或硬件逻辑和/或它们的任何组合实现。例如，***700的各种组件可至少部分通过计算片上***(SoC)的硬件来提供，诸如可在诸如例如智能电话的计算***中所找到的。本领域技术人员可认识到，本文描述的***可包含未在对应附图中描绘的附加组件。例如，***200和700可包含为了简洁起见未在图2和图7中所描绘的附加组件，诸如位流复用器模块等。
图8图示了根据本公开各种实现的示例过程800的流程图。过程800可包含由图8的块802、804、806、808、810、812、814、816和818中的一个或多个所图示的一个或多个操作、功能或动作。作为非限制示例，过程800可形成由解码器***700所承担的EL层的一部分(例如在此实现中是CU)的可缩放视频编码过程的至少一部分。进一步说，过程800在本文还将参考使用图4的可缩放视频编码***400对增强层CU编码以及图6的示例位流600来描述，其中SVC编解码器模块406可例示解码器***700。
过程800可开始于块802，在此可确定是否执行当前CU的层间像素预测。在各种实现中，SVC编解码器406可响应于在位流600的报头部分602中接收的指示符608的值而承担块812。比如，如果指示符608具有第一值(例如1)，则SVC编解码器406可确定承担当前PU的层间像素样本预测。另一方面，如果指示符608具有第二值(例如0)，则SVC编解码器406可确定不承担当前PU的层间像素样本预测。
如果块802导致否定确定，则过程800可进行到块804，在此可基于一个或多个之前解码的CU，确定是否应用将对当前CU解码的跳跃模式。如果在块804调用跳跃模式，则过程800可进行到块814，在此对于跳跃模式实现，可基于一个或多个之前解码的CU重构当前CU的像素值。
另一方面，如果在块804不调用跳跃模式，则过程800可进行到块806，在此可确定是执行CU的内部预测还是中间预测。如果选择内部预测，则过程800可进行到块808，在此可使用已知层内内部预测技术执行内部预测。如果选择中间预测，则过程800可进行到块810，在此可使用已知层内中间预测技术执行中间预测。在各种实现中，SVC编解码器406可承担块804、806、808和810，例如使用解码器704的内部预测模块730承担块808，并使用解码器704的中间预测模块732承担块810。
过程800可在块812继续，在此可使用已知残差解码技术以及块808或810的结果承担残差解码。过程800然后可终止在块814，在此可使用已知技术和块812的结果重构CU像素值。
返回到块802的讨论，如果块802导致肯定确定，则过程800可进行到块816，在此可采用类似于上面相对于过程300描述的方式的方式，基于从较低层获得的像素样本确定预测像素。在各种实现中，SVC编解码器406可响应于具有第一值(例如1)的指示符608而承担块816。SVC编解码器406然后例如可获得对应于协同定位的较低EL和/或BL块的像素样本，可以对或可以不对像素样本应用上采样滤波，并且也可以对或者可以不对像素样本应用精炼滤波器。进一步说，当承担重构像素样本的上采样滤波和/或精炼滤波时，SVC编解码器406可使用由位流600指示的或者在位流600中传送的滤波器系数这么做。
过程800可在块818继续，在此可以确定对于CU残差是否可用。在各种实现中，与CU关联并由解码器接收的位流可包含规定位流是否包含CU的残差的指示符。例如，SVC编解码器406可响应于位流600中的指示符610的值承担块818。比如，如果指示符具有第一值(例如1)，则可调用层间直接模式，其中使用层间像素预测连同残差来重构CU像素值，并且过程800可进行到块812，并且然后到块814。否则，如果指示符610具有第二值(例如0)，则可调用层间跳跃模式，其中使用层间像素预测而没有残差来重构CU像素值，并且过程800可直接进行到块814，无需调用块814。
虽然过程800在本文中被描述为EL CU的解码过程，但本公开不限于在CU级执行层间像素样本预测。从而，在各种实现中，过程800还可应用于EL PU或EL TU。进一步说，如之前所指出的，本文描述的所有层间像素样本预测过程(包含过程800)可应用在时间、空间和/或质量可缩放视频编码的任何组合的上下文中。
虽然图3和图8中所图示的示例过程300和800的实现可包含承担按所图示次序示出的所有块，但本公开不限于这方面，并且在各种示例中，过程300和800的实现可包含仅承担所示出和/或按与所图示的不同次序的块的子集。
此外，可响应于由一个或多个计算机程序产品提供的指令而承担图3和图8的任何一个或多个块。此类程序产品可包含提供指令的信号承载介质，所述指令例如当由处理器执行时可提供本文描述的功能性。计算机程序产品可以一个或多个机器可读介质的任何形式提供。从而，例如，包含一个或多个处理器核的处理器可响应于由一个或多个机器可读介质输送到处理器的程序代码和/或指令或指令集而承担图3和图8中示出的一个或多个块。一般而言，机器可读介质可输送以可使本文描述的任何装置和/或***实现至少部分视频***100、200和700和/或SVC代码块406的程序代码和/或指令或指令集形式的软件。
如在本文中描述的任何实现中所使用的，术语“模块”指的是配置成提供本文描述的功能性的软件、固件和/或硬件的任何组合。软件可实施为软件包、代码和/或指令集或指令，并且在本文描述的任何实现中所使用的“硬件”例如可以单个或任何组合方式包含存储由可编程电路执行的指令的硬连线电路、可编程电路、状态机电路和/或固件。模块可共同或单独实施为形成部分更大***(例如集成电路(IC)、片上***(SoC)等)的电路。
图9图示了按照本公开的示例***900。在各种实现中，***900可以是媒体***，不过***900不限于此上下文。例如，***900可被合并到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置、相机(例如傻瓜相机、超级变焦相机、数码单反(DSLR)相机)等等中。
在各种实现中，***900包含耦合到显示器920的平台902。平台902可从内容装置(诸如内容服务装置930或内容递送装置940或其它类似内容源)接收内容。包含一个或多个导航特征的导航控制器950可用于例如与平台902和/或显示器920交互。下面更详细描述这些组件中的每个组件。
在各种实现中，平台902可包含芯片集905、处理器910、存储器912、存储装置914、图形子***915、应用916和/或无线电918的任何组合。芯片集905可提供处理器910、存储器912、存储装置914、图形子***915、应用916和/或无线电918之间的互通信。例如，芯片集905可包含能够提供与存储装置914的互通信的存储装置适配器(未描绘)。
处理器910可实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集可兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各种实现中，处理器910可以是双核处理器、双核移动处理器等等。
存储器912可实现为易失性存储装置，诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储装置914可实现为非易失性存储装置，诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附连的存储装置、闪存、电池备份的SDRAM(同步DRAM)和/或网络可访问存储装置。在各种实现中，例如当包含多个硬驱时，存储装置914可包括用于增加有价值数字媒体的存储性能增强保护的技术。
图形子***915可执行图像(诸如静止图像或视频)处理以便显示。图形子***915例如可以是图形处理单元(GPU)或视觉处理单元(VPU)。可使用模拟接口或数字接口以通信方式耦合图形子***915和显示器920。例如，接口可以是符合高清晰多媒体接口、显示端口、无线HDMI和/或无线HD的技术中的任何技术。图形子***915可被集成到处理器910或芯片集905中。在一些实现中，图形子***915可以是以通信方式耦合到芯片集905的独立装置。
本文描述的图形和/或视频处理技术可实现在各种硬件架构中。例如，图形和/或视频功能性可集成在芯片集内。备选地，可使用分立图形和/或视频处理器。作为又一实现，图形和/或视频功能可由通用处理器(包含多核处理器)提供。在另一实施例中，功能可实现在消费电子装置中。
收发器918可包含能够使用各种适合的无线通信技术传送和接收信号的一个或多个无线电。此类技术可涉及在一个或多个无线网络上的通信。示例无线网络包含(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在此类网络上的通信中，无线电918可按照任何版本的一个或多个可应用标准进行操作。
在各种实现中，显示器920可包含任何电视型监视器或显示器。显示器920例如可包含计算机显示屏、触摸屏显示器、视频监视器、电视类装置和/或电视。显示器920可以是数字的和/或模拟的。在各种实现中，显示器920可以是全息显示器。还有，显示器920可以是可接收视觉投影的透明表面。此类投影可输送各种形式的信息、图像和/或对象。例如，此类投影可以是用于移动增强现实(MAR)应用的视觉重叠。在一个或多个软件应用916的控制下，平台902可在显示器920上显示用户接口922。
在各种实现中，内容服务装置930可由任何国家、国际和/或独立服务托管，并且从而例如可经由因特网访问平台902。内容服务装置930可耦合到平台902和/或显示器920。平台902和/或内容服务装置930可耦合到网络960以向网络960和从网络960传递(例如发送和/或接收)媒体信息。内容递送装置940还可耦合到平台902和/或显示器920。
在各种实现中，内容服务装置930可包含有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的因特网使能装置或电器以及能够在内容提供商与平台902和/或显示器920之间经由网络960或直接单向或双向传递内容的任何其它类似装置。将认识到，可经由网络960向和从***900中的任一组件和内容提供商单向和/或双向传递内容。内容示例可包含任何媒体信息，例如包含视频、音乐、医疗和游戏信息等等。
内容服务装置930可接收诸如有线电视节目的内容，包含媒体信息、数字信息和/或其它内容。内容提供商的示例可包含任何有线电视或***或者无线电或因特网内容提供商。所提供的示例不打算以任何方式限制按照本公开的实现。
在各种实现中，平台902可从具有一个或多个导航特征的导航控制器950接收控制信号。控制器950的导航特征例如可用于与用户接口922交互。在各种实施例中，导航控制器950可以是指点装置，其可以是允许用户将空间(例如连续和多维)数据输入到计算机中的计算机硬件组件(特别地，人工接口装置)。许多***诸如图形用户接口(GUI)以及电视和监视器允许用户使用身体姿势控制数据并将数据提供给计算机或电视。
移动控制器950的导航特征可通过移动指针、光标、焦圈或显示在显示器上的其它视觉指示符来在显示器(例如显示器920)上复制。例如，在软件应用916的控制下，位于导航控制器950上的导航特征例如可映射到显示在用户接口922上的虚拟导航特征。在各种实施例中，控制器950可以不是单独的组件，而是可集成到平台902和/或显示器920中。然而，本公开不限于本文示出或描述的元件或上下文。
在各种实现中，驱动器(未示出)可包含在初始引导后(例如当启用时)使用户能够通过触摸按钮而立即打开和关闭平台902(如电视)的技术。当平台“关闭”时，程序逻辑可允许平台902向媒体适配器或其它内容服务装置930或内容递送装置940流播内容。此外，芯片集905例如可包含对于5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件支持。驱动器可包含用于集成图形平台的图形驱动器。在各种实施例中，图形驱动器可包括***组件互连(PCI)快速图形卡。
在各种实现中，可集成***900中示出的组件中的任何一个或多个。例如，平台902和内容服务装置930可被集成，或者平台902和内容递送装置940可被集成，或者例如平台902、内容服务装置930和内容递送装置940可被集成。在各种实施例中，平台902和显示器920可以是集成单元。例如，显示器920和内容服务装置930可被集成，或者显示器920和内容递送装置940可被集成。这些示例不打算限制本公开。
在各种实施例中，***900可被实现为无线***、有线***或二者的组合。当实现为无线***时，***900可包含适合于通过无线共享介质(诸如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等)通信的组件和接口。无线共享介质的示例可包含部分无线频谱，诸如RF频谱等。当实现为有线***时，***900可包含适合于通过有线通信介质(诸如输入/输出(I/O)适配器、连接I/O适配器与对应有线通信介质的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等)通信的组件和接口。有线通信介质的示例可包含有线、电缆、金属引线、印刷电路板(PCB)、背板、开关组构、半导体材料、双绞线、同轴电缆、光纤等等。
平台902可建立一个或多个逻辑或物理信道以传递信息。信息可包含媒体信息和控制信息。媒体信息可指的是表示送往用户的内容的任何数据。内容的示例例如可包含来自语音对话、视频会议、流播视频、电子邮件("email")消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据例如可以是语音信息、沉默周期、背景噪声、舒适噪声、音调等等。控制信息可指的是表示送往自动化***的命令、指令或控制字的任何数据。例如，控制信息可用于通过***路由媒体信息，或指令节点按预定方式处理媒体信息。然而，实施例不限于图9中示出或描述的元件或上下文。
如上所述，***900可按变化的物理样式或形状因子实施。图10图示了可实施***1000的小形状因子装置1000的实现。在各种实施例中，例如，装置1000可实现为具有无线能力的移动计算装置。移动计算装置可指的是例如具有处理***和移动功率源或电源(诸如一个或更多电池)的任何装置。
如上所述，移动计算装置的示例可包含个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置、相机(例如傻瓜相机、超级变焦相机、数码单反(DSLR)相机)等等。
移动计算装置的示例还可包含布置成由人穿戴的计算机，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带扣计算机、臂带计算机、鞋计算机、衣服计算机以及其它可穿戴计算机。在各种实施例中，例如，移动计算装置可实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管一些实施例作为示例可用实现为智能电话的移动计算装置进行描述，但可认识到，其它实施例也可使用其它无线移动计算装置实现。实施例不限于此上下文。
如图10中所示，装置1000可包含外壳1002、显示器1004、输入/输出(I/O)装置1006和天线1008。装置1000还可包含导航特征1012。显示器1004可包含用于显示适合于移动计算装置的信息的任何适合的显示单元。I/O装置1006可包含用于将信息录入到移动计算装置中的任何适合的I/O装置。I/O装置1006的示例可包含字母数字键盘、数字键区、触摸盘、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别装置和软件等等。信息还可通过麦克风(未示出)录入到装置1000中。此类信息可通过语音识别装置(未示出)数字化。实施例不限于此上下文。
各种实施例可使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可包含处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包含软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任何组合。确定实施例是否使用硬件元件和/或软件元件来实现可按照许多因素(诸如期望的计算速率、功率级、耐热性、处理循环预算、输入数据速率、输出数据速率、存储资源、数据总线速度以及其它设计或性能约束)变化。
至少一个实施例的一个或多个方面可由存储在表示处理器内各种逻辑的机器可读介质上的代表性指令实现，这些指令当由机器读取时使机器制作执行本文描述的技术的逻辑。称为“IP核”的此类表示可存储在有形机器可读介质上，并被提供给各种顾客或制造设施，以加载到实际上制定逻辑或处理器的制作机器中。
虽然已经参考各种实现描述了本文阐述的某些特征，但此描述不打算视为限制意义。因此，对本公开涉及的领域的技术人员显而易见的本文描述的实现的各种修改以及其它实现被认为位于本公开的精神和范围内。
按照本公开，可在增强层视频解码器访问从基础层视频帧获得的像素样本，并且可至少部分响应于像素样本执行至少一部分增强层帧的层间像素预测。执行层间像素预测可包含至少部分响应于像素样本和残差执行层间像素预测。
按照本公开，增强层帧可以是时间、空间或质量增强层帧中的至少一个。执行层间像素预测可包含执行有关切片、画面或层级中至少一个的层间像素预测。增强层帧部分可以是编码单元(CU)、预测单元(PU)或变换单元(TU)之一。
按照本公开，执行层间像素预测可包含响应于在增强层视频解码器接收的位流中包含的指示符而执行层间像素预测。在第一状态中所述指示符规定增强层视频解码器执行层间像素预测，并且在第二状态中所述指示符规定增强层视频解码器不执行层间像素预测。响应于速率失真成本，可将指示符置于第一状态或第二状态之一。部分增强层帧可包含增强层帧的一个或多个块，并且像素样本可对应于基础层帧的一个或多个协同定位块。基础层帧的协同定位块可以是内部编码块、中间编码块或混合内部/中间编码块。
按照本公开，在执行层间像素预测之前，可对像素样本应用上采样滤波器。上采样滤波器可具有固定上采样系数，或者可具有自适应上采样系数。进一步说，在执行层间像素预测之前可对像素样本应用精炼滤波器。精炼滤波器可具有固定精炼系数，或者可具有自适应精炼系数。
按照本公开，可在增强层视频译码器访问从基础层视频帧获得的像素样本，并且可至少部分响应于像素样本执行至少一部分增强层帧的层间像素预测。执行层间像素预测可包含至少部分响应于像素样本和残差执行层间像素预测。进一步说，在执行层间像素预测之后可对增强层帧进行熵编码，并且可生成包含熵编码的增强层帧的位流。熵译码的增强层帧可包含残差。
按照本公开，可生成指示符，其中在第一状态中所述指示符规定对于部分增强层帧执行层间像素预测，并且其中在第二状态中所述指示符规定对于部分增强层帧不执行层间像素预测。指示符然后可被置于位流中。响应于速率失真成本，可将指示符置于第一状态或第二状态之一。

Claims (37)

1. 一种方法，包括：
在增强层(EL)视频解码器：
至少部分基于从较低EL帧或基础层(BL)帧中的至少一个获得的像素样本确定EL帧的块的预测像素。
2. 如权利要求1所述的方法，进一步包括：访问存储器中的所述像素样本。
3. 如权利要求1所述的方法，其中所述EL帧包括时间、空间或质量EL帧中的至少一个。
4. 如权利要求1所述的方法，其中确定所述预测像素包括确定切片、画面或层级中至少一个上的所述预测像素。
5. 如权利要求1所述的方法，其中所述块包括编码单元(CU)、预测单元(PU)或变换单元(TU)之一。
6. 如权利要求1所述的方法，其中确定预测像素包括响应于在所述EL视频解码器接收的位流中包含的指示符而确定预测像素。
7. 如权利要求6所述的方法，其中在第一状态中所述指示符规定所述EL视频解码器将执行层间像素预测，并且其中在第二状态中所述指示符规定所述EL视频解码器将不执行层间像素预测。
8. 如权利要求7所述的方法，其中响应于速率失真成本已经将所述指示符置于所述第一状态或所述第二状态之一。
9. 如权利要求1所述的方法，其中所述像素样本对应于所述较低EL帧或所述BL帧的一个或多个协同定位块。
10. 如权利要求9所述的方法，其中所述基础层帧的所述一个或多个协同定位块包括内部编码块、中间编码块或混合内部/中间编码块中的至少一个。
11. 如权利要求1所述的方法，进一步包括：在确定所述预测像素之前对所述像素样本应用上采样滤波器。
12. 如权利要求11所述的方法，其中所述上采样滤波器包括固定上采样系数或自适应上采样系数之一。
13. 如权利要求1所述的方法，进一步包括：在确定所述预测像素之前对所述像素样本应用精炼滤波器。
14. 如权利要求13所述的方法，其中所述精炼滤波器包括固定精炼系数或自适应精炼系数之一。
15. 如权利要求1所述的方法，其中确定所述预测像素包括至少部分响应于所述像素样本和残差而确定所述预测像素。
16. 至少一个机器可读介质，包括多个指令，所述指令响应于在计算装置上执行而使所述计算装置执行如权利要求1至15中任一项所述的方法。
17. 一种设备，当操作时配置成执行如权利要求1至15中任一项所述的方法。
18. 一种设备，包括用于执行如权利要求1至15中任一项所述的方法的部件。
19. 一种方法，包括：
在增强层(EL)视频译码器：
至少部分响应于从较低EL帧或基础层(BL)帧中的至少一个获得的像素样本而确定EL帧的块的预测像素。
20. 如权利要求19所述的方法，进一步包括：访问存储器中的所述像素样本。
21. 如权利要求19所述的方法，进一步包括：
在确定所述预测像素之后对所述EL帧进行熵译码；以及
生成包含所述熵译码的EL帧的位流。
22. 如权利要求21所述的方法，其中所述熵译码的EL帧包含残差。
23. 如权利要求21所述的方法，进一步包括：
生成指示符，其中在第一状态中所述指示符规定对于所述块将执行层间像素预测，并且其中在第二状态中所述指示符规定对于所述块将不执行层间像素预测；以及
将所述指示符包含在所述位流中。
24. 如权利要求23所述的方法，进一步包括：
响应于速率失真成本而将所述指示符置于所述第一状态或所述第二状态之一。
25. 如权利要求19所述的方法，其中所述EL帧包括时间、空间或质量EL帧中的至少一个。
26. 如权利要求19所述的方法，其中确定预测像素包括确定切片、画面或层级中至少一个上的预测像素。
27. 如权利要求19所述的方法，其中所述块包括编码单元(CU)、预测单元(PU)或变换单元(TU)之一。
28. 如权利要求19所述的方法，其中所述像素样本对应于所述较低EL帧或所述BL帧的一个或多个协同定位块。
29. 如权利要求28所述的方法，其中所述一个或多个协同定位块包括内部编码块、中间编码块或混合内部/中间编码块中的至少一个。
30. 如权利要求19所述的方法，进一步包括：在确定所述预测像素之前对所述像素样本应用上采样滤波器。
31. 如权利要求30所述的方法，其中所述上采样滤波器包括固定上采样系数或自适应上采样系数之一。
32. 如权利要求19所述的方法，进一步包括：在确定所述预测像素之前对所述像素样本应用精炼滤波器。
33. 如权利要求32所述的方法，其中所述精炼滤波器包括固定精炼系数或自适应精炼系数之一。
34. 如权利要求19所述的方法，其中确定所述预测像素包括至少部分响应于所述像素样本和残差而确定所述预测像素。
35. 至少一个机器可读介质，包括多个指令，所述指令响应于在计算装置上执行而使所述计算装置执行如权利要求19至34中任一项所述的方法。
36. 一种设备，当操作时配置成执行如权利要求19至34中任一项所述的方法。
37. 一种设备，包括用于执行如权利要求19至34中任一项所述的方法的部件。
CN201280075459.7A 2012-09-28 2012-09-28 层间像素样本预测 Pending CN104541506A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/082369 WO2014047893A1 (en) 2012-09-28 2012-09-28 Inter-layer pixel sample prediction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510115803.6A Division CN104717501A (zh) 2012-09-28 2012-09-28 层间像素样本预测

Publications (1)

Publication Number Publication Date
CN104541506A true CN104541506A (zh) 2015-04-22

Family

ID=50386865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075459.7A Pending CN104541506A (zh) 2012-09-28 2012-09-28 层间像素样本预测

Country Status (7)

Country Link
US (2) US20140286408A1 (zh)
EP (2) EP2911397A1 (zh)
JP (1) JP2015530805A (zh)
KR (2) KR20150038249A (zh)
CN (1) CN104541506A (zh)
SG (1) SG11201500311XA (zh)
WO (1) WO2014047893A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653511B1 (ko) 2012-09-28 2016-09-01 인텔 코포레이션 인터-레이어 잔차 예측
KR102643661B1 (ko) * 2012-10-01 2024-03-05 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
KR102209067B1 (ko) * 2013-04-05 2021-01-28 삼성전자주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
US10467496B2 (en) * 2015-08-31 2019-11-05 Apple Inc. Temporal filtering of independent color channels in image data
WO2019190199A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019234607A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and affine
EP4307671A3 (en) 2018-06-21 2024-02-07 Beijing Bytedance Network Technology Co., Ltd. Sub-block mv inheritance between color components
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
CN110944170B (zh) 2018-09-24 2023-05-02 北京字节跳动网络技术有限公司 扩展Merge预测
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
KR20210089155A (ko) 2018-11-10 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 페어와이즈 평균 후보 계산에서 라운딩
CN111436226A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
KR20210091161A (ko) 2018-11-20 2021-07-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 부분적 위치에 기반한 차분 계산
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN113424538A (zh) 2019-02-14 2021-09-21 北京字节跳动网络技术有限公司 解码器侧细化工具的选择性应用
WO2020177683A1 (en) 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Enabling bio based on the information in the picture header
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
KR20230169434A (ko) 2019-04-02 2023-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN117395419A (zh) 2019-05-16 2024-01-12 北京字节跳动网络技术有限公司 基于子区域的运动信息细化确定
WO2024058595A1 (ko) * 2022-09-16 2024-03-21 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11262009A (ja) * 1998-01-08 1999-09-24 Matsushita Electric Ind Co Ltd 映像信号再生装置
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
US20080008249A1 (en) * 2006-07-10 2008-01-10 Freescale Semiconductor, Inc. Image data up sampling
US20080025396A1 (en) * 2006-07-27 2008-01-31 Kei Tasaka Picture coding apparatus
CN101325714A (zh) * 2007-06-13 2008-12-17 华为技术有限公司 变换数据处理方法和装置以及编码、解码方法和装置
CN101828399A (zh) * 2007-10-15 2010-09-08 高通股份有限公司 用于可缩放位深度的可缩放视频译码技术
CN101888556A (zh) * 2008-03-19 2010-11-17 华为技术有限公司 编码、解码方法和编码、解码装置
CN102598660A (zh) * 2009-04-20 2012-07-18 杜比实验室特许公司 用于多层视频传输的自适应内插滤波器

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
JPH11331613A (ja) * 1998-05-20 1999-11-30 Matsushita Electric Ind Co Ltd 階層型映像信号符号化装置と階層型映像信号復号化装置
US6600517B1 (en) * 2000-03-07 2003-07-29 Koninklijke Philips Electronics N.V. System and method for improving the sharpness of a video image
US7656950B2 (en) * 2002-05-29 2010-02-02 Diego Garrido Video interpolation coding
WO2006058921A1 (en) * 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
WO2006104365A1 (en) * 2005-04-01 2006-10-05 Lg Electronics Inc. Method for scalably encoding and decoding video signal
EP1886502A2 (en) * 2005-04-13 2008-02-13 Universität Hannover Method and apparatus for enhanced video coding
WO2007044556A2 (en) * 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
KR100791299B1 (ko) * 2006-04-11 2008-01-04 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법 및 장치
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
FR2932637B1 (fr) * 2008-06-17 2010-08-20 Canon Kk Procede et dispositif de codage d'une sequence d'images
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
EP2596636A1 (en) * 2010-07-21 2013-05-29 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
US20120039383A1 (en) * 2010-08-12 2012-02-16 Mediatek Inc. Coding unit synchronous adaptive loop filter flags
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US10136144B2 (en) * 2012-05-21 2018-11-20 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding
WO2014011595A1 (en) * 2012-07-09 2014-01-16 Vid Scale, Inc. Codec architecture for multiple layer video coding
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11262009A (ja) * 1998-01-08 1999-09-24 Matsushita Electric Ind Co Ltd 映像信号再生装置
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
US20060268991A1 (en) * 2005-04-11 2006-11-30 Segall Christopher A Method and apparatus for adaptive up-scaling for spatially scalable coding
US20080008249A1 (en) * 2006-07-10 2008-01-10 Freescale Semiconductor, Inc. Image data up sampling
US8120660B2 (en) * 2006-07-10 2012-02-21 Freescale Semiconductor, Inc. Image data up sampling
US20080025396A1 (en) * 2006-07-27 2008-01-31 Kei Tasaka Picture coding apparatus
CN101325714A (zh) * 2007-06-13 2008-12-17 华为技术有限公司 变换数据处理方法和装置以及编码、解码方法和装置
CN101828399A (zh) * 2007-10-15 2010-09-08 高通股份有限公司 用于可缩放位深度的可缩放视频译码技术
CN101888556A (zh) * 2008-03-19 2010-11-17 华为技术有限公司 编码、解码方法和编码、解码装置
CN102598660A (zh) * 2009-04-20 2012-07-18 杜比实验室特许公司 用于多层视频传输的自适应内插滤波器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DANNY HONG等: "《Scalability Support in HEVC》", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Also Published As

Publication number Publication date
JP2015530805A (ja) 2015-10-15
EP2901692A1 (en) 2015-08-05
US20140286408A1 (en) 2014-09-25
EP2901692A4 (en) 2016-04-13
WO2014047893A1 (en) 2014-04-03
KR20150038249A (ko) 2015-04-08
KR20150050561A (ko) 2015-05-08
EP2911397A1 (en) 2015-08-26
SG11201500311XA (en) 2015-02-27
US20150181216A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
CN104541506A (zh) 层间像素样本预测
CN104584553A (zh) 层间残差预测
CN104541505B (zh) 层间内部模式预测方法、设备及装置
CN103918265B (zh) 跨通道残余预测
CN104937932B (zh) 可适性视频编码的增强参考区域利用
KR20140089482A (ko) 스케일러블 비디오 코딩의 층 간 예측을 위한 리파이닝 필터
CN104321970A (zh) 层间编码单元四叉树模式预测
US10536710B2 (en) Cross-layer cross-channel residual prediction
CN104798373A (zh) 包括在多个独立编码流之间的共享运动估计的视频编码
CN104756498A (zh) 跨层运动向量预测
TWI559749B (zh) 層間移動資料繼承之技術
CN104322062B (zh) 跨层跨通道样本预测
CN104272738A (zh) 用于可扩展视频编码的自适应滤波
CN104717501A (zh) 层间像素样本预测
CN104023238B (zh) 跨通道残余预测
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150422

RJ01 Rejection of invention patent application after publication