CN102007768B - 编码器、解码器、编码方法及解码方法 - Google Patents

编码器、解码器、编码方法及解码方法 Download PDF

Info

Publication number
CN102007768B
CN102007768B CN2008801286831A CN200880128683A CN102007768B CN 102007768 B CN102007768 B CN 102007768B CN 2008801286831 A CN2008801286831 A CN 2008801286831A CN 200880128683 A CN200880128683 A CN 200880128683A CN 102007768 B CN102007768 B CN 102007768B
Authority
CN
China
Prior art keywords
image
bit depth
data stream
video source
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008801286831A
Other languages
English (en)
Other versions
CN102007768A (zh
Inventor
托马斯·威甘德
马丁·温肯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN102007768A publication Critical patent/CN102007768A/zh
Application granted granted Critical
Publication of CN102007768B publication Critical patent/CN102007768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

为提高位深度可分级数据流的效率，如下获得层间预测，所述层间预测通过利用在所述图像或视频源数据内恒定或以第一粒度变化的一个或多个全局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的图像或视频源数据的表示样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围并对应于高于所述第一图像样本位深度的第二图像样本位深度的第二动态范围，并基于所述局部映射函数形成所述质量可分级数据流，以便从质量可分级数据流可导出所述局部映射函数。

Description

编码器、解码器、编码方法及解码方法
技术领域
本发明总体上涉及图像和/或视频编码，尤其是涉及利用质量可分级数据流实现位深度可分级性(bit-depth scalability)的质量可分级编码。 
背景技术
ISO/IEC运动图像专家组(MPEG)的联合视频编码组(JVT)和ITU-T视频编码专家组(VCEG)最近完成了最先进的视频编码标准H.264/AVC的可分级扩展，称作可分级视频编码(SVC)。SVC支持视频序列的时间、空间和SNR或其任意组合的可分级编码。 
如ITU-T Rec.& ISO/IEC 14496-10 AVC“一般视听业务的高级视频编码”2005年版本3中描述的H.264/AVC说明了混合视频编解码器，其中通过运动补偿预测在空间域中或者通过帧内预测在时间域中产生宏块预测信号，且在两种预测之后进行残差编码。不具有可分级性扩展的H.264/AVC编码称作单层H.264/AVC编码。与单层H.264/AVC编码相配的率失真性能是指通常在10％位速率获得相同的视觉再现质量。鉴于上述情况，可分级性被认为是用于除去部分比特流并同时在任何支持的空间、时间或SNR分辨率上获得R-D特性的功能性，所述分辨率与在该特定分辨率与单层H.264/AVC编码相配。 
可分级视频编码(SVC)的基本设计可以被划分为分层视频编解码器。在每一层，像在H.264/AVC中一样采用运动补偿预测和帧内预测的基本概念。但是，其中整合了层间预测机制以利用数个空间或SNR层之间的冗余。SNR可分级性基本上是通过残差量化实现的，而对于空间可分级性，采用了运动补偿预测和过采样金字塔分解的组合。H.264/AVC的时间可分级性方法得到了保持。 
总体上，编码器结构取决于应用所要求的可分级性空间。出于说明之目的，图8示出了具有两个空间层902a、902b的典型编码器结构900。在每层中，采用具有层特定运动参数906a、906b的独立层次运动补偿预测结构904a、904b。通过层间预测概念908来利用连续层902a、902b之间的冗余，层间预测概念908包括用于运动参数906a、906b以及纹理数据910a、910b的预测机制。通过与H.264/AVC类似的变换编码916a、916b获得每层902a、 902b的输入图像914a、914b的基本表示，相应的NAL单元(NAL-网络抽象层)包含运动信息和纹理数据；最低层即912a的基本表示的NAL单元与单层H.264/AVC相匹配。 
由各个层902a、902b的底层编码916a、916b和逐行SNR细化纹理编码918a、918b输出的结果比特流分别由复用器920复用以产生可分级比特流922。比特流922在时间、空间和SNR质量上可分级。 
总之，根据视频编码标准H.264/AVC的上述可分级扩展，通过利用层次预测结构提供了时间可分级性。对于此层次预测结构，可以不加改变地使用单层H.264/AVC标准之一。对于空间和SNR可分级性，必须像H.264/AVC的SVC扩展中描述的那样在单层H.264/MPEG AVC中加入另外的工具。可以将所有三个可分级性类型组合以产生支持较大程度的组合可分级性的比特流。 
当视频源信号具有与解码器或播放器所要求不同的动态范围时就会产生问题。在上述当前SVC标准中，只针对其中底层和增强层都代表具有相应的亮度和/或色度采样阵列的相同位深度的给定视频源的情况规定了可分级性工具。因此，考虑到不同解码器和播放器分别需要不同的位深度，必须为每个位深度单独提供专用的编码流。但是，从速率/失真意义而言，这分别意味着增加开销和降低效率。 
已经有提议在SVC标准中加入位深度方面的可分级性。例如，刘山(Shan Liu)等人在给JVT的输入文档即JVT-X075中描述了通过利用逆色调映射从底层的低位深度表示中导出层间预测的可能性，根据该方法，层间预测或逆色调映射的像素值p’由底层像素值pb通过p’＝pb·scale+offset计算出来，其中在宏块或较小块大小上进行层间预测。在刘山的JVT-X075中，将为此层间预测方案的结果进行呈现。类似地，Andrew Segall等人在JVT-X071提出了一种用于位深度可分级性的层间预测，根据该提议，对逆色调映射采用增益加偏移运算。所述增益参数被编入索引并在逐块的基础上在增强层数据流中传输。通过预测和细化的组合来实现分级因子和偏移因子的信号传输。另外，该文献描述了高级语法支持较粗粒度而不是在逐块的基础上传输。相关文献还有Andrew Segall在ICIP 2007中的I-1至I-4中的“高动态范围视频的可分级编码”以及JVT文件JVT-X067和JVT-W113，它们也是源自Andrew Segall的提议。 
虽然上述提议利用逆色调映射以从更低位深度底层获得预测并除去更低位深度信息与更高位深度信息之间的某些冗余，但还需要在提供这种位深度可分级比特流方面获得更高的效率，特别是从速率/失真性能方面而言。 
发明内容
本发明的目的是提供一种编码方案，该编码方案能够以更高效的方式提供适合于不同位深度的图像或视频的编码。 
上述目的通过根据权利要求1所述的编码器、根据权利要求11所述的解码器、根据权利要求22或23所述的方法或者根据权利要求24所述的质量可分级数据流来实现。 
本发明基于下述发现：当获得层间预测时，位深度可分级数据流的效率可以被提高，所述层间预测通过利用在图像或视频源数据内恒定或以第一粒度变化的一个或多个全局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的图像或视频源数据的表示样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围且对应于高于所述第一图像样本位深度的第二图像样本位深度的第二动态范围，且基于所述局部映射函数形成所述质量可分级数据流，从而从质量可分级数据流可导出所述局部映射函数。虽然除了提供局部修改一个或多个全局映射函数的局部映射函数，还提供一个或多个全局映射函数会增加可分级数据流内的边信息量，但由于全局映射函数和局部映射函数的再分使得局部映射函数及其参数可能非常小并且能够以高效方式进行编码，上述增加会被更多地抵消。所述全局映射函数可以编码在质量可分级数据流中，并且由于该函数在图像或视频源数据中是恒定或者以更大的粒度变化，用于定义此全局映射函数的开销或灵活性可能增加，因此全局映射函数可以精确地适用于图像或视频源数据的平均统计数据，从而进一步降低局部映射函数的幅值。 
附图说明
下面将组合附图对本发明的优选实施例进行说明，其中： 
图1是根据本发明实施例的视频编码器的框图； 
图2是根据本发明实施例的视频解码器的框图； 
图3是根据本发明实施例的图1中的预测模块134的运算模式的一种可能实现方案的流程图； 
图4是根据本发明实施例的视频及将其再分为图像序列、图像、宏块对、宏块和变换块的示意图； 
图5是图像一部分的示意图，该图像根据局部映射/调节功能下面的精细粒度被再分为块，同时说明了用于编码局部映射/调节功能参数的预测编码方案； 
图6是根据本发明实施例的编码器进行的逆色调映射过程的流程图； 
图7是根据本发明实施例的与图6对应的解码器进行的逆色调映射过程的流程图； 
图8是用于可分级视频编码的传统编码器结构的框图。 
具体实施方式
图1示出了编码器100，编码器100包括底层编码装置102、预测装置104、残差编码装置106、组合装置108以及输入110和输出112。图1所示编码器100是视频编码器，其在输入110接收高质量视频信号并在输出112输出质量可分级比特流。底层编码装置102将输入110的数据编码为代表输入110的此视频信号的内容的底层编码数据流，所述底层编码数据流与输入110的输入信号相比具有降低的图像样本位深度和可选地具有减小的空间分辨率。预测装置104适于根据底层编码装置102输出的底层编码数据流为输入110的视频信号提供具有完全或增加的图像样本位深度和可选地具有完全或增加的空间分辨率的预测信号。编码器100还包括减法器114，用于形成与输入110的高质量输入信号有关的由预测装置104提供的预测信号的预测残差，所述残差信号由残差编码装置106编码为质量增强层数据流。组合装置108将来自底层编码装置102的底层编码数据流和残差编码装置106输出的质量增强层数据流相组合以在输出112形成质量可分级数据流112。质量可分级性是指输出112的数据流一方面包括一个部分，该部分能够以降低的位深度和可选地以降低的空间分辨率进行视频信号110的重建而不需要任何进一步的信息并且忽略数据流112的剩余部分，另一方面，数据流还包括另外一个部分，该另外一个部分能够与所述第一部分一起在输入110以高于第一部分的位深度和/或空间分辨率的原始位深度和原始空间分辨率进行视频信号的重建。 
在简要介绍了编码器100的结构和功能性之后，下面将详细说明其内部结构。具体而言，底层编码装置102分别在输入110与组合装置108和预测装置102之间包括按照下述顺序串联的下转换模块116、减法器118、变换模块120和量化模块122。下转换模块116用于降低输入110的视频信号的图像样本的位深度和可选地降低视频信号的图像的空间分辨率。换言之，下转换模块116不可逆转地将输入110的高质量输入视频信号下转换为基本质量视频信号。下面将更详细地说明，此下转换可以包括利用任何色调映射方案降低输入110的视频信号中的信号样本的位深度即像素值，例如所述样本值的取整、在视频信号是以亮度加色度形式给出的情况下色度分量的子采样、诸如通过RGB至YcbCr转换进行输入110的输入信号的滤波，或者其任何组合。对可能的预测机制的详细说明呈现在下文 中。具体而言，下转换模块116可以对输入110的视频信号或图像序列的每个图像采用不同的下转换方案或者对于全部图像采用相同方案。这也将在下文进行详细说明。 
减法器118、变换模块120和量化模块122协作以利用例如不可分级视频编码方案(例如H.264/AVC)编码下转换模块116输出的基本质量信号。根据图1所示的实施例，减法器118、变换模块120和量化模块122与底层编码装置102和预测装置104共有的可选预测环路滤波器124、预测器模块126、逆变换模块128和加法器130协作，以形成混合编码器的无关性减少部分，所述混合编码器通过基于运动补偿的预测和下面的预测残差压缩编码下变换模块116输出的基本质量视频信号。具体而言，减法器118从基本质量视频信号的当前图像或宏块中减去例如利用运动补偿从基本质量视频信号的先前编码图像重建的预测图像或预测宏块部分。变换模块120对于测残差进行变换，例如DCT、FFT或小波变换。变换的残差信号可以代表空间表示并且在量化模块122中对其变换系数进行非不可逆转的量化。产生的量化残差信号表示由底层编码装置102输出的底层编码数据流的残差。 
除了可选的预测环路滤波器124、预测器模块126、逆变换模块128和加法器130，预测装置104包括用于降低编码效应的可选滤波器132和预测模块134。逆变换模块128、加法器130以及可选滤波器132和预测模块134协作，以重建具有由下变换模块116限定的降低位深度和可选的降低空间分辨率的视频信号。换言之，这些器件为可选滤波器132产生了低的位深度和可选的低的空间分辨率的视频信号，这表示输入110的源信号的低质量表示也在解码器侧重建。具体而言，逆变换模块128和加法器130串联连接在量化模块122和可选滤波器132之间，而可选预测环路滤波器124和预测器模块126按照所述顺序串联连接在加法器130的输出以及加法器130的另外输入之间。预测器模块126的输出还连接至减法器118的倒相输入。可选滤波器132连接在加法器130的输出与预测模块134之间，预测模块134连接在可选滤波器132的输出与减法器114的倒相输入之间。 
逆变换模块128逆变换由底层编码装置102输出的底层编码残差图像以获得低位深度和可选的低空间分辨率残差图像。因此，逆变换模块128进行的逆变换是由模块120和122进行的变换和量化的变换的逆转。可选择地，在逆变换模块128的输入侧可以单独设置解量化模块。加法器130将预测加入到重建的残差图像中，其中所述预测基于视频信号的先前重建的图像。具体而言，加法器130输出具有降低的位深度和可选的降低的空间分辨率的重建视频信号。这些重建图像由环路滤波器123滤波以降低赝像并且例如可以随后由预测器模块126使用，以通过例如运动补偿从先前重建的图像预测当前需要重建的图像。由此在加法器130的输出获得的基本质量信号由可选滤波器132和预测模块134的串联连接 所使用，以获得输入110的高质量输入信号的预测，后一预测将用于在残差编码装置106的输出形成高质量增强信号。这将在下文进行详细说明。 
具体而言，从加法器130获得的低质量信号可选地由可选滤波器132滤波以降低编码效应。虽然图1中的滤波器124和132分别显示，但它们可以以相同方式运行，并且两个滤波器可以由设置在加法器132的输出与预测模块126和预测模块134的输入之间的一个滤波器取代。随后，预测模块134利用低质量视频信号以形成用于在连接至输入110的加法器114的非倒相输入处接收到的高质量视频信号的预测信号。形成高质量预测的过程可以包括：利用下面详细说明的组合映射功能映射解码基本质量信号图像样本；利用基本质量信号样本的各个值对包含相应高质量样本值的查询表进行索引；利用基本质量信号样本的值进行插值运算以获得相应的高质量样本值；色度分量的上采样；例如利用YCbCr至RGB变换进行的所述基本质量信号的滤波，或者上述的任何组合。其他示例将在下文进行说明。 
例如，预测模块134可以将基本质量视频信号从第一动态范围映射至大于第一动态范围的第二动态范围，并且可选地，利用空间插值滤波器对基本质量视频信号的样本进行空间插值以增加空间分辨率，从而对应于输入110的视频信号的空间分辨率。与上述下转换模块116类似的方式，可以对于基本质量视频信号序列的不同图像采用不同预测处理，也可以对所有图像采用相同预测处理。 
减法器114将从预测模块134接收到的高质量预测从输入110接收到的高质量视频信号中减去，以向残差编码装置106输出高质量预测残差信号，即具有原始位深度和可选的原始空间分辨率。在残差编码装置106，原始高质量输入信号与由解码基本质量信号获取的预测之间的差异利用(例如，H.264/AVC中规定的)压缩编码方案进行编码。出于此目的，图1所示的残差编码装置106示意性地包括按照下述顺序串联连接在减法器114的输出和组合装置108之间的变换模块136、量化模块138和熵编码模块140。变换模块136将其残差信号或图像分别变换成变换域或谱域，其中光谱分量由量化模块138量化，量化的变换值由熵编码模块140进行熵编码。熵编码的结果代表由残差编码装置106输出的高质量增强层数据流。如果模块136-140执行H.264/AVC编码，该编码支持4x4或8x8样本的尺寸变换以编码亮度分量用于变换亮度内容，对于每个宏块，变换模块136中用于变换来自减法器114的残差信号的亮度分量的变换尺寸可以任意选择，不需要与变换模块120中用于编码基本质量信号的变换尺寸相同。对于编码色度分量使用H.264/AVC标准，没有提供其他选择。当在量化模块138中量化变化系数时，可以使用与H.264/AVC相同的量化 方案，这表示量化器步长可以由量化参数QP控制，量化器步长取值可以为-6*(高质量视频信号分量的位深度-8)至51。量化模块122中用于编码基本质量表示的QP与量化模块138中用于编码高质量增强宏块的QP不必相同。 
组合装置108包括熵编码模块142和复用器144。熵编码模块142连接在量化模块122的输出与复用器144的第一输入之间，而复用器144的第二输入连接至熵编码模块140的输出。复用器144的输出表示编码器100的输出112。 
熵编码模块142熵编码由量化模块122输出的量化变换值以由量化模块122输出的底层编码数据流形成基本质量层数据流。因此，如上所述，模块118、120、122、124、126、128、130和142可以设计成根据H.264/AVC协作并一起表示具有熵编码器142的混合编码器，该混合编码器执行量化预测残差的无损耗补偿。 
复用器144接收基本质量层数据流和高质量层数据流并将它们放在一起以形成质量可分级的数据流。 
如上所述，并如图3所示，预测模块134执行的从重建基本质量信号至高质量信号域的预测的方式可以包括样本位深度的扩展，也称为逆色调映射150和可选的空间上采样操作，即在基本和高质量信号具有不同空间分辨率的情况下进行上采样滤波操作152。预测模块134进行逆色调映射150和可选的空间上采样操作152的顺序可以是固定的，因此事前对于编码器侧和解码器侧都是已知的，或者所述顺序可以按照逐块或逐图像或某些其他粒度的基础自适应地选择，在这种情况下预测模块134向某些实体(例如编码器106)信号通知步骤150和152之间的顺序信息，该顺序信息作为比特流112中的边信息，从而该顺序信息也作为边信息的一部分信号通知到解码器侧。步骤150和152之间的顺序的调节由图3中的虚线双箭头154表示，并且也可以信号通知在何种粒度上所述顺序可以自适应选择且甚至在视频内改变。 
在执行逆色调映射150时，预测模块134使用两个部分，即一个或多个全局逆色调映射函数及其局部适应(或称为局部调整)。一般而言，所述一个或多个全局逆色调映射函数专用于说明视频的图像序列的一般、平均特征，并因此用于最初用于高质量输入视频信号的色调映射的一般、平均特征，以获得下变换模块116的基本质量视频信号。与之相比，局部适应(局部调整)应说明视频的图像的各个块与全局逆色调映射模型的各个偏差。 
为了对此进行说明，图4示出了视频160的一部分，视频160示例性地包括四个连续图像162a至162d。换言之，视频160包括一个序列的图像162，其中图4中示例性地示出4个图像。视频160可以被分为连续图像的非重叠序列，用于它的全局参数或语法元素在 数据流112中传输。仅出于说明之目的，假设图4所示的4个连续图像162a至162d形成这种图像的序列164。每个图像进而被再分为多个宏块166，如图像162d的左下角所示。宏块是一个容器，其中与宏块编码相关的传输参数和其他控制语法元素在比特流112中传输。宏块166的宏块对168覆盖各个图像162d的连续部分。取决于各个宏块对168的宏块对模式，此宏块对168的顶宏块162覆盖宏块对168的上半部的样本或者宏块对168中每个奇数编号行的样本，底宏块与其他样本分别相关。每个宏块160进而可以被再分为170所示的变换块，这些变换块形成块基础，在所述块基础上变换模块120执行变换并且逆变换模块128执行逆变换。 
请再参看上述全局逆色调映射函数，预测模块134可以构造为对于整个视频160或者可选地对于其子部分(例如连续图像的序列164或图像162自身)恒定地使用一个或多个这种全局逆色调映射函数。后面的选项意味着预测模块134以对应于图像序列大小或图像大小的粒度改变全局逆色调映射函数。全局逆色调映射函数的示例在下文中给出。如果预测模块134使全局逆色调映射函数适应于视频160的统计数据，预测模块134向熵编码模块140或复用器144输出信息，从而比特流112包含有关视频160中的全局逆色调映射函数及其变化的信息。如果预测模块134使用的所述一个或多个全局逆色调映射函数恒定地应用于整个视频160，则解码器也将知道该映射函数，或者可以在比特流112中作为边信息传输。 
在甚至更小的粒度上，预测模块134采用的局部逆色调映射函数在视频160内变化。例如，这种局部逆色调映射函数以小于图像大小(例如宏块、宏块对的大小、或者变换块大小)的粒度变化。 
对于全局逆色调映射函数和局部逆色调映射函数，在其上比特流中各个功能变化或功能被定义的粒度可在视频160内变化。粒度的变化进而可以在比特流112内被信号通知。 
在逆色调映射150过程中，预测模块134利用用于各个图像的一个全局逆色调映射函数和预定样本属于它的各个块中定义的局部逆色调映射函数的组合将视频160的预定样本从基本质量位深度映射至高质量位深度。 
例如，所述组合可以是算术组合，具体而言是加法。预测模块可以构造为使用shigh＝fk(slow)+m·slow+n从相应的重建低位深度样本值slow获得预测的高位深度样本值shigh。 
在此公式中，函数fk表示全局逆色调映射算子，其中在使用了一个以上的单一方案或一个以上的全局逆色调映射函数的情况下系数k用于选择使用哪个全局逆色调映射算子。此公式剩余部分构成局部适应(具有调整)或局部逆色调映射函数，n是偏移值，m是分 级因子。k、m和n的值可以在比特流112中以逐块为基础确定。换言之，比特流112将能够对视频160的全部块解出三元组{k，m，n}，这些块的块大小取决于全局逆色调映射函数的局部适应的粒度，而此粒度有可能在视频160内变化。 
就全局逆时间映射函数f(x)而言，下面的映射机制可以用于预测处理。例如，在任意数量的内插点可以确定的情况下，可以使用分段线性映射。例如，对于具有值x的基本质量样本和两个给定插值点(xn，yn)和(xn+1，yn+1)，模块134根据下述公式获得相应的预测样本y： 
f ( x ) = y n + x - x n x n + 1 - x n ( y n + 1 - y n )
如果xn+1-xn被限制在2次方，通过只利用位移位而非除法运算就能以较小的计算复杂性进行此线性插值。 
另外一种可能的全局映射机制代表一个查询表映射，其中利用基本质量样本值在查询表中进行表查询，在所述查询表中，就全局逆色调映射函数而言，对于每个可能的基本质量样本值确定相应的全局预测样本值(x)。可以将查询表作为边消息提供给解码器侧，或者查询表默认为解码器侧已知。 
另外，具有常数偏移的分级可以用于全局映射。根据可选方案，为了获得具有更高位深度的相应的高质量全局预测样本(x)，模块134例如可以分别根据下述公式其中之一将基本质量样本x乘以常数因子2M-N-K，最后加入常数偏移2M-1-2M-1-K
f(x)＝2M-N-Kx+2M-1-2M-1-K或 
f(x)＝min(2M-N-Kx+2M-1-2M-1-K，2M-1) 
其中M是高质量信号的位深度，N是基本质量信号的位深度。 
通过该方法，低质量动态范围[0；2N-1]以这样的方式被映射至第二动态范围[0；2M-1]，根据该方式x的映射值相对于更高质量的可能动态范围[0；2M-1]在由K确定的扩展中以集中方式分布。K的值可以是整数值或实数值，并且例如可以在质量可分级数据流中作为边信息传输至解码器，从而在解码器侧一些预测装置可以与将在下面说明的预测模块134以相同的方式动作。可以使用取整运算获得整数值的f(x)值。 
全局可分级的另外一种可行方案是具有可变偏移的分级：例如根据下述公式之一将基 本质量样本x乘以常数因子，然后加入可变偏移： 
f(x)＝2M-N-Kx+D或 
f(x)＝min(2M-N-Kx+D，2M-1) 
通过该方法，低质量动态范围以这样的方式被全局映射至第二动态范围，根据所述方式x的映射值分布在高质量样本的可能动态范围的一部分内，其扩展由K确定，且其相对于下边界的偏移由D确定，D可以是整数值或实数值。得出的f(x)代表高位深度预测信号的全局映射图像样本值。K和D的值可以在质量可分级数据流中作为边信息传输至解码器。同样，可以使用取整运算获得整数值的f(x)值，对于本发明所述的实施例中的全局位深度映射这一点都适用，下面不再赘述。 
全局映射的再一种可行方案是具有叠加的分级：例如根据下面公式之一从各个基本质量样本x获得全局映射的高位深度预测样本f(x)，其中floor(a)向下取整至最接近的整数： 
f(x)＝floor(2M-Nx+2M-2Nx)或 
f(x)＝min(floor(2M-Nx+2M-2Nx)，2M-1) 
上述可行方案可以组合。例如，可以使用具有叠加的全局分级和常数偏移：例如根据下面公式之一获得全局映射的高位深度预测样本f(x)，其中floor(a)向下取整至最接近的整数： 
f(x)＝floor(2M-N-Kx+2M-2N-Kx+2M-1-2M-1-K) 
f(x)＝min(floor(2M-N-Kx+2M-2N-Kx+2M-1-2M-1-K)，2M-1) 
K的值可以规定为给解码器的边信息。 
类似地，可以使用具有叠加的全局分级和可变偏移：例如根据下面公式获得全局映射的高位深度预测样本f(x)，其中floor(a)向下取整至最接近的整数： 
f(x)＝floor(2M-N-Kx+2M-2N-Kx+D) 
f(x)＝min(floor(2M-N-Kx+2M-2N-Kx+D)，2M-1) 
D和K的值可以规定为给解码器的边信息。 
将用于全局逆色调映射函数的上述实施例转移到图4，用于定义全局逆色调映射函数的上述参数，即(x1，y1)、K和D，对于解码器可以是已知的，并且在全局逆色调映射函数在视频160内恒定的情况下可以相对于整个视频160在比特流112内传输，或者这些参数针对其不同部分在比特流内传输，例如针对取决于作为全局映射函数基础的粗粒度的图像序列164或图像162。在预测模块134采用一个以上全局逆色调映射函数的情况下，可以认为上述参数(x1，y1)、K和D具有系数k，(x1，y1)、Kk和Dk限定第k个全局逆色调映射函数fk。 
因此，可以通过在比特流112中信号通知相应的值k为每个图像的每个块指定使用不同的全局逆色调映射机制，作为选择，也可以对视频160的整个序列使用相同的机制。 
另外，还可以为基本质量信号的亮度和色度分量指定不同全局映射机制以将统计数据(例如其概率密度函数)可能不同考虑在内。 
如上所述，预测模块134利用全局逆色调映射函数和用于局部适应全局映射的局部逆色调映射函数的组合。换言之，在如此获得的每个全局映射的高位深度预测样本f(x)上进行局部适应。通过利用局部逆色调映射函数执行全局逆色调映射函数的局部适应，所述局部逆色调映射函数例如可以通过局部适应其某些参数来进行局部适应。在上述实施例中，这些参数是分级因子m和偏移值n。可以根据逐块的基础确定分级因子m和偏移值n，其中一个块可以对应于变换块大小(在H.264/AVC的情况下是4x4或8x8样本)或者宏块大小(在H.264/AVC的情况下是8x8样本)。“块”被实际使用的意思是其要么是固定的，因此对于编码器和解码器是已知的，要么其可以由预测模块逐图像或逐序列地自适应地选择，在这种情况下必须将其在比特流112中作为边信息部分信号通知解码器。在H.264/AVC的情况下，序列参数集和/或图像参数集可以用于此目的。另外，对于整个视频序列或对于视频序列160中的定义良好的图像集，可以在边信息中规定分级因子m或偏移值n，或者二者都设定为0。在对于给定图像以逐块的基础指定分级因子m或偏移值n或者两个值的情况下，为了降低用于编码这些值所需比特率，只有对应预测值mpred、npred的差值被编码，从而用于m、n的实际值是如下可获得的：m＝npred+Δm，n＝npred+Δn。 
换言之，图5示出了被划分为块170的图像162的一部分，块170形成全局逆色调映射函数的局部适应的粒度的基础，预测模块134、熵编码模块140和复用器144构造为用于局部适应全局逆色调映射函数的参数(即用于各个块170的分级因子m和偏移值n)不被直接编码到比特流112内，而是仅作为从相邻块170的分级因数和偏移值获得的预测的预测残差。因此，在如图5所示使用一个以上的全局映射函数的情况下，对每个块170传输{Δm，Δn，k}。例如，假设预测模块134将参数mi，j和ni，j用于逆色调映射某个块i，j的样本(即图5的中间一个)。 则预测模块134构造为由相邻块170的分级因子和偏移值(例如mi，j-1和ni，j-1)计算预测值mi，j，pred和ni，j，pred。在这种情况下，预测模块134将实际参数mi，j和ni，j与预测参数mi，j-ni，j，pred和ni，j-ni，j，pred之间的差异***比特流112。这些误差在图5中表示为Δmi，j和Δni，j，其中系数i，j表示从图像162顶部开始的第j个块和从左侧开始的第i个块。可选择地，还可以从已经传输的块而不是同一图像的相邻块导出分级因子m和偏移值n的预测。例如，可以从位于相同或相应空间位置的先前图像的块170导出预测值。具体而言，所述预测值可以是： 
·固定值，其在边信息中传输或者对编码器和解码器都是已知的 
·相应变量和先前块的值 
·相邻块中相应变量的中值 
·相邻块中相应变量的平均值 
·从相邻块中相应变量的值导出的线性插值或外推值 
实际使用这些预测机制中的哪一个对编码器和解码器可以是已知的，或者可以取决于相邻块自身的m、n值(如果有的话)。 
在由熵编码模块140输出的编码的高质量增强层信号中，在模块136、138和140执行符合H.264/AVC的编码的情况下，对于每个宏块传输下面的信息。可以包括编码块模式(CBP)信息，以指示宏块中四个8x8亮度变换块中的哪一个以及宏块的相关色度变换块中的哪一个可以包含非零变换系数。如果没有非零变换系数，对于具体宏块不再传输进一步的信息。所述进一步的信息可以涉及用于编码亮度分量的变换尺寸，即变换块的大小，在所述变换块中由16x16亮度样本组成的宏块在变换模块136中，即在4x4或8x8变换块中，得到变换。另外，高质量增强层数据流可以包括在量化模块138中使用的量化参数QP，用于控制量化器步长。另外，可以针对由熵编码模块140输出的高质量增强层数据流中的每个宏块引入量化的变换系数(即变化系数等级)。 
除了上述信息之外，在数据流112中还可以包含下述信息。例如，在对于当前图像使用一个以上的单一全局逆色调映射方案的情况下，对于高质量增强信号的每个块还必须传输相应的指数值k。对于局部适应，对于这些图像的每个块可以信号通知变量Δm和Δn，其中通过H.264/AVC中的序列参数集和/或图像参数集在边信息中指示相应的值。对于全部三个新变量k、Δm和Δn，必须引入具有相应二进制化方案的语法元素。可以使用简单一元二进制化以为H.264/AVC中所用的二进制算术编码方案准备三个变量。因为所有三个变量通常都具有较小量值，简单一元二进制化方案非常合适。由于Δm和Δn是有符号的整数值，可以如下表所述将其变换为无符号值： 
因此，总结上述一些实施例，预测装置134在其操作过程中可以进行下述步骤。具体而言，如图6所示，在步骤180，预测装置134设置一个或多个全局映射函数f(x)，或在一个以上全局映射函数的情况下的fk(x)，其中k表示指向各个全局映射函数的相应系数值。如上所述，可以将所述一个或多个全局映射函数f(x)设置或定义为在视频160中恒定，或者定义或设置为粗粒度(例如图像162或图像的序列164的大小的粒度)。可以如上所述定义所述一个或多个全局映射函数。一般而言，所述全局映射函数可以是非平凡函数，即不等同于f(x)＝常数，具体而言可以是非线性函数。在任何情况下，当利用上述任何用于全局映射函数的实施例时，步骤180产生相应的全局映射函数参数，例如K、D或(xn，yn)，其中针对视频根据粗粒度再分成的每个部分设置nε(1，…N)。 
另外，预测模块134设置局部映射/适应函数，例如如上所述的函数，即根据m·x+n的线性函数。但是，也可以使用其他局部映射/适应函数，例如仅利用偏移值参数化的常数函数。以比图像小的更细粒度进行步骤182，所述图像例如为宏块、变换块或宏块对，甚至设 置在图像内的片，其中所述片是图像的宏块或宏块对的子集。因此，在使用局部映射/适应函数的上述实施例的情况下，步骤182产生针对视频的图像162根据更细粒度再分的每个块设置或定义的数值对Δm和Δn。 
可选地，即在步骤180使用一个以上全局映射函数的情况下，在步骤184预测装置134为步骤182中所使用的细粒度的每个块的系数k。 
虽然在步骤180预测模块134有可能只根据下变换模块116所用的映射函数设置一个或多个全局映射函数以降低原始图像样本的样本位深度(例如采用逆映射函数作为在步骤180中的全局映射函数)，需要指出的是，预测装置134也可以执行步骤180、182和184中的全部设定，从而某个最优化标准(例如产生的比特率112的速率/失真比)被极端化(例如最大化或最小化)。通过此方法，全局映射函数和局部映射函数即局部映射/适应函数适配于视频的样本值色调统计数据，这确定了一方面用于编码全局映射的必要边信息的开销与获得全局映射函数与另一方面实现较小局部映射/适应函数的色调统计数据的最佳配合之间的最佳折衷方案。 
在步骤186执行实际逆色调映射时，预测模块134对于重建的低质量信号的每个样本使用下面两种情况的组合，一个方面在只有一个全局映射函数的情况下使用所述一个全局映射函数而在具有一个以上全局映射函数的情况下使用全局映射函数之一，另一个方面使用局部映射/适应函数，两种情况都在块或当前样本属于它的部分定义。在上述实施例中，所述组合是加法。但是，有可能使用任何算术组合。例如，所述组合可以是两个函数的串联应用。 
另外，为了通知解码器侧逆色调映射所用的组合映射函数，预测模块134至少产生关于局部映射/适应函数的信息以通过比特流112提供至解码器侧。例如，在步骤188中，预测模块134对于细粒度的每个块产生将被编码至比特流112中的m和n的值。如上所述，步骤188中的编码可以是预测编码，m和n的预测残差而非实际值根据所述预测编码被编码至比特流中，从相邻块170或者先前图像的相应块的m和n的值导出预测值。换言之，可以将残差编码与局部或时间预测一起使用以编码参数m和n。 
类似地，对于在步骤180中使用一个以上的全局映射函数的情况，预测模块134可以在步骤190中为每个块产生将被编码至比特流中的系数k。另外，预测模块可以产生将被编码至比特流中的关于f(x)或fk(x)的信息，如果该信息对于解码器不是已知的话。这在步骤192中进行。另外，在步骤194，预测模块134可以产生将要被编码至比特流中的用于局部映射/适应函数和/或全局映射函数的关于视频内的粒度和粒度变化的信息。 
需要指出，步骤180-194均不需要按照所述顺序执行。这些步骤也不需要按照严格的顺序执行。按照顺序对步骤180-194进行说明仅仅出于说明之目的，可以按照重叠方式执行这些步骤。 
虽然在上述说明中未明确指出，需要说明的是步骤190中产生的边信息可以被引入比特流的高质量增强层信号或者高质量部分，而不是熵编码模块142发出的基本质量部分。 
在结合图2对编码器进行说明之后，下面说明解码器的实施例。图2中的解码器由附图标记200表示，包括解复用装置202、底层解码装置204、预测装置206、残差解码装置208和重建装置210，以及输入212、第一输出214和第二输出216。解码器200在其输入212接收质量可分级数据流，该质量可分级数据流例如由图1所示的编码器100输出。如上所述，所述质量可分级性涉及位深度和可选的空间约简。换言之，输入212的数据流可以具有自包容部分，其能够单独重建具有降低位深度和可选的降低空间分辨率的视频信号，该数据流还具有另外的部分，所述另外的部分与所述第一部分一起进行具有更高位深度和可选的更高空间分辨率视频信号的重建。在输出216输出更低质量重建视频信号，而在输出214输出更高质量重建视频信号。 
解复用装置202将输入212的输入质量可分级数据流分为底层编码数据流和高质量增强层数据流，两种数据流都在图1中进行过说明。底层解码装置204用于将底层编码数据流解码为视频信号的基本质量表示，在图2所示实施例的情况下解码直接进行，或者通过赝像减小滤波器(未示出)间接进行，并且可选地可以在输出216输出。基于基本质量表示视频信号，预测装置206形成具有增加的图像样本位深度和/或增加的色度采样分辨率的预测信号。解码装置208解码增强层数据流以获得具有增加的位深度可可选的增加的空间分辨率的预测残差。重建装置210由预测和预测残差获得高质量视频信号并通过可选的赝像减小滤波器在输出214输出该信号。 
从内部而言，解复用装置202包括解复用器218和熵解码模块220。解复用器218的输入连接至输入212，解复用器218的第一输出连接至残差解码装置208。熵解码模块220连接在解复用器218的另一输出和底层解码装置204之间。解复用器218将质量可分级数据流分为基本层数据流和增强层数据流，像如上所述分别输入复用器144中那样。熵解码模块220进行例如Huffman解码或算术解码算法以获得变换系数等级、运动矢量、变化尺寸信息和用于导出视频信号的基本表示的其他语法元素。 
底层解码装置204包括逆变换模块222、加法器224、可选的环路滤波器226和预测器模块228。从功能性和内部连接而言，底层解码装置204的模块222-228对应于图1中的元件124 -130。更具体而言，一方面逆变换模块222和加法器224按照上述顺序分别串联连接在解复用装置202与预测装置206和基本质量输出之间，另一方面可选的环路滤波器226和预测器模块228按照上述顺序串联连接在加法器224的输出和加法器224的另一输入之间。通过此方法，加法器224输出具有降低的位深度和可选的降低的空间分辨率的基本表示视频信号，该信号可以从输入216的外部接收。 
预测装置206包括可选赝像减小滤波器230和预测形成模块232，两个模块以相对于图1中元件132和134同步的方式运行。换言之，可选赝像减小滤波器230可选地滤波基本质量视频信号以降低其中的赝像，且预测形成模块232根据参照预测模块134说明的方式检索具有增加的位深度和可选的增加的空间分辨率的预测图像。即，预测形成模块232可以通过质量可分级数据流中包含的边信息将输入图像样本映射至高动态范围并可选地对图像内容进行空间插值滤波以增加空间分辨率。 
残差解码装置208包括熵解码模块234和逆变换模块236，两个模块按照上述顺序串联连接在解复用器218和重建装置210之间。熵解码模块234和逆变换模块236协作以逆转图1中由模块136、138和140进行的编码。具体而言，熵解码模块234例如进行Huffman解码或算术解码算法以获得包括变换系数等级等语法元素，所述语法元素由逆变换模块236逆变换以获得预测残差信号或残差图像序列。另外，熵解码模块在披露在编码器侧的步骤190-194产生的边信息，从而预测形成模块232能够仿效在编码器测由预测模块134进行的逆映射过程。 
与描述编码器的图6类似，图7示出了预测形成模块232和详细地且部分地示出了熵解码模块234的运行模式。如图所示，在解码器侧由重建的底层信号获得预测的过程从解复用器218和熵解码器234的协作开始，以在步骤282导出在步骤194编码的粒度信息，在步骤284导出在步骤190编码的用于细粒度的每个块的系数值k，在步骤286导出在步骤188编码的用于每个粒度块的局部映射/适应函数参数m和n。如虚线所示，步骤280-284是可选的，是否使用取决于当前采用的实施例。 
在步骤288，预测形成模块232基于步骤280-286获得的信息进行逆色调映射，从而精确地仿真在编码器侧在步骤186进行的逆色调映射。与参照步骤188的描述相似，参数m、n的推导可以包括预测解码，其中例如通过利用由熵解码器234进行的熵解码从进入解复用器218的数据流的高质量部分导出预测残差值，并通过将这些预测残差值与由局部和/或时间预测导出的预测值相加获得m和n的实际值。 
重建装置210包括加法器238，加法器238的输入分别连接至预测形成模块232的输出和逆变换模块236的输出。加法器238将预测残差和预测信号相加以获得具有增加的位深度和 可选地具有增加的空间分辨率的高质量视频信号，该高质量视频信号通过可选的赝像减小滤波器240提供给输出214。 
因此，从图2可推导出，基本质量解码器可以由输入212的质量可分级数据流重构基本质量视频信号并且为实现该功能不需要包括元件230、232、238、234、236和240。另一方面，高质量解码器可以不包括输出216。 
换言之，在解码过程中，基本质量表示的解码是直接顺向的。对于高质量信号的解码，首先基本质量信号必须被解码，这由模块218-228进行。随后，采用解码的底层表示进行相对于模块232和可选模块230的上述预测过程。高质量增强信号的量化的变换系数被分级并由逆变换模块236进行逆变换(例如H.264/AVC中规定的)以获得残差或差别信号样本，残差或差别信号样被加入到由预测模块232从解码的基本表示样本导出的预测中。作为将在输出214输出的高质量视频信号的解码过程的最后步骤，可选地可以使用滤波器以除去或者降低能够产生视觉干扰的编码赝像。需要指出，包含模块226和228的运动补偿预测环路是指仅利用基本质量表示的全独立环路。因此，解码复杂性适中，在预测器模块228的运动补偿处理中不需要插值滤波器，该插值滤波器在高位深度和可选在空间分辨率图像数据运行)。 
关于上述实施例，需要指出，赝像减小滤波器132和230是可选的并可以除去。环路滤波器124和226以及滤波器240也是如此。例如，对于图1，已经指出滤波器124和132可以由一个共用的滤波器(例如解块滤波器)取代，该滤波器的输出连接至运动补偿预测模块126的输入和逆色调映射模块134的输入。类似地，滤波器226和230可以由一个共用的滤波器(例如解块滤波器)取代，该滤波器的输出连接至输出216、预测形成模块232的输入和预测器模块228的输入。另外，出于完整说明的目的，需要指出，预测器模块228和126不需要分别时间预测当前图像的宏块中的样本。而是还可以采用相同图像的样本的空间预测或帧内预测。具体而言，可以以逐宏块的基础或者根据某些其他粒度选择预测类型。另外，本发明不局限于视频编码。而是上述描述还适用于静止图像编码。因此，分别包含元件118、128、130、126和124和元件223、228和226的运动补偿预测环路可以被除去。类似地，不必须执行上述熵编码。 
更精确而言，在上述实施例中，底层编码118-130、142基于运动补偿预测，该运动补偿预测基于已经有损编码图像的重建。在这种情况下，底层编码的重建过程也可用被看作在上述描述中进行的高质量预测形成过程的一部分。但是，在基本表示的无损编码的情况下，不需要进行重建并且下转换信号可以分别直接转发给装置132和134。在有损底层编码 中无基于运动补偿预测的情况下，用于在编码器侧重建基本质量信号的重建将特别专用于104中的高质量预测形成。换言之，可以用另外一种方式分别进行元件116-124和142与装置102、104和108的关联。具体而言，熵编码装置142可以被视为底层编码装置102的一部分，预测装置仅包括模块132和134，组合装置108仅包含复用器144。这种观点与图2所采用的模块/装置关联的联系在于预测装置206不包括基于运动补偿的预测。但是，另外，解复用装置202可以被视为不包括熵解码模块220，从而底层解码装置也包括熵解码模块220。但是，两种观点产生相同结果，即基于具有降低的位深度和可选地的降低的空间分辨率的原材料的表示进行104中的预测，所述位深度和可选的空间分辨率分别无损编码至质量可分级比特流和底层数据流并且可以无损地从质量可分级比特流和底层数据流中导出。根据基于图1的观点，预测模块134基于底层编码数据流的重建，而在另一种观点的情况下，重建从基本质量信号的中间编码版本或中途编码版本开始，其错过了根据模块142的无损编码以完整地编码成底层数据流。在这方面，需要进一步指出，编码器100不必须执行模块116中的下转换。而是编码器100具有两个输入，一个用于接收高质量信号，另一个用于从外部接收下转换版本。 
在上述实施例中，质量可分级性仅与位深度和可选地与空间分辨率相关。但是，上述实施例可以被延伸至包括时间可分级性、色度格式可分级性和细粒度质量可分级性。 
因此，本发明的上述实施例提供了一种通过利用局部自适应逆色调映射在样本位深度和可选地在空间分辨率方面进行图像或视频内容的可分级编码的概念。根据本发明的实施例，如H.264/AVC可分级视频编码扩展中规定的时间和空间预测处理以这样的方式得到扩展，所述方式是它们包括从低样本位深度到高样本位深度和可选的从低空间分辨率向高空间分辨率的映射。在样本位深度和可选的空间分辨率方面针对可分级性的AVC的上述扩展使得编码器能够存储视频序列的基本质量表示，其能够由任何传统视频解码器与用于更高位深度和可选的更高空间分辨率的增强信号一起编码，所述增强信号被传统视频解码器忽略。例如，基本质量表述可以包含CIF分辨率的8位版本的视频序列，即352x288样本，而高质量增强信号包含4CIF分辨率的10位版本的“细化”，即相同序列的704x476样本。在不同的构造中，还可以对基本质量表示和增强质量表示利用相同的空间分辨率，从而高质量增强信号只包含样本位深度的信号，例如从8至10位。 
换言之，上述实施例可以形成为用于编码或解码视频信号的分层表示的视频编码器或解码器，用于编码基本质量层的标准化的视频编码解码方法；用于利用重建基本质量信号预测高质量增强层信号的预测方法；和用于编码高质量增强层信号的预测残差的残差编码 方法。在这方面，可以利用从与基本质量层相关的动态范围到与高质量增强层相关的动态范围的映射函数进行所述预测。另外，映射函数可以建立为全局映射函数的和，其跟随着上述逆色调映射方案和局部适应。进而可以通过根据m·x n可分级基本质量层的样本值x并键入偏移值进行局部适应。在任何情况下，残差编码都可以根据H.264/AVC进行。 
根据实际实施情况，本发明的编解码方案可以在硬件或软件中实现。因此，本发明还涉及一种计算机程序，其可以存储在计算机可读介质上，例如CD、磁盘或任何其他数据载体。因此本发明还是一种具有程序代码的计算机程序，该程序在计算机上运行时，可以执行根据附图说明的方法。具体而言，图1和2中的装置和模块的实现例如可以包括在CPU和ASIC等的电路部分上运行的子例程。 

Claims (23)

1.一种编码器，用于将图像或视频源数据(160)编码为质量可分级数据流(112)，所述编码器包括：
底层编码装置(102)，用于将图像或视频源数据(160)编码为底层编码流，所述底层编码流代表具有第一图像样本位深度的图像或视频源数据的表示；
映射装置(104)，用于通过利用在所述图像或视频源数据(160)内恒定或以第一粒度变化的一个或多个全局映射函数、和以比所述第一粒度细的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的图像或视频源数据(160)的表示的样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围且对应于高于所述第一图像样本位深度的第二图像样本位深度的第二动态范围，以获得具有第二图像样本位深度的图像或视频源数据的预测；
残差编码装置(106)，用于将所述预测的预测残差编码为位深度增强层数据流；和
组合装置(108)，用于基于所述底层编码数据流、局部映射函数和位深度增强层数据流形成质量可分级数据流以便从所述质量可分级数据流可导出所述局部映射函数。
2.根据权利要求1所述的编码器，其中所述映射装置包括：
用于重建低位深度重建图像或视频作为具有第一图像样本位深度、基于底层编码数据流的图像或视频源数据的表示的装置(124，126，128，130，132)，所述低位深度重建图像或视频具有第一图像样本位深度。
3.根据权利要求1所述的编码器，其中所述映射装置(104)适于采用组合映射函数映射具有第一图像样本位深度的图像或视频源数据(160)的表示的样本，所述组合映射函数是一个或多个全局映射函数中的一个与局部映射函数的算术组合。
4.根据权利要求3所述的编码器，其中映射装置(104)使用一个以上的全局映射函数，且组合装置(108)适于形成质量可分级数据流(112)，以便从所述质量可分级数据流中可导出所述一个以上全局映射函数中的一个。
5.根据权利要求3所述的编码器，其中所述算术组合包括加法运算。
6.根据权利要求1所述的编码器，其中所述组合装置(108)和映射装置(104)适于以第二粒度将所述图像或视频源数据(160)再分为多个图像块(170)，所述映射装置适于局部映射函数是m·s+n，n为偏移值，m为分级因子，s为具有第一图像样本位深度的图像或视频源信号的表示，且m和n以第二粒度变化，所述组合装置适于对于所述图像或视频源数据(160)的每个图像块在质量可分级数据流中定义m和n，以便所述m和n对于所述多个图像块可以不同。
7.根据权利要求1所述的编码器，其中所述映射装置(134)适于所述第二粒度在图像或视频源数据(160)内变化，且所述组合装置(108)适于从所述质量可分级数据流中可导出所述第二粒度。
8.根据权利要求1所述的编码器，其中所述组合装置(108)和所述映射装置(134)适于以第二粒度将所述图像或视频源数据(160)划分为多个图像块(170)，所述组合装置(108)适于对于每个图像块(170)将局部映射函数残差并入所述质量可分级数据流(112)，且利用空间和/或时间预测从所述质量可分级数据流可导出所述图像或视频源数据(160)的预定图像块的局部映射函数，所述空间和/或时间预测来自于图像或视频源数据的一个或多个相邻图像块或所述预定图像块属于它的图像的先前图像的相应图像块以及所述预定图像块的局部映射函数残差。
9.根据权利要求1所述的编码器，其中所述组合装置(108)适于从所述质量可分级数据流中可导出所述一个或多个全局映射函数中的至少一个。
10.根据权利要求1所述的编码器，其中所述底层编码装置(102)包括：
用于将具有第二图像样本位深度、代表图像的样本从所述第二动态范围映射至对应于所述第一图像样本位深度的第一动态范围以获得质量降低的图像的装置(116)；和
用于编码质量降低的图像以获得底层编码数据流的装置(118，120，122，124，126，128，130)。
11.一种解码器，用于解码图像或视频源数据被编码成的质量可分级数据流，所述质量可分级数据流包括具有第一图像样本位深度、代表所述图像或视频源数据的底层数据流，具有高于所述第一图像样本位深度的第二图像样本位深度、表示预测残差的位深度增强层数据流，和以第二粒度定义的局部映射函数，所述解码器包括：
用于将底层数据流解码为更低位深度重建图像或视频数据的装置(204)；
用于将所述位深度增强层数据流解码为预测残差的装置(208)；
用于利用在所述视频内恒定或以第一粒度变化的一个或多个全局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的更低位深度重建图像或视频数据的样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围且对应于第二图像样本位深度的第二动态范围，以获得具有第二图像样本位深度的图像或视频源数据的预测的装置(206)；和
用于基于所述预测和预测残差重建具有第二图像样本位深度的图像的装置(210)。
12.根据权利要求11所述的解码器，其中所述映射装置(206)适于采用组合映射函数映射具有第一图像样本位深度的更低位深度重建图像或视频数据的样本，所述组合映射函数是一个或多个全局映射函数之一与局部映射函数的算术组合。
13.根据权利要求12所述的解码器，其中映射装置(206)使用一个以上的全局映射函数，且用于解码位深度增强层数据流的装置(208)适于从所述位深度增强层数据流中识别所述一个以上的全局映射函数之一。
14.根据权利要求12所述的解码器，其中所述算术组合包括加法运算。
15.根据权利要求11所述的解码器，其中所述用于解码位深度增强层数据流的装置(208)和映射装置(206)适于以第二粒度将所述图像或视频源数据(160)再分为多个图像块(170)，所述映射装置(206)适于局部映射函数是m·s+n，n为偏移值，m为分级因子，s为具有第一图像样本位深度的图像或视频源信号的表示，且m和n以第二粒度变化，所述用于解码位深度增强层数据流的装置(208)适于对所述图像或视频源数据(160)的每个图像块(107)从位深度增强层数据流中导出m和n，以便所述m和n对于所述多个图像块可以不同。
16.根据权利要求11所述的解码器，其中所述映射装置(206)适于所述第二粒度在图像或视频源数据(160)内变化，且所述用于解码位深度增强层数据流的装置(208)适于从所述位深度增强层数据流中可导出所述第二粒度。
17.根据权利要求11所述的解码器，其中所述用于解码位深度增强层数据流的装置(208)和所述映射装置(206)适于以第二粒度将所述图像或视频源数据(160)划分为多个图像块(170)，且所述用于解码位深度增强层数据流的装置(208)适于对于每个图像块(170)从位深度增强层数据流中导出局部映射函数残差，并且利用空间和/或时间预测从所述质量可分级数据流导出所述图像或视频源数据(160)的预定图像块的局部映射函数，所述空间和/或时间预测来自于图像或视频源数据的一个或多个相邻图像块或所述预定图像块属于它的图像的先前图像的相应图像块以及所述预定图像块的局部映射函数残差。
18.根据权利要求11所述的解码器，其中映射装置(208)适于所述一个或多个全局映射函数中的至少之一为非线性。
19.根据权利要求11所述的解码器，其中所述用于解码位深度增强层数据流的装置(208)适于从所述位深度增强层数据流中导出所述一个或多个全局映射函数中的至少一个。
20.根据权利要求19所述的解码器，其中所述映射装置(206)适于将所述全局映射函数中的所述至少一个定义为：
2M-N-Kx+2M-1-2N-1-K，其中x是具有第一图像样本位深度的图像或视频源信号的表示，N是第一图像样本位深度，M是第二图像样本位深度，K是映射参数；
2M-N-Kx+D，其中N是第一图像样本位深度，M是第二图像样本位深度，K和D是映射参数；
floor(2M-N-Kx+2M-2N-Kx+D)，其中floor(a)将a向下取整为最接近的整数，N是第一图像样本位深度，M是第二图像样本位深度，K和D是映射参数；
分段线性函数，用于以定义分段线性映射的插值点信息将样本从第一动态范围映射至第二动态范围；或
查询表，用于利用所述第一动态范围的样本进行索引并输出其上的第二动态范围的样本。
21.根据权利要求20所述的解码器，其中所述用于解码位深度增强层数据流的装置(208)适于从所述位深度增强层数据流导出所述映射参数、插值点信息或查询表。
22.一种用于将图像或视频源数据(160)编码为质量可分级数据流(112)的方法，包括：
将所述图像或视频源数据(160)编码为具有第一图像样本位深度的代表图像或视频源数据的表示的底层编码流；
通过利用在所述图像或视频源数据(160)内恒定或以第一粒度变化的一个或多个全局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的图像或视频源数据(160)的表示的样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围且对应于高于所述第一图像样本位深度的第二图像样本位深度的第二动态范围，以获得具有第二图像样本位深度的图像或视频源数据的预测；
将所述预测的预测残差编码为位深度增强层数据流；和
基于所述底层编码数据流、局部映射函数和位深度增强层数据流形成质量可分级数据流，从而从所述质量可分级数据流可导出所述局部映射函数。
23.一种解码方法，用于解码图像或视频源数据被编码成的质量可分级数据流，所述质量可分级数据流包括代表具有第一图像样本位深度的图像的底层数据流、代表具有高于所述第一图像样本位深度的第二图像样本位深度的预测残差的位深度增强层数据流和以第二粒度定义的局部映射函数，所述解码方法包括：
将底层数据流解码为更低位深度重建图像或视频数据；
将所述位深度增强层数据流解码为预测残差；
通过利用在所述视频内恒定或以第一粒度变化的一个或多个全局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的更低位深度重建图像或视频数据的样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围且对应于第二图像样本位深度的第二动态范围，以获得具有第二图像样本位深度的图像或视频源数据的预测；和
基于所述预测和预测残差重建具有第二图像样本位深度的图像。
CN2008801286831A 2008-04-16 2008-04-16 编码器、解码器、编码方法及解码方法 Active CN102007768B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2008/003047 WO2009127231A1 (en) 2008-04-16 2008-04-16 Bit-depth scalability

Publications (2)

Publication Number Publication Date
CN102007768A CN102007768A (zh) 2011-04-06
CN102007768B true CN102007768B (zh) 2013-05-29

Family

ID=40262715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801286831A Active CN102007768B (zh) 2008-04-16 2008-04-16 编码器、解码器、编码方法及解码方法

Country Status (10)

Country Link
US (5) US8995525B2 (zh)
EP (2) EP2835976B1 (zh)
JP (1) JP5203503B2 (zh)
CN (1) CN102007768B (zh)
DK (2) DK2279622T3 (zh)
ES (2) ES2602100T3 (zh)
HU (2) HUE024173T2 (zh)
PL (2) PL2279622T3 (zh)
PT (2) PT2279622E (zh)
WO (1) WO2009127231A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101692829B1 (ko) * 2008-06-12 2017-01-05 톰슨 라이센싱 감소된 비트 깊이 갱신 모드와 감소된 크로마 샘플링 갱신 모드로 비디오 코딩 및 디코딩하기 위한 방법 및 장치
ES2389458T3 (es) * 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
US9538176B2 (en) 2008-08-08 2017-01-03 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
WO2010120804A1 (en) * 2009-04-13 2010-10-21 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video
WO2011031331A1 (en) 2009-09-14 2011-03-17 Thomson Licensing Interactive tone mapping for high dynamic range video
US8798131B1 (en) 2010-05-18 2014-08-05 Google Inc. Apparatus and method for encoding video using assumed values with intra-prediction
JP6282863B2 (ja) * 2010-06-25 2018-02-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ハイダイナミックレンジ映像をトーンマッピングするためのグラフィカルユーザインターフェース
EP2591602A1 (en) * 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
CN103098471B (zh) * 2010-09-14 2016-07-06 三星电子株式会社 用于多层画面编码/解码的设备和方法
US10244239B2 (en) 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
US9398313B2 (en) * 2010-12-29 2016-07-19 Nokia Technologies Oy Depth map coding
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) * 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US20140003527A1 (en) * 2011-03-10 2014-01-02 Dolby Laboratories Licensing Corporation Bitdepth and Color Scalable Video Coding
EP3324622B1 (en) 2011-04-14 2019-09-11 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
US9521434B2 (en) 2011-06-09 2016-12-13 Qualcomm Incorporated Internal bit depth increase in video coding
AU2012267006B8 (en) * 2011-06-10 2015-10-29 Hfi Innovation Inc. Method and apparatus of scalable video coding
EP2719176B1 (en) 2011-06-13 2021-07-07 Dolby Laboratories Licensing Corporation Visual display resolution prediction based on fused regions
PT3826307T (pt) * 2011-06-24 2023-10-19 Ntt Docomo Inc Método para a previsão de compensação de movimento
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US8955004B2 (en) 2011-09-27 2015-02-10 Adobe Systems Incorporated Random generation of beacons for video analytics
US8782175B2 (en) * 2011-09-27 2014-07-15 Adobe Systems Incorporated Beacon updating for video analytics
KR20130037162A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 계층간 텍스처 예측 방법 및 그 장치
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
US9167261B2 (en) 2011-11-07 2015-10-20 Sharp Laboratories Of America, Inc. Video decoder with constrained dynamic range
WO2013068132A1 (en) * 2011-11-09 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Inter-layer prediction between layers of different dynamic sample value range
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
CN110139108B (zh) 2011-11-11 2023-07-18 Ge视频压缩有限责任公司 用于将多视点信号编码到多视点数据流中的装置及方法
EP3739886A1 (en) 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
WO2013081615A1 (en) * 2011-12-01 2013-06-06 Intel Corporation Motion estimation methods for residual prediction
TWI556629B (zh) * 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9357197B2 (en) * 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
TW201424397A (zh) * 2012-09-28 2014-06-16 Samsung Electronics Co Ltd 可調式視訊解碼、編碼方法及其裝置與非暫時性電腦可讀記錄體
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
KR102445274B1 (ko) 2012-10-01 2022-09-20 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
TWI521946B (zh) * 2012-12-21 2016-02-11 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
US9596465B2 (en) * 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
EP2936814B1 (en) * 2013-03-26 2018-03-14 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
GB2516424A (en) * 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
FR3008840A1 (fr) 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
KR102127603B1 (ko) * 2013-10-07 2020-06-26 브이아이디 스케일, 인크. 다계층 비디오 코딩을 위해 조합된 확장성 프로세싱
US9648332B2 (en) * 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
CN105993175B (zh) 2014-02-13 2019-01-18 杜比国际公司 用于具有增强动态范围的信号的分段层间预测
WO2015139203A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
JP6330507B2 (ja) * 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法
WO2015200814A1 (en) * 2014-06-26 2015-12-30 Reald Inc. Directional privacy display
EP3739894A1 (en) 2014-06-27 2020-11-18 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
US9286653B2 (en) * 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US10542265B2 (en) * 2014-09-09 2020-01-21 Dolby Laboratories Licensing Corporation Self-adaptive prediction method for multi-layer codec
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
MX2017005892A (es) * 2014-11-05 2017-06-27 Samsung Electronics Co Ltd Aparato y metodo de codificacion de prediccion por muestra.
WO2016123001A1 (en) 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
CN107409221B (zh) * 2015-03-20 2019-06-14 杜比实验室特许公司 编码方法、解码方法、编码装置、解码装置、计算设备以及存储介质
US9942489B2 (en) 2015-06-02 2018-04-10 Samsung Electronics Co., Ltd. Adaptive tone mapping based on local contrast
KR102403360B1 (ko) * 2015-06-16 2022-05-30 광운대학교 산학협력단 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치
EP3113492A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and apparatus for determining prediction of current block of enhancement layer
WO2017015397A1 (en) * 2015-07-22 2017-01-26 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
WO2017079007A1 (en) * 2015-11-02 2017-05-11 Dolby Laboratories Licensing Corporation Piecewise-linear inter-layer predictor for high-dynamic range video coding
US9621767B1 (en) * 2015-11-24 2017-04-11 Intel Corporation Spatially adaptive tone mapping for display of high dynamic range (HDR) images
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10032262B2 (en) * 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
US10223774B2 (en) 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
US10074162B2 (en) 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
US10798321B2 (en) * 2017-08-15 2020-10-06 Dolby Laboratories Licensing Corporation Bit-depth efficient image processing
KR102413839B1 (ko) * 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
CN108712656B (zh) * 2018-06-07 2021-07-20 滨州学院 一种远程视频处理方法及视频服务终端
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11838551B2 (en) 2020-12-30 2023-12-05 Ofinno, Llc Adaptive block level bit-depth prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998037701A1 (en) * 1997-02-12 1998-08-27 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
CN1735208A (zh) * 2004-07-12 2006-02-15 微软公司 在运动补偿的时间滤波中的自适应更新
CN101095357A (zh) * 2004-10-15 2007-12-26 弗劳恩霍夫应用研究促进协会 用中间层运动数据预测产生编码的视频序列的设备和方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0788282B1 (en) * 1996-02-05 2010-01-20 Panasonic Corporation Quantization method
JP3130266B2 (ja) 1996-03-09 2001-01-31 三星電子株式会社 平均分離ヒストグラム等化を用いる映像改善方法及びその回路
JPH1056639A (ja) 1996-06-03 1998-02-24 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
US6829301B1 (en) * 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US6925120B2 (en) 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
AU2003278445A1 (en) 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US7146059B1 (en) * 2003-03-05 2006-12-05 Massachusetts Institute Of Technology Method of performing fast bilateral filtering and using the same for the display of high-dynamic-range images
EP1633067B1 (en) 2003-07-02 2015-09-09 Panasonic Intellectual Property Corporation of America Communication apparatus and communication method
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7400683B2 (en) 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
JP4876122B2 (ja) * 2006-03-22 2012-02-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 精度スケーラビリティを可能にする符号化スキーム
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
BRPI0622046B1 (pt) 2006-09-30 2020-01-21 Interdigital Vc Holdings Inc método e dispositivo para codificar e decodificar camada de aprimoramento de cor para vídeo
EP3484154A1 (en) * 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
WO2008066840A2 (en) * 2006-11-27 2008-06-05 Dolby Laboratories Licensing Corporation Apparatus and methods for boosting dynamic range in digital images
EP1933563A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US7983496B2 (en) * 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US8432968B2 (en) 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
JP5534522B2 (ja) * 2007-10-15 2014-07-02 トムソン ライセンシング スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置
JP5451626B2 (ja) * 2007-10-19 2014-03-26 トムソン ライセンシング 統合された空間・ビット深度スケーラビリティ
US8369638B2 (en) 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998037701A1 (en) * 1997-02-12 1998-08-27 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
CN1735208A (zh) * 2004-07-12 2006-02-15 微软公司 在运动补偿的时间滤波中的自适应更新
CN101095357A (zh) * 2004-10-15 2007-12-26 弗劳恩霍夫应用研究促进协会 用中间层运动数据预测产生编码的视频序列的设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bit-depth scalable video coding;Martin Winken et al;《Image processing》;20070901;第1-5页 *
Martin Winken et al.Bit-depth scalable video coding.《Image processing》.2007,第1-5页.

Also Published As

Publication number Publication date
US20210211720A1 (en) 2021-07-08
EP2835976A3 (en) 2015-04-01
ES2602100T3 (es) 2017-02-17
PT2835976T (pt) 2016-11-22
JP2011517245A (ja) 2011-05-26
DK2279622T3 (en) 2015-01-12
HUE031487T2 (en) 2017-07-28
US11711542B2 (en) 2023-07-25
US20190289323A1 (en) 2019-09-19
PL2835976T3 (pl) 2017-04-28
EP2279622A1 (en) 2011-02-02
CN102007768A (zh) 2011-04-06
US20150172710A1 (en) 2015-06-18
US20110090959A1 (en) 2011-04-21
US10958936B2 (en) 2021-03-23
PT2279622E (pt) 2015-01-02
EP2835976A2 (en) 2015-02-11
US8995525B2 (en) 2015-03-31
DK2835976T3 (en) 2016-12-05
EP2835976B1 (en) 2016-09-21
EP2279622B1 (en) 2014-10-01
WO2009127231A1 (en) 2009-10-22
ES2527932T3 (es) 2015-02-02
PL2279622T3 (pl) 2015-03-31
US20230421806A1 (en) 2023-12-28
HUE024173T2 (en) 2016-05-30
JP5203503B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
CN102007768B (zh) 编码器、解码器、编码方法及解码方法
CN101589625B (zh) 质量可缩放编码
CN104041035B (zh) 用于复合视频的无损编码及相关信号表示方法
CN102084653B (zh) 支持像素值细化可缩放性的可缩放视频编码
CN103428497B (zh) 用于增强层视频编码的适应性量化
KR100736104B1 (ko) 독립적 파싱을 지원하는 비디오 코딩 방법 및 장치
US9532059B2 (en) Method and apparatus for spatial scalability for video coding
US8345752B2 (en) Method and apparatus for entropy encoding/decoding
CN104796714A (zh) 使用平面表达的增强帧内预测编码
CN101542926A (zh) 使用多个层进行可缩放编码及解码
CN104335585A (zh) 图像解码方法和使用其的装置
CN103782598A (zh) 用于无损编码的快速编码方法
US9992503B2 (en) Scalable video coding with enhanced base layer
CN104919798A (zh) 量化矩阵编码的方法和装置
CN104885453A (zh) 支持多个层的用于编码/解码图像的方法和设备
CN1319382C (zh) 可伸缩视频编解码器体系结构设计方法
CN102833542B (zh) 一种提高可伸缩视频编码质量增强层编码速度装置和方法
CN103155556A (zh) 用于基于特征的视频编译的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GE VIDEO COMPRESSION, LLC

Free format text: FORMER OWNER: FRAUNHOFER SOCIETY FOR THE ADVANCEMENT OF APPLIED RESEARCH

Effective date: 20150812

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150812

Address after: Munich, Germany

Patentee after: GE VIDEO COMPRESSION LLC

Address before: Munich, Germany

Patentee before: Fraunhofer Ges Forschung (DE)