CN103250182A - 高动态范围视频色调映射 - Google Patents
高动态范围视频色调映射 Download PDFInfo
- Publication number
- CN103250182A CN103250182A CN2011800592282A CN201180059228A CN103250182A CN 103250182 A CN103250182 A CN 103250182A CN 2011800592282 A CN2011800592282 A CN 2011800592282A CN 201180059228 A CN201180059228 A CN 201180059228A CN 103250182 A CN103250182 A CN 103250182A
- Authority
- CN
- China
- Prior art keywords
- frame
- tone mapping
- decoding
- tone
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 claims abstract description 60
- 239000013598 vector Substances 0.000 claims description 33
- 238000013139 quantization Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003760 hair shine Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了用于色调映射以MPEG格式提供的高动态范围（HDR）数据视频流的方法。该方法包括解码（302）HDR数据视频流，以生成包括I帧、P帧以及B帧的MPEG帧序列，并提供辅助解码数据。所述方法还包括：i.对每一个接收到的I帧应用色调映射操作（304）以提供经色调映射的I帧，ii.对于取决于参考I帧的每一个接收到的P帧，从预先为参考I帧确定的经色调映射的I帧、参考I帧、以及辅助解码数据，计算（306）经色调映射的P帧；iii.对于每一个接收到的B帧，从预先为参考I帧确定的经色调映射的I帧、预先为参考P帧确定的经色调映射的P帧、参考I帧、以及辅助解码数据，计算（308）经色调映射的B帧。
Description
技术领域
本发明一般涉及高动态范围（HDR）图像处理，具体而言，涉及用于色调映射MPEG HDR视频流的***和方法。
背景技术
数字图像的质量在过去几年中显著地改善。图片中的像素的数量由于照相机和显示器两者的改善而增大。然而，随着高清晰度（HD）图片中的像素的数量的增大和高动态范围（HDR）图片中的改善的动态信息，越来越大的量的数据与图片相关联。这会导致关于这样的图像的显示的问题。对于静止图像，已知应用按试图允许用户观察到与人眼相关的所有细节的方式允许缩小图片的动态范围的色调映射技术。然而，对于由多个帧构成的视频数据，现有的解决方案存在许多局限性。
的确，高清晰度（HD）、高动态范围（HDR）视频在常规显示器（8比特显示器）上的显示涉及许多技术困难。HDR视频具有与真实场景的亮度相匹配的亮度动态范围，这比显示在标准、低动态范围（8比特）显示器上的大得多。在这样的显示器上显示HDR内容要求使用“色调映射”操作来压缩动态范围，但仍能提供可视化真实场景的类似视觉体验。一个主要问题是，高质量色调映射算子要求相当大的处理能力以对于高清晰度视频维持60帧/秒的典型的帧率和1920x1080的高图像分辨率。
允许HDR视频的实时显示的首先已知的方法不是实时地执行色调映射，而是使用嵌入到HDR流中的预先色调映射的视频流。此方法在U.S.专利20080310501，美国专利20090003718，在R.Mantiuk,G.Krawczyk,K.Myszkowski,以及H.Seidel所著的标题为“Perception-motivated high dynamic range video encoding”的文章（ACM SIGGRAPH2004Papers;Los Angeles,California:ACM,2004,pp.733-741），以及在G.Sullivan,Haoping Yu,S.Sekiguchi,Huifang Sun,T.Wedi,S.Wittmann,Yung-Lyul Lee,A.Segall,and T.Suzuki.所著的文章“New Standardized Extensions ofMPEG4-AVC/H.264for Professional-Quality Video Applications”（Image Processing,2007.ICIP2007.IEEE International Conferenceon,2007,pp.I-13-I-16）中进行了描述。此方法消除色调映射的必要性，这样，显示HDR视频简单地通过解码色调映射的流来完成。然而，此方法具有“离线”色调映射的主要缺点。这将此方法的适用性限制于预先记录的视频，因此，不能用于实况电视转播。此外，色调映射算子是预定的，不能改变。
对此问题的另一种方法是在文章“Perceptual effects in real-timetone mapping”（Proceedings of the21st spring conference onComputer graphics,Budmerice,Slovakia:ACM,2005,pp.195-202,by G.Krawczyk,K.Myszkowski,以及H.Seidel著）以及文章“Interactive time-dependent tone mapping using programmablegraphics hardware”（Proceedings of the14th Eurographics workshopon Rendering,Leuven,Belgium:Eurographics Association,2003,pp.26-37,by N.Goodnight,R.Wang,C.Woolley,and G.Humphreys著）中所采取的方法。此方法包括求特定色调映射运算的近似值，并依赖于诸如图形处理单元之类的高性能计算来实时地执行色调映射。然而，此方法具有这样的缺点：潜在地降低色调映射质量以允许实时处理，而同时仍要求高能力/高成本的基本硬件以用于可接受质量的色调映射。进一步地，应用此方法的解决方案通常对于特定色调映射算子高度调节，使得不可能改变色调映射算子以匹配想要的观看特征（例如，强调细节并而非具有感觉上使人愉快的图像）。
对此问题的另一个现有的解决方案是在J.Carletta和H.Firas所著的文章“Method for real-time implementable local tone mapping forhigh dynamic range images”中所描述的。此解决方案构建实时地执行色调映射的自定义硬件实现。然而，此解决方案一般依赖于色调映射算子的显著近似以降低硬件成本。此外，硬件也是应用/色调映射特定的，这增大了实现成本，因为该硬件不能用于其它功能。
因此，在现有技术的情况下，在常规显示器上显示HDR视频高度受限。
相应地，需要对于HDR视频流进行实时地色调映射的改善的方法。
发明内容
根据本发明，提供了根据所附的独立的权利要求1所述的色调映射高动态范围视频数据流的方法，分别根据所附的权利要求13到15所述的计算机程序、计算机可读介质和***。优选实施例在所附从属权利要求中定义。
相应地，本发明提供不局限于特定色调映射算子的用于高清晰度HDR视频的实时色调映射方法。
本发明允许使用作为不涉及相对于解码处理的大量额外开销的“副产物”来执行色调映射的MPEG视频解码操作的标准过程。本发明的各实施例依赖于利用视频中的已经在MPEG编码过程中标识的时间冗余，并使用它来将色调映射操作减少到仅仅全局加法和缩放运算。结果，对于一组帧只执行一个完整的色调映射操作。
本发明的一个优点是将视频色调映射的操作加快了与视频帧率相当的因子（例如，对于高清晰度视频流，60帧每秒的帧率的15x加速）。
本发明的再一个优点是允许为帧内色调映射选择任何色调映射算子。
本发明的解决方案可以容易地与MPEG视频解码过程及其它类似的视频编码技术集成，而同时要求有限的硬件处理能力和功率要求。
本发明的另一个优点是，将色调映射的质量与MPEG视频压缩的质量相关联。
本发明的进一步的优点在本领域技术人员阅读附图和详细描述之后将变得显而易见。本文旨在包括任何额外的优点。
附图说明
现在将作为示例参考各个附图来描述本发明的各实施例，相同的参考符号表示类似的元件，其中：
图1示出了根据MPEG标准的帧序列；
图2示意地示出了对MPEG帧执行的色调映射操作；
图3是根据本发明的各实施例的用于显示高动态范围（HDR）视频数据流的高级别流程图；
图4示出了根据本发明的各实施例的用于色调映射高动态范围（HDR）的***框图；以及
图5示出了根据本发明的各实施例的用于色调映射HDR图像的计算机***。
附图旨在仅描述本发明的典型的实施例，因此，不应该被视为限制本发明的范围。
具体实施方式
多媒体设备一般实现视频编码技术，诸如MPEG-2、ITU-H.263、MPEG-4等等，以传输、接收、存储或检索数字内容。在这些编码技术之中，MPEG国际标准被扩展以压缩HDR视频流，如：“NewStandardized Extensions of MPEG4-AVC/H.264forProfessional-Quality Video Applications”（Image Processing,2007.ICIP2007.IEEE International Conference on,2007,pp.I-13-I-16，G.Sullivan,Haoping Yu,S.Sekiguchi,Huifang Sun,T.Wedi,S.Wittmann,Yung-Lyul Lee,A.Segall,以及T.Suzuki著）所描述。
MPEG数据流由可以与音频流及其它比特流打包的视频流构成。
图1示出了包括以间隔获取的帧的示例性MPEG序列100。帧通过时间信息被编码的方式来指定。
使用MPEG编码来生成包括具有不同类型的多个帧的帧序列。更具体而言，MPEG帧序列包括逻辑组，每一个逻辑组包括三种类型的帧：I帧101、P帧102和B帧103。
I帧101是单个解压缩的帧的压缩的版本。它只依赖于帧内数据来进行编码，而不参考其它类型的帧（即，没有对冗余的时间编码）。与P帧和B帧不同，I帧不取决于前面的或后面的帧中的数据。
P帧102依赖于从较早的I帧101的预测。通过前一I帧101和下一P帧102，对B帧103进行时间编码。如图1所示，典型的帧序列如下：I BB…B P。在某些MPEG应用中，对于HD视频流，每第15个帧出现I帧。
一般而言，对于参考帧（I或P帧）后面的帧（P帧和B帧），这些帧中的只有小部分不同于相应的参考帧的相对应的部分。对于这些参考帧，使用运动向量只捕捉和存储差异。
为了从未来帧进行逆预测，编码设备一般从显示顺序到比特流顺序对帧进行重新排序，以便在它所参考的前一和下一帧之后传输B图片。
MPEG视频编码单元执行两个主要操作。由MPEG视频编码单元执行的第一操作跨MPEG帧对数据的时间冗余度进行编码。对于给定帧块，编码器根据前一帧和下一帧搜索匹配的两个块。然后，从匹配的两个块中减去当前帧块。
第二MPEG操作是在时间还原操作之后对每一个帧内部的空间冗余度的编码。除使用量化步骤来编码空间冗余度之外，还使用帧内离散余弦变换（DCT）操作和运动补偿帧间预测操作。
在MPEG编码器中，首先确定运动补偿帧间预测，并将其与DCT组合。从源图片中减去运动补偿预测以形成“预测误差”图片，然后，利用DCT来转换预测误差，量化系数，并使用可变长度编码（VLC）来编码这些经量化的值。编码的亮度和色度预测误差与解码器所需的“边信息”（诸如运动向量和同步信息）组合，并形成用于传输的比特流。
如此编码的HDR数据流（在下文也称为“比特流”）包括许多水平切片，每一个水平切片包括许多宏块。每一个宏块包括：量化值、运动向量、量化的DCT系数的亮度和色度块等。
根据本发明的各实施例的色调映射方法允许有效地显示根据MPEG格式编码的HDR视频数据流。色调映射方法对色调映射I帧应用色调映射算子，而同时基于预先为参考帧（I和P帧）确定的色调映射的帧、以及对HDR视频数据流的MPEG解码所产生的信息，色调映射P帧和B帧。
图2示意地描绘了根据本发明的各实施例的色调映射方法的各阶段。
当接收到HDR比特流的I帧时，根据色调映射技术，对输入的数据流的I帧201应用色调映射操作，以成为经色调映射的I帧210。经色调映射的I帧存储在存储器中，以允许对它引用的帧（P帧或B帧）的色调映射值进行差分的计算。
当帧内涉及完整的色调映射操作时，本发明的优点是允许基于与为充当参考帧的I帧获取的经色调映射的I帧值关联的加法和缩放操作，对依赖帧（P帧和B帧）进行“差分”色调映射。
更具体而言，当接收到依赖于参考I帧的P帧202时，使用与为参考I帧获取的经色调映射的I帧210关联的加法和缩放函数、以及涉及比特流的MPEG解码的其它信息来计算P帧的色调映射值，从而提供经色调映射的P帧212。经色调映射的P帧的值存储在存储器中，以允许对它所引用的帧（B帧）的色调映射值进行差分计算。
当接收到依赖于给定I帧和P帧的B帧203时，基于为参考I帧获取的经色调映射的I帧210、为参考P帧获取的经色调映射的P帧212、以及涉及比特流的MPEG解码的另外的信息，差分地计算B帧的色调映射值。这提供了经色调映射的B帧214，而不涉及对帧的实际色调映射操作，从而节省了大量的计算时间、存储器、以及功率。
相应地，根据本发明的各实施例的色调映射方法对于帧内只需要一个色调映射操作。对于跟随参考帧的帧（P帧和B帧），对相对应的色调映射帧的计算只涉及不增加解码时间的复杂度的一些加法和缩放。然后，HDR视频数据流可以以较低的计算开销和改善的加速被转换成适用于显示在常规显示设备上的帧序列。
图3是用于显示以MPEG编码的HDR视频数据流的流程图。
方法在步骤300中以接收根据MPEG格式的HDR视频数据流开始。可以从任何类型的适用于将原始视频数据流编码为MPEG格式的编码设备，或从诸如硬盘、光盘等等之类的将视频数据流存储为MPEG格式的数据存储装置接收输入视频流。编码设备可以是从诸如***、摄像机之类的任何类型的源接收原始视频数据流的通用计算机。
MPEG格式的HDR视频数据流包括在MPEG编码过程中获得的可变长度码。
在步骤302中，对HDR比特流应用MPEG解码操作。MPEG解码过程解码并存储充当其它帧的参考的每一个接收到的帧，诸如I或P帧。充当诸如I帧或P帧之类的参考帧的每一个新重建的帧替换预先存储的参考帧，以充当输入帧的新参考。使用运动补偿函数重建取决于参考帧的P帧或B帧，运动补偿函数对使用相邻的解码的参考帧（I帧和/或P帧）的帧应用。取决于参考帧的帧（诸如P帧和B帧）与引用相邻的解码的参考帧（I帧或P帧）中的块的相应的运动向量相关联。MPEG解码器使用每一个运动向量来确定每一个参考帧（I帧或P帧）中的相对应的参考块，以便访问由运动向量指向的参考块。相应地，从预先解码并缓存在图片缓存器中的相关联的参考I帧重建P帧，从预先解码并缓存在图片缓存器中的两个相关联的参考帧（I帧和P帧）重建B帧。
从而，MPEG解码步骤生成I帧（全值），重建的P帧和重建的B帧。它还为每一个接收到的P帧提供中介误差（intermediary error）值ep(x,y)，并为每一个接收到的B帧提供误差值eb(x,y)。误差信号ep(x,y)表示像素位置（x,y）处P帧中的误差值，误差信号eb(x,y)表示像素位置（x,y）处B帧中的误差值。P和B帧的误差值最初由MPEG编码器来编码。MPEG解码器使用逆离散余弦变换来解码它们。误差通常用于运动补偿操作中，以重建视频数据流的原始帧，因此，其值是原始像素值和时间重建值之间的误差或差异，时间重建值是通过使用来自其它帧的像素值来计算当前帧像素而获得的。
更具体而言，MPEG解码步骤302根据所使用的MPEG编码标准和帧类型，应用可变长度解码函数，以恢复每一个可变长度码的运行（run）、级别以及长度。可变长度码可以使用查表技术或任何合适的技术来解码。步骤302还包括将来自可变长度解码函数的系数分配到宏块（例如，8*8像素），并通过与在编码的量化阶段所使用的相同的相对应的量化常数，应用逆量化函数，以乘以宏块中的每一个系数，并将结果四舍五入到最近的整数。步骤302还对宏块应用逆离散余弦变换（DCT）函数，以将块返回到时间/空间域表示，其提供I帧以及P帧和B帧的误差值e(x,y)。
对于每一个接收到的P帧或B帧，MPEG解码步骤302还使用相关联的运动向量，以提供重建的P帧和B帧。
在步骤304中，根据任何合适的色调映射技术，对在步骤302中解码的每一个I帧进行色调映射。在下面的描述中，位置（x,y）处的I帧像素值将简称为I(x,y)，而给定像素（x,y）处的I帧的色调映射值将简称为像素位置(x,y)处的I1(x,y)。经色调映射的I帧I1可以使用合适的色调映射算子来生成，该色调映射算子例如是Reinhard等人的摄影色调映射算子（Erik Reinhard、Michael Stark、Peter Shirley以及JamesFerwerda：Photographic tone reproduction for digital images,SIGGRAPH′02:Proceedings of the29th annual conference onComputer graphics and interactive techniques,pages267-276,NewYork,N.Y.,USA,2002.ACM Press），这是包括经典的Ansel Adams遮光-增光（dodging-and-burning）技术的本地自适应算子(AnselAdams,The Print,The Ansel Adams Photography Series/Book3,Little,Brown and Company,tenth edition,2003,与Robert Balker协作)，这基于公知摄影原理，以对每个单个像素进行色调映射。可以使用任何色调映射算子，只要在空间上（在一个帧内）发生色调映射。这一般被大多数色调映射算子满足。本发明还适用于可以对其执行时间适应步骤（在空间色调映射之后）以适应随时间而变化的亮度的色调映射算子。当这样的时间适应依赖于当前的经色调映射的帧和时间信息时，可能需要对帧执行额外的时间算子。然而，与色调映射操作相比，这样的操作的开销微不足道。在“Perceptual effects in real-timetone mapping”中描述了示例性时间适应方法（G.Krawczyk,K.Myszkowski以及H.Seidel所著的Proceedings of the21st springconference on Computer graphics,Budmerice,Slovakia:ACM,2005,pp.195-202）。
在步骤306中，从在参考I帧相对应的位置（x′,y′）获得的经色调映射的I帧的值I1(x′,y′)（根据步骤304）、以及涉及为P帧（如在步骤302中获得的）编码的误差信号ep（x,y）（使用逆量化和离散余弦变换函数）的缩放因子，为参考I帧之后的接收到的P帧差分地计算色调映射的P帧P1（x,y）。与P帧相关联的运动向量可以被用来确定对应于P帧处的像素位置（x,y）的参考I帧的像素位置(x′,y′)。可以通过在MPEG视频数据流的解码过程中所使用的可变长度解码函数来提供运动向量。
在步骤308中，从为第一预定的位置(x′,y′)处的参考I帧获取的经色调映射的I帧的值I1(x′,y′)、为第二预定的位置(x″,y″)处的参考P帧获取的经色调映射的P帧的值P1(x″,y″)、涉及为在步骤302中获得的B帧编码的误差信号eb（x,y）（使用逆量化和离散余弦变换函数）的缩放因子，为取决于参考I帧和参考P帧的接收到的B帧计算像素位置（x,y）处的经色调映射的B帧值B1（x,y）。第一预定的位置(x′,y′)是对应于B帧的像素位置（x,y）的参考I帧处的像素位置，而第二预定的位置(x″,y″)是对应于B帧的像素位置（x,y）的参考P帧处的像素位置。可以使用与参考I帧相关联的运动向量来确定第一预定的位置(x′,y′)。可以根据与参考P帧相关联的运动向量来确定第二预定的位置(x″,y″)。这两个运动向量可以通过在对视频数据流的MPEG解码的开始时应用的视频长度解码（VLC）函数来产生（步骤302）。
在步骤310中，从根据步骤304获得的经色调映射的I帧（I1（x,y）），根据步骤306获得的经色调映射的P帧（P1（x，y））以及根据步骤308获得的经色调映射的B帧（B1（x,y）），执行对HDR视频数据流的色彩空间转换。可以对RGB标准色彩空间进行转换，在RGB标准色彩空间中，每一个像素的颜色通过三个分量来表示，即，红色（R）、绿色（G）以及蓝色（B）。可以可另选地对Luv色彩空间进行转换，其中，L是亮度分量，u和v分别是色度分量。
图4示出了根据本发明的某些实施例的表示用于解码和色调映射HDR视频数据流的显示***400的***框图。
显示***400以HDR MPEG流作为输入。它耦合到用于基于从参考I帧提取的数据和从在时间上压缩的或编码的帧P帧和/或B帧中提取的信息来显示视频数据流的显示设备。
以MPEG格式编码的HDR视频数据流包括“切片”。每一个切片表示图像帧的水平断面，并包括宏块的序列。每一个宏块包括宏块头、运动向量部分以及离散余弦变换（DCT）系数的编码块。使用运动向量部分来为宏块产生运动向量。
***400包括用于对HDR MPEG流进行第一处理的可变长度解码块C1。可变长度解码块C1对HDR MPEG流执行标准可变长度解码，以提供量化离散余弦变换（DCT）系数（例如，通过使用预定的霍夫曼码表）。逆扫描函数（未示出）将来自可变长度解码块的系数分配到块（例如，8*8块））。
然后，转换块C2执行逆量化和逆离散余弦变换操作。逆量化操作将从逆扫描函数提供的块中的每一个系数乘以如在编码过程中的量化过程中所使用的同一个相对应的量化常数，并将结果四舍五入到最近的整数。对块应用逆离散余弦变换操作，以将块返回到空间域表示（形成图像差块）。根据本发明的某些实施例的逆DCT操作的功能之一具体包括解码分别与P和B帧（最初是通过MPEG编码器编码的）相关联的误差信号。
然后，将编码的运动向量和误差信号传输到运动补偿块C3。
使用运动补偿块C3来解码分别与P和B帧相关联的误差信号（在下文称为P和B帧的ep（x,y）和eb（x,y）），关于（与参考I帧相关联的）每一个P帧的编码的一组运动向量和关于（与参考I帧和P帧相关联的）每一个B帧的两组编码的运动向量。在典型的MPEG解码器中，每一个运动向量一般被用于检索与逆离散余弦变换操作的输出相结合的参考图像块，以产生解码的图像块。如此，运动补偿块C3提供重建的P帧和B帧。然而，根据本发明的各实施例，运动补偿块C3主要用于解码误差信号和运动向量，以将它们提供到单向差分（Uni-Differential）色调映射计算块C6和双向差分（Bi-Differential）色调映射计算块C7。
相应地，块C2和C3用于生成I帧（全值）、P帧和B帧的误差信号值ep（x,y）和eb（x,y），并提供解码的运动向量。
来自转换块C2的每一个解码的I帧被馈送给色调映射块C5。提供色调映射块，以根据合适的色调映射技术对I帧执行色调映射操作。执行色调映射操作，以将一组颜色映射到另一组，并求HDR视频的外观的近似值。从色调映射块C5（经色调映射的I帧）获取的值I1(x,y)被馈送给单向差分色调映射计算块C6和双向差分色调映射计算块c7，以便对它参考的P帧和B帧的色调映射值进行差分计算。
对于每一个解码的P帧，与其参考I帧相关联的经色调映射的I帧（从块C5获取的）、P帧处编码的误差值ep（x,y）（从块C2获取的）、P帧运动向量和重建的P帧（从C3接收到的）被单向差分色调映射计算块C6（相对于充当P帧的参考帧的较早的I帧被称为“单向差分”）用来计算P帧的色调映射值。单差分色调映射计算块C6根据下列公式，从经色调映射的I帧的值计算经色调映射的P帧的值：P1(x,y)=I1(x′,y′)+ep(x,y)*I1(x′,y′)/I(x′,y′),，其中，P1(x,y)是位置（x,y）处的经色调映射的P帧像素值，ep(x,y)*I1(x′,y′)/I(x′,y′)是缩放因子，I(x′,y′)是I帧中的位置(x′,y′)处的I帧像素值，而ep(x,y)是位置(x,y)处的P帧中的编码的误差值；I1(x′,y′)是由色调映射块C5预先确定的参考I帧的色调映射值。位置(x′,y′)是由P帧运动向量确定的。
作为累积的绝对差ep(x,y)来测量误差信号ep(x,y)。可另选地，如果误差信号ep（x,y）高（即，优于预定义的阈值），则可以对整个P帧进行完全色调映射，而不求近似值。
对于每一个解码的B帧，预先为参考I帧确定的经色调映射的I帧I1(x,y)（从C5获取）、预先为参考P帧确定的经色调映射的P帧P1（x,y）（从C5获取）、B帧处的误差值eb(x,y)（从块C2获取）、分别与参考I帧和P帧相关联的两个运动向量、以及重建的参考P帧被双向差分色调映射计算块C7（C7相对于参考I帧和P帧被称为双向差分）使用，以根据下列公式来计算B帧的色调映射值B1(x,y)：
B1(x,y)=I1(x′,y′)+P1(x″,y″)+eb(x,y)*(I1(x′,y′)+P1(x″,y″))/(I(x′,y′)+P(x″,y″))，其中，B1(x,y)是B帧处的像素（x,y）的色调映射值，I1(x′,y′)是经色调映射的I帧处的相对应的像素，P1(x″,y″)是经色调映射的P帧处的相对应的像素值，而eb(x,y)是B帧的误差（像素）值。利用与参考I帧相关联的B帧的运动向量来确定参考I帧处的相对应的像素位置(x′,y′)，并利用与参考P帧相关联的B帧的运动向量来确定参考P帧处的相对应的像素位置(x″,y″)。
可另选地，如果误差信号（被测量为累积的绝对差eb（x,y））高（即，优于预定义的阈值），则对整个B帧进行完全色调映射（使用色调映射算子）而不求近似值，否则，差分地计算色调映射值（即，通过近似来计算）。
最初，MPEG流中的I帧、P帧和B帧处于HSB空间，在HSB空间中，像素分量表示“色调”、“饱和度”、以及“明度”或亮度。***400包括色彩空间转换块C4，该色彩空间转换块C4接收计算出的帧（经色调映射的I、P和B帧），并将它们转换回到RGB空间，以匹配显示色彩空间。这提供了可以显示的经色调映射的RGB图像。
在其中每一个帧都要求用于色调映射的平均时间t1，以及用于视频解码的平均时间t2的本发明的示例性应用中，根据本发明的各实施例，色调映射操作只有I帧需要。对于P帧和B帧，色调映射只涉及不增加解码时间t2的复杂性的一些加法和缩放。因此，只对于色调映射操作的I帧和P帧产生时间t1。如果I帧每n个帧出现，则所需的总执行时间Ta是Ta=t1+t2。当实时地执行解码步骤时，t2相当小。
本发明的优点是：相对于其中与其它帧无关地为每个帧执行色调映射的现有技术，加速色调映射操作。实际上，考虑时间Tb=n t1+t2，其中，Tb表示当对每一个帧执行色调映射时的总执行时间，相应地，所产生的加速S如下：
S=Tb/Ta=(nt1+t2)/(t1+t2)
由于t2通常<<t1，因此，Tb/Ta=n。误差值与快速的场景变化关联。MPEG编码器通常将I帧***在这样的帧处，从而误差可能很小。MPEG编码器通常每15帧***一个I帧。对于这样的示例，n=15（例如，PAL DVD）。因此，可以预期15x加速。引入的主要开销主要是对于帧I的色调映射操作。其它开销可以包括检查误差阈值，这是可忽略的。
图5示出了根据本发明的各实施例的用于将视频图像从MPEGHDR图像转换为色彩空间转换的图像的计算机***50。计算机***50包括处理器51、耦合到处理器51的输入设备52、耦合到处理器51的输出设备53、以及各自耦合到处理器51的存储器设备54和55。处理器51是诸如中央处理单元（CPU）之类的处理单元。输入设备52可以是键盘、鼠标等等。输出设备53可以是打印机、绘图器、显示设备（例如，计算机屏幕）、磁带、可移动硬盘、软盘等等。存储器设备54和55可以是硬盘、软盘、磁带、诸如光盘（CD）或数字视频盘（DVD）之类的光学存储器、动态随机存取存储器（DRAM）、只读存储器（ROM）等等。存储器设备55包括计算机代码57，计算机代码57是包括计算机可执行指令的计算机程序。计算机代码57包括用于将MPEG HDR图像转换为色空间图像的算法。处理器51执行计算机代码57。存储器设备54包括输入数据56。输入数据56包括计算机代码57所需的输入。输出设备53显示来自计算机代码57的输出。存储器设备54和55中的任何一个或者两者可以被用作其中实现有计算机可读程序和/或其中存储有其它数据的计算机可使用的存储介质（或者程序存储设备），其中，计算机可读程序包括计算机代码57。一般而言，计算机***50的计算机程序产品（或，可另选地，制品）可以包括所述计算机可使用的存储介质（或所述程序存储设备）。
尽管图5作为硬件和软件的特定配置示出了计算机***50，但是，为上文结合图5的特定计算机***50陈述的目的，可以使用如对那些精通本技术的普通人员已知的硬件和软件的任何配置。例如，存储器设备54和55可以是单个存储器设备的组成部分而并非单独的存储器设备。
尽管此处为了说明目的描述了本发明的特定实施例，许多修改将对所属领域的技术人员变得显而易见。
Claims (15)
1.一种用于色调映射以MPEG格式编码的高动态范围（HDR）数据视频流的方法，所述编码的高动态范围（HDR）数据视频流包括内编码的帧（I帧）、预测编码的帧（P帧）、以及双向预测编码的帧（B帧）的帧序列，所述方法包括解码（302）所述数据视频HDR数据流以生成解码的I帧、涉及P帧的辅助解码数据、以及涉及B帧的辅助解码数据，所述方法还包括：
i对每一个解码的I帧应用色调映射函数（304），以根据色调映射算子提供经色调映射的I帧，
ii对于取决于参考I帧的每一个P帧，从预先为所述参考I帧确定的经色调映射的I帧、所述参考I帧、以及涉及所述P帧的所述辅助解码数据，计算（306）经色调映射的P帧；和/或
iii对于每一个B帧，从预先为所述参考I帧确定的经色调映射的I帧、预先为所述参考P帧确定的经色调映射的P帧、以及涉及所述B帧的所述辅助解码数据，计算（308）经色调映射的B帧。
2.如权利要求1所述的方法，其中，所述步骤ii包括：从对应于所述P帧的给定像素位置(x,y)的所述参考I帧的预定的像素位置(x′,y′)处的经色调映射的I帧的值I1(x′,y′)、所述预定的位置(x′,y′)处的所述参考I帧的值I(x′,y′)、以及涉及P帧的所述辅助解码数据，计算（306）所述给定像素位置（x,y）处的P帧的色调映射值。
3.如任何一个前面的权利要求所述的方法，其中，步骤iii包括：从对应于所述B帧的给定像素位置（x,y）的所述参考I帧的第一预定的像素位置(x′,y′)处的经色调映射的I帧的值I1(x′,y′)、对应于所述像素位置（x,y）的所述参考P帧的第二预定的像素位置(x″,y″)处的经色调映射的P帧的值P1(x″,y″)、所述第一预定的位置(x′,y′)处的所述参考I帧的值I(x′,y′)、以及涉及B帧的所述辅助解码数据，计算（308）在所述给定像素位置（x,y）处的B帧的色调映射值B1（x,y）。
4.如权利要求3所述的方法，其中，所述涉及P帧并在步骤ii中所使用的所述辅助数据包括所述P帧的解码的误差信号ep，和/或涉及每个B帧并在步骤iii中所使用的所述辅助数据包括解码的误差信号eb，所述解码步骤（302）包括：使用逆离散余弦变换函数解码来自MPEG视频数据流的所述误差信号ep和/或所述误差信号eb。
5.如权利要求4所述的方法，其中，步骤ii包括：将涉及P帧的所述误差信号ep按比率I1(x′,y′)/I(x′,y′)缩放，和/或步骤iii包括：将涉及B帧的所述误差信号eb按比率（I1(x′,y′)+P1(x″,y″))/(I(x′,y′)+P(x″,y″))缩放，其中，P(x″,y″)表示第二预定的位置处的参考P帧的重建的值。
6.如权利要求4和5中任一个所述的方法，其中，根据下列公式来确定给定像素位置（x,y）处的P帧的所述色调映射值P1（x,y）：
P1(x,y)=I1(x′,y′)+ep(x,y)*I1(x′,y′)/I(x′,y′).
7.如权利要求4到6中任一个所述的方法，其中，根据下列公式来确定给定像素位置（x,y）处的B帧的所述色调映射值B1（x,y）：
B1(x,y)=I1(x′,y′)+P1(x″,y″)+eb(x,y)*(I1(x′,y′)+P1(x″,y″))/(I(x′,y′)+P(x″,y″)).
8.如权利要求2到7中任一个所述的方法，其中，所述辅助解码数据还包括与参考I帧相关联的每个P帧的一组解码的运动向量，并且所述步骤ii包括：从与参考I帧相关联的所述一组解码的运动向量确定所述预定的位置(x′,y′)。
9.如权利要求3到8中任一个所述的方法，其中，所述辅助解码数据包括分别与参考I帧和参考P帧相关联的每个B帧的两组解码的运动向量，而所述步骤iii包括：从与参考I帧相关联的一组解码的运动向量确定所述第一预定的位置(x′,y′)，并且从与参考P帧相关联的一组运动向量确定所述第二预定的位置(x″,y″)。
10.如权利要求8和9中任一个所述的方法，其中，所述运动向量组是从MPEG视频数据流产生的，所述解码步骤（302）包括：应用运动补偿函数以解码所述运动向量组。
11.如任何一个前面的权利要求所述的方法，其中，所述解码步骤（302）包括：对所述HDR视频数据应用可变长度解码函数以提供量化系数组的序列，对所述系数组应用逆扫描函数以提供经逆扫描的视频数据信号，对所述经逆扫描的视频信号应用逆量化函数，以及对所述逆量化视频数据信号应用逆离散余弦变换以提供逆量化的视频数据信号。
12.如任何一个前面的权利要求所述的方法，还包括：对根据步骤i、ii和iii获得的每个经色调映射的帧执行色彩空间转换，并在显示设备中显示所述经转换的帧。
13.如权利要求12所述的方法，其中，执行到RGB色彩空间的所述色彩空间转换。
14.一种计算机程序，包括用于当所述计算机程序在合适的计算机设备上执行时实现根据权利要求1到13中的任何一个所述的方法的步骤的指令。
15.一种***，包括适用于执行如权利要求1到13中的任何一个权利要求所述的方法的步骤的装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP10194489.0 | 2010-12-10 | ||
| EP10194489 | 2010-12-10 | ||
| PCT/EP2011/072183 WO2012076646A1 (en) | 2010-12-10 | 2011-12-08 | High-dynamic range video tone mapping |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103250182A true CN103250182A (zh) | 2013-08-14 |
| CN103250182B CN103250182B (zh) | 2016-08-24 |
Family
ID=45315791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180059228.2A Expired - Fee Related CN103250182B (zh) | 2010-12-10 | 2011-12-08 | 用于色调映射hdr数据视频流的方法和*** |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10013746B2 (zh) |
| JP (1) | JP5878551B2 (zh) |
| CN (1) | CN103250182B (zh) |
| DE (1) | DE112011103365B4 (zh) |
| GB (1) | GB2500835B (zh) |
| WO (1) | WO2012076646A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463794A (zh) * | 2014-11-13 | 2015-03-25 | 河南理工大学 | 一种基于分区的图像处理方法 |
| CN106097948A (zh) * | 2015-04-29 | 2016-11-09 | 乐金显示有限公司 | 图像处理方法、图像处理电路及使用其的显示装置 |
| CN108986039A (zh) * | 2018-06-06 | 2018-12-11 | 链家网（北京）科技有限公司 | 一种基于灰度图的色调映射方法及*** |
| CN110545413A (zh) * | 2017-07-13 | 2019-12-06 | 联发科技股份有限公司 | 用于执行高动态范围视频的色调映射的方法及装置 |
| CN112492316A (zh) * | 2014-12-03 | 2021-03-12 | 松下知识产权经营株式会社 | 解码装置及解码方法 |
| CN113630563A (zh) * | 2020-05-08 | 2021-11-09 | 华为技术有限公司 | 一种高动态范围hdr视频的处理方法、编码设备和解码设备 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AR091515A1 (es) * | 2012-06-29 | 2015-02-11 | Sony Corp | Dispositivo y metodo para el procesamiento de imagenes |
| EP2804375A1 (en) | 2013-02-22 | 2014-11-19 | Thomson Licensing | Coding and decoding methods of a picture block, corresponding devices and data stream |
| EP2804374A1 (en) * | 2013-02-22 | 2014-11-19 | Thomson Licensing | Coding and decoding methods of a picture block, corresponding devices and data stream |
| WO2014174591A1 (ja) * | 2013-04-23 | 2014-10-30 | 富士通株式会社 | 画像符号化装置、画像符号化方法、及び撮像装置 |
| US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
| US8958658B1 (en) | 2013-09-10 | 2015-02-17 | Apple Inc. | Image tone adjustment using local tone curve computation |
| PL3324629T3 (pl) | 2014-05-28 | 2019-11-29 | Koninklijke Philips Nv | Sposoby i urządzenia do kodowania obrazów hdr oraz sposoby i urządzenia do wykorzystania tak zakodowanych obrazów |
| JP6421504B2 (ja) | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US10277771B1 (en) | 2014-08-21 | 2019-04-30 | Oliver Markus Haynold | Floating-point camera |
| JP2016058848A (ja) | 2014-09-08 | 2016-04-21 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| EP3193326B1 (en) | 2014-09-11 | 2019-05-15 | Sony Corporation | Image-processing device, and image-processing method |
| US10225485B1 (en) | 2014-10-12 | 2019-03-05 | Oliver Markus Haynold | Method and apparatus for accelerated tonemapping |
| EP3051488A1 (en) * | 2015-01-30 | 2016-08-03 | Thomson Licensing | A method and apparatus for inverse-tone mapping a picture |
| KR20180006898A (ko) | 2015-05-12 | 2018-01-19 | 소니 주식회사 | 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램 |
| US10136074B2 (en) | 2015-06-02 | 2018-11-20 | Samsung Electronics Co., Ltd. | Distribution-point-based adaptive tone mapping |
| US11176646B2 (en) * | 2015-06-25 | 2021-11-16 | Samsung Electronics Co., Ltd. | HDR tone mapping methods with scene adaptive parameterized tone map function |
| EP3113492A1 (en) * | 2015-06-30 | 2017-01-04 | Thomson Licensing | Method and apparatus for determining prediction of current block of enhancement layer |
| US10264196B2 (en) | 2016-02-12 | 2019-04-16 | Contrast, Inc. | Systems and methods for HDR video capture with a mobile device |
| US10257394B2 (en) | 2016-02-12 | 2019-04-09 | Contrast, Inc. | Combined HDR/LDR video streaming |
| EP4270976A3 (en) * | 2016-02-12 | 2024-01-10 | Contrast, Inc. | Devices and methods for high dynamic range video |
| GB2549696A (en) * | 2016-04-13 | 2017-11-01 | Sony Corp | Image processing method and apparatus, integrated circuitry and recording medium |
| JP6891882B2 (ja) | 2016-05-25 | 2021-06-18 | ソニーグループ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| WO2018031441A1 (en) * | 2016-08-09 | 2018-02-15 | Contrast, Inc. | Real-time hdr video for vehicle control |
| US10832636B2 (en) | 2016-09-06 | 2020-11-10 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US10218952B2 (en) | 2016-11-28 | 2019-02-26 | Microsoft Technology Licensing, Llc | Architecture for rendering high dynamic range video on enhanced dynamic range display devices |
| JP6852411B2 (ja) * | 2017-01-19 | 2021-03-31 | ソニー株式会社 | 映像信号処理装置、映像信号処理方法およびプログラム |
| US10176561B2 (en) | 2017-01-27 | 2019-01-08 | Microsoft Technology Licensing, Llc | Content-adaptive adjustments to tone mapping operations for high dynamic range content |
| WO2019014057A1 (en) | 2017-07-10 | 2019-01-17 | Contrast, Inc. | STEREOSCOPIC CAMERA |
| US10951888B2 (en) | 2018-06-04 | 2021-03-16 | Contrast, Inc. | Compressed high dynamic range video |
| US10957024B2 (en) | 2018-10-30 | 2021-03-23 | Microsoft Technology Licensing, Llc | Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display |
| CN111383201B (zh) * | 2018-12-29 | 2024-03-12 | 深圳Tcl新技术有限公司 | 基于场景的图像处理方法、装置、智能终端及存储介质 |
| WO2023150074A1 (en) * | 2022-02-01 | 2023-08-10 | Dolby Laboratories Licensing Corporation | Beta scale dynamic display mapping |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050232355A1 (en) * | 2004-04-15 | 2005-10-20 | Srinivas Cheedela | Video decoder for supporting both single and four motion vector macroblocks |
| CN1799057A (zh) * | 2003-04-29 | 2006-07-05 | 微软公司 | 用于生成高动态范围视频的***和过程 |
| CN1856102A (zh) * | 2005-04-01 | 2006-11-01 | 美国博通公司 | 逆扫描频率系数的方法和*** |
| CN1954344A (zh) * | 2004-04-23 | 2007-04-25 | 布赖特赛德科技有限公司 | 高动态范围图像的编码、解码和表示 |
| CN101415120A (zh) * | 2007-10-15 | 2009-04-22 | 汤姆森许可贸易公司 | 针对使用分级lut的比特深度可缩放性的增强层残差预测 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7042944B2 (en) * | 2000-09-22 | 2006-05-09 | Koninklijke Philips Electronics N.V. | Single-loop motion-compensation fine granular scalability |
| US8135073B2 (en) * | 2002-12-19 | 2012-03-13 | Trident Microsystems (Far East) Ltd | Enhancing video images depending on prior image enhancements |
| JP2007039791A (ja) | 2005-06-29 | 2007-02-15 | Fujifilm Corp | リフレクタ、それを備えた加熱用るつぼおよび放射線像変換パネルの製造方法 |
| US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US7983496B2 (en) | 2007-06-26 | 2011-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes |
| US8085852B2 (en) * | 2007-06-26 | 2011-12-27 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding |
| CN101796841B (zh) | 2007-06-27 | 2012-07-18 | 汤姆逊许可公司 | 用增强层残差预测对视频数据编码/解码的方法和设备 |
| WO2009003499A1 (en) | 2007-06-29 | 2009-01-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding supporting pixel value refinement scalability |
| US9830691B2 (en) * | 2007-08-03 | 2017-11-28 | The University Of Akron | Method for real-time implementable local tone mapping for high dynamic range images |
| US20090317017A1 (en) | 2008-06-20 | 2009-12-24 | The Hong Kong University Of Science And Technology | Image characteristic oriented tone mapping for high dynamic range images |
| US8432968B2 (en) | 2007-10-15 | 2013-04-30 | Qualcomm Incorporated | Scalable video coding techniques for scalable bitdepths |
| WO2009051690A1 (en) | 2007-10-16 | 2009-04-23 | Thomson Licensing | Methods and apparatus for artifact removal for bit depth scalability |
| ES2389458T3 (es) | 2008-07-10 | 2012-10-26 | The University Of Warwick | Métodos y dispositivos para la compresión de datos de vídeo HDR |
| US8406569B2 (en) * | 2009-01-19 | 2013-03-26 | Sharp Laboratories Of America, Inc. | Methods and systems for enhanced dynamic range images and video from multiple exposures |
| CN102308579B (zh) * | 2009-02-03 | 2017-06-06 | 汤姆森特许公司 | 位深可分级中使用平滑参考帧的运动补偿的方法和设备 |
-
2011
- 2011-12-01 GB GB1311047.3A patent/GB2500835B/en not_active Expired - Fee Related
- 2011-12-06 US US13/312,786 patent/US10013746B2/en not_active Expired - Fee Related
- 2011-12-08 CN CN201180059228.2A patent/CN103250182B/zh not_active Expired - Fee Related
- 2011-12-08 DE DE112011103365.6T patent/DE112011103365B4/de not_active Expired - Fee Related
- 2011-12-08 WO PCT/EP2011/072183 patent/WO2012076646A1/en active Application Filing
- 2011-12-08 JP JP2013542541A patent/JP5878551B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1799057A (zh) * | 2003-04-29 | 2006-07-05 | 微软公司 | 用于生成高动态范围视频的***和过程 |
| US20050232355A1 (en) * | 2004-04-15 | 2005-10-20 | Srinivas Cheedela | Video decoder for supporting both single and four motion vector macroblocks |
| CN1954344A (zh) * | 2004-04-23 | 2007-04-25 | 布赖特赛德科技有限公司 | 高动态范围图像的编码、解码和表示 |
| CN1856102A (zh) * | 2005-04-01 | 2006-11-01 | 美国博通公司 | 逆扫描频率系数的方法和*** |
| CN101415120A (zh) * | 2007-10-15 | 2009-04-22 | 汤姆森许可贸易公司 | 针对使用分级lut的比特深度可缩放性的增强层残差预测 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463794A (zh) * | 2014-11-13 | 2015-03-25 | 河南理工大学 | 一种基于分区的图像处理方法 |
| CN112492316A (zh) * | 2014-12-03 | 2021-03-12 | 松下知识产权经营株式会社 | 解码装置及解码方法 |
| CN112492316B (zh) * | 2014-12-03 | 2024-03-26 | 松下知识产权经营株式会社 | 解码装置及解码方法 |
| CN106097948A (zh) * | 2015-04-29 | 2016-11-09 | 乐金显示有限公司 | 图像处理方法、图像处理电路及使用其的显示装置 |
| CN106097948B (zh) * | 2015-04-29 | 2020-01-07 | 乐金显示有限公司 | 图像处理方法、图像处理电路及使用其的显示装置 |
| CN110545413A (zh) * | 2017-07-13 | 2019-12-06 | 联发科技股份有限公司 | 用于执行高动态范围视频的色调映射的方法及装置 |
| CN108986039A (zh) * | 2018-06-06 | 2018-12-11 | 链家网（北京）科技有限公司 | 一种基于灰度图的色调映射方法及*** |
| CN113630563A (zh) * | 2020-05-08 | 2021-11-09 | 华为技术有限公司 | 一种高动态范围hdr视频的处理方法、编码设备和解码设备 |
| CN113630563B (zh) * | 2020-05-08 | 2022-07-22 | 华为技术有限公司 | 一种高动态范围hdr视频的处理方法、编码设备和解码设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10013746B2 (en) | 2018-07-03 |
| GB201311047D0 (en) | 2013-08-07 |
| GB2500835B (en) | 2014-02-12 |
| GB2500835A8 (en) | 2013-10-16 |
| GB2500835A (en) | 2013-10-02 |
| JP2014502480A (ja) | 2014-01-30 |
| WO2012076646A1 (en) | 2012-06-14 |
| US20120147953A1 (en) | 2012-06-14 |
| DE112011103365T5 (de) | 2013-07-18 |
| CN103250182B (zh) | 2016-08-24 |
| DE112011103365B4 (de) | 2016-08-25 |
| JP5878551B2 (ja) | 2016-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103250182A (zh) | 高动态范围视频色调映射 | |
| JP7047119B2 (ja) | 変換領域における残差符号予測のための方法および装置 | |
| US7496236B2 (en) | Video coding reconstruction apparatus and methods | |
| US6466624B1 (en) | Video decoder with bit stream based enhancements | |
| JP6246215B2 (ja) | 高解像度クロマ・サンプリング・フォーマットのフレーム・パッキング及びフレーム・アンパッキング | |
| JP5782522B2 (ja) | ビデオ符号化方法および装置 | |
| US7848425B2 (en) | Method and apparatus for encoding and decoding stereoscopic video | |
| JP4326743B2 (ja) | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ | |
| JP6121331B2 (ja) | 時間的コヒーレンス・ダイナミックレンジ・マッピングを用いたビデオ符号化および復号化 | |
| US20150312575A1 (en) | Advanced video coding method, system, apparatus, and storage medium | |
| US11743475B2 (en) | Advanced video coding method, system, apparatus, and storage medium | |
| KR102218696B1 (ko) | 영상 변환 부호화/복호화 방법 및 장치 | |
| JP5195032B2 (ja) | 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム | |
| JP2010530669A (ja) | シャッター時間補償 | |
| Agustsson et al. | Extreme learned image compression with gans | |
| JP5800362B2 (ja) | 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム | |
| JP6457248B2 (ja) | 画像復号装置、画像符号化装置および画像復号方法 | |
| KR102321895B1 (ko) | 디지털 비디오의 디코딩 장치 | |
| US20200128240A1 (en) | Video encoding and decoding using an epitome | |
| US7706440B2 (en) | Method for reducing bit rate requirements for encoding multimedia data | |
| Guleryuz et al. | Sandwiched Compression: Repurposing Standard Codecs with Neural Network Wrappers | |
| Benabdellah et al. | A method for choosing reference images based on edge detection for video compression | |
| KR20230091180A (ko) | 하이브리드 기계 학습 및 dct-기반 비디오 압축을 위한 시스템 및 방법 | |
| Parmar | Implementation of video compression algorithm on the Texas Instruments video processing board TMS320DM6437 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160824 Termination date: 20211208 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |