CN111386704A - 用于在hdr到sdr转换期间的颜色校正的方法和装置 - Google Patents
用于在hdr到sdr转换期间的颜色校正的方法和装置 Download PDFInfo
- Publication number
- CN111386704A CN111386704A CN201880076008.2A CN201880076008A CN111386704A CN 111386704 A CN111386704 A CN 111386704A CN 201880076008 A CN201880076008 A CN 201880076008A CN 111386704 A CN111386704 A CN 111386704A
- Authority
- CN
- China
- Prior art keywords
- image
- chrominance
- components
- correction
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012937 correction Methods 0.000 title claims description 113
- 238000006243 chemical reaction Methods 0.000 title claims description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 86
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 61
- 238000009826 distribution Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 21
- 238000003860 storage Methods 0.000 description 18
- 239000000243 solution Substances 0.000 description 17
- 238000012805 post-processing Methods 0.000 description 16
- 239000002356 single layer Substances 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
技术领域
本实施例涉及在保持所得视频的高保真度的同时分发HDR视频。
背景技术
本部分旨在向读者介绍本领域的各个方面,这些方面可以与以下描述和/或要求保护的实施例的各个方面相关。相信该讨论有助于向读者提供背景信息,以促进更好地理解实施例的各个方面。因而,应当理解的是,应从这种角度来阅读这些陈述,而不是作为对现有技术的承认。
在下文中,图像数据是指以特定图像/视频格式的样本(像素值)的一个或几个阵列,这些格式例如指定与图像(或视频)的像素值相关的所有信息以及可以被显示器和/或任何其它装置用来可视化和/或解码图像(或视频)的所有信息。图像包括呈第一样本阵列形状的第一分量,通常代表图像的亮度(或luma),以及呈其它样本阵列形状的第二和第三分量,通常代表图像的色度(或chroma)。或者,等效地,相同的信息也可以由颜色样本阵列的集合来表示,诸如传统的三色RGB表示。
像素值由C值的向量表示,其中C是分量的数量。向量的每个值都由多个位表示,这些位定义像素值的动态范围。
标准动态范围图像(SDR图像)是其亮度值由有限的位数(通常是8位)表示的图像。这种有限的表示不允许正确渲染小的信号变化,特别是在暗和亮的亮度范围内。在高动态范围图像(HDR图像)中,信号表示被扩展以在其整个范围内维持信号的高准确性。在HDR图像中,像素值通常以浮点格式表示(通常每个分量至少10位,即,浮点或半浮点),最流行的格式是openEXR半浮点格式(每个RGB分量16位,即,每像素48位)或具有长表示的整数,通常至少为16位。
高效视频编码(HEVC)标准的出现(ITU-T H.265 ITU Telecommunicationstandardization sector of ITU(02/2018),series H:audiovisual and multimediasystems,infrastructure of audiovisual services-coding of moving video,Highefficiency video coding,Recommendation ITU-T H.265)使得能够部署具有增强观看体验的新视频服务,诸如超HD服务。除了提高空间分辨率之外,分别与目前部署的标准色域(SCG)和高分辨率格式的标准动态范围(SDR)相比,超HD格式还可以带来更宽的色域(WCG)和更高的动态范围(HDR)。已提出了用于HDR/WCG视频的表示和编码的不同解决方案,诸如感知传递函数感知量化器(PQ)(SMPTE ST 2084,“High Dynamic Range Electro-OpticalTransfer Function of Mastering Reference Displays”,或Diaz,R.,Blinstein,S.和Qu,S.“Integrating HEVC Video Compression with a High Dynamic Range VideoPipeline”,SMPTE Motion Imaging Journal,第125卷,第1期,2016年2月,第14-21页)。通常,SMPTE ST 2084允许仅使用10或12位来表示高达10000cd/m2峰值亮度的HDR视频信号。
SDR与解码和渲染装置的向后兼容性是某些视频分发***(诸如广播或多播***)中的重要特征。基于单层编码/解码处理的解决方案可以向后兼容,例如SDR兼容,并且可以充分利用现有的传统分发网络和服务。
这种基于单层的分发解决方案使得既能够在启用HDR的消费电子(CE)设备上实现高质量的HDR渲染,又能够在启用SDR的CE设备上提供高质量的SDR渲染。这种解决方案是基于例如SDR信号的编码信号,以及可以用于从解码信号重建另一个信号(例如,SDR或者HDR信号)的相关联的元数据(每个视频帧或场景只有几个字节)。
基于单层的分发解决方案的示例可以在ETSI技术规范TS 103 433-1 V1.2.1.1(2017年8月)中找到。这种基于单层的分发解决方案在下文中表示为SL-HDR1。
这种基于单层的分发解决方案SL-HDR1生成元数据,作为用于信号重建的参数。元数据可以是静态的或者动态的。
静态元数据意味着对于视频(图像集)和/或程序保持不变的、代表视频内容或其格式的参数。
静态元数据对整个视频内容(场景、电影、剪辑...)有效,并且可以取决于图像内容本身或图像内容的表示格式。它们可以定义例如图像格式或颜色空间,色域。例如,SMPTEST 2086:2014“Mastering Display Color Volume Metadata Supporting HighLuminance and Wide Color Gamut Images”是这样一种静态元数据,它描述了用于在生产环境中对材料进行分级的母版显示。母版显示色量(MDCV)SEI(补充增强信息)消息是ST2086针对H.264/AVC(“Advanced video coding for generic audiovisual Services”,SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Recommendation ITU-T H.264,Telecommunicatio n Standardization Sector of ITU,2017年4月)和HEVC视频编解码器两者的分发形式。
动态元数据是与内容相关的信息,因此元数据可以随图像/视频内容而改变,例如对于每个图像或每组图像。作为示例,SMPTE ST 2094:2016标准系列“Dynamic Metadatafor Color Volume Transform”是通常在生产环境中生成的动态元数据。由于颜色重映射信息(CRI)SEI消息,SMPTE ST 2094-30可以沿着HEVC和AVC编码的视频流进行分发。
基本上,基于单层的分发解决方案包括用于将输入图像(视频)的格式调整成旨在生成与元数据相关联的输出图像(视频)的预处理步骤的输入的格式调整步骤、所述输出图像(视频)和元数据的编码步骤、所述输出图像(视频)和元数据的解码步骤,以及旨在从所述解码的输出图像(视频)以及可选地从所述解码的元数据重建图像(视频)的后处理步骤。
对于输入图像(视频)的某些特定值,可能发生在预处理步骤中计算为输入图像(视频)的色度分量除以色度校正函数的输出图像(视频)的色度分量不在给定的值范围内并且因此会被裁剪掉,从而在重建图像(视频)时在后处理步骤中产生重建错误。
为了摆脱这种色度分量裁剪,直接的解决方案是调整色度校正函数以避免这种色度分量裁剪,并且从而避免这种重建错误。但是,色度校正函数会全局应用在两个色度分量上,即使这不是两个色度分量都需要,也会在重建的视频中产生意外的去饱和的颜色。
考虑到前述内容而设计了本发明。
发明内容
以下提供实施例的简化概述,以便提供对实施例的某些方面的基本理解。本概述不是实施例的广泛概述。并非旨在识别实施例的关键或重要元素。以下概述仅以简化形式呈现实施例的某些方面,作为下面提供的更详细描述的序言。
实施例旨在通过一种方法来补救现有技术的缺陷中的至少一个缺陷,该方法包括:
-通过根据第二图像的亮度分量和通过将映射函数应用于所述第二图像的所述亮度分量而获得的重建的分量来校正所述第二图像的色度分量,导出第三图像的色度分量,第二图像的所述色度分量通过将转换矩阵应用于第一图像的分量而被获得;以及
-独立于相对于所述第三图像的另一个色度分量的转换矩阵的系数来调整关于所述第三图像的色度分量的转换矩阵的系数,以确保对第三图像的色度分量不存在裁剪。
根据实施例,该方法还包括以下步骤:
-通过对第五图像的分量应用转换矩阵的逆来导出第六图像,第五图像的色度分量是通过根据第四图像的亮度分量对所述第四图像的色度分量进行逆校正而导出的,所述第四图像是从所述第三图像的分量获得的;以及
-通过调整转换矩阵的逆的系数来补偿转换矩阵的系数的调整。
根据实施例,调整转换矩阵的系数包括将所述系数除以至少一个校正因子,并且调整转换矩阵的逆的系数包括将所述系数乘以所述至少一个校正因子。
根据实施例,转换矩阵的校正应用于图像的所有像素。
根据实施例,转换矩阵的校正仅应用于其亮度级别属于特定亮度范围的像素。
根据实施例,方法还包括传输代表经校正的转换矩阵、转换矩阵的经校正的逆或至少一个校正因子的信息数据的步骤,并且设备还包括用于传输代表经校正的转换矩阵、转换矩阵的经校正的逆或至少一个校正因子的信息数据的部件。
根据实施例,该方法还包括以下步骤:
-通过对第五图像的分量应用转换矩阵的逆来获得第六图像,第五图像的色度分量是通过根据第四图像的亮度分量和色度校正函数对所述第四图像的色度分量进行逆校正而导出的,所述第四图像是从所述第三图像的分量获得的;
-通过针对至少一个不需要被校正的亮度范围调整色度校正函数来补偿转换矩阵的系数的调整。
根据实施例,通过将给定的色度校正函数除以校正因子来导出经校正的色度校正函数。
根据实施例,方法还包括传输代表经校正的色度校正函数或所述校正因子的信息数据的步骤,并且设备还包括用于传输代表经校正的色度校正函数或所述校正因子的信息数据的部件。
根据实施例,针对图像的色度分量获得校正因子和亮度范围的两个界限,并且其中在当前时刻之前的给定时间段内收集两个校正因子、所述校正因子的值和亮度范围的所述两个界限,并且在当前时刻递送这些值中的每个值的经过滤的版本。
根据它们的另一方面,本发明的实施例涉及一种信号,该信号携带代表校正的信息数据,该校正旨在被用于独立于关于图像的另一个色度分量的转换矩阵的系数来调整关于所述图像的色度分量的转换矩阵的系数。
根据它们的其它方面,本原理涉及计算机程序产品和非瞬态计算机可读介质。
通过以下结合附图对示例的描述,实施例的具体性质以及实施例的其它目的、优点、特征和用途将变得显而易见。
附图说明
在附图中,图示了本实施例的示例。其示出:
-图1示出了根据本实施例的示例的端到端工作流的高级表示,该端到端工作流支持内容递送,以利用改进的显示调整特征进行显示;
-图2示出了端到端处理工作流的示例,该端到端工作流根据基于单层的分发解决方案支持向HDR和SDR CE显示器的递送;
-图3示出了图2的工作流的特定实施方式;
-图4a示出了感知传递函数的图示;
-图4b示出了用于映射的分段曲线的示例;
-图4c示出了用于将感知均匀信号转换回线性光域的曲线的示例;
-图5表示装置的体系架构的示例性实施例,该装置可以被配置为实现结合图1至图4c描述的方法;
-图6示出了根据本实施例的示例的用于获得校正因子的方法的步骤的图;
-图7示出了根据本实施例的示例的用于在预定时间段内收集6个参数corr1、coor2、Yu_min、Yu_max、Yv_min和Yv_max中的每一个的值的方法;以及
-图8示出了根据本实施例的另一个示例的用于在预定时间段内收集6个参数corr1、coor2、Yu_min、Yu_max、Yv_min和Yv_max中的每一个的值的方法。
相似或相同的元件用相同的附图标记表示。
具体实施方式
在下文中将参考附图更全面地描述本实施例,在附图中示出了本实施例的示例。但是,本实施例可以以许多替代形式来实施,并且不应当被解释为限于本文阐述的示例。因而,虽然本实施例易于有各种修改和替代形式,但是其具体示例通过附图中的示例示出,并且将在本文中进行详细描述。但是,应当理解的是,无意将本实施例限于所公开的特定形式,相反,本实施例将覆盖落入如权利要求定义的本实施例的精神和范围内的所有修改、等同形式和替代形式。
本文使用的术语仅出于描述特定示例的目的,而无意于限制本实施例。如本文所使用的,单数形式“一”、“一个”和“该”也意图包括复数形式,除非上下文另外明确指出。将进一步理解的是,当在本说明书中使用时,术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元素和/或组件的存在。但不排除一个或多个其它特征、整数、步骤、操作、元素、组件和/或其组的存在或添加。而且,当元件被称为“响应于”或“连接到”另一个元件时,它可以直接响应于或连接到另一个元件,或者可以存在中间元件。相反,当元件被称为“直接响应于”或“直接连接到”其它元件时,不存在中间元件。如本文所使用的,术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合,并且可以缩写为“/”。将理解的是,虽然本文可以使用术语第一、第二等来描述各种元素,但是这些元素不应受到这些术语的限制。这些术语仅用于区分一个元素与另一个元素。例如,在不脱离本说明书的教导的情况下,第一元素可以被称为第二元素,并且类似地,第二元素可以被称为第一元素。虽然某些图在通信路径上包括箭头以示出通信的主要方向,但是应该理解的是,通信可以在与所描绘的箭头相反的方向上发生。关于框图和操作流程图描述了某些示例,其中每个方框表示电路元件、模块或代码的部分,其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令。还应当注意的是,在其它实施方式中,在方框中指出的(一个或多个)功能可以不按指出的次序发生。例如,取决于所涉及的功能,连续示出的两个方框实际上可以基本上并发地执行,或者有时可以以相反的次序执行。本文中对“根据示例”或“在示例中”的引用是指结合示例描述的特定特征、结构或特点可以包括在本实施例的至少一个实施方式中。在说明书中各个地方出现的表述“根据示例”或“示例”不一定全部是指同一个示例,也不是必须与其它示例相互排斥的单独或替代示例。出现在权利要求中的附图标记仅仅是说明性的,并且对权利要求的范围没有限制作用。虽然没有明确描述,但是可以以任何组合或子组合来采用本示例和变型。
通常,两个不同的图像具有不同的亮度的动态范围。图像的亮度的动态范围是所述图像的亮度值的最大值与最小值之比。
通常,当图像的亮度的动态范围低于1000(例如,在0.2cd/m2上的500∶100cd/m2)时,所述图像被表示为标准动态范围(SDR)图像,并且当图像的亮度的动态范围等于或大于1000(例如,在0.1cd/m2上的10000∶1000cd/m2)时,所述图像被表示为HDR图像。亮度以坎德拉(candela)/平方米为单位(cd/m2)表述。这个单位取代也可以使用的术语“nit”(虽然在国际单位制中已弃用)。
本实施例被描述为用于预处理、编码、解码和后处理图像,但是因为如下所述序列中的每个图像被顺序地预处理、编码、解码和后处理,所以扩展到预处理、编码、解码和后处理图像序列(视频)。
图1示出了根据本实施例的示例的端到端工作流的高级表示,该端到端工作流支持内容递送,以利用改进的显示调整特征进行显示。装置A1被配置为实现用于对图像或视频流进行预处理和编码的方法,装置A2被配置为实现如下所述的用于对图像或视频流进行解码和后处理的方法,以及装置A3被配置为显示解码和后处理后的图像或视频流。两个远程装置A1和A2通过分发网络NET通信,该分发网络NET至少被配置为将来自装置A1的编码的图像或视频流提供给装置A2。
装置A1包括至少一个设备,该至少一个设备被配置为实现如下文所述的预处理和/或编码方法。所述至少一个设备属于设备的集合,该设备的集合包括移动设备、通信设备、游戏设备、平板电脑(或平板计算机)、诸如膝上型计算机之类的计算机设备、静止图像相机、视频相机、编码芯片、静止图像服务器和视频服务器(例如,广播服务器、视频点播服务器或Web服务器)。
装置A2包括至少一个设备,该至少一个设备被配置为实现如下文所述的解码和/或后处理方法。所述至少一个设备属于设备的集合,该设备的集合包括移动设备、通信设备、游戏设备、计算机设备和机顶盒。
装置A3包括至少一个设备,该至少一个设备被配置为实现显示方法。所述至少一个设备属于设备的集合,该设备的集合包括TV(或电视机)、平板电脑(或平板计算机)、诸如膝上型计算机之类的计算机设备、显示器、头戴式显示器和渲染/显示芯片。
根据示例,网络是广播网络,其适于将静止图像或视频图像从装置A1广播到多个装置A2。基于DVB和ATSC的网络是此类广播网络的示例。
根据另一个示例,网络是宽带网络,其适于将静止图像或视频图像从装置A1递送到多个装置A2。基于互联网的网络、GSM网络或基于IP网络的TV是此类宽带网络的示例。
在示例性实施例中,端到端工作流使用用于装置A1的广播服务器、用于装置A2的机顶盒、用于装置A3的电视机以及DVB地面广播网络。
在替代实施例中,装置A2和A3被组合在单个设备中,例如集成机顶盒解码和后处理功能的电视。
在替代实施例中,分发网络NET由其上存储编码的图像或视频流的物理包装的介质代替。
物理包装的介质包括光学包装的介质,诸如Blu-ray盘和超HD Blu-ray,还包括基于存储器的包装介质,诸如OTT和VoD服务中使用的的包装介质。
图2示出了端到端处理工作流的示例,该端到端工作流根据基于单层的分发解决方案支持向HDR和SDR CE显示器的递送。
基本上,所述基于单层的分发解决方案可以解决SDR直接向后兼容性,即,它充分利用已经存在的SDR分发网络和服务,并在启用HDR的CE设备上启用高质量的HDR渲染,包括在SDR CE设备上进行高质量的SDR渲染。
SL-HDR1是这种基于单层的分发解决方案的一个示例。
图2中所示的工作流涉及具有相关联元数据的基于单层的分发解决方案,并图示了用于从代表解码的图像和例如在SL-HDR1中指定的所述元数据的三个解码的分量重建代表输入图像的三个分量的三个分量的方法的使用的示例。
基本上,图2中所示的基于单层的分发解决方案包括预处理步骤20、编码步骤23、解码步骤25和26以及后处理步骤28。
其中γ是伽马因子,优选地等于2.4,A=[A1 A2 A3]T是包括三个1×3子矩阵A1、A2、A3的转换矩阵:
其中Amn(m=1,..,3,n=1,..3)是子矩阵系数。
当考虑BT.2020色域时,
当考虑BT.709色域时,
转换矩阵A是可逆的。例如,表示为A-1的矩阵A的逆由下式给出
其中A′mn(m=1,..,3,n=1,..3)是子矩阵系数。
当考虑BT.2020色域时,
并且当考虑BT.709色域时,
在步骤22(可选)中,三个分量的格式也可以被调整成适应适合于编码步骤23的输入格式的格式。在步骤27中,(可选)三个分量的格式可以被调整成适应适合后处理步骤28的输入的格式,并且在步骤29中,三个分量的格式可以被调整成适应可以根据目标装置(例如机顶盒,连接的TV、启用HDR/SDR的CE设备、超HD Blu-ray盘播放器)的至少一个特点定义的格式。在步骤21中,使用矩阵A的逆。
所述格式调整步骤(21、22、27、29)可以包括其它颜色空间转换和/或色域映射(和/或逆色域映射)。例如,当以不同的颜色空间和/或色域表示三个解码的分量和输出图像的三个分量或输入图像的三个分量时,可以使用逆色域映射。
可以使用常规格式调整处理,诸如R′G′B′到Y′CbCr或Y′CbCr到R′G′B′转换、BT.709到BT.2020或BT.2020到BT.709、下采样或上采样色度分量等。
例如,SL-HDR1可以使用格式调整处理和逆色域映射,如在ETSI技术规范TS103433-1 V1.2.1(2017年8月)的附录D中所指定的。
根据步骤23的变型,参数集SP作为相关联的静态和/或动态元数据在位流B中被传送。
根据变型,参数集SP作为相关联的静态和/或动态元数据在特定通道上被传送。
然后,旨在由图1的装置A2解码的至少一个信号携带位流B和附带的元数据。
在变型中,例如,位流B存储在诸如Blu-ray盘或硬盘或机顶盒的存储器之类的存储介质上。
在变型中,例如,至少某些附带的相关联元数据存储在诸如UltraHDBlu-ray盘或硬盘或机顶盒的存储器之类的存储介质上。
在步骤25中,至少部分地从位流B或者从另一个特定通道获得参数集SP。参数集SP中的至少一个参数也可以从单独的存储介质获得。
更详细地,预处理步骤20包括步骤200-203。
从数学上讲,
其中MF是可以减小图像的亮度的动态范围的映射函数。注意的是,它表示为IMF的逆可以逆增加图像的亮度的动态范围。
图片可在“原始文档”上找到
其中是取决于分量的值,但是取决干三个分量的原色,也可以是恒定值。对于例如推荐的BT.2020,可以等于1.2。可能也可以取决于在ETSI TS 103 433-1 V.1.2.1条款C.2.3中指定的参数。
这个步骤201允许控制从三个分量获得的颜色,并保证它们与输入图像的颜色在感知上匹配。在通过调谐色度校正和逆映射步骤的参数进行的控制下,可以维持对分量知(通常表示为色度分量)的校正。因此从三个分量获得的色彩饱和度和色相在控制之下。通常,当使用非参数映射函数时(步骤200),这种控制是不可能的。
其中a和b是两个参数。
参数集SP可以包括关于映射函数或其逆函数的信息数据(步骤200、202和282)、关于色度校正的信息数据(步骤201和281)、关于饱和度调节函数的信息,特别是它们的参数a和b(步骤203和280),以及关于在格式调整阶段21、22、27、29中使用的转换的信息(例如,色域映射和/或逆色域映射参数)。
更详细地,后处理步骤28包括步骤280-282,其将参数集SP中的至少一个参数作为输入。
其中a和b是参数集SP中的两个参数。
或者可选地,
图3表示图2基于单层的解决方案的硬件友好型优化。所述优化包括两个附加步骤283和284并且允许通过减少总线位宽使用来降低硬件实施方式的复杂性。
例如,可以按照在条款C.3.2(ETSI技术规范TS 103 433-1 V1.2.1)中指定的那样确定与映射函数MF和/或其逆IMF相关的控制参数。可以按照在条款C.2.3和C.3.4(ETSI技术规范TS 103 433-1 V1.2.1)中指定的那样确定色度校正函数β(.)及其参数。关于与映射函数或其逆相关的控制参数的信息数据以及关于色度校正函数β(.)及其参数的信息数据是参数集SP的元素。参数集SP的参数的数值的示例可以在例如附录F(表F.1)(ETSI技术规范TS 103 433-1 V1.2.1)中找到。
可以按照在ETSI技术规范TS 103 433-1 V1.2.1的条款6.3.2.6(matrixCoefficient[i]定义m0、m1、m2、m3)和条款6.3.2.8(kCoefficient[i]用于构造S0)中所指定的那样来确定参数m0、m1、m2、m3和S0,并且可以按照在条款7.2.4(ETSI技术规范TS103 433-1 V1.2.1)中所指定的那样来确定它们对于重建的使用。
映射函数MF(.)基于感知传递函数,其目标是将输入图像的分量转换成输出图像的分量,从而减小(或增大)其亮度的值的动态范围。因此,输出图像的分量的值属于比输入图像的分量的值更低(或更大)的动态范围。所述感知传递函数使用有限的控制参数集。
图4a示出了可以被用于映射亮度分量的感知传递函数TM的图示,但是可以使用用于映射亮度分量的相似的感知传递函数。该映射由母板显示峰值亮度参数(在图4a中等于5000cd/m2)控制。为了更好地控制黑白级别,应用在内容相关的黑白级别之间拉伸的信号。然后,使用由三部分构成的分段曲线映射转换后的信号,如图4b中所示。下部和上部是线性的,陡度分别由shadowGain控制和HighlightGain控制参数确定。中间部分是抛物线,在两个线性部分之间提供了连续且平滑的桥接。跨接的宽度由midToneWidthAdjFactor参数确定。例如,可以通过使用在ETSI TS 103 433-1附录A.2元数据中指定的SEI消息将控制映射的所有参数作为元数据进行传送。
图4c示出了感知传递函数TM(图4a)的逆的示例,以说明如何基于目标传统显示最大亮度(例如100cd/m2)将感知优化的亮度信号转换回线性光域。
ETSI TS 103 433-1 V1.2.1条款6和附录A.2提供了所述元数据的语法的示例。描述这个ETSI推荐的语法,用于从SDR视频重建HDR视频,但是这个语法可以被扩展到从任何解码的分量重建任何图像;作为示例,TS 103 433-2 V1.1.1使用相同的语法用于从HDR视频信号(具有不同的动态范围)重建适应显示器的HDR视频。
根据ETSI TS 103 433-1 V1.2.1,可以根据所谓的基于参数的模式或基于表的模式来传送所述动态元数据。对于分发工作流,基于参数的模式可以是令人感兴趣的,分发工作流的主要目标是提供具有非常低的附加有效载荷或带宽使用量的直接SDR向后兼容服务以便携带动态元数据。对于配备有低端终端的工作流,或者当要求更高级别的适应性来正确表示HDR和SDR流二者时,基于表的模式可以是令人感兴趣的。在基于参数的模式下,要传送的动态元数据是代表要在后处理步骤应用的逆映射函数的亮度映射参数,即,tmlnputSignalBlackLevelOffset;tmlnputSignalWhiteLevelOffset;shadowGain;highlightGain;midToneWidthAdjFactor;tmOutputFineTuning参数。
此外,要传送的其它动态元数据是用于微调如在ETSI TS 103 433-1 V1.2.1条款6.3.5和6.3.6中指定的默认色度校正函数β(.)的颜色校正参数(saturationGainNumVal、saturationGainX(i)和saturationGainY(i))。如上面所解释的,参数a和b可以分别在saturationGain函数参数中携带。可以使用HEVC SL-HDR信息(SL-HDRI)用户数据注册的SEI消息(参见ETSI TS 103 433-1 V1.2.1附录A.2)或另一种扩展数据机制(诸如在AVS2/IEEE1857.4规范中指定的)来传送这些动态元数据。每个画面或场景的典型动态元数据有效载荷尺寸小于100字节。
回到图3,在步骤25中,对SL-HDRI SEI消息进行解析以获得参数集SP的至少一个参数。
在步骤282和202中,从获得的映射参数重建(导出)逆映射函数(所谓的lutMapY)(更多细节参见ETSI TS 103 433-1 V1.2.1条款7.2.3.1,-TS 103 433-2 V1.1.1.1的相同条款)。
在步骤282和202中,还从获得的色彩校正参数重建(导出)色度校正函数β(.)(所谓的lutCC)(更多细节参见ETSI TS 103 433-1 V1.2.1条款7.2.3.2,-TS 103 433-2V1.1.1的相同条款)。
在基于表的模式下,要传送的动态数据是代表映射函数的分段线性曲线的枢轴点。例如,动态元数据是指示枢轴点的数量的luminanceMappingNum Val、指示枢轴点的横坐标(x)值的luminanceMappingX和指示枢轴点的纵坐标(y)的luminanceMappingY(更多细节参见ETSI TS 103 433-1 V1.2.1条款6.2.7和6.3.7)。而且,要传送的其它动态元数据可以是表示色度校正函数β(.)的分段线性曲线的枢轴点。例如,动态元数据是指示枢轴点的数量的colorCorrectionNumVal、指示枢轴点的x值的colorCorrectionX,以及指示枢轴点的y值的colorCorrectionY(更多细节参见ETSI TS 103 433-1 V1.2.1条款6.2.8和6.3.8)。可以使用HEVC SL-HDRI SEI消息来传送这些动态元数据(条款6的参数与附录A的分发元数据之间的映射在ETSI TS 103 433-1 V1.2.1的附录A.2.3中提供)。
在步骤25中,解析SL-FIDRI SEI消息,以获得代表逆映射函数的分段线性曲线的枢轴点和代表色度校正函数β(.)的分段线性曲线的枢轴点,以及色度到亮度注入参数a和b。
在步骤282和202中,从相对于代表逆映射函数ITM的分段线性曲线的那些枢轴点导出逆映射函数(更多细节参见ETSI TS 103 433-1 V1.2.1条款7.2.3.3,-ETSI TS 103433-2 V1.1.1的相同条款)。
在步骤281和201中,还从相对于代表色度校正函数β(.)的分段线性曲线的所述枢轴点的那些导出色度校正函数β(.)(更多细节参见ETSI TS 103 433-1 V1.2.1条款7.2.3.4,-TS 103 433-2 V1.1.1的相同条款)。
注意的是,也可以通过SEI消息来传送也由后处理步骤使用的静态元数据。例如,基于参数的模式或者基于表的模式的选择可以由如ETSI TS 103 433-1 V1.2.1(条款A.2.2)所指定的payloadMode信息来携带。静态元数据(诸如例如原色或最大显示母版显示亮度)由母版显示色量(MDCV)SEI消息传送,如在AVC、HEVC中指定的,或者嵌入在SL-HDRISEI消息中,如在ETSI TS 103 433-1 V1.2.1附录A.2中指定的。
根据实施例,通过将1×3子矩阵A2的系数A21、A22和A23除以校正因子corrl来调整转换矩阵A的1×3子矩阵A2,从而导致经校正的矩阵A2corr=[A21/corr1 A22/corr1 A23/corr1]。
然后经校正的转换矩阵Acorr1由下式给出:
根据实施例,通过将1×3子矩阵A3的系数A31、A32和A33除以校正因子corr2来调整转换矩阵A的1×3子矩阵A3,从而导致经校正的子矩阵A3corr=[A31/corr2 A32/corr2 A33/corr2]。
然后经校正的转换矩阵Acorr2由下式给出:
根据实施例,通过将子矩阵A2的系数除以校正因子corr1并将子矩阵A3的系数除以校正因子corr2来调整转换矩阵A的1×3子矩阵A2和1×3子矩阵A3。然后等式1中的子矩阵A2和A3分别被经校正的子矩阵A2corr和A3corr代替。
经校正的转换矩阵Acorr1corr2由下式给出:
在后处理步骤28中,需要用相同的校正量来补偿校正子矩阵A2和/或A3的系数。
根据实施例,当调整子矩阵A2时(步骤21),经校正的逆转换矩阵A-1ocrr1由下式给出:
根据实施例,当调整子矩阵A3时(步骤21),经校正的逆转换矩阵A-1corr2由下式给出:
根据实施例,当子矩阵A2和A3被调整时,经校正的逆转换矩阵A-1corr1corr2由下式给出:
根据实施例,转换矩阵A是标准的3×3R′G′B′至Y′CbCr转换矩阵。
根据本实施例,信息数据代表经校正的转换矩阵Acorr1、Acorr2或Acorr1corr2或者经校正的逆矩阵A-1corr1、A-1corr2或A-1corr1corr2。
根据实施例,所述信息数据代表校正因子corr1和/或corr2中的至少一个,并且然后从可能预先传输或已知的转换矩阵A和所述至少一个校正因子corr1和/或corr2计算经校正的逆矩阵A-1corr1、A-1corr2或A-1corr1corr2中的至少一个的逆。
优选地,所述信息数据作为用于通常传输转换矩阵A-1(没有任何校正)的元数据被传输。这种元数据例如在推荐的ETSI TS 103 433(任何发行版)中被定义。
根据实施例,将转换矩阵A的系数的校正应用于任何亮度级别的所有像素。即使仅在亮度范围的一小部分上需要进行校正,这也涉及全局校正,该全局校正会使整个亮度范围的色度分量不饱和。
因此,根据变型,仅对其亮度级别属于特定亮度范围的像素应用变换矩阵A的系数的校正。
根据实施例,通过校正针对不需要校正的亮度范围的色度校正函数来补偿转换矩阵A的校正。
例如,(等式10和10bis的)色度校正函数β(.)可以被校正,如下:
if(v不在Yu_corr1_range中)
βcorr1(v)=β(v)/corr1
Else
βcorr1(v)=β(v)
if(v不在Yv_corr2_range中)
βcorr2(v)=β(v)/corr2
Else
βcorr2(v)=β(v)
其中Yu_corr1_range是针对分量的特定亮度范围,通常表示U分量,Yv_corr2_range是针对分量的特定亮度范围,通常表示V分量,并且βcorr1(.)、βcorr2(.)是代替β(.)而在(等式10或10bis)中应用的色度校正函数。
根据实施例,作为色度校正函数βcorr1(.)、βcorr2(.)的最小值的色度校正函数βcoorr(.)适用于等式10或10bis,以确保不会发生过饱和。
从数学上讲,对于(所有v值),βcorr(v)=min(βcorr1(v),βcorr2(v))。
根据变型,色度校正函数βcorr(.)是色度校正函数βcorr2(.)。
根据实施例,将代表经校正的色度校正函数βcorr()(或用于调整给定色度校正函数β(.)的校正因子)的信息数据从预处理步骤传输到后处理步骤,优选地作为通常用于传输色度校正函数β()的元数据(不进行任何校正)。这种元数据例如在推荐的ETSI TS 103433(任何发行版)中被定义。
因此,可以通过在重建处理的在(等式10或10bis)中用βcorr(.)代替色度校正函数β(.)来应用相关的校正补偿。这种经校正的色度校正函数βcorr(.)补偿逆矩阵A-1的逆的校正。
根据图6所示的实施例,获得校正因子corr1和/或corr2,如下:
在步骤600中,将第一电流校正因子corr1-cur初始化为例如1。可能将第二电流校正因子corr2-cur初始化为例如1。
通常,用9位加上符号表示所述色度分量,并且因此Maximum-value-U=511。
通常,用9位加上符号表示所述色度分量,并且因此Maximum-value-V=511。
Yu_min和Yu_max定义其中应用校正因子corr1的亮度范围Yu_corr1_range的界限:
Yu_corr1_range=[Yu_min-Yu_max]
注意的是,根据校正因子corr1的校正不适用于亮度范围Yu_corr1_range之外的亮度值。
Yv_min和Yv_max定义在其中应用校正因子corr2的亮度范围Yv_corr2_range的界限:
Yv_corr2_range=[Yv_min-Yv_max]
注意的是,根据校正因子corr2的校正不适用于亮度范围Yv_corr2_range之外的亮度值。
Yu_curr、Yu_max、Yu_min、corr1_cur、corr1_max Yv_curr、Yv_max、Yv_min、corr2_cur和corr2_max是整数值。
首先将Yu_max、Yu_min、Yv_min和Yv_max初始化为标记为无效的值,换句话说,将其初始化为该方法无法生成的值。
Yu_min=Yu_min_invalid
Yu_max=Yu_max_invalid
Yv_min=Yv_min_invalid
Yv_max=Yv_max_invalid
在步骤610结束时,如果Yu_min=Yu_min_invalid并且Yu_max=Yu_max_invalid,那么这意味着不需要对分量应用校正。类似地,如果Yv_min=Yv_min_invalid并且Yv_max=Yv_max_invalid,那么这意味着不需要对分量应用校正。
所得的corr1_max值提供校正因子corr1,而所得的corr2_max值提供校正因子corr2。
根据实施例,通过对针对相邻像素获得的校正因子corr1和corr2进行过滤来获得校正因子corr1和corr2。
过滤的示例是求平均。
根据实施例,从corr1和corr2的所有不同值的直方图获得校正因子corr1和corr2,corr1和corr2的每个值是针对图像的每个像素计算的。
这允许检测corr1和corr2的某些高值,这些高值可以由于源中存在的噪声而不规律地出现。
在这种情况下,不需要对所有像素应用对应的corr1和corr2的高值,并且因此可以通过对corr1和corr2的值强制固定的给定最小计数来估计符合的校正因子corr1和corr2,这是通过从最高区间开始对直方图中存在的区间的数量进行计数来进行的。
从图6的方法导出六个参数corr1、corr2、Yu_min、Yu_max、Yv_min和Yv_max。
应用时间稳定要求确定收集6个参数的特定时间段。
根据该方法的实施例,在当前时刻之前的给定时间段内收集6个参数中的每个参数的值,并且在当前时刻,递送这些参数中的每个参数的经过滤的版本。
图7示出了根据本原理的示例的用于在给定的时间段上收集6个参数corr1、corr2、Yu_min、Yu_max、Yv_min和Yv_max中的每个的值的方法。
在第一步中,例如在检测到场景切换或每n个连续图像之后,初始化6个参数。
根据实施例,在步骤700中,如下针对6个参数中的每一个初始化缓冲器。
corr1_buf[i]是相对于参数corr1的缓冲器,并且对于i=0,n-1,corr1_buf[i]=corr1,其中i是引用属于给定时间段的图像的索引;
corr2_buf[i]=corr2,i=0,n-1,其中corr2_buf[i]是相对于参数corr2的缓冲器;
If(Yu_min!=Yu_min_invalid)then Yu_min_buf[i]=Yu_min else Yu_min_buf[i]=Yu_min_invalid;
If(Yu_max!=Yu_max_invalid)then Yu_max_buf[i]=Yu_max else Yu_max_buf[i]=Yu_max_invalid;
If(Yv_min!=Yv_min_invalid)then Yv_min_buf[i]=Yv_min;
else Yv_min_buf[i]=Yv_min_invalid;
If(Yv_max!=Yv_max_invalid)then Yv_max_buf[i]=Yv_max,else Yv_max_buf[i]=Yv_max_invalid;
其中corr1、corr2、Yu_min、Yu_max、Yv_min和Yv_max是针对给定时间段的每个图像i、由图6的方法生成的传入值,Yu_min_invalid、Yu_max_invalid、Yv_min_invalid和Yv_max_invalid分别是关于参数Yu_min、Yu_max、Yv_min和Yv_max的无效值,并且n是在给定时间段内的图像的数量。对于所有参数,缓冲器尺寸n可以相同,或者可以取决于参数。
当通过图6的方法生成无效值时,这意味着尚未为该当前帧计算有效的亮度范围,即,不需要为当前帧校正对应的U或V分量。因此,不需要暂时稳定当前参数。
对于每个参数,计算代表对应缓冲器的所有值的累积值。
cum_corr1=f(corr1_buf[i],i=0..n-1)
cum_corr2=f(corr2_buf[i],i=0..n-1)
cum_Yu_min=f(Yu_min_buf[i],i=0..n-1)
cum_Yu_max=f(Yu_max_buf[i],i=0..n-1)
cum_Yv_min=f(Yv_min_buf[i],i=0..n-1)
cum_Yv_max=f(Yv_max_buf[i],i=0..n-1)
其中cum_corr1、cum_corr2、cum_Yu_min、cum_Yu_max、cum_Yv_min和cum_Yv_max是关于6个参数的累积值,并且f(.)是函数,其可以是简单和、对缓冲器中的索引i的特定值给予更大权重的加权和。
在步骤710中,在两个相继的场景切换之间,关于6个参数中的每一个并根据直至索引j(0≤i≤j)的若干图像计算的累积值通过以下来更新:
-从当前累积值中减去关于图像j的参数值(即,最旧的参数);
-添加新的参数值,该新的参数值是根据位置j中的当前图像计算的;
-更新索引j处的对应缓冲器;以及
-为每个参数计算经过滤的值。
根据变型,经过滤的值可以是对应的累积值与对应缓冲器的尺寸的简单除法。
根据步骤710的另一个变型,经过滤的值可以是对应的累积值与在计算累积值时所考虑的加权帧的总和对应的数量的除法。
根据步骤710的变型,相减可以是最旧的参数值与以下任何一个参数之间的组合的简单或加权相减。
根据步骤710的变型,相加可以是最新的参数值与任何先前参数之间的组合的简单或加权相加。
根据步骤710的变型,对于Yu_min、Yu_max、Yv_min和Yv_max值,该方法进一步检查与参数对应的缓冲器在当前切换中是否已经被初始化。如果是,那么如果当前值是有效值就更新当前缓冲器的值。否则,如步骤700中所述,初始化缓冲器和累积值。
作为示例,如果针对所有6个参数的缓冲器尺寸n都相同、如果当前索引为j、如果累计值是所有参数的简单和并且如果经过滤的值是缓冲器尺寸n的简单除法,那么计算所有经过滤的值,如下:
-使用简单算法更新所有j索引:
-j++
If(j=n(n=对应缓冲器的尺寸))
j=0
根据图8所示的方法的另一个实施例,当考虑图像序列的第一帧时,初始化参数。
在图1-4c和6-8中,模块是功能单元,其可以与可区分的物理单元相关或不相关。例如,这些模块或其中某些模块可以集成在一个独特的组件或电路中,或者有助于软件的功能。相反,某些模块可以潜在地由分离的物理实体组成。或者使用纯硬件,例如使用专用硬件(诸如ASIC或FPGA或VLSI,分别代表“专用集成电路”、“现场可编程门阵列”、“超大规模集成”),或者从嵌入在设备中的多个集成电子组件或者从硬件和软件组件的混合来实现与本原理兼容的设备。
图5表示装置50的体系架构的示例性实施例,该装置50可以被配置为实现关于图1-4c和6-8所描述的方法。
装置50包括以下元件,这些元件通过数据和地址总线51链接在一起:微处理器52(或CPU),例如,DSP(或数字信号处理器);ROM(或只读存储器)53;RAM(或随机存取存储器)54;I/O接口55,用于接收来自应用的要传输的数据;以及可选地电池1106。根据示例,电池56在装置外部。在每个提到的存储器中,说明书中使用的词“寄存器”可以与容量小的区域(几位)或者与非常大的区域(例如整个程序或大量接收或解码的数据)对应。ROM 53包括至少程序和参数。ROM 53可以存储算法和指令以执行根据本原理的技术。在接通电源后,CPU52将程序上传到RAM 54中并执行对应的指令。RAM 54在寄存器中包括由CPU 52执行并在装置50接通电源后上传的程序、寄存器中的输入数据、寄存器中处于方法的不同状态的中间数据以及寄存器中其它用于执行方法的变量。
本文描述的实施方式可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实施方式的上下文中进行讨论(例如,仅作为方法或装置进行讨论),所讨论的特征的实施方式也可以以其它形式(例如程序)实现。装置可以例如以适当的硬件、软件和固件来实现。该方法可以在例如装置中实现,诸如例如处理器,其是指处理装置,一般而言包括例如计算机、微处理器、集成电路或可编程逻辑装置。处理器还包括通信装置,诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和其它促进最终用户之间的信息通信的装置。
根据示例,从源获得输入视频或输入视频的图像。例如,源属于包括以下内容的集合:本地存储器(53或54),例如视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘;存储接口(55),例如与大容量存储装置、RAM、闪存、ROM、光盘或磁性支架的接口;通信接口(55),例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEE802.11接口或接口);以及图像捕获电路(例如,传感器,诸如例如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体))。
根据示例,携带元数据的位流被发送到目的地。作为示例,位流被存储在本地或远程存储器中,例如存储在视频存储器或RAM(54)、硬盘中。在变型中,其中至少一个位流被发送到存储接口(55)(例如与大容量存储装置、闪存、ROM、光盘或磁性支架的接口),和/或通过通信接口(55)(例如到点对点链路、通信总线、点对多点链路或广播网络的接口)传输。
根据其它示例,从源获得携带元数据的位流。示例性地,从本地存储器(例如视频存储器(54)、RAM(54)、ROM(53)、闪存(53)或硬盘(53))读取位流。在变型中,从存储接口(55)(例如与大容量存储装置、RAM、ROM、闪存、光盘或磁性支架的接口)接收位流,和/或从通信接口(55)(例如对点对点链路、总线、点对多点链路或广播网络的接口)接收位流。
根据示例,被配置为实现如上所述的方法的装置50属于包括以下内容的集合:移动设备、通信设备、游戏设备、平板电脑(或平板计算机)、膝上型计算机、静止图像相机、摄像机、编码/解码芯片、电视机、机顶盒、显示器、静止图像服务器和视频服务器(例如,广播服务器、视频点播服务器或Web服务器)。
本文描述的各种处理和特征的实施方式可以在各种不同的装备或应用中实施。这种装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、将输入提供给编码器的预处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA以及用于处理图像或视频的任何其它设备或者其它通信装置。应当清楚的是,装备可以是移动的,甚至可以安装在移动车辆中。
此外,可以通过由处理器执行的指令来实现方法,并且可以将这样的指令(和/或由实施方式产生的数据值)存储在计算机可读存储介质上。计算机可读存储介质可以采取实施在一个或多个计算机可读介质中并且具有在其上实施的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。给定在其中存储信息的固有能力以及提供从中检索信息的固有能力,如本文使用的计算机可读存储介质被认为是非暂态存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光学、电磁、红外或半导体***、装置或设备,或前述的任意合适组合。应该认识到的是,以下内容虽然提供了可以对其应用本原理的计算机可读存储介质的更多具体示例,但仅仅是说明性列表,而不是详尽列表,如本领域普通技术人员容易认识到的:便携式计算机软盘;硬盘只读存储器(ROM);可擦可编程只读存储器(EPROM或闪存);便携式光盘只读存储器(CD-ROM);光学存储设备;磁存储设备;或上述内容的任意合适组合。
指令可以形成有形地实施在处理器可读介质上的应用。指令可以是例如硬件、固件、软件或其组合。指令可以在例如操作***、单独的应用或两者的组合中找到。因此,处理器的特征可以在于例如被配置为执行处理的装置和包括具有用于执行处理的指令的处理器可读介质(诸如存储装置)的装置。另外,除了或代替指令,处理器可读介质还可以存储由实施方式产生的数据值。
对于本领域技术人员将显而易见的是,实施方式可以产生各种信号,这些信号被格式化以携带例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如,信号可以被格式化为携带用于写入或读取本原理的所述示例的语法的规则作为数据,或者携带由本原理的所述示例写入的实际语法值作为数据。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述了许多实施方式。不过,将理解的是,可以进行各种修改。例如,不同实施方式的元素可以被组合、补充、修改或移除以产生其它实施方式。此外,本领域普通技术人员将理解的是,可以用其它结构和处理代替所公开的结构和处理,并且结果产生的实施方式将以至少基本上相同的(一种或多种)方式执行至少基本上相同的(一个或多个)功能,以实现至少与所公开的实施方式基本上相同的(一个或多个)结果。因而,本申请考虑这些和其它实施方式。
Claims (14)
4.如权利要求3所述的方法或设备,其中调整转换矩阵的系数包括将所述系数除以至少一个校正因子,并且调整转换矩阵的逆的系数包括将所述系数乘以所述至少一个校正因子。
5.如权利要求3或4所述的方法或设备,其中转换矩阵的校正应用于图像的所有像素。
6.如权利要求3或4所述的方法或设备,其中转换矩阵的校正仅应用于其亮度级别属于特定亮度范围的像素。
7.如权利要求1或3-6中的一项所述的方法或根据权利要求2-6中的一项所述的设备,其中所述方法还包括传输代表经校正的转换矩阵、转换矩阵的经校正的逆或至少一个校正因子的信息数据的步骤,并且所述设备还包括用于传输代表经校正的转换矩阵、转换矩阵的经校正的逆或至少一个校正因子的信息数据的部件。
9.如权利要求8所述的方法或设备,其中通过将给定的色度校正函数除以校正因子来导出经校正的色度校正函数。
10.如权利要求9所述的方法或设备,其中所述方法还包括传输代表经校正的色度校正函数或所述校正因子的信息数据的步骤,并且所述设备还包括用于传输代表经校正的色度校正函数或所述校正因子的信息数据的部件。
11.如权利要求1、3-7、9-10中的一项所述的方法或如权利要求2-7、9-10中的一项所述的设备,其中针对图像的色度分量获得校正因子和亮度范围的两个界限,并且其中在当前时刻之前的给定时间段内收集两个校正因子、所述校正因子的值和亮度范围的所述两个界限,并且在当前时刻递送这些值中的每个值的经过滤的版本。
12.一种信号,该信号携带代表校正的信息数据,该校正旨在被用于独立于关于图像的另一个色度分量的转换矩阵的系数来调整关于所述图像的色度分量的转换矩阵的系数。
13.一种包括指令的计算机程序产品,当所述程序由计算机运行时,所述指令使所述计算机执行如权利要求1所述的方法的步骤。
14.一种包括指令的非瞬态计算机可读介质,当所述指令由计算机运行时,使所述计算机执行如权利要求1所述的方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17306639 | 2017-11-24 | ||
EP17306639.0 | 2017-11-24 | ||
EP17306781 | 2017-12-15 | ||
EP17306781.0 | 2017-12-15 | ||
PCT/EP2018/069475 WO2019101373A1 (en) | 2017-11-24 | 2018-07-18 | Method and apparatus for colour correction during hdr to sdr conversion |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111386704A true CN111386704A (zh) | 2020-07-07 |
CN111386704B CN111386704B (zh) | 2022-07-12 |
Family
ID=62948130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880076008.2A Active CN111386704B (zh) | 2017-11-24 | 2018-07-18 | 用于在hdr到sdr转换期间的颜色校正的方法和装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11423522B2 (zh) |
EP (1) | EP3714603A1 (zh) |
KR (1) | KR102496345B1 (zh) |
CN (1) | CN111386704B (zh) |
BR (1) | BR112020009563A2 (zh) |
CA (1) | CA3081406A1 (zh) |
WO (1) | WO2019101373A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11928796B2 (en) * | 2017-12-01 | 2024-03-12 | Interdigital Patent Holdings, Inc. | Method and device for chroma correction of a high-dynamic-range image |
CN116508054A (zh) * | 2020-10-21 | 2023-07-28 | 交互数字Ce专利控股有限公司 | 用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置 |
US11776163B1 (en) | 2020-12-30 | 2023-10-03 | Waymo Llc | Systems, methods, and apparatus for correcting desaturation of images with transformed color values by appling a matrix |
WO2023194089A1 (en) * | 2022-04-04 | 2023-10-12 | Interdigital Ce Patent Holdings, Sas | Method for correcting sdr pictures in a sl-hdr1 system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300536A (ja) * | 1992-04-23 | 1993-11-12 | Hitachi Denshi Ltd | カラーテレビジョン信号処理回路 |
CN105164996A (zh) * | 2013-04-29 | 2015-12-16 | 杜比实验室特许公司 | 针对色度下采样的图像格式的抖动 |
US20170105014A1 (en) * | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Luma-driven chroma scaling for high dynamic range and wide color gamut contents |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8731287B2 (en) | 2011-04-14 | 2014-05-20 | Dolby Laboratories Licensing Corporation | Image prediction based on primary color grading model |
TWI513327B (zh) | 2011-04-15 | 2015-12-11 | Dolby Lab Licensing Corp | 高動態範圍影像的編碼、解碼及表示 |
US9129445B2 (en) | 2012-03-14 | 2015-09-08 | Dolby Laboratories Licensing Corporation | Efficient tone-mapping of high-bit-depth video to low-bit-depth display |
JP6288943B2 (ja) | 2013-05-20 | 2018-03-07 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 映像表示装置 |
WO2016056787A1 (en) | 2014-10-06 | 2016-04-14 | Samsung Electronics Co., Ltd. | Display device and method of controlling the same |
US9736335B2 (en) * | 2015-04-15 | 2017-08-15 | Apple Inc. | Techniques for advanced chroma processing |
US9857953B2 (en) | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
US9984446B2 (en) | 2015-12-26 | 2018-05-29 | Intel Corporation | Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content |
US10019785B2 (en) | 2016-03-07 | 2018-07-10 | Novatek Microelectronics Corp. | Method of processing high dynamic range images using dynamic metadata |
JP6846442B2 (ja) * | 2016-05-19 | 2021-03-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ画像のためのクロマ再構成 |
US10462334B2 (en) * | 2016-11-04 | 2019-10-29 | Disney Enterprises, Inc. | Pipeline for high dynamic range video coding based on luminance independent chromaticity preprocessing |
CN106851272B (zh) | 2017-01-20 | 2019-11-12 | 杭州当虹科技股份有限公司 | 一种hdr和sdr自适应码率控制的方法 |
US10778978B2 (en) * | 2017-08-21 | 2020-09-15 | Qualcomm Incorporated | System and method of cross-component dynamic range adjustment (CC-DRA) in video coding |
-
2018
- 2018-07-18 US US16/766,387 patent/US11423522B2/en active Active
- 2018-07-18 EP EP18742490.8A patent/EP3714603A1/en active Pending
- 2018-07-18 BR BR112020009563-0A patent/BR112020009563A2/pt unknown
- 2018-07-18 CN CN201880076008.2A patent/CN111386704B/zh active Active
- 2018-07-18 KR KR1020207014481A patent/KR102496345B1/ko active IP Right Grant
- 2018-07-18 CA CA3081406A patent/CA3081406A1/en active Pending
- 2018-07-18 WO PCT/EP2018/069475 patent/WO2019101373A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300536A (ja) * | 1992-04-23 | 1993-11-12 | Hitachi Denshi Ltd | カラーテレビジョン信号処理回路 |
CN105164996A (zh) * | 2013-04-29 | 2015-12-16 | 杜比实验室特许公司 | 针对色度下采样的图像格式的抖动 |
US20170105014A1 (en) * | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Luma-driven chroma scaling for high dynamic range and wide color gamut contents |
Non-Patent Citations (1)
Title |
---|
刘强: "基于宽色域色彩光谱样本集的色度校正方法研究", 《光谱学与光谱分析》 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019101373A1 (en) | 2019-05-31 |
US11423522B2 (en) | 2022-08-23 |
BR112020009563A2 (pt) | 2020-11-03 |
KR102496345B1 (ko) | 2023-02-06 |
EP3714603A1 (en) | 2020-09-30 |
US20200349685A1 (en) | 2020-11-05 |
KR20200090162A (ko) | 2020-07-28 |
CA3081406A1 (en) | 2019-05-31 |
CN111386704B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111386704B (zh) | 用于在hdr到sdr转换期间的颜色校正的方法和装置 | |
US11902595B2 (en) | Method and apparatus for processing a medium dynamic range video signal in SL-HDR2 format | |
CN110521198B (zh) | 用于重构hdr图像的方法和设备 | |
US10600163B2 (en) | Method and device for reconstructing a display adapted HDR image | |
CN111434114B (zh) | 处理图像 | |
CN110741623B (zh) | 用于色域映射的方法和设备 | |
CN110574376A (zh) | 用于解码高动态范围图像的方法和设备 | |
WO2019203973A1 (en) | Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity | |
CN111466117B (zh) | 处理图像 | |
JP2019097013A (ja) | ディスプレイ適合hdr画像を再構成する方法およびデバイス | |
JP7464537B2 (ja) | 画像を符号化するための方法および装置 | |
RU2776101C1 (ru) | Способ и устройство для восстановления адаптированного к дисплею изображения hdr | |
RU2802304C2 (ru) | Способ и оборудование для кодирования изображения | |
CA2986520A1 (en) | Method and device for reconstructing a display adapted hdr image | |
CN113228670A (zh) | 对图像进行解码 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |