CN113596428B - 映射曲线参数的获取方法和装置 - Google Patents

映射曲线参数的获取方法和装置 Download PDF

Info

Publication number
CN113596428B
CN113596428B CN202010366684.2A CN202010366684A CN113596428B CN 113596428 B CN113596428 B CN 113596428B CN 202010366684 A CN202010366684 A CN 202010366684A CN 113596428 B CN113596428 B CN 113596428B
Authority
CN
China
Prior art keywords
mapping curve
parameters
brightness
parameter
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010366684.2A
Other languages
English (en)
Other versions
CN113596428A (zh
Inventor
徐巍炜
余全合
陈虎
王弋川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202010366684.2A priority Critical patent/CN113596428B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211470053.0A priority patent/CN115883810A/zh
Priority to PCT/CN2021/088679 priority patent/WO2021218738A1/zh
Priority to KR1020227041050A priority patent/KR20230006521A/ko
Priority to JP2022565662A priority patent/JP2023523060A/ja
Priority to EP21796304.0A priority patent/EP4135305A4/en
Priority to TW112131018A priority patent/TW202402048A/zh
Priority to TW110115421A priority patent/TWI816114B/zh
Publication of CN113596428A publication Critical patent/CN113596428A/zh
Priority to US17/976,426 priority patent/US20230042923A1/en
Application granted granted Critical
Publication of CN113596428B publication Critical patent/CN113596428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本申请公开了映射曲线参数的获取方法和装置,该方法包括:获取第一映射曲线参数集合和第一目标***显示最大亮度;获取显示亮度参数集合,显示亮度参数集合包括显示设备的最大显示亮度和/或最小显示亮度;获取调整系数集合,调整系数集合包括一个或多个调整系数,一个或多个调整系数和第一映射曲线参数集合中的一个或多个参数对应;根据显示亮度参数集合、第一目标***显示最大亮度和调整系数集合对第一映射曲线参数集合中的一个或多个参数进行调整得到第二映射曲线参数集合,第二映射曲线参数集合包括一个或多个调整后的参数。实施本申请能够针对不同亮度的显示设备提供更精确地色调调整,具有较大的灵活性。

Description

映射曲线参数的获取方法和装置
技术领域
本申请涉及图像处理领域,尤其涉及一种映射曲线参数的获取方法和装置。
背景技术
动态范围(dynamic range)在很多领域用来表示某个变量的最大值和最小值的比率。在数字图像中,动态范围用于表示在图像可显示的范围内最大灰度值和最小灰度值之间的比率。真实世界的同一场景下,其动态范围通常在10-3坎德拉/平方米(cd/m2)到106cd/m2之间,称作高动态范围(high dynamic range,HDR)。目前大部分的彩色数字图像中,0~255就是图像的动态范围,称作低动态范围(low dynamic range,LDR)。
由于显示设备的照度范围和真实世界的动态范围存在差异,因此需要将真实世界的动态范围映射至显示设备的照度范围,称作动态范围的映射。动态范围的映射可以应用在前端HDR信号和后端HDR的显示设备的适配上,例如,前端采集到4000cd/m2的光照信号,而后端HDR的显示设备的HDR显示能力为500cd/m2,把4000cd/m2的光照信号映射到500cd/m2的显示设备上,是一种从高到低的色调映射(tone mapping,TM)过程。动态范围的映射也可以应用在前端SDR信号和后端HDR的显示设备的适配上,例如,前端采集到100cd/m2的光照信号,而后端HDR的显示设备的HDR显示能力为2000cd/m2,把100cd/m2的光照信号映射到2000cd/m2的显示设备上,是一种从低到高的TM过程。
目前动态范围的映射方法可以分为静态和动态两种。静态的映射方法是根据同一个视频内容或者同一个硬盘内容,由单一的数据进行整体的TM过程,也就是针对各种场景,映射曲线通常是一样的。这种方法的优点是图像需要携带的数据较少,并且处理流程比较简单;缺点是所有场景都使用同一映射曲线进行TM,这样在有一些场景会导致信息丢失,例如如果映射曲线重点保护的是亮区,那么在一些极其暗的场景会丢掉一些细节,或者干脆看不见,这样会影响图像的显示效果。动态的映射方法是根据特定区域,针对每一个场景或者每一帧的内容进行映射曲线的动态调整,这种方法的优点是可以实现不同场景或者不同帧的差异化处理;缺点是需要在每一帧或者每一场景中携带相关的场景信息,图像需要携带的数据量较大。
发明内容
本申请实施例提供一种映射曲线参数的获取方法和装置,可以针对不同亮度的显示设备提供更精确地色调调整,具有较大的灵活性。
第一方面,本申请实施例提供了一种映射曲线参数的获取方法,包括:获取第一映射曲线参数集合和第一目标***显示最大亮度,所述第一映射曲线参数集合和所述第一目标***显示最大亮度对应,所述第一映射曲线参数集合包括与映射曲线相关的一个或多个参数;获取显示亮度参数集合,所述显示亮度参数集合包括显示设备的最大显示亮度和/或最小显示亮度;获取调整系数集合,所述调整系数集合包括一个或多个调整系数,所述一个或多个调整系数和所述第一映射曲线参数集合中的所述一个或多个参数对应;根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,所述第二映射曲线参数集合包括一个或多个调整后的参数。
本申请通过对于映射曲线相关的一个或多个参数进行调整,该调整过程结合了后端的显示能力,可以针对不同亮度的显示设备提供更精确地色调调整,具有较大的灵活性,也可以在合理配置曲线参数的情况下达到很好的呈现效果。
在一种可能的实现方式中,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:根据公式(1)计算调整后的第一参数,所述第一参数为所述第一映射曲线参数集合中的任意一个参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=Pb+k×PΔ (1)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,PΔ表示所述第一参数对应的所述调整系数,
Figure BDA0002476947550000021
或者
Figure BDA0002476947550000022
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值。
采用调整系数对与映射曲线相关的一个或多个参数进行调整,该调整过程结合了后端的显示能力,可以针对不同亮度的显示设备提供更精确地色调调整,具有较大的灵活性,也可以在合理配置曲线参数的情况下达到很好的呈现效果。
在一种可能的实现方式中,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合之前,还包括:获取待显示内容的最大亮度、最小亮度、平均值以及变化范围中的一个或多个,根据所述最大显示亮度、所述最小显示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述变化范围中的一个或多个得到的第一参数的中间值,所述第一参数为所述第一映射曲线参数集合中的任意一个参数;所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:根据公式(2)计算调整后的第一参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=(1-w)×Pb+w×Pm (2)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,
Figure BDA0002476947550000023
或者
Figure BDA0002476947550000024
PΔ表示所述第一参数对应的所述调整系数,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值,Pm表示所述第一参数的中间值。
通过多个参数以加权的方式得到与映射曲线相关的一个或多个参数,该过程结合了后端的显示能力,可以针对不同亮度的显示设备提供更精确地色调调整,具有较大的灵活性,也可以在合理配置曲线参数的情况下达到很好的呈现效果。
在一种可能的实现方式中,根据公式计算调整后的第一参数后,还包括:根据所述调整后的第一参数和所述第一映射曲线参数集合中除所述第一参数外的其他参数获取第一映射曲线,若根据所述第一映射曲线进行色调映射后得到的待显示内容亮度高于待显示内容的原始亮度,则继续对所述第一参数进行调整;或者,根据预设规则分析所述调整后的第一参数,若所述调整后的第一参数符合所述预设规则,则继续对所述第一参数进行调整。
逐次微调与映射曲线相关的参数,可以提高映射曲线参数的准确性。
在一种可能的实现方式中,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:当所述第一映射曲线参数集合中包括缩放因子时,根据公式(3)计算调整后的所述缩放因子:
Figure BDA0002476947550000031
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
在一种可能的实现方式中,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:当所述第一映射曲线参数集合中包括缩放因子时,根据公式(4)计算调整后的所述缩放因子:
Figure BDA0002476947550000032
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
在一种可能的实现方式中,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:当所述第一映射曲线参数集合中包括缩放因子时,根据公式(5)计算调整后的所述缩放因子:
Figure BDA0002476947550000041
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
在一种可能的实现方式中,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:当所述第一映射曲线参数集合中包括缩放因子时,根据公式(6)计算调整后的所述缩放因子:
Figure BDA0002476947550000042
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
在一种可能的实现方式中,所述获取第一映射曲线参数集合和第一目标***显示最大亮度,包括:从待显示内容的动态元数据中获取所述第一映射曲线参数集合和所述第一目标***显示最大亮度;或者,从所述动态元数据中获取所述第一映射曲线参数集合,根据设定的对应关系获取与所述第一映射曲线参数集合对应的所述第一目标***显示最大亮度。
在一种可能的实现方式中,所述获取调整系数集合,包括:从待显示内容的动态元数据中获取所述调整系数集合;或者,根据预设值获取所述调整系数集合。
在一种可能的实现方式中,所述获取调整系数集合,包括:直接读取一个或多个调整系数;或者,获取调整模式,并获取与所述调整模式对应的所述一个或多个调整系数。
在一种可能的实现方式中,所述获取显示亮度参数集合,包括:通过设备信息获取所述显示亮度参数集合;或者,通过预设信息获取所述显示亮度参数集合。
在一种可能的实现方式中,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合之后,还包括:根据所述第二映射曲线参数集合中的所述一个或多个调整后的参数获取映射曲线。
第二方面,本申请实施例提供了一种待显示内容处理装置,包括:获取模块,用于获取第一映射曲线参数集合和第一目标***显示最大亮度,所述第一映射曲线参数集合和所述第一目标***显示最大亮度对应,所述第一映射曲线参数集合包括与映射曲线相关的一个或多个参数;获取显示亮度参数集合,所述显示亮度参数集合包括显示设备的最大显示亮度和/或最小显示亮度;获取调整系数集合,所述调整系数集合包括一个或多个调整系数,所述一个或多个调整系数和所述第一映射曲线参数集合中的所述一个或多个参数对应;处理模块,用于根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,所述第二映射曲线参数集合包括一个或多个调整后的参数。
在一种可能的实现方式中,所述处理模块,具体用于根据公式(1)计算调整后的第一参数,所述第一参数为所述第一映射曲线参数集合中的任意一个参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=Pb+k×PΔ (1)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,PΔ表示所述第一参数对应的所述调整系数,
Figure BDA0002476947550000051
或者
Figure BDA0002476947550000052
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值。
在一种可能的实现方式中,所述获取模块,还用于获取待显示内容的最大亮度、最小亮度、平均值以及变化范围中的一个或多个,根据所述最大显示亮度、所述最小显示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述变化范围中的一个或多个得到的第一参数的中间值,所述第一参数为所述第一映射曲线参数集合中的任意一个参数;所述处理模块,具体用于根据公式(2)计算调整后的第一参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=(1-w)×Pb+w×Pm (2)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,
Figure BDA0002476947550000053
或者
Figure BDA0002476947550000054
PΔ表示所述第一参数对应的所述调整系数,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值,Pm表示所述第一参数的中间值。
在一种可能的实现方式中,所述处理模块,还用于根据所述调整后的第一参数和所述第一映射曲线参数集合中除所述第一参数外的其他参数获取第一映射曲线,若根据所述第一映射曲线进行色调映射后得到的待显示内容亮度高于待显示内容的原始亮度,则继续对所述第一参数进行调整;或者,根据预设规则分析所述调整后的第一参数,若所述调整后的第一参数符合所述预设规则,则继续对所述第一参数进行调整。
在一种可能的实现方式中,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(3)计算调整后的所述缩放因子:
Figure BDA0002476947550000061
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
在一种可能的实现方式中,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(4)计算调整后的所述缩放因子:
Figure BDA0002476947550000062
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
在一种可能的实现方式中,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(5)计算调整后的所述缩放因子:
Figure BDA0002476947550000063
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
在一种可能的实现方式中,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(6)计算调整后的所述缩放因子:
Figure BDA0002476947550000071
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
在一种可能的实现方式中,所述获取模块,具体用于从待显示内容的动态元数据中获取所述第一映射曲线参数集合和所述第一目标***显示最大亮度;或者,从所述动态元数据中获取所述第一映射曲线参数集合,根据设定的对应关系获取与所述第一映射曲线参数集合对应的所述第一目标***显示最大亮度。
在一种可能的实现方式中,所述获取模块,具体用于从待显示内容的动态元数据中获取所述调整系数集合;或者,根据预设值获取所述调整系数集合。
在一种可能的实现方式中,所述获取模块,具体用于直接读取一个或多个调整系数;或者,获取调整模式,并获取与所述调整模式对应的所述一个或多个调整系数。
在一种可能的实现方式中,所述获取模块,具体用于通过设备信息获取所述显示亮度参数集合;或者,通过预设信息获取所述显示亮度参数集合。
在一种可能的实现方式中,所述获取模块,还用于根据所述第二映射曲线参数集合中的所述一个或多个调整后的参数获取映射曲线。
第三方面,本申请实施例提供了一种终端设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。
第五方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
应当理解的是,本申请的第二至五方面与本申请的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1示出了真实世界的成像过程中动态范围映射的一个示例图;
图2示例性的示出了PQ光电转移函数的一个曲线示意图;
图3示例性的示出了HLG光电转移函数的一个曲线示意图;
图4示例性的示出了SLF光电转移函数的一个曲线示意图;
图5示例性的示出了sigmoidal曲线的一个示意图;
图6示例性的示出了贝泽尔曲线的一个示意图;
图7示例性的示出了S型曲线的一个示意图;
图8示例性地给出了本申请实施例所应用的视频处理***的示意性框图;
图9示出了终端设备900的一个示例性的结构示意图;
图10为本申请映射曲线参数的获取方法实施例的流程图;
图11是用于实现本申请实施例的一种视频处理装置1100的结构框图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。以下描述中,参考形成本公开一部分并以说明之方式示出本申请实施例的具体方面或可使用本申请实施例的具体方面的附图。应理解,本申请实施例可在其它方面中使用,并可包括附图中未描绘的结构或逻辑变化。因此,以下详细描述不应以限制性的意义来理解,且本申请的范围由所附权利要求书界定。例如,应理解,结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或***,且反之亦然。例如,如果描述一个或多个具体方法步骤,则对应的设备可以包含如功能单元等一个或多个单元,来执行所描述的一个或多个方法步骤(例如,一个单元执行一个或多个步骤,或多个单元,其中每个都执行多个步骤中的一个或多个),即使附图中未明确描述或说明这种一个或多个单元。另一方面,例如,如果基于如功能单元等一个或多个单元描述具体装置,则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如,一个步骤执行一个或多个单元的功能性,或多个步骤,其中每个执行多个单元中一个或多个单元的功能性),即使附图中未明确描述或说明这种一个或多个步骤。进一步,应理解的是,除非另外明确提出,本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。下面先对本申请实施例可能涉及的一些概念进行简单介绍。
一、动态范围(dynamic range)
动态范围在很多领域用来表示某个变量的最大值和最小值的比率。在数字图像中,动态范围用于表示在图像可显示的范围内最大灰度值和最小灰度值之间的比率。
在自然界中,星空下的夜景亮度约为0.001cd/m2,太阳本身亮度高达109cd/m2,动态范围可达到109/0.001=1012cd/m2量级。但是在自然界的真实世界中,太阳的亮度和星光的亮度不会同时得到,因此对真实世界的同一场景来说,其动态范围通常在10-3cd/m2到106cd/m2之间,称作高动态范围(high dynamic range,HDR)。目前大部分的彩色数字图像中,红色(R)、绿色(G)和蓝色(B)三个通道的灰度分别使用一个字节来存储,亦即R、G和B三个通道的灰度范围分别是0~255,该0~255就是图像的动态范围,称作低动态范围(lowdynamic range,LDR)。
二、光电转移函数(optical-electro transfer function,OETF)
数码相机的成像过程实际上就是真实世界的高动态范围到数字图像的低动态范围的映射。图1示出了真实世界的成像过程中动态范围映射的一个示例图,如图1所示,真实世界中除星光的亮度和太阳的亮度外,还包括月光的亮度为1cd/m2,室内照明的亮度为100cd/m2,室外多云天气时的亮度为500cd/m2,室外晴天时的亮度为2000cd/m2。真实世界中亮度范围100cd/m2到2000cd/m2和显示设备的存储的方式所对应的亮度范围1cd/m2到200cd/m2成映射关系。
由于显示设备的存储方式并不能达到真实世界的高亮度,因此需要光电转移函数(electro-optical transfer function,EOTF),将真实世界中的亮度表示为显示设备的存储方式所对应的亮度。例如,真实世界中的亮度为10000cd/m2,显示设备用10比特存储亮度信息,那么该存储方式下可存储的最大值为1023,因此可以将10000cd/m2表示为1023。
早期的显示设备是阴极射线显像管(cathode ray tube,CRT)显示器,其光电转移函数就是伽马(Gamma)函数。在ITU-R Recommendation BT.1886标准当中定义了该Gamma函数:
Figure BDA0002476947550000091
随着显示设备的升级,显示设备的照度范围不断增加,现有的HDR显示器的照度达到600cd/m2,高端的HDR显示器的照度能达到2000cd/m2。因此需要改进的光电转移函数以适应显示设备的升级,现阶段常见的光电转移函数有感知量化(perception quantization,PQ)光电转移函数、混合对数伽马(hybrid log-gamma,HLG)光电转移函数和场景亮度保真(scene luminance fidelity,SLF)光电转移函数三种。
(1)PQ光电转移函数:不同于传统的Gamma函数,根据人眼的在不同亮度下的对比度感知模型,提出了PQ光电转移函数。PQ光电转移函数表示图像帧像素的线性信号值到PQ域非线性信号值的转换关系,图2示例性的示出了PQ光电转移函数的一个曲线示意图。PQ光电转移函数可以表示为:
Figure BDA0002476947550000092
上述公式中对应于R、G和B的参数可以通过公式
Figure BDA0002476947550000093
计算,其中,L表示图像帧像素的线性信号值,其值归一化为[0,1];L’表示PQ域非线性信号值,其取值范围为[0,1];m1、m2、c1、c2和c3均为PQ光电转移系数,
Figure BDA0002476947550000094
Figure BDA0002476947550000095
(2)HLG光电转移函数:是在传统的Gamma曲线的基础上改进得到的,HLG光电转移函数在低段应用传统的Gamma曲线,在高段补充了log曲线。HLG光电转移函数表示图像帧像素的线性信号值到HLG域非线性信号值的转换关系,图3示例性的示出了HLG光电转移函数的一个曲线示意图。HLG光电转移函数可以表示为:
Figure BDA0002476947550000101
其中,L表示图像帧像素的线性信号值,其取值范围为[0,12];L’表示HLG域非线性信号值,其取值范围为[0,1];a、b和c均为HLG光电转移系数,a=0.17883277,b=0.28466892,c=0.55991073。
(3)SLF光电转移函数:在满足人眼光学特性的前提下,根据HDR场景亮度分布得到。SLF光电转移函数表示图像帧像素的线性信号值到SLF域非线性信号值的转换关系,图4示例性的示出了SLF光电转移函数的一个曲线示意图。SLF光电转移函数可以表示为:
Figure BDA0002476947550000102
上述公式中对应于R、G和B的参数可以通过公式
Figure BDA0002476947550000103
计算,其中,L表示图像帧像素的线性信号值,其值归一化为[0,1];L’表示PQ域非线性信号值,其取值范围为[0,1];p、m、a和b均为SLF光电转移系数,p=2.3,m=0.14,a=1.12762,b=-0.12762。
三、动态范围的映射
动态范围的映射可以应用在前端HDR信号和后端HDR的显示设备的适配上,例如,前端采集到4000cd/m2的光照信号,而后端HDR的显示设备的HDR显示能力为500cd/m2,把4000cd/m2的光照信号映射到500cd/m2的显示设备上,是一种从高到低的色调映射(tonemapping,TM)过程。动态范围的映射也可以应用在前端SDR信号和后端HDR的显示设备的适配上,例如,前端采集到100cd/m2的光照信号,而后端HDR的显示设备的HDR显示能力为2000cd/m2,把100cd/m2的光照信号映射到2000cd/m2的显示设备上,是一种从低到高的TM过程。
目前动态范围的映射方法可以分为静态和动态两种。静态的映射方法是根据同一个视频内容或者同一个硬盘内容,由单一的数据进行整体的TM过程,也就是针对各种场景,映射曲线通常是一样的。这种方法的优点是视频需要携带的数据较少,并且处理流程比较简单;缺点是所有场景都使用同一映射曲线进行TM,这样在有一些场景会导致信息丢失,例如如果映射曲线重点保护的是亮区,那么在一些极其暗的场景会丢掉一些细节,或者完全看不见,这样会影响视频的显示效果。动态的映射方法是根据特定区域,针对每一个场景或者每一帧的内容进行映射曲线的动态调整,这种方法的优点是可以实现不同场景或者不同帧的差异化处理;缺点是需要在每一帧或者每一场景中携带相关的场景信息,视频需要携带的数据量较大。
四、TM技术
(1)基于sigmoidal曲线的TM过程
图5示例性的示出了sigmoidal曲线的一个示意图。
(2)基于贝泽尔曲线的TM过程
图6示例性的示出了贝泽尔曲线的一个示意图。
(3)基于人眼感知的S型曲线的TM过程
图7示例性的示出了S型曲线的一个示意图,S曲线对应的光电转移函数可以表示为:
Figure BDA0002476947550000111
其中,L和L’分别为归一化的电信号或者光信号,其取值范围均为[0,1];a的取值范围为[0,1];b的取值范围为[0,1];p、n和m的取值范围均为[0,N],N为大于0.1的有理数;k1、k2、k3均为有理数。
五、动态元数据
前端(视频采集和/制作)会在发送给后端(视频显示)的动态元数据中携带与映射曲线相关的参数。
(1)sigmoidal曲线
在St2094-10提出的sigmoidal曲线相关的动态元数据定义中不单包含了视频亮度的最大值(Maximum PQ-encoded maxRGB)、最小值(Minimum PQ-encoded maxRGB)、平均值(Average PQ-encoded maxRGB)等统计值,还包含了色调映射偏移(tone mappingoffset)、色调映射增益(tone mapping gain)和色调映射伽马(tone mapping gamma)等sigmoid曲线相关的参数,用于直接生成sigmoidal曲线。
但是上述参数的生成方式比较固定,动态元数据包含的参数无法给曲线生成提供更多的灵活性。
(2)贝泽尔曲线
在St2094-40提出的基于贝泽尔曲线相关的动态元数据定义中包含了直方图信息(Distribution MaxRGB),还包含了贝泽尔曲线相关的参数(bezier curve anchors),用于直接生成贝泽尔曲线。
另外,ST2094系列的标准中都包含了目标***显示最大(峰值)亮度(targeted_system_display_maximum_luminance,TSDAPL)。
但是上述参数在前端生成时对应于TSDAPL,而在后端不同的显示设备使用相同的曲线,无法达到最好的显示效果。
(3)S型曲线
动态元数据中可以包含视频亮度的最大值、最小值、平均值等统计值,也可以包含p、m、a、b、n、K1、K2、K3等S型曲线相关的参数。
下面描述本申请实施例所应用的***架构。图8示例性地给出了本申请实施例所应用的视频处理***的示意性框图。如图8所示,视频处理***分为前端和后端,其中,前端包括采集和/或制作视频的模块,后端包括HDR显示模块和/或SDR显示模块。前端将采集到的视频数据经预处理后传输给后端,同时还会携带视频数据的动态元数据。后端根据视频数据,结合对应的动态元数据对视频中的图像帧进行增强处理,得到颜色、亮度及对比度等俱佳的图像,并显示出来。
本申请中前端和后端可以是各自独立的、不同的物理设备,例如,前端可以是摄像机、相机、图像绘制机等具有视频采集功能的设备,后端可以是手机、平板、机顶盒、电视等具有视频播放功能的设备。此时前端和后端之间可以建立无线连接或有线连接,其中无线连接可以采用包括例如长期演进(long term evolution,LTE)、第五代(5th generation,5G)移动通信以及未来的移动通信等技术。无线连接还可以包括无线保真(wireless-fidelity,WiFi)、蓝牙、近场通信(Near Field Communication,NFC)等技术。有线连接可以包括以太网连接、局域网连接等。对此不作具体限定。本申请还可以将前端的功能和后端的功能集成在同一个物理设备上,例如,具有视频拍摄功能的手机、平板、机顶盒、电视,图像绘制机等。本申请还可以将前端的部分功能和后端的部分功能集成在同一个物理设备上。对此不作具体限定。
上述集成了前端的功能和后端的功能的设备可以部署在陆地上,包括室内或室外、手持或车载;也可以部署在水面上(如轮船等);还可以部署在空中(例如飞机、气球和卫星上等)。终端设备可以是手机(mobile phone)、平板电脑(pad)、具备无线通讯功能的可穿戴设备(如智能手表)、具有定位功能的位置追踪器、带无线收发功能的电脑、虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线设备、无人驾驶(self driving)中的无线设备、远程医疗(remote medical)中的无线设备、智能电网(smart grid)中的无线设备、运输安全(transportation safety)中的无线设备、智慧城市(smart city)中的无线设备、智慧家庭(smart home)中的无线设备等,本申请对此不作限定。
图9示出了终端设备900的一个示例性的结构示意图。如图9所示,终端设备900包括:应用处理器901、微控制器单元(microcontroller unit,MCU)902、存储器903、调制解调器(modem)904、射频(radio frequency,RF)模块905、无线保真(Wireless-Fidelity,简称Wi-Fi)模块906、蓝牙模块907、传感器908、输入/输出(input/output,I/O)设备909、定位模块910等部件。这些部件可通过一根或多根通信总线或信号线进行通信。前述通信总线或信号线可以是本申请提供的CAN总线。本领域技术人员可以理解,终端设备900可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图9对终端设备900的各个部件进行具体的介绍:
应用处理器901是终端设备900的控制中心,利用各种接口和总线连接终端设备900的各个部件。在一些实施例中,处理器901可包括一个或多个处理单元。
存储器903中存储有计算机程序,诸如图9所示的操作***911和应用程序912。应用处理器901被配置用于执行存储器903中的计算机程序,从而实现该计算机程序定义的功能,例如应用处理器901执行操作***911从而在终端设备900上实现操作***的各种功能。存储器903还存储有除计算机程序之外的其他数据,诸如操作***911和应用程序912运行过程中产生的数据。存储器903为非易失性存储介质,一般包括内存和外存。内存包括但不限于随机存取存储器(random access memory,RAM),只读存储器(read-only memory,ROM),或高速缓存(cache)等。外存包括但不限于闪存(flash memory)、硬盘、光盘、通用串行总线(universal serial bus,USB)盘等。计算机程序通常被存储在外存上,处理器在执行计算机程序前会将该程序从外存加载到内存。
存储器903可以是独立的,通过总线与应用处理器901相连接;存储器903也可以和应用处理器901集成到一个芯片子***。
MCU 902是用于获取并处理来自传感器908的数据的协处理器,MCU 902的处理能力和功耗小于应用处理器901,但具有“永久开启(always on)”的特点,可以在应用处理器901处于休眠模式时持续收集以及处理传感器数据,以极低的功耗保障传感器的正常运行。在一个实施例中,MCU 902可以为sensor hub芯片。传感器908可以包括光传感器、运动传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示器9091的亮度,接近传感器可在终端设备900移动到耳边时,关闭显示屏的电源。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向;传感器908还可以包括陀螺仪、气压计、湿度计、温度计、红外线传感器等其它传感器,在此不再赘述。MCU 902和传感器908可以集成到同一块芯片上,也可以是分离的元件,通过总线连接。
modem 904以及射频模块905构成了终端设备900通信子***,用于实现无线通信标准协议的主要功能。其中,modem 904用于编解码、信号的调制解调、均衡等。射频模块905用于无线信号的接收和发送,射频模块905包括但不限于天线、至少一个放大器、耦合器、双工器等。射频模块905配合modem 904实现无线通信功能。modem 904可以作为单独的芯片,也可以与其他芯片或电路在一起形成***级芯片或集成电路。这些芯片或集成电路可应用于所有实现无线通信功能的终端设备,包括:手机、电脑、笔记本、平板、路由器、可穿戴设备、汽车、家电设备等。
终端设备900还可以使用Wi-Fi模块906,蓝牙模块907等来进行无线通信。Wi-Fi模块906用于为终端设备900提供遵循Wi-Fi相关标准协议的网络接入,终端设备900可以通过Wi-Fi模块906接入到Wi-Fi接入点,进而访问互联网。在其他一些实施例中,Wi-Fi模块906也可以作为Wi-Fi无线接入点,可以为其他终端设备提供Wi-Fi网络接入。蓝牙模块907用于实现终端设备900与其他终端设备(例如手机、智能手表等)之间的短距离通信。本申请实施例中的Wi-Fi模块906可以是集成电路或Wi-Fi芯片等,蓝牙模块907可以是集成电路或者蓝牙芯片等。
定位模块910用于确定终端设备900的地理位置。可以理解的是,定位模块910具体可以是全球定位***(global position system,GPS)或北斗卫星导航***、俄罗斯GLONASS等定位***的接收器。
Wi-Fi模块906,蓝牙模块907和定位模块910分别可以是单独的芯片或集成电路,也可以集成到一起。例如,在一个实施例中,Wi-Fi模块906,蓝牙模块907和定位模块910可以集成到同一芯片上。在另一个实施例中,Wi-Fi模块906,蓝牙模块907、定位模块910以及MCU 902也可以集成到同一芯片中。
输入/输出设备909包括但不限于:显示器9091、触摸屏9092,以及音频电路9093等等。
其中,触摸屏9092可采集终端设备900的用户在其上或附近的触摸事件(比如用户使用手指、触控笔等任何适合的物体在触摸屏9092上或在触控屏触摸屏9092附近的操作),并将采集到的触摸事件发送给其他器件(例如应用处理器901)。其中,用户在触摸屏9092附近的操作可以称之为悬浮触控;通过悬浮触控,用户可以在不直接接触触摸屏9092的情况下选择、移动或拖动目的(例如图标等)。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型来实现触摸屏9092。
显示器(也称为显示屏)9091用于显示用户输入的信息或展示给用户的信息。可以采用液晶显示屏、有机发光二极管等形式来配置显示器。触摸屏9092可以覆盖在显示器9091之上,当触摸屏9092检测到触摸事件后,传送给应用处理器901以确定触摸事件的类型,随后应用处理器901可以根据触摸事件的类型在显示器9091上提供相应的视觉输出。虽然在图9中,触摸屏9092与显示器9091是作为两个独立的部件来实现终端设备900的输入和输出功能,但是在某些实施例中,可以将触摸屏9092与显示器9091集成而实现终端设备900的输入和输出功能。另外,触摸屏9092和显示器9091可以以全面板的形式配置在终端设备900的正面,以实现无边框的结构。
音频电路9093、扬声器9094、麦克风9095可提供用户与终端设备900之间的音频接口。音频电路9093可将接收到的音频数据转换后的电信号,传输到扬声器9094,由扬声器9094转换为声音信号输出;另一方面,麦克风9095将收集的声音信号转换为电信号,由音频电路9093接收后转换为音频数据,再通过modem 904和射频模块905将音频数据发送给比如另一终端设备,或者将音频数据输出至存储器903以便进一步处理。
另外,终端设备900还可以具有指纹识别功能。例如,可以在终端设备900的背面(例如后置摄像头的下方)配置指纹采集器件,或者在终端设备900的正面(例如触摸屏9092的下方)配置指纹采集器件。又例如,可以在触摸屏9092中配置指纹采集器件来实现指纹识别功能,即指纹采集器件可以与触摸屏9092集成在一起来实现终端设备900的指纹识别功能。在这种情况下,该指纹采集器件配置在触摸屏9092中,可以是触摸屏9092的一部分,也可以以其他方式配置在触摸屏9092中。本申请实施例中的指纹采集器件的主要部件是指纹传感器,该指纹传感器可以采用任何类型的感测技术,包括但不限于光学式、电容式、压电式或超声波传感技术等。
进一步地,终端设备900搭载的操作***911可以为
Figure BDA0002476947550000141
或者其它操作***,本申请实施例对此不作任何限制。
以搭载
Figure BDA0002476947550000142
操作***的终端设备900为例,终端设备900从逻辑上可划分为硬件层、操作***911,以及应用层。硬件层包括如上所述的应用处理器901、MCU 902、存储器903、modem 904、Wi-Fi模块906、传感器908、定位模块910等硬件资源。应用层包括一个或多个应用程序,比如应用程序912,应用程序912可以为社交类应用、电子商务类应用、浏览器等任意类型的应用程序。操作***911作为硬件层和应用层之间的软件中间件,是管理和控制硬件与软件资源的计算机程序。
在一个实施例中,操作***911包括内核,硬件抽象层(hardware abstractionlayer,HAL)、库和运行时(libraries and runtime)以及框架(framework)。其中,内核用于提供底层***组件和服务,例如:电源管理、内存管理、线程管理、硬件驱动程序等;硬件驱动程序包括Wi-Fi驱动、传感器驱动、定位模块驱动等。硬件抽象层是对内核驱动程序的封装,向框架提供接口,屏蔽低层的实现细节。硬件抽象层运行在用户空间,而内核驱动程序运行在内核空间。
库和运行时也叫做运行时库,它为可执行程序在运行时提供所需要的库文件和执行环境。在一个实施例中,库与运行时包括安卓运行时(android runtime,ART),库,以及场景包运行时。ART是能够把应用程序的字节码转换为机器码的虚拟机或虚拟机实例。库是为可执行程序在运行时提供支持的程序库,包括浏览器引擎(比如webkit)、脚本执行引擎(比如JavaScript引擎)、图形处理引擎等。场景包运行时是场景包的运行环境,主要包括页面执行环境(page context)和脚本执行环境(script context),其中,页面执行环境通过调用相应的库解析html、css等格式的页面代码,脚本执行环境通过调用相应的功能库解析执行JavaScript等脚本语言实现的代码或可执行文件。
框架用于为应用层中的应用程序提供各种基础的公共组件和服务,比如窗口管理、位置管理等等。在一个实施例中,框架包括地理围栏服务,策略服务,通知管理器等。
以上描述的操作***911的各个组件的功能均可以由应用处理器901执行存储器903中存储的程序来实现。
所属领域的技术人员可以理解终端设备900可包括比图9所示的更少或更多的部件,图9所示的该终端设备仅包括与本申请所公开的多个实现方式更加相关的部件。
下面详细阐述本申请实施例的方案:
图10为本申请映射曲线参数的获取方法实施例的流程图,如图10所示,该过程1000可以应用于图8所示的视频处理***,也可以应用于图9所示的终端设备,其执行主体包括终端设备或者视频处理***中的后端。该过程1000描述为一系列的步骤或操作,应当理解的是,过程1000可以以各种顺序执行和/或同时发生,不限于图10所示的执行顺序。本申请的映射曲线参数的获取方法包括:
步骤1001、获取第一映射曲线参数集合和第一目标***显示最大亮度。
本申请中,前端可以是上述图8所示的视频处理***中的前端,后端可以是上述图8所示的视频处理***中的后端,此时前端的数据可以通过无线网络或者有线网络传输至后端。前端和后端也可以集成于图9所示的终端设备,此时前端的数据可以通过终端设备内部的传输路径传输值后端,例如控制器局域网络(Controller Area Network,CAN)总线。后端收到数据后可以将其存储在缓冲区中,以备后续处理时读取。该缓冲区例如可以是待处理帧的RGB色域像素缓冲区和/或待处理帧的元数据缓冲区。
前端获取到视频后,可以对视频进行预处理,例如包括采用光电转移函数将真实世界中的亮度映射至与存储方式匹配的亮度,利用已获取的信息对视频进行亮度、色度、对比度等的调整,对视频进行编码生成码流等,前端将处理后的数据发送给后端。
来自前端的数据可以包括视频数据(也称之为待显示内容的数据)和动态元数据,其中,视频数据可以是视频中的图像帧相关数据,例如像素数据;动态元数据可以包括视频数据相关的数据和映射曲线相关的数据,视频数据相关的数据例如可以包括视频数据的格式和特征,第一目标***显示最大亮度(targeted_system_display_maximum_luminance),视频在存储器中可存储的最大亮度MaxSource、最小亮度MinSource、平均亮度AvgSource,可储存的变化范围等等,可储存的变化范围的原理类似于方差或者分布置信区间,用于描述视频信号的亮度聚集范围。映射曲线相关的数据例如可以包括收缩因子、偏移因子、弯曲形状因子等与映射曲线相关的参数。第一映射曲线参数集合包括与映射曲线相关的数据中的一个或多个参数,例如,S型曲线相关的数据包括a、b、p、n、m、k1、k2和k3共八个参数,第一映射曲线参数集合中可以包括这所有的八个参数,也可以只包括这八个参数中的部分参数均为有理数。
可选的,上述视频数据相关的数据也可以根据从视频内容中直接提取,无需通过动态元数据传输。
第一映射曲线参数集合和第一目标***显示最大亮度对应,即第一映射曲线参数集合中的一个或多个参数是以第一目标***显示最大亮度为目标生成的,或者是和第一目标***显示最大亮度相关连的。前端可以在动态元数据中携带第一映射曲线参数集合和第一目标***显示最大亮度;也可以只在动态元数据中携带第一映射曲线参数集合,此时的第一映射曲线参数集合与默认的目标***显示最大亮度对应,前端和后端预先约定默认的目标***显示最大亮度,那么前端只需要在动态元数据中携带上与之对应的第一映射曲线参数集合,后端收到该第一映射曲线参数集合后,默认可知第一目标***显示最大亮度。如果后端根据实际情况需要调整目标***显示峰值亮度,可以按照实际的亮度与默认的目标***显示峰值亮度的关系对第一映射曲线参数集合中的一个或多个参数进行调整得到新的、与实际的亮度对应的映射曲线参数集合。
需要说明的是,本申请不对上述视频数据包含的内容和数据形式作具体限定。例如,从像素数据的色彩空间说,视频数据的格式可以是YUV的,也可以是RGB的;从数据的位宽说,视频数据可以是8比特,10比特或者12比特等。也不对动态元数据包含的内容作具体限定。例如,映射曲线相关的数据可以是上述sigmoidal曲线涉及到的参数,也可以是上述贝泽尔曲线涉及到的参数,还可以是S型曲线涉及到的参数。
步骤1002、获取显示亮度参数集合。
本申请可以通过设备信息获取显示亮度参数集合,该显示亮度参数集合包括显示设备的最大显示亮度(MaxDisplay)和/或最小显示亮度(MinDisplay)。该设备信息可以是设备出厂时即写入的设备的参数,也可以是生产商提供的信息,其表示设备自身具备的属性和性能。
最大显示亮度是指设备在显示时可呈现出的最大的照度。最小显示亮度是指设备在显示时可呈现出的最小的照度,通常最小显示亮度被设置为0cd/m2或1cd/m2。根据设备的显示性能,最小显示亮度也可以被设置为其他值,本申请对此不作具体限定。
步骤1003、获取调整系数集合。
调整系数集合包括指示与映射曲线相关的一个或多个参数调整需要的信息。
调整系数集合包括一个或多个调整系数,一个或多个调整系数和第一映射曲线参数集合中的一个或多个参数对应。如上所述,第一映射曲线参数集合包括了与映射曲线相关的一个或多个参数,调整系数集合中的一个调整系数可以与该第一映射曲线参数集合中的一个参数对应,即每一个与映射曲线相关的参数对应一个调整系数;此外,调整系数集合中的一个调整系数也可以与该第一映射曲线参数集合中的多个参数对应,即每一个调整系数对应多个与映射曲线相关的参数;调整系数集合中也可以不包括与第一映射曲线参数集合中的一个或者多个参数对应的调整系数,即第一映射曲线参数集合中的某一个或多个与映射曲线相关的参数在调整系数集合中没有与之对应的调整系数,表示此时无需对该参数进行调整;第一映射曲线参数集合也可以包括与调整系数集合中的调整系数均不对应的参数,即某一个或多个调整系数在第一映射曲线参数集合中没有与之对应的参数,表示此时前端没有将该参数发送给后端,但需要对该参数进行调整,后端可以通过其他方法获取该参数。
本申请中,设备可以从动态元数据中获取调整系数集合。前端在发送码流之前就设置了与映射曲线相关的一个或多个参数的调整方式,可以将其写入动态元数据发送给后端;或者,设备根据预设值获取调整系数集合。该预设值可以分别对应于与映射曲线相关的一个或多个参数,也可以是一个调整模式索引,设备基于该索引获取与之对应的与映射曲线相关的一个或多个参数的调整系数。
步骤1004、根据显示亮度参数集合、第一目标***显示最大亮度和调整系数集合对第一映射曲线参数集合中的一个或多个参数进行调整得到第二映射曲线参数集合。
第二映射曲线参数集合包括一个或多个调整后的参数,该一个或多个调整后的参数与第一映射曲线参数集合中的一个或多个参数对应,是后者经调整后得到的。需要说明的是,第二映射曲线参数集合中包括的参数和第一映射曲线参数集合中包括的参数可以一一对应,即第一映射曲线参数集合包含的每个参数经调整后加入第二映射曲线参数集合,此时可以适用于第一映射曲线参数集合包含了与映射曲线相关的所有参数;第二映射曲线参数集合中包括的参数也可以是第一映射曲线参数集合中没有的参数,即第一映射曲线参数集合包含的每个参数经调整后加入第二映射曲线参数集合,还有部分参数是设备采用其他方法获取的,然后对这部分参数进行调整或者不调整加入第二映射曲线参数集合,此时可以适用于第一映射曲线参数集合包含了与映射曲线相关的部分参数。此外,第二映射曲线参数集合中包括的数据也可是经过调整的第一映射曲线参数和未经过调整的第一映射曲线参数的集合。
以下以第一参数为例对本申请获取第二映射曲线参数集合的方法进行说明,第一参数为第一映射曲线参数集合中的任意一个参数。
方法一、根据公式(1)计算调整后的第一参数:
Pa=Pb+k×PΔ (1)
其中,Pa表示调整后的第一参数,Pb表示第一参数,PΔ表示第一参数对应的调整系数,
Figure BDA0002476947550000171
或者
Figure BDA0002476947550000172
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,MaxDisplay表示最大显示亮度,MTPL表示第一目标***显示最大亮度,N表示调整强度控制参数,是大于0的有理数,例如可以是1、2等,M表示预设亮度值,是大于0的有理数,例如可以是100cd/m2、50cd/m2等。通常可以设置M=1,N=100cd/m2。M和N的作用均是用于控制与映射曲线相关的参数的变化速度。需要说明的是,为了适用于不同厂商的硬件、不同的内容场景等,可以将M和N中一个或者两个作为参数通过动态元数据传递。以下方法亦是如此,不再赘述。
需要说明的是,本申请中MaxDisplay的值可以是绝对亮度值,例如,100cd/m2、1000cd/m2;MaxDisplay的值也可以是归一化的亮度值,其取值范围为0-1;MaxDisplay的值还可以是PQ域的亮度值,例如,0cd/m2-10000cd/m2。本申请中MTPL的值可以是绝对亮度值,例如,100cd/m2、1000cd/m2;MTPL的值也可以是归一化的亮度值,其取值范围为0-1;MTPL的值还可以是PQ域的亮度值,例如,0cd/m2-10000cd/m2。本申请中M的值可以是绝对亮度值,例如,100cd/m2、1000cd/m2;M的值也可以是归一化的亮度值,其取值范围为0-1;M的值还可以是PQ域的亮度值,例如,0cd/m2-10000cd/m2。本申请对此不作具体限定。以下方法亦是如此,不再赘述。
针对第一映射曲线参数集合中的所有参数或部分参数可以采用上述公式(1)来对其进行调整,得到调整后的参数加入第二映射曲线参数集合。
方法二、根据公式(2)计算调整后的第一参数:
Pa=(1-w)×Pb+w×Pm (2)
其中,Pa表示调整后的第一参数,Pb表示第一参数,
Figure BDA0002476947550000181
或者
Figure BDA0002476947550000182
PΔ表示第一参数对应的调整系数,MaxDisplay表示最大显示亮度,MTPL表示第一目标***显示最大亮度,N表示调整强度控制参数,是大于0的有理数,例如可以是1、2等,M表示预设亮度值,是大于0的有理数,例如可以是100cd/m2、50cd/m2等,Pm为根据最大显示亮度、最小显示亮度、可存储的最大亮度、可存储的最小亮度、可存储的平均值以及可储存的变化范围等参数中的一个或多个得到的第一参数的中间值。
需要说明的是,Pm还可以根据比上述最大显示亮度、和/或最小显示亮度、和/或可存储的最大亮度、和/或可存储的最小亮度、和/或可存储的平均值、和/或可储存的变化范围更多或更少的参数得到,本申请对此不作具体限定。以下方法亦是如此,不再赘述。本申请关于Pm的获取可以参考相关技术中映射曲线的生成方法,本申请对此不作具体限定。
需要说明的是,该方法二中,设备可以根据视频数据相关的数据,例如,视频在存储器中可存储的最大亮度、和/或最小亮度、和/或平均亮度,和/或可储存的变化范围,设备的最大显示亮度和最小显示亮度,和/或其他与映射曲线不直接相关的参数,得到另外一组与映射曲线相关的参数集合,该参数集合中的参数和第一映射曲线参数集合中的参数一一对应,也可以有第一映射曲线参数集合中没有的参数。这样设备可以得到两组与映射曲线相关的参数集合,其中一组来自前端,另一组是设备根据视频数据的特征计算得到的,再采用加权的方法对两组参数集合进行融合得到最终参数集合,这样通过调整二者的权重可以在视频不同的位置采用更为灵活的亮度处理方法,得到更符合设备显示性能的视频。
另外,关于Pm的计算方法还可以应用于与映射曲线相关、但第一映射曲线参数集合中没有包括的参数,上述设备采用其他方法获取参数的方式与此类似。
在一种可能的实现方式中,设备可以根据调整后的第一参数和第一映射曲线参数集合中除第一参数外的其他参数获取第一映射曲线,若根据第一映射曲线进行色调映射后得到的视频亮度高于视频的原始亮度,则继续对第一参数进行调整。这是为了保证映射曲线不存在高于x=y这条直线的部分。
在一种可能的实现方式中,根据预设规则分析调整后的第一参数,若调整后的第一参数符合预设规则,则继续对第一参数进行调整。例如,pa×ra>Tpa,其中,pa为第一参数,ra为缩放因子,Tpa为设定的阈值,例如3.2363,此时将pa调整为上限值Tp,Tp=Tpa/ra。也可以在预先设定的表(Ta,Tp)中查找与ra对应的Tp,若pa>Tp,则将pa调整为上限值Tp。需要说明的是,如果查表无法找到相同的值,可以使用临近值、临近值的加权平均等方式确定查询的值。上述两个不等式表明根据当前的与映射曲线相关的参数集合得到的映射曲线,存在高于x=y这条直线的部分,因此需要对相应的参数进行降维处理。需要说明的是,除上述两种方法外本申请还可以采用其他方法确保映射曲线不存在高于x=y这条直线的部分,对此不作具体限定。
在一种可能的实现方式中,当第一映射曲线参数集合中包括缩放因子时,根据公式(3)计算调整后的缩放因子:
Figure BDA0002476947550000191
其中,ra表示调整后的缩放因子,P1a,P2a,...表示第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,f(MaxSource,P1a,P2a,...)表示与视频在存储器中可存储的最大亮度、以及第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,该函数包含为色调映射函数参数相关的部分,MaxDisplay表示最大显示亮度。可存储的值与存储器的存储方式相关,例如,若采用10bit的方式存储,那么该存储器可存储的最大值为210=1024,可存储的最小值为0;若采用8bit的方式存储,那么该存储器可存储的最大值为28=256,可存储的最小值为0。
如果在获取映射曲线时涉及到缩放因子,设备可以根据已经获取到的第二映射曲线参数集合中的一个或多个调整后的参数采用公式(3)计算缩放因子,这样缩放因子是基于调整后的参数得到的,使得最终生成的映射曲线更符合视频的特征。缩放因子在计算映射曲线的公式中确定了对图像帧像素的线性信号值的缩放程度,例如,公式
Figure BDA0002476947550000192
中,a即为缩放因子。
在一种可能的实现方式中,当第一映射曲线参数集合中包括缩放因子时,根据公式(4)计算调整后的缩放因子:
Figure BDA0002476947550000193
其中,ra表示调整后的缩放因子,P1a,P2a,...表示第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,MinSource表示视频在存储器中可存储的最小亮度,f(MaxSource,P1a,P2a,...)表示与视频在存储器中可存储的最大亮度、以及第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与视频在存储器中可存储的最小亮度、以及第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示最大显示亮度,MinDisplay表示最小显示亮度。
在一种可能的实现方式中,当第一映射曲线参数集合中包括缩放因子时,根据公式(5)计算调整后的缩放因子:
Figure BDA0002476947550000194
其中,ra表示调整后的缩放因子,P1a,P2a,...表示第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,f(MaxSource,P1a,P2a,...)表示与视频在存储器中可存储的最大亮度、以及第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示最大显示亮度,MinDisplay表示最小显示亮度。
在一种可能的实现方式中,当第一映射曲线参数集合中包括缩放因子时,根据公式(6)计算调整后的缩放因子:
Figure BDA0002476947550000201
其中,ra表示调整后的缩放因子,P1a,P2a,...表示第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,MinSource表示视频在存储器中可存储的最小亮度,f(MaxSource,P1a,P2a,...)表示与视频在存储器中可存储的最大亮度、以及第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与视频在存储器中可存储的最小亮度、以及第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示最大显示亮度。
在一种可能的实现方式中,当第一映射曲线参数集合中包括偏移因子时,根据以下方式确定调整后的偏移因子:
ra=MinDisplay,MinDisplay表示最小显示亮度;或者,
ra=G,G表示预设值,可以是0、1等有理数。
如果在获取映射曲线时涉及到缩放因子,设备可以根据已经获取到的第二映射曲线参数集合中的一个或多个调整后的参数采用上述任意一个公式计算缩放因子,这样缩放因子是基于调整后的参数得到的,使得最终生成的映射曲线更符合视频的特征。
步骤1005、根据第二映射曲线参数集合中的一个或多个调整后的参数获取映射曲线。
基于一个或多个调整后的参数可以获得映射曲线的全部或者是分段的色调映射曲线的一部分,该曲线计算是可以获得从归一化的HDR/SDR视频数据映射到归一化的显示数据之间的映射。再根据设备的最大显示亮度、最小显示亮度将得到的映射值反向归一化到设备的实际显示数据。
需要说明的是,上面的反向归一化计算可以是非线性空间,也可以是归一化0-1的线性空间。反向归一化可以是0cd/m2-10000cd/m2,也可以是0.001cd/m2-100000cd/m2。本申请对于反向归一化的范围和过程不作具体限定。另外,获取映射曲线不但包含色调映射(tone-mapping),在显示之前可以对映射后的视频进行进一步调整以调整其饱和度处理,或者/以及色域变换处理,或者/以及去噪处理,或者/以及锐化处理等等,本申请对此不作具体限定。
本申请通过对于映射曲线相关的一个或多个参数进行调整,该调整过程结合了后端的显示能力,可以针对不同亮度的显示设备提供更精确地色调调整,具有较大的灵活性,也可以在合理配置曲线参数的情况下达到很好的呈现效果。
以下通过几个具体的实施例对图10所示方法实施例的方案作进一步说明。
实施例一
针对S型曲线,动态元数据中可以包含视频在存储器中可存储的最大亮度、最小亮度、平均亮度等统计值,也可以包含p、m、a、b、n、K1、K2、K3等与S型曲线相关的参数。
一、获取第一映射曲线参数集合和第一目标***显示最大亮度。
动态元数据包括视频数据的格式或者特征,第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}、目标***显示最大亮度(targeted_system_display_maximum_luminance)MTPL、和/或视频在存储器中可存储的最大亮度MaxSource、和/或最小亮度MinSource、和/或平均亮度AvgSource、和/或可储存的变化范围等等。
需要说明的是,本申请不对上述视频数据包含的内容和数据形式作具体限定。例如,从像素数据的色彩空间说,视频数据的格式可以是YUV的,也可以是RGB的;从数据的位宽说,视频数据可以是8比特,10比特或者12比特等。
二、获取后端的显示参数集合集合。
显示参数集合可以包括后端的最大显示亮度MaxDisplay、和/或最小显示亮度MinDisplay、和/或目标***显示最大亮度(targeted_system_display_maximum_luminance)TTPL。可以根据设备的参数或者生产商的信息获取最大显示亮度MaxDisplay,最小显示亮度MinDisplay可以设置为0cd/m2或者1cd/m2或者0cd/m2或者1cd/m2对应的PQ值。根据设备的显示性能,最小显示亮度也可以被设置为其他值,本申请对此不作具体限定。
三、获取调整系数集合。
对应于上述第一映射曲线参数集合Mb,调整系数集合MΔ可以是{pΔ、mΔ、aΔ、bΔ、nΔ、K1Δ、K2Δ、K3Δ}的子集或者全集。通常调整系数集合可以通过元数据获取,也可以预先设置。
四、根据本地的最大显示亮度、第一目标***显示最大亮度和调整系数集合对第一映射曲线参数集合中的一个或多个参数进行调整得到第二映射曲线参数集合。
对第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一个或多个参数进行调整,获得调整后的第二映射曲线参数集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步骤:
A.遍历第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的参数Qb(Qb为Mb中的任意一个参数)。如果调整系数集合MΔ中存在对应的调整系数QΔ,则Qa=Qb+k×QΔ,否则Qa=Qb,其中
Figure BDA0002476947550000211
或者
Figure BDA0002476947550000212
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,M为预设亮度值,为大于0的有理数,如100cd/m2,50cd/m2或者100cd/m2对应的PQ值等等,N为调整强度控制参数,为1、2等大于0的有理数。
B.设置ba=MinDisplay或者ba=0。
C.设置
Figure BDA0002476947550000213
D.若根据当前的第二映射曲线参数集合获得的映射曲线中存在高于x=y的直线的部分,则将pa限制到Tp。主要包含以下方法:
若pa×aa>Tpa,则认为映射曲线中存在高于x=y的直线的部分判断高于x=y,Tpa为预设值。Tp=Tpa/aa。或者,
在预先设定的表(Ta,Tp)中查找与aa对应的Tp,若pa>Tp,则将pa调整为上限值Tp。需要说明的是,如果查表无法找到相同的值,可以使用临近值、临近值的加权平均等方式确定查询的值。
此时根据以下公式计算缩放因子aa
Figure BDA0002476947550000221
或者
Figure BDA0002476947550000222
或者
Figure BDA0002476947550000223
其中,L=MaxSource,L1=MinSource。
关于aa的计算以下方法亦是如此,不再赘述。
五、根据第二映射曲线参数集合中的一个或多个调整后的参数获取映射曲线。其中,所述的获取映射曲线的过程实质上是通过上述的参数集合获取归一化的光点信号的过程。
根据第二映射曲线参数集合中的一个或多个调整后的参数得到第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,采用以下公式可以得到映射曲线:
Figure BDA0002476947550000224
或者
Figure BDA0002476947550000225
或者
Figure BDA0002476947550000226
或者
Figure BDA0002476947550000227
公式中的参数{p,m,a,b,n,K1,K2,K3}均来自第二映射曲线参数集合。L和L’均为归一化的电信号或者光信号,L’是取值范围为0.0~1.0的有理数,L是取值范围为0.0~1.0的有理数;a的取值范围在0.0~1.0之间;b的取值范围在0.0~1.0之间;p、n和m的取值范围在0.1~N之间;N为大于0.1的有理数;k1、k2、k3为有理数。关于L’的计算以下方法亦是如此,不再赘述。
需要说明的是,上述四个公式均可以用作获取映射曲线,而区别在于第二映射曲线参数集合中与映射曲线相关、且调整后的一个或多个参数。通过公式获得的映射曲线可以是全部的曲线也可以是分段映射曲线中的一段或一部分。
实施例二
针对S型曲线,动态元数据中可以包含视频在存储器中可存储的最大亮度、最小亮度、平均亮度、可储存的变化范围等统计值,也可以包含p、m、a、b、n、K1、K2、K3等与S型曲线相关的参数。
一、获取第一映射曲线参数集合和第一目标***显示最大亮度。
二、获取后端的显示参数集合。
三、获取调整系数集合。
实施例二中的步骤一至三的技术原理与上述实施例一中的步骤一至三分别类似,此处不再赘述。
四、根据本地的最大显示亮度、第一目标***显示最大亮度和调整系数集合对第一映射曲线参数集合中的一个或多个参数进行调整得到第二映射曲线参数集合。
对第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一个或多个参数进行调整,获得调整后的第二映射曲线参数集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步骤:
A.根据元数据中根据最大显示亮度MaxDisplay、和/或最小显示亮度MinDisplay、和/或可存储的最大亮度MaxSource、和/或可存储的最小亮度MinSource、和/或可存储的平均值AvgSource、和/或可储存的变化范围、和/或其他与映射曲线不直接相关的参数等,得到另外一组与映射曲线相关的参数集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m},其中,Mm中一个或者多个参数即可作为上文中公式(2)的参数Pm
B.遍历第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的参数Qb(Qb为Mb中的任意一个参数)。如果在参数集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m}中找到对应的参数Qm,则Qa=(1-w)Qb+w×Qm,否则Qa=Qb,其中
Figure BDA0002476947550000231
或者
Figure BDA0002476947550000232
M为预设亮度值,为大于0的有理数,如100cd/m2,50cd/m2或100cd/m2等线性亮度值对应的PQ值等等,N为调整强度控制参数,为1、2等大于0的有理数。
C.设置ba=MinDisplay或者ba=0。
D.缩放因子aa的计算公式可以参照上述实施例一,此处不再赘述。
五、根据第二映射曲线参数集合中的一个或多个调整后的参数获取映射曲线。
实施例二中的步骤五的技术原理与上述实施例一中的步骤五类似,此处不再赘述。
实施例三
针对S型曲线,动态元数据中可以包含视频在存储器中可存储的最大亮度、最小亮度、平均亮度、可储存的变化范围等统计值,也可以包含p、m、a、b、n、K1、K2、K3等与S型曲线相关的参数。
一、获取第一映射曲线参数集合和第一目标***显示最大亮度。
二、获取后端的显示参数集合。
三、获取调整系数集合。
实施例三中的步骤一至三的技术原理与上述实施例一中的步骤一至三分别类似,此处不再赘述。
四、根据本地的最大显示亮度、第一目标***显示最大亮度和调整系数集合对第一映射曲线参数集合中的一个或多个参数进行调整得到第二映射曲线参数集合。
对第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一个或多个参数进行调整,获得调整后的第二映射曲线参数集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步骤:
A.根据元数据中根据最大显示亮度MaxDisplay、和/或最小显示亮度MinDisplay、和/或可存储的最大亮度MaxSource、和/或可存储的最小亮度MinSource、和/或可存储的平均值AvgSource、和/或可储存的变化范围、和/或其他与映射曲线不直接相关的参数等,得到另外一组与映射曲线相关的参数集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m},其中,Mm中一个或者多个参数即可作为上文中公式(2)的参数Pm
B.遍历第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的参数Qb(Qb为Mb中的任意一个参数)。如果在参数集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m}中找到对应的参数Qm,则Qa=(1-w)Qb+w×Qm,否则Qa=Qb,其中
Figure BDA0002476947550000241
或者
Figure BDA0002476947550000242
M为预设亮度值,为大于0的有理数,如100cd/m2,50cd/m2或100cd/m2,50cd/m2对应的PQ值等等,N为调整强度控制参数,为1、2等大于0的有理数。
C.设置ba=MinDisplay或者ba=0。
D.设置
Figure BDA0002476947550000243
或者aa=ab
E.若根据当前的第二映射曲线参数集合获得的映射曲线中存在高于x=y的直线的部分,则将pa限制到Tp。主要包含以下方法:
若pa×aa>Tpa,则认为映射曲线中存在高于x=y的直线的部分判断高于x=y,Tpa为预设值。Tp=Tpa/aa。或者,
在预先设定的表(Ta,Tp)中查找与aa对应的Tp,若pa>Tp,则将pa调整为上限值Tp。需要说明的是,如果查表无法找到相同的值,可以使用临近值、临近值的加权平均等方式确定查询的值。
缩放因子aa的计算公式可以参照上述实施例一,此处不再赘述。
五、根据第二映射曲线参数集合中的一个或多个调整后的参数获取映射曲线。
实施例三中的步骤五的技术原理与上述实施例一中的步骤五类似,此处不再赘述。
实施例四
针对S型曲线,动态元数据中可以包含视频在存储器中可存储的最大亮度、最小亮度、平均亮度等统计值,也可以包含p、m、a、b、n、K1、K2、K3等与S型曲线相关的参数。
一、获取第一映射曲线参数集合和第一目标***显示最大亮度。
二、获取后端的显示参数集合。
三、获取调整系数集合。
实施例四中的步骤一至三的技术原理与上述实施例一中的步骤一至三分别类似,此处不再赘述。
四、根据本地的最大显示亮度、第一目标***显示最大亮度和调整系数集合对第一映射曲线参数集合中的一个或多个参数进行调整得到第二映射曲线参数集合。
对第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一个或多个参数进行调整,获得调整后的第二映射曲线参数集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步骤:
A.遍历第一映射曲线参数集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的参数Qb(Qb为Mb中的任意一个参数)。如果调整系数集合MΔ中存在对应的调整系数QΔ,则Qa=Qb+k×QΔ,否则Qa=Qb,其中
Figure BDA0002476947550000251
或者
Figure BDA0002476947550000252
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,M为预设亮度值,为大于0的有理数,如100cd/m2,50cd/m2或者100cd/m2对应的PQ值等等,N为调整强度控制参数,为1、2等大于0的有理数。
B.设置ba=MinDisplay或者ba=0。
C.缩放因子aa的计算公式可以参照上述实施例一,此处不再赘述。
五、根据第二映射曲线参数集合中的一个或多个调整后的参数获取映射曲线。
实施例四中的步骤五的技术原理与上述实施例一中的步骤五类似,此处不再赘述。
实施例五
该实施例用于说明实施例一至四任意一个实施例在HDR基础曲线(参数)获取过程中的前置操作步骤,其具体包括:
一、从动态元数据(metadata)信息中取得基础曲线参数Stone_mapping。
根据metadata信息中的色调映射标识tone_mapping_mode和基础曲线标识base_flag,获得m_p、m_a、m_m、m_n、m_b、K1、K2、K3,对于不存在的参数,设为未赋值N_A。
二、从metadata信息中取得待处理帧的最大亮度校正值max_lum和待处理帧的最小亮度min_lum。
更新待处理帧的最大亮度校正值max_lum。
三、对于基础曲线参数Stone_mapping中的未赋值参数进行更新得到Ptone_mapping。
A、若tone_mapping_mode为0,则调用以下的基础曲线参数获得过程更新参数;
其中,输入为显示设备的显示亮度范围的最大显示亮度MaxDisplay(PQ域的值),显示设备的显示亮度范围的最小显示亮度MinDisplay(PQ域的值)以及metadata信息;输出为基础曲线曲线参数Ptone_mapping,包含m_p、m_a、m_m、m_n、m_b、K1、K2、K3。
1、将m_m、m_n、K1、K2、K3分别设为预设值2.4、1、1、1、1,预设上述参数后曲线变成
Figure BDA0002476947550000253
2、将m_b设为MinDisplay。
3、根据metadata信息中的average_maxrgb(avgL)计算m_p:
Figure BDA0002476947550000261
其中,
Figure BDA0002476947550000262
PvalueH0、PvalueL0、TPH0和TPL0是预设值,默认值分别为3.5、4.0、0.6、0.3,g0()为y=xN,默认为y=x。
4、根据最大亮度校正值max_lum更新m_p:
Figure BDA0002476947550000263
其中,
Figure BDA0002476947550000264
PdeltaH1,PdeltaL1,TPH1和TPL1是预设值,默认值分别为0.6、0.0、0.9、0.75。
5、根据m_p、m_m、m_n、m_b、K1、K2、K3得到H(L)
Figure BDA0002476947550000265
从而得到
Figure BDA0002476947550000266
其中,MaxSource表示待处理帧的最大亮度校正值max_lum(PQ域),MinSource表示待处理帧的最小亮度min_lum(PQ域)。
B,否则,若tone_mapping_mode为1:
如果目标***显示最大亮度targeted_system_display_maximum_luminance等于MaxDisplay,则将m_p、m_a、m_m、m_n、m_b、K1、K2、K3设为m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0;否则,采用实施例一至四任意方案进行基础曲线参数的调整。
需要说明的是,当进入上述分支B,即否则,若tone_mapping_mode为1时,判断过程“如果目标***显示最大亮度targeted_system_display_maximum_luminance等于MaxDisplay,则将m_p、m_a、m_m、m_n、m_b、K1、K2、K3设为m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0;”为可选步骤,可以通过直接采用实施例一至四任意方案进行基础曲线参数的调整,其输出结果一致。而采用该判断过程“如果目标***显示最大亮度targeted_system_display_maximum_luminance等于MaxDisplay,则将m_p、m_a、m_m、m_n、m_b、K1、K2、K3设为m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0;”,可以简化在实际硬件实现过程中的复杂度和计算时间。
示例性的,实施例一的实现方式可以如下:
输入为显示设备的显示亮度范围的最大显示亮度MaxDisplay(PQ域的值),显示设备的显示亮度范围的最小显示亮度MinDisplay(PQ域的值),待处理帧的RGB色域像素缓冲区f[Nframe][3]以及metadata信息m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0、targeted_system_display_maximum_luminance(MTPL)、base_param_Delta;输出为基础曲线曲线参数Ptone_mapping,包含m_p、m_a、m_m、m_n、m_b、K1、K2、K3。
1、将m_m、m_n、K1、K2、K3设为m_m_0、m_n_0、K1_0、K2_0、K3_0。
2、将m_b设为MinDisplay。
3、设置
Figure BDA0002476947550000271
4、设置
Figure BDA0002476947550000272
其中N默认值为1。若m_p大于Tm_p,则设置m_p=Tm_p,Tm_p默认值为Tpa/m_a,Tpa默认值为3.2363。
5、从而得到:
Figure BDA0002476947550000273
6、将L等于MaxSource代入下式得到m_a:
Figure BDA0002476947550000274
示例性的,实施例二的实现方式可以如下:
输入为显示设备的显示亮度范围的最大显示亮度MaxDisplay(PQ域的值),显示设备的显示亮度范围的最小显示亮度MinDisplay(PQ域的值),元数据中average_maxrgb,待处理帧的RGB色域像素缓冲区f[Nframe][3]以及metadata信息m_p_0、m_m_0、m_n_0、m_a_0、m_b_0、K1_0、K2_0、K3_0、targeted_system_display_maximum_luminance(MTPL)、base_param_Delta;输出为基础曲线曲线参数Ptone_mapping,包含m_p、m_m、m_n、m_a、m_b、K1、K2、K3。
1、生成基础曲线参数P1tone_mapping,包含m_p_1、m_m_1、m_n_1、m_a_1、m_b_1、K1_1、K2_1、K3_1。
2、计算
Figure BDA0002476947550000275
其中N为大于0的数,默认使用1,w大于或等于0,且小于或等于1。
3、根据以下公式计算得到m_p、m_m、m_n、K1、K2、K3:
m_p=(1-w)×m_p_0+w×m_p_1,
m_m=(1-w)×m_m_0+w×m_m_1,
m_n=(1-w)×m_n_0+w×m_n_1,
K1=(1-w)×K1_0+w×K1_1,
K2=(1-w)×K2_0+w×K2_1,
K3=(1-w)×K3_0+w×K3_1
4、将m_b设为MinDisplay。
5、从而得到:
Figure BDA0002476947550000281
6、将L等于MaxSource代入下式得到m_a:
Figure BDA0002476947550000282
基于与上述方法相同的发明构思,本申请实施例还提供了一种视频处理装置,图11是用于实现本申请实施例的一种视频处理装置1100的结构框图,如图11所示,该视频处理装置1100包括获取模块1101和处理模块1102,其中:获取模块1101,用于获取第一映射曲线参数集合和第一目标***显示最大亮度,所述第一映射曲线参数集合和所述第一目标***显示最大亮度对应,所述第一映射曲线参数集合包括与映射曲线相关的一个或多个参数;获取显示亮度参数集合,所述显示亮度参数集合包括显示设备的最大显示亮度和/或最小显示亮度;获取调整系数集合,所述调整系数集合包括一个或多个调整系数,所述一个或多个调整系数和所述第一映射曲线参数集合中的所述一个或多个参数对应;处理模块1102,用于根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,所述第二映射曲线参数集合包括一个或多个调整后的参数。
在一种可能的实现方式中,所述处理模块1102,具体用于根据公式(1)计算调整后的第一参数,所述第一参数为所述第一映射曲线参数集合中的任意一个参数:
Pa=Pb+k×PΔ (1)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,PΔ表示所述第一参数对应的所述调整系数,
Figure BDA0002476947550000283
或者
Figure BDA0002476947550000284
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值。
在一种可能的实现方式中,所述获取模块1101,还用于获取可存储的最大亮度、可存储的最小亮度、可存储的平均值以及可储存的变化范围中的一个或多个,根据所述最大显示亮度、所述最小显示亮度、所述可存储的最大亮度、所述可存储的最小亮度、所述可存储的平均值以及所述可储存的变化范围中的一个或多个得到的第一参数的中间值,所述第一参数为所述第一映射曲线参数集合中的任意一个参数;所述处理模块1102,具体用于根据公式(2)计算调整后的第一参数:
Pa=(1-w)×Pb+w×Pm (2)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,
Figure BDA0002476947550000291
或者
Figure BDA0002476947550000292
PΔ表示所述第一参数对应的所述调整系数,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值,Pm表示所述第一参数的中间值。
在一种可能的实现方式中,所述处理模块1102,还用于根据所述调整后的第一参数和所述第一映射曲线参数集合中除所述第一参数外的其他参数获取第一映射曲线,若根据所述第一映射曲线进行色调映射后得到的视频亮度高于视频的原始亮度,则继续对所述第一参数进行调整;或者,根据预设规则分析所述调整后的第一参数,若所述调整后的第一参数符合所述预设规则,则继续对所述第一参数进行调整。
在一种可能的实现方式中,所述处理模块1102,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(3)计算调整后的所述缩放因子:
Figure BDA0002476947550000293
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,f(MaxSource,P1a,P2a,...)表示与所述视频在存储器中可存储的最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
在一种可能的实现方式中,所述处理模块1102,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(4)计算调整后的所述缩放因子:
Figure BDA0002476947550000294
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,MinSource表示视频在存储器中可存储的最小亮度,f(MaxSource,P1a,P2a,...)表示与所述视频在存储器中可存储的最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述视频在存储器中可存储的最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
在一种可能的实现方式中,所述处理模块1102,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(5)计算调整后的所述缩放因子:
Figure BDA0002476947550000301
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,f(MaxSource,P1a,P2a,...)表示与所述视频在存储器中可存储的最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
在一种可能的实现方式中,所述处理模块1102,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(6)计算调整后的所述缩放因子:
Figure BDA0002476947550000302
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示视频在存储器中可存储的最大亮度,MinSource表示视频在存储器中可存储的最小亮度,f(MaxSource,P1a,P2a,...)表示与所述视频在存储器中可存储的最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述视频在存储器中可存储的最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
在一种可能的实现方式中,所述获取模块1101,具体用于从视频的动态元数据中获取所述第一映射曲线参数集合和所述第一目标***显示最大亮度;或者,从所述动态元数据中获取所述第一映射曲线参数集合,根据设定的对应关系获取与所述第一映射曲线参数集合对应的所述第一目标***显示最大亮度。
在一种可能的实现方式中,所述获取模块1101,具体用于从视频的动态元数据中获取所述调整系数集合;或者,根据预设值获取所述调整系数集合。
在一种可能的实现方式中,所述获取模块1101,具体用于直接读取一个或多个调整系数;或者,获取调整模式,并获取与所述调整模式对应的所述一个或多个调整系数。
在一种可能的实现方式中,所述获取模块1101,具体用于通过设备信息获取所述显示亮度参数集合;或者,通过预设信息获取所述显示亮度参数集合。
在一种可能的实现方式中,所述获取模块1101,还用于根据所述第二映射曲线参数集合中的所述一个或多个调整后的参数获取映射曲线。
还需要说明的是,获取模块1101和处理模块1102的具体实现过程可参考图10实施例的详细描述,为了说明书的简洁,这里不再赘述。
本领域技术人员能够领会,结合本文公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包括任何促进将计算机程序从一处传送到另一处的媒体(例如,根据通信协议)的通信媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且,任何连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是,应理解,所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文中所描述的各种说明性逻辑框、模块、和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或者并入在组合编解码器中。而且,所述技术可完全实施于一或多个电路或逻辑元件中。
本申请的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。
在上述实施例中,对各个实施例的描述各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述,仅为本申请示例性的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (26)

1.一种映射曲线参数的获取方法,其特征在于,包括:
获取第一映射曲线参数集合和第一目标***显示最大亮度,所述第一映射曲线参数集合和所述第一目标***显示最大亮度对应,所述第一映射曲线参数集合包括与映射曲线相关的一个或多个参数;
获取显示亮度参数集合,所述显示亮度参数集合包括显示设备的最大显示亮度和/或最小显示亮度;
获取调整系数集合,所述调整系数集合包括一个或多个调整系数,所述一个或多个调整系数和所述第一映射曲线参数集合中的所述一个或多个参数对应;
根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,所述第二映射曲线参数集合包括一个或多个调整后的参数;
其中,所述获取第一映射曲线参数集合和第一目标***显示最大亮度,包括:
从待显示内容的动态元数据中获取所述第一映射曲线参数集合和所述第一目标***显示最大亮度;或者,
从所述动态元数据中获取所述第一映射曲线参数集合,根据设定的对应关系获取与所述第一映射曲线参数集合对应的所述第一目标***显示最大亮度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:
根据公式(1)计算调整后的第一参数,所述第一参数为所述第一映射曲线参数集合中的任意一个参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=Pb+k×PΔ (1)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,PΔ表示所述第一参数对应的所述调整系数,
Figure FDA0003740904540000011
或者
Figure FDA0003740904540000012
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合之前,还包括:
获取待显示内容的最大亮度、最小亮度、平均值以及变化范围中的一个或多个,根据所述最大显示亮度、所述最小显示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述变化范围中的一个或多个得到第一参数的中间值,所述第一参数为所述第一映射曲线参数集合中的任意一个参数;
所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:
根据公式(2)计算调整后的第一参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=(1-w)×Pb+w×Pm (2)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,
Figure FDA0003740904540000021
或者
Figure FDA0003740904540000022
PΔ表示所述第一参数对应的所述调整系数,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值,Pm表示所述第一参数的中间值。
4.根据权利要求2或3所述的方法,其特征在于,根据公式计算调整后的第一参数后,还包括:
根据所述调整后的第一参数和所述第一映射曲线参数集合中除所述第一参数外的其他参数获取第一映射曲线,若根据所述第一映射曲线进行色调映射后得到的待显示内容亮度高于待显示内容的原始亮度,则继续对所述第一参数进行调整;或者,
根据预设规则分析所述调整后的第一参数,若所述调整后的第一参数符合所述预设规则,则继续对所述第一参数进行调整。
5.根据权利要求2或3所述的方法,其特征在于,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:
当所述第一映射曲线参数集合中包括缩放因子时,根据公式(3)计算调整后的所述缩放因子:
Figure FDA0003740904540000023
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
6.根据权利要求2或3所述的方法,其特征在于,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:
当所述第一映射曲线参数集合中包括缩放因子时,根据公式(4)计算调整后的所述缩放因子:
Figure FDA0003740904540000024
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示所述待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
7.根据权利要求2或3所述的方法,其特征在于,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:
当所述第一映射曲线参数集合中包括缩放因子时,根据公式(5)计算调整后的所述缩放因子:
Figure FDA0003740904540000031
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
8.根据权利要求2或3所述的方法,其特征在于,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,包括:
当所述第一映射曲线参数集合中包括缩放因子时,根据公式(6)计算调整后的所述缩放因子:
Figure FDA0003740904540000032
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
9.根据权利要求1-3中任一项所述的方法,其特征在于,所述获取调整系数集合,包括:
从待显示内容的动态元数据中获取所述调整系数集合;或者,
根据预设值获取所述调整系数集合。
10.根据权利要求9所述的方法,其特征在于,所述获取调整系数集合,包括:
直接读取一个或多个调整系数;或者,
获取调整模式,并获取与所述调整模式对应的所述一个或多个调整系数。
11.根据权利要求1-3、10中任一项所述的方法,其特征在于,所述获取显示亮度参数集合,包括:
通过设备信息获取所述显示亮度参数集合;或者,
通过预设信息获取所述显示亮度参数集合。
12.根据权利要求1-3、10中任一项所述的方法,其特征在于,所述根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合之后,还包括:
根据所述第二映射曲线参数集合中的所述一个或多个调整后的参数获取映射曲线。
13.一种视频处理装置,其特征在于,包括:
获取模块,用于获取第一映射曲线参数集合和第一目标***显示最大亮度,所述第一映射曲线参数集合和所述第一目标***显示最大亮度对应,所述第一映射曲线参数集合包括与映射曲线相关的一个或多个参数;获取显示亮度参数集合,所述显示亮度参数集合包括显示设备的最大显示亮度和/或最小显示亮度;获取调整系数集合,所述调整系数集合包括一个或多个调整系数,所述一个或多个调整系数和所述第一映射曲线参数集合中的所述一个或多个参数对应;
处理模块,用于根据所述显示亮度参数集合、所述第一目标***显示最大亮度和所述调整系数集合对所述第一映射曲线参数集合中的所述一个或多个参数进行调整得到第二映射曲线参数集合,所述第二映射曲线参数集合包括一个或多个调整后的参数;
其中,所述获取模块,具体用于从待显示内容的动态元数据中获取所述第一映射曲线参数集合和所述第一目标***显示最大亮度;或者,从所述动态元数据中获取所述第一映射曲线参数集合,根据设定的对应关系获取与所述第一映射曲线参数集合对应的所述第一目标***显示最大亮度。
14.根据权利要求13所述的装置,其特征在于,所述处理模块,具体用于根据公式(1)计算调整后的第一参数,所述第一参数为所述第一映射曲线参数集合中的任意一个参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=Pb+k×PΔ (1)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,PΔ表示所述第一参数对应的所述调整系数,
Figure FDA0003740904540000041
或者
Figure FDA0003740904540000042
当MaxDisplay>MTPL时,a=1,当MaxDisplay≤MTPL时,a=-1,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值。
15.根据权利要求13所述的装置,其特征在于,所述获取模块,还用于获取待显示内容的最大亮度、最小亮度、平均值以及变化范围中的一个或多个,根据所述最大显示亮度、所述最小显示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述变化范围中的一个或多个得到第一参数的中间值,所述第一参数为所述第一映射曲线参数集合中的任意一个参数;
所述处理模块,具体用于根据公式(2)计算调整后的第一参数,所述调整后的第一参数属于所述第二映射曲线参数集合:
Pa=(1-w)×Pb+w×Pm (2)
其中,Pa表示所述调整后的第一参数,Pb表示所述第一参数,
Figure FDA0003740904540000051
或者
Figure FDA0003740904540000052
PΔ表示所述第一参数对应的所述调整系数,MaxDisplay表示所述最大显示亮度,MTPL表示所述第一目标***显示最大亮度,N表示调整强度控制参数,M表示预设亮度值,Pm表示所述第一参数的中间值。
16.根据权利要求14或15所述的装置,其特征在于,所述处理模块,还用于根据所述调整后的第一参数和所述第一映射曲线参数集合中除所述第一参数外的其他参数获取第一映射曲线,若根据所述第一映射曲线进行色调映射后得到的待显示内容亮度高于待显示内容的原始亮度,则继续对所述第一参数进行调整;或者,根据预设规则分析所述调整后的第一参数,若所述调整后的第一参数符合所述预设规则,则继续对所述第一参数进行调整。
17.根据权利要求14或15所述的装置,其特征在于,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(3)计算调整后的所述缩放因子:
Figure FDA0003740904540000053
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
18.根据权利要求14或15所述的装置,其特征在于,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(4)计算调整后的所述缩放因子:
Figure FDA0003740904540000054
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
19.根据权利要求14或15所述的装置,其特征在于,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(5)计算调整后的所述缩放因子:
Figure FDA0003740904540000061
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度,MinDisplay表示所述最小显示亮度。
20.根据权利要求14或15所述的装置,其特征在于,所述处理模块,具体用于当所述第一映射曲线参数集合中包括缩放因子时,根据公式(6)计算调整后的所述缩放因子:
Figure FDA0003740904540000062
其中,ra表示所述调整后的所述缩放因子,P1a,P2a,...表示所述第二映射曲线参数集合中的参数,MaxSource表示待显示内容在存储器中最大亮度,MinSource表示待显示内容在存储器中最小亮度,f(MaxSource,P1a,P2a,...)表示与所述待显示内容在存储器中最大亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,f(MinSource,P1a,P2a,...)表示与所述待显示内容在存储器中最小亮度、以及所述第二映射曲线参数集合中的一个或多个调整后的参数相关的函数计算,MaxDisplay表示所述最大显示亮度。
21.根据权利要求13-15中任一项所述的装置,其特征在于,所述获取模块,具体用于从待显示内容的动态元数据中获取所述调整系数集合;或者,根据预设值获取所述调整系数集合。
22.根据权利要求21所述的装置,其特征在于,所述获取模块,具体用于直接读取一个或多个调整系数;或者,获取调整模式,并获取与所述调整模式对应的所述一个或多个调整系数。
23.根据权利要求13-15、22中任一项所述的装置,其特征在于,所述获取模块,具体用于通过设备信息获取所述显示亮度参数集合;或者,通过预设信息获取所述显示亮度参数集合。
24.根据权利要求13-15、22中任一项所述的装置,其特征在于,所述获取模块,还用于根据所述第二映射曲线参数集合中的所述一个或多个调整后的参数获取映射曲线。
25.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-12中任一项所述的方法。
26.一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行权利要求1-12中任一项所述的方法。
CN202010366684.2A 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置 Active CN113596428B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202211470053.0A CN115883810A (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置
CN202010366684.2A CN113596428B (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置
KR1020227041050A KR20230006521A (ko) 2020-04-30 2021-04-21 맵핑 곡선 파라미터를 취득하기 위한 방법 및 장치
JP2022565662A JP2023523060A (ja) 2020-04-30 2021-04-21 マッピング曲線のパラメータを取得する方法及び装置
PCT/CN2021/088679 WO2021218738A1 (zh) 2020-04-30 2021-04-21 映射曲线参数的获取方法和装置
EP21796304.0A EP4135305A4 (en) 2020-04-30 2021-04-21 METHOD AND DEVICE FOR DETECTING MAPPING CURVE PARAMETERS
TW112131018A TW202402048A (zh) 2020-04-30 2021-04-28 映射曲線參數的獲取方法和視頻處理裝置、終端設備、電腦可讀存儲介質及視頻處理系統
TW110115421A TWI816114B (zh) 2020-04-30 2021-04-28 映射曲線參數的獲取方法和視頻處理裝置、終端設備及電腦可讀存儲介質
US17/976,426 US20230042923A1 (en) 2020-04-30 2022-10-28 Method and appartus for obtaining a mapping curve parameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010366684.2A CN113596428B (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211470053.0A Division CN115883810A (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置

Publications (2)

Publication Number Publication Date
CN113596428A CN113596428A (zh) 2021-11-02
CN113596428B true CN113596428B (zh) 2022-12-06

Family

ID=78237651

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010366684.2A Active CN113596428B (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置
CN202211470053.0A Pending CN115883810A (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211470053.0A Pending CN115883810A (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置

Country Status (7)

Country Link
US (1) US20230042923A1 (zh)
EP (1) EP4135305A4 (zh)
JP (1) JP2023523060A (zh)
KR (1) KR20230006521A (zh)
CN (2) CN113596428B (zh)
TW (2) TWI816114B (zh)
WO (1) WO2021218738A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596428B (zh) * 2020-04-30 2022-12-06 华为技术有限公司 映射曲线参数的获取方法和装置
US11961206B2 (en) * 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves
CN115801969A (zh) * 2022-11-10 2023-03-14 北京奇艺世纪科技有限公司 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质
CN115761015A (zh) * 2022-11-16 2023-03-07 北京奇艺世纪科技有限公司 色调映射方法、装置及相关设备
CN116484269B (zh) * 2023-06-25 2023-09-01 深圳市彤兴电子有限公司 显示屏模组的参数处理方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491121A (zh) * 2018-02-02 2018-09-04 普联技术有限公司 终端屏幕的背光亮度调节方法和***
CN110867172A (zh) * 2019-11-19 2020-03-06 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
DK3231174T3 (da) * 2014-12-11 2020-10-26 Koninklijke Philips Nv Optimering af billeder med højt dynamikområde til bestemte displays
GB2537822A (en) * 2015-04-21 2016-11-02 Sharp Kk Liquid crystal display device and a method of driving thereof
TWI558207B (zh) * 2015-06-29 2016-11-11 瑞昱半導體股份有限公司 寬動態範圍影像方法
US10402952B2 (en) * 2017-06-02 2019-09-03 Apple Inc. Perceptual tone mapping of SDR images for an HDR display
CN109691119B (zh) * 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示***及影像显示方法
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
JP7074461B2 (ja) * 2017-11-22 2022-05-24 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ディスプレイ適合hdr画像を再構成する方法およびデバイス
CN113596428B (zh) * 2020-04-30 2022-12-06 华为技术有限公司 映射曲线参数的获取方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491121A (zh) * 2018-02-02 2018-09-04 普联技术有限公司 终端屏幕的背光亮度调节方法和***
CN110867172A (zh) * 2019-11-19 2020-03-06 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备

Also Published As

Publication number Publication date
TWI816114B (zh) 2023-09-21
TW202143705A (zh) 2021-11-16
JP2023523060A (ja) 2023-06-01
EP4135305A4 (en) 2023-07-05
CN113596428A (zh) 2021-11-02
EP4135305A1 (en) 2023-02-15
WO2021218738A1 (zh) 2021-11-04
US20230042923A1 (en) 2023-02-09
TW202402048A (zh) 2024-01-01
KR20230006521A (ko) 2023-01-10
CN115883810A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN113596428B (zh) 映射曲线参数的获取方法和装置
US10957024B2 (en) Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
EP3744007A1 (en) Controlling image display via real-time compression in peripheral image regions
CN117063461A (zh) 一种图像处理方法和电子设备
KR20160097974A (ko) 영상의 컬러 변환 방법 및 전자 장치
WO2024011976A1 (zh) 一种扩展图像动态范围的方法及电子设备
CN116703693A (zh) 一种图像渲染方法及电子设备
US20240153051A1 (en) Tone mapping method and apparatus for panoramic image
CN117274109B (zh) 图像处理方法、降噪模型训练方法及电子设备
KR20160031286A (ko) 전자 장치의 표시 데이터 처리 방법 및 장치
CN112805745A (zh) 一种混合图层处理方法及装置
CN115379208A (zh) 一种摄像头的测评方法及设备
CN113781959B (zh) 界面处理方法及装置
US11388348B2 (en) Systems and methods for dynamic range compression in multi-frame processing
CN115691370A (zh) 显示控制方法及相关装置
CN114339607B (zh) 测距方法、装置及存储介质
CN116993619B (zh) 图像处理方法及相关设备
CN115460343B (zh) 图像处理方法、设备及存储介质
CN116664630B (zh) 一种图像处理方法和电子设备
CN117710786A (zh) 图像处理方法、图像处理模型的优化方法及相关设备
CN117710697A (zh) 对象检测方法、电子设备、存储介质及程序产品
CN117711300A (zh) 一种图像的显示方法、电子设备、可读存储介质和芯片
CN117635789A (zh) 着色方法、着色装置和电子设备
CN118230660A (zh) 显示处理方法、补偿处理方法、装置、终端和介质
CN117641042A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant