CN111294575B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111294575B
CN111294575B CN202010059813.3A CN202010059813A CN111294575B CN 111294575 B CN111294575 B CN 111294575B CN 202010059813 A CN202010059813 A CN 202010059813A CN 111294575 B CN111294575 B CN 111294575B
Authority
CN
China
Prior art keywords
images
image
tone mapping
value
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010059813.3A
Other languages
English (en)
Other versions
CN111294575A (zh
Inventor
马元蛟
罗俊
权威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010059813.3A priority Critical patent/CN111294575B/zh
Publication of CN111294575A publication Critical patent/CN111294575A/zh
Priority to PCT/CN2020/126521 priority patent/WO2021143300A1/zh
Application granted granted Critical
Publication of CN111294575B publication Critical patent/CN111294575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法、装置、电子设备及存储介质。其中，方法包括：获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术，具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的快速发展，以及拍摄的视频图像的数据量越来越大，因此对拍摄的视频图像进行色调映射处理变得越来越必要。相关技术中，利用相同的色调映射曲线对拍摄的多帧图像进行色调映射，以最大限度保留图像中的颜色、对比度、细节等信息。但是，在拍摄场景的光照度发生改变的情况下，利用相同的色调映射曲线对拍摄的多帧图像进行色调映射，会导致色调映射处理后的整体视频流出现不连续、不自然的展示效果。
发明内容
有鉴于此，本发明实施例期望提供一种图像处理方法、装置、电子设备及存储介质。
本发明的技术方案是这样实现的：
获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与至少两个图像分别对应的属性信息；
利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；
基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；
利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像。
上述方案中，所述基于所述至少两个数值，确定所述至少两个图像分别对应的色调映射曲线，包括：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；
确定与所述至少两个数值中每个数值匹配的两个目标亮度值分别对应的初始色调映射曲线；
基于所述初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
上述方案中，所述确定与所述至少两个数值中每个数值匹配的两个目标亮度值分别对应的初始色调映射曲线，包括：
获取第一曲线；所述第一曲线表征输入的亮度值与输出的亮度值的对应关系；
针对与所述至少两个数值中每个数值匹配的两个目标亮度值，确定所述两个目标亮度值中每个目标亮度值对应的第二曲线和第一函数；
利用所述第二曲线和第一函数，对所述第一曲线进行调整，得到调整后的第一曲线；将调整后的第一曲线作为所述两个目标亮度值分别对应的初始色调映射曲线。
上述方案中，所述基于所述初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线，包括：
将所述至少两个数值中每个数值对应的两个目标亮度值求差，得到第一差值；
将所述至少两个数值中每个数值与对应的两个目标亮度值中亮度值最小的目标亮度值求差，得到第二差值；
将所述每个数值对应的第一差值和第二差值求商，得到所述每个数值对应的第一比值；
利用所述第一比值，以及所述两个目标亮度值分别对应的初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
上述方案中，所述方法还包括：
针对所述至少两个图像中相邻两个图像分别对应的数值求差，得到第三差值；
当确定所述第三差值大于或等于阈值时，基于所述至少两个图像中相邻两个图像分别对应的色调映射曲线，对相邻两个图像中的第一图像对应的色调映射曲线进行更新；所述相邻两个图像包括第一图像和第二图像；所述第一图像的拍摄时刻小于第二图像的拍摄时刻。
上述方案中，所述方法还包括：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；
当从亮度值集合中未选取到与相应数值匹配的两个目标亮度值时，确定所述相应数值对应的图像的直方图；
将所述每个数值对应的直方图作为对所述至少两个图像中每个图像进行色调映射处理的色调映射曲线。
上述方案中，所述利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，包括：
对所述至少两个图像分别进行图像信号处理，得到所述至少两个图像分别对应的YUV图像；
利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像中每个图像对应的YUV图像进行色调映射处理。
上述方案中，所述利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像中每个图像对应的YUV图像进行色调映射处理，包括：
针对所述至少两个图像中每个图像，确定相应图像对应的YUV图像的Y、U、V分量；
利用相应图像对应的YUV图像的Y分量，结合相应图像对应的色调映射曲线，确定色调映射比率；
利用所述色调映射比率，调整相应图像对应的YUV图像中的Y、U、V分量的取值；
将调整后的YUV图像作为色调映射处理后的YUV图像。
本发明实施例提供一种图像处理装置，所述装置包括：
获取单元，用于获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；
第一处理单元，用于利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；
第二处理单元，用于基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；
第三处理单元，用于利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像。
本发明实施例提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行所述程序时实现上述任一所述方法的步骤。
本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行所述程序时实现上述任一所述方法的步骤。
本发明实施例提供的图像处理方法、装置、电子设备及存储介质，获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像。采用本发明实施例的技术方案，能够利用至少两个图像中每个图像自身的属性信息，准确预测每个图像对应的环境光的亮度值，如此，可以基于每个图像对应的环境光的亮度值，确定每个图像对应的色调映射曲线，并利用确定的色调映射曲线对每个图像进行色调映射处理，最终实现整体视频流的流畅、自然的效果，尤其在拍摄场景的光照度发生改变的情况下，仍能够避免整体视频流出现不连续、不自然问题的发生。
附图说明
图1是本发明实施例图像处理方法的实现流程示意图；
图2是本发明实施例确定至少两个图像中每个图像对应的色调映射曲线的实现流程示意图；
图3是本发明实施例对第一曲线进行调整得到初始色调映射曲线的示意图；
图4是本发明实施例不同目标亮度值分别对应的初始色调映射曲线的示意图；
图5是本发明实施例确定至少两个图像中每个图像对应的色调映射曲线的实现流程示意图；
图6是本发明实施例对至少两个图像中每个图像进行色调映射处理的实现流程示意图；
图7是本发明实施例一种确定色调映射处理后的图像的示意图；
图8是本发明实施例又一种确定色调映射处理后的图像的示意图；
图9是本发明实施例图像处理装置的组成结构示意图；
图10是本发明实施例电子设备的组成结构示意图。
具体实施方式
在对本发明实施例的技术方案进行详细说明之前，首先对相关技术进行介绍说明。
相关技术中，可以利用相同的色调映射曲线如gamma曲线对拍摄的多帧图像进行色调映射，以最大限度保留图像中的颜色、对比度、细节等信息。但是，在拍摄场景的光照度发生改变的情况下，利用相同的gamma曲线对拍摄的多帧图像进行色调映射，会导致色调映射处理后的整体视频流出现不连续、不自然的展示效果。
基于此，在本发明的各种实施例中，获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像。
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供一种图像处理方法，图1为本发明实施例图像处理方法的实现流程示意图；如图1所示，所述方法包括：
步骤101：获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；
步骤102：利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；
步骤103：基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；
步骤104：利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像。
这里，在步骤101中，实际应用时，所述至少两个图像可以是指至少两帧图像；所述属性信息可以是指拍摄图像所使用的拍摄参数，如曝光时间、光圈值、感光度。实际应用中，可以提取单帧图像的metadata信息，将提取的metadata信息作为单帧图像的属性信息。
这里，在步骤103中，实际应用时，色调映射曲线可以是指能够调整图像的相对明暗程度的曲线；具体地，当获取的图像是彩色图像时，色调映射曲线可以是指能够调整彩色图像的颜色的曲线。
这里，实际应用时，可以按照以下两种方式计算至少两个图像中每个图像对应的环境光的亮度值。
第一种方式，结合每个图像的属性信息，准确计算每个图像对应的环境光的亮度值。
具体地，以当前帧图像为例，可以结合当前帧的图像的属性信息，并按照公式(1)准确计算当前帧的图像对应的环境光的亮度值。
Figure BDA0002374088110000071
其中，luminancet表示当前帧图像对应的环境光的亮度值；fps表示固定系数，如33；fnumber表示拍摄当前帧图像所使用的拍摄参数，即光圈值；exposuretime表示拍摄当前帧图像所使用的拍摄参数，即曝光时间；isovalue表示拍摄当前帧图像所使用的拍摄参数，即感光度。
第二种方式，使用alpha混合函数，结合每个图像的前一个图像，准确计算每个图像对应的环境光的亮度值。
具体地，为了避免相邻两个图像对应的环境光的亮度值的差异较大，以当前帧图像为例，可以使用alpha混合函数，按照公式(2)准确计算拍摄当前帧图像时环境光的亮度值。
luminancet＝alpha×luminancet+(1-alpha)×luminancet-1 (2)
其中，luminancet表示当前帧图像对应的环境光的亮度值；alpha表示固定系数，如0.7；luminancet-1表示当前帧图像的前一帧图像对应的环境光的亮度值，可以按照公式(1)计算得到。
这里，利用所述至少两个图像分别对应的属性信息，确定所述至少两个图像分别对应的数值，具备以下优点：
能够利用至少两个图像中每个图像自身的属性信息，准确预测每个图像对应的环境光的亮度值，如此，后续可以基于每个图像对应的环境光的亮度值，确定每个图像对应的色调映射曲线，并利用确定的色调映射曲线对每个图像进行色调映射处理，最终实现整体视频流的流畅、自然的效果。
实际应用时，当获取到所述至少两个图像中每个图像对应的环境光的亮度值后，可以从预设的至少两个目标亮度值中选取与每个图像对应的环境光的亮度值最接近的两个目标亮度值，基于选取的两个目标亮度值对应的初始色调映射曲线，生成与每个图像对应的色调映射曲线。
基于此，在一实施例中，所述基于所述至少两个数值，确定所述至少两个图像分别对应的色调映射曲线，包括：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；确定与所述至少两个数值中每个数值匹配的两个目标亮度值分别对应的初始色调映射曲线；基于所述初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
其中，所述从亮度值集合中选取与相应数值匹配的两个目标亮度值可以是指相应数值处于所述两个目标亮度值对应的数值范围内。
举例来说，亮度值集合中包括7个预设亮度值，如5lux、10lux、20lux、50lux、150lux、400lux、800lux。若至少两个图像中当前帧图像对应的环境光的亮度值为8lux，则从亮度值集合中选取两个最接近的预设亮度值作为目标亮度值，即5lux和10lux。
在一示例中，描述确定至少两个图像中每个图像对应的色调映射曲线的过程。
如图2所示，确定至少两个图像中每个图像对应的色调映射曲线的过程，包括：
步骤1：获取至少两个图像中每个图像的属性信息。
这里，提取每个图像的metadata信息，如曝光时间、光圈值(也称为F值)、感光度(也称为isoGain值)，将提取的metadata信息作为每帧图像的属性信息。
步骤2：利用每个图像的属性信息，计算每个图像对应的环境光的亮度值。
这里，可以按照公式(1)计算每个图像对应的环境光的亮度值；或者，也可以按照公式(2)计算每个图像对应的环境光的亮度值。
步骤3：从亮度值集合中选取与每个图像对应的环境光的亮度值匹配的两个目标亮度值。
亮度值集合中包括7个预设亮度值，如5lux、10lux、20lux、50lux、150lux、400lux、800lux。
步骤4：确定与所述两个目标亮度值分别对应的初始色调映射曲线；基于所述初始色调映射曲线，生成与每个图像对应的色调映射曲线。
在本示例中，针对光照在5lux到1000lux之间的所有应用场景，能够基于每个图像的属性信息，确定每个图像对应的环境光的亮度值，并基于每个图像对应的环境光的亮度值提高最适合的色调映射曲线，如此，后续对每个图像进行色调映射时，不会出现亮部过曝提亮不足问题的发生，可保证整体视频流具备流畅、自然的效果。
实际应用时，当确定至少两个图像中每个图像对应的环境光的亮度值匹配的两个目标亮度值后，可以从预设数据库中直接查找与两个目标亮度值分别对应的初始色调映射曲线。或者，基于预设曲线，生成与两个目标亮度值中每个目标亮度值对应的初始色调映射曲线。
基于此，在一实施例中，所述确定与所述至少两个数值中每个数值匹配的两个目标亮度值分别对应的初始色调映射曲线，包括：
获取第一曲线；所述第一曲线表征输入的亮度值与输出的亮度值的对应关系；针对与所述至少两个数值中每个数值匹配的两个目标亮度值，确定所述两个目标亮度值中每个目标亮度值对应的第二曲线和第一函数；利用所述第二曲线和第一函数，对所述第一曲线进行调整，得到调整后的第一曲线；将调整后的第一曲线作为所述两个目标亮度值分别对应的初始色调映射曲线。
其中，所述第一曲线可以为gamma曲线，所述第二曲线可以为ACES Filmic曲线，所述第一函数可以为sigmoid函数。
实际应用时，可以使用公式(3)表示所述第一曲线，可以使用公式(4)表示所述第二曲线，可以使用公式(5)表示所述第一函数。
Figure BDA0002374088110000101
其中，lumout表示输出的亮度值；lumin表示输入的亮度值；gammagain表示固定系数，如2.0。gammagain取值越大，输出的亮度值与输入的亮度值之间的动态范围越大。
Figure BDA0002374088110000102
其中，lumout表示输出的亮度值；a表示默认系数，如2.51；b表示默认系数，如0.03；c表示默认系数，如2.43；d表示默认系数，如0.59；e的取值范围在0和1之间，如0.2。
Figure BDA0002374088110000103
其中，lumout表示输出的亮度值；middle、k表示默认系数。
这里，实际应用时，首先，使用较大的gammagain取值，提高第一曲线对应的输出的亮度值与输入的亮度值之间的动态范围，如图3所示的曲线1所示；然后，利用公式(4)对应的第二曲线对第一曲线进行调整，将第一曲线中对应暗部区域的曲线拉高，将第一曲线中对应亮度区域的曲线拉低，以达到整体曲线的平衡和自然，调整后的第一曲线为图3所示的曲线2；最后，利用第一函数对第一曲线进行再次调整，以调整第一曲线中暗部区域和亮部区域的比例，调整后的第一曲线为图3所示的曲线3；其中，输入的亮度值较低的区域为暗部区域，输入的亮度值较大的区域为亮部区域。这里，针对每个图像对应的两个不同的目标亮度值，确定公式(5)中的middle、k的取值不同，得到的曲线3不同，如此，后续可以基于两个不同的曲线3，生成与每个图像对应的色调映射曲线，利用每个图像对应的色调映射曲线对每个图像进行色调映射处理后，能够提高每个图图像的对比度，与相关技术中仅利用gamma曲线对每个图像进行色调映射相比，能够避免色调映射后图像的颜色饱和度不足或整体图像画面昏暗导致清晰度下降问题的发生，进而实现最佳的色调映射效果。
图4是不同目标亮度值分别对应的初始色调映射曲线的示意图，如图4所示，若目标亮度值为以下之一：5lux、10lux、20lux、50lux、150lux、400lux、800lux，则目标亮度值为5lux对应的初始色调映射曲线用trigger0表示，目标亮度值为10lux对应的初始色调映射曲线用trigger1表示，目标亮度值为20lux对应的初始色调映射曲线用trigger2表示，目标亮度值为50lux对应的初始色调映射曲线用trigger3表示，目标亮度值为150lux对应的初始色调映射曲线用trigger4表示，目标亮度值为400lux对应的初始色调映射曲线用trigger5表示，目标亮度值为800lux对应的初始色调映射曲线用trigger6表示。从图4中可看出，目标亮度值越大，色调补偿率越低，且最低目标亮度值即5lux对应的初始色调映射曲线能够提高最大的色调补偿效果。
实际应用时，当确定至少两个图像中每个图像对应的环境光的亮度值匹配的两个目标亮度值，并确定与两个目标亮度值分别对应的初始色调映射曲线后，可以基于两个初始色调映射曲线，结合每个图像对应的环境光的亮度值，使用内插算法，生成与每个图像对应的色调映射曲线。
基于此，在一实施例中，所述基于所述初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线，包括：
将所述至少两个数值中每个数值对应的两个目标亮度值求差，得到第一差值；将所述至少两个数值中每个数值与对应的两个目标亮度值中亮度值最小的目标亮度值求差，得到第二差值；将所述每个数值对应的第一差值和每个数值对应的第二差值求商，得到每个数值对应的第一比值；利用所述第一比值，以及所述至少两个数值中每个数值对应的两个目标亮度值分别对应的初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
实际应用时，可以使用公式(6)表示所述第一差值，使用公式(7)表示所述第二差值，使用公式(8)表示第一比值。
offset＝trigger1-trigger0 (6)
其中，offset表示第一差值；trigger1、trigger0分别表示与每个图像对应的两个目标亮度值。
dis＝luminancet-trigger0 (7)
其中，dis表示第二差值；luminancet表示当前帧图像对应的环境光的亮度值；trigger0表示与当前帧图像对应的两个目标亮度值中的最小亮度值。
weight＝dis/offset (8)
其中，weight表示第一比值。
实际应用时，可以使用公式(9)对应的内插算法，基于两个初始色调映射曲线，结合第一比值，生成与每个图像对应的色调映射曲线。
curve_inter(t)＝(1-weight)×curve_initial0+weight×curve_initial1 (9)
其中，curve_inter(t)表示当前帧图像对应的色调映射曲线，initial0、initial1分别表示当前帧图像对应的两个目标亮度值分别对应的初始色调映射曲线。
这里，基于至少两个图像中每个图像对应的环境光的亮度值，确定对应的两个初始色调映射曲线，并基于两个初始色调映射曲线，生成与每个图像对应的色调映射曲线，具备以下优点：
由于两个初始色调映射曲线是利用第二曲线和第一函数对第一曲线进行了调整得到的，因此，基于两个初始色调映射曲线，生成与每个图像对应的色调映射曲线，后续利用每个图像对应的色调映射曲线对每个图像进行色调映射处理后，能够提高每个图图像的对比度，与相关技术中仅利用gamma曲线对每个图像进行色调映射相比，能够避免色调映射后图像的颜色饱和度不足或整体图像画面昏暗导致清晰度下降问题的发生，进而实现最佳的色调映射效果。
实际应用时，为了避免相邻前后两个图像对应的环境光的亮度差值较大导致色调映射处理后的图像出现不连续、不自然的现象，当确定每个图像对应的色调映射曲线后，可以计算相邻前后两个图像对应的环境光的亮度的差值，在差值大于或等于阈值时，基于相邻两个图像对应的色调映射曲线，对相邻两个图像拍摄时刻较晚的图像对应的色调映射曲线进行更新。
基于此，在一实施例中，所述方法还包括：
针对所述至少两个图像中相邻两个图像分别对应的数值求差，得到第三差值；判断所述第三差值是否大于或等于阈值；当确定所述第三差值大于或等于阈值时，基于所述至少两个图像中相邻两个图像分别对应的色调映射曲线，对相邻两个图像中的第一图像对应的色调映射曲线进行更新；所述相邻两个图像包括第一图像和第二图像；所述第一图像的拍摄时刻小于第二图像的拍摄时刻。
在一示例中，描述确定至少两个图像中每个图像对应的色调映射曲线的过程。
如图5所示，确定至少两个图像中每个图像对应的色调映射曲线的过程，包括：
步骤1：获取至少两个图像中每个图像的属性信息。
步骤2：利用每个图像的属性信息，计算每个图像对应的环境光的亮度值；基于每个图像对应的环境光的亮度值，确定与每个图像对应的色调映射曲线。
步骤3：将所述至少两个图像中相邻两个图像分别对应的环境光的亮度值求差，得到第三差值。
这里，相邻两个图像分别对应的环境光的亮度值用luminance(t)和luminance(t-1)表示。
步骤4：判断所述第三差值是否大于或等于阈值；当确定所述第三差值大于或等于阈值时，执行步骤5。
这里，阈值用lumDiffThresh表示，取值可以为30。
步骤5：基于所述至少两个图像中相邻两个图像分别对应的色调映射曲线，对相邻两个图像中的第一图像对应的色调映射曲线进行更新。
所述相邻两个图像包括第一图像和第二图像；所述第一图像的拍摄时刻大于第二图像的拍摄时刻。
这里，第一图像对应的色调映射曲线用curve_inter(t)表示，第二图像对应的色调映射曲线用curve_final(t-1)表示，利用公式(9)所示的内插算法，将第一图像对应的色调映射曲线curve_inter(t)更新为curve_final(t)。
在本示例中，当确定所述至少两个图像中每个图像对应的色调映射曲线后，在所述至少两个图像中相邻两个图像对应的环境光的亮度值大于或等于阈值时，会利用相邻两个图像对应的色调映射曲线对拍摄时刻较晚的图像对应的色调映射曲线进行更新调整，如此，能够避免相邻前后两个图像对应的环境光的亮度差值较大导致色调映射处理后的图像出现不连续、不自然的现象。
实际应用时，为了提高进行色调映射的处理时间，达到视频流的实时展示效果，可以直接在YUV(Y表示明亮度，U表示色度，V表示色度)域上对至少两个图像中每个图像进行色调映射处理。
基于此，在一实施例中，所述利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，包括：
对所述至少两个图像分别进行图像信号处理，得到所述至少两个图像分别对应的YUV图像；利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像中每个图像对应的YUV图像进行色调映射处理。
其中，YUV中的Y表示明亮度，即灰阶值，YUV中的U和V表示色度，即影像色彩和饱和度。
这里，所述至少两个图像也可以是经过图像信号处理得到的YUV图像，如此，当确定所述至少两个图像中每个图像对应的色调映射曲线后，可直接对每个图像在YUV域上进行色调映射处理。
实际应用时，基于所述至少两个图像中每个图像对应的色调映射曲线，确定色调映射比率，基于色调映射比率，对每个图像在YUV域上进行色调映射处理。
基于此，在一实施例中，所述利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像中每个图像对应的YUV图像进行色调映射处理，包括：
针对所述至少两个图像中每个图像，确定相应图像对应的YUV图像的Y、U、V分量；利用相应图像对应的YUV图像的Y分量，结合相应图像对应的色调映射曲线，确定色调映射比率；利用所述色调映射比率，调整相应图像对应的YUV图像中的Y、U、V分量的取值；将调整后的YUV图像作为色调映射处理后的YUV图像。
实际应用时，可以使用公式(10)确定色调映射比率。
ratio＝curve_final(t)×Y_in (10)
其中，curve_final(t)表示当前帧图像对应的色调映射曲线；Y_in表示当前帧图像对应的YUV图像的Y分量；ratio表示色调映射率。
实际应用时，可以使用公式(11)时，结合色调映射比率，调整相应图像对应的YUV图像中的Y、U、V分量的取值。
Figure BDA0002374088110000151
其中，Y_in表示当前帧图像对应的YUV图像的Y分量；U_in表示当前帧图像对应的YUV图像的U分量；V_in表示当前帧图像对应的YUV图像的V分量；Y_out表示当前帧图像对应的调整后的YUV图像的Y分量；U_out表示当前帧图像对应的调整后的YUV图像的U分量；V_out表示当前帧图像对应的调整后的YUV图像的V分量。
这里，基于所述至少两个图像中每个图像对应的色调映射曲线，确定色调映射比率，基于色调映射比率，对每个图像在YUV域上进行色调映射处理，具备以下优点：
直接在YUV域上对至少两个图像中每个图像进行色调映射处理，与相关技术中在RGB域对图像进行色调映射处理相比，无需进行YUV域到RGB域、RGB域到YUV域的转换，从而提高进行色调映射的处理时间，达到视频流的实时展示效果，如每秒传输帧数大于30fps。
实际应用时，在拍摄夜景视频时，在较低照度场景下，如亮度小于5lux，由于灯光照明等原因，相同光照情况下不同图像的亮度也会有很大不同，如果对所述至少两个图像进行统计的全局色调映射处理，会产生图像过曝或过暗的情况的发生，如此，若所述至少两个图像中每个图像对应的环境光的亮度值较低，如小于55lux，则可以基于每个图像的直方图，对每个图像进行色调映射处理。
基于此，在一实施例中，所述方法还包括：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；
当从亮度值集合中未选取到与相应数值匹配的两个目标亮度值时，确定所述相应数值对应的图像的直方图；将所述每个数值对应的直方图作为对所述至少两个图像中每个图像进行色调映射处理的色调映射曲线；利用所述直方图，对所述至少两个图像中每个图像进行色调映射处理，得到处理后的至少两个图像。
其中，直方图可以用于利用具有明暗分布的曲线呈现图像。从亮度值集合中未选取到与相应数值匹配的两个目标亮度值，表明环境光的亮度值较低。
实际应用时，可以对所述至少两个图像分别进行图像信号处理，得到所述至少两个图像分别对应的YUV图像；并确定每个图像对应的YUV图像的直方图，利用直方图，对每个图像对应的YUV图像的Y分量的取值进行调整，得到色调映射处理后的YUV图像。
这里，当从亮度值集合中未选取到与相应数值匹配的两个目标亮度值时，可以基于相应数值对应的图像的直方图，对该图像进行色调映射处理，具备以下优点：
利用图像的直方图特性对图像进行局部色调映射处理，与相关技术中对至少两个图像进行全局色调映射处理的方式相比，在拍摄场景的光照较暗时，仍然达到较好的色调映射效果，同时能够使环境光的亮度的差值较大的相邻两个图像具备相似的色调映射效果，从而实现整体视频流的流畅、自然的展示效果。
在一示例中，描述对至少两个图像中每个图像进行色调映射处理的过程。
如图6所示，对至少两个图像中每个图像进行色调映射处理的过程，包括：
步骤1：获取至少两个YUV图像以及分别对应的属性信息。
这里，每个YUV图像的属性信息可以为：曝光时间为30ms，光圈值为1.75，感光度为6400。
这里，至少两个YUV图像是对获取的至少两个图像进行图像信号处理后得到的至少两个YUV图像。
步骤2：基于每个YUV图像的属性信息，确定每个YUV图像对应的环境光的亮度值。
这里，环境光的亮度值也可以用照度值表示。假设当前帧YUV图像对应的环境光的亮度值为5lux。
步骤3：基于每个YUV图像对应的环境光的亮度值，确定对应的色调映射曲线。
步骤4：利用每个YUV图像对应的色调映射曲线，对每个YUV图像的三个通道进行色调映射处理。
这里，基于YUV图像对应的色调映射曲线，对YUV图像的三个通道进行色调映射处理，得到的YUV图像为图7所示。
这里，若YUV图像对应的环境光的亮度值低于阈值如5lux，则基于YUV图像的直方图，对YUV图像进行色调映射处理，得到的YUV图像为图8所示。在低照度场景下，基于YUV图像的直方图，对YUV图像进行色调映射处理，能够避免色调映射比率过大导致图像过曝现象的发生，而且能将YUV图像中黑色区域还原到原本的灰度，从而提高YUV图像的对比度，进而使得整体视频流的亮度呈现流畅、自然的展示效果。
采用本发明实施例的技术方案，能够利用至少两个图像中每个图像自身的属性信息，准确预测每个图像对应的环境光的亮度值，如此，可以基于每个图像对应的环境光的亮度值，确定每个图像对应的色调映射曲线，并利用确定的色调映射曲线对每个图像进行色调映射处理，最终实现整体视频流的流畅、自然的效果，尤其在拍摄场景的光照度发生改变的情况下，仍能够避免整体视频流出现不连续、不自然问题的发生。
为实现本发明实施例图像处理方法，本发明实施例还提供一种图像处理装置。图9为本发明实施例图像处理装置的组成结构示意图；如图9所示，所述装置包括：
获取单元91，用于获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；
第一处理单元92，用于利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；
第二处理单元93，用于基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；
第三处理单元94，用于利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像。
在一实施例中，所述第二处理单元93，具体用于：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；确定与所述至少两个数值中每个数值匹配的两个目标亮度值分别对应的初始色调映射曲线；基于所述初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
在一实施例中，所述第二处理单元93，具体用于：
获取第一曲线；所述第一曲线表征输入的亮度值与输出的亮度值的对应关系；针对与所述至少两个数值中每个数值匹配的两个目标亮度值，确定所述两个目标亮度值中每个目标亮度值对应的第二曲线和第一函数；利用所述第二曲线和第一函数，对所述第一曲线进行调整，得到调整后的第一曲线；将调整后的第一曲线作为所述两个目标亮度值分别对应的初始色调映射曲线。
在一实施例中，所述第二处理单元93，具体用于：
将所述至少两个数值中每个数值对应的两个目标亮度值求差，得到第一差值；将所述至少两个数值中每个数值与对应的两个目标亮度值中亮度值最小的目标亮度值求差，得到第二差值；将所述每个数值对应的第一差值和每个数值对应的第二差值求商，得到每个数值对应的第一比值；利用所述第一比值，以及所述两个目标亮度值分别对应的初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
在一实施例中，所述方装置还包括：
更新单元，用于针对所述至少两个图像中相邻两个图像分别对应的数值求差，得到第三差值；判断所述第三差值是否大于或等于阈值；当确定所述第三差值大于或等于阈值时，基于所述至少两个图像中相邻两个图像分别对应的色调映射曲线，对相邻两个图像中的第一图像对应的色调映射曲线进行更新；所述相邻两个图像包括第一图像和第二图像；所述第一图像的拍摄时刻小于第二图像的拍摄时刻。
在一实施例中，所述第三处理单元94，具体用于：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；当从亮度值集合中未选取到与相应数值匹配的两个目标亮度值时，确定所述相应数值对应的图像的直方图；将所述每个数值对应的直方图作为对所述至少两个图像中每个图像进行色调映射处理的色调映射曲线；利用所述直方图，对所述至少两个图像中每个图像进行色调映射处理，得到处理后的至少两个图像。
在一实施例中，第三处理单元94，具体用于：
对所述至少两个图像分别进行图像信号处理，得到所述至少两个图像分别对应的YUV图像；
利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像中每个图像对应的YUV图像进行色调映射处理。
在一实施例中，第三处理单元94，具体用于：
针对所述至少两个图像中每个图像，确定相应图像对应的YUV图像的Y、U、V分量；利用相应图像对应的YUV图像的Y分量，结合相应图像对应的色调映射曲线，确定色调映射比率；利用所述色调映射比率，调整相应图像对应的YUV图像中的Y、U、V分量的取值；将调整后的YUV图像作为色调映射处理后的YUV图像。
实际应用时，所述获取单元91可由所述装置中的通信接口实现；所述第一处理单元92、第二处理单元93、第三处理单元94可由所述装置中的通信接口实现；所述处理器可以是中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital SignalProcessor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)。
需要说明的是：上述实施例提供的终端在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将所述装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的所述装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述设备的硬件实现，本发明实施例还提供了一种电子设备，图10为本发明实施例的电子设备的硬件组成结构示意图，如图10所示，电子设备100包括存储器103、处理器102及存储在存储器103上并可在处理器102上运行的计算机程序；所述处理器102执行所述程序时实现上述一个或多个技术方案提供的方法。
需要说明的是，所述处理器102执行所述程序时实现的具体步骤已在上文详述，这里不再赘述。
可以理解，电子设备100还包括通信接口101，所述通信接口101用于和其它设备进行信息交互；同时，电子设备100中的各个组件通过总线***104耦合在一起。可理解，总线***104配置为实现这些组件之间的连接通信。总线***104除包括数据总线之外，还包括电源总线、控制总线和状态信号总线等。
可以理解，本实施例中的存储器103可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnly Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器102中，或者由处理器102实现。处理器102可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器102可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器102读取存储器中的信息，结合其硬件完成前述方法的步骤。
本发明实施例还提供了一种存储介质，具体为计算机存储介质，更具体的为计算机可读存储介质。其上存储有计算机指令，即计算机程序，该计算机指令被处理器执行时上述一个或多个技术方案提供的方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；
利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；
基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；
利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像；
其中，按照以下公式之一计算所述数值：
Figure 357369DEST_PATH_IMAGE001
（1）
其中，
Figure 63157DEST_PATH_IMAGE002
表示当前帧图像对应的环境光的亮度值；
Figure 460641DEST_PATH_IMAGE003
表示固定系数；
Figure 986300DEST_PATH_IMAGE004
表示拍摄当前帧图像所使用的光圈值；
Figure 628896DEST_PATH_IMAGE005
表示拍摄当前帧图像所使用的曝光时间；
Figure 189190DEST_PATH_IMAGE006
表示拍摄当前帧图像所使用的感光度；
Figure 23154DEST_PATH_IMAGE007
（2）
其中，
Figure 770530DEST_PATH_IMAGE002
表示当前帧图像对应的环境光的亮度值；
Figure 216817DEST_PATH_IMAGE008
表示固定系数；
Figure 631618DEST_PATH_IMAGE009
表示当前帧图像的前一帧图像对应的环境光的亮度值；按照公式（1）计算当前帧图像和当前帧图像的前一帧图像分别对应的环境光的亮度值。
2.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个数值，确定所述至少两个图像分别对应的色调映射曲线，包括：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；
确定与所述至少两个数值中每个数值匹配的两个目标亮度值分别对应的初始色调映射曲线；
基于所述初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
3.根据权利要求2所述的方法，其特征在于，所述确定与所述至少两个数值中每个数值匹配的两个目标亮度值分别对应的初始色调映射曲线，包括：
获取第一曲线；所述第一曲线表征输入的亮度值与输出的亮度值的对应关系；
针对与所述至少两个数值中每个数值匹配的两个目标亮度值，确定所述两个目标亮度值中每个目标亮度值对应的第二曲线和第一函数；
利用所述第二曲线和第一函数，对所述第一曲线进行调整，得到调整后的第一曲线；将调整后的第一曲线作为所述两个目标亮度值分别对应的初始色调映射曲线。
4.根据权利要求2或3所述的方法，其特征在于，所述基于所述初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线，包括：
将所述至少两个数值中每个数值对应的两个目标亮度值求差，得到第一差值；
将所述至少两个数值中每个数值与对应的两个目标亮度值中亮度值最小的目标亮度值求差，得到第二差值；
将所述每个数值对应的第一差值和第二差值求商，得到所述每个数值对应的第一比值；
利用所述第一比值，以及所述两个目标亮度值分别对应的初始色调映射曲线，生成与所述至少两个图像分别对应的色调映射曲线。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
针对所述至少两个图像中相邻两个图像分别对应的数值求差，得到第三差值；
当确定所述第三差值大于或等于阈值时，基于所述至少两个图像中相邻两个图像分别对应的色调映射曲线，对相邻两个图像中的第一图像对应的色调映射曲线进行更新；所述相邻两个图像包括第一图像和第二图像；所述第一图像的拍摄时刻大于第二图像的拍摄时刻。
6.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个数值，确定所述至少两个图像分别对应的色调映射曲线，包括：
针对所述至少两个数值中每个数值，从亮度值集合中选取与相应数值匹配的两个目标亮度值；
当从亮度值集合中未选取到与相应数值匹配的两个目标亮度值时，确定所述相应数值对应的图像的直方图；
将所述每个数值对应的直方图作为对所述至少两个图像中每个图像进行色调映射处理的色调映射曲线。
7.根据权利要求1所述的方法，其特征在于，所述利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，包括：
对所述至少两个图像分别进行图像信号处理，得到所述至少两个图像分别对应的YUV图像；
利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像中每个图像对应的YUV图像进行色调映射处理。
8.根据权利要求7所述的方法，其特征在于，所述利用所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像中每个图像对应的YUV图像进行色调映射处理，包括：
针对所述至少两个图像中每个图像，确定相应图像对应的YUV图像的Y、U、V分量；
利用相应图像对应的YUV图像的Y分量，结合相应图像对应的色调映射曲线，确定色调映射比率；
利用所述色调映射比率，调整相应图像对应的YUV图像中的Y、U、V分量的取值；
将调整后的YUV图像作为色调映射处理后的YUV图像。
9.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取待处理视频数据；所述待处理视频数据包括至少两个图像以及与所述至少两个图像分别对应的属性信息；
第一处理单元，用于利用与所述至少两个图像分别对应的属性信息，确定与所述至少两个图像分别对应的数值，得到至少两个数值；所述数值表征拍摄图像时环境光的亮度值；
第二处理单元，用于基于所述至少两个数值，确定与所述至少两个图像分别对应的色调映射曲线；
第三处理单元，用于利用与所述至少两个图像分别对应的色调映射曲线，对所述至少两个图像分别进行色调映射处理，得到处理后的至少两个图像；
其中，按照以下公式之一计算所述数值：
Figure 636483DEST_PATH_IMAGE001
（1）
其中，
Figure 136735DEST_PATH_IMAGE002
表示当前帧图像对应的环境光的亮度值；
Figure 121134DEST_PATH_IMAGE003
表示固定系数；
Figure 656020DEST_PATH_IMAGE004
表示拍摄当前帧图像所使用的光圈值；
Figure 831787DEST_PATH_IMAGE005
表示拍摄当前帧图像所使用的曝光时间；
Figure 819334DEST_PATH_IMAGE006
表示拍摄当前帧图像所使用的感光度；
Figure 607424DEST_PATH_IMAGE007
（2）
其中，
Figure 731238DEST_PATH_IMAGE002
表示当前帧图像对应的环境光的亮度值；
Figure 77905DEST_PATH_IMAGE008
表示固定系数；
Figure 647689DEST_PATH_IMAGE009
表示当前帧图像的前一帧图像对应的环境光的亮度值；按照公式（1）计算当前帧图像和当前帧图像的前一帧图像分别对应的环境光的亮度值。
10.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至8任一项所述方法的步骤。
11.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
CN202010059813.3A 2020-01-19 2020-01-19 图像处理方法、装置、电子设备及存储介质 Active CN111294575B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010059813.3A CN111294575B (zh) 2020-01-19 2020-01-19 图像处理方法、装置、电子设备及存储介质
PCT/CN2020/126521 WO2021143300A1 (zh) 2020-01-19 2020-11-04 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010059813.3A CN111294575B (zh) 2020-01-19 2020-01-19 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111294575A CN111294575A (zh) 2020-06-16
CN111294575B true CN111294575B (zh) 2022-06-28

Family

ID=71029135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010059813.3A Active CN111294575B (zh) 2020-01-19 2020-01-19 图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111294575B (zh)
WO (1) WO2021143300A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294575B (zh) * 2020-01-19 2022-06-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112150392B (zh) * 2020-09-30 2024-03-19 普联技术有限公司 一种低照度图像的修复方法及装置
CN116391361A (zh) * 2020-10-15 2023-07-04 Oppo广东移动通信有限公司 用于色调映射的方法和装置以及存储用于实现该方法的软件的计算机可用介质
WO2022094945A1 (en) * 2020-11-06 2022-05-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for tone mapping, and computer usable medium storing software for implementing the method
CN112565636B (zh) * 2020-12-01 2023-11-21 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
CN114422767A (zh) * 2022-01-29 2022-04-29 Oppo广东移动通信有限公司 一种视频效果增强方法、装置、移动终端和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763134A (zh) * 2010-02-19 2012-10-31 汤姆森特许公司 用于高动态范围视频色调映射的参数内插
CN107481696A (zh) * 2017-09-27 2017-12-15 天津汇讯视通科技有限公司 一种基于gamma相关自适应图像处理方法
CN108090879A (zh) * 2017-12-12 2018-05-29 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108198155A (zh) * 2017-12-27 2018-06-22 合肥君正科技有限公司 一种自适用色调映射方法及***
CN110545413A (zh) * 2017-07-13 2019-12-06 联发科技股份有限公司 用于执行高动态范围视频的色调映射的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624678B1 (en) * 2004-03-05 2010-05-12 Panasonic Corporation Image signal processing method, image signal processing apparatus, and image displaying apparatus
US8139054B2 (en) * 2005-12-30 2012-03-20 Mediatek Inc. Luminance compensation apparatus and method
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
CN104519281B (zh) * 2014-12-05 2018-01-19 深圳市先河***技术有限公司 一种图像的处理方法及处理装置
CN105118433B (zh) * 2015-09-07 2017-10-17 西安诺瓦电子科技有限公司 显示屏显示优化方法
CN105632447B (zh) * 2016-03-31 2018-05-18 青岛海信移动通信技术股份有限公司 一种液晶显示屏的显示亮度调整方法及装置
US10504487B2 (en) * 2016-10-14 2019-12-10 Apple Inc. Ambient and content adaptive pixel manipulation
CN111294575B (zh) * 2020-01-19 2022-06-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763134A (zh) * 2010-02-19 2012-10-31 汤姆森特许公司 用于高动态范围视频色调映射的参数内插
CN110545413A (zh) * 2017-07-13 2019-12-06 联发科技股份有限公司 用于执行高动态范围视频的色调映射的方法及装置
CN107481696A (zh) * 2017-09-27 2017-12-15 天津汇讯视通科技有限公司 一种基于gamma相关自适应图像处理方法
CN108090879A (zh) * 2017-12-12 2018-05-29 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108198155A (zh) * 2017-12-27 2018-06-22 合肥君正科技有限公司 一种自适用色调映射方法及***

Also Published As

Publication number Publication date
WO2021143300A1 (zh) 2021-07-22
CN111294575A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111294575B (zh) 图像处理方法、装置、电子设备及存储介质
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
JP6911202B2 (ja) 撮像制御方法および撮像装置
CN110445989B (zh) 图像处理方法、装置、存储介质及电子设备
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
WO2020029732A1 (zh) 全景拍摄方法、装置和成像设备
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
CN110213502B (zh) 图像处理方法、装置、存储介质及电子设备
CN112565636B (zh) 图像处理方法、装置、设备和存储介质
TWI697867B (zh) 測光補償方法及其相關監控攝影設備
US11601600B2 (en) Control method and electronic device
CN111885312B (zh) Hdr图像的成像方法、***、电子设备及存储介质
JP2012235377A (ja) 画像処理装置、画像処理方法及びプログラム
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN108833802A (zh) 曝光控制方法、装置和电子设备
WO2020029679A1 (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
US10218953B2 (en) Image processing apparatus, image processing method, and storage medium
US11445127B2 (en) Leveraging HDR sensors for handling mixed illumination auto white balance
US7990427B2 (en) Method and apparatus for applying tonal correction to images
WO2022067761A1 (zh) 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN114283100A (zh) 高动态范围图像合成与色调映射方法及电子设备
JP2019040382A (ja) 画像処理装置
TWI475512B (zh) 動態範圍影像的雜訊處理方法及其影像擷取裝置
KR100520970B1 (ko) 하이 다이나믹 레인지 이미지를 로우 다이나믹 레인지이미지로 전환하기 위한 방법 및 장치
JP2009239974A (ja) 自動露出装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant