CN113455013A

CN113455013A - 用于处理图像的电子设备及其图像处理方法

Info

Publication number: CN113455013A
Application number: CN202080015237.0A
Authority: CN
Inventors: 朴相昱; 郑凤洙; 金昌镐; 李廷元; 廉东铉
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2019-02-19
Filing date: 2020-02-18
Publication date: 2021-09-28
Anticipated expiration: 2040-02-18
Also published as: US11107201B2; EP3900382A4; US20210350509A1; CN113455013B; WO2020171565A1; US20200265561A1; EP3900382A1; KR20200101048A; US11922607B2

Abstract

本公开涉及公开了一种电子设备，包括存储器和与存储器电连接的处理器。存储器存储指令，当指令被执行时使处理器控制电子设备以：基于图像内容的元数据来获取关于图像内容亮度的最大值的信息，基于关于亮度的最大值的信息，对与图像内容的预览图像相对应的至少一个或多个帧执行色调映射，以及基于对其执行色调映射的至少一个或多个帧在显示设备上输出预览图像。

Description

用于处理图像的电子设备及其图像处理方法

技术领域

本公开涉及一种允许电子设备处理图像数据的技术。

背景技术

由于提供了具有各种性能的显示设备，因此提供了各种格式的图像内容。例如，提供了与传统标准动态范围(standard dynamic range，SDR)内容相比，通过更精细地划分对比度来显示图像的高动态范围(high dynamic range，HDR)内容，该高动态范围(HDR)内容如同人通过他/她的眼睛感知目标一样。此外，随着电子设备的性能的改进，能够生成或编辑动态范围内容的设备正逐渐被提供。

以上信息仅作为背景信息呈现，以帮助理解本公开。对于上述任何信息是否可以作为本公开的现有技术而应用，没有做出确定，也没有做出断言。

发明内容

技术问题

在显示设备打算显示的图像内容格式是显示设备不支持的格式的情况下，显示设备无法正常显示图像内容。例如，在HDR内容的亮度范围超过显示设备的性能或者显示设备不支持HDR内容的输出的情况下，原始图像的颜色或灰度可能失真。在这样的情况下，与用于创建图像内容的图像不同的图像可以通过显示设备被输出。

本公开的实施例至少解决了上述问题和/或缺点，并至少提供了下述优点。因此，本公开的一个示例方面是解决当电子设备生成或显示与图像内容相关联的图像时生成或显示质量退化图像的问题。

技术方案

根据本公开的一个示例方面，电子设备可包括存储器和与存储器电连接的处理器。存储器可存储指令，当指令被执行时使处理器控制电子设备以：基于图像内容的元数据来获取关于图像内容亮度的最大值的信息；基于关于亮度的最大值的信息，对与图像内容的预览图像相对应的至少一帧执行色调映射(tone mapping)；以及基于在其上色调映射被执行的所述至少一帧，输出预览图像。

根据本公开的另一示例方面，方法可包括基于图像内容的元数据来获取关于图像内容亮度的最大值的信息；基于关于亮度的最大值的信息，对与图像内容的预览图像相对应的至少一帧执行色调映射；以及基于在其上色调映射被执行的所述至少一帧，生成预览图像。

根据本公开的另一示例方面，存储介质可存储程序，当程序被执行时使电子设备以基于图像内容的元数据来获取关于图像内容亮度的最大值的信息，为了确定电子设备的状态是否满足与图像内容的预览图像的输出相关联的指定输出条件，基于电子设备的状态不满足与图像内容的预览图像的输出相关联的指定输出条件，基于关于亮度的最大值的信息，对与图像内容的预览图像相对应的至少一帧执行色调映射，以及基于对其执行色调映射的所述至少一帧，生成预览图像。

本公开的其他方面、优点和显著特征对于本领域技术人员来说将从以下详细描述中变得显而易见，结合附图，公开了本公开的各种示例实施例。

有益效果

根据本公开的各种示例实施例的电子设备可以生成或显示图像，其质量不会降低。

附图说明

通过以下结合附图的详细描述，本公开某些实施例的上述和其他方面、特征和优点将更加明显，附图中：

图1是示出根据各种实施例的网络环境中的示例电子设备的框图；

图2是示出根据各种实施例的电子设备的示例结构和***主控图像内容并向电子设备提供主控结果的示例配置的框图；

图3是示出根据各种实施例的其中电子设备显示包括缩略图的屏幕的示例的图；

图4是示出根据各种实施例的允许电子设备生成与图像内容相关联的图像的示例用户界面的示例的图；

图5是示出根据各种实施例的包括用于在电子设备处编辑或搜索图像内容的图像的屏幕的示例的图；

图6是示出根据各种实施例的电子设备生成预览图像的示例过程的流程图；

图7是示出根据各种实施例的将HDR图像转换为SDR图像的示例过程的流程图；

图8是示出根据各种实施例的其中电子设备决定色调映射的归一化因子并归一化图像内容的示例过程的流程图；和

图9是示出根据各种实施例的其中电子设备基于色调映射生成预览图像的示例过程的流程图。

关于附图的说明，使用相似的附图标记可以指示相似的组件。

具体实施方式

以下，将参考附图描述本公开的各种示例实施例。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种示例实施例进行各种修改、等同和/或替代。

图1是示出根据各种实施例的网络环境100中的示例电子设备101的框图。参考图1，网络环境100中的电子设备101可以经由第一网络198(例如，短距离无线通信网络)与电子设备102通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108通信。根据实施例，电子设备101可经由服务器108与电子设备104通信。根据实施例，电子设备101可包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块190、用户识别模块(subscriber identification module，SIM)196或天线模块197。在一些实施例中，可以从电子设备101中省略至少一个组件(例如，显示设备160或相机模块180)，或者可以在电子设备101中添加一个或多个其他组件。在一些实施例中，一些组件可以被实现为单个集成电路。例如，传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)可以被实现为嵌入在显示设备160(例如，显示器)中。

处理器120可以执行例如软件(例如，程序140)来控制与处理器120耦合的电子设备101的至少一个其他组件(例如，硬件或软件组件)，并且可以执行各种数据处理或计算。根据示例实施例，作为数据处理或计算的至少一部分，处理器120可以将从另一组件(例如，传感器模块176或通信模块190)接收的命令或数据加载到易失性存储器132中，处理存储在易失性存储器132中的命令或数据，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理单元(CPU)或应用处理器(AP))、以及可独立于主处理器121或与主处理器121一起操作的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器集线器处理器、或通信处理器(CP))。另外或可选地，辅助处理器123可适于消耗比主处理器121更少的功率，或适于特定于指定功能。辅助处理器123可以独立于主处理器121或作为主处理器121的一部分来实现。

辅助处理器123可以控制与电子设备101的组件中的至少一个组件(例如，显示设备160、传感器模块176或通信模块190)相关的至少一些功能或状态，在主处理器121处于非活动(例如，睡眠)状态时代替主处理器121，或者在主处理器121处于活动状态(例如，执行应用)时与主处理器121一起。根据一个实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可以实现为功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的一部分。

存储器130可存储由电子设备101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。各种数据可包括，例如，软件(例如，程序140)以及与之相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。

程序140可以作为软件存储在存储器130中，并且可以包括例如操作***(OS)142、中间件144或应用146。

输入设备150可以从电子设备101的外部(例如，用户)接收由电子设备101的其他组件(例如，处理器120)使用的命令或数据。输入设备150可以包括例如麦克风、鼠标、键盘或数字笔(例如，触笔)。

声音输出设备155可以向电子设备101的外部输出声音信号。声音输出设备155可以包括例如扬声器或接收器。扬声器可用于一般用途，诸如播放多媒体或播放唱片，并且接收器可用于呼入。根据实施例，接收机可被实现为与扬声器分离或作为扬声器的一部分。

显示设备160可在视觉上向电子设备101的外部(例如，用户)提供信息。显示设备160可包括例如显示器、全息图设备或投影仪以及控制电路，以控制显示器、全息图设备和投影仪中的相应一个。根据实施例，显示设备160可包括适于检测触摸的触摸电路，或适于测量触摸产生的力的强度的传感器电路(例如，压力传感器)。

音频模块170可将声音转换为电信号，反之亦然。根据实施例，音频模块170可经由输入设备150获取声音，或经由声音输出设备155或与电子设备101直接(例如，有线)或无线耦合的外部电子设备(例如，电子设备102)(例如，耳机扬声器)输出声音。

传感器模块176可检测电子设备101的工作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户状态)，然后生成与检测到的状态相对应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持力传感器、接近传感器、颜色传感器、红外(IR)传感器、生物测定传感器、温度传感器、湿度传感器或照度传感器。

接口177可以支持一个或多个指定协议，用于电子设备101直接(例如，有线)或无线地与外部电子设备(例如，电子设备102)耦合。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端子178可以包括连接器，经由连接器，电子设备101可以与外部电子设备(例如，电子设备102)进行物理连接。根据实施例，连接端子178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为机械刺激(例如，振动或运动)或电刺激，用户可经由他的触感或动感标识刺激。根据实施例，触觉模块179可以包括例如马达、压电元件或电刺激器。

相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或多个镜头、图像传感器、图像信号处理器或闪光灯。

电源管理模块188可以管理提供给电子设备101的电源。根据示例实施例，电源管理模块188可以被实现为例如电源管理集成电路(power management integratedcircuit，PMIC)的至少一部分。

电池189可向电子设备101的至少一个组件供电。根据实施例，电池189可包括例如不可再充电的一次电池(primary cell)、可再充电的二次电池(secondary cell)、或燃料电池。

通信模块190可支持在电子设备101和外部电子设备(例如，电子设备102、电子设备104、或服务器108)之间建立直接(例如，有线)通信信道或无线信道，并经由所建立的通信信道执行通信。通信模块190可以包括独立于处理器120(例如，应用处理器(AP))操作的一个或多个通信处理器，并且支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(global navigation satellite system，GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(power line communication，PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙^TM、无线保真(Wi-Fi)直连或红外数据关联(IrDA))或第二网络199(例如，远距离通信网络，诸如蜂窝网络、因特网、或计算机网络(例如，LAN或广域网(WAN))与外部电子设备104通信。这些不同类型的通信模块可以实现为单个组件(例如，单个芯片)，或者可以实现为彼此分离的多个组件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动用户标识(international mobile subscriber identity，IMSI))来识别和认证通信网络(诸如第一网络198或第二网络199)中的电子设备101。

天线模块197可以向电子设备101的外部(例如，外部电子设备)发送或接收信号或功率。根据实施例，天线模块197可包括天线，天线包括由导电材料或形成在基板(例如，PCB)内或基板上的导电图案构成的辐射元件。根据实施例，天线模块197可以包括多个天线。在这样的情况下，例如，通信模块190可以从多个天线中选择适合于通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。然后，可以经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或功率。根据实施例，除了辐射元件之外的另一组件(例如，射频集成电路(radio frequency integrated circuit，RFIC))可以另外形成为天线模块197的一部分。

至少一些上述组件可以相互耦合，并经由***通信方案(例如，总线、通用输入和输出(general purpose input and output，GPIO)、串行***接口(serial peripheralinterface，SPI)或移动行业处理器接口(mobile industry processor interface，MIPI))在它们之间传输信号(例如，命令或数据)。

根据实施例，可以经由与第二网络199耦合的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。外部电子设备102和104中的每一个可以是与电子设备101相同类型的设备，也可以是不同类型的设备。根据实施例，在电子设备101处执行的所有或部分操作可在一个或多个外部电子设备102、104或108处执行。例如，当电子设备101应自动执行功能或服务，或者响应于来自用户或另一设备的请求时，电子设备101代替执行功能或服务，或者除了执行功能或服务之外，可以请求一个或多个外部电子设备以执行功能或服务的至少一部分。接收请求的一个或多个外部电子设备可以执行所请求的功能或服务、或与请求有关的附加功能或附加服务中的至少一部分，以及将执行的结果传送到电子设备101。电子设备101可以提供该结果(无论是否对结果进行进一步处理)，作为对请求的答复的至少一部分。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。

下面，其中图像内容是高动态范围(HDR)内容的示例实施例将被描述为图像内容的代表性非限制性示例。

图2是示出根据各种实施例的电子设备200的示例结构和***主控(master)图像内容并向电子设备200提供主控结果的示例配置的框图。

根据实施例，图像内容可以由图像内容创建***10创建，图像内容创建***10可以例如在工作室(studio)被提供。例如，在HDR内容的情况下，图像处理器(例如，包括图像处理电路)12可以处理通过相机11拍摄的传感器图像，并且可以生成HDR图像。生成的HDR图像可以通过能够显示HDR图像的显示器13来显示。图像内容创建***10的用户可以识别显示器13上显示的HDR图像。当确定有必要调整HDR图像时，识别HDR图像的用户可以调整相机11或调整HDR图像。因此，在由图像内容创建***10生成HDR图像的情况下，在显示器13的图像再现(reproduction)的限制内HDR图像被生成的概率高。例如，在显示器13的最大亮度(或照度(luminance))为10000nit的情况下，由图像内容创建***10生成的HDR图像可以是最大亮度值为10000nit的图像。

根据实施例，电子设备200可以包括处理器(例如，包括处理电路)220(例如，图1的处理器120)、存储器230(例如，图1的存储器130)和显示设备(例如，包括显示器)260(例如，图1的显示设备160)。处理器220可以包括各种处理电路并执行存储在存储器230中的指令以处理数据或控制电子设备200和/或其各种组件。当处理器执行存储在存储器中的指令时，本公开公开的电子设备或处理器的操作可以被执行。

电子设备200可提供有由图像内容创建***10创建的图像内容。处理器220可再现所提供的图像内容，并可通过显示设备260输出被包括在图像内容中的图像。然而，在电子设备200无法支持图像内容的最大亮度值的情况下，图像内容可能不能正常输出。例如，在图像内容是具有最大亮度为1000nit的HDR内容的情况下，或者在显示设备260是有最大亮度为100nit的标准动态范围(SDR)显示设备的情况下，由于对可表现亮度值的限制，电子设备200可能无法正常输出图像内容。概念上与HDR形成对比的标准动态范围可以指，例如，动态范围与HDR相比较小的图像的格式。例如，即使显示设备260是其中最大亮度值等于或大于图像内容的最大亮度值的HDR显示设备，在电子设备200的工作模式被设置为不支持HDR内容的再现的SDR工作模式的情况下，HDR内容可能无法正常再现。以上仅仅是示例，并且应当理解，本公开不限于这些特定示例。

根据实施例，电子设备200可以生成与图像内容相关联的图像。例如，在发生需要生成图像内容的预览图像的事件的情况下，处理器220可以生成图像内容的预览图像。下面将参考图3、图4以及图5更详细地描述需要生成预览图像的事件的示例。

然而，即使使用被包括在图像内容中的帧等生成预览图像，在电子设备200无法支持图像内容的最大亮度值的情况下，图像内容也可能无法正常输出。根据实施例，处理器220可以基于对图像内容的帧执行色调映射到电子设备200能够表示的范围的结果来生成图像内容的图像(例如，预览图像)。在图像内容包括HDR图像并且电子设备200的显示设备260是SDR显示设备的情况下，生成的预览图像可以是通过转换图像内容的帧(例如，与预览图像相对应的帧)的HDR图像而获取的标准动态范围图像。

为了执行色调映射，处理器220可能需要决定(例如，确定)图像内容亮度的最大值和显示设备260能够表示的亮度的最大值。根据实施例，处理器220可以基于图像内容的元数据来获取关于图像内容亮度的最大值的信息。处理器220可以从电子设备200的设置值或显示设备260的设备信息等获取关于显示设备260能够表示的亮度的最大值的信息。

根据实施例，处理器220可以基于关于图像内容亮度的最大值的信息对图像内容执行色调映射。处理器220可在显示设备260上输出通过基于执行色调映射的结果转换图像内容的至少一帧而获取的预览图像。处理器220可通过另一设备(例如，图1的电子设备102或电子设备104)输出预览图像。在本公开中，一般而言，“图像内容的色调映射”可以包括例如但不限于图像内容的帧之一的色调映射、图像内容的帧中的多个帧的色调映射、图像内容的所有帧的色调映射等中的适当一个。例如，在生成HDR图像(或视频)的缩略图的情况下，对与图像内容的帧之间的缩略图图像相对应的帧色调映射可以被执行。在编辑HDR视频的编辑程序被执行或提供关于一个HDR视频的多个缩略图的程序(例如，视频播放器程序)被执行的情况下，对通过显示设备260输出的每个帧的色调映射可以被执行。本公开不排除在HDR图像的所有帧的色调映射被执行的示例。

此外，根据另一实施例，图像内容创建***10可以被包括在电子设备200中。例如，电子设备200可以创建或编辑图像内容。在这样的情况下，显示器13可以被包括在显示设备260中，并且图像处理器120可以使用存储器230和处理器220来实现。

根据另一实施例，即使通过另一设备提供图像内容，电子设备200也可以生成图像内容的预览图像。例如，即使通过例如即时通讯(instant messenger，IM)服务提供图像内容，电子设备200也可以生成适合在电子设备200处输出的图像内容的预览图像。例如，电子设备200可以通过提供IM服务的服务器(例如，图1的服务器108)提供来自另一设备(例如，图1的电子设备104)的图像内容。例如，即使在通过P2P连接、电缆等从外部设备(例如，图1的电子设备102)将图像内容再现到电子设备200的情况下，电子设备200也可以生成适于在电子设备200处输出的预览图像。例如，即使在下载上传到云驱动器上的图像内容的情况下，电子设备200也可以生成适于在电子设备200处输出的预览图像。

图3是示出根据各种实施例的其中电子设备200显示包括缩略图的屏幕的示例的图。

根据实施例，电子设备200可以拍摄图像或可以下载图像内容，并且可以执行显示图像列表的应用(例如，图库(gallery)应用)。电子设备200可以通过显示设备(例如，图2的显示设备260)输出包括图像列表的屏幕300，作为应用的执行结果。在进入图像列表屏幕300的情况下，电子设备200可以标识发生需要生成图像内容的预览图像的事件。

电子设备200可以生成图像内容的缩略图301，并且可以在屏幕300中包括缩略图301。然而，在未经适当色调映射的图像作为缩略图301输出的情况下，由电子设备200显示的缩略图301可以在图像质量降低的状态下输出，例如，在灰度丢失的状态下或者在颜色被不同地表示的状态下。在不支持生成缩略图的情况下(例如，在电子设备不支持生成HDR图像的缩略图的情况下)，可以显示默认图像302(例如，指示视频的图标或指示诸如mp4或avi的文件格式的图像)或空框。换句话说，缩略图图像可能无法正常显示。

图4是示出根据各种实施例的允许电子设备200生成与图像内容相关联的图像的用户界面的示例的图。

电子设备200可以通过显示设备(例如，图2的显示设备260)输出再现图像内容的屏幕400。根据实施例，电子设备200可以输出用于接收用户输入的用户接口401，以生成通过捕获正在播放的图像内容的帧而获取的静止图像。根据实施例，在电子设备200接收用户输入以选择用户界面401的情况下，电子设备200可以标识发生需要生成图像内容的预览图像的事件。然而，图4仅仅是一个示例，并且电子设备200可以通过另一种方式(例如，通过物理按钮的输入或手势输入)而不是显示在显示设备上的用户界面来接收用于捕获图像内容的用户输入。

根据实施例，电子设备200可以输出用于使用多个图像内容帧生成GIF文件的用户界面402。根据实施例，在电子设备200接收用户输入以选择用户接口402的情况下，电子设备200可以标识发生需要生成图像内容的预览图像的事件。

图5是示出根据各种实施例的包括用于在电子设备200处编辑或搜索图像内容的图像的屏幕的示例的图。

根据实施例，电子设备200可以显示搜索栏501，其中按照时间顺序列出了被包括在图像内容中的至少一些帧，作为用于编辑图像内容的编辑应用或用于再现图像内容的播放器应用的执行结果。根据实施例，在电子设备200执行编辑应用或播放器应用的情况下，或者在电子设备200进入显示包括根据图像时间表的预览图像的搜索栏501的屏幕的情况下，电子设备200可以标识发生需要生成图像内容的预览图像的事件。

图6是示出根据各种实施例的电子设备(例如，图1的电子设备100或图2的电子设备200)生成预览图像的示例过程的流程图600。

在操作610中，电子设备可确定是否发生需要生成与图像内容相关联的图像的事件。

在操作620中，电子设备可确定图像内容是否满足电子设备的输出条件。例如，在电子设备的显示设备是SDR显示设备的情况下，电子设备可以通过例如被包括在图像内容的元数据中的PQ值来确定图像内容是否是HDR图像。当图像内容是HDR图像时，电子设备可以确定图像内容不满足输出条件。根据另一实施例，在图像内容是HDR图像并且电子设备未工作在支持HDR图像的输出的工作模式的情况下，电子设备可以确定图像内容不满足输出条件。

对于另一示例，电子设备可以从图像内容的元数据中获取关于图像内容亮度的最大值的信息，并且可以基于由此获取的亮度的最大值来确定图像内容是否满足输出条件。例如，电子设备可从图像内容的元数据中获取与在主控图像数据时使用的显示器(例如，图2的显示器13)的最大可表示亮度值相关联的“最大主控显示器照度(Max_Mastering_Display_Luminance)”值(例如，以下被称为“最大主控显示器亮度值”)、或被包括在图像内容中的图像的最大内容亮度级(content light level，CLL)的“MaxCLL”值。当获取的值大于电子设备的显示设备具有或支持的最大亮度值时，电子设备可确定输出不满足。

对于另一示例，电子设备可以基于分析图像的结果获取关于图像内容亮度的最大值的信息，并且可以基于由此获取的亮度的最大值来确定图像内容是否满足输出条件。

当图像内容满足输出条件时，在操作635中，电子设备可以生成图像内容的帧作为预览图像。根据实施例，在操作635中，在无需执行单独的色调映射操作的情况下，可以生成预览图像。

当图像内容不满足输出条件时，在操作630中，电子设备可获取关于图像内容亮度的最大值的信息。然而，根据实施例，在在操作620中获取关于图像内容亮度的最大值的信息的情况下，操作630可以被包括在操作620中。

在操作640中，电子设备可基于由此获取的亮度的最大值，对图像内容的(例如，与预览图像相对应的)至少一个或多个帧执行色调映射。在操作650中，电子设备可以基于色调映射的结果来生成色调映射图像作为预览图像。

图7是示出根据各种实施例将HDR图像转换为SDR图像的示例过程的流程图。

当图像内容包括HDR图像710时，在操作720中，电子设备可使用例如10位解码器720对HDR图像710进行解码。电子设备可通过执行解码获取图像内容的元数据。

电子设备可对解码的HDR图像710执行颜色空间转换730。例如，HDR图像的Y'Cb'Cr'颜色空间可被转换为R'G'B'颜色空间。

电子设备可执行操作740，其中HDR格式的像素值被转换为SDR格式的像素值。在操作740中，为了执行转换过程，电子设备可以执行色调映射。为了执行色调映射，电子设备可以使用图像数据的元数据。

电子设备可对转换为SDR格式的图像内容执行颜色空间转换750。电子设备可以对这样执行的颜色空间转换750的结果进行编码，并且可以输出SDR图像770。然而，8位编码器760涉及示例实施例；根据另一示例实施例，颜色空间转换750的结果可被编码为具有窄色域(gamut)的10位图像。

图8是示出根据各种实施例的其中电子设备决定(例如，确定)色调映射的归一化因子并归一化图像内容的示例过程的流程图800。例如，图8所示的过程可以被包括在操作630或操作640中的至少一个中。

在操作810中，电子设备可从元数据获取关于亮度的最大值的信息。例如，电子设备可从图像内容的元数据中获取与在主控图像数据时使用的显示器(例如，图2的显示器13)的最大可表示亮度值相关联的最大主控显示器亮度值、或被包括在图像内容中的图像的最大内容亮度级(CLL)的“MaxCLL”值。

在操作820中，电子设备可确定从元数据获取的关于亮度的最大值的信息是否满足可靠性条件。例如，可靠性条件可指用于确定关于亮度的最大值的信息是否为可靠信息的条件。例如，可靠性条件可以定义最大主控显示器亮度值和最大内容亮度级在值上相同并且具有非“0”的值。在最大主控显示器亮度值不同于最大内容亮度级的值的情况下，在生成内容时被包括在图像内容中的元数据的内容的最大亮度值可能不准确。因此，在这样的情况下，电子设备可以确定关于亮度的最大值的信息是否不满足可靠性条件。

当关于从元数据获取的亮度的最大值的信息满足可靠性条件时，在操作825中，电子设备可以基于从元数据获取的亮度的最大值来确定归一化因子。

关于从元数据获取的亮度的最大值的信息不满足可靠性条件时，在操作830中，电子设备可以对被包括在图像内容中的帧的像素进行采样。根据实施例，可以基于电子设备的***状况执行操作830。例如，在电子设备的存储器不足、计算负担大或功率不足的情况下，电子设备可以对帧的一些像素进行采样。根据另一实施例，可以省略操作830，并且在操作840中可以分析帧的所有像素。

在操作840中，电子设备可分析采样的像素。例如，电子设备可以根据帧的颜色空间来决定像素值(例如，“Y”或RGB值)的最大值。例如，电子设备可以根据帧的颜色空间分析像素值的直方图。根据实施例，电子设备可以获取关于图像内容亮度的最大值的信息，作为分析像素的结果。

在操作850中，电子设备可基于分析的结果决定归一化系数。

在操作860中，当归一化因子被决定时，电子设备可以使用决定的归一化因子对图像内容的至少一帧执行归一化操作。

图9是示出根据各种实施例的其中电子设备基于色调映射生成预览图像的示例过程的流程图。根据实施例，当电子设备执行将HDR格式的像素值转换为SDR格式的像素值的操作(例如，图7的操作740)时，可以执行图9所示的过程。

在操作910中，电子设备可使用电光转换函数(electro-optical transferfunction，EOTF)对图像内容901执行EOTF转换。例如，参考图9，电子设备可以将由0到1023范围的10位RGB值“R1'G1'B1'[0,1023]_Gamut1”表示的图像内容转换为由0到10000范围的亮度值表示的RGB值“R1G1B1[0,10000.0]_Gamut1”。

在操作920中，电子设备可基于归一化因子902(例如，作为执行图8的操作825或操作850的结果而决定的归一化因子)对EOTF转换的图像内容执行归一化和剪切。例如，参考图9，电子设备可以基于归一化因子将由0到10000范围的亮度值表示的RGB值“R1G1B1[0,10000.0]_Gamut1”归一化为由0到1范围的值表示的RGB值“R1G1B1[0,1.0]_Gamut1”。

在操作930中，电子设备可对归一化的RGB值执行色域映射(gamut mapping)。例如，参考图9，电子设备可以将归一化的RGB值(例如，“R1G1B1[0，1.0]_Gamut1”)映射到映射色域的RGB值(例如，“R₂G₂B₂[0,1.0]_Gamut1”)上。在操作940中，电子设备可以执行色调映射。例如，参考图9，可以基于电子设备的显示设备(例如，图2的显示设备260)的最大亮度值和图像内容901的最大亮度值来决定色调映射的RGB值(例如，“R₃G₃B₃[0,1.0]_Gamut1”)。

在操作950中，电子设备可使用光电转换函数(opto-electric transferfunction,OETF)对色调映射的RGB值执行OETF转换，并可生成SDR格式的预览图像903。例如，参考图9，电子设备可以将色调映射的RGB值(例如“，R₃G₃B₃[0,1.0]_Gamut1”)转换为8位RGB值(例如“，R₃'G₃'B₃[0,255]_Gamut1”)。

根据示例实施例，电子设备可包括存储器和与存储器电连接的处理器。存储器可存储指令，当指令被执行时使处理器控制电子设备以：基于图像内容的元数据来获取关于图像内容亮度的最大值的信息；基于关于亮度的最大值的信息，对与图像内容的预览图像相对应的至少一帧执行色调映射；以及基于对其执行色调映射的所述至少一帧，输出预览图像。

根据示例实施例，图像内容可以包括高动态范围图像，并且预览图像包括标准动态范围图像。

根据示例实施例，当指令被执行时使处理器控制电子设备以，基于电子设备的状态不满足与图像内容的预览图像的输出相关联的指定输出条件，获取关于亮度的最大值的信息，并且不满足指定输出条件的电子设备的状态包括电子设备不支持高动态范围格式输出、或电子设备未工作在支持高动态范围格式输出的工作模式下的中的至少一个。

根据示例实施例，当指令被执行时使处理器控制电子设备以基于关于亮度的最大值的信息满足指定可靠性条件，使用亮度的最大值作为归一化因子来归一化图像内容的所述至少一帧。

根据示例实施例，当指令被执行时使处理器控制电子设备以：基于关于亮度的最大值的信息不满足指定可靠性条件，基于分析图像内容的帧的像素值的结果来决定(确定)归一化因子，以及使用归一化因子归一化图像内容的所述至少一帧。

根据示例实施例，当指令被执行时使处理器控制电子设备以：决定从帧的像素中采样的采样像素，以及基于分析采样像素的结果来决定归一化因子。

根据示例实施例，当指令被执行时使处理器控制电子设备以基于分析帧的像素的“Y”值或RGB值的最大值、或“Y”值或RGB值的直方图的结果来决定归一化因子。

根据示例实施例，当指令被执行时使处理器控制电子设备以将决定的归一化因子以元数据的形式存储在存储器的用户区域中。

根据示例实施例，关于亮度的最大值的信息可以包括用于主控图像内容的显示器的最大主控显示器亮度值和被包括在图像内容中的图像的最大内容亮度级。

根据示例实施例，指定可靠性条件可包括最大主控显示器亮度值和内容亮度级的值相同且不为零的条件。

根据示例实施例，处理器可控制电子设备以：基于生成图像内容的缩略图中的以下至少一个执行色调映射：存在其中图像内容被存储的的改变位置、在显示设备上显示用于编辑图像内容的图像、用于图像内容的静止图像捕获命令被接收、用于编辑图像内容的编辑应用被执行、或用于将图像内容改变为另一种文件格式的命令被接收。

根据另一示例实施例，电子设备的预览图像生成方法可以包括：基于图像内容的元数据来获取关于图像内容亮度的最大值的信息；基于关于亮度的最大值的信息，对与图像内容的预览图像相对应的至少一帧执行色调映射；以及基于在其上色调映射被执行的所述至少一帧，生成预览图像。

根据示例实施例，色调映射的执行可包括确定电子设备的状态是否满足与图像内容的预览图像的输出相关联的指定输出条件；以及基于电子设备的状态不满足与预览图像的输出相关联的指定输出条件来执行色调映射，并且不满足指定输出条件的电子设备可包括电子设备不支持高动态范围格式输出、或电子设备未工作在支持高动态范围格式输出的工作模式下的中的至少一个。

根据示例实施例，色调映射的执行可包括确定关于亮度的最大值的信息是否满足指定可靠性条件；基于关于亮度的最大值的信息不满足指定可靠性条件，基于分析图像内容的帧的像素值的结果来决定归一化因子；以及使用归一化因子归一化图像内容的所述至少一帧。

根据示例实施例，归一化因子的决定可以包括帧的采样像素，以及基于分析采样的像素的结果来确定归一化因子。

根据示例实施例，指定可靠性条件可包括最大主控显示器亮度值和内容亮度级在值上相同且不为0的条件。

根据示例实施例，色调映射的执行可包括基于存储在存储器的用户区域中的元数据中包括的归一化因子，使用存储在电子设备的存储器中的归一化因子对图像内容的至少一帧进行归一化。

根据示例实施例，可基于以下至少一个：存在其中图像内容被存储的的改变位置、在显示设备上显示用于编辑图像内容的图像、用于图像内容的静止图像捕获命令被接收、用于编辑图像内容的编辑应用被执行、或用于将图像内容改变为另一种文件格式的命令被接收，来执行色调映射以生成图像内容的缩略图。

根据各种示例实施例的电子设备可以是各种类型的电子设备之一。电子设备可以包括例如便携式通信设备(例如，智能手机)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的实施例，电子设备不限于上述设备。

应当理解，本公开的各种实施例及其使用的术语并非旨在将本文所述的技术特征限制于特定实施例，而是包括对相应实施例的各种改变、等同或替换。关于附图的描述，可以使用类似的附图标记来指代类似的或相关的元件。应当理解，与项目相对应的名词的单数形式可以包括一个或多个事物，除非相关上下文另有明确指示。如本文所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B和C中的至少一个”短语中的每一个可以包括在相应短语之一中一起列举的项目的任何一个或所有可能的组合。如本文所使用的，诸如“第1”和“第2”或“第一”和“第二”的术语可用于简单地将对应组件与另一组件区分开来，而不限制其他方面(例如，重要性或顺序)的组件。应当理解，如果元件(例如，第一元件)被称为(无论带有或不带有术语“操作地”或“通信地”)与另一元件(例如，第二元件)“耦合”、“耦合到”、“连接”或“连接到”，则该元件可直接(例如，有线地)、无线地或者经由第三元件与该另一元件耦合。

如本文所使用的，术语“模块”可以包括在硬件、软件或固件中实现的单元，也可以与其他术语互换使用，例如“逻辑”、“逻辑块”、“部件”或“电路”。模块可以是单个集成组件，或其最小单元或部分，适于执行一个或多个功能。例如，根据实施例，该模块可以以专用集成电路(ASIC)的形式实现。

本文所述的各种实施例可以实现为软件(例如，程序140)，包括存储在机器(例如，电子设备101)可读的存储介质(例如，内部存储器136或外部存储器138)中的一个或多个指令。例如，机器(例如，电子设备101)的处理器(例如，处理器120)可以调用存储在存储介质中的一个或多个指令中的至少一个，并在处理器控制下使用或不使用一个或多个其他组件来执行它。这允许操作机器根据调用的至少一个指令执行至少一个功能。一个或多个指令可以包括由编译器生成的代码或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。其中，“非暂时性”存储介质是有形设备，并且可以不包括信号(例如，电磁波)，但是该术语不区分数据半永久存储在存储介质中的位置和数据临时存储在存储介质中的位置。

根据实施例，可以在计算机程序产品中包括并提供根据本公开的各种实施例的方法。计算机程序产品可以作为卖方和买方之间的产品进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发、或者经由应用商店(例如，PlayStore^TM)在线分发(例如，下载或上传)、或直接在两个用户设备(例如，智能手机)之间。如果在线分发，则计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质中，诸如制造商服务器的存储器、应用商店的服务器或中继服务器。

根据各种实施例，上述组件的每个组件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可以省略上述组件中的一个或多个，或者可以添加一个或多个其他组件。可选地或另外，多个组件(例如，模块或程序)可以被集成到单个组件中。在这样的情况下，根据各种实施例，集成的组件仍然可以以与集成之前由多个组件中的对应一个执行相同或类似的方式执行多个组件中的每个组件的一个或多个功能。根据各种实施例，由模块、程序或其他组件执行的操作可以顺序地、并行地、重复地或试探性地执行，或者一个或多个操作可以以不同的顺序执行或省略，或者可以添加一个或多个其他操作。

虽然已经参考本公开的各种示例实施例对本公开进行了说明和描述，但本领域技术人员将理解，在不脱离本公开范围的情况下，可以对本公开的形式和细节进行各种改变，包括所附权利要求及其等同。

Claims

1.一种电子设备，包括：

存储器；和

处理器，与存储器电连接，

其中，存储器存储指令，当指令被执行时使处理器控制电子设备以：

基于图像内容的元数据来获取关于图像内容亮度的最大值的信息；

基于关于亮度的最大值的信息，对与图像内容的预览图像相对应的至少一帧执行色调映射；以及

基于对其执行色调映射的所述至少一帧，在显示设备上输出预览图像。

2.根据权利要求1所述的电子设备，其中，图像内容包括高动态范围图像，并且预览图像包括标准动态范围图像。

3.根据权利要求2所述的电子设备，其中，当指令被执行时使处理器控制电子设备以：

基于电子设备的状态不满足与图像内容的预览图像的输出相关联的指定输出条件，获取关于亮度的最大值的信息，

其中，不满足指定输出条件的电子设备的状态包括电子设备不支持高动态范围格式输出、或电子设备未工作在支持高动态范围格式输出的工作模式下的中的至少一个。

4.根据权利要求1所述的电子设备，其中，当指令被执行时使处理器控制电子设备以：

基于关于亮度的最大值的信息满足指定可靠性条件，使用亮度的最大值作为归一化因子来归一化图像内容的所述至少一帧。

5.根据权利要求1所述的电子设备，其中，当指令被执行时使处理器控制电子设备以：

基于关于亮度的最大值的信息不满足指定可靠性条件，基于分析图像内容的帧的像素值的结果来确定归一化因子；以及

使用归一化因子来归一化图像内容的所述至少一帧。

6.根据权利要求5所述的电子设备，其中，当指令被执行时使处理器控制电子设备以：

确定从帧的像素所采样的采样像素；和

基于分析采样像素的结果来确定归一化因子。

7.根据权利要求5所述的电子设备，其中，当指令被执行时使处理器控制电子设备以：

基于分析帧的像素的照度(Y)值或红绿蓝(RGB)值的最大值、或Y值或RGB值的直方图的结果来确定归一化因子。

8.根据权利要求5所述的电子设备，其中，当指令被执行时使处理器控制电子设备以：

将确定的归一化因子以元数据的形式存储在存储器的用户区域中。

9.根据权利要求5所述的电子设备，其中，关于亮度的最大值的信息包括用于主控图像内容的显示器的最大主控显示器亮度值和被包括在图像内容中的图像的最大内容亮度级。

10.根据权利要求9所述的电子设备，其中，所述指定可靠性条件包括最大主控显示器亮度值和内容亮度级的值相同且不为零的条件。

11.根据权利要求1所述的电子设备，其中，处理器被配置为控制电子设备以：

基于以下至少一个：存储图像内容的位置被改变、在显示设备上显示用于编辑图像内容的图像、用于图像内容的静止图像捕获命令被接收、用于编辑图像内容的编辑应用被执行、或用于将图像内容改变为另一文件格式的命令被接收，来执行色调映射以生成图像内容的缩略图。

12.一种电子设备的预览图像生成方法，所述方法包括：

基于对其执行色调映射的所述至少一帧，生成预览图像。

13.根据权利要求12所述的方法，其中，执行色调映射包括：

确定电子设备的状态是否满足与图像内容的预览图像的输出相关联的指定输出条件；以及

基于电子设备的状态不满足与预览图像的输出相关联的指定输出条件来执行色调映射，并且

其中，电子设备不满足指定输出条件包括电子设备不支持高动态范围格式输出、或电子设备未工作在支持高动态范围格式输出的工作模式下中的至少一个。

14.根据权利要求12所述的方法，其中，执行色调映射包括：

确定关于亮度的最大值的信息是否满足指定可靠性条件；

使用归一化因子来归一化图像内容的所述至少一帧。

15.根据权利要求14所述的方法，其中，确定归一化因子包括：

采样帧的像素；以及

基于分析采样像素的结果来确定归一化因子。