CN111492400A

CN111492400A - 图像处理设备、图像处理方法和计算机可读记录介质

Info

Publication number: CN111492400A
Application number: CN201980006513.4A
Authority: CN
Inventors: 千岷洙; 朴镕燮; 金昌汉; 朴在演; 安一埈; 吴烯硕; 李泰美; 赵基钦
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2018-01-24
Filing date: 2019-01-24
Publication date: 2020-08-04
Also published as: US20210065339A1; KR20190090262A; EP3686836A1; WO2019147028A1; EP3686836A4; US11315223B2; KR102460390B1

Abstract

公开了一种图像处理设备。本图像处理设备包括：存储器，用于存储低动态范围(LDR)图像；以及处理器，用于借助使用第一参数识别出的像素特定亮度比来调整LDR图像的亮度，并且通过将使用第二参数识别出的像素特定校正值相加在亮度调整的LDR图像中或在亮度调整的LDR图像中减去所述像素特定校正值来获取高动态范围(HDR)图像。

Description

图像处理设备、图像处理方法和计算机可读记录介质

技术领域

本公开涉及一种图像处理设备、图像处理方法和计算机可读记录介质，并且更具体地，涉及一种生成高质量的HDR图像的图像处理设备、图像处理方法和计算机可读记录介质。

背景技术

随着成像技术的发展，已经开发了一种用于获取高动态范围(HDR)图像的技术，其中，所述高动态范围(HDR)图像超过数字相机可表达的对比度的限制并且具有更宽的对比度。

具体地，遵循可显示HDR图像的显示器出现并且正在增多的趋势，正在研究通过使用常规LDR或SDR图像来生成HDR图像的逆色调映射操作(ITMO)技术。

在传统ITMO技术中，整个图像的亮度被扩展为目标亮度值，并且执行混合操作以去除在该处理中生成的轮廓伪影。因此，出现了HDR图像的一些区域看起来模糊的问题。此外，存在由于用于图像连续性的后处理而需要过多的运算量的问题。

因此，已经出现对用于在减少运算量的同时合成清晰HDR图像的技术的需求。

发明内容

技术问题

本公开在于解决上述需求，并且本公开的目的在于提供一种用于在减少运算量的同时生成清晰的HDR图像的图像处理设备、图像处理方法和计算机可读记录介质。

解决方案

根据本公开的实施例的图像处理设备包括：存储器，存储低动态范围(LDR)图像；以及处理器，被配置为借助于通过使用第一参数识别出的像素特定亮度比来调整所述LDR图像的亮度，并且通过将通过使用第二参数识别出的像素特定校正值相加到所述亮度调整的LDR图像的像素值或者从所述亮度调整的LDR图像的像素值减去所述像素特定校正值来获取高动态范围(HDR)图像。

在这种情况下，在所述存储器中，可存储原始HDR图像和与所述原始HDR图像相应的用于学习的LDR图像，并且第一参数可已被学习使得通过使用用于学习的所述LDR图像生成的HDR图像的亮度与原始HDR图像的亮度之间的差变得最小。

在这种情况下，第二参数可已被学习使得通过使用用于学习的LDR图像生成的HDR图像的像素值与原始HDR图像的像素值之间的差变得最小。

另外，处理器可考虑用于学习的LDR图像的亮度值的范围和原始HDR图像的亮度值的范围的归一化来学习第一参数。

另外，处理器可基于输入用于改变网络结构的控制命令，基于通过使用至少一个乘法运算识别出的像素特定亮度比来学习第一参数。

另外，处理器可识别所述像素特定校正值使得在所述亮度调整的LDR图像中的亮度小于预定值的区域内的像素之间的亮度差大。

另外，处理器可识别所述像素特定校正值使得在所述亮度调整的LDR图像中的亮度大于或等于预定值的区域内的像素之间的所述亮度差小。

另外，处理器可并行地执行通过使用第一参数识别所述像素特定亮度比的操作和通过使用第二参数识别所述像素特定校正值的操作。

另外，处理器还可考虑针对所述LDR图像的每一个像素的相邻像素来识别所述像素特定亮度比。

另外，根据本公开的实施例的图像处理方法包括以下步骤：借助于通过使用第一参数识别出的像素特定亮度比来调整低动态范围(LDR)图像的亮度；并且通过将通过使用第二参数识别出的像素特定校正值相加到所述亮度调整的LDR图像的像素值或者从所述亮度调整的LDR图像的像素值减去所述像素特定校正值来获取高动态范围(HDR)图像。

在这种情况下，第一参数可已被学习使得通过使用与原始HDR图像相应的用于学习的LDR图像生成的HDR图像的亮度与所述原始HDR图像的亮度之间的差变得最小。

另外，第二参数可已被学习使得通过使用用于学习的所述LDR图像生成的HDR图像的像素值与所述原始HDR图像的像素值之间的差变得最小。

另外，第一参数可考虑用于学习的所述LDR图像的亮度值的范围和所述原始HDR图像的亮度值的范围的归一化而已被学习。

另外，在用于改变网络结构的控制命令被输入的情况下，第一参数可基于通过使用至少一个乘法运算识别出的像素特定亮度比而已被学习。

另外，所述像素特定校正值可被识别使得在所述亮度调整的LDR图像中的亮度小于预定值的区域内的像素之间的亮度差大。

另外，所述像素特定校正值可被识别使得在所述亮度调整的LDR图像中的亮度大于或等于预定值的区域内的像素之间的亮度差小。

另外，可并行地执行通过使用第一参数识别所述像素特定亮度比的操作和通过使用第二参数识别所述像素特定校正值的操作。

另外，还可考虑针对所述LDR图像的每一个像素的相邻像素来识别所述像素特定亮度比。

另外，在包括用于执行根据本公开的实施例的图像处理方法的程序的计算机可读记录介质中，图像处理方法可包括以下步骤：借助于通过使用第一参数识别出的像素特定亮度比来调整低动态范围(LDR)图像的亮度，并且通过将通过使用第二参数识别出的像素特定校正值相加到所述亮度调整的LDR图像的像素值或从所述亮度调整的LDR图像的像素值减去所述像素特定校正值来获取高动态范围(HDR)图像。

附图说明

图1是用于示出根据本公开的实施例的图像处理***的示图；

图2是用于示出根据本公开的实施例的图像处理设备的示意性配置的框图；

图3是用于示出根据本公开的实施例的图像处理设备的详细配置的框图；

图4至图9是用于示出根据本公开的各种实施例的用于生成HDR图像的学习处理的示图；以及

图10是用于示出根据本公开的实施例的图像处理方法的流程图。

具体实施方式

首先，将简要描述在本说明书中使用的术语，然后将详细描述本公开。

考虑到在本公开中描述的功能，作为在本公开的实施例中使用的术语，尽可能地选择当前广泛使用的通用术语。然而，术语可根据本领域技术人员的意图、先前的法院判决或新技术的出现而变化。此外，在特定情况下，存在由申请人任意指定的术语，并且在这样的情况下，将在本公开的相关描述中详细描述术语的含义。因此，在本公开中使用的术语应当基于术语的含义和本公开的整体内容来定义，而不仅仅基于术语的名称。

可对本公开的实施例进行各种修改，并且可存在各种类型的实施例。因此，将在附图中示出具体实施例，并且将在具体实施方式中详细描述实施例。然而，应当注意，各种实施例不是用于将本公开的范围限制于特定实施例，而是它们应当被解释为包括在此所公开的构思和技术范围中包括的实施例的所有修改、等同物或替代物。另外，在确定在描述实施例时，相关已知技术的详细解释可能不必要地混淆本公开的要点的情况下，将省略详细解释。

诸如“第一”、“第二”等的术语可用于描述各种元件，但术语不旨在限制元件。这样的术语仅用于将一个元件与另一个元件区分开。

此外，除非在上下文中明显不同地定义，否则单数表达包括复数表达。此外，在本说明书中，诸如“包括”和“由……组成”的术语应当被解释为指定存在说明书中描述的这些特性、数量、步骤、操作、元件、组件或这些特性、数量、步骤、操作、元件和组件的组合，而不预先排除添加其他特性、数量、步骤、操作、元件、组件中的一个或多个或特性、数量、步骤、操作、元件和组件中的一个或多个的组合的存在或可能性。

在本公开的实施例中，“模块”或“部件”可执行至少一个功能或操作，并且可被实现为硬件或软件，或者被实现为硬件和软件的组合。此外，多个“模块”或“部件”可被集成到至少一个模块中并且被实现为至少一个处理器，不包括需要被实现为特定硬件的“模块”或“部件”。

在下文中，将参照附图详细描述本公开的实施例，使得本公开所属领域的普通技术人员能够容易地实施本公开。然而，应当注意，本公开可以以各种不同的形式来实现，并且不限于在此所描述的实施例。此外，在附图中，为了清楚地解释本公开，省略了与解释无关的部分，并且在整个说明书中，相似的部件由相似的附图标号表示。

在下文中，将参照附图更详细地描述本公开。

图1是用于示出根据本公开的实施例的图像处理***的示图。

参照图1，根据本公开的实施例的图像处理***1000包括第一图像处理设备100-1和第二图像处理设备100-2。

具体地，第一图像处理设备100-1和第二图像处理设备100-2的动态范围可不同。这里，动态范围可指数字图像中的最亮部分和最暗部分的对比度，并且动态范围可被划分为低动态范围(LDR)、标准动态范围(SDR)、高动态范围(HDR)等。

作为示例，图1示出在作为相机的第一图像处理设备100-1处生成的图像被显示在作为显示设备的第二图像处理设备100-2上的情况。然而，本公开不限于此，并且每个图像处理设备可以是相机或显示设备，并且可包括可执行图像处理的服务器。可选地，图像处理设备可包括可执行图像处理的所有设备，诸如PC、类似智能电话的移动设备、机顶盒等。

在第一图像处理设备100-1的动态范围比第二图像处理设备100-2的动态范围窄的情况下，可生成用于在动态范围宽的第二图像处理设备100-2上显示在第一图像处理设备100-1处生成的低动态范围(LDR)图像或标准动态范围(SDR)图像的HDR图像。另外，在下文中，为了便于说明，动态范围窄的图像通常将被称为LDR图像。

此外，在第一图像处理设备100-1的动态范围比第二图像处理设备100-2的动态范围宽的情况下，可生成HDR图像，使得在第一图像处理设备100-1处生成的图像的详细对比度能够显示在动态范围窄的第二图像处理设备100-2上。

这里，可在第一图像处理设备100-1处生成HDR图像并将生成的HDR图像发送到第二图像处理设备100-2，或者可在第二图像处理设备100-2处从第一图像处理设备100-1接收图像并且可生成HDR图像。可选地，尽管未示出，但可通过使用在作为单独的外部设备的服务器等处从第一图像处理设备100-1接收到的图像来生成HDR图像，并且可将生成的HDR图像发送到第二图像处理设备100-2。

图2是用于示出根据本公开的实施例的图像处理设备的示意性配置的框图。

参照图2，根据本公开的实施例的图像处理设备100包括存储器110和处理器120。

存储器110可存储图像处理设备100的操作所必需的各种类型的程序和数据。

具体地，存储器110可存储LDR图像。这里，存储器110可存储针对LDR图像的动态范围的信息。此外，存储器110可存储针对将生成的HDR图像的动态范围的信息。这里，针对HDR图像的动态范围可以是可在图像处理设备100处显示的动态范围。

此外，存储器110可存储在生成HDR图像时使用的多个参数。例如，存储器110可存储用于识别调整LDR图像的亮度的亮度比的参数。这里，调整亮度可指映射LDR图像的动态范围和HDR图像的动态范围。此外，识别可包括诸如确定、计算、提取、生成等的含义。

这里，可针对每个像素识别用于调整亮度的亮度比。此外，存储器110可存储用于识别校正值的参数，其中，所述校正值用于通过使用所识别的亮度比来执行针对亮度调整的图像的校正。这里，也可针对每个像素识别校正值。此外，这里，存储的参数可以是预先学习的。

另外，在存储器110中，可存储用于在学习所存储的参数时使用的原始HDR图像和与原始HDR图像相应的LDR图像。这里，与原始HDR图像相应的LDR图像用于学习参数，并且与原始HDR图像相应的LDR图像可被称为用于学习的LDR图像。

此外，存储器110可存储用于通过使用所存储的参数来获取像素特定亮度比或像素特定校正值的网络结构。这里，网络结构可包括深度学习结构。此外，网络结构可由用户的设计生成。此外，在用于学习参数的训练集中，也可使用所存储的网络结构。

处理器120可通过使用多个预定参数和LDR图像来生成HDR图像。具体地，所述多个参数可包括用于识别用于调整LDR图像的亮度的比的第一参数和用于识别对亮度调整的LDR图像的像素值进行校正的校正值的第二参数。这里，第一参数和第二参数可以是预先学习的。下面将解释用于学习参数的训练集。

另外，使用通过训练集学习的参数并获取针对输入到学习的缩放网络中的数据的结果数据的处理可被称为测试。具体地，如果测试集的LDR图像被输入，则处理器120可通过使用应用了学习的参数的缩放网络来生成HDR图像。换句话说，在实际实施中，可在图像处理设备100上仅安装利用预先学习的参数进行操作的测试集。此外，处理器120可识别所生成的HDR图像的像素值的准确度，并且由此确定缩放网络的性能。

具体地，处理器120可通过使用第一参数来识别像素特定亮度比。然后，处理器120可通过执行LDR图像与所识别的像素特定亮度比之间的乘法运算来调整LDR图像的亮度，并且生成HDR图像。为了便于说明，描述了每个参数是一个参数，比如第一参数和第二参数。然而，实际上，第一参数指用于识别像素特定亮度比的多个参数，并且第二参数指用于识别像素特定校正值的多个参数。

另外，处理器120可进一步考虑LDR图像的每个像素的相邻像素的亮度来识别像素特定亮度比。也就是说，第一参数还可包括用于考虑相邻像素的亮度的参数。具体地，可识别亮度比，使得即使像素的亮度相同，如果相邻像素的亮度暗，则像素的亮度比相邻像素的亮度亮的情况暗。由此，与仅基于像素的亮度来扩展动态范围的传统技术相比，可生成考虑图像的局部特性的HDR图像。此外，LDR图像的亮度与HDR图像的亮度之间的相应关系可具有非线性特性而不是线性特性。另外，处理器120可通过使用像素特定亮度比来调整LDR图像的亮度，并且通过加上或减去像素特定校正值来生成HDR图像。这里，可通过使用第二参数来识别像素特定校正值。具体地，处理器120可通过使用所识别的像素特定亮度比来调整LDR图像的亮度，并且通过将所识别的像素特定校正值相加到亮度调整的图像或从亮度调整的图像减去所识别的像素特定校正值来生成HDR图像。

这里，处理器120可确定亮度调整的图像内的亮度小于预定值的区域。此外，处理器120可识别像素特定校正值使得所确定的区域内的像素之间的亮度差大。这是为了，在边缘存在于暗部区域中但像素之间的亮度差微小并且因此用户难以识别存在边缘的情况下，通过进行校正使得像素之间的亮度差大来显出在暗部区域中存在边缘。

另外，处理器120可确定亮度调整的图像内的亮度大于或等于预定值的区域。这里，预定值可以是与上述用于确定暗部区域的预定值不同的值。此外，处理器120可识别像素特定校正值使得所确定的区域内的像素之间的亮度差小。这是为了，在图像中出现实际上不存在的边缘的情况下，在诸如太阳和光源的过亮区域中去除边缘。具体地，这是为了在亮度值随着其变得远离亮度最大点的中心而连续减小，但在图像中看起来好像亮度阶段性地减小的情况下进行校正。

这里，处理器120可并行地识别像素特定亮度比和像素特定校正值。这里，“并行”可指多个学习网络彼此独立地使用。

另外，处理器120可预先学习参数，并且在下文中，将解释用于学习参数的训练集。

首先，处理器120可通过使用存储在存储器110中的原始HDR图像和与原始HDR图像相应的用于学习的LDR图像来学习参数。

具体地，处理器120可通过将通过使用第一参数识别的像素特定亮度比应用于用于学习的LDR图像来调整亮度。然后，处理器120可通过将通过使用第二参数识别的像素特定校正值相加到用于学习的亮度调整的LDR图像或者从用于学习的亮度调整的LDR图像减去通过使用第二参数识别的像素特定校正值来生成HDR图像。

然后，处理器120可通过对生成的HDR图像和原始HDR图像进行比较来学习第一参数和第二参数。

具体地，处理器120可学习第一参数，使得生成的HDR图像的亮度与存储在存储器110中的原始HDR图像的亮度差变得最小。

然后，处理器120可学习第二参数，使得通过加上或减去校正值而生成的HDR图像的像素值与存储在存储器110中的原始HDR图像的像素值的差变得最小。这里，处理器120可学习第一参数，使得通过加上或减去校正值而生成的HDR图像的亮度与原始HDR图像的亮度差变得最小。这里，处理器120可考虑用于学习的LDR图像的亮度值的范围和原始HDR图像的亮度值的范围的归一化来学习第一参数。在传统技术中，用于使动态范围一致的归一化作业对于使用LDR图像来生成HDR图像是必要的。然而，根据本公开，处理器120在考虑归一化的情况下通过使用第一参数来识别像素特定亮度比，并且因此可以减少运算量并且可以提高运算速度，而不需要单独的归一化操作。

这里，处理器120可以通过并行地学习参数来识别第一参数和第二参数。这里，“并行”可指彼此独立地使用多个学习网络。

另外，上述处理器120的驱动操作可基于图4中所示出的网络结构。这样的网络结构可通过用户的设计而改变，并且下面将参照图5至图9详细描述网络结构的各种实施例。

也就是说，如果图像处理设备100的网络结构如图4中所示，则处理器120可并行地识别像素特定亮度比和像素特定校正值，并且通过使用一次乘法运算和加法运算来生成HDR图像。

另外，根据用户的设计，如果用于改变网络结构的控制命令被输入，则处理器120可通过使用至少一个乘法运算和至少一个加法运算来生成HDR图像。具体地，处理器120可基于改变的网络结构学习参数，并且通过使用学习的参数来生成HDR图像。

如上所述，通过使用学***的丰富动态范围。

图3是用于示出根据本公开的实施例的图像处理设备的详细配置的框图。

参照图3，图像处理设备100可包括存储器110、处理器120、通信器130、显示器140、按钮150、视频处理器160和拍摄部件170。这里，存储器110和处理器120与在图2中示出的组件相同，因此将省略重叠的描述。

首先，处理器120可包括RAM 121、ROM 122、CPU 123、图形处理器(GPU)124和总线125。RAM 121、ROM 122、CPU 123和图形处理器(GPU)124可通过总线125彼此连接。

CPU 123访问存储器110，并且通过使用存储在存储器110中的O/S来执行启动。然后，CPU 123通过使用存储在存储器110中的各种类型的程序、内容、数据等来执行各种操作。

ROM 122存储用于***启动的一组指令等。当开启指令被输入并且电力被供应时，CPU 123根据存储在ROM 122中的指令将存储在存储器110中的O/S复制在RAM 121中，并且通过运行O/S来启动***。当启动完成时，CPU 123将存储在存储器110中的各种类型的程序复制在RAM 121中，并且通过执行复制在RAM 121中的程序来执行各种类型的操作。

当完成图像处理设备100的启动时，GPU 124在显示器140上显示UI。具体地，GPU124可通过使用操作部件(未示出)和渲染部件(未示出)来生成包括各种对象(诸如，图标、图像和文本)的屏幕。操作部件对将根据屏幕的布局显示每个对象的属性值(诸如，坐标值、形状、尺寸和颜色)进行操作。此外，渲染部件基于在操作部件进行操作的属性值生成包括对象的各种布局的屏幕。在渲染部件处生成的屏幕(或用户界面窗口)被提供给显示器140，并且分别显示在主显示区域和子显示区域中。

通信器130是根据各种类型的通信方法与各种类型的外部设备执行通信的组件。具体地，通信器130可从外部设备接收LDR图像或SDR图像。这里，处理器120可通过使用存储在存储器110中的接收到的LDR图像的动态范围和图像处理设备100的动态范围来生成HDR图像。

可选地，通信器130可从外部显示设备接收外部显示设备的动态范围。这里，处理器120可通过使用LDR图像的动态范围和接收到的外部显示设备的动态范围来生成HDR图像。然后，通信器130可将生成的HDR图像发送到比如显示设备的外部设备。

具体地，通信器130可通过有线方式(诸如，天线、电缆和端口)从外部设备接收图像的输入，或者通过无线方式(诸如，Wi-Fi和蓝牙)接收图像的输入。另外，在实际实施中，图像处理设备100可接收在设置在图像处理设备100中的存储器110中存储的多个图像中的由用户选择的图像的输入并执行图像处理。

在图像处理设备100可执行无线通信的情况下，通信器130可包括Wi-Fi芯片、蓝牙芯片、无线通信芯片和NFC芯片。具体地，Wi-Fi芯片和蓝牙芯片分别通过Wi-Fi方法和蓝牙方法执行通信。在使用Wi-Fi芯片或蓝牙芯片的情况下，首先发送和接收诸如SSID和会话密钥的各种类型的连接信息，并且通过使用该信息执行通信的连接，并且之后可发送和接收各种类型的信息。无线通信芯片是指根据各种通信标准(诸如，IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE))执行通信的芯片。另外，NFC芯片是指通过使用各种RF-ID频带(诸如，135kHz、13.56MHz、433MHz、860MHz至960MHz以及2.45GHz)中的13.56MHz频带的近场通信(NFC)方法进行操作的芯片。

显示器140可显示由处理器120生成的HDR图像。显示器140可被实现为各种形式(诸如，液晶显示器(LCD)、有机发光二极管(OLED)显示器和等离子体显示面板(PDP))的显示器。在显示器140中，也可一起包括可以以诸如a-si TFT、低温多晶硅(LTPS)TFT和有机TFT(OTFT)的形式实现的驱动电路以及背光单元等。此外，显示器140可被实现为柔性显示器。

另外，根据本公开的各种实施例，显示器140可不被设置在图像处理设备100中。

按钮150可以是形成在任何区域(诸如，图像处理设备100的主体的外部的前表面部分或侧表面部分、后表面部分等)中的各种类型的按钮，诸如，机械按钮、触摸板、滚轮等。

视频处理器160是用于处理通过通信器130接收的内容或包括在存储在存储器110中的内容中的视频数据的组件。在视频处理器160处，可执行针对视频数据的各种类型的图像处理(诸如，解码、缩放、噪声滤波、帧率转换、分辨率转换等)。

拍摄部件170是用于根据用户的控制拍摄静止图像或运动图像的组件。具体地，拍摄部件170可拍摄用于生成HDR图像的一个更或多个图像。

另外，拍摄部件170可包括镜头、图像传感器等。此外，拍摄部件170可以以多个数量实现，例如，前表面相机和后表面相机。此外，根据本公开的各种实施例，在图像处理设备100中也可以不设置拍摄部件170。

另外，虽然在图3中未示出，但根据实施例，USB连接器可连接的USB端口、用于与各种外部端子(诸如，头戴式耳机、鼠标、LAN等)进行连接的各种外部输入端口、接收数字多媒体广播(DMB)信号并处理该信号的DMB芯片、音频处理器、麦克风、音频输出器、各种传感器等还可被明显地包括在图像处理设备100内部。

图4至图9是用于示出根据本公开的各种实施例的通过使用网络生成HDR图像的处理的示图。

图4示出缩放网络被设计为如方程式(1)的线性函数的实施例。这里，缩放网络可根据用户输入来设计。

HDR＝A*LDR+B (1)

这里，A可指亮度比，并且B可指校正值。

参照图4，图像处理设备可使输入LDR图像410通过卷积层并提取特征图，并且使提取的特征图通过多个层并识别用于生成HDR图像的值。

具体地，图像处理设备可通过第一网络411识别亮度比，其中，第一网络411通过使用用于识别亮度比的第一参数来识别亮度比。此外，图像处理设备可通过第二网络412来识别校正值，其中，第二网络412通过使用用于识别校正值的第二参数来识别校正值。这里，图像处理设备可并行地操作第一网络411和第二网络412。

然后，图像处理设备可通过乘法运算将通过使用第一网络411识别的亮度比应用于输入LDR图像410。具体地，针对亮度比，根据LDR图像410的每个像素的值来识别不同的值，并且图像处理设备可通过将LDR图像410的每个像素与相应于每个像素的亮度比相乘来调整LDR图像410的亮度。

接下来，图像处理设备可通过将通过使用第二网络412识别的校正值相加到亮度调整的LDR图像或从亮度调整的LDR图像减去通过使用第二网络412识别的校正值来生成HDR图像420。这里，在校正值为正数的情况下，上述运算可被称为加校正值，在校正值为负数的情况下，上述运算可被称为减校正值。

然后，图像处理设备可将通过使用与存储的原始HDR图像相应的用于学习的LDR图像生成的HDR图像与原始HDR图像进行比较，并且学习第一网络411的第一参数，使得亮度值之间的差变得最小。此外，图像处理设备可将存储的原始HDR图像与生成的HDR图像进行比较，并且学习第二网络412的第二参数，使得像素值之间的差变得最小。

如上所述，根据本公开，由于使用乘法运算，因此不需要归一化处理，并且因此减少了运算量，并且能够快速学习。此外，随着针对每个像素执行校正，图像的局部特性被反映，并且因此产生更清晰的HDR图像变得可能。

另外，在图4中，在限于缩放网络被设计为线性函数的情况下进行了解释，但缩放网络可根据用于改变网络结构的控制命令的用户输入被设计为各种函数。这里，在构成缩放网络的多个网络中，根据目的不同地设置参数。因此，在下文中，网络将被称为第一网络和第二网络，而不限制网络的用途。

具体地，图5是用于示出缩放网络被设计为如方程式(2)中的多维函数的实施例的示图。

HDR＝A*LDR³+B*LDR²+C*LDR+D (2)

参照图5，图像处理设备可通过使用输入LDR图像510和缩放网络来生成HDR图像520。

这里，图像处理设备可如图4中所示使输入LDR图像510通过卷积层并提取特征图，并且使提取的特征图通过多个层并识别用于生成HDR图像的值。

具体地，图像处理设备可通过使用用于识别亮度比的第一参数的第一网络511来识别第一值。此外，图像处理设备可通过使用第二参数的第二网络512来识别第二值。这里，图像处理设备可并行地操作第一网络511和第二网络512。

另外，在图5中，不同于图4，可在第一网络511和第二网络512内部执行乘法和加法运算。因此，在缩放网络是多维函数的情况下，图像处理设备可学习可识别用于从输入LDR图像510生成HDR图像520的最适当值的参数。

另外，可如图6和图7中所示的对构成缩放网络的多个网络进行串联操作。

具体地，参照图6，图像处理设备可使输入LDR图像610通过卷积层并提取特征图，并且使提取的特征图通过由多个层组成的网络并识别用于生成HDR图像的值。

具体地，图像处理设备可通过使用第一参数的第一网络611来识别第一值。然后，图像处理设备可通过使用乘法运算将识别出的第一值应用于输入LDR图像610。

然后，图像处理设备可通过使用应用了第一值的LDR图像的特征图，通过使用第二值的第二网络612来识别第二值。此外，图像处理设备可通过加法运算将识别出的第二值应用于亮度调整的LDR图像来生成HDR图像620。

另外，参照图7，图像处理设备可使输入LDR图像710通过卷积层并提取特征图，并且使提取的特征图通过由多个层组成的网络并识别用于生成HDR图像的值。

具体地，图像处理设备可通过使用第一参数的第一网络711来识别第一值。然后，图像处理设备可通过使用加法运算将识别出的第一值应用于输入LDR图像710。

然后，图像处理设备可通过使用应用了第一值的LDR图像的特征图，通过使用第二值的第二网络712来识别第二值。此外，图像处理设备可通过加法运算将识别出的第二值应用于亮度调整的LDR图像来生成HDR图像720。在图4中，通过使用输入LDR图像的特征图来识别与第二值相应的校正值，但在图6和图7中，存在通过使用应用了第一值的LDR图像的特征图来识别第二值的差异。

另外，如在图8和图9中所示，缩放网络可包括与对数函数或指数函数而不是多维函数相应的层。

图8是用于示出缩放网络被设计为如方程式(3)中的对数函数的实施例的示图。

这里，A可以是通过使用包括至少一个乘法运算的第一网络识别出的第一值。

然后，参照图8，图像处理设备可通过使用加法运算将通过使用第二网络识别出的第二值应用于输入值810的倒数、并使该值通过采用作为对数函数的ln的层、并执行与第一值的乘法运算，来识别输出值820。根据方程式(3)，在图8中，第二值可以是-1。

图9是用于示出缩放网络被设计为如方程式(4)中的指数函数的实施例的示图。

这里，A可以是通过使用包括至少一个乘法运算的第一网络识别的第一值。

此外，参照图9，图像处理设备可通过乘法运算将识别出的第一值应用于输入值910，并且使该值通过将该值转换为底为e的指数函数的层。然后，图像处理设备可通过使用转换为指数函数的值和第二网络来识别第二值。接下来，图像处理设备可通过使用加法运算将识别出的第二值应用于转换为指数函数的值。然后，图像处理设备可取应用了第二值的值的倒数，并且识别输出值920。根据方程式(4)，在图9中，第二值可以是1。

如上所述，根据本公开，当已知输入数据之间的关系时，优化值可被学习。

参照图10，在操作S1010，图像处理设备可通过使用经过使用第一参数识别出的像素特定亮度比来调整LDR图像的亮度。具体地，图像处理设备可通过使用预先存储的第一参数，针对存储的LDR图像或接收的LDR图像的每一个像素来识别用于生成HDR图像的亮度比。这里，第一参数可被预先学习。具体地，可通过使用具有与包括在测试集中的网络相同结构的网络来预先学习第一参数。此外，图像处理设备还可考虑LDR图像的每一个像素的相邻像素的亮度来识别像素特定亮度比。

然后，在操作S1020，图像处理设备可将通过使用第二参数识别出的像素特定校正值相加到亮度调整的LDR图像的像素值，或者从亮度调整的LDR图像的像素值减去通过使用第二参数识别出的像素特定校正值。具体地，图像处理设备可识别像素特定校正值，使得在亮度调整的LDR图像中亮度小于预定值的区域内的像素之间的亮度差大。另外，图像处理设备可识别像素特定校正值，使得在亮度调整的LDR图像中的亮度大于或等于预定值的区域内的像素之间的亮度差小。这里，第二参数可被预先学习。具体地，可通过使用具有与包括在测试集中的网络相同的结构的网络来预先学习第二参数。此外，图像处理设备可根据所述网络的结构并行地识别亮度比和校正值。

根据上述公开的各种实施例，通过使用经过使用学***的丰富动态范围。

另外，本公开的前述各种实施例可通过使用软件、硬件或软件和硬件组合在可由计算机或类似于计算机的设备读取的记录介质中实现。根据通过硬件的实现，在本公开中描述的实施例可通过使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或用于执行各种功能的电子单元中的至少一个来实现。在一些情况下，在本说明书中描述的实施例可被实现为处理器本身。另外，根据通过软件的实现，在本说明书中描述的诸如过程和功能的实施例可被实现为单独的软件模块。软件模块中的每一个可执行在本说明书中描述的一个或更多个功能和操作。

另外，根据本公开的前述各种实施例的图像处理方法可被存储在非暂时性可读介质中。这样的非暂时性可读介质可在被安装在各种设备上的同时被使用。

非暂时性可读介质是指半永久地存储数据并且可由机器读取的介质，但不是指诸如寄存器、高速缓存和存储器的短暂存储数据的介质。具体地，用于执行前述各种方法的程序可在被存储在诸如CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等的非暂时性可读介质中的同时被提供。

根据本公开的实施例，根据在本公开中描述的各种实施例的方法可在被包括在计算机程序产品中的同时被提供。计算机程序产品是指产品，并且它可以在卖家与买家之间进行交易。计算机程序产品可以以由机器可读的存储介质(例如：紧凑盘只读存储器(CD-ROM))的形式在线发布，或者通过应用商店(例如：play store TM)在线发布。在在线发布的情况下，计算机程序产品的至少一部分可至少临时地存储在诸如制造商的服务器、应用商店的服务器和中继服务器的存储器的存储介质中，或者可被临时地生成。

此外，尽管已经示出和描述了本公开的优选实施例，但本公开不限于前述特定实施例，并且显而易见的是，在不脱离如所附权利要求所要求保护的本公开的主旨的情况下，本公开所属技术领域的普通技术人员可进行各种修改。另外，意在这样的修改不独立于本公开的技术思想或前景来解释。

Claims

1.一种图像处理设备，包括：

存储器，存储低动态范围(LDR)图像；以及

处理器，被配置为：

借助于通过使用第一参数识别出的像素特定亮度比来调整所述LDR图像的亮度，并且通过将通过使用第二参数识别出的像素特定校正值相加到所述亮度调整的LDR图像的像素值或者从所述亮度调整的LDR图像的像素值减去所述像素特定校正值来获取高动态范围(HDR)图像。

2.根据权利要求1所述的图像处理设备，

其中，在所述存储器中，存储原始HDR图像和与所述原始HDR图像相应的用于学习的LDR图像，并且

第一参数已被学习使得通过使用用于学习的所述LDR图像生成的HDR图像的亮度与所述原始HDR图像的亮度之间的差变得最小。

3.根据权利要求2所述的图像处理设备，

其中，第二参数已被学习使得通过使用用于学习的所述LDR图像生成的HDR图像的像素值与所述原始HDR图像的像素值之间的差变得最小。

4.根据权利要求2所述的图像处理设备，

其中，所述处理器被配置为：

考虑用于学习的所述LDR图像的亮度值的范围和所述原始HDR图像的亮度值的范围的归一化来学习第一参数。

5.根据权利要求2所述的图像处理设备，

其中，所述处理器被配置为：

基于输入用于改变网络结构的控制命令，基于通过使用至少一个乘法运算识别出的像素特定亮度比来学习第一参数。

6.根据权利要求1所述的图像处理设备，

其中，所述处理器被配置为：

识别所述像素特定校正值使得在所述亮度调整的LDR图像中的亮度小于预定值的区域内的像素之间的亮度差大。

7.根据权利要求1所述的图像处理设备，

其中，所述处理器被配置为：

识别所述像素特定校正值，使得在所述亮度调整的LDR图像中的亮度大于或等于预定值的区域内的像素之间的亮度差小。

8.根据权利要求1所述的图像处理设备，

其中，所述处理器被配置为：

并行地执行通过使用第一参数识别所述像素特定亮度比的操作和通过使用第二参数识别所述像素特定校正值的操作。

9.根据权利要求1所述的图像处理设备，

其中，所述处理器被配置为：

还考虑针对所述LDR图像的每一个像素的相邻像素来识别所述像素特定亮度比。

10.一种图像处理方法，所述方法包括：

借助于通过使用第一参数识别出的像素特定亮度比来调整低动态范围(LDR)图像的亮度；并且

通过将通过使用第二参数识别出的像素特定校正值相加到所述亮度调整的LDR图像的像素值或者从所述亮度调整的LDR图像的像素值减去所述像素特定校正值来获取高动态范围(HDR)图像。

11.根据权利要求10所述的图像处理方法，

其中，第一参数已被学习使得通过使用与原始HDR图像相应的用于学习的LDR图像生成的HDR图像的亮度与所述原始HDR图像的亮度之间的差变得最小。

12.根据权利要求10所述的图像处理方法，

其中，所述像素特定校正值被识别使得在所述亮度调整的LDR图像中的亮度小于预定值的区域内的像素之间的亮度差大。

13.根据权利要求10所述的图像处理方法，

其中，所述像素特定校正值被识别使得在所述亮度调整的LDR图像中的亮度大于或等于预定值的区域内的像素之间的亮度差小。

14.根据权利要求10所述的图像处理方法，

其中，并行地执行通过使用第一参数识别所述像素特定亮度比的操作和通过使用第二参数识别所述像素特定校正值的操作。

15.根据权利要求10所述的图像处理方法，

其中，还考虑针对所述LDR图像的每一个像素的相邻像素来识别所述像素特定亮度比。