CN116112657B - 图像处理方法、装置、计算机可读存储介质及电子装置 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、计算机可读存储介质及电子装置。该方法包括：获取第一图像和第二图像，其中，第一图像中至少包含用于确定第二图像中的曝光区域的第一对象；基于第一图像对应的第一高度图对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图；基于第一高度图对第一图像进行视差投射处理，得到第三图像；基于第二图像对应的第二高度图对第二图像进行视差投射处理，得到第四图像；基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。本申请解决了相关技术中，二次曝光的图像无法在实时渲染的三维引擎中呈现的技术问题。

Description

图像处理方法、装置、计算机可读存储介质及电子装置

技术领域

本公开涉及图像处理领域，具体而言，涉及一种图像处理方法、装置、计算机可读存储介质及电子装置。

背景技术

在摄影技术中，二次曝光(Double Exposure)是一种摄像机的拍摄手法。其中，在同一张底片上进行多次曝光，使用不同的焦距多次曝光可表现一张照片难以表现的内容。

多重曝光技术通常用于双影或多影照片的拍摄，其在一幅胶片上拍摄多个影像，使被摄物体在画面中出现多次，从而实现魔术般无中生有的效果。此外，通过二次曝光的方式将两张或者更多的灯饰底片叠加在一起，从而达到风格化的效果。例如，在图1所示的二次曝光图像中，原始的人物图像中较暗的区域进行两次曝光，即过曝的位置不会再次进行曝光，而较亮的区域不会记录第二次的曝光信息，从而实现了图1所示的在人物图像的人物中显示风景的效果。

目前，通常采用胶片相机拍摄方法、数码相机拍摄方法以及数码后期处理方法等方法来实现图1所示的效果。然而，上述方法只能作用于二维平面，无法作用于三维的实时引擎中，而且，实现过程不受光照等场景因素的影响，即使受到光照影响也缺乏层次，没有Z轴向的深度信息，图像效果表现力较弱。另外，上述方法也无法对两个图片的法线信息、粗糙度信息以及环境光遮蔽信息等进行调整和/或融合，也无法针对相应的参数做更多的优化和调整，从而限制了图像在更多层次上的表现。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本公开至少部分实施例提供了一种图像处理方法、装置、计算机可读存储介质及电子装置，以至少解决相关技术中，二次曝光的图像无法在实时渲染的三维引擎中呈现的技术问题。

根据本公开其中一实施例，提供了一种图像处理方法，包括：获取第一图像和第二图像，其中，第一图像中至少包含用于确定第二图像中的曝光区域的第一对象；基于第一图像对应的第一高度图对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图；基于第一高度图对第一图像进行视差投射处理，得到第三图像；基于第二图像对应的第二高度图对第二图像进行视差投射处理，得到第四图像；基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。

根据本公开其中一实施例，还提供了一种图像处理装置，包括：图像获取模块，用于获取第一图像和第二图像，其中，第一图像中至少包含用于确定第二图像中的曝光区域的第一对象；第一处理模块，用于基于第一图像对应的第一高度图对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图；第二处理模块，用于基于第一高度图对第一图像进行视差投射处理，得到第三图像；第三处理模块，用于基于第二图像对应的第二高度图对第二图像进行视差投射处理，得到第四图像；第四处理模块，用于基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。

根据本公开其中一实施例，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任一项中的图像处理方法。

根据本公开其中一实施例，还提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任一项中的图像处理方法。

在本公开至少部分实施例中，采用高度图来创建视差映射的方式，在获取到包含用于确定第二图像中的曝光区域的第一对象的第一图像及第二图像之后，基于第一图像对应的第一高度图对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图，然后，基于第一高度图对第一图像进行视差投射处理，得到第三图像，并基于第二图像对应的第二高度图对第二图像进行视差投射处理，得到第四图像；最后，基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。

在上述过程中，使用了不同图像的高度图分别对不同的图像进行视差投射处理，从而使图像具有了高度信息，进而使最终的目标曝光图像能够应用于实时渲染的三维引擎中。另外，由于本公开使用了高度图，因此，相较于简单的平面图像的叠加，使用本公开所提供的方案生成的目标曝光图像具有更强的表现力。

由此可见，本申请所提供的方案达到了在实时渲染的三维引擎中呈现二次曝光图像的目的，从而实现了提高目标曝光图像的表现力的技术效果，进而解决了相关技术中，二次曝光的图像无法在实时渲染的三维引擎中呈现的技术问题。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1是现有技术中的二次曝光图像的示意图；

图2是本公开实施例的一种图像处理方法的移动终端的硬件结构框图；

图3是根据本公开其中一实施例的图像处理方法的流程图；

图4是根据本公开其中一实施例的花朵图像的示意图；

图5是根据本公开其中一实施例的岩石图像的示意图；

图6是根据本公开其中一实施例的目标曝光图像的示意图；

图7是根据本公开其中一实施例的遮罩图像的示意图；

图8是根据本公开其中一实施例的遮罩图像的视差投射示意图；

图9是根据本公开其中一实施例的目标遮罩图像的示意图；

图10是根据本公开其中一实施例的遮罩图像的调整示意图；

图11是根据本公开其中一实施例的RemapValueRange节点的连接示意图；

图12是根据本公开其中一实施例的目标曝光图像的生成示意图；

图13是根据本公开其中一实施例的混合后的图像效果示意图；

图14是根据本公开其中一实施例的法线贴图的混合效果示意图；

图15是根据本公开其中一实施例的岩石材质的示意图；

图16是根据本公开其中一实施例的花朵材质的示意图；

图17是根据本公开其中一实施例的花朵造型下表现岩石材质的示意图；

图18是根据本公开其中一实施例的图像处理装置的结构框图；

图19是根据本公开其中一实施例的电子装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在一种可能的实施方式中，针对图像处理领域下图像的二次曝光中通常所采用的胶片相机拍摄方法、数码相机拍摄方法以及数码后期处理方法等方法，发明人经过实践并仔细研究后，仍然存在二次曝光的图像无法在实时渲染的三维引擎中呈现的技术问题，基于此，本公开实施例的应用场景可以是生成游戏中的贴图以实现对游戏中虚拟模型的渲染，提出了一种图像处理方法，采用高度图来创建视差映射的方式，达到了在实时渲染的三维引擎中呈现二次曝光图像的目的，从而实现了提高目标曝光图像的表现力的技术效果，进而解决了相关技术中，二次曝光的图像无法在实时渲染的三维引擎中呈现的技术问题。

本公开涉及到的上述方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，该移动终端可以是智能手机、平板电脑、掌上电脑以及移动互联网设备、PAD、游戏机等终端设备。图2是本公开实施例的一种图像处理方法的移动终端的硬件结构框图。如图2所示，移动终端可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理(DSP)芯片、微处理器(MCU)、可编程逻辑器件(FPGA)、神经网络处理器(NPU)、张量处理器(TPU)、人工智能(AI)类型处理器等的处理装置)和用于存储数据的存储器204，在本公开其中一实施例中，还可以包括：输入输出设备208以及显示设备210。

在一些以游戏场景为主的可选实施例中，上述设备还可以提供具有触摸触敏表面的人机交互界面，该人机交互界面可以感应手指接触和/或手势来与图形用户界面(GUI)进行人机交互，该人机交互功能可以包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。

本领域技术人员可以理解，图2所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

根据本公开其中一实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在一种可能的实施方式中，本公开实施例提供了一种图像处理方法，终端设备可以执行本实施例所提供的方法，其中，终端设备可以是本地终端设备，也可以是云交互***中的客户端设备。图3是根据本公开其中一实施例的图像处理方法的流程图，如图3所示，该方法包括如下步骤：

步骤S302，获取第一图像和第二图像，其中，第一图像中至少包含用于确定第二图像中的曝光区域的第一对象。

在步骤S302中，第一图像为二次曝光叠加在上方的图像，第二图像为底片图像，例如，第一图像可以为图4所示的花朵图像，第一对象为图4中的花朵，第二图像可以为图5所示的岩石图像，而最终需要得到的目标曝光图像如图6所示，由图6可知，在保留了花朵的材质和造型的同时，也保留了岩石融合的材质与贴图。

步骤S304，基于第一图像对应的第一高度图对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图。

需要说明的是，在步骤S304中，第一对象的遮罩图像为仅包含第一对象的轮廓以及轮廓所确定的区域的图像，该图像并不包含第一对象的图像细节，例如，对于图4所示的花朵，其对应的遮罩图像如图7所示。由图7可知，该遮罩图像仅为平面，并不包含高度信息，而通过第一图像的高度图像对该遮罩图像进行视差投射处理，可计算出该遮罩图像的高度信息，能够提升目标曝光图像的表现力。

步骤S306，基于第一高度图对第一图像进行视差投射处理，得到第三图像。

在步骤S306中，对第一图像进行视差投射处理，主要是对第一图像中第一对象进行视差投射处理，计算出第一对象的主体颜色的高度信息，以增加第一对象的表现细节，进一步提升目标曝光图像的表现力。

步骤S308，基于第二图像对应的第二高度图对第二图像进行视差投射处理，得到第四图像。

在步骤S308中，基于第二图像的高度图对第二图像进行视差投射处理，主要是对第二图像的法线、粗糙度、环境光遮蔽信息以及主体颜色进行视差扭曲处理，以增加第二图像的表现细节，而第二图像的其他信息则不进行视差扭曲处理。

步骤S310，基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。

需要说明的是，目标遮罩图像用于确定第一对象在第四图像中展示的区域，例如，花朵的遮罩图像确定了花朵在岩石图像中展示的大小。在确定了花朵在岩石图像中的展示位置以及展示范围之后，终端设备在上述的展示范围内展示视差处理后的第一图像，即可得到如图6所示的二次曝光后的图像，该图像具有高度信息，能够在实时渲染的三维引擎中呈现。

基于上述步骤S302至步骤S310所限定的方案，可以获知，在本公开至少部分实施例中，采用高度图来创建视差映射的方式，在获取到包含用于确定第二图像中的曝光区域的第一对象的第一图像及第二图像之后，基于第一图像对应的第一高度图对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图，然后，基于第一高度图对第一图像进行视差投射处理，得到第三图像，并基于第二图像对应的第二高度图对第二图像进行视差投射处理，得到第四图像；最后，基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。

容易注意到的是，在上述过程中，使用了不同图像的高度图分别对不同的图像进行视差投射处理，从而使图像具有了高度信息，进而使最终的目标曝光图像能够应用于实时渲染的三维引擎中。另外，由于本公开使用了高度图，因此，相较于简单的平面图像的叠加，使用本公开所提供的方案生成的目标曝光图像具有更强的表现力。

由此可见，本申请所提供的方案达到了在实时渲染的三维引擎中呈现二次曝光图像的目的，从而实现了提高目标曝光图像的表现力的技术效果，进而解决了相关技术中，二次曝光的图像无法在实时渲染的三维引擎中呈现的技术问题。

需要说明的是，对第一对象的遮罩图像的视差投射处理、对第一图像的视差投射处理以及对第二图像的视差投射处理的顺序不限于图3所示的顺序，上述三个视差投射处理过程可同时进行，也可按照图3所示的顺序进行，还可按照其他的顺序进行，只要能够实现上述三个视差投射处理过程即可。以下以图3为例，对图3所示的各个步骤进行详细说明。

在一种可选的实施例中，在获取到第一图像之后，终端设备即可对第一图像的遮罩图像进行视差投射处理。

具体的，终端设备获取第一对象的遮罩图像以及第一高度图，然后，确定第一采样精度，并基于第一采样精度对第一高度图进行采样，得到第一采样结果，最后，基于第一采样结果对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图。

可选的，终端设备可使用渲染引擎中的视差投射功能节点ParallaxOcclusionMapping，为第一对象的遮罩图像计算出高度信息。如图8所示的遮罩图像的视差投射示意图，ParallaxOcclusionMapping中的Heightmap Texture端口连接第一图像的高度图，HeightRatio端口与外部变量连接，其可设置遮罩图像的凹凸程度，取值范围为0-1，以将遮罩图像的凹凸程度变量为“叠化图凹凸程度”；Heightmap Channel端口用于作为高度读取信息的RGB通道来源，由于其只能读取float3格式的数据，因此，需将颜色通道RGB通道与透明度通道A通道附加，使用R通道读取高度贴图的高度信息；与端口MinSteps与Max Steps连接的变量用于设置高度信息的采样精度，其中，数值越高精度越高，但***开销也会相对变大。

需要说明的是，通过如图8所示的视差投射方式对图4的遮罩图像的视差扭曲之后，即可得到如图9所示的目标遮罩图像，其中，在图9中，混合范围值blend默认设置为0.5。

进一步的，在获取第一对象的遮罩图像之后，终端设备还可对遮罩图像进行参数调整。具体的，终端设备可响应第一调整指令，调整第一对象的轮廓，并确定轮廓对应的区域的透明度。

可选的，以图4所示的图像为第一图像，图5所示的图像为第二图像为例进行说明。终端设备在接收到用户导入的花朵的黑白遮罩图像之后，使用插值节点来设置遮罩图像中花朵的轮廓，如图10所示的遮罩图像的调整示意图，插值节点Lerp的两个通道A和B分别与外部轮廓变量Outer opacity和内部轮廓变量Inner opacity连接，以设置遮罩图像Texture Sample的内外轮廓的扩散范围，其中，遮罩图像Texture Sample与插值节点Lerp的Alpha端口连接。

需要说明的是，外部轮廓变量用于调整花朵边缘的轮廓，随着外部轮廓变量的数值逐渐变大，遮罩会逐渐消失；内部轮廓变量用于控制其内部透明度的范围，内部轮廓变量的数值越大，遮罩图像内部的透明度越低，当内部轮廓变量的数值最大时，该遮罩图像成为反向的遮罩。

另外，终端设备还可响应第二调整指令，基于第四图像的主体颜色对第一对象的遮罩图像进行羽化操作。

可选的，终端设备可使用DitherTemporalAA节点的Material function功能，为遮罩图像设置羽化的门限值。其中，DitherTemporalAA是一种使用乘法调整变异的融合度的方法，该方法能实现贴图之间接触的边缘的颜色过渡，使得贴图之间的过渡不会过于生硬。在本实施例中，通过调整羽化的门限值，可实现花朵的边缘与岩石图像之间的颜色过渡。

此外，终端设备还可响应第三调整指令，调整第一对象的遮罩图像的边缘密度。

可选的，在对遮罩图像进行羽化操作后，终端设备还可基于RadialGradientExponential的Material function来设置遮罩图像的边缘密度。如图10所示，通过设置密度density与范围radius的变量，可为羽化后的遮罩图像的边缘增加细节。

需要说明的是，如图10所示，在计算RadialGradientExponential的输出与插值节点Lerp的输出的乘积之后，即可得到如图7所示的，包含了花朵形状的平面遮罩。由于该遮罩图像为平面，其并不包含高度信息。为了使遮罩图像具有高度信息，需对遮罩图像进行视差投射处理。

同样的，第一图像也为平面图像，为了使第一图像具有高度信息，需对第一图像进行视差投射处理。

具体的，终端设备在获取第一高度图之后，确定第一采样精度，并基于第一采样精度对第一高度图进行采样，得到第二采样结果，然后，再基于第二采样结果对第一图像进行视差投射处理，得到第三图像，其中，第三图像至少包括第一图像中的主体颜色所对应的高度信息。

需要说明的是，对第一图像进行视差投射处理的方式与对第一对象进行视差投射处理的方式相同，另外，对第一图像进行视差投射处理的变量参数，也与对第一对象进行视差投射处理的变量参数。因此，对第一图像进行视差投射处理的过程，在此不再赘述。

在一种可选的实施例中，在获取到第二图像之后，终端设备即可对第二图像的遮罩图像进行视差投射处理。

具体的，在获取第二高度图、第二图像对应的法线贴图、第二图像对应的粗糙度贴图、第二图像对应的环境光遮蔽贴图以及第二图像的主体颜色之后，终端设备确定第三采样精度，并基于第三采样精度对第二高度图进行采样，得到第三采样结果；然后，基于第三采样结果分别对第二图像对应的高法线贴图、第二图像对应的粗糙度贴图、第二图像对应的环境光遮蔽贴图以及第二图像的主体颜色进行视差投射处理，得到处理后的法线贴图、粗糙度贴图、环境光遮蔽贴图及处理后的主体颜色；最后，基于处理后的法线贴图、粗糙度贴图、环境光遮蔽贴图及处理后的主体颜色，生成第四图像。

需要说明的是，与对第一图像进行视差投射处理的过程不同的是，对第二图像进行视差投射处理的过程中，需对法线、粗糙度、环境光遮蔽、主体颜色等进行视差投射处理，而其他参数无需进行视差投射处理。其中，对法线、粗糙度、环境光遮蔽、主体颜色等进行视差投射处理的过程，与第一图像的视差投射过程类似，在此不再详细说明。

此外，在对第二图像进行视差投射处理的过程中，需为第二图像所对应的高度信息设置变量和参考平面，该参考平面与第一图像的视差投射过程中所设置的参考平面相同。即在本实施例中，在对第一图像和第二图像进行视差投射处理的过程中，需设置同一个参考平面，以使实现高度信息在参考平面上的投射。

需要说明的是，在完成对第一图像和第二图像的视差投射处理之后，终端设备可需要使用RemapValueRange节点，通过第一图像和第二图像的高度图对第一图像和第二图像在不同高度所要呈现的内容进行投射判定。其中，RemapValueRange节点可实现将标量输入重映射到标量和颜色输出。使用标量渐变重映射标量输出，使用颜色渐变重映射颜色输出，从而可以重映射颜色和Alpha值，并分别控制每个值。因此，通过该节点，用户可设置Alpha处于相反颜色或具有不同范围的贴图。

可选的，图11示出了RemapValueRange节点的连接示意图，由图11可知，RemapValueRange节点的输入包括InputHigh、InputLow两个端口，这两个端口用于定义重映射到渐变控件左侧和右侧的值。例如，如果输入属性在-1(即图11中Target Low的输入变量)和1(即图11中Target High的输入变量)之间变化，则可以将“InputHigh”对应的变量值设定为-1，将“InputLow”对应的变量值设定为1。从而用户定义的值中的最小值在渐变的左侧，最大值映射到右侧，而最小-最大范围之外的值将调整到渐变边缘处的值。

另外，RemapValueRange节点的输出包括OutputHigh、OutputLow两个端口(图11未示出)，用于确定输出属性的范围。这些属性表示渐变的顶部(即最大值)和底部(即最小值)值，或(在颜色渐变控制的情况下)显示的白色(即最大值)和黑色(即最小值)的输出。

例如，在图11中，以岩石的高度图作为输入端口，将最小值映射到最大值。而输入的最大值则作为高度变量HeightInfoValue，用于判断岩石图像与花朵的高度贴图的混合范围。

在一种可选的实施例中，如图3所示，在对第一图像和第二图像进行视差投射处理，分别得到第三图像和第四图像之后，终端设备即可基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。

具体的，终端设备基于第二图像的高度图中的像素范围确定第四图像与第三图像的混合范围，并基于混合范围对第四图像中的曝光区域与第三图像进行混合处理，得到目标曝光图像。

可选的，图12示出了目标曝光图像的生成示意图，在图12中，使用插值节点Lerp，将视差投射映射后的花朵图像与视差投射映射后的岩石图像混合。由于两个部分的贴图混合只存在0-1之间，因此，终端设备可使用归一化节点Clamp来调整第二图像的高度图的像素范围，以将第二图像的像素范围(即图12中BlendValue的值)映射在0-1之间，从而得到图13所示的混合后的图像效果。

在一种可选的实施例中，在基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像之前，终端设备还可对第一图像和第二图像的法线贴图进行混合处理。

具体的，在获取第一图像对应的法线贴图以及第二图像对应的法线贴图之后，终端设备基于第二高度图中的像素范围，确定对第一图像对应的法线贴图与第二图像对应的法线贴图进行混合的法线混合范围，然后，基于法线混合范围对第一图像对应的法线贴图与第二图像对应的法线贴图进行混合处理。

可选的，与主体颜色的混合类似，由于视差投射扭曲了第二图像的纹理坐标，因此，需要从ParallaxOcclusionMapping节点处输出法线贴图(法线贴图)。其次，仍需要通过映射的方式，与颜色贴图同步正确的法线映射关系，此处也可使用统一的HeightInfoValue参数(即第二高度图中的像素范围)进行控制。

另外，saturate函数可实现变量值的限制，例如，通过saturate函数可将变量值的范围控制在0-1之间。在本实施例中，终端设备还使用saturate函数进行归一化处理，而saturate函数在实现限制效果时，对***性能的开销比较小，因此，多次使用saturate函数，也不会对***开销造成明显的影响。

此外，将上述的投射效果作为Alpha节点，在插值节点Lerp中将把岩石图像的法线贴图与花朵图像的法线贴图相混合，即可得到图14所示的法线贴图的混合效果。其中，在图14中，混合值为0.5。

在一种可选的实施例中，在基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像之前，终端设备还可对第一图像和第二图像的粗糙度贴图进行混合处理。

具体的，在获取第一图像对应的粗糙度贴图以及第二图像对应的粗糙度贴图之后，终端设备基于第二高度图中的像素范围，确定对第一图像对应的粗糙度贴图与第二图像对应的粗糙度贴图进行混合的粗糙度混合范围，并基于粗糙度混合范围对第一图像对应的粗糙度贴图与第二图像对应的粗糙度贴图进行混合处理。

需要说明的是，对粗糙度贴图的混合过程与法线贴图的混合过程类似，在此不再赘述。另外，为了便于观察，在本实施例中，花朵的粗糙度可设置为0。

更进一步的，在基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像之后，终端设备还可对目标曝光图像的曝光效果进行调整。

具体的，终端设备响应第四调整指令，对第一图像和/或第二图像的高度信息的调整，得到第一调整结果；响应第五调整指令，对第一图像与第二图像之间的混合范围的调整，得到第二调整结果；基于第一调整结果和/或第二调整结果对目标曝光图像进行调整，得到调整后的曝光图像。

例如，对于岩石图像，其为具有视差凹凸信息和法线信息、粗糙信息、环境光遮蔽信息的PBR材质。在混合范围BlendValue与高度信息HeightInfoValue的参数均为0时，显示为图15所示的岩石材质。

例如，对于花朵图像，其为具有视差凹凸信息和法线信息、环境光遮蔽信息、粗糙度为0的PBR材质。在混合范围BlendValue与高度信息HeightInfoValue的参数均为1时，显示为图16所示的花朵材质。

由上述可知，通过调整混合范围BlendValue与高度信息HeightInfoValue的参数值，在实现二次曝光的图片的叠加效果之外，还可保留高度信息的跌跤效果，而且，法线信息和粗糙度信息也产生了正确的融合效果。

此外，通过调整遮罩信息以及遮罩图像的外部轮廓参数，在保留了花朵的材质和造型的同时，也保留了岩石融合的材质与贴图。如图17示出了花朵造型下表现岩石材质的示意图，如图17所示，在保留花朵造型的情况下保留了岩石材质，同时保留了花朵法线的融合度，以及保留岩石的法线。

由上述内容可知，本公开通过对材质的遮罩图像、重叠曝光的主体颜色、高度信息、视差采样密度和参考平面等进行调整，从而得到一个引擎中包含基础颜色、法线、粗糙度与视差参数等的多维度二次曝光效果的渲染方案。本公开所提供的方案能够在实时渲染引擎的场景里，不仅仅将现实摄影中的二次曝光效果复现在着色器中，同时该着色器还包含Z轴方向的高度信息，能够实现视差高度的效果。而且，利用PBR的特性，使着色器能够在法线、粗糙度等PBR材质的参数方面做到与二次曝光效果相融合与叠加的视觉观感。

本公开所提供的方案至少具有以下优势：

丰富性。即利用本公开所提供的BlendValue、HeightinfoValue、ExposureRange等等参数，能够更加细分的控制其叠加的二次曝光的范围、程度、采样精度等多样内容。同时，由于本公开使用了高度图，因此，本公开能够通过创建视差映射的方法调整高度信息参数，从而相较于简单的平面叠加大大加强了表现力。

可控性。即利用本公开在底片与原片的采样都设置了包括凹凸程度、采样细分、遮罩范围等变量参数。对于相互叠加的两个主体部分，对基础颜色调整、蒙版的内外部范围、法线与高度的插值等均可独立调整，用户对于曝光效果的把控更加具体和可控。

通用性。在本公开中，作为一个PBR材质，其无需要场景整体为其做任何世界设置的调整，只需明确高度信息与要混合的贴图，本公开便可即时生效。同时，只要替换对应的高度图、颜色、形状遮罩、法线贴图等，着色器便可实现多种不同的组合和表现，进一步丰富二次曝光的细节。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。

在本实施例中还提供了一种图像处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图18是根据本公开其中一实施例的图像处理装置的结构框图，如图18所示，该装置包括：图像获取模块1801、第一处理模块1803、第二处理模块1805、第三处理模块1807以及第四处理模块1809。

其中，图像获取模块1801，用于获取第一图像和第二图像，其中，第一图像中至少包含用于确定第二图像中的曝光区域的第一对象；第一处理模块1803，用于基于第一图像对应的第一高度图对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图；第二处理模块1805，用于基于第一高度图对第一图像进行视差投射处理，得到第三图像；第三处理模块1807，用于基于第二图像对应的第二高度图对第二图像进行视差投射处理，得到第四图像；第四处理模块1809，用于基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像。

可选的，第一处理模块包括：第一获取模块、第一采样模块以及第一投射模块。其中，第一获取模块，用于获取第一对象的遮罩图像以及第一高度图；第一采样模块，用于确定第一采样精度，并基于第一采样精度对第一高度图进行采样，得到第一采样结果；第一投射模块，用于基于第一采样结果对第一对象的遮罩图像进行视差投射处理，得到目标遮罩图。

可选的，图像处理装置还包括：第一响应模块、第二响应模块以及第三响应模块。其中，第一响应模块，用于响应第一调整指令，调整第一对象的轮廓，并确定轮廓对应的区域的透明度；第二响应模块，用于响应第二调整指令，基于第四图像的主体颜色对第一对象的遮罩图像进行羽化操作；第三响应模块，用于响应第三调整指令，调整第一对象的遮罩图像的边缘密度。

可选的，第二处理模块包括：第二获取模块、第二采样模块以及第二投射模块。其中，第二获取模块，用于获取第一高度图；第二采样模块，用于确定第一采样精度，并基于第一采样精度对第一高度图进行采样，得到第二采样结果；第二投射模块，用于基于第二采样结果对第一图像进行视差投射处理，得到第三图像，其中，第三图像至少包括第一图像中的主体颜色所对应的高度信息。

可选的，第三处理模块包括：第三获取模块、第三采样模块、第三投射模块以及第一生成模块。其中，第三获取模块，用于获取第二高度图、第二图像对应的法线贴图、第二图像对应的粗糙度贴图、第二图像对应的环境光遮蔽贴图以及第二图像的主体颜色；第三采样模块，用于确定第三采样精度，并基于第三采样精度对第二高度图进行采样，得到第三采样结果；第三投射模块，用于基于第三采样结果分别对第二图像对应的高法线贴图、第二图像对应的粗糙度贴图、第二图像对应的环境光遮蔽贴图以及第二图像的主体颜色进行视差投射处理，得到处理后的法线贴图、粗糙度贴图、环境光遮蔽贴图及处理后的主体颜色；第一生成模块，用于基于处理后的法线贴图、粗糙度贴图、环境光遮蔽贴图及处理后的主体颜色，生成第四图像。

可选的，第四处理模块包括：第一确定模块以及第一混合模块。其中，第一确定模块，用于基于第二图像的高度图中的像素范围确定第四图像与第三图像的混合范围；第一混合模块，用于基于混合范围对第四图像中的曝光区域与第三图像进行混合处理，得到目标曝光图像。

可选的，图像处理装置还包括：第四获取模块、第二确定模块以及第二混合模块。其中，第四获取模块，用于在基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像之前，获取第一图像对应的法线贴图以及第二图像对应的法线贴图；第二确定模块，用于基于第二高度图中的像素范围，确定对第一图像对应的法线贴图与第二图像对应的法线贴图进行混合的法线混合范围；第二混合模块，用于基于法线混合范围对第一图像对应的法线贴图与第二图像对应的法线贴图进行混合处理。

可选的，图像处理装置还包括：第五获取模块、第三确定模块以及第三混合模块。其中，第五获取模块，用于在基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像之前，获取第一图像对应的粗糙度贴图以及第二图像对应的粗糙度贴图；第三确定模块，用于基于第二高度图中的像素范围，确定对第一图像对应的粗糙度贴图与第二图像对应的粗糙度贴图进行混合的粗糙度混合范围；第三混合模块，用于基于粗糙度混合范围对第一图像对应的粗糙度贴图与第二图像对应的粗糙度贴图进行混合处理。

可选的，图像处理装置还包括：第一调整模块、第二调整模块以及第三调整模块。其中，第一调整模块，用于在基于目标遮罩图确定第四图像中的曝光区域，并基于曝光区域对第四图像与第三图像进行混合处理，得到目标曝光图像之后，响应第四调整指令，对第一图像和/或第二图像的高度信息的调整，得到第一调整结果；第二调整模块，用于响应第五调整指令，对第一图像与第二图像之间的混合范围的调整，得到第二调整结果；第三调整模块，用于基于第一调整结果和/或第二调整结果对目标曝光图像进行调整，得到调整后的曝光图像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本公开的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本申请的示例性实施例中，计算机可读存储介质上存储有能够实现本实施例上述方法的程序产品。在一些可能的实施方式中，本公开实施例的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本实施例上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开实施例的程序产品不限于此，在本公开实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

上述程序产品可以采用一个或多个计算机可读介质的任意组合。该计算机可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列举)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

本公开的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

图19是根据本公开实施例的一种电子装置的示意图。如图19所示，电子装置1900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图19所示，电子装置1900以通用计算设备的形式表现。电子装置1900的组件可以包括但不限于：上述至少一个处理器1910、上述至少一个存储器1920、连接不同***组件(包括存储器1920和处理器1910)的总线1930和显示器1940。

其中，上述存储器1920存储有程序代码，所述程序代码可以被处理器1910执行，使得处理器1910执行本申请实施例的上述方法部分中描述的根据本公开各种示例性实施方式的步骤。

存储器1920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)19201和/或高速缓存存储单元19202，还可以进一步包括只读存储单元(ROM)19203，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

在一些实例中，存储器1920还可以包括具有一组(至少一个)程序模块19205的程序/实用工具19204，这样的程序模块19205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。存储器1920可进一步包括相对于处理器1910远程设置的存储器，这些远程存储器可以通过网络连接至电子装置1900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

总线1930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理器1910或者使用多种总线结构中的任意总线结构的局域总线。

显示器1940可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与电子装置1900的用户界面进行交互。

可选地，电子装置1900也可以与一个或多个外部设备2000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子装置1900交互的设备通信，和/或与使得该电子装置1900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1950进行。并且，电子装置1900还可以通过网络适配器1960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图19所示，网络适配器1960通过总线1930与电子装置1900的其它模块通信。应当明白，尽管图19中未示出，可以结合电子装置1900使用其它硬件和/或软件模块，可以包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

上述电子装置1900还可以包括：键盘、光标控制设备(如鼠标)、输入/输出接口(I/O接口)、网络接口、电源和/或相机。

本领域普通技术人员可以理解，图19所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子装置1900还可包括比图19中所示更多或者更少的组件，或者具有与图19所示不同的配置。存储器1920可用于存储计算机程序及对应的数据，如本公开实施例中的图像处理方法对应的计算机程序及对应的数据。处理器1910通过运行存储在存储器1920内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取第一图像和第二图像，其中，所述第一图像中至少包含用于确定所述第二图像中的曝光区域的第一对象；

基于所述第一图像对应的第一高度图对所述第一对象的遮罩图像进行视差投射处理，得到目标遮罩图；

基于所述第一高度图对所述第一图像进行视差投射处理，得到第三图像；

基于所述第二图像对应的第二高度图对所述第二图像进行视差投射处理，得到第四图像；

基于所述目标遮罩图确定所述第四图像中的曝光区域，并基于所述曝光区域对所述第四图像与所述第三图像进行混合处理，得到目标曝光图像。

2.根据权利要求1所述的方法，其特征在于，基于所述第一图像对应的第一高度图对所述第一对象的遮罩图像进行视差投射处理，得到目标遮罩图，包括：

获取所述第一对象的遮罩图像以及所述第一高度图；

确定第一采样精度，并基于所述第一采样精度对所述第一高度图进行采样，得到第一采样结果；

基于所述第一采样结果对所述第一对象的遮罩图像进行视差投射处理，得到所述目标遮罩图。

3.根据权利要求2所述的方法，其特征在于，在获取所述第一对象的遮罩图像之后，所述方法还包括：

响应第一调整指令，调整所述第一对象的轮廓，并确定所述轮廓对应的区域的透明度；

响应第二调整指令，基于所述第四图像的主体颜色对所述第一对象的遮罩图像进行羽化操作；

响应第三调整指令，调整所述第一对象的遮罩图像的边缘密度。

4.根据权利要求1所述的方法，其特征在于，基于所述第一高度图对所述第一图像进行视差投射处理，得到第三图像，包括：

获取所述第一高度图；

确定第一采样精度，并基于所述第一采样精度对所述第一高度图进行采样，得到第二采样结果；

基于所述第二采样结果对所述第一图像进行视差投射处理，得到所述第三图像，其中，所述第三图像至少包括所述第一图像中的主体颜色所对应的高度信息。

5.根据权利要求1所述的方法，其特征在于，基于所述第二图像对应的第二高度图对所述第二图像进行视差投射处理，得到第四图像，包括：

获取所述第二高度图、所述第二图像对应的法线贴图、所述第二图像对应的粗糙度贴图、所述第二图像对应的环境光遮蔽贴图以及所述第二图像的主体颜色；

确定第三采样精度，并基于所述第三采样精度对所述第二高度图进行采样，得到第三采样结果；

基于所述第三采样结果分别对所述第二图像对应的高法线贴图、所述第二图像对应的粗糙度贴图、所述第二图像对应的环境光遮蔽贴图以及所述第二图像的主体颜色进行视差投射处理，得到处理后的法线贴图、粗糙度贴图、环境光遮蔽贴图及处理后的主体颜色；

基于所述处理后的法线贴图、粗糙度贴图、环境光遮蔽贴图及所述处理后的主体颜色，生成所述第四图像。

6.根据权利要求1所述的方法，其特征在于，基于所述曝光区域对所述第四图像与所述第三图像进行混合处理，得到目标曝光图像，包括：

基于所述第二图像的高度图中的像素范围确定所述第四图像与所述第三图像的混合范围；

基于所述混合范围对所述第四图像中的曝光区域与所述第三图像进行混合处理，得到所述目标曝光图像。

7.根据权利要求6所述的方法，其特征在于，在基于所述曝光区域对所述第四图像与所述第三图像进行混合处理，得到目标曝光图像之前，所述方法还包括：

获取所述第一图像对应的法线贴图以及所述第二图像对应的法线贴图；

基于所述第二高度图中的像素范围，确定对所述第一图像对应的法线贴图与所述第二图像对应的法线贴图进行混合的法线混合范围；

基于所述法线混合范围对所述第一图像对应的法线贴图与所述第二图像对应的法线贴图进行混合处理。

8.根据权利要求6所述的方法，其特征在于，在基于所述曝光区域对所述第四图像与所述第三图像进行混合处理，得到目标曝光图像之前，所述方法还包括：

获取所述第一图像对应的粗糙度贴图以及所述第二图像对应的粗糙度贴图；

基于所述第二高度图中的像素范围，确定对所述第一图像对应的粗糙度贴图与所述第二图像对应的粗糙度贴图进行混合的粗糙度混合范围；

基于所述粗糙度混合范围对所述第一图像对应的粗糙度贴图与所述第二图像对应的粗糙度贴图进行混合处理。

9.根据权利要求6所述的方法，其特征在于，在基于所述目标遮罩图确定所述第四图像中的曝光区域，并基于所述曝光区域对所述第四图像与所述第三图像进行混合处理，得到目标曝光图像之后，所述方法还包括：

响应第四调整指令，对所述第一图像和/或所述第二图像的高度信息的调整，得到第一调整结果；

响应第五调整指令，对所述第一图像与所述第二图像之间的混合范围的调整，得到第二调整结果；

基于所述第一调整结果和/或所述第二调整结果对所述目标曝光图像进行调整，得到调整后的曝光图像。

10.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取第一图像和第二图像，其中，所述第一图像中至少包含用于确定所述第二图像中的曝光区域的第一对象；

第一处理模块，用于基于所述第一图像对应的第一高度图对所述第一对象的遮罩图像进行视差投射处理，得到目标遮罩图；

第二处理模块，用于基于所述第一高度图对所述第一图像进行视差投射处理，得到第三图像；

第三处理模块，用于基于所述第二图像对应的第二高度图对所述第二图像进行视差投射处理，得到第四图像；

第四处理模块，用于基于所述目标遮罩图确定所述第四图像中的曝光区域，并基于所述曝光区域对所述第四图像与所述第三图像进行混合处理，得到目标曝光图像。

11.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为被处理器运行时执行权利要求1至9任一项中所述的图像处理方法。

12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至9任一项中所述的图像处理方法。