CN115661320B - 图像处理方法及电子设备 - Google Patents

Abstract

本申请实施例提供一种图像处理方法及电子设备，应用于电子技术领域。该方法获取多个不同的第一拍摄视角下采集到的多张偏振图像；采用神经网络对多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到偏振图像对应的本征属性，本征属性包括表面法向、第一漫反射率、高光辐射图和第一光照参数；基于表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。这样，通过对多张偏振图像进行逆渲染求解，分解出混合在偏振图像中的表面法向、第一漫反射率、高光辐射图和第一光照参数等本征属性，基于这些本征属性，来实现重打光、新视角合成、颜色编辑及材质编辑功能，且提高了渲染得到的渲染图像的真实性和光影感。

Description

图像处理方法及电子设备

技术领域

本申请涉及电子技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

随着计算机技术的不断发展，如何根据捕获的多视角图像，来实现新视角合成、重打光技术、图像中物体的颜色及材质编辑等，逐渐成为计算机图形学和计算机视觉领域的一个重要研究方向。

发明内容

本申请实施例提供一种图像处理方法及电子设备，通过对多个不同第一拍摄视角下的偏振图像进行处理，分解出混合在偏振图像中的表面法向、漫反射率、高光辐射图和光照参数等本征属性，进而基于这些本征属性实现重打光、新视角合成、颜色编辑以及材质编辑等功能。

第一方面，本申请实施例提出一种图像处理方法，应用于电子设备，该方法包括：电子设备获取多张偏振图像，多张偏振图像是在多个不同的第一拍摄视角下采集到的；电子设备采用神经网络对多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到偏振图像对应的本征属性，本征属性包括表面法向、第一漫反射率、高光辐射图和第一光照参数，且高光辐射图和第一光照参数是通过对目标拍摄视角、目标粗糙度、偏振图像对应的反射系数和表面法向处理得到的；电子设备基于表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。目标拍摄视角为第一拍摄视角或者与第一拍摄视角不同的第二拍摄视角；目标粗糙度为第一粗糙度或者与第一粗糙度不同的第二粗糙度，第一粗糙度为偏振图像中物体的粗糙度；目标漫反射率为第一漫反射率或者与第一漫反射率不同的第二漫反射率；目标光照参数为第一光照参数或者与第一光照参数不同的第二光照参数。

其中，第一拍摄视角为偏振图像时的拍摄视角，表面法向、第一漫反射率、第一粗糙度、反射系数、高光辐射图和第一光照参数均为偏振图像中物体的本征属性。当本申请实施例应用到新视角合成场景中时，目标拍摄视角为第二拍摄视角；当本申请实施例应用到重打光场景中时，目标光照参数为第二光照参数；当本申请实施例应用到材质编辑场景中时，目标粗糙度为第二粗糙度；当本申请实施例应用到颜色编辑场景中时，目标漫反射率为第二漫反射率。

这样，通过对多张偏振图像进行逆渲染求解的方法，由于偏振图像本身的性能优势，可方便地分解出混合在偏振图像中的表面法向、第一漫反射率、高光辐射图和第一光照参数等本征属性，进而基于这些本征属性，来实现物体的重打光、新视角合成、图像中物体的颜色或材质编辑等功能。并且，由于本申请实施例可分解出混合在偏振图像中的表面法向、第一漫反射率、高光辐射图和第一光照参数等本征属性，因此，在模型训练过程中，可以对第一漫反射率、表面法向和第一光照参数进行直接监督，使得训练得到的网络模型更加准确，进一步使得从网络模型中输出的第一漫反射率和高光辐射图更加准确，从而提高渲染得到的渲染图像的真实性和光影感。

在一种可能的实现方式中，电子设备采用神经网络对多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到偏振图像对应的本征属性，包括：电子设备采用本征属性估计网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向、第一漫反射率、第一粗糙度和反射系数；电子设备采用光照估计网络对目标拍摄视角、目标粗糙度、反射系数和表面法向进行处理，得到高光辐射图和第一光照参数。这样，通过本征属性估计网络分解出表面法向、第一漫反射率、第一粗糙度和反射系数，并通过光照估计网络对上述与镜面反射相关的表面法向、第一粗糙度、反射系数和目标拍摄视角等进行处理，得到高光辐射图和第一光照参数，从而可通过对第一漫反射率、第一粗糙度和第一光照参数进行替换，来分别实现颜色编辑、材质编辑及重打光功能，从而丰富本申请实施例的应用场景。

在一种可能的实现方式中，电子设备采用本征属性估计网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向、第一漫反射率、第一粗糙度和反射系数，包括：电子设备采用表面法向预测网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向；电子设备采用漫反射估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的第一漫反射率，目标特征包括体密度或几何特征向量；电子设备采用粗糙度估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的第一粗糙度；电子设备采用反射系数估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的反射系数。这样，通过表面法向预测网络、漫反射估计网络、粗糙度估计网络和反射系数估计网络，来分别分解出偏振图像中的表面法向、第一漫反射率、第一粗糙度和反射系数，以更方便地对第一漫反射率进行替换来实现颜色编辑，以及更方便地对第一粗糙度进行替换来实现材质编辑，从而使得颜色编辑和材质编辑场景中，渲染得到的渲染图像更加真实；并且，也更方便地基于与镜面反射相关的表面法向、第一粗糙度、反射系数和目标拍摄视角等参数，来生成高光辐射图和第一光照参数，以区分出偏振图像中的镜面反射分量和漫反射分量。

在一种可能的实现方式中，电子设备采用表面法向预测网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向，包括：电子设备采用隐式表面表达网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的符号距离场和几何特征向量；电子设备根据符号距离场，生成偏振图像对应的表面法向。这样，可基于隐式表面表达网络求解符号距离场，以进一步分解出偏振图像中的表面法向，这种方式，使得整个图像处理对应的网络模型更加简单，以提升网络模型的训练速度。

在一种可能的实现方式中，电子设备根据符号距离场，生成偏振图像对应的表面法向，包括：电子设备对符号距离场进行求导，得到偏振图像对应的表面法向。这样，可通过求导方式得到偏振图像对应的表面法向，使得表面法向的求解方式较为简单。

在一种可能的实现方式中，电子设备采用表面法向预测网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向，包括：电子设备采用神经辐射场网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的体密度；电子设备采用法向估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，得到偏振图像对应的表面法向。这样，可基于神经辐射场网络和法向估计网络的配合使用，分解出偏振图像中的表面法向，丰富了本申请实施例中的网络模型的实现方式。

在一种可能的实现方式中，电子设备基于表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像，包括：电子设备采用可微偏振渲染模块对表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。这样，由于可微偏振渲染模块的渲染过程可微分，则可以根据渲染得到的渲染图像与真实图像之间的差异构建损失函数，更新可微偏振渲染模块的参数，提高可微偏振渲染模块输出的渲染图像的真实性。

在一种可能的实现方式中，在电子设备基于表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像之后，还包括：电子设备采用增强网络对渲染图像进行增强处理，得到目标图像。这样，通过在增强网络对渲染图像进行增强处理，以对渲染图像的细节、真实感以及光影感进行效果增强。

第二方面，本申请实施例提出一种电子设备，包括存储器和处理器，存储器用于存储计算机程序，处理器用于调用计算机程序，以执行上述的图像处理方法。

第三方面，本申请实施例提出一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被运行时，实现上述的图像处理方法。

第二方面和第三方面各可能的实现方式，效果与第一方面以及第一方面的可能的设计中的效果类似，在此不再赘述。

附图说明

图1为本申请实施例提供的电子设备的硬件***结构示意图；

图2为本申请实施例提供的电子设备的软件***结构示意图；

图3为本申请实施例提供的一种图像处理方法的流程图；

图4为本申请实施例提供的一种新视角合成的原理示意图；

图5为本申请实施例提供的一种多层感知器的结构示意图；

图6为本申请实施例提供的隐式表面表达网络的结构示意图；

图7为本申请实施例提供的漫反射估计网络的结构示意图；

图8为本申请实施例提供的光照估计网络的结构示意图；

图9为本申请实施例提供的增强网络的结构示意图；

图10为本申请实施例提供的一种材质编辑的原理示意图；

图11为本申请实施例提供的一种重打光的原理示意图；

图12为本申请实施例提供的一种颜色编辑的原理示意图；

图13为本申请实施例提供的另一种新视角合成的原理示意图；

图14为本申请实施例提供的图像处理装置的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

图像的逆渲染是计算机图形学和计算机视觉领域中的一项重要应用，其可以通过在设定光照条件下从不同的拍摄视角来捕获物体的多视角图像，并基于多视角图像来重建三维场景中物体的几何形状、表面反射率以及光照条件等，进而实现物体的重打光、新视角合成、图像中物体的颜色或材质编辑等功能。

但是，由于捕获的多视角图像中，物体的几何形状、表面反射率和光照参数等本征属性都是混杂在一起的，因此，如何根据捕获的多视角图像，来实现新视角合成、重打光、图像中物体的颜色及材质编辑等功能，逐渐成为计算机图形学和计算机视觉领域的一个重要研究方向。

重打光技术是指将特定目标对象置于新的环境后，在该目标对象上体现出周围光照情况对它的影响，即重光照的目的在于恢复目标对象的入射光照属性，使得该入射光照属性能够根据不同的光照条件呈现出更真实的目标对象的图像信息。

新视角合成是指通过给定的一系列摄像头或者单个可以移动的摄像头拍摄出一个三维场景的一组图片，由这些图片来合成新的视角下这个三维场景的图片。

颜色编辑是指替换图像中物体原本的颜色，以使物体呈现不同的视觉效果。材质编辑指的是替换图像中物体原本的材质，以使物体呈现不同的质感。

因此，本申请实施例提供一种图像处理方法及电子设备，通过获取多个不同的第一拍摄视角下采集到的多张偏振图像；采用神经网络对多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到偏振图像对应的本征属性，本征属性包括表面法向、第一漫反射率、高光辐射图和第一光照参数，且高光辐射图和第一光照参数是通过对目标拍摄视角、目标粗糙度、偏振图像对应的反射系数和表面法向处理得到的；并基于表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。其中，目标拍摄视角为第一拍摄视角或者与第一拍摄视角不同的第二拍摄视角；目标粗糙度为第一粗糙度或者与第一粗糙度不同的第二粗糙度，第一粗糙度为偏振图像中物体的粗糙度；目标漫反射率为第一漫反射率或者与第一漫反射率不同的第二漫反射率；目标光照参数为第一光照参数或者与第一光照参数不同的第二光照参数。

这样，通过对多张偏振图像进行逆渲染求解的方法，由于偏振图像本身的性能优势，可方便地分解出混合在偏振图像中的表面法向、第一漫反射率、高光辐射图和第一光照参数等本征属性，进而基于这些本征属性，来实现物体的重打光、新视角合成、图像中物体的颜色或材质编辑等功能。

偏振图像指的是利用偏振摄像头或者通过在摄像头外加偏振镜片所捕获得到的图像。偏振图像具备以下性能优势：镜面反射区比漫反射区具有更高偏振度，强依赖表面法向，物体反射率的漫反射分量与镜面反射分量具有不同的视图依赖，镜面反射比漫反射更具有极化性；偏振角观察主导反射区，可以清晰观察该片区域是由漫反射主导还是镜面反射主导；漫反射分量和镜面反射分量的偏振角是正交的。

本申请实施例提供的图像处理方法可以应用在具备图像处理功能的电子设备中，该电子设备可以为手机、平板电脑、增强现实（augmented reality，AR）/虚拟现实（virtualreality，VR）设备、台式电脑、笔记本电脑、超级移动个人计算机（ultra-mobile personalcomputer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）以及无人机等，可以基于多个不同的第一拍摄视角下的偏振图像，实现物体的重打光、新视角合成、图像中物体的颜色或材质编辑等功能的电子设备上。本申请实施例对电子设备所采用的具体技术和具体设备形态不做限定。

为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍：

图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，第一天线，第二天线，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriberidentification module，SIM）卡接口195等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过第一天线，第二天线，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

第一天线和第二天线用于发射和接收电磁波信号。电子设备100中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将第一天线复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网（wirelesslocal area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星***（global navigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像、显示视频和接收滑动操作等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。

在本申请实施例中，显示屏194可以显示由偏振摄像头193采集到的多张偏振图像，以及对偏振图像进行处理后生成的渲染图像或目标图像等。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。

在一些实施例中，摄像头193可以包括偏振摄像头，其可以采集多个不同的第一拍摄视角下的偏振图像。当然，摄像头193也可以包括其他非偏振摄像头，如广角摄像头、长焦摄像头等。

NPU为神经网络（neural-network，NN）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：新视角合成、重打光、颜色编辑及材质编辑等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

按键190包括开机键，音量键等。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。

电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等。本申请实施例以分层架构的Android***为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时（Android runtime）和***库，以及内核层。

应用程序层可以包括一系列应用程序包。如图2所示，应用程序包可以包括电话、日历、相机等应用程序。

在一些实施例中，应用程序层还可以包括图像处理模块。图像处理模块可以是一个应用程序，也可以是集成在应用程序中的一个功能模块，其用于对多个不同第一拍摄视角下采集到的偏振图像进行处理，生成渲染图像或目标图像，渲染图像相对于偏振图像可以是新视角合成的图像，也可以是重打光后的图像，也可以是颜色编辑后的图像，也可以是材质编辑后的图像。例如，图像处理模块可以集成在相机应用中，从而实现在相机应用的拍照模式中增加新视角合成、重打光、颜色编辑以及材质编辑等功能；或者，图像处理模块也可以集成到图库应用或其他三方应用中。

此外，图像处理模块还可以用于将生成渲染图像或目标图像，与预先存储在电子设备中的场景图像进行融合，得到融合图像。例如，图像处理模块可实现将渲染得到的渲染图像或目标图像中的真实物体，与虚拟场景图像进行融合；或者，在真实场景图像中***虚拟物体等。

应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括存储管理服务、输入***、活动管理器、窗口管理器、内容提供器、通知管理器、资源管理器和视图***等。

存储管理服务用于存储多个不同第一拍摄视角下采集到的偏振图像，以及生成的渲染图像、目标图像和融合图像等。其中，偏振图像可以是电子设备中的偏振摄像头采集到的，也可以是其他偏振摄像头采集并发送给电子设备的。本申请实施例对偏振图像的具体来源不进行限定。

输入***用于管理输入设备的程序。例如，输入***可以确定鼠标点击操作、键盘输入操作和触摸滑动等输入操作。

活动管理器用于管理各个应用程序的生命周期以及导航回退功能。负责Android的主线程创建，各个应用程序的生命周期的维护。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。该数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

Android runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器（surface manager），媒体库（Media Libraries），三维图形处理库（例如：OpenGL ES），二维图形引擎（例如：SGL）等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG2，H.262，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染、合成和图层处理等。二维图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动、蓝牙驱动、摄像头驱动等。例如，若电子设备中的摄像头包括偏振摄像头时，内核层中的摄像头驱动可以包括偏振摄像头驱动。

下面结合新视角合成、重打光、颜色编辑以及材质编辑的场景，以渲染得到渲染图像为例，示例性说明电子设备100的硬件及软件工作流程。

图像处理模块获取电子设备100内部的渲染指令，从存储管理服务中获取多个不同第一拍摄视角下采集到的偏振图像，并对多张偏振图像进行处理，以生成渲染图像。其中，渲染图像对应的第二拍摄视角与偏振图像采集的第一拍摄视角不同，和/或，渲染图像对应的第二光照参数与偏振图像采集的第一光照参数不同，和/或，渲染图像中物体的颜色与偏振图像中物体的颜色不同，和/或，渲染图像中物体的材质与偏振图像中物体的材质不同。因此，图像处理模块可根据多个不同第一拍摄视角下采集到的偏振图像，进行重打光、新视角、颜色编辑以及材质编辑等处理，得到新的渲染图像。此外，图像处理模块还可以从存储管理服务中获取渲染图像和场景图像，并将渲染图像和场景图像进行融合，得到融合图像。

需要说明的是，本申请实施例虽然以Android***进行说明，但是图像处理方法的原理同样适用于iOS或windows等操作***的电子设备。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，图3为本申请实施例提供的一种图像处理方法的流程图。参照图3所示，该图像处理方法具体可以包括如下步骤：

步骤301，电子设备获取多张偏振图像；多张偏振图像是在多个不同的第一拍摄视角下采集到的。

在电子设备需要将物体进行新视角合成、重打光、颜色编辑或材质编辑的场景下，电子设备可以获取多张包括物体的偏振图像。例如，物体可以是建筑、琥珀、道路等。

其中，每张偏振图像均是在处于第一光照参数下，且在第一拍摄视角下采集到的，而不同的偏振图像在采集时的第一拍摄视角不同。

第一拍摄视角指的是偏振摄像头在采集偏振图像时的拍摄视角，拍摄视角可以包括偏振摄像头在进行偏振图像采集时的俯仰角和方位角等视角。在采集偏振图像时，可分别记录每张偏振图像的第一拍摄视角。

需要说明的是，在采集多个不同的第一拍摄视角下的偏振图像时，第一拍摄视角的数量可以为两种或两种以上，使得采集到的偏振图像的数量为两张或两张以上，本申请实施例对第一拍摄视角的具体数量不进行限定。

在一些实施例中，偏振图像可以是本申请实施例的电子设备中的偏振摄像头在多个不同的第一拍摄视角下采集到的；在另一些实施例中，偏振图像也可以是其他设备中的偏振摄像头在多个不同的第一拍摄视角下采集到的，并将其发送给本申请实施例的电子设备的。本申请实施例对获取偏振图像的方式不进行限定。

在本申请实施例的电子设备中的偏振摄像头采集多个不同的第一拍摄视角下的偏振图像的情况下，开始采集到的偏振图像可以是以像素坐标系表示的。因此，本申请实施例可根据偏振摄像头的参数信息以及像素坐标系与世界坐标系之间的转换公式，将偏振图像从像素坐标系转换为世界坐标系，从而得到偏振图像中的每个像素点在世界坐标系中的三维位置坐标。

在一些情况下，可通过实验与计算方式求解得到的偏振摄像头的参数信息，参数信息可以包括内参和外参两部分。其中，内参描述了偏振摄像头内部的一些参数，其包括焦距、畸变参数等；外参描述了偏振摄像头在某个三维空间中的位置和朝向，其包括偏振摄像头的空间位置坐标，以及偏振摄像头的俯仰角、偏航角和翻滚角等。

而在其他设备中的偏振摄像头在多个不同的第一拍摄视角下采集到偏振图像，并将其发送给本申请实施例的电子设备的情况下，本申请实施例的电子设备获取到的偏振图像可以是以世界坐标系来表示的，其包括偏振图像中的每个像素点在世界坐标系中的三维位置坐标。

需要说明的是，本申请实施例可以是在未知光照条件下采集偏振图像的。因此，本申请实施例可以通过下面的逆渲染方式，恢复采集偏振图像时物体所处的光照条件，即从偏振图像中分解出第一光照参数，并通过第二光照参数替换第一光照参数来进行渲染，使得最终呈现的渲染图像能够在任意环境光照下进行渲染。因此，本申请实施例在采集偏振图像时，无需关注光照条件，可在未知光照条件下采集多个不同的第一拍摄视角下的偏振图像，以降低采集偏振图像所需的成本。

步骤302，电子设备采用神经网络对多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到偏振图像对应的本征属性；本征属性包括表面法向、第一漫反射率、高光辐射图和第一光照参数，且高光辐射图和第一光照参数是通过对目标拍摄视角、目标粗糙度、偏振图像对应的反射系数和表面法向处理得到的。

在本申请实施例中，电子设备在获取到多张偏振图像对应的三维位置坐标之后，可以将多张偏振图像对应的三维位置坐标以及目标拍摄视角输入至神经网络，神经网络则可以输出偏振图像对应的本征属性。

在一些实施例中，神经网络可以包括本征属性估计网络和光照估计网络。电子设备采用本征属性估计网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向、第一漫反射率、第一粗糙度和反射系数；电子设备采用光照估计网络对目标拍摄视角、目标粗糙度、反射系数和表面法向进行处理，得到高光辐射图和第一光照参数。

电子设备可以将多张偏振图像对应的三维位置坐标先输入本征属性估计网络，本征属性估计网络根据多张偏振图像对应的三维位置坐标，分别输出偏振图像对应的表面法向、第一漫反射率、第一粗糙度和反射系数。

其中，表面法向、第一漫反射率、第一粗糙度和反射系数均可以反映出偏振图像中物体的本征属性，其表示偏振图像中物体本身的属性特征。

表面法向表示偏振图像中的物体的每个点的表面法向向量，其可以体现物体的几何形状。

第一漫反射率表示偏振图像中物体的本征颜色属性，第一漫反射率也可称为第一反照率或第一漫反射辐射图，指的是物体反射太阳辐射与该物体表面接收太阳总辐射的两者比率或分数度量，也就是指反射辐射通量与入射辐射通量的比值。

第一粗糙度表示偏振图像中物体的材质信息，不同材质的物体的质感不同，材质质感是物体通过表面呈现、材料材质和几何尺寸等传递给人的视觉和触觉对这个物体的感官判断。因此，本申请实施例考虑物体的镜面反射会受到材质不同而产生会影响，因此，引入粗糙度来使得渲染后的渲染图像更加真实。

反射系数可以为双向反射分布函数（bidirectional reflectance distributionfunction，BRDF），用于描述表面入射光和反射光的关系，对于一个方向的入射光，表面会将光反射到表面上半球的各个方向，不同方向反射的比例是不同的，用BRDF来表示指定方向的反射光和入射光的比例关系。具体的，BRDF表示表面反射到某一方向的反射光的微分辐射率，与表面上来自入射光方向的微分辐照度之间的比值。

然后，电子设备将目标拍摄视角、目标粗糙度、反射系数和表面法向输入光照估计网络，光照估计网络根据目标拍摄视角、目标粗糙度、反射系数和表面法向，分别输出高光辐射图和第一光照参数。

其中，高光辐射图和第一光照参数也可以反映出偏振图像中物体的本征属性，其表示偏振图像中物体本身的属性特征。

高光辐射图用于表征镜面反射特性，其可以是镜面反射与表面法向的合成分量。高光辐射图与拍摄视角相关，不同的拍摄视角的高光辐射图不同，因此，本申请实施例可以将目标拍摄视角输入光照估计网络，以输出高光辐射图。

第一光照参数表示采集偏振图像时的光照条件（或者成为周围环境光），第一光照参数可包括光照颜色、光照强度以及光照方向等参数。第一光照参数的表达形式可以为360°不同场景下的全景环境图、球谐参数或球高斯参数等。

在本申请实施例中，目标拍摄视角为第一拍摄视角或者与第一拍摄视角不同的第二拍摄视角；目标粗糙度为第一粗糙度或者与第一粗糙度不同的第二粗糙度，第一粗糙度为偏振图像中物体的粗糙度。

针对非新视角合成的场景，目标拍摄视角为第一拍摄视角，即输入至光照估计网络的目标拍摄视角，就是偏振图像采集时的第一拍摄视角，使得最终渲染处理得到的渲染图像中物体的拍摄视角与偏振图像中物体的拍摄视角相同。针对新视角合成的场景，目标拍摄视角为第二拍摄视角，即输入至光照估计网络的目标拍摄视角为第二拍摄视角，且第二拍摄视角与偏振图像采集时的第一拍摄视角不同，使得最终渲染处理得到的渲染图像中物体的拍摄视角与偏振图像中物体的拍摄视角不同，从而实现基于多个不同的第一拍摄视角下的偏振图像，渲染生成第二拍摄视角下的渲染图像。

在新视角合成的场景中，第二拍摄视角表示最终渲染生成的渲染图像中物体的拍摄视角。本申请实施例中的第二拍摄视角可以是与第一拍摄视角不同的任意拍摄视角。

针对非材质编辑的场景，目标粗糙度为第一粗糙度，即输入至光照估计网络的目标粗糙度，就是偏振图像对应的第一粗糙度，使得最终渲染处理得到的渲染图像中物体的材质质感与偏振图像中物体的材质质感相同。针对材质编辑的场景，目标粗糙度为第二粗糙度，且第二粗糙度与第一粗糙度不同，从而实现渲染处理得到的渲染图像中物体的材质质感，与偏振图像中物体的材质质感不同。

在材质编辑的场景中，第二粗糙度表示最终渲染生成的渲染图像中物体的材质信息。本申请实施例中的第二粗糙度可以是与第一粗糙度不同的任意粗糙度。例如，可通过材质编辑，将偏振图像中物体的材质从玻璃替换为金属，即偏振图像中物体的材质原本为玻璃，而渲染处理得到的渲染图像的材质被替换为金属。

步骤303，电子设备基于表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。

在本申请实施例中，电子设备在通过神经网络得到偏振图像对应的表面法向、第一漫反射率、高光辐射图和第一光照参数之后，电子设备可以将表面法向、目标漫反射率、高光辐射图和目标光照参数输入至物理着色模型中进行渲染，从而得到渲染图像。

具体的，电子设备采用可微偏振渲染模块对表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。

可微偏振渲染模块是采用可微渲染方式对表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理。可微渲染方式指的是一种光栅化可微分的渲染方式，由于渲染过程可微分，则可以根据渲染得到的渲染图像与真实图像之间的差异构建损失函数，更新可微偏振渲染模块的参数，提高可微偏振渲染模块输出的渲染图像的真实性。

其中，可微偏振渲染模块可以为Cook-Torrance模型。Cook-Torrance模型是将物体粗糙表面看作由很多微小平面（微平面）组成，每一个微平面都被看作一个理想的镜面反射体，物体表面的粗糙度由微平面斜率的变化来衡量。一个粗糙表面由一系列斜率变化很大的微平面组成，而在相对平滑的表面上微平面斜率变化较小。

光线照射到物体表面会发生漫反射、镜面反射、折射、透射等现象，因此，本申请实施例中的Cook-Torrance模型可以只考虑漫反射和镜面反射的影响。电子设备在采用Cook-Torrance模型对表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染时，其渲染方程如下：

其中，表示出射光，p表示入射光到物体表面的位置，w_o表示出射光的方向；k_d表示目标漫反射率，c表示表面颜色；k_s表示高光辐射图，D表示法线分布函数，其描述各个微表面法线的分布是更加集中还是更加分散，F表示菲涅尔项，其与观察的方向和法线方向有关，例如当从接近90度的掠射角度观察时，看到的反射现象就明显，G表示几何项，其考虑微表面之间相互作用的结果，当光线斜着照（即i比较小）或者人眼斜着观察（o比较小）时，分别容易产生微表面之间的阴影、遮挡现象，从而削弱亮度；n表示表面法向，w_i表示入射光方向，/>表示入射光照，即目标光照参数。

在本申请实施例中，目标漫反射率为第一漫反射率或者与第一漫反射率不同的第二漫反射率；目标光照参数为第一光照参数或者与第一光照参数不同的第二光照参数。

针对非颜色编辑的场景，目标漫反射率为第一漫反射率，即输入至可微偏振渲染模块的目标漫反射率，就是偏振图像对应的第一漫反射率，使得最终渲染处理得到的渲染图像中物体的颜色与偏振图像中物体的颜色相同。针对颜色编辑的场景，目标漫反射率为第二漫反射率，且第二漫反射率与第一漫反射率不同，从而实现渲染处理得到的渲染图像中物体的颜色，与偏振图像中物体的颜色相不同。

在颜色编辑的场景中，第二漫反射率表示最终渲染生成的渲染图像中物体的本征颜色属性。本申请实施例中的第二漫反射率可以是与第一漫反射率不同的任意漫反射率。

针对非重打光的场景，目标光照参数为第一光照参数，即输入至可微偏振渲染模块的目标光照参数，就是偏振图像采集时的第一光照参数，使得最终渲染处理得到的渲染图像中物体的光照条件，与偏振图像中物体的光照条件相同。针对重打光的场景，目标光照参数为第二光照参数，第二光照参数与第一光照参数不同，使得最终渲染处理得到的渲染图像中物体的光照条件，与偏振图像中物体的光照条件不同，从而实现基于多个第一光照参数下的偏振图像，渲染生成第二光照参数下的渲染图像。

在重打光的场景中，第二光照参数表示最终渲染生成的渲染图像中物体的光照条件。本申请实施例中的第二光照参数可以是与第一光照参数不同的任意光照参数。

因此，本申请实施例可使用物理的渲染方式重构物体2D图像。在渲染过程中，可通过设置第二拍摄视角来实现新视角合成，和/或通过设置第二光照参数来实现重打光效果，和/或通过设置第二粗糙度来实现材质替换，和/或通过设置第二漫反射率来实现颜色替换。由于本申请实施例采集的是多个不同的第一拍摄视角下的偏振图像，且由于偏振图像中漫反射分量和镜面反射分量的偏振角是正交的，因此，本申请实施例可以方便地分解出混合在偏振图像中的第一漫反射率和高光辐射图（表示镜面反射特性），且也可以分解出混合在偏振图像中的表面法向、第一粗糙度、反射系数和第一光照参数等本征属性，这些本征属性共同解释了图像的属性信息，并基于这些本征属性可实现新视角合成、重打光、材质编辑以及颜色编辑等功能。并且，可微偏振渲染模块可以联合后向优化，进一步提升各个本征属性的准确性及最终渲染图效果，这里采用基于Cook-Torrance的物理着色模型，符合物理规律，使得渲染更加真实。

由于本申请实施例可分解出混合在偏振图像中的表面法向、第一漫反射率、高光辐射图和第一光照参数，因此，在模型训练过程中，可以对第一漫反射率、表面法向和第一光照参数进行直接监督，使得训练得到的网络模型更加准确，进一步使得从模型中输出的第一漫反射率和高光辐射图更加准确，从而提高渲染得到的渲染图像的真实性和光影感。

下面结合本征属性估计网络、光照估计网络和可微偏振渲染模块的具体结构，来说明本申请实施例涉及的新视角合成、重打光、颜色编辑以及材质编辑等场景的具体实现方式。

在一些实施例中，本征属性估计网络包括表面法向预测网络、漫反射估计网络、粗糙度估计网络和反射系数估计网络。具体的，电子设备采用表面法向预测网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向；电子采用漫反射估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的第一漫反射率；电子设备采用粗糙度估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的第一粗糙度；电子设备采用反射系数估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的反射系数。其中，目标特征包括体密度或几何特征向量。

在一种实现方式中，表面法向预测网络可以包括隐式表面表达网络，且目标特征包括几何特征向量。

针对新视角合成的场景，如图4所示，可以将本申请实施例的图像处理过程分解为输入部分、场景属性分解部分、渲染部分和输出部分。

在输入部分，电子设备将多张偏振图像对应的三维位置坐标输入至隐式表面表达网络、漫反射估计网络、粗糙度估计网络和反射系数估计网络。

场景属性分解部分可以包括以下的第一步至第六步：

第一步，电子设备采用隐式表面表达网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的符号距离场（signed distance field，SDF）和几何特征向量。也就是说，将多张偏振图像对应的三维位置坐标输入隐式表面表达网络，隐式表面表达网络对多张偏振图像对应的三维位置坐标进行处理，可输出得到偏振图像对应的符号距离场和几何特征向量。

隐式表面表达网络（SDF-Net）的主体结构为多层感知器（multi-layerperceptron，MLP）网络。如图5所示，多层感知器包括输入层、至少一个隐藏层和输出层，每个层包括若干节点，称为神经元，上一层任意一个神经元与下一层的所有神经元都有连接。输入层可以包括至少一个输入，输出层可以包括至少一个输出。输入层的输入数量、隐藏层的层数和输出层的输出数量可根据需要而定。

需要说明的是，本申请实施例采用多层感知器从偏振图像中获取符号距离场和几何特征向量，由于多层感知器能够从后向前“反向”地计算各层中神经元的计算梯度值，使得前面层的神经元能够充分利用后面层的神经元计算出来的结果，因此选用多层感知器获取符号距离场和几何特征向量，能够有效地避免重复地计算梯度值，故多层感知器的计算速度以及训练速度更快，选用多层感知器来获取符号距离场和几何特征向量的效率更高。

示例性的，如图6所示，隐式表面表达网络包括八个全连接修正线性单元（rectified linear unit，ReLU）等，每个ReLU层包括256个通道，并且，在第四个ReLU层有单一跳跃连接。

具体的，多张偏振图像对应的三维位置坐标输入隐式表面表达网络的第一个ReLU层，第一个ReLU层对多张偏振图像对应的三维位置进行处理后，生成第一输出结果；第一输出结果输入第二个ReLU层，第二个ReLU层对第一输出结果进行处理后，生成第二输出结果；第二输出结果输入第三个ReLU层，第三个ReLU层对第二输出结果进行处理后，生成第三输出结果。接着，多张偏振图像对应的三维位置坐标和第三输出结果一起输入至第四个ReLU层，第四个ReLU层对多张偏振图像对应的三维位置坐标和第三输出结果进行处理后，生成第四输出结果；第四输出结果输入第五个ReLU层，第五个ReLU层对第四输出结果进行处理后，生成第五输出结果；第五输出结果输入第六个ReLU层，第六个ReLU层对第五输出结果进行处理后，生成第六输出结果；第六输出结果输入至第七个ReLU层，第七个ReLU层对第六输出结果进行处理后，生成第七输出结果；第七输出结果输入至第八个ReLU层，第八个ReLU层对第七输出结果进行处理后，生成第八输出结果，第八输出结果包括偏振图像对应的符号距离场和几何特征向量。

需要说明的是，采用ReLU层不仅增加了多层感知器各层之间的非线性关系，同时也使一部分神经元的输出为0，使多层感知器实现稀疏以便于其能够更好地挖掘符号距离场和几何特征向量。并且，隐式表面表达网络在第四个ReLU层有单一跳跃连接，使得多张偏振图像对应的三维位置再次输入至第四个ReLU层，以提高最终得到的符号距离场和几何特征向量的准确性。

其中，符号距离场表征为物体表面的符号距离，其表示偏振图像中的每个采样点是否位于物体表面，以及与物体表面之间的距离。当采样点的符号距离场的符号为正时，表示该采样点位于物体外部；当采样点的符号距离场的符号为负时，表示该采样点位于物体内部；当采样点的符号距离场为0时，表示该采样点位于物体表面。

几何特征向量表征为根据三维位置坐标提取的抽象几何特征，用于表达高维特征的几何关系。具体的，几何特征向量表征偏振图像中的每个采样点（或像素点）之间的几何位置的关系信息。

第二步，电子设备根据符号距离场，生成偏振图像对应的表面法向。

具体的，电子设备对符号距离场进行求导，得到偏振图像对应的表面法向。每个采样点的符号距离场对采样点的坐标求导，可得到表面法向。

第三步，电子设备采用漫反射估计网络对多张偏振图像对应的三维位置坐标和几何特征向量进行处理，得到偏振图像对应的第一漫反射率。

隐式表面表达网络在输出几何特征向量之后，该几何特征向量可输入至漫反射估计网络，且多张偏振图像对应的三维位置坐标也输入至漫反射估计网络，则漫反射估计网络对多张偏振图像对应的三维位置坐标和几何特征向量进行处理，可输出得到偏振图像对应的第一漫反射率。第一漫反射率与拍摄视角无关，而与空间位置相关。

漫反射估计网络（Diffuse-Net）的主体结构为基于坐标的MLP网络。示例性的，如图7所示，漫反射估计网络包括八个ReLU层，每个ReLU层包括256个通道，并且，在第四个ReLU层有单一跳跃连接。

具体的，多张偏振图像对应的三维位置坐标和几何特征向量作为漫反射估计网络的第一个ReLU层的输入，漫反射估计网络的第一个ReLU层的输出结果作为漫反射估计网络的第二个ReLU层的输入，漫反射估计网络的第二个ReLU层的输出结果作为漫反射估计网络的第三个ReLU层的输入，以此类推，漫反射估计网络的第七个ReLU层的输出结果作为漫反射估计网络的第八个ReLU层的输入，漫反射估计网络的第八个ReLU层的输出结果为第一漫反射率。并且，在上述过程中，多张偏振图像对应的三维位置坐标和几何特征向量还会再次作为漫反射估计网络的第四个ReLU层的输入。

第四步，电子设备采用粗糙度估计网络对多张偏振图像对应的三维位置坐标和几何特征向量进行处理，得到偏振图像对应的第一粗糙度。

隐式表面表达网络在输出几何特征向量之后，该几何特征向量可输入至粗糙度估计网络，且多张偏振图像对应的三维位置坐标也输入至粗糙度估计网络，则粗糙度估计网络对多张偏振图像对应的三维位置坐标和几何特征向量进行处理，可输出得到偏振图像对应的第一粗糙度。

粗糙度估计网络（Rough-Net）的主体结构也为基于坐标的MLP网络。粗糙度估计网络与漫反射估计网络的结构类似，其也包括八个ReLU层，每个ReLU层包括256个通道，并且，在第四个ReLU层有单一跳跃连接。

具体的，多张偏振图像对应的三维位置坐标和几何特征向量作为粗糙度估计网络的第一个ReLU层的输入，粗糙度估计网络的第一个ReLU层的输出结果作为粗糙度估计网络的第二个ReLU层的输入，粗糙度估计网络的第二个ReLU层的输出结果作为粗糙度估计网络的第三个ReLU层的输入，以此类推，粗糙度估计网络的第七个ReLU层的输出结果作为粗糙度估计网络的第八个ReLU层的输入，粗糙度估计网络的第八个ReLU层的输出结果为第一粗糙度。并且，在上述过程中，多张偏振图像对应的三维位置坐标和几何特征向量还会再次作为粗糙度估计网络的第四个ReLU层的输入。

第五步，电子设备采用反射系数估计网络对多张偏振图像对应的三维位置坐标和几何特征向量进行处理，得到偏振图像对应的反射系数。

隐式表面表达网络在输出几何特征向量之后，该几何特征向量还可输入至反射系数估计网络，且多张偏振图像对应的三维位置坐标也输入至反射系数估计网络，则反射系数估计网络对多张偏振图像对应的三维位置坐标和几何特征向量进行处理，可输出得到偏振图像对应的反射系数。

反射系数估计网络（BRDF-Net）的主体结构也为基于坐标的MLP网络。反射系数估计网络与漫反射估计网络的结构类似，其也包括八个ReLU层，每个ReLU层包括256个通道，并且，在第四个ReLU层有单一跳跃连接。

具体的，多张偏振图像对应的三维位置坐标和几何特征向量作为反射系数估计网络的第一个ReLU层的输入，反射系数估计网络的第一个ReLU层的输出结果作为反射系数估计网络的第二个ReLU层的输入，反射系数估计网络的第二个ReLU层的输出结果作为反射系数估计网络的第三个ReLU层的输入，以此类推，反射系数估计网络的第七个ReLU层的输出结果作为反射系数估计网络的第八个ReLU层的输入，反射系数估计网络的第八个ReLU层的输出结果为反射系数。并且，在上述过程中，多张偏振图像对应的三维位置坐标和几何特征向量还会再次作为反射系数估计网络的第四个ReLU层的输入。

第六步，电子设备采用光照估计网络对第二拍摄视角、第一粗糙度、反射系数和表面法向进行处理，得到高光辐射图和第一光照参数。

电子设备可接收用户输入的第二拍摄视角，第二拍摄视角与偏振图像采集时的第一拍摄视角不同。通过将第二拍摄视角以及上述过程得到的表面法向、第一粗糙度和反射系数一起输入至光照估计网络，则光照估计网络对第二拍摄视角、表面法向、第一粗糙度和反射系数进行处理，可输出得到偏振图像对应的高光辐射图和第一光照参数。

光照估计网络（illum-Net）的作用是产生高光辐射图和第一光照参数，光照估计网络的主体结构为集成方向编码（integrated directional encoding-based，IDE-based）网络结构，其是基于多输入的定向MPL结构。示例性的，如图8所示，光照估计网络包括八个ReLU层，每个ReLU层包括256个通道，并且，在第四个ReLU层有单一跳跃连接。

具体的，第二拍摄视角、第一粗糙度、反射系数和表面法向作为光照估计网络的第一个ReLU层的输入，光照估计网络的第一个ReLU层的输出结果作为光照估计网络的第二个ReLU层的输入，光照估计网络的第二个ReLU层的输出结果作为光照估计网络的第三个ReLU层的输入，以此类推，光照估计网络的第七个ReLU层的输出结果作为光照估计网络的第八个ReLU层的输入，光照估计网络的第八个ReLU层的输出结果包括高光辐射图和第一光照参数。并且，在上述过程中，第二拍摄视角、第一粗糙度、反射系数和表面法向还会再次作为光照估计网络的第四个ReLU层的输入。

如图4所示，在渲染部分，电子设备将场景属性分解部分生成的表面法向、第一漫反射率、高光辐射图和第一光照参数输入至可微偏振渲染模块，电子设备采用可微偏振渲染模块对表面法向、第一漫反射率、高光辐射图和第一光照参数进行渲染处理，得到渲染图像。

在一些实施例中，本申请实施例提供的图像处理方法，在按照上述过程得到渲染图像之后，即在上述步骤303之后，还可以进一步包括：电子设备采用增强网络对渲染图像进行增强处理，得到目标图像。

也就是说，在渲染部分，电子设备在采用可微偏振渲染模块对表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像之后，电子设备还可以将渲染图像输入至增强网络，通过增强网络对渲染图像进行增强处理，以得到目标图像，即图4中输出部分输出的是目标图像。

虽然渲染过程使用了物理着色模型，其符合物理规律，但是在渲染图像的重建过程中难免会出现细节失真、阴影及高光效果不明显问题，因此在最终输出前加入一个增强网络，该网络是图像到图像的结构，主要对细节、真实感以及光影感进行效果增强。

其中，增强网络可以采用U-Net网络结构，其具备细节修复和图像增加的能力。如图9所示，增强网络包括编码器和解码器，电子设备将渲染图像输入增强网络中，经过编码器的下采样表面，得到比渲染图像更小的特征，再通过解码器对该特征进行上采样解码，使得特征恢复到渲染图像的尺寸，从而得到目标图像。也就是说，图9中的输入为渲染图像，图9中的输出为目标图像。

具体的，U-Net网络结构的特点是左右对称，即U-net网络结构的高层（即U型的左上和右上部分）能够获取图形的细节信息，在U-net网络结构的底层（即U型的下部分），由于感受野很大，便于获取图像的低频信息。再通过保留各个层次的信息，使得整个U-net网络可以很好记住图像的特征。

综上，针对图4所示的新视角合成的场景，其会将第二拍摄视角输入至光照估计网络，第二拍摄视角与偏振图像采集时的第一拍摄视角不同，使得渲染处理得到的渲染图像中物体的拍摄视角与偏振图像中物体的拍摄视角不同，从而基于多个不同的第一拍摄视角下的偏振图像，渲染生成第二拍摄视角下的渲染图像，以实现新视角图像的合成；并且，通过增强网络对渲染图像进行增强，最终可以得到第二拍摄视角下的目标图像。

针对材质编辑的场景，如图10所示，也可以将本申请实施例的图像处理过程分解为输入部分、场景属性分解部分、渲染部分和输出部分。

图10所示的输入部分与图4所示的输入部分的处理过程类似，且图10所示的场景属性分解部分中的表面法向、第一漫反射率、第一粗糙度和反射系数的分解过程，与图4所示的场景属性分解部分中的表面法向、第一漫反射率、第一粗糙度和反射系数的分解过程类似，为避免重复，在此不再赘述。

如图10所示，电子设备在分解得到偏振图像中的表面法向、第一漫反射率、第一粗糙度和反射系数之后，电子设备是采用光照估计网络对第一拍摄视角、第二粗糙度、反射系数和表面法向进行处理，得到高光辐射图和第一光照参数。

电子设备可接收用户输入的第一拍摄视角和第二粗糙度，第二粗糙度与从偏振图像中分解得到的第一粗糙度不同。并且，由于粗糙度可以反映物体的材质信息，即物体的材质不同，其粗糙度也不同。因此，本申请实施例在分解得到偏振图像中物体的第一粗糙度之后，输入至光照估计网络的粗糙度不是第一粗糙度，而是与第一粗糙度不同的第二粗糙度，通过将第一拍摄视角、第二粗糙度，以及上述过程中得到的反射系数和表面法向一起输入至光照估计网络，则光照估计网络对第一拍摄视角、第二粗糙度、反射系数和表面法向进行处理，可输出得到高光辐射图和第一光照参数。

光照估计网络的具体结构和处理过程可参照图4中的描述，在此不再赘述。此外，图10所示的渲染部分与图4所示的渲染部分的处理过程类似，为避免重复，在此不再赘述。

综上，针对图10所示的材质编辑的场景，其会将第二粗糙度输入至光照估计网络，第二粗糙度与从偏振图像中分解得到的第一粗糙度不同，使得渲染处理得到的渲染图像中物体的粗糙度与偏振图像中物体的粗糙度不同，从而基于多个偏振图像，渲染生成与偏振图像中物体的材质质感不同的渲染图像，以实现图像中物体的材质质感的替换；并且，通过增强网络对渲染图像进行增强，最终可以得到目标图像，且目标图像中物体的材质质感与偏振图像中物体的材质质感也不同。

针对重打光场景，如图11所示，也可以将本申请实施例的图像处理过程分解为输入部分、场景属性分解部分、渲染部分和输出部分。

图11所示的输入部分与图4所示的输入部分的处理过程类似，且图11所示的场景属性分解部分中的表面法向、第一漫反射率、第一粗糙度和反射系数的分解过程，与图4所示的场景属性分解部分中的表面法向、第一漫反射率、第一粗糙度和反射系数的分解过程类似，为避免重复，在此不再赘述。

如图11所示，电子设备在分解得到偏振图像中的表面法向、第一漫反射率、第一粗糙度和反射系数之后，电子设备是采用光照估计网络对第一拍摄视角、第一粗糙度、反射系数和表面法向进行处理，得到高光辐射图和第一光照参数。

电子设备可接收用户输入的第一拍摄视角，第一拍摄视角为偏振图像采集时的拍摄视角，其可以在偏振图像时就进行记录。通过将第一拍摄视角以及上述过程得到的表面法向、第一粗糙度和反射系数一起输入至光照估计网络，则光照估计网络对第一拍摄视角、表面法向、第一粗糙度和反射系数进行处理，可输出得到偏振图像对应的高光辐射图和第一光照参数。

光照估计网络的具体结构和处理过程可参照图4中的描述，在此不再赘述。

如图11所示，电子设备在得到偏振图像对应的高光辐射图和第一光照参数之后，电子设备是采用可微偏振渲染模块对表面法向、第一漫反射率、高光辐射图和第二光照参数进行渲染处理，得到渲染图像。

电子设备可接收用户输入的第二光照参数，第二光照参数与偏振图像采集时的第一光照参数不同。因此，本申请实施例在得到偏振图像对应的高光辐射图和第一光照参数之后，输入至可微偏振渲染模块中的光照参数不是第一光照参数，而是与第一光照参数不同的第二光照参数，通过将表面法向、第一漫反射率、高光辐射图和第二光照参数一起输入至可微偏振渲染模块，则可微偏振渲染模块对表面法向、第一漫反射率、高光辐射图和第二光照参数进行渲染处理，可输出得到渲染图像。

可微偏振渲染模块的具体处理过程可参照图4中的描述，在此不再赘述。此外，可微偏振渲染模块在输出得到渲染图像之后，也可以采用增强网络对渲染图像进行处理，以在输出部分输出得到目标图像。

综上，针对图11所示的重打光场景，其会将第二光照参数输入至可微偏振渲染模块，第二光照参数与从偏振图像中分解得到的第一光照参数不同，使得渲染处理得到的渲染图像中物体的光照条件，与偏振图像采集时物体的光照条件不同，从而基于多个偏振图像，渲染生成与偏振图像中物体的光照条件不同的渲染图像，以实现新光照条件下图像的合成；并且，通过增强网络对渲染图像进行增强，最终可以得到目标图像，且目标图像中物体的光照条件与偏振图像中物体的光照条件也不同。

针对颜色编辑的场景，如图12所示，也可以将本申请实施例的图像处理过程分解为输入部分、场景属性分解部分、渲染部分和输出部分。

图12所示的输入部分与图11所示的输入部分的处理过程类似，且图12所示的场景属性分解部分与图11所示的场景属性分解部分的分解过程类似，为避免重复，在此不再赘述。

如图12所示，电子设备在得到偏振图像对应的高光辐射图和第一光照参数之后，电子设备是采用可微偏振渲染模块对表面法向、第二漫反射率、高光辐射图和第一光照参数进行渲染处理，得到渲染图像。

电子设备可接收用户输入的第二漫反射率，第二漫反射率与从偏振图像中分解得到的第一漫反射率不同。并且，由于漫反射率可以反映物体的本征颜色属性，即物体的颜色不同，其漫反射率也不同。因此，本申请实施例在得到偏振图像对应的高光辐射图和第一光照参数之后，输入至可微偏振渲染模块中的漫反射率不是第一漫反射率，而是与第一漫反射率不同的第二漫反射率，通过将表面法向、第二漫反射率、高光辐射图和第一光照参数一起输入至可微偏振渲染模块，则可微偏振渲染模块对表面法向、第二漫反射率、高光辐射图和第一光照参数进行渲染处理，可输出得到渲染图像。

可微偏振渲染模块的具体处理过程可参照图4中的描述，在此不再赘述。此外，可微偏振渲染模块在输出得到渲染图像之后，也可以采用增强网络对渲染图像进行处理，以在输出部分输出得到目标图像。

综上，针对图12所示的颜色编辑的场景，其会将第二漫反射率输入至可微偏振渲染模块，第二漫反射率与从偏振图像中分解得到的第一漫反射率不同，使得渲染处理得到的渲染图像中物体的漫反射率与偏振图像中物体的漫反射率不同，从而基于多个偏振图像，渲染生成与偏振图像中物体的漫反射率不同的渲染图像，以实现图像中物体的颜色替换；并且，通过增强网络对渲染图像进行增强，最终可以得到目标图像，且目标图像中物体的颜色与偏振图像中物体的颜色也不同。

需要说明的是，图4示出的是新视角合成场景中的图像处理过程，图10示出的是材质编辑场景中的图像处理过程，图11示出的是重打光场景中的图像处理过程，图12示出的是颜色编辑场景中的图像处理过程。当然，本申请实施例也可以将多个第一偏振图像的三维位置坐标作为输入，并基于上述的处理过程，实现新视角合成、材质编辑、重打光以及颜色编辑中的至少二者的功能。

例如，本申请实施例可同时实现新视角合成和重打光功能。这种场景下，是将第二拍摄视角、第一粗糙度、反射系数和表面法向进行处理输入光照估计网络，得到高光辐射图和第一光照参数，并且将表面法向、第一漫反射率、高光辐射图和第二光照参数一起输入至可微偏振渲染模块，从而实现新光照条件下的新视角图像的合成。

或者，本申请实施例也可以实现新光照条件下的颜色编辑功能，以及新光照条件下的材质编辑功能等。

在本申请实施例中，上述图像处理过程中的隐式表面表达网络、漫反射估计网络、粗糙度估计网络、反射系数估计网络、光照估计网络、可微偏振渲染模块和增强网络是集成到一个网络模型中的。

在训练过程中，可以采用多个样本偏振图像的三维位置坐标作为输入，以网络模型输出的样本输出图像作为输出，进行网络端到端训练。并且，在训练过程中，可基于样本输出图像和真实样本图像计算损失函数，并且也可以基于网络模型输出的样本漫反射率、样本表面法向和样本光照参数直接监督损失函数，所有损失加权求和并用于反向传播，联合优化各个场景属性，以训练得到本申请实施例中的网络模型。其中，损失函数可以为L1损失，即平均绝对误差损失函数。

需要说明的是，由于本申请实施例可以分解出混合在偏振图像中的表面法向、第一漫反射率、第一粗糙度、反射系数、高光辐射图和第一光照参数等本征属性，且在模型训练过程中，其中的表面法向、第一漫反射率和第一光照参数对应的样本参数均可以进行直接监督，相对于弱监督，其可以提高网络模型中的各个网络参数的准确性，从而进一步提高最终生成的目标图像的真实性。

在另一种实现方式中，表面法向预测网络可以包括神经辐射场网络（neuralradiance field，NeRF）和法向估计网络，且目标特征包括体密度。

下面以新视角合成场景为例，来说明本申请实施例的另一种从偏振图像中分解表面法向、第一漫反射率、第一粗糙度和反射系数的实现过程。

如图13所示，针对新视角合成的场景，也可以将本申请实施例的图像处理过程分解为输入部分、场景属性分解部分、渲染部分和输出部分。

在输入部分，电子设备将多张偏振图像对应的三维位置坐标输入至神经辐射场网络、法向估计网络、漫反射估计网络、粗糙度估计网络和反射系数估计网络。

在场景属性分解部分，电子设备采用神经辐射场网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的体密度；电子设备采用法向估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，得到偏振图像对应的表面法向；电子设备采用漫反射估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，得到偏振图像对应的第一漫反射率；电子设备采用粗糙度估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，得到偏振图像对应的第一粗糙度；电子设备采用反射系数估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，得到偏振图像对应的反射系数。

具体的，将多张偏振图像对应的三维位置坐标输入神经辐射场网络，神经辐射场网络对多张偏振图像对应的三维位置坐标进行处理，可输出得到偏振图像对应的体密度。其中，神经辐射场网络可以包括多层MLP网络。体密度可以用来表征偏振图像中物体在三维空间中各个采样点的属性特征，其指的是偏振图像的像素密度值，其可以理解为光线沿偏振摄像头的姿态方向，也就是在经过当前像素时被物体像素终止的概率，即此像素的不透明度。

需要说明的是，本申请实施例采用多层感知器从偏振图像中获取体密度，由于多层感知器能够从后向前“反向”地计算各层中神经元的计算梯度值，使得前面层的神经元能够充分利用后面层的神经元计算出来的结果，因此选用多层感知器获取体密度，能够有效地避免重复的地计算梯度值，故多层感知器的计算速度以及训练速度更快，选用多层感知器来获取体密度的效率更高。

神经辐射场网络在输出体密度之后，该体密度可输入至法向估计网络，且多张偏振图像对应的三维位置坐标也输入至法向估计网络，则法向估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，可输出得到偏振图像对应的表面法向。

其中，法向估计网络的主体结构为基于坐标的MLP网络。法向估计网络的主体结构与图7所示的漫反射估计网络的结构类似，其也包括八个ReLU层，每个ReLU层包括256个通道，并且，在第四个ReLU层有单一跳跃连接。

具体的，多张偏振图像对应的三维位置坐标和体密度作为法向估计网络的第一个ReLU层的输入，法向估计网络的第一个ReLU层的输出结果作为法向估计网络的第二个ReLU层的输入，法向估计网络的第二个ReLU层的输出结果作为法向估计网络的第三个ReLU层的输入，以此类推，法向估计网络的第七个ReLU层的输出结果作为法向估计网络的第八个ReLU层的输入，法向估计网络的第八个ReLU层的输出结果为表面法向。并且，在上述过程中，多张偏振图像对应的三维位置坐标和体密度还会再次作为法向估计网络的第四个ReLU层的输入。

神经辐射场网络在输出体密度之后，该体密度可输入至漫反射估计网络，且多张偏振图像对应的三维位置坐标也输入至漫反射估计网络，则漫反射估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，可输出得到偏振图像对应的第一漫反射率。

图13中的漫反射估计网络的具体结构如图7所示，且图13中的漫反射估计网络在处理得到第一漫反射率时，其是将图7对应的执行过程中的几何特征向量全部替换成体密度。

神经辐射场网络在输出体密度之后，该体密度可输入至粗糙度估计网络，且多张偏振图像对应的三维位置坐标也输入至粗糙度估计网络，则粗糙度估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，可输出得到偏振图像对应的第一粗糙度。

图13中的粗糙度估计网络与图4中的粗糙度估计网络的结构类似，且图13中的粗糙度估计网络在处理得到第一粗糙度时，其是将图4对应的执行过程中的几何特征向量全部替换成体密度。

神经辐射场网络在输出体密度之后，该体密度还可输入至反射系数估计网络，且多张偏振图像对应的三维位置坐标也输入至反射系数估计网络，则反射系数估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，可输出得到偏振图像对应的反射系数。

图13中的反射系数估计网络与图4中的反射系数估计网络的结构类似，且图13中的反射系数估计网络在处理得到反射系数时，其是将图4对应的执行过程中的几何特征向量全部替换成体密度。

在按照图13对应的方式从偏振图像中分解出表面法向、第一漫反射率、第一粗糙度和反射系数之后，后续的处理过程可参照图4对应的描述，从而实现新视角合成，其处理过程在此不再赘述。

可以理解的是，也可以采用图13对应的方式从偏振图像中分解出表面法向、第一漫反射率、第一粗糙度和反射系数之后，基于表面法向、第一漫反射率、第一粗糙度和反射系数，实现材质编辑、重打光以及颜色编辑等功能，具体实现过可参照图10至图12对应的描述，在此不再赘述。

需要说明的是，图13示出的神经辐射场网络、法向估计网络、漫反射估计网络、粗糙度估计网络、反射系数估计网络、光照估计网络、可微偏振渲染模块和增强网络是集成到一个网络模型中的。其在训练过程中，也是进行网络端到端训练的，其训练过程可参照上述的描述，在此不再赘述。

上面已对本申请实施例的图像处理方法进行了说明，下面对本申请实施例提供的执行上述图像处理方法的装置进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本申请实施例提供的相关装置可以执行上述图像处理方法中的步骤。

示例性的，图14为本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置可以是本申请实施例中的电子设备或者电子设备内的的芯片或芯片***。

如图14所示，该图像处理装置1400包括处理单元1401。其中，处理单元1401用于支持图像处理装置1400执行上述的处理步骤。

具体的，处理单元1401用于获取多张偏振图像，多张偏振图像是在多个不同的第一拍摄视角下采集到的；采用神经网络对多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到偏振图像对应的本征属性，本征属性包括表面法向、第一漫反射率、高光辐射图和第一光照参数，且高光辐射图和第一光照参数是通过对目标拍摄视角、目标粗糙度、偏振图像对应的反射系数和表面法向处理得到的；基于表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。其中，目标拍摄视角为第一拍摄视角或者与第一拍摄视角不同的第二拍摄视角；目标粗糙度为第一粗糙度或者与第一粗糙度不同的第二粗糙度，第一粗糙度为偏振图像中物体的粗糙度；目标漫反射率为第一漫反射率或者与第一漫反射率不同的第二漫反射率；目标光照参数为第一光照参数或者与第一光照参数不同的第二光照参数。

在一种可能的实现方式中，处理单元1401具体用于：采用本征属性估计网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向、第一漫反射率、第一粗糙度和反射系数；采用光照估计网络对目标拍摄视角、目标粗糙度、反射系数和表面法向进行处理，得到高光辐射图和第一光照参数。

在一种可能的实现方式中，处理单元1401具体用于：采用表面法向预测网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的表面法向；采用漫反射估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的第一漫反射率，目标特征包括体密度或几何特征向量；采用粗糙度估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的第一粗糙度；采用反射系数估计网络对多张偏振图像对应的三维位置坐标和目标特征进行处理，得到偏振图像对应的反射系数。

在一种可能的实现方式中，处理单元1401具体用于：采用隐式表面表达网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的符号距离场和几何特征向量；根据符号距离场，生成偏振图像对应的表面法向。

在一种可能的实现方式中，处理单元1401具体用于：对符号距离场进行求导，得到偏振图像对应的表面法向。

在一种可能的实现方式中，处理单元1401具体用于：采用神经辐射场网络对多张偏振图像对应的三维位置坐标进行处理，得到偏振图像对应的体密度；采用法向估计网络对多张偏振图像对应的三维位置坐标和体密度进行处理，得到偏振图像对应的表面法向。

在一种可能的实现方式中，处理单元1401具体用于：采用可微偏振渲染模块对表面法向、目标漫反射率、高光辐射图和目标光照参数进行渲染处理，得到渲染图像。

在一种可能的实现方式中，处理单元1401还用于：采用增强网络对渲染图像进行增强处理，得到目标图像。

在一种可能的实现方式中，该图像处理装置1400还包括存储单元1402。存储单元1402和处理单元1401通过线路相连。存储单元1402可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。存储单元1402可以独立存在，通过通信总线与处理单元1401相连。存储单元1402也可以和处理单元1401集成在一起。

存储单元1402可以存储电子设备中的方法的计算机执行指令，以使处理单元1401执行上述实施例中的方法。存储单元1402可以是寄存器、缓存或者随机存取存储器（randomaccess memory，RAM）等，存储单元1402可以和处理单元1401集成在一起。存储单元1402可以是只读存储器（read-only memory，ROM）或者可存储静态信息和指令的其他类型的静态存储设备，存储单元1402可以与处理单元1401相独立。

本申请实施例提供一种电子设备，该电子设备包括处理器和存储器，存储器用于存储计算机程序，处理器用于调用计算机程序，使得电子设备执行上述的图像处理方法。

本申请实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

一种可能的实现方式中，计算机可读介质可以包括RAM，ROM，只读光盘（compactdisc read-only memory，CD-ROM）或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线（Digital Subscriber Line，DSL）或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘（Digital Versatile Disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行上述方法。

本申请实施例是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (5)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

所述电子设备获取多张偏振图像；所述多张偏振图像是在多个不同的第一拍摄视角下采集到的；

所述电子设备采用神经网络对所述多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到所述偏振图像对应的本征属性；所述本征属性包括表面法向、第一漫反射率、高光辐射图和第一光照参数；所述第一漫反射率用于表示所述偏振图像中物体的本征颜色属性；

所述电子设备基于所述表面法向、目标漫反射率、所述高光辐射图和目标光照参数进行渲染处理，得到渲染图像；

所述电子设备采用神经网络对所述多张偏振图像对应的三维位置坐标以及目标拍摄视角进行处理，得到所述偏振图像对应的本征属性，包括：

所述电子设备采用神经辐射场网络对所述多张偏振图像对应的三维位置坐标进行处理，得到所述偏振图像对应的体密度；所述体密度用于表征所述偏振图像中物体在三维空间中各个采样点的属性特征；

所述电子设备采用法向估计网络对所述多张偏振图像对应的三维位置坐标和所述体密度进行处理，得到所述偏振图像对应的所述表面法向；

所述电子设备采用漫反射估计网络对所述多张偏振图像对应的三维位置坐标和所述体密度进行处理，得到所述偏振图像对应的所述第一漫反射率；

所述电子设备采用粗糙度估计网络对所述多张偏振图像对应的三维位置坐标和所述体密度进行处理，得到所述偏振图像对应的第一粗糙度；

所述电子设备采用反射系数估计网络对所述多张偏振图像对应的三维位置坐标和所述体密度进行处理，得到所述偏振图像对应的所述反射系数；

所述电子设备采用光照估计网络对所述目标拍摄视角、目标粗糙度、所述反射系数和所述表面法向进行处理，得到所述高光辐射图和所述第一光照参数；

其中，若所述目标拍摄视角为与所述第一拍摄视角不同的第二拍摄视角，则所述目标粗糙度为所述第一粗糙度，所述目标漫反射率为所述第一漫反射率，所述目标光照参数为所述第一光照参数；

若所述目标粗糙度为与所述第一粗糙度不同的第二粗糙度，则所述目标拍摄视角为所述第一拍摄视角，所述目标漫反射率为所述第一漫反射率，所述目标光照参数为所述第一光照参数；

若所述目标漫反射率为与所述第一漫反射率不同的第二漫反射率，则所述目标粗糙度为所述第一粗糙度，所述目标拍摄视角为所述第一拍摄视角，所述目标光照参数为所述第一光照参数；

若所述目标光照参数为与所述第一光照参数不同的第二光照参数，则所述目标拍摄视角为所述第一拍摄视角，所述目标粗糙度为所述第一粗糙度，所述目标漫反射率为所述第一漫反射率。

2.根据权利要求1所述的方法，其特征在于，所述电子设备基于所述表面法向、目标漫反射率、所述高光辐射图和目标光照参数进行渲染处理，得到渲染图像，包括：

所述电子设备采用可微偏振渲染模块对所述表面法向、目标漫反射率、所述高光辐射图和目标光照参数进行渲染处理，得到所述渲染图像。

3.根据权利要求1或2所述的方法，其特征在于，在所述电子设备基于所述表面法向、目标漫反射率、所述高光辐射图和目标光照参数进行渲染处理，得到渲染图像之后，还包括：

所述电子设备采用增强网络对所述渲染图像进行增强处理，得到目标图像。

4.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1至3中任一项所述的图像处理方法。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至3中任一项所述的图像处理方法。