CN117689545A - 图像处理方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及计算机技术领域，具体涉及一种图像处理方法、电子设备和计算机可读存储介质。为提升神经辐射场(neural radiance fields，NeRF)模型生成的目标视角下的拍摄图像的高光效果，可将多组偏振图像作为NeRF模型的训练数据，以使NeRF模型可以通过多个训练迭代过程学习到偏振图像的不同偏振参数对应的不同高光效果。进而，在使用训练完成的NeRF模型调整拍摄图像的视角时，可向该NeRF模型输入拍摄图像以及目标偏振参数，以使得最终生成的目标视角下的拍摄图像可呈现出目标偏振参数对应的高光效果。以此，有效提高基于NeRF模型生成的目标视角下的拍摄图像的高光效果，提升目标视角下的拍摄图像的图像质感。

Description

图像处理方法、电子设备和计算机可读存储介质

技术领域

本发明涉及计算机技术领域，具体涉及一种图像处理方法、电子设备和计算机可读存储介质。

背景技术

神经辐射场(neural radiance fields，NeRF)作为计算机视觉方向快速发展的一种深度学习模型，在新视角合成任务(novel view synthesis)中得到了广泛应用。例如，可以向训练好的NeRF模型输入拍摄图像的各个像素点的空间位置坐标、用于表征目标视角的方向参数。进而，NeRF模型预测各个空间位置坐标在目标视角下对应的像素点的像素颜色，进而生成目标视角下的拍摄图像。

可以理解，NeRF模型基于空间位置坐标及方向参数预测该空间位置坐标在目标视角下的拍摄图像中的像素颜色，即，NeRF模型对于各个像素点的像素颜色的预测是相互独立的，并未考虑一个像素点与其相邻像素点之间的空间关系。可以理解，该空间关系可以包括像素点之间的边缘细节、纹理细节、高光细节等。因此，可能因NeRF模型未考虑像素点之间的空间关系而导致生成的目标视角下的拍摄图像质感较差。例如，目标视角下的拍摄图像可能缺乏高光细节等。

具体地，参见图1示出的手机100基于NeRF模型生成目标视角下的拍摄图像的效果示意图，手机100基于用户的拍摄操作生成了拍摄图像100a，手机100根据用户输入的目标视角基于NeRF模型生成了拍摄图像100a在目标视角下的拍摄图像100b。由于NeRF模型未考虑像素点之间的空间关系，导致目标视角下的拍摄图像100b存在缺乏高光细节等缺陷。

发明内容

本申请提供了一种图像处理方法、电子设备和计算机可读存储介质。可以提高NeRF模型生成的目标视角下的拍摄图像的高光细节，提升图像质感。

第一方面，本申请提供了一种图像处理方法，应用于电子设备，该方法包括：获取第一图像；向第一图像处理模型输入第一图像及第一偏振参数，得到第二图像，其中，第二图像包括对应第一偏振参数的第一高光信息。

在此，第一图像可以是下文中的拍摄图像，第一偏振参数可以是下文中的目标偏振参数，第二图像可以是下文中的目标视角下的拍摄图像、实施例1中的具有高光细节的目标视角下的低分辨率拍摄图像、实施例2中的具有高光细节的原始视角下的低分辨率拍摄图像。

第一高光信息可以是下文中目标偏振参数对应的高光效果。基于该方式，可以为目标视角下的拍摄图像增加高光细节，提升图像质感。

在上述第一方面的一种可能实现中，第一图像处理模型包括NeRF模型。

在此，NeRF模型的输入数据包括第一图像以及第一偏振参数，进而，本申请提供的图像处理方法可以通过NeRF模型为第一图像增加该第一偏振参数对应的高光细节，以提升图像质感。

在上述第一方面的一种可能实现中，第一图像的方向参数包括：表征第一图像的拍摄视角的第一方向参数，或者，第二方向参数，其中，第二方向参数表征的拍摄视角与第一图像的拍摄视角不同。

在此，NeRF模型的输入数据还可以包括方向参数。例如，当输入的方向参数为表征第一图像的拍摄视角的第一方向参数时，例如下文实施例2所示的应用场景，基于本申请提供的NeRF模型生成的第二图像可以是与第一图像的拍摄视角相同的具有高光细节的图像。例如，实施例2中的具有高光细节的原始视角下的低分辨率拍摄图像。

同样地，当输入的方向参数表征的拍摄视角与第一图像的拍摄视角不同时，例如下文实施例1所示的应用场景，即，向NeRF模型输入的方向参数为表征目标视角的前述第二方向参数（例如，下文中的目标方向参数），基于本申请提供的NeRF模型生成的第二图像可以是与第一图像的拍摄视角不同的具有高光细节的图像。例如，基于下述图2所述过程生成的具有高光细节的目标视角下的拍摄图像。

此外，第一图像模型还可以是距离符号场表达网络（signed distance functionnetworks,SDF-Net）。具体地，对于SDF-Net模型，同样可以将偏振参数拼接至SDF-Net模型的输入数据中，使得SDF-Net模型同样可基于输入的第一偏振参数为生成的第二图像增加该第一偏振参数对应的高光效果。在此，SDF-Net模型的训练及应用过程与下文接收的NeRF模型的训练及应用过程实质相同，所能实现的效果相同，在此，不赘述SDF-Net模型的训练及应用过程。

在上述第一方面的一种可能实现中，第一图像的图像参数至少包括第一图像的各个像素点的位置参数、第一图像的方向参数，并且，向第一图像处理模型输入第一图像及第一偏振参数，得到第二图像，包括：向第一图像处理模型输入第一图像的图像参数、以及第一偏振参数，得到各个像素点的像素颜色参数；根据各个像素点的像素颜色参数，生成第二图像。

在此，第一图像的各个像素点的位置参数可以是下文中的位置参数(x，y，z)，第一图像的方向参数可以是下文中的目标方向参数(θ，Φ)，向第一图像处理模型输入第一图像的图像参数以及第一偏振参数可以是下文中的六维数据(x，y，z，θ，Φ，p)。第一图像处理模型输出的各个像素点的像素颜色参数可以是下文中基于NeRF模型得到的像素颜色。

在上述第一方面的一种可能实现中，得到第二图像之后，方法还包括：向第二图像处理模型输入第二图像、第一偏振参数、第一参照图像及第二参照图像，得到第三图像，其中，第一参照图像包括与第一图像的拍摄对象和/或拍摄场景相同的高分辨率偏振图像，第一参照图像的图像参数至少包括第一参照图像的各个像素点的位置参数、第一参照图像的方向参数及偏振参数；第二参照图像为第一参照图像的图像参数输入第一图像处理模型，得到的低分辨率偏振图像。

在此，第二图像可以是实施例1中，基于NeRF模型生成的具有高光细节的目标视角下的低分辨率拍摄图像。可以是实施例2中，基于NeRF模型生成的具有高光细节的原始视角下的低分辨率拍摄图像。

第一参照图像可以是下文中拍摄图像对应匹配的高分辨率参照图像。第二参照图像可以是下文中将高分辨率参照图像输入NeRF模型中，得到的基于NeRF模型被退化的低分辨率参照图像。

第三图像可以是实施例1中的具有高光细节的目标视角下的超分辨率拍摄图像。可以是实施例2中的具有高光细节的原始视角下的超分辨率拍摄图像。

具体地，基于高分辨率参照图像可向第二图像处理模型生成的图像引入边缘细节、纹理细节等高频信息、基于低分辨率参照图像可向第二图像处理模型生成的图像引入残差特征以进一步修复因退化过程而丢失或扭曲的高频信息。

基于前述内容可提高NeRF模型生成的具有高光细节的目标视角或原始视角下的低分辨率拍摄图像的清晰度，生成具有高光细节的目标视角或原始视角下的超分辨率拍摄图像。可以理解，第二图像处理模型可以是任何能基于高分辨率参照图像和/或低分辨率参照图像向第二图像引入高频信息的图像处理模型。前述高频信息或称高频细节，包括但不限于边缘信息、纹理信息、高光信息等。

在上述第一方面的一种可能实现中，第二图像处理模型可以包括参考帧的超分辨率(reference-based super resolution，RefSR)模型。

在此，本申请提供的图像处理方法可基于RefSR模型提高ReRF模型生成的图像的分辨率及图像质感。

在上述第一方面的一种可能实现中，第二图像处理模型包括第一模型、第二模型、第三模型，并且，向第二图像处理模型输入第二图像、第一偏振参数、第一参照图像及第二参照图像，得到第三图像，包括：向第一模型输入第一参照图像、第二图像以及第一偏振参数，得到第一特征向量；向第二模型输入第二参照图像以及第二图像，得到第二特征向量；向第三模型输入第一特征向量及第二特征向量，得到第三图像；其中，第三图像为超分辨率图像，第三图像包括第一偏振参数对应的第一高光信息、以及第一高频信息，其中，第一高频信息对应于第一特征向量和第二特征向量。

在此，第一模型可以是下文中的RefSR模型通过高频建模得到的高频模型，第二模型可以是下文中的RefSR模型通过退化建模得到的退化模型，第三模型可以是下文中RefSR模型的融合模块。

具体地，第一特征向量可以是下文中，将高分辨率参照图像及低分辨率拍摄图像结合目标偏振参数通过RefSR模型中的高频模型输出的高频特征。

第二特征向量可以是下文中，将具有高光细节的目标视角下的低分辨率拍摄图像、低分辨率参照图像、高分辨率参照图像、目标偏振参数输入RefSR模型中的退化模型中，输出的残差特征。

第三图像可以是基于RefSR模型中的融合模块将残差特征及高频特征进行融合，得到的具有高光细节的目标视角或原始视角下的超分辨率拍摄图像。在此，第一高频信息可以是前述高频特征及残差特征在第三图像中对应的高频信息，例如，边缘细节、纹理细节等。

可以理解，基于上述方式可将拍摄图像调整为具有高光细节的目标视角或原始视角下的超分辨率拍摄图像。

在上述第一方面的一种可能实现中，向第一模型输入第一参照图像、第二图像以及第一偏振参数，得到第一特征向量，包括：对第二图像的上采样结果和第一参照图像进行空间至深度的重排操作，得到第三特征向量；将第三特征向量输入第一模型中的编码器，得到第四特征向量；基于第一模型将第一偏振参数拼接至第四特征向量中，得到第五特征向量；将第五特征向量输入第一模型中的解码器，得到第一特征向量。

在此，基于对第二图像的上采样，可以初步提升NeRF模型生成的具有高光细节的目标视角或原始视角下的低分辨率拍摄图像的图像质量。

前述空间至深度的重排操作可以是下文中的空间至深度（space to depth，S2D)操作。通过该S2D操作，可实现第二图像的上采样结果和第一参照图像之间的特征融合，其融合结果可为第三特征向量。可以理解，第三特征向量可为融合了第二图像的上采样结果和第一参照图像的特征图。

进而，将第三特征向量输入第一模型中的编码器得到第四特征向量，可以包括，将融合了低分辨率拍摄图像的上采样结果和高分辨率参照图像的特征图输入高频模型的编码器中，通过该编码器输出高频特征向量（作为第四特征向量的一种示例）。

基于第一模型将第一偏振参数拼接至第四特征向量中，得到第五特征向量，可以是基于高频模型将目标偏振参数拼接到编码器输出的高频特征向量中。对应地，第五特征向量可以是包含了目标偏振参数的高频特征向量。在此，可以基于concat函数将目标偏振参数拼接至高频特征向量中。本申请不对具体的拼接方式做限制性说明。

进而，将第五特征向量输入第一模型中的解码器，得到第一特征向量，可以是将包含了目标偏振参数的高频特征向量输入高频模型的解码器中，得到高频模型输出的高频特征。

可以理解，高频模型输出的高频特征可用于建构前述第一高频信息。

在上述第一方面的一种可能实现中，向第二模型输入第二参照图像以及第二图像，得到第二特征向量，包括：向第二模型输入第二参照图像以及第二图像，得到第六特征向量；对第六特征向量进行深度至空间的重排操作，得到第二特征向量。

在此，向第二模型输入第二参照图像以及第二图像，得到第六特征向量，可以包括向退化模型输入低分辨率参照图像以及低分辨率拍摄图像，得到退化模型输出的残差特征向量（作为第六特征向量的一种示例）。

在此，深度至空间的重排操作可以是下文中的深度至空间（depth to space，D2S)操作。进而，对第六特征向量进行D2S操作，可得到特征重排后的残差特征（作为第二特征向量的一种示例），以便于与高频特征进行特征融合。

第二方面，本申请提供了一种模型训练方法，应用于电子设备，方法包括：获取若干个第四图像，其中，第四图像包括对同一拍摄对象基于不同拍摄视角拍摄得到的高分辨率偏振图像，第四图像的图像参数至少包括第四图像的各个像素点的位置参数、第四图像的方向参数以及偏振参数；向第一图像处理模型输入第四图像的图像参数，得到第四图像的各个像素点的训练像素颜色参数；根据第四图像的各个像素点的训练像素颜色参数以及实际颜色参数通过损失函数计算损失值；调节第一图像处理模型的参数使得损失值位于预设区间。

在此，第四图像可以是下文中的高分辨率参照图像，若干个第四图像可以是下文中的多组高分辨率参照图像。第四图像的各个像素点的位置参数可以是下文中的高分辨率参照图像的位置参数(x，y，z)。第四图像的方向参数可以是下文中表征该高分辨率参照图像的拍摄视角的方向参数(θ，Φ)。第四图像的偏振参数可以是下文中表征拍摄该高分辨率参照图像的偏振滤镜或偏振镜头的偏振方向的偏振参数p。

第四图像的各个像素点的训练像素颜色参数可以是NeRF模型输出的，该像素点对应的空间点在高分辨率参照图像的拍摄视角下对应的像素点的像素颜色。在此，第四图像的各个像素点的实际像素颜色参数可以是高分辨率参照图像中各个像素点的原始的像素颜色。

在上述第二方面的一种可能实现中，第一图像处理模型包括NeRF模型。

在此，NeRF模型输入的训练数据包括为具有偏振参数对应的高光效果的第四图像，因此，基于第四图像以及第四图像的偏振参数训练NeRF模型，可使该NeRF模型学习到偏振参数与高光效果之间的对应关系。进而，可在应用该NeRF模型的过程中，基于输入的目标偏振参数为输入的拍摄图像增加该目标偏振参数对应的高光效果。

在上述第二方面的一种可能实现中，该图像处理方法还包括：基于第四图像的各个像素点的训练像素颜色参数得到第五图像，其中，第五图像为第四图像对应的低分辨率偏振图像。

在此，第五图像可以是高分辨率参照图像经过该NeRF模型被退化为的低分辨率参照图像。可以理解，基于前述方式，NeRF模型输出的像素颜色受到了高分辨率参照图像的偏振参数的影响，因此，在经过多个训练迭代过程，使得损失值位于预设区间后，NeRF模型基于各个像素点的像素颜色输出的低分辨率偏振图像同样可呈现出该偏振参数对应的高光效果。在此，本申请不对损失值应位于的预设区间做限制性说明。

在上述第二方面的一种可能实现中，该图像处理方法还包括：向第二图像处理模型输入第四图像、第五图像、以及第四图像的偏振参数，得到第六图像；根据第六图像以及第四图像通过损失函数计算损失值；调节第二图像处理模型的参数使得损失值位于预设区间。

在此，第五图像可以包括下文中的低分辨率参照图像和/或新视角下的低分辨率参照图像。第六图像可以是下文中新视角下的超分辨率参照图像。

具体地，基于高分辨率参照图像可向第二图像处理模型生成的图像引入边缘细节、纹理细节等高频信息、基于低分辨率参照图像和/或新视角下的低分辨率参照图像可向第二图像处理模型生成的图像引入残差特征以进一步修复因退化过程而丢失或扭曲的高频信息。基于前述内容可提高NeRF模型生成的低分辨率参照图像的清晰度。可以理解，第二图像处理模型可以是任何能基于高分辨率参照图像和/或低分辨率参照图像向NeRF模型生成的低分辨率参照图像引入高频信息的图像处理模型。前述高频信息或称高频细节，包括但不限于边缘信息、纹理信息、高光信息等。

在上述第二方面的一种可能实现中，第二图像处理模型包括RefSR模型。

在此，本申请提供的图像处理方法可基于RefSR模型提高ReRF模型生成的图像的分辨率及图像质感。

在上述第二方面的一种可能实现中，第二图像处理模型包括第一模型、第二模型、第三模型，并且，向第二图像处理模型输入第四图像、第五图像、以及第四图像的偏振参数，得到第六图像，包括：将第四图像、第五图像、第四图像的偏振参数输入第一模型得到第一训练特征向量；将第五图像输入第二模型得到第二训练特征向量；将第一训练特征向量及第二训练特征向量输入第三模型，得到第六图像。

在此，第一模型可以是下文中的RefSR模型通过高频建模得到的高频模型，第二模型可以是下文中的RefSR模型通过退化建模得到的退化模型，第三模型可以是下文中RefSR模型的融合模块。

具体地，第一训练特征向量可以是下文中，将高分辨率参照图像、新视角的低分辨率参照图像、新视角对应的偏振参数输入高频模型中，得到的高频特征。可以理解，新视角对应的偏振参数也可是高分辨率参照图像对应的偏振参数，相当于，新视角的低分辨率参照图像即为高分辨率参照图像输入NeRF模型后，退化得到的低分辨率参照图像。

对应于第五图像包括低分辨率参照图像及新视角下的低分辨率参照图像的场景，将第五图像输入第二模型得到第二训练特征向量，可以是，将低分辨率参照图像及新视角下的低分辨率参照图像输入退化模型中，得到残差特征。

将第一训练特征向量及第二训练特征向量输入第三模型，得到第六图像，可以是，将基于高频模型得到的高频特征以及基于退化模型得到的残差特征输入融合模块，得到新视角下的超分辨率参照图像。

在上述第二方面的一种可能实现中，将第四图像、第五图像、第四图像的偏振参数输入第一模型得到第一训练特征向量，包括：将第五图像的上采样结果和第四图像进行空间至深度的重排操作，得到第三训练特征向量；将第三训练特征向量输入第一模型中的编码器，得到第四训练特征向量；将第四图像的偏振参数拼接至第四训练特征向量，得到第五训练特征向量；将第五训练特征向量输入第一模型中的解码器，得到第一训练特征向量。

在此，对应于第五图像包括低分辨率参照图像及新视角下的低分辨率参照图像的场景，对第五图像的上采样，包括，对第五图像中的新视角下的低分辨率参照图像的上采样。基于该方式，可以初步提升NeRF模型生成的新视角下的低分辨率参照图像的图像质量。

前述空间至深度的重排操作可以是下文中的空间至深度（space to depth，S2D)操作。通过该S2D操作，可实现新视角下的低分辨率参照图像的上采样结果和高分辨率参照图像之间的特征融合，其融合结果可为第三训练特征向量。可以理解，第三特征向量可为融合了新视角下的低分辨率参照图像的上采样结果和高分辨率参照图像的特征图。

进而，将第三训练特征向量输入第一模型中的编码器得到第四训练特征向量，可以包括，将融合了新视角下的低分辨率参照图像的上采样结果和高分辨率参照图像的特征图输入高频模型的编码器中，通过该编码器输出高频特征向量（作为第四训练特征向量的一种示例）。

基于第一模型将第四图像的偏振参数拼接至第四训练特征向量中，得到第五训练特征向量，可以是，基于高频模型将第四图像的偏振参数拼接到编码器输出的高频特征向量中。对应地，第五训练特征向量可以是包含了第四图像的偏振参数的高频特征向量。在此，可以基于concat函数将第四图像的偏振参数拼接至高频特征向量中。本申请不对具体的拼接方式做限制性说明。

进而，将第五特征训练向量输入第一模型中的解码器，得到第一训练特征向量，可以是将包含了第四图像的偏振参数的高频特征向量输入高频模型的解码器中，得到高频模型输出的高频特征。

可以理解，高频模型输出的高频特征可用于建构第六图像的高频信息。

在上述第二方面的一种可能实现中，将第五图像输入第二模型得到第二训练特征向量，包括：向第二模型输入第五图像，得到第六训练特征向量；对第六训练特征向量进行深度至空间的重排操作，得到第二训练特征向量。

在此，向第二模型输入第五图像，得到第六训练特征向量，可以包括，向退化模型输入低分辨率参照图像以及新视角下的低分辨率参照图像，得到退化模型输出的残差特征向量（作为第六训练特征向量的一种示例）。

在此，深度至空间的重排操作可以是下文中的深度至空间（depth to space，D2S)操作。进而，对第六训练特征向量进行D2S操作，可得到特征重排后的残差特征（作为第二特征训练向量的一种示例），以便于与高频特征进行特征融合。

第三方面，本申请提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；一个或多个存储器存储有一个或多个程序，当一个或者多个程序被一个或多个处理器执行时，使得电子设备执行前述第一方面以及第一方面的各种可能实现提供的图像处理方法、或者执行前述第二方面以及第二方面的各种可能实现提供的模型训练方法。

第四方面，本申请提供了一种计算机可读介质，该可读介质上存储有指令，指令在计算机上执行时使计算机执行前述第一方面以及第一方面的各种可能实现提供的图像处理方法、或者执行前述第二方面以及第二方面的各种可能实现提供的模型训练方法。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现前述第一方面以及第一方面的各种可能实现提供的图像处理方法、或者实现前述第二方面以及第二方面的各种可能实现提供的模型训练方法。

上述第二方面至第五方面的有益效果，可以参考上述第一方面以及第一方面的各种可能实现中的相关描述，在此不做赘述。

附图说明

图1所示为本申请提供的一种基于NeRF模型生成目标视角下的拍摄图像的效果示意图；

图2所示为本申请实施例提供的一种基于NeRF模型生成具有高光效果的目标视角下的拍摄图像的过程示意图；

图3所示为本申请实施例提供的一种图像处理方法的流程示意图；

图4a所示为本申请实施例提供的一种用户输入目标方向参数及目标偏振参数的效果示意图；

图4b所示为本申请实施例提供的另一种用户输入目标方向参数及目标偏振参数的效果示意图；

图4c所示为本申请实施例提供的图像处理方法的一种应用场景；

图5所示为本申请实施例提供的另一种图像处理方法的流程示意图；

图6所示为本申请实施例提供的一种用户输入目标偏振参数的效果示意图；

图7a所示为本申请实施例提供的一种NeRF模型的训练过程示意图；

图7b所示为本申请实施例提供的一种RefSR模型的训练过程示意图；

图7c所示为本申请实施例提供的一种基于NeRF模型及RefSR模型生成高分辨拍摄图像的过程示意图；

图8所示为本申请实施例提供的一种手机100的结构示意图；

图9所示为本申请实施例提供的一种手机100的软件结构框图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合说明书附图以及具体的实施方式对本申请实施例中的技术方案进行详细的说明。

可以理解，本申请实施例所提供的图像处理方法，所适用的电子设备可以包括但不限于手机、平板电脑、桌面型、膝上型、手持计算机、上网本，以及增强现实（augmentedreality，AR）\虚拟现实（virtual reality，VR）设备、智能电视、智能手表等可穿戴设备、服务器、移动电子邮件设备、车机设备、及其他嵌入或耦接有一个或多个处理器的电视机或其他电子设备。

为了便于本领域技术人员理解本申请实施例中的方案，下面首先对基于NeRF模型生成目标视角下的拍摄图像的过程及原理进行解释说明。

在训练NeRF模型的过程中，NeRF模型的训练数据可以为多组拍摄图像，其中，各组拍摄图像中可以包括以多个视角拍摄相同对象的多个拍摄图像。NeRF模型的输入数据可包括拍摄图像的各个像素点的位置参数(x，y，z)以及表征目标视角方向的方向参数(θ，Φ)。其中，前述像素点的位置参数(x，y，z)可以是该像素点对应的空间点在世界坐标系下的三维位置坐标。其中，目标视角方向可以是需要基于NeRF模型得到的拍摄视角，θ可以是该目标视角方向对应的相机位姿参数，Φ可以是该目标视角方向对应的相机内参，前述相机内参可以包括能够表征目标视角方向的焦距、畸变系数、缩放因子等参数。

在每个训练迭代过程中，可从训练数据中选择一批像素点，在由相机到各像素点对应的空间点的光线上选取若干个采样点，基于NeRF模型预测各个采样点的色彩值和体密度值。进而，基于体渲染技术将若干个采样点的色彩值和体密度值进行积分整合，最终得到的积分结果即可作为该光线投射生成的像素点的预测像素颜色。

在此，NeRF模型可基于损失函数计算预测像素颜色和实际像素颜色之间的损失，通过梯度下降法等方式调整NeRF模型中的参数，基于多测训练迭代将该损失收敛至满意水平，以此提高NeRF模型的预测准确性。

基于以上训练过程，在应用NeRF模型生成目标视角下的拍摄图像的场景中，可向训练好的NeRF模型输入拍摄图像的各个像素点的位置参数(x，y，z)以及表征目标视角的方向参数（θ，Φ）。NeRF模型可以基于输入的五维数据（x，y，z，θ，Φ）预测像素点对应的若干个采样点的色彩值和体密度值。进而，NeRF模型可以基于体渲染技术将若干个采样点的色彩值和体密度值进行积分整合，得到该光线投射生成的像素点的像素颜色。生成的各个像素点的像素颜色即可用于生成该目标视角下的拍摄图像。可以理解，目标视角下的拍摄图像可为基于NeRF模型将拍摄图像的拍摄视角改变为目标视角后的图像。

基于前述NeRF模型的训练过程及应用过程可知，NeRF模型对于各个像素点的像素颜色的确定过程是相互独立的，并未考虑不同像素点之间的空间关系对像素颜色的影响。进而，可能导致生成的目标视角下的拍摄图像缺乏高光细节等。

下面结合前述对NeRF模型生成的目标视角下的拍摄图像缺乏高光细节的说明，详细介绍本申请提供的可提升目标视角下的拍摄图像中的高光细节的图像处理方法。

可以理解，具有不同偏振参数的偏振滤镜或偏振镜头可以过滤不同方向的反射光线，因此，采用偏振相机拍摄得到的偏振图像可呈现出该偏振相机的偏振参数对应的高光效果。在此，偏振相机包括设置了偏振滤镜或内置了偏振镜头的电子设备，偏振相机的偏振参数可为偏振滤镜或偏振镜头的偏振参数，前述偏振参数可包括偏振方向等。

具体地，以拍摄人像为例，可以通过调整偏振滤镜或偏振镜头的偏振参数，来过滤部分投射至人像非高光区域的光线。可以理解，过滤部分投射至人像非高光区域的光线后，人像的非高光区域的像素颜色可能发生变化，例如，非高光区域的像素纯度、明度、亮度可能变低等。因此，通过调整偏振参数可扩大上述非高光区域与高光区域的差异，包括两区域之间的像素纯度、明度、亮度差异等。进而，能够凸显人像的高光区域，使得拍摄得到的偏振图像中的人像呈现出明显的高光效果。

因此，为解决前述NeRF模型生成的目标视角下的拍摄图像缺乏高光细节的技术问题，本申请提供了一种图像处理方法。该方法为了提升目标视角下的拍摄图像中的高光效果，可将多组偏振图像作为NeRF模型的训练数据，以使NeRF模型可以通过多个训练迭代过程学习到偏振图像的不同偏振参数对应的不同高光效果。例如，NeRF模型可以学习到不同偏振参数对偏振图像中各像素点的像素颜色的影响程度等。进而，在使用训练完成的NeRF模型调整拍摄图像的视角时，可向该NeRF模型输入拍摄图像以及目标偏振参数，以使得最终生成的目标视角下的拍摄图像可呈现出目标偏振参数对应的高光效果。通过此方式，可有效提高基于NeRF模型生成的目标视角下的拍摄图像的高光效果，提升目标视角下的拍摄图像的图像质感。

具体地，图2示出了应用本申请提供的NeRF模型生成具有高光效果的目标视角下的拍摄图像的过程示意图。

参见图2，为使NeRF模型能够生成具有高光效果的目标视角下的拍摄图像，可以将偏振参数拼接至NeRF模型的输入数据中，使得NeRF模型的输入数据扩展为位置参数、方向参数以及偏振参数。对应地，在使用训练完成的NeRF模型调整拍摄图像的视角时，NeRF模型的输入数据可为拍摄图像中的像素点对应的六维数据（x，y，z，θ，Φ，p）。其中，位置参数(x，y，z)可以为该拍摄图像中的各个像素点对应的空间点的空间位置坐标、（θ，Φ）可以为用于表征调整后的目标视角的目标方向参数、p可以为对应于想要呈现的高光效果的目标偏振参数。

进而，NeRF模型中的位姿多层感知器(positional multilayer perceptron，positional MLP)可基于像素点对应的空间点的空间位置坐标(x，y，z)得到该空间点对应的若干个采样点的体密度值。NeRF模型中的方向多层感知器(directional multilayerperceptron，directional MLP)可基于目标方向参数(θ，Φ)、目标偏振参数p、以及positional MLP输出的采样点的特征向量，得到该采样点的色彩值。其中，前述空间点对应的若干个采样点可包括从相机到该空间点的光线上选取的若干个采样点。如此，基于NeRF模型中的体渲染模型对该空间点对应的若干个采样点的体密度值和色彩值进行积分，便可以得到该空间点在目标视角下对应的像素点的像素颜色。

基于前述内容可以理解，根据本申请提供的NeRF模型得到的像素点的像素颜色受到了目标偏振参数的影响。进而，基于各个像素点的像素颜色生成的目标视角下的拍摄图像可呈现出该目标偏振参数对应的高光效果。例如，向图2所示的本申请提供的NeRF模型输入拍摄图像及目标偏振参数，输出的目标视角下的拍摄图像可以呈现出该目标偏振参数对应的高光效果。因此，通过本申请提供的NeRF模型及图像处理方法，可有效弥补NeRF模型生成的目标视角下的拍摄图像缺乏高光细节的缺陷，提高基于NeRF模型生成的目标视角下的拍摄图像的图像质感。

基于前述对本申请提供的图像处理方法的原理性阐释，下面，将结合附图及不同实施例对本申请提供的图像处理方法在不同应用场景的具体实现过程进行详细说明。

还需声明，本申请实施例中对方法、流程中的步骤进行编号是为了便于引用，而不是限定先后顺序，各步骤之间如有先后顺序，当以文字说明为准。

实施例

本申请实施例将详细介绍在用户需要调整拍摄照片视角的应用场景下，本申请实施例提供的图像处理方法的具体实现过程。

首先，图3示出了一种本申请实施例提供的图像处理方法的流程示意图，下面将结合图3对电子设备应用本申请实施例提供的图像处理方法的具体过程进行详细说明。

可以理解，实施图3所述流程的各个步骤的电子设备可以是前述手机100。为了便于描述，以下在介绍各个步骤时，均以手机100为执行主体，下文将不再对执行主体进行赘述。

具体地，本申请实施例提供的图像处理方法的实施流程可以包括以下步骤：

300：响应于第一用户操作获取拍摄图像。

在一种示例方式中，拍摄图像可以由手机100基于用户的拍摄操作实时获取。在该示例方式中，第一用户操作可以是用户基于手机100中的拍摄应用实施的拍摄操作，例如，该拍摄操作可以是用户对拍摄应用中的快门控件的点击操作、可实现拍摄的便捷操作等。前述便捷操作可以是用户对手机100的音量键、电源键等实体按键或虚拟按键的点击操作、口述指定口令的语音操作、实施指定手势动作的手势操作等。在此，本申请不对获取用户拍摄图像的第一用户操作进行限制性说明。

在该示例方式中，本申请提供的图像处理方法可以集成在前述拍摄应用中，以在用户基于该拍摄应用完成拍摄操作后，直接在该拍摄应用中基于下述步骤301至步骤304实现对拍摄图像的自动调节或向用户提供手动调节方案。在此，拍摄应用可以是手机100中的***应用，例如相机应用，也可以是手机100中安装的第三方应用或手机100可使用的小程序等。本申请不对集成该图像处理方法的拍摄应用做限制性说明。

在另一种示例方式中，拍摄图像可以是已经存储在手机100中的图像。在该示例方式中，第一用户操作可以是用户对存储在手机100中的拍摄图像的选择操作。在此，本申请提供的图像处理方法可以集成在图像处理应用中，用户可以基于图像处理应用提供的图像选择功能实施对拍摄图像的选择操作。进而，可在该图像处理应用中基于下述步骤301至步骤304实现对拍摄图像的自动调节或向用户提供手动调节方案。

在此，图像处理应用可以是前述拍摄应用，即，拍摄应用可以对用户实时拍摄的拍摄图像进行即时优化，也可以对用户选择的存储在手机100中的拍摄图像进行后期优化。图像处理应用也可以是用于对存储在手机100中的拍摄图像进行后期优化的其他应用。具体地，图像处理应用可以是手机100的***应用，例如图库应用（或称相册应用）。也可以是手机100中安装的第三方应用或手机100可使用的小程序等。本申请不对集成该图像处理方法的图像处理应用做限制性说明。

301：获取拍摄图像对应的目标方向参数及目标偏振参数。

示例性地，拍摄图像对应的目标方向参数和目标偏振参数可以由手机100预设，可以理解，用户也可以修改由手机100预设的目标方向参数和目标偏振参数。此外，拍摄图像对应的目标方向参数和目标偏振参数也可基于用户的输入确定。

在一种示例方式中，手机100可以预设目标偏振参数和目标方向参数。例如，手机100可以预设目标偏振参数以及目标方向参数。以手机100基于前述拍摄应用对用户实时拍摄的拍摄图像进行即时优化为例，当用户基于前述步骤300拍摄了拍摄图像后，拍摄应用可以在向用户显示该拍摄图像前，先获取手机100中预设的目标偏振参数及目标方向参数，并根据该目标偏振参数及目标方向参数基于下述步骤302至步骤303生成具有高光细节的目标视角下的超分辨率拍摄图像。进而，可基于下述步骤304将该具有高光细节的目标视角下的超分辨率拍摄图像显示给用户。

在另一种示例方式中，手机100也可以仅预设目标偏振参数，并基于用户输入确定目标方向参数。例如，拍摄应用可以基于手机100预设的目标偏振参数对拍摄图像进行即时优化，以基于下述步骤302至步骤303生成具有高光细节的超分辨率拍摄图像。可以理解，此时，该具有高光细节的超分辨率拍摄图像的视角与原拍摄图像一致。进而，手机100可保存该具有高光细节的超分辨率拍摄图像，并且，可以基于用户输入的目标方向参数对该具有高光细节的超分辨率拍摄图像进行视角调整，以基于下述步骤302至步骤303生成具有高光细节的目标视角下的超分辨率拍摄图像。

对应地，手机100也可以仅预设目标方向参数，并基于用户输入确定目标偏振参数。在此场景下，手机100生成具有高光细节的目标视角下的超分辨率拍摄图像的过程与前述内容实质相同，在此不做赘述。

在再一种示例方式中，手机100可基于用户输入确定目标方向参数和目标偏振参数。以手机100基于前述图像处理应用对存储在手机100中的拍摄图像进行后期优化为例，图4a示出了一种用户输入目标方向参数及目标偏振参数的效果示意图。

示例性地，参见图4a，当用户基于图像处理应用提供的图像选择功能选择了拍摄图像400a后，图像处理应用可将拍摄图像400a显示在调节界面400中。进而，用户可根据调节界面400中的视角调节控件400b输入目标方向参数。例如，视角调节控件400b可为滑动条控件，滑动条不同的位置可对应不同的目标方向参数。因此，用户可通过滑动视角调节控件400b以进行视角调节。当用户滑动视角调节控件400b后，图像处理应用可获取此时滑动位置对应的目标方向参数，并根据该目标方向参数基于下述步骤302至步骤304将生成的目标视角的超分辨率拍摄图像400c显示在调节界面400中。

进而，用户可继续根据调节界面400中的高光调节控件400d输入目标偏振参数。例如，高光调节控件400d可为滑动条控件，滑动条不同的位置可对应不同的目标偏振参数。因此，用户可通过滑动高光调节控件400d以对目标视角下的超分辨率拍摄图像400c进行高光调节。当用户滑动高光调节控件400d后，图像处理应用可获取此时滑动位置对应的目标偏振参数，并根据该目标偏振参数基于下述步骤302至步骤304将生成的具有高光细节的目标视角下的超分辨率拍摄图像400e显示在调节界面400中。该超分辨率拍摄图像400e可具有高光区域400f。

此外，图4b示出了另一种用户输入目标方向参数及目标偏振参数的效果示意图。参见图4b，图像处理应用也可在用户滑动视角调节控件400b以及高光调节控件400d后，获取对应的目标偏振参数和目标方向参数，并基于下述步骤302至步骤304将生成的具有高光细节的目标视角下的超分辨率拍摄图像400e显示在调节界面400中。

此外，可以理解，用户也可以根据调节界面400先输入目标偏振参数以进行高光调节，再输入目标方向参数以进行视角调节。在此，本申请不对用户根据调节界面400进行的调节过程进行限制性说明。

302：确定拍摄图像对应匹配的高分辨率参照图像。

示例性地，基于对前述图2的相关说明可知，基于本申请提供的NeRF模型可加强拍摄图像的高光细节。但由于NeRF模型并未考虑不同像素点之间的空间关系对像素颜色的影响，可能导致生成的目标视角下的拍摄图像除了缺乏高光细节以外，还可能缺乏边缘细节、纹理细节等。可以理解，缺乏边缘细节、纹理细节等将导致NeRF模型生成的目标视角下的拍摄图像分辨率较低，即，NeRF模型生成的目标视角下的拍摄图像可能为具有高光细节的目标视角下的低分辨率拍摄图像。因此，本申请提供的图像处理方法还可结合参考帧的超分辨率(reference-based super resolution，RefSR)模型，基于高分辨率参照图像补充NeRF模型输出的目标视角下的低分辨率拍摄图像中的边缘细节及纹理细节，以提高该图像的分辨率。在此，为叙述连贯性，基于RefSR模型提高图像的分辨率的具体内容将在下文对图7a的说明中具体阐述，在此不做赘述。

在此，手机100中可以存储一个或多个高分辨率参照图像，高分辨率参照图像可以是由内置了偏振镜头或外设了偏振滤镜的电子设备拍摄得到的偏振图像。不同高分辨率参照图像对应的偏振参数可以不同，例如，拍摄不同高分辨率参照图像所使用的偏振镜头或偏振滤镜可以具有不同的偏振参数。该偏振参数可以包括偏振方向等参数。拍摄高分辨率参照图像的电子设备可以是手机100，也可以是手机100以外的其他电子设备。

示例性地，手机100确定的拍摄图像对应的高分辨率参照图像可以是，拍摄内容与该拍摄图像相同或相似的高分辨率参照图像。例如，手机100基于前述步骤300获取了拍摄图像后，可以对拍摄图像及高分辨率参照图像的拍摄场景和/或拍摄对象进行识别，进而，可以将拍摄场景和/或拍摄对象与拍摄图像相同或相似的高分辨率参照图像作为该拍摄图像对应的高分辨率参照图像。前述拍摄场景包括夜间场景、白天场景、蓝天场景、雨天场景、星空场景、自拍场景、弱光场景、强光场景等，前述拍摄对象包括人物、动物、花卉、树木、湖泊、山川等。本申请不对拍摄场景及拍摄对象做限制性说明。

在此，若前述步骤300获取的拍摄图像的拍摄对象为人物，由于手机100拍摄的人物通常具有重复性，因此，可对该拍摄图像中的人物进行人脸识别，并将手机100中存储的拍摄对象同样为该人物的一个或多个高分辨率参照图像作为该拍摄图像对应的高分辨率参照图像。可以理解，基于拍摄的人物相同的高分辨率参照图像对拍摄图像进行优化，可有效提高优化效果。

303：基于拍摄图像、高分辨率参照图像、目标方向参数、目标偏振参数生成超分辨率拍摄图像。

示例性地，对于手机100基于前述步骤301获取了拍摄图像的目标方向参数以及目标偏振参数的场景，手机100可以基于拍摄图像、高分辨率参照图像、目标方向参数及目标偏振参数生成具有高光细节的目标视角下的超分辨率拍摄图像。

可以理解，前述手机100获取了拍摄图像的目标方向参数以及目标偏振参数的场景，包括但不限于，前述步骤301中手机100预设了目标偏振参数以及目标方向参数的场景、前述步骤301中图4b所示的基于用户操作获取对应的目标偏振参数和目标方向参数的场景。

下面以前述图4b所示的场景为例，对基于拍摄图像400a得到具有高光细节的目标视角下的超分辨率拍摄图像400e的过程进行说明。

具体地，手机100可以将基于前述步骤302确定的高分辨率参照图像输入NeRF模型中。以手机100基于前述图像处理应用对拍摄图像进行优化为例，图像处理应用可将前述步骤302确定的高分辨率参照图像输入前述NeRF模型中，以得到基于NeRF模型而被退化的低分辨率参照图像。可以理解，高分辨率参照图像与低分辨率参照图像实质上是一张图像，低分辨率参照图像是高分辨率参照图像经过NeRF模型的图像处理过程而得到的退化结果。在此，为叙述连贯性，基于高分辨率参照图像得到低分辨率参照图像的具体过程将在下文对图7a的描述中详细说明，在此不做赘述。

并且，图像处理应用可将基于前述步骤300获取的拍摄图像400a、基于前述步骤301获取的目标方向参数及目标偏振参数输入NeRF模型中，以得到具有高光细节的目标视角下的低分辨率拍摄图像。在此，为叙述连贯性，基于拍摄图像、目标方向参数及目标偏振参数得到具有高光细节的目标视角下的低分辨率拍摄图像的具体过程将在下文对图7c的描述中详细说明，在此不做赘述。

进而，图像处理应用可将前述低分辨率参照图像、具有高光细节的目标视角下的低分辨率拍摄图像、高分辨率参照图像、偏振参数输入RefSR模型中，以基于高分辨率参照图像引入边缘细节、纹理细节等高频信息、基于低分辨率参照图像引入残差特征以进一步修复因退化过程而丢失或扭曲的高频信息。可以理解，基于前述内容可提高该具有高光细节的目标视角下的低分辨率拍摄图像的清晰度，生成具有高光细节的目标视角下的超分辨率拍摄图像。例如，基于前述方式可得到RefSR模型输出的具有高光细节的目标视角下的超分辨率拍摄图像400e。在此，为叙述连贯性，基于低分辨率参照图像、具有高光细节的目标视角下的低分辨率拍摄图像、高分辨率参照图像得到具有高光细节的目标视角下的超分辨率拍摄图像的具体过程将在下文对图7b的描述中详细说明，在此不做赘述。

因此，基于上述内容，本申请提供的图像处理方法可基于NeRF模型对拍摄图像进行视角调整以及高光调整，基于RefSR模型进行超分辨率(super resolution，SR)重建，以得到分辨率更高、具有更多高频细节的超分辨率拍摄图像。在基于NeRF模型满足了用户调整拍摄图像的视角，生成目标视角下的拍摄图像的需求的同时，弥补了NeRF模型生成的目标视角下的拍摄图像缺乏高频细节的缺陷，得到了具有高光细节的目标视角下的超分辨率拍摄图像。例如，对于前述图4b所示的场景，基于前述内容可调整拍摄图像400a的视角及高光，得到具有高光细节的目标视角下的超分辨率拍摄图像400e。

下面以前述图4a所示的场景为例，对基于拍摄图像400a得到具有高光细节的目标视角下的超分辨率拍摄图像400e的过程进行说明。

示例性地，对于前述图4a所示的场景，当图像处理应用先基于用户滑动视角调节控件400b的操作获取了对应的目标方向参数时，图像处理应用可以基于拍摄图像400a、高分辨率参照图像、目标方向参数生成目标视角下的超分辨率拍摄图像400c。当图像处理应用又基于用户滑动高光调节控件400d的操作获取了对应的目标偏振参数时，图像处理应用可以基于目标视角下的超分辨率拍摄图像400c、高分辨率参照图像、目标偏振参数生成具有高光细节的目标视角下的超分辨率拍摄图像400e。在此，由拍摄图像400a得到超分辨率拍摄图像400c，以及由超分辨率拍摄图像400c得到超分辨率拍摄图像400e的过程与前述基于拍摄图像400a得到超分辨率拍摄图像400e的过程实质相同，在此不做赘述。

304：显示所生成的目标视角下的超分辨率拍摄图像。

示例性地，手机100基于上述步骤300至步骤303得到的超分辨率拍摄图像包括：基于拍摄图像、高分辨率参照图像、目标方向参数及目标偏振参数生成的具有高光细节的目标视角下的超分辨率拍摄图像，例如，前述超分辨率拍摄图像400e；基于拍摄图像、高分辨率参照图像、目标方向参数生成的目标视角下的超分辨率拍摄图像，例如，前述超分辨率拍摄图像400c。在此，不对目标视角下的超分辨率拍摄图像的具体内容做限制性说明。

具体地，对于前述图4a所示的场景，图像处理应用可以将基于拍摄图像400a、高分辨率参照图像、目标方向参数生成的目标视角下的超分辨率拍摄图像400c显示在调节界面400中。可以将基于超分辨率拍摄图像400c、高分辨率参照图像、目标偏振参数生成的具有高光细节的目标视角下的超分辨率拍摄图像400e显示在调节界面400中。

具体地，对于前述图4b所示的场景，图像处理应用可以将基于拍摄图像400a、高分辨率参照图像、目标方向参数、目标偏振参数生成的具有高光细节的目标视角下的超分辨率拍摄图像400e显示在调节界面400中。

此外，参见图4c示出的本申请提供的图像处理方法的一种应用场景，以手机100基于前述图像处理应用对存储在手机100中的拍摄图像进行后期优化为例，图像处理应用可以提取拍摄图像中的部分图像，进而，对该部分图像进行视角和高光的调整。

例如，基于前述步骤300获取的拍摄图像401a中可能包括人像401b及背景401c。进而，图像处理应用可以基于用户操作提取拍摄图像401a中的人像401b，并将该人像401b显示在调节界面400中。在此，提取拍摄图像401a中的人像401b的用户操作可以是对人像401b进行单指或多指操作，例如，单指长按人像401b、双指点击人像401b等。还可以是对调节界面400中的抠图控件（图中未示出）的点击操作等。在此，本申请不对提取人像401b的用户操作做限制性说明。此外，图像处理应用基于用户操作提取的部分图像还可以是人像401b中的人脸部分等，本申请不对基于用户操作提取的部分图像的具体内容做限制性说明。

进而，图像处理应用可以基于前述步骤301至步骤303对人像401b进行高光调节及视角调节，生成具有高光区域401c的目标视角下的超分辨率拍摄图像401d，并将超分辨率拍摄图像401d显示在调节界面400中。

在此，用户可以单独保存该超分辨率拍摄图像401d，示例性地，用户可将超分辨率拍摄图像401d制作为头像、表情包、壁纸、将其与其他图像进行组合等。本申请不对用户保存超分辨率拍摄图像401d后的具体应用场景做限制性说明。可以理解，用户也可以将该超分辨率拍摄图像401d回贴至拍摄图像401a中。

实施例

本申请实施例将详细介绍在用户需要仅需要提升拍摄照片的质感，而不需调整视角的应用场景下，本申请实施例提供的图像处理方法的具体实现过程。

首先，图5示出了另一种本申请实施例提供的图像处理方法的流程示意图，下面将结合图5对电子设备应用本申请实施例提供的图像处理方法的具体过程进行详细说明。

可以理解，实施图5所述流程的各个步骤的电子设备可以是前述手机100。为了便于描述，以下在介绍各个步骤时，均以手机100为执行主体，下文将不再对执行主体进行赘述。

具体地，本申请实施例提供的图像处理方法的实施流程可以包括以下步骤：

500：响应于第一用户操作获取拍摄图像。

在此，手机100基于第一用户操作获取拍摄图像的具体过程可参见前述步骤300中的具体说明，在此不做赘述。

501：获取拍摄图像对应的目标偏振参数。

在一种示例方式中，手机100可以预设目标偏振参数。例如，以手机100基于前述拍摄应用对用户实时拍摄的拍摄图像进行即时优化为例，当用户基于前述步骤500拍摄了拍摄图像后，拍摄应用可以在向用户显示该拍摄图像前，先获取手机100中预设的目标偏振参数及目标方向参数，并根据该目标偏振参数基于下述步骤502至步骤503生成具有高光细节的超分辨率拍摄图像。进而，可基于下述步骤504将该具有高光细节的超分辨率拍摄图像显示给用户。可以理解，由于本实施例并未对拍摄图像的拍摄视角进行调整，因此，生成的超分辨率拍摄图像可以为具有高光细节的原始视角下的超分辨率拍摄图像。在此，原始视角包括基于步骤500获取的拍摄图像的拍摄视角。同样地，原始视角包括拍摄图像的方向参数对应的拍摄视角。

在另一种示例方式中，手机100可基于用户输入确定目标偏振参数。以手机100基于前述图像处理应用对存储在手机100中的拍摄图像进行后期优化为例，图6示出了一种用户输入目标偏振参数的效果示意图。

示例性地，参见图6，当用户基于图像处理应用提供的图像选择功能选择了拍摄图像600a后，图像处理应用可将拍摄图像600a显示在调节界面600中。进而，用户可继续根据调节界面600中的高光调节控件600b输入目标偏振参数。例如，高光调节控件600b可为滑动条控件，滑动条不同的位置可对应不同的目标偏振参数。因此，用户可通过滑动高光调节控件600b以对拍摄图像进行高光调节。当用户滑动高光调节控件600b后，图像处理应用可获取此时滑动位置对应的目标偏振参数，并根据该目标偏振参数基于下述步骤502至步骤504将生成的具有高光细节的超分辨率拍摄图像600c显示在调节界面600中。该超分辨率拍摄图像600c可具有高光区域600d。

502：确定拍摄图像对应匹配的高分辨率参照图像。

示例性地，基于对前述图2的相关说明可知，由于NeRF模型并未考虑不同像素点之间的空间关系对像素颜色的影响，可能导致生成的目标视角下的拍摄图像除了缺乏高光细节以外，还可能缺乏边缘细节、纹理细节等。可以理解，缺乏边缘细节、纹理细节等将导致NeRF模型生成的目标视角下的拍摄图像分辨率较低，即，基于本申请实施例提供的NeRF模型生成的具有高光效果的图像可能为低分辨率图像。因此，本申请提供的图像处理方法还可结合RefSR模型，基于高分辨率参照图像补充NeRF模型输出的具有高光效果的低分辨率图像中的边缘细节及纹理细节，提高该图像的分辨率。在此，为叙述连贯性，基于RefSR模型提高图像的分辨率的具体内容将在下文对图7c的说明中具体阐述，在此不做赘述。

在此，手机100确定拍摄图像对应的高分辨率参照图像的具体过程可参见前述步骤302中的具体说明，在此不做赘述。

503：基于拍摄图像、高分辨率参照图像、目标偏振参数生成超分辨率拍摄图像。

示例性地，对于手机100基于前述步骤501获取了拍摄图像的目标偏振参数的场景，手机100可以基于拍摄图像、高分辨率参照图像、目标偏振参数生成具有高光细节的超分辨率拍摄图像。该具有高光细节的超分辨率拍摄图像例如可以是图6中的具有高光区域600d的超分辨率拍摄图像600c。

具体地，手机100可以基于拍摄图像、高分辨率参照图像、目标偏振参数生成具有高光细节的超分辨率拍摄图像的过程，与前述步骤303中手机100基于拍摄图像、高分辨率参照图像、目标方向参数及目标偏振参数生成具有高光细节的目标视角下的超分辨率拍摄图像的过程实质相同，在此不做赘述。

可以理解，在本实施例中，由于用户不需要对拍摄视角进行调整，因此，输入NeRF模型中的方向参数可以是拍摄图像的方向参数。具体地，可以是表征拍摄图像的拍摄视角的方向参数（作为第一方向参数的一种示例）。进而，根据拍摄图像及目标偏振参数通过NeRF模型可得到具有高光细节的原始视角下的低分辨率拍摄图像。前述原始视角可以是拍摄图像的拍摄视角。进一步地，根据拍摄图像、目标偏振参数、高分辨率参照图像通过RefSR模型可得到具有高光细节的原始视角下的超分辨率拍摄图像。

504：显示超分辨率拍摄图像。

示例性地，手机100基于上述步骤500至步骤503得到的超分辨率拍摄图像包括，基于拍摄图像、高分辨率参照图像、目标偏振参数生成的具有高光细节的原始视角下的超分辨率拍摄图像，例如，前述具有高光区域600d的超分辨率拍摄图像600c。在此，本申请不对超分辨率拍摄图像的具体内容做限制性说明。

具体地，对于前述图6所示的场景，图像处理应用可以将基于拍摄图像600a、高分辨率参照图像、目标偏振参数生成的超分辨率拍摄图像600c显示在调节界面600中。

在此，本申请实施例提供的NeRF模型强化了拍摄图像600a的高光区域600d，此外，本申请实施例提供的RefSR模型在保留高光区域600d的同时，增加了超分辨率拍摄图像600c的纹理细节、边缘细节等。可以理解，超分辨率拍摄图像600c可以是提高了高光细节、纹理细节、边缘细节后的拍摄图像600a。即，基于前述步骤500至步骤504，有效提高了拍摄图像600a的高光效果及清晰度。

下面，结合附图对本申请提供的图像处理方法能够基于NeRF模型以及RefSR模型生成具有高光细节的目标视角下的超分辨率拍摄图像的具体过程进行详细说明。

首先，对本申请提供的图像处理方法中的NeRF模型以及RefSR模型的训练过程进行详细说明。

示例性地，图7a示出了一种本申请提供的NeRF模型的训练过程示意图。

参见图7a，NeRF模型的训练数据可以为多组高分辨率参照图像（作为前述多组偏振图像的一种示例）。其中，各组高分辨率参照图像中可以包括以多个视角拍摄相同对象的多个偏振图像，前述偏振图像由设置了偏振滤镜或内置了偏振镜头的相机拍摄得到。不同的拍摄视角可对应不同的方向参数，不同的偏振滤镜或偏振镜头可对应不同的偏振参数。

NeRF模型的输入数据可包括各个高分辨率参照图像的各个像素点的位置参数(x，y，z)、表征该高分辨率参照图像的拍摄视角的方向参数(θ，Φ)、表征拍摄该高分辨率参照图像的偏振滤镜或偏振镜头的偏振方向的偏振参数p。其中，前述像素点的位置参数(x，y，z)可以是该像素点对应的空间点在世界坐标系下的三维位置坐标。θ可以是该高分辨率参照图像的拍摄视角对应的相机位姿，Φ可以是该拍摄视角对应的相机内参。p可以是拍摄该高分辨率参照图像的偏振滤镜或偏振镜头的偏振方向。

进而，NeRF模型中的positional MLP可基于像素点对应的空间点的空间位置坐标(x，y，z)得到该空间点对应的若干个采样点的体密度值，以及各个采样点的特征向量。NeRF模型中的directional MLP可基于该高分辨率参照图像的方向参数(θ，Φ)、该高分辨率参照图像的偏振参数p、以及positional MLP输出的采样点的特征向量，得到该采样点的色彩值。其中，前述空间点对应的若干个采样点可包括从相机到该空间点的光线上选取的若干个采样点。

进而，可基于NeRF模型中的体渲染模型对该空间点对应的若干个采样点的体密度值和色彩值进行积分，以得到NeRF模型输出的该空间点在该高分辨率参照图像的拍摄视角下对应的像素点的像素颜色。可以理解，基于前述方式得到的像素点的像素颜色受到了高分辨率参照图像的偏振参数的影响，因此，NeRF模型基于各个像素点的像素颜色输出的图像可呈现出该偏振参数对应的高光效果。

可以理解，由于NeRF模型对于各个像素点的像素颜色的确定过程是相互独立的，并未考虑不同像素点之间的空间关系对像素颜色的影响，因此，还可能导致NeRF模型输出的结果缺乏边缘细节、纹理细节等高频信息，因此，高分辨率参照图像经过该NeRF模型可能会被退化为低分辨率参照图像。即，高分辨率参照图像经过NeRF模型可输出保留了高光信息的退化结果，例如，可输出具有高光效果的低分辨率参照图像。

进而，可基于损失函数计算NeRF模型得到像素颜色与该高分辨率参照图像中的实际像素颜色之间的损失，并可以通过梯度下降法等方式调整NeRF模型中的参数，经多次训练迭代将该损失收敛至满意水平，以此提高NeRF模型最终确定的像素颜色的准确性。

可以理解，NeRF模型确定的像素颜色的准确性越高，代表其生成的低分辨率参照图像的高光效果与其对应的偏振参数可呈现的高光效果越相似。相应地，在应用该NeRF模型时，可基于输入的偏振参数使拍摄图像较为准确的呈现出与输入的偏振参数对应的高光效果。

基于前述内容可知，NeRF模型输出的图像为低分辨率图像，因此，为进一步提高NeRF模型输出的图像的分辨率，图7b示出了一种本申请提供的RefSR模型的训练过程示意图。

参见图7b，RefSR模型的训练数据可以包括高分辨率参照图像、低分辨率参照图像、新视角下的低分辨率参照图像、以及偏振参数。在此，低分辨率参照图像可以是高分辨率参照图像输入训练好的NeRF模型得到的输出结果。新视角下的低分辨率参照图像可以是高分辨率参照图像以及与该图像不同的方向参数输入训练好的NeRF模型得到的输出结果。偏振参数可以是该高分辨率参照图像的偏振参数。可以理解，前述低分辨率参照图像以及新视角下的低分辨率参照图像均具有高光细节。

具体地，一方面，RefSR模型可基于低分辨率参照图像和新视角下的低分辨率参照图像进行退化建模。以此学习低分辨率参照图像和新视角下的低分辨率参照图像的退化过程，以得到有助于修复因退化过程而丢失或扭曲的高频信息的残差(residual)特征。并基于深度至空间（depth to space，D2S)操作进行特征向量的重排，以便于进行后续的特征融合。

另一方面，RefSR模型可基于新视角下的低分辨率参照图像和高分辨率参照图像进行高频建模。例如，可对前述新视角下的低分辨率参照图像进行上采样(upsampling)以初步提升图像质量。进一步地，可对高分辨率参照图像以及上采样后的新视角下的低分辨率参照图像进行空间至深度(space to depth，S2D)操作以实现特征融合。进而，可基于编码器-解码器(encoder-decoder)架构进行高频建模。具体地，可根据编码器提取特征融合后的高分辨率参照图像以及新视角的低分辨率参照图像的高频特征向量。并将偏振参数拼接至该高频特征向量中，并通过解码器基于高频特征向量输出高频建模的结果。

进而，RefSR模型中的融合模块可将高频建模输出的结果以及退化建模输出的结果进行融合，以生成新视角下的超分辨率参照图像。可以理解，该新视角下的超分辨率参照图像具有偏振参数对应的高光细节。

在此，基于对RefSR模型的多个训练迭代过程，RefSR模型输出的新视角下的超分辨率参照图像可具有从高分辨率参照图像中引入的高频信息，例如边缘细节、纹理细节等，并可呈现该高分辨率参照图像的偏振参数对应的高光效果。

进而，基于前述NeRF模型及RefSR模型的训练过程，图7c提供了一种基于训练完成的NeRF模型及RefSR模型生成具有高光细节的目标视角下的超分辨拍摄图像的过程示意图。

参见图7c，在对拍摄图像进行视角及高光调节的过程中，可向训练好的NeRF模型输入基于前述步骤300或步骤500获取的拍摄图像，以及基于前述步骤301或步骤501获取的目标方向参数和/或目标偏振参数。可以理解，由于训练好的NeRF模型可基于输入的方向参数调整拍摄图像的视角，生成目标视角下的拍摄图像，可基于输入的偏振参数调整拍摄图像的高光细节，使得拍摄图像具有该偏振参数对应的高光效果。因此，将拍摄图像、目标方向参数、目标偏振参数输入训练好的NeRF模型后，可生成具有高光细节的目标视角下的低分辨率拍摄图像。

可以理解，基于拍摄图像、目标方向参数、目标偏振参数生成低分辨率拍摄图像的过程，与前述图7a中基于高分辨率参照图像、该高分辨率参照图像的方向参数、该高分辨率参照图像的偏振参数生成低分辨率参照图像的过程实质相同，在此不做赘述。

并且，可向训练好的NeRF模型输入基于前述步骤302或步骤502确定的拍摄图像对应的高分辨率参照图像。具体地，可向该NeRF模型输入该高分辨率参照图像的位置参数、方向参数以及偏振参数以得到对应的低分辨率参照图像。在此，高分辨率参照图像的位置参数、方向参数以及偏振参数的具体内容，以及生成低分辨率参照图像的具体过程可参见前述对图7a的具体描述，在此不做赘述。

进而，可将前述具有高光细节的目标视角下的低分辨率拍摄图像、低分辨率参照图像、高分辨率参照图像、目标偏振参数输入训练好的RefSR模型中，以根据低分辨率参照图像及低分辨率拍摄图像通过RefSR模型中的退化模型输出残差特征、根据高分辨率参照图像及低分辨率拍摄图像结合目标偏振参数通过RefSR模型中的高频模型输出高频特征。进而，基于RefSR模型中的融合模块将残差特征及高频特征进行融合，得到具有高光细节的目标视角下的超分辨率拍摄图像。在此，输出残差特征、高频特征的具体内容可参见前述图7b中的具体描述，在此不做赘述。

图8以本申请提供的图像处理方法适用的电子设备为手机100为例，示出了手机100的结构示意图。

如图8所示，手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L等。

可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，移动产业处理器接口（mobile industryprocessor interface，MIPI），通用输入输出（general-purpose input/output，GPIO）接口等。

手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Mini-LED，Micro-LED，Micro-OLED，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。

手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将该电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样，手机100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络（neural-network ，NN）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。手机100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，手机100根据压力传感器180A检测该触摸操作的强度。手机100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入，产生与手机100的用户设置以及功能控制有关的键信号输入。

图9以本申请提供的图像处理方法适用的电子设备为手机100为例，示出了手机100的软件结构框图。

手机100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android***为例，示例性说明手机100的软件结构。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时（Android runtime）和***库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图9所示，应用程序包可以包括前述图像处理应用、拍摄应用等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图9所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。该数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供手机100的通信功能。例如通话状态的管理（包括接通，挂断等）。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器（surface manager），媒体库（media libraries），三维图形处理库（例如：openGL ES），2D图形引擎（例如：SGL）等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

本申请实施例还提供了一种计算机程序产品，用于实现上述各实施例提供的图像处理方法。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程***上执行的计算机程序模块或模块代码，该可编程***包括至少一个处理器、存储***（包括易失性和非易失性存储器和/或存储元件）、至少一个输入设备以及至少一个输出设备。

计算机程序模块或模块代码，可以应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理***包括具有诸如例如数字信号处理器（digital signal processor，DSP）、微控制器、专用集成电路（application specific integrated circuit，ASIC）或微处理器之类的处理器的任何***。

模块代码可以用高级模块化语言或面向对象的编程语言来实现，以便与处理***通信。在需要时，也可用汇编语言或机器语言来实现模块代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读（例如，计算机可读）存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器（例如，计算机）可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、磁光盘、只读存储器（Read Only Memory，ROM）、随机存取存储器（random access memory，RAM）、可擦除可编程只读存储器（erasable programmable read only memory，EPROM）、电可擦除可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息（例如，载波、红外信号数字信号等）的有形的机器可读存储器。因此，机器可读介质包括适合于以机器（例如计算机）可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本申请实施例公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。

本申请实施例的公开还涉及用于执行文本中的操作装置。该装置可以专门处于所要求的目的而构造或者其可以包括被存储在计算机中的计算机程序选择性地激活或者重新配置的通用计算机。这样的计算机程序可以被存储在计算机可读介质中，诸如，但不限于任何类型的盘，包括软盘、光盘、CD-ROM、磁光盘、只读存储器（ROM）、随机存取存储器（RAM）、EPROM、EEPROM、磁或光卡、专用集成电路（ASIC）或者适于存储电子指令的任何类型的介质，并且每个可以被耦合到计算机***总线。此外，说明书中所提到的计算机可以包括单个处理器或者可以是采用针对增加的计算能力的多个处理器涉及的架构。

另外，在本说明书所使用的语言已经主要被选择用于可读性和指导性的目的并且可能未被选择为描绘或限制所公开的主题。因此，本申请实施例公开旨在说明而非限制本文所讨论的概念的范围。

Claims (20)

1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：

获取第一图像；

向第一图像处理模型输入第一图像及第一偏振参数，得到第二图像，其中，所述第二图像包括对应所述第一偏振参数的第一高光信息。

2.根据权利要求1所述的方法，其特征在于，所述第一图像的图像参数至少包括第一图像的各个像素点的位置参数、所述第一图像的方向参数，并且，

所述向第一图像处理模型输入第一图像及第一偏振参数，得到第二图像，包括：

向所述第一图像处理模型输入所述第一图像的图像参数、以及所述第一偏振参数，得到所述各个像素点的像素颜色参数；

根据所述各个像素点的像素颜色参数，生成所述第二图像。

3.根据权利要求2所述的方法，其特征在于，所述第一图像的方向参数包括：

表征所述第一图像的拍摄视角的第一方向参数，或者，

第二方向参数，其中，所述第二方向参数表征的拍摄视角与所述第一图像的拍摄视角不同。

4.根据权利要求3所述的方法，其特征在于，所述得到第二图像之后，所述方法还包括：

向第二图像处理模型输入所述第二图像、所述第一偏振参数、第一参照图像及第二参照图像，得到第三图像，其中，所述第一参照图像包括与所述第一图像的拍摄对象和/或拍摄场景相同的高分辨率偏振图像，所述第一参照图像的图像参数至少包括第一参照图像的各个像素点的位置参数、所述第一参照图像的方向参数及偏振参数；

所述第二参照图像为所述第一参照图像的图像参数输入所述第一图像处理模型，得到的低分辨率偏振图像。

5.根据权利要求4所述的方法，其特征在于，所述第二图像处理模型包括第一模型、第二模型、第三模型，并且，

所述向第二图像处理模型输入所述第二图像、所述第一偏振参数、第一参照图像及第二参照图像，得到第三图像，包括：

向所述第一模型输入所述第一参照图像、所述第二图像以及所述第一偏振参数，得到第一特征向量；

向所述第二模型输入所述第二参照图像以及所述第二图像，得到第二特征向量；

向所述第三模型输入所述第一特征向量及所述第二特征向量，得到所述第三图像；

其中，所述第三图像为超分辨率图像，所述第三图像包括所述第一偏振参数对应的第一高光信息、以及第一高频信息，其中，所述第一高频信息对应于所述第一特征向量和第二特征向量。

6.根据权利要求5所述的方法，其特征在于，所述向所述第一模型输入所述第一参照图像、所述第二图像以及所述第一偏振参数，得到第一特征向量，包括：

对所述第二图像的上采样结果和所述第一参照图像进行空间至深度的重排操作，得到第三特征向量；

将所述第三特征向量输入所述第一模型中的编码器，得到第四特征向量；

基于所述第一模型将所述第一偏振参数拼接至所述第四特征向量中，得到第五特征向量；

将所述第五特征向量输入所述第一模型中的解码器，得到所述第一特征向量。

7.根据权利要求5所述的方法，其特征在于，所述向所述第二模型输入所述第二参照图像以及所述第二图像，得到第二特征向量，包括：

向所述第二模型输入所述第二参照图像以及所述第二图像，得到第六特征向量；

对所述第六特征向量进行深度至空间的重排操作，得到所述第二特征向量。

8.根据权利要求1所述的方法，其特征在于，所述第一图像处理模型包括NeRF模型。

9.根据权利要求4所述的方法，其特征在于，所述第二图像处理模型包括RefSR模型。

10.一种模型训练方法，应用于电子设备，其特征在于，所述方法包括：

获取若干个第四图像，其中，所述第四图像包括对同一拍摄对象基于不同拍摄视角拍摄得到的高分辨率偏振图像，所述第四图像的图像参数至少包括第四图像的各个像素点的位置参数、所述第四图像的方向参数以及偏振参数；

向第一图像处理模型输入所述第四图像的所述图像参数，得到所述第四图像的各个像素点的训练像素颜色参数；

根据所述第四图像的各个像素点的训练像素颜色参数以及实际颜色参数通过损失函数计算损失值；

调节所述第一图像处理模型的参数使得所述损失值位于预设区间。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

基于所述第四图像的各个像素点的所述训练像素颜色参数得到第五图像，其中，所述第五图像为所述第四图像对应的低分辨率偏振图像。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

向第二图像处理模型输入所述第四图像、所述第五图像、以及所述第四图像的偏振参数，得到第六图像；

根据所述第六图像以及所述第四图像通过损失函数计算损失值；

调节所述第二图像处理模型的参数使得所述损失值位于预设区间。

13.根据权利要求12所述的方法，其特征在于，所述第二图像处理模型包括第一模型、第二模型、第三模型，并且，

所述向第二图像处理模型输入所述第四图像、所述第五图像、以及所述第四图像的偏振参数，得到第六图像，包括：

将所述第四图像、所述第五图像、所述第四图像的偏振参数输入所述第一模型得到第一训练特征向量；

将所述第五图像输入所述第二模型得到第二训练特征向量；

将所述第一训练特征向量及所述第二训练特征向量输入所述第三模型，得到第六图像。

14.根据权利要求13所述的方法，其特征在于，所述将所述第四图像、所述第五图像、所述第四图像的偏振参数输入所述第一模型得到第一训练特征向量，包括：

将所述第五图像的上采样结果和所述第四图像进行空间至深度的重排操作，得到第三训练特征向量；

将所述第三训练特征向量输入所述第一模型中的编码器，得到第四训练特征向量；

将所述第四图像的偏振参数拼接至所述第四训练特征向量，得到第五训练特征向量；

将所述第五训练特征向量输入所述第一模型中的解码器，得到所述第一训练特征向量。

15.根据权利要求13所述的方法，其特征在于，所述将所述第五图像输入所述第二模型得到第二训练特征向量，包括：

向所述第二模型输入所述第五图像，得到第六训练特征向量；

对所述第六训练特征向量进行深度至空间的重排操作，得到所述第二训练特征向量。

16.根据权利要求10所述的方法，其特征在于，所述第一图像处理模型包括NeRF模型。

17.根据权利要求12所述的方法，其特征在于，所述第二图像处理模型包括RefSR模型。

18.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至9中任一项所述图像处理方法、或者执行权利要求10至17中任一项所述模型训练方法。

19.一种计算机可读介质，其特征在于，所述可读介质上存储有指令，所述指令在计算机上执行时使所述计算机执行权利要求1至9中任一项所述的图像处理方法、或者执行权利要求10至17中任一项所述的模型训练方法。

20.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现所述权利要求1至9中任一项所述的图像处理方法、或者实现所述权利要求10至17中任一项所述的模型训练方法。