CN112533071B - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开了图像处理方法、装置及电子设备，属于通信技术领域，所述方法包括：从预览图像中截取人眼图像；将所述人眼图像输入对视人眼生成网络模型中；获取所述对视人眼生成网络模型输出的目标对视人眼图像；按照所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像。本申请公开的图像处理方法，能够在人眼未注视摄像头时对拍摄的预览图像进行后期处理，最终得到人眼对视效果的图像。

Description

图像处理方法、装置及电子设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像处理方法、装置及电子设备。

背景技术

随着智能电子设备越来越普及智能电子设备的性能也在不断提升，智能电子设备上前置摄像头已基本普及。用户可使用前置摄像头进行视频通话、视频会议、自拍、直播等活动，为生活带来便利与乐趣。

前置摄像头大多设置在屏幕的周围，因此用户在使用前置摄像头进行视频通话或自拍等活动时，在注视屏幕的同时无法注视摄像头，导致前置摄像头采集的预览图像中用户的目光是看向别处的，没有面对面交流时目光对视的感觉。而用户如果注视前置摄像头则无法同时注视屏幕，无法看清屏幕中所显示的内容。可见，现有技术中无法在用户注视屏幕时，拍摄出注视摄像头时目光对视感觉的图像。

发明内容

本申请实施例的目的是提供一种图像处理方法，能够解决现有技术中无法在用户注视屏幕时，拍摄出目光对视感觉的图像的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，其中，所述方法包括：从预览图像中截取人眼图像；将所述人眼图像输入对视人眼生成网络模型中；获取所述对视人眼生成网络模型输出的目标对视人眼图像；根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像。

第二方面，本申请实施例提供了一种图像处理装置，其中，所述装置包括：截取模块，用于从预览图像中截取人眼图像；输入模块，用于将所述人眼图像输入对视人眼生成网络模型中；获取模块，用于获取所述对视人眼生成网络模型输出的目标对视人眼图像；调整模块，用于根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

本申请实施例中，通过从预览图像中截取人眼图像；将人眼图像输入对视人眼生成网络模型中；获取对视人眼生成网络模型输出的目标对视人眼图像；根据目标对视人眼图像调整预览图像中的人眼图像，生成目标图像，能够在人眼未注视摄像头时对拍摄的预览图像进行后期处理，最终得到人眼对视效果的图像。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是表示本申请实施例的一种图像处理方法的步骤流程图；

图2是表示本申请实施例的第一界面示意图；

图3是表示本申请实施例的一种图像处理装置的结构框图；

图4是表示本申请实施例的一种电子设备的结构框图；

图5是表示本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供图像处理方法进行详细地说明。

参照图1，示出了本申请实施例的一种图像处理方法的步骤流程图。

本申请实施例的图像处理方法包括以下步骤：

步骤101：从预览图像中截取人眼图像。

***中可预设人眼矫正功能，当***检测到用户开启前置摄像头的情况下，显示提示信息，提示用户开启人眼矫正功能。接收用户对提示信息的响应输入，依据响应输入确定是否开启人眼矫正功能。例如：在用户开启前置摄像头进行视频通话、自拍等场景下，在当前界面中显示提示信息。

提示信息可以为图2中所示的第一界面中包含的选项窗，选项窗中包含“是否开启人眼矫正”的提示语句、“是”以及“否”两个选项，用户可对“是”选项执行第一输入，触发***启动人眼矫正功能；用户还可以对“否”选项执行第二输入，触发***关闭该选项框。在用户触发***开启人眼校正功能的情况下，执行本申请实施例中的图像处理方法，对前置摄像头采集的各帧预览图像中的人眼图像进行调整。

人眼图像为预览图像的一部分，人眼图像为拍摄对象的人眼影像所占区域。预览图像中可包含一个人物对象或多个人物对象，在包含一个人物对象时所截取的人脸图像为一个，在包含N个人物对象时所截取的人眼图像为N个，N大于或等于2。

从预览图像中截取单个人眼图像时，可利用预先训练好的人眼检测网络模型，对预览图像进行人眼检测，检测出包含注视屏幕的人眼所对应的人眼区域的外接矩形框，将矩形框圈定的区域裁剪出来作为人眼图像。

人眼检测网络模型，可采用现有的模型训练方式训练得到。在人眼检测网络模型训练前期，收集大量前置摄像头拍摄的自拍、视频通话图像，人工标记每张图像中的人眼的外接矩形框，包括矩形框的顶点坐标，以及每个人眼是否处在观察屏幕状态，记为二分类标签。将收集的标记有二分类标签的各图像作为人脸检测网络模型的训练样本。

步骤102：将人眼图像输入对视人眼生成网络模型中。

对视人眼生成网络模型可预先训练后直接安装在电子设备上，也可以在电子设备上进行训练，电子设备的***基于训练后的对视人眼生成网络模型执行本申请中的图像处理方法。

向对视人眼生成网络模型中输入人眼图像后，对视人眼生成网络模型可输出与所输入的人眼图像匹配的目标对视人眼图像。对视人眼图像基于预先采集的训练样本单元训练得到，其中，每个训练样本单元包括：相同拍摄要素下采集的非对视人眼图像、第一对视人眼图像以及第一人脸图像，训练样本单元需要涉及不同年龄、不同性别、不同肤色、不同肤质、不同妆容的被采集者。采集时需要采集不同角度、不同光照、不同距离、不同睁闭眼程度、不同表情等的非对视与对视人眼的成对图像。例如，甲为年轻男性黄种人，无化妆，乙为中年女性白种人，有化妆。二者均采集以下状态的人眼画面：采集俯视、仰视手机等不同角度图像；采集从远到近不同距离的图像；采集室外日光、室内灯光等不同光照条件下的图像；采集睁大眼、微闭眼等不同状态的图像；采集平静、微笑、发怒等表情的图像。这样保证所收集的非对视与对视人眼图像对的多样性与广泛性，使得采集图像尽量覆盖各种现实场景中不同状态的人眼图像，让对视人眼生成网络模型使用时能够准确地预测出不同类型的对视人眼图像。

视人眼生成网络模型的具体训练方式，参照后续优选实施例中的相关说明即可，本步骤中对此不再赘述。

步骤103：获取对视人眼生成网络模型输出的目标对视人眼图像。

输入对视人眼生成网络模型中的人眼图像中人眼并未与摄像头对视，因此需要对其将其输入对视人眼生成网络模型中进行人眼矫正，对视人眼生成网络模型输出的目标对视人眼图像即为矫正后的人眼图像，目标对视人眼图像中最终呈现出人眼与摄像头对视的感觉。

步骤104：根据目标对视人眼图像调整预览图像中的人眼图像，生成目标图像。

参照目标对视人眼图像调整人眼图像时，可直接采用目标对视人眼图像替换人眼图像，也可以按照预设规则将目标对视人眼图像与人眼图像进行整合，能够确保生成的目标图像中呈现出人眼与摄像头对视的感觉即可。

本申请实施例提供的图像处理方法，通过从预览图像中截取人眼图像；将人眼图像输入对视人眼生成网络模型中；获取对视人眼生成网络模型输出的目标对视人眼图像；根据目标对视人眼图像调整预览图像中的人眼图像，生成目标图像，能够在人眼未注视摄像头时对拍摄的预览图像进行后期处理，最终得到人眼对视效果的图像。

在一种可选地实施例中，根据目标对视人眼图像调整预览图像中的人眼图像，生成目标图像的步骤，包括以下子步骤：

子步骤一：在预览图像中，分别采用目标对视人眼图像中左眼球影像替换人眼图像中的左眼球影像，采用目标对视人眼图像中的右眼球影像替换人眼图像中的右眼球影像；

子步骤二：针对预览图像中左眼球影像外边缘与左眼影像外边缘之间的第一区域，按照满足第一预设条件的权重系数，将第一区域与目标对视人眼图像中对应的第二区域内的各像素点的像素值进行加权求和；

其中，第一预设条件包括：像素点与左眼球影像外边缘的距离越小，第二区域中的像素点所占权重越大，第一区域中的像素点所占权重越小；对于权重分配与距离之间的具体关系，可由本领域技术人员或者用户灵活设置，本申请实施例中对此不做具体限制。

子步骤三：针对预览图像中右眼球影像外边缘与右眼影像外边缘之间的第三区域，按照满足第二预设条件的权重系数，将第三区域与目标对视人眼图像中对应的第四区域内的各像素点的像素值进行加权求和；

其中，第二预设条件包括：像素点与右眼球影像外边缘的距离越小，第四区域中的像素点所占权重越大，第三区域中的像素点所占权重越小。对于权重分配与距离之间的具体关系，可由本领域技术人员或者用户灵活设置，本申请实施例中对此不做具体限制。

需要说明的是，子步骤三并不局限于在子步骤二之后执行，还可以在子步骤二之前执行或者与子步骤二并行执行。

该种可选地在预览图像中调整人眼图像的方式，采用目标人眼对视图像的眼球区域直接覆盖预览图像中的眼球，可确保生成的目标图像中眼球显示效果不会受到预览图像中眼球显示效果影响。对于预览图像中的眼球***区域采用渐进融合方式贴回，使得融合后的人眼图像过渡更加自然。

在一种可选地实施例中，在从预览图像中截取人眼图像的步骤之前，该方法还包括如下步骤：

步骤一：收集多个训练样本单元；

其中，每个训练样本单元包括：相同拍摄要素下采集的非对视人眼图像、第一对视人眼图像以及第一人脸图像。拍摄要素包括以下至少之一：拍摄角度、拍摄人物、拍摄人物姿态、光照强度以及焦距。

训练样本单元需要涉及不同年龄、不同性别、不同肤色、不同肤质、不同妆容的被采集者。采集时需要采集不同角度、不同光照、不同距离、不同睁闭眼程度、不同表情等的非对视与对视人眼的成对图像。

步骤二：基于收集的多个训练样本单元，训练对视人眼生成网络模型。

对视人眼生成网络模型采用卷积神经网络的形式，在对视人眼生成网络模型使用前，需通过收集的大量训练样本单元对其进行训练。训练完成后，向该模型中输入非对视人眼图像，该模型可输出矫正的对视人眼图像。在基于收集的大量训练样本单元对该模型进行训练的具体流程参照下述可选实施例中的具体描述，本可选实施例中对不进行赘述。

本可选实施例中，在多种不同被采集者、不同拍摄条件下采集训练样本单元，可保证所收集的训练样本单元的多样性与广泛性，基于多样、广泛的训练样本单元训练的对视人眼生成网络模型，预测结果更加可靠。

在一种可选地实施例中，基于收集的多个训练样本单元，训练对视人眼生成网络模型的方式，包括以下步骤：

步骤一：针对每个训练样本单元，将训练样本单元中的非对视人眼图像输入对视人眼生成网络模型中；

步骤二：获取对视人眼生成网络模型输出的第二对视人眼图像；

步骤三：确定第二对视人眼图像相较于第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失；

确定对视效果鉴别损失、身份偏移损失以及位置偏移损失的具体确定方式，参照下述可选实施例中的相关说明即可，本步骤中对此不进行赘述。

步骤四：基于对视效果鉴别损失、身份偏移损失以及位置偏移损失，调整对视人眼生成网络模型的预设参数。

调整对视人眼生成网络模型的预设参数后，再重复上述步骤一至步骤三依据下一个训练样本单元对调整参数后的对视人眼生成网络模型进行训练，直至全部训练样本单元均训练完成为止。

该种可选地在训练对视人眼生成网络模型过程中，依据身份偏移损失调整模型参数的方式，可提升模型预测的目标对视人眼图像所对应的人物与输入的非对视人眼图像所对应的人物的身份一致性。此外，依据位置偏移损失调整模型参数，可防止模型预测的目标对视人眼图像相对输入的人眼图像发生位置偏移。

在一种可选地实施例中，确定第二对视人眼图像相较于第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失的步骤，包括以下子步骤：

子步骤一：将第一对视人眼图像与第二对视人眼图像输入人眼鉴别网络模型中，将人眼鉴别网络模型的输出记为对视效果鉴别损失；

人眼鉴别网络可为常用的基于生成式对抗网络(GAN,Generative AdversarialNetworks)的鉴别器。

子步骤二：分别将第一对视人眼图像贴合至第一人脸图像相应位置处，得到第二人脸图像；将第二对视人眼图像贴合至所述第一人脸图像相应位置处，得到第三人脸图像；

子步骤三：分别将第二人脸图像和第三人脸图像输入人脸识别网络模型中，得到预设维度的第一特征图和第二特征图；

预设维度可由用户灵活设置，本申请实施例中对此不做具体限制。

在实际实现过程中可将第二人脸图像、第三人脸图像分别输入人脸识别网络模型中，取人脸识别网络模型中指定某一层的特征图，计算两者差异，计算方式可为计算二者的距离，将该结果作为身份偏移损失。例如：用户在人脸识别网络模型中指定的特征图为最后一层128维特征图。将第二人脸图像和跌三人脸图像分别输入人脸识别网络模型中，分别取128维的特征图，计算两者的损失，计算所得损失作为身份偏移损失。

子步骤四：依据第一特征图和第二特征图，计算身份偏移损失；

子步骤五：分别检测第一对视人眼图像中人眼眼眶的四个第一端点，以及第二对视人眼图像中人眼眼眶的四个第二端点；

四个第一端点分别为第一对视人眼图像中左眼的左右两个端点，以及右眼的左右两个端点；四个第二端点分别为第二对视人眼图像中左眼的左右两个端点，以及右眼的左右两个端点。

子步骤六：将四个第二端点相较于四个第一端点的偏移量，确定为位置偏移损失。

针对每个第二端点，可计算该第二端点与相应位置的第一端点的偏移量，将所得四个偏移量之和或均值确定为位置偏移损失。

该种可选地确定对视效果鉴别损失、身份偏移损失以及位置偏移损失的方式，所确定的结果准确、可靠。

在一种可选地实施例中，每个训练样本单元包括:基准对视人眼图像，相同拍摄要素下采集的非对视人眼图像、第一对视人眼图像以及第一人脸图像，基于收集的多个训练样本单元，训练对视人眼生成网络模型时，可采用如下方式：

步骤一：针对每个训练样本单元，将训练样本单元中的非对视人眼图像和基准对视人眼图像，输入对视人眼生成网络模型中。

本可选实施例中的训练样本单元中的非对视人眼图像、第一对视人眼图像以及第一人脸图像的采集方式相同，不同之处在于每一位被采集者要额外采集一张正对前置摄像头并且注视前置摄像头的图像，裁剪图像中人眼图像作为基准对视人眼图像。

步骤二：获取对视人眼生成网络模型输出的第二对视人眼图像；

步骤三：确定第二对视人眼图像相较于第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失；

步骤四：基于对视效果鉴别损失、身份偏移损失以及位置偏移损失，调整对视人眼生成网络模型的预设参数。

调整对视人眼生成网络模型的预设参数后，再重复上述步骤一至步骤三依据下一个训练样本单元对调整参数后的对视人眼生成网络模型进行训练，直至全部训练样本单元均训练完成为止。

该种可选地在训练样本单元中设置基准对视人眼图像的方式，可使得训练后的对视人眼生成网络的预测的目标对视人眼图像更加自然、准确。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中后续以图像处理模块执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

图3为实现本申请实施例的一种图像处理装置的结构框图。

本申请实施例的图像处理装置300包括：

截取模块301，用于从预览图像中截取人眼图像；

输入模块302，用于将所述人眼图像输入对视人眼生成网络模型中；

获取模块303，用于获取所述对视人眼生成网络模型输出的目标对视人眼图像；

调整模块304，用于根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像。

可选的，所述调整模块包括：

第一子模块，用于在所述预览图像中，分别采用所述目标对视人眼图像中左眼球影像替换所述人眼图像中的左眼球影像，采用所述目标对视人眼图像中的右眼球影像替换所述人眼图像中的右眼球影像；

第二子模块，用于针对所述预览图像中左眼球影像外边缘与左眼影像外边缘之间的第一区域，按照满足第一预设条件的权重系数，将所述第一区域与所述目标对视人眼图像中对应的第二区域内的各像素点的像素值进行加权求和；

第三子模块，用于针对所述预览图像中右眼球影像外边缘与右眼影像外边缘之间的第三区域，按照满足第二预设条件的权重系数，将所述第三区域与所述目标对视人眼图像中对应的第四区域内的各像素点的像素值进行加权求和；

其中，所述第一预设条件包括：像素点与左眼球影像外边缘的距离越小，第二区域中的像素点所占权重越大，第一区域中的像素点所占权重越小；所述第二预设条件包括：像素点与右眼球影像外边缘的距离越小，第四区域中的像素点所占权重越大，第三区域中的像素点所占权重越小。

可选的，所述装置还包括：

收集模块，用于在所述截取模块从预览图像中截取人眼图像之前，收集多个训练样本单元，其中，每个训练样本单元包括：相同拍摄要素下采集的非对视人眼图像、第一对视人眼图像以及第一人脸图像；

训练模块，用于基于收集的所述多个训练样本单元，训练对视人眼生成网络模型；

其中，所述拍摄要素包括以下至少之一：拍摄角度、拍摄人物、拍摄人物姿态、光照强度以及焦距。

可选的，所述训练模块包括：

第四子模块，用于针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像输入对视人眼生成网络模型中；

第五子模块，用于获取所述对视人眼生成网络模型输出的第二对视人眼图像；

第六子模块，用于确定所述第二对视人眼图像相较于所述第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失；

第七子模块，用于基于所述对视效果鉴别损失、所述身份偏移损失以及所述位置偏移损失，调整所述对视人眼生成网络模型的预设参数。

可选的，所述第六子模块包括：

第一单元，用于将所述第一对视人眼图像与所述第二对视人眼图像输入人眼鉴别网络模型中，将所述人眼鉴别网络模型的输出记为所述对视效果鉴别损失；

第二单元，用于分别将所述第一对视人眼图像贴合至所述第一人脸图像相应位置处，得到第二人脸图像；将所述第二对视人眼图像贴合至所述第一人脸图像相应位置处，得到第三人脸图像；

第三单元，用于分别将所述第二人脸图像和所述第三人脸图像输入人脸识别网络模型中，得到预设维度的第一特征图和第二特征图；

第四单元，用于依据所述第一特征图和所述第二特征图，计算所述身份偏移损失；

第五单元，用于分别检测所述第一对视人眼图像中人眼眼眶的四个第一端点，以及所述第二对视人眼图像中人眼眼眶的四个第二端点；

第六单元，用于将所述四个第二端点相较于所述四个第一端点的偏移量，确定为所述位置偏移损失。

可选的，所述每个训练样本单元还包括基准对视人眼图像，所述第四子模块具体用于：

针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像和所述基准对视人眼图像，输入对视人眼生成网络模型中。

本申请实施例提供的图像处理装置，通过从预览图像中截取人眼图像；将人眼图像输入对视人眼生成网络模型中；获取对视人眼生成网络模型输出的目标对视人眼图像；根据目标对视人眼图像调整预览图像中的人眼图像，生成目标图像，能够在人眼未注视摄像头时对拍摄的预览图像进行后期处理，最终得到人眼对视效果的图像。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为iOS操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1至图2的方法实施例中实现的各个过程，为避免重复，这里不再赘述。

可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件，电子设备500包含折叠屏。

本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器510逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器510，从预览图像中截取人眼图像；将所述人眼图像输入对视人眼生成网络模型中；获取所述对视人眼生成网络模型输出的目标对视人眼图像；根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像。

本申请实施例中，电子设备通过从预览图像中截取人眼图像；将人眼图像输入对视人眼生成网络模型中；获取对视人眼生成网络模型输出的目标对视人眼图像；根据目标对视人眼图像调整预览图像中的人眼图像，生成目标图像，能够在人眼未注视摄像头时对拍摄的预览图像进行后期处理，最终得到人眼对视效果的图像。

可选的，处理器510根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像时，具体用于：

在所述预览图像中，分别采用所述目标对视人眼图像中左眼球影像替换所述人眼图像中的左眼球影像，采用所述目标对视人眼图像中的右眼球影像替换所述人眼图像中的右眼球影像；

针对所述预览图像中左眼球影像外边缘与左眼影像外边缘之间的第一区域，按照满足第一预设条件的权重系数，将所述第一区域与所述目标对视人眼图像中对应的第二区域内的各像素点的像素值进行加权求和；

针对所述预览图像中右眼球影像外边缘与右眼影像外边缘之间的第三区域，按照满足第二预设条件的权重系数，将所述第三区域与所述目标对视人眼图像中对应的第四区域内的各像素点的像素值进行加权求和；

其中，所述第一预设条件包括：像素点与左眼球影像外边缘的距离越小，第二区域中的像素点所占权重越大，第一区域中的像素点所占权重越小；所述第二预设条件包括：像素点与右眼球影像外边缘的距离越小，第四区域中的像素点所占权重越大，第三区域中的像素点所占权重越小。

可选的，处理器510在所述从预览图像中截取人眼图像之前，还用于：

收集多个训练样本单元，其中，每个训练样本单元包括：相同拍摄要素下采集的非对视人眼图像、第一对视人眼图像以及第一人脸图像；

基于收集的所述多个训练样本单元，训练对视人眼生成网络模型；

其中，所述拍摄要素包括以下至少之一：拍摄角度、拍摄人物、拍摄人物姿态、光照强度以及焦距。

可选的，处理器510基于收集的所述多个训练样本单元，训练对视人眼生成网络模型时，具体用于：

针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像输入对视人眼生成网络模型中；

获取所述对视人眼生成网络模型输出的第二对视人眼图像；

确定所述第二对视人眼图像相较于所述第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失；

基于所述对视效果鉴别损失、所述身份偏移损失以及所述位置偏移损失，调整所述对视人眼生成网络模型的预设参数。

可选的，处理器510确定所述第二对视人眼图像相较于所述第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失时，具体用于：

将所述第一对视人眼图像与所述第二对视人眼图像输入人眼鉴别网络模型中，将所述人眼鉴别网络模型的输出记为所述对视效果鉴别损失；

分别将所述第一对视人眼图像贴合至所述第一人脸图像相应位置处，得到第二人脸图像；将所述第二对视人眼图像贴合至所述第一人脸图像相应位置处，得到第三人脸图像；

分别将所述第二人脸图像和所述第三人脸图像输入人脸识别网络模型中，得到预设维度的第一特征图和第二特征图；

依据所述第一特征图和所述第二特征图，计算所述身份偏移损失；

分别检测所述第一对视人眼图像中人眼眼眶的四个第一端点，以及所述第二对视人眼图像中人眼眼眶的四个第二端点；

将所述四个第二端点相较于所述四个第一端点的偏移量，确定为所述位置偏移损失。

可选的，所述每个训练样本单元还包括基准对视人眼图像，处理器510针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像输入对视人眼生成网络模型中时，具体用于：

针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像和所述基准对视人眼图像，输入对视人眼生成网络模型中。

应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板、5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

从预览图像中截取人眼图像；

将所述人眼图像输入对视人眼生成网络模型中；

获取所述对视人眼生成网络模型输出的目标对视人眼图像；

根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像；

根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像的步骤，包括：

在所述预览图像中，分别采用所述目标对视人眼图像中左眼球影像替换所述人眼图像中的左眼球影像，采用所述目标对视人眼图像中的右眼球影像替换所述人眼图像中的右眼球影像；

针对所述预览图像中左眼球影像外边缘与左眼影像外边缘之间的第一区域，按照满足第一预设条件的权重系数，将所述第一区域与所述目标对视人眼图像中对应的第二区域内的各像素点的像素值进行加权求和；

针对所述预览图像中右眼球影像外边缘与右眼影像外边缘之间的第三区域，按照满足第二预设条件的权重系数，将所述第三区域与所述目标对视人眼图像中对应的第四区域内的各像素点的像素值进行加权求和；

其中，所述第一预设条件包括：像素点与左眼球影像外边缘的距离越小，第二区域中的像素点所占权重越大，第一区域中的像素点所占权重越小；所述第二预设条件包括：像素点与右眼球影像外边缘的距离越小，第四区域中的像素点所占权重越大，第三区域中的像素点所占权重越小。

2.根据权利要求1所述的方法，其特征在于，在所述从预览图像中截取人眼图像的步骤之前，所述方法还包括：

收集多个训练样本单元，其中，每个训练样本单元包括：相同拍摄要素下采集的非对视人眼图像、第一对视人眼图像以及第一人脸图像；

基于收集的所述多个训练样本单元，训练对视人眼生成网络模型；

其中，所述拍摄要素包括以下至少之一：拍摄角度、拍摄人物、拍摄人物姿态、光照强度以及焦距。

3.根据权利要求2所述的方法，其特征在于，所述基于收集的所述多个训练样本单元，训练对视人眼生成网络模型的步骤，包括：

针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像输入对视人眼生成网络模型中；

获取所述对视人眼生成网络模型输出的第二对视人眼图像；

确定所述第二对视人眼图像相较于所述第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失；

基于所述对视效果鉴别损失、所述身份偏移损失以及所述位置偏移损失，调整所述对视人眼生成网络模型的预设参数。

4.根据权利要求3所述的方法，其特征在于，所述确定所述第二对视人眼图像相较于所述第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失的步骤，包括：

将所述第一对视人眼图像与所述第二对视人眼图像输入人眼鉴别网络模型中，将所述人眼鉴别网络模型的输出记为所述对视效果鉴别损失；

分别将所述第一对视人眼图像贴合至所述第一人脸图像相应位置处，得到第二人脸图像；将所述第二对视人眼图像贴合至所述第一人脸图像相应位置处，得到第三人脸图像；

分别将所述第二人脸图像和所述第三人脸图像输入人脸识别网络模型中，得到预设维度的第一特征图和第二特征图；

依据所述第一特征图和所述第二特征图，计算所述身份偏移损失；

分别检测所述第一对视人眼图像中人眼眼眶的四个第一端点，以及所述第二对视人眼图像中人眼眼眶的四个第二端点；

将所述四个第二端点相较于所述四个第一端点的偏移量，确定为所述位置偏移损失。

5.根据权利要求3所述的方法，其特征在于，所述每个训练样本单元还包括基准对视人眼图像，所述针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像输入对视人眼生成网络模型中的步骤，包括：

针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像和所述基准对视人眼图像，输入对视人眼生成网络模型中。

6.一种图像处理装置，其特征在于，所述装置包括：

截取模块，用于从预览图像中截取人眼图像；

输入模块，用于将所述人眼图像输入对视人眼生成网络模型中；

获取模块，用于获取所述对视人眼生成网络模型输出的目标对视人眼图像；

调整模块，用于根据所述目标对视人眼图像调整所述预览图像中的人眼图像，生成目标图像；

所述调整模块包括：

第一子模块，用于在所述预览图像中，分别采用所述目标对视人眼图像中左眼球影像替换所述人眼图像中的左眼球影像，采用所述目标对视人眼图像中的右眼球影像替换所述人眼图像中的右眼球影像；

第二子模块，用于针对所述预览图像中左眼球影像外边缘与左眼影像外边缘之间的第一区域，按照满足第一预设条件的权重系数，将所述第一区域与所述目标对视人眼图像中对应的第二区域内的各像素点的像素值进行加权求和；

第三子模块，用于针对所述预览图像中右眼球影像外边缘与右眼影像外边缘之间的第三区域，按照满足第二预设条件的权重系数，将所述第三区域与所述目标对视人眼图像中对应的第四区域内的各像素点的像素值进行加权求和；

其中，所述第一预设条件包括：像素点与左眼球影像外边缘的距离越小，第二区域中的像素点所占权重越大，第一区域中的像素点所占权重越小；所述第二预设条件包括：像素点与右眼球影像外边缘的距离越小，第四区域中的像素点所占权重越大，第三区域中的像素点所占权重越小。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

收集模块，用于在所述截取模块从预览图像中截取人眼图像之前，收集多个训练样本单元，其中，每个训练样本单元包括：相同拍摄要素下采集的非对视人眼图像、第一对视人眼图像以及第一人脸图像；

训练模块，用于基于收集的所述多个训练样本单元，训练对视人眼生成网络模型；

其中，所述拍摄要素包括以下至少之一：拍摄角度、拍摄人物、拍摄人物姿态、光照强度以及焦距。

8.根据权利要求7所述的装置，其特征在于，所述训练模块包括：

第四子模块，用于针对每个所述训练样本单元，将所述训练样本单元中的所述非对视人眼图像输入对视人眼生成网络模型中；

第五子模块，用于获取所述对视人眼生成网络模型输出的第二对视人眼图像；

第六子模块，用于确定所述第二对视人眼图像相较于所述第一对视人眼图像的对视效果鉴别损失、身份偏移损失以及位置偏移损失；

第七子模块，用于基于所述对视效果鉴别损失、所述身份偏移损失以及所述位置偏移损失，调整所述对视人眼生成网络模型的预设参数。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。

Images