CN112087590A - 图像处理方法、装置、***及计算机存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、***及计算机存储介质。该方法包括获取初始图像；其中初始图像包括目标对象。根据初始图像中的目标对象确定目标对象框；其中目标对象框包括目标对象；目标对象框在初始图像中圈定的图像为目标图像。删除初始图像中的非目标图像；其中初始图像包括目标图像及所述非目标图像。本申请实施例可对获取的初始图像确定目标对象框，删除初始图像中目标对象框以外的非目标图像，将该目标对象框选取的图像作为所需图像可避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。同时该目标对象框选取的图像面积小于初始图像可降低传输成本，加快传输速度。

Description

图像处理方法、装置、***及计算机存储介质

技术领域

本申请涉及图像识别技术领域，特别的涉及一种图像处理方法、装置、***及计算机存储介质。

背景技术

目前，摄像头已广泛应用在不同终端设备中提供拍照或录像功能，但由于其在拍照或录像时存在盲区或死角，影响了应用效果。例如在视频聊天或网络教学过程中，一般摄像头的视场角FOV在40-60度之间，视场角偏小，给用户使用带来不方便，影响了用户体验。鉴于此，我们可采用鱼眼相机或广角相机等替换普通摄像头，或者给终端设备的牵制摄像头上额外套上广角镜头(FOV>90)等，以实现广角摄像机的效果，进而带给用户更好的体验。

但我们在应用广角摄像头时，会发现广角摄像头拍摄角度范围较大，不仅易造成用户隐私的泄露，还易造成传输成本过大。

发明内容

本申请实施例提供了一种图像处理方法、装置、***及计算机存储介质，对获取的图像识别目标对象并根据该目标对象确定目标对象框，删除该获取图像中目标对象框以外的区域，通过发送该目标对象框对选取的图像以展现更为安全的图像信息。同时选取的图像相较于获取的图像面积更小从而降低了传输成本，更加适用。

第一方面，本申请实施例提供了一种图像处理方法，包括：

获取初始图像；其中初始图像包括目标对象。

根据初始图像中的目标对象确定目标对象框；其中目标对象框包括目标对象；目标对象框在初始图像中圈定的图像为目标图像。

删除初始图像中的非目标图像；其中初始图像包括目标图像及所述非目标图像。

在本申请实施例中，可对获取的初始图像确定目标对象框，删除初始图像中目标对象框以外的非目标图像，将该目标对象框选取的图像作为所需图像可避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。同时该目标对象框选取的图像面积小于初始图像可降低传输成本，加快传输速度。

在第一方面的一种可选方案中，根据初始图像中的目标对象确定目标对象框具体包括：

采用人脸识别算法对初始图像中的目标对象识别，确定目标对象框。

在本申请实施例中，具体地可通过人脸识别算法对初始图像进行识别，保障目标对象框的准确性，以进一步避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。

在第一方面的又一种可选方案中，初始图像包括多帧图像；

采用人脸识别算法对初始图像中的目标对象识别，确定目标对象框具体包括：

从多帧图像中选择目标帧图像；

将目标帧图像的灰度值输入目标神经网络模型得到初始对象框数据；目标神经网络模型为多个已知图像的样本灰度值和对应图像的样本目标对象框数据训练得到的模型；

按照预设比例处理初始对象框数据得到目标对象框。

在本申请实施例中，具体地从获取的图像中选取最适合作为参考的单帧图像，将该单帧图像输入训练好的神经网络模型得到初始对象框数据，并按照预设比例处理该初始对象框数据。其中该神经网络模型是根据已知样本进行训练，可保障根据选取的单帧图像灰度值所输出的初始对象框数据更为准确靠谱，同时还可根据预设比例对初始对象框进行调节，以获取更为合适的目标图像。

在第一方面的又一种可选方案中，按照预设比例处理初始对象框数据得到目标对象框具体包括：

获取目标距离信息；

根据目标距离信息确定比例系数；

根据比例系数及所述初始对象框数据确定目标对象框。

在本申请实施例中，具体地通过获取用户与摄像头之间的距离以判断对象框的尺寸，进而利用距离所对应的系数与初始数据框数据得到更为合适的目标对象框，可提高用户的体验，进一步的避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。

在第一方面的又一种可选方案中，根据目标距离信息确定比例系数具体包括：

根据目标距离信息确定目标分类；

查找预设的分类比例映射列表，确定与目标分类对应的比例系数。

在本申请实施例中，具体地通过获取用户与摄像头之间的距离以判断该距离为近距离或远距离，进而通过查找列表得到对应的比例系数，以使该比例系数结合实际距离更具适用性，进一步的可避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。

在第一方面的又一种可选方案中，删除初始图像中的非目标图像之后还包括：

获取目标图像中的目标对象脸部特征点；

查找预设的对应于目标对象脸部特征点的移动轨迹，按照移动轨迹移动目标对象脸部特征点。

在本申请实施例中，为解决广角摄像头拍摄的图像会使人脸较为肥胖影响用户体验，具体地获取目标图像的目标对象脸部特征点，通过预设轨迹调节对应的脸部特征点，可改善图像中的人脸效果，以给用户带来更好的体验。

在第一方面的又一种可选方案中，删除初始图像中的非目标图像之后还包括：

识别目标图像中的目标对象表情；

根据目标对象表情生成提示信息；

展示提示信息。

在本申请实施例中，具体地通过识别目标图像中的目标对象表情以判断用户当前状态，并向用户展示根据此状态对应的提示信息，可在保障用户隐私的情况下对用户进行提醒，给用户带来更好的体验。

第二方面，本申请实施例提供了一种图像处理装置，包括：

获取模块，用于获取初始图像；初始图像包括目标对象；

确定模块，用于根据初始图像中的目标对象确定目标对象框；目标对象框包括目标对象；目标对象框在初始图像中圈定的图像为目标图像；

执行模块，用于删除初始图像中的非目标图像；初始图像包括目标图像及非目标图像。

在本申请实施例中，可对获取的初始图像确定目标对象框，删除初始图像中目标对象框以外的非目标图像，将该目标对象框选取的图像作为所需图像可避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。同时该目标对象框选取的图像面积小于初始图像可降低传输成本，加快传输速度。

在第二方面的一种可选方案中，确定模块具体用于采用人脸识别算法对初始图像中的所述目标对象识别，确定目标对象框。其中目标对象框包括目标对象；目标对象框在初始图像中圈定的图像为目标图像。

在本申请实施例中，具体地可通过人脸识别算法对初始图像进行识别，保障目标对象框的准确性，以进一步避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。

在第二方面的又一种可选方案中，初始图像包括多帧图像，确定模块具体可包括：

选取单元，用于从多帧图像中选择目标帧图像；

计算单元，用于将目标帧图像的灰度值输入目标神经网络模型得到初始对象框数据；目标神经网络模型为多个已知图像的样本灰度值和对应图像的样本目标对象框数据训练得到的模型；

处理单元，用于按照预设比例处理初始对象框数据得到目标对象框。

在本申请实施例中，具体地从获取的图像中选取最适合作为参考的单帧图像，将该单帧图像输入训练好的神经网络模型得到初始对象框数据，并按照预设比例处理该初始对象框数据。其中该神经网络模型是根据已知样本进行训练，可保障根据选取的单帧图像灰度值所输出的初始对象框数据更为准确靠谱，同时还可根据预设比例对初始对象框进行调节，以获取更为合适的目标图像。

在第二方面的又一种可选方案中，处理单元具体可包括：

获取元件，用于获取目标距离信息；

第一确立元件，用于根据目标距离信息确定比例系数；

第二确立元件，用于根据比例系数及初始对象框数据确定目标对象框。

在本申请实施例中，具体地通过获取用户与摄像头之间的距离以判断对象框的尺寸，进而利用距离所对应的系数与初始数据框数据得到更为合适的目标对象框，可提高用户的体验，进一步的避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。

在第二方面的又一种可选方案中，该图像处理装置还可包括：

特征点获取模块，用于获取目标图像中的目标对象脸部特征点；

控制模块，用于查找预设的对应于目标对象脸部特征点的移动轨迹，按照移动轨迹移动目标对象脸部特征点。

在本申请实施例中，为解决广角摄像头拍摄的图像会使人脸较为肥胖影响用户体验，具体地获取目标图像的目标对象脸部特征点，通过预设轨迹调节对应的脸部特征点，可改善图像中的人脸效果，以给用户带来更好的体验。

在第二方面的又一种可选方案中，该图像处理装置还可包括：

识别模块，用于识别目标图像中的目标对象表情；

生成模块，用于根据目标对象表情生成提示信息；

展示模块，用于展示提示信息。

在本申请实施例中，具体地通过识别目标图像中的目标对象表情以判断用户当前状态，并向用户展示根据此状态对应的提示信息，可在保障用户隐私的情况下对用户进行提醒，给用户带来更好的体验。

第三方面，本申请实施例提供了一种图像处理装置，包括处理器、存储器以及通信接口；处理器与存储器、通信接口相连；存储器，用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本申请实施例第一方面或第一方面的任意一种实现方式提供的图像处理方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的图像处理方法。

第五方面，本申请实施例提供了一种计算机程序产品，当该计算机程序产品在图像处理装置上运行时，使得该图像处理装置执行本申请实施例第一方面或第一方面的任意一种实现方式提供的图像处理方法。

可以理解地，上述提供的第三方面提供的图像处理装置、第四方面提供的计算机存储介质，以及第五方面提供的计算机程序产品均用于执行第一方面所提供的图像处理方法，因此，其所能达到的有益效果可参考第一方面所提供的图像处理方法中的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像处理***的架构示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种初始图像与目标图像的示意图；

图4为本申请实施例提供的又一种图像处理方法的流程示意图；

图5为本申请实施例提供的一种在初始图像中确定目标对象框数据的示意图；

图6为本申请实施例提供的又一种图像处理方法的流程示意图；

图7为本申请实施例提供的一种脸颊特征点移动的示意图；

图8为本申请实施例提供的又一种图像处理方法的流程示意图；

图9为本申请实施例的一种图像处理装置的结构示意图；

图10为本申请实施例的又一种图像处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

请参见图1，图1是本申请实施例提供的一种图像处理***的架构示意图。

如图1所示，该图像处理***可以包括第一终端集群、服务器20和第二终端集群。

第一终端集群可以为学生端，具体包括一个或多个学生端，其中多个学生端可以包括学生端10a、学生端10b、学生端10c…等。在第一终端集群中可安装学生版的软件，用于实现学生线上学***板电脑、笔记本电脑等设备。需要说明的是，本申请实施例中的任意一个学生端可以安装有广角摄像头。该广角摄像头可用于获取包含该学生的原始图像。该学生端可以对该原始图像进行裁剪处理，并将处理后的图像发送给其他终端。

第二终端集群可以为教师端，具体包括一个或多个教师端，其中多个教师端可以包括教师端30a、教师端30b、教师端30c…等。在第二终端集群中可安装教师版的软件，用于实现老师在线授课、批阅作业等功能，其中具体的软件可为钉钉、腾讯课堂等。第二终端集群中任意一个教师端均可以建立与网络之间的数据关系，并通过该网络和服务器20建立数据连接关系，例如发送或接收图像、语音、文件等。其中，第二终端集群中任意一个教师端可以但不限于是安装有教师版软件的手机、平板电脑、笔记本电脑等设备。

网络可以是在第一终端集群中任意一个学生端和服务器20之间或在第二终端集群中任意一个教师端和服务器20之间提供通信链路的介质，也可以是包含网络设备和传输介质的互联网，不限于此。传输介质可以是有线链路(例如但不限于，同轴电缆、光纤和数字用户线路(digital subscriber line，DSL)等)或无线链路(例如但不限于，无线上网(wireless fidelity，WIFI)、蓝牙和移动设备网络等)。

服务器20可以是能提供多种服务的服务器，可以接收网络或第一终端集群中的任意一个学生端发送的图像、语音、文件等数据，或给网络或第一终端集群中的任意一个学生端发送第二终端集群中任意一个教师端发送的图像、语音、文件等数据；也可以接收网络或第二终端集群中的任意一个教师端发送的图像、语音、文件等数据，或给网络或第二终端集群中的任意一个教师端发送第一终端集群中任意一个学生端发送的图像、语音、文件等数据。服务器20可以但不限于是硬件服务器、虚拟服务器、云服务器等。

可以理解地，图1所示的图像处理***中的第一终端集群、服务器20和第二终端集群的数目仅作为示例，在具体实现中，该图像处理***可以包含任意数目的学生端、教师端和服务器。本申请实施例对此不作限定。例如但不限于，服务器20可以是多个服务器组成的服务器集群。

请参阅图2，图2示出了本申请实施例提供的一种图像处理方法的流程示意图。

如图2所示，该图像处理方法可以包括：

步骤201、获取初始图像。

其中，该初始图像包括目标对象。具体地，该目标对象可为正在线上学习的学生。

具体地，可响应于学生的线上学习指令，通过前置摄像头拍摄学生以获取初始图像。其中该初始图像可以包括该学生在内的若干背景对象，例如桌子、沙发、书柜等。

需要说明的是，该前置摄像头为视场角大于一定阈值(例如但不限于90度)的摄像头。

可选的，该前置摄像头可为广角摄像头。

可选的，该前置摄像头可为普通摄像头，在该普通摄像头上套设有广角镜头。

可能的，获取的初始图像可由一个或多个单帧图像组成。

示例性的，以学生线上学习为例。学生通过移动终端的APP登录账号(此处的APP可以但不限于钉钉等软件)，点击进入视频会议界面后通过该移动终端的前置摄像头获取带有该学生的拍摄图像。需要说明的是，该学生登录账号的移动终端的显示界面可包括多个带有不同用户的图像框，其中该不同用户可包括授课老师、其他学生等。

步骤202、根据初始图像中的目标对象确定目标对象框。

具体地，目标对象框包括目标对象；目标对象框在初始图像中圈定的图像为目标图像。其中，该目标对象可为正在线上学习的学生。

具体地，可根据初始图像中目标对象的所在位置及大小确定目标对象框的位置及大小，该目标对象框圈定的图像包含目标对象以及该目标对象周围的背景图像。需要说明的是，目标对象框选取的图像尺寸小于初始图像的尺寸。

可能的，该目标对象框可与目标对象的最小外切框重合。

可能的，该目标对象框可与目标对象的最小外切框中心重合，面积为最小外切框的n倍(n可以但不限于为2)。

可能的，该目标图像框的某个顶点与目标对象的最小外切框的同一顶点重合，该顶点可以但不限于为目标图像框的左上顶点。

步骤203、删除初始图像中的非目标图像。

具体地，初始图像包括所述目标图像及非目标图像。

具体地，当目标对象框在初始图像选取目标图像后，删除该初始图像中除了目标图像以外的图像，以得到所需的目标图像。随后可根据需要将该目标图像发送至服务器，再由服务器发送至用户端。其中，该用户端可为授课老师端和/或其他学生端。

示例性的，以学生线上学习为例，可参阅图3所示出的获取目标图像的示意图。学生可在移动终端的钉钉上登录账号，点击进入视频会议界面。该移动终端通过开启前置摄像头获取带有该学生在内的初始图像，其中在该初始图像中学生位于正中间。通过将该初始图像输入训练好的神经网络模型得到目标对象框，具体地该目标对象框与初始图像中包含学生的最小外切框中心重合，且面积为最小外切框的2倍。删除初始图像中目标对象框所圈定的目标图像以外的非目标图像，以得到最终的目标图像，并将该目标图像发送至服务器，通过服务器发送至授课老师端。

其中，该最小外切框可为边框内壁与目标对象边缘相切的矩形框，以保证该矩形框面积最小。可能的，该最小外切框还可为内壁与目标对象边缘相切的圆形框。

在图2所示的图像处理方法中，对获取的初始图像确定目标对象框，删除初始图像中目标对象框以外的非目标图像，将该目标对象框选取的图像作为所需图像可避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。同时该目标对象框选取的图像面积小于初始图像可降低传输成本，加快传输速度。

请参阅图4，图4示出了本申请实施例提供的一种图像处理方法的又一流程示意图。

如图4所示，该图像处理方法可以包括：

步骤401、获取初始图像。

其中，该初始图像包括目标对象。具体地，该目标对象可为正在线上学习的学生。

具体地，可响应于学生的线上学习指令，通过前置摄像头拍摄学生以获取初始图像。其中该初始图像包括该学生在内的若干背景对象，例如桌子、沙发、书柜等。

需要说明的是，该前置摄像头为视场角大于一定阈值(例如但不限于阈值为90度)的摄像头。可选的，该前置摄像头可为广角摄像头。

可选的，该前置摄像头可为普通摄像头，在该普通摄像头上套设有广角镜头。

可能的，获取的初始图像可由多个单帧图像组成。

步骤402、从多帧图像中选择目标帧图像。

具体地，通过前置摄像头获取的初始图像为一系列图片或一段视频，其由多个连续的单帧图像组成。可从多个连续的单帧图像中选取一个作为目标帧图像，选取的依据可为判断各个目标帧图像中目标对象在所在图像的位置。具体地，选取方式可通过将图像输入训练好的神经网络模型确定目标对象在图像的位置，通过选取目标对象最靠近该图像中间的图像作为目标帧图像。其中，该神经网络模型为多个已知图像的灰度值和对应图像中目标对象的位置数据值训练得到的模型。具体地，可以选取目标对象最靠近该图像中心的图像作为目标帧图像。

步骤403、将目标帧图像的灰度值输入目标神经网络模型得到初始对象框数据。

具体地，该目标神经网络模型为多个已知图像的样本灰度值和对应所述图像的样本目标对象框数据训练得到的模型。

具体地，在选取目标帧图像后，可对该目标帧图像预处理，即将像素为彩色的目标帧图像处理为黑白像素。将处理后的目标帧图像的灰度值作为目标神经网络模型的输入，输出目标对象框的初始数据。其中，初始数据可对应目标对象框的一个或多个目标点。

可能的，初始数据对应为一个目标点，该初始数据的选取可以初始图像某一顶点为原点建立直角坐标系作为参照，其中相邻两边中横向边作为x轴，纵向边作为y轴。该初始数据可包括(x，y，w，h)，x和y代表在直角坐标系中的具体坐标，w和h分别代表目标对象框的长和宽。

具体地，该目标点可对应于目标对象框的四个顶点或是中心点。当该目标点为目标对象框的四个顶点任意一个时，x和y代表该目标点在对应直角坐标系中的坐标，w和h分别代表该目标对象框的长和宽。当该目标点为目标对象框的中心点时，x和y代表该目标点在对应直角坐标系中的坐标，w代表该目标点到目标对象框的宽的垂直距离，h代表该目标点到目标对象框的长的垂直距离。

可能的，初始数据对应为多个目标点，该初始数据的选取可以初始图像某一顶点为原点建立直角坐标系作为参照，其中相邻两边中横向边作为x轴，纵向边作为y轴。该初始数据可包括(x，y)，x和y代表在直角坐标系中的具体坐标。

具体地，该初始数据可包括目标对象框的四个顶点坐标(x，y)。移动终端可通过上述四个顶点确定目标对象框。可以知道，移动终端可通过位于目标对象框的长的两个顶点得出该目标对象框的长，通过位于目标对象框的宽的两个顶点得出该目标对象框的宽。

需要说明的是，此处的目标神经网络模型可为基于神经网络构造的级联回归模型，该回归模型直接学习输入到输出的映射函数，不需要复杂的建模，简单高效，具体地可先通过对数据预处理，然后通过特征提取和回归算法进行预测。

还需要说明的是，初始对象框圈定的图像中包括目标对象。

步骤404、按照预设比例处理初始对象框数据得到目标对象框。

本申请实施中，可根据用户到移动终端的前置摄像头的距离确定新的对象框数据，新的对象框数据所对应的对象框可作为目标对象框。具体地，当用户距离移动终端的前置摄像头越近时，目标对象框在初始对象框的基础上的放大比例越大；当用户距离移动终端的前置摄像头越远时，目标对象框在初始对象框的基础上的放大比例越小。

可能的，将初始对象框中的长度和宽度按照预设比例放大，得到目标对象框。

可能的，将初始对象框中的长度和宽度按照预设比例放大后，还可以将放大后的初始对象框进行平移，得到目标对象框。

具体地，当选取目标对象框的目标点为某一顶点时(可以但不限于左下)，将初始对象框中的长度和宽度按照预设比例放大n倍(可以但不限于2倍)后，需将该目标点向左移动长度的一半，向下移动宽度的一半。

示例性的，可参阅图5所示出的确定目标对象框数据的示意图。参照初始图像某一顶点为原点建立直角坐标参考系，相邻两边中横向边作为x轴，纵向边作为y轴，并以初始对象框的中心点作为目标点，得到初始数据(6，8，3，3)。可以理解的，此处的中心点位于初始对象框的中心，在以该中心点为中心放大对象框后可无需移动该中心点(目标对象在对象框中的位置未发生移动)。可能的，可根据用户到前置摄像头之间的距离确定比例系数a，将目标点到目标对象框的宽的垂直距离和初始对象框的长度目标点到目标对象框的长的垂直距离均和宽度乘以该比例系数a得到新的对象框数据(6，8，3a，3a)。需要说明的是，新的对象框的长为6a，宽为6a。该新的对象框数据所对应的对象框可作为目标对象框。

可以但不限于，根据用户到摄像头之间的距离确定比例系数的方式可包括以下几个步骤：

步骤1：获取目标距离信息。

具体地，目标距离信息为目标对象与移动终端的前置摄像头之间的距离。

可能的，目标距离信息可以由移动终端在通过前置摄像头获取带有用户的初始图像。具体地，可以通过分析目标对象在初始图像中的面积占比来确定目标距离信息。

可能的，目标距离信息可以由移动终端可通过设置在内置的移动终端内的红外测距传感器获取。

步骤2：根据目标距离信息确定比例系数。

可能地，用户与前置摄像头之间的距离属于不同的预设范围内时，可对应的不同的比例系数。

具体地，不同的预设范围可以对应不同的分类。不同的分类可以对应不同的比例系数。该分类例如可以但不限于包括近距离和远距离。示例性地，近距离对应的预设范围可以是(0，25厘米)，远距离对应的预设范围可以是大于或等于25厘米。

具体地，移动终端可以根据用户与摄像头之间的距离确定该距离对应的目标分类后，查找预设的分类比例映射表以确定与该目标分类对应的比例系数。其中，预设的分类比例映射表包括不同的分类以及每个分类各自对应的比例系数。

示例性的，当检测到获取的用户到摄像头之间的距离小于25厘米时，确定目标分类为近距离，查找如下表1所示的分类比例映射表得出比例系数为2。当检测到获取的用户到摄像头之间的距离大于或等于25厘米时，确定目标分类为远距离，查找如下表1所示的分类比例映射表得出比例系数为1.5。

表1分类比例映射表

分类	比例
		近距离	2
远距离	1.5

可能的，用户与摄像头之间的距离与比例系数成反比。也即是说，用户与摄像头之间的距离越远，该距离对应的比例系数越小；用户与摄像头之间的距离越近，该距离对应的比例系数越大。

步骤405、删除初始图像中的非目标图像。

具体地，初始图像包括所述目标图像及非目标图像。

具体地，当目标对象框在初始图像选取目标图像后，删除该初始图像中除了目标图像以外的图像，以得到所需的目标图像。随后可根据需要将该目标图像发送至服务器，再由服务器发送至用户端。其中，该用户端可为授课老师端和/或其他学生端。

在本申请实施例中，具体地通过获取用户与摄像头之间的距离以判断该距离为近距离或远距离，进而通过查找列表得到对应的比例系数，以使该比例系数结合实际距离更具适用性，进一步的可避免因广角摄像头拍摄角度过大而造成的隐私泄露风险。

请参阅图6，图6示出了本申请实施例提供的一种图像处理方法的又一流程示意图。

如图6所示，该图像处理方法可以包括：

步骤601、获取初始图像。

具体地，步骤601与步骤201或步骤401一致，此处不再赘述。

步骤602、从多帧图像中选择目标帧图像。

具体地，步骤602与步骤402一致，此处不再赘述。

步骤603、将目标帧图像的灰度值输入目标神经网络模型得到初始对象框数据。

具体地，步骤603与步骤403一致，此处不再赘述。

步骤604、按照预设比例处理初始对象框数据得到目标对象框。

具体地，步骤604与步骤404一致，此处不再赘述。

步骤605、删除初始图像中的非目标图像。

具体地，步骤605与步骤405或步骤203一致，此处不再赘述。

步骤606、获取目标图像中的目标对象脸部特征点。

具体地，可将目标图像输入基于生成式对抗网络的神经网络模型得到目标对象的脸部特征检测点。其中，基于生成式对抗网络的神经网络模型可根据输入的人脸图像生成人脸几何特征图，再由人脸几何特征图预测相应的人脸关键点。

需要说明的是，该基于生成式对抗网络的神经网络模型的生成网络采用编码-解码模型，一部分是编码器用于预测人脸内部关键点和轮廓关键点，另一部分是解码器用于根据预测的关键点生成人脸几何特征图。紧接着，生成的人脸几何特征图被送入判别网络，该判别网络会判断输入的人脸几何图形是否真实，并根据给定的人脸几何特征图预测相应的人脸关键点。其中预测的人脸关键点可包括眼睛、面颊、鼻子、嘴、下巴等在内的72个关键点。

步骤607、查找预设的对应于目标对象脸部特征点的移动轨迹，按照移动轨迹移动目标对象脸部特征点。

具体地，对应于每一个目标对象特征点都有预设的移动轨迹，可根据该预设的移动轨迹移动目标对象脸部特征点。可能地，当目标对象特征点为脸颊时，可将脸颊特征点中某一特征点沿人脸所在平面向嘴巴一侧平移预设距离，换句话说以人脸所在平面建立平面直角坐标系，该脸颊特征点坐标从(x1，y1)平移至(x1+n，y1)，其中n为该脸颊特征点预设的移动轨迹距离。需要说明的是，目标对象特征点可以但不限于一个点，且预设的移动轨迹可以不针对于目标对象特征点，可能的为目标对象特征点周围的像素点。

示例性的，以选取目标对象特征点为脸颊特征点为例，可参阅图7示出的一种脸颊特征点移动的示意图，根据预设的移动轨迹可将与该脸颊特征点相隔固定距离的且在该轮廓上的像素点c1向右平移至c2处，使得左半部轮廓更贴近于右侧(即相当于缩小了人脸的左侧脸颊)。相应的配合调节脸颊特征点的右半部轮廓可使整个脸颊变小，进而实现对目标图像中的目标对象脸部的改善。

可能地，当目标对象特征点为眼睛时，可将眼睛特征点沿人脸所在平面向眼睛特征点沿水平方向的中轴线做竖直方向的移动。例如以人脸所在平面建立平面直角坐标系，将眼睛特征点中上半部的某一特征点(x2，y2)向眼睛特征点沿水平方向的中轴线平移至(x2，y2+a)，其中a为该特征点预设的移动轨迹距离。需要说明的是，目标对象特征点可以但不限于一个点，且预设的移动轨迹可以不针对于目标对象特征点，可能的为目标对象特征点周围的像素点。

在本申请实施例中，为解决广角摄像头拍摄的图像会使人脸较为肥胖影响用户体验，具体地获取目标图像的目标对象脸部特征点，通过预设轨迹调节对应的脸部特征点，可改善图像中的人脸效果，以给用户带来更好的体验。

可参阅图8，图8示出了本申请实施例提供的一种图像处理方法的又一流程示意图。

如图8所示，该图像处理方法可以包括：

步骤801、获取初始图像。

具体地，步骤801与步骤201或步骤401一致，此处不再赘述。

步骤802、从多帧图像中选择目标帧图像。

具体地，步骤802与步骤402一致，此处不再赘述。

步骤803、将目标帧图像的灰度值输入目标神经网络模型得到初始对象框数据。

具体地，步骤803与步骤403一致，此处不再赘述。

步骤804、按照预设比例处理初始对象框数据得到目标对象框。

具体地，步骤804与步骤404一致，此处不再赘述。

步骤805、删除初始图像中的非目标图像。

具体地，步骤805与步骤405或步骤203一致，此处不再赘述。

步骤806、识别目标图像中的目标对象表情。

具体地，可将目标图像输入训练好的深度神经网络模型得到附有表情提示的对象框，该对象框圈定目标图像中的目标对象。其中，表情提示可包括高兴、微笑等自然表情或吃惊、悲伤、愤怒、厌恶、恐惧等夸张表情。

需要说明的是，该深度精神网络模型可为多个已知的图像的样本灰度值和对应该图像的附有表情提示的样本对象框训练得到。

具体地，在神经网络模型中可先对目标图像进行人脸的检测和选取，然后采用人脸特征的几何特性和支持向量方法对选取的人脸表情进行识别。

可能的，若在识别过程中没有检测到人脸，则可直接生成提示信息。其中提示信息包括“用户不在”或“用户正忙”。

步骤807、根据目标对象表情生成提示信息。

具体地，可根据目标对象表情判断目标对象的状态，进而生成提示信息。

具体地，若目标对象表情为悲伤、愤怒、厌恶和恐惧等任意一种夸张表情，说明用户当前没有认真听课，生成用于提醒用户认真听课的提示信息。可能的，该提示信息可包括“请认真听课”、“听课很认真，继续保持”等。

步骤808、展示提示信息。

具体地，可向用户展示根据用户表情生成的提示信息。其中，提示信息的类型可包括语音、文字、动画等。具体地，展示该提示信息的类型可相应包括语音播放提醒、文字循环提醒、动画提醒等。

示例性的，以学生线上学习为例，对前置摄像头获取到的目标图像中的学生表情进行识别，当检测出该学生在当前的学习过程中表情为微笑，可对应生成“听课很认真，继续保持”的文字提示信息，并将该文字提示信息以滚动形式显示在移动终端当前界面底部。

在本申请实施例中，具体地通过识别目标图像中的目标对象表情以判断用户当前状态，并向用户展示根据此状态对应的提示信息，可在保障用户隐私的情况下对用户进行提醒，给用户带来更好的体验。

请参阅图9，图9示出了本申请实施例的一种图像处理装置的结构示意图。

如图9所示，该图像处理装置900包括获取模块901、确定模块902和执行模块903，其中各个模块的详细描述如下：

获取模块901、用于获取初始图像。

具体地，初始图像包括目标对象。

确定模块902，用于根据初始图像中的目标对象确定目标对象框。

具体地，目标对象框包括目标对象；目标对象框在初始图像中圈定的图像为目标图像。

执行模块903，用于删除初始图像中的非目标图像。

具体地，初始图像包括目标图像及非目标图像。

作为一种可选的实施方式，确定模块902具体用于采用人脸识别算法对初始图像中的所述目标对象识别，确定目标对象框。其中目标对象框包括目标对象；目标对象框在初始图像中圈定的图像为目标图像。

作为一种可选的实施方式，初始图像包括多帧图像，确定模块902具体可包括：

选取单元，用于从多帧图像中选择目标帧图像。

计算单元，用于将目标帧图像的灰度值输入目标神经网络模型得到初始对象框数据；目标神经网络模型为多个已知图像的样本灰度值和对应图像的样本目标对象框数据训练得到的模型。

处理单元，用于按照预设比例处理初始对象框数据得到目标对象框。

作为一种可选的实施方式，该图像处理装置还可包括：

特征点获取模块，用于获取目标图像中的目标对象脸部特征点。

控制模块，用于查找预设的对应于目标对象脸部特征点的移动轨迹，按照移动轨迹移动目标对象脸部特征点。

作为一种可选的实施方式，该图像处理装置还可包括：

识别模块，用于识别目标图像中的目标对象表情。

生成模块，用于根据目标对象表情生成提示信息。

展示模块，用于展示提示信息。

需要说明的是，该图像处理装置可用于执行上述所提供的图像处理方法，因此，其所能达到的有益效果可参考上述所提供的图像处理方法中的有益效果，此处不再赘述。

请参阅图10，图10是本申请实施例提供的又一种图像处理装置的结构示意图，该图像处理装置1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1005，用户接口1004，存储器1002，至少一个通信总线1003和显示屏。其中，通信总线1003用于实现这些组件之间的连接通信。用户接口1004可以包括但不限于触摸屏、键盘、鼠标、摇杆等等。网络接口1005可选的可以包括标准的有线接口、无线接口(如WIFI接口、蓝牙接口)，通过网络接口1005可以与服务器建立通信连接。存储器1002可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。如图10所示，作为一种计算机存储介质的存储器1002中可以包括操作***、网络通信模块、用户接口模块以及程序指令。

需要说明的是，网络接口1005可以连接获取器、发射器或其他通信模块，其他通信模块可以包括但不限于WiFi模块、蓝牙模块等，可以理解，本申请实施例中图像处理装置1000也可以包括获取器、发射器和其他通信模块等。

处理器1001可以用于调用存储器1002中存储的程序指令，可以执行如图2或图4或图6或图8所示实施例提供的方法。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。上述图像处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取初始图像；所述初始图像包括目标对象；

根据所述初始图像中的所述目标对象确定目标对象框；所述目标对象框包括所述目标对象；所述目标对象框在所述初始图像中圈定的图像为目标图像；

删除所述初始图像中的非目标图像；所述初始图像包括所述目标图像及所述非目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述初始图像中的所述目标对象确定目标对象框具体包括：

采用人脸识别算法对所述初始图像中的所述目标对象识别，确定所述目标对象框。

3.根据权利要求2所述的方法，其特征在于，所述初始图像包括多帧图像；

所述采用人脸识别算法对所述初始图像中的所述目标对象识别，确定所述目标对象框具体包括：

从所述多帧图像中选择目标帧图像；

将所述目标帧图像的灰度值输入目标神经网络模型得到初始对象框数据；所述目标神经网络模型为多个已知图像的样本灰度值和对应所述图像的样本目标对象框数据训练得到的模型；

按照预设比例处理所述初始对象框数据得到所述目标对象框。

4.根据权利要求3任一项所述的方法，其特征在于，所述按照预设比例处理所述初始对象框数据得到所述目标对象框具体包括：

获取目标距离信息；

根据所述目标距离信息确定比例系数；

根据所述比例系数及所述初始对象框数据确定所述目标对象框。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标距离信息确定比例系数具体包括：

根据所述目标距离信息确定目标分类；

查找预设的分类比例映射列表，确定与所述目标分类对应的比例系数。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述删除所述初始图像中的非目标图像之后还包括：

获取所述目标图像中的目标对象脸部特征点；

查找预设的对应于所述目标对象脸部特征点的移动轨迹，按照所述移动轨迹移动所述目标对象脸部特征点。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述删除所述初始图像中的非目标图像之后还包括：

识别所述目标图像中的目标对象表情；

根据所述目标对象表情生成提示信息；

展示所述提示信息。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于获取初始图像；所述初始图像包括目标对象；

确定模块，用于根据所述初始图像中的所述目标对象确定目标对象框；所述目标对象框包括所述目标对象；所述目标对象框在所述初始图像中圈定的图像为目标图像；

执行模块，用于删除所述初始图像中的非目标图像；所述初始图像包括所述目标图像及所述非目标图像。

9.一种图像处理装置，其特征在于，包括处理器、存储器以及通信接口；

所述处理器与所述存储器、所述通信接口相连；

所述存储器，用于存储可执行程序代码；

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

Images