CN109544516B - 图像检测方法及装置 - Google Patents

Abstract

本申请公开了一种图像检测方法及装置。其中，该方法包括：确定目标图像，所述目标图像为待检测黑头数量的图像；将所述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，所述第二区域图像的反光程度大于所述第一区域图像的反光程度；将所述第二区域图像输入至深度神经网络中，输出所述第二区域图像中的黑头数量；根据所述第一区域图像的黑头位置确定所述第一区域图像中的黑头数量，以及根据所述第一区域图像中的黑头数量和所述第二区域图像中的黑头数量确定所述目标图像中的黑头数量。采用本申请，可提高黑头检测的准确性。

Description

图像检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像检测方法及装置。

背景技术

目前，脸部皮肤问题影响着人们的美丑，其中，黑头就是常见的皮肤问题。同时由于性别、年龄以及地域属性等不同，也会导致黑头的数量各不相同。

美容美妆领域中，一般可以通过终端如手机自拍图片，来自动检测人脸黑头的数量，再结合人脸其他的皮肤特征，从而为用户提供护肤意见。如通过检测人脸黑头数量，可以为用户选择合适的护肤品、食品以改善面部皮肤问题。具体的，检测黑头数量的方法一般可通过普通白色光和紫外光线两种光线照射皮肤，从而提取出该紫外光线中的高亮目标，得到目标高亮图像，然后根据目标高亮图像生成黑头区域图，进而以该黑头区域图作为掩模，对白色光图像中的黑头区域进行标记，识别出黑头。

采用上述方法需要借助紫外线照射皮肤，且设备要求复杂，准确度低下。

发明内容

本申请提供了一种图像检测方法及装置，可提高黑头检测的准确率。

第一方面，本申请实施例提供了一种图像检测方法，包括：

确定目标图像，所述目标图像为待检测黑头数量的图像；

将所述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，所述第二区域图像的反光程度大于所述第一区域图像的反光程度；

将所述第二区域图像输入至深度神经网络中，输出所述第二区域图像中的黑头数量；

根据所述第一区域图像的黑头位置确定所述第一区域图像中的黑头数量，以及根据所述第一区域图像中的黑头数量和所述第二区域图像中的黑头数量确定所述目标图像中的黑头数量。

本申请实施例中，在确定目标图像后，通过深度检测神经网络先确定第一区域图像的黑头位置以及第二区域图像的位置，其中，所述第二区域图像反光程度大于所述第一区域的反光程度；然后，再将所述第二区域图像输入至深度神经网络中，得到所述第二区域图像的黑头数量；最后，得到第一区域图像的黑头数量，并将所述第一区域图像中的黑头数量和所述第二区域图像中的黑头数量得到所述目标图像中的黑头数量。通过实施本申请实施例，可以将反光程度较强的所述第二区域图像的黑头数量单独进行检测，可避免因光照强度等因素而导致无法准确计算黑头数量的情况，进而提高了黑头检测的准确率。

在一种可能的实现方式中，所述目标图像为与鼻子对应的区域；所述确定目标图像，包括：

获取到人脸图像后，确定所述人脸图像中的人脸关键点；其中，所述人脸图像中的人脸关键点包括第一关键点和第二关键点；所述第一关键点为所述人脸关键点中鼻翼最左边的点，所述第二关键点为所述人脸关键点中鼻翼最右边的点；

根据所述第一关键点和所述第二关键点确定所述目标图像。

在一种可能的实现方式中，所述获取到人脸图像后，确定所述人脸图像中的人脸关键点，根据所述第一关键点和所述第二关键点确定所述目标图像，包括：

获取到人脸图像后，确定所述人脸图像中的人脸关键点；其中，所述人脸图像中的人脸关键点包括第一关键点、第二关键点、第三关键点和第四关键点；所述第一关键点为所述人脸关键点中的关键点31，所述第二关键点为所述人脸关键点中的关键点35，所述第三关键点为所述人脸关键点中的关键点28和关键点29中的一项，所述第四关键点为所述人脸关键点中的关键点33；

根据所述第一关键点的横坐标和所述第二关键点的横坐标确定所述目标图像的第一边长；

根据所述第三关键点的纵坐标和所述第四关键点的纵坐标确定所述目标区域的第二边长；

根据所述第一边长和所述第二边长确定所述目标图像。

本申请实施例中，本申请实施例中，通过第一关键点、第二关键点、第三关键点和第四关键点来确定目标图像，简单可行，提高了目标图像的确定效率。

在一种可能的实现方式中，所述确定目标图像，包括：

获取到人脸图像后，确定所述人脸图像中的人脸关键点；其中，所述人脸图像中的人脸关键点包括第五关键点、第六关键点和第七关键点；所述第五关键点为所述人脸关键点中的关键点30，所述第六关键点为所述人脸关键点中的关键点0，所述第七关键点为所述人脸关键点中的关键点16；

根据所述第五关键点确定所述目标图像的中心点；

根据所述第六关键点的横坐标和所述第七关键点的横坐标确定所述目标图像的第三边长；

根据所述第三边长确定所述目标区域的第四边长；

根据所述中心点、所述第三边长和所述第四边长确定所述目标图像。

在一种可能的实现方式中，所述将所述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，包括：

降低所述目标图像的分辨率，得到降低分辨率后的所述目标图像；

将所述降低分辨率后的所述目标图像输入至所述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置；

或者，增强所述目标图像的分辨率，得到增强分辨率后的所述目标图像；

将所述增强分辨率后的所述目标图像输入至所述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置。

本申请实施例中，通过降低所述目标图像的分辨率，能够加快所述深度检测神经网络运算速度，提高黑头检测的计算效率；通过增强所述目标图像的分辨率，能够使所述目标图像更加清晰，提高黑头检测的准确率。

在一种可能的实现方式中，所述将所述第二区域图像输入至深度神经网络中，输出所述第二区域图像中的黑头数量之前，所述方法还包括：

获取第一样本图像和第二样本图像，所述第二样本图像的反光程度大于所述第一样本图像的反光程度，且所述第一样本图像中包括的对象和所述第二样本图像中包括的对象相同；

确定所述第一样本图像的黑头数量；

将所述第二样本图像以及所述第一样本图像的黑头数量输入至所述深度神经网络中，训练所述深度神经网络。

其中，第一样本图像中包括的对象和所述第二样本图像中包括的对象相同，可理解为该第一样本图像和该第二样本图像是通过同一张人脸图像或同一个人拍摄得到的，也就是说，该第一样本图像和该第二样本图像是属于同一组样本图像，或者，该第一样本图像和该第二样本图像是一一对应的关系；获取到该第一样本图像和该第二样本图像后，可以确定该第一样本图像中的黑头数量；可理解，该第一样本图像和该第二样本图像的个数至少包括两组。

本申请实施例中，通过以上方法训练深度神经网路，可有效提高训练该深度神经网络的效率，即提高了该深度神经网络输出检测结果的准确性。

在一种可能的实现方式中，所述获取第一样本图像和第二样本图像，包括：

在第一光源下获取所述第一样本图像；

在第二光源下获取所述第二样本图像，所述第一光源的光照强度小于所述第二光源的光照强度。

本申请实施例中，其中，在第一光源下获取所述第一样本图像，可理解为通过正常光照下获取的清晰、无反光的该第一样本图像，也就是说，在该第一光源下获取的该第一样本图像可以清楚的知道该第一样本图像的黑头数量；在第二光源下获取所述第二样本图像，可理解为通过强光下获取的有反光区域的该第二样本图像，也就是说，在该第二光源下获取的该第二样本图像中的黑头数量存在未知区域。实施本申请实施例，通过不同光照下获取样本图像，可避免样本图像的单一性，能够增加样本图像的在不同光照场景下的多样性，从而提高了深度神经网络训练的准确性。

第二方面，本申请实施例提供了一种图像检测装置，包括：

第一确定单元，用于确定目标图像，所述目标图像为待检测黑头数量的图像；

第一输入输出单元，用于将所述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，所述第二区域图像的反光程度大于所述第一区域图像的反光程度；

第二输入输出单元，用于将所述第二区域图像输入至深度神经网络中，输出所述第二区域图像中的黑头数量；

第二确定单元，用于根据所述第一区域图像的黑头位置确定所述第一区域图像中的黑头数量，以及根据所述第一区域图像中的黑头数量和所述第二区域图像中的黑头数量确定所述目标图像中的黑头数量。

在一种可能的实现方式中，所述目标图像为与鼻子对应的区域；

所述第一确定单元包括：

第一确定子单元，用于获取到人脸图像后，确定所述人脸图像中的人脸关键点；其中，所述人脸图像中的人脸关键点包括第一关键点、第二关键点、第三关键点和第四关键点；所述第一关键点为所述人脸关键点中鼻翼最左边的点，所述第二关键点为所述人脸关键点中鼻翼最右边的点，所述第三关键点为所述人脸关键点中鼻梁最上方的点，所述第四关键点为所述人脸关键点中鼻中隔最下方的点；

第二确定子单元，用于根据所述第一关键点的横坐标和所述第二关键点的横坐标确定所述目标图像的第一边长；

第三确定子单元，用于根据所述第三关键点的纵坐标和所述第四关键点的纵坐标确定所述目标区域的第二边长；

第四确定子单元，用于根据所述第一边长和所述第二边长确定所述目标图像。

在一种可能的实现方式中，所述第一输入输出单元包括：

降低子单元，用于降低所述目标图像的分辨率，得到降低分辨率后的所述目标图像；

第一输入输出子单元，用于将所述降低分辨率后的所述目标图像输入至所述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置；

或者，增强子单元，用于增强所述目标图像的分辨率，得到增强分辨率后的所述目标图像；

第二输入输出子单元，用于将所述增强分辨率后的所述目标图像输入至所述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置。

在一种可能的实现方式中，所述装置还包括：

获取单元，用于获取第一样本图像和第二样本图像，所述第二样本图像的反光程度大于所述第一样本图像的反光程度，且所述第一样本图像中包括的对象和所述第二样本图像中包括的对象相同；

第三确定单元，用于确定所述第一样本图像的黑头数量；

训练单元，用于将所述第二样本图像以及所述第一样本图像的黑头数量输入至所述深度神经网络中，训练所述深度神经网络。

在一种可能的实现方式中，所述获取单元包括：

第一获取子单元，用于在第一光源下获取所述第一样本图像；

第二获取子单元，用于在第二光源下获取所述第二样本图像，所述第一光源的光照强度小于所述第二光源的光照强度。

第三方面，本申请实施例还提供了一种图像检测装置，包括：处理器、存储器和输入输出接口，所述处理器和所述存储器、所述输入输出接口通过线路互联；其中，所述存储器存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行如第一方面所述的相应的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被图像检测装置的处理器执行时，使所述处理器执行第一方面所述的方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种图像检测方法的流程示意图；

图2是本申请实施例提供的一种人脸关键点的示意图；

图3是本申请实施例提供的一种确定目标图像的示意图；

图4是本申请实施例提供的一种深度神经网络训练方法的流程示意图；

图5是本申请实施例提供的一种图像检测装置的结构示意图；

图6是本申请实施例提供的一种第一确定子单元的结构示意图；

图7是本申请实施例提供的一种第一输入输出单元的结构示意图；

图8是本申请实施例提供的另一种第一输入输出单元结构示意图；

图9是本申请实施例提供的另一种图像检测装置结构示意图；

图10是本申请实施例提供的一种获取单元结构示意图；

图11是本申请实施例提供的又一种图像检测装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。

参见图1，图1是本申请实施例提供的一种图像检测方法的流程示意图，该图像检测方法可应用于图像检测装置，该图像检测装置可包括服务器或终端设备，该终端设备可包括手机、台式电脑、手提电脑和其他设备等等，本申请实施例对于该图像检测装置的具体形式不作限定。

如图1所示，该图像检测方法包括：

101、确定目标图像，上述目标图像为待检测黑头数量的图像。

本申请实施例中，确定目标图像可理解为该图像检测装置采集或获取目标图像，从而确定该目标图像；也可理解为该图像检测装置从其他装置处采集或获取该目标图像，对于该图像检测装置如何采集或获取目标图像，本申请实施例不作限定。可理解，该目标图像为待检测黑头数量的图像，即该目标图像为需要确定黑头的严重程度的图像。

可选的，上述目标图像为与鼻子对应的区域，可以直接从目标图像中截取出鼻子区域，如以固定长宽为依据来截取等等。但是在以固定长宽来截取时，往往会因为每个人鼻子大小不一样，而导致截取出的鼻子区域不同。因此，本申请实施例还提供了一种确定鼻子区域的图像的方法，如下所示：

获取到人脸图像后，确定上述人脸图像中的人脸关键点；其中，上述人脸图像中的人脸关键点包括第一关键点和第二关键点；上述第一关键点为上述人脸关键点中鼻翼最左边的点，上述第二关键点为上述人脸关键点中鼻翼最右边的点；

根据上述第一关键点和上述第二关键点确定上述目标图像。

本申请实施例中，还提供了一种通过人脸关键点确定上述鼻子区域的图像的方法。

具体的，上述获取到人脸图像后，确定上述人脸图像中的人脸关键点，根据上述第一关键点和上述第二关键点确定上述目标图像，包括：

获取到人脸图像后，确定上述人脸图像中的人脸关键点；其中，上述人脸图像中的人脸关键点包括第一关键点、第二关键点、第三关键点和第四关键点；上述第一关键点为上述人脸关键点中的关键点31，上述第二关键点为上述人脸关键点中的关键点35，上述第三关键点为上述人脸关键点中的关键点28和关键点29中的一项，上述第四关键点为上述人脸关键点中的关键点33；

根据上述第一关键点的横坐标和上述第二关键点的横坐标确定上述目标图像的第一边长；

根据上述第三关键点的纵坐标和上述第四关键点的纵坐标确定上述目标区域的第二边长；

根据上述第一边长和上述第二边长确定上述目标图像。

本申请实施例中，本申请实施例中，通过第一关键点、第二关键点、第三关键点和第四关键点来确定目标图像，简单可行，提高了目标图像的确定效率。

本申请实施例中，确定上述人脸图像中的人脸关键点的方法包括：可以通过算法如边缘检测robert算法，索贝尔sobel算法等；也可通过相关模型如主动轮廓线snake模型等等。

尽管采用上述各种算法或模型可以确定人脸图像中的人脸关键点，但是以上方法一方面比较复杂，另一方面效果较差。因此，本申请实施例提供了一种简单方法，不仅实现简单，而且还可有效的确定人脸关键点，如下所示：

上述确定人脸图像中的人脸关键点，包括：

通过第三方应用确定上述人脸图像中的人脸关键点。

本申请实施例中，第三方应用可为第三方工具包dlib，dlib是开源的人脸关键点定位效果较好的工具包且是一个包含机器学习算法的C++开源工具包。目前工具包dlib被广泛应用在包括机器人，嵌入式设备，移动电话和大型高性能计算环境领域。因此可有效的利用该工具包做人脸关键点定位，得到人脸关键点。具体的，该人脸关键点可为68个人脸关键点等等。如图2所示，图2是本申请实施例提供的一种人脸关键点的示意图。从中可以看出人脸关键点可包括关键点0、关键点1……关键点67，即68个关键点。

本申请实施例中，参见图2，图2是本申请实施例提供的一种人脸关键点的示意图，如图2所示，人脸关键点中包括关键点31、35、29和33，且处于鼻子区域，因此，以关键点关键点31、35、29和33为基准关键点。可理解，在通过人脸关键点定位鼻子关键点时，每个关键点均有坐标，即像素点坐标。因此，以关键点31和35的横坐标作为目标区域的第一边长，以关键点29和33的纵坐标作为目标区域的第二边长。举例来说，选取鼻翼最左边的关键点31和鼻子最右边的关键点35作为基准点，x1坐标为关键点31的横坐标，x2坐标为关键点35的横坐标；选取鼻梁最上方的关键点29和鼻中隔最下方的关键点33作为基准点，y1坐标为关键点29的纵坐标，y2坐标为关键点33的纵坐标，则通过坐标(x1,y1,x2,y2)确定鼻子区域，从而截取该鼻子区域的图像作为上述目标区域的图像。如图3所示。图3是本申请实施例提供的一种确定目标图像的示意图。图3中，目标区域的长即为关键点31和35的横坐标的差，目标区域的宽即为关键点29和33的纵坐标的差。实施本申请实施例，能够快速定位上述目标区域图像，提高检测效率。

可理解，本申请实施例中，第一关键点和第二关键点的横坐标和纵坐标的坐标系标准一致，且第三关键点和第四关键点的横坐标和纵坐标的坐标系标准一致，以及第一关键点和第二关键点与第三关键点和第四关键点的坐标系一致。举例来说，上述第一关键点和第二关键点的横坐标以及上述第三关键点和第四关键点的横坐标可以以像素坐标系中的坐标为标准，以及上述第一关键点和第二关键点的横坐标以及上述第三关键点和第四关键点的纵坐标也可以以像素坐标系为标准。

可选的，本申请实施例还提供了另一种确定目标图像的方法，如下所示：

获取到人脸图像后，确定上述人脸图像中的人脸关键点；其中，上述人脸图像中的人脸关键点包括第五关键点、第六关键点和第七关键点；上述第五关键点为上述人脸关键点中的关键点30，上述第六关键点为上述人脸关键点中的关键点0，上述第七关键点为上述人脸关键点中的关键点16；

根据上述第五关键点确定上述目标图像的中心点；

根据上述第六关键点的横坐标和上述第七关键点的横坐标确定上述目标图像的第三边长；

根据上述第三边长确定上述目标区域的第四边长；

根据上述中心点、上述第三边长和上述第四边长确定上述目标图像。

具体的，本申请实施例中，参见图2，图2是本申请实施例提供的一种人脸关键点的示意图，如图2所示，人脸关键点中包括关键点30、0和16，以关键点关键点30、0和16为基准关键点。可理解，在通过人脸关键点定位鼻子区域时，每个关键点均有坐标，即像素点坐标。因此，以关键点30作为鼻子区域的中心点；以关键点0和16的横坐标绝对值差值的四分之一作为鼻子区域的第三边长，即鼻子区域的长度；以第三边长作为鼻子区域的第四边长，即鼻子区域的宽度和长度相等。举例来说，选取关键点30作为鼻子区域的中心点；选取关键点0和关键点16作为基准点，x3坐标为关键点0的横坐标，x4坐标为关键点16的横坐标；通过计算横坐标(x3，x4)绝对值的差值，并且取该差值的四分之一作为鼻子区域的长和宽，从而截取该鼻子区域的图像作为上述目标区域的图像。实施本申请实施例，能够快速定位上述目标区域图像，提高检测效率。可理解，本申请实施例中对于上述鼻子区域边长的具体确定方式不作限定。

可理解，本申请实施例中，第五关键点、第六关键点和第七关键点的横坐标和纵坐标的坐标系标准一致。举例来说，上述第五关键点和第六关键点的横坐标以及上述第七关键点的横坐标可以以像素坐标系中的坐标为标准。

102、将上述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，上述第二区域图像的反光程度大于上述第一区域图像的反光程度。

本申请实施例中，获取到的上述目标图像中会存在不同程度反光，反光程度较高的区域(即高反光区域或强反光区域)会严重影响对人脸黑头的检测，而其他反光程度较低的区域对于人脸黑头检测影响程度较小。可理解，上述第一区域图像为反光程度不影响上述深度检测神经网络对该第一区域图像中黑头位置的检测对的区域。上述第二区域图像为反光程度大于上述第一区域图像的区域，可理解为上述第二区域图像为高反光区域或强反光区域，即该第二区域图像中的黑头位置无法通过上述深度检测神经网络检测到。

本申请实施例中，上述深度检测神经网路可以理解为目标检测算法(you onlylook once，Yolo)。具体的，将上述目标图像输入至该Yolo网络，将该目标图像划分成S×S的网格，可理解，S为大于或等于1的整数；然后，每个网格负责检测中心点落在该网格内的目标，其中，每个网格会预测B个边界框(bounding box)以及边界框的置信度(confidencescore)，边界框的大小与位置可以用4个值来表征：(x，y，w，h)，其中(x，y)是边界框的中心坐标，而w和h是边界框的宽与高；对于每一个网格还要预测出C个类别概率值，表示的是由该网格负责预测的边界框的目标属于各个类别的概率，即这些概率值在各个边界框置信度下的条件概率。这样，每个边界框的预测值实际上包含5个元素：(x，y，w，h，c)，其中前4个表示边界框的大小与位置，而最后一个值是置信度。最终可以预测出S×S×B个目标窗口，通过设置阈值去除可能性的目标窗口，并通过非极大值抑制算法(non maximumsuppression，NMS)去除冗余窗口。

举例来说，输入上述目标图像，将该目标图像划分成7×7(设S＝7)的网格，对于每个网格都预测2个边框(设B＝7)，则可以预测出7×7×2个目标窗口，然后根据阈值去除可能性较低的目标窗口，最后通过非极大值抑制算法NMS去除冗余窗口。实施本申请实施例，通过上述深度检测神经网路可以快速检测到黑头位置和高反光区域图像，能够使后续检测高反光区域图像的黑头个数的速度提高，提高了黑头检测的效率。

可选的，上述将上述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，包括：

降低上述目标图像的分辨率，得到降低分辨率后的目标图像；

将上述降低分辨率后的目标图像输入至上述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置；

或者，增强上述目标图像的分辨率，得到增强分辨率后的目标图像；

将上述增强分辨率后的目标图像输入至上述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置。

本申请实施例中，用户可根据需要设置输入到上述深度检测神经网络中的图像的分辨率大小，或者，上述图像处理装置也可以自动设置输入到上述深度检测神经网络中的图像的分辨率大小，可理解该输入到上述深度检测神经网络中的图像即为上述目标图像。举例来说，当该目标图像的分辨率为664×664，则可以将该目标图像的分辨率降低至448×448；当该目标图像的分辨率为224×224，则可以将该目标图像的分辨率降低至448×448。实施本申请实施例，通过降低上述目标图像的分辨率，能够加快上述深度检测神经网络的运算速度，提高运算效率；通过增强上述目标图像的分辨率，能够增加该目标图像的清晰度，提高检测精确度。可理解，本申请实施例对于如何设置分辨率大小，以及具体的分辨率大小的数值不作限定。

103、将上述第二区域图像输入至深度神经网络中，输出上述第二区域图像中的黑头数量。

其中，上述深度神经网路可以理解为反向传播神经网路(back propagation，BP)。具体的，上述第二区域图像即为高反光区域图像，将上述高反光区域图像输入至该BP神经网络中，该BP神经网络能够预测得到该高反光区域图像中的黑头数量。实施本申请实施例，通过对上述第二区域图像单独输入至上述深度神经网络，能够得到更加精确的黑头数量，可避免反光区域对准确计算黑头数量的影响，提高了黑头数量检测的准确率。可理解，本申请上实施例对于具体的深度神经网络不作限定。

104、根据上述第一区域图像的黑头位置确定上述第一区域图像中的黑头数量，以及根据上述第一区域图像中的黑头数量和上述第二区域图像中的黑头数量确定上述目标图像中的黑头数量。

本申请实施例中，通过上述Yolo网络得到上述第一区域图像的黑头位置，通过上述方法能够得到黑头位置的坐标，通过统计这些坐标的个数能够得到上述第一区域图像的黑头数量；或者，可通过其他目标检测算法如背景减法、光流场法、帧间差分法等等算法检测上述第一区域图像中的黑头数量；再将上述第一区域图像的黑头数量和上述第二区域图像的黑头数量相加，最终得到整个上述目标图像的黑头数量。可理解，本申请实施例对于如何计算黑头数量的具体实现方式不作限定。

实施本申请实施例，可以将反光程度较强的所述第二区域图像的黑头数量单独进行检测，可避免因光照强度等因素而导致无法准确计算黑头数量的情况，进而提高了黑头检测的准确率。

对于图1所示的图像检测方法，深度神经网络为已训练好的网络模型，即对网络模型进行训练，而得到的深度神经网络。因此，本申请实施例还提供了一种训练网络模型的方法，参见图4，图4是本申请实施例提供的一种深度神经网络训练方法的流程示意图，如图4所示，该训练方法包括：

401、获取第一样本图像和第二样本图像，上述第二样本图像的反光程度大于上述第一样本图像的反光程度，且上述第一样本图像中包括的对象和上述第二样本图像中包括的对象相同。

本申请实施例中，其中，第一样本图像中包括的对象和上述第二样本图像中包括的对象相同，可理解为该第一样本图像和该第二样本图像是通过同一张人脸图像或同一个人拍摄得到的，也就是说，该第一样本图像和该第二样本图像是属于同一组样本图像，或者，该第一样本图像和该第二样本图像是一一对应的关系；获取到该第一样本图像和该第二样本图像后，可以确定该第一样本图像中的黑头数量；可理解，该第一样本图像和该第二样本图像的个数至少包括两组。

其中，该图像检测装置可以采集该第一样本图像和该第二样本图像，也可经过其他装置采集该第一样本图像和该第二样本图像。以下以该图像检测装置采集第一样本图像和第二样本图像样本为例，来说明如何采集第一样本图像和第二样本图像。上述采集第一样本图像和第二样本图像，包括：采集M个样本图像作为上述第一样本图像和上述第二样本图像，其中样本图像具体为鼻子区域样本图像。

其中，如上述M的值大于或等于300。本申请实施例中，采集样本图像样本具体为采集鼻子区域样本图像，该鼻子区域样本图像至少为300张。其中，为了更好的训练网络模型，该鼻子区域样本图像中可包括鼻子有高反光区域的图像，也可包括鼻子无高反光区域的图像。本申请实施例对于采用何种装置采集鼻子区域样本图像不作限定。如可采用手机来采集，也可采用照相机采集等等。

其中，采集的鼻子区域样本图像至少为300张，是由于在训练过程中，少于300张的鼻子区域样本图像的训练效果没有大于或等于300张的训练效果好。另一方面，采集的鼻子区域样本图像大于或等于300张时，所训练的网络模型的泛化能力更好。

可选的，上述获取第一样本图像和第二样本图像，包括：

在第一光源下获取上述第一样本图像；

在第二光源下获取上述第二样本图像，上述第一光源的光照强度小于上述第二光源的光照强度。

本申请实施例中，上述图像检测装置可以通过不同的光源获取不同的样本图像。其中，在第一光源下获取上述第一样本图像，可理解为通过正常光照下获取的清晰、无反光的该第一样本图像，也就是说，在该第一光源下获取的该第一样本图像可以清楚的知道该第一样本图像的黑头数量；在第二光源下获取上述第二样本图像，可理解为通过强光下获取的有反光区域的该第二样本图像，也就是说，在该第二光源下获取的该第二样本图像中的黑头数量存在未知区域。举例来说，可以通过蜡烛光、煤油灯、碘钨灯、钨丝灯、照相强光灯、云雾天空、阴天天空等等不同的光照条件下获取上述第一样本图像和上述第二样本图像，能够使样本更加丰富，提高训练样本的多样性。实施本申请实施例，通过不同光照下获取样本图像，可避免样本图像的单一性，能够增加样本图像的在不同光照场景下的多样性，从而提高了深度神经网络训练的准确性。

402、确定上述第一样本图像的黑头数量。

本申请实施例中，通过上述图像处理装置可以确定上述第一样本图像的黑头数量。举例来说，可将该第一样本图像输入至上述Yolo网络得到该第一样本图像中黑头的坐标，然后通过统计这些坐标数量的方式，确定该第一样本图像中的黑头数量；或者，还可以通过其他目标检测算法如背景减法、光流场法、帧间差分法等等算法检测该第一样本图像中的黑头数量；又或者，还可通过人工统计的方式得到上述第一样本图像的黑头数量。可理解，本申请实施例对于上述第一样本图像的黑头数量的具体确定方式不作限定。

403、将上述第二样本图像以及上述第一样本图像的黑头数量输入至上述深度神经网络中，训练上述深度神经网络。

本申请实施例中，上述深度神经网络可以为BP神经网络。具体的，首先对该BP神经网络进行网络初始化，给各连接权重赋一个区间为[-1,1]内的随机数，设定误差函数e，设定计算精度和学习速率；接着，随机选取第n个训练样本以及对应的期望输出，其中，n为大于或等于1且小于或等于样本总数的值；接着，计算隐含层各神经元的输入和输出；接着，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数；接着，利用输出层各神经元的偏导数和隐含层各神经元的输出来更新连接权重，以及利用隐含层各神经元的偏导数和输入层各神经元的输入更新连接权重；接着，在修正过模型的连接权重之后，重新计算新的模型的全局误差；然后，判断当前模型是否收敛，如可通过判断相邻两次误差之间的差别是否小于指定的值等等；否则，选择下一个随机学习样本以及对应的期望输出，执行下一次学习；最终训练得到该BP神经网络模型。实施本申请实施例，通过上述方法进行训练，能够有效提高检测精度。可理解，本申请实施例对于上述深度神经网络的具体网络模型，以及网络的具体训练方式不作限定。

实施本申请实施例，通过不同光照下获取样本图像，能够增加样本图像的多样性，将这些样本图像输入至上述深度神经网络进行训练，能够通过大量包含不同特征的样本增加训练难度，从而进一步提高了深度神经网络训练的准确性。

可理解，图1和图4所示的方法实施例各有侧重，其中一个实施例中未详尽描述的实现方式还可参考其他实施例。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

参见图5，图5是本申请实施例提供的一种图像检测装置的结构示意图，如图5所示，该图像检测装置包括：

第一确定单元501，用于确定目标图像，上述目标图像为待检测黑头数量的图像；

第一输入输出单元502，用于将上述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，上述第二区域图像的反光程度大于上述第一区域图像的反光程度；

第二输入输出单元503，用于将上述第二区域图像输入至深度神经网络中，输出上述第二区域图像中的黑头数量；

第二确定单元504，用于根据上述第一区域图像的黑头位置确定上述第一区域图像中的黑头数量，以及根据上述第一区域图像中的黑头数量和上述第二区域图像中的黑头数量确定上述目标图像中的黑头数量。

可选的，上述目标图像为与鼻子对应的区域；

参见图6，图6是本申请实施例提供的一种第一确定子单元的结构示意图，如图6所示，所述第一确定单元501包括：

第一确定子单元5011，用于获取到人脸图像后，确定上述人脸图像中的人脸关键点；其中，上述人脸图像中的人脸关键点包括第一关键点、第二关键点、第三关键点和第四关键点；上述第一关键点为上述人脸关键点中鼻翼最左边的点，上述第二关键点为上述人脸关键点中鼻翼最右边的点，上述第三关键点为上述人脸关键点中鼻梁最上方的点，上述第四关键点为上述人脸关键点中鼻中隔最下方的点；

第二确定子单元5012，用于根据上述第一关键点的横坐标和上述第二关键点的横坐标确定上述目标图像的第一边长；

第三确定子单元5013，用于根据上述第三关键点的纵坐标和所述第四关键点的纵坐标确定上述目标区域的第二边长；

第四确定子单元5014，用于根据上述第一边长和上述第二边长确定上述目标图像。

可选的，参见图7，图7是本申请实施例提供的一种第一输入输出单元的结构示意图，如图7所示，上述第一输入输出单元502包括：

降低子单元5021，用于降低上述目标图像的分辨率，得到降低分辨率后的目标图像；

第一输入输出子单元5022，用于将上述降低分辨率后的目标图像输入至上述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置；

或者，参见图8，图8是本申请实施例提供的另一种第一输入输出单元结构示意图，如图8所示，上述第一输入输出单元502包括：

增强子单元5023，用于增强上述目标图像的分辨率，得到增强分辨率后的目标图像；

第二输入输出子单元5024，用于将上述增强分辨率后的目标图像输入至上述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置。

可选的，参见图9，图9是本申请实施例提供的另一种图像检测装置结构示意图，如图9所示，上述装置还包括：

获取单元505，用于获取第一样本图像和第二样本图像，上述第二样本图像的反光程度大于上述第一样本图像的反光程度，且上述第一样本图像中包括的对象和上述第二样本图像中包括的对象相同；

第三确定单元506，用于确定上述第一样本图像的黑头数量；

训练单元507，用于将上述第二样本图像以及所述第一样本图像的黑头数量输入至上述深度神经网络中，训练上述深度神经网络。

可选的，参见图10，图10是本申请实施例提供的一种获取单元结构示意图，如图10所示，上述获取单元505包括：

第一获取子单元5051，用于在第一光源下获取上述第一样本图像；

第二获取子单元5052，用于在第二光源下获取上述第二样本图像，上述第一光源的光照强度小于上述第二光源的光照强度。

参见图11，图11是本申请实施例提供的一种图像检测装置的结构示意图，该图像检测装置包括处理器1101、存储器1102和输入输出接口1103，所述处理器1101、存储器1102和输入输出接口1103通过总线相互连接。

存储器1102包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器1102用于相关指令及数据。

输入输出接口1103，例如可通过该输入输出接口与其他装置进行通信等。

处理器1101可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1101是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

具体的，各个操作的实现还可以对应参照图1和图4所示的方法实施例的相应描述。以及各个操作的实现还可对应参照图5、图6、图7、图8、图9以及图10所示的装置实施例的相应描述。

如在一个实施例中，处理器1101可用于执行步骤101、步骤104所示的方法，又如该处理器1101还可用于执行第一确定单元501、第二确定单元504等所执行的方法。

又如在一个实施例中，处理器1101可用于确定第一样本图像和第二样本图像，或确定目标图像，或者，也可通过输入输出接口1103来采集该第一样本图像和第二样本图像或目标图像等，本申请实施例对于如何获取第一样本图像和第二样本图像或目标图像不作限定。

又如在一个实施例中，输入输出接口1103，还可用于执行第一输入输出单元502和第二输入输出单元503所执行的方法。

可以理解的是，图11仅仅示出了图像检测装置的简化设计。在实际应用中，数据处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入输出接口、处理器、存储器等，而所有可以实现本申请实施例的图像检测装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (8)

1.一种图像检测方法，其特征在于，包括：

确定目标图像，所述目标图像为待检测黑头数量的图像；

将所述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，所述第二区域图像的反光程度大于所述第一区域图像的反光程度；

将所述第二区域图像输入至深度神经网络中，输出所述第二区域图像中的黑头数量；

根据所述第一区域图像的黑头位置确定所述第一区域图像中的黑头数量，以及根据所述第一区域图像中的黑头数量和所述第二区域图像中的黑头数量确定所述目标图像中的黑头数量；

所述将所述第二区域图像输入至深度神经网络中，输出所述第二区域图像中的黑头数量之前，所述方法还包括：

获取第一样本图像和第二样本图像，所述第二样本图像的反光程度大于所述第一样本图像的反光程度，且所述第一样本图像中包括的对象和所述第二样本图像中包括的对象相同；

确定所述第一样本图像的黑头数量；

将所述第二样本图像以及所述第一样本图像的黑头数量输入至所述深度神经网络中，训练所述深度神经网络。

2.根据权利要求1所述的方法，其特征在于，所述目标图像为与鼻子对应的区域；所述确定目标图像，包括：

获取到人脸图像后，确定所述人脸图像中的人脸关键点；其中，所述人脸图像中的人脸关键点包括第一关键点和第二关键点；所述第一关键点为所述人脸关键点中鼻翼最左边的点，所述第二关键点为所述人脸关键点中鼻翼最右边的点；

根据所述第一关键点和所述第二关键点确定所述目标图像。

3.根据权利要求书1或2所述的方法，其特征在于，所述将所述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，包括：

降低所述目标图像的分辨率，得到降低分辨率后的所述目标图像；

将降低分辨率后的所述目标图像输入至所述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置；

或者，增强所述目标图像的分辨率，得到增强分辨率后的所述目标图像；

将所述增强分辨率后的所述目标图像输入至所述深度检测神经网络，输出所述第一区域图像的黑头位置以及所述第二区域图像的位置。

4.根据权利要求1所述的方法，其特征在于，所述获取第一样本图像和第二样本图像，包括：

在第一光源下获取所述第一样本图像；

在第二光源下获取所述第二样本图像，所述第一光源的光照强度小于所述第二光源的光照强度。

5.一种图像检测装置，其特征在于，包括：

第一确定单元，用于确定目标图像，所述目标图像为待检测黑头数量的图像；

第一输入输出单元，用于将所述目标图像输入至深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置，所述第二区域图像的反光程度大于所述第一区域图像的反光程度；

第二输入输出单元，用于将所述第二区域图像输入至深度神经网络中，输出所述第二区域图像中的黑头数量；

第二确定单元，用于根据所述第一区域图像的黑头位置确定所述第一区域图像中的黑头数量，以及根据所述第一区域图像中的黑头数量和所述第二区域图像中的黑头数量确定所述目标图像中的黑头数量；

获取单元，用于获取第一样本图像和第二样本图像，所述第二样本图像的反光程度大于所述第一样本图像的反光程度，且所述第一样本图像中包括的对象和所述第二样本图像中包括的对象相同；

第三确定单元，用于确定所述第一样本图像的黑头数量；

训练单元，用于将所述第二样本图像以及所述第一样本图像的黑头数量输入至所述深度神经网络中，训练所述深度神经网络。

6.根据权利要求5所述的装置，其特征在于，所述第一输入输出单元包括：

降低子单元，用于降低所述目标图像的分辨率，得到降低分辨率后的所述目标图像；

第一输入输出子单元，用于将所述降低分辨率后的所述目标图像输入至所述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置；

或者，增强子单元，用于增强所述目标图像的分辨率，得到增强分辨率后的所述目标图像；

第二输入输出子单元，用于将所述增强分辨率后的所述目标图像输入至所述深度检测神经网络，输出第一区域图像的黑头位置以及第二区域图像的位置。

7.一种图像检测装置，其特征在于，包括处理器、存储器和输入输出接口，所述处理器和所述存储器、所述输入输出接口通过线路互联；其中，所述存储器存储有程序指令，所述程序指令被所述处理器执行时，使所述处理器执行如权利要求1至4所述的相应的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被图像检测装置的处理器执行时，使所述处理器执行权利要求1至4任意一项所述的方法。

Images