CN109063601B - 唇纹检测方法、装置、计算机设备和存储介质 - Google Patents

唇纹检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109063601B
CN109063601B CN201810770798.6A CN201810770798A CN109063601B CN 109063601 B CN109063601 B CN 109063601B CN 201810770798 A CN201810770798 A CN 201810770798A CN 109063601 B CN109063601 B CN 109063601B
Authority
CN
China
Prior art keywords
lip
image
print
feature
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810770798.6A
Other languages
English (en)
Other versions
CN109063601A (zh
Inventor
赵越
张惠斌
王亚宁
何云志
曾庆婷
关蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU LAIDE PU DETECTION TECHNOLOGY Co.,Ltd.
Original Assignee
Guangzhou Laide Pu Detection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Laide Pu Detection Technology Co ltd filed Critical Guangzhou Laide Pu Detection Technology Co ltd
Priority to CN201810770798.6A priority Critical patent/CN109063601B/zh
Publication of CN109063601A publication Critical patent/CN109063601A/zh
Application granted granted Critical
Publication of CN109063601B publication Critical patent/CN109063601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种唇纹检测方法、装置、计算机设备和存储介质。所述方法包括：获取脸部图像，并识别所述脸部图像的嘴唇区域；对所述嘴唇区域划分区块，并提取所述区块的区块图像；对所述区块图像进行唇纹提取处理，得到唇纹特征图像；获取所述唇纹特征图像的唇纹特征分量；根据所述唇纹特征分量进行唇纹检测。根据本申请实施例，避免了肉眼观察受到主观视觉因素影响导致检测可靠性较低、检测结果不准确的问题，提升了唇纹检测的准确性。

Description

唇纹检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种唇纹检测方法、装置、计算机设备和存储介质。
背景技术
目前，唇纹检测技术越来越多地应用在多个领域中。例如，在化妆品研发领域中，需要针对不同的唇纹设计适配的唇膏产品。
当前较为常见的唇纹检测方法，是针对唇纹采集唇纹图像，通过人的肉眼对唇纹图像进行观察，统计唇纹条数和形状，作为唇纹的检测结果。
然而，基于肉眼观察的唇纹检测方法，受到主观视觉因素影响，可靠性较低，对唇纹的检测并不准确。
因此，目前的唇纹检测方法存在着唇纹检测不准确的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升唇纹检测准确性的唇纹检测方法、装置、计算机设备和存储介质。
一种唇纹检测方法，包括：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
在其中一个实施例中，所述识别所述脸部图像的嘴唇区域，包括：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在其中一个实施例中，所述对所述区块图像进行唇纹提取处理，得到唇纹特征图像，包括：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在其中一个实施例中，所述对所述区块图像进行优化处理，得到优化图像，包括：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在其中一个实施例中，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述获取所述唇纹特征图像的唇纹特征分量，包括：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在其中一个实施例中，所述根据所述唇纹特征分量进行唇纹检测，包括：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在其中一个实施例中，还包括：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述标记所述脸部图像的嘴唇轮廓点，包括：
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
一种唇纹检测装置，包括：
嘴唇识别模块，用于获取脸部图像，并识别所述脸部图像的嘴唇区域；
分块模块，用于对所述嘴唇区域划分区块，并提取所述区块的区块图像；
图像提取模块，用于对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
分量获取模块，用于获取所述唇纹特征图像的唇纹特征分量；
检测模块，用于根据所述唇纹特征分量进行唇纹检测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
上述唇纹检测方法、装置、计算机设备和存储介质，通过识别脸部图像的嘴唇区域，对所述嘴唇区域划分区块并提取区块图像，针对区块图像进行唇纹提取处理，得到唇纹特征图像，获取唇纹特征图像的唇纹特征分量，从而可以根据唇纹特征分量进行唇纹检测，避免了肉眼观察受到主观视觉因素影响导致检测可靠性较低、检测结果不准确的问题，提升了唇纹检测的准确性。
附图说明
图1是本实施例的一种唇纹检测方法的流程示意图；
图2是本实施例的一种唇纹检测方法的应用环境图；
图3是本实施例的一种嘴唇轮廓点的示意图；
图4是本实施例的一种嘴唇区域的示意图；
图5是本实施例的一种唇纹特征图像生成步骤的流程示意图；
图6是本实施例的一种获取唇纹特征分量的流程图；
图7是本实施例的一种唇纹检测装置的结构框图；
图8是一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种唇纹检测方法，该方法可以包括以下步骤：
步骤S101，获取脸部图像，并识别所述脸部图像的嘴唇区域。
其中，脸部图像可以为针对人脸采集到的图像。
其中，嘴唇区域可以为脸部图像中具有嘴唇特征的图像区域。
具体实现中，可以针对人脸采集图像，得到脸部图像。然后，通过标记模型对脸部图像的嘴唇轮廓点进行标记，根据标记的嘴唇轮廓点，确定嘴唇轮廓。
步骤S102，对所述嘴唇区域划分区块，并提取所述区块的区块图像。
其中，区块图像可以为针对嘴唇区域划分的多个矩形区域中的图像。例如，每个矩形区域的大小为100*100像素。
具体实现中，可以将嘴唇区域均匀划分为多个区块，每个区块的大小可以100*100像素，区块之间可以有20像素的重叠区域。然后，可以提取每个区块中的图像作为区块图像，从而在嘴唇区域中，提取出多个区块图像。
步骤S103，对所述区块图像进行唇纹提取处理，得到唇纹特征图像。
其中，唇纹特征图像可以为包含有唇纹特征的图像。
具体实现中，可以从区块图像中提取唇纹特征，以得到唇纹特征图像。针对多个区块图像，则可以得到多个唇纹特征图像。
实际应用中，可以对区块图像进行优化处理，得到优化图像，并针对优化图像中各个像素点，计算像素矩阵。根据优化图像中各个像素点的像素矩阵，计算优化图像的唇纹相似度矩阵，唇纹相似度矩阵中可以包含有个各个像素点的唇纹相似度，然后，通过阈值分割的手段，确定矩阵中的唇纹像素点和非唇纹像素点，根据唇纹像素点和非唇纹像素点生成唇纹特征图像。
步骤S104，获取所述唇纹特征图像的唇纹特征分量。
其中，唇纹特征分量可以为图像中反映唇纹特征的、相互连接的多个像素点。
具体实现中，可以针对唇纹特征图像中的各个唇纹像素点检测连通域，将连通的唇纹像素点，作为唇纹特征分量。
实际应用中，唇纹特征图像可以包括有水平唇纹特征图像和垂直唇纹特征图像，可以分别针对水平唇纹特征图像和垂直唇纹特征图像获取唇纹特征分量，将得到的两个唇纹特征分量进行合并，得到最终的唇纹特征分量。
步骤S105，根据所述唇纹特征分量进行唇纹检测。
具体实现中，可以根据唇纹特征分量，统计唇纹的数量、唇纹的长度、唇纹的分布情况等。
需要说明的是，本申请提供的唇纹检测方法，可以应用于如图2所示的应用环境中。其中，图像采集终端202通过网络与检测服务器204通过网络进行通信。其中，图像采集终端202可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，检测服务器204可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图像采集终端202可以针对人脸采集脸部图像，并将脸部图像发送至检测服务器204，由检测服务器404执行上述的唇纹检测方法。当然，在实际应用中，也可以由图像采集终端202执行上述的唇纹检测方法。
根据本实施例提供的脸部皱纹检测方法，通过识别脸部图像的嘴唇区域，对所述嘴唇区域划分区块并提取区块图像，针对区块图像进行唇纹提取处理，得到唇纹特征图像，获取唇纹特征图像的唇纹特征分量，从而可以根据唇纹特征分量进行唇纹检测，避免了肉眼观察受到主观视觉因素影响导致检测可靠性较低、检测结果不准确的问题，提升了唇纹检测的准确性。
在一个实施例中，所述识别所述脸部图像的嘴唇区域，包括：
标记所述脸部图像的嘴唇轮廓点；筛选所述嘴唇轮廓点中的外嘴唇轮廓点；确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
其中，嘴唇轮廓点可以为脸部图像中反映人脸嘴唇轮廓特征的像素点。
其中，嘴唇轮廓点可以包括外嘴唇轮廓点和内嘴唇轮廓点。
具体实现中，可以通过样本嘴唇图像对轮廓标记模型进行机器训练和校验，采用经过机器训练的轮廓标记模型，标记脸部图像的嘴唇轮廓点，并在标记的多个嘴唇轮廓点中，识别出外嘴唇轮廓点和内嘴唇轮廓点，最后根据外嘴唇轮廓点在脸部图像中的坐标信息，确定其所形成的区域，作为脸部图像的嘴唇区域。
图3是本实施例的一种嘴唇轮廓点的示意图。从图中可见，通过轮廓标记模型，可以标记出脸部图像中的43个嘴唇轮廓点。其中，根据坐标信息，可以确定嘴唇轮廓点0、1、2……31为外嘴唇轮廓点，嘴唇轮廓点32、33、34……42为内嘴唇轮廓点。
图4是本实施例的一种嘴唇区域的示意图。从图中可见，将外嘴唇轮廓点0、1、2……31所形成的区域，作为脸部图像的嘴唇区域。
实际应用中，由于上下嘴唇交接处出现唇缝，该区域容易识别成唇纹，因此，需要将内嘴唇轮廓点剔除，以提升唇纹检测的准确性。
在一个实施例中，如图5所示，提供了一种唇纹特征图像生成步骤的流程图，所述步骤S103，具体包括：
步骤S11，对所述区块图像进行优化处理，得到优化图像；
步骤S12，计算所述优化图像的像素矩阵；
步骤S13，计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
步骤S14，根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
步骤S15，根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
其中，步骤S11的具体实现中，可以包括以下步骤：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
例如，当前得到区块图像Pblock，分别对区块图像Pblock进行水平方向和垂直方向的滤波处理，得到水平滤波图像Ph1和垂直滤波图像Pv1。然后，分别对水平滤波图像Ph1和垂直滤波图像Pv1，进行图像锐化和图像增强等图像优化处理，得到水平优化图像Ph2和垂直优化图像Pv2，由此，得到上述的优化图像。
对图像进行滤波、锐化等优化处理，从而，在后续处理中，可以基于可以准确反映唇纹特征的图像进行唇纹检测，提升唇纹检测的准确性。
其中，步骤S12的具体实现中，在上述例子的基础上，可以针对于水平优化图像Ph2和垂直优化图像Pv2，提取图像中的多个像素点，针对每个像素点，计算其图像特征矩阵，例如Hessian矩阵(Hessian Matrix，黑塞矩阵)。
其中，Hessian矩阵可以包括三个子矩阵，分别为对水平方向求二阶导得到的子矩阵Hxx，对垂直方向求二阶导得到的子矩阵Hyy，以及，先对水平方向求导、再对垂直方向求导得到的子矩阵Hxy，以及，先对垂直方向求导、再对水平方向求导得到的子矩阵Hyx＝Hxy。由此，得到Hessian矩阵如下：
Figure BDA0001730208450000081
其中，步骤S13的具体实现中，在上述例子的基础上，可以计算图像中各个像素点矩阵H的最大特征值和最小特征值，分别为λ1、λ2,根据λ1、λ2计算像素点的唇纹相似度值，其计算公式如下：
Figure BDA0001730208450000082
其中，常数C用于控制唇纹相似度的大小，常数β用来控制唇纹的形状。
由此，得到了一个图像中各个像素点的唇纹相似度，可以将各个像素点的唇纹相似度，组成唇纹相似度矩阵F如下：
Figure BDA0001730208450000083
其中，m和n分别代表图像的水平分辨率垂直分辨率。
其中，步骤S14的具体实现中，在上述例子的基础上，可以采用阈值分割的方法，将fij(i，j表示矩阵F的行列坐标)与设定的相似度阈值f0做比较，当f值大于或等于相似度阈值f0时，则认为该像素点为唇纹像素点,标记其像素值为1；否则，认为该像素点为非唇纹像素点，标记其像素值为0。
其中，步骤S15的具体实现中，在上述例子的基础上，对于像素值为1的唇纹像素点，表示为黑色像素点，对于像素值为0的非唇纹像素点，表示为白色像素点，由此，将图像转换为黑白图，得到唇纹特征图像。
针对于水平优化图像Ph2和垂直优化图像Pv2，则可以得到水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3。
在一个实施例中，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述步骤S104，包括：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
具体实现中，针对于水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3，可以检测唇纹像素点(即白色像素点)的连通域，确定具有邻接关系的多个唇纹像素点，连接该多个唇纹像素点，连接的多个唇纹像素点，则形成多个唇纹像素点的连通域，即为水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3的唇纹特征分量。
然后，可以合并水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3的唇纹特征分量，得到唇纹特征分量W0。
在一个实施例中，所述根据所述唇纹特征分量进行唇纹检测，包括：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
具体实现中，由于初始的唇纹特征分量W0可能存在很多噪声，因此，还可以对唇纹特征分量W0进行去噪处理，得到目标唇纹分量W，并基于目标唇纹分量W，进行唇纹数量、唇纹长度、唇纹分布特征的检测处理。
图6是本实施例的一种获取唇纹特征分量的流程图。从图中可见，在得到区块图像Pblock之后，分别对区块图像Pblock进行水平方向和垂直方向的滤波处理，得到水平滤波图像Ph1和垂直滤波图像Pv1，然后，进行图像锐化和图像增强等图像优化处理，得到水平优化图像Ph2和垂直优化图像Pv2。通过计算像素点的Hessian矩阵，构建唇纹相似度矩阵F，并生成水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3。针对图像获取唇纹特征分量，将水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3的唇纹特征分量合并，得到如图中所示的唇纹特征分量W0。
在一个实施例中，还包括：
获取样本嘴唇图像和校验嘴唇图像；采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述标记所述脸部图像的嘴唇轮廓点，包括：
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
具体实现中，在进行唇纹检测之前，可以首先获取若干正面脸部图像，其中部分用于对模型的机器训练，部分用于模型的校验。将脸部图像通过标记软件标记嘴唇轮廓点，将结果保存在.xml文件中。可以采用dlib算法库中face landmark detection算法(脸部检测标记算法)，dlib是一个包含许多机器学习算法的开源c++库，其中face landmarkdetection算法是一种基于人脸标注点的机器学习训练算法。
标记模型训练完成后，得到嘴唇轮廓点的轮廓标记模型。采用该轮廓标记模型对脸部图像进行标记，可以提升标记的准确率，以便在后续处理中，基于准确的嘴唇轮廓点确定嘴唇区域，从而进一步提升唇纹检测的准确性。
应该理解的是，虽然图1和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种唇纹检测装置，包括：嘴唇识别模块701、分块模块702、图像提取模块703、分量获取模块704和检测模块705，其中：
嘴唇识别模块701，用于获取脸部图像，并识别所述脸部图像的嘴唇区域；
分块模块702，用于对所述嘴唇区域划分区块，并提取所述区块的区块图像；
图像提取模块703，用于对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
分量获取模块704，用于获取所述唇纹特征图像的唇纹特征分量；
检测模块705，用于根据所述唇纹特征分量进行唇纹检测。
在一个实施例中，所述嘴唇识别模块701，包括：
轮廓点标记子模块，用于标记所述脸部图像的嘴唇轮廓点；
筛选子模块，用于筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
区域确定子模块，用于确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在一个实施例中，所述图像提取模块703，包括：
图像优化子模块，用于对所述区块图像进行优化处理，得到优化图像；
矩阵计算子模块，用于计算所述优化图像的像素矩阵；
相似度矩阵计算子模块，用于计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
分割子模块，用于根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
特征图像生成子模块，用于根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在一个实施例中，所述图像优化子模块，包括：
滤波单元，用于对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
优化单元，用于对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
优化图像确定单元，用于将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在一个实施例中，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述分量获取模块704，包括：
水平连通域子模块，用于根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
垂直连通域子模块，用于根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并子模块，用于合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在一个实施例中，所述检测模块705，包括：
去噪子模块，用于对所述唇纹特征分量进行去噪，得到目标唇纹分量；
检测子模块，用于根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在一个实施例中，还包括：
样本获取模块，用于获取样本嘴唇图像和校验嘴唇图像；
训练模块，用于采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述轮廓点标记子模块，包括：
模型标记单元，用于通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
关于唇纹检测装置的具体限定可以参见上文中对于唇纹检测方法的限定，在此不再赘述。上述唇纹检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储唇纹检测的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种唇纹检测方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种唇纹检测方法，其特征在于，包括：
获取脸部图像，并识别所述脸部图像的嘴唇区域；所述嘴唇区域为所述脸部图像中具有嘴唇特征的图像区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；所述唇纹特征分量为所述唇纹特征图像中反映所述唇纹特征且相互连接的多个像素点；
根据所述唇纹特征分量进行唇纹检测；
所述对所述嘴唇区域划分区块，并提取所述区块的区块图像，包括：
将所述嘴唇区域均匀划分为预设像素大小的区块；
提取每个所述区块中的图像作为所述区块的区块图像。
2.根据权利要求1所述的方法，其特征在于，所述识别所述脸部图像的嘴唇区域，包括：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
3.根据权利要求1所述的方法，其特征在于，所述对所述区块图像进行唇纹提取处理，得到唇纹特征图像，包括：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述区块图像进行优化处理，得到优化图像，包括：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
5.根据权利要求3所述的方法，其特征在于，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述获取所述唇纹特征图像的唇纹特征分量，包括：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
6.根据权利要求1所述的方法，其特征在于，所述根据所述唇纹特征分量进行唇纹检测，包括：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
7.根据权利要求2所述的方法，其特征在于，还包括：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述标记所述脸部图像的嘴唇轮廓点，包括：
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
8.一种唇纹检测装置，其特征在于，包括：
嘴唇识别模块，用于获取脸部图像，并识别所述脸部图像的嘴唇区域；所述嘴唇区域为所述脸部图像中具有嘴唇特征的图像区域；
分块模块，用于对所述嘴唇区域划分区块，并提取所述区块的区块图像；
图像提取模块，用于对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
分量获取模块，用于获取所述唇纹特征图像的唇纹特征分量；所述唇纹特征分量为所述唇纹特征图像中反映所述唇纹特征且相互连接的多个像素点；
检测模块，用于根据所述唇纹特征分量进行唇纹检测；
所述分块模块，还用于将所述嘴唇区域均匀划分为预设像素大小的区块；提取每个所述区块中的图像作为所述区块的区块图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810770798.6A 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质 Active CN109063601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810770798.6A CN109063601B (zh) 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810770798.6A CN109063601B (zh) 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109063601A CN109063601A (zh) 2018-12-21
CN109063601B true CN109063601B (zh) 2020-12-22

Family

ID=64816486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810770798.6A Active CN109063601B (zh) 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109063601B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443015A (zh) * 2019-06-28 2019-11-12 北京市政建设集团有限责任公司 机电设备控制方法和控制设备
CN113420663B (zh) * 2021-06-23 2022-02-22 深圳市海清视讯科技有限公司 一种儿童人脸识别方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005042A (zh) * 2010-11-09 2011-04-06 东华大学 一种用于表征织物纹理的索贝尔算子滤波概貌特征提取方法
CN103268472A (zh) * 2013-04-17 2013-08-28 哈尔滨工业大学深圳研究生院 基于双色彩空间的嘴唇检测方法
CN103593639A (zh) * 2012-08-15 2014-02-19 北京三星通信技术研究有限公司 嘴唇检测和跟踪方法及设备
CN106056080A (zh) * 2016-05-30 2016-10-26 东莞市中控电子技术有限公司 一种可视化的生物计量信息采集装置和方法
CN106250829A (zh) * 2016-07-22 2016-12-21 中国科学院自动化研究所 基于唇部纹理结构的数字识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005042A (zh) * 2010-11-09 2011-04-06 东华大学 一种用于表征织物纹理的索贝尔算子滤波概貌特征提取方法
CN103593639A (zh) * 2012-08-15 2014-02-19 北京三星通信技术研究有限公司 嘴唇检测和跟踪方法及设备
CN103268472A (zh) * 2013-04-17 2013-08-28 哈尔滨工业大学深圳研究生院 基于双色彩空间的嘴唇检测方法
CN106056080A (zh) * 2016-05-30 2016-10-26 东莞市中控电子技术有限公司 一种可视化的生物计量信息采集装置和方法
CN106250829A (zh) * 2016-07-22 2016-12-21 中国科学院自动化研究所 基于唇部纹理结构的数字识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Sparse Coding Based Lip Texture Representation For Visual Speaker Identification;Jun-Yao Lai et al.;《Proceedings of the 19th International Conference on Digtal Signal Processing》;20140823;第607-610页 *
唇纹识别图像分割***的研究;杨成佳;《山西青年》;20171130;第三节 *
基于Hessian矩阵的手指静脉图像分割;林剑 等;《机电工程》;20161231;第33卷(第12期);第1.1节 *
基于深度自编码器网络的人脸特征点定位方法;梁洋洋 等;《计算机应用与软件》;20161231(第9期);摘要，第1.1节，第2.1节 *

Also Published As

Publication number Publication date
CN109063601A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN108446585B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN109035299B (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN109271870B (zh) 行人重识别方法、装置、计算机设备及存储介质
CN110674712A (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN110211076B (zh) 图像拼接方法、图像拼接设备和可读存储介质
CN110569721A (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN110532851B (zh) 指静脉识别方法、装置、计算机设备和存储介质
CN111626123A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN109840524B (zh) 文字的类型识别方法、装置、设备及存储介质
CN111968134B (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN111191532A (zh) 基于施工区域的人脸识别方法、装置、计算机设备
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN112241952B (zh) 大脑中线识别方法、装置、计算机设备及存储介质
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112183252A (zh) 视频的动作识别方法、装置、计算机设备和存储介质
CN111242840A (zh) 手写体字符生成方法、装置、计算机设备和存储介质
CN109063601B (zh) 唇纹检测方法、装置、计算机设备和存储介质
CN111860582A (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN110222752B (zh) 图像处理方法、***、计算机设备、存储介质和芯片
CN112836682B (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN109086688A (zh) 脸部皱纹检测方法、装置、计算机设备和存储介质
CN112580499A (zh) 文本识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201125

Address after: Room 201, No. 9, Tengfei 2nd Street, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU LAIDE PU DETECTION TECHNOLOGY Co.,Ltd.

Address before: 102200 room 1, Building 29, life park, Changping District science and Technology Park, Beijing, B316-82

Applicant before: BEIJING KELAI PUYUN TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant