CN116503933A - 一种眼周特征提取方法、装置、电子设备及存储介质 - Google Patents

一种眼周特征提取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116503933A
CN116503933A CN202310592929.7A CN202310592929A CN116503933A CN 116503933 A CN116503933 A CN 116503933A CN 202310592929 A CN202310592929 A CN 202310592929A CN 116503933 A CN116503933 A CN 116503933A
Authority
CN
China
Prior art keywords
periocular
feature map
feature
key
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310592929.7A
Other languages
English (en)
Other versions
CN116503933B (zh
Inventor
张小亮
李茂林
吴明岩
魏衍召
杨占金
戚纪纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Superred Technology Co Ltd
Original Assignee
Beijing Superred Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Superred Technology Co Ltd filed Critical Beijing Superred Technology Co Ltd
Priority to CN202310592929.7A priority Critical patent/CN116503933B/zh
Publication of CN116503933A publication Critical patent/CN116503933A/zh
Application granted granted Critical
Publication of CN116503933B publication Critical patent/CN116503933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本申请涉及一种眼周特征提取方法、装置、电子设备及存储介质，涉及图像处理的领域，该方法包括获取眼周图像，对眼周图像进行空间特征提取，得到至少一个空间特征图，每个空间特征图中包括眼周局部特征以及眼周全局特征，基于每个空间特征图确定每个空间特征图对应的筛选系数，基于筛选系数以及筛选系数对应的空间特征图确定眼周图像的关键眼周特征图。本申请能够得到更具鲁棒性的既包含眼周局部特征以及眼周全局特征的眼周特征图。

Description

一种眼周特征提取方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理的领域，尤其是涉及一种眼周特征提取方法、装置、电子设备及存储介质。
背景技术
随着科技快速发展以及社会环境的复杂化，对信息安全以及隐私保护的要求越来越高。指纹等单模态生物特征逐渐出现容易被伪造以及安全程度降低的风险，因此出现多模态生物特征结合对信息进行保护的方案，例如将指纹与面部特征结合，从而达到更好的防护效果，但使用面部特征在一些特殊情况，例如口罩遮挡、眼镜遮挡等干扰导致人脸识别性能下降。而眼周区域包含了丰富的颜色和纹理特征，与整个面部特征相比随年龄变换和表情变化影响较小，眼周区域的特征稳定性较高，因此眼周区域的特征能够与人脸、虹膜等单模态生物特征结合，形成多模态进行辅助识别以对信息及隐私进行防护。
眼周图像中通常包含眼周全局特征以及眼周局部特征，眼周全局特征为眼周的整体特征，表征眼周的整体情况，如眼周的颜色以及形状等；眼周局部特征例如眼周的睫毛纹理等细节特征。目前可以通过对眼周图像单独进行卷积处理得到眼周局部特征，而忽视眼周全局特征，仅通过眼周局部特征表征眼周图像的具体情况；或者对眼周图像单独使用自注意力机制得到眼周全局特征，而忽视眼周局部特征，仅通过眼周全局特征表征眼周图像的具体情况。仅通过眼周局部特征或眼周全局特征表征眼周的具体情况较为片面并且鲁棒性较差。因此如何得到更具鲁棒性的既包含眼周局部特征以及眼周全局特征的眼周特征图成为一个问题。
发明内容
为了得到更具鲁棒性的既包含眼周局部特征以及眼周全局特征的眼周特征图，本申请提供一种眼周特征提取方法、装置、电子设备及存储介质。
第一方面，本申请提供一种眼周特征提取方法，采用如下的技术方案：
一种眼周特征提取方法，包括：
获取眼周图像；
对所述眼周图像进行空间特征提取，得到至少一个空间特征图，每个空间特征图中包括眼周局部特征以及眼周全局特征；
基于所述每个空间特征图确定所述每个空间特征图对应的筛选系数，所述筛选系数用于筛选每个空间特征图中关键的眼周特征；
基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图。
通过采用上述技术方案，获取眼周图像，并对眼周图像进行空间特征提取从而能够得到眼周图像的至少一个空间特征图，每个空间特征图中包括眼周全局特征以及眼周局部特征，由于空间特征图中记载了眼周的全局特征情况和局部特征情况，因此根据每个空间特征图能够确定出每个空间特征图对应的筛选系数，筛选系数用于筛选至少一个空间特征图中的关键的全局特征以及关键的局部特征，因此根据筛选系数进一步对对应的空间特征图进行处理，得到至少一个空间特征图中的关键的全局特征以及关键的局部特征，即确定出眼周图像对应的关键眼周特征图，也即得到更具鲁棒性的眼周特征图。
在另一种可能实现的方式中，所述基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图，包括：
对每个空间特征图进行奇异值分解，得到所述每个空间特征图对应的奇异值矩阵、左正交矩阵以及右正交矩阵；
基于所述每个空间特征图对应的筛选系数确定对应的奇异值矩阵中的关键元素；
将所述关键元素之外的元素确定为0，得到关键奇异值矩阵；
基于所述关键奇异值矩阵、所述左正交矩阵以及所述右正交矩阵确定每个空间特征图对应的关键空间特征图；
基于所述每个空间特征图对应的关键空间特征图，确定所述眼周图像的关键眼周特征图。
通过采用上述技术方案，每个空间特征图中包括眼周的一部分眼周全局特征以及一部分眼周局部特征，对每个空间特征图进行奇异值分解，从而得到奇异值矩阵、左正交矩阵以及右正交矩阵，其中，每个空间特征图对应的奇异值矩阵中记载有眼周的关键信息，得到奇异值矩阵后，根据用于筛选关键特征的筛选系数确定奇异值矩阵中的关键元素，除关键元素之外的元素关键程度以及重要不高，因此将除关键元素之外的元素确定为0，以忽略不重要的元素，得到关键奇异值矩阵，得到关键奇异值矩阵后，根据关键奇异值矩阵、左正交矩阵以及右正交矩阵从而得到每个空间特征图对应的关键空间特征图，根据每个关键空间特征图中的关键元素得到具有眼周关键元素、更具鲁棒性的关键眼周特征图。
在另一种可能实现的方式中，所述基于所述每个空间特征图对应的关键空间特征图，确定所述眼周图像的关键眼周特征图，包括：
若空间特征图的数量为一个，则将所述空间特征图对应的关键空间特征图确定为所述眼周图像的关键眼周特征图；
若空间特征图的数量为至少两个，则将各个空间特征图分别对应的关键空间特征图进行拼接，得到所述眼周图像的关键眼周特征图。
通过采用上述技术方案，空间特征图的数量为至少两个，即每个空间特征图对应的关键空间特征图中包括一部分眼周局部特征的关键元素以及一部分眼周全局特征的关键元素，因此通过对各个空间特征图分别对应的关键空间特征图进行拼接，将全部关键元素拼接成一个整体，从而得到更全面准确的关键眼周特征图。
在另一种可能实现的方式中，所述对所述眼周图像进行空间特征提取，得到至少一个空间特征图，包括：
对所述眼周图像分别进行局部空间特征提取以及全局空间特征提取得到眼周局部特征图以及眼周全局特征图；
对所述眼周局部特征图按照预设通道数量进行通道分离，得到每个通道对应的眼周局部子特征图，以及，对所述眼周全局特征图按照所述预设通道数量进行通道分离，得到每个通道对应的眼周全局子特征图；
确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图；
对通道相同的第一关键特征图以及第二关键特征图进行拼接，得到每个通道对应的眼周特征拼接图；
对所述眼周图像进行空间权重提取得到空间权重特征图；
对所述空间权重特征图以及每个所述通道对应的眼周特征拼接图进行逐元素相乘得到所述至少一个空间特征图。
通过采用上述技术方案，对眼周图像进行局部空间特征提取，从而得到眼周图像的眼周局部特征图以及眼周全局特征图，将眼周局部特征图以及眼周全局特征图分别按照预设通道数量进行通道分离，从而得到每个通道对应的眼周局部子特征图以及每个通道对应的眼周全局子特征图，进行通道分离能够更准确全面地对眼周全局特征和眼周局部特征进行分析，由于每个眼周局部子特征图包括一部分眼周局部的关键特征，每个眼周全局子特征图包括一部分眼周全局的关键特征，因此确定每个眼周局部子特征图的第一关键特征图以及每个眼周全局子特征的第二关键特征图，然后将通道相同的第一关键特征图和第二关键特征图进行拼接，从而得到单个通道对应的包括第一关键特征图和第二关键特征图的眼周特征拼接图，对眼周图像进行空间权重特征提取得到空间权重特征图，通过空间权重特征图能够突出眼周图像中显著的眼周全局特征以及眼周局部特征，得到空间权重特征图后，对空间权重特征图以及每个通道对应的眼周特征拼接图进行逐元素相乘，对眼周全局特征和眼周局部特征进行空间维度的加权，从而突出眼周特征拼接图中的眼周全局特征和眼周局部特征。
在另一种可能实现的方式中，所述确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图，包括：
确定每个眼周局部子特征图的至少两个第一特征值，以及每个眼周全局子特征图的至少两个第二特征值；
从至少两个第一特征值中筛选第一数量的第一特征值，筛选出的第一特征值大于所述至少两个第一特征值中未被筛选出的第一特征值；
从至少两个第二特征值中筛选第二数量的第二特征值，筛选出的第二特征值大于所述至少两个第二特征值中未被筛选出的第二特征值，所述第一数量和所述第二数量是基于目标维度确定的，所述目标维度为所述每个眼周局部子特征图的维度，或者为，每个眼周全局子特征图的维度；
基于所述第一数量的第一特征值，确定所述每个眼周局部子特征图的第一关键特征图，以及，基于所述第二数量的第二特征值，确定每个眼周全局子特征图的第二关键特征图。
通过采用上述技术方案，眼周局部子特征图中包括至少两个第一特征值，眼周全局子特征图中同样包括至少两个第二特征值，因此从至少两个第一特征值中筛选出第一数量的第一特征值，第一数量的第一特征值大于其他未被筛选出的第一特征值，即筛选出最重要的第一数量的第一特征值，第一数量的第一特征值对应的元素即为眼周局部子特征图中最适合表征眼周局部特征的元素，从至少两个第二特征值中筛选出第二数量的第二特征值，第二数量的第二特征值大于其他未被筛选出的第二特征值，同样筛选出最重要的第二数量的第二特征值，第二数量的第二特征值对应的元素即为眼周全局子特征图中最适合表征眼周全局特征的元素，根据第一数量的第一特征值确定出眼周局部子特征图对应的第一关键特征图，根据第二数量的第二特征值确定出眼周全局子特征图对应的第二关键特征图，由于第一数量和第二数量是根据眼周局部子特征图的维度或眼周全局子特征图的维度确定的，从而使得后续对第一关键特征图和第二关键特征图进行拼接后保持维度不变。
在另一种可能实现的方式中，所述对所述眼周图像进行空间权重提取得到空间权重特征图，包括：
对所述眼周图像进行归一化处理，得到所述空间权重特征图。
通过采用上述技术方案，对眼周图像进行归一化处理，从而更好地得到空间权重特征图。
在另一种可能实现的方式中，所述基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图，之后还包括：
若不满足预设条件，则循环执行以下步骤，直至满足预设条件：
将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图；
将得到至少一个当前空间特征图确定为目标特征图，或者，将上一次得到的关键眼周特征图以及所述至少一个当前空间特征图确定为目标特征图；
基于所述目标特征图确定所述目标特征图对应的当前筛选系数，所述当前筛选系数用于筛选所述目标特征图中关键的眼周特征；
基于所述当前筛选系数以及所述目标特征图确定所述眼周图像的当前关键眼周特征图；
所述预设条件包括：关键眼周特征图的确定次数达到预设次数阈值；
所述上一次得到的特征图包括以下任一项：
上一次得到的关键眼周特征图；
上一次得到的关键眼周特征图以及上一次空间特征提取得到的空间特征图。
通过采用上述技术方案，若未达到预设条件，则继续对上一次得到的特征图进行空间特征提取得到至少一个当前空间特征图，根据至少一个当前空间特征图以及上一次得到的关键眼周特征图确定目标特征图，根据目标特征图确定目标特征图对应的当前筛选系数，根据当前筛选系数以及目标特征图即可确定眼周图像的关键眼周特征图；此时再次对是否满足预设条件进行判断，若仍未满足，以此类推重复上述步骤直至满足预设条件，通过循环进行空间特征提取以及确定当前关键眼周特征，进一步提升眼周图像的关键眼周特征图的准确性，提高最终得到的关键眼周特征图的质量。
在另一种可能实现的方式中，对所述眼周图像进行空间特征提取，得到至少一个空间特征图，包括：对所述眼周图像进行下采样处理，对所述下采样处理后的眼周图像进行空间特征提取，得到所述至少一个空间特征图，
和/或，
所述将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图，包括：当关键眼周特征图的确定次数达到指定次数时，对所述上一次得到的特征图进行下采样处理，对所述下采样处理后的所述上一次得到的特征图进行空间特征提取，得到所述至少一个当前空间特征图。
通过采用上述技术方案，通过对眼周图像进行下采样和/或对在循环过程中眼周图像的关键眼周特征图的确定次数达到指定次数时进行下采样，均可降低眼周图像和/或上一次得到的特征图的分辨率，减少计算量，提高眼周特征识别的效率。
第二方面，本申请提供一种眼周特征提取装置，采用如下的技术方案：
一种眼周特征提取装置，包括：
图像获取模块，用于获取眼周图像；
空间特征提取模块，用于对所述眼周图像进行空间特征提取，得到至少一个空间特征图，每个空间特征图中包括眼周局部特征以及眼周全局特征；
系数确定模块，用于基于所述每个空间特征图确定所述每个空间特征图对应的筛选系数，所述筛选系数用于筛选每个空间特征图中关键的眼周特征；
关键眼周特征提取模块，用于基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图。
通过采用上述技术方案，图像获取模块获取眼周图像，空间特征提取模块对眼周图像进行空间特征提取从而能够得到眼周图像的至少一个空间特征图，每个空间特征图中包括眼周全局特征以及眼周局部特征，由于空间特征图中记载了眼周的全局特征情况和局部特征情况，因此系数确定模块根据每个空间特征图能够确定出每个空间特征图对应的筛选系数，筛选系数用于筛选至少一个空间特征图中的关键的全局特征以及关键的局部特征，因此关键眼周特征提取模块根据筛选系数进一步对对应的空间特征图进行处理，得到至少一个空间特征图中的关键的全局特征以及关键的局部特征，即确定出眼周图像对应的关键眼周特征图，也即得到更具鲁棒性的眼周特征图。
在另一种可能的实现方式中，所述关键眼周特征提取模块在基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图时，具体用于：
对每个空间特征图进行奇异值分解，得到所述每个空间特征图对应的奇异值矩阵、左正交矩阵以及右正交矩阵；
基于所述每个空间特征图对应的筛选系数确定对应的奇异值矩阵中的关键元素；
将所述关键元素之外的元素确定为0，得到关键奇异值矩阵；
基于所述关键奇异值矩阵、所述左正交矩阵以及所述右正交矩阵确定每个空间特征图对应的关键空间特征图；
基于所述每个空间特征图对应的关键空间特征图，确定所述眼周图像的关键眼周特征图。
在另一种可能的实现方式中，所述关键眼周特征提取模块在基于所述每个空间特征图对应的关键空间特征图，确定所述眼周图像的关键眼周特征图时，具体用于：
若空间特征图的数量为一个，则将所述空间特征图对应的关键空间特征图确定为所述眼周图像的关键眼周特征图；
若空间特征图的数量为至少两个，则将各个空间特征图分别对应的关键空间特征图进行拼接，得到所述眼周图像的关键眼周特征图。
在另一种可能的实现方式中，所述空间特征提取模块在对所述眼周图像进行空间特征提取，得到至少一个空间特征图时，具体用于：
对所述眼周图像分别进行局部空间特征提取以及全局空间特征提取得到眼周局部特征图以及眼周全局特征图；
对所述眼周局部特征图按照预设通道数量进行通道分离，得到每个通道对应的眼周局部子特征图，以及，对所述眼周全局特征图按照所述预设通道数量进行通道分离，得到每个通道对应的眼周全局子特征图；
确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图；
对通道相同的第一关键特征图以及第二关键特征图进行拼接，得到每个通道对应的眼周特征拼接图；
对所述眼周图像进行空间权重提取得到空间权重特征图；
对所述空间权重特征图以及每个所述通道对应的眼周特征拼接图进行逐元素相乘得到所述至少一个空间特征图。
在另一种可能的实现方式中，所述空间特征提取模块在确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图时，具体用于：
确定每个眼周局部子特征图的至少两个第一特征值，以及每个眼周全局子特征图的至少两个第二特征值；
从至少两个第一特征值中筛选第一数量的第一特征值，筛选出的第一特征值大于所述至少两个第一特征值中未被筛选出的第一特征值；
从至少两个第二特征值中筛选第二数量的第二特征值，筛选出的第二特征值大于所述至少两个第二特征值中未被筛选出的第二特征值，所述第一数量和所述第二数量是基于目标维度确定的，所述目标维度为所述每个眼周局部子特征图的维度，或者为，每个眼周全局子特征图的维度；
基于所述第一数量的第一特征值，确定所述每个眼周局部子特征图的第一关键特征图，以及，基于所述第二数量的第二特征值，确定每个眼周全局子特征图的第二关键特征图。
在另一种可能的实现方式中，所述空间特征提取模块在对所述眼周图像进行空间权重提取得到空间权重特征图时，具体用于：
对所述眼周图像进行归一化处理，得到所述空间权重特征图。
在另一种可能的实现方式中，所述装置还包括：
循环模块，用于当不满足预设条件时，循环执行以下步骤，直至满足预设条件：
将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图；
将得到至少一个当前空间特征图确定为目标特征图，或者，将上一次得到的关键眼周特征图以及所述至少一个当前空间特征图确定为目标特征图；
基于所述目标特征图确定所述目标特征图对应的当前筛选系数，所述当前筛选系数用于筛选所述目标特征图中关键的眼周特征；
基于所述当前筛选系数以及所述目标特征图确定所述眼周图像的当前关键眼周特征图；
所述预设条件包括：关键眼周特征图的确定次数达到预设次数阈值；
所述上一次得到的特征图包括以下任一项：
上一次得到的关键眼周特征图；
上一次得到的关键眼周特征图以及上一次空间特征提取得到的空间特征图。
在另一种可能的实现方式中，空间特征提取模块在对所述眼周图像进行空间特征提取，得到至少一个空间特征图时，具体用于：对所述眼周图像进行下采样处理，对所述下采样处理后的眼周图像进行空间特征提取，得到所述至少一个空间特征图，
和/或，
所述循环模块在将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图时，具体用于：当关键眼周特征图的确定次数达到指定次数时，对所述上一次得到的特征图进行下采样处理，对所述下采样处理后的所述上一次得到的特征图进行空间特征提取，得到所述至少一个当前空间特征图。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，该电子设备包括：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，至少一个配置用于：执行根据第一方面任一种可能的实现方式所示的一种眼周特征提取方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，当所述计算机程序在计算机中执行时，令所述计算机执行第一方面任一项所述的一种眼周特征提取方法。
综上所述，本申请包括以下至少一种有益技术效果：
1. 获取眼周图像，并对眼周图像进行空间特征提取从而能够得到眼周图像的至少一个空间特征图，每个空间特征图中包括眼周全局特征以及眼周局部特征，由于空间特征图中记载了眼周的全局特征情况和局部特征情况，因此根据每个空间特征图能够确定出每个空间特征图对应的筛选系数，筛选系数用于筛选至少一个空间特征图中的关键的全局特征以及关键的局部特征，因此根据筛选系数进一步对对应的空间特征图进行处理，得到至少一个空间特征图中的关键的全局特征以及关键的局部特征，即确定出眼周图像对应的关键眼周特征图，也即得到更具鲁棒性的眼周特征图；
2. 每个空间特征图中包括部分眼周的眼周全局特征以及眼周局部特征，对每个空间特征图进行奇异值分解，从而得到奇异值矩阵、左正交矩阵以及右正交矩阵，其中，每个空间特征图对应的奇异值矩阵中记载有眼周的关键信息，得到奇异值矩阵后，根据用于筛选关键特征的筛选系数确定奇异值矩阵中的关键元素，除关键元素之外的元素关键程度以及重要不高，因此将除关键元素之外的元素确定为0，以忽略不重要的元素，得到关键奇异值矩阵，得到关键奇异值矩阵后，根据关键奇异值矩阵、左正交矩阵以及右正交矩阵从而得到每个空间特征图对应的关键空间特征图，对每个关键空间特征图进行拼接，从而将每个关键空间特征图中的关键元素拼接整合成为一个整体，进而得到具有眼周关键元素、更具鲁棒性的关键眼周特征图。
附图说明
图1是本申请实施例的一种眼周特征提取方法的流程示意图。
图2是本申请实施例中关键特征提取的流程示意图。
图3是本申请实施例中空间特征提取的流程示意图。
图4是本申请实施例中循环执行空间特征提取和关键特征提取的流程示意图。
图5是本申请实施例中一种眼周特征提取装置的结构示意图。
图6是本申请实施例中一种电子设备的结构示意图。
实施方式
以下结合附图对本申请作进一步详细说明。
本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供了一种眼周特征提取方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图1所示，该方法包括：步骤S101、步骤S102、步骤S103以及步骤S104，其中，
步骤S101，获取眼周图像。
具体的，可通过图像采集设备采集眼周图像，图像采集设备与电子设备通过有线或无线进行连接，图像采集设备例如摄像头装置等。图像采集设备采集到眼周图像后有电子设备获取眼周图像。其中，眼周图像可以是人的眼周图像也可以是动物的眼周图像，在此不做限定。
步骤S102，对眼周图像进行空间特征提取，得到至少一个空间特征图。
其中，每个空间特征图中包括眼周局部特征以及眼周全局特征。
对于本申请实施例，眼周图像为眼睛所在区域的图像，图像中可以包括眼球、睫毛、眉毛以及皱纹等特征，即眼周局部特征；上述眼球、睫毛、眉毛以及皱纹等特征形成的整体作为眼周全局特征。
具体的，空间特征图指眼周图像中分割出来的多个局部特征之间的相互的空间位置、相对方向关系以及眼球大小等，因此，空间特征图中包括眼周局部特征以及眼周全局特征。空间特征能够加强对眼周图像中内容的描述区分能力，因此对眼周图像进行空间特征提取即可得到至少一个空间特征图，具体的，空间特征图的数量根据眼周图像的通道维度确定。
步骤S103，基于每个空间特征图确定每个空间特征图对应的筛选系数。
其中，筛选系数用于筛选每个空间特征图中关键的眼周特征。
对于本申请实施例，在得到至少一个空间特征图后，可对至少一个空间特征图进行全局最大池化得到1×1的包括眼周纹理信息的第一特征图；对至少一个空间特征图进行全局平均池化得到1×1的包括眼周背景信息的第二特征图。
因此根据第一特征图和第二特征图确定出筛选系数，以对相关度较低的反应眼周全局情况上的特征，以及相关度较低的反应眼周局部情况的特征进行滤除。
具体的，参照图2，电子设备可先对第一特征图和第二特征图分别进行卷积，并根据缩放系数r1在通道维度上进行维度缩小，得到缩小后的第一特征图和第二特征图。再对缩小后的第一特征图和第二特征图进行卷积，并根据缩放系数r1在通道维度上进行放大，从而还原第一特征图和第二特征图的维度，使得第一特征图和第二特征图的通道维度在保持不变的情况下增加非线性特征。具体的，上述两次卷积的卷积核大小相同，例如使用1×1的卷积核进行卷积。在其他实施方式中，也可先根据缩放系数r1对第一特征图和第二特征图进行通道放大再根据缩放系数r1进行通道缩小。
将还原后的第一特征图和第二特征图进行逐元素相加，得到整体特征图，然后将整体特征图通过Sigmoid函数进行归一化处理，从而得到处于0到1之间权重值，权重值越高说明元素的重要程度越高，也即，权重值表征奇异值矩阵中关键元素数量的占比，因此筛选系数可以是权重值本身。还可以是通过1减去权重值得到筛选系数/>，此时筛选系数/>为奇异值矩阵中重要程度较低元素的数量所占权重。
在其他实施方式中，也可对至少一个空间特征图仅进行全局最大池化或仅进行全局平均池化。
步骤S104，基于筛选系数以及筛选系数/>对应的空间特征图确定眼周图像的关键眼周特征图。
确定出筛选系数后，根据用于筛选关键的眼周特征的筛选系数/>，以及得到的至少一个空间特征图即可确定出关键眼周特征图，关键眼周特征图中仅包括关键的全局特征以及关键的局部特征，即，得到更鲁棒性的眼周特征。
为了根据筛选系数得到关键眼周特征图，步骤S104中基于筛选系数以及筛选系数对应的空间特征图确定眼周图像的关键眼周特征图，具体包括步骤Sa（图中未示出）、步骤Sb（图中未示出）、步骤Sc（图中未示出）、步骤Sd（图中未示出）以及步骤Se（图中未示出），其中，
步骤Sa，对每个空间特征图进行奇异值分解，得到每个空间特征图对应的奇异值矩阵、左正交矩阵以及右正交矩阵。
参照图2，电子设备将每个空间特征图转化为矩阵，然后对每个空间特征图对应的 矩阵进行奇异值分解，从而得到空间特征图对应的奇异值矩阵、左正交矩阵以及右正交矩 阵，空间特征图可由上述三个矩阵的乘积标识，形如下式，。 其中，表征第个空间特征图进行奇异值分解后的表现形式，为第个空间特征图 对应的左正交矩阵，为第个空间特征图对应的奇异值矩阵，为第个空间特征图对 应的右正交矩阵，为空间特征图的数量。奇异值矩阵为记载空间特征图中关键重要信 息的矩阵。奇异值矩阵为对角矩阵，即在矩阵中除主对角线上的元素之外其他元素的值为 0，并且矩阵中对角线上的元素按照从大到小降序排列。在奇异值矩阵中，元素的值越大，重 要程度越高，越能够作为表征眼周特征的值。
假设某一的空间特征图对应的奇异值矩阵为：。其中，为 奇异值矩阵中元素的数量，为第项奇异值。
进一步的，参照图2，在进行奇异值分解之前，电子设备还可对每个空间特征图进行一次卷积，从而放大每个空间特征图的维度，然后再进行一次卷积，从而还原每个空间特征图的维度，在其他实施方式中，也可先对每个空间特征图进行维度缩小，再进行维度放大。具体的，对每个空间特征图的维度进行缩放，可通过缩放系数r2进行缩放，其中，r2与步骤S104中的r1可以相同也可以不同。通过两个卷积以及维度的缩放能够提取到每个空间特征图中丰富的眼周特征。
步骤Sb，基于每个空间特征图对应的筛选系数确定对应的奇异值矩阵中的关键元素。
对于本申请实施例，由于每个空间特征图中记载的眼周全局特征以及眼周局部特 征不同，每个空间特征图对应一个筛选系数以及奇异值矩阵，筛选系数用于筛选 出关键的眼周特征，因此电子设备根据每个空间特征图对应的筛选系数对奇异值矩阵中的关键元素进行确定，关键元素即为最能够表征眼周全局特征和眼周局部特征的元 素。
以步骤S104为例，若为1减去权重值得到，确定出后，由于奇异值矩阵中 的元素数量为个，电子设备确定与的乘积并向下取整得到，为需 要滤除的重要程度较低元素的数量，由于在奇异值矩阵中元素按照从大到小降序排列， 因此将奇异值矩阵中前项的元素确定为关键元素即可。假设等于50176，假设筛选系 数为0.4。等于20070。等于30106，因此电子设备将奇异值矩阵中前 30106项元素确定为关键元素。
若为权重值本身，/>即为需要确定为关键元素的数量，电子设备直接将奇异值矩阵中前/>项的元素确定为关键元素即可。
在其他实施方式中，还可对与的乘积进行向上取整，具体不再赘述。
步骤Sc，将关键元素之外的元素确定为0，得到关键奇异值矩阵。
具体的，在确定出最能够表征眼周全局特征和眼周局部特征的关键元素后，电子设备将除关键元素之外的元素的值确定为0，从而能够滤除每个空间特征图中噪声对应的奇异值，或每个空间特征图中与眼周特征相关度较低的奇异值，仅保留与眼周特征相关度高的奇异值，从而得到关键奇异值矩阵。除此之外，将除关键元素之外的元素确定为0还能够减少后续计算量。
以步骤Sb为例，电子设备将奇异值矩阵中前30106项元素确定为关键元素，奇 异值矩阵中第30106项之后的元素重要程度较低，表征眼周关键局部特征和眼周关键全 局特征的相关度较低。因此电子设备将20106项之后的元素确定为0即可。
将除关键元素之外的元素确定为0，即，将项之后的元素确定为0，得到的关键奇异值矩阵形如：/>。
步骤Sd，基于关键奇异值矩阵、左正交矩阵以及右正交矩阵确定每个空间特征图对应的关键空间特征图。
电子设备仅对奇异值矩阵进行关键元素的筛选，而未对左正交矩阵以及 右正交矩阵进行操作，并且电子设备将奇异值矩阵中除关键元素之外的元素确定 为0以使得奇异值矩阵的维度保持不变。如图2所示，电子设备对关键奇异值矩阵、左 正交矩阵以及右正交矩阵进行相乘，即可得到每个空间特征图对应的关键空间特 征图。
步骤Se，基于每个空间特征图对应的关键空间特征图，确定眼周图像的关键眼周特征图。
具体的，若空间特征图的数量为一个，空间特征图对应的关键空间特征图的数量同样为一个，即关键空间特征图中包含全部关键元素，则将空间特征图对应的关键空间特征图确定为眼周图像的关键眼周特征图。
若空间特征图的数量为至少两个，则每个关键空间特征图中记载部分眼周关键特征，如图2所示，电子设备对各个空间特征图对应的关键空间特征图进行拼接，从而得到眼周图像对应的关键空间特征图，关键空间特征图中包含全部关键的眼周局部特征以及眼周全局特征。
为了根据眼周图像得到包含眼周局部特征和眼周全局特征的空间特征图，步骤S102中对眼周图像进行空间特征提取，得到至少一个空间特征图，具体包括步骤S1021（图中未示出）、步骤S1022（图中未示出）、步骤S1023（图中未示出）、步骤S1024（图中未示出）、步骤S1025（图中未示出）以及步骤S1026（图中未示出），其中，
步骤S1021，对眼周图像分别进行局部空间特征提取以及全局空间特征提取得到眼周局部特征图以及眼周全局特征图。
具体的，假设眼周图像的通道数为3，分辨率为224×224。电子设备对眼周图像进 行局部空间特征提取，参照图3，电子设备可先对眼周图像使用指定大小的卷积核进行深度 可分离卷积（Depth-wise Convolution, DWConv），从而能够得到预设通道数量的特征 图，例如卷积核的大小为5×5，通过使用5×5的卷积核对眼周图像进行深度可分离卷积能 够提取到眼周更显著的语义信息。然后将预设通道数量的特征图按照预设分支数量以及预 设比例进行划分，例如，预设通道数量为，预设分支数量为3，预设比例为3:3:2。因此电 子设备将个通道的特征图，按顺序分成三支，三支特征图的数量分别为、和。将特征图划分为多支能够在不增加计算量的情况下，便于后续提取不同感受野范围 内眼周的局部特征。对每支特征图使用不同大小的卷积核进行深度可分离卷积，从而提取 不同感受野内眼周的局部特征。在使用不同大小的卷积核进行卷积时，还可对每个卷积核 设置不同的空洞系数，即卷积核在特征图上的采样步长。
例如，使用空洞系数为1、卷积核大小为3×3卷积对第一支的特征图进行卷积 能够提取较小感受野内的眼周局部特征，使用空洞系数为2、卷积核大小为5×5卷积对第二 支的特征图进行卷积能够提取较大感受野内的眼周局部特征，使用空洞系数为3、卷积 核大小为7×7卷积对第三支的特征图进行卷积能够提取极大感受野内的眼周局部特 征。然后如图2所示，将得到的三个不同感受野内的眼周局部特征进行通道拼接，进一步的， 还可以将拼接好的眼周局部特征输入到1×1卷积中进行非线性映射，以增加非线性特征， 最终得到眼周局部特征图。其中，每支特征图使用的卷积核大小以及空洞系数可以由人员 通过模拟测试得到，卷积核大小以及空洞系数可由人员根据实际情况适应性修改，以保证 提取效果。
具体的，参照图3，在对眼周图像进行全局空间特征提取时，电子设备对眼周图像进行标准化处理，从而提高收敛速度。然后将眼周图像分别输入到三个1×1卷积层，分别获得查询特征图Q、键特征图K和值特征图V。其中，上述三个1×1的卷积核不同，进行1×1将查询特征图Q、键特征图K和值特征图V的维度进行统一，并且增加特征图的非线性特征，便于后续使用矩阵乘法对查询特征图Q、键特征图K和值特征图V进行运算。
将得到的查询特征图Q、键特征图K和值特征图V输入至多头自注意力层中通过下式进行运算，从而能够得到眼周图像在多个不同方面的全局特征，得到眼周图像较为丰富的语义信息；
其中，表示调节系数，用于调节的内积，防止内积过 大，具体的，可以是键特征图维度的平方根，为多头自注意力层运算；为最大池化；为归一化，为键特征图K的转置矩阵。电子 设备计算查询特征图Q与最大池化后的键特征图K的乘积，然后除以调节系数得到列数 与最大池化后的值特征图V的行数相同的矩阵，然后对得到的矩阵进行归一化得到0到1之 间的系数矩阵，然后计算系数矩阵与最大池化后的值特征图V的乘积，即可得到眼周图像在 多个方面的全局特征图。
进一步的，参照图3，为了减少后续计算系数矩阵与最大池化后的值特征图V的乘积时的计算量，对键特征图K和值特征图V分别进行一维最大池化，从而减少眼周图像中参与运算的像素个数，将特征图Q和经过一维最大池化后的K和V输入到多头自注意力模块进行运算。
如图3所示，将多头自注意力模块输出的特征图进行卷积从而增加非线性特征，最终获得眼周的全局特征，增加非线性特征所使用的卷积核大小可以是1×1。
步骤S1022，对眼周局部特征图按照预设通道数量进行通道分离，得到每个通道对应的眼周局部子特征图，以及，对眼周全局特征图按照预设通道数量进行通道分离，得到每个通道对应的眼周全局子特征图。
其中，工作人员可通过鼠标、键盘以及触控屏等输入设备将预设通道数量写入电 子设备中，参照图3，假设预设通道数量为。电子设备对眼周局部特征图沿通道维度分 离成个特征图，即预设通道数量的眼周局部子特征图。为了保证后续对眼周局部特征 和眼周全局特征进行拼接时的准确性和统一性，电子设备同样将眼周全局图像分离成 个特征图，即预设通道数量的眼周全局子特征图。
步骤S1023，确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图。
对于本申请实施例，每个眼周局部子特征图中包括部分眼周局部特征，每个眼周全局子特征图中包括部分眼周全局特征。每个眼周局部子特征图中包括关键的最能表征眼周局部特征的元素，还包括与眼周局部特征相关度较低的元素，每个眼周全局子特征图中包括关键的最能表征眼周全局特征的元素，还包括与眼周全局特征相关度较低的元素。因此电子设备确定出每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图。
步骤S1024，对通道相同的第一关键特征图以及第二关键特征图进行拼接，得到每个通道对应的眼周特征拼接图。
具体的，如图3所示，将个单通道的第一关键特征图沿通道维度进行拼接，获得 眼周的关键局部特征，将个单通道的第二关键特征图沿通道维度进行拼接，获得眼周 的关键全局特征。所在通道相同的第一关键特征图和第二关键特征图在空间上进行拼接， 即对通道相同的第一关键特征图以及第二关键特征图进行逐元素相加从而形成每个通道 对应的眼周特征拼接图，进行空间拼接后还可对眼周特征拼接图进行卷积增加非线性特 征。此外，还可以使用激活函数对特征图进行激活，增加非线性特征。激活函数可以是GELU 激活函数，也可以是其他激活函数。
步骤S1025，对眼周图像进行空间权重提取得到空间权重特征图。
对于本申请实施例，对眼周图像进行空间权重特征提取得到空间权重特征图，空间权重特征图中的权重用于对空间特征图中的元素进行加权计算，从而能够突出眼周图像中显著的眼周全局特征以及眼周局部特征。
进一步的，步骤S1025可与步骤S1021同时执行，步骤S1025也可在步骤S1021之前执行，还可在步骤S1021之后执行。
步骤S1026，对空间权重特征图以及每个通道对应的眼周特征拼接图进行逐元素相乘得到至少一个空间特征图。
具体的，参照图3，逐元素相乘指空间权重特征图与眼周特征拼接图中位置相同的权重和元素相乘，例如空间权重特征图第一行第一列的权重与眼周特征拼接图中第一行第一列的权重进行相乘，以此类推，根据逐元素相乘得到的结果确定出每个通道对应的空间特征图。
为了确定出第一关键特征图和第二关键特征图，步骤S1023中确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图，具体包括以下步骤：
确定每个眼周局部子特征图的至少两个第一特征值，以及每个眼周全局子特征图的至少两个第二特征值。从至少两个第一特征值中筛选第一数量的第一特征值，筛选出的第一特征值大于至少两个第一特征值中未被筛选出的第一特征值。从至少两个第二特征值中筛选第二数量的第二特征值，筛选出的第二特征值大于至少两个第二特征值中未被筛选出的第二特征值。其中，第一数量和第二数量是基于目标维度确定的，目标维度为每个眼周局部子特征图的维度，或者为，每个眼周全局子特征图的维度。基于第一数量的第一特征值，确定每个眼周局部子特征图的第一关键特征图，以及，基于第二数量的第二特征值，确定每个眼周全局子特征图的第二关键特征图。
具体的，参照图3，由于每个眼周局部子特征图通过通道维度分离得到，因此电子 设备根据通道分离时的向量变换即可计算出每个眼周局部子特征图的至少两个第一特征 值，然后对至少两个第一特征值按照由大到小进行排序，得到排序结果，的值越大，对应的特征向量重要程度越高。
同样的，电子设备根据通道分离时的向量变换计算出每个眼周全局子特征图的至少两个第二特征值，然后对至少两个第二特征值/>按照由大到小进行排序，得到排序结果/>，/>的值越大，/>对应的特征向量重要程度越高。
由于眼周局部子特征图和眼周全局子特征图的维度相同，因此电子设备可根据预 设比例、眼周局部子特征图的维度或眼周全局子特征图的维度确定出第一数量。假设预设 比例为2/3，维度为P2，P2与步骤S104中的P1可以相同也可以不同。因此电子设备可确定出 2/3与维度P2的乘积并向下取整得到第一数量，即，取每个眼周局部子特征图中前个第一特征值即可，电子设备对第一数量的第一特征值与对应的特征向量相乘并拼 接从而组成单个通道的第一关键特征图。例如，某一第一关键特征图为：。其中，为的特征向量。
电子设备确定出的第一特征值后，为了使得最终得到的空间特征图与眼周局部子特征图或眼周全局子特征图的维度保持不变，电子设备根据维度P2以及第一数量即可确定出第二数量，即/>。电子设备取每个眼周全局子特征图中前/>个第二特征值即可，电子设备对第二数量的第二特征值与对应的特征向量相乘并拼接从而组成单个通道的第二关键特征图。例如，某一第二关键特征图为：。其中，/>为/>的特征向量。在其他实施方式中，还可对2/3与维度P2的乘积进行向上取整，具体不再赘述。
在其他实施方式中，若第一特征值的个数和第二特征值的个数均为一个，电子设备则直接计算第一特征值的特征向量，该特征向量即可组成单个通道的第一关键特征图。电子设备直接计算第二特征值的特征向量，该特征向量即可组成单个通道的第二关键特征图。
为了得到空间权重特征图，步骤S1025中对眼周图像进行空间权重提取得到空间权重特征图，具体包括以下步骤：
对眼周图像进行归一化处理，得到空间权重特征图。
具体的，参照图3，电子设备可先对眼周图像使用1×1大小的卷积核进行卷积处理，从而在保持眼周图像分辨率不变的情况下增加非线性特征。然后对卷积处理后的眼周图像进行平均池化得到包括眼周背景信息的第三特征图。对卷积处理后的眼周图像进行最大池化得到包括眼周纹理信息的第四特征图。电子设备将第三特征图和第四特征图在通道维度上进行拼接，从而得到拼接后的特征图，拼接后的特征图中包括眼周的背景信息，还包括眼周的纹理信息。然后电子设备可使用较大的卷积核对拼接后的特征图进行卷积，例如使用大小为7×7卷积核进行卷积，从而以较大的感受野提取眼周的空间特征，得到目标空间特征图。电子设备对目标空间特征图进行归一化处理，将目标空间特征图中的元素映射在0到1之间得到空间权重特征图。具体的，电子设备可将目标空间特征图输入到Sigmoid函数中进行归一化处理，得到空间权重特征图。在其他实施方式中，还可使用其他函数进行归一化处理。
在其他实施方式中，也可对眼周图像仅进行最大池化或仅进行平均池化，还可直接对眼周图像进行归一化处理得到空间权重特征图。
为了进一步提高关键眼周特征图的质量，步骤S103之后还包括以下步骤：
若不满足预设条件，则循环执行以下步骤，直至满足预设条件：
将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图；
将得到至少一个当前空间特征图确定为目标特征图，或者，将上一次得到的关键眼周特征图以及至少一个当前空间特征图确定为目标特征图；
基于目标特征图确定目标特征图对应的当前筛选系数，当前筛选系数用于筛选目标特征图中关键的眼周特征；
基于当前筛选系数以及目标特征图确定眼周图像的当前关键眼周特征图；
其中，预设条件包括：关键眼周特征图的确定次数达到预设次数阈值。
上一次得到的特征图包括以下任一项：
上一次得到的关键眼周特征图；
上一次得到的关键眼周特征图以及上一次空间特征提取得到的空间特征图。
对于本申请实施例，假设预设次数阈值为20次，得到眼周图像的关键眼周特征图后，电子设备对眼周图像的关键眼周特征图的确定次数进行计数，并判断眼周图像的关键眼周特征图的确定次数是否达到20次，若未达到，则说明需要继续进行空间特征提取以及确定关键眼周特征图。因此电子设备将上一次得到的眼周特征图进行空间特征提取，然后根据目标特征图确定当前筛选系数，并根据当前筛选系数以及目标特征图确定当前关键眼周特征图。之后电子设备继续判断眼周图像的关键眼周特征图的确定次数（包括第一次得到的关键眼周特征图，以及循环过程中确定的当前关键眼周特征图的次数总和）是否达到20次，若未达到，则说明还需要继续进行空间特征提取以及确定眼周图像的关键眼周特征图，以此类推，当眼周图像的关键眼周特征图的确定次数达到20次时，则说明无需继续进行空间特征提取以及确定眼周图像的关键眼周特征图，此时得到的关键眼周特征图质量更高。参照图4，关键特征提取包括基于目标特征图确定当前筛选系数，以及基于当前筛选系数确定眼周图像的当前关键眼周特征图，在关键特征提取的次数达到预设次数后，将得到的关键眼周特征图通过全连接层得到最终的关键眼周特征。
具体的，在每次循环时对上一次得到的特征图进行空间特征提取均可按照步骤S1021到步骤S1026记载的方式进行处理。同样的在每次循环时对目标特征图进行确定当前筛选系数以及确定当前关键眼周特征图均可按照步骤S103到步骤S104记载的方式进行处理。
进一步的，参照图4，使用上一次得到的关键眼周特征图以及上一次空间特征提取得到的空间特征图进行当前次的空间特征提取时，上一次空间特征提取得到的空间特征图作为残差应用到当前次的空间特征提取，从而能够在多次空间特征提取中保持梯度，加速参数收敛。同样的，目标特征图为上一次得到的关键眼周特征图以及至少一个当前空间特征图时，上一次得到的关键眼周特征图作为残差应用到当前次的确定当前关键眼周特征图，从而能够在多次确定当前关键眼周特征图中保持梯度，加速参数收敛。
在多次循环进行空间特征提取和关键特征提取的过程中计算量需求较大，因此为了降低计算量，步骤S101中眼周图像进行空间特征提取，得到至少一个空间特征图，具体包括：对眼周图像进行下采样处理，对下采样处理后的眼周图像进行空间特征提取，得到至少一个空间特征图，
和/或，
将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图，包括：当关键眼周特征图的确定次数达到指定次数时，对上一次得到的特征图进行下采样处理，对下采样处理后的上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图。
具体的，对眼周图像进行下采样能够初步降低眼周图像和/或上一次得到的特征图的分辨率，假设眼周图像的分辨率为224×224。例如电子设备获取到眼周图像后，可对224×224眼周图像进行下采样处理，得到56×56分辨率的眼周图像。
预设次数阈值以上述的预设次数阈值20次为例，假设指定次数分别为第三次、第六次、第十六次和第二十次。电子设备判断关键特征提取的次数达到上述指定次数时，说明需要在下一次空间特征提取之间对上一次得到的特征图进行下采样处理，依次降低上一次得到的特征图的分辨率，逐步减少计算量。
具体的，下采样处理可使用卷积层对眼周图像和/或上一次得到的特征图进行下采样，也可使用最大池化对眼周图像和/或上一次得到的特征图进行下采样，在此不做限定。
上述实施例从方法流程的角度介绍一种眼周特征提取方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种眼周特征提取装置，具体详见下述实施例。
本申请实施例提供一种眼周特征提取装置20，如图5所示，该眼周特征提取装置20具体可以包括：
图像获取模块201，用于获取眼周图像；
空间特征提取模块202，用于对眼周图像进行空间特征提取，得到至少一个空间特征图，每个空间特征图中包括眼周局部特征以及眼周全局特征；
系数确定模块203，用于基于每个空间特征图确定每个空间特征图对应的筛选系数，筛选系数用于筛选每个空间特征图中关键的眼周特征；
关键眼周特征提取模块204，用于基于筛选系数以及筛选系数对应的空间特征图确定眼周图像的关键眼周特征图。
本申请实施例提供了一种眼周特征提取装置，其中，图像获取模块201获取眼周图像，空间特征提取模块202对眼周图像进行空间特征提取从而能够得到眼周图像的至少一个空间特征图，每个空间特征图中包括眼周全局特征以及眼周局部特征，由于空间特征图中记载了眼周的全局特征情况和局部特征情况，因此系数确定模块203根据每个空间特征图能够确定出每个空间特征图对应的筛选系数，筛选系数用于筛选至少一个空间特征图中的关键的全局特征以及关键的局部特征，因此关键眼周特征提取模块204根据筛选系数进一步对对应的空间特征图进行处理，得到至少一个空间特征图中的关键全局特征以及关键局部特征，即确定出眼周图像对应的关键眼周特征图，也即得到更具鲁棒性的眼周特征图。
本申请实施例的一种可能的实现方式，关键眼周特征提取模块204在基于筛选系数以及筛选系数对应的空间特征图确定眼周图像的关键眼周特征图时，具体用于：
对每个空间特征图进行奇异值分解，得到每个空间特征图对应的奇异值矩阵、左正交矩阵以及右正交矩阵；
基于每个空间特征图对应的筛选系数确定对应的奇异值矩阵中的关键元素；
将关键元素之外的元素确定为0，得到关键奇异值矩阵；
基于关键奇异值矩阵、左正交矩阵以及右正交矩阵确定每个空间特征图对应的关键空间特征图；
基于每个空间特征图对应的关键空间特征图，确定眼周图像的关键眼周特征图。
本申请实施例的一种可能的实现方式，关键眼周特征提取模块204在基于每个空间特征图对应的关键空间特征图，确定眼周图像的关键眼周特征图时，具体用于：
若空间特征图的数量为一个，则将空间特征图对应的关键空间特征图确定为眼周图像的关键眼周特征图；
若空间特征图的数量为至少两个，则将各个空间特征图分别对应的关键空间特征图进行拼接，得到眼周图像的关键眼周特征图。
本申请实施例的一种可能的实现方式，空间特征提取模块202在对眼周图像进行空间特征提取，得到至少一个空间特征图时，具体用于：
对眼周图像分别进行局部空间特征提取以及全局空间特征提取得到眼周局部特征图以及眼周全局特征图；
对眼周局部特征图按照预设通道数量进行通道分离，得到每个通道对应的眼周局部子特征图，以及，对眼周全局特征图按照预设通道数量进行通道分离，得到每个通道对应的眼周全局子特征图；
确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图；
对通道相同的第一关键特征图以及第二关键特征图进行拼接，得到每个通道对应的眼周特征拼接图；
对眼周图像进行空间权重提取得到空间权重特征图；
对空间权重特征图以及每个通道对应的眼周特征拼接图进行逐元素相乘得到至少一个空间特征图。
本申请实施例的一种可能的实现方式，空间特征提取模块202在确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图时，具体用于：
确定每个眼周局部子特征图的至少两个第一特征值，以及每个眼周全局子特征图的至少两个第二特征值；
从至少两个第一特征值中筛选第一数量的第一特征值，筛选出的第一特征值大于至少两个第一特征值中未被筛选出的第一特征值；
从至少两个第二特征值中筛选第二数量的第二特征值，筛选出的第二特征值大于至少两个第二特征值中未被筛选出的第二特征值，第一数量和第二数量是基于目标维度确定的，目标维度为每个眼周局部子特征图的维度，或者为，每个眼周全局子特征图的维度；
基于第一数量的第一特征值，确定每个眼周局部子特征图的第一关键特征图，以及，基于第二数量的第二特征值，确定每个眼周全局子特征图的第二关键特征图。
本申请实施例的一种可能的实现方式，空间特征提取模块202在对眼周图像空间权重提取得到空间权重特征图时，具体用于：
对眼周图像进行归一化处理，得到空间权重特征图。
本申请实施例的一种可能的实现方式，装置20还包括：
循环模块，用于当不满足预设条件时，循环执行以下步骤，直至满足预设条件：
将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图；
将得到至少一个当前空间特征图确定为目标特征图，或者，将上一次得到的关键眼周特征图以及至少一个当前空间特征图确定为目标特征图；
基于目标特征图确定目标特征图对应的当前筛选系数，当前筛选系数用于筛选目标特征图中关键的眼周特征；
基于当前筛选系数以及目标特征图确定眼周图像的当前关键眼周特征图；
预设条件包括：关键眼周特征图的确定次数达到预设次数阈值；
上一次得到的特征图包括以下任一项：
上一次得到的关键眼周特征图；
上一次得到的关键眼周特征图以及上一次空间特征提取得到的空间特征图。
本申请实施例的一种可能的实现方式，空间特征提取模块202在对眼周图像进行空间特征提取，得到至少一个空间特征图时，具体用于：对眼周图像进行下采样处理，对下采样处理后的眼周图像进行空间特征提取，得到至少一个空间特征图，
和/或，
循环模块在将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图时，具体用于：当关键眼周特征图的确定次数达到指定次数时，对上一次得到的特征图进行下采样处理，对下采样处理后的上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种眼周特征提取装置20的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例中提供了一种电子设备，如图5所示，图5所示的电子设备30包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备30还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备30的结构并不构成对本申请实施例的限定。
处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。
存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本申请实施例中获取眼周图像，并对眼周图像进行空间特征提取从而能够得到眼周图像的至少一个空间特征图，每个空间特征图中包括眼周全局特征以及眼周局部特征，由于空间特征图中记载了眼周的全局特征情况和局部特征情况，因此根据每个空间特征图能够确定出每个空间特征图对应的筛选系数，筛选系数用于筛选至少一个空间特征图中的关键的全局特征以及关键的局部特征，因此根据筛选系数进一步对对应的空间特征图进行处理，得到至少一个空间特征图中的关键的全局特征以及关键的局部特征，即确定出眼周图像对应的关键眼周特征图，也即得到更具鲁棒性的眼周特征图。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种眼周特征提取方法，其特征在于，包括：
获取眼周图像；
对所述眼周图像进行空间特征提取，得到至少一个空间特征图，每个空间特征图中包括眼周局部特征以及眼周全局特征；
基于所述每个空间特征图确定所述每个空间特征图对应的筛选系数，所述筛选系数用于筛选每个空间特征图中关键的眼周特征；
基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图。
2.根据权利要求1所述的一种眼周特征提取方法，其特征在于，所述基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图，包括：
对每个空间特征图进行奇异值分解，得到所述每个空间特征图对应的奇异值矩阵、左正交矩阵以及右正交矩阵；
基于所述每个空间特征图对应的筛选系数确定对应的奇异值矩阵中的关键元素；
将所述关键元素之外的元素确定为0，得到关键奇异值矩阵；
基于所述关键奇异值矩阵、所述左正交矩阵以及所述右正交矩阵确定每个空间特征图对应的关键空间特征图；
基于所述每个空间特征图对应的关键空间特征图，确定所述眼周图像的关键眼周特征图。
3.根据权利要求2所述的方法，其特征在于，所述基于所述每个空间特征图对应的关键空间特征图，确定所述眼周图像的关键眼周特征图，包括以下任一项：
若空间特征图的数量为一个，则将所述空间特征图对应的关键空间特征图确定为所述眼周图像的关键眼周特征图；
若空间特征图的数量为至少两个，则将各个空间特征图分别对应的关键空间特征图进行拼接，得到所述眼周图像的关键眼周特征图。
4.根据权利要求1所述的一种眼周特征提取方法，其特征在于，所述对所述眼周图像进行空间特征提取，得到至少一个空间特征图，包括：
对所述眼周图像分别进行局部空间特征提取以及全局空间特征提取得到眼周局部特征图以及眼周全局特征图；
对所述眼周局部特征图按照预设通道数量进行通道分离，得到每个通道对应的眼周局部子特征图，以及，对所述眼周全局特征图按照所述预设通道数量进行通道分离，得到每个通道对应的眼周全局子特征图；
确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图；
对通道相同的第一关键特征图以及第二关键特征图进行拼接，得到每个通道对应的眼周特征拼接图；
对所述眼周图像进行空间权重提取得到空间权重特征图；
对所述空间权重特征图以及每个所述通道对应的眼周特征拼接图进行逐元素相乘得到所述至少一个空间特征图。
5.根据权利要求4所述的一种眼周特征提取方法，其特征在于，所述确定每个眼周局部子特征图的第一关键特征图，以及每个眼周全局子特征图的第二关键特征图，包括：
确定每个眼周局部子特征图的至少两个第一特征值，以及每个眼周全局子特征图的至少两个第二特征值；
从至少两个第一特征值中筛选第一数量的第一特征值，筛选出的第一特征值大于所述至少两个第一特征值中未被筛选出的第一特征值；
从至少两个第二特征值中筛选第二数量的第二特征值，筛选出的第二特征值大于所述至少两个第二特征值中未被筛选出的第二特征值，所述第一数量和所述第二数量是基于目标维度确定的，所述目标维度为所述每个眼周局部子特征图的维度，或者为，每个眼周全局子特征图的维度；
基于所述第一数量的第一特征值，确定所述每个眼周局部子特征图的第一关键特征图，以及，基于所述第二数量的第二特征值，确定每个眼周全局子特征图的第二关键特征图。
6.根据权利要求1所述的方法，其特征在于，所述基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图，之后还包括：
若不满足预设条件，则循环执行以下步骤，直至满足预设条件：
将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图；
将得到至少一个当前空间特征图确定为目标特征图，或者，将上一次得到的关键眼周特征图以及所述至少一个当前空间特征图确定为目标特征图；
基于所述目标特征图确定所述目标特征图对应的当前筛选系数，所述当前筛选系数用于筛选所述目标特征图中关键的眼周特征；
基于所述当前筛选系数以及所述目标特征图确定所述眼周图像的当前关键眼周特征图；
所述预设条件包括：关键眼周特征图的确定次数达到预设次数阈值；
所述上一次得到的特征图包括以下任一项：
上一次得到的关键眼周特征图；
上一次得到的关键眼周特征图以及上一次空间特征提取得到的空间特征图。
7.根据权利要求6所述的一种眼周特征提取方法，其特征在于，对所述眼周图像进行空间特征提取，得到至少一个空间特征图，包括：对所述眼周图像进行下采样处理，对所述下采样处理后的眼周图像进行空间特征提取，得到所述至少一个空间特征图，
和/或，
所述将上一次得到的特征图进行空间特征提取，得到至少一个当前空间特征图，包括：当关键眼周特征图的确定次数达到指定次数时，对所述上一次得到的特征图进行下采样处理，对所述下采样处理后的所述上一次得到的特征图进行空间特征提取，得到所述至少一个当前空间特征图。
8.一种眼周特征提取装置，其特征在于，包括：
图像获取模块，用于获取眼周图像；
空间特征提取模块，用于对所述眼周图像进行空间特征提取，得到至少一个空间特征图，每个空间特征图中包括眼周局部特征以及眼周全局特征；
系数确定模块，用于基于所述每个空间特征图确定所述每个空间特征图对应的筛选系数，所述筛选系数用于筛选每个空间特征图中关键的眼周特征；
关键眼周特征提取模块，用于基于所述筛选系数以及所述筛选系数对应的空间特征图确定所述眼周图像的关键眼周特征图。
9.一种电子设备，其特征在于，其包括：
至少一个处理器；
存储器；
至少一个应用程序，其中所述至少一个应用程序被存储在所述存储器中并被配置为由所述至少一个处理器执行，所述至少一个应用程序：用于执行根据权利要求1～7任一项所述的一种眼周特征提取方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1～7任一项所述的一种眼周特征提取方法。
CN202310592929.7A 2023-05-24 2023-05-24 一种眼周特征提取方法、装置、电子设备及存储介质 Active CN116503933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310592929.7A CN116503933B (zh) 2023-05-24 2023-05-24 一种眼周特征提取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310592929.7A CN116503933B (zh) 2023-05-24 2023-05-24 一种眼周特征提取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116503933A true CN116503933A (zh) 2023-07-28
CN116503933B CN116503933B (zh) 2023-12-12

Family

ID=87318337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310592929.7A Active CN116503933B (zh) 2023-05-24 2023-05-24 一种眼周特征提取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116503933B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009503A (zh) * 2017-12-04 2018-05-08 北京中科虹霸科技有限公司 基于眼周区域的身份识别方法
CN108304847A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 图像分类方法及装置、个性化推荐方法及装置
CN109508695A (zh) * 2018-12-13 2019-03-22 北京中科虹霸科技有限公司 眼部多模态生物特征识别方法
CN111429407A (zh) * 2020-03-09 2020-07-17 清华大学深圳国际研究生院 基于双通道分离网络的胸部x光疾病检测装置及方法
CN112101314A (zh) * 2020-11-17 2020-12-18 北京健康有益科技有限公司 一种基于移动终端的人体姿态识别方法和装置
CN112308654A (zh) * 2019-07-31 2021-02-02 株式会社资生堂 眼妆商品推荐程序、方法、装置以及***
CN112541433A (zh) * 2020-12-11 2021-03-23 中国电子技术标准化研究院 一种基于注意力机制的两阶段人眼瞳孔精确定位方法
CN112927783A (zh) * 2021-03-30 2021-06-08 泰康保险集团股份有限公司 图像检索方法及装置
CN113870289A (zh) * 2021-09-22 2021-12-31 浙江大学 一种解耦分治的面神经分割方法和装置
WO2022042124A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质
CN114897932A (zh) * 2022-03-31 2022-08-12 北京航天飞腾装备技术有限责任公司 一种基于特征和灰度融合的红外目标跟踪实现方法
WO2022179215A1 (zh) * 2021-02-23 2022-09-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN115760657A (zh) * 2021-08-27 2023-03-07 中移（杭州）信息技术有限公司 一种图像融合方法、装置、电子设备和计算机存储介质
CN116152751A (zh) * 2022-12-23 2023-05-23 东软睿驰汽车技术（沈阳）有限公司 一种图像处理的方法、装置、***及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304847A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 图像分类方法及装置、个性化推荐方法及装置
CN108009503A (zh) * 2017-12-04 2018-05-08 北京中科虹霸科技有限公司 基于眼周区域的身份识别方法
CN109508695A (zh) * 2018-12-13 2019-03-22 北京中科虹霸科技有限公司 眼部多模态生物特征识别方法
CN112308654A (zh) * 2019-07-31 2021-02-02 株式会社资生堂 眼妆商品推荐程序、方法、装置以及***
CN111429407A (zh) * 2020-03-09 2020-07-17 清华大学深圳国际研究生院 基于双通道分离网络的胸部x光疾病检测装置及方法
WO2022042124A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 超分辨率图像重建方法、装置、计算机设备和存储介质
CN112101314A (zh) * 2020-11-17 2020-12-18 北京健康有益科技有限公司 一种基于移动终端的人体姿态识别方法和装置
CN112541433A (zh) * 2020-12-11 2021-03-23 中国电子技术标准化研究院 一种基于注意力机制的两阶段人眼瞳孔精确定位方法
WO2022179215A1 (zh) * 2021-02-23 2022-09-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112927783A (zh) * 2021-03-30 2021-06-08 泰康保险集团股份有限公司 图像检索方法及装置
CN115760657A (zh) * 2021-08-27 2023-03-07 中移（杭州）信息技术有限公司 一种图像融合方法、装置、电子设备和计算机存储介质
CN113870289A (zh) * 2021-09-22 2021-12-31 浙江大学 一种解耦分治的面神经分割方法和装置
CN114897932A (zh) * 2022-03-31 2022-08-12 北京航天飞腾装备技术有限责任公司 一种基于特征和灰度融合的红外目标跟踪实现方法
CN116152751A (zh) * 2022-12-23 2023-05-23 东软睿驰汽车技术（沈阳）有限公司 一种图像处理的方法、装置、***及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YANG Y等: "Latitude and binocular perception based blind stereoscopic omnidirectional image quality assessment for VR system", 《SIGNAL PROCESSING》, vol. 173, pages 1 - 18 *
张成等: "基于三通道分离特征融合与支持向量机的混凝土图像分类研究", 《图学学报》, vol. 42, no. 6, pages 917 - 923 *
彭珊: "基于特征融合和注意力机制的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 1, pages 138 - 2779 *
梁斌等: "奇异值分解和改进PCA的视频人脸检索方法", 《计算机工程与应用》, vol. 49, no. 11, pages 177 - 182 *

Also Published As

Publication number Publication date
CN116503933B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US11354797B2 (en) Method, device, and system for testing an image
CN105069424B (zh) 面部快速识别***和方法
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
US20220157046A1 (en) Image Classification Method And Apparatus
US20160189396A1 (en) Image processing
CN109413510B (zh) 视频摘要生成方法和装置、电子设备、计算机存储介质
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
Nousi et al. Deep autoencoders for attribute preserving face de-identification
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
CN111275784A (zh) 生成图像的方法和装置
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及***
CN112001923B (zh) 一种视网膜图像分割方法及装置
CN112287954A (zh) 图像分类方法、图像分类模型的训练方法及其装置
CN108764351B (zh) 一种基于测地距离的黎曼流形保持核学习方法及装置
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
AU2012268887A1 (en) Saliency prediction method
CN116310462B (zh) 一种基于秩约束自表示的图像聚类方法及装置
CN116503933B (zh) 一种眼周特征提取方法、装置、电子设备及存储介质
CN111667495A (zh) 一种图像场景解析方法和装置
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant