CN113157956B - 图片搜索方法、***、移动终端及存储介质 - Google Patents

图片搜索方法、***、移动终端及存储介质 Download PDF

Info

Publication number
CN113157956B
CN113157956B CN202110440522.3A CN202110440522A CN113157956B CN 113157956 B CN113157956 B CN 113157956B CN 202110440522 A CN202110440522 A CN 202110440522A CN 113157956 B CN113157956 B CN 113157956B
Authority
CN
China
Prior art keywords
face
picture
target
category
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110440522.3A
Other languages
English (en)
Other versions
CN113157956A (zh
Inventor
林杰
赵复军
王淞泽
严昀
陈婧萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Solutions Co Ltd Xiamen
Original Assignee
Yamaha Motor Solutions Co Ltd Xiamen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Solutions Co Ltd Xiamen filed Critical Yamaha Motor Solutions Co Ltd Xiamen
Priority to CN202110440522.3A priority Critical patent/CN113157956B/zh
Publication of CN113157956A publication Critical patent/CN113157956A/zh
Application granted granted Critical
Publication of CN113157956B publication Critical patent/CN113157956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图片搜索方法、***、移动终端及存储介质，该方法包括：对待搜索图片中的目标人脸进行特征提取，得到人脸图像和人脸特征点；根据人脸特征点对人脸图像进行图像校准，对图像校准后的人脸图像进行特征编码得到人脸特征向量；对待搜索图片中的目标物体和目标场景进行类别识别，得到目标物体类别和目标场景类别，根据人脸特征向量、目标物体类别和目标场景类别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片。本发明基于待搜索图片对应的人脸特征向量、目标物体类别和目标场景类别，能有效地进行人脸特征、物体类别和场景类别的图片搜索，以得到与待搜索图片中相同人物、物体和场景的图片，提高了用户的图片搜索体验。

Description

图片搜索方法、***、移动终端及存储介质
技术领域
本发明涉及物联网技术领域，尤其涉及一种图片搜索方法、***、移动终端及存储介质。
背景技术
目前，随着智能终端的快速发展，其硬件性能，尤其是摄像头的规格越来越好，成像的质量也越来越高，并且由于智能终端的拍照功能越来越强大，譬如，智能对焦、场景分析、笑脸识别、语音输入、快速连拍等等，越来越多的用户喜欢采用智能手机拍照，不仅效果好，而且使用方便，用户能够更加便捷地进行拍照来记录生活。
现有技术中，由于照片数量众多，当用户想要查找同一个人物、物体或场景的图片时，经常会找不到或者找不全图片，进而导致用户的图片搜索体验提下。
发明内容
本发明实施例的目的在于提供一种图片搜索方法、***、移动终端及存储介质，旨在解决现有的图片搜索过程时，由于对同一个人物、物体或场景的图片找不到或者找不全，所导致的用户图片搜索体验低下的问题。
本发明实施例是这样实现的，一种图片搜索方法，所述方法包括：
分别确定待搜索图片中的目标人脸、目标物体和目标场景，并对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点；
根据所述人脸特征点对所述人脸图像进行图像校准，并对图像校准后的所述人脸图像进行特征编码，得到人脸特征向量；
分别对所述目标物体和所述目标场景进行类别识别，得到目标物体类别和目标场景类别，并根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片。
更进一步的，所述对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点，包括：
将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，得到所述人脸图像和所述人脸特征点；
所述将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析之前，还包括：
将样本图片输入所述人脸检测模型中的卷积神经网络进行卷积处理，得到特征图片；
针对所述人脸检测模型中的卷积神经网络，采用上采样的方式进行图片采样，并采用横向连接的方式连接相同尺度的特征图片；
针对所述人脸检测模型中的卷积神经网络，分别将上一层的卷积神经网络和横向连接得到的特征图片进行图片组合，得到组合图片，并将所述组合图片设置为对应所述卷积神经网络输出的特征图片；
根据所述卷积神经网络输出的特征图片对所述人脸检测模型进行模型训练，得到预训练后的所述人脸检测模型。
更进一步的，所述将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，包括：
根据预训练后的所述人脸检测模型对所述待搜索图片进行人脸分析，得到人脸锚框坐标和所述人脸特征点；
对所述人脸锚框坐标和所述人脸特征点进行校准，并输出校准后的所述人脸锚框坐标和所述人脸特征点。
更进一步的，所述根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，包括：
将所述目标物体类别和所述目标场景类别分别与图片数据库进行匹配，得到所述物体搜索图片和所述场景搜索图片，所述图片数据库中存储有不同目标物体类别和不同目标场景类与对应搜索图片之间的对应关系；
将所述人脸特征向量与所述特征向量数据库进行匹配，得到所述人脸搜索图片，所述特征向量数据库中存储有不同特征向量与对应搜索图片之间的对应关系。
更进一步的，所述将所述人脸特征向量与所述特征向量数据库进行匹配，包括：
对所述特征向量数据库中的特征向量进行聚类处理，得到聚类类别和异常类别，所述异常类别包括无法聚类的特征向量；
确定所述聚类类别中的目标类别，并计算所述目标类别和所述异常类别中的特征向量与所述人脸特征向量之间的特征相似度；
若所述特征相似度大于相似度阈值，则将所述特征相似度对应的特征向量设置为目标向量，并将所述目标向量对应的搜索图片输出为所述人脸搜索图片。
更进一步的，所述确定所述聚类类别中的目标类别，包括：
分别在不同所述聚类类别中进行向量抽样，得到抽样向量，并分别计算所述人脸特征向量与所述抽样向量之间的向量相似度；
将最大所述向量相似度对应的所述聚类类别确定为目标类别。
更进一步的，所述根据所述人脸特征点对所述人脸图像进行图像校准，包括：
确定所述人脸特征点中的眼睛特征点，并计算所述眼睛特征点之间的眼睛夹角；
根据所述眼睛夹角对所述人脸图像进行旋转校准。
本发明实施例的另一目的在于提供一种图片搜索***，所述***包括：
特征提取模块，用于分别确定待搜索图片中的目标人脸、目标物体和目标场景，并对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点；
特征编码模块，用于根据所述人脸特征点对所述人脸图像进行图像校准，并对图像校准后的所述人脸图像进行特征编码，得到人脸特征向量；
图片搜索模块，用于分别对所述目标物体和所述目标场景进行类别识别，得到目标物体类别和目标场景类别，并根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片。
本发明实施例的另一目的在于提供一种移动终端，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行上述的图片搜索方法。
本发明实施例的另一目的在于提供一种存储介质，其存储有上述的移动终端中所使用的计算机程序，该计算机程序被处理器执行时实现上述的图片搜索方法的步骤。
本发明实施例，通过对待搜索图片中的目标人脸进行特征提取，能有效地提取到待搜索图片中的人脸图像和人脸特征点，通过根据人脸特征点对人脸图像进行图像校准，提高了对人脸图像的特征编码的准确性，通过对图像校准后的人脸图像进行特征编码，能有效地将图像特征转换为向量特征，通过分别对目标物体和目标场景进行类别识别，能有效地确定目标物体和目标场景对应的类别，通过根据人脸特征向量、目标物体类别和目标场景类别分别进行图片搜索，能有效地基于待搜索图片对应的人脸特征向量、目标物体类别和目标场景类别，分别进行人脸特征、物体类别和场景类别的图片搜索，以得到与待搜索图片中相同人物、物体和场景的图片，防止了图片找不全或找不到的现象，提高了用户的图片搜索体验。
附图说明
图1是本发明第一实施例提供的图片搜索方法的流程图；
图2是本发明第二实施例提供的图片搜索方法的流程图；
图3是本发明第三实施例提供的图片搜索***的结构示意图；
图4是本发明第四实施例提供的移动终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的图片搜索方法的流程图，该图片搜索方法可以应用于任一终端设备，该终端设备可以为手机、平板、服务器或可穿戴智能设备等，该图片搜索方法包括步骤：
步骤S10，分别确定待搜索图片中的目标人脸、目标物体和目标场景，并对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点；
其中，可以采用卷积神经网络的方式确定待搜索图片中的目标人脸，通过对待搜索图片中的物体进行类别识别，得到物体类别，将得到的物体类别与预存储的类别确定表进行匹配，并将匹配成功的物体类别对应的物体确定为目标物体，该预存储的类别确定表中存储有用户预先设置的指定类别，例如，当该待搜索图片中包括物体a1、物体a2和物体a3，物体a1、物体a2和物体a3对应的物体类别为类别b1、类别b2和类别b3，若类别b1和类别b2与预存储的类别确定表匹配成功，则将物体a1和物体a2确定为目标物体，同一待搜索图片中可以存在多个不同的目标人脸和目标物体。该步骤中，通过提取该待搜索图片中的背景图像，以确定得到该目标场景。
可选的，该步骤中，所述对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点，包括：
将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，得到所述人脸图像和所述人脸特征点。
进一步地，该步骤中，所述将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析之前，还包括：
将样本图片输入所述人脸检测模型中的卷积神经网络进行卷积处理，得到特征图片，其中，该样本图片的数量和图片内容均可以根据用户需求进行设置，该样本图片用于对人脸检测模型进行模型训练，该步骤中，通过将样本图片输入卷积神经网络进行卷积处理，可以得到不同尺度的特征图片；
针对所述人脸检测模型中的卷积神经网络，采用上采样的方式进行图片采样，并采用横向连接的方式连接相同尺度的特征图片，其中，采用自顶向下的形式，从上到下使用上采样并且每层卷积神经网络都通过横向连接方式去连结相同尺度的特征图片；
针对所述人脸检测模型中的卷积神经网络，分别将上一层的卷积神经网络和横向连接得到的特征图片进行图片组合，得到组合图片，并将所述组合图片设置为对应所述卷积神经网络输出的特征图片，其中，把上一层和横向连接传得到的特征图片相加得到该层输出的特征图片，对于不同尺度的特征图片使用不同尺度空间人脸检测算法的上下文以检测不同尺度大小的人脸；
根据所述卷积神经网络输出的特征图片对所述人脸检测模型进行模型训练，得到预训练后的所述人脸检测模型，其中，当检测到模型训练后的人脸检测模型收敛后，输出该人脸检测模型，得到该预训练后的所述人脸检测模型。
更进一步的，所述将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，包括：
根据预训练后的所述人脸检测模型对所述待搜索图片进行人脸分析，得到人脸锚框坐标和所述人脸特征点；
获取预训练后的所述人脸检测模型的锚框误差和特征点误差，并根据所述锚框误差和所述特征点误差分别对所述人脸锚框坐标和所述人脸特征点进行校准；
采用非极大值抑制算法对校准后的所述人脸锚框坐标和所述人脸特征点进行筛选，并输出筛选后的所述人脸锚框坐标和所述人脸特征点；
其中，人脸锚框坐标在所述待搜索图片中对应的图像为所述人脸图像，该步骤中，在不同的感受野下通过预训练后的人脸检测模型，返回预测的锚框与图片边框之间的锚框误差，以及预测的人脸特征点和实际人脸特征点之间的特征点误差，对之前不同感受野下生成的人脸锚框和人脸特征点的坐标加上对应的锚框误差和特征点误差，计算出正确的人脸锚框坐标和人脸特征点的坐标，最后再使用非极大值抑制算法筛选掉置信度低的人脸锚框，留下最符合要求的人脸锚框，从而得到正确的人脸锚框坐标和人脸特征点。
步骤S20，根据所述人脸特征点对所述人脸图像进行图像校准，并对图像校准后的所述人脸图像进行特征编码，得到人脸特征向量；
其中，通过根据人脸特征点对人脸图像进行图像校准，提高了人脸图像的准确性，通过对图像校准后的人脸图像进行特征编码，能有效地将图像特征转换为向量特征。
可选的，该步骤中，所述根据所述人脸特征点对所述人脸图像进行图像校准，包括：
确定所述人脸特征点中的两个眼睛特征点，并计算两个所述眼睛特征点之间的眼睛夹角，其中，通过确定人脸特征点中的两个眼睛特征点，提高了两个眼睛特征点之间的眼睛夹角计算的准确性；
以两个所述眼睛特征点之间的中点为旋转中心点，并以所述眼睛夹角为旋转角对所述人脸图像进行旋转校准，通过以两个眼睛特征点之间的中点为旋转中心点，并以眼睛夹角为旋转角对人脸图像进行旋转校准，能有效地以人脸眼睛之间的连线为基准线对该人脸图像进行角度校准。
步骤S30，分别对所述目标物体和所述目标场景进行类别识别，得到目标物体类别和目标场景类别，并根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片。
其中，对于物体而言，可以使用物体检测深度神经网络来识别出物体的类别，并根据类别查找所有包含该种物体的图片，以达到针对物体的图片搜索效果。
可选的，针对物体检测深度神经网络的网络训练步骤，可以将输入的样本图片的一部分区域擦除并随机填充训练集中的其他数据区域像素值，来进行数据增强，使得样本图片混合了四张具有不同语义信息的图片，可以让物体检测深度神经网络学习到超乎常规语境的目标，进而增强了物体检测深度神经网络鲁棒性，并通过自底向上的路径，用低层精确的定位信号来增强物体检测深度神经网络中的特征层次结构，从而缩短了低层与顶层之间的信息路径，在物体检测深度神经网络中，设置有自适应的特征池，自适应的特征池将物体检测深度神经网络中的特征网格和所有的特征层进行连接，使每个特征层的有用信息直接传播到提案子网。
本实施例，通过对待搜索图片中的目标人脸进行特征提取，能有效地提取到待搜索图片中的人脸图像和人脸特征点，通过根据人脸特征点对人脸图像进行图像校准，提高了对人脸图像的特征编码的准确性，通过对图像校准后的人脸图像进行特征编码，能有效地将图像特征转换为向量特征，通过分别对目标物体和目标场景进行类别识别，能有效地确定目标物体和目标场景对应的类别，通过根据人脸特征向量、目标物体类别和目标场景类别分别进行图片搜索，能有效地基于待搜索图片对应的人脸特征向量、目标物体类别和目标场景类别，分别进行人脸特征、物体类别和场景类别的图片搜索，以得到与待搜索图片中相同人物、物体和场景的图片，防止了图片找不全或找不到的现象，提高了用户的图片搜索体验。
实施例二
请参阅图2，是本发明第二实施例提供的图片搜索方法的流程图，该实施例用于对步骤S30作进一步细化，包括步骤：
步骤S31，将所述目标物体类别和所述目标场景类别分别与图片数据库进行匹配，得到所述物体搜索图片和所述场景搜索图片；
其中，该图片数据库中存储有不同目标物体类别和不同目标场景类与对应搜索图片之间的对应关系，该步骤中，通过将目标物体类别和目标场景类别分别与图片数据库进行匹配，以在该图片数据库中搜索包含目标物品和目标场景的图片。
步骤S32，将所述人脸特征向量与所述特征向量数据库进行匹配，得到所述人脸搜索图片；
其中，该特征向量数据库中存储有不同特征向量与对应搜索图片之间的对应关系，该步骤中，设计有多张数据表存储不同的用户信息以及图片信息，例如，人脸分析数据表存储有人脸编号，矫正切割后的人脸图像以及人脸在对应图片中的相关位置信息。例如，图片数据表存储有图片编号，原始图片的名字，存储位置,上传者姓名、时间以及图片的特征向量和图片的状态。例如，人脸图片数据表分别与人脸分析，图片信息关联，包含图像编号、人脸编号，以及一些基本信息，用于人脸和原图之间对应关系的查找。用户信息数据表包含用户编号，用户名称，性别，代表性图片，以及一些用户基本信息，用户人脸数据表分别与用户信息，图片信息关联，包含用户编号，人脸编号，以及一些其他信息，用于用户和人脸之间对应关系的查找。
可选的，该步骤中，所述将所述人脸特征向量与所述特征向量数据库进行匹配，包括：
对所述特征向量数据库中的特征向量进行聚类处理，得到聚类类别和异常类别，其中，异常类别包括无法聚类的特征向量，该步骤中，可以采用基于密度的聚类算法对该特征向量数据库中的特征向量进行聚类处理，得到聚好的聚类类别和无法聚类的异常类别以及未处理的图片类别；
确定所述聚类类别中的目标类别，并计算所述目标类别和所述异常类别中的特征向量与所述人脸特征向量之间的特征相似度；
若所述特征相似度大于相似度阈值，则将所述特征相似度对应的特征向量设置为目标向量，并将所述目标向量对应的搜索图片输出为所述人脸搜索图片。
进一步地，所述确定所述聚类类别中的目标类别，包括：
分别在不同所述聚类类别中进行向量抽样，得到抽样向量，并分别计算所述人脸特征向量与所述抽样向量之间的向量相似度；
将最大所述向量相似度对应的所述聚类类别确定为目标类别；
其中，从已经聚类好的聚类类别里随机抽取10-20个抽样向量与人脸特征向量进行比对，选择其中相似度程度最高的聚类类别，得到该目标类别，本实施例中，把目标类别下所有特征向量以及异常类别和未处理类别下所有特征向量作为该人脸特征向量的搜索范围，输出相似度大于相似度阈值的图片，得到该人脸搜索图片。
该步骤中，通过对特征向量数据库中的特征向量进行聚类处理，得到聚类类别和异常类别，并确定聚类类别中的目标类别，有效地减少了图片搜索的范围，减少了图片搜索的时间。
可选的，若任一人脸特征向量与多个聚类类别中的特征向量的向量相似度均大于相似度阈值时，将该人脸特征向量存储特征向量数据库，并根据预设时间间隔持续对特征向量数据库中的特征向量进行重新聚类，更新该聚类类别。
本实施例中，通过将目标物体类别和目标场景类别分别与图片数据库进行匹配，以在该图片数据库中搜索包含目标物品和目标场景的图片，通过将人脸特征向量与特征向量数据库进行匹配，得到与待搜索图片中相同人物的人脸搜索图片。
实施例三
请参阅图3，是本发明第三实施例提供的图片搜索***100的结构示意图，包括：特征提取模块10、特征编码模块11和图片搜索模块12，其中：
特征提取模块10，用于分别确定待搜索图片中的目标人脸、目标物体和目标场景，并对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点。
其中，该特征提取模块10还用于：将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，得到所述人脸图像和所述人脸特征点。
可选的，该特征提取模块10还用于：将样本图片输入所述人脸检测模型中的卷积神经网络进行卷积处理，得到特征图片；
针对所述人脸检测模型中的卷积神经网络，采用上采样的方式进行图片采样，并采用横向连接的方式连接相同尺度的特征图片；
针对所述人脸检测模型中的卷积神经网络，分别将上一层的卷积神经网络和横向连接得到的特征图片进行图片组合，得到组合图片，并将所述组合图片设置为对应所述卷积神经网络输出的特征图片；
根据所述卷积神经网络输出的特征图片对所述人脸检测模型进行模型训练，得到预训练后的所述人脸检测模型。
进一步地，该特征提取模块10还用于：根据预训练后的所述人脸检测模型对所述待搜索图片进行人脸分析，得到人脸锚框坐标和所述人脸特征点；
对所述人脸锚框坐标和所述人脸特征点进行校准，并输出校准后的所述人脸锚框坐标和所述人脸特征点。
特征编码模块11，用于根据所述人脸特征点对所述人脸图像进行图像校准，并对图像校准后的所述人脸图像进行特征编码，得到人脸特征向量。
其中，该特征编码模块11还用于：确定所述人脸特征点中的眼睛特征点，并计算所述眼睛特征点之间的眼睛夹角；
根据所述眼睛夹角对所述人脸图像进行旋转校准。
图片搜索模块12，用于分别对所述目标物体和所述目标场景进行类别识别，得到目标物体类别和目标场景类别，并根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片。
其中，该图片搜索模块12还用于：将所述目标物体类别和所述目标场景类别分别与图片数据库进行匹配，得到所述物体搜索图片和所述场景搜索图片，所述图片数据库中存储有不同目标物体类别和不同目标场景类与对应搜索图片之间的对应关系；
将所述人脸特征向量与所述特征向量数据库进行匹配，得到所述人脸搜索图片，所述特征向量数据库中存储有不同特征向量与对应搜索图片之间的对应关系。
可选的，该图片搜索模块12还用于：对所述特征向量数据库中的特征向量进行聚类处理，得到聚类类别和异常类别，所述异常类别包括无法聚类的特征向量；
确定所述聚类类别中的目标类别，并计算所述目标类别和所述异常类别中的特征向量与所述人脸特征向量之间的特征相似度；
若所述特征相似度大于相似度阈值，则将所述特征相似度对应的特征向量设置为目标向量，并将所述目标向量对应的搜索图片输出为所述人脸搜索图片。
进一步地，该图片搜索模块12还用于：分别在不同所述聚类类别中进行向量抽样，得到抽样向量，并分别计算所述人脸特征向量与所述抽样向量之间的向量相似度；
将最大所述向量相似度对应的所述聚类类别确定为目标类别。
可选的，本实施例中，设置有前端展示界面，该前端展示界面包括以图搜图界面和查找含有目标用户的聚类界面。
在以图搜图界面上，组件包括：上传图片的组件，通过该组件，用户可以浏览本地文件夹，然后选择图片进行上传。被选择的图片会被格式转换函数，把图片从JPG或者PNG的格式下，转化成base64编码的数据，通过网页请求，把图片base64编码的数据传递给后端。并且界面上还有显示上传图片的组件以及显示返回的具有高匹配度的搜索图片的组件。后端通过调用实现的人脸图片搜索功能的接口去返回被匹配的搜索图片的数据集编号，然后通过后端去访问数据库调取相关图片的base64编码数据，通过转换函数，把搜索图片转换为原来的显示格式，到前端上去显示。
查找含有目标用户图片的聚类界面上，含有组件为一个是显示之前聚好类别人的代表图片组件，通过点击代表图片，可以进入子页面。在子页面里，含有显示该人信息的组件和显示含有该人图片的组件。利用这两个组件可以去显示被选择人的一些相关信息，以及含有该人的全部图片集合。通过点击图片，给后端传递被选择人的编号，后端使用数据库查询语句去查询该编号对应含有图片的位置，并返回符合要求base64编码的数据。
本实施例，通过对待搜索图片中的目标人脸进行特征提取，能有效地提取到待搜索图片中的人脸图像和人脸特征点，通过根据人脸特征点对人脸图像进行图像校准，提高了对人脸图像的特征编码的准确性，通过对图像校准后的人脸图像进行特征编码，能有效地将图像特征转换为向量特征，通过分别对目标物体和目标场景进行类别识别，能有效地确定目标物体和目标场景对应的类别，通过根据人脸特征向量、目标物体类别和目标场景类别分别进行图片搜索，能有效地基于待搜索图片对应的人脸特征向量、目标物体类别和目标场景类别，分别进行人脸特征、物体类别和场景类别的图片搜索，以得到与待搜索图片中相同人物、物体和场景的图片，防止了图片找不全或找不到的现象，提高了用户的图片搜索体验。
实施例四
请参阅图4，是本发明第四实施例提供的移动终端101，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端101执行上述的图片搜索方法。
本实施例还提供了一种存储介质，其上存储有上述移动终端101中所使用的计算机程序，该程序在执行时，包括如下步骤：
分别确定待搜索图片中的目标人脸、目标物体和目标场景，并对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点；
根据所述人脸特征点对所述人脸图像进行图像校准，并对图像校准后的所述人脸图像进行特征编码，得到人脸特征向量；
分别对所述目标物体和所述目标场景进行类别识别，得到目标物体类别和目标场景类别，并根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片。所述的存储介质，如：ROM/RAM、磁碟、光盘等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将存储装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
本领域技术人员可以理解，图3中示出的组成结构并不构成对本发明的图片搜索***的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，而图1和图2中的图片搜索方法亦采用图3中所示的更多或更少的部件，或者组合某些部件，或者不同的部件布置来实现。本发明所称的单元、模块等是指一种能够被所述目标图片搜索***中的处理器(图未示)所执行并功能够完成特定功能的一系列计算机程序，其均可存储于所述目标图片搜索***的存储设备(图未示)内。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图片搜索方法，其特征在于，所述方法包括：
分别确定待搜索图片中的目标人脸、目标物体和目标场景，并对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点；
根据所述人脸特征点对所述人脸图像进行图像校准，并对图像校准后的所述人脸图像进行特征编码，得到人脸特征向量；
分别对所述目标物体和所述目标场景进行类别识别，得到目标物体类别和目标场景类别，并根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片；
所述对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点，包括：
将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，得到所述人脸图像和所述人脸特征点；
所述将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析之前，还包括：
将样本图片输入所述人脸检测模型中的卷积神经网络进行卷积处理，得到特征图片；
针对所述人脸检测模型中的卷积神经网络，采用上采样的方式进行图片采样，并采用横向连接的方式连接相同尺度的特征图片；
针对所述人脸检测模型中的卷积神经网络，分别将上一层的卷积神经网络和横向连接得到的特征图片进行图片组合，得到组合图片，并将所述组合图片设置为对应所述卷积神经网络输出的特征图片；
根据所述卷积神经网络输出的特征图片对所述人脸检测模型进行模型训练，得到预训练后的所述人脸检测模型。
2.如权利要求1所述的图片搜索方法，其特征在于，所述将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，包括：
根据预训练后的所述人脸检测模型对所述待搜索图片进行人脸分析，得到人脸锚框坐标和所述人脸特征点；
对所述人脸锚框坐标和所述人脸特征点进行校准，并输出校准后的所述人脸锚框坐标和所述人脸特征点。
3.如权利要求1所述的图片搜索方法，其特征在于，所述根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，包括：
将所述目标物体类别和所述目标场景类别分别与图片数据库进行匹配，得到所述物体搜索图片和所述场景搜索图片，所述图片数据库中存储有不同目标物体类别和不同目标场景类与对应搜索图片之间的对应关系；
将所述人脸特征向量与特征向量数据库进行匹配，得到所述人脸搜索图片，所述特征向量数据库中存储有不同特征向量与对应搜索图片之间的对应关系。
4.如权利要求3所述的图片搜索方法，其特征在于，所述将所述人脸特征向量与所述特征向量数据库进行匹配，包括：
对所述特征向量数据库中的特征向量进行聚类处理，得到聚类类别和异常类别，所述异常类别包括无法聚类的特征向量；
确定所述聚类类别中的目标类别，并计算所述目标类别和所述异常类别中的特征向量与所述人脸特征向量之间的特征相似度；
若所述特征相似度大于相似度阈值，则将所述特征相似度对应的特征向量设置为目标向量，并将所述目标向量对应的搜索图片输出为所述人脸搜索图片。
5.如权利要求4所述的图片搜索方法，其特征在于，所述确定所述聚类类别中的目标类别，包括：
分别在不同所述聚类类别中进行向量抽样，得到抽样向量，并分别计算所述人脸特征向量与所述抽样向量之间的向量相似度；
将最大所述向量相似度对应的所述聚类类别确定为目标类别。
6.如权利要求1所述的图片搜索方法，其特征在于，所述根据所述人脸特征点对所述人脸图像进行图像校准，包括：
确定所述人脸特征点中的眼睛特征点，并计算所述眼睛特征点之间的眼睛夹角；
根据所述眼睛夹角对所述人脸图像进行旋转校准。
7.一种图片搜索***，其特征在于，所述***包括：
特征提取模块，用于分别确定待搜索图片中的目标人脸、目标物体和目标场景，并对所述待搜索图片中的所述目标人脸进行特征提取，得到人脸图像和所述人脸图像中的人脸特征点；
特征编码模块，用于根据所述人脸特征点对所述人脸图像进行图像校准，并对图像校准后的所述人脸图像进行特征编码，得到人脸特征向量；
图片搜索模块，用于分别对所述目标物体和所述目标场景进行类别识别，得到目标物体类别和目标场景类别，并根据所述人脸特征向量、所述目标物体类别和所述目标场景类别分别进行图片搜索，得到人脸搜索图片、物体搜索图片和场景搜索图片；
所述特征提取模块还用于：将所述待搜索图片输入预训练后的人脸检测模型进行人脸分析，得到所述人脸图像和所述人脸特征点；
所述特征提取模块还用于：将样本图片输入所述人脸检测模型中的卷积神经网络进行卷积处理，得到特征图片；
针对所述人脸检测模型中的卷积神经网络，采用上采样的方式进行图片采样，并采用横向连接的方式连接相同尺度的特征图片；
针对所述人脸检测模型中的卷积神经网络，分别将上一层的卷积神经网络和横向连接得到的特征图片进行图片组合，得到组合图片，并将所述组合图片设置为对应所述卷积神经网络输出的特征图片；
根据所述卷积神经网络输出的特征图片对所述人脸检测模型进行模型训练，得到预训练后的所述人脸检测模型。
8.一种移动终端，其特征在于，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行根据权利要求1至6任一项所述的图片搜索方法。
9.一种存储介质，其特征在于，其存储有权利要求8所述的移动终端中所使用的计算机程序，该计算机程序被处理器执行时实现权利要求1至6任一项所述的图片搜索方法的步骤。
CN202110440522.3A 2021-04-23 2021-04-23 图片搜索方法、***、移动终端及存储介质 Active CN113157956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110440522.3A CN113157956B (zh) 2021-04-23 2021-04-23 图片搜索方法、***、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110440522.3A CN113157956B (zh) 2021-04-23 2021-04-23 图片搜索方法、***、移动终端及存储介质

Publications (2)

Publication Number Publication Date
CN113157956A CN113157956A (zh) 2021-07-23
CN113157956B true CN113157956B (zh) 2022-08-05

Family

ID=76870085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110440522.3A Active CN113157956B (zh) 2021-04-23 2021-04-23 图片搜索方法、***、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN113157956B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536005B (zh) * 2021-09-17 2021-12-24 网娱互动科技(北京)股份有限公司 一种相似图片或字体查找方法和***
CN114283347B (zh) * 2022-03-03 2022-07-15 粤港澳大湾区数字经济研究院(福田) 目标检测方法、***、智能终端及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545241B (zh) * 2017-07-19 2022-05-27 百度在线网络技术（北京）有限公司 神经网络模型训练及活体检测方法、装置及存储介质
CN108009528B (zh) * 2017-12-26 2020-04-07 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109376596B (zh) * 2018-09-14 2020-11-13 广州杰赛科技股份有限公司 人脸匹配方法、装置、设备及存储介质
CN110046266B (zh) * 2019-03-28 2021-11-02 深圳紫晶存储科技有限公司 一种照片的智能管理方法及装置
CN110750656B (zh) * 2019-10-29 2023-03-14 上海德拓信息技术股份有限公司 一种基于知识图谱的多媒体检测方法
CN111274947B (zh) * 2020-01-19 2023-03-10 广州广电卓识智能科技有限公司 一种多任务多线索人脸识别方法、***及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法

Also Published As

Publication number Publication date
CN113157956A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
US11294953B2 (en) Similar face retrieval method, device and storage medium
US10762387B2 (en) Method and apparatus for processing image
CN109784181B (zh) 图片水印识别方法、装置、设备及计算机可读存储介质
US20170351934A1 (en) Object recognition device, object recognition method, and program
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN113157956B (zh) 图片搜索方法、***、移动终端及存储介质
CN110781805B (zh) 一种目标物体检测方法、装置、计算设备和介质
CN111209970A (zh) 视频分类方法、装置、存储介质及服务器
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN111078924B (zh) 图像检索方法、装置、终端及存储介质
CN113837257B (zh) 一种目标检测方法及装置
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN110489659A (zh) 数据匹配方法和装置
WO2022127814A1 (zh) 一种图像的显著性物体检测方法、装置、设备及存储介质
CN114091551A (zh) 色情图像识别方法、装置、电子设备及存储介质
CN112052352B (zh) 视频排序方法、装置、服务器及存储介质
CN116628507A (zh) 数据处理方法、装置、设备及可读存储介质
CN113076961A (zh) 一种图像特征库更新方法、图像检测方法和装置
CN112036307A (zh) 图像处理方法及装置、电子设备和存储介质
CN115393756A (zh) 一种基于视觉图像的水印识别方法、装置、设备及介质
CN115223018A (zh) 伪装对象协同检测方法及装置、电子设备和存储介质
CN112214626B (zh) 图像识别方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant