CN116049474A - 图像搜索方法、装置及计算机可读存储介质 - Google Patents

图像搜索方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN116049474A
CN116049474A CN202211741851.2A CN202211741851A CN116049474A CN 116049474 A CN116049474 A CN 116049474A CN 202211741851 A CN202211741851 A CN 202211741851A CN 116049474 A CN116049474 A CN 116049474A
Authority
CN
China
Prior art keywords
matching
searched
images
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211741851.2A
Other languages
English (en)
Inventor
黄鹏
罗彬�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211741851.2A priority Critical patent/CN116049474A/zh
Publication of CN116049474A publication Critical patent/CN116049474A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种图像搜索方法、装置及计算机可读存储介质。该方法包括：获取目标图像；利用至少两种不同类型的特征匹配方式将目标图像分别与多个待搜索图像进行匹配，进而为满足匹配条件的待搜索图像分配相应的匹配分值；利用各待搜索图像所分配到的匹配分值计算各待搜索图像的总匹配分值；基于总匹配分值对多个待搜索图像进行排序，以形成搜索结果。通过上述方式，本申请能够提高图像搜索准确度。

Description

图像搜索方法、装置及计算机可读存储介质
技术领域
本申请涉及图像处理领域，特别是涉及图像搜索方法、装置及计算机可读存储介质。
背景技术
随着智能手机、数码相机等电子产品的快速发展，拍照变得更加方便快捷，家庭相册中包含了大量的照片，当用户需要对日常生活中记录的点点滴滴进行回忆时，如何从庞大的照片库中快速准确的查询到目标照片显得尤为重要。
以图搜图功能是在文字搜索之上扩展的新的搜图方式，通常是指用户通过上传一张与目标图片相似的查询图片，提取其语义特征之后通过搜索引擎在图片库中进行相似搜索，最后返回对应的图片搜索结果。
发明内容
本申请主要提供一种图像搜索方法、装置及计算机可读存储介质，解决了现有技术中图像搜索准确度低的问题。
为解决上述技术问题，本申请第一方面提供了一种图像搜索方法，包括：获取目标图像；利用至少两种不同类型的特征匹配方式将目标图像分别与多个待搜索图像进行匹配，进而为满足匹配条件的待搜索图像分配相应的匹配分值；利用各待搜索图像所分配到的匹配分值计算各待搜索图像的总匹配分值；基于总匹配分值对多个待搜索图像进行排序，以形成搜索结果。
为解决上述技术问题，本申请第二方面提供了一种图像搜索装置，包括相互耦接的处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现上述第一方面提供的图像搜索方法。
为解决上述技术问题，本申请第三方面提供了一种计算机可读存储介质，计算机可读存储介质存储有程序数据，所述程序数据被处理器执行时，实现上述第一方面提供的图像搜索方法。
本申请的有益效果是：区别于现有技术的情况，本申请利用至少两种不同类型的特征匹配方式将目标图像分别与多个待搜索图像进行匹配，进而为满足匹配条件的待搜索图像分配相应的匹配分值；利用各待搜索图像所分配到的匹配分值计算各待搜索图像的总匹配分值；基于总匹配分值对多个待搜索图像进行排序，以形成搜索结果。本申请利用至少两种不同类型的特征匹配方式，根据多个维度的比对结果赋予待搜索图像匹配度分值，在多个维度比对目标图像和待搜索图像之间的匹配度，充分利用图像中的信息进行比对，提高图像搜索的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请图像搜索方法一实施例的流程示意框图；
图2是本申请步骤S12一实施例的流程示意框图；
图3是本申请步骤S21一实施例的流程示意框图；
图4是本申请待搜索图像信息库构建方法一实施例的流程示意框图；
图5是本申请步骤S22一实施例的流程示意框图；
图6是本申请步骤S22另一实施例的流程示意框图；
图7是本申请步骤S22又一实施例的流程示意框图；
图8是本申请图像搜索装置一实施例的结构示意框图；
图9是本申请图像搜索装置另一实施例的结构示意框图；
图10是本申请计算机可读存储介质一实施例的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解是，本文所描述的实施例可以与其他实施例结合。
目前主要的以图搜图应用包含百度识图、谷歌搜图、搜狗搜图等，其主要流程包含输入查询图像以及文本辅助信息、特征提取、相似度量等过程。上述以图搜图应用均对互联网上的海量图片进行检索，搜索范围广，导致搜索结果中经常包含大量相似图像以及一部分无关图像，搜索结果与目标图片通常会存在一定的差异，包含了各种无关图片或无法给出对应的搜索结果，需要用户进一步筛选，导致用户使用体验较差，本文提出一种图像搜索方法，用以提高搜图准确度。
请参阅图1，图1是本申请图像搜索方法一实施例的流程示意框图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。本实施例包括以下步骤：
步骤S11：获取目标图像。
目标图像例如可以是通过手机、平板电脑、或监控设备的摄像头采集到的，也可以是通过网络、蓝牙等传输方式接收到的。获取方式并不限定。
目标图像可包括至少一个可被识别的人脸或物品特征，或者还可以带有该图像的拍摄时间、拍摄地点、拍摄设备类型等信息。
步骤S12：利用至少两种不同类型的特征匹配方式将目标图像分别与多个待搜索图像进行匹配，进而为满足匹配条件的待搜索图像分配相应的匹配分值。
其中，待搜索图像可以是在云端服务器中，也可以是移动设备中的本地图像，例如是手机、平板电脑、相机等设备中的图像。
不同类型的特征匹配方式，例如可根据目标图像中所包括的特征类型的不同而采用不同的匹配方式。
本步骤将目标图像中的人脸特征和/或物品特征等，与待搜索图像中的人脸特征和/或物品特征等进行特征匹配，根据匹配结果为待搜索图像分配匹配分值，匹配分值即可用于表征目标图像与各待搜索图像之间的匹配度。举例来说，可为特征匹配程度越高的设置越高的匹配分值，这样的话，目标图像与待搜索图像之间的匹配分值越高，则表明目标图像与待搜索图像越相似；还可特征匹配程度越高的设置越低的匹配分值，这样的话，目标图像与待搜索图像之间的匹配分值越低，则表明目标图像与待搜索图像越相似。
请参阅图2，若目标图像中存在人脸特征，则步骤S12可具体包括以下步骤：
步骤S21：将目标图像分别与多个待搜索图像进行人脸相似度匹配，进而为满足人脸匹配条件的待搜索图像分配相应的人脸匹配分值。
在其中一实施例中，多个待搜索图像中包含有人脸的待搜索图像被预先划分到多个人脸分组，其中同一人脸分组内的待搜索图像包含相似度差异小于预设差异阈值的共有人脸。
具体而言，前期可对待搜索图像进行人脸特征识别，将人脸特征相似度度差异小于预设差异阈值的分为一个人脸分组。其中，每个人脸分组可对应相应的人脸标签，包括同一人脸标签的图像可视为同一个人脸分组，对于包括多个人脸特征的单张图像而言，可对应于每个人脸特征设置一个人脸标签，即，包括多个人脸特征的一张待搜索图像可具有多个不同的人脸分组。
在此之前，可通过以下步骤1)～4)的方法对待搜索图像进行人脸分组：
1)利用带有人脸标注的人脸数据集训练人脸检测网络和人脸识别网络。
人脸检测网络可包含但不限于是MobileDets、YOLO v7、YOLO X等，人脸识别网络可包含但不限于FaceNet、CosFace、ArcFace等。
2)导入由多张图像组成的相册，利用人脸检测网络对每一图像进行人脸位置信息的检测，利用人脸识别网络对检测出人脸信息的图像进行人脸特征提取，并记录各图像中包含的人脸特征向量。
3)将首次出现的人脸特征向量绑定新的人脸标签，并将其添加进待搜索图像信息库中；将非首次出现的人脸特征向量与不同人脸分组的人脸特征向量进行相似度比对。
人脸标签可以是按照设定规则编号，例如是***数字编号ID＝1,2,…，或者可以是英文字母编号ID＝a,b,…，还可以有其他方式，此处不过多限定。
其中，可将新提取出来的人脸特征向量分别与已标注的每个人脸标签对应的一个或一个以上的人脸特征向量进行相似度比对，若相似度小于设定相似度阈值，则可将新提取出来的人脸特征向量视为是首次出现的人脸特征向量，否则视为是非首次出现的人脸特征向量。
4)为了提升人脸对比的速度，进行人脸对比时从不同人脸分组的人脸特征向量集合中随机采样N个人脸特征，若当前人脸分组中人脸特征数量不足N时，则与当前人脸分组包含的所有人脸特征进行相似对比。具体过程可表示为下式：
Figure BDA0004027742800000061
Figure BDA0004027742800000062
其中，y为人脸识别网络的输出结果，F为人脸识别网络，xa表示相册中新出现的人脸图像，
Figure BDA0004027742800000063
表示从人脸标签ID＝id的人脸特征向量fid中采样N个人脸特征，fid为人脸标签ID＝id的人脸特征向量集合，I为当前所有人脸分组中最大人脸标签ID值，M表示一个人脸标签ID＝id对应的人脸特征数量，
Figure BDA0004027742800000064
表示从一个人脸标签ID＝id对应的M个人脸特征中随机采样N个人脸特征，
Figure BDA0004027742800000065
表示采集一个人脸标签ID＝id对应的M个人脸特征。
当y大于预设阈值时，认为输入的人脸图像xa与当前对比ID中的人脸特征属于同一对象的特征，提取输入人脸图像xa的特征向量并将其ID设置为当前对比的人脸特征的ID值；当遍历待搜索图像信息库仍未找到相同对象的人脸时，提取输入人脸图像xa的人脸特征向量并将其人脸标签ID设置为I+1。记录该人脸特征向量并更新人脸分组，将包含该人脸特征的图像添加进待搜索图像信息库中。
其中，对于包括多个人脸特征的待搜索图像，可具有多个分组标签，例如，一张待搜索图像中包括A人脸特征和B人脸特征，则可分别针对A和B设置两个不同的人脸标签。
请参阅图3，步骤S21可包括以下步骤：
步骤S211：将目标图像中的人脸与各人脸分组中的共有人脸进行相似度匹配。
共有人脸即人脸分组中所有待搜索图像均包括的人脸特征。
可选地，在每个人脸分组中均选中设定数量的待搜索图像，图像数量不足设定数量的，选中该人脸分组的全部待搜索图像，将目标图像的人脸特征分别与每个人脸分组的选中图像进行相似度匹配。具体可参见公式(1)和公式(2)的方法，利用人脸识别网络对人脸特征进行相似度匹配操作，此处不再赘述。在每个人脸分组中选定设定数量的待搜索图像进行相似度匹配，而不需要将一个人脸分组中的所有图像与目标图像进行相似度匹配操作，既能比对所有人脸分组中的图像，又能控制计算量不超出，节省计算资源，减少人脸特征比对的耗时。
步骤S212：为目标图像的人脸所匹配到的人脸分组内的待搜索图像分配人脸匹配分值。
前一步骤中与目标图像中的人脸相似度匹配符合要求的人脸分组，即可认为是该人脸分组的待搜索图像均符合相似度匹配要求，为符合要求的人脸分组重的图像均分配人脸匹配分值。
可选地，将预设的第一初始分值s1或第一初始分值s1的加权结果作为人脸匹配分值。其中，第一初始分值的加权可根据后文待搜索图像是否满足辅助检索条件进行设置。
步骤S22：将目标图像分别与多个待搜索图像进行物品匹配，进而为满足物品匹配条件的待搜索图像分配相应的物品匹配分值。
在其中一实施例中，本步骤可将目标图像分别与多个待搜索图像进行物品类别匹配，进而为满足物品类别匹配条件的待搜索图像分配相应的第一物品匹配分值。
其中，多个待搜索图像中包含有物品的待搜索图像按照物品类别被预先划分到多个类别分组。结合参阅图4，待搜索图像信息库中的图像可根据下述5)～7)的方法分到多个类别分组：
5)利用带有物品类别标注的物品图像数据集训练物品检测网络和度量学习网络。
物品检测网络可包括但不限于宠物、服装、美食、家居、风景等检测网络。其中，宠物类还可进一步包括各品种猫、狗、啮齿动物、鸟类、鱼类、爬行类动物等，服装类可进一步包括T恤、长裙、西装、鞋子、帽子、手提包等，美食类可进一步包括各类食物、水果、饮品等，家居类可进一步包括各种玩具、手办、植物、绘画、手工品等，风景类可进一步包括山川、湖泊、建筑、天空、海洋、城市等。各物品检测网络可利用带有物品类别标注的图像数据集训练得到。
度量学习网络的网络架构可选Siamese、Triplet等；度量学习网络的训练损失可选Contrastive Loss、Triplet Loss、Magnet Loss、Angular Loss等常用损失函数。度量学习网络用于衡量两个输入图像之间的相似程度，网络输出其相似度得分。
6)将多张图像导入预先训练好的物品检测网络，利用不同的物品检测网络检测各图像的各类物品的位置，并记录该图像中各类物品的数量以及对应的物品类别。
经物品检测网络检测每张图像后，输出各图像中对应于各物品子类别的特征数量。
7)利用预先训练好的度量学习网络提取该图像中各物品的特征向量，记录各物品的特征向量，并将图像添加进对应类别的物品类别分组中。
其中，物品类别分组(即图4的物品库)也可根据物品类别标签区分，在识别在图像中的物品类别之后，为相应的物品特征设置物品类别标签，包括同一物品类别标签的可视为同一物品类别分组。同样地，包括多个物品，则可对应于每个物品设置对应的物品类别标签。
请参阅图5，物品类别匹配可包括以下步骤：
步骤S221：将目标图像中的物品与所属类别分组内的待搜索图像中的物品进行类别匹配，以确定在各类别分组下，目标图像和各待搜索图像中的同类物品形成的匹配对的数量。
本步骤可利用前述物品检测网络处理目标图像，检测目标图像中的各物品位置和对应的物品类别。
形成的匹配对，指的是待搜索图像中物品和目标图像中的物品所属的类别分组相同，则形成匹配对。
可选地，物品类别包括物品大类和物品大类下的物品小类，一个物品大类可对应至少两个物品小类，物品大类例如可包括宠物、服装、美食、家居、风景等，宠物类则可对应各品种猫、狗、啮齿动物、鸟类、鱼类、爬行类动物等物品小类，诸如此类，不再过多赘述。类别匹配则可以根据目标图像中属于每个物品小类的物品数量，与待搜索图像中相应物品小类物品数量中的较小者作为该物品小类的匹配对的数量，统计所有物品小类的总匹配对数量，即可得到目标图像和待搜索图像中的同类物品形成的匹配对的数量。
目标图像和待搜索图像中的同类物品形成的匹配对的数量具体可根据下式计算得到：
Figure BDA0004027742800000091
其中，N表示目标图像和待搜索图像中的同类物品形成的匹配对的数量，G为各物品大类，Cg为物品大类下各物品小类，a为待搜索图像中包含g物品大类下c物品小类物体的数量，b为目标图像中包含g物品大类下c物品小类物体的数量。
步骤S222：利用各待搜索图像所对应的匹配对的数量对预设的第二初始分值进行加权求和，得到第一物品匹配分值。
具体可通过下式计算得到：
S2＝N×s2       公式(4)
其中，s2为第二初始分值，S2表示第一物品匹配分值，N表示目标图像和待搜索图像中的同类物品形成的匹配对的数量。
在另外的实施例中，可将目标图像分别与多个待搜索图像进行物品相似度匹配，进而为满足物品相似度匹配条件的待搜索图像分配相应的第二物品匹配分值。
请参阅图6，物品相似度匹配可包括以下步骤：
步骤S223：将目标图像中的物品与所属类别分组内的待搜索图像中的物品进行相似度匹配。
利用度量学习网络提取该图像中各物品的特征，在确定各物品所属的物品小类后，将各物品的特征与待搜索图像中对应物品小类的物品特征进行相似度比对。
相似度匹配操作，例如是计算目标图像中物品特征与待搜索图像中对应物品小类的物品特征的距离。其中，物品特征之间的距离例如是欧几里得距离、曼哈顿距离等。
在物品特征之间的距离小于或等于设定距离阈值时，确定量物品特征相匹配。
本步骤根据物品所属类别，将目标图像中物品与待搜索图像中的物品进行相似度匹配，相同类别分组的物品特征之间进行比对，能够快速锁定要比对的物品特征，减少特征比对的计算量，减少耗时。
步骤S224：将预设的第三初始分值或第三初始分值的加权结果作为目标图像的物品所匹配到的待搜索图像的第二物品匹配分值。
在其中一实施方式中，若待搜索图像存在至少一个物品特征与目标图像中的物品特征相匹配，则以预设的第三初始分值s3作为待搜索图像的第二物品匹配分值S3。也就是说，只要是在待搜索图像匹配到一个物品特征，就以第三初始分值s3作为第二物品匹配分值S3。
在另一实施方式中，统计待搜索图像中，与目标图像中的物品特征相匹配的物品特征数量，以匹配的物品特征数量对第三初始分值s3加权，以作为待搜索图像的第二物品匹配分值S3。具体加权方式可表示为下式：
S3＝(1+β)×s3      公式(5)
其中，S3是第二物品匹配分值，s3是预设的第三初始分值，β是匹配的物品特征数量。
在其他的实施方式中，可根据下述实施例的辅助检索条件对第三初始分值进行加权。
可以理解地，物品匹配可以仅执行物品类别匹配或物品相似度匹配其中一种，也可两种匹配方式均执行，以提高图像搜索的准确度。
若目标图像中不存在人脸特征，则步骤S12可对将目标图像分别与多个待搜索图像进行物品类别匹配，以及将目标图像分别与多个待搜索图像进行物品相似度匹配，并为满足物品类别匹配条件的待搜索图像分配相应的第一物品匹配分值，以及，为满足物品相似度匹配条件的待搜索图像分配相应的第二物品匹配分值。具体可参照步骤S221～步骤S222物品类别匹配实施例和步骤S223～步骤S224物品相似度匹配实施例，此处不再赘述。
可选地，请参阅图7，步骤S12还可进一步包括以下步骤：
步骤S231：确定各待搜索图像中的人脸和/或物品未与目标图像中的人脸和/或物品形成匹配的未匹配数量。
可选地，根据步骤S21将目标图像中的各人脸特征与待搜索图像中的人脸特征进行相似度匹配，同时可将待搜索图像中与目标图像人脸特征形成匹配的人脸特征标记为已匹配，统计待搜索图像中未形成匹配的人脸特征数量。
可选地，根据步骤S223～步骤S224将目标图像中的各物品特征与待搜索图像中的物品特征进行相似度匹配，同时可将待搜索图像中与目标图像物品特征形成匹配的物品特征标记为已匹配，统计待搜索图像中未形成匹配的物品特征数量。
步骤S232：基于预设的第四初始分值和未匹配数量为各待搜索图像分配重合度匹配分值。
可选地，将第四初始分值与以未匹配数量为变量的幂指数函数之间的差值作为匹配重合度分值。
可以根据下式计算重合度匹配分值：
Figure BDA0004027742800000111
其中，θ为预设的调节系数，p为未匹配数量，s4为第四初始分值，S4为匹配重合度，e表示自然常数。即，未匹配数量在0和
Figure BDA0004027742800000112
之间时，确定第四初始分值s4与eθp之间的差值为匹配重合度。
步骤S13：利用各待搜索图像所分配到的匹配分值计算各待搜索图像的总匹配分值。
总匹配分值为上述各中特征匹配方式设置的匹配分值的总和。
步骤S14：基于总匹配分值对多个待搜索图像进行排序，以形成搜索结果。
本步骤将待搜索图像按总匹配分值从大到小的顺序或者从小到大的顺序排序并输出。
可选地，优先输出分值高的图像。
可选地，总匹配分值小于设定分数阈值的待搜索图像在搜索结果页面不予显示，仅显示总匹配分值大于或等于设定分数阈值的图像。
区别于现有技术，本实施例可采取至少两种不同类型的特征匹配方式对目标图像分别与多个待搜索图像进行匹配操作，并根据相应的匹配条件为待搜索图像按照相应的规则设置匹配分值，最后根据总匹配分值将待搜索图像排序形成搜索结果，可以在至少两个维度比对图像的相似度，提高图像搜索的准确度。
可选地，步骤S11的获取的目标图像还可带有辅助检索条件，则步骤S12可基于待搜索图像是否满足辅助检索条件，对匹配分值进行差异化设置。
例如，在人脸相似度匹配阶段，对于满足人脸匹配条件的待搜索图像中，满足辅助检索条件的，在第一初始分值的基础上加上预设的辅助权值与第一初始分值之间的乘积结果作为人脸匹配分值。具体可表示为下式：
S1＝(1+α)×s1     公式(7)
在物品类别匹配阶段，对于与满足物品类别匹配条件的待搜索图像中，满足辅助检索条件的，在第一物品匹配分值的基础上加上预设的辅助权值与第一物品匹配分值之间的乘积结果作为最终的第一物品匹配分值。具体可表示为下式：
S2＝(1+α)×N×s2     公式(8)
在物品相似度匹配阶段，对于满足物品相似度匹配条件的待搜索图像中，满足辅助检索条件的，在原第二物品匹配分值的基础上加上预设的辅助权值与第二物品匹配分值之间的乘积结果作为最终的第一物品匹配分值。具体可表示为下式：
Figure BDA0004027742800000131
其中，α表示预设的辅助权值，s1表示预设的第一初始分值，S1表示人脸匹配分值，
Figure BDA0004027742800000132
表示辅助权值加权后的第一物品匹配分值。
辅助检索条件可包括但不限于以下至少一种：拍摄时间与目标图像的拍摄时间在设定时间跨度范围内、拍摄地点与参考拍摄地点在设定距离范围内、拍摄设备类型与参考拍摄设备类型一致。
具体来说，待搜索图像均带有拍摄时间、拍摄地点、拍摄设备类型等信息，用户可在输入目标图像的同时，设置拍摄时间跨度范围、拍摄地点距离范围、拍摄设备类型等，设备解析目标图像的拍摄时间、拍摄地点、拍摄设备类型信息或接收来自外部输入的目标图像的拍摄时间、拍摄地点、拍摄设备类型，根据匹配算法可确定符合上述辅助检索条件的待搜索图像。
本申请一应用场景为家庭相册，比如是亲子相册、家庭旅游相册、家庭日常相册，相册中的图像为待搜索图像，待搜索图像本地保存或上传云端服务器均可带有其拍摄时间、拍摄地点以及拍摄设备类型等信息。在其他的应用场景中，还可以是校园活动相册、企业文化相册等。
区别于现有技术，本实施例以图像带有的拍摄时间、拍摄地点、拍摄设备类型等信息作为辅助检索条件，将满足辅助条件的待搜索图像额外加权计算匹配分值，进一步缩小搜索范围，提高搜索的准确度。
请参阅图8，图8是本申请图像搜索装置一实施例的结构示意框图。图像搜索装置100包括：获取模块110、图像匹配模块120、分值统计模块130、结果输出模块140。其中，获取模块110用于获取目标图像，图像匹配模块120用于利用至少两种不同类型的特征匹配方式将所述目标图像分别与多个待搜索图像进行匹配，进而为满足匹配条件的所述待搜索图像分配相应的匹配分值，分值统计模块130用于利用各所述待搜索图像所分配到的匹配分值计算各所述待搜索图像的总匹配分值，结果输出模块140用于基于所述总匹配分值对所述多个待搜索图像进行排序，以形成搜索结果。
关于处理执行的各步骤的具体方式请参照上述本申请图像搜索方法实施例的各步骤的描述，在此不再赘述。
请参阅图9，图9是本申请图像搜索装置另一实施例的结构示意框图。该图像搜索装置200包括相互耦接的处理器210和存储器220，存储器220中存储有计算机程序，处理器210用于执行计算机程序以实现上述各实施例所述的图像搜索方法。
关于处理执行的各步骤的描述请参照上述本申请图像搜索方法实施例的各步骤的描述，在此不再赘述。
存储器220可用于存储程序数据以及模块，处理器210通过运行存储在存储器220的程序数据以及模块，从而执行各种功能应用以及数据处理。存储器220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如人脸识别功能、物品识别功能等)等；存储数据区可存储根据图像搜索装置200的使用所创建的数据(比如图像数据、人脸特征数据、图像拍摄时间等参数、图像匹配分值数据等)等。此外，存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器220还可以包括存储器控制器，以提供处理器210对存储器220的访问。
在本申请的各实施例中，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的图像搜索装置200的各实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中。
参阅图10，图10为本申请计算机可读存储介质一实施例的结构示意框图，计算机可读存储介质300存储有程序数据310，程序数据310被执行时实现如上述图像搜索方法各实施例的步骤。
关于处理执行的各步骤的描述请参照上述本申请图像搜索方法实施例的各步骤的描述，在此不再赘述。
计算机可读存储介质300可以是U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像搜索方法，其特征在于，所述方法包括：
获取目标图像；
利用至少两种不同类型的特征匹配方式将所述目标图像分别与多个待搜索图像进行匹配，进而为满足匹配条件的所述待搜索图像分配相应的匹配分值；
利用各所述待搜索图像所分配到的匹配分值计算各所述待搜索图像的总匹配分值；
基于所述总匹配分值对所述多个待搜索图像进行排序，以形成搜索结果。
2.根据权利要求1所述的方法，其特征在于，所述利用至少两种不同类型的特征匹配方式将所述目标图像分别与多个待搜索图像进行匹配的步骤包括：
将所述目标图像分别与多个待搜索图像进行人脸相似度匹配，进而为满足人脸匹配条件的所述待搜索图像分配相应的人脸匹配分值；
将所述目标图像分别与多个待搜索图像进行物品匹配，进而为满足物品匹配条件的所述待搜索图像分配相应的物品匹配分值。
3.根据权利要求2所述的方法，其特征在于，所述多个待搜索图像中包含有人脸的待搜索图像被预先划分到多个人脸分组，其中同一所述人脸分组内的所述待搜索图像包含相似度差异小于预设差异阈值的共有人脸；
所述将所述目标图像分别与多个待搜索图像进行人脸相似度匹配，包括：
将所述目标图像中的人脸与各所述人脸分组中的共有人脸进行相似度匹配；
为所述目标图像的人脸所匹配到的所述人脸分组内的所述待搜索图像分配所述人脸匹配分值。
4.根据权利要求3所述的方法，其特征在于，所述为所述目标图像的人脸所匹配到的所述人脸分组内的所述待搜索图像分配所述人脸匹配分值的步骤包括：
将预设的第一初始分值或所述第一初始分值的加权结果作为所述人脸匹配分值。
5.根据权利要求2所述的方法，其特征在于，所述将所述目标图像分别与多个待搜索图像进行物品匹配的步骤包括：
将所述目标图像分别与多个待搜索图像进行物品类别匹配，进而为满足物品类别匹配条件的所述待搜索图像分配相应的第一物品匹配分值；和/或，
将所述目标图像分别与多个待搜索图像进行物品相似度匹配，进而为满足物品相似度匹配条件的所述待搜索图像分配相应的第二物品匹配分值。
6.根据权利要求1所述的方法，其特征在于，所述利用至少两种不同类型的特征匹配方式将所述目标图像分别与多个待搜索图像进行匹配的步骤包括：
将所述目标图像分别与多个待搜索图像进行物品类别匹配，进而为满足物品类别匹配条件的所述待搜索图像分配相应的第一物品匹配分值；
将所述目标图像分别与多个待搜索图像进行物品相似度匹配，进而为满足物品相似度匹配条件的所述待搜索图像分配相应的第二物品匹配分值。
7.根据权利要求5或6所述的方法，其特征在于，所述多个待搜索图像中包含有物品的待搜索图像按照物品类别被预先划分到多个类别分组；
所述将所述目标图像分别与多个待搜索图像进行物品类别匹配的步骤包括：
将所述目标图像中的物品与所属所述类别分组内的待搜索图像中的物品进行类别匹配，以确定在各类别分组下，所述目标图像和各所述待搜索图像中的同类物品形成的匹配对的数量；
利用各所述待搜索图像所对应的所述匹配对的数量对预设的第二初始分值进行加权求和，得到所述第一物品匹配分值。
8.根据权利要求7所述的方法，其特征在于，所述将所述目标图像分别与多个待搜索图像进行物品相似度匹配的步骤包括：
将所述目标图像中的物品与所属所述类别分组内的待搜索图像中的物品进行相似度匹配；
将预设的第三初始分值或所述第三初始分值的加权结果作为所述目标图像的物品所匹配到的所述待搜索图像的所述第二物品匹配分值。
9.一种图像搜索装置，其特征在于，所述装置包括相互耦接的处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据被处理器执行时实现如权利要求1-8中任一项所述方法的步骤。
CN202211741851.2A 2022-12-29 2022-12-29 图像搜索方法、装置及计算机可读存储介质 Pending CN116049474A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211741851.2A CN116049474A (zh) 2022-12-29 2022-12-29 图像搜索方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211741851.2A CN116049474A (zh) 2022-12-29 2022-12-29 图像搜索方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116049474A true CN116049474A (zh) 2023-05-02

Family

ID=86114195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211741851.2A Pending CN116049474A (zh) 2022-12-29 2022-12-29 图像搜索方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116049474A (zh)

Similar Documents

Publication Publication Date Title
Zhang et al. Detection of co-salient objects by looking deep and wide
US9430719B2 (en) System and method for providing objectified image renderings using recognition information from images
Demir et al. A novel active learning method in relevance feedback for content-based remote sensing image retrieval
US8897505B2 (en) System and method for enabling the use of captured images through recognition
US7809192B2 (en) System and method for recognizing objects from images and identifying relevancy amongst images and information
CN112348117B (zh) 场景识别方法、装置、计算机设备和存储介质
US7809722B2 (en) System and method for enabling search and retrieval from image files based on recognized information
CN107209860A (zh) 使用分块特征来优化多类图像分类
CN107003977A (zh) 用于组织存储在移动计算设备上的照片的***、方法和装置
CN103988202A (zh) 基于索引和搜索的图像吸引力
CN111950728B (zh) 图像特征提取模型的构建方法、图像检索方法及存储介质
CN113657087B (zh) 信息的匹配方法及装置
WO2006122164A2 (en) System and method for enabling the use of captured images through recognition
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN111027622A (zh) 图片标签生成方法、装置、计算机设备及存储介质
US8150212B2 (en) System and method for automatic digital image orientation detection
Zhao et al. Learning best views of 3D shapes from sketch contour
Kim et al. m CLOVER: mobile content-based leaf image retrieval system
JP6017277B2 (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
CN112685580A (zh) 基于深度学习的社交网络头像比对的分布式检测***、方法、装置、处理器及其存储介质
CN104850600B (zh) 一种用于搜索包含人脸的图片的方法和装置
Boteanu et al. A relevance feedback perspective to image search result diversification
CN116049474A (zh) 图像搜索方法、装置及计算机可读存储介质
Pertusa et al. Mirbot: A multimodal interactive image retrieval system
CN108780462A (zh) 用于对多媒体内容元素进行聚类的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination