CN109829073B - 一种图像搜索的方法及装置 - Google Patents
一种图像搜索的方法及装置 Download PDFInfo
- Publication number
- CN109829073B CN109829073B CN201811640366.XA CN201811640366A CN109829073B CN 109829073 B CN109829073 B CN 109829073B CN 201811640366 A CN201811640366 A CN 201811640366A CN 109829073 B CN109829073 B CN 109829073B
- Authority
- CN
- China
- Prior art keywords
- identifier
- image
- preset model
- data
- structured data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种图像搜索的方法及装置。所述方法包括:接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;确定与所述第一标识对应的第二标识;将所述第二标识输入到目标服务器中以获取第一结构化数据;根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。通过本发明提供的技术方案,在提升查询效率的同时,能够节省存储空间。
Description
技术领域
本发明涉及互联网领域,特别涉及一种图像搜索的方法及装置。
背景技术
随着科学技术的发展,人类信息已呈***式增长,很多搜索引擎厂商不得不添加大量的服务器来进行数据存储。
相应的,由于数据量越来越大,导致用户进行搜索时命中目标文件的时间越来越长,查询效率低。
发明内容
本发明实施例提供了一种图像搜索的方法及装置,通过使用本发明提供的方法,将图像的结构化数据和非结构化数据进行分开存储,在进行图像搜索时,通过非结构化数据的相似度计算以及结构化数据的筛选可以快速确定结果图像,在提升查询效率的同时,节省了存储空间。
本发明第一方面公开了一种图像搜索的方法,所述方法包括:
接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定与所述第一标识对应的第二标识;
将所述第二标识输入到目标服务器中以获取第一结构化数据;
根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。
可选的,所述根据所述第三标识和所述预设模型获取结果图像,包括:
确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;
将所述第四标识输入到所述预设模型中以获取结果图像。
可选的,所述接收用户的查询请求之前,所述方法还包括:
当接收到批量增加图像的请求时,获取批量的图像的结构化数据和非结构化数据;
将所述批量的图像的结构化数据存储到所述目标服务器中;以及
将所述批量的图像的非结构化数据存储到所述预设模型中。
可选的,所述将所述批量的图像数据的非结构化数据存储到所述预设模型中,包括:
根据所述批量的图像的非结构化数据生成目标文件;
使用所述预设模型加载所述目标文件。
可选的,所述确定与所述第一标识对应的第二标识,包括:
将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
本发明第二方面公开了一种图像搜索的装置,所述装置包括:
接收单元,用于接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
获取单元,用于获取所述目标图像的特征值;
输入单元,用于将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定单元,用于确定与所述第一标识对应的第二标识;
所述输入单元,用于将所述第二标识输入到目标服务器中以获取第一结构化数据;
筛选单元,用于根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
获取单元,用于根据所述第三标识和所述预设模型获取结果图像;
返回单元,用于向所述用户返回所述结果图像。
可选的,所述获取单元,具体用于确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;将所述第四标识输入到所述预设模型中以获取结果图像。
可选的,所述装置还包括第一存储单元和第二存储单元;
所述获取单元,还用于当接收到批量增加图像的请求时,获取批量的图像的结构化数据和非结构化数据;
所述第一存储单元,用于将所述批量的图像的结构化数据存储到所述目标服务器中;
所述第二存储单元,用于将所述批量的图像的非结构化数据存储到所述预设模型中。
可选的,所述第二存储单元,用于根据所述批量的图像的非结构化数据生成目标文件;使用所述预设模型加载所述目标文件。
可选的,所述确定单元,具体用于将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
可以看出,在本发明实施例的方案中,接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;确定与所述第一标识对应的第二标识;将所述第二标识输入到目标服务器中以获取第一结构化数据;根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。通过本发明提供的技术方案,通过使用本发明提供的方法,将图像的结构化数据和非结构化数据进行分开存储,在进行图像搜索时,通过非结构化数据的相似度计算以及结构化数据的筛选可以快速确定结果图像,在提升查询效率的同时,节省了存储空间。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像搜索的方法的示意图;
图2为本发明的实施例提供的另一种图像搜索的方法的示意图;
图3为本发明实施例提供的另一种图像搜索的方法的示意图;
图4为本发明实施例提供的一种图像搜索装置的逻辑结构图;
图5为本发明实施例提供另一种图像搜索装置的逻辑结构图;
图6为本发明实施例提供另一种图像搜索装置的逻辑结构图;
图7为本发明实施例提供的一种图像搜索装置的物理结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明说明书、权利要求书和附图中出现的术语“第一”、“第二”和“第三”等是用于区别不同的对象,而并非用于描述特定的顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本发明一个实施例提供的一种图像搜索的方法的流程示意图。其中,如图1所示,本发明的一个实施例提供的一种图像搜索的方法,所述方法包括以下内容:
101、接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
其中,本发明的执行主体可以为服务器,此服务器具有搜索引擎功能。具体可以包括各种具有搜索引擎功能的手持设备、车载设备、可穿戴设备、计算设备或其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。本申请实施例所涉及到的操作***是对硬件资源进行统一管理,并向用户提供业务接口的软件***。
其中,可以理解的是,用户的查询请求可以为图片查询请求,也可以为文字或者语音查询请求。
举例来说,该目标图像为人脸图像,筛选条件可以是年龄、性别、是否带眼睛、图片存储的时间等参数。
另外,需要指出的是,所述接收用户的查询请求之前,还会批量的增加一些数据,具体的,所述方法包括:
当接收到批量增加图像的请求时,获取所述批量的图像的结构化数据和非结构化数据;将所述批量的图像的结构化数据存储到所述目标服务器中;以及将所述批量的图像的非结构化数据存储到所述预设模型中。其中,所述将所述批量的图像数据的非结构化数据存储到所述预设模型中,包括:根据所述批量的图像的非结构化数据生成目标文件;使用所述预设模型加载所述目标文件。可以理解的是,先将批量的图像的非结构化数据生成目标文件,是为了后续加载的方便,这样就不用一条一条的加载非结构化数据,从而提升处理效率。
举例来说,目标服务器可以是solr服务器(索尔服务器),该预设模型可以是faiss模型(法伊斯模型)。其中,solr是一个独立的搜索应用服务器,用户可以通过http请求,向搜索应用服务器提交一定格式的XML(可扩展标记语言)文件,生成索引;也可以通过HttpGet(超文本传输协议获取)操作提出查找请求,并得到XML格式的返回结果。Faiss模型是为稠密向量提供高效相似度搜索和聚类的框架。Faiss模型可提供多种检索且速度较快。
具体的,当批量添加图像时,将图像的结构化数据和非结构化数据添加到不同的列表中,其中,第一列表存储结构化数据,第二列表存储非结构化数据。结构化数据包括图像中人物的性别、年龄、以及该图像存储的时间等参数。非结构化数据为人脸图像的特征值数据。将第一列表中的数据批量添加到solr中;将第二列表中的非结构化数据以及该图像的标识添加到hdf5(hdf5为一种文件,能处理更多的对象,存储更大的文件,支持并行I/O(输入/输出),线程和具备现代操作***与应用程序所要求的其他特性,而且使数据模型变得更简单,概括性更强)文件中。hdf5只有两种基本结构:组(group)和数据集(dataset)。组包含0个或多个数据集文件。生成hdf5文件时,为了降低产生文件的个数以及提高加载效率,将数据量按照100万书记生成一个文件进行数据存储。另外,使用faiss模型加载生成的hdf5文件,其按照两次K-means(聚类算法)聚类分析产生中心点的过程,对每条记录都会产生一个pq码,并基于中心点进行排序。举例来说,第一次k-means是将数据产生一个1024个聚类计算的中心点,相对于将数据分成了1024份。第二次K-means是对1024份数据都再进行一次聚类运算。可以理解的是,第二次K-means是将每个图像特征值数据分为4段,并在进行K-means产生4个聚类点,每个图像特征值都会产生4个字符串组成pg码(即一个四维向量)。
可以理解的是,将图像的标识存储到hdf5是为了查找时使用。该图像的标识被标记为第一标识。另外,需要指出的是,solr会为每条记录添加一个document id(文件标识),该document id被标记为第二标识。可以理解的是,document id可以是一个序列号。
102、获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
其中,可以理解的是,当数据查找时也是按照两次K-means快速查找中心点(两次查找是按照先后顺序进行的,即,在第一次聚类的结果上再进行聚类,然后根据二次聚类的结果进行快速查找),以获取相似度最高的前N个数据,这样可以提高查询效率。
103、确定与所述第一标识对应的第二标识;
其中,需要指出的是,所述确定与所述第一标识对应的第二标识,包括:将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
104、将所述第二标识输入到目标服务器中以获取第一结构化数据;
可以理解的是,将所述第二标识输入到solr中是为了获取与所述第二标识对应的结构化数据,即第一结构化数据。
105、根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
举例来说,比如第一结构化的数据为100条,筛选条件为男性,经过筛选之后,满足条件的结构化数据(即第二结构化数据)为50条。那么这50条结构化数据的标识为第三标识(可以理解的是,第三标识是一个标识集合,里面包含了50条标识)。
106、根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。
可以理解的是,该第三标识是solr服务器中记载的标识(solr服务器为每条数据编辑的序列号),还需要转化为图像标识以便从faiss模型中获取与图像标识对应的图像(fassi模型中存储有每个图像对应的序列号)。
具体的,所述根据所述第三标识和所述预设模型获取结果图像,包括:
确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;将所述第四标识输入到所述预设模型中以获取结果图像。
举例来说,由于图像有自己的标识(序列号),也就是说模型中的每个图像都有自己的序列号,而solr服务器中存储数据时,会为每个数据设置一个标识(序列号)。具体的,假如第一标识(即模型中图像的序列号)为1,2,3和4。按照第一标识和第二标识的映射关系,比如X=10*Y,Y为第一标识,X为第二标识,那么对应的X为10,20,30和40。假如在solr服务器中按照筛选条件筛选后,结果只有两个标识的数据符合要求,比如编号为10和20的数据满足筛选条件(即10和20为第三标识),由于10和20为solr服务器中结构化数据的标识,因此需要获取模型中图像的标识,按照映射关系,模型中图像的标识为1和2(即第四标识),那么获取模型中标识1和2对硬的图像就OK。
可以看出,在本发明实施例的方案中,接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;确定与所述第一标识对应的第二标识;将所述第二标识输入到目标服务器中以获取第一结构化数据;根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。通过本发明提供的技术方案,将图像的结构化数据和非结构化数据进行分开存储,在进行图像搜索时,通过非结构化数据的相似度计算以及结构化数据的筛选可以快速确定结果图像,在提升查询效率的同时,节省了存储空间。
请参阅图2,图2是本发明的另一个实施例提供的另一种图像搜索的方法流程示意图。其中,如图2所示,所述方法包括:
201、当接收到批量增加图像的请求时,获取批量的图像的结构化数据和非结构化数据;
202、将所述批量的图像的结构化数据存储到所述目标服务器中;以及将所述批量的图像的非结构化数据存储到所述预设模型中。
其中,所述将所述批量的图像数据的非结构化数据存储到所述预设模型中,包括:根据所述批量的图像的非结构化数据生成目标文件;使用所述预设模型加载所述目标文件。
203、接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
204、获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
205、确定与所述第一标识对应的第二标识;
其中,所述确定与所述第一标识对应的第二标识,包括:将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
206、将所述第二标识输入到目标服务器中以获取第一结构化数据;
207、根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
208、根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。
其中,所述根据所述第三标识和所述预设模型获取结果图像,包括:
确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;将所述第四标识输入到所述预设模型中以获取结果图像。
其中,需要指出的是,图2所描述的实施例的具体内容可参考图1所对应的实施例的解释。
可以看出,本实施例的方案中,将批量添加的图像的结构化数据(solr存储)和非结构化数据(faiss模型存储)分别进行存储,利用faiss模型来存储非结构化数据,可提高图像特征数据的匹配数据,通过solr存储结构数据可提高筛选速度以及节省存储空间。通过使用本发明实施例提供的技术方案,进一步保证了提升用户的查询效率。
如图3所示,本发明的另一个实施例提供的另一种图像搜索的方法流程示意图。其中,如图3所示,所述方法包括:
301、当接收到批量增加图像的请求时,获取所述批量的图像的结构化数据和非结构化数据;
302、将所述批量的图像的结构化数据存储到所述目标服务器中,并获取所述目标服务编辑的结构化数据的第一标识;
303、根据所述批量的图像的非结构化数据生成目标文件;使用所述预设模型加载所述目标文件,并获取图像的第二标识;
304、建立所述第一标识和第二标识的映射关系。
305、接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
306、获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
307、确定与所述第一标识对应的第二标识,以及将所述第二标识输入到目标服务器中以获取第一结构化数据;
其中,所述确定与所述第一标识对应的第二标识,包括:将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
308、根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中,所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
309、根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。
其中,所述根据所述第三标识和所述预设模型获取结果图像,包括:
确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;将所述第四标识输入到所述预设模型中以获取结果图像。
其中,需要指出的是,图3所描述的实施例的具体内容可参考图1或2所对应的实施例的解释。
可以看出,本实施例的方案中,在将图像的结构化数据和非结构化数据进行分别存储时,会建立两个存储体系的标识的映射关系,以便在查询时,可以建立图像的特征数据值的匹配度以及结构化数据筛选的关联关系。通过使用本发明实施例提供的技术方案,进一步保证了提升用户的查询效率。
如图4所示,本发明的一个实施例提供的一种数据处理装置400,其中,该装置400包括以下单元:
接收单元401,用于接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
获取单元402,用于获取所述目标图像的特征值;
输入单元403,用于将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定单元404,用于确定与所述第一标识对应的第二标识;
输入单元403,用于将所述第二标识输入到目标服务器中以获取第一结构化数据;
筛选单元405,用于根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
获取单元406,用于根据所述第三标识和所述预设模型获取结果图像;
返回单元407,用于向所述用户返回所述结果图像。
可选的,获取单元406,具体用于确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;将所述第四标识输入到所述预设模型中以获取结果图像。
可选的,装置400还包括第一存储单元408和第二存储单元409;
获取单元406,还用于当接收到批量增加图像的请求时,获取所述批量的图像的结构化数据和非结构化数据;
第一存储单元408,用于将所述批量的图像的结构化数据存储到所述目标服务器中;
第二存储单元409,用于将所述批量的图像的非结构化数据存储到所述预设模型中。
其中,第二存储单元409,用于根据所述批量的图像的非结构化数据生成目标文件;使用所述预设模型加载所述目标文件。
可选的,确定单元404,具体用于将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
其中,上述单元401-409可以用于执行实施例1中步骤101-106所述的方法,具体描述详见实施例1对所述方法的描述,在此不再赘述。
如图5所示,本发明的一个实施例提供的一种数据处理装置500,其中,该装置500包括以下单元:
获取单元501,用于当接收到批量增加图像的请求时,获取所述批量的图像的结构化数据和非结构化数据;
存储单元502,用于将所述批量的图像的结构化数据存储到所述目标服务器中;以及将所述批量的图像的非结构化数据存储到所述预设模型中。
其中,所述将所述批量的图像数据的非结构化数据存储到所述预设模型中,包括:根据所述批量的图像的非结构化数据生成目标文件;使用所述预设模型加载所述目标文件。
接收单元503,用于接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
获取单元504,用于获取所述目标图像的特征值;
输入单元505,用于将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定单元506,用于确定与所述第一标识对应的第二标识;
其中,所述确定与所述第一标识对应的第二标识,包括:将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
输入单元505,用于将所述第二标识输入到目标服务器中以获取第一结构化数据;
筛选单元507,用于根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
获取单元501,用于根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。
其中,上述单元501-507可以用于执行实施例2中步骤201-208所述的方法,具体描述详见实施例2对所述方法的描述,在此不再赘述。
如图6所示,本发明的一个实施例提供的一种数据处理装置600,其中,该装置600包括以下单元:
获取单元601,用于当接收到批量增加图像的请求时,获取所述批量的图像的结构化数据和非结构化数据;
存储单元602,用于将所述批量的图像的结构化数据存储到所述目标服务器中;
获取单元601,用于获取所述目标服务编辑的结构化数据的第一标识;
生成单元603,用于根据所述批量的图像的非结构化数据生成目标文件;使用所述预设模型加载所述目标文件,并获取图像的第二标识;
建立单元604,用于建立所述第一标识和第二标识的映射关系。
接收单元605,用于接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
获取单元601,还用于获取所述目标图像的特征值;
输入单元606,用于将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定单元607,用于确定与所述第一标识对应的第二标识,以及将所述第二标识输入到目标服务器中以获取第一结构化数据;
其中,所述确定与所述第一标识对应的第二标识,包括:将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
筛选单元608,用于根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
获取单元601,用于根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。
其中,上述单元601-608可以用于执行实施例2中步骤301-309所述的方法,具体描述详见实施例3对所述方法的描述,在此不再赘述。
请参阅图7,在本发明的另一个实施例中,提供一种数据处理装置700。装置700包括CPU 701、存储器702、总线703、收发器704等硬件。上述图4-图6所示的逻辑单元可通过图7所示的硬件装置实现。
其中,CPU 701执行预先存储在存储器702中的服务器程序,该执行过程具体包括:
接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定与所述第一标识对应的第二标识;
将所述第二标识输入到目标服务器中以获取第一结构化数据;
根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。
可选的,所述根据所述第三标识和所述预设模型获取结果图像,包括:
确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;
将所述第四标识输入到所述预设模型中以获取结果图像。
可选的,所述接收用户的查询请求之前,所述执行过程还包括:
当接收到批量增加图像的请求时,获取所述批量的图像的结构化数据和非结构化数据;
将所述批量的图像的结构化数据存储到所述目标服务器中;以及
将所述批量的图像的非结构化数据存储到所述预设模型中。
可选的,所述将所述批量的图像数据的非结构化数据存储到所述预设模型中,包括:
根据所述批量的图像的非结构化数据生成目标文件;
使用所述预设模型加载所述目标文件。
可选的,所述确定与所述第一标识对应的第二标识,包括:
将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系,所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识。
从上可知,本发明实施例提供的技术方案中,接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;确定与所述第一标识对应的第二标识;将所述第二标识输入到目标服务器中以获取第一结构化数据;根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像。通过本发明提供的技术方案,将图像的结构化数据和非结构化数据进行分开存储,在进行图像搜索时,通过非结构化数据的相似度计算以及结构化数据的筛选可以快速确定结果图像,在提升查询效率的同时,节省了存储空间。
在本发明的另一个实施例中,公开了一种计算机程序产品,所述计算机程序产品中包含有程序代码;当所述程序代码被运行时,前述方法实施例中的方法会被执行。
在本发明的另一个实施例中,公开了一种芯片,所述芯片中包含有程序代码;当所述程序代码被运行时,前述方法实施例中的方法会被执行。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种图像搜索的方法,其特征在于,所述方法包括:
接收用户的查询请求,其中,所述查询请求中包括目标图像和筛选条件;
获取所述目标图像的特征值,并将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定与所述第一标识对应的第二标识;所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识;
将所述第二标识输入到目标服务器中以获取第一结构化数据;
根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
根据所述第三标识和所述预设模型获取结果图像,并向所述用户返回所述结果图像;
所述接收用户的查询请求之前,所述方法还包括:
当接收到批量增加图像的请求时,获取批量的图像的结构化数据和非结构化数据;
将所述批量的图像的结构化数据存储到所述目标服务器中;以及
将所述批量的图像的非结构化数据存储到所述预设模型中;
所述将所述批量的图像数据的非结构化数据存储到所述预设模型中,包括:
根据所述批量的图像的非结构化数据生成hdf5文件;
使用所述预设模型加载所述hdf5文件;
所述目标服务器为索尔服务器,所述预设模型为法伊斯模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第三标识和所述预设模型获取结果图像,包括:
确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;
将所述第四标识输入到所述预设模型中以获取结果图像。
3.根据权利要求1至2任一所述的方法,其特征在于,所述确定与所述第一标识对应的第二标识,包括:
将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表存储有所述第一标识和第二标识的映射关系。
4.一种图像搜索的装置,其特征在于,所述装置包括:
接收单元,用于接收用户的查询请求,其中所述查询请求中包括目标图像和筛选条件;
获取单元,用于获取所述目标图像的特征值;
输入单元,用于将所述目标图像的特征值输入到预设模型中以获取相似度排名前N的数据的第一标识;其中,N为正整数;
确定单元,用于确定与所述第一标识对应的第二标识;所述第一标识为预设模型中存储的图像的标识,所述第二标识为所述图像在所述目标服务器中的序列标识;
所述输入单元,用于将所述第二标识输入到目标服务器中以获取第一结构化数据;
筛选单元,用于根据所述筛选条件对所述第一结构化数据进行筛选以获取第二结构化数据;其中所述第二结构化数据中包括第三标识,所述第三标识为第二标识的部分或全部;
获取单元,用于根据所述第三标识和所述预设模型获取结果图像;
返回单元,用于向所述用户返回所述结果图像;
所述装置还包括第一存储单元和第二存储单元;
所述获取单元,还用于当接收到批量增加图像的请求时,获取批量的图像的结构化数据和非结构化数据;
所述第一存储单元,用于将所述批量的图像的结构化数据存储到所述目标服务器中;
所述第二存储单元,用于将所述批量的图像的非结构化数据存储到所述预设模型中;
所述第二存储单元,用于根据所述批量的图像的非结构化数据生成hdf5文件;使用所述预设模型加载所述hdf5文件;
所述目标服务器为索尔服务器,所述预设模型为法伊斯模型。
5.根据权利要求4所述的装置,其特征在于,所述获取单元,具体用于确定与所述第三标识对应的第四标识,其中,所述第四标识为第一标识的部分或全部;将所述第四标识输入到所述预设模型中以获取结果图像。
6.根据权利要求4或5所述的装置,其特征在于,所述确定单元,具体用于将所述第一标识与预存的映射表进行匹配以获取与所述第一标识对应的所述第二标识;其中,所述映射表表存储有所述第一标识和第二标识的映射关系。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811640366.XA CN109829073B (zh) | 2018-12-29 | 2018-12-29 | 一种图像搜索的方法及装置 |
PCT/CN2019/121607 WO2020134839A1 (zh) | 2018-12-29 | 2019-11-28 | 一种图像搜索的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811640366.XA CN109829073B (zh) | 2018-12-29 | 2018-12-29 | 一种图像搜索的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109829073A CN109829073A (zh) | 2019-05-31 |
CN109829073B true CN109829073B (zh) | 2020-11-24 |
Family
ID=66861411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811640366.XA Active CN109829073B (zh) | 2018-12-29 | 2018-12-29 | 一种图像搜索的方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109829073B (zh) |
WO (1) | WO2020134839A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829073B (zh) * | 2018-12-29 | 2020-11-24 | 深圳云天励飞技术有限公司 | 一种图像搜索的方法及装置 |
CN110287346B (zh) * | 2019-06-28 | 2021-11-30 | 深圳云天励飞技术有限公司 | 数据存储方法、装置、服务器及存储介质 |
CN111061888B (zh) * | 2019-11-20 | 2023-05-16 | 北京明略软件***有限公司 | 图像获取的方法及*** |
CN111966629A (zh) * | 2020-06-28 | 2020-11-20 | 电子科技大学 | 粒子模拟数据存储方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102523304A (zh) * | 2011-12-29 | 2012-06-27 | 北京新媒传信科技有限公司 | 一种应用云平台和云平台的实现方法 |
CN103116643A (zh) * | 2013-02-25 | 2013-05-22 | 江苏物联网研究发展中心 | 基于Hadoop的智慧医疗数据管理方法 |
CN103425780A (zh) * | 2013-08-19 | 2013-12-04 | 曙光信息产业股份有限公司 | 一种数据的查询方法和装置 |
CN106886553A (zh) * | 2016-12-27 | 2017-06-23 | 浙江宇视科技有限公司 | 一种图像检索方法及服务器 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9575994B2 (en) * | 2011-02-11 | 2017-02-21 | Siemens Aktiengesellschaft | Methods and devices for data retrieval |
CN106503121B (zh) * | 2016-10-19 | 2019-12-06 | 公安部第三研究所 | 一种x光安检图像的结构化描述方法及*** |
CN107346435A (zh) * | 2017-06-15 | 2017-11-14 | 浙江捷尚视觉科技股份有限公司 | 一种基于车辆特征库的嫌疑***捕获方法 |
CN107729502A (zh) * | 2017-10-18 | 2018-02-23 | 公安部第三研究所 | 一种卡口车辆个性化特征智能检索***及方法 |
CN107944017B (zh) * | 2017-12-11 | 2021-06-25 | 浙江捷尚视觉科技股份有限公司 | 一种视频中非机动车的检索方法 |
CN109829073B (zh) * | 2018-12-29 | 2020-11-24 | 深圳云天励飞技术有限公司 | 一种图像搜索的方法及装置 |
-
2018
- 2018-12-29 CN CN201811640366.XA patent/CN109829073B/zh active Active
-
2019
- 2019-11-28 WO PCT/CN2019/121607 patent/WO2020134839A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102523304A (zh) * | 2011-12-29 | 2012-06-27 | 北京新媒传信科技有限公司 | 一种应用云平台和云平台的实现方法 |
CN103116643A (zh) * | 2013-02-25 | 2013-05-22 | 江苏物联网研究发展中心 | 基于Hadoop的智慧医疗数据管理方法 |
CN103425780A (zh) * | 2013-08-19 | 2013-12-04 | 曙光信息产业股份有限公司 | 一种数据的查询方法和装置 |
CN106886553A (zh) * | 2016-12-27 | 2017-06-23 | 浙江宇视科技有限公司 | 一种图像检索方法及服务器 |
Non-Patent Citations (2)
Title |
---|
"农业物联网数据存储管理***的设计与实现";何龙;《万方》;20181130;论文正文第4章、第5章 * |
"基于手机的分布式图片检索技术研究";冯喆;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;论文正文第1章、第4章、第6章 * |
Also Published As
Publication number | Publication date |
---|---|
CN109829073A (zh) | 2019-05-31 |
WO2020134839A1 (zh) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829073B (zh) | 一种图像搜索的方法及装置 | |
JP7343568B2 (ja) | 機械学習のためのハイパーパラメータの識別および適用 | |
CN107436875B (zh) | 文本分类方法及装置 | |
US10210243B2 (en) | Method and system for enhanced query term suggestion | |
CN106503006B (zh) | 应用App中子应用的排序方法及装置 | |
JP5449628B2 (ja) | マルチステージを使用したカテゴリ情報の決定 | |
CN110380954B (zh) | 数据分享方法和装置,存储介质及电子装置 | |
CN103136228A (zh) | 一种图片搜索方法以及图片搜索装置 | |
CN105339933A (zh) | 通过查询扩展的新闻结果 | |
CN110020086B (zh) | 一种用户画像查询方法及装置 | |
CN112364014B (zh) | 数据查询方法、装置、服务器及存储介质 | |
US8750629B2 (en) | Method for searching and ranking images clustered based upon similar content | |
CN112800197A (zh) | 一种目标故障信息的确定方法和装置 | |
CN109783678B (zh) | 一种图像搜索的方法及装置 | |
CN103914479B (zh) | 资源请求的匹配方法和装置 | |
CN114490923A (zh) | 相似文本匹配模型的训练方法、装置、设备及存储介质 | |
CN110990701B (zh) | 书籍搜索方法、计算设备及计算机存储介质 | |
CN106844406B (zh) | 检索方法和检索装置 | |
CN112749258A (zh) | 数据搜索的方法和装置、电子设备和存储介质 | |
CN116758362A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN116383234A (zh) | 一种搜索语句生成方法、装置、计算机设备及存储介质 | |
US10460018B1 (en) | System for determining layouts of webpages | |
CN110781375A (zh) | 一种用户状态标识确定方法及装置 | |
CN115422270A (zh) | 信息处理方法及装置 | |
WO2012127986A1 (ja) | 情報検索システム、情報検索方法および情報検索プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |