CN113094539A - 一种图像数据的搜索方法、装置、电子设备及存储介质 - Google Patents
一种图像数据的搜索方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113094539A CN113094539A CN201911340507.0A CN201911340507A CN113094539A CN 113094539 A CN113094539 A CN 113094539A CN 201911340507 A CN201911340507 A CN 201911340507A CN 113094539 A CN113094539 A CN 113094539A
- Authority
- CN
- China
- Prior art keywords
- characteristic value
- image
- database
- short
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013507 mapping Methods 0.000 claims abstract description 58
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉图像搜索技术领域,尤其涉及一种图像数据的搜索方法、装置、电子设备及存储介质,方法包括:将原始图像数据写入内存及数据库中;提取所述第一图像特征值的第一短特征值,将所述第一短特征值分别存储在所述内存及数据库中,并在所述内存及数据库建立所述第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;获取待搜索图像数据的第二短特征值,将所述第二短特征值与内存中的所述第一短特征值进行相似度比对,以得到比对结果;在所述数据库中搜索与所述比对结果对应的第一图像特征值,并将搜索到的所述第一图像特征值与所述待搜索图像特征值进行相似度比对,得到目标搜索图像数据。本发明能够加快图像搜索的速度,提高搜索性能。
Description
技术领域
本发明涉图像搜索技术领域,尤其涉及一种图像数据的搜索方法、装置、电子设备及存储介质。
背景技术
目前,在海量图像数据搜索***中,由于待搜索图像数据在与原始图像数据比较之前,需要从数据库把存储的特征值数据加载到内存中进行运算,还需要读取与特征值数据对应的大量属性信息,因此需要大量的IO操作,其操作性能受到影响。另外,在进行特征值数据比对时,由于是全量数据比对,海量的特征值数据进行全量比对也需要耗费很长时间,使得搜索速度受限。可见,现有的技术中,对海量的图像进行搜索时存在速度慢、操作性能低的问题。
发明内容
本发明实施例提供一种图像数据的搜索方法,能够加快图像搜索的速度,提高搜索性能。
第一方面,本发明实施例提供一种图像数据的搜索方法,包括以下步骤:
将原始图像数据写入内存及数据库中,所述原始图像数据包括第一图像特征值;
提取所述第一图像特征值的第一短特征值,将所述第一短特征值分别存储在所述内存及数据库中,并在所述内存及数据库建立所述第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;
获取待搜索图像数据的待搜索图像特征值,并提取所述待搜索图像特征值的第二短特征值,将所述第二短特征值与内存中的所述第一短特征值进行相似度比对,以得到比对结果;
基于所述第一短特征值对应的图像标识与所述数据表标识之间的映射表,在所述数据库中搜索与所述比对结果对应的第一图像特征值,并将搜索到的所述第一图像特征值与所述待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
第二方面,本发明实施例还提供一种图像数据的搜索装置,所述装置包括:
第一获取模块,用于将原始图像数据写入内存及数据库中,所述原始图像数据包括第一图像特征值;
提取模块,用于提取所述第一图像特征值的第一短特征值,将所述第一短特征值分别存储在所述内存及数据库中,并在所述内存及数据库建立所述第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;
第二获取模块,用于获取待搜索图像数据的待搜索图像特征值,并提取所述待搜索图像特征值的第二短特征值,将所述第二短特征值与内存中的所述第一短特征值进行相似度比对,以得到比对结果;
比对模块,用于基于所述第一短特征值对应的图像标识与所述数据表标识之间的映射表,在所述数据库中搜索与所述比对结果对应的第一图像特征值,并将搜索到的所述第一图像特征值与所述待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
第三方面,本发明实施例还提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的图像数据的搜索方法中的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现发明实施例提供的图像数据的搜索方法中的步骤。
本发明实施例中,将原始图像数据写入内存及数据库中,所述原始图像数据包括第一图像特征值;提取所述第一图像特征值的第一短特征值,将所述第一短特征值分别存储在所述内存及数据库中,并在所述内存及数据库建立所述第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;获取待搜索图像数据的待搜索图像特征值,并提取所述待搜索图像特征值的第二短特征值,将所述第二短特征值与内存中的所述第一短特征值进行相似度比对,以得到比对结果;基于所述第一短特征值对应的图像标识与所述数据表标识之间的映射表,在所述数据库中搜索与所述比对结果对应的第一图像特征值,并将搜索到的所述第一图像特征值与所述待搜索图像特征值进行相似度比对,得到目标搜索图像数据。本发明由于将所述原始图像数据的所述第一短特征值直接缓存在内存中,与所述待搜索图像数据的所述第二短特征值进行相似度计算,得到所述比对结果后,再将所述比对结果用于数据库中让所述第一图像特征值与所述待搜索图像特征值进行相似度比对,得到精准度更高的目标搜索图像数据,这样,能够加快数据搜索的速度,提高搜索性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的架构图;
图2是本发明实施例提供的一种图像数据的搜索方法的流程图;
图3是本发明实施例提供的另一种图像数据的搜索方法的流程图;
图4是本发明实施例提供的另一种图像数据的搜索方法的流程图;
图5是本发明实施例提供的一种图像数据的搜索装置的结构示意图;
图6是本发明实施例提供的另一种图像数据的搜索装置的结构示意图;
图7是本发明实施例提供的另一种图像数据的搜索装置的结构示意图;
图8是本发明实施例提供的另一种图像数据的搜索装置的结构示意图;
图9是本发明实施例提供的另一种图像数据的搜索装置的结构示意图;
图10是本发明实施例提供的另一种图像数据的搜索装置的结构示意图;
图11是本发明实施例提供的另一种图像数据的搜索装置的结构示意图;
图12是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,图1是本发明实施例提供的一种图像数据的搜索方法的流程图,包括以下步骤:
S101、将原始图像数据写入内存及数据库中,原始图像数据包括第一图像特征值。
在本实施例中,图像数据的搜索方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取图片等。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-F标识elity)连接、蓝牙连接、WiMAX(Worldw标识eInteroperability for MicrowaveAccess)连接、Zigbee(低功耗局域网协议,又称紫峰协议)连接、UWB(ultraw标识eband)连接、以及其它现在已知或将来开发的无线连接方式。
需要说明的是,上述电子设备可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
上述原始图像数据可以是用于数据搜索的底库数据,原始图像数据可以是预先存储在内存中的数据,可以是通过网络连接主动获取到线上的数据,通过发送数据获取请求,当数据获取请求得到外部可以上传原始图像数据的移动终端响应后,便可以获取到上述原始图像数据。
上述的内存可以用于与中央处理器(CPU)进行沟通,计算机中所有程序的运行都是在内存中进行的。内存也称为内存储器,可用于暂时存放CPU中的运算数据,以及与硬盘等外部存储器交换的数据。只要计算机在运行中,CPU就会把需要运算的数据调到内存中进行运算,当运算完成后CPU再将结果传送出来。
上述数据库可以根据需要建立一个或多个,且多个数据库可以是具有不同属性、大小等性质的数据库。数据库中可以存储有不同类型或属性的数据,在数据库可以配设有数据库接口,当任何一个数据库有数据录入时,可以是基于数据库接口进行数据添加,将数据根据属性、分别对应存储到不同的数据库的存储区进行存储。
上述的第一图像特征值可以是提取上述原始图像数据中特定信息而形成的固定或者变长的半结构化数据。第一图像特征值可以是图像采集设备采集的图像信息经过转换后的二进制的数据。图像采集设备包括但不限于摄像头或者带有摄像头功能的其他摄像装置。
上述的图像标识可以表示原始图像的唯一验证码也可以称为图像ID,实际上可以是一串字符串或者数字,例如:sdc@##a。若获取到图像标识,则可以根据对应的图像标识能够查找到对应的原始图像数据,而,原始图像数据中又包括第一图像特征值,因此,同样可以根据图像标识找到对应的第一图像特征值。例如:身份证号码、座位号、考场号等。
S102、提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中,并在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表。
其中,第一短特征值可以是从第一图像特征值中提取出来的特征值,具有精度受损、长度短、运算量小的特点。将第一图像特征值转化为第一短特征值存储在内存以及数据库中可以节约大量的存储空间以存放更多的数据。例如:第一图像特征值长度为2.02kb,在内存中存储其数量就会受到限制,获取第一图像特征值的第一短特征值进行存储后,其对应的长度变为136byte,相比于第一图像特征值,其存储的数据量可以增大到14倍左右。目前以单机128G为例,在搜索性能得到保证的情况下,可以存储数据量为3亿的第一短特征值。存储的第一短特征值越多,进行搜索时得到的搜索结果会越准确。
在数据库中,可以配设有多个数据表,不同数据表可以对应不同类型和/或属性的数据,在同一张数据表中,可以存储有相同类型和/或属性的数据。只要找到对应的数据表,便能很快的找到数据表中存储的数据。因此,上述数据表标识可以是数据表的唯一识别码,可以通过获取该唯一识别码去提取或者查找其数据表中的数据,例如:数据表ID。上述的数据表标识可以是一串字符串或者数字。
上述图像标识与数据库中数据表标识的映射表可以表示根据图像标识去映射表中可以找到与图像标识对应的第一图像特征值在数据表中的位置,例如:图像标识为A,与A存在映射表的数据表标识为A`,则通过A可以直接找到A`,在A`中存储着与A对应的第一图像特征值。
S103、获取待搜索图像数据的待搜索图像特征值,并提取待搜索图像特征值的第二短特征值,将第二短特征值与内存中的第一短特征值进行相似度比对,以得到比对结果。
其中,获取待搜索图像数据可以是用户通过移动终端发送的搜索请求传达的数据,通过待搜索图像数据可以传达用户想要搜索的目标搜索图像数据。待搜索图像数据可以是多张图像的图像数据,即通过一个搜索请求对多张图像进行搜索,对应得到多个搜索结果。
待搜索图像特征值可以是提取上述待搜索图像数据中特定信息而形成的固定或者变长的半结构化数据。待搜索图像特征值可以是图像采集设备采集的图像信息经过转换后的二进制的数据。
上述第二短特征值可以是从待搜索图像特征值中提取出来的特征值,具有精度受损、长度短、运算量小的特点。将待搜索图像特征值转化为第二短特征值便于跟内存中存储的第一短特征值进行比较。
上述是通过将原始图像数据提取第一短特征值存储在内存中用于比对,因此需要提取待检索图像数据中的第二短特征值与第一短特征值比较,例如:第一短特征值为字符串sahudadh!@#$$!!,第二短特征值为字符串sahudadh!@#$$~~,而不会让一串数字1001110去与第一短特征值进行比较。这样,能够实现同种类型比较,才有利于得出比对结果。
其中,进行相似度比较可以是对两者进行多维度判断,得到的比对结果中包括相似度最高的topN个第一短特征值。因为每个取原始图像数据包括第一图像特征值及对应的图像标识,在后续的第一图像特征值以及第一短特征值计算时,对应的图像标识会伴随在对应的第一图像特征值以及第一短特征值。所以,对应的图像标识也包含在比对结果中。上述这个比对的过程因为是在内存中完成的,因此不会存在从数据库读取数据的IO问题,有利于提升搜索性能。
S104、基于第一短特征值对应的图像标识与数据表标识之间的映射表,在数据库中搜索与比对结果对应的第一图像特征值,并将搜索到的第一图像特征值与待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
其中,在数据库中查找与比对结果中的第一短特征值具有相同图像标识的第一图像特征值,可以直接通过提取图像标识基于映射表查找到所在数据库的数据表标识,从而在该数据表中提取第一图像特征值用于与待检索图像特征值进行相似度的计算。这样,可以使相似度计算的数据更加完整,从而可以提高得到的目标所搜图像数据的精度。上述的目标搜索图像数据将会反馈到用户发出搜索请求的移动终端,作为搜索结果使用。
在本发明实施例中,将原始图像数据写入内存及数据库中,原始图像数据包括第一图像特征值;提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中,并在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;获取待搜索图像数据的待搜索图像特征值,并提取待搜索图像特征值的第二短特征值,将第二短特征值与内存中的第一短特征值进行相似度比对,以得到比对结果;基于第一短特征值对应的图像标识与数据表标识之间的映射表,在数据库中搜索与比对结果对应的第一图像特征值,并将搜索到的第一图像特征值与待搜索图像特征值进行相似度比对,得到目标搜索图像数据。本发明由于将原始图像数据的第一短特征值直接缓存在内存中,与待搜索图像数据的第二短特征值进行相似度计算,得到比对结果后,再将比对结果用于数据库中让第一图像特征值与待搜索图像特征值进行相似度比对,得到精准度更高的目标搜索图像数据,这样,能够加快数据搜索的速度,提高搜索性能。
如图2所示,图2是本发明实施例中提供的另一种图像数据的搜索方法的流程图,包括以下步骤:
S201、获取原始图像数据,原始图像数据包括第一图像特征值。
S202、将原始图像数据中的第一图像特征值存储在内存及写入数据库中。
其中,写入数据库用于接收原始图像数据的写入,将写数据库分离出写入数据库,不会让写入与读取过程相互影响,避免造成数据库性能下降。获取到的原始图像数据的第一图像特征值以及对应的图像标识,可以直接存储在写入数据库中,且写入的过程中不会对读取数据造成影响。
S203、提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中,并在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表。
可选的,上述数据库还包括读取数据库,上述在内存及数据库建立图像标识与数据库中数据表标识之间的映射表的步骤可以包括:
在读取数据库中读取与第一图像特征值对应的图像标识。
其中,在海量的数据搜索的过程中,不仅要在数据库中读取出比对结果中对应的第一图像特征值,也需要读取与第一图像特征值相关的信息,例如:属性信息。因此,在短时间内对IO口的读写要求高,原始图像数据在实时录入时,数据库的读写过程也会相互影响增大搜索的时延。所以,上述将数据库分离为写入数据库与读取数据库,在执行数据写入时只操作写入数据库,在执行数据读取时只操作读取数据库。实现将写入与读取过程进行分离,可以有效的避免相互影响,在读取第一图像特征值时其搜索速度更快。
其中,当第一图像特征值在写入上述写入数据库时,其唯一对应的图像标识是随同一起写入的,所以建立映射表,需要先获取每个第一图像特征值对应的图像标识。
检测第一图像特征值对应的图像标识在读取数据库的数据表中的位置,并通过在读取数据库与写入数据库之间设置共享缓存以达到数据同步。
其中,第一图像特征值与对应的图像标识可以是同时存储在同一个数据表中,检测对应的图像标识所在数据表中的位置,可以通过确定第一图像特征值在读取数据库中的位置即可。
上述共享缓存可以是指先将内存中的数据读取到缓存中,再由缓存读取到读取数据库。上述通过共享缓存实现数据同步,可以表示原始图像数据录入到上述写入数据库,通过共享缓存实现对读取数据库的实时更新。
上述在设置数据库的共享缓存时,本发明实施例在通过测试得出,在执行结构化查询语言(Structured Query Language,SQL)时,在数据库中可以默认设置缓存空间,但是一般设置的缓存空间较小,所以,数据库的共享缓存可以有更大的优化空间。例如:在128G内存的环境上,将数据库共享缓存设置为总内存的20%-30%。在本申请实施例中,可以将数据库的共享缓存环境设置在30G,执行SQL时,其共享快缓冲命中率可以从20%提升到90%,其查询时间接近降低一半,提高了搜索速度。
提取数据表的数据表标识,将图像标识与数据表标识进行关联形成映射表,并将映射表存储在内存及数据库中。
其中,上述数据表标识与图像标识进行关联可以是一对多的关联,例如:数据表标识为001,在001的数据表中,存储有100个图像标识为身份证号的数据。上述的数据表也可以设置有多个,多个数据表中可以存储不同类型的图像标识,例如:数据表001存储的图像标识为身份证号,数据表002中存储的图像标识为准考证号。这样,将图像标识与数据表标识进行关联形成映射表存储在内存以及数据库中后,便于根据映射表直接在读取数据库中查找到与比对结果对应的第一图像特征值。
S204、获取待搜索图像数据的待搜索图像特征值,并提取待搜索图像特征值的第二短特征值,将第二短特征值与内存中的第一短特征值进行相似度比对,以得到比对结果。
可选的,上述将第二短特征值与内存中的第一短特征值进行相似度比的步骤包括:
基于第二短特征值对内存中的第一短特征值进行搜索。
其中,在内存中对第一短特征值进行搜索可以是对内存中的所有的第一短特征值进行搜索,然后将每个第一短特征值与第二短特征值一一进行比较,判断第一短特征值与第二短特征值之间的相似度。
输出搜索后得到的比对结果,比对结果包括相似度最高的n个第一短特征值。
其中,当在内存中进行相似度比较完成之后会输出相似度最高的n个第一短特征值,n个第一短特征值输出时可以是按照相似度的高低顺序进行输出,当然,也可以是随机输出。
S205、基于第一短特征值对应的图像标识与数据表标识之间的映射表,在数据库中搜索与比对结果对应的第一图像特征值,并将搜索到的第一图像特征值与待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
在本发明实施例中,通过将数据库进行读写分离,将第一图像特征值、第一短特征值以及图像标识与数据表标识之间的映射表写入到写入数据库中,写入数据库与读取数据库中通过设置共享缓存实现写入数据库对读取数据库中数据的实时更新。当获取到待检索数据后,提取出待检索数据的第二短特征值与第一短特征值在内存中进行比较,输出相似度最高的n个第一短特征值,然后基于上述的映射表,在读取数据库中读取到与n个第一短特征值对应的第一图像特征值后与待检索图像特征值进行相似度比较,这样,能够提高得到的目标搜索图像数据的精度,同时将数据库读写分离实现负载均衡,可以加快数据的读写,提升写入数据与读取数据的性能。
如图3所示,图3是本发明实施例中提供的另一种图像数据的搜索方法的流程图,包括以下步骤:
S301、将原始图像数据写入内存及数据库中,原始图像数据包括第一图像特征值。
S302、提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中,并在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表。
S303、获取待搜索图像数据的待搜索图像特征值,并提取待搜索图像特征值的第二短特征值,将第二短特征值与内存中的第一短特征值进行相似度比对,以得到比对结果。
S304、根据比对结果中包含的第一短特征值对应的图像标识与读取数据库中数据表标识之间的映射表,在读取数据库读取出对应的第一图像特征值。
其中,将读取数据库中的第一图像特征值读取出来可用于与待检索图像特征值,读取数据可以通过数据库配设的IO端口实现。
S305、基于待搜索图像特征值对在读取数据库读取到的第一图像特征值进行暴力搜索,得到目标搜索图像数据。
其中,对第一图像特征值进行暴力搜索,可以是对读取数据库中的第一图像特征值进行一一搜索与待搜索图像特征值进行对比。
可选的,第一图像特征值包括对应的属性信息,待搜索图像特征值包括对应的属性信息,上述步骤S305包括:
获取待搜索图像特征值对应的属性信息。
其中,属性信息可以包括身份属性信息(青年、成年、幼儿、老人、妇女、男士等)、外貌属性信息(人脸、人体、穿着、配饰、动作等)、时间地点属性信息等。例如:上述待检索图像特征值对应的属性信息为戴帽子的女性。
基于待搜索图像特征值对应的属性信息在读取数据库中搜索第一图像特征值的属性信息。
其中,在读取数据库中读取到的每个第一图像特征值都可以包括有属性信息,且同时会将对应的属性信息读取出来用于与待搜索图像特征值的属性信息进行比较。
对属性信息与待搜索图像特征值对应的属性信息不同的第一图像特征值进行过滤,得到目标搜索图像数据。
其中,进行过滤的过程实际上是对属性信息进行排异存同的过程,例如:待搜索图像特征值的属性信息为带帽子的女性,则同样会搜索出戴帽子的女性,只要满足这个条件都可以作为目标检索图像数据输出,不管这个戴帽子的女性是在什么时间地点等,同时上述过滤可以是表示对不戴帽子且不是女性的属性条件的进行过滤排除。通过属性信息进行排除得到的数据可以通过高低排序输出,作为目标搜索图像数据输出到用户发出搜索请求的移动终端。
在本实施例中,获取到第一短特征值以及待检索图像的第二短特征值在内存中进行相似度比对得到比对结果,再通过上述映射表在读取数据库中查找到比对结果中的第一图像特征值,然后进行暴力搜索,根据待搜索图像特征值对应的属性信息对第一图像特征值对应的属性信息进行过滤,最终得到精度高、准确率高的目标检索图像特征值。在上述的过程中将第一短特征值与第二短特征值在内存中进行比较,降低了读取数据库的IO,提升了搜索性能;通过读写数据库分离加快了数据库的读写能力,提高了写入及读取数据的搜索性能。
如图4所示,图4是本发明实施例中提供的另一种图像数据的搜索方法的流程图,包括以下步骤:
S401、将原始图像数据写入内存及数据库中,原始图像数据包括第一图像特征值。
S402、提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中,并在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表。
S403、检测***是否重启。
其中,***重启可以是遭遇病毒自动重启,人为操作重启、出现操作错误时重启等。当出现***重启的情况,那么存储在内存中的第一短特征值以及图像标识与数据库中数据表标识之间的映射表会出现丢失的情况。
S404、若是,则将数据库中的第一短特征值以及图像标识与数据库中数据表标识之间的映射表加载到内存中。
其中,当第一短特征值以及图像标识与数据库中数据表标识之间的映射表会出现丢失,则上述将第一短特征值以及图像标识与数据库中数据表标识之间的映射表录入到写入数据库中,就可以是起到一个备用作用,直接在读取数据库中读取出第一短特征值以及图像标识与数据库中数据表标识之间的映射表再录入到内存中,用于与第二短特征值进行相似度比较。
S405、获取待搜索图像数据的待搜索图像特征值,并提取待搜索图像特征值的第二短特征值,将第二短特征值与内存中的第一短特征值进行相似度比对,以得到比对结果。
S406、基于第一短特征值对应的图像标识与数据表标识之间的映射表,在数据库中搜索与比对结果对应的第一图像特征值,并将搜索到的第一图像特征值与待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
在本发明实施例中,通过判断上述***是否重启,在重启的情况下从读取数据库读取出第一短特征值以及图像标识与数据库中数据表标识之间的映射表录入到内存中,这样,便于在内存中让第一短特征值与第二短特征值进行相似度比较,而不会在数据库中进行比较,这样有利于降低读取数据库的IO,从而提高搜索性能。
如图5所示,图5是本发明实施例提供的一种图像数据的搜索装置的结构示意图,装置包括:
第一获取模块501,用于将原始图像数据写入内存及数据库中,原始图像数据包括第一图像特征值;
提取模块502,用于提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中,并在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;
第二获取模块503,用于获取待搜索图像数据的待搜索图像特征值,并提取待搜索图像特征值的第二短特征值,将第二短特征值与内存中的第一短特征值进行相似度比对,以得到比对结果;
比对模块504,用于基于第一短特征值对应的图像标识与数据表标识之间的映射表,在数据库中搜索与比对结果对应的第一图像特征值,并将搜索到的第一图像特征值与待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
可选的,数据库包括写入数据库,如图6所示,第一获取模块501包括:
获取单元5011,用于获取原始图像数据,原始图像数据包括第一图像特征值;
第一存储单元5012,用于将将原始图像数据中的第一图像特征值存储在内存及写入数据库中。
可选的,数据库还包括读取数据库,如图7所示,提取模块502包括:
加载单元5021,用于建立读取数据库与写入数据库之间的共享缓存,通过共享缓存将写入数据库中的第一图像特征值加载到读取数据库中;
检测单元5022,用于在读取数据库中提取第一图像特征值的第一短特征值,并提取第一短特征值对应的图像标识,检测第一短特征值对应的图像标识所在的数据表;
第二存储单元5023,用于提取数据表的数据表标识,将图像标识与数据表标识进行关联,形成映射表,并将映射表存储在内存及数据库中。
可选的,如图8所示,比对模块504包括:
第一搜索单元5041,用于基于第二短特征值对内存中的第一短特征值进行搜索;
输出单元5042,用于输出搜索后得到的比对结果,比对结果包括相似度最高的n个第一短特征值。
可选的,如图9所示,比对模块504还包括:
读取单元5041,用于根据比对结果中包含的第一短特征值对应的图像标识与读取数据库中数据表标识之间的映射表,在读取数据库读取出对应的第一图像特征值;
第二搜索单元5042,用于基于待搜索图像特征值对在读取数据库读取到的第一图像特征值进行暴力搜索,得到目标搜索图像数据。
可选的,如图10所示,第二搜索单元5042包括:
获取子单元50421,用于获取待搜索图像特征值对应的属性信息;
搜索子单元50422,用于基于待搜索图像特征值对应的属性信息在读取数据库中搜索第一图像特征值的属性信息;
过滤子单元50423,用于对属性信息与待搜索图像特征值对应的属性信息不同的第一图像特征值进行过滤,得到目标搜索图像数据。
可选的,如图11所示,上述装置还包括:
检测模块505,用于检测***是否重启;
加载模块506,用于若是,则将数据库中的第一短特征值以及图像标识与数据库中数据表标识之间的映射表加载到内存中。
本发明实施例提供的图像数据的搜索装置能够实现上述方法实施例中图像数据的搜索方法实现的各个过程且可以达到相同的有益效果,为避免重复,这里不再赘述。
参见图12,是本发明实施例提供的一种电子设备的结构示意图,电子设备1200包括:通过***总线相互通信连接存储器1202、处理器1201、网络接口1203以及存储在存储器1202上并可在处理器1201上运行的计算机程序。需要指出的是,图中仅示出了具有组件1201-1203的电子设备1200,但应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital SignalProcessor,DSP)、嵌入式设备等。
上述电子设备1200可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备1200可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
其中,处理器1201在一些实施例中可以是控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1201通常用于控制计算机设备的总体操作。
处理器1201用于调用存储器1202存储的计算机程序,执行如下步骤:
将原始图像数据写入内存及数据库中,原始图像数据包括第一图像特征值;
提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中,并在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;
获取待搜索图像数据的待搜索图像特征值,并提取待搜索图像特征值的第二短特征值,将第二短特征值与内存中的第一短特征值进行相似度比对,以得到比对结果;
基于第一短特征值对应的图像标识与数据表标识之间的映射表,在数据库中搜索与比对结果对应的第一图像特征值,并将搜索到的第一图像特征值与待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
可选的,数据库包括写入数据库,处理器1201执行的将原始图像数据写入内存及数据库中的步骤包括:
获取原始图像数据,原始图像数据包括第一图像特征值;
将原始图像数据中的第一图像特征值存储在内存及写入数据库中。
可选的,数据库还包括读取数据库,处理器1201执行的在内存及数据库建立第一短特征值对应的图像标识与数据库中数据表标识之间的映射表的步骤包括:
建立读取数据库与写入数据库之间的共享缓存,通过共享缓存将写入数据库中的第一图像特征值加载到读取数据库中;
在读取数据库中提取第一图像特征值的第一短特征值,并提取第一短特征值对应的图像标识,检测第一短特征值对应的图像标识所在的数据表;
提取数据表的数据表标识,将图像标识与数据表标识进行关联,形成映射表,并将映射表存储在内存及数据库中。
可选的,计算节点包括多个具有分类属性的加载区,处理器1201执行的将第二短特征值与内存中的第一短特征值进行相似度比对的步骤包括:
基于第二短特征值对内存中的第一短特征值进行搜索;
输出搜索后得到的比对结果,比对结果包括相似度最高的n个第一短特征值。
可选的,处理器1201执行的在数据库中搜索与比对结果对应的第一图像特征值的步骤包括:
根据比对结果中包含的第一短特征值对应的图像标识与读取数据库中数据表标识之间的映射表,在读取数据库读取出对应的第一图像特征值;
基于待搜索图像特征值对在读取数据库读取到的第一图像特征值进行暴力搜索,得到目标搜索图像数据。
可选的,处理器1201执行的基于待搜索图像特征值对在读取数据库读取到的第一图像特征值进行暴力搜索,得到目标搜索图像数据的步骤包括:
获取待搜索图像特征值对应的属性信息;
基于待搜索图像特征值对应的属性信息在读取数据库中搜索第一图像特征值的属性信息;
对属性信息与待搜索图像特征值对应的属性信息不同的第一图像特征值进行过滤,得到目标搜索图像数据。
可选的,提取第一图像特征值的第一短特征值,将第一短特征值分别存储在内存及数据库中的步骤之后,处理器1201还用于执行以下步骤:
检测***是否重启;
若是,则将数据库中的第一短特征值以及图像标识与数据库中数据表标识之间的映射表加载到内存中。
本发明实施例提供的电子设备1200能够实现图像数据的搜索方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
存储器1202至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。
本发明实施例提供的电子设备能够实现图像数据检索方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器1201执行时实现本发明实施例提供的图像数据的搜索方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random Access Memory,简称RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种图像数据的搜索方法,其特征在于,包括以下步骤:
将原始图像数据写入内存及数据库中,所述原始图像数据包括第一图像特征值;
提取所述第一图像特征值的第一短特征值,将所述第一短特征值分别存储在所述内存及数据库中,并在所述内存及数据库建立所述第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;
获取待搜索图像数据的待搜索图像特征值,并提取所述待搜索图像特征值的第二短特征值,将所述第二短特征值与内存中的所述第一短特征值进行相似度比对,以得到比对结果;
基于所述第一短特征值对应的图像标识与所述数据表标识之间的映射表,在所述数据库中搜索与所述比对结果对应的第一图像特征值,并将搜索到的所述第一图像特征值与所述待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
2.如权利要求1所述的图像数据的搜索方法,其特征在于,数据库包括写入数据库,所述将原始图像数据写入内存及数据库中的步骤包括:
获取原始图像数据,所述原始图像数据包括第一图像特征值;
将所述原始图像数据中的第一图像特征值存储在内存及写入数据库中。
3.如权利要求2所述的图像数据的搜索方法,其特征在于,数据库还包括读取数据库,所述在所述内存及数据库建立所述第一短特征值对应的图像标识与数据库中数据表标识之间的映射表的步骤包括:
建立所述读取数据库与所述写入数据库之间的共享缓存,通过所述共享缓存将所述写入数据库中的所述第一图像特征值加载到所述读取数据库中;
在所述读取数据库中提取所述第一图像特征值的第一短特征值,并提取所述第一短特征值对应的图像标识,检测所述第一短特征值对应的图像标识所在的数据表;
提取所述数据表的数据表标识,将所述图像标识与所述数据表标识进行关联,形成映射表,并将所述映射表存储在内存及数据库中。
4.如权利要求1所述的图像数据的搜索方法,其特征在于,所述将所述第二短特征值与内存中的所述第一短特征值进行相似度比对的步骤包括:
基于所述第二短特征值对内存中的所述第一短特征值进行搜索;
输出搜索后得到的比对结果,所述比对结果包括相似度最高的n个第一短特征值。
5.如权利要求1所述的图像数据的搜索方法,其特征在于,所述在所述数据库中搜索与所述比对结果对应的第一图像特征值的步骤包括:
根据所述比对结果中包含的第一短特征值对应的图像标识与读取数据库中所述数据表标识之间的映射表,在所述读取数据库读取出对应的第一图像特征值;
基于所述待搜索图像特征值对在所述读取数据库读取到的第一图像特征值进行暴力搜索,得到目标搜索图像数据。
6.如权利要求5所述的图像数据的搜索方法,其特征在于,所述基于所述待搜索图像特征值对在所述读取数据库读取到的第一图像特征值进行暴力搜索,得到目标搜索图像数据的步骤包括:
获取所述待搜索图像特征值对应的属性信息;
基于所述待搜索图像特征值对应的属性信息在所述读取数据库中搜索所述第一图像特征值的属性信息;
对属性信息与所述待搜索图像特征值对应的属性信息不同的第一图像特征值进行过滤,得到所述目标搜索图像数据。
7.如权利要求1所述的图像数据的搜索方法,其特征在于,在提取所述第一图像特征值的第一短特征值,将所述第一短特征值分别存储在所述内存及数据库中的步骤之后,所述方法还包括:
检测***是否重启;
若是,则将数据库中的所述第一短特征值以及所述图像标识与数据库中数据表标识之间的映射表加载到内存中。
8.一种图像数据的搜索装置,其特征在于,所述装置包括:
第一获取模块,用于将原始图像数据写入内存及数据库中,所述原始图像数据包括第一图像特征值;
提取模块,用于提取所述第一图像特征值的第一短特征值,将所述第一短特征值分别存储在所述内存及数据库中,并在所述内存及数据库建立所述第一短特征值对应的图像标识与数据库中数据表标识之间的映射表;
第二获取模块,用于获取待搜索图像数据的待搜索图像特征值,并提取所述待搜索图像特征值的第二短特征值,将所述第二短特征值与内存中的所述第一短特征值进行相似度比对,以得到比对结果;
比对模块,用于基于所述第一短特征值对应的图像标识与所述数据表标识之间的映射表,在所述数据库中搜索与所述比对结果对应的第一图像特征值,并将搜索到的所述第一图像特征值与所述待搜索图像特征值进行相似度比对,得到目标搜索图像数据。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的图像数据的搜索方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1至7中任一项所述的图像数据的搜索方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911340507.0A CN113094539A (zh) | 2019-12-23 | 2019-12-23 | 一种图像数据的搜索方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911340507.0A CN113094539A (zh) | 2019-12-23 | 2019-12-23 | 一种图像数据的搜索方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113094539A true CN113094539A (zh) | 2021-07-09 |
Family
ID=76663159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911340507.0A Pending CN113094539A (zh) | 2019-12-23 | 2019-12-23 | 一种图像数据的搜索方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113094539A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080228835A1 (en) * | 2007-03-16 | 2008-09-18 | Scott David Lashley | Shared disk clones |
CN107766492A (zh) * | 2017-10-18 | 2018-03-06 | 北京京东尚科信息技术有限公司 | 一种图像搜索的方法和装置 |
CN109522435A (zh) * | 2018-11-15 | 2019-03-26 | ***股份有限公司 | 一种图像检索方法及装置 |
CN109710789A (zh) * | 2018-12-28 | 2019-05-03 | 北京旷视科技有限公司 | 图像数据的检索方法、装置、电子设备及计算机存储介质 |
CN110110113A (zh) * | 2019-05-20 | 2019-08-09 | 重庆紫光华山智安科技有限公司 | 图像搜索方法、***及电子装置 |
-
2019
- 2019-12-23 CN CN201911340507.0A patent/CN113094539A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080228835A1 (en) * | 2007-03-16 | 2008-09-18 | Scott David Lashley | Shared disk clones |
CN107766492A (zh) * | 2017-10-18 | 2018-03-06 | 北京京东尚科信息技术有限公司 | 一种图像搜索的方法和装置 |
CN109522435A (zh) * | 2018-11-15 | 2019-03-26 | ***股份有限公司 | 一种图像检索方法及装置 |
CN109710789A (zh) * | 2018-12-28 | 2019-05-03 | 北京旷视科技有限公司 | 图像数据的检索方法、装置、电子设备及计算机存储介质 |
CN110110113A (zh) * | 2019-05-20 | 2019-08-09 | 重庆紫光华山智安科技有限公司 | 图像搜索方法、***及电子装置 |
Non-Patent Citations (1)
Title |
---|
任友理 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12019675B2 (en) | Recognizing text in image data | |
CN106446816B (zh) | 人脸识别方法及装置 | |
US20160063339A1 (en) | Scrapped information providing method and apparatus | |
WO2015096477A1 (zh) | 信息回复方法及装置 | |
US10445485B2 (en) | Lock screen output controlling method and electronic device for supporting the same | |
CN109427331B (zh) | 语音识别方法及装置 | |
US11514003B2 (en) | Data compression based on key-value store | |
CN108536745B (zh) | 基于Shell的数据表提取方法、终端、设备及存储介质 | |
WO2020087950A1 (zh) | 数据库更新方法和装置、电子设备、计算机存储介质 | |
KR102368847B1 (ko) | 객체에 대응하는 콘텐트를 출력하기 위한 방법 및 그 전자 장치 | |
WO2023275606A1 (zh) | 人脸识别方法、***、装置、电子设备及存储介质 | |
US10185724B2 (en) | Method for sorting media content and electronic device implementing same | |
EP3543877A1 (en) | Method and device for processing accumulative retrieval, terminal and storage medium | |
CN111858581B (zh) | 一种分页查询的方法、装置、存储介质和电子设备 | |
US11423012B2 (en) | Electronic device for prohibiting loss of data in database and method for operating the same | |
CN110516513B (zh) | 一种人脸识别方法及装置 | |
CN113094539A (zh) | 一种图像数据的搜索方法、装置、电子设备及存储介质 | |
WO2020087949A1 (zh) | 数据库更新方法和装置、电子设备、计算机存储介质 | |
CN116310994A (zh) | 一种视频片段提取方法、装置、电子设备及介质 | |
KR20200112386A (ko) | 전자 장치 및 그 제어 방법 | |
CN112970025A (zh) | 图像搜索方法、装置、存储介质及电子设备 | |
CN113094530B (zh) | 一种图像数据检索方法、装置、电子设备及存储介质 | |
US11349979B2 (en) | Electronic device for supporting user-customized service | |
US11455326B2 (en) | Efficient storage and retrieval of textual data | |
EP4120088A1 (en) | Key packing for flash key value store operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |
|
RJ01 | Rejection of invention patent application after publication |