CN113094530B - 一种图像数据检索方法、装置、电子设备及存储介质 - Google Patents
一种图像数据检索方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113094530B CN113094530B CN201911338776.3A CN201911338776A CN113094530B CN 113094530 B CN113094530 B CN 113094530B CN 201911338776 A CN201911338776 A CN 201911338776A CN 113094530 B CN113094530 B CN 113094530B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- searched
- characteristic value
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及数据检索技术领域,提供一种图像数据检索方法、装置、电子设备及存储介质,所述方法包括:获取待检索信息,所述待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;提取数据库中与所述待检索图像标识符对应的第一数据特征值,并将所述第一数据特征值存储到图像处理器的显存中;将所述待检索信息发送到所述图像处理器中进行处理,所述处理包括根据所述待检索图像数据提取第二数据特征值,以及将所述第二数据特征值与所述第一数据特征值进行相似度比对;根据所述图像处理器返回的处理结果获取目标图像数据,所述处理结果包括目标图像标识符。本发明实施例能够提高对图像数据的检索效率。
Description
技术领域
本发明涉及数据检索技术领域,尤其涉及一种图像数据检索方法、装置、电子设备及存储介质。
背景技术
人脸检索是一项融合了计算机图像处理知识以及生物统计学知识的新兴生物识别技术,目前具有广阔的应用前景,例如:人脸检索技术在公园、工厂、广场、会议中心、体育场馆、学校、医院、酒店、办公楼等场所均有应用。传统的人脸检索是基于中央处理器(Central Processing Unit/Processor,CPU)硬件资源进行,将人脸特征值与底库数据的特征值进行相似度计算。计算特征值的相似度是一个海量数据运算的过程,而CPU在处理逻辑运算时的运算性能高,但在做大量的并行计算时,往往会消耗更多时间,效率不高。可见,在现有的技术,对图像数据进行检索的效率低。
发明内容
本发明实施例提供一种图像数据检索方法,能够提高图像数据的检索效率。
第一方面,本发明实施例提供一种图像数据检索方法,包括:
获取待检索信息,所述待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;
提取数据库中与所述待检索图像标识符对应的第一数据特征值,并将所述第一数据特征值存储到图像处理器的显存中;
将所述待检索信息发送到所述图像处理器中进行处理,所述处理包括根据所述待检索图像数据提取第二数据特征值,以及将所述第二数据特征值与所述第一数据特征值进行相似度比对;
根据所述图像处理器返回的处理结果获取目标图像数据,所述处理结果包括目标图像标识符。
第二方面,本发明实施例还提供一种图像数据检索装置,包括:
第一获取模块,用于获取待检索信息,所述待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;
提取模块,用于提取数据库中与所述待检索图像标识符对应的第一数据特征值,并将所述第一数据特征值存储到图像处理器的显存中;
发送模块,用于将所述待检索信息发送到所述图像处理器中进行处理,所述处理包括根据所述待检索图像数据提取第二数据特征值,以及将所述第二数据特征值与所述第一数据特征值进行相似度比对;
第二获取模块,用于根据所述图像处理器返回的处理结果获取目标图像数据,所述处理结果包括目标图像标识符。
第三方面,本发明实施例还提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的图像数据检索方法中的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现发明实施例提供的图像数据检索方法中的步骤。
本发明实施例中,获取待检索信息,所述待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;提取数据库中与所述待检索图像标识符对应的第一数据特征值,并将所述第一数据特征值存储到图像处理器的显存中;将所述待检索信息发送到所述图像处理器中进行处理,所述处理包括根据所述待检索图像数据提取第二数据特征值,以及将所述第二数据特征值与所述第一数据特征值进行相似度比对;根据所述图像处理器返回的处理结果获取目标图像数据,所述处理结果包括目标图像标识符。本发明由于在大量数据检索时,结合了CPU及图像处理器高并发、大吞吐量的特点,加快了对第一数据特征值与第二数据特征值的运算速度,提高了数据的检索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种图像数据检索方法的架构图;
图1b是本发明实施例提供的一种图像数据检索方法的时序图;
图2是本发明实施例提供的一种图像数据检索方法的流程图;
图3是本发明实施例提供的另一种图像数据检索方法的流程图;
图4是本发明实施例提供的另一种图像数据检索方法的流程图;
图5是本发明实施例提供的一种图像数据检索装置的结构示意图;
图6是本发明实施例提供的另一种图像数据检索装置的结构示意图;
图7是本发明实施例提供的另一种图像数据检索装置的结构示意图;
图8是本发明实施例提供的另一种图像数据检索装置的结构示意图;
图9是本发明实施例提供的另一种图像数据检索装置的结构示意图;
图10是本发明实施例提供的另一种图像数据检索装置的结构示意图;
图11是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1a所示,为本发明实施例提供的***架构图,***架构包括移动终端1001(1001a、1001b、1001c),中央处理器1002、图像处理器1003(Graphics Processing Unit,GPU)以及数据库1004。在移动终端1001a、1001b、1001c、中央处理器1002、图像处理器1003以及数据库1004之间通过网络1004提供通信链路,网络1004可以包括多种连接方式,例如:有线、无线通信链路或者光纤电缆等。
移动终端1001a、1001b、1001c可以是具有显示屏、可以对通信传输的数据进行读取、接收等操作的电子设备,且移动终端1001a、1001b、1001c包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
如图1b所示,为本发明实施例提供的图像数据检索的时序图。移动终端1001可以向中央处理器1002发出查询请求对图像数据进行搜索。当中央处理器1002接收到搜索请求,中央处理器1002会加载数据库中与待检索信息对应的第一数据特征值,并通过接口调用将第一数据特征值保存在图像处理器1003。上述的搜索请求中还可以包括待检索图像标识符(待检索图像ID)。在图像处理器1003中还提取待检索信息中的第二数据特征值,并与第一数据特征值进行相似度计算,然后将计算结果返回到中央处理器1002,中央处理器1002可以基于返回的计算结果去数据库1004中加载对应的图像数据,然后可以将数据库1004返回的图像数据进行逻辑处理,将最终的搜索结果返回到用户发出搜索请求的移动终端1001。
应该理解,上述的移动终端、数据库、中央处理器、图像处理器及网络的数目仅仅是示意性的,根据实现需要,可以对数量进行具体的调整。
如图2所示,图2是本发明实施例提供的一种图像数据检索方法的流程图,具体包括以下步骤:
S101、获取待检索信息,待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据。
其中,待检索信息可以是存储在数据库中的数据,且待检索信息可以是自动录入存放在数据库中的,也可以是人为输入存储在数据库中的。获取待检索信息可以通过CPU对数据库中的待检索信息进行提取,CPU对处理逻辑运算的性能较高,可以作为本实施例的主体对整个查询的流程进行控制。
上述的待检索图像标识符可以表示待检索图像的唯一身份码,例如:待检索图像ID(人脸、指纹、身份证号、准考证号等)。通过检索图像ID,可以更快找到与图像ID对应的图像数据。待检索图像可以包括多张图像,用户可以通过移动终端发出查询请求,***对查询请求进行解析后,执行与请求对应的操作,通过CPU结合GPU查找到所需的图像数据。
其中,待检索图像数据可以包括除了用户需要查询的图像数据之外的其他图形数据。待检索信息除了待检索图像标识符以及对应的待检索图像数据之外,还可以包括图像的类型、对应的版本及图像原始特征值等信息,图像原始特征值可以是指固定或者变长的半结构化数据,这个半结构化数据主要是根据提取图像数据信息中的特定信息而形成。
需要说明的是,本发明实施例中,图像也可以称作图片。
S102、提取数据库中与待检索图像标识符对应的第一数据特征值,并将第一数据特征值存储到图像处理器的显存中。
其中,第一数据特征值可以是对应于待检索图像标识符的短特征值,短特征值可以是从原始特征值提取出来长度短、运算量小的特征值。GPU并行运算能力强,可以将第一数据特征值进行加载存储到GPU中的显存中可以作为热数据进行查询,热数据指在查询过程中会频繁用到的数据。
对于海量的数据,数据库中的数据加载过程可以采用多线程并发技术来提高加载的速度,多线程通过同时加载数据库中的数据,可以降低耗时。上述的显存也可以称为显示内存,显存可以具有不同大小的容量,例如:显存的显存容量有128MB、256MB、512MB、1024MB,64MB、128MB、1TB等。当需要暂存的数据越大,所占用的容量将会越大。
S103、将待检索信息发送到图像处理器中进行处理,处理包括根据待检索图像数据提取第二数据特征值,以及将第二数据特征值与第一数据特征值进行相似度比对。
其中,当CPU接收到用户通过移动终端发送的搜索请求(待检索信息)之后,CPU可以对待检索信息中包含的待检索图像标识符及对应的待检索图像数据等信息进行解析,再将解析出的原始特征值等信息以至少一维的形式发给送到GPU中,上述的至少一维可以是一个维度、两个维度、三个维度等。GPU接收到每个原始特征值后,会在每个原始特征值中提取出对应的短特征值,在本实施例中,提取出来的短特征值将作为第二数据特征值,并将存储在GPU中的第一数据特征值与第二数据特征值进行相似度的计算。
其中,每个GPU卡可以执行任意一个维度创建的一个实施化对象的计算,例如:根据以类型作为维度,根据100个类型创建100个实例化对象,当需要查找100个实施化对象中的某个对象时,只需要根据对应的类型就可以找到,无需对100个实施化对象都进行搜索。
S104、根据图像处理器返回的处理结果获取目标图像数据,处理结果包括目标图像标识符。
其中,GPU在对第一数据特征值与第二数据特征值的相似度进行比对之后,会返回一个相似度对比后的处理结果,CPU可以根据处理结果去数据库中加载对应的数据。上述的目标图像数据与目标图像标识符对应,也即是根据目标图像标识符便可以在数据库中搜索到目标图像数据。
在本发明实施例中,通过获取待检索信息,待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;提取数据库中与待检索图像标识符对应的第一数据特征值,并将第一数据特征值存储到图像处理器的显存中;将待检索信息发送到图像处理器中进行处理,处理包括根据待检索图像数据提取第二数据特征值,以及将第二数据特征值与第一数据特征值进行相似度比对;根据图像处理器返回的处理结果获取目标图像数据,处理结果包括目标图像标识符。本发明实施例由于提取待检索图像标识符的第一数据特征值以及与待检索图像数据对应的第二数据特征值,在GPU中将第一数据特征值与第二数据特征值进行相似度计算,并返回存在有目标图像标识符的数据到CPU,CPU便可以根据返回的处理结果去数据库中加载对应的目标图像数发送到移动终端。所以,可以提高数据的检索效率。
如图3所示,图3是本发明实施例中提供的另一种图像数据检索方法的流程图,具体包括以下步骤:
S201、获取待检索信息,待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据。
S202、待检索信息包括待检索图像属性,根据待检索图像属性,提取数据库中与待检索图像标识符对应的第一数据特征值,第一数据特征值的属性与待检索图像属性相对应。
其中,待检索信息中可以包括待检索图像属性、待检索图像标识符及对应的待检索图像数据,且待检索图像属性可以包括至少对应的原始特征值、与每个原始特征值对应的类型(Type)及版本(Version)等。上述的类型可以包括人脸、人体、车辆、穿戴、行为等,可以分别用Type1、Type2、Type3等进行表示。版本可以与类型相对应,且可以用Version1、Version2、Version3、Version4等进行表示。待检索图像属性还可以包括搜索时间范围、相似度门限值、性别等。
在***启动时,CPU可以根据原始特征值以及对应的类型及版本等信息在数据库中进行检测,提取出存放在数据库中与待检索图像标识符对应的第一数据特征值(短特征值)。第一特征值是在待检索图像属性的基础上进行提取的,两者之间存在对应关系。
S203、将第一数据特征值按属性存储到图像处理器的显存中,显存包括多个具有不同属性的显存区域。
在GPU中,可以按照属性进行区分设置多个显存区域,每个显存区域可以存储对应属性的第一数据特征值,例如:设置有3个显存区域,第一显存区域中存储属性为Type1+Version1的第一数据特征值,第二显存区域中存储属性为Type2+Version2的第一数据特征值,存储属性为Type3+Version3的第一数据特征值。当然,同一种属性的显存区域也可以设置多个,例如:第一显存区域与第二显存区域均存储Type1+Version1的第一数据特征值。
S204、将待检索信息发送到图像处理器中进行处理,处理包括根据待检索图像数据提取第二数据特征值,以及将第二数据特征值与第一数据特征值进行相似度比对。
可选的,上述第二数据特征值的属性与待检索图像属性相对应,根据第二数据特征值的属性匹配对应属性的第一数据特征值的步骤包括:
根据第二数据特征值的属性查找相同属性的第一数据特征值。
其中,第二数据特征值可以具有与第一数据特征值相同的属性。当用户通过移动终端发送搜索请求到CPU中,CPU会将获取到的待检索信息中解析出来的原始特征值、类型、版本等信息发送到GPU,GPU可以提取出对应的短特征值作为第二数据特征值。而第一数据特征值也可以根据不同的属性存储在GPU的显存中,所以,可以根据第二数据特征值的属性在GPU中查找相同属性的第一数据特征值。
将具有相同属性的第二数据特征值与第一数据特征值进行相似度比对。
其中,将存储在GPU显存中的第一数据特征值与提取到的第二数据特征值进行相似度对比,可以是通过判断第一数据特征值对应的类型、版本形成的多维空间向量与第二数据特征值对应的类型及版本形成的相同维度的空间向量之间的距离。两个空间向量的距离越小,可以表示相似度越高;距离越大,相似度越低。相似度计算完成后,GPU可以将相似度最高的N个数据返回到数据库。
在GPU中可以根据多个维度进行组合形成多个不同属性和/或类型的表格,便于只计算对应属性的表格中第二数据特征值与第一数据特征值的相似度,不用遍历GPU中所有的第一数据特征值进行相似度计算,缩小了计算范围。
S205、根据图像处理器返回的处理结果获取目标图像数据,处理结果包括目标图像标识符。
在本实施例中,通过获取待检索信息,并在数据库中根据待检索信息的待检索图像属性提取与待检索图像标识符对应的第一数据特征值,并将第一数据特征值存储在GPU显存中,用于数据比对。同时将待检索信息发送到GPU中根据待检索图像数据中的原始特征值、类型、版本等信息提取出对应的第二数据特征值,然后在GPU中根据第二数据特征值的属性去匹配对应属性的第一数据特征值,并计算两者之间的相似度,减小计算范围;然后GPU将相似度最高的N个数据返回到CPU,CPU再加载数据库中相似度最高的N个数据作为目标图像数据返回到用户使用的移动终端。本发明实施例在CPU的基础上,结合GPU的高并发、大吞吐量特性并运用于大量数据检索,加快了对第一数据特征值与第二数据特征值的运算速度。所以,本发明实施例可以提高数据的检索效率。
如图4所示,图4是本发明实施例中提供的另一种图像数据检索方法的流程图,具体包括以下步骤:
S301、获取待检索信息,待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据。
S302、提取数据库中与待检索图像标识符对应的第一数据特征值,并将第一数据特征值存储到图像处理器的显存中。
S303、将待检索信息发送到图像处理器中进行处理,处理包括根据待检索图像数据提取第二数据特征值,以及将第二数据特征值与第一数据特征值进行相似度比对。
S304、获取处理结果中的相似图像标识符,相似图像标识符包括目标图像标识符。
其中,相似图像标识符可以是与待检索图像标识符相似的标识符。GPU对第一数据特征值及第二数据特征值进行相似度比对之后,会得到两者相似度最高的N个图像标识符,并将相似度最高的N个图像标识符发送到CPU中进行聚合处理。其中,聚合处理可以表示将接收到的N个图像标识符根据不同的维度在不同的数据表中进行聚合,便于根据不同的数据表直接提取表中的所有图像标识符,例如:数据表1存储有戴帽子的女性,在数据表2中存储有戴眼镜的男性。
作为一种可行的实施例方式,考虑到单个GPU处理大量数据所需时间较长,可以基于GPU具有易扩展性的特点,结合负载均衡策略,增加GPU卡。其中,负载均衡策略指一种建立在现有网络结构之上,用于提供一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性的策略,有利于提高GPU对数据的处理效率。
当CPU将在数据库中提取到的第一特征值发送到GPU中作为数据加载时,可以把多个数据均分到每张GPU卡上。例如:4张卡上共承载10亿个数据,每张GPU卡上只需要处理2.5亿个数据。CPU在解析完搜索请求后会把解析后的原始特征值分别传给每张GPU卡,由各张GPU卡做完第一数据特征值与第二数据特征值的相似度计算并返回相似度较高的N个数据,提高了对数据处理的速度,降低耗时。
S305、在数据库中读取与相似图像标识符对应的相似图像数据。
其中,在数据库中可以设置有多张数据表,对于读取数据库中相似图像数据的过程,可以采用多线程并发技术进行读取,同时对数据库中的多张存储有相似图像数据的数据表进行读取,有利于降低耗时,提高提取速度。其中,每一个相似图像标识符在数据库中都会有一一对应的相似图像数据。
S306、根据待检索图像数据对相似图像数据进行暴力搜索,得到目标图像数据。
作为一种可行的实施例方式,在进行暴力搜索之前,在CPU中可以建立图像标识符与该图像标识符在数据库中的数据表之间映射关系,上述的图像标识符可以包括所有加载到GPU显存中的数据特征值的图像标识符,其中,图像特征值包括第一数据特征值。这样,有利于根据GPU返回处理结果快速地找到返回结果中的第一数据特征值所在的数据表,便于去读取所属的数据表中的原始特征值,以得到目标图像数据。
其中,暴力搜索可以是对已经读取的相似图像数据以不同的属性为搜索条件一一进行搜索,过滤掉不符合搜索条件的图像数据。上述得到的目标图像数据可以是一个数据,也可以是一组数据。
作为一种可行的实施例方式,上述进行暴力搜索可以根据待检索图像属性对相似图像数据进行过滤。上述待检索图像属性中可以包括搜索时间范围、性别等搜索条件,因此,可以将多个搜索条件组合进行搜索,例如:以性别及搜索时间范围为搜索条件,在相似图像数据中搜索出所有存储时间在3个月内的男性。当然,也可以通过单一搜索条件进行搜索,例如:以搜索时间范围为搜索条件,在相似图像数据中搜索出所有存储时间在3个月内的图像数据。同时,不排除进行多次属性过滤的实施方式。在进行暴力搜索前对不满足搜索条件的图像数据进行过滤。这样,有利于减少暴力搜索时的耗时及计算量。
可选的,上述根据待检索图像数据对相似图像数据进行暴力搜索,得到目标图像数据的步骤包括:
计算待检索图像数据与相似图像数据的第一相似度,并判断第一相似度是否大于预先设置的第一相似度阈值。
其中,待检索图像数据中可以包括有对应的原始特征值,相似图像数据中的每个图像数据也可以包括对应的原始特征值,通过上述的映射关系可以去读取与待检索图像标识符所属的数据表中的原始特征值,再通过计算该原始特征值与各个相似图像数据对应的原始特征值之间的第一相似度,将第一相似度与第一相似度阈值进行判断,来筛选目标图像数据。
其中,计算待检索图像数据对应的原始特征值与各个相似图像数据对应的原始特征值之间的第一相似度,可以是将两者对应的多个属性以多个维度的形式形成空间向量,并根据判断对应向量之间的距离来判断相似度。还可以通过对两者的多个属性以二维、三维等维度的形式形成空间中的点,并计算点之间的欧氏距离,根据计算出来的欧氏距离判断相似度。第一相似度阈值是可以根据具体的需求进行调整的,且可以是自然数值,例如:第一相似度阈值为0.8。
若第一相似度大于或等于第一相似度阈值,则保留大于或等于第一相似度阈值对应的相似图像数据作为目标图像数据。
其中,当第一相似度大于第一相似度阈值时,便可以将将大于第一相似度阈值的图像数据保留作为目标图像数据。在数据库中对所有的目标图像数据进行提取后,可以将所有的目标图像数据以一个数据包的形式返回到CPU,也可以是按照搜索的时序逐个返回到CPU。CPU接收到目标图像数据,可以再次根据属性等进行处理,将处理后的图像数据返回用户发出搜索请求的移动终端作为搜索结果。
若第一相似度小于第一相似度阈值,则排除小于第一相似度阈值对应的相似图像数据不进行提取。
在本实施例中,通过获取待检索信息,提取数据库中与待检索图像标识符对应的第一数据特征值,并将第一数据特征值存储到图像处理器的显存中;将待检索信息发送到GPU中提取对应的第二数据特征值,在GPU中计算出第一数据特征值与第二数据特征值之间的相似度,根据相似度获取对应的相似图像标识符,根据相似图像标识符到数据库中读取对应的相似图像数据;并且基于属性过滤掉不满足搜索条件的图像数据,再计算待检索图像数据与过滤后的图像数据的第一相似度,将满足第一相似度阈值的相似图像数据保留作为目标图像数据返回到CPU,加快了暴力搜索的搜索效率。本发明实施例在CPU的基础上,结合GPU的高并发、大吞吐量特性并运用于大量数据检索,加快了对第一数据特征值与第二数据特征值的运算效率,所以,可以提高对图像数据的检索效率。
如图5所示,图5是本发明实施例提供的一种图像数据检索装置的结构示意图,具体包括:
第一获取模块501,用于获取待检索信息,待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;
提取模块502,用于提取数据库中与待检索图像标识符对应的第一数据特征值,并将第一数据特征值存储到图像处理器的显存中;
发送模块503,用于将待检索信息发送到图像处理器中进行处理,处理包括根据待检索图像数据提取第二数据特征值,以及将第二数据特征值与第一数据特征值进行相似度比对;
第二获取模块504,用于根据图像处理器返回的处理结果获取目标图像数据,处理结果包括目标图像标识符。
可选的,待检索信息包括待检索图像属性,如图6所示,第二获取模块504包括:
第一读取单元5041,用于根据待检索图像属性,提取数据库中与待检索图像标识符对应的第一数据特征值,第一数据特征值的属性与待检索图像属性相对应;
存储单元5042,用于将第一数据特征值按属性存储到图像处理器的显存中,显存包括多个具有不同属性的显存区域。
可选的,第二数据特征值的属性与待检索图像属性相对应,如图7所示,发送模块503包括:
匹配单元5031,用于根据第二数据特征值的属性查找具有相同属性的第一数据特征值;
比对单元5032,用于将具有相同属性的第二数据特征值与第一数据特征值进行相似度比对。
可选的,如图8所示,第二获取模块504还包括:
获取单元5043,用于获取处理结果中的相似图像标识符,相似图像标识符包括目标图像标识符;
第二读取单元5044,用于在数据库中读取与相似图像标识符对应的相似图像数据;
搜索单元5045,用于根据待检索图像数据对相似图像数据进行暴力搜索,得到目标图像数据。
可选的,如图9所示,搜索单元5045包括:
计算子单元50451,用于计算待检索图像数据与相似图像数据的第一相似度,并判断第一相似度是否大于预先设置的第一相似度阈值;
筛选子单元50452,用于若若第一相似度大于或等于第一相似度阈值,则保留大于或等于第一相似度阈值对应的相似图像数据作为目标图像数据。
可选的,如图10所示,装置还包括:
提取模块502还用于提取存储到图像处理器的显存中第一数据特征值,在数据库中查找第一数据特征值所在的数据表;
建立模块505,用于建立第一数据特征值所在的数据表与第一数据特征值的图像标识符之间的映射关系;
映射模块506,用于根据图像处理器返回的处理结果中的第一数据特征值,映射出第一数据特征值所在的数据表。
本发明实施例提供的图像数据检索装置能够实现上述任一方法实施例中图像数据检索方法实现的各个过程及相同的有益效果,为避免重复,这里不再赘述。
如图11所示,是本发明实施例提供的一种电子设备的结构示意图,电子设备包括:通过***总线相互通信连接存储器1102、处理器1101、网络接口1103以及存储在存储器1102上并可在处理器1101上运行的计算机程序。需要指出的是,图中仅示出了具有组件1101-1103的电子设备,但应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
上述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
其中:
处理器1101在一些实施例中可以是控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1101通常用于控制计算机设备的总体操作。
处理器1101用于调用存储器1102存储的计算机程序,执行如下步骤:
获取待检索信息,待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;
提取数据库中与待检索图像标识符对应的第一数据特征值,并将第一数据特征值存储到图像处理器的显存中;
将待检索信息发送到图像处理器中进行处理,处理包括根据待检索图像数据提取第二数据特征值,以及将第二数据特征值与第一数据特征值进行相似度比对;
根据图像处理器返回的处理结果获取目标图像数据,处理结果包括目标图像标识符。
可选的,待检索信息包括待检索图像属性,处理器1101执行的提取数据库中与待检索图像标识符对应的第一数据特征值,并存储到图像处理器的显存中的步骤包括:
根据待检索图像属性,提取数据库中与待检索图像标识符对应的第一数据特征值,第一数据特征值的属性与待检索图像属性相对应;
将第一数据特征值按属性存储到图像处理器的显存中,显存包括多个具有不同属性的显存区域。
可选的,第二数据特征值的属性与待检索图像属性相对应,处理器1101执行的将第二数据特征值与第一数据特征值进行相似度比对包括:
根据第二数据特征值的属性查找具有相同属性的第一数据特征值;
将具有相同属性的第二数据特征值与第一数据特征值进行相似度比对。
可选的,处理器1101执行的根据图像处理器返回的处理结果获取目标图像数据的步骤包括:
获取处理结果中的相似图像标识符,相似图像标识符包括目标图像标识符;
在数据库中读取与相似图像标识符对应的相似图像数据;
根据待检索图像数据对相似图像数据进行暴力搜索,得到目标图像数据。
可选的,处理器1101执行的根据待检索图像数据对相似图像数据进行暴力搜索,得到目标图像数据的步骤包括:
计算待检索图像数据与相似图像数据的第一相似度,并判断第一相似度是否大于预先设置的第一相似度阈值;
若第一相似度大于或等于第一相似度阈值,则保留大于或等于第一相似度阈值对应的相似图像数据作为目标图像数据。
可选的,待检索信息包括待检索图像属性,处理器1101执行的根据图像处理器返回的处理结果获取目标图像数据,处理结果包括目标图像标识符的步骤包括:
获取处理结果中的相似图像标识符,相似图像标识符包括目标图像标识符;
根据相似图像标识符到数据库中读取对应的相似图像数据;
根据待检索图像属性对相似图像数据进行过滤,得到目标图像数据。
可选的,处理器1101还用于执行以下步骤:
提取存储到图像处理器的显存中第一数据特征值,在数据库中查找第一数据特征值所在的数据表;
建立第一数据特征值所在的数据表与第一数据特征值的图像标识符之间的映射关系;
根据图像处理器返回的处理结果中的第一数据特征值,映射出第一数据特征值所在的数据表。
上述存储器1102至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。
本发明实施例提供的电子设备能够实现图像数据检索方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器1101执行时实现本发明实施例提供的图像数据检索方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random Access Memory,简称RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (7)
1.一种图像数据检索方法,其特征在于,包括以下步骤:
获取待检索信息,所述待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;
提取数据库中与所述待检索图像标识符对应的第一数据特征值,并将所述第一数据特征值存储到图像处理器的显存中;
将所述待检索信息发送到所述图像处理器中进行处理,所述处理包括根据所述待检索图像数据提取第二数据特征值,以及将所述第二数据特征值与所述第一数据特征值进行相似度比对;
根据所述图像处理器返回的处理结果获取目标图像数据,所述处理结果包括目标图像标识符;
所述待检索信息包括待检索图像属性,所述待检索图像属性包括待检索图像属性对应的原始特征值、原始特征值对应的类型以及版本、搜索时间范围、相似度门限值、性别中的至少一个,所述提取数据库中与所述待检索图像标识符对应的第一数据特征值,并存储到图像处理器的显存中的步骤包括:
根据所述待检索图像属性,提取数据库中与所述待检索图像标识符对应的第一数据特征值,所述第一数据特征值的属性与所述待检索图像属性相对应;
将所述第一数据特征值按属性存储到所述图像处理器的显存中,所述显存包括多个具有不同属性的显存区域;
所述第二数据特征值的属性与所述待检索图像属性相对应,所述将所述第二数据特征值与所述第一数据特征值进行相似度比对包括:
根据所述第二数据特征值的属性查找具有相同属性的第一数据特征值;
将具有相同属性的第二数据特征值与所述第一数据特征值进行相似度比对。
2.如权利要求1所述的方法,其特征在于,所述根据所述图像处理器返回的处理结果获取目标图像数据的步骤包括:
获取所述处理结果中的相似图像标识符,所述相似图像标识符包括目标图像标识符;
在所述数据库中读取与所述相似图像标识符对应的相似图像数据;
根据所述待检索图像数据对所述相似图像数据进行暴力搜索,得到所述目标图像数据。
3.如权利要求2所述的方法,其特征在于,所述根据所述待检索图像数据对所述相似图像数据进行暴力搜索,得到目标图像数据的步骤包括:
计算所述待检索图像数据与所述相似图像数据的第一相似度,并判断所述第一相似度是否大于预先设置的第一相似度阈值;
若所述第一相似度大于或等于所述第一相似度阈值,则保留大于或等于所述第一相似度阈值对应的相似图像数据作为所述目标图像数据。
4.如权利要求1所述的方法,其特征在于,所述数据库包括数据表,所述方法还包括:
提取存储到所述图像处理器的显存中第一数据特征值,在所述数据库中查找所述第一数据特征值所在的数据表;
建立所述第一数据特征值所在的数据表与所述第一数据特征值的图像标识符之间的映射关系;
根据所述图像处理器返回的处理结果中的第一数据特征值,映射出所述第一数据特征值所在的数据表。
5.一种图像数据检索装置,其特征在于,包括:
第一获取模块,用于获取待检索信息,所述待检索信息包括待检索图像标识符及检索图像标识符对应的待检索图像数据;
提取模块,用于提取数据库中与所述待检索图像标识符对应的第一数据特征值,并将所述第一数据特征值存储到图像处理器的显存中;
发送模块,用于将所述待检索信息发送到所述图像处理器中进行处理,所述处理包括根据所述待检索图像数据提取第二数据特征值,以及将所述第二数据特征值与所述第一数据特征值进行相似度比对;
第二获取模块,用于根据所述图像处理器返回的处理结果获取目标图像数据,所述处理结果包括目标图像标识符;
所述待检索信息包括待检索图像属性,所述待检索图像属性包括待检索图像属性对应的原始特征值、原始特征值对应的类型以及版本、搜索时间范围、相似度门限值、性别中的至少一个,所述提取模块包括:
第一读取单元,用于根据所述待检索图像属性,提取数据库中与所述待检索图像标识符对应的第一数据特征值,所述第一数据特征值的属性与所述待检索图像属性相对应;
存储单元,用于将所述第一数据特征值按属性存储到所述图像处理器的显存中,所述显存包括多个具有不同属性的显存区域;
所述第二数据特征值的属性与所述待检索图像属性相对应,所述发送模块,包括:
匹配单元,用于根据第二数据特征值的属性查找具有相同属性的第一数据特征值;
比对单元,用于将具有相同属性的第二数据特征值与第一数据特征值进行相似度比对。
6.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的图像数据检索方法中的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图像数据检索方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911338776.3A CN113094530B (zh) | 2019-12-23 | 2019-12-23 | 一种图像数据检索方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911338776.3A CN113094530B (zh) | 2019-12-23 | 2019-12-23 | 一种图像数据检索方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113094530A CN113094530A (zh) | 2021-07-09 |
CN113094530B true CN113094530B (zh) | 2024-03-29 |
Family
ID=76662911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911338776.3A Active CN113094530B (zh) | 2019-12-23 | 2019-12-23 | 一种图像数据检索方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113094530B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180065501A (ko) * | 2016-12-08 | 2018-06-18 | 경희대학교 산학협력단 | 이미지를 검색하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
CN108304431A (zh) * | 2017-06-14 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 一种图像检索方法及装置、设备、存储介质 |
CN108664526A (zh) * | 2017-04-01 | 2018-10-16 | 华为技术有限公司 | 检索的方法和设备 |
CN109522435A (zh) * | 2018-11-15 | 2019-03-26 | ***股份有限公司 | 一种图像检索方法及装置 |
WO2019075644A1 (zh) * | 2017-10-17 | 2019-04-25 | 深圳传音通讯有限公司 | 人像照片的搜索方法和终端 |
CN109710789A (zh) * | 2018-12-28 | 2019-05-03 | 北京旷视科技有限公司 | 图像数据的检索方法、装置、电子设备及计算机存储介质 |
CN110019891A (zh) * | 2017-12-29 | 2019-07-16 | 浙江宇视科技有限公司 | 图像存储方法、图像检索方法及装置 |
CN110321448A (zh) * | 2019-06-27 | 2019-10-11 | 腾讯科技(深圳)有限公司 | 一种图像检索方法、装置和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346370B (zh) * | 2013-07-31 | 2018-10-23 | 阿里巴巴集团控股有限公司 | 图像搜索、获取图像文本信息的方法及装置 |
CN106777177A (zh) * | 2016-12-22 | 2017-05-31 | 百度在线网络技术(北京)有限公司 | 检索方法和装置 |
-
2019
- 2019-12-23 CN CN201911338776.3A patent/CN113094530B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180065501A (ko) * | 2016-12-08 | 2018-06-18 | 경희대학교 산학협력단 | 이미지를 검색하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
CN108664526A (zh) * | 2017-04-01 | 2018-10-16 | 华为技术有限公司 | 检索的方法和设备 |
CN108304431A (zh) * | 2017-06-14 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 一种图像检索方法及装置、设备、存储介质 |
WO2019075644A1 (zh) * | 2017-10-17 | 2019-04-25 | 深圳传音通讯有限公司 | 人像照片的搜索方法和终端 |
CN110019891A (zh) * | 2017-12-29 | 2019-07-16 | 浙江宇视科技有限公司 | 图像存储方法、图像检索方法及装置 |
CN109522435A (zh) * | 2018-11-15 | 2019-03-26 | ***股份有限公司 | 一种图像检索方法及装置 |
CN109710789A (zh) * | 2018-12-28 | 2019-05-03 | 北京旷视科技有限公司 | 图像数据的检索方法、装置、电子设备及计算机存储介质 |
CN110321448A (zh) * | 2019-06-27 | 2019-10-11 | 腾讯科技(深圳)有限公司 | 一种图像检索方法、装置和存储介质 |
Non-Patent Citations (2)
Title |
---|
张锋 ; 尹东 ; 吴文宇 ; .基于Agent技术的遥感图像检索.通信技术.2008,(第10期),全文. * |
濮永仙 ; .基于图像内容检索的作物病害识别数据库***研究.计算机与现代化.2015,(第04期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113094530A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321448B (zh) | 一种图像检索方法、装置和存储介质 | |
CN111913955A (zh) | 数据的排序处理装置、方法和存储介质 | |
CN108288208B (zh) | 基于图像内容的展示对象确定方法、装置、介质及设备 | |
CN108536753B (zh) | 重复信息的确定方法及相关装置 | |
CN111694866A (zh) | 数据搜索及存储方法、数据搜索***、装置、设备及介质 | |
WO2023275606A1 (zh) | 人脸识别方法、***、装置、电子设备及存储介质 | |
CN110222046B (zh) | 列表数据的处理方法、装置、服务器和存储介质 | |
CN111309946B (zh) | 一种已建立档案优化方法及装置 | |
CN113239792A (zh) | 一种大数据分析处理***和方法 | |
CN111949681A (zh) | 数据的聚合处理装置、方法和存储介质 | |
CN114639143B (zh) | 基于人工智能的人像归档方法、设备及存储介质 | |
CN110688952A (zh) | 视频解析方法及装置 | |
CN111177450B (zh) | 一种图像检索云识别方法、***及计算机可读存储介质 | |
CN111159443B (zh) | 一种图像特征值的搜索方法、装置及电子设备 | |
CN112966756A (zh) | 一种可视化的准入规则的生成方法、装置、机器可读介质及设备 | |
CN113032621A (zh) | 数据采样方法、装置、计算机设备和存储介质 | |
CN110633379B (zh) | 一种基于gpu并行运算的以图搜图***及方法 | |
CN113094530B (zh) | 一种图像数据检索方法、装置、电子设备及存储介质 | |
WO2023124135A1 (zh) | 特征检索方法、装置、电子设备、计算机存储介质和程序 | |
CN110688223A (zh) | 数据处理方法及相关产品 | |
CN109800273A (zh) | 一种数据处理的方法、装置、计算机存储介质及终端 | |
CN107247796B (zh) | 客户头像加载方法、装置及终端设备 | |
CN113094529B (zh) | 一种图像数据的处理方法、装置、电子设备及存储介质 | |
US12032578B1 (en) | Data compression, store, and search system | |
US20240248899A1 (en) | Data compression, store, and search system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |