CN105205169A - 一种分布式图像索引与检索方法 - Google Patents
一种分布式图像索引与检索方法 Download PDFInfo
- Publication number
- CN105205169A CN105205169A CN201510657308.8A CN201510657308A CN105205169A CN 105205169 A CN105205169 A CN 105205169A CN 201510657308 A CN201510657308 A CN 201510657308A CN 105205169 A CN105205169 A CN 105205169A
- Authority
- CN
- China
- Prior art keywords
- image
- node
- retrieval
- index
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种分布式图像索引与检索方法,包括:搭建Hadoop分布式***集群,包括HDFS分布式文件***、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群计算环境和HBase数据库;部署配置基于YARN资源管理器的Spark集群;启动图像索引流处理任务;启动图像检索流处理任务;图像索引流处理任务接收外部输入图像并建立索引;图像检索流处理任务接收待检索图像,输出检索到的相似图像。本发明采用了基于内存计算的Spark?Streaming技术,能够实现图像处理任务和特征提取任务的分布式快速计算,具有高度的实时性。
Description
技术领域
本发明属于大规模图像处理与检索领域,特别是一种基于SparkStreaming的分布式图像索引与检索方法。
背景技术
现阶段,单机图像处理和检索技术,单机计算能力有限。随着图像数据量的增长,单机处理会造成很大的延时性。此外,传统的相似图像检索算法,计算复杂度高,且计算结果不可以复用,每次检索都花费很长的时间进行相似度计算。
发明内容
发明目的:本发明所要解决的技术问题是克服单机图像处理的计算能力差,时延性长,存储容量有限以及图像检索速度慢的问题。
技术方案:本发明提出了一种基于SparkStreaming分布式图像索引与检索方法。该方法包括以下步骤:
步骤1,搭建Hadoop分布式***集群,包括HDFS分布式文件***、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群和HBase数据库;
步骤2,部署配置基于资源管理器YARN的Spark集群;
步骤3,启动图像索引流处理任务;
步骤4,启动图像检索流处理任务;
步骤5,图像索引流处理任务接收外部输入图像序列并建立索引;
步骤6,图像检索流处理任务接收待检索图像,输出检索到的相似图像。
其中,步骤1中,所述YARN资源管理器用于任务调度,负责集群计算资源的管理及为每个任务分配资源(包括内存资源、处理器资源等),并在集群中节点出现故障时为任务重新分配计算资源(具体见步骤3与步骤4),所述HBase数据库用于存储图像。
步骤2包括:在Hadoop分布式***集群上部署Spark集群,利用YARN资源管理器调度Spark集群的Spark任务容器,Hadoop分布式***集群中的工作节点包括索引节点、检索节点、以及输出节点;
其中,索引节点负责对输入的图像提取特征,并保存到指定的HBase数据库表中,供后续检索使用;
检索节点,负责对输入的待检索图像计算其与指定HBase数据库表中所存储图像的相似度,并进行排序和输出;
输出节点负责对所有检索节点返回的结果进行归并排序,并从HBase数据库中读取图像编码,然后生成原始图像,再将检索到的图像返回给用户。
步骤3包括:在ZooKeeper分布式应用程序协调服务中建立N个索引表Ti,i=1,…,N,应用Spark流处理技术在Spark集群中建立N个索引节点Si,并为每个索引节点分配一个空闲的索引表,当一个索引节点失效时,比如异常退出或网络故障,ZooKeeper分布式应用程序协调服务中对应的索引节点和索引表分配节点自动删除,由Spark流处理技术自动新建索引节点,并在ZooKeeper分布式应用程序协调服务中重新建立对应索引节点及索引表分配节点。
步骤4包括:Spark流处理技术在Spark集群中建立N个检索节点Ri,i=1,…,N,并为每个检索节点分配一个空闲的索引表,当一个检索节点失效时,比如异常退出或网络故障,ZooKeeper分布式应用程序协调服务中对应的检索节点和索引表分配节点自动删除,由Spark流处理技术自动新建检索节点,并在ZooKeeper分布式应用程序协调服务中重新建立对应检索节点及索引表分配节点。
步骤5包括:对用户输入的图像序列,首先对每个图像I进行BASE64编码得到编码结果B,并将编码后的字符串作为输入分发到已启动的索引节点Si,并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表Ti,然后利用MD5编码对输入的图像编码计算图像的键值K,同时对编码结果B1进行解码,并对解码后的图像提取视觉特征向量X,然后将[K,X,B]保存到索引表T中。
步骤6包括:对用户输入的待检索图像,首先对该图像进行BASE64编码得到编码结果B2,并将编码后的字符串作为输入分发到已启动的检索节点Ri,i=1,…,N,并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表Tu,u∈[1,N],然后对编码结果B2进行解码,并对解码后的图像提取视觉特征向量X,然后计算其与索引表Tu中保存的图像特征的颜色分布相似度σ(本发明实施例中使用颜色分布相似度,也可使用其他任意相似度计算方法),并进行排序,将排序后的前M组结果Wi={<K,σ,Tu>d|d=1,…,M}发送到输出节点,其中d为排序的序号,输出节点对接收到的检索结果Wi进行归并排序,保留前M组结果,并根据键值K及其对应的索引表Tu读取图像编码结果B,解码生成图像文件并返回图像路径。
有益效果:本发明采用了基于内存计算的SparkStreaming技术,能够实现图像处理任务和特征提取任务的分布式快速计算,具有高度的实时性。其次,利用Spark技术使得整个***设计具有很好的扩展性和很高的吞吐量。最后,本发明利用ZooKeeper来维护多个索引表与索引节点、检索节点的分配关系,充分利用分布式***的可用性,在单节点失效的情况下,集群能够继续对输入的图像进行索引和检索。引入的SparkStreaming技术具有很好的横向扩展性和容错能力。SparkStreaming能够运行在100+节点上,能够提供强大的计算能力并达到秒级延迟。在建立图像索引之后,可以实现海量图像的秒级搜索。
本发明引入的SparkStreaming技术具有很好的横向扩展性和容错能力。SparkStreaming能够运行在100+节点上,能够提供强大的计算能力并达到秒级延迟。一次建立图像索引之后,可以实现海量图像的秒级搜索。
附图说明
图1是基于SparkStreaming的分布式图像检索与索引***流程图。
图2是ZooKeeper节点树状图。
图3是索引节点启动流程图。
图4是检索节点启动流程图。
图5是索引节点工作流程图。
图6是检索节点及输出节点工作流程图程图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
现阶段,单机图像处理和检索技术,单机计算能力有限。随着图像数据量的增长,单机处理会造成很大的延时性。此外,传统的相似图像检索算法,计算复杂度高,且计算结果不可以复用,每次检索都花费很长的时间进行相似度计算。本发明引入的SparkStreaming技术具有很好的横向扩展性和容错能力。SparkStreaming能够运行在100+节点上,能够提供强大的计算能力并达到秒级延迟。一次建立图像索引之后,可以实现海量图像的秒级搜索。本发明包括以下处理步骤。
(1)通过搭建Hadoop集群来整合多台计算机的存储和计算能力,利用YARN来进行任务调度,利用HBase来作为数据库存储图像。
(2)在Hadoop集群上部署Spark,利用YARN调度Spark任务容器。如图1所示,本发明中的工作节点包括索引节点、检索节点、以及输出节点。其中索引节点负责对输入的图像提取特征,并保存到指定的HBase表中,供后续检索使用;检索节点则负责对输入的待检索图像计算其与指定HBase表中所存储图像的相似度,并进行排序和输出;输出节点则负责对所有检索节点返回的结果进行归并排序,并从HBase中读取图像编码,然后生成原始图像,再将检索到的图像返回给用户。
(3)启动图像索引流处理任务,在ZooKeeper中建立N个索引表Ti,(i=1,…,N),SparkStreaming在集群中建立N个索引节点Si,(i=1,…,N),并为每个索引节点分配一个空闲的索引表。当某个索引节点失效(异常退出或网络故障)时,ZooKeeper中对应的索引节点和索引表分配节点自动删除,由SparkStreaming自动新建索引节点,并在ZooKeeper中重新建立对应索引节点及索引表分配节点。
如图2所示,ZooKeeper中存储了索引表、索引节点以及索引分配状况,利用ZooKeeper来保证分布式***的一致性,ZooKeeper在启动时首先新建索引表子树,并在其中添加N个索引表Ti,(i=1,…,N)节点。如图3所示,每个索引节点Si启动时,首先通过ZooKeeper加锁,然后在索引节点子树中添加自己,查找未分配的索引表Tu,并将<Si,Tu>保存到索引分配子树中。完成上述操作后解锁。在索引节点及索引分配子树中添加的节点均为临时节点,当对应的索引节点失效时,临时节点会自动删除。同时Spark会检测到节点失效并重新分配和启动索引节点,该索引节点会按照图3所示重新在ZooKeeper添加自己并获取索引表,从而保证了***在节点失效的情况下能够迅速恢复。
(4)启动图像检索流处理任务,SparkStreaming在集群中建立N个检索节点Ri,(i=1,…,N),并为每个检索节点分配一个空闲的索引表。当某个检索节点失效(异常退出或网络故障)时,ZooKeeper中对应的检索节点和索引表分配节点自动删除,由SparkStreaming自动新建检索节点,并在ZooKeeper中重新建立对应检索节点及索引表分配节点,继续完成索引任务。
如图2所示,ZooKeeper中存储了索引表、检索节点以及检索分配状况,利用ZooKeeper来保证分布式***的一致性。如图4所示,每个检索节点Ri启动时,首先通过ZooKeeper加锁,然后在检索节点子树中添加自己,查找未分配的索引表Tu,并将<Ri,Tu>保存到检索分配子树中。完成上述操作后解锁。在检索节点及检索分配子树中添加的节点均为临时节点,当对应的检索节点失效时,临时节点会自动删除。同时Spark会检测到节点失效并重新分配和启动检索节点,该检索节点会按照图4所示重新在ZooKeeper添加自己并获取索引表,从而保证了***在节点失效的情况下能够迅速恢复,继续完成检索任务。
(5)如图5所示,对用户指定的图像序列,首先对每个图像I进行BASE64编码得到编码结果B,并将编码后的字符串作为输入分发到已启动的索引节点S,并从ZooKeeper中获取该索引节点对应的索引表T。然后利用MD5对输入的图像编码计算图像的键值K,同时对编码结果B进行解码,并对解码后的图像提取视觉特征向量X。首先将RGB空间图像分为8x8=64块。从每一个分块中选择一种颜色作为该分块的显著颜色。可以使用任何一种显著颜色提取算法,通常本发明使用每一分块的平均颜色作为该分块的典型颜色,因为该方法简单并且其在通常情况下足够准确。并将每一分块用一像素显著颜色表示,生成8x8像素大小的小图像。再将图像从RGB空间转换到YCbCr空间。对YCbCr空间8x8小图像Y(亮度)、Cb(蓝色浓度偏移)、Cr(红色浓度偏移)通道分别做DCT变换(离散余弦变换),可以得到3x64个DCT系数(DCTY,DCTCb,DCTCr),分别表示亮度DCT系数、蓝色浓度偏移DCT系数和红色浓度偏移DCT系数。二维DCT变换如下式:
其中,G,H分别为图像的宽度和高度,Agh为图像像素点(g,h)处的值,Bpq为DCT变换结果B在坐标(p,q)处的值,αp和αq为中间变量。
然后对DCT系数(DCTY,DCTCb,DCTCr)分别进行Z字形方式扫描,得到Z字形扫描后的结果(DY,DCb,DCr),即为图像特征X。最后将[K,X,B]保存到索引表T中。
(6)如图5所示,对用户指定的待检索图像,首先对该图像进行BASE64编码得到编码结果B,并将编码后的字符串作为输入分发到已启动的检索节点Ri,并从ZooKeeper中获取该索引节点对应的索引表Tu。然后对B进行解码,并对解码后的图像提取视觉特征向量X,然后计算其与索引表Tu中保存的图像特征的相似度σ,如果两个图像的描述符分别为(DY,DCb,DCr)和(DY',DCb’,DCr'),则两个描述符的距离计算公式:
其中,wyi,wbi,wri为权重系数,分别表示Y,Cb,Cr三个通道的第i个权重,取值范围为[0,1]。如果两幅图像相同,则σ=0;如果两幅图像相似,则σ接近0。然后根据σ进行排序,将排序后的前索引表M组结果Wi={<K,σ,Tu>d|d=1,…,M}发送到输出节点,如图6所示,输出节点收到的检索结果Wi,i=1,…,N进行归并排序,保留前M组结果,并根据键值K及其对应的索引表Tu读取图像编码B,解码生成图像文件并返回图像路径。
本发明提供了一种分布式图像索引与检索方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (7)
1.一种分布式图像索引与检索方法,其特征在于,包括以下步骤:
步骤1,搭建Hadoop分布式***集群,包括HDFS分布式文件***、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群和HBase数据库;
步骤2,部署配置基于资源管理器YARN的Spark集群;
步骤3,启动图像索引流处理任务;
步骤4,启动图像检索流处理任务;
步骤5,图像索引流处理任务接收外部输入图像序列并建立索引;
步骤6,图像检索流处理任务接收待检索图像,输出检索到的相似图像。
2.根据权利要求1所述的一种分布式图像索引与检索方法,其特征在于,步骤1中,所述YARN资源管理器用于任务调度,负责集群计算资源的管理及为每个任务分配资源,所述HBase数据库用于存储图像。
3.根据权利要求2所述的一种分布式图像索引与检索方法,其特征在于,步骤2包括:在Hadoop分布式***集群上部署Spark集群,利用YARN资源管理器调度Spark集群的Spark任务容器,Hadoop分布式***集群中的工作节点包括索引节点、检索节点、以及输出节点;
其中,索引节点负责对输入的图像提取特征,并保存到指定的HBase数据库表中,供后续检索使用;
检索节点,负责对输入的待检索图像计算其与指定HBase数据库表中所存储图像的相似度,并进行排序和输出;
输出节点负责对所有检索节点返回的结果进行归并排序,并从HBase数据库中读取图像编码,然后生成原始图像,再将检索到的图像返回给用户。
4.根据权利要求3所述的一种分布式图像索引与检索方法,其特征在于,步骤3包括:在ZooKeeper分布式应用程序协调服务中建立N个索引表Ti,i=1,…,N,应用Spark流处理技术在Spark集群中建立N个索引节点Si,并为每个索引节点分配一个空闲的索引表,当一个索引节点失效时,ZooKeeper分布式应用程序协调服务中对应的索引节点和索引表分配节点自动删除,由Spark流处理技术自动新建索引节点,并在ZooKeeper分布式应用程序协调服务中重新建立对应索引节点及索引表分配节点。
5.根据权利要求4所述的一种分布式图像索引与检索方法,其特征在于,步骤4包括:Spark流处理技术在Spark集群中建立N个检索节点Ri,i=1,…,N,并为每个检索节点分配一个空闲的索引表,当一个检索节点失效时,ZooKeeper分布式应用程序协调服务中对应的检索节点和索引表分配节点自动删除,由Spark流处理技术自动新建检索节点,并在ZooKeeper分布式应用程序协调服务中重新建立对应检索节点及索引表分配节点。
6.根据权利要求5所述的一种分布式图像索引与检索方法,其特征在于,步骤5包括:对用户输入的图像序列,首先对每个图像I进行BASE64编码得到编码结果B并将编码后的字符串作为输入分发到已启动的索引节点Si,并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表Ti,然后利用MD5编码对输入的图像编码计算图像的键值K,同时对编码结果B进行解码,并对解码后的图像提取视觉特征向量X,然后将[K,X,B]保存到索引表T中。
7.根据权利要求6所述的一种分布式图像索引与检索方法,其特征在于,步骤6包括:对用户输入的待检索图像,首先对该图像进行BASE64编码得到编码结果B,并将编码后的字符串作为输入分发到已启动的检索节点Ri,并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表Tu,u∈[1,N],然后对编码结果B进行解码,并对解码后的图像提取视觉特征向量X,然后计算其与索引表Tu中保存的图像特征的相似度σ,并进行排序,将排序后的前M组结果Wi={<K,σ,Tu>d|d=1,…,M}发送到输出节点,其中d为排序的序号,输出节点对接收到的检索结果Wi进行归并排序,保留前M组结果,并根据键值K及其对应的索引表Tu读取图像编码结果B,解码生成图像文件并返回图像路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510657308.8A CN105205169B (zh) | 2015-10-12 | 2015-10-12 | 一种分布式图像索引与检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510657308.8A CN105205169B (zh) | 2015-10-12 | 2015-10-12 | 一种分布式图像索引与检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105205169A true CN105205169A (zh) | 2015-12-30 |
CN105205169B CN105205169B (zh) | 2018-06-15 |
Family
ID=54952852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510657308.8A Active CN105205169B (zh) | 2015-10-12 | 2015-10-12 | 一种分布式图像索引与检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105205169B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155798A (zh) * | 2016-08-02 | 2016-11-23 | 大连文森特软件科技有限公司 | 基于移动分布式计算的在线图像化编程*** |
CN106372127A (zh) * | 2016-08-24 | 2017-02-01 | 云南大学 | 基于Spark的大规模图数据的多样性图排序方法 |
CN106611046A (zh) * | 2016-12-16 | 2017-05-03 | 武汉中地数码科技有限公司 | 基于大数据技术的空间数据存储处理中间件框架 |
CN106777167A (zh) * | 2016-12-21 | 2017-05-31 | 中国科学院上海高等研究院 | 基于Spark框架的海量人脸图像检索***及检索方法 |
CN106844654A (zh) * | 2017-01-23 | 2017-06-13 | 公安部第三研究所 | 面向警务实战的海量视频分布式检索方法 |
CN107766147A (zh) * | 2016-08-23 | 2018-03-06 | 上海宝信软件股份有限公司 | 分布式的数据分析任务调度*** |
CN107797874A (zh) * | 2017-10-12 | 2018-03-13 | 南京中新赛克科技有限责任公司 | 一种基于嵌入式jetty和spark on yarn框架的资源管控方法 |
CN107818147A (zh) * | 2017-10-19 | 2018-03-20 | 大连大学 | 基于Voronoi图的分布式时空索引*** |
CN108121763A (zh) * | 2017-11-25 | 2018-06-05 | 无锡十月中宸科技有限公司 | 一种模式识别索引***及其索引方法 |
CN108804602A (zh) * | 2018-05-25 | 2018-11-13 | 武汉大学 | 一种基于spark的分布式空间数据存储计算方法 |
CN108874472A (zh) * | 2018-06-08 | 2018-11-23 | 福建天泉教育科技有限公司 | 一种用户头像的优化显示方法及*** |
CN109165307A (zh) * | 2018-09-19 | 2019-01-08 | 腾讯科技(深圳)有限公司 | 一种特征检索方法、装置和存储介质 |
CN109189969A (zh) * | 2018-10-22 | 2019-01-11 | 镇江悦乐网络科技有限公司 | 一种基于图像序列的三维cg动画检索方法 |
CN109598348A (zh) * | 2017-09-28 | 2019-04-09 | 北京猎户星空科技有限公司 | 一种图像样本获取、模型训练方法及*** |
CN109918184A (zh) * | 2019-03-01 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 图片处理***、方法及相关装置和设备 |
CN110209853A (zh) * | 2019-06-14 | 2019-09-06 | 重庆紫光华山智安科技有限公司 | 车辆的图片搜索方法、装置和设备 |
CN110262881A (zh) * | 2019-06-12 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种Spark作业的提交方法及装置 |
CN112131424A (zh) * | 2020-09-22 | 2020-12-25 | 深圳市天维大数据技术有限公司 | 一种分布式图像分析方法及*** |
CN112307829A (zh) * | 2019-07-31 | 2021-02-02 | 北京博雅慧视智能技术研究院有限公司 | 一种数字视网膜海量目标检索时空矩阵呈现方法 |
CN113485934A (zh) * | 2021-07-23 | 2021-10-08 | 掌阅科技股份有限公司 | 分布式指标数据采集方法、电子设备及存储介质 |
-
2015
- 2015-10-12 CN CN201510657308.8A patent/CN105205169B/zh active Active
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155798A (zh) * | 2016-08-02 | 2016-11-23 | 大连文森特软件科技有限公司 | 基于移动分布式计算的在线图像化编程*** |
CN107766147A (zh) * | 2016-08-23 | 2018-03-06 | 上海宝信软件股份有限公司 | 分布式的数据分析任务调度*** |
CN106372127A (zh) * | 2016-08-24 | 2017-02-01 | 云南大学 | 基于Spark的大规模图数据的多样性图排序方法 |
CN106372127B (zh) * | 2016-08-24 | 2019-05-03 | 云南大学 | 基于Spark的大规模图数据的多样性图排序方法 |
CN106611046A (zh) * | 2016-12-16 | 2017-05-03 | 武汉中地数码科技有限公司 | 基于大数据技术的空间数据存储处理中间件框架 |
CN106777167A (zh) * | 2016-12-21 | 2017-05-31 | 中国科学院上海高等研究院 | 基于Spark框架的海量人脸图像检索***及检索方法 |
CN106777167B (zh) * | 2016-12-21 | 2020-05-12 | 中国科学院上海高等研究院 | 基于Spark框架的海量人脸图像检索***及检索方法 |
CN106844654A (zh) * | 2017-01-23 | 2017-06-13 | 公安部第三研究所 | 面向警务实战的海量视频分布式检索方法 |
CN109598348A (zh) * | 2017-09-28 | 2019-04-09 | 北京猎户星空科技有限公司 | 一种图像样本获取、模型训练方法及*** |
CN107797874A (zh) * | 2017-10-12 | 2018-03-13 | 南京中新赛克科技有限责任公司 | 一种基于嵌入式jetty和spark on yarn框架的资源管控方法 |
CN107797874B (zh) * | 2017-10-12 | 2021-04-27 | 南京中新赛克科技有限责任公司 | 一种基于嵌入式jetty和spark on yarn框架的资源管控方法 |
CN107818147A (zh) * | 2017-10-19 | 2018-03-20 | 大连大学 | 基于Voronoi图的分布式时空索引*** |
CN108121763A (zh) * | 2017-11-25 | 2018-06-05 | 无锡十月中宸科技有限公司 | 一种模式识别索引***及其索引方法 |
CN108804602A (zh) * | 2018-05-25 | 2018-11-13 | 武汉大学 | 一种基于spark的分布式空间数据存储计算方法 |
CN108874472A (zh) * | 2018-06-08 | 2018-11-23 | 福建天泉教育科技有限公司 | 一种用户头像的优化显示方法及*** |
CN108874472B (zh) * | 2018-06-08 | 2022-04-12 | 福建天泉教育科技有限公司 | 一种用户头像的优化显示方法及*** |
CN109165307A (zh) * | 2018-09-19 | 2019-01-08 | 腾讯科技(深圳)有限公司 | 一种特征检索方法、装置和存储介质 |
CN109189969A (zh) * | 2018-10-22 | 2019-01-11 | 镇江悦乐网络科技有限公司 | 一种基于图像序列的三维cg动画检索方法 |
CN109918184B (zh) * | 2019-03-01 | 2023-09-26 | 腾讯科技(深圳)有限公司 | 图片处理***、方法及相关装置和设备 |
CN109918184A (zh) * | 2019-03-01 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 图片处理***、方法及相关装置和设备 |
CN110262881A (zh) * | 2019-06-12 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种Spark作业的提交方法及装置 |
CN110209853A (zh) * | 2019-06-14 | 2019-09-06 | 重庆紫光华山智安科技有限公司 | 车辆的图片搜索方法、装置和设备 |
CN112307829A (zh) * | 2019-07-31 | 2021-02-02 | 北京博雅慧视智能技术研究院有限公司 | 一种数字视网膜海量目标检索时空矩阵呈现方法 |
CN112307829B (zh) * | 2019-07-31 | 2024-05-03 | 北京博雅慧视智能技术研究院有限公司 | 一种数字视网膜海量目标检索时空矩阵呈现方法 |
CN112131424A (zh) * | 2020-09-22 | 2020-12-25 | 深圳市天维大数据技术有限公司 | 一种分布式图像分析方法及*** |
CN113485934A (zh) * | 2021-07-23 | 2021-10-08 | 掌阅科技股份有限公司 | 分布式指标数据采集方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105205169B (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105205169A (zh) | 一种分布式图像索引与检索方法 | |
US10282366B2 (en) | Multi-dimensional decomposition computing method and system | |
CN107480163A (zh) | 一种云环境下支持隐私保护的高效密文图像检索方法 | |
CN106254458B (zh) | 一种基于云机器人视觉的图像处理方法、平台及*** | |
CN106897295B (zh) | 一种基于Hadoop的输电线路监控视频分布式检索方法 | |
CN105354202B (zh) | 数据推送方法及装置 | |
CN111178408A (zh) | 基于联邦随机森林学习的健康监护模型构建方法、*** | |
CN106933833A (zh) | 一种基于空间索引技术的位置信息快速查询方法 | |
CN108664914A (zh) | 人脸检索方法、装置及服务器 | |
CN112600697B (zh) | 基于联邦学习的QoS预测方法及***、客户端和服务端 | |
Bothe et al. | Skyline query processing over encrypted data: An attribute-order-preserving-free approach | |
CN104303176A (zh) | 查询处理 | |
CN110119396A (zh) | 数据管理方法及相关产品 | |
CN109614521A (zh) | 一种高效的隐私保护子图查询处理方法 | |
CN107172430B (zh) | 文字块的编码方法和装置 | |
CN104182546B (zh) | 数据库的数据查询方法及装置 | |
CN107426580B (zh) | 基于朱刘法和蚁群法的群体图像编码结构生成方法 | |
Wang et al. | QPIN: a quantum-inspired preference interactive network for E-commerce recommendation | |
He et al. | Byzantine-robust stochastic gradient descent for distributed low-rank matrix completion | |
CN116955698A (zh) | 一种匹配模型训练方法、装置、电子设备及存储介质 | |
CN110502662A (zh) | 一种异构数据处理***及方法 | |
Qi et al. | An efficient deep learning hashing neural network for mobile visual search | |
CN114359484A (zh) | 模型目录树重组方法、装置、计算机设备和存储介质 | |
CN113869859A (zh) | 事件审批人员的替换方法、装置、终端设备和存储介质 | |
CN113407702A (zh) | 员工合作关系强度量化方法、***、计算机和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |