CN105550222A - 一种基于分布式存储的图像服务***及方法 - Google Patents

一种基于分布式存储的图像服务***及方法 Download PDF

Info

Publication number
CN105550222A
CN105550222A CN201510886086.7A CN201510886086A CN105550222A CN 105550222 A CN105550222 A CN 105550222A CN 201510886086 A CN201510886086 A CN 201510886086A CN 105550222 A CN105550222 A CN 105550222A
Authority
CN
China
Prior art keywords
picture
feature
module
distributed storage
hdfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510886086.7A
Other languages
English (en)
Other versions
CN105550222B (zh
Inventor
陈天莹
张超
吴杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic Technology Cyber Security Co Ltd
Original Assignee
China Electronic Technology Cyber Security Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic Technology Cyber Security Co Ltd filed Critical China Electronic Technology Cyber Security Co Ltd
Priority to CN201510886086.7A priority Critical patent/CN105550222B/zh
Publication of CN105550222A publication Critical patent/CN105550222A/zh
Application granted granted Critical
Publication of CN105550222B publication Critical patent/CN105550222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种基于分布式存储的图像服务***，包括图片接收模块、特征分析模块、特征库、图片缓存服务器、HDFS、特征匹配模块、对检索图片产生的检索结果进行分布式缓存以备下一次直接使用的缓存管理模块、输出图片检索结果的图片输出模块、根据图片检索结果进行相似图片合并处理并再次存入所述HDFS以优化图片存储提高同一大文件中的图片相似度的反馈处理模块、对所述HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的离线文件优化模块、对所述HDFS中存储的图片进行图像分析和处理以优化图像存储的图像优化模块。本发明还公开了通过基于分布式存储的图像服务***来实现的一种基于分布式存储的图像服务方法。<!-- 2 -->

Description

一种基于分布式存储的图像服务***及方法
技术领域
本发明涉及一种云计算与大数据领域，尤其涉及一种基于分布式存储的图像服务***及方法。
背景技术
HDFS对小文件的读写性能较差，当前的普通图片几乎都是小文件，如果需要在HDFS中存储海量图片，需要把小文件合并成大文件，建立索引，再存入HDFS。在使用图像检索服务时，图像检索得到的结果经常是一个N个图片集合，在最坏情况下，要得到N个图片，若每个图片在不同的大文件中，则需要去打开并读取N个大文件。N个图片的集合，由于是通过特征相似性匹配得出的，其实是特征相似的。特征相似的图片，在以后的检索中，很可能会再次一起出现。但是现在没有对这样的情况进行优化，存储于HDFS中图片有可能有重复的，或者特征相似度最接近的图片被存储在不同大文件中，当检索后需要提取这些相似图片时，需要打开多个大文件进行读取，降低了效率。
发明内容
为了解决上述问题，本发明提供一种能够提高图片检索效率和准确度的基于分布式存储的图像服务***及方法。
本发明的一种基于分布式存储的图像服务***，包括接收需要存储和需要检索的图片的图片接收模块、对所述图片接收模块接收到的图片根据图像特征提取算法提取图片特征的特征分析模块、将所述特征分析模块提取的需要存储的图片的图片特征进行存储的特征库、将所述图片接收模块接收到需要存储的图片存入缓存并根据所述特征分析模块提取到需要存储的图片的图片特征相似性对图片进行分类合并的图片缓存服务器、用于存储由所述图片缓存模块合并的图片组成的大文件的HDFS、将所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行匹配的特征匹配模块、对检索图片产生的检索结果进行分布式缓存以备下一次直接使用的缓存管理模块、输出图片检索结果的图片输出模块、根据图片检索结果进行相似图片合并处理并再次存入所述HDFS以优化图片存储提高同一大文件中的图片相似度的反馈处理模块、对所述HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的离线文件优化模块、对所述HDFS中存储的图片进行图像分析和处理以优化图像存储的图像优化模块。
本发明的一种基于分布式存储的图像服务方法，通过基于分布式存储的图像服务***来实现图片存储管理、图片检索管理、缓存管理以及优化处理。
其中，所述图片存储管理包括如下步骤：
s11、通过所述基于分布式存储的图像服务***中的图片接收模块接收需要存储的图片，进入步骤s2；
s12、通过所述基于分布式存储的图像服务***中的特征分析模块提取所述步骤s1中接收到的图片的特征，同时将接收到的图片存入所述基于分布式存储的图像服务***中的图片缓存服务器，同时进入步骤s3；
s13、将所述步骤s2中提取到的图片特征存入所述基于分布式存储的图像服务***中的特征库，进入步骤s4；
s14、将所述步骤s2中提取到的图片特征发送到图片缓存服务器，由所述图片缓存服务器根据图片特征对相似图片进行合并处理，将由合并处理后的图片组成的大文件存入HDFS中，进入步骤s5；
s15、通过所述图片缓存服务器建立图片在大文件中的索引以及图片特征与图片存储地址的映射关系。
所述图片检索管理包括如下步骤：
s21、输入需要检索的图片，通过所述图片接收模块接收图片，进入步骤s22；
s22、通过所述特征分析模块根据图像特征提取算法对所述步骤s21中接收到的待检索图片进行特征分析，提取待检索图片的图片特征，进入步骤s23；
s23、将所述步骤s22中分分析出的待检索图片的图片特征通过所述基于分布式存储的图像服务***中的特征分析模块与所述特征库中的特征进行匹配，在特征库中根据待检索图片的图片特征匹配相似的特征，进入步骤s24；
s24、根据所述步骤s23中匹配的特征找到图片特征与图片地址的映射关系，依据该映射关系查到HDFS中相关的所有大文件，进入步骤s25；
s25、根据图片特征对应的图片在大文件中的索引，得到与所述步骤s23中匹配的特征匹配的具体图片，进入步骤s26；
s26、判断所述步骤s25中得到的具体图片是否在缓存中，若是，进入步骤s27；若不是，进入步骤s28；
s27、直径从缓存中提取图片通过所述基于分布式存储的图像服务***中的图片输出模块作为检索结果展示；进入步骤s210；
s28、从HDFS中提取所述步骤s25中得到的图片并通过所述图片输出模块作为检索结果展示，进入步骤s29；
s29、根据展示结果通过所述基于分布式存储的图像服务***中的缓存管理模块更新缓存，进入步骤s210；
s210、图片检索结束。
所述缓存管理包括如下步骤：
s31、获取图片检索结果，进入步骤s32；
s32、对图片检索结果按照特征相似度进行合并处理，进入步骤s33；
s33、经过合并处理后的图片组成的文件存入HDFS中，进入步骤s34；
s34、根据所述步骤s33中更新HDFS中图片存储带来的改变，更新图片在大文件中的索引以及图片特征与图片存储地址的映射关系。
所述优化处理是通过所述基于分布式存储的图像服务***中的离线文件优化模块对HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的文件优化以及通过所述基于分布式存储的图像服务***中的图像优化模块对所述HDFS中存储的大文件中的图片重新进行图像分析处理以提高图片存储性能和图片特征相似度的图片优化。
采用本发明的基于分布式存储的图像服务***及方法，通过三个相似图片合并策略，即通过图片缓存服务器、离线文件处理模块、反馈处理模块对相似图片的存储进行优化，提高存储图片的特征相似度，以提高图片检索的准确性和效率。同时，用HDFS里的图片数据，进行卷积神经网络的训练，得到的网络可以去提取图片特征；通过MapReduce或Spark进行聚类或其他分析服务；对查询结果进行图像处理，极大的优化了图片存储。
附图说明
图1是本发明的基于分布式存储的图像服务***的架构组成示意图；
图2是本发明的基于分布式存储的图像服务方法主流程示意图；
图3是本发明的基于分布式存储的图像服务方法中的图片存储管理流程示意图；
图4是本发明的基于分布式存储的图像服务方法中的图片检索管理流程示意图；
图5是本发明的基于分布式存储的图像服务方法中的缓存管理流程示意图。
具体实施方式
为了更好的理解本发明，下面结合附图详细说明本发明。
如图1所示，本发明的一种基于分布式存储的图像服务***，包括接收需要存储和需要检索的图片的图片接收模块、对所述图片接收模块接收到的图片根据图像特征提取算法提取图片特征的特征分析模块、将所述特征分析模块提取的需要存储的图片的图片特征进行存储的特征库、将所述图片接收模块接收到需要存储的图片存入缓存并根据所述特征分析模块提取到需要存储的图片的图片特征相似性对图片进行分类合并的图片缓存服务器、用于存储由所述图片缓存模块合并的图片组成的大文件的HDFS、将所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行匹配的特征匹配模块、对检索图片产生的检索结果进行分布式缓存以备下一次直接使用的缓存管理模块、输出图片检索结果的图片输出模块、根据图片检索结果进行相似图片合并处理并再次存入所述HDFS以优化图片存储提高同一大文件中的图片相似度的反馈处理模块、对所述HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的离线文件优化模块、对所述HDFS中存储的图片进行图像分析和处理以优化图像存储的图像优化模块。
优选地，所述图片缓存服务器针对相似图片合并后组成的大文件建立图片与大文件的索引；所述图片缓存服务器根据图片特征建立图片特征与图片存储地址的映射关系。
优选地，所述存储的每一图片的图片特征与图片存储地址一一对应。
优选地，所述特征匹配模块根据所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行比较，找到最相似的N个特征(N>＝1),根据特征与图片存储地址的一一对应关系，找到所述N个特征对应的图片地址以找到相应的大文件，并根据图片在大文件中的索引，取出具体的N个图片。
优选地，所述图像优化模块对所述HDFS中的图片通过MapReduce进行图像分析和处理。
优选地，所述图像优化模块对所述HDFS中的图片通过Spark进行图像分析和处理。
优选地，所述图像优化模块对所述HDFS中的图片进行卷积神经网络训练、聚类分析、去模糊、去噪以及去雾处理。
本发明的一种基于分布式存储的图像服务方法，通过基于分布式存储的图像服务***来实现图片存储管理、图片检索管理、缓存管理以及优化处理；其中，所述图片存储管理包括如下步骤：
s11、通过所述基于分布式存储的图像服务***中的图片接收模块接收需要存储的图片，进入步骤s2；
s12、通过所述基于分布式存储的图像服务***中的特征分析模块提取所述步骤s1中接收到的图片的特征，同时将接收到的图片存入所述基于分布式存储的图像服务***中的图片缓存服务器，同时进入步骤s3；
s13、将所述步骤s2中提取到的图片特征存入所述基于分布式存储的图像服务***中的特征库，进入步骤s4；
s14、将所述步骤s2中提取到的图片特征发送到图片缓存服务器，由所述图片缓存服务器根据图片特征对相似图片进行合并处理，将由合并处理后的图片组成的大文件存入HDFS中，进入步骤s5；
s15、通过所述图片缓存服务器建立图片在大文件中的索引以及图片特征与图片存储地址的映射关系。
所述图片检索管理包括如下步骤：
s21、输入需要检索的图片，通过所述图片接收模块接收图片，进入步骤s22；
s22、通过所述特征分析模块根据图像特征提取算法对所述步骤s21中接收到的待检索图片进行特征分析，提取待检索图片的图片特征，进入步骤s23；
s23、将所述步骤s22中分分析出的待检索图片的图片特征通过所述基于分布式存储的图像服务***中的特征分析模块与所述特征库中的特征进行匹配，在特征库中根据待检索图片的图片特征匹配相似的特征，进入步骤s24；
s24、根据所述步骤s23中匹配的特征找到图片特征与图片地址的映射关系，依据该映射关系查到HDFS中相关的所有大文件，进入步骤s25；
s25、根据图片特征对应的图片在大文件中的索引，得到与所述步骤s23中匹配的特征匹配的具体图片，进入步骤s26；
s26、判断所述步骤s25中得到的具体图片是否在缓存中，若是，进入步骤s27；若不是，进入步骤s28；
s27、直径从缓存中提取图片通过所述基于分布式存储的图像服务***中的图片输出模块作为检索结果展示；进入步骤s210；
s28、从HDFS中提取所述步骤s25中得到的图片并通过所述图片输出模块作为检索结果展示，进入步骤s29；
s29、根据展示结果通过所述基于分布式存储的图像服务***中的缓存管理模块更新缓存，进入步骤s210；
s210、图片检索结束。
所述缓存管理包括如下步骤：
s31、获取图片检索结果，进入步骤s32；
s32、对图片检索结果按照特征相似度进行合并处理，进入步骤s33；
s33、经过合并处理后的图片组成的文件存入HDFS中，进入步骤s34；
s34、根据所述步骤s33中更新HDFS中图片存储带来的改变，更新图片在大文件中的索引以及图片特征与图片存储地址的映射关系。
所述优化处理是通过所述基于分布式存储的图像服务***中的离线文件优化模块对HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的文件优化以及通过所述基于分布式存储的图像服务***中的图像优化模块对所述HDFS中存储的大文件中的图片重新进行图像分析处理以提高图片存储性能和图片特征相似度的图片优化。
优选地，所述存储的每一图片的图片特征与图片存储地址一一对应。
优选地，通过所述特征匹配模块根据所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行比较，找到最相似的N个特征(N>＝1),找到的最相似N个特征与图片存储地址的一一对应关系，找到所述N个特征对应的图片地址以找到相应的大文件，并根据图片在大文件中的索引，取出具体的N个图片。
优选地，通过所述图像优化模块对所述HDFS中的图片通过MapReduce技术进行图像分析和处理。
优选地，通过所述图像优化模块对所述HDFS中的图片通过Spark技术进行图像分析和处理。
优选地，所述图像优化模块对所述HDFS中的图片进行卷积神经网络训练、聚类分析、去模糊、去噪以及去雾处理。
采用本发明的基于分布式存储的图像服务***及方法，通过三个相似图片合并策略，即通过图片缓存服务器、离线文件处理模块、反馈处理模块对相似图片的存储进行优化，提高存储于同一大文件中的图片的特征相似度，以提高图片检索的准确性和效率。同时，利用HDFS里的图片数据，进行卷积神经网络的训练，得到的网络可以去提取图片特征；通过MapReduce或Spark进行聚类或其他分析服务；对查询结果进行图像处理，极大的优化了图片存储。采用本发明的***和方法，有效的改进了图像服务***的性能，提高服务即图片检索的准确性
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (13)

1.一种基于分布式存储的图像服务***，其特征在于，所述基于分布式存储的图像服务***包括接收需要存储和需要检索的图片的图片接收模块、对所述图片接收模块接收到的图片根据图像特征提取算法提取图片特征的特征分析模块、将所述特征分析模块提取的需要存储的图片的图片特征进行存储的特征库、将所述图片接收模块接收到需要存储的图片存入缓存并根据所述特征分析模块提取到需要存储的图片的图片特征相似性对图片进行分类合并的图片缓存服务器、用于存储由所述图片缓存模块合并的图片组成的大文件的HDFS、将所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行匹配的特征匹配模块、对检索图片产生的检索结果进行分布式缓存以备下一次直接使用的缓存管理模块、输出图片检索结果的图片输出模块、根据图片检索结果进行相似图片合并处理并再次存入所述HDFS以优化图片存储提高同一大文件中的图片相似度的反馈处理模块、对所述HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的离线文件优化模块、对所述HDFS中存储的图片进行图像分析和处理以优化图像存储的图像优化模块。
2.根据权利要求1所述的基于分布式存储的图像服务***，其特征在于，所述图片缓存服务器针对相似图片合并后组成的大文件建立图片与大文件的索引；所述图片缓存服务器根据图片特征建立图片特征与图片存储地址的映射关系。
3.根据权利要求2所述的基于分布式存储的图像服务***，其特征在于，所述存储的每一图片的图片特征与图片存储地址一一对应。
4.根据权利要求1所述的基于分布式存储的图像服务***，其特征在于，所述特征匹配模块根据所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行比较，找到最相似的N个特征(N>＝1),根据特征与图片存储地址的一一对应关系，找到所述N个特征对应的图片地址以找到相应的大文件，并根据图片在大文件中的索引，取出具体的N个图片。
5.根据权利要求1所的基于分布式存储的图像服务***，其特征在于，所述图像优化模块对所述HDFS中的图片通过MapReduce进行图像分析和处理。
6.根据权利要求1所述的基于分布式存储的图像服务***，其特征在于，所述图像优化模块对所述HDFS中的图片通过Spark进行图像分析和处理。
7.根据权利要求5或6所述的基于分布式存储的图像服务***，其特征在于，所述图像优化模块对所述HDFS中的图片进行卷积神经网络训练、聚类分析、去模糊、去噪以及去雾处理。
8.一种基于分布式存储的图像服务方法，其特征在于，所述基于分布式存储的图像服务方法通过基于分布式存储的图像服务***来实现图片存储管理、图片检索管理、缓存管理以及优化处理；
所述图片存储管理包括如下步骤：
s11、通过所述基于分布式存储的图像服务***中的图片接收模块接收需要存储的图片，进入步骤s2；
s12、通过所述基于分布式存储的图像服务***中的特征分析模块提取所述步骤s1中接收到的图片的特征，同时将接收到的图片存入所述基于分布式存储的图像服务***中的图片缓存服务器，同时进入步骤s3；
s13、将所述步骤s2中提取到的图片特征存入所述基于分布式存储的图像服务***中的特征库，进入步骤s4；
s14、将所述步骤s2中提取到的图片特征发送到图片缓存服务器，由所述图片缓存服务器根据图片特征对相似图片进行合并处理，将由合并处理后的图片组成的大文件存入HDFS中，进入步骤s5；
s15、通过所述图片缓存服务器建立图片在大文件中的索引以及图片特征与图片存储地址的映射关系；
所述图片检索管理包括如下步骤：
s21、输入需要检索的图片，通过所述图片接收模块接收图片，进入步骤s22；
s22、通过所述特征分析模块根据图像特征提取算法对所述步骤s21中接收到的待检索图片进行特征分析，提取待检索图片的图片特征，进入步骤s23；
s23、将所述步骤s22中分分析出的待检索图片的图片特征通过所述基于分布式存储的图像服务***中的特征分析模块与所述特征库中的特征进行匹配，在特征库中根据待检索图片的图片特征匹配相似的特征，进入步骤s24；
s24、根据所述步骤s23中匹配的特征找到图片特征与图片地址的映射关系，依据该映射关系查到HDFS中相关的所有大文件，进入步骤s25；
s25、根据图片特征对应的图片在大文件中的索引，得到与所述步骤s23中匹配的特征匹配的具体图片，进入步骤s26；
s26、判断所述步骤s25中得到的具体图片是否在缓存中，若是，进入步骤s27；若不是，进入步骤s28；
s27、直径从缓存中提取图片通过所述基于分布式存储的图像服务***中的图片输出模块作为检索结果展示；进入步骤s210；
s28、从HDFS中提取所述步骤s25中得到的图片并通过所述图片输出模块作为检索结果展示，进入步骤s29；
s29、根据展示结果通过所述基于分布式存储的图像服务***中的缓存管理模块更新缓存，进入步骤s210；
s210、图片检索结束；
所述缓存管理包括如下步骤：
s31、获取图片检索结果，进入步骤s32；
s32、对图片检索结果按照特征相似度进行合并处理，进入步骤s33；
s33、经过合并处理后的图片组成的文件存入HDFS中，进入步骤s34；
s34、根据所述步骤s33中更新HDFS中图片存储带来的改变，更新图片在大文件中的索引以及图片特征与图片存储地址的映射关系；
所述优化处理是通过所述基于分布式存储的图像服务***中的离线文件优化模块对HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的文件优化以及通过所述基于分布式存储的图像服务***中的图像优化模块对所述HDFS中存储的大文件中的图片重新进行图像分析处理以提高图片存储性能和图片特征相似度的图片优化。
9.根据权利要求8所述的基于分布式存储的图像服务方法，其特征在于，所述存储的每一图片的图片特征与图片存储地址一一对应。
10.根据权利要求8所述的基于分布式存储的图像服务方法，其特征在于，通过所述特征匹配模块根据所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行比较，找到最相似的N个特征(N>＝1),找到的最相似N个特征与图片存储地址的一一对应关系，找到所述N个特征对应的图片地址以找到相应的大文件，并根据图片在大文件中的索引，取出具体的N个图片。
11.根据权利要求8所述的基于分布式存储的图像服务方法，其特征在于，通过所述图像优化模块对所述HDFS中的图片通过MapReduce进行图像分析和处理。
12.根据权利要求8所述的基于分布式存储的图像服务方法，其特征在于，通过所述图像优化模块对所述HDFS中的图片通过Spark进行图像分析和处理。
13.根据权利要求11或12所述的基于分布式存储的图像服务方法，其特征在于，所述图像优化模块对所述HDFS中的图片进行卷积神经网络训练、聚类分析、去模糊、去噪以及去雾处理。
CN201510886086.7A 2015-12-07 2015-12-07 一种基于分布式存储的图像服务***及方法 Active CN105550222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510886086.7A CN105550222B (zh) 2015-12-07 2015-12-07 一种基于分布式存储的图像服务***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510886086.7A CN105550222B (zh) 2015-12-07 2015-12-07 一种基于分布式存储的图像服务***及方法

Publications (2)

Publication Number Publication Date
CN105550222A true CN105550222A (zh) 2016-05-04
CN105550222B CN105550222B (zh) 2019-04-05

Family

ID=55829411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510886086.7A Active CN105550222B (zh) 2015-12-07 2015-12-07 一种基于分布式存储的图像服务***及方法

Country Status (1)

Country Link
CN (1) CN105550222B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383891A (zh) * 2016-09-22 2017-02-08 重庆理工大学 一种基于深度哈希的医学图像分布式检索方法
CN106874219A (zh) * 2016-12-23 2017-06-20 深圳云天励飞技术有限公司 一种卷积神经网络的数据调度方法、***及计算机设备
CN107315809A (zh) * 2017-06-27 2017-11-03 山东浪潮通软信息科技有限公司 一种基于Spark平台的集团新闻数据预处理方法
CN107506362A (zh) * 2016-11-23 2017-12-22 上海大学 基于用户群优化的图像分类仿脑存储方法
CN108038847A (zh) * 2017-12-05 2018-05-15 国网内蒙古东部电力有限公司 基于深度学习的变压器巡检图像智能识别和故障检测***
CN108664495A (zh) * 2017-03-28 2018-10-16 广东神马搜索科技有限公司 一种多段索引并行检索与算分的检索方法、装置及设备
CN108776758A (zh) * 2018-04-13 2018-11-09 西安电子科技大学 一种雾存储中支持动态所有权管理的块级数据去重方法
CN108846142A (zh) * 2018-07-12 2018-11-20 南方电网调峰调频发电有限公司 一种文本聚类方法、装置、设备及可读存储介质
CN110019870A (zh) * 2017-12-29 2019-07-16 浙江宇视科技有限公司 基于内存图像集群的图像检索方法及***
CN111242321A (zh) * 2019-04-18 2020-06-05 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
CN111597375A (zh) * 2020-05-19 2020-08-28 清华大学 基于相似图片组代表特征向量的图片检索方法及相关设备
CN112200740A (zh) * 2020-10-08 2021-01-08 华中科技大学 一种基于图像边缘检测的图像分块去重方法和***
CN115129921A (zh) * 2022-06-30 2022-09-30 重庆紫光华山智安科技有限公司 图片检索方法、装置、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090172050A1 (en) * 2008-01-02 2009-07-02 Sandisk Il Ltd. Dual representation of stored digital content
CN102436491A (zh) * 2011-11-08 2012-05-02 张三明 一种基于BigBase的海量图片搜索***及方法
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和***
CN104199899A (zh) * 2014-08-26 2014-12-10 浪潮(北京)电子信息产业有限公司 一种基于Hbase的海量图片存储方法及装置
US20150125133A1 (en) * 2013-11-06 2015-05-07 Konkuk University Industrial Cooperation Corp. Method for transcoding multimedia, and hadoop-based multimedia transcoding system for performing the method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090172050A1 (en) * 2008-01-02 2009-07-02 Sandisk Il Ltd. Dual representation of stored digital content
CN102436491A (zh) * 2011-11-08 2012-05-02 张三明 一种基于BigBase的海量图片搜索***及方法
US20150125133A1 (en) * 2013-11-06 2015-05-07 Konkuk University Industrial Cooperation Corp. Method for transcoding multimedia, and hadoop-based multimedia transcoding system for performing the method
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和***
CN104199899A (zh) * 2014-08-26 2014-12-10 浪潮(北京)电子信息产业有限公司 一种基于Hbase的海量图片存储方法及装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383891B (zh) * 2016-09-22 2019-04-23 重庆理工大学 一种基于深度哈希的医学图像分布式检索方法
CN106383891A (zh) * 2016-09-22 2017-02-08 重庆理工大学 一种基于深度哈希的医学图像分布式检索方法
CN107506362A (zh) * 2016-11-23 2017-12-22 上海大学 基于用户群优化的图像分类仿脑存储方法
CN107506362B (zh) * 2016-11-23 2021-02-23 上海大学 基于用户群优化的图像分类仿脑存储方法
CN106874219A (zh) * 2016-12-23 2017-06-20 深圳云天励飞技术有限公司 一种卷积神经网络的数据调度方法、***及计算机设备
CN108664495A (zh) * 2017-03-28 2018-10-16 广东神马搜索科技有限公司 一种多段索引并行检索与算分的检索方法、装置及设备
CN107315809A (zh) * 2017-06-27 2017-11-03 山东浪潮通软信息科技有限公司 一种基于Spark平台的集团新闻数据预处理方法
CN108038847A (zh) * 2017-12-05 2018-05-15 国网内蒙古东部电力有限公司 基于深度学习的变压器巡检图像智能识别和故障检测***
CN110019870A (zh) * 2017-12-29 2019-07-16 浙江宇视科技有限公司 基于内存图像集群的图像检索方法及***
CN108776758A (zh) * 2018-04-13 2018-11-09 西安电子科技大学 一种雾存储中支持动态所有权管理的块级数据去重方法
CN108776758B (zh) * 2018-04-13 2021-08-17 西安电子科技大学 一种雾存储中支持动态所有权管理的块级数据去重方法
CN108846142A (zh) * 2018-07-12 2018-11-20 南方电网调峰调频发电有限公司 一种文本聚类方法、装置、设备及可读存储介质
CN111242321A (zh) * 2019-04-18 2020-06-05 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US11762690B2 (en) 2019-04-18 2023-09-19 Cambricon Technologies Corporation Limited Data processing method and related products
CN111242321B (zh) * 2019-04-18 2023-09-26 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
CN111597375A (zh) * 2020-05-19 2020-08-28 清华大学 基于相似图片组代表特征向量的图片检索方法及相关设备
CN112200740A (zh) * 2020-10-08 2021-01-08 华中科技大学 一种基于图像边缘检测的图像分块去重方法和***
CN115129921A (zh) * 2022-06-30 2022-09-30 重庆紫光华山智安科技有限公司 图片检索方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN105550222B (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN105550222A (zh) 一种基于分布式存储的图像服务***及方法
CN111522986B (zh) 图像检索方法、装置、设备和介质
US20210233319A1 (en) Context-aware tagging for augmented reality environments
CN111897875A (zh) 城市多源异构数据的融合处理方法、装置和计算机设备
CN103324552A (zh) 两阶段单实例去重数据备份方法
CN110311953B (zh) 一种媒体资料上传与存储***及方法
CN102880854B (zh) 基于分布式和哈希映射的室外海量物体识别方法和***
CN110489475B (zh) 一种多源异构数据处理方法、***及相关装置
US10733454B2 (en) Transformation of video streams
US10783127B2 (en) Componentized data storage
CN107317838A (zh) 一种基于流式数据处理架构的天文元数据归档方法及***
US9519543B2 (en) Method and apparatus for image search using feature point
CN111625552B (zh) 数据收集方法、装置、设备和可读存储介质
KR102633433B1 (ko) 얼굴이미지의 분류방법, 분류장치, 전자기기 및 저장매체
KR101329102B1 (ko) 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
US20120163475A1 (en) Fast matching system for digital video
US11509669B2 (en) Network data timeline
CN109600625B (zh) 一种节目搜索方法、装置、设备及介质
CN105227386A (zh) 用于分群体统计在线用户数的方法、装置及***
CN114398520A (zh) 数据检索方法、***、装置、电子设备及存储介质
CN107590233B (zh) 一种文件管理方法及装置
CN103778258A (zh) 一种数据库数据的发送、接收方法、客户端、服务器
CN106557503A (zh) 一种图像检索的方法和***
US8156133B2 (en) Modifying an electronic graphics file to be searchable according to annotation information
CN106708876B (zh) 一种基于Lucene的相似视频检索方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant