CN104035949A - 一种基于局部敏感哈希改进算法的相似性数据检索方法 - Google Patents
一种基于局部敏感哈希改进算法的相似性数据检索方法 Download PDFInfo
- Publication number
- CN104035949A CN104035949A CN201310664350.3A CN201310664350A CN104035949A CN 104035949 A CN104035949 A CN 104035949A CN 201310664350 A CN201310664350 A CN 201310664350A CN 104035949 A CN104035949 A CN 104035949A
- Authority
- CN
- China
- Prior art keywords
- hash
- data
- hash table
- family
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310664350.3A CN104035949B (zh) | 2013-12-10 | 2013-12-10 | 一种基于局部敏感哈希改进算法的相似性数据检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310664350.3A CN104035949B (zh) | 2013-12-10 | 2013-12-10 | 一种基于局部敏感哈希改进算法的相似性数据检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104035949A true CN104035949A (zh) | 2014-09-10 |
CN104035949B CN104035949B (zh) | 2017-05-10 |
Family
ID=51466720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310664350.3A Expired - Fee Related CN104035949B (zh) | 2013-12-10 | 2013-12-10 | 一种基于局部敏感哈希改进算法的相似性数据检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104035949B (zh) |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104516946A (zh) * | 2014-11-27 | 2015-04-15 | 宁波大学 | 一种基于高维数据过滤器的近似成员查询方法 |
CN104731882A (zh) * | 2015-03-11 | 2015-06-24 | 北京航空航天大学 | 一种基于哈希编码加权排序的自适应查询方法 |
CN104778234A (zh) * | 2015-03-31 | 2015-07-15 | 南京邮电大学 | 基于局部敏感哈希技术的多标记文件近邻查询方法 |
CN104866471A (zh) * | 2015-06-05 | 2015-08-26 | 南开大学 | 一种基于局部敏感哈希策略的实例匹配方法 |
CN105095435A (zh) * | 2015-07-23 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种图像高维特征的相似比较方法及装置 |
CN105183792A (zh) * | 2015-08-21 | 2015-12-23 | 东南大学 | 一种基于局部敏感哈希的分布式快速文本分类方法 |
CN105989078A (zh) * | 2015-02-11 | 2016-10-05 | 烟台中科网络技术研究所 | 一种结构化对等网络构建索引的方法、检索方法、装置及*** |
CN106570141A (zh) * | 2016-11-04 | 2017-04-19 | 中国科学院自动化研究所 | 近似重复图像检测方法 |
CN107656989A (zh) * | 2017-09-13 | 2018-02-02 | 华中科技大学 | 云存储***中基于数据分布感知的近邻查询方法 |
CN107729557A (zh) * | 2017-11-08 | 2018-02-23 | 北京大学 | 一种编目信息的分类、检索方法和装置 |
CN108959441A (zh) * | 2018-06-13 | 2018-12-07 | 新华智云科技有限公司 | 一种基于局部敏感哈希的近相似快速查找方法 |
CN109189964A (zh) * | 2018-07-20 | 2019-01-11 | 杭州电子科技大学 | 基于局部敏感哈希索引和图像路标的场景识别方法 |
CN109213874A (zh) * | 2018-08-30 | 2019-01-15 | 福建师范大学 | 一种wmsn区块链的多媒体混合数据近似近邻二元查询方法 |
CN109445703A (zh) * | 2018-10-26 | 2019-03-08 | 黄淮学院 | 一种基于块级数据去重的Delta压缩存储组件 |
CN109697641A (zh) * | 2017-10-20 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 计算商品相似度的方法和装置 |
CN109766341A (zh) * | 2018-12-27 | 2019-05-17 | 厦门市美亚柏科信息股份有限公司 | 一种建立哈希映射的方法、装置、存储介质 |
CN110046268A (zh) * | 2016-02-05 | 2019-07-23 | 大连大学 | 建立基于倒排位置敏感哈希索引的高维空间kNN查询方法 |
CN110134714A (zh) * | 2019-05-22 | 2019-08-16 | 东北大学 | 一种适用于大数据迭代计算的分布式计算框架缓存索引 |
CN110175258A (zh) * | 2016-02-05 | 2019-08-27 | 大连大学 | 建立基于位置敏感哈希索引的移动感知数据查询方法 |
CN110502629A (zh) * | 2019-08-27 | 2019-11-26 | 桂林电子科技大学 | 一种基于lsh的过滤验证字符串相似性连接方法 |
US10496706B2 (en) | 2017-04-17 | 2019-12-03 | International Business Machines Corporation | Matching strings in a large relational database |
CN110543622A (zh) * | 2019-08-02 | 2019-12-06 | 北京三快在线科技有限公司 | 文本相似度检测方法、装置、电子设备及可读存储介质 |
CN110795469A (zh) * | 2019-10-11 | 2020-02-14 | 安徽工业大学 | 基于Spark的高维序列数据相似性查询方法及*** |
CN110889422A (zh) * | 2018-09-10 | 2020-03-17 | 百度在线网络技术(北京)有限公司 | 同行车辆的判断方法、装置、设备及计算机可读介质 |
CN111294728A (zh) * | 2018-12-06 | 2020-06-16 | 西安光启未来技术研究院 | 同行分析方法及装置 |
CN111352834A (zh) * | 2020-02-25 | 2020-06-30 | 江苏大学 | 一种基于局部敏感哈希的自适应随机测试方法 |
US10778707B1 (en) | 2016-05-12 | 2020-09-15 | Amazon Technologies, Inc. | Outlier detection for streaming data using locality sensitive hashing |
CN107515937B (zh) * | 2017-08-29 | 2020-10-27 | 千寻位置网络有限公司 | 差分账户的归类方法及***、服务终端、存储器 |
CN111868710A (zh) * | 2018-03-01 | 2020-10-30 | 华为技术加拿大有限公司 | 搜索大规模非结构化数据的随机提取森林索引结构 |
CN112487256A (zh) * | 2020-12-10 | 2021-03-12 | ***通信集团江苏有限公司 | 对象查询方法、装置、设备及存储介质 |
CN112559170A (zh) * | 2020-11-30 | 2021-03-26 | 河海大学 | 一种边缘计算环境下缓存数据的近似匹配方法 |
CN112699676A (zh) * | 2020-12-31 | 2021-04-23 | 中国农业银行股份有限公司 | 一种地址相似关系生成方法及装置 |
WO2021143016A1 (zh) * | 2020-01-15 | 2021-07-22 | 平安科技(深圳)有限公司 | 近似数据处理方法、装置、介质及电子设备 |
US11106708B2 (en) | 2018-03-01 | 2021-08-31 | Huawei Technologies Canada Co., Ltd. | Layered locality sensitive hashing (LSH) partition indexing for big data applications |
CN113396572A (zh) * | 2019-06-17 | 2021-09-14 | 深圳市欢太科技有限公司 | 内容推送方法及相关产品 |
CN113515450A (zh) * | 2021-05-20 | 2021-10-19 | 广东工业大学 | 一种环境异常检测方法和*** |
CN114332742A (zh) * | 2022-03-08 | 2022-04-12 | 西安科技大学 | 一种基于深度神经网络的异常视频大数据清洗方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100070509A1 (en) * | 2008-08-15 | 2010-03-18 | Kai Li | System And Method For High-Dimensional Similarity Search |
US8185561B1 (en) * | 2005-08-15 | 2012-05-22 | Google Inc. | Scalable user clustering based on set similarity |
CN103336963A (zh) * | 2013-07-08 | 2013-10-02 | 天脉聚源(北京)传媒科技有限公司 | 一种图像特征提取的方法及装置 |
-
2013
- 2013-12-10 CN CN201310664350.3A patent/CN104035949B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8185561B1 (en) * | 2005-08-15 | 2012-05-22 | Google Inc. | Scalable user clustering based on set similarity |
US20100070509A1 (en) * | 2008-08-15 | 2010-03-18 | Kai Li | System And Method For High-Dimensional Similarity Search |
CN103336963A (zh) * | 2013-07-08 | 2013-10-02 | 天脉聚源(北京)传媒科技有限公司 | 一种图像特征提取的方法及装置 |
Non-Patent Citations (1)
Title |
---|
刘大伟等: "一种重复视频的快速检测算法", 《小型微型计算机***》 * |
Cited By (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104516946A (zh) * | 2014-11-27 | 2015-04-15 | 宁波大学 | 一种基于高维数据过滤器的近似成员查询方法 |
CN104516946B (zh) * | 2014-11-27 | 2017-08-04 | 宁波大学 | 一种基于高维数据过滤器的近似成员查询方法 |
CN105989078B (zh) * | 2015-02-11 | 2019-05-07 | 烟台中科网络技术研究所 | 一种结构化对等网络构建索引的方法、检索方法、装置及*** |
CN105989078A (zh) * | 2015-02-11 | 2016-10-05 | 烟台中科网络技术研究所 | 一种结构化对等网络构建索引的方法、检索方法、装置及*** |
CN104731882B (zh) * | 2015-03-11 | 2018-05-25 | 北京航空航天大学 | 一种基于哈希编码加权排序的自适应查询方法 |
CN104731882A (zh) * | 2015-03-11 | 2015-06-24 | 北京航空航天大学 | 一种基于哈希编码加权排序的自适应查询方法 |
CN104778234A (zh) * | 2015-03-31 | 2015-07-15 | 南京邮电大学 | 基于局部敏感哈希技术的多标记文件近邻查询方法 |
CN104866471A (zh) * | 2015-06-05 | 2015-08-26 | 南开大学 | 一种基于局部敏感哈希策略的实例匹配方法 |
CN104866471B (zh) * | 2015-06-05 | 2017-09-19 | 南开大学 | 一种基于局部敏感哈希策略的实例匹配方法 |
CN105095435A (zh) * | 2015-07-23 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种图像高维特征的相似比较方法及装置 |
CN105183792A (zh) * | 2015-08-21 | 2015-12-23 | 东南大学 | 一种基于局部敏感哈希的分布式快速文本分类方法 |
CN110175258A (zh) * | 2016-02-05 | 2019-08-27 | 大连大学 | 建立基于位置敏感哈希索引的移动感知数据查询方法 |
CN110175258B (zh) * | 2016-02-05 | 2024-01-23 | 大连大学 | 建立基于位置敏感哈希索引的移动感知数据查询方法 |
CN110046268B (zh) * | 2016-02-05 | 2024-04-05 | 大连大学 | 建立基于倒排位置敏感哈希索引的高维空间kNN查询方法 |
CN110046268A (zh) * | 2016-02-05 | 2019-07-23 | 大连大学 | 建立基于倒排位置敏感哈希索引的高维空间kNN查询方法 |
CN110059208A (zh) * | 2016-02-05 | 2019-07-26 | 大连大学 | 利用倒排索引筛选出与查询点碰撞次数较高的分布式数据处理方法 |
US10778707B1 (en) | 2016-05-12 | 2020-09-15 | Amazon Technologies, Inc. | Outlier detection for streaming data using locality sensitive hashing |
CN106570141B (zh) * | 2016-11-04 | 2020-05-19 | 中国科学院自动化研究所 | 近似重复图像检测方法 |
CN106570141A (zh) * | 2016-11-04 | 2017-04-19 | 中国科学院自动化研究所 | 近似重复图像检测方法 |
US10496706B2 (en) | 2017-04-17 | 2019-12-03 | International Business Machines Corporation | Matching strings in a large relational database |
US11238104B2 (en) | 2017-04-17 | 2022-02-01 | International Business Machines Corporation | Matching strings in a large relational database |
CN107515937B (zh) * | 2017-08-29 | 2020-10-27 | 千寻位置网络有限公司 | 差分账户的归类方法及***、服务终端、存储器 |
CN107656989B (zh) * | 2017-09-13 | 2019-09-13 | 华中科技大学 | 云存储***中基于数据分布感知的近邻查询方法 |
CN107656989A (zh) * | 2017-09-13 | 2018-02-02 | 华中科技大学 | 云存储***中基于数据分布感知的近邻查询方法 |
CN109697641A (zh) * | 2017-10-20 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 计算商品相似度的方法和装置 |
CN107729557A (zh) * | 2017-11-08 | 2018-02-23 | 北京大学 | 一种编目信息的分类、检索方法和装置 |
CN111868710B (zh) * | 2018-03-01 | 2024-05-14 | 华为技术加拿大有限公司 | 搜索大规模非结构化数据的随机提取森林索引结构 |
US11106708B2 (en) | 2018-03-01 | 2021-08-31 | Huawei Technologies Canada Co., Ltd. | Layered locality sensitive hashing (LSH) partition indexing for big data applications |
CN111868710A (zh) * | 2018-03-01 | 2020-10-30 | 华为技术加拿大有限公司 | 搜索大规模非结构化数据的随机提取森林索引结构 |
CN108959441A (zh) * | 2018-06-13 | 2018-12-07 | 新华智云科技有限公司 | 一种基于局部敏感哈希的近相似快速查找方法 |
CN109189964A (zh) * | 2018-07-20 | 2019-01-11 | 杭州电子科技大学 | 基于局部敏感哈希索引和图像路标的场景识别方法 |
CN109213874A (zh) * | 2018-08-30 | 2019-01-15 | 福建师范大学 | 一种wmsn区块链的多媒体混合数据近似近邻二元查询方法 |
CN110889422A (zh) * | 2018-09-10 | 2020-03-17 | 百度在线网络技术(北京)有限公司 | 同行车辆的判断方法、装置、设备及计算机可读介质 |
CN109445703B (zh) * | 2018-10-26 | 2019-10-25 | 黄淮学院 | 一种基于块级数据去重的Delta压缩存储组件 |
CN109445703A (zh) * | 2018-10-26 | 2019-03-08 | 黄淮学院 | 一种基于块级数据去重的Delta压缩存储组件 |
CN111294728A (zh) * | 2018-12-06 | 2020-06-16 | 西安光启未来技术研究院 | 同行分析方法及装置 |
CN109766341A (zh) * | 2018-12-27 | 2019-05-17 | 厦门市美亚柏科信息股份有限公司 | 一种建立哈希映射的方法、装置、存储介质 |
CN110134714B (zh) * | 2019-05-22 | 2021-04-20 | 东北大学 | 适用于大数据迭代计算的分布式计算框架缓存索引方法 |
CN110134714A (zh) * | 2019-05-22 | 2019-08-16 | 东北大学 | 一种适用于大数据迭代计算的分布式计算框架缓存索引 |
CN113396572B (zh) * | 2019-06-17 | 2022-11-11 | 深圳市欢太科技有限公司 | 内容推送方法及相关产品 |
CN113396572A (zh) * | 2019-06-17 | 2021-09-14 | 深圳市欢太科技有限公司 | 内容推送方法及相关产品 |
CN110543622A (zh) * | 2019-08-02 | 2019-12-06 | 北京三快在线科技有限公司 | 文本相似度检测方法、装置、电子设备及可读存储介质 |
CN110502629A (zh) * | 2019-08-27 | 2019-11-26 | 桂林电子科技大学 | 一种基于lsh的过滤验证字符串相似性连接方法 |
CN110795469B (zh) * | 2019-10-11 | 2022-02-22 | 安徽工业大学 | 基于Spark的高维序列数据相似性查询方法及*** |
CN110795469A (zh) * | 2019-10-11 | 2020-02-14 | 安徽工业大学 | 基于Spark的高维序列数据相似性查询方法及*** |
WO2021143016A1 (zh) * | 2020-01-15 | 2021-07-22 | 平安科技(深圳)有限公司 | 近似数据处理方法、装置、介质及电子设备 |
CN111352834A (zh) * | 2020-02-25 | 2020-06-30 | 江苏大学 | 一种基于局部敏感哈希的自适应随机测试方法 |
CN112559170B (zh) * | 2020-11-30 | 2022-09-20 | 河海大学 | 一种边缘计算环境下缓存数据的近似匹配方法 |
CN112559170A (zh) * | 2020-11-30 | 2021-03-26 | 河海大学 | 一种边缘计算环境下缓存数据的近似匹配方法 |
CN112487256A (zh) * | 2020-12-10 | 2021-03-12 | ***通信集团江苏有限公司 | 对象查询方法、装置、设备及存储介质 |
CN112487256B (zh) * | 2020-12-10 | 2024-05-24 | ***通信集团江苏有限公司 | 对象查询方法、装置、设备及存储介质 |
CN112699676A (zh) * | 2020-12-31 | 2021-04-23 | 中国农业银行股份有限公司 | 一种地址相似关系生成方法及装置 |
CN112699676B (zh) * | 2020-12-31 | 2024-04-12 | 中国农业银行股份有限公司 | 一种地址相似关系生成方法及装置 |
CN113515450A (zh) * | 2021-05-20 | 2021-10-19 | 广东工业大学 | 一种环境异常检测方法和*** |
CN114332742A (zh) * | 2022-03-08 | 2022-04-12 | 西安科技大学 | 一种基于深度神经网络的异常视频大数据清洗方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104035949B (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104035949A (zh) | 一种基于局部敏感哈希改进算法的相似性数据检索方法 | |
Wu et al. | Scalable face image retrieval with identity-based quantization and multireference reranking | |
CN104199827B (zh) | 基于局部敏感哈希的大规模多媒体数据的高维索引方法 | |
Aly et al. | Indexing in large scale image collections: Scaling properties and benchmark | |
CN104081435A (zh) | 一种基于级联二值编码的图像匹配方法 | |
CN107341178B (zh) | 一种基于自适应的二进制量化哈希编码的数据检索方法 | |
Lou et al. | Matchminer: Efficient spanning structure mining in large image collections | |
Wang et al. | Fast neighborhood graph search using cartesian concatenation | |
CN110334290B (zh) | 一种基于MF-Octree的时空数据快速检索方法 | |
Wang et al. | Duplicate discovery on 2 billion internet images | |
CN102799614A (zh) | 基于视觉词语空间共生性的图像检索方法 | |
CN104778281A (zh) | 一种基于社区分析的图像索引并行构建方法 | |
Gu et al. | An improved method of locality sensitive hashing for indexing large-scale and high-dimensional features | |
Günnemann et al. | Subspace clustering for indexing high dimensional data: a main memory index based on local reductions and individual multi-representations | |
Yu et al. | Scalable forest hashing for fast similarity search | |
Schuh et al. | Mitigating the curse of dimensionality for exact knn retrieval | |
Arun et al. | On integrating re-ranking and rank list fusion techniques for image retrieval | |
Zhou et al. | Large scale nearest neighbors search based on neighborhood graph | |
Zhou et al. | Accurate querying of frequent subgraphs in power grid graph data | |
Zhang et al. | Distribution-aware locality sensitive hashing | |
WO2020215436A1 (zh) | 应用于电子地图的空间关键字查询的搜索方法 | |
Chafik et al. | Locality sensitive hashing for content based image retrieval: A comparative experimental study | |
Mosbah et al. | Relevance feedback within CBIR systems | |
Hou et al. | Quick search algorithms based on ethnic facial image database | |
Kovács | Parallel multi-tree indexing for evaluating large descriptor sets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20181126 Address after: Room 1108, 11th floor, 23 Zhichun Road, Haidian District, Beijing, 100089 Patentee after: BEIJING ZHIXIN FUTURE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 610, No. 999 Shanxi Road, Changning District, Shanghai 200000 Patentee before: Shanghai Airlines Intellectual Property Services Ltd. Effective date of registration: 20181126 Address after: Room 610, No. 999 Shanxi Road, Changning District, Shanghai 200000 Patentee after: Shanghai Airlines Intellectual Property Services Ltd. Address before: Room 2310, Building 2, Wuzhong Science and Technology Pioneering Park, 70 Zhongshan East Road, Mudu Town, Wuzhong District, Suzhou City, Jiangsu Province Patentee before: Nanjing University of Information Science and Technology |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170510 Termination date: 20211210 |