CN104536908A - 一种面向单机的海量小记录高效存储管理方法 - Google Patents
一种面向单机的海量小记录高效存储管理方法 Download PDFInfo
- Publication number
- CN104536908A CN104536908A CN201410617251.4A CN201410617251A CN104536908A CN 104536908 A CN104536908 A CN 104536908A CN 201410617251 A CN201410617251 A CN 201410617251A CN 104536908 A CN104536908 A CN 104536908A
- Authority
- CN
- China
- Prior art keywords
- file
- tree
- directory
- record
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 22
- 239000000872 buffer Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000008520 organization Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 241000238876 Acari Species 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 abstract 2
- 230000003139 buffering effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
BID | 每个数据文件在磁盘上的首位置 |
OFFSET | 数据原子在文件中的偏移位置 |
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410617251.4A CN104536908B (zh) | 2014-11-05 | 2014-11-05 | 一种面向单机的海量小记录高效存储管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410617251.4A CN104536908B (zh) | 2014-11-05 | 2014-11-05 | 一种面向单机的海量小记录高效存储管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104536908A true CN104536908A (zh) | 2015-04-22 |
CN104536908B CN104536908B (zh) | 2017-12-29 |
Family
ID=52852438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410617251.4A Expired - Fee Related CN104536908B (zh) | 2014-11-05 | 2014-11-05 | 一种面向单机的海量小记录高效存储管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104536908B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229429A (zh) * | 2017-06-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种存储空间管理方法及装置 |
CN109491962A (zh) * | 2018-11-06 | 2019-03-19 | 深圳市网心科技有限公司 | 一种文件目录树管理方法及相关装置 |
CN109918341A (zh) * | 2019-02-26 | 2019-06-21 | 厦门美图之家科技有限公司 | 日志处理方法及装置 |
CN110727608A (zh) * | 2019-09-03 | 2020-01-24 | 深圳市道通智能航空技术有限公司 | 一种日志数据的存储方法、电子设备及存储介质 |
CN111858399A (zh) * | 2019-04-30 | 2020-10-30 | 贵州白山云科技股份有限公司 | 一种数据传输方法、装置、计算机可读存储介质和计算机设备 |
CN112948343A (zh) * | 2021-03-25 | 2021-06-11 | 兴业数字金融服务(上海)股份有限公司 | 基于分布式大数据块的海量内容存储***和方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854388A (zh) * | 2010-05-17 | 2010-10-06 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储中并行访问大量小文件的方法及*** |
CN102012851A (zh) * | 2010-12-20 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种持续数据保护方法及服务器 |
CN102332029A (zh) * | 2011-10-15 | 2012-01-25 | 西安交通大学 | 一种基于Hadoop的海量可归类小文件关联存储方法 |
CN103020315A (zh) * | 2013-01-10 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于主从分布式文件***的海量小文件存储方法 |
-
2014
- 2014-11-05 CN CN201410617251.4A patent/CN104536908B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854388A (zh) * | 2010-05-17 | 2010-10-06 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储中并行访问大量小文件的方法及*** |
CN102012851A (zh) * | 2010-12-20 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种持续数据保护方法及服务器 |
CN102332029A (zh) * | 2011-10-15 | 2012-01-25 | 西安交通大学 | 一种基于Hadoop的海量可归类小文件关联存储方法 |
CN103020315A (zh) * | 2013-01-10 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于主从分布式文件***的海量小文件存储方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229429A (zh) * | 2017-06-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种存储空间管理方法及装置 |
CN107229429B (zh) * | 2017-06-27 | 2020-06-16 | 苏州浪潮智能科技有限公司 | 一种存储空间管理方法及装置 |
CN109491962A (zh) * | 2018-11-06 | 2019-03-19 | 深圳市网心科技有限公司 | 一种文件目录树管理方法及相关装置 |
CN109491962B (zh) * | 2018-11-06 | 2022-02-22 | 深圳市迅雷网络技术有限公司 | 一种文件目录树管理方法及相关装置 |
CN109918341A (zh) * | 2019-02-26 | 2019-06-21 | 厦门美图之家科技有限公司 | 日志处理方法及装置 |
CN109918341B (zh) * | 2019-02-26 | 2021-11-30 | 厦门美图之家科技有限公司 | 日志处理方法及装置 |
CN111858399A (zh) * | 2019-04-30 | 2020-10-30 | 贵州白山云科技股份有限公司 | 一种数据传输方法、装置、计算机可读存储介质和计算机设备 |
CN111858399B (zh) * | 2019-04-30 | 2023-11-24 | 贵州白山云科技股份有限公司 | 一种数据传输方法、装置、计算机可读存储介质和计算机设备 |
CN110727608A (zh) * | 2019-09-03 | 2020-01-24 | 深圳市道通智能航空技术有限公司 | 一种日志数据的存储方法、电子设备及存储介质 |
CN112948343A (zh) * | 2021-03-25 | 2021-06-11 | 兴业数字金融服务(上海)股份有限公司 | 基于分布式大数据块的海量内容存储***和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104536908B (zh) | 2017-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104536908B (zh) | 一种面向单机的海量小记录高效存储管理方法 | |
CN101963982B (zh) | 基于位置敏感哈希的删冗存储***元数据管理方法 | |
US9141290B2 (en) | Snapshot mechanism | |
US9311252B2 (en) | Hierarchical storage for LSM-based NoSQL stores | |
CN101777017B (zh) | 一种连续数据保护***的快速恢复方法 | |
US7689574B2 (en) | Index and method for extending and querying index | |
CN102821138B (zh) | 一种适用于云存储***的元数据分布式存储方法 | |
CN103902623B (zh) | 用于在存储***上存取文件的方法和*** | |
CN104504105B (zh) | 一种实时数据库的存储方法 | |
CN104731896B (zh) | 一种数据处理方法及*** | |
CN111427847B (zh) | 面向用户自定义元数据的索引与查询方法和*** | |
TW201530328A (zh) | 爲半結構化資料構建NoSQL資料庫索引的方法及裝置 | |
CN102722449A (zh) | 基于SSD的Key-Value型本地存储方法及*** | |
CN102915278A (zh) | 重复数据删除方法 | |
CN104054071A (zh) | 访问存储设备的方法和存储设备 | |
CN104281717B (zh) | 一种建立海量id映射关系的方法 | |
JP2016157441A (ja) | Ssdへのコピーオンライト用システム及び方法 | |
CN102915340A (zh) | 一种扩展的基于b+树对象文件*** | |
CN103559229A (zh) | 基于MapFile的小文件管理服务SFMS***及其使用方法 | |
KR20190008228A (ko) | B-트리를 사용하여 그래프 정보를 데이터베이스에 저장하는 방법 및 시스템 | |
CN102722450B (zh) | 一种基于位置敏感哈希的删冗块设备存储方法 | |
CN109325011A (zh) | 基于区块链的数据存储、处理、分享方法及*** | |
CN104050057A (zh) | 一种历史感知的数据去重碎片消除方法与*** | |
CN103942301A (zh) | 一种面向多数据类型访问应用的分布式文件*** | |
CN109407985B (zh) | 一种数据管理的方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100085 Jihua building, No. 9, Third Street, Haidian District, Beijing, Beijing 1006 Applicant after: VISUALSEC (BEIJING) TECHNOLOGY Co.,Ltd. Address before: 100085 Jihua building, No. 9, Third Street, Haidian District, Beijing, Beijing 1006 Applicant before: BEIJING CSBIT TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 100081, No. 3, No. 34, Zhongguancun South Street, Haidian District, Beijing, 16 floor 1908 Patentee after: VISUALSEC (BEIJING) TECHNOLOGY Co.,Ltd. Address before: 100085 Jihua building, No. 9, Third Street, Haidian District, Beijing, Beijing 1006 Patentee before: VISUALSEC (BEIJING) TECHNOLOGY Co.,Ltd. |
|
CP02 | Change in the address of a patent holder | ||
DD01 | Delivery of document by public notice | ||
DD01 | Delivery of document by public notice |
Addressee: Zhang Hanqiu Document name: payment instructions |
|
DD01 | Delivery of document by public notice | ||
DD01 | Delivery of document by public notice |
Addressee: Zhang Hanqiu Document name: Notification of Termination of Patent Right |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171229 Termination date: 20211105 |