CN102646130A - 一种海量历史数据的存储及索引方法 - Google Patents
一种海量历史数据的存储及索引方法 Download PDFInfo
- Publication number
- CN102646130A CN102646130A CN2012100634173A CN201210063417A CN102646130A CN 102646130 A CN102646130 A CN 102646130A CN 2012100634173 A CN2012100634173 A CN 2012100634173A CN 201210063417 A CN201210063417 A CN 201210063417A CN 102646130 A CN102646130 A CN 102646130A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- measuring point
- historical data
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种海量历史数据的存储及索引方法,属于实时历史数据库领域。该方法根据分布式文件***将大文件进行分块存储的特点,给出了一种简单高效的海量历史数据文件的存储方法和一种高效的分布式索引机制。该存储方法可以保证满足当前海量历史数据文件的存储要求,更保证具有在线扩展的特性;索引机制可以实现对海量历史数据的快速访问,同时在***进行资源扩展以后,即底层物理存储发生变化时,该索引在无需修改的情况下依旧可以实现对数据的查找功能。
Description
技术领域
本发明涉及到实时历史数据库领域,尤其涉及到实时历史数据库存储海量级历史数据和为之建立索引文件的方法。
背景技术
实时历史数据库在工控领域被普遍使用,涉及的行业包括电力、石油、冶金、化工等。实时历史数据库以测点作为基本单位来描述生产数据。一个数据库的测点对应现实世界的一个物理数据源,如某一条输电线的电压、某一个检测点的温度等。测点储存的数据是离散的量,其储存的数据都带有时间戳。从现场采集到的生产过程数据(如某个设备不同部位测点的电流电压、锅炉不同部位测点的水位水温等)经过一系列处理之后最终保存在实时历史数据库当中。此类数据通常在后续的过程回溯或者数据分析的过程中使用。
随着信息化建设的推进,越来越多的数据通过分布广泛的数据采集器进入到实时历史数据库***,并最终以数据文件的形式保存,这些数据文件称之为历史数据文件。由于生产控制过程是24小时不间断运行的,因此随着时间的推移,历史数据总量不断累积,产生的历史数据文件总量可以达到TB甚至PB级别。
当前的实时历史数据库***主要部署于性能良好的单机上,单机能够满足一定的存储需求,但是面对持续增长的历史数据量,单机有限的磁盘空间就不再满足存储要求。虽然可以通过停机更换大容量磁盘来实现扩展,但这样不能保证服务的持续性。分布式数据库***和集群数据库***虽然可以实现存储空间动态扩容,但当前的产品均只能在离线方式下进行***扩展,不适合历史数据产生的实际环境,更重要的是二者没有专门针对历史数据的特点进行数据存储的方案,因此这二者不适合海量历史数据的存储需求。近些年,数据库领域新兴的列数据库被广泛使用,其代表了基于云平台的新型数据库,并开始应用于大规模数据存储和处理过程。该类数据库***可以实现在线扩展,即保证服务不间断的情况下实现添加节点的功能。但是,该类数据库也没有针对历史数据的特点而实施的数据存储方案,因此这类数据库也不完全适合历史数据的存储要求。
综上所述,面对海量历史数据,目前尚无完整可用的实施方案既可以满足当前的数据存储要求,又保证***具有动态扩展性来应对持续增长的数据存储和处理的需求。
发明内容
有鉴于此,本发明的目的在于提供一种海量历史数据的存储及索引方法,用于实现既满足当前海量历史数据文件的存储要求,更保证具有在线扩展的特性。
本发明提供了一种海量历史数据的存储方法,该方法包括:
A、从实时历史数据库获取与测点数字标识NID相对应测点的前一天全天的压缩数据,按时间升序连续排列构成一条测点历史数据记录的历史数据区,在所述历史数据区前加入该测点的元数据区信息构造一条测点历史数据记录R;
B、判断中间数据文件FT的剩余空间是否小于R的长度RLEN,如果是,则向FT的剩余空间写入无效数据,并将FT中的整块数据追加写入历史数据文件F,从分布式文件***返回的结果中获取本次写入数据所存入的文件块的全局数字标识BlockID,遍历保存测点数字标识的集合CID,每次取出一个测点数字标识赋值给临时变量TID,将日索引集合文件FTI第TID个索引单元的文件块标识FileBlockID项的值置为BlockID,清空CID和文件FT,并执行步骤C;否则直接执行步骤C;
C、将R写入FT,记录下R在FT中的起始偏移地址Offset,将Offset和RLEN分别写入FTI的第NID个索引单元的数据偏移DataOffset项和数据长度DataLength项,将NID的值存入集合CID;
D、对NID的值执行加1操作,判断该NID对应的测点是否存在,若存在则执行步骤A;否则执行步骤E;
E、向FT的剩余空间写入无效数据,将FT中的数据追加写入历史数据文件F,从分布式文件***返回的结果中获取本次写入数据存入的BlockID,更新FTI,遍历CID,每次取出一个测点数字标识赋值给TID,将FTI中第TID个索引单元FileBlockID项的值置为BlockID,将FTI的数据追加写入年索引文件FIDX。
本发明的实施例还提供了一种基于所述海量历史数据存储方法的索引方法,当索引测点NID在同一天内的时间点TS至TE时间段内的历史数据时,包括以下步骤:
解析时间TS,获得年份Y和日期D,并打开Y对应的年索引文件FIDX;
将日期D转化为在一年366天中的天数K,K从1开始取值,在FIDX中定位到第K天的日索引集合的起始偏移地址HA;
以HA为起始地址,向后查找到第NID个索引单元,读取该索引单元的三项信息:FileBlockID,DataOffset,DataLength;
在分布式文件***中读取FileBlockID对应文件块内偏移为DataOffset,长度为DataLength的历史数据记录Data;
根据Data的元数据区的数据,将Data的历史数据区的数据进行解压缩,得到按时间先后顺序排列的测点NID一整天的历史数据集合DeData;
如果TS等于TE,则执行下一步;否则,将DeData中满足时间戳不小于TS并且不大于TE条件的数据集合按时间先后顺序排列后返回,结束本流程;
在DeData中查找时间戳等于TS的历史数据DA,如果找到DA则返回历史数据DA,结束本流程;否则返回索引无结果的信息,结束本流程。
本发明根据分布式文件***将大文件进行分块存储的特点,给出了一种简单高效的海量历史数据文件的存储方法和一种高效的分布式索引机制。该存储方法可以保证满足当前海量历史数据文件的存储要求,更保证具有在线扩展的特性;索引机制可以实现对海量历史数据的快速访问,同时在***进行资源扩展以后,即底层物理存储发生变化时,该索引在无需修改的情况下依旧可以实现对数据的查找功能。
附图说明
图1是本发明实施例中历史数据文件的组织结构示意图;
图2是本发明实施例中的历史数据索引文件的结构示意图;
图3是本发明实施例提供的历史数据存储和建立索引的方法流程图;
图4是本发明实施例提供的索引一个测点在一个日期内某个时间段的历史数据的方法流程图;
图5是本发明实施例提供的索引一个测点在任意时间段内历史数据的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
为解决海量历史数据的存储问题,本发明实施例根据分布式文件***将大文件进行分块存储的特点,给出了一种简单高效的海量历史数据文件的存储方法和一种高效的分布式索引机制。该存储方法可以保证满足当前海量历史数据文件的存储要求,更保证具有在线扩展的特性。本发明实施例提出的索引机制可以实现对海量历史数据的快速访问,同时在***进行资源扩展以后,即底层物理存储发生变化时,该索引在无需修改的情况下依旧可以实现对数据的查找功能。
本实施例提出的数据存储方法基于分布式文件***实现,使得使用该方法的***具备分布式文件***可弹性扩展和数据高可用的特性。
本实施例提出的数据存储方法的关键在于建立历史数据文件F,一整年的历史数据用一个历史数据文件F保存。历史数据文件F的命名规则如下:历史数据文件F的文件名形如YYYY.dat(YYYY代表年),如2012.dat。历史数据文件F内部组织如图1所示,F由多个相同大小的数据块拼接而成,每个数据块的大小等于分布式文件***默认的文件分块大小BlockSize,实现物理存储的分布式文件***将文件F切分为多个文件块进行分布存储,一个数据块对应一个文件块。每个数据块内包含多条测点历史数据记录,一条测点历史数据记录只会保存在一个数据块内。本实施例的历史数据存储方法保证一条测点历史数据记录不会跨两个数据块保存,这是为了保证一条历史数据记录在分布式文件***中进行物理存储时不被切分到两个不同的文件分块内造成索引数据的高开销和低效率。每一条测点历史数据记录又包含测点元数据区和测点历史数据区,测点元数据区包含实时历史数据库为每个测点分配的全局唯一的数字标识NID(NID从1开始分配)、测点的数据采集周期和测点历史数据区内第一个数据的时间戳,测点历史数据区则连续存储按时间升序排列的多个压缩数据。压缩需使用基于时间序列的算法,比如旋转门压缩算法。测点元数据区的信息则在解压历史数据过程中使用。
本实施例的历史数据索引方法的关键在于建立年索引文件FIDX,年索引文件FIDX的文件名形如YYYY.idx(YYYY代表年),如2012.idx。年索引文件FIDX的结构如图2所示,由366个(考虑到闰年的存在)日索引集合组成,每个日索引集合包含M个索引单元(M等于***支持最大点数),每个索引单元又包含三项信息:FileBlockID,DataOffset,DataLength。FileBlockID代表该条测点历史数据记录存储在分布式文件***中文件分块的全局数字标识,DataOffset代表该条数据在文件分块内的起始偏移地址,DataLength代表该条数据的长度。年索引文件FIDX不是一次性完全建立,而是在数据存储的过程逐步建立,在每天对历史数据进行存储之前,先新建一个存储日索引集合的文件FTI,在历史数据存储过程中更新日索引集合文件FTI中每个测点历史数据记录对应的索引单元的三项信息,在历史数据存储完成之后,将文件FTI中的数据追加写入年索引文件FIDX,如此直至完成12月31日的历史数据存储,年索引文件才完全建立。
本实施例的历史数据存储方法的基本思想是,每天将实时历史数据库中所有测点前一天整天的压缩数据按测点的NID从小到大的顺序进行整理,每个测点整理后的测点历史数据记录顺次写入本地文件***中的中间数据文件FT,FT的大小等于分布式文件***默认文件分块大小BlockSize,当文件FT被写满时,将文件FT中的数据追加写入保存在分布式文件***中的历史数据文件F,然后清空文件FT,继续整理后续测点的一整天的压缩数据。如此反复,直至所有测点的压缩数据全部存入历史数据文件F。向中间数据文件FT写入数据时,可能遇到FT剩余的空间不足以保存下一个测点整理后的一天的压缩数据的情况,此时向文件FT的剩余空间填充无效数据(如图2中数据块内部结构图的阴影部分所示)使之被写满,然后将文件FT的数据追加写入文件F,再清空文件FT,将下一个测点整理后的压缩数据写入,再继续整理后续测点的压缩数据。
本实施例提供的历史数据的存储和建立索引方法如图3所示,包括以下步骤:
步骤301、初始化。打开当前年对应的历史数据文件F,如果不存在则按照历史数据文件命名的规则新建一个空的历史数据文件;打开当前年对应的年索引文件FIDX,如果不存在则按照年索引文件命名的规则新建一个空的年索引文件;新建一个空的中间数据文件FT,FT的大小固定为分布式文件***默认文件分块大小BlockSize;新建一个包含M个索引单元的日索引集合文件FTI;将NID赋值为1,新建一个保存测点数字标识的集合CID。
步骤302、从实时历史数据库获取NID对应测点前一天从0时0分0秒至23时59分59秒时间段内的压缩后的多个数据,将每个数据按时间升序连续排列构成一条测点历史数据记录的历史数据区,再在历史数据区前加入该测点的元数据区信息构造一条测点历史数据记录R,长度为RLEN。
步骤303、如果中间数据文件FT剩余空间小于RLEN,执行步骤304;否则执行步骤305。
步骤304、向中间数据文件FT的剩余空间写入无效数据,将文件FT中的整块数据追加写入历史数据文件F,从分布式文件***返回的结果中获取本次写入数据所存入的文件块的全局数字标识BlockID。遍历集合CID,每次取出一个测点数字标识赋值给TID(TID为临时变量),将日索引集合文件FTI第TID个索引单元FileBlockID项的值置为BlockID。清空集合CID和文件FT,并执行步骤305。
步骤305、将测点历史数据记录R写入中间数据文件FT,记录下R在文件FT中的起始偏移地址Offset,将Offset和RLEN分别写入日索引集合文件FTI的第NID个索引单元的DataOffset和DataLength项。将NID的值存入集合CID。
步骤306、对NID的值执行加1操作,判断该新的NID对应的测点是否存在,若存在则执行步骤302;若不存在则执行步骤307。
步骤307、向中间数据文件FT的剩余空间写入无效数据,将文件FT中的数据追加写入历史数据文件F,从分布式文件***返回的结果中获取本次写入数据存入的文件块的全局数字标识BlockID。接着更新日索引集合文件FTI,遍历集合CID,每次取出一个测点数字标识赋值给TID,将日索引集合文件FTI中第TID个索引单元FileBlockID项的值置为BlockID。最后将日索引集合文件FTI的数据追加写入年索引文件FIDX。
由于在存储历史数据时将一个测点同一日期的压缩数据集中存放,故本实施例的索引方法可以快速定位一个测点一个日期内某时间段内的历史数据,也可以索引具体时刻的历史数据。
根据本实施例提供的历史数据文件和年索引文件,索引测点NID在时刻TS至TE(TS和TE必须为同一天内的时间点,且TE不早于TS)时间段内的历史数据的方法如图4所示,包括以下步骤:
步骤401、解析时间TS,获得年份Y和日期D,并打开Y对应的年索引文件FIDX。
步骤402、将日期D转化为在一年366天中的天数K(K从1开始取值),在年索引文件FIDX中定位到第K天的日索引集合的起始偏移地址HA。
步骤403、以HA为起始地址,向后查找到第NID个索引单元,读取该索引单元的三项信息:FileBlockID,DataOffset,DataLength。
步骤404、在分布式文件***中读取FileBlockID对应文件块内偏移为DataOffset,长度为DataLength的历史数据记录Data。
步骤405、根据Data的元数据区的数据,调用与之前生成历史数据的压缩算法对应的解压缩算法将Data的历史数据区的数据进行解压缩,得到按时间先后顺序排列的测点NID一整天的历史数据集合DeData。
步骤406、如果TS等于TE,则执行步骤407;否则,将DeData中满足时间戳不小于TS并且不大于TE条件的数据集合按时间先后顺序排列后返回,结束本流程。
步骤407、在DeData中查找时间戳等于TS的历史数据DA,如果找到DA则执行步骤408;否则执行步骤409。
步骤408、返回历史数据DA,结束本流程。
步骤409、返回索引无结果的信息,结束本流程。
进一步地,索引测点NID在时刻TBEGIN至TEND(TBEGIN、TEND可以为任意时间点,但TEND不得早于TBEGIN)时间段内的历史数据的流程如图5所示,包括以下步骤:
步骤501、将TBEGIN至TEND的时间段按日期划分为N个不同日期内的时间段,且同一个日期内只有一个时间段。用Ti表示第i个时间段(i从1开始计数)。
步骤502、对时间段Ti采用图4的索引流程索引历史数据,时间段Ti对应的历史数据为RSi。
步骤503、如果所有时间段都处理完成,执行步骤504;否则执行步骤502。
步骤504、将N个时间段对应的结果数据集RSi按照日期先后进行合并,即得到测点NID在时刻TBEGIN至TEND的时间段内的历史数据。
举例说明:索引测点NID在2012年3月1日12时0分0秒至2012年3月3日12时0分0秒时间段内的历史数据,则可以按日期划分为三个时间段,分别是2012年3月1日12时0分0秒至2012年3月1日23时59分59秒,2012年3月2日0时0分0秒至2012年3月2日23时59分59秒,2012年3月3日0时0分0秒至2012年3月3日12时0分0秒。然后分别采用图4的索引流程索引测点NID在这三个时间段内的历史数据,最后将索引每个时间段得到的历史数据集按时间先后顺序进行合并,即可得到测点NID在2012年3月1日12时0分0秒至2012年3月3日12时0分0秒内的历史数据。
总之,以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (8)
1.一种海量历史数据的存储方法,其特征在于,该方法包括:
A、从实时历史数据库获取与测点数字标识NID相对应测点的前一天全天的压缩数据,按时间升序连续排列构成一条测点历史数据记录的历史数据区,在所述历史数据区前加入该测点的元数据区信息构造一条测点历史数据记录R;
B、判断中间数据文件FT的剩余空间是否小于R的长度RLEN,如果是,则向FT的剩余空间写入无效数据,并将FT中的整块数据追加写入历史数据文件F,从分布式文件***返回的结果中获取本次写入数据所存入的文件块的全局数字标识BlockID,遍历保存测点数字标识的集合CID,每次取出一个测点数字标识赋值给临时变量TID,将日索引集合文件FTi的第TID个索引单元的文件块标识FileBlockID项的值置为BlockID,清空CID和文件FT,并执行步骤C;否则直接执行步骤C;
C、将R写入FT,记录下R在FT中的起始偏移地址Offset,将Offset和RLEN分别写入日索引集合文件FTI的第NID个索引单元的数据偏移DataOffset项和数据长度DataLength项,将NID的值存入集合测点数字标识的集合CID;
D、对NID的值执行加1操作,判断新NID对应的测点是否存在,若存在则执行步骤A;否则执行步骤E;
E、向FT的剩余空间写入无效数据,将FT中的数据追加写入历史数据文件F,从分布式文件***返回的结果中获取本次写入数据存入的文件块的全局数字标识BlockID,更新FTI,遍历CID,每次取出一个测点数字标识赋值给临时变量TID,将FTI中第TID个索引单元文件块标识FileBlockID项的值置为BlockID,将FTI的数据追加写入年索引文件FIDX。
2.根据权利要求1所述的海量历史数据的存储方法,其特征在于,在步骤A之前,还进一步包括初始化操作的步骤,所述初始化操作的步骤具体包括:
判断是否存在当前年对应的历史数据文件F,如果存在则打开该文件;不存在则按照历史数据文件命名的规则新建一个空的历史数据文件;
判断是否存在当前年对应的年索引文件FIDX,如果存在则打开该文件;不存在则按照年索引文件命名的规则新建一个空的年索引文件;
新建一个空的中间数据文件FT,FT的大小固定为分布式文件***默认文件分块大小BlockSize;
新建一个包含M个索引单元的日索引集合文件FTI,M等于实时历史数据库***支持最大点数;
将NID赋值为1,新建一个保存测点数字标识的集合CID。
3.根据权利要求1或2所述的海量历史数据的存储方法,其特征在于,所述历史数据文件F的文件名为YYYY.dat,其中YYYY代表年;F由多个相同大小的数据块拼接而成,每个数据块的大小等于分布式文件***默认的文件分块大小BlockSize,实现物理存储的分布式文件***将数据文件F切分为多个文件块进行分布存储,一个数据块对应一个文件块。
4.根据权利要求3所述的海量历史数据的存储方法,其特征在于,所述测点历史数据记录R包含测点元数据区和测点历史数据区,所述测点元数据区包含实时历史数据库为每个测点分配的全局唯一的数字标识NID、测点的数据采集周期和测点历史数据区内第一个数据的时间戳。
5.根据权利要求4所述的海量历史数据的存储方法,其特征在于,所述年索引文件FIDX的文件名为YYYY.idx,其中YYYY代表年;FIDX由366个日索引集合组成,每个日索引集合包含M个索引单元,M等于实时历史数据库***支持最大点数。
6.根据权利要求5所述的海量历史数据的存储方法,其特征在于,所述每个索引单元包含三项信息:FileBlockID、DataOffset及DataLength,其中FileBlockID表示该条测点历史数据记录存储在分布式文件***中文件分块的全局数字标识,DataOffset表示该条数据在文件分块内的起始偏移地址,DataLength表示该条数据的长度。
7.一种基于权利要求1所述海量历史数据存储方法的索引方法,其特征在于,当索引测点NID在同一天内的时间点TS至TE时间段内的历史数据时,包括以下步骤:
解析时间TS,获得年份Y和日期D,并打开Y对应的年索引文件FIDX;
将日期D转化为在一年366天中的天数K,K从1开始取值,在FIDX中定位到第K天的日索引集合的起始偏移地址HA;
以HA为起始地址,向后查找到第NID个索引单元,读取该索引单元的三项信息:FileBlockID,DataOffset,DataLength;
在分布式文件***中读取FileBlockID对应文件块内偏移为DataOffset,长度为DataLength的历史数据记录Data;
根据Data的元数据区的数据,将Data的历史数据区的数据进行解压缩,得到按时间先后顺序排列的测点NID一整天的历史数据集合DeData;
如果TS等于TE,则执行下一步;否则,将DeData中满足时间戳不小于TS并且不大于TE条件的数据集合按时间先后顺序排列后返回,结束本流程;
在DeData中查找时间戳等于TS的历史数据DA,如果找到DA则返回历史数据DA,结束本流程;否则返回索引无结果的信息,结束本流程。
8.根据权利要求7所述的索引方法,其特征在于,当索引测点NID在任意时间点TBEGIN至TEND时间段内的历史数据时,包括以下步骤:
A′、将TBEGIN至TEND的时间段按日期划分为N个不同日期内的时间段,且同一个日期内只有一个时间段,用Ti表示第i个时间段,i从1开始计数;
B′、对时间段Ti采用如权利要求7所述的索引方法索引历史数据,时间段Ti对应的历史数据为RSi;
C′、如果N个时间段都处理完成,则将N个时间段对应的结果数据集RSi按照日期先后进行合并,得到测点NID在时刻TBEGIN至TEND的时间段内的历史数据;否则执行步骤B′。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201210063417 CN102646130B (zh) | 2012-03-12 | 2012-03-12 | 一种海量历史数据的存储及索引方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201210063417 CN102646130B (zh) | 2012-03-12 | 2012-03-12 | 一种海量历史数据的存储及索引方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102646130A true CN102646130A (zh) | 2012-08-22 |
CN102646130B CN102646130B (zh) | 2013-08-14 |
Family
ID=46658949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201210063417 Expired - Fee Related CN102646130B (zh) | 2012-03-12 | 2012-03-12 | 一种海量历史数据的存储及索引方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102646130B (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150397A (zh) * | 2013-03-26 | 2013-06-12 | 北京经纬恒润科技有限公司 | 一种数据索引创建方法、数据检索方法和*** |
WO2014106418A1 (en) * | 2013-01-07 | 2014-07-10 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for storing and reading files |
CN103970853A (zh) * | 2014-05-05 | 2014-08-06 | 浙江宇视科技有限公司 | 优化搜索引擎的方法及装置 |
CN104090987A (zh) * | 2014-07-28 | 2014-10-08 | 华中科技大学 | 一种历史数据存储及索引方法 |
CN104424224A (zh) * | 2013-08-26 | 2015-03-18 | 深圳市腾讯计算机***有限公司 | 一种文件索引存储方法及装置 |
CN104504116A (zh) * | 2014-12-30 | 2015-04-08 | 青岛海信网络科技股份有限公司 | 一种实时数据库的存储方法 |
CN104731779A (zh) * | 2013-12-18 | 2015-06-24 | 中国电子信息产业集团有限公司第六研究所 | 一种面向实时数据库的实时文件***数据组织管理方法 |
CN105243163A (zh) * | 2015-11-05 | 2016-01-13 | 国家电网公司 | 历史数据归档集成***及方法 |
CN105260404A (zh) * | 2015-09-22 | 2016-01-20 | 北京百度网讯科技有限公司 | 存储时间序列数据的方法和装置 |
CN106055691A (zh) * | 2016-06-12 | 2016-10-26 | 成都科来软件有限公司 | 一种分布式数据存储处理方法及存储处理*** |
CN106330198A (zh) * | 2016-08-26 | 2017-01-11 | 无锡挪瑞科技股份有限公司 | 一种船位信息压缩与还原方法 |
CN106528635A (zh) * | 2016-10-12 | 2017-03-22 | 青岛大学 | 二维数据的存储***、存储方法和查询方法 |
CN107783985A (zh) * | 2016-08-25 | 2018-03-09 | 中兴通讯股份有限公司 | 一种分布式数据库查询方法、装置及管理*** |
CN107918654A (zh) * | 2017-11-16 | 2018-04-17 | 联想(北京)有限公司 | 文件解压缩方法、装置及电子设备 |
CN108038253A (zh) * | 2018-01-23 | 2018-05-15 | 北京奇安信科技有限公司 | 一种日志查询的处理方法及装置 |
CN108287668A (zh) * | 2018-01-25 | 2018-07-17 | 深圳市智物联网络有限公司 | 设备数据的处理方法及装置、计算机装置及可读存储介质 |
CN108549714A (zh) * | 2018-04-20 | 2018-09-18 | 杭州橙鹰数据技术有限公司 | 一种数据处理方法及装置 |
CN108563649A (zh) * | 2017-12-12 | 2018-09-21 | 南京富士通南大软件技术有限公司 | 基于GlusterFS分布式文件***的离线去重方法 |
CN110456749A (zh) * | 2019-08-13 | 2019-11-15 | 中国核动力研究设计院 | 基于核电厂dcs平台工程师站软件历史数据处理方法 |
CN110737747A (zh) * | 2019-09-12 | 2020-01-31 | 苏宁云计算有限公司 | 一种数据操作方法、装置及*** |
CN110795430A (zh) * | 2019-10-25 | 2020-02-14 | 新奥数能科技有限公司 | 一种数据存储的方法及*** |
CN110825061A (zh) * | 2019-11-29 | 2020-02-21 | 新疆新能集团有限责任公司乌鲁木齐电力建设调试所 | 一种分散处理单元的流数据二维处理方法 |
CN111147083A (zh) * | 2019-12-10 | 2020-05-12 | 中国航空工业集团公司成都飞机设计研究所 | 一种时间信息压缩传输的方法 |
CN111414335A (zh) * | 2020-03-20 | 2020-07-14 | 深圳市凯沃尔电子有限公司 | 一种数据文件查找方法和装置 |
CN112347045A (zh) * | 2020-11-30 | 2021-02-09 | 长春工程学院 | 一种海量电缆隧道状态信号数据的存储方法 |
CN112905531A (zh) * | 2019-11-19 | 2021-06-04 | 千寻位置网络有限公司 | Gnss离线数据的存储方法、***及调用方法 |
CN113362489A (zh) * | 2020-03-06 | 2021-09-07 | 联合汽车电子有限公司 | 车辆测量文件的创建方法、电子设备和存储介质 |
CN114780022A (zh) * | 2022-03-25 | 2022-07-22 | 北京百度网讯科技有限公司 | 追加写操作实现方法、装置、电子设备及存储介质 |
CN117591577A (zh) * | 2024-01-18 | 2024-02-23 | 中核武汉核电运行技术股份有限公司 | 一种基于文件存储的核电历史数据对比方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060047714A1 (en) * | 2004-08-30 | 2006-03-02 | Mendocino Software, Inc. | Systems and methods for rapid presentation of historical views of stored data |
CN1878301A (zh) * | 2006-07-19 | 2006-12-13 | 杭州华为三康技术有限公司 | 一种视频监控数据存储管理方法及*** |
CN101520787A (zh) * | 2008-03-19 | 2009-09-02 | 中国科学院自动化研究所 | 一种对实时数据进行存储的方法 |
CN102043795A (zh) * | 2009-10-13 | 2011-05-04 | 上海新华控制技术(集团)有限公司 | 过程控制历史数据文件结构的建立方法和数据读写方法 |
CN102053922A (zh) * | 2009-10-28 | 2011-05-11 | 杭州华三通信技术有限公司 | 单数据流跨资源存储方法及*** |
CN102207964A (zh) * | 2011-05-31 | 2011-10-05 | 广州从兴电子开发有限公司 | 实时海量数据索引建立方法及*** |
-
2012
- 2012-03-12 CN CN 201210063417 patent/CN102646130B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060047714A1 (en) * | 2004-08-30 | 2006-03-02 | Mendocino Software, Inc. | Systems and methods for rapid presentation of historical views of stored data |
CN1878301A (zh) * | 2006-07-19 | 2006-12-13 | 杭州华为三康技术有限公司 | 一种视频监控数据存储管理方法及*** |
CN101520787A (zh) * | 2008-03-19 | 2009-09-02 | 中国科学院自动化研究所 | 一种对实时数据进行存储的方法 |
CN102043795A (zh) * | 2009-10-13 | 2011-05-04 | 上海新华控制技术(集团)有限公司 | 过程控制历史数据文件结构的建立方法和数据读写方法 |
CN102053922A (zh) * | 2009-10-28 | 2011-05-11 | 杭州华三通信技术有限公司 | 单数据流跨资源存储方法及*** |
CN102207964A (zh) * | 2011-05-31 | 2011-10-05 | 广州从兴电子开发有限公司 | 实时海量数据索引建立方法及*** |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014106418A1 (en) * | 2013-01-07 | 2014-07-10 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for storing and reading files |
CN103150397A (zh) * | 2013-03-26 | 2013-06-12 | 北京经纬恒润科技有限公司 | 一种数据索引创建方法、数据检索方法和*** |
CN103150397B (zh) * | 2013-03-26 | 2016-03-16 | 北京经纬恒润科技有限公司 | 一种数据索引创建方法、数据检索方法和*** |
CN104424224A (zh) * | 2013-08-26 | 2015-03-18 | 深圳市腾讯计算机***有限公司 | 一种文件索引存储方法及装置 |
CN104731779A (zh) * | 2013-12-18 | 2015-06-24 | 中国电子信息产业集团有限公司第六研究所 | 一种面向实时数据库的实时文件***数据组织管理方法 |
CN103970853A (zh) * | 2014-05-05 | 2014-08-06 | 浙江宇视科技有限公司 | 优化搜索引擎的方法及装置 |
CN104090987A (zh) * | 2014-07-28 | 2014-10-08 | 华中科技大学 | 一种历史数据存储及索引方法 |
CN104090987B (zh) * | 2014-07-28 | 2018-03-13 | 华中科技大学 | 一种历史数据存储及索引方法 |
CN104504116A (zh) * | 2014-12-30 | 2015-04-08 | 青岛海信网络科技股份有限公司 | 一种实时数据库的存储方法 |
CN104504116B (zh) * | 2014-12-30 | 2018-08-28 | 青岛海信网络科技股份有限公司 | 一种实时数据库的存储方法 |
CN105260404A (zh) * | 2015-09-22 | 2016-01-20 | 北京百度网讯科技有限公司 | 存储时间序列数据的方法和装置 |
CN105260404B (zh) * | 2015-09-22 | 2019-03-26 | 北京百度网讯科技有限公司 | 存储时间序列数据的方法和装置 |
CN105243163A (zh) * | 2015-11-05 | 2016-01-13 | 国家电网公司 | 历史数据归档集成***及方法 |
CN106055691A (zh) * | 2016-06-12 | 2016-10-26 | 成都科来软件有限公司 | 一种分布式数据存储处理方法及存储处理*** |
CN107783985B (zh) * | 2016-08-25 | 2021-04-16 | 中兴通讯股份有限公司 | 一种分布式数据库查询方法、装置及管理*** |
CN107783985A (zh) * | 2016-08-25 | 2018-03-09 | 中兴通讯股份有限公司 | 一种分布式数据库查询方法、装置及管理*** |
CN106330198A (zh) * | 2016-08-26 | 2017-01-11 | 无锡挪瑞科技股份有限公司 | 一种船位信息压缩与还原方法 |
CN106528635B (zh) * | 2016-10-12 | 2019-04-12 | 青岛大学 | 二维数据的存储***、存储方法和查询方法 |
CN106528635A (zh) * | 2016-10-12 | 2017-03-22 | 青岛大学 | 二维数据的存储***、存储方法和查询方法 |
CN107918654B (zh) * | 2017-11-16 | 2020-07-24 | 联想(北京)有限公司 | 文件解压缩方法、装置及电子设备 |
CN107918654A (zh) * | 2017-11-16 | 2018-04-17 | 联想(北京)有限公司 | 文件解压缩方法、装置及电子设备 |
CN108563649A (zh) * | 2017-12-12 | 2018-09-21 | 南京富士通南大软件技术有限公司 | 基于GlusterFS分布式文件***的离线去重方法 |
CN108038253B (zh) * | 2018-01-23 | 2021-03-12 | 奇安信科技集团股份有限公司 | 一种日志查询的处理方法及装置 |
CN108038253A (zh) * | 2018-01-23 | 2018-05-15 | 北京奇安信科技有限公司 | 一种日志查询的处理方法及装置 |
CN108287668A (zh) * | 2018-01-25 | 2018-07-17 | 深圳市智物联网络有限公司 | 设备数据的处理方法及装置、计算机装置及可读存储介质 |
CN108287668B (zh) * | 2018-01-25 | 2021-05-18 | 深圳市智物联网络有限公司 | 设备数据的处理方法及装置、计算机装置及可读存储介质 |
CN108549714A (zh) * | 2018-04-20 | 2018-09-18 | 杭州橙鹰数据技术有限公司 | 一种数据处理方法及装置 |
CN108549714B (zh) * | 2018-04-20 | 2020-12-11 | 杭州橙鹰数据技术有限公司 | 一种数据处理方法及装置 |
CN110456749A (zh) * | 2019-08-13 | 2019-11-15 | 中国核动力研究设计院 | 基于核电厂dcs平台工程师站软件历史数据处理方法 |
CN110737747A (zh) * | 2019-09-12 | 2020-01-31 | 苏宁云计算有限公司 | 一种数据操作方法、装置及*** |
CN110795430A (zh) * | 2019-10-25 | 2020-02-14 | 新奥数能科技有限公司 | 一种数据存储的方法及*** |
CN112905531A (zh) * | 2019-11-19 | 2021-06-04 | 千寻位置网络有限公司 | Gnss离线数据的存储方法、***及调用方法 |
CN112905531B (zh) * | 2019-11-19 | 2022-11-15 | 千寻位置网络有限公司 | Gnss离线数据的存储方法、***及调用方法 |
CN110825061A (zh) * | 2019-11-29 | 2020-02-21 | 新疆新能集团有限责任公司乌鲁木齐电力建设调试所 | 一种分散处理单元的流数据二维处理方法 |
CN110825061B (zh) * | 2019-11-29 | 2023-08-11 | 新疆新能集团有限责任公司乌鲁木齐电力建设调试所 | 一种分散处理单元的流数据二维处理方法 |
CN111147083B (zh) * | 2019-12-10 | 2023-06-27 | 中国航空工业集团公司成都飞机设计研究所 | 一种时间信息压缩传输的方法 |
CN111147083A (zh) * | 2019-12-10 | 2020-05-12 | 中国航空工业集团公司成都飞机设计研究所 | 一种时间信息压缩传输的方法 |
CN113362489A (zh) * | 2020-03-06 | 2021-09-07 | 联合汽车电子有限公司 | 车辆测量文件的创建方法、电子设备和存储介质 |
CN111414335A (zh) * | 2020-03-20 | 2020-07-14 | 深圳市凯沃尔电子有限公司 | 一种数据文件查找方法和装置 |
CN111414335B (zh) * | 2020-03-20 | 2023-07-14 | 深圳市凯沃尔电子有限公司 | 一种数据文件查找方法和装置 |
CN112347045A (zh) * | 2020-11-30 | 2021-02-09 | 长春工程学院 | 一种海量电缆隧道状态信号数据的存储方法 |
CN112347045B (zh) * | 2020-11-30 | 2022-07-26 | 长春工程学院 | 一种海量电缆隧道状态信号数据的存储方法 |
CN114780022A (zh) * | 2022-03-25 | 2022-07-22 | 北京百度网讯科技有限公司 | 追加写操作实现方法、装置、电子设备及存储介质 |
CN117591577A (zh) * | 2024-01-18 | 2024-02-23 | 中核武汉核电运行技术股份有限公司 | 一种基于文件存储的核电历史数据对比方法及*** |
CN117591577B (zh) * | 2024-01-18 | 2024-05-03 | 中核武汉核电运行技术股份有限公司 | 一种基于文件存储的核电历史数据对比方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN102646130B (zh) | 2013-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102646130B (zh) | 一种海量历史数据的存储及索引方法 | |
CN107423422B (zh) | 基于网格的空间数据分布式存储及检索方法和*** | |
Ma et al. | Query processing of massive trajectory data based on mapreduce | |
CN102667709B (zh) | 用于提供数据的长期存储的***和方法 | |
CN102375853A (zh) | 分布式数据库***、在其中建立索引的方法和查询方法 | |
CN102999519B (zh) | 一种数据库的读写方法及*** | |
CN102096685B (zh) | 分布式数据同步到数据仓库的方法及装置 | |
CN103902698A (zh) | 一种数据存储***和存储方法 | |
CN110825733B (zh) | 一种面向多采样流的时间序列数据管理方法及*** | |
CN102890722A (zh) | 应用于时序历史数据库的索引方法 | |
CN103902702A (zh) | 一种数据存储***和存储方法 | |
CN100458784C (zh) | 在数字图书馆中所采用的检索***和检索方法 | |
CN102521386A (zh) | 基于集群存储的空间元数据分组方法 | |
CN102446184B (zh) | 一种基于时间序列的工业数据存储及索引方法 | |
US20190095461A1 (en) | Columnar database compression | |
CN107741947B (zh) | 基于hdfs文件***的随机数密钥的存储与获取方法 | |
CN111104457A (zh) | 基于分布式数据库的海量时空数据管理方法 | |
CN102411632B (zh) | 基于链表的内存数据库页式存储方法 | |
CN102968456B (zh) | 一种栅格数据读取处理方法和装置 | |
CN102411616A (zh) | 一种数据存储方法和***及数据管理方法 | |
CN104112011A (zh) | 一种海量数据提取的方法及装置 | |
Ceci et al. | Big data techniques for supporting accurate predictions of energy production from renewable sources | |
CN102375827A (zh) | 一种对版本化的电网模型数据库进行快速加载的方法 | |
CN103279489A (zh) | 一种元数据的存储方法、装置 | |
CN107205024A (zh) | 一种云存储***中数据去重方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130814 Termination date: 20140312 |