CN101216821A - 数据采集***的存储管理方法 - Google Patents

数据采集***的存储管理方法 Download PDF

Info

Publication number
CN101216821A
CN101216821A CNA2007100001998A CN200710000199A CN101216821A CN 101216821 A CN101216821 A CN 101216821A CN A2007100001998 A CNA2007100001998 A CN A2007100001998A CN 200710000199 A CN200710000199 A CN 200710000199A CN 101216821 A CN101216821 A CN 101216821A
Authority
CN
China
Prior art keywords
index
subregion
data
database table
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007100001998A
Other languages
English (en)
Other versions
CN101216821B (zh
Inventor
文秀林
杜贤俊
唐文彬
田珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2007100001998A priority Critical patent/CN101216821B/zh
Publication of CN101216821A publication Critical patent/CN101216821A/zh
Application granted granted Critical
Publication of CN101216821B publication Critical patent/CN101216821B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据采集***的存储管理方法。步骤S102，设置一个或多个数据库表，将数据库表按时间范围进行分区；步骤S104，设置数据库表的索引，索引按照与数据库表进行分区的规则一致的规则进行分区；步骤S106，在需要增加不包括在已有时间范围内的数据时，创建新的数据库表分区，加入数据库表，在需要增加包括在已有时间范围内的数据时，将新数据加入时间上对应的数据库表分区；步骤S108，当数据库表分区对应的数据采集完成之后，对数据库表分区建立索引。提高了***的数据采集处理能力同时也能满足对数据的查询需求，解决了话单数据采集***的入库速度和实时查询需求的矛盾问题，同时也增加了存储数据的可维护性。

Description

数据采集***的存储管理方法
技术领域
本发明涉及电信领域的数据采集***，尤其涉及一种数据采集***的存储管理方法。
背景技术
在电信领域很多的原始数据都是通过运行设备的原始话单提供的，这样的数据的处理有几个特点：数据量大，几个月的数据就可达T级；处理性能要求高，处理速度要求几千条记录/秒。
这些数据需要进行实时查询、汇总计算和建立数据仓库，需要满足数据实时入库的同时，还要支持对入库数据的即时查询。为了满足较快的查询速度，就需要对查询的关键字上建立索引；但当数据表建立索引后，数据加载的速度将受影响，影响程度和索引的数据相关。测试数据显示，增加数个索引，入库速度将降低到几分之一，就可能导致处理速度跟不上数据的产生速度。所以存在一个入库速度和提高查询速度的矛盾。
因此，需要一种海量数据采集***的存储管理方案，用于解决话单数据采集***的入库速度和实时查询需求的矛盾问题，同时增加存储数据的可维护性。
发明内容
本发明的主要目的在于提供一种数据采集***的存储管理方法，用于解决海量数据采集***的数据存储、维护存在的问题，以及数据入库速度和查询速度之间的矛盾问题。
为了实现上述目的，本发明提供了一种数据采集***的存储管理方法。该存储管理方法包括以下步骤：
步骤S102，设置一个或多个数据库表，将数据库表按时间范围进行分区；
步骤S104，设置数据库表的索引，索引按照与数据库表进行分区的规则一致的规则进行分区；
步骤S106，在需要增加不包括在已有时间范围内的数据时，创建新的数据库表分区，加入数据库表，在需要增加包括在已有时间范围内的数据时，将新数据加入时间上对应的数据库表分区；
步骤S108，当数据库表分区对应的数据采集完成之后，对数据库表分区建立索引。
优选地，在步骤S102中，将不同的数据库表设置为存储不同类型的数据。
优选地，在步骤S102中，同一数据库表的分区都存放在同一表空间上，不同数据库表使用不同表空间。
步骤S106还可以包括：如果存在数据库表分区的时间超过在线保留时间，则删除数据库表分区，如果存储数据库表的存储空间的使用率超过使用率阈值，则删除最早时间的数据库表分区，直到使用率低于使用率阈值。
优选地，在步骤S108中，当数据库表分区对应的数据采集完成之前，不对数据库表分区建立索引。
可选地，在步骤S108中，采用索引信息表记录各个数据库表分区对应的索引，以进行索引的维护。可选地，在步骤S108中，通过索引空间维护定时任务来定时维护索引。索引信息表可以包括：数据库表标识、数据库表分区的时间标识、以及数据库表分区对应的索引状态。索引状态可以包括：初始状态，表示尚未建立索引；未完成状态，表示执行过索引建立任务但未完成；完成状态，表示索引已成功建立。
可选地，定时将当前时间的数据库表分区的索引加入索引信息表，查询索引信息表中时间小于当前时间并且索引状态为初始状态或未完成状态的数据库表分区，并在数据库表分区的数据采集完成的情况下为其建立对应的索引，并将其索引状态改为完成状态。
通过上述技术方案，本发明有效的提高了话单大数据存储的可行性、可维护性，最重要的是解决了数据入库和数据查询性能的矛盾问题，整个处理方法清晰，易于实现。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的数据采集***的存储管理方法的流程图；
图2是根据本发明实施例的话单数据的存储示意图；
图3是根据本发明实施例的索引信息表；以及
图4是根据本发明实施例的话单数据入库和索引维护示意图。
具体实施方式
下面将参考附图详细说明本发明。
参照图1，根据本发明的数据采集***的存储管理方法包括以下步骤：
步骤S102，设置一个或多个数据库表，将数据库表按时间范围进行分区。
优选地，将不同的数据库表设置为存储不同类型的数据。
可选地，时间上相邻的两个数据库表之间的时间间隔为一天。
优选地，同一数据库表的分区都存放在同一表空间上，不同数据库表使用不同表空间。
步骤S104，设置数据库表的索引，索引按照与数据库表进行分区的规则一致的规则进行分区。
步骤S106，在需要增加不包括在已有时间范围内的数据时，创建新的数据库表分区，加入数据库表，在需要增加包括在已有时间范围内的数据时，将新数据加入时间上对应的数据库表分区。
可选地，如果存在数据库表分区的时间超过在线保留时间，则删除数据库表分区。
可选地，如果存储数据库表的存储空间的使用率超过使用率阈值，则删除最早时间的数据库表分区，直到使用率低于使用率阈值。
步骤S108，当数据库表分区对应的数据采集完成之后，对数据库表分区建立索引。
优选地，当数据库表分区对应的数据采集完成之前，不对数据库表分区建立索引。
可选地，采用索引信息表记录各个数据库表分区对应的索引，以进行索引的维护。可选地，通过索引空间维护定时任务来定时维护索引。
索引信息表可以包括：数据库表标识、数据库表分区的时间标识、以及数据库表分区对应的索引状态。索引状态可以包括：初始状态，表示尚未建立索引；未完成状态，表示执行过索引建立任务但未完成；完成状态，表示索引已成功建立。
可选地，定时将当前时间的数据库表分区的索引加入索引信息表，查询索引信息表中时间小于当前时间并且索引状态为初始状态或未完成状态的数据库表分区，并在数据库表分区的数据采集完成的情况下为其建立对应的索引，并将其索引状态改为完成状态。
本发明涉及一种海量数据采集***中的数据存储管理方法，尤其涉及电信领域的话单数据采集***的数据的存储管理。本发明的基本设计思想是针对电信业务数据的数据量大、数据的时间关联性强等特点，存储数据的数据库表根据时间进行分区划分和管理，达到平衡数据库表索引对输入入库和数据查询的速度的影响，提供了一种数据的存储管理和索引管理的方法，本方案分几步进行：
步骤一：话单数据存储的设计
包括存储空间管理和数据库索引的管理，按照以下原则进行划分：
不同类型的话单数据存放到不同的数据库表中，存储话单数据的数据库表按时间范围进行分区，相邻两个分区间的时间间隔为一个时间窗口，这个时间窗口需要根据话单数据的时间特点和即时查询的要求来定，通常时间窗口的单位为天。采用按时间范围进行数据的分区，既能减少了数据操纵时的影响范围从而提高效率，也增加了数据的可维护性；
对这些话单数据的操作有个特点，对数据主要进行***(采集数据时)和删除(数据过期时)操作，很少进行更新，对数据进行分区也便于进行并发访问。在需要删除过期数据时，可以通过将过期数据分区移除的方法，避免了从大数据表中删除部分过期数据的巨大开销。
数据库表建立的索引也按时间进行分区，分区的规则与数据分区一致。
同一个数据库表的分区都存放在同一个表空间上，不同的数据库表使用不同的表空间，这样可以有效的利用存储空间，又能方便的将不同数据库表的在物理存储上分开，达到均衡IO的目的。
数据存储设计见图2。
步骤二：数据库表分区的管理
数据库表分区的管理包括两个方面：新分区的增加和过期分区的删除。
由于每个分区都占有比较大的存储空间(通常为几G字节)，这么大的数据库存储空间在分配时的初始化工作是比较费时的，如预先创建很多的分区也需要更大的存储空间，所以新分区在***运行过程中逐步加入。
由于一个数据库表对应的存储空间总大小很大，一次要将整个数据文件添加到数据库的表空间中是很费时，因此新的数据文件也是随***的运行逐步加入。
过期的分区的删除基于两个原则：数据的在线保留时间和存储空间的使用情况。超过在线保留时间的数据对应的分区需要删除；如果总的存储空间比较紧张，为了保证有足够的剩余空间存放即将入库的新分区，对每个存储空间设一个使用率的门限，当前使用率越过门限时，将最早时间的分区删除直到使用率低于门限值。
步骤三：索引空间的管理
话单表的索引是对话单数据入库性能影响很大的一个因素，为了避免索引建立对数据入库的影响。采取以下策略：当某分区对应的数据采集完之前，此分区不建立索引，此时数据入库时没有索引建立的开销；当数据都采集完毕后，索引空间维护的定时任务再自动建立此分区的索引。
各个分区对应的索引采用一个索引信息表记录其索引的状态，索引空间维护定时任务根据索引信息表来进行索引的维护，见图3。
下面以一个实际的电信业务分析***中的话单采集为例，对本发明的技术方案的实施作进一步的详细描述：
***使用的数据库采用ORACLE(其它数据库也有类似的机制来支持)。我们以一个话单数据表为例说明整个过程，SMSCMOMT表用于存放某短消息中心的话单数据，我们按话单记录的时间字段进行范围分区，每个分区内存放一天的数据，数据库表建表脚本如：
CREATE TABLE SMSCMOMT
(
 SESSIONID               VARCHAR2(10)    NULL，
 CHARGEDUSERNUMBER       VARCHAR2(16)    NULL，
 BEGINTIME           DATE           NULL，
   ……
)
storage(initial 10M next 50M MAXEXTENTS UNLIMITED)
partition by range(BEGINTIME)
(
partition smscmomt_20031201 values less than(to_date(′2003-12-01′，′yyyy-mm-dd′))
)；
对表SMSCMOMT建立索引，索引采用本地索引，它也按话单表一样进行分区：
CREATE INDEX IDX_SMSCMOMT ON SMSCMOMT(
BEGINTIME，CHARGEDUSERNUMBER
)LOCAL；
SMSCMOMT表存放在表空间TS_SMSCMOMT中，TS_SMSCMOMT表空间的数据文件有多个8192M字节大小的数据文件构成。
表SMSCMOMT与其分区，索引分区以及表空间之间的关系见图2。
分区的维护：
分区维护定时任务周期运行，每天执行一次新分区和数据文件的添加，增加存放第二天数据的分区，如可用的数据文件都添加到表空间中了就只是增加分区而不添加数据文件。但此时需要修改对应的索引分区状态为不可用，这样当新采集数据入到此分区时入库速度不受索引的影响。
表分区的命名按照表名叫分区名的原则进行命名，表SMSCMOMT的分区命名规则为：SMSCMOMT_YYYYMMDD(YYYY为年，MM为月，DD为日)，表示此分区类存在的数据的范围分区字段的值为此天内的数据。
分区清理任务也是周期运行，运行频率可以比新增分区的任务高，如一天两次，这样在存储空间比较满时也能保证新数据入库时有足够的空闲空间。分区清除任务根据两个参数来决定是否将旧分区移去，一个是数据保存的最长时间：n天，这个时间根据业务需要和总的存储空间大小而定；另外一个是表空间的最高使用率：m％，此门限的取值根据总的存储空间大小以及一个分区清除任务时间窗口内可能需要的最大存储空间与数据采集的速度而定，即保证剩余的存储空间在在下一次分区清除任务执行前存放此时间段采集的数据是足够的。
当保存的最旧的数据的时间为n天前时，需要删除对应的分区；当表空间的当前使用率达到或超过m％时，依次删除存放最久数据的分区，直到使用率低于此门限。
索引的维护：
索引信息表中按话单数据表、分区划分的每个时间窗口和分区对应的索引状态来记录信息，索引状态有三个状态值：2，为初始状态，表示此分区索引未建立；1，为执行过此分区索引建立任务但未完成，原因可能是对应的分区时间窗口内的数据未采集完毕，也可能时执行任务时其它原因导致建立索引失败；0，索引已成功建立。见图3。
索引维护定时任务执行频率与分区的时间窗口大小一致，这里为每天运行一次。任务触发时，首先前一个时间窗口的分区索引初始记录***索引信息表中，其它索引状态值为2。然后查询索引信息表中时间小于当前分区时间窗口的所有状态为1或2的记录。根据查询结果对每一条记录进行处理，检查记录对应的时间窗口的数据是否采集完成，如采集完成则建立对应分区的索引。见图4中，数据采集的的当前时间窗口对应分区SMSCMOMT_20060503，话单采集***还需要入到此分区；从索引信息表中查询到满足条件的记录对应的分区为SMSCMOMT_20060502，所以索引维护定时任务执行此分区的索引建立任务。
进行数据查询时如查询数据为时间窗口(这里就是当天的数据)之前的数据，由于索引已经建立，所以速度很快。即使查询当前正在处理的数据，由于数据量相对小些，有限时间中也能查询出结果。由于分区索引都是在数据入库后一次性建立，所以索引结构比较好，索引的查询速度更快，并且索引占用的存储空间相对小些。
本发明描述的话单数据采集***的存储管理方法，针对了电信业务数据的特点：数据量巨大，业务***处理速度要求高，数据的采集既要满足实时性又要满足业务查询的需求，它常常用于混合性需求的***(OLAP和OLTP***需求同时存在)中。本方法提高了***的数据采集处理能力同时也能满足对数据的查询需求，解决了话单数据采集***的入库速度和实时查询需求的矛盾问题，同时也增加了存储数据的可维护性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据采集***的存储管理方法，其特征在于，包括以下步骤：
步骤S102，设置一个或多个数据库表，将所述数据库表按时间范围进行分区；
步骤S104，设置所述数据库表的索引，所述索引按照与所述数据库表进行分区的规则一致的规则进行分区；
步骤S106，在需要增加不包括在已有时间范围内的数据时，创建新的数据库表分区，加入所述数据库表，在需要增加包括在已有时间范围内的数据时，将所述新数据加入时间上对应的数据库表分区；
步骤S108，当所述数据库表分区对应的数据采集完成之后，对所述数据库表分区建立索引。
2.根据权利要求1所述的存储管理方法，其特征在于，在步骤S102中，将不同的所述数据库表设置为存储不同类型的数据。
3.根据权利要求1或2所述的存储管理方法，其特征在于，在步骤S102中，同一数据库表的分区都存放在同一表空间上，不同数据库表使用不同表空间。
4.根据权利要求1所述的存储管理方法，其特征在于，步骤S106还包括：如果存在数据库表分区的时间超过在线保留时间，则删除所述数据库表分区，如果存储所述数据库表的存储空间的使用率超过使用率阈值，则删除最早时间的所述数据库表分区，直到所述使用率低于所述使用率阈值。
5.根据权利要求1所述的存储管理方法，其特征在于，在步骤S108中，当所述数据库表分区对应的数据采集完成之前，不对所述数据库表分区建立索引。
6.根据权利要求1所述的存储管理方法，其特征在于，在步骤S108中，采用索引信息表记录各个所述数据库表分区对应的索引，以进行索引的维护。
7.根据权利要求1或6所述的存储管理方法，其特征在于，在步骤S108中，通过索引空间维护定时任务来定时维护索引。
8.根据权利要求6所述的存储管理方法，其特征在于，所述索引信息表包括：数据库表标识、所述数据库表分区的时间标识、以及所述数据库表分区对应的索引状态。
9.根据权利要求8所述的存储管理方法，其特征在于，所述索引状态包括：初始状态，表示尚未建立索引；未完成状态，表示执行过索引建立任务但未完成；完成状态，表示索引已成功建立。
10.根据权利要求9所述的存储管理方法，其特征在于，定时将当前时间的所述数据库表分区的索引加入所述索引信息表，查询所述索引信息表中时间小于当前时间并且索引状态为初始状态或未完成状态的所述数据库表分区，并在所述数据库表分区的数据采集完成的情况下为其建立对应的索引，并将其索引状态改为完成状态。
CN2007100001998A 2007-01-05 2007-01-05 数据采集***的存储管理方法 Expired - Fee Related CN101216821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007100001998A CN101216821B (zh) 2007-01-05 2007-01-05 数据采集***的存储管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007100001998A CN101216821B (zh) 2007-01-05 2007-01-05 数据采集***的存储管理方法

Publications (2)

Publication Number Publication Date
CN101216821A true CN101216821A (zh) 2008-07-09
CN101216821B CN101216821B (zh) 2010-06-16

Family

ID=39623254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100001998A Expired - Fee Related CN101216821B (zh) 2007-01-05 2007-01-05 数据采集***的存储管理方法

Country Status (1)

Country Link
CN (1) CN101216821B (zh)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344893B (zh) * 2008-07-17 2010-06-02 中兴通讯股份有限公司 一种历史数据的存取方法和装置
CN101815277A (zh) * 2010-04-29 2010-08-25 中兴通讯股份有限公司 话单数据的统计处理方法及装置
CN101853278A (zh) * 2010-05-19 2010-10-06 苏州迈科网络安全技术有限公司 数据存储***应用方法
WO2010133052A1 (zh) * 2009-05-20 2010-11-25 中兴通讯股份有限公司 话单处理方法和***
CN102063490A (zh) * 2010-12-20 2011-05-18 大唐移动通信设备有限公司 一种数据库分区方法和分区装置
CN102073697A (zh) * 2010-12-28 2011-05-25 中兴通讯股份有限公司 一种数据处理方法及装置
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技（北京）有限公司 一种数据库维护方法和设备
CN102567428A (zh) * 2010-12-30 2012-07-11 ***通信集团浙江有限公司 一种在线数据生命周期管理方法和装置
CN102054000B (zh) * 2009-10-28 2012-07-25 ***通信集团公司 数据查询方法、装置及***
WO2012139331A1 (zh) * 2011-04-14 2012-10-18 中兴通讯股份有限公司 分布式话单查询管理***及方法
CN102750377A (zh) * 2012-06-21 2012-10-24 深圳市谷米科技有限公司 海量数据存储和检索方法
CN102867071A (zh) * 2012-10-19 2013-01-09 烽火通信科技股份有限公司 一种网管海量历史数据管理方法
CN102982186A (zh) * 2012-12-26 2013-03-20 厦门市美亚柏科信息股份有限公司 基于oracle数据库***的range分区表的维护方法和***
WO2013053254A1 (en) * 2011-10-14 2013-04-18 Tencent Technology (Shenzhen) Company Limited Index creation method and system
CN103136315A (zh) * 2011-11-22 2013-06-05 中兴通讯股份有限公司 话单数据的入库处理方法及装置
CN103177055A (zh) * 2011-12-22 2013-06-26 Sap股份公司 存储为行存储和列存储二者的混合数据库表
CN103336849A (zh) * 2013-07-24 2013-10-02 昆明理工大学 一种数据库检索***中提高检索速度的方法及装置
CN103544302A (zh) * 2013-10-31 2014-01-29 北京锐安科技有限公司 数据库的分区维护方法和装置
CN103544157A (zh) * 2012-07-11 2014-01-29 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN103793382A (zh) * 2012-10-26 2014-05-14 腾讯科技（北京）有限公司 一种数据库的数据处理方法及***
CN103886060A (zh) * 2014-03-17 2014-06-25 北京国双科技有限公司 用于联机分析处理分区的数据处理方法和装置
CN104166650A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 数据存储装置和数据存储方法
CN104199945A (zh) * 2014-09-10 2014-12-10 北京国双科技有限公司 数据存储方法和装置
CN104298687A (zh) * 2013-07-18 2015-01-21 阿里巴巴集团控股有限公司 一种哈希分区管理方法及装置
CN104915421A (zh) * 2015-06-10 2015-09-16 湖南菜鸟网络科技有限公司 体检数据处理***和方法
CN104933042A (zh) * 2013-09-29 2015-09-23 国家电网公司 基于大数据量的数据库表采集优化技术
CN105045535A (zh) * 2015-07-22 2015-11-11 北京京东尚科信息技术有限公司 一种自动删除过期数据的方法和***
CN105224658A (zh) * 2015-09-30 2016-01-06 北京京东尚科信息技术有限公司 一种大数据的实时查询方法和***
CN105488167A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 一种索引库更新方法及装置
CN105488165A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 基于索引库的数据检索方法及***
CN105488166A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 一种索引建立方法及装置
CN102141963B (zh) * 2010-01-28 2016-06-08 阿里巴巴集团控股有限公司 一种数据分析方法和设备
CN105893531A (zh) * 2016-03-31 2016-08-24 武汉虹信技术服务有限责任公司 PostgreSQL数据库海量数据管理方法及***
CN106156202A (zh) * 2015-04-22 2016-11-23 ***通信集团广东有限公司 一种数据库故障的处理方法及装置
CN106776846A (zh) * 2016-11-28 2017-05-31 桂林远望智能通信科技有限公司 一种释放数据库空间的方法和***
CN107066588A (zh) * 2017-04-17 2017-08-18 星环信息科技（上海）有限公司 一种数据库及相应的方法与设备
CN107766380A (zh) * 2016-08-22 2018-03-06 ***通信集团河北有限公司 一种业务数据的均衡分布及搜索方法及其装置、***
CN108228908A (zh) * 2018-02-09 2018-06-29 中国银行股份有限公司 一种数据抽取方法及装置
WO2019029395A1 (zh) * 2017-08-10 2019-02-14 中兴通讯股份有限公司 一种入库方法及装置、存储介质
CN109977145A (zh) * 2019-03-28 2019-07-05 山东浪潮云信息技术有限公司 一种基于水平分区的数据库自动分区管理方法及***
CN110489426A (zh) * 2019-08-26 2019-11-22 杭州安恒信息技术股份有限公司 一种数据库表的自动化分区方法、装置及设备
WO2020020170A1 (zh) * 2018-07-26 2020-01-30 杭州海康威视数字技术股份有限公司 数据删除方法和装置
CN111653012A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 闸机控制方法、闸机及具有存储功能的装置
CN112328592A (zh) * 2020-10-15 2021-02-05 华为技术有限公司 数据存储方法、电子设备及计算机可读存储介质
CN112487047A (zh) * 2020-11-02 2021-03-12 广州明珞装备股份有限公司 一种备件消耗数据查询方法、***和存储介质
CN113297164A (zh) * 2020-04-07 2021-08-24 阿里巴巴集团控股有限公司 数据库***、数据查询方法及装置
CN113326397A (zh) * 2021-08-04 2021-08-31 北京达佳互联信息技术有限公司 业务数据的处理方法、装置
WO2022141719A1 (zh) * 2020-12-30 2022-07-07 罗普特科技集团股份有限公司 一种基于分布式多存储服务的循环存储方法和***
CN114880296A (zh) * 2022-07-08 2022-08-09 江苏信江数字科技有限公司 适用于园区大数据的储存方法及***
CN115809268A (zh) * 2022-11-23 2023-03-17 深圳计算科学研究院 一种基于分片索引的自适应查询方法和装置
CN115857826A (zh) * 2022-12-27 2023-03-28 铭派技术开发有限公司 一种船舶工控软件数据存储显示***
CN116701382A (zh) * 2023-08-03 2023-09-05 成都数默科技有限公司 基于clickhouse数据库的自动高效数据回滚方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1783068B (zh) * 2005-09-09 2010-04-28 浙江大学 一种故障诊断监控数据库服务实现方法

Cited By (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344893B (zh) * 2008-07-17 2010-06-02 中兴通讯股份有限公司 一种历史数据的存取方法和装置
WO2010133052A1 (zh) * 2009-05-20 2010-11-25 中兴通讯股份有限公司 话单处理方法和***
CN102054000B (zh) * 2009-10-28 2012-07-25 ***通信集团公司 数据查询方法、装置及***
CN102141963B (zh) * 2010-01-28 2016-06-08 阿里巴巴集团控股有限公司 一种数据分析方法和设备
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技（北京）有限公司 一种数据库维护方法和设备
CN101815277A (zh) * 2010-04-29 2010-08-25 中兴通讯股份有限公司 话单数据的统计处理方法及装置
CN101853278A (zh) * 2010-05-19 2010-10-06 苏州迈科网络安全技术有限公司 数据存储***应用方法
CN102063490A (zh) * 2010-12-20 2011-05-18 大唐移动通信设备有限公司 一种数据库分区方法和分区装置
CN102063490B (zh) * 2010-12-20 2012-12-19 大唐移动通信设备有限公司 一种数据库分区方法和分区装置
CN102073697A (zh) * 2010-12-28 2011-05-25 中兴通讯股份有限公司 一种数据处理方法及装置
CN102567428A (zh) * 2010-12-30 2012-07-11 ***通信集团浙江有限公司 一种在线数据生命周期管理方法和装置
WO2012139331A1 (zh) * 2011-04-14 2012-10-18 中兴通讯股份有限公司 分布式话单查询管理***及方法
US10185729B2 (en) 2011-10-14 2019-01-22 Shenzhen Shi Ji Guang Su Information Technology Co., Ltd. Index creation method and system
WO2013053254A1 (en) * 2011-10-14 2013-04-18 Tencent Technology (Shenzhen) Company Limited Index creation method and system
CN103136315A (zh) * 2011-11-22 2013-06-05 中兴通讯股份有限公司 话单数据的入库处理方法及装置
CN103177055A (zh) * 2011-12-22 2013-06-26 Sap股份公司 存储为行存储和列存储二者的混合数据库表
CN103177055B (zh) * 2011-12-22 2017-09-05 Sap欧洲公司 存储为行存储和列存储二者的混合数据库表
CN102750377B (zh) * 2012-06-21 2016-07-27 深圳市谷米科技有限公司 海量数据存储和检索方法
CN102750377A (zh) * 2012-06-21 2012-10-24 深圳市谷米科技有限公司 海量数据存储和检索方法
CN103544157A (zh) * 2012-07-11 2014-01-29 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN103544157B (zh) * 2012-07-11 2017-08-15 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN102867071A (zh) * 2012-10-19 2013-01-09 烽火通信科技股份有限公司 一种网管海量历史数据管理方法
CN102867071B (zh) * 2012-10-19 2015-04-29 烽火通信科技股份有限公司 一种网管海量历史数据管理方法
CN103793382A (zh) * 2012-10-26 2014-05-14 腾讯科技（北京）有限公司 一种数据库的数据处理方法及***
CN103793382B (zh) * 2012-10-26 2019-09-20 腾讯科技（北京）有限公司 一种数据库的数据处理方法及***
CN102982186A (zh) * 2012-12-26 2013-03-20 厦门市美亚柏科信息股份有限公司 基于oracle数据库***的range分区表的维护方法和***
CN102982186B (zh) * 2012-12-26 2016-01-20 厦门市美亚柏科信息股份有限公司 基于oracle数据库***的range分区表的维护方法和***
CN104166650A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 数据存储装置和数据存储方法
CN104166650B (zh) * 2013-05-16 2018-03-06 方正宽带网络服务股份有限公司 数据存储装置和数据存储方法
CN104298687A (zh) * 2013-07-18 2015-01-21 阿里巴巴集团控股有限公司 一种哈希分区管理方法及装置
CN104298687B (zh) * 2013-07-18 2018-04-03 阿里巴巴集团控股有限公司 一种哈希分区管理方法及装置
CN103336849A (zh) * 2013-07-24 2013-10-02 昆明理工大学 一种数据库检索***中提高检索速度的方法及装置
CN104933042A (zh) * 2013-09-29 2015-09-23 国家电网公司 基于大数据量的数据库表采集优化技术
CN104933042B (zh) * 2013-09-29 2018-04-13 国家电网公司 基于大数据量的数据库表采集优化技术
CN103544302A (zh) * 2013-10-31 2014-01-29 北京锐安科技有限公司 数据库的分区维护方法和装置
CN103886060B (zh) * 2014-03-17 2017-12-22 北京国双科技有限公司 用于联机分析处理分区的数据处理方法和装置
CN103886060A (zh) * 2014-03-17 2014-06-25 北京国双科技有限公司 用于联机分析处理分区的数据处理方法和装置
CN104199945A (zh) * 2014-09-10 2014-12-10 北京国双科技有限公司 数据存储方法和装置
CN106156202A (zh) * 2015-04-22 2016-11-23 ***通信集团广东有限公司 一种数据库故障的处理方法及装置
CN106156202B (zh) * 2015-04-22 2019-11-19 ***通信集团广东有限公司 一种数据库故障的处理方法及装置
CN104915421A (zh) * 2015-06-10 2015-09-16 湖南菜鸟网络科技有限公司 体检数据处理***和方法
CN105045535A (zh) * 2015-07-22 2015-11-11 北京京东尚科信息技术有限公司 一种自动删除过期数据的方法和***
CN105045535B (zh) * 2015-07-22 2018-10-02 北京京东尚科信息技术有限公司 一种自动删除过期数据的方法和***
CN105224658A (zh) * 2015-09-30 2016-01-06 北京京东尚科信息技术有限公司 一种大数据的实时查询方法和***
CN105224658B (zh) * 2015-09-30 2018-11-30 北京京东尚科信息技术有限公司 一种大数据的实时查询方法和***
CN105488167B (zh) * 2015-11-30 2019-12-13 北京金山安全软件有限公司 一种索引库更新方法及装置
CN105488167A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 一种索引库更新方法及装置
CN105488165A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 基于索引库的数据检索方法及***
CN105488166A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 一种索引建立方法及装置
CN105893531B (zh) * 2016-03-31 2019-07-23 武汉虹信技术服务有限责任公司 PostgreSQL数据库海量数据管理方法及***
CN105893531A (zh) * 2016-03-31 2016-08-24 武汉虹信技术服务有限责任公司 PostgreSQL数据库海量数据管理方法及***
CN107766380B (zh) * 2016-08-22 2020-06-30 ***通信集团河北有限公司 一种业务数据的均衡分布及搜索方法及其装置、***
CN107766380A (zh) * 2016-08-22 2018-03-06 ***通信集团河北有限公司 一种业务数据的均衡分布及搜索方法及其装置、***
CN106776846A (zh) * 2016-11-28 2017-05-31 桂林远望智能通信科技有限公司 一种释放数据库空间的方法和***
CN107066588A (zh) * 2017-04-17 2017-08-18 星环信息科技（上海）有限公司 一种数据库及相应的方法与设备
WO2019029395A1 (zh) * 2017-08-10 2019-02-14 中兴通讯股份有限公司 一种入库方法及装置、存储介质
CN108228908A (zh) * 2018-02-09 2018-06-29 中国银行股份有限公司 一种数据抽取方法及装置
CN108228908B (zh) * 2018-02-09 2021-11-12 中国银行股份有限公司 一种数据抽取方法及装置
WO2020020170A1 (zh) * 2018-07-26 2020-01-30 杭州海康威视数字技术股份有限公司 数据删除方法和装置
CN110765081A (zh) * 2018-07-26 2020-02-07 杭州海康威视数字技术股份有限公司 一种数据删除方法和装置
CN109977145A (zh) * 2019-03-28 2019-07-05 山东浪潮云信息技术有限公司 一种基于水平分区的数据库自动分区管理方法及***
CN110489426A (zh) * 2019-08-26 2019-11-22 杭州安恒信息技术股份有限公司 一种数据库表的自动化分区方法、装置及设备
CN113297164A (zh) * 2020-04-07 2021-08-24 阿里巴巴集团控股有限公司 数据库***、数据查询方法及装置
CN111653012A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 闸机控制方法、闸机及具有存储功能的装置
CN111653012B (zh) * 2020-05-29 2022-06-07 浙江大华技术股份有限公司 闸机控制方法、闸机及具有存储功能的装置
CN112328592A (zh) * 2020-10-15 2021-02-05 华为技术有限公司 数据存储方法、电子设备及计算机可读存储介质
CN112487047A (zh) * 2020-11-02 2021-03-12 广州明珞装备股份有限公司 一种备件消耗数据查询方法、***和存储介质
WO2022141719A1 (zh) * 2020-12-30 2022-07-07 罗普特科技集团股份有限公司 一种基于分布式多存储服务的循环存储方法和***
CN113326397A (zh) * 2021-08-04 2021-08-31 北京达佳互联信息技术有限公司 业务数据的处理方法、装置
CN114880296A (zh) * 2022-07-08 2022-08-09 江苏信江数字科技有限公司 适用于园区大数据的储存方法及***
CN114880296B (zh) * 2022-07-08 2022-10-04 江苏信江数字科技有限公司 适用于园区大数据的储存方法及***
CN115809268A (zh) * 2022-11-23 2023-03-17 深圳计算科学研究院 一种基于分片索引的自适应查询方法和装置
CN115809268B (zh) * 2022-11-23 2024-01-16 深圳计算科学研究院 一种基于分片索引的自适应查询方法和装置
CN115857826A (zh) * 2022-12-27 2023-03-28 铭派技术开发有限公司 一种船舶工控软件数据存储显示***
CN115857826B (zh) * 2022-12-27 2023-09-22 铭派技术开发有限公司 一种船舶工控软件数据存储显示***
CN116701382A (zh) * 2023-08-03 2023-09-05 成都数默科技有限公司 基于clickhouse数据库的自动高效数据回滚方法
CN116701382B (zh) * 2023-08-03 2023-10-20 成都数默科技有限公司 基于clickhouse数据库的自动高效数据回滚方法

Also Published As

Publication number Publication date
CN101216821B (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
CN101216821B (zh) 数据采集***的存储管理方法
CN102521406B (zh) 海量结构化数据复杂查询任务的分布式查询方法和***
CN101459557B (zh) 一种安全日志集中存储方法及装置
CN102521405B (zh) 支持高速加载的海量结构化数据存储、查询方法和***
CN102129442B (zh) 一种分布式数据库***和数据访问方法
CN103927238B (zh) 一种在数据存储器中用于时间线压缩的技术
CN108256088A (zh) 一种基于键值数据库的时序数据的存储方法及***
CN105069134A (zh) 一种Oracle统计信息自动收集方法
CN103366015A (zh) 一种基于Hadoop的OLAP数据存储与查询方法
EP1149351A1 (en) System for database creation, maintenance and access using event marking and two-dimensional partitioning
CN106033324B (zh) 一种数据存储的方法和装置
CN110399351A (zh) 审计日志数据的处理方法与***
CN104778188A (zh) 一种分布式设备日志采集方法
CN101087203A (zh) 一种海量数据统计方法
CN102779138A (zh) 实时数据的硬盘存取方法
CN110096509A (zh) 大数据环境下实现历史数据拉链表存储建模处理的***及方法
CN101790257A (zh) 一种存储数据的方法和网管***
CN102893265A (zh) 管理可独立访问的数据单元的存储
CN105159845A (zh) 存储器读取方法
CN104346458A (zh) 数据存储方法和存储设备
CN110175206A (zh) 用于多数据库分离的智能分析业务方法、***及介质
CN102982186A (zh) 基于oracle数据库***的range分区表的维护方法和***
CN101646140A (zh) 消息日志处理方法和***
CN105630934A (zh) 一种数据统计方法及***
CN111813866B (zh) 一种改进的区块链账本同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100616

Termination date: 20180105

CF01 Termination of patent right due to non-payment of annual fee