CN104765792B - 一种维度数据存储的方法、装置及*** - Google Patents

一种维度数据存储的方法、装置及*** Download PDF

Info

Publication number
CN104765792B
CN104765792B CN201510131549.9A CN201510131549A CN104765792B CN 104765792 B CN104765792 B CN 104765792B CN 201510131549 A CN201510131549 A CN 201510131549A CN 104765792 B CN104765792 B CN 104765792B
Authority
CN
China
Prior art keywords
dimension
data
newly generated
dimension data
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510131549.9A
Other languages
English (en)
Other versions
CN104765792A (zh
Inventor
马庆利
陈志标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510131549.9A priority Critical patent/CN104765792B/zh
Publication of CN104765792A publication Critical patent/CN104765792A/zh
Application granted granted Critical
Publication of CN104765792B publication Critical patent/CN104765792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种维度数据存储的方法,包括:获取终端运行所新产生的维度数据;根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;当满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。本发明实施例提供的维度数据存储的方法,只存储满足存储条件的数据,从而可以减少时序数据的存储量,减少存储冗余。

Description

一种维度数据存储的方法、装置及***
技术领域
本发明涉及计算机技术领域,具体涉及一种维度数据存储的方法、装置及***。
背景技术
在数据库的联机分析处理(On-Line Analysis Processing,OLAP)业务中多涉及针对特定数据的时序操作,如在电信领域根据用户一定时间内的流量汇总做用户行为分析。为了支持这类操作,需要存储大量时序数据,时序数据就是与时间强相关的数据,例如:用户的剩余金额,所消耗的流量或者剩余流量等。在电信领域涉及较多的时序数据,在其他领域可能还涉及空间数据、频率数据等,我们将这些时间、空间、计数、频率或用户表的某个字段的数据统称为维度数据。
现有技术中的数据库,需要创建特殊维度表,以行粒度跟踪用户每次新增的维度数据。当维度表中包含多列维度数据时,这种方式不可避免地带来大量冗余的存储开销。
现有技术的数据库管理维度数据首先需要建立暂存表(Temporal table)保存所有历史记录,所有新产生的维度数据均以追加在Temporal table中。维度数据的追加在Temporal table中是以行为单位进行,无论是更新一列还是多列,都需要追加一行完整的记录到维度表中,导致存储了大量冗余数据。
发明内容
本发明实施例提供一种维度数据存储的方法,可以减少时序数据的存储量,减少存储冗余。本发明实施例还提供了相应的装置及***。
本发明第一方面提供一种维度数据存储的方法,包括:
获取终端运行所新产生的维度数据;
根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;
当满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。
结合第一方面,在第一种可能的实现方式中,所述维度策略包括维度条件和存储特征标识,所述根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,包括:
确定所述新产生的维度数据是否满足所述维度条件;
当满足所述维度条件时,确定所述新产生的维度数据是否是所述存储特征标识所指示的维度数据;
当所述新产生的维度数据是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据满足所述存储条件。
结合第一方面第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:
当所述新产生的维度数据不在所述维度条件限制范围内时,则确定所述新产生的维度数据满足所述存储条件。
结合第一方面第一种可能的实现方式,在第三种可能的实现方式中,所述方法还包括:
当所述新产生的维度数据不是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据不满足所述存储条件,并设置保持标识,所述保持标识用于指示所述述新产生的维度数据与上一个保存的维度数据相同。
结合第一方面、第一方面第一种至第三种中任意一种可能的实现方式,在第四种可能的实现方式中,所述获取终端运行所新产生的维度数据之前,所述方法还包括:
接收所述终端响应用户的输入所发送的策略配置消息,所述策略配置消息中携带维度索引和配置信息;
根据所述配置信息,生成与所述维度索引关联的维度策略。
结合第一方面第四种可能的实现方式,在第五种可能的实现方式中,所述获取终端运行所新产生的维度数据之后,所述方法还包括:
检测所述新产生的维度数据是否有维度索引,所述维度索引用于指示所述新产生的维度数据需要按照与所述维度索引关联的维度策略进行存储;
当有维度索引时,检测所述新产生的维度数据是否有维度策略;
当有所述维度策略时,获取所述维度策略。
本发明第二方面提供一种维度数据存储的装置,包括:
获取模块,用于获取终端运行所新产生的维度数据;
确定模块,用于根据预先配置的维度策略,确定所述获取模块获取的所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;
添加模块,用于当所述确定模块确定出所述新产生的维度数据满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。
结合第二方面,在第一种可能的实现方式中,
所述确定模块,具体用于当述维度策略包括维度条件和存储特征标识时,确定所述新产生的维度数据是否满足所述维度条件;当满足所述维度条件时,确定所述新产生的维度数据是否是所述存储特征标识所指示的维度数据;当所述新产生的维度数据是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据满足所述存储条件。
结合第二方面第一种可能的实现方式,在第二种可能的实现方式中,
所述确定模块,具体用于当所述新产生的维度数据不在所述维度条件限制范围内时,则确定所述新产生的维度数据满足所述存储条件。
结合第二方面第一种可能的实现方式,在第三种可能的实现方式中,所述装置还包括设置模块,
所述设置模块,具体用于当所述新产生的维度数据不是所述存储特征标识所指示的维度数据时,则所述确定模块确定所述新产生的维度数据不满足所述存储条件,并设置保持标识,所述保持标识用于指示所述述新产生的维度数据与上一个保存的维度数据相同。
结合第二方面、第二方面第一种至第三种中任意一种可能的实现方式,在第四种可能的实现方式中,所述装置还包括接收模块和生成模块,
所述接收模块,用于接收所述终端响应用户的输入所发送的策略配置消息,所述策略配置消息中携带维度索引和配置信息;
所述生成模块,用于根据所述接收模块接收的所述配置信息,生成与所述维度索引关联的维度策略。
结合第二方面第四种可能的实现方式,在第五种可能的实现方式中,所述装置还包括第一检测模块和第二检测模块,
所述第一检测模块,用于检测所述新产生的维度数据是否有维度索引,所述维度索引用于指示所述新产生的维度数据需要按照与所述维度索引关联的维度策略进行存储;
所述第二检测模块,用于当所述第一检测模块检测出有维度索引时,检测所述新产生的维度数据是否有维度策略;
所述获取模块,还用于当所述第二检测模块检测出有所述维度策略时,获取所述维度策略。
本发明实施例采用获取终端运行所新产生的维度数据;根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;当满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。与现有技术中每条数据都要存储相比,本发明实施例提供的维度数据存储的方法,只存储满足存储条件的数据,从而可以减少时序数据的存储量,减少存储冗余。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中维度数据存储的方法的一实施例示意图;
图2是本发明实施例中维度数据存储的方法的另一实施例示意图;
图3是本发明实施例中维度数据存储的方法的另一实施例示意图;
图4是本发明实施例中维度数据存储的方法的另一实施例示意图;
图5是本发明实施例中维度数据存储的装置的一实施例示意图;
图6是本发明实施例中维度数据存储的装置的另一实施例示意图;
图7是本发明实施例中维度数据存储的装置的另一实施例示意图;
图8是本发明实施例中维度数据存储的装置的另一实施例示意图;
图9是本发明实施例中维度数据存储的装置的另一实施例示意图;
图10是本发明实施例中维度数据存储的装置的另一实施例示意图。
具体实施方式
本发明实施例提供一种维度数据存储的方法,可以减少时序数据的存储量,减少存储冗余。本发明实施例还提供了相应的装置及***。以下分别进行详细说明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
参阅图1,本发明实施例提供的维度数据存储的方法的一实施例包括:
101、获取终端运行所新产生的维度数据。
本发明实施例中的维度数据是指具有特定属性的数据,如:时间属性、空间属性、频率属性、用户表的某个字段等。维度数据也就是时序数据、位置数据、频率数据、计数数据或者用户表的某个字段的数据。以终端运行所新产生的维度数据是时序数据为例,该时序数据可以是:通话所产生的每分钟的话费,上网的网速,上网所产生的流量,通话次数等。可以理解为通话详单,第一分钟通话2次,第2分钟通话3次。
102、根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略。
103、当满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。
本发明实施例采用获取终端运行所新产生的维度数据;根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;当满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。与现有技术中每条数据都要存储相比,本发明实施例提供的维度数据存储的方法,只存储满足存储条件的数据,从而可以减少时序数据的存储量,减少存储冗余。
可选地,在上述图1对应的实施例的基础上,本发明实施例提供的维度数据存储的方法的第一个可选实施例中,所述维度策略包括维度条件和存储特征标识,所述根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,可以包括:
确定所述新产生的维度数据是否满足所述维度条件;
当满足所述维度条件时,确定所述新产生的维度数据是否是所述存储特征标识所指示的维度数据;
当所述新产生的维度数据是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据满足所述存储条件。
可选地,在上述维度数据存储的方法的第一个可选实施例的基础上,本发明实施例提供的维度数据存储的方法的第二个可选实施例中,所述方法还可以包括:
当所述新产生的维度数据不在所述维度条件限制范围内时,则确定所述新产生的维度数据满足所述存储条件。
可选地,在上述维度数据存储的方法的第一个可选实施例的基础上,本发明实施例提供的维度数据存储的方法的第三个可选实施例中,所述方法还可以包括:
当所述新产生的维度数据不是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据不满足所述存储条件,并设置保持标识,所述保持标识用于指示所述新产生的维度数据与上一个保存的维度数据相同。
本发明以上可选实施例中,维度条件可以为时间间隔、位置间隔、频率间隔、计数间隔等,例如:每隔5分钟,每隔50Hz等,存储特征标识可以为FIRST/LAST/MAX/MIN,其中,FIRST表示存储第一个维度数据,LAST表示存储最后一个维度数据,MAX表示存储最大的维度数据,MIN表示存储最小的维度数据,当然还可以有其他存储标识,本处不一一列举。例如:维度策略【TIME:5:FIRST】表示为每隔5分钟存储第一个维度数据,其中5分钟也可以理解为是维度阈值。还以策略【TIME:5:FIRST】为例,满足所述维度条件可以理解为,时间间隔是否达到5分钟,例如:从10:00开始计时,10:02获取到一个时序数据,10:02在5分钟内,则满足所述维度条件,如果10:02的时序数据是第一个该5分钟间隔内的第一个数据,则存储该时序数据,如果在10:04分又获取到一个时序数据,10:04在5分钟内,则满足所述维度条件,但10:04的时序数据不是第一个数据则,不是存储特征标识所指示的时序数据,则不存储该10:04的时序数据。如果在10:06获取到一个时序数据,针对从10:00计时的策略可以理解为超出所述维度条件的,则存储所述10:06的时序数据。针对间隔5分钟重新计时的测量可以理解为是满足所述维度条件,如果10:06的时序数据是第一个数据则存储所述10:06的时序数据,再次进入循环。
可见,本发明实施例中,不需要针对每个维度数据进行一次存储,在节省存储空间的基础上,进一步提高了存储效率,而且存储的数据量少,还可以进一步提高数据查找的效率。
可选地,在上述维度数据存储的方法的任一实施例的基础上,本发明实施例提供的维度数据存储的方法的第四个可选实施例中,所述获取终端运行所新产生的维度数据之前,所述方法还可以包括:
接收所述终端响应用户的输入所发送的策略配置消息,所述策略配置消息中携带维度索引和配置信息;
根据所述配置信息,生成与所述维度索引关联的维度策略。
本发明实施例中,策略开发人员可以在服务器中设置一些策略,然后用户可以根据需求,在终端中输入一些参数动态修改针对本终端的维度策略。
可选地,在上述第四个可选实施例的基础上,本发明实施例提供的维度数据存储的方法的第五个可选实施例中,所述获取终端运行所新产生的维度数据之后,所述方法还可以包括:
检测所述新产生的维度数据是否有维度索引,所述维度索引用于指示所述新产生的维度数据需要按照与所述维度索引关联的维度策略进行存储;
当有维度索引时,检测所述新产生的维度数据是否有维度策略;
当有所述维度策略时,获取所述维度策略。
为了便于理解,下面结合图2对本发明实施例提供的数据存储的方法进行进一步的说明:
步骤111、开始。
步骤112、接收到新产生的时序数据,数据列发生更新。
步骤113、检索所述新产生的维度数据是否有时序索引,如果有时序索引执行步骤114,如果没有时序索引,结束本过程,所述时序索引用于指示所述新产生的时序数据需要按照与时序索引关联的维度策略进行存储。
步骤114、确定有时序索引。
步骤115、检索是否有与该时序索引关联的时序策略,如果有时序策略执行步骤116,如果没有时序策略,则将该时序索引作为一般的时序索引,执行步骤120。
步骤116、获取决策输入。
决策输入可以是上一个时序数据,一个时序数据中可以包括维度值和时序值,维度值也是具体的数值,比如本5分钟开始的时间10:00,时序值就是时序数据的具体值了,比如5分钟内第一次访问网速100KB/s。
步骤117、根据时序数据和时序策略进行更新决策。
本发明实施例中的更新只的是决定存储该条时序数据。
步骤118、更新时序数据。
步骤119、保持上一条时序数据。
步骤120、追加一条时序数据。
步骤121、结束。
可见,本发明实施例中,针对每列灵活定义时序索引策略,根据策略优化要保存的时序记录,可以大量减少时序记录的条数,降低保存时序数据的时间空间开销。保存时序记录条数的减少,可以降低数据访问时要遍历的记录量,提高访问性能。
下面结合图3,介绍本发明实施例中维度数据存储的过程:
时序策略定义时序数据序列的更新策略,在创建时序索引时创建。时序策略包含的信息主要为:维度条件(时间、空间或用户自定义列等时序数据更新的决策条件),维度阈值(时序数据更新决策的阈值)以及存储特征标识(如FIRST/LAST/MAX/MIN等要保存到时序数据中的值)。例如策略【TIME:5:FIRST】中,维度条件为时间间隔,维度阈值为5(分钟),保存特征为首个值。其表示的意思为,在时序数据中保存每5分钟内的首次更新值。
维度数据是时序数据更新决策的输入之一,表示了维度的当前值(如时间戳、地理位置及用户自定义列的当前值等)。根据维度的当前值和最近一条时序数据中保存的维度值做比较,如果超过了维度阈值则创建一条新的时序数据,否则重用最近的时序数据。还以策略【TIME:5:FIRST】为例,假设最近时序数据中维度值为时间10:50,当前维度值为10:54。当前维度值与最近时序数据中维度值之差小于维度阈值,则不用创建新的时序数据。否则要创建一条新的时序数据到时序数据序列中。
时序数据序列中存储了数据列的历史数据版本,同一记录的多个版本通过指针连接起来。时序数据作为数据更新决策的输入之一,用于读取最近一条时序数据的维度值和时序值。根据时序策略决策,新的时序数据被追加到时序数据序列,或者最近的时序数据被更新,或者时序数据保持不变。如保存特征为MAX时,当更新值大于最近的时序值时,最近的时序值要更新为更新值。否则,保持最近时序值不变。
下面参阅图4,再以另一个例子介绍本发明实施例中维度数据存储的过程:
1、为数据表中需要时序操作的列col1创建时序索引T1,并定义时序策略。如【TIME:60:MAX】表示,为col1列保存每60秒钟的最大值。
2.首次创建列值,***一条时序数据值。假设在时间点1000首次向col1列***数据100,将维度值、更新值及前向指针(时序数据【1000:100:NULL】)***到时序数据序列中,***的位置为ADDR_A。
3.时序数据的保持。假设在时间1005,col1列数据被更新为90。从ADDR_A读取最近的时序数据【1000:100:NULL】,对时序数据处理决策:
维度阈值比较:1005–100<60==>时间差小于60秒。
更新方式决策:100〉90==>新值不是最大值。
决策:保持原有数据。
4.时序数据的更新。假设在时间1020,col1列数据被更新为110。从ADDR_A读取最近的时序数据【1000:100:NULL】,对时序数据处理决策:
维度阈值比较:1005–100<60==>时间差小于60秒。
更新方式决策:100<110==>新值为MAX值。
决策:更新时序数据为【1000:110:NULL】。
5.时序数据的追加。假设在时间1070,col1列数据被更新为95。从ADDR_A读取最近的时序数据【1000:100:NULL】,对时序数据处理决策:
维度阈值比较:1070–100>=60==>时间差大于等于60秒。
决策:追加新的时序数据【1060:95:ADDR_A】。
可见,本发明实施例中,针对每列灵活定义时序索引策略,根据策略优化要保存的时序记录,可以大量减少时序记录的条数,降低保存时序数据的时间空间开销。保存时序记录条数的减少,可以降低数据访问时要遍历的记录量,提高访问性能。
参阅图5,本发明实施例提供的维度数据存储的装置20的一实施例包括:
获取模块201,用于获取终端运行所新产生的维度数据;
确定模块202,用于根据预先配置的维度策略,确定所述获取模块201获取的所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;
添加模块203,用于当所述确定模块202确定出所述新产生的维度数据满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。
本发明实施例中,获取模块201,用于获取终端运行所新产生的维度数据;确定模块202根据预先配置的维度策略,确定所述获取模块201获取的所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;添加模块203当所述确定模块202确定出所述新产生的维度数据满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。与现有技术中每条数据都要存储相比,本发明实施例提供的维度数据存储的装置,只存储满足存储条件的数据,从而可以减少时序数据的存储量,减少存储冗余。
可选地,在上述图5对应的实施例的基础上,本发明实施例提供的维度数据存储的装置20的第一个可选实施例中,
所述确定模块202,具体用于当述维度策略包括维度条件和存储特征标识时,确定所述新产生的维度数据是否满足所述维度条件;当满足所述维度条件时,确定所述新产生的维度数据是否是所述存储特征标识所指示的维度数据;当所述新产生的维度数据是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据满足所述存储条件。
可选地,在上述图5对应的实施例的基础上,本发明实施例提供的维度数据存储的装置20的第二个可选实施例中,
所述确定模块202,具体用于当不满足所述维度条件时,则确定所述新产生的维度数据满足所述存储条件。
可选地,在上述图5对应的实施例的基础上,参阅图6,本发明实施例提供的维度数据存储的装置20的第三个可选实施例中,所述装置20还包括设置模块204,
所述设置模块204,具体用于当所述新产生的维度数据不是所述存储特征标识所指示的维度数据时,则所述确定模块202确定所述新产生的维度数据不满足所述存储条件,并设置保持标识,所述保持标识用于指示所述述新产生的维度数据与上一个保存的维度数据相同。
可见,本发明实施例中,不需要针对每个维度数据进行一次存储,在节省存储空间的基础上,进一步提高了存储效率,而且存储的数据量少,还可以进一步提高数据查找的效率。
可选地,在上述维度数据存储的装置20的任一实施例的基础上,参阅图7,本发明实施例提供的维度数据存储的装置20的第四个可选实施例中,所述装置还包括接收模块205和生成模块206,
所述接收模块205,用于在所述获取模块201获取终端运行所新产生的维度数据之前,接收所述终端响应用户的输入所发送的策略配置消息,所述策略配置消息中携带维度索引和配置信息;
所述生成模块206,用于根据所述接收模块205接收的所述配置信息,生成与所述维度索引关联的维度策略。
可选地,在上述维度数据存储的装置20的第四个可选实施例的基础上,参阅图8,本发明实施例提供的维度数据存储的装置20的第五个可选实施例中,所述装置20还包括第一检测模块207和第二检测模块208,
所述第一检测模块207,用于检测所述获取模块201获取的所述新产生的维度数据是否有维度索引,所述维度索引用于指示所述新产生的维度数据需要按照与所述维度索引关联的维度策略进行存储;
所述第二检测模块208,用于当所述第一检测模块207检测出有维度索引时,检测所述新产生的维度数据是否有维度策略;
所述获取模块201,还用于当所述第二检测模块208检测出有所述维度策略时,获取所述维度策略。
在上述维度数据存储的装置的多个实施例中,应当理解的是,在一种实现方式下,接收模块可以是由输入/输出I/O设备(比如网卡)来实现,确定模块、添加模块、设置模块、第一检测模块、第二检测模块可以由处理器执行存储器中的程序或指令来实现的(换言之,即由处理器以及与所述处理器耦合的存储器中的特殊指令相互配合来实现);在另一种实现方式下,接收模块可以是由输入/输出I/O设备(比如网卡)来实现,确定模块、添加模块、设置模块、第一检测模块、第二检测模块也可以分别通过专有电路来实现,具体实现方式参见现有技术,这里不再赘述;在再一种实现方式下,接收模块可以是由输入/输出I/O设备(比如网卡)来实现,确定模块、添加模块、设置模块、第一检测模块、第二检测模块也可以通过现场可编程门阵列(FPGA,Field-Programmable Gate Array)来实现,具体实现方式参见现有技术,这里不再赘述,本发明包括但不限于前述实现方式,应当理解的是,只要按照本发明的思想实现的方案,都落入本发明实施例所保护的范围。
本实施例提供了一种维度数据存储的装置的硬件结构,参见图9所示,一种维度数据存储的装置的硬件结构可以包括:
收发器件、软件器件以及硬件器件三部分;
收发器件为用于完成包收发的硬件电路;
硬件器件也可称“硬件处理模块”,或者更简单的,也可简称为“硬件”,硬件器件主要包括基于FPGA、ASIC之类专用硬件电路(也会配合其他配套器件,如存储器)来实现某些特定功能的硬件电路,其处理速度相比通用处理器往往要快很多,但功能一经定制,便很难更改,因此,实现起来并不灵活,通常用来处理一些固定的功能。需要说明的是,硬件器件在实际应用中,也可以包括MCU(微处理器,如单片机)、或者CPU等处理器,但这些处理器的主要功能并不是完成大数据的处理,而主要用于进行一些控制,在这种应用场景下,由这些器件搭配的***为硬件器件。
软件器件(或者也简单“软件”)主要包括通用的处理器(例如CPU)及其一些配套的器件(如内存、硬盘等存储设备),可以通过编程来让处理器具备相应的处理功能,用软件来实现时,可以根据业务需求灵活配置,但往往速度相比硬件器件来说要慢。软件处理完后,可以通过硬件器件将处理完的数据通过收发器件进行发送,也可以通过一个与收发器件相连的接口向收发器件发送处理完的数据。
本实施例中,收发器件用于进行上述实施例中维度数据的接收,软件器件或硬件器件用于APP注册、服务质量控制等。
硬件器件及软件器件的其他功能在前述实施例中已经详细论述,这里不再赘述。
下面结合附图就接收模块可以是由输入/输出I/O设备(比如网卡)来实现,确定模块、添加模块、设置模块、第一检测模块、第二检测模块可以是可以由处理器执行存储器中的程序或指令来实现的技术方案来做详细的介绍:
图10是本发明实施例提供的维度数据存储的装置20的结构示意图。所述维度数据存储的装置20包括处理器210、存储器250和输入/输出I/O设备230,存储器250可以包括只读存储器和随机存取存储器,并向处理器210提供操作指令和数据。存储器250的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中,存储器250存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
在本发明实施例中,通过调用存储器250存储的操作指令(该操作指令可存储在操作***中),
获取终端运行所新产生的维度数据;
根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;
当满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储。
可见,与现有技术中每条数据都要存储相比,本发明实施例提供的维度数据存储的方法,只存储满足存储条件的数据,从而可以减少时序数据的存储量,减少存储冗余。
处理器210控制维度数据存储的装置20的操作,处理器210还可以称为CPU(Central Processing Unit,中央处理单元)。存储器250可以包括只读存储器和随机存取存储器,并向处理器210提供指令和数据。存储器250的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中维度数据存储的装置20的各个组件通过总线***220耦合在一起,其中总线***220除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线***220。
上述本发明实施例揭示的方法可以应用于处理器210中,或者由处理器210实现。处理器210可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器210中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器210可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器250,处理器210读取存储器250中的信息,结合其硬件完成上述方法的步骤。
可选地,处理器210具体用于当所述维度策略包括维度条件和存储特征标识时,确定所述新产生的维度数据是否满足所述维度条件;当满足所述维度条件时,确定所述新产生的维度数据是否是所述存储特征标识所指示的维度数据;当所述新产生的维度数据是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据满足所述存储条件。
可选地,处理器210具体用于当不满足所述维度条件时,则确定所述新产生的维度数据满足所述存储条件。
可选地,处理器210具体用于当所述新产生的维度数据不是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据不满足所述存储条件,并设置保持标识,所述保持标识用于指示所述述新产生的维度数据与上一个保存的维度数据相同。
可选地,I/O设备230用于接收所述终端响应用户的输入所发送的策略配置消息,所述策略配置消息中携带维度索引和配置信息;
处理器210还用于根据所述配置信息,生成与所述维度索引关联的维度策略。
可选地,处理器210还用于检测所述新产生的维度数据是否有维度索引,所述维度索引用于指示所述新产生的维度数据需要按照与所述维度索引关联的维度策略进行存储;当有维度索引时,检测所述新产生的维度数据是否有维度策略;当有所述维度策略时,获取所述维度策略。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件(例如处理器)来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的维度数据存储的方法以及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种维度数据存储的方法,其特征在于,包括:
获取终端运行所新产生的维度数据;
根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;
当满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储;
其中,所述维度策略包括维度条件和存储特征标识,所述根据预先配置的维度策略,确定所述新产生的维度数据是否满足存储条件,包括:
确定所述新产生的维度数据是否满足所述维度条件;
当满足所述维度条件时,确定所述新产生的维度数据是否是所述存储特征标识所指示的维度数据;
当所述新产生的维度数据是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据满足所述存储条件。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述新产生的维度数据不在所述维度条件限制范围内时,则确定所述新产生的维度数据满足所述存储条件。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述新产生的维度数据不是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据不满足所述存储条件,并设置保持标识,所述保持标识用于指示所述述新产生的维度数据与上一个保存的维度数据相同。
4.根据权利要求1-3任一所述的方法,其特征在于,所述获取终端运行所新产生的维度数据之前,所述方法还包括:
接收所述终端响应用户的输入所发送的策略配置消息,所述策略配置消息中携带维度索引和配置信息;
根据所述配置信息,生成与所述维度索引关联的维度策略。
5.根据权利要求4所述的方法,其特征在于,所述获取终端运行所新产生的维度数据之后,所述方法还包括:
检测所述新产生的维度数据是否有维度索引,所述维度索引用于指示所述新产生的维度数据需要按照与所述维度索引关联的维度策略进行存储;
当有维度索引时,检测所述新产生的维度数据是否有维度策略;
当有所述维度策略时,获取所述维度策略。
6.一种维度数据存储的装置,其特征在于,包括:
获取模块,用于获取终端运行所新产生的维度数据;
确定模块,用于根据预先配置的维度策略,确定所述获取模块获取的所述新产生的维度数据是否满足存储条件,所述维度策略为判断维度数据是否满足存储条件的策略;
添加模块,用于当所述确定模块确定出所述新产生的维度数据满足存储条件时,将所述新产生的维度数据添加到维度数据序列中进行存储;
其中,所述确定模块,具体用于当述维度策略包括维度条件和存储特征标识时,确定所述新产生的维度数据是否满足所述维度条件;当满足所述维度条件时,确定所述新产生的维度数据是否是所述存储特征标识所指示的维度数据;当所述新产生的维度数据是所述存储特征标识所指示的维度数据时,则确定所述新产生的维度数据满足所述存储条件。
7.根据权利要求6所述的装置,其特征在于,
所述确定模块,具体用于当所述新产生的维度数据不在所述维度条件限制范围内时,则确定所述新产生的维度数据满足所述存储条件。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括设置模块,
所述设置模块,具体用于当所述新产生的维度数据不是所述存储特征标识所指示的维度数据时,则所述确定模块确定所述新产生的维度数据不满足所述存储条件,并设置保持标识,所述保持标识用于指示所述述新产生的维度数据与上一个保存的维度数据相同。
9.根据权利要求6-8任一所述的装置,其特征在于,所述装置还包括接收模块和生成模块,
所述接收模块,用于接收所述终端响应用户的输入所发送的策略配置消息,所述策略配置消息中携带维度索引和配置信息;
所述生成模块,用于根据所述接收模块接收的所述配置信息,生成与所述维度索引关联的维度策略。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括第一检测模块和第二检测模块,
所述第一检测模块,用于检测所述新产生的维度数据是否有维度索引,所述维度索引用于指示所述新产生的维度数据需要按照与所述维度索引关联的维度策略进行存储;
所述第二检测模块,用于当所述第一检测模块检测出有维度索引时,检测所述新产生的维度数据是否有维度策略;
所述获取模块,还用于当所述第二检测模块检测出有所述维度策略时,获取所述维度策略。
CN201510131549.9A 2015-03-24 2015-03-24 一种维度数据存储的方法、装置及*** Active CN104765792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510131549.9A CN104765792B (zh) 2015-03-24 2015-03-24 一种维度数据存储的方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510131549.9A CN104765792B (zh) 2015-03-24 2015-03-24 一种维度数据存储的方法、装置及***

Publications (2)

Publication Number Publication Date
CN104765792A CN104765792A (zh) 2015-07-08
CN104765792B true CN104765792B (zh) 2018-06-15

Family

ID=53647623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510131549.9A Active CN104765792B (zh) 2015-03-24 2015-03-24 一种维度数据存储的方法、装置及***

Country Status (1)

Country Link
CN (1) CN104765792B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649687B (zh) * 2016-12-16 2023-11-21 飞狐信息技术(天津)有限公司 大数据联机分析处理方法及装置
CN108182244B (zh) * 2017-12-28 2019-04-05 清华大学 一种基于多层次列式存储结构的时序数据存储方法
CN108681500B (zh) * 2018-04-28 2021-09-07 格兰菲智能科技有限公司 具有事务记录能力的***和事务记录方法
CN111552687B (zh) * 2020-03-10 2023-08-04 远景智能国际私人投资有限公司 时序数据的存储方法、查询方法、装置、设备及存储介质
CN112632347B (zh) * 2021-01-14 2024-01-23 加和(北京)信息科技有限公司 数据筛选控制方法及装置、非易失性存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479211A (zh) * 2010-11-26 2012-05-30 ***股份有限公司 基于数据库的海量数据处理***及方法
CN102855391A (zh) * 2012-08-10 2013-01-02 南京南瑞继保电气有限公司 一种ems多专业数据全息存储及全景事故反演方法
CN103281383A (zh) * 2013-05-31 2013-09-04 重庆大学 一种面向分布式数据源的时序信息记录方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479211A (zh) * 2010-11-26 2012-05-30 ***股份有限公司 基于数据库的海量数据处理***及方法
CN102855391A (zh) * 2012-08-10 2013-01-02 南京南瑞继保电气有限公司 一种ems多专业数据全息存储及全景事故反演方法
CN103281383A (zh) * 2013-05-31 2013-09-04 重庆大学 一种面向分布式数据源的时序信息记录方法

Also Published As

Publication number Publication date
CN104765792A (zh) 2015-07-08

Similar Documents

Publication Publication Date Title
CN104765792B (zh) 一种维度数据存储的方法、装置及***
CN109582470B (zh) 一种数据处理方法及数据处理装置
CN104246761A (zh) 在联合数据管理***中支持多租用
US20110235909A1 (en) Analyzing documents using stored templates
CN103678696B (zh) 控制数据读取分离的方法及装置
CN102981947A (zh) 一种测试中准备数据的方法及***
CN104657435A (zh) 一种应用数据的存储管理方法和网络管理***
CN107153620A (zh) 一种数据处理方法及装置
CN105989079A (zh) 获取设备指纹的方法及装置
CN114328566A (zh) 关系图谱的更新方法、装置、介质、设备及生成方法
CN104423982A (zh) 请求的处理方法和处理设备
CN117238433B (zh) 基于LibreOffice进行文档数据自动隔离的方法
CN106021566A (zh) 一种提高单台数据库并发处理能力的方法、装置及***
CN104219639A (zh) 一种显示短信记录的方法和装置
CN110716965A (zh) 一种块链式账本中的查询方法、装置及设备
CN110502504A (zh) 产品单元库构建***、方法、装置及计算机可读存储介质
CN105335466A (zh) 一种音频数据的检索方法与装置
CN104536780A (zh) 一种电子游戏资源高效加载方法及***
CN113596107A (zh) 一种基于区块链的数据同步方法和装置
CN105991744A (zh) 用于同步用户应用数据的方法与设备
CN108647315A (zh) 数据采集方法及***
CN111125226B (zh) 一种配置数据采集方法及装置
CN109189864B (zh) 一种数据同步延时的确定方法、装置和设备
CN105488047B (zh) 元数据读写方法和装置
CN106294700A (zh) 一种日志的存储与读取方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant