CN111694839A - 基于大数据的时间序列指数构建方法、装置及计算机设备 - Google Patents

基于大数据的时间序列指数构建方法、装置及计算机设备 Download PDF

Info

Publication number
CN111694839A
CN111694839A CN202010351271.7A CN202010351271A CN111694839A CN 111694839 A CN111694839 A CN 111694839A CN 202010351271 A CN202010351271 A CN 202010351271A CN 111694839 A CN111694839 A CN 111694839A
Authority
CN
China
Prior art keywords
data
time
calculated
current
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010351271.7A
Other languages
English (en)
Other versions
CN111694839B (zh
Inventor
陆文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010351271.7A priority Critical patent/CN111694839B/zh
Publication of CN111694839A publication Critical patent/CN111694839A/zh
Application granted granted Critical
Publication of CN111694839B publication Critical patent/CN111694839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于大数据的时间序列指数构建方法、装置、计算机设备及存储介质，涉及大数据和区块链，若接收到由用户端发送的数据处理请求且数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值和最大可用内存值，对应计算时间跨度值；将待计算数据集中根据时间跨度值划分为多组数据，依时序将各组数据保存至内存中以调用指数运算模型进行计算，将对应结果发送至哈希表中进行存储，直至各组数据对应的结果完成运算和存储；将结果队列发送至用户端。该方法实现了对时间总跨度较大的数据是根据当前的最大可用内存值，按数据的时序分批次的查询获取和进行计算，避免了数据溢出，减少查询数据库次数，提高计算效率且确保结果准确。

Description

基于大数据的时间序列指数构建方法、装置及计算机设备
技术领域
本发明涉及大数据的数据处理技术领域，尤其涉及一种基于大数据的时间序列指数构建方法、装置、计算机设备及存储介质。
背景技术
指数研究属于大数据研究的一个重要的方向，在经济生活中应用广泛。如通过股票指数反应资本市场整体的运行状况；通过房价指数反应各地方的房地产市场的整体运行状况；通过消费指数反应市场整体的物价水平。通过构建指数，研究人员可以非常便捷的研究分散对象的整体状况。指数通常是以时间序列为X轴，指数值为Y轴对研究对象的整体进行描述，其原理是首先对研究对象进行分门别类，并汇总同一时间节点各对象的“值”，通过某种权重算法计算当时的“合成值”。
当在超大容量的关系型数据库中存储各种类型且带有时间标识的数据，若需依赖关系型数据库中符合条件的数据构建指数模型时(例如关系型数据库中存在N类数据，数据量巨大，其中每类数据时间跨度不一致，若一种统计需求是处理同一天所有数据的情况，但时间跨度可能是数十年时)，基于该关系型数据库进行查询与计算时，其采用的一般方式是逐一在N类数据查询目标数据，之后将所有目标数据均保存到内存中进行汇总。在服务器中的关系型数据库一般内存和计算资源有限，在有限的计算资源下通常会遇到内存溢出(此时可能存在数据丢失)或者计算时间过长的性能问题，导致无法快速且准确的完成运算。
发明内容
本发明实施例提供了一种基于大数据的时间序列指数构建方法、装置、计算机设备及存储介质，旨在解决现有技术中在超大容量的关系型数据库中获取满足条件数据后是先全部存储在内存中后再进行计算，在关系型数据库有限的计算资源下和内存下，使得数据溢出和计算时间过长，导致无法快速得到准确的运算结果的问题。
第一方面，本发明实施例提供了一种基于大数据的时间序列指数构建方法，其包括：
判断是否接收到由用户端发送的数据处理请求；其中，所述数据处理请求中包括待计算数据集对应的目标数据类型，及待计算数据集对应的起始时间和待计算数据集对应的终止时间；
若接收到由用户端发送的数据处理请求，判断本地的数据库是否已初始化；其中，所述数据库中存储有数据类型至少为一种的多元数据，每一多元数据均包括数据取值、时间属性值和权重值，每一多元数据均对应所述数据库中存储的多个数据类型中的其中一种；
若所述数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值，并获取最大可用内存值，根据最大可用内存值与多类总数据量大小值之商得到时间跨度值；其中，所述多类总数据量大小值＝所述待计算数据集对应的目标数据类型的个数*单条多元数据数据量大小值；
将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储；以及
将哈希表中结果队列作为运算结果发送至用户端。
第二方面，本发明实施例提供了一种基于大数据的时间序列指数构建装置，其包括：
计算请求检测单元，用于判断是否接收到由用户端发送的数据处理请求；其中，所述数据处理请求中包括待计算数据集对应的目标数据类型，及待计算数据集对应的起始时间和待计算数据集对应的终止时间；
初始化判断单元，用于若接收到由用户端发送的数据处理请求，判断本地的数据库是否已初始化；其中，所述数据库中存储有数据类型至少为一种的多元数据，每一多元数据均包括数据取值、时间属性值和权重值，每一多元数据均对应所述数据库中存储的多个数据类型中的其中一种；
时间跨度值获取单元，用于若所述数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值，并获取最大可用内存值，根据最大可用内存值与多类总数据量大小值之商得到时间跨度值；其中，所述多类总数据量大小值＝所述待计算数据集对应的目标数据类型的个数*单条多元数据数据量大小值；
分组运算单元，用于将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储；以及
结果发送单元，用于将哈希表中结果队列作为运算结果发送至用户端。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于大数据的时间序列指数构建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于大数据的时间序列指数构建方法。
本发明实施例提供了一种基于大数据的时间序列指数构建方法、装置、计算机设备及存储介质，包括：判断是否接收到由用户端发送的数据处理请求；若接收到由用户端发送的数据处理请求，判断本地的数据库是否已初始化；若所述数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值，并获取最大可用内存值，根据最大可用内存值与多类总数据量大小值之商得到时间跨度值；将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储；以及将哈希表中结果队列作为运算结果发送至用户端。该方法实现了对时间总跨度较大的数据，是根据当前的最大可用内存值，按数据的时序分批次的查询获取和进行计算，最大化利用了内存，避免了数据溢出，而且减少查询数据库次数，提高了计算效率且确保计算结果准确。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于大数据的时间序列指数构建方法的应用场景示意图；
图2为本发明实施例提供的基于大数据的时间序列指数构建方法的流程示意图；
图3为本发明实施例提供的基于大数据的时间序列指数构建方法的子流程示意图；
图4为本发明实施例提供的基于大数据的时间序列指数构建方法的另一子流程示意图；
图5为本发明实施例提供的基于大数据的时间序列指数构建装置的示意性框图；
图6为本发明实施例提供的基于大数据的时间序列指数构建装置的子单元示意性框图；
图7为本发明实施例提供的基于大数据的时间序列指数构建装置的另一子单元示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
请参阅图1和图2，图1为本发明实施例提供的基于大数据的时间序列指数构建方法的应用场景示意图；图2为本发明实施例提供的基于大数据的时间序列指数构建方法的流程示意图，该基于大数据的时间序列指数构建方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S150。
S110、判断是否接收到由用户端发送的数据处理请求；其中，所述数据处理请求中包括待计算数据集对应的目标数据类型，及待计算数据集对应的起始时间和待计算数据集对应的终止时间。
在本实施例中，数据库是位于服务器端的，用户端可以与服务器端建立连接以发起对数据库的数据查询或计算等请求。本申请是在服务器端的角度进行技术方案的描述，即当用户端与服务器端建立连接后，若由用户端向服务器端发起数据处理请求，该数据处理被服务器检测到时，此时初始进行的判断是进行数据库是否已进行初始化。
例如，数据库中存储了一个集合S，由N(N>0)个数据类型组成。对每一类属于S的数据类型Di(i的取值为正整数，且i的最大值是N)是包括若干个多元数据，该数据类型Di对应有三元时间队列[(t0,v0,w0)，(t1,v1,w1)，……，(tm,vm,wm)]，其中(t0,v0,w0)表示数据类型Di对应的第一排序位的三元数据在t0时刻值为v0,权重为w0，其他数据类型的多元数据依次类推。
在具体实施时，数据集合中的多元数据是多种不同具体场景的数据，举例如下：
1)例如是经济领域的股票数据、房价数据等；例如，某一股票A的股票数据对应的三元数据是(2018-01-01，5.61，0.05)，表示股票A在2018-01-01的收盘价格为5.61且股票A的权重值为0.05；
2)例如是工业领域的工业生产指数等；例如制造业对应的三元数据是(2017-03-01，1.9，0.08)，表示制造业在2019-03-01的制造业指数为1.9且制造业指数的权重值为0.08；
3)例如是国民身高指数等；例如A国B省对应的三元数据是数据是(2016-12-01，1.77，0.1)，表示A国B省在2016-12-01的国民身高指数为1.9且A国B省的权重值为0.1。
上述举例只是以常见的几种应用场景进行举例，并未限定多元数据局限于上述具体应用场景。只要是具有时间属性值和权重值的海量多元数据，均可以适用于本申请中的数据处理方法。
为了对待计算数据集对应的数据进行相应的计算(如指数计算等)，需要限定待计算数据集对应的起始时间和终止时间。这样，即可根据待计算数据集对应的目标数据类型、起始时间和终止时间从服务器的数据库中筛选出待计算数据集。
S120、若接收到由用户端发送的数据处理请求，判断本地的数据库是否已初始化；其中，所述数据库中存储有数据类型至少为一种的多元数据，每一多元数据均包括数据取值、时间属性值和权重值，每一多元数据均对应所述数据库中存储的多个数据类型中的其中一种。
在本实施例中，当服务器检测接收到由用户端发送的数据处理请求时，为了进行后续的运算，需要先判断服务器本地的数据库是否已经完成初始化，完成数据库初始化是为了将数据库中的各多元数据构建主索引，而且完成对最大可用内存值和单条多元数据数据量大小值的设定。只有数据库完成了初始化，方可继续完成后续数据计算的过程。
其中，服务器的数据库中包括了若干个数据类型的多元数据，而且每一多元数据为三元数据(也即包括数据取值、时间属性值和权重值这3个属性)，为了完成对服务器中各多元数据构建主索引以便于后续数据查询，此时可以先获取各多元数据分别所对应的数据类型名称和多元数据分别所对应的时间属性值，将每一多元数据均以<数据类型名称，时间属性值>为主键构建主索引。
其中，当服务器未接收到由用户端发送的数据处理请求，则继续持续进行数据处理请求的检测即可，只要有检测到用户端发送的数据处理请求则开始执行步骤S120及其后续的处理步骤。
S130、若所述数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值，并获取最大可用内存值，根据最大可用内存值与多类总数据量大小值之商得到时间跨度值；其中，所述多类总数据量大小值＝所述待计算数据集对应的目标数据类型的个数*单条多元数据数据量大小值。
在本实施例中，若服务器中的数据库已完成初始化，此时获取数据库初始化对应而设定的单条多元数据数据量大小值和最大可用内存值。例如，数据库中存储有10个数据类型的数据，每一数据类型所包括的多元数据的总个数不一定相同，且每一数据类型所对应的数据起始时间和/或数据终止时间不一定相同。若此时需要最大化利用内存来获取数据库中的数据以进行运算时，需要先计算出单次内存所能提取的多元数据的个数。为了便于理解本申请的技术方案，下面对上述举例的10个数据类型的数据进行如表1的罗列展示：
数据类型1 (t0，v10，w10) (t1，v11，w11) …… (tn，v1n，w1n)
数据类型2 (t1，v21，w21) …… (tn，v2n，w2n)
数据类型3 (t0，v30，w30) (t1，v31，w31) …… (tn，v3n，w3n)
数据类型4 (t1，v41，w41) …… (tn，v4n，w4n)
数据类型5 (t0，v50，w50) (t1，v51，w51) …… (tn，v5n，w5n)
数据类型6 (t1，v61，w61) …… (tn，v6n，w6n)
数据类型7 (t0，v70，w70) (t1，v71，w71) …… (tn，v7n，w7n)
数据类型8 …… (tn，v1n，w1n)
数据类型9 …… (tn，v2n，w2n)
数据类型10 …… (tn，v3n，w3n)
表1
当获取了最大可用内存值为100MB(也即100兆)，且单条多元数据数据量大小值为0.1MB(也即0.1兆)，如表1中的10个数据类型的数据中，并非所有数据类型都是从t0开始，但是为了考虑到极限数据提取情况，故可以通过10*0.1MB＝1MB而获取多类总数据量大小值为1MB，然后通过最大可用内存值/多类总数据量大小值＝100MB/1MB＝100而获取时间跨度值，也即时间跨度值＝100。通过获取时间跨度值，即可准确获知内存中当次所允许获取的多元数据的时间跨度，从而确保了内存单次所提取的多元数据是不会超出其存储空间，也就是不会产生数据溢出的问题。
在一实施例中，若本地的数据库未初始化，以预先设置的主索引信息在数据库中自动构建主索引，并自动设置最大可用内存和单条多元数据数据量大小值；其中，所述主索引信息包括数据类型名称和日期。
在本实施例中，对数据库初始化是为了对数据库中的配置参数进行设置，从而便于后续的计算过程。
S140、将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储。
在本实施例中，当根据所述时间跨度值及数据时序顺序将划分为多组数据后，是按每一组数据对应的时序顺序依序保存至内存中进行运算。例如表1中是先将时间属性值为t0-t9这九列中所有的多元数据先保存至内存中进行运算，t0-t99这100列中每一列最多包括10个多元数据，则t0-t99这100列中最多包括1000个多元数据，而每一多元数据对应的单条多元数据数据量大小值为0.1MB，也就是t0-t99这100列中最大占用内存为100M，是不会导致内存溢出，也就是内存中不会有数据丢失而导致结算结果不准确。
在一实施例中，如图3所示，步骤S140包括：
S141、获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间；其中，所述当前数据起始时间的初始值为所述待计算数据集对应的所述起始时间；
S142、若所述当前数据起始时间未超出所述终止时间，判断所述当前跨度时间对应的结束时间是否超出所述终止时间；其中，所述当前跨度时间等于所述当前数据起始时间与所述时间跨度值之和；
S143、若所述当前跨度时间对应的结束时间未超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述当前跨度时间之间的数据以作为当前待计算数据子集；
S144、将所述当前待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的当前运算结果发送至哈希表中进行存储；
S145、将所述当前待计算数据子集从内存中移除；
S146、将所述当前跨度时间作为所述当前数据起始时间，返回执行获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间的步骤；
S147、若所述当前跨度时间对应的结束时间超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述终止时间之间的数据以作为最终待计算数据子集；
S148、将所述最终待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的最终运算结果发送至哈希表中进行存储；
S149、将所述最终运算结果从内存中移除。
在本实施例中，当根据待计算数据集对应的目标数据类型、及待计算数据集对应的起始时间和终止时间在数据库中定位了待计算数据集后，并不是一次性将待计算数据集全部保存至内存中进行运算。而是先根据时间跨度值及数据时序顺序划分为多组数据，然后每一组数据依时序顺序被保存至内存中进行运算。
由于待计算数据集中的数据按照时间跨度值及数据时序顺序划分为多组数据时，待计算数据集中终止时间与起始时间之差不一定能整除时间跨度值，故可以采取迭代取数的方式进行。例如，如表1所示的待计算数据集中包括10个数据类型，而且每一种数据类型对应的多元数据集是最多包括n个多元数据(例如此时假设n＝1050)，则此时根据时间跨度值依序取出时间属性值在t0-t99范围对应的第一待计算数据子集(也就是表1中从t0开始至t99结束的100列数据)、时间属性值在t100-t199范围对应的第二待计算数据子集、……、时间属性值在t900-t999范围对应的第十待计算数据子集、时间属性值在t1000-t1050范围对应的第十一待计算数据子集。
也就是先将第一待计算数据子集先保存至内存完成计算并将当前运算结果发送至哈希表中进行存储，哈希表存储于区块链节点中。然后将所述当前待计算数据子集从内存中移除；同样的，之后按照时序顺序依次分别对第二待计算数据子集-第十一待计算数据子集进行如同第一待计算数据子集的数据计算处理过程，直至待计算数据集中所有的待计算数据子集均完成运算后，所有待计算数据子集对应的结果均已保存在哈希表中。通过这一分组取数和计算的方式，有效的防止了内存溢出，并确保了计算资源单次处理的数据是有上限，不会无限制的利用有效的计算资源。
其中，当所述当前数据起始时间超出所述待计算数据集对应的所述终止时间时，表示待计算数据集中的所有数据均已完整计算，此时跳转执行步骤S150。
在一实施例中，如图4所示，步骤S144包括：
S1441、将所述当前待计算数据子集中的多元数据按照日期进行分组，得到与所述当前待计算数据子集对应的日期分组数据；
S1442、将每一组日期分组数据均调用所述指数运算模型进行算，得到与每一组日期分组数据对应的日期分组计算结果，以组成当前运算结果；
S1443、将所述当前运算结果发送至哈希表中进行存储。
在本实施例中，例如当内存中保存了时间属性值在t0-t99范围内的第一待计算数据子集，此时也是按照时间属性值对其进行细分，更具体的是将10个数据类型中时间属性值为t0的所有数据组成第一日期分组数据，将时间属性值为t1的所有数据组成第二日期分组数据，时间属性值为t2的所有数据组成第三日期分组数据，……，时间属性值为t99的所有数据组成第一百日期分组数据。通过上述日期划分后，可以计算每一日期对应的日期分组计算结果，之后通过每一日期对应的日期分组计算结果组成当前运算结果发送至哈希表中进行存储。
其中，当前运算结果发送至哈希表中进行存储时，是为了以时间属性值为索引，将每一日期对应的日期分组计算结果保存在哈希表中，这样即可根据日期查询对应的日期分组计算结果，也能根据每一日期对应的日期分组计算结果综合求得用户所需的运算结果(例如求某一个月内的所有的日期分组计算结果总和等)。
在步骤S1441-S1443中，此时是待计算数据集中各数据是以日期维度进行划分，待计算数据集中每一个多元数据是对应某一日期的数据。显然，在其他计算场景中，所述待计算数据集中各数据是还可以分钟、小时、月等维度进行划分。
在一实施例中，步骤S1442中包括：
将各组日期分组数据中所包括的多元数据进行加权求和，以进行与所述指数运算模型对应的运算，得到与各组日期分组数据对应的日期分组计算结果；其中，所述每一日期分组计算结果均为对应日期分组数据中数据的加权求和对应的指数结果。
在本实施例中，例如当获取了如表1中时间属性值为t0对应的所有多元数据(t0，v10，w10)、(t0，v30，w30)、(t0，v50，w50)、(t0，v70，w70)后，按照v10*w10+v10*w30+v50*w50+v70*w70进行加权求和，而得到与时间属性值为t0对应的日期分组计算结果；同样的其他时间属性值对应的日期分组计算结果也是参考上述计算过程。这一计算方式，适用于以日期为划分的指数结果计算过程。
在一实施例中，步骤S1443中包括：
将所述当前运算结果中各日期分组计算结果按照时序依序增加至哈希表的结果队列中。
在本实施例中，每一个日期分组计算结果均对应一个时间属性值，那么为了便于有序的在哈希表中存储各日期分组计算结果，此时可以按照时序从先至后的顺序依次存储在哈希表的结果队列的结尾。例如，时间属性值为t0对应的日期分组计算结果最先加入哈希表的结果队列的结尾；之后获取了时间属性值为t1对应的日期分组计算结果后再加入哈希表的结果队列的结尾，此时时间属性值为t0对应的日期分组计算结果是排在结果队列的倒数第二位；依次类推，直至所有时间属性值对应的日期分组计算结果按照时序依序增加至哈希表的结果队列中，即可完成运算结果的存储过程。
由于结果队列中的每一日期分组计算结果是按照时序先后顺序排列，故可清楚获知每一日期对应的日期分组计算结果。故在输出结果队列时，也就实现了一种时间序列指数结果的输出。
S150、将哈希表中结果队列作为运算结果发送至用户端。
在本实施例中，当在内存中完成了待计算数据集的运算后，将哈希表中的结果队列发送至用户端进行结果展示即可。
该方法实现了对时间总跨度较大的数据，是根据当前的最大可用内存值，按数据的时序分批次的查询获取和进行计算，最大化利用了内存，避免了数据溢出，而且减少查询数据库次数，提高了计算效率且确保计算结果准确。
本发明实施例还提供一种基于大数据的时间序列指数构建装置，该基于大数据的时间序列指数构建装置用于执行前述基于大数据的时间序列指数构建方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的基于大数据的时间序列指数构建装置的示意性框图。该基于大数据的时间序列指数构建装置100可以配置于服务器中。
如图5所示，基于大数据的时间序列指数构建装置100包括计算请求检测单元110、初始化判断单元120、时间跨度值获取单元130、分组运算单元140、结果发送单元150。
计算请求检测单元110，用于判断是否接收到由用户端发送的数据处理请求；其中，所述数据处理请求中包括待计算数据集对应的目标数据类型，及待计算数据集对应的起始时间和待计算数据集对应的终止时间。
初始化判断单元120，用于若接收到由用户端发送的数据处理请求，判断本地的数据库是否已初始化；其中，所述数据库中存储有数据类型至少为一种的多元数据，每一多元数据均包括数据取值、时间属性值和权重值，每一多元数据均对应所述数据库中存储的多个数据类型中的其中一种。
时间跨度值获取单元130，用于若所述数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值，并获取最大可用内存值，根据最大可用内存值与多类总数据量大小值之商得到时间跨度值；其中，所述多类总数据量大小值＝所述待计算数据集对应的目标数据类型的个数*单条多元数据数据量大小值。
在一实施例中，若本地的数据库未初始化，以预先设置的主索引信息在数据库中自动构建主索引，并自动设置最大可用内存和单条多元数据数据量大小值；其中，所述主索引信息包括数据类型名称和日期。
分组运算单元140，用于将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储。
在一实施例中，如图6所示，分组运算单元140包括：
第一时间判断单元141，用于获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间；其中，所述当前数据起始时间的初始值为所述待计算数据集对应的所述起始时间；
第二时间判断单元142，用于若所述当前数据起始时间未超出所述终止时间，判断所述当前跨度时间对应的结束时间是否超出所述终止时间；其中，所述当前跨度时间等于所述当前数据起始时间与所述时间跨度值之和；
第一子集获取单元143，用于若所述当前跨度时间对应的结束时间未超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述当前跨度时间之间的数据以作为当前待计算数据子集；
第一子集运算单元144，用于将所述当前待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的当前运算结果发送至哈希表中进行存储；
第一内存清理单元145，用于将所述当前待计算数据子集从内存中移除；
起始时间更新单元146，用于将所述当前跨度时间作为所述当前数据起始时间，返回执行获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间的步骤；
第二子集获取单元147，用于若所述当前跨度时间对应的结束时间超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述终止时间之间的数据以作为最终待计算数据子集；
第二子集运算单元148，用于将所述最终待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的最终运算结果发送至哈希表中进行存储，上述哈希表存储于区块链中；
第二内存清理单元149，用于将所述最终运算结果从内存中移除。
在一实施例中，如图7所示，第一子集运算单元144包括：
日期分组单元1441，用于将所述当前待计算数据子集中的多元数据按照日期进行分组，得到与所述当前待计算数据子集对应的日期分组数据；
日期分组计算单元1442，用于将每一组日期分组数据均调用所述指数运算模型进行算，得到与每一组日期分组数据对应的日期分组计算结果，以组成当前运算结果；
哈希表存储单元1443，用于将所述当前运算结果发送至哈希表中进行存储。
在一实施例中，日期分组计算单元1442还用于：
将各组日期分组数据中所包括的多元数据进行加权求和，以进行与所述指数运算模型对应的运算，得到与各组日期分组数据对应的日期分组计算结果；其中，所述每一日期分组计算结果均为对应日期分组数据中数据的加权求和对应的指数结果。
在一实施例中，哈希表存储单元1443还用于：
将所述当前运算结果中各日期分组计算结果按照时序依序增加至哈希表的结果队列中。
结果发送单元150，用于将哈希表中结果队列作为运算结果发送至用户端。
该装置实现了对时间总跨度较大的数据，是根据当前的最大可用内存值，按数据的时序分批次的查询获取和进行计算，最大化利用了内存，避免了数据溢出，而且减少查询数据库次数，提高了计算效率且确保计算结果准确。
上述基于大数据的时间序列指数构建装置可以实现为计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图8，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于大数据的时间序列指数构建方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于大数据的时间序列指数构建方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于大数据的时间序列指数构建方法。
本领域技术人员可以理解，图8中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图8所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于大数据的时间序列指数构建方法。进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于大数据的时间序列指数构建方法，其特征在于，包括：
判断是否接收到由用户端发送的数据处理请求；其中，所述数据处理请求中包括待计算数据集对应的目标数据类型，及待计算数据集对应的起始时间和待计算数据集对应的终止时间；
若接收到由用户端发送的数据处理请求，判断本地的数据库是否已初始化；其中，所述数据库中存储有数据类型至少为一种的多元数据，每一多元数据均包括数据取值、时间属性值和权重值，每一多元数据均对应所述数据库中存储的多个数据类型中的其中一种；
若所述数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值，并获取最大可用内存值，根据最大可用内存值与多类总数据量大小值之商得到时间跨度值；其中，所述多类总数据量大小值＝所述待计算数据集对应的目标数据类型的个数*单条多元数据数据量大小值；
将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储；以及
将哈希表中结果队列作为运算结果发送至用户端。
2.根据权利要求1所述的基于大数据的时间序列指数构建方法，其特征在于，所述将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储，包括：
获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间；其中，所述当前数据起始时间的初始值为所述待计算数据集对应的所述起始时间；
若所述当前数据起始时间未超出所述终止时间，判断所述当前跨度时间对应的结束时间是否超出所述终止时间；其中，所述当前跨度时间等于所述当前数据起始时间与所述时间跨度值之和；
若所述当前跨度时间对应的结束时间未超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述当前跨度时间之间的数据以作为当前待计算数据子集；
将所述当前待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的当前运算结果发送至哈希表中进行存储；
将所述当前待计算数据子集从内存中移除；
将所述当前跨度时间作为所述当前数据起始时间，返回执行获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间的步骤；
若所述当前跨度时间对应的结束时间超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述终止时间之间的数据以作为最终待计算数据子集；
将所述最终待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的最终运算结果发送至哈希表中进行存储，其中，所述哈希表存储于区块链中；
将所述最终运算结果从内存中移除。
3.根据权利要求2所述的基于大数据的时间序列指数构建方法，其特征在于，所述将所述当前待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的当前运算结果发送至哈希表中进行存储，包括：
将所述当前待计算数据子集中的多元数据按照日期进行分组，得到与所述当前待计算数据子集对应的日期分组数据；
将每一组日期分组数据均调用所述指数运算模型进行算，得到与每一组日期分组数据对应的日期分组计算结果，以组成当前运算结果；
将所述当前运算结果发送至哈希表中进行存储。
4.根据权利要求3所述的基于大数据的时间序列指数构建方法，其特征在于，所述将每一组日期分组数据均调用所述指数运算模型进行算，得到与每一组日期分组数据对应的日期分组计算结果，以组成当前运算结果，包括：
将各组日期分组数据中所包括的多元数据进行加权求和，以进行与所述指数运算模型对应的运算，得到与各组日期分组数据对应的日期分组计算结果；其中，所述每一日期分组计算结果均为对应日期分组数据中数据的加权求和对应的指数结果。
5.根据权利要求3所述的基于大数据的时间序列指数构建方法，其特征在于，所述将所述当前运算结果发送至哈希表中进行存储，包括：
将所述当前运算结果中各日期分组计算结果按照时序依序增加至哈希表的结果队列中。
6.根据权利要求1所述的基于大数据的时间序列指数构建方法，其特征在于，所述若检测接收到用户端的数据处理请求，判断数据库是否已初始化之后，还包括：
若数据库未初始化，以预先设置的主索引信息在数据库中自动构建主索引，并自动设置最大可用内存和单条多元数据数据量大小值；其中，所述主索引信息包括数据类型名称和日期。
7.一种基于大数据的时间序列指数构建装置，其特征在于，包括：
计算请求检测单元，用于判断是否接收到由用户端发送的数据处理请求；其中，所述数据处理请求中包括待计算数据集对应的目标数据类型，及待计算数据集对应的起始时间和待计算数据集对应的终止时间；
初始化判断单元，用于若接收到由用户端发送的数据处理请求，判断本地的数据库是否已初始化；其中，所述数据库中存储有数据类型至少为一种的多元数据，每一多元数据均包括数据取值、时间属性值和权重值，每一多元数据均对应所述数据库中存储的多个数据类型中的其中一种；
时间跨度值获取单元，用于若所述数据库已初始化，获取与各目标数据类型对应的单条多元数据数据量大小值，并获取最大可用内存值，根据最大可用内存值与多类总数据量大小值之商得到时间跨度值；其中，所述多类总数据量大小值＝所述待计算数据集对应的目标数据类型的个数*单条多元数据数据量大小值；
分组运算单元，用于将所述待计算数据集中各目标数据类型的目标数据根据时间跨度值及数据时序顺序划分为多组数据，依时序将各组数据保存至内存中以调用预先存储的指数运算模型进行计算，将各组数据对应的结果发送至哈希表中进行存储，并将内存中当前已完成运算的数据进行移除，以进行下一组数据保存至内存中进行运算，直至待计算数据集的各组数据均在内存中完成计算且对应的结果均发送至哈希表中进行存储；以及
结果发送单元，用于将哈希表中结果队列作为运算结果发送至用户端。
8.根据权利要求7所述的基于大数据的时间序列指数构建装置，其特征在于，所述分组运算单元，包括：
第一时间判断单元，用于获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间；其中，所述当前数据起始时间的初始值为所述待计算数据集对应的所述起始时间；
第二时间判断单元，用于若所述当前数据起始时间未超出所述终止时间，判断所述当前跨度时间对应的结束时间是否超出所述终止时间；其中，所述当前跨度时间等于所述当前数据起始时间与所述时间跨度值之和；
第一子集获取单元，用于若所述当前跨度时间对应的结束时间未超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述当前跨度时间之间的数据以作为当前待计算数据子集；
第一子集运算单元，用于将所述当前待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的当前运算结果发送至哈希表中进行存储；
第一内存清理单元，用于将所述当前待计算数据子集从内存中移除；
起始时间更新单元，用于将所述当前跨度时间作为所述当前数据起始时间，返回执行获取当前数据起始时间，判断所述当前数据起始时间是否超出所述待计算数据集对应的所述终止时间的步骤；
第二子集获取单元，用于若所述当前跨度时间对应的结束时间超出所述终止时间，在所述待计算数据集中获取所述当前数据起始时间至所述终止时间之间的数据以作为最终待计算数据子集；
第二子集运算单元，用于将所述最终待计算数据子集保存至内存中，调用预先存储的指数运算模型进行算，将运算得到的最终运算结果发送至哈希表中进行存储，其中，所述哈希表存储于区块链中；
第二内存清理单元，用于将所述最终运算结果从内存中移除。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于大数据的时间序列指数构建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于大数据的时间序列指数构建方法。
CN202010351271.7A 2020-04-28 2020-04-28 基于大数据的时间序列指数构建方法、装置及计算机设备 Active CN111694839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010351271.7A CN111694839B (zh) 2020-04-28 2020-04-28 基于大数据的时间序列指数构建方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351271.7A CN111694839B (zh) 2020-04-28 2020-04-28 基于大数据的时间序列指数构建方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN111694839A true CN111694839A (zh) 2020-09-22
CN111694839B CN111694839B (zh) 2023-07-14

Family

ID=72476754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351271.7A Active CN111694839B (zh) 2020-04-28 2020-04-28 基于大数据的时间序列指数构建方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN111694839B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835759A (zh) * 2021-02-01 2021-05-25 百度在线网络技术（北京）有限公司 测试数据处理方法、装置、电子设备以及存储介质
CN113360551A (zh) * 2021-08-11 2021-09-07 南京赛宁信息技术有限公司 一种靶场中时序数据的存储与快速统计方法及***
CN113641649A (zh) * 2021-10-18 2021-11-12 杭州趣链科技有限公司 数据获取方法、装置、设备和存储介质
CN113779077A (zh) * 2021-09-28 2021-12-10 京东城市(北京)数字科技有限公司 时间段查询方法、装置、电子设备和存储介质
CN116095174A (zh) * 2022-12-30 2023-05-09 支付宝(杭州)信息技术有限公司 一种业务处理的方法、装置、存储介质及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544259A (zh) * 2013-10-16 2014-01-29 国家计算机网络与信息安全管理中心 分组聚集排序TopK查询处理方法及***
CN104615750A (zh) * 2015-02-12 2015-05-13 中国农业银行股份有限公司 一种主机***下的内存数据库的实现方法
CN105117497A (zh) * 2015-09-28 2015-12-02 上海海洋大学 基于Spark云网络的海洋大数据主从索引***及方法
CN105701200A (zh) * 2016-01-12 2016-06-22 中国人民大学 一种内存云计算平台上的数据仓库安全olap方法
CN106777093A (zh) * 2016-12-14 2017-05-31 大连大学 基于空间时序数据流应用的Skyline查询***
WO2017206591A1 (zh) * 2016-06-01 2017-12-07 华为技术有限公司 数据处理***和数据处理方法
CN107562705A (zh) * 2017-07-25 2018-01-09 努比亚技术有限公司 一种数据导出方法、服务端及计算机可读存储介质
CN107894997A (zh) * 2017-10-19 2018-04-10 苏州工业大数据创新中心有限公司 工业时序数据的查询处理方法及***
CN108717466A (zh) * 2018-06-05 2018-10-30 中国平安人寿保险股份有限公司 征信数据存储方法、装置、计算机设备及存储介质
WO2019169724A1 (zh) * 2018-03-09 2019-09-12 平安科技（深圳）有限公司 服务器并发数控制方法、装置、计算机设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544259A (zh) * 2013-10-16 2014-01-29 国家计算机网络与信息安全管理中心 分组聚集排序TopK查询处理方法及***
CN104615750A (zh) * 2015-02-12 2015-05-13 中国农业银行股份有限公司 一种主机***下的内存数据库的实现方法
CN105117497A (zh) * 2015-09-28 2015-12-02 上海海洋大学 基于Spark云网络的海洋大数据主从索引***及方法
CN105701200A (zh) * 2016-01-12 2016-06-22 中国人民大学 一种内存云计算平台上的数据仓库安全olap方法
WO2017206591A1 (zh) * 2016-06-01 2017-12-07 华为技术有限公司 数据处理***和数据处理方法
CN106777093A (zh) * 2016-12-14 2017-05-31 大连大学 基于空间时序数据流应用的Skyline查询***
CN107562705A (zh) * 2017-07-25 2018-01-09 努比亚技术有限公司 一种数据导出方法、服务端及计算机可读存储介质
CN107894997A (zh) * 2017-10-19 2018-04-10 苏州工业大数据创新中心有限公司 工业时序数据的查询处理方法及***
WO2019169724A1 (zh) * 2018-03-09 2019-09-12 平安科技（深圳）有限公司 服务器并发数控制方法、装置、计算机设备及存储介质
CN108717466A (zh) * 2018-06-05 2018-10-30 中国平安人寿保险股份有限公司 征信数据存储方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DUCK-HO BAE 等: "《An effective data clustering method based on expected update time in flash memory environment》", 《ACM》, pages 1 - 6 *
曾碧贵;叶少珍;: "时间序列数据摘要与索引机制", 工业控制计算机, no. 01, pages 59 - 60 *
王一舒等: "大规模时序图数据的查询处理与挖掘技术综述", 《计算机研究与发展》, no. 09, pages 1889 - 1902 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835759A (zh) * 2021-02-01 2021-05-25 百度在线网络技术（北京）有限公司 测试数据处理方法、装置、电子设备以及存储介质
CN113360551A (zh) * 2021-08-11 2021-09-07 南京赛宁信息技术有限公司 一种靶场中时序数据的存储与快速统计方法及***
CN113779077A (zh) * 2021-09-28 2021-12-10 京东城市(北京)数字科技有限公司 时间段查询方法、装置、电子设备和存储介质
CN113641649A (zh) * 2021-10-18 2021-11-12 杭州趣链科技有限公司 数据获取方法、装置、设备和存储介质
CN113641649B (zh) * 2021-10-18 2022-02-18 杭州趣链科技有限公司 数据获取方法、装置、设备和存储介质
CN116095174A (zh) * 2022-12-30 2023-05-09 支付宝(杭州)信息技术有限公司 一种业务处理的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111694839B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111694839A (zh) 基于大数据的时间序列指数构建方法、装置及计算机设备
US9053171B2 (en) Clustering data points
CN110046929B (zh) 一种欺诈团伙识别方法、装置、可读存储介质及终端设备
CN107423613B (zh) 依据相似度确定设备指纹的方法、装置及服务器
US20220172090A1 (en) Data identification method and apparatus, and device, and readable storage medium
CN110032583B (zh) 一种欺诈团伙识别方法、装置、可读存储介质及终端设备
CN109727070B (zh) 一种潜在活跃用户的确定方法及装置
CN105225149A (zh) 一种征信评分确定方法及装置
CN111580965A (zh) 数据请求的处理方法及***
WO2023103527A1 (zh) 一种访问频次的预测方法及装置
WO2021174881A1 (zh) 多维度信息的组合预测方法、装置、计算机设备及介质
CN114265740A (zh) 错误信息处理方法、装置、设备及存储介质
CN112416590A (zh) 服务器***资源调整方法、装置、计算机设备及存储介质
CN109801073B (zh) 风险用户识别方法、装置、计算机设备及存储介质
CN110851758B (zh) 一种网页访客数量统计方法及装置
CN106156122B (zh) 交易信息获取方法及装置
CN115879819A (zh) 企业信用评估方法及装置
CN108880835B (zh) 数据分析方法及装置、计算机存储介质
CN110941663B (zh) 证件信息的关联规则获取方法及装置
CN113537806A (zh) 异常用户识别方法、装置、电子设备及可读存储介质
CN109901931B (zh) 一种归约函数数量确定方法、装置及***
CN110175296B (zh) 网络图中的节点推荐方法和服务器以及存储介质
CN113254672A (zh) 异常账号的识别方法、***、设备及可读存储介质
CN110309367B (zh) 信息分类的方法、信息处理的方法和装置
CN111881426A (zh) 一种集成地缘空间与物联技术的城市管理方法、***以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant