CN107330031B - 一种数据存储的方法、装置及电子设备 - Google Patents

一种数据存储的方法、装置及电子设备 Download PDF

Info

Publication number
CN107330031B
CN107330031B CN201710492933.0A CN201710492933A CN107330031B CN 107330031 B CN107330031 B CN 107330031B CN 201710492933 A CN201710492933 A CN 201710492933A CN 107330031 B CN107330031 B CN 107330031B
Authority
CN
China
Prior art keywords
data
service data
snapshot
service
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710492933.0A
Other languages
English (en)
Other versions
CN107330031A (zh
Inventor
匡凌轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201710492933.0A priority Critical patent/CN107330031B/zh
Publication of CN107330031A publication Critical patent/CN107330031A/zh
Application granted granted Critical
Publication of CN107330031B publication Critical patent/CN107330031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/217Database tuning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据存储的方法、装置及电子设备,所述方法包括:基于预设的周期,获取业务数据,并将所述业务数据生成数据快照;确定所述业务数据的数据索引标识和获取所述业务数据的时间节点;其中,所述数据索引标识用于唯一指示所述业务数据的数据指标类型;基于所述数据索引标识和所述时间节点,将所述数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。本申请根据预设的数据结构,基于时间维度存储业务数据,提供了工作效率,并降低了后端服务器的维护难度。

Description

一种数据存储的方法、装置及电子设备
技术领域
本申请涉及计算机技术领域,特别涉及数据存储的技术。
背景技术
互联网的后端服务通常需要对业务数据进行逻辑处理。而在对业务数据进行逻辑处理前,存储互联网前端上送的业务数据,以及在需要的时候获取已经存储的业务数据是后端服务中常见的工作流程。
在现有技术中,后端服务器获得前端上送的业务数据后,往往将业务数据存储到数据库中,后续通过SQL(Structured Query Language,结构化查询语言)从数据库中查找业务数据,并对查找到的业务数据进行处理。
然而,对于一些可能随时间变化的业务数据,比如网站进程的监控数据、统计数据等,后端服务器需要通过对不同时间节点的业务数据进行分析处理来获得相应的结果。因此,如果后端服务器简单地通过数据库存储此类业务数据,则在后续查找、获取不同时间节点的业务数据时,工作效率较差,同时也增加了后端服务器的维护难度。
发明内容
有鉴于此,本申请提供一种数据存储的方法、装置及电子设备,用以解决现有技术通过数据库存取随时间变化的业务数据时,工作效率较差,同时增加后端服务器的维护难度的问题。
具体地,本申请是通过如下技术方案实现的:
一种数据存储的方法,包括:
基于预设的周期,获取业务数据,并将所述业务数据生成数据快照;
确定所述业务数据的数据索引标识和获取所述业务数据的时间节点;其中,所述数据索引标识用于唯一指示所述业务数据的数据指标类型;
基于所述数据索引标识和所述时间节点,将所述数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
在所述数据存储的方法中,所述数据结构的所述数据索引标识基于应用环境自定义;以及,所述数据快照中所述业务数据的存储格式是自定义的存储格式。
在所述数据存储的方法中,所述方法还包括:
确定所述数据结构中的数据快照的总大小是否达到预设的阈值;
如果是,按照时间节点的先后顺序,删除所述数据快照。
在所述数据存储的方法中,所述方法还包括:
获取用户输入的操作指令;所述操作指令包括所述数据索引标识和周期数量;
基于所述操作指令,在所述数据结构中,查找对应于所述数据索引标识和所述周期数量的所述数据快照。
在所述数据存储的方法中,所述方法还包括:
根据预设策略分析不同时间节点的所述数据快照,并输出分析结果;所述预设策略基于以下至少一种参数设定:
所述业务数据的数值随周期的变化率;
所述业务数据的数值的阈值;
所述业务数据的数值之间的比率。
一种数据存储的装置,包括:
获取单元,用于基于预设的周期,获取业务数据,并将所述业务数据生成数据快照;
确定单元,用于确定所述业务数据的数据索引标识和获取所述业务数据的时间节点;其中,所述数据索引标识用于唯一指示所述业务数据的数据指标类型;
存储单元,用于基于所述数据索引标识和所述时间节点,将所述数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
在所述数据存储的装置中,所述数据结构的所述数据索引标识基于应用环境自定义;以及,所述数据快照中所述业务数据的存储格式是自定义的存储格式。
在所述数据存储的装置中,所述装置还包括:
所述确定单元,进一步用于确定所述数据结构中的数据快照的总大小是否达到预设的阈值;
删除单元,用于如果是,按照时间节点的先后顺序,删除所述数据快照。
在所述数据存储的装置中,所述装置还包括:
所述获取单元,进一步用于获取用户输入的操作指令;所述操作指令包括所述数据索引标识和周期数量;
查找单元,用于基于所述操作指令,在所述数据结构中,查找对应于所述数据索引标识和所述周期数量的所述数据快照。
在所述数据存储的装置中,所述装置还包括:
输出单元,用于根据预设策略分析不同时间节点的所述数据快照,并输出分析结果;所述预设策略基于以下至少一种参数设定:
所述业务数据的数值随周期的变化率;
所述业务数据的数值的阈值;
所述业务数据的数值之间的比率。
一种电子设备,所述电子设备搭载了处理器,以及,用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为:
基于预设的周期,获取业务数据,并将所述业务数据生成数据快照;
确定所述业务数据的数据索引标识和获取所述业务数据的时间节点;其中,所述数据索引标识用于唯一指示所述业务数据的数据指标类型;
基于所述数据索引标识和所述时间节点,将所述数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
在本申请实施例中,后端服务器基于预设的周期,获取业务数据,并将所述业务数据生成数据快照,然后确定所述业务数据的数据索引标识和获取所述业务数据的时间节点;其中,所述数据索引标识用于唯一指示所述业务数据的数据指标类型;并基于所述数据索引标识和所述时间节点,将所述数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照;
由于本申请实施例提供了用于存储业务数据的数据快照的数据结构,后端服务器可以将业务数据生成数据快照后,基于数据索引标识和获取业务数据的时间节点将数据快照存储到数据结构中,后续则可以通过用户输入的操作指令,从数据结构中获取数据快照,相对于现有技术,本申请基于时间维度存储业务数据,后续可以基于时间维度获取业务数据,因此,提高了工作效率,并降低了后端服务器的维护难度。
附图说明
图1是本申请示出的一种数据存储的方法的流程图;
图2是本申请示出的一种数据结构的示意图;
图3是本申请示出的一种数据存储应用实例的示意图;
图4是本申请示出的一种数据存储的装置的实施例框图;
图5是本申请示出的一种电子设备的硬件结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对现有技术方案和本发明实施例中的技术方案作进一步详细的说明。
互联网的后端服务器获取前端上报的业务数据后,会存储该业务数据,后续对该业务数据进行分析处理,进而获得相应的结果。在现有技术中,后端服务器通常会将前端上报的业务数据存储到数据库中,后续利用SQL从数据库中查找需要的业务数据,然后对查找到的业务数据进行处理。
然而,对于一些可能随时间变化的业务数据,后端服务器在对此类业务数据进行处理时,往往需要分析此类业务数据随时间的推移而产生的变化,并通过对不同时间节点的业务数据进行处理来获得相应的结果。因此,如果后端服务器通过数据库存储上述业务数据,可能仅仅是将同一类别的业务数据存储在一起,在存储时未清晰地体现获得上述业务数据的时间维度,在这种情况下,后端服务器在后续获取不同时间节点的业务数据时,需要通过复杂的代码才能实现,增加了后端服务器的维护难度,并且工作效率较差。
有鉴于此,本申请实施例的技术方案,通过预设的数据结构存储业务数据,实现基于时间维度对业务数据进行存储,以便于后续基于时间维度查找业务数据,因此提高了获取业务数据的工作效率;并且,由于预先基于时间维度存储业务数据,无需通过复杂的代码来获取不同时间节点的业务数据,降低了后端服务器的维护难度。
请参见图1,为本申请示出的一种数据存储的方法的流程图,所述方法包括以下步骤:
步骤101:基于预设的周期,获取业务数据,并将所述业务数据生成数据快照。
步骤102:确定所述业务数据的数据索引标识和获取所述业务数据的时间节点;其中,所述数据索引标识用于唯一指示所述业务数据的数据指标类型。
步骤103:基于所述数据索引标识和所述时间节点,将所述数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
其中,上述方法可以应用于互联网的后端服务器或服务器集群上,上述方法的具体执行设备可以是被指定专用于存取前端上报的业务数据的电子设备。
由于在不同的应用环境中,前端上报的业务数据的数据指标类型不同,因此,上述数据结构可以基于实际应用环境自定义,具体地,上述数据结构中的数据索引标识和周期可以由用户根据需要自定义,其中,上述数据索引标识对应于需要存储的业务数据的数据指标类型;
进一步地,由于每一种数据指标类型的业务数据的数据内容不尽相同,上述数据快照中上述业务数据的存储格式可以由用户根据需要自定义;存储格式定义了针对该数据指标类型的业务数据所要保存的数据类型。
参见图2,为本申请示出的一种数据结构的示意图,如图2所示,该数据结构中的KEY即表示数据索引标识,图2的数据结构的数据索引标识包括“/sendGift.do”、“/getGiftList.do”、“TaskQueue-1”等;时间节点T1、T2、T3和T4,相邻时间节点的间隔都为预设的周期。
后端服务器可以基于图2的数据结构,存储前端响应于用户赠送礼物的操作时上报的业务数据;其中,“/sendGift.do”对应于赠送礼物请求的业务数据,“/getGiftList.do”对应于前端从后端服务器获取礼物列表的业务数据,“TaskQueue-1”对应于请求队列使用率的业务数据。
从图2的数据结构可以看出,对应于“/sendGift.do”的业务数据的存储格式包括“totalCount”、“errorCount”、“errorRate”等数据类型,而对应于“TaskQueue-1”的业务数据的存储格式包括“maxSize”、“currentCount”、“rate”等数据类型。对于其它的数据指标类型,用户都可以自定义对应的存储格式。
在本申请实施例中,用户在自定义数据结构和业务数据的存储格式时,可以向后端服务器输入数据结构的周期和数据索引标识,以及对应于各数据索引标识的存储格式。上述后端服务器接收到用户输入的周期、数据索引标识和对应于各数据索引标识的存储格式以后,可以在内存中创建数据结构。
上述后端服务器在创建上述数据格式以后,可以存储前端上报的业务数据。
在本申请实施例中,前端经配置可以向后端服务器周期性上报业务数据,其中,前端上报业务数据的周期可以与后端服务器创建的数据结构中的周期相同。
上述后端服务器可以基于预设的周期,获取前端上报的业务数据,然后将上述业务数据生成数据快照。
参见图3,为本申请示出的一种数据存储应用实例的示意图,如图3所示,前端(图3的客户端)以10s为周期,向后端服务器上报业务数据;其中,上述业务数据表征客户端发生的错误。后端服务器获得业务数据后,将业务数据生成数据快照,然后存储到数据结构中。
在示出的一种实施方式中,上述后端服务器获得上述业务数据后,并不直接将上述业务数据生成数据快照,而是基于对应于上述业务数据的数据指标类型的存储格式,对上述业务数据进行筛选,获得存储格式中的数据类型对应的数值,然后将筛选结果生成数据快照。
通过上述措施,如果前端上报的业务数据中存在与上述后端服务器分析处理无关的数据,上述后端服务器可以只保存需要的数据,避免了无效数据对内存的占用。
在本申请实施例中,上述后端服务器在生成上述业务数据的数据快照后,可以确定上述业务数据的数据索引标识和获取上述业务数据的时间节点。
上述后端服务器在获得上述业务数据,将上述业务数据生成数据快照前,首先从上述业务数据中获得确定其数据指标类型的数据索引标识;然后将获得的数据索引标识在上述数据结构中进行匹配,从而确定对应的存储格式。
需要指出的是,上述业务数据的数据指标类型通常基于上述业务数据中指定字段的值来确定,所以用户可以依据当前应用环境中的业务数据的指定字段的值来定义数据结构的数据索引标识。
可见,上述后端服务器可以在获取上述业务数据时,确定当前的时间节点;以及,在将上述业务数据生成数据快照时,确定上述业务数据的数据索引标识。
在本申请实施例中,上述后端服务器在确定上述业务数据的数据索引标识和获取上述业务数据的时间节点后,可以基于上述数据索引标识和上述时间节点,将上述业务数据的数据快照存储到上述数据结构中。
具体地,上述后端服务器可以首先基于上述数据索引标识,确定上述数据快照在数据指标类型维度上的位置;然后基于上述时间节点,确定上述数据快照在时间维度上的位置,进而确定数据结构中唯一的对应于上述数据快照的位置,并将上述数据快照存储到数据结构的该位置中。
仍以图2示出的数据结构为例,当上述后端服务器从前端获得业务数据,并确定该业务数据的数据索引标识为“/sendGift.do”,以及,获取该业务数据的时间节点为T1时,可以将该业务数据生成的数据快照存储到“/sendGift.do”和T1对应的位置中。
在本申请实施例中,上述后端服务器持续将前端上报的业务数据存储到上述数据结构中,当数据结构中的数据快照过多时,会占用较多的内存。因此,本申请提供了自动清除机制,用于清除多余的数据快照。
具体地,用户可以为上述后端服务器预设数据快照的总大小的阈值,上述后端服务器可以确定上述数据结构中的数据快照的总大小是否达到预设的阈值。
在示出的一种实施方式中,上述后端服务器可以在每一次存储数据快照后,确定上述数据结构中的数据快照的总大小是否达到预设的阈值。
如果上述数据结构中的数据快照的总大小达到预设的阈值,则上述后端服务器可以按照时间节点的先后顺序,删除上述数据快照。
具体地,用户可以为上述后端服务器预设一个基数总大小,上述后端服务器在删除完成后,仍然保留基数总大小以内的数据快照,以便于后续的业务处理。由于上述后端服务器是按照时间节点的先后顺序删除数据快照,因此,保留下来的数据快照是新近获取的数据快照。
例如,仍以图2示出的数据结构为例,当后端服务器被预设了数据快照的总大小的阈值为160MB,基数总大小为80MB时,如果后端服务器确定数据结构中的数据快照的总大小达到160MB,则可以按照时间节点的先后顺序删除数据快照,并保留80MB数据快照。图2数据结构中的时间节点的先后顺序为:T4、T3、T2、T1,因此后端服务器删除T4和T3对应的数据快照,保留T2和T1对应的数据快照。
通过上述措施,后端服务器可以删除已经不需要处理的数据快照,减少数据快照对内存的占用。
在本申请实施例中,上述后端服务器在将业务数据生成数据快照并存储到上述数据结构中以后,可以从上述数据结构获取数据快照,并对数据快照进行分析处理。
用户可以向上述后端服务器输入操作指令,以获得相应的结果;其中,上述操作指令包括上述数据索引标识和周期数量。
上述后端服务器获取用户输入的上述操作指令,然后在上述数据结构中,查找对应于上述操作指令中的数据索引标识和周期数量的数据快照。
仍以图2示出的数据结构为例,当用户需要最近3个周期的对应于赠送礼物请求的数据快照时,用户向后端服务器输入的操作指令中包括数据索引标识“/sendGift.do”和周期数量3。上述后端服务器接收到该操作指令后,基于数据索引标识“/sendGift.do”和周期数量3,在数据结构中获得与“/sendGift.do”对应的T1、T2和T3的数据快照。
在示出的一种实施方式中,用户输入的上述操作指令中还包括需要计算的参数;上述后端服务器在上述数据结构中查找到上述数据快照看后,可以根据预设策略分析不同时间节点的上述数据快照,并输出分析结果;其中,上述预设策略基于以下至少一种参数设定:
所述业务数据的数值随周期的变化率;
所述业务数据的数值的阈值;
所述业务数据的数值之间的比率。
以图3示出的数据存储应用实例进行说明,如果用户需要获知“RPC调用超时”的错误率是否超出阈值,则可以向后端服务器输入数据索引标识和周期数2,以及判断错误率的指令。上述后端服务器基于上述数据索引标识和周期数从数据结构中获得最近的两个周期,即T1和T2对应的数据快照,然后根据基于预设策略分析错误率是否超出阈值;其中,对应于错误率的预设策略是分析最近两个周期的错误率是否大于等于阈值80%,如果是,则确定错误率超出阈值。
上述后端服务器从T1对应的数据快照可知,错误率等于80%,以及,从T2对应的数据快照可知,错误率大于80%。因此,上述后端服务器确定错误率超出阈值,并输出分析结果,即输出错误率大于阈值的告警提示。
如果用户需要获知“RPC调用超时”的错误增加速率是否超出阈值,则可以向后端服务器输入数据索引标识和周期数2,以及判断错误增加速率的指令。上述后端服务器从上述数据结构中获得T1和T2对应的数据快照,然后根据预设策略分析错误增加速率是否超出阈值;其中,对应于错误增加速率的预设策略是分析最近一个周期内的错误数相比之前一个周期内的错误数是否增加超过200%,如果是,则确定错误增加速率超出阈值。
上述后端服务器从T1对应的数据快照可知,错误数为800,以及,从T2对应的数据快照可知,错误数为90,经计算,错误数的增加大于200%。因此,上述后端服务器确定错误增加速率超出阈值,并输出分析结果,即输出错误增加速率大于阈值的告警提示。
用户可以针对不同的应用环境自定义不同的预设策略,用于分析上述数据结构中的数据快照,进而获得相应的结果。通过上述措施,用户可以灵活地利用上述数据结构完成对业务数据的分析处理。
综上所述,在本申请实施例中,后端服务器可以基于预设的周期,获取业务数据,并将上述业务数据生成数据快照,然后确定上述业务数据的数据索引标识和获取上述业务数据的时间节点,并基于上述时间节点和上述数据索引标识,将上述数据快照存储到预设的数据结构中;
由于上述数据结构基于数据索引标识和时间节点区分所存储的数据快照,因此,本申请可以基于时间维度存储业务数据,后续也可以基于时间维度查找业务数据,相比现有技术提供了存取业务数据的效率;并且由于是在数据结构中预先定义了时间维度,在存取过程中无需涉及复杂的代码来实现,降低了后端服务器的维护难度;
此外,由于数据结构可以由用户自定义,丰富了本申请技术方案的应用环境,具有较强的可扩展性。
与本申请数据存储的方法的实施例相对应,本申请还提供了用于执行上述方法实施例的装置的实施例。
参见图4,为本申请示出的一种数据存储的装置的实施例框图;
如图4所示,该数据存储的装置40包括:
获取单元410,用于基于预设的周期,获取业务数据,并将所述业务数据生成数据快照。
确定单元420,用于确定所述业务数据的数据索引标识和获取所述业务数据的时间节点;其中,所述数据索引标识用于唯一指示所述业务数据的数据指标类型。
存储单元430,用于基于所述数据索引标识和所述时间节点,将所述数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
在本例中,所述数据结构的所述数据索引标识基于应用环境自定义;以及,所述数据快照中所述业务数据的存储格式是自定义的存储格式。
在本例中,所述装置还包括:
所述确定单元420,进一步用于确定所述数据结构中的数据快照的总大小是否达到预设的阈值。
删除单元440(图中未示出),用于如果是,按照时间节点的先后顺序,删除所述数据快照。
在本例中,所述装置还包括:
所述获取单元410,进一步用于获取用户输入的操作指令;所述操作指令包括所述数据索引标识和周期数量。
查找单元450(图中未示出),用于基于所述操作指令,在所述数据结构中,查找对应于所述数据索引标识和所述周期数量的所述数据快照。
在本例中,所述装置还包括:
输出单元460(图中未示出),用于根据预设策略分析不同时间节点的所述数据快照,并输出分析结果;所述预设策略基于以下至少一种参数设定:
所述业务数据的数值随周期的变化率;
所述业务数据的数值的阈值;
所述业务数据的数值之间的比率。
本申请数据存储的装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
从硬件层面而言,如图5所示,为本申请示出的一种电子设备的硬件结构图,除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该数据存储的装置的实际功能,还可以包括其他硬件,对此不再赘述。其中,上述电子设备的内存和非易失性存储器中还分别搭载了上述获取单元410对应的机器可执行指令、上述确定单元420对应的机器可执行指令、上述存储单元430对应的机器可执行指令、上述删除单元440(图中未示出)对应的机器可执行指令、上述查找单元450(图中未示出)对应的机器可执行指令和上述输出单元460(图中未示出)对应的机器可执行指令。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (11)

1.一种数据存储的方法,其特征在于,包括:
基于预设的周期,获取业务数据,基于对应于所述业务数据的数据指标类型的存储格式,对所述业务数据进行筛选,获得存储格式中的数据指标类型对应的数值,并将筛选所得的业务数据生成数据快照;
确定筛选所得的业务数据的数据索引标识和获取筛选所得的业务数据的时间节点;其中,所述数据索引标识用于唯一指示筛选所得的业务数据的数据指标类型;
基于所述数据索引标识和所述时间节点,将筛选所得的业务数据的数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
2.根据权利要求1所述的方法,其特征在于,所述数据结构的所述数据索引标识基于应用环境自定义;以及,所述数据快照中所述业务数据的存储格式是自定义的存储格式。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述数据结构中的数据快照的总大小是否达到预设的阈值;
如果是,按照时间节点的先后顺序,删除所述数据快照。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取用户输入的操作指令;所述操作指令包括所述数据索引标识和周期数量;
基于所述操作指令,在所述数据结构中,查找对应于所述数据索引标识和所述周期数量的所述数据快照。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据预设策略分析不同时间节点的所述数据快照,并输出分析结果;所述预设策略基于以下至少一种参数设定:
所述业务数据的数值随周期的变化率;
所述业务数据的数值的阈值;
所述业务数据的数值之间的比率。
6.一种数据存储的装置,其特征在于,包括:
获取单元,用于基于预设的周期,获取业务数据,基于对应于所述业务数据的数据指标类型的存储格式,对所述业务数据进行筛选,获得存储格式中的数据指标类型对应的数值,并将筛选所得的业务数据生成数据快照;
确定单元,用于确定筛选所得的业务数据的数据索引标识和获取筛选所得的业务数据的时间节点;其中,所述数据索引标识用于唯一指示筛选所得的业务数据的数据指标类型;
存储单元,用于基于所述数据索引标识和所述时间节点,将筛选所得的业务数据的数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
7.根据权利要求6所述的装置,其特征在于,所述数据结构的所述数据索引标识基于应用环境自定义;以及,所述数据快照中所述业务数据的存储格式是自定义的存储格式。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
所述确定单元,进一步用于确定所述数据结构中的数据快照的总大小是否达到预设的阈值;
删除单元,用于如果是,按照时间节点的先后顺序,删除所述数据快照。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
所述获取单元,进一步用于获取用户输入的操作指令;所述操作指令包括所述数据索引标识和周期数量;
查找单元,用于基于所述操作指令,在所述数据结构中,查找对应于所述数据索引标识和所述周期数量的所述数据快照。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
输出单元,用于根据预设策略分析不同时间节点的所述数据快照,并输出分析结果;所述预设策略基于以下至少一种参数设定:
所述业务数据的数值随周期的变化率;
所述业务数据的数值的阈值;
所述业务数据的数值之间的比率。
11.一种电子设备,其特征在于,所述电子设备搭载了处理器,以及,用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为:
基于预设的周期,获取业务数据,基于对应于所述业务数据的数据指标类型的存储格式,对所述业务数据进行筛选,获得存储格式中的数据指标类型对应的数值,并将筛选所得的业务数据生成数据快照;
确定筛选所得的业务数据的数据索引标识和获取筛选所得的业务数据的时间节点;其中,所述数据索引标识用于唯一指示筛选所得的业务数据的数据指标类型;
基于所述数据索引标识和所述时间节点,将筛选所得的业务数据的数据快照存储到预设的数据结构中;其中,所述数据结构按照所述数据索引标识和所述时间节点区分所存储的数据快照。
CN201710492933.0A 2017-06-26 2017-06-26 一种数据存储的方法、装置及电子设备 Active CN107330031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710492933.0A CN107330031B (zh) 2017-06-26 2017-06-26 一种数据存储的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710492933.0A CN107330031B (zh) 2017-06-26 2017-06-26 一种数据存储的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107330031A CN107330031A (zh) 2017-11-07
CN107330031B true CN107330031B (zh) 2020-07-07

Family

ID=60196059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710492933.0A Active CN107330031B (zh) 2017-06-26 2017-06-26 一种数据存储的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107330031B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255981B (zh) * 2017-12-28 2020-05-22 国网江苏省电力有限公司电力科学研究院 连续时间段时间戳序号索引分钟冻结的存储和查找方法
CN109190908A (zh) * 2018-08-06 2019-01-11 成都四方伟业软件股份有限公司 一种应用于商业智能分析工具的快照方法
CN110489484B (zh) * 2019-07-11 2022-07-05 视联动力信息技术股份有限公司 数据同步方法、装置、可读存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344881A (zh) * 2007-07-09 2009-01-14 中国科学院大气物理研究所 海量文件型数据的索引生成方法及装置和搜索***
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息***有限公司 一种基于日志快照的数据恢复和同步方法
CN101673100A (zh) * 2009-10-19 2010-03-17 北京北方微电子基地设备工艺研究中心有限责任公司 一种工艺过程参数的采集方法及***
US7933927B2 (en) * 2004-11-17 2011-04-26 Bmc Software, Inc. Method and apparatus for building index of source data
CN103617168A (zh) * 2013-10-22 2014-03-05 芜湖大学科技园发展有限公司 一种通用的元数据校验及导出方法
CN106156047A (zh) * 2015-03-27 2016-11-23 ***通信集团福建有限公司 一种快照信息处理方法及装置
CN106649412A (zh) * 2015-11-04 2017-05-10 阿里巴巴集团控股有限公司 一种数据处理方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933927B2 (en) * 2004-11-17 2011-04-26 Bmc Software, Inc. Method and apparatus for building index of source data
CN101344881A (zh) * 2007-07-09 2009-01-14 中国科学院大气物理研究所 海量文件型数据的索引生成方法及装置和搜索***
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息***有限公司 一种基于日志快照的数据恢复和同步方法
CN101673100A (zh) * 2009-10-19 2010-03-17 北京北方微电子基地设备工艺研究中心有限责任公司 一种工艺过程参数的采集方法及***
CN103617168A (zh) * 2013-10-22 2014-03-05 芜湖大学科技园发展有限公司 一种通用的元数据校验及导出方法
CN106156047A (zh) * 2015-03-27 2016-11-23 ***通信集团福建有限公司 一种快照信息处理方法及装置
CN106649412A (zh) * 2015-11-04 2017-05-10 阿里巴巴集团控股有限公司 一种数据处理方法和设备

Also Published As

Publication number Publication date
CN107330031A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN110245078B (zh) 一种软件的压力测试方法、装置、存储介质和服务器
US11409645B1 (en) Intermittent failure metrics in technological processes
US20180365085A1 (en) Method and apparatus for monitoring client applications
CN106649831B (zh) 一种数据过滤方法及装置
CN106293891B (zh) 多维投资指标监督方法
WO2022126984A1 (zh) 缓存数据的检测方法、装置、计算机设备和存储介质
CN108647357B (zh) 数据查询的方法及装置
US9706005B2 (en) Providing automatable units for infrastructure support
CN107330031B (zh) 一种数据存储的方法、装置及电子设备
CN112347501A (zh) 数据处理方法、装置、设备及存储介质
CN113626241A (zh) 应用程序的异常处理方法、装置、设备及存储介质
CN108733543B (zh) 一种日志分析的方法、装置、电子设备和可读存储介质
CN114281648A (zh) 一种数据采集方法、装置、电子设备及存储介质
CN114791927A (zh) 一种数据分析方法和装置
CN111523921B (zh) 漏斗分析方法、分析设备、电子设备及可读存储介质
CN111767161A (zh) 远程调用深度识别方法、装置、计算机设备及可读存储介质
CN113641523B (zh) 一种日志处理方法及装置
CN115544089A (zh) 数据处理方法、装置、设备及存储介质
CN105786865B (zh) 一种检索***故障分析方法及装置
CN113918204A (zh) 一种元数据脚本管理方法、装置、电子设备和存储介质
CN112765200A (zh) 一种基于Elasticsearch的数据查询方法及装置
CN107506299B (zh) 一种代码分析方法及终端设备
CN110020348B (zh) 圈选事件的预警方法及装置
CN106055625B (zh) 一种执行业务的方法及装置
CN116431677B (zh) 基于内存数据库的数据路由方法、***和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant