CN111831677B - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN111831677B CN111831677B CN202010974312.8A CN202010974312A CN111831677B CN 111831677 B CN111831677 B CN 111831677B CN 202010974312 A CN202010974312 A CN 202010974312A CN 111831677 B CN111831677 B CN 111831677B
- Authority
- CN
- China
- Prior art keywords
- data
- current
- parameter
- state
- decompressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Charge And Discharge Circuits For Batteries Or The Like (AREA)
- Power Sources (AREA)
Abstract
本发明公开了一种数据处理方法及装置,包括:确定当前状态数据,所述当前状态数据包括:第一状态参数和第一时间参数,其中,所述当前状态数据为正常态数据;判断所述第一时间参数与上一时间区间状态数据中的第二时间参数的差值是否大于预设时间阈值,所述上一时间区间状态数据包括:第二时间参数和第二状态参数;若所述第一时间参数与所述第二时间参数的差值小于预设时间阈值,则根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求;若所述第一状态参数满足预设压缩要求,则对所述上一时间区间的状态数据更新计数标签。本发明能够减少数据库的存储空间,数据解压或恢复时也能够保证准确还原。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种数据处理方法及装置。
背景技术
在大型数据中心的蓄电池安全运行状况监控项目中,各类PLC(ProgrammableLogic Controller)会实时的监控蓄电池电压,电流,内阻,温度等参数,在这个过程中会产生大量的监控数据,比如,某数据中心机房,有蓄电池数量为6万PCS(pieces),一年产生的数据量约为60TB,这些大批量的数据需要上传到数据存服务器进行保存。对于这种大体量的数据的保存,如何设计这些数据的存贮逻辑及如何设计数据库,对于软件***的性能,存贮能力都会产生较大影响。
在蓄电池安全运行监控***中,如何存贮如此巨量的正常态数据,这对蓄电池安全运行监控***设计者提出了考验。现有技术中,第一种采用的方法是直接丢弃该类数据,这种处理方法导致蓄电池安全运行监控***无法对蓄电池的运行状况做统计和分析;现有技术中,第二种采用的方法是周期性存贮这类数据,这种设计方法往往会根据用户设定的时间周期,在满足时间周期时才会存贮一条数据。比如,如果用户设定的时间周期为1小时,那就意味着正常态的数据每隔1个小时才会存贮一条数据,这种方法和第一种存贮算法没有本质的区别,如果这个时间周期选择时间过长,则意味着丢失的数据也就越多,这个周期时间参数选择的较短,则意味着数据库需要承受大数据的压力。
因此,如何解决海量数据的存贮与数据库有限存储能力的矛盾是本领域技术人员亟需解决的问题。
发明内容
针对现有技术的上述问题,本发明提供本发明的目的在于提供一种数据处理方法及装置,能够降低数据库中相似数据的存储空间,并提高数据库存储空间的利用率,提升用户好感度。
为了解决上述技术问题,本发明提供了一种数据处理方法,包括:
确定当前状态数据,所述当前状态数据包括:第一状态参数和第一时间参数,其中,所述当前状态数据为正常态数据;
判断所述第一时间参数与上一时间区间状态数据中的第二时间参数的差值是否大于预设时间阈值,所述上一时间区间状态数据包括:第二时间参数和第二状态参数;
若所述第一时间参数与所述第二时间参数的差值小于预设时间阈值,则根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求;
若所述第一状态参数满足预设压缩要求,则对所述上一时间区间的状态数据更新计数标签。
进一步地、所述确定当前状态数据之前还包括:
接收蓄电池的状态数据,所述状态数据包括:正常态数据或非正常态数据;
相应的,所述确定当前状态数据包括:
选定所述正常态数据作为当前状态数据。
进一步地、还包括:
若第一时间参数与第二时间参数的差值大于预设时间阈值,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
进一步地、还包括:
若所述第一状态参数不满足预设压缩要求,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
进一步地、所述根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求包括:
根据所述第二状态参数计算所述第一状态参数的变化率;
判断所述变化率与预设压缩参数的差值的绝对值是否小于预设压缩比例参数以判断所述第一状态参数是否满足预设压缩要求。
另一方面、本发明提供一种数据处理方法,包括:
在状态数据库中选取当前待解压数据,所述当前待解压数据包括:当前计数标签;
判断所述当前待解压数据中的当前计数标签是否大于预设解压次数;
若所述当前计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;
根据所述当前解压参数对所述当前待解压数据进行解压得到当前已解压数据,根据所述当前已解压数据更新当前计数标签次数,以更新后的当前计数标签作为所述当前待解压数据的当前计数标签;
重复执行:判断所述当前待解压数据中的当前计数标签是否大于预设解压次数;若所述当前计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;根据所述当前解压参数对所述当前待解压数据进行解压得到已解压数据,根据所述已解压数据并更新当前计数标签次数;直至所述当前计数标签等于预设解压次数。
进一步地、所述当前待解压数据还包括:状态参数;
所述根据所述当前解压参数对所述当前待解压数据进行解压包括:
将所述状态参数与所述当前解压参数进行加权计算以对所述当前待解压数据进行解压。
进一步地、所述在状态数据库中选取当前待解压数据之前还包括:
获取解压请求,所述当前待解压数据是基于所述解压请求在所述状态数据库中选取的。
进一步地、包括:
所述当前解压参数的小于所述预设压缩参数的绝对值。
再一方面、本发明提供一种数据处理装置,包括:
当前状态数据确定模块,被配置为执行确定当前状态数据,所述当前状态数据包括:第一状态参数和第一时间参数,其中,所述当前状态数据为正常态数据;
第一判断模块,被配置为执行判断所述第一时间参数与上一时间区间状态数据中的第二时间参数的差值是否大于预设时间阈值,所述上一时间区间状态数据包括:第二时间参数和第二状态参数;
第二判断模块,被配置为执行若所述第一时间参数与所述第二时间参数的差值小于预设时间阈值,则根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求;
计数标签更新模块,被配置为执行若所述第一状态参数满足预设压缩要求,则对所述上一时间区间的状态数据更新计数标签。
本发明提供的一种数据处理方法及装置,具有如下有益效果:
本发明提供的数据处理方法通过对电池的当前状态数据进行判定,在当前状态数据与上一时间区间状态数据相似或相同时仅对上一时间区间状态数据进行更新对应的计数标签,既能够保证当前状态数据的存储,又能够减少数据库的存储空间,数据解压或恢复时也能够保证准确还原,为蓄电池的状态分析提供数据支持,又保证了蓄电池的状态数据的准确性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例提供的实施环境示意图;
图2为本发明实施例提供的第一种数据处理方法的流程示意图;
图3为本发明实施例提供的第二种数据处理方法的流程示意图;
图4为本发明实施例提供的第三种数据处理方法的流程示意图;
图5为本发明实施例提供的第四种数据处理方法的流程示意图;
图6为本发明实施例提供的第五种数据处理方法的流程示意图;
图7为本发明实施例提供的一种数据处理装置的结构示意图;
图8为本发明实施例提供的另一种数据处理装置的结构示意图;
图9为本发明实施例提供的一种电子设备的结构示意图。
其中,710-当前状态数据确定模块,720-第一判断模块,730-第二判断模块,740-计数标签更新模块;
810-选取模块,820-第三判断模块,830-当前解压参数生成模块,840-返回模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参考说明书附图1,其示出了本发明实施例提供的实施环境示意图,如图1所示,该实施环境可以至少包括用户终端110和服务器120。
用户终端110中运行有客户端。用户终端110可以是一台或多台智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。所述客户端可以为服务商提供给用户的应用程序,也可以为服务商提供给用户的网页页面。所述服务器120可以是一***立运行的服务器,也可以是由若干台服务器组成的服务器集群,或者是一个云计算服务中心。所述服务器120可以包括网络通信单元、处理器和存储器等等。所述服务器120可以通过无线或者有线网络与所述用户终端110建立通信连接。
如图2所示,图2为本发明实施例提供的第一种数据处理方法的流程示意图,本发明提供一种数据处理方法,本方法的执行主体为上述服务器120或用户终端110,本方法包括:
S102、确定当前状态数据,所述当前状态数据包括:第一状态参数和第一时间参数,其中,所述当前状态数据为正常态数据。
在具体的实施过程中,服务器可以接收到的蓄电池的正常态数据作为当前状态数据,当前状态数据可以包括:第一状态参数和第一时间参数;其中,第一状态参数可以是蓄电池的电压、电流、内阻、温度等参数,第一状态参数可以反映出蓄电池的工作状态情况;第一时间参数可以是时间戳,与第一状态参数发生的时间想对应。
在蓄电池状态数据存储领域中,这些由各类PLC产生的数据根据数据用途一般会分为两类数据,一类数据是蓄电池告警或者故障时产生的数据,这类数据用途较大,经常被我们拿来分析蓄电池的运行状况,作为判断蓄电池是否需要更换的标准,这类数据我们称为异常态数据。另一类数据是蓄电池在正常运行时产生的数据,这类数据往往不受用户的关注,但是却是蓄电池安全运行状况监控厂商所关注的,我们称这类数据为正常态数据。蓄电池安全运行监控厂商往往需要将正常态数据和异常态数据相结合,分析蓄电池后续可能会发生的异常状况。
正常态数据和异常态数据在项目中的数据占比约为19:1,也就是在100条数据中,约有95条数据是正常态数据,也就是在60TB的数据中,客户关心的数据约为3TB,其他57TB的数据是用户不关注的数据。
S104、判断所述第一时间参数与上一时间区间状态数据中的第二时间参数的差值是否大于预设时间阈值,所述上一时间区间状态数据包括:第二时间参数和第二状态参数。
在具体的实施过程中,上一时间区间状态数据是存储在预先建立的状态数据库,其中状态数据库可以按照如下语句建立:
CREATE TABLE IF NOT EXISTS `tbBTGData`(
`record_id ` INT UNSIGNED AUTO_INCREMENT,
`btg_V` INT UNSIGNED,
`record_date ` DATE,
`press_counts` INT UNSIGNED,
PRIMARY KEY ( `record_id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8。
状态数据库建成后可以采用所有数据均为0的初始化形式。即在状态数据库中预先存储的第二时间参数和第二状态参数均为0。
可以理解的是,上一时间区间状态数据为当前状态数据的上一次产生并存储在状态数库中的蓄电池相关数据。相邻两次状态数据的时间间隔可以是相同的也可以是不同。预设时间阈值可以用于反映相邻两次状态数据的可选的时间间隔,其具体时间本说明书实施例中不做具体限定,可以根据实际需要进行设置。
S106、若所述第一时间参数与所述第二时间参数的差值小于预设时间阈值,则根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求。
在具体的实施过程中,如果第一时间参数与第二时间参数的差值小于预设时间阈值时,可以根据第二状态参数判断第一状态参数是否满足预设压缩要求。
其中,预设压缩要求可以用于表示第一状态数据是否以压缩的形式进行存储,当第一状态参数与第二状态数据相同或相似时,可以确定第一状态参数符合预设压缩要求。
示例地、第一时间参数与第二时间参数均可以采用时间格式字符串形式存储,当第一时间参数为2020年1月1日00:00:10,第二时间参数为2020年1月1日00:00:00,预设时间阈值为15秒时,由于第一时间参数与第二时间参数的差值为10秒,因此第一时间参数与第二时间参数的差值小于预设时间阈值。可以理解的是,上述示例仅为更好的理解本实施例,第一时间参数与第二时间参数也可以采用其他的用于表征时间的方式存在。
S108、若所述第一状态参数满足预设压缩要求,则对所述上一时间区间的状态数据更新计数标签。
在具体的实施过程中,如果第一状态参数满足预设压缩要求后,即第一状态参数与第二状态参数相同或相似后,可以将接收到的当前状态数据丢弃,并对上一时间区间的状态数据更新计数标签。
示例地、上一时间区间的状态数据为2时,在第一状态参数满足预设压缩要求后,更新上一时间区间的状态数据为3。
本发明提供的数据处理方法通过对电池的当前状态数据进行判定,在当前状态数据与上一时间区间状态数据相似或相同时仅对上一时间区间状态数据进行更新对应的计数标签,既能够保证当前状态数据的存储,又能够减少数据库的存储空间,数据解压或恢复时也能够保证准确还原,为蓄电池的状态分析提供数据支持,又保证了蓄电池的状态数据的准确性。
在上述实施例基础上,本说明书一个实施例中,图3为本发明实施例提供的第二种数据处理方法的流程示意图;如图3所示,所述确定当前状态数据之前还包括:
S100、接收蓄电池的状态数据,所述状态数据包括:正常态数据或非正常态数据。
在具体的实施过程中,服务器可以实时接收检测到的蓄电池的状态数据。
相应的,所述确定当前状态数据包括:
选定所述正常态数据作为当前状态数据。
在具体的实施过程中,当服务器接收到的是正常态数据时,以正常态数据作为当前状态数据。正常态数据表征蓄电池正常工作的数据。
本说明书实施例提供的数据处理方法,通过对蓄电池的状态数据进行甄别,选定正常态数据作为当前状态数据,由于正常态数据量较大,因此保证了正常态数据的正常处理,避免将非正常态数据存储在正常态数据中,造成数据的断层或遗失。
在上述实施例基础上,本说明书一个实施例中,图4为本发明实施例提供的第三种数据处理方法的流程示意图,如图4所示,所述方法还包括:
S302、若第一时间参数与第二时间参数的差值大于预设时间阈值,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
在具体的实施过程中,当第一时间参数与第二时间参数的差值大于预设时间阈值时,则按照预设类别将当前状态数据存储至预先建立的状态数据库中并添加计数标签,由于当前状态数据首次存储在状态数据库中,其计数标签可以是1,以表示其不同于上次存储的状态数据且为首次存储。
示例地、预设类别可以采用时间顺序排序的方式进行设置的。上一时间区间状态数据的类别可以是1,当前状态数据在第一时间参数与第二时间参数的差值大于预设时间阈值时存储在状态数据库中是,预设类别可以是2。
本说明书实施例提供的数据处理方法能够在第一时间参数与第二时间参数的差值大于预设时间阈值时,按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签,保证状态数据存储的完整性。
在上述实施例基础上,本说明书一个实施例中,图5为本发明实施例提供的第四种数据处理方法的流程示意图,如图5所示,所述方法还包括:
S402、若所述第一状态参数不满足预设压缩要求,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
在具体的实施过程中,当第一状态参数不满足预设压缩要求时,则按照预设类别将当前状态数据存储至预先建立的状态数据库中并添加计数标签,由于当前状态数据首次存储在状态数据库中,其计数标签可以是1,以表示其不同于上次存储的状态数据且为首次存储。
本说明书实施例提供的数据处理方法能够在第一状态参数不满足预设压缩要求时,按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签,保证状态数据存储的完整性。
在上述实施例基础上,本说明书一个实施例中,所述根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求包括:
根据所述第二状态参数计算所述第一状态参数的变化率。
在具体的实施过程中,服务器可以根据第二状态参数计算所述第一状态参数的变化率,示例地、第二状态参数为V0,第一状态参数为V1,则第一状态参数的变化率=(V1-V0)/V0。
判断所述变化率与预设压缩参数的差值的绝对值是否小于预设压缩比例参数以判断所述第一状态参数是否满足预设压缩要求。
示例地、预设压缩参数和预设压缩比例参数可以是根据实际需要进行设置的,预设压缩参数可以是a,预设压缩比例参数可以是0.000001;因此预设压缩要求可以是abs(((V1-V0)/VO)-a)<0.000001。
本说明书实施例提供的数据处理方法,通过判断第一状态参数相对与第二状态参数的变化情况确定出当前状态数据是否符合预设压缩要求,提高了数据压缩的条件,既提高了数据处理的效率,也提高了数据存储的利用率。
如图6所示,图6为本发明实施例提供的第五种数据处理方法的流程示意图,本发明提供一种数据处理方法,本方法的执行主体为上述服务器,本方法包括:
S602、在状态数据库中选取当前待解压数据,所述当前待解压数据包括:当前计数标签。
在具体的实施过程中,当前待解压数据可以是状态数据库中存储的一个类别的状态数据。
S604、判断所述当前待解压数据中的当前计数标签是否大于预设解压次数;
在具体的实施过程中,预设解压次数可以用于确定当前待解压数据的解压次数。当当前计数标签大于预设解压次数时,表征当前待解压数据需要进行解压。当当前计数标签小于等于预设解压次数时,表征当前待解压数据不需要进行解压。
S606、若所述当前计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;
在具体的实施过程中,当当前待解压数据需要进行解压时,可以根据预设的压缩参数随机生成当前解压参数。当前解压参数a1应与预设压缩参数a的关系如下式-a<a1<a。
S608、根据所述当前解压参数对所述当前待解压数据进行解压得到当前已解压数据,根据所述当前已解压数据更新当前计数标签次数,以更新后的当前计数标签作为所述当前待解压数据的当前计数标签。
S610、重复执行:判断所述当前待解压数据中的当前计数标签是否大于预设解压次数;若所述当前计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;根据所述当前解压参数对所述当前待解压数据进行解压得到已解压数据,根据所述已解压数据并更新当前计数标签次数;直至所述当前计数标签等于预设解压次数。
在上述实施例基础上,本说明书一个实施例中,所述当前待解压数据还包括:状态参数;
所述根据所述当前解压参数对所述当前待解压数据进行解压包括:
将所述状态参数与所述当前解压参数进行加权计算以对所述当前待解压数据进行解压。
在上述实施例基础上,本说明书一个实施例中,所述在状态数据库中选取当前待解压数据之前还包括:
获取解压请求,所述当前待解压数据是基于所述解压请求在所述状态数据库中选取的。
在具体的实施过程中,解压请求可以包括时间间隔,示例地,需要2020年1月的全部正常态数据时,解压请求中携带有对应的时间间隔。时间间隔用于选取当前待解压数据。
在上述实施例基础上,本说明书一个实施例中,包括:
所述当前解压参数的小于所述预设压缩参数的绝对值。
示例地、当前待解压数据的计数标签为3、状态参数为V0,时间参数为T0,预设时间阈值为T,预设解压次数为0;经过第一次解压可以得到V1=V0*a1,T1=T0+2*T,计数标签更新为2。经过第二次解压可以得到V2=V0*a2,T1=T0+1*T,计数标签更新为1。经过第三次解压可以得到V3=V0*a3,T3=T0+0*T,计数标签更新为0。
本发明提供的数据处理方法通过对电池的当前状态数据进行判定,在当前状态数据与上一时间区间状态数据相似或相同时仅对上一时间区间状态数据进行更新对应的计数标签,既能够保证当前状态数据的存储,又能够减少数据库的存储空间,数据解压或恢复时也能够保证准确还原,为蓄电池的状态分析提供数据支持,又保证了蓄电池的状态数据的准确性。
另一方面、图7为本发明实施例提供的一种数据处理装置的结构示意图,如图7所示,本发明提供一种数据处理装置,包括:
当前状态数据确定模块710,被配置为执行确定当前状态数据,所述当前状态数据包括:第一状态参数和第一时间参数,其中,所述当前状态数据为正常态数据;
第一判断模块720,被配置为执行判断所述第一时间参数与上一时间区间状态数据中的第二时间参数的差值是否大于预设时间阈值,所述上一时间区间状态数据包括:第二时间参数和第二状态参数;
第二判断模块730,被配置为执行若所述第一时间参数与所述第二时间参数的差值小于预设时间阈值,则根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求;
计数标签更新模块740,被配置为执行若所述第一状态参数满足预设压缩要求,则对所述上一时间区间的状态数据更新计数标签。
在上述实施例基础上,本说明书一个实施例中,还包括:
状态数据接收模块,被配置为执行接收蓄电池的状态数据,所述状态数据包括:正常态数据或非正常态数据;
相应的,所述确定当前状态数据包括:
选定所述正常态数据作为当前状态数据。
在上述实施例基础上,本说明书一个实施例中,还包括:
第一计数标签添加模块,被配置为执行若第一时间参数与第二时间参数的差值大于预设时间阈值,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
在上述实施例基础上,本说明书一个实施例中,还包括:
第二计数标签添加模块,被配置为执行若所述第一状态参数不满足预设压缩要求,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
在上述实施例基础上,本说明书一个实施例中,所述第二判断模块包括:
变化率计算单元,被配置为执行根据所述第二状态参数计算所述第一状态参数的变化率;
判断单元,被配置为执行判断所述变化率与预设压缩参数的差值的绝对值是否小于预设压缩比例参数以判断所述第一状态参数是否满足预设压缩要求。
另一方面、图8为本发明实施例提供的另一种数据处理装置的结构示意图,如图4所示,本发明提供一种数据处理装置,包括:
选取模块810,被配置为执行在状态数据库中选取当前待解压数据,所述当前待解压数据包括:当前计数标签;
第三判断模块820,被配置为执行判断所述当前待解压数据中的当前计数标签是否大于预设解压次数;
当前解压参数生成模块830,被配置为执行若所述当前计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;根据所述当前解压参数对所述当前待解压数据进行解压得到当前已解压数据,根据所述当前已解压数据更新当前计数标签次数,以更新后的当前计数标签作为所述当前待解压数据的当前计数标签;
返回模块840,被配置为执行返回第三判断模块和当前解压参数生成模块;直至所述当前计数标签等于预设解压次数。
由于数据处理装置与数据处理方法的技术效果相同,不再赘述。
另一方面、图9为本发明实施例提供的一种电子设备的结构示意图,如图9所示,本发明一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述所述的数据处理方法。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。本发明实施例所提供测试方法,其实现原理及产生的技术效果和前述***实施例相同,为简要描述,方法实施例部分未提及之处,可参考前述***实施例中相应内容。
在本申请所提供的几个实施例中,应该理解到,所揭露的***和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以上述权利要求的保护范围为准。
Claims (9)
1.一种数据处理方法,包括:
确定当前状态数据,所述当前状态数据包括:第一状态参数和第一时间参数,其中,所述当前状态数据为正常态数据;
判断所述第一时间参数与上一时间区间状态数据中的第二时间参数的差值是否大于预设时间阈值,所述上一时间区间状态数据包括:第二时间参数和第二状态参数;
若所述第一时间参数与所述第二时间参数的差值小于预设时间阈值,则根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求;
若所述第一状态参数满足预设压缩要求,则对所述上一时间区间的状态数据更新计数标签,以完成当前状态数据在状态数据库中的压缩存储;
在所述状态数据库中选取当前待解压数据,所述当前待解压数据携带有计数标签;
判断所述当前待解压数据中的计数标签是否大于预设解压次数;
若所述计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;
根据所述当前解压参数对所述当前待解压数据进行解压得到当前已解压数据,根据所述当前已解压数据更新计数标签次数,以更新后的计数标签作为所述当前待解压数据的计数标签;
重复执行:判断所述当前待解压数据中的计数标签是否大于预设解压次数;若所述计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;根据所述当前解压参数对所述当前待解压数据进行解压得到当前已解压数据,根据所述当前已解压数据更新计数标签次数,以更新后的计数标签作为所述当前待解压数据的计数标签,直至所述计数标签等于预设解压次数。
2.如权利要求1所述的方法,所述确定当前状态数据之前还包括:
接收蓄电池的状态数据,所述状态数据包括:正常态数据或非正常态数据;
相应的,所述确定当前状态数据包括:
选定所述正常态数据作为当前状态数据。
3.如权利要求1所述的方法,还包括:
若第一时间参数与第二时间参数的差值大于预设时间阈值,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
4.如权利要求1所述的方法,还包括:
若所述第一状态参数不满足预设压缩要求,则按照预设类别将所述当前状态数据存储至预先建立的状态数据库中并添加计数标签。
5.如权利要求1所述的方法,所述根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求包括:
根据所述第二状态参数计算所述第一状态参数的变化率;
判断所述变化率与预设压缩参数的差值的绝对值是否小于预设压缩比例参数以判断所述第一状态参数是否满足预设压缩要求。
6.如权利要求5所述的方法,所述当前待解压数据还包括:状态参数;
所述根据所述当前解压参数对所述当前待解压数据进行解压包括:
将所述状态参数与所述当前解压参数进行加权计算以对所述当前待解压数据进行解压。
7.如权利要求6所述的方法,所述在状态数据库中选取当前待解压数据之前还包括:
获取解压请求,所述当前待解压数据是基于所述解压请求在所述状态数据库中选取的。
8.如权利要求6所述的方法,包括:
所述当前解压参数的小于所述预设压缩参数的绝对值。
9.一种数据处理装置,包括:
当前状态数据确定模块,被配置为执行确定当前状态数据,所述当前状态数据包括:第一状态参数和第一时间参数,其中,所述当前状态数据为正常态数据;
第一判断模块,被配置为执行判断所述第一时间参数与上一时间区间状态数据中的第二时间参数的差值是否大于预设时间阈值,所述上一时间区间状态数据包括:第二时间参数和第二状态参数;
第二判断模块,被配置为执行若所述第一时间参数与所述第二时间参数的差值小于预设时间阈值,则根据所述第二状态参数判断所述第一状态参数是否满足预设压缩要求;
计数标签更新模块,被配置为执行若所述第一状态参数满足预设压缩要求,则对所述上一时间区间的状态数据更新计数标签,以完成当前状态数据在状态数据库中的压缩存储;
选取模块,被配置为执行在所述状态数据库中选取当前待解压数据,所述当前待解压数据携带有计数标签;
第三判断模块,被配置为执行判断所述当前待解压数据中的计数标签是否大于预设解压次数;
解压模块,被配置为执行若所述计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;
更新模块,被配置为执行根据所述当前解压参数对所述当前待解压数据进行解压得到当前已解压数据,根据所述当前已解压数据更新计数标签次数,以更新后的计数标签作为所述当前待解压数据的计数标签;
重复执行模块,被配置为执行重复执行:判断所述当前待解压数据中的计数标签是否大于预设解压次数;若所述计数标签大于预设解压次数,则根据预设压缩参数生成当前解压参数;根据所述当前解压参数对所述当前待解压数据进行解压得到当前已解压数据,根据所述当前已解压数据更新计数标签次数,以更新后的计数标签作为所述当前待解压数据的计数标签,直至所述计数标签等于预设解压次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010974312.8A CN111831677B (zh) | 2020-09-16 | 2020-09-16 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010974312.8A CN111831677B (zh) | 2020-09-16 | 2020-09-16 | 一种数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111831677A CN111831677A (zh) | 2020-10-27 |
CN111831677B true CN111831677B (zh) | 2021-04-13 |
Family
ID=72918488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010974312.8A Active CN111831677B (zh) | 2020-09-16 | 2020-09-16 | 一种数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111831677B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120239627A1 (en) * | 2011-03-18 | 2012-09-20 | Nec Corporation | Data storage apparatus and data storage method |
CN110334047A (zh) * | 2019-06-21 | 2019-10-15 | 西门子(上海)电气传动设备有限公司 | 采集设备数据的***及方法、变频器及计算机可读介质 |
-
2020
- 2020-09-16 CN CN202010974312.8A patent/CN111831677B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120239627A1 (en) * | 2011-03-18 | 2012-09-20 | Nec Corporation | Data storage apparatus and data storage method |
CN110334047A (zh) * | 2019-06-21 | 2019-10-15 | 西门子(上海)电气传动设备有限公司 | 采集设备数据的***及方法、变频器及计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111831677A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10210036B2 (en) | Time series metric data modeling and prediction | |
CN108763038B (zh) | 告警数据的管理方法、装置、计算机设备及存储介质 | |
US7409316B1 (en) | Method for performance monitoring and modeling | |
CN109992473B (zh) | 应用***的监控方法、装置、设备及存储介质 | |
CN108334436A (zh) | 应用软件的优化方法、装置、设备及计算机可读存储介质 | |
US8208893B1 (en) | Performance metrics processing for anticipating unavailability | |
EP4235482A1 (en) | State preview method and system for key equipment of nuclear power plant, and device and storage medium | |
CN111240876B (zh) | 微服务的故障定位方法、装置、存储介质及终端 | |
CN112395156A (zh) | 故障的告警方法和装置、存储介质和电子设备 | |
JPWO2018122890A1 (ja) | ログ分析方法、システムおよびプログラム | |
CN111311014A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN110750423A (zh) | 机器学习平台的运维方法和运维*** | |
CN111831677B (zh) | 一种数据处理方法及装置 | |
CN111338959B (zh) | 一种数据处理方法及相关设备 | |
CN113254153A (zh) | 流程任务处理方法、装置、计算机设备和存储介质 | |
CN112416896A (zh) | 数据异常的报警方法和装置、存储介质、电子装置 | |
CN112612679A (zh) | ***运行状态监控方法、装置、计算机设备和存储介质 | |
CN115270013B (zh) | 评估活动期间减排措施的方法、装置及电子设备 | |
US11102091B2 (en) | Analyzing SCADA systems | |
CN113835961B (zh) | 告警信息监控方法、装置、服务器及存储介质 | |
CN116071123A (zh) | 商品数据处理方法、***、电子设备及存储介质 | |
CN115098326A (zh) | 一种***异常检测方法及装置、存储介质及电子设备 | |
CN113568769B (zh) | 异常处理方法、装置、服务器及存储介质 | |
CN110611576B (zh) | 一种数据质量监测方法、装置、设备及存储介质 | |
CN106777981B (zh) | 一种行为数据的校验方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 310000 2 and 3 / F, building 3, No. 1418-50, Moganshan Road, Hangzhou, Zhejiang Province (Shangcheng science and technology industrial base) Applicant after: Hangzhou HuaSu Technology Co., Ltd Address before: 310000 2 and 3 / F, building 3, No. 1418-50, Moganshan Road, Hangzhou, Zhejiang Province (Shangcheng science and technology industrial base) Applicant before: HANGZHONG HUASU JADA TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |