CN111240594A - 一种基于水利rtu的加密压缩数据存储方法 - Google Patents

一种基于水利rtu的加密压缩数据存储方法 Download PDF

Info

Publication number
CN111240594A
CN111240594A CN202010023264.4A CN202010023264A CN111240594A CN 111240594 A CN111240594 A CN 111240594A CN 202010023264 A CN202010023264 A CN 202010023264A CN 111240594 A CN111240594 A CN 111240594A
Authority
CN
China
Prior art keywords
data
rtu
mram
stored
serial flash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010023264.4A
Other languages
English (en)
Inventor
刘江啸
朱孝文
张蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN DONGSHEN ELECTRONIC CO LTD
Original Assignee
SHENZHEN DONGSHEN ELECTRONIC CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN DONGSHEN ELECTRONIC CO LTD filed Critical SHENZHEN DONGSHEN ELECTRONIC CO LTD
Priority to CN202010023264.4A priority Critical patent/CN111240594A/zh
Publication of CN111240594A publication Critical patent/CN111240594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于水利RTU的加密压缩数据存储方法，一种基于水利RTU的加密压缩数据存储方法，S1、对预存数据进行无损压缩,对明文数据进行加密，并进行对应存储；S2、每一条压缩过后的数据，采用CRC的校验方式，CRC校验值，存放在两个不同的地方；S3、采用串行flash及MRAM，把数据量较大的RTU历史数据存放到串行flash中，把用于引导判断历史数据的引导信息、实时数据、***参数存放在MRAM中；S4、RTU的每小时的历史数据先进行压缩处理，本发明能够有效的极大的延后由于频繁读写造成的存储器坏块问题的发生；即有压缩(加密)，又有crc校验保证完整性，这样数据能够较为安全、可靠的存储在RTU中，使得水利RTU能够正常运行的寿命增长，保障数据安全、可靠。

Description

一种基于水利RTU的加密压缩数据存储方法
技术领域
本发明属于水利RTU数据存储技术领域，具体涉及一种基于水利RTU的加密压缩数据存储方法。
背景技术
RTU中文全称为远程终端控制***，负责对现场信号、工业设备的监测和控制。RTU是构成企业综合自动化***的核心装置，通常由信号输入/出模块、微处理器、有线/无线通讯设备、电源及外壳等组成，由微处理器控制，并支持网络***。它通过自身的软件(或智能软件)***，可理想地实现企业中央监控与调度***对生产现场一次仪表的遥测、遥控、遥信和遥调等功能。RTU，是SCADA***的基本组成单元。RTU是安装在远程现场的电子设备，用来监视和测量安装在远程现场的传感器和设备，负责对现场信号、工业设备的监测和控制。RTU将测得的状态或信号转换成可在通信媒体上发送的数据格式，它还将从中央计算机发送来得数据转换成命令，实现对设备的功能控制。RTU是一种耐用的现场智能处理器，它支持SCADA控制中心与现场器件间的通讯。它是一个独立的数据获取与控制单元。它的作用是在远端控制控制现场设备，获得设备数据，并将数据传给SCADA***的调度中心。
在水利RTU的应用中，该设备需要将各个时段的传感器数据采集起来并保存，即形成各传感器的历史数据，供中心主站使用。
所以，需要非常频繁的对存储器进行读写操作。频繁的读写，对于存储器是一个巨大的挑战，久而久之容易形成存储器坏块，造成不可修复的损坏，就会无法正常存储、读取数据了。进而对RTU的功能造成失效、偏差、错误，不能正常工作，影响中心主站的数据收集，进而影响水利资源的监控，会给社会大众带来巨大的损失，为此提出一种基于水利RTU的加密压缩数据存储方法。
发明内容
本发明的目的在于提供一种基于水利RTU的加密压缩数据存储方法，一种适用于水利RTU的数据压缩、加密、存储机制。需要存储的数据包括：历史数据部分、实时数据部分、***参数部分、历史数据数据信息引导部分。由于历史数据部分较多，占用空间较大，存储在容量较大的串行Flash中，每条历史记录的长度相同。其他的数据部分存储在MRAM中。
并且对于所有的数据进行压缩、加密后再进行存储，能够有效的降低存储空间，解决容量不足问题，且能够对需要存储的数据做到极大的安全保护，不易破解，不易泄密，以解决上述背景技术中提出的问题。
为实现上述目的，本发明采用了如下技术方案：一种基于水利RTU的加密压缩数据存储方法，包括以下步骤：
S1、对预存数据进行无损压缩,对明文数据进行加密，并进行对应存储；
S2、每一条压缩过后的数据，采用CRC的校验方式，CRC校验值，存放在两个不同的地方；
S3、采用串行flash及MRAM，把数据量较大的RTU历史数据存放到串行flash中，把用于引导判断历史数据的引导信息、实时数据、***参数存放在MRAM中；
S4、RTU的每小时的历史数据先进行压缩处理；
S5、提取数据时，先进行crc的校验比对，先判断数据的完整性，然后，再进行数据的解压，还原原始的数据。
优选的：在步骤S3中，所述串行flash为大容量存储器，所述MRAM为小容量存储器。
优选的：存放在所述串行flash中的历史数据，按条目循环存放在串行flash中，存放在所述MRAM中的历史数据引导信息部分来引导和控制。
优选的：在步骤S2中，所述两个不同的地方为串行flash中，该条历史数据后添加2个字节存放crc校验值，存放在MRAM中的数据信息部分，用于检验该条数据的完整性和有效性。
优选的：在S4中加密压缩算法，包括以下步骤：
S401：采用无损数据压缩算法，将每一小时的历史数据明文进行无损压缩；
S402：通过伪随机算法，将每小时的历史数据记录存放在串行Flash的随机地址中；
S403：每小时历史数据记录的存放地址按照时间先后顺序排列，将该列数据存放地址进行无损数据压缩；
S404：压缩后的数据存放到MRAM中的固定地址上。
优选的：所述S402中的伪随机算法确定存储地址，历史数据在RTU中的存储地址是随机的。
优选的：所述存放在MRAM的数据信息部分、数据状态部分包括串行flash中历史数据的指针及有效性信息。
优选的：在步骤S1中预存数据包括历史数据部分、实时数据部分、***参数部分、历史数据数据信息引导部分中的任意一种或多种。
本发明的技术效果和优点：本发明提出的一种基于水利RTU的加密压缩数据存储方法，与现有技术相比，具有以下优点：
一、本发明能够有效的极大的延后由于频繁读写造成的存储器坏块问题的发生；
二、即有压缩(加密)，又有crc校验保证完整性，这样数据能够较为安全、可靠的存储在RTU中，使得水利RTU能够正常运行的寿命增长，保障数据安全、可靠；
三、水利RTU中，存放有重要的水文数据资料，对于该数据进行压缩、加密，可以大大减少存储的体量、以及大大增加安全性，延长产品的使用寿命。
附图说明
图1为本发明的基于水利RTU的加密压缩数据存储方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本发明提供了如图1所示的一种基于水利RTU的加密压缩数据存储方法，包括以下步骤：
S1、对预存数据进行无损压缩,对明文数据进行加密，并进行对应存储；
S2、每一条压缩过后的数据，采用CRC的校验方式，CRC校验值，存放在两个不同的地方；
S3、采用串行flash及MRAM，把数据量较大的RTU历史数据存放到串行flash中，把用于引导判断历史数据的引导信息、实时数据、***参数存放在MRAM中；
S4、RTU的每小时的历史数据先进行压缩处理；
S5、提取数据时，先进行crc的校验比对，先判断数据的完整性，然后，再进行数据的解压，还原原始的数据。
本实施例中，具体的：在步骤S3中，所述串行flash为大容量存储器，所述MRAM为小容量存储器，采用串行flash+MRAM的组合进行数据的存储，可以分担串行flash每一块的擦写次数，延长使用寿命。
本实施例中，具体的：存放在所述串行flash中的历史数据，按条目循环存放在串行flash中，存放在所述MRAM中的历史数据引导信息部分来引导和控制，为保证数据的完整性、可靠性。
本实施例中，具体的：在步骤S2中，所述两个不同的地方为串行flash中，该条历史数据后添加2个字节存放crc校验值，存放在MRAM中的数据信息部分，用于检验该条数据的完整性和有效性。
本实施例中，具体的：在S4中加密压缩算法，包括以下步骤：
S401：采用无损数据压缩算法，将每一小时的历史数据明文进行无损压缩；
S402：通过伪随机算法，将每小时的历史数据记录存放在串行Flash的随机地址中；
S403：每小时历史数据记录的存放地址按照时间先后顺序排列，将该列数据存放地址进行无损数据压缩；
S404：压缩后的数据存放到MRAM中的固定地址上。
本实施例中，具体的：所述S402中的伪随机算法确定存储地址，历史数据在RTU中的存储地址是随机的，通过伪随机算法确定存储地址，这样历史数据在RTU中的存储地址是随机的，起到保密的作用。每小时的存储地址进行压缩后按顺序存储在MRAM中。
本实施例中，具体的：所述存放在MRAM的数据信息部分、数据状态部分包括串行flash中历史数据的指针及有效性信息，用来引导读写历史数据的标识符，存放在MRAM的数据信息部分、数据状态部分，由于MRAM的特性，不会出现擦写寿命的问题。
本实施例中，具体的：在步骤S1中预存数据包括历史数据部分、实时数据部分、***参数部分、历史数据数据信息引导部分中的任意一种或多种，存储在容量较大的串行Flash中，每条历史记录的长度相同，其他的数据部分存储在MRAM中。
其中，串行flash是一种尺寸小，功耗低，接线少，容量大(从几十KB到几百MB)，成本低，非常适合应用在水利RTU当中，但是，擦写寿命大约在10万次左右不等；
MRAM(Magnetic Random Access Memory)是一种非易失性(Non-Volatile)的磁性随机存储器。它拥有静态随机存储器(SRAM)的高速读取写入能力，以及动态随机存储器(DRAM)的高集成度，而且基本上可以无限次地重复写入
本发明提供了水利RTU历史数据部分的明文的存储格式，水利RTU历史数据条目数据格式，如下表1所示：
Figure BDA0002361564140000061
Figure BDA0002361564140000071
表1
工作原理：根据实际情况，采用串行flash(大容量)+MRAM(小容量)，把数据量较大的RTU历史数据放到串行flash中，把用于引导判断历史数据的引导信息、实时数据、***参数等放在MRAM中，而且存放在串行flash中的历史数据，按条目循环存放在串行flash中，即循环覆盖的方式逐条存放在整个串行flash中，无效数据不会擦除，由存放在MRAM中的历史数据引导信息部分来引导和控制；这样，可以分担串行flash每一块的擦写次数，延长使用寿命在存储数据之前，需要存数据进行无损压缩，压缩之后，占用容量会减少，而且压缩之后不再是明文数据了，也同时起到了加密的效果；压缩之后，再进行对应的存储；为保证数据的完整性、可靠性，每一条已经压缩过后的数据，需要采用CRC的校验方式，CRC校验值，存放在2个不同的地方；1是存放在历史数据的后面，也就是串行flash中，该条历史数据后添加2个字节存放crc校验值；2是存放在MRAM中的数据信息部分，用于检验该条数据的完整性和有效性；即有压缩(加密)，又有crc校验保证完整性，这样数据能够较为安全、可靠的存储在RTU中；提取数据时，先进行crc的校验比对，先判断数据的完整性，然后，再进行数据的解压，还原原始的数据。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于水利RTU的加密压缩数据存储方法，其特征在于，包括以下步骤：
S1、对预存数据进行无损压缩,对明文数据进行加密，并进行对应存储；
S2、每一条压缩过后的数据，采用CRC的校验方式，CRC校验值，存放在两个不同的地方；
S3、采用串行flash及MRAM，把数据量较大的RTU历史数据存放到串行flash中，把用于引导判断历史数据的引导信息、实时数据、***参数存放在MRAM中；
S4、RTU的每小时的历史数据先进行压缩处理；
S5、提取数据时，先进行crc的校验比对，先判断数据的完整性，然后，再进行数据的解压，还原原始的数据。
2.根据权利要求1所述的一种基于水利RTU的加密压缩数据存储方法，其特征在于：在步骤S3中，所述串行flash为大容量存储器，所述MRAM为小容量存储器。
3.根据权利要求2所述的一种基于水利RTU的加密压缩数据存储方法，其特征在于：存放在所述串行flash中的历史数据，按条目循环存放在串行flash中，存放在所述MRAM中的历史数据引导信息部分来引导和控制。
4.根据权利要求1所述的一种基于水利RTU的加密压缩数据存储方法，其特征在于：在步骤S2中，所述两个不同的地方为串行flash中，该条历史数据后添加2个字节存放crc校验值，存放在MRAM中的数据信息部分，用于检验该条数据的完整性和有效性。
5.根据权利要求1所述的一种基于水利RTU的加密压缩数据存储方法，其特征在于：在S4中加密压缩算法，包括以下步骤：
S401：采用无损数据压缩算法，将每一小时的历史数据明文进行无损压缩；
S402：通过伪随机算法，将每小时的历史数据记录存放在串行Flash的随机地址中；
S403：每小时历史数据记录的存放地址按照时间先后顺序排列，将该列数据存放地址进行无损数据压缩；
S404：压缩后的数据存放到MRAM中的固定地址上。
6.根据权利要求5所述的一种基于水利RTU的加密压缩数据存储方法，其特征在于：所述S402中的伪随机算法确定存储地址，历史数据在RTU中的存储地址是随机的。
7.根据权利要求1所述的一种基于水利RTU的加密压缩数据存储方法，其特征在于：所述存放在MRAM的数据信息部分、数据状态部分包括串行flash中历史数据的指针及有效性信息。
8.根据权利要求1所述的一种基于水利RTU的加密压缩数据存储方法，其特征在于：在步骤S1中预存数据包括历史数据部分、实时数据部分、***参数部分、历史数据数据信息引导部分中的任意一种或多种。
CN202010023264.4A 2020-01-09 2020-01-09 一种基于水利rtu的加密压缩数据存储方法 Pending CN111240594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010023264.4A CN111240594A (zh) 2020-01-09 2020-01-09 一种基于水利rtu的加密压缩数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010023264.4A CN111240594A (zh) 2020-01-09 2020-01-09 一种基于水利rtu的加密压缩数据存储方法

Publications (1)

Publication Number Publication Date
CN111240594A true CN111240594A (zh) 2020-06-05

Family

ID=70864063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010023264.4A Pending CN111240594A (zh) 2020-01-09 2020-01-09 一种基于水利rtu的加密压缩数据存储方法

Country Status (1)

Country Link
CN (1) CN111240594A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702340A (zh) * 2020-12-23 2021-04-23 深圳供电局有限公司 一种历史报文压缩方法及其***、计算设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN103514176A (zh) * 2012-06-21 2014-01-15 苏州工业园区新宏博通讯科技有限公司 一种智能终端的数据管理方法
CN107172148A (zh) * 2017-05-16 2017-09-15 成都汇智远景科技有限公司 一种基于物联网的数据实时处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN103514176A (zh) * 2012-06-21 2014-01-15 苏州工业园区新宏博通讯科技有限公司 一种智能终端的数据管理方法
CN107172148A (zh) * 2017-05-16 2017-09-15 成都汇智远景科技有限公司 一种基于物联网的数据实时处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702340A (zh) * 2020-12-23 2021-04-23 深圳供电局有限公司 一种历史报文压缩方法及其***、计算设备、存储介质
CN112702340B (zh) * 2020-12-23 2023-12-19 深圳供电局有限公司 一种历史报文压缩方法及其***、计算设备、存储介质

Similar Documents

Publication Publication Date Title
CN101706709B (zh) 卡和主机设备
CN105512056A (zh) 数据保存方法、装置及终端
CN110543281A (zh) 一种存储压缩实现方法、装置、设备及存储介质
HK1062222A1 (en) Sensing device for a passive matrix memory and a read method for use therewith
CN111240594A (zh) 一种基于水利rtu的加密压缩数据存储方法
CN105446848B (zh) 电子设备的数据处理性能的测试方法及装置
CN103455391B (zh) 一种动态调整的数据保护的装置和方法
CN104064213A (zh) 存储器存取方法、存储器存取控制方法及存储器控制器
TW201525699A (zh) 通過記憶體匯流排之命令字串與狀態字串傳輸技術
CN101533372B (zh) 数据存取***
US20170308448A1 (en) Terminal apparatus and failure response control method
CN103092730B (zh) 一种信息存储与读取方法
CN105868642A (zh) 数据加密的闪存控制器以及写入或读取数据加密方法
CN110765450A (zh) 非易失性内存主机控制器接口权限设置和非对称加密方法
CN116206659B (zh) 一种otp存储器
CN202767646U (zh) 一种电子密码钥匙
CN117666972B (zh) 一种存储装置及其数据处理方法
CN113254364B (zh) 一种嵌入式***用信息存储装置
JP7358772B2 (ja) 制御装置、制御方法、制御プログラム
CN113448891B (zh) 存储器控制器以及用于监测对存储模块的访问的方法
CN220264832U (zh) 一种电梯运行监测装置
KR102234070B1 (ko) 외장형 데이터 저장 장치의 원격 제어 시스템
CN105912429A (zh) 一种管理数据客户端数据存储方法及存储设备
CN201007857Y (zh) 一种电力参数自动记录与传输装置
CN113867638A (zh) 智能电表的p1接口数据推送方法、介质及智能电表

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication