CN105678190A - 数据封存审计*** - Google Patents

Abstract

数据封存审计***，包括外部时钟源单元、数据接入单元、调度中心单元、数据存储单元、数据加解密单元、数据应用单元、和***维护单元；数据接入单元，包括通信管理模块和安全认证模块；调度中心单元，包括节点管理模块、任务调度模块、和数据分发模块；数据存储单元，包括数据存储模块、数据同步模块、和数据校验模块；数据加解密单元，包括备份数据加解密模块和日志加解密模块；数据应用单元，包括数据恢复模块、数据查询模块、数据上传模块、数据下载模块、和日志查询模块；***维护单元，包括***配置模块、***告警模块和日志模块。本发明能够满足用户对于关键信息实时的、长期的、安全的存储需求。

Description

数据封存审计***

【技术领域】

本发明属于计算机软件数据处理技术领域，具体是指一种数据封存审计***，适合对需要长期保存的，且不允许更改的信息进行封存。

【背景技术】

随着信息技术的不断发展，数字信息逐渐成为一种重要资产，尤其是在过去的30多年里，作为信息的主要载体—数据库，其相关应用在数量和重要性方面都取得了巨大的增长。包括政府机构、企事业单位、制造业、商业等在内的几乎每一种组织都使用它来存储、操纵和检索数据。随着人们对数据的依赖性越来越高，各种数据信息，尤其是一些财务数据、客户数据等成为了关系企业生存的重要资产。

网络化时代的到来、互联网技术的普及加深了数据保护的矛盾，网络技术使得数字信息的泄漏和篡改变得更加容易，而防范则更加困难。因此，近两年来，大多数企事业单位和政府机关纷纷把关注的目光投向信息***数据的安全问题，尤其是进行存储管理核心数据的数据库***以及内部办公终端对业务***的规范性检查。

伴随着数据库信息价值以及可访问性提升，使得数据库面对来自内部和外部的安全风险大大增加，如违规越权操作、恶意入侵导致机密信息窃取泄漏，但事后却无法有效追溯和审计。

目前的数据封存工具存在以下弊端：1、其数据封存方案的生成都是实施人员通过写代码来生成相关的查询表达式。重复使用比较困难。特别是甲技术员的成果很难被乙技术员使用。2、封存数据需要手工转移，转移数据也是一个很危险的工作，稍有失误就很花时间。一年如果转移几次数据，每次的工作都是重复的，工作量比较大，同时很难确保在转移过程中数据不被篡改和损坏。

【发明内容】

本发明所要解决的技术问题在于提供一种数据防篡改存储的数据封存审计***，能够满足用户对于关键信息实时的、长期的、安全的存储需求。

本发明是这样实现的：

数据封存审计***，包括外部时钟源单元、数据接入单元、调度中心单元、数据存储单元、数据加解密单元、数据应用单元、和***维护单元；

所述外部时钟源单元，采用基于PLMN信号的独立、外部时钟源作为***时钟参考；

所述数据接入单元，包括通信管理模块和安全认证模块；所述通信管理模块，对***通信链路、通信接口、通信方式、通信加密体系进行统一管理，建立***通信管理平台，为***间通信更好地提供服务；所述安全认证模块，从***外部接入***过程进行身份识别，允许***认定的合法设备接入本***，并对***的外部接入进行管理，未授权用户不允许接入本***，在安全认证上采用多种双向加密身份认证方式；

所述调度中心单元，包括节点管理模块、任务调度模块、和数据分发模块；所述节点管理模块，负责管理***内部节点，包括数据存储节点备份冗余管理；所述任务调度模块，完成***的任务分解及分发管理，对***中的各主要任务进行任务调度处理，包括优先级、任务启动、停止操作；所述数据分发模块，完成***的主要数据传输的分发任务，满足多通信模块并行处理功能；

所述数据存储单元，包括数据存储模块、数据同步模块、和数据校验模块；所述数据存储模块，对要封存的数据文件及数据文件备份进行存储，按照预先设计的存储结构，将数据和备份安全分散存储在相应介质；所述数据同步模块，对于数据存储的多个数据备份，按照预先设定的策略进行定期数据同步，保证数据多个备份的一致性；所述数据校验模块，采用CRC算法，对传输过程中或存储的文件进行文件完整性校验，保证文件的一致性；

所述数据加解密单元，包括备份数据加解密模块和日志加解密模块；所述备份数据加解密模块，对需要封存数据的备份进行加解密，按照预先设定的加密算法，对已封存的数据的冗余备份进行加解密，保证在利用冗余数据进行数据恢复时的安全性；所述日志加解密模块，对***产生的日志进行加解密，保证日志信息的数据安全性；

所述数据应用单元，包括数据恢复模块、数据查询模块、数据上传模块、数据下载模块、和日志查询模块；所述数据恢复模块，支持对封存数据进行下载、查询时，出现校验错误的情况下，利用冗余的备份数据向操作方提供正确的封存数据；所述数据上传模块，支持用户进行文件或数据流的上传；所述数据下载模块，支持用户对已封存数据的下载；所述数据查询模块，完成用户对封存数据的查询；所述日志查询模块，满足用户对***日志的查询；

所述***维护单元，包括***配置模块、***告警模块和日志模块；所述***配置模块，完成用户通过串口连接对***进行配置的功能；所述***告警模块，对***运行过程中的各种异常提供告警接口，提供资源告警、***运行告警和数据异常告警功能；所述日志模块，记录整个***运行中状态，包括***自身运行日志，数据存储日志，数据应用日志。

进一步地，所述双向加密认证方式，包括数字证书、或SSL认证方式。

本发明的优点在于：利用计算机网络技术，采用统一的数据存储格式，面向查询的存储算法和基于位置的数据同步算法，达到实时的存储用户关键数据，保证关键数据的可靠性和不可篡改性。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1是本发明的逻辑结构框图。

图2是本发明中防篡改数据存储、查询引擎示意图。

图3是本发明中数据存储结构示意图。

图4是本发明中带有顺序指针的B+Tree结构示意图。

图5是本发明中SSD缓冲子***示意图。

图6是本发明数据封存***示意图。

【具体实施方式】

如图1所示，数据封存审计***，包括外部时钟源单元、数据接入单元、调度中心单元、数据存储单元、数据加解密单元、数据应用单元、和***维护单元；

所述外部时钟源单元，采用基于PLMN信号的独立、外部时钟源作为***时钟参考；

所述数据接入单元，包括通信管理模块和安全认证模块；所述通信管理模块，对***通信链路、通信接口、通信方式、通信加密体系进行统一管理，建立***通信管理平台，为***间通信更好地提供服务；所述安全认证模块，从***外部接入***过程进行身份识别，允许***认定的合法设备接入本***，并对***的外部接入进行管理，未授权用户不允许接入本***，在安全认证上采用数字证书、SSL等多种双向加密身份认证方式；

所述调度中心单元，包括节点管理模块、任务调度模块、和数据分发模块；所述节点管理模块，负责管理***内部节点，包括数据存储节点备份冗余管理；所述任务调度模块，完成***的任务分解及分发管理，对***中的各主要任务进行任务调度处理，包括优先级、任务启动、停止操作；所述数据分发模块，完成***的主要数据传输的分发任务，满足多通信模块并行处理功能；

所述数据存储单元，包括数据存储模块、数据同步模块、和数据校验模块；所述数据存储模块，对要封存的数据文件及数据文件备份进行存储，按照预先设计的存储结构，将数据和备份安全分散存储在相应介质；所述数据同步模块，对于数据存储的多个数据备份，按照预先设定的策略进行定期数据同步，保证数据多个备份的一致性；所述数据校验模块，采用CRC算法，对传输过程中或存储的文件进行文件完整性校验，保证文件的一致性；

所述数据加解密单元，包括备份数据加解密模块和日志加解密模块；所述备份数据加解密模块，对需要封存数据的备份进行加解密，按照预先设定的加密算法，对已封存的数据的冗余备份进行加解密，保证在利用冗余数据进行数据恢复时的安全性；所述日志加解密模块，对***产生的日志进行加解密，保证日志信息的数据安全性；

所述数据应用单元，包括数据恢复模块、数据查询模块、数据上传模块、数据下载模块、和日志查询模块；所述数据恢复模块，支持对封存数据进行下载、查询时，出现校验错误的情况下，利用冗余的备份数据向操作方提供正确的封存数据；所述数据上传模块，支持用户进行文件或数据流的上传；所述数据下载模块，支持用户对已封存数据的下载；所述数据查询模块，完成用户对封存数据的查询；所述日志查询模块，满足用户对***日志的查询；所述***维护单元，包括***配置模块、***告警模块和日志模块；所述***配置模块，完成用户通过串口连接对***进行配置的功能；所述***告警模块，对***运行过程中的各种异常提供告警接口，提供资源告警、***运行告警和数据异常告警功能；所述日志模块，记录整个***运行中状态，包括***自身运行日志，数据存储日志，数据应用日志。

本发明的的核心在于防篡改数据存储引擎，引擎的整体结构，如图2所示，防篡改数据存储、查询引擎分为两大部分：前端预处理器和后端处理引擎。

前端预处理器实现为ESB组件提供给用户，与用户已有的应用***进行集成。主要负责将用户数据(流数据、文件数据、数据库数据等)进行加标记等预处理，并向后端存储***发送。

经过前端预处理的数据，经过网络传输到后端数据存储引擎，经过流量与流划分控制器进入数据存储处理器，在各自的处理单元进行处理后；经过数据存储处理器的数据在缓冲控制器控制下写入固态硬盘(SolidStateDisk，SSD)缓冲器；固态硬盘缓冲的数据，在持久化存储优化器的控制下，最终写入磁盘阵列(RedundantArraysofInexpensiveDisks，RAID)存储介质。

用户查询经过查询预处理器进入查询语法分析器，在查询语法分析器中，用户查询被解析和分解为多个操作算子。在查询生成器中根据操作算子生成具体查询实体，在查询输出控制器控制下，查询执行器在SSD缓冲器和持久存储器中进行数据查询，并返回查询结果。在查询执行过程中包含了对数据错误/篡改的恢复过程。

a、统一流数据格式

前端预处理器负责接收用户需要***进行封存的数据，自动监测用户数据(流数据、文件数据或数据库数据等)变化，为用户数据添加“数据归属标识”。前端预处理器处理完成的数据通过网络传给后端数据处理、查询引擎，此时数据形式都统一成为流数据。

b、面向查询的存储算法

经过前端预处理器处理的用户数据通过网路传输到后端数据存储引擎，此时用户数据形式统一为数据流。数据流不同于存储在磁盘上的传统关系数据，它具有快速、无限或有限、连续的特性。数据流可以被视为无限多重集合，集合中的每个元素具有形式<s，t>，其中s是一个元组，t为标识s的时间戳，t是数据产生时间或者数据进入处理***的时间。随着时间推移，需要存储的数据流数据会变得无限大，使得使用传统的数据库管理***(DatabaseManagementSystem，DBMS)存储数据流，进行数据查询、读取，变得非常困难。

针对数据流数据存储，数据封存***设计、实现了面向查询的存储算法。数据封存***中，数据存储结构分为存储介质、数据文件、数据块三级。其中数据块用来存储具体数据和根据具体数据、数据归属标识、时间戳、存储地址等信息生成的检索信息，用于存储数据的数据块称为“数据簇”，存储检索信息的数据块称为“数据表示簇”。多个数据块组成一个数据文件，多个数据文件占用整个存储介质，如图3所示。

用户数据本身的组织结构不能保证应用高效查询算法，所以需要建立一个满足特定查找算法的数据结构，这个数据结构以某种方式引用(指向)数据，在这个数据结构的基础上实现查询算法，这个数据结构称为数据索引。平衡多路查找树结构(B+Tree)，广泛存在于数据库管理***，用于存储数据索引，B+Tree数据结构如图4所示。

防篡改数据存储引擎中分多级存储数据索引信息，每一级索引信息均采用带有顺序指针的B+Tree结构。第一级，收到网络传输的一包用户数据，分割为数据块后，数据块的索引信息；第二级，同一“数据归属标识”下的一个用户数据包索引信息；第三级，数据文件索引信息。由这三级索引信息组成数据持久存储中的“大纲”，“元数据目录”，方便使用二分查找算法进行高效数据查询。

c、固态硬盘缓冲与优化

在过去的十几年间，磁盘(HardDiskDrive，HDD)成为最常用数据存储介质，它具有容量大、单位容量价格低的优点。受制于磁盘本身工作原理，磁盘I/O操作的速度远低于中央处理器(CentralProcessingUnit，CPU)处理速度和主存存取速度，成为大容量数据存取、查询的主要瓶颈。为了克服这种瓶颈，运用闪存(FlashMemory)技术的固态硬盘(SolidStateDisk,SSD)应运而生，固态硬盘作为一种纯电子存储设备，通过电子电路来存取数据，不存在机械移动带来的延迟，具备很高的随机存取速度。但是SSD存在两个的缺点，单位容量价格偏高和寿命限制，限制了SSD在十分强调数据安全的场景中的应用。

表1：

表1是磁盘和固态硬盘读带宽及连接性能比较表，其中测试工具为IOMeter2008，测试硬盘空间1GB，测试时间2分钟，数据访问粒度32KB。本发明充分利用两种存储介质的优点，使用SSD+HDD组成混合存储***，使用I/O性能更好的SSD作为大容量数据缓冲器，使用单位容量价格最低的HHD作为数据持久存储器。

在防篡改数据存储、查询引擎中，用户数据经过数据存储处理器的处理单元，在处理单元中，数据经过分块、附加校验信息、局部随机化、纠错编码，索引生成等一系列操作，形成一系列的数据块。这些数据块在缓冲控制器控制下，写入已经划分好的SSD缓冲区。此时对于一个数据包来说，存储数据的数据块从逻辑上来说是连续的，但是数据块的实际存储位置并不连续。

防篡改数据存储引擎使用两块固态硬盘作为高速缓冲，两块固态硬盘之间进行“乒乓切换”。每块SSD中，根据***配置参数，预先划分好了一系列的缓冲区，以循环队列的形式出现。从逻辑上整个SSD数据缓冲器可以视为一个缓冲队列，由缓冲控制器进行控制，如图5所示。

d、数据错误/篡改恢复

纠错编码技术在各种通信***中广泛使用，用于确保数据传输的准确性。数据封存***同样可以被视为一个广义上的通信***。用户业务***是信源，用户数据是需要传输的信息，数据错误/篡改是信息(用户数据)在传输过程(数据封存过程)产生的误码，数据的持久存储是信宿。使用纠错编码技术，能够保证在信宿(持久存储)正确的恢复用户数据，整个***如图6所示。

通信***中为了应对成串发生的比特错误，采用交织技术，即将一条消息中的相继比特分散开的方法，使一条消息中的相继比特以非相继方式被发送。借鉴通信***中的交织技术，数据存储引擎采用局部随机化技术，将连续的数据块在一定范围内分散存储，结合纠错编码技术，以防止在数据持久存储过程中，由于可能出现的磁盘介质损坏(磁盘坏道等)而造成的数据损失。同时采用哈希算法(hash)局部随机化存储数据，也是为数据进行了二次加密，大大增加数据篡改时定位数据存储位置的难度。

低密度奇偶校验码(LDPC)是麻省理工学院RobertGallager于1962年在博士论文中提出的一种具有稀疏校验矩阵的分组纠错码，几乎适用于所有的信道，而且性能逼近香农限。LDPC码具备非常优秀的特性：1.基于稀疏矩阵的并行迭代译码算法，特别适用于大容量场景；2.码率可以任意构造，十分灵活；3.更低的错误平底，适用于对误码率要求高的场合。数据封存***采用LDPC码作为数据存储引擎的纠错码方案。

本发明采用了双机备份的工作机制，使用基于存储位置的数据同步方法进行主备机数据同步。当一份原始数据多次译码结果未能通过数据校验时，***会自动向备机/主机查询译码失败对应的数据块，以保证用户查询到的数据是未被篡改或未发生错误的。

本发明利用计算机网络技术，采用统一的数据存储格式，面向查询的存储算法和基于位置的数据同步算法，达到实时的存储用户关键数据，保证关键数据的可靠性和不可篡改性。

以上所述仅为本发明的较佳实施用例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.数据封存审计***，其特征在于：包括外部时钟源单元、数据接入单元、调度中心单元、数据存储单元、数据加解密单元、数据应用单元、和***维护单元；

所述外部时钟源单元，采用基于PLMN信号的独立、外部时钟源作为***时钟参考；

所述数据接入单元，包括通信管理模块和安全认证模块；所述通信管理模块，对***通信链路、通信接口、通信方式、通信加密体系进行统一管理，建立***通信管理平台，为***间通信更好地提供服务；所述安全认证模块，从***外部接入***过程进行身份识别，允许***认定的合法设备接入本***，并对***的外部接入进行管理，未授权用户不允许接入本***，在安全认证上采用多种双向加密身份认证方式；

所述调度中心单元，包括节点管理模块、任务调度模块、和数据分发模块；所述节点管理模块，负责管理***内部节点，包括数据存储节点备份冗余管理；所述任务调度模块，完成***的任务分解及分发管理，对***中的各主要任务进行任务调度处理，包括优先级、任务启动、停止操作；所述数据分发模块，完成***的主要数据传输的分发任务，满足多通信模块并行处理功能；

所述数据存储单元，包括数据存储模块、数据同步模块、和数据校验模块；所述数据存储模块，对要封存的数据文件及数据文件备份进行存储，按照预先设计的存储结构，将数据和备份安全分散存储在相应介质；所述数据同步模块，对于数据存储的多个数据备份，按照预先设定的策略进行定期数据同步，保证数据多个备份的一致性；所述数据校验模块，采用CRC算法，对传输过程中或存储的文件进行文件完整性校验，保证文件的一致性；

所述数据加解密单元，包括备份数据加解密模块和日志加解密模块；所述备份数据加解密模块，对需要封存数据的备份进行加解密，按照预先设定的加密算法，对已封存的数据的冗余备份进行加解密，保证在利用冗余数据进行数据恢复时的安全性；所述日志加解密模块，对***产生的日志进行加解密，保证日志信息的数据安全性；

所述数据应用单元，包括数据恢复模块、数据查询模块、数据上传模块、数据下载模块、和日志查询模块；所述数据恢复模块，支持对封存数据进行下载、查询时，出现校验错误的情况下，利用冗余的备份数据向操作方提供正确的封存数据；所述数据上传模块，支持用户进行文件或数据流的上传；所述数据下载模块，支持用户对已封存数据的下载；所述数据查询模块，完成用户对封存数据的查询；所述日志查询模块，满足用户对***日志的查询；

所述***维护单元，包括***配置模块、***告警模块和日志模块；所述***配置模块，完成用户通过串口连接对***进行配置的功能；所述***告警模块，对***运行过程中的各种异常提供告警接口，提供资源告警、***运行告警和数据异常告警功能；所述日志模块，记录整个***运行中状态，包括***自身运行日志，数据存储日志，数据应用日志。

2.如权利要求1所述的数据封存审计***，其特征在于：所述双向加密认证方式，包括数字证书、或SSL认证方式。