CN110502559A - 一种可信安全跨域数据交换的数据总线及传输方法 - Google Patents

Abstract

本发明公开了一种可信安全跨域数据交换的数据总线及传输方法，属于数据交换技术领域。包括：（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；（二）数据治理层：将数据采集层采集数据进行标准化数据转换；（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集。（四）数据应用层：各业务***将共享数据；共享开放式开发平台。本发明提供了一种安全的数据整合方式，能够融合不同结构的数据形成数据库，并对数据进行处理共享，能够保证数据库的安全性，避免被网络攻击。

Description

一种可信安全跨域数据交换的数据总线及传输方法

技术领域

本发明涉及数据交换技术领域，具体涉及一种可信安全跨域数据交换的数据总线及传输方法。

背景技术

传统的企业网络安全重心一直是在建设封闭可控的环境，通过这种方式来防御各种各样的网络攻击。但是，近年来伴随着互联网、智能移动设备、物联网技术和云计算的快速发展及广泛应用，网络边界一次次被打破和扩展，网络的开放性越来越强。同时随着基础网络技术的不断进步，网络攻击的手段和方法也在不断的革新。

现在企业的网络正处在持续性的风险状态，在这样严峻的安全风险面前任何现有的安全设备都难以应对。尤其是企业与互联网、智能移动设备、物联网进行数据交互时，传统基于策略的拦截和防御机制轻而易举就会被高级定向攻击所绕过，针对企业内部的攻击行为也逐渐变得更为难以捕获。

发明内容

针对现有技术的不足，本发明提供了一种可信安全跨域数据交换的数据总线及传输方法，实现各方元数据来源的标准化融合，形成基础信息数据资源库，在基础信息资源库上通过大数据治理服务对其元数据进行抽取清洗、智能规约、标签应用、索引建模、离线运算等大数据技术手段，形成应用服务数据仓库和主题模型。

一种可信安全跨域数据交换的数据总线，包括：

（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；

（二）数据治理层：将数据采集层采集数据进行标准化数据转换；

（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余处理，形成完整的业务数据集；

（四）数据应用层：各业务***将共享数据；共享开放式开发平台。

进一步的，所述数据采集层的数据主要来源分别为物联网、互联网、政务内网、业务应用***，根据不同数据来源场景，分别使用不同的应用采集前置服务来完成；基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。

进一步的，针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用***大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。

进一步的，所述的数据治理层通过自定义转换处理模型、关键特征过滤，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。

进一步的，所述的数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去；

所述的日志数据由订阅主题模块订阅后，经中间消息件Kafka进行流处理模块，流处理方式可以为Kafka stream 流处理方式或者Spark Streaming 流处理方式，处理结果存储到大数据存储Hbase数据库、Hive数据库和字典及部分中间结果存储数据库MySQL。

进一步的，针对不同的业务场景、分析特征进行预制的智能化标签处理，实现多维度大数据融合规约处理；通过使用大数据处理引擎Spark计算平台，对交互式查询和流处理进行高性能大数据集计算服务；运用SparkSQL结构化即时查询，Streaming实时计算、机器学习、图计算等核心体系，实现高性能分析运算，支撑业务主题仓库的建设。

进一步的，数据处理层字典及部分中间结果存储数据库中的数据通过JDBC接口与数据应用层进行数据交互；流处理模块产生的实时预警消息推送经中间消息件Kafka，传输给数据应用层。

数据处理层设有Spark批处理作业大数据分析挖掘模块，所述模块利用Redis分布式K/V内存数据库和大数据存储Hbase数据库、Hive数据库的数据进行数据分析与挖掘，并将结果返回给大数据存储Hbase数据库、Hive数据库。

进一步的，所述的数据应用层可以向数据处理层发出请求，请求分为复杂分析请求和简单查询统计请求：

（1）复杂分析请求的处理：复杂分析请求经Spring Dataflow Task api传输给Spark即时批处理作业模块，Spark 即时批处理作业模块从大数据存储Hbase数据库、Hive数据库及Redis分布式K/V内存数据库调取数据进行处理计算，计算结果传输给大数据存储Hbase数据库、Hive数据库，并经中间消息件Kafka返回给数据应用层；

（2）简单查询统计请求处理：根据请求查询要求直接将大数据存储Hbase数据库、Hive数据库中的数据返回给数据应用层。

进一步的，所述的数据应用层使用企业级服务总线技术对各警务、警种等业务***进行统一集成，并结合Kafka订阅机制，将各业务***需要大数据平台处理后的主体数据集进行标准化接口集成，各业务***将共享大数据主题仓库数据集。再者，基于微服务架构的开放式开发平台，实现警务人员、行业专家等开放式开发需要。扁平化、所见即所得的运用大数据资源进行算法模型、技战法运用的定制开发和演练，确实提高各警务人员的侦查手段和经验分享。

一种可信安全跨域数据交换的传输方法，包括：

S1：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；

S2：将数据采集层采集数据进行标准化数据转换；

S3：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；

S4：各业务***将共享数据；共享开放式开发平台。

本发明提供了一种安全的数据整合方式，能够融合不同结构的数据形成数据库，并对数据进行处理共享，能够保证数据库的安全性，避免被网络攻击。

附图说明

图1为本发明的处理过程原理图；

图2为K8s服务容器资源协调图。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步说明。

本发明提供了一种可信安全跨域数据交换的数据总线，如图1所示，兼顾着各方元数据来源的标准化融合，形成基础信息数据资源库。在基础信息资源库上通过大数据治理服务对其元数据进行抽取清洗、智能规约、标签应用、索引建模、离线运算等大数据技术手段，形成应用服务数据仓库和主题模型。平台主要构建在Hadoop大数据架构之上，针对各种不同应用场景，采用HBase数据库对需要随机访问处理、实时读写的数据进行标准化存储；同时使用基于MapReduce、Spark等的技术体系实现并行计算等需求。另外针对明确的应用场景和业务需求，使用Hive技术手段基于HBase进行数据主题仓库的建设。所述数据总线结构主要包括数据采集层、数据治理层、数据处理层、数据应用层。

（一） 数据采集层

数据主要来源分别为物联网、互联网、政务内网、业务应用***。根据不同数据来源场景，分别使用不同的应用采集前置服务来完成。基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。所述K8s服务容器资源协调图如图2所示。

为处理多来源异构环境下的结构化、半结构化、非结构化数据，针对不同的数据来源场景使用不同的采集服务方式处理，并统一使用基于分布式的微服务技术架构，统一在多维全息感知前置适配汇聚服务中实现对异构环境下，不同应用场景、数据来源方式的统一前置适配服务化处理。针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用***大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。

（二） 数据治理层

通过前置服务的环境适配元数据提取，将进行标准化数据转换。通过自定义转换处理模型、关键特征过滤等，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。

所述转换处理模型可以理解为处理一件事务过程的定义，模型是由多个算子组成，多个算子通过流程编排进行组合成一个模型，一个模型的启动，称之为该模型的一个运行实例或任务。比如：数据库连接适配算子定义了常用的jdbc、odbc等连接配置，可视化配置即可；数据抽取算子加载解析了源数据库结构，根据源数据结构，可以自定义目标数据结构，最后将该算子定义的结构信息存储起来；数据清洗算子定义抽取过程中的数据过滤、合并、拆分等规则；数据入库算子定义了目标数据库连接，库结构等；最后通过流程编排将上述算子进行组合成数据采集清洗模型，启动，执行等。

数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去。

所述的日志数据由订阅主题模块订阅后，经中间消息件Kafka进行流处理模块，流处理方式可以为Kafka stream 流处理方式或者Spark Streaming 流处理方式，处理结果存储到大数据存储Hbase数据库、Hive数据库和字典及部分中间结果存储数据库MySQL。

（三） 数据处理层

根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集。针对不同的业务场景、分析特征进行预制的智能化标签处理，实现多维度大数据融合规约处理。通过使用大数据处理引擎Spark计算平台，对交互式查询和流处理进行高性能大数据集计算服务。将运用SparkSQL结构化即时查询，Streaming实时计算、机器学习、图计算等核心体系，实现高性能分析运算，支撑业务主题仓库的建设。

字典及部分中间结果存储数据库中的数据通过JDBC接口与数据应用层进行数据交互。流处理模块产生的实时预警消息推送经中间消息件Kafka，传输给数据应用层。

数据处理层设有Spark批处理作业大数据分析挖掘模块，所述模块利用Redis分布式K/V内存数据库和大数据存储Hbase数据库、Hive数据库的数据进行数据分析与挖掘，并将结果返回给大数据存储Hbase数据库、Hive数据库。

数据应用层可以向数据处理层发出请求，请求分为复杂分析请求和简单查询统计请求：

（1）复杂分析请求的处理：复杂分析请求经Spring Dataflow Task api传输给Spark即时批处理作业模块，Spark 即时批处理作业模块从大数据存储Hbase数据库、Hive数据库及Redis分布式K/V内存数据库调取数据进行处理计算，计算结果传输给大数据存储Hbase数据库、Hive数据库，并经中间消息件Kafka返回给数据应用层；

（2）简单查询统计请求处理：根据请求查询要求直接将大数据存储Hbase数据库、Hive数据库中的数据返回给数据应用层。

（四） 数据应用层

应用层主要建设两个方面的内容。首先，使用企业级服务总线技术对各警务、警种等业务***进行统一集成，并结合Kafka订阅机制，将各业务***需要大数据平台处理后的主体数据集进行标准化接口集成，各业务***将共享大数据主题仓库数据集。再者，基于微服务架构的开放式开发平台，实现警务人员、行业专家等开放式开发需要。扁平化、所见即所得的运用大数据资源进行算法模型、技战法运用的定制开发和演练，确实提高各警务人员的侦查手段和经验分享。

一种可信安全跨域数据交换的传输方法，包括：

S1：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；

S2：将数据采集层采集数据进行标准化数据转换；

S3：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；

S4：各业务***将共享数据；共享开放式开发平台。

Claims (10)

1.一种可信安全跨域数据交换的数据总线，其特征在于包括：

（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；

（二）数据治理层：将数据采集层采集数据进行标准化数据转换；

（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；

（四）数据应用层：各业务***将共享数据；共享开放式开发平台。

2.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于：所述数据采集层的数据主要来源分别为物联网、互联网、政务内网、业务应用***，根据不同数据来源场景，分别使用不同的应用采集前置服务来完成；基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。

3.根据权利要求2所述的一种可信安全跨域数据交换的数据总线，其特征在于针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用***大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。

4.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据治理层通过自定义转换处理模型、关键特征过滤，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。

5.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去；

所述的日志数据由订阅主题模块订阅后，经中间消息件Kafka进行流处理模块，流处理方式可以为Kafka stream 流处理方式或者Spark Streaming 流处理方式，处理结果存储到大数据存储Hbase数据库、Hive数据库和字典及部分中间结果存储数据库MySQL。

6.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于针对不同的业务场景、分析特征进行预制的智能化标签处理，实现多维度大数据融合规约处理；通过使用大数据处理引擎Spark计算平台，对交互式查询和流处理进行高性能大数据集计算服务；运用SparkSQL结构化即时查询，Streaming实时计算、机器学习、图计算等核心体系，实现高性能分析运算，支撑业务主题仓库的建设。

7.根据权利要求6所述的一种可信安全跨域数据交换的数据总线，其特征在于数据处理层字典及部分中间结果存储数据库中的数据通过JDBC接口与数据应用层进行数据交互；流处理模块产生的实时预警消息推送经中间消息件Kafka，传输给数据应用层；

数据处理层设有Spark批处理作业大数据分析挖掘模块，所述模块利用Redis分布式K/V内存数据库和大数据存储Hbase数据库、Hive数据库的数据进行数据分析与挖掘，并将结果返回给大数据存储Hbase数据库、Hive数据库。

8.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据应用层可以向数据处理层发出请求，请求分为复杂分析请求和简单查询统计请求：

（1）复杂分析请求的处理：复杂分析请求经Spring Dataflow Task api传输给Spark即时批处理作业模块，Spark 即时批处理作业模块从大数据存储Hbase数据库、Hive数据库及Redis分布式K/V内存数据库调取数据进行处理计算，计算结果传输给大数据存储Hbase数据库、Hive数据库，并经中间消息件Kafka返回给数据应用层；

（2）简单查询统计请求处理：根据请求查询要求直接将大数据存储Hbase数据库、Hive数据库中的数据返回给数据应用层。

9.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据应用层使用企业级服务总线技术对各警务、警种等业务***进行统一集成，并结合Kafka订阅机制，将各业务***需要大数据平台处理后的主体数据集进行标准化接口集成，各业务***将共享大数据主题仓库数据集；再者，基于微服务架构的开放式开发平台，实现警务人员、行业专家等开放式开发需要；扁平化、所见即所得的运用大数据资源进行算法模型、技战法运用的定制开发和演练，确实提高各警务人员的侦查手段和经验分享。

10.一种可信安全跨域数据交换的传输方法，其特征在于包括：

S1：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；

S2：将数据采集层采集数据进行标准化数据转换；

S3：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；

S4：各业务***将共享数据；共享开放式开发平台。