CN115914379B - 一种数据交换装置及数据交换*** - Google Patents

Abstract

本发明公开了一种数据交换平台及数据交换***，平台包括获取源数据；配置规则，引用多个子规则，根据一个规则的所有子规则获取的数据组成该规则对应的E格式标签和数据；引用多个规则，一个规则对应一个E格式标签和数据，将多标签数据组建为一个E格式文件或E格式数据流；将E格式文件或E格式数据流发布到目标端。本发明提供的数据交换平台的数据交互机制通用性和灵活性强，使用和维护都很方便。

Description

一种数据交换装置及数据交换***

技术领域

本发属于数据交换***技术领域，具体涉及一种数据交换平台及数据交换***。

背景技术

电网调控***经过多年的运行，积累了丰富的运行数据，包括量测数据、告警数据、故障与运行事件数据、电量数据及计划预测类数据等。但是电网业务***的数据都是孤立存在于EMS、OMS、TMR等不同***中，跨专业、跨单位、跨业务的数据共享机制缺乏，形成了信息孤岛。数据交互需要由各业务***按照不同需求各自开发特定交互接口，数据接口利用程度低，同时数据交互方式和数据格式不同，无统一标准，数据交互机制通用性和灵活性不强，使用和维护都不够方便。随着数据交互***的增加，数据交互复杂程度增加，业务协同效率显著降低。

发明内容

本发明针对目前数据交互机制通用性和灵活性不强的技术问题，提供一种数据交换平台及数据交换***。本发明采用以下技术方案。

第一方面，本发明提供了一种数据交换装置，包括数据接入模块、数据转换模块以及对外发布模块；

所述数据接入模块，用于从数据源端获取数据；

所述数据转换模块包括：子规则配置模块、规则配置模块以及模板配置模块；所述子规则配置模块用于配置单表或多表的关联子规则，基于所述关联子规则以及配置的数据源，生成数据库操作语句，以用于通过数据接入模块从数据源端获取数据，获取的数据用于组成E格式标签和数据；

所述规则配置模块，用于配置E格式文件的数据范围和数据格式的规则，所述规则引用多个子规则，根据一个规则的所有子规则获取的标签和数据组成该规则对应的E格式标签和数据；

所述模板配置模块，用于配置模板，所述模板引用多个规则，一个规则对应一个E格式标签和数据，将多标签数据组建为一个E格式文件或E格式数据流；

所述对外发布模块用于将E格式文件或E格式数据流发布到目标端。

进一步地，所述对外发布模块用于实现多种发布方式，所述发布方式包括服务调用、文件推送以及数据下载，所述服务调用指响应于与所述数据交换装置连接的客户端发送的服务请求，发送输出文件；所述文件推送指定时主动的将输出文件推送至目标端；所述数据下载指支持web页面端手动下载输出文件。

进一步地，所述装置还包括数据源管理模块，所述数据源管理模块用于对源端的数据源进行管理，包括数据源的新建、修改和删除。

进一步地，所述装置还包括产品管理模块，所述产品管理模块用于生成产品以及对产品进行分类管理，所述产品为绑定数据源模板，所述数据源模板引用多个规则，规则引用多个子规则。

再进一步地，所述产品可分为数据库类产品、文件类产品和服务类产品管理。

进一步地，所述装置还包括任务管理模块，用于根据输入信息生成数据下载任务，所述输入信息包括数据范围选择、数据源端选择、目标端信息配置、数据发布周期配置以及数据的发布方式配置。

进一步地，所述装置还包括主题管理模块，所述主题管理模块用于根据产品、规则以及子规则进行主题划分，根据划分的主题确定各主题对应的产品。

第二方面，本发明提供了一种数据交换***，包括第一方面任意一种可能的实施方式提供的一种数据交换装置、数据源端、调度云和全业务数据中心；所述数据源端与所述装置的数据接入模块连接，所述装置的对外发布模块分别于所述调度云和所述全业务数据中心连接，用于将输出数据根据需求发布到调度云或者全业务数据中心。

进一步地，所述数据接入模块，还用于接入文件，对接入的文件进行校验以及容错处理后接入到调度云。

本发明所取得的有益技术效果：

本发明提供的数据交换装置，提供统一的“交换可配置、方式可控制、状态可监视”的数据接收/抽取、转换、发布服务，可根据业务需求开展传输任务配置。构建“统一架构，统一技术路线，面向多业务场景”一体化数据交换装置，实现数据交换的“可配置、可控制、可监视”目标。该数据交换装置的数据交互机制通用性和灵活性强，使用和维护都很方便。

本发明提供的数据交换***，形成调控中心内、外业务***数据交换枢纽，支撑调控云和等各业务***数据整合实施工作的开展；业务协同效率不会随着数据交互***的增加而降低。

附图说明

图1为实施例提供的数据交换装置的结构示意图；

图2为实施例中E格式报文示例；

图3为实施例中产品配置流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参考图1，图1为本发明中实施例提供的数据交换装置的结构示意图，该实施例提供的数据交换装置包括：数据接入模块、数据转换模块以及对外发布模块；

所述数据接入模块，用于从数据源端获取数据；

所述数据转换模块包括：子规则配置模块、规则配置模块以及模板配置模块；所述子规则配置模块用于配置单表或多表的关联子规则，基于所述关联子规则以及配置的数据源，生成数据库操作语句，以用于通过数据接入模块从数据源端获取数据，获取的数据用于组成E格式标签和数据；

所述规则配置模块，用于配置E格式文件的数据范围和数据格式的规则，所述规则引用多个子规则，根据一个规则的所有子规则获取的标签和数据组成该规则对应的E格式标签和数据；

所述模板配置模块，用于配置模板，所述模板引用多个规则，一个规则对应一个E格式标签和数据，将多标签数据组建为一个E格式文件或E格式数据流；

所述对外发布模块用于将E格式文件或E格式数据流发布到目标端。

具体实施例中，数据接入模块可通过源端数据抽取，或者文件数据传输方式获取数据。

可选地，设置服务部署节点，各服务部署节点可通过内部服务总线进行通信。可利用服务部署节点通过数据库或文件方式获取数据。

数据库接入的数据源支持页面配置，通过前台页面数据源管理-数据库数据源，只需填写相应的数据库信息即可。

数据库类数据源生成后，可通过规则、子规则配置，动态的从配置的数据源中，将需要进行处理的数据抽取出来组装成E格式文件，然后再由E格式文件入到目标端数据库。

如图1所示，本实施例提供的数据交换装置可完成源端到目标端多任务配置，支持文件类、数据库类、服务类等多类型数据的格式规范统一和组合传输，并对数据传输过程可监视可控制。

1）文件类

数据交换对源端的文件进行预适配处理，并将符合要求的数据转换为标准的E格式对外进行传输。

数据交换装置将对源端文件合规检查，以txt、csv、e、E为后缀的文件符合要求，再通过获取文件的幻数判断文件格式是否符合要求。合规检查通过后，数据交换装置将针对文件中的内容进行核查，遍历匹配标签内的域列和值列，以判断文件内容是否完整、数据是否异常。当文件预适配成功后，数据交换装置将通过处理转换模块转换成通用的E格式文件。

2）数据库类

当源端数据源为数据库时，数据交换装置需要对数据进行筛选。根据过滤脚本，在数据库中选取符合条件的表记录。数据筛选后，通过处理转换模块组装成通用的E格式文件。

3）服务类

当源端数据源为服务时，数据交换装置将调用指定的服务获取数据，返回的结果数据，通过处理转换模块转换成通用的E格式文件。

从数据源端获取数据，具体包括：

对于文件类数据，逐行解析文件内容，抽取标签作为实体类名，抽取域列作为关键字数组，抽取值列作为结果集；

对于数据库类数据，解析数据库数据，库表信息作为实体类名，域信息作为关键字数组，记录作为结果集；

对于服务类数据，解析服务返回结果，服务名作为实体类名，按服务报文抽取关键字数组和结果集。

转换程序将实体类名填入E文件的头信息，将关键字数组转成标签列，结果集转成数据列，所述标签列和数据列用于组装成通用的E格式文件发送到目标端。E格式文件报文示例如图2所示。

数据转换具备源端数据格式转换功能，将源端数据转换为标准E格式文件或E格式数据流。支持行列组合、数据合并，组建E格式标签数据功能；支持多标签组合E格式文件功能；支持预览数据格式组建功能；数据接入从源端数据库获取数据后，根据规则配置信息，将获取数据进行E格式行列组合、数据合并等操作，组建E格式标签数据，将多标签数据组建为一个E格式文件或E格式数据流。用于后续的数据发布、数据预览。具体地，包括：

1. 子规则配置模块

子规则为最小规则单位，用于配置单表或多表的关联规则，子规则对应E格式标签的部分数据。可通过子规则页面，选择已经配置好的数据源（数据库），通过此页面可进行勾选或者手动拼写sql语句，将要提取的数据，从数据库中提取出来。

可设置子规则勾选页面，子规则配置时，勾选已经配置好的数据源（数据库）后，可动态勾选数据。当选择子规则勾选时，选择相应的数据源，数据库模式，会显示模式下的所有表，选择表，会动态将表中的字段加载到页面并进行展示，供用户选择，选择好后，点击保存，生成动态SQL语句。

子规则支持单表或者多表关联，当遇到复杂业务时，可通过多表关联完成数据抽取。多表关联时，可通过表选择、表和表关联条件页面，确定所需的表和关联关系。

2.规则配置模块

可设置规则配置管理页面，用于配置指明数据范围、数据格式等，发布规则需要满足模型数据和运行数据的发布需求，为数据发布提供发布规则基础。

支持规则新建、规则修改、规则删除、规则浏览、规则关联关系查询等。

支持数据范围配置、数据格式定义等，用于指明数据发布的范围及发布格式。

支持规则的多级配置组合功能，方便数据格式的灵活定义，如：（三层级关系）模版引用多规则，规则引用多子规则，一个模版作为一个完整的数据范围规则（产品）。

支持引用多个子规则，一个规则的所有子规则数据组成规则对应的E格式标签数据。可通过规则页面，动态添加标签名称。

规则生成后，装置还可继续调用js脚本，对规则中的数据进行二次加工功能。装置提供js编辑和调试器，将规则生成的数据，自动作为js脚本的入参展示，方便js编辑和调试。

3.模板配置模块

可设置模板配置操作图，模板可引用多个规则，一个规则对应一个E格式标签，从而实现一个E格式文件包含多个标签的功能。在模板引用规则过程中，可对引用的规则进行排序处理，实现在组装E格式过程中，对应标签所在位置顺序的调整。

在本实施例中，对外发布模块用于对外发布数据，支持多种发布方式，如服务调用、文件推送、数据下载。

服务调用：数据交换装置满足对外发布服务，客户端可连接服务进行数据请求场景。

文件推送：数据交换装置支持定时主动的将数据文件推送至目标端***功能。

数据下载：数据交换装置提供数据下载类任务配置，该类任务仅进行web页面端手动下载。下载时根据任务的配置信息、规则配置信息，连接源端数据库，抽取数据，组建数据文件，下载至web浏览器端。并对数据发送的量进行统计，同时对数据发送行为进行记录。

本实施例提供的数据交换装置，从源端数据库、文件目录、源端服务获取数据然后通过文件、服务接入、发布服务（等待目标端调用）方式，发布至目标端***。本实施例提供了统一的“交换可配置、方式可控制、状态可监视”的数据接收/抽取、转换、发布服务，可根据业务需求开展传输任务配置。构建“统一架构，统一技术路线，面向多业务场景”一体化数据交换装置，实现数据交换的“可配置、可控制、可监视”目标。

实施例2

在以上实施例提供的数据交换装置的基础上，本实施例提供的数据交换装置还包括：任务管理模块，用于根据输入信息生成数据下载任务，所述输入信息包括数据范围选择、数据源端选择、目标端信息配置、数据发布周期配置以及数据的发布方式配置。

任务作为数据交换装置对外发布的粒度。任务管理模块支持任务新建、任务修改、任务删除、任务浏览，用于任务的增删改，生成可对外发布的任务。

支持数据范围选择、数据源端选择、目标端信息配置、数据发布周期配置、数据的发布方式配置，支持灵活配置，满足大部分数据发布需求。

支持任务数据下载、任务数据补传、任务的启停管理，便于用户对任务的控制及任务数据的获取和补传。

实施例3

在以上实施例提供的数据交换装置的基础上，本实施例提供的数据交换装置还包括：产品管理模块（即图1中模板管理），用于生成产品以及对产品进行分类管理。

装置产品对外提供订阅功能，产品绑定数据源的模板，模板包含规则，规则包含子规则。产品配置好后，用户订阅产品时，只需要选择目标端信息和设置定时周期，即可实现产品的周期推送。

数据交换装置产品管理可分为数据库类产品、文件类产品和服务类产品管理。

产品配置流程示意图如图3所示。

原有新增数据传输需求时，需要点对点的单独开发相应的接口，确认接口，然后进行相应的需求开发，完成数据的传输，耗时较长。

本发明提供的交换装置则提供积木式的，灵活配置传输方式，通过交换装置各个模块的配置，简洁高效的完成传输需求。

其中数据交换装置提供常用的全模型，全运行的规则文件，并根据主题对规则进行分类。当新增数据传输需求时，只需要在交换装置模板管理页面中选择相应的规则即可，在勾选规则时，可通过名称筛选，主题筛选的方式选择出符合的规则，通过预览的方式确认选中的规则返回的数据是否符合要求。选中规则后，通过调整模板中规则的序列，确认在E文件标签前后的位置。

当已有的规则不满足现有的传输需求时，可通过预处理模块，进行规则、子规则的增加。其中提供表解析模块、域解析以及条件解析模块，完成新增规则的配置。通过输入的表的英文名或者中文名，进行模糊匹配，显示与之相关的表，并提供通用匹配符@yyyy（年）@MM（月）@dd（日） 。表选中后，会自动显示表中所有的域，并根据域信息进行翻译展示并供使用者进行勾选，选中后，交换装置提供过滤页面，并以枚举的方式查询条件，包含增量获取方式、获取当前N天数据、或者指定域指定值等一些列的增量条件，当用户填写后，提供预览按钮，确认配置的规则查询的数据是否为想要的数据。点击确认后，新的规则立即生效，可供后续模板进行选择。当模板中的规则选择好后，通过与数据源的绑定，形成产品，供用户订购，用户订购后，通过填写定时周期、目标端信息、目标端目录、目标端名称等，完成数据库数据到目标端的定时推送功能。

本实施例中，数据交换装置针对不同类型的任务，提供不同的建议发送周期，如模型数据，按天为周期，运行数据以分钟为周期，量测数据分钟/小时为周期等，并且在数据发送后，会对配置周期进行检索，当两个周期内数据相同或者无文件后，会针对周期进行自动调整适配。

为了避免在数据配置环节，选择了错误的模板或者输入了错误源端、目标端信息等造成数据导出失败，无法发送到目标端，数据交换装置增加传输实时反馈校验机制。通过后台模拟任务发送流程，筛选出每类数据的前10条数据，并通过文件下载的方式，模拟将源端文件发送到目标端，并对整个环境进行跟踪反馈，当某个环节出现问题后，会实时反馈，并提供错误信息。用户可根据反馈的错误信息，进行任务的修改调整。

实施例4

在以上实施例提供的数据交换装置的基础上，本实施例提供的数据交换装置还包括：数据源管理模块。数据源分为数据库类、文件类和服务类。新建数据源时，只需要配置相应的数据信息即可。数据源配置后，后续产品配置，子规则勾选时，只需要选择已经配好的数据源即可。支持数据库类数据源的新建、修改和删除操作。支持文件类数据源的新建、修改和删除操作。支持服务类数据源的新建、修改和删除操作。

实施例5

在以上实施例提供的数据交换装置的基础上，本实施例提供的数据交换装置还包括：主题管理模块，用于将规则模版分类，按类别划分，如模型类、量测类、工程项目类，通过类别可过滤出同类产品、规则模版、规则、子规则等。

实施例6

可选地，基于以上实施例，具体实施例提供的数据交换装置还

包括交换过程可视可控技术，包括：

原有数据传输时，因数据缺失造成源端和目标端无法确认文件是否产生或者接收到时，造成定位不准，排查困难等问题，现交换装置利用vue、g6可视化引擎和ECharts技术，对数据传输进行采集、统计和监视，使复杂的传输过程简单明了的在前台页面展示。通过页面展示能让用户一眼了解数据传输中源端***到目标端***的传输情况。既能整体的了解***之间传输流量总况，又能在出现异常时，精准定为问题所在的任务，使复杂的传输过程操作简单可视化。

具体包括：

1）源端监视

数据交换装置会对源端文件周期性检查，当任务执行时，若发现源端文件在连续两个周期内均未生成文件，则会进行异常告警及页面展示。

当源端文件生成后，除了对源端文件格式、后缀校验外，还会对文件的完整性进行校验，以防止将正在写入的文件给传输到目标端。连续3秒内，若文件的大小无变化，且后缀为正式文件后缀，则认为源端文件已经生成完成，若为E文件时，还会对文件的最有一列进行判断，确认是否已“</”结尾。

当文件内容确认后，还会对文件的大小进行判断，其中在文件类数据传输时，提供两种文件监控机制，一种为规定的文件最大值和最小值，当传输的文件超过最大值或小于最小值时，会进行告警，另外一种为浮动告警，数据交换装置会获取七天内的所有传输数据的大小，并求平均值作为基准值，提供设置阀值上限页面，当文件的大小超出基准值的阀值上限后，会进行告警，并在页面进行显示。

2）目标端监视

当文件发送到目标端后，数据交换装置会记录发送的文件名称，文件大小等信息，并且目标端会发送给数据交换装置一个回执文件，数据交换将回执文件和数据交换装置记录的数据进行比对，若出现差异，则认为文件传输存在异常，并在页面进行展示。

3）传输过程监视控制

在数据交换装置将源端数据转换并发送到目标端数据过程中，数据交换装置会记录数据的开始时间以及结束时间、流量大小等。当数据的结束时间减去开始时间大于数据交换装置任务设置的定时周期时，则认为任务周期设置不合理，并在页面显示建议周期，并且管理员可通过页面控制每次传输的流量的最大值，当传输的数据大于最大限制时，数据交换装置会对文件自动拆分处理。

当管理员对数据交换装置的维护页面进行操作时，每类操作数据交换装置均会将操作信息进行记录，包含操作用户，操作命令，操作时间等，当进行删除或者修改操作时，会先记录原有的操作配置，然后再进行删除或者修改操作，使每次操作有迹可循。

管理员除了控制传输流量的大小外，还可以通过任务管理页面，控制任务的启动以及停止，并且可通过操作历史记录，查看所有人的历史操作信息，并提供恢复历史配置功能，以防止别人误操作，删除或修改了正在运行的数据而无法恢复的问题。

实施例7

本实施例提供了数据交换***，包括：基于以上实施例的任意一种可能的实施方式提供的数据交换装置，数据源端、调度云和全业务数据中心；

所述数据源端与所述装置的数据接入模块连接，所述装置的对外发布模块分别于所述调度云和所述全业务数据中心连接，用于将输出数据根据需求发布到调度云或者全业务数据中心。

所述数据接入模块，还用于接入文件，对接入的文件进行校验以及容错处理后接入到调度云。

若数据交换装置文件接入，分为普通E格式文件接入，普通CSV格式文件接入，带有业务逻辑处理的文件接入，如杆塔数据接入、营销数据接入等。如，杆塔数据接入，从源端获取增量E格式杆塔数据，通过页面配置和相应的服务，将杆塔数据接入到调控云。

本发明提供的数据交换***，形成调控中心内、外业务***数据交换枢纽，支撑调控云和等各业务***数据整合实施工作的开展，业务协同效率不会随着数据交互***的增加而降低。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的方框图来描述的。应理解可由计算机程序指令实现方框图中的每一方框。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种数据交换装置，其特征在于，包括数据接入模块、数据转换模块以及对外发布模块；

所述数据接入模块，用于从数据源端获取数据；

所述数据转换模块包括：子规则配置模块、规则配置模块以及模板配置模块；所述子规则配置模块用于配置单表或多表的关联子规则，所述子规则对应E格式标签的部分数据，基于所述关联子规则以及配置的数据源，生成数据库操作语句，以用于通过数据接入模块从数据源端获取数据，获取的数据用于组成E格式标签和数据；

所述规则配置模块，用于配置E格式文件的数据范围和数据格式的规则，所述规则引用多个子规则，根据一个规则的所有子规则获取的标签和数据组成该规则对应的E格式标签和数据；

所述模板配置模块，用于配置模板，所述模板引用多个规则，一个规则对应一个E格式标签和数据，将多标签数据组建为一个E格式文件或E格式数据流；

所述对外发布模块用于将E格式文件或E格式数据流发布到目标端。

2.根据权利要求1所述的一种数据交换装置，其特征在于，所述对外发布模块用于实现多种发布方式，所述发布方式包括服务调用、文件推送以及数据下载，所述服务调用指响应于与所述数据交换装置连接的客户端发送的服务请求，发送输出文件；所述文件推送指定时主动的将输出文件推送至目标端；所述数据下载指支持web页面端手动下载输出文件。

3.根据权利要求1所述的一种数据交换装置，其特征在于，所述装置还包括数据源管理模块，所述数据源管理模块用于对源端的数据源进行管理，包括数据源的新建、修改和删除。

4.根据权利要求1所述的一种数据交换装置，其特征在于，所述装置还包括产品管理模块，所述产品管理模块用于生成产品以及对产品进行分类管理，所述产品为绑定模板。

5.根据权利要求4所述的一种数据交换装置，其特征在于，所述产品可分为数据库类产品、文件类产品和服务类产品管理。

6.根据权利要求1所述的一种数据交换装置，其特征在于，所述装置还包括用户权限配置模块，用于管理用户以及分配用户角色和权限。

7.根据权利要求1所述的一种数据交换装置，其特征在于，所述装置还包括任务管理模块，用于根据输入信息生成数据下载任务，所述输入信息包括数据范围选择、数据源端选择、目标端信息配置、数据发布周期配置以及数据的发布方式配置。

8.根据权利要求1所述的一种数据交换装置，其特征在于，所述装置还包括主题管理模块，所述主题管理模块用于根据产品、规则以及子规则进行主题划分，根据划分的主题确定各主题对应的产品。

9.一种数据交换***，其特征在于，包括权利要求1~8任意一项权利要求所述的一种数据交换装置、数据源端、调度云和全业务数据中心；所述数据源端与所述装置的数据接入模块连接，所述装置的对外发布模块分别于所述调度云和所述全业务数据中心连接，用于将输出数据根据需求发布到调度云或者全业务数据中心。

10.根据权利要求9所述的一种数据交换***，其特征在于，所述数据接入模块，还用于接入文件，对接入的文件进行校验以及容错处理后接入到调度云。