CN111538772A - 数据的交换处理方法、装置、电子设备及存储介质 - Google Patents

数据的交换处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111538772A
CN111538772A CN202010291489.8A CN202010291489A CN111538772A CN 111538772 A CN111538772 A CN 111538772A CN 202010291489 A CN202010291489 A CN 202010291489A CN 111538772 A CN111538772 A CN 111538772A
Authority
CN
China
Prior art keywords
data
node
source
data exchange
plug
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010291489.8A
Other languages
English (en)
Other versions
CN111538772B (zh
Inventor
易存道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baolande Software Co ltd
Original Assignee
Beijing Baolande Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baolande Software Co ltd filed Critical Beijing Baolande Software Co ltd
Priority to CN202010291489.8A priority Critical patent/CN111538772B/zh
Publication of CN111538772A publication Critical patent/CN111538772A/zh
Application granted granted Critical
Publication of CN111538772B publication Critical patent/CN111538772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据的交换处理方法、装置、电子设备及存储介质，方法包括：根据接收的数据交换请求获取源节点和目的节点，并根据源节点和目的节点确定数据交换链路；通过数据交换插件获取源节点中的源数据，对源数据进行整合处理后，得到处理后数据；根据数据交换链路确定中转节点，并将处理后数据发送至中转节点，以使中转节点将所述处理后数据直接或间接转发至目的节点。通过数据交换插件对所述源数据进行整合处理后发送至中转节点，通过插件的方式对不同的源数据进行数据转换，能够支持多种类型数据相互自由交换的场景，也能够支持异构网络、跨网络环境中的数据交换，同时在面对海量数据时，能够大大提高数据的实行性和抗压性。

Description

数据的交换处理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种数据的交换处理方法、装置、电子设备及存储介质。
背景技术
随着计算机技术和网络技术的普及，数据交换的需求越来越多。数据交换是指将数据从源节点交换至目的节点。源节点是指数据来源所在的节点，数据来源可以是数据库(关系型：mysql、oralce、sqlserver、神州通用、人大金仓等；非关系型：Hbase、mongodb等)、文件(csv文件、txt文件等)以及可以按照某种方式存储的实体。
现有技术中的数据交换方法不够全面，比较单一，不能同时满足不同类型数据间的自由交换；同时，针对异构网络、跨网络环境的场景，没有很好的解决方案。而在实际的生产环境中，往往是需要面对海量数据，对数据的实行性要求较高，抗压性要强。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种数据的交换处理方法、装置、电子设备及存储介质。
第一方面，本发明实施例提出一种数据的交换处理方法，包括：
若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路；
通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据；
根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点；
其中，所述源节点为源数据所在的节点，所述目的节点为目的数据所在的节点。
可选地，所述若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路，具体包括：
若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据最短路径算法确定所述源节点和所述目的节点之间最短的数据交换链路。
可选地，所述通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据，具体包括：
通过数据交换插件获取所述源节点中的所述源数据，对所述源数据分别进行抽取、转换和加载处理处理后，得到整合后的处理后数据。
可选地，所述数据交换插件包括读取子插件、传输子插件和写入子插件。
可选地，所述数据的交换处理方法还包括：
根据源数据的类型，确定对应的数据交换插件。
可选地，所述通过数据交换插件获取所述源节点中的所述源数据，具体包括：
通过所述读取子插件获取所述源节点中的所述源数据；
所述根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点，具体包括：
根据所述数据交换链路确定中转节点，并通过所述传输子插件将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并通过所述写入子插件将所述处理后数据写入所述目的节点。
可选地，所述数据的交换处理方法还包括：
获取监控数据，若判断所述监控数据中存在异常数据，则根据预设的异常数据处理规则对所述异常数据进行异常处理。
第二方面，本发明实施例还提出一种数据的交换处理装置，包括：
链路确定模块，用于若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路；
数据整合模块，用于通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据；
数据转发模块，用于根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点；
其中，所述源节点为源数据所在的节点，所述目的节点为目的数据所在的节点。
可选地，所述链路确定模块具体用于若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据最短路径算法确定所述源节点和所述目的节点之间最短的数据交换链路。
可选地，所述数据整合模块具体用于通过数据交换插件获取所述源节点中的所述源数据，对所述源数据分别进行抽取、转换和加载处理处理后，得到整合后的处理后数据。
可选地，所述数据交换插件包括读取子插件、传输子插件和写入子插件。
可选地，所述数据的交换处理装置还包括：
插件确定模块，用于根据源数据的类型，确定对应的数据交换插件。
可选地，所述数据整合模块具体用于通过所述读取子插件获取所述源节点中的所述源数据；
所述数据转发模块具体用于根据所述数据交换链路确定中转节点，并通过所述传输子插件将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并通过所述写入子插件将所述处理后数据写入所述目的节点。
可选地，所述数据的交换处理装置还包括：
异常处理模块，用于获取监控数据，若判断所述监控数据中存在异常数据，则根据预设的异常数据处理规则对所述异常数据进行异常处理。
第三方面，本发明实施例还提出一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
由上述技术方案可知，本发明实施例通过数据交换插件对所述源数据进行整合处理后，发送至中转节点，最终达到目的节点，通过插件的方式对不同的源数据进行数据转换，能够支持多种类型数据相互自由交换的场景，也能够支持异构网络、跨网络环境中的数据交换，同时在面对海量数据时，能够大大提高数据的实行性和抗压性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种数据的交换处理方法的流程示意图；
图2为本发明一实施例提供的通过数据交换插件进行数据交换的交互示意图；
图3为本发明一实施例提供的一种数据的交换处理装置的结构示意图；
图4为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种数据的交换处理方法的流程示意图，包括：
S101、若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路。
其中，所述数据交换请求为当前的源节点接收到的需要进行数据交换的请求。
所述源节点为源数据所在的节点。
所述目的节点为目的数据所在的节点。
所述数据交换链路为进行数据交换所经过的数据节点组成的链路。
S102、通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据。
其中，所述数据交换插件为在每个数据节点增设的用于实现数据交换的插件，支持热插拔。
所述处理后数据为对源数据进行整合处理后得到的数据。
S103、根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点。
其中，所述中转节点为所述数据交换链路中除源节点和目的节点之外的其它的中间节点。
具体地，若数据交换链路中有一个中转节点，则所述中转节点将所述处理后数据直接转发至目的节点；若数据交换链路中有多个中转节点，则当前中转节点将所述处理后数据转发至下一个中转节点，各中转节点不断进行转发，直到将处理后数据发送至目的节点。
本实施例通过数据交换插件对所述源数据进行整合处理后，发送至中转节点，最终达到目的节点，通过插件的方式对不同的源数据进行数据转换，能够支持多种类型数据相互自由交换的场景，也能够支持异构网络、跨网络环境中的数据交换，同时在面对海量数据时，能够大大提高数据的实行性和抗压性。
进一步地，在上述方法实施例的基础上，S101具体包括：
若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据最短路径算法确定所述源节点和所述目的节点之间最短的数据交换链路。
其中，所述最短路径算法为计算源节点和目的节点之间中转节点最少的算法。
本实施例通过最短路径算法确定源节点和目的节点之间最短的数据交换链路，从而提高数据交换的速度。
进一步地，在上述方法实施例的基础上，S102具体包括：
通过数据交换插件获取所述源节点中的所述源数据，对所述源数据分别进行抽取、转换和加载处理处理后，得到整合后的处理后数据。
具体地，在通过数据交换插件获取所述源节点中的所述源数据后，可对数据进行ETL(Extract-Transform-Load，抽取-转换-加载)处理。
本实施例通过将数据经过抽取、清洗转换之后加载到数据仓库，能够将分散、零乱、标准不统一的数据整合到一起，为后续的决策提供分析依据。
进一步地，在上述方法实施例的基础上，所述数据的交换处理方法还包括：
根据源数据的类型，确定对应的数据交换插件。
其中，所述源数据的类型包括各种不同的数据类型，例如字符型数据、文字型数据或其它自定义类型的数据。
具体地，由于现有技术中的数据交换比较单一，不能满足多种类型数据相互自由交换的场景，本实施例通过插件的方式对不同源数据进行数据转换，为每一种类型的源数据确定对应的数据交换插件，通过该数据交换插件，实现源节点与目的节点之间实时的数据交换。
进一步地，在上述方法实施例的基础上，所述数据的交换处理方法还包括：
获取监控数据，若判断所述监控数据中存在异常数据，则根据预设的异常数据处理规则对所述异常数据进行异常处理。
其中，所述监控数据为本实施例在执行过程中监控到的所有数据。
所述异常数据为存在异常情况的监控数据，例如数据转换失败。
所述异常数据处理规则为预先根据需求设定的对异常数据进行处理的规则，例如上报至目标节点，以供目标节点进行分析和统计。
具体地，本实施例提供的数据的交换处理方法可以包括以下具体步骤：
A1、用户设置源节点和目的节点，并对数据的相关处理操作以及流程任务信息等进行统一设置；
A2、当数据交换请求下发后，***根据最短路径算法智能寻找最短最佳的数据交换链路。首先Mysqlreader插件会从数据源中读取数据，并按照用户的设置，对数据进行ETL处理；
A3、数据会按照数据交换链路的顺序进行转发，最终到达目的节点；
A4、***会上报监控数据，记录异常数据，并按照用户设置进行异常数据处理。
本实施例支持多种类型数据相互自由交换的场景，支持异构网络、跨网络环境中的数据交换，当出现异常数据时，能够及时捕捉，并进行相应的异常数据处理。
进一步地，在上述方法实施例的基础上，S102中所述通过数据交换插件获取所述源节点中的所述源数据，具体包括：
通过所述读取子插件获取所述源节点中的所述源数据；
S103具体包括：
根据所述数据交换链路确定中转节点，并通过所述传输子插件将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并通过所述写入子插件将所述处理后数据写入所述目的节点。
其中，所述数据交换插件包括读取子插件、传输子插件和写入子插件。
具体地，本实施例提供的数据交换插件由读取子插件reader、传输子插件channel和写入子插件writer三个部分组成，针对不同的数据类型有其对应的reader和writer。基于生产者消费者模式进行构建，其中reader负责丛源数据中读取数据，channel为中间层，负责数据的落地，writer负责将数据写入目的数据源中。
由于现有的数据交换方法面对海量数据，没有很好的抗压性，及存在时效性低、数据源扩展性低、不支持插拔部署、不支持智能处理、容易造成数据丢失等问题，本实施例提供的通过数据交换插件进行数据交换的交互示意图如图2所示，数据从源节点(src node)经过中转节点(replay node)，最终被交换至目的节点(dst node)。如图2是一个跨网络交换场景，即跨级节点间网络不通，仅上下级节点互相联通。
其中，Src node为源节点，即待交换的数据节点；Replay node为中转节点，负责桥接网络不同的节点，担任数据中转的角色；Dst node为目的节点，即目的数据的最终到达节点。
Reader：针对不同的数据源设置不同的插件，如mysql reader，oracle reader，hbase reader等。负责从和源数据源交互，获取数据。
Channel：负责数据持久化以及推送，由channel reader、channel writer和datachannel组成。其中channel reader，负责从channel data中读取数据；channel data负责保存数据，对数据持久化；channel writer负责将数据写入channel data中。
Writer：针对不同的数据源设置不同的插件，如mysql writer，oracle writer，hbase writer等。负责从和目的数据源交互，交换数据至目的数据源中。
针对不同的数据源会定制不同的插件，以mysql->hbase为例，当启动交换流程任务时，源节点中mysql reader插件会从mysql数据库中读取源数据，对数据进行ETL处理，channel writer将数据写入channel中，接下来channel reader会从channel中读取数据，通过writer发送至中转节点channel中。中转节点上，channel reader读取channel数据，writer将数据写入目的节点channel中。目的节点上，channel reader将数据从channel中取出，此时，hbase writer将数据写入hbase中，至此，整个数据交换流程结束。
本实施例通过数据交换插件对所述源数据进行整合处理后，发送至中转节点，最终达到目的节点，通过插件的方式对不同的源数据进行数据转换，能够支持多种类型数据相互自由交换的场景，也能够支持异构网络、跨网络环境中的数据交换，同时在面对海量数据时，能够大大提高数据的实行性和抗压性。
图3示出了本实施例提供的一种数据的交换处理装置的结构示意图，所述装置包括：链路确定模块301、数据整合模块302和数据转发模块303，其中：
所述链路确定模块301用于若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路；
所述数据整合模块302用于通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据；
所述数据转发模块303用于根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点；
其中，所述源节点为源数据所在的节点，所述目的节点为目的数据所在的节点。
具体地，所述链路确定模块301若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路；所述数据整合模块302通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据；所述数据转发模块303根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点。
本实施例通过数据交换插件对所述源数据进行整合处理后，发送至中转节点，最终达到目的节点，通过插件的方式对不同的源数据进行数据转换，能够支持多种类型数据相互自由交换的场景，也能够支持异构网络、跨网络环境中的数据交换，同时在面对海量数据时，能够大大提高数据的实行性和抗压性。
进一步地，在上述装置实施例的基础上，所述链路确定模块301具体用于若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据最短路径算法确定所述源节点和所述目的节点之间最短的数据交换链路。
进一步地，在上述装置实施例的基础上，所述数据整合模块302具体用于通过数据交换插件获取所述源节点中的所述源数据，对所述源数据分别进行抽取、转换和加载处理处理后，得到整合后的处理后数据。
进一步地，在上述装置实施例的基础上，所述数据交换插件包括读取子插件、传输子插件和写入子插件。
进一步地，在上述装置实施例的基础上，所述数据的交换处理装置还包括：
插件确定模块，用于根据源数据的类型，确定对应的数据交换插件。
进一步地，在上述装置实施例的基础上，所述数据整合模块302具体用于通过所述读取子插件获取所述源节点中的所述源数据；
所述数据转发模块具体用于根据所述数据交换链路确定中转节点，并通过所述传输子插件将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并通过所述写入子插件将所述处理后数据写入所述目的节点。
进一步地，在上述装置实施例的基础上，所述数据的交换处理装置还包括：
异常处理模块，用于获取监控数据，若判断所述监控数据中存在异常数据，则根据预设的异常数据处理规则对所述异常数据进行异常处理。
本实施例所述的数据的交换处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
参照图4，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；
其中，
所述处理器401和存储器402通过所述总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据的交换处理方法，其特征在于，包括：
若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路；
通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据；
根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点；
其中，所述源节点为源数据所在的节点，所述目的节点为目的数据所在的节点。
2.根据权利要求1所述的数据的交换处理方法，其特征在于，所述若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路，具体包括：
若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据最短路径算法确定所述源节点和所述目的节点之间最短的数据交换链路。
3.根据权利要求1所述的数据的交换处理方法，其特征在于，所述通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据，具体包括：
通过数据交换插件获取所述源节点中的所述源数据，对所述源数据分别进行抽取、转换和加载处理处理后，得到整合后的处理后数据。
4.根据权利要求3所述的数据的交换处理方法，其特征在于，所述数据交换插件包括读取子插件、传输子插件和写入子插件。
5.根据权利要求4所述的数据的交换处理方法，其特征在于，所述数据的交换处理方法还包括：
根据源数据的类型，确定对应的数据交换插件。
6.根据权利要求4或5所述的数据的交换处理方法，其特征在于，所述通过数据交换插件获取所述源节点中的所述源数据，具体包括：
通过所述读取子插件获取所述源节点中的所述源数据；
所述根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点，具体包括：
根据所述数据交换链路确定中转节点，并通过所述传输子插件将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并通过所述写入子插件将所述处理后数据写入所述目的节点。
7.根据权利要求1-5任一项所述的数据的交换处理方法，其特征在于，所述数据的交换处理方法还包括：
获取监控数据，若判断所述监控数据中存在异常数据，则根据预设的异常数据处理规则对所述异常数据进行异常处理。
8.一种数据的交换处理装置，其特征在于，包括：
链路确定模块，用于若接收到数据交换请求，则根据所述数据交换请求获取源节点和目的节点，并根据所述源节点和所述目的节点确定数据交换链路；
数据整合模块，用于通过数据交换插件获取所述源节点中的所述源数据，对所述源数据进行整合处理后，得到处理后数据；
数据转发模块，用于根据所述数据交换链路确定中转节点，并将所述处理后数据发送至所述中转节点，以使所述中转节点将所述处理后数据直接或间接转发至所述目的节点，并将所述处理后数据写入所述目的节点；
其中，所述源节点为源数据所在的节点，所述目的节点为目的数据所在的节点。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一所述的数据的交换处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一所述的数据的交换处理方法。
CN202010291489.8A 2020-04-14 2020-04-14 数据的交换处理方法、装置、电子设备及存储介质 Active CN111538772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010291489.8A CN111538772B (zh) 2020-04-14 2020-04-14 数据的交换处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010291489.8A CN111538772B (zh) 2020-04-14 2020-04-14 数据的交换处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111538772A true CN111538772A (zh) 2020-08-14
CN111538772B CN111538772B (zh) 2023-07-04

Family

ID=71978693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010291489.8A Active CN111538772B (zh) 2020-04-14 2020-04-14 数据的交换处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111538772B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112165529A (zh) * 2020-09-30 2021-01-01 南威软件股份有限公司 一种低成本跨网络数据交换的方法、装置、设备和介质
CN112862245A (zh) * 2020-12-30 2021-05-28 北京知因智慧科技有限公司 数据交换方法、装置以及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170440A (zh) * 2011-03-24 2011-08-31 北京大学 适用于存储云间数据安全迁移的方法
CN102693297A (zh) * 2012-05-16 2012-09-26 华为技术有限公司 数据处理方法、节点和提取、转换和加载etl***
CN103023729A (zh) * 2011-09-22 2013-04-03 中兴通讯股份有限公司 中继节点选择方法及装置
CN104111834A (zh) * 2014-07-07 2014-10-22 北京京东尚科信息技术有限公司 一种在异构数据库之间交换数据的方法和装置
CN104699723A (zh) * 2013-12-10 2015-06-10 北京神州泰岳软件股份有限公司 数据交换适配器、异构***之间数据同步***和方法
WO2015164521A1 (en) * 2014-04-23 2015-10-29 Intralinks, Inc. Systems and methods of secure data exchange
CN106250571A (zh) * 2016-10-11 2016-12-21 北京集奥聚合科技有限公司 一种etl数据处理的方法及***
CN106844399A (zh) * 2015-12-07 2017-06-13 中兴通讯股份有限公司 分布式数据库***及其自适应方法
CN108304473A (zh) * 2017-12-28 2018-07-20 石化盈科信息技术有限责任公司 数据源之间的数据传输方法和***
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、***以及电子设备
CN108572994A (zh) * 2017-03-14 2018-09-25 ***通信集团公司 一种数据迁移的处理方法及服务器
CN109327387A (zh) * 2018-11-29 2019-02-12 甘肃万维信息技术有限责任公司 基于动态路由的数据共享交换***和方法
CN110909079A (zh) * 2019-11-20 2020-03-24 南方电网数字电网研究院有限公司 数据交换同步方法、***、装置、服务器和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170440A (zh) * 2011-03-24 2011-08-31 北京大学 适用于存储云间数据安全迁移的方法
CN103023729A (zh) * 2011-09-22 2013-04-03 中兴通讯股份有限公司 中继节点选择方法及装置
CN102693297A (zh) * 2012-05-16 2012-09-26 华为技术有限公司 数据处理方法、节点和提取、转换和加载etl***
CN104699723A (zh) * 2013-12-10 2015-06-10 北京神州泰岳软件股份有限公司 数据交换适配器、异构***之间数据同步***和方法
WO2015164521A1 (en) * 2014-04-23 2015-10-29 Intralinks, Inc. Systems and methods of secure data exchange
CN104111834A (zh) * 2014-07-07 2014-10-22 北京京东尚科信息技术有限公司 一种在异构数据库之间交换数据的方法和装置
CN106844399A (zh) * 2015-12-07 2017-06-13 中兴通讯股份有限公司 分布式数据库***及其自适应方法
CN106250571A (zh) * 2016-10-11 2016-12-21 北京集奥聚合科技有限公司 一种etl数据处理的方法及***
CN108572994A (zh) * 2017-03-14 2018-09-25 ***通信集团公司 一种数据迁移的处理方法及服务器
CN108304473A (zh) * 2017-12-28 2018-07-20 石化盈科信息技术有限责任公司 数据源之间的数据传输方法和***
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、***以及电子设备
CN109327387A (zh) * 2018-11-29 2019-02-12 甘肃万维信息技术有限责任公司 基于动态路由的数据共享交换***和方法
CN110909079A (zh) * 2019-11-20 2020-03-24 南方电网数字电网研究院有限公司 数据交换同步方法、***、装置、服务器和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈晋伦,吕国英,周正: "一种适用于非对称链路的AdHoc网络路由协议", 电路与***学报 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112165529A (zh) * 2020-09-30 2021-01-01 南威软件股份有限公司 一种低成本跨网络数据交换的方法、装置、设备和介质
CN112862245A (zh) * 2020-12-30 2021-05-28 北京知因智慧科技有限公司 数据交换方法、装置以及电子设备
CN112862245B (zh) * 2020-12-30 2024-04-23 北京知因智慧科技有限公司 数据交换方法、装置以及电子设备

Also Published As

Publication number Publication date
CN111538772B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN107908494B (zh) 异常事件的处理方法、装置、电子设备及存储介质
CN113297166B (zh) 数据处理***、方法以及装置
CN109271363B (zh) 一种文件存储的方法及设备
CN107818120A (zh) 基于大数据的数据处理方法和装置
CN111538772A (zh) 数据的交换处理方法、装置、电子设备及存储介质
CN108322318B (zh) 告警分析方法及设备
CN112184436B (zh) 数据同步方法、电子设备及可读存储介质
CN114938376B (zh) 基于优先级处理数据的工业物联网及其控制方法
CN103503388B (zh) 一种分布式队列消息读取方法及设备、***
CN112087497A (zh) 数据同步方法、装置、电子设备及可读存储介质
US20200394904A1 (en) Metering data management system and computer readable recording medium
CN114676205A (zh) 事件信息的处理方法及装置
CN103841144A (zh) 云存储***、方法、用户端及云存储服务器
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN105007200B (zh) 网络数据包的分析方法及***
CN116662022B (zh) 分布式消息处理方法、***、装置、通信设备及存储介质
CN107844498A (zh) 一种数据库大批量导出数据的方法和***
CN114706829A (zh) 一种应用于元宇宙的大数据处理方法及***
CN112565821B (zh) 数据处理方法、装置、安全网关及存储设备
CN111291127B (zh) 一种数据同步方法、装置、服务器及存储介质
CN109143878B (zh) 多路采集通道的遥信消息和soe消息处理方法
CN113407491A (zh) 数据处理方法及装置
JP2016146588A (ja) メッセージログ除去装置、メッセージログ除去方法、及びメッセージログ除去プログラム
CN107643991B (zh) 数据处理芯片和***、数据存储转发处理方法
CN112488836B (zh) 交易发送方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant