CN114143039B - 一种全域多级统一安全的数据传输方法及服务器集群 - Google Patents
一种全域多级统一安全的数据传输方法及服务器集群 Download PDFInfo
- Publication number
- CN114143039B CN114143039B CN202111307940.1A CN202111307940A CN114143039B CN 114143039 B CN114143039 B CN 114143039B CN 202111307940 A CN202111307940 A CN 202111307940A CN 114143039 B CN114143039 B CN 114143039B
- Authority
- CN
- China
- Prior art keywords
- circulation
- data transmission
- data
- task
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000012546 transfer Methods 0.000 claims description 28
- 238000012795 verification Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 1
- 230000002457 bidirectional effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/101—Access control lists [ACL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
- H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种全域多级统一安全的数据传输方法及服务器集群,本发明是通过创建消息服务SDK,并通过森林拓扑结构的级联数据传输结构动态重组级联传输的集群节点并定制流转关系,创建流转任务,然后通过消息服务SDK对所创建的流转任务进行数据传输,且在数据传输过程中通过ACL权限控制和Token机制以保障多级多中心集群间数据传输的安全性,从而实现动态定制多级集群间可靠的双向数据流转,最终提高了多级集群间的数据流转效率。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种全域多级统一安全的数据传输方法及服务器集群。
背景技术
在多中心多级的复杂计算机集群环境下进行数据传输时,比如,如图1所示,集群0中部署了一个数据中心,该数据中心的下级计算机设备分别部署在不同的计算机集群,如计算机设备1部署在集群1上,计算机设备2部署在集群2上,如果此时数据中心与其下级设备间进行数据传输时,同步地,所在集群间就需要进行数据流转,即当数据中心需要发送数据给设备1时,集群0需要将该数据同步流转至集群1上,同理,当设备2需要发送数据给数据中心时,集群2需要将该数据同步流转至集群0上,多级多中心的集群间数据级联流转原理亦是如此。
消息中间件作为当前分布式***中提供高效可靠的数据传输服务的重要子***,现有的主流消息中间件技术包括Kafka、Pulsar、RocketMQ等,都有提供不同的消息跨集群同步功能的实现方案,其聚焦于为分布在不同地域的计算机集群间的全量数据同步提供一种技术方案,从而保证地域之间的数据一致性,如Pulsar的Geo Replication跨集群消息复制方案,Kafka的MirrorMaker跨集群消息复制方案等。但是现有的跨集群消息同步技术不能提供通过动态重组多级多中心的计算机集群进行数据传输的服务,所以现有无法实现动态定制多级集群间可靠的双向数据流转,从而降低了多级集群间的数据流转效率。
发明内容
本发明提供了一种全域多级统一安全的数据传输方法及服务器集群,以解决现有技术中不能高效地进行多级集群间可靠的双向数据流转的问题。
第一方面,本发明提供了一种全域多级统一安全的数据传输方法,所述方法包括:开发消息服务SDK,以提供消息客户端之间的消息收发能力;设计了基于森林拓扑的级联数据传输结构,根据所述级联传输结构动态重组级联传输的集群节点并定制流转关系,创建流转任务;基于所述消息服务SDK对所创建的流转任务进行数据传输;同时,通过ACL权限控制和Token机制以保障多级多中心集群间数据传输的安全性。
可选地,所述方法还包括:基于用户指示动态重组级联传输节点,并定制流转关系。
可选地,所述流转任务包括多个,根据各流转任务及其流转关系,通过启用多线程建立流转任务之间的对应关系,以实现一个服务支持多个流转任务的定制。
通过访问所述消息服务SDK,根据流转任务集群节点及其流转关系,使用多线程创建消息服务客户端,建立流转任务之间的对应关系,以实现流转任务的跨集群数据传输。
在进行数据传输之前,检测流转任务是否存在回环,包括单任务的回环检查和多任务的回环检查,其中,所述单任务的回环检查是检查其两个流转方向的数据是否重复,即如果该数据即在上报的流转方向中,又在下发的流转方向中,则该流转任务存在回环路径;所述多任务的回环检查是根据所有任务流转关系及流转数据。
通过采用邻接矩阵方式构造所有任务的有向图,基于深度优先遍历DFS检测所述有向图中是否存在回环路径。
所述Token机制采用MD5加密后客户端IP作为Token标识进行身份验证。
所述ACL权限控制包括权限解析和权限校验两个部分;
所述权限解析包括:服务端对客户端的请求进行解析,获取需鉴权的属性字段;
所述权限校验包括:检查是否命中全局IP全名单、检查是否命中用户IP全名单、校验AccessKey和SecretKey签名以及检验请求所需的权限和用户拥有的权限是否匹配。
第二方面,本发明提供了一种服务器集群,所述服务器集群为多个,且多个所述服务器集群之间采用上述中任一种所述的方法进行数据传输。
第三方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有信号映射的计算机程序,所述计算机程序被至少一个处理器执行时,以实现上述任一种所述的全域多级统一安全的数据传输方法的步骤。
本发明有益效果如下:
本发明是通过开发设计了消息服务SDK以提供数据收发能力,并设计了级联数据传输结构。通过根据所述级联数据传输结构动态重组级联传输的集群节点并定制数据流转关系,创建流转任务;然后通过消息服务SDK对所创建的流转任务进行数据传输;且通过ACL权限控制和Token机制以保障多级多中心集群间数据传输的安全性,从而实现动态定制多级集群间可靠的双向数据流转,最终提高了多级集群间的数据流转效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为现有多级多中心计算机集群间进行数据传输的示意图;
图2为本发明实施例的一种全域多级统一安全的数据传输方法的流程示意图;
图3为本发明实施例的消息服务SDK的内部接口示意图;
图4为本发明实施例的基于森林拓扑的级联传输结构设计示意图;
图5为本发明实施例的一种全域多级多中心的数据传输方法的流程示意图;
图6为本发明实施例的基于所述数据流转服务进行数据传输的示意图;
图7为本发明实施例的跨集群节点进行数据流转服务的示意图;
图8为本发明实施例的深度优先遍历有向图的实现原理示意图;
图9为本发明实施例的基于消息服务SDK的级联集群间数据传输的实现流程图;
图10为本发明实施例的基于Token机制进行客户端身份验证的流程示意图;
图11为本发明实施例中消息服务的通过ACL对客户端请求权限进行访问控制的逻辑示意图。
具体实施方式
本发明实施例针对现有技术中不能高效地进行多级集群间可靠的双向数据流转的问题,通过森林拓扑结构的级联数据传输结构动态重组级联传输的集群节点并定制流转关系,创建流转任务,然后通过消息服务SDK对所创建的流转任务进行数据传输,且在数据传输过程中通过ACL权限控制和Token机制以保障多级多中心集群间数据传输的安全性,从而实现动态定制多级集群间可靠的双向数据流转,最终提高了多级集群间的数据流转效率。以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。
本发明第一实施例提供了一种全域多级统一安全的数据传输方法,参见图2,该方法包括:
S201、创建消息服务SDK,以提供消息客户端之间的消息收发能力;
具体来说,本发明实施例是设计并开发了消息服务SDK,消息服务提供消息客户端之间的消息传送能力。其中,消息客户端表示使用消息服务进行消息传送的程序,无论是服务还是客户端程序。消息服务提供访问SDK,消息服务SDK的内部接口示意图如图3所示;
S202、设计了森林拓扑结构的级联数据传输结构,根据所述级联数据传输接口动态重组集群节点并定制数据流转关系,从而创建流转任务;基于所述消息服务SDK对所创建的流转任务进行数据传输,在数据传输过程中通过ACL权限控制和Token机制以保障多级多中心集群间数据传输的安全性。
也即,本发明实施例是根据多级多中心集群间传输数据的需求特征,设计了基于森林拓扑结构的级联数据传输架构,以提高数据传输的高效性和可靠性,并通过所述级联数据传输结构,动态重组级联传输的集群节点并定制流转关系,创建流转任务,基于所述消息服务SDK实现流转任务的数据传输,并且本发明实施例的数据传输是通过ACL权限控制和Token机制的实现,保障多级多中心集群间数据传输的安全性。
具体来说,本发明实施例是设计了基于森林拓扑的级联数据传输结构,如图4所示。相比于其他拓扑结构,如星型结构、环型结构,考虑到森林拓扑结构是一种分级多中心的集中控制式网络接口,其具有可靠性较高、数据传输延时低等优点。因此,针对多级多中心集群间数据传输的需求特征,为了保证该环境下数据传输的可靠性和高效性,本发明实施例设计了基于森林拓扑的级联传输结构;
并且,本发明实施例还根据所述级联传输结构,通过动态重组父域集群节点和子域集群节点,并定制数据流转关系,包括上报和下发两种流转方向,创建流转任务;另外,一个流转任务可以同时定制两种流转方向。其中,子域集群向父域集群流转数据即上报,父域集群向子域集群流转数据即下发;
通过所述创建流转任务,本发明提供的跨集群间数据流转服务同时支持多个流转任务的定制;
其中,根据所述创建流转任务,在本发明的实施例中,父域与子域集群节点间进行数据流转之前,对流转任务进行回环检查处理,包括:
a)单个任务的回环检查,单任务在进行数据流转之前,通过检查两个流转方向上的数据是否存在重复,如果存在重复则该任务存在回环路径;
b)多个任务的回环检查,多任务在进行数据流转之前,对数据内容采用邻接矩阵表示的有向图数据结构进行存储,采用基于深度优先搜索有向图环路算法进行多个流转任务的回环检查处理。
本发明的实施例中,基于所述消息服务SDK,根据所述流转任务的上报或下发关系,通过多线程创建消息服务客户端,调用SDK提供的消息收发接口实现多级集群间的数据流转。
具体实施时,为了保障多级多中心集群间数据流转的安全性,通过使用Token机制和ACL权限控制保证数据流转的安全可控;
其中,本发明实施例是使用MD5加密后的客户端IP地址作为Token进行客户端身份验证;当服务端开启ACL验证后,通过对客户端请求进行权限解析和权限校验,对其进行资源级别的访问控制。
下面将结合图5-图11对本发明实施例所述的方法进行详细的解释和说明:
a)消息中间件,是一类以消息为载体进行通信的中间件,利用高效可靠的消息机制来实现不同应用间大量的数据交换,是分布式应用***中重要的支撑性传输组件。在大型分布式***中,消息中间件通常采用消息队列的通信模型。当前主流的消息中间件包括RocketMQ、Kafaka、RabbitMQ等等。
b)森林结构,常见的拓扑结构主要包括星型结构、环型结构、森林结构等。其中,星型结构是以星型方式将各工作站连接成网,该网只有一个中心节点,其他节点都与中心节点直接相连,它虽然结构简单,便于管理,网络延迟较小,但缺点也很明显,高度依赖中心节点,一旦中心节点崩溃会导致整个数据传输结构随之崩溃,可靠性低;环型结构是由网络中若干节点通过点到点的链路首尾相连形成一个闭合的环,没有中心节点,数据传输时只需上游节点接收数据发给下游节点即可,但最大的缺陷是,依赖于所有节点的可靠性,当任意一个节点崩溃或者任意一条链路崩溃则整个结构崩溃;当环中节点过多时,数据从一个节点转发到另一个节点一般需要经过多次转发,势必会造成较高延时;
相比于星型结构和环型结构,森林结构则拥有较多优点。a)它是分级的集中控制式网络,可将较上层节点作为权威的数据校对节点,以保证数据的正确性;b)森林结构建立得当的话,从一个节点转发数据到其余节点的平均时间复杂度为O(logn),相对较优;c)即使上层节点崩溃,其子树也可以独立组网进行数据转发,不会造成整个结构的崩溃,相对可靠。因此选用森林结构更加适用于多级多中心的数据传输方案。
d)Token机制:Token,是服务端生成的一串字符串,以作为客户端进行请求的一个标识(令牌),当客户端进行请求时,服务端便生成一个Token,通过该Token验证客户端身份;使用Token验证身份的常用方式有两种:第一种是,使用设备号/设备mac地址作为Token标识;第二种是,使用session值作为Token标识。
c)ACL:访问控制列表(Access Control Lists,ACL),是一种基于包过滤的访问控制技术,可以根据设定的条件对接口上的数据包进行过滤,允许其通过或丢弃。ACL会涉及到用户、资源、权、角色等概念,借助于ACL,可以有效地控制用户对网络里的访问,从而最大程度地保障网络安全。
e)有向图:图是一种特殊的数据结构,每个数据元素之间可以任意关联,典型的图结构由顶点(数据元素)和边(连接顶点的线)构成。有向图则是一种每条边都有方向性的图。
图5是该多级多中心安全的统一数据传输方法的流程示意图。如图5所示,本发明的多级多中心安全的统一数据传输方法包括以下步骤:
在步骤501中,通过动态重组级联传输的父域集群节点和子域集群节点,并定制数据流转关系(包括上报和下发),创建流转任务;
其中,根据本发明的一些实施例,如图6所示,一个流转任务可以定制双向流转关系;另外,该数据流转服务支持同时定制多个流转任务,根据各流转任务及其流转关系,通过启用多线程建立流转任务之间的对应关系,实现一个服务支持多个流转任务的定制;
此后进入步骤502中,根据所述创建流转任务,基于前述消息服务SDK,按照任务流转关系创建多线程消息服务客户端,实现流转任务的跨集群数据传输。该步骤502包括以下子步骤:
根据所述创建流转任务,对其进行是否存在回环路径检查,包括单个任务的回环检查和多个任务的回环检查;
其中,单个流转任务的回环检查是检查其两个流转方向的数据是否重复,即如果该数据即在上报的流转方向中,又在下发的流转方向中,则该流转任务存在回环路径;
多个流转任务的回环检查,根据所有任务流转关系及流转数据,为了提高检索效率,采用通过邻接矩阵方式构造所有任务的有向图,基于深度优先遍历(DFS)检测所述有向图中是否存在回环路径,如图7-图8所示;
其中,邻接矩阵中,行代表父域集群(源地址),列代表子域集群(目的地址);DFS有以下步骤:
a)假设初始状态所有顶点都未被访问,从每一个顶点v出发,先访问该顶点;
b)依次从v的各个未被访问的邻接点出发,对图进行深度优先遍历,直至图中所有和v有路径相通的顶点都被访问到;
c)若此时图中尚有其他顶点未被访问到,则选一个未被访问的顶点作为起始点出发,重新进行深度优先遍历;
d)重复上述过程,直到图中所有顶点均被访问过为止。
根据所述流转任务及其流转关系,基于消息服务SDK,通过多线程创建消息服务客户端,建立流转任务之间的对应关系,实现流转任务的跨集群数据传输,如图9所示;
其中,所述消息服务是一种高效、可靠、安全、便捷、可扩展的分布式消息服务,提供消息客户端之间的消息传送能力,目前支持Java语言和C++语言的访问SDK,以Java版本的消息服务SDK为例,“ac.nci.xt4b.messageClient.Client”类为消息客户端的接口定义,主要的接口定义及功能描述如下所示:
“ac.nci.xt4b.messageClient.impl.ClusterMqClient”类为消息客户端的接口实现。
另外,根据本发明的实施例,为了使多级多中心的统一数据传输技术方案具有安全可控性,通过Token机制和ACL权限控制来保障数据传输的安全性,如图10-图11所示。
其中,如图10所示,消息客户端发送连接服务请求时,使用MD5加密后的IP地址作为参数传递给服务端,服务端根据消息客户端的连接信息获取客户端IP地址并进行MD5加密作为Token,当消息客户端请求连接服务时,将客户端传递的Token和服务端获取的Token进行对比,相同则连接服务端验证通过,客户端连接服务成功,不同则拒绝连接服务。
ACL权限控制主要为消息服务提供资源级别的用户访问控制。消息服务在客户端通过RPCHook注入了AccessKey和SecretKey签名,当服务端开启ACL验证,连接服务成功后的消息客户端向服务端请求发送/订阅消息时,服务端对客户端请求中的AccessKey所拥有的权限进行校验,若校验不通过,则抛出异常。另外,ACL主要流程主要包括权限解析和权限校验两个部分,具体逻辑如图11所示。具体流程主要包括:服务端对客户端的请求进行解析,获取需要鉴权的属性字段;服务端对权限进行一系列校验,包括:检查是否命中全局IP全名单;检查是否命中用户IP全名单;校验AccessKey和SecretKey签名;检验请求所需的权限和用户拥有的权限是否匹配等。
总体来说,本发明实施例是设计并开发了一种提供消息收发能力的消息服务SDK;设计了基于森林拓扑结构的级联数据传输路径;根据所述级联传输结构,通过动态重组父域集群和子域集群并定制数据流转关系(包括上报和下放),创建流转任务;通过所述流转任务,按照流转关系,基于所述消息服务SDK实现级联集群间统一数据流转;其中,通过Token机制和ACL权限控制保障了跨集群间数据传输过程中的安全性;同时,在数据传输过程中,支持一个任务可以同时定制双向流转方向,另外,基于深度优先检索的有向图环路算法,对所有流转任务进行了回环检查处理,从而实现安全可控的、多级多中心的统一数据流转,为多级多中心集群间的数据传输提供了有效可靠的服务。
本发明第二实施例提供了一种服务器集群,该服务器集群为多个,且多个所述服务器集群之间采用本发明第一实施例中任一种所述的全域多级统一安全的数据传输方法进行数据传输。本发明实施例的相关内容可参见本发明第一实施例进行理解,在此不做详细论述。
本发明第三实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有信号映射的计算机程序,所述计算机程序被至少一个处理器执行时,以实现本发明第一实施例中任一种所述的全域多级统一安全的数据传输方法。本发明实施例的相关内容可参见本发明第一实施例进行理解,在此不做详细论述。
尽管为示例目的,已经公开了本发明的优选实施例,本领域的技术人员将意识到各种改进、增加和取代也是可能的,因此,本发明的范围应当不限于上述实施例。
Claims (8)
1.一种全域多级统一安全的数据传输方法,其特征在于,所述方法包括:
创建消息服务SDK,以提供消息客户端之间的消息收发能力;
通过森林拓扑结构的级联数据传输结构动态重组级联传输的集群节点并定制流转关系,创建流转任务,通过消息服务SDK对所创建的流转任务进行数据传输,在数据传输过程中通过ACL权限控制和Token机制以保障多级多中心集群间数据传输的安全性;
根据所述级联传输结构,通过动态重组父域集群节点和子域集群节点,并定制数据流转关系,包括上报和下发两种流转方向,其中,子域集群向父域集群流转数据即上报,父域集群向子域集群流转数据即下发;
所述流转任务包括多个,根据各流转任务及其流转关系,通过启用多线程建立流转任务之间的对应关系,以实现一个服务支持多个流转任务的定制;
通过访问所述消息服务SDK,根据流转任务集群节点及其流转关系,使用多线程创建消息服务客户端,建立流转任务之间的对应关系,以实现流转任务的跨集群数据传输。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于用户指示动态重组级联传输节点,并定制流转关系。
3.根据权利要求1所述的方法,其特征在于,
在进行数据传输之前,检测流转任务是否存在回环,包括单任务的回环检查和多任务的回环检查,其中,所述单任务的回环检查是检查其两个流转方向的数据是否重复,即如果该数据既在上报的流转方向中,又在下发的流转方向中,则该流转任务存在回环路径;所述多任务的回环检查是根据所有任务流转关系及流转数据。
4.根据权利要求3所述的方法,其特征在于,
通过采用邻接矩阵方式构造所有任务的有向图,基于深度优先遍历DFS检测所述有向图中是否存在回环路径。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,
所述Token机制采用MD5加密后客户端IP作为Token标识进行身份验证。
6.根据权利要求1-4中任意一项所述的方法,其特征在于,
所述ACL权限控制包括权限解析和权限校验两个部分,其中,所述权限解析包括:服务端对客户端的请求进行解析,获取需鉴权的属性字段;所述权限校验包括:检查是否命中全局IP全名单、检查是否命中用户IP全名单、校验AccessKey和SecretKey签名以及检验请求所需的权限和用户拥有的权限是否匹配。
7.一种服务器集群,其特征在于,包括:所述服务器集群为多个,且多个所述服务器集群之间采用权利要求1-6中任一种所述的全域多级统一安全的数据传输方法进行数据传输。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述全域多级统一安全的数据传输方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111307940.1A CN114143039B (zh) | 2021-11-05 | 2021-11-05 | 一种全域多级统一安全的数据传输方法及服务器集群 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111307940.1A CN114143039B (zh) | 2021-11-05 | 2021-11-05 | 一种全域多级统一安全的数据传输方法及服务器集群 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114143039A CN114143039A (zh) | 2022-03-04 |
CN114143039B true CN114143039B (zh) | 2024-04-16 |
Family
ID=80392398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111307940.1A Active CN114143039B (zh) | 2021-11-05 | 2021-11-05 | 一种全域多级统一安全的数据传输方法及服务器集群 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114143039B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101252506A (zh) * | 2007-12-29 | 2008-08-27 | 中国建设银行股份有限公司 | 一种数据传输*** |
CN110611621A (zh) * | 2019-09-26 | 2019-12-24 | 上海依图网络科技有限公司 | 树型结构的多集群间的路由控制方法及集群森林 |
CN111865935A (zh) * | 2020-06-30 | 2020-10-30 | 北京天融信网络安全技术有限公司 | 一种数据传输*** |
CN112235285A (zh) * | 2020-10-12 | 2021-01-15 | 山东健康医疗大数据有限公司 | 基于非会话的用户认证模式和服务的方法及*** |
US11165859B1 (en) * | 2021-04-09 | 2021-11-02 | Area 1 Security, Inc. | Scaling stateful services hosted in a cluster of server nodes |
-
2021
- 2021-11-05 CN CN202111307940.1A patent/CN114143039B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101252506A (zh) * | 2007-12-29 | 2008-08-27 | 中国建设银行股份有限公司 | 一种数据传输*** |
CN110611621A (zh) * | 2019-09-26 | 2019-12-24 | 上海依图网络科技有限公司 | 树型结构的多集群间的路由控制方法及集群森林 |
CN111865935A (zh) * | 2020-06-30 | 2020-10-30 | 北京天融信网络安全技术有限公司 | 一种数据传输*** |
CN112235285A (zh) * | 2020-10-12 | 2021-01-15 | 山东健康医疗大数据有限公司 | 基于非会话的用户认证模式和服务的方法及*** |
US11165859B1 (en) * | 2021-04-09 | 2021-11-02 | Area 1 Security, Inc. | Scaling stateful services hosted in a cluster of server nodes |
Also Published As
Publication number | Publication date |
---|---|
CN114143039A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Alfandi et al. | Blockchain solution for iot-based critical infrastructures: Byzantine fault tolerance | |
KR102566892B1 (ko) | 블록체인 합의 방법, 디바이스 및 시스템 | |
Loo et al. | Declarative networking | |
EP3718285B1 (en) | Computer-implemented system and method for propagation and communication of data in a network such as a blockchain network | |
Guo et al. | Exploiting efficient and scalable shuffle transfers in future data center networks | |
US20040179481A1 (en) | Overlay network for location-independent communication between computer systems | |
CN113596176A (zh) | 物联网中心节点的自选方法、装置、物联网设备和*** | |
Biswas et al. | A novel leader election algorithm based on resources for ring networks | |
Alvisi et al. | How robust are gossip-based communication protocols? | |
Huang et al. | Blockchain based log system | |
Rodrigues et al. | A distributed k-mutual exclusion algorithm based on autonomic spanning trees | |
Newport | Consensus with an abstract MAC layer | |
CN114143039B (zh) | 一种全域多级统一安全的数据传输方法及服务器集群 | |
Jin et al. | Cooperative storage by exploiting graph‐based data placement algorithm for edge computing environment | |
Lim et al. | Unstructured deadlock detection technique with scalability and complexity‐efficiency in clouds | |
Tu et al. | Nearcast: A locality-aware P2P live streaming approach for distance education | |
Herault et al. | A model for large scale self-stabilization | |
Yin et al. | Sparse random compressive sensing based data aggregation in wireless sensor networks | |
Mehrabian et al. | Randomized rumor spreading in poorly connected small‐world networks | |
US10397099B2 (en) | Spanning tree protocol enabled N-node link aggregation system | |
Meiklejohn et al. | Loquat: A framework for large-scale actor communication on edge networks | |
CN113746894A (zh) | 基于hdfs rbf路由层实现负载均衡方法、装置 | |
Coulson et al. | The design of a generalised approach to the programming of systems of systems | |
CN101521597B (zh) | 一种混合p2p网络的数据统计方法和*** | |
Wang et al. | A physical topology for optimizing partition tolerance in consortium blockchains to reach CAP guarantee bound |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |