CN113542352A - 节点联合建模的方法和节点 - Google Patents
节点联合建模的方法和节点 Download PDFInfo
- Publication number
- CN113542352A CN113542352A CN202110636011.9A CN202110636011A CN113542352A CN 113542352 A CN113542352 A CN 113542352A CN 202110636011 A CN202110636011 A CN 202110636011A CN 113542352 A CN113542352 A CN 113542352A
- Authority
- CN
- China
- Prior art keywords
- node
- port
- cluster
- modeling
- modeling request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 199
- 230000008569 process Effects 0.000 claims abstract description 157
- 238000013507 mapping Methods 0.000 claims abstract description 139
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 73
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 11
- 239000003795 chemical substances by application Substances 0.000 description 41
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/562—Brokering proxy services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/25—Mapping addresses of the same type
- H04L61/2503—Translation of Internet protocol [IP] addresses
- H04L61/2557—Translation policies or rules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本说明书实施例提出了节点联合建模的方法和联合建模的节点。联合建模的节点中，第一节点位于第一网络，第二节点位于第二网络，第一节点中设置有第一代理进程，第二节点中设置有第二代理进程。在第一节点与第二节点联合建模时，第一节点将建模请求同步到第一代理进程；建模请求包括：第一集群ID及模型算法参数；第一代理进程根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给第二代理进程；第二代理进程根据预先建立的节点与端口的映射关系，将建模请求同步给第二节点；第二节点根据所述建模请求中的第一集群ID及模型算法参数，在第一集群中与第一节点进行建模。本说明书实施例能够减少外网地址的开销。
Description
技术领域
本说明书一个或多个实施例涉及通信信息技术，尤其涉及节点联合建模的方法和节点。
背景技术
在深度学习领域，当两个节点需要合作，比如参与多方安全计算时，该两个节点会利用深度计算学习框架作为联合建模的基础框架，并进行动态建模。
目前在两个节点之间联合建模的方式是：将该两个节点组成一个集群，节点以集群为单位，开通每一个节点映射到的可访问的外网地址和端口，之后，该两个节点通过集群完成基于深度计算学习框架的建模过程。
随着业务的复杂化，一个节点可以位于多个集群中。在目前，当一个节点位于多个集群中时，会为该节点开通多个外网地址和端口。然而，外网地址和端口资源稀缺，当节点所在的集群数量众多时，节点开通的外网地址和端口的数量也会过多。
发明内容
本说明书一个或多个实施例描述了节点联合建模的方法和节点，能够减少外网地址的开销。
根据第一方面，提出了一种节点联合建模的方法，所述联合建模的节点包括第一节点和第二节点，所述第一节点位于第一网络，所述第二节点位于第二网络，第一节点中设置有第一代理进程，第二节点中设置有第二代理进程，所述第一节点和所述第二节点位于第一集群，该第一集群具有第一集群ID，所述方法包括：
在第一节点与第二节点联合建模时，第一节点将建模请求同步到第一代理进程；其中，所述建模请求包括：所述第一集群ID及模型算法参数；
第一代理进程根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给第二代理进程；
第二代理进程根据预先建立的节点与端口的映射关系，将所述建模请求同步给第二节点；
第二节点根据所述建模请求中的第一集群ID及模型算法参数，在第一集群中与第一节点进行建模。
所述第一节点和所述第二节点利用深度计算学习框架作为所述联合建模的基础框架；
所述第一节点中设置有第一学习框架处理进程，该第一学习框架处理进程与所述第一代理进程交互基于所述深度计算学习框架的建模请求；
所述第二节点中设置有第二学习框架处理进程，该第二学习框架处理进程与所述第二代理进程交互基于所述深度计算学习框架的建模请求。
所述深度计算学习框架为TensorFlow。
所述第一节点将建模请求同步到第一代理进程，包括：所述第一学习框架处理进程将建模请求发送到与所述第二节点存在映射关系的对外映射端口上；所述第一代理进程通过监听该对外映射端口得到所述建模请求；与所述第二节点存在映射关系的对外映射端口为所述第一节点中的端口。
所述第二代理进程根据预先建立的节点与端口的映射关系将所述建模请求同步给第二节点，包括：所述第二代理进程将建模请求发送到与第二节点存在映射关系的本机映射端口上；所述第二学习框架处理进程通过监听该本机映射端口得到所述建模请求；其中，所述本机映射端口为所述第二节点中的端口。
在所述第一学习框架处理进程将建模请求发送到与第二节点存在映射关系的对外映射端口之前，进一步包括：
向第一学习框架处理进程传入预先设置的本地地址及与第二节点存在映射关系的对外映射端口，使得该第一学习框架处理进程将建模请求发送到该对外映射端口；
或者，
向第一学习框架处理进程传入第二节点的外网地址和端口；由第一节点中预先设置的地址转换模块接收第一学习框架处理进程发送的建模请求，并由地址转换模块根据预先设置的本地地址及与第二节点存在映射关系的对外映射端口，对建模请求进行地址转换后，发送到该对外映射端口。
其中，所述第一代理进程根据接收到建模请求的端口以及预先建立的节点与端口的映射关系将该建模请求发送给第二代理进程，包括：
第一代理进程从与第二节点存在映射关系的对外映射端口上，监听到建模请求后，确定该建模请求的接收方为第二节点；
利用预先获取的第二节点的外网地址，将建模请求发送给第二代理进程；其中所述第二节点的外网地址为：在包括所述第一集群的至少两个集群中复用的外网地址。
在第一节点与第二节点联合建模之前，进一步包括：
第一节点生成第一集群建立信息；所述第一集群建立信息包括：第一集群ID、与第一节点存在映射关系的本机映射端口的端口号及与第二节点存在映射关系的对外映射端口的端口号；
第一节点将第一集群建立信息同步到第一代理进程，启动所述第一集群；
第一代理进程将第一集群建立信息发送给第二代理进程；
第二代理进程将第一集群建立信息同步到第二节点；
第二节点启动所述第一集群，并设置第一集群ID、与第一节点存在映射关系的对外映射端口以及与第二节点存在映射关系的本机映射端口。
根据第二方面，提出了一种节点，该节点与对端节点位于第一集群中，并进行联合建模；该节点包括：
第一建模请求处理模块，配置为在本节点与所述对端节点联合建模时，将建模请求同步到第一代理进程；其中，所述建模请求包括：所述第一集群的ID及模型算法参数；
第一代理进程模块，配置为根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给对端节点中的第二代理进程。
根据第三方面，提出了另一种节点，该节点与对端节点位于第一集群中，并进行联合建模；该节点包括：
第二代理进程模块，配置为接收对端节点发来的建模请求，根据预先建立的节点与端口的映射关系，将所述建模请求同步给第二建模请求处理模块；
第二建模请求处理模块，配置为根据所述建模请求中的第一集群ID及模型算法参数，在第一集群中与对端节点进行建模。
根据第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
本说明书实施例提出的联合建模的方法以及节点，使用一个节点内部的各个端口来映射各个集群中的各个节点。因为本地地址和端口可以根据需要随时开通，数量不受限制，并且不会出现对网关和防火墙的配置要求过高的问题。同时，一个节点在各集群中对外映射的是本地地址和端口，而不是外网地址，因此外网地址则可以在不同集群中复用，从而避免了对外网地址的过度开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了现有技术中联合建模的各节点之间的连接示意图。
图2示出了本说明书一个实施例中节点联合建模的方法流程图。
图3示出了本说明书一个实施例中建立第一集群的方法流程图。
图4示出了本说明书一个实施例中联合建模的各节点之间的连接示意图。
图5示出了本说明书另一个实施例中联合建模的各节点之间的连接示意图。
图6示出了本说明书一个实施例中联合建模的一种节点的结构的示意性框图。
图7示出了本说明书一个实施例中联合建模的另一种节点的结构的示意性框图。
具体实施方式
如前所述，现有技术中，在为节点动态建模时，如果一个节点需要与多个节点分别建模，从而位于多个不同的集群中时，会在该节点中为不同的集群分别开通不同的外网地址和端口。参见图1，在现有技术中，节点L(比如为一个商家)与节点M(比如为另一个商家)组成集群1，并基于深度计算学习框架进行建模；同时节点L与节点N(比如为又一个商家)组成集群2，也基于深度计算学习框架进行建模。那么，根据深度计算学习框架比如TensorFlow的要求，节点L必须为集群1开通外网地址1，并且为集群2开通外网地址2。
但是，此种处理方式，一个节点在各集群中对外映射的是外网地址，因此外网地址在不同集群中不能进行复用，导致每一个节点所开通的外网地址的数量等于该节点开通的集群的数量。当集群数量众多时，在一个节点中开通的外网地址的数量众多。而外网地址资源稀缺，并且对网关和防火墙的配置要求过高，开通一个外网地址需要走很长的申请和审批链路，因此会导致业务造价过高，甚至对于很多业务，比如银行***的业务，会使得业务无法实现。
如果要节省外网地址的开销，就要避免使用外网地址来映射一个集群中的节点。因此，可以考虑使用节点内部的本地地址和端口来映射一个集群中的节点。因为本地地址和端口可以根据需要随时开通，数量不受限制，并且不会出现对网关和防火墙的配置要求过高的问题。同时，一个节点在各集群中对外映射的是本地地址和端口，而不是外网地址，因此外网地址则可以在不同集群中复用，从而避免了对外网地址的过度开销。
下面描述以上构思的具体实现方式。
图2示出了本说明书一个实施例中的节点联合建模的方法流程图。该方法应用于联合建模的节点，包括节点A和节点B，节点A位于第一网络，节点B位于第二网络，节点A中设置有第一代理进程，节点B中设置有第二代理进程，节点A和节点B位于第一集群，该第一集群具有第一集群ID。
参见图2，该方法包括：
步骤200：在节点A与节点B联合建模时，节点A将建模请求同步到第一代理进程；其中，所述建模请求包括：所述第一集群ID及模型算法参数。
步骤202：第一代理进程根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给第二代理进程。
步骤204：第二代理进程根据预先建立的节点与端口的映射关系，将所述建模请求同步给节点B。
步骤206：节点B根据所述建模请求中的第一集群ID及模型算法参数，在第一集群中与节点A进行建模。
在上述图2所示的过程中，需要利用节点与端口的映射关系来完成转发，因此，在上述步骤200之前，可以预先通过建立第一集群的过程来设置节点与端口的映射关系。参见图3，该建立第一集群的过程包括：
步骤301：节点A生成第一集群建立信息；所述第一集群建立信息包括：第一集群ID、与节点A存在映射关系的本机映射端口的端口号以及与节点B存在映射关系的对外映射端口的端口号。
其中，该本机映射端口以及该对外映射端口均为节点A中的端口。
本步骤301的处理可以参见图4所示，比如，节点A需要与节点B建立第一集群。假如，节点A还需要与节点C建立另一个集群记为第二集群。那么，在建立第一集群时，节点A首先会为第一集群分配第一集群ID，并且，会生成一个本地地址(比如本地IP 127.0.0.1)和节点A中的两个端口，其中一个端口记为端口A作为本机映射端口，即端口A与节点A存在映射关系，另一个端口记为端口B作为对外映射端口，即端口B与外部的节点B存在映射关系。在建立第二集群时，节点A也会使用一个本地地址和节点A中的两个端口，其中一个端口即本机映射端口A，与本机即节点A存在映射关系，另一个端口记为端口C作为对外映射端口，与外部的节点C存在映射关系。从图4可以看出，虽然建立两个集群，但是节点在一个集群中不再通过外网地址映射，而是可以通过节点中的端口映射各个节点，这样，两个集群就可以复用节点A的外网地址。
步骤303：节点A将第一集群建立信息同步到第一代理进程，启动所述第一集群。
执行到本步骤303，第一代理进程则获得了在节点A中的各端口的映射关系：即端口A映射节点A，端口B映射节点B，端口C映射节点C。
步骤305：第一代理进程将第一集群建立信息发送给第二代理进程；
步骤307：第二代理进程将第一集群建立信息同步到节点B；
步骤309：节点B启动所述第一集群，并设置第一集群ID、与节点A存在映射关系的对外映射端口的端口号以及与节点B存在映射关系的本机映射端口的端口号。
本步骤309中，当节点B接收到第一集群建立信息后，也会在本节点中执行与节点A对应的处理，即设置第一集群ID，并且，会生成一个本地地址(比如本地IP 127.0.0.1)和节点B中的两个端口，其中一个端口记为端口A’作为对外映射端口，即端口A’与外部的节点A存在映射关系，另一个端口记为端口B’作为本机映射端口，即端口B’与节点B存在映射关系。
节点B根据第一集群建立信息，可以将节点B中本机映射端口的端口号与节点A本机映射端口的端口号设置为相同，将节点B中对外映射端口的端口号与节点A对外映射端口的端口号设置为相同。
至此，则通过上述图3所示的集群建立过程，完成了在一个集群的两个节点之间设置各个节点与本节点中各个端口的映射关系的处理。
在本说明书的其他实施例中，也可以通过其他方式，而不是上述图3所示的集群建立过程，来设置各个节点与各个端口的映射关系。
在一个集群中的各个节点均获取了本节点中的各个端口与集群中各个节点的映射关系之后，每一个节点会监听各个端口，通过监听确定信息的接收方，这样，可以执行上述图2所示的建模过程。
下面针对图2所示的每一个步骤详细说明。
首先，在步骤200中，在节点A与节点B联合建模时，节点A将建模请求同步到第一代理进程；其中，所述建模请求包括：所述第一集群ID及模型算法参数。
这里，在基于深度计算学习框架比如TensorFlow进行建模时，即节点A和所述节点B利用深度计算学习框架作为联合建模的基础框架时，在节点A中设置有第一学习框架处理进程，在节点A内部，该第一学习框架处理进程与第一代理进程交互基于深度计算学习框架的建模请求。节点B中设置有第二学习框架处理进程，在节点B内部，该第二学习框架处理进程与第二代理进程交互基于深度计算学习框架的建模请求。因此，在步骤200中，可以是由第一学习框架处理进程将建模请求同步到第一代理进程。
具体地，参见图5，第一学习框架处理进程会监听节点A中的本机映射端口，即端口A，如果从端口A上接收到数据，则认为是集群中的其他节点发给本节点A的基于深度计算学习框架的信息。并且，在节点A中，第一代理进程也会监听各个对外映射端口，如果从对外映射端口如端口B上接收到第一学习框架处理进程发出的数据，则可以确定该数据需要发给第一集群中的节点B，如果从对外映射端口如端口C上接收到第一学习框架处理进程发出的数据，则可以确定该数据需要发给第二集群中的节点C，可见，可以通过节点A内部对不同端口的监听来进行数据的不同路径的传输。因此，在本说明书的一个实施例中，参见图5，本步骤200的实现过程包括：
步骤2001：在节点A中，第一学习框架处理进程将建模请求发送到与节点B存在映射关系的对外映射端口，即端口B上。
步骤2002：第一代理进程监听端口B得到建模请求。
在上述步骤2001中，第一学习框架处理进程将建模请求发送到对外映射端口B上，而不是如现有技术中的处理(根据节点B的外网地址将建模请求发送到节点B)。为了保证第一学习框架处理进程能够将建模请求发送到对外映射端口B，在本说明书一个实施例中，可以采用如下两种方式实现：
方式1、在第一学习框架处理进程需要向节点B发送建模请求时，向该第一学习框架处理进程传入该节点B映射到的本地地址及端口B，使得该第一学习框架处理进程根据该本地地址及端口B，将建模请求发送到端口B。
方式2、在第一学习框架处理进程需要向节点B发送建模请求时，向该第一学习框架处理进程传入该节点B的外网地址和端口；节点A中的地址转换模块接收第一学习框架处理进程根据该外网地址及端口发送的建模请求，地址转换模块根据节点B映射到本节点中的本地地址及端口B，将地址转换后的该建模请求发送到端口B。
在方式1中，是将本地地址及端口B传入了第一学习框架处理进程，相当于“欺骗”了该进程，使得该第一学习框架处理进程误认为传入的是节点B的外网地址和端口，从而将建模请求发送到了端口B。
而在该方式2中，相当于“未欺骗”该进程，第一学习框架处理进程还可以执行现有的处理，即利用节点B的外网地址和端口向外发出建模请求，避免了对第一学习框架处理进程进行实质改动。但是，为了保证该发出的建模请求仍然能够到达端口B，因此，增加了上述地址转换模块及其处理。
接下来，在步骤202中，节点A中的第一代理进程根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给节点B中的第二代理进程。
参见图5，在本说明书的一个实施例中，本步骤202的实现过程包括：第一代理进程从端口B上监听到建模请求后，确定该建模请求的接收方为与端口B存在映射关系的节点B；第一代理进程利用预先获取的节点B的外网地址，将建模请求发送给节点B；其中节点B的外网地址为：在包括所述第一集群的至少两个集群中复用的外网地址；节点B通过外网地址接收到建模请求后，将该建模请求发送给第二代理进程。
其中，无论第一集群中的节点A还是其他集群中的一个节点如节点D，在给节点B发送建模请求时，都可以由本节点中的学习框架处理进程将建模请求发送到与节点B存在映射关系的对外映射端口上，也就是说，通过与节点B存在映射关系的对外映射端口来区分该建模请求需要发给本集群中的节点B，而无需利用节点B对应本集群的外网地址来进行区分，因此，节点B在不同集群中使用的外网地址就可以复用，从而节约了外网地址资源。
接下来，在步骤204中第二代理进程接收到所述建模请求后同步给节点B。
在本说明书的一个实施例中，参见图5，本步骤204的过程包括：在节点B中，第二代理进程接收到建模请求后，确定需要发送给第二学习框架处理进程，则将建模请求发送到与本节点B存在映射关系的本机映射端口上，即端口B’上；节点B中的第二学习框架处理进程通过监听该端口B’得到建模请求；如前所述，本机映射端口即端口B’为节点B中的端口。
接下来，在步骤206中节点B根据建模请求中的第一集群ID及模型算法参数，在第一集群中与节点A进行建模。
至此，则完成了在节点A与节点B之间联合建模的过程。
在本说明书一个实施例中，在联合建模过程中，建模请求中会携带节点所属的集群的编号，从而使每一个节点都能确定当前的建模请求对应哪一个集群。
在本说明书一个实施例中，提出了一种节点，该节点与对端节点位于第一集群中，并进行联合建模；该节点为联合建模的发起方。参见图6，该节点600包括：
第一建模请求处理模块601，配置为在本节点与所述对端节点联合建模时，将建模请求同步到第一代理进程；其中，所述建模请求包括：所述第一集群的ID及模型算法参数；
第一代理进程模块602，配置为根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给对端节点中的第二代理进程。
在本说明书装置的一个实施例中，节点600利用深度计算学习框架作为联合建模的基础框架；则所述第一建模请求处理模块601包括：第一学习框架处理进程，该第一学习框架处理进程与所述第一代理进程模块602交互基于所述深度计算学习框架的建模请求。
其中，深度计算学习框架可以为TensorFlow。
在本说明书装置的一个实施例中，第一学习框架处理进程被配置为执行：将建模请求发送到与对端节点存在映射关系的对外映射端口上；与对端节点存在映射关系的对外映射端口为本节点中的端口；
第一代理进程模块602被配置为通过监听该对外映射端口得到所述建模请求。
在本说明书装置的一个实施例中，第一建模请求处理模块601包括上述的第一学习框架处理进程以及第一建模触发子模块；
该第一建模触发子模块，配置为向第一学习框架处理进程传入预先设置的本地地址及与对端节点存在映射关系的对外映射端口；
该第一学习框架处理进程，配置为将建模请求直接发送到该对外映射端口。
在本说明书装置的一个实施例中，节点600进一步包括：地址转换模块；
并且，第一建模请求处理模块601包括上述的第一学习框架处理进程以及第二建模触发子模块；
该第二建模触发子模块，配置为向第一学习框架处理进程传入对端节点的外网地址和端口；
第一学习框架处理进程，配置为利用该外网地址和端口发送建模请求；
地址转换模块，配置为接收第一学习框架处理进程发送的建模请求，并根据预先设置的本地地址及与对端节点存在映射关系的对外映射端口，对建模请求进行地址转换后，发送到该对外映射端口。
在本说明书装置的一个实施例中，第一代理进程模块602被配置为：如果从与对端节点存在映射关系的对外映射端口上，监听到建模请求，则确定该建模请求的接收方为对端节点；利用预先获取的对端节点的外网地址，将建模请求发送给对端节点中的第二代理进程模块；其中对端节点的外网地址为：在包括所述第一集群的至少两个集群中复用的外网地址。
在本说明书装置的一个实施例中，节点600进一步包括：集群建立模块；
该集群建立模块，配置为生成第一集群建立信息；所述第一集群建立信息包括：第一集群ID、与本节点存在映射关系的本机映射端口的端口号及与对端节点存在映射关系的对外映射端口的端口号；将第一集群建立信息同步到第一代理进程模块602，启动所述第一集群；
第一代理进程模块602，进一步被配置为将第一集群建立信息发送给对端节点中的第二代理进程模块。
在本说明书又一个实施例中，提出了一种节点，该节点与对端节点位于第一集群中，并进行联合建模；该节点根据接收到的联合建模的发起方的建模请求，进行建模。参见图7，该节点700包括：
第二代理进程模块701，配置为接收对端节点发来的建模请求，根据预先建立的节点与端口的映射关系，将所述建模请求同步给第二建模请求处理模块；
第二建模请求处理模块702，配置为根据所述建模请求中的第一集群ID及模型算法参数，在第一集群中与对端节点进行建模。
在本说明书装置的一个实施例中，节点700利用深度计算学习框架作为联合建模的基础框架；则所述第二建模请求处理模块702包括：第二学习框架处理进程，该第二学习框架处理进程与所述第二代理进程模块701交互基于深度计算学习框架的建模请求。
在本说明书装置的一个实施例中，第二代理进程模块701将建模请求发送到与本节点存在映射关系的本机映射端口上；第二学习框架处理进程通过监听该本机映射端口得到所述建模请求；其中，所述本机映射端口为本节点中的端口。
在本说明书装置的一个实施例中，节点700进一步包括：集群设置模块；
第二代理进程模块701进一步被配置为将第一集群建立信息同步到集群设置模块；
集群设置模块启动所述第一集群，设置第一集群ID、与对端节点存在映射关系的对外映射端口的端口号及与本节点存在映射关系的本机映射端口的端口号。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合本说明书任一实施例的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合本说明书任一实施例的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.节点联合建模的方法，所述联合建模的节点包括第一节点和第二节点，所述第一节点位于第一网络，所述第二节点位于第二网络，第一节点中设置有第一代理进程，第二节点中设置有第二代理进程，所述第一节点和所述第二节点位于第一集群，该第一集群具有第一集群ID，所述方法包括：
在第一节点与第二节点联合建模时，第一节点将建模请求同步到第一代理进程；其中，所述建模请求包括：所述第一集群ID及模型算法参数；
第一代理进程根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给第二代理进程；
第二代理进程根据预先建立的节点与端口的映射关系，将所述建模请求同步给第二节点；
第二节点根据所述建模请求中的第一集群ID及模型算法参数，在第一集群中与第一节点进行建模。
2.根据权利要求1所述的方法，所述第一节点和所述第二节点利用深度计算学习框架作为所述联合建模的基础框架；
所述第一节点中设置有第一学习框架处理进程，该第一学习框架处理进程与所述第一代理进程交互基于所述深度计算学习框架的建模请求；
所述第二节点中设置有第二学习框架处理进程，该第二学习框架处理进程与所述第二代理进程交互基于所述深度计算学习框架的建模请求。
3.根据权利要求2所述的方法，所述深度计算学习框架为TensorFlow。
4.根据权利要求2所述的方法，
所述第一节点将建模请求同步到第一代理进程，包括：所述第一学习框架处理进程将建模请求发送到与所述第二节点存在映射关系的对外映射端口上；所述第一代理进程通过监听该对外映射端口得到所述建模请求；与所述第二节点存在映射关系的对外映射端口为所述第一节点中的端口；
和/或，
所述第二代理进程根据预先建立的节点与端口的映射关系将所述建模请求同步给第二节点，包括：所述第二代理进程将建模请求发送到与第二节点存在映射关系的本机映射端口上；所述第二学习框架处理进程通过监听该本机映射端口得到所述建模请求；其中，所述本机映射端口为所述第二节点中的端口。
5.根据权利要求4所述的方法，在所述第一学习框架处理进程将建模请求发送到与第二节点存在映射关系的对外映射端口之前，进一步包括：
向第一学习框架处理进程传入预先设置的本地地址及与第二节点存在映射关系的对外映射端口，使得该第一学习框架处理进程将建模请求发送到该对外映射端口；
或者，
向第一学习框架处理进程传入第二节点的外网地址和端口；由第一节点中预先设置的地址转换模块接收第一学习框架处理进程发送的建模请求，并由地址转换模块根据预先设置的本地地址及与第二节点存在映射关系的对外映射端口，对建模请求进行地址转换后，发送到该对外映射端口。
6.根据权利要求1所述的方法，其中，所述第一代理进程根据接收到建模请求的端口以及预先建立的节点与端口的映射关系将该建模请求发送给第二代理进程，包括：
第一代理进程从与第二节点存在映射关系的对外映射端口上，监听到建模请求后，确定该建模请求的接收方为第二节点；
利用预先获取的第二节点的外网地址，将建模请求发送给第二代理进程；其中所述第二节点的外网地址为：在包括所述第一集群的至少两个集群中复用的外网地址。
7.根据权利要求1至6中任一所述的方法，在第一节点与第二节点联合建模之前，进一步包括：
第一节点生成第一集群建立信息；所述第一集群建立信息包括：第一集群ID、与第一节点存在映射关系的本机映射端口的端口号及与第二节点存在映射关系的对外映射端口的端口号；
第一节点将第一集群建立信息同步到第一代理进程，启动所述第一集群；
第一代理进程将第一集群建立信息发送给第二代理进程；
第二代理进程将第一集群建立信息同步到第二节点；
第二节点启动所述第一集群，设置第一集群ID、与第一节点存在映射关系的对外映射端口的端口号及与第二节点存在映射关系的本机映射端口的端口号。
8.一种节点，该节点与对端节点位于第一集群中，并进行联合建模；该节点包括：
第一建模请求处理模块，配置为在本节点与所述对端节点联合建模时，将建模请求同步到第一代理进程；其中，所述建模请求包括：所述第一集群的ID及模型算法参数；
第一代理进程模块，配置为根据接收到建模请求的端口以及预先建立的节点与端口的映射关系，将该建模请求发送给对端节点中的第二代理进程。
9.一种节点，该节点与对端节点位于第一集群中，并进行联合建模；该节点包括：
第二代理进程模块，配置为接收对端节点发来的建模请求，根据预先建立的节点与端口的映射关系，将所述建模请求同步给第二建模请求处理模块；
第二建模请求处理模块，配置为根据所述建模请求中的第一集群ID及模型算法参数，在第一集群中与对端节点进行建模。
10.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110636011.9A CN113542352B (zh) | 2021-06-08 | 2021-06-08 | 节点联合建模的方法和节点 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110636011.9A CN113542352B (zh) | 2021-06-08 | 2021-06-08 | 节点联合建模的方法和节点 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113542352A true CN113542352A (zh) | 2021-10-22 |
| CN113542352B CN113542352B (zh) | 2024-04-09 |
Family
ID=78095675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110636011.9A Active CN113542352B (zh) | 2021-06-08 | 2021-06-08 | 节点联合建模的方法和节点 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113542352B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
| CN106933659A (zh) * | 2015-12-30 | 2017-07-07 | 华为技术有限公司 | 管理进程的方法和装置 |
| CN107423823A (zh) * | 2017-08-11 | 2017-12-01 | 成都优易数据有限公司 | 一种基于r语言的机器学***台架构设计方法 |
| US20180322387A1 (en) * | 2017-05-05 | 2018-11-08 | Intel Corporation | Hardware implemented point to point communication primitives for machine learning |
| CN109086134A (zh) * | 2018-07-19 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种深度学习作业的运行方法和装置 |
| CN109561149A (zh) * | 2018-11-28 | 2019-04-02 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置及存储介质 |
| CN110601902A (zh) * | 2019-09-24 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种基于区块链网络的交互数据处理方法及装置 |
| CN111049747A (zh) * | 2019-12-18 | 2020-04-21 | 北京计算机技术及应用研究所 | 一种面向大规模容器集群的智能虚拟网络路径规划方法 |
| CN111614769A (zh) * | 2020-05-22 | 2020-09-01 | 武汉魅瞳科技有限公司 | 一种深度学习技术的行为智能分析引擎***及控制方法 |
| CN112052958A (zh) * | 2020-09-04 | 2020-12-08 | 京东数字科技控股股份有限公司 | 模型训练的方法、装置、设备及计算机可读存储介质 |
| CN112182635A (zh) * | 2019-07-03 | 2021-01-05 | 北京百度网讯科技有限公司 | 一种联合建模的实现方法、装置、设备和介质 |
| CN112232519A (zh) * | 2020-10-15 | 2021-01-15 | 成都数融科技有限公司 | 一种基于联邦学习的联合建模方法 |
| CN112445735A (zh) * | 2020-11-20 | 2021-03-05 | 深圳致星科技有限公司 | 一种联邦学习数据传输方法、计算机设备、***及存储介质 |
| CN112468610A (zh) * | 2020-11-17 | 2021-03-09 | 杭州安恒信息安全技术有限公司 | 数据传输方法、监控节点、监控服务器及监控网络*** |
-
2021
- 2021-06-08 CN CN202110636011.9A patent/CN113542352B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
| CN106933659A (zh) * | 2015-12-30 | 2017-07-07 | 华为技术有限公司 | 管理进程的方法和装置 |
| US20180322387A1 (en) * | 2017-05-05 | 2018-11-08 | Intel Corporation | Hardware implemented point to point communication primitives for machine learning |
| CN107423823A (zh) * | 2017-08-11 | 2017-12-01 | 成都优易数据有限公司 | 一种基于r语言的机器学***台架构设计方法 |
| CN109086134A (zh) * | 2018-07-19 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种深度学习作业的运行方法和装置 |
| CN109561149A (zh) * | 2018-11-28 | 2019-04-02 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置及存储介质 |
| CN112182635A (zh) * | 2019-07-03 | 2021-01-05 | 北京百度网讯科技有限公司 | 一种联合建模的实现方法、装置、设备和介质 |
| CN110601902A (zh) * | 2019-09-24 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种基于区块链网络的交互数据处理方法及装置 |
| CN111049747A (zh) * | 2019-12-18 | 2020-04-21 | 北京计算机技术及应用研究所 | 一种面向大规模容器集群的智能虚拟网络路径规划方法 |
| CN111614769A (zh) * | 2020-05-22 | 2020-09-01 | 武汉魅瞳科技有限公司 | 一种深度学习技术的行为智能分析引擎***及控制方法 |
| CN112052958A (zh) * | 2020-09-04 | 2020-12-08 | 京东数字科技控股股份有限公司 | 模型训练的方法、装置、设备及计算机可读存储介质 |
| CN112232519A (zh) * | 2020-10-15 | 2021-01-15 | 成都数融科技有限公司 | 一种基于联邦学习的联合建模方法 |
| CN112468610A (zh) * | 2020-11-17 | 2021-03-09 | 杭州安恒信息安全技术有限公司 | 数据传输方法、监控节点、监控服务器及监控网络*** |
| CN112445735A (zh) * | 2020-11-20 | 2021-03-05 | 深圳致星科技有限公司 | 一种联邦学习数据传输方法、计算机设备、***及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 杨慧娟;: "基于TensorFLow的个性化推荐***设计", 粘接, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113542352B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2148518A1 (en) | Packet communication method using node identifier and locator | |
| JP2020511083A (ja) | サービス品質制御方法およびその装置、ｓｍｆ、ｕｐｆ、ｕｅ、ｐｃｆおよびａｎ | |
| US20110040968A1 (en) | Method and system for forwarding data between private networks | |
| CN101515896B (zh) | 安全套接字层协议报文转发方法、装置、***及交换机 | |
| WO2015124045A1 (zh) | 一种通道建立的方法和设备 | |
| JP5424007B2 (ja) | 情報を提供するための方法、ホームゲートウェイおよびホームネットワークシステム | |
| CN103108089A (zh) | 网络***的连线建立管理方法及其相关*** | |
| CN105227693A (zh) | 一种移动设备的dns的配置方法和装置 | |
| CN105959906A (zh) | 网络设备间通信的方法及装置 | |
| CN105681445A (zh) | 数据的点对点传输路径选择方法及装置 | |
| CN112671763A (zh) | 组网环境下的数据同步方法、装置、计算机设备 | |
| CN104580029A (zh) | 地址分配方法及装置 | |
| CN103002041A (zh) | 一种处于nat环境下的设备的通信方法 | |
| CN103391249A (zh) | 一种is-is网络中的邻居关系建立方法和设备 | |
| CN112910704B (zh) | 一种支持动态自适应网络配置的局域网***、方法和装置 | |
| US11637874B2 (en) | Communications apparatus, systems, and methods for preventing and/or minimizing session data clipping | |
| CN113542352B (zh) | 节点联合建模的方法和节点 | |
| CN113573381A (zh) | 非ip类型数据的传输处理方法、设备、装置及介质 | |
| US10771511B2 (en) | Communication method to maintain an application session between a terminal and an application server | |
| CN111092964B (zh) | 车载网络中的设备标识方法 | |
| CN102238084A (zh) | 一种跨域报文的转发方法、装置、路由设备和客户端 | |
| JP6898120B2 (ja) | ネットワークシステム、ネットワークシステムのアドレス解決方法、および、拠点側接続装置 | |
| CN115883256B (zh) | 基于加密隧道的数据传输方法、装置及存储介质 | |
| CN109768905A (zh) | 一种PPPoE报文传输的方法、***、设备及存储介质 | |
| KR101586058B1 (ko) | Nat환경을 고려한 피투피 통신 연결 장치 및 이를 이용한 피투피 통신 연결 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |