CN111385334A - 一种数据配送方法、装置、设备及存储介质 - Google Patents
一种数据配送方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111385334A CN111385334A CN201811643691.1A CN201811643691A CN111385334A CN 111385334 A CN111385334 A CN 111385334A CN 201811643691 A CN201811643691 A CN 201811643691A CN 111385334 A CN111385334 A CN 111385334A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- server
- changed
- meta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000013500 data storage Methods 0.000 claims abstract description 63
- 238000012544 monitoring process Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 9
- 239000003795 chemical substances by application Substances 0.000 description 44
- 230000008859 change Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据配送方法、装置、设备及存储介质。该方法包括：监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据，通过本发明的技术方案，能够实现数据配送随网络节点动态变化而自动适应。
Description
技术领域
本发明实施例涉及数据配送技术领域，尤其涉及一种数据配送方法、装置、设备及存储介质。
背景技术
数据配送主要指将数据从一个产生端传输到一个或者多个目的地。在复杂的在线服务***中，数据配送面临的主要难点有：
1.数据存储逻辑复杂。不同的数据可能需要写入不同的存储介质，如写入本地磁盘文件，或者写入kv存储。一份数据也可能既写入本地磁盘又写入kv存储。
2.网络节点关系复杂。需要配送的数据通常只需要配送到某些网络节点，数据和网络节点建的映射关系需要一个有效的管理组织方式。同时网络节点是动态变化的，我们需要数据配送的节点也是随之动态变化的。比如新增节点时，数据即可自动配送到新节点上，无法在额外为新节点手动传输一次。
3.通常数据会有版本迭代需求。当某个版本的数据出错时，需要提供一个快速恢复为前一个版本的需求。
发明内容
本发明实施例提供一种数据配送方法、装置、设备及存储介质，以实现数据配送随网络节点动态变化而自动适应。
第一方面，本发明实施例提供了一种数据配送方法，包括：
监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；
监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；
如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据。
进一步的，所述监听服务器上的数据元信息之前，还包括：
配置用于监听的资源代理。
进一步的，所述数据元信息包括：数据业务名称、版本号、数据存储类型、数据存储地址以及数据类型。
进一步的，所述监听服务器上的数据元信息，包括：
根据所述数据业务名称监听服务器上的数据元信息。
进一步的，所述监听到的数据元信息发生变更，包括：
监听到的数据元信息中的版本号发生变更。
进一步的，向所述服务器获取变更后的数据元信息对应的数据之后，还包括：
根据数据类型对获取到的数据进行存储或者解压处理。
进一步的，向所述服务器获取变更后的数据元信息对应的数据之后，还包括：
删除配置的用于监听的资源代理。
第二方面，本发明实施例还提供了一种数据配送装置，该装置包括：
监听模块，用于监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；
确定模块，用于监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；
获取模块，用于如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据。
进一步的，还包括：
配置模块，用于在所述监听服务器上的数据元信息之前，配置用于监听的资源代理。
进一步的，所述数据元信息包括：数据业务名称、版本号、数据存储类型、数据存储地址以及数据类型。
进一步的，所述监听模块包括：
数据元信息监听单元，用于根据所述数据业务名称监听服务器上的数据元信息。
进一步的，确定模块具体用于：
监听到的数据元信息中的版本号发生变更。
进一步的，还包括：
处理单元，用于在向所述服务器获取变更后的数据元信息对应的数据之后，根据数据类型对获取到的数据进行存储或者解压处理。
进一步的，还包括：
删除模块，用于在向所述服务器获取变更后的数据元信息对应的数据之后，删除配置的用于监听的资源代理。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据配送方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据配送方法。
第五方面，本发明实施例还提供了一种数据配送***，该***包括：网络节点，业务方以及服务器，所述网络节点设置如第三方面所述的计算机设备。
本发明实施例通过监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据，网络节点对数据元信息进行监听，当数据元信息发生变更时，若网络节点本机不存在变更后的数据元信息对应的数据，则向服务器获取变更后的数据元信息对应的数据，能够实现数据配送随网络节点动态变化而自动适应。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1A是本发明实施例提供的一种数据配送***的架构原理图；
图1B是本发明实施例一中的一种数据配送方法的流程图；
图2A是本发明实施例二中的一种数据配送方法的流程图；
图2B是本发明实施例二中的数据配送过程的原理示意图；
图2C是本发明实施例二中的资源代理部署过程的原理示意图；
图2D是本发明实施例二中的对数据元信息监听过程的原理示意图；
图3是本发明实施例三中的一种数据配送装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1A为本发明实施例提供的一种数据配送***的架构原理图。具体的，如图1A所示，该数据配送***包括：业务方100、网络节点200和服务器300。
其中，业务方100主要用于生成数据，并将数据发送至服务器300；服务器300获取数据存储类型以及数据存储地址，根据业务方100生成的数据，确定数据业务名称、版本号以及数据存储类型。根据发送方100发送的数据、数据存储类型以及数据存储地址服务器300生成数据元信息，业务方100根据需求在至少一个网络节点200上部署资源代理，至少一个网络节点200根据自己需要关心的数据属性配置资源代理。网络节点200通过资源代理监听服务器300上的数据元信息。
需要说明的是，本实施例中网络节点200的数量具体可以根据企业方决定，企业方100可以通过在网络节点200中部署资源代理或者删除资源代理的形式增加网络节点200或者减少网络节点200，对此不作限定，同时，本实施例中的网络节点200分别执行下述各个实施例对应的数据配送方法，具体的执行过程在下述数据配送方法中进行进一步说明，在此不作详细介绍。
实施例一
图1B为本发明实施例一提供的一种数据配送方法的流程图，本实施例可适用于数据配送的情况，该方法可以由本发明实施例中的数据配送装置来执行，该装置可采用软件和/或硬件的方式实现，如图1B所示，该方法具体包括如下步骤：
S110，监听服务器上的数据元信息，其中，数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的。
其中，所述数据元信息为根据业务方发送的数据、数据存储类型以及数据存储地址生成的，例如可以是，业务方生成数据，并将数据发送至服务器，服务器反馈数据存储类型以及数据存储地址，根据业务方生成的数据，确定数据业务名称、版本号以及数据存储类型。
其中，所述数据存储类型以及数据存储地址是在业务方将数据发送至服务器后，服务器反馈的信息。
其中，所述监听服务器上的数据元信息的方式可以为在每个网络节点配置资源代理，用于监听服务器上的数据元信息。
具体的，业务方生成数据，并将数据发送至服务器，服务器反馈数据存储类型以及数据存储地址，根据发送方发送的数据、数据存储类型以及数据存储地址生成数据元信息，网络节点监听服务器上的数据元信息。
S120，监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据。
其中，所述数据元信息发生变更可以为部分数据元信息发生变更，例如可以是若数据元信息包括数据业务名称和版本号，则数据元信息发生变更可以为版本号发生变更。
其中，所述数据可以为安装包数据，也可以为文本数据，本发明实施例对数据的类型不进限制。
其中，确定本机是否存在变更后的数据元信息对应的数据的方式可以为将并变更后的数据元信息对应的数据与本机存储的数据进行匹配，进而确定本机是否存在变更后的数据元信息对应的数据，还可以为将变更后的数据元信息与本机存储的数据的属性信息进行匹配，进而确定本机是否存在变更后的数据元信息对应的数据。
具体的，当监听到数据元信息发生变更时，根据变更后的数据元信息确定本机是否存在于变更后的数据元信息对应的数据，例如可以是，若数据元信息包括版本号，监听到版本号发生变更时，确定本机是否存在变更版本号后的数据元信息对应的数据。
S130，如果本机不存在，则向服务器获取变更后的数据元信息对应的数据。
其中，向服务器获取变更后的数据元信息的方式可以为，当监听到数据元信息发生变更时，生成数据获取指令，用于向服务器获取变更后的数据元信息对应的数据。
具体的，如果本机中并未存储与变更后的数据元信息对应的数据，则向服务器获取变更后的数据元信息对应的数据，例如可以是，若数据元信息中的版本号发生变更，且如果网络节点对应的本机中未存储与变更版本号后的数据元信息对应的数据，则向服务器获取变更版本号后的数据元信息对应的数据。
本实施例的技术方案，通过监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据，网络节点对数据元信息进行监听，当数据元信息发生变更时，若网络节点本机不存在变更后的数据元信息对应的数据，则向服务器获取变更后的数据元信息对应的数据，能够实现数据配送随网络节点动态变化而自动适应。
实施例二
图2A为本发明实施例二中的一种数据配送方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，所述监听服务器上的数据元信息之前，还包括：配置用于监听的资源代理。
如图2A所示，本实施例的方法具体包括如下步骤：
S210，配置用于监听的资源代理。
其中，所述资源代理用于监听服务器上的数据元信息。
其中，所述资源代理可以为resource agent。
具体的，业务方根据需求在至少一个网络节点上部署资源代理，至少一个网络节点根据自己需要关心的数据属性配置资源代理，例如可以是，若网络节点需要关心的数据为数据业务名称为A的数据，则配置用于监听的资源代理，监听数据业务名称为A的数据元信息。
S220，监听服务器上的数据元信息，其中，数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的。
可选的，所述数据元信息包括：数据业务名称、版本号、数据存储类型、数据存储地址以及数据类型。
其中，所述数据业务名称、版本号、数据存储类型是根据业务方生成的数据获取的。
其中，所述数据存储地址以及数据类型是在业务方将数据发送至服务器后，服务器反馈的。
可选的，所述监听服务器上的数据元信息，包括：
根据所述数据业务名称监听服务器上的数据元信息。
具体的，根据数据业务名称监听服务器上的数据元信息，例如可以是，若配置用于监听的资源代理监听数据业务名称为A的数据元信息，则监听服务器上的数据业务名称为A的数据元信息。
S230，监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据。
可选的，所述监听到的数据元信息发生变更，包括：
监听到的数据元信息中的版本号发生变更。
其中，所述版本号的变更可以为从低版本号更新为高版本号，也可以为从高版本号回滚为低版本号，本发明实施例对此不进行限制。
其中，所述数据元信息中的版本号发生变更的原因可以为业务方发起新的数据配送，进而导致数据元信息中的版本号发生变化，也可以为业务方一端存在用于选择版本号的界面，业务方选择版本号之后，相应的服务器中的数据元信息就会对应修改，例如可以是，若业务方一端的界面中存在：版本号6、版本号7、版本号8对应的图标，业务方选择版本号6对应的图标，若业务方未进行操作之前服务器中的数据元信息对应的版本号为版本号8，则根据业务方对版本号6的触控操作，将服务器中数据元信息更改为版本号6对应的数据元信息。
具体的，根据所述数据业务名称监听服务器上的数据元信息，监听到数据元信息中的版本号发生变更。例如可以是，若配置用于监听的资源代理监听数据业务名称为A的数据元信息，则监听数据业务名称为A的数据元信息，监听到数据业务名称为A的数据元信息中的版本号发生变更，从版本号7变更为版本号8。
S240，如果本机不存在，则向服务器获取变更后的数据元信息对应的数据。
可选的，向所述服务器获取变更后的数据元信息对应的数据之后，还包括：
根据数据类型对获取到的数据进行存储或者解压处理。
其中，所述数据类型可以为压缩文件，也可以为普通文件，本发明实施例对此不进行限制。
具体的，若数据类型为压缩文件，则在资源代理向所述服务器获取变更后的数据元信息对应的数据后，需要进行解操作；若数据类型为普通文件，则在在资源代理向所述服务器获取变更后的数据元信息对应的数据后，直接对数据进行存储。
可选的，向所述服务器获取变更后的数据元信息对应的数据之后，还包括：
删除配置的用于监听的资源代理。
具体的，若需要增加或者删除网络节点，只需要在该网络节点部署或者删除资源代理即可。
在一个具体的例子中，数据配送需要通过网络在不同机器间传输数据。目前常用的在两台机器间传输数据的工具有scp，rsync和ansible等。scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。scp支持口令认证或者ssh认证。rsync是Unix下的一款应用软件，它能同步更新两处计算机的文件与目录，并适当利用rsync算法以减少数据传输量。相比scp，rsync可以做到断点续传和文件增量更新。传输效率要比scp高。Ansible是一个自动化运维工具，以调用ssh远程命令的方式，支持多节点发布、远程任务执行。Ansible一个优点是提供了ip分组管理的功能，可以将某些ip归属到某个或者多个分组下。借助Ansible可以对批量机器实现便捷管理。scp和rsync都是比较底层的工具，不能很好实现批量节点间的数据同步问题。Ansible支持机器分组管理，可以实现文件批量节点间传输。但无法满足网络节点动态变化的问题。
在本实施例中，如图2B所示，数据元信息主要包括以下内容：数据业务名称：一个全局唯一的名称，用于标识业务。版本号：数据集会需要不断更新，每次更新都为本次产生的数据打上一个唯一的版本标识。数据存储类型及地址：业务方产生的数据需要先保存到一个全网可访问的文件服务，如ftp或者hdfs，并告知存储地址。Resource angent根据远端存储类型和地址采用相应的拉取策略。数据类型：数据类型用于告知resource agent在拉取到数据后，如何将数据保存到本地。如数据可能使用一个压缩文件保存，resource agent在下载完成后需要解压。业务方在每次发起一次新的数据配送时，先将数据保存到一个全网可访问的服务器，再向配置中注册本次数据的元信息。Resource agent主要负责从远端文件服务器拉取数据内容，采取相应的解析动作将数据保存到本地文件***或者写入redis等其他存储。每个Resource agent都配置了自己需要关心哪些数据，通过数据业务名称监听数据元信息的变化。一旦数据元信息发生变更则自动触发传输动作。每个网络节点都会部署一个resource agent。增加或者删除一个网络节点时，只需要在该网络节点部署或者删除相应的网络节点即可。Resource agent会在本地为每个业务数据保存最近几个版本的原始内容快照。当需要将数据回滚回某个旧的版本时，业务方只需要在配置中心将对应的数据元信息更新为该就版本数据的数据元信息即可。Resource agent会先检查本地是否已有该版本数据，如果没有则重新下载。提供了数据回滚操作的效率。
如图2C所示，业务方根据需求在至少一个网络节点上部署资源代理，至少一个网络节点根据自己需要关心的数据属性配置资源代理。网络节点通过资源代理监听服务器上的数据元信息。如图2D所示，业务方生成数据，并将数据发送至服务器；服务器获取数据存储类型以及数据存储地址，根据业务方生成的数据，确定数据业务名称、版本号以及数据存储类型。根据发送方发送的数据、数据存储类型以及数据存储地址服务器生成数据元信息，网络节点通过资源代理监听服务器上的数据元信息，在监听到数据元信息发生改变后，网络节点确定本机是否存在变更后的数据元信息对应的数据，若不存在，则向服务器获取变更后的数据元信息对应的数据。
本发明实施例，通过resource agent监听数据元信息，实现了数据配送随网络节点动态变化而自动适应。对数据引入了版本控制，方便对数据进行迭代发布。
本实施例的技术方案，通过配置用于监听的资源代理，监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据，企业方根据需求在至少一个网络节点上部署资源代理，网络节点根据自己需要关心的数据属性配置资源代理，网络节点网络节点通过资源代理对数据元信息进行监听，当数据元信息发生变更时，若网络节点本机不存在变更后的数据元信息对应的数据，则向服务器获取变更后的数据元信息对应的数据能够实现数据配送随网络节点动态变化而自动适应。
实施例三
图3为本发明实施例三提供的一种数据配送装置的结构示意图。本实施例可适用于数据配送的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供数据配送的功能的设备中，如图3所示，所述数据配送装置具体包括：监听模块310、确定模块320和获取模块330。
其中，监听模块310，用于监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；
确定模块320，用于监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；
获取模块330，用于如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据。
可选的，还包括：
配置模块，用于在所述监听服务器上的数据元信息之前，配置用于监听的资源代理。
可选的，所述数据元信息包括：数据业务名称、版本号、数据存储类型、数据存储地址以及数据类型。
可选的，所述监听模块包括：
数据元信息监听单元，用于根据所述数据业务名称监听服务器上的数据元信息。
可选的，确定模块具体用于：
监听到的数据元信息中的版本号发生变更。
可选的，还包括：
处理单元，用于在向所述服务器获取变更后的数据元信息对应的数据之后，根据数据类型对获取到的数据进行存储或者解压处理。
可选的，还包括：
删除模块，用于在向所述服务器获取变更后的数据元信息对应的数据之后，删除配置的用于监听的资源代理。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本实施例的技术方案，通过监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据，网络节点对数据元信息进行监听，当数据元信息发生变更时，若网络节点本机不存在变更后的数据元信息对应的数据，则向服务器获取变更后的数据元信息对应的数据，能够实现数据配送随网络节点动态变化而自动适应。
实施例四
图4为本发明实施例四中的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据配送方法：监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的数据配送方法：监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是，上述仅为本发明的较佳实施例。本领域技术人员可以理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然以上实施例对本发明进行了较为详细的说明，但是本发明不仅局限于此，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。
Claims (11)
1.一种数据配送方法，其特征在于，所述方法应用于网络节点，包括：
监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；
监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；
如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据。
2.根据权利要求1所述的方法，其特征在于，所述监听服务器上的数据元信息之前，还包括：
配置用于监听的资源代理。
3.根据权利要求2所述的方法，其特征在于，所述数据元信息包括：数据业务名称、版本号、数据存储类型、数据存储地址以及数据类型。
4.根据权利要求3所述的方法，其特征在于，所述监听服务器上的数据元信息，包括：
根据所述数据业务名称监听服务器上的数据元信息。
5.根据权利要求3所述的方法，其特征在于，所述监听到的数据元信息发生变更，包括：
监听到的数据元信息中的版本号发生变更。
6.根据权利要求3所述的方法，其特征在于，向所述服务器获取变更后的数据元信息对应的数据之后，还包括：
根据数据类型对获取到的数据进行存储或者解压处理。
7.根据权利要求1-6任一项所述的方法，其特征在于，向所述服务器获取变更后的数据元信息对应的数据之后，还包括：
删除配置的用于监听的资源代理。
8.一种数据配送装置，其特征在于，包括：
监听模块，用于监听服务器上的数据元信息，其中，所述数据元信息为服务器根据业务方发送的数据、数据存储类型以及数据存储地址生成的；
确定模块，用于监听到的数据元信息发生变更时，确定本机是否存在变更后的数据元信息对应的数据；
获取模块，用于如果本机不存在，则向所述服务器获取变更后的数据元信息对应的数据。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
11.一种数据配送***，包括：网络节点，业务方以及服务器，所述网络节点设置如权利要求9所述的计算机设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811643691.1A CN111385334B (zh) | 2018-12-29 | 2018-12-29 | 一种数据配送方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811643691.1A CN111385334B (zh) | 2018-12-29 | 2018-12-29 | 一种数据配送方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111385334A true CN111385334A (zh) | 2020-07-07 |
| CN111385334B CN111385334B (zh) | 2023-06-30 |
Family
ID=71216076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811643691.1A Active CN111385334B (zh) | 2018-12-29 | 2018-12-29 | 一种数据配送方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111385334B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685503A (zh) * | 2021-01-04 | 2021-04-20 | 上海圣剑网络科技股份有限公司 | 基于自动化运维工具的数据处理方法、装置及*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007201719A (ja) * | 2006-01-25 | 2007-08-09 | Sii Data Service Kk | 一斉データ配信システムおよび一斉データ配信方法 |
| CN102347989A (zh) * | 2011-10-25 | 2012-02-08 | 百度在线网络技术（北京）有限公司 | 基于资源描述符号的数据配送方法及配送*** |
| CN103561314A (zh) * | 2013-10-12 | 2014-02-05 | 深圳市同洲电子股份有限公司 | 一种更新节目信息的方法及终端 |
| JP2014096018A (ja) * | 2012-11-09 | 2014-05-22 | Hitachi Ltd | データ構造管理装置 |
| CN105988881A (zh) * | 2015-02-10 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 用于处理资源访问操作信息的方法与设备 |
| CN107818118A (zh) * | 2016-09-14 | 2018-03-20 | 北京百度网讯科技有限公司 | 数据存储方法和装置 |
| CN108108286A (zh) * | 2018-01-03 | 2018-06-01 | 上海众人网络安全技术有限公司 | 数据收集方法和装置、服务器、存储介质 |
| WO2018098761A1 (zh) * | 2016-11-30 | 2018-06-07 | 华为技术有限公司 | 数据传输方法及设备 |
-
2018
- 2018-12-29 CN CN201811643691.1A patent/CN111385334B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007201719A (ja) * | 2006-01-25 | 2007-08-09 | Sii Data Service Kk | 一斉データ配信システムおよび一斉データ配信方法 |
| CN102347989A (zh) * | 2011-10-25 | 2012-02-08 | 百度在线网络技术（北京）有限公司 | 基于资源描述符号的数据配送方法及配送*** |
| JP2014096018A (ja) * | 2012-11-09 | 2014-05-22 | Hitachi Ltd | データ構造管理装置 |
| CN103561314A (zh) * | 2013-10-12 | 2014-02-05 | 深圳市同洲电子股份有限公司 | 一种更新节目信息的方法及终端 |
| CN105988881A (zh) * | 2015-02-10 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 用于处理资源访问操作信息的方法与设备 |
| CN107818118A (zh) * | 2016-09-14 | 2018-03-20 | 北京百度网讯科技有限公司 | 数据存储方法和装置 |
| WO2018098761A1 (zh) * | 2016-11-30 | 2018-06-07 | 华为技术有限公司 | 数据传输方法及设备 |
| CN108108286A (zh) * | 2018-01-03 | 2018-06-01 | 上海众人网络安全技术有限公司 | 数据收集方法和装置、服务器、存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685503A (zh) * | 2021-01-04 | 2021-04-20 | 上海圣剑网络科技股份有限公司 | 基于自动化运维工具的数据处理方法、装置及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111385334B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9612919B2 (en) | Methods and apparatus for storing and transmitting historical configuration data associated with information technology assets | |
| US8910138B2 (en) | Hot pluggable extensions for access management system | |
| WO2023109138A1 (zh) | Linux***中启动安卓应用的方法、装置和电子设备 | |
| US9189303B2 (en) | Shadow queues for recovery of messages | |
| US10216601B2 (en) | Agent dynamic service | |
| JP2004280838A (ja) | プリンタコネクションを管理する方法及びプリンタコネクション管理フレームワーク | |
| CN110520844A (zh) | 云管理平台、虚拟机管理方法及其*** | |
| US10404568B2 (en) | Agent manager for distributed transaction monitoring system | |
| CN115640110B (zh) | 分布式云计算***调度方法和装置 | |
| JP2002101120A (ja) | 通信方法および情報処理装置 | |
| CN109522043B (zh) | 一种配置数据的管理方法、装置及存储介质 | |
| CN111818145B (zh) | 一种文件传输方法、装置、***、设备及存储介质 | |
| US20070038959A1 (en) | Resource presentation convergence | |
| CN111385334B (zh) | 一种数据配送方法、装置、设备及存储介质 | |
| CN110798358B (zh) | 分布式服务标识方法、装置、计算机可读介质及电子设备 | |
| CN112035062A (zh) | 云计算的本地存储的迁移方法、计算机设备及存储介质 | |
| KR102665749B1 (ko) | 클라우드 저하 모드에서 지속적인 디바이스 동작 안정성을 보장하기 위한 방법 및 장치 | |
| CN112230978A (zh) | 一种多数据源动态切换方法、电子设备及存储介质 | |
| CN109445966B (zh) | 事件处理方法、装置、介质和计算设备 | |
| US10073689B2 (en) | Managing application lifecycles within a federation of distributed software applications | |
| CN108833147B (zh) | 一种配置信息的更新方法和装置 | |
| CN111124291A (zh) | 分布式存储***的数据存储处理方法、装置、电子设备 | |
| CN112181470B (zh) | 一种部署补丁的方法和装置 | |
| CN110764882B (zh) | 分布式管理方法、分布式管理***及装置 | |
| CN114006812B (zh) | 网络设备的配置方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231008 Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd. Address before: 511400 floor 23-39, building B-1, Wanda Plaza North, Wanbo business district, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |