CN111835812B - 全球的数据获取方法、装置、电子设备及计算机存储介质 - Google Patents
全球的数据获取方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN111835812B CN111835812B CN201911108099.6A CN201911108099A CN111835812B CN 111835812 B CN111835812 B CN 111835812B CN 201911108099 A CN201911108099 A CN 201911108099A CN 111835812 B CN111835812 B CN 111835812B
- Authority
- CN
- China
- Prior art keywords
- data
- overseas
- node
- data node
- domestic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种全球的数据获取方法、装置、电子设备及计算机可读存储介质，涉及数据处理领域。该方法包括：当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；将所述境外更新数据发送至预设的境内数据结点，以使得所述境内数据结点将所述境外更新数据与境内更新数据进行整合，得到目标更新数据；所述境内更新数据为所述境内数据结点在满足所述预设条件时获取得到。本申请实现了针对全球的数据的获取。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，本申请涉及一种全球的数据获取方法、装置、电子设备及计算机可读存储介质。
背景技术
目前的全球数据收集方案中，通常是通过一个节点来收集全球数据，但是，任意单一节点都无法实现收集全球数据的功能，要么网速慢，要么数据传输中丢包数高，甚至于部分国家和国家之间无法实现数据互通。
而且，在进行数据互通时，通常都是采用FTP(File Transfer Protocol，文件传输协议)、BT(Bit Torrent，比特流)、区块链、rsync等方式进行部署，但是FTP、BT，以及区域链的部署成本太高、部署太繁琐，同时FTP无法保证数据安全；而使用rsync的方式延时高、丢包率较高，稳定性较差，导致全球数据收集的效果较差。
发明内容
本申请提供了一种全球的数据获取的方法、装置、电子设备及计算机可读存储介质，可以解决“采集全球数据”部署方案的问题。所述技术方案如下：
第一方面，提供了一种全球的数据获取的方法，该方法包括：
当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；
将所述境外更新数据发送至预设的境内数据结点，以使得所述境内数据结点将所述境外更新数据与境内更新数据进行整合，得到目标更新数据；所述境内更新数据为所述境内数据结点在满足所述预设条件时获取得到。
优选地，所述境外数据结点包括第一境外数据结点和多个第二境外数据结点，所述第一境外数据结点和多个第二境外数据结点分别设置有日志信息；
所述当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，包括：
当所述第一境外数据结点检测到第一境外数据结点或多个第二境外数据结点中至少一个数据结点的日志信息发生更新时，基于发生更新的日志信息从所述至少一个数据结点获取对应的境外更新数据。
优选地，所述日志信息设置有时间信息；
所述当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，包括：
当检测到当前时间信息超过预设时间信息阈值时，所述第一境外数据结点获取所述第一境外数据结点和各个第二境外数据结点中的各个更新日志信息；所述更新日志信息的时间信息不超过所述预设时间信息阈值；
基于各个更新日志信息从所述第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据。
优选地，所述日志信息通过如下方式生成：
当任一数据结点接收到数据更新指令时，基于所述数据更新指令对所述任一数据结点中的数据进行数据更新，得到更新后的数据，并生成对应的日志信息；所述数据更新包括增加数据、删除数据，或者修改数据中的至少一项。
优选地，在将所述境外更新数据发送至预设的境内数据结点的步骤之前，还包括：
对所述境外更新数据进行验证；
将所述境外更新数据发送至预设的境内数据结点，包括：
若验证通过，则将所述境外更新数据发送至所述境内数据结点；若验证失败，则继续执行当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，直至验证通过。
第二方面，提供了一种全球的数据获取的装置，该装置包括：
获取模块，用于当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；
发送模块，用于将所述境外更新数据发送至预设的境内数据结点，以使得所述境内数据结点将所述境外更新数据与境内更新数据进行整合，得到目标更新数据；所述境内更新数据为所述境内数据结点在满足所述预设条件时获取得到。
优选地，所述境外数据结点包括第一境外数据结点和多个第二境外数据结点，所述第一境外数据结点和多个第二境外数据结点分别设置有日志信息；
所述获取模块具体用于：
当所述第一境外数据结点检测到第一境外数据结点或多个第二境外数据结点中至少一个数据结点的日志信息发生更新时，基于发生更新的日志信息从所述至少一个数据结点获取对应的境外更新数据。
优选地，所述日志信息设置有时间信息；
所述获取模块包括：
日志信息获取子模块，用于当检测到当前时间信息超过预设时间信息阈值时，所述第一境外数据结点获取所述第一境外数据结点和各个第二境外数据结点中的各个更新日志信息；所述更新日志信息的时间信息不超过所述预设时间信息阈值；
更新数据获取子模块，用于基于各个更新日志信息从所述第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据。
优选地，所述日志信息通过如下方式生成：
当任一数据结点接收到数据更新指令时，基于所述数据更新指令对所述任一数据结点中的数据进行数据更新，得到更新后的数据，并生成对应的日志信息；所述数据更新包括增加数据、删除数据，或者修改数据中的至少一项。
优选地，还包括：
验证模块，用于在将所述境外更新数据发送至预设的境内数据结点的步骤之前，对所述境外更新数据进行验证；
所述发送模块具体用于：
若验证通过，则将所述境外更新数据发送至所述境内数据结点；若验证失败，则继续调用所述获取模块和所述验证模块，直至验证通过。
第三方面，提供了一种电子设备，该电子设备包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面所示的全球的数据获取的方法对应的操作。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的全球的数据获取的方法
本申请提供的技术方案带来的有益效果是：
在本发明实施例中，当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据，然后将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。这样，境外数据结点获取所有的境外更新数据，境内数据结点获取所有的境内更新数据，然后在境内数据结点中将所有的境外更新数据和所有的境内更新数据进行整合，从而得到了全球的更新数据，实现了针对全球的数据的获取。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请一个实施例提供的一种全球的数据获取方法的流程示意图；
图2为本申请另一实施例提供的一种全球的数据获取方法的流程示意图；
图3为本申请又一实施例提供的一种全球的数据获取装置的结构示意图；
图4为本申请又一实施例提供的一种全球的数据获取的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的全球的数据获取方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
在一个实施例中提供了一种全球的数据获取的方法，如图1所示，该方法包括：
步骤S101，当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；
本申请可以应用于获取全球的任意数据，比如文件数据、用户使用应用程序生成的数据、金融数据等等。
具体而言，本申请通过数据结点来获取数据，数据结点包括境外数据结点和境内数据结点。
在实际应用中，管理人员可以预先在境外数据结点和境内数据结点中分别配置获取数据的预设条件，当满足该预设条件时，境外数据结点和境内数据结点即可开始获取更新数据。
其中，各个数据结点可以用来存储数据，当数据结点中的数据发生更新时，更新的数据即为更新数据。比如，用户上传了数据到境内数据结点，那么该数据信息就是更新数据。
步骤S102，将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。
具体而言，境外数据结点在获取到所有的境外更新数据后，将所有的境外更新数据发送到境内数据结点，境内数据结点将获取到的境内更新数据和境外更新数据进行整合，从而得到目标更新数据，即，所有数据结点中的更新数据。
在本发明实施例中，当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据，然后将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。这样，境外数据结点获取所有的境外更新数据，境内数据结点获取所有的境内更新数据，然后在境内数据结点中将所有的境外更新数据和所有的境内更新数据进行整合，从而得到了全球的更新数据，实现了针对全球的数据的获取。
在另一个实施例中提供了一种全球的数据获取的方法，如图2所示，该方法包括：
步骤S201，当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；
本申请可以应用于获取全球的任意数据，比如文件数据、用户使用应用程序生成的数据、金融数据等等。
具体而言，本申请通过数据结点来获取数据，数据结点包括境外数据结点和境内数据结点。
在实际应用中，管理人员可以预先在境外数据结点和境内数据结点中分别配置获取数据的预设条件，当满足该预设条件时，境外数据结点和境内数据结点即可开始获取更新数据。
其中，各个数据结点可以用来存储数据，当数据结点中的数据发生更新时，更新的数据即为更新数据。比如，用户上传了某个文件到境内数据结点，那么该文件就是更新数据。
进一步，为了实现通过各个数据结点即可获取全球的数据，本申请中可以设置一个境内数据结点和多个境外数据结点。
需要说明的是，上述数据结点的部署方案只是一种优选方案，在实际应用中，可以根据实际需求设置一定数量的境内数据结点和境外数据结点，而且各个数据结点的地址也可以根据实际需求进行设置，本申请对此不作限制。
在本申请中，各个数据结点中还分别设置了获取数据的规则，比如就近原则。在实际应用中，各个数据结点都会配置IP(Intermet Protocol，网际互连协议)地址、DNS(Domain Name System，域名***)，这样，各个数据结点就可以基于数据的IP地址、DNS来获取数据了。
在本发明一种优选实施例中，境外数据结点包括第一境外数据结点和多个第二境外数据结点，第一境外数据结点和多个第二境外数据结点分别设置有日志信息；
当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，包括：
当第一境外数据结点检测到第一境外数据结点或多个第二境外数据结点中至少一个数据结点的日志信息发生更新时，基于发生更新的日志信息从至少一个数据结点获取对应的境外更新数据。
在实际应用中，因为各个境外数据结点的位置是不相同的，如果将每个境外数据结点获取到的数据直接传输到境内数据结点，那么可能会出现网络信息不通、延迟高、丢包率高等情况，所以，为了避免这些情况，本申请中将多个境外数据中与境内数据结点距离最短的境外数据结点设置为第一境外数据结点，其它境外数据结点设置为第二境外数据结点，在获取数据时，第一境外结点用于获取第一境外结点和各个第二境外结点中的更新数据。
具体地，各个数据结点中都设置了日志信息，当第一境外数据结点检测到第一境外数据结点或多个第二境外数据结点中至少一个数据结点的日志信息发生更新时，基于发生更新的日志信息从至少一个数据结点获取对应的境外更新数据。也就是说，在本申请中，当任一数据结点中的日志信息发生更新时，就可以获取对应的更新数据。
在本发明一种优选实施例中，日志信息设置有时间信息；
当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，包括：
当检测到当前时间信息超过预设时间信息阈值时，第一境外数据结点获取第一境外数据结点和各个第二境外数据结点中的各个更新日志信息；更新日志信息的时间信息不超过预设时间信息阈值；
基于各个更新日志信息从第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据。
具体而言，日志信息可以设置有时间信息，比如年、月、日、时、分、秒等，同时，各个数据结点中还会设置时间信息阈值，当第一境外数据结点检测到当前时间信息超过预设时间信息阈值时，即可获取第一境外数据结点和各个第二境外数据结点中的各个更新日志信息，然后基于各个更新日志信息从第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据；其中，更新日志信息的时间信息不超过预设时间信息阈值。
比如，设置的时间信息阈值为每日的零点，当第一境外数据结点检测到当前时间信息超过零点时，即可获取第一境外数据结点和各个第二境外数据结点中发生更新的日志信息，其中，发生更新的日志信息的时间信息为上一次获取更新数据之后、不超过本次时间信息阈值，比如，当前时间为2019年10月31日17:46:59，设置的时间信息阈值为2019年11月1日00:00:00，那么当当前时间超过了时间信息阈值时，比如当当前时间为2019年11月1日00:00:01时，第一境外数据结点就获取第一境外数据结点和各个第二境外数据结点中的各个更新日志信息，其中，各个更新日志信息的时间信息为2019年10月31日00:00:00(上一次获取数据)～2019年10月31日23:59:59，然后第一境外数据结点依据各个更新日志信息从第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据。
其中，日志信息通过如下方式生成：
当任一数据结点接收到数据更新指令时，基于数据更新指令对任一数据结点中的数据进行数据更新，得到更新后的数据，并生成对应的日志信息；数据更新包括增加数据、删除数据，或者修改数据中的至少一项。
具体而言，用户针对任一数据结点中存储的数据进行更新时，该数据结点都会针对该更新生成对应的日志信息，比如，用户向某个数据结点上传了某个文件，那么就可以基于用户上传的文件的相关信息、上传的时间(日志信息的时间信息)、文件的存储地址等信息，生成对应的日志信息。
其中，对数据的更新可以包括但不限于增加数据、删除数据，或者修改数据中的至少一项。
另外，各个数据结点中都安装有nginx和lua框架，用于收集日志信息、保存日志信息等。当然，其它用于收集日志信息、保存日志信息的方式也是适用于本申请的，本申请对此不作限制。
而且，数据收集和数据传输还采用了数据加密解密技术，保证数据不被截取破解。
需要说明的是，当满足获取数据的预设条件时，除了境外数据结点获取境外更新数据之外，境内数据结点也可以获取境内的更新数据，具体的获取方法可参考前述获取方法，在此就不赘述了。
进一步，在本申请中，各个数据结点中还可以安装有HDFS(Hadoop DistributedFile System，Hadoop分布式文件***)，HDFS用于存储数据的，但是HDFS并不能被直接访问，所以，为了访问HDFS中存储的数据，还需要挂载UNIX服务器，挂载了UNIX服务器后的数据结点就相当于一个存储容器，从而可以从数据结点中获取更新数据，以及进行数据验证和核对数据了。
更进一步，各个数据结点还安装有flume+kafka，用于实时监控各个节点的日志数据和传输更新数据。
其中，Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的***，Flume用于收集数据，并且支持在日志***中定制各类数据发送方；同时，Flume具备对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
Kafka是开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
步骤S202，对境外更新数据进行验证；
具体而言，本申请还设置有数据上传工具，具有文件签名、失败重传等功能，用于保证文件的准确性，因此，第一境外数据结点在获取到所有的境外更新数据后，可以通过数据上传工具对境外更新数据进行验证。
步骤S203，将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。
具体而言，第一境外数据结点实时和准实时两种方式获取到本地的更新数据和各个第二境外数据结点的更新数据后，将所有的境外更新数据发送到境内数据结点，境内数据结点将获取到的境内更新数据和境外更新数据进行整合，从而得到目标更新数据，即，所有数据结点中的更新数据。
在本发明一种优选实施例中，将境外更新数据发送至预设的境内数据结点，包括：
若验证通过，则将境外更新数据发送至境内数据结点；若验证失败，则继续执行当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，直至验证通过，从而可以提升数据质量，减少脏数据的输入，减少后期的存储成本和计算成本。
因为数据上传工具具有失败重传的功能，所以，在实际应用中，当第一境外数据结点在获取各个第二境外数据结点的更新数据时，如果某些数据验证失败，则可以进行重传，直至这些数据验证成功。同理，境外数据结点从第一境外数据结点获取所有的境外更新数据时，也可以采用这种方式，在此就不赘述了。
另外，实时数据捕捉时，flume会捕捉变化的更新数据，并把数据上传到kafka，存储在kafka消息队列中，消息队列有一定的存储周期，所以当数据获取失败时候，下次获取数据可以从上次失败的偏移量继续获取。保证数据不丢失。
在本发明实施例中，当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据，然后将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。这样，境外数据结点获取所有的境外更新数据，境内数据结点获取所有的境内更新数据，然后在境内数据结点中将所有的境外更新数据和所有的境内更新数据进行整合，从而得到了全球的更新数据，实现了针对全球的数据的获取。
进一步，通过指定的境外数据结点获取其它所有的境外数据结点中的更新数据和本地的更新数据，避免了境内数据结点分别从各个境外数据结点直接获取更新数据时，由于传输距离太长导致稳定性较差的情况，提高了数据传输的稳定性。同时，采用hadoop-HDFS、Unix服务器，以及flume+kafka的方式进行数据传输，相对于现有的FTP、BT、区块链、rsync等方式，部署更简洁，成本更低，大大降低了人力成本和财力成本。
图3为本申请又一实施例提供的一种全球的数据获取装置的结构示意图，如图3所示，本实施例的装置可以包括：
获取模块301，用于当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；
发送模块302，用于将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。
在本发明一种优选实施例中，境外数据结点包括第一境外数据结点和多个第二境外数据结点，第一境外数据结点和多个第二境外数据结点分别设置有日志信息；
获取模块具体用于：
当第一境外数据结点检测到第一境外数据结点或多个第二境外数据结点中至少一个数据结点的日志信息发生更新时，基于发生更新的日志信息从至少一个数据结点获取对应的境外更新数据。
在本发明一种优选实施例中，日志信息设置有时间信息；
获取模块包括：
日志信息获取子模块，用于当检测到当前时间信息超过预设时间信息阈值时，第一境外数据结点获取第一境外数据结点和各个第二境外数据结点中的各个更新日志信息；更新日志信息的时间信息不超过预设时间信息阈值；
更新数据获取子模块，用于基于各个更新日志信息从第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据。
在本发明一种优选实施例中，日志信息通过如下方式生成：
当任一数据结点接收到数据更新指令时，基于数据更新指令对任一数据结点中的数据进行数据更新，得到更新后的数据，并生成对应的日志信息；数据更新包括增加数据、删除数据，或者修改数据中的至少一项。
在本发明一种优选实施例中，还包括：
验证模块，用于在将境外更新数据发送至预设的境内数据结点的步骤之前，对境外更新数据进行验证；
发送模块具体用于：
若验证通过，则将境外更新数据发送至境内数据结点；若验证失败，则继续调用获取模块和验证模块，直至验证通过。
本实施例的全球的数据获取装置可执行本申请第一个实施例所示的全球的数据获取方法，其实现原理相类似，此处不再赘述。
在本发明实施例中，当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据，然后将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。这样，境外数据结点获取所有的境外更新数据，境内数据结点获取所有的境内更新数据，然后在境内数据结点中将所有的境外更新数据和所有的境内更新数据进行整合，从而得到了全球的更新数据，实现了针对全球的数据的获取。
进一步，通过指定的境外数据结点获取其它所有的境外数据结点中的更新数据和本地的更新数据，避免了境内数据结点分别从各个境外数据结点直接获取更新数据时，由于传输距离太长导致稳定性较差的情况，提高了数据传输的稳定性。同时，采用hadoop-HDFS、Unix服务器，以及flume+kafka的方式进行数据传输，相对于现有的FTP、BT、区块链、rsync等方式，部署更简洁，成本更低，大大降低了人力成本和财力成本。
本申请的又一实施例中提供了一种电子设备，该电子设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比可实现：当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据，然后将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。这样，境外数据结点获取所有的境外更新数据，境内数据结点获取所有的境内更新数据，然后在境内数据结点中将所有的境外更新数据和所有的境内更新数据进行整合，从而得到了全球的更新数据，实现了针对全球的数据的获取。
在一个可选实施例中提供了一种电子设备，如图4所示，图4所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI总线或EISA总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据，然后将境外更新数据发送至预设的境内数据结点，以使得境内数据结点将境外更新数据与境内更新数据进行整合，得到目标更新数据；境内更新数据为境内数据结点在满足预设条件时获取得到。这样，境外数据结点获取所有的境外更新数据，境内数据结点获取所有的境内更新数据，然后在境内数据结点中将所有的境外更新数据和所有的境内更新数据进行整合，从而得到了全球的更新数据，实现了针对全球的数据的获取。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种全球的数据获取方法，其特征在于，所述方法包括：
当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；所述境外数据结 点包括第一境外数据结点和至少一个第二境外数据结点；所述第一境外数据结点为距离境内数据节点最近的境外数据结点；
通过所述第一境外数据结点将所述境外更新数据发送至预设的境内数据结点，以使得所述境内数据结点将所述境外更新数据与境内更新数据进行整合，得到目标更新数据；所述境内更新数据为所述境内数据结点在满足所述预设条件时获取得到。
2.根据权利要求1所述的全球的数据获取方法，其特征在于，所述境外数据结点包括第一境外数据结点和多个第二境外数据结点，所述第一境外数据结点和多个第二境外数据结点分别设置有日志信息；
所述当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，包括：
当所述第一境外数据结点检测到第一境外数据结点或多个第二境外数据结点中至少一个数据结点的日志信息发生更新时，基于发生更新的日志信息从所述至少一个数据结点获取对应的境外更新数据。
3.根据权利要求2所述的全球的数据获取方法，其特征在于，所述日志信息设置有时间信息；
所述当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，包括：
当检测到当前时间信息超过预设时间信息阈值时，所述第一境外数据结点获取所述第一境外数据结点和各个第二境外数据结点中的各个更新日志信息；所述更新日志信息的时间信息不超过所述预设时间信息阈值；
基于各个更新日志信息从所述第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据。
4.根据权利要求2或3所述的全球的数据获取方法，其特征在于，所述日志信息通过如下方式生成：
当任一数据结点接收到数据更新指令时，基于所述数据更新指令对所述任一数据结点中的数据进行数据更新，得到更新后的数据，并生成对应的日志信息；所述数据更新包括增加数据、删除数据，或者修改数据中的至少一项。
5.根据权利要求1至3任一所述的全球的数据获取方法，其特征在于，在将所述境外更新数据发送至预设的境内数据结点的步骤之前，还包括：
对所述境外更新数据进行验证；
将所述境外更新数据发送至预设的境内数据结点，包括：
若验证通过，则将所述境外更新数据发送至所述境内数据结点；若验证失败，则继续执行当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据的步骤，直至验证通过。
6.一种全球的数据获取装置，其特征在于，包括：
获取模块，用于当满足获取数据的预设条件时，预设的境外数据结点获取境外更新数据；所述境外数据结点包括第一境外数据结点和至少一个第二境外数据结点；所述第一境外数据结点为距离境内数据结点最近的境外数据结点；
发送模块，用于通过所述第一境外数据结点将所述境外更新数据发送至预设的境内数据结点，以使得所述境内数据结点将所述境外更新数据与境内更新数据进行整合，得到目标更新数据；所述境内更新数据为所述境内数据结点在满足所述预设条件时获取得到。
7.根据权利要求6所述的全球的数据获取装置，其特征在于，所述境外数据结点包括第一境外数据结点和多个第二境外数据结点，所述第一境外数据结点和多个第二境外数据结点分别设置有日志信息；
所述获取模块具体用于：
当所述第一境外数据结点检测到第一境外数据结点或多个第二境外数据结点中至少一个数据结点的日志信息发生更新时，基于发生更新的日志信息从所述至少一个数据结点获取对应的境外更新数据。
8.根据权利要求7所述的全球的数据获取装置，其特征在于，所述日志信息设置有时间信息；
所述获取模块包括：
日志信息获取子模块，用于当检测到当前时间信息超过预设时间信息阈值时，所述第一境外数据结点获取所述第一境外数据结点和各个第二境外数据结点中的各个更新日志信息；所述更新日志信息的时间信息不超过所述预设时间信息阈值；
更新数据获取子模块，用于基于各个更新日志信息从所述第一境外数据结点和各个第二境外数据结点分别获取对应的更新数据。
9.一种电子设备，其特征在于，其包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行上述权利要求1-5中任一项所述的全球的数据获取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1-5中任一项所述的全球的数据获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911108099.6A CN111835812B (zh) | 2019-11-13 | 2019-11-13 | 全球的数据获取方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911108099.6A CN111835812B (zh) | 2019-11-13 | 2019-11-13 | 全球的数据获取方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111835812A CN111835812A (zh) | 2020-10-27 |
| CN111835812B true CN111835812B (zh) | 2023-01-31 |
Family
ID=72912669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911108099.6A Active CN111835812B (zh) | 2019-11-13 | 2019-11-13 | 全球的数据获取方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111835812B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8997117B1 (en) * | 2012-10-02 | 2015-03-31 | Linkedin Corporation | System and method for creating personal connection alerts |
| CN108390914A (zh) * | 2018-01-23 | 2018-08-10 | 阿里巴巴集团控股有限公司 | 一种服务更新方法及装置、*** |
| CN109040183A (zh) * | 2018-06-27 | 2018-12-18 | 郑州云海信息技术有限公司 | 节点信息获取方法、装置、设备及计算机可读存储介质 |
| CN109379277A (zh) * | 2018-12-10 | 2019-02-22 | 深圳贝尔创意科教有限公司 | 一种基于路由寻址的分布式im通信方法及其装置 |
| CN109670126A (zh) * | 2018-11-27 | 2019-04-23 | 广东耐思智慧科技有限公司 | 一种跨境访问加速方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9912773B2 (en) * | 2016-05-25 | 2018-03-06 | New Asia Technology Development Limited | Systems and methods to prioritize and schedule notifications with user behaviour and contextual data analysis |
-
2019
- 2019-11-13 CN CN201911108099.6A patent/CN111835812B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8997117B1 (en) * | 2012-10-02 | 2015-03-31 | Linkedin Corporation | System and method for creating personal connection alerts |
| CN108390914A (zh) * | 2018-01-23 | 2018-08-10 | 阿里巴巴集团控股有限公司 | 一种服务更新方法及装置、*** |
| CN109040183A (zh) * | 2018-06-27 | 2018-12-18 | 郑州云海信息技术有限公司 | 节点信息获取方法、装置、设备及计算机可读存储介质 |
| CN109670126A (zh) * | 2018-11-27 | 2019-04-23 | 广东耐思智慧科技有限公司 | 一种跨境访问加速方法及装置 |
| CN109379277A (zh) * | 2018-12-10 | 2019-02-22 | 深圳贝尔创意科教有限公司 | 一种基于路由寻址的分布式im通信方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111835812A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11729129B2 (en) | Message quests for rapid re-hosting of client devices | |
| CN106850402B (zh) | 消息的传输方法和装置 | |
| US10530716B2 (en) | Voice chat mode self-adapting method and apparatus | |
| US10341469B2 (en) | Data transmission method and apparatus and data receiving method and apparatus | |
| CN108718347B (zh) | 一种域名解析方法、***、装置及存储介质 | |
| US8903972B2 (en) | Method and apparatus for sharing contents using information of group change in content oriented network environment | |
| US11044184B2 (en) | Data packet loss detection | |
| CN107347062A (zh) | 一种日志数据处理的方法、电子设备和可读存储介质 | |
| CN110430135B (zh) | 一种报文处理方法和装置 | |
| CN113259479B (zh) | 一种数据处理方法以及设备 | |
| CN111431871B (zh) | Tcp半透明代理的处理方法和装置 | |
| EP4030314A1 (en) | Blockchain-based data processing method, apparatus and device, and readable storage medium | |
| US20130034047A1 (en) | Method and system for communicating with web services using peer-to-peer technology | |
| US20150067066A1 (en) | Provisioning Communication Services using Proxy Server in a Cloud | |
| CN110460668B (zh) | 一种文件上传方法、装置、计算机设备和存储介质 | |
| JP2016537884A (ja) | リモートアクセス環境におけるクライアントサイドのフロー制御装置及び方法 | |
| US20140071803A1 (en) | Packet Loss Recovery on a Wireless Link in a Transmission Layer Protocol Session | |
| US10412778B2 (en) | Data transmission method and apparatus for data service | |
| CN112600703B (zh) | 网络设备远程访问故障定位方法及装置 | |
| CN111835812B (zh) | 全球的数据获取方法、装置、电子设备及计算机存储介质 | |
| CN116915827A (zh) | 物联网边缘网关的数据传输方法、装置、电子设备及介质 | |
| CN116684468A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN109617657B (zh) | 一种报文处理方法和装置 | |
| CN106664217B (zh) | 候选问题网络实体的标识的方法、***和介质 | |
| CN111865884B (zh) | 一种报文处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |