CN113824757B - 数据获取方法、***和计算机可读存储介质 - Google Patents

数据获取方法、***和计算机可读存储介质 Download PDF

Info

Publication number
CN113824757B
CN113824757B CN202011542688.8A CN202011542688A CN113824757B CN 113824757 B CN113824757 B CN 113824757B CN 202011542688 A CN202011542688 A CN 202011542688A CN 113824757 B CN113824757 B CN 113824757B
Authority
CN
China
Prior art keywords
data
hash value
hash
storage
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011542688.8A
Other languages
English (en)
Other versions
CN113824757A (zh
Inventor
黄健
韩红军
邱志辉
周梦丹
谭兆安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202011542688.8A priority Critical patent/CN113824757B/zh
Publication of CN113824757A publication Critical patent/CN113824757A/zh
Application granted granted Critical
Publication of CN113824757B publication Critical patent/CN113824757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提出一种数据获取方法、***和计算机可读存储介质，涉及计算机技术领域。在本公开中，在数据提供设备存储的数据有更新的情况下，数据获取***获取数据提供设备提供的第一数据；将第一数据进行保存，并获取第一数据的保存路径；将第一数据的保存路径进行保存；然后将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。采取主动推送的方式可以使得数据使用设备能够及时地获取到更新的数据或数据的信息。

Description

数据获取方法、***和计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种数据获取方法、***和计算机可读存储介质。
背景技术
金融类的应用***(即数据使用设备)通常需要使用金融基础数据作为应用***的基准数据，这些金融基础数据可以被保存在数据存储***上。如何能够从数据存储***上及时地获取这些金融基础数据的更新变成了需要面对的问题。
在一些相关技术中，采取数据存储***定时地向各个应用***发送这些金融基础数据的方式，或者，采取应用***在需要的时候主动向数据存储***发送请求，以获取这些金融基础数据的方式，使得应用***可以在需要时获取这些金融基础数据的更新。
发明内容
在相关技术中，定时发送和主动请求的方式都不能及时地使应用***获取到相应的金融基础数据。
为此，本公开提供一种能够及时获取数据的方法。
在本公开的实施例中，在数据提供设备存储的数据有更新的情况下，数据获取***获取数据提供设备提供的第一数据；将第一数据进行保存，获取第一数据的保存路径；将第一数据的保存路径进行保存；将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。在数据提供设备存储的数据有更新的情况下，数据获取***采取主动推送的方式将包含更新数据的第一数据推送给数据使用设备，可以使得数据使用设备能够及时地获取到更新的数据或数据的信息。
根据本公开的一些实施例，提供一种数据获取方法，包括：
在数据提供设备存储的数据有更新的情况下，获取数据提供设备提供的第一数据；
将第一数据进行保存，获取第一数据的保存路径；
将第一数据的保存路径进行保存；
将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取所述第一数据。
在一些实施例中，所述方法还包括：将第一数据进行保存之前，数据处理设备利用密钥对第一数据进行加密处理；将第一数据进行保存包括：数据存储设备将加密处理的第一数据进行保存。
在一些实施例中，将第一数据的保存路径或者第一数据推送给数据使用设备包括：判断第一数据的文件大小；在第一数据的文件大小大于预设阈值时，将第一数据的保存路径推送给数据使用设备，以使得数据使用设备根据第一数据的保存路径获取第一数据；在第一数据的文件大小不大于预设阈值时，将第一数据推送给数据使用设备。
在一些实施例中，获取数据提供设备提供的第一数据包括：
在当前数据提供设备式为增量数据的情况下，将数据提供设备提供的增量数据作为第一数据；或者，在当前数据提供设备式为全量数据的情况下，根据数据提供设备提供的全量数据与数据提供设备提供的历史数据，获取增量数据作为第一数据；或者，在当前数据提供设备式为差分数据的情况下，根据数据提供设备提供的差分数据与数据提供设备提供的历史数据，获取增量数据作为第一数据。
在一些实施例中，还包括：对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值；对根据第一数据的保存路径获取的第一数据进行哈希处理，得到第二哈希值；验证所述第一哈希数据和所述第二哈希数据的一致性，并在所述第一哈希数据和所述第二哈希数据不一致的情况下，重新获取第二哈希值并重新验证。
在一些实施例中，还包括：在所述第一哈希数据和所述第二哈希数据一致的情况下，对根据数据使用设备请求的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值；验证所述第二哈希数据和所述第三哈希数据的一致性，并在所述第二哈希数据和所述第三哈希数据不一致的情况下，重新获取第三哈希值并重新验证。
在一些实施例中，还包括：对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值；对根据数据使用设备请求的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值；验证所述第一哈希数据和所述第三哈希数据的一致性，并在所述第一哈希数据和所述第三哈希数据不一致的情况下，重新获取第三哈希值并重新验证。
在一些实施例中，还包括：将第一数据进行保存之前，对第一数据进行压缩处理；所述将第一数据进行保存包括：将压缩处理的第一数据进行保存。
在一些实施例中，所述将第一数据进行保存包括：将第一数据保存在对象存储服务OSS***或内容分发服务CDN***中的至少一个中。
在一些实施例中，所述将第一数据的保存路径或者第一数据推送给数据使用设备包括：将第一数据的保存路径或者第一数据推送给订阅了所述第一数据的数据使用设备。
根据本公开的另一些实施例，提供一种数据获取***，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一实施例所述的数据获取方法。
根据本公开的又一些实施例，提供一种数据获取***，包括：
数据处理设备，被配置为获取数据提供设备提供的第一数据，并获取第一数据的保存路径，将第一数据的保存路径进行保存，将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取所述第一数据；
数据存储设备，被配置为将第一数据进行保存。
在一些实施例中，所述数据处理设备，还被配置为：对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值；对根据第一数据的保存路径获取的第一数据进行哈希处理，得到第二哈希值；验证所述第一哈希数据和所述第二哈希数据的一致性，并在所述第一哈希数据和所述第二哈希数据不一致的情况下，重新获取第二哈希值并重新验证。
在一些实施例中，所述数据处理设备，还被配置为：在所述第一哈希数据和所述第二哈希数据一致的情况下，对根据数据使用设备请求的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值；验证所述第二哈希数据和所述第三哈希数据的一致性，并在所述第二哈希数据和所述第三哈希数据不一致的情况下，重新获取第三哈希值并重新验证。
根据本公开的再一些实施例，提供一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的数据获取方法。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本公开的一些实施例的数据获取方法的流程示意图。
图2示出根据本公开的另一些实施例的数据获取方法的流程示意图。
图3示出根据本公开的又一些实施例的数据获取方法的流程示意图。
图4示出根据本公开的再一些实施例的数据获取方法的流程示意图。
图5示出根据本公开的一些实施例的数据获取***的示意图。
图6示出根据本公开的另一些实施例的数据获取***的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
本公开的“第一”、“第二”等描述，如果没有特别指出，是用来表示不同的对象，并不用来表示大小或时序等含义。
图1示出根据本公开的一些实施例的数据获取方法的流程示意图。该方法例如可以由数据获取***执行。
如图1所示，该实施例的方法包括步骤110-140。
在步骤110，在数据提供设备存储的数据有更新的情况下，获取数据提供设备提供的第一数据。
数据提供设备的数据提供设备式有增量数据、全量数据、差分数据三种方式。数据提供设备式为增量数据时，对应的数据备份的方式是增量备份，即每次备份的数据只是上一次备份(全量备份、增量备份或差分备份)后增加和修改过的数据。数据提供设备式为全量数据时，对应的数据备份的方式是全量备份，即每次备份的数据包括对***文件和应用数据进行完全备份。数据提供设备式为差分数据时，对应的数据备份的方式是差分备份，即每次备份的数据是相对于上一次全量备份之后增加和修改过的数据。
在数据提供设备的当前数据提供设备式为增量数据的情况下，直接将数据提供设备提供的增量数据作为第一数据。
在数据提供设备的当前数据提供设备式为全量数据的情况下，根据数据提供设备提供的全量数据与数据提供设备提供的历史数据，获取增量数据作为第一数据。例如，将以当前数据提供设备式提供的全量数据表示为A，假设数据提供设备提供的历史数据(即数据处理设备接收的历史全量数据)表示为B，将A相对于B增加或修改的数据，作为第一数据。
在数据提供设备的当前数据提供设备式为差分数据的情况下，根据数据提供设备提供的差分数据与数据提供设备提供的历史数据，获取增量数据作为第一数据。例如，将以当前数据提供设备式提供的差分数据表示为A，假设上一次数据提供设备提供的历史数据为全量数据，将数据提供设备提供的历史数据(即数据处理设备接收的历史全量数据)表示为B，则A即为增量数据，将A作为第一数据。
获取数据提供设备提供的数据时，根据不同的数据提供设备式，判断当前提供的数据提供设备式是否为更新的增量数据，仅获取更新的增量数据作为第一数据进行后续处理，从而可以达到后续将更新的数据(或数据的信息)及时地推送给数据使用设备的目的。
在步骤120，将第一数据进行保存，获取第一数据的保存路径。
在一些实施例中，将第一数据保存在对象存储服务OSS***或内容分发服务CDN***中的至少一个中。例如，将第一数据的文件大小大于预设阈值的文件存储在CDN***上，将第一数据的文件大小不大于预设阈值的文件存储在OSS***上。
CDN***或OSS***可以实现文件的多副本备份，从而可以使得数据获取***实现高可用性，另外，CDN***或OSS***的数据分发功能可以支持高并发，从而可以解决在高并发情况下获取数据时的网络抢占问题。
在步骤130，将第一数据的保存路径进行保存。
例如，将第一数据在CDN***或OSS***的保存路径进行保存。
在步骤140，将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。
例如，可以将第一数据的保存路径或者第一数据推送给订阅了第一数据的数据使用设备。
在一些实施例中，将第一数据的保存路径或者第一数据推送给数据使用设备包括：首先，判断第一数据的文件大小；在第一数据的文件大小大于预设阈值时，将第一数据的保存路径推送给数据使用设备，以使得数据使用设备根据第一数据的保存路径获取第一数据；在第一数据的文件大小不大于预设阈值时，将第一数据推送给数据使用设备。
对不同大小的数据文件采取不同的策略，将小数据文件本身直接推送给数据使用设备，可以提高数据获取的效率；将大数据文件的信息(例如保存路径)推送给数据使用设备，后续可以根据数据使用设备的请求去获取数据，减少传输大文件时占用的网络带宽，提高资源利用率。
上述实施例中，采取主动推送的方式通知数据使用设备，可以使得数据使用设备及时地获取到更新的数据的信息或更新的数据。对不同大小的数据文件采取不同的存储策略和推送策略，可以合理利用存储资源，并且，可以减少网络带宽资源。
图2示出根据本公开的另一些实施例的数据获取方法的流程示意图。
如图2所示，该实施例的方法包括步骤210-260。
图2的实施例与图1的实施例的区别仅在于还包括步骤220。
在步骤210，在数据提供设备存储的数据有更新的情况下，数据处理设备获取数据提供设备提供的第一数据。
数据提供设备的数据提供设备式有增量数据、全量数据、差分数据三种方式。数据提供设备式为增量数据时，对应的数据备份的方式是增量备份，即每次备份的数据只是上一次备份(全量备份、增量备份或差分备份)后增加和修改过的数据。数据提供设备式为全量数据时，对应的数据备份的方式是全量备份，即每次备份的数据包括对***文件和应用数据进行完全备份。数据提供设备式为差分数据时，对应的数据备份的方式是差分备份，即每次备份的数据是相对于上一次全量备份之后增加和修改过的数据。
在数据提供设备的当前数据提供设备式为增量数据的情况下，直接将数据提供设备提供的增量数据作为第一数据。
在数据提供设备的当前数据提供设备式为全量数据的情况下，根据数据提供设备提供的全量数据与数据提供设备提供的历史数据，获取增量数据作为第一数据。例如，将以当前数据提供设备式提供的全量数据表示为A，假设数据提供设备提供的历史数据(即数据处理设备接收的历史全量数据)表示为B，将A相对于B增加或修改的数据，作为第一数据。
在数据提供设备的当前数据提供设备式为差分数据的情况下，根据数据提供设备提供的差分数据与数据提供设备提供的历史数据，获取增量数据作为第一数据。例如，将以当前数据提供设备式提供的差分数据表示为A，假设上一次数据提供设备提供的历史数据为全量数据，将数据提供设备提供的历史数据(即数据处理设备接收的历史全量数据)表示为B，则A即为增量数据，将A作为第一数据。
获取数据提供设备提供的数据时，根据不同的数据提供设备式，判断当前提供的数据提供设备式是否为更新的增量数据，仅获取更新的增量数据作为第一数据进行后续处理，从而可以达到后续将更新的数据(或数据的信息)及时地推送给数据使用设备的目的。
在步骤220，数据处理设备利用密钥对第一数据进行加密处理，和/或，数据处理设备对第一数据进行压缩处理。
通过加密处理和/或压缩处理，可以提高数据的安全性，防止数据被篡改，并且，防止获取数据时数据在传输过程中出现错误的情况发生。
在步骤230，数据存储设备将第一数据进行保存。
在一些实施例中，将第一数据保存在对象存储服务OSS***或内容分发服务CDN***中的至少一个中。例如，将第一数据的文件大小大于预设阈值的文件存储在CDN***上，将第一数据的文件大小不大于预设阈值的文件存储在OSS***上。
CDN***或OSS***可以实现文件的多副本备份，从而可以使得数据获取***实现高可用性，另外，CDN***或OSS***的数据分发功能可以支持高并发，从而可以解决在高并发情况下获取数据时的网络抢占问题。
在步骤240，数据处理设备获取第一数据的保存路径。
例如，数据处理设备获取第一数据CDN***或OSS***的保存路径
在步骤250，数据处理设备将第一数据的保存路径进行保存。
例如，将第一数据在CDN***或OSS***的保存路径进行保存。
在步骤260，数据处理设备将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。
例如，可以将第一数据的保存路径或者第一数据推送给订阅了第一数据的数据使用设备。
在一些实施例中，将第一数据的保存路径或者第一数据推送给数据使用设备包括：首先，判断第一数据的文件大小；在第一数据的文件大小大于预设阈值时，将第一数据的保存路径推送给数据使用设备，以使得数据使用设备根据第一数据的保存路径获取第一数据；在第一数据的文件大小不大于预设阈值时，将第一数据推送给数据使用设备。
对不同大小的数据文件采取不同的策略，将小数据文件本身直接推送给数据使用设备，可以提高数据获取的效率；将大数据文件的信息(例如保存路径)推送给数据使用设备，后续可以根据数据使用设备的请求去获取数据，减少传输大文件时占用的网络带宽，提高资源利用率。
上述实施例中，对数据进行加密处理和压缩处理，可以提高数据的安全性，防止数据被篡改或在传输过程中出错。另外，数据处理设备采取主动推送的方式通知数据使用设备，可以使得数据使用设备及时地获取到更新的数据的信息或更新的数据。
图3示出根据本公开的又一些实施例的数据获取方法的流程示意图。
如图3所示，该实施例的方法包括步骤310-3130。
图3的实施例与图2的实施例的区别仅在于还包括步骤320、步骤380-3100。下面将仅描述图3与图2的不同之处，相同之处不再赘述。
在步骤310，在数据提供设备存储的数据有更新的情况下，数据处理设备获取数据提供设备提供的第一数据。
在步骤320，数据处理设备对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值。
例如，可以采用加法哈希算法、乘法哈希算法、除法哈希算法、混合哈希算法对第一数据进行哈希处理。
步骤320可以在步骤310之后、步骤3100之前的任一步骤执行。
在步骤330，数据处理设备利用密钥对第一数据进行加密处理，和/或，数据处理设备对第一数据进行压缩处理。
在步骤340，数据存储设备将第一数据进行保存。
在步骤350，数据处理设备获取第一数据的保存路径。
在步骤360，数据处理设备将第一数据的保存路径进行保存。
在步骤370，数据处理设备将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。
在数据使用设备需要获取第一数据的情况下，发送请求给数据处理设备，请求信息中包括数据使用设备所需要的第一数据的保存路径。请求信息中的保存路径例如可以是域名和统一资源***(Uniform Resource Locator，URL)的组合。
在步骤380，数据处理设备根据第一数据的保存路径从数据存储设备获取第一数据。
在步骤390，数据处理设备对根据第一数据的保存路径获取的第一数据进行哈希处理，得到第二哈希值。
例如，可以采用加法哈希算法、乘法哈希算法、除法哈希算法、混合哈希算法对第一数据进行哈希处理。
在步骤3100，数据处理设备验证第一哈希数据和第二哈希数据的一致性，并在第一哈希数据和第二哈希数据不一致的情况下，重新获取第二哈希值并重新验证。
通过比较第一哈希数据和第二哈希数据，可以使得数据处理设备验证第一数据从数据存储设备下载到数据处理设备的过程中是否出现错误，从而保证数据的安全性。
在第一哈希数据和第二哈希数据一致的情况下，可以执行步骤3110-3130。以下步骤可以选择性执行。
在步骤3110，数据使用设备根据请求信息中的第一数据的保存路径，从数据处理设备获取第一数据。
在步骤3120，数据使用设备对根据数据使用设备的请求信息中的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值。
例如，可以采用加法哈希算法、乘法哈希算法、除法哈希算法、混合哈希算法对第一数据进行哈希处理。
在步骤3130，数据使用设备验证第二哈希数据和第三哈希数据的一致性，并在第二哈希数据和第三哈希数据不一致的情况下，重新获取第三哈希值并重新验证。
直到第二哈希数据和第三哈希数据一致，数据使用设备例如可以将第一数据下载到本地数据库以便使用。
在数据处理设备进行的验证通过的情况下，数据使用设备进行第二次验证，验证第一数据从数据处理设备发送到数据使用设备的过程中是否出现错误，以进一步保证数据的安全性和防篡改性。
上述实施例中，对数据进行加密处理和压缩处理，可以提高数据的安全性，防止数据被篡改或在传输过程中出错。数据处理设备采取主动推送的方式通知数据使用设备，可以使得数据使用设备及时地获取到更新的数据的信息或更新的数据。另外，验证第一数据从数据存储设备到数据处理设备的传输过程中是否出错，验证第一数据从数据处理设备到数据使用设备的传输过程中是否出错，保证了数据的安全性。
图4示出根据本公开的再一些实施例的数据获取方法的流程示意图。
如图4所示，该实施例的方法包括步骤410-4110。
图4的实施例与图3的实施例的区别仅在于还包括步骤4100-4110。下面将仅描述图4与图3的不同之处，相同之处不再赘述。
在步骤410，在数据提供设备存储的数据有更新的情况下，数据处理设备获取数据提供设备提供的第一数据。
在步骤420，数据处理设备对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值。
步骤420可以在步骤410之后、步骤4110之前的任一步骤执行。
在步骤430，数据处理设备利用密钥对第一数据进行加密处理，和/或，数据处理设备对第一数据进行压缩处理。
在步骤440，数据存储设备将第一数据进行保存。
在步骤450，数据处理设备获取第一数据的保存路径。
在步骤460，数据处理设备将第一数据的保存路径进行保存。
在步骤470，数据处理设备将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。
在步骤480，数据处理设备根据第一数据的保存路径从数据存储设备获取第一数据。
在步骤490，数据使用设备根据请求信息中的第一数据的保存路径，从数据处理设备获取第一数据。
在步骤4100，数据使用设备对根据数据使用设备的请求信息中的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值。
例如，可以采用加法哈希算法、乘法哈希算法、除法哈希算法、混合哈希算法对第一数据进行哈希处理。
在步骤4110，数据使用设备验证第一哈希数据和第三哈希数据的一致性，并在第一哈希数据和第三哈希数据不一致的情况下，重新获取第三哈希值并重新验证。
直到第一哈希数据和第三哈希数据一致，数据使用设备例如可以将第一数据下载到本地数据库以便使用。
上述实施例中，对数据进行加密处理和压缩处理，可以提高数据的安全性，防止数据被篡改或在传输过程中出错。数据处理设备采取主动推送的方式通知数据使用设备，可以使得数据使用设备及时地获取到更新的数据的信息或更新的数据。另外，验证第一数据从数据存储设备到数据使用设备的传输过程中是否出错，保证了数据的安全性。
图5示出根据本公开的一些实施例的数据获取***的示意图。
如图5所示，该实施例的数据获取***500包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行本公开任意一些实施例中的数据获取方法。
例如，可以执行下述的数据获取方法，首先，获取数据提供设备提供的第一数据，并对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值。例如，可以采用加法哈希算法、乘法哈希算法、除法哈希算法、混合哈希算法对第一数据进行哈希处理。例如还可以利用密钥对第一数据进行加密处理，和/或，数据处理设备对第一数据进行压缩处理。将第一数据进行保存(例如可以保存在OSS***或CDN***上)，并获取第一数据的保存路径。将第一数据的保存路径进行保存。然后，将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。在数据使用设备需要获取第一数据的情况下，发送请求，请求信息中包括数据使用设备所需要的第一数据的保存路径。请求信息中的保存路径例如可以是域名和统一资源***(Uniform Resource Locator，URL)的组合。基于数据使用设备的请求信息中的第一数据的保存路径获取第一数据，并对根据第一数据的保存路径获取的第一数据进行哈希处理，得到第二哈希值。验证第一哈希数据和第二哈希数据的一致性，并在第一哈希数据和第二哈希数据不一致的情况下，重新获取第二哈希值并重新验证。通过比较第一哈希数据和第二哈希数据，可以使得数据处理设备验证第一数据从数据存储设备下载到数据处理设备的过程中是否出现错误，从而保证数据的安全性。
在一些实施例中，在第一哈希数据和第二哈希数据一致的情况下，数据使用设备可以根据请求信息中的第一数据的保存路径获取第一数据。数据使用设备对根据数据使用设备的请求信息中的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值。数据使用设备验证第二哈希数据和第三哈希数据的一致性，并在第二哈希数据和第三哈希数据不一致的情况下，重新获取第三哈希值并重新验证。直到第二哈希数据和第三哈希数据一致，数据使用设备例如可以将第一数据下载到本地数据库以便使用。
其中，存储器510例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。
数据获取***500还可以包括输入输出接口530、网络接口540、存储接口550等。这些接口530，540，550以及存储器510和处理器520之间例如可以通过总线560连接。其中，输入输出接口530为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口540为各种联网设备提供连接接口。存储接口550为SD卡、U盘等外置存储设备提供连接接口。
图6示出根据本公开的另一些实施例的数据获取***的示意图。
如图6所示，该实施例的数据获取***600包括：数据处理设备610，以及数据存储设备620。
数据处理设备610，被配置为获取数据提供设备提供的第一数据，获取第一数据的保存路径，将第一数据的保存路径进行保存，以及，将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。
在一些实施例中，数据处理设备610，还被配置为获取数据提供设备提供的第一数据，获取第一数据的保存路径，将第一数据的保存路径进行保存。以及，对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值。利用密钥对第一数据进行加密处理，和/或，数据处理设备对第一数据进行压缩处理。将第一数据进行保存(例如可以保存在OSS***或CDN***上)，并获取第一数据的保存路径。将第一数据的保存路径进行保存。然后，将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取第一数据。在数据使用设备需要获取第一数据的情况下，发送请求，请求信息中包括数据使用设备所需要的第一数据的保存路径。基于数据使用设备的请求信息中的第一数据的保存路径获取第一数据，并对根据第一数据的保存路径获取的第一数据进行哈希处理，得到第二哈希值。验证第一哈希数据和第二哈希数据的一致性，并在第一哈希数据和第二哈希数据不一致的情况下，重新获取第二哈希值并重新验证。在第一哈希数据和第二哈希数据一致的情况下，数据使用设备可以根据请求信息中的第一数据的保存路径获取第一数据。数据使用设备对根据数据使用设备的请求信息中的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值。数据使用设备验证第二哈希数据和第三哈希数据的一致性，并在第二哈希数据和第三哈希数据不一致的情况下，重新获取第三哈希值并重新验证。
数据存储设备620，被配置为将第一数据进行保存，以及根据数据处理设备或者数据使用设备的请求将第一数据提供给数据处理设备或者数据使用设备。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的计算机非瞬时性可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种数据获取方法，包括：
在数据提供设备存储的数据有更新的情况下，数据处理设备获取数据提供设备提供的第一数据；
数据处理设备将第一数据保存到数据存储设备，获取第一数据在数据存储设备的保存路径作为第一数据的保存路径；
数据处理设备将第一数据的保存路径进行保存；
数据处理设备将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取所述第一数据；
数据处理设备对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值；
数据处理设备对根据第一数据的保存路径从数据存储设备获取的第一数据进行哈希处理，得到第二哈希值；
数据处理设备验证所述第一哈希值和所述第二哈希值的一致性，并在所述第一哈希值和所述第二哈希值不一致的情况下，重新获取第二哈希值并重新验证；
在所述第一哈希值和所述第二哈希值一致的情况下，数据使用设备对根据数据使用设备请求的第一数据的保存路径从数据存储设备获取的第一数据进行哈希处理，得到第三哈希值；
数据使用设备验证所述第二哈希值和所述第三哈希值的一致性，并在所述第二哈希值和所述第三哈希值不一致的情况下，重新获取第三哈希值并重新验证。
2.根据权利要求1所述的数据获取方法，其中，所述方法还包括：将第一数据进行保存之前，数据处理设备利用密钥对第一数据进行加密处理；
将第一数据进行保存包括：数据存储设备将加密处理的第一数据进行保存。
3.根据权利要求1所述的数据获取方法，其中，将第一数据的保存路径或者第一数据推送给数据使用设备包括：
判断第一数据的文件大小；
在第一数据的文件大小大于预设阈值时，将第一数据的保存路径推送给数据使用设备，以使得数据使用设备根据第一数据的保存路径获取第一数据；
在第一数据的文件大小不大于预设阈值时，将第一数据推送给数据使用设备。
4.根据权利要求1所述的数据获取方法，其中，获取数据提供设备提供的第一数据包括：
在数据提供设备当前提供的数据为增量数据的情况下，将数据提供设备提供的增量数据作为第一数据；
或者，
在数据提供设备当前提供的数据为全量数据的情况下，根据数据提供设备提供的全量数据与数据提供设备提供的历史数据，获取增量数据作为第一数据；
或者，
在数据提供设备当前提供的数据为差分数据的情况下，根据数据提供设备提供的差分数据与数据提供设备提供的历史数据，获取增量数据作为第一数据。
5.根据权利要求1所述的数据获取方法，还包括：
对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值；
对根据数据使用设备请求的第一数据的保存路径获取的第一数据进行哈希处理，得到第三哈希值；
验证所述第一哈希值和所述第三哈希值的一致性，并在所述第一哈希值和所述第三哈希值不一致的情况下，重新获取第三哈希值并重新验证。
6.根据权利要求1所述的数据获取方法，其中，所述方法还包括：将第一数据进行保存之前，对第一数据进行压缩处理；
所述将第一数据进行保存包括：将压缩处理的第一数据进行保存。
7.根据权利要求1所述的数据获取方法，其中，所述将第一数据进行保存包括：
将第一数据保存在对象存储服务OSS***或内容分发服务CDN***中的至少一个中。
8.根据权利要求1所述的数据获取方法，其中，所述将第一数据的保存路径或者第一数据推送给数据使用设备包括：
将第一数据的保存路径或者第一数据推送给订阅了所述第一数据的数据使用设备。
9.一种数据获取***，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-8中任一项所述的数据获取方法。
10.一种数据获取***，包括：
数据处理设备，被配置为在数据提供设备存储的数据有更新的情况下，获取数据提供设备提供的第一数据，将第一数据保存到数据存储设备，并获取第一数据在数据存储设备的保存路径作为第一数据的保存路径，将第一数据的保存路径进行保存，将第一数据的保存路径或者第一数据推送给数据使用设备，以使得数据使用设备获取所述第一数据；
数据存储设备，被配置为将第一数据进行保存；
其中，所述数据处理设备，还被配置为：
对获取的数据提供设备提供的第一数据进行哈希处理，得到第一哈希值；
对根据第一数据的保存路径从数据存储设备获取的第一数据进行哈希处理，得到第二哈希值；
验证所述第一哈希值和所述第二哈希值的一致性，并在所述第一哈希值和所述第二哈希值不一致的情况下，重新获取第二哈希值并重新验证；
还包括：数据使用设备，被配置为：
在所述第一哈希值和所述第二哈希值一致的情况下，对根据数据使用设备请求的第一数据的保存路径从数据存储设备获取的第一数据进行哈希处理，得到第三哈希值；
验证所述第二哈希值和所述第三哈希值的一致性，并在所述第二哈希值和所述第三哈希值不一致的情况下，重新获取第三哈希值并重新验证。
11.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8中任一项所述的数据获取方法。
CN202011542688.8A 2020-12-23 2020-12-23 数据获取方法、***和计算机可读存储介质 Active CN113824757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011542688.8A CN113824757B (zh) 2020-12-23 2020-12-23 数据获取方法、***和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011542688.8A CN113824757B (zh) 2020-12-23 2020-12-23 数据获取方法、***和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113824757A CN113824757A (zh) 2021-12-21
CN113824757B true CN113824757B (zh) 2024-05-21

Family

ID=78924881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011542688.8A Active CN113824757B (zh) 2020-12-23 2020-12-23 数据获取方法、***和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113824757B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101925047A (zh) * 2009-06-11 2010-12-22 中兴通讯股份有限公司 用户数据融合网络***及订阅通知的实现方法
WO2016107042A1 (zh) * 2014-12-30 2016-07-07 中兴通讯股份有限公司 数据增量备份方法、装置及nas设备
CN107391298A (zh) * 2017-07-06 2017-11-24 上海策链信息科技有限公司 数据存储状态检测方法、装置及计算机可读存储介质
CN107426309A (zh) * 2017-07-17 2017-12-01 北京深思数盾科技股份有限公司 一种信息同步方法、装置及***
CN108965380A (zh) * 2018-05-31 2018-12-07 平安医疗科技有限公司 业务请求处理方法、装置、计算机设备和存储介质
CN109754322A (zh) * 2018-12-27 2019-05-14 石更箭数据科技(上海)有限公司 一种数据服务***
CN110490599A (zh) * 2019-08-23 2019-11-22 深圳前海微众银行股份有限公司 证据的验证方法、***、装置、设备及可读存储介质
WO2019228569A2 (en) * 2019-09-12 2019-12-05 Alibaba Group Holding Limited Log-structured storage systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799349B2 (en) * 2010-02-18 2014-08-05 Blackberry Limited Method, system and apparatus for propagating data change notifications
CN107819793B (zh) * 2016-09-12 2019-03-12 北京百度网讯科技有限公司 用于机器人操作***的数据采集方法及装置
CN111045857B (zh) * 2018-10-12 2023-11-28 伊姆西Ip控股有限责任公司 数据备份和恢复的方法、电子设备和计算机可读存储介质
CN111782666B (zh) * 2020-06-19 2024-04-05 京东科技控股股份有限公司 一种缓存服务***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101925047A (zh) * 2009-06-11 2010-12-22 中兴通讯股份有限公司 用户数据融合网络***及订阅通知的实现方法
WO2016107042A1 (zh) * 2014-12-30 2016-07-07 中兴通讯股份有限公司 数据增量备份方法、装置及nas设备
CN107391298A (zh) * 2017-07-06 2017-11-24 上海策链信息科技有限公司 数据存储状态检测方法、装置及计算机可读存储介质
CN107426309A (zh) * 2017-07-17 2017-12-01 北京深思数盾科技股份有限公司 一种信息同步方法、装置及***
CN108965380A (zh) * 2018-05-31 2018-12-07 平安医疗科技有限公司 业务请求处理方法、装置、计算机设备和存储介质
CN109754322A (zh) * 2018-12-27 2019-05-14 石更箭数据科技(上海)有限公司 一种数据服务***
CN110490599A (zh) * 2019-08-23 2019-11-22 深圳前海微众银行股份有限公司 证据的验证方法、***、装置、设备及可读存储介质
WO2019228569A2 (en) * 2019-09-12 2019-12-05 Alibaba Group Holding Limited Log-structured storage systems

Also Published As

Publication number Publication date
CN113824757A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN110912937B (zh) 一种基于区块链的数字存证平台和存证方法
CN107294729B (zh) 区块链中不同节点之间的通信方法及装置
CN109597717B (zh) 一种数据备份、恢复方法、装置、电子设备及存储介质
CN111045855B (zh) 备份数据的方法、装置和计算机程序产品
US11947673B2 (en) Over-the-air upgrade method and related apparatus
CN108628706B (zh) 数据备份的方法、装置、***及存储介质
CN111008034B (zh) 一种补丁生成方法及装置
KR20140001172A (ko) 애플리케이션을 업데이트하는 방법
CN104052818A (zh) 一种移动终端的版本升级方法及装置
WO2017215646A1 (zh) 数据传输方法和装置
CN110912977A (zh) 一种配置文件的更新方法、装置、设备及存储介质
CN103188097A (zh) 一种实现补丁管理的方法、装置及***
CN109408486B (zh) 文件发布方法和***、发布服务器和文件生成装置
WO2019201040A1 (zh) 一种管理更新文件的方法、***及终端设备
CN107239299B (zh) 插件升级方法及装置
CN105808273A (zh) 软件升级方法和软件升级装置
CN112416396B (zh) 一种应用程序更新方法和***
US8646070B1 (en) Verifying authenticity in data storage management systems
CN105320577A (zh) 一种数据备份和恢复方法、***及装置
CN112131041A (zh) 用于管理数据放置的方法、设备和计算机程序产品
CN111045856A (zh) 用于管理应用***的方法、设备和计算机程序产品
CN113824757B (zh) 数据获取方法、***和计算机可读存储介质
CN110674511A (zh) 基于椭圆曲线加密算法的离线数据保护方法及***
CN115883533A (zh) 文件同步方法、装置、计算机设备及存储介质
CN114281379A (zh) 基于ota的软件更新方法及装置、设备端、服务端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant