CN110188140A - 数据拉取方法、装置、存储介质和计算机设备 - Google Patents

数据拉取方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN110188140A
CN110188140A CN201910385870.8A CN201910385870A CN110188140A CN 110188140 A CN110188140 A CN 110188140A CN 201910385870 A CN201910385870 A CN 201910385870A CN 110188140 A CN110188140 A CN 110188140A
Authority
CN
China
Prior art keywords
data
identification
server
data block
acquisition request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910385870.8A
Other languages
English (en)
Inventor
曹桐军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201910385870.8A priority Critical patent/CN110188140A/zh
Publication of CN110188140A publication Critical patent/CN110188140A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据拉取方法，其包括如下步骤：向服务器发送数据块获取请求，其中，所述数据块获取请求包括从服务器获取的数据块的起始数据标识、结束数据标识和数据长度标识；接收服务器响应所述数据块获取请求，从所述起始数据标识开始返回数量不大于所述数据长度标识的数据块以及所述数据块之后的下一条数据的数据标识；若所述下一条数据的数据标识不等于所述结束数据标识，则根据所述下一条数据的数据标识得到新的起始数据标识，再次向服务器发送数据块获取请求，直到服务器返回的下一条数据的数据标识等于所述结束数据标识。本发明所述的数据拉取方法能够实现数据断层后补全数据。

Description

数据拉取方法、装置、存储介质和计算机设备
技术领域
本发明涉及数据处理技术领域，特别涉及数据拉取方法、装置、存储介质和计算机设备。
背景技术
数据存储在服务器，客户端通过接口向服务器请求数据，服务器把数据返回给客户端的过程称为数据的拉取。
目前客户端进入页面需要展示服务器最新消息时，客户端会向服务器拉取第一页数据，并存储到本地进行展示。但是由于服务器的数据是增量变化的(根据业务需求在不定时增加数据)，服务器有可能没有新数据，也有可能存在多页新数据。当服务器有多于一页新数据时，仅拉取第一页数据，则会导致客户端本地没能更新其他页新数据，第一页数据与本地历史数据之间出现数据缺失，也称数据断层。
发明内容
基于此，本发明实施例的目的在于，提供一种数据拉取方法，其能够解决客户端数据断层后补全数据的问题。
第一方面，本发明实施例提供一种数据拉取方法，包括如下步骤：
向服务器发送数据块获取请求，其中，所述数据块获取请求包括从服务器获取的数据块的起始数据标识、结束数据标识和数据长度标识；
接收服务器响应所述数据块获取请求，从所述起始数据标识开始返回数量不大于所述数据长度标识的数据块以及所述数据块之后的下一条数据的数据标识；
若所述下一条数据的数据标识不等于所述结束数据标识，则根据所述下一条数据的数据标识得到新的起始数据标识，再次向服务器发送数据块获取请求，直到服务器返回的下一条数据的数据标识等于所述结束数据标识。
相较于现有技术，本发明实施例中的数据拉取方法通过向服务器发送数据块获取请求，以使服务器根据数据块获取请求中的数据长度标识返回一定数据长度的数据块，根据数据块获取请求中的起始数据标识、结束数据标识确定返回数据块的范围；再根据所述数据块之后的下一条数据的数据标识是否等于所述结束数据标识，判断数据补全是否补全连接到结束数据标识对应的数据；并若所述下一条数据的数据标识不等于所述结束数据标识，将其作为下一次数据块获取请求的起始数据标识，继续向服务器发送数据拉取请求；由此多次数据拉取请求后，接收到数据标识在所述起始数据标识、结束数据标识之间的数据，实现了数据断层后补全数据，本地存储服务器的所有数据。
在一个实施例中，每次服务器响应所述数据块获取请求返回的数据块的数据长度不超过所述数据长度标识，或者数据块的数据标识位于所述起始数据标识和结束数据标识之间。特别地，数据长度标识为数据展示页面最大能展示的数据长度。
在一个实施例中，所述结束数据标识为本地存储的数据中按顺序排列在最前的数据的数据标识。
在一个实施例中，在第一次向服务器发送数据块获取请求时，所述起始数据标识、结束数据标识为空。
在一个实施例中，若所述数据块之后无下一条数据，则所述下一条数据的数据标识为空。
在一个实施例中，根据所述下一条数据的数据标识得到新的起始数据标识的步骤包括：
将所述下一条数据的数据标识加1，得到所述新的起始数据标识。
在一个实施例中，所述数据拉取方法还包括：
通过一张数据表格存储返回的数据块；
通过一张数据块维护表格存储数据块的数据标识。
在一个实施例中，所述服务器响应所述数据块获取请求时，根据数据的更新时间顺序按序返回。
第二方面，本发明实施例还提供一种数据拉取方法，包括如下步骤：
接收客户端发送的数据块获取请求，其中，所述数据块获取请求包括从服务器本身获取的数据块的起始数据标识、结束数据标识和数据长度标识；
响应所述数据块获取请求向客户端返回数据块以及所述数据块之后的下一条数据的数据标识；
当接收到客户端再次发送的数据块获取请求时，其中，所述再次发送的数据块获取请求中的起始数据标识根据所述下一条数据的数据标识得到，响应所述再次发送的数据块获取请求向客户端返回数据块以及所述数据块之后的下一条数据的数据标识，直到不再接收到客户端发送的数据块获取请求。
本发明实施例提供的是服务器一侧响应客户端一侧的数据拉取请求而采取的数据拉取方法，其与客户端一侧的数据拉取方法相对应，用于补全客户端的数据断层。
第三方面，本发明实施例还提供一种数据拉取装置，包括：
请求发送模块，向服务器发送数据块获取请求，其中，所述数据块获取请求包括从服务器获取的数据块的起始数据标识、结束数据标识和数据长度标识；
数据接收模块，接收服务器响应所述数据块获取请求返回的数据块以及所述数据块之后的下一条数据的数据标识；
判断循环模块，若所述下一条数据的数据标识不等于所述结束数据标识，则根据所述下一条数据的数据标识得到新的起始数据标识，再次向服务器发送数据块获取请求，直到服务器返回的下一条数据的数据标识等于所述结束数据标识。
相较于现有技术，本发明实施例中的数据拉取装置通过向服务器发送数据块获取请求，以使服务器根据数据块获取请求中的数据长度标识返回一定数据长度的数据块，根据数据块获取请求中的起始数据标识、结束数据标识确定返回数据块的范围；再根据所述数据块之后的下一条数据的数据标识是否等于所述结束数据标识，判断数据补全是否补全连接到结束数据标识对应的数据；并若所述下一条数据的数据标识不等于所述结束数据标识，将其作为下一次数据块获取请求的起始数据标识，继续向服务器发送数据拉取请求；由此多次数据拉取请求后，接收到数据标识在所述起始数据标识、结束数据标识之间的数据，实现了数据断层后补全数据，本地存储服务器的所有数据。
第四方面，本发明实施例还提供一种计算机可读储存介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上任意一项所述的数据拉取方法的步骤。
第五方面，本发明实施例还提供一种计算机设备，包括存储器、处理器以及储存在所述存储器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的数据拉取方法的步骤。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明实施例的数据拉取方法的应用环境结构示意图；
图2为本发明实施例的客户端一侧的数据拉取方法的流程图；
图3为本发明实施例的数据拉取方法的第一次数据块获取请求的示意图；
图4为本发明实施例的数据拉取方法的第二次数据块获取请求的示意图；
图5为本发明实施例的数据拉取方法的第三次数据块获取请求的示意图；
图6为本发明实施例的服务器一侧的数据拉取方法的流程图；
图7为本发明实施例的数据拉取装置的结构示意图；
图8为本发明实施例的计算机设备的结构示意图。
具体实施方式
现在参看后文中的附图，更完整地描述本发明，在图中，显示了本发明的实施例。然而，本发明可体现为多种不同的形式，并且不应理解为限于本文中所提出的特定实施例。确切地说，这些实施例用于将本发明的范围传达给本领域的技术人员。
除非另外限定，否则，本文中所使用的术语(包括技术性和科学性术语)应理解为具有与本发明所属的领域中的技术人员通常所理解的意义相同的意义。而且，要理解的是，本文中所使用的术语应理解为具有与本说明书和相关领域中的意义一致的意义，并且不应通过理想的或者过度正式的意义对其进行解释，除非本文中明确这样规定。
请参阅图1，图1为本发明一个实施例中的数据拉取方法的应用环境结构示意图，该实施例的数据拉取方法的应用环境为客户端10，特别地，客户端10为移动客户端，如Android手机、iPhone手机、iPad，Android Pad等，所述客户端10包括一数据存储器，用于存储从服务器拉取的数据。如图1所示，所述客户端10通过互联网连接服务器20，当客户端10需要查看数据列表的时候，通过接口向所述服务器20请求数据，进入所述服务器20的数据展示页面拉取数据，并将数据存储到本地的数据存储器中。
在其他实施例中，所述服务器20也可以是不只是单台服务器，而是由多台服务器组成的服务器集群。
应当注意，服务器的数据是增量变化的，移动客户端向服务器请求数据拉取请求时，都是拉取更新增加的数据，尤其是服务器会对数据进行排序，更新的数据会排在前面，服务器每次按顺序返回更新数据。
请参见图2，在一个实施例中，一种数据拉取方法，包括如下步骤：
S101：向服务器发送数据块获取请求，其中，所述数据块获取请求包括从服务器获取的数据块的起始数据标识、结束数据标识和数据长度标识；
S102：接收服务器响应所述数据块获取请求，从所述起始数据标识开始返回数量不大于所述数据长度标识的数据块以及所述数据块之后的下一条数据的数据标识；
S103：若所述下一条数据的数据标识不等于所述结束数据标识，则根据所述下一条数据的数据标识得到新的起始数据标识，再次向服务器发送数据块获取请求，直到服务器返回的下一条数据的数据标识等于所述结束数据标识。
在一个实施例中，所述服务器响应所述数据块获取请求时，根据数据的更新时间顺序按序返回。服务器中的数据排列的顺序可以是按照数据的更新时间进行排列，也可以是按照字段进行排序。优选地，服务器中的数据按照数据的更新时间为顺序进行排列，最近更新的数据排列最前，返回至客户端最早。服务器中包括多条数据，数据最新，更新时间最晚，排列最前。若以数字作为数据标识，按照数据的更新时间为顺序进行排列，以15条数据为例，则数据对应的数据标识为(15,14,13,12,11,10,9,8,7,6,5,4,3,2,1)。数据标识为15的数据最新，更新时间最晚，数据标识的值最大，排列最前。而客户端请求数据拉取时，服务器先返回最新的数据，也即从数据标识的值最大对应的数据开始返回。
数据块是指一组或几组按顺序连续排列在一起的数据记录。比如数据记录(1,2,3)，按照数据块的定义，数据记录(1,2,3)包括数据块[1,2]，[1,3]，[2,3]，[1,1]，[2，2]，[3,3]；再如数据记录(1,2,3,5,6)包括数据块[1,2]，[1,3]，[2,3]，[5,6]，[1,1]，[2,2]，[3,3]，[5,5]，[6,6]。其中数据块的[]表示连续按顺序排列，例如[1,3]指按顺序排列的数据标识为(1,2,3)的数据。这里的数据块是顺序示例的，逆序也是相同道理。逆序的数据块如[13,8]，表示按逆序排列的数据标识为(13,12,11,10,9,8)的数据。
在数据块的基础上，继续定义起始数据标识和结束数据标识。其中，起始数据标识为数据块区间的左边区间端点表示的数据标识，结束数据标识为数据块区间的右边区间端点表示的数据标识，如数据块[13,8]，则起始数据标识为13，结束数据标识为8。
数据展示页面的能够展示的数据条数决定了数据长度标识，数据长度标识不能大于数据展示页面的能够展示的数据条数，通常将两者设置为相等。例如，数据展示页面能展示5条数据，则数据长度标识对应地设为5条。
在本发明实施例的数据拉取方法中，执行完整的数据拉取方法相当于执行一次数据拉取操作，一次数据拉取操作可以包括一次或者多次数据块获取请求。而前面几次数据块获取请求由于其本地存储的数据块的不同，本发明实施例的数据拉取方法包括3种数据拉取情况，下面分情况进行说明：
在一个实施例中，第一次数据块获取请求请参阅图3，考虑到本地存储中未有数据的情况，在第一次向服务器发送数据块获取请求时，所述起始数据标识、结束数据标识为空。
请参阅图3，其为本发明实施例的数据拉取方法的第一次数据块获取请求的示意图。服务器的数据也即云端数据包括数据标识为(1,2,3,4)的4条数据，startid为起始数据标识，endid为结束数据标识，pageSize为数据长度标识。定义0为空，startid，endid都设置为0，移动客户端进入数据展示页面能够展示5条数据，pageSize设置为5，则移动客户端根据向服务器进行第一次数据块获取请求，则服务器根据移动客户端的请求按顺序返回对应数据标识的数据，在本实施例中是按照数据更新先后顺序，返回的数据包括数据标识为(4,3,2,1)的数据。
在该实施例中，若所述数据块之后无下一条数据，则所述下一条数据的数据标识为空。由于数据标识1的数据之后没有其他数据，则返回所述下一条数据的数据标识为空，定义0为空，则所述下一条数据的数据标识为0。
在一个实施例中，第二次数据块获取请求请参阅图4，第二次数据块获取请求是在服务器出现了数据更新的情况下进行的。请参阅图4，其为本发明实施例第一次数据块获取请求的示意图，考虑到第二次数据块获取请求，本地存储的是连续的数据块，没有出现数据断层，起始数据标识仍然设置为0，而一般地，除了第一次数据块获取请求，所述结束数据标识为本地存储的数据中按顺序排列在最前的数据的数据标识，则结束数据标识为第一次数据块获取请求获得数据块中排列最前的数据的数据标识，而在第一次数据块获取请求获得并存储在本地的数据为数据标识为(4,3,2,1)的数据，则结束数据标识为4，则客户端根据向服务器发送第二次数据块获取请求，服务器同样响应第二次数据块获取请求按更新时间顺序返回服务器的最新数据。如图4所示，服务器云端数据包括数据标识为(13,12,11,10,9,8,7,6,5,4,3,2,1)的数据，则服务器响应数据拉取请求返回数据标识为(13,12,11,10,9)的数据块。同时，服务器还返回数据块(13,12,11,10,9)之后的下一条数据的数据标识8。
请参阅图5，本发明实施例的数据拉取方法的第三次数据块获取请求的示意图。经过图3和图4的两次数据块获取请求获得数据块后，客户端仅存储数据标识为(13,12,11,10,9)的数据块和数据标识为(4,3,2,1)的数据块，从而缺失了数据标识为(8,7,6,5)的数据块，出现数据断层。
根据步骤S103，根据所述下一条数据的数据标识得到新的起始数据标识，在一个实施例中，根据所述下一条数据的数据标识得到新的起始数据标识的步骤包括：
将所述下一条数据的数据标识加1，得到所述新的起始数据标识。
返回数据块(13,12,11,10,9)之后的下一条数据的数据标识8，将所述下一条数据的数据标识加1，得到所述新的起始数据标识9，同时，以4为结束数据标识，以5为数据长度标识再次向服务器发送第三次数据块获取请求，从而获得数据标识为(13,12,11,10,9)的数据块和数据标识为(4,3,2,1)的数据块之间的数据断层的补全数据(8,7,6,5)。
为了方便数据管理和处理数据与数据标识之间的关系，请参阅图3-5，在一个实施例中，根据所述下一条数据的数据标识得到新的起始数据标识的步骤包括：
将所述下一条数据的数据标识加1，得到所述新的起始数据标识。
在一个实施例中，所述数据拉取方法还包括：
通过一张数据表格存储返回的数据块；
通过一张数据块维护表格存储数据块的数据标识。
在每次数据拉取操作后，将每次数据块获取请求获得数据断层的补全数据合并，将数据标识连接为一个连续的数据块。
客户端是通过接口向服务器请求数据的，上述的起始数据标识、结束数据标识和数据长度标识作为接口的入参，所述下一条数据的数据标识为接口的回参。
第二方面，本发明实施例还提供一种数据拉取方法，包括如下步骤：
S201：接收客户端发送的数据块获取请求，其中，所述数据块获取请求包括从服务器本身获取的数据块的起始数据标识、结束数据标识和数据长度标识；
S202：响应所述数据块获取请求向客户端返回数据块以及所述数据块之后的下一条数据的数据标识；
S203：当接收到客户端再次发送的数据块获取请求时，其中，所述再次发送的数据块获取请求中的起始数据标识根据所述下一条数据的数据标识得到，响应所述再次发送的数据块获取请求向客户端返回数据块以及所述数据块之后的下一条数据的数据标识，直到不再接收到客户端发送的数据块获取请求。
本发明实施例提供的是服务器一侧响应客户端一侧的数据拉取请求而采取的数据拉取方法，其与客户端一侧的数据拉取方法相对应，用于补全客户端的数据断层。
第三方面，本发明实施例还提供一种数据拉取装置，包括：
请求发送模块31，向服务器发送数据块获取请求，其中，所述数据块获取请求包括从服务器获取的数据块的起始数据标识、结束数据标识和数据长度标识；
数据接收模块32，接收服务器响应所述数据块获取请求返回的数据块以及所述数据块之后的下一条数据的数据标识；
判断循环模块33，若所述下一条数据的数据标识不等于所述结束数据标识，则根据所述下一条数据的数据标识得到新的起始数据标识，再次向服务器发送数据块获取请求，直到服务器返回的下一条数据的数据标识等于所述结束数据标识。
相较于现有技术，本发明实施例中的数据拉取装置通过向服务器发送数据块获取请求，以使服务器根据数据块获取请求中的数据长度标识返回一定数据长度的数据块，根据数据块获取请求中的起始数据标识、结束数据标识确定返回数据块的范围；再根据所述数据块之后的下一条数据的数据标识是否等于所述结束数据标识，判断数据补全是否补全连接到结束数据标识对应的数据；并若所述下一条数据的数据标识不等于所述结束数据标识，将其作为下一次数据块获取请求的起始数据标识，继续向服务器发送数据拉取请求；由此多次数据拉取请求后，接收到数据标识在所述起始数据标识、结束数据标识之间的数据，实现了数据断层后补全数据，本地存储服务器的所有数据。
本发明实施例中的数据拉取装置通过数据标识和按顺序排列的数据之间的对应映射关系，由数据标识是否连续即可判断本地存储的数据是否存在数据断层；所述起始数据标识对应的数据按顺序排列在所述结束数据标识对应的数据之后，当起始数据标识与结束数据标识不连续，说明本地存储缺失起始数据标识与结束数据标识之间的数据标识对应的数据；根据数据长度标识、起始数据标识和结束数据标识向服务器发送一次或多次数据拉取请求，数据长度标识表明每次数据拉取请求能获得的数据条数，起始数据标识和结束数据标识表明获取服务器的数据范围，从而通过这3个输入参数获取服务器数据响应数据拉取请求返回的数据标识在所述起始数据标识和结束数据标识之间的数据，用于补全本地存储的数据断层。
第四方面，本发明实施例还提供一种计算机可读储存介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上任意一项所述的数据拉取方法的步骤。
第五方面，本发明实施例还提供一种计算机设备，包括存储器、处理器以及储存在所述存储器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的数据拉取方法的步骤。
在本实施例中，处理器42和存储器41通过总线连接，处理器42可以是一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件。存储器41可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息，在本实施例中，所述处理器42还可以为多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

Claims (11)

1.一种数据拉取方法，其特征在于，包括如下步骤：
向服务器发送数据块获取请求，其中，所述数据块获取请求包括从服务器获取的数据块的起始数据标识、结束数据标识和数据长度标识；
接收服务器响应所述数据块获取请求，从所述起始数据标识开始返回数量不大于所述数据长度标识的数据块以及所述数据块之后的下一条数据的数据标识；
若所述下一条数据的数据标识不等于所述结束数据标识，则根据所述下一条数据的数据标识得到新的起始数据标识，再次向服务器发送数据块获取请求，直到服务器返回的下一条数据的数据标识等于所述结束数据标识。
2.根据权利要求1所述的数据拉取方法，其特征在于：所述结束数据标识为本地存储的数据中按顺序排列在最前的数据的数据标识。
3.根据权利要求1所述的数据拉取方法，其特征在于：在第一次向服务器发送数据块获取请求时，所述起始数据标识及所述结束数据标识为空。
4.根据权利要求3所述的数据拉取方法，其特征在于：若所述数据块之后无下一条数据，则所述下一条数据的数据标识为空。
5.根据权利要求1所述的数据拉取方法，其特征在于：根据所述下一条数据的数据标识得到新的起始数据标识的步骤包括：
将所述下一条数据的数据标识加1，得到所述新的起始数据标识。
6.根据权利要求1～5任一项所述的数据拉取方法，其特征在于：所述数据拉取方法还包括：
通过一张数据表格存储返回的数据块；
通过一张数据块维护表格存储数据块的数据标识。
7.根据权利要求1所述的数据拉取方法，其特征在于：所述服务器响应所述数据块获取请求时，根据数据的更新时间顺序按序返回。
8.一种数据拉取方法，其特征在于，包括如下步骤：
接收客户端发送的数据块获取请求，其中，所述数据块获取请求包括从服务器本身获取的数据块的起始数据标识、结束数据标识和数据长度标识；
响应所述数据块获取请求向客户端返回数据块以及所述数据块之后的下一条数据的数据标识；
当接收到客户端再次发送的数据块获取请求时，其中，所述再次发送的数据块获取请求中的起始数据标识根据所述下一条数据的数据标识得到，响应所述再次发送的数据块获取请求向客户端返回数据块以及所述数据块之后的下一条数据的数据标识，直到不再接收到客户端发送的数据块获取请求。
9.一种数据拉取装置，其特征在于：包括：
请求发送模块，向服务器发送数据块获取请求，其中，所述数据块获取请求包括从服务器获取的数据块的起始数据标识、结束数据标识和数据长度标识；
数据接收模块，接收服务器响应所述数据块获取请求返回的数据块以及所述数据块之后的下一条数据的数据标识；
判断循环模块，若所述下一条数据的数据标识不等于所述结束数据标识，则根据所述下一条数据的数据标识得到新的起始数据标识，再次向服务器发送数据块获取请求，直到服务器返回的下一条数据的数据标识等于所述结束数据标识。
10.一种计算机可读储存介质，其上储存有计算机程序，其特征在于：该计算机程序被处理器执行时实现如权利要求1至8任意一项所述的数据拉取方法的步骤。
11.一种计算机设备，包括存储器、处理器以及储存在所述存储器中并可被所述处理器执行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的数据拉取方法的步骤。
CN201910385870.8A 2019-05-09 2019-05-09 数据拉取方法、装置、存储介质和计算机设备 Pending CN110188140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910385870.8A CN110188140A (zh) 2019-05-09 2019-05-09 数据拉取方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910385870.8A CN110188140A (zh) 2019-05-09 2019-05-09 数据拉取方法、装置、存储介质和计算机设备

Publications (1)

Publication Number Publication Date
CN110188140A true CN110188140A (zh) 2019-08-30

Family

ID=67715935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910385870.8A Pending CN110188140A (zh) 2019-05-09 2019-05-09 数据拉取方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN110188140A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795288A (zh) * 2019-11-06 2020-02-14 杭州复杂美科技有限公司 数据获取方法、设备和存储介质
CN111090621A (zh) * 2019-10-30 2020-05-01 苏州浪潮智能科技有限公司 一种日志获取方法、设备以及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771673A (zh) * 2008-12-26 2010-07-07 华为技术有限公司 一种处理媒体数据的方法及装置
CN102169460A (zh) * 2010-02-26 2011-08-31 航天信息股份有限公司 变长数据管理方法及装置
CN103428242A (zh) * 2012-05-18 2013-12-04 阿里巴巴集团控股有限公司 一种增量同步的方法、装置及***
CN103559015A (zh) * 2013-10-15 2014-02-05 沈阳东软医疗***有限公司 一种基于硬件的符合事件判定方法和装置
US20140279929A1 (en) * 2013-03-15 2014-09-18 Amazon Technologies, Inc. Database system with database engine and separate distributed storage service
CN104661100A (zh) * 2015-02-09 2015-05-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN106294352A (zh) * 2015-05-13 2017-01-04 姚猛 一种文件处理方法、装置和文件***
CN107302727A (zh) * 2016-04-15 2017-10-27 杭州海康威视数字技术股份有限公司 一种直播视频分片的下载方法、装置及***
US20180004857A1 (en) * 2014-12-26 2018-01-04 Beijing Jingdong Shangke Information Technology Co., Ltd. Webpage loading method and system
CN108319619A (zh) * 2017-01-18 2018-07-24 腾讯科技（北京）有限公司 数据处理方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771673A (zh) * 2008-12-26 2010-07-07 华为技术有限公司 一种处理媒体数据的方法及装置
CN102169460A (zh) * 2010-02-26 2011-08-31 航天信息股份有限公司 变长数据管理方法及装置
CN103428242A (zh) * 2012-05-18 2013-12-04 阿里巴巴集团控股有限公司 一种增量同步的方法、装置及***
US20140279929A1 (en) * 2013-03-15 2014-09-18 Amazon Technologies, Inc. Database system with database engine and separate distributed storage service
CN103559015A (zh) * 2013-10-15 2014-02-05 沈阳东软医疗***有限公司 一种基于硬件的符合事件判定方法和装置
US20180004857A1 (en) * 2014-12-26 2018-01-04 Beijing Jingdong Shangke Information Technology Co., Ltd. Webpage loading method and system
CN104661100A (zh) * 2015-02-09 2015-05-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN106294352A (zh) * 2015-05-13 2017-01-04 姚猛 一种文件处理方法、装置和文件***
CN107302727A (zh) * 2016-04-15 2017-10-27 杭州海康威视数字技术股份有限公司 一种直播视频分片的下载方法、装置及***
CN108319619A (zh) * 2017-01-18 2018-07-24 腾讯科技（北京）有限公司 数据处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090621A (zh) * 2019-10-30 2020-05-01 苏州浪潮智能科技有限公司 一种日志获取方法、设备以及存储介质
CN110795288A (zh) * 2019-11-06 2020-02-14 杭州复杂美科技有限公司 数据获取方法、设备和存储介质
CN110795288B (zh) * 2019-11-06 2023-02-10 杭州复杂美科技有限公司 数据获取方法、设备和存储介质

Similar Documents

Publication Publication Date Title
EP3058690B1 (en) System and method for creating a distributed transaction manager supporting repeatable read isolation level in a mpp database
CN106095589B (zh) 一种分配分区的方法、装置及***
CN102333029B (zh) 一种服务器集群***中的路由方法
CN103067297B (zh) 一种基于资源消耗预测的动态负载均衡方法及装置
CN103607424B (zh) 一种服务器连接方法及服务器***
CN101741907A (zh) 一种均衡服务器负载的方法、***和主服务器
CN103095687A (zh) 元数据处理方法及装置
CN104166628B (zh) 管理内存的方法、装置和***
CN107908521A (zh) 一种应用于云环境下的服务器性能以及节点上的容器性能的监控方法
CN108804383B (zh) 基于度量空间的支撑点并行枚举方法及装置
CN109151028A (zh) 一种分布式存储***容灾方法及装置
CN101815095A (zh) 一种san存储资源统一管理和分配方法
CN108196787A (zh) 集群存储***的配额管理方法以及集群存储***
CN108347459A (zh) 一种云端数据快速存储方法及装置
CN104660689B (zh) 分布式计算***
CN109981702A (zh) 一种文件存储方法及***
CN110413845A (zh) 基于物联网操作***的资源存储方法及装置
CN110188140A (zh) 数据拉取方法、装置、存储介质和计算机设备
CN108875035A (zh) 分布式文件***的数据存储方法及相关设备
CN106713353A (zh) 一种地理信息服务的智能化无缝聚合方法及***
CN110012050A (zh) 消息处理、存储方法、装置及***
CN108153494B (zh) 一种io请求处理方法及装置
CN110286981A (zh) 虚拟云桌面服务器的使用状态的显示方法及显示***
CN106682198B (zh) 一种实现自动化部署数据库的方法和装置
CN107193749B (zh) 测试方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830

RJ01 Rejection of invention patent application after publication