CN111857534A - 一种数据传输方法、数据存储服务器及数据存储*** - Google Patents
一种数据传输方法、数据存储服务器及数据存储*** Download PDFInfo
- Publication number
- CN111857534A CN111857534A CN201910335421.2A CN201910335421A CN111857534A CN 111857534 A CN111857534 A CN 111857534A CN 201910335421 A CN201910335421 A CN 201910335421A CN 111857534 A CN111857534 A CN 111857534A
- Authority
- CN
- China
- Prior art keywords
- data
- data storage
- storage server
- online
- database file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 521
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000005540 biological transmission Effects 0.000 title claims abstract description 37
- 230000008676 import Effects 0.000 claims abstract description 90
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013479 data entry Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据传输方法、在线数据存储服务器、离线数据存储服务器及数据存储***，通过在离线数据存储服务器和在线数据存储服务器之间建立数据下载通道，将需要导入的数据转换为数据库文件，以数据库文件形式将数据从离线数据存储服务器下载至在线数据存储服务器，能够有效降低数据导入时间，提高数据导入的效率，维护数据存储***对外提供查询服务的稳定性。
Description
技术领域
本申请涉及大数据处理技术领域，具体而言，涉及一种数据传输方法，包括在线数据存储服务器和离线数据存储服务器的数据存储服务器，以及数据存储***。
背景技术
随着科学技术的不断发展，网络数据量日益激增，呈指数级别的爆发增长，目前为了使大量的数据得以合理存储，普遍采用分布式存储***Hadoop对大数据进行存储，Hadoop主要应用在离线数据存储场景下，而Hadoop中的离线数据的时效性差，无法满足线上业务低延时读取数据的要求，因此需要将离线数据先写到在线存储***，然后由在线存储***为线上业务提供低延时的查询。
将离线数据存储***Hadoop中的离线数据写入到在线数据存储***中，大多是通过在Hadoop构造虚拟数据存储引擎，以与在线数据存储***中的数据集群建立连接，在读取离线数据条目后，通过构造用于写入数据的数据请求发送给在线数据存储***，在线数据存储***会在内部各节点依次读取数据请求和数据条目。如图1中所示，图1为在线数据存储***的构造图，在线数据存储***一般包括应用客户端、VIP节点、proxy节点和数据存储节点，以在线数据存储***中数据存储节点为Redis节点为例，即在线数据存储***中的数据集群为Redis集群，在离线数据从Hadoop写入在线数据存储***的过程中，需要在Hadoop上构造Redis客户端，以与在线数据存储***中的Redis集群建立连接；Redis客户端会构造一个数据写入的Redis请求，并将Redis请求发给在线数据存储***，在线数据存储***的应用客户端在接收到Redis请求后，Redis请求会被依次转发给VIP节点、Proxy节点和Redis节点，各节点根据Redis请求读取并写入离线数据条目。
由此可见，数据是通过一个一个读写请求发给Redis集群的，而每个请求都经历了好几层的转发，才最终到达存储节点，链路较长，同时有大量的写请求涌入在线数据存储***中的数据存储节点，会导致数据存储节点的查询延时上升，影响服务稳定性。
发明内容
有鉴于此，本申请的目的在于提供一种数据传输方法、在线数据存储服务器、离线数据存储服务器及数据存储***，能够通过将数据转换为数据库文件，直接传输数据库文件，从而有效降低数据导入时间，提高数据导入的效率和数据存储***对外提供查询服务的稳定性。
根据本申请的一个方面，提供一种电子设备，可以包括存储介质和与存储介质通信的处理器。存储介质存储有处理器可执行的机器可读指令。当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
通过所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；
将所述数据库文件加载至预设存储位置。
在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；
将所述数据库文件加载至生成的数据存储空间中。
在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
在所述在线数据存储服务器中生成空白的数据存储空间；
将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；
将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
删除所述在线数据存储服务器中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。
在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；
将所述数据库文件加载至确定的数据存储空间中。
在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
确定与所述数据库文件相匹配的已生成的数据存储空间；
将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；
将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。
根据本申请的另一个方面，提供一种电子设备，可以包括存储介质和与存储介质通信的处理器。存储介质存储有处理器可执行的机器可读指令。当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；
获取所述在线数据存储服务器中各存储节点的拓扑结构信息；
基于所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；
通过所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：
基于所述拓扑结构信息表示的各存储节点的属性信息，确定各存储节点的数据承载属性和数据承载能力；
基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。
根据本申请的一个方面，提供一种数据传输方法，所述数据传输方法应用于在线数据存储服务器，所述数据传输方法包括：
在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
通过所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；
将所述数据库文件加载至预设存储位置。
在一些实施例中，将所述数据库文件加载至预设存储位置，包括：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；
将所述数据库文件加载至生成的数据存储空间中。
在一些实施例中，将所述数据库文件加载至预设存储位置，包括：
在所述在线数据存储服务器中生成空白的数据存储空间；
将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；
将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
在一些实施例中，在将所述数据库文件加载至预设存储位置之后，所述方法包括：
删除所述在线数据存储服务器中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。
在一些实施例中，将所述数据库文件加载至预设存储位置，包括：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；
将所述数据库文件加载至确定的数据存储空间中。
在一些实施例中，将所述数据库文件加载至预设存储位置，包括：
确定与所述数据库文件相匹配的已生成的数据存储空间；
将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；
将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。
根据本申请的另一个方面，提供一种数据传输方法，所述数据传输方法应用于离线数据存储服务器，所述数据传输方法包括：
在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；
获取所述在线数据存储服务器中各存储节点的拓扑结构信息；
基于所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；
通过所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
在一些实施例中，所述基于所述拓扑结构信息，将与所述数据导入请求相匹配的数据集划分为多个子数据块，包括：
基于所述拓扑结构信息表示的各存储节点的属性信息，确定各存储节点的数据承载属性和数据承载能力；
基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。
根据本申请的一个方面，提供一种在线数据存储服务器，所述在线数据存储服务器包括：
通道建立模块，用于在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
数据下载模块，用于通过所述通道建立模块建立的所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；
文件加载模块，用于将所述数据下载模块下载的所述数据库文件加载至预设存储位置。
在一些实施例中，所述文件加载模块具体用于：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；
将所述数据库文件加载至生成的数据存储空间中。
在一些实施例中，所述文件加载模块具体用于：
在所述在线数据存储服务器中生成空白的数据存储空间；
将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；
将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
在一些实施例中，所述在线数据存储服务器还包括：
删除模块，用于删除所述在线数据存储服务器中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。
在一些实施例中，所述文件加载模块具体还用于：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；
将所述数据库文件加载至确定的数据存储空间中。
在一些实施例中，所述文件加载模块具体还用于：
确定与所述数据库文件相匹配的已生成的数据存储空间；
将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；
将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。
根据本申请的一个方面，提供一种离线数据存储服务器，所述离线数据存储服务器包括：
通道构建模块，用于在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；
获取模块，用于获取所述在线数据存储服务器中各存储节点的拓扑结构信息；
数据转换模块，用于基于所述获取模块获取的所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；
文件发送模块，用于通过所述通道构建模块建立的所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
在一些实施例中，所述数据转换模块具体用于：
基于所述拓扑结构信息表示的各存储节点的属性信息，确定各存储节点的数据承载属性和数据承载能力；
基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。
根据本申请的一方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述两方面的数据传输方法的步骤。
本申请实施例提供的数据传输方法、在线数据存储服务器、离线数据存储服务器及数据存储***，离线数据存储服务器可以获取在线数据存储服务器中各存储节点的拓扑结构信息；基于拓扑结构信息，将与在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将多个数据块的数据内容添加至数据库文件中；通过数据下载通道，将数据库文件发送至在线数据存储服务器；从而在线数据存储服务器可以通过所述数据下载通道，从离线数据存储服务器获取与在线数据存储服务器发送的数据导入请求相匹配的数据库文件，并将数据库文件加载至预设存储位置。
这样，可以通过将数据转换为数据库文件，直接传输数据库文件，从而有效减少在数据存储***各节点间进行数据转发的次数和对存储节点的写入次数，降低数据导入时间，提高数据导入的效率，维护好数据存储***对外提供查询服务的稳定性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为在线数据存储***的构造图；
图2为本申请的数据存储***的示意图；
图3为本申请实施例提供的一种数据传输方法的流程示意图；
图4为本申请实施例提供的一种数据传输方法的流程示意图；
图5为本申请实施例提供的一种在线数据存储服务器的示意图；
图6为本申请实施例提供的一种离线数据存储服务器的示意图；
图7示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“离线数据存储服务器中的离线数据导入在线数据存储服务器”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕离线数据存储服务器中的离线数据导入在线数据存储服务器进行描述，但是应该理解，这仅是一个示例性实施例。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请的一个方面涉及一种数据存储***，所述数据存储***可以通过控制在多个数据存储服务器之间建立数据下载通道，尤其是在离线数据存储服务器与在线数据存储服务器之间建立数据下载通道，并控制离线数据存储服务器将离线数据添加至数据库文件中，在线数据存储服务器可以直接获取数据库文件，从而使得离线数据存储服务器中的离线数据可以高效快速的导入在线数据存储服务器中。
值得注意的是，目前大数据的存储普遍是采用分布式存储***Hadoop进行存储，而Hadoop中的离线数据的时效性差，无法满足线上业务低延时读取数据的要求，因此需要将离线数据先写到在线存储***，然后由在线存储***为线上业务提供低延时的查询。
在本申请提出申请之前，将离线数据存储***Hadoop中的离线数据写入到在线数据存储***中，大多是通过在Hadoop在读取离线数据条目后，通过构造用于写入数据的数据请求发送给在线数据存储***，在线数据存储***会在内部各节点依次读取数据请求和数据条目，由于数据是通过一个一个读写请求发给在线数据存储***中的各个数据存储集群的，而每个请求都经历了好几层的转发，才最终到达存储节点，链路较长，同时有大量的写请求涌入在线数据存储***中的数据存储节点，会导致数据存储节点的查询延时上升，影响服务稳定性。
然而，本申请提供的数据存储***，可以在线数据存储服务器和离线数据存储服务器之间可以通过建立数据下载通道，通过将离线数据划分成多个数据块，将多个数据块中的数据进行格式转换，以转换为数据库文件格式，并多个数据块的数据内容添加至数据库文件中，因此，可以通过建立的数据下载通道直接将数据库文件从离线数据存储服务器发送至在线数据存储服务器，在线数据存储服务器将数据库文件中的属于自己的数据加载至相应存储位置，即可完成数据的导入，本申请的数据存储******可以为离线数据从离线数据存储服务器导入在线数据服务器，从而有效降低各节点对应数据的读写请求，降低数据导入时间和数据存储***的工作量，提高数据导入的效率和数据存储***的稳定性效果。
基于此，本申请的一个方面涉及一种数据存储***，所述数据存储***包括在线数据存储服务器和离线数据存储服务器，所述在线数据存储服务器和所述离线数据存储服务器连接，所述离线数据存储服务器可以将存储的离线数据导入所述在线数据存储服务器中，以便所述在线数据存储服务器为线上业务员提供地时延的数据查询和服务查询。具体的，所述数据存储***中，所述在线数据存储服务器和所述离线数据存储服务器之间可以通过建立数据下载通道，所述离线数据存储服务器将存储的离线数据进行数据结构划分，从而划分成多个数据块，并可以将多个数据块中的数据进行格式转换，以转换为数据库文件格式，从而将格式转换后的多个数据块的数据内容添加至数据库文件中，所述在线数据存储服务器可以通过建立的数据下载通道，通过下载的方式从所述离线数据存储服务器处获取数据库文件，从而获取到多个数据块中的数据，然后可以将数据块中的数据加载至相应的位置，即可完成数据的导入。
其中，所述在线数据存储服务器和所述离线数据存储服务器均可以包括多个用于进行数据存储的数据库，用以实现数据的分布式存储。
本申请中的术语“在线数据存储服务器”和“在线数据存储***”是可以互换使用，以指代可以用于对实时数据进行存储或者对实时数据进行调用、访问等的数据库或者数据***等，“离线数据存储服务器”和“离线数据存储***”也是可以互换使用的，以指代可以用于对离线数据进行存储的数据库或者数据***，如分布式存储***Hadoop等。
所述数据存储***，可以是用于诸如金融行业、互联网行业、医疗行业或者教育行业等的数据平台，示例性的，例如可以应用于互联网行业中的网约车出行业务等。
请参阅图2，图2为本申请的数据存储***200示意图，其中包括在线数据存储服务器210和离线数据存储服务器220，在线数据存储服务器210可以包括应用客户端、VIP节点、proxy节点和数据存储节点，离线数据存储服务器220可以采用分布式存储***Hadoop，具体可以指Hadoop服务器集群或集群中的某台服务器。
在一些实施例中，在线数据存储服务器210和离线数据存储服务器220可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。例如，处理器可以基于从客户端获得的服务请求来进行数据导入和导出。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用指令集处理器(ApplicationSpecific Instruction-set Processor,ASIP)、图形处理单元(Graphics ProcessingUnit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(DigitalSignal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等，或其任意组合。
下面结合上述的数据存储***中描述的内容和图2示出的在线数据存储服务器和离线数据存储服务器的描述的内容，对本申请实施例提供的数据传输方法进行详细说明。
参照图3所示，图3为本申请实施例提供的一种数据传输方法的流程示意图，所述数据传输方法应用于所述数据存储***中的所述在线数据存储服务器，并可由所述在线数据存储服务器中的一个或者多个处理器来执行，具体执行过程为：
S301：在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道。
该步骤中，在需要将所述离线数据存储服务器中的离线数据导入所述在线数据存储服务器之前，所述在线数据存储服务器可以根据需要，如是定期进行的数据导入以便进行更新，或者是有用户通过所述在线数据存储服务器中的客户端需要进行数据查询或者业务查询等，所述在线数据存储服务器可以通过该客户端向所述离线数据存储服务器发送数据导入请求，以请求将所述离线数据存储服务器中的离线数据导入所述在线数据存储服务器中，并且所述在线数据存储服务器在接收到所述离线数据存储服务器反馈的同意进行数据导入的反馈指令后，可以先控制在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道。
其中，在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道，可以是完全在所述在线数据存储服务器与离线数据存储服务器之间构建一条新的数据通道，也是借助所述在线数据存储服务器和/或所述离线数据存储服务器中的固有的用于数据传输的下载通道等，来构建数据下载通道。
S302：通过所述数据下载通道，从离线数据存储服务器获取与在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的。
该步骤中，所述在线数据存储服务器在与所述离线数据存储服务器之间建立起所述数据下载通道之后，所述在线数据存储服务器可以通过所述数据下载通道，通过文件下载的方式，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件。
其中，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的。
示例性的，本申请实施例中，在线数据存储服务器中可以是以采用RocksDB存储引擎为例进行说明，在线数据存储服务器可以通过建立的数据下载通过，从离线数据存储服务器中下载RocksDB对应格式的数据库文件，其中，数据库文件中携带的多个数据块中数据的格式，即可以为与RocksDB存储引擎对应的SST格式的文件。
相应的，鉴于无论是所述在线数据存储服务器还是所述离线数据存储服务器，目前对于大数据的存储，均可以采用分布式存储，将数据存储在多个不同的数据存储节点上，如存储在多个存储空间、多个存储介质或者多个数据库中，而且多个存储节点彼此之间是呈网络连接，如通过路由等彼此连接，从而形成复杂的拓扑结构，而且所述在线数据存储服务器与所述离线数据存储服务器之间形成的连接，如所述在线数据存储服务器中的数据存储的存储节点和所述离线数据存储服务器中的数据存储的存储节点之间的连接，也会形成复杂的拓扑结构。
所述多个数据块，即为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的。所述在线数据存储服务器中各存储节点的拓扑结构信息，除了所述在线数据存储服务器中各存储节点内部之间的拓扑结构信息，还可以包括所述在线数据存储服务器中各存储节点与所述离线数据存储服务器中各存储节点之间连接的拓扑结构信息。
S303：将所述数据库文件加载至预设存储位置。
该步骤中，所述在线数据存储服务器在获取到所述数据库文件之后，就可以将所述数据库文件加载至预设存储位置。其中，预设存储位置可以是设定好的同一个数据存储位置，并且可以将获取的所有的所述数据库文件加载至设定好的数据存储位置，也可以是分散式的多个数据存储位置，并且可以将获取的所述数据库文件分别存储到各个数据存储位置。
示例性的，所述在线数据存储服务器获取到所述数据库文件后，可以是缓存在存储节点中，然后由存储节点直接下载至本地，即所述在线数据存储服务器中的多个RocksDB式的用于数据存储的空间，如下载至数据库中。
在本申请的一些实施例中，S303包括：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；将所述数据库文件加载至生成的数据存储空间中。
该步骤中，所述在线数据存储服务器获取到所述数据库文件后，所述在线数据存储服务器可以控制在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间，即在所述在线数据存储服务器中新构建一个数据存储空间，并且新构建的数据存储空间中数据存储的格式需要与所述数据库文件的文件格式匹配，即与所述数据库文件中的数据的格式相匹配，然后就可以将获取到的所述数据库文件加载至生成的数据存储空间中，从而进行数据存储。
其中，生成的空白的数据存储空间具有数据导入和导出功能。
这样，可以实现数据的全量导入，并且在数据导入过程中，不需要通过发送一个个应用写请求，而是直接导入数据库文件，并且数据库文件可以是压缩过的，直接下载到本地，然后加载到RocksDB数据库中，因此导入速度比产生常规手段快数倍。
在本申请的一些实施例中，S303包括：
在所述在线数据存储服务器中生成空白的数据存储空间；将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
该步骤中，所述在线数据存储服务器获取到所述数据库文件后，所述在线数据存储服务器可以控制在所述在线数据存储服务器中生成空白的数据存储空间，即在所述在线数据存储服务器中新构建一个数据存储空间，新构建的数据存储空间中存储的数据的格式与数据库文件的格式不同，此时，可以将所述数据库文件的文件格式，即所述数据库文件中数据的格式，转换为与生成的数据存储空间的数据存储格式相匹配的文件格式，然后，就可以将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
这样，可以实现数据的全量导入，并且在数据导入过程中，不需要通过发送一个个应用写请求，而是直接导入数据库文件，并且数据库文件可以是压缩过的，在缓存后可以进行解压和格式转换，并直接下载到本地，然后加载到数据库中，因此导入速度比产生常规手段快数倍。
在上述的实施例中，在将所述数据库文件加载至预设存储位置之后，所述方法包括：
删除所述在线数据存储服务器中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。
该步骤中，在所述在线数据存储服务器生成新的数据存储空间，并将所述数据库文件加载至生成的数据存储空间之后，所述在线数据存储服务器可以控制将所述在线数据存储服务器中与所述数据库文件相对应的已有的数据存储空间删除，并且将该已有数据存储空间中的数据。
其中，与所述数据库文件相对应的已有数据存储空间，可以是所述在线数据存储服务器中，在本次进行数据导入之前的或者上次进行数据导入或者数据更新时，生成的导入数据的数据存储空间，也就是说，该已有数据存储空间与此次生成的数据存储空间，为相同的存储空间，不过该已有数据存储空间中的数据是旧版没有更新的。
在本申请的一些实施例中，S303包括：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；将所述数据库文件加载至确定的数据存储空间中。
该步骤中，在所述在线数据存储服务器获取到所述数据库文件之后，所述在线数据存储服务器可以对本身已生成的数据存储空间进行检测，来从多个数据存储空间中确定出与数据库文件中数据的文件格式相匹配的已生成的数据存储空间，然后将所述数据库文件加载至确定的数据存储空间中，进行存储。
其中，与数据库文件中数据的文件格式相匹配的已生成的数据存储空间，为所述在线数据存储服务器本身已经有的多个数据存储空间中，除了存储的数据格式相匹配的数据存储空间，还需要是存储有所述数据库文件中部分数据的数据存储空间，也就是说，所述数据库文件中的数据，是需要对确定出的数据存储空间中的数据进行完整的数据更新的。
其中，已生成的数据存储空间，可以是在本次数据导入之前的数据导入过程中，生成的数据存储空间。
示例性的，所述在线数据存储服务器中存储有订单数据、用户信息等不同类别数据的数据存储空间，而此次数据导入，目的是要对订单数据进行更新，那么与导入的所述数据库文件相匹配的已经有的数据存储空间，则是存储订单数据的数据存储空间，而且二者中存储数据的数据格式是相同。
这样，可以实现数据的增量导入，增量导入流程将数据导入已经存在的数据存储空间，即数据库中，导入过程中在数据解压部分导入中虽然也许会引起硬盘的读写，但经过实验表明，相比于现有的增量数据导入，可以有效减少应用写请求的数量和流程，并且可以搭配控制文件导入的速度，进一步减小读写请求带来的影响，增量数据的导入速度比常规通过发送请求方式的增量数据的导入快。
在本申请的一些实施例中，S303包括：
确定与所述数据库文件相匹配的已生成的数据存储空间；将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。
该步骤中，在所述在线数据存储服务器获取到所述数据库文件之后，所述在线数据存储服务器可以对本身已经有的已生成的数据存储空间进行检测，从而来从多个数据存储空间中确定出与数据库文件中相匹配的已生成的数据存储空间，即确定出的已生成的数据存储空间为需要使用所述数据库文件中的数据进行数据更新的存储空间，但是由于确定出的已生成的数据存储空间中数据的数据格式与所述数据库文件中数据的数据格式不同，可以将所述数据库文件中的数据进行格式转换，从而转化为确定出的已生成的数据存储空间中的数据的数据格式，然后就可以将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中，进行存储。
其中，已生成的数据存储空间，可以是在本次数据导入之前的数据导入过程中，生成的数据存储空间。
本申请实施例提供的数据传输方法，通过在离线数据存储服务器和在线数据存储服务器之间建立数据下载通道，并通过数据下载通下载导入数据的数据库文件，实现数据库文件的直接导入，从而有效降低各节点对应数据的读写请求，降低数据导入时间和数据存储***的工作量，提高数据导入的效率和数据存储***的稳定性效果。
请参阅图4中所示，图4为本申请实施例提供的一种数据传输方法的流程示意图，基于同一发明构思，本申请实施例中还提供了一种数据传输方法，所述数据传输方法应用于所述数据存储***中的所述离线数据存储服务器，并可由所述离线数据存储服务器中的一个或者多个处理器来执行，具体执行过程为：
S401：在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道。
该步骤中，在需要将所述离线数据存储服务器中的离线数据导入所述在线数据存储服务器之前，所述离线数据存储服务器可以所述在线数据存储服务器发送数据导入请求，然后向所述在线数据存储服务器发送同意进行数据导入的反馈指令后，可以控制在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道。
其中，在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道，可以是完全在所述在线数据存储服务器与离线数据存储服务器之间构建一条新的数据通道，也是借助所述在线数据存储服务器和/或所述离线数据存储服务器中的固有的用于数据传输的下载通道等，来构建数据下载通道。
S402：获取所述在线数据存储服务器中各存储节点的拓扑结构信息。
该步骤中，在建立所述数据下载通道后，所述离线数据存储服务器可以从所述在线数据存储服务器处获取到所述在线数据存储服务器中各存储节点的拓扑结构信息。
其中，所述在线数据存储服务器中各存储节点的拓扑结构信息，除了所述在线数据存储服务器中各存储节点内部之间的拓扑结构信息，还可以包括所述在线数据存储服务器中各存储节点与所述离线数据存储服务器中各存储节点之间连接的拓扑结构信息。
S403：基于所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中。
该步骤中，所述离线数据存储服务器在获取到所述拓扑结构信息后，就可以按照所述拓扑结构信息中指示的各拓扑结构情况，来将所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，然后将所述多个数据块的数据内容添加至数据库文件中，以形成可以传输的数据库文件。
具体的，基于所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，可以是根据所述拓扑结构信息中表示的各存储节点的属性信息，如各存储节点与连接的存储节点之间的连接情况，来确定各存储节点的数据承载属性和数据承载能力，然后可以基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。
示例性的，以离线数据存储服务器中的离线数据通过Hadoop进行存储为例说明，可以是在Hadoop上，通过MapReduce计算方式，结合各存储节点的属性信息，如各存储节点的路由信息等，来将需要进行导入的数据进行划分，然后将划分好的导入数据转换成RocksDB的SST文件，并添加至数据库文件中。
S404：通过所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
该步骤中，在数据处理完毕后，所述离线数据存储服务器即可将所述数据库文件通过所述数据下载通道发送至所述在线数据存储服务器。
本申请实施例提供的数据传输方法，通过在离线数据存储服务器和在线数据存储服务器之间建立数据下载通道，并通过数据下载通下载导入数据的数据库文件，实现数据库文件的直接导入，从而有效降低各节点对应数据的读写请求，降低数据导入时间和数据存储***的工作量，提高数据导入的效率和数据存储***的稳定性效果。
基于同一发明构思，本申请实施例中还提供了与数据传输方法对应的在线数据存储服务器和离线数据存储服务器，由于本申请实施例中的在线数据存储服务器和离线数据存储服务器解决问题的原理与本申请实施例上述的数据传输方法相似，因此在线数据存储服务器和离线数据存储服务器的实施可以参见方法的实施，重复之处不再赘述。
请同时参阅图5，图5为本申请实施例提供的一种在线数据存储服务器的示意图，所述在线数据存储服务器500包括：
通道建立模块510，用于在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
数据下载模块520，用于通过所述通道建立模块510建立的所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；
文件加载模块530，用于将所述数据下载模块520下载的所述数据库文件加载至预设存储位置。
在本申请的一些实施例中，所述文件加载模块530具体用于：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；
将所述数据库文件加载至生成的数据存储空间中。
在本申请的一些实施例中，所述文件加载模块530具体用于：
在所述在线数据存储服务器中生成空白的数据存储空间；
将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；
将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
在上述实施例中，所述在线数据存储服务器500还包括：
删除模块540，用于删除所述在线数据存储服务器500中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。
在本申请的一些实施例中，所述文件加载模块530具体还用于：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；
将所述数据库文件加载至确定的数据存储空间中。
在本申请的一些实施例中，所述文件加载模块530具体还用于：
确定与所述数据库文件相匹配的已生成的数据存储空间；
将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；
将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。
关于上述各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本申请实施例提供的在线数据存储服务器，通过在离线数据存储服务器和在线数据存储服务器之间建立数据下载通道，并通过数据下载通下载导入数据的数据库文件，实现数据库文件的直接导入，从而有效降低各节点对应数据的读写请求，降低数据导入时间和数据存储***的工作量，提高数据导入的效率和数据存储***的稳定性效果。
请同时参阅图6，图6为本申请实施例提供的一种离线数据存储服务器的示意图，所述离线数据存储服务器600包括：
通道构建模块610，用于在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；
获取模块620，用于获取所述在线数据存储服务器中各存储节点的拓扑结构信息；
数据转换模块630，用于基于所述获取模块620获取的所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；
文件发送模块640，用于通过所述通道构建模块610建立的所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
在本申请的一些实施例中，所述数据转换模块630具体用于：
基于所述拓扑结构信息表示的各存储节点的属性信息，确定各存储节点的数据承载属性和数据承载能力；
基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。
本申请实施例提供的离线数据存储服务器，通过在离线数据存储服务器和在线数据存储服务器之间建立数据下载通道，并通过数据下载通下载导入数据的数据库文件，实现数据库文件的直接导入，从而有效降低各节点对应数据的读写请求，降低数据导入时间和数据存储***的工作量，提高数据导入的效率和数据存储***的稳定性效果。
关于上述各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本申请实施例还提供了一种计算机设备700，如图7所示，为本申请实施例提供的计算机设备700结构示意图，包括：处理器710、存储器720、和总线730。所述存储器720存储有所述处理器710可执行的机器可读指令，当计算机设备700运行时，所述处理器710与所述存储器720之间通过总线730通信，所述机器可读指令被所述处理器710执行时，还可以执行一个或多个以下操作：
在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；通过所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；将所述数据库文件加载至预设存储位置。
所述机器可读指令被所述处理器710执行时执行如下处理，还可以执行一个或多个以下操作：
在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；获取所述在线数据存储服务器中各存储节点的拓扑结构信息；基于所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；通过所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
相应的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器运行时执行上述数据传输方法的步骤。
具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述数据传输方法，从而解决数据导入时延时高，服务器稳定性差的问题，进而达到降低数据导入的时延，减少数据导入时间，提升服务器提供查询服务的稳定性的效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (19)
1.一种数据传输方法，其特征在于，所述数据传输方法应用于在线数据存储服务器，所述数据传输方法包括：
在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
通过所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；
将所述数据库文件加载至预设存储位置。
2.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；
将所述数据库文件加载至生成的数据存储空间中。
3.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
在所述在线数据存储服务器中生成空白的数据存储空间；
将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；
将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
4.根据权利要求2和3中任一项所述的数据传输方法，其特征在于，在将所述数据库文件加载至预设存储位置之后，所述方法包括：
删除所述在线数据存储服务器中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。
5.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；
将所述数据库文件加载至确定的数据存储空间中。
6.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
确定与所述数据库文件相匹配的已生成的数据存储空间；
将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；
将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。
7.一种数据传输方法，其特征在于，所述数据传输方法应用于离线数据存储服务器，所述数据传输方法包括：
在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；
获取所述在线数据存储服务器中各存储节点的拓扑结构信息；
基于所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；
通过所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
8.根据权利要求7所述的数据传输方法，其特征在于，所述基于所述拓扑结构信息，将与所述数据导入请求相匹配的数据集划分为多个子数据块，包括：
基于所述拓扑结构信息表示的各存储节点的属性信息，确定各存储节点的数据承载属性和数据承载能力；
基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。
9.一种在线数据存储服务器，其特征在于，所述在线数据存储服务器包括：
通道建立模块，用于在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
数据下载模块，用于通过所述通道建立模块建立的所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；
文件加载模块，用于将所述数据下载模块下载的所述数据库文件加载至预设存储位置。
10.根据权利要求9所述的在线数据存储服务器，其特征在于，所述文件加载模块具体用于：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；
将所述数据库文件加载至生成的数据存储空间中。
11.根据权利要求9所述的在线数据存储服务器，其特征在于，所述文件加载模块具体用于：
在所述在线数据存储服务器中生成空白的数据存储空间；
将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；
将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。
12.根据权利要求10和11中任一项所述的在线数据存储服务器，其特征在于，所述在线数据存储服务器还包括：
删除模块，用于删除所述在线数据存储服务器中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。
13.根据权利要求9所述的在线数据存储服务器，其特征在于，所述文件加载模块具体还用于：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；
将所述数据库文件加载至确定的数据存储空间中。
14.根据权利要求9所述的在线数据存储服务器，其特征在于，所述文件加载模块具体还用于：
确定与所述数据库文件相匹配的已生成的数据存储空间；
将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；
将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。
15.一种离线数据存储服务器，其特征在于，所述离线数据存储服务器包括：
通道构建模块，用于在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；
获取模块，用于获取所述在线数据存储服务器中各存储节点的拓扑结构信息；
数据转换模块，用于基于所述获取模块获取的所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；
文件发送模块，用于通过所述通道构建模块建立的所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。
16.根据权利要求15所述的离线数据存储服务器，其特征在于，所述数据转换模块具体用于：
基于所述拓扑结构信息表示的各存储节点的属性信息，确定各存储节点的数据承载属性和数据承载能力；
基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。
17.一种数据存储***，其特征在于，所述数据存储***包括如权利要求9至14中任一项所述的在线数据存储服务器，以及如权利要求15至16中任一项所述的离线数据存储服务器。
18.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1至6中任一所述的数据传输方法的步骤，或者执行权利要求7至8中任一所述的数据传输方法的步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6中任一所述的数据传输方法的步骤，或者执行权利要求7至8中任一所述的数据传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335421.2A CN111857534A (zh) | 2019-04-24 | 2019-04-24 | 一种数据传输方法、数据存储服务器及数据存储*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335421.2A CN111857534A (zh) | 2019-04-24 | 2019-04-24 | 一种数据传输方法、数据存储服务器及数据存储*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111857534A true CN111857534A (zh) | 2020-10-30 |
Family
ID=72952266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910335421.2A Pending CN111857534A (zh) | 2019-04-24 | 2019-04-24 | 一种数据传输方法、数据存储服务器及数据存储*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111857534A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116708420A (zh) * | 2023-07-28 | 2023-09-05 | 联想凌拓科技有限公司 | 用于数据传输的方法、装置、设备及介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020073076A1 (en) * | 2000-12-11 | 2002-06-13 | Yongjie Xu | System and method for enabling off-line database functionality |
| US20040003003A1 (en) * | 2002-06-26 | 2004-01-01 | Microsoft Corporation | Data publishing systems and methods |
| US20050223277A1 (en) * | 2004-03-23 | 2005-10-06 | Eacceleration Corporation | Online storage system |
| US20070168316A1 (en) * | 2006-01-13 | 2007-07-19 | Microsoft Corporation | Publication activation service |
| CN102355426A (zh) * | 2011-06-30 | 2012-02-15 | 北京神州泰岳软件股份有限公司 | 实现离线文件传输的方法和*** |
| CN102917020A (zh) * | 2011-09-24 | 2013-02-06 | 国网电力科学研究院 | 一种基于数据包的移动终端与业务***数据同步的方法 |
| CN103049224A (zh) * | 2012-12-28 | 2013-04-17 | 华为技术有限公司 | 将数据导入物理磁带的方法、装置和*** |
| US8732403B1 (en) * | 2012-03-14 | 2014-05-20 | Netapp, Inc. | Deduplication of data blocks on storage devices |
| US20140164487A1 (en) * | 2012-12-12 | 2014-06-12 | Hon Hai Precision Industry Co., Ltd. | File saving system and method |
| US20150261800A1 (en) * | 2014-03-12 | 2015-09-17 | Dell Products L.P. | Method for Storing and Accessing Data into an Indexed Key/Value Pair for Offline Access |
| CN104933333A (zh) * | 2014-07-25 | 2015-09-23 | 湖北华中电力科技开发有限责任公司 | 一种办公专用移动存储介质管理*** |
| CN106933207A (zh) * | 2015-10-09 | 2017-07-07 | 费希尔-罗斯蒙特***公司 | 用于分布式工业性能监控的数据分析服务 |
| CN109067618A (zh) * | 2018-09-06 | 2018-12-21 | 北京奥技异科技发展有限公司 | 分布式实时数据iot采集***及方法 |
| CN109240624A (zh) * | 2018-09-29 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种数据处理方法和装置 |
| CN109271456A (zh) * | 2018-11-16 | 2019-01-25 | 中国银行股份有限公司 | 主机数据库文件导出方法及装置 |
| US20190102113A1 (en) * | 2017-09-29 | 2019-04-04 | Oracle International Corporation | Database with nvdimm as persistent storage |
| US10254996B1 (en) * | 2018-08-10 | 2019-04-09 | Cohesity, Inc. | Fast migration of metadata |
-
2019
- 2019-04-24 CN CN201910335421.2A patent/CN111857534A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020073076A1 (en) * | 2000-12-11 | 2002-06-13 | Yongjie Xu | System and method for enabling off-line database functionality |
| US20040003003A1 (en) * | 2002-06-26 | 2004-01-01 | Microsoft Corporation | Data publishing systems and methods |
| US20050223277A1 (en) * | 2004-03-23 | 2005-10-06 | Eacceleration Corporation | Online storage system |
| US20070168316A1 (en) * | 2006-01-13 | 2007-07-19 | Microsoft Corporation | Publication activation service |
| CN102355426A (zh) * | 2011-06-30 | 2012-02-15 | 北京神州泰岳软件股份有限公司 | 实现离线文件传输的方法和*** |
| CN102917020A (zh) * | 2011-09-24 | 2013-02-06 | 国网电力科学研究院 | 一种基于数据包的移动终端与业务***数据同步的方法 |
| US8732403B1 (en) * | 2012-03-14 | 2014-05-20 | Netapp, Inc. | Deduplication of data blocks on storage devices |
| US20140164487A1 (en) * | 2012-12-12 | 2014-06-12 | Hon Hai Precision Industry Co., Ltd. | File saving system and method |
| CN103049224A (zh) * | 2012-12-28 | 2013-04-17 | 华为技术有限公司 | 将数据导入物理磁带的方法、装置和*** |
| US20150261800A1 (en) * | 2014-03-12 | 2015-09-17 | Dell Products L.P. | Method for Storing and Accessing Data into an Indexed Key/Value Pair for Offline Access |
| CN104933333A (zh) * | 2014-07-25 | 2015-09-23 | 湖北华中电力科技开发有限责任公司 | 一种办公专用移动存储介质管理*** |
| CN106933207A (zh) * | 2015-10-09 | 2017-07-07 | 费希尔-罗斯蒙特***公司 | 用于分布式工业性能监控的数据分析服务 |
| US20190102113A1 (en) * | 2017-09-29 | 2019-04-04 | Oracle International Corporation | Database with nvdimm as persistent storage |
| US10254996B1 (en) * | 2018-08-10 | 2019-04-09 | Cohesity, Inc. | Fast migration of metadata |
| CN109067618A (zh) * | 2018-09-06 | 2018-12-21 | 北京奥技异科技发展有限公司 | 分布式实时数据iot采集***及方法 |
| CN109240624A (zh) * | 2018-09-29 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种数据处理方法和装置 |
| CN109271456A (zh) * | 2018-11-16 | 2019-01-25 | 中国银行股份有限公司 | 主机数据库文件导出方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| ROSSMANN J.等: "GML-Based Data Management and Semantic World Modelling for a 4D Forest Simulation and Information System", 《 INTERNATIONAL JOURNAL OF 3-D INFORMATION MODELING》, vol. 3, no. 3, 31 December 2014 (2014-12-31), pages 50 - 67 * |
| 徐文华等: "基于数据流集成回归的短时交通流预测", 《交通信息与安全》, vol. 32, no. 4, 20 December 2014 (2014-12-20), pages 14 - 19 * |
| 韩鲲等: "基于数据中心的数据仓库结构设计", 《信息安全与通信保密》, no. 12, 10 December 2007 (2007-12-10), pages 78 - 82 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116708420A (zh) * | 2023-07-28 | 2023-09-05 | 联想凌拓科技有限公司 | 用于数据传输的方法、装置、设备及介质 |
| CN116708420B (zh) * | 2023-07-28 | 2023-11-03 | 联想凌拓科技有限公司 | 用于数据传输的方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110609872B (zh) | 用于同步节点数据的方法和装置 | |
| US9485300B2 (en) | Publish-subscribe platform for cloud file distribution | |
| CN102662639A (zh) | 一种基于Mapreduce的多GPU协同计算方法 | |
| WO2017167095A1 (zh) | 一种模型的训练方法和装置 | |
| CN110599169A (zh) | 数据处理方法、装置、终端及介质 | |
| CN112199427A (zh) | 一种数据处理方法和*** | |
| CN111126613A (zh) | 用于深度学习的方法、设备和计算机程序产品 | |
| CN110737747A (zh) | 一种数据操作方法、装置及*** | |
| CN109829546B (zh) | 平台即服务云端服务器及其机器学习数据处理方法 | |
| CN113110800A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113687964A (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 | |
| CN111865326A (zh) | 数据压缩方法、装置、设备及存储介质 | |
| CN111857534A (zh) | 一种数据传输方法、数据存储服务器及数据存储*** | |
| CN101673217A (zh) | 一种实现远端程序调用的方法和*** | |
| CN110908996B (zh) | 一种数据处理的方法和装置 | |
| CN109302449B (zh) | 数据写入方法、数据读取方法、装置和服务器 | |
| CN111753019A (zh) | 一种应用于数据仓库的数据分区方法和装置 | |
| CN111597403B (zh) | 一种构建图索引的方法、装置、电子设备及存储介质 | |
| CN112804366B (zh) | 用于解析域名的方法和装置 | |
| CN107818117B (zh) | 一种数据表的建立方法、在线查询方法及相关装置 | |
| CN116760661A (zh) | 数据存储方法、装置、计算机设备、存储介质和程序产品 | |
| CN115495056B (zh) | 分布式图计算***和方法 | |
| CN111324310A (zh) | 一种数据的读取方法、装置及计算机*** | |
| US20140297736A1 (en) | Data interchange system | |
| CN113127430A (zh) | 镜像信息处理方法、装置、计算机可读介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |