CN105657017A - 数据传输方法、装置和*** - Google Patents

数据传输方法、装置和*** Download PDF

Info

Publication number
CN105657017A
CN105657017A CN201610003894.9A CN201610003894A CN105657017A CN 105657017 A CN105657017 A CN 105657017A CN 201610003894 A CN201610003894 A CN 201610003894A CN 105657017 A CN105657017 A CN 105657017A
Authority
CN
China
Prior art keywords
data
mark
demand
queue
send
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610003894.9A
Other languages
English (en)
Inventor
张彬
许浩
季永锋
胡殿明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610003894.9A priority Critical patent/CN105657017A/zh
Publication of CN105657017A publication Critical patent/CN105657017A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了数据传输方法、装置和***。所述数据传输方法的一具体实施方式包括:接收至少一个数据采集服务器发送的带有标识的数据;将接收到的各个数据保存到本地缓存中;根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端。该实施方式降低了带宽资源的占用,并且提高了的程序的可扩展性,降低了运维成本。

Description

数据传输方法、装置和***
技术领域
本申请涉及计算机技术领域,具体涉及数据通信技术领域,尤其涉及数据传输方法、装置和***。
背景技术
目前,随着互联网的普及和数据量的增长,各大互联网运营商在全国各主要城市都会分别建有数据中心,各个数据中心将采集到的数据存入数据中心中的一个或多个数据采集服务器中。如需发送数据到数据需求端,各个数据采集服务器会各自将数据发送给对应的至少一个数据需求端。
然而,通过上述技术方案进行数据传输,使得同样的数据被传输多次,带宽资源的占用较大。并且,在新增数据需求端时,需要在对应的至少一个数据采集服务器提供新的接入模块,因此上述技术方案还使得程序的可扩展性较差、运维成本较高。
发明内容
本申请的目的在于提出一种数据传输方法、装置和***,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种数据传输方法,所述方法包括:接收至少一个数据采集服务器发送的带有标识的数据;将接收到的各个数据保存到本地缓存中;根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端。
第二方面,本申请提供了一种数据传输装置,所述装置包括:数据接收单元,用于接收至少一个数据采集服务器发送的带有标识的数据;数据缓存单元,用于将接收到的各个数据保存到本地缓存中;数据发送单元,用于根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端。
第三方面,本申请提供了一种数据传输***,所述***包括:至少一个数据采集服务器和至少一个数据传输服务器;其中,所述数据传输服务器包括第一方面所述的数据传输装置;所述数据采集服务器包括数据发送装置,用于将从采集终端接收到的带有标识的数据发送到数据传输服务器。
本申请提供的数据传输方法、装置和***,通过将从至少一个数据采集服务器接收到的带有标识的数据保存到本地缓存中,并根据预设的标识与数据需求端之间的对应关系,将本地缓存中的数据发送到对应的数据需求端,从而使采集服务器只需传输一次数据,就能够为多个数据需求端提供数据,降低了带宽资源的占用。同时,在需要新增数据需求端时,只需设置一下标识与新数据需求端之间的对应关系,无需在数据采集服务器提供新的接入模块,从而提高了的程序的可扩展性,降低了运维成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性***架构图;
图2是根据本申请的数据传输方法的一个实施例的流程图;
图3是根据本申请的数据传输方法的另一个实施例的流程图;
图4是根据本申请的数据传输装置的一个实施例的结构示意图;
图5是根据本申请的数据传输***的一个实施例的示例性结构示意图;
图6是适于用来实现本申请实施例的数据采集服务器或数据传输服务器的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的数据传输方法、数据传输装置或数据传输***的实施例的示例性***架构100。
如图1所示,***架构100可以包括数据中心101、102、103,网络104、中央数据中心105和数据需求端106、107。网络104用以在数据中心101、102、103和中央数据中心105之间、中央数据中心105和数据需求端106、107之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
数据中心101、102、103包括至少一个存储数据的数据采集服务器,通过网络104与中央数据中心105交互,以发送数据等。
中央数据中心105通常为离各个数据中心相对较近或者处于各个数据中心的中央的数据中心。中央数据中心105包括至少一个提供数据传输服务的数据传输服务器。数据传输服务器可以对接收到的数据进行缓存处理,并将缓存的数据发送给数据需求端。
数据需求端106、107可以是对接收到的数据进行离线分析、机器学***板电脑、膝上型便携计算机和台式计算机。
需要说明的是,本申请实施例所提供的数据传输方法通常由数据中心105中的数据传输服务器执行。相应地,数据传输装置可以设置于数据中心105中的数据传输服务器中。
应该理解,图1中的数据中心、中央数据中心、网络、和数据需求端的数目仅仅是示意性的。根据实现需要,可以具有任意数目的数据中心、中央数据中心、网络、和数据需求端。
继续参考图2,图2示出了根据本申请的数据传输方法的一个实施例的流程200。
如图2所示,本实施例的数据传输方法包括以下步骤:
步骤201,接收至少一个数据采集服务器发送的带有标识的数据。
在本实施例中,数据传输方法运行于其上的电子设备(例如图1上述的中央数据中心中的数据传输服务器)可以通过有线或无线的方式接收至少一个数据采集服务器发送的带有标识的数据。其中,上述数据采集服务器可以是位于不同数据中心中的多个采集服务器。上述标识可以用于标识数据是哪个采集项目(例如CPU温度、内存占用率)的数据。
需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤202,将接收到的各个数据保存到本地缓存中。
在本实施例中,电子设备可以将接收到的各个数据保存在预先分配的本地的缓存区中。其中,缓存是可以进行高速数据交换的存储器,它先于内存与CPU交换数据,因此速率很快。
步骤203,根据预设的标识与数据需求端之间的对应关系,将上述缓存中的数据发送到对应的至少一个数据需求端。
在本实施例中,电子设备可以根据预设的标识与数据需求端之间的对应关系,将缓存中的各个数据复制一份或多份,然后将原数据和复制的数据分别发送到对应的数据需求端。其中,标识与数据需求端之间的对应关系可以是多对多的映射关系,可以预先由人工进行设置,例如通过配置文件进行设置。电子设备可以通过读取上述对应关系(例如通过读取配置文件获取上述对应关系)将缓存中的各个数据发送到与数据对应的至少一个数据需求端。
在本实施例的一些可选的实现方式中,步骤203可以包括:确定上述缓存中的数据是否满足如下条件:数据量大于预定的第一数据量阈值;数据停留时间大于预定的第一时间阈值;根据预设的标识与数据需求端之间的对应关系,将满足任一上述条件的缓存中的数据发送到对应的数据需求端。其中,上述第一数据量阈值和上述第一时间阈值可根据实际需求由人工设置。例如,如果需求是高吞吐就可把第一数据量阈值和上述第一时间阈值相应设大一点;如果需求是低延迟就需要把第一时间阈值设小一点。通过该实现方式,使得电子设备在缓存中的数据达到一定量时将数据打包发送,而不是在每次接收到数据即发送,提高了数据传输效率;同时,由于设置了第一时间阈值,也保证了数据的实时性。
本实施例提供的数据传输方法,通过将从至少一个数据采集服务器接收到的带有标识的数据保存到本地缓存中,并根据预设的标识与数据需求端之间的对应关系,将本地缓存中的数据发送到对应的数据需求端,从而使采集服务器只需传输一次数据,就能够为多个数据需求端提供数据,降低了带宽资源的占用。同时,在需要新增数据需求端时,只需设置一下标识与新数据需求端之间的对应关系,无需在数据采集服务器提供新的接入模块,从而提高了的程序的可扩展性,降低了运维成本。
继续参考图3,图3示出了根据本申请的数据传输方法的另一个实施例的流程300。
如图3所示,本实施例的数据传输方法包括以下步骤:
步骤301,接收至少一个数据采集服务器发送的带有标识的数据。
在本实施例中,步骤301的具体处理可参考上述对图2对应实施例中步骤201的详细描述,在此不再赘述。
步骤302,将接收到的各个数据分发到与上述数据的标识对应的队列,其中,各个标识与各个队列一一对应。
在本实施例中,电子设备可以根据现有标识的数量,建立相应数据的队列,各个标识与各个队列一一对应,然后将接收到的各个数据分发到与上述数据的标识对应的队列。
步骤303,将各个队列中的数据分别存入预先为队列分配的缓存区中。
在本实施例中,电子设备预先为各个队列分别分配对应的缓存区,然后将将各个队列中的数据分别存入对应的缓存区中。这样,每个缓存区存储的都是同一标识的数据。
步骤304,根据各个队列对应的标识以及预设的标识与数据需求端之间的对应关系,将各个队列中的数据发送到对应的至少一个数据需求端。
在本实施例中,电子设备可以遍历每个队列进行如下处理:读取队列对应的标识所对应的数据需求端,然后将队列对应的缓存区中的数据打包发送到上述数据需求端。
在本实施例的一些可选的实现方式中,步骤304可以包括:确定各个队列所对应的缓存区中的数据是否满足如下条件:数据量大于预定的第一数据量阈值;数据停留时间大于预定的第一时间阈值;根据队列对应的标识以及预设的标识与数据需求端之间的对应关系,将满足任一上述条件的缓存区对应的队列中的数据发送到对应的数据需求端。该实现方式的具体处理及其所产生的技术效果可参考上述对图2对应实施例中相应实现方式的详细描述,在此不再赘述。
从图3中可以看出,与图2对应的实施例相比,本实施例中的数据传输方法的流程300根据标识将接收到的数据分发到不同的队列中,并根据各个队列对应的标识以及预设的标识与数据需求端之间的对应关系,将各个队列中的数据发送到对应的至少一个数据需求端。由此,电子设备可以无需遍历每个数据以读取数据的标识对应的数据需求端,只需遍历少量几个队列以读取队列对应的标识所对应的数据需求端,并将队列对应的缓存区中的数据打包发送到上述数据需求端,极大地提高了数据传输的效率。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种数据传输装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于数据传输服务器中。
如图4所示,本实施例上述的数据传输装置400包括:数据接收单元401、数据缓存单元402以及数据发送单元403。其中,数据接收单元401,用于接收至少一个数据采集服务器发送的带有标识的数据;数据缓存单元402,用于将接收到的各个数据保存到本地缓存中;数据发送单元403,用于根据预设的标识与数据需求端之间的对应关系,将上述缓存中的数据发送到对应的至少一个数据需求端。
在本实施例中,数据接收单元401、数据缓存单元402以及数据发送单元403的具体处理可分别参考上述对图2对应实施例中步骤201、步骤203以及步骤203的详细描述,在此不再赘述。
在本实施例的一些可选的实现方式中,数据发送单元403可以包括:第一发送确定子单元4031,用于确定上述缓存中的数据是否满足如下条件:数据量大于预定的第一数据量阈值;数据停留时间大于预定的第一时间阈值;第一数据发送子单元4032,用于根据预设的标识与数据需求端之间的对应关系,将满足任一上述条件的缓存中的数据发送到对应的数据需求端。该实现方式的具体处理及其所产生的技术效果可参考上述对图2对应实施例中相应实现方式的详细描述,在此不再赘述。
在本实施例的一些可选的实现方式中,数据缓存单元402可以包括:队列分配子单元4021,用于将各个数据分发到与上述数据的标识对应的队列,其中,各个标识与各个队列一一对应;数据缓存子单元4022,用于将各个队列中的数据分别存入预先为队列分配的缓存区中。队列分配子单元4021和数据缓存子单元4022的具体处理可分别参考上述对图3对应实施例中步骤302和步骤303的详细描述,在此不再赘述。
基于上述实现方式,在本实施例的一些可选的实现方式中,数据发送单元403可以进一步配置用于根据各个队列对应的标识以及预设的标识与数据需求端之间的对应关系,将各个队列中的数据发送到对应的至少一个数据需求端。该实现方式的具体处理可参考上述对图3对应实施例中步骤304的详细描述,在此不再赘述。
以及,在本实施例的一些可选的实现方式中,数据发送单元403可以包括:第二发送确定子单元(图中未示出),用于确定各个队列所对应的缓存区中的数据是否满足如下条件:数据量大于预定的第二数据量阈值;数据停留时间大于预定的第二时间阈值;数据发送子单元(图中未示出),用于根据队列对应的标识以及预设的标识与数据需求端之间的对应关系,将满足任一上述条件的缓存区对应的队列中的数据发送到对应的数据需求端。第二发送确定子单元及第二数据发送子单元的具体处理及其所产生的技术效果可参考上述对图3对应实施例中相应实现方式的详细描述,在此不再赘述。
本领域技术人员可以理解,上述数据传输装置400还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图4中未示出。
本实施例提供的数据传输装置,通过数据缓存单元402将数据接收单元401从至少一个数据采集服务器接收到的带有标识的数据保存到本地缓存中,并通过数据发送单元403根据预设的标识与数据需求端之间的对应关系,将本地缓存中的数据发送到对应的数据需求端,从而使采集服务器只需传输一次数据,就能够为多个数据需求端提供数据,降低了带宽资源的占用。同时,在需要新增数据需求端时,只需设置一下标识与新数据需求端之间的对应关系,无需在数据采集服务器提供新的接入模块,从而提高了的程序的可扩展性,降低了运维成本。
进一步参考图5,本申请还提供了一种数据传输***的一个实施例。
如图5所示,本实施例的数据传输***500包括:数据采集服务器501和数据传输服务器502。其中,数据采集服务器501包括数据发送装置5011,用于将从采集终端接收到的带有标识的数据发送到数据传输服务器;数据传输服务器502包括如图4对应实施例所提供的数据传输装置5021。
需要说明的是,数据采集服务器501可以位于图1所示的数据中心101、102、103中,数据传输服务器502可以位于图1所示的中央数据中心105中。
以及,本实施例的数据采集服务器501和数据传输服务器502可以为一个或多个,图5中的数据采集服务器和数据传输服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的数据采集服务器和数据传输服务器。
在本实施例的一些可选的实现方式中,数据发送装置5011可以包括:数据接收单元(图中未示出),用于接收数据采集终端发送的带有标识的数据;数据缓存单元(图中未示出),用于将上述数据存入采集服务器的本地缓存中;发送确定单元(图中未示出),用于确定上述本地缓存中的数据是否满足如下条件:数据量大于预定的数据量阈值;数据停留时间大于预定的时间阈值;数据发送单元(图中未示出),用于在上述发送确定单元确定上述本地缓存中的数据满足任一上述条件时,发送上述本地缓存中的数据到上述数据传输服务器。
在本实施例的一些可选的实现方式中,数据发送装置5011还可以包括:持久化单元(图中未示出),用于在数据发送单元发送失败时,将上述发送失败的数据持久化到采集服务器的本地磁盘中;回写确定单元(图中未示出),用于实时地或每隔预定时间长度确定上述数据传输服务器是否服务正常并且上述本地缓存是否有足够的剩余容量;数据回写单元(图中未示出),用于在回写确定单元确定上述数据传输服务器服务正常并且上述本地缓存有足够的剩余容量时,将上述磁盘中的数据回写到上述本地缓存中。通过该实现方式,使得数据采集服务器501在数据发送失败时,仍然能够保证数据的完整性。
在本实施例的一些可选的实现方式中,数据发送装置5011还可以包括数据压缩单元(图中未示出),用于在数据发送单元发送上述本地缓存中的数据到上述数据传输服务器之前,将上述本地缓存中的数据压缩。从而减少了数据流量,更加降低了带宽资源的占用。
下面参考图6,其示出了适于用来实现本申请实施例的数据采集服务器和数据传输服务器的计算机***600的结构示意图。
如图6所示,计算机***600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有***600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括数据接收单元、数据缓存单元以及数据发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,数据接收单元还可以被描述为“接收采集终端发送的数据的单元”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:接收至少一个数据采集服务器发送的带有标识的数据;将接收到的各个数据保存到本地缓存中;根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种数据传输方法,其特征在于,所述方法包括:
接收至少一个数据采集服务器发送的带有标识的数据;
将接收到的各个数据保存到本地缓存中;
根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端。
2.根据权利要求1所述的方法,其特征在于,所述根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端,包括:
确定所述缓存中的数据是否满足如下条件:数据量大于预定的第一数据量阈值;数据停留时间大于预定的第一时间阈值;
根据预设的标识与数据需求端之间的对应关系,将满足任一所述条件的缓存的数据发送到对应的数据需求端。
3.根据权利要求1所述的方法,其特征在于,所述将各个数据保存到与本地缓存中,包括:
将各个数据分发到与所述数据的标识对应的队列,其中,各个标识与各个队列一一对应;
将各个队列中的数据分别存入预先为队列分配的缓存区中。
4.根据权利要求3所述的方法,其特征在于,所述根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端,包括:
根据各个队列对应的标识以及预设的标识与数据需求端之间的对应关系,将各个队列中的数据发送到对应的至少一个数据需求端。
5.根据权利要求4所述的方法,其特征在于,所述根据各个队列对应的标识以及预设的标识与数据需求端之间的对应关系,将各个队列中的数据发送到对应的至少一个数据需求端,包括:
确定各个队列所对应的缓存区中的数据是否满足如下条件:数据量大于预定的第二数据量阈值;数据停留时间大于预定的第二时间阈值;
根据队列对应的标识以及预设的标识与数据需求端之间的对应关系,将满足任一所述条件的缓存区对应的队列中的数据发送到对应的数据需求端。
6.一种数据传输装置,其特征在于,所述装置包括:
数据接收单元,用于接收至少一个数据采集服务器发送的带有标识的数据;
数据缓存单元,用于将接收到的各个数据保存到本地缓存中;
数据发送单元,用于根据预设的标识与数据需求端之间的对应关系,将所述缓存中的数据发送到对应的至少一个数据需求端。
7.根据权利要求6所述的装置,其特征在于,所述数据发送单元包括:
第一发送确定子单元,用于确定所述缓存中的数据是否满足如下条件:数据量大于预定的第一数据量阈值;数据停留时间大于预定的第一时间阈值;
第一数据发送子单元,用于根据预设的标识与数据需求端之间的对应关系,将满足任一所述条件的缓存中的数据发送到对应的数据需求端。
8.根据权利要求6所述的装置,其特征在于,所述数据缓存单元包括:
队列分配子单元,用于将各个数据分发到与所述数据的标识对应的队列,其中,各个标识与各个队列一一对应;
数据缓存子单元,用于将各个队列中的数据分别存入预先为队列分配的缓存区中。
9.根据权利要求8所述的装置,其特征在于,所述数据发送单元进一步配置用于根据各个队列对应的标识以及预设的标识与数据需求端之间的对应关系,将各个队列中的数据发送到对应的至少一个数据需求端。
10.根据权利要求9所述的装置,其特征在于,所述数据发送单元包括:
第二发送确定子单元,用于确定各个队列所对应的缓存区中的数据是否满足如下条件:数据量大于预定的第二数据量阈值;数据停留时间大于预定的第二时间阈值;
第二数据发送子单元,用于根据队列对应的标识以及预设的标识与数据需求端之间的对应关系,将满足任一所述条件的缓存区对应的队列中的数据发送到对应的数据需求端。
11.一种数据传输***,其特征在于,所述***包括:数据采集服务器和数据传输服务器;
其中,所述数据采集服务器包括数据发送装置,用于将从采集终端接收到的带有标识的数据发送到数据传输服务器;
所述数据传输服务器包括权利要求6-10任一所述的数据传输装置。
12.根据权利要求11所述的***,其特征在于,所述数据发送装置包括:
数据接收单元,用于接收数据采集终端发送的带有标识的数据;
数据缓存单元,用于将所述数据存入采集服务器的本地缓存中;
发送确定单元,用于确定所述本地缓存中的数据是否满足如下条件:数据量大于预定的数据量阈值;数据停留时间大于预定的时间阈值;
数据发送单元,用于在所述发送确定单元确定所述本地缓存中的数据满足任一所述条件时,发送所述本地缓存中的数据到所述数据传输服务器。
13.根据权利要求12所述的***,其特征在于,所述数据发送装置还包括:
持久化单元,用于在数据发送单元发送失败时,将所述发送失败的数据持久化到采集服务器的本地磁盘中;
回写确定单元,用于实时地或每隔预定时间长度确定所述数据传输服务器是否服务正常并且所述本地缓存是否有足够的剩余容量;
数据回写单元,用于在回写确定单元确定所述数据传输服务器服务正常并且所述本地缓存有足够的剩余容量时,将所述磁盘中的数据回写到所述本地缓存中。
14.根据权利要求12所述的***,其特征在于,所述数据发送装置还包括:数据压缩单元,用于在数据发送单元发送所述本地缓存中的数据到所述数据传输服务器之前,将所述本地缓存中的数据压缩。
CN201610003894.9A 2016-01-04 2016-01-04 数据传输方法、装置和*** Pending CN105657017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610003894.9A CN105657017A (zh) 2016-01-04 2016-01-04 数据传输方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610003894.9A CN105657017A (zh) 2016-01-04 2016-01-04 数据传输方法、装置和***

Publications (1)

Publication Number Publication Date
CN105657017A true CN105657017A (zh) 2016-06-08

Family

ID=56491677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610003894.9A Pending CN105657017A (zh) 2016-01-04 2016-01-04 数据传输方法、装置和***

Country Status (1)

Country Link
CN (1) CN105657017A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407307A (zh) * 2016-08-31 2017-02-15 天津南大通用数据技术股份有限公司 一种分布式数据库节点数据交互方法及装置
CN107426307A (zh) * 2017-07-11 2017-12-01 北京潘达互娱科技有限公司 数据处理方法及装置
CN109547363A (zh) * 2018-11-13 2019-03-29 中广核核电运营有限公司 数据传输方法、装置、计算机设备和存储介质
CN109982009A (zh) * 2019-03-21 2019-07-05 深兰科技(上海)有限公司 一种图像数据长距离传输的方法及装置
CN111478884A (zh) * 2020-03-06 2020-07-31 视联动力信息技术股份有限公司 不同视联网之间进行数据传输的方法、装置和存储介质
CN112684878A (zh) * 2020-12-24 2021-04-20 维沃移动通信(杭州)有限公司 数据传输方法和电子设备
CN112770356A (zh) * 2021-01-06 2021-05-07 维沃移动通信有限公司 数据传输方法和电子设备
WO2021223110A1 (zh) * 2020-05-06 2021-11-11 深圳市大疆创新科技有限公司 数据处理装置及方法、介质和计算机设备、可移动设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056250A (zh) * 2007-04-12 2007-10-17 中控科技集团有限公司 实时信息运营管理方法和***
CN101079760A (zh) * 2007-07-27 2007-11-28 华为技术有限公司 实现网络监控的方法、***及内容分发网络
CN102768667A (zh) * 2011-05-06 2012-11-07 腾讯科技(北京)有限公司 一种推送信息的发布方法和***
CN102917026A (zh) * 2012-09-20 2013-02-06 中国联合网络通信集团有限公司 物联网信息订阅方法、设备和***
CN203164734U (zh) * 2013-03-29 2013-08-28 北京经纬恒润科技有限公司 一种数据采集监控***
US20140280673A1 (en) * 2013-03-15 2014-09-18 Schweitzer Engineering Laboratories, Inc. Systems and methods for communicating data state change information between devices in an electrical power system
CN104468399A (zh) * 2014-12-08 2015-03-25 北京奇虎科技有限公司 数据传输方法、装置和服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056250A (zh) * 2007-04-12 2007-10-17 中控科技集团有限公司 实时信息运营管理方法和***
CN101079760A (zh) * 2007-07-27 2007-11-28 华为技术有限公司 实现网络监控的方法、***及内容分发网络
CN102768667A (zh) * 2011-05-06 2012-11-07 腾讯科技(北京)有限公司 一种推送信息的发布方法和***
CN102917026A (zh) * 2012-09-20 2013-02-06 中国联合网络通信集团有限公司 物联网信息订阅方法、设备和***
US20140280673A1 (en) * 2013-03-15 2014-09-18 Schweitzer Engineering Laboratories, Inc. Systems and methods for communicating data state change information between devices in an electrical power system
CN203164734U (zh) * 2013-03-29 2013-08-28 北京经纬恒润科技有限公司 一种数据采集监控***
CN104468399A (zh) * 2014-12-08 2015-03-25 北京奇虎科技有限公司 数据传输方法、装置和服务器

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407307A (zh) * 2016-08-31 2017-02-15 天津南大通用数据技术股份有限公司 一种分布式数据库节点数据交互方法及装置
CN107426307A (zh) * 2017-07-11 2017-12-01 北京潘达互娱科技有限公司 数据处理方法及装置
CN109547363A (zh) * 2018-11-13 2019-03-29 中广核核电运营有限公司 数据传输方法、装置、计算机设备和存储介质
CN109982009A (zh) * 2019-03-21 2019-07-05 深兰科技(上海)有限公司 一种图像数据长距离传输的方法及装置
CN109982009B (zh) * 2019-03-21 2021-05-11 深兰科技(上海)有限公司 一种图像数据长距离传输的方法及装置
CN111478884A (zh) * 2020-03-06 2020-07-31 视联动力信息技术股份有限公司 不同视联网之间进行数据传输的方法、装置和存储介质
CN111478884B (zh) * 2020-03-06 2022-11-15 视联动力信息技术股份有限公司 不同视联网之间进行数据传输的方法、装置和存储介质
WO2021223110A1 (zh) * 2020-05-06 2021-11-11 深圳市大疆创新科技有限公司 数据处理装置及方法、介质和计算机设备、可移动设备
CN112684878A (zh) * 2020-12-24 2021-04-20 维沃移动通信(杭州)有限公司 数据传输方法和电子设备
CN112684878B (zh) * 2020-12-24 2022-09-30 维沃移动通信(杭州)有限公司 数据传输方法和电子设备
CN112770356A (zh) * 2021-01-06 2021-05-07 维沃移动通信有限公司 数据传输方法和电子设备

Similar Documents

Publication Publication Date Title
CN105657017A (zh) 数据传输方法、装置和***
CN110535965A (zh) 一种数据处理方法及装置、存储介质
CN108009028A (zh) 消息处理方法、装置、设备及计算机可读存储介质
CN106034330A (zh) 基于内容分发网络的移动终端流量处理方法、装置及***
CN104079630A (zh) 一种业务服务端负载均衡方法、客户端、服务端以及***
CN107844524A (zh) 数据处理方法、数据处理装置、计算机设备和存储介质
CN107819891A (zh) 数据处理方法、装置、计算机设备和存储介质
CN107636722A (zh) 用于利用多张sim卡的管理方法及管理服务器
CN105591971A (zh) 一种QoS的实现方法和装置
CN105309029B (zh) 分配用于虚拟化联网的共享资源
CN105656964B (zh) 数据推送的实现方法及装置
JP7097427B2 (ja) データ処理システム、及びデータ処理方法
CN104113491A (zh) 一种数据传输方法及装置
CN108173782A (zh) 虚拟私有云中传输数据流的方法、装置及存储介质
CN104468408A (zh) 用于动态调整业务带宽的方法和控制中心服务器
CN103929377A (zh) 一种有线网络与无线网络联合调度方法、相关设备及***
CN106412043A (zh) Cdn网络流量引导方法和装置
CN110365508A (zh) 虚拟网络功能实例化的方法和网络功能虚拟化编排器
CN103368872A (zh) 数据包转发***和方法
CN109561469A (zh) 本地内容的缓存方法、装置、存储介质及电子装置
US7168043B2 (en) Apparatus and system for communication
CN103796191A (zh) 向用户终端发送数据的方法、装置及终端
CN109525633A (zh) 区块链网络、基于区块链网络的消息发送、消息接收方法
CN101621530B (zh) 基于光路共享的负载均衡网络资源调度方法及其装置
KR101264951B1 (ko) 단말기를 위한 정보량을 인터셉트하고 분석하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160608

RJ01 Rejection of invention patent application after publication