CN104468648A - 数据处理***及方法 - Google Patents

数据处理***及方法 Download PDF

Info

Publication number
CN104468648A
CN104468648A CN201310419703.3A CN201310419703A CN104468648A CN 104468648 A CN104468648 A CN 104468648A CN 201310419703 A CN201310419703 A CN 201310419703A CN 104468648 A CN104468648 A CN 104468648A
Authority
CN
China
Prior art keywords
data
configuration information
file reception
receiving agent
data message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310419703.3A
Other languages
English (en)
Other versions
CN104468648B (zh
Inventor
付凯
罗伟
杨帅
杨光
金德强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310419703.3A priority Critical patent/CN104468648B/zh
Publication of CN104468648A publication Critical patent/CN104468648A/zh
Application granted granted Critical
Publication of CN104468648B publication Critical patent/CN104468648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据处理***及方法，属于网络技术领域。所述***包括：上报端，用于采集用户通过人机接口模块输入的第一数据信息，并向接收代理服务器上报第一数据信息；第一数据信息包括要上报的数据、用于唯一标识数据的数据标识；接收代理服务器，用于接收第一数据信息并根据数据标识获取对应的数据格式配置信息，根据数据格式配置信息对第一数据信息进行格式配置得到第二数据信息；向对应的文件接收分发服务器发送第二数据信息；文件接收分发服务器，用于接收第二数据信息，根据数据标识获取对应的数据接收分发配置信息，并根据数据接收分发配置信息对数据进行存储或者分发处理。通过采用本发明的技术方案，能够有效地提高数据处理的效率。

Description

数据处理***及方法
技术领域
本发明涉及网络技术领域，特别涉及一种数据处理***及方法。
背景技术
随着计算机和网络通信技术的飞速发展，企业要处理的数据***式的增长，数据量已经从TB（1024GB=1TB）级别升到PB（1024TB=1PB）级、EB（1024PB=1EB）、甚至ZB（1024EB=1ZB）级别，因此数据的处理称为人们关注越来越密切的问题。
现有技术中，各个业务在进行数据处理时，需要将数据从上报端传输到目的端，由于业务性质不同，导致数据的格式也不尽相同，同时也有可能导致数据处理要求、数据传输方式以及数据传输的目的端也可能各不相同。例如，教育机构所产生的数据的格式和银行机构所产生的数据的格式不相同，对应的数据处理要求、数据传输方式以及数据传输目的地也各不相同。通常情况下，数据传输过程中，对于每一种格式的数据，都需要自行实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作内容。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：现有技术的数据传输过程中，对于每一种格式的数据，都需要自行实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作内容。而且随着需要处理的数据的格式的种类增加、数据量的大幅度***增长，数据传输过程中的数据处理工作涉及多个层面，架构复杂，工作量大，重复度高，采集地域范围广，传输难度大，导致数据处理的效率非常低。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种数据处理***及方法。所述技术方案如下：
一方面，提供了一种数据处理***，所述***包括：
上报端，用于采集用户通过人机接口模块输入的第一数据信息，并向所述接收代理服务器上报所述第一数据信息；所述第一数据信息包括要上报的数据、用于唯一标识所述数据的数据标识；
所述接收代理服务器，用于接收所述上报端上报的所述第一数据信息；根据所述数据标识获取对应的数据格式配置信息，根据所述数据格式配置信息对所述第一数据信息进行格式配置得到第二数据信息；并向对应的文件接收分发服务器发送所述第二数据信息，所述第二数据信息在所述第一数据信息的基础上还包括所述文件接收分发服务器的IP地址；
所述文件接收分发服务器，用于接收所述第二数据信息，根据所述数据标识获取对应的数据接收分发配置信息，并根据所述数据接收分发配置信息对所述数据进行存储或者分发处理。
另一方面，提供了一种数据处理方法，所述方法包括：
上报端采集用户通过人机接口模块输入的第一数据信息，并向所述接收代理服务器上报所述第一数据信息；所述第一数据信息包括要上报的数据、用于唯一标识所述数据的数据标识；
所述接收代理服务器接收上报端上报的所述第一数据信息，并根据所述数据标识获取对应的数据格式配置信息；
所述接收代理服务器根据所述数据格式配置信息对所述第一数据信息进行格式配置得到第二数据信息；
所述接收代理服务器向对应的文件接收分发服务器发送所述第二数据信息，所述第二数据信息在所述第一数据信息的基础上还包括所述文件接收分发服务器的IP地址；
所述文件接收分发服务器接收所述第二数据信息，根据所述数据标识获取对应的数据接收分发配置信息；
所述文件接收分发服务器根据所述数据接收分发配置信息对所述数据进行存储或者分发处理。
本发明实施例的数据处理***及方法，引入了上述上报端、接收代理服务器和文件接收分发服务器，通过采用上述技术方案，可以对任一种格式的数据进行数据传输；不需要对每一种格式的数据来实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作，从而能够在数据量的大幅度***增长的情况下，采用同一套***即可完成所有数据的传输，有效地减少数据传输的复杂度，因此采用本发明实施例的技术方案，能够有效地提高数据处理的效率。
而且本发明实施例的技术方案，在使用时，用户只需要在上报端的用户界面上进行配置，上报第一数据信息，接收代理服务器和文件接收分发服务器便可以将用户需要传输的数据发送至目的端。使用非常方便，数据处理效率非常高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的数据处理***的结构示意图。
图2为本发明另一实施例提供的数据处理***的结构示意图。
图3为本发明再一实施例提供的数据处理***的结构示意图。
图4为本发明实施例提供的一种数据处理***的工作结构示意图。
图5为本发明一实施例提供的数据处理方法的流程图。
图6为本发明实施例提供的数据处理方法的信令图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1为本发明一实施例提供的数据处理***的结构示意图。如图1所示，本实施例的数据处理***包括：上报端10、接收代理服务器11和文件接收分发服务器12。
其中上报端10用于采集用户通过人机接口模块输入的第一数据信息，并向接收代理服务器11上报第一数据信息；该第一数据信息包括要上报的数据、用于唯一标识该数据的数据标识（Data ID）；使用Data ID唯一标识数据（由于该数据在量上可以包括的是一串，因此也可以称为数据集），例如可以用1xxxxxx表示数据，例如1000001。接收代理服务器11与上报端10连接，接收代理服务器11用于接收上报端10上报的第一数据信息，第一数据信息包括要上报的数据、用于唯一标识数据的数据标识例如，对于每一个区域，可以对应设置一组上报端10向接收代理服务器11上报第一数据信息。例如深圳地区可以部署一组上报端10，上海地区也可以部署一组上报端10。每一组上报端可以包括至少两个上报端10。
用户可以通过上报端10的用户界面（User Interface；简称UI）上报第一数据信息，也就是说在UI上可以包括多个选项，例如要上报的数据，用于唯一标识数据的Data ID，例如还可以包括如下信息对应选项中的至少一种数据格式、数据长度（例如可以指的是要上报的数据的长度）、时间戳（例如可以指的是上报的时间）、上报端IP地址、数据要发往的目的地理位置信息（例如此处的地理位置信息可以为要发送的城市或者地区）、运维信息（可以指的是运营商信息）以及要发往的目的地址（例如可以为要发送的详细地址，如可以包括目的地理位置信息对应的详细IP地址）中的至少一种，例如还可以包括版本号。对于每一种信息，可以在UI上对应一个选项，用户通过选项选择上报的第一数据信息中包含的所有信息，其中要上报的数据以及Data ID是第一数据信息中必须包含的信息。本实施例中，上报端10采集数据的接口可以为现有技术中任何一种采集数据的接口，详细可以参考相关现有技术，在此不再赘述。
接收代理服务器11与文件接收分发服务器12连接，接收代理服务器11还用于根据数据标识获取对应的数据格式配置信息，根据数据格式配置信息对第一数据信息进行格式配置得到第二数据信息；并向对应的文件接收分发服务器12发送第二数据信息，第二数据信息在第一数据信息的基础上还包括文件接收分发服务器的IP地址；例如此时可以在第二数据信息中增加字段序列号，该序列号由接收代理服务器的IP+Data ID+自增ID组成。例如如下表1为一个第二数据信息。数据格式配置信息可以预先配置在接收代理服务器11中。
表1
版本 Data ID 序列号 长度 时间戳 上报端IP 地区/城市 运营商 数据
文件接收分发服务器12用于接收代理服务器11发送的第二数据信息，根据数据标识获取对应的数据接收分发配置信息，并根据数据接收分发配置信息对数据进行存储或者分发处理。数据接收分发配置信息可以预先配置在文件接收分发服务器12中。
可选地，本实施例中，当上报端10上报的第一数据信息中仅包括要上报的数据以及Data ID时，接收代理服务器11根据Data ID获取的数据格式配置信息中可以包括添加数据格式、添加数据长度、添加时间戳（例如此时对应的时间戳可以为接收代理服务器接收第一数据信息的接收时间）、添加上报端10的IP地址、添加数据要发往的目的地理位置信息、添加运维信息和添加要发往的目的地址、以及将数据转化为指定的数据格式中的至少一种；例如数据的格式为键值对（Key-Value）格式、json格式、二进制编码格式或者支持加载动态库方式实现的用户自定义编码格式。用户指定的格式可以为上述格式中的一种。
本实施例的数据处理***，引入了上述上报端、接收代理服务器和文件接收分发服务器，通过采用上述技术方案，可以对任一种格式的数据进行数据传输；不需要对每一种格式的数据来实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作，从而能够在数据量的大幅度***增长的情况下，采用同一套***即可完成所有数据的传输，有效地减少数据传输的复杂度，因此采用本实施例的技术方案，能够有效地提高数据处理的效率。
而且本实施例的技术方案，在使用时，用户只需要在上报端的用户界面上进行配置，上报第一数据信息，接收代理服务器和文件接收分发服务器便可以将用户需要传输的数据发送至目的端。使用非常方便，数据处理效率非常高。
可选地，上述图1所示实施例中的接收代理服务器11具体用于当第二数据信息中包括目的地理位置信息，根据目的地理位置信息向对应的文件接收分发服务器12发送第二数据信息；例如当配置后的第二数据信息中包括目的地理位置信息时，表明接收代理服务器11知道该数据将要发送的去向，例如当目的地理位置为上海时，此时接收代理服务器11向上海地区的文件接收服务器12发送第二数据信息。当目的地址为北京某区时，此时接收代理服务器向北京某区的文件接收服务器12发送第二数据信息。当然，该目的地理位置处设置有文件接收分发服务器。当该详细的目的地理位置处没有文件接收服务器12时，此时可以向其上级地理位置处部署的文件接收服务器发送该第二数据信息。
或者接收代理服务器11还具体用于根据第二数据信息中数据的格式确定文件接收分发服务器12的IP地址，向对应的文件接收分发服务器12发送第二数据信息。该种情况对应于，对于某一些数据，用户在上报后，不指定发送的目的地，而由接收代理服务器11根据数据的格式确定该数据的目的地理位置，从而确定要发送的目的地理位置对应的文件接收分发服务器12的IP地址。
可选地，上述图1所示实施例中的接收代理服务器11还用于在向对应的文件接收分发服务器12发送第二数据信息之前，根据Data ID获取对应的数据发送配置信息，并根据数据发送配置信息中的采样率，对数据进行采样过滤。其中数据发送配置信息预先存储在接收代理服务器11中。
可选地，上述图1所示实施例中的接收代理服务器11还用于在向对应的文件接收分发服务器12发送第二数据信息之前，根据Data ID获取对应的传输链路配置信息，根据传输链路配置信息获取对应的传输链路，并将第二数据信息发送至传输链路对应的发送队列中，以供传输链路的发送队列将第二数据信息发送至文件接收分发服务器。其中传输链路配置信息也预先存储在接收代理服务器11中。在进行数据传输过程中，每一条传输链路都对应建立有一个发送队列。例如其中的传输链路为虚拟互联网数据中心（Virtual Internet Data Center；VIDC）链路。
进一步可选地，在上述实施例的技术方案的基础上，接收代理服务器11还用于在向对应的文件接收分发服务器12发送第二数据信息之前，根据Data ID获取对应的数据传输配置信息，并根据数据传输配置信息在VIDC链路对第二数据信息进行加密和解密处理、或者压缩与解压缩处理，或者数据校验处理。其中数据传输配置信息也预先存储在接收代理服务器11中。
其中在VIDC链路中对第二数据信息进行加密和解密处理可以有效地保证重要数据的安全传输。在VIDC链路中对第二数据信息进行压缩与解压缩处理可以提高带宽利用率。在VIDC链路中对第二数据信息进行校验处理可以有效地保证数据的完整性。
上述所有可选技术方案，可以采用可以结合的方式任意组合，形成本发明的可选技术方案。
图2为本发明另一实施例提供的数据处理***的结构示意图。如图2所示，本实施例的数据处理***在上述是实施例的基础上，数据处理***还包括数据库13和/或者文件服务器14；如图2所示，以数据处理***包括数据库13和文件服务器14为例来描述本发明的技术方案。
数据库13和文件服务器14分别与文件接收分发服务器12连接，数据库13和文件服务器14用于当第二数据信息中未包括目的地址时，存储文件接收分发服务器12分发的数据。该种情况对应，当用户通过上报端的UI界面上报数据时，并没有指定该上报的数据要传输的目的地址，此时可以将数据存储在用户指定的目的地理位置处的数据库13或文件服务器14中，当用户需要使用时，由用户自行去数据库或者文件服务器14中提取。例如当数据为数据流的形式时，此时将数据存储在数据库13中，当数据为文件的形式时，此时将数据存储在文件服务器14中。
可选地，本实施例中，文件接收分发服务器11具体用于当第二数据信息中包括目的地址时，根据数据接收分发配置信息，采用预置的数据分发策略，向目的地址对应的用户设备发送数据。例如目的地址对应的用户设备包括多个，此时多个用户设备可以构成一个用户设备集群，对外仅是一个地址，可以预置的数据分发策略将数据分发至集群中的某一个用户设备上。例如预置的数据分发策略可以包括轮询、分时或者加权的负载均衡的分发策略、或者通过加载动态库或正则表达式的方式实现用户自定义的分发策略。采用该种方式，当其中某一个用户设备故障时，可以将数据分发到集群中的其他用户设备上。可以有效地避免单点故障，提高数据传输的稳定性，从而提高数据传输的效率。
可选地，本实施例中，文件接收分发服务器12还用于在向目的地址对应的用户设备发送数据之前，根据数据接收分发配置信息对数据进行备份。但是为了保证存储空间的合理利用，在备份之后，可以对备份的数据设置合理的有效期，当数据超期时，可以及时对超期的数据进行删除。
如图2所示，本实施例的数据处理***还可以包括管理平台15。该管理平台15用于对***内的所有设备的资源信息和数据配置资源信息进行管理；该数据配置资源信息包括数据格式配置信息和数据接收分发配置信息；需要说明的是，上述实施例中的其他配置信息，如数据发送配置信息、传输链路配置信息以及数据传输配置信息等等也属于管理平台15所管理的数据配置资源信息。管理平台15分别与上报端10、接收代理服务器11以及文件接收分发服务器12均连接，例如管理平台15检测***中的每个设备如上报端10、接收代理服务器11以及文件接收分发服务器12是否异常，具体可以通过每个设备向管理平台15发送心跳消息来实现，当在预设时间段内，管理平台15未收到某设备的心跳消息时，可以认为该设备出现故障，此时管理平台15可以发出告警，例如可以向数据处理***中的其他设备广播该设备异常，停止与其通信，如果该出现故障的设备有备份设备就进行自动调度替换。如管理平台15可以发出告警具体还可以为管理平台15采用即时通信（如短信、微信、QQ等方式）的方式通知管理人员。而管理平台15可以通知其他设备该设备出现故障，可能暂时不能进行数据传输。
进一步地，管理平台15与***中的所有设备，如上报端10、接收代理服务器11和文件接收分发服务器12连接。管理平台15具体用于定期与接收代理器11进行交互，以同步接收代理器11中的数据格式配置信息；或者用于在数据格式配置信息发生更新时，向接收代理器11发送更新的数据格式配置信息；
管理平台15还用于定期与文件接收分发服务器12进行交，以同步文件接收分发服务器12中的数据接收分发配置信息；或者用于在数据接收分发配置信息发生更新时，向文件接收分发服务器12发送更新的数据接收分发配置信息。
可选地，本实施例中的管理平台15还用于对接收代理器11和文件接收分发服务器12的异常状况进行检测，并在接收代理器11和/或文件接收分发服务器12异常时，发出告警。
进一步可选地，本实施例的管理平台15还用于在接收代理器11和/或文件接收分发服务器12异常时，采用即时通信的方式通知管理人员。例如采用短信、微信、QQ等手段通知管理人员，以供管理人员及时对异常的接收代理器11和/或文件接收分发服务器12进行处理。
本实施例的数据处理***，通过采用上述技术方案，可以对任一种格式的数据进行数据传输；不需要对每一种格式的数据来实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作，从而能够在数据量的大幅度***增长的情况下，采用同一套***即可完成所有数据的传输，有效地减少数据传输的复杂度，因此采用本实施例的技术方案，能够有效地提高数据处理的效率。
而且本实施例的技术方案，在使用时，用户只需要在上报端的用户界面上进行配置，上报第一数据信息，接收代理服务器和文件接收分发服务器便可以将用户需要传输的数据发送至目的端。使用非常方便，数据处理效率非常高。
图3为本发明再一实施例提供的数据处理***的结构示意图。如图3所示，本实施例的数据处理***在上述实施例的工作原理的基础上，可以包括至少一组上报端10、至少一组接收代理服务器11和至少一组文件接收分发服务器12；其中不同组的上报端10设置在不同的地理位置，如北京地区一组，上海地区一组，深圳地区一组，XX地区一组等等。每组上报端10包括至少两个上报端10；这样可以在某个上报端10故障时，其他上报端10可以正常工作，防止单点故障导致***无法工作，保证了工作的稳定性，其中每组上报端10构成一个上报端集群，在上报端10外部来看，上报端集群为一个整体，具体上报端集群中的多个上报端10如何工作可以根据内部的工作要求去设置，如其中某个故障时，该故障上报端10暂时不工作，由上报端集群中的其他上报端10维持工作继续。而当所有上报端10都正常时，此时可以按照预设规则，如分时、轮询、或者加权的负载均衡的上报策略、或者通过加载动态库或正则表达式的方式实现用户自定义的上报策略，来分配各个上报端10的工作。
同理如图3所示，本实施例中，每组接收代理服务器11包括至少两个接收代理服务器11，构成接收代理集群。同理不同组接收代理集群设置在不同的地理位置，如北京地区一组接收代理集群，上海地区一组接收代理集群，XX地区一组接收代理集群等等。在接收代理集群外部来看，接收代理集群为一个整体，具有一个地址，上报端10上报给接收代理集群的数据不需要知道上报给哪个接收代理服务器，由接收代理集群按照设定的工作方式来设置由哪个接收代理服务器工作。通过采用接收代理集群，其中某个接收代理服务器11故障时，该故障接收代理服务器11暂时不工作，由接收代理集群中的其他接收代理服务器11维持工作继续。而当所有接收代理服务器11都正常时，此时可以按照预设规则，如分时、轮询、或者加权的负载均衡的接收和发送策略、或者通过加载动态库或正则表达式的方式实现用户自定义的接收和发送策略，来分配各个接收代理服务器11的工作，保证接收代理集群能稳定的对上报端10上报的数据进行接收，能稳定地向文件接收分发服务器12发送数据。每各接收代理集群包括至少两个接收代理服务器11；这样可以在某个接收代理服务器11故障时，其他接收代理服务器11可以正常工作，防止单点故障导致***无法工作，保证了工作的稳定性。
另外，同理，如图3所示，本实施例的每组文件接收分发服务器12也可以包括至少两个文件接收分发服务器12，构成文件接收分发集群。如北京地区一组文件接收分发集群，上海地区一组文件接收分发集群，XX地区一组文件接收分发集群等等。在文件接收分发集群外部来看，文件接收分发集群为一个为一个整体，具有一个地址，接收代理集群发向文件接收分发集群的数据不需要知道上报给哪个文件接收分发服务器12，由文件接收分发集群按照设定的工作方式来设置由哪个文件接收分发服务器12工作。通过采用文件接收分发集，其中某个文件接收分发服务器12故障时，该故障文件接收分发服务器12暂时不工作，由文件接收分发集群中的其他文件接收分发服务器12维持工作继续。而当所有文件接收分发服务器12都正常时，此时可以按照预设规则，如分时、轮询、或者加权的负载均衡的接收和分发策略、或者通过加载动态库或正则表达式的方式实现用户自定义的接收和分发策略，来分配各个文件接收分发服务器12的工作，保证文件接收分发集群能稳定的对接收代理集群发送的数据进行接收，能稳定对接收的数据进行分发。每各文件接收分发集群包括至少两个文件接收分发服务器12；这样可以在某个文件接收分发服务器12故障时，其他文件接收分发服务器12可以正常工作，防止单点故障导致***无法工作，保证了工作的稳定性。
其中管理平台15与每个接收代理集群和每个文件接收分发集群通信，可以向接收代理集群和文件接收分发集群下发各自所需的配置信息，并且会定期与接收代理集群和文件接收分发集***互，以向接收代理集群和文件接收分发集群更新最新的配置信息。或者管理平台15也可以在所管理的配置信息出现更新时，向对应的设备发送更新的配置信息。如管理平台15中管理的数据格式配置信息发生更新，此时管理平台5向接收代理集群发送更新的数据格式配置信息。当管理平台15中管理的数据接收分发配置信息发生更新时，管理平台向文件接收分发集群发送更新的接收分发配置信息。
本实施例中，上报端集群中的上报端10与接收代理集群中的接收代理服务器11之间的通讯与上述实施例的相同，接收代理集群中的接收代理服务器11与文件接收分发集群中的文件接受分发服务器12之间的通信也与上述实施例的相同，详细可以参考上述实施例的记载，在此不再赘述。
本实施例的数据处理***，在各设备处采用集群的方式设置，可以避免单点故障导致***无法正常工作的现象发生，可以有效地增强***的稳定性。有效提高数据处理效率。而且本实施例的数据处理***，通过在各设备处采用集群的方式，还可以提高传输链路的可靠性，且传输链路支持服务质量（Quality ofService；QoS）、具有负载均衡和灾备，有效地保证数据传输的及时、稳定和可靠。
本实施例的数据处理***，在各设备处采用集群的方式设置，随着上报数据量不断增长，数据处理***可以通过简单的平行扩展，稳定快速的实现***扩容，保证***的正常运行。
本实施例的技术方案，在使用时，用户只需要在上报端的用户界面上进行配置，上报第一数据信息，接收代理服务器和文件接收分发服务器便可以将用户需要传输的数据发送至目的端。使用非常方便，数据处理效率非常高。本发明实施例的技术方案，可以适用于跨地域海量数据的采集、传输，整个流程都有完备的灾备和负载均衡设计，保证了数据采集的稳定可靠高效运行，将开发维护量将至最低，实现智能化管理和控制，数据处理效率非常高。
图4为本发明实施例提供的一种数据处理***的工作结构示意图。如图4所示，根据上述图1-图3所示实施例的数据处理***的工作原理，将数据处理过程分为接入层、传输层和分发层。其中接入层中的数据采集上报是由上报端来完成。数据接入格式转换和数据采样由接收代理服务器来完成。传输层的传输链路选择、数据传输、数据解/压缩、数据加解密以及数据校验均是在接收代理服务器中来实现。其中分发层的数据接收、数据备份以及数据分发等等是在文件接受分发服务器中来完成。其中***运行状态信息采集是由管理平台来完成。另外管理平台还负责数据格式化配置、数据发送配置、传输链路配置、数据传输配置、数据接收分发配置、告警管理、全局设备/网络资源配置以及全局数据格式配置等等。本实施例中仅列举了数据传输***中的部分功能，实际应用中，根据数据处理的需求还可以扩展数据处理的功能，在此不再赘述。
图5为本发明一实施例提供的数据处理方法的流程图。本实施例的数据处理方法适用于上述图1-图3任一实施例的数据处理***中。如图5所示，本实施例的数据处理方法，具体可以包括如下步骤：
100、上报端采集用户通过人机接口模块输入的第一数据信息，并向接收代理服务器上报第一数据信息；
本实施例中的第一数据信息包括要上报的数据以及用于唯一标识所述数据的Data ID。上报端可以采用DC接口或者其他接口实现向接收代理服务器上报第一数据信息。
101、接收代理服务器接收上报端上报的第一数据信息，并根据Data ID获取对应的数据格式配置信息；
102、接收代理服务器根据数据格式配置信息对第一数据信息进行格式配置得到第二数据信息；
103、接收代理服务器向对应的文件接收分发服务器发送第二数据信息；
本实施例中的第二数据信息在第一数据信息的基础上还包括文件接收分发服务器的IP地址；
104、文件接收分发服务器接收第二数据信息，并根据Data ID获取对应的数据接收分发配置信息；
105、文件接收分发服务器根据数据接收分发配置信息对数据进行存储或者分发处理。
本实施例的数据处理方法，与上述图1所实施实施例的数据处理***实现数据处理的实现机制相同，详细可以参考上述相关实施例的记载，在此不再赘述。
本实施例的数据处理方法，通过采用上述技术方案，可以对任一种格式的数据进行数据传输；不需要对每一种格式的数据来实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作，从而能够在数据量的大幅度***增长的情况下，采用同一套***即可完成所有数据的传输，有效地减少数据传输的复杂度，因此采用本实施例的技术方案，能够有效地提高数据处理的效率。
可选地，在上述图5所示实施例的技术方案的基础上，数据格式配置信息包括添加数据格式、数据长度、时间戳、上报端IP地址、数据要发往的目的地理位置信息、运维信息和要发往的目的地址、以及将数据转化为指定的数据格式中的至少一种；接收代理服务器根据数据格式配置信息，便可以在对第一数据信息进行配置，例如添加数据格式、添加数据长度、添加时间戳、添加上报端IP地址、添加数据要发往的目的地理位置信息、添加运维信息和添加要发往的目的地址、以及还可以将数据转化为指定的数据格式中的至少一种。每一种配置信息可以参考上述相关实施例的记载，在此不再赘述。和/或者上报端上报的第一数据信息还包括数据格式、数据长度、时间戳、上报端IP地址、数据要发往的目的地理位置信息、运维信息以及要发往的目的地址中的至少一种。
可选地，上述实施例中数据的格式为键值（Key-Value）对格式、json格式、二进制编码格式或者支持加载动态库方式实现的用户自定义编码格式。
可选地，在上述图5所示实施例的技术方案的基础上，步骤103“接收代理服务器向对应的文件接收分发服务器发送第二数据信息”，具体可以包括如下两种情况：
第一种情况，当第二数据信息中包括目的地理位置信息，接收代理服务器根据目的地理位置信息向对应的文件接收分发服务器发送第二数据信息；
第二种情况、接收代理服务器根据第二数据信息中数据的格式确定文件接收分发服务器的IP地址，向对应的文件接收分发服务器发送第二数据信息。
可选地，在上述图5所示实施例的技术方案的基础上，步骤102“接收代理服务器根据数据格式配置信息对第一数据信息进行格式配置得到第二数据信息”之后，步骤103“接收代理服务器向对应的文件接收分发服务器发送第二数据信息”之前，本实施例的数据处理方法，还可以包括：接收代理服务器根据DataID获取对应的数据发送配置信息，并根据数据发送配置信息中的采样率，对数据进行采样过滤。
可选地，在上述图5所示实施例的技术方案的基础上，步骤102“接收代理服务器根据数据格式配置信息对第一数据信息进行格式配置得到第二数据信息”之后，步骤103“接收代理服务器向对应的文件接收分发服务器发送第二数据信息”之前，还可以包括：接收代理服务器根据Data ID获取对应的传输链路配置信息，根据传输链路配置信息获取对应的传输链路，并将第二数据信息发送至传输链路对应的发送队列中，以供传输链路的发送队列将第二数据信息发送至文件接收分发服务器。例如其中的传输链路为VIDC链路。
进一步可选地，此时在步骤102“接收代理服务器根据数据格式配置信息对第一数据信息进行格式配置得到第二数据信息”之后，步骤103“接收代理服务器向对应的文件接收分发服务器发送第二数据信息”之前，还可以包括：接收代理服务器根据Data ID获取对应的数据传输配置信息，并根据数据传输配置信息在VIDC链路对第二数据信息进行加密和解密处理、或者压缩与解压缩处理，或者数据校验处理。
可选地，在上述实施例的技术方案的基础上，其中步骤105“文件接收分发服务器根据数据接收分发配置信息对数据进行存储或者分发处理”，具体包括：当第二数据信息中未包括目的地址时，将数据存储在数据库或者文件服务器中。
或者当第二数据信息中包括目的地址时，文件接收分发服务器根据数据接收分发配置信息，采用预置的数据分发策略，向目的地址对应的用户设备发送数据。
需要说明的是，上述实施例中所述的目的地址对应的用户设备可以包括多个，即目的地址对应的用户设备可以构成一个用户设备集群。其中预置的数据分发策略包括轮询、分时或者加权的负载均衡的分发策略、或者通过加载动态库或正则表达式的方式实现用户自定义的分发策略。
可选地，在上述实施例的技术方案的基础上，在步骤“文件接收分发服务器在向目的地址对应的用户设备发送数据”之前，还可以包括：文件接收分发服务器根据数据接收分发配置信息对数据进行备份。
需要说明的是，在上述实施例的技术方案的基础上，进一步地，数据处理***还可以包括管理平台，管理平台对***内的所有设备的资源信息和数据配置资源信息进行管理；数据配置资源信息包括数据格式配置信息和数据接收分发配置信息。例如上述实施例中的数据格式配置信息、数据接收分发配置信息、数据发送配置信息、传输链路配置信息、数据传输配置信息等等都是由管理平台配置和管理的，并在初次使用时，由管理平台下发给各对应的服务器设备。
进一步地，管理平台对***内的所有设备的资源信息和数据配置资源信息进行管理，具体可以包括：
管理平台定期与接收代理器进行交互，以同步接收代理器中的数据格式配置信息；或者管理平台在数据格式配置信息发生更新时，向接收代理器发送更新的数据格式配置信息；
以及，管理平台定期与文件接收分发服务器进行交，以同步文件接收分发服务器中的数据接收分发配置信息；或者管理平台在数据接收分发配置信息发生更新时，向文件接收分发服务器发送更新的数据接收分发配置信息。
进一步地，管理平台定期与接收代理器进行交互，还可以同步接收代理器中的数据发送配置信息、传输链路配置信息和数据传输配置信息；或者管理平台在数据格式配置信息发生更新时，向接收代理器发送更新的数据发送配置信息、传输链路配置信息和数据传输配置信息。
可选地，在上述实施例的技术方案的基础上，本实施例的数据处理方法，还可以包括：管理平台对接收代理器和文件接收分发服务器的异常状况进行检测，并在接收代理器和/或文件接收分发服务器异常时，发出告警。该步骤与上述实施例的步骤没有时间先后顺序限制。
进一步地，管理平台在接收代理器和/或文件接收分发服务器异常时，可以采用即时通信的方式通知管理人员，以便管理人员及时对异常的服务器设备进行维修。
需要说明的是，上述实施例中的所有可选技术方案，可以采用可结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。
上述实施例的数据处理方法实现数据处理，与上述数据处理***实现数据处理的实现机制相同，详细可以参考上述实施例的记载，在此不再赘述。
上述实施例的数据处理***，通过采用上述技术方案，可以对任一种格式的数据进行数据传输；不需要对每一种格式的数据来实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作，从而能够在数据量的大幅度***增长的情况下，采用同一套***即可完成所有数据的传输，有效地减少数据传输的复杂度，因此采用本实施例的技术方案，能够有效地提高数据处理的效率。
而且上述实施例的技术方案，在使用时，用户只需要在上报端的用户界面上进行配置，上报第一数据信息，接收代理服务器和文件接收分发服务器便可以将用户需要传输的数据发送至目的端。使用非常方便，数据处理效率非常高。
需要说明的是，上述实施例的数据处理方法也可以应用于图3所示的数据处理***中，详细可以参考上述图3所示实施例的记载，在此不再赘述。
图6为本发明实施例提供的数据处理方法的信令图。如图6所示，本实施例的数据处理方法在上述图5及可选实施例的基础上，进一步更加详细地介绍本发明的技术方案。如图6所示，本实施例的数据处理方法，具体可以包括如下步骤：
200、管理平台为用户要发送的数据配置Data ID，并生成对应的数据配置资源信息；
本实施例的数据资源配置信息可以包括数据格式配置信息、数据接收分发配置信息、数据发送配置信息、传输链路配置信息和数据传输配置信息等等；本实施例中管理平台配置Data ID的过程可以为离线配置，该Data ID用于唯一标识该数据。
201、初次使用时，管理平台与接收代理服务器交互，向接收代理服务器发送数据格式配置信息、数据发送配置信息、传输链路配置信息和数据传输配置信息；
202、初次使用时，管理平台与文件接收分发服务器交互，向文件接收分发服务器发送数据接收分发配置信息；
203、用户通过上报端的UI界面选择要上报的数据、Data ID以及其他参数信息，上报端采集用户通过UI界面选择的参数信息生成第一数据信息；
例如其他参数信息可以包括数据格式、数据长度、时间戳、上报端IP地址、数据要发往的目的地理位置信息、运维信息以及要发往的目的地址中的至少一种。该数据可以为Key-Value格式、json格式、二进制编码格式或者支持加载动态库方式实现的用户自定义编码格式。
204、上报端向接收代理服务器发送第一数据信息；
205、接收代理服务器根据Data ID获取对应的数据格式配置信息，并根据数据格式配置信息对第一数据信息进行格式配置得到第二数据信息；
数据格式配置信息包括添加数据格式、数据长度、时间戳、上报端IP地址、数据要发往的目的地理位置信息、运维信息和要发往的目的地址、以及将数据转化为指定的数据格式中的至少一种。本实施例中的第二数据信息在第一数据信息的基础上还包括文件接收分发服务器的IP地址。
206、接收代理服务器根据Data ID获取对应的传输链路配置信息，根据传输链路配置信息获取对应的VIDC链路；
207、接收代理服务器根据Data ID获取对应的数据传输配置信息；
该数据传输配置信息包括加密和解密处理、或者压缩与解压缩处理，或者数据校验处理，是在VIDC链路对第二数据信息进行加密和解密处理，可以有效地保证重要数据的安全传输；或者在VIDC链路对第二数据信息进行压缩与解压缩处理可以提高带宽利用率；或者在VIDC链路对第二数据信息进行数据校验处理可以有效地保证数据的完整性。当然也可以同时进行上述三种处理，或者任意两种处理。
208、接收代理服务器根据数据传输配置信息对第二数据信息进行配置后，将第二数据信息发送至VIDC链路对应的发送队列中，接收代理服务器通过VIDC链路对应的发送队列向文件接收分发服务器发送第二数据信息；
209、文件接收分发服务器接收第二数据信息，根据Data ID获取对应的数据接收分发配置信息；
210、文件接收分发服务器根据数据接收分发配置信息，对数据进行备份，然后采用预置的数据分发策略，向目的地址对应的用户设备发送数据。
其中目的地址对应的用户设备可以包括多个，即目的地址对应的用户设备可以构成一个用户设备集群。其中预置的数据分发策略包括轮询、分时或者加权的负载均衡的分发策略、或者通过加载动态库或正则表达式的方式实现用户自定义的分发策略。
经过上述流程便可以完成数据处理的流程。在上述方案的基础上，管理平台定期与接收代理器进行交互，以同步接收代理器中的数据格式配置信息、数据发送配置信息、传输链路配置信息和数据传输配置信息。或者管理平台在数据格式配置信息发生更新时，向接收代理器发送更新的数据格式配置信息、数据发送配置信息、传输链路配置信息和数据传输配置信息；
管理平台定期与与文件接收分发服务器进行交，以同步文件接收分发服务器中的数据接收分发配置信息；或者管理平台在数据接收分发配置信息发生更新时，向文件接收分发服务器发送更新的数据接收分发配置信息。
而且管理平台还可以对接收代理器和文件接收分发服务器的异常状况进行检测，并在接收代理器和/或文件接收分发服务器异常时，发出告警。该步骤与上述实施例的步骤没有时间先后顺序限制。
进一步地，管理平台在接收代理器和/或文件接收分发服务器异常时，可以采用即时通信的方式通知管理人员，以便管理人员及时对异常的服务器设备进行维修。
本实施例的数据处理方法，通过采用上述技术方案，可以对任一种格式的数据进行数据传输；不需要对每一种格式的数据来实现上报接口，搭建服务器，建立传输通道和数据分发接收管理等工作，从而能够在数据量的大幅度***增长的情况下，采用同一套***即可完成所有数据的传输，有效地减少数据传输的复杂度，因此采用本实施例的技术方案，能够有效地提高数据处理的效率。
而且本实施例的技术方案，在使用时，用户只需要在上报端的用户界面上进行配置，上报第一数据信息，接收代理服务器和文件接收分发服务器便可以将用户需要传输的数据发送至目的端。使用非常方便，数据处理效率非常高。
而且本实施例的技术方案，可以使用在图3所示的数据传输***中，适用于跨地域海量数据的采集、传输，整个流程都有完备的灾备和负载均衡设计，保证了数据采集的稳定可靠高效运行，将开发维护量将至最低，实现智能化管理和控制，数据处理效率非常高。
需要说明的是：上述实施例提供的数据处理***在数据处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据处理***与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (31)

1.一种数据处理***，其特征在于，所述***包括；
上报端，用于采集用户通过人机接口模块输入的第一数据信息，并向所述接收代理服务器上报所述第一数据信息；所述第一数据信息包括要上报的数据、用于唯一标识所述数据的数据标识；
所述接收代理服务器，用于接收所述上报端上报的所述第一数据信息；根据所述数据标识获取对应的数据格式配置信息，根据所述数据格式配置信息对所述第一数据信息进行格式配置得到第二数据信息；并向对应的文件接收分发服务器发送所述第二数据信息，所述第二数据信息在所述第一数据信息的基础上还包括所述文件接收分发服务器的IP地址；
所述文件接收分发服务器，用于接收所述第二数据信息，根据所述数据标识获取对应的数据接收分发配置信息，并根据所述数据接收分发配置信息对所述数据进行存储或者分发处理。
2.根据权利要求1所述的***，其特征在于，所述数据格式配置信息包括添加数据格式、数据长度、时间戳、所述上报端IP地址、所述数据要发往的目的地理位置信息、运维信息和要发往的目的地址、以及将所述数据转化为指定的数据格式中的至少一种；
和/或者所述上报端上报的所述第一数据信息还包括数据格式、数据长度、时间戳、所述上报端IP地址、所述数据要发往的目的地理位置信息、运维信息以及要发往的目的地址中的至少一种。
3.根据权利要求2所述的***，其特征在于，所述数据的格式为键值对格式、json格式、二进制编码格式或者支持加载动态库方式实现的用户自定义编码格式。
4.根据权利要求2所述的***，其特征在于，所述接收代理服务器，具体用于当所述第二数据信息中包括所述目的地理位置信息，根据所述目的地理位置信息向对应的所述文件接收分发服务器发送所述第二数据信息；
或者所述接收代理服务器，还具体用于根据所述第二数据信息中所述数据的格式确定所述文件接收分发服务器的IP地址，向对应的所述文件接收分发服务器发送所述第二数据信息。
5.根据权利要求4所述的***，其特征在于，所述接收代理服务器，还用于在向对应的所述文件接收分发服务器发送所述第二数据信息之前，根据所述数据标识获取对应的数据发送配置信息，并根据所述数据发送配置信息中的采样率，对所述数据进行采样过滤。
6.根据权利要求1所述的***，其特征在于，所述接收代理服务器，还用于在向对应的所述文件接收分发服务器发送所述第二数据信息之前，根据所述数据标识获取对应的传输链路配置信息，根据所述传输链路配置信息获取对应的传输链路，并将所述第二数据信息发送至所述传输链路对应的发送队列中，以供所述传输链路的发送队列将所述第二数据信息发送至所述文件接收分发服务器。
7.根据权利要求6所述的***，其特征在于，所述传输链路为虚拟互联网数据中心链路。
8.根据权利要求7所述的***，其特征在于，所述接收代理服务器，还用于在向对应的所述文件接收分发服务器发送所述第二数据信息之前，根据所述数据标识获取对应的数据传输配置信息，并根据所述数据传输配置信息在所述虚拟互联网数据中心链路对所述第二数据信息进行加密和解密处理、或者压缩与解压缩处理，或者数据校验处理。
9.根据权利要求3所述的***，其特征在于，所述***还包括数据库和/或者文件服务器；
所述数据库和/或者所述文件服务器，用于当所述第二数据信息中未包括所述目的地址时，存储所述数据。
10.根据权利要求2所述的***，其特征在于，所述文件接收分发服务器，具体用于当所述第二数据信息中包括所述目的地址时，根据所述数据接收分发配置信息，采用预置的数据分发策略，向所述目的地址对应的用户设备发送所述数据。
11.根据权利要求10所述的***，其特征在于，所述目的地址对应的用户设备包括多个，所述预置的数据分发策略包括轮询、分时或者加权的负载均衡的分发策略、或者通过加载动态库或正则表达式的方式实现用户自定义的分发策略。
12.根据权利要求10所述的***，其特征在于，所述文件接收分发服务器，还用于在向所述目的地址对应的用户设备发送所述数据之前，根据所述数据接收分发配置信息对所述数据进行备份。
13.根据权利要求1所述的***，其特征在于，所述***还包括管理平台；
所述管理平台，用于对***内的所有设备的资源信息和数据配置资源信息进行管理；所述数据配置资源信息包括所述数据格式配置信息和所述数据接收分发配置信息；
进一步地，所述管理平台，具体用于定期与所述接收代理器进行交互，以同步所述接收代理器中的所述数据格式配置信息；或者用于在所述数据格式配置信息发生更新时，向所述接收代理器发送更新的所述数据格式配置信息；
所述管理平台，还用于定期与所述文件接收分发服务器进行交，以同步所述文件接收分发服务器中的所述数据接收分发配置信息；或者用于在所述数据接收分发配置信息发生更新时，向所述文件接收分发服务器发送更新的所述数据接收分发配置信息。
14.根据权利要求13所述的***，其特征在于，所述管理平台，还用于对所述接收代理器和所述文件接收分发服务器的异常状况进行检测，并在所述接收代理器和/或所述文件接收分发服务器异常时，发出告警。
15.根据权利要求14所述的***，其特征在于，所述管理平台，具体用于在所述接收代理器和/或所述文件接收分发服务器异常时，采用即时通信的方式通知管理人员。
16.根据权利要求1-15任一所述的***，其特征在于，所述***包括至少一组所述上报端、至少一组所述接收代理服务器和至少一组所述文件接收分发服务器；其中不同组的所述上报端设置在不同的地理位置，每组所述上报端包括至少两个所述上报端；每组所述接收代理服务器包括至少所述两个接收代理服务器，构成接收代理集群；每组所述文件接收分发服务器包括至少两个所述文件接收分发服务器，构成文件接收分发集群。
17.一种数据处理方法，其特征在于，所述方法包括；
上报端采集用户通过人机接口模块输入的第一数据信息，并向所述接收代理服务器上报所述第一数据信息；所述第一数据信息包括要上报的数据、用于唯一标识所述数据的数据标识；
所述接收代理服务器接收上报端上报的所述第一数据信息，并根据所述数据标识获取对应的数据格式配置信息；
所述接收代理服务器根据所述数据格式配置信息对所述第一数据信息进行格式配置得到第二数据信息；
所述接收代理服务器向对应的文件接收分发服务器发送所述第二数据信息，所述第二数据信息在所述第一数据信息的基础上还包括所述文件接收分发服务器的IP地址；
所述文件接收分发服务器接收所述第二数据信息，根据所述数据标识获取对应的数据接收分发配置信息；
所述文件接收分发服务器根据所述数据接收分发配置信息对所述数据进行存储或者分发处理。
18.根据权利要求17所述的方法，其特征在于，所述数据格式配置信息包括添加数据格式、数据长度、时间戳、所述上报端IP地址、所述数据要发往的目的地理位置信息、运维信息和要发往的目的地址、以及将所述数据转化为指定的数据格式中的至少一种；
和/或者所述上报端上报的所述第一数据信息还包括数据格式、数据长度、时间戳、所述上报端IP地址、所述数据要发往的目的地理位置信息、运维信息以及要发往的目的地址中的至少一种。
19.根据权利要求18所述的方法，其特征在于，所述数据的格式为键值对格式、json格式、二进制编码格式或者支持加载动态库方式实现的用户自定义编码格式。
20.根据权利要求18或者19所述的方法，其特征在于，所述接收代理服务器向对应的文件接收分发服务器发送所述第二数据信息，具体包括：
当所述第二数据信息中包括所述目的地理位置信息，所述接收代理服务器根据所述目的地理位置信息向对应的所述文件接收分发服务器发送所述第二数据信息；
或者所述接收代理服务器根据所述第二数据信息中所述数据的格式确定所述文件接收分发服务器的IP地址，向对应的所述文件接收分发服务器发送所述第二数据信息。
21.根据权利要求20所述的方法，其特征在于，所述接收代理服务器根据所述数据格式配置信息对所述第一数据信息进行格式配置得到第二数据信息之后，所述接收代理服务器向对应的文件接收分发服务器发送所述第二数据信息之前，所述方法还包括：
所述接收代理服务器根据所述数据标识获取对应的数据发送配置信息，并根据所述数据发送配置信息中的采样率，对所述数据进行采样过滤。
22.根据权利要求17所述的方法，其特征在于，所述接收代理服务器根据所述数据格式配置信息对所述第一数据信息进行格式配置得到第二数据信息之后，所述接收代理服务器向对应的文件接收分发服务器发送所述第二数据信息之前，所述方法还包括：
所述接收代理服务器根据所述数据标识获取对应的传输链路配置信息，根据所述传输链路配置信息获取对应的传输链路，并将所述第二数据信息发送至所述传输链路对应的发送队列中，以供所述传输链路的发送队列将所述第二数据信息发送至所述文件接收分发服务器。
23.根据权利要求17或22所述的方法，其特征在于，所述传输链路为虚拟互联网数据中心链路。
24.根据权利要求23所述的方法，其特征在于，所述接收代理服务器根据所述数据格式配置信息对所述第一数据信息进行格式配置得到第二数据信息之后，所述接收代理服务器向对应的文件接收分发服务器发送所述第二数据信息之前，所述方法还包括：
所述接收代理服务器根据所述数据标识获取对应的数据传输配置信息，并根据所述数据传输配置信息在所述虚拟互联网数据中心链路对所述第二数据信息进行加密和解密处理、或者压缩与解压缩处理，或者数据校验处理。
25.根据权利要求19所述的方法，其特征在于，所述文件接收分发服务器根据所述数据接收分发配置信息对所述数据进行存储或者分发处理，具体包括：
当所述第二数据信息中未包括所述目的地址时，将所述数据存储在所述数据库或者所述文件服务器中。
26.根据权利要求18所述的方法，其特征在于，所述文件接收分发服务器根据所述数据接收分发配置信息对所述数据进行存储或者分发处理，具体包括：
当所述第二数据信息中包括所述目的地址时，所述文件接收分发服务器根据所述数据接收分发配置信息，采用预置的数据分发策略，向所述目的地址对应的用户设备发送所述数据。
27.根据权利要求26所述的方法，其特征在于，所述目的地址对应的用户设备包括多个，所述预置的数据分发策略包括轮询、分时或者加权的负载均衡的分发策略、或者通过加载动态库或正则表达式的方式实现用户自定义的分发策略。
28.根据权利要求26或27所述的方法，其特征在于，所述文件接收分发服务器在向所述目的地址对应的用户设备发送所述数据之前，所述方法还包括：
所述文件接收分发服务器根据所述数据接收分发配置信息对所述数据进行备份。
29.根据权利要求17所述的方法，其特征在于，所述方法还包括：
管理平台对***内的所有设备的资源信息和数据配置资源信息进行管理；所述数据配置资源信息包括所述数据格式配置信息和所述数据接收分发配置信息；
进一步地，所述管理平台对***内的所有设备的资源信息和数据配置资源信息进行管理，具体包括：
所述管理平台定期与所述接收代理器进行交互，以同步所述接收代理器中的所述数据格式配置信息；或者所述管理平台在所述数据格式配置信息发生更新时，向所述接收代理器发送更新的所述数据格式配置信息；
以及，所述管理平台定期与所述文件接收分发服务器进行交，以同步所述文件接收分发服务器中的所述数据接收分发配置信息；或者所述管理平台在所述数据接收分发配置信息发生更新时，向所述文件接收分发服务器发送更新的所述数据接收分发配置信息。
30.根据权利要求29所述的方法，其特征在于，所述方法还包括：
所述管理平台对所述接收代理器和所述文件接收分发服务器的异常状况进行检测，并在所述接收代理器和/或所述文件接收分发服务器异常时，发出告警。
31.根据权利要求30所述的方法，其特征在于，在所述接收代理器和/或所述文件接收分发服务器异常时，发出告警，具体包括：
所述管理平台在所述接收代理器和/或所述文件接收分发服务器异常时，采用即时通信的方式通知管理人员。
CN201310419703.3A 2013-09-13 2013-09-13 数据处理***及方法 Active CN104468648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310419703.3A CN104468648B (zh) 2013-09-13 2013-09-13 数据处理***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310419703.3A CN104468648B (zh) 2013-09-13 2013-09-13 数据处理***及方法

Publications (2)

Publication Number Publication Date
CN104468648A true CN104468648A (zh) 2015-03-25
CN104468648B CN104468648B (zh) 2019-01-29

Family

ID=52914019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310419703.3A Active CN104468648B (zh) 2013-09-13 2013-09-13 数据处理***及方法

Country Status (1)

Country Link
CN (1) CN104468648B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243078A (zh) * 2015-08-28 2016-01-13 北京奇艺世纪科技有限公司 一种文件资源的分发方法、***和装置
CN106612297A (zh) * 2015-10-21 2017-05-03 北京国双科技有限公司 数据处理方法和装置
CN106648984A (zh) * 2016-12-20 2017-05-10 上海银禾油信息技术有限公司 数据备份方法及装置
WO2017088525A1 (zh) * 2015-11-26 2017-06-01 中兴通讯股份有限公司 一种文件分发***、文件分发***的管理方法和管理装置
CN107241371A (zh) * 2016-03-29 2017-10-10 ***通信集团湖北有限公司 应用数据消息处理方法、移动终端及***
CN107544901A (zh) * 2016-06-27 2018-01-05 五八同城信息技术有限公司 数据格式检验方法及装置
CN108287706A (zh) * 2017-05-10 2018-07-17 腾讯科技（深圳）有限公司 数据处理方法及装置
CN108491364A (zh) * 2018-01-25 2018-09-04 苏州麦迪斯顿医疗科技股份有限公司 医疗护理文书管理***
CN108900482A (zh) * 2018-06-13 2018-11-27 平安科技（深圳）有限公司 脚本的执行方法、服务器管理***及存储介质
CN109639708A (zh) * 2018-12-28 2019-04-16 东莞见达信息技术有限公司 深度学习数据访问控制方法及装置
CN109918403A (zh) * 2019-02-02 2019-06-21 中国银行股份有限公司 数据校验方法、装置、计算机设备和存储介质
CN110309191A (zh) * 2018-04-08 2019-10-08 腾讯科技（深圳）有限公司 存储业务数据的方法、装置和***
CN110471970A (zh) * 2019-08-08 2019-11-19 紫光云技术有限公司 一种灵活可配的规则引擎数据转发方法
CN110602254A (zh) * 2019-10-08 2019-12-20 腾讯科技（深圳）有限公司 一种实现负载均衡的方法、装置及***
CN110647552A (zh) * 2019-08-29 2020-01-03 深圳市新系区块链技术有限公司 数据分发方法及相关产品
CN111698159A (zh) * 2019-03-15 2020-09-22 顺丰科技有限公司 业务数据处理方法、装置及存储介质
WO2020237409A1 (en) * 2019-05-24 2020-12-03 Intel Corporation Technologies for memory-efficient key-value lookup
CN113497783A (zh) * 2020-03-19 2021-10-12 北京沃东天骏信息技术有限公司 处理数据的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483611A (zh) * 2008-01-09 2009-07-15 华为技术有限公司 一种实现消息业务互通的***、方法和装置
US20100185875A1 (en) * 2008-10-27 2010-07-22 Bank Of America Corporation Background service process for local collection of data in an electronic discovery system
CN102546730A (zh) * 2010-12-30 2012-07-04 ***通信集团公司 数据处理方法、装置及***
CN102724107A (zh) * 2011-03-31 2012-10-10 百度在线网络技术（北京）有限公司 用于转发报文及选择报文转发装置的方法、装置和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483611A (zh) * 2008-01-09 2009-07-15 华为技术有限公司 一种实现消息业务互通的***、方法和装置
US20100185875A1 (en) * 2008-10-27 2010-07-22 Bank Of America Corporation Background service process for local collection of data in an electronic discovery system
CN102546730A (zh) * 2010-12-30 2012-07-04 ***通信集团公司 数据处理方法、装置及***
CN102724107A (zh) * 2011-03-31 2012-10-10 百度在线网络技术（北京）有限公司 用于转发报文及选择报文转发装置的方法、装置和设备

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243078B (zh) * 2015-08-28 2018-09-28 北京奇艺世纪科技有限公司 一种文件资源的分发方法、***和装置
CN105243078A (zh) * 2015-08-28 2016-01-13 北京奇艺世纪科技有限公司 一种文件资源的分发方法、***和装置
CN106612297A (zh) * 2015-10-21 2017-05-03 北京国双科技有限公司 数据处理方法和装置
CN106803831A (zh) * 2015-11-26 2017-06-06 中兴通讯股份有限公司 一种文件分发***及其管理方法和装置
WO2017088525A1 (zh) * 2015-11-26 2017-06-01 中兴通讯股份有限公司 一种文件分发***、文件分发***的管理方法和管理装置
CN107241371A (zh) * 2016-03-29 2017-10-10 ***通信集团湖北有限公司 应用数据消息处理方法、移动终端及***
CN107544901A (zh) * 2016-06-27 2018-01-05 五八同城信息技术有限公司 数据格式检验方法及装置
CN106648984A (zh) * 2016-12-20 2017-05-10 上海银禾油信息技术有限公司 数据备份方法及装置
CN108287706A (zh) * 2017-05-10 2018-07-17 腾讯科技（深圳）有限公司 数据处理方法及装置
CN108287706B (zh) * 2017-05-10 2021-09-14 腾讯科技（深圳）有限公司 数据处理方法及装置
CN108491364A (zh) * 2018-01-25 2018-09-04 苏州麦迪斯顿医疗科技股份有限公司 医疗护理文书管理***
CN110309191A (zh) * 2018-04-08 2019-10-08 腾讯科技（深圳）有限公司 存储业务数据的方法、装置和***
CN110309191B (zh) * 2018-04-08 2023-07-04 腾讯科技（深圳）有限公司 存储业务数据的方法、装置和***
CN108900482B (zh) * 2018-06-13 2021-04-16 平安科技（深圳）有限公司 脚本的执行方法、服务器管理***及存储介质
CN108900482A (zh) * 2018-06-13 2018-11-27 平安科技（深圳）有限公司 脚本的执行方法、服务器管理***及存储介质
CN109639708A (zh) * 2018-12-28 2019-04-16 东莞见达信息技术有限公司 深度学习数据访问控制方法及装置
CN109639708B (zh) * 2018-12-28 2022-03-18 东莞见达信息技术有限公司 深度学习数据访问控制方法及装置
CN109918403A (zh) * 2019-02-02 2019-06-21 中国银行股份有限公司 数据校验方法、装置、计算机设备和存储介质
CN111698159A (zh) * 2019-03-15 2020-09-22 顺丰科技有限公司 业务数据处理方法、装置及存储介质
WO2020237409A1 (en) * 2019-05-24 2020-12-03 Intel Corporation Technologies for memory-efficient key-value lookup
CN110471970A (zh) * 2019-08-08 2019-11-19 紫光云技术有限公司 一种灵活可配的规则引擎数据转发方法
CN110647552A (zh) * 2019-08-29 2020-01-03 深圳市新系区块链技术有限公司 数据分发方法及相关产品
CN110602254A (zh) * 2019-10-08 2019-12-20 腾讯科技（深圳）有限公司 一种实现负载均衡的方法、装置及***
CN110602254B (zh) * 2019-10-08 2022-05-20 腾讯科技（深圳）有限公司 一种实现负载均衡的方法、装置及***
CN113497783A (zh) * 2020-03-19 2021-10-12 北京沃东天骏信息技术有限公司 处理数据的方法和装置
CN113497783B (zh) * 2020-03-19 2024-01-16 北京沃东天骏信息技术有限公司 处理数据的方法和装置

Also Published As

Publication number Publication date
CN104468648B (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN104468648A (zh) 数据处理***及方法
CN102761864B (zh) 一种数据传输的方法、***及设备
CN103024060B (zh) 一种开放式云计算大规模集群监控***及方法
CN108134764B (zh) 一种分布式数据共享交换方法及***
CN105847139A (zh) 数据传输方法、装置及***
CN104283774A (zh) 一种ac池的实现方法和装置
CN102420863B (zh) 一种快速分发文件***和方法及装置
CN104536965A (zh) 一种大数据条件下的数据查询展示***及方法
CN103457802A (zh) 一种信息传输***及方法
CN109391503B (zh) 一种网络切片管理方法及装置
CN101977243A (zh) 云数据存储分配(ddcs)
CN102195786B (zh) 智能数据交换平台及方法
CN106330994A (zh) 一种用户消息发布方法及***
CN103297477B (zh) 一种数据采集上报***及数据处理方法和代理服务器
CN102185717A (zh) 业务处理设备、方法及***
CN103634274A (zh) 一种视频安全交换方法及***
CN202353815U (zh) Gis短信电力电网服务***
CN101695049A (zh) 一种监控***中的业务处理方法及装置
CN103442257A (zh) 一种流资源管理的实现方法、设备及***
CN102752804A (zh) 通信资源分配***
CN104486215A (zh) 一种消息发送方法及设备
CN105188087A (zh) 一种基于短信网关的业务通信方法和***
CN103685055A (zh) 电力***跨区隔离数据均衡传输方法及跨区隔离器
CN103188220B (zh) 消息发送***、方法及装置、数据维护方法及装置
CN102647424A (zh) 一种数据传输方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190730

Address after: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.

TR01 Transfer of patent right