CN104866528B - 多平台数据采集方法及*** - Google Patents
多平台数据采集方法及*** Download PDFInfo
- Publication number
- CN104866528B CN104866528B CN201510202866.5A CN201510202866A CN104866528B CN 104866528 B CN104866528 B CN 104866528B CN 201510202866 A CN201510202866 A CN 201510202866A CN 104866528 B CN104866528 B CN 104866528B
- Authority
- CN
- China
- Prior art keywords
- data
- platform
- storage
- reported
- gateway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008569 process Effects 0.000 claims description 22
- 230000000903 blocking effect Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 21
- 230000004044 response Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种多平台数据采集方法及***，其中，多平台数据采集方法包括：通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；以异步处理方式对所述上报数据进行处理，得到存储数据；将所述存储数据提交至网关；及通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储。多平台数据采集***包括：代理模块、异步处理模块、发送模块及网关。本发明通过异步处理方式能有效加快服务器与平台之间的连接资源的释放，并且也能加快服务器对平台的响应速度，从而避免服务器采集性能差的问题。
Description
技术领域
本发明涉及数据采集技术领域，尤其涉及一种多平台数据采集方法及***。
背景技术
目前，数据采集方法通常包括以下步骤：1、平台上报数据；2、服务器通过互联网以同步阻塞方式接收该上报数据，并进行相应的处理；3、处理完毕后，服务器返回响应报文给平台，并释放与平台的连接资源。
该种数据采集方法不仅造成了服务器与平台之间的连接资源的浪费，而且仅适用于平台类型单一的应用场景，例如，平台仅为平板电脑，从而导致了服务器的采集性能较差。
发明内容
本发明在于提供一种多平台数据采集方法及***，用于解决现有技术中服务器的采集性能较差的问题。
为了解决上述技术问题，本发明所采用的技术方案为：
一种多平台数据采集方法，其包括：通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；以异步处理方式对所述上报数据进行处理，得到存储数据；将所述存储数据提交至网关；及通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储。
在一实施例中，所述以异步处理方式对所述上报数据进行处理，得到存储数据的步骤包括：将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据。
在一实施例中，所述通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储的步骤包括：缓存提交至所述网关的所述存储数据；将读取到的所述存储数据添加至写入任务阻塞队列；从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据以对所述存储数据进行分布式存储。
在一实施例中，所述写入提取到的所述存储数据，以对所述存储数据进行分布式存储的步骤包括：接收所述网关写入的所述存储数据，并将其分成至少一个数据块；建立并保存所述数据块与存储块之间的映射关系；及根据所述映射关系将所述数据块复制到对应的所述存储块中。
在一实施例中，所述通过与平台的连接接收上报数据的步骤之前，所述多平台数据采集方法还包括：将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。
一种多平台数据采集***，其包括：代理模块，用于通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；异步处理模块，用于以异步处理方式对所述上报数据进行处理，得到存储数据；发送模块，用于将所述存储数据提交至网关；及网关，用于写入所述存储数据，以进行所述存储数据的分布式存储。
在一实施例中，所述异步处理模块包括：文件信息阻塞单元，用于将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及数据清洗单元，用于从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据。
在一实施例中，所述网关包括：数据缓存单元，用于缓存提交至所述网关的所述存储数据；缓存管理器单元，用于将读取到的所述存储数据添加至写入任务阻塞队列；及写入任务单元，用于从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据，以对所述存储数据进行分布式存储。
在一实施例中，所述多平台数据采集***还包括：服务器集群，所述服务器集群包括：接收单元，用于接收所述网关写入的所述存储数据，并将其分成至少一个数据块；映射单元，用于建立并保存所述数据块与存储块之间的映射关系；及复制单元，用于根据所述映射关系将所述数据块复制到对应的所述存储块中。
在一实施例中，所述多平台数据采集***还包括：数据源，用于将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。
与现有技术相比，本发明具有以下有益效果：
在异步处理方式的作用下，快速接收平台的上报数据之后立即释放其与平台的连接资源，然后再对接收到的上报数据进行处理，有效加快了服务器与平台之间的连接资源的释放，并且也加快了服务器对平台的响应速度，提高了服务器的采集性能。
附图说明
图1为一实施例的多平台数据采集方法的流程图。
图2为图1中以异步处理方式处理上报数据的步骤的流程图。
图3为图2中多线程并发处理的步骤的流程图。
图4为图1中通过网关写入存储数据的步骤的流程图。
图5为图4中对存储数据进行分布式存储的步骤的流程图。
图6为另一实施例的多平台数据采集方法的应用场景。
图7为一实施例的多平台数据采集***的结构框图。
图8为图7中异步处理模块的结构框图。
图9为图7中网关的结构框图。
图10为另一实施例的多平台数据采集***的服务器集群的结构框图。
具体实施方式
以下参考附图，对本发明予以进一步地详尽阐述。
请参阅图1，在一实施例中，一种多平台数据采集方法包括以下步骤：
步骤110，通过与平台的连接接收上报数据。其中，上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的。
本实施例中，与各平台连接的是代理服务器，由代理服务器提供统一的上报接口供相同或者不相同的多个平台上报数据。其中，该接口规范可以是http协议、ftp协议或者socks协议等等。
平台可以是平板电脑、手机、服务器等等，平台所上报的上报数据是符合与其连接的代理服务器的接口规范的，本实施例中并未对此加以限制。
例如，若平台为平板电脑，上报数据可以是其中某个应用中的相关数据等；若平台为手机，上报数据则可以是联系人信息或者通话记录等，在此不进行一一列举，该上报数据可根据实际运行或者调试的需要进行获取。
在本实施例中，通过在后台的服务器中进行步骤110的与平台的连接设置，对于多个平台所上报的上报数据而言，提供了统一的上报接口，后台的服务器中的接收方式对于多个平台而言是无差别的，可同时实现接收多个平台的上报数据，从而能够适用于多种不同类型的平台，提高了服务器的采集性能。
步骤130，以异步处理方式对上报数据进行处理，得到存储数据。
本实施例中，异步处理方式有别于现有技术中的同步阻塞方式，后台的服务器在快速接收上报数据后立即释放其与平台的连接资源，然后才对接收到的上报数据进行处理，例如，对该上报数据进行初步的加工及数据清洗。通过对上报数据的接收与处理的隔离，提高了服务器对平台的响应速度，避免了服务器与平台之间的连接资源的浪费，提高了服务器的采集性能。
步骤150，将存储数据提交至网关。
本实施例中，存储数据存储于后台的服务器，该服务器与网关的交互方式可以采用网络传输协议，但也可以根据传输需求采用其他传输协议，采用何种协议将取决于服务器与网关的交互方式。例如，将存储数据提交至网关可以通过网络传输协议中的http协议进行数据传输。
步骤170，通过网关写入存储数据，以进行存储数据的分布式存储。
本实施例中，网管将存储数据写入服务器集群，服务器集群采用Hadoop集群，该Hadoop集群仅支持单进程写入单个HDFS文件，故而网关将存储数据缓存后，利用其中的缓存管理器对缓存的存储数据进行读取，再单个写入Hadoop集群，以进行存储数据的分布式存储。
同时，本实施例中采用双机热备的方案，即作为网关的服务器的数量为二，以避免Hadoop集群单点故障的问题。该两台服务器共享同一个IP地址，同一时刻只有其中一台服务器处理业务，另一台服务器则进入待机状态。当处理业务的服务器出现故障时，待机状态的服务器马上争夺IP使用权，将业务引导至其上进行处理，从而保证了Hadoop集群可以长时期不间断地提供安全可靠的服务。
请参阅图2，在一实施例中，步骤130具体包括以下步骤：
步骤131，将接收到的上报数据依次添加至文件信息阻塞队列后，释放与平台的连接资源。
本实施例中，文件信息阻塞队列用于隔离上报数据的接收过程与处理过程，以使上报数据的接收过程与处理过程相互独立、互不影响。也就是说，海量平台不断上报的上报数据将通过文件信息阻塞队列为上报数据的处理提供缓冲，进而达到海量上报数据的接收与处理的相对隔离的目的，提高了后台的服务器的采集性能，同时增强了后台的服务器对数据的处理能力。
接收到的上报数据被添加至文件信息阻塞队列中，若要处理该上报数据则需要先将其从文件信息阻塞队列中提取出，即上报数据的接收与处理并非同步完成。通过该种异步处理方式，对上报数据的接收与处理的隔离，以及接收后立即释放与平台的连接资源，提高了服务器对平台的响应速度，避免了服务器与平台之间的连接资源的浪费，提高了服务器的采集性能。
步骤133，从文件信息阻塞队列中逐一提取上报数据，对提取到的上报数据进行数据清洗，以得到存储数据。
本实施例中，对提取到的上报数据进行的数据清洗包括：添加IP地域信息以利于存储于统一的数据仓库供后期分析使用、修正触发时间以过滤无效的上报数据、以及转换上报数据的存储格式以利于后期的分布式存储。例如，将上报数据的存储格式转换为hive存储格式后，可存储于Hadoop集群中。
同时，本实施例中采用多线程并发处理上报数据，如图3所示，接收上报数据的线程310由文件信息阻塞队列完成，处理上报数据的线程330由Handler线程池中各Handler线程完成，数据提交线程350则负责将存储数据提交至网关。在异步处理方式的作用下，使得接收上报数据的线程310、处理上报数据的线程330、以及数据提交线程350相互独立、各不相关，处理上报数据的线程330只负责对提取到的上报数据进行数据清洗，而不必考虑上报数据的冲突问题，从而提高了对上报数据的处理效率，进一步提高了服务器的采集性能。
请参阅图4，在一实施例中，步骤170具体包括以下步骤：
步骤171，缓存提交至网关的存储数据。
本实施例中，存储数据缓存于网关所在的服务器，存储数据的传输方式则采用网络传输协议中的http协议。当然，在其他实施例中，也可以根据传输需求采用其他传输协议，采用何种协议将取决于存储数据收发端之间的交互方式。
步骤173，将读取到的存储数据添加至写入任务阻塞队列。
本实施例中，通过网关的缓存管理器将存储数据添加至写入任务阻塞队列，添加方式有两种：一为定时添加存储数据，二为缓存区域满时添加存储数据。通过该两种添加方式的相互配合，提高了网关的缓存管理器对存储数据的读写效率，有利于提高服务器的采集性能。
步骤175，从写入任务阻塞队列中提取存储数据，并写入提取到的存储数据，以对存储数据进行分布式存储。
本实施例中，提取到的存储数据被写入服务器集群，通过该服务器集群对存储数据进行分布式存储。
其中，服务器集群采用Hadoop集群，该Hadoop集群仅支持单进程写入单个HDFS文件，故而提取到的存储数据以hive存储格式为存储格式被单个写入Hadoop集群。该Hadoop集群由主节点设备与从节点设备组成，从节点设备用于存储数据的存储，主节点设备用于控制存储数据的存储操作，例如，该存储操作包括：新建、删除、移动、查找或者复制等等。
同时，本实施例中的Hadoop集群包括两台主节点设备与多台从节点设备，以避免主节点设备单点失效的问题。同一时刻只有其中一台主节点设备处理业务，另一台主节点设备则进入待机状态。当处理业务的主节点设备出现故障时，待机状态的主节点设备马上替代原先的主节点设备对外提供服务，从而保证了Hadoop集群可以长时期不间断地提供安全可靠的服务。
请参阅图5，在一实施例中，步骤175具体包括以下步骤：
步骤1751，接收网关写入的存储数据，并将其分成至少一个数据块。
本实施例中，服务器集群采用Hadoop集群时，网关与该Hadoop集群的所有通信都基于标准的TCP/IP协议。
数据块的大小与数量在网关写入的时候决定，主节点设备控制所有数据块的存储操作，而从节点设备则用于存储所有数据块。
步骤1753，建立并保存数据块与存储块之间的映射关系。
本实施例中，Hadoop集群提供存储块以对数据块进行分布式存储，该Hadoop集群由至少一个主节点设备与多个从节点设备组成。主节点设备保存了数据块与从节点设备的存储块之间的映射关系，以便于在后期分析使用存储数据时，能够根据主节点设备中保存的映射关系在从节点设备的存储块中得到与之有映射关系的数据块。
步骤1755，根据映射关系将数据块复制到对应的存储块中。
在一实施例中，步骤110之前，多平台数据采集方法还包括：
将与平台类型对应的平台标识添加至待上报数据，以形成上报数据。
本实施例中，平台标识用于指示平台类型，例如，平台可以包括：平板电脑、手机、服务器等等类型。平台标识是能够与平台类型唯一对应的，用以通过数据的形式对平台类型进行标识。例如，平台标识可以是其对应设备所拥有的设备识别码。
将该平台标识与待上报数据进行数据包组包操作以形成上报数据，所形成的上报数据中包含的该平台标识即可用于后期接收端采集到的海量的上报数据中唯一地标识出平台类型，从而区分出不同平台的上报数据供后期分析使用，以适用于多种不同类型的平台，从而提高服务器的采集性能。
请参阅图6，在一实施例中，采用多平台数据采集方法的***架构600可分为五层：数据源层610、反向代理层620、数据清洗层630、HDFS网关层640及Hadoop集群650。
本实施例中，数据源层610由相同或者不相同的多个平台组成，平台可以为平板电脑611、手机612、服务器613等等。该数据源层610与反向代理层620连接，以将其中任一平台的上报数据上报至反向代理层620。
反向代理层620包括对外暴露的一个Nginx服务器621，将其作为反向代理，其为数据源层610中的各平台提供统一的上报接口，只要平台所上报的是符合该Nginx服务器621的接口规范的上报数据，都可以由反向代理层620通过该统一的上报接口接收。
数据清洗层630与反向代理层620连接，包括多个接收实例服务器631，用于对上报数据进行初步的加工及数据清洗，以便于后期的分布式存储，同时，将清洗后的存储数据提交至HDFS网关层640。
HDFS网关层640与数据清洗层630连接，包括分布式文件***HDFS 641，用于将存储数据写入HDFS 641。其中，分布式文件***HDFS 641所在服务器的数量为二，以避免Hadoop集群650单点故障的问题。
Hadoop集群650与HDFS网关层640基于TCP/IP协议通信，并向上提供分布式存储，该Hadoop集群650包括两台主节点设备651与多台从节点设备652，主节点设备651负责存储数据的存储操作，机架式结构的从节点设备652负责存储数据的存储。其中，两台主节点设备651能够避免主节点设备651单点失效的问题。
请参阅图7，在一实施例中，一种多平台数据采集***700包括：代理模块710、异步处理模块730、发送模块750及网关770。
本实施例中，代理模块710，用于通过与平台的连接接收上报数据。其中，上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的。
异步处理模块730，用于以异步处理方式对上报数据进行处理，得到存储数据。
发送模块750，用于将存储数据提交至网关。
网关770，用于通过网关写入存储数据，以进行存储数据的分布式存储。
请参阅图8，在一实施例中，异步处理模块730包括：文件信息阻塞单元731及数据清洗单元733。
本实施例中，文件信息阻塞单元731，用于将接收到的上报数据依次添加至文件信息阻塞队列后，释放与平台的连接资源。
数据清洗单元733，用于从文件信息阻塞队列中逐一提取上报数据，对提取到的上报数据进行数据清洗，以得到存储数据。
请参阅图9，在一实施例中，网关770包括：数据缓存单元771、缓存管理器单元773及写入任务单元775。
本实施例中，数据缓存单元771，用于缓存提交至网关的存储数据。
缓存管理器单元773，用于将读取到的存储数据添加至写入任务阻塞队列。
写入任务单元775，用于从写入任务阻塞队列中提取存储数据，并写入提取到的存储数据，以
对存储数据进行分布式存储。
请参阅图10，在一实施例中，多平台数据采集***700还包括：服务器集群790，该服务器集群790包括：接收单元791、映射单元793及复制单元795。
本实施例中，接收单元791，用于接收网关写入的存储数据，并将其分成至少一个数据块。
映射单元793，用于建立并保存数据块与存储块之间的映射关系。
复制单元795，用于根据映射关系将数据块复制到对应的存储块中。
在一实施例中，多平台数据采集***700还包括：数据源。
本实施例中，数据源用于将与平台类型对应的平台标识添加至待上报数据，以形成上报数据。
上述内容，仅为本发明的较佳实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。
Claims (8)
1.一种多平台数据采集方法，其特征在于，包括：
通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；
以异步处理方式对所述上报数据进行处理，得到存储数据；
将所述存储数据提交至网关；及
通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储；
所述以异步处理方式对所述上报数据进行处理，得到存储数据的步骤包括：
将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及
从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据；
其中，所述对提取到的上报数据进行的数据清洗包括添加IP地域信息。
2.如权利要求1所述的多平台数据采集方法，其特征在于，所述通过所述网关写入所述存储数据，以进行所述存储数据的分布式存储的步骤包括：
缓存提交至所述网关的所述存储数据；
将读取到的所述存储数据添加至写入任务阻塞队列；
从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据以对所述存储数据进行分布式存储。
3.如权利要求2所述的多平台数据采集方法，其特征在于，所述写入提取到的所述存储数据，以对所述存储数据进行分布式存储的步骤包括：
接收所述网关写入的所述存储数据，并将其分成至少一个数据块；
建立并保存所述数据块与存储块之间的映射关系；及
根据所述映射关系将所述数据块复制到对应的所述存储块中。
4.如权利要求1所述的多平台数据采集方法，其特征在于，所述通过与平台的连接接收上报数据的步骤之前，所述多平台数据采集方法还包括：
将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。
5.一种多平台数据采集***，其特征在于，包括：
代理模块，用于通过与平台的连接接收上报数据，其中，所述上报数据是由相互之间相同或者不相同的多个平台中的任一平台上报的；
异步处理模块，用于以异步处理方式对所述上报数据进行处理，得到存储数据；
发送模块，用于将所述存储数据提交至网关；及
网关，用于写入所述存储数据，以进行所述存储数据的分布式存储；所述异步处理模块包括：
文件信息阻塞单元，用于将接收到的所述上报数据依次添加至文件信息阻塞队列后，释放与所述平台的连接资源；及
数据清洗单元，用于从所述文件信息阻塞队列中逐一提取所述上报数据，对提取到的所述上报数据进行数据清洗，以得到所述存储数据；
其中，所述对提取到的上报数据进行的数据清洗包括添加IP地域信息。
6.如权利要求5所述的多平台数据采集***，其特征在于，所述网关包括：
数据缓存单元，用于缓存提交至所述网关的所述存储数据；
缓存管理器单元，用于将读取到的所述存储数据添加至写入任务阻塞队列；及
写入任务单元，用于从所述写入任务阻塞队列中提取所述存储数据，并写入提取到的所述存储数据，以对所述存储数据进行分布式存储。
7.如权利要求6所述的多平台数据采集***，其特征在于，还包括：服务器集群，所述服务器集群包括：
接收单元，用于接收所述网关写入的所述存储数据，并将其分成至少一个数据块；
映射单元，用于建立并保存所述数据块与存储块之间的映射关系；及
复制单元，用于根据所述映射关系将所述数据块复制到对应的所述存储块中。
8.如权利要求5所述的多平台数据采集***，其特征在于，还包括：
数据源，用于将与所述平台类型对应的平台标识添加至待上报数据，以形成所述上报数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510202866.5A CN104866528B (zh) | 2015-04-24 | 2015-04-24 | 多平台数据采集方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510202866.5A CN104866528B (zh) | 2015-04-24 | 2015-04-24 | 多平台数据采集方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104866528A CN104866528A (zh) | 2015-08-26 |
| CN104866528B true CN104866528B (zh) | 2018-09-21 |
Family
ID=53912359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510202866.5A Active CN104866528B (zh) | 2015-04-24 | 2015-04-24 | 多平台数据采集方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104866528B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106354795B (zh) * | 2016-08-26 | 2019-09-17 | 南威软件股份有限公司 | 一种分布式数据交换*** |
| CN110678848B (zh) * | 2017-03-22 | 2023-09-19 | 西门子股份公司 | 跨装置的通用数据访问 |
| CN108182233A (zh) * | 2017-12-27 | 2018-06-19 | 苏州麦迪斯顿医疗科技股份有限公司 | 一种分布式数据抽取方法、装置、计算机设备及存储介质 |
| CN109325798A (zh) * | 2018-08-22 | 2019-02-12 | 深圳市佰仟金融服务有限公司 | 一种电销数据统计的方法以及一种电销平台 |
| CN112445596B (zh) * | 2020-11-27 | 2024-02-02 | 上海睿量私募基金管理有限公司 | 基于多线程的数据导入方法、***及存储介质 |
| CN115629890A (zh) * | 2022-10-27 | 2023-01-20 | 圣名科技(广州)有限责任公司 | 传感器数据采集方法及装置、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546570A (zh) * | 2013-10-29 | 2014-01-29 | 小米科技有限责任公司 | 网络客户端跨域请求数据的实现方法、装置及终端 |
| CN103699692A (zh) * | 2014-01-11 | 2014-04-02 | 樊建 | 物联网接入平台数据管理方法 |
| CN103885997A (zh) * | 2012-12-24 | 2014-06-25 | 腾讯科技（深圳）有限公司 | 动态页面信息展示方法和动态页面信息展示*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2504719A (en) * | 2012-08-07 | 2014-02-12 | Ibm | Grid based data mobility |
-
2015
- 2015-04-24 CN CN201510202866.5A patent/CN104866528B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103885997A (zh) * | 2012-12-24 | 2014-06-25 | 腾讯科技（深圳）有限公司 | 动态页面信息展示方法和动态页面信息展示*** |
| CN103546570A (zh) * | 2013-10-29 | 2014-01-29 | 小米科技有限责任公司 | 网络客户端跨域请求数据的实现方法、装置及终端 |
| CN103699692A (zh) * | 2014-01-11 | 2014-04-02 | 樊建 | 物联网接入平台数据管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104866528A (zh) | 2015-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104866528B (zh) | 多平台数据采集方法及*** | |
| CN103780679B (zh) | 基于http协议的长延时远程调用方法 | |
| US11716264B2 (en) | In situ triggered function as a service within a service mesh | |
| CN103645904B (zh) | 一种接口调用的缓存实现方法 | |
| CN103001809B (zh) | 用于云存储***的服务节点状态监控方法 | |
| CN104092719B (zh) | 文件传输方法、装置及分布式集群文件*** | |
| CN104077199B (zh) | 基于共享磁盘的高可用集群的隔离方法和*** | |
| CN103139157B (zh) | 一种基于socket的网络通信方法、装置及*** | |
| CN104899161B (zh) | 一种基于云存储环境的连续数据保护的缓存方法 | |
| CN104243481A (zh) | 一种用电信息采集前置数据处理的方法及*** | |
| CN105306585A (zh) | 一种多数据中心的数据同步方法 | |
| CN109815214A (zh) | 数据库访问方法、***、装置及存储介质 | |
| CN105763297B (zh) | 一种基于云计算***的远程数据优化传输方法和装置 | |
| CN106713391A (zh) | 一种session信息的共享方法和共享*** | |
| CN103139018A (zh) | 一种调变一体化***下的网卡状态监测与tcp通信方法 | |
| CN108156225A (zh) | 基于容器云平台的微应用监控***和方法 | |
| CN110019873A (zh) | 人脸数据处理方法、装置及设备 | |
| CN109327511A (zh) | 一种基于http协议的数据请求方法和服务器 | |
| CN108197222A (zh) | 一种异常流数据的修复方法、***及相关装置 | |
| CN101753584A (zh) | VxWorks***下提高智能变电站快速报文处理速度的方法 | |
| CN102158406A (zh) | 面向计算机网络链路的智能选路方法 | |
| CN110532066A (zh) | 一种事务一致性的实现方法及*** | |
| CN103136225B (zh) | 一种互联网图片转换的方法和*** | |
| CN107247631B (zh) | 通用的gpon-olt***板间通信中间件*** | |
| CN102902593B (zh) | 基于缓存机制的协议分发处理*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |