CN108717457A - 一种电子商务平台大数据处理方法和*** - Google Patents
一种电子商务平台大数据处理方法和*** Download PDFInfo
- Publication number
- CN108717457A CN108717457A CN201810497241.XA CN201810497241A CN108717457A CN 108717457 A CN108717457 A CN 108717457A CN 201810497241 A CN201810497241 A CN 201810497241A CN 108717457 A CN108717457 A CN 108717457A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- acquisition
- big
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 239000003795 chemical substances by application Substances 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000002085 persistent effect Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种电子商务平台大数据处理方法和***，通过生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，以及写缓存为底层的文件***提供高性能的写缓存服务，将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件***进行持久化存储。通过写缓存和写合并之后，规避了海量文件写对文件***的不友好，从而优化写吞吐速率和内存占用率。
Description
技术领域
本发明涉及计算机数据处理技术领域，特别涉及一种电子商务平台大数据处理方法和***。
背景技术
网络购物在移动互联网的大背景时代下，已经成为人们***台，就培育了大量的线上品牌。电子商务作为一种虚拟的较易方式，在为广大消费者提供便捷的同时，需要很多社会服务环节的配合，它不仅代表一种新的消费体验，也代表了一种零售及其配套服务发展的新业态。电子商务是一项蓬勃发展的商业模式，由此给中小企业发展带来了新契机。在中小企业与电子商务协同发展的过程中，信息化是必不可少的中间环节。然而目前中小型企业信息化建设缓慢，有关中小型企业仓储物流信息化建设研究较少，目前己实现的***设计具备基本功能，但缺乏较好的细节设计与用户体验。
但是，对于电子商务公司来说，内部落后的信息化水平可能成为制约其服务效率的一个重要原因。电子商务以数据为中心的特性，使得其设计区别于其他计算机网络，如以网络为中心的万维网、以事务为中心的金融网、以设备为中心的无限传感网。电子商务应用的设计必须以数据的存储与管理为中心，以数据库技术为中心，从逻辑概念和软、硬件技术两个方面实现一个高性能的和以数据为中心的网络***，为用户提供一个有效的数据存储于管理***。
采用传统的客户端/服务器模式采集数据，数据中心发出采集请求，采集数据模块响应，数据中心通过轮询的方式与各采集节点通信，但由于采集节点数量非常大，必然会导致两个问题：1)采集数据量大，从而导致负载过重，限制采集规模；2)数量大的情况下，数据中心轮询时间也增加。这样就会导致采集数据的实时性受到影响。电子商务平台每天产生大量的数据，其中数据通常以小文件的形式产生，例如每隔一段时间就会形成并上传一个几十KB的文件；如何实现电子商务大数据环境下的海量小文件高效存储，己成为大数据研究中的一个关键问题。分布式文件***是目前实现海量小文件存储的主要技术，但分布式文件***在进行小文件存储时存在写吞吐速率低和内存占用率过高等问题，难以满足大数据管理的要求。
发明内容
本发明实施例提供了电子商务平台大数据处理方法和***，能够使得在采集数据时不会导致负载过重，解决了大数据存储时存在写吞吐速率低和内存占用率过高等问题。
为了解决上述问题，本发明公开了如下技术方案：
第一方面，提供一种电子商务平台大数据处理方法，包括：
数据中心发出采集请求，采集数据响应启动；
数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，若是，则进入下一步；若否，则返回上一级；
生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；
将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；
对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中；
将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；
当内存可以使用的物理内存空间不够时，由操作***的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质。
第二方面，提供一种电子商务平台大数据处理***，包括：
启动模块，数据中心发出采集请求，采集数据响应启动；
检测模块，数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，准备就绪则进入采集代理生成模块，若否，则重新返回启动模块；
采集代理生成模块，生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；
写缓存模块，将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；
合并写模块，对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到分布式文件***中，同一类的后续合并的大文件也写到分布式文件***中；
索引建立模块，将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；
同步模块，当内存可以使用的物理内存空间不够时，由操作***的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质。
本发明通过生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，以及写缓存为底层的文件***提供高性能的写缓存服务，将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件***进行持久化存储。通过写缓存和写合并之后，规避了海量文件写对文件***的不友好，从而优化写吞吐速率和内存占用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中大数据处理方法的流程示意图。
图2是本发明另一个实施例中大数据处理***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明一个实施例提出了一种大数据处理方法的流程图，数据中心发出采集请求，采集数据响应启动。数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，若是，则进入下一步；若否，则返回上一级；生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的节点，由于采集代理在终端发送相应的采集操作命令给终端设备，而不需要由过去的数据中心统一进行，这样就将处理工作交给不同模块的采集代理进行，而数据中心只负责对最后实时数据的接收。由于数据采集的范围由原来统一的网络模式变成多个局部模块，而采用的采集代理能提高运行的效率。多个采集代理的并发执行也极大提高了数据的处理速度及传送效率，使实时数据的不再通过传统的轮询方式进行采集获取，也不再受节点数量的限制。
在文件***底层存储之上增加了一个内存文件***中主要进行写缓存和写合并服务。其中写缓存为底层的文件***提供高性能的写缓存服务，从而优化写吞吐速率。将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点来减少主节点的元数据存储压力。将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件***进行持久化存储。通过写缓存和写合并之后，规避了海量文件写对文件***的不友好。
当内存文件***中的主节点接收到一个写请求的时候，需要主节点进行写调度策略以返回给数据采集节点合适的服务节点以负责具体的文件写缓存服务。使用哈希表来存储每个数据采集节点和服务节点的映射关系，并根据负载的情况为数据采集节点指定相应的服务节点。当一个传感器第一次与内存文件***建立连接时，数据采集节点连接主节点的写调度模块，主节点写调度模块根据当前每个节点的负载返回一个主存储服务节点地址和一个副本服务节点地址给数据采集节点，并在元数据管理模块中存储数据采集节点与服务节点的映射关系。
写合并，当内存文件***中的总文件量达到一定的阈值时，需要将文件持久化存储到文件***中，文件***面对海量小文件时写吞吐速率低和主节点内存占用过多的问题，使得需要对海量小文件进行写优化。在内存文件***中使用上述写合并操作将访问关联性较强的采集节点数据合并到大文件，写入文件***。主节点中的合并管理模块根据类调度的节点将同一个类的文件转移到同一个服务节点上，由服务节点的合并写模块对类中所包含的数据文件进行合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件写到文件***中，同一个类的后续合并的大文件写到文件***中。文件合并之后对内存文件***中的元数据信息进行清理操作。
而对于实时数据库的加载与组织，实时数据管理***的加载策略是建立在索引基础之上的，首先对需要操作的页进行索引，查找到相应的文件，相应的页偏移量，然后加载进入虚拟内存空间。当内存可以使用的物理内存空间不够时，由操作***的虚拟内存管理器负责页数据交换。由于是通过段页式模型管理内存空间，将其分为等大小的页面，所有的内外存交换和调度都是以页面为单位进行的。当需要请求的页面在内存空间中无法找到时，***会产生缺页错误，需要从磁盘或者交换空间中调入新的请求页面，当内存空间不足够容纳新调度进入的页面时，就要丢弃或者与外存交换内存中现有的页面。
将数据库中的一个表作为一个文件，相应建立一个索引文件。表文件和索引文件的结构都是由文件头和数据对象两个部分组成。而内存部分，则划分为四个部分，分别是阴影区、数据操作区、索引区及数据对象区。表文件中的数据对象载入到数据对象区，索引文件的索引内容载入到索引区，然后根据相对偏移量来索引出数据对象。每次需要操作的数据项都先备份到阴影区，然后再在数据操作区中操作。操作完成后，数据将更新到阴影区，再由阴影区更新数据对象区的数据内容，最后同步到物理介质数据。
图2是本发明另一个实施例中大数据处理***的结构示意图，提出了一种大数据处理***，包括：启动模块201、检测模块202、采集代理生成模块203、写缓存模块204、合并写模块205、索引建立模块206、同步模块207、清理模块208、实时查询模块209、历史查询模块210。其中：
启动模块201，数据中心发出采集请求，采集数据响应启动。
检测模块202，数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，准备就绪则进入采集代理生成模块203，若否，则重新返回启动模块201。
采集代理生成模块203，生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备。
不需要由过去的数据中心统一进行，这样就将处理工作交给不同模块的采集代理进行，而数据中心这边只负责对最后实时数据的接收。由于数据采集的范围由原来统一的网络模式变成多个局部模块，而采用的采集代理能提高运行的效率。多个采集代理的并发执行也极大提高了数据的处理速度及传送效率，使实时数据的不再通过传统的轮询方式进行采集获取，也不再受节点数量的限制。
写缓存模块204，将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点。
合并写模块205，对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到分布式文件***中，同一类的后续合并的大文件也写到分布式文件***中。
其中写缓存为底层的文件***提供高性能的写缓存服务，从而优化写吞吐速率。将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点来减少主节点的元数据存储压力。将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件***进行持久化存储。通过写缓存和写合并之后，规避了海量文件写对文件***的不友好。
索引建立模块206，将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；实时数据库的加载与组织，实时数据管理***的加载策略是建立在索引基础之上的，首先对需要操作的页进行索引，查找到相应的文件，相应的页偏移量，然后加载进入虚拟内存空间。当内存可以使用的物理内存空间不够时，由操作***的虚拟内存管理器负责页数据交换。由于是通过段页式模型管理内存空间，将其分为等大小的页面，所有的内外存交换和调度都是以页面为单位进行的。当需要请求的页面在内存空间中无法找到时，***会产生缺页错误，需要从磁盘或者交换空间中调入新的请求页面，当内存空间不足够容纳新调度进入的页面时，就要丢弃或者与外存交换内存中现有的页面。
同步模块207，表文件和索引文件的结构都是由文件头和数据对象两个部分组成。而内存部分，则划分为四个部分，分别是阴影区、数据操作区、索引区及数据对象区。表文件中的数据对象载入到数据对象区，索引文件的索引内容载入到索引区，然后根据相对偏移量来索引出数据对象。每次需要操作的数据项都先备份到阴影区，然后再在数据操作区中操作。操作完成后，数据将更新到阴影区，再由阴影区更新数据对象区的数据内容，最后同步到物理介质数据。
还具有清理模块208，对数据库中的元数据信息进行清理操作。
实时查询模块209，查询实时数据。
历史查询模块210，查询历史数据，通过连续查询实时数据与历史数据进行对比，检测数据采集的结果。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种电子商务平台大数据处理方法，其特征在于，所述方法包括：
数据中心发出采集请求，采集数据响应启动；
数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，若是，则进入下一步；若否，则返回上一级；
生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；
将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；
对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中；
将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；
当内存可以使用的物理内存空间不够时，由操作***的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质。
2.根据权利要求1所述的方法，其特征在于，在生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点中，数据中心服务器还存储了采集节点与服务节点的映射关系。
3.根据权利要求1所述的方法，其特征在于，在对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中之后，对数据库中的元数据信息进行清理操作。
4.根据权利要求1所述的方法，其特征在于，在当内存可以使用的物理内存空间不够时，由操作***的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质之后，数据中心对实时数据进行连续查询。
5.根据权利要求4所述的方法，其特征在于，数据中心也对历史数据进行查询，通过连续查询实时数据与历史数据进行对比，检测数据采集的结果。
6.一种电子商务平台大数据处理***，其特征在于，包括：
启动模块，数据中心发出采集请求，采集数据响应启动；
检测模块，数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，准备就绪则进入采集代理生成模块，若否，则重新返回启动模块；
采集代理生成模块，生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；
写缓存模块，将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；
合并写模块，对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到分布式文件***中，同一类的后续合并的大文件也写到分布式文件***中；
索引建立模块，将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；
同步模块，当内存可以使用的物理内存空间不够时，由操作***的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质。
7.根据权利要求6所述的***，其特征在于，还具有数据中心服务器，存储有采集节点与服务节点的映射关系。
8.根据权利要求6所述的***，其特征在于，还具有清理模块，对数据库中的元数据信息进行清理操作。
9.根据权利要求6所述的***，其特征在于，实时查询模块，查询实时数据。
10.根据权利要求9所述的***，其特征在于，历史查询模块，查询历史数据，通过连续查询实时数据与历史数据进行对比，检测数据采集的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810497241.XA CN108717457B (zh) | 2018-05-23 | 2018-05-23 | 一种电子商务平台大数据处理方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810497241.XA CN108717457B (zh) | 2018-05-23 | 2018-05-23 | 一种电子商务平台大数据处理方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108717457A true CN108717457A (zh) | 2018-10-30 |
| CN108717457B CN108717457B (zh) | 2022-03-22 |
Family
ID=63900299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810497241.XA Active CN108717457B (zh) | 2018-05-23 | 2018-05-23 | 一种电子商务平台大数据处理方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108717457B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109408466A (zh) * | 2018-11-01 | 2019-03-01 | 江苏农牧科技职业学院 | 一种农业物联网用冗余数据处理方法及装置 |
| CN109508317A (zh) * | 2018-10-31 | 2019-03-22 | 武汉光谷联众大数据技术有限责任公司 | 一种大容量数据和服务管理*** |
| CN109783538A (zh) * | 2018-12-28 | 2019-05-21 | 陆明 | 数据处理*** |
| CN109994131A (zh) * | 2019-04-10 | 2019-07-09 | 广西电网有限责任公司玉林供电局 | 一种基于索引的工频录波文件压缩存储方法及*** |
| CN111309794A (zh) * | 2020-01-17 | 2020-06-19 | 青梧桐有限责任公司 | 一种数据存储引擎 |
| CN111445349A (zh) * | 2020-03-13 | 2020-07-24 | 贵州电网有限责任公司 | 一种适用于能源互联网的混合式数据存储处理方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533366A (zh) * | 2009-03-09 | 2009-09-16 | 浪潮电子信息产业股份有限公司 | 一种服务器性能数据采集与分析的方法 |
| CN101676899A (zh) * | 2008-09-18 | 2010-03-24 | 上海宝信软件股份有限公司 | 海量数据库记录的归档和查询方法 |
| CN102129435A (zh) * | 2010-01-13 | 2011-07-20 | ***通信集团公司 | 数据存储业务控制方法及*** |
| CN102331949A (zh) * | 2011-10-12 | 2012-01-25 | 华为技术有限公司 | 一种虚拟机内存快照生成和恢复方法、装置及*** |
| US20160019224A1 (en) * | 2014-07-18 | 2016-01-21 | Commvault Systems, Inc. | File system content archiving based on third-party application archiving rules and metadata |
| CN106909651A (zh) * | 2017-02-23 | 2017-06-30 | 郑州云海信息技术有限公司 | 一种基于hdfs小文件写入和读取的方法 |
-
2018
- 2018-05-23 CN CN201810497241.XA patent/CN108717457B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676899A (zh) * | 2008-09-18 | 2010-03-24 | 上海宝信软件股份有限公司 | 海量数据库记录的归档和查询方法 |
| CN101533366A (zh) * | 2009-03-09 | 2009-09-16 | 浪潮电子信息产业股份有限公司 | 一种服务器性能数据采集与分析的方法 |
| CN102129435A (zh) * | 2010-01-13 | 2011-07-20 | ***通信集团公司 | 数据存储业务控制方法及*** |
| CN102331949A (zh) * | 2011-10-12 | 2012-01-25 | 华为技术有限公司 | 一种虚拟机内存快照生成和恢复方法、装置及*** |
| US20160019224A1 (en) * | 2014-07-18 | 2016-01-21 | Commvault Systems, Inc. | File system content archiving based on third-party application archiving rules and metadata |
| CN106909651A (zh) * | 2017-02-23 | 2017-06-30 | 郑州云海信息技术有限公司 | 一种基于hdfs小文件写入和读取的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵丹等: "一种面向节能的虚拟机在线迁移解决方案", 《计算机技术与发展》 * |
| 郝行军: "物联网大数据存储与管理技术研究", 《中国博士学位论文全文数据库》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508317A (zh) * | 2018-10-31 | 2019-03-22 | 武汉光谷联众大数据技术有限责任公司 | 一种大容量数据和服务管理*** |
| CN109508317B (zh) * | 2018-10-31 | 2023-06-09 | 陕西合友网络科技有限公司 | 一种大容量数据和服务管理*** |
| CN109408466A (zh) * | 2018-11-01 | 2019-03-01 | 江苏农牧科技职业学院 | 一种农业物联网用冗余数据处理方法及装置 |
| CN109408466B (zh) * | 2018-11-01 | 2020-03-13 | 江苏农牧科技职业学院 | 一种农业物联网用冗余数据处理方法及装置 |
| CN109783538A (zh) * | 2018-12-28 | 2019-05-21 | 陆明 | 数据处理*** |
| CN109994131A (zh) * | 2019-04-10 | 2019-07-09 | 广西电网有限责任公司玉林供电局 | 一种基于索引的工频录波文件压缩存储方法及*** |
| CN109994131B (zh) * | 2019-04-10 | 2021-10-22 | 广西电网有限责任公司玉林供电局 | 一种基于索引的工频录波文件压缩存储方法及*** |
| CN111309794A (zh) * | 2020-01-17 | 2020-06-19 | 青梧桐有限责任公司 | 一种数据存储引擎 |
| CN111445349A (zh) * | 2020-03-13 | 2020-07-24 | 贵州电网有限责任公司 | 一种适用于能源互联网的混合式数据存储处理方法及*** |
| CN111445349B (zh) * | 2020-03-13 | 2023-09-05 | 贵州电网有限责任公司 | 一种适用于能源互联网的混合式数据存储处理方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108717457B (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717457A (zh) | 一种电子商务平台大数据处理方法和*** | |
| Chaczko et al. | Availability and load balancing in cloud computing | |
| US8161244B2 (en) | Multiple cache directories | |
| CN100596353C (zh) | 提供日志服务的方法及*** | |
| CN100468402C (zh) | 一种数据存储及查询方法 | |
| CN108228817A (zh) | 数据处理方法、装置和*** | |
| CN108600321A (zh) | 一种基于分布式内存云的图数据存储方法和*** | |
| CN111460023A (zh) | 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 | |
| CN108804576B (zh) | 一种基于链接分析的域名层级结构探测方法 | |
| CN111160658B (zh) | 一种协同制造资源优配方法、***和平台 | |
| CN108509437A (zh) | 一种ElasticSearch查询加速方法 | |
| CN112163001A (zh) | 高并发查询方法、智能终端及存储介质 | |
| CN110471900A (zh) | 数据处理方法及终端设备 | |
| CN102930056B (zh) | 云存储***的检索方法及设备 | |
| CN111309266B (zh) | 一种基于ceph的分布式存储元数据***日志优化***与方法 | |
| CN109213604A (zh) | 一种数据源的管理方法和装置 | |
| CN109767274B (zh) | 一种对海量***数据进行关联存储的方法及*** | |
| CN112632025A (zh) | 一种基于paas平台的电网企业管理决策支持应用*** | |
| CN112100181B (zh) | 一种基于沙盘的数据资源管理方法 | |
| CN110175206A (zh) | 用于多数据库分离的智能分析业务方法、***及介质 | |
| CN111061802B (zh) | 一种电力数据管理处理方法、装置及存储介质 | |
| CN109376192A (zh) | 一种用户留存分析方法、装置、电子设备及存储介质 | |
| CN110134698A (zh) | 数据管理方法及相关产品 | |
| CN106528448A (zh) | 一种多源异构电商大数据的分布式高速缓存机制 | |
| CN114153862A (zh) | 业务数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A big data processing method and system for e-commerce platform Effective date of registration: 20221127 Granted publication date: 20220322 Pledgee: Bank of Nanjing Limited by Share Ltd. Suzhou branch Pledgor: SUZHOU ECSTORM NETWORK TECHNOLOGY Co.,Ltd. Registration number: Y2022320010742 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231202 Granted publication date: 20220322 Pledgee: Bank of Nanjing Limited by Share Ltd. Suzhou branch Pledgor: SUZHOU ECSTORM NETWORK TECHNOLOGY Co.,Ltd. Registration number: Y2022320010742 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |