CN111339192A - 一种分布式边缘计算数据存储*** - Google Patents
一种分布式边缘计算数据存储*** Download PDFInfo
- Publication number
- CN111339192A CN111339192A CN202010107732.6A CN202010107732A CN111339192A CN 111339192 A CN111339192 A CN 111339192A CN 202010107732 A CN202010107732 A CN 202010107732A CN 111339192 A CN111339192 A CN 111339192A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- file
- edge computing
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 claims abstract description 121
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000007726 management method Methods 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008263 repair mechanism Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种分布式边缘计算数据存储***，包括，进行数据处理和存储的分布式边缘计算设备、为分布式边缘计算设备提供数据的终端设备、以及数据存储***；其中，数据存储***至少包括对象存储模型和存储***架构；所述对象存储模型用以将用户数据在底层分割成一组小的对象，按照一定的算法将这组对象均匀一致地分布于整个集群的各个设备节点上，用户使用时，由存储***将这些小对象拼接成完整的用户数据，提供给用户使用；所述存储***架构至少包括客户端、存储接口、存储管理、存储分发、数据存储、物理设备。本发明可实现，事务处理分到各个边缘节点进行处理，从而使***更高效和易于管理，加快资料的处理与传送速度，减少延迟。
Description
技术领域
本发明涉及数据存储技术领域，特别是涉及一种分布式边缘计算数据存储***。
背景技术
边缘计算指在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的开放平台，就近提供边缘智能服务，满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。
根据国际电信联盟电信标准分局ITU-T的研究报告，到2020年，每个人每秒将产生1.7MB的数据，IoT可穿戴设备的出货量将达到2.37亿。IDC也发布了相关预测，到2018年，50％的物联网网络将面临网络带宽的限制，40％的数据需要在网络边缘侧分析、处理与储存，到2025年，这一数字将超过50％。
美国部署了3000余万个监控摄像头，每周生成超过40亿小时的海量视频数据。物联网领域拥有海量的终端设备，如果这些设备产生的数据聚在一起，会是个天文数字。
海量数据的分析与储存对网络带宽提出了巨大的挑战，而边缘计算的诞生，就是为了解决这一问题。
1、分布式和低延迟计算
云计算往往并不是最佳策略，计算需要在更加靠近数据源的地方执行。这个优点可以扩展到任何基于Web的应用程序上：包括Foursqure和GoogleNow在内的APP能更快的做出响应，所以在移动用户中变得越来越受欢迎。这说明在更靠近用户的边缘节点上，边缘计算可以用于改进服务。
许多数据流由边缘设备生成，但是通过“远处”的云计算处理和分析，不可能做出实时决策。例如使用可穿戴式摄像头的视觉服务，响应时间需要在25ms至50ms之间，使用云计算会造成严重的延迟；再比如工业***检测、控制、执行的实时性高，部分场景实时性要求在10ms以内，如果数据分析和控制逻辑全部在云端实现，则难以满足业务要求；还有那些会生成庞大数据流的多媒体应用，如视频或是基于云平台的网络游戏，依赖云计算也会为玩家造成类似于等待时间过长的问题，无法满足用户的需求。
作为云计算的有益补充，可以利用边缘节点(例如，路由器或离边缘设备最近的基站)，用以减少网络等待时间。
2、超越终端设备的资源限制
与数据中心的服务器相比，用户终端(例如智能手机)的硬件条件相对受限。这些终端设备以文本、音频、视频、手势或运动的形式获得数据输入，但由于中间件和硬件的限制，终端设备无法执行复杂的分析，而且执行过程也极为耗电。因此，通常需要将数据发送到云端，进行处理和运算，然后再把有意义的信息通过中继返回终端。
然而，并非来自终端设备的所有数据都需要由云计算执行，数据可以利用适合数据管理任务的空闲计算资源，在边缘节点处过滤或者分析。
3、可持续的能源消耗
大量研究显示，云计算会消耗庞大的能源，未来十年数据中心所消耗的能源量可能是如今消耗量的3倍。随着越来越多的应用转移到云，能量需求会日益增长，甚至无法满足。因此，采用能量效率最大化的计算策略显得尤为迫切。
一些嵌入式小型设备的基础信息采集处理完全可以在端完成，即手机传感器把数据传送到网关后，就通过边缘计算进行数据过滤和处理，没必要每条原始数据都传送到云，这省去了大量的能源成本。
4、应对数据***和网络流量压力
边缘设备的数量正在超速增长，到2018年，世界上三分之一的人口将拥有智能手机或者可穿戴设备，到2020年，这些设备将生成43万亿GB的数据。处理这些数据需要进一步扩展数据中心，这再次引起了人们对网络流量压力的广泛关注。
通过在边缘设备上执行数据分析，可有效应对数据***，减轻网络的流量压力。边缘计算能够缩短设备的响应时间，减少从设备到云数据中心的数据流量，以便在网络中更有效的分配资源。
5、智能计算
不仅是消费级的物联网终端，边缘计算还将在工业应用中发挥重要作用。计算可以分层执行，利用网络远端的资源完成。例如，典型的生产流水线可以过滤设备上生成的数据，在传输数据的边缘节点上执行部分分析工作，之后再通过云端执行更加复杂的计算任务。边缘节点可以通过分担云计算的部分任务，增强数据中心的计算能力。
业务流程优化、运维自动化与业务创新驱动业务走向智能，边缘侧智能能够带来显著的效率提升与成本优势。事实上，对于从事工业自动化工作的人而言，边缘计算并不陌生。比如，在目前普遍采用的基于PLC、DCS、工控机和工业网络的控制***中，位于底层、嵌于设备中的计算资源，或多或少都是边缘计算的资源。
目前规模以上冶金企业，其信息化已经做得颇具成效，但缺少的恰恰是末端智能。冶金方面的数据经常会出现完整性和一致性的问题，俗称“脏”数据。解决不好这方面的问题，会给能源管理和智能管理环节造成很大的困扰。边缘计算在其中发挥着重要作用，成为工业物联网技术的有效补充。
发明内容
本发明实施例所要解决的技术问题在于，提供一种分布式边缘计算数据存储***，解决***可靠性、可用性和存取效率的技术问题。
本发明的一方面，提供一种分布式边缘计算数据存储***，包括：
进行数据处理和存储的分布式边缘计算设备、为分布式边缘计算设备提供数据的终端设备、以及数据存储***；
其中，数据存储***至少包括对象存储模型和存储***架构；
所述对象存储模型用以将用户数据在底层分割成一组小的对象，按照一定的算法将这组对象均匀一致地分布于整个集群的各个设备节点上，用户使用时，由存储***将这些小对象拼接成完整的用户数据，提供给用户使用；
所述存储***架构至少包括客户端、存储接口、存储管理、存储分发、数据存储、物理设备。
进一步，所述分布式边缘计算设备至少包括边缘分布式计算节点，用于接收边缘计算API路由中心节点的资源、计算服务调度、微服务软件分发包推送、分布式数据资源存放、计算或存储服务响应。
进一步，所述边缘计算设备的边缘为从数据源到云计算中心路径之间的任意计算和网络资源，边缘计算设备中边缘的下行数据为云服务，边缘计算设备中边缘的上行数据为万物互联服务。
进一步，所述终端设备至少包括终端设备数据操作框架、云计算***和边缘计算API路由中心节点；云计算***由大量云端服务器组成，用以为大量用户提供服务；边缘计算API路由中心节点用于接收边缘计算设备的入网注册数据；所述云端服务器采用分布式存储的方式存储数据，用以通过冗余存储的方式保存数据。
进一步，所述终端设备向云端服务器上传待存储文件时，终端设备通过外部访问网络连接于存储网关和对象存储设备，所述存储网关和所述对象存储设备通过内部存储网络连接于远程备份服务器，远程备份服务器通过WAN连接于云端服务器；
所述终端设备向云端服务器下载存储文件时，终端设备通过外部访问网络连接于存储网关和对象存储设备，所述存储网关和所述对象存储设备通过内部存储网络连接于远程备份服务器。
进一步，所述终端设备向云端服务器上传待存储文件时，终端设备向云端服务器发送自身标识信息，云端服务器返回匹配结果，匹配成功则进行下一步操作，匹配失败则无法停止操作；
终端设备选择用户的待存储文件，同时根据云端服务器的匹配成功消息，从云端服务器的加密算法库中选取加密算法；
终端设备向云端服务器发出存储文件请求，存储文件请求至少包括待存储文件、文件元信息及加密算法，文件元信息至少包括文件名、文件类型和文件大小。
进一步，所述云端服务器通过DES加密算法或RSA加密算法进行文件加密或文件解密。
进一步，所述数据存储***通过分布式块存储写入数据，具体为将终端设备的写操作分片成多个4K的block下发到存储***架构，数据首先写到存储***架构中相应卷对应primary存储节点的NVRAM，再复制到存储***架构中该卷对应的secondary存储节点NVRAM，作为第二份副本复制，复制完成后，集群直接返回终端设备写入完成信息。
进一步，所述数据存储***读取数据时，当读数据失败时，***判断错误类型，如果是磁盘扇区读取错误，***会自动从其他节点保存的副本读取数据，重新写入该副本数据到硬盘扇区错误的节点，保证数据副本总数不减少和副本间的数据一致性。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的这种分布式边缘计算数据存储***，采用可扩展的***结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了***的可靠性、可用性和存取效率，还易于扩展。最大100PB以上存储空间卓越性能；弹性扩展，丰富接口；简便管理，统一视图，统一管理。分布式边缘计算数据存储***是数据库技术和网络技术两者结合的结果，大数据时代，数据种类和数量的增长使分布式数据库成为数据存储和处理的核心技术。数据存储在多台计算机上，分布式数据库操作不局限于单台机器，而允许在多台机器上执行事务交易，以此来提高数据库访问的性能。把原先由核心节点进行的事务处理，分到各个边缘节点进行处理，并靠近终端用户来布局，从而使***更高效和易于管理。正是由于边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明提供的分布式边缘计算数据存储***的结构图。
图2为本发明提供的分布式边缘计算数据存储***的一个实施例的网络结构的示意图。
图3为本发明提供的分布式边缘计算数据存储***上传待存储文件方法的流程示意图。
图4为本发明提供的分布式边缘计算数据存储***下载存储文件方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明提供的一种分布式边缘计算数据存储***的一个实施例的示意图。在该实施例中，一种分布式边缘计算数据存储***，包括：
进行数据处理和存储的分布式边缘计算设备、为分布式边缘计算设备提供数据的终端设备、以及数据存储***；
具体一个实施例中，所述分布式边缘计算设备至少包括边缘分布式计算节点，用于接收边缘计算API路由中心节点的资源、计算服务调度、微服务软件分发包推送、分布式数据资源存放、计算或存储服务响应；边缘计算设备中边缘的下行数据表示云服务，上行数据表示万物互联服务，边缘计算设备的边缘是指从数据源到云计算中心路径之间的任意计算和网络资源。
具体一个实施例中，所述终端设备至少包括终端设备数据操作框架、云计算***和边缘计算API路由中心节点；云计算***由大量云端服务器组成，用以为大量用户提供服务；边缘计算API路由中心节点用于接收边缘计算设备的入网注册数据；所述云端服务器采用分布式存储的方式存储数据，用以通过冗余存储的方式保存数据；所述云端服务器通过DES加密算法或RSA加密算法进行文件加密或文件解密；云端服务器可以为腾讯云端服务器、百度云端服务器、阿里云端服务器或华为云端服务器等云端服务器。
具体的，如图2所示，所述终端设备向云端服务器上传待存储文件时，终端设备(S3/WebDAV/Client、CIFS/NFS-Client、iSCSI/FC-Initiator)通过外部访问网络连接于存储网关(GW)和对象存储设备(OSD)，所述存储网关(GW)和所述对象存储设备(OSD)通过内部存储网络连接于远程备份服务器(RRS)，远程备份服务器(RRS)通过WAN连接于云端服务器；所述终端设备(S3/WebDAV/Client、CIFS/NFS-Client、iSCSI/FC-Initiator)向云端服务器下载存储文件时，终端设备通过外部访问网络连接于存储网关(GW)和对象存储设备(OSD)，所述存储网关(GW)和所述对象存储设备(OSD)通过内部存储网络连接于远程备份服务器(RRS)。
具体的，如图3所示，所述终端设备向云端服务器上传待存储文件时，终端设备向云端服务器发送自身标识信息，云端服务器返回匹配结果，匹配成功则进行下一步操作，匹配失败则无法停止操作；终端设备选择用户的待存储文件，同时根据云端服务器的匹配成功消息，从云端服务器的加密算法库中选取加密算法；终端设备向云端服务器发出存储文件请求，存储文件请求至少包括待存储文件、文件元信息及加密算法，文件元信息至少包括文件名、文件类型和文件大小。
具体的，如图4所示，终端设备向云端服务器下载存储文件时，终端设备与云端服务器进行匹配，向云端服务器发送自身标识信息，等待云端服务器给出匹配结果，匹配成功则进行下一步操作，匹配失败则无法继续操作；终端设备从用户获取待下载文件的文件元信息；终端设备向云端服务器发出下载请求，下载请求包括待下载文件的文件元信息。
其中，数据存储***至少包括对象存储模型和存储***架构；
所述对象存储模型用以将用户数据在底层分割成一组小的对象，按照一定的算法将这组对象均匀一致地分布于整个集群的各个设备节点上，用户使用时，由存储***将这些小对象拼接成完整的用户数据，提供给用户使用；
所述存储***架构至少包括客户端、存储接口、存储管理、存储分发、数据存储、物理设备；存储接口包括有AmazonS3、WebDAV、NFS、iSCSI、OpenStack-Swift、CIFS、FC/FCoE；存储管理包括有策略管理、监控/报告、自动修复；存储分发包括有对象分发、对象复制、对象再平衡；数据存储包括有数据去重、数据压缩、SSD加速。
具体的，所述数据存储***通过分布式块存储写入数据，具体为将终端设备的写操作分片成多个4K的block下发到存储***架构，数据首先写到存储***架构中相应卷对应primary存储节点的NVRAM，再复制到存储***架构中该卷对应的secondary存储节点NVRAM，作为第二份副本复制，复制完成后，集群直接返回终端设备写入完成信息；返回终端设备写入完成后，存储***架构中存储节点还有做将NVRAM中数据刷入后端SSD硬盘的数据落盘操作，最终完成数据存储过程；所述数据存储***有读修复机制，当读数据失败时，***判断错误类型，如果是磁盘扇区读取错误，***会自动从其他节点保存的副本读取数据，重新写入该副本数据到硬盘扇区错误的节点，保证数据副本总数不减少和副本间的数据一致性；读修复机制中，N-数据复制的份数；W-更新数据是需要保证写完成的节点数；R-读取数据的时候需要读取的节点数；如果W+R>N，写的节点和读的节点重叠，则是强一致性；例如对于典型的一主一备同步复制的分布式存储***，N＝2，W＝2，R＝1，则不管读的是主副本还是从副本的数据，都是一致的。如果W+R<＝N，则是弱一致性；例如对于一主一备异步复制的分布式存储，N＝2，W＝1，R＝1，则如果读的是从副本，就可能无法读取主副本已经更新过的数据，从而读到了脏数据所以是弱一致性；对于分布存储式***，为了保证高可用性，一般设置N>＝3，且强制在主副本读取，也是通常说的分布式存储***使用强一致性原则。
本发明中边缘计算的中心思想是把原先由核心节点进行的事务处理，分到各个边缘节点进行处理，并靠近终端用户来布局，从而使***更高效和易于管理。正是由于边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟；分布式边缘计算数据存储***是数据库技术和网络技术两者结合的结果，大数据时代，数据种类和数量的增长使分布式数据库成为数据存储和处理的核心技术。数据存储在多台计算机.上，分布式数据库操作不局限于单台机器，而允许在多台机器上执行事务交易，以此来提高数据库访问的性能。
其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的这种分布式边缘计算数据存储***，采用可扩展的***结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了***的可靠性、可用性和存取效率，还易于扩展。最大100PB以上存储空间卓越性能；弹性扩展，丰富接口；简便管理，统一视图，统一管理。分布式边缘计算数据存储***是数据库技术和网络技术两者结合的结果，大数据时代，数据种类和数量的增长使分布式数据库成为数据存储和处理的核心技术。数据存储在多台计算机上，分布式数据库操作不局限于单台机器，而允许在多台机器上执行事务交易，以此来提高数据库访问的性能。把原先由核心节点进行的事务处理，分到各个边缘节点进行处理，并靠近终端用户来布局，从而使***更高效和易于管理。正是由于边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (9)
1.一种分布式边缘计算数据存储***，其特征在于，包括：进行数据处理和存储的分布式边缘计算设备、为分布式边缘计算设备提供数据的终端设备、以及数据存储***；
其中，数据存储***至少包括对象存储模型和存储***架构；
所述对象存储模型用以将用户数据在底层分割成一组小的对象，按照一定的算法将这组对象均匀一致地分布于整个集群的各个设备节点上，用户使用时，由存储***将这些小对象拼接成完整的用户数据，提供给用户使用；
所述存储***架构至少包括客户端、存储接口、存储管理、存储分发、数据存储、物理设备。
2.如权利要求1所述的***，其特征在于，所述分布式边缘计算设备至少包括边缘分布式计算节点，用于接收边缘计算API路由中心节点的资源、计算服务调度、微服务软件分发包推送、分布式数据资源存放、计算或存储服务响应。
3.如权利要求2所述的***，其特征在于，所述边缘计算设备的边缘为从数据源到云计算中心路径之间的任意计算和网络资源，边缘计算设备中边缘的下行数据为云服务，边缘计算设备中边缘的上行数据为万物互联服务。
4.如权利要求1所述的***，其特征在于，所述终端设备至少包括终端设备数据操作框架、云计算***和边缘计算API路由中心节点；云计算***由大量云端服务器组成，用以为大量用户提供服务；边缘计算API路由中心节点用于接收边缘计算设备的入网注册数据；所述云端服务器采用分布式存储的方式存储数据，用以通过冗余存储的方式保存数据。
5.如权利要求4所述的***，其特征在于，所述终端设备向云端服务器上传待存储文件时，终端设备通过外部访问网络连接于存储网关和对象存储设备，所述存储网关和所述对象存储设备通过内部存储网络连接于远程备份服务器，远程备份服务器通过WAN连接于云端服务器；
所述终端设备向云端服务器下载存储文件时，终端设备通过外部访问网络连接于存储网关和对象存储设备，所述存储网关和所述对象存储设备通过内部存储网络连接于远程备份服务器。
6.如权利要求5所述的***，其特征在于，所述终端设备向云端服务器上传待存储文件时，终端设备向云端服务器发送自身标识信息，云端服务器返回匹配结果，匹配成功则进行下一步操作，匹配失败则无法停止操作；
终端设备选择用户的待存储文件，同时根据云端服务器的匹配成功消息，从云端服务器的加密算法库中选取加密算法；
终端设备向云端服务器发出存储文件请求，存储文件请求至少包括待存储文件、文件元信息及加密算法，文件元信息至少包括文件名、文件类型和文件大小。
7.如权利要求6所述的方法，其特征在于，所述云端服务器通过DES加密算法或RSA加密算法进行文件加密或文件解密。
8.如权利要求1所述的***，其特征在于，所述数据存储***通过分布式块存储写入数据，具体为将终端设备的写操作分片成多个4K的block下发到存储***架构，数据首先写到存储***架构中相应卷对应primary存储节点的NVRAM，再复制到存储***架构中该卷对应的secondary存储节点NVRAM，作为第二份副本复制，复制完成后，集群直接返回终端设备写入完成信息。
9.如权利要求8所述的方法，其特征在于，所述数据存储***读取数据时，当读数据失败时，***判断错误类型，如果是磁盘扇区读取错误，***会自动从其他节点保存的副本读取数据，重新写入该副本数据到硬盘扇区错误的节点，保证数据副本总数不减少和副本间的数据一致性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010107732.6A CN111339192A (zh) | 2020-02-21 | 2020-02-21 | 一种分布式边缘计算数据存储*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010107732.6A CN111339192A (zh) | 2020-02-21 | 2020-02-21 | 一种分布式边缘计算数据存储*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111339192A true CN111339192A (zh) | 2020-06-26 |
Family
ID=71185477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010107732.6A Pending CN111339192A (zh) | 2020-02-21 | 2020-02-21 | 一种分布式边缘计算数据存储*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111339192A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108121511A (zh) * | 2017-12-21 | 2018-06-05 | 北京黑螺技术有限公司 | 一种分布式边缘存储***中的数据处理方法、装置及设备 |
| CN111949217A (zh) * | 2020-08-21 | 2020-11-17 | 广东韶钢松山股份有限公司 | 超融合一体机及其软件定义存储sds处理方法和*** |
| CN112600924A (zh) * | 2020-12-15 | 2021-04-02 | 四川长虹电器股份有限公司 | IoT终端数据存储***、方法、计算机设备及存储介质 |
| CN112671847A (zh) * | 2020-12-11 | 2021-04-16 | 周口师范学院 | 基于异构无线蜂窝网络的内容存储与传输的联合规划方法 |
| CN113391647A (zh) * | 2021-07-20 | 2021-09-14 | 中国人民解放军国防科技大学 | 多无人机边缘计算服务部署及调度方法和*** |
| CN114442912A (zh) * | 2020-10-30 | 2022-05-06 | 潘塔安全***公司 | 用于分布式数据储存的方法和设备 |
| CN114500073A (zh) * | 2022-02-11 | 2022-05-13 | 浪潮云信息技术股份公司 | 一种云存储***中支持隐私保护的用户数据割接方法及*** |
| CN114584397A (zh) * | 2022-04-28 | 2022-06-03 | 睿至科技集团有限公司 | 一种分布式云数据集中处理方法及*** |
| WO2023093079A1 (zh) * | 2021-11-26 | 2023-06-01 | 浪潮通信信息***有限公司 | 一种分布式边缘云边节点的一致性核查方法及装置 |
| CN116974827A (zh) * | 2023-09-25 | 2023-10-31 | 北京装库创意科技有限公司 | 一种云端大数据存储管理方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储*** |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储***及其实现方法 |
| US20140181021A1 (en) * | 2012-12-21 | 2014-06-26 | Zetta, Inc. | Back up using locally distributed change detection |
| CN106657267A (zh) * | 2016-11-15 | 2017-05-10 | 华中科技大学 | 基于边缘服务器的云存储*** |
| CN109542457A (zh) * | 2018-11-21 | 2019-03-29 | 四川长虹电器股份有限公司 | 一种边缘计算网络的分布式应用分发部署的***及方法 |
| CN109815371A (zh) * | 2019-01-30 | 2019-05-28 | 无锡华云数据技术服务有限公司 | 视频监控数据存储访问*** |
| CN109887098A (zh) * | 2019-02-13 | 2019-06-14 | 浙江传媒学院 | 一种基于分布式计算的web AR数据呈现方式 |
-
2020
- 2020-02-21 CN CN202010107732.6A patent/CN111339192A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储*** |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储***及其实现方法 |
| US20140181021A1 (en) * | 2012-12-21 | 2014-06-26 | Zetta, Inc. | Back up using locally distributed change detection |
| CN106657267A (zh) * | 2016-11-15 | 2017-05-10 | 华中科技大学 | 基于边缘服务器的云存储*** |
| CN109542457A (zh) * | 2018-11-21 | 2019-03-29 | 四川长虹电器股份有限公司 | 一种边缘计算网络的分布式应用分发部署的***及方法 |
| CN109815371A (zh) * | 2019-01-30 | 2019-05-28 | 无锡华云数据技术服务有限公司 | 视频监控数据存储访问*** |
| CN109887098A (zh) * | 2019-02-13 | 2019-06-14 | 浙江传媒学院 | 一种基于分布式计算的web AR数据呈现方式 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108121511A (zh) * | 2017-12-21 | 2018-06-05 | 北京黑螺技术有限公司 | 一种分布式边缘存储***中的数据处理方法、装置及设备 |
| CN111949217A (zh) * | 2020-08-21 | 2020-11-17 | 广东韶钢松山股份有限公司 | 超融合一体机及其软件定义存储sds处理方法和*** |
| CN114442912A (zh) * | 2020-10-30 | 2022-05-06 | 潘塔安全***公司 | 用于分布式数据储存的方法和设备 |
| CN114442912B (zh) * | 2020-10-30 | 2024-03-29 | 潘塔安全***公司 | 用于分布式数据储存的方法和设备 |
| CN112671847A (zh) * | 2020-12-11 | 2021-04-16 | 周口师范学院 | 基于异构无线蜂窝网络的内容存储与传输的联合规划方法 |
| CN112600924B (zh) * | 2020-12-15 | 2022-02-22 | 四川长虹电器股份有限公司 | IoT终端数据存储***、方法、计算机设备及存储介质 |
| CN112600924A (zh) * | 2020-12-15 | 2021-04-02 | 四川长虹电器股份有限公司 | IoT终端数据存储***、方法、计算机设备及存储介质 |
| CN113391647A (zh) * | 2021-07-20 | 2021-09-14 | 中国人民解放军国防科技大学 | 多无人机边缘计算服务部署及调度方法和*** |
| WO2023093079A1 (zh) * | 2021-11-26 | 2023-06-01 | 浪潮通信信息***有限公司 | 一种分布式边缘云边节点的一致性核查方法及装置 |
| CN114500073A (zh) * | 2022-02-11 | 2022-05-13 | 浪潮云信息技术股份公司 | 一种云存储***中支持隐私保护的用户数据割接方法及*** |
| CN114500073B (zh) * | 2022-02-11 | 2024-04-12 | 浪潮云信息技术股份公司 | 一种云存储***中支持隐私保护的用户数据割接方法及*** |
| CN114584397A (zh) * | 2022-04-28 | 2022-06-03 | 睿至科技集团有限公司 | 一种分布式云数据集中处理方法及*** |
| CN114584397B (zh) * | 2022-04-28 | 2022-07-29 | 睿至科技集团有限公司 | 一种分布式云数据集中处理方法及*** |
| CN116974827A (zh) * | 2023-09-25 | 2023-10-31 | 北京装库创意科技有限公司 | 一种云端大数据存储管理方法及*** |
| CN116974827B (zh) * | 2023-09-25 | 2024-01-16 | 北京装库创意科技有限公司 | 一种云端大数据存储管理方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339192A (zh) | 一种分布式边缘计算数据存储*** | |
| US10489422B2 (en) | Reducing data volume durability state for block-based storage | |
| US9983825B2 (en) | Efficient data volume replication for block-based storage | |
| US10719260B2 (en) | Techniques for storing and retrieving data from a computing device | |
| CN108280080B (zh) | 一种数据同步方法、装置以及电子设备 | |
| CN103268318B (zh) | 一种强一致性的分布式键值数据库***及其读写方法 | |
| US20230087447A1 (en) | Data migration method and device | |
| CN107832423B (zh) | 一种用于分布式文件***的文件读写方法 | |
| CN114201421B (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
| CN111209090B (zh) | 一种云平台中虚拟机的创建方法、组件及服务器 | |
| CN110784498B (zh) | 一种个性化数据容灾方法及装置 | |
| CN104735110A (zh) | 元数据管理方法和*** | |
| US9083725B2 (en) | System and method providing hierarchical cache for big data applications | |
| CN106873902B (zh) | 一种文件存储***、数据调度方法及数据节点 | |
| Tang et al. | Latency-aware task scheduling in software-defined edge and cloud computing with erasure-coded storage systems | |
| CN113411363A (zh) | 一种镜像文件的上传方法、相关设备及计算机存储介质 | |
| CN107798063A (zh) | 快照处理方法和快照处理装置 | |
| EP3349416B1 (en) | Relationship chain processing method and system, and storage medium | |
| CN116303789A (zh) | 多分片多副本数据库并行同步方法、装置及可读介质 | |
| CN109992447B (zh) | 数据复制方法、装置及存储介质 | |
| WO2024021470A1 (zh) | 一种跨区域的数据调度方法、装置、设备及存储介质 | |
| CN115695049A (zh) | 一种cdn元数据分发方法及装置 | |
| WO2022121387A1 (zh) | 数据存储方法、装置、服务器及介质 | |
| CN115238006A (zh) | 检索数据同步方法、装置、设备及计算机存储介质 | |
| CN113961562A (zh) | 基于海量数据的物联网数据存储处理分析*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |