CN116760850B - 一种数据处理方法、装置、设备、介质及*** - Google Patents

一种数据处理方法、装置、设备、介质及*** Download PDF

Info

Publication number
CN116760850B
CN116760850B CN202311034910.7A CN202311034910A CN116760850B CN 116760850 B CN116760850 B CN 116760850B CN 202311034910 A CN202311034910 A CN 202311034910A CN 116760850 B CN116760850 B CN 116760850B
Authority
CN
China
Prior art keywords
storage
server
data
target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311034910.7A
Other languages
English (en)
Other versions
CN116760850A (zh
Inventor
刘伟
李仁刚
徐亚明
邓子为
刘杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202311034910.7A priority Critical patent/CN116760850B/zh
Publication of CN116760850A publication Critical patent/CN116760850A/zh
Application granted granted Critical
Publication of CN116760850B publication Critical patent/CN116760850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了计算机技术领域内的一种数据处理方法、装置、设备、介质及***。本发明利用异构平台与客户端、元数据服务端和存储服务端进行通信，并且异构平台上提前存有存储视图，针对客户端发送的存储请求，异构平台可以在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符；若操作标识符校验通过，则根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器。由此通过异构平台上提前存的存储视图便可确定数据存储位置，可以降低元数据服务端被访问的频次，避免元数据服务端成为访问瓶颈，异构平台还能提高访问效率和性能。

Description

一种数据处理方法、装置、设备、介质及***
技术领域
本发明涉及计算机技术领域，特别涉及一种数据处理方法、装置、设备、介质及***。
背景技术
在分布式存储***中，所有客户端都需要通过元数据管理端获取数据存储位置，因此元数据管理端的访问压力较大，也容易受到网络攻击。元数据管理端一旦出现故障，将影响整个***的访问。因此利用元数据管理端对数据存储位置进行监控、调度和维护，容易出现***访问瓶颈，影响***访问效率和性能。
因此，如何解决***访问瓶颈，提高访问效率和性能，是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据处理方法、装置、设备、介质及***，以解决***访问瓶颈，提高访问效率和性能。其具体方案如下：
第一方面，本发明提供了一种数据处理方法，应用于异构平台，所述异构平台与客户端、元数据服务端和存储服务端通信连接，包括：
接收所述客户端发送的数据处理请求；
若所述数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并根据所述客户端的客户端信息和所述可用存储结构的结构信息生成操作标识符；所述本地存储视图从所述元数据服务端预先获得；
若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器。
可选地，所述在本地存储视图中确定可用存储结构，包括：
根据所述目标数据的数据量在所述本地存储视图中选择空闲的目标存储单元；
构建多个目标存储块；每一目标存储块包括：属于不同存储服务器的多个目标存储单元；
构建包括所述目标存储块的所述可用存储结构；
生成包括所述目标存储块的块信息的所述结构信息。
可选地，所述根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，包括：
将所述目标存储块添加至正在使用队列；
在所述正在使用队列中确定所述目标存储块；
根据所述目标存储块的块信息确定所述存储服务器。
可选地，所述将所述目标数据存储至所述存储服务器之后，还包括：
将所述目标存储块中已存数据的存储单元添加至已用队列，将所述目标存储块中未存数据的存储单元回收至可用队列；
将所述目标存储块中已存数据的存储单元的地址发送至所述元数据服务端，以使所述元数据服务端标记该存储单元为已使用；
从所述正在使用队列中删除所述目标存储块。
可选地，所述根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器，包括：
对所述目标数据进行纠删计算；
根据所述结构信息为纠删计算后的数据在所述存储服务端确定相应的存储服务器，并将纠删计算后的数据存储至该存储服务器。
可选地，所述异构平台包括：控制芯片和集成电路；
相应地，所述根据所述客户端的客户端信息和所述可用存储结构的结构信息生成操作标识符，包括：
利用所述控制芯片对所述客户端的IP信息和所述结构信息中的元数据信息进行哈希计算，得到哈希结果，拼接所述哈希结果和所述结构信息中的存储单元位置信息，得到所述操作标识符。
可选地，所述异构平台包括控制芯片和集成电路；
相应地，所述若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器，包括：
利用所述集成电路对所述操作标识符进行校验，并在校验通过后根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，将所述目标数据存储至所述存储服务器。
可选地，所述利用所述集成电路对所述操作标识符进行校验，包括：
所述集成电路判断自身生成的操作标识符与所述控制芯片生成的操作标识符是否一致；
若一致，则确定所述操作标识符校验通过；否则，确定所述操作标识符校验不通过，并生成操作标识符的错误提示消息。
可选地，还包括：
按照预设安全策略判断所述数据处理请求的请求信息是否危险；所述请求信息包括：源端口、源IP、协议类型和/或操作行为；
若是，则为所述数据处理请求添加危险标记，并拦截所述数据处理请求；
若否，则判断所述数据处理请求的类型，所述类型包括：存储请求、读请求和复制请求。
可选地，还包括：
若所述数据处理请求为读请求，则将所述读请求转发至所述元数据服务端；
接收所述元数据服务端返回的读地址信息；
根据所述读地址信息从所述存储服务端读取相应数据。
可选地，还包括：
若所述数据处理请求为复制请求，则将所述复制请求转发至所述元数据服务端；
接收所述元数据服务端返回的复制地址信息；
根据所述复制地址信息从所述存储服务端读取相应数据，将所读取的数据作为所述目标数据，并执行在本地存储视图中确定可用存储结构，并根据所述客户端的客户端信息和所述可用存储结构的结构信息生成操作标识符；若所述操作标识符校验通过，则根据所述结构信息为所述目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器的步骤。
可选地，还包括：
若所述复制请求要求复制多份，则利用多个异构平台并行复制多份。
可选地，还包括：
若复制的目的存储服务器和源存储服务器为同一个，发送通知至该存储服务器，以使该存储服务器自主进行复制。
可选地，还包括：
在与所述存储服务端中的任意存储服务器通信时，按照当前确定的存储服务器的IP和预设重定向策略选择相应的出端口；所述预设重定向策略根据IP所属网段和/或数据传输协议确定。
可选地，还包括：
在与所述存储服务端中的任意存储服务器通信时，根据所述存储服务端中的各个存储服务器的接收端口的流量大小及资源使用情况、所有出端口的流量大小、安全规则和预设重定向策略选择相应的出端口。
可选地，所述异构平台为多个，每一异构平台申请本地存储视图的过程包括：
若所述本地存储视图中不存在所述可用存储结构，则发送视图申请请求至所述元数据服务端；
接收所述元数据服务端根据所述视图申请请求返回的可写存储视图；
将所述可写存储视图合并至所述本地存储视图；
其中，不同异构平台申请的本地存储视图为全局存储视图的一部分，形成分布式存储视图。
第二方面，本发明提供了一种数据处理装置，应用于异构平台，所述异构平台与客户端、元数据服务端和存储服务端通信连接，包括：
接收模块，用于接收所述客户端发送的数据处理请求；
确定模块，用于若所述数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并根据所述客户端的客户端信息和所述可用存储结构的结构信息生成操作标识符；所述本地存储视图从所述元数据服务端预先获得；
存储模块，用于若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器。
第三方面，本发明提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的数据处理方法。
第四方面，本发明提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的数据处理方法。
第五方面，本发明提供了一种数据处理***，包括：客户端、包括多个异构平台的硬件执行端、元数据服务端和存储服务端；所述异构平台基于数据面编程语言实现有前述任一项所述的方法。
通过以上方案可知，本发明提供了一种数据处理方法，应用于异构平台，所述异构平台与客户端、元数据服务端和存储服务端通信连接，包括：接收所述客户端发送的数据处理请求；若所述数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并根据所述客户端的客户端信息和所述可用存储结构的结构信息生成操作标识符；所述本地存储视图从所述元数据服务端预先获得；若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器。
可见，本发明的有益效果为：利用异构平台与客户端、元数据服务端和存储服务端进行通信，并且异构平台上提前存有存储视图，因此针对客户端发送的存储请求，异构平台可以在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符；若操作标识符校验通过，则根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器。由此写操作时不再需要访问元数据服务端来确定数据存储位置，通过异构平台上提前存的存储视图便可确定，因此可以降低元数据服务端被访问的频次，避免元数据服务端成为访问瓶颈，异构平台还能提高访问效率和性能。
相应地，本发明提供的一种数据处理装置、设备、介质及***，也同样具有上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明公开的一种数据处理方法流程图；
图2为本发明公开的一种存储块的结构示意图；
图3为本发明公开的一种存储结构的结构示意图；
图4为本发明公开的一种分布式存储***示意图；
图5为本发明公开的一种分布式存储***中的功能示意图；
图6为本发明公开的一种正在使用队列、可用队列和已用队列的示意图；
图7为本发明公开的一种读写操作流程图；
图8为本发明公开的一种队列管理示意图；
图9为本发明公开的一种数据处理装置示意图；
图10为本发明公开的一种电子设备示意图；
图11为本发明提供的一种服务器结构图；
图12为本发明提供的一种终端结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在分布式存储***中，所有客户端都需要通过元数据管理端获取数据存储位置，因此元数据管理端的访问压力较大，也容易受到网络攻击。元数据管理端一旦出现故障，将影响整个***的访问。因此利用元数据管理端对数据存储位置进行监控、调度和维护，容易出现***访问瓶颈，影响***访问效率和性能。为此，本发明提供了一种数据处理方案，能够解决***访问瓶颈，提高访问效率和性能。
参见图1所示，本发明实施例公开了一种数据处理方法，应用于异构平台，异构平台与客户端、元数据服务端和存储服务端通信连接，包括：
S101、接收客户端发送的数据处理请求。
在本实施例中，数据处理请求可以是存储请求、读请求和复制请求。本实施例中的S102和S103介绍的是存储请求的处理过程。异构平台由复杂可编程逻辑器件、现场可编程逻辑阵列等硬件设备构成；具体的，异构平台包括控制芯片和集成电路，集成电路即：复杂可编程逻辑器件、现场可编程逻辑阵列等。
S102、若数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符。
其中，本地存储视图从元数据服务端预先获得。在异构平台初始化时，可以向元数据服务端发送视图申请请求，视图申请请求中携带要申请的存储空间大小。例如：异构平台初始化时向元数据服务端请求1G大小的可写存储视图，那么元数据服务端返回1G大小的可写存储视图。可见，可写存储视图由元数据服务端自主决定所包括的各个存储单元的位置等信息。
元数据服务端可以具体为元数据服务器或元服务器。元数据服务器用于描述一个文件在***中所在的存储位置。元服务器为管理服务器，主要作用是管理文件与存储块之间的存储位置关系；这种设计带来的好处是极大的提高了扩展性，同时也提高了***的性能和可靠性，找文件位置会非常快。
在一种实施方式中，所述异构平台为多个，每一异构平台申请本地存储视图的过程包括：若所述本地存储视图中不存在所述可用存储结构，则发送视图申请请求至所述元数据服务端；接收所述元数据服务端根据所述视图申请请求返回的可写存储视图；将所述可写存储视图合并至所述本地存储视图；其中，不同异构平台申请的本地存储视图为全局存储视图的一部分，形成分布式存储视图。可写存储视图包括：多个空闲的存储单元，每一存储单元记录有所属的磁盘地址和磁盘所在存储服务器的IP（Internet Protocol，互联网协议）；将可写存储视图合并至本地存储视图。各个存储单元大小相等，如设定为1M大小。
在本实施例中，每两个来自不同存储服务器的存储单元可构成一个存储块，多个存储块可构成一个可用存储结构。单一存储块的结构如图2所示，具体包括：块标识和相互备份的两个存储单元，两个存储单元各自对应有：元数据、IP/位置、所存数据是否有效标志和优先级。IP为磁盘所在存储服务器的IP，位置为磁盘地址。当所存数据有效时，是否有效标志为1，优先级为0，当所存数据无效时，是否有效标志为0，优先级为1。一个可用存储结构中包括多个空闲的存储块，那么按照图2所示，单一可用存储结构可参见图3。
需要说明的是，根据不同存储请求确定的可用存储结构包括的空闲存储块的个数不同，具体个数取决于存储请求需存储的目标数据的数据量大小。因此在一种实施方式中，在本地存储视图中确定可用存储结构，包括：根据目标数据的数据量在本地存储视图中选择空闲的目标存储单元；构建多个目标存储块；每一目标存储块包括：属于不同存储服务器的多个目标存储单元；构建包括目标存储块的可用存储结构；生成包括目标存储块的块信息的结构信息。目标存储块的块信息为：其包括的各个存储单元的信息，如：存储单元所属的存储服务器IP和优先级等。因此可用存储结构的结构信息中包括各个各个存储单元所属的存储服务器IP及磁盘地址。
S103、若操作标识符校验通过，则根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器。
为了便于管理存储过程，可以设置正在使用队列和已用队列。正在使用队列中记录即将用于存储数据的存储单元，已用队列中记录已存有数据的存储单元。在一种实施方式中，在确定可用存储结构后，将可用存储结构包括的目标存储块添加至正在使用队列，具体可以将目标存储块包括的两个存储单元添加至正在使用队列。相应地，在一种实施方式中，根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，包括：在正在使用队列中确定目标存储块；根据目标存储块的块信息确定存储服务器。在一种实施方式中，将目标数据存储至存储服务器之后，还包括：将目标存储块中已存数据的存储单元添加至已用队列，将所述目标存储块中未存数据的存储单元回收至可用队列。在一种实施方式中，将目标存储块中已存数据的存储单元添加至已用队列之后，还包括：将所述目标存储块中已存数据的存储单元的地址发送至所述元数据服务端，以使所述元数据服务端标记该存储单元为已使用。在一种实施方式中，将目标存储块中已存数据的存储单元添加至已用队列之后，还包括：从正在使用队列中删除目标存储块，从本地存储视图中删除已存数据的存储单元。各个队列中的每一存储块可以用存储块包括的两个存储单元表示，也就是：一个队列中的元素为各个存储单元。
本实施例利用异构平台与客户端、元数据服务端和存储服务端进行通信，并且异构平台上提前存有存储视图，因此针对客户端发送的存储请求，异构平台可以在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符；若操作标识符校验通过，则根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器。由此写操作时不再需要访问元数据服务端来确定数据存储位置，通过异构平台上提前存的存储视图便可确定，因此可以降低元数据服务端被访问的频次，避免元数据服务端成为访问瓶颈，异构平台还能提高访问效率和性能。
为了提升数据存储的容错率，在存储时可进行纠删计算。在一种实施方式中，根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器，包括：对目标数据进行纠删计算；根据结构信息为纠删计算后的数据在存储服务端确定相应的存储服务器，并将纠删计算后的数据存储至该存储服务器。由异构平台进行纠删计算，既可以借助异构平台的高速计算能力提升计算效率，又可以降低客户端需发送的数据量。例如：由客户端进行纠删计算时，客户端需要发送M个原数据和N个纠删数据，而由异构平台进行纠删计算，客户端只需要发送M个原数据。
在一种实施方式中，异构平台包括：控制芯片和集成电路；相应地，根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符，包括：利用控制芯片对客户端的IP信息和结构信息中的元数据信息进行哈希计算，得到哈希结果，拼接哈希结果和结构信息中的存储单元位置信息，得到操作标识符。其中，哈希计算算法可采用MD5等。结构信息中的元数据信息为：结构信息中的各个存储单元的元数据信息。控制芯片如：ARM（AdvancedRISC Machine）芯片等。
相应地，若操作标识符校验通过，则根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器，包括：利用集成电路对操作标识符进行校验，并在校验通过后根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，将目标数据存储至存储服务器。其中，利用集成电路对操作标识符进行校验，包括：集成电路判断自身生成的操作标识符与异构平台生成的操作标识符是否一致；若一致，则确定操作标识符校验通过；否则，确定操作标识符校验不通过，并生成操作标识符的错误提示消息。
需要说明的是，控制芯片能够被灵活配置，因此可灵活进行流量转发，而集成电路具备并行高速处理能力，因此异构平台可充当交换机或路由器进行流量转发，且具备更好的灵活性和处理效率。
进一步地，本实施例还可以对请求进行安全检测，如：根据源端口、源IP、协议类型和/或操作行为对危险请求进行拦截，从而保护元数据服务端和存储服务端不被攻击。在一种实施方式中，还包括：按照预设安全策略判断数据处理请求的请求信息是否危险；请求信息包括：源端口、源IP、协议类型和/或操作行为；若是，则为数据处理请求添加危险标记，并拦截数据处理请求；若否，则判断数据处理请求的类型，类型包括：存储请求、读请求和复制请求。其中，可以提前将危险的源端口、源IP、协议类型和/或操作行为记录至黑名单，然后利用此黑名单对数据处理请求的请求信息是否危险进行判断。
如前所述，数据处理请求可以是存储请求、读请求和复制请求。当数据处理请求为读请求，则将读请求转发至元数据服务端；接收元数据服务端返回的读地址信息；根据读地址信息从存储服务端读取相应数据。当数据处理请求为复制请求，则将复制请求转发至元数据服务端；接收元数据服务端返回的复制地址信息；根据复制地址信息从存储服务端读取相应数据，将所读取的数据作为目标数据，并执行在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符；若操作标识符校验通过，则根据结构信息为目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器的步骤。在一种实施方式中，若复制请求要求复制多份，则利用多个异构平台并行复制多份。在一种实施方式中，若复制的目的存储服务器和源存储服务器为同一个，发送通知至该存储服务器，以使该存储服务器自主进行复制。
为实现大象流的分流，本实施例中的异构平台在与存储服务端中的任意存储服务器通信时，按照当前确定的存储服务器的IP和预设重定向策略选择相应的出端口；预设重定向策略根据IP所属网段和/或数据传输协议确定。在一种实施方式中，本实施例中的异构平台还可以在与存储服务端中的任意存储服务器通信时，根据存储服务端中的各个存储服务器的接收端口的流量大小及资源使用情况、所有出端口的流量大小、安全规则和预设重定向策略选择相应的出端口。大象流为：有关数据存储的流量，这些流量通常占用整个***80%以上的带宽，同时需要满足较高的吞吐率。
可见，本实施例不再局限于传统的集中式监控，通过异构平台监控各方流量大小，可以有效地识别并拆分大象流，避免网络拥塞。本实施例还利用异构平台提前存的存储视图减少了元数据服务端的访问频次，异构平台可直接完成写操作而无需访问元数据服务端，由此减轻了元数据服务端的压力。同时，对客户端发来的请求可以由超强可编程能力的异构平台统一进行安全风险检测，保护了***的安全性。纠删计算也由异构平台完成，存储服务端只需接收纠删计算得到的原始数据和校验数据，而无需进行纠删计算，由此减轻了存储服务端的复杂性和压力。需要说明的是，这些功能均可以借助P4（ProgrammingProtocol-Independent Packet Processors）编程语言在异构平台中实现。P4是一种数据面的高级编程语言，通常用在网络交换场景，如交换机、智能网卡和DPU（DistributedProcessing Unit，分散处理单元）等，其相对于openflow协议具备更好的协议扩展性，支持并行（匹配–执行），更加容易开发。在异构平台中实现的用于实现重定向的P4表项消耗的资源量远小于存储服务端的表项所需资源量。在具体实现时，可以借助P4实现数据面和控制面的分离，不同于常规的简单分离，可以进一步将控制面的读操作和写操作分离，使得异构平台承担客户端与元数据服务端之间的控制面的转换任务，并重点承担写操作的任务。
P4可以实现现有协议的转发功能，可以自定义数据包结构，还可以在现有协议的基础上进行新的功能开发，支持software风格开发。其中，P4各部分作用为：Parser用于确定数据包有哪些内容，每一个比特都是什么；Ingress是一堆Match-Action的流水线，确定哪些比特组成的文件信息是用户想要的，比如：目标IP是不是8.8.8.8，是的话就改写header让数据包能被转发到它该去的地方；Switching Logic用于实现用户想要的逻辑，或者为了高性能放一个buffer，存放刚被上一个环节处理完准备给下一个环节处理的包；Egress也是一堆Match-Action的流水线，比如：改写源MAC（Media Access Control）地址，同时提供更多对包的操作空间；Deparser用于把改写好的header重新写回包，然后进行数据包传输。
进一步地，包括异构平台、客户端、元数据服务端和存储服务端的***可参照图4。如图4所示，该***中包括多个客户端、两个异构平台、多个存储服务器（即存储服务端）和一个元服务器（即元数据服务端）。每个异构平台包括控制芯片和硬件集成电路（如FPGA），硬件集成电路通过P4转发表项进行流量转发。图4所示***的使用过程包括：初始化各个存储服务器和元服务器；初始化异构平台，使得异构平台从元服务器获取存储视图到本地；异构平台处理来自客户端的数据流，对其进行安全鉴别、控制面与数据面分离、按照P4表项进行重定向转发、监控数据流的流量大小、利用存储视图处理写操作等，具体请参见图5。其中，按照P4表项进行重定向转发可以解决拥塞问题，利用存储视图处理写操作可以解决元服务器带来的访问瓶颈问题，其他功能有助于方便进行集群管理。
其中，异构平台可以包括SOC（System On Chip）控制芯片和FPGA（FieldProgrammable Gate Array，现场可编程门阵列），也可以包括ARM控制芯片和ASIC（Application Specific Integrated Circuit，专用集成电路）。SOC芯片和ARM芯片用于实现规则管理、存储视图申请及管理等工作，FPGA和ASIC负责数据面的转发。可见，每一异构平台由控制芯片和硬件集成电路构成，硬件集成电路具有并行、实时处理的能力。异构平台通过100G或200G的高速网络接口与其他设备通信连接，其可以处理数据中心级别的网络数据。当存在多个异构平台时，这些异构平台与多个客户端之间的交换机以负载均衡方式将多个客户端发出的请求分发给这些异构平台。利用异构平台的硬件的高速、并行、实时处理的特点和控制芯片的灵活性，在软硬件协同下，完成高速数据的处理；通过对客户端发起事务的全程监控，减少异构平台对存储服务器的管理复杂性。
请参见图6，元服务器设有正在使用队列、可用队列和已用队列；正在使用队列包括所有被异构平台申请的存储单元，可用队列包括存储服务端的所有空闲存储单元，已用队列包括所有已存有数据的存储单元。异构平台也可以设有正在使用队列、可用队列和已用队列，正在使用队列包括即将要存数据的存储单元，可用队列包括申请到的空闲存储单元，已用队列包括所有已存有数据的存储单元。如图6所示，各个队列均可以为环形队列，各环形队列中的阴影表示已存数据。
在一种示例中，异构平台在初始化过程中，通过网络从元服务器获取一部分存储视图，异构平台只需向元服务器表明要获取的存储空间大小（如10T），由元服务器据此确定并返回相应大小的存储视图。元服务器返回的存储视图具体为：存储单元个数及其位置信息。异构平台根据存储单元个数及其位置信息形成本地的存储视图。之后，相应更新元服务器的正在使用队列、可用队列和已用队列；同时异构平台的正在使用队列、可用队列和已用队列。如：元服务器将10T存储视图分配到异构平台后，将涉及的存储单元从可用队列中删除，并增加到正在使用队列；相应地，异构平台将涉及的存储单元添加至可用队列。
请参见图7，当异构平台收到客户端发起的10GB的数据存储请求，那么异构平台从本地存储视图（10T）中选择能够存储大于10GB数据的存储单元（预留纠删码的存储位置）形成可用存储结构，并分配结构ID，然后根据客户端IP和所选存储单元的元数据信息（结构信息）生成事务ID（即操作标识符），之后异构平台中的控制芯片将事务ID、请求信息以及所选存储单元的元数据信息下发到集成电路；同时响应客户端的请求信息，客户端收到异构平台反馈的响应信息后，开始发送数据（不包括纠删码），集成电路收到数据后，如果匹配事务ID成功，则对数据进行纠删码计算；之后根据所选存储单元的元数据信息中存储服务器IP进行数据存储。具体为：根据存储服务器IP生成P4表项，按照P4表项将要存储的原数据以重定向转发至相应存储服务器，纠删数据由集成电路通过网络协议直接发送到相应存储服务器。异构平台同时还监听和转发相应存储服务器的响应信息（纠删数据的响应不需要转发）。其中，异构平台发原数据时以客户端IP为源IP，以相应存储服务器IP为目的IP；异构平台发纠删数据时，以异构平台IP为源IP，以相应存储服务器IP为目的IP。
存储服务器返回的响应信息包括：写入成功的地址偏移，异构平台可以根据这个地址找到存数据的具体存储块。异构平台收到存储服务器返回的写入成功的响应后，解析响应信息，找到对应的存储块标识，并将存储块中的数据是否有效标记为1的存储单元放到已使用队列，将数据是否有效标记为0的存储单元释放到可用队列。当异构平台监控到整个存储事务完成时（文件写入完成），将标记为已用的存储单元通过网络通知给元服务器，同时从本地已用队列中删除这部分存储单元；元服务器收到此通知后，将这部分存储单元写入到已用队列，同时从正在使用队列中删除这部分存储单元。如果写失败，异构平台将本次使用的存储单元重新标识为可用，无论是否写成功，异构平台在事务流程结束后都需要删除事务ID，至此事务ID消亡。需要说明的是，一个事务ID可以对应有如下信息：操作类型（读或写）、状态（开始、进行、成功或失败）和结构ID，异构平台通过维护这些信息来对相应事务进行全生命周期的管理。
需要说明的是，元服务器对所有存储服务器中的所有磁盘建立了全局存储视图，该全局存储视图以最小存储单元（1M）划分所有磁盘空间得到，并标记有每个存储单元是否可用及所属的存储服务器等信息。元服务器将所有存储单元打乱并组合为全局存储视图。
请参见图7，异构平台针对客户端读取过程的处理：客户端发起读请求；异构平台收到客户端读请求后进行安全检测，并转发到元服务器；元服务器检索文件所在存储单元并通过异构平台将存储单元信息直接给到客户端；客户端通过存储单元信息中的网络信息，直接通过异构平台从相应存储服务器中并行读取数据。该过程中，异构平台主要负责数据转发的功能。
在本实施例中，异构平台还能够对自身通向存储服务器的端口进行流量实时监控，收集存储服务器实时统计的服务器流量信息以及服务器网络处理性能信息，由此判断是否存在大象流。当流量过载或性能不足时均可判断为大象流，此时异构平台进行分流。异构平台还可以接收来自SDN（Software Defined Network）控制器的流量指示进行分流，从而避免网络末端拥塞。
图8提供了一种队列管理流程，如图8所示，元服务器可从自身对应的可用队列中取出一部分存储单元（带控制信息），并发送至异构平台；取出后，元服务器将这部分存储单元从可用队列中取下，并挂到正在使用队列；当元服务器收到写事务完成信息时，将相关存储单元标记为已完成，并将其从正在使用队列取下挂到已用队列；当元服务器收到读事务请求时，从已用队列检索读文件信息，并将信息通过异构平台返回到客户端；元服务器与存储服务器之间保留常规信息的同步，如磁盘损坏等，以及时处理相关故障；同时元服务器负责集群的扩容，副本复制等管理工作，具体涉及到的数据搬运工作由异构平台协助完成。
异构平台可以监控客户端向存储服务器发起的存储流以及对应的所用磁盘的信息，具体的：监控双方通信协议中存储节点是否回复了存储成功的确认信息；进一步，当监控到存储成功时，异构平台可以将对应的磁盘信息标记为成功状态，否则将磁盘信息标记为可用状态。监控的主要目的是：及时获取磁盘的使用情况，避免失败的情况下对应的磁盘被长期占用；另一个目的是实时获取成功的情况，及时从存储集群中获取新的可用磁盘，补充已经消耗的磁盘。异构平台通过监控客户端与存储服务器之间的通信，确定一个数据流对磁盘操作是否正常完成，存储服务器与元服务器之间不再需要进行频繁的数据确认，直接由异构平台通知存储事务的最终完成状态，减轻了元服务器监控、管理的负担。
可见，本实施例可将编程网络路径与分布式存储技术的深度结合，一个数据流所存的各个存储块带有相应存储服务器IP信息，所以可以根据存储服务器IP信息决定重定向的目标存储服务器，那么同一个数据流可以存在多条可用的转发链路，P4转发平面根据转发策略和实际情况灵活选择，并重定向数据流包括的各个存储块，实现了网络均衡，这非常有利于副本复制、读写等操作的处理。由于存储类的流表项较少，所以P4表项规则一般不会出现不够的情况。当客户端发起存储请求，异构平台从提前映射的部分存储视图中获取并锁定存储单元，并将这部分存储单元与请求的数据流进行映射，当实际存储数据到达异构平台时，异构平台从锁定的存储单元中提取IP和位置，将对应的数据流重定向到IP对应的存储服务器。副本复制用于将存在集群中的一个文件（文件通常会跨越多个主机存储）另存一份或多份，异构平台可以很轻松的将一条数据流分成多份；当客户端发起副本复制请求时，异构平台通过元服务器获取文件对应的存储视图，视图中包含了原文件存储的IP和位置信息，异构平台可以根据这两个信息从相关主机中读取内容，并将这部分内容复制到空闲的存储视图；基于异构平台并行处理的特点，可以一次复制多份。如果发现复制的目的主机和源主机是同一个，异构平台也可以直接通知源主机自己复制。P4表项规则用于实现流量转发，转发路径可根据网段、协议设定，如：只允许存储类的协议通过，只允许特定目的端口的协议通过等等；最终的规则表是多条规则的组合。
进一步地，本实施例可结合多模态数据对大象流进行监控和分流。具体的，异构平台在线计算网络出口的流量、接收存储服务器统计并反馈的自身接收端口的流量信息以及自身处理能力信息、读取用户在控制器中自定义的控制策略（如出口带宽限制、安全规则等）多方面信息，综合判断是否向特定网络出口转发流量。如：存储服务器0反馈流量过大或处理能力接近极限，异构平台将结合重定向规则不再向这个服务器转发流量。再如：异构平台某一出口的流量即将接近控制器设置的最大带宽，那么暂停该出口的流量。由此可通过异构平台的不同出口将流量分散至不同存储服务器，实现了大象流拆解，减轻存储服务器的网络负担。
本实施例中的存储视图的分布式映射，对于客户端的写请求，异构平台只在需要提前从元服务器映射一部分可写存储视图，写成功或失败时只需要异构平台将结果通知给元服务器。对客户端的读请求，直接解析为流表规则，由异构平台直接处理。元服务器只需要面对异构平台，客户端也不需要从元服务器更多的存储信息，异构平台则专注于两者之间的沟通。
本实施例还借助异构平台的并行快速的特点，进行纠删码计算，使得纠删码不再需要客户端生成，减少了客户端实现的复杂性，减轻了客户端到存储集群的网络带宽。具体的，以客户端写入为例：异构平台收到客户端的数据后，利用FPGA的并行实时处理能力，在FPGA硬件中完成纠删码的计算，生成校验分片P和Q，并为校验分片分配存储块、填写元数据信息，元数据信息指文件本身的信息，元服务器通过元数据信息可以定位到文件相关的存储块，最终异构平台将校验分片通过网络存储到集群中。从客户端角度来看，客户端只需要传输原始的文件即可。
在异构平台中还实现了统一的网络安全策略，客户端不能直接访问到元服务器、存储服务器，保护了元服务器、存储服务器等集群设备的安全。异构平台借助P4的协议无关性实现对已知或未知协议以及恶意攻击的识别和过滤，有效保护了元服务器及存储服务器的安全。例如应对DDoS（Distribution Denial of Service，分布式拒绝服务攻击），P4可编程能力允许客户灵活地定制DDoS检测方法和缓解措施；具体的，通过黑白名单的方式限定来源IP端口，通过状态机结合观察窗口等方式识别并实时处理DDoS，P4提供的API可以提取网络包协议、对未知协议包可以丢弃。
下面对本发明实施例提供的一种数据处理装置进行介绍，下文描述的一种数据处理装置与本文描述的其他实施例可以相互参照。
参见图9所示，本发明实施例公开了一种数据处理装置，应用于异构平台，异构平台与客户端、元数据服务端和存储服务端通信连接，包括：
接收模块901，用于接收客户端发送的数据处理请求；
确定模块902，用于若数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符；本地存储视图从元数据服务端预先获得；
存储模块903，用于若操作标识符校验通过，则根据结构信息为存储请求需存储的目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器。
在一种实施方式中，确定模块具体用于：
根据目标数据的数据量在本地存储视图中选择空闲的目标存储单元；
构建多个目标存储块；每一目标存储块包括：属于不同存储服务器的多个目标存储单元；
构建包括目标存储块的可用存储结构；
生成包括目标存储块的块信息的结构信息。
在一种实施方式中，还包括：
队列更新模块，用于将目标存储块添加至正在使用队列。
在一种实施方式中，存储模块具体用于：
在正在使用队列中确定目标存储块；
根据目标存储块的块信息确定存储服务器。
在一种实施方式中，存储模块具体用于：
对目标数据进行纠删计算；
根据结构信息为纠删计算后的数据在存储服务端确定相应的存储服务器，并将纠删计算后的数据存储至该存储服务器。
在一种实施方式中，队列更新模块还用于：
将目标数据存储至存储服务器之后，将目标存储块中已存数据的存储单元添加至已用队列，将所述目标存储块中未存数据的存储单元回收至可用队列。
在一种实施方式中，还包括：
同步模块，用于将所述目标存储块中已存数据的存储单元的地址发送至所述元数据服务端，以使所述元数据服务端标记该存储单元为已使用。
在一种实施方式中，队列更新模块还用于：
从正在使用队列中删除目标存储块。
在一种实施方式中，确定模块具体用于：
根据客户端的IP信息和结构信息生成操作标识符。
在一种实施方式中，所述异构平台包括：控制芯片和集成电路；存储模块具体用于：利用所述控制芯片对所述客户端的IP信息和所述结构信息中的元数据信息进行哈希计算，得到哈希结果，拼接所述哈希结果和所述结构信息中的存储单元位置信息，得到所述操作标识符。
在一种实施方式中，所述异构平台包括：控制芯片和集成电路；相应地，存储模块具体用于：利用所述集成电路对所述操作标识符进行校验，并在校验通过后根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，将所述目标数据存储至所述存储服务器。相应地，所述集成电路判断自身生成的操作标识符与所述控制芯片生成的操作标识符是否一致；若一致，则确定所述操作标识符校验通过；否则，确定所述操作标识符校验不通过，并生成操作标识符的错误提示消息。
在一种实施方式中，还包括：
安全检测模块，用于按照预设安全策略判断数据处理请求的请求信息是否危险；请求信息包括：源端口、源IP、协议类型和/或操作行为；若是，则为数据处理请求添加危险标记，并拦截数据处理请求；若否，则判断数据处理请求的类型，类型包括：存储请求、读请求和复制请求。
在一种实施方式中，还包括：
读模块，用于若数据处理请求为读请求，则将读请求转发至元数据服务端；接收元数据服务端返回的读地址信息；根据读地址信息从存储服务端读取相应数据。
在一种实施方式中，还包括：
复制模块，用于若数据处理请求为复制请求，则将复制请求转发至元数据服务端；接收元数据服务端返回的复制地址信息；根据复制地址信息从存储服务端读取相应数据，将所读取的数据作为目标数据，并执行在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符；若操作标识符校验通过，则根据结构信息为目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器的步骤。
在一种实施方式中，复制模块还用于：
若复制请求要求复制多份，则利用多个异构平台并行复制多份。
在一种实施方式中，复制模块还用于：
若复制的目的存储服务器和源存储服务器为同一个，发送通知至该存储服务器，以使该存储服务器自主进行复制。
在一种实施方式中，还包括：
分流模块，用于在与存储服务端中的任意存储服务器通信时，按照当前确定的存储服务器的IP和预设重定向策略选择相应的出端口；预设重定向策略根据IP所属网段和/或数据传输协议确定。
在一种实施方式中，分流模块还用于：
在与存储服务端中的任意存储服务器通信时，根据存储服务端中的各个存储服务器的接收端口的流量大小及资源使用情况、所有出端口的流量大小、安全规则和预设重定向策略选择相应的出端口。
在一种实施方式中，还包括：
申请模块，用于所述异构平台为多个，每一异构平台申请本地存储视图的过程包括：若所述本地存储视图中不存在所述可用存储结构，则发送视图申请请求至所述元数据服务端；接收所述元数据服务端根据所述视图申请请求返回的可写存储视图；将所述可写存储视图合并至所述本地存储视图；其中，不同异构平台申请的本地存储视图为全局存储视图的一部分，形成分布式存储视图。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种数据处理装置，能够解决***访问瓶颈，提高访问效率和性能。
下面对本发明实施例提供的一种电子设备进行介绍，下文描述的一种电子设备与本文描述的其他实施例可以相互参照。
参见图10所示，本发明实施例公开了一种电子设备，包括：
存储器1001，用于保存计算机程序；
处理器1002，用于执行所述计算机程序，以实现上述任意实施例公开的方法。
进一步的，本发明实施例还提供了一种电子设备。其中，上述电子设备既可以是如图11所示的服务器50，也可以是如图12所示的终端60。图11和图12均是根据一示例性实施例示出的电子设备结构图，图中的内容不能被认为是对本发明的使用范围的任何限制。
图11为本发明实施例提供的一种服务器的结构示意图。该服务器50，具体可以包括：至少一个处理器51、至少一个存储器52、电源53、通信接口54、输入输出接口55和通信总线56。其中，所述存储器52用于存储计算机程序，所述计算机程序由所述处理器51加载并执行，以实现前述任一实施例公开的数据处理中的相关步骤。
本实施例中，电源53用于为服务器50上的各硬件设备提供工作电压；通信接口54能够为服务器50创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本发明技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口55，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器52作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***521、计算机程序522及数据523等，存储方式可以是短暂存储或者永久存储。
其中，操作***521用于管理与控制服务器50上的各硬件设备以及计算机程序522，以实现处理器51对存储器52中数据523的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序522除了包括能够用于完成前述任一实施例公开的数据处理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据523除了可以包括应用程序的更新信息等数据外，还可以包括应用程序的开发商信息等数据。
图12为本发明实施例提供的一种终端的结构示意图，该终端60具体可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
通常，本实施例中的终端60包括有：处理器61和存储器62。
其中，处理器61可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器61可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器61也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器61可以在集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器61还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器62可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器62还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器62至少用于存储以下计算机程序621，其中，该计算机程序被处理器61加载并执行之后，能够实现前述任一实施例公开的由终端侧执行的数据处理方法中的相关步骤。另外，存储器62所存储的资源还可以包括操作***622和数据623等，存储方式可以是短暂存储或者永久存储。其中，操作***622可以包括Windows、Unix、Linux等。数据623可以包括但不限于应用程序的更新信息。
在一些实施例中，终端60还可包括有显示屏63、输入输出接口64、通信接口65、传感器66、电源67以及通信总线68。
本领域技术人员可以理解，图12中示出的结构并不构成对终端60的限定，可以包括比图示更多或更少的组件。
下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与本文描述的其他实施例可以相互参照。
一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的数据处理方法。其中，可读存储介质为计算机可读存储介质，其作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***、计算机程序及数据等，存储方式可以是短暂存储或者永久存储。
下面对本发明实施例提供的一种数据处理***进行介绍，下文描述的一种数据处理***与本文描述的其他实施例可以相互参照。
本发明实施例公开了一种数据处理***，包括：客户端、包括多个异构平台的硬件执行端、元数据服务端和存储服务端；所述异构平台基于数据面编程语言实现有前述任意实施例所述的方法。
本实施例公开的数据处理***具体为分布式存储***。分布式存储的优点：扩容方便，轻松达到PB级别或以上；提升读写性能；数据高可用；避免单个节点故障导致整个架构出现问题；价格相对便宜，大量的廉价设备就可以组成。分布式存储***按架构可以分为完全无中心架构和中间控制节点架构，完全无中心架构主要通过一致性哈希等方法实现了扩容，中间控制节点架构设有元服务器来统一管理所有磁盘。分布式存储根据其类型，可分为块存储、对象存储和文件存储，文件、块和对象是三种不同的数据存储方式。块存储适合客户端使用，将数据拆分到任意划分且大小相同的卷中，用于docker容器、虚拟机远程挂载磁盘存储分配、日志存储等。文件存储适合多客户端有目录结构数据，以文件和文件夹的层次结构来整理和呈现数据，用于日志存储、多个用户有目录结构的文件存储共享等。对象存储适合更新变动较少的数据，没有目录结构，不能直接打开/修改文件，会管理数据并将其链接至关联的元数据，用于图片、视频、文件、软件安装包和归档数据等的存储。
在一种实施方式中，异构平台具体用于：接收所述客户端发送的数据处理请求；若所述数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并根据所述客户端的客户端信息和所述可用存储结构的结构信息生成操作标识符；所述本地存储视图从所述元数据服务端预先获得；若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器。
在一种实施方式中，异构平台具体用于：根据目标数据的数据量在本地存储视图中选择空闲的目标存储单元；构建多个目标存储块；每一目标存储块包括：属于不同存储服务器的多个目标存储单元；构建包括目标存储块的可用存储结构；生成包括目标存储块的块信息的结构信息。
在一种实施方式中，异构平台具体用于：将目标存储块添加至正在使用队列。
在一种实施方式中，异构平台具体用于：在正在使用队列中确定目标存储块；根据目标存储块的块信息确定存储服务器。
在一种实施方式中，异构平台具体用于：对目标数据进行纠删计算；根据结构信息为纠删计算后的数据在存储服务端确定相应的存储服务器，并将纠删计算后的数据存储至该存储服务器。
在一种实施方式中，异构平台具体用于：将目标存储块中已存数据的存储单元添加至已用队列，将所述目标存储块中未存数据的存储单元回收至可用队列。
在一种实施方式中，异构平台具体用于：将所述目标存储块中已存数据的存储单元的地址发送至所述元数据服务端，以使所述元数据服务端标记该存储单元为已使用。
在一种实施方式中，异构平台具体用于：从正在使用队列中删除目标存储块。
在一种实施方式中，异构平台具体用于：根据客户端的IP信息和结构信息生成操作标识符。
在一种实施方式中，所述异构平台具体用于：利用所述控制芯片对所述客户端的IP信息和所述结构信息中的元数据信息进行哈希计算，得到哈希结果，拼接所述哈希结果和所述结构信息中的存储单元位置信息，得到所述操作标识符。
在一种实施方式中，所述异构平台具体用于：利用所述集成电路对所述操作标识符进行校验，并在校验通过后根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，将所述目标数据存储至所述存储服务器。相应地，所述集成电路判断自身生成的操作标识符与所述控制芯片生成的操作标识符是否一致；若一致，则确定所述操作标识符校验通过；否则，确定所述操作标识符校验不通过，并生成操作标识符的错误提示消息。
在一种实施方式中，异构平台具体用于：按照预设安全策略判断数据处理请求的请求信息是否危险；请求信息包括：源端口、源IP、协议类型和/或操作行为；若是，则为数据处理请求添加危险标记，并拦截数据处理请求；若否，则判断数据处理请求的类型，类型包括：存储请求、读请求和复制请求。
在一种实施方式中，异构平台具体用于：若数据处理请求为读请求，则将读请求转发至元数据服务端；接收元数据服务端返回的读地址信息；根据读地址信息从存储服务端读取相应数据。
在一种实施方式中，异构平台具体用于：若数据处理请求为复制请求，则将复制请求转发至元数据服务端；接收元数据服务端返回的复制地址信息；根据复制地址信息从存储服务端读取相应数据，将所读取的数据作为目标数据，并执行在本地存储视图中确定可用存储结构，并根据客户端的客户端信息和可用存储结构的结构信息生成操作标识符；若操作标识符校验通过，则根据结构信息为目标数据在存储服务端确定相应的存储服务器，并将目标数据存储至存储服务器的步骤。
在一种实施方式中，异构平台具体用于：若复制请求要求复制多份，则利用多个异构平台并行复制多份。
在一种实施方式中，异构平台具体用于：若复制的目的存储服务器和源存储服务器为同一个，发送通知至该存储服务器，以使该存储服务器自主进行复制。
复制可有强同步复制和异步复制两种方式。强同步复制要求用户的写请求同步到所有备副本才可以返回成功；可以保证主备副本之间的强一致性，但是也可能阻塞存储***的正常写服务，影响***可用性。异步复制时，主副本不需要等待备副本的回应，只需要本地修改成功就可以告知客户端写操作成功；可用性相对较好，但是数据一致性得不到保障，如果主副本发生不可恢复故障，则可能丢失最后一部分数据。
在一种实施方式中，异构平台具体用于：在与存储服务端中的任意存储服务器通信时，按照当前确定的存储服务器的IP和预设重定向策略选择相应的出端口；预设重定向策略根据IP所属网段和/或数据传输协议确定。
在一种实施方式中，异构平台具体用于：在与存储服务端中的任意存储服务器通信时，根据存储服务端中的各个存储服务器的接收端口的流量大小及资源使用情况、所有出端口的流量大小、安全规则和预设重定向策略选择相应的出端口。
在一种实施方式中，每一异构平台具体用于：若所述本地存储视图中不存在所述可用存储结构，则发送视图申请请求至所述元数据服务端；接收所述元数据服务端根据所述视图申请请求返回的可写存储视图；将所述可写存储视图合并至所述本地存储视图；其中，不同异构平台申请的本地存储视图为全局存储视图的一部分，形成分布式存储视图。
其中，关于本实施例中相关内容更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种数据处理***，能够解决***访问瓶颈，提高访问效率和性能。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (19)

1.一种数据处理方法，其特征在于，应用于异构平台，所述异构平台与客户端、元数据服务端和存储服务端通信连接；所述异构平台包括：控制芯片和集成电路；包括：
接收所述客户端发送的数据处理请求；
若所述数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并利用所述控制芯片对所述客户端的IP信息和所述可用存储结构的结构信息中的元数据信息进行哈希计算，得到哈希结果，拼接所述哈希结果和所述结构信息中的存储单元位置信息，得到操作标识符；所述本地存储视图从所述元数据服务端预先获得；
若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器；
其中，从所述本地存储视图中选择能够存储大于所述目标数据的数据量的目标存储单元形成所述可用存储结构；所述可用存储结构包括的每一空闲目标存储块包括：属于不同存储服务器的多个目标存储单元。
2.根据权利要求1所述的方法，其特征在于，所述在本地存储视图中确定可用存储结构，包括：
根据所述目标数据的数据量在所述本地存储视图中选择空闲的目标存储单元；
构建多个目标存储块；每一目标存储块包括：属于不同存储服务器的多个目标存储单元；
构建包括所述目标存储块的所述可用存储结构；
生成包括所述目标存储块的块信息的所述结构信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，包括：
将所述目标存储块添加至正在使用队列；
在所述正在使用队列中确定所述目标存储块；
根据所述目标存储块的块信息确定所述存储服务器。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标数据存储至所述存储服务器之后，还包括：
将所述目标存储块中已存数据的存储单元添加至已用队列，将所述目标存储块中未存数据的存储单元回收至可用队列；
将所述目标存储块中已存数据的存储单元的地址发送至所述元数据服务端，以使所述元数据服务端标记该存储单元为已使用；
从所述正在使用队列中删除所述目标存储块。
5.根据权利要求1所述的方法，其特征在于，所述根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器，包括：
对所述目标数据进行纠删计算；
根据所述结构信息为纠删计算后的数据在所述存储服务端确定相应的存储服务器，并将纠删计算后的数据存储至该存储服务器。
6.根据权利要求1所述的方法，其特征在于，所述异构平台包括控制芯片和集成电路；
相应地，所述若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器，包括：
利用所述集成电路对所述操作标识符进行校验，并在校验通过后根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，将所述目标数据存储至所述存储服务器。
7.根据权利要求6所述的方法，其特征在于，所述利用所述集成电路对所述操作标识符进行校验，包括：
所述集成电路判断自身生成的操作标识符与所述控制芯片生成的操作标识符是否一致；
若一致，则确定所述操作标识符校验通过；否则，确定所述操作标识符校验不通过，并生成操作标识符的错误提示消息。
8.根据权利要求1所述的方法，其特征在于，还包括：
按照预设安全策略判断所述数据处理请求的请求信息是否危险；所述请求信息包括：源端口、源IP、协议类型和/或操作行为；
若是，则为所述数据处理请求添加危险标记，并拦截所述数据处理请求；
若否，则判断所述数据处理请求的类型，所述类型包括：存储请求、读请求和复制请求。
9.根据权利要求1所述的方法，其特征在于，还包括：
若所述数据处理请求为读请求，则将所述读请求转发至所述元数据服务端；
接收所述元数据服务端返回的读地址信息；
根据所述读地址信息从所述存储服务端读取相应数据。
10.根据权利要求1所述的方法，其特征在于，还包括：
若所述数据处理请求为复制请求，则将所述复制请求转发至所述元数据服务端；
接收所述元数据服务端返回的复制地址信息；
根据所述复制地址信息从所述存储服务端读取相应数据，将所读取的数据作为所述目标数据，并执行在本地存储视图中确定可用存储结构，并根据所述客户端的客户端信息和所述可用存储结构的结构信息生成操作标识符；若所述操作标识符校验通过，则根据所述结构信息为所述目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器的步骤。
11.根据权利要求10所述的方法，其特征在于，所述异构平台为多个；
相应地，还包括：
若所述复制请求要求复制多份，则利用多个异构平台并行复制多份。
12.根据权利要求10所述的方法，其特征在于，还包括：
若复制的目的存储服务器和源存储服务器为同一个，发送通知至该存储服务器，以使该存储服务器自主进行复制。
13.根据权利要求1至12任一项所述的方法，其特征在于，还包括：
在与所述存储服务端中的任意存储服务器通信时，按照当前确定的存储服务器的IP和预设重定向策略选择相应的出端口；所述预设重定向策略根据IP所属网段和/或数据传输协议确定。
14.根据权利要求1至12任一项所述的方法，其特征在于，还包括：
在与所述存储服务端中的任意存储服务器通信时，根据所述存储服务端中的各个存储服务器的接收端口的流量大小及资源使用情况、所有出端口的流量大小、安全规则和预设重定向策略选择相应的出端口。
15.根据权利要求1至12任一项所述的方法，其特征在于，所述异构平台为多个，每一异构平台申请本地存储视图的过程包括：
若所述本地存储视图中不存在所述可用存储结构，则发送视图申请请求至所述元数据服务端；
接收所述元数据服务端根据所述视图申请请求返回的可写存储视图；
将所述可写存储视图合并至所述本地存储视图；
其中，不同异构平台申请的本地存储视图为全局存储视图的一部分，形成分布式存储视图。
16.一种数据处理装置，其特征在于，应用于异构平台，所述异构平台与客户端、元数据服务端和存储服务端通信连接；所述异构平台包括：控制芯片和集成电路；包括：
接收模块，用于接收所述客户端发送的数据处理请求；
确定模块，用于若所述数据处理请求为存储请求，则在本地存储视图中确定可用存储结构，并利用所述控制芯片对所述客户端的IP信息和所述可用存储结构的结构信息中的元数据信息进行哈希计算，得到哈希结果，拼接所述哈希结果和所述结构信息中的存储单元位置信息，得到操作标识符；所述本地存储视图从所述元数据服务端预先获得；
存储模块，用于若所述操作标识符校验通过，则根据所述结构信息为所述存储请求需存储的目标数据在所述存储服务端确定相应的存储服务器，并将所述目标数据存储至所述存储服务器；
其中，从所述本地存储视图中选择能够存储大于所述目标数据的数据量的目标存储单元形成所述可用存储结构；所述可用存储结构包括的每一空闲目标存储块包括：属于不同存储服务器的多个目标存储单元。
17.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至15任一项所述的方法。
18.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至15任一项所述的方法。
19.一种数据处理***，其特征在于，包括：客户端、包括多个异构平台的硬件执行端、元数据服务端和存储服务端；所述异构平台基于数据面编程语言实现如权利要求1至15任一项所述的方法。
CN202311034910.7A 2023-08-17 2023-08-17 一种数据处理方法、装置、设备、介质及*** Active CN116760850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311034910.7A CN116760850B (zh) 2023-08-17 2023-08-17 一种数据处理方法、装置、设备、介质及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311034910.7A CN116760850B (zh) 2023-08-17 2023-08-17 一种数据处理方法、装置、设备、介质及***

Publications (2)

Publication Number Publication Date
CN116760850A CN116760850A (zh) 2023-09-15
CN116760850B true CN116760850B (zh) 2024-01-12

Family

ID=87961239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311034910.7A Active CN116760850B (zh) 2023-08-17 2023-08-17 一种数据处理方法、装置、设备、介质及***

Country Status (1)

Country Link
CN (1) CN116760850B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023982A (zh) * 2012-11-22 2013-04-03 中国人民解放军国防科学技术大学 一种云存储客户端的低延迟元数据访问方法
CN104283960A (zh) * 2014-10-15 2015-01-14 福建亿榕信息技术有限公司 实现异构网络存储的虚拟化整合及分级管理的***
US9507799B1 (en) * 2009-12-08 2016-11-29 Netapp, Inc. Distributed object store for network-based content repository
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储***及其数据路由方法
CN112988683A (zh) * 2021-02-07 2021-06-18 北京金山云网络技术有限公司 数据处理方法、装置、电子设备及存储介质
WO2021169113A1 (zh) * 2020-02-26 2021-09-02 平安科技（深圳）有限公司 数据管理方法、装置、计算机设备和存储介质
CN114827145A (zh) * 2022-04-24 2022-07-29 阿里巴巴（中国）有限公司 服务器集群***、元数据的访问方法及装置
CN115484276A (zh) * 2022-08-24 2022-12-16 国家气象信息中心(中国气象局气象数据中心) 一种基于虚拟数据湖的气象数据文件目录服务生成方法及***
CN116436962A (zh) * 2023-03-31 2023-07-14 之江实验室 面向dfs的全局聚合命名空间下跨计算节点的持久性缓存方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8819208B2 (en) * 2010-03-05 2014-08-26 Solidfire, Inc. Data deletion in a distributed data storage system
US8533231B2 (en) * 2011-08-12 2013-09-10 Nexenta Systems, Inc. Cloud storage system with distributed metadata
US20150106468A1 (en) * 2012-05-17 2015-04-16 Nec Corporation Storage system and data access method
US10223035B2 (en) * 2015-08-28 2019-03-05 Vmware, Inc. Scalable storage space allocation in distributed storage systems
CN106850710B (zh) * 2015-12-03 2020-02-28 杭州海康威视数字技术股份有限公司 一种数据云存储***、客户终端、存储服务器及应用方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507799B1 (en) * 2009-12-08 2016-11-29 Netapp, Inc. Distributed object store for network-based content repository
CN103023982A (zh) * 2012-11-22 2013-04-03 中国人民解放军国防科学技术大学 一种云存储客户端的低延迟元数据访问方法
CN104283960A (zh) * 2014-10-15 2015-01-14 福建亿榕信息技术有限公司 实现异构网络存储的虚拟化整合及分级管理的***
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储***及其数据路由方法
WO2021169113A1 (zh) * 2020-02-26 2021-09-02 平安科技（深圳）有限公司 数据管理方法、装置、计算机设备和存储介质
CN112988683A (zh) * 2021-02-07 2021-06-18 北京金山云网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN114827145A (zh) * 2022-04-24 2022-07-29 阿里巴巴（中国）有限公司 服务器集群***、元数据的访问方法及装置
CN115484276A (zh) * 2022-08-24 2022-12-16 国家气象信息中心(中国气象局气象数据中心) 一种基于虚拟数据湖的气象数据文件目录服务生成方法及***
CN116436962A (zh) * 2023-03-31 2023-07-14 之江实验室 面向dfs的全局聚合命名空间下跨计算节点的持久性缓存方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Metadata Management for Distributed Multimedia Storage System;Ling Zhan等;《2008 International Symposium on Electronic Commerce and Security》;全文 *
SAN文件***模型及实现方法;刘跃军;河南科技大学学报(自然科学版)(04);全文 *
可扩展的分布式元数据管理***设计;黄秋兰;程耀东;杜然;陈刚;;计算机工程(05);全文 *
集群多媒体存储***的两级元数据管理;万继光;詹玲;;小型微型计算机***(04);全文 *

Also Published As

Publication number Publication date
CN116760850A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US10700979B2 (en) Load balancing for a virtual networking system
US11088944B2 (en) Serverless packet processing service with isolated virtual network integration
US9535871B2 (en) Dynamic routing through virtual appliances
US9454392B2 (en) Routing data packets between virtual machines using shared memory without copying the data packet
US9363172B2 (en) Managing a configurable routing scheme for virtual appliances
US9880870B1 (en) Live migration of virtual machines using packet duplication
US9264495B2 (en) Apparatus and methods for handling network file operations over a fibre channel network
US11095716B2 (en) Data replication for a virtual networking system
US10666503B1 (en) Network connection and termination system
CN113326101B (zh) 基于远程直接数据存储的热迁移方法、装置及设备
US11947425B2 (en) Storage volume snapshot object management
US11461123B1 (en) Dynamic pre-copy and post-copy determination for live migration between cloud regions and edge locations
US10652094B2 (en) Network traffic management for virtualized graphics devices
US10692168B1 (en) Availability modes for virtualized graphics processing
US11662928B1 (en) Snapshot management across cloud provider network extension security boundaries
US11734038B1 (en) Multiple simultaneous volume attachments for live migration between cloud regions and edge locations
US11296981B2 (en) Serverless packet processing service with configurable exception paths
CN110795209B (zh) 一种控制方法和装置
CN116760850B (zh) 一种数据处理方法、装置、设备、介质及***
US20220141080A1 (en) Availability-enhancing gateways for network traffic in virtualized computing environments
US11809735B1 (en) Snapshot management for cloud provider network extensions
US11573839B1 (en) Dynamic scheduling for live migration between cloud regions and edge locations
US10848418B1 (en) Packet processing service extensions at remote premises
US10223019B1 (en) Policy-driven volume expansion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant