CN107423301B - 一种数据处理的方法、相关设备及存储*** - Google Patents

一种数据处理的方法、相关设备及存储*** Download PDF

Info

Publication number
CN107423301B
CN107423301B CN201610348463.6A CN201610348463A CN107423301B CN 107423301 B CN107423301 B CN 107423301B CN 201610348463 A CN201610348463 A CN 201610348463A CN 107423301 B CN107423301 B CN 107423301B
Authority
CN
China
Prior art keywords
data
scheduling information
written
storage
information corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610348463.6A
Other languages
English (en)
Other versions
CN107423301A (zh
Inventor
单卫华
李嘉
董阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610348463.6A priority Critical patent/CN107423301B/zh
Priority to PCT/CN2016/105944 priority patent/WO2017201984A1/zh
Publication of CN107423301A publication Critical patent/CN107423301A/zh
Priority to US16/102,281 priority patent/US10552089B2/en
Application granted granted Critical
Publication of CN107423301B publication Critical patent/CN107423301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据处理的方法、相关设备及存储***，用于提高数据存储的灵活性。数据处理的方法包括：第一存储管理设备接收第一主机生成的写数据请求，第一主机设置有第一存储管理设备；第一存储管理设备根据写数据请求，写数据请求包括待写入数据，确定写数据请求对应的调度信息，写数据请求对应的调度信息指示分布式存储池，或第一主机的本地存储设备；第一存储管理设备根据写数据请求对应的调度信息，处理待写入数据。本发明实施例还提供了一种存储管理设备、计算设备和存储***，用于提高数据存储的灵活性。

Description

一种数据处理的方法、相关设备及存储***
技术领域
本发明涉及计算机领域，尤其涉及一种数据处理的方法、相关设备及存储***。
背景技术
随着信息技术的飞速发展，数据呈现出爆发式增长，目前已经步入了海量数据的时代。传统的数据存储方式已经不能再满足当前的存储现状。大数据云化为海量数据存储提供了解决方案。目前，国内外云存储技术发展迅速，比较有代表性的存储技术。例如，Hadoop分布式文件***(Hadoop distributed file system，缩写：HDFS)和亚马逊AmazonS3等。其中，HDFS存储是由计算机网络与节点组成的集群文件***集合在一起，将文件分片打散到各节点，支持数据的节点存储，客户端通过网络连接访问远端存储，若有高每秒进行读写操作的次数(input/output operations per second，缩写：I/OPS)需求，则性能较差。Amazon S3存储为外置存储，吞吐量较大。若大数据的应用场景下，性能较差。
通常的方法中，每种存储技术具有各自的存储架构，数据处理不灵活，对应不同的应用场景适应性能较差。
发明内容
本发明实施例提供了一种数据处理的方法、相关深及存储管理设备，能够支持多种应用场景，适应性强，提高数据存储的灵活性。
第一方面，本发明实施例提供一种数据处理的方法，该方法应用于存储***，该存储***中包括多个主机，每个主机设置有本地存储设备、分布式存储设备和存储管理设备。每个主机的存储介质可以分为两个部分，一个部分可以为该主机的本地存储设备，另一个部分可以为分布式存储设备，每个主机的分布式存储设备用于形成每个主机共享的分布式存储池。其中，第一主机为多个主机中的一个，第一存储管理设备为设置于第一主机中的存储管理设备。那么，该数据处理的方法包括：第一存储管理设备接收第一主机生成的写数据请求，第一主机可以包括第一虚拟机，第一存储管理设备也可以接收第一虚拟机的写数据请求。第一存储管理设备根据写数据请求，确定写数据请求对应的调度信息，其中，该写数据请求包括待写入数据，该调度信息用于指示待写入数据的存储资源，该存储资源可以理解为待写入数据的存储位置。该调度信息可以指示该待写入数据的存储位置为分布式存储池，或第一主机的本地存储设备。然后，第一存储管理设备可以根据写数据请求对应的调度信息，处理待写入数据，处理待写入数据包括将待写入数据存储至第一主机的本地存储设备和/或分布式存储池。
本发明实施例中，调度信息可以指示待写入数据的存储位置为本地存储设备和/或分布式存储池，存储管理设备确定了该写数据请求对应的调度信息，可以根据该调度信息对待写入数据进行处理。极大的提高了待写入数据存储的灵活性，更加灵活的适用多种应用场景。
在一种可能实现的方式中，该第一主机或者该第一主机的第一虚拟机中挂载有多种不同类型的逻辑卷。第一存储管理设备管理多种类型的逻辑卷，该多种类型的逻辑卷包括本地存储卷和分布式存储卷。第一存储管理设备还存储有每种逻辑卷对应的调度信息。其中，本地存储卷对应的调度信息指示待写入数据的存储资源为第一主机的本地存储设备，而分布式存储卷对应的调度信息指示待写入数据的存储资源为分布式存储池。第一存储管理设备确定写数据请求对应的调度信息可以具体为：第一存储管理设备确定写数据请求对应的逻辑卷，然后，获取写数据请求对应的该种逻辑卷所对应的调度信息。
本发明实施例中，由于虚拟机挂载有多种类型的逻辑卷，第一存储管理设备可以根据不同类型的逻辑卷所对应的调度信息对待写入数据进行对应的处理。因此，本发明可以更加灵活的适用多种应用场景。例如，桌面云场景和大数据场景等。大数据可以是企业自身积累的数据，社交媒体产生的数据，感知设备采集的数据。由于数据量较大，大数据更适合存储在本地存储区，相对于分布式存储和外置存储，极大的较少了网络开销，满足大数据大吞吐量需求，减少延时，提高数据处理效率。因此，优选的，本地存储卷可以作为数据存储卷。桌面云场景中，满足桌面云高I/OPS需求，数据更适合分布式存储。因此，优选的，分布式存储卷可以作为操作***卷。既能满足高I/OPS需求，又能满足大吞吐量，节省网络资源的需求。
在另一种可能实现的方式中，多种逻辑卷还可以包括混合存储卷，该混合存储卷对应的调度信息指示待写入数据的存储资源为第一主机的本地存储设备和分布式存储池。调度信息还用于指示待写入数据的副本数量，本地存储卷对应的调度信息指示的副本数量为第一副本数量，分布式存储卷对应的调度信息指示的副本数量为第二副本数量，混合存储卷对应的调度信息指示的副本数量为第三副本数量，第三副本数量为大于或等于2的整数。第一存储管理设备根据写数据请求对应的调度信息，处理待写入数据的具体方法可以为：若写数据请求对应的调度信息指示存储资源为第一主机的本地存储设备，那么，第一存储管理设备将数量为第一副本数量的待写入数据的副本存入第一主机的本地存储设备。若当写数据请求对应的调度信息指示分布式存储池，那么，第一存储管理设备将数量为第二副本数量的待写入数据的副本存入分布式存储池。若写数据请求对应的调度信息指示第一主机的本地存储设备和分布式存储池，那么，第一存储管理设备将待写入数据的1个副本存入第一主机的本地存储设备，将待写入数据的N个副本存入分布式存储池；N为第三副本数量减1，N为正整数。
在另一种可能实现的方式中，该写数据请求还携带待写入数据的数据量，第一存储管理设备确定写数据请求对应的逻辑卷具体的方法可以为：第一存储管理设备根据待写入数据的数据量，确定写数据请求对应的逻辑卷。当待写入数据的数据量小于或者等于第一门限时，第一存储管理设备根据该数据量确定卷的类型为分布式存储卷。当数据量大于第一门限且小于或者等于第二门限时，第一存储管理设备根据该数据量确定卷的类型为混合存储卷。当数据量大于第二门限时，存储管理设备根据数据量确定逻辑卷的类型为本地存储卷。
本发明实施例中，第一存储管理设备根据待写入数据的数据量动态确定逻辑卷的类型，从而可以根据不同应用场景的特点动态的确定逻辑卷的类型，增强了适应性和实用性。
在另一种可能实现的方式中，第一存储管理设备还可以获取第一主机的本地存储设备的负载信息和分布式存储池的负载信息。该负载信息为本地存储设备和分布式存储池中存储的数据量的大小及数据分布情况等信息。第一存储管理设备确定写数据请求对应的不同类型的逻辑卷的具体方法可以为：第一存储管理设备根据接收到的写数据请求获取第一主机的本地存储设备的负载信息和分布式存储池的负载信息。第一存储管理设备根据第一主机的本地存储设备的负载信息和分布式存储池的负载信息，确定写数据请求对应的逻辑卷。
本发明实施例中，可以根据存储资源的负载信息灵活的确定卷的类型，也就是可以灵活的确定数据的存储资源，极大的提高了数据存储的灵活性。
在另一种可能实现的方式中，所述写数据请求还携带所述待写入数据对应的卷信息；第一存储管理设备确定所述写数据请求对应的逻辑卷包括：第一存储管理设备根据所述待写入数据对应的卷信息，确定写数据请求对应的逻辑卷。其中，该写数据请求的预留字段和新增字段可以携带卷信息，该卷信息用于指示逻辑卷的类型。该卷信息可以为卷的元信息，该元信息为不同类型逻辑卷的描述信息；该卷信息可以为不同类型逻辑卷的逻辑地址，或者可以为不同类型的逻辑卷所对应的索引。
在另一种可能实现的方式中，该写数据请求还携带待写入数据的数据量；第一存储管理设备确定写数据请求对应的调度信息的具体方法可以为：第一存储管理设备根据待写入数据的数据量，确定写数据请求对应的调度信息。当数据量小于或者等于第一门限时，存储管理设备根据待写入数据的数据量确定的调度信息为：对应的存储资源为本地存储设备。当数据量大于第一门限且小于或者等于第二门限时，存储管理设备根据数据量确定的调度信息为对应的副本数量为3个，对应的存储资源为分布式存储池。当数据量大于第二门限时，存储管理设备根据数据量确定的调度信息为：本地存储设备和分布式存储池。
在另一种可能实现的方式中，第一存储管理设备还获取第一主机的本地存储设备的负载信息和分布式存储池的负载信息。第一存储管理设备确定写数据请求对应的调度信息具体方法可以为：第一存储管理设备根据第一主机的本地存储设备的负载信息和分布式存储池的负载信息，确定写数据请求对应的调度信息。
本发明实施例中，调度信息可以指示待写入数据的存储位置为本地存储设备和/或分布式存储池，存储管理设备动态确定了该写数据请求对应的调度信息，可以根据该调度信息对待写入数据进行处理。极大的提高了待写入数据存储的灵活性，更加灵活的适用多种应用场景。
在另一种可能实现的方式中，写数据请求对应的调度信息还包括待写入数据的第四副本数量，第四副本数量为大于或等于2的整数；若写数据请求对应的调度信息指示待写入数据的存储资源为第一主机的本地存储设备，那么，第一存储管理设备将数量为第四副本数量的待写入数据的副本存入第一主机的本地存储设备。若写数据请求对应的调度信息指示待写入数据的存储资源为分布式存储池，那么，将将数量为第四副本数量的待写入数据的副本存入分布式存储池。若写数据请求对应的调度信息指示待写入数据的存储资源为第一主机的本地存储设备和分布式存储池，那么，第一存储管理设备将待写入数据的1个副本存入第一主机的本地存储设备，将待写入数据的M个副本存入分布式存储池，M为第四副本数量减1，M为正整数。本发明实施例中，为了保证待写入数据的安全性，调度信息还用于指示待写入数据的副本数量，副本数量可以根据具体的实际应用情况进行灵活配置，增强了使用性。
第二方面，本发明实施例提供了一种存储管理设备，具有实现上述第一方面实际中存储管理设备所执行的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面，本发明实施例提供了一种主机，包括处理器、本地存储设备、分布式存储设备和存储器和总线；处理器、本地存储设备、分布式存储设备和存储器通过总线连接；分布式存储设备，用于和其他主机的分布式存储设备形成主机和其他主机共享的分布式存储池；其中，存储器用于存储程序指令。处理器执行程序指令，用于执行如下步骤：接收写数据请求；根据写数据请求，写数据请求包括待写入数据，确定写数据请求对应的调度信息，写数据请求对应的调度信息指示分布式存储池，或本地存储设备；根据写数据请求对应的调度信息，处理待写入数据。
在一种可能的实现方式中，主机管理多种逻辑卷，多种逻辑卷包括本地存储卷和分布式存储卷，主机还存储有每种逻辑卷对应的调度信息，其中本地存储卷对应的调度信息指示本地存储设备，分布式存储卷对应的调度信息指示分布式存储池；确定写数据请求对应的调度信息具体可以为：确定写数据请求对应的逻辑卷，获取写数据请求对应的逻辑卷对应的调度信息。
在一种可能的实现方式中，多种逻辑卷还包括混合存储卷，混合存储卷对应的调度信息指示本地存储设备和分布式存储池，本地存储卷对应的调度信息还包括第一副本数量，分布式存储卷对应的调度信息还包括第二副本数量，混合存储卷对应的调度信息还包括第三副本数量，第三副本数量为大于或等于2的整数；根据写数据请求对应的调度信息，处理待写入数据具体可以为：若写数据请求对应的调度信息指示本地存储设备，将数量为第一副本数量的待写入数据的副本存入本地存储设备。若写数据请求对应的调度信息指示分布式存储池，将数量为第二副本数量的待写入数据的副本存入分布式存储池；若写数据请求对应的调度信息指示本地存储设备和分布式存储池，将待写入数据的1个副本存入本地存储设备，将待写入数据的N个副本存入分布式存储池；N为第三副本数量减1，N为正整数。
在一种可能的实现方式中，该写数据请求还携带待写入数据的数据量；确定写数据请求对应的逻辑卷具体可以为：根据待写入数据的数据量，确定写数据请求对应的逻辑卷。
在一种可能的实现方式中，该处理器还用于获取本地存储设备的负载信息和分布式存储池的负载信息。确定写数据请求对应的逻辑卷具体可以为：根据本地存储设备的负载信息和分布式存储池的负载信息，确定写数据请求对应的逻辑卷。
在一种可能的实现方式中，该写数据请求还携带待写入数据的数据量；确定写数据请求对应的调度信息具体可以为：根据待写入数据的数据量，确定写数据请求对应的调度信息。
在一种可能的实现方式中，处理器还用于获取本地存储设备的负载信息和分布式存储池的负载信息；确定写数据请求对应的调度信息的方法具体可以为：根据本地存储设备的负载信息和分布式存储池的负载信息，确定写数据请求对应的调度信息。
在一种可能的实现方式中，写数据请求对应的调度信息还包括待写入数据的第四副本数量，第四副本数量为大于或等于2的整数。若写数据请求对应的调度信息指示本地存储设备，将数量为第四副本数量的待写入数据的副本存入本地存储设备。若写数据请求对应的调度信息指示分布式存储池，将数量为第四副本数量的待写入数据的副本存入分布式存储池。若写数据请求对应的调度信息指示本地存储设备和分布式存储池，将待写入数据的1个副本存入本地存储设备，将待写入数据的M个副本存入分布式存储池，M为第四副本数量减1，M为正整数。
第四方面，本发明实施例提供了一种存储介质，该存储介质中存储了程序代码，该程序代码被上述第三方面的主机运行时，执行第一方面或第一方面的任意一种实现方式提供的数据处理方法。该存储介质包括但不限于快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(英文：solid state drive，缩写：SSD)。
第五方面，本发明实施例提供了一种存储***，该***包括多个如第三方面或第三方面任意一种实现方式提供的主机，每个主机之间建立通信连接。
附图说明
图1为本发明实施例中存储***的示意图；
图2为本发明实施例中数据处理的方法的一个实施例的示意图；
图3为本发明实施例中数据处理的方法的另一个实施例的示意图；
图4为本发明实施例中数据处理的方法的另一个实施例的示意图；
图5为本发明实施例中存储管理设备的一个实施例的结构示意图；
图6为本发明实施例中存储管理设备的另一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种数据调度的方法及存储管理设备，用于提高数据操作的灵活性和适应性。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供了一种数据处理的方法，该方法应用于一种存储***，请参阅图1所示的存储***100的示意图，存储***100中包括多个主机110，每个主机110设置有本地存储设备120、分布式存储设备130和存储管理设备140，每个主机110的分布式存储设备130用于形成每个主机共享的分布式存储池150。存储管理设备140可以接收主机110生成的数据处理请求，存储管理设备140根据数据处理请求确定调度信息，该调度信息用于指示本地存储设备130和分布式存储池150。存储管理设备140根据调度信息对待写入数据进行对应的处理。
该存储管理设备140可以为运行于每个主机上的软件实体，例如fusionstorage。如图6所示的主机运行时，实现该存储管理设备140。本地存储设备120和分布式存储设备130可以理解为主机中的存储介质。例如，将存储介质分为两个部分，存储介质包括固态硬盘(solid state drives，缩写：SSD)、磁盘等。这里的存储介质以磁盘为例进行说明。其中，一部分为本地存储设备，另一个部分为分布式存储设备。例如，主机中包括三个物理磁盘。第一磁盘、第二磁盘和第三磁盘。本地存储设备包括第一磁盘和“第二磁盘的三分之一”部分，分布式存储设备包括第三磁盘和“第二磁盘的三分之二”部分。或者，本地存储设备120和分布式存储设备130也可以为独立的存储设备，如本地存储设备为第一磁盘，分布式存储设备130为第二磁盘。需要说明的是，上述只是对本地存储设备和分布式存储设备的举例说明，而并非限定性说明，在实际应用中，本发明此处不限定。
每个主机中挂载多种类型的逻辑卷。存储管理设备140管理该多种类型的逻辑卷。可选的，主机还可以包括W个虚拟机160(virtual machine，缩写：VM)，W为正整数。W个虚拟机通过虚拟化技术实现在主机中。多种类型的逻辑卷也可以挂载在虚拟机中。在实际应用中，主机中是否根据虚拟化技术得到虚拟机，本发明不限定。本发明实施例中，可以以主机包括虚拟机为例进行说明。
本发明实施例中的多种逻辑卷包括本地存储卷、分布式存储卷和混合存储卷。每种类型的逻辑卷与数据的调度信息具有对应关系，调度信息可以用于指示数据的副本数量和存储资源，存储资源可以理解为数据的存储位置。存储资源包括本地存储设备和分布式存储池。存储管理设备可以采用分布式哈希表(distribute hash table，缩写：DHT)路由数据算法，对分布式存储池中的每个存储节点实现待写入数据的寻址和存储。
下面根据不同的存储资源对多种逻辑卷进行举例说明。例如，逻辑卷包括本地存储卷、分布式存储卷和混合存储卷。每种类型的逻辑卷所对应的副本数量和存储资源如下表1所示：
表1
Figure BDA0000998467320000091
由上述表1可以看出，本地存储卷：数据的存储位置配置为本地存储设备，对应的副本数量为第一副本数量。例如，第一副本数量可以为1个。
分布式存储卷：数据的存储位置配置为分布式存储池。对应的副本数量为第二副本数量。例如，第二副本数量可以为3个。
混合存储卷：对应的副本数量为第三副本，第三副本数量为大于或等于2的整数。数据的存储位置优先为本地存储设备，为了提高数据的安全性，可以将其他副本存储在分布式存储池。例如，数据的1个副本的存储位置配置为本地存储设备，将N个副本存储位置配置为分布式存储池，N为第三副本的数量减1。
需要说明的是，上述表1中的三种不同类型的逻辑卷，及每种逻辑卷对应的副本数量和存储资源进行举例说明，而并非限制性说明，对于逻辑卷的类型及对应的副本数量和存储资源，在实际应用中，可以根据不同的应用场景和实际需要进行相应配置，本发明此处不做限制。
本发明实施例中，由于虚拟机挂载有多种类型的逻辑卷，存储管理设备可以根据不同类型的逻辑卷所对应的调度信息对待写入数据进行对应的操作。因此，本发明可以更加灵活的适用多种应用场景。例如，桌面云场景和大数据场景等。
大数据可以是企业自身积累的数据，社交媒体产生的数据，感知设备采集的数据。由于数据量较大，大数据更适合存储在本地存储区，相对于分布式存储和外置存储，极大的较少了网络开销，满足大数据大吞吐量需求，减少延时，提高数据处理效率。因此，优选的，本地存储卷可以作为数据存储卷。
桌面云能够为企业用户提供托管式桌面服务，桌面云通过网络访问的方式进入数据中心，远程接入，为企业提供灵活的数据处理能力。在一些企业的工作环境中，工作人员往往需要同时使用多个桌面***，常见的原因是不同的企业业务***无法安装在同一个桌面环境中，桌面云提供的托管桌面***可以让用户在一个浏览器界面中，同时访问不同的后台桌面***，并可以在不同***间灵活切换，用户读写操作次数较多。在桌面云应用场景下，满足桌面云高I/OPS需求，数据更适合分布式存储。因此，优选的，分布式存储卷可以作为操作***卷。
本发明实施例中，可以以桌面云和大数据应用场景为例进行说明，但是在实际应用中，本发明并不限定这两种应用场景。
第一主机为多个主机中的一个，第一主机中设置有第一存储管理设备，本发明实施例中以第一主机和第一存储管理设备为例进行说明。本发明实施例中的主机为“第一主机”。本发明实施例中的存储管理设备为“第一存储管理设备”。本发明实施例中的虚拟机为第一主机中的虚拟机。以下不再重复解释。
当主机或虚拟机接收到用户的数据处理请求时，该主机的存储管理设备可以根据逻辑卷的类型确定调度信息，再根据调度信息对数据进行对应的处理。请参阅图2所示，本发明实施例提供了一种数据调度的方法的一个实施例包括：
步骤201、存储管理设备接收写数据请求，该写数据请求包括待写入数据。
本发明实施例中，主机生成虚拟机，虚拟机生成写数据请求，虚拟机将该写数据请求发送给存储管理设备，存储管理设备接收该写数据请求，写数据请求包括待写入数据。该写数据请求的预留字段和新增字段可以携带卷信息，该卷信息与不同类型逻辑卷具有对应关系，该卷信息用于指示逻辑卷的类型。例如，该卷信息可以为卷的元信息，该元信息为不同类型逻辑卷的描述信息；该卷信息具体的还可以为不同类型卷的逻辑地址，或者可以为不同类型的逻辑卷所对应的索引。
可选的，该写数据请求还可以携带待写入数据的数据量，该待写入数据的数据量指需要写入数据的大小。例如，数据量可以为1TB，10TB，15TB等等。
步骤202、存储管理设备根据写数据请求确定对应的逻辑卷的类型。
本发明实施例中，不同类型的逻辑卷可以为本地存储卷、分布式存储卷和混合存储卷。
在一种可能的实现方式中，当写数据请求携带卷信息时，存储管理设备可以根据卷信息确定逻辑卷的类型。
在另一种可能的实现方式中，当写数据请求携带了待写入数据的数据量时，存储管理设备根据该数据量动态确定卷的类型。例如，该数据量与逻辑卷的类型有如下对应关系：
表2
数据量 卷的类型
a≤第一门限 分布式存储卷
第一门限＜a≤第二门限 混合存储卷
a＞第二门限 本地存储卷
如上述表2中，a为数据量，当数据量小于或者等于第一门限时，第一门限可以为1TB，存储管理设备根据待写入数据的数据量确定卷的类型为分布式存储卷。当数据量大于第一门限且小于或者等于第二门限时，第二门限可以为10TB，存储管理设备根据数据量确定卷的类型为混合存储卷。当数据量大于第二门限时，存储管理设备根据数据量确定逻辑卷的类型为本地存储卷。本发明实施例中，存储管理设备根据待写入数据的数据量动态确定逻辑卷的类型，从而可以根据不同应用场景的特点动态的确定逻辑卷的类型，增强了该存储***的适应性和实用性。需要说明的是，上述门限只是举例说明，而并非限制性说明，在实际应用中，本发明对应此处不限定。
本发明实施例中，可以根据待写入数据的数据量灵活的确定逻辑卷的类型，进而灵活的确定调度信息，极大的提高了数据存储的灵活性。数据存储适应性更强。
在另一种可能实现的方式中，存储管理设备根据主机的本地存储设备的负载信息和分布式存储池的负载信息，确定写数据请求对应的逻辑卷。
该负载信息为存储资源中存储的数据量的大小及数据分布情况等。例如，本地存储设备包括已存储区和未存储区，当存储管理设备获取已存储区的大小已经超过第一阈值时，存储管理设备确定卷的类型为分布式存储卷，即将数据存储至分布式存储池。或者确定逻辑卷的类型为混合存储卷，将数据的1个副本写入本地存储区，将数据的另外两个副本写入分布式存储池。
本发明实施例中，可以根据存储资源的负载信息灵活的确定卷的类型，也就是可以灵活的确定逻辑卷的类型，进而灵活的确定调度信息，极大的提高了数据存储的灵活性。
步骤203、存储管理设备确定写数据请求对应的逻辑卷，获取写数据请求对应的逻辑卷对应的调度信息。
存储管理设备根据逻辑卷的类型及对应关系(如表1所示)确定逻辑卷对应的调度信息。以上述表1中的三种类型的逻辑卷为例进行说明：若存储管理设备确定了逻辑卷的类型为本地存储卷，则本地存储卷对应的调度信息可以为：待写入数据的副本的数量为1个，待写入数据的存储位置为本地存储设备。例如，上层应用副本的数量为3个。那么，待写入数据的副本数量一共为(1×3＝3)3副本。而在传统方式中，若上层应用的副本的数量同样为3个，使用传统方式的分布式存储，传统分布式存储的副本数量为3个，那么数据的一共的副本数量为(3×3＝9)9副本。
本发明实施例中，本地存储卷所对应的数据的副本数量相对于传统方式中数据的副本数量有效的减少，极大的节省了资源，并且数据的可靠性不会降低，可以由上层应用副本作为保障，写性能得到有效改善，数据存储避免了资源浪费。
若存储管理设备确定了逻辑卷的类型为分布式存储卷，则分布式存储卷对应的调度信息可以为：待写入数据的副本数量为3个，数据的存储位置为分布式存储池。
若存储管理设备确定了逻辑卷的类型为混合存储卷，则混合存储卷对应的调度信息可以为：副本数量为3个，其中，1个副本对应的存储资源为本地存储设备，而另2个数据的副本对应的存储资源为分布式存储池。
步骤204、存储管理设备根据调度信息，处理待写入数据。
存储管理设备根据调度信息将数据对应写入存储资源。例如，存储管理设备根据本地存储卷对应的调度信息将数据对应写入该主机的本地存储设备。或者，存储管理设备根据分布式存储卷对应的调度信息可以先将数据写入分布式储存池中的一个分布式存储设备中，再将数据进行复制，将复制后的副本发送到分布式存储池中的其他分布式存储设备中进行存储。优选的，为了数据的安全性，将待写入数据的多个副本写入不同的主机中的分布式存储设备中。或者，存储管理设备根据混合存储卷对应的调度信息将待写入数据的1个副本写入本地存储设备。将(第三副本数量-1)个数据的副本写入分布式存储池。
步骤205、存储管理设备将写入数据的处理结果返回给虚拟机。
本发明实施例中，虚拟机中挂载多种类型的卷，多种类型的卷与调度信息具有对应关系，存储管理设备可以根据写数据请求确定逻辑卷的类型，进而根据不同类型的逻辑卷确定调度信息。存储管理设备根据调度信息将数据写入对应的存储资源。本发明实施例可以支持多种应用场景，适应性强，灵活性强，既能满足高I/OPS需求，又能满足大吞吐量，节省网络资源的需求。
本发明实施例提供了一种数据调度的方法的另一个实施例。本发明实施例中，主机或虚拟机中挂载逻辑卷，该逻辑卷可以不区分具体的类型，存储管理设备接收主机生成的写入数据请求，该写入数据请求包括待写入数据。存储管理设备将待写入数据先存储至该逻辑卷，然后，存储管理设备可以根据写入数据请求动态确定调度信息。该调度信息指示存储资源为本地存储设备和/或分布式存储池。可选的，调度信息还包括待写入数据的副本数量。存储管理设备根据对应的调度信息对待写入数据进行处理。请参阅下表2进行理解。
表2
Figure BDA0000998467320000141
需要说明的是，上表中的第四副本数量是根据存储资源而灵活配置，根据存储资源的不同，第四副本的数量可能不同。例如，当调度信息指示的存储资源为本地存储设备时，第四副本可以为2个，当调度信息指示的存储资源为分布式存储池时，第四副本可以为3个。
下面对一种数据处理的方法的另一个实施例进行具体描述，请参阅图3所示，该实施例包括：
步骤301、存储管理设备接收主机生成的写数据请求。
写数据请求包括待写入数据，该写数据请求还可以携带待写入数据的数据量，该待写入数据的数据量为待写入数据的大小。例如，数据量可以为1TB，10TB，15TB等等。
步骤302、存储管理设备根据写数据请求，确定写数据请求对应的调度信息。
在一种可能的实现方式中，存储管理设备根据写数据请求中携带的数据量确定调度信息。例如，数据量与调度信息的对应关系如下表2所示：
表3
Figure BDA0000998467320000151
如上述表3中，a为数据量，当数据量小于或者等于第一门限时，第一门限可以为1TB，存储管理设备根据待写入数据的数据量确定的调度信息为：对应的副本数量为2个，对应的存储资源为本地存储设备。
当数据量大于第一门限且小于或者等于第二门限时，第二门限可以为10TB，存储管理设备根据数据量确定的调度信息为：对应的副本数量为3个，对应的存储资源为分布式存储池。
当数据量大于第二门限时，存储管理设备根据数据量确定的调度信息为：数据的副本数量为3个。其中，1个副本对应的存储资源为本地存储设备，而另2个数据的副本对应的存储资源为分布式存储池。
需要说明的是，上述门限只是举例说明，而并非限制性说明，在实际应用中，本发明对应此处不限定。
在另一种可能的实现方式中，存储管理设备根据写数据请求获取本地存储设备的负载信息和分布式存储池的负载信息。该负载信息是指存储资源中存储的数据量的大小及数据分布情况等。其中，该存储管理设备获取本地存储设备的负载信息和分布式存储池的负载信息的具体方法可以为：(1)存储管理设备在每次进行数据写入时记录写入数据的数据量及该数据的存储资源(本地存储设备和/或分布式存储池)，当存储管理设备再次接收到写数据请求时，根据历史记录的信息，就可以确定存储设备的负载信息和分布式存储池的负载信息。(2)该存储管理设备还包括本地管理设备和分布式管理设备，该本地管理设备用于管理本地存储设备的数据存储情况，分布式管理设备用于管理分布式存储池的数据存储情况。存储管理设备从本地管理设备获取本地存储设备的负载信息，从分布式管理设备获取分布式存储池的负载信息。
存储管理设备根据获取的本地存储设备的负载信息和分布式存储池的负载信息确定调度信息。具体方法可以为：例如，本地存储设备包括已存储区和未存储区，当存储管理设备确定已存储区的大小已经超过第一阈值时，或者，存储管理设备确定已存储区的大小和待写入数据的数据量之和已经超过第二阈值时，存储管理设备确定的调度信息所对应的存储资源为分布式存储池，并且对应的副本数量为3个。又如，当存储管理设备确定本地存储设备的以存储区的大小大于第三阈值，分布式存储池的已存储区小于第四阈值时，存储管理设备确定的调度信息所对应的存储资源为分布式存储池和本地存储设备，并且对应的副本数量为3个，且待写入数据的1个副本写入本地存储设备，待写入数据的另2个副本写入分布式存储池。需要说明的是，上述负载信息中副本的数量和对应的存储资源为举例子说明，而并非限定性说明，在实际应用中，可以根据具体的应用场景和实际应用情况，进行灵活配置，此处本发明不限定。
步骤303、存储管理设备根据写数据请求对应的调度信息，处理待写入数据。
写数据请求对应的调度信息还包括待写入数据的第四副本数量，第四副本数量为大于或等于2的整数。若写数据请求对应的调度信息指示存储资源为本地存储设备，将数量为第四副本数量(例如，2个)的待写入数据的副本存入本地存储设备。若写数据请求对应的调度信息指示的存储资源为分布式存储池，将数量为第四副本数量(例如，3个)的待写入数据的副本存入分布式存储池。若写数据请求对应的调度信息指示的存储资源为本地存储设备和分布式存储池，第四副本数量为3个，将待写入数据的1个副本存入本地存储设备，将待写入数据的2个副本存入分布式存储池。
步骤304、存储管理设备将写入的处理结果返回给虚拟机。
本发明实施例中，本发明实施例中，调度信息可以指示待写入数据的存储位置为本地存储设备和/或分布式存储池，存储管理设备根据待写入数据的数据量或者“本地存储设备的负载信息和分布式存池的负载信息”动态确定了该写数据请求对应的调度信息，可以根据该调度信息对待写入数据进行处理。极大的提高了待写入数据存储的灵活性，更加灵活的适用多种应用场景。
上述图2和图3对应的为写数据过程的实施例。当然，当数据写入存储资源后，还涉及对写入数据的其他处理。例如，读取数据，删除数据和复制数据等等。下面在上述图2和图3所对应的实施例的基础上，本发明实施例还提供了一种数据处理的方法的另一个实施例，本发明实施例是对读取数据的过程的具体描述。请参阅图4所示，本发明实施例中一种数据处理的方法的另一个实施例包括：
步骤401、存储管理设备接收读数据请求。
主机生成虚拟机，虚拟机生成读数据请求时，虚拟机将该读数据请求发送给存储管理设备，存储管理设备接收该读数据请求。该读数据请求包括待读取数据的相关信息，该相关信息可以为待读取数据的文件头，或者索引，或者待读取数据的数据量等。
步骤402、存储管理设备根据读数据请求确定调度信息。
在一种可能的实现方式中，存储管理设备可以根据读数据请求中的相关信息确定逻辑卷的类型，逻辑卷的类型与调度信息具有对应关系，可以结合图2对应的实施例中步骤202进行理解。存储管理设备根据逻辑卷的类型和该对应关系确定调度信息。具体的请结合图2对应的实施例中的步骤203进行理解。
在另一种可能的实现方式中，由于在数据写入存储资源时，存储管理设备可以记录该数据所对应的调度信息。因此管理设备可以根据读数据请求中的相关信息可以确定待读取数据的调度信息。调度信息指示待读数据存储于本地存储设备和/或分布式存储池。
步骤403、存储管理设备根据调度信息指示的存储资源，从本地存储设备或分布式存储池读取数据。
若调度信息指示该待读取数据的存储资源为本地存储设备，存储管理设备从本地存储设备读取该数据。
若调度信息指示该待读取数据的存储资源为分布式存储池，存储管理设备从分布式存储池读取该数据。
若调度信息指示该待读取数据的存储资源为分布式存储池和本地存储设备，存储管理设备可以优先从本地存储设备读取该数据。
步骤404、存储管理设备将读取数据的处理结果返回给虚拟机。
上面对一种数据处理的方法进行了详细说明，下面对该方法对应的存储管理设备进行具体说明，请参阅图5所示，本发明提供了存储管理设备500的一个实施例包括收发模块501、调度模块502和管理模块503。
收发模块501，用于接收主机生成的写数据请求。可以理解的是，该收发模块501可以为主机或虚拟机中的逻辑接口。
调度模块502，用于根据收发模块接收的写数据请求确定写数据请求对应的调度信息，写数据请求包括待写入数据，写数据请求对应的调度信息指示分布式存储池，或第一主机的本地存储设备。
管理模块503，用于根据写数据请求对应的调度模块确定的调度信息，处理待写入数据。可选的，存储管理设备管理多种逻辑卷，多种逻辑卷包括本地存储卷、分布式存储卷和混合存储卷，存储管理设备还存储有每种逻辑卷对应的调度信息。其中，本地存储卷对应的调度信息指示主机的本地存储设备，分布式存储卷对应的调度信息指示分布式存储池。混合存储卷对应的调度信息指示主机的本地存储设备和分布式存储池。可选的，为了保证数据的安全性，本地存储卷对应的调度信息还包括第一副本数量，分布式存储卷对应的调度信息还包括第二副本数量，混合存储卷对应的调度信息还包括第三副本数量，第三副本数量为大于或等于2的整数。
调度模块502，还用于确定写数据请求对应的逻辑卷，获取写数据请求对应的逻辑卷对应的调度信息。
可选的，管理模块还包括:本地管理单元5031和分布管理单元5032；
本地管理单元5031，用于当写数据请求对应的调度信息指示主机的本地存储设备时，将数量为第一副本数量的待写入数据的副本存入主机的本地存储设备。
分布管理单元5032，用于当写数据请求对应的调度信息指示分布式存储池时，将数量为第二副本数量的待写入数据的副本存入分布式存储池。
当写数据请求对应的调度信息指示该主机的本地存储设备和分布式存储池时，本地管理单元5031将待写入数据的1个副本存入第一主机的本地存储设备，分布管理单元5032将待写入数据的N个副本存入分布式存储池；N为第三副本数量减1，N为正整数。
可选的，调度模块502，还用于根据待写入数据的数据量，确定写数据请求对应的逻辑卷。写数据请求携带待写入数据的数据量。
可选的，调度模块502，还用于获取主机的本地存储设备的负载信息和分布式存储池的负载信息；及根据第一主机的本地存储设备的负载信息和分布式存储池的负载信息，确定写数据请求对应的逻辑卷。
可选的，调度模块502，还用于第一存储管理设备根据待写入数据的数据量，确定写数据请求对应的调度信息。
可选的，调度模块502，还用于获取主机的本地存储设备的负载信息和分布式存储池的负载信息；及根据该主机的本地存储设备的负载信息和分布式存储池的负载信息，确定写数据请求对应的调度信息。
管理模块503还包括本地管理单元5031和分布管理单元5032；
本地管理单元5031，用于当写数据请求对应的调度信息指示主机的本地存储设备时，将数量为第四副本数量的待写入数据的副本存入主机的本地存储设备。
分布管理单元5032，用于当写数据请求对应的调度信息指示分布式存储池，将数量为第四副本数量的待写入数据的副本存入分布式存储池。
当写数据请求对应的调度信息指示该主机的本地存储设备和分布式存储池，本地管理存储设备将待写入数据的1个副本存入主机的本地存储设备，分布管理存储设备将待写入数据的M个副本存入分布式存储池，M为第四副本数量减1，M为正整数。
具体的，收发模块501还用于执行图2、图3和图4对应的实施例中的步骤201、步骤205、步骤301、步骤304、步骤401和步骤404。调度模块502用于执行图2、图3和图4对应的实施例中的步骤202、步骤203、步骤302和步骤303。本地管理单元5031和分布管理单元5032用于执行图2、图3和图4对应的实施例中的步骤204、步骤303和步骤403。本发明实施例在此不再详述。
进一步的，图5中的存储管理设备是以功能模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个简单的实施例中，各模块还可以通过图6中的主机600来实现。
该主机600可以为X86-服务器，大型机，小型机等。图6是本发明实施例提供的一种主机结构示意图。该主机600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)622(例如，一个或一个以上处理器)、收发器660、存储器632，一个或一个以上存储应用程序642或数据的存储介质630(例如一个或一个以上海量存储设备)，其中存储介质630包括本地存储设备735和分布式存储设备636。分布式存储设备636组成多个主机共享的分布式存储池。其中，存储器632可以由易失性存储介质构成，存储介质630可以由非易失性存储介质构成。存储在存储介质732的程序可以包括一个或一个以上模块实现(图示没标出)，每个模块可以包括对主机中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在主机600上执行存储介质632中存储的一系列指令操作。
主机600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，和/或，一个或一个以上操作***641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由存储管理设备所执行的步骤可以基于该图6所示的主机结构。
处理器620执行程序指令，用于使主机执行图2、图3和图4所对应的实施例中存储管理设备所执行的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (31)

1.一种数据处理的方法，其特征在于，该方法应用于存储***，所述存储***中包括多个主机，每个主机设置有本地存储设备、分布式存储设备和存储管理设备，所述每个主机的分布式存储设备用于形成所述每个主机共享的分布式存储池，所述方法包括：
第一存储管理设备接收第一主机生成的写数据请求，所述第一主机设置有所述第一存储管理设备；
所述第一存储管理设备根据所述写数据请求，所述写数据请求包括待写入数据，确定所述写数据请求对应的调度信息，所述写数据请求对应的调度信息指示所述分布式存储池，或所述第一主机的本地存储设备；
所述第一存储管理设备根据所述写数据请求对应的调度信息，处理所述待写入数据。
2.根据权利要求1所述的方法，其特征在于，所述第一存储管理设备管理多种逻辑卷，所述多种逻辑卷包括本地存储卷和分布式存储卷，所述第一存储管理设备还存储有每种逻辑卷对应的调度信息，其中所述本地存储卷对应的调度信息指示所述第一主机的本地存储设备，所述分布式存储卷对应的调度信息指示所述分布式存储池；
所述第一存储管理设备确定所述写数据请求对应的调度信息包括：
所述第一存储管理设备确定所述写数据请求对应的逻辑卷，获取所述写数据请求对应的逻辑卷对应的调度信息。
3.根据权利要求2所述的方法，其特征在于，所述多种逻辑卷还包括混合存储卷，所述混合存储卷对应的调度信息指示所述第一主机的本地存储设备和所述分布式存储池，所述本地存储卷对应的调度信息还包括第一副本数量，所述分布式存储卷对应的调度信息还包括第二副本数量，所述混合存储卷对应的调度信息还包括第三副本数量，所述第三副本数量为大于或等于2的整数；
所述第一存储管理设备根据所述写数据请求对应的调度信息，处理所述待写入数据包括：
若所述写数据请求对应的调度信息指示所述第一主机的本地存储设备，将数量为所述第一副本数量的所述待写入数据的副本存入所述第一主机的本地存储设备；
若所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第二副本数量的所述待写入数据的副本存入所述分布式存储池；
若所述写数据请求对应的调度信息指示所述第一主机的本地存储设备和所述分布式存储池，将所述待写入数据的1个副本存入所述第一主机的本地存储设备，将所述待写入数据的N个副本存入所述分布式存储池；所述N为所述第三副本数量减1，所述N为正整数。
4.根据权利要求2或3所述的方法，其特征在于，所述写数据请求还携带所述待写入数据的数据量；
所述第一存储管理设备确定所述写数据请求对应的逻辑卷包括：
所述第一存储管理设备根据所述待写入数据的数据量，确定所述写数据请求对应的逻辑卷。
5.根据权利要求2或3所述的方法，其特征在于，所述方法包括：所述第一存储管理设备还获取所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息；
所述第一存储管理设备确定所述写数据请求对应的逻辑卷包括：
所述第一存储管理设备根据所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的逻辑卷。
6.根据权利要求4所述的方法，其特征在于，所述方法包括：所述第一存储管理设备还获取所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息；
所述第一存储管理设备确定所述写数据请求对应的逻辑卷包括：
所述第一存储管理设备根据所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的逻辑卷。
7.根据权利要求1所述的方法，其特征在于，所述写数据请求还携带所述待写入数据的数据量；
所述第一存储管理设备确定所述写数据请求对应的调度信息包括：
所述第一存储管理设备根据所述待写入数据的数据量，确定所述写数据请求对应的调度信息。
8.根据权利要求1或7所述的方法，其特征在于，所述方法包括：所述第一存储管理设备还获取所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息；
所述第一存储管理设备确定所述写数据请求对应的调度信息包括：
所述第一存储管理设备根据所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的调度信息。
9.根据权利要求1或7所述的方法，其特征在于，所述写数据请求对应的调度信息还包括所述待写入数据的第四副本数量，所述第四副本数量为大于或等于2的整数；
若所述写数据请求对应的调度信息指示所述第一主机的本地存储设备，将数量为所述第四副本数量的所述待写入数据的副本存入所述第一主机的本地存储设备；
若所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第四副本数量的所述待写入数据的副本存入所述分布式存储池；
若所述写数据请求对应的调度信息指示所述第一主机的本地存储设备和所述分布式存储池，将所述待写入数据的1个副本存入所述第一主机的本地存储设备，将所述待写入数据的M个副本存入所述分布式存储池，所述M为所述第四副本数量减1，所述M为正整数。
10.根据权利要求8所述的方法，其特征在于，所述写数据请求对应的调度信息还包括所述待写入数据的第四副本数量，所述第四副本数量为大于或等于2的整数；
若所述写数据请求对应的调度信息指示所述第一主机的本地存储设备，将数量为所述第四副本数量的所述待写入数据的副本存入所述第一主机的本地存储设备；
若所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第四副本数量的所述待写入数据的副本存入所述分布式存储池；
若所述写数据请求对应的调度信息指示所述第一主机的本地存储设备和所述分布式存储池，将所述待写入数据的1个副本存入所述第一主机的本地存储设备，将所述待写入数据的M个副本存入所述分布式存储池，所述M为所述第四副本数量减1，所述M为正整数。
11.一种存储管理设备，其特征在于，该存储管理设备应用于存储***，所述存储***中包括多个主机，每个主机设置有本地存储设备、分布式存储设备和所述存储管理设备，所述每个主机的分布式存储设备用于形成所述每个主机共享的分布式存储池；
所述存储管理设备包括：
收发模块，用于接收第一主机生成的写数据请求；
调度模块，用于根据所述收发模块接收的写数据请求确定所述写数据请求对应的调度信息，所述写数据请求包括待写入数据，所述写数据请求对应的调度信息指示所述分布式存储池，或所述第一主机的本地存储设备；
管理模块，用于根据所述写数据请求对应的所述调度模块确定的调度信息，处理所述待写入数据。
12.根据权利要求11所述的存储管理设备，其特征在于，所述存储管理设备管理多种逻辑卷，所述多种逻辑卷包括本地存储卷和分布式存储卷，所述存储管理设备还存储有每种逻辑卷对应的调度信息，其中所述本地存储卷对应的调度信息指示所述主机的本地存储设备，所述分布式存储卷对应的调度信息指示所述分布式存储池；
所述调度模块，还用于确定所述写数据请求对应的逻辑卷，获取所述写数据请求对应的逻辑卷对应的调度信息。
13.根据权利要求12所述的存储管理设备，其特征在于，所述多种逻辑卷还包括混合存储卷，所述混合存储卷对应的调度信息指示所述主机的本地存储设备和所述分布式存储池，所述本地存储卷对应的调度信息还包括第一副本数量，所述分布式存储卷对应的调度信息还包括第二副本数量，所述混合存储卷对应的调度信息还包括第三副本数量，所述第三副本数量为大于或等于2的整数；
所述管理模块还包括:本地管理单元和分布管理单元；
所述本地管理单元，用于当所述写数据请求对应的调度信息指示所述主机的本地存储设备时，将数量为所述第一副本数量的所述待写入数据的副本存入所述主机的本地存储设备；
所述分布管理单元，用于当所述写数据请求对应的调度信息指示所述分布式存储池时，将数量为所述第二副本数量的所述待写入数据的副本存入所述分布式存储池；
当所述写数据请求对应的调度信息指示所述第一主机的本地存储设备和所述分布式存储池时，所述本地管理单元将所述待写入数据的1个副本存入所述第一主机的本地存储设备，所述分布管理单元将所述待写入数据的N个副本存入所述分布式存储池；所述N为所述第三副本数量减1，所述N为正整数。
14.根据权利要求12或13所述的存储管理设备，其特征在于，所述写数据请求还携带所述待写入数据的数据量；
所述调度模块，还用于根据所述待写入数据的数据量，确定所述写数据请求对应的逻辑卷。
15.根据权利要求12或13所述的存储管理设备，其特征在于，所述调度模块，还用于获取所述主机的本地存储设备的负载信息和所述分布式存储池的负载信息；及根据所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的逻辑卷。
16.根据权利要求14所述的存储管理设备，其特征在于，所述调度模块，还用于获取所述主机的本地存储设备的负载信息和所述分布式存储池的负载信息；及根据所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的逻辑卷。
17.根据权利要求11所述的存储管理设备，其特征在于，所述写数据请求还携带所述待写入数据的数据量；
所述调度模块，还用于根据所述待写入数据的数据量，确定所述写数据请求对应的调度信息。
18.根据权利要求11或17所述的存储管理设备，其特征在于，所述调度信息，还用于获取所述主机的本地存储设备的负载信息和所述分布式存储池的负载信息；及根据所述第一主机的本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的调度信息。
19.根据权利要求11或17所述的存储管理设备，其特征在于，所述写数据请求对应的调度信息还包括所述待写入数据的第四副本数量，所述第四副本数量为大于或等于2的整数；
所述管理模块还包括本地管理存储设备和分布管理存储设备；
所述本地管理存储设备，用于当所述写数据请求对应的调度信息指示所述主机的本地存储设备时，将数量为所述第四副本数量的所述待写入数据的副本存入所述主机的本地存储设备；
所述分布管理存储设备，用于当所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第四副本数量的所述待写入数据的副本存入所述分布式存储池；
当所述写数据请求对应的调度信息指示所述第一主机的本地存储设备和所述分布式存储池，所述本地管理存储设备将所述待写入数据的1个副本存入所述主机的本地存储设备，所述分布管理存储设备将所述待写入数据的M个副本存入所述分布式存储池，所述M为所述第四副本数量减1，所述M为正整数。
20.根据权利要求18所述的存储管理设备，其特征在于，所述写数据请求对应的调度信息还包括所述待写入数据的第四副本数量，所述第四副本数量为大于或等于2的整数；
所述管理模块还包括本地管理存储设备和分布管理存储设备；
所述本地管理存储设备，用于当所述写数据请求对应的调度信息指示所述主机的本地存储设备时，将数量为所述第四副本数量的所述待写入数据的副本存入所述主机的本地存储设备；
所述分布管理存储设备，用于当所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第四副本数量的所述待写入数据的副本存入所述分布式存储池；
当所述写数据请求对应的调度信息指示所述第一主机的本地存储设备和所述分布式存储池，所述本地管理存储设备将所述待写入数据的1个副本存入所述主机的本地存储设备，所述分布管理存储设备将所述待写入数据的M个副本存入所述分布式存储池，所述M为所述第四副本数量减1，所述M为正整数。
21.一种主机，其特征在于，包括：
处理器、本地存储设备、分布式存储设备、存储器和总线；
所述处理器、所述本地存储设备、所述分布式存储设备和所述存储器通过所述总线连接；
所述分布式存储设备，用于和其他主机的分布式存储设备形成所述主机和所述其他主机共享的分布式存储池；
所述存储器，用于存储程序指令；
所述处理器执行所述程序指令，用于执行如下步骤：
接收写数据请求；
根据所述写数据请求，所述写数据请求包括待写入数据，确定所述写数据请求对应的调度信息，所述写数据请求对应的调度信息指示所述分布式存储池，或所述本地存储设备；
根据所述写数据请求对应的调度信息，处理所述待写入数据。
22.根据权利要求21所述的主机，其特征在于，所述主机管理多种逻辑卷，所述多种逻辑卷包括本地存储卷和分布式存储卷，所述主机还存储有每种逻辑卷对应的调度信息，其中所述本地存储卷对应的调度信息指示所述本地存储设备，所述分布式存储卷对应的调度信息指示所述分布式存储池；
所述确定所述写数据请求对应的调度信息包括：
确定所述写数据请求对应的逻辑卷，获取所述写数据请求对应的逻辑卷对应的调度信息。
23.根据权利要求22所述的主机，其特征在于，所述多种逻辑卷还包括混合存储卷，所述混合存储卷对应的调度信息指示所述本地存储设备和所述分布式存储池，所述本地存储卷对应的调度信息还包括第一副本数量，所述分布式存储卷对应的调度信息还包括第二副本数量，所述混合存储卷对应的调度信息还包括第三副本数量，所述第三副本数量为大于或等于2的整数；
所述根据所述写数据请求对应的调度信息，处理所述待写入数据包括：
若所述写数据请求对应的调度信息指示所述本地存储设备，将数量为所述第一副本数量的所述待写入数据的副本存入所述本地存储设备；
若所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第二副本数量的所述待写入数据的副本存入所述分布式存储池；
若所述写数据请求对应的调度信息指示所述本地存储设备和所述分布式存储池，将所述待写入数据的1个副本存入所述本地存储设备，将所述待写入数据的N个副本存入所述分布式存储池；所述N为所述第三副本数量减1，所述N为正整数。
24.根据权利要求22或23所述的主机，其特征在于，所述写数据请求还携带所述待写入数据的数据量；
所述确定所述写数据请求对应的逻辑卷包括：
根据所述待写入数据的数据量，确定所述写数据请求对应的逻辑卷。
25.根据权利要求22或23所述的主机，其特征在于，
所述处理器还用于获取所述本地存储设备的负载信息和所述分布式存储池的负载信息；
所述确定所述写数据请求对应的逻辑卷包括：
根据所述本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的逻辑卷。
26.根据权利要求24所述的主机，其特征在于，
所述处理器还用于获取所述本地存储设备的负载信息和所述分布式存储池的负载信息；
所述确定所述写数据请求对应的逻辑卷包括：
根据所述本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的逻辑卷。
27.根据权利要求21所述的主机，其特征在于，所述写数据请求还携带所述待写入数据的数据量；
所述确定所述写数据请求对应的调度信息包括：
根据所述待写入数据的数据量，确定所述写数据请求对应的调度信息。
28.根据权利要求21或27所述的主机，其特征在于，
所述处理器还用于获取所述本地存储设备的负载信息和所述分布式存储池的负载信息；
所述确定所述写数据请求对应的调度信息包括：
根据所述本地存储设备的负载信息和所述分布式存储池的负载信息，确定所述写数据请求对应的调度信息。
29.根据权利要求21或27所述的主机，其特征在于，所述写数据请求对应的调度信息还包括所述待写入数据的第四副本数量，所述第四副本数量为大于或等于2的整数；
若所述写数据请求对应的调度信息指示所述本地存储设备，将数量为所述第四副本数量的所述待写入数据的副本存入所述本地存储设备；
若所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第四副本数量的所述待写入数据的副本存入所述分布式存储池；
若所述写数据请求对应的调度信息指示所述本地存储设备和所述分布式存储池，将所述待写入数据的1个副本存入所述本地存储设备，将所述待写入数据的M个副本存入所述分布式存储池，所述M为所述第四副本数量减1，所述M为正整数。
30.根据权利要求28所述的主机，其特征在于，所述写数据请求对应的调度信息还包括所述待写入数据的第四副本数量，所述第四副本数量为大于或等于2的整数；
若所述写数据请求对应的调度信息指示所述本地存储设备，将数量为所述第四副本数量的所述待写入数据的副本存入所述本地存储设备；
若所述写数据请求对应的调度信息指示所述分布式存储池，将数量为所述第四副本数量的所述待写入数据的副本存入所述分布式存储池；
若所述写数据请求对应的调度信息指示所述本地存储设备和所述分布式存储池，将所述待写入数据的1个副本存入所述本地存储设备，将所述待写入数据的M个副本存入所述分布式存储池，所述M为所述第四副本数量减1，所述M为正整数。
31.一种存储***，其特征在于，包括：多个如权利要求21至30任一所述的主机，每个如权利要求21至30任一所述的主机之间建立通信连接。
CN201610348463.6A 2016-05-24 2016-05-24 一种数据处理的方法、相关设备及存储*** Active CN107423301B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610348463.6A CN107423301B (zh) 2016-05-24 2016-05-24 一种数据处理的方法、相关设备及存储***
PCT/CN2016/105944 WO2017201984A1 (zh) 2016-05-24 2016-11-15 一种数据处理的方法、相关设备及存储***
US16/102,281 US10552089B2 (en) 2016-05-24 2018-08-13 Data processing for managing local and distributed storage systems by scheduling information corresponding to data write requests

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610348463.6A CN107423301B (zh) 2016-05-24 2016-05-24 一种数据处理的方法、相关设备及存储***

Publications (2)

Publication Number Publication Date
CN107423301A CN107423301A (zh) 2017-12-01
CN107423301B true CN107423301B (zh) 2021-02-23

Family

ID=60412110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610348463.6A Active CN107423301B (zh) 2016-05-24 2016-05-24 一种数据处理的方法、相关设备及存储***

Country Status (3)

Country Link
US (1) US10552089B2 (zh)
CN (1) CN107423301B (zh)
WO (1) WO2017201984A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11353868B2 (en) * 2017-04-24 2022-06-07 Intel Corporation Barriers and synchronization for machine learning at autonomous machines
TWI628666B (zh) * 2017-08-10 2018-07-01 群聯電子股份有限公司 溫度控制方法、記憶體儲存裝置及記憶體控制電路單元
CN109085999B (zh) * 2018-06-15 2022-04-22 华为技术有限公司 数据处理方法及处理***
CN111722783B (zh) * 2019-03-20 2023-03-31 杭州海康威视***技术有限公司 数据存储方法及装置
US11687363B2 (en) * 2019-07-15 2023-06-27 Micron Technology, Inc. Internal management traffic regulation for memory sub-systems
US11269525B2 (en) * 2020-01-06 2022-03-08 International Business Machines Corporation Co-processing a plurality of dependent systems with a finite number of processing threads
CN113094183B (zh) * 2021-06-09 2021-09-17 苏州浪潮智能科技有限公司 Ai训练平台的训练任务创建方法、装置、***及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582428A (zh) * 2001-11-07 2005-02-16 国际商业机器公司 用于在非均衡存储器存取计算机***中调度任务的方法和设备
CN101488104A (zh) * 2009-02-26 2009-07-22 北京世纪互联宽带数据中心有限公司 一种实现高效安全存储的***和方法
WO2014018742A1 (en) * 2012-07-25 2014-01-30 Netapp, Inc. Contention-free multi-path storage access in distributed compute systems
EP2892225A1 (en) * 2014-01-06 2015-07-08 Swisscom AG Recording method, device and system
CN105657066A (zh) * 2016-03-23 2016-06-08 天津书生云科技有限公司 用于存储***的负载再均衡方法及装置
CN106708428A (zh) * 2016-11-21 2017-05-24 平安科技（深圳）有限公司 数据虚拟化存储方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135862B (zh) * 2011-03-10 2013-01-09 浪潮(北京)电子信息产业有限公司 一种磁盘存储***及其数据访问方法
CN102594861A (zh) * 2011-12-15 2012-07-18 杭州电子科技大学 一种多服务器负载均衡的云存储***
CN102629221B (zh) * 2012-02-28 2014-11-19 华为技术有限公司 用于分布式共享存储的任务同步方法、装置及***
US9542466B2 (en) * 2012-05-10 2017-01-10 Aetherstore Inc. Systems and methods for distributed storage
CN102841759B (zh) * 2012-05-10 2016-04-20 天津兆民云计算科技有限公司 一种针对超大规模虚拟机集群的存储***
CN103152395B (zh) * 2013-02-05 2015-12-09 北京奇虎科技有限公司 一种分布式文件***的存储方法及装置
US20140259023A1 (en) * 2013-03-07 2014-09-11 Seagate Technology Llc Adaptive vibration mitigation
US9218193B2 (en) * 2013-07-12 2015-12-22 International Business Machines Corporation Distributed virtual machine image management for cloud computing
CN103455577A (zh) * 2013-08-23 2013-12-18 中国科学院计算机网络信息中心 云主机镜像文件的多备份就近存储和读取方法及***
CN103491155B (zh) * 2013-09-17 2017-04-12 北京思特奇信息技术股份有限公司 一种实现移动计算和获取移动数据的云计算方法及***
CN103986792B (zh) * 2014-06-11 2015-05-27 腾讯科技（深圳）有限公司 一种群成员信息的同步方法、服务器,及***
CN104219318B (zh) * 2014-09-15 2018-02-13 北京联创信安科技股份有限公司 一种分布式文件存储***及方法
US9582333B2 (en) * 2015-06-22 2017-02-28 International Business Machines Corporation Managing a set of assets of a shared pool of configurable computing resources
KR102519663B1 (ko) * 2015-07-31 2023-04-07 삼성전자주식회사 스토리지 장치, 스토리지 장치를 포함하는 시스템 및 그것의 동작 방법
US10168953B1 (en) * 2016-05-20 2019-01-01 Nutanix, Inc. Dynamic scheduling of distributed storage management tasks using predicted system characteristics

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582428A (zh) * 2001-11-07 2005-02-16 国际商业机器公司 用于在非均衡存储器存取计算机***中调度任务的方法和设备
CN101488104A (zh) * 2009-02-26 2009-07-22 北京世纪互联宽带数据中心有限公司 一种实现高效安全存储的***和方法
WO2014018742A1 (en) * 2012-07-25 2014-01-30 Netapp, Inc. Contention-free multi-path storage access in distributed compute systems
EP2892225A1 (en) * 2014-01-06 2015-07-08 Swisscom AG Recording method, device and system
CN105657066A (zh) * 2016-03-23 2016-06-08 天津书生云科技有限公司 用于存储***的负载再均衡方法及装置
CN106708428A (zh) * 2016-11-21 2017-05-24 平安科技（深圳）有限公司 数据虚拟化存储方法和装置

Also Published As

Publication number Publication date
US10552089B2 (en) 2020-02-04
US20180364948A1 (en) 2018-12-20
CN107423301A (zh) 2017-12-01
WO2017201984A1 (zh) 2017-11-30

Similar Documents

Publication Publication Date Title
CN107423301B (zh) 一种数据处理的方法、相关设备及存储***
US10545781B2 (en) Dynamically deployed virtual machine
US8473462B1 (en) Change tracking for shared disks
EP2791796B1 (en) Dynamic storage tiering in a virtual environment
US10133484B2 (en) Tier based data file management
US10936553B2 (en) Intelligent file system with transparent storage tiering
US10356150B1 (en) Automated repartitioning of streaming data
US9851906B2 (en) Virtual machine data placement in a virtualized computing environment
US11693789B2 (en) System and method for mapping objects to regions
US8495178B1 (en) Dynamic bandwidth discovery and allocation to improve performance for backing up data
US10616134B1 (en) Prioritizing resource hosts for resource placement
US9916215B2 (en) System and method for selectively utilizing memory available in a redundant host in a cluster for virtual machines
US9886304B1 (en) Storage device sharing among virtual machines
EP3739440A1 (en) Distributed storage system, data processing method and storage node
CN105739930A (zh) 一种存储架构及其初始化方法和数据存储方法及管理装置
US8838768B2 (en) Computer system and disk sharing method used thereby
US10776173B1 (en) Local placement of resource instances in a distributed system
CN107329798B (zh) 数据复制的方法、装置和虚拟化***
US11336519B1 (en) Evaluating placement configurations for distributed resource placement
CN110750221A (zh) 卷克隆方法、装置、电子设备及机器可读存储介质
US11188393B1 (en) Systems and methods for performing load balancing and distributed high-availability
US20130318102A1 (en) Data Handling in a Cloud Computing Environment
US11604743B2 (en) Input/output queue hinting for resource utilization
US11121981B1 (en) Optimistically granting permission to host computing resources
US11977785B2 (en) Non-volatile memory device-assisted live migration of virtual machine data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220214

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.