CN106708428A - 数据虚拟化存储方法和装置 - Google Patents

数据虚拟化存储方法和装置 Download PDF

Info

Publication number
CN106708428A
CN106708428A CN201611026488.0A CN201611026488A CN106708428A CN 106708428 A CN106708428 A CN 106708428A CN 201611026488 A CN201611026488 A CN 201611026488A CN 106708428 A CN106708428 A CN 106708428A
Authority
CN
China
Prior art keywords
data
distributed
storage
instruction
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611026488.0A
Other languages
English (en)
Other versions
CN106708428B (zh
Inventor
吕利文
王欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201611026488.0A priority Critical patent/CN106708428B/zh
Priority to PCT/CN2017/084519 priority patent/WO2018090585A1/zh
Publication of CN106708428A publication Critical patent/CN106708428A/zh
Priority to TW106140288A priority patent/TWI680404B/zh
Application granted granted Critical
Publication of CN106708428B publication Critical patent/CN106708428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据虚拟化存储方法和装置，所述方法包括：获取终端发送的存储请求；根据存储请求获取待存储数据，并提取存储请求中的虚拟存储路径和虚拟存储指令；查找与虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与虚拟存储指令对应的分布式存储指令；根据分布式存储路径和分布式存储指令将待存储数据存储至分布式存储设备。本发明提供的数据虚拟化存储方法和装置，可以将终端与分布式存储设备衔接，并为终端提供分布式存储功能，将终端发送的存储数据存储到分布式存储设备中。无需对本地的存储设备进行扩展，即可将数据存储至分布式存储设备，避免了浪费过多的资源对本地的存储设备进行管理，提高了存储资源的利用率。

Description

数据虚拟化存储方法和装置
技术领域
本发明涉及存储虚拟化技术领域，特别是涉及数据虚拟化存储方法和装置。
背景技术
随着互联网技术的发展和应用，在互联网的应用过程中会产生大量的数据。在互联网中需要将大量的数据进行存储。传统的数据存储技术中，用户都会将产生的数据存储到本地的存储设备中。
传统的存储技术中，当用户产生的数据较多时，会面临本地的存储设备不足的情况，这时，需要对本地的存储设备进行扩展。但是，对本地存储设备进行扩展，不仅会增加用户的管理成本，还需要耗费较多的资源去对本地的存储设备进行管理，易造成资源的浪费。
发明内容
基于此，有必要针对资源浪费的问题，提供一种数据虚拟化存储方法和装置。
一种数据虚拟化存储方法，所述方法包括：
获取终端发送的存储请求；
根据所述存储请求获取待存储数据，并提取所述存储请求中的虚拟存储路径和虚拟存储指令；
查找与虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令；
根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备。
在其中一个实施例中，所述提取所述存储请求中的虚拟存储路径和虚拟存储指令之后，还包括：
获取所述虚拟存储路径对应的存储设备剩余容量和所述待存储数据的数据容量；
判断所述待存储数据的数据容量是否大于所述存储设备剩余容量；
若判定待存储数据的数据容量大于存储设备剩余容量，调度空闲的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与所述虚拟存储路径对应存储。
在其中一个实施例中，所述在分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令，包括：
确定所述虚拟存储指令对应的接口协议；
查找所述接口协议对应的分布式指令库；
在查找到的分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令。
在其中一个实施例中，所述根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备，包括：
根据所述分布式存储指令将所述待存储数据进行加密和压缩处理；
查找所述分布式存储路径对应的分布式存储设备；
将处理后的待存储数据写入查找到的分布式存储设备中。
在其中一个实施例中，所述根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备之后，还包括：
接收所述终端发送的数据读取请求；
提取所述数据读取请求中的虚拟读取路径和虚拟读取指令；
查找与所述虚拟读取路径对应分布式读取路径，并在所述分布式指令库中查找与所述虚拟读取指令对应的分布式读取指令；
根据所述分布式读取指令从所述分布式读取路径对应的分布式存储设备中读取数据；
将读取到的数据返回至所述终端并展示。
上述数据虚拟化存储方法，获取到终端发送的存储请求时，根据存储请求获取待存储数据，并提取存储请求中的虚拟存储路径和虚拟存储指令，查找虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与虚拟存储指令对应的分布式存储指令。根据分布式存储指令将待存储数据存储至分布式存储路径对应的分布式存储设备。这样，通过虚拟存储路径和虚拟存储指令可以将终端与分布式存储设备衔接，并为终端提供分布式存储功能，将终端的待存储数据存储到分布式存储设备中。无需对本地的存储设备进行管理，可直接将数据存储至分布式存储设备，避免了浪费过多的资源去对本地存储设备进行管理，提高了数据存储效率。
一种数据虚拟化存储装置，所述装置包括：
存储请求获取模块，用于获取终端发送的存储请求；
数据获取模块，用于根据所述存储请求获取待存储数据，并提取所述存储请求中的虚拟存储路径和虚拟存储指令；
存储指令查找模块，用于查找与虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令；
数据存储模块，用于根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备。
在其中一个实施例中，所述装置还包括：
容量获取请求，用于获取所述虚拟存储路径对应的存储设备剩余容量和所述待存储数据的数据容量；
容量判断模块，用于判断所述待存储数据的数据容量是否大于所述存储设备剩余容量；
存储设备调度模块，用于在判定待存储数据的数据容量大于存储设备剩余容量时，调度空闲的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与所述虚拟存储路径对应存储。
在其中一个实施例中，所述存储指令查找模块包括：
接口协议确定模块，用于确定所述虚拟存储指令对应的接口协议；
指令库查找模块，用于查找所述接口协议对应的分布式指令库；
分布式指令查找模块，用于在查找到的分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令。
在其中一个实施例中，所述数据存储模块包括：
数据加密压缩模块，用于根据所述分布式存储指令将所述待存储数据进行加密和压缩处理；
存储设备查找模块，用于查找所述分布式存储路径对应的分布式存储设备；
数据写入模块，用于将处理后的待存储数据写入查找到的分布式存储设备中。
在其中一个实施例中，所述装置还包括：
读取请求接收模块，用于接收所述终端发送的数据读取请求；
读取请求解析模块，用于提取所述数据读取请求中的虚拟读取路径和虚拟读取指令；
读取指令查找模块，用于查找与所述虚拟读取路径对应分布式读取路径，并在所述分布式指令库中查找与所述虚拟读取指令对应的分布式读取指令；
数据读取模块，用于根据所述分布式读取指令从所述分布式读取路径对应的分布式存储设备中读取数据；
数据返回模块，用于将读取到的数据返回至所述终端并展示。
上述数据虚拟化存储装置，获取到终端发送的存储请求时，根据存储请求获取待存储数据，并提取存储请求中的虚拟存储路径和虚拟存储指令，查找虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与虚拟存储指令对应的分布式存储指令。根据分布式存储指令将待存储数据存储至分布式存储路径对应的分布式存储设备。这样，通过虚拟存储路径和虚拟存储指令可以将终端与分布式存储设备衔接，并为终端提供分布式存储功能，将终端发送的存储数据存储到分布式存储设备中。无需对本地的存储设备进行扩展，即可将数据存储至分布式存储设备，避免了浪费过多的资源对本地的存储设备进行管理，提高了数据的存储效率。
附图说明
图1为一个实施例中数据虚拟化存储***的应用环境图；
图2为一个实施例中数据虚拟化存储***中分布式服务器的内部结构示意图；
图3为一个实施例中数据虚拟化存储方法的流程示意图；
图4为一个实施例中调度可用的分布式存储设备的步骤的流程示意图；
图5为一个实施例中查找分布式存储指令的步骤的流程示意图；
图6为一个实施例中数据存储步骤的流程示意图；
图7为一个实施例中读取分布式存储设备中数据的步骤；
图8为一个实施例中数据虚拟化存储装置的结构框图；
图9为另一个实施例中数据虚拟化存储装置的结构框图；
图10为一个实施例中存储指令查找模块的结构框图；
图11为一个实施例中数据存储模块的结构框图；
图12为再一个实施例中数据虚拟化存储装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一种数据虚拟化存储***的应用环境图，数据虚拟化存储***具体包括终端110和分布式服务器120。终端110通过网络与分布式服务器120连接，分布式服务器120将分布式存储设备进行虚拟化得到虚拟存储设备，将虚拟存储设备提供给终端110。其中，终端110通过网络可以访问分布式服务器120。分布式服务器120具体可以是服务器集群，分布式服务器120为终端110提供分布式存储服务。
图2为一个实施例中图1数据虚拟化存储***中分布式服务器120的内部结构示意图。如图2所示，该分布式服务器120包括通过总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，分布式服务器120的非易失性存储介质存储有操作***、数据库，还包括一种数据虚拟化存储装置，该虚拟化存储装置用于实现一种数据虚拟化存储方法。处理器用于提供计算和控制能力，支撑整个分布式服务器120的运行，分布式服务器120中的内存储器为非易失性存储介质中数据虚拟化存储装置的运行提供环境，该内存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据虚拟化存储方法。网络接口用于与终端110和分布式服务器120进行网络通信。
如图3所示，在一个实施例中，提供一种数据虚拟化存储方法，本实施例以该方法具体应用于图1数据虚拟化存储***的分布式服务器120来举例说明的。分布式服务器120中安装有数据虚拟化存储程序，数据虚拟化存储程序用于实施数据虚拟化存储方法，该方法具体包括以下内容：
S302，获取终端发送的存储请求。
具体地，在终端110需要将数据存储时，终端110向分布式服务器120发送存储请求。存储请求中包括本地缓存地址，虚拟存储路径和虚拟存储指令。其中，虚拟存储指令与终端110或终端110上的虚拟机的操作***类型对应，例如终端110的操作***类型为Windows操作***，则虚拟存储指令为Windows操作***可以识别的虚拟存储指令。操作***类型具体可以是Windows或Linux。虚拟存储路径为终端110中分布式服务器120为终端110提供的虚拟存储设备的地址或标识，例如在终端110上虚拟机的虚拟桌面中显示为虚拟磁盘标识，虚拟桌面显示为C盘、D盘和E盘中的至少一种。
S304，根据存储请求获取待存储数据，并提取存储请求中的虚拟存储路径和虚拟存储指令。
具体地，分布式服务器120对存储请求进行解析，通过解析提取存储请求中的本地缓存地址、虚拟存储路径和虚拟存储指令。分布式服务器120在提取到存储请求中的本地缓存地址后，根据本地缓存地址生成待存储数据的数据获取请求。终端110在接收到数据获取请求后，根据数据获取请求中的本地缓存地址查找待存储数据，将查找到的待存储数据发送至分布式服务器120。
S306，查找与虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与虚拟存储指令对应的分布式存储指令。
具体地，分布式服务器120中存储着虚拟存储路径与分布式存储路径的对应关系。分布式服务器120在提取到虚拟存储路径和虚拟存储指令后，分布式服务器120根据存储的虚拟存储路径与分布式存储路径的对应关系中查找提取到的虚拟存储路径，查找与提取到的虚拟存储路径对应的分布式存储路径。分布式存储指令为分布式服务器120中的分布式存储程序可识别的存储指令。
同时，分布式服务器120设置有分布式指令库，分布式指令库存储着分布式指令与虚拟指令的对应关系，其中每个分布式指令都存在对应的虚拟指令。分布式服务器120在提取到虚拟存储指令后，在分布式指令库中查找与虚拟存储指令对应的分布式存储指令。
S308，根据分布式存储路径和分布式存储指令将待存储数据存储至分布式存储设备。
具体地，分布式服务器120在查找到与虚拟存储路径对应的分布式存储路径，以及与虚拟存储指令对应的分布式存储指令后。分布式服务器120查找虚拟存储路径对应的分布式存储设备，根据分布式存储指令将待存储数据存储至查找到的分布式存储设备中。
本实施例中，获取到终端发送的存储请求时，根据所述存储请求获取待存储数据，并提取存储请求中的虚拟存储路径和虚拟存储指令，查找虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与虚拟存储指令对应的分布式存储指令。根据分布式存储指令将待存储数据存储至分布式存储路径对应的分布式存储设备。这样，通过虚拟存储路径和虚拟存储指令可以将终端与分布式存储设备衔接，并为终端提供分布式存储功能，将终端发送的存储数据存储到分布式存储设备中。无需对本地的存储设备进行扩展，即可将数据存储至分布式存储设备，避免了浪费过多的资源对本地的存储设备进行管理，提高了数据的存储效率。
如图4所示，在一个实施例中，S306之后还包括调度可用的分布式存储设备的步骤，该步骤具体包括以下内容：
S402，获取虚拟存储路径对应的存储设备剩余容量和待存储数据的数据容量。
具体地，在分布式服务器120在提取到虚拟存储路径后，获取与虚拟存储路径对应存储的存储设备剩余容量。分布式服务器120对待存储数据的数据容量进行统计，通过统计得到待存储数据的数据容量。
在一个实施例中，分布式服务器120从存储请求中提取待存储数据的数据容量。
S404，判断待存储数据的数据容量是否大于存储设备剩余容量。
具体地，分布式服务器120在获取到虚拟存储路径对应的存储设备剩余容量和待存储数据的数据容量后，将待存储数据的数据容量与存储设备剩余容量进行比较，通过比较判断待存储数据的数据容量是否大于存储设备剩余容量。
S406，若判定待存储数据的数据容量大于存储设备剩余容量，调度可用的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与虚拟存储路径对应存储。
具体地，若判定待存储数据的数据容量大于存储设备剩余容量，则表示存储设备剩余容量不够，不能完全存储待存储数据。分布式服务器120在判定待存储数据的数据容量大于存储设备剩余容量时，分布式服务器120查找可用的分布式存储设备。在查找到可用的分布式存储设备后，分布式服务器120提取查找到的分布式存储设备的分布式存储路径，将提取到的分布式存储路径与虚拟存储路径对应存储。
在一个实施例中，在查找到可用的分布式存储设备后，分布式服务器120提取查找到的分布式存储设备的分布式存储路径，将提取到的分布式存储路径与虚拟存储路径对应存储在对应关系表中。
本实施例中，在判定待存储数据的数据容量大于存储设备剩余容量时，可以调度可用的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与虚拟存储路径对应存储，提高了虚拟存储路径对应的存储设备的可扩展性，提高了分布式存储设备的利用率。
如图5所示，在一个实施例中，S306具体包括查找分布式存储指令的步骤，该步骤具体包括以下内容：
S502，确定虚拟存储指令对应的接口协议。
具体地，分布式服务器120在提取到虚拟存储指令后，对虚拟存储指令进解析，确定虚拟存储指令对应的接口协议。接口协议具体包括FC协议(FiberChannel，光纤通道)、ISCSI(Internet Small Computer System Interface，互联网小型计算机接口)协议。其中，光纤通道可以采用铜轴电缆和光导纤维作为连接设备；ISCSI是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集，这种指令集合可以实现在IP网络上运行小型计算机接口协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI将现有小型计算机接口与以太网络技术结合，使服务器可与使用IP网络的储存装置互相交换数据。
S504，查找接口协议对应的分布式指令库。
具体地，在分布式服务器120中设置有多个不同的分布式指令库，不同的接口协议对应不同的分布式指令库。分布式服务器120在确定虚拟存储指令对应的接口协议后，根据确定的接口协议查找对应的分布式指令库。
S506，在查找到的分布式指令库中查找与虚拟存储指令对应的分布式存储指令。
具体地，分布式服务器120在查找到分布式指令库后，在查找到的分布式指令库中查找与虚拟存储指令对应的分布式存储指令。
本实施例中，根据虚拟存储指令对应的接口协议查找分布式指令库，在查找到的分布式指令库中查找虚拟存储指令对应的分布式存储指令。通过设置多个分布式存储指令库，保证支持多种接口协议的数据存储，提高数据的存储效率。
如图6所示，在一个实施例中，S308具体包括数据存储步骤，该步骤具体包括以下内容：
S602，根据分布式存储指令将待存储数据进行加密和压缩处理。
具体地，分布式服务器120在查找到分布式存储指令后，根据分布式存储指令对待存储数据进行加密，对加密后的待存储数据进行压缩。也是对待存储数据进行压缩，再对压缩后的待存储数据进行加密。
进一步地，对待存储数据进行加密可以是使用对称加密算法和非对称加密算法对待存储数据进行加密。对待存储数据进行压缩可以是对待存储数据中的冗余数据进行过滤。
S604，查找分布式存储路径对应的分布式存储设备。
具体地，分布式服务器120在查找到与虚拟存储路径对应的分布式存储路径后，根据查找到的分布式存储路径确定可用的分布式存储设备。
S606，将处理后的待存储数据存储至查找到的分布式存储设备中。
具体地，分布式服务器120将经过加密和压缩处理的待存储数据存储至查找到的分布式存储设备中。
本实施例中，将待存储数据进行加密和压缩，将经过加密和压缩后的待存储数据存储至分布式存储设备。通过对待存储数据进行加密可以提高待存储数据的安全性；对待存储数据进行压缩，减少了待存储数据的数据容量，提高了待存储数据的存储速度，节省了分布式存储设备。
如图7所示，在一个实施例中，S308之后具体还包括读取分布式存储设备中数据的步骤，该步骤具体包括以下步骤：
S702，接收终端发送的数据读取请求。
具体地，在终端110需要读取分布式存储设备中的数据时，终端110向分布式服务器120发送数据读取请求。数据读取请求中包括虚拟读取路径和虚拟读取指令，虚拟读取指令与终端110的操作***类型或者终端110上运行的虚拟机的操作***类型对应。
S704，提取数据读取请求中的虚拟读取路径和虚拟读取指令。
具体地，分布式服务器120对数据读取请求进行解析，通过解析提取到数据读取请求中的虚拟读取路径和虚拟读取指令。
S706，查找与虚拟读取路径对应分布式读取路径，并在分布式指令库中查找与虚拟读取指令对应的分布式读取指令。
具体地，分布式服务器120中设置有路径映射表，路径映射表中存储着虚拟路径与分布式路径的对应关系。分布式服务器120在提取到虚拟读取路径后，在路径映射表中查找与虚拟读取路径对应的分布式读取路径。分布式服务器120在分布式指令库中查找与虚拟读取指令对应的分布式读取指令。
S708，根据分布式读取指令从分布式读取路径对应的分布式存储设备中读取数据。
具体地，分布式服务器120在查找到分布式读取指令和分布式读取路径后，查找分布式读取路径查找对应的分布式存储设备，根据分布式读取指令从查找到的存储设备中读取数据。
S710，将读取到的数据返回至终端并展示。
具体地，分布式服务器120根据查找到的分布式读取指令和分布式读取路径读取到数据后，分布式服务器120根据虚拟读取路径将读取到的数据返回至终端110。终端110将读取到的数据展示在显示器上，具体可以展示在虚拟机的虚拟桌面上。
本实施例中，在获取到终端发送的数据读取请求后，提取数据读取请求中的虚拟读取路径和虚拟读取指令，查找虚拟读取路径对应的分布式读取路径，在分布式指令库中查找虚拟读取指令对应的分布式读取指令，根据分布式读取指令从分布式读取路径对应的分布式存储设备读取数据，将读取到的数据返回至终端并展示。使得终端可以直接访问分布式存储设备中存储的数据，提高了分布式存储设备中存储的数据的读取效率。
如图8所示，在一个实施例中，提供一种数据虚拟化存储装置800，该装置具体包括：存储请求获取模块802、数据获取模块804、存储指令查找模块806和数据存储模块810。
存储请求获取模块802，用于获取终端发送的存储请求。
数据获取模块804，用于根据存储请求获取待存储数据，并提取存储请求中的虚拟存储路径和虚拟存储指令。
存储指令查找模块806，用于查找与虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与虚拟存储指令对应的分布式存储指令。
数据存储模块808，用于根据分布式存储路径和分布式存储指令将待存储数据存储至分布式存储设备。
本实施例中，获取到终端发送的存储请求时，根据所述存储请求获取待存储数据，并提取存储请求中的虚拟存储路径和虚拟存储指令，查找虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与虚拟存储指令对应的分布式存储指令。根据分布式存储指令将待存储数据存储至分布式存储路径对应的分布式存储设备。这样，通过虚拟存储路径和虚拟存储指令可以将终端与分布式存储设备衔接，并为终端提供分布式存储功能，将终端发送的存储数据存储到分布式存储设备中。无需对本地的存储设备进行扩展，即可将数据存储至分布式存储设备，避免浪费过的资源对本地的存储设备进行管理，提高了数据存储效率。
如图9所示，在一个实施例中，数据虚拟化存储装置800具体还包括：容量获取请求810、容量判断模块812和存储设备调度模块814。
容量获取请求810，用于获取虚拟存储路径对应的存储设备剩余容量和待存储数据的数据容量。
容量判断模块812，用于判断待存储数据的数据容量是否大于存储设备剩余容量。
存储设备调度模块814，用于在判定待存储数据的数据容量大于存储设备剩余容量时，调度空闲的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与虚拟存储路径对应存储。
本实施例中，在判定待存储数据的数据容量大于存储设备剩余容量时，可以调度空闲的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与虚拟存储路径对应存储，提高了虚拟存储路径对应的存储设备的可扩展性，提高了分布式存储设备的利用率。
如图10所示，在一个实施例中，存储指令查找模块806具体包括：接口协议确定模块806a、指令库查找模块806b和分布式指令查找模块806c。
接口协议确定模块806a，用于确定虚拟存储指令对应的接口协议。
指令库查找模块806b，用于查找接口协议对应的分布式指令库。
分布式指令查找模块806c，用于在查找到的分布式指令库中查找与虚拟存储指令对应的分布式存储指令。
本实施例中，根据虚拟存储指令对应的接口协议查找分布式指令库，在查找到的分布式指令库中查找虚拟存储指令对应的分布式存储指令。通过设置多个分布式存储指令库，保证支持多种接口协议的数据存储，提高数据的存储效率。
如图11所示，在一个实施例中，数据存储模块808具体包括：数据加密压缩模块808a、存储设备查找模块808b和数据写入模块808c。
数据加密压缩模块808a，用于根据分布式存储指令将待存储数据进行加密和压缩处理。
存储设备查找模块808b，用于查找分布式存储路径对应的分布式存储设备。
数据写入模块808c，用于将处理后的待存储数据写入查找到的分布式存储设备中。
本实施例中，将待存储数据进行加密和压缩，将经过加密和压缩后的待存储数据存储至分布式存储设备。通过对待存储数据进行加密可以提高待存储数据的安全性；对待存储数据进行压缩，减少了待存储数据的数据容量，提高了待存储数据的存储速度，节省了分布式存储设备。
如图12所示，在一个实施例中，数据虚拟化存储装置800具体还包括：读取请求接收模块816、读取请求解析模块818、读取指令查找模块820、数据读取模块822和数据返回模块824。
读取请求接收模块816，用于接收终端发送的数据读取请求。
读取请求解析模块818，用于提取数据读取请求中的虚拟读取路径和虚拟读取指令。
读取指令查找模块820，用于查找与虚拟读取路径对应分布式读取路径，并在分布式指令库中查找与虚拟读取指令对应的分布式读取指令。
数据读取模块822，用于根据分布式读取指令从分布式读取路径对应的分布式存储设备中读取数据。
数据返回模块824，用于将读取到的数据返回至终端并展示。
本实施例中，在获取到终端发送的数据读取请求后，提取数据读取请求中的虚拟读取路径和虚拟读取指令，查找虚拟读取路径对应的分布式读取路径，在分布式指令库中查找虚拟读取指令对应的分布式读取指令，根据分布式读取指令从分布式读取路径对应的分布式存储设备读取数据，将读取到的数据返回至终端并展示。使得终端可以直接访问分布式存储设备中存储的数据，提高了分布式存储设备中存储的数据的读取效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据虚拟化存储方法，所述方法包括：
获取终端发送的存储请求；
根据所述存储请求获取待存储数据，并提取所述存储请求中的虚拟存储路径和虚拟存储指令；
查找与虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令；
根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备。
2.根据权利要求1所述的方法，其特征在于，所述提取所述存储请求中的虚拟存储路径和虚拟存储指令之后，还包括：
获取所述虚拟存储路径对应的存储设备剩余容量和所述待存储数据的数据容量；
判断所述待存储数据的数据容量是否大于所述存储设备剩余容量；
若判定待存储数据的数据容量大于存储设备剩余容量，调度可用的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与所述虚拟存储路径对应存储。
3.根据权利要去1所述的方法，其特征在于，所述在分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令，包括：
确定所述虚拟存储指令对应的接口协议；
查找所述接口协议对应的分布式指令库；
在查找到的分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令。
4.根据权利要求1所述的方法，其特征在于，所述根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备，包括：
根据所述分布式存储指令将所述待存储数据进行加密和压缩处理；
查找所述分布式存储路径对应的分布式存储设备；
将处理后的待存储数据写入查找到的分布式存储设备中。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备之后，还包括：
接收所述终端发送的数据读取请求；
提取所述数据读取请求中的虚拟读取路径和虚拟读取指令；
查找与所述虚拟读取路径对应分布式读取路径，并在所述分布式指令库中查找与所述虚拟读取指令对应的分布式读取指令；
根据所述分布式读取指令从所述分布式读取路径对应的分布式存储设备中读取数据；
将读取到的数据返回至所述终端并展示。
6.一种数据虚拟化存储装置，其特征在于，所述装置包括：
存储请求获取模块，用于获取终端发送的存储请求；
数据获取模块，用于根据所述存储请求获取待存储数据，并提取所述存储请求中的虚拟存储路径和虚拟存储指令；
存储指令查找模块，用于查找与虚拟存储路径对应的分布式存储路径，并在分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令；
数据存储模块，用于根据所述分布式存储路径和所述分布式存储指令将所述待存储数据存储至分布式存储设备。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
容量获取请求，用于获取所述虚拟存储路径对应的存储设备剩余容量和所述待存储数据的数据容量；
容量判断模块，用于判断所述待存储数据的数据容量是否大于所述存储设备剩余容量；
存储设备调度模块，用于在判定待存储数据的数据容量大于存储设备剩余容量时，调度可用的分布式存储设备，将调度的分布式存储设备对应的分布式存储路径与所述虚拟存储路径对应存储。
8.根据权利要去6所述的装置，其特征在于，所述存储指令查找模块包括：
接口协议确定模块，用于确定所述虚拟存储指令对应的接口协议；
指令库查找模块，用于查找所述接口协议对应的分布式指令库；
分布式指令查找模块，用于在查找到的分布式指令库中查找与所述虚拟存储指令对应的分布式存储指令。
9.根据权利要求6所述的装置，其特征在于，所述数据存储模块包括：
数据加密压缩模块，用于根据所述分布式存储指令将所述待存储数据进行加密和压缩处理；
存储设备查找模块，用于查找所述分布式存储路径对应的分布式存储设备；
数据写入模块，用于将处理后的待存储数据写入查找到的分布式存储设备中。
10.根据权利要求6-9中任一项所述的装置，其特征在于，所述装置还包括：
读取请求接收模块，用于接收所述终端发送的数据读取请求；
读取请求解析模块，用于提取所述数据读取请求中的虚拟读取路径和虚拟读取指令；
读取指令查找模块，用于查找与所述虚拟读取路径对应分布式读取路径，并在所述分布式指令库中查找与所述虚拟读取指令对应的分布式读取指令；
数据读取模块，用于根据所述分布式读取指令从所述分布式读取路径对应的分布式存储设备中读取数据；
数据返回模块，用于将读取到的数据返回至所述终端并展示。
CN201611026488.0A 2016-11-21 2016-11-21 数据虚拟化存储方法和装置 Active CN106708428B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611026488.0A CN106708428B (zh) 2016-11-21 2016-11-21 数据虚拟化存储方法和装置
PCT/CN2017/084519 WO2018090585A1 (zh) 2016-11-21 2017-05-16 数据虚拟化存储方法、装置、服务器和存储介质
TW106140288A TWI680404B (zh) 2016-11-21 2017-11-21 數據虛擬化存儲方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611026488.0A CN106708428B (zh) 2016-11-21 2016-11-21 数据虚拟化存储方法和装置

Publications (2)

Publication Number Publication Date
CN106708428A true CN106708428A (zh) 2017-05-24
CN106708428B CN106708428B (zh) 2018-06-29

Family

ID=58940163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611026488.0A Active CN106708428B (zh) 2016-11-21 2016-11-21 数据虚拟化存储方法和装置

Country Status (3)

Country Link
CN (1) CN106708428B (zh)
TW (1) TWI680404B (zh)
WO (1) WO2018090585A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423301A (zh) * 2016-05-24 2017-12-01 华为技术有限公司 一种数据处理的方法、相关设备及存储***
CN109309590A (zh) * 2018-10-29 2019-02-05 武汉世捷通网络信息技术有限公司 虚拟化数据中心的可扩缩多租户网络架构信息采集方法
CN109445692A (zh) * 2018-10-18 2019-03-08 深圳市硅格半导体有限公司 基于网络的数据存储方法、终端、服务器和***
CN109783494A (zh) * 2018-12-29 2019-05-21 深圳云天励飞技术有限公司 数据存储方法及相关装置
CN112199050A (zh) * 2020-10-22 2021-01-08 Tcl通讯（宁波）有限公司 存储方法、装置、存储介质及终端设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204136B (zh) * 2023-05-04 2023-08-15 山东浪潮科学研究院有限公司 一种数据存储、查询方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917005A (zh) * 2012-08-28 2013-02-06 大唐软件技术股份有限公司 一种支持事务的海量存储访问方法及装置
CN103257941A (zh) * 2013-04-17 2013-08-21 浪潮(北京)电子信息产业有限公司 多协议存储控制器和***
CN103513940A (zh) * 2013-10-21 2014-01-15 北京华胜天成科技股份有限公司 虚拟机在线扩展磁盘容量的方法和虚拟***控制台
CN104020961A (zh) * 2014-05-15 2014-09-03 深圳市深信服电子科技有限公司 分布式数据存储方法、装置及***
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储***的构建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7533389B2 (en) * 2003-06-20 2009-05-12 Sun Microsystems, Inc. Dynamic loading of remote classes
CN101587480B (zh) * 2008-05-21 2013-08-28 鸿富锦精密工业（深圳）有限公司 Notes文件分布式存储***及方法
CN101662811B (zh) * 2009-08-17 2011-08-17 北京航空航天大学 基于可靠路径的分布式路由协议
CN103095832A (zh) * 2013-01-15 2013-05-08 北京邮电大学 一种基于通信可靠性的分布式存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917005A (zh) * 2012-08-28 2013-02-06 大唐软件技术股份有限公司 一种支持事务的海量存储访问方法及装置
CN103257941A (zh) * 2013-04-17 2013-08-21 浪潮(北京)电子信息产业有限公司 多协议存储控制器和***
CN103513940A (zh) * 2013-10-21 2014-01-15 北京华胜天成科技股份有限公司 虚拟机在线扩展磁盘容量的方法和虚拟***控制台
CN104020961A (zh) * 2014-05-15 2014-09-03 深圳市深信服电子科技有限公司 分布式数据存储方法、装置及***
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储***的构建方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423301A (zh) * 2016-05-24 2017-12-01 华为技术有限公司 一种数据处理的方法、相关设备及存储***
CN107423301B (zh) * 2016-05-24 2021-02-23 华为技术有限公司 一种数据处理的方法、相关设备及存储***
CN109445692A (zh) * 2018-10-18 2019-03-08 深圳市硅格半导体有限公司 基于网络的数据存储方法、终端、服务器和***
CN109309590A (zh) * 2018-10-29 2019-02-05 武汉世捷通网络信息技术有限公司 虚拟化数据中心的可扩缩多租户网络架构信息采集方法
CN109783494A (zh) * 2018-12-29 2019-05-21 深圳云天励飞技术有限公司 数据存储方法及相关装置
CN112199050A (zh) * 2020-10-22 2021-01-08 Tcl通讯（宁波）有限公司 存储方法、装置、存储介质及终端设备

Also Published As

Publication number Publication date
TWI680404B (zh) 2019-12-21
CN106708428B (zh) 2018-06-29
TW201820126A (zh) 2018-06-01
WO2018090585A1 (zh) 2018-05-24

Similar Documents

Publication Publication Date Title
CN106708428A (zh) 数据虚拟化存储方法和装置
CN107465656B (zh) 一种基于云计算的安防监控大数据处理方法及***
US10069752B2 (en) Remote service for executing resource allocation analyses for distributed computer systems
US10140066B2 (en) Smart partitioning of storage access paths in shared storage services
US8769269B2 (en) Cloud data management
CN103399778B (zh) 一种虚拟机在线整体迁移方法和设备
CN104239227B (zh) 一种虚拟化存储管理装置、本地虚拟存储管理装置及方法
CN105530293B (zh) 应用发布方法和装置
US9152640B2 (en) Determining file allocation based on file operations
US11003658B2 (en) Selectively retrieving data from remote share nothing computer clusters
US11099952B2 (en) Leveraging server side cache in failover scenario
US9215294B2 (en) Management of communications between a client equipment and a server equipment providing to the client equipment computer resources represented according to a file system
US10802922B2 (en) Accelerated deduplication block replication
US20190340378A1 (en) Tape processing offload to object storage
US11662928B1 (en) Snapshot management across cloud provider network extension security boundaries
JP2024506818A (ja) 指紋に基づくデータアドレスを使用するキャッシュインデクシング
US9727374B2 (en) Temporary virtual machine migration for improved software application warmup
CN108234551A (zh) 一种数据处理方法及装置
US11809735B1 (en) Snapshot management for cloud provider network extensions
US10552195B2 (en) Migration of virtual infrastructures
US11176097B2 (en) Accelerated deduplication block replication
CN107273044A (zh) 逻辑分区自动挂载磁盘的方法、电子设备及存储介质
JP2023545638A (ja) コンテナ化されたソフトウェアの発見と特定
US11971902B1 (en) Data retrieval latency management system
KR102382884B1 (ko) 엣지 단말의 클러스터 구성 및 운용 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1235886

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1235886

Country of ref document: HK