CN102388358A - 在混合存储环境下配置存储设备的方法和*** - Google Patents

在混合存储环境下配置存储设备的方法和*** Download PDF

Info

Publication number
CN102388358A
CN102388358A CN2011800020067A CN201180002006A CN102388358A CN 102388358 A CN102388358 A CN 102388358A CN 2011800020067 A CN2011800020067 A CN 2011800020067A CN 201180002006 A CN201180002006 A CN 201180002006A CN 102388358 A CN102388358 A CN 102388358A
Authority
CN
China
Prior art keywords
memory device
priority
data object
memory
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800020067A
Other languages
English (en)
Other versions
CN102388358B (zh
Inventor
黄文龙
魏海滨
单世史
代坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN102388358A publication Critical patent/CN102388358A/zh
Application granted granted Critical
Publication of CN102388358B publication Critical patent/CN102388358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0632—Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了在混合存储环境下配置存储设备的方法的***。该方法包括：获取多个存储设备中每个存储设备的多个属性参数；通过对所述属性参数进行计算而获得每个存储设备的优先级；获取每个数据对象的存储优先级；根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。通过根据本发明实施例的在混合存储环境下配置存储设备的方法和***，可以实现混合存储环境下多个存储设备与多个数据对象的配置，通过避免人工参与而降低了安全性风险，并提高***性能，降低***能耗。

Description

在混合存储环境下配置存储设备的方法和***
技术领域
本发明实施例涉及数据存储领域，且更具体地说涉及在混合存储环境下配置存储设备的方法和***。
背景技术
随着计算机技术的迅速发展，计算机存储***也发生了很大变化，SSD(Solid-State Drive：固态硬盘)、PCM(Phase Change Memory：相变内存)等新型的存储设备和传统的磁盘存储设备构成了混合存储环境。
同传统的磁盘存储设备相比，SSD、PCM等新型存储设备在性能、密度、能耗上更有优势，但在价格与容量上存在劣势。预计在今后的长时间内，各种类型的存储设备也将同时存在，混合存储将成为主流的存储配置。图1是现有的混合存储环境的示意图。
此外，随着网络技术的迅速发展，网络存储设备与本地存储设备组合构成了持久化存储***。随着网络带宽的增长、安全及机房构建成本等因素的考虑，某些情况下网络存储设备比本地存储设备成为持久化主存储设备有更大的优势，而本地存储设备则可能成为临时数据缓存设备或备用设备。此外，多个存储服务商的竞争，可能使计算机***需要在多个网络存储设备上进行选择。
在计算机的数据库***中，存在诸如表、索引、日志等多种数据库对象，这些数据库对象有不同的访问频率和容量的需求，并且，大部分数据库***都提供对这些数据库对象的存储设置。但是，在混合存储环境下，需要针对数据库对象对存储设备进行优化配置的方案。
发明内容
基于上述目的做出本发明，且本发明的目的是提供一种在混合存储环境下配置存储设备的方法和***。
一方面，提供了一种混合存储环境下配置存储设备的方法，包括：获取多个存储设备中每个存储设备的多个属性参数；通过对所述属性参数进行计算而获得每个存储设备的优先级；获取每个数据对象的存储优先级；根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
另一方面，提供了一种混合存储环境下配置存储设备的***，包括：设备参数获取装置，用于获取多个存储设备中每个存储设备的多个属性参数；设备优先级计算装置，与所述设备参数获取装置连接，用于通过对所述属性参数进行计算而获得每个存储设备的优先级；对象优先级获取装置，用于获取每个数据对象的存储优先级；匹配装置，与所述设备优先级计算装置和所述对象优先级获取装置连接，用于根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
又一方面，提供了一种混合存储环境下配置存储设备的分布式***，包括：多个代理端，每个代理端包括：设备参数获取装置，用于获取多个存储设备中每个存储设备的多个属性参数；集中配置服务端，包括：设备优先级计算装置，与每个代理端的每个设备参数获取装置连接，用于通过对所述属性参数进行计算而获得每个存储设备的优先级；对象优先级获取装置，用于获取每个数据对象的存储优先级；匹配装置，与所述设备优先级计算装置和所述对象优先级获取装置连接，用于根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中；所述每个代理端进一步包括：配置信息产生装置，与所述匹配装置连接，用于产生每个数据对象的存储设备配置信息；数据对象存储装置，与所述配置信息产生装置连接，用于将每个数据对象的存储设备配置信息写入到所述数据对象的配置文件中，以将所述数据对象存储到其配置的存储设备中。
通过上述混合存储环境下配置存储设备的方法和***，可以实现混合存储环境下多个存储设备与多个数据对象的自动配置，通过避免人工参与而降低了安全性风险，并提高***性能，降低***能耗。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有的混合存储环境的示意图；
图2是示出根据本发明实施例的混合存储环境下配置存储设备的方法的示意性流程图；
图3是示出根据本发明实施例的混合存储环境下配置存储设备的***的示意性框图；
图4是根据本发明实施例的在混合存储环境下为数据库对象配置存储设备的***的结构示意图；
图5是分布式***部署的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在如上所述的混合存储环境下，针对数据库***的多个数据库对象，需要根据存储设备的访问延迟、价格、容量、能耗等因素对数据库对象进行配置设定与调整，这是一项重要的工作，它对整个***的性能、价格和能耗等方面都有重要影响。
目前在混合存储环境下，是由DBA(database administrator：数据库管理员)对数据库***的多个数据库对象的存储设备进行手动的配置，其方式如下：
首先，DBA需要了解混合存储环境下有多少种存储设备，并获得这些存储设备的容量、读写延迟、能耗等信息。
此外，DBA根据数据库***的不同数据库对象的访问特征决定将这些数据库对象放置到哪些存储设备中，并修改数据库***的相应配置。
在数据中心中，当在多台物理服务器上有数据库***时，DBA需要分别为这些服务器上的数据库***的数据库对象进行存储设备配置。
对于由DBA对数据库***的多个数据库对象的存储设备进行手动配置的方案来说，存在很多问题。
例如，存在安全风险，当DBA访问存储设备相关信息时需要管理员权限，这可能造成安全隐患。
另外，必要信息可能无法获取，DBA在进行手动配置时，需要了解存储设备的类型，访问延迟，容量等信息来决定配置策略，但尤其是对于访问延迟来说，很多操作***并未提供该信息的手动访问方法，导致DBA无法进行优化配置。
并且，这种手动配置对***维护员技能要求高，当DBA配置存储设备选项时，需要结合索引、日志、临时表、普通表等数据库对象的访问频率和容量要求与存储设备的类型、访问延迟、容量等信息，进行优化配置策略，这对配置人员的技能要求高，***维护成本高。并且，对于不同的***维护员来说，也没有一个统一的标准来对存储设备进行配置，而是根据不同***维护员的个人习惯来进行，这也造成了一定的不便。
而且，由于手动配置的工作量很大，在今后的云计算环境下，在数据中心中，DBA将面临管理更多的机器、更多类型的操作***和数据库***，这将使得人工进行存储选项优化配置的工作量大大增加，使得维护的工作量过大。
基于上述由DBA进行手动配置的问题，本发明实施例提供了一种混合存储环境下配置存储设备的方法，所述方法包括：获得多个存储设备中每个存储设备的多个属性参数；通过对所述属性参数进行计算而获得每个存储设备的优先级；获取每个数据对象的存储优先级；根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
在上述方法中，在完成每个数据对象的存储优先级和每个存储设备的优先级的配置之后，可以进一步将数据对象的存储设备配置信息写入到该数据的配置文件中，以将数据对象存储到相应的存储设备中。例如，在数据对象为数据库对象的情况下，将如上生成的配置信息写入到各种类型的数据库***的配置文件中，从而实现数据库对象的自动存储。
在上述方法中，可以获取不同操作***上每个存储设备的类型、容量、读写延迟等属性参数，并根据这些属性参数生成每个存储设备的优先级，并根据存储设备的优先级和数据对象的优先级来进行匹配，从而得到数据对象的存储设备配置信息。
图2是示出根据本发明实施例的混合存储环境下配置存储设备的方法的示意性流程图。如图2所示，根据本发明实施例的混合存储环境下配置存储设备的方法包括：S1，获取多个存储设备中每个存储设备的多个属性参数；S2，通过对所述属性参数进行计算而获得每个存储设备的优先级；S3，获取每个数据对象的存储优先级；S4，根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
通过上述混合存储环境下配置存储设备的方法，可以实现混合存储环境下多个存储设备与多个数据对象的自动配置，通过避免人工参与而降低了安全性风险，并提高***性能，降低***能耗。
另外，本发明实施例提供了一种混合存储环境下配置存储设备的***，该***包括：设备参数获取装置，用于获取多个存储设备中每个存储设备的多个属性参数；设备优先级计算装置，与设备参数获取装置连接，用于通过对所述属性参数进行计算而获得每个存储设备的优先级；对象优先级获取装置，用于获取每个数据对象的存储优先级；匹配装置，与设备优先级计算装置和对象优先级获取装置连接，用于根据每个数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
在上述***中，在完成每个数据对象的存储优先级和每个存储设备的优先级的配置时，产生每个数据对象的存储设备配置信息，通过进一步将数据对象的存储设备配置信息写入到该数据对象的配置文件中，可以将数据对象存储到其配置的存储设备中。
图3是示出根据本发明实施例的混合存储环境下配置存储设备的***的示意性框图。如图3所示，根据本发明实施例的混合存储环境下配置存储设备的***100包括：设备参数获取装置101，用于获取多个存储设备中每个存储设备的多个属性参数；设备优先级计算装置102，与设备参数获取装置101连接，用于通过对所述属性参数进行计算而获得每个存储设备的优先级；对象优先级获取装置103，用于获取每个数据对象的存储优先级；匹配装置104，与设备优先级计算装置102和对象优先级获取装置103连接，用于根据每个数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
通过上述混合存储环境下配置存储设备的***，可以实现混合存储环境下多个存储设备与多个数据对象的自动配置，通过避免人工参与而降低了安全性风险，并提高***性能，降低***能耗。
下面，将以所存储的数据对象为数据库***的数据库对象为例，对根据本发明实施例的混合存储环境下配置存储设备的***进行具体描述。
图4是根据本发明实施例的在混合存储环境下为数据库对象配置存储设备的***的结构示意图。如图4所示，根据本发明实施例的***可以分为策略配置管理模块、存储设备信息采集模块和数据库配置管理模块三大部分。策略配置管理模块即对应上述的设备优先级计算装置、对象优先级获取装置和匹配装置，其主要负责确定不同存储设备的优先级，并根据DBA指定的数据库对象列表中对象的优先级确定存储设备配置；存储设备信息采集模块对应上述的设备参数获取装置，负责采集不同操作***下存储设备抽象模型各种维度的数据，该模块可以提供一个统一接口让上层逻辑读取数据，从而实现了不同操作***存储设备的扩展与策略配置管理模块的松耦合；数据库配置管理模块负责将数据库对象列表中的对象匹配后得到的存储设备选项写入到不同的数据库***中，同样统一接口让上层写入逻辑与支持不同数据库***的扩展实现了松耦合。这里，通过提供抽象的统一接口，存储设备信息采集模块与数据库配置管理模块对外部访问模块屏蔽了各种不同类型操作***与数据库***相关对象访问接口的差异，从而提高了***的维护性。
如上所述，为了获取每个存储设备的多个属性参数以及对该多个属性参数进行计算以获得每个存储设备的综合性的优先级，在本发明的实施例中，提供了一个存储设备抽象模型M：
M＝{Capacity，Latency，Bandwidth，Cost，Energy，Size}
该模型包括容量(Capacity)、延迟(Latency)、带宽(Bandwidth)、价格(Cost)、能耗(Energy)、体积大小(Size)六个维度，根据本发明实施例的配置存储设备的***就根据这六个维度对存储设备进行评估。
并且，依据上述存储设备抽象模型M，在根据本发明实施例的***中，提供的默认的存储设备的属性参数计算公式为：
p = ( a 1 × Capacity + a 2 × Bandwidth ) a 3 × Latency + a 4 × Cost + a 5 × Energy + a 6 × Size 公式1
其中a1至a6为影响因子，每个大于等于0并小于1，在本发明的实施例中，DBA可以根据需要设置影响因子的大小。
这里，本领域技术人员可以理解，以上的存储设备抽象模型M和计算公式(1)仅是示例，根据不同的需要，也可以选取其它的属性参数并形成相应的计算公式。例如，当在某些混合存储环境下对于价格不敏感时，所提供的存储设备抽象模型可以仅包括容量、延迟、带宽、能耗和体积大小五个维度。又或者，当对于价格和体积大小都不敏感时，所提供的存储设备抽象模型可以仅包括容量、延迟、带宽和能耗四个维度。在这种情况下，仍然可以采用如公式(1)的计算公式来计算每个存储设备的综合优先级分数，只是将例如a4，或者a4和a6设置为零，也可以采用其它的计算公式进行计算。
另外，在存储的数据对象是数据库对象的情况下，根据本发明实施例的***来提供了一个数据库对象集DO：
DO＝{TableSpace，Table，Index，Log，TempData}
该数据库对象集包括表空间(TableSpace)、表(Table)、索引(Index)、日志(Log)和临时数据(TempData)这五类数据库对象，根据每类数据库对象的特性，策略制定者可为这些数据库对象设置存储优先级。例如，索引和日志的访问频率通常较高，因此为其设置高的优先级，而表和临时数据的访问频率较低，因此为其设置低的优先级，等等。
在根据本发明实施例的***中，上述计算公式中的影响因子与DO中数据库对象的优先级可以由***的DBA进行设置，并且***获取所有存储设备的抽象模型的属性参数值，根据上述公式(1)计算综合性分值，并根据分值大小得到存储设备的优先级，例如，分值越高，存储设备的优先级越高。此后，***根据存储设备与DO对象优先级进行匹配，得到对象的存储设备配置，并将配置写入到数据库***的配置文件中去。
在上述存储设备的属性参数中，容量和带宽可以由操作***提供，根据本发明实施例的设备参数获取装置可以直接从操作***获得存储设备的容量和带宽。此外，价格、能耗和体积大小都是存储设备的市场信息，可以通过参考存储设备的说明书来得到，在根据本发明实施例的***当中，可以将上述信息例如以列表方式预先存储在设备参数获取装置中。
关于存储设备的延迟，有时操作***可能无法提供访问存储设备的访问延迟数据，针对上述情况，根据本发明实施例的***可以具有主动探测机制，由参数获取装置对存储设备进行多次随机与顺序读写，从而计算平均访问延迟。
具体地说，本发明实施例的***提供了针对存储设备访问延迟的主动探测机制，在操作***本身未提供存储设备的访问延迟时，***能根据对存储设备进行主动地写数据，随后对数据进行多次随机与顺序读写，来计算平均访问延迟，从而获得存储设备的访问延迟。例如，其中一个实现方法如下：对存储设备写入4k、8k、256k、1M、10M文本文件和二进制文件，对不同大小的文件进行顺序读与随机读操作，并记录访问时间，最后将访问时间进行算术平均后，得到存储设备访问延迟的经验数据。
在上述根据本发明实施例的在混合存储环境下配置存储设备的***中，可获取不同操作***下部署的多个存储设备的属性参数信息，并且，在无法获得访问延迟信息的情况下，***支持存储设备访问延迟的主动探测，从而使得***可以全面掌握各个存储设备的相关属性参数，提高了自动匹配的精确度。
并且，用户可以按照需要，对例如配置算法、存储设备选取范围、影响因子等进行执行设置，从而提高了用户使用的灵活性，并能够满足多种需要。
此外，在根据本发明实施例的在混合存储环境下配置存储设备的***中，可以通过分布式代理(agent)实现不同主机共享相同的配置策略，这对于数据中心中多台主机上的数据库***进行配置与管理非常有效。从功能角度上看，代理端包括如图4所示的存储设备信息采集模块与数据库配置管理模块的功能，而集中配置服务端包括策略配置管理模块的功能。图5是分布式***部署的示意图。
通过分布式代理来实现不同主机共享相同的配置策略，可以支持配置的批量部署，最终降低DBA的技能要求与工作量，并降低***的总体维护成本。
此外，因为在数据中心环境下，可能存在多种数据库类型，比如Oracle、DB2、MS SQL、Sybase等多种类型，并且各种数据库可能有不同的版本，而且不同类型数据库的管理命令与访问接口都有较大差异，甚至相同类型但不同版本的数据库的管理命令和访问接口可能都不相同。对数据中心的DBA而言，管理和维护数据库***是一个繁重的工作。而在本发明的实施例中，通过在混合存储环境下配置存储设备的***对数据库对象管理的统一抽象与集中配置，可以将数据库***的异构性屏蔽，从而降低DBA的管理难度。
在上面的描述当中，是以数据库***中的数据库对象为例进行的描述，但是本领域技术人员可以理解，根据本发明实施例的在混合存储环境下配置存储设备的方法和***也可以应用于数据库***以外的其它应用***中的数据对象，从而为不同的数据对象配置不同的存储设备。在其它应用***中的数据对象的情况下，也可以由用户为各个数据对象设置不同的优先级，并根据计算出的每个存储设备的优先级进行匹配。本发明的实施例并不意在对此进行任何限制。
通过上述根据本发明实施例的在混合存储环境下配置存储设备的方法和***，可以提供存储设备的抽象模型、综合性优先级分值计算方法以及与数据对象的自动匹配机制，实现混合存储环境下数据对象与存储设备的自动配置，避免了人工参与，从而降低了安全性风险、提高了***性能并降低了***能耗。
此外，通过支持分布式部署功能，不同的数据***可共享同一种配置策略，实现了网络环境下多台服务器的批量配置，在数据中心应用场景下大大降低了DBA的工作量。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种混合存储环境下配置存储设备的方法，包括：
获取多个存储设备中每个存储设备的多个属性参数；
通过对所述属性参数进行计算而获得每个存储设备的优先级；
获取每个数据对象的存储优先级；
根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
2.如权利要求1所述的方法，在根据数据对象的存储优先级和每个存储设备的优先级进行匹配的步骤之后进一步包括：
产生每个数据对象的存储设备配置信息；
将每个数据对象的存储设备配置信息写入到所述数据对象的配置文件中，以将所述数据对象存储到其配置的存储设备中。
3.如权利要求1所述的方法，其中，所述属性参数包括以下的至少其中之一：容量、延迟、带宽、成本、能耗、体积大小。
4.如权利要求3所述的方法，通过对所述属性参数进行计算而获得每个存储设备的优先级具体包括：
根据以下公式(1)计算每个存储设备的综合优先级分数：
p = ( a 1 × Capacity + a 2 × Bandwidth ) a 3 × Latency + a 4 × Cost + a 5 × Energy + a 6 × Size 公式(1)
其中，a1至a6为可由用户设置的影响因子，每个大于等于0并小于1；
根据综合优先级分数确定每个存储设备的优先级。
5.如权利要求1所述的方法，其中，所述数据对象为数据库***中的数据库对象，且获取每个数据对象的存储优先级的步骤具体包括：
建立数据库对象集D0：
DO＝{TableSpace，Table，Index，Log，TempData}
所述数据库对象集DO包括表空间、表、索引、日志和临时数据这五类数据库对象；
其中，可由用户设置每个数据库对象的存储优先级。
6.如权利要求3所述的方法，其中，通过主动探测机制获取存储设备的延迟参数，所述主动探测机制具体为：
对每个存储设备主动地进行多次随机与顺序读写，以获得每次的访问延迟；
基于每次的访问延迟计算出平均的访问延迟，以作为所述存储设备的延迟参数。
7.如权利要求2所述的方法，其中，通过提供对于不同操作***和不同数据对象类型统一的抽象接口从多个存储设备中每个存储设备获取多个属性参数和将每个数据对象的存储设备配置信息写入到所述数据对象的配置文件中。
8.一种混合存储环境下配置存储设备的***，包括：
设备参数获取装置，用于获取多个存储设备中每个存储设备的多个属性参数；
设备优先级计算装置，与所述设备参数获取装置连接，用于通过对所述属性参数进行计算而获得每个存储设备的优先级；
对象优先级获取装置，用于获取每个数据对象的存储优先级；
匹配装置，与所述设备优先级计算装置和所述对象优先级获取装置连接，用于根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中。
9.如权利要求8所述的***，进一步包括：
配置信息产生装置，与所述匹配装置连接，用于产生每个数据对象的存储设备配置信息；
配置信息写入装置，与所述配置信息产生装置连接，用于将每个数据对象的存储设备配置信息写入到所述数据对象的配置文件中，以将所述数据对象存储到其配置的存储设备中。
10.如权利要求8所述的***，其中，所述属性参数包括以下的至少其中之一：容量、延迟、带宽、成本、能耗、体积大小。
11.如权利要求10所述的***，所述设备优先级计算装置具体用于：
根据以下公式(1)计算每个存储设备的综合优先级分数：
p = ( a 1 × Capacity + a 2 × Bandwidth ) a 3 × Latency + a 4 × Cost + a 5 × Energy + a 6 × Size 公式(1)
其中，a1至a6为可由用户设置的影响因子，每个大于等于0并小于1；
根据综合优先级分数确定每个存储设备的优先级。
12.如权利要求8所述的***，其中，所述数据对象为数据库***中的数据库对象，且所述对象优先级获取装置具体用于：
建立数据库对象集DO：
DO＝{TableSpace，Table，Index，Log，TempData}
所述数据库对象集DO包括表空间、表、索引、日志和临时数据这五类数据库对象；
其中，可由用户设置每个数据库对象的存储优先级。
13.如权利要求10所述的***，其中，所述设备参数获取装置包括主动探测机制，用于获取存储设备的延迟参数，所述主动探测机制具体为：
对每个存储设备主动地进行多次随机与顺序读写，以获得每次的访问延迟；
基于每次的访问延迟计算出平均的访问延迟，以作为所述存储设备的延迟参数。
14.如权利要求9所述的***，进一步包括：
对于不同操作***和不同数据对象类型统一的抽象接口，与所述设备参数获取装置和所述配置信息写入装置连接，
其中，所述设备参数获取装置用于通过所述抽象接口从多个存储设备中每个存储设备获取多个属性参数，且
所述配置信息写入装置用于通过所述抽象接口将每个数据对象的存储设备配置信息写入到所述数据对象的配置文件中。
15.一种混合存储环境下配置存储设备的分布式***，包括：
多个代理端，每个代理端包括：
设备参数获取装置，用于获取多个存储设备中每个存储设备的多个属性参数；
集中配置服务端，包括：
设备优先级计算装置，与每个代理端的每个设备参数获取装置连接，用于通过对所述属性参数进行计算而获得每个存储设备的优先级；
对象优先级获取装置，用于获取每个数据对象的存储优先级；
匹配装置，与所述设备优先级计算装置和所述对象优先级获取装置连接，用于根据数据对象的存储优先级和每个存储设备的优先级进行匹配，以将每个数据对象存储到具有与其存储优先级对应的优先级的存储设备中；
所述每个代理端进一步包括：
配置信息产生装置，与所述匹配装置连接，用于产生每个数据对象的存储设备配置信息；
数据对象存储装置，与所述配置信息产生装置连接，用于将每个数据对象的存储设备配置信息写入到所述数据对象的配置文件中，以将所述数据对象存储到其配置的存储设备中。
CN201180002006.7A 2011-09-30 2011-09-30 在混合存储环境下配置存储设备的方法和*** Active CN102388358B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/080451 WO2012119449A1 (zh) 2011-09-30 2011-09-30 在混合存储环境下配置存储设备的方法和***

Publications (2)

Publication Number Publication Date
CN102388358A true CN102388358A (zh) 2012-03-21
CN102388358B CN102388358B (zh) 2014-07-09

Family

ID=45826486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180002006.7A Active CN102388358B (zh) 2011-09-30 2011-09-30 在混合存储环境下配置存储设备的方法和***

Country Status (4)

Country Link
US (1) US9171021B2 (zh)
EP (1) EP2738664B1 (zh)
CN (1) CN102388358B (zh)
WO (1) WO2012119449A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077221A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种海量数据自动放置装置和方法
CN103077219A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种数据自动放置方法和装置
CN103455283A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种混合存储***
US8812744B1 (en) 2013-03-14 2014-08-19 Microsoft Corporation Assigning priorities to data for hybrid drives
CN104035880A (zh) * 2014-06-09 2014-09-10 南京邮电大学 一种多种存储介质并存下的多路数据分配方法
CN104142949A (zh) * 2013-05-10 2014-11-12 北京航天长峰科技工业集团有限公司 一种基于结构化和非结构化数据的统一管理方法
CN104216935A (zh) * 2013-11-08 2014-12-17 腾讯科技(成都)有限公司 一种文件查找的方法及终端
WO2015021919A1 (zh) * 2013-08-13 2015-02-19 华为技术有限公司 用于多种存储器间的数据存储调度方法以及装置
CN104866521A (zh) * 2014-02-20 2015-08-26 株式会社特迈数据 处理具有混合存储器的数据库中的查询的设备和方法
WO2016082519A1 (zh) * 2014-11-25 2016-06-02 华为技术有限公司 一种异构存储优化方法及装置
US9626126B2 (en) 2013-04-24 2017-04-18 Microsoft Technology Licensing, Llc Power saving mode hybrid drive access management
CN107430883A (zh) * 2015-03-11 2017-12-01 高通股份有限公司 使用串联磁性隧道结的多位自旋转移矩磁阻随机存取存储器stt‑mram
US9946495B2 (en) 2013-04-25 2018-04-17 Microsoft Technology Licensing, Llc Dirty data management for hybrid drives
WO2019028988A1 (zh) * 2017-08-10 2019-02-14 上海壹账通金融科技有限公司 数据处理方法、电子设备及计算机可读存储介质
CN109407986A (zh) * 2018-10-17 2019-03-01 深圳市硅格半导体有限公司 实时更新设备运行参数的方法、***、服务器及存储介质
CN111399748A (zh) * 2019-01-02 2020-07-10 ***通信有限公司研究院 一种数据放置方法、装置和计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150373114A1 (en) * 2014-06-23 2015-12-24 Synchronoss Technologies, Inc. Storage abstraction layer and a system and a method thereof
CN105612505B (zh) * 2014-09-17 2018-12-14 华为技术有限公司 Cpu调度的方法和装置
US10466936B2 (en) * 2014-09-26 2019-11-05 Oracle International Corporation Scalable, multi-dimensional search for optimal configuration
US20160306822A1 (en) * 2015-04-17 2016-10-20 Samsung Electronics Co., Ltd. Load balancing of queries in replication enabled ssd storage
US11093556B2 (en) 2015-10-30 2021-08-17 Convida Wireless, Llc Restful operations for semantic IoT
US10459666B2 (en) 2017-03-03 2019-10-29 Commvault Systems, Inc. Using storage managers in respective data storage management systems for license distribution, compliance, and updates
WO2020232639A1 (zh) * 2019-05-21 2020-11-26 西门子股份公司 配置参数的方法、装置、***、计算设备、介质以及产品
CN116982023A (zh) * 2021-02-10 2023-10-31 阿里巴巴集团控股有限公司 使用对象属性促进对象存储
CN114691033A (zh) * 2022-02-17 2022-07-01 阿里巴巴（中国）有限公司 数据复制方法、数据储存***控制方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1117612A (zh) * 1993-12-15 1996-02-28 佳能株式会社 输出控制装置及其实现方法
US20050268041A1 (en) * 2004-05-31 2005-12-01 Shirou Yoshioka Cache memory, system, and method of storing data
CN1783316A (zh) * 2004-11-06 2006-06-07 三星电子株式会社 信息存储介质、记录/再现设备和方法以及主机

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2586219B2 (ja) * 1990-12-20 1997-02-26 日本電気株式会社 高速媒体優先解放型排他方式
US6751600B1 (en) * 2000-05-30 2004-06-15 Commerce One Operations, Inc. Method for automatic categorization of items
ATE480822T1 (de) * 2001-02-13 2010-09-15 Candera Inc Failover-verarbeitung in einem speicherungssystem
US7269612B2 (en) * 2002-05-31 2007-09-11 International Business Machines Corporation Method, system, and program for a policy based storage manager
US7062628B2 (en) * 2004-09-28 2006-06-13 Hitachi, Ltd. Method and apparatus for storage pooling and provisioning for journal based storage and recovery
US20090132621A1 (en) * 2006-07-28 2009-05-21 Craig Jensen Selecting storage location for file storage based on storage longevity and speed
US7870128B2 (en) * 2006-07-28 2011-01-11 Diskeeper Corporation Assigning data for storage based on speed with which data may be retrieved
CN100530069C (zh) * 2006-10-13 2009-08-19 中国科学院计算技术研究所 一种非同质存储设备的虚拟化***及方法
US7584335B2 (en) * 2006-11-02 2009-09-01 International Business Machines Corporation Methods and arrangements for hybrid data storage
US8176180B2 (en) * 2007-06-04 2012-05-08 International Business Machines Corporation Dynamically matching data service capabilities to data service level objectives
US20090043831A1 (en) * 2007-08-11 2009-02-12 Mcm Portfolio Llc Smart Solid State Drive And Method For Handling Critical Files
US20090228669A1 (en) * 2008-03-10 2009-09-10 Microsoft Corporation Storage Device Optimization Using File Characteristics
KR101636777B1 (ko) 2008-08-08 2016-07-21 시게이트 테크놀로지 엘엘씨 하이브리드 저장 장치 및 그에 대한 논리 블록 어드레스 할당 방법
CN101819459B (zh) * 2010-03-31 2011-08-03 中国人民解放军国防科学技术大学 一种基于异构对象存储***的功耗控制方法
CN101907978B (zh) 2010-07-27 2011-12-07 浙江大学 基于固态硬盘和磁性硬盘的混合存储***及存储方法
US8656454B2 (en) * 2010-12-01 2014-02-18 Microsoft Corporation Data store including a file location attribute
CN102200936A (zh) * 2011-05-11 2011-09-28 杨钧 适用于云存储的智能配置存储备份方法
US9130842B2 (en) * 2011-08-30 2015-09-08 Qatar Foundation System and method for latency monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1117612A (zh) * 1993-12-15 1996-02-28 佳能株式会社 输出控制装置及其实现方法
US20050268041A1 (en) * 2004-05-31 2005-12-01 Shirou Yoshioka Cache memory, system, and method of storing data
CN1783316A (zh) * 2004-11-06 2006-06-07 三星电子株式会社 信息存储介质、记录/再现设备和方法以及主机

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077219A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种数据自动放置方法和装置
CN103077221A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种海量数据自动放置装置和方法
US8812744B1 (en) 2013-03-14 2014-08-19 Microsoft Corporation Assigning priorities to data for hybrid drives
WO2014158929A1 (en) * 2013-03-14 2014-10-02 Microsoft Corporation Assigning priorities to data for hybrid drives
US9323460B2 (en) 2013-03-14 2016-04-26 Microsoft Technology Licensing, Llc Assigning priorities to data for hybrid drives
US9626126B2 (en) 2013-04-24 2017-04-18 Microsoft Technology Licensing, Llc Power saving mode hybrid drive access management
US9946495B2 (en) 2013-04-25 2018-04-17 Microsoft Technology Licensing, Llc Dirty data management for hybrid drives
CN104142949A (zh) * 2013-05-10 2014-11-12 北京航天长峰科技工业集团有限公司 一种基于结构化和非结构化数据的统一管理方法
WO2015021919A1 (zh) * 2013-08-13 2015-02-19 华为技术有限公司 用于多种存储器间的数据存储调度方法以及装置
CN103455283B (zh) * 2013-08-19 2016-01-20 华中科技大学 一种混合存储***
CN103455283A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种混合存储***
CN104216935A (zh) * 2013-11-08 2014-12-17 腾讯科技(成都)有限公司 一种文件查找的方法及终端
CN104216935B (zh) * 2013-11-08 2018-02-27 腾讯科技(成都)有限公司 一种文件查找的方法及终端
CN104866521A (zh) * 2014-02-20 2015-08-26 株式会社特迈数据 处理具有混合存储器的数据库中的查询的设备和方法
CN104866521B (zh) * 2014-02-20 2018-10-12 株式会社特迈数据 处理具有混合存储器的数据库中的查询的设备和方法
CN104035880A (zh) * 2014-06-09 2014-09-10 南京邮电大学 一种多种存储介质并存下的多路数据分配方法
WO2016082519A1 (zh) * 2014-11-25 2016-06-02 华为技术有限公司 一种异构存储优化方法及装置
CN107430883A (zh) * 2015-03-11 2017-12-01 高通股份有限公司 使用串联磁性隧道结的多位自旋转移矩磁阻随机存取存储器stt‑mram
CN107430883B (zh) * 2015-03-11 2021-03-12 高通股份有限公司 使用串联磁性隧道结的多位自旋转移矩磁阻随机存取存储器stt-mram
WO2019028988A1 (zh) * 2017-08-10 2019-02-14 上海壹账通金融科技有限公司 数据处理方法、电子设备及计算机可读存储介质
CN109407986A (zh) * 2018-10-17 2019-03-01 深圳市硅格半导体有限公司 实时更新设备运行参数的方法、***、服务器及存储介质
CN109407986B (zh) * 2018-10-17 2021-09-10 深圳市硅格半导体有限公司 实时更新设备运行参数的方法、***、服务器及存储介质
CN111399748A (zh) * 2019-01-02 2020-07-10 ***通信有限公司研究院 一种数据放置方法、装置和计算机可读存储介质
CN111399748B (zh) * 2019-01-02 2023-09-05 ***通信有限公司研究院 一种数据放置方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
EP2738664A1 (en) 2014-06-04
EP2738664A4 (en) 2014-07-09
US20140207827A1 (en) 2014-07-24
WO2012119449A1 (zh) 2012-09-13
US9171021B2 (en) 2015-10-27
CN102388358B (zh) 2014-07-09
EP2738664B1 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
CN102388358B (zh) 在混合存储环境下配置存储设备的方法和***
CN102270225B (zh) 数据变更日志监控方法和数据变更日志监控装置
CN102741843B (zh) 从数据库中读取数据的方法及装置
CN102937882B (zh) 对具有使用位图的存储设备的有效访问
CN101582076A (zh) 一种基于数据库的重复数据删除方法
CN107291889A (zh) 一种数据存储方法及***
CN102141992B (zh) 多维数据库存储及查询的方法
CN102508789A (zh) 一种***分级存储的方法
CN102841931A (zh) 分布式文件***的存储方法及装置
CN104112008A (zh) 一种多表数据关联查询优化方法和装置
CN102541990A (zh) 利用虚拟分区的数据库重新分布方法和***
EP2286342A1 (en) Storage performance optimization
CN102708158A (zh) 一种PostgreSQL云存储归档调度***
CN105069109A (zh) 一种分布式数据库扩容的方法和***
CN104536908B (zh) 一种面向单机的海量小记录高效存储管理方法
CN102779138A (zh) 实时数据的硬盘存取方法
CN102682108A (zh) 一种行列混合的数据库存储方法
CN110083490A (zh) 一种数据库备份方法、还原方法以及存储介质
CN110096509A (zh) 大数据环境下实现历史数据拉链表存储建模处理的***及方法
CN104182302A (zh) 数据库备份方法及装置
CN106951456B (zh) 一种内存数据库***及数据处理***
CN102932416A (zh) 一种信息流任务的中间数据存储方法、处理方法及装置
US20090282044A1 (en) Energy Efficient Data Provisioning
CN103793382A (zh) 一种数据库的数据处理方法及***
CN105574027A (zh) 基于oltp/olap混合应用下多维度性能数据存储方法、装置及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant