CN111443870B - 一种数据处理的方法、设备及存储介质 - Google Patents

一种数据处理的方法、设备及存储介质 Download PDF

Info

Publication number
CN111443870B
CN111443870B CN202010222821.5A CN202010222821A CN111443870B CN 111443870 B CN111443870 B CN 111443870B CN 202010222821 A CN202010222821 A CN 202010222821A CN 111443870 B CN111443870 B CN 111443870B
Authority
CN
China
Prior art keywords
data
state
service
scheduling
routing table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010222821.5A
Other languages
English (en)
Other versions
CN111443870A (zh
Inventor
李亮
陈西
蔡光欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010222821.5A priority Critical patent/CN111443870B/zh
Publication of CN111443870A publication Critical patent/CN111443870A/zh
Application granted granted Critical
Publication of CN111443870B publication Critical patent/CN111443870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据处理的方法、设备及存储介质，应用于云计算领域，基于调度决策策略合理地对数据存储进行扩容或缩容，并相应的增加或减少数据存储配置，减少存储成本，并基于调度决策决策确定的数据路由表动态地转到不同的数据存储器，从不同的数据存储器获取访问资源，减少数据存储装置的存储内存，避免了资源冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。前述的数据处理的方法包括：获取目标业务状态；对目标业务状态进行数据资源调度处理，以得到调度决策策略；基于调度决策策略确定数据路由表；向数据存储装置发送数据路由表，以使得数据存储装置基于数据路由表确定与目标业务状态相匹配的访问资源。

Description

一种数据处理的方法、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，具体涉及一种数据处理的方法、设备及存储介质。
背景技术
数据存储作为底层的基础建设，在分层架构的基础上，该数据存储能够与上层业务解耦，便于水平扩展和独立升级维护。目前，传统的做法是在分层架构的基础上，基于线上响应的历史使用情况，例如请求峰值、平均耗时等数据，通过迁移、扩容、缩容等动态调整该上层业务所需要的配置资源。
然而，采用目前的方式来处理个性化的B端(又称为：企业用户商家)业务需求时，由于B端业务的个性化的业务需求、突发紧急情况的响应、需求变化具有随机性以及需求变化浮动剧烈等业务特点，使得基于历史使用情况的处理方式虽然在一定程度上改善资源浪费和响应延迟的问题，但是由于分层架构的设计缘故，使得底层的数据存储无法感知上层业务的业务需求，从而导致底层的数据存储为了满足上层业务对数据的访问需求，存在大量资源的冗余和浪费，并且难以提供稳定的业务服务。
发明内容
本申请实施例提供了一种数据处理的方法、设备及存储介质，基于调度决策策略将使用频繁的数据存储进行扩容并增加相应的数据存储配置，而对于不频繁使用的数据存储则进行缩容并降低数据存储配置，减少了存储成本，另外基于调度决策决策确定数据路由表，能够基于数据路由表动态地转到不同的数据存储器上，从而从不同的数据存储器中获取访问资源，减少数据存储装置的存储内存，避免了资源的冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。
有鉴于此，本申请实施例提供如下方案：
第一方面，本申请实施例提供一种数据处理的方法，该方法可以包括：
获取目标业务状态；
对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；
基于所述调度决策策略确定数据路由表；
向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
第二方面，本申请实施例提供了一种数据处理的方法，该方法可以包括：
收自适应调度装置发送的数据路由表，所述数据路由表由所述自适应调度装置基于对目标业务状态进行数据资源调度处理后得到的调度决策策略确定；
基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
第三方面，本申请实施例提供一种自适应调度装置，该自适应调度装置可以包括：
获取单元，用于获取目标业务状态；
处理单元，用于对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；
确定单元，用于根据所述调度决策策略确定数据路由表；
发送单元，用于向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
可选地，结合上述第三方面，在第一种可能的实现方式中，所述目标业务状态包括业务计划状态、业务启动状态、业务进行状态或业务完成状态。
可选地，结合上述第三方面第一种可能的实现方式，在第二种可能的实现方式中，所述确定单元，还用于在获取目标业务状态之后，确定所述业务计划状态的第一优先级、所述业务启动状态的第二优先级、所述业务进行状态的第三优先级或所述业务完成状态的第四优先级，其中，所述第三优先级大于所述第二优先级，所述第二优先级大于所述第一优先级，所述第一优先级大于所述第四优先级，所述第一优先级用于指示所述业务计划状态对于所述调度决策策略的优先级需求，所述第二优先级用于指示所述业务启动状态对于所述调度决策策略的优先级需求，所述第三优先级用于指示所述业务进行状态对于所述调度决策策略的优先级需求，所述第四优先级用于指示所述业务完成状态对于所述调度决策策略的优先级需求。
可选地，结合上述第三方面、及第三方面第一种至第二种可能的实现方式，在第三种可能的实现方式中，所述处理单元，包括：
分解模块，用于对所述目标业务状态进行分解，得到业务存储需求信息；
确定模块，用于根据所述业务存储需求信息确定调度决策策略。
可选地，结合上述第三方面、以及第三方面第三种可能的实现方式，在第四种可能的实现方式中，所述确定模块，用于通过访问量预估模型或空间预估模型对所述目标业务状态进行处理，以计算数据存储位置和数据复制数量；
所述确定模块，用于通过所述访问量预估模型或时间预估模型对所述目标业务状态进行处理，以计算数据迁移时间和数据上线时间；
所述确定模块，用于确定数据存储位置、数据复制数量、数据迁移时间和数据上线时间为业务存储需求信息。
第四方面，本申请实施例提供一种数据存储装置，该数据存储装置包括：
接收单元，用于接收自适应调度装置发送的数据路由表，所述数据路由表由所述自适应调度装置基于对目标业务状态进行数据资源调度处理后得到的调度决策策略确定；
确定单元，用于基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
第五方面，本申请实施例提供一种计算机设备，该计算机设备包括：
包括：输入/输出(I/O)接口、处理器和存储器，
存储器中存储有程序指令；
处理器用于执行存储器中存储的程序指令，以用于实现如上述第一方面、第二方面、第一方面任意一种以及第二方面任意一种可能实现方式的方法。
本申请第六方面提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行如第一方面、第二方面、第一方面任意一种以及第二方面任意一种可能实现方式的方法。
本申请实施例的第七方面提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，自适应调度装置基于对目标业务状态进行数据资源调度处理得到调度决策策略后，能够基于该调度决策策略确定出数据路由表，并想数据存储装置发送数据路由表，使得数据存储装置基于该数据路由表确定与目标业务状态相匹配的访问资源。实施例中，基于调度决策策略将使用频繁的数据存储进行扩容并增加相应的数据存储配置，而对于不频繁使用的数据存储则进行缩容并降低数据存储配置，减少了存储成本，另外基于调度决策决策确定数据路由表，能够基于数据路由表动态地转到不同的数据存储器上，从而从不同的数据存储器中获取访问资源，减少数据存储装置的存储内存，避免了资源的冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1是本申请实施例提供的数据处理***的一个架构示意图；
图2是本申请实施例提供的数据处理的方法的一个实施例示意图；
图3是本申请实施例中提供的一种数据资源调度处理的处理流程图；
图4是本申请实施例中提供的数据路由表的示意图；
图5是本申请实施例中提供的一个数据处理流程图；
图6是本申请实施例中提供的自适应调度装置的一个实施例示意图；
图7是本申请实施例提供的数据存储装置的一个实施例示意图；
图8是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
本申请实施例提供了一种数据处理的方法、设备及存储介质，基于调度决策策略将使用频繁的数据存储进行扩容并增加相应的数据存储配置，而对于不频繁使用的数据存储则进行缩容并降低数据存储配置，减少了存储成本，另外基于调度决策决策确定数据路由表，能够基于数据路由表动态地转到不同的数据存储器上，从而从不同的数据存储器中获取访问资源，减少数据存储装置的存储内存，避免了资源的冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。
而云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储***(以下简称存储***)是指通过集群应用、网格技术以及分布存储文件***等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储***。
目前，存储***的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件***上，文件***将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID entity，ID)等额外的信息，文件***将每个对象分别写入该逻辑卷的物理存储空间，且文件***会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件***能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储***为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(redundant array of independent disk，RAID)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
目前，在调整配置资源的传统做法是在分层架构的基础上，基于线上响应的历史使用情况，例如请求峰值、平均耗时等数据，通过迁移、扩容、缩容等动态调整该上层业务所需要的配置资源。而采用目前的方式来处理个性化的B端(又称为：企业用户商家)业务需求时，由于B端业务的个性化的业务需求、突发紧急情况的响应、需求变化具有随机性以及需求变化浮动剧烈等业务特点，使得基于历史使用情况的处理方式虽然在一定程度上改善资源浪费和响应延迟的问题，但是由于分层架构的设计缘故，使得底层的数据存储无法感知上层业务的业务需求，从而导致底层的数据存储为了满足上层业务对数据的访问需求，存在大量资源的冗余和浪费，并且难以提供稳定的业务服务，难以及时地响应紧急情况。
为了解决上述问题，本申请实施例中提供了一种数据处理的方法，该方法应用于图1所描述的数据处理***。请参阅图1，为本申请实施例提供的数据处理***的一个***架构示意图。如图1所示，该***架构示意图中包括业务侧访问设备、自适应调度装置以及数据存储装置。其中，业务侧访问设备用于提供需要申请数据存储资源的目标业务需求，在该目标业务需求中包括有目标业务状态，并且明确该目标业务状态中哪些是业务计划状态、业务启动状态、业务进行状态以及业务完成状态，这样业务侧访问设备才会将该目标业务状态发送至自适应调度装置。这样自适应调度装置便可以基于目标业务状态处于不同的状态时，对业务存储需求的变化进行数据资源调度处理，从而基于调度决策策略确定出动态的数据路由表，并分发至处于数据存储底层的数据存储装置中，从而使得数据存储装置基于动态的数据路由表确定与该目标业务状态相匹配的访问资源，提前部署，精确满足业务侧访问设备对数据存储的业务需求。
应当理解的是，上述所提及的业务侧访问设备还需要提供目标业务状态对应的状态输出接口。另外，从图1中还可以看出，在该自适应调度装置中具体可以包括用于接收目标状态业务的业务状态接收器、用于对目标业务状态进行数据资源调度处理的自适应调度处理器以及数据调度控制器，从而确定出数据路由表。前述的数据存储装置可以包括但不限于数据物理存储装置、云存储等等，具体在本申请实施例中将不做限定。
本实施例中的数据处理的方法除了可以适用于上述图1所示的***架构，还可以适用于其他***架构，具体此处不作限定。
为了便于理解，本申请实施例中提供了一种数据处理的方法，请参阅图2，为本申请实施例提供的数据处理的方法的一个实施例示意图。
如图2所示，本申请实施例提供的数据处理的方法可以包括：
201、自适应调度装置获取目标业务状态。
本实施例中，业务侧访问设备在申请数据存储资源时，会生成相应的目标业务需求，并且在该目标业务需求中携带了相应的目标业务状态，如：哪些是业务计划状态、业务启动状态、业务进行状态以及业务完成状态。这样，业务侧访问设备便可以通过目标业务需求将目标业务状态发送至自适应调度装置，从而使得自适应调度装置获取到相应的目标业务状态。
可选的，在一些实施例中，目标业务状态包括业务计划状态、业务启动状态、业务进行状态或业务完成状态。
不同的业务状态包括有不同的业务需求量。举例来说，业务计划状态、业务启动状态、业务进行状态或业务完成状态可以理解成，假设以地图数据制作为例，业务方计划在3月15日-3月16日实施某区的红绿灯数据采集项目，那么在3月15日之前，业务侧访问设备会将该计划中的采集时间、数据量等业务信息上传至自适应调度装置，此时称之为业务计划状态；而在3月15日该业务启动，业务侧访问设备会将该启动时间、服务的响应时延等启动信息告知自适应调度装置，此时称之为业务启动状态；3月15-3月16日进行红绿灯数据的采集，业务侧访问设备会将具体的采集时间、业务指标等信息告知自适应调度装置，此时称之为业务进行状态；在3月17日该业务完成时，即红绿灯数据采集完毕，此时称之为业务完成状态。应理解的是，前述的3月15日-3月16日实施某区的红绿灯数据采集项目仅仅是一个示意性的描述，具体在本申请实施例中将不对业务进行限定说明。
可选的，在另一些实施例中，由于不同的业务状态对于数据存储资源的优先级需求和策略是不同的，因此，自适应调度装置在获取到目标业务状态之后，还可以确定所述业务计划状态的第一优先级、所述业务启动状态的第二优先级、所述业务进行状态的第三优先级或所述业务完成状态的第四优先级。
也就是说，自适应调度装置在获取到不同的业务状态后，基于不同的业务状态的优先级优先配置相应的调度决策策略，即第一优先级用于指示业务计划状态对于调度决策策略的优先级需求，第二优先级用于指示业务启动状态对于调度决策策略的优先级需求，第三优先级用于指示业务进行状态对于调度决策策略的优先级需求，第四优先级用于指示业务完成状态对于调度决策策略的优先级需求。
一般情况下，业务进行状态所需要的数据存储资源大于业务启动状态所需要的数据存储资源，而业务启动状态所需要的数据存储资源又大于业务计状态所需要的数据存储资源，而业务计划状态所需要的数据存储资源又大于业务完成状态所需要的数据存储资源，因此业务进行状态对应的第三优先级大于业务启动状态对应的第二优先级，业务启动状态对应的第二优先级大于业务计划状态对应的第一优先级，业务计划状态对应的第一优先级大于业务完成状态对应的第四优先级。也就是说，自适应调度装置在基于目标业务状态确定出对应的调度决策策略的时候，还可以依据目标业务状态中的不同业务状态对应的优先级来决定优先处理哪个业务状态，以及为哪个业务状态优先配置对应的调度决策策略。
202、自适应调度装置对目标业务状态进行数据资源调度处理，以得到调度决策策略。
本实施例中，自适应调度装置在获取到目标业务状态后，可以对该目标业务状态进行数据资源调度处理，从而得到与该目标业务状态相匹配的调度决策策略，该调度决策策略可以用来对数据存储配置信息进行调度，比如对数据存储配置信息进行存储的扩容、下线、新增、缩容或迁移等操作。
可选的，在另一些实施例中，对于自适应调度装置对目标业务状态进行数据资源调度处理，得当调度决策策略，可以通过以下方式进行，即：
自适应调度装置对目标业务状态进行分解，得到业务存储需求信息；
自适应调度装置基于业务存储需求信息确定调度决策策略。
本实施例中，自适应调度装置对目标业务状态进行分解的过程，可以理解成主要是对目标业务状态中所包括的业务需求量进行数字化，从而分解成能够被计算机处理，并转换得到业务存储需求信息，例如：数据存储位置、数据迁移时间、数据上线时间或者数据复制数量等等。自适应调度装置基于这些业务存储需求信息能够生成调度决策策略，从而进行对数据存储配置信息的调度决策，例如：自适应调度装置可以实时地对业务指标进行监测，例如：全球定位***(global positioning system，GPS)、分业务线、分省市、分接口等业务指标信息，在数据存储资源不足时，自适应调度装置可以基于业务存储需求信息生成扩容的调度决策策略，从而基于该扩容的调度决策策略对数据存储配置信息进行数据存储扩容；当然了，在数据存储资源大大地满足时，也可以基于缩容的调度决策策略对数据存储配置信息进行数据存储缩容等等。
应该理解的是，调度决策策略除了前述的扩容、缩容以外，还可以包括新增、下线等，具体在本申请实施例中将不做限定。
可选的，在另一些实施例中，所述自适应调度装置对所述目标业务状态进行分解，得到业务存储需求信息，包括：
所述自适应调度装置通过访问量预估模型或空间预估模型对所述目标业务状态进行处理，以计算数据存储位置和数据复制数量；
所述自适应调度装置通过所述访问量预估模型或时间预估模型对所述目标业务状态进行处理，以计算数据迁移时间、数据上线时间；
所述自适应调度装置确定数据存储位置、数据复制数量、数据迁移时间和数据上线时间为业务存储需求信息。
也就是理解成，自适应调度装置在对目标业务状态进行分解的过程中，可以基于访问量、空间、以及时间这三种处理方式进行分解，得到目标业务需求在不同维度的数据存储资源的预估量，从而以此不同维度的数据存储资源的预估量作为前述的业务存储需求信息。
每一种处理方式都存在相应的预估模型，自适应调度装置可以通过访问量预估模型和空间预估模型对目标业务状态进行处理，以计算出该目标业务状态对应的数据存储位置和数据复制数量；并且可以通过前述的访问量预估模型和时间预估模型计算出该目标业务状态对应的数据迁移时间和数据上线时间。这样，自适应调度装置便可以将这些数据存储位置、数据复制数量、数据迁移时间和数据上线时间确定为业务存储需求信息了。具体地，可以参照图3，为本申请实施例中提供的一种数据资源调度处理的处理流程图。从图3可以看出，自适应调度装置在获取到目标业务状态后，可以先对目标业务状态先进行分解，从而基于访问量预估、空间预估计算数据存储位置、数据复制数量，以及基于访问量估计、时间估计计算数据迁移时间和数据上线时间，这样便可以基于数据存储位置、数据复制数量、数据迁移时间和数据上线时间确定出调度决策策略。
可以理解的是，前述的访问量预估模型、空间预估模型以及时间预估模型均为已经预设好的预估模型，其中，访问量预估模型主要从访问量的维度来确定出数据存储位置、数据复制数量、数据迁移时间和数据上线时间，空间预估模型主要从空间的维度确定出数据存储位置和数据复制数量，而时间预估模型主要从时间的维度确定出数据迁移时间和数据上线时间。
203、自适应调度装置基于调度决策策略确定数据路由表。
本实施例中，由于调度决策策略可以用来对数据存储配置信息进行调度，比如对数据存储配置信息进行存储的扩容、下线、新增、缩容或迁移等操作，而对数据存储配置信息的调度过程会体现在数据路由表的变化，因此自适应调度装置在得到调度决策策略后便可以确定出数据路由表，该数据路由表是一个动态的路由表，包括有数据存储配置信息，该数据存储配置信息能够被数据存储装置用来确定出与目标业务状态相匹配的访问资源。
204、自适应调度装置向数据存储装置发送所述数据路由表。
本实施例中，自适应调度装置在得到数据路由表后，可以通过数据调度指令向数据存储装置发送该数据路由表，使得数据存储装置能够接收到相应的数据路由表。可以参照图4，为本申请实施例中提供的数据路由表的示意图。应当理解的是，在实际应用中还可以包括其他目标业务需求对应的数据路由表，具体在本申请实施例中将不做限定。
205、数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
本实施例中，由于数据路由表中仅仅记录了数据存储配置信息，并不存储对应的访问资源，因此，数据存储装置在接收到数据路由表后，可以基于该数据路由表中的数据存储配置信息动态地转到不同的数据存储器上，从而从不同的数据存储器中获取相应的访问资源。另外，还可以参照图5，为本申请实施例中提供的一个数据处理流程图。从图5中可以看出，自适应调度装置在接收了业务计划状态、业务启动状态。也去进行状态以及业务完成状态后，通过对这些业务状态进行自适应数据资源调度处理，得到数据路由表，并通过数据调度指令将该数据路由表下发至数据存储装置，例如：数据物理存储装置或云存储中。
本申请实施例中，自适应调度装置基于对目标业务状态进行数据资源调度处理得到调度决策策略后，能够基于该调度决策策略确定出数据路由表，并想数据存储装置发送数据路由表，使得数据存储装置基于该数据路由表确定与目标业务状态相匹配的访问资源。实施例中，基于调度决策策略将使用频繁的数据存储进行扩容并增加相应的数据存储配置，而对于不频繁使用的数据存储则进行缩容并降低数据存储配置，减少了存储成本，另外基于调度决策决策确定数据路由表，能够基于数据路由表动态地转到不同的数据存储器上，从而从不同的数据存储器中获取访问资源，减少数据存储装置的存储内存，避免了资源的冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是为了实现上述功能，包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的模块及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
下面对本申请实施例中的自适应调度装置60进行详细描述，请参阅图6，图6为本申请实施例中提供的自适应调度装置60的一个实施例示意图，该自适应调度装置60可以包括：
获取单元601，用于获取目标业务状态；
处理单元602，用于对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；
确定单元603，用于根据所述调度决策策略确定数据路由表；
发送单元604，用于向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
可选地，在上述图6对应的实施例的基础上，本申请实施例提供的自适应调度装置60的另一实施例中，所述目标业务状态包括业务计划状态、业务启动状态、业务进行状态或业务完成状态。
可选地，在上述图6对应的可选实施例的基础上，本申请实施例提供的自适应调度装置60的另一实施例中，所述确定单元603，还用于在获取目标业务状态之后，确定所述业务计划状态的第一优先级、所述业务启动状态的第二优先级、所述业务进行状态的第三优先级或所述业务完成状态的第四优先级，其中，所述第三优先级大于所述第二优先级，所述第二优先级大于所述第一优先级，所述第一优先级大于所述第四优先级，所述第一优先级用于指示所述业务计划状态对于所述调度决策策略的优先级需求，所述第二优先级用于指示所述业务启动状态对于所述调度决策策略的优先级需求，所述第三优先级用于指示所述业务进行状态对于所述调度决策策略的优先级需求，所述第四优先级用于指示所述业务完成状态对于所述调度决策策略的优先级需求。
可选地，在上述图6、以及可选的实施例的基础上，本申请实施例提供的自适应调度装置60的另一实施例中，所述处理单元602，包括：
分解模块，用于对所述目标业务状态进行分解，得到业务存储需求信息；
确定模块，用于根据所述业务存储需求信息确定调度决策策略。
可选地，在上述图6以及可选的实施例的基础上，本申请实施例提供的自适应调度装置60的另一实施例中，所述确定模块，用于通过访问量预估模型或空间预估模型对所述目标业务状态进行处理，以计算数据存储位置和数据复制数量；
所述确定模块，用于通过所述访问量预估模型或时间预估模型对所述目标业务状态进行处理，以计算数据迁移时间和数据上线时间；
所述确定模块，用于确定数据存储位置、数据复制数量、数据迁移时间和数据上线时间为业务存储需求信息。
上述主要从模块化功能实体的角度对本申请实施例中的自适应调度装置60进行了描述，下面将从模块化功能实体的角度对本申请实施例中的数据存储装置70进行描述。请参阅图7，为本申请实施例提供的数据存储装置70的一个实施例示意图。该数据存储装置70可以包括：
接收单元701，用于接收自适应调度装置发送的数据路由表，所述数据路由表由所述自适应调度装置基于对目标业务状态进行数据资源调度处理后得到的调度决策策略确定；
确定单元702，用于基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
上面从模块化功能实体的角度对本申请实施例中的自适应调度装置60和数据存储装置70进行描述，下面从硬件处理的角度对本申请实施例中的计算机设备进行描述。图8是本申请实施例提供的计算机设备的结构示意图，该计算机设备可以包括上述所描述的自适应调度装置60或数据存储装置70等，该计算机设备可因配置或性能不同而产生比较大的差异，该计算机设备可以包括至少一个处理器801，通信线路807，存储器803以及至少一个通信接口804。
处理器801可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，服务器IC)，或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路807可包括一通路，在上述组件之间传送信息。
通信接口804，使用任何收发器一类的装置，用于与其他装置或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
存储器803可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储装置，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储装置，存储器可以是独立存在，通过通信线路807与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器803用于存储执行本申请方案的计算机执行指令，并由处理器801来控制执行。处理器801用于执行存储器803中存储的计算机执行指令，从而实现本申请上述实施例提供的数据处理的方法。
可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。
在具体实现中，作为一种实施例，该计算机设备可以包括多个处理器，例如图8中的处理器801、处理器802。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个装置、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，该计算机设备还可以包括输出设备805和输入设备806。输出设备805和处理器801通信，可以以多种方式来显示信息。输入设备806和处理器801通信，可以以多种方式接收用户的输入。例如，输入设备806可以是鼠标、触摸屏装置或传感装置等。
上述的该计算机设备可以是一个通用装置或者是一个专用装置。在具体实现中，该计算机设备可以是台式机、便携式电脑、nas服务器、无线终端装置、嵌入式装置或有图8中类似结构的装置。本申请实施例不限定该计算机设备的类型。
在本申请实施例中，该计算机设备所包括的处理器801还具有以下功能：
获取目标业务状态；
对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；
基于所述调度决策策略确定数据路由表；
向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理的方法，其特征在于，包括：
获取目标业务状态；
对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；
基于所述调度决策策略确定数据路由表；
向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源；
所述对所述目标业务状态进行数据资源调度处理，以得到调度决策策略，包括：
对所述目标业务状态进行分解，得到业务存储需求信息；
基于所述业务存储需求信息确定调度决策策略。
2.根据权利要求1所述的方法，其特征在于，所述目标业务状态包括业务计划状态、业务启动状态、业务进行状态或业务完成状态。
3.根据权利要求2所述的方法，其特征在于，在获取目标业务状态之后，所述方法还包括：
确定所述业务计划状态的第一优先级、所述业务启动状态的第二优先级、所述业务进行状态的第三优先级或所述业务完成状态的第四优先级，其中，所述第三优先级大于所述第二优先级，所述第二优先级大于所述第一优先级，所述第一优先级大于所述第四优先级，所述第一优先级用于指示所述业务计划状态对于所述调度决策策略的优先级需求，所述第二优先级用于指示所述业务启动状态对于所述调度决策策略的优先级需求，所述第三优先级用于指示所述业务进行状态对于所述调度决策策略的优先级需求，所述第四优先级用于指示所述业务完成状态对于所述调度决策策略的优先级需求。
4.根据权利要求1所述的方法，其特征在于，对所述目标业务状态进行分解，得到业务存储需求信息，包括：
通过访问量预估模型或空间预估模型对所述目标业务状态进行处理，以计算数据存储位置和数据复制数量；
通过所述访问量预估模型或时间预估模型对所述目标业务状态进行处理，以计算数据迁移时间和数据上线时间；
确定所述数据存储位置、所述数据复制数量、所述数据迁移时间和所述数据上线时间为业务存储需求信息。
5.一种数据处理的方法，其特征在于，包括：
接收自适应调度装置发送的数据路由表，所述数据路由表由所述自适应调度装置基于对目标业务状态进行数据资源调度处理后得到的调度决策策略确定，所述调度决策策略由所述自适应调度装置对所述目标业务状态进行分解，得到业务存储需求信息，并基于所述业务存储需求信息确定；
基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
6.根据权利要求5所述的方法，其特征在于，基于所述数据路由表确定与所述目标业务状态相匹配的访问资源，包括：
基于所述数据路由表中的数据存储配置信息从至少一个数据存储器中获取与所述目标业务状态相匹配的访问资源。
7.一种自适应调度装置，其特征在于，包括：
获取单元，用于获取目标业务状态；
处理单元，用于对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；
确定单元，用于根据所述调度决策策略确定数据路由表；
发送单元，用于向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源；
所述处理单元，用于：
对所述目标业务状态进行分解，得到业务存储需求信息；
基于所述业务存储需求信息确定调度决策策略。
8.一种数据存储装置，其特征在于，包括：
接收单元，用于接收自适应调度装置发送的数据路由表，所述数据路由表由所述自适应调度装置基于对目标业务状态进行数据资源调度处理后得到的调度决策策略确定，所述调度决策策略由所述自适应调度装置对所述目标业务状态进行分解，得到业务存储需求信息，并基于所述业务存储需求信息确定；
确定单元，用于基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。
9.一种计算机设备，其特征在于，所述计算机设备包括：输入/输出(I/O)接口、处理器和存储器，
所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行如权利要求1-4、或5-6中任一所述的方法。
10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1-4、或5-6中一项所述的方法。
CN202010222821.5A 2020-03-26 2020-03-26 一种数据处理的方法、设备及存储介质 Active CN111443870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010222821.5A CN111443870B (zh) 2020-03-26 2020-03-26 一种数据处理的方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010222821.5A CN111443870B (zh) 2020-03-26 2020-03-26 一种数据处理的方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111443870A CN111443870A (zh) 2020-07-24
CN111443870B true CN111443870B (zh) 2021-08-03

Family

ID=71649051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010222821.5A Active CN111443870B (zh) 2020-03-26 2020-03-26 一种数据处理的方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111443870B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112394882B (zh) * 2020-11-17 2022-04-19 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置
CN113269514A (zh) * 2021-05-13 2021-08-17 企家有道网络技术(北京)有限公司 一种企业健康度衡量方法、装置及***
CN114710334A (zh) * 2022-03-23 2022-07-05 平安付科技服务有限公司 用于服务器的访问策略调整方法及***
CN115102898B (zh) * 2022-06-01 2023-07-07 中国联合网络通信集团有限公司 通信方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102487397A (zh) * 2010-12-02 2012-06-06 中兴通讯股份有限公司 基于节点底层安全等级的数据存储和路由方法、及节点
CN103067433A (zh) * 2011-10-24 2013-04-24 阿里巴巴集团控股有限公司 一种分布式存储***的数据迁移方法、设备和***
CN105516242A (zh) * 2015-11-23 2016-04-20 华为技术有限公司 一种存储资源分配方法及存储资源分配***
CN108768877A (zh) * 2018-07-20 2018-11-06 网宿科技股份有限公司 一种突发流量的分配方法、装置及代理服务器
CN109684078A (zh) * 2018-12-05 2019-04-26 苏州思必驰信息科技有限公司 用于spark streaming的资源动态分配方法和***
CN110636632A (zh) * 2019-09-29 2019-12-31 京信通信***（中国）有限公司 用户调度方法、装置、基站和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588946A (zh) * 2004-09-14 2005-03-02 北京邮电大学 在互联网提供服务质量保证业务的管理***及其实现方法
US10534683B2 (en) * 2013-08-29 2020-01-14 International Business Machines Corporation Communicating outstanding maintenance tasks to improve disk data integrity
CN107885594B (zh) * 2016-09-30 2020-06-12 腾讯科技（深圳）有限公司 分布式资源调度方法、调度节点及接入节点

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102487397A (zh) * 2010-12-02 2012-06-06 中兴通讯股份有限公司 基于节点底层安全等级的数据存储和路由方法、及节点
CN103067433A (zh) * 2011-10-24 2013-04-24 阿里巴巴集团控股有限公司 一种分布式存储***的数据迁移方法、设备和***
CN105516242A (zh) * 2015-11-23 2016-04-20 华为技术有限公司 一种存储资源分配方法及存储资源分配***
CN108768877A (zh) * 2018-07-20 2018-11-06 网宿科技股份有限公司 一种突发流量的分配方法、装置及代理服务器
CN109684078A (zh) * 2018-12-05 2019-04-26 苏州思必驰信息科技有限公司 用于spark streaming的资源动态分配方法和***
CN110636632A (zh) * 2019-09-29 2019-12-31 京信通信***（中国）有限公司 用户调度方法、装置、基站和存储介质

Also Published As

Publication number Publication date
CN111443870A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111443870B (zh) 一种数据处理的方法、设备及存储介质
US10277525B2 (en) Method and apparatus for disaggregated overlays via application services profiles
US11003492B2 (en) Virtual machine consolidation
KR101994506B1 (ko) Paas 자원들, 작업들 및 스케줄링의 분리 기법
KR101976234B1 (ko) Paas 계층적 스케줄링 및 자동 스케일링 기법
US20080320482A1 (en) Management of grid computing resources based on service level requirements
JP5182095B2 (ja) 資源情報提供システム、方法、資源情報提供装置、およびプログラム
KR101471749B1 (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
US20050132379A1 (en) Method, system and software for allocating information handling system resources in response to high availability cluster fail-over events
JP2010277589A (ja) データ・センタのバッチ・ジョブのサービスの質コントロール
Adhikary et al. Quality of service aware cloud resource provisioning for social multimedia services and applications
Alarifi et al. A fault-tolerant aware scheduling method for fog-cloud environments
JP2021504780A (ja) 分散コンピューティング環境における自動対角スケーリングためのアプリケーションの優先順位付け
EP3274859B1 (en) Cluster computing service assurance apparatus and method
Saravanan et al. Enhancing investigations in data migration and security using sequence cover cat and cover particle swarm optimization in the fog paradigm
KR20200080458A (ko) 클라우드 멀티-클러스터 장치
CN114461376A (zh) 共享企业云
Rahmani et al. Burstiness-aware virtual machine placement in cloud computing systems
JPWO2005116832A1 (ja) 分散処理環境におけるジョブの実行を制御するためのコンピュータシステム、方法及びプログラム
Yakubu et al. Service level agreement violation preventive task scheduling for quality of service delivery in cloud computing environment
CN116414518A (zh) Kubernetes上的大数据的数据局部性
Pandya et al. Dynamic resource allocation techniques in cloud computing
KR101125038B1 (ko) 그리드 컴퓨팅 미들웨어 시스템의 그리드 자원 관리 방법 및 장치
KR20070041462A (ko) 유효자원 쿼럼 생성 모듈 기반 그리드 자원 관리 시스템 및그 방법
Yusoh et al. A penalty-based grouping genetic algorithm for multiple composite saas components clustering in cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant