CN115033718B - 一种业务应用部署方法、装置及设备 - Google Patents

一种业务应用部署方法、装置及设备 Download PDF

Info

Publication number
CN115033718B
CN115033718B CN202210971602.6A CN202210971602A CN115033718B CN 115033718 B CN115033718 B CN 115033718B CN 202210971602 A CN202210971602 A CN 202210971602A CN 115033718 B CN115033718 B CN 115033718B
Authority
CN
China
Prior art keywords
resource
application
target
recommendation
knowledge graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210971602.6A
Other languages
English (en)
Other versions
CN115033718A (zh
Inventor
崔广章
华炜
鲍虎军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210971602.6A priority Critical patent/CN115033718B/zh
Publication of CN115033718A publication Critical patent/CN115033718A/zh
Application granted granted Critical
Publication of CN115033718B publication Critical patent/CN115033718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种业务应用部署方法,该方法包括以下步骤:对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐;利用推荐得到的模型推荐资源对目标业务应用进行部署操作。应用本发明所提供的业务应用部署方法,避免了资源浪费,保证了业务应用服务能够正常提供服务。本发明还公开了一种业务应用部署装置及设备,具有相应技术效果。

Description

一种业务应用部署方法、装置及设备
技术领域
本发明涉及云平台技术领域,特别是涉及一种业务应用部署方法、装置及设备。
背景技术
现有的容器云平台Kubernetes在部署应用时Kubernetes调度策略使用声明式方式声明业务应用部署所需要的GPU(Graphics Processing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、内存、磁盘等资源,需要对业务应用正常运行需要的资源有比较深的理解,并结合Kubernetes现有的资源进行部署,然而实际情况是,开发人员对硬件资源、Kubernetes资源类型、应用运行环境等不熟悉,并不清楚业务应用具体需要多少资源、集群已有的资源因为业务应用动态变化也存在不确定性。在实际的业务部署过程中,会造成业务应用部署失败、应用运行资源受限等问题,最终导致业务应用无法提供正常服务。
即使开发人员部署了业务应用,由于是静态声明资源占用,声明资源过多时,造成资源浪费,声明资源过少时,当业务应用资源占用需求提高时,资源无法动态提升,最终导致业务应用服务不能正常提供服务。
综上所述,如何有效地解决现有的业务应用部署方法易造成资源浪费,资源无法动态提升,导致业务应用服务不能正常提供服务等问题,是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种业务应用部署方法,该方法避免了资源浪费,保证了业务应用服务能够正常提供服务;本发明的另一目的是提供一种业务应用部署装置及设备。
为解决上述技术问题,本发明提供如下技术方案:
一种业务应用部署方法,包括:
对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;
利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐;
利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作。
在本发明的一种具体实施方式中,利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐,包括:
获取所述目标应用类型对应的目标任务画像;
利用所述资源推荐模型根据预构建的知识图谱和所述目标任务画像进行资源推荐。
在本发明的一种具体实施方式中,在利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐之后,利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作之前,还包括:
判断所述资源推荐模型是否资源推荐成功;
若是,则执行所述利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作的步骤;
若否,则获取所述目标应用类型对应的各资源种类信息;
根据各所述资源种类信息进行资源推荐尝试;
判断资源推荐尝试是否成功;
若是,则利用推荐尝试得到的尝试推荐资源对所述目标业务应用进行部署操作;
若否,则记录对所述目标业务应用资源推荐尝试失败的推荐结果。
在本发明的一种具体实施方式中,判断资源推荐尝试是否成功,包括:
获取各已有应用类型分别对应的已有资源集;
判断各所述已有资源集中是否存在包含各所述资源种类信息分别对应的目标资源的已有资源集;
利用推荐尝试得到的尝试推荐资源对所述目标业务应用进行部署操作,包括:
对各所述目标资源进行组合操作,得到所述尝试推荐资源;
利用所述尝试推荐资源对所述目标业务应用进行部署操作。
在本发明的一种具体实施方式中,在利用推荐尝试得到的尝试推荐资源对所述目标业务应用进行部署操作之后,还包括:
采集所述目标业务应用对应的应用负载反馈信息;
根据所述应用负载反馈信息对所述资源推荐模型和所述知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱。
在本发明的一种具体实施方式中,根据所述应用负载反馈信息对所述资源推荐模型和所述知识图谱进行更新操作,包括:
根据所述应用负载反馈信息对训练数据集进行更新,得到更新后数据集;
利用所述更新后数据集对所述资源推荐模型和所述知识图谱进行更新操作。
在本发明的一种具体实施方式中,利用所述更新后数据集对所述资源推荐模型和所述知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱,包括:
利用所述更新后数据集对所述资源推荐模型进行迭代训练;
当所述资源推荐模型针对所述目标应用类型的业务应用的推荐资源利用率达到预设利用率阈值时,将本次迭代得到的资源推荐模型确定为所述更新后资源推荐模型;
利用所述更新后资源推荐模型对所述目标应用类型进行资源推理,得到推理结果;
将所述推理结果存储至所述知识图谱,得到所述更新后知识图谱。
在本发明的一种具体实施方式中,在得到所述更新后知识图谱之后,还包括:
根据所述更新后知识图谱确定所述目标应用类型对应的更新后任务画像;
对所述更新后数据集和所述更新后任务画像进行存储操作。
一种业务应用部署装置,包括:
请求解析单元,用于对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;
资源推荐单元,用于利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐;
应用部署单元,用于利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作。
一种业务应用部署设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如前所述业务应用部署方法的步骤。
本发明所提供的业务应用部署方法,对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐;利用推荐得到的模型推荐资源对目标业务应用进行部署操作。
由上述技术方案可知,通过预先训练资源推荐模型,并预先构建知识图谱,当解析得到待创建的目标业务应用所属的目标应用类型之后,利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐,得到模型推荐资源,利用推荐得到的模型推荐资源对目标业务应用进行部署操作。基于知识图谱的智能调度方法及架构,在部署业务应用时对资源无感知,资源的使用分配是根据集群资源和业务应用负载分配一个最为合适的资源。避免了资源浪费,保证了业务应用服务能够正常提供服务。
相应的,本发明还提供了与上述业务应用部署方法相对应的业务应用部署装置和设备,具有上述技术效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中业务应用部署方法的一种实施流程图;
图2为本发明实施例中业务应用部署方法的另一种实施流程图;
图3为本发明实施例中一种业务应用部署***的架构图;
图4为本发明实施例中一种智能调度推荐***的架构图;
图5为本发明实施例中一种业务应用部署装置的结构框图;
图6为本发明实施例中一种业务应用部署设备的结构框图;
图7为本实施例提供的一种业务应用部署设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1为本发明实施例中业务应用部署方法的一种实施流程图,该方法可以包括以下步骤:
S101:对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型。
当需要进行业务应用创建时,生成业务应用创建请求,并向业务应用部署控制中心发送业务应用创建请求,业务应用创建请求中包含待创建的目标业务应用所属的目标应用类型(kind字段)。业务应用部署控制中心接收业务应用创建请求,并对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型。
应用类型可以包括图形渲染应用、训练应用、推理应用、Web(World Wide Web,全球广域网)普通应用等。
S102:利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐。
预先收集已调度运行任务的负载数据,使用收集的数据构建知识图谱,知识图谱中包含应用类型与资源信息之间的对应关系,并预先训练得到资源推荐模型。在解析得到待创建的目标业务应用所属的目标应用类型之后,利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐,从而推荐得到目标应用类型对应的模型推荐资源。
在本发明的一种具体实施方式中,步骤S102可以包括以下步骤:
步骤一:获取目标应用类型对应的目标任务画像;
步骤二:利用资源推荐模型根据预构建的知识图谱和目标任务画像进行资源推荐。
为方便描述,可以将上述两个步骤结合起来进行说明。
预先获取各类型的业务应用分别对应的任务应用运行负载,根据各类型的业务应用分别对应的任务应用运行负载对业务应用进行应用画像,应用画像可以作为应用调度结果是否合理的依据。在解析得到待创建的目标业务应用所属的目标应用类型之后,获取目标应用类型对应的目标任务画像,利用资源推荐模型根据预构建的知识图谱和目标任务画像进行资源推荐。通过对业务应用进行画像,使得业务应用资源使用情况更为直观,更便于进行资源推荐。通过利用基于推荐算法生成的知识图谱对业务应用画像、调度、部署,降低了业务应用部署的难度,提升了业务应用部署的稳定性。
S103:利用推荐得到的模型推荐资源对目标业务应用进行部署操作。
在利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐,得到模型推荐资源之后,利用推荐得到的模型推荐资源对目标业务应用进行部署操作。通过利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐,使得开发、运维人员从业务应用部署需要配置的不明确的资源使用中解放出来,降低了业务应用部署的难度。避免了资源浪费,保证了业务应用服务能够正常提供服务。
由上述技术方案可知,通过预先训练资源推荐模型,并预先构建知识图谱,当解析得到待创建的目标业务应用所属的目标应用类型之后,利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐,得到模型推荐资源,利用推荐得到的模型推荐资源对目标业务应用进行部署操作。基于知识图谱的智能调度方法及架构,在部署业务应用时对资源无感知,资源的使用分配是根据集群资源和业务应用负载分配一个最为合适的资源。避免了资源浪费,保证了业务应用服务能够正常提供服务。
需要说明的是,基于上述实施例,本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考,相应的有益效果也可相互参照,在下文的改进实施例中不再一一赘述。
参见图2,图2为本发明实施例中业务应用部署方法的另一种实施流程图,该方法可以包括以下步骤:
S201:对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型。
S202:利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐。
S203:判断资源推荐模型是否资源推荐成功,若是,则执行步骤S204,若否,则执行步骤S205。
在利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐之后,判断资源推荐模型是否资源推荐成功,若是,则说明知识图谱中划分有目标应用类型的目标业务应用对应的资源,并预先基于目标应用类型和其对应的资源对资源推荐模型进行过模型训练,可以使用现有知识图谱推荐目标业务应用使用的资源,应用负载可以达到很高的资源利用率,执行步骤S204,若否,则说明知识图谱中未划分目标应用类型的目标业务应用对应的资源,且未基于目标应用类型和该类型的应用创建所需的资源对资源推荐模型进行过模型训练,无法根据现有的知识图谱推荐应用合适的资源分配,执行步骤S205。
S204:利用推荐得到的模型推荐资源对目标业务应用进行部署操作。
当确定资源推荐模型资源推荐成功时,说明知识图谱中划分有目标应用类型的目标业务应用对应的资源,并预先基于目标应用类型和其对应的资源对资源推荐模型进行过模型训练,直接利用推荐得到的模型推荐资源对目标业务应用进行部署操作,较大地提升了业务应用部署效率。
S205:获取目标应用类型对应的各资源种类信息。
目标应用类型中包含进行应用创建所需资源对应的资源种类信息。当确定资源推荐模型资源推荐失败时,说明知识图谱中未划分目标应用类型的目标业务应用对应的资源,且未基于目标应用类型和该类型的应用创建所需的资源对资源推荐模型进行过模型训练,获取目标应用类型对应的各资源种类信息。从而确定出创建目标业务应用所需资源对应的各资源种类信息
S206:根据各资源种类信息进行资源推荐尝试。
在获取到目标应用类型对应的各资源种类信息之后,根据各资源种类信息进行资源推荐尝试。即通过从其他已有的应用类型对应的资源集中查找是否存在各资源种类信息分别对应的待分配资源进行资源推荐尝试。
S207:判断资源推荐尝试是否成功,若是,则执行步骤S208,若否,则执行步骤S209。
在根据各资源种类信息进行资源推荐尝试之后,判断资源推荐尝试是否成功,若是,则说明存在包含各资源种类信息分别对应的待分配资源的已有资源集,可以选取各资源种类信息分别对应的目标资源,并对选取到的各目标资源进行组合,执行步骤S208,若否,则说明不存在包含各资源种类信息分别对应的待分配资源的已有资源集,资源推荐尝试失败,执行步骤S209。
S208:利用推荐尝试得到的尝试推荐资源对目标业务应用进行部署操作。
当确定资源推荐尝试成功时,说明存在包含各资源种类信息分别对应的待分配资源的已有资源集,可以选取各资源种类信息分别对应的目标资源,并对选取到的各目标资源进行组合,得到尝试推荐资源,利用推荐尝试得到的尝试推荐资源对目标业务应用进行部署操作。通过设置当资源推荐模型资源推荐失败之后进行尝试资源推荐,较大地提升了资源推荐成功率,进一步为开发、运维人员提供了便利。
在本发明的一种具体实施方式中,步骤S207可以包括以下步骤:
获取各已有应用类型分别对应的已有资源集;
判断各已有资源集中是否存在包含各资源种类信息分别对应的目标资源的已有资源集;
相应的,步骤S208可以包括以下步骤:
步骤一:对各目标资源进行组合操作,得到尝试推荐资源;
步骤二:利用尝试推荐资源对目标业务应用进行部署操作。
为方便描述,可以将上述几个步骤结合起来进行说明。
在根据各资源种类信息进行资源推荐尝试时,获取各已有应用类型分别对应的已有资源集,判断各已有资源集中是否存在包含各资源种类信息分别对应的目标资源的已有资源集,若是,则存在包含各资源种类信息分别对应的待分配资源的已有资源集,可以选取各资源种类信息分别对应的目标资源,对各目标资源进行组合操作,得到尝试推荐资源,利用尝试推荐资源对目标业务应用进行部署操作。通过对尝试推荐的各目标资源进行自动组合得到尝试推荐资源,进而利用尝试推荐资源对目标业务应用进行部署操作,提升了尝试推荐的资源的准确率,提升了资源推荐成功率,进一步提升了业务应用部署效率。
在本发明的一种具体实施方式中,在步骤S208之后,该方法还可以包括以下步骤:
步骤一:采集目标业务应用对应的应用负载反馈信息;
步骤二:根据应用负载反馈信息对资源推荐模型和知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱。
为方便描述,可以将上述两个步骤结合起来进行说明。
在利用推荐尝试得到的尝试推荐资源对目标业务应用进行部署操作之后,采集目标业务应用对应的应用负载反馈信息,应用负载反馈信息中可以包含预分配的各资源种类信息的目标资源分别对应的资源利用率,可以重复多次对目标应用类型的业务应用进行推荐资源尝试,并收集多次推荐预分配的各资源种类信息的目标资源分别对应的资源利用率,基于多次收集的结果生成该应用负载反馈信息,进而根据应用负载反馈信息对资源推荐模型和知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱。从而提升资源推荐模型的资源推荐准确性。
在本发明的一种具体实施方式中,根据应用负载反馈信息对资源推荐模型和知识图谱进行更新操作,可以包括以下步骤:
步骤一:根据应用负载反馈信息对训练数据集进行更新,得到更新后数据集;
步骤二:利用更新后数据集对资源推荐模型和知识图谱进行更新操作。
为方便描述,可以将上述两个步骤结合起来进行说明。
在资源推荐模型不断迭代更新的过程中,用于模型迭代训练的训练数据集也会存在更新。在对目标业务应用进行资源尝试推荐之后,采集到目标业务应用对应的应用负载反馈信息,并根据应用负载反馈信息对训练数据集进行更新,得到更新后数据集,利用更新后数据集对资源推荐模型和知识图谱进行更新操作。从而提升资源推荐模型的资源推荐准确性。
在本发明的一种具体实施方式中,利用更新后数据集对资源推荐模型和知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱,可以包括以下步骤:
步骤一:利用更新后数据集对资源推荐模型进行迭代训练;
步骤二:当资源推荐模型针对目标应用类型的业务应用的推荐资源利用率达到预设利用率阈值时,将本次迭代得到的资源推荐模型确定为更新后资源推荐模型;
步骤三:利用更新后资源推荐模型对目标应用类型进行资源推理,得到推理结果;
步骤四:将推理结果存储至知识图谱,得到更新后知识图谱。
为方便描述,可以将上述四个步骤结合起来进行说明。
在根据应用负载反馈信息对训练数据集进行更新之后,用更新后数据集对资源推荐模型进行迭代训练,并利用每次迭代训练得到的资源推荐模型对目标应用类型的业务应用进行资源推荐,并获取推荐资源利用率,判断推荐资源利用率是否达到预设利用率阈值,当资源推荐模型针对目标应用类型的业务应用的推荐资源利用率达到预设利用率阈值时,说明当前训练得到的资源推荐模型已能够对目标应用类型的业务应用推荐较合适的资源,将本次迭代得到的资源推荐模型确定为更新后资源推荐模型,利用更新后资源推荐模型对目标应用类型进行资源推理,得到推理结果,将推理结果存储至知识图谱,得到更新后知识图谱。通过对资源推荐模型和知识图谱进行更新操作,使得资源推荐模型和知识图谱得到优化训练、迭代,扩展了资源推荐模型和知识图谱可进行资源推荐的应用类型,提高了业务的资源使用率。
在本发明的一种具体实施方式中,在得到更新后知识图谱之后,该方法还可以包括以下步骤:
根据更新后知识图谱确定目标应用类型对应的更新后任务画像;
对更新后数据集和更新后任务画像进行存储操作。
在利用调整后资源对资源推荐模型和知识图谱进行更新操作之后,对更新结果进行存储操作。从而实现对业务应用负载使用资源数据集、业务应用画像、模型信息的存储。
S209:记录对目标业务应用资源推荐尝试失败的推荐结果。
当确定资源推荐尝试失败时,说明不存在包含各资源种类信息分别对应的待分配资源的已有资源集,记录对目标业务应用资源推荐尝试失败的推荐结果,从而为后续开发、运维人员介入提供素材。
整个业务应用部署过程中,无需关注集群现有的资源、以及业务应用需要声明的资源即可进行任务部署。基于知识图谱的智能调度方法及架构,在部署业务应用时对资源无感知,资源的使用分配由智能调度***根据集群资源和业务应用负载分配一个最为合适的资源,并将这一分配结果转发给调度器进行任务调度。
在一种具体实例应用中,参见图3,图3为本发明实施例中一种业务应用部署***的架构图。该架构图中包括以下内容:
应用创建:业务应用创建请求方向智能调度推荐***发起业务应用创建请求。请求中声明有业务应用的应用类型(kind字段),这些类型包括图形渲染应用、训练应用、推理应用、Web普通应用等,是否使用推荐调度***(recommend字段)。
智能调度推荐***:包括应用推荐、知识图谱迭代、模型训练、应用负载分析、应用负载反馈、存储模块。由智能调度***根据请求应用类型的任务画像,依据知识图谱获取应用分配的资源,最终将附带分配结果的创建应用请求转发给KubernetesAPIServer。智能调度推荐***还会依据收集的应用负载数据对推荐模型迭代训练,并根据训练好的推荐模型迭代知识图谱,以提供更好的应用资源分配,使得业务应用能够稳定运行的前提下,资源使用率达到最高。
Nodeexport:采集业务应用使用的GPU(Graphics Processing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、内存、磁盘等资源使用情况。
KubernetesAPIServer:接收智能调度推荐***分配推荐资源后的应用请求。
默认调度器:调度应用结果。
参见图4,图4为本发明实施例中一种智能调度推荐***的架构图。基于知识图谱的智能调度方法及架构***是本发明的关键,包括以下核心内容:
应用推荐模块:应用推荐模块接收到应用创建请求后,若业务应用请求中不声明使用推荐调度***(recommend字段),则将请求转发给KubernetesAPIserver处理请求。若声明使用推荐调度***,应用推荐根据业务应用中声明的应用类型(kind字段),这些类型包括图形渲染、训练、推理、Web普通应用等,对业务应用按类型进行资源分配。
推荐模块:进行资源分配时包括以下几个阶段:
资源分配成功:分配成功是指业务应用分配的资源达到合理的使用,资源使用率最高可接近100%。
资源分配尝试:业务应用初次或资源不清楚如何分配,尝试为业务应用分配资源,根据业务应用负载反馈信息对业务推荐模型、知识图谱进行迭代更新。
资源分配失败:将请求转发给KubernetesAPIServer进行默认调度。
负载信息反馈模块:采集在节点上部署的Nodeexport信息,包括业务应用使用的GPU、CPU、内存、磁盘等资源使用情况,并根据业务类型将信息更新到数据集中。
应用负载分析模块:根据业务应用使用的GPU、CPU、内存、磁盘等资源使用情况分析业务应用更为合适的资源使用分配。
模型训练:依据应用负载分析结果生成推荐模型训练参数,对业务推荐模型进行训练。
知识图谱迭代模块:根据模型训练结果对知识图谱进行迭代,并将迭代结果更新到存储模块中,为应用推荐模型提供更为准确的任务画像。
存储模块:存储业务负载使用资源数据集、业务应用画像、模型信息。
相应于上面的方法实施例,本发明还提供了一种业务应用部署装置,下文描述的业务应用部署装置与上文描述的业务应用部署方法可相互对应参照。
参见图5,图5为本发明实施例中一种业务应用部署装置的结构框图,该装置可以包括:
请求解析单元51,用于对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;
资源推荐单元52,用于利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐;
应用部署单元53,用于利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作。
由上述技术方案可知,通过预先训练资源推荐模型,并预先构建知识图谱,当解析得到待创建的目标业务应用所属的目标应用类型之后,利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐,得到模型推荐资源,利用推荐得到的模型推荐资源对目标业务应用进行部署操作。基于知识图谱的智能调度方法及架构,在部署业务应用时对资源无感知,资源的使用分配是根据集群资源和业务应用负载分配一个最为合适的资源。避免了资源浪费,保证了业务应用服务能够正常提供服务。
在本发明的一种具体实施方式中,资源推荐单元包括:
任务画像获取子单元,用于获取所述目标应用类型对应的目标任务画像;
资源推荐子单元,用于利用所述资源推荐模型根据预构建的知识图谱和所述目标任务画像进行资源推荐。
在本发明的一种具体实施方式中,该装置还可以包括:
第一判断单元,用于在利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐之后,利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作之前,判断所述资源推荐模型是否资源推荐成功;
应用部署单元具体为当确定所述资源推荐模型资源推荐成功时,利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作的单元;
资源种类获取单元,用于当确定所述资源推荐模型资源推荐失败时,获取所述目标应用类型对应的各资源种类信息;
推荐尝试单元,用于根据各所述资源种类信息进行资源推荐尝试;
第二判断单元,用于判断资源推荐尝试是否成功;
应用部署单元具体为当确定资源推荐尝试成功时,利用推荐尝试得到的尝试推荐资源对所述目标业务应用进行部署操作的单元;
结果记录单元,用于当确定资源推荐尝试失败时,记录对目标业务应用资源推荐尝试失败的推荐结果。
在本发明的一种具体实施方式中,第二判断单元包括:
已有资源集获取子单元,用于获取各已有应用类型分别对应的已有资源集;
判断子单元,用于判断各已有资源集中是否存在包含各资源种类信息分别对应的目标资源的已有资源集;
应用部署单元包括:
资源组合子单元,用于对各目标资源进行组合操作,得到尝试推荐资源;
应用部署子单元,用于利用尝试推荐资源对目标业务应用进行部署操作。
在本发明的一种具体实施方式中,该装置还可以包括:
负载反馈信息采集单元,用于采集目标业务应用对应的应用负载反馈信息;
更新单元,用于根据应用负载反馈信息对资源推荐模型和知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱。
在本发明的一种具体实施方式中,更新单元包括:
数据集更新子单元,用于根据应用负载反馈信息对训练数据集进行更新,得到更新后数据集;
模型及图谱更新子单元,用于利用更新后数据集对资源推荐模型和知识图谱进行更新操作。
在本发明的一种具体实施方式中,模型及图谱更新子单元具体为利用更新后数据集对资源推荐模型进行迭代训练;当资源推荐模型针对目标应用类型的业务应用的推荐资源利用率达到预设利用率阈值时,将本次迭代得到的资源推荐模型确定为更新后资源推荐模型;利用更新后资源推荐模型对目标应用类型进行资源推理,得到推理结果;将推理结果存储至知识图谱,得到更新后知识图谱的单元。
在本发明的一种具体实施方式中,该装置还可以包括:
画像更新单元,用于在得到更新后知识图谱之后,根据更新后知识图谱确定目标应用类型对应的更新后任务画像;
更新结果存储单元,用于对更新后数据集和更新后任务画像进行存储操作。
相应于上面的方法实施例,参见图6,图6为本发明所提供的业务应用部署设备的示意图,该设备可以包括:
存储器332,用于存储计算机程序;
处理器322,用于执行计算机程序时实现上述方法实施例的业务应用部署方法的步骤。
具体的,请参考图7,图7为本实施例提供的一种业务应用部署设备的具体结构示意图,该业务应用部署设备可因配置或性能不同而产生比较大的差异,可以包括处理器(central processing units,CPU)322(例如,一个或一个以上处理器)和存储器332,存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中,存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,处理器322可以设置为与存储器332通信,在业务应用部署设备301上执行存储器332中的一系列指令操作。
业务应用部署设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作***341。
上文所描述的业务应用部署方法中的步骤可以由业务应用部署设备的结构实现。
相应于上面的方法实施例,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现如下步骤:
对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;利用资源推荐模型根据预构建的知识图谱和目标应用类型进行资源推荐;利用推荐得到的模型推荐资源对目标业务应用进行部署操作。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例,本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种业务应用部署方法,其特征在于,包括:
对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;
利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐;其中,预先收集已调度运行任务的负载数据,使用收集的数据构建所述知识图谱,所述知识图谱中包含应用类型与资源信息之间的对应关系,并预先训练得到所述资源推荐模型;
利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作。
2.根据权利要求1所述的业务应用部署方法,其特征在于,利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐,包括:
获取所述目标应用类型对应的目标任务画像;
利用所述资源推荐模型根据预构建的知识图谱和所述目标任务画像进行资源推荐。
3.根据权利要求1所述的业务应用部署方法,其特征在于,在利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐之后,利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作之前,还包括:
判断所述资源推荐模型是否资源推荐成功;
若是,则执行所述利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作的步骤;
若否,则获取所述目标应用类型对应的各资源种类信息;
根据各所述资源种类信息进行资源推荐尝试;
判断资源推荐尝试是否成功;
若是,则利用推荐尝试得到的尝试推荐资源对所述目标业务应用进行部署操作;
若否,则记录对所述目标业务应用资源推荐尝试失败的推荐结果。
4.根据权利要求3所述的业务应用部署方法,其特征在于,判断资源推荐尝试是否成功,包括:
获取各已有应用类型分别对应的已有资源集;
判断各所述已有资源集中是否存在包含各所述资源种类信息分别对应的目标资源的已有资源集;
利用推荐尝试得到的尝试推荐资源对所述目标业务应用进行部署操作,包括:
对各所述目标资源进行组合操作,得到所述尝试推荐资源;
利用所述尝试推荐资源对所述目标业务应用进行部署操作。
5.根据权利要求3或4所述的业务应用部署方法,其特征在于,在利用推荐尝试得到的尝试推荐资源对所述目标业务应用进行部署操作之后,还包括:
采集所述目标业务应用对应的应用负载反馈信息;
根据所述应用负载反馈信息对所述资源推荐模型和所述知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱。
6.根据权利要求5所述的业务应用部署方法,其特征在于,根据所述应用负载反馈信息对所述资源推荐模型和所述知识图谱进行更新操作,包括:
根据所述应用负载反馈信息对训练数据集进行更新,得到更新后数据集;
利用所述更新后数据集对所述资源推荐模型和所述知识图谱进行更新操作。
7.根据权利要求6所述的业务应用部署方法,其特征在于,利用所述更新后数据集对所述资源推荐模型和所述知识图谱进行更新操作,得到更新后资源推荐模型和更新后知识图谱,包括:
利用所述更新后数据集对所述资源推荐模型进行迭代训练;
当所述资源推荐模型针对所述目标应用类型的业务应用的推荐资源利用率达到预设利用率阈值时,将本次迭代得到的资源推荐模型确定为所述更新后资源推荐模型;
利用所述更新后资源推荐模型对所述目标应用类型进行资源推理,得到推理结果;
将所述推理结果存储至所述知识图谱,得到所述更新后知识图谱。
8.根据权利要求7所述的业务应用部署方法,其特征在于,在得到所述更新后知识图谱之后,还包括:
根据所述更新后知识图谱确定所述目标应用类型对应的更新后任务画像;
对所述更新后数据集和所述更新后任务画像进行存储操作。
9.一种业务应用部署装置,其特征在于,包括:
请求解析单元,用于对接收到的业务应用创建请求进行解析,得到待创建的目标业务应用所属的目标应用类型;
资源推荐单元,用于利用资源推荐模型根据预构建的知识图谱和所述目标应用类型进行资源推荐;其中,预先收集已调度运行任务的负载数据,使用收集的数据构建所述知识图谱,所述知识图谱中包含应用类型与资源信息之间的对应关系,并预先训练得到所述资源推荐模型;
应用部署单元,用于利用推荐得到的模型推荐资源对所述目标业务应用进行部署操作。
10.一种业务应用部署设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至8任一项所述业务应用部署方法的步骤。
CN202210971602.6A 2022-08-15 2022-08-15 一种业务应用部署方法、装置及设备 Active CN115033718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210971602.6A CN115033718B (zh) 2022-08-15 2022-08-15 一种业务应用部署方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210971602.6A CN115033718B (zh) 2022-08-15 2022-08-15 一种业务应用部署方法、装置及设备

Publications (2)

Publication Number Publication Date
CN115033718A CN115033718A (zh) 2022-09-09
CN115033718B true CN115033718B (zh) 2022-10-25

Family

ID=83130364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210971602.6A Active CN115033718B (zh) 2022-08-15 2022-08-15 一种业务应用部署方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115033718B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987196A (zh) * 2021-09-29 2022-01-28 浙江大学 一种基于知识图谱蒸馏的知识图谱嵌入压缩方法
CN114443958A (zh) * 2022-01-26 2022-05-06 上海易康源医疗健康科技有限公司 一种推荐方法、推荐***及推荐***训练方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11533240B2 (en) * 2016-01-15 2022-12-20 Microsoft Technology Licensing, Llc Automatic recommendations for deployments in a data center
CN108270726B (zh) * 2016-12-30 2021-05-11 华为技术有限公司 应用实例部署方法及装置
CN108255497B (zh) * 2018-01-12 2021-07-06 新华三大数据技术有限公司 一种应用的部署方法及装置
CN111340230B (zh) * 2018-12-18 2024-01-23 北京小桔科技有限公司 一种服务提供方法、装置、服务器及计算机可读存储介质
US20210133558A1 (en) * 2019-10-31 2021-05-06 International Business Machines Corporation Deep-learning model creation recommendations
CN111210262B (zh) * 2019-12-25 2023-10-03 浙江大学 基于激励机制的自发式边缘应用部署及定价方法
CN111506719B (zh) * 2020-04-20 2023-09-12 深圳追一科技有限公司 一种关联问句推荐方法、装置、设备及可读存储介质
CN111949246A (zh) * 2020-08-13 2020-11-17 国家电网有限公司 新能源电力行业应用的创建方法及装置
CN113721937A (zh) * 2021-08-11 2021-11-30 苏州浪潮智能科技有限公司 人工智能开发平台利用aic资源创建推理服务的方法
CN113656046A (zh) * 2021-08-31 2021-11-16 北京京东乾石科技有限公司 一种应用部署方法和装置
CN114385829A (zh) * 2022-01-12 2022-04-22 北京百度网讯科技有限公司 知识图谱创建方法、装置、设备以及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987196A (zh) * 2021-09-29 2022-01-28 浙江大学 一种基于知识图谱蒸馏的知识图谱嵌入压缩方法
CN114443958A (zh) * 2022-01-26 2022-05-06 上海易康源医疗健康科技有限公司 一种推荐方法、推荐***及推荐***训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
饶元等.面向知识服务的科技资源协同创新服务机制.《计算机科学》.2018,(第07期), *

Also Published As

Publication number Publication date
CN115033718A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN1956457B (zh) 用于安排网格计算***中的网格作业的方法和设备
US10474504B2 (en) Distributed node intra-group task scheduling method and system
Liu et al. Handling recoverable temporal violations in scientific workflow systems: a workflow rescheduling based strategy
EP4198771A1 (en) Data processing method and apparatus, computer readable medium, and electronic device
CN105407162A (zh) 一种基于SLA服务等级的云计算Web应用资源负载均衡算法
CN105808341A (zh) 一种资源调度的方法、装置和***
CN103825964A (zh) 一种基于云计算PaaS平台的SLS调度装置和方法
CN113867959A (zh) 一种训练任务资源调度方法、装置、设备及介质
CN111880911A (zh) 一种任务负载调度方法、装置、设备及可读存储介质
CN114816753A (zh) 一种数据集群计算节点扩缩方法、装置、设备及介质
CN115033718B (zh) 一种业务应用部署方法、装置及设备
CN117435306A (zh) 集群容器扩缩容方法、装置、设备及存储介质
US10375160B2 (en) Mechanisms for programmable composition of factor graphs
CN112162822A (zh) 一种镜像构建方法、装置、设备及可读存储介质
CN114510297B (zh) 卫星数据重处理方法、装置和电子设备
WO2022126646A1 (en) Automated platform for managing, deploying and orchestrating highly distributed service applications
CN116109102A (zh) 基于遗传算法的资源调配方法及***
CN110764864A (zh) 一种基于Terraform的可视化资源编排方法
CN115509539A (zh) 一种数据调用方法、装置、设备及介质
Moreno-Vozmediano et al. Latency and resource consumption analysis for serverless edge analytics
CN113721937A (zh) 人工智能开发平台利用aic资源创建推理服务的方法
CN114217825A (zh) 用于决策引擎的方法、装置、机器可读存储介质及处理器
CN111966456A (zh) 一种容器显存动态分配方法、装置、设备
CN111858234A (zh) 一种任务执行方法、装置、设备、介质
CN116776993B (zh) 一种量子比特调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant