CN115509549A - 一种数据元件加工处理方法及计算机可读存储介质 - Google Patents
一种数据元件加工处理方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115509549A CN115509549A CN202211469761.2A CN202211469761A CN115509549A CN 115509549 A CN115509549 A CN 115509549A CN 202211469761 A CN202211469761 A CN 202211469761A CN 115509549 A CN115509549 A CN 115509549A
- Authority
- CN
- China
- Prior art keywords
- resource
- resource space
- type
- node
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据元件加工处理方法及计算机可读存储介质,本发明是给不同类型的资源服务器节点维护不同的群标识GroupID,不同类型的资源空间和资源服务器节点建立对应关系,对应的服务绑定合适的资源空间和资源服务器节点,在部署过程中,基于服务的不同类型,选择不同的匹配条件,以保证计算资源的机器不会和应用资源机器共享,从而实现数据元件加工部署的全自动化,同时简化整个部署步骤,进而提高部署效率提升用户体验。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据元件加工处理方法及计算机可读存储介质。
背景技术
现有针对数据元件加工的部署,通常是由服务器进行配置,然后在通过参数调整来实现,具体首先是基于zip包或者tar包安装基础组件,比如:msyql、jdk,docker等安装,然后是基于服务包来进行部署,但是各种不同服务配置文件需要验证且各不同服务配置文件之间存在依赖关系。这就导致现有对数据元件的加工步骤相对繁琐,需要人工协调才能最终实现对数据元件的加工处理。
发明内容
本发明提供了一种数据元件加工处理方法及计算机可读存储介质,以解决现有技术中不能自动实现对数据元件的加工处理的问题。
第一方面,本发明提供了一种数据元件加工处理方法,该方法包括:对所部署的加工处理数据元件的资源服务器按其资源空间类型进行资源服务器的节点划分,所述资源空间类型包括管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间,所述资源服务器的节点包括管理节点、计算节点、应用节点和区块链节点;对每一种类型的资源服务器的节点设置与该类型节点相唯一对应的群标识Group ID,并将同一种类型下的节点均与其对应的Group ID进行关联和绑定;在对数据元件加工处理时,基于所述数据元件加工处理所需的资源空间类型和节点的Group ID匹配出最适合的资源服务器,并通过所匹配的资源服务器完成对所述数据元件的加工处理。
可选地,基于历史各个资源空间类型的资源空间使用情况的数据训练得到SARIMA时序模型,通过所述SARIMA时序模型预测预设时间周期内每种资源空间类型的资源消耗值,并根据所述资源消耗值调整各资源服务器的资源空间类型。
可选地,根据所述资源消耗值调整各资源服务器的资源空间类型,包括:根据每种资源空间类型的资源消耗值,判断在预设周期内任一资源空间类型的剩余资源空间是否小于预设阈值,如果是,则将剩余资源最多的资源空间类型的资源空间调整给剩余资源空间小于预设阈值的资源空间类型。
可选地,所述资源服务器的节点还包括通用节点,根据所述资源消耗值调整各资源服务器的资源空间类型,还包括:查询每种资源空间类型的资源消耗值,判断在预设周期内任一资源空间类型的剩余资源空间是否持续小于预设阈值,如果是,则将所述通用节点的资源空间设定为剩余资源空间持续小于预设阈值的资源空间类型。
可选地,当剩余资源空间持续小于预设阈值的资源空间类型为多个,则将所述通用节点的资源空间按预设划分规则分配给各剩余资源空间持续小于预设阈值的资源空间类型,以满足各个资源空间类型的资源空间需求。
可选地,所述预设划分规则为平均分配原则。
可选地,根据所述资源消耗值调整各资源服务器的资源空间类型,还包括:更改资源服务器的节点的资源空间类型,并将更改资源空间类型的资源服务器的节点与对应资源空间类型的Group ID进行关联和绑定。
可选地,所述方法还包括:实时监控每种资源空间类型下的资源空间使用情况,如果在预设周期内资源空间使用率持续小于第一预设资源空间使用率阈值,则下调该种资源空间类型下的资源空间量,如果在预设周期内资源空间使用率持续大于第二预设资源空间使用率阈值,则上调该种资源空间类型下的资源空间量。
可选地,同一种类型下的节点均与其对应的Group ID进行关联和绑定,包括:通过config-map对同一种类型下的节点均与其对应的Group ID进行关联和绑定。
第二方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有信号映射的计算机程序,所述计算机程序被至少一个处理器执行时,以实现上述任一种所述的数据元件加工处理方法。
本发明有益效果如下:
本发明是给不同类型的资源服务器节点维护不同的群标识GroupID,不同类型的资源空间和资源服务器节点建立对应关系,对应的服务绑定合适的资源空间和资源服务器节点,在部署过程中,基于服务的不同类型,选择不同的匹配条件,以保证计算资源的机器不会和应用资源机器共享,从而实现数据元件加工部署的全自动化,同时简化整个部署步骤,进而提高部署效率提升用户体验。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明第一实施例提供的一种数据元件加工处理方法的流程示意图。
具体实施方式
本发明针对现有不能自动实现对数据元件的加工处理的问题,通过给不同类型的资源服务器节点维护不同的群标识GroupID,不同类型的资源空间和资源服务器节点建立对应关系,对应的服务绑定合适的资源空间和资源服务器节点,在部署过程中,基于服务的不同类型,选择不同的匹配条件,以保证计算资源的机器不会和应用资源机器共享,从而实现数据元件加工部署的全自动化,同时简化整个部署步骤,进而提高部署效率提升用户体验。以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。
本发明第一实施例提供了一种数据元件加工处理方法,参见图1,该方法包括:
S101、对所部署的加工处理数据元件的资源服务器按其资源空间类型进行资源服务器的节点划分;
本发明实施例所述的资源空间类型包括管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间,当然在具体实施时,本领域技术人员也可以设置其他类型的资源空间类型,例如,将所述计算类型资源空间进一步划分为普通计算类型资源空间和AI计算类型资源空间,等等。具体本领域技术人员可以根据实际需要进行划分,本发明对此不作详细限定。
与资源空间类型相对应的,本发明实施例中的资源服务器的节点可以包括管理节点、计算节点、应用节点和区块链节点等等。
需要说明的是,本发明实施例中所述的资源服务器的节点也可以仅是管理组件、计算组件、应用组件和区块链组件等等,也即,本发明实施例中各种资源空间类型可以对应的是具体组件,也可以是对应具体的节点,具体本发明实施例不作具体限定。
本发明实施例所述方法强调的是根据各种资源空间类型来对资源空间进行划分,使得不同的资源空间之间是物理隔绝的。
并且,本发明实施例中的数据元件是通过所述数据元件模型按照预设处理方法处理而得到的具有预设功能的数据集或者数据特征集,也即本发明实施例中的数据元件是具有某种功能或性能的一类数据,本发明实施例通过以数据元件的形式来进行后续的数据买卖、共享等数据交易过程,可以在最大程度上保证用户数据的安全性,从而提高用户体验,并且由于本发明可以有效保证数据的安全性,所以本发明能够在最大程度上提高的数据价值的体现,从而为数据流程提供强有力的基础。同时,本发明实施例所述的方法通过设置不同的资源服务器的节点来对数据元件进行加工处理,能够有效提升数据的处理效率,从而最大程度上挖掘数据的价值。
S102、对每一种类型的资源服务器的节点设置与该类型节点相唯一对应的群标识Group ID,并将同一种类型下的节点均与其对应的Group ID进行关联和绑定;
具体实施时,本发明实施例是对不同资源空间类型的资源空间来通过群标识Group ID进行绑定,即,将相同资源空间类型的资源空间绑定在一起,不同的资源空间类型的资源空间相隔离,在部署过程中,能够保证计算资源的机器不会和应用资源机器共享,所以本发明可以实现基于服务的不同类型,选择不同的匹配条件来实现数据元件全自动化加工部署,继而有效提升用户体验。
需要说明的是,本发明实施例中所述的群标识Group ID是与资源服务类型相一一对应的,即有一种资源服务类型就有其对应的Group ID,后续在进行数据元件加工部署时,会根据加工的具体需要来通过该Group ID找到对应资源服务类型的资源空间,然后再根据预设的匹配条件来进行资源空间的匹配,从而完成对数据元件的加工处理。
S103、在对数据元件加工处理时,基于所述数据元件加工处理所需的资源空间类型和节点的Group ID匹配出最适合的资源服务器,并通过所匹配的资源服务器完成对所述数据元件的加工处理。
具体实施是,本发明实施例中进行数据元件全自动化加工部署过程中,在对相同资源空间类型的资源空间中进行资源空间的分配时,本发明实施例是基于预设的匹配条件来进行资源空间的匹配的,该匹配条件可以根据实际需要具体进行设置,如基于数据元件生产部署所需的资源空间量来进行分配,等等,本发明对此不作具体限定,只要能够满足数据数据处理的需要即可。
在具体实施时,本发明实施例所述方法还包括:基于历史各个资源空间类型的资源空间使用情况的数据来训练得到SARIMA时序模型,并通过所述SARIMA时序模型预测预设时间周期内每种资源空间类型的资源消耗值,并根据所述资源消耗值调整各资源服务器的资源空间类型。
具体来说,本发明实施例是基于历史数据来训练得到SARIMA时序模型,然后通过该SARIMA时序模型来预测每种资源空间类型的资源消耗值,从而指导后续资源空间的分配和调整。
进一步地,对于如何根据所述资源消耗值调整各资源服务器的资源空间类型,本发明实施例可以直接在现有的各种资源空间类型的资源空间之间调整,也可以通过设置通用节点,然后以该通用节点为准来对各种资源空间类型的资源空间进行调整。
具体来说,本发明实施例是根据每种资源空间类型的资源消耗值,判断在预设周期内任一资源空间类型的剩余资源空间是否小于预设阈值,如果是,则将剩余资源最多的资源空间类型的资源空间调整给剩余资源空间小于预设阈值的资源空间类型。
也就是说,本发明实施例可以是在现有已经部署的资源空间中将剩余资源空间多的资源空间,调整给剩余资源空间小于预设阈值的类型的资源空间,以确保各种资源空间类型的资源都能够保证数据元件加工的使用需求。
或者,本发明实施例也可以是:设置通用节点,在某个类型的资源空间持续小于预设阈值时,通过该通用节点的资源空间来对其进行扩充,具体来说,本发明实施例是通过实时查询每种资源空间类型的资源消耗值,判断在预设周期内任一资源空间类型的剩余资源空间是否持续小于预设阈值,如果是,则将所述通用节点的资源空间设定为剩余资源空间持续小于预设阈值的资源空间类型。
简单来说,本发明实施例是先根据资源空间类型来设置管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间,并基于上述的资源空间类型来进行资源空间的划分,然后在数据元件加工过程中,再根据各个类型的资源空间的实际使用情况,对各个类型的资源空间进行调整,以最大程度上满足数据加工使用需求,提高用户的使用体验。
在实际实施过程中,如果剩余资源空间持续小于预设阈值的资源空间类型为多个,则将所述通用节点的资源空间按预设划分规则分配给各剩余资源空间持续小于预设阈值的资源空间类型,使得调整以后的各个类型的资源空间都能够满足数据加工的使用需求。
具体来说,本发明实施例可以将通用节点的资源空间平均分配给各个满足预设阈值的资源空间,当然也可以根据预设的不同资源空间类型的重要等级,将通用节点的资源空间按照预设比例进行资源空间的分配,等等,对于通用节点的资源空间分配可以根据需要进行设置,本发明不作具体限定。
在进行资源空间调整后,或者在对通用节点的资源空间分配后,将产生变更的资源服务器的节点的资源空间类型进行调整,以将更改资源空间类型的资源服务器的节点与对应资源空间类型的Group ID进行关联和绑定。具体可以是通过config-map来对同一种类型下的节点均与其对应的Group ID进行关联和绑定。当然在具体实施时,也可以通过其他方式来将资源空间与Group ID进行关联和绑定,本发明对此不作具体限定。
进一步地,本发明实施例所述的方法还包括:实时监控每种资源空间类型下的资源空间使用情况,如果在预设周期内资源空间使用率持续小于第一预设资源空间使用率阈值,则下调该种资源空间类型下的资源空间量,如果在预设周期内资源空间使用率持续大于第二预设资源空间使用率阈值,则上调该种资源空间类型下的资源空间量。
也即,本发明实施例还可以通过监测资源空间使用率,并基于资源空间使用率来调整一下相应类型下的资源空间量,从在满足数据元件加工的基础上,最大化利用资源空间。
下面将通过一个具体的例子来对本发明实施例所述的方法进行详细的解释和说明:
步骤1.所有的部署采用离线部署的形式,以确保元件开发商的环境的稳定性,在离线部署之前会将所有的rpm包和镜像包以及服务包,以分片形式上传到目标资源服务器;
步骤2.整个集群环境以及涉及到的公共组件的部署,采用的都是智能脚本化的离线部署的形式;
步骤3.首先确定本次部署涉及到的组件清单,组件清单会根据组件的类型分为管理组件,应用组件,大数据计算组件,AI计算组件,区块链组件;
上述的各个组件即为本发明实施例所述的管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间,本发明实施例是将各种组件设置在对应类型的资源空间内,并通过该组件在资源空间内完成对数据元件的管理、计算等各种处理操作。
步骤4.其次动态检测到将要安装的组件和数据仓库的数据资源情况,组件运行资源和数据资源的线性关系,将部署机器进行智能的规划和划分。分为管理节点、大数据计算节点、应用节点、AI计算节点、区块链节点等,并且一台机器只能为一种节点类型,不可以并行,当***检测到出现一个节点配置多种类型,可以自动检测,出现中断和报错;
也即,本发明实施例是将不同类型的资源空间所对应节点进行相互隔离,从而保证每种服务处理仅能在其对应的节点上来进行,避免由于服务随机部署和频繁部署所带来的稳定性差等问题。
步骤5.初始设置的不同类型的节点要根据组件运行资源和数据资源的线性关系,满足***配置的资源值,如果没有配置默认值为50%,也可以根据具体的使用方式、机器情况进行调整和配置;
步骤6.其他剩余资源节点统一标注为通用节点,有了通用节点,这些节点可以作为其他类型资源的抢占机器节点;
步骤7.不同的部署机器会根据节点的类型去绑定GroupID,每一种的类型的节点会对应一个相同的GroupID;
步骤8.根据资源空间的类型和节点的GroupID建立关联和绑定关系。部署过程中基于这种规则进行资源匹配和逻辑综合分析处理计算;并且在集群搭建后,也支持在线扩容绑定节点的类型,会根据扩容节点类型进行按比例自动扩容。
例如:A租户本来占用30%比例的总计算节点资源,当扩容一台新机器后,设置新机器为计算类型,那么当完成扩容后,***会自动把A租户的总资源进行一定比例的扩容匹配。同样的,针对增加的机器当不需要后,***会进行对应的缩容,此时***自动检测变化,检测到变化后,会同步触发资源空间的串行修改,确保都可以修改成功。
步骤9.根据应用的场景和类型匹配出最适合的资源服务器;
例如:元数据的服务,那么首先会找到对应的应用类型的worker标签的节点机器,同时元数据服务需要分布在不同节点机器上面,并且要保证不能选择计算节点和管理节点的机器部署;如果需要部署计算的任务,那么计算的任务只会选择计算节点的机器进行调度。所有的计算节点任务可以做到资源共享,排队抢占资源。应用的节点资源基本是独占,不会被抢占。***管理节点保证***运行的最小可用资源。
步骤10.通用节点为不同类型的资源都可以抢占的资源;
步骤11.以7天一周为周期,训练SARIMA时序模型,分别对5类组件消耗的资源进行时序预测,预测出每天每个组件可能的消耗值;训练后的模型会每日自动更新模型效果,上线的模型对通用节点进行预测判定,针对判定后的机器节点,***会进行标签修改处理,同时基于所述SARIMA时序模型的预测结果结合实际资源情况,来对所述SARIMA时序模型进行调优处理,以使得所述SARIMA时序模型的预测结果能够更符合实际;
步骤12.动态调节通用节点的标签到特定类型节点标签上,以满足特定类型节点资源消耗不低于预测值的50%。当***自动完成通用节点动态调节后,会针对机器资源的占用情况自动重新分配当前资源,把资源占用高的机器上的服务进行滚动下线,同时安全的平移到预算法分配的通用节点上面,保证对***的整体无感,但是整体***使用率会更加平滑和均衡分配。
通过上述可知,本发明能够让整个数据元件的部署变得更加简单便捷,同时还能够有效保证数据元件部署的稳定性和智能性,最终有效提升用户体验。
相应地,本发明第二实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有信号映射的计算机程序,所述计算机程序被至少一个处理器执行时,以实现本发明第一实施例中任一种所述的数据元件加工处理方法。
本发明实施例的相关内容可参见本发明第一实施例进行理解,在此不做详细论述。
尽管为示例目的,已经公开了本发明的优选实施例,本领域的技术人员将意识到各种改进、增加和取代也是可能的,因此,本发明的范围应当不限于上述实施例。
Claims (10)
1.一种数据元件加工处理方法,其特征在于,包括:
对所部署的加工处理数据元件的资源服务器按其资源空间类型进行资源服务器的节点划分,所述资源空间类型包括管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间,所述资源服务器的节点包括管理节点、计算节点、应用节点和区块链节点;
对每一种类型的资源服务器的节点设置与该类型节点相唯一对应的群标识Group ID,并将同一种类型下的节点均与其对应的Group ID进行关联和绑定;
在对数据元件加工处理时,基于所述数据元件加工处理所需的资源空间类型和节点的Group ID匹配出最适合的资源服务器,并通过所匹配的资源服务器完成对所述数据元件的加工处理。
2.根据权利要求1所述的方法,其特征在于,
基于历史各个资源空间类型的资源空间使用情况的数据来训练得到SARIMA时序模型,通过所述SARIMA时序模型预测预设时间周期内每种资源空间类型的资源消耗值,并根据所述资源消耗值调整各资源服务器的资源空间类型。
3.根据权利要求2所述的方法,其特征在于,根据所述资源消耗值调整各资源服务器的资源空间类型,包括:
根据每种资源空间类型的资源消耗值,判断在预设周期内任一资源空间类型的剩余资源空间是否小于预设阈值,如果是,则将剩余资源最多的资源空间类型的资源空间调整给剩余资源空间小于预设阈值的资源空间类型。
4.根据权利要求2所述的方法,其特征在于,所述资源服务器的节点还包括通用节点,根据所述资源消耗值调整各资源服务器的资源空间类型,还包括:
查询每种资源空间类型的资源消耗值,判断在预设周期内任一资源空间类型的剩余资源空间是否持续小于预设阈值,如果是,则将所述通用节点的资源空间设定为剩余资源空间持续小于预设阈值的资源空间类型。
5.根据权利要求4所述的方法,其特征在于,
当剩余资源空间持续小于预设阈值的资源空间类型为多个,则将所述通用节点的资源空间按预设划分规则分配给各剩余资源空间持续小于预设阈值的资源空间类型,以满足各个资源空间类型的资源空间需求。
6.根据权利要求5所述的方法,其特征在于,
所述预设划分规则为平均分配原则。
7.根据权利要求2所述的方法,其特征在于,根据所述资源消耗值调整各资源服务器的资源空间类型,还包括:
更改资源服务器的节点的资源空间类型,并将更改资源空间类型的资源服务器的节点与对应资源空间类型的Group ID进行关联和绑定。
8.根据权利要求1-7中任意一项所述的方法,其特征在于,所述方法还包括:
实时监控每种资源空间类型下的资源空间使用情况,如果在预设周期内资源空间使用率持续小于第一预设资源空间使用率阈值,则下调该种资源空间类型下的资源空间量,如果在预设周期内资源空间使用率持续大于第二预设资源空间使用率阈值,则上调该种资源空间类型下的资源空间量。
9.根据权利要求1-7中任意一项所述的方法,其特征在于,同一种类型下的节点均与其对应的Group ID进行关联和绑定,包括:
通过config-map对同一种类型下的节点均与其对应的Group ID进行关联和绑定。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有信号映射的计算机程序,所述计算机程序被至少一个处理器执行时,以实现权利要求1-9中任意一项所述的数据元件加工处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211469761.2A CN115509549B (zh) | 2022-11-23 | 2022-11-23 | 一种数据元件加工处理方法及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211469761.2A CN115509549B (zh) | 2022-11-23 | 2022-11-23 | 一种数据元件加工处理方法及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115509549A true CN115509549A (zh) | 2022-12-23 |
CN115509549B CN115509549B (zh) | 2023-03-24 |
Family
ID=84514216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211469761.2A Active CN115509549B (zh) | 2022-11-23 | 2022-11-23 | 一种数据元件加工处理方法及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115509549B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200302533A1 (en) * | 2018-06-13 | 2020-09-24 | Alibaba Group Holding Limited | Blockchain-based exchange method and apparatus for available resource quotas |
CN112019475A (zh) * | 2019-05-28 | 2020-12-01 | 阿里巴巴集团控股有限公司 | 无服务器架构下的资源访问方法、设备、***及存储介质 |
CN113392117A (zh) * | 2020-03-13 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 资源配置利息处理方法、装置、电子设备及存储介质 |
CN114430826A (zh) * | 2019-09-16 | 2022-05-03 | 甲骨文国际公司 | 用于预测计算工作负载的时间序列分析 |
-
2022
- 2022-11-23 CN CN202211469761.2A patent/CN115509549B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200302533A1 (en) * | 2018-06-13 | 2020-09-24 | Alibaba Group Holding Limited | Blockchain-based exchange method and apparatus for available resource quotas |
CN112019475A (zh) * | 2019-05-28 | 2020-12-01 | 阿里巴巴集团控股有限公司 | 无服务器架构下的资源访问方法、设备、***及存储介质 |
CN114430826A (zh) * | 2019-09-16 | 2022-05-03 | 甲骨文国际公司 | 用于预测计算工作负载的时间序列分析 |
CN113392117A (zh) * | 2020-03-13 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 资源配置利息处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115509549B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110858161B (zh) | 资源分配方法、装置、***、设备和介质 | |
CN109936473B (zh) | 基于深度学习预测的分布计算***及其运行方法 | |
US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
Jung et al. | Synchronous parallel processing of big-data analytics services to optimize performance in federated clouds | |
CN103281367B (zh) | 一种负载均衡方法及装置 | |
CN106445675B (zh) | 一种b2b平台分布式应用调度与资源分配方法 | |
CN112162865A (zh) | 服务器的调度方法、装置和服务器 | |
CN112583861A (zh) | 服务部署方法、资源配置方法、***、装置及服务器 | |
CN113434253B (zh) | 集群资源调度方法、装置、设备及存储介质 | |
CN107832129B (zh) | 一种面向分布式流计算***的动态任务调度优化方法 | |
CN111026553B (zh) | 离线混部作业的资源调度方法及服务器*** | |
CN104239154B (zh) | 一种Hadoop集群中的作业调度方法和作业调度器 | |
CN108270805B (zh) | 用于数据处理的资源分配方法及装置 | |
CN105703927A (zh) | 一种资源分配方法、网络设备和网络*** | |
US20110131578A1 (en) | Systems and methods for changing computational tasks on computation nodes to minimize processing time variation | |
CN110502321A (zh) | 一种资源调度方法及*** | |
CN114371926B (zh) | 一种精细化资源分配方法、装置、电子设备及介质 | |
CN110928666B (zh) | 一种Spark环境中基于内存优化任务并行度的方法和*** | |
CN109936471B (zh) | 一种多集群的资源分配方法和装置 | |
CN114625500A (zh) | 云环境下拓扑感知的微服务应用调度的方法及应用 | |
CN107203256B (zh) | 一种网络功能虚拟化场景下的节能分配方法与装置 | |
CN110990160A (zh) | 一种基于负荷预测的静态安全分析容器云弹性伸缩方法 | |
CN113918341A (zh) | 设备调度方法、装置、设备及存储介质 | |
CN115509549B (zh) | 一种数据元件加工处理方法及计算机可读存储介质 | |
CN111240824A (zh) | 一种cpu资源调度方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |