CN111367630A - 一种基于云计算的多用户多优先级的分布式协同处理方法 - Google Patents
一种基于云计算的多用户多优先级的分布式协同处理方法 Download PDFInfo
- Publication number
- CN111367630A CN111367630A CN201910628210.8A CN201910628210A CN111367630A CN 111367630 A CN111367630 A CN 111367630A CN 201910628210 A CN201910628210 A CN 201910628210A CN 111367630 A CN111367630 A CN 111367630A
- Authority
- CN
- China
- Prior art keywords
- task
- priority
- tasks
- user
- subtasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 93
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
Abstract
本发明涉及基于云计算的多用户多优先级的分布式协同处理方法，包括：步骤1)以用户和优先级作为代码组成分析任务执行先后顺序的判定因素；步骤2)基于上述的代码组成分析任务的执行顺序，通过分布式集群协同的方式分析每一个任务拆分出来的子任务，汇总子任务的解析结果。本发明涉及基于云计算的多用户多优先级的分布式协同处理方法执行装置，根据用户和优先级，获取任务的执行顺序，然后拆分任务，通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，实现代码组成分析的高效可控。且解决了大型任务拥有海量数据，协同处理范围有限且难度大的问题。
Description
技术领域
本发明涉及软件和分布式协同领域，尤其设计一种基于云计算的多用户多优先级的分布式协同处理方法。
背景技术
随着信息化进程的推进，软件数量逐年递增，软件的复杂程度也逐渐增加，代码审计时需要进行组成分析的软件代码数据量十分庞大，这就需要协同处理方法去提高效率。
目前普遍的协同处理方法为工作人员首先各自分别完成对应任务，然后通过视频会议、共享文件等形式来进行较低程度的协同；或使用基于HTTP协议的软件，通过搭建应用平台，利用各软件特定的、互不统一的API接口的形式获取对象的物理信息、特殊节点等数据；或者以中间文件的形式处理对象获取对象的特殊节点、物理信息等数据，处理后达到协同工作的目的。大型任务拥有海量数据，协同处理范围有限，难度大。
为保证代码组成分析的准确度，存储的组件数量达到千万级别。且需要在多用户多优先级下进行处理数据，普通的协同处理方法效率低，无法满足需要。项目采用具备服务器集群横向扩展能力的私有云计算平台。通过增加计算机或虚拟机来近乎线性地提高代码分析计算能力和海量代码数据存储能力，实现多节点的高并发处理，代码搜索匹配效率随节点线性增加。因此我们提出了一种基于云计算的多用户多优先级的分布式协同处理方法。
发明内容
本发明是针对以上提出的问题，而研制的一种基于云计算的多用户多优先级的分布式***处理方法及装置。用于包含处于云端、负责软件运行的中央服务器集群和多个使用者操作使用的分布式***中。解决多用户、多优先级、分布式协同处理过程中出现的一系列问题，实现通过多用户多优先级的分布式协同处理方法解决海量数据查询、协同范围有限和效率慢的问题。
根据本发明的一方面，提供了一种基于云计算的多用户多优先级的分布式协同处理方法，用于提高代码组成分析的计算能力和数据存储能力，所属方法包括：
步骤1)以用户和优先级作为代码组成分析任务执行先后顺序的判定因素；
其中，多个用户新建代码分析任务，将代码分析请求发送至私有云计算平台集群，私有云计算平台集群接收到请求后，将用户与优先级相结合，构建相对合理的任务执行的优先级，然后将待执行的任务放入队列中，并将所属的队列中任务的顺序作为代码组成分析任务的执行顺序。
其中，任务执行的优先级由用户和优先级相结合构成，用户包括特殊用户和普通用户，优先级是指用户新建代码组成分析任务时指定的优先级，通过用户和优先级获取任务的执行顺序。
其中，以队列中任务的顺序作为代码组成分析任务的执行顺序包括：对于新建的多个代码组成分析任务，利用用户和用户选定的任务的优先级来确定任务的执行顺序并放入队列中，然后对代码组成分析任务进行拆分，拆分为多个子任务，采用分布式的方式对多有的子任务进行解析，最后汇总解析结果。
步骤2)基于上述的代码组成分析任务的执行顺序，通过分布式集群协同的方式分析每一个任务拆分出来的子任务，汇总每一个任务的解析结果。
更具体地，在所述的基于云计算的多用户多优先级的分布式协同处理方法中：步骤2)还包括代码组成分析任务拆分、云资源调度策略优化、多节点并行处理、异步控制管理机制，进行多节点的任务协同处理能力，实现代码组成分析过程的高效可控。
更具体地，所述的代码组成分析任务拆分是指：按照优先级从高到低的顺序把代码组成分析任务拆分为对个子任务。根据资源的可使用率，被拆分的代码组成分析任务是一个或多个。
更具体地，所述的云源资源调度策略优化是指：云资源动态调度策略优化主要通过资源监测与预测技术和自动化负载平衡调度技术来实现。按照技术点分成监测和调度两模块。监测模块提供各种资源的实时状态信息、历史的预测信息以及相应的报警信息提供给调度模块，调度模块根据相应的资源状态信息来选择一定负载均衡算法在一个指定的调度域中来达到指定的目的，或者根据用户提交的任务来做合理的资源分配，使得用户的任务执行达到指定资源优化要求，并最终通过操作驱动器来执行最终的行动，并返回相应的状态，及时将资源的更新信息通知给监测模块。
更具体地，所述的多节点并行处理、异步控制管理机制是指：把代码组成分析任务分成多个子任务，启用多线程，然后通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。
根据本发明的另一方面，还提供了一种基于多用户多优先级的分布式协同处理装置，用于对代码进行分析，所述装置包括：
任务优先级计算模块，用于根据用户和用户指定的任务的优先级来计算任务执行的先后顺序。
任务拆分模块，根据任务执行的优先级和可使用的资源，拆分任务，把任务拆分为多个子任务。
数据处理模块，根据云资源动态调度策略，把多个子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。
其中，在所述的任务优先级计算模块中，任务执行的先后顺序由用户和用户指定的任务的优先级来确定。用户包括特殊用户和普通用户，优先级是指用户新建代码组成分析任务时指定的优先级，通过用户和优先级获取任务的执行顺序。
其中，在所述的任务拆分模块中，按照任务的优先级从高到低的顺序把代码组成分析任务拆分为对个子任务。根据资源的可使用率，被拆分的代码组成分析任务是一个或多个。
其中，在所述的数据处理模块中，以子任务的优先级和云资源动态调度策略，把多个子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，最后合并每一个任务的解析结果。
更具体地，在所述的基于云计算的多用户多优先级的分布式协同处理装置中：所述的任务拆分模块还用于确定子任务执行的优先级，所述的确定子任务的优先级是指，在被拆分的任务为多个时，优先执行的子任务是优先级高的任务。
更具体地，在所述的基于云计算的多用户多优先级的分布式协同处理装置中：所述的云资源调度策略优化是指通过资源监测与预测技术和自动化负载平衡调度技术来实现。监测模块提供各种资源的实时状态信息、历史的预测信息以及相应的报警信息提供给调度模块，调度模块根据相应的资源状态信息来选择一定负载均衡算法在一个指定的调度域中来达到指定的目的，或者根据用户提交的任务来做合理的资源分配，使得用户的任务执行达到指定资源优化要求。
本发明具备以下删除重要的发明点：
1、多用户多优先级，根据用户和任务的优先级来确认代码组成分析任务的资源使用的优先级。支持多个用户多个任务同时执行。
2、云资源动态调度策略优化，通过资源监测与预测技术和自动化负载平衡调度技术来实现：根据相应的资源状态信息来选择一定负载均衡算法在一个指定的调度域中来达到指定的目的，或者根据用户提交的任务来做合理的资源分配，使得用户的任务执行达到指定资源优化要求。合理的利用资源。
3、多节点并行处理把代码组成分析任务分成多个子任务，启用多线程，然后通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。减少了数据搜索的压力，提高了分析效率。
附图说明
以下将结合附图对本发明的实施方案进行描述，其中：
图1为根据本发明实施方案示出的基于云计算的多用户多优先级的分布式协同处理方法的步骤流程图。
图2为根据本发明实施方案示出的基于云计算的多用户多优先级的分布式协同处理方法执行的结构方框图。
图3为本发明的私有云资源动态调度策略技术框图
图4为本发明的多节点任务异步协同处理流程图
具体实施方式
下面将参照附图对本发明的一种基于云计算的多用户多优先级的分布式协同处理方法的实施方案进行详细说明。
本发明采用基于云计算的多用户多优先级的分布式协同处理方法对代码进行组成分析。多个用户新建代码分析任务，将代码分析请求发送至私有云计算平台集群，私有云计算平台集群接收到请求后，根据用户和优先级把用户ID和对应的任务加入相应的队列中，同时，将正在进行的任务的数量加一。然后通过代码分析任务拆分、云资源调度策略优化、多节点并行处理、异步控制管理机制，进行多节点的任务协同处理能力，实现代码组成分析过程的高效可控。
图1为根据本发明实施方案示出的基于云计算的多用户多优先级的分布式协同处理方法的步骤流程图，所述方法用于对代码组成分析任务进行解析，所述方法包括：
步骤1)以用户和优先级作为代码组成分析任务执行先后顺序的判定因素；
其中，多个用户新建代码分析任务，将代码分析请求发送至私有云计算平台集群，私有云计算平台集群接收到请求后，将用户与优先级相结合，构建相对合理的任务执行的优先级，然后将待执行的任务放入队列中，并将所属的队列中任务的顺序作为代码组成分析任务的执行顺序。
其中，任务执行的优先级由用户和优先级相结合构成，用户包括特殊用户和普通用户，优先级是指用户新建代码组成分析任务时指定的优先级，通过用户和优先级获取任务的执行顺序。
其中，以队列中任务的顺序作为代码组成分析任务的执行顺序包括：对于新建的多个代码组成分析任务，利用用户和用户选定的任务的优先级来确定任务的执行顺序并放入队列中，然后对代码组成分析任务进行拆分，拆分为多个子任务，采用分布式的方式对多有的子任务进行解析，最后汇总解析结果。
步骤2)基于上述的代码组成分析任务的执行顺序，通过分布式集群协同的方式分析每一个任务拆分出来的子任务，汇总每一个任务的解析结果。
在所述的基于云计算的多用户多优先级的分布式协同处理方法中：
步骤2)还包括代码组成分析任务拆分、云资源调度策略优化、多节点并行处理、异步控制管理机制，进行多节点的任务协同处理能力，实现代码组成分析过程的高效可控。
所述的基于云计算的多用户多优先级的分布式协同处理方法中：
按照优先级从高到低的顺序把代码组成分析任务拆分为对个子任务。根据资源的可使用率，被拆分的代码组成分析任务是一个或多个。
所述的基于云计算的多用户多优先级的分布式协同处理方法中：
把代码组成分析任务分成多个子任务，启用多线程，然后通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。
图2为根据本发明实施方案示出的基于云计算的多用户多优先级的分布式协同处理方法执行的结构方框图，所述装置用于对代码组成分析任务进行解析，所述装置包括：
任务优先级计算模块，用于根据用户和用户指定的任务的优先级来计算任务执行的先后顺序。
任务拆分模块，根据任务执行的优先级和可使用的资源，拆分任务，把任务拆分为多个子任务。
数据处理模块，根据云资源动态调度策略，把多个子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。
其中，在所述的任务优先级计算模块中，任务执行的先后顺序由用户和用户指定的任务的优先级来确定。用户包括特殊用户和普通用户，优先级是指用户新建代码组成分析任务时指定的优先级，通过用户和优先级获取任务的执行顺序。
其中，在所述的任务拆分模块中，按照任务的优先级从高到低的顺序把代码组成分析任务拆分为对个子任务。根据资源的可使用率，被拆分的代码组成分析任务是一个或多个。
其中，在所述的数据处理模块中，以子任务的优先级和云资源动态调度策略，把多个子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，最后合并每一个任务的解析结果。
接着，继续对本发明的基于云计算的多用户多优先级的分布式协同处理方法执行装置的具体结构进行进一步的说明。
在所述的基于云计算的多用户多优先级的分布式协同处理装置中：
所述的任务拆分模块还用于确定子任务执行的优先级，所述的确定子任务的优先级是指，在被拆分的任务为多个时，优先执行的子任务是优先级高的任务。
在所述的基于云计算的多用户多优先级的分布式协同处理装置中：
所述的云资源调度策略优化是指通过资源监测与预测技术和自动化负载平衡调度技术来实现。监测模块提供各种资源的实时状态信息、历史的预测信息以及相应的报警信息提供给调度模块，调度模块根据相应的资源状态信息来选择一定负载均衡算法在一个指定的调度域中来达到指定的目的，或者根据用户提交的任务来做合理的资源分配，使得用户的任务执行达到指定资源优化要求。
图3为本发明的私有云资源动态调度策略技术框图。其中，私有云资源动态调度策略技术框架的资源主要通过集群资源来体现，监测模块通过从集群中获取的各种资源的状态信息：物理机的CPU、内存、磁盘、网络I/O、物理机上的资源的信息以及各种应用的性能信息监测。监测中心会根据管理员的配置做出相应的资源预警信号，并将整体的负载情况推送给调度模块，同时监测模块也支持调度模块的实时拉取监测数据的接口。
调度模块通过被动或者主动的获取监测模块的监测信息，根据信息的种类或者信息的阀值动态的在所有的调度域内做负载均衡算法、最大利用率或者性能优化算法。引起调度算法的因素有三个：监测模块的预警信号、调度模块的定时监测、新用户的任务请求。在调度算法执行结束之后，会形成一系列的操作(迁移、创建、挂起、修改虚拟机配置的操作)，这一系列的操作，会以操作命令信息的形式发送到操作驱动器模块，来实现最终调度的部署。
操作驱动器模块将不同的软件的调用接口进行统一的封装。其主要功能就是在接收到调度模块发送过来的各种操作请求后，调用封装好的接口，将请求的列表分类批量化并行执行，增加执行的效率，并且最终执行的结果和状态信息反馈给调度框架和私有云计算***。
图4为本发明的多节点任务异步协同处理流程图，项目采用多线程的方式对任务进行拆分，通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。
采用本发明的基于云计算的多用户多优先级的分布式***处理方法及装置，通过分布式协同的方式对代码进行解析，在解析的过程中，以用户和优先级作为代码组成分析任务执行先后顺序的判定因素，首先计算任务的执行顺序，对任务进行拆分，拆分为多个子任务，然后启用多线程，然后通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。且解决了大型任务拥有海量数据，协同处理范围有限且难度大。
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (8)
1.一种基于云计算的多用户多优先级的分布式协同处理方法，用于对代码进行组成分析，其特征在于，所述方法包括：
步骤1)以用户和优先级作为代码组成分析任务执行先后顺序的判定因素；
其中，多个用户新建代码分析任务，将代码分析请求发送至私有云计算平台集群，私有云计算平台集群接收到请求后，将用户与优先级相结合，构建相对合理的任务执行的优先级，然后将待执行的任务放入队列中，并将所属的队列中任务的顺序作为代码组成分析任务的执行顺序。
其中，任务执行的优先级由用户和优先级相结合构成，用户包括特殊用户和普通用户，优先级是指用户新建代码组成分析任务时指定的优先级，通过用户和优先级获取任务的执行顺序。
其中，以队列中任务的顺序作为代码组成分析任务的执行顺序包括：对于新建的多个代码组成分析任务，利用用户和用户选定的任务的优先级来确定任务的执行顺序并放入队列中，然后对代码组成分析任务进行拆分，拆分为多个子任务，采用分布式的方式对多有的子任务进行解析，最后汇总解析结果。
步骤2)基于上述的代码组成分析任务的执行顺序，通过分布式集群协同的方式分析每一个任务拆分出来的子任务，汇总每一个任务的解析结果。
2.如权利要求1所述的基于云计算的多用户多优先级的分布式协同处理方法，其特征在于：
步骤2)还包括代码组成分析任务拆分、云资源调度策略优化、多节点并行处理、异步控制管理机制，进行多节点的任务协同处理能力，实现代码组成分析过程的高效可控。
3.如权利要求2所述的基于云计算的多用户多优先级的分布式协同处理方法，其特征在于：
代码组成分析任务拆分，按照优先级从高到低的顺序把代码组成分析任务拆分为对个子任务。根据资源的可使用率，被拆分的代码组成分析任务是一个或多个。
4.如权利要求2所述的基于云计算的多用户多优先级的分布式协同处理方法，其特征在于：
把代码组成分析任务分成多个子任务，启用多线程，然后通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。
5.一种基于云计算的多用户多优先级的分布式协同处理方法执行装置，用于对代码进行组成分析，其特征在于，所述装置包括：
任务优先级计算模块，用于根据用户和用户指定的任务的优先级来计算任务执行的先后顺序。
任务拆分模块，根据任务执行的优先级和可使用的资源，拆分任务，把任务拆分为多个子任务。
数据处理模块，根据云资源动态调度策略，把多个子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，形成多节点的任务协同处理能力，实现代码组成分析的高效可控。
其中，在所述的任务优先级计算模块中，任务执行的先后顺序由用户和用户指定的任务的优先级来确定。用户包括特殊用户和普通用户，优先级是指用户新建代码组成分析任务时指定的优先级，通过用户和优先级获取任务的执行顺序。
其中，在所述的任务拆分模块中，按照任务的优先级从高到低的顺序把代码组成分析任务拆分为对个子任务。根据资源的可使用率，被拆分的代码组成分析任务是一个或多个。
其中，在所述的数据处理模块中，以子任务的优先级和云资源动态调度策略，把多个子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，最后合并每一个任务的解析结果。
6.如权利要求5所述的基于云计算的多用户多优先级的分布式协同处理方法执行装置，其特征在于：
所述的任务拆分模块还用于确定子任务执行的优先级，所述的确定子任务的优先级是指，在被拆分的任务为多个时，优先执行的子任务是优先级高的任务。
7.如权利要求6所述的基于云计算的多用户多优先级的分布式协同处理方法执行装置，其特征在于：
在所述的基于云计算的多用户多优先级的分布式协同处理装置中：所述的云资源调度策略优化是指通过资源监测与预测技术和自动化负载平衡调度技术来实现。监测模块提供各种资源的实时状态信息、历史的预测信息以及相应的报警信息提供给调度模块，调度模块根据相应的资源状态信息来选择一定负载均衡算法在一个指定的调度域中来达到指定的目的，或者根据用户提交的任务来做合理的资源分配，使得用户的任务执行达到指定资源优化要求。
8.如权利要求6所述的所述的基于云计算的多用户多优先级的分布式协同处理方法执行装置，其特征在于：
用分布式协同方式解析数据包括：对任务进行拆分，拆分为多个子任务，然后启用多线程，然后通过云资源动态调度策略优化机制把子任务分配到集群的各个节点，进行多节点并行处理，实现多个节点异步协同，然后对解析结果进行汇总。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910628210.8A CN111367630A (zh) | 2019-07-12 | 2019-07-12 | 一种基于云计算的多用户多优先级的分布式协同处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910628210.8A CN111367630A (zh) | 2019-07-12 | 2019-07-12 | 一种基于云计算的多用户多优先级的分布式协同处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111367630A true CN111367630A (zh) | 2020-07-03 |
Family
ID=71207845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910628210.8A Pending CN111367630A (zh) | 2019-07-12 | 2019-07-12 | 一种基于云计算的多用户多优先级的分布式协同处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111367630A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| CN111880843A (zh) * | 2020-07-31 | 2020-11-03 | 重庆医科大学 | 基于Linux单命令行的生物大数据分析***及方法 |
| CN112101536A (zh) * | 2020-08-30 | 2020-12-18 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 轻量级分布式多任务协同框架 |
| CN112395085A (zh) * | 2020-11-05 | 2021-02-23 | 深圳市中博科创信息技术有限公司 | 一种基于hdfs的分布式关系数据库的调度方法 |
| CN112540841A (zh) * | 2020-12-28 | 2021-03-23 | 智慧神州(北京)科技有限公司 | 任务调度的方法、装置、处理器与电子设备 |
| CN112579289A (zh) * | 2020-12-21 | 2021-03-30 | 中电福富信息科技有限公司 | 一种可智能调度的分布式解析引擎方法及装置 |
| CN112667901A (zh) * | 2020-12-31 | 2021-04-16 | 中国电子信息产业集团有限公司第六研究所 | 一种社交媒体数据的获取方法及*** |
| CN112817732A (zh) * | 2021-02-26 | 2021-05-18 | 国网电力科学研究院有限公司 | 一种适应云边协同多数据中心场景下的流数据处理方法及*** |
| CN113626161A (zh) * | 2021-07-09 | 2021-11-09 | 中国科学院信息工程研究所 | 一种分布式多用户的数据调度方法及*** |
| CN114153613A (zh) * | 2021-12-07 | 2022-03-08 | 杭州电子科技大学 | 一种面向边缘计算与协同的分布式通信调度方法 |
| CN114756383A (zh) * | 2022-06-15 | 2022-07-15 | 苏州浪潮智能科技有限公司 | 一种分布式计算方法、***、设备及存储介质 |
| CN116069464A (zh) * | 2022-12-19 | 2023-05-05 | 深圳计算科学研究院 | 一种基于分布式存储调用数据执行的优化方法及装置 |
| CN117155929A (zh) * | 2023-10-31 | 2023-12-01 | 浪潮电子信息产业股份有限公司 | 分布式集群的通信方法、***、电子设备及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6408277B1 (en) * | 2000-06-21 | 2002-06-18 | Banter Limited | System and method for automatic task prioritization |
| US20080172674A1 (en) * | 2006-12-08 | 2008-07-17 | Business Objects S.A. | Apparatus and method for distributed dataflow execution in a distributed environment |
| CN102402423A (zh) * | 2010-09-19 | 2012-04-04 | 百度在线网络技术（北京）有限公司 | 一种在网络设备中进行多任务处理的方法和设备 |
| CN105897837A (zh) * | 2015-12-07 | 2016-08-24 | 乐视云计算有限公司 | 内容分发任务的提交方法及*** |
| US20170161669A1 (en) * | 2015-12-07 | 2017-06-08 | Le Holdings (Beijing) Co., Ltd. | Method and system for submitting content delivery tasks |
| CN108345501A (zh) * | 2017-01-24 | 2018-07-31 | 全球能源互联网研究院 | 一种分布式资源调度方法和*** |
| US20180300174A1 (en) * | 2017-04-17 | 2018-10-18 | Microsoft Technology Licensing, Llc | Efficient queue management for cluster scheduling |
| CN108737560A (zh) * | 2018-05-31 | 2018-11-02 | 南京邮电大学 | 云计算任务智能调度方法及***、可读存储介质、终端 |
-
2019
- 2019-07-12 CN CN201910628210.8A patent/CN111367630A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6408277B1 (en) * | 2000-06-21 | 2002-06-18 | Banter Limited | System and method for automatic task prioritization |
| US20080172674A1 (en) * | 2006-12-08 | 2008-07-17 | Business Objects S.A. | Apparatus and method for distributed dataflow execution in a distributed environment |
| CN102402423A (zh) * | 2010-09-19 | 2012-04-04 | 百度在线网络技术（北京）有限公司 | 一种在网络设备中进行多任务处理的方法和设备 |
| CN105897837A (zh) * | 2015-12-07 | 2016-08-24 | 乐视云计算有限公司 | 内容分发任务的提交方法及*** |
| US20170161669A1 (en) * | 2015-12-07 | 2017-06-08 | Le Holdings (Beijing) Co., Ltd. | Method and system for submitting content delivery tasks |
| CN108345501A (zh) * | 2017-01-24 | 2018-07-31 | 全球能源互联网研究院 | 一种分布式资源调度方法和*** |
| US20180300174A1 (en) * | 2017-04-17 | 2018-10-18 | Microsoft Technology Licensing, Llc | Efficient queue management for cluster scheduling |
| CN108737560A (zh) * | 2018-05-31 | 2018-11-02 | 南京邮电大学 | 云计算任务智能调度方法及***、可读存储介质、终端 |
Non-Patent Citations (2)
| Title |
|---|
| 姜浩;: "云计算环境下海量分布式数据处理协同机制的研究" * |
| 贺智明: "云环境下基于偏好的资源公平分配策略" * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| CN111880843A (zh) * | 2020-07-31 | 2020-11-03 | 重庆医科大学 | 基于Linux单命令行的生物大数据分析***及方法 |
| CN112101536A (zh) * | 2020-08-30 | 2020-12-18 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 轻量级分布式多任务协同框架 |
| CN112395085A (zh) * | 2020-11-05 | 2021-02-23 | 深圳市中博科创信息技术有限公司 | 一种基于hdfs的分布式关系数据库的调度方法 |
| CN112395085B (zh) * | 2020-11-05 | 2022-10-25 | 深圳市中博科创信息技术有限公司 | 一种基于hdfs的分布式关系数据库的调度方法 |
| CN112579289A (zh) * | 2020-12-21 | 2021-03-30 | 中电福富信息科技有限公司 | 一种可智能调度的分布式解析引擎方法及装置 |
| CN112579289B (zh) * | 2020-12-21 | 2023-06-13 | 中电福富信息科技有限公司 | 一种可智能调度的分布式解析引擎方法及装置 |
| CN112540841A (zh) * | 2020-12-28 | 2021-03-23 | 智慧神州(北京)科技有限公司 | 任务调度的方法、装置、处理器与电子设备 |
| CN112667901A (zh) * | 2020-12-31 | 2021-04-16 | 中国电子信息产业集团有限公司第六研究所 | 一种社交媒体数据的获取方法及*** |
| CN112667901B (zh) * | 2020-12-31 | 2024-04-26 | 中国电子信息产业集团有限公司第六研究所 | 一种社交媒体数据的获取方法及*** |
| CN112817732A (zh) * | 2021-02-26 | 2021-05-18 | 国网电力科学研究院有限公司 | 一种适应云边协同多数据中心场景下的流数据处理方法及*** |
| CN112817732B (zh) * | 2021-02-26 | 2022-11-11 | 国网电力科学研究院有限公司 | 一种适应云边协同多数据中心场景下的流数据处理方法及*** |
| CN113626161A (zh) * | 2021-07-09 | 2021-11-09 | 中国科学院信息工程研究所 | 一种分布式多用户的数据调度方法及*** |
| CN113626161B (zh) * | 2021-07-09 | 2023-12-22 | 中国科学院信息工程研究所 | 一种分布式多用户的数据调度方法及*** |
| CN114153613A (zh) * | 2021-12-07 | 2022-03-08 | 杭州电子科技大学 | 一种面向边缘计算与协同的分布式通信调度方法 |
| CN114756383A (zh) * | 2022-06-15 | 2022-07-15 | 苏州浪潮智能科技有限公司 | 一种分布式计算方法、***、设备及存储介质 |
| CN116069464B (zh) * | 2022-12-19 | 2024-01-16 | 深圳计算科学研究院 | 一种基于分布式存储调用数据执行的优化方法及装置 |
| CN116069464A (zh) * | 2022-12-19 | 2023-05-05 | 深圳计算科学研究院 | 一种基于分布式存储调用数据执行的优化方法及装置 |
| CN117155929A (zh) * | 2023-10-31 | 2023-12-01 | 浪潮电子信息产业股份有限公司 | 分布式集群的通信方法、***、电子设备及可读存储介质 |
| CN117155929B (zh) * | 2023-10-31 | 2024-02-09 | 浪潮电子信息产业股份有限公司 | 分布式集群的通信方法、***、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111367630A (zh) | 一种基于云计算的多用户多优先级的分布式协同处理方法 | |
| US9916183B2 (en) | Scheduling mapreduce jobs in a cluster of dynamically available servers | |
| CN107025205B (zh) | 一种分布式***中的训练模型的方法及设备 | |
| Samal et al. | Analysis of variants in round robin algorithms for load balancing in cloud computing | |
| US10977070B2 (en) | Control system for microkernel architecture of industrial server and industrial server comprising the same | |
| Boutaba et al. | On cloud computational models and the heterogeneity challenge | |
| US20170024251A1 (en) | Scheduling method and apparatus for distributed computing system | |
| WO2019223596A1 (zh) | 事件处理方法、装置、设备及存储介质 | |
| CN110569252B (zh) | 一种数据处理***及方法 | |
| Liu et al. | Preemptive hadoop jobs scheduling under a deadline | |
| Rupprecht et al. | SquirrelJoin: Network-aware distributed join processing with lazy partitioning | |
| WO2024021489A1 (zh) | 一种任务调度方法、装置及Kubernetes调度器 | |
| CN110659278A (zh) | 基于cpu-gpu异构架构的图数据分布式处理*** | |
| Malekimajd et al. | Optimal map reduce job capacity allocation in cloud systems | |
| Zhang et al. | Reservation-based resource scheduling and code partition in mobile cloud computing | |
| CN104112049A (zh) | 基于P2P构架的MapReduce任务跨数据中心调度***及方法 | |
| Komarasamy et al. | A novel approach for Dynamic Load Balancing with effective Bin Packing and VM Reconfiguration in cloud | |
| Wu et al. | Dynamic acceleration of parallel applications in cloud platforms by adaptive time-slice control | |
| Teng et al. | Scheduling real-time workflow on MapReduce-based cloud | |
| CN110502337B (zh) | 针对Hadoop MapReduce中混洗阶段的优化*** | |
| Alhussian et al. | An unfair semi-greedy real-time multiprocessor scheduling algorithm | |
| Lin et al. | Two-tier project and job scheduling for SaaS cloud service providers | |
| Hsiao et al. | A usage-aware scheduler for improving MapReduce performance in heterogeneous environments | |
| Chen et al. | Deadline-constrained MapReduce scheduling based on graph modelling | |
| Hu et al. | Requirement-aware strategies with arbitrary processor release times for scheduling multiple divisible loads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 102209 southeast, 6th floor, block B, national power investment Central Research Institute, South District, future science city, Changping District, Beijing Applicant after: BEIJING KEYWARE Co.,Ltd. Address before: 102208 key technology on the fourth floor of the production building of the second Pinzi Bona group, Huilongguan, Changping District, Beijing Applicant before: BEIJING KEYWARE Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200703 |