CN111898865B - 一种智慧校园数据动态管理方法 - Google Patents
一种智慧校园数据动态管理方法 Download PDFInfo
- Publication number
- CN111898865B CN111898865B CN202010634318.0A CN202010634318A CN111898865B CN 111898865 B CN111898865 B CN 111898865B CN 202010634318 A CN202010634318 A CN 202010634318A CN 111898865 B CN111898865 B CN 111898865B
- Authority
- CN
- China
- Prior art keywords
- task
- data
- execution
- computing
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims description 48
- 238000004891 communication Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种智慧校园数据动态管理方法,所述方法包括:步骤S1:分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数;步骤S2:通过执行函数的预测和计算模块的监测确定触发条件是否满足;步骤S3:确定触发条件满足时,监测当前的数据布局情况,根据当前的数据布局情况进行数据的预加载。本发明能够充分利用封闭校园环境的软硬件资源,提高了校园用户体验。
Description
【技术领域】
本发明属于大数据技术领域,尤其涉及一种智慧校园数据动态管理方法。
【背景技术】
智慧校园指的是以物联网为基础的智慧化的校园工作、学***台,提供基于角色的个性化定制服务;能够将基于计算机网络的信息服务融入学校的各个应用与服务领域,实现互联和协作;通过智能感知环境和综合信息服务平台,为学校与外部世界提供一个相互交流和相互感知的接口。例如:学生通过客户端进行在大数据处理中心进行注册,然后在上述餐厅预约***预约设定时间的饮食,并通过上述餐厅预定***进行支付。随着校园信息化建设的不断推进,信息服务在学校管理中的作用越来越大。一方面,智慧校园的发展非常的繁荣,使得校园数据非常复杂,事务类型也非常的复杂;校园数据的访问因为学生的生活习惯相同,也经常会出现突发性的访问和产生;另一方面,智慧校园的软硬件资源还相当有限,这两者共同作用会降低智慧校园数据的稳定性,无法满足不同身高的老师的使用需求。本发明能够:(1)在校园环境封闭的前提下,提出了通过计算任务的预测进行数据布局改变的方式,大大的加快了任务执行时间;(2)通过任务类型的细粒度区分,满足了主要任务类型以及主要数据型任务的数据需求;(3)针对不同计算模块量化任务数量和任务执行时间,预测开销小,预测所需参数范围少,预测精度高,基于该量化参数提供了任务调度,数据迁移等策略进化基础;提供了任务执行时间和任务数量双维度的预测和判断方法;(4)提出了基于数据通信范围的数据迁移方法,改变了数据流向的随意性,通过围绕计算模块数据预测,引导了数据的流向;(5)充分利用封闭校园环境的软硬件资源,提高了校园用户体验。
【发明内容】
为了解决现有技术中的上述问题,本发明提出了一种智慧校园数据动态管理方法,所述方法包含:
步骤S1:分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数;
步骤S2:通过执行函数的预测和计算模块的监测确定触发条件是否满足;
步骤S3:确定触发条件满足时,监测当前的数据布局情况,根据当前的数据布局情况进行数据的预加载。
进一步的,不同类型的任务执行时间是不同的。
进一步的,相同类型的任务在同样的计算模块上执行的时间是不同的。
进一步的,计算模块为一个或多个。
进一步的,数据布局在存储模块上,存储模块为一个或多个。
进一步的,根据总的任务执行时间来判断触发条件是否满足。
进一步的,根据当前各种类型任务的响应时间或者各种类型任务的执行时间来进行判断。
进一步的,触发条件为基于大数据变化情况的确定的触发条件。
进一步的,步骤S3具体为:对于每个计算模块,确定第一通信范围内存储空间中数据加载量,根据下一时刻的任务数量的预测值确定预测数据加载量,根据所述预测数据加载量和数据加载量之间的关系来进行数据加载;通过加所有任务类型的任务数量就能够得到当前计算模块的任务数量。
一种实现上述智慧校园数据动态管理方法的智慧校园数据动态管理***,其特征在于,所述***包括存储平台、计算平台,所述存储平台和计算平台连接外部大数据中心,其中存储平台和计算平台服务于智慧校园;一个或者多个计算模块之间共享存储模块,计算模块和不同存储模块之间的通信开销是不同的。
本发明的有益效果包括:(1)在校园环境封闭的前提下,提出了通过计算任务的预测进行数据布局改变的方式,大大的加快了任务执行时间;(2)通过任务类型的细粒度区分,满足了主要任务类型以及主要数据型任务的数据需求;(3)针对不同计算模块量化任务数量和任务执行时间,预测开销小,预测所需参数范围少,预测精度高,基于该量化参数提供了任务调度,数据迁移等策略进化基础;提供了任务执行时间和任务数量双维度的预测和判断方法;(4)提出了基于数据通信范围的数据迁移方法,改变了数据流向的随意性,通过围绕计算模块数据预测,引导了数据的流向;(5)充分利用封闭校园环境的软硬件资源,提高了校园用户体验。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解,构成本申请的一部分,但并不构成对本发明的不当限定,在附图中:
图1为本发明的智慧校园数据动态管理方法示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定。
所述智慧校园数据动态管理方法所应用的智慧校园数据动态管理***中,所述***包括存储平台、计算平台,所述存储平台和计算平台连接外部大数据中心,其中存储平台和计算平台服务于智慧校园;
优选的:所述存储平台和计算平台设置于校园内;校园是一个相对封闭的环境,存储平台和计算平台一般设置于校园内作为校园的私产而存在;存储平台为虚拟存储平台,通过存储平台对多个存储模块进行管理,实现从虚拟存储到物理存储之间的映射;所述计算平台为虚拟计算平台,通过计算平台对多个计算模块进行管理,进行计算任务、用户请求的分配;对于智慧校园来说,因为固有的计算特性、历史部署、物理特性等原因,计算任务的分配主要考虑固有分配模式搭配有限动态的任务分配;因此,为了提高响应速度在不增加硬件设置的情况下,通过有效的数据管理能够解决该问题;
一个或者多个计算模块之间共享存储模块,计算模块和不同存储模块之间的通信开销是不同的,例如:计算模块A1直接和存储模块B1连接,存储模块B1通过通信网络和存储模块B2之间连接,那么计算模块A1和存储模块B1之间的通信开销小于和存储模块B2之间的通信开销;存储模块B1相对于计算模块A1来说在其较小的通信范围内;计算模块可以为独立的存储服务器或者是处理器、内核等;
本发明所述的智慧校园数据动态管理方法,包含如下步骤:
步骤S1:分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数;具体的:执行函数包含第一执行函数和第二执行函数;分析历史数据以确定不同类型的任务在计算模块之间随时间的分配情况;通过分析日志确定计算模块的不同类型任务执行时间随时间的变化情况;通过函数拟合得到指示不同任务类型在不同计算模块上的执行时间随时间变化情况的第一执行函数,TIMEmi,aj=f(t);指示不同任务类型在不同计算模块上的分配数量随时间变化的第二执行函数,NUMmi,aj=g(t);其中,mi是计算模块编号,aj是任务类型编号;
上述分配情况和执行情况如下表所示:
其中:Ta1(1s)表示任务类型a1的执行时间是1s,2*a1(2s,5s)表示2件a1类型任务的执行时间分别是2s和5s;
相同类型的任务在同样的计算模块上执行的时间也是不同的,这是因为不同的任务所需要的数据,任执行的时间,任务之间的相互争夺资源情况等多重因素都有关系,正式如此,很难简单的对单个的任务单个的量化分析,但是通过校园数据的整体分析和函数拟合,能够相对准确的进行任务执行情况的描述和预测;从而才有可能进行有效的数据管理;
步骤S2:通过执行函数的预测和计算模块的监测确定触发条件是否满足;具体的:对于每个计算模块mi,监测计算模块的执行情况以获取任务类型aj的当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj;从缓存空间中获取上一时刻的任务数量B_NUMmi,aj和任务执行时间B_TIMEmi,aj;通过第一执行函数和第二执行函数获取下一时刻的任务执行时间和任务数量的函数预测值f(t+1)和g(t+1);基于上述参数,修正函数预测值以获取下一时刻的任务数量和任务执行时间的预测值;基于下一时刻的任务数量和任务执行时间的预测值确定触发条件是否满足,如果满足则进入步骤S3,否则,进行持续监测;其中:所述下一时刻和上一时刻是相对与当前时刻来说的;三者分别相隔一定的时间间隔;
优选的:通过下式修正函数预测值以获取下一时刻任务类型aj的任务执行数量的预测值P_NUMEmi,aj和任务执行时间的预测值P_TIMEmi,aj;
P_TIMEmi,aj=f(t+1)+((C_TIMEmi,aj-B_TIMEmi,aj)/(f(t+1)-f(t))*(C_TIMEmi,aj-f(t)));
P_NUMEmi,aj=g(t+1)+((C_NUMEmi,aj-B_NUMmi,aj)/(g(t+1)-g(t))*(C_NUMEmi,aj-g(t)));
优选的:在存储空间中保存连续两个时刻的任务数量和任务执行时间的监测值,在到达下一时刻时,丢弃上一时刻的数据而只保存下一时刻和当前时刻的数据值;
优选的:通过计算平台执行上述步骤S2;
优选的:计算模块执行上述步骤和步骤S3的布局情况确定,计算模块将步骤S2计算得到的数据发送给计算平台,由计算平台根据上述计算结果和布局情况的确定,发送指令指示存储平台执行数据的预加载以改变不同计算模块的数据布局;
所述基于下一时刻的任务数量和任务执行时间的预测值确定触发条件是否满足,具体为:对于每种类型的任务aj,确定任务执行时间超过所述类型的任务执行时间阈值的任务数量之和占总任务数量的占比PT,确定所有任务总执行时间TALL,根据总的任务数量P_NUM_ALL,占比PT,总执行时间TALL确定触发条件是否满足;
较为简单的,直接根据任务总执行时间TALL、总的任务数量P_NUM_ALL或占比PT是否超过预设值来判断触发条件是否满足;
可替换的:判断下一时刻总的任务执行时间预测值和当前时刻的预测值的差值是否大于第一预设值,如果是,则直接根据任务总执行时间TALL或占比PT是否超过粗预设值来判断触发条件是否满足;否则,进一步的根据每种类型任务的数量P_NUM和任务执行时间的预测值来判断触发条件是否满足;可以根据任务类型确定任务的优先级,高优先级任务具有高权重,反之亦然,计算任务执行时间的加权值,判断加权值是否满超过细预设值来判断触发条件是否满足;当数据变化较快时通过快速判断加快监测速度,通过粗细粒度结合的方式提高了监测准确性的同时减低了计算复杂度;
可替换的,判断特定任务类型的任务数量是否超过预设值且任务执行时间是否超过预设值,如果是,则判断触发条件满足;
现有技术中往往是根据总执行时间来进行判断,甚至直接根据当前任务的响应或者任务的执行时间来进行判断,但是这样的预测粒度很粗,不同任务的重要不同,对于多个小的非重要任务执行时间都满足,但是实质重要任务却超时的情况无法正确预测,因此,必须要提高判断的粒度,提高准确性;
优选的:所述下一时刻是进行预测计算的下一时刻,该下一时刻的跨度值随f(t)和/或g(t)值的变化而变化;f(t)和/或g(t)值或者值的变化越大则跨度值越小,反之已然;通过这样的方式能够大大的降低监测开销;可替换的,根据f(t)和/或g(t)值在当前时刻的斜率来设置跨度值;斜率计算基于跨度值;
优选的:触发条件为基于大数据变化情况的确定的触发条件;
优选的:针对每个计算模块依次执行上述步骤,因为不同计算模块当前的状况不同,因此,有些就直接进行简单判断,就进行复杂的判断,通过上面的方法允许了这种适应性;
步骤S3:确定触发条件满足时,监测当前的数据布局情况,根据当前的数据布局情况进行数据的预加载;具体的:对于每个计算模块,确定第一通信范围内存储空间中数据加载量,根据下一时刻的任务数量的预测值确定预测数据加载量,根据所述预测数据加载量和数据加载量之间的关系来进行数据加载;其中:存储空间是建立在存储平台对存储模块的统一管理和地址映射的基础上的;通过加所有任务类型的任务数量就能够得到当前计算模块的任务数量;
优选的:所述第一通信范围为和当前计算模块之间的通信开销在预设开销内的通信距离范围;
所述根据下一时刻的任务执行数量的预测值确定预测数据加载量,具体为:根据当前任务数量和数据加载量之间的关系,基于下一时刻的任务数量的预测值线性推定预测数据加载量;例如:当前任务数量为N1,数据加载量为X1,下一时刻的任务数量的预测值为N2,那么推定下一时刻的预测数据加载量为X2=(N2/N1)*X1;
可替换的:记录计算模块在特定任务数量时所对应的数据加载量,将和任务执行数量的预测值之间最结晶的特定任务数量对应的数据加载量作为所述预测数据加载量;
所述根据所述预测数据加载量和数据加载量之间的关系来进行数据加载,具体为:根据所述预测数据加载量和数据加载量之间的差值来进行数据加载,将所需数据从第一范围外提前加载到第一通信范围内的存储空间;例如:根据计算模块所执行的任务类型确定和所述任务类型对应的所需数据,加载的数据量为所述差值,将差值数量的所需数据从第一范围外提前加载到第一通信范围内的存储空间;计算模块通常执行多种任务类型,此时,根据基于任务对数据的需求量和任务数量,进行主成分分析以获取主要任务类型,对所述主要任务类型进行所需数据加载;也就是说:将数据需求量大的,任务数量多的任务类型所需要的数据提前从第一范围外提前加载到第一通信范围内的存储空间;
可替换的:根据任务数量的预测值确定下一时刻的主要的任务类型,将所述任务类型对应的所需数据提前加载到第一通信范围内;
优选的:提前加载的数据不同于已经处于第一通信范围内数据;
优选的:所述提前加载是基于个性化数据分析的提前加载;计算平台分析历史数据以获取和所述下一时刻的各类型任务所对应用户集合,所述提前加载的数据为和所述用户集合对应的数据;
优选的:当所述第一通信范围内的存储空间不能容纳所需数据时,提前将所需数据加载到第二通信范围内;其中:第二通信范围大于第一通信范围;也就是说第二通信范围内的存储模块相对于所述计算模块的通信开销大于所述第一通信范围内的存储模块;例如:将个性化用户集合对应的数据加载到第一通信范围内,而将其他所需数据加载到第二通行范围内;
优选的:所述第一通信范围外包括数大数据中心所在存储空间;
通过上述方式实现了基于量化值的数据提前加载,因此,在下一时刻到来时,所需要的数据很容易获取从而大大的加快了任务执行速度,减少了响应时间;数据本身的迁移情况往往是很难预测的,通过上述大数据评估方法,对大量数据实现提前迁移,改变了数据的布局状况,支持了不断增加的智慧校园数据的需求所带来的数据访问困难以及峰值时刻的体验下降;
优选的:在进行数据加载时,判断换出数据的写入时间,当写入时间在有效期内时,不进行所述数据的换出;
优选的:计算平台在进行任务分配时,根据任务类型将任务分配到和所述任务类型匹配的计算模块中;计算模块根据其接收到服务请求不同,根据其部署的服务应用不同,其能够接收的任务类型是相对集中的,这一点和历史部署情况密切相关;
优选的:通过存储平台进行数据的加载,存储平台接收到数据加载请求后,根据数据加载请求将数据从第一通信范围外的存储空间转移到第一通信范围内的存储空间,并响应的修改地址映射表;
软件环境可以分为两类,包括在一个或多个硬件环境上执行的***软件和应用软件。在一个实施例中,在此公开的方法和过程可以实现为***软件、应用软件或它们的组合。***软件可以包括诸如操作***(OS)和信息管理***之类的控制程序,它们指示硬件环境中的一个或多个处理器(例如微处理器)如何运行和处理信息。应用软件可以包括但不限于程序代码、数据结构、固件、驻留软件、微代码,或者可以由处理器读取、分析或执行的任何其它形式的信息或例程。
换言之,应用软件可以实现为程序代码,其以机器可用或计算机可读存储介质的形式嵌入在计算机程序产品中,计算机程序产品提供程序代码以便由机器、计算机或任何指令执行***使用或者与其结合使用。此外,应用软件可以包括一个或多个计算机程序,这些计算机程序在从存储介质加载到本地存储器之后,在***软件之上执行。在客户端-服务器体系结构中,应用软件可以包括客户端软件和服务器软件。例如,在一个实施例中,客户端软件可以在客户端计算***上执行,该客户端计算***不同于并且独立于执行服务器软件的服务器计算***。
软件环境还可以包括浏览器软件以便访问通过本地或远程计算网络提供的数据。进一步,软件环境可以包括用户接口(例如图形用户接口(GUI))以便接收用户命令和数据。有必要重申,上面描述的硬件和软件体系结构和环境用于实例目的。因此,可以在任何类型的***体系结构、功能或逻辑平台或处理环境上实现一个或多个实施例。
以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。
Claims (9)
1.一种智慧校园数据动态管理方法,其特征在于,所述方法包含:
步骤S1:分析不同任务类型在不同计算模块上的分配情况和执行情况以得到计算模块的执行函数;
执行函数包含第一执行函数和第二执行函数;分析历史数据以确定不同类型的任务在计算模块之间随时间的分配情况;通过分析日志确定计算模块的不同类型任务执行时间随时间的变化情况;通过函数拟合得到指示不同任务类型在不同计算模块上的执行时间随时间变化情况的第一执行函数,TIMEmi,aj=f(t);指示不同任务类型在不同计算模块上的分配数量随时间变化的第二执行函数,NUMmi,aj=g(t);其中,mi是计算模块编号,aj是任务类型编号;
其中:对多个计算模块进行管理的计算平台设置于校园内,服务于智慧校园;
步骤S2:通过执行函数的预测和计算模块的监测确定触发条件是否满足;
对于每个计算模块mi,监测计算模块的执行情况以获取任务类型aj的当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj;从缓存空间中获取上一时刻的任务数量B_NUMmi,aj和任务执行时间B_TIMEmi,aj;通过第一执行函数和第二执行函数获取下一时刻的任务执行时间和任务数量的函数预测值f(t+1)和g(t+1);基于下一时刻的任务执行时间和任务数量的函数预测值f(t+1)和g(t+1)、当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj、上一时刻的任务数量B_NUMmi,aj和任务执行时间B_TIMEmi,aj、当前任务数量C_NUMmi,aj和任务执行时间C_TIMEmi,aj、当前时刻的任务执行时间和任务数量的函数预测值f(t)和g(t),修正函数预测值以获取下一时刻的任务数量和任务执行时间的预测值;基于下一时刻的任务数量和任务执行时间的预测值确定触发条件是否满足,如果满足则进入步骤S3,否则,进行持续监测;其中:所述下一时刻和上一时刻是相对于当前时刻来说的;三者分别相隔一定的时间间隔;
步骤S3:确定触发条件满足时,监测当前的数据布局情况,根据当前的数据布局情况进行数据的预加载;
对于每个计算模块,确定第一通信范围内存储空间中数据加载量,根据下一时刻的任务数量的预测值确定预测数据加载量,根据所述预测数据加载量和数据加载量之间的关系来进行数据加载;其中:存储空间是建立在存储平台对存储模块的统一管理和地址映射的基础上的;通过加所有任务类型的任务数量就能够得到当前计算模块的任务数量。
2.根据权利要求1所述的智慧校园数据动态管理方法,其特征在于,不同类型的任务执行时间是不同的。
3.根据权利要求2所述的智慧校园数据动态管理方法,其特征在于,相同类型的任务在同样的计算模块上执行的时间是不同的。
4.根据权利要求3所述的智慧校园数据动态管理方法,其特征在于,计算模块为一个或多个。
5.根据权利要求4所述的智慧校园数据动态管理方法,其特征在于,数据布局在存储模块上,存储模块为一个或多个。
6.根据权利要求5所述的智慧校园数据动态管理方法,其特征在于,根据总的任务执行时间来判断触发条件是否满足。
7.根据权利要求6所述的智慧校园数据动态管理方法,其特征在于,根据当前各种类型任务的响应时间或者各种类型任务的执行时间来进行判断。
8.根据权利要求7所述的智慧校园数据动态管理方法,其特征在于,触发条件为基于大数据变化情况的确定的触发条件。
9.一种实现权利要求1-8中任一项所述的智慧校园数据动态管理方法的智慧校园数据动态管理***,其特征在于,所述***包括存储平台、计算平台,所述存储平台和计算平台连接外部大数据中心,其中存储平台和计算平台服务于智慧校园;一个或者多个计算模块之间共享存储模块,计算模块和不同存储模块之间的通信开销是不同的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010634318.0A CN111898865B (zh) | 2020-07-02 | 2020-07-02 | 一种智慧校园数据动态管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010634318.0A CN111898865B (zh) | 2020-07-02 | 2020-07-02 | 一种智慧校园数据动态管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111898865A CN111898865A (zh) | 2020-11-06 |
CN111898865B true CN111898865B (zh) | 2022-03-18 |
Family
ID=73191474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010634318.0A Active CN111898865B (zh) | 2020-07-02 | 2020-07-02 | 一种智慧校园数据动态管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111898865B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469327B (zh) * | 2021-06-24 | 2024-04-05 | 上海寒武纪信息科技有限公司 | 执行转数提前的集成电路装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107621979A (zh) * | 2017-10-27 | 2018-01-23 | 郑金林 | 一种学生发展档案大数据算法与分析*** |
CN107665388A (zh) * | 2016-07-27 | 2018-02-06 | 山东师范大学 | 一种智慧校园管理*** |
CN109299095A (zh) * | 2018-09-21 | 2019-02-01 | 深圳安视信息技术有限公司 | 一种智慧校园信息管理*** |
CN111027085A (zh) * | 2019-12-16 | 2020-04-17 | 南京工业大学 | 高性能计算平台与智慧校园融合***及实现方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103699440B (zh) * | 2012-09-27 | 2017-05-24 | 北京搜狐新媒体信息技术有限公司 | 一种云计算平台***为任务分配资源的方法和装置 |
CN103412792B (zh) * | 2013-07-18 | 2015-06-10 | 成都国科海博信息技术股份有限公司 | 一种云计算平台环境下的动态任务调度方法及装置 |
CN106355350A (zh) * | 2016-09-23 | 2017-01-25 | 重庆多创电子技术有限公司 | 智慧校园*** |
CN107025141B (zh) * | 2017-05-18 | 2020-09-01 | 成都海天数联科技有限公司 | 一种基于大数据混合作业模型的调度方法 |
CN108564507A (zh) * | 2018-04-25 | 2018-09-21 | 河南聚合科技有限公司 | 一种基于云平台的智慧校园协同管理*** |
CN108647277B (zh) * | 2018-05-03 | 2021-01-08 | 山东师范大学 | 一种移动校园综合服务平台及其工作方法 |
US11087614B2 (en) * | 2018-11-21 | 2021-08-10 | Hemal B. Kurani | Methods and systems of smart campus security shield |
CN109508962A (zh) * | 2018-12-12 | 2019-03-22 | 长治医学院 | EDU云DaaS与云校一体的校园信息化架构 |
-
2020
- 2020-07-02 CN CN202010634318.0A patent/CN111898865B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107665388A (zh) * | 2016-07-27 | 2018-02-06 | 山东师范大学 | 一种智慧校园管理*** |
CN107621979A (zh) * | 2017-10-27 | 2018-01-23 | 郑金林 | 一种学生发展档案大数据算法与分析*** |
CN109299095A (zh) * | 2018-09-21 | 2019-02-01 | 深圳安视信息技术有限公司 | 一种智慧校园信息管理*** |
CN111027085A (zh) * | 2019-12-16 | 2020-04-17 | 南京工业大学 | 高性能计算平台与智慧校园融合***及实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111898865A (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110737529B (zh) | 一种面向短时多变大数据作业集群调度自适应性配置方法 | |
Donyanavard et al. | SPARTA: Runtime task allocation for energy efficient heterogeneous many-cores | |
CN106776005B (zh) | 一种面向容器化应用的资源管理***及方法 | |
US9575810B2 (en) | Load balancing using improved component capacity estimation | |
Yeung et al. | Horus: Interference-aware and prediction-based scheduling in deep learning systems | |
US9195506B2 (en) | Processor provisioning by a middleware processing system for a plurality of logical processor partitions | |
US9037880B2 (en) | Method and system for automated application layer power management solution for serverside applications | |
Singh et al. | The journey of QoS-aware autonomic cloud computing | |
US20100318827A1 (en) | Energy use profiling for workload transfer | |
CN111597048B (zh) | 基于服务质量的微服务调度方法、***及电子设备 | |
US8161493B2 (en) | Weighted-region cycle accounting for multi-threaded processor cores | |
Ju et al. | Symphoney: A coordinated sensing flow execution engine for concurrent mobile sensing applications | |
CN112835698A (zh) | 一种基于异构集群的请求分类处理的动态负载均衡方法 | |
Hao et al. | An adaptive algorithm for scheduling parallel jobs in meteorological Cloud | |
CN111898865B (zh) | 一种智慧校园数据动态管理方法 | |
Ghazali et al. | A classification of Hadoop job schedulers based on performance optimization approaches | |
Horstmann et al. | A framework to design and implement real-time multicore schedulers using machine learning | |
Songara et al. | MRA-VC: multiple resources aware virtual machine consolidation using particle swarm optimization | |
Li et al. | An adaptive cpu-gpu governing framework for mobile games on big. little architectures | |
CN106844175B (zh) | 一种基于机器学***台容量规划方法 | |
CN113204429A (zh) | 一种数据中心的资源调度方法及***、调度设备、介质 | |
Kundan et al. | Online frequency-based performance and power estimation for clustered multi-processor systems | |
Shih et al. | Fairness scheduler for virtual machines on heterogonous multi-core platforms | |
Garg et al. | Optimal virtual machine scheduling in virtualized cloud environment using VIKOR method | |
CN112346863B (zh) | 一种计算资源动态调整数据处理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |