CN117422155A - 一种基于数据自动筛选的自动迭代模型服务***及方法 - Google Patents
一种基于数据自动筛选的自动迭代模型服务***及方法 Download PDFInfo
- Publication number
- CN117422155A CN117422155A CN202311746585.7A CN202311746585A CN117422155A CN 117422155 A CN117422155 A CN 117422155A CN 202311746585 A CN202311746585 A CN 202311746585A CN 117422155 A CN117422155 A CN 117422155A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- scheduling
- evaluation
- iteration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012216 screening Methods 0.000 title claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 147
- 238000012549 training Methods 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims description 36
- 238000007726 management method Methods 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000013468 resource allocation Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000013439 planning Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 19
- 230000009286 beneficial effect Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 230000008713 feedback mechanism Effects 0.000 description 4
- 238000012804 iterative process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于数据自动筛选的自动迭代模型服务***及方法，基于训练任务，选择模型类型和模型参数，将模型类型和模型参数导入模型中心中，构建得到初始模型；基于训练任务对应的更新数据的数据特征，从调度策略库中匹配最优调度策略，按照最优调度策略配置对初始模型的自迭代调度；基于自迭代调度，结合模型管理参数，建立迭代任务，基于迭代任务进行新模型的建立或初始模型的升级，得到第二模型；对第二模型进行性能评估，基于性能评估结果，继续对第二模型进行迭代，直到评估结果满足要求，停止自迭代，得到最终的优化模型，解决数据漂移和概念漂移问题和缺乏通用性和可移植性问题，提高模型性能。
Description
技术领域
本发明涉及计算机科学与机器学习领域，特别涉及一种基于数据自动筛选的自动迭代模型服务***及方法。
背景技术
在机器学习领域，模型的迭代升级一直是一个关键挑战。传统机器学习模型在训练后通常保持静态状态，不具备自我适应性。然而，快速变化的数据和实时需求对模型的灵活性提出了新的要求。这为模型的自迭代提供了动力，以确保其持续优化和改进。
目前，许多机器学习领域的应用依赖于手动干预，以更新模型的参数或架构，以适应新数据和挑战。这种方法不仅费时费力，还可能导致人为错误。因此，研究人员一直在寻求自动化和智能化的方法，以便模型可以自动识别性能下降、改进策略，并进行自我迭代，无需人为干预。
近年来，随着深度学***，从而满足了不断演化的需求。在这一技术背景下，本发明的基于调度技术的模型自迭代***具有潜在的重要性，为机器学习领域带来了新的可能性。
现在的模型在迭代升级中存在以下问题：
1.手动干预成本问题： 传统机器学习模型的升级和改进通常需要昂贵的人力和时间资源。专业数据科学家和工程师必须手动干预，进行参数调整、模型重新训练和部署。这一过程不仅费时费力，还容易出错。
2. 模型性能困扰： 机器学习模型在不断变化的数据环境中往往面临性能挑战。模型的性能可能受到新的数据分布、概念漂移或模型内部问题的影响。然而，缺乏有效的方法来及时识别和解决这些性能问题，导致模型在实际应用中逐渐失去效力。
3. 数据漂移和概念漂移问题： 实际世界中的数据分布和概念经常发生变化，这可能是由于季节性变化、新的趋势、数据源的变更或其他因素引起的。传统机器学习模型难以自动适应这些变化，需要手动调整和重新训练，导致***停机时间和性能下降。
4. 缺乏通用性和可移植性问题： 自动化机器学习迭代方法通常是特定于特定领域或应用程序的，缺乏通用性和可移植性。这意味着每个新问题或应用都需要重新开发和优化迭代过程，导致重复劳动和资源浪费。
发明内容
本发明提供一种基于数据自动筛选的自动迭代模型服务***及方法，用以解决背景技术中提出的问题。
一种基于数据自动筛选的自动迭代模型服务***，包括：
模型建立模块，用于基于训练任务，选择模型类型和模型参数，将模型类型和模型参数导入模型中心中，构建得到初始模型；
触发确定模块，用于基于训练任务对应的更新数据的数据特征，从调度策略库中匹配最优调度策略，按照最优调度策略配置对初始模型的自迭代调度；
调度执行模块，用于基于自迭代调度，结合模型管理参数，建立迭代任务，基于迭代任务进行新模型的建立或初始模型的升级，得到第二模型；
评估迭代模块，用于对第二模型进行性能评估，基于性能评估结果，继续对第二模型进行迭代，直到评估结果满足要求，停止自迭代，得到最终的优化模型。
优选的，一种基于数据自动筛选的自动迭代模型服务***，还包括：资源分配模块，用于在模型调度和迭代过程中进行资源的分配；
资源分配模块，包括：
监测单元，用于对服务***进行监测，得到调度和迭代运行过程；
资源分配单元，用于基于调度和迭代运行过程，对现有资源进行规划和分配，并根据分配结果将资源分配给对应的运行模块和运行单元。
优选的，一种基于数据自动筛选的自动迭代模型服务***，模型建立模块，包括：
类型确定单元，用于对训练任务进行分析，确定训练目的，基于训练目的确定模型类型；
参数确定单元，用于获取训练任务对应的训练数据集，基于训练数据集的数据特征设置模型参数；
模型构建单元，用于将模型类型对应的模型框架导入模型中信息，并利用模型参数对模型框架进行配置，构建得到初始模型。
优选的，触发确定模块，包括：
数据获取单元，用于定期采集与训练任务相关的新数据，并判断新数据与训练数据之间的数据差异是否大于预设数据差异，若是，将与训练任务相关的新数据作为更新数据，否则，不进行数据的更新；
差异确定单元，用于当监测到存在更新数据后，获取训练数据的数据集分类特征，基于数据集分类特征将更新数据进行分组，得到多组新数据集，确定新数据集和训练数据的数据集之间的集合差异；
策略确定单元，用于基于更新数据的数据特征，从调度策略库中获取满足数据特征的待选调度策略，并基于集合差异，确定对调度类型的调度权重，基于调度权重，从待选调度策略中选取得到最优调度策略；
调度确定单元，用于从最优调度策略中确定调度任务和调度配置资源，基于调度任务和调度配置资源进行资源调度，得到对初始模型的自迭代调度。
优选的，触发确定模块，还包括：
触发确定单元，用于将监测到存在更新数据作为触发条件启动调度技术，调度技术辅助完成最优调度策略的选取；
触发确定单元，还用于设定调度时间周期，在调度时间周期内未监测到存在更新数据时，启动调度技术选取固定调度策略对初始模型进行自迭代调度。
优选的，调度执行模块，包括：
调度功能确定单元，用于获取自迭代调度的调度流程，并获取调度流程中每个节点的调度功能；
执行数据确定单元，用于基于调度功能的功能特征，从模型管理参数中匹配对应的目标管理参数，将功能特征与其对应的目标管理参数进行整合得到总执行数据；
执行功能确定单元，用于按照单位执行特征对总执行数据进行分解，得到多个单执行数据，并确定单执行数据对应的执行功能；
任务确定单元，用于基于迭代标准执行顺序对全部执行功能进行排序，得到执行功能序列，并基于执行功能序列建立迭代任务；
判断单元，用于获取参与迭代任务的数据特征和执行特征，判断执行特征是否为重新执行；
若是，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为新模型的建立，并调取新模型建立的相关资源；
否则，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为初始模型的升级，并调取模型升级的相关资源；
模型确定单元，用于基于迭代任务，结合相关资源，进行新模型和建立或初始模型的升级，得到第二模型。
优选的，调度功能确定单元，包括：
节点确定单元，用于获取自迭代调度的调度流程，并将调度流程按照单位调度特征进行划分，得到多个节点；
功能确定单元，用于基于节点对应的单位调度特征确定节点的调度功能。
用于获取自迭代调度的调度流程，并获取调度流程中每个节点的调度功能。
优选的，评估迭代模块，包括：
指标确定单元，用于基于训练任务确定对模型的评估指标，并按照评估指标在模型建立中的评估位置节点，将评估指标划分为建模前评估指标，建模中评估指标和建模后评估指标；
分类评估单元，用于基于建模前评估指标对第二模型进行建模前的建模数据评估，得到第一评估结果，基于建模中评估指标对第二模型进行建模过程的建模评估，得到第二评估结果，基于建模后评估指标对建模后的模型进行评估，得到第三评估结果；
数据确定单元，用于将第一评估结果，第二评估结果和第三评估结果构建整体评估数据，基于建模流程，对整体评估数据进行关联得到整体评估关联数据；
综合评估单元，用于对整体评估关联数据进行综合评估，得到性能评估结果；
迭代单元，用于基于性能评估结果，继续对第二模型进行迭代，并在每次迭代结束后，将性能评估结果与预设评估要求进行比较，若性能评估结果满足预设评估要求，则停止自迭代，得到最终的优化模型。
优选的，综合评估单元，包括：
第一评估单元，用于按照预设评估规则对于整体评估关联数据进行评估，得到初始评估结果；
二次评估单元，用于基于整体评估关联数据中的关联关系对初始评估结果进行再次评估，得到性能评估结果。
一种基于数据自动筛选的自动迭代模型服务方法，包括：
S1：基于训练任务，选择模型类型和模型参数，将模型类型和模型参数导入模型中心中，构建得到初始模型；
S2：基于训练任务对应的更新数据的数据特征，从调度策略库中匹配最优调度策略，按照最优调度策略配置对初始模型的自迭代调度；
S3：基于自迭代调度，结合模型管理参数，建立迭代任务，基于迭代任务进行新模型的建立或初始模型的升级，得到第二模型；
S4：对第二模型进行性能评估，基于性能评估结果，继续对第二模型进行迭代，直到评估结果满足要求，停止自迭代，得到最终的优化模型。
与现有技术相比，本发明取得了以下有益效果：
1. 自动化模型迭代： 本发明的主要创新点之一是实现了机器学习模型的自动迭代，无需手动的参数调整和模型更新。能够自动触发新的建模任务，加速模型的升级过程。
2. 自适应性和自动建模： 通过调度技术能够适应新的数据分布和概念漂移，自动触发建模任务以适应这些变化。这有助于解决数据漂移和概念漂移问题，无需手动干预。
3. 通用性和可移植性： 本发明提供了通用性的解决方案，适用于各种机器学习任务和领域。这意味着不再需要为每个新问题重新开发和优化迭代过程，提高了可移植性。
4. 实时反馈和模型优化： 本发明的另一个创新点在于实现了实时反馈循环，以及模型的连续性优化。根据建模服务返回的新模型结果，即时进行性能评估，并将结果反馈给建模服务。这实现了连续的模型改进，使模型在不断变化的数据环境中保持高效性。这种实时反馈机制有助于迅速适应性能下降和新数据分布，从而减少了响应时间。
5. 资源利用的最大化： 本发明的另一个显著创新点是资源的最大化利用。通过调度技术，能够有效地规划和分配计算资源，以满足建模任务的需求。这包括分配计算资源、数据存储以及其他关键资源。这种资源的最大化利用不仅提高了效率，还减少了资源浪费，有助于优化模型改进的成本效益。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写申请文件中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于数据自动筛选的自动迭代模型服务***的结构图；
图2为本发明实施例中模型建立模块的结构图；
图3为本发明实施例中一种基于数据自动筛选的自动迭代模型服务方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，如图1所示，包括：
模型建立模块，用于基于训练任务，选择模型类型和模型参数，将模型类型和模型参数导入模型中心中，构建得到初始模型；
触发确定模块，用于基于训练任务对应的更新数据的数据特征，从调度策略库中匹配最优调度策略，按照最优调度策略配置对初始模型的自迭代调度；
调度执行模块，用于基于自迭代调度，结合模型管理参数，建立迭代任务，基于迭代任务进行新模型的建立或初始模型的升级，得到第二模型；
评估迭代模块，用于对第二模型进行性能评估，基于性能评估结果，继续对第二模型进行迭代，直到评估结果满足要求，停止自迭代，得到最终的优化模型。
在该实施例中，模型类型包括各种机器学习模型。
在该实施例中，模型参数包括例如为样本权重，各类参数和各类系数等。
本发明取得了以下有益效果：
1. 自动化模型迭代： 本发明的主要创新点之一是实现了机器学习模型的自动迭代，无需手动的参数调整和模型更新。模型管理服务能够自动触发新的建模任务，加速模型的升级过程。
2. 自适应性和自动建模： 通过调度技术，模型管理服务能够适应新的数据分布和概念漂移，自动触发建模任务以适应这些变化。这有助于解决数据漂移和概念漂移问题，无需手动干预。
3. 通用性和可移植性： 本发明提供了通用性的解决方案，适用于各种机器学习任务和领域。这意味着不再需要为每个新问题重新开发和优化迭代过程，提高了可移植性。
4. 实时反馈和模型优化： 本发明的另一个创新点在于实现了实时反馈循环，以及模型的连续性优化。模型管理服务可以根据建模服务返回的新模型结果，即时进行性能评估，并将结果反馈给建模服务。这实现了连续的模型改进，使模型在不断变化的数据环境中保持高效性。这种实时反馈机制有助于迅速适应性能下降和新数据分布，从而减少了响应时间。
5. 资源利用的最大化： 本发明的另一个显著创新点是资源的最大化利用。通过调度技术，模型管理服务能够有效地规划和分配计算资源，以满足建模任务的需求。这包括分配计算资源、数据存储以及其他关键资源。这种资源的最大化利用不仅提高了效率，还减少了资源浪费，有助于优化模型改进的成本效益。
实施例2：
基于实施例1的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，还包括：资源分配模块，用于在模型调度和迭代过程中进行资源的分配；
资源分配模块，包括：
监测单元，用于对服务***进行监测，得到调度和迭代运行过程；
资源分配单元，用于基于调度和迭代运行过程，对现有资源进行规划和分配，并根据分配结果将资源分配给对应的运行模块和运行单元。
上述设计方案的有益效果是：在整个过程中，资源分配模块有效地规划和分配计算资源，以满足建模任务的需求。这包括资源分配、数据存储和其他关键资源，以确保任务的高效执行和最大化利用，为建模提供资源基础。
实施例3：
基于实施例1的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，如图2所示，模型建立模块，包括：
类型确定单元，用于对训练任务进行分析，确定训练目的，基于训练目的确定模型类型；
参数确定单元，用于获取训练任务对应的训练数据集，基于训练数据集的数据特征设置模型参数；
模型构建单元，用于将模型类型对应的模型框架导入模型中信息，并利用模型参数对模型框架进行配置，构建得到初始模型。
上述设计方案的有益效果是：通过将模型类型对应的模型框架导入模型中信息，并利用模型参数对模型框架进行配置，构建得到初始模型，实现模型的建立。
实施例4：
基于实施例1的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，触发确定模块，包括：
数据获取单元，用于定期采集与训练任务相关的新数据，并判断新数据与训练数据之间的数据差异是否大于预设数据差异，若是，将与训练任务相关的新数据作为更新数据，否则，不进行数据的更新；
差异确定单元，用于当监测到存在更新数据后，获取训练数据的数据集分类特征，基于数据集分类特征将更新数据进行分组，得到多组新数据集，确定新数据集和训练数据的数据集之间的集合差异；
策略确定单元，用于基于更新数据的数据特征，从调度策略库中获取满足数据特征的待选调度策略，并基于集合差异，确定对调度类型的调度权重，基于调度权重，从待选调度策略中选取得到最优调度策略；
调度确定单元，用于从最优调度策略中确定调度任务和调度配置资源，基于调度任务和调度配置资源进行资源调度，得到对初始模型的自迭代调度。
在该实施例中，调度权重最大的作为最优调度策略。
上述设计方案的有益效果是：通过基于更新数据的数据特征，从调度策略库中获取满足数据特征的待选调度策略，并基于集合差异，确定对调度类型的调度权重，基于调度权重，从待选调度策略中选取得到最优调度策略，从最优调度策略中确定调度任务和调度配置资源，基于调度任务和调度配置资源进行资源调度，得到对初始模型的自迭代调度，实现了机器学习模型的自动迭代，无需手动的参数调整和模型更新。模型管理服务能够自动触发新的建模任务，加速模型的升级过程，并能够适应新的数据分布和概念漂移，自动触发建模任务以适应这些变化。这有助于解决数据漂移和概念漂移问题，无需手动干预。
实施例5：
基于实施例4的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，触发确定模块，还包括：
触发确定单元，用于将监测到存在更新数据作为触发条件启动调度技术，调度技术辅助完成最优调度策略的选取；
触发确定单元，还用于设定调度时间周期，在调度时间周期内未监测到存在更新数据时，启动调度技术选取固定调度策略对初始模型进行自迭代调度。
上述设计方案的有益效果是：通过设定调度时间周期，在调度时间周期内未监测到存在更新数据时，启动调度技术选取固定调度策略对初始模型进行自迭代调度，实现对模型的升级。
实施例6：
基于实施例1的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，调度执行模块，包括：
调度功能确定单元，用于获取自迭代调度的调度流程，并获取调度流程中每个节点的调度功能；
执行数据确定单元，用于基于调度功能的功能特征，从模型管理参数中匹配对应的目标管理参数，将功能特征与其对应的目标管理参数进行整合得到总执行数据；
执行功能确定单元，用于按照单位执行特征对总执行数据进行分解，得到多个单执行数据，并确定单执行数据对应的执行功能；
任务确定单元，用于基于迭代标准执行顺序对全部执行功能进行排序，得到执行功能序列，并基于执行功能序列建立迭代任务；
判断单元，用于获取参与迭代任务的数据特征和执行特征，判断执行特征是否为重新执行；
若是，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为新模型的建立，并调取新模型建立的相关资源；
否则，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为初始模型的升级，并调取模型升级的相关资源；
模型确定单元，用于基于迭代任务，结合相关资源，进行新模型和建立或初始模型的升级，得到第二模型。
上述设计方案的有益效果是：通过自迭代调度的调度流程最终建立迭代任务，获取参与迭代任务的数据特征和执行特征，判断执行特征是否为重新执行；
若是，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为新模型的建立，并调取新模型建立的相关资源，否则，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为初始模型的升级，并调取模型升级的相关资源；基于迭代任务，结合相关资源，进行新模型和建立或初始模型的升级，得到第二模型，实现对模型的升级或建立，无需手动的参数调整和模型更新，加速模型的升级和建立过程。
实施例7：
基于实施例6的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，调度功能确定单元，包括：
节点确定单元，用于获取自迭代调度的调度流程，并将调度流程按照单位调度特征进行划分，得到多个节点；
功能确定单元，用于基于节点对应的单位调度特征确定节点的调度功能。
上述设计方案的有益效果是：通过获取自迭代调度的调度流程，并将调度流程按照单位调度特征进行划分，得到多个节点，基于节点对应的单位调度特征确定节点的调度功能，保证得到的调度功能的准确性和匹配性。
实施例8：
基于实施例1的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，评估迭代模块，包括：
指标确定单元，用于基于训练任务确定对模型的评估指标，并按照评估指标在模型建立中的评估位置节点，将评估指标划分为建模前评估指标，建模中评估指标和建模后评估指标；
分类评估单元，用于基于建模前评估指标对第二模型进行建模前的建模数据评估，得到第一评估结果，基于建模中评估指标对第二模型进行建模过程的建模评估，得到第二评估结果，基于建模后评估指标对建模后的模型进行评估，得到第三评估结果；
数据确定单元，用于将第一评估结果，第二评估结果和第三评估结果构建整体评估数据，基于建模流程，对整体评估数据进行关联得到整体评估关联数据；
综合评估单元，用于对整体评估关联数据进行综合评估，得到性能评估结果；
迭代单元，用于基于性能评估结果，继续对第二模型进行迭代，并在每次迭代结束后，将性能评估结果与预设评估要求进行比较，若性能评估结果满足预设评估要求，则停止自迭代，得到最终的优化模型。
上述设计方案的有益效果是：通过对建模前，建模过程中和建模后进行模型数据的评估，并根据苹果结果继续对第二模型进行迭代，并在每次迭代结束后，将性能评估结果与预设评估要求进行比较，若性能评估结果满足预设评估要求，则停止自迭代，得到最终的优化模型，实现了实时反馈循环，以及模型的连续性优化。根据建模服务返回的新模型结果，即时进行性能评估，并将结果反馈给建模服务。这实现了连续的模型改进，使模型在不断变化的数据环境中保持高效性。这种实时反馈机制有助于迅速适应性能下降和新数据分布，从而减少了响应时间。
实施例9：
基于实施例8的基础上，本发明实施例提供一种基于数据自动筛选的自动迭代模型服务***，综合评估单元，包括：
第一评估单元，用于按照预设评估规则对于整体评估关联数据进行评估，得到初始评估结果；
二次评估单元，用于基于整体评估关联数据中的关联关系对初始评估结果进行再次评估，得到性能评估结果。
上述设计方案的有益效果是：保证得到的性能评估结果的整体关联性和准确性。
实施例10：
本发明实施例提供一种基于数据自动筛选的自动迭代模型服务方法，如图3所示，包括：
S1：基于训练任务，选择模型类型和模型参数，将模型类型和模型参数导入模型中心中，构建得到初始模型；
S2：基于训练任务对应的更新数据的数据特征，从调度策略库中匹配最优调度策略，按照最优调度策略配置对初始模型的自迭代调度；
S3：基于自迭代调度，结合模型管理参数，建立迭代任务，基于迭代任务进行新模型的建立或初始模型的升级，得到第二模型；
S4：对第二模型进行性能评估，基于性能评估结果，继续对第二模型进行迭代，直到评估结果满足要求，停止自迭代，得到最终的优化模型。
在该实施例中，模型类型包括各种机器学习模型。
在该实施例中，模型参数包括例如为样本权重，各类参数和各类系数等。
本发明取得了以下有益效果：
1. 自动化模型迭代： 本发明的主要创新点之一是实现了机器学习模型的自动迭代，无需手动的参数调整和模型更新。模型管理服务能够自动触发新的建模任务，加速模型的升级过程。
2. 自适应性和自动建模： 通过调度技术，模型管理服务能够适应新的数据分布和概念漂移，自动触发建模任务以适应这些变化。这有助于解决数据漂移和概念漂移问题，无需手动干预。
3. 通用性和可移植性： 本发明提供了通用性的解决方案，适用于各种机器学习任务和领域。这意味着不再需要为每个新问题重新开发和优化迭代过程，提高了可移植性。
4. 实时反馈和模型优化： 本发明的另一个创新点在于实现了实时反馈循环，以及模型的连续性优化。模型管理服务可以根据建模服务返回的新模型结果，即时进行性能评估，并将结果反馈给建模服务。这实现了连续的模型改进，使模型在不断变化的数据环境中保持高效性。这种实时反馈机制有助于迅速适应性能下降和新数据分布，从而减少了响应时间。
5. 资源利用的最大化： 本发明的另一个显著创新点是资源的最大化利用。通过调度技术，模型管理服务能够有效地规划和分配计算资源，以满足建模任务的需求。这包括分配计算资源、数据存储以及其他关键资源。这种资源的最大化利用不仅提高了效率，还减少了资源浪费，有助于优化模型改进的成本效益。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于数据自动筛选的自动迭代模型服务***，其特征在于，包括：
模型建立模块，用于基于训练任务，选择模型类型和模型参数，将模型类型和模型参数导入模型中心中，构建得到初始模型；
触发确定模块，用于基于训练任务对应的更新数据的数据特征，从调度策略库中匹配最优调度策略，按照最优调度策略配置对初始模型的自迭代调度；
调度执行模块，用于基于自迭代调度，结合模型管理参数，建立迭代任务，基于迭代任务进行新模型的建立或初始模型的升级，得到第二模型；
评估迭代模块，用于对第二模型进行性能评估，基于性能评估结果，继续对第二模型进行迭代，直到评估结果满足要求，停止自迭代，得到最终的优化模型。
2.根据权利要求1所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，还包括：资源分配模块，用于在模型调度和迭代过程中进行资源的分配；
资源分配模块，包括：
监测单元，用于对服务***进行监测，得到调度和迭代运行过程；
资源分配单元，用于基于调度和迭代运行过程，对现有资源进行规划和分配，并根据分配结果将资源分配给对应的运行模块和运行单元。
3.根据权利要求1所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，所述模型建立模块，包括：
类型确定单元，用于对训练任务进行分析，确定训练目的，基于训练目的确定模型类型；
参数确定单元，用于获取训练任务对应的训练数据集，基于训练数据集的数据特征设置模型参数；
模型构建单元，用于将模型类型对应的模型框架导入模型中信息，并利用模型参数对模型框架进行配置，构建得到初始模型。
4.根据权利要求1所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，所述触发确定模块，包括：
数据获取单元，用于定期采集与训练任务相关的新数据，并判断新数据与训练数据之间的数据差异是否大于预设数据差异，若是，将与训练任务相关的新数据作为更新数据，否则，不进行数据的更新；
差异确定单元，用于当监测到存在更新数据后，获取训练数据的数据集分类特征，基于数据集分类特征将更新数据进行分组，得到多组新数据集，确定新数据集和训练数据的数据集之间的集合差异；
策略确定单元，用于基于更新数据的数据特征，从调度策略库中获取满足数据特征的待选调度策略，并基于集合差异，确定对调度类型的调度权重，基于调度权重，从待选调度策略中选取得到最优调度策略；
调度确定单元，用于从最优调度策略中确定调度任务和调度配置资源，基于调度任务和调度配置资源进行资源调度，得到对初始模型的自迭代调度。
5.根据权利要求4所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，所述触发确定模块，还包括：
触发确定单元，用于将监测到存在更新数据作为触发条件启动调度技术，调度技术辅助完成最优调度策略的选取；
触发确定单元，还用于设定调度时间周期，在调度时间周期内未监测到存在更新数据时，启动调度技术选取固定调度策略对初始模型进行自迭代调度。
6.根据权利要求1所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，所述调度执行模块，包括：
调度功能确定单元，用于获取自迭代调度的调度流程，并获取调度流程中每个节点的调度功能；
执行数据确定单元，用于基于调度功能的功能特征，从模型管理参数中匹配对应的目标管理参数，将功能特征与其对应的目标管理参数进行整合得到总执行数据；
执行功能确定单元，用于按照单位执行特征对总执行数据进行分解，得到多个单执行数据，并确定单执行数据对应的执行功能；
任务确定单元，用于基于迭代标准执行顺序对全部执行功能进行排序，得到执行功能序列，并基于执行功能序列建立迭代任务；
判断单元，用于获取参与迭代任务的数据特征和执行特征，判断执行特征是否为重新执行；
若是，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为新模型的建立，并调取新模型建立的相关资源；
否则，并且数据特征与初始模型的训练数据特征不同，确定迭代任务为初始模型的升级，并调取模型升级的相关资源；
模型确定单元，用于基于迭代任务，结合相关资源，进行新模型和建立或初始模型的升级，得到第二模型。
7.根据权利要求6所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，所述调度功能确定单元，包括：
节点确定单元，用于获取自迭代调度的调度流程，并将调度流程按照单位调度特征进行划分，得到多个节点；
功能确定单元，用于基于节点对应的单位调度特征确定节点的调度功能。
8.根据权利要求1所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，所述评估迭代模块，包括：
指标确定单元，用于基于训练任务确定对模型的评估指标，并按照评估指标在模型建立中的评估位置节点，将评估指标划分为建模前评估指标，建模中评估指标和建模后评估指标；
分类评估单元，用于基于建模前评估指标对第二模型进行建模前的建模数据评估，得到第一评估结果，基于建模中评估指标对第二模型进行建模过程的建模评估，得到第二评估结果，基于建模后评估指标对建模后的模型进行评估，得到第三评估结果；
数据确定单元，用于将第一评估结果，第二评估结果和第三评估结果构建整体评估数据，基于建模流程，对整体评估数据进行关联得到整体评估关联数据；
综合评估单元，用于对整体评估关联数据进行综合评估，得到性能评估结果；
迭代单元，用于基于性能评估结果，继续对第二模型进行迭代，并在每次迭代结束后，将性能评估结果与预设评估要求进行比较，若性能评估结果满足预设评估要求，则停止自迭代，得到最终的优化模型。
9.根据权利要求8所述的一种基于数据自动筛选的自动迭代模型服务***，其特征在于，所述综合评估单元，包括：
第一评估单元，用于按照预设评估规则对于整体评估关联数据进行评估，得到初始评估结果；
二次评估单元，用于基于整体评估关联数据中的关联关系对初始评估结果进行再次评估，得到性能评估结果。
10.一种基于数据自动筛选的自动迭代模型服务方法，其特征在于，包括：
S1：基于训练任务，选择模型类型和模型参数，将模型类型和模型参数导入模型中心中，构建得到初始模型；
S2：基于训练任务对应的更新数据的数据特征，从调度策略库中匹配最优调度策略，按照最优调度策略配置对初始模型的自迭代调度；
S3：基于自迭代调度，结合模型管理参数，建立迭代任务，基于迭代任务进行新模型的建立或初始模型的升级，得到第二模型；
S4：对第二模型进行性能评估，基于性能评估结果，继续对第二模型进行迭代，直到评估结果满足要求，停止自迭代，得到最终的优化模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746585.7A CN117422155A (zh) | 2023-12-19 | 2023-12-19 | 一种基于数据自动筛选的自动迭代模型服务***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746585.7A CN117422155A (zh) | 2023-12-19 | 2023-12-19 | 一种基于数据自动筛选的自动迭代模型服务***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117422155A true CN117422155A (zh) | 2024-01-19 |
Family
ID=89528845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311746585.7A Pending CN117422155A (zh) | 2023-12-19 | 2023-12-19 | 一种基于数据自动筛选的自动迭代模型服务***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422155A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110704178A (zh) * | 2019-09-04 | 2020-01-17 | 北京三快在线科技有限公司 | 机器学***台、电子设备及可读存储介质 |
| CN111444848A (zh) * | 2020-03-27 | 2020-07-24 | 广州英码信息科技有限公司 | 一种基于联邦学习的特定场景模型升级方法和*** |
| US20220094709A1 (en) * | 2020-09-18 | 2022-03-24 | Paypal, Inc. | Automatic Machine Learning Vulnerability Identification and Retraining |
| CN115630708A (zh) * | 2022-10-31 | 2023-01-20 | 中国建设银行股份有限公司 | 一种模型更新方法、装置、电子设备、存储介质及产品 |
-
2023
- 2023-12-19 CN CN202311746585.7A patent/CN117422155A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110704178A (zh) * | 2019-09-04 | 2020-01-17 | 北京三快在线科技有限公司 | 机器学***台、电子设备及可读存储介质 |
| CN111444848A (zh) * | 2020-03-27 | 2020-07-24 | 广州英码信息科技有限公司 | 一种基于联邦学习的特定场景模型升级方法和*** |
| US20220094709A1 (en) * | 2020-09-18 | 2022-03-24 | Paypal, Inc. | Automatic Machine Learning Vulnerability Identification and Retraining |
| CN115630708A (zh) * | 2022-10-31 | 2023-01-20 | 中国建设银行股份有限公司 | 一种模型更新方法、装置、电子设备、存储介质及产品 |
Non-Patent Citations (1)
| Title |
|---|
| 刘立 等: "人机融合智能的遥感解译生产新方法", 测绘通报, no. 7, 31 December 2022 (2022-12-31), pages 118 - 123 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220300812A1 (en) | Workflow optimization | |
| CN107888669B (zh) | 一种基于深度学习神经网络的大规模资源调度***及方法 | |
| CN102622260B (zh) | 一种在线迭代编译的优化方法和优化*** | |
| CN109891438B (zh) | 数值量子实验方法和*** | |
| CN112905340B (zh) | ***资源分配方法、装置及设备 | |
| Dehghanimohammadabadi et al. | A novel Iterative Optimization-based Simulation (IOS) framework: An effective tool to optimize system’s performance | |
| CN117076077A (zh) | 基于大数据分析的计划调度优化方法 | |
| CN109933907B (zh) | 一种装备管理业务模型的建立方法及装置 | |
| CN115220882A (zh) | 一种数据处理方法以及装置 | |
| CN117522084A (zh) | 一种自动化混凝土灌浆调度*** | |
| CN117608865B (zh) | 基于云计算的外卖送餐平台的数学模型服务方法及*** | |
| CN113568747B (zh) | 基于任务分类与时序预测的云机器人资源调度方法及*** | |
| CN114637586A (zh) | 一种数据驱动的在线预测和实现k8s资源超售的方法 | |
| Feljan et al. | Task allocation optimization for multicore embedded systems | |
| RU2411574C2 (ru) | Интеллектуальная грид-система для высокопроизводительной обработки данных | |
| CN111105050B (zh) | 风机维护计划的生成方法、装置、设备及存储介质 | |
| CN117422155A (zh) | 一种基于数据自动筛选的自动迭代模型服务***及方法 | |
| WO2020062047A1 (zh) | 更新调度规则的方法、设备、***、存储介质和终端 | |
| Li | Assembly line balancing under uncertain task time and demand volatility | |
| Golenko-Ginzburg et al. | Resource constrained scheduling simulation model for alternative stochastic network projects | |
| US11961099B2 (en) | Utilizing machine learning for optimization of planning and value realization for private networks | |
| Meidan et al. | Data mining for cycle time key factor identification and prediction in semiconductor manufacturing | |
| Quan et al. | Multi-objective evolutionary scheduling based on collaborative virtual workflow model and adaptive rules for flexible production process with operation reworking | |
| CN111079974A (zh) | 一种信息处理方法、电子设备和计算机存储介质 | |
| CN113657844B (zh) | 任务处理流程的确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |