CN112070238A - 准确的机器学习异步预测方法及***、存储介质 - Google Patents
准确的机器学习异步预测方法及***、存储介质 Download PDFInfo
- Publication number
- CN112070238A CN112070238A CN202011245061.6A CN202011245061A CN112070238A CN 112070238 A CN112070238 A CN 112070238A CN 202011245061 A CN202011245061 A CN 202011245061A CN 112070238 A CN112070238 A CN 112070238A
- Authority
- CN
- China
- Prior art keywords
- prediction
- accuracy
- execution condition
- historical data
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000010801 machine learning Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 116
- 238000012795 verification Methods 0.000 claims abstract description 65
- 230000006870 function Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 25
- 230000007423 decrease Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种准确的机器学习异步预测方法及***、计算机可读存储介质，该方法包括以下步骤：在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率。本发明实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
Description
技术领域
本申请涉及机器学习技术领域，尤其涉及一种准确的机器学习异步预测方法及***、计算机可读存储介质。
背景技术
在机器学习训练中，为了能较快地得到模型预测的准确率，通常会采用在对观测数据进行下采样后再进行预测的方法。但是使用这种方法会丢失许多数据，从而出现因数据丢失而导致的预测不准确的问题。而在机器学习的早停机制里，会将训练数据拆分为训练集和测试集，并在发现测试集的验证错误率越来越大时停止训练，然后将错误率上升前的最后一个结果的训练参数作为这个模型的最优参数。早停机制仅通过部分值的收敛规律来判断是否停止训练，由于仅根据几次验证结果中准确率下降的情况就决定是否进行早停，会出现因误判而导致低估了模型的最终准确率的问题，具有局限性。
发明内容
本申请实施例通过提供一种准确的机器学习异步预测方法及***、计算机可读存储介质，解决了传统技术无法准确高效地对机器学习模型的准确率进行预测的问题，实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
本申请实施例提供了一种准确的机器学习异步预测方法，所述方法包括：
在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；其中，每次对模型进行训练都使用全部训练样本；
若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；
若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；
将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率；其中，准确率预测过程与模型训练过程异步进行。
在一实施例中，所述预测执行条件包括：第一预测执行条件、第二预测执行条件、第三预测执行条件、第四预测执行条件；其中，所述第一预测执行条件为当前训练次数大于或等于预设训练次数，所述第二预测执行条件为当前训练次数小于待预测训练次数，所述第三预测执行条件为当前历史数据的方差小于预设方差阈值；所述第四预测执行条件为当前历史数据中的验证准确率未持续下降。
在一实施例中，在所述判断当前是否满足预测执行条件的步骤之后，还包括：
若当前已满足第一预测执行条件和第二预测执行条件而未满足第三预测执行条件或第四预测执行条件，则将所述当前历史数据中的最大验证准确率作为最终准确率。
在一实施例中，所述采用层级式遍历拟合方法对当前历史数据进行曲线拟合的步骤包括：
先遍历使用基本函数对当前历史数据进行曲线拟合，再遍历使用由所述基本函数组合而成的复合函数对所述当前历史数据进行曲线拟合。
在一实施例中，在所述若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合的步骤之后，还包括：
若未成功对所述当前历史数据进行曲线拟合，则在所述预测执行条件再次被满足后进行下一次预测。
在一实施例中，所述利用所述预测准确率确定最终准确率的步骤包括：
若所述预测准确率在预设的置信区间内，则判断所述预测准确率是否大于或等于所述当前历史数据中的最大验证准确率；
若所述预测准确率大于或等于所述当前历史数据中的最大验证准确率，则将所述预测准确率作为最终准确率。
在一实施例中，在所述若所述预测准确率在预设的置信区间内，则判断所述预测准确率是否大于或等于所述当前历史数据中的最大验证准确率的步骤之后，还包括：
若所述预测准确率小于所述当前历史数据中的最大验证准确率，则将所述当前历史数据中的最大验证准确率作为最终准确率。
在一实施例中，所述利用所述预测准确率确定最终准确率的步骤还包括：
若所述预测准确率不在预设的置信区间内，则在所述预测执行条件再次被满足后进行下一次预测。
本申请实施例还提供了一种***，所述***包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的异步预测程序，所述异步预测程序被所述处理器执行时实现如上述的准确的机器学习异步预测方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有异步预测程序，所述异步预测程序被处理器执行时实现如上述的准确的机器学习异步预测方法的步骤。
本申请实施例中提供的一种准确的机器学习异步预测方法及***、计算机可读存储介质的技术方案，至少具有如下技术效果：
由于采用了在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；其中，每次对模型进行训练都使用全部训练样本；若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率；其中，准确率预测过程与模型训练过程异步进行的技术手段。所以，有效解决了传统技术无法准确高效地对机器学习模型的准确率进行预测的问题，实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
附图说明
图1为本申请实施例涉及的***的结构示意图；
图2为本申请准确的机器学习异步预测方法的第一实施例的流程示意图；
图3为本申请准确的机器学习异步预测方法的第二实施例的流程示意图；
图4为本申请准确的机器学习异步预测方法的第三实施例的流程示意图。
具体实施方式
本申请为了解决传统技术无法准确高效地对机器学习模型的准确率进行预测的问题，采用了在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；其中，每次对模型进行训练都使用全部训练样本；若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率；其中，准确率预测过程与模型训练过程异步进行的技术方案。实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
结合图1所示，其为本申请各个实施例中涉及的***的一种硬件结构示意图，所述***可以包括：处理器101、存储器102、输入模块103、输出模块104等部件。本领域技术人员可以理解，图1所示的***的硬件结构并不构成对所述***的限定，所述***可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图1对所述***的各个部件进行具体的介绍：
处理器101是***的控制中心，连接整个***的各个部分，通过运行或执行存储在存储器102内的程序，以及调用存储在存储器102内的数据，执行***的各种功能或对数据进行处理，从而对***进行整体监控。
存储器102可用于存储***的各种程序以及各种数据。存储器102主要包括存储程序区和存储数据区，其中，存储程序区至少存储了进行异步预测所需的程序；存储数据区可以存储***的各种数据。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
输入模块103可用于输入训练样本和测试样本，从而对模型进行训练和验证。
输出模块104可用于输出模型训练结果、准确率预测结果、最终准确率。
在本申请实施例中，处理器101可以用于调用存储在存储器102中的异步预测程序，并执行以下操作：
在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；其中，每次对模型进行训练都使用全部训练样本；
若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；
若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；
将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率；其中，准确率预测过程与模型训练过程异步进行。
在一实施例中，所述预测执行条件包括：第一预测执行条件、第二预测执行条件、第三预测执行条件、第四预测执行条件；其中，所述第一预测执行条件为当前训练次数大于或等于预设训练次数，所述第二预测执行条件为当前训练次数小于待预测训练次数，所述第三预测执行条件为当前历史数据的方差小于预设方差阈值；所述第四预测执行条件为当前历史数据中的验证准确率未持续下降。
在一实施例中，处理器101可以用于调用存储在存储器102中的异步预测程序，并执行以下操作：
若当前已满足第一预测执行条件和第二预测执行条件而未满足第三预测执行条件或第四预测执行条件，则将所述当前历史数据中的最大验证准确率作为最终准确率。
在一实施例中，处理器101可以用于调用存储在存储器102中的异步预测程序，并执行以下操作：
先遍历使用基本函数对当前历史数据进行曲线拟合，再遍历使用由所述基本函数组合而成的复合函数对所述当前历史数据进行曲线拟合。
在一实施例中，处理器101可以用于调用存储在存储器102中的异步预测程序，并执行以下操作：
若未成功对所述当前历史数据进行曲线拟合，则在所述预测执行条件再次被满足后进行下一次预测。
在一实施例中，处理器101可以用于调用存储在存储器102中的异步预测程序，并执行以下操作：
若所述预测准确率在预设的置信区间内，则判断所述预测准确率是否大于或等于所述当前历史数据中的最大验证准确率；
若所述预测准确率大于或等于所述当前历史数据中的最大验证准确率，则将所述预测准确率作为最终准确率。
在一实施例中，处理器101可以用于调用存储在存储器102中的异步预测程序，并执行以下操作：
若所述预测准确率小于所述当前历史数据中的最大验证准确率，则将所述当前历史数据中的最大验证准确率作为最终准确率。
在一实施例中，处理器101可以用于调用存储在存储器102中的异步预测程序，并执行以下操作：
若所述预测准确率不在预设的置信区间内，则在所述预测执行条件再次被满足后进行下一次预测。
本实施例根据上述技术方案，采用了在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；其中，每次对模型进行训练都使用全部训练样本；若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率；其中，准确率预测过程与模型训练过程异步进行的技术手段。所以，有效解决了传统技术无法准确高效地对机器学习模型的准确率进行预测的问题，实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
结合图2所示，在本申请的第一实施例中，本申请的准确的机器学习异步预测方法具体包括以下步骤：
步骤S110，在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件。
在本实施例中，所述模型可以是卷积神经网络模型等以准确率为模型性能评估指标的机器学习模型。由于每次对所述模型进行训练都使用了全部训练样本，因此对所述模型进行了一次训练也可以称为执行了一次Epoch，所述当前训练次数即为当前的Epoch执行次数。而在每次使用全部训练样本对所述模型进行训练之后，通过继续使用测试样本对本次训练后的模型进行验证即可得到与当前训练次数相对应的验证准确率。
所述历史数据为由训练次数数据和与训练次数相对应的验证准确率数据组成的数据集合，可以如下表所示。在将当前已经获得的训练次数数据和与训练次数相对应的验证准确率数据都记录在历史数据中之后即可得到当前历史数据。为了方便对训练次数以及验证准确率进行监控，可以在将所述当前训练次数与相应的验证准确率记录在历史数据中的同时通过http请求将其实时传送至Prometheus的pushgateway插件，然后使用grafana在web端对验证准确率进行实时监控。而在得到了当前历史数据之后，则可以根据所述当前历史数据判断当前是否满足预测执行条件，从而能够进一步确定当前是否能够开始进行所述模型的准确率预测。
| 训练次数 | 1 | 2 | 3 | 4 | … |
| 验证准确率 | A1 | A2 | A3 | A4 | … |
在一实施例中，所述预测执行条件包括：第一预测执行条件、第二预测执行条件、第三预测执行条件、第四预测执行条件；其中，所述第一预测执行条件为当前训练次数大于或等于预设训练次数，所述第二预测执行条件为当前训练次数小于待预测训练次数，所述第三预测执行条件为当前历史数据的方差小于预设方差阈值；所述第四预测执行条件为当前历史数据中的验证准确率未持续下降。所述预设训练次数可以根据所述模型所需的最小训练次数进行预先设定，以避免在对当前历史数据进行曲线拟合时因数据数量过小而导致的拟合失败；而所述待预测训练次数可以根据实际情况进行预先设定，例如可以设定为该训练次数下能够确定模型准确率已经收敛的某一训练次数；所述第三预测执行条件和第四预测执行条件用于判断当前模型的训练是否符合正常训练过程以及是否存在模型构建异常的问题，若模型训练或者模型构建存在问题，则不能使用本申请的方法对其准确率进行预测。
其中，在判断当前是否满足上述的四个预测执行条件之后，主要会出现以下四种情况：当前未满足第一预测执行条件；当前已满足第一预测执行条件但未满足第二预测执行条件；当前已满足第一预测执行条件和第二预测执行条件但未满足第三预测执行条件或第四预测执行条件；当前已满足全部预测执行条件。若当前未满足第一预测执行条件，即当前训练次数小于预设训练次数，则需要等待对所述模型的继续训练，以便获取足够的历史数据；若当前已满足第一预测执行条件但未满足第二预测执行条件，即当前训练次数大于或等于待预测训练次数，则可以直接从当前历史数据中获取与所述待预测训练次数相对应的验证准确率作为预测准确率；若当前已满足第一预测执行条件和第二预测执行条件但未满足第三预测执行条件或第四预测执行条件，即当前训练次数大于或等于预设训练次数且小于待预测训练次数但当前历史数据的方差大于等于预设方差阈值或者当前历史数据中的验证准确率持续下降，则可以将所述当前历史数据中的最大验证准确率直接作为最终准确率；若当前已满足全部预测执行条件，则可以开始进行所述模型的准确率预测。其中，可以通过对当前历史数据求取导数来判断当前历史数据中的验证准确率是否持续下降，若自某一训练次数之后当前历史数据的导数均为负数，则可以判定当前历史数据中的验证准确率持续下降。
步骤S120，若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合。
在本实施例中，若当前已满足所述预测执行条件，则可以开始进行所述模型的准确率预测。由于在不考虑硬件环境、软件稳定性等因素的理想情况下模型的验证准确率会在训练次数达到一定数量后趋于稳定，因此可以通过采用对模型验证准确率的历史数据进行曲线拟合的方法来对模型在待预测训练次数下的准确率进行预测。其中，可以采用层级式遍历拟合方法对当前历史数据进行曲线拟合。而所述层级式遍历拟合方法可以是先遍历使用基本函数对当前历史数据进行曲线拟合，再遍历使用由所述基本函数组合而成的复合函数对所述当前历史数据进行曲线拟合。此外，在进行曲线拟合时还需要加上先验知识：
，即通过曲线拟合得到的训练次数与准确率的函数的因变量取值范围需要小于或等于1。而通过采用层级式遍历拟合方法，可以同时适应简单场景和复杂场景。
步骤S130，若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果。
在本实施例中，由于采用的是层级式遍历拟合方法，因此若已成功对所述当前历史数据进行曲线拟合，则通常会存在多个拟合结果。此时需要计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果，从而能够得到最佳的拟合结果。其中，用户可以根据实际需要选择不同类型的误差来对拟合结果进行误差分析，并且至少可以包括以下几种类型的误差：
1、平均绝对误差(Mean Absolute Error, MAE)，
；
2、均方误差(Mean Square Error, MSE)，
；
3、均方根误差(Root Mean Squared Error, RMSE)，
；
4、卡方误差
，
；
5、R-平方误差
，
。
其中，
为预测值，
为真值，
为真值平均值。
步骤S140，将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率。
在本实施例中，由于求得的所述最终拟合结果为训练次数与准确率之间的函数，因此只需要将所述待预测训练次数作为自变量输入至所述最终拟合结果，即可在计算后得到与所述待预测训练次数相对应的预测准确率。为了使得预测结果具有统计意义，在得到所述预测准确率之后还可以使用所述预测准确率减去k倍的误差值来作为新的预测准确率，并判断所述新的预测准确率是否在用户指定的置信区间内，从而进一步确定最终准确率。而在得到了最终准确率之后，则可以结束对所述模型的训练。其中，由于准确率预测的过程往往耗时较长，为了不影响训练过程的正常进行，可以采用新建子进程的方法来进行准确率预测，即准确率预测过程与模型训练过程异步进行。而通过令准确率预测过程与模型训练过程异步进行，还可以实现在较短时间内得到模型准确率的收敛值的效果。
上述方法的有益效果为采用了在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；其中，每次对模型进行训练都使用全部训练样本；若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率；其中，准确率预测过程与模型训练过程异步进行的技术方案。所以，有效解决了传统技术无法准确高效地对机器学习模型的准确率进行预测的问题，实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
结合图2所示，在本申请的第二实施例中，本申请的准确的机器学习异步预测方法具体包括以下步骤：
步骤S210，在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件。
步骤S221，若当前已满足所述预测执行条件，则先遍历使用基本函数对当前历史数据进行曲线拟合，再遍历使用由所述基本函数组合而成的复合函数对所述当前历史数据进行曲线拟合。
在本实施例中，若当前已满足所述预测执行条件，则可以对当前历史数据进行曲线拟合。首先，可以遍历使用基本函数对当前历史数据进行曲线拟合。其中，所述基本函数至少可以包括以下七种：
1、线性函数，
；
2、多项式函数，
；
3、对数函数，
，对数函数在i>1时为单调递增函数，所以拟合时可以指定i为2、3、10等数值；
4、指数函数，
；
5、傅里叶级数，
；
6、sigmoid函数，
；
7、渐进函数，
。
然后还可以再遍历使用由所述基本函数组合而成的复合函数对所述当前历史数据进行曲线拟合，以便适用于复杂场景。
步骤S230，若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果。
步骤S231，若未成功对所述当前历史数据进行曲线拟合，则在所述预测执行条件再次被满足后进行下一次预测。
在本实施例中，若未成功对所述当前历史数据进行曲线拟合，即未能从遍历使用的函数中找到能够对所述当前历史数据进行拟合的函数，则可能是当前历史数据的数量仍然不足，此时可以结束本次的准确率预测，等待接下来在对所述模型进行训练后得到的更新的当前历史数据再次满足预测执行条件时进行下一次准确率预测。
步骤S240，将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率。
上述方法的有益效果为在第一实施例的基础上细化了进行曲线拟合的步骤，并且增加了拟合失败时的步骤。所以，进一步有效解决了传统技术无法准确高效地对机器学习模型的准确率进行预测的问题，实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
结合图4所示，在本申请的第三实施例中，本申请的准确的机器学习异步预测方法具体包括以下步骤：
步骤S310，在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件。
步骤S320，若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合。
步骤S330，若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果。
步骤S341，将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，
步骤S342，若所述预测准确率在预设的置信区间内，则判断所述预测准确率是否大于或等于所述当前历史数据中的最大验证准确率。
在本实施例中，所述置信区间为
，可以根据用户的需要预先指定。而若所述预测准确率在预设的置信区间内，则意味着所述预测准确率的可信程度已经达到用户的预期，此时可以认为所述预测准确率是可信的。在判定所述预测准确率可信之后，还需要判断所述预测准确率是否大于或等于所述当前历史数据中的最大验证准确率，从而确定出模型的最终准确率。
步骤S343，若所述预测准确率大于或等于所述当前历史数据中的最大验证准确率，则将所述预测准确率作为最终准确率。
步骤S344，若所述预测准确率小于所述当前历史数据中的最大验证准确率，则将所述当前历史数据中的最大验证准确率作为最终准确率。
在本实施例中，通过比较所述预测准确率和所述当前历史数据中的最大验证准确率，可以得到二者之中的较大值，从而能够将所述较大值作为所述模型的最终准确率，即所述模型的可以确定的最大准确率。其中，若所述预测准确率大于或等于所述当前历史数据中的最大验证准确率，则将所述预测准确率作为最终准确率；若所述预测准确率小于所述当前历史数据中的最大验证准确率，则将所述当前历史数据中的最大验证准确率作为最终准确率。
步骤S345，若所述预测准确率不在预设的置信区间内，则在所述预测执行条件再次被满足后进行下一次预测。
在本实施例中，若所述预测准确率不在预设的置信区间内，则意味着所述预测准确率的可信程度未达到用户的预期，此时可以认为所述预测准确率是不可信的，即所述最终拟合结果无法准确地对当前历史数据进行拟合。因此可以结束本次的准确率预测，等待接下来在对所述模型进行训练后得到的更新的当前历史数据再次满足预测执行条件时进行下一次准确率预测。
上述方法的有益效果为在第一实施例的基础上对利用预测准确率确定最终准确率的步骤进行了细化和补充。所以，进一步有效解决了传统技术无法准确高效地对机器学习模型的准确率进行预测的问题，实现了对机器学习模型准确率的精准预测，并且提高了对机器学习模型的准确率进行预测时的效率。
基于同一发明构思，本申请实施例还提供了一种***，所述***包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的异步预测程序，所述异步预测程序被所述处理器执行时实现如上述的准确的机器学习异步预测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的***，为实施本申请实施例的方法所采用的***，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该***的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的***都属于本申请所欲保护的范围。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有异步预测程序，所述异步预测程序被处理器执行时实现如上述的准确的机器学习异步预测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的计算机可读存储介质，为实施本申请实施例的方法所采用的计算机可读存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的计算机可读存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种准确的机器学习异步预测方法，其特征在于，所述方法包括：
在每次对模型进行训练后，将当前训练次数与相应的验证准确率记录在历史数据中并判断当前是否满足预测执行条件；其中，每次对模型进行训练都使用全部训练样本；
若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合；
若已成功对所述当前历史数据进行曲线拟合，则计算每个拟合结果的误差值，并将误差值最小的拟合结果作为最终拟合结果；
将待预测训练次数输入至所述最终拟合结果，计算后得到预测准确率，并利用所述预测准确率确定最终准确率；其中，准确率预测过程与模型训练过程异步进行。
2.如权利要求1所述的准确的机器学习异步预测方法，其特征在于，所述预测执行条件包括：第一预测执行条件、第二预测执行条件、第三预测执行条件、第四预测执行条件；其中，所述第一预测执行条件为当前训练次数大于或等于预设训练次数，所述第二预测执行条件为当前训练次数小于待预测训练次数，所述第三预测执行条件为当前历史数据的方差小于预设方差阈值；所述第四预测执行条件为当前历史数据中的验证准确率未持续下降。
3.如权利要求2所述的准确的机器学习异步预测方法，其特征在于，在所述判断当前是否满足预测执行条件的步骤之后，还包括：
若当前已满足第一预测执行条件和第二预测执行条件而未满足第三预测执行条件或第四预测执行条件，则将所述当前历史数据中的最大验证准确率作为最终准确率。
4.如权利要求1所述的准确的机器学习异步预测方法，其特征在于，所述采用层级式遍历拟合方法对当前历史数据进行曲线拟合的步骤包括：
先遍历使用基本函数对当前历史数据进行曲线拟合，再遍历使用由所述基本函数组合而成的复合函数对所述当前历史数据进行曲线拟合。
5.如权利要求1所述的准确的机器学习异步预测方法，其特征在于，在所述若当前已满足所述预测执行条件，则采用层级式遍历拟合方法对当前历史数据进行曲线拟合的步骤之后，还包括：
若未成功对所述当前历史数据进行曲线拟合，则在所述预测执行条件再次被满足后进行下一次预测。
6.如权利要求1所述的准确的机器学习异步预测方法，其特征在于，所述利用所述预测准确率确定最终准确率的步骤包括：
若所述预测准确率在预设的置信区间内，则判断所述预测准确率是否大于或等于所述当前历史数据中的最大验证准确率；
若所述预测准确率大于或等于所述当前历史数据中的最大验证准确率，则将所述预测准确率作为最终准确率。
7.如权利要求6所述的准确的机器学习异步预测方法，其特征在于，在所述若所述预测准确率在预设的置信区间内，则判断所述预测准确率是否大于或等于所述当前历史数据中的最大验证准确率的步骤之后，还包括：
若所述预测准确率小于所述当前历史数据中的最大验证准确率，则将所述当前历史数据中的最大验证准确率作为最终准确率。
8.如权利要求6所述的准确的机器学习异步预测方法，其特征在于，所述利用所述预测准确率确定最终准确率的步骤还包括：
若所述预测准确率不在预设的置信区间内，则在所述预测执行条件再次被满足后进行下一次预测。
9.一种***，其特征在于，所述***包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的异步预测程序，所述异步预测程序被所述处理器执行时实现如权利要求1至8任一项所述的准确的机器学习异步预测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有异步预测程序，所述异步预测程序被处理器执行时实现如权利要求1至8任一项所述的准确的机器学习异步预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011245061.6A CN112070238B (zh) | 2020-11-10 | 2020-11-10 | 准确的机器学习异步预测方法及***、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011245061.6A CN112070238B (zh) | 2020-11-10 | 2020-11-10 | 准确的机器学习异步预测方法及***、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070238A true CN112070238A (zh) | 2020-12-11 |
| CN112070238B CN112070238B (zh) | 2021-02-23 |
Family
ID=73655842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011245061.6A Active CN112070238B (zh) | 2020-11-10 | 2020-11-10 | 准确的机器学习异步预测方法及***、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070238B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100223212A1 (en) * | 2009-02-27 | 2010-09-02 | Microsoft Corporation | Task-related electronic coaching |
| US20150289149A1 (en) * | 2014-04-08 | 2015-10-08 | Cellco Partnership D/B/A Verizon Wireless | Estimating long term evolution network capacity and performance |
| CN108875963A (zh) * | 2018-06-28 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 机器学习模型的优化方法、装置、终端设备和存储介质 |
| CN109032671A (zh) * | 2018-06-25 | 2018-12-18 | 电子科技大学 | 一种基于数据并行策略的分布式深度学习方法及*** |
| CN110263866A (zh) * | 2019-06-24 | 2019-09-20 | 苏州智睿新能信息科技有限公司 | 一种基于深度学习的电力用户负荷区间预测方法 |
| CN110852446A (zh) * | 2019-11-13 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 机器学习模型训练方法、装置和计算机可读存储介质 |
| CN110866592A (zh) * | 2019-10-28 | 2020-03-06 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、能效预测方法、装置和存储介质 |
| US10726123B1 (en) * | 2019-04-18 | 2020-07-28 | Sas Institute Inc. | Real-time detection and prevention of malicious activity |
-
2020
- 2020-11-10 CN CN202011245061.6A patent/CN112070238B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100223212A1 (en) * | 2009-02-27 | 2010-09-02 | Microsoft Corporation | Task-related electronic coaching |
| US20150289149A1 (en) * | 2014-04-08 | 2015-10-08 | Cellco Partnership D/B/A Verizon Wireless | Estimating long term evolution network capacity and performance |
| CN109032671A (zh) * | 2018-06-25 | 2018-12-18 | 电子科技大学 | 一种基于数据并行策略的分布式深度学习方法及*** |
| CN108875963A (zh) * | 2018-06-28 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 机器学习模型的优化方法、装置、终端设备和存储介质 |
| US10726123B1 (en) * | 2019-04-18 | 2020-07-28 | Sas Institute Inc. | Real-time detection and prevention of malicious activity |
| CN110263866A (zh) * | 2019-06-24 | 2019-09-20 | 苏州智睿新能信息科技有限公司 | 一种基于深度学习的电力用户负荷区间预测方法 |
| CN110866592A (zh) * | 2019-10-28 | 2020-03-06 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、能效预测方法、装置和存储介质 |
| CN110852446A (zh) * | 2019-11-13 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 机器学习模型训练方法、装置和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 马长春: "基于待测样本与训练样本差异的分类准确率估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070238B (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840588B (zh) | 神经网络模型训练方法、装置、计算机设备及存储介质 | |
| US20190294975A1 (en) | Predicting using digital twins | |
| CN111881023B (zh) | 一种基于多模型对比的软件老化预测方法及装置 | |
| CN107015875B (zh) | 一种电子整机贮存寿命评估方法及装置 | |
| CN112770112A (zh) | 流量数据异常检测方法、装置、电子设备及存储介质 | |
| TW202123098A (zh) | 深度神經網路超參數選擇方法及電子裝置 | |
| CN114428748B (zh) | 一种用于真实业务场景的模拟测试方法及*** | |
| CN113919418A (zh) | 基于小样本的分类模型训练方法、装置及电子设备 | |
| KR101741248B1 (ko) | 복수의 변수를 이용한 인과관계 추정 방법 및 장치 | |
| CN112070238B (zh) | 准确的机器学习异步预测方法及***、存储介质 | |
| CN108463813B (zh) | 一种进行数据处理的方法和装置 | |
| CN111832693A (zh) | 神经网络层运算、模型训练方法、装置及设备 | |
| CN116388864B (zh) | 量子网络设备性能预测方法、装置、电子设备及存储介质 | |
| CN116433050B (zh) | 应用于农业大数据管理***的异常报警方法及*** | |
| CN103578274B (zh) | 一种交通流预测方法及装置 | |
| CN111090401B (zh) | 存储设备性能预测方法及装置 | |
| CN116743637A (zh) | 一种异常流量的检测方法、装置、电子设备及存储介质 | |
| US20230130374A1 (en) | Method, device and storage medium for predicting remaining service life of rail transit hardware device | |
| CN112423031B (zh) | 基于iptv的kpi监测方法、装置及其*** | |
| CN115509233A (zh) | 基于优先经验回放机制的机器人路径规划方法及*** | |
| CN117827668A (zh) | 测试覆盖率提高装置、计算机设备及存储介质 | |
| CN113742216B (zh) | 一种检测机器学习引擎的效率的方法、装置和存储介质 | |
| CN114765624B (zh) | 信息推荐方法、装置、服务器及存储介质 | |
| CN112685246B (zh) | 一种时序数据的处理方法及装置 | |
| TWI738066B (zh) | 基於神經網路之資料處理裝置、方法及電腦可讀取存儲介質 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |