CN114266944B - 快速模型训练结果检验*** - Google Patents

Abstract

本发明公开了快速模型训练结果检验***，涉及数据处理技术领域，包括上位机、云平台、误差检验模块、数据分配模块和训练分析模块；当误差检验模块批量检验多个模型训练结果时，所述数据分配模块用于对待检验的模型训练结果进行分类并依次分配对应的检验单元进行处理，使得数据处理更加有层次，有条不紊；所述误差检验模块接收到模型训练数据后将对应的模型训练结果与实际结果相比较，得到训练误差并通过总线通讯单元上传至上位机进行显示、存储；所述训练分析模块用于获取误差检验模块生成的带有同一模型标识的检验数据进行模型修正分析，判断对应模型是否需要修正，及时提醒管理人员修正对应模型的相关参数，以提高对应模型的检测精度。

Description

快速模型训练结果检验***

技术领域

本发明涉及数据处理技术领域，具体是快速模型训练结果检验***。

背景技术

随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用；例如：可以采用深度学习技术对图像中的文本进行检测，以确定出图像中文本的位置；在一些目标检测场景中，需要从一个较大的图片中对较小的目标进行检测等等；基于深度学习的检测方法，通常依赖于训练好的深度学习模型，在模型训练过程中会产生大量的模型训练结果，受限于目前技术能力，在进行大量的模型训练时，容易产生识别错误，准确率降低，效果稳定性无法保证；

现有的模型训练结果检验***存在不能合理的将模型训练结果分配至对应的选中终端进行数据检验，导致数据检验效率和速度较低的问题，同时无法根据检验结果合理判断训练好的深度学习模型是否合乎标准，进而提高检测精度，为此，我们提出一种快速模型训练结果检验***。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出快速模型训练结果检验***。

为实现上述目的，根据本发明的第一方面的实施例提出快速模型训练结果检验***，包括上位机、云平台、误差检验模块、数据分配模块、训练分析模块以及报警模块；

所述数据采集模块用于采集若干模型的模型训练结果，并将采集的模型训练结果传输至误差检验模块；

当误差检验模块批量检验多个模型训练结果时，所述数据分配模块用于对待检验的模型训练结果进行分类并根据损耗值SH分配对应的检验单元进行处理；其中，每个模型训练结果均带有模型标识；

所述误差检验模块包括控制单元、总线通讯单元和若干检验单元，所述检验单元接收到模型训练数据后将对应的模型训练结果与实际结果相比较，得到训练误差并通过总线通讯单元上传至上位机进行显示、存储；

所述训练分析模块与误差检验模块相连接，用于获取误差检验模块生成的带有同一模型标识的检验数据进行模型修正分析，并根据修正系数XZ判断对应模型是否需要修正；其中检验数据表示为对应的训练误差。

进一步地，所述数据分配模块的具体分配过程如下：

将同一模型标识的模型训练结果标记为模型训练数据；将模型训练数据对应的深度学习模型标记为目标模型，采集目标模型的应用信息对应用系数Y1进行评估；所述应用信息包括应用次数以及对应的应用时间；

将模型训练数据按照应用系数Y1大小进行降序排列，根据模型训练数据的排序依次分配对应的检验单元进行处理，具体为：

针对排序第一的模型训练数据，选取损耗值SH最小的检验单元作为该模型训练数据的选中单元；针对排序第二的模型训练数据，选取损耗值SH次之的检验单元作为该模型训练数据的选中单元，以此类推。

进一步地，所述应用系数Y1的具体评估过程如下：

将目标模型的应用次数标记为C1，将相邻的应用时间进行时间差计算得到应用间隔GTi；统计GTi≤间隔阈值的次数为C2；当GTi≤间隔阈值时，将对应的GTi与间隔阈值的差值进行求和得到差隔总值CZ；利用公式CX＝C2×d1+CZ×d2计算得到差隔系数CX，其中d1、d2为系数因子；

统计最近一次应用时间与***当前时间之间的时间差为应缓时长H1，利用公式Y1＝(C1×d3+CX×d4)/(H1×d5+u)计算得到目标模型的应用系数Y1，其中d3、d4、d5为系数因子，u为补偿因子。

进一步地，所述损耗值SH的计算方法为：

采集检验单元的历史处理记录；将检验单元每次处理时的处理时长标记为Ti，将检验单元每次处理完后的待机时长标记为DTi；

设定若干个待机时长阈值，每个待机时长阈值均对应一个预设处理时长范围，将处理时长Ti对应的待机时长阈值标记为Yr；

将待机时长DTi与对应的待机时长阈值Yr相比较；当待机时长DTi小于Yr，则判定此时检验单元连续工作，产生额外损耗；

统计DTi小于Yr的次数为损耗频次P1；当DTi小于Yr时，将Yr与DTi的差值进行求和得到差待机总值TZ；将最近一次处理结束时刻与***当前时间之间的时间差标记为处缓时长H2；利用公式SH＝(P1×a1+TZ×a2)/(H2+u)计算得到检验单元的损耗值SH，其中a1、a2均为系数因子，u为补偿因子。

进一步地，所述训练分析模块的具体分析过程如下：

采集误差检验模块生成的带有同一模型标识的检验数据，所述检验数据携带有合格标识和不合格标识；当监测到不合格标识时，自动倒计数，倒计数为D1，D1为预设值；每采集一个检验数据，则倒计数减一；

统计倒计数阶段不合格标识的出现次数为P2，统计倒计数自动归为原值的次数为P3，统计倒计数阶段的长度为L1；

利用公式XZ＝(P2×a3+P3×a4)/(L1×a5+u)计算得到对应模型的修正系数XZ，其中a3、a4、a5为系数因子，u为补偿因子；若XZ≥修正阈值，则判定对应模型需要修正，生成修正信号；

所述训练分析模块用于将修正信号传输至上位机，所述上位机接收到修正信号后控制报警模块发出警报，提醒管理人员修正对应模型的相关参数。

进一步地，若训练误差处于允许范围内，则将对应的训练误差打上合格标识；否则，打上不合格标识。

进一步地，在倒计数阶段继续对不合格标识进行监测，若监测到新的不合格标识，则倒计数自动归为原值，重新计数；否则，倒计数归零，停止计数。

进一步地，控制单元和检验单元均通过总线通讯单元分别与上位机进行通讯连接；控制单元用于将模型训练数据通过总线通讯单元传输至对应的检验单元。

与现有技术相比，本发明的有益效果是：

1、本发明中当误差检验模块批量检验多个模型训练结果时，所述数据分配模块用于对待检验的模型训练结果进行分类，将同一模型标识的模型训练结果标记为模型训练数据，采集对应模型的应用信息，结合应用次数和应用间隔计算得到对应模型的应用系数Y1，并按照应用系数Y1大小依次分配对应的检验单元进行处理，使得数据处理更加有层次，有条不紊；当分配检验单元时，采集检验单元的历史处理记录对检验单元的损耗值SH进行评估，并选取损耗值SH最小的检验单元作为选中单元，从而提高数据检验效率和速度；

2、本发明中所述误差检验模块用于将对应的模型训练结果与实际结果相比较，得到训练误差；若训练误差处于允许范围内，则将对应的训练误差打上合格标识；否则，打上不合格标识；所述训练分析模块用于获取误差检验模块生成的带有同一模型标识的检验数据进行模型修正分析，当监测到不合格标识时，自动倒计数，结合倒计数阶段不合格标识的出现次数、倒计数自动归为原值的次数以及倒计数阶段的长度，计算得到对应模型的修正系数，若修正系数≥修正阈值，则提醒管理人员修正对应模型的相关参数，以提高对应模型的检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的***框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，快速模型训练结果检验***，包括上位机、云平台、数据采集模块、误差检验模块、数据分配模块、训练分析模块以及报警模块；

本实施例中的上位机优选工业PC机，工业PC机负责检验数据的展示、存储及上传至云平台，工业PC机对误差检验模块批量检验模型训练结果后获得的数据提供了统一的展示界面，使用户关心的结果数据能够简洁，清晰的展示，且其应用软件能够统一多种设备的应用软件，使整个检测***的所有环节都使用同一软件，使用人员可快速适应不同环节的操作软件，其中每个模型训练结果均带有模型标识；

数据采集模块用于采集若干模型的模型训练结果，并将采集的模型训练结果传输至误差检验模块，其中模型为深度学习模型，模型训练结果为将输入数据代入深度学习模型的输出结果；

误差检验模块包括控制单元、总线通讯单元和若干检验单元，控制单元和检验单元均通过总线通讯单元分别与上位机进行通讯连接；其中检验单元为数据处理终端，用于检验模型训练结果的误差；

数据分配模块与误差检验模块相连接，当误差检验模块批量检验多个模型训练结果时，数据分配模块用于对待检验的模型训练结果进行分类并分配对应的检验单元进行处理，具体过程如下：

根据模型标识对模型训练结果进行分类，将同一模型标识的模型训练结果标记为模型训练数据；

将模型训练数据对应的深度学习模型标记为目标模型，采集目标模型的应用信息，应用信息包括应用次数以及对应的应用时间；其中目标模型的应用表示为将目标模型应用到某个场景，例如利用深度学习模型对图像中的文本进行检测，以确定出图像中文本的位置等；

将目标模型的应用次数标记为C1，将应用时间按照时间先后顺序进行排序，将相邻的应用时间进行时间差计算得到应用间隔GTi；

将GTi与间隔阈值相比较，统计GTi≤间隔阈值的次数为C2；当GTi≤间隔阈值时，将对应的GTi与间隔阈值的差值进行求和得到差隔总值CZ，利用公式CX＝C2×d1+CZ×d2计算得到差隔系数CX，其中d1、d2为系数因子；

统计最近一次应用时间与***当前时间之间的时间差为应缓时长H1，将应用次数、差隔系数和应缓时长进行归一化处理并取其数值，利用公式Y1＝(C1×d3+CX×d4)/(H1×d5+u)计算得到目标模型的应用系数Y1，其中d3、d4、d5为系数因子，u为补偿因子；

将模型训练数据按照应用系数Y1大小进行降序排列，根据模型训练数据的排序依次分配对应的检验单元进行处理，具体为：

采集检验单元的历史处理记录；将检验单元每次处理时的处理时长标记为Ti，将对应处理结束时刻与下一次的处理开始时刻进行时间差计算得到待机时长DTi，其中Ti与DTi一一对应；

设定若干个待机时长阈值，每个待机时长阈值均对应一个预设处理时长范围，将处理时长Ti对应的待机时长阈值标记为Yr；将待机时长DTi与对应的待机时长阈值Yr相比较；当待机时长DTi小于Yr，则认为检验单元没有得到充分休息，此时连续工作，会产生额外损耗；

统计DTi小于Yr的次数为损耗频次P1；当DTi小于Yr时，将Yr与DTi进行差值计算，将所有的差值进行求和得到差待机总值TZ；将最近一次处理结束时刻与***当前时间之间的时间差标记为处缓时长H2；

利用公式SH＝(P1×a1+TZ×a2)/(H2+u)计算得到检验单元的损耗值SH，其中a1、a2均为系数因子，u为补偿因子；

对排序第一的模型训练数据进行分配，选取损耗值SH最小的检验单元作为该模型训练数据的选中单元；将该排序第一的模型训练数据标记为已分配数据，对排序第二的模型训练数据进行分配，选取损耗值SH次之的检验单元作为该模型训练数据的选中单元，以此类推；

控制单元用于将模型训练数据通过总线通讯单元传输至对应的检验单元，检验单元接收到模型训练数据后将对应的模型训练结果与实际结果相比较，得到训练误差并将训练误差通过总线通讯单元上传至上位机进行显示、存储；其中若训练误差处于允许范围内，则将对应的训练误差打上合格标识；否则，打上不合格标识；

训练分析模块与误差检验模块相连接，用于获取误差检验模块生成的带有同一模型标识的检验数据进行模型修正分析，判断对应模型是否需要修正，其中检验数据表示为对应的训练误差；具体分析过程如下：

采集误差检验模块生成的带有同一模型标识的检验数据，检验数据携带有合格标识和不合格标识；

当监测到不合格标识时，自动倒计数，倒计数为D1，D1为预设值；例如D1取值10；每采集一个检验数据，则倒计数减一；

在倒计数阶段继续对不合格标识进行监测，若监测到新的不合格标识，则倒计数自动归为原值，重新按照D1进行倒计数，否则，倒计数归零，停止计数；

统计倒计数阶段不合格标识的出现次数为P2，统计倒计数自动归为原值的次数为P3，统计倒计数阶段的长度为L1；

利用公式XZ＝(P2×a3+P3×a4)/(L1×a5+u)计算得到对应模型的修正系数XZ，其中a3、a4、a5为系数因子，u为补偿因子；

将修正系数XZ与修正阈值相比较，若XZ≥修正阈值，则判定对应模型的模型训练结果误差较大，模型参数需要修正，生成修正信号；

训练分析模块用于将修正信号传输至上位机，上位机接收到修正信号后控制报警模块发出警报，提醒管理人员修正对应模型的相关参数，以提高对应模型的检测精度。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

本发明的工作原理：

快速模型训练结果检验***，在工作时，当误差检验模块批量检验多个模型训练结果时，数据分配模块用于对待检验的模型训练结果进行分类并分配对应的检验单元进行处理，将同一模型标识的模型训练结果标记为模型训练数据，采集对应模型的应用信息，结合应用次数和应用间隔计算得到对应模型的应用系数Y1，将模型训练数据按照应用系数Y1大小进行降序排列，并依次分配对应的检验单元进行处理，针对排序第一的模型训练数据，选取损耗值SH最小的检验单元作为选中单元；针对排序第二的模型训练数据，选取损耗值SH次之的检验单元作为选中单元，以此类推，从而提高数据检验效率和速度；

误差检验模块用于将对应的模型训练结果与实际结果相比较，得到训练误差，即检验数据；训练分析模块用于获取误差检验模块生成的带有同一模型标识的检验数据进行模型修正分析，在倒计数阶段对不合格标识进行监测，结合倒计数阶段不合格标识的出现次数、倒计数自动归为原值的次数以及倒计数阶段的长度，计算得到对应模型的修正系数，若修正系数≥修正阈值，则提醒管理人员修正对应模型的相关参数，以提高对应模型的检测精度。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (2)

1.快速模型训练结果检验***，其特征在于，包括上位机、误差检验模块、数据采集模块、数据分配模块、训练分析模块以及报警模块；

所述数据采集模块用于采集若干模型的模型训练结果，并将采集的模型训练结果传输至误差检验模块；

当误差检验模块批量检验多个模型训练结果时，所述数据分配模块用于对待检验的模型训练结果进行分类，并根据损耗值SH分配对应的检验单元进行处理；每个模型训练结果均带有模型标识；具体分配过程如下：

将同一模型标识的模型训练结果标记为模型训练数据；将模型训练数据对应的深度学习模型标记为目标模型；

采集目标模型的应用信息对应用系数Y1进行评估，所述应用信息包括应用次数以及对应的应用时间；具体评估过程如下：

将目标模型的应用次数标记为C1，将相邻的应用时间进行时间差计算得到应用间隔GTi；统计GTi≤间隔阈值的次数为C2；当GTi≤间隔阈值时，将对应的GTi与间隔阈值的差值进行求和得到差隔总值CZ；利用公式CX=C2×d1+CZ×d2计算得到差隔系数CX，其中d1、d2为系数因子；

统计最近一次应用时间与***当前时间之间的时间差为应缓时长H1，利用公式Y1=(C1×d3+CX×d4)/(H1×d5+u)计算得到目标模型的应用系数Y1，其中d3、d4、d5为系数因子，u为补偿因子；

将模型训练数据按照应用系数Y1大小进行降序排列，根据模型训练数据的排序依次分配对应的检验单元进行处理，具体为：

针对排序第一的模型训练数据，选取损耗值SH最小的检验单元作为该模型训练数据的选中单元；针对排序第二的模型训练数据，选取损耗值SH次之的检验单元作为该模型训练数据的选中单元，以此类推；

其中，所述损耗值SH的计算方法为：

采集检验单元的历史处理记录；将检验单元每次处理时的处理时长标记为Ti，将检验单元每次处理完后的待机时长标记为DTi；

设定若干个待机时长阈值，每个待机时长阈值均对应一个预设处理时长范围，将处理时长Ti对应的待机时长阈值标记为Yr；

将待机时长DTi与对应的待机时长阈值Yr相比较；当待机时长DTi小于Yr，则判定此时检验单元连续工作，产生额外损耗；

统计DTi小于Yr的次数为损耗频次P1；当DTi小于Yr时，将Yr与DTi的差值进行求和得到差待机总值TZ；将最近一次处理结束时刻与***当前时间之间的时间差标记为处缓时长H2；利用公式SH=(P1×a1+TZ×a2)/(H2+u)计算得到检验单元的损耗值SH，其中a1、a2均为系数因子,u为补偿因子；

所述误差检验模块包括控制单元、总线通讯单元和若干检验单元，所述检验单元接收到模型训练数据后将对应的模型训练结果与实际结果相比较，得到训练误差并通过总线通讯单元上传至上位机进行显示、存储；

其中，若训练误差处于允许范围内，则将对应的训练误差打上合格标识；否则，打上不合格标识；

所述训练分析模块与误差检验模块相连接，用于获取误差检验模块生成的带有同一模型标识的检验数据进行模型修正分析，并根据修正系数XZ判断对应模型是否需要修正；具体分析过程如下：

采集误差检验模块生成的带有同一模型标识的检验数据，其中检验数据表示为对应的训练误差；当监测到不合格标识时，自动倒计数，倒计数为D1，D1为预设值；每采集一个检验数据，则倒计数减一；

在倒计数阶段继续对不合格标识进行监测，若监测到新的不合格标识，则倒计数自动归为原值，重新计数；否则，倒计数归零，停止计数；

统计倒计数阶段不合格标识的出现次数为P2，统计倒计数自动归为原值的次数为P3，统计倒计数阶段的长度为L1；

利用公式XZ=(P2×a3+P3×a4)/(L1×a5+u)计算得到对应模型的修正系数XZ，其中a3、a4、a5为系数因子，u为补偿因子；若XZ≥修正阈值，则判定对应模型需要修正，生成修正信号；

所述训练分析模块用于将修正信号传输至上位机，所述上位机接收到修正信号后控制报警模块发出警报，提醒管理人员修正对应模型的相关参数。

2.根据权利要求1所述的快速模型训练结果检验***，其特征在于，控制单元和检验单元均通过总线通讯单元分别与上位机进行通讯连接；控制单元用于将模型训练数据通过总线通讯单元传输至对应的检验单元。

Images