CN113780287A - 一种多深度学习模型的最优选取方法及*** - Google Patents
一种多深度学习模型的最优选取方法及*** Download PDFInfo
- Publication number
- CN113780287A CN113780287A CN202110868104.4A CN202110868104A CN113780287A CN 113780287 A CN113780287 A CN 113780287A CN 202110868104 A CN202110868104 A CN 202110868104A CN 113780287 A CN113780287 A CN 113780287A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- model
- optimal
- version
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 22
- 238000013136 deep learning model Methods 0.000 claims abstract description 185
- 238000011156 evaluation Methods 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 21
- 238000010835 comparative analysis Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种多深度学习模型的最优选取方法及***，方法包括：对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。本发明通过对多个不同版本的深度学习模型的对比评估，从而选取最优的深度学习模型，提高应用选定的最优深度学习算法模型进行目标预测的适用准确性及有效性。
Description
技术领域
本发明涉及人工智能领域，更具体地，涉及一种多深度学习模型的最优选取方法及***。
背景技术
在计算机科学中，特别是在使用有监督学习的机器学习和深度学习算法过程中，通过对模型的测量和评估才能选择最优的模型参数或者算法参数。只有选择与问题相匹配的评估方法，我们才能够快速的发现在模型选择和训练过程中可能出现的问题，迭代地对模型进行优化。
目前深度学习算法的理论知识的研究是慢于实验研究的，那么在设计和配置深度学习模型时，面临很多选择(如网络的层数、大小和类型、卷积层激活方式以及损失函数的选择)，必须做出决策来选择合适的设计与配置。因此有效的深度学习模型评估方式和模型对比分析方式就显得尤为重要。
发明内容
本发明针对现有技术中存在的技术问题，提供一种多深度学习模型的最优选取方法及***。
根据本发明的第一方面，提供了一种多深度学习模型的最优选取方法，包括：对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述同一类型的深度学习模型是指训练数据集的处理方式、深度学习模型的网络结构的设置以及深度学习模型的训练方法相同的深度学习模型；所述同一类型的深度学习模型包括与不同的执行任务相对应的多种深度学习模型。
可选的，所述多种深度学习模型包括图像分类识别模型、目标检测模型和语义分割模型。
可选的，所述训练数据集的处理方式包括是否需要对训练数据集中的数据进行增强操作和向深度学习模型中输入图像的分辨率；所述深度学习模型的网络结构的设置包括卷积网络层数的设置、非线性化所使用的激活方式、损失函数的选择、学习率递减的速率、反向传播时优化器的选择和IOU阈值的设置；所述深度学习模型的训练方法包括batchsize的大小、迭代的次数和同一模型分布在不同显卡上面进行分布式训练方式。
可选的，所述深度学习模型的多个评价指标包括深度学习模型的基本信息和深度学习模型的算法评测指标；所述深度学习模型的基本信息是指深度学习模型在硬件上运行时产生的参数，包括深度学习模型输入数据的格式和类型、输出数据的格式和类型、模型参数量、模型运行内存占用量和推理时间(FPS)；对于不同的深度学习模型对应不同的算法评估指标。
可选的，所述对于不同的深度学***均像素精度、交并比和平均交并比。
可选的，所述对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型，包括：对于同一个执行任务的多个版本的深度学习模型，根据执行任务的应用场景，确定模型选择策略；根据模型选择策略和每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
根据本发明的第二方面，提供一种多深度学习模型的最优选取***，包括：训练模块，用于对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；计算模块，用于确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；选取模块，用于对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现多深度学习模型的最优选取方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现多深度学习模型的最优选取方法的步骤。
本发明提供的一种多深度学习模型的最优选取方法及***，通过对多个不同版本的深度学习模型的对比评估，从而选取最优的深度学习模型，提高应用选定的最优深度学习算法模型进行目标预测的适用准确性及有效性。
附图说明
图1为本发明提供的一种多深度学习模型的最优选取方法流程图；
图2为深度学习模型的评估指标示意图；
图3为本发明提供的一种多深度学习模型的最优选取***的结构示意图；
图4为本发明提供的一种可能的电子设备的硬件结构示意图；
图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种多深度学习模型的最优选取方法流程图，如图1所示，方法包括：101、对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；102、确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；103、对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
可以理解的是，基于背景技术中的缺陷，针对同一类型深度学习算法的不同版本模型，本发明提出了一种多个有监督学习模型的对比评估方法，从而选择合适的网络参数配置得到最优的深度学习模型。
具体的，首先根据同一类型深度学习算法训练相同的数据得到的不同版本模型和参数，确定深度学习算法模型评估指标；然后，计算深度学习不同版本算法的各个评估指标值；然后在实际应用过程中根据模型选择策略选取最优的模型；最后根据上述指标和判断得到模型的总结报告并提出技术改进点。
本发明通过对多个不同版本的深度学习模型的对比评估，从而选取最优的深度学习模型，提高应用选定的最优深度学习算法模型进行目标预测的适用准确性及有效性。
在一种可能的实施例方式中，同一类型的深度学习模型是指训练数据集的处理方式、深度学习模型的网络结构的设置以及深度学习模型的训练方法相同的深度学习模型；同一类型的深度学习模型包括与不同的执行任务相对应的多种深度学习模型。
可以理解的是，属于同一类型的深度学习算法是指修改算法影响模型性能的方法，这些方法可以3个方面来总结他们分别是：数据集的处理方式、网络结构的设置和训练的方法。数据集的处理方式包括是否需要对数据进行数据增强操作(数据翻转、数据)，输入图像的分辨率；预训练模块选取在网络结构的设置中起到至关重要的作用，不同预训练模块提取特征的能力和对图像全局与局部的敏感点是不同的，同时在提取特征过程中所需的内存消耗也有很大的区别，网络结构的设置也包含卷积网络层数的设置、非线性化所使用的激活方式、损失函数的选择、学习率递减的速率、反向传播时优化器的选择和IOU阈值的设置等等；深度学习的训练方法主要是batchsize的大小、迭代的次数、同一模型分布在不同显卡上面进行分布式训练等。
其中，同一类型的深度学习模型可以包括多种深度学习模型，比如图像分类识别模型、目标检测模型和语义分割模型。对于图像分类识别模型、目标检测模型和语义分割模型，通过训练数据集进行训练，分别得到多个不同版本的图像分类识别模块、目标检测模型和语义分割模型。
在一种可能的实施例方式中，所述深度学习模型的多个评价指标包括深度学习模型的基本信息和深度学习模型的算法评测指标；深度学习模型的基本信息是指深度学习模型在硬件上运行时产生的参数，包括深度学习模型输入数据的格式和类型、输出数据的格式和类型、模型参数量、模型运行内存占用量和推理时间(FPS)；对于不同的深度学习模型对应不同的算法评估指标。
可以理解的是，上述步骤通过训练得到每一种深度学习模型的多个不同版本的深度学习模型，本步骤确定深度学习模型的主要的评估指标。其中，深度学习模型的评估指标主要体现在模型推理的基本信息和算法评测指标两个方面。
其中，模型推理的基本信息主要是模型在硬件上面运行时产生的参数，主要包含模型输入数据和输出数据的格式和类型、模型参数量、模型运行内存占用量和推理时间(FPS)，这些参数指标虽然不能直接体现模型预测指标的好坏，但是它们能间接在反映在硬件上面或者实际应用的效率和速度，当这些模型被用到在线实时的目标检测和语义分割过程中，这些指标具备很高的参考价值。
本发明实施例中的有监督的深度学习算法应用领域主要是在图像识别分类、目标检测和语义分割上面，每个应用领域都有不同的指标评估方式来判断模型的好坏，图2显示了各个领域的评估指标，表1为深度学习模型的评价指标评估表格样例图。
表1
对于不同的深度学***均精度(Average-Precision，AP)是P-R曲线围起来的面积，通常来说一个越好的分类器，AP值越高；平均精度均值(Mean Average Precision，mAP)：mAP即是把每个类别的AP都单独拿出来，然后计算所有类别AP的平均值，mAP的大小在[0,1]区间，越大越好；F指标(F-Measure)实际应用到分类时，需要综合考虑精度和召回，选取一个阈值，F-Measure是选取这个阈值的常用手段。
语义分割模型的主要评估指标评价指标主要有像素精度(Pixel Accuracy，PA)、平均像素精度(Mean Pixel Accuracy，MPA)、交并比(Intersection over Union，IoU)和均交并比(Mean Intersection over Union，MIoU)。像素精度是最简单的度量，为标记正确的像素占总像素的比例；平均像素精度是PA的一种简单提升，计算每一类分类正确的像素点数和该类的所有像素点数的比例,然后求平均；交并比计算的是“预测的边框”和“真实的边框”的交集和并集的比值。均交并比)语义分割的标准度量。其计算每一类的IoU然后求平均。
可以理解的是，如果是图像分类识别模型的多个版本，对于每一个版本的图像分类识别模型，均计算其准确率。对于不同版本的目标检测模型，均计算其召回率和精确率。同样的，对于不同版本的语义分割敏效果，均计算其像素精度(Pixel Accuracy，PA)、平均像素精度(Mean Pixel Accuracy，MPA)、交并比(Intersection over Union，IoU)和平均交并比(Mean Intersection over Union，MIoU)。
在计算不同版本的深度学习模型的评价指标时，将测试样本按照固定的格式送入不同的深度学习模型当中，预测的结果也按照相同的格式输出，然后再将这些模型预测输出结果与测试数据标注的groundtruth一起计算得到对应不同版本的深度学习算法指标，表1显示的就是将这些指标统计到表格当中，然后再将这些指标以图像的形式(柱状图、折线图)可视化出来便于观察和判断分析。
在一种可能的实施例方式中，对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型，包括：对于同一个执行任务的多个版本的深度学习模型，根据执行任务的应用场景，确定模型选择策略；根据模型选择策略和每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
可以理解的是，上述步骤对于不同深度学习模型的不同版本，均计算了其对应的评价指标，本步骤从多个不同版本的深度学习模型中选取最优的深度学习模型。
具体的，对于同一个执行任务，比如，对图像进行分类识别，那么要执行这个任务，需要用到图像分类识别模型，对于多个版本的图像分类识别模型，选取最优的深度学习模型。对于其它不同的执行任务，同样的，也是从多个不同版本的深度学习模型中选取最优的深度学习模型来执行相应的任务。
在实际应用中根据模型选择策略选取最优的深度学习模型，训练好的模型的应用场景不同，因此选择模型的侧重点也会有很大的区别。当把模型使用在离线的目标推理场景中，就需要保证目标的查全率和查准率，因此不需要考虑模型的速度，所以就需要选择出算法评估指标最高的模型；当把模型使用在在线实时的目标推理场景中，就需要考虑模型推理的速度和占用的显卡内存，因此就需要在速度与准确率之间均衡，在保证模型的准确度变化不大的情况下选择运行时间最快的模型。
需要说明的是，本发明实施例所使用的硬件环境为ubuntu16.04，显卡为GTX1080Ti，软件开发环境为pycharm和adaconda，深度学习开发环境为pytorch或者tensorflow。
经过上述的测试、指标计算和模型选取策略，了解每个模型对不同目标提取能力，因此可以将所有模型的侧重点、优点和缺点记录在总结报告中，同时也可以根据缺点的特性来引导模型改进的方向和策略。
本发明通过对同一类型深度学习算法的多个不同模型在硬件上面运行指标与算法评估指标进行对比分析和判断，综合选取在运行速度或者精度之间权衡得到最优的模型，这样大大加快模型迭代和优化的方向，从而也能够进一步提高应用选定的深度学习算法模型进行目标预测的适用准确性及有效性。
图3为本发明实施例提供的一种多深度学习模型的最优选取***结构图，如图3所示，一种多深度学习模型的最优选取***，包括训练模块301、计算模块302和选取模块303，其中：
训练模块301，用于对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；
计算模块302，用于确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；
选取模块303，用于对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
可以理解的是，本发明提供的一种多深度学习模型的最优选取***与前述各实施例提供的多深度学习模型的最优选取方法相对应，多深度学习模型的最优选取***的相关技术特征可参考多深度学习模型的最优选取方法的相关技术特征，在此不再赘述。
请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备400，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序1311时实现以下步骤：对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
本发明实施例提供的一种多深度学习模型的最优选取方法及***，首先根据同一类型深度学习算法训练相同的数据得到的不同版本模型和参数，确定目标的深度学习算法模型评估指标，这些算法评估指标主要应用在图像分类识别、目标检测和语义分割上面；其次获取每个评估指标对应的深度学习不同版本算法，再将这这些指标可视化便于分析；然后在实际应用过程中根据模型选择策略选取最优的模型；最后根据上述指标和判断得到模型的总结报告并提出技术改进点。
通过对同一类型深度学习算法的多个不同模型在硬件上面运行指标与算法评估指标进行对比分析和判断，综合选取在运行速度或者精度之间权衡得到最优的模型，这样大大加快模型迭代和优化的方向，从而也能够进一步提高应用选定的深度学习算法模型进行目标预测的适用准确性及有效性。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种多深度学习模型的最优选取方法，其特征在于，包括：
对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；
确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；
对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
2.根据权利要求1所述的多深度学习模型的最优选取方法，其特征在于，所述同一类型的深度学习模型是指训练数据集的处理方式、深度学习模型的网络结构的设置以及深度学习模型的训练方法相同的深度学习模型；
所述同一类型的深度学习模型包括与不同的执行任务相对应的多种深度学习模型。
3.根据权利要求2所述的多深度学习模型的最优选取方法，其特征在于，所述多种深度学习模型包括图像分类识别模型、目标检测模型和语义分割模型。
4.根据权利要求2所述的多深度学习模型的最优选取方法，其特征在于，所述训练数据集的处理方式包括是否需要对训练数据集中的数据进行增强操作和向深度学习模型中输入图像的分辨率；
所述深度学习模型的网络结构的设置包括卷积网络层数的设置、非线性化所使用的激活方式、损失函数的选择、学习率递减的速率、反向传播时优化器的选择和IOU阈值的设置；
所述深度学习模型的训练方法包括batchsize的大小、迭代的次数和同一模型分布在不同显卡上面进行分布式训练方式。
5.根据权利要求3所述的多深度学习模型的最优选取方法，其特征在于，所述深度学习模型的多个评价指标包括深度学习模型的基本信息和深度学习模型的算法评测指标；
所述深度学习模型的基本信息是指深度学习模型在硬件上运行时产生的参数，包括深度学习模型输入数据的格式和类型、输出数据的格式和类型、模型参数量、模型运行内存占用量和推理时间(FPS)；
对于不同的深度学习模型对应不同的算法评估指标。
6.根据权利要求5所述的多深度学习模型的最优选取方法，其特征在于，所述对于不同的深度学习模型对应不同的算法评估指标，包括：
对于图像分类识别模型，所述算法评测指标包括准确率；
对于目标检测模型，所述算法评测指标包括召回率和精确率；
对于语义分割模型，所述算法评测指标包括像素精度、平均像素精度、交并比和平均交并比。
7.根据权利要求6所述的多深度学习模型的最优选取方法，其特征在于，所述对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型，包括：
对于同一个执行任务的多个版本的深度学习模型，根据执行任务的应用场景，确定模型选择策略；
根据模型选择策略和每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
8.一种多深度学习模型的最优选取***，其特征在于，包括：
训练模块，用于对于同一类型的深度学习模型，基于相同的训练数据集进行训练，得到多个不同版本的深度学习模型；
计算模块，用于确定深度学习模型的多个评价指标，计算每一个版本的深度学习模型的每一个评价指标值；
选取模块，用于对于同一个执行任务的多个版本的深度学习模型，基于每一个版本的深度学习模型的多个评价指标值，选取最优版本的深度学习模型。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的多深度学习模型的最优选取方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的多深度学习模型的最优选取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110868104.4A CN113780287A (zh) | 2021-07-30 | 2021-07-30 | 一种多深度学习模型的最优选取方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110868104.4A CN113780287A (zh) | 2021-07-30 | 2021-07-30 | 一种多深度学习模型的最优选取方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113780287A true CN113780287A (zh) | 2021-12-10 |
Family
ID=78836516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110868104.4A Pending CN113780287A (zh) | 2021-07-30 | 2021-07-30 | 一种多深度学习模型的最优选取方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780287A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114219461A (zh) * | 2022-02-22 | 2022-03-22 | 希望知舟技术(深圳)有限公司 | 基于多生产工况的生产控制方法和装置 |
| CN114331238A (zh) * | 2022-03-17 | 2022-04-12 | 北京航天晨信科技有限责任公司 | 智能模型算法优选方法、***、存储介质及计算机设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062587A (zh) * | 2017-12-15 | 2018-05-22 | 清华大学 | 一种无监督机器学习的超参数自动优化方法及*** |
| CN109800048A (zh) * | 2019-01-22 | 2019-05-24 | 深圳魔数智擎科技有限公司 | 模型的结果展示方法、计算机可读存储介质及计算机设备 |
| CN110379463A (zh) * | 2019-06-05 | 2019-10-25 | 山东大学 | 基于机器学习的海洋藻类成因分析及浓度预测方法和*** |
| CN110503208A (zh) * | 2019-08-26 | 2019-11-26 | 第四范式（北京）技术有限公司 | 多模型探索中的资源调度方法和资源调度装置 |
| CN110554995A (zh) * | 2019-08-13 | 2019-12-10 | 武汉中海庭数据技术有限公司 | 一种深度学习模型的管理方法及*** |
| CN111126616A (zh) * | 2019-11-21 | 2020-05-08 | 东软集团股份有限公司 | 一种实现超参数选择的方法、装置及设备 |
| US20200184494A1 (en) * | 2018-12-05 | 2020-06-11 | Legion Technologies, Inc. | Demand Forecasting Using Automatic Machine-Learning Model Selection |
| CN111861488A (zh) * | 2020-07-15 | 2020-10-30 | 中国工商银行股份有限公司 | 机器学习模型对比方法及装置 |
-
2021
- 2021-07-30 CN CN202110868104.4A patent/CN113780287A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062587A (zh) * | 2017-12-15 | 2018-05-22 | 清华大学 | 一种无监督机器学习的超参数自动优化方法及*** |
| US20200184494A1 (en) * | 2018-12-05 | 2020-06-11 | Legion Technologies, Inc. | Demand Forecasting Using Automatic Machine-Learning Model Selection |
| CN109800048A (zh) * | 2019-01-22 | 2019-05-24 | 深圳魔数智擎科技有限公司 | 模型的结果展示方法、计算机可读存储介质及计算机设备 |
| CN110379463A (zh) * | 2019-06-05 | 2019-10-25 | 山东大学 | 基于机器学习的海洋藻类成因分析及浓度预测方法和*** |
| CN110554995A (zh) * | 2019-08-13 | 2019-12-10 | 武汉中海庭数据技术有限公司 | 一种深度学习模型的管理方法及*** |
| CN110503208A (zh) * | 2019-08-26 | 2019-11-26 | 第四范式（北京）技术有限公司 | 多模型探索中的资源调度方法和资源调度装置 |
| CN111126616A (zh) * | 2019-11-21 | 2020-05-08 | 东软集团股份有限公司 | 一种实现超参数选择的方法、装置及设备 |
| CN111861488A (zh) * | 2020-07-15 | 2020-10-30 | 中国工商银行股份有限公司 | 机器学习模型对比方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 邢瑾;: "机器学习算法在高分辨率遥感影像土地覆被分类中的对比分析", 甘肃科技, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114219461A (zh) * | 2022-02-22 | 2022-03-22 | 希望知舟技术(深圳)有限公司 | 基于多生产工况的生产控制方法和装置 |
| CN114331238A (zh) * | 2022-03-17 | 2022-04-12 | 北京航天晨信科技有限责任公司 | 智能模型算法优选方法、***、存储介质及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN111640089B (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
| CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
| CN115457395A (zh) | 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法 | |
| KR102140805B1 (ko) | 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치 | |
| CN112669275A (zh) | 基于YOLOv3算法的PCB表面缺陷检测方法及装置 | |
| CN112446870B (zh) | 管道损伤检测方法、装置、设备及存储介质 | |
| CN113780287A (zh) | 一种多深度学习模型的最优选取方法及*** | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN110969200A (zh) | 基于一致性负样本的图像目标检测模型训练方法及装置 | |
| US20220092359A1 (en) | Image data classification method, device and system | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN110689134A (zh) | 执行机器学习过程的方法、装置、设备以及存储介质 | |
| CN111950544A (zh) | 一种确定病理图像中感兴趣区域的方法及装置 | |
| CN110472638A (zh) | 一种目标检测方法、装置及设备、存储介质 | |
| CN112434585A (zh) | 一种车道线的虚实识别方法、***、电子设备及存储介质 | |
| CN112434582A (zh) | 一种车道线颜色识别方法、***、电子设备及存储介质 | |
| CN114419078B (zh) | 基于卷积神经网络的表面缺陷区域分割方法及装置 | |
| CN116189130A (zh) | 基于图像标注模型的车道线分割方法及装置 | |
| CN115512428A (zh) | 一种人脸活体判别方法、***、装置和存储介质 | |
| CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 | |
| CN113139932A (zh) | 一种基于集成学习的深度学习缺陷图像识别方法及*** | |
| WO2022030034A1 (ja) | 画像から関心オブジェクトを同定するためのモデルを生成する装置、方法及びシステム | |
| CN117218092A (zh) | 金属碳化物检测分级方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |