CN110866440A - 一种指针仪表深度学习网络搭建方法、检测方法及其*** - Google Patents

Abstract

本发明涉及指针仪表检测的技术领域，尤其涉及一种指针仪表深度学习网络搭建方法、检测方法及其***。所述深度学习网络用于识别指针仪表的检测视频，并转换输出指针仪表的坐标像素信息，该搭建方法包括，获取样本视频信息，所述样本视频信息为包括指针仪表多个运动周期的连续视频，根据样本视频信息得到训练视频片段；根据训练视频片段得到图像帧；对图像帧进行预处理，得到指针数据集；根据指针数据集进行深度学习训练，得到指针检测网络模型。本发明的搭建方法简单方便，采集准确，降低了深度学习网络搭建的局限性，保证了深度学习网络模型的性能，保证深度学习网络的测试效果，大大提高了网络模型性能，提高了指针坐标像素信息转换的准确性。

Description

一种指针仪表深度学习网络搭建方法、检测方法及其***

技术领域

本发明涉及指针仪表检测技术领域，尤其涉及一种指针仪表深度学习网络搭建方法、检测方法及其***。

背景技术

指针仪表在十分广泛的应用在各个领域，特别是应用于汽车车载仪表中，其简单直观，深受用户的喜爱。随着时代的发展，用户对于指针仪表特别是汽车车载仪表的性能要求以及使用体验要求日益提高。而指针仪表容易出现指针卡滞的情况，使用时指针会出现跳动，大大降低了用户的使用体验，因此在指针仪表出厂时，需要对其进行性能检测操作。

目前指针仪表的检测通常采用人工检测、特征模块匹配和减影法进行检测。而在这三种检测方法中，大多工厂采用人工检测的方式，一般是通过检测设备让汽车指针按照固定的角速度旋转，通过人眼观察指针仪表是否有卡滞，该方法效率低下，检测人工成本高，且容易受到人的主观因素的影响，出现错检、漏检的问题。而特征模板匹配在检测过程中，存在极大的时间及空间复杂度，且匹配阈值难以界定，实施起来存在一定的复杂度；减影法在检测过程中则需要采集大量的图像，同时也需要对图像进行预处理及加工，对工控机要求高，且检测速度慢。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷（不足），提供一种指针仪表深度学习网络搭建方法、检测方法及其***。

为解决上述技术问题，本发明的技术方案如下：

一种指针仪表深度学习网络搭建方法，所述深度学习网络用于识别指针仪表的检测视频，并转换输出指针仪表的坐标像素信息，该搭建方法包括，

获取样本视频信息，所述样本视频信息为包括指针仪表多个运动周期的连续视频，根据样本视频信息得到训练视频片段；

根据训练视频片段得到图像帧；

对图像帧进行预处理，得到指针数据集；

根据指针数据集进行深度学习训练，得到指针检测网络模型。

进一步的，所述获取样本视频信息，所述样本视频信息为包括多个指针仪表运动周期的连续视频，根据样本视频信息得到训练视频片段包括，

对样本视频信息进行特征起点的分析提取；

根据样本视频信息中相邻的特征起点进行视频截取，得到训练视频片段。

进一步的，所述对图像帧进行预处理，得到指针数据集包括，

对图像帧按照预定规则进行命名和格式处理，得到统一规格的预处理图像；

对预处理图像进行指针标注，得到指针数据集。

进一步的，所述指针数据集包括像素数据集、索引数据集和原始图片数据集。

进一步的，所述对指针数据集进行深度学习训练，得到指针模型，完成深度学习指针检测网络搭建包括，

获取指针检测的初始网络模型；

根据指针数据集对初始网络模型进行迭代训练，得到指针检测网络模型。

本发明还提供一种指针仪表检测方法，包括，

获取包括待测仪表至少一个连续运动周期的指针视频信息；

通过上述的深度学习网络对指针视频信息进行处理，得到待测仪表的坐标像素信息；

根据坐标像素信息，得到待测仪表的运动状态信息；

将运动状态信息与预设运动信息进行比对，得到检测结果。

进一步的，所述获取包括待测仪表至少一个连续运动周期的指针视频信息包括，

将待测仪表放入固定夹具中，光学检测模块控制工业相机移动至指定位置；

光学检测模块发送指令控制待测仪表按照指定动作进行运作，工业相机获取待测仪表至少一个连续运动周期的指针视频信息。

进一步的，所述运动状态信息包括角速度曲线信息和/或轨迹曲线信息。

进一步的，所述将运动状态信息与预设运动信息进行比对，得到指针检测信息包括

通过神经网络对角速度曲线信息与预设角速度曲线进行比对，得到第一比对信息；

通过神经网络对轨迹曲线信息与预设轨迹曲线进行比对，得到第二比对信息；

根据第一比对信息和第二比对信息，得到检测结果。

本发明还提供一种指针仪表检测***，包括：

光学检测模块，用于对待测仪表进行指针视频信息采集；

深度学习模块，装载有上述的深度学习网络，用于对指针视频信息进行计算处理，得到坐标像素信息；

处理模块，用于对坐标像素信息和运动状态信息进行计算处理或比对，得到检测结果。

本发明的有益效果包括：

（1）本发明的搭建方法中指针数据集的得到只需通过工业相机对仪表进行视频拍摄，获取简单方便，采集准确，降低了深度学习网络搭建的局限性，保证了深度学习网络模型的性能，同时通过对训练参数的精确配置，控制深度学习网络的网络模型学习准确度和泛化性搭配合适，保证深度学习网络的测试效果，大大提高了网络模型性能，提高了指针坐标像素信息转换的准确性。

（2）本发明的检测方法操作简单方便，且可实现指针仪表的全自动化检测，检测过程不会受到人的主观因素影响，节约了人工成本的同时提高了检测的精度。另外，本方法采用深度学习网络对指针图像进行转换，大大提高了检测的精度，且检测过程不需要大量图像或视频数据，图像的处理时间短，有效提高了检测效率，降低了检测成本，增加了指针仪表检测的可靠性。

（3）本发明的检测***检测过程可实现全自动化，且采用深度学习模块进行精确信息转化，提高检测效率的同时节约了检测成本，并大大加强了检测的精度，提高了检测***的可靠性。

附图说明

图1为本发明实施例指针仪表深度学习网络搭建方法的结构流程图。

图2为本发明实施例步骤S110的具体步骤流程图。

图3为本发明实施例步骤S130的具体步骤流程图。

图4为本发明实施例步骤S140的具体步骤流程图。

图5为本发明实施例指针仪表检测方法的结构流程。

图6为本发明实施例步骤S210的具体步骤流程图。

图7为本发明实施例步骤S240的具体步骤流程图。

图8为本发明实施例指针仪表检测***的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

图1示出了本实施例指针仪表深度学习网络搭建方法的结构流程图。

参阅图1，本实施例提供一种指针仪表深度学***台进行搭建，该搭建方法包括：

步骤S110，获取样本视频信息，所述样本视频信息为包括多个指针仪表运动周期的连续视频，根据样本视频信息得到训练视频片段。

深度学习网络通过深度学习模块进行训练学习，深度学习模块先通过光学检测设备对样本指针仪表进行样本视频采集，其中，具体的，光学检测设备通过控制仪表安装预定规律进行转动，并使用工业相机拍摄获取指针仪表运动的样本视频。更为具体的，工业相机以25帧/秒进行样本视频的连续采集，仪表的预定规律为指针仪表通过指定的角速度从最低刻度运动到满刻度，再从满刻度逆时针运动到最低刻度，值得说明的是，指针仪表的最低刻度即为指针仪表的0刻度，当然，如果仪表上设置有负刻度，最低刻度为指针仪表的数值最低处的刻度，仪表完成一次预定规律的运动，视为仪表的一个运动周期。样本视频为包括有仪表多个运动周期的连续视频，深度学习模块通过光学检测设备采集获取到仪表的样品视频信息，其中，样品视频信息为样本视频，当然，也可以是样本视频转换的其他可以逆转换得到样本视频的格式信息。为了更好的操作体验，提供一种具体的获取方式，工业相机将获取的样本视频保存在本地磁盘，深度学习模块通过局域网访问并拷贝视频数据到深度学习模块的本地磁盘。另外，深度学习模块获取到样本视频信息后，对样本视频信息进行特征分析并进行视频截取，得到训练视频片段，具体的，一个训练视频片段包括仪表一个运动周期的视频片段。

步骤S120，根据训练视频片段得到图像帧。

深度学习模块对训练视频片段进行视频处理，提取训练视频片段中的多个图像帧，具体的，图像帧的图像要求为JPG格式。

步骤S130，对图像帧进行预处理，得到指针数据集。

得到的图像帧凑成图片数据集，对图片数据集进行重命名以及标注操作，使图片数据集的格式统一，符合深度学习网络训练的数据集格式。具体的，通过对图像帧进行逐个标注，得到指针数据集。更为具体的，指针数据集包括像素数据集、索引数据集和原始图片数据集。像素数据集用以存放像素框的坐标信息，索引数据集用以存放数据集中训练集、验证集和测试集的索引，原始图片数据集用以存放指针数据集的经过重新命名后的原始图片。

步骤S140，根据指针数据集进行深度学习训练，得到指针检测网络模型。

深度学***台的训练参数进行配置，具体的，对训练迭代参数进行设置，并对类别参数、模型读取参数和检测参数进行配置，通过参数的配置，使深度学习网络能对指针仪表的检测视频进行识别，并能够输出坐标像素信息。更为具体的，训练迭代次数中的测试网络能否训练一般设置为100次，正常训练为10000次，可以保证指针检测的深度学习网络达到良好的检测准确性。通过对初始网络模型进行深度学习训练，对初始网络模型进行学习优化，得到指针检测网络模型，完成深度学习网络的搭建。

本实施例的深度学习网络搭建方法的好处在于，本方法通过对样本视频信息处理直接得到多组训练视频片段，并通过训练视频片段进行处理得到图像帧，同时通过对图像帧进行批量重命名和标注的预处理，直接得到用于训练的指针数据集，指针数据集的得到只需通过工业相机对仪表进行视频拍摄，获取简单方便，采集准确，降低了深度学习网络搭建的局限性，保证了深度学习网络模型的性能。另外，通过对训练参数的精确配置，控制深度学习网络的网络模型学习准确度和泛化性搭配合适，保证深度学习网络的测试效果，大大提高了网络模型性能，提高了指针坐标像素信息的准确性，有效增加了指针仪表检测的可靠性。

图2示出了步骤S110的具体步骤流程图。

在一些实施例中，如图2所示，步骤S110具体包括：

步骤S111，对样本视频信息进行特征起点的分析提取。

对样本视频信息中的样本视频进行特征提取，提取样本视频中的特征起点，具体的，特征起点为样本视频中指针仪表处于最低刻度时的图像帧。

步骤S112，根据样本视频信息中相邻的特征起点进行视频截取，得到训练视频片段。

通过对样本视频中的特征起点和特征终点进行分析，对相邻的特征起点和之间的视频进行截取，从而得到训练视频片段，即得到的训练视频片段为仪表一个运动周期的连续视频。当然，视频截取后需要先进行视频过滤，筛去时间短的误截取的视频。

图3示出了步骤S130的具体步骤流程图。

在一些实施例中，如图3所示，步骤S130具体包括：

步骤S131，对图像帧按照预定规则进行命名和格式处理，得到统一规格的预处理图像。

通过训练视频片段得到的图像帧整合在一起，形成图片数据集，对图片数据集通过批量修改程序进行批量操作，具体的，在本实施例中，批量修改程序采用Rename Pro软件。通过批量修改程序对图片数据集按照预定规则进行命名和格式处理，保证图片数据集中的图像帧格式一致。值得说明的是，在本实施例中，预定规则为将图片进行有序的数字命名，且图片格式为JPEG格式。

步骤S132，对预处理图像进行指针标注，得到指针数据集。

对经过命名和格式处理的预处理图像通过标注程序进行逐个标记，得到指针数据集。具体的，在本实施例中，标注程序采用LabelImg标注软件。

图4示出了步骤S140的具体步骤流程图。

在一些实施例中，如图4所示，步骤S140具体包括：

步骤S141，获取指针检测的初始网络模型。

通过网络直接获取用于指针检测的预训练的初始网络模型，并将初始网络模型放入深度学习模块中的模型位置中，完成初始网络模型的配置。

步骤S142，根据指针数据集对初始网络模型进行迭代训练，得到指针检测网络模型。

对深度学习模块进行参数配置，配置完成后，通过指针数据集对初始网络模型进行网络训练，在训练过程中，根据预设迭代次数保存参数，在一定迭代次数后进行网络模型保存，并同时清除残余文件，进行新一轮训练，并读取保存后的网络模型，通过预设迭代训练后，得到指针检测网络模型。

图5示出了本实施例指针仪表检测方法的结构流程。

参阅图5，为了更好的进行指针仪表检测，本实施例还提供一种指针仪表检测方法，包括：

步骤S210，获取包括待测仪表至少一个连续运动周期的指针视频信息。

通过光学检测设备控制和点亮待测仪表，并控制待测仪表通过预设运动轨迹进行旋转，指针转动过程中，通过工业相机进行视频拍摄，获取包括待测仪表至少一个连续运动周期的指针视频信息，并将指针视频信息通过局域网输出到深度学习模块中。

步骤S220，通过上述的深度学习网络对指针视频信息进行处理，得到待测仪表的坐标像素信息。

深度学习模块通过深度学习网络对指针视频信息进行处理，具体的安装上述的指针检测网络模型，对指针视频信息进行分析处理，得到待测仪表运动过程中每一图像帧的对应坐标像素信息。具体的，坐标像素信息为待测仪表对应图像帧的像素坐标的数字表达，即坐标像素信息反映了对应图像帧的像素坐标。

步骤S230，根据坐标像素信息，得到待测仪表的运动状态信息。

处理模块通过绘图程序对多个连续图像帧的坐标像素信息进行处理，得到指待测仪表的角速度曲线和轨迹曲线，整合得到待测仪表的运动状态信息。

步骤S240，将运动状态信息与预设运动信息进行比对，得到检测结果。

处理模块通过神经网络对待测仪表的运动状态信息与预设运动信息进行比对，确定待测仪表的运动状态信息与预设运动信息的偏差值是否在预设范围内，从而得到待测仪表的检测结果。具体的，运动状态信息包括角速度曲线信息和/或轨迹曲线信息，更为具体的，运动状态信息包括角速度曲线信息和轨迹曲线信息，其中，角速度曲线信息反映了待测仪表一个周期运动过程中的角速度变化曲线，轨迹曲线信息反映了待测仪表在一个周期运动过程中的运动轨迹曲线。在本实施例中，待测仪表的检测结果为“合格”或“不合格”。当然，在一些实施例中，待测仪表的检测结果可以是其他合适的代表“合格”与“不合格”的文字信息或数字信息。

本实施例的指针仪表检测方法在好处在于，本方法通过光学检测模块获取待测仪表运动过程中的指针视频信息，并通过深度学习网络将指针视频信息精确转化成坐标像素信息，在通过对坐标像素信息的计算处理，得到待测仪表的运动状态信息，经过计算比对，得到待测仪器的指针性能检测结果。本方法操作简单方便，只需人工或通过机械手将待测仪表放置在夹具上，后续即可完成待测仪表的自动检测，可实现待测仪表的全自动化检测，相比人工检测，本方法的检测过程不会受到人的主观因素影响，解决了仪表检测容易出现错检、漏检的问题，节约了人工成本的同时提高了检测的精度。另外，本方法采用深度学习网络对指针图像进行转换，深度学习网络还可以通过后期训练持续优化，大大提高了检测的精度，且检测过程不需要大量图像或视频数据，图像处理时间短，有效提高了检测效率，降低了检测成本，增加了待测仪表检测的可靠性。

图6示出了步骤S210的具体步骤流程图。

在一些实施例中，如图6所示，步骤S210的具体步骤包括：

步骤S211，将待测仪表放入固定夹具中，光学检测模块控制工业相机移动至指定位置。

将待测仪表放入固定夹具中，具体的，待测仪表可以为汽车仪表，当然，也可以是其他内部设置有实体指针的仪表，在本实施例中，待测仪表为汽车仪表。光学检测模块通过运动控制卡板控制工业相机移动至指定位置，更为具体的，指定位置具体为工业相机可以清晰拍摄到待测仪表运动过程的位置。

步骤S212，光学检测模块发送指令控制待测仪表按照指定动作进行运作，工业相机获取待测仪表至少一个连续运动周期的指针视频信息。

光学检测模块通过通信控制板卡控制待测待测仪表安装指定的角速度从最低刻度运动至满刻度，在从满刻度逆时针运动到最低刻度，工业相机获取待测仪表运动过程中连续运动周期的指针视频信息。光学检测模块通过局域网将指针视频信息输出到深度学习模块中进行下一步操作。

图7示出了步骤S240的具体步骤流程图。

在一些实施例中，如图7所示，步骤S240具体包括：

步骤S241，通过神经网络对角速度曲线信息与预设角速度曲线进行比对，得到第一比对信息。

通过神经网络将角速度曲线信息与预设角速度曲线进行比对，根据两者偏差与预设偏差值比较，判断待测仪表的角速度是否符合标准，并得出第一比对信息。

步骤S242，通过神经网络对轨迹曲线信息与预设轨迹曲线进行比对，得到第二比对信息。

通过神经网络将轨迹曲线信息与预设轨迹曲线进行比对，根据两者偏差与预设偏差值比较，判断待测仪表的运动轨迹是否符合标准，并得出第二比对信息。

步骤S243，根据第一比对信息和第二比对信息，得到检测结果。

根据待测仪表的角速度和运动轨迹情况，综合得到检测结果，检测结果可以为合格与不合格，当然，检测后保留检测第一比对信息和第二比对信息等检测数据以便后期监控。

图8示出了本实施例指针仪表检测***的结构图。

为了更好的操作体验，本实施例还提供一种指针仪表检测***，参阅图8，该***包括光学检测模块310、深度学习模块320和处理模块330；光学检测模块310用于对待测仪表的指针视频信息进行采集，具体的，光学检测模块310包括有用以对待测仪表进行固定的固定夹具、用以拍摄检测视频的工业相机、用以点亮待测仪表的LED光源、用以对调整待测仪表和工业相机位置的运动控制板块和用以进行待测仪表控制及外部通讯的通讯控制板卡。

另外，深度学习模块320装配有上述的深度学习网络，可以用于指针视频信息进行处理，得到指针仪表的坐标像素信息。处理模块330用于完成指针仪表运动角速度和运动轨迹的曲线绘制，并与正确曲线进行对比检测，得出检测结果，更为具体的，深度学习模块320和处理模块330可以集成在一个上位机上，完成***的简化。

具体的，本***的好处在于，本***可以通过光学检测模块310完成待测仪表的自动化视频拍摄，并通过深度学习模块320对指针视频进行转化，最终由处理模块330进行计算比对，得出检测结果。本***检测过程可实现全自动化，且采用深度学习模块320进行精确信息转化，提高检测效率的同时节约了检测成本，并大大加强了检测的精度，提高了检测***的可靠性。

显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种指针仪表深度学习网络搭建方法，其特征在于，所述深度学习网络用于识别指针仪表的检测视频，并转换输出指针仪表的坐标像素信息，该搭建方法包括，

获取样本视频信息，所述样本视频信息为包括指针仪表多个运动周期的连续视频，根据样本视频信息得到训练视频片段；

根据训练视频片段得到图像帧；

对图像帧进行预处理，得到指针数据集；

根据指针数据集进行深度学习训练，得到指针检测网络模型。

2.根据权利要求1所述的指针仪表深度学习网络搭建方法，其特征在于，所述获取样本视频信息，所述样本视频信息为包括多个指针仪表运动周期的连续视频，根据样本视频信息得到训练视频片段包括，

对样本视频信息进行特征起点的分析提取；

根据样本视频信息中相邻的特征起点进行视频截取，得到训练视频片段。

3.根据权利要求1所述的指针仪表深度学习网络搭建方法，其特征在于，所述对图像帧进行预处理，得到指针数据集包括，

对图像帧按照预定规则进行命名和格式处理，得到统一规格的预处理图像；

对预处理图像进行指针标注，得到指针数据集。

4.根据权利要求3所述的指针仪表深度学习网络搭建方法，其特征在于，所述指针数据集包括像素数据集、索引数据集和原始图片数据集。

5.根据权利要求1所述的指针仪表深度学习网络搭建方法，其特征在于，所述对指针数据集进行深度学习训练，得到指针模型，完成深度学习指针检测网络搭建包括，

获取指针检测的初始网络模型；

根据指针数据集对初始网络模型进行迭代训练，得到指针检测网络模型。

6.一种指针仪表检测方法，其特征在于，包括，

获取包括待测仪表至少一个连续运动周期的指针视频信息；

通过权利要求1-5任一项所述的深度学习网络对指针视频信息进行处理，得到待测仪表的坐标像素信息；

根据坐标像素信息，得到待测仪表的运动状态信息；

将运动状态信息与预设运动信息进行比对，得到检测结果。

7.根据权利要求6所述的指针仪表检测方法，其特征在于，所述获取包括待测仪表至少一个连续运动周期的指针视频信息包括，

将待测仪表放入固定夹具中，光学检测模块控制工业相机移动至指定位置；

光学检测模块发送指令控制待测仪表按照指定动作进行运作，工业相机获取待测仪表至少一个连续运动周期的指针视频信息。

8.根据权利要求6所述的指针仪表检测方法，其特征在于，所述运动状态信息包括角速度曲线信息和/或轨迹曲线信息。

9.所述权利要求8所述的指针仪表检测方法，其特征在于，所述将运动状态信息与预设运动信息进行比对，得到指针检测信息包括

通过神经网络对角速度曲线信息与预设角速度曲线进行比对，得到第一比对信息；

通过神经网络对轨迹曲线信息与预设轨迹曲线进行比对，得到第二比对信息；

根据第一比对信息和第二比对信息，得到检测结果。

10.一种指针仪表检测***，其特征在于，包括：

光学检测模块，用于对待测仪表进行指针视频信息采集；

深度学习模块，装载有权利要求1-5任一项所述的深度学习网络，用于对指针视频信息进行计算处理，得到坐标像素信息；

处理模块，用于对坐标像素信息和运动状态信息进行计算处理或比对，得到检测结果。

Images