CN111062364B - 一种基于深度学习的监测装配操作的方法和装置 - Google Patents

一种基于深度学习的监测装配操作的方法和装置 Download PDF

Info

Publication number
CN111062364B
CN111062364B CN201911383314.3A CN201911383314A CN111062364B CN 111062364 B CN111062364 B CN 111062364B CN 201911383314 A CN201911383314 A CN 201911383314A CN 111062364 B CN111062364 B CN 111062364B
Authority
CN
China
Prior art keywords
assembly
image
tool
training
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911383314.3A
Other languages
English (en)
Other versions
CN111062364A (zh
Inventor
陈成军
宋怡仁
王天诺
洪军
李正浩
郑帅
李东年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Qingdao University of Technology
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Xian Jiaotong University
Qingdao University of Technology
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University, Qingdao University of Technology, Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Xian Jiaotong University
Priority to CN201911383314.3A priority Critical patent/CN111062364B/zh
Publication of CN111062364A publication Critical patent/CN111062364A/zh
Application granted granted Critical
Publication of CN111062364B publication Critical patent/CN111062364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的监测装配操作的方法和装置，所述监测装配动作的方法包括以下步骤步骤：建立装配工具样本集：拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成图像标签，收集所有图像标签作为样本集；训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；实时监测：识别装配现场装配工人进行装配的影像，识别影像中装配工人使用的装配工具；装配动作次数监测：识别到影像中的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别人体关节运动信息，使用人体关节运动信息判断装配工人进行装配动作的次数。

Description

一种基于深度学习的监测装配操作的方法和装置
技术领域
本发明涉及一种基于深度学习的监测装配操作的方法和装置，属于智能制造、装配监测技术领域。
背景技术
在大规模定制生产模式中，工厂常常需要充分利用现有资源重组装配生产线以生产不同产品，从而满足用户的个性化需求。而装配工人常常会难以适应这种多变的生产模式，从而导致遗忘关键操作步骤或操作程度不达标等现象，影响产品质量。
因此，对工人装配动作进行监测，可以防止装配工人遗忘关键操作步骤以及操作程度不达标等现象，避免产品质量问题的出现。以往工业领域都将监测重点放在了故障诊断、表面缺陷等检测上，这样不能及时的避免问题的发生，而对装配过程中工人的装配动作进行监测则可以及时发现问题并对装配工人进行提醒，从而降低产品不合格率及生产成本。因此，如何低成本高效率的对装配过程中工人的装配动作进行监测将是未来装配制造业的发展方向。
计算机视觉技术就是让计算机像人类一样，通过一定算法实现对图像或视频的分析理解。近年来，随着深度学习算法在计算机视觉领域的广泛应用，模式识别、目标检测、动作识别、人体姿态估等任务都获得了突破性进步。深度学习能够自适应学习特征，只需要设计合适的神经网络模型便可以进行端到端的训练，避免了传统机器学习中的特征工程，不再需要复杂的人工设计特征。因此，利用基于深度学习的计算机视觉技术进行装配动作监测可以有效避免产品质量问题。
发明内容
为了解决上述技术问题，本发明一种基于深度学习的监测装配操作的方法和装置，利用目标检测和姿态识别技术，实现对工人装配动作的识别与动作次数判断，以此实现产品装配过程的监测，提高智能化程度、减少运营成本并缩短生产周期。
本发明所采用的技术方案如下：
技术方案一：
一种基于深度学习的监测装配操作的方法，包括以下步骤：
建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集；
训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；
实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；
装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；
错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确。
进一步的，所述建立装配工具样本集步骤具体为：
采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，每个装配动作拍摄10秒，每秒提取10张图像；
利用图像标注软件对每张图像中的装配工具进行标注，生成包括装配工具坐标信息及装配工具类别信息的图像标签，若图像中没有工具信息则丢弃该图片；
对所有的图像标签进行数据集划分，划分为训练集、验证集和测试集。
进一步的，所述训练装配工具监测模型步骤具体为：
设置目标检测深度学习网络模型的超参数，将训练集、验证集中的图像输入到目标检测深度学习网络模型中进行训练，在训练过程中，根据验证集的结果不断优化网络权值；
训练时，根据训练过程中准确率曲线与损失曲线的变化情况，确定最优训练迭代次数并停止训练，保存训练好的网络权值；
选择不同的IoU阙值，对比在不同阙值下的准确率与召回率指标变化，确定最优IoU阙值；
利用保存训练好的网络权值并设定最优IoU阙值，在测试集上进行测试，若测试结果满足期望且没有出现过拟合现象，则完成训练装配工具监测模型的训练。
进一步的，所述装配动作次数监测步骤具体为：
使用RGB相机在装配作业现场实时拍摄装配工人装配操作的RGB图像，利用装配工具监测模型实时监测拍摄到的图像，当检测到图像中出现一装配工具时，则判定此时装配工人即将开始使用该装配工具进行相应的装配动作；
在检测到装配工具后，立即将RGB图像输入到人体姿态识别网络模型中，获取RGB图像中的人体各关节点及关节点坐标信息；
根据进行装配动作的人体关节点的动作范围统计人体关节点坐标的上下限，根据人体关节点坐标的上下限对关节点坐标信息进行数据清洗，剔除不符合范围的关节点坐标信息；
使用进行数据清洗后的所有关节点坐标信息绘制出关节点坐标随时间变化的曲线，通过曲线中波峰波谷的交替变化判定装配动作的次数。
进一步的，对所述进行数据清洗后的所有关节点坐标信息进行减均值处理。
技术方案二：
一种基于深度学习的监测装配操作的装置，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集；
训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；
实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；
装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；
错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确。
进一步的，所述建立装配工具样本集步骤具体为：
采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，每个装配动作拍摄10秒，每秒提取10张图像；
利用图像标注软件对每张图像中的装配工具进行标注，生成包括装配工具坐标信息及装配工具类别信息的图像标签，若图像中没有工具信息则丢弃该图片；
对所有的图像标签进行数据集划分，划分为训练集、验证集和测试集。
进一步的，所述训练装配工具监测模型步骤具体为：
设置目标检测深度学习网络模型的超参数，将训练集、验证集中的图像输入到目标检测深度学习网络模型中进行训练，在训练过程中，根据验证集的结果不断优化网络权值；
训练时，根据训练过程中准确率曲线与损失曲线的变化情况，确定最优训练迭代次数并停止训练，保存训练好的网络权值；
选择不同的IoU阙值，对比在不同阙值下的准确率与召回率指标变化，确定最优IoU阙值；
利用保存训练好的网络权值并设定最优IoU阙值，在测试集上进行测试，若测试结果满足期望且没有出现过拟合现象，则完成训练装配工具监测模型的训练。
进一步的，所述装配动作次数监测步骤具体为：
使用RGB相机在装配作业现场实时拍摄装配工人装配操作的RGB图像，利用装配工具监测模型实时监测拍摄到的图像，当检测到图像中出现一装配工具时，则判定此时装配工人即将开始使用该装配工具进行相应的装配动作；
在检测到装配工具后，立即将RGB图像输入到人体姿态识别网络模型中，获取RGB图像中的人体各关节点及关节点坐标信息；
根据进行装配动作的人体关节点的动作范围统计人体关节点坐标的上下限，根据人体关节点坐标的上下限对关节点坐标信息进行数据清洗，剔除不符合范围的关节点坐标信息；
使用进行数据清洗后的所有关节点坐标信息绘制出关节点坐标随时间变化的曲线，通过曲线中波峰波谷的交替变化判定装配动作的次数。
进一步的，对所述进行数据清洗后的所有关节点坐标信息进行减均值处理。
本发明具有如下有益效果：
1、本发明一种基于深度学习的监测装配操作的方法和装置，以目标检测代替了动作检测，使用一帧图像即可判断装配操作的种类(如锤、挫、拧螺母等)，还可以判断装配操作的重复次数，实现对装配过程的监测。
2、本发明一种基于深度学习的监测装配操作的方法和装置，基于装配动作的重复性和工具依赖性的特点，在本发明中将装配动作的识别视为工具对象检测。与传统的动作识别算法相比，具有更高的识别精度和更快的识别速度。
3、本发明一种基于深度学习的监测装配操作的方法和装置，利用人体姿态识别网络模型进行姿态估计并提取关键关节点的坐标数据；最后通过对坐标数据的清洗与分析，根据坐标信息随时间变化的规律实现了对装配动作重复次数的判断。通过本文所提出的方法对装配作业现场的监控视频进行处理后，仅仅需要一张图像就可以让管理人员快速判断工人的动作重复次数，相比于一般的人为监督，在很大程度上节省了人力投入并提高了监测质量。
附图说明
图1为本发明实施例的流程图；
图2为装配工具监测模型检测装配工具的示例图；
图3和图4为使用人体姿态识别网络模型识别关节点数据的示例图；
图5为实施例中绘制的锤动作曲线；
图6为实施例中绘制的锉动作曲线；
图7为实施例中绘制的拧螺母动作曲线。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1，一种基于深度学习的监测装配操作的方法，包括以下步骤：
建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注(可通过图像标注软件对图像进行标注，如LableImage软件)，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集。
训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；目标检测深度学习网络模型训练时会根据图像标签中标注的位置信息去学习当前标注的工具类别信息的样子和大概轮廓，然后拿训练好以后的目标检测深度学习网络模型去分析影像视频，就会根据自己学习到的参数快速找到视频里相应的目标并框出这个目标。
实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；根据装配工具判定当前装配工人进行的是什么装配动作，如影像中识别到的工具是锤子，则判定装配工人在进行锤这一动作。
装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；例如：当装配工具监测模型识别到摄像机实时拍摄的图像中出现了锤子这个装配工具，则立即开始通过人体姿态识别网络模型识别装配工人进行装配的动作次数，直到装配工具监测模型监测不到摄像机影像中存在锤子，统计上述过程中记录下的动作次数(如：锤：5次)。
错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确。例如，原定装配生产线的装配流程为使用首先对生产产品锤五次，再锉五次，最后拧螺母三次；根据监测到的实际信息与原定流程进行比对，如实际装配工人在装配时首先锤五次，再锉四次后装配工具监测模型监测到影像中锉子消失，则判定已结束锉这一动作，动作次数与原定次数不符合，则对装配工人发出警报，可通过语音或者字幕的方式自动发出警报。
本实施例以目标检测代替了动作检测，使用一帧图像即可判断装配操作的种类(如锤、挫、拧螺母等)，还可以判断装配操作的重复次数，实现对装配过程的监测。
实施例二
本实施例不仅具备实施例一的有益之处，进一步的，提出了所述建立装配工具样本集步骤具体为：
采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，如：锤、锉、刷、锯、拧螺母等基本装配动作；每个装配动作拍摄10秒，每秒提取10张图像；
利用图像标注软件对每张图像中的装配工具进行标注，生成包括装配工具坐标信息及装配工具类别信息的图像标签，若图像中没有工具信息则丢弃该图片；
对所有的图像标签进行数据集划分，划分为训练集、验证集和测试集。
进一步的，所述训练装配工具监测模型步骤具体为：
设置目标检测深度学习网络模型的超参数：梯度下降的动量、初始学习率和衰减系数，将训练集、验证集中的图像输入到目标检测深度学习网络模型(本实施例采用YOLOv3目标检测深度学习网络模型)中进行训练，在训练过程中，根据验证集的结果不断优化网络权值；
训练时，根据训练过程中准确率曲线与损失曲线的变化情况，确定最优训练迭代次数并停止训练，保存训练好的网络权值；
选择不同的IoU阙值，对比在不同阙值下的准确率与召回率指标变化，确定最优IoU阙值；
利用保存训练好的网络权值并设定最优IoU阙值，在测试集上进行测试，若测试结果满足期望且没有出现过拟合现象，则完成训练装配工具监测模型的训练。
具体参加图2，进一步的，所述装配动作次数监测步骤具体为：
使用RGB相机在装配作业现场实时拍摄装配工人装配操作的RGB图像，利用训练好的装配工具监测模型实时检测输入图像的工具信息，输出为当前帧检测到的工具类别及位置信息，当检测到当前帧图像中出现一装配工具时，则判定此时装配工人即将开始使用该装配工具进行相应的装配动作，如图2所示，检测到图像中工具为锤子，则判定当前装配动作为锤；
具体参加图3和图4，在检测到装配工具后，立即将RGB图像输入到人体姿态识别网络模型(本实施例中人体姿态识别网络模型采用OpenPose姿态估计网络模型)中，获取RGB图像中的人体各关节点及关节点坐标信息；逐帧采集图像中的人体各关节点及关节点坐标信息，直到检测不到装配工具后(即当前装配动作已结束)，结束人体各关节点及关节点坐标信息的输入。
本实施例中，对于动作锤通过纵向(Y方向)坐标信息随时间变化情况估计动作次数，对于动作锉通过横向(X方向)坐标信息随时间变化情况估计动作次数，对于拧螺母通过X、Y方向随时间的共同变化情况估计动作次数。OpenPose对人体关节点坐标的输出格式为"pose_keypoints_2d":[x1，y1，c1，…，xn，yn，cn]，其中xn，yn为人体关节点坐标，cn为该关节点位置预测精度。按时间顺序对每帧的关节点坐标进行提取，本实施例中只需提取握取工具的手臂的腕部关节点即可。
由于模型和***性能原因，难以达到百分之百的精准度。在有些帧中会检测不到关节点或预测关节点位置与真实情况严重不符，因此会有坐标为0或跳跃性极大的情况，所以要进行数据清洗，此步骤根据进行装配动作的人体关节点的动作范围统计人体关节点坐标的上下限，根据人体关节点坐标的上下限对关节点坐标信息进行数据清洗，剔除不符合范围的关节点坐标信息。
使用进行数据清洗后的所有关节点坐标信息绘制出关节点坐标随时间变化的曲线(本实施例中利用Python第三方库matplotlib进行绘图)，通过曲线中波峰波谷的交替变化判定装配动作的次数。
进一步的，对所述进行数据清洗后的所有关节点坐标信息进行减均值处理，如锤的Y坐标信息在900～950间变化，则可以将所有Y坐标减去一个均值900或890，这样可以使动作波动更加直观。
本实施例中曲线绘制结果参加图5-图7，其中图,5为锤动作曲线，纵坐标表示关节点在实际空间中Y方向坐标值，横坐标表示帧数；图6为锉动作曲线，纵坐标表示关节点在实际空间中X方向坐标值，横坐标表示帧数；图7为拧螺母动作曲线，以关节点实际空间中的X和Y方向的坐标值作为横、纵坐标，以帧数作为Z轴坐标进行绘图；通过曲线波峰可判断锤和锉两个动作都进行了5次，拧螺母这一动作进行了3次。
本实施例基于装配动作的重复性和工具依赖性的特点，在本发明中将装配动作的识别视为工具对象检测。与传统的动作识别算法相比，YOLOv3对象检测算法更适用于重复性和依赖于工具的装配动作中的装配动作识别。且相对于常规的动作识别算法，YOLOv3模型具有更高的识别精度和更快的识别速度。
利用OpenPose进行姿态估计并提取关键关节点的坐标数据；最后通过对坐标数据的清洗与分析，根据坐标信息随时间变化的规律实现了对装配动作重复次数的判断。通过本实施例所提出的方法对装配作业现场的监控视频进行处理后，仅仅需要一张图像就可以让管理人员快速判断工人的动作重复次数，相比于一般的人为监督，在很大程度上节省了人力投入并提高了监测质量。
实施例三
一种基于深度学习的监测装配操作的装置，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注(可通过图像标注软件对图像进行标注，如LableImage软件)，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集。
训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；目标检测深度学习网络模型训练时会根据图像标签中标注的位置信息去学习当前标注的工具类别信息的样子和大概轮廓，然后拿训练好以后的目标检测深度学习网络模型去分析影像视频，就会根据自己学习到的参数快速找到视频里相应的目标并框出这个目标。
实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；根据装配工具判定当前装配工人进行的是什么装配动作，如影像中识别到的工具是锤子，则判定装配工人在进行锤这一动作。
装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；例如：当装配工具监测模型识别到摄像机实时拍摄的图像中出现了锤子这个装配工具，则立即开始通过人体姿态识别网络模型识别装配工人进行装配的动作次数，直到装配工具监测模型监测不到摄像机影像中存在锤子，统计上述过程中记录下的动作次数(如：锤：5次)。
错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确。例如，原定装配生产线的装配流程为使用首先对生产产品锤五次，再锉五次，最后拧螺母三次；根据监测到的实际信息与原定流程进行比对，如实际装配工人在装配时首先锤五次，再锉四次后装配工具监测模型监测到影像中锉子消失，则判定已结束锉这一动作，动作次数与原定次数不符合，则对装配工人发出警报，可通过语音或者字幕的方式自动发出警报。
本实施例以目标检测代替了动作检测，使用一帧图像即可判断装配操作的种类(如锤、挫、拧螺母等)，还可以判断装配操作的重复次数，实现对装配过程的监测。
实施例四
本实施例不仅具备实施例三的有益之处，进一步的，提出了所述建立装配工具样本集步骤具体为：
采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，如：锤、锉、刷、锯、拧螺母等基本装配动作；每个装配动作拍摄10秒，每秒提取10张图像；
利用图像标注软件对每张图像中的装配工具进行标注，生成包括装配工具坐标信息及装配工具类别信息的图像标签，若图像中没有工具信息则丢弃该图片；
对所有的图像标签进行数据集划分，划分为训练集、验证集和测试集。
进一步的，所述训练装配工具监测模型步骤具体为：
设置目标检测深度学习网络模型的超参数：梯度下降的动量、初始学习率和衰减系数，将训练集、验证集中的图像输入到目标检测深度学习网络模型(本实施例采用YOLOv3目标检测深度学习网络模型)中进行训练，在训练过程中，根据验证集的结果不断优化网络权值；
训练时，根据训练过程中准确率曲线与损失曲线的变化情况，确定最优训练迭代次数并停止训练，保存训练好的网络权值；
选择不同的IoU阙值，对比在不同阙值下的准确率与召回率指标变化，确定最优IoU阙值；
利用保存训练好的网络权值并设定最优IoU阙值，在测试集上进行测试，若测试结果满足期望且没有出现过拟合现象，则完成训练装配工具监测模型的训练。
具体参加图2，进一步的，所述装配动作次数监测步骤具体为：
使用RGB相机在装配作业现场实时拍摄装配工人装配操作的RGB图像，利用训练好的装配工具监测模型实时检测输入图像的工具信息，输出为当前帧检测到的工具类别及位置信息，当检测到当前帧图像中出现一装配工具时，则判定此时装配工人即将开始使用该装配工具进行相应的装配动作，如图2所示，检测到图像中工具为锤子，则判定当前装配动作为锤；
具体参加图3和图4，在检测到装配工具后，立即将RGB图像输入到人体姿态识别网络模型(本实施例中人体姿态识别网络模型采用OpenPose姿态估计网络模型)中，获取RGB图像中的人体各关节点及关节点坐标信息；逐帧采集图像中的人体各关节点及关节点坐标信息，直到检测不到装配工具后(即当前装配动作已结束)，结束人体各关节点及关节点坐标信息的输入。
本实施例中，对于动作锤通过纵向(Y方向)坐标信息随时间变化情况估计动作次数，对于动作锉通过横向(X方向)坐标信息随时间变化情况估计动作次数，对于拧螺母通过X、Y方向随时间的共同变化情况估计动作次数。OpenPose对人体关节点坐标的输出格式为"pose_keypoints_2d":[x1，y1，c1，…，xn，yn，cn]，其中xn，yn为人体关节点坐标，cn为该关节点位置预测精度。按时间顺序对每帧的关节点坐标进行提取，本实施例中只需提取握取工具的手臂的腕部关节点即可。
由于模型和***性能原因，难以达到百分之百的精准度。在有些帧中会检测不到关节点或预测关节点位置与真实情况严重不符，因此会有坐标为0或跳跃性极大的情况，所以要进行数据清洗，此步骤根据进行装配动作的人体关节点的动作范围统计人体关节点坐标的上下限，根据人体关节点坐标的上下限对关节点坐标信息进行数据清洗，剔除不符合范围的关节点坐标信息。
使用进行数据清洗后的所有关节点坐标信息绘制出关节点坐标随时间变化的曲线(本实施例中利用Python第三方库matplotlib进行绘图)，通过曲线中波峰波谷的交替变化判定装配动作的次数。
进一步的，对所述进行数据清洗后的所有关节点坐标信息进行减均值处理，如锤的Y坐标信息在900～950间变化，则可以将所有Y坐标减去一个均值900或890，这样可以使动作波动更加直观。
本实施例中曲线绘制结果参加图5-图7，其中图,5为锤动作曲线，纵坐标表示关节点在实际空间中Y方向坐标值，横坐标表示帧数；图6为锉动作曲线，纵坐标表示关节点在实际空间中X方向坐标值，横坐标表示帧数；图7为拧螺母动作曲线，以关节点实际空间中的X和Y方向的坐标值作为横、纵坐标，以帧数作为Z轴坐标进行绘图；通过曲线波峰可判断锤和锉两个动作都进行了5次，拧螺母这一动作进行了3次。
本实施例基于装配动作的重复性和工具依赖性的特点，在本发明中将装配动作的识别视为工具对象检测。与传统的动作识别算法相比，YOLOv3对象检测算法更适用于重复性和依赖于工具的装配动作中的装配动作识别。且相对于常规的动作识别算法，YOLOv3模型具有更高的识别精度和更快的识别速度。
利用OpenPose进行姿态估计并提取关键关节点的坐标数据；最后通过对坐标数据的清洗与分析，根据坐标信息随时间变化的规律实现了对装配动作重复次数的判断。通过本实施例所提出的方法对装配作业现场的监控视频进行处理后，仅仅需要一张图像就可以让管理人员快速判断工人的动作重复次数，相比于一般的人为监督，在很大程度上节省了人力投入并提高了监测质量。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度学习的监测装配操作的方法，其特征在于，包括以下步骤：
建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集；
训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；
实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；
装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；
错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确；
所述装配动作次数监测步骤具体为：
使用RGB相机在装配作业现场实时拍摄装配工人装配操作的RGB图像，利用装配工具监测模型实时监测拍摄到的图像，当检测到图像中出现一装配工具时，则判定此时装配工人即将开始使用该装配工具进行相应的装配动作；
在检测到装配工具后，立即将RGB图像输入到人体姿态识别网络模型中，获取RGB图像中的人体各关节点及关节点坐标信息；
根据进行装配动作的人体关节点的动作范围统计人体关节点坐标的上下限，根据人体关节点坐标的上下限对关节点坐标信息进行数据清洗，剔除不符合范围的关节点坐标信息；
使用进行数据清洗后的所有关节点坐标信息绘制出关节点坐标随时间变化的曲线，通过曲线中波峰波谷的交替变化判定装配动作的次数。
2.根据权利要求1所述的一种基于深度学习的监测装配操作的方法，其特征在于，所述建立装配工具样本集步骤具体为：
采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，每个装配动作拍摄10秒，每秒提取10张图像；
利用图像标注软件对每张图像中的装配工具进行标注，生成包括装配工具坐标信息及装配工具类别信息的图像标签，若图像中没有工具信息则丢弃该图像；
对所有的图像标签进行数据集划分，划分为训练集、验证集和测试集。
3.根据权利要求2所述的一种基于深度学习的监测装配操作的方法，其特征在于，所述训练装配工具监测模型步骤具体为：
设置目标检测深度学习网络模型的超参数，将训练集、验证集中的图像输入到目标检测深度学习网络模型中进行训练，在训练过程中，根据验证集的结果不断优化网络权值；
训练时，根据训练过程中准确率曲线与损失曲线的变化情况，确定最优训练迭代次数并停止训练，保存训练好的网络权值；
选择不同的IoU阙值，对比在不同阙值下的准确率与召回率指标变化，确定最优IoU阙值；
利用保存训练好的网络权值并设定最优IoU阙值，在测试集上进行测试，若测试结果满足期望且没有出现过拟合现象，则完成训练装配工具监测模型的训练。
4.根据权利要求1所述的一种基于深度学习的监测装配操作的方法，其特征在于：对所述进行数据清洗后的所有关节点坐标信息进行减均值处理。
5.一种基于深度学习的监测装配操作的装置，其特征在于，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集；
训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；
实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；
装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；
错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确；
所述装配动作次数监测步骤具体为：
使用RGB相机在装配作业现场实时拍摄装配工人装配操作的RGB图像，利用装配工具监测模型实时监测拍摄到的图像，当检测到图像中出现一装配工具时，则判定此时装配工人即将开始使用该装配工具进行相应的装配动作；
在检测到装配工具后，立即将RGB图像输入到人体姿态识别网络模型中，获取RGB图像中的人体各关节点及关节点坐标信息；
根据进行装配动作的人体关节点的动作范围统计人体关节点坐标的上下限，根据人体关节点坐标的上下限对关节点坐标信息进行数据清洗，剔除不符合范围的关节点坐标信息；
使用进行数据清洗后的所有关节点坐标信息绘制出关节点坐标随时间变化的曲线，通过曲线中波峰波谷的交替变化判定装配动作的次数。
6.根据权利要求5所述的一种基于深度学习的监测装配操作的装置，其特征在于，所述建立装配工具样本集步骤具体为：
采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，每个装配动作拍摄10秒，每秒提取10张图像；
利用图像标注软件对每张图像中的装配工具进行标注，生成包括装配工具坐标信息及装配工具类别信息的图像标签，若图像中没有工具信息则丢弃该图像；
对所有的图像标签进行数据集划分，划分为训练集、验证集和测试集。
7.根据权利要求6所述的一种基于深度学习的监测装配操作的装置，其特征在于，所述训练装配工具监测模型步骤具体为：
设置目标检测深度学习网络模型的超参数，将训练集、验证集中的图像输入到目标检测深度学习网络模型中进行训练，在训练过程中，根据验证集的结果不断优化网络权值；
训练时，根据训练过程中准确率曲线与损失曲线的变化情况，确定最优训练迭代次数并停止训练，保存训练好的网络权值；
选择不同的IoU阙值，对比在不同阙值下的准确率与召回率指标变化，确定最优IoU阙值；
利用保存训练好的网络权值并设定最优IoU阙值，在测试集上进行测试，若测试结果满足期望且没有出现过拟合现象，则完成训练装配工具监测模型的训练。
8.根据权利要求5所述的一种基于深度学习的监测装配操作的装置，其特征在于，对所述进行数据清洗后的所有关节点坐标信息进行减均值处理。
CN201911383314.3A 2019-12-28 2019-12-28 一种基于深度学习的监测装配操作的方法和装置 Active CN111062364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911383314.3A CN111062364B (zh) 2019-12-28 2019-12-28 一种基于深度学习的监测装配操作的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911383314.3A CN111062364B (zh) 2019-12-28 2019-12-28 一种基于深度学习的监测装配操作的方法和装置

Publications (2)

Publication Number Publication Date
CN111062364A CN111062364A (zh) 2020-04-24
CN111062364B true CN111062364B (zh) 2023-06-30

Family

ID=70304349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911383314.3A Active CN111062364B (zh) 2019-12-28 2019-12-28 一种基于深度学习的监测装配操作的方法和装置

Country Status (1)

Country Link
CN (1) CN111062364B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651306A (zh) * 2020-12-10 2021-04-13 深兰人工智能(四川)有限公司 工具取用监控方法及装置
CN114155610B (zh) * 2021-12-09 2023-01-24 中国矿业大学 基于上半身姿态估计的面板装配关键动作识别方法
CN116385442B (zh) * 2023-06-06 2023-08-18 青岛理工大学 一种基于深度学习的虚拟装配缺陷检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109271938A (zh) * 2018-09-19 2019-01-25 上海鸢安智能科技有限公司 一种基于智能视频分析技术的加油站卸油过程安全监控方法
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与***
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及***
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与***
CN109271938A (zh) * 2018-09-19 2019-01-25 上海鸢安智能科技有限公司 一种基于智能视频分析技术的加油站卸油过程安全监控方法
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及***
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王天诺 ; 陈成军 ; 李东年 ; 洪军.基于3D卷积神经网络的装配动作识别.组合机床与自动化加工技术.2019,(008),全文. *

Also Published As

Publication number Publication date
CN111062364A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111062364B (zh) 一种基于深度学习的监测装配操作的方法和装置
CN107194559B (zh) 一种基于三维卷积神经网络的工作流识别方法
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN111400040B (zh) 基于深度学习和边缘计算的工业互联网***及工作方法
CN110253577B (zh) 基于机器人操作技能获得的弱刚度零部件装配***及方法
CN110287583B (zh) 基于循环神经网络的工业设备剩余寿命预测方法
Zamora-Hernandez et al. Deep learning-based visual control assistant for assembly in industry 4.0
CN110633738B (zh) 一种用于工业零件图像的快速分类方法
CN112434666B (zh) 重复动作识别方法、装置、介质及设备
CN112464882B (zh) 连续动作的识别方法、装置、介质及设备
CN111507261A (zh) 一种基于视觉目标定位的工序操作质量监控方法
CN116708038B (zh) 基于资产测绘的工业互联网企业网络安全威胁识别方法
CN115331002A (zh) 一种基于ar眼镜实现热力站故障远程处理方法
CN115146798A (zh) 基于本体数据的装配机器人全流程监测与辅助方法及***
CN113570580B (zh) 基于机器视觉的电力设备部件松动识别***及方法
CN111045415A (zh) 一种基于局部概率密度双子空间的多模态过程故障检测方法
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控***和方法
CN112967335A (zh) 气泡尺寸监测方法及装置
CN112613476A (zh) 一种基于机器视觉自动检测工人不安全行为的方法
CN110727669A (zh) 一种电力***传感器数据清理装置及清理方法
CN116361191A (zh) 一种基于人工智能的软件兼容性处理方法
CN115937675A (zh) 一种变电站巡检环境下目标与缺陷识别方法
CN112936342A (zh) 基于人体姿态识别算法的实体机器人动作评测***及方法
CN107515596B (zh) 一种基于图像数据变窗口缺陷监控的统计过程控制方法
Zhang et al. Prediction of human actions in assembly process by a spatial-temporal end-to-end learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant