CN112836760A - 基于可穿戴设备的手工装配任务绩效识别***及方法 - Google Patents
基于可穿戴设备的手工装配任务绩效识别***及方法 Download PDFInfo
- Publication number
- CN112836760A CN112836760A CN202110192232.1A CN202110192232A CN112836760A CN 112836760 A CN112836760 A CN 112836760A CN 202110192232 A CN202110192232 A CN 202110192232A CN 112836760 A CN112836760 A CN 112836760A
- Authority
- CN
- China
- Prior art keywords
- signal
- data
- assembly
- arm
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000010801 machine learning Methods 0.000 claims abstract description 37
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 19
- 210000003205 muscle Anatomy 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000003183 myoelectrical effect Effects 0.000 claims description 2
- 238000002567 electromyography Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 238000000605 extraction Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Surgery (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Fuzzy Systems (AREA)
- Psychiatry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于可穿戴设备的手工装配任务绩效识别***，包括显示终端、可穿戴设备和计算终端，其中所述显示终端包括交互装置，用于接受操作输入，以及反馈评估结果；所述计算终端用于对反映操作者装配操作状态的信号数据进行过滤与统计特征提取，以及监测评估；所述监测评估的过程使用至少一种机器学习方法和网络学习模型；所述可穿戴设备用于在进行装配操作时穿戴在操作者身上，其与所述显示终端和计算终端建立数据连接，能够采集所述信号数据，并发送给所述计算终端，以及接收所述计算终端的检测评估结果，并通过所述显示终端反馈给操作者。本发明实现了产线装配绩效的实时评估，并提高了准确率。
Description
技术领域
本发明涉及一种绩效识别***，特别是基于可穿戴设备的手工装配任务绩效识别***。
背景技术
随着社会经济的发展，大型生产装配企业数量与日俱增，产线装配操作员群体也日益扩张。作为生产装配***的重要一员，装配工人经常受到工作地现场疲劳的影响。已有研究表明，疲劳状态下个体的认知能力、手工作业能力下降，包括移动时的稳定性、手指及手指尖的灵活性等。产品的良率与产品质量也会受到作业员生理疲劳影响，有相关证据表明，在需要精细手工作业的操作中，有20-40％的质量问题是由人的失误造成的。
对于员工数量众多的公司来说，生理疲劳造成的工作效率降低、产品质量下降、缺勤等不容忽视。为了改善上述现状，除了改进生产现场的管理方式、管理规范，加强技术工人的培训以外，通过科技手段实现对装配绩效的实时监控已经成为生产企业、工程技术界的共识。
近年来为了实现对装配绩效的实时监管，人们进行了各种尝试和研究，但是过去的方法普遍采用RFID等射频识别技术对物料进行标注，在装配产品通过质检工站之后，将装配绩效数据同步至云端，从而进行反馈。这种反馈方式缺乏对装配员本身的关注，而且反馈速度较慢。如何实现产线装配绩效的实时评估，成为目前亟待解决的技术问题。
发明内容
本发明的目的在于提供一种能够实时预测装配工人装配效率的识别***，以装配员工的生理信号为输入，预测装配效率。
本发明的技术方案如下。
本发明第一方面提供了一种基于可穿戴设备的手工装配任务绩效识别***，包括显示终端、可穿戴设备和计算终端，其中
所述显示终端包括交互装置，用于接受操作输入，以及反馈评估结果；
所述计算终端用于对反映操作者装配操作状态的信号数据进行过滤与统计特征提取，以及监测评估；所述监测评估的过程使用至少一种机器学习方法和网络学习模型；
所述可穿戴设备用于在进行装配操作时穿戴在操作者身上，其与所述显示终端和计算终端建立数据连接，能够采集所述信号数据，并发送给所述计算终端，以及接收所述计算终端的检测评估结果，并通过所述显示终端反馈给操作者。
优选地，所述可穿戴设备采集的所述信号数据包括所述操作者的手臂肌肉表面肌电信号。
优选地，所述信号数据还包括手臂运动加速度信号、手臂运动角速度信号、手臂转角信号。
本发明第二方面提供了一种采用根据本发明第一方面中任一项所述的手工装配任务绩效识别***的绩效评估方法，包括如下步骤：
步骤S1，通过显示终端的交互装置输入操作者信息和评估算法类型，并且通过可穿戴设备采集反映操作者装配操作状态的信号数据；
步骤S2，将所述信号数据发送到计算终端；
步骤S3，对所述信号数据进行过滤与统计特征提取，以及监测评估，并且将评估结果发送给显示终端；所述监测评估的过程按照输入的评估算法类型使用至少一种机器学习方法和网络学习模型；
步骤S4，通过交互装置根据所述评估结果显示相应的绩效指标。
优选地，所述步骤S3中对所述信号数据进行过滤与统计特征提取的过程包括以下步骤：
步骤S3.1，按照每次装配任务的开始和结束时间将特定装配任务的信号数据提取出来；
步骤S3.2，利用第一滤波器对手臂肌肉表面肌电信号进行降噪平滑处理，利用第二滤波器对手臂运动加速度信号和手臂角速度信号进行降噪平滑处理；
步骤S3.3，利用滑动时间窗对处理后的手臂肌肉表面肌电信号进行划分，在每个时间窗内计算信号的均值与均方根，由此获得手臂肌肉表面肌电信号均值时间序列、手臂肌肉表面肌电信号均方根时间序列；
步骤S3.4，利用滑动时间窗对处理后的手臂运动加速度信号、手臂角速度信号、手臂转角信号进行划分，在每个时间窗内计算信号的均值与均方根，由此对每种信号获得两组时间序列，手臂运动加速度信号均值时间序列、手臂运动加速度信号均方根时间序列、手臂角速度信号均值时间序列、手臂角速度信号均方根时间序列、手臂转角信号均值时间序列、手臂转角信号均方根时间序列；
步骤S3.5，提取每个时间序列的描述统计量描述周期内的参数分布。
优选地，所述步骤S3.2中的第一滤波器是30Hz的四阶Butterworth滤波器，第二滤波器是三阶中值滤波器。
优选地，所述步骤S3.3中的滑动时间窗长度为0.25s，重叠长度为0.075s。
优选地，所述步骤S3.4中的滑动时间窗长度为0.3s，重叠长度为0.1s。
优选地，所述步骤S3.5中的描述统计量包括：均值、方差、中位数、众数、峰度以及偏度。
本发明第三方面提供了用于本发明第一方面任一项所述的一种基于可穿戴设备的手工装配任务绩效识别***中的网络模型的训练方法，包括以下步骤：
步骤S01，使用步骤S1中操作者信息和可穿戴设备采集的数据构造数据集ASSEMBLY；
步骤S02，对数据集ASSEMBLY的所有数据进行部分标注形成人工判定绩效的数据集ASSEMBLY_Output；同时形成可穿戴设备采集生理信号特征的数据集ASSEMBLY_Input；
步骤S03，将数据集ASSEMBLY中的数据随机拆分，将其中70％组成训练数据集Train_Set，另外的30％组成测试数据集Test_Set；
步骤S04，使用两种机器学习方法GBDT、LDA和一种RNN深度学习的网络模型通过训练数据集Train_Set训练，得到模型GBDT_trained、LDA_trained、RNN_trained；
步骤S05，使用训练数据集Train_Set中的ASSEMBLY_Input输入和GBDT_trained、LDA_trained、RNN_trained模型进行分类后得到绩效评估数据输出集ASSEMBLY_Trained_Output；
步骤S06，使用绩效评估数据输出集ASSEMBLY_Trained_Output和训练数据集Train_Set中的ASSEMBLY_Output的误差对GBDT_trained、LDA_trained、RNN_trained进行增强，得到增强后的机器学习模型GBDT_improved、LDA_improved、RNN_improved；
步骤S07，使用测试数据集Test_Set测试所述增强后的机器学习模型GBDT_improved、LDA_improved、RNN_improved的性能，若测试结果合格则结束训练；若不合格，则调整三种网络模型的参数，重新从步骤S03执行。
通过以上技术方案，本发明能够取得如下有益效果。
利用可穿戴设备(包括在工作站配置传感器设备)采集到作业员的工作活动信息，并进一步通过机器学习算法、通讯设备进行识别、记录，从而实现了实时识别工作场所中的生理疲劳并进行干预。
本发明在生产线中三种装配情景下对比了6类算法模型，筛选出预测准确率最高的三种机器学习和深度学习网络模型，和其它的机器学习模型相比，本发明中使用的模型具有较大优势：其中LDA机器学习在生产装配线中的稳定性任务工站中的预测准确率高达90％以上，而其它机器学习模型的预测准确率仅有80％左右；RNN深度学习模型在生产装配线中的灵活性任务工站中的预测准确率高达88％以上，而其它机器学习模型的预测准确率仅有70％左右；而GBDT机器学习模型在生产装配线中的螺丝装配工站中的预测准确率高达99％以上，而其它机器学习模型的预测准确率仅有87％左右。
附图说明
图1是本发明实施例1的局部框图；
图2是本发明实施例2的流程图；
图3是本发明实施例3的信号过滤与统计特征提取方法流程图；
图4是本发明实施例3的深度学习网络模型建立方法流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明。应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本实施例提供了一种基于可穿戴的手工装配任务绩效识别***，包括显示终端、可穿戴设备和计算终端，可穿戴设备通过蓝牙与计算终端、显示终端相连。
如图1所示，显示终端包括交互装置，用于接受操作输入，以及反馈评估结果。该交互装置的界面包括工人基本信息采集模块、实时数据显示模块、分类算法选择模块和评估结果反馈模块。
所述计算终端包括配置有绩效识别软件的计算机，用于对反映操作者装配操作状态的信号数据进行过滤与统计特征提取，以及监测评估；所述监测评估的过程使用至少一种机器学习方法和网络学习模型。所述绩效识别软件包括信号过滤模块、统计特征提取模块和监测评估模块，所述监测评估模块包括机器学习和深度学习网络模型。所述信号过滤模块的输出端与统计特征提取模块的输入端相连，统计特征提取模块的输出端与监测评估模块输入端相连。
所述的可穿戴设备用于在进行装配操作时穿戴在操作者身上，其与所述显示终端和计算终端建立数据连接，能够采集所述信号数据，并发送给所述计算终端，以及接收所述计算终端的检测评估结果，并通过所述显示终端反馈给操作者。所述可穿戴设备一方面通过数据连接和显示终端的实时数据显示模块的输入端相连、另一方面通过数据连接与计算终端的信号过滤模块的输入端相连。
在一优选的实施方式中，计算终端采用带有蓝牙功能和Matlab平台的台式电脑实现，显示终端为具有基于Matlab平台的UI图形界面的触摸显示器，可穿戴设备采用Myo手环。本领域技术人员能够理解，现有技术中任何适用的实现方式都可用于本发明，如有其他需求的使用者可以自行更换。特别地，用于本发明的可穿戴设备必须包含能够采集表面肌电的金属电极和能够采集手臂运动信号的IMU传感器。
实施例2
本实施例提供一种装配绩效评估方法。本实施例的方法采用实施例1中的***实现。如图2所示，本实施例的方法包括依次进行的如下步骤。
步骤S1，数据采集。通过显示终端的交互装置的工人基本信息采集模块采集装配工人的年龄、性别、身高、体重等基本信息，通过可穿戴设备实时采集装配工人的表面肌电、手臂运动三轴加速度、手臂运动三轴角速度数据、手臂运动三轴角度等数据并传送至计算终端和显示终端。使用者利用分类算法选择模块从三种机器学习和深度学习网络模型中选择具体评估算法类型。
步骤S2，数据发送。采用蓝牙等数据传输的方式将步骤S1采集的数据发送至计算终端中自身包含的信号过滤模块。
步骤S3，数据处理。本步骤中的数据处理过程包括以下三方面：信号过滤模块对收到的数据进行降噪光滑处理，统计特征提取模块利用滑动时间窗的方法，将经过信号过滤模块的光滑数据分段处理成两组时间序列，再求得两组时间序列的统计特征，输入给监测评估模块；监测评估模块利用被选出的评估算法将收到的数据中的手臂肌肉表面肌电、手臂运动加速度数据、手臂角速度数据、手臂转角数据进行绩效检测，并输出评估值，并将评估值通过显示终端输出在屏幕。
如图3所示，所述信号过滤与统计特征提取包括以下步骤。
步骤S3.1，利用装配***记录的每次装配任务的开始和结束时间将特定装配任务的四种输入信号提取出来，记为手臂肌肉表面肌电信号_i、手臂运动加速度信号_i、手臂角速度信号_i、手臂转角信号_i。
步骤S3.2，利用30Hz的四阶Butterworth滤波器对手臂肌肉表面肌电信号_i进行降噪平滑处理，得到手臂肌肉表面肌电信号_i_filtered，利用三阶中值滤波器对手臂运动加速度信号_i和手臂角速度信号_i进行降噪平滑处理，得到手臂运动加速度信号_i_filtered、手臂角速度信号_i_filtered、手臂转角信号_i_filtered。
步骤S3.3，利用滑动时间窗对手臂肌肉表面肌电信号_i_filtered进行划分，在每个时间窗内计算信号的均值与均方根，由此获得两组时间序列，手臂肌肉表面肌电信号_i_filtered_average、手臂肌肉表面肌电信号_i_filtered_RMS。在一优选的实施方式中，时间窗长度为0.25s，重叠长度为0.075s。
步骤S3.4，利用滑动时间窗对手臂运动加速度信号_i_filtered、手臂角速度信号_i_filtered、手臂转角信号_i_filtered进行划分，在每个时间窗内计算信号的均值与均方根，由此对每种信号获得两组时间序列，手臂运动加速度信号_i_filtered_average、手臂运动加速度信号_i_filtered_RMS、手臂角速度信号_i_filtered_average、手臂角速度信号_i_filtered_RMS、手臂转角信号_i_filtered_average、手臂转角信号_i_filtered_RMS。在一优选的实施方式中，时间窗长度为0.3s，重叠长度为0.1s。
步骤S3.5，提取每个时间序列的6种描述统计量描述周期内的参数分布，包括：均值、方差、中位数、众数、峰度以及偏度，作为信号过滤与统计特征的输出。
步骤S4，绩效评估反馈。显示终端的评估结果反馈模块会根据收到的评估值显示相应的绩效指标，即“高”、“中”或“低”。
实施例3
本实施例提供了一种实施例1中的机器学习和深度学习网络模型的训练方法。
如图4所示，所述训练机器学习和深度学习网络模型的方法包括以下步骤。
步骤S01，提供ASSEMBLY数据集，即步骤S1中工人基本信息采集模块和可穿戴设备采集的数据，包括工人的年龄、性别、身高、体重、手臂肌肉表面肌电、手臂运动加速度数据、手臂角速度数据、手臂转角等。
步骤S02，人工对ASSEMBLY数据集的所有数据进行部分标注形成人工判定绩效的ASSEMBLY数据集，即数据集ASSEMBLY_Output；同时形成可穿戴设备采集生理信号特征的数据集，即数据集ASSEMBLY_Input。
步骤S03，将ASSEMBLY数据集中随机拆分成70％，其中70％组成训练集Train_Set,30％组成测试集Test_Set。
步骤S04，使用两种机器学习方法GBDT、LDA和一种RNN深度学习模型和数据集Train_Set，训练，得到模型GBDT_trained、LDA_trained、RNN_trained；
步骤S05，使用数据集Train_Set中的ASSEMBLY_Input输入和GBDT_trained、LDA_trained、RNN_trained模型进行分类后得到绩效评估数据输出集，即数据集ASSEMBLY_Trained_Output。
步骤S06，使用数据集ASSEMBLY_Trained_Output和ASSEMBLY_Output的误差对GBDT_trained、LDA_trained、RNN_trained进行增强，得到增强后的机器学习模型GBDT_improved、LDA_improved、RNN_improved；
步骤S07，使用数据集Test_Set测试GBDT_improved、LDA_improved、RNN_improved三种装配绩效评估机器学习、深度学习网络模型的性能,若测试结果合格则结束训练机器学习、深度学习网络模型的过程；若不合格，则调整三种机器学习、深度学习网络模型的参数，重新从步骤S03执行。
现有的机器学习和深度学习网络模型的种类很多，常用的模型有SVM\KNN\LDA\GBDT\RNN\Boost等，本发明在生产线中三种装配情景下对比了6类算法模型，筛选出预测准确率最高的三种机器学习和深度学习网络模型，和其它的机器学习模型相比，本发明中使用的模型具有较大优势：其中LDA机器学习在生产装配线中的稳定性任务工站中的预测准确率高达90％以上，而其它机器学习模型的预测准确率仅有80％左右；RNN深度学习模型在生产装配线中的灵活性任务工站中的预测准确率高达88％以上，而其它机器学习模型的预测准确率仅有70％左右；而GBDT机器学习模型在生产装配线中的螺丝装配工站中的预测准确率高达99％以上，而其它机器学习模型的预测准确率仅有87％左右。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围。
Claims (10)
1.一种基于可穿戴设备的手工装配任务绩效识别***，包括显示终端、可穿戴设备和计算终端，其中
所述显示终端包括交互装置，用于接受操作输入，以及反馈评估结果；
所述计算终端用于对反映操作者装配操作状态的信号数据进行过滤与统计特征提取，以及监测评估；所述监测评估的过程使用至少一种机器学习方法和网络学习模型；
所述可穿戴设备用于在进行装配操作时穿戴在操作者身上，其与所述显示终端和计算终端建立数据连接，能够采集所述信号数据，并发送给所述计算终端，以及接收所述计算终端的检测评估结果，并通过所述显示终端反馈给操作者。
2.根据权利要求1所述的一种基于可穿戴设备的手工装配任务绩效识别***，其特征在于，所述可穿戴设备采集的所述信号数据包括所述操作者的手臂肌肉表面肌电信号。
3.根据权利要求2所述的一种基于可穿戴设备的手工装配任务绩效识别***，其特征在于，所述信号数据还包括手臂运动加速度信号、手臂运动角速度信号、手臂转角信号。
4.一种采用根据权利要求1-3中任一项所述的手工装配任务绩效识别***的绩效评估方法，其特征在于，包括如下步骤：
步骤S1，通过显示终端的交互装置输入操作者信息和评估算法类型，并且通过可穿戴设备采集反映操作者装配操作状态的信号数据；
步骤S2，将所述信号数据发送到计算终端；
步骤S3，对所述信号数据进行过滤与统计特征提取，以及监测评估，并且将评估结果发送给显示终端；所述监测评估的过程按照输入的评估算法类型使用至少一种机器学习方法和网络学习模型；
步骤S4，通过交互装置根据所述评估结果显示相应的绩效指标。
5.根据权利要求4所述的绩效评估方法，其特征在于，所述步骤S3中对所述信号数据进行过滤与统计特征提取的过程包括以下步骤：
步骤S3.1，按照每次装配任务的开始和结束时间将特定装配任务的信号数据提取出来；
步骤S3.2，利用第一滤波器对手臂肌肉表面肌电信号进行降噪平滑处理，利用第二滤波器对手臂运动加速度信号和手臂角速度信号进行降噪平滑处理；
步骤S3.3，利用滑动时间窗对处理后的手臂肌肉表面肌电信号进行划分，在每个时间窗内计算信号的均值与均方根，由此获得手臂肌肉表面肌电信号均值时间序列、手臂肌肉表面肌电信号均方根时间序列；
步骤S3.4，利用滑动时间窗对处理后的手臂运动加速度信号、手臂角速度信号、手臂转角信号进行划分，在每个时间窗内计算信号的均值与均方根，由此对每种信号获得两组时间序列，手臂运动加速度信号均值时间序列、手臂运动加速度信号均方根时间序列、手臂角速度信号均值时间序列、手臂角速度信号均方根时间序列、手臂转角信号均值时间序列、手臂转角信号均方根时间序列；
步骤S3.5，提取每个时间序列的描述统计量描述周期内的参数分布。
6.根据权利要求5所述的绩效评估方法，其特征在于，所述步骤S3.2中的第一滤波器是30Hz的四阶Butterworth滤波器，第二滤波器是三阶中值滤波器。
7.根据权利要求5所述的绩效评估方法，其特征在于，所述步骤S3.3中的滑动时间窗长度为0.25s，重叠长度为0.075s。
8.根据权利要求5所述的绩效评估方法，其特征在于，所述步骤S3.4中的滑动时间窗长度为0.3s，重叠长度为0.1s。
9.根据权利要求5所述的绩效评估方法，其特征在于，所述步骤S3.5中的描述统计量包括：均值、方差、中位数、众数、峰度以及偏度。
10.用于权利要求1-3任一项所述的一种基于可穿戴设备的手工装配任务绩效识别***中的网络模型的训练方法，包括以下步骤：
步骤S01，使用步骤S1中操作者信息和可穿戴设备采集的数据构造数据集ASSEMBLY；
步骤S02，对数据集ASSEMBLY的所有数据进行部分标注形成人工判定绩效的数据集ASSEMBLY_Output；同时形成可穿戴设备采集生理信号特征的数据集ASSEMBLY_Input；
步骤S03，将数据集ASSEMBLY中的数据随机拆分，将其中70％组成训练数据集Train_Set，另外的30％组成测试数据集Test_Set；
步骤S04，使用两种机器学习方法GBDT、LDA和一种RNN深度学习的网络模型通过训练数据集Train_Set训练，得到模型GBDT_trained、LDA_trained、RNN_trained；
步骤S05，使用训练数据集Train_Set中的ASSEMBLY_Input输入和GBDT_trained、LDA_trained、RNN_trained模型进行分类后得到绩效评估数据输出集ASSEMBLY_Trained_Output；
步骤S06，使用绩效评估数据输出集ASSEMBLY_Trained_Output和训练数据集Train_Set中的ASSEMBLY_Output的误差对GBDT_trained、LDA_trained、RNN_trained进行增强，得到增强后的机器学习模型GBDT_improved、LDA_improved、RNN_improved；
步骤S07，使用测试数据集Test_Set测试所述增强后的机器学习模型GBDT_improved、LDA_improved、RNN_improved的性能，若测试结果合格则结束训练；若不合格，则调整三种网络模型的参数，重新从步骤S03执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110192232.1A CN112836760A (zh) | 2021-02-19 | 2021-02-19 | 基于可穿戴设备的手工装配任务绩效识别***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110192232.1A CN112836760A (zh) | 2021-02-19 | 2021-02-19 | 基于可穿戴设备的手工装配任务绩效识别***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112836760A true CN112836760A (zh) | 2021-05-25 |
Family
ID=75933882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110192232.1A Pending CN112836760A (zh) | 2021-02-19 | 2021-02-19 | 基于可穿戴设备的手工装配任务绩效识别***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836760A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170245806A1 (en) * | 2014-03-17 | 2017-08-31 | One Million Metrics Corp. | System and method for monitoring safety and productivity of physical tasks |
| CN109009028A (zh) * | 2018-08-31 | 2018-12-18 | 江苏盖睿健康科技有限公司 | 一种反映人体疲劳程度的穿戴式设备 |
| CN110210366A (zh) * | 2019-07-05 | 2019-09-06 | 青岛理工大学 | 装配拧紧过程样本采集***、深度学习网络及监测*** |
| CN110448281A (zh) * | 2019-07-29 | 2019-11-15 | 南京理工大学 | 一种基于多传感器的可穿戴作业疲劳检测*** |
| US20210012902A1 (en) * | 2019-02-18 | 2021-01-14 | University Of Notre Dame Du Lac | Representation learning for wearable-sensor time series data |
| CN112256123A (zh) * | 2020-09-25 | 2021-01-22 | 北京师范大学 | 基于脑负荷的操控工效分析方法、设备及*** |
-
2021
- 2021-02-19 CN CN202110192232.1A patent/CN112836760A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170245806A1 (en) * | 2014-03-17 | 2017-08-31 | One Million Metrics Corp. | System and method for monitoring safety and productivity of physical tasks |
| CN109009028A (zh) * | 2018-08-31 | 2018-12-18 | 江苏盖睿健康科技有限公司 | 一种反映人体疲劳程度的穿戴式设备 |
| US20210012902A1 (en) * | 2019-02-18 | 2021-01-14 | University Of Notre Dame Du Lac | Representation learning for wearable-sensor time series data |
| CN110210366A (zh) * | 2019-07-05 | 2019-09-06 | 青岛理工大学 | 装配拧紧过程样本采集***、深度学习网络及监测*** |
| CN110448281A (zh) * | 2019-07-29 | 2019-11-15 | 南京理工大学 | 一种基于多传感器的可穿戴作业疲劳检测*** |
| CN112256123A (zh) * | 2020-09-25 | 2021-01-22 | 北京师范大学 | 基于脑负荷的操控工效分析方法、设备及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104274191B (zh) | 一种心理测评方法及其*** | |
| Ghasemzadeh et al. | Structural action recognition in body sensor networks: Distributed classification based on string matching | |
| CN107595243A (zh) | 一种病症评估方法及终端设备 | |
| CN102247128A (zh) | 人体脉搏信息采集装置及人体健康状况监护装置 | |
| CN111839495B (zh) | 检测方法、设备和存储介质 | |
| CN110706786A (zh) | 非接触式心理参数智能分析与评测*** | |
| Sahyoun et al. | ParkNosis: Diagnosing Parkinson's disease using mobile phones | |
| CN109758141A (zh) | 一种心理压力监测方法、装置及*** | |
| CN113205074A (zh) | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 | |
| CN114358194A (zh) | 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法 | |
| CN111933270A (zh) | 一种基于物联网的移动医疗数据采集与传输*** | |
| CN105303771A (zh) | 一种疲劳判断***及方法 | |
| CN111401435B (zh) | 一种基于运动手环的人体运动模式识别方法 | |
| Pereira-Montiel et al. | Automatic sign language recognition based on accelerometry and surface electromyography signals: A study for Colombian sign language | |
| Nguyen et al. | Ensemble based real-time adaptive classification system for intelligent sensing machine diagnostics | |
| CN112836760A (zh) | 基于可穿戴设备的手工装配任务绩效识别***及方法 | |
| Subramanian et al. | Using photoplethysmography for simple hand gesture recognition | |
| CN110163142B (zh) | 实时手势识别方法及*** | |
| CN115758097A (zh) | 多模态人因智能状态识别模型创建及实时状态监测方法、***及存储介质 | |
| CN105046429A (zh) | 基于手机传感器的交互过程中用户思维工作负荷评估方法 | |
| Lu et al. | Time series modeling of surface EMG based hand manipulation identification via expectation maximization algorithm | |
| CN115336979A (zh) | 基于可穿戴设备的多任务震颤自动检测方法及其检测设备 | |
| CN109961090B (zh) | 一种基于智能穿戴设备的行为分类方法及*** | |
| CN110825232B (zh) | 基于航天医监医保信号的手势识别人机交互装置 | |
| CN116092616B (zh) | 医疗数据传输方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210525 |