CN111531580A - 一种基于视觉的多工业机器人故障检测方法及*** - Google Patents
一种基于视觉的多工业机器人故障检测方法及*** Download PDFInfo
- Publication number
- CN111531580A CN111531580A CN202010342977.7A CN202010342977A CN111531580A CN 111531580 A CN111531580 A CN 111531580A CN 202010342977 A CN202010342977 A CN 202010342977A CN 111531580 A CN111531580 A CN 111531580A
- Authority
- CN
- China
- Prior art keywords
- industrial robot
- robot
- video frame
- single industrial
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000002159 abnormal effect Effects 0.000 claims abstract description 38
- 238000003709 image segmentation Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 9
- 230000003245 working effect Effects 0.000 claims description 3
- 230000007257 malfunction Effects 0.000 claims 2
- 239000011159 matrix material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0095—Means or methods for testing manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Numerical Control (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于视觉的多工业机器人故障检测方法及***，其中，一种基于视觉的多工业机器人故障检测方法，包括以下步骤，S1：采集多工业机器人标准作业视频，建立多个单工业机器人标准作业模式视频帧序列A13，执行S2；S2：实时采集多工业机器人作业视频，建立多个单工业机器人实时作业视频帧序列A22，执行S3；S3：将单工业机器人实时动作图像与对应的单工业机器人标准作业模式视频帧序列A13中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，若是，执行S4，若否，执行S2；S4：控制该工业机器人急停。本发明具有采用非接触式的方式发现工业机器人本体突发故障，避免在人机协作时发生机器人伤人的安全事故、检测过程简单准确的优点。
Description
技术领域
本发明涉及智能制造的技术领域，具体涉及一种基于视觉的多工业机器人故障检测方法及***。
背景技术
工业机器人是集自动化，机械，嵌入式，液压，电气等硬件及其控制软件在内组成的复杂***。其可以代替工人从事一些危险和复杂的重复性劳动。由于工业机器人精度高且无需休息，其已经广泛应用于制造业。然而，随着工业机器人的大量应用，工业机器人伤人事件时有发生。导致工业机器人安全事故的主要原因有人为因素和机器人自身故障。其中机器人自身误动作导致的安全事故占据了一半以上的比例。人为因素可以通过加强管理和培训进行控制，而机器人自身误动作导致的安全问题需要通过技术手段进行解决。由于信号干扰，器件老化，金属疲劳等各种原因，机器人误动作在机器人作业过程中大量存在。机器人误动作轻则造成机器人运动失调，导致挤压、碰撞事故，重则威胁到附近人员的生命安全。特别是在人机协作场景下，机器人安全问题至关重要。
授权公告号为CN106625724B的中国专利公开了一种面向云控制平台的工业机器人本体安全控制方法，首先，根据工业机器人所在现场情况从云控制平台下载相应等级的安全保护逻辑至安全保护模块；其次，通过安全保护逻辑对工业机器人各轴及末端的实时状态信息进行计算分析，当出现异常状态时发出报警信息并控制机器人停止运动；最后，利用安全保护逻辑对云控制平台发出的控制指令进行分析，判断其是否会使工业机器人的位置姿态超出安全保护范围，最终作出隔离或者执行控制指令的判断。
公开号为CN101509839的中国专利公开了一种基于离群点挖掘的集群工业机器人故障诊断方法，包括如下步骤：
1)采用多输入通道数据采集卡获取集群工业机器人的运行状态数据；所述运行状态数据包括：总消耗功率、基座振动、各电机的功率及工作电流、旋转关节的角速度、任务执行结果；
2)将获得的运行状态数据按统一格式整理归类，通过添加数据标识区分数据来源及数据类型，然后传输到***数据库进行保存；
3)对集群工业机器人的运行状态数据进行聚类分析，利用离群点挖掘方法计算每台工业机器人的离群因子得出其离群程度，并根据离群程度分离出离群点，进一步确定离群点所代表的个体工业机器人是否出现故障，并通过异常运行参数的种类判断出机器人出现故障的具体部位，获得故障诊断结果；
4)将包括工业机器人的运行状态数据、故障诊断结果在内的信息存储到***数据库中，并通过专用显示端口直接显示数据，作为管理、维修和更新工业机器人的依据。
现有技术中需要采用多个数据采集装置采集工业机器人的状态信息，对多个数据采集装置采集工业机器人的状态信息进行处理从而判断工业机器人是否状态异常，检测过程较为复杂，且成本较高。
发明内容
本发明的目的在于克服现有技术中的缺点，提供一种基于视觉的多工业机器人故障检测方法及***，具有采用非接触式的方式发现工业机器人本体突发故障，避免在人机协作时发生机器人伤人的安全事故、检测过程简单准确的优点。
本发明的目的是通过以下技术方案来实现的：一种基于视觉的多工业机器人故障检测方法，包括以下步骤，
S1：采集多工业机器人标准作业视频，建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，执行S2；
S2：实时采集多工业机器人作业视频，建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，所述单工业机器人实时作业视频帧序列A22包含多帧单工业机器人实时动作图像，执行S3；
S3：将单工业机器人实时动作图像与对应的单工业机器人标准作业模式视频帧序列A13中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，若是，执行S4，若否，执行S2；
S4：控制该工业机器人急停。
本发明的有益效果是，本方法具有采用非接触式的方式实时采集工业机器人作业图像，将单工业机器人实时动作图像和与其对应的单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>进行匹配，采用两阶段法检测单工业机器人是否动作异常，若判断机器人动作异常则控制工业机器人急停，本方法无需数据采集装置采集工业机器人各轴及末端的实时状态信息或工业机器人的运行状态数据，检测过程简单准确且成本较低，而且可以同时检测多个工业机器人的工作状态。
进一步，所述S1具体包括以下步骤，
S11：采集多工业机器人标准作业视频，执行S12；
S12：对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11，执行S13；
S13：对视频帧序列A11中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12；
S14：对所述单工业机器人作业视频帧序列A12进行提取，获得一个工作周期的单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>。
采用上述进一步方案的有益效果是，采集多工业机器人标准作业视频，对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11。多工业机器人标准作业视频中的图像包含了多个单工业机器人的动作图像，因此需要对多工业机器人标准作业视频中的图像进行分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12。在实际生产中，多个单工业机器人并不完全同步工作，为了减少拍摄次数，方便同时建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，该多工业机器人标准作业视频包括多个单工业机器人至少一个工作周期的图像，因此需要对视频帧序列进行提取，对多个单工业机器人作业视频帧序列A12分别进行提取，获得多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，单工业机器人标准作业模式视频帧序列A13包含单工业机器人一个周期的动作图像的帧，单工业机器人标准作业模式视频帧序列A13中每一帧包含工业机器人的一个作业动作。
进一步，所述S13具体包括以下步骤，
S131：建立并训练Mask R-CNN深度神经网络，执行S132；
S132：使用Mask R-CNN深度神经网络对视频帧序列A11中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12。
进一步，所述S132中单工业机器人图像为二值化图像，所述单工业机器人图像包含一个工业机器人的工作图像，且该工业机器人在单工业机器人图像中的位置与该工业机器人在视频帧序列A11的图像中的位置一致。
进一步，所述S2具体包括以下步骤，
S21：实时采集多工业机器人作业视频，执行S22；
S22：对多工业机器人作业视频进行T视频帧提取，形成实时作业视频帧序列A21，执行S23；
S23：对实时作业视频帧序列A21中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，执行S3。
进一步，所述S23中使用Mask R-CNN深度神经网络对实时作业视频帧序列A21中的图像进行图像分割。
采用上述进一步方案的有益效果是，多工业机器人作业视频包含了多个单工业机器人的动作图像，因此需要使用训练好的Mask R-CNN深度神经网络对多工业机器人作业视频中的图像进行分割。
进一步，所述S3具体包括以下步骤，
S31：初始化待匹配单工业机器人图像的序号I2b，b∈(1,2，……，n)，令b＝1，执行S32；
S32：判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与该待匹配单工业机器人图像近似匹配的图像，若是，执行S33，若否，执行S4；
S33：记录单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a，更新该待匹配单工业机器人图像的序号，令I2b＝I1a,执行S34；
S34：判断b是否大于2，若是，执行S35，若否，执行S36；
S35：判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续，若是，执行S36，若否，执行S4；
S36：令b＝b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配，执行S32。
采用上述进一步方案的有益效果是，本方法中，第一阶段对实时作业视频帧序列A21中的图像按照序列号依次进行单次匹配，判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与单张的实时作业视频帧序列A21中的图像匹配的图像，若是，进行第二阶段检测，若否，判断单工业机器人动作异常。第二阶段检测中，判断相邻两帧实时作业视频帧序列A21中的图像对应单工业机器人标准作业模式视频帧序列A13中的序列号是否连续，若是，判断单工业机器人工作正常，进行下一帧的图像匹配。若否，判断单工业机器人动作异常。
一种基于视觉的多工业机器人故障检测***，包括，
图像采集装置，用于采集多工业机器人标准作业视频，还用于实时采集多工业机器人实时动作视频；
故障检测装置，用于接收图像采集装置采集的多工业机器人标准作业视频建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，还用于接收图像采集装置实时采集的多工业机器人实时动作视频，建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，所述故障检测装置还用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，并在检测单工业机器人动作异常时发送急停控制信号；
控制器，用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。
本发明的有益效果是，本***具有采用非接触式的方式实时采集工业机器人作业图像，将单工业机器人实时动作图像和与其对应的单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>进行匹配，采用两阶段法检测单工业机器人是否动作异常，若判断机器人动作异常则控制工业机器人急停，本方法无需数据采集装置采集工业机器人各轴及末端的实时状态信息或工业机器人的运行状态数据，检测过程简单准确且成本较低，而且可以同时检测多个工业机器人的工作状态。
进一步，所述故障检测装置包括标准作业建立单元、图像分割单元、实时动作图像建立单元及异常动作检测单元，
所述标准作业建立单元用于对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11；
所述图像分割单元包括Mask R-CNN深度神经网络，Mask R-CNN深度神经网络用于对视频帧序列A11的图像进行图像分割，分离单工业机器人图像，建立多个单工业机器人作业视频帧序列A12，并将多个单工业机器人作业视频帧序列A12发送至所述标准作业建立单元；
所述标准作业建立单元用于接收多个单工业机器人作业视频帧序列A12并分别提取多个单工业机器人作业视频帧序列A12中包含单工业机器人一个周期的动作图像的帧，分别建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，所述单工业机器人标准作业模式视频帧序列A13中每一帧包含工业机器人的一个作业动作；
所述实时动作图像建立单元用于对实时采集多工业机器人实时动作视频进行T视频帧提取，形成实时作业视频帧序列A21；
所述图像分割单元中的Mask R-CNN深度神经网络还用于对实时作业视频帧序列A21中的图像进行分割并将分割后的图像发送至实时动作图像建立单元；
所述实时动作图像建立单元还用于接收图像分割单元分割后的图像建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>；
所述异常动作检测单元用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，并在检测单工业机器人动作异常时发送急停控制信号。
采用上述进一步方案的有益效果是，标准作业建立单元对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11。多工业机器人标准作业视频中的图像包含了多个单工业机器人的动作图像，因此需要使用图像分割单元中的Mask R-CNN深度神经网络对多工业机器人标准作业视频中的图像进行分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12。在实际生产中，多个单工业机器人并不完全同步工作，为了减少拍摄次数，方便同时建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，该多工业机器人标准作业视频包括多个单工业机器人至少一个工作周期的图像，因此实时动作图像建立单元需要对视频帧序列进行提取，对多个单工业机器人作业视频帧序列A12分别进行提取，获得多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，单工业机器人标准作业模式视频帧序列A13包含单工业机器人一个周期的动作图像的帧，单工业机器人标准作业模式视频帧序列A13中每一帧包含工业机器人的一个作业动作。多工业机器人作业视频包含了多个单工业机器人的动作图像，因此需要使用训练好的Mask R-CNN深度神经网络对多工业机器人作业视频中的图像进行分割。实时动作图像建立单元接收图像分割单元分割后的图像建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>。异常动作检测单元用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，并在检测单工业机器人动作异常时发送急停控制信号。
进一步，所述异故障检测装置检测单工业机器人是否动作异常包括以下步骤，
S31：初始化待匹配单工业机器人图像的序号I2b，b∈(1,2，……，n)，令b＝1，执行S32；
S32：判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与该待匹配单工业机器人图像近似匹配的图像，若是，执行S33，若否，执行S37；
S33：记录单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a，更新该待匹配单工业机器人图像的序号，令I2b＝I1a,执行S34；
S34：判断b是否大于2，若是，执行S35，若否，执行S36；
S35：判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续，若是，执行S36，若否，执行S37；
S36：令b＝b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配，执行S32；
S37：发送急停控制信号。
采用上述进一步方案的有益效果是，异故障检测装置检测单工业机器人是否动作异常分为两个阶段，第一阶段对实时作业视频帧序列A21中的图像按照序列号依次进行单次匹配，判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与单张的实时作业视频帧序列A21中的图像匹配的图像，若是，进行第二阶段检测，若否，判断单工业机器人动作异常。第二阶段检测中，判断相邻两帧实时作业视频帧序列A21中的图像对应单工业机器人标准作业模式视频帧序列A13中的序列号是否连续，若是，判断单工业机器人工作正常，进行下一帧的图像匹配。若否，判断单工业机器人动作异常。
附图说明
图1为本发明的实施例1的一种基于视觉的多工业机器人故障检测***的示意图；
图2为本发明用于展示用于检测多工业机器人是否动作异常的流程示意图；
图3为本发明用于展示Mask R-CNN深度神经网络进行图像分割的示意图；
图4为本发明用于展示对Mask R-CNN深度神经网络的输出进行处理的流程示意图；
图5为本发明用于展示提取单工业机器人一个周期的动作图像的帧的示意图；
图6为本发明的实施例2的一种基于视觉的多工业机器人故障检测方法的示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下。
实施例1
参照图1，一种基于视觉的多工业机器人故障检测***，包括图像采集装置、故障检测装置及控制器。
下面依次对各个部分进行详细说明。
图像采集装置，用于采集多工业机器人标准作业视频，还用于实时采集多工业机器人实时动作视频。值得说明的是，本实施例中，图像采集装置为高清摄像机。
故障检测装置，用于接收图像采集装置采集的多工业机器人标准作业视频建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，还用于接收图像采集装置实时采集的多工业机器人实时动作视频，建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，故障检测装置还用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，并在检测单工业机器人动作异常时发送急停控制信号。
值得说明的是，本实施例中，故障检测装置的硬件装置可包括中央处理单元(Central Processing Unit，CPU)，还可包括其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
故障检测装置的硬件装置还包括存储器。存储器可以是处理器的内部存储单元，例如处理器的硬盘或内存。存储器也可以是处理器的外部存储设备，例如处理器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。存储器还可以既包括处理器的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及处理器所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
控制器，用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。
值得说明的是，本实施例中，控制器通过与工业机器人控制柜通信，控制器工业机器人急停；在另一个实施例中，控制器可直接与工业机器人的通电线路中的电控开关连接，通过控制电控开关的开关状态，控制工业机器人急停。
还值得说明的是，本实施例中，控制器的硬件装置可包括中央处理单元(CentralProcessing Unit，CPU)，还可包括其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
控制器的硬件装置还包括存储器。存储器可以是处理器的内部存储单元，例如处理器的硬盘或内存。存储器也可以是处理器的外部存储设备，例如处理器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。存储器还可以既包括处理器的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及处理器所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
参照图1，故障检测装置包括标准作业建立单元、图像分割单元、实时动作图像建立单元及异常动作检测单元。
标准作业建立单元用于对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11，值得说明的是，T视频帧提取是指，视频帧序列中相邻两个帧之间的相隔时间为T。
参照图3，图像分割单元包括Mask R-CNN深度神经网络，Mask R-CNN深度神经网络用于对视频帧序列A11的图像进行图像分割，分离单工业机器人图像，建立多个单工业机器人作业视频帧序列A12，并将多个单工业机器人作业视频帧序列A12发送至标准作业建立单元。
参照图5，标准作业建立单元用于接收多个单工业机器人作业视频帧序列A12并分别提取多个单工业机器人作业视频帧序列A12中包含单工业机器人一个周期的动作图像的帧，分别建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，单工业机器人标准作业模式视频帧序列A13中每一帧包含工业机器人的一个作业动作。
值得说明的是，本实施例中，采用人工标注的方式，确定工作机器人一个工作周期的起始帧I11和结束帧I1m。在另一个实施中，可以采取另外的方式确定工作机器人一个工作周期的起始帧I11和结束帧I1m，例如，先确定工作机器人一个工作周期的起始图像为起始帧I11，确定与该起始帧I11相隔一个周期N时间的图像为结束帧I1m。在另一个实施例中，还可以采取另外的方式确定工作机器人一个工作周期的起始帧I11和结束帧I1m，例如，先确定工作机器人一个工作周期的起始图像为起始帧I11，寻找与该起始帧I11相隔时间大于时间阈值且与该起始帧I11的图像相似度大于相似阈值的图像为结束帧I1m。
实时动作图像建立单元用于对实时采集多工业机器人实时动作视频进行T视频帧提取，形成实时作业视频帧序列A21，值得说明的是，T视频帧提取是指，视频帧序列中相邻两个帧之间的相隔时间为T。
图像分割单元中的Mask R-CNN深度神经网络还用于对实时作业视频帧序列A21中的图像进行分割并将分割后的图像发送至实时动作图像建立单元。
值得说明的是，图像分割单元对图像进行分割具体包括以下步骤，
S131：建立并训练Mask R-CNN深度神经网络，执行S132；
S132：使用Mask R-CNN深度神经网络对图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人作业图像，执行S1331；
参照图4，S1331：获取Mask R-CNN深度神经网络输出的目标实例包围框和目标实例掩码矩阵，其中，目标实例包围框包含机器人实例的包围矩形框坐标点集合，目标实例掩码矩阵为一个0-1矩阵，目标实例掩码矩阵的维数与目标实例包围框中包含的坐标点(像素)数相同，执行S1332；
S1332：创建背景图像1，背景图像1的颜色为全白色，背景图像1的大小与目标实例分割前的图像相同，执行S1333；
S1333：判断Mask R-CNN输出的目标实例包围框是否已经全部处理，若是，执行S1339，若否，执行S1334；
S1334：顺序获取一个未处理的实例包围框1，执行S1335；
S1335：判断实例包围框1中的坐标点是否已全部处理完，若是，执行S1332，若否，执行S1336；
S1336：从Mask R-CNN输出的掩码矩阵中找到与包围框1对应的掩码矩阵1。从掩码矩阵1中获取坐标点1处的掩码1，执行S1337；
S1337：判断坐标点1处的掩码1的值是否等于1，若是，执行S1338，若否，执行S1335；
S1338：将上述背景图像1中坐标点1处的颜色设置为黑色，执行S1335；
S1339：结束处理。
实时动作图像建立单元还用于接收图像分割单元分割后的图像，提取包含单工业机器人一个周期的动作图像的帧，建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…，I2n>。
值得说明的是，本实施例中，采用人工标注的方式，确定工作机器人一个工作周期的起始帧I21和结束帧I2n。在另一个实施中，可以采取另外的方式确定工作机器人一个工作周期的起始帧I21和结束帧I2n，例如，先确定工作机器人一个工作周期的起始图像为起始帧I21，确定与该起始帧I211相隔一个周期N时间的图像为结束帧I2n。在另一个实施例中，还可以采取另外的方式确定工作机器人一个工作周期的起始帧I21和结束帧I2n，例如，先确定工作机器人一个工作周期的起始图像为起始帧I21，寻找与该起始帧I21相隔时间大于时间阈值且与该起始帧I21的图像相似度大于相似阈值的图像为结束帧I2n。
具体的，通过上述处理，使得图像分割单元输出的单工业机器人图像为二值化图像，单工业机器人图像包含一个工业机器人的工作图像，且该工业机器人在单工业机器人图像中的位置与该工业机器人在视频帧序列A11的图像中的位置一致，用于提高匹配的准确性。
异常动作检测单元用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，并在检测单工业机器人动作异常时发送急停控制信号。
值得说明的是，异常动作检测单元检测单工业机器人是否动作异常包括以下步骤，
S31：初始化待匹配单工业机器人图像的序号I2b，b∈(1,2，......，n)，令b＝1，执行S32；
S32：判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与该待匹配单工业机器人图像近似匹配的图像，若是，执行S33，若否，执行S37；
S33：记录单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a，更新该待匹配单工业机器人图像的序号，令I2b＝I1a,执行S34；
S34：判断b是否大于2，若是，执行S35，若否，执行S36；
S35：判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续，若是，执行S36，若否，执行S37；
S36：令b＝b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配，执行S32；
S37：发送急停控制信号。
实施例2
参照图2、6，一种基于视觉的多工业机器人故障检测方法，包括以下步骤，
S1：采集多工业机器人标准作业视频，建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，执行S2；
S2：实时采集多工业机器人作业视频，建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，所述单工业机器人实时作业视频帧序列A22包含多帧单工业机器人实时动作图像，执行S3；
S3：将单工业机器人实时动作图像与对应的单工业机器人标准作业模式视频帧序列A13中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，若是，执行S4，若否，执行S2；
S4：控制该工业机器人急停。
下面依次对各个步骤进行详细说明。
S1具体包括以下步骤，
S11：采集多工业机器人标准作业视频，执行S12；
S12：对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11，执行S13；
S13：对视频帧序列A11中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12；
参照图5，S14：对所述单工业机器人作业视频帧序列A12进行提取，获得一个工作周期的单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>。
值得说明的是，对于S14中获取一个周期的单工业机器人标准作业模式视频帧序列A13，本实施例中，采用人工标注的方式，确定工作机器人一个工作周期的起始帧I11和结束帧I1m。在另一个实施中，可以采取另外的方式确定工作机器人一个工作周期的起始帧I11和结束帧I1m，例如，先确定工作机器人一个工作周期的起始图像为起始帧I11，确定与该起始帧I11相隔一个周期N时间的图像为结束帧I1m。在另一个实施例中，还可以采取另外的方式确定工作机器人一个工作周期的起始帧I11和结束帧I1m，例如，先确定工作机器人一个工作周期的起始图像为起始帧I11，寻找与该起始帧I11相隔时间大于时间阈值且与该起始帧I11的图像相似度大于相似阈值的图像为结束帧I1m。
具体的，采集多工业机器人标准作业视频，对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11。多工业机器人标准作业视频中的图像包含了多个单工业机器人的动作图像，因此需要对多工业机器人标准作业视频中的图像进行分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12。在实际生产中，多个单工业机器人并不完全同步工作，为了减少拍摄次数，方便同时建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，该多工业机器人标准作业视频包括多个单工业机器人至少一个工作周期的图像，因此需要对视频帧序列进行提取，对多个单工业机器人作业视频帧序列A12分别进行提取，获得多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，单工业机器人标准作业模式视频帧序列A13包含单工业机器人一个周期的动作图像的帧，单工业机器人标准作业模式视频帧序列A13中每一帧包含工业机器人的一个作业动作。
参照图3，S13具体包括以下步骤，
S131：建立并训练Mask R-CNN深度神经网络，执行S132；
S132：使用Mask R-CNN深度神经网络对视频帧序列A11中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12，执行S1331；
参照图4，S1331：获取Mask R-CNN深度神经网络输出的目标实例包围框和目标实例掩码矩阵，其中，目标实例包围框包含机器人实例的包围矩形框坐标点集合，目标实例掩码矩阵为一个0-1矩阵，目标实例掩码矩阵的维数与目标实例包围框中包含的坐标点(像素)数相同，执行S1332；
S1332：创建背景图像1，背景图像1的颜色为全白色，背景图像1的大小与目标实例分割前的图像相同，执行S1333；
S1333：判断Mask R-CNN输出的目标实例包围框是否已经全部处理，若是，执行S1339，若否，执行S1334；
S1334：顺序获取一个未处理的实例包围框1，执行S1335；
S1335：判断实例包围框1中的坐标点是否已全部处理完，若是，执行S1332，若否，执行S1336；
S1336：从Mask R-CNN输出的掩码矩阵中找到与包围框1对应的掩码矩阵1。从掩码矩阵1中获取坐标点1处的掩码1，执行S1337；
S1337：判断坐标点1处的掩码1的值是否等于1，若是，执行S1338，若否，执行S1335；
S1338：将上述背景图像1中坐标点1处的颜色设置为黑色，执行S1335；
S1339：结束处理。
经过上述处理，使得单工业机器人图像为二值化图像，单工业机器人图像包含一个工业机器人的工作图像，且该工业机器人在单工业机器人图像中的位置与该工业机器人在视频帧序列A11的图像中的位置一致。
S2具体包括以下步骤，
S21：实时采集多工业机器人作业视频，执行S22；
S22：对多工业机器人作业视频进行T视频帧提取，形成实时作业视频帧序列A21，执行S23；
参照图5，S23：对实时作业视频帧序列A21中的图像进行图像分割，分离单工业机器人图像，获得多个一个工作周期的单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，执行S3。
值得说明的是，本实施例中，采用人工标注的方式，确定工作机器人一个工作周期的起始帧I21和结束帧I2n。在另一个实施中，可以采取另外的方式确定工作机器人一个工作周期的起始帧I21和结束帧I2n，例如，先确定工作机器人一个工作周期的起始图像为起始帧I21，确定与该起始帧I211相隔一个周期N时间的图像为结束帧I2n。在另一个实施例中，还可以采取另外的方式确定工作机器人一个工作周期的起始帧I21和结束帧I2n，例如，先确定工作机器人一个工作周期的起始图像为起始帧I21，寻找与该起始帧I21相隔时间大于时间阈值且与该起始帧I21的图像相似度大于相似阈值的图像为结束帧I2n。
还值得说明的是，S23中使用Mask R-CNN深度神经网络对实时作业视频帧序列A21中的图像进行图像分割，对实时作业视频帧序列A21中的图像进行图像分割的流程与对对视频帧序列A11中的图像进行图像分割的流程一致。
S3具体包括以下步骤，
S31：初始化待匹配单工业机器人图像的序号I2b，b∈(1,2，……，n)，令b＝1，执行S32；
S32：判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与该待匹配单工业机器人图像近似匹配的图像，若是，执行S33，若否，执行S4；
S33：记录单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a，更新该待匹配单工业机器人图像的序号，令I2b＝I1a,执行S34；
S34：判断b是否大于2，若是，执行S35，若否，执行S36；
S35：判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续，若是，执行S36，若否，执行S4；
S36：令b＝b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配，执行S32。
具体的，本方法中，第一阶段对实时作业视频帧序列A21中的图像按照序列号依次进行单次匹配，判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与单张的实时作业视频帧序列A21中的图像匹配的图像，若是，进行第二阶段检测，若否，判断单工业机器人动作异常。第二阶段检测中，判断相邻两帧实时作业视频帧序列A21中的图像对应单工业机器人标准作业模式视频帧序列A13中的序列号是否连续，若是，判断单工业机器人工作正常，进行下一帧的图像匹配。若否，判断单工业机器人动作异常。
以上仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护。
Claims (10)
1.一种基于视觉的多工业机器人故障检测方法，其特征在于，包括以下步骤，
S1：采集多工业机器人标准作业视频，建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，执行S2；
S2：实时采集多工业机器人作业视频，建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，所述单工业机器人实时作业视频帧序列A22包含多帧单工业机器人实时动作图像，执行S3；
S3：将单工业机器人实时动作图像与对应的单工业机器人标准作业模式视频帧序列A13中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，若是，执行S4，若否，执行S2；
S4：控制该工业机器人急停。
2.根据权利要求1所述的一种基于视觉的多工业机器人故障检测方法，其特征在于，所述S1具体包括以下步骤，
S11：采集多工业机器人标准作业视频，执行S12；
S12：对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11，执行S13；
S13：对视频帧序列A11中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12；
S14：对所述单工业机器人作业视频帧序列A12进行提取，获得一个工作周期的单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>。
3.根据权利要求2所述的一种基于视觉的多工业机器人故障检测方法，其特征在于，所述S13具体包括以下步骤，
S131：建立并训练Mask R-CNN深度神经网络，执行S132；
S132：使用Mask R-CNN深度神经网络对视频帧序列A11中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人作业视频帧序列A12。
4.根据权利要求3所述的一种基于视觉的多工业机器人故障检测方法，其特征在于，所述S132中单工业机器人图像为二值化图像，所述单工业机器人图像包含一个工业机器人的工作图像，且该工业机器人在单工业机器人图像中的位置与该工业机器人在视频帧序列A11的图像中的位置一致。
5.根据权利要求3所述的一种基于视觉的多工业机器人故障检测方法，其特征在于，所述S2具体包括以下步骤，
S21：实时采集多工业机器人作业视频，执行S22；
S22：对多工业机器人作业视频进行T视频帧提取，形成实时作业视频帧序列A21，执行S23；
S23：对实时作业视频帧序列A21中的图像进行图像分割，分离单工业机器人图像，获取多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，执行S3。
6.根据权利要求5所述的一种基于视觉的多工业机器人故障检测方法，其特征在于，所述S23中使用Mask R-CNN深度神经网络对实时作业视频帧序列A21中的图像进行图像分割。
7.根据权利要求1-6任意一项所述的一种基于视觉的多工业机器人故障检测方法，其特征在于，所述S3具体包括以下步骤，
S31：初始化待匹配单工业机器人图像的序号I2b，b∈(1,2，......，n)，令b＝1，执行S32；
S32：判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与该待匹配单工业机器人图像近似匹配的图像，若是，执行S33，若否，执行S4；
S33：记录单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a，更新该待匹配单工业机器人图像的序号，令I2b＝I1a,执行S34；
S34：判断b是否大于2，若是，执行S35，若否，执行S36；
S35：判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续，若是，执行S36，若否，执行S4；
S36：令b＝b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配，执行S32。
8.一种基于视觉的多工业机器人故障检测***，其特征在于，包括，
图像采集装置，用于采集多工业机器人标准作业视频，还用于实时采集多工业机器人实时动作视频；
故障检测装置，用于接收图像采集装置采集的多工业机器人标准作业视频建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，还用于接收图像采集装置实时采集的多工业机器人实时动作视频，建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>，所述故障检测装置还用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，并在检测单工业机器人动作异常时发送急停控制信号；
控制器，用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。
9.根据权利要求8所述的一种基于视觉的多工业机器人故障检测***，其特征在于，所述故障检测装置包括标准作业建立单元、图像分割单元、实时动作图像建立单元及异常动作检测单元，
所述标准作业建立单元用于对多工业机器人标准作业视频进行T视频帧提取，形成视频帧序列A11；
所述图像分割单元包括Mask R-CNN深度神经网络，Mask R-CNN深度神经网络用于对视频帧序列A11的图像进行图像分割，分离单工业机器人图像，建立多个单工业机器人作业视频帧序列A12，并将多个单工业机器人作业视频帧序列A12发送至所述标准作业建立单元；
所述标准作业建立单元用于接收多个单工业机器人作业视频帧序列A12并分别提取多个单工业机器人作业视频帧序列A12中包含单工业机器人一个周期的动作图像的帧，分别建立多个单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>，所述单工业机器人标准作业模式视频帧序列A13中每一帧包含工业机器人的一个作业动作；
所述实时动作图像建立单元用于对实时采集多工业机器人实时动作视频进行T视频帧提取，形成实时作业视频帧序列A21；
所述图像分割单元中的Mask R-CNN深度神经网络还用于对实时作业视频帧序列A21中的图像进行分割并将分割后的图像发送至实时动作图像建立单元；
所述实时动作图像建立单元还用于接收图像分割单元分割后的图像建立多个单工业机器人实时作业视频帧序列A22，<I21,I22,…I2n>；
所述异常动作检测单元用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配，采用两阶段法检测单工业机器人是否动作异常，并在检测单工业机器人动作异常时发送急停控制信号。
10.根据权利要求8或9所述的一种基于视觉的多工业机器人故障检测***，其特征在于，所述异故障检测装置检测单工业机器人是否动作异常包括以下步骤，
S31：初始化待匹配单工业机器人图像的序号I2b，b∈(1,2，......，n)，令b＝1，执行S32；
S32：判断单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中是否存在与该待匹配单工业机器人图像近似匹配的图像，若是，执行S33，若否，执行S37；
S33：记录单工业机器人标准作业模式视频帧序列A13，<I11,I12,…I1m>中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a，更新该待匹配单工业机器人图像的序号，令I2b＝I1a,执行S34；
S34：判断b是否大于2，若是，执行S35，若否，执行S36；
S35：判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续，若是，执行S36，若否，执行S37；
S36：令b＝b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配，执行S32；
S37：发送急停控制信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010342977.7A CN111531580B (zh) | 2020-04-27 | 2020-04-27 | 一种基于视觉的多工业机器人故障检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010342977.7A CN111531580B (zh) | 2020-04-27 | 2020-04-27 | 一种基于视觉的多工业机器人故障检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111531580A true CN111531580A (zh) | 2020-08-14 |
| CN111531580B CN111531580B (zh) | 2023-02-07 |
Family
ID=71975467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010342977.7A Active CN111531580B (zh) | 2020-04-27 | 2020-04-27 | 一种基于视觉的多工业机器人故障检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111531580B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114378835A (zh) * | 2022-03-25 | 2022-04-22 | 深圳威洛博机器人有限公司 | 一种基于图像识别的机器手控制***及其控制方法 |
| CN115346034A (zh) * | 2022-10-17 | 2022-11-15 | 山东德晟机器人股份有限公司 | 一种基于5g网络的机器人远程诊断与维护方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6356671B1 (en) * | 1991-07-05 | 2002-03-12 | Fanuc Ltd. | Image processing method for an industrial visual sensor |
| JP2008269063A (ja) * | 2007-04-17 | 2008-11-06 | Softopia Japan Foundation | 多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラム |
| CN106393144A (zh) * | 2016-11-26 | 2017-02-15 | 顺德职业技术学院 | 一种多机器人操作模式下视觉跟踪的方法及*** |
| JP2017121685A (ja) * | 2016-01-07 | 2017-07-13 | 富士通株式会社 | 製造時異常判断方法、製造時異常判断プログラム、及び製造装置 |
| CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
-
2020
- 2020-04-27 CN CN202010342977.7A patent/CN111531580B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6356671B1 (en) * | 1991-07-05 | 2002-03-12 | Fanuc Ltd. | Image processing method for an industrial visual sensor |
| JP2008269063A (ja) * | 2007-04-17 | 2008-11-06 | Softopia Japan Foundation | 多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラム |
| JP2017121685A (ja) * | 2016-01-07 | 2017-07-13 | 富士通株式会社 | 製造時異常判断方法、製造時異常判断プログラム、及び製造装置 |
| CN106393144A (zh) * | 2016-11-26 | 2017-02-15 | 顺德职业技术学院 | 一种多机器人操作模式下视觉跟踪的方法及*** |
| CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114378835A (zh) * | 2022-03-25 | 2022-04-22 | 深圳威洛博机器人有限公司 | 一种基于图像识别的机器手控制***及其控制方法 |
| CN114378835B (zh) * | 2022-03-25 | 2022-06-17 | 深圳威洛博机器人有限公司 | 一种基于图像识别的机器手控制***及其控制方法 |
| CN115346034A (zh) * | 2022-10-17 | 2022-11-15 | 山东德晟机器人股份有限公司 | 一种基于5g网络的机器人远程诊断与维护方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111531580B (zh) | 2023-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507147A (zh) | 智能巡检方法、装置、计算机设备和存储介质 | |
| CN111531580B (zh) | 一种基于视觉的多工业机器人故障检测方法及*** | |
| CN110738135A (zh) | 一种工人作业工步规范视觉识别判定与指导方法及*** | |
| CN110490171B (zh) | 一种危险姿态识别方法、装置、计算机设备及存储介质 | |
| CN111507261B (zh) | 一种基于视觉目标定位的工序操作质量监控方法 | |
| CN111149129A (zh) | 异常检测装置及异常检测方法 | |
| CN112070000A (zh) | 智能识别算法训练方法、装置、终端服务器及可存储介质 | |
| CN111566493A (zh) | 用于断路器状态监测的方法和*** | |
| CN114187561A (zh) | 异常行为的识别方法、装置、终端设备及存储介质 | |
| CN113822385B (zh) | 基于图像的输煤异常监测方法、装置、设备及存储介质 | |
| CN111531581B (zh) | 一种基于视觉的工业机器人故障动作检测方法及*** | |
| CN116403162B (zh) | 一种机场场面目标行为识别方法、***及电子设备 | |
| JP7139987B2 (ja) | 工程情報取得システム、工程情報取得方法、および工程情報取得プログラム | |
| CN116682162A (zh) | 一种基于实时视频流的机器人人员检测算法 | |
| CN111695445A (zh) | 一种人脸识别的方法、装置、设备及计算机可读存储介质 | |
| CN111447404B (zh) | 一种摄像机 | |
| CN112949606B (zh) | 工服穿戴状态检测方法、装置、存储介质及电子装置 | |
| CN111531582B (zh) | 一种基于视觉的工业机器人故障检测方法及*** | |
| US20210027232A1 (en) | Difference extracting device | |
| CN114155483A (zh) | 监控告警方法、装置、存储介质及计算机设备 | |
| CN114565870A (zh) | 一种基于视觉的生产线管控方法及装置、***、电子设备 | |
| CN115273215A (zh) | 作业识别***以及作业识别方法 | |
| KR102623979B1 (ko) | 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법 | |
| US20230274393A1 (en) | Model generation device for visual inspection and visual inspection device | |
| KR20240031018A (ko) | 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230919 Address after: No. 28 Manao 5th Road, Zhashan Street, Caidian District, Wuhan City, Hubei Province, 430000 Patentee after: Wuhan Zhongshe Robot Technology Co.,Ltd. Address before: 430000 No.206 Guanggu 1st Road, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee before: WUHAN INSTITUTE OF TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Vision based Fault Detection Method and System for Multiple Industrial Robots Granted publication date: 20230207 Pledgee: Wuhan Rural Commercial Bank Co.,Ltd. Caidian sub branch Pledgor: Wuhan Zhongshe Robot Technology Co.,Ltd. Registration number: Y2020420000011 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |