CN114565870A - 一种基于视觉的生产线管控方法及装置、***、电子设备 - Google Patents

一种基于视觉的生产线管控方法及装置、***、电子设备 Download PDF

Info

Publication number
CN114565870A
CN114565870A CN202210161702.2A CN202210161702A CN114565870A CN 114565870 A CN114565870 A CN 114565870A CN 202210161702 A CN202210161702 A CN 202210161702A CN 114565870 A CN114565870 A CN 114565870A
Authority
CN
China
Prior art keywords
event
production line
neural network
camera
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210161702.2A
Other languages
English (en)
Inventor
陈家安
汪凯巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Research Institute of Zhejiang University
Original Assignee
Jiaxing Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Research Institute of Zhejiang University filed Critical Jiaxing Research Institute of Zhejiang University
Priority to CN202210161702.2A priority Critical patent/CN114565870A/zh
Publication of CN114565870A publication Critical patent/CN114565870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的生产线管控方法及装置、***、电子设备，涉及机器视觉技术领域。在工业生产车间中，一些重要的生产流水线工序需要严格的流程管控，需要对违规取出物品和放入物品进行识别。同时，生产线周围相关人员的一些危险动作也需要被及时识别，降低人员受伤和设备受损的风险。本发明使用事件相机获取生产线周围的画面，在流水线的开放区域布置网络摄像头。基于图像处理相关算法和深度学习相关算法，使用处理器进行处理分析。在事件相机短时间内输出较多事件时，分别触发进行违规取放识别和危险动作识别。处理器将各种结果记录保存，传递给管理人员的移动终端，从而高效实现生产线的多方面管控。

Description

一种基于视觉的生产线管控方法及装置、***、电子设备
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种基于视觉的生产线管控方法及装置、***、电子设备。
背景技术
在工业生产车间中，一些重要的生产流水线工序需要严格的流程管控。一般不希望某些关键的流水线上有产品被取走或者中途放入，这样会对后续的生产工序带来隐患，很有可能会影响产品品质，进而需要对生产线上违规取出产品和放入产品进行识别。同时，生产线周围相关人员的一些危险动作也需要被及时识别，避免带来各种隐患，降低人员受伤和设备受损的风险。
针对违规取放产品识别，传统的解决方案中一般可以选择在硬件上进行管控，即在流水线上添加限制人为取放的硬件设施等，并进行相应的报警提示。然而随着生产线的复杂化，以及不同生产产品的工序要求不同，不再适合随意添加相应的硬件限制设备。此外硬件限制设备不便于管理人员追溯和确认。
另一方面，针对生产线周围相关人员的危险动作识别，一般使用的是监控网络摄像头进行画面监控，借助动作识别算法进行判断，传统的网络摄像头在一些动态范围较大的车间内不易获取到高画面质量的图像，并且对一些特殊的快速运动的异常动作容易出现运动模糊，这些都不利于动作识别算法的计算处理。
发明内容
本申请实施例的目的是提供一种基于视觉的生产线管控方法及装置、***、电子设备，以解决相关技术中存在的生产线不方便添加硬件限制设备，不便于追溯和确认违规取放情况，以及动态范围较大的车间中传统网络摄像头动作识别算法容易出错的技术问题。
根据本申请实施例的第一方面，提供一种基于视觉的生产线管控方法，包括：
获取网络摄像头采集的第一实时视频流，所述网络摄像头至少有一个，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；
若神经网络分类输出为正常工作类，则继续进行下一次预测；
若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；
若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；
若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；
获取事件相机采集的第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；
通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
进一步地，已训练的取放识别神经网络的训练过程包括如下步骤：
从生产线多段视频中提取帧图像画面，制作数据集；
提取生产线上正常工作时的帧图像画面，作为所述数据集的正常工作类；
提取生产线上有异常取放发生瞬间的帧图像画面，作为所述数据集的异常取放类；
使用所述数据集训练分类神经网络，达到所需的相应准确率，得到所述已训练的取放识别神经网络。
进一步地，通过I0和I1计算稠密光流F，统计F的方向分布，包括如下步骤：
通过光流计算方法，从画面相近且画面存在运动变化的两帧图像I0和I1计算出稠密光流F，计算出所述稠密光流F的每一像素点的光流方向参数数值，统计所有像素点的光流方向参数数值在不同角度区间的占比。
进一步地，将事件帧图像存入时间窗口队列中，包括如下步骤：
设置一个长度为LE的时间窗口队列，初始值全部置为0；
在所述第一实时事件流中，每累计E个事件得到一张事件帧图像，存入所述时间窗口队列，实时得到存满事件帧图像的时间窗口队列。
进一步地，已训练的动作识别神经网络的训练过程包括如下步骤：
对所述事件相机获取生产线附近的可活动区域发生一般正常动作的事件流信息和发生特殊危险动作的事件流信息分别保存；
在各段事件流中以每E个事件累计成一张帧图像，生成包含动作信息的视频，制作数据集，数据集包含正常动作类事件帧视频和各种异常动作类事件帧视频；
使用所述数据集训练动作识别神经网络，达到所需的相应准确率，得到所述已训练的动作识别神经网络。
进一步地，还包括：
在所述事件相机持续工作时，当所述事件相机在时间间隔Δt内输出的事件数量大于触发阈值Et时，触发已训练的取放识别神经网络和已训练的动作识别神经网络工作；
在延迟时间间隔ΔT内，若所述事件相机一直保持在时间间隔Δt内输出的事件数量小于触发阈值Et，则已训练的取放识别神经网络和已训练的动作识别神经网络暂停工作，等待下一次触发启动。
根据本申请实施例的第二方面，提供一种基于视觉的生产线管控装置，包括：
获取模块，用于获取网络摄像头采集的第一实时视频流，所述网络摄像头至少有一个，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
第一预测模块，用于在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；
第一判断模块，用于若神经网络分类输出为正常取放类，则继续进行下一次预测；
第二判断模块，用于若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；
第三判断模块，用于若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；
第四判断模块，用于若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；
获取存放模块，用于获取事件相机采集的第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；
第二预测模块，用于通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
根据本申请实施例的第三方面，提供一种基于视觉的生产线管控***，包括：
至少一个网络摄像头，用于采集第一实时视频流，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
一个事件相机，用于采集第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域；
交换机，用于将所述第一实时视频流传递给处理器；
处理器，用于获取网络摄像头采集的第一实时视频流，在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；若神经网络分类输出为正常工作类，则继续进行下一次预测；若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；获取事件相机采集的第一实时事件流，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
根据本申请实施例的第四方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第五方面，提供一种处理器可读存储介质，其上存储有处理器指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
根据以上技术方案，本申请采用网络摄像头获取生产线上开放区域画面进行违规取放识别报警，从而避免了复杂产线上硬件限制设备的添加；
采用了取放识别神经网络进行画面判断，从而识别效果稳定，对生产线上多个开放区域产品的违规取放能够达到较高的识别准确率；
采用事件相机进行车间内危险动作的识别，克服了传统网络摄像头在一些动态范围较大的车间内获取的图像质量欠佳，动作识别算法不稳定的问题，进而可以更好地适应多种动态范围的车间场景画面进行监控，可以有效进行动作识别；
采用事件相机作为违规取放识别和危险动作识别的触发，克服了一些监控摄像头或者其他限制设备的使用只能全天候工作，在生产线旁无人的情况下效率很低的问题，进而只在有潜在异常发生时进行处理识别，使得管控方法资源利用效率高；
采用网络摄像头和事件相机作为管控的核心传感器，可以记录下违规取放和危险动作发生时的画面，进而可以对生产线状态进行交互管控，便于追溯和确认。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于视觉的生产线管控方法的流程图。
图2是根据一示例性实施例示出的一种基于视觉的生产线管控***的示意图。
图3是根据一示例性实施例示出的一种基于视觉的生产线管控装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种基于视觉的生产线管控方法的流程图。参考图1，该方法可以包括：
步骤S11，获取网络摄像头采集的第一实时视频流，所述网络摄像头至少有一个，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
步骤S12，在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；
步骤S13，若神经网络分类输出为正常工作类，则继续进行下一次预测；
步骤S14，若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；
步骤S15，若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；
步骤S16，若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；
步骤S17，获取事件相机采集的第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；
步骤S18，通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
由上述实施例可知，本申请采用网络摄像头获取生产线上开放区域画面进行违规取放识别报警，从而避免了复杂产线上硬件限制设备的添加；采用了取放识别神经网络进行画面判断，从而识别效果稳定，对生产线上多个开放区域产品的违规取放能够达到较高的识别准确率；采用事件相机进行车间内危险动作的识别，克服了传统网络摄像头在一些动态范围较大的车间内获取的图像质量欠佳，动作识别算法不稳定的问题，进而可以更好地适应多种动态范围的车间场景画面进行监控，可以有效进行动作识别；采用网络摄像头和事件相机作为管控的核心传感器，可以记录下违规取放和危险动作发生时的画面，进而可以对生产线状态进行交互管控，便于追溯和确认。
在步骤S11的具体实施中，获取网络摄像头采集的第一实时视频流，所述网络摄像头至少有一个，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交。
具体地，参考图2，在生产线1的开放区域(图中示例其中两个)：第一开放区域2和第二开放区域3，布置的第一网络摄像头4和第二网络摄像头5，调整第一网络摄像头4的位置和角度使其视野画面几乎只有第一开放区域2，调整第二网络摄像头5的位置和角度使其视野画面几乎只有第二开放区域3。
在步骤S12的具体实施中，在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测。
具体地，在帧率为FPS的实时视频流中，每隔T帧将当前关键帧I0输入已训练的取放识别神经网络，所述已训练的取放识别神经网络输出结果为正常工作类或异常取放类，并非每一帧都进行处理预测，这样可以省略高帧率的冗余信息，同时满足实时性。
本实施例中，已训练的取放识别神经网络的训练过程包括如下步骤：
A1，从生产线多段视频中提取帧图像画面，制作数据集；
A2，提取生产线上正常工作时的帧图像画面，作为所述数据集的正常工作类；
A3，提取生产线上有异常取放发生瞬间的帧图像画面，作为所述数据集的异常取放类；
A4，使用所述数据集训练分类神经网络，达到所需的相应准确率，得到所述已训练的取放识别神经网络。
采用已训练的取放识别神经网络进行画面判断，可以使识别效果稳定，对生产线上多个开放区域普适性更好，同时能够达到较高的识别准确率。
在步骤S13的具体实施中，若神经网络分类输出为正常工作类，则继续进行下一次预测。
具体地，若神经网络分类输出为正常工作类，则继续在当前状态运行，持续进行下一次关键帧的获取并预测，表示当前没有异常发生。
在步骤S14的具体实施中，若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布。
具体地，若神经网络分类输出为异常取放类，则借助下一次采集的关键帧I1和当前关键帧I0，计算光流，区分取出异常和放入异常；只在神经网络分类输出为异常取放类时，进行光流计算，输出为正常工作类时并不进行光流计算，可以尽可能减少***的计算消耗，从而满足实时检测和报警。
进一步地，通过I0和I1计算稠密光流F，统计F的方向分布，包括如下步骤：
通过光流计算方法，从画面相近且画面存在运动变化的两帧图像I0和I1计算出稠密光流F，计算出所述稠密光流F的每一像素点的光流方向参数数值，统计所有像素点的光流方向参数数值在不同角度区间的占比。
光流的方向表示的是画面中物体运动的方向，不同角度区间的占比可以反应出产品的运动趋势，取出和放入是两个有明显运动方向差别的异常类别，通过稠密光流的计算和统计可以有效地区分出是取出或者放入产品。
在步骤S15的具体实施中，若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品。
具体地，设置取出角度下界θ1和取出角度上界θ2，并设置取出识别阈值G，若F的方向分布中落在区间[θ1,θ2]的占比大于取出识别阈值G，则表示该次异常满足取出产品时的光流结果，可以认为此次违规异常为取出产品。
在步骤S16的具体实施中，若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品。
具体地，设置放入角度下界θ3和放入角度上界θ4，并设置放入识别阈值P，若F的方向分布中落在区间[θ3,θ4]的占比大于放入识别阈值P，则表示该次异常满足放入产品时的光流结果，可以认为此次违规异常为放入产品。
在步骤S17的具体实施中，获取事件相机采集的第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中。
具体地，参考图2，事件相机7可以捕获生产线1附近可活动区域的运动信息，输出一定数量的事件对应生产线1附近可活动区域当前有人员活动发生，可能出现潜在异常，进行识别判断。
进一步地，将事件帧图像存入时间窗口队列中，包括如下步骤：
设置一个长度为LE的时间窗口队列，初始值全部置为0；
在所述第一实时事件流中，每累计E个事件得到一张事件帧图像，存入所述时间窗口队列，实时得到存满事件帧图像的时间窗口队列。
时间窗口队列实时保存了当前发生动作的时序信息，事件帧图像保存了当前发生动作的空间信息，完整的时间窗口队列可以有效被已训练的动作识别神经网络进行处理预测，从而得到动作识别结果。使用时间窗口队列可以满足危险动作的实时识别。
在步骤S18的具体实施中，通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
具体地，动作识别神经网络可以对符合条件的时间窗口队列进行预测，得到动作识别结果，将存满事件帧图像的时间窗口队列输入已训练的动作识别神经网络，所述已训练的动作识别神经网络将输出动作识别结果，从而判断有无待识别的危险动作发生。
进一步地，已训练的动作识别神经网络的训练过程包括如下步骤：
对所述事件相机获取生产线附近的可活动区域发生一般正常动作的事件流信息和发生特殊危险动作的事件流信息分别保存；
在各段事件流中以每E个事件累计成一张帧图像，生成包含动作信息的视频，制作数据集，数据集包含正常动作类事件帧视频和各种异常动作类事件帧视频；
使用所述数据集训练动作识别神经网络，达到所需的相应准确率，得到所述已训练的动作识别神经网络。
事件相机具有低延迟，高动态范围的特点，在一些动态范围较大的车间场景下，以及易产生运动模糊的快速动作发生的情况下，可以很好地进行动作识别。
进一步地，本发明实施例提供的一种基于视觉的生产线管控方法还可包括：
步骤S19，在所述事件相机持续工作时，当所述事件相机在时间间隔Δt内输出的事件数量大于触发阈值Et时，触发已训练的取放识别神经网络和已训练的动作识别神经网络工作；
具体地，参考图2，事件相机7可以捕获生产线1附近可活动区域的运动信息，输出的事件数量多对应当前有人员活动发生，可能出现潜在异常，需要运行算法进行识别判断。以事件相机7输出的事件数量作为***的触发条件，设置时间间隔Δt和触发阈值Et，当所述事件相机在时间间隔Δt内输出的事件数量大于触发阈值Et时，已训练的取放识别神经网络和已训练的动作识别神经网络开始工作，进行相应的预测判断。
步骤S20，在延迟时间间隔ΔT内，若所述事件相机一直保持在时间间隔Δt内输出的事件数量小于触发阈值Et，则已训练的取放识别神经网络和已训练的动作识别神经网络暂停工作，等待下一次触发启动。
具体地，设置延迟时间间隔ΔT，若所述事件相机在延迟时间间隔ΔT内，一直保持在时间间隔Δt内输出的事件数量小于触发阈值Et，表示当前区域内一段时间都没有人员活动，已训练的取放识别神经网络和已训练的动作识别神经网络暂停工作，等待下一次触发启动，从而***不需要全天候工作，只在有潜在异常发生时进行处理识别，进而使得管控方法资源利用效率高。
本发明实施例还提供一种基于视觉的生产线管控***，参考图2，该***可以包括：
至少一个网络摄像头，用于采集第一实时视频流，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
一个事件相机，用于采集第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域；
交换机，用于将所述第一实时视频流传递给处理器；
处理器，用于获取网络摄像头采集的第一实时视频流，在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；若神经网络分类输出为正常工作类，则继续进行下一次预测；若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；获取事件相机采集的第一实时事件流，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
具体地，参考图2，以两个网络摄像头为例，将第一网络摄像头4和第二网络摄像头5连接到网络交换机6，并将网络交换机6与处理器8相连；
在生产线1附近布置事件相机7，调整事件相机7的位置和角度使其视野画面包括生产线1附近的可活动区域。将事件相机7连接到处理器8；
处理器8将各种处理分析结果记录保存，也可进一步发送给移动终端9。
以第一开放区域2和第一网络摄像头4为例(第二开放区域3和第二网络摄像头5等算法相同)，对违规取放进行识别的具体内容为：
处理器8获取第一网络摄像头4采集的第一开放区域2的实时视频流，在帧率为FPS的所述实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；
若神经网络分类输出为正常工作类，则继续进行下一次预测；
若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；
若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品，处理器8将处理分析结果记录保存，也可进一步发送给移动终端9；
若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品，处理器8将处理分析结果记录保存，也可进一步发送给移动终端9。
由上述实施例可知，第一网络摄像头4可以获取生产线1上第一开放区域2的画面进行违规取放识别报警，同时处理器8可以对异常画面进行记录保存，也可进一步发送给移动终端9，管理人员可以查看相关的画面等信息，便于追溯和确认。采用了取放识别神经网络进行画面判断，并在判断出异常结果时，进行下一关键帧获取，计算稠密光流F，统计F的方向分布，区分出了取出和放入两种状态。
具体地，在帧率为FPS的实时视频流中，每隔T帧进行一次神经网络分类预测，可以省略高帧率的冗余信息，同时，只在预测为异常类时，进行光流计算，可以尽可能减少***的计算消耗，从而满足实时检测和报警。
以事件相机7和生产线1为例，对危险动作进行识别的具体内容为：
处理器8获取事件相机7采集的生产线1附近的可活动区域实时事件流，将所述实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；
通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
由上述实施例可知，本申请采用事件相机进行车间内危险动作的识别，克服了传统网络摄像头在一些动态范围较大的车间内获取的图像质量欠佳，动作识别算法不稳定的问题，进而可以更好地适应多种动态范围的车间场景画面进行监控，可以有效进行动作识别，使用时间窗口队列可以满足危险动作的实时识别。
与前述的基于视觉的生产线管控方法的实施例相对应，本申请还提供了基于视觉的生产线管控装置的实施例。
图3是根据一示例性实施例示出的一种基于视觉的生产线管控装置框图。
参照图3，该装置包括：
获取模块21，用于获取网络摄像头采集的第一实时视频流，所述网络摄像头至少有一个，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
第一预测模块22，用于在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；
第一判断模块23，用于若神经网络分类输出为正常取放类，则继续进行下一次预测；
第二判断模块24，用于若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；
第三判断模块25，用于若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；
第四判断模块26，用于若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；
获取存放模块27，用于获取事件相机采集的第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；
第二预测模块28，用于通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种基于视觉的生产线管控方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的一种基于视觉的生产线管控方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于视觉的生产线管控方法，其特征在于，包括：
获取网络摄像头采集的第一实时视频流，所述网络摄像头至少有一个，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；
若神经网络分类输出为正常工作类，则继续进行下一次预测；
若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；
若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；
若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；
获取事件相机采集的第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；
通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
2.根据权利要求1所述的一种基于视觉的生产线管控方法，其特征在于，已训练的取放识别神经网络的训练过程包括如下步骤：
从生产线多段视频中提取帧图像画面，制作数据集；
提取生产线上正常工作时的帧图像画面，作为所述数据集的正常工作类；
提取生产线上有异常取放发生瞬间的帧图像画面，作为所述数据集的异常取放类；
使用所述数据集训练分类神经网络，达到所需的相应准确率，得到所述已训练的取放识别神经网络。
3.根据权利要求1所述的一种基于视觉的生产线管控方法，其特征在于，通过I0和I1计算稠密光流F，统计F的方向分布，包括如下步骤：
通过光流计算方法，从画面相近且画面存在运动变化的两帧图像I0和I1计算出稠密光流F，计算出所述稠密光流F的每一像素点的光流方向参数数值，统计所有像素点的光流方向参数数值在不同角度区间的占比。
4.根据权利要求1所述的一种基于视觉的生产线管控方法，其特征在于，将事件帧图像存入时间窗口队列中，包括如下步骤：
设置一个长度为LE的时间窗口队列，初始值全部置为0；
在所述第一实时事件流中，每累计E个事件得到一张事件帧图像，存入所述时间窗口队列，实时得到存满事件帧图像的时间窗口队列。
5.根据权利要求1所述的一种基于视觉的生产线管控方法，其特征在于，已训练的动作识别神经网络的训练过程包括如下步骤：
对所述事件相机获取生产线附近的可活动区域发生一般正常动作的事件流信息和发生特殊危险动作的事件流信息分别保存；
在各段事件流中以每E个事件累计成一张帧图像，生成包含动作信息的视频，制作数据集，数据集包含正常动作类事件帧视频和各种异常动作类事件帧视频；
使用所述数据集训练动作识别神经网络，达到所需的相应准确率，得到所述已训练的动作识别神经网络。
6.根据权利要求1所述的一种基于视觉的生产线管控方法，其特征在于，还包括：
在所述事件相机持续工作时，当所述事件相机在时间间隔Δt内输出的事件数量大于触发阈值Et时，触发已训练的取放识别神经网络和已训练的动作识别神经网络工作；
在延迟时间间隔ΔT内，若所述事件相机一直保持在时间间隔Δt内输出的事件数量小于触发阈值Et，则已训练的取放识别神经网络和已训练的动作识别神经网络暂停工作，等待下一次触发启动。
7.一种基于视觉的生产线管控装置，其特征在于，包括：
获取模块，用于获取网络摄像头采集的第一实时视频流，所述网络摄像头至少有一个，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
第一预测模块，用于在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；
第一判断模块，用于若神经网络分类输出为正常取放类，则继续进行下一次预测；
第二判断模块，用于若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；
第三判断模块，用于若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；
第四判断模块，用于若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；
获取存放模块，用于获取事件相机采集的第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；
第二预测模块，用于通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
8.一种基于视觉的生产线管控***，其特征在于，包括：
至少一个网络摄像头，用于采集第一实时视频流，每个所述网络摄像头的视野仅包含生产线上的开放区域，各个开放区域互不相交；
一个事件相机，用于采集第一实时事件流，所述事件相机的视野包含生产线附近的可活动区域；
交换机，用于将所述第一实时视频流传递给处理器；
处理器，用于获取网络摄像头采集的第一实时视频流，在所述第一实时视频流中，每隔T帧通过已训练的取放识别神经网络对当前关键帧I0进行一次分类预测；若神经网络分类输出为正常工作类，则继续进行下一次预测；若神经网络分类输出为异常取放类，则继续采集下一关键帧I1，通过I0和I1计算稠密光流F，统计F的方向分布；若F的方向分布中，落在取出角度下界θ1和取出角度上界θ2组成的区间[θ1,θ2]的占比大于取出识别阈值G，则此次违规异常为取出产品；若F的方向分布中，落在放入角度下界θ3和放入角度上界θ4组成的区间[θ3,θ4]的占比大于放入识别阈值P，则此次违规异常为放入产品；获取事件相机采集的第一实时事件流，将所述第一实时事件流中每E个事件累计成一张事件帧图像，将所述事件帧图像存入时间窗口队列中；通过已训练的动作识别神经网络对所述时间窗口队列进行预测，识别是否出现危险动作。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。
10.一种处理器可读存储介质，其上存储有处理器指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN202210161702.2A 2022-02-22 2022-02-22 一种基于视觉的生产线管控方法及装置、***、电子设备 Pending CN114565870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210161702.2A CN114565870A (zh) 2022-02-22 2022-02-22 一种基于视觉的生产线管控方法及装置、***、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210161702.2A CN114565870A (zh) 2022-02-22 2022-02-22 一种基于视觉的生产线管控方法及装置、***、电子设备

Publications (1)

Publication Number Publication Date
CN114565870A true CN114565870A (zh) 2022-05-31

Family

ID=81714570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210161702.2A Pending CN114565870A (zh) 2022-02-22 2022-02-22 一种基于视觉的生产线管控方法及装置、***、电子设备

Country Status (1)

Country Link
CN (1) CN114565870A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239205A (zh) * 2022-09-19 2022-10-25 武汉纺友技术有限公司 一种基于大数据的智能生产方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239205A (zh) * 2022-09-19 2022-10-25 武汉纺友技术有限公司 一种基于大数据的智能生产方法和装置

Similar Documents

Publication Publication Date Title
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
US20190197319A1 (en) Video surveillance system, video processing apparatus, video processing method, and video processing program
US8159537B2 (en) Video surveillance equipment and video surveillance system
CN110738135B (zh) 一种工人作业工步规范视觉识别判定与指导方法及***
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
CN111783744A (zh) 一种操作现场安全防护检测方法及装置
CN110705482A (zh) 一种基于视频ai智能分析的人员行为告警提示***
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN113411542A (zh) 一种智能化的工作状况监测设备
CN113660483A (zh) 一种视频播放质量的实时监控方法、装置和计算机设备
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN110619308A (zh) 一种过道杂物检测方法、装置、***和设备
CN112637568B (zh) 基于多节点边缘计算设备的分布式安全监控方法和***
CN104751164A (zh) 物体运动轨迹捕捉方法及***
CN111652185A (zh) 一种基于违章行为识别的安全施工方法、***、装置及存储介质
CN111416960A (zh) 一种基于云服务的视频监控***
CN114565870A (zh) 一种基于视觉的生产线管控方法及装置、***、电子设备
CN112419639A (zh) 一种视频信息的获取方法及装置
KR102142315B1 (ko) 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법
CN110895663B (zh) 一种两轮车识别方法、装置、电子设备及监控***
CN114764895A (zh) 异常行为检测装置和方法
CN116012360A (zh) 遗留物品检测方法、装置、设备、介质和程序产品
CN115346170A (zh) 一种燃气设施区域的智能监控方法及装置
CN113111847A (zh) 一种工序循环的自动监测方法、装置和***
CN112419638A (zh) 一种告警视频的获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination