CN111653023A - 一种智能工厂监管方法 - Google Patents

一种智能工厂监管方法 Download PDF

Info

Publication number
CN111653023A
CN111653023A CN202010442738.9A CN202010442738A CN111653023A CN 111653023 A CN111653023 A CN 111653023A CN 202010442738 A CN202010442738 A CN 202010442738A CN 111653023 A CN111653023 A CN 111653023A
Authority
CN
China
Prior art keywords
personnel
staff
information
factory
supervision method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010442738.9A
Other languages
English (en)
Inventor
罗小华
汤凯
吴巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ouyiyun Technology Co ltd
Original Assignee
Shenzhen Ouyiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ouyiyun Technology Co ltd filed Critical Shenzhen Ouyiyun Technology Co ltd
Priority to CN202010442738.9A priority Critical patent/CN111653023A/zh
Publication of CN111653023A publication Critical patent/CN111653023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及一种智能工厂监管方法，包括根据企业的组织架构或职业岗位对工作人员进行分类，进而在进厂时实现员工、外工人员、访客的识别；通过机器视觉进行人脸识别，进而统计员工的考勤信息；通过机器视觉进行员工的在岗、离岗、脱岗情况的检测以及对应时间的记录；通过机器视觉进行产品中良品、次品的检测以及数据统计，同时计算获取产能数据；通过机器视觉进行厂区内人员违章行为的检测；对各人员在厂区内的实时位置进行定位检测。本发明中的智能工厂监管方法智能化程度高，监管效率高，人力成本低，数据标准统一，管理难度小，能够及时发现工厂运行过程中存在的各方面问题，以方便及时消除各种隐患，提高生产的各方面的安全性。

Description

一种智能工厂监管方法
技术领域
本发明涉及一种智能工厂监管方法。
背景技术
当前，信息技术、新能源、新材料、生物技术等重要领域和前沿方向的革命性突破和交叉融合，正在引发新一轮产业变革，将对企业安全生产产生颠覆性的影响，并改变 厂区的管理格局。特别是新一代信息技术与制造业的深度融合，将促进制造模式、生产 组织方式和产业形态的深刻变革。人工智能、大数据等技术将重构企业安全管理技术体 系；在互联网、物联网、云计算、大数据等泛在信息的强力支持下，智慧厂区将成为未 来制造的主要形式，重复和一般技能劳动将不断被智能装备和生产方式所替代。随着产 业价值链重心由生产端向研发设计、营销服务等的转移，产业形态将从生产型制造向服 务型制造转变。
现在只能工厂安全管理有以下几个痛点：1、现有设备应用效率差。现在工厂花重金采购的服务器、交换机、摄像头、物联网设备等大量设备，始终处于运行状态，耗费 大量运维资源，但设备监测的数据并没有有效利用和激活。例如摄像头，大量厂内的摄 像头仅仅用于安保管理，特别是生产车间内拍摄到的画面数据，并未作为管理依据输入 到管理层，也未形成现有的统计分析方法。2、远程分厂管理。远程分厂的全局设计非 常关键。若没有全局设计，远程分厂会出现每个厂都是一套标准，且一旦失控后面再扭 转很难。例如：N个厂建立了N套方案，彼此相互独立，这样会不断产生数据孤岛、帽 烟囱式开发、研究制定各种解决方案、非标准数据难以汇总等问题。最终造成的结果是 无法统一管理、无法实时获取现场真实信息、无法获得真实数据。各个厂之间的数据不 一致、不匹配、不融合，甚至最终的汇总数据也是很难做到。3、监管人力投入大。为 了保证产能，用大量人力来监管，靠人力和检测设备的半自动化方式统计产品不良率、 生产时间；靠拍脑袋分析问题的原因；靠肉眼识别产品是否有问题，流程的哪个环节有 问题；靠身体扛质量。生产线较少时，人力监控还勉强能应付过来，随着生产线的扩张， 靠人力监控的管理方式就会出现人力紧张、监控不到位等情况；当生产线达到100的量 级时，人力监控的管理方式根本无法实施。即使能够保障每条生产线都有一名专人监控， 但这又造成了无法高效协同的问题，况且其中还产生了大量的沟通成本。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种能够完全智能、统一的实 现对工厂运行中的各种情况进行监管，并能有效发现异常情况的智能工厂监管方法。
本发明解决上述问题所采用的技术方案为：一种智能工厂监管方法，其特征在于：包括
根据企业的组织架构或职业岗位对工作人员进行分类，进而在进厂时实现员工、外 工人员、访客的识别；
通过机器视觉进行人脸识别，进而统计员工的考勤信息；
通过机器视觉进行员工的在岗、离岗、脱岗情况的检测以及对应时间的记录；
通过机器视觉进行产品中良品、次品的检测以及数据统计，同时计算获取产能数据；
通过机器视觉进行厂区内人员违章行为的检测；
对各人员在厂区内的实时位置进行定位检测。
优选地，在实现员工、外工人员、访客识别的基础上，对应采用相应的通行手段，并通过显示屏和/或用户终端进行对应人员的相关信息告知。
作为改进，当识别为工厂员工时，控制设置在门禁位置的闸机打开以供通行，同时通过显示屏和/或员工的用户终端提示不同分类员工对应的工作安全常识内容；
当识别为进行过信息登记的外工人员时，向门禁管理员传送引领信息，门禁管理员 按照引领信息将外公人员引领至相应的地点，同时，通过显示屏和/或外工人员的用户终 端提示相应的安全信息以及作业危害；
当识别为进行过信息登记的访客时，向相应的被访问联系人员传送引领信息，被访 问联系人员到门岗引领访客，同时显示屏和/或访客的用户终端提示相应的外来检测、参 观事项制度以及进行安全风险告知；
并且对无法识别的人员在进入厂区时形成门禁闯入告警信息，并将门禁闯入告警信 息推送至相关人员。
为了避免生产出现问题，提高生产安全性，当检测到设定的关键岗位上的员工脱岗 时间超出对应设定的时间阈值时，形成关键岗位离岗超时告警信息，并将关键岗位离岗超时告警信息推送给相关人员。
为了方便及时查找不良率过高的原因，降低生产风险，在各产品的不良率高于对应 的设定值时，形成不良率过高的告警信息，并将不良率过高的告警信息推送至相关人员； 在产能数据小于对应的设定值时，形成产能下降的告警信息，并将产能下降的告警信息 推送给相关人员。
灵活地，相关管理人员能够配置各视觉机器与能够进行违章行为检测的视觉处理模 块的通信关系。
为了避免监控盲区存在的安全隐患，进一步提高生产的安全性，所述视觉机器包括 设置在固定位置的固定视觉机器，还包括能够在固定视觉机器的监控盲区行走的移动视 觉机器。
优选地，使用全卷积神经网络算法进行厂区内人员违章行为的检测。
优选地，使用引入了注意力机制的Attention-Fusion-YOLO算法进行产品是良品还 是次品的检测。
优选地，使用Faster R-CNN算法进行人员在岗、离岗、脱岗情况的检测。
与现有技术相比，本发明的优点在于：本发明中的智能工厂监管方法智能化程度高， 监管效率高，人力成本低，数据标准统一，管理难度小，能够及时发现工厂运行过程中存在的各方面问题，以方便及时消除各种隐患，提高生产的各方面的安全性。
附图说明
图1为本发明实施例中应用智能工厂监管方法的监管***架构图。
图2为本发明实施例中应用智能工厂监管方法的监管***的网络拓扑图。
图3为本发明实施例中应用智能工厂监管方法的人员在岗检测算法结构图。
图4为本发明实施例中应用智能工厂监管方法中ZF-Net网络结构图。
图5为本发明实施例中应用智能工厂监管方法中RPN网络整体结构图。
图6为本发明实施例中应用智能工厂监管方法中RPN网络详细结构图。
图7为本发明实施例中应用智能工厂监管方法中分类回归网络结构。
图8为本发明实施例中应用智能工厂监管方法中GAN模型中的生成器的网络结构图。
图9为本发明实施例中应用智能工厂监管方法中Fusion-YOLO检测结构图。
图10为本发明实施例中应用智能工厂监管方法中通道注意力机制的结构图。
图11为本发明实施例中应用智能工厂监管方法中基于全卷积神经网络的人员违章 行为的算法模型的整体流程图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示，本实施例中的智能工厂监管方法，可以通过智能工厂监管***进行实现，智能工厂监管***包括具有计算和控制功能的云服务器，还包括与云服务器通信连 接的视觉机器、门禁闸机、各种终端机、人员识别牌等。各终端机上通过应用依权限能 够进行各种信息的查看。
智能工厂监管方法包括以下内容。
根据企业的组织架构或职业岗位对工作人员进行分类，相应在云服务器中存储各人 员的身份信息以及分类信息，并且特定的管理者具有删除、修改云服务器上人员信息的权限。在此基础上，在人员进厂时实现员工、外工人员、访客的识别。根据人员类型的 不同，可以对应设定特定的入厂的有效时间，如人员为员工时，则云服务器上的员工信 息在离职前持续有效。当人员为外工人员，则云服务器上设置对应的工作期限，在超过 设置的工作期限后，则对相应外工人员识别失效。当人员为访客时，则在云服务器上设 置对应的访问时间，再非访问时间内无法进行相应访客的识别。
在需要识别人员信息的位置设置识别设备，通常在厂区门口、车间、办公室大楼门口设置人员识别设备。识别人员时，可以采用现有的各种识别技术和识别设备进行识别，如可以使用芯片卡和感应闸机的方式进行识别，也可以通过能进行人脸识别这种视觉机器来进行识别。
当识别为工厂员工时，控制设置在门禁位置的闸机打开以供员工通行，同时通过显 示屏和/或员工的用户终端提示不同分类员工对应的工作安全常识内容，即人员识别设备 将人员信息传送给云服务器，云服务器识别为员工时，则能控制向在门禁处设置的显示屏上或者员工登记的手机上发送提示信息，增强员工的工作安全意识。
在门禁处实现员工识别的同时，也实现了员工考勤信息的获取，本实施例中即使用 能进行人脸识别这种视觉机器来进行员工的识别和考勤信息的获取，即机器视觉进行人 脸识别，进而获取员工的考勤信息，方便云服务器进行员工考勤信息的统计，进而方便具有权限的管理者进行查看。
当识别为经管理人员在云服务器上进行过信息登记的外工人员时，向门禁管理员传 送引领信息，门禁管理员按照引领信息将外公人员引领至相应的地点，同时，通过显示屏和/或外工人员登记的用户终端提示相应的安全信息以及作业危害，使得外工人员能够充分获取工作的安全情况内容，以便进行安全生产工作。
当识别为经管理人员在云服务器上进行过信息登记的访客时，向相应的被访问联系 人员传送引领信息，被访问联系人员到门岗引领访客，同时显示屏和/或访客的用户终端 提示相应的外来检测、参观事项制度以及进行安全风险告知，以对访客的访问安全发挥作用。
另外还对无法识别的人员在进入厂区时形成门禁闯入告警信息，并将门禁闯入告警 信息推送至相关人员。如此相关工作人员能够及时发现门禁闯入人员的情况，及时同时对应的人员去了解具体的情况，避免带来的各种安全隐患。
另外进入到厂区的各人员，云服务器可以通过获取各人员持拿的终端机或者其他能 够实现位置检测的物品的定位信息，从而全面了解厂区内人员的分布情况，特别在如具有流行病等疫情期间，可以有效对人员的聚集情况进行实时了解和调整管理。
员工工作的地方均设置有如摄像头这种视觉机器，通过这些视觉机器的机器视觉进 行员工的在岗、离岗、脱岗情况的检测以及对应时间的记录。即视觉机器将采集的画面传送给云服务器，云服务器对采集的画面进行分析计算，进而判断员工的在岗、离岗、 脱岗情况的检测以及对应时间的记录，如此方便管理者实时获取员工的在岗情况信息。
为了避免生产出现问题，提高生产安全性，当检测到设定的关键岗位上的员工脱岗 时间超出对应设定的时间阈值时，形成关键岗位离岗超时告警信息，并将关键岗位离岗超时告警信息推送给相关人员，进而方便管理关键岗位的员工能够尽快回到工作岗位， 避免工厂运行中的安全隐患。
本实施例中，使用Faster R-CNN算法进行人员在岗、离岗、脱岗情况的检测。员 工在岗检测问题，传统的检测算法主要通过背景建模的方法利用帧序列构建背景模型， 将当前帧与背景作差获取前景，并通过实时更新背景适应场景动态变化。但传统的检测 算法在复杂厂区背景下容易受到场景中客观条件如烟雾、光线等变化的影响。本实施例 中基于深度学习Faster R-CNN的区域入侵目标检测算法对复杂厂区环境下的员工在岗 情况进行精准的识别。
Faster R-CNN算法包括三个部分：ZF-net卷积神经网络对视频图像进行特征提取， 生成特征图；RPN网络对特征图进行处理并通过Rol pooling层输出多种尺度和宽高比的矩形候选区域；分类回归网络根据矩形候选区域内的特征判别是否有员工离岗。
特征提取网络：
Faster R-CNN算法的特征提取网络是一个卷积神经网络，本实施例中使用ZF-Net卷积神经网络作为Faster R-CNN算法中的特征提取网络。工作区域的视频图像从输入 ZF-NET开始，会经过多层的卷积、池化以及激励层，最终得到包括颜色、纹理等特征 的特征图。提取网络结构如图4所示。
图4中，conv1至conv5代表卷积层，ReLU代表激活层，LRN代表局部响应归一 化层，pooling代表池化层。其中conv1至conv5的通道数分别为96，256，384，384 和256，卷积步长为2，2，1，1，1，卷积核大小为7，5，3，3，3。在ZF-Net中，使 用ReLU函数作为激活函数，该函数是一种常用的非线性激活函数，能够将输入的连续 变量值映射到0到1之间。ReLU函数的数学表达公式如下所示：f(x)＝max(0，x)。
ReLU函数在反向传导过程中计算量少，同时使用ReLU作为激活函数时，部分神 经元输出将为0，使得神经网络具有稀疏性，减少参数之间的相互依赖关系，抑制过拟 合。
RPN网络：
如图5所示为RPN网络整体结构图。RPN网络作为Faster R-CNN算法的核心，为 检测网络生成目标预测框。RPN也是一个卷积神经网络，该网络以特征提取网络输出的 特征图作为输入，输出多种尺度和宽高比的矩形候选区域。
RPN首先使用一个卷积核大小为3*3的滑动窗口在特征图上进行滑动，但因检测目标形态大小各异，如果统一以相同大小的窗口进行检测，必然会影响检测效果，降低检 测精度，所以Faster R-CNN算法为每个滑动窗口位置配置了9个基准矩形框来适配各 种目标，对于每张输入的特征图的每一个位置(特征图的最小单位)，使用9种尺度的 矩形候选窗口：三种面积{128*128，256*256，512*512}*三种比例{1：1，1：2，2：1}， 让特征图上的每一个位置都对应映射到原图相应位置的9种矩形候选框，目的是尽可能 的检测出尺度大小不一的目标区域特征，并判断矩形候选区域内是否包含员工。滑动窗 口经过的每个位置上的特征被映射成一个256维的特征向量，并使用两个卷积核大小为 1*1的卷积层模拟两个全连接层，输出基准矩形框的分数和修正参数。
图6为RPN网络详细结构图。其中一个全连接层输出4*9＝36个修正参数,每个基准矩形框分别对应4个修正参数，利用每个滑动窗口位置的修正参数对基准矩形框进行 修正，最后每个滑动窗口位置的每个基准矩形框经过修正后得到9个候选区域，从而使 得最终生成的候选区域框更加适配检测目标。RPN对每个基准矩形框输出的4个修正参 数分别为tx,ty,tw,th,利用这4个修正参数对基准矩形框进行修正可得出矩形候选区域，基 准矩形框的修正公式如下：x＝watx+xa；y＝haty+ya；w＝waexp(tw)； h＝haexp(th)。
其中x,y,w,h表示矩形候选区域的中心横坐标、中心坐标、宽度和高度， x_a,y_a,w_a,h_a表示基准矩形框的中心横坐标、中心纵坐标、宽度和高度。另一个全连 接层输出2*9＝18个候选区域的分数，每个候选区域对应2个分数，分别代表该候选区 域内包含和不包含员工的可能性。最后利用Softmax层对分数进行归一化，从而得到候 选区域框内是否包含员工的置信度。
分类回归：
如图7所示为分类回归网络结构图，获取候选区域框后，要对候选区域进行分类回归操作。在Faster R-CNN算法中，分类回归网络以特征提取网络输出的特征图和RPN 网络输出的候选区域为输入，输出候选区域的修正参数和检测目标的置信度。因为RPN 网络输出的矩形候选区域的形状、大小各异，所以不同候选区域所包含的特征向量维度 也各不相同，不能将候选区域所包含的特征向量直接送进全连接层中，所以分类回归网 络使用一个ROIpooling层将候选区域所包含的特征池化成大小、形状相同的特征图，接 着使用两个全连接fc6、fc7对特征图进行特征映射，再使用全连接层fc/cls、fc/bbox_reg 分别输出候选区域对应检测目标的分数和修正参数，最后使用softmax层将分数进行归 一化，从而得到候选区域对应各个类别的置信度。
在Faster R-CNN中，使用非极大值抑制算法按照比较规则筛选出局部极大值，抑制局部极小值的方法解决RPN网络对每种目标输出的大量检测框之间存在包含相同或 不同的目标以及相互重叠的问题，从而筛选出最优的矩形候选框。
在生产线上对应于产品的位置也可以设置如摄像头这种视觉机器，这种视觉机器利 用机器视觉进行产品中良品、次品的检测，进而实现良品率的数据统计，同时还能够计算获取产能数据。具体地，利用视觉机器采集生产线上的产品图片，进而传送至云服务 器，云服务器对产品图片进行分析计算，进而实现产品是良品还是次品的检测。同时还 能统计出生产的产品数量、良品数量，获得生产线的产能数据。
为了方便及时查找不良率过高的原因，降低生产风险，在各产品的不良率高于对应 的设定值时，形成不良率过高的告警信息，并将不良率过高的告警信息推送至相关人员； 在产能数据小于对应的设定值时，形成产能下降的告警信息，并将产能下降的告警信息 推送给相关人员。
本实施例中使用引入了注意力机制的Attention-Fusion-YOLO算法进行产品是良品 还是次品的检测。
产品产能检测是通过计算机视觉技术检测产品实时产能，属于目标检测，虽然目前 已存在的算法对车辆、行人等大目标的检测准确率已经达到了较高的水准，但是在复杂环境下小目标的检测仍存在较大的挑战。目前技术大多存在准确率低、对环境要求较高、检测速度慢等问题，不能满足实时检测的需求。
本实施例中也将使用基于YOLO的改进算法Attention-Fusion-YOLO来解决产品检测的问题。在产品检测的问题上主要需要解决以下几个问题：
构建复杂厂区场景产品数据集：
当前流行的公开数据集中还没有针对产品产能设计的，根据项目需求需要构建训练 网络使用的复杂场景产品数据集。以厂区实地摄像头采集的图像和视频为基础构建数据 集，图像背景为真实工业场景。
采用DenseGAN算法对数据集进行数据增强：
利用GAN模型学习随机噪音到小尺度产品图像之间的映射关系，用来生成类似样本的新图像。DenseGAN数据增强方法模型使用DenseNet对GAN模型中的生成器进行 改进，在转置卷积神经网络中使用了多个联级的block，保证梯度信息可以在网络的每 一层中传播，学习高斯随机噪声到产品图片间的映射关系。
生成器是由3个联级的Dense Block结构组成，其中在每一个Dense Block中包括5个连接层，这些层之间使用密集连接的方式连接，每一个前层的输出都作为后层的输入。每一个Dense Block之间通过反卷积连接，反卷积可以通过矩阵转置之后的点乘运算扩 大前层特征图的尺度，通过多层的反卷积连接，最终将低分辨率的特征图转换至和原始 图像相同的尺度大小。在一个Block之后，引入Network In Network结构，使用1*1的 卷积核来对这些通道的特征图进行线性的特征融合，生成器的任务是将一个随机的噪音 输入，通过反卷积运算等上采样到与原始训练数据相同的尺度，同时生成与原始训练数 据相近的图像。生成器的网络结构图如图8所示。以100维的随机向量作为输入，经过 全连接层的维度扩张和3个Dense Block的上采样，将噪音数据逐步拟合为训练数据， 在经过最后一层上采样和Tanh激活，最后输出和训练数据集中尺度相同的图像。
FusionYOLO检测框架的设计：
YOLO模型在7*7的特征图上进行预测，在检测大尺度人脸时具有较高的性能，但是对于小尺度目标的检测效果很差。考虑到在卷积神经网络不同的层中表示的产品信息的特征粒度差异，其中浅层特征图具有较小的感受野，是产品的全局特征表示，深层特 征图具有较大的感受野，是产品的局部特征表示，通过融合不同感受野的特征图，提升 特征图对图像的表示能力，让不同粒度的特征都参与小目标产品的检测，达到提高对小 尺度产品检测精度的目的。
在YOLO的预测层，每个栅格分别对应两个预测框和一个目标类别的检测，在将输入图像划分为7*7的栅格之后，整个YOLO检测网络共有98个预测框，当输入的图像 中存在小尺度产品的时候，对小尺度产品的检测效果很不理想。为了克服这一问题，改 进YOLO的预测层，使用较密集的栅格将输入图像划分为14*14的网格结构，并且在最 后的预测层中，使用对标准参考框聚类结果中的3个不同尺寸的框来初始化预测框，同 时将YOLO中一个栅格预测一个类别的网络结构，改进为每一个预测框预测一个目标的 类别。不同尺寸的预测框分别负责检测相应尺寸的目标。基于以上改进方法提出的 Fusion-YOLO检测结构如图9所示。
引入通道注意力机制：
通道注意力机制的结构如图10所示。在小尺度目标检测任务中，引入通道注意力机制，学习每个通道特征图对小尺度目标表示能力的强弱，对特征图通道维度赋予不同 的权重，通过对不同通道特征图的筛选加权，使检测网络更多的关注在小尺度目标表示 能力强的特征图上。在网络的训练过程中，具有较高权重的特征图将会主导网络的收敛， 将模型更好的集中在对小尺度目标的检测上。通道注意力机制作用在FusionYOLO的每 一个1*1卷积之后的通道上，引入通道注意力机制的FusionYOLO算法称为 Attention-Fusion-YOLO算法。
厂区内的视觉机器还可以实现对员工行为的捕捉，通过机器视觉进行厂区内人员违 章行为的检测。距离为利用厂区内的视觉机器采集人员的图片，进而传送给云服务器，通过云服务器的分析计算，判断人员是否出现违章行为，在出现人员违章信息时，则发 送告警信息给相关人员。违章行为可以根据需要具体设置，如设置吸烟、使用手机这些 行为为违章行为。为了避免监控盲区存在的安全隐患，进一步提高生产的安全性，进行 人员违章行为检测的视觉机器包括设置在固定位置的固定视觉机器，还包括能够在固定 视觉机器的监控盲区行走的移动视觉机器。相关管理人员能够灵活地配置各视觉机器与 能够进行违章行为检测的视觉处理模块的通信关系，进而有目的性的对比较敏感区域的 人员行为进行检测。本实施例中，使用全卷积神经网络算法进行厂区内人员违章行为的 检测。
针对人员违章行为检测问题，传统的行为检测算法主要是通过计算灰度图像像素的 梯度方向直方图，得到动作区域的局部特征，从而判断人员行为是否违规。然而难以保证检测的实时性和鲁棒性，因此迫切需要采用最新的深度学习算法来解决人员行为检测问题。拟提出一种基于全卷积神经网络的人员行为识别方法。对于厂区员工行为的识别 可以看作是多标签分类问题，即一个行为样本具有如是否抽烟、是否打电话等多个特性。 首先，利用特定卷积神经网络对人员的实时图像提取特征，然后并行对多种行为分别进 行二分类。其算法模型的整体流程图如图11所示。
员工行为数据集构建：
我们实地采集数据集，使用OpenCV对监控视频进行帧采样，每秒采集一次。为了加强算法模型的泛化能力，需要对采集到的数据集进行处理，首先剔除不相关的图像(如非工作时间的行为)；数据集包含不少于二十名员工的行为数据，包含的行为有打电话、 抽烟以及正常行为,每类行为的图片不少于1000张，比例保持在1:1:1。同时需要对处理 好的数据集进行相应的标注，标注类型为打电话、抽烟、正常行为。
构建神经网络模型：
与经典的卷积神经网络相比，全卷积神经网络可以更好地解决语义级别的图像分割 问题。经典的CNN网络在卷积层后通常使用全连接层得到固定长度的特征向量进行分类，而FCN网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的 featuremap进行上采样，使它恢复到与输入图像相同的尺寸，从而对每个像素都产生一 个预测，同时保留了原始输入图像的空间信息，并在上采样的特征图上进行逐像素分 类。最后逐个像素计算softmax分类的损失，相当于每一个像素对应一个训练样本。在 图像预处理阶段采用FCN网络对图像先进行语义分割，保留人物部分。在进行分类之 前首先对图片进行语义分割，可以有助于过滤掉其他无关特征，保留更加有效的特征。 最后经过加载数据集和神经网络训练之后，得到一个检测算法模型，将实时截取到的图 像输入到该模型，即可检测出员工的行为是正常行为还是如打电话、抽烟等高危行为。
使用时，用户可以通过各种终端机上的多种APP进行登录，进而根据权限查看云服务上存储的各种信息。本发明中的智能工厂监管方法智能化程度高，监管效率高，人 力成本低，数据标准统一，管理难度小，能够及时发现工厂运行过程中存在的各方面问 题，以方便及时消除各种隐患，提高生产的各方面的安全性。

Claims (10)

1.一种智能工厂监管方法，其特征在于：包括
根据企业的组织架构或职业岗位对工作人员进行分类，进而在进厂时实现员工、外工人员、访客的识别；
通过机器视觉进行人脸识别，进而统计员工的考勤信息；
通过机器视觉进行员工的在岗、离岗、脱岗情况的检测以及对应时间的记录；
通过机器视觉进行产品中良品、次品的检测以及数据统计，同时计算获取产能数据；
通过机器视觉进行厂区内人员违章行为的检测；
对各人员在厂区内的实时位置进行定位检测。
2.根据权利要求1所述的智能工厂监管方法，其特征在于：在实现员工、外工人员、访客识别的基础上，对应采用相应的通行手段，并通过显示屏和/或用户终端进行对应人员的相关信息告知。
3.根据权利要求2所述的智能工厂监管方法，其特征在于：当识别为工厂员工时，控制设置在门禁位置的闸机打开以供通行，同时通过显示屏和/或员工的用户终端提示不同分类员工对应的工作安全常识内容；
当识别为进行过信息登记的外工人员时，向门禁管理员传送引领信息，门禁管理员按照引领信息将外公人员引领至相应的地点，同时，通过显示屏和/或外工人员的用户终端提示相应的安全信息以及作业危害；
当识别为进行过信息登记的访客时，向相应的被访问联系人员传送引领信息，被访问联系人员到门岗引领访客，同时显示屏和/或访客的用户终端提示相应的外来检测、参观事项制度以及进行安全风险告知；
并且对无法识别的人员在进入厂区时形成门禁闯入告警信息，并将门禁闯入告警信息推送至相关人员。
4.根据权利要求1所述的智能工厂监管方法，其特征在于：当检测到设定的关键岗位上的员工脱岗时间超出对应设定的时间阈值时，形成关键岗位离岗超时告警信息，并将关键岗位离岗超时告警信息推送给相关人员。
5.根据权利要求1所述的智能工厂监管方法，其特征在于：在各产品的不良率高于对应的设定值时，形成不良率过高的告警信息，并将不良率过高的告警信息推送至相关人员；在产能数据小于对应的设定值时，形成产能下降的告警信息，并将产能下降的告警信息推送给相关人员。
6.根据权利要求1所述的智能工厂监管方法，其特征在于：相关管理人员能够配置各视觉机器与能够进行违章行为检测的视觉处理模块的通信关系。
7.根据权利要求6所述的智能工厂监管方法，其特征在于：所述视觉机器包括设置在固定位置的固定视觉机器，还包括能够在固定视觉机器的监控盲区行走的移动视觉机器。
8.根据权利要求1至7任一权利要求所述的智能工厂监管方法，其特征在于：使用全卷积神经网络算法进行厂区内人员违章行为的检测。
9.根据权利要求1至7任一权利要求所述的智能工厂监管方法，其特征在于：使用引入了注意力机制的Attention-Fusion-YOLO算法进行产品是良品还是次品的检测。
10.根据权利要求1至7任一权利要求所述的智能工厂监管方法，其特征在于：使用Faster R-CNN算法进行人员在岗、离岗、脱岗情况的检测。
CN202010442738.9A 2020-05-22 2020-05-22 一种智能工厂监管方法 Pending CN111653023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442738.9A CN111653023A (zh) 2020-05-22 2020-05-22 一种智能工厂监管方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442738.9A CN111653023A (zh) 2020-05-22 2020-05-22 一种智能工厂监管方法

Publications (1)

Publication Number Publication Date
CN111653023A true CN111653023A (zh) 2020-09-11

Family

ID=72348347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442738.9A Pending CN111653023A (zh) 2020-05-22 2020-05-22 一种智能工厂监管方法

Country Status (1)

Country Link
CN (1) CN111653023A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462698A (zh) * 2020-10-29 2021-03-09 深圳市益鸿智能科技有限公司 一种基于大数据的智能工厂控制***及方法
CN113066212A (zh) * 2021-03-30 2021-07-02 中国长江电力股份有限公司 一种入场便捷安全告知***及方法
CN113359654A (zh) * 2021-07-15 2021-09-07 四川环龙技术织物有限公司 一种基于物联网造纸网毯生产智能监控***及方法
CN113379247A (zh) * 2021-06-10 2021-09-10 鑫安利中（北京）科技有限公司 企业安全隐患追踪模型的建模方法及***
CN113469950A (zh) * 2021-06-08 2021-10-01 海南电网有限责任公司电力科学研究院 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113554834A (zh) * 2021-08-03 2021-10-26 匠人智慧(江苏)科技有限公司 基于人工智能技术的化工园区视觉识别应用***
CN113610006A (zh) * 2021-08-09 2021-11-05 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法
CN113705988A (zh) * 2021-08-14 2021-11-26 浙江宏瑞达工程管理有限公司 一种监理人员绩效管理方法、***、存储介质及智能终端
CN113807630A (zh) * 2020-12-23 2021-12-17 京东科技控股股份有限公司 机器人服务平台的需求获取方法、装置、设备和存储介质
CN116151836A (zh) * 2023-04-21 2023-05-23 四川华鲲振宇智能科技有限责任公司 一种智能前台辅助服务***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903009A (zh) * 2014-03-27 2014-07-02 北京大学深圳研究生院 一种基于机器视觉的工业品检测方法
CN107703146A (zh) * 2017-09-30 2018-02-16 北京得华机器人技术研究院有限公司 一种汽车零配件视觉检测***及方法
CN108491899A (zh) * 2018-02-11 2018-09-04 西玛特易联（苏州）科技有限公司 一种基于rfid技术的会展人流监测***的实现方法
CN110349310A (zh) * 2019-07-03 2019-10-18 源创客控股集团有限公司 一种用于园区企业的定制提醒云平台服务***
CN110705482A (zh) * 2019-10-08 2020-01-17 中兴飞流信息科技有限公司 一种基于视频ai智能分析的人员行为告警提示***
CN110717448A (zh) * 2019-10-09 2020-01-21 杭州华慧物联科技有限公司 一种食堂后厨智能管理***
CN111079577A (zh) * 2019-12-02 2020-04-28 重庆紫光华山智安科技有限公司 一种动态区域聚集预警实时推荐的计算方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903009A (zh) * 2014-03-27 2014-07-02 北京大学深圳研究生院 一种基于机器视觉的工业品检测方法
CN107703146A (zh) * 2017-09-30 2018-02-16 北京得华机器人技术研究院有限公司 一种汽车零配件视觉检测***及方法
CN108491899A (zh) * 2018-02-11 2018-09-04 西玛特易联（苏州）科技有限公司 一种基于rfid技术的会展人流监测***的实现方法
CN110349310A (zh) * 2019-07-03 2019-10-18 源创客控股集团有限公司 一种用于园区企业的定制提醒云平台服务***
CN110705482A (zh) * 2019-10-08 2020-01-17 中兴飞流信息科技有限公司 一种基于视频ai智能分析的人员行为告警提示***
CN110717448A (zh) * 2019-10-09 2020-01-21 杭州华慧物联科技有限公司 一种食堂后厨智能管理***
CN111079577A (zh) * 2019-12-02 2020-04-28 重庆紫光华山智安科技有限公司 一种动态区域聚集预警实时推荐的计算方法及***

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462698A (zh) * 2020-10-29 2021-03-09 深圳市益鸿智能科技有限公司 一种基于大数据的智能工厂控制***及方法
CN113807630A (zh) * 2020-12-23 2021-12-17 京东科技控股股份有限公司 机器人服务平台的需求获取方法、装置、设备和存储介质
CN113807630B (zh) * 2020-12-23 2024-03-05 京东科技控股股份有限公司 机器人服务平台的需求获取方法、装置、设备和存储介质
CN113066212A (zh) * 2021-03-30 2021-07-02 中国长江电力股份有限公司 一种入场便捷安全告知***及方法
CN113066212B (zh) * 2021-03-30 2022-03-18 中国长江电力股份有限公司 一种入场便捷安全告知***及方法
CN113469950A (zh) * 2021-06-08 2021-10-01 海南电网有限责任公司电力科学研究院 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113379247A (zh) * 2021-06-10 2021-09-10 鑫安利中（北京）科技有限公司 企业安全隐患追踪模型的建模方法及***
CN113379247B (zh) * 2021-06-10 2024-03-29 锐仕方达人才科技集团有限公司 企业安全隐患追踪模型的建模方法及***
CN113359654A (zh) * 2021-07-15 2021-09-07 四川环龙技术织物有限公司 一种基于物联网造纸网毯生产智能监控***及方法
CN113554834A (zh) * 2021-08-03 2021-10-26 匠人智慧(江苏)科技有限公司 基于人工智能技术的化工园区视觉识别应用***
CN113610006A (zh) * 2021-08-09 2021-11-05 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法
CN113610006B (zh) * 2021-08-09 2023-09-08 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法
CN113705988A (zh) * 2021-08-14 2021-11-26 浙江宏瑞达工程管理有限公司 一种监理人员绩效管理方法、***、存储介质及智能终端
CN113705988B (zh) * 2021-08-14 2023-12-19 浙江宏瑞达工程管理有限公司 一种监理人员绩效管理方法、***、存储介质及智能终端
CN116151836A (zh) * 2023-04-21 2023-05-23 四川华鲲振宇智能科技有限责任公司 一种智能前台辅助服务***

Similar Documents

Publication Publication Date Title
CN111653023A (zh) 一种智能工厂监管方法
CN110428522B (zh) 一种智慧新城的智能安防***
CN112200043B (zh) 面向室外施工现场的危险源智能识别***及方法
Franklin et al. Anomaly detection in videos for video surveillance applications using neural networks
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
CN109376637A (zh) 基于视频监控图像处理的人数统计***
Maksymiv et al. Real-time fire detection method combining AdaBoost, LBP and convolutional neural network in video sequence
CN110619277A (zh) 一种多社区智慧布控方法以及***
CN105894701A (zh) 输电线路防外破大型施工车辆的识别报警方法
CN111738336A (zh) 基于多尺度特征融合的图像检测方法
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
CN116629465B (zh) 智能电网视频监控与风险预测响应***
CN112257643A (zh) 一种基于视频流的抽烟行为和打电话行为识别方法
CN111798356B (zh) 一种基于大数据的轨道交通客流异常模式识别方法
Tomar et al. Crowd analysis in video surveillance: A review
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN114187541A (zh) 一种面向自定义业务场景的智能视频分析的方法和存储设备
CN116798176A (zh) 基于大数据和智慧安防的数据管理***
Aakroum et al. Deep learning for inferring the surface solar irradiance from sky imagery
Alsaedi et al. Design and Simulation of Smart Parking System Using Image Segmentation and CNN
US20230360402A1 (en) Video-based public safety incident prediction system and method therefor
Daniya et al. ICSA-ECNN based image forgery detection in face images
Nyajowi et al. CNN real-time detection of vandalism using a hybrid-LSTM deep learning neural networks
Yousefi et al. Energy aware multi-object detection method in visual sensor network
Lizhong et al. Research on detection and tracking of moving target in intelligent video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination