CN115097790A - 一种基于数字孪生技术的车间人员模型重建及安全防护*** - Google Patents
一种基于数字孪生技术的车间人员模型重建及安全防护*** Download PDFInfo
- Publication number
- CN115097790A CN115097790A CN202210745574.6A CN202210745574A CN115097790A CN 115097790 A CN115097790 A CN 115097790A CN 202210745574 A CN202210745574 A CN 202210745574A CN 115097790 A CN115097790 A CN 115097790A
- Authority
- CN
- China
- Prior art keywords
- equipment
- personnel
- model
- digital twin
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- FPIGOBKNDYAZTP-UHFFFAOYSA-N 1,2-epoxy-3-(4-nitrophenoxy)propane Chemical compound C1=CC([N+](=O)[O-])=CC=C1OCC1OC1 FPIGOBKNDYAZTP-UHFFFAOYSA-N 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims 2
- 230000026676 system process Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 3
- 230000008846 dynamic interplay Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于数字孪生技术的车间人员模型重建及安全防护***，本***以数字孪生***为核心，包含数据采集传输***、视频采集***和数据处理***；数字孪生***通过数据采集传输***采集设备实时数据，构建设备数字孪生模型，远程监控设备运行状态；通过视频采集***识别人员位置与行为，构建人员数字孪生模型；通过数据处理***综合分析设备运行状态及人员行为，检测设备模型安全边界和人员模型是否会发生碰撞，提前协调调度AGV物流***、作业机器人等设备，防止对人员造成伤害；该***可实现数字孪生人员模型在设备模型的基础上实时重建，车间设备运行状态远程实时监控，车间人员安全实时预警防护，提高车间安全性，且结构简单易于推广。
Description
技术领域
本发明涉及数字孪生、深度学习和工业安全领域，尤其涉及一种数字孪生人员模型重建、车间设备远程监控和车间安全防护领域。
背景技术
目前，工业领域常用的人员安全防护措施分为三类：第一类是通过给机械设备的控制***增加校验、监督等算法，提高设备控制***本身的安全性和稳定性。这种方法限制了设备的灵活性，也没有考虑人员误入的情况。第二类是通过安装力矩，扭矩，速度等传感器，实时监测设备运行状态，检测设备是否发生接触。这种方法只是被动防护，检测事故是否发生，不能提前预警，有效避免事故发生。同时利用高精度传感器成本高，通用性、灵活性差。第三类是通过安装安全防护栏将工作人员与设备隔离，建立各自安全区域。安装防护栏要预留空间，占地面积大，耗时间，灵活性差。
视频监控技术在工业安防中占有重要地位。目前，几乎所有的工业现场都会安装多路监控摄像头，形成跨摄像头的监控网络，以此来保证工业现场安全，但单独的视频监控技术只能保证财产安全，若要保证人员安全还要靠工作人员进行安全监督。将深度学习技术与视频监控技术有效结合，利用视频监控技术的实时性结合深度学习的目标检测、目标跟踪算法，对工业现场出现的人员进行检测，及时发现人员状态，提前预知危险，可以有效保证人员安全。
数字孪生技术可以将物理实体的结构、属性、特征、状态等信息实时映射到虚拟模型，是实现物理世界与虚拟世界之间双向映射，实时动态交互的关键技术。目前数字孪生技术被广泛应用于医疗、军工、工厂、电力、水利城市规划等领域。将数字孪生技术应用于工业安全领域，可以有效监控车间设备运行状态，但数字孪生技术只是将现有设备进行建模监控，没有考虑人员意外进入的情况。结合深度学习和视频监控技术，可以将外来人员模型动态实时重建到已有的设备模型中，真正实现虚拟和现实的动态实时映射。同时再结合物联网技术，将车间各设备进行联网，可以实现远程操控、远程维修，极大降低运营成本，提高安全性。
传统工厂涉及很多人员操作项目，为了安全起见，都为工人预留出了安全通道。随着智能制造技术的飞速发展，智能工厂已开始逐渐取代传统工厂。智能工厂从原材料到最终成品，所有过程均在空无一人的“黑灯工厂”内完成，所有的生产操作基本上都是由机器或者其它的高科技设备按着一定的程序要求自行完成。因此，为了很多智能工厂为了节约占地面积，都没有预留专门的人行通道。但是，设备检修，设备维护等操作还是需要人员进入工厂操作。因此，预判人员路径，提前清除潜在危险，既能保证人员安全，同时也不影响其他设备正常运行。
发明内容
本发明的目的是为了实现人员模型在车间设备模型的基础上实时动态重建，实现车间设备远程实时监控，协调调度车间设备，提前清除潜在危险，不影响其他设备正常运行，做到人员安全的有效防护，提高车间生产率和安全性。
本发明所采取的技术方案如下：一种基于数字孪生技术的车间人员模型重建及安全防护方案，本***以数字孪生***为核心，包含数据采集传输***、视频采集***和数据处理***；数字孪生***通过数据采集传输***采集设备实时数据，构建设备数字孪生模型，远程监控设备运行状态，通过视频采集***识别人员位置与行为，构建人员的数字孪生模型，通过数据处理***综合分析设备运行状态及人员行为，检测设备模型安全边界和人员模型是否会发生碰撞，提前协调调度AGV物流***、作业机器人等设备，防止对人员造成伤害；该***可实现车间人员模型在设备模型的基础上实时重建，车间设备运行状态远程实时监控及安全实时预警防护，提高车间安全性，且结构简单易于推广。
数据处理***通过深度学习FCOS算法进行人员检测和定位的具体步骤为：将输入的图像进行卷积和池化操作来获得5个不同尺寸的特征图，然后通过通过融合相邻尺寸的特征图构建特征金字塔，每个特征图通过4个卷积得到classification层和center-ness层用于确定目标类别和定位目标中心点，同理得到regression层用于确定目标坐标，最终输出人员在图像上的坐标。
数据处理***通过EPNP算法将目标人员的图像坐标转换成世界坐标，然后数字孪生***根据目标人员的世界坐标和姿态，在***中重建人员模型，更新***。
数据处理***通过碰撞检测算法，在数字孪生模型中实时检测人员模型是否与设备安全边界发生碰撞，若发生碰撞及时预警，通过数据采集传输***配置虚拟网关，建立透传通道，远程控制设备停止。
本发明和现有技术相比具有如下优点：
1、本发明是一种基于数字孪生技术的车间人员模型重建及安全防护方案，结合图像识别技术将人员模型在设备模型的基础上实时动态重建，实现真实世界与虚拟模型之间实时映射与动态交互。
2、本发明是一种基于数字孪生技术的车间人员模型重建及安全防护方案，利用数字孪生技术实时远程监控车间设备的运行状态，同时对车间设备进行远程控制。
3、本发明利用深度学习算法对车间人员进行实时检测定位，并结合数字孪生技术进行人员安全防护，提高了车间设备的安全性，降低了事故发生率。相较于传统的工业人员安全防护方法成本低，灵活性强，通用性强。
4、本发明根据人员位置和行为，提前清除了潜在危险，同时不影响其他设备正常运行，提高了车间效率和安全性。
5、本发明通过***程序实现了完全自动化监控管理，节省了人力物力财力。
附图说明
图1为车间人员模型重建及安全防护方案的结构图。
图2为车间人员模型重建及安全防护方案的连接图。
图3为软件***的工作流程图。
图4为车间人员目标检测的FCOS网络图。
具体实施方式
为了使本发明的目的、技术方案和优势展现的更加浅显易懂，下面将结合附图对本发明进行详细阐述。
如图1，示出了本发明一种基于数字孪生技术的车间人员模型重建及安全防护方案的结构图，***以数字孪生***为核心，包含数据采集传输***、视频采集***和数据处理***。
图2是本发明的连接图。***硬件设备包含数据网关、摄像头、采集卡、交换机和计算机。其中：数据采集传输***的数据网关通过网线与车间设备连接，通过无线网将车间设备的运行参数传到数字孪生***；视频采集***的摄像头采集车间的视频流，由采集卡进行编码通过无线网发送到数字孪生***。数据处理***与数字孪生***直接进行通信。
图3是软件***的工作流程图。首先程序进行初始化，然后数据处理***对视频数据进行解码，利用深度学习FCOS算法检测是否有人员进入，若有人员进入，对其进行识别及定位，并将数据发送给数字孪生***。数字孪生***根据人员坐标在车间设备模型中对人员模型进行重建。数字孪生***根据设备运行参数，实时更新设备的位姿以及安全边界。同时计算设备安全边界是否会与人员模型发生接触，若发生接触，进行预警，并通过数据采集传输***对设备进行远程制动。数字孪生***根据人员模型位置，协调调度相关设备，提前清除潜在危险同时不影响其他设备运行。
可选的，数据传输***通过让车间各设备联网，将车间各设备的运行参数实时上传到数字孪生***，驱动车间设备数字孪生模型运动，实现对车间设备运行状态的实时监控，实现车间设备网络化、信息化管理。
可选的，数据传输***通过配置虚拟网关，建立透传通道，实现对AGV、机器人、数控机床等车间设备远程控制。
图4是车间人员目标检测的FCOS网络图，输入图像通过卷积和池化操作依次得到特征图C3、C4、C5，P6和P7,通过融合相邻尺寸的特征图得到p3,p4,p5；对p3,p4,p5,p6,p7进行四次卷积操作得到classification层用于判断目标的类别，center-ness层用于过滤远离中心区域的低质量预测框，提高***检测性能，同理得到regression层用于确定目标位置。
Claims (8)
1.一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：以数字孪生***为核心，包含数据采集传输***、视频采集***和数据处理***；数字孪生***通过数据采集传输***采集设备实时数据，构建设备数字孪生模型，远程监控设备运行状态，通过视频采集***识别人员位置与行为，构建人员的数字孪生模型，通过数据处理***综合分析设备运行状态及人员行为，检测设备模型安全边界和人员模型是否会发生碰撞，提前协调调度AGV物流***、作业机器人。
2.根据权利要求1所述的一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：数据处理***通过深度学习FCOS算法进行人员检测和定位的具体步骤为：将输入的图像进行卷积和池化操作来获得5个不同尺寸的特征图，然后通过通过融合相邻尺寸的特征图构建特征金字塔，每个特征图通过4个卷积得到classification层和center-ness层用于确定目标类别和定位目标中心点，得到regression层用于确定目标坐标，最终输出人员在图像上的坐标。
3.根据权利要求1所述的一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：数据处理***通过EPNP算法将目标人员的图像坐标转换成世界坐标，然后数字孪生***根据目标人员的世界坐标和姿态，在***中重建人员模型，更新***。
4.根据权利要求1所述的一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：数据处理***通过碰撞检测算法，在数字孪生模型中实时检测人员模型是否与设备安全边界发生碰撞，若发生碰撞及时预警，通过数据采集传输***配置虚拟网关，建立透传通道，远程控制设备停止。
5.根据权利要求1所述的一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：数据采集传输***通过配置虚拟网关，建立透传通道，实现对AGV、机器人、数控机床车间设备远程控制。
6.根据权利要求1所述的一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：视频采集***实时处理视频流，通过深度学习的FCOS算法识别是否有人员进入，有人员进入时，进行人员行为确定及定位跟踪，得到人员的图像坐标和姿态。
7.根据权利要求1所述的一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：数字孪生***通过EPNP算法将人员的图像坐标转换成世界坐标，再根据人员行为在设备数字孪生模型的基础上构建人员数字孪生模型。
8.根据权利要求1所述的一种基于数字孪生技术的车间人员模型重建及安全防护***，其特征在于：数据处理***通过碰撞检测算法，在数字孪生模型中实时检测人员模型是否与设备安全边界是发送碰撞，若发生碰撞及时预警，通过数据采集传输***远程控制设备停止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745574.6A CN115097790A (zh) | 2022-06-27 | 2022-06-27 | 一种基于数字孪生技术的车间人员模型重建及安全防护*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745574.6A CN115097790A (zh) | 2022-06-27 | 2022-06-27 | 一种基于数字孪生技术的车间人员模型重建及安全防护*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115097790A true CN115097790A (zh) | 2022-09-23 |
Family
ID=83294325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210745574.6A Pending CN115097790A (zh) | 2022-06-27 | 2022-06-27 | 一种基于数字孪生技术的车间人员模型重建及安全防护*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115097790A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116700199A (zh) * | 2023-08-09 | 2023-09-05 | 聊城市飓风工业设计有限公司 | 一种基于数字孪生技术的工厂生产控制方法及*** |
| CN116797031A (zh) * | 2023-08-25 | 2023-09-22 | 深圳市易图资讯股份有限公司 | 一种基于数据采集的安全生产管理方法以及*** |
| CN116843844A (zh) * | 2023-05-30 | 2023-10-03 | 中铁八局集团第一工程有限公司 | 基于bim的梁场数字化管理***及方法 |
-
2022
- 2022-06-27 CN CN202210745574.6A patent/CN115097790A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843844A (zh) * | 2023-05-30 | 2023-10-03 | 中铁八局集团第一工程有限公司 | 基于bim的梁场数字化管理***及方法 |
| CN116700199A (zh) * | 2023-08-09 | 2023-09-05 | 聊城市飓风工业设计有限公司 | 一种基于数字孪生技术的工厂生产控制方法及*** |
| CN116700199B (zh) * | 2023-08-09 | 2023-10-20 | 聊城市飓风工业设计有限公司 | 一种基于数字孪生技术的工厂生产控制方法及*** |
| CN116797031A (zh) * | 2023-08-25 | 2023-09-22 | 深圳市易图资讯股份有限公司 | 一种基于数据采集的安全生产管理方法以及*** |
| CN116797031B (zh) * | 2023-08-25 | 2023-10-31 | 深圳市易图资讯股份有限公司 | 一种基于数据采集的安全生产管理方法以及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115097790A (zh) | 一种基于数字孪生技术的车间人员模型重建及安全防护*** | |
| CN111507308B (zh) | 一种基于视频识别技术的变电站安全监控***及方法 | |
| CN112785798B (zh) | 面向电力变电站工程建设项目施工人员的行为分析方法 | |
| CN103823458A (zh) | 设备远程诊断装置及其诊断方法与*** | |
| CN106698197A (zh) | 基于大数据的集装箱起重机在线诊断和预防性维护*** | |
| AU2020102181A4 (en) | An intelligent recognition system and method of tunnel structure health based on robot vision recognition | |
| CN107403443A (zh) | 一种基于机器视觉的多绳多层缠绕排绳状态在线检测方法及装置 | |
| CN108363394A (zh) | 一种安防机器人智能巡检***及其巡检方法 | |
| CN104731076A (zh) | 一种基于dcs结构的工况监控*** | |
| CN113283344A (zh) | 一种基于语义分割网络的矿用输送带跑偏检测方法 | |
| CN108227617A (zh) | 一种轮胎吊远程检测与评估*** | |
| CN115457446A (zh) | 一种基于视频分析的异常行为监管*** | |
| CN115562217A (zh) | 数字孪生监控***、方法及装置 | |
| CN112702570A (zh) | 一种基于多维行为识别的安防管理*** | |
| CN115100813B (zh) | 基于数字孪生的智慧社区*** | |
| CN211184122U (zh) | 铁路作业安全防控和大客流预警联动的智能视频分析*** | |
| CN207408770U (zh) | 通用物联网集中监控*** | |
| CN117197713A (zh) | 一种基于数字视频监控***的提取方法 | |
| CN117332252A (zh) | 一种基于振动增长速度的旋转动设备趋势预警方法 | |
| CN104677429A (zh) | 一种智能化综合故障诊断***及诊断方法 | |
| CN116652988A (zh) | 智能光纤配线机器人及其控制方法 | |
| CN116882670A (zh) | 基于bim的水运工程智慧工地管理*** | |
| CN115482502A (zh) | 基于特征物体与人体关键点的异常行为识别方法、***及介质 | |
| CN102325250A (zh) | 基于社会力模型的监控*** | |
| CN115623171A (zh) | 一种物联网弱电控制安防监控*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |