CN114313728B - 一种巷道堆垛机的防撞人*** - Google Patents
一种巷道堆垛机的防撞人*** Download PDFInfo
- Publication number
- CN114313728B CN114313728B CN202111566715.XA CN202111566715A CN114313728B CN 114313728 B CN114313728 B CN 114313728B CN 202111566715 A CN202111566715 A CN 202111566715A CN 114313728 B CN114313728 B CN 114313728B
- Authority
- CN
- China
- Prior art keywords
- image
- stacker
- tunnel
- industrial computer
- programmable logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 230000001276 controlling effect Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001292396 Cirrhitidae Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种巷道堆垛机的防撞人***。该***包括:至少一个巷道堆垛机、工业计算机以及可编程逻辑控制器,巷道堆垛机上配置用于采集前方环境图像的图像采集单元;巷道堆垛机,用于在巷道内行进的过程中,将图像采集单元实时采集的行进前方图像,发送至工业计算机;工业计算机,用于根据巷道堆垛机发送的行进前方图像进行人体检测,形成人体检测结果,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器;可编程逻辑控制器,用于根据所述目标结果,控制匹配的巷道堆垛机执行减速停车策略,以避免所述巷道堆垛机碰撞行人。本发明实施例的技术方案实现了避免碰撞行人的效果。
Description
技术领域
本发明实施例涉及工业自动化控制技术,尤其涉及一种巷道堆垛机的防撞人***。
背景技术
目前,巷道堆垛机作为一种立体仓库的起重运输设备,其主要工作于狭窄巷道里往高层货架运输货物。
巷道堆垛机在行进过程中,由于其本身高度较高且自动化控制,对于靠近设备的行人存在安全隐患。因此有待提出一种新***,以满足自动化控制安全的需求,保证工业运行的安全。
发明内容
本发明实施例提供一种巷道堆垛机的防撞人***,以实现避免碰撞行人的效果。
本发明实施例提供了一种巷道堆垛机的防撞人***,该***包括:至少一个巷道堆垛机、工业计算机以及可编程逻辑器件,巷道堆垛机上配置用于采集前方环境图像的图像采集单元;
巷道堆垛机,用于在巷道内行进的过程中,将图像采集单元实时采集的行进前方图像,发送至工业计算机;
工业计算机,用于根据巷道堆垛机发送的行进前方图像进行人体检测,形成人体检测结果,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器;
可编程逻辑控制器,用于根据所述目标结果,控制匹配的巷道堆垛机执行减速停车策略,以避免所述巷道堆垛机碰撞行人。
进一步地,巷道堆垛机的防撞人***包括:唯一的工业计算机与唯一的可编程逻辑控制器,所述工业计算机与所述可编程逻辑控制器集成于同一远端设备中,所述远端设备与各所述巷道堆垛机分离部署;或者
所述巷道堆垛机的防撞人***包括:唯一的工业计算机,以及与所述巷道堆垛机的数量匹配的可编程逻辑控制器,各可编程逻辑控制器集成于每个巷道堆垛机内部,所述工业计算机与各所述所述巷道堆垛机分离部署;或者
所述巷道堆垛机的防撞人***包括:与所述巷道堆垛机的数量匹配的可编程逻辑控制器以及工业计算机,各所述工业计算机和所述可编程逻辑控制器分别集成于每个巷道堆垛机内部。
进一步地,工业计算机具体用于:
将接收到的目标行进前方图像输入至预先训练的人体检测模型中,获取目标行进前方图像中是否包含有人体的模型输出结果,并针对模型输出结果,形成开关量形式的人体检测结果;
其中,人体检测模型使用预先标注的多个训练样本对预设的机器学习模型进行训练后得到,开关量的第一状态为检测到人体的目标结果。
进一步地,工业计算机具体还用于:
在将接收到的目标行进前方图像输入至预先训练的人体检测模型中之前,对目标行进前方图像进行影像增强处理,以适配巷道光照环境;和/或
在将接收到的目标行进前方图像输入至预先训练的人体检测模型中之前,对目标行进前方图像进行防抖动处理,以适配巷道堆垛机的运行中图像采集场景。
进一步地,工业计算机进一步具体用于:
根据目标行进前方图像的图像亮度和/或图像对比度;确定满足影像增强条件时,对目标行进前方图像在HSI颜色空间中的I通道数据对应的灰度图像进行直方图均衡处理,以实现对目标行进前方图像的影像增强处理。
进一步地,工业计算机进一步具体用于:
根据目标行进前方图像和前帧比对图像间的视差,确定满足防抖动条件时,对目标行进前方图像进行重定位;根据重定位结果,对目标行进前方图像进行图像裁剪处理,以实现对目标行进前方图像的防抖动处理。
进一步地,可编程逻辑控制器具体用于:
在接收到工业计算机发送的第一状态的开关量时,按照预设的时间衰减曲线,控制匹配的巷道堆垛机内部的伺服电机将输出电流在预设的时长内衰减至零,以实现减速停车。
进一步地,工业计算机还用于:
根据预设的减速停车时长,以及巷道堆垛机的标准行进速度,计算安全防撞距离;根据安全防撞距离计算得到图像采集单元在巷道堆垛机上的配置高度和俯仰角,并对计算得到的配置高度和俯仰角进行用户提示。
进一步地,工业计算机还用于:
收集巷道堆垛机从接收到第一状态的开关量到成功停车所行进的历史停车距离,并根据历史停车距离,计算得到实际平均停车距离;如果实际平均停车距离与安全防撞距离的差异值大于或等于预设的门限阈值,则根据实际平均停车距离,更新为可编程逻辑控制器设置的时间衰减曲线,和/或重新根据实际平均停车距离计算得到图像采集单元在巷道堆垛机上的新的配置高度和俯仰角,并对新的配置高度和俯仰角进行用户提示。
进一步地,针对可编程逻辑控制器和/或工业计算机与各所述巷道堆垛机分离部署的防撞人***,防撞人***中还包括:无线交换机,各巷道堆垛机上还配置有无线收发模块;
无线交换机,用于组建无线通信网,以建立各巷道堆垛机与所述工业计算机,和/或所述各巷道堆垛机与可编程逻辑控制器之间的通信连接;
无线收发模块,用于将图像采集单元实时采集的行进前方图像,发送至所述工业计算机;
无线收发模块,还用于接收所述工业计算机远程发送的人体的第一结果转发至巷道堆垛机内部可编程逻辑控制器,或者,接收可编程逻辑控制器的远程控制指令,转发至巷道堆垛机内部的伺服电机。
本发明实施例通过在巷道堆垛机的防撞人***中设置至少一个巷道堆垛机、工业计算机、可编程逻辑控制器和图像采集单元,由巷道堆垛机上配置的图像采集单元实时采集巷道堆垛机行进前方的图像,发送至工业计算机,从而由工业计算机对接收的图像进行人体检测,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器,可编程逻辑控制器根据目标结果控制匹配的巷道堆垛机执行减速停车策略,创造性的提出了一种对巷道堆垛机行进前方进行行人识别的方式,以控制巷道堆垛机安全停车的技术方案,达到了巷道堆垛机避免碰撞行人的效果,满足自动化控制安全的需求,实现巷道无死角的监测,保证工业运行的安全。
附图说明
图1是本发明实施例一中的一种巷道堆垛机的防撞人***的结构示意图;
图2是本发明实施例一中的一种工业计算机对目标行进前方图像进行人体检测的方法流程图;
图3是本发明实施例一中的工业计算机对目标行进前方图像进行影像增强处理的方法流程图;
图4是本发明实施例一中的工业计算机对目标行进前方图像进行防抖动处理的方法流程图;
图5是本发明实施例二中的另一种巷道堆垛机的防撞人***的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种巷道堆垛机的防撞人***的结构示意图,本实施例可适用于巷道堆垛机在巷道工作时,针对前方出现的行人进行有效的减速停车的情况。以一个巷道堆垛机为例,参考图1,该***可以包括:
巷道堆垛机110、工业计算机120以及可编程逻辑控制器130,每个巷道堆垛机110上配置用于采集前方环境图像的图像采集单元140。
巷道堆垛机110,用于在巷道内行进的过程中,将图像采集单元140实时采集的行进前方图像,发送至工业计算机120;
工业计算机120,用于根据巷道堆垛机发送的行进前方图像进行人体检测,形成人体检测结果,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器130;
可编程逻辑控制器130,用于根据所述目标结果,控制匹配的巷道堆垛机执行减速停车策略,以避免所述巷道堆垛机碰撞行人。
其中,巷道堆垛机可以是在巷道中高层货架间运送货物的设备。人体检测结果可以是工业计算机检查巷道堆垛机发送的行进前方图像中是否有人体之后生成的信息。人体检测结果可以包括两种检测结果:巷道堆垛机的行进前方图像中包含人体以及巷道堆垛机的行进前方图像中不包含人体。目标结果可以是指工业计算机检查巷道堆垛机发送的行进前方图像中包含人体的检测结果,目标结果可以是工业计算机从全部人体检测结果中筛选获得。减速停车策略可以是可编程逻辑控制器根据目标结果为巷道堆垛机生成的在行进前方出现行人后执行的减速并停车的方法。
在本发明实施例中,可以通过巷道堆垛机上配置的图像采集单元实时采集巷道堆垛机行进前方的图像,并将图像发送给匹配的工业计算机;工业计算机根据图像检测巷道堆垛机行进前方是否出现行人,从而生成人体检测结果,并筛选出检测到人体的目标结果发送至匹配的可编程逻辑控制器;可编程逻辑控制器根据目标结果确定当前巷道堆垛机的行进前方出现行人,从而可以控制巷道堆垛机减速停车,以避免碰撞行人。相应的,若确定行进前方未出现行人,巷道堆垛机可以继续正常工作。
一种情况下,所述巷道堆垛机的防撞人***可以包括:唯一的工业计算机与唯一的可编程逻辑控制器,所述工业计算机与所述可编程逻辑控制器集成于同一远端设备中,所述远端设备与各所述巷道堆垛机分离部署;
通过上述设置,可以最大程度的节约硬件投入,节约硬件资源,特别是可编程逻辑控制器的使用,通过集成在远端设备中的一个工业计算机和可编程逻辑控制器,可以对巷道环境中的多个巷道堆垛机进行统一的控制,其中,上述可编程逻辑控制器以及工业计算机可以基于各类工业总线协议与各所述巷道堆垛机建立通信连接。
另一种情况下,所述巷道堆垛机的防撞人***可以包括:唯一的工业计算机,以及与所述巷道堆垛机的数量匹配的可编程逻辑控制器,各可编程逻辑控制器集成于每个巷道堆垛机内部,所述工业计算机与各所述所述巷道堆垛机分离部署;
通过上述设置,以增加可编程逻辑控制器数量的方式,减少了可编程逻辑控制器与巷道堆垛机之间的通信时延,可编程逻辑控制器在接收到工业计算机的检测到人体的目标结果时,可以及时、有效的控制对巷道堆垛机的减速停车。
另一种情况下,所述巷道堆垛机的防撞人***可以包括:与所述巷道堆垛机的数量匹配的可编程逻辑控制器以及工业计算机,各所述工业计算机和所述可编程逻辑控制器分别集成于每个巷道堆垛机内部。即,单个工业计算机与单个可编程逻辑控制器仅用于控制单个巷道堆垛机。此时,巷道堆垛机通过图像采集单元实时采集的行进前方图像,可以由其本身集成的工业计算机和可编程逻辑控制器完成人体检测及相应的减速停车策略。
通过上述设置,以增加可编程逻辑控制器以及工业计算机数量的方式,同时减少了巷道堆垛机向工业计算机远程发送行进前方图像,以及可编程逻辑控制器远程对巷道堆垛机进行远程控制的通信时延,最大程度的优化了巷道堆垛机的防撞人的反映速度。
可选的,图2为本发明实施例一提供的一种工业计算机对目标行进前方图像进行人体检测的流程图,参考图2,具体可以包括以下步骤:
S210、工业计算机对目标行进前方图像进行影像增强处理,以适配巷道光照环境;和/或对目标行进前方图像进行防抖动处理,以适配巷道堆垛机的运行中图像采集场景。
可选的,工业计算机接收到巷道堆垛机发送的目标行进前方图像,可以仅对该目标行进前方图像进行影像增强处理,以消除光照变化(例如白天或者夜晚)对采集的目标行进前方图像造成的影响(例如图像过曝或者过暗);还可以仅对该目标行进前方图像进行防抖动处理,以消除由于运动导致图像采集单元所采集的目标行进前方图像存在的模糊问题;还可以同时对该目标行进前方图像进行影响增强处理和防抖动处理,使目标行进前方图像可以更清楚的展示出来。
在上述实施例的基础上,图3为本发明实施例一提供了工业计算机对目标行进前方图像进行影像增强处理的方法流程图,参考图3,该方法具体可以包括:根据目标行进前方图像的图像亮度和/或图像对比度;确定满足影像增强条件时,对目标行进前方图像在HSI颜色空间中的I通道数据对应的灰度图像进行直方图均衡处理,以实现对目标行进前方图像的影像增强处理。
其中,影像增强条件可以是影像过曝或者影像过暗。影像过曝可以是影像的高光部分细节受损或者完全缺失。影像过暗可以是被摄物体亮度不足或者周围空间亮度不足导致拍摄的影像亮度过低。
具体的,工业计算机接收到目标行进前方图像后,可以获取该目标行进前方图像的图像亮度和/或图像对比度,可以仅根据图像亮度判断该目标行进前方图像是否满足影像增强条件,或者,可以仅根据图像对比度判断该目标行进前方图像是否满足影像增强条件,或者,还可以同时根据图像亮度和图像对比度判断该目标行进前方图像是否满足影像增强条件(例如可以设置阈值判断图像亮度或者图像对比度是否满足影像增强条件)。如果满足影像增强条件,可以将该目标行进前方图像转换至HSI颜色空间,并获取I通道数据对应的灰度图像,进而对获取的灰度图像进行直方图均衡处理,从而使用均衡处理后的灰度图像更新目标行进前方图像的I通道数据,以实现对目标行进前方图像的影像增强处理。
这样设置的好处在于,可以针对巷道环境中光照不足的实际情况,通过影像增强处理,消除光照变化对目标前方图像造成的影响,进而能够使工业计算机基于图像增强处理后的目标前方图像,更准确的进行人体检测。
在上述实施例的基础上,图4为本发明实施例一提供了工业计算机对目标行进前方图像进行防抖动处理的方法流程图,参考图4,该方法具体可以包括:根据目标行进前方图像和前帧比对图像间的视差,确定满足防抖动条件时,对目标行进前方图像进行重定位;根据重定位结果,对目标行进前方图像进行图像裁剪处理,以实现对目标行进前方图像的防抖动处理。
可选的,可以获取与目标行进前方图像关联的前帧比对图像;根据目标行进前方图像和前帧比对图像中的感兴趣区域,计算目标行进前方图像和前帧比对图像间的视差;如果根据所述视差确定满足防抖动处理条件,则将各感兴趣区域内的各特征点进行特征点匹配;根据匹配结果,对目标行进前方图像进行感兴趣区域的重定位;根据重定位结果,对目标行进前方图像进行图像裁剪处理,以实现对目标行进前方图像的防抖动处理。
其中,前帧比对图像可以是采集目标行进前方图像的巷道堆垛机所采集到的,与目标行进前方图像相邻的前一帧的画面,可以用于与目标行进前方图像作对比。感兴趣区域可以是目标行进前方图像和前帧比对图像中需要处理的区域。防抖动条件可以是感兴趣区域的边缘纹理模糊或者不完整。特征点可以是目标行进前方图像和前帧比对图像的感兴趣区域中图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。
其中,感兴趣区域(ROI,region of interest),具体是指通过方框、圆、椭圆或者不规则多边形等方式在图像中设置的区域,在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域,一般来说,感兴趣区域一般为移动物体,典型的,行人所在的区域。
具体的,工业计算机在接收到目标行进前方图像后,可以获取目标行进前方图像的前帧比对图像,并勾勒出目标行进前方图像和前帧比对图像的感兴趣区域,从而计算目标行进前方图像和前帧比对图像的视差。进一步的,根据计算的视差判断是否存在抖动(例如可以设置视差的阈值,超过阈值可以确定存在抖动,不超过阈值可以确定不存在抖动),即是否满足防抖动处理的条件,如果确定满足防抖动处理条件,可以将目标行进前方图像中的感兴趣区域和前帧比对图像中的感兴趣区域内的各特征点进行特征点匹配,从而重新定位目标行进前方图像的感兴趣区域。相应的,根据重新定位的结果,对目标行进前方图像进行图像裁剪处理,以实现对目标行进前方图像的防抖动处理。
这样设置的好处在于,可以通过防抖动处理,以消除由于运动导致图像采集单元所采集的目标行进前方图像存在的模糊问题,能够使工业计算机更准确的基于目标行进前方图像中的感兴趣区域进行人体检测。
S220、工业计算机将接收到的目标行进前方图像输入至预先训练的人体检测模型中,获取目标行进前方图像中是否包含有人体的模型输出结果,并针对模型输出结果,形成开关量形式的人体检测结果。
其中,人体检测模型可以使用预先标注的多个训练样本对预设的机器学习模型进行训练后得到,例如,YOLO v3模型,当然,本领域技术人员可以理解的是,除了可以使用YOLO v3模型训练得到人体检测模型之外,还可以采取其他的机器学习模型,例如,卷积神经网络或者支持向量积等,训练得到该人体检测模型,本实施例对此并不进行限制。开关量的第一状态可以为检测到人体的目标结果。开关量的第一状态可以用于标识目标行进前方图像中包含人体。
其中,目标行进前方图像可以是巷道堆垛机向工业计算机发送的实时采集的行进前方的图像。人体检测模型可以是用于检测目标行进前方图像中是否包含人体的模型。模型输出结果可以是人体检测模型对目标行进前方图像中是否包含人体的检测结果。开关量的第一状态可以是指工业计算机检测到目标行进前方图像包含人体而表现的状态,可以用“1”表示。
具体的,可以将通过影像增强处理和/或防抖动处理的目标行进前方图像输入至预先训练的人体检测模型中,检测目标行进前方图像中是否包含人体并输出结果。进一步的,以开关量的形式(“1”)可以将检测到人体的目标结果人体检测结果发送至于当前处理的巷道堆垛机所匹配的可编程逻辑器件。示例性的,工业计算机根据发送目标行进前方图像的巷道堆垛机,向匹配的可编程逻辑期间发送“1”,则表示该目标行进前方图像中包含人体。而若工业计算机根据巷道堆垛机发送的目标行进前方图像,判断出该图像中不包含人体,可以不向匹配的可编程逻辑器件发送任何指令信息。
本发明实施例的技术方案,通过在巷道堆垛机的防撞人***中设置至少一个巷道堆垛机、工业计算机、可编程逻辑器件和图像采集单元,由巷道堆垛机上配置的图像采集单元实时采集巷道堆垛机行进前方的图像,发送至工业计算机,从而由工业计算机对接收的图像进行人体检测,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器,可编程逻辑控制器根据目标结果控制匹配的巷道堆垛机执行减速停车策略,创造性的提出了一种对巷道堆垛机行进前方进行行人识别的方式,以控制巷道堆垛机安全停车的技术方案,达到了巷道堆垛机避免碰撞行人的效果,满足自动化控制安全的需求,实现巷道无死角的监测,保证工业运行的安全。
实施例二
图5是本发明实施例二中的另一种巷道堆垛机的防撞人***的结构示意图,针对可编程逻辑控制器和/或工业计算机与各所述巷道堆垛机分离部署的防撞人***,本实施例是对上述各技术方案的进一步细化,本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。以一个巷道堆垛机为例,参考图5,该***可以包括:
巷道堆垛机510、工业计算机520以及可编程逻辑控制器530,巷道堆垛机510上配置用于采集前方环境图像的图像采集单元540;
巷道堆垛机510,用于在巷道内行进的过程中,将图像采集单元540实时采集的行进前方图像,发送至工业计算机520;
工业计算机520,用于根据各巷道堆垛机510发送的行进前方图像进行人体检测,形成人体检测结果,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器530;
可编程逻辑控制器530,用于根据所述目标结果,控制匹配的巷道堆垛机510执行减速停车策略,以避免碰撞所述行人。
进一步的,该***中还包括有无线交换机550,同时,各巷道堆垛机510上还配置有无线收发模块560;
无线交换机550,用于组建无线通信网,以建立各巷道堆垛机510与所述工业计算机520,和/或所述各巷道堆垛机与可编程逻辑控制器之间的通信连接;
无线收发模块560,用于将图像采集单元540实时采集的行进前方图像,发送至所述工业计算机520;
无线收发模块560,还用于接收所述工业计算机520远程发送的人体的第一结果转发至巷道堆垛机510内部可编程逻辑控制器530,或者,接收可编程逻辑控制器530的远程控制指令,转发至巷道堆垛机510内部的伺服电机。
在本发明实施例中,可以在各巷道堆垛机与工业计算机之间设置无线交换机以组件无线通信网,从而建立各巷道堆垛机与工业计算机之间的通信连接,可以通过巷道堆垛机上配置的图像采集单元实时采集巷道堆垛机行进前方的图像,并通过无线收发模块将采集的图像发送给匹配的工业计算机,工业计算机根据图像检测巷道堆垛机行进前方是否出现行人,从而生成人体检测结果,并筛选出检测到人体的目标结果发送至匹配的可编程逻辑控制器;可编程逻辑控制器根据目标结果确定当前巷道堆垛机的行进前方出现行人,从而可以控制巷道堆垛机减速停车,以避免碰撞行人。相应的,若确定行进前方未出现行人,巷道堆垛机可以继续正常工作。
一种情况下,在巷道堆垛机的防撞人***中有唯一的工业计算机与唯一的可编程逻辑控制器,且所述工业计算机与所述可编程逻辑控制器集成于同一远端设备中,所述远端设备与各所述巷道堆垛机分离部署时,无线收发模块可以用于接收可编程逻辑控制器的远程控制指令,转发至巷道堆垛机内部的伺服电机。
另一种情况下,在巷道堆垛机的防撞人***的可编程逻辑控制器与巷道堆垛机的数量匹配,且各可编程逻辑控制器集成于每个巷道堆垛机内部时,无线收发模块可以用于接收所述工业计算机远程发送的人体的第一结果转发至巷道堆垛机内部可编程逻辑控制器。
在本发明的一个可选实施例中,巷道堆垛机具体可以用于:在接收到工业计算机发送的第一状态的开关量时,按照预设的时间衰减曲线,控制匹配的巷道堆垛机内部的伺服电机将输出电流在预设的时长内衰减至零,以实现减速停车。
其中,时间衰减曲线可以是可编程逻辑控制器的控制电流随时间逐渐减小至0的曲线,该控制电流,用于正比例控制巷道堆垛机内部伺服电机的输出电流随时间逐渐减小至0。具体的,可编程逻辑控制器接收到工业计算机发送的以开关量形式显示的检测到人体的目标结果,可编程逻辑控制器可以通过小电流控制巷道堆垛机内部伺服电机的输出电流开始衰减,按照预先设定的时间衰减曲线在预设的时间(例如,1分钟或者20秒等)内衰减至零,从而使伺服电机停止运行,进而使巷道堆垛机减速停车。
在本发明的一个可选实施例中,工业计算机还可以用于:根据预设的减速停车时长,以及巷道堆垛机的标准行进速度,计算安全防撞距离;根据安全防撞距离计算得到图像采集单元在巷道堆垛机上的配置高度和俯仰角,并对计算得到的配置高度和俯仰角进行用户提示。
其中,减速停车时长可以是巷道堆垛机从开始降低行进速度到停止行进的总时长。标准行进速度可以是统一规定的巷道堆垛机的行进速度。安全防撞距离可以是巷道堆垛机确定行进前方出现行人时为避免与前方行人发生碰撞而在行进过程中与前方行人必要的间隔距离。
具体的,该减速停车时长可以与时间衰减曲线中设定的控制电流逐渐减小至0的时长相同,或者为该时长的设定比例,例如90%或者95%等;该标准行进速度可以为一个巷道堆垛机从一个设定的速度值逐渐减速至0的过程中的平均运行速度。进而,可以使用该标准行进速度乘以该减速停车时长的乘积值,作为该安全防撞距离。
可选的,工业计算机可以根据预设的巷道堆垛机的减速停车时长以及巷道堆垛机的标准行进速度,计算出巷道堆垛机的安全防撞距离。进一步的,可以根据巷道堆垛机的安全防撞距离计算出图像采集单元在巷道堆垛机上的科学配置高度和俯仰角,并将计算的配置高度和俯仰角对巷道堆垛机的用户进行提示。图像采集单元安装在巷道堆跺机上,安装的高度,角度的不同,会影响到是否能看得见人。其中,该图像采集单元所能采集到的最远行人与该巷道堆跺机之间的距离与该安全防撞距离相适配。
示例性的,如果计算得到安全防撞距离为5米,图像采集单元的位置安装在巷道堆跺机上离地面2米处,俯仰角=-30度,此时,可以控制该图像采集单元刚好能看到在0~5米处的人。也即,当行人距离该巷道堆跺机5米远时,就可以被巷道堆垛机所“看见”,进而该巷道堆垛机开始执行减速停车策略,并在向前行进5米之前完成停车,进而可以避免撞到该行人。
这样设置的好处在于,通过计算安全防撞距离,科学配置图像采集单元的高度和俯仰角,可以采集到目标距离内的行进前方图像,能够更有效实现巷道堆垛机防撞人***防撞人的目的。
在本发明的一个可选实施例中,工业计算机还可以用于:收集巷道堆垛机从接收到第一状态的开关量到成功停车所行进的历史停车距离,并根据历史停车距离,计算得到实际平均停车距离;如果实际平均停车距离与安全防撞距离的差异值大于或等于预设的门限阈值,则根据实际平均停车距离,更新可编程逻辑控制器设置的时间衰减曲线,和/或重新根据实际平均停车距离计算得到图像采集单元在巷道堆垛机上的新的配置高度和俯仰角,并对新的配置高度和俯仰角进行用户提示。
其中,历史停车距离可以是各巷道堆垛机从接收到第一状态开关量到成功停车过去行进的距离。实际平均停车距离可以是巷道堆垛机从接收到第一状态开关量到成功停车的实际行进的距离。该实际平均停车距离可以为多个历史停车距离的统计平均值。
具体的,工业计算机可以收集其控制的各巷道堆垛机从接收到第一状态开关量到成功停车行进的历史停车距离,进而计算出实际平均停车距离。如果计算的实际平均停车距离与安全防撞距离的差值大于或者等于预设的门限阈值(例如0.1米),也即,实际平均停车距离要比安全防撞距离远出一个较大的误差值,此时,按照现有的减速停车策略,无法保证该巷道堆垛机能够有效的避障行人,因此,需要减小该实际平均停车距离,或者增大该安全防撞距离;
相应的,可以仅更新可编程逻辑控制器设置的时间衰减曲线,让可编程逻辑控制器的控制电流在更短的时间内衰减到0,以减少各巷道堆垛机的实际平均停车距离;
或者,还可以仅重新计算图像采集单元在巷道堆垛机上的配置高度和俯仰角,使得该图像采集单元可以看见更远距离的行人,进而可以增大该安全防撞距离;
或者,还可以既更新调整可编程逻辑控制器设置的时间衰减曲线,还重新计算图像采集单元在巷道堆垛机上的配置高度和俯仰角,以在减少各巷道堆垛机的实际平均停车距离的同时增大该安全防撞距离,进而可以进一步提高各巷道堆垛机的安全性,最大程度的降低碰撞概率。
另外,还可以将新的配置高度和俯仰角对巷道堆垛机用户进行提示。
这样设置的好处在于,通过更新时间衰减曲线和图像采集单元的高度和俯仰角,可以避免设备本身的物理缺陷而导致理论安全防撞距离失效。
可选的,可以采用ModBus通信协议,生成与检测到人体的目标结果匹配的发送数据包,并将发送数据包返回至与所述目标结果匹配的巷道堆垛机。
其中,ModBus通信协议可以是工业电子设备之间常用的连接通信方式。发送数据包可以是工业计算机根据人体检测结果采用ModBus通信协议生成的数据包,该发送数据包能够在工业计算机与巷道堆垛机之间发送。
具体的,工业计算机对目标行进前方图像检测完成后,可以采用ModBus通信协议,生成携带与该目标结果匹配的巷道堆垛机的IP地址和所述目标结果的发送数据包,并将该发送数据包返回至匹配的巷道堆垛机中的可编程逻辑控制器件,完成工业计算机与巷道堆垛机之间的通信。
或者,工业计算机对目标行进前方图像检测完成,并生成匹配的目标结果后,将上述目标结果发送至位于同一远端设备中的可编程逻辑控制器件,可编程逻辑控制器件基于预设的减速停车策略,生成相应的远程控制指令后,可以采用ModBus通信协议,生成携带与该目标结果匹配的巷道堆垛机的IP地址和所述目标结果的发送数据包,并将该发送数据包返回至匹配的巷道堆垛机中,完成编程逻辑控制器件与巷道堆垛机之间的通信。
本发明实施例的技术方案,通过在巷道堆垛机的防撞人***中设置至少一个巷道堆垛机、工业计算机、可编程逻辑控制器件、图像采集单元、无线交换机和无线收发模块,由巷道堆垛机上配置的图像采集单元实时采集巷道堆垛机行进前方的图像,通过无线收发模块将采集的图像经由无线交换机发送至工业计算机,从而由工业计算机对接收的图像进行人体检测,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器,可编程逻辑控制器根据目标结果通过无线收发模块向匹配的巷道堆垛机发送远程控制指令,进一步将该控制指令转发至巷道堆垛机内部的伺服电机,控制当前的巷道堆垛机执行减速停车策略,创造性的提出了一种对巷道堆垛机行进前方进行行人识别的方式,以控制巷道堆垛机安全停车的技术方案,达到了巷道堆垛机避免碰撞行人的效果,满足自动化控制安全的需求,实现巷道无死角的监测,保证工业运行的安全。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种巷道堆垛机的防撞人***,其特征在于,包括:至少一个巷道堆垛机、工业计算机以及可编程逻辑控制器,巷道堆垛机上配置用于采集前方环境图像的图像采集单元;
巷道堆垛机,用于在巷道内行进的过程中,将图像采集单元实时采集的行进前方图像,发送至工业计算机;
工业计算机,用于根据巷道堆垛机发送的行进前方图像进行人体检测,形成人体检测结果,并将检测到人体的目标结果发送至匹配的可编程逻辑控制器;
可编程逻辑控制器,用于根据所述目标结果,控制匹配的巷道堆垛机执行减速停车策略,以避免所述巷道堆垛机碰撞行人;
工业计算机具体用于:将接收到的目标行进前方图像输入至预先训练的人体检测模型中,获取目标行进前方图像中是否包含有人体的模型输出结果,并针对模型输出结果,形成开关量形式的人体检测结果;其中,人体检测模型使用预先标注的多个训练样本对预设的机器学习模型进行训练后得到,开关量的第一状态为检测到人体的目标结果;
可编程逻辑控制器具体用于:在接收到工业计算机发送的第一状态的开关量时,按照预设的时间衰减曲线,控制匹配的巷道堆垛机内部的伺服电机将输出电流在预设的时长内衰减至零,以实现减速停车;
工业计算机还用于:根据预设的减速停车时长,以及巷道堆垛机的标准行进速度,计算安全防撞距离;根据安全防撞距离计算得到图像采集单元在巷道堆垛机上的配置高度和俯仰角,并对计算得到的配置高度和俯仰角进行用户提示;
工业计算机还用于:收集巷道堆垛机从接收到第一状态的开关量到成功停车所行进的历史停车距离,并根据历史停车距离,计算得到实际平均停车距离;如果实际平均停车距离与安全防撞距离的差异值大于或等于预设的门限阈值,则根据实际平均停车距离,更新可编程逻辑控制器设置的时间衰减曲线,和/或重新根据实际平均停车距离计算得到图像采集单元在巷道堆垛机上的新的配置高度和俯仰角,并对新的配置高度和俯仰角进行用户提示。
2.根据权利要求1所述的***,其特征在于,所述巷道堆垛机的防撞人***包括:唯一的工业计算机与唯一的可编程逻辑控制器,所述工业计算机与所述可编程逻辑控制器集成于同一远端设备中,所述远端设备与各所述巷道堆垛机分离部署;或者
所述巷道堆垛机的防撞人***包括:唯一的工业计算机,以及与所述巷道堆垛机的数量匹配的可编程逻辑控制器,各可编程逻辑控制器集成于每个巷道堆垛机内部,所述工业计算机与各所述所述巷道堆垛机分离部署;或者
所述巷道堆垛机的防撞人***包括:与所述巷道堆垛机的数量匹配的可编程逻辑控制器以及工业计算机,各所述工业计算机和所述可编程逻辑控制器分别集成于每个巷道堆垛机内部。
3.根据权利要求1所述的防撞人***,其特征在于,工业计算机具体还用于:
在将接收到的目标行进前方图像输入至预先训练的人体检测模型中之前,对目标行进前方图像进行影像增强处理,以适配巷道光照环境;和/或
在将接收到的目标行进前方图像输入至预先训练的人体检测模型中之前,对目标行进前方图像进行防抖动处理,以适配巷道堆垛机的运行中图像采集场景。
4.根据权利要求3所述的防撞人***,其特征在于,工业计算机进一步具体用于:
根据目标行进前方图像的图像亮度和/或图像对比度;确定满足影像增强条件时,对目标行进前方图像在HSI颜色空间中的I通道数据对应的灰度图像进行直方图均衡处理,以实现对目标行进前方图像的影像增强处理。
5.根据权利要求3所述的防撞人***,其特征在于,工业计算机进一步具体用于:
根据目标行进前方图像和前帧比对图像间的视差,确定满足防抖动条件时,对目标行进前方图像进行重定位;根据重定位结果,对目标行进前方图像进行图像裁剪处理,以实现对目标行进前方图像的防抖动处理。
6.根据权利要求2所述的防撞人***,其特征在于,针对可编程逻辑控制器和工业计算机与各所述巷道堆垛机分离部署的防撞人***,或者,工业计算机与各所述巷道堆垛机分离部署的防撞人***,防撞人***中还包括:无线交换机,各巷道堆垛机上还配置有无线收发模块;
无线交换机,用于组建无线通信网,以建立各巷道堆垛机与所述工业计算机,和/或所述各巷道堆垛机与可编程逻辑控制器之间的通信连接;
无线收发模块,用于将图像采集单元实时采集的行进前方图像,发送至所述工业计算机;
无线收发模块,还用于接收所述工业计算机远程发送的人体的第一结果转发至巷道堆垛机内部可编程逻辑控制器,或者,接收可编程逻辑控制器的远程控制指令,转发至巷道堆垛机内部的伺服电机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111566715.XA CN114313728B (zh) | 2021-12-20 | 2021-12-20 | 一种巷道堆垛机的防撞人*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111566715.XA CN114313728B (zh) | 2021-12-20 | 2021-12-20 | 一种巷道堆垛机的防撞人*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114313728A CN114313728A (zh) | 2022-04-12 |
CN114313728B true CN114313728B (zh) | 2024-06-07 |
Family
ID=81055300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111566715.XA Active CN114313728B (zh) | 2021-12-20 | 2021-12-20 | 一种巷道堆垛机的防撞人*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114313728B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103158620A (zh) * | 2013-03-25 | 2013-06-19 | 中国电子科技集团公司第三十八研究所 | 一种车辆行人检测跟踪预警*** |
CN204197778U (zh) * | 2014-05-19 | 2015-03-11 | 国家电网公司 | 一种立体库房巷道堆垛机防撞人闭锁装置 |
CN107124542A (zh) * | 2016-02-25 | 2017-09-01 | 珠海格力电器股份有限公司 | 图像的防抖处理方法和装置 |
CN107886034A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 行车提醒方法、装置及车辆 |
CN109285122A (zh) * | 2017-07-20 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 一种进行图像处理的方法和设备 |
CN110033417A (zh) * | 2019-04-12 | 2019-07-19 | 江西财经大学 | 一种基于深度学习的图像增强方法 |
CN112406967A (zh) * | 2019-08-23 | 2021-02-26 | 盟立自动化股份有限公司 | 轨道车***、轨道车及视觉感测装置 |
CN112784725A (zh) * | 2021-01-15 | 2021-05-11 | 北京航天自动控制研究所 | 行人防撞预警方法、设备、存储介质及堆高机 |
-
2021
- 2021-12-20 CN CN202111566715.XA patent/CN114313728B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103158620A (zh) * | 2013-03-25 | 2013-06-19 | 中国电子科技集团公司第三十八研究所 | 一种车辆行人检测跟踪预警*** |
CN204197778U (zh) * | 2014-05-19 | 2015-03-11 | 国家电网公司 | 一种立体库房巷道堆垛机防撞人闭锁装置 |
CN107124542A (zh) * | 2016-02-25 | 2017-09-01 | 珠海格力电器股份有限公司 | 图像的防抖处理方法和装置 |
CN107886034A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 行车提醒方法、装置及车辆 |
CN109285122A (zh) * | 2017-07-20 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 一种进行图像处理的方法和设备 |
CN110033417A (zh) * | 2019-04-12 | 2019-07-19 | 江西财经大学 | 一种基于深度学习的图像增强方法 |
CN112406967A (zh) * | 2019-08-23 | 2021-02-26 | 盟立自动化股份有限公司 | 轨道车***、轨道车及视觉感测装置 |
CN112784725A (zh) * | 2021-01-15 | 2021-05-11 | 北京航天自动控制研究所 | 行人防撞预警方法、设备、存储介质及堆高机 |
Also Published As
Publication number | Publication date |
---|---|
CN114313728A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2735340C1 (ru) | Способ управления парковкой и устройство управления парковкой | |
US9275545B2 (en) | System and method for monitoring vehicle traffic and controlling traffic signals | |
US20170305335A1 (en) | Indent-Indication System For An Automated Vehicle | |
CN110674733A (zh) | 多目标检测识别方法和辅助驾驶方法、*** | |
CN108133484B (zh) | 基于场景分割的自动驾驶处理方法及装置、计算设备 | |
EP3451105B1 (en) | Automated speed control system | |
CN113744564B (zh) | 一种基于边缘计算的智能网联公交车路协同控制*** | |
CN113853640B (zh) | 电子控制装置 | |
CN111417561B (zh) | 实现移动运输工具的自动远程控制的服务器及移动运输工具的自动远程控制方法 | |
US20200231144A1 (en) | Vehicle control device, vehicle control method, and program | |
CN110936953A (zh) | 提供周围环境图像的方法和设备与具有这种设备的机动车 | |
EP3524935B1 (en) | Vehicle perception-data gathering system and method | |
CN111984008A (zh) | 一种机器人控制方法、装置、终端和存储介质 | |
CN113228131A (zh) | 用于提供周围环境数据的方法和*** | |
CN114313728B (zh) | 一种巷道堆垛机的防撞人*** | |
KR102158169B1 (ko) | 차선 인식장치 | |
JP2021163374A (ja) | 自律走行車両の運行管理装置及び運行管理方法 | |
JP7115869B2 (ja) | 地図生成システム | |
CN110045721B (zh) | 用于辅助车辆行驶的方法及其装置 | |
CN114877910A (zh) | 行驶规划方法、电子设备及计算机存储介质 | |
US20230252903A1 (en) | Autonomous driving system with air support | |
CN111845724B (zh) | 一种自动驾驶车辆的避障方法、装置和车辆 | |
CN113126631A (zh) | Agv车的自动刹车控制方法、装置、电子设备和存储介质 | |
CN109102706B (zh) | 一种控制交通灯的方法、装置和*** | |
KR20220073874A (ko) | 근거리 및 원거리 교통 환경정보를 이용한 자율주행 차량의 주행 제어시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |