CN112541413A - 面向叉车司机实操考核与教练的危险行为检测方法及*** - Google Patents
面向叉车司机实操考核与教练的危险行为检测方法及*** Download PDFInfo
- Publication number
- CN112541413A CN112541413A CN202011388071.5A CN202011388071A CN112541413A CN 112541413 A CN112541413 A CN 112541413A CN 202011388071 A CN202011388071 A CN 202011388071A CN 112541413 A CN112541413 A CN 112541413A
- Authority
- CN
- China
- Prior art keywords
- driver
- dangerous
- forklift
- posture
- industrial camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 230000006399 behavior Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 238000003709 image segmentation Methods 0.000 claims abstract description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Structural Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Geology (AREA)
- Transportation (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Civil Engineering (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向叉车司机实操考核与教练的危险行为检测方法及***,包括:将工业相机安装于叉车前端,调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位,并记录调整后工业相机角度;根据叉车司机位姿,并抓取该位置图像,利用Mask R‑CNN目标识别与图像分割框架获取叉车司机位姿像素坐标,计算司机上半身位姿角度;根据相机***成像结构,得到像素间距与实际间距比例,计算出危险行为判断标准;工业相机拍摄监测叉车司机姿态,检测安全带是否系好,利用Mask R‑CNN识别司机姿态像素坐标,计算出安全性得分,判断行为是否危险。本发明实现对叉车司机实操考核与教练过程中司机的危险行为进行智能识别检测。
Description
技术领域
本发明涉及叉车司机考核与教练领域,尤其涉及一种基于深度学习的面向叉车司机实操考核与教练的危险行为检测方法及***。
背景技术
叉车广泛应用于港口、车站、机场、货场、工厂车间、仓库、流通中心和配送中心等,在船舱、车厢和集装箱内进行托盘货物的装卸、搬运作业,是托盘运输、集装箱运输中必不可少的设备。叉车司机的实操考核与教练质量关乎工程效率和工程安全。本方法涉及深度学习的方法,能对叉车司机实操考核与教练过程中的危险行为进行检测,有助于行业提升对叉车司机的教学培训质量,规范叉车司机的驾驶和操作行为习惯,从源头上降低叉车安全事故发生概率,有力保障叉车使用安全。
在本发明以前的叉车司机实操考核与教练的危险行为检测方法及***现有技术中,有如下几篇对比专利和文献:
1)一种基于神经网络的公交司机违规行为检测***(CN 109376634 A)公开了一种公交司机违规行为检测***,通过采用神经网络的方法,采集司机各类行为视频进行判断。该方法采用神经网络与本发明采用的深度学习方法相区别,且本方法的危险行为判断利用计算得出判断结果。
2)机车司机行为识别方法及装置(CN 106941602 B)公开一种机车司机行为识别方法与***,预先定义司机多类行为,采用深度学习算法,对司机日常几类操作进行识别。本发明采用Mask R-CNN深度学习方法,对司机身体姿态进行检测,并通过计算判断危险。
3)一种基于监控视频的游泳馆深水区早期危险行为检测方法(CN 111368743 A)公开了一种基于监控视频的游泳馆深水区早期危险行为检测方法,通过采集游泳视频,检测游泳者头部处于游动状态或者直立状态。本发明采用Mask R-CNN方法对叉车司机上半身进行检测,并计算判断危险状态。
发明内容
为解决上述技术问题,本发明的目的是提供一种面向叉车司机实操考核与教练的危险行为检测方法及***。
本发明的目的通过以下的技术方案来实现:
面向叉车司机实操考核与教练的危险行为检测方法,包括:
A将工业相机安装于叉车前端,调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位,并记录调整后工业相机角度;
B根据叉车司机位姿,抓取该位置图像,利用Mask R-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标,计算司机上半身位姿角度;
C根据相机***成像结构,得到像素间距与实际间距比例,计算出危险行为判断标准;
D工业相机拍摄监测叉车司机姿态,检测安全带是否系好,利用Mask R-CNN识别司机姿态像素坐标,计算出安全性得分,判断行为是否危险。
面向叉车司机实操考核与教练的危险行为检测方法及***,包括:工业相机、工业相机夹具、上位机、喇叭;所述
工业相机,用于捕获司机姿态位置图像,并上传至上位机;
工业相机夹具,用于安装工业相机并调整角度固定相机;
上位机,用于识别所捕获的司机姿态位置图象,并计算判断司机是否处于危险行为;
喇叭,用于播放检测到司机危险行为后的提醒性音频。
与现有技术相比,本发明的一个或多个实施例可以具有如下优点:
采用工业相机、上位机和喇叭,可以实时捕获叉车司机姿态图像并通过上位机识别计算出其所处位置像素坐标信息,对司机行为进行检测判断,并通过喇叭播报。本方法自动化程度高、速度快、对准精度高,可应用在叉车司机实操考核与教练过程中对司机的危险行为进行检测并提醒,具有实际意义和推广价值。
利用Mask R-CNN目标识别与图像分割方法,实现对叉车司机实操考核与教练过程中司机的危险行为进行智能识别检测。
附图说明
图1是面向叉车司机实操考核与教练的危险行为检测方法流程图;
图2是面向叉车司机实操考核与教练的危险行为检测方法程序框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示,本发明的面向叉车司机实操考核与教练的危险行为检测方法,包括:
步骤10将工业相机安装于叉车前端,调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位,并记录调整后工业相机角度;
步骤20根据叉车司机位姿,并抓取该位置图像,利用Mask R-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标,计算司机上半身位姿角度;
步骤30根据相机***成像结构,得到像素间距与实际间距比例,计算出危险行为判断标准;
步骤40工业相机拍摄监测叉车司机姿态,检测安全带是否系好,利用Mask R-CNN识别司机姿态像素坐标,计算出安全性得分,判断行为是否危险。
如图2,上述步骤10确定的调整后工业相机镜头轴线方向与重力方向所成角度为α。
如图2,上述步骤20司机上半身位姿角度计算方法为:
设N0为司机安全带身体边界像素点数,(x0,y0,z0)为安全带部位参考基准坐标。以司机安全带身体边界为基准坐标集,可得{(x0i,y0i,z0i)|i=1,2,……,N0},并计算安全带部位基准坐标:
设N1为司机安全带身体边界像素点数,(x1,y1,z1)为安全带部位参考基准坐标。以识别司机肩部姿态并存储所处像素坐标集,可得{(x1i,y1i,z1i)|i=1,2,……,Nl},并计算肩部基准坐标:,
由安全带部位基准坐标和肩部基准坐标可计算出司机位姿与竖直向上方向所成角度β:
如图2,上述步骤30判断危险行为安全标准为:
根据***结构和相机成像面上一个像素间距对应的实际距离Δsl、Δss,危险因子为ξ,故判断系数A计算如下:
其中A1、A2、A3有如下约束关系:
A1+A2+A3=1
如图2,所述步骤40中,判断行为是否危险如下:
识别司机姿态行为,若识别出司机为系好安全带,直接判断司机处于危险行为,若系好安全带则继续检测判断。
设St1、St2、St3为司机姿态行为得分数,以识别司机初始姿态并存储所处像素坐标集,可得{(x0j,y0j,z0j)|j=1,2,……,M0},Mask R-CNN识别司机姿态像素坐标,可得{(x1j,y1j,z1j)|j=1,2,……,M0},可计算司机姿态行为危险评分:
根据以上司机得分情况,可判断司机是否处于危险状态:
若检测判断结果为司机处于危险行为,则喇叭播报“危险,请注意安全”音频。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (6)
1.面向叉车司机实操考核与教练的危险行为检测方法,其特征在于,所述方法包括:
A将工业相机安装于叉车前端,调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位,并记录调整后工业相机角度;
B根据叉车司机位姿,抓取司机位姿位置图像,利用Mask R-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标,计算司机上半身位姿角度;
C根据相机***成像结构,得到像素间距与实际间距比例,计算出危险行为判断标准;
D工业相机拍摄监测叉车司机姿态,检测安全带是否系好,利用Mask R-CNN识别司机姿态像素坐标,计算出安全性得分,判断行为是否危险。
2.如权利要求1所述的面向叉车司机实操考核与教练的危险行为检测方法,其特征在于,所述步骤A中,调整后工业相机角度是指镜头轴线方向与重力方向所成角度,该角度为α。
3.如权利要求1所述的面向叉车司机实操考核与教练的危险行为检测方法,其特征在于,所述步骤B中司机上半身位姿角度计算方法为:
设司机安全带身体边界像素点数为N0,安全带部位参考基准坐标为(x0,y0,z0);以司机安全带身体边界为基准坐标集,得{(x0i,y0i,z0i)|i=1,2,……,N0},并计算安全带部位基准坐标:
设N1为司机安全带身体边界像素点数,(x1,y1,z1)为安全带部位参考基准坐标;以识别司机肩部姿态并存储所处像素坐标集,得{(x1i,y1i,z1i)|i=1,2,……,Nl},并计算肩部基准坐标:
由安全带部位基准坐标和肩部基准坐标计算出司机位姿与竖直向上方向所成角度β:
5.如权利要求1所述的面向叉车司机实操考核与教练的危险行为检测方法,其特征在于,所述步骤D中,判断行为是否危险如下:
识别司机姿态行为,若识别出司机为系好安全带,直接判断司机处于危险行为,若系好安全带则继续检测判断;
设St1、St2、St3为司机姿态行为得分数;以识别司机初始姿态并存储所处像素坐标集,得{(x0j,y0j,z0j)|j=1,2,……,M0},Mask R-CNN识别司机姿态像素坐标,得{(x1j,y1j,z1j)|j=1,2,……,M0},计算司机姿态行为危险评分:
根据司机得分情况,判断司机是否处于危险状态:
若检测判断结果为司机处于危险行为,则喇叭播报“危险,请注意安全”音频。
6.面向叉车司机实操考核与教练的危险行为检测***,其特征在于,所述***包括工业相机、工业相机夹具、上位机、喇叭;所述
工业相机,用于捕获司机姿态位置图像,并上传至上位机;
工业相机夹具,用于安装工业相机并调整角度固定相机;
上位机,用于识别所捕获的司机姿态位置图象,并计算判断司机是否处于危险行为;
喇叭,用于播放检测到司机危险行为后的提醒性音频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011388071.5A CN112541413B (zh) | 2020-11-30 | 2020-11-30 | 面向叉车司机实操考核与教练的危险行为检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011388071.5A CN112541413B (zh) | 2020-11-30 | 2020-11-30 | 面向叉车司机实操考核与教练的危险行为检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112541413A true CN112541413A (zh) | 2021-03-23 |
CN112541413B CN112541413B (zh) | 2024-02-23 |
Family
ID=75015473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011388071.5A Active CN112541413B (zh) | 2020-11-30 | 2020-11-30 | 面向叉车司机实操考核与教练的危险行为检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112541413B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110374A (ja) * | 2014-12-05 | 2016-06-20 | 富士通テン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
CN105946786A (zh) * | 2016-05-06 | 2016-09-21 | 厦门理工学院 | 一种安全带规范佩戴的检测方法、提醒***及控制方法 |
CN106295601A (zh) * | 2016-08-18 | 2017-01-04 | 合肥工业大学 | 一种改进的安全带检测方法 |
CN108182385A (zh) * | 2017-12-08 | 2018-06-19 | 华南理工大学 | 一种用于智能交通***的驾驶员安全带佩戴识别方法 |
CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
CN109858367A (zh) * | 2018-12-29 | 2019-06-07 | 华中科技大学 | 工人通过支撑不安全行为的视觉自动化检测方法及*** |
US20190359169A1 (en) * | 2018-05-22 | 2019-11-28 | Zf Friedrichshafen Ag | Interior observation for seatbelt adjustment |
CN111645694A (zh) * | 2020-04-15 | 2020-09-11 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
-
2020
- 2020-11-30 CN CN202011388071.5A patent/CN112541413B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110374A (ja) * | 2014-12-05 | 2016-06-20 | 富士通テン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
CN105946786A (zh) * | 2016-05-06 | 2016-09-21 | 厦门理工学院 | 一种安全带规范佩戴的检测方法、提醒***及控制方法 |
CN106295601A (zh) * | 2016-08-18 | 2017-01-04 | 合肥工业大学 | 一种改进的安全带检测方法 |
CN108182385A (zh) * | 2017-12-08 | 2018-06-19 | 华南理工大学 | 一种用于智能交通***的驾驶员安全带佩戴识别方法 |
US20190359169A1 (en) * | 2018-05-22 | 2019-11-28 | Zf Friedrichshafen Ag | Interior observation for seatbelt adjustment |
CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
CN109858367A (zh) * | 2018-12-29 | 2019-06-07 | 华中科技大学 | 工人通过支撑不安全行为的视觉自动化检测方法及*** |
CN111645694A (zh) * | 2020-04-15 | 2020-09-11 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112541413B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110220917B (zh) | 一种基于图像处理的皇冠盖表面缺陷在线检测方法 | |
CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
CN110136449A (zh) | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 | |
CN107305627A (zh) | 一种车辆视频监控方法、服务器及*** | |
CN106290394B (zh) | 一种cpu散热器铝挤成型缺陷检测***及检测方法 | |
CN107480646B (zh) | 一种基于双目视觉的车载视频异常运动检测方法 | |
CN113822840A (zh) | 车辆车底的检查***及方法 | |
CN111161312B (zh) | 一种基于计算机视觉的物体轨迹追踪识别装置及*** | |
CN106531161A (zh) | 基于图像识别的移动小车自动分拣搬运物品的装置及方法 | |
Chang et al. | Real-time vehicle tracking mechanism with license plate recognition from road images | |
CN112084900A (zh) | 一种基于视频分析的地下车库乱停检测方法 | |
CN111767780A (zh) | 一种ai与视觉结合的智能集卡定位方法和*** | |
CN114092683A (zh) | 基于视觉反馈和深度网络的轮胎变形量识别方法及装置 | |
CN112818834A (zh) | 一种交叉口针对应急车辆的避让判定方法、设备及介质 | |
CN117124302A (zh) | 一种零件分拣方法、装置、电子设备及存储介质 | |
CN110084171B (zh) | 一种地铁车顶异物检测装置及检测方法 | |
CN112541413A (zh) | 面向叉车司机实操考核与教练的危险行为检测方法及*** | |
CN112950922B (zh) | 一种共享电动车的定点还车方法 | |
CN114170252A (zh) | 一种基于机器视觉的集卡车头防砸保护***及方法 | |
CN112183206B (zh) | 一种基于路侧单目摄像头的交通参与者定位方法和*** | |
CN107506739A (zh) | 一种夜间前向车辆检测及测距方法 | |
CN111179452A (zh) | 一种基于etc通道客车扣费的***和方法 | |
CN114694125B (zh) | 一种用于轨道异物识别的数据处理方法 | |
US12002196B2 (en) | Electronic device and method for marking defects of products | |
CN112580517A (zh) | 集卡车头防砸保护***及方法、计算机存储介质、龙门吊 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |