CN112183370A - 一种基于ai视觉的叉车防撞预警***及方法 - Google Patents
一种基于ai视觉的叉车防撞预警***及方法 Download PDFInfo
- Publication number
- CN112183370A CN112183370A CN202011051143.7A CN202011051143A CN112183370A CN 112183370 A CN112183370 A CN 112183370A CN 202011051143 A CN202011051143 A CN 202011051143A CN 112183370 A CN112183370 A CN 112183370A
- Authority
- CN
- China
- Prior art keywords
- forklift
- image
- objects
- early warning
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000004438 eyesight Effects 0.000 title claims abstract description 8
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 8
- 238000009434 installation Methods 0.000 claims abstract description 6
- 230000004297 night vision Effects 0.000 claims abstract description 4
- 238000013135 deep learning Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000002093 peripheral effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0759—Details of operating station, e.g. seats, levers, operator platforms, cabin suspension
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Structural Engineering (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geology (AREA)
- General Engineering & Computer Science (AREA)
- Transportation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Civil Engineering (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于AI视觉的叉车防撞预警***及方法，硬件包括：基于人工智能终端(Jetson nano)；安装在叉车不同位置的2‑4个夜视功能摄像头(其中前置摄像头安装在门架上电机附近，该安装位置在本专利保护范围内)；在叉车周围建立不同距离标识，对叉车四周范围区域进行标定本发明有效叉车驾驶安全，降低叉车碰撞事故，提高生产效率。相比于雷达或超声波探测方式，本发明可以识别出周围的人或物，相比于UWB防撞方式，本发明可以实时显示图像画面并进行亮框标识，而且价格更低，更易安装和推广。
Description
技术领域
本发明涉及叉车安全预警领域，特别是一种基于AI视觉的叉车防撞预警***及方法。
背景技术
在仓库工作场景中存在着叉车、行人、货物、托盘、货架等多种复杂工况。叉车是在仓储物流最常用的一种工具，随着物流时代的兴起，叉车的装卸运输的功能在企业的生存制造环节中起着越来越重要的作用，叉车的使用量也越来越多，但叉车的安全事故也发生的越来越多。因为我国物流市场才刚刚起步，大多数的物流人员没有经过专业的培训，对于叉车操作安全的危害性并不是那么了解，这对我们敲响了警钟。
目前，叉车操作还是依靠人为观察为主，这种方式，容易产生看不见的盲区，特别是前方视野受限的情况下，极易造成事故发生。
根据有关数据显示，目前叉车行驶事故已占叉车事故的一半以上，而叉车前进行驶撞人或者撞物，更占叉车行驶事故的一半以上。传统的依靠司机自身的视觉对前方存在潜在威胁的车辆进行反应已经不能满足现代驾驶安全要求，因此为了保障叉车的安全使用，预防和减少事故，保护生命和财产安全，更好地促进经济社会发展，开发出一款叉车安全防撞预警***已是势在必行。
随着人工智能的快速发展，基于AI的视觉检测方案已经在多个领域得到广泛应用，特别是在汽车领域，高级辅助驾驶***(ADAS)已经形成多种产品，对汽车防撞预警起到较好的作用。但在叉车领域，由于叉车特殊结构及使用环境不同，如存在升降架等，叉车行使在仓库而不是带标识线的路面，造成ADAS***与叉车并不匹配。
目前，叉车防撞方面的专利多是基于UWB定位技术或其他传感器定位技术。国内外已有多家研究机构从事于汽车防撞预警方面的工作，在已知的专利技术中，申请号为CN200910003247.8、名称为“用于碰撞预测的***”的发明申请，其采用的是一批能够感知车身周边车辆的传感设备，通过计算目标车辆的行为轨迹，判定是否有接触危险，采用的是雷达传感技术。而申请号为CN200910078631.4、名称为“一种防后车追尾预警方法及其预警***”的发明申请，其采用雷达技术实现对车辆目标的检测，根据车距变化计算车辆碰撞时间(TTC，Time To Collision)，并以之为危险判定基准，给出了一套预警方案。还有申请号为CN200710077381.3、名称为“一种基于机器视觉的汽车防撞预警方法及装置”的发明申请，其采用车牌测距，根据距离的变化计算TTC。
目前在叉车上安装摄像头进行视觉采集的方案多是通过摄像头拍摄盲区，辅助驾驶员进行监控盲区，而不能实时识别拍摄区域的物体，并实时标识出处于危险区域的物体进行防撞预警功能，为此我们提出一种基于AI视觉的叉车防撞预警***及方法用于解决上述问题。
发明内容
本发明的目的在于提供一种基于AI视觉的叉车防撞预警***及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于AI视觉的叉车防撞预警***及方法，硬件包括：
基于人工智能终端(Jetson nano)；
安装在叉车不同位置的2-4个夜视功能摄像头(其中前置摄像头安装在门架上电机附近，该安装位置在本专利保护范围内)。
本发明执行前提条件：
对仓储环境图像采集，并对采集到的图像进行标注，然后基于图像识别神经网络对标注数据进行训练，生成可识别出仓储环境内人或物的深度学习网络模型；
在叉车周围建立不同距离标识，对叉车四周范围区域进行标定。
本发明包括如下步骤：
步骤一：摄像头对叉车周围区域进行采集；
步骤二：人工智能终端读取深度网络学习模型，模型包括但不限于ssd-mobilenetv2、yolo v3，通过tensorrt对训练好的深度学习网络模型进行硬件加速；
步骤三：人工智能终端实时读取摄像头图像数据，并通过硬件加速后的深度学习网络模型对图像进行推理，检测出图像中存在的人或物，并给出其起始坐标位置及区域范围；
步骤四：人工智能终端通过之前标定的区域进行透视变换，计算出图像中人或物的距离；
步骤五：将识别到人或物到叉车的距离及在图像中的位置与先前标注好的不同区域进行激计算，判断人或物是否位于叉车周围的危险或警报区域内，如果是，则进行报警；
步骤六：回到步骤三进行循环。
与现有技术相比，本发明的有益效果是：
1、本发明有效叉车驾驶安全，降低叉车碰撞事故，提高生产效率。相比于雷达或超声波探测方式，本发明可以识别出周围的人或物，相比于UWB防撞方式，本发明可以实时显示图像画面并进行亮框标识，而且价格更低，更易安装和推广。
附图说明
图1为本发明模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于图像的车辆防撞预警***及方法硬件包括：
基于人工智能终端(Jetson nano)；
安装在叉车不同位置的2-4个夜视功能摄像头(其中前置摄像头安装在门架上电机附近，该安装位置在本专利保护范围内)。
本发明执行前提条件：
对仓储环境图像采集，并对采集到的图像进行标注，然后基于图像识别神经网络对标注数据进行训练，生成可识别出仓储环境内人或物的深度学习网络模型；
在叉车周围建立不同距离标识，对叉车四周范围区域进行标定。
本发明包括如下步骤：
步骤一：摄像头对叉车周围区域进行采集；
步骤二：人工智能终端读取深度网络学习模型，模型包括但不限于ssd-mobilenetv2、yolo v3，通过tensorrt对训练好的深度学习网络模型进行硬件加速；
步骤三：人工智能终端实时读取摄像头图像数据，并通过硬件加速后的深度学习网络模型对图像进行推理，检测出图像中存在的人或物，并给出其起始坐标位置及区域范围；
步骤四：人工智能终端通过之前标定的区域进行透视变换，计算出图像中人或物的距离；
步骤五：将识别到人或物到叉车的距离及在图像中的位置与先前标注好的不同区域进行激计算，判断人或物是否位于叉车周围的危险或警报区域内，如果是，则进行报警；
步骤六：回到步骤三进行循环。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (1)
1.一种基于AI视觉的叉车防撞预警***及方法，其特征在于：一种基于图像的车辆防撞预警***及方法硬件包括：
基于人工智能终端(Jetson nano)；
安装在叉车不同位置的2-4个夜视功能摄像头(其中前置摄像头安装在门架上电机附近，该安装位置在本专利保护范围内)。
本发明执行前提条件：
对仓储环境图像采集，并对采集到的图像进行标注，然后基于图像识别神经网络对标注数据进行训练，生成可识别出仓储环境内人或物的深度学习网络模型；
在叉车周围建立不同距离标识，对叉车四周范围区域进行标定。
本发明包括如下步骤：
步骤一：摄像头对叉车周围区域进行采集；
步骤二：人工智能终端读取深度网络学习模型，模型包括但不限于ssd-mobilenet v2、yolo v3，通过tensorrt对训练好的深度学习网络模型进行硬件加速；
步骤三：人工智能终端实时读取摄像头图像数据，并通过硬件加速后的深度学习网络模型对图像进行推理，检测出图像中存在的人或物，并给出其起始坐标位置及区域范围；
步骤四：人工智能终端通过之前标定的区域进行透视变换，计算出图像中人或物的距离；
步骤五：将识别到人或物到叉车的距离及在图像中的位置与先前标注好的不同区域进行激计算，判断人或物是否位于叉车周围的危险或警报区域内，如果是，则进行报警；
步骤六：回到步骤三进行循环。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011051143.7A CN112183370A (zh) | 2020-09-29 | 2020-09-29 | 一种基于ai视觉的叉车防撞预警***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011051143.7A CN112183370A (zh) | 2020-09-29 | 2020-09-29 | 一种基于ai视觉的叉车防撞预警***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183370A true CN112183370A (zh) | 2021-01-05 |
Family
ID=73946975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011051143.7A Pending CN112183370A (zh) | 2020-09-29 | 2020-09-29 | 一种基于ai视觉的叉车防撞预警***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183370A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113085888A (zh) * | 2021-04-21 | 2021-07-09 | 金陵科技学院 | 智能网联汽车辅助驾驶安全信息检测*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130021990A (ko) * | 2011-08-24 | 2013-03-06 | 현대모비스 주식회사 | 차량의 보행자 충돌 경보 시스템 및 그 방법 |
| CN107673290A (zh) * | 2017-09-29 | 2018-02-09 | 李芳龙 | 叉车安全防撞*** |
| CN107972662A (zh) * | 2017-10-16 | 2018-05-01 | 华南理工大学 | 一种基于深度学习的车辆前向碰撞预警方法 |
| CN111098815A (zh) * | 2019-11-11 | 2020-05-05 | 武汉市众向科技有限公司 | 一种基于单目视觉融合毫米波的adas前车碰撞预警方法 |
-
2020
- 2020-09-29 CN CN202011051143.7A patent/CN112183370A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130021990A (ko) * | 2011-08-24 | 2013-03-06 | 현대모비스 주식회사 | 차량의 보행자 충돌 경보 시스템 및 그 방법 |
| CN107673290A (zh) * | 2017-09-29 | 2018-02-09 | 李芳龙 | 叉车安全防撞*** |
| CN107972662A (zh) * | 2017-10-16 | 2018-05-01 | 华南理工大学 | 一种基于深度学习的车辆前向碰撞预警方法 |
| CN111098815A (zh) * | 2019-11-11 | 2020-05-05 | 武汉市众向科技有限公司 | 一种基于单目视觉融合毫米波的adas前车碰撞预警方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113085888A (zh) * | 2021-04-21 | 2021-07-09 | 金陵科技学院 | 智能网联汽车辅助驾驶安全信息检测*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110077399B (zh) | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 | |
| CN103858156B (zh) | 车辆周围监测装置 | |
| CN101875348B (zh) | 基于计算机视觉的误将油门当刹车错误操作防止装置 | |
| CN113370977B (zh) | 一种基于视觉的智能车辆前向碰撞预警方法及*** | |
| CN101870293B (zh) | 基于切道行为检测的车辆驾驶状态评价方法 | |
| CN102059978B (zh) | 驾驶辅助方法与*** | |
| CN103879404B (zh) | 可追踪移动物体的防撞警示方法及其装置 | |
| CN104260723B (zh) | 一种后方车辆运动状态追踪预测装置及预测方法 | |
| CN107031623A (zh) | 一种基于车载盲区相机的道路预警方法 | |
| CN102556066B (zh) | 一种客运车辆车道偏离预警装置及其判断方法 | |
| CN102765365A (zh) | 基于机器视觉的行人检测方法及行人防撞预警*** | |
| CN106537180A (zh) | 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法 | |
| CN112172663A (zh) | 一种基于开车门的危险报警方法及相关设备 | |
| WO2011143866A1 (zh) | 基于被动红外视觉的车辆防撞预警方法 | |
| CN112896879A (zh) | 一种用于智能环卫车的环境感知*** | |
| CN112183370A (zh) | 一种基于ai视觉的叉车防撞预警***及方法 | |
| CN117022323A (zh) | 一种智能驾驶车辆行为分析与预测***及方法 | |
| Cualain et al. | Multiple-camera lane departure warning system for the automotive environment | |
| CN112070050A (zh) | 一种基于多传感器融合的车位识别方法 | |
| CN112356815A (zh) | 一种基于单目相机的行人主动避撞***及方法 | |
| Kiang | A novel multi-sensor crash safety system targeting heavy duty vehicle blind spots | |
| CN115100251A (zh) | 一种基于热像仪和激光雷达的车前行人检测方法及终端 | |
| CN115709713A (zh) | 行车预警方法、装置、设备及存储介质 | |
| CN109243150A (zh) | 一种车辆预警方法及终端 | |
| CN114373168A (zh) | 一种工业车辆道路状态识别检测装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210105 |