CN113326811A - 一种基于目标检测算法的边缘端在位监测*** - Google Patents

一种基于目标检测算法的边缘端在位监测*** Download PDF

Info

Publication number
CN113326811A
CN113326811A CN202110744148.6A CN202110744148A CN113326811A CN 113326811 A CN113326811 A CN 113326811A CN 202110744148 A CN202110744148 A CN 202110744148A CN 113326811 A CN113326811 A CN 113326811A
Authority
CN
China
Prior art keywords
detection
image
target detection
edge end
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110744148.6A
Other languages
English (en)
Inventor
刘建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhaotong Intelligent Technology Co ltd
Original Assignee
Nanjing Zhaotong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhaotong Intelligent Technology Co ltd filed Critical Nanjing Zhaotong Intelligent Technology Co ltd
Priority to CN202110744148.6A priority Critical patent/CN113326811A/zh
Publication of CN113326811A publication Critical patent/CN113326811A/zh
Priority to CN202210346966.5A priority patent/CN114550019A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60—Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测算法的边缘端在位监测***，属于物流设备技术领域，包括智能在位检测模块和管理平台；其中，所述智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；所述边缘端设备包括图像获取单元、图像检测单元和货物识别单元；本发明采用YOLOv3和SSD目标检测算法进行样本训练，得到完整边缘端目标检测模型，其相较于传统的two‑stage方法，检测与识别速度更快，并且本发明通过重复测试和样本添加，使得模型不断优化，进而提高了该模型的检测与识别准确度；此外，本发明产品图像的检测和识别均在边缘端设备上实现，进而有利于降低管理平台的数据处理压力。

Description

一种基于目标检测算法的边缘端在位监测***
技术领域
本发明涉及物流设备技术领域，尤其涉及一种基于目标检测算法的边缘端在位监测***。
背景技术
经检索，中国专利号CN108750509A公开了一种基于AGV小车的货位检测方法及AGV小车，该发明通过传感器对货位的当前情况进行检测，虽然减少了AGV小车在取放物料时的误操作，但该发明只能检测出货位上有无货物，并不能检测出货物的类别，进而无法辅助货物管理平台进行实时的货物监测管理；AGV(Automated Guided Vehicle，简称AGV)小车，是指装备有自动导引装置，能够沿规定的导引路径自动行驶，具有多种自动移载功能的运输车，目前，随着电子技术的发展，AGV的应用范围在不断扩展，且其在物流***方面的应用最为广泛，但现有AGV小车的功能相对单一，仅仅只能实现物流运输功能；在实际物流仓库中，由于货物数量庞大且货物流转频繁，因而需要对货架各仓位上的产品情况进行实时了解；但现有方法大多通过人工巡检方式实现，不仅费时费力，还容易出错；所以，如何将AGV小车与目标检测***相结合应用到仓位的检测和识别成为当下重要研究课题；因此，发明出一种基于目标检测算法的边缘端在位监测***变得尤为重要；
现有的在位监测***只能检测出货位上有无货物，并不能检测出货物的类别，进而无法辅助货物管理平台进行实时的货物监测管理；为此，我们提出一种基于目标检测算法的边缘端在位监测***。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于目标检测算法的边缘端在位监测***。
为了实现上述目的，本发明采用了如下技术方案：
一种基于目标检测算法的边缘端在位监测***，包括智能在位检测模块和管理平台；
其中，所述智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；所述边缘端设备包括图像获取单元、图像检测单元和货物识别单元；所述智能在位检测模块与管理平台通过无线通信技术进行远程通信。
进一步地，所述图像采集单元具体为摄像头，用于在AGV小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；所述电源单元用于对智能在位检测模块进行供电。
进一步地，所述图像获取单元用于获取所述图像采集单元采集到的产品图像；所述图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，所述图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；所述货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
进一步地，所述完整边缘端目标检测模型的具体形成过程如下：
S1：首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；
S2：然后，采用MobileNet轻量级目标检测网络对步骤S1所述样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；
S3：接着，将步骤S2所述初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；
S4：获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；
S5：将步骤S4所述失败产品图像样本集添加到步骤S1样本数据集中，形成新的样本数据集，并再次采用MobileNet轻量级目标检测网络对其进行目标检测算法训练；
S6：然后，对步骤S5所述目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；
S7：重复步骤S3-S6，直至模型性能达到最优，即得到完整边缘端目标检测模型。
进一步地，所述标注的格式包括但不限于VOC格式和COCO格式；所述硬件包括但不限于Jeston Nano、RK3399Pro开发板和树莓派；所述目标检测算法具体为YOLOv3和SSD。
进一步地，所述无线通信技术包括但不限于WIFI、4G和5G；所述管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
相比于现有技术，本发明的有益效果在于：
1、该基于目标检测算法的边缘端在位监测***，采用YOLOv3和SSD目标检测算法进行样本训练，得到完整边缘端目标检测模型，其相较于传统的two-stage方法，检测与识别速度更快，并且本发明通过重复测试和样本添加，使得模型不断优化，进而提高了该模型的检测与识别准确度；此外，本发明产品图像的检测和识别均在边缘端设备上实现，进而有利于降低管理平台的数据处理压力；
2、该基于目标检测算法的边缘端在位监测***，将完整边缘端目标检测模型通过体积较小的硬件(如：Jeston Nano、RK3399Pro开发板和树莓派，)与AGV小车进行结合，进而携带便捷，可应用在工业生产运输多个领域。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的一种基于目标检测算法的边缘端在位监测***的整体结构示意图；
图2为本发明提出的一种基于目标检测算法的边缘端在位监测***搭配AGV小车的结构示意图；
图3为本发明中完整边缘端目标检测模型形成过程的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
参照图1-2，本实施例公开了一种基于目标检测算法的边缘端在位监测***，包括智能在位检测模块和管理平台；
其中，智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；边缘端设备包括图像获取单元、图像检测单元和货物识别单元；智能在位检测模块与管理平台通过无线通信技术进行远程通信。
图像采集单元具体为摄像头，用于在AGV小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；
具体的，该图像采集单元需要根据不同的场景安装情况调节摄像头至最佳位置，实现产品视角全覆盖；
电源单元用于对智能在位检测模块进行供电。
图像获取单元用于获取图像采集单元采集到的产品图像；图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；
具体的，对于无货物的图像检测结果直接上报至管理平台，而对有货物的图像检测结果需要进行类别识别后，再上传至管理平台；
货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
无线通信技术包括但不限于WIFI、4G和5G；
具体，该无线通信技术可根据实际通信距离和预计通信成本进行无线通信技术选择，并不局限于本实例所列出的；
管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
参照图3，本实施例公开了一种基于目标检测算法的边缘端在位监测***，包括智能在位检测模块和管理平台；
其中，智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；边缘端设备包括图像获取单元、图像检测单元和货物识别单元；智能在位检测模块与管理平台通过无线通信技术进行远程通信。
除与上述实施例相同结构外，本实施例将具体介绍完整边缘端目标检测模型的形成过程；
具体的，该完整边缘端目标检测模型的具体形成过程如下：
首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；然后，采用MobileNet轻量级目标检测网络对样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；接着，将初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；将失败产品图像样本集添加到样本数据集中，形成新的样本数据集，并再次采用MobileNet轻量级目标检测网络对其进行目标检测算法训练；然后，对目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；重复上述步骤，直至模型性能达到最优，即得到完整边缘端目标检测模型。
具体的，该标注的格式包括但不限于VOC格式和COCO格式；该硬件包括但不限于Jeston Nano、RK3399Pro开发板和树莓派；该目标检测算法具体为YOLOv3和SSD。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于目标检测算法的边缘端在位监测***，其特征在于，包括智能在位检测模块和管理平台；
其中，所述智能在位检测模块安装于AGV小车上，其包括边缘端设备、图像采集单元和电源单元；所述边缘端设备包括图像获取单元、图像检测单元和货物识别单元；所述智能在位检测模块与管理平台通过无线通信技术进行远程通信。
2.根据权利要求1所述的一种基于目标检测算法的边缘端在位监测***，其特征在于，所述图像采集单元具体为摄像头，用于在AGV小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；所述电源单元用于对智能在位检测模块进行供电。
3.根据权利要求1所述的一种基于目标检测算法的边缘端在位监测***，其特征在于，所述图像获取单元用于获取所述图像采集单元采集到的产品图像；所述图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，所述图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；所述货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
4.根据权利要求3所述的一种基于目标检测算法的边缘端在位监测***，其特征在于，所述完整边缘端目标检测模型的具体形成过程如下：
S1：首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；
S2：然后，采用MobileNet轻量级目标检测网络对步骤S1所述样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；
S3：接着，将步骤S2所述初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；
S4：获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；
S5：将步骤S4所述失败产品图像样本集添加到步骤S1样本数据集中，形成新的样本数据集，并再次采用MobileNet轻量级目标检测网络对其进行目标检测算法训练；
S6：然后，对步骤S5所述目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；
S7：重复步骤S3-S6，直至模型性能达到最优，即得到完整边缘端目标检测模型。
5.根据权利要求4所述的一种基于目标检测算法的边缘端在位监测***，其特征在于，所述标注的格式包括但不限于VOC格式和COCO格式；所述硬件包括但不限于Jeston Nano、RK3399Pro开发板和树莓派；所述目标检测算法具体为YOLOv3和SSD。
6.根据权利要求1所述的一种基于目标检测算法的边缘端在位监测***，其特征在于，所述无线通信技术包括但不限于WIFI、4G和5G；所述管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
CN202110744148.6A 2021-07-01 2021-07-01 一种基于目标检测算法的边缘端在位监测*** Withdrawn CN113326811A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110744148.6A CN113326811A (zh) 2021-07-01 2021-07-01 一种基于目标检测算法的边缘端在位监测***
CN202210346966.5A CN114550019A (zh) 2021-07-01 2022-04-01 基于目标检测算法的边缘端在位监测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110744148.6A CN113326811A (zh) 2021-07-01 2021-07-01 一种基于目标检测算法的边缘端在位监测***

Publications (1)

Publication Number Publication Date
CN113326811A true CN113326811A (zh) 2021-08-31

Family

ID=77425434

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110744148.6A Withdrawn CN113326811A (zh) 2021-07-01 2021-07-01 一种基于目标检测算法的边缘端在位监测***
CN202210346966.5A Withdrawn CN114550019A (zh) 2021-07-01 2022-04-01 基于目标检测算法的边缘端在位监测***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210346966.5A Withdrawn CN114550019A (zh) 2021-07-01 2022-04-01 基于目标检测算法的边缘端在位监测***

Country Status (1)

Country Link
CN (2) CN113326811A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524017A (zh) * 2023-03-13 2023-08-01 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524017A (zh) * 2023-03-13 2023-08-01 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位***
CN116524017B (zh) * 2023-03-13 2023-09-19 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位***

Also Published As

Publication number Publication date
CN114550019A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109975304B (zh) 自动流转的全自动故障指示器流水线检测***及方法
CN111723774A (zh) 一种基于无人机巡检的输电设备目标识别方法
CN114550019A (zh) 基于目标检测算法的边缘端在位监测***
CN110045704A (zh) 生产数据的追溯方法
CN111274934A (zh) 在仓储管理中智能监控叉车运行轨迹的实现方法和***
CN114399258A (zh) 一种智能货架、基于智能货架组成的仓储***及其管理方法
CN104899714A (zh) 仓储货物状态数据的重构装置与***
CN109635797A (zh) 基于多载体识别技术的钢卷顺序精准定位方法
CN112540570A (zh) 档案库房机器人自动巡检管理方法及其巡检管理***
CN109975729B (zh) 一种全自动配电自动化终端综合检测***及方法
CN110633639B (zh) 一种收运监管方法及收运监管***
CN111376789A (zh) Agv电池充电管理方法、***和计算机可读存储介质
CN113721605B (zh) 一种气缸套货物架摆放自识别***
CN109242843B (zh) 一种集装箱表面图像及集装箱号码图像采集方法
CN207069695U (zh) 一种变电站运维量化巡检***
CN113065492A (zh) 云边协同自动点货方法、装置、***及其存储介质
CN110474124B (zh) 一种电动汽车退役动力蓄电池包拆解线及其拆解工艺
CN207923179U (zh) 智能巡检车
CN110046864A (zh) 用于智能仓储***的定位***及智能仓储方法
CN215987376U (zh) 一种基于双光技术的光伏组件热斑无人机自动检测***
CN209486197U (zh) 一种结合台账的变电站机器人巡检***
CN210335119U (zh) 一种手机装配流水线
CN113978987A (zh) 栈板物品打包提货方法、装置、设备及介质
CN113658158A (zh) 一种基于双光技术的光伏组件热斑无人机自动检测***
CN206489453U (zh) 一种无人机平台探照***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210831

WW01 Invention patent application withdrawn after publication