CN113269074A - 一种目标检测方法及安保巡检机器人 - Google Patents

一种目标检测方法及安保巡检机器人 Download PDF

Info

Publication number
CN113269074A
CN113269074A CN202110543846.XA CN202110543846A CN113269074A CN 113269074 A CN113269074 A CN 113269074A CN 202110543846 A CN202110543846 A CN 202110543846A CN 113269074 A CN113269074 A CN 113269074A
Authority
CN
China
Prior art keywords
region
target
image
detected
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110543846.XA
Other languages
English (en)
Inventor
汤伟
王丹彤
王锦韫
黄璜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi University of Science and Technology
Original Assignee
Shaanxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi University of Science and Technology filed Critical Shaanxi University of Science and Technology
Priority to CN202110543846.XA priority Critical patent/CN113269074A/zh
Publication of CN113269074A publication Critical patent/CN113269074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测方法及安保巡检机器人，方法包括：获取待检测图像；使用改进的Faster‑RCNN网络检测待检测图像中的目标，输出目标的类别和位置。本发明对训练样本的数量要求不高，即使训练样本很少也能得到较好的分类结果，结合Faster‑RCNN网络的计算效率，大大提高了目标检测结果的准确性。

Description

一种目标检测方法及安保巡检机器人
技术领域
本发明涉及图像处理技术领域，特别涉及一种目标检测方法及安保巡检机器人。
背景技术
近年来，人力资源成本的不断增加，真人执勤在特殊环境下的效率逐渐降低，基于人的安全防控体系面临着巨大的挑战。通过机器人与安防设备结合，将有效替代安防人员执行高风险任务，并可以进一步构建与固定安全***全天候无缝监控的体系，从而实现24小时全天候无死角实时预警。尤其在夜间和恶劣天气条件下，安保巡检机器人性能相较于真人执勤效果更好。
在安保巡检过程中，机器人需要对目标进行识别，以确定目标的状态，而目标识别的前提是目标检测，即在获取的图像中确定目标的位置。在目标检测过程中，目前多数机器人使用卷积神经网络CNN进行该处理，CNN网络中效率最高的是Faster-RCNN网络，在Faster-RCNN网络中，区域生成网络RPN使用softmax分类器确定各个候选框中的内容是前景还是背景。但是softmax分类器在此类二分类问题上的拟合能力并不是非常好，导致目标分类结果不佳，降低了目标检测的准确度。
发明内容
本发明实施例提供了一种目标检测方法及安保巡检机器人，用以解决现有技术中Faster-RCNN网络使用softmax分类器在二分类问题上性能不足，导致目标检测准确度不理想的问题。
一方面，本发明实施例提供了一种目标检测方法，包括：
获取待检测图像；
使用改进的Faster-RCNN网络检测待检测图像中的目标，输出目标的类别和位置；
其中，改进的Faster-RCNN网络包括卷积层、区域生成网络、感兴趣区域池化层和分类层；
卷积层，用于提取待检测图像的特征图；
区域生成网络，用于通过SVM分类器确定特征图中的锚区域属于前景区域还是背景区域，对属于前景区域的锚区域进行修正获得候选区域；
感兴趣区域池化层，用于将特征图和候选区域结合，提取相应的候选特征；
分类层，用于根据候选特征确定候选特征是否属于目标，在确定所有候选特征的性质后，输出目标的类别和位置。
另一方面，本发明还提供了一种安防巡检机器人，包括：传感器模块和控制器模块；
传感器模块，用于获取待检测图像；
控制器模块，用于采用权利要求1的目标检测方法对目标进行检测。
在一种可能的实现方式中，传感器模块包括：双目摄像头，双目摄像头用于测量机器人与障碍物之间的距离，供控制器模块避障使用。
在一种可能的实现方式中，传感器模块包括：红外线热成像仪，红外线热成像仪用于获取待检测图像。
本发明中的一种目标检测方法及安保巡检机器人，具有以下优点：
对训练样本的数量要求不高，即使训练样本很少也能得到较好的分类结果，结合Faster-RCNN网络的计算效率，大大提高了目标检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标检测方法的流程图；
图2为本发明实施例提供的一种安保巡检机器人的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，安保巡检机器人在机器人行业中的主要功能是负责安防领域的机器人，通过巡检机器人避免潜在安全隐患、巡逻监控及灾情预警等，可以有效降低安全事故的发生。在机器人巡检过程中，大量采用CNN网络进行目标检测。CNN网络包括RCNN、Fast-RCNN和Faster-RCNN网络，其中的Faster-RCNN网络基于Faster-RCNN网络发展而来，其将传统RCNN网络中的候选区域生成、特征提取、分类和位置精修四个步骤整合在了区域生成网络RPN中，使得所有计算都在图形处理单元GPU中一次完成，不存在重复计算，因此计算速度大大提升。目前使用的Faster-RCNN网络中的RPN网络都是使用softmax分类器来确定候选框中的内容是前景还是背景，以方便后续的目标分类操作。但是，由于CNN网络在训练时，对训练数据的标注比较宽松，这样容易导致CNN网络过拟合，所以需要大量的训练样本来改善拟合效果。而在训练样本较少时，softmax分类器的性能就不尽如人意了。
为解决现有技术中的问题，本发明提出了一种目标检测方法及安保巡检机器人，将Faster-RCNN网络中的softmax分类器替换为SVM分类器，利用SVM分类器在少量训练样本时适应能力强的特点，大大提高了目标检测的准确度。
图1为本发明实施例提供的一种目标检测方法的流程示意图。本发明提供的一种目标检测方法，包括：
获取待检测图像；
使用改进的Faster-RCNN网络检测待检测图像中的目标，输出目标的类别和位置；
其中，改进的Faster-RCNN网络包括卷积层、区域生成网络、感兴趣区域池化层和分类层；
卷积层，用于提取待检测图像的特征图；
区域生成网络，用于通过SVM分类器确定特征图中的锚区域属于前景区域还是背景区域，对属于前景区域的锚区域进行修正获得候选区域；
感兴趣区域池化层，用于将特征图和候选区域结合，提取相应的候选特征；
分类层，用于根据候选特征确定候选特征是否属于目标，在确定所有候选特征的性质后，输出目标的类别和位置。
示例性地，卷积层使用基础的conv+relu+pooling层提取待检测图像的特征图。一般情况下使用5层的ZF或者16层的VGG-16作为卷积层，提取得到的特征图将被区域生成网络RPN和感兴趣区域池化层ROI pooling共享。
区域生成网络RPN是Faster-RCNN网络的重点，其采用SVM分类器判断特征图中的锚区域anchors属于前景区域foreground还是背景区域background，再利用包围盒bounding box回归修正锚区域anchors获得精确的候选区域。
本发明还提供了一种安保巡检机器人，如图2所示，该机器人包括：传感器模块和控制器模块；
传感器模块，用于获取待检测图像；
控制器模块，用于采用权利要求1的目标检测方法对目标进行检测。
示例性地，机器人使用电池供电，实现全天候不间断工作。在检测得到目标后，配合相应的处理算法可以确定目标状态是否正常，接着可以将目标状态通过无线局域网传输给数据中心或者用户使用的电子设备，机器人也可以根据目标状态向数据中心或者用户使用的电子设备发送预警或者报警信息。
在一种可能的实施例中，传感器模块包括：双目摄像头100，双目摄像头100用于测量机器人与障碍物之间的距离，供控制器模块避障使用。
示例性地，双目摄像头100包括两个摄像头，其中一个摄像头为基准，另一个摄像头为参考，这样可以同时获取两个图像,一个是基准摄像头收集到的基准图像，另一个是参考摄像头收集到的参考图像。将双目摄像头100收集到的两个图像进行对比，结合两个图像上目标物呈现出来的特征数据，得到与障碍物之间的距离，控制器模块获得该距离数据后，即可控制执行器动作，驱动机器人改变运动状态，以避免与障碍物发生碰撞。
在一种可能的实施例中，传感器模块包括：红外线热成像仪200，红外线热成像仪200用于获取待检测图像。
示例性地，红外线热成像仪200用于在夜晚时对温度目标进行检测。自然界中，一切物体都可以辐射红外线，因此利用红外线热成像仪200测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。在白天时，也可以使用接收可见光的摄像头获取待检测图像。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种目标检测方法，其特征在于，包括：
获取待检测图像；
使用改进的Faster-RCNN网络检测所述待检测图像中的目标，输出目标的类别和位置；
其中，所述改进的Faster-RCNN网络包括卷积层、区域生成网络、感兴趣区域池化层和分类层；
所述卷积层，用于提取所述待检测图像的特征图；
所述区域生成网络，用于通过SVM分类器确定所述特征图中的锚区域属于前景区域还是背景区域，对属于所述前景区域的锚区域进行修正获得候选区域；
所述感兴趣区域池化层，用于将所述特征图和候选区域结合，提取相应的候选特征；
所述分类层，用于根据所述候选特征确定候选特征是否属于目标，在确定所有所述候选特征的性质后，输出目标的类别和位置。
2.一种安防巡检机器人，其特征在于，包括：传感器模块和控制器模块；
所述传感器模块，用于获取待检测图像；
所述控制器模块，用于采用权利要求1所述的目标检测方法对目标进行检测。
3.如权利要求2所述的一种安防巡检机器人，其特征在于，所述传感器模块包括：双目摄像头，所述双目摄像头用于测量机器人与障碍物之间的距离，供所述控制器模块避障使用。
4.如权利要求2所述的一种安防巡检机器人，其特征在于，所述传感器模块包括：红外线热成像仪，所述红外线热成像仪用于获取所述待检测图像。
CN202110543846.XA 2021-05-19 2021-05-19 一种目标检测方法及安保巡检机器人 Pending CN113269074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110543846.XA CN113269074A (zh) 2021-05-19 2021-05-19 一种目标检测方法及安保巡检机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110543846.XA CN113269074A (zh) 2021-05-19 2021-05-19 一种目标检测方法及安保巡检机器人

Publications (1)

Publication Number Publication Date
CN113269074A true CN113269074A (zh) 2021-08-17

Family

ID=77231661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110543846.XA Pending CN113269074A (zh) 2021-05-19 2021-05-19 一种目标检测方法及安保巡检机器人

Country Status (1)

Country Link
CN (1) CN113269074A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970442B1 (ko) * 2018-12-04 2019-04-19 주식회사 넥스파시스템 Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110942000A (zh) * 2019-11-13 2020-03-31 南京理工大学 一种基于深度学习的无人驾驶车辆目标检测方法
CN111402214A (zh) * 2020-03-07 2020-07-10 西南交通大学 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
CN111860439A (zh) * 2020-07-31 2020-10-30 广东电网有限责任公司 一种无人机巡检图像缺陷检测方法、***及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970442B1 (ko) * 2018-12-04 2019-04-19 주식회사 넥스파시스템 Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110942000A (zh) * 2019-11-13 2020-03-31 南京理工大学 一种基于深度学习的无人驾驶车辆目标检测方法
CN111402214A (zh) * 2020-03-07 2020-07-10 西南交通大学 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
CN111860439A (zh) * 2020-07-31 2020-10-30 广东电网有限责任公司 一种无人机巡检图像缺陷检测方法、***及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈宇鹏: "基于深度学习的自动驾驶单目视觉目标识别技术研究", 《中国优秀博士学位论文全文数据库 工程科技Ⅱ辑》, pages 12 - 74 *

Similar Documents

Publication Publication Date Title
CN110850723B (zh) 一种基于变电站巡检机器人***的故障诊断及定位方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN111045000A (zh) 监测***和方法
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及***
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及***
CN105059190A (zh) 基于视觉的汽车开门碰撞预警装置及方法
CN103714321A (zh) 基于距离图像和强度图像的驾驶员人脸定位***
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN115909092A (zh) 轻量化输电通道隐患测距方法及隐患预警装置
CN111008994A (zh) 基于MPSoC的运动目标实时检测跟踪***及方法
CN101320477A (zh) 一种人体跟踪方法及其设备
Liu et al. Research on security of key algorithms in intelligent driving system
CN107767366A (zh) 一种输电线路拟合方法及装置
CN113269074A (zh) 一种目标检测方法及安保巡检机器人
Bi et al. Ship Collision Avoidance Navigation Signal Recognition via Vision Sensing and Machine Forecasting
Zhang et al. Rc6d: An rfid and cv fusion system for real-time 6d object pose estimation
Luo et al. Occluded Insulator Detection System Based on YOLOX of Multi-Scale Feature Fusion
Li et al. Real time obstacle estimation based on dense stereo vision for robotic lawn mowers
CN114049580A (zh) 一种机坪航空器定位***
CN113836975A (zh) 基于yolov3的双目视觉无人机避障方法
Wang et al. A system of automated training sample generation for visual-based car detection
Wang et al. Research on appearance defect detection of power equipment based on improved faster-rcnn
Wu et al. Deep learning based nighttime target enhancement detection algorithm for intelligent vehicles
Ru et al. Material Location and Stacking Detection Method Based on LIDAR and Camera Fusion
Chen et al. A detection method of nearest point of automobile distance in parking assist system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination