CN106709452A - 一种基于智能巡检机器人的仪表位置检测方法 - Google Patents

一种基于智能巡检机器人的仪表位置检测方法 Download PDF

Info

Publication number
CN106709452A
CN106709452A CN201611208019.0A CN201611208019A CN106709452A CN 106709452 A CN106709452 A CN 106709452A CN 201611208019 A CN201611208019 A CN 201611208019A CN 106709452 A CN106709452 A CN 106709452A
Authority
CN
China
Prior art keywords
sample
image
instrument
svm classifier
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611208019.0A
Other languages
English (en)
Other versions
CN106709452B (zh
Inventor
于慧敏
施成燕
黄伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201611208019.0A priority Critical patent/CN106709452B/zh
Publication of CN106709452A publication Critical patent/CN106709452A/zh
Application granted granted Critical
Publication of CN106709452B publication Critical patent/CN106709452B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于智能巡检机器人的仪表位置检测方法。该方法通过智能巡检机器人的云台摄像头,获得仪表图像,统一图像的亮度和大小后,遍历图像获得样本集,并提取每个样本的视觉特征,放入SVM分类器中计算分数,获得仪表的粗略位置。在粗略位置处对图像进行缩放搜索获得样本集,进一步获得仪表的精确位置。本发明采集背景区域(即非仪表区域)作为负样本训练,有效地利用了背景信息,减弱背景中与目标相似的物体对算法的影响。进一步采取先遍历搜索,再尺度搜索的方式,优化了算法的性能,有效地提高了分类器的检测准确率。

Description

一种基于智能巡检机器人的仪表位置检测方法
技术领域
本发明属于自动识别技术领域,特别地涉及一种基于智能巡检机器人的仪表位置检测方法。图像预处理部分,涉及了对比度和亮度调节算法。模型训练部分,涉及了SVM分类器和视觉特征。搜索部分,涉及了遍历和尺度变换结合的搜索策略。
背景技术
目标检测是计算机视觉和图像处理中最基础也是最重要的任务之一,其中包括基于视频的目标检测和基于静态图片的目标检测。
基于静态图片的目标检测即在一张图像上进行物体的检测。本发明中的仪表检测即为基于静态图片的目标检测。
对于基于静态图片的目标检测,一种研究路线是将目标检测问题转为分类问题,基本方法是构建一种特征描述子,而后在图像范围内各个位置多个尺度进行检测。这些算法一般会在每个子窗上提取合适的特征,并使用合适的分类器,即可以完成目标检测。
研究的另一条路线是基于部件的可变模型。在这些模型中,一个物体被假设为若干个基本部件的组合配置,每个组件可以表示为一个点,而组件间的衔接表示为边,那么目标模型就简化为一个已知连接的无向图,而检测即是将此无向图配置到最合适的位置。
在工业和控制领域的工程应用中,如何提高目标检测的识别率和提高算法的性能是非常重要的研究内容。
发明内容
本发明的目的在于提供了一种基于智能巡检机器人的仪表位置检测方法,采用了对比度和亮度调节算法进行图像预处理,SVM分类器和视觉特征进行分类器训练,以及遍历和尺度变换结合的搜索策略,使得目标检测的识别率达到95%以上。
为实现上述目的,本发明的技术方案为:一种基于智能巡检机器人的仪表位置检测方法,其特征在于,通过智能巡检机器人的云台摄像头获得仪表图像I,然后对图像I进行以下步骤处理:
步骤1:对图像I进行图像预处理,获得图像I′。
步骤2:对图像I′遍历搜索,获得多个图像样本,组成样本集M,对M中的样本通过SVM分类器进行分数计算,分数最高的样本的位置即为仪表的粗略位置。
步骤3:以粗略位置的中心点为缩放中心,对图像I′缩放搜索,获得多个图像样本,组成样本集M′,对M′中的样本通过SVM分类器进行分数计算,分数最高的样本的位置即为仪表的精确位置。
进一步地,步骤1中所述的图像预处理具体为:
(1.1)对图像I进行对比度和亮度调节,使得图像I的对比度和亮度与SVM分类器中的训练样本保持基本一致。
(1.2)通过插值法,将图像归化到统一的大小m×n。
进一步地,步骤2中的样本集M通过以下方法得到:从像素点(0,0)开始,选取图像样本,组成样本集M;图像样本Pij的位置为:其中(ai,bj)为图像样本的左上角坐标,w为图像样本的宽度,h为图像样本的高度,a为x轴方向的像素步进单位,b为y轴方向的像素步进单位。
进一步地,步骤3中的样本集M′通过以下方法得到:以粗略位置的中心点为缩放中心,对粗略位置的大小进行缩放,缩放系数为(1-α)~(1+α),步进为β,共得到2α/β个新的图像样本,组成样本集M′。
进一步地,步骤2和步骤3中所述的SVM分类器分数计算方法为:
(a)提取样本集中的每个样本的视觉特征,每个样本得到d维的特征向量S=[S1,S2,…,Sd]。
(b)将S作为SVM分类器的输入,通过计算,SVM分类器输出一个分数。
进一步地,SVM分类器通过以下方法得到:
(3.1)使用智能巡检机器人的云台摄像头,分别拍摄l张图像Ik,k=1,2,3,…,l,使得仪表分别处于图像的不同位置。
(3.2)调节每张图像的对比度和亮度,使得l张图像的对比度和亮度一致,然后将l张图像归化到统一的大小m×n。
(3.3)针对每个图像Ik,框取图像Ik中的仪表,作为正样本,并记录正样本的位置信息((xk,yk),wk,hk)。其中(xk,yk)是正样本左上角的坐标位置,wk为正样本的宽度,hk为正样本的高度。令正样本的标签为1。其中l个正样本的宽度w1,w2,...,wl的均值上取整为w,l个正样本的高度h1,h2,...,hl的均值上取整为h。
遍历图像Ik,选取负样本,负样本P′ki′j′选取的位置为 其中,(a′i′,b′j′)为负样本左上角的坐标位置,wk为负样本的宽度,hk为负样本的高度,a′为x方向的像素步进单位,b′为y方向的像素步进单位。令负样本的标签为负样本P′ki′j′与该图像中正样本的位置重合度
(3.4)提取所有正样本和负样本的视觉特征,获得特征向量,将特征向量与对应的标签输入到SVM分类器中进行训练,得到训练后的SVM分类器。
本发明的有益效果是:
(1)采集背景区域(即非仪表区域)作为负样本训练,有效地利用了背景信息,减弱背景中与目标相似的物体对算法的影响。
(2)优化了目标检测的搜索策略,采取先遍历搜索,再尺度搜索的方式,优化了算法的性能。
(3)通过对比度和亮度调节的图像预处理算法,获得良好的视觉特征,有效地提高了分类器的检测准确率。
附图说明
图1为本发明实施例的基于智能巡检机器人的仪表位置检测方法的步骤流程图;
图2为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于右上角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像;
图3为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于右下角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像;
图4为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于左下角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像;
图5为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于左上角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像;
图6为本发明实施例的基于智能巡检机器人的摄像头拍摄的仪表图像;
图7为本发明实施例的基于智能巡检机器人的仪表位置检测方法的仪表精确位置检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应该理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述可以完全理解本发明。
参考图1,所示为本发明实施例的基于智能巡检机器人的仪表位置检测方法的步骤流程图。
通过智能巡检机器人的云台摄像头获得仪表图像I,然后进行以下方法处理:
1.利用haar-like特征,训练SVM分类器。
(1.1)使用智能巡检机器人的云台摄像头,分别拍摄4张图像Ik,k=1,2,3,4,使得仪表分别处于图像的左上角,右上角,左下角,右下角。
(1.2)对图像I1,I2,I3,I4,首先进行限制对比度自适应直方图均衡化,使得4张图像的对比度和亮度一致,然后将图像归化到统一的大小480×270。
(1.3)针对每个图像Ik,框取图像Ik中的待测仪表作为正样本,如图2,3,4,5中的矩形框所示,并记录正样本的位置信息。图像I1的正样本位置为((409,3),70,70),如图2所示,图像I2的正样本位置为((404,200),73,68),如图3所示,图像I3的正样本位置为((2,202),78,66),如图4所示,图像I4的正样本位置为((3,5),86,77),如图5所示,令正样本的标签为1。进一步计算得到
遍历图像Ik,选取负样本,负样本P′ki′j′选取的位置为((4i′,4j′),wk,hk),i′=0,1,…,119,j′=0,1,…,66。令负样本的标签为负样本P′ki′j′与该图像中的正样本的位置重合度
(1.4)使用积分图法计算所有正样本和负样本的haar-like特征,每个样本获得192的特征向量S=[S1,S2,…,S192],并将特征向量S与对应的标签输入到SVM分类器中进行训练,得到训练后的SVM分类器。
2.对图像I,如图6所示,进行以下步骤处理:
步骤1:对图像I进行限制对比度自适应直方图均衡化,使得图像I的对比度和亮度与SVM分类器中的训练样本保持基本一致,然后通过双线性插值法,将图像归化到统一的大小480×270,获得图像I′。
步骤2:对图像I′遍历搜索:从像素点(0,0)开始,选取图像样本,组成样本集M;图像样本Pij的位置为:((3i,3j),77,71),i=0,1,…,159,j=0,1,…,89。对M中的样本通过SVM分类器进行分数计算,分数最高的样本的位置即为仪表的粗略位置。
步骤3:以粗略位置的中心点为缩放中心,对粗略位置的大小进行缩放,缩放系数为0.8~1.2,步进为0.02,共得到20个新的图像样本,组成样本集M′。对M′中的样本通过SVM分类器进行分数计算,分数最高的样本的位置即为仪表的精确位置,如图7所示。
步骤2和步骤3中所述的SVM分类器分数计算方法为:
(a)使用积分图法计算样本集中每个样本的haar-like特征,得到192维的特征向量S′=[S′1,S′2,…,S′192]。
(b)将特征向量S′作为SVM分类器的输入,通过计算,SVM分类器输出一个分数。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于智能巡检机器人的仪表位置检测方法,其特征在于,通过智能巡检机器人的云台摄像头获得仪表图像I,然后对图像I进行以下步骤处理:
步骤1:对图像I进行图像预处理,获得图像I′。
步骤2:对图像I′遍历搜索,获得多个图像样本,组成样本集M,对M中的样本通过SVM分类器进行分数计算,分数最高的样本的位置即为仪表的粗略位置。
步骤3:以粗略位置的中心点为缩放中心,对图像I′缩放搜索,获得多个图像样本,组成样本集M′,对M′中的样本通过SVM分类器进行分数计算,分数最高的样本的位置即为仪表的精确位置。
2.根据权利要求1所述的方法,其特征在于,步骤1中所述的图像预处理具体为:
(1.1)对图像I进行对比度和亮度调节,使得图像I的对比度和亮度与SVM分类器中的训练样本保持基本一致。
(1.2)通过插值法,将图像归化到统一的大小m×n。
3.根据权利要求1所述的方法,其特征在于,步骤2中的样本集M通过以下方法得到:从像素点(0,0)开始,选取图像样本,组成样本集M;图像样本Pij的位置为:((ai,bj),w,h), 其中(ai,bj)为图像样本的左上角坐标,w为图像样本的宽度,h为图像样本的高度,a为x轴方向的像素步进单位,b为y轴方向的像素步进单位。
4.根据权利要求1所述的方法,其特征在于,步骤3中的样本集M′通过以下方法得到:以粗略位置的中心点为缩放中心,对粗略位置的大小进行缩放,缩放系数为(1-α)~(1+α),步进为β,共得到2α/β个新的图像样本,组成样本集M′。
5.根据权利要求1所述的方法,其特征在于,步骤2和步骤3中所述的SVM分类器分数计算方法为:
(a)提取样本集中的每个样本的视觉特征,每个样本得到d维的特征向量S=[S1,S2,…,Sd]。
(b)将S作为SVM分类器的输入,通过计算,SVM分类器输出一个分数。
6.根据权利要求1所述的方法,其特征在于,SVM分类器通过以下方法得到:
(3.1)使用智能巡检机器人的云台摄像头,分别拍摄l张图像Ik,k=1,2,3,…,l,使得仪表分别处于图像的不同位置。
(3.2)调节每张图像的对比度和亮度,使得l张图像的对比度和亮度一致,然后将l张图像归化到统一的大小m×n。
(3.3)针对每个图像Ik,框取图像Ik中的仪表,作为正样本,并记录正样本的位置信息((xk,yk),wk,hk)。其中(xk,yk)是正样本左上角的坐标位置,wk为正样本的宽度,hk为正样本的高度。令正样本的标签为1。其中l个正样本的宽度w1,w2,…,wl的均值上取整为w,l个正样本的高度h1,h2,…,hl的均值上取整为h。
遍历图像Ik,选取负样本,负样本P′ki′j′选取的位置为((a′i′,b′j′),wk,hk),其中,(a′i′,b′j′)为负样本左上角的坐标位置,wk为负样本的宽度,hk为负样本的高度,a′为x方向的像素步进单位,b′为y方向的像素步进单位。令负样本的标签为负样本P′ki′j′与该图像中正样本的位置重合度
(3.4)提取所有正样本和负样本的视觉特征,获得特征向量,将特征向量与对应的标签输入到SVM分类器中进行训练,得到训练后的SVM分类器。
CN201611208019.0A 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法 Expired - Fee Related CN106709452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208019.0A CN106709452B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208019.0A CN106709452B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法

Publications (2)

Publication Number Publication Date
CN106709452A true CN106709452A (zh) 2017-05-24
CN106709452B CN106709452B (zh) 2020-07-07

Family

ID=58895601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208019.0A Expired - Fee Related CN106709452B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法

Country Status (1)

Country Link
CN (1) CN106709452B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610097A (zh) * 2017-08-16 2018-01-19 深圳市天益智网科技有限公司 仪表定位方法、装置和终端设备
CN107729906A (zh) * 2017-10-24 2018-02-23 国网江苏省电力公司南京供电公司 一种基于智能机器人的巡检点电表数值识别方法
CN108422432A (zh) * 2018-05-07 2018-08-21 哈工大(张家口)工业技术研究院 一种巡检机器人及具有该机器人的地下管廊信息管理***
CN108582107A (zh) * 2018-05-07 2018-09-28 哈工大(张家口)工业技术研究院 一种基于物联网技术的综合管廊信息***
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法
CN111177811A (zh) * 2019-12-24 2020-05-19 武汉理工光科股份有限公司 一种应用于云平台的消防点位自动布图的方法
CN111639530A (zh) * 2020-04-24 2020-09-08 国网浙江宁海县供电有限公司 一种输电线路的输电塔和绝缘子的检测和识别方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609720A (zh) * 2012-01-31 2012-07-25 中国科学院自动化研究所 一种基于位置校正模型的行人检测方法
CN104463240A (zh) * 2013-09-23 2015-03-25 深圳市朗驰欣创科技有限公司 一种控制列表界面的方法及装置
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609720A (zh) * 2012-01-31 2012-07-25 中国科学院自动化研究所 一种基于位置校正模型的行人检测方法
CN104463240A (zh) * 2013-09-23 2015-03-25 深圳市朗驰欣创科技有限公司 一种控制列表界面的方法及装置
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610097A (zh) * 2017-08-16 2018-01-19 深圳市天益智网科技有限公司 仪表定位方法、装置和终端设备
CN107729906A (zh) * 2017-10-24 2018-02-23 国网江苏省电力公司南京供电公司 一种基于智能机器人的巡检点电表数值识别方法
CN107729906B (zh) * 2017-10-24 2021-11-02 国网江苏省电力公司南京供电公司 一种基于智能机器人的巡检点电表数值识别方法
CN108422432A (zh) * 2018-05-07 2018-08-21 哈工大(张家口)工业技术研究院 一种巡检机器人及具有该机器人的地下管廊信息管理***
CN108582107A (zh) * 2018-05-07 2018-09-28 哈工大(张家口)工业技术研究院 一种基于物联网技术的综合管廊信息***
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法
CN111177811A (zh) * 2019-12-24 2020-05-19 武汉理工光科股份有限公司 一种应用于云平台的消防点位自动布图的方法
CN111639530A (zh) * 2020-04-24 2020-09-08 国网浙江宁海县供电有限公司 一种输电线路的输电塔和绝缘子的检测和识别方法及***
CN111639530B (zh) * 2020-04-24 2023-05-16 国网浙江宁海县供电有限公司 一种输电线路的输电塔和绝缘子的检测和识别方法及***

Also Published As

Publication number Publication date
CN106709452B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN106709452A (zh) 一种基于智能巡检机器人的仪表位置检测方法
CN107808143B (zh) 基于计算机视觉的动态手势识别方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN104517102B (zh) 学生课堂注意力检测方法及***
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和***
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN109598242B (zh) 一种活体检测方法
CN105787478B (zh) 基于神经网络和灵敏度参数的人脸转向识别方法
CN107145845A (zh) 基于深度学习及多特征点融合的行人检测方法
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
CN101406390B (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
JP6345147B2 (ja) ステレオ画像の対において物体を検出する方法
CN108230383A (zh) 手部三维数据确定方法、装置及电子设备
CN107784291A (zh) 基于红外视频的目标检测跟踪方法和装置
CN106845502A (zh) 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN111931869B (zh) 一种人机自然交互的用户注意力检测方法及***
CN104537689B (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN107122787A (zh) 一种基于特征融合的图像缩放质量评价方法
CN106446890A (zh) 一种基于窗口打分和超像素分割的候选区域提取方法
CN107992783A (zh) 人脸图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200707