CN108174111B - 巡检机器人目标图像抓取方法 - Google Patents
巡检机器人目标图像抓取方法 Download PDFInfo
- Publication number
- CN108174111B CN108174111B CN201810354614.8A CN201810354614A CN108174111B CN 108174111 B CN108174111 B CN 108174111B CN 201810354614 A CN201810354614 A CN 201810354614A CN 108174111 B CN108174111 B CN 108174111B
- Authority
- CN
- China
- Prior art keywords
- crusing robot
- image
- target
- reference picture
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 5
- 238000010835 comparative analysis Methods 0.000 claims description 4
- 238000005299 abrasion Methods 0.000 abstract description 3
- 230000002045 lasting effect Effects 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000001419 dependent effect Effects 0.000 abstract description 2
- 230000000737 periodic effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种巡检机器人目标图像抓取方法，包括：1）巡检机器人行走至预定目标位置，拍摄目标物的目标参考图像；2）巡检机器人移动巡检时，连续拍摄巡检图像；3）巡检机器人将巡检图像与目标参考图像进行对比分析，如果巡检图像与目标参考图像重合，则巡检机器人将该巡检图像作为目标图像。本发明可以解决巡检机器人完全依赖行走距离定位时，由于轮子打滑、磨损出现的定位精度差的问题，可以实现从持续摄像的多帧图像中提取可用于仪表分析的图片，满足巡检机器人图像识别定位精度要求；可实现无停顿拍摄和无需定期校准，减少巡检时间、提高巡检效率，减少运维人员的工作量。
Description
技术领域
本发明涉及机器人领域，尤其是一种巡检机器人目标图像抓取方法。
背景技术
室内配电站作为电网末端，数量众多，巡检压力巨大，轨道式巡检机器人的出现大大缓解了室内配电站的巡检问题。为了对室内电气设备进行巡检，通常需要预先设定巡检目标、制定巡检路线、设定巡检任务。巡检机器人执行巡检任务时，按照巡检路线运行到巡检目标位置，停下来后通过自带的拍摄单元拍摄目标物，然后继续向下一个巡检目标位置运动，运动过程中，机器人对之前拍摄的目标无图片进行自动识别，读取并备份其中的表计数值、或开关位置信息。
然而这种在目标物对应位置停下来拍照的方式，巡检效率较低；而且由于机械打滑、磨损或者运动累计误差，均会导致停止位置产生偏移，进而影响拍摄效果，甚至影响巡检机器人的正常巡检。
发明内容
本发明要解决的技术问题是：提出一种巡检机器人目标图像抓取方法，以解决巡检机器人完全依赖行走距离定位时，由于轮子打滑、磨损出现的定位精度差的问题，可实现无停顿拍摄和无需定期校准，减少巡检时间、提高巡检效率，减少运维人员的工作量。
本发明所采用的技术方案为：一种巡检机器人目标图像抓取方法，包括以下步骤：
1）巡检机器人行走至预定目标位置，拍摄目标物的目标参考图像；
2）巡检机器人移动巡检时，连续拍摄巡检图像；
3）巡检机器人将巡检图像与目标参考图像进行对比分析，如果巡检图像与目标参考图像重合，则巡检机器人将该巡检图像作为目标图像。
本发明所述的步骤3）中，巡检图像与目标参考图像重合为巡检图像与目标参考图像的关键特征物重合，所述关键特征物包括柜边、柜角、人工标志点、仪表边线或角、铭牌边线或角、图形中心点或重心点。
进一步的说，本发明所述的关键特征物的获取方法包括：
A、获取图片所对应的RGB三个单通道图；
B、根据不同的设备类型，选取相应的单通道图；
C、根据不同的设备类型，选取相应的域值，然后对单通道图进行域值提取，得到域值提取图；
D、从域值提取图中获得最大的连通域；
E、对该连通域进行填充；
F、获取填充的连通域轮廓，进而获得轮廓的关键特征物。
本发明所述步骤1）中，巡检机器人在行走至预定目标位置过程中，按照固定间隔拍摄行走参考图像；所述固定间隔包括固定时间间隔或固定距离间隔；行走参考图像和目标参考图像按照拍照时间的先后顺序建立路径图像排列。
本发明所述步骤2）中，巡检机器人进行移动巡检时，连续拍摄巡检图像，该巡检图像不仅与目标参考图像对比分析，还与行走参考图像对比分析，如果巡检图像与行走图像重合，则该巡检机器人到达路径图像排列中该行走图像所在位置。
当巡检机器人确定当前在路径图像排列中的位置，巡检机器人在离预定目标位置较远时，采取较高的行走速度；当巡检机器人离预定目标位置较近时，采取较慢的行走速度。
巡检机器人离预定目标位置较近，巡检机器人从当前位置按照当前行走速度到达预定目标位置的时间，大于巡检机器人进行巡检图像识别、反馈并动作的时间，但不超过巡检机器人进行巡检图像识别、反馈并动作的时间的两倍；巡检机器人离预定目标位置较远，巡检机器人从当前位置按照当前行走速度到达预定目标位置的时间，大于巡检机器人进行巡检图像识别、反馈并动作的时间的两倍以上。
巡检机器人进行巡检图像识别、反馈并动作的时间，包括2次图像识别、反馈并动作的时间。
本发明巡检机器人到达预定目标位置前后时，巡检机器人在当前移动速度下，其拍摄速度可以使连续拍摄的巡检图像中，至少有一张与目标参考图像重合。
本发明的有益效果是：采用本发明进行巡检，通过持续摄像实现无停顿拍摄，在行走路途、归途甚至回归原点后对所拍摄图片进行对比分析，从而可以减少巡检时间、提高巡检效率；同样，无需前后期定位和校准，减少运维人员的工作量，降低了***复杂度；可以实现从持续摄像的多帧图像中提取可用于仪表分析的图片，满足巡检机器人图像识别定位精度要求。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的流程示意图。
图2是本发明的关键特征物获取方法流程示意图。
图3是原始图片（参考图片）。
图4是原始图片（巡检图片）。
图5是R通道分层图（参考图片）。
图6是域值提取图（参考图片R通道）。
图7是最大连通域图（参考图片R通道）。
图8是连通域填充图（参考图片R通道）。
图9是连通域轮廓图（参考图片R通道）。
图10是轮廓关键特征物图（参考图片R通道）。
图11是中心点坐标计算图（参考图片）。
图12是中心点坐标计算图（巡检图片）。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示的一种巡检机器人目标图像抓取方法，包括，
1、巡检机器人行走至预定目标位置，拍摄目标物的目标参考图像；巡检机器人在行走至预定目标位置过程中，按照固定间隔拍摄行走参考图像。所述固定间隔包括固定时间间隔或固定距离间隔。行走参考图像和目标参考图像按照拍照时间的先后顺序建立路径图像排列。巡检机器人离预定目标位置较近，是指巡检机器人按照当前行走速度到达预定目标位置的时间，大于巡检机器人进行巡检图像识别、反馈并动作的时间，但不超过巡检机器人进行巡检图像识别、反馈并动作的时间的两倍。
2、巡检机器人进行移动巡检时，连续拍摄巡检图像，如果巡检图像与行走图像重合，则该巡检机器人到达路径图像排列中该行走图像所在位置。巡检机器人到达预定目标位置前后时，巡检机器人在当前移动速度下，其拍摄速度可以使连续拍摄的巡检图像中，至少有一张与目标参考图像重合。
3、巡检机器人将巡检图像与目标参考图像进行对比分析，计算巡检图像中目标物的关键特征物在巡检图像中的坐标位置。比较巡检图像中目标物的关键特征物在巡检图像中的坐标位置和目标参考图像中同一目标物的同个关键特征物在目标参考图像中的坐标位置是否重合。如果重合，则表明巡检图像与目标参考图像重合，则巡检机器人将该巡检图像作为目标图像。
图3所示的是巡检机器人行走至预定目标位置，拍摄到的目标物的目标参考图像；巡检机器人在行走至预定目标位置的过程中，会按照固定间隔拍摄行走参考图像。拍摄行走参考图像的目的是为了确定最优的目标位置；从而拍摄最佳的目标参考图像；同时，行走参考图像和目标参考图像会按照拍照时间的先后顺序建立路径图像排列；而建立路径图像排列的目的是为了判断巡检机器人离预定目标位置的远近；如巡检机器人行走至预定目标位置的过程中，按照1米的距离间隔拍摄多张行走参考图像；假定最佳拍摄位置，即预定目标位置是距离远点10米的位置，则第10张行走参考图像为目标参考图像。
巡检机器人移动巡检时，连续拍摄巡检图像，巡检图像不仅与目标参考图像对比分析，还与行走参考图像对比分析。与行走参考图像对比即可确定巡检机器人离预定目标位置的远近。当巡检机器人确定当前在路径图像排列中的位置，巡检机器人在离预定目标位置较远时，采取较高的行走速度；当巡检机器人离预定目标位置较近时，采取较慢的行走速度。
巡检图像如图4所示；由于拍摄的目标物（即设备）的背景颜色不相同，因此，根据不同的设备类型，选取清晰度和对比度最高的R通道分层图，如图5所示；由于视图只能为黑白色系，因此此处申请人做图像的虚化处理用以示意。
如图2所示，获取巡检图像中目标物的关键特征物的方法如下：
I.获取图片所对应的RGB三个单通道图；
II.根据不同的设备类型，选取相应的单通道图；
III.根据不同的设备类型，选取相应的域值，然后对单通道图进行域值提取，得到域值提取图；如图6所示；
IV.从域值提取图中获得最大的连通域；如图7所示；
V.对该连通域进行填充；如图8所示；
VI.获取填充的连通域轮廓，如图9所示；进而获得轮廓的关键特征物，即图形中心点，如图10所示。
图11是参考图片的中心点坐标计算图；图12是巡检图片中心点坐标计算图。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离本发明的实质和范围。
Claims (7)
1.一种巡检机器人目标图像抓取方法，其特征在于包括以下步骤：
1）巡检机器人行走至预定目标位置，拍摄目标物的目标参考图像；
2）巡检机器人移动巡检时，连续拍摄巡检图像；
3）巡检机器人将巡检图像与目标参考图像进行对比分析，如果巡检图像与目标参考图像重合，则巡检机器人将该巡检图像作为目标图像；
所述的步骤3）中，巡检图像与目标参考图像重合为巡检图像与目标参考图像的关键特征物重合，所述关键特征物包括柜边、柜角、仪表边线或角、铭牌边线或角、图形中心点或重心点、或人工标志点；
所述的关键特征物的获取方法包括：
A、获取图像所对应的RGB三个单通道图；
B、选取相应的单通道图；要求选择清晰度和对比度最高的那个通道；
C、根据不同的目标物的类型，选取相应的阈值，对单通道图进行阈值提取，得到阈值提取图；
D、从阈值提取图中获得最大的连通域；
E、对该连通域进行填充；
F、获取填充的连通域轮廓，进而获得轮廓的关键特征物。
2.如权利要求1所述的巡检机器人目标图像抓取方法，其特征在于：所述步骤1）中，巡检机器人在行走至预定目标位置过程中，按照固定间隔拍摄行走参考图像；所述固定间隔包括固定时间间隔或固定距离间隔；行走参考图像和目标参考图像按照拍照时间的先后顺序建立路径图像排列。
3.如权利要求2所述的巡检机器人目标图像抓取方法，其特征在于：所述巡检机器人进行移动巡检时，连续拍摄巡检图像，该巡检图像不仅与目标参考图像对比分析，还与行走参考图像对比分析，如果巡检图像与行走参考图像重合，则该巡检机器人到达路径图像排列中该行走参考图像所在位置。
4.如权利要求3所述的巡检机器人目标图像抓取方法，其特征在于：当巡检机器人确定当前在路径图像排列中的位置，巡检机器人在离预定目标位置较远时，采取较高的行走速度；当巡检机器人离预定目标位置较近时，采取较慢的行走速度。
5.如权利要求4所述的巡检机器人目标图像抓取方法，其特征在于：巡检机器人离预定目标位置较近，巡检机器人从当前位置按照当前行走速度到达预定目标位置的时间，大于巡检机器人进行巡检图像识别、反馈并动作的时间，但不超过巡检机器人进行巡检图像识别、反馈并动作的时间的两倍；巡检机器人离预定目标位置较远，巡检机器人从当前位置按照当前行走速度到达预定目标位置的时间，大于巡检机器人进行巡检图像识别、反馈并动作的时间的两倍以上。
6.如权利要求5所述的巡检机器人目标图像抓取方法，其特征在于：巡检机器人进行巡检图像识别、反馈并动作的时间，包括2次图像识别、反馈并动作的时间。
7.如权利要求1所述的巡检机器人目标图像抓取方法，其特征在于：巡检机器人到达预定目标位置前后时，巡检机器人在当前移动速度下，其拍摄速度可以使连续拍摄的巡检图像中，至少有一张与目标参考图像重合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810354614.8A CN108174111B (zh) | 2018-04-19 | 2018-04-19 | 巡检机器人目标图像抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810354614.8A CN108174111B (zh) | 2018-04-19 | 2018-04-19 | 巡检机器人目标图像抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108174111A CN108174111A (zh) | 2018-06-15 |
| CN108174111B true CN108174111B (zh) | 2018-07-20 |
Family
ID=62511411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810354614.8A Active CN108174111B (zh) | 2018-04-19 | 2018-04-19 | 巡检机器人目标图像抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108174111B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110248155B (zh) * | 2019-05-16 | 2021-01-22 | 普瑞特机械制造股份有限公司 | 一种罐顶作业管理方法及*** |
| CN110516522B (zh) * | 2019-05-30 | 2020-11-27 | 中通服创立信息科技有限责任公司 | 一种巡检方法及*** |
| CN111324131B (zh) * | 2020-03-31 | 2023-09-01 | 中通服创立信息科技有限责任公司 | 一种基于人体雷达的轨道式巡检机器人的跟随监控方法 |
| CN111176305A (zh) * | 2020-04-14 | 2020-05-19 | 常州市盈能电气有限公司 | 一种视觉导航方法 |
| CN111860242B (zh) * | 2020-07-07 | 2024-05-21 | 京东科技信息技术有限公司 | 一种机器人巡检方法、装置和计算机可读介质 |
| CN114407005A (zh) * | 2021-12-02 | 2022-04-29 | 国能铁路装备有限责任公司 | 一种机器人及其行走控制方法、装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101447029A (zh) * | 2008-12-11 | 2009-06-03 | 赵怀志 | 公路前方构造物自动识别方法 |
| CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN106127180A (zh) * | 2016-06-30 | 2016-11-16 | 广东电网有限责任公司电力科学研究院 | 一种机器人辅助定位方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011100409A1 (en) * | 2010-02-10 | 2011-08-18 | Electric Power Research Institute, Inc. | Line inspection robot and system |
-
2018
- 2018-04-19 CN CN201810354614.8A patent/CN108174111B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101447029A (zh) * | 2008-12-11 | 2009-06-03 | 赵怀志 | 公路前方构造物自动识别方法 |
| CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN106127180A (zh) * | 2016-06-30 | 2016-11-16 | 广东电网有限责任公司电力科学研究院 | 一种机器人辅助定位方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 变电站巡检机器人研究现状综述;杨旭东等;《山东电力技术》;20151231;第42卷(第204期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108174111A (zh) | 2018-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108174111B (zh) | 巡检机器人目标图像抓取方法 | |
| US20210073573A1 (en) | Ship identity recognition method based on fusion of ais data and video data | |
| CN110487816A (zh) | 一种隧道巡检图像采集装置及隧道巡检*** | |
| CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
| CN109066861A (zh) | 基于机器视觉的智能巡检机器人自动充电控制方法 | |
| CN106625676A (zh) | 一种汽车智能制造自动上料的三维视觉精确引导定位方法 | |
| CN106125744A (zh) | 基于视觉伺服的变电站巡检机器人云台控制方法 | |
| CN103941746A (zh) | 无人机巡检图像处理***及方法 | |
| CN106679567A (zh) | 基于双目立体视觉的接触网及支柱几何参数检测测量*** | |
| CN101969548A (zh) | 基于双目摄像的主动视频获取方法及装置 | |
| JP6524529B2 (ja) | 建築限界判定装置 | |
| CN109848073A (zh) | 一种分拣煤与煤矸石的设备与方法 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN103996203A (zh) | 一种检测图像面部遮挡的方法和装置 | |
| CN108190774B (zh) | 一种基于投影的排绳故障检测方法及其装置 | |
| CN110514133A (zh) | 一种基于摄影测量的无人机隧道变形检测方法 | |
| CN105307115A (zh) | 一种基于行动机器人的分布式视觉定位***及方法 | |
| CN109002045B (zh) | 一种智能巡检机器人的巡检定位方法及巡检定位*** | |
| CN109374636A (zh) | 一种受电弓图像采集***、检测***及检测方法 | |
| CN105307116A (zh) | 一种基于移动机器人的分布式视觉定位***及方法 | |
| CN114581760B (zh) | 一种机房巡检的设备故障检测方法及*** | |
| CN114252075B (zh) | 一种电缆沟巡检机器人的路径跟踪方法及*** | |
| CN105068139B (zh) | 一种活塞冷却喷嘴安装状态的检测工艺 | |
| CN117218743B (zh) | 基于机器视觉的智能巡检控制方法及*** | |
| CN104786227A (zh) | 基于高压带电作业机器人的跌落开关更换控制***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Target Image Grasping Method for Inspection Robot Granted publication date: 20180720 Pledgee: Bank of Jiangsu Co.,Ltd. Changzhou Branch Pledgor: CHANGZHOU YNEN ELECTRICAL Co.,Ltd. Registration number: Y2024980023215 |