CN111414012A - 一种巡检机器人区域检索与云台校正方法 - Google Patents
一种巡检机器人区域检索与云台校正方法 Download PDFInfo
- Publication number
- CN111414012A CN111414012A CN202010268708.0A CN202010268708A CN111414012A CN 111414012 A CN111414012 A CN 111414012A CN 202010268708 A CN202010268708 A CN 202010268708A CN 111414012 A CN111414012 A CN 111414012A
- Authority
- CN
- China
- Prior art keywords
- pan
- picture
- tilt
- holder
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012937 correction Methods 0.000 title claims abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/10—Control of position or direction without using feedback
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种巡检机器人区域检索与云台校正方法，包括以下步骤：S1,云台到达指定位置根据匹配算法计算环境与模板图片是否匹配；S2,若是，则拍摄图片，记录云台位姿；若否，则扩大范围搜索，直到环境与模板图片匹配，然后拍摄图片，记录云台位姿；S3,将所述指定位置和所述云台位姿相绑定。其有益效果是：将指定位置和云台位姿相绑定，在巡检机器人达到指定位置后，云台通过相应的位姿即可开始巡检任务，巡检耗时少，效率高。
Description
技术领域
本发明涉及变电站设备巡检机器人技术领域，特别涉及一种巡检机器人区域检索与云台校正方法。
背景技术
巡检型轮式移动机器人携带云台设备，用于对室外变电站的设备进行巡检。巡检过程包括部署过程与实际执行过程。部署过程：先将机器人手动开至某一个位置，然后手动控制云台对准待巡检位置，然后采集模板图片，部署过程采集了机器人与云台的位姿。实际执行过程：机器人自动开至部署位置，云台移动至部署位置，然后采集一张图片。这个过程称为执行任务。
云台的位姿为由yaw,pitch，zoom，focus四个参数决定，其中yaw是指在空间直角坐标系中绕y轴旋转，调整水平角度；pitch是指在空间直接坐标系中绕x轴旋转，调整俯仰角度；zoom是指云台拍摄图片时的放大倍数；focus是指云台的聚焦值。四个参数都是相互独立的，为了保证云台能够拍摄到清晰的大图，需要人工对着云台画面实时调节，yaw，pitch保证物体在云台画面的正中，zoom，focus保证拍摄的物体的大小和清晰度。由于实际执行过程中的巡检机器人无法精准停在当时部署的位置，所以(yaw,pitch，zoom，focus)需要做相应的修正。
在现有的巡检机器人的巡检方案中，常见的有以下几种：
1)记录部署位置，然后在实际运行过程中，保证机器人以及云台运动到相应的位置。这种方法在一个地方只采集一张图片，容易由于定位误差，以及云台的运动误差造成图片拍歪，模糊，无法采集到完整、清晰的图片。
2)基于方案1，在同一个需要拍摄的位置，部署多个任务，多个任务调整成不同的机器人位置与云台位置，增大拍摄的成功率。这样在实际运行过程中，只要其中有一个能够拍摄到清晰，准确的图片就算完成任务。但是这种方法显然增加了部署以及执行任务的耗时。
3)采用视频识别，在机器人快要到达指定位置，以及云台快要到达指定位置的时候，将云台的所有数据录制下来，后续在视频中寻找能够识别的图片，从而完成任务。这种方案同样具有耗时久，同时占用硬件资源过高。
4)采用视觉伺服，计算模板图像与实际图像的相对精确位置，然后进行云台的重定位。实时性不好，因为每次需要回传服务器进行位置重新计算，耗时久。而且不具备区域搜索功能，拍摄到的位置差异过大的时候，无法进行伺服。
在专利文献中，公开号为CN106125744B，名称为“基于视觉伺服的变电站巡检机器人云台控制方法”的发明专利，公开了一种云台到达指定位置之后，直接计算出云台需运动的位置，先进行远程匹配，然后开始运动。
但该技术方案依然仅对云台运动位置进行匹配改进，没有改进巡检机器人的运动方式，在实际操作过程中，该方案是延时匹配，需要先进行云台位置匹配，然后控制巡检机器人运动，此种方式相对耗时和占用硬件资源。
发明内容
为改善现有巡检机器人在巡检过程中存在的采集图片不清晰、巡检耗时和占用硬件资源多的缺点，本发明一种巡检机器人区域检索与云台校正方法，采用实时匹配，利用新的匹配控制方法，对巡检机器人在执行任务后进行更新，保证下次巡检任务的速度。具体技术方案如下：
一种巡检机器人区域检索与云台校正方法，包括以下步骤：S1,云台到达指定位置根据匹配算法计算环境与模板图片是否匹配；S2,若是，则拍摄图片，记录云台位姿；若否，则扩大范围搜索，直到环境与模板图片匹配，然后拍摄图片，记录云台位姿；S3,将所述指定位置和所述云台位姿相绑定。
进一步地，所述云台位姿由yaw,pitch，zoom，focus四个参数决定。
进一步地，所述zoom值是指云台拍摄图片时的放大倍数，根据指定位置和变电站位置确定。
进一步地，所述匹配算法具体包括：A1,使用机器视觉分析云台图片清晰度；若清晰度满足要求，则记录focus值并进行A2；若清晰度不满足要求，则调整focus值知道清晰度满足要求；A2,计算当前云台图片与模版图片是否匹配,若是，则记录yaw值和pitch值，若否，则进行扩大范围搜索；
进一步地，所述扩大范围搜索是指调整云台水平角度和俯仰角度，直到当前云台图片与模版图片匹配。
进一步地，在步骤A1中，设定第一阈值，记录云台图片的清晰度值，当云台图片的清晰度值不小于第一阈值时，云台图片清晰度符合要求；当云台图片的清晰度值小于第一阈值时，云台图片清晰度不符合要求。
进一步地，在步骤A2中，设定第二阈值，匹配采用关键点匹配算法，提取当前云台图片与模版图片的关键点，然后进行匹配，匹配完成后计算匹配分数，若匹配分数小于第二阈值，则匹配完成，记录当前记录yaw值和pitch值；若否，则进行扩大范围搜索。
进一步地，在步骤S3中，还包括，在将所述指定位置和所述云台位姿相绑定后，人工判定是否更新指定位置的云台位姿。
本发明的有益效果是：将指定位置和云台位姿相绑定，在巡检机器人达到指定位置后，云台通过相应的位姿即可开始巡检任务，巡检耗时少，效率高。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为改善现有巡检机器人在巡检变电站时的巡检方案，本发明在实际执行过程中，云台在达到指定位置后，准备拍摄照片前，首先根据环境与模版图片进行匹配；若环境与模版图片匹配成功，则进行PID运动控制；若未成功匹配，则扩大范围搜索。此策略可以极大消除机器人定位误差和云台执行误差。在拍摄到图片后，记录云台位姿，根据后台的识别结果判定是否在以后执行相同任务时，采用该云台位姿。环境与模版图片的匹配算法如下：
1.使用机器视觉分析云台图片清晰度。对于每张图片计算清晰度值，清晰度值越大则图片越清晰。设定第一阈值，第一阈值表征图片清晰度大小，当清晰度值小于第一阈值时，则将机器人的焦距由focus调整为focus1，focus表示当前焦距值，focus1表示算法参数焦距值，然后以恒定速度持续增大焦距值。持续监测图片清晰度，当清晰度大于等于第一阈值时停止焦距值变化。记录焦距值focus2。
2.计算当前云台图片与模版图片是否匹配。匹配采用关键点匹配算法，提取当前云台图片与模版图片的关键点，然后进行匹配，匹配完成后计算匹配分数，实际计算时只选取前四个匹配分数，预先设置第二阈值，第二阈值代表图片关键点的匹配分数，若前四个匹配分数均小于第二阈值，则匹配完成，记录yaw值和pitch值；若否，则进行下一步操作。
3.在未完成匹配时，需要调节云台的水平角度和俯仰角度，首先进行yaw和pitch的调节。云台会在单位时间内同时进行搜索盒5hz的匹配，搜索具体过程为云台先向左旋转三秒，然后向上旋转三秒，向右旋转六秒，向左旋转六秒。在搜索过程结束后，如果依然没有匹配成功则直接进行拍照，此处是由于第二阈值设置过小，需要人工调整。
4.如果匹配成功，则首先调节yaw值。设定第三阈值，表征水平方向差值。设定云台水平方向为X轴，以平台向左为正，向右为负。根据四个匹配到的像素坐标差值，X1,X2,X3,X4,进行各项同性判定，若全为正值，则云台向左移动，若全为负值则向右运动。当X1+X2+X3+X4的绝对值小于第三阈值时，停止yaw值的调节，并记录当前yaw值。若X1,X2,X3,X4，中存在异号，即有正有负，则停止yaw调节，记录当前yaw值。
5.记录yaw值完成后，调节pitch值。设定第四阈值，表征竖直方向差值。设定云台竖直方向为Y轴，以平台向上为正，向下为负。具体判定过程同步骤4，根据四个匹配的像素坐标差值，Y1,Y2,Y3,Y4，当Y1+Y2+Y3+Y4的绝对值小于第四阈值时，停止pitch值调节，记录当前pitch值。
由于云台位置和变电站的位置是固定的，在拍摄前可以设定固定zoom值，至此，到达指定的云台位置后，相应的yaw,pitch,zoom,focus均已调整，记录(1，yaw,pitch,zoom,focus)，表示巡检机器人到达第一指定位置后的四个参数设定。根据此次匹配精准度，可以决定是否更新原始的yaw，pitch,zoom和focus值，这样可以使后续巡检更为精准。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种巡检机器人区域检索与云台校正方法，其特征在于，包括以下步骤：
S1,云台到达指定位置根据匹配算法计算环境与模板图片是否匹配；
S2,若是，则拍摄图片，记录云台位姿；若否，则扩大范围搜索，直到环境与模板图片匹配，然后拍摄图片，记录云台位姿；
S3,将所述指定位置和所述云台位姿相绑定。
2.根据权利要求1所述的巡检机器人区域检索与云台校正方法，其特征在于，所述云台位姿由yaw,pitch，zoom，focus四个参数决定。
3.根据权利要求2所述的巡检机器人区域检索与云台校正方法，其特征在于，所述zoom值是指云台拍摄图片时的放大倍数，根据指定位置和变电站位置确定。
4.根据权利要求3所述的巡检机器人区域检索与云台校正方法，其特征在于，所述匹配算法具体包括：
A1,使用机器视觉分析云台图片清晰度；若清晰度满足要求，则记录focus值并进行A2；若清晰度不满足要求，则调整focus值知道清晰度满足要求；
A2,计算当前云台图片与模版图片是否匹配,若是，则记录yaw值和pitch值，若否，则进行扩大范围搜索。
5.根据权利要求4所述的巡检机器人区域检索与云台校正方法，其特征在于，所述扩大范围搜索是指调整云台水平角度和俯仰角度，直到当前云台图片与模版图片匹配。
6.根据权利要求4所述的巡检机器人区域检索与云台校正方法，其特征在于，在步骤A1中，设定第一阈值，记录云台图片的清晰度值，当云台图片的清晰度值不小于第一阈值时，云台图片清晰度符合要求；当云台图片的清晰度值小于第一阈值时，云台图片清晰度不符合要求。
7.根据权利要求4所述的巡检机器人区域检索与云台校正方法，其特征在于，在步骤A2中，设定第二阈值，匹配采用关键点匹配算法，提取当前云台图片与模版图片的关键点，然后进行匹配，匹配完成后计算匹配分数，若匹配分数小于第二阈值，则匹配完成，记录当前记录yaw值和pitch值；若否，则进行扩大范围搜索。
8.根据权利要求1-7任意一项所述的巡检机器人区域检索与云台校正方法，其特征在于，在步骤S3中，还包括，在将所述指定位置和所述云台位姿相绑定后，人工判定是否更新指定位置的云台位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268708.0A CN111414012A (zh) | 2020-04-08 | 2020-04-08 | 一种巡检机器人区域检索与云台校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268708.0A CN111414012A (zh) | 2020-04-08 | 2020-04-08 | 一种巡检机器人区域检索与云台校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111414012A true CN111414012A (zh) | 2020-07-14 |
Family
ID=71493471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010268708.0A Pending CN111414012A (zh) | 2020-04-08 | 2020-04-08 | 一种巡检机器人区域检索与云台校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414012A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112104842A (zh) * | 2020-09-15 | 2020-12-18 | 上海思源弘瑞自动化有限公司 | 图像采集设备校正方法 |
| CN113421287A (zh) * | 2021-07-16 | 2021-09-21 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 一种基于视觉主动目标跟踪的机器人及其控制方法、*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106506953A (zh) * | 2016-10-28 | 2017-03-15 | 山东鲁能智能技术有限公司 | 基于指定区域聚焦和曝光伺服的变电站设备图像采集方法 |
| CN107042511A (zh) * | 2017-03-27 | 2017-08-15 | 国机智能科技有限公司 | 基于视觉反馈的巡视机器人云台调整方法 |
| CN109272000A (zh) * | 2018-09-10 | 2019-01-25 | 广东电网有限责任公司 | 一种机器人仪表对准和调焦方法及装置 |
| CN110142785A (zh) * | 2019-06-25 | 2019-08-20 | 山东沐点智能科技有限公司 | 一种基于目标检测的巡检机器人视觉伺服方法 |
-
2020
- 2020-04-08 CN CN202010268708.0A patent/CN111414012A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106506953A (zh) * | 2016-10-28 | 2017-03-15 | 山东鲁能智能技术有限公司 | 基于指定区域聚焦和曝光伺服的变电站设备图像采集方法 |
| CN107042511A (zh) * | 2017-03-27 | 2017-08-15 | 国机智能科技有限公司 | 基于视觉反馈的巡视机器人云台调整方法 |
| CN109272000A (zh) * | 2018-09-10 | 2019-01-25 | 广东电网有限责任公司 | 一种机器人仪表对准和调焦方法及装置 |
| CN110142785A (zh) * | 2019-06-25 | 2019-08-20 | 山东沐点智能科技有限公司 | 一种基于目标检测的巡检机器人视觉伺服方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112104842A (zh) * | 2020-09-15 | 2020-12-18 | 上海思源弘瑞自动化有限公司 | 图像采集设备校正方法 |
| CN112104842B (zh) * | 2020-09-15 | 2023-01-06 | 上海思源弘瑞自动化有限公司 | 图像采集设备校正方法、装置、设备和介质 |
| CN113421287A (zh) * | 2021-07-16 | 2021-09-21 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 一种基于视觉主动目标跟踪的机器人及其控制方法、*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111272148B (zh) | 输电线路无人机自主巡检自适应成像质量优化方法 | |
| CN112164015B (zh) | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 | |
| WO2021189456A1 (zh) | 无人机巡检方法、装置及无人机 | |
| EP3749475B1 (en) | Method for seam tracking in pipe welding | |
| US7860276B2 (en) | Image processing device and method | |
| CN111161446A (zh) | 一种巡检机器人的图像采集方法 | |
| CN105741325B (zh) | 一种跟踪移动目标的方法及移动目标跟踪设备 | |
| CN111932609A (zh) | 阀厅设备巡检机器人的云台校准方法及装置、存储介质 | |
| CN110908401A (zh) | 一种针对未知杆塔结构的无人机自主巡检方法 | |
| CN112653844A (zh) | 一种摄像头云台转向自适应跟踪调节方法 | |
| CN108475075A (zh) | 一种控制方法、装置及云台 | |
| CN105763795A (zh) | 一种聚焦方法及装置、摄像机和摄像*** | |
| CN112949478A (zh) | 基于云台相机的目标检测方法 | |
| KR101347450B1 (ko) | 듀얼 카메라를 이용한 화상 감지 방법 및 장치 | |
| CN111414012A (zh) | 一种巡检机器人区域检索与云台校正方法 | |
| CN114289332A (zh) | 工件分拣的视觉识别与定位方法、装置及分拣*** | |
| CN112104842B (zh) | 图像采集设备校正方法、装置、设备和介质 | |
| CN110602376B (zh) | 抓拍方法及装置、摄像机 | |
| CN115578662A (zh) | 无人机前端图像处理方法、***、存储介质及设备 | |
| CN113110446A (zh) | 一种自主移动机器人的动态巡检方法 | |
| CN114594770B (zh) | 一种巡检机器人不停车的巡检方法 | |
| CN114430454A (zh) | 基于双摄像头的建模方法及可穿戴装置、设备和介质 | |
| CN114147389B (zh) | 一种检测焊接工艺参数的焊接辅助方法和*** | |
| WO2021189429A1 (zh) | 图像拍摄方法、装置、可移动平台和存储介质 | |
| CN113781524B (zh) | 一种基于二维标签的目标追踪***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200714 |