CN110825088A - 一种多目视觉导引船体清洁机器人***及清洁方法 - Google Patents
一种多目视觉导引船体清洁机器人***及清洁方法 Download PDFInfo
- Publication number
- CN110825088A CN110825088A CN201911201037.XA CN201911201037A CN110825088A CN 110825088 A CN110825088 A CN 110825088A CN 201911201037 A CN201911201037 A CN 201911201037A CN 110825088 A CN110825088 A CN 110825088A
- Authority
- CN
- China
- Prior art keywords
- cleaning
- ship body
- hull
- module
- cleaning robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000002791 soaking Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B59/00—Hull protection specially adapted for vessels; Cleaning devices specially adapted for vessels
- B63B59/06—Cleaning devices for hulls
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种多目视觉导引船体清洁机器人***及清洁方法。该***包括：依次连接的多个单目摄像头、船体工作站模块、船体工作站控制模块和清洁机器人模块，各单目摄像头位于船体旁侧，各单目摄像头用于采集视觉范围内部分船体表面图像，船体工作站模块用于接收各部分船体表面图像并将各船体表面图像传送至船体工作站控制模块，船体工作站控制模块对各船体表面图像信息进行处理，完成整幅船体图像的拼接，确定整幅船体的图像并标注船体表面待清洁区域、待清洁区域的位置信息和清洁路径，清洁机器人模块用于根据接收的船体表面待清洁区域、待清洁区域的位置信息和清洁路径对船体进行清洁。本发明能够提高船体清洁的效率和改善船体清洁的效果。
Description
技术领域
本发明涉及船体清洁领域，特别是涉及一种多目视觉导引船体清洁机器人***及清洁方法。
背景技术
船只长时间在海洋中行驶时，历经海水长时间的浸泡和腐蚀会加快船舶生锈的速度，附着大量海洋微生物，锈迹和杂物会使船只的速度下降，油耗增加。不仅耽误了航期，而且还缩减船舶的使用寿命。因此除杂除锈是船舶工业中一道不可缺少的工艺，但是目前主要以使用喷砂除杂除锈的人工清刷方式为主，不仅耗时耗力，而且效率低下，清洗效果一般，严重时还会破坏船壁涂层，对船壁造成一定程度的损坏。
发明内容
本发明的目的是提供一种多目视觉导引船体清洁机器人***及清洁方法，能够提高船体清洁的效率和改善船体清洁的效果。
为实现上述目的，本发明提供了如下方案：
一种多目视觉导引船体清洁机器人***，包括：依次连接的多个单目摄像头、船体工作站模块、船体工作站控制模块和清洁机器人模块，各所述单目摄像头位于船体旁侧，各所述单目摄像头用于采集视觉范围内部分船体表面图像，所述船体工作站模块用于接收各所述部分船体表面图像并将各所述船体表面图像传送至所述船体工作站控制模块，所述船体工作站控制模块对各所述船体表面图像信息进行处理，完成整幅船体图像的拼接，确定整幅船体的图像并标注船体表面待清洁区域、待清洁区域的位置信息和清洁路径，所述清洁机器人模块用于根据接收的所述船体表面待清洁区域、所述待清洁区域的位置信息和所述清洁路径对船体进行清洁。
可选的，所述清洁机器人模块包括机器人本体、激光雷达和红外传感器，所述激光雷达用于采集船体表面障碍物信息，所述红外传感器用于采集机器人本体和障碍物之间的距离信息，所述船体工作站控制模块分别与所述激光雷达和所述红外传感器连接，所述船体工作站控制模块用于根据所述船体表面障碍物信息和所述距离信息对障碍物进行标识。
可选的，所述清洁机器人模块包括定位子模块，所述定位子模块与所述船体工作站控制模块连接。
可选的，所述定位子模块包括陀螺仪和北斗导航***，所述陀螺仪和所述北斗导航***用于对所述机器人本体的位置信息进行定位，所述船体工作站控制模块分别与所述陀螺仪和所述北斗导航***连接。
可选的，所述清洁机器人模块包括伺服电机和高压水枪，所述船体工作站控制模块分别与所述伺服电机和所述高压水枪连接，所述高压水枪用于对所述船体工作站控制模块确定的船体表面待清洁区域进行清洗，所述伺服电机用于为所述机器人本体提供动力。
可选的，所述高压水枪采用水平180度可旋转可调压的高压水枪。
可选的，所述船体工作站控制模块采用多线程分层协作控制结构。
可选的，所述清洁机器人模块清洁方式有两种：船体整体清洁和船体局部清洁；对于船体整体清洁，所述船体工作站控制模块用于控制各所述单目摄像头对所述清洁机器人模块进行视觉导引，保证清洁机器人模块完成图像重叠区域清洁以及跨区域协同清洁的任务；对于船体局部清洁，所述船体工作站控制模块根据污渍面积大小和位置，规划所述清洁机器人模块到达指定位置，完成局部清洁，对清洁后的区域进行判断是否需要二次清洁。
可选的，所述清洁机器人模块对清洁路径的路径规划是基于栅格形式建模完成的。
一种多目视觉导引船体清洁机器人***清洁方法，包括：
获取多个单目摄像头采集的部分船体图像；
根据各所述部分船体图像进行船体整体图像拼接，得到船体整体图像；
根据所述船体整体图像，确定待清洁区域；
根据所述待清洁区域，选取清洁模式；
根据所述清洁模式和所述清洁区域，规划清洁路径；
根据所述清洁路径控制清洁机器人本体到达所述清洁区域对船体进行清洁；
判断清洁后的船体是否合格；
若是，则停止清洁；
若否，则继续获取多个单目摄像头采集的部分船体图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种多目视觉导引船体清洁机器人***，该***包括：依次连接的多个单目摄像头、船体工作站模块、船体工作站控制模块和清洁机器人模块，各所述单目摄像头位于船体旁侧，各所述单目摄像头用于采集视觉范围内部分船体表面图像，所述船体工作站模块用于接收各所述部分船体表面图像并将各所述船体表面图像传送至所述船体工作站控制模块，所述船体工作站控制模块对各所述船体表面图像信息进行处理，完成整幅船体图像的拼接，确定整幅船体的图像并标注船体表面待清洁区域、待清洁区域的位置信息和清洁路径，所述清洁机器人模块用于根据接收的所述船体表面待清洁区域、所述待清洁区域的位置信息和所述清洁路径对船体进行清洁。本发明采用机器人进行船体清洗的方式代替传统人工进行清洗的方式，提高了船体清洁的效率和改善了船体清洁的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明多目视觉导引船体清洁机器人***结构组成图；
图2是本发明多目视觉导***工作示意图；
图3是本发明图像匹配对极约束原理图；
图4是本发明多目视觉导引船体清洁机器人***清洁方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种多目视觉导引船体清洁机器人***，能够提高船体清洁的效率和改善船体清洁的效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明多目视觉导引船体清洁机器人***结构组成图。如图1所示，一种多目视觉导引船体清洁机器人***包括：依次连接的多个单目摄像头1、船体工作站模块2、船体工作站控制模块3和清洁机器人模块4，各所述单目摄像头1位于船体旁侧，各所述单目摄像头1用于采集视觉范围内部分船体表面图像，所述船体工作站模块2用于接收各所述部分船体表面图像并将各所述船体表面图像传送至所述船体工作站控制模块3，所述船体工作站控制模块3对各所述船体表面图像信息进行处理，完成整幅船体图像的拼接，确定整幅船体的图像并标注船体表面待清洁区域、待清洁区域的位置信息和清洁路径，所述清洁机器人模块4用于根据接收的所述船体表面待清洁区域、所述待清洁区域的位置信息和所述清洁路径对船体进行清洁。船体工作站模块2给清洁机器人模块4供电，船体工作站模块2能够实时监测清洁机器人电量状况，预测使用情况，清洁任务完成或电量不足时，发出语音提示。
所述清洁机器人模块4包括机器人本体、激光雷达和红外传感器，所述激光雷达用于采集船体表面障碍物信息，所述红外传感器用于采集机器人本体和障碍物之间的距离信息，所述船体工作站控制模块3分别与所述激光雷达和所述红外传感器连接，所述船体工作站控制模块3用于根据所述船体表面障碍物信息和所述机器人本体和障碍物之间的距离信息对障碍物进行标识。所述清洁机器人模块4包括定位子模块，所述定位子模块与所述船体工作站控制模块3连接。所述定位子模块包括陀螺仪和北斗导航***，所述陀螺仪和所述北斗导航***用于对所述机器人本体的位置信息进行定位，所述船体工作站控制模块3分别与所述陀螺仪和所述北斗导航***连接。所述清洁机器人模块4包括伺服电机和高压水枪，所述船体工作站控制模块3分别与所述伺服电机和所述高压水枪连接，所述高压水枪用于对所述船体工作站控制模块3确定的船体表面待清洁区域进行清洗，所述伺服电机用于为所述机器人本体提供动力。所述高压水枪采用水平180度可旋转可调压的高压水枪。所述机器人本体采用永磁吸附和全地形双履带底盘的结构。
所述船体工作站控制模块3采用多线程分层协作控制结构，所述多线程分层协作控制结构包括：主线程、设备协作层、路径规划层和动作执行层；所述主线程通过多个不同线程控制清洁机器人模块4完成清洁工作；所述设备协作层包括各个线程之间的通讯和数据传输，协助子线程处理数据；所述路径规划层包括规划清洁机器人模块4的清洁路线以及自主规划局部清洁路线；所述动作执行层完成上述子线程下达的命令。
所述清洁机器人模块4清洁方式有两种：船体整体清洁和船体局部清洁；对于船体整体清洁，所述船体工作站控制模块3用于控制各所述单目摄像头对所述清洁机器人模块4进行视觉导引，保证清洁机器人模块4完成图像重叠区域清洁以及跨区域协同清洁的任务；对于船体局部清洁，所述船体工作站控制模块3根据污渍面积大小和位置，规划所述清洁机器人模块4到达指定位置，完成局部清洁，对清洁后的区域进行判断是否需要二次清洁。
图2是本发明多目视觉导***工作示意图。
所述清洁机器人模块4对清洁路径的路径规划是基于栅格形式建模完成的。该方法是利用栅格数组表示环境，能够同时处理障碍物变化的规划方法。清洁机器人模块4周围的环境信息以占据栅格的方式保存在了一个二维的循环缓存区中，这个缓存区能够随清洁机器人模块4的移动而循环更新，并且使用均匀B样条来表示轨迹，以非线性的方式对轨迹进行优化。
将局部轨迹规划问题表征成B样条优化问题，样条值可用下式计算。
所述pi为时刻t对应的控制点，Bi,k(t)为基函数，基函数可以通过德布尔-考克斯递归公式计算得到。均匀B样条控制点间的时间间隔是固定的。
所述清洁机器人模块4为了在行进途中避开障碍物，使用一个2D循环缓存区来表征环境地图。为了方便查询，将平面离散为一个尺寸为r的小方块，这样就建立了平面中任一点p到特定的小方块索引x的映射，以及逆映射。循环缓存区由大小为N的连续数组和定义了坐标系位置的偏移索引o组成。清洁机器人模块4可以检查到平面中任一点所对应的小方块是否在循环缓存区所表示的范围内，以及它具体的存储位置。
将数组的大小限制为N＝2p，上述操作可以用以下两种方式来进行：
insideVolume(x)＝！((x-o)&(～(2p-1)))
address(x)＝(x-o)&(2p-1)
从传感器中心点出发，使用光线投射法来更新地图，对地图使用欧几里得距离变换(EDT)来查询到地图范围内某一点与障碍物的距离以及距离变化的梯度。
所述将B样条的优化表示成非线性优化的方式，优化函数如下式：
Etotal＝Eep+Ec+Eq
所述Eep表示全局路径跟踪误差的耗散函数
所述p(t)为样条值。
所述Ec是障碍物距离的耗散函数
所述Eq是平滑性的耗散函数
所述应用优化的方式得到全局路径，然后以当前位置作为起始点，进行迭代。每个时刻作为全局路径的输入计算出跟踪的目标点，作为跟踪误差的耗散函数参数；障碍物耗散函数的参数则来自于循环缓存区以及EDT。每次优化之后，当前被优化的控制点中，第一个控制点就固定下来，传送给控制器去计算新的控制输入。而新的控制点会被添加进来，如此循环往复得到清洁机器人模块4的清洁路径。
以船体旁侧的多个单目摄像头分别作为坐标系，相邻摄像头观察到相同区域作为匹配区域，通过对图像进行预处理，采用Hessian-affine特征检测来提取特征点，采用基于兼容性的挖掘方法来搜索一致性的邻接点来进行图像匹配。图像匹配中，如果两对点正确对应，那么这两对点对应的局部仿射变换应该是相近的。
根据单目摄像头采集的图像采用Harris-Laplace尺度不变算子在尺度空间图像上检测角点，并添加尺度参数。在当前尺度图像上搜索每一个候选点进行拉普拉斯响应值计算，满足Harris矩阵绝大值大于给定阈值条件的特征点予以保留。
F(x，y，σn)＝σ2|Lxx(x，y，σn)+Lyy(x，y，σn)|≥thresholdL
式中σn为每层图像的尺度因子，thresholdL为阈值条件。
并将检测到的角点与上下两层临近的拉普拉斯响应值进行比较，当前层的响应值大于临近上下两层。
满足上述两步的尺度特征就是在尺度空间上提取的尺度不变特征点，提取到特征点的同时得到了特征点的局部仿射变换信息。
上式A为仿射信息。
由上述局部仿射变换可以得到匹配点间的转换关系：
其中
Ai为局部仿射信息，Ki为特征点的坐标。
对于一对特征点对应，分别匹配点之间的转换关系，并计算两个转换关系的相近程度，以此作为点对应关系的一致性度量指标：
其中ρ表示转化后的坐标，e表示对应点转化后的相似程度，采用高斯核对上述指标进行归一化：
对于任一点对应ci，通过上述方式找到其最接近的k个点对应，组成图Gi，即为该点对应的局部一致性点对应集合。
图3是本发明图像匹配对极约束原理图。如图3所示，点o1,o2和P三个点可以确定一个平面，称为极平面。o1与o2连线与像平面I1I2的交点分别为e1和e2，e1和e2称为极点，o1o2被称为基线。称极平面与两个像平面I1I2之间的相交线l1l2为极线。由图像可知p1对应的I2上的特征点，必然落在l2极线上。
假设p1的齐次坐标为(x,y,1)T，p2的齐次坐标为
F为已知基础矩阵，则p1对应的极线方程为
图像特征点误差认为满足(u,σ)的正态分布，p2一定在极线l上，让点p2到极线l的距离小于3σ。
a＝f00*x+f01*y+f02
b＝f10*x+f11*y+f12
c＝f20*x+f21*y+f22
由上面步骤既可以得到图像之间的匹配点，从而完成视觉拼接，得到船体的整张图像。
图4是本发明多目视觉导引船体清洁机器人***清洁方法流程图。如图4所示，一种多目视觉导引船体清洁机器人***清洁方法包括：
步骤101：获取多个单目摄像头采集的部分船体图像。
步骤102：根据各所述部分船体图像进行船体整体图像拼接，得到船体整体图像，具体的，船体工作站模块接收多个单目摄像头采集的部分船体图像进行拼接。
步骤103：根据所述船体整体图像，确定待清洁区域，具体的，确定待清洁区域的面积大小和位置信息。
步骤104：根据所述待清洁区域，选取清洁模式，具体的，所述清洁模式包括两种：船体整体清洁和船体局部清洁；对于船体整体清洁，控制各所述单目摄像头对清洁机器人模块进行视觉导引，保证清洁机器人模块完成图像重叠区域清洁以及跨区域协同清洁的任务；对于船体局部清洁，根据污渍面积大小和位置，规划所述清洁机器人模块到达指定位置，完成局部清洁，对清洁后的区域进行判断是否需要二次清洁。
步骤105：根据所述清洁模式和所述清洁区域，规划清洁路径。
步骤106：根据所述清洁路径控制清洁机器人本体到达所述清洁区域对船体进行清洁。
步骤107：判断清洁后的船体是否合格，具体的，通过采集船体图像判断所述船体是否还存在清洁不到位的情况。
步骤108：若清洁后的船体合格，则停止清洁。
步骤109：若清洁后的船体不合格，则继续获取多个单目摄像头采集的部分船体图像，即进行二次清洁。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种多目视觉导引船体清洁机器人***，其特征在于，包括：依次连接的多个单目摄像头、船体工作站模块、船体工作站控制模块和清洁机器人模块，各所述单目摄像头位于船体旁侧，各所述单目摄像头用于采集视觉范围内部分船体表面图像，所述船体工作站模块用于接收各所述部分船体表面图像并将各所述船体表面图像传送至所述船体工作站控制模块，所述船体工作站控制模块对各所述船体表面图像信息进行处理，完成整幅船体图像的拼接，确定整幅船体的图像并标注船体表面待清洁区域、待清洁区域的位置信息和清洁路径，所述清洁机器人模块用于根据接收的所述船体表面待清洁区域、所述待清洁区域的位置信息和所述清洁路径对船体进行清洁。
2.根据权利要求1所述的多目视觉导引船体清洁机器人***，其特征在于，所述清洁机器人模块包括机器人本体、激光雷达和红外传感器，所述激光雷达用于采集船体表面障碍物信息，所述红外传感器用于采集机器人本体和障碍物之间的距离信息，所述船体工作站控制模块分别与所述激光雷达和所述红外传感器连接，所述船体工作站控制模块用于根据所述船体表面障碍物信息和所述机器人本体和障碍物之间的距离信息对障碍物进行标识。
3.根据权利要求2所述的多目视觉导引船体清洁机器人***，其特征在于，所述清洁机器人模块包括定位子模块，所述定位子模块与所述船体工作站控制模块连接。
4.根据权利要求3所述的多目视觉导引船体清洁机器人***，其特征在于，所述定位子模块包括陀螺仪和北斗导航***，所述陀螺仪和所述北斗导航***用于对所述机器人本体的位置信息进行定位，所述船体工作站控制模块分别与所述陀螺仪和所述北斗导航***连接。
5.根据权利要求4所述的多目视觉导引船体清洁机器人***，其特征在于，所述清洁机器人模块包括伺服电机和高压水枪，所述船体工作站控制模块分别与所述伺服电机和所述高压水枪连接，所述高压水枪用于对所述船体工作站控制模块确定的船体表面待清洁区域进行清洗，所述伺服电机用于为所述机器人本体提供动力。
6.根据权利要求5所述的多目视觉导引船体清洁机器人***，其特征在于，所述高压水枪采用水平180度可旋转可调压的高压水枪。
7.根据权利要求1所述的多目视觉导引船体清洁机器人***，其特征在于，所述船体工作站控制模块采用多线程分层协作控制结构。
8.根据权利要求1所述的多目视觉导引船体清洁机器人***，其特征在于，所述清洁机器人模块清洁方式有两种：船体整体清洁和船体局部清洁；对于船体整体清洁，所述船体工作站控制模块用于控制各所述单目摄像头对所述清洁机器人模块进行视觉导引，保证清洁机器人模块完成图像重叠区域清洁以及跨区域协同清洁的任务；对于船体局部清洁，所述船体工作站控制模块根据污渍面积大小和位置，规划所述清洁机器人模块到达指定位置，完成局部清洁，对清洁后的区域进行判断是否需要二次清洁。
9.根据权利要求1所述的多目视觉导引船体清洁机器人***，其特征在于，所述清洁机器人模块对清洁路径的路径规划是基于栅格形式建模完成的。
10.一种多目视觉导引船体清洁机器人***清洁方法，其特征在于，所述方法应用于权利要求1-9任意一项所述的多目视觉导引船体清洁机器人***，所述方法包括：
获取多个单目摄像头采集的部分船体图像；
根据各所述部分船体图像进行船体整体图像拼接，得到船体整体图像；
根据所述船体整体图像，确定待清洁区域；
根据所述待清洁区域，选取清洁模式；
根据所述清洁模式和所述清洁区域，规划清洁路径；
根据所述清洁路径控制清洁机器人本体到达所述清洁区域对船体进行清洁；
判断清洁后的船体是否合格；
若是，则停止清洁；
若否，则继续获取多个单目摄像头采集的部分船体图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911201037.XA CN110825088B (zh) | 2019-11-29 | 2019-11-29 | 一种多目视觉导引船体清洁机器人***及清洁方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911201037.XA CN110825088B (zh) | 2019-11-29 | 2019-11-29 | 一种多目视觉导引船体清洁机器人***及清洁方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110825088A true CN110825088A (zh) | 2020-02-21 |
| CN110825088B CN110825088B (zh) | 2021-10-01 |
Family
ID=69543210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911201037.XA Active CN110825088B (zh) | 2019-11-29 | 2019-11-29 | 一种多目视觉导引船体清洁机器人***及清洁方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825088B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111352426A (zh) * | 2020-03-17 | 2020-06-30 | 广西柳工机械股份有限公司 | 一种车辆避障方法、车辆避障装置、车辆避障***和车辆 |
| CN112362062A (zh) * | 2020-11-07 | 2021-02-12 | 福州旺星人智能科技有限公司 | 楼宇物业智能管理方法及其*** |
| CN113012149A (zh) * | 2021-04-14 | 2021-06-22 | 北京铁道工程机电技术研究所股份有限公司 | 一种智能清洗机器人路径规划方法及*** |
| CN113359780A (zh) * | 2021-07-28 | 2021-09-07 | 陕西欧卡电子智能科技有限公司 | 无人船清扫路径规划方法、装置、计算机设备及存储介质 |
| CN117381803A (zh) * | 2023-12-13 | 2024-01-12 | 深圳市辉熙智能科技有限公司 | 清洗机器人的自动清洗方法及清洗机器人 |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002075469A1 (en) * | 2001-03-15 | 2002-09-26 | Aktiebolaget Electrolux | Method and device for determining position of an autonomous apparatus |
| WO2004018158A2 (en) * | 2002-08-21 | 2004-03-04 | Neal Solomon | Organizing groups of self-configurable mobile robotic agents |
| CN102033222A (zh) * | 2010-11-17 | 2011-04-27 | 吉林大学 | 大范围多目标超声跟踪定位***和方法 |
| CN103179401A (zh) * | 2013-03-19 | 2013-06-26 | 燕山大学 | 多智能体协同视频采集与图像信息拼接处理方法及装置 |
| US20140076225A1 (en) * | 2012-09-14 | 2014-03-20 | Raytheon Company | Autonomous Hull Inspection |
| WO2014043414A2 (en) * | 2012-09-14 | 2014-03-20 | Raytheon Company | Hull robot with hull separation countermeasures |
| CN204059320U (zh) * | 2014-03-19 | 2014-12-31 | 燕山大学 | 水面清洁机器人 |
| CN104463786A (zh) * | 2014-12-03 | 2015-03-25 | 中国科学院自动化研究所 | 一种移动机器人图像拼接方法及装置 |
| CN104535047A (zh) * | 2014-09-19 | 2015-04-22 | 燕山大学 | 基于视频拼接的多智能体目标跟踪全局定位***及方法 |
| CN105068550A (zh) * | 2015-08-21 | 2015-11-18 | 燕山大学 | 一种基于拍卖模式的水下机器人多目标选择策略 |
| CN105302131A (zh) * | 2014-07-22 | 2016-02-03 | 德国福维克控股公司 | 借助可自主运行的设备清洁或处理空间的方法 |
| CN105339551A (zh) * | 2013-06-23 | 2016-02-17 | 阿迪博茨有限公司 | 用于移动增材制造的方法和设备 |
| CN205050322U (zh) * | 2015-06-24 | 2016-02-24 | 燕山大学 | 一种集控式多机器人运动控制无线通讯装置 |
| CN105607635A (zh) * | 2016-01-05 | 2016-05-25 | 东莞市松迪智能机器人科技有限公司 | 自动导引车全景光学视觉导航控制***及全向自动导引车 |
| EP3082006A2 (en) * | 2015-04-16 | 2016-10-19 | Samsung Electronics Co., Ltd. | Cleaning robot and method of controlling the same |
| WO2017018848A1 (en) * | 2015-07-29 | 2017-02-02 | Lg Electronics Inc. | Mobile robot and control method thereof |
| CN106709868A (zh) * | 2016-12-14 | 2017-05-24 | 云南电网有限责任公司电力科学研究院 | 一种图像拼接方法及装置 |
| CN106843242A (zh) * | 2017-03-21 | 2017-06-13 | 天津海运职业学院 | 一种水下船体清洁的群体机器人*** |
| CN107471218A (zh) * | 2017-09-07 | 2017-12-15 | 南京理工大学 | 一种基于多目视觉的双臂机器人手眼协调方法 |
| EP3327697A1 (en) * | 2010-09-24 | 2018-05-30 | iRobot Corporation | Systems and methods for vslam optimization |
| US20180224862A1 (en) * | 2017-02-03 | 2018-08-09 | Samsung Electronics Co., Ltd | Robot cleaner and method of controlling the same |
| CN109460040A (zh) * | 2018-12-28 | 2019-03-12 | 珠海凯浩电子有限公司 | 一种通过手机拍摄照片识别地板建立地图***及方法 |
| CN109565548A (zh) * | 2016-08-17 | 2019-04-02 | 三星电子株式会社 | 控制多视场图像的方法和支持该方法的电子设备 |
| CN109782772A (zh) * | 2019-03-05 | 2019-05-21 | 浙江国自机器人技术有限公司 | 一种导航方法、***及清洗机器人 |
| CN109938650A (zh) * | 2019-05-20 | 2019-06-28 | 尚科宁家(中国)科技有限公司 | 一种全景摄像模组及基于该摄像模组的扫地机器人 |
| CN109978767A (zh) * | 2019-03-27 | 2019-07-05 | 集美大学 | 基于多机器人协同的激光slam地图方法 |
| CN110063694A (zh) * | 2019-04-28 | 2019-07-30 | 彭春生 | 一种双目扫地机器人及工作方法 |
-
2019
- 2019-11-29 CN CN201911201037.XA patent/CN110825088B/zh active Active
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002075469A1 (en) * | 2001-03-15 | 2002-09-26 | Aktiebolaget Electrolux | Method and device for determining position of an autonomous apparatus |
| WO2004018158A2 (en) * | 2002-08-21 | 2004-03-04 | Neal Solomon | Organizing groups of self-configurable mobile robotic agents |
| EP3327697A1 (en) * | 2010-09-24 | 2018-05-30 | iRobot Corporation | Systems and methods for vslam optimization |
| CN102033222A (zh) * | 2010-11-17 | 2011-04-27 | 吉林大学 | 大范围多目标超声跟踪定位***和方法 |
| US20140076225A1 (en) * | 2012-09-14 | 2014-03-20 | Raytheon Company | Autonomous Hull Inspection |
| WO2014043414A2 (en) * | 2012-09-14 | 2014-03-20 | Raytheon Company | Hull robot with hull separation countermeasures |
| CN103179401A (zh) * | 2013-03-19 | 2013-06-26 | 燕山大学 | 多智能体协同视频采集与图像信息拼接处理方法及装置 |
| CN105339551A (zh) * | 2013-06-23 | 2016-02-17 | 阿迪博茨有限公司 | 用于移动增材制造的方法和设备 |
| CN204059320U (zh) * | 2014-03-19 | 2014-12-31 | 燕山大学 | 水面清洁机器人 |
| CN105302131A (zh) * | 2014-07-22 | 2016-02-03 | 德国福维克控股公司 | 借助可自主运行的设备清洁或处理空间的方法 |
| CN104535047A (zh) * | 2014-09-19 | 2015-04-22 | 燕山大学 | 基于视频拼接的多智能体目标跟踪全局定位***及方法 |
| CN104463786A (zh) * | 2014-12-03 | 2015-03-25 | 中国科学院自动化研究所 | 一种移动机器人图像拼接方法及装置 |
| EP3082006A2 (en) * | 2015-04-16 | 2016-10-19 | Samsung Electronics Co., Ltd. | Cleaning robot and method of controlling the same |
| CN205050322U (zh) * | 2015-06-24 | 2016-02-24 | 燕山大学 | 一种集控式多机器人运动控制无线通讯装置 |
| WO2017018848A1 (en) * | 2015-07-29 | 2017-02-02 | Lg Electronics Inc. | Mobile robot and control method thereof |
| CN105068550A (zh) * | 2015-08-21 | 2015-11-18 | 燕山大学 | 一种基于拍卖模式的水下机器人多目标选择策略 |
| CN105607635A (zh) * | 2016-01-05 | 2016-05-25 | 东莞市松迪智能机器人科技有限公司 | 自动导引车全景光学视觉导航控制***及全向自动导引车 |
| CN109565548A (zh) * | 2016-08-17 | 2019-04-02 | 三星电子株式会社 | 控制多视场图像的方法和支持该方法的电子设备 |
| CN106709868A (zh) * | 2016-12-14 | 2017-05-24 | 云南电网有限责任公司电力科学研究院 | 一种图像拼接方法及装置 |
| US20180224862A1 (en) * | 2017-02-03 | 2018-08-09 | Samsung Electronics Co., Ltd | Robot cleaner and method of controlling the same |
| CN106843242A (zh) * | 2017-03-21 | 2017-06-13 | 天津海运职业学院 | 一种水下船体清洁的群体机器人*** |
| CN107471218A (zh) * | 2017-09-07 | 2017-12-15 | 南京理工大学 | 一种基于多目视觉的双臂机器人手眼协调方法 |
| CN109460040A (zh) * | 2018-12-28 | 2019-03-12 | 珠海凯浩电子有限公司 | 一种通过手机拍摄照片识别地板建立地图***及方法 |
| CN109782772A (zh) * | 2019-03-05 | 2019-05-21 | 浙江国自机器人技术有限公司 | 一种导航方法、***及清洗机器人 |
| CN109978767A (zh) * | 2019-03-27 | 2019-07-05 | 集美大学 | 基于多机器人协同的激光slam地图方法 |
| CN110063694A (zh) * | 2019-04-28 | 2019-07-30 | 彭春生 | 一种双目扫地机器人及工作方法 |
| CN109938650A (zh) * | 2019-05-20 | 2019-06-28 | 尚科宁家(中国)科技有限公司 | 一种全景摄像模组及基于该摄像模组的扫地机器人 |
Non-Patent Citations (1)
| Title |
|---|
| 陈光明 等: "基于高压水射流的船体清洗机器人关键技术分析", 《流体机械》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111352426A (zh) * | 2020-03-17 | 2020-06-30 | 广西柳工机械股份有限公司 | 一种车辆避障方法、车辆避障装置、车辆避障***和车辆 |
| CN111352426B (zh) * | 2020-03-17 | 2021-03-02 | 广西柳工机械股份有限公司 | 一种车辆避障方法、车辆避障装置、车辆避障***和车辆 |
| CN112362062A (zh) * | 2020-11-07 | 2021-02-12 | 福州旺星人智能科技有限公司 | 楼宇物业智能管理方法及其*** |
| CN113012149A (zh) * | 2021-04-14 | 2021-06-22 | 北京铁道工程机电技术研究所股份有限公司 | 一种智能清洗机器人路径规划方法及*** |
| CN113012149B (zh) * | 2021-04-14 | 2024-03-15 | 北京铁道工程机电技术研究所股份有限公司 | 一种智能清洗机器人路径规划方法及*** |
| CN113359780A (zh) * | 2021-07-28 | 2021-09-07 | 陕西欧卡电子智能科技有限公司 | 无人船清扫路径规划方法、装置、计算机设备及存储介质 |
| CN117381803A (zh) * | 2023-12-13 | 2024-01-12 | 深圳市辉熙智能科技有限公司 | 清洗机器人的自动清洗方法及清洗机器人 |
| CN117381803B (zh) * | 2023-12-13 | 2024-02-13 | 深圳市辉熙智能科技有限公司 | 清洗机器人的自动清洗方法及清洗机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110825088B (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110825088B (zh) | 一种多目视觉导引船体清洁机器人***及清洁方法 | |
| US11567502B2 (en) | Autonomous exploration framework for indoor mobile robotics using reduced approximated generalized Voronoi graph | |
| CN109720340B (zh) | 一种基于视觉识别的自动泊车***及方法 | |
| CN108958282B (zh) | 基于动态球形窗口的三维空间路径规划方法 | |
| CN103759648B (zh) | 一种基于激光双目视觉的复杂角焊缝位置检测方法 | |
| CN114782626B (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| Chen et al. | An enhanced dynamic Delaunay triangulation-based path planning algorithm for autonomous mobile robot navigation | |
| CN105225229A (zh) | 基于视频信号的鱼类过坝运动轨迹定位装置与方法 | |
| CN110261858B (zh) | 一种基于水下标志物直线检测的隧洞auv引导方法 | |
| Meng et al. | Efficient and reliable LiDAR-based global localization of mobile robots using multiscale/resolution maps | |
| CN114998276A (zh) | 一种基于三维点云的机器人动态障碍物实时检测方法 | |
| CN111964680A (zh) | 一种巡检机器人的实时定位方法 | |
| Fan et al. | Long-awaited next-generation road damage detection and localization system is finally here | |
| Li et al. | A mobile robotic arm grasping system with autonomous navigation and object detection | |
| CN111380535A (zh) | 基于视觉标签的导航方法、装置、移动式机器及可读介质 | |
| Muffert et al. | Stix-fusion: A probabilistic stixel integration technique | |
| CN106482711A (zh) | 一种基于灰度特征提取和稠密光流法的室内定位方法 | |
| CN115542896A (zh) | 一种机器人路径生成方法、***及存储介质 | |
| CN110703773A (zh) | 一种使用圆和编码光源作为标识物进行agv定位的方法 | |
| Zhang et al. | Triangle codes and tracer lights based absolute positioning method for terminal visual docking of autonomous underwater vehicles | |
| CN114511590A (zh) | 基于单目视觉3d车辆检测与跟踪的路口多引导线构建方法 | |
| CN113554705A (zh) | 一种变化场景下的激光雷达鲁棒定位方法 | |
| Rahman et al. | Simple near-realtime crane workspace mapping using machine vision | |
| Huang et al. | Multi-object detection, tracking and prediction in rugged dynamic environments | |
| CN116524031B (zh) | 一种基于yolov8的大范围月球车定位建图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |