CN110587602B - 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 - Google Patents
一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 Download PDFInfo
- Publication number
- CN110587602B CN110587602B CN201910787301.6A CN201910787301A CN110587602B CN 110587602 B CN110587602 B CN 110587602B CN 201910787301 A CN201910787301 A CN 201910787301A CN 110587602 B CN110587602 B CN 110587602B
- Authority
- CN
- China
- Prior art keywords
- fish tank
- cleaning robot
- tank cleaning
- control device
- binocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 116
- 230000033001 locomotion Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 25
- 241000251468 Actinopterygii Species 0.000 claims abstract description 212
- 238000004891 communication Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000005201 scrubbing Methods 0.000 claims description 30
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010438 heat treatment Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000000149 penetrating effect Effects 0.000 claims description 4
- 239000000853 adhesive Substances 0.000 claims description 3
- 230000001070 adhesive effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000306 component Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 241001113556 Elodea Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000009372 pisciculture Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K63/00—Receptacles for live fish, e.g. aquaria; Terraria
- A01K63/10—Cleaning bottoms or walls of ponds or receptacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Environmental Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法，所述的控制装置包括前面板和后面板，前、后面板可组装在一起组成控制装置的外壳，在外壳内安装双目视觉模组，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板，在电路板上设置中央处理器CPU、图形处理器GPU和通信模组，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口。本发明所公开的控制装置，将计算机双目视觉技术和数字图像处理算法结合应用于对鱼缸清洗机器人的运动控制，可以标定鱼缸清洗机器人在鱼缸中的精确位置、距障碍物的距离、并判断其运动状态。
Description
技术领域
本发明属于水下清洗机器人领域，特别涉及该领域中的一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法。
背景技术
现有的鱼缸清洗机器人分为两种：一种是依靠磁吸，机器人在鱼缸外，擦洗装置在鱼缸内，两者通过永磁体隔着玻璃吸在一起。这种机器人只能擦洗鱼缸的一面，无法自动换向，不能擦洗鱼缸底部。另一种是可以在鱼缸中像AUV一样***，通过无线充电、无线通信进行能量补充和数据交互，在机器人本体上有陀螺仪、加速度计、出水检测电极、碰撞检测、距离检测、测速轮等传感器，主要用于感知机器人左、右两侧是否碰到玻璃，以确定转向时机；机器人是否到达水面或者触碰鱼缸底部；机器人在鱼缸壁上的运动速度，机器人转向时的转向角度等。
第二种鱼缸机器人明显更加先进，但也存在以下缺点：1、机器人无法精确感知鱼缸中换水管、加热棒、假山、水草等障碍物所处的位置及距机器人的距离，不能够实现高成功率的避障；2、依靠惯性及碰撞开关、红外传感器等方法检测与鱼缸的相对位置，无法准确检测机器人在鱼缸中所处位置及距各个鱼缸壁的距离；3、在鱼缸较大时，机器人一次充入的电量不足以擦完鱼缸的一整块鱼缸壁，由于无法精确感知与鱼缸的相对位置，因此做不到精准的断点续擦；4、机器人在遇到鱼缸内循环水水流冲击等情况时会进入无法继续自动擦洗的受阻状态，无法做到自动判断和应对各种阻碍机器人运动的情况，适应性较差；5、机器人的传感器种类多，设计与装配工艺复杂，成本高，生产难度大。
发明内容
本发明所要解决的技术问题就是提供一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法。
本发明采用如下技术方案：
一种基于三维视觉的鱼缸清洗机器人运动控制装置，其改进之处在于：所述的控制装置包括前面板和后面板，前、后面板可组装在一起组成控制装置的外壳，在外壳内安装双目视觉模组，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板，在电路板上设置中央处理器CPU、图形处理器GPU和通信模组，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口。
进一步的，电路板上设置有用于加快视觉算法运算速度的芯片，所述的芯片包括但不限于图形处理器GPU和张量处理单元TPU。
进一步的，所述的通信模组包括但不限于WIFI、4G和5G高带宽通信模组。
一种控制方法，基于上述的控制装置，其改进之处在于，包括如下步骤：
（1）将控制装置通过磁吸或者胶贴的方式，安装于鱼缸对面或者旁边的墙上，使控制装置的双目视觉模组可以观察到鱼缸全貌；
（2）控制装置通过通信模组获取用户设定的鱼缸清洗机器人对鱼缸的擦洗轨迹；
（3）控制装置通过双目视觉模组得到鱼缸的双目视觉图像，并基于该双目视觉图像建立坐标系；
（4）标定鱼缸清洗机器人在鱼缸中的位置，鱼缸清洗机器人周围障碍物及充电座的位置，鱼缸清洗机器人距各鱼缸壁、周围障碍物及充电座的距离；
（5）控制装置通过通信模组与充电座通信，确认鱼缸清洗机器人当前电量和电机是否故障；
（6）控制装置根据用户设定的擦洗轨迹、鱼缸清洗机器人在鱼缸中的位置、距各鱼缸壁和周围障碍物的距离、是否卡住、鱼缸清洗机器人的当前电量，决定鱼缸清洗机器人执行擦洗、换面、避障、脱困、回充或断点续擦指令，通过通信模组将指令下发给充电座，再由充电座下发给鱼缸清洗机器人；
（7）重复执行步骤（4）-（6），直至擦洗结束。
进一步的，控制装置还可以通过通信模组与用户手机APP通信，上传鱼缸清洗机器人拍摄到的照片和鱼缸实时视频；充电座与鱼缸清洗机器人之间通过具有很强穿透力的低频段载波通信。
进一步的，在步骤（2）中，擦洗轨迹为“弓字形”或“回字形”。
进一步的，在步骤（3）中，建立坐标系是在鱼缸的任意3个顶部拐角夹持带有鲜艳颜色的夹子，在双目视觉图像中，通过颜色可标记夹子所在位置，从而得到鱼缸三个顶部拐角的位置，由于鱼缸的顶部形状为矩形，可推算出第四个顶部拐角的位置；使用双目视觉算法，即对图像进行失真矫正、L图像分割、R图像分割和特征提取后，通过共轭图像匹配和深度恢复算法，可将鱼缸的图像坐标变换到世界坐标下，从而测得鱼缸的长、宽、高，并定义鱼缸的某个底部拐角为坐标原点，完成后可取下夹子；如双目视觉模组与鱼缸的相对位置发生移动，需要重新建立坐标系。
进一步的，在步骤（4）中，由于鱼缸清洗机器人的尺寸和颜色已知，因此可以对鱼缸中同样颜色、近似尺寸的物体进行比对，认为相似度最高的物体为鱼缸清洗机器人，提取鱼缸清洗机器人的外轮廓，通过双目视觉算法确定其外轮廓距离坐标系每个轴的最小距离，即可快速标定鱼缸清洗机器人在坐标系中的实际位置；对周围障碍物的识别是通过在坐标系内搜索连续的色块来实现的，对搜索到的色块进行轮廓提取，可基本判断障碍物类型，所述的障碍物类型包括但不限于换水管和加热棒，通过双目视觉算法确定障碍物轮廓距离坐标系每个轴的最小距离，以此标定障碍物在坐标系中的实际位置。
进一步的，在步骤（6）中，鱼缸清洗机器人通过前进、后退、上升、下降、左移、右移、左转、右转、前翻、后翻、停止这十种动作来完成运动控制指令。
进一步的，在步骤（6）中，若控制装置发现鱼缸清洗机器人一段时间无法按正常轨迹对鱼缸进行擦洗，且鱼缸清洗机器人电量正常，则判断为鱼缸摩擦力过大或遇到较强的循环水流，此时发出脱困指令，使鱼缸清洗机器人按正常轨迹仅移动不擦洗，移动一段距离后再尝试擦洗，如仍不能按正常轨迹对鱼缸进行擦洗则再仅移动不擦洗，如此往复，直到鱼缸清洗机器人可以继续按正常轨迹对鱼缸进行擦洗。
本发明的有益效果是：
本发明所公开的控制装置，将计算机双目视觉技术和数字图像处理算法结合应用于对鱼缸清洗机器人的运动控制，可以标定鱼缸清洗机器人在鱼缸中的精确位置、距障碍物的距离、并判断其运动状态。控制装置通过双目视觉模组感知鱼缸清洗机器人在鱼缸中所处的位置，无需再在鱼缸清洗机器人上安装碰撞开关、红外传感器、出水电极和测速轮等传感器，减少了鱼缸清洗机器人本体上的精密检测元件数量，降低了其设计、生产难度和故障率，从而节约制造成本、延长使用寿命，提升用户体验。
本发明所公开的控制方法，通过对鱼缸清洗机器人在鱼缸中的位置检测和运动控制，形成对鱼缸清洗机器人的位置控制闭环，可以实现在无人值守的环境下控制鱼缸清洗机器人按照用户设定的擦洗轨迹完成对鱼缸内部四壁和底部的擦洗，对于各种内部环境各异、换水管及加热棒布置均不相同的鱼缸，具有极佳的环境适应性，对鱼缸内表面的擦洗覆盖率可达95%以上，具有极好的用户体验；对于尺寸较大的鱼缸，由于可以精确感知鱼缸清洗机器人的电量及其在鱼缸中所处的位置，故而可以实现自动回充和断点续擦，极大的提升了鱼缸清洗机器人对鱼缸尺寸的适应性，这是现有的鱼缸清洗机器人控制方法所无法达到的。
本发明所公开的控制方法，通过双目视觉模组感知鱼缸清洗机器人在鱼缸中所处的位置及其与鱼缸中障碍物的距离，从而实现对鱼缸清洗机器人的精准移动控制，提升了现有的鱼缸清洗机器人躲避鱼缸中障碍物的能力，内置的脱困指令避免了鱼缸清洗机器人在擦洗过程中因无法脱困而发生卡死。
本发明所公开的控制方法，用户可通过手机APP实现远程实时视频观察整个鱼缸的状况和鱼类的生长情况，与现有的鱼缸清洗机器人相比，其视频观察角度更大，场景更全，养鱼爱好者的用户体验也更好。
附图说明
图1是本发明实施例1所公开控制装置的组成示意图；
图2是本发明实施例1所公开控制装置对鱼缸清洗机器人的控制原理示意图；
图3是本发明实施例1所公开控制方法的原理框图；
图4是本发明实施例1所公开控制方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1，如图1所示，本实施例公开了一种基于三维视觉的鱼缸清洗机器人运动控制装置，所述的控制装置包括前面板2和后面板4，前、后面板可组装在一起组成控制装置的外壳；在外壳内安装双目视觉模组1，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板3，在电路板上设置中央处理器CPU5、图形处理器GPU6和通信模组7，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口8。该控制装置的核心部件为具有三维视觉能力的双目视觉模组和具有CPU、通信模组的电路板，为加速图像运算速度，电路板上可含有图形处理器GPU或张量处理单元TPU等运算加速芯片。
作为一种可供选择的方式，在本实施例中，所述的通信模组包括但不限于WIFI、4G和5G高带宽通信模组。
如图2所示，将控制装置9通过磁吸或者胶贴的方式，安装于鱼缸对面或者旁边的墙上，使控制装置的双目视觉模组可以观察到鱼缸10全貌，将鱼缸清洗机器人11放入鱼缸内，并在鱼缸内安装加热棒12、换水管13和充电座14，鱼缸清洗机器人在电量低时可以返回充电座充电，充电座与鱼缸清洗机器人之间通过具有很强穿透力的低频段通信，控制装置的通信模组7则通过局域网或广域网与充电座通信，既可以获取鱼缸清洗机器人的当前电量、电机是否故障等信息，又可以通过充电座间接的对鱼缸清洗机器人下达指令。
如图3，4所示，本实施例还公开了一种控制方法，基于上述的控制装置，包括如下步骤：
（1）将控制装置通过磁吸或者胶贴的方式，安装于鱼缸对面或者旁边的墙上，使控制装置的双目视觉模组可以观察到鱼缸全貌；
（2）控制装置通过通信模组获取用户设定的鱼缸清洗机器人对鱼缸的擦洗轨迹；
（3）控制装置通过双目视觉模组得到鱼缸的双目视觉图像，并基于该双目视觉图像建立坐标系；
（4）标定鱼缸清洗机器人在鱼缸中的位置，鱼缸清洗机器人周围障碍物及充电座的位置，鱼缸清洗机器人距各鱼缸壁、周围障碍物及充电座的距离；
（5）控制装置通过通信模组与充电座通信，确认鱼缸清洗机器人当前电量和电机是否故障；
（6）控制装置根据用户设定的擦洗轨迹、鱼缸清洗机器人在鱼缸中的位置、距各鱼缸壁和周围障碍物的距离、是否卡住、鱼缸清洗机器人的当前电量，决定鱼缸清洗机器人执行擦洗、换面、避障、脱困、回充或断点续擦指令，通过通信模组将指令下发给充电座，再由充电座下发给鱼缸清洗机器人；
（7）重复执行步骤（4）-（6），直至擦洗结束。
用户设定的擦洗轨迹是控制方法的大循环，其余细节工作的总体目的都是为了按照用户设定的擦洗轨迹对鱼缸进行全覆盖擦洗。根据大循环的擦洗轨迹，结合标定的鱼缸清洗机器人位置信息、鱼缸清洗机器人当前电量和故障信息等，确定鱼缸清洗机器人执行的指令。
在本实施例中，控制装置还可以通过通信模组与用户手机APP通信，上传鱼缸清洗机器人拍摄到的照片和鱼缸实时视频；充电座与鱼缸清洗机器人之间通过具有很强穿透力的低频段载波通信。
在步骤（2）中，擦洗轨迹为“弓字形”或“回字形”。
在步骤（3）中，在建立坐标系的过程中，由于鱼缸是透明的，因此需要设置标记点以帮助建立坐标系，标记点选取鱼缸四个顶部拐角。一个简单的办法是在鱼缸的任意3个顶部拐角夹持带有鲜艳颜色的夹子，在双目视觉图像中，通过颜色可标记夹子所在位置，从而得到鱼缸三个顶部拐角的位置，由于鱼缸的顶部形状为矩形，可推算出第四个顶部拐角的位置；使用双目视觉算法，即对图像进行失真矫正、L图像分割、R图像分割和特征提取后，通过共轭图像匹配和深度恢复算法，可将鱼缸的图像坐标变换到世界坐标下，从而测得鱼缸的长、宽、高，并定义鱼缸的某个底部拐角为坐标原点，坐标系建立仅需进行一次，完成后可取下夹子；如双目视觉模组与鱼缸的相对位置发生移动，需要重新建立坐标系。
在步骤（4）中，坐标系建立后，控制装置对鱼缸内障碍物及鱼缸清洗机器人进行实时标定，所涉及原理和方法同上述的双目视觉算法，由于鱼缸清洗机器人的尺寸和颜色已知，因此可以对鱼缸中同样颜色、近似尺寸的物体进行比对，认为相似度最高的物体为鱼缸清洗机器人，提取鱼缸清洗机器人的外轮廓，通过双目视觉算法确定其外轮廓距离坐标系每个轴的最小距离，即可快速标定鱼缸清洗机器人在坐标系中的实际位置；对周围障碍物的识别是通过在坐标系内搜索连续的色块来实现的，对搜索到的色块进行轮廓提取，可基本判断障碍物类型，所述的障碍物类型包括但不限于换水管和加热棒，通过双目视觉算法确定障碍物轮廓距离坐标系每个轴的最小距离，以此标定障碍物在坐标系中的实际位置。根据以上信息，便可指挥鱼缸清洗机器人准确的躲避障碍物。
在步骤（6）中，鱼缸清洗机器人通过前进、后退、上升、下降、左移、右移、左转、右转、前翻、后翻、停止这十种动作来完成运动控制指令。不同的动作相互组合，即可完成擦洗、换面、避障、脱困、回充或断点续擦等具体的功能性指令。
在步骤（6）中，若控制装置发现鱼缸清洗机器人一段时间无法按正常轨迹对鱼缸进行擦洗，且鱼缸清洗机器人电量正常，则判断为鱼缸摩擦力过大或遇到较强的循环水流，此时发出脱困指令，使鱼缸清洗机器人按正常轨迹仅移动不擦洗，移动一段距离后再尝试擦洗，如仍不能按正常轨迹对鱼缸进行擦洗则再仅移动不擦洗，如此往复，直到鱼缸清洗机器人可以继续按正常轨迹对鱼缸进行擦洗。该指令可以有效的避免鱼缸清洗机器人由于不可见的因素受困导致无法正常擦洗。
Claims (7)
1.一种控制方法，适用于一种基于三维视觉的鱼缸清洗机器人运动控制装置，所述的控制装置包括前面板和后面板，前、后面板可组装在一起组成控制装置的外壳，在外壳内安装双目视觉模组，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板，在电路板上设置中央处理器CPU、图形处理器GPU和通信模组，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口；电路板上设置有用于加快视觉算法运算速度的芯片，所述的芯片包括图形处理器GPU和张量处理单元TPU；所述的通信模组包括WIFI、4G和5G高带宽通信模组，其特征在于，包括如下步骤：
（1）将控制装置通过磁吸或者胶贴的方式，安装于鱼缸对面或者旁边的墙上，使控制装置的双目视觉模组可以观察到鱼缸全貌；
（2）控制装置通过通信模组获取用户设定的鱼缸清洗机器人对鱼缸的擦洗轨迹；
（3）控制装置通过双目视觉模组得到鱼缸的双目视觉图像，并基于该双目视觉图像建立坐标系；
（4）标定鱼缸清洗机器人在鱼缸中的位置，鱼缸清洗机器人周围障碍物及充电座的位置，鱼缸清洗机器人距各鱼缸壁、周围障碍物及充电座的距离；
（5）控制装置通过通信模组与充电座通信，确认鱼缸清洗机器人当前电量和电机是否故障；
（6）控制装置根据用户设定的擦洗轨迹、鱼缸清洗机器人在鱼缸中的位置、距各鱼缸壁和周围障碍物的距离、是否卡住、鱼缸清洗机器人的当前电量，决定鱼缸清洗机器人执行擦洗、换面、避障、脱困、回充或断点续擦指令，通过通信模组将指令下发给充电座，再由充电座下发给鱼缸清洗机器人；
（7）重复执行步骤（4）-（6），直至擦洗结束。
2.根据权利要求1所述的控制方法，其特征在于：控制装置还可以通过通信模组与用户手机APP通信，上传鱼缸清洗机器人拍摄到的照片和鱼缸实时视频；充电座与鱼缸清洗机器人之间通过具有很强穿透力的低频段载波通信。
3.根据权利要求1所述的控制方法，其特征在于：在步骤（2）中，擦洗轨迹为“弓字形”或“回字形”。
4.根据权利要求1所述的控制方法，其特征在于：在步骤（3）中，建立坐标系是在鱼缸的任意3个顶部拐角夹持带有鲜艳颜色的夹子，在双目视觉图像中，通过颜色可标记夹子所在位置，从而得到鱼缸三个顶部拐角的位置，由于鱼缸的顶部形状为矩形，可推算出第四个顶部拐角的位置；使用双目视觉算法，即对图像进行失真矫正、L图像分割、R图像分割和特征提取后，通过共轭图像匹配和深度恢复算法，可将鱼缸的图像坐标变换到世界坐标下，从而测得鱼缸的长、宽、高，并定义鱼缸的某个底部拐角为坐标原点，完成后可取下夹子；如双目视觉模组与鱼缸的相对位置发生移动，需要重新建立坐标系。
5.根据权利要求1所述的控制方法，其特征在于：在步骤（4）中，由于鱼缸清洗机器人的尺寸和颜色已知，因此可以对鱼缸中同样颜色、近似尺寸的物体进行比对，认为相似度最高的物体为鱼缸清洗机器人，提取鱼缸清洗机器人的外轮廓，通过双目视觉算法确定其外轮廓距离坐标系每个轴的最小距离，即可快速标定鱼缸清洗机器人在坐标系中的实际位置；对周围障碍物的识别是通过在坐标系内搜索连续的色块来实现的，对搜索到的色块进行轮廓提取，可基本判断障碍物类型，所述的障碍物类型包括但不限于换水管和加热棒，通过双目视觉算法确定障碍物轮廓距离坐标系每个轴的最小距离，以此标定障碍物在坐标系中的实际位置。
6.根据权利要求1所述的控制方法，其特征在于：在步骤（6）中，鱼缸清洗机器人通过前进、后退、上升、下降、左移、右移、左转、右转、前翻、后翻、停止这十 一种动作来完成运动控制指令。
7.根据权利要求1所述的控制方法，其特征在于：在步骤（6）中，若控制装置发现鱼缸清洗机器人一段时间无法按正常轨迹对鱼缸进行擦洗，且鱼缸清洗机器人电量正常，则判断为鱼缸摩擦力过大或遇到较强的循环水流，此时发出脱困指令，使鱼缸清洗机器人按正常轨迹仅移动不擦洗，移动一段距离后再尝试擦洗，如仍不能按正常轨迹对鱼缸进行擦洗则再仅移动不擦洗，如此往复，直到鱼缸清洗机器人可以继续按正常轨迹对鱼缸进行擦洗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787301.6A CN110587602B (zh) | 2019-08-26 | 2019-08-26 | 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787301.6A CN110587602B (zh) | 2019-08-26 | 2019-08-26 | 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110587602A CN110587602A (zh) | 2019-12-20 |
| CN110587602B true CN110587602B (zh) | 2024-05-14 |
Family
ID=68855565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910787301.6A Active CN110587602B (zh) | 2019-08-26 | 2019-08-26 | 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110587602B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111300061B (zh) * | 2020-02-20 | 2022-03-04 | 吉林建筑大学 | 一种热管生产装置、生产控制方法及计算机程序产品 |
| CN113012236B (zh) * | 2021-03-31 | 2022-06-07 | 武汉理工大学 | 一种基于交叉式双目视觉引导的机器人智能打磨方法 |
| CN114638883B (zh) * | 2022-03-09 | 2023-07-14 | 西南交通大学 | 一种绝缘子水冲洗机器人视觉受限重定位目标方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916429A (zh) * | 2010-07-09 | 2010-12-15 | 浙江大学 | 双目相机的几何校正及视差提取装置 |
| CN103699095A (zh) * | 2013-12-25 | 2014-04-02 | 北京交通大学 | 基于双目立体视觉的大棚作物生长态势监测***及方法 |
| CN104270570A (zh) * | 2014-10-17 | 2015-01-07 | 北京英泰智软件技术发展有限公司 | 双目摄像机及其图像处理方法 |
| CN104705239A (zh) * | 2013-12-14 | 2015-06-17 | 李美珍 | 智能鱼缸清洁辅助机器人及其工作方法 |
| WO2018098915A1 (zh) * | 2016-11-29 | 2018-06-07 | 深圳市元征科技股份有限公司 | 清洁机器人的控制方法及清洁机器人 |
| CN108171754A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 一种基于双目视觉的机器人导航装置及方法 |
| KR20180071135A (ko) * | 2016-12-19 | 2018-06-27 | (주)댐코씨에스아이 | 체험 학습용 전자장치 및 그 제어방법 |
| CN109889820A (zh) * | 2019-03-14 | 2019-06-14 | 深圳博时特科技有限公司 | 双目摄像头模组的检测方法、装置、存储介质及终端 |
| CN210790986U (zh) * | 2019-08-26 | 2020-06-19 | 青岛森科特智能仪器有限公司 | 一种基于三维视觉的鱼缸清洗机器人运动控制装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8082064B2 (en) * | 2007-08-24 | 2011-12-20 | Elite Engineering Corporation | Robotic arm and control system |
-
2019
- 2019-08-26 CN CN201910787301.6A patent/CN110587602B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916429A (zh) * | 2010-07-09 | 2010-12-15 | 浙江大学 | 双目相机的几何校正及视差提取装置 |
| CN104705239A (zh) * | 2013-12-14 | 2015-06-17 | 李美珍 | 智能鱼缸清洁辅助机器人及其工作方法 |
| CN103699095A (zh) * | 2013-12-25 | 2014-04-02 | 北京交通大学 | 基于双目立体视觉的大棚作物生长态势监测***及方法 |
| CN104270570A (zh) * | 2014-10-17 | 2015-01-07 | 北京英泰智软件技术发展有限公司 | 双目摄像机及其图像处理方法 |
| WO2018098915A1 (zh) * | 2016-11-29 | 2018-06-07 | 深圳市元征科技股份有限公司 | 清洁机器人的控制方法及清洁机器人 |
| CN108171754A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 一种基于双目视觉的机器人导航装置及方法 |
| KR20180071135A (ko) * | 2016-12-19 | 2018-06-27 | (주)댐코씨에스아이 | 체험 학습용 전자장치 및 그 제어방법 |
| CN109889820A (zh) * | 2019-03-14 | 2019-06-14 | 深圳博时特科技有限公司 | 双目摄像头模组的检测方法、装置、存储介质及终端 |
| CN210790986U (zh) * | 2019-08-26 | 2020-06-19 | 青岛森科特智能仪器有限公司 | 一种基于三维视觉的鱼缸清洗机器人运动控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110587602A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110587602B (zh) | 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 | |
| CN110023867B (zh) | 用于机器人绘图的***和方法 | |
| JP7484015B2 (ja) | 障害物検出方法および装置、自走式ロボット並びに記憶媒体 | |
| CN103845003B (zh) | 机器人清洁器 | |
| CN104626206B (zh) | 一种非结构环境下机器人作业的位姿信息测量方法 | |
| CN114603559A (zh) | 移动机器人的控制方法、装置、移动机器人及存储介质 | |
| CN106970618A (zh) | 一种无人船控制方法及*** | |
| Ido et al. | Indoor navigation for a humanoid robot using a view sequence | |
| CN112248835B (zh) | 一种充电机械臂控制方法和*** | |
| CN110543859A (zh) | 一种基于深度学习和双目定位的海参自主识别和抓取方法 | |
| CN103353758A (zh) | 一种室内机器人导航装置及其导航技术 | |
| CN112819943B (zh) | 一种基于全景相机的主动视觉slam*** | |
| CN109199240B (zh) | 一种基于手势控制的扫地机器人控制方法及*** | |
| JP2016045874A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN106826749B (zh) | 移动机器人 | |
| CN209535420U (zh) | 水下仿生多海鞘组合软体机器人 | |
| CN210790986U (zh) | 一种基于三维视觉的鱼缸清洗机器人运动控制装置 | |
| CN108544494A (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
| CN113696180A (zh) | 机器人自动回充方法、装置、存储介质及机器人*** | |
| CN107647828A (zh) | 安装有鱼眼摄像头的扫地机器人 | |
| CN106325278B (zh) | 一种基于椭圆识别的机器人定位导航方法 | |
| EP4242775B1 (en) | Charging station, method for returning to said charging station for a lawnmower robot | |
| CN108175337B (zh) | 扫地机器人及其行走的方法 | |
| CN116804553A (zh) | 基于事件相机/imu/自然路标的里程计***及方法 | |
| Yuan et al. | Visual steering of UAV in unknown environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |