CN111080537B - 水下机器人智能控制方法、介质、设备及*** - Google Patents
水下机器人智能控制方法、介质、设备及*** Download PDFInfo
- Publication number
- CN111080537B CN111080537B CN201911165343.2A CN201911165343A CN111080537B CN 111080537 B CN111080537 B CN 111080537B CN 201911165343 A CN201911165343 A CN 201911165343A CN 111080537 B CN111080537 B CN 111080537B
- Authority
- CN
- China
- Prior art keywords
- intelligent
- underwater
- image
- underwater robot
- communication terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004891 communication Methods 0.000 claims abstract description 88
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000003707 image sharpening Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种水下机器人智能控制方法、介质、设备及***，其中方法包括：智能水下机器人获取智能穿戴通信终端发送的第一定位信息和第一深度信息，并计算智能穿戴通信终端的位置信息，以便根据位置信息控制智能水下机器人移动；根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并在距离小于预设的距离阈值时，控制智能水下机器人进行拍照，以获取水下图像；将水下图像输入到训练好的手势识别模型，并通过手势识别模型判断水下图像中是否包含手势指令；如果包含手势指令，则根据手势指令控制智能水下机器人进行移动；能够提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
Description
技术领域
本发明涉及信息处理技术领域，特别涉及一种水下机器人智能控制方法、一种计算机可读存储介质、一种计算机设备以及一种水下机器人智能控制***。
背景技术
近年，水下机器人开始在渔业环境检测、潜水娱乐等消费级市场兴起。
相关技术中，多采用通过遥感等控制方式对水下机器人的移动进行控制，并在人为控制下对水下环境进行拍照，这种方式中，水下机器人与用户之间的交互性低，且功能单一，使得用户对于水下机器人的体验不佳。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种水下机器人智能控制方法，能够提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种水下机器人智能控制***。
为达到上述目的，本发明第一方面实施例提出了一种水下机器人智能控制方法，包括以下步骤：智能水下机器人获取潜水员穿戴的智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据所述第一定位信息、第一深度信息、自身的第二定位信息和第二深度信息计算所述智能穿戴通信终端的位置信息，以便根据所述位置信息控制所述智能水下机器人向所述智能穿戴通信终端移动；根据所述位置信息计算所述智能水下机器人与所述智能穿戴通信终端之间的距离，并在所述距离小于预设的距离阈值时，控制所述智能水下机器人进行拍照，以获取水下图像；将所述水下图像输入到训练好的手势识别模型，并通过所述手势识别模型判断所述水下图像中是否包含手势指令；如果所述水下图像中包含手势指令，则根据所述手势指令控制所述智能水下机器人进行相应的移动。
根据本发明实施例的水下机器人智能控制方法，首先，智能水下机器人获取潜水员穿戴的智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据第一定位信息、第一深度信息、自身的第二定位信息和第二深度信息计算智能穿戴通信终端的位置信息，以便根据位置信息控制智能水下机器人向智能穿戴通信终端移动；接着，在水下机器人移动的过程中，根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并在距离小于预设的距离阈值时，控制智能水下机器人进行拍照，以获取水下图像；然后，将水下图像输入到训练好的手势识别模型，并通过手势识别模型判断水下图像中是否包含手势指令；接着，如果水下图像中包含手势指令，则根据手势指令控制智能水下机器人进行相应的移动；从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
另外，根据本发明上述实施例提出的水下机器人智能控制方法还可以具有如下附加的技术特征：
可选地，对水下图像进行CNN图像增强处理，以得到增强后的水下图像，并根据非局部去雾算法对CNN图像增强后的水下图像进行去雾处理，以得到去雾后的水下图像，以及对去雾后的水下图像进行亮度调整，以得到亮度增强后的水下图像，并通过拉普拉斯金字塔将增强后的水下图像、去雾后的水下图像和亮度增强后的水下图像进行加权融合，以获得清晰的水下图像。
可选地，在获得清晰的水下图像之后，还包括：将所述清晰的水下图像输入到训练好的潜水员识别模型，并通过所述潜水员识别模型提取所述水下图像中的潜水员图像；对所述潜水员图像进行色度压缩，并提取压缩后的潜水员图像对应的显著图；将所述显著图二值化，并将二值化后的显著图发送给所述智能穿戴通信终端，以便潜水员根据智能穿戴通信终端显示的所述二值化后的显著图获取所述智能水下机器人的运行状态。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有水下机器人智能控制程序，该水下机器人智能控制程序被处理器执行时实现如上述的水下机器人智能控制方法。
根据本发明实施例的计算机可读存储介质，通过存储水下机器人智能控制程序，以使得处理器在执行该水下机器人智能控制程序时，实现如上述的水下机器人智能控制方法，从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的水下机器人智能控制方法。
根据本发明实施例的计算机设备，通过存储器对水下机器人智能控制程序进行存储，以使得处理器在执行该存储器上存储的水下机器人智能控制程序时，实现如上述的水下机器人智能控制方法，从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
为达到上述目的，本发明第四方面实施例提出了一种水下机器人智能控制***，包括：智能水下机器人和智能穿戴通信终端；其中，所述智能水下机器人包括定位模块、拍摄模块、手势识别模块和运动控制模块；所述定位模块用于获取潜水员穿戴的所述智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据所述第一定位信息、第一深度信息、自身的第二定位信息和第二深度信息计算所述智能穿戴通信终端的位置信息，以便所述运动控制模块根据所述位置信息控制所述智能水下机器人向所述智能穿戴通信终端移动；所述定位模块还用于根据所述位置信息计算所述智能水下机器人与所述智能穿戴通信终端之间的距离；并在所述距离小于预设的距离阈值时，控制所述拍摄模块进行拍照，以获取水下图像；所述手势识别模块用于将所述水下图像输入到训练好的手势识别模型，并通过所述手势识别模型判断所述水下图像中是否包含手势指令；所述运动控制模块还用于在所述水下图像中包含手势指令时，根据所述手势指令控制所述智能水下机器人进行相应的移动。
根据本发明实施例的水下机器人智能控制***，包括智能水下机器人和智能穿戴通信终端，其中，智能水下机器人设置有定位模块、拍摄模块、手势识别模块和运动控制模块；设置定位模块用于获取潜水员穿戴的智能穿戴通信终端按照预设频率发送的第一定位信息和第一深度信息，并根据第一定位信息、第一深度信息、智能水下机器人的第二定位信息和智能水下机器人的第二深度信息计算智能穿戴通信终端的位置信息，以便运动控制模块根据位置信息控制智能水下机器人向智能穿戴通信终端移动；定位模块还用于根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并在智能水下机器人与智能穿戴通信终端之间的距离小于预设的距离阈值时，控制拍摄模块进行拍照，以获取水下图像；手势识别模块用于将水下图像输入到训练好的手势识别模型，并通过该手势识别模型判断水下图像中是否包含手指指令；当水下图像中包含手势指令时，运动控制模块根据手势指令控制智能水下机器人进行相应的移动；从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
另外，根据本发明上述实施例提出的水下机器人智能控制***还可以具有如下附加的技术特征：
可选地，还包括：图像清晰化模块，所述图像清晰化模块用于在获取水下图像之后，对所述水下图像进行CNN图像增强处理，以得到增强后的水下图像；并根据非局部去雾算法对增强后的水下图像进行去雾处理，以得到去雾后的水下图像；以及对去雾后的水下图像进行亮度调整，以得到亮度增强后的水下图像，并通过拉普拉斯金字塔将增强后的水下图像、去雾后的水下图像和亮度增强后的水下图像进行加权融合，以获得清晰的水下图像。
可选地，还包括：潜水员识别模块，所述潜水员识别模块用于将所述清晰的水下图像输入到训练好的潜水员识别模型，并通过所述潜水员识别模型提取所述水下图像中的潜水员图像；索引模块，所述索引模块用于对所述潜水员图像进行色度压缩，并提取压缩后的潜水员图像对应的显著图；以及将所述显著图二值化，并将二值化后的显著图发送给所述智能穿戴通信终端，以便潜水员根据智能穿戴通信终端显示的所述二值化后的显著图获取所述智能水下机器人的运行状态。
附图说明
图1为根据本发明实施例的水下机器人智能控制方法的流程示意图；
图2为根据本发明实施例的水下图像清晰化处理的流程示意图；
图3为根据本发明实施例的水下图像清晰化处理效果示意图；
图4为根据本发明实施例的手势识别控制流程示意图；
图5为根据本发明实施例的水下机器人智能控制***的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，水下机器人与用户之间的交互性地，且功能单一，用户对于水下机器人的体验不佳，根据本发明实施例的水下机器人智能控制方法，首先，智能水下机器人获取潜水员穿戴的智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据第一定位信息、第一深度信息、自身的第二定位信息和第二深度信息计算智能穿戴通信终端的位置信息，以便根据位置信息控制智能水下机器人向智能穿戴通信终端移动；接着，在水下机器人移动的过程中，根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并在距离小于预设的距离阈值时，控制智能水下机器人进行拍照，以获取水下图像；然后，将水下图像输入到训练好的手势识别模型，并通过手势识别模型判断水下图像中是否包含手势指令；接着，如果水下图像中包含手势指令，则根据手势指令控制智能水下机器人进行相应的移动；从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的水下机器人智能控制方法的流程示意图，如图1所示，该水下机器人智能控制方法包括以下步骤：
S101，智能水下机器人获取潜水员穿戴的智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据第一定位信息、第一深度信息、自身的第二定位信息和第二深度信息计算智能穿戴通信终端的位置信息，以便根据位置信息控制智能水下机器人向智能穿戴通信终端移动。
也就是说，智能穿戴通信终端由潜水员进行穿戴，在使用过程中，潜水员穿戴的智能穿戴通信终端按照预设频率向智能水下机器人发送第一定位信息和第一深度信息，然后，智能水下机器人获取自身的第二定位信息和第二深度信息，并根据第一定位信息、第一深度信息、第二定位信息和第二深度信息对智能穿戴通信终端的位置信息进行计算，以根据该位置信息对智能穿戴通信终端进行定位；接着，根据该位置信息控制智能水下机器人向智能穿戴通信终端进行移动。
作为一种示例，智能穿戴通信终端和智能水下机器人均设置有深度测量传感器，该深度测量传感器用以检测和记录智能穿戴通信终端与智能水下机器人在水中的深浅信息；在用户使用过程中，首先，对智能穿戴通信终端进行佩戴，然后，智能水下机器人和智能穿戴通信终端通过GPS信息对时钟进行同步；在水下作业过程中，智能水下机器人和智能穿戴通信终端中的深度传感器分别对深度信息进行采集；潜水员穿戴的智能穿戴通信终端按照预设的频率向智能水下机器人发送带有时钟信息、第一定位信息和第一深度信息的信号，智能水下机器人在接收到该信号后，通过该时钟信息计算智能穿戴通信终端与智能水下机器人之间的距离，并结合深度信息对智能穿戴通信终端进行定位，然后，将定位结果转换为相应的移动指令，以根据移动指令控制智能水下机器人向智能穿戴通信终端进行移动。
S102，根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并在距离小于预设的距离阈值时，控制智能水下机器人进行拍照，以获取水下图像。
也就是说，在根据位置信息控制智能水下机器人向智能穿戴通信终端移动的过程中，还根据实时位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并判断该距离是否小于预设的距离阈值，当智能水下机器人与智能穿戴通信终端之间的相对距离小于预设的距离阈值时，控制智能水下机器人进行拍照，以获取水下图像，
作为一种示例，智能水下机器人上设置有深度摄像机，该深度摄像机利用一组平行放置并间隔5-15cm距离的相同参数的相机构成，首先，对双目相机进行标定，以得到两个相机的内外参数、单应矩阵，并根据标定结果对原始图像进行校正，以使得校正后的两张图像位于同一平面且互相平行；接着，对校正后的两张图像进行像素点匹配，以根据匹配结果计算每个像素的深度，以获取到水下图像。
S103，将水下图像输入到训练好的手势识别模型，并通过手势识别模型判断水下图像中是否包含手势指令。
也就是说，在获取到水下图像之后，将水下图像输入到训练好的手势识别模型，并通过手势识别模型判断该水下图像中是否包含手势指令。
其中，手势识别模型的训练方式在现有技术中已有详尽的描述，在此不做赘述。
作为一种示例，首先，获取手势历史样本，并根据手势历史样本制作手势训练集，然后，将手势训练集输入到YOLO网络模型进行模型的训练，以得到手势识别模型。
S104，如果水下图像中包含手势指令，则根据手势指令控制智能水下机器人进行相应的移动。
也就是说，如果水下图像中包含手势指令，则根据手势指令对智能水下机器人进行控制，以使得智能水下机器人可以根据用户的手势进行相应的移动。
作为一种示例，首先，AI处理器对水下图像进行手势识别，以获取水下图像中的手势指令，其中，优选地，手势指令可以包括：上浮：0xFF，0x01；下潜：0xFF，0x02；前进：0xFF，0x03；后退:0xFF，0x04；左转向：:0xFF，0x05；右转向:0xFF，0x06；拍照:0xFF，0x07。其帧头规定为0x80，帧尾规定为0x10，进而，运动控制器在接收到手势指令时，可以根据手势指令控制智能水下机器人进行相应的移动。
在一些实施例中，为了提高水下机器人获取到的水下图像的图像效果，图2为根据本发明实施例的水下图像清晰化处理的流程示意图；如图2所示，本发明实施例提出的水下机器人智能控制方法在获取水下图像之后，还包括：对水下图像进行CNN图像增强处理，以得到增强后的水下图像，并根据非局部去雾算法对CNN图像增强后的水下图像进行去雾处理，以得到去雾后的水下图像，以及对去雾后的水下图像进行亮度调整，以得到亮度增强后的水下图像，并通过拉普拉斯金字塔将增强后的水下图像、去雾后的水下图像和亮度增强后的水下图像进行加权融合，以获得清晰的水下图像。
其中，根据非局部去雾算法对CNN图像增强后的水下图像进行去雾处理的方式可以有多种。
作为一种示例，首先，寻找雾线，雾线指的是在清晰图像中每个颜色簇所形成的RGB空间中的线，通过雾线可以恢复距离图和无雾图；其中，雾线可通过以下公式表述：
IA(x)＝I(x)-A
接着，在三维RGB坐标系中将大气光转化到原点，该过程由以下公式表述：
IA(x)＝t(x)·[J(x)-A]
然后，用球坐标系进行表示：
IA(x)＝[r(x),θ(x),φ(x)]
r是到原点的距离||I-A||,θ和φ分别是经纬度。像素的颜色围绕水下光在球坐标系中表示。对给定值J和A，场景中离相机不同距离的点仅仅是t值的不同。在球面坐标系中，定义t的变化只影响r(x)。像素x和y有相似的RGB值在潜在的无雾图像中，如果它们的[θ,φ]相似，则：
因此，如果像素的[θ(x),φ(x)]值相似，则它们属于相同的雾线。
接着，进行估计初始透射
对由J和A定义的给定的雾线，r(x)取决于目标距离：
r(x)＝t(x)||J(x)-A||,0≤t(x)≤1
t＝1对应最大的径向坐标：
基于雾线半径的透射表达式：
t(x)＝r(x)/rmax
现在的问题是如何找到最大半径对应的估计值如果雾线H包括无雾像素，则是雾线的最大半径：
根据每条雾线H进行估计。假设距离大气光最远的像素是无雾的，而且每条雾线都存在这样的像素。这个假设并不适用于所有雾线，下面的正则化步骤补偿这一点。每个像素的透射估计：
然后，进行正则化处理；
因为辐照度J是正的(J≥0)，给出传输下界：
将此约束加载透射估计上，对每个像素：
上面估计的透射率是按像素实现的，没有加上空间一致性。如果少量像素映射到特定的雾线或者在十分模糊的区域中，这种估计可能是不准确的，r(x)很小，被噪声淹没。除了深度不连续外，透射图应该是平滑的。寻找与相似的透射图/>当输入图像平滑时，它也是平滑的。在数学上，最小化以下函数/>
其中，λ是控制数据和平滑项之间的权衡参数，Nx表示x的四近邻，σ(x)是的标准差(根据每条雾线计算)。当方差很高时，初始估计可靠性很低。当雾线上像素的数量增加，反差会减小。当给定的雾线上的半径分布很小时，方差会增大。
接着，进行去雾，在被正则化后，去雾图像为：
如图3所示，在根据本发明实施例提出的水下图像清晰化处理方式对于水下图像进行去雾之后，可以极大地提升水下图像的显示效果。
在一些实施例中，为了便于用户对于水下智能机器人的控制，如图4所示，本发明实施例提出的水下机器人智能控制方法，在获得清晰的水下图像之后，还包括：
S201，将清晰的水下图像输入到训练好的潜水员识别模型，并通过潜水员识别模型提取水下图像中的潜水员图像。
其中，潜水员识别模型的训练方式可以有多种。
作为一种示例，首先，按照Pascal VOC数据集格式进行潜水员训练数据集的制作，并将MobileNet-V3 Small作为基础网络，接着，裁剪第9层bottleneck与池化层之间的bottleneck的层数至40层，使params下降约38.6％，约为1.53M，使用h-swish激活函数降低网络推理延迟，以训练得到潜水员识别模型。
S202，对潜水员图像进行色度压缩，并提取压缩后的潜水员图像对应的显著图。
S203，将显著图二值化，并将二值化后的显著图发送给智能穿戴通信终端，以便潜水员根据智能穿戴通信终端显示的二值化后的显著图获取智能水下机器人的运行状态。
作为一种示例，首先，对潜水员图像进行色度压缩，提取感兴趣区域(ROI)，并使用欧几里德距离选择与感兴趣区域最相似的调色板：
接着，根据最相似的调色板对潜水员图像进行压缩，以降低数据量；然后，通过对色度、光照强度、灰阶的分析获得潜水员图像对应的显著图。
然后，对得到的显著图进行二值化处理，以及将该二值化处理后的显著图发送给智能穿戴通信终端，以通过智能穿戴通信终端对该图像进行显示，从而，潜水员可以根据智能穿戴通信终端显示的二值化处理后的显著图获知水下智能机器人的运行状态；并根据水下智能机器人的运行状态通过手势对其进行相应的控制。
综上所述，根据本发明实施例的水下机器人智能控制方法，首先，智能水下机器人获取潜水员穿戴的智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据第一定位信息、第一深度信息、自身的第二定位信息和第二深度信息计算智能穿戴通信终端的位置信息，以便根据位置信息控制智能水下机器人向智能穿戴通信终端移动；接着，在水下机器人移动的过程中，根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并在距离小于预设的距离阈值时，控制智能水下机器人进行拍照，以获取水下图像；然后，将水下图像输入到训练好的手势识别模型，并通过手势识别模型判断水下图像中是否包含手势指令；接着，如果水下图像中包含手势指令，则根据手势指令控制智能水下机器人进行相应的移动；从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
为了实现上述实施例，本发明实施例还提出了一种计算机可读存储介质，其上存储有水下机器人智能控制程序，该水下机器人智能控制程序被处理器执行时实现如上述的水下机器人智能控制方法。
根据本发明实施例的计算机可读存储介质，通过存储水下机器人智能控制程序，以使得处理器在执行该水下机器人智能控制程序时，实现如上述的水下机器人智能控制方法，从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
为了实现上述实施例，本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的水下机器人智能控制方法。
根据本发明实施例的计算机设备，通过存储器对水下机器人智能控制程序进行存储，以使得处理器在执行该存储器上存储的水下机器人智能控制程序时，实现如上述的水下机器人智能控制方法，从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
为了实现上述实施例，本发明实施例还提出了一种水下机器人智能控制***，如图5所示，该水下机器人智能控制***包括：智能水下机器人100和智能穿戴通信终端200。
其中，智能水下机器人100包括定位模块101、拍摄模块102、手势识别模块103和运动控制模块104；
定位模块101用于获取潜水员穿戴的智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据第一定位信息、第一深度信息、自身的第二定位信息和第二深度信息计算智能穿戴通信终端的位置信息，以便运动控制模块根据位置信息控制智能水下机器人100向智能穿戴通信终端200移动；
定位模块101还用于根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离；并在距离小于预设的距离阈值时，控制拍摄模块102进行拍照，以获取水下图像；
手势识别模块103用于将水下图像输入到训练好的手势识别模型，并通过手势识别模型判断水下图像中是否包含手势指令；
运动控制模块104还用于在水下图像中包含手势指令时，根据手势指令控制智能水下机器人100进行相应的移动。
在一些实施例中，为了提高本发明实施例提出的水下机器人智能控制***对于水下图像的显示效果，该水下机器人智能控制***还包括：图像清晰化模块105。
图像清晰化模块105用于在获取水下图像之后，对水下图像进行CNN图像增强处理，以得到增强后的水下图像；并根据非局部去雾算法对增强后的水下图像进行去雾处理，以得到去雾后的水下图像；以及对去雾后的水下图像进行亮度调整，以得到亮度增强后的水下图像，并通过拉普拉斯金字塔将增强后的水下图像、去雾后的水下图像和亮度增强后的水下图像进行加权融合，以获得清晰的水下图像。
在一些实施例中，为了便于潜水员对于水下机器人的操作，本发明实施例提出的水下机器人智能控制***还包括：潜水员识别模块106和索引模块107。
潜水员识别模块106用于将清晰的水下图像输入到训练好的潜水员识别模型，并通过潜水员识别模型提取水下图像中的潜水员图像；
索引模块107用于对潜水员图像进行色度压缩，并提取压缩后的潜水员图像对应的显著图；以及将显著图二值化，并将二值化后的显著图发送给智能穿戴通信终端200，以便潜水员根据智能穿戴通信终端200显示的二值化后的显著图获取智能水下机器人100的运行状态。
需要说明的是，上述关于图1中水下机器人智能控制方法的描述同样适用于该水下机器人智能控制***，在此不做赘述。
综上所述，根据本发明实施例的水下机器人智能控制***，包括智能水下机器人和智能穿戴通信终端，其中，智能水下机器人设置有定位模块、拍摄模块、手势识别模块和运动控制模块；设置定位模块用于获取潜水员穿戴的智能穿戴通信终端按照预设频率发送的第一定位信息和第一深度信息，并根据第一定位信息、第一深度信息、智能水下机器人的第二定位信息和智能水下机器人的第二深度信息计算智能穿戴通信终端的位置信息，以便运动控制模块根据位置信息控制智能水下机器人向智能穿戴通信终端移动；定位模块还用于根据位置信息计算智能水下机器人与智能穿戴通信终端之间的距离，并在智能水下机器人与智能穿戴通信终端之间的距离小于预设的距离阈值时，控制拍摄模块进行拍照，以获取水下图像；手势识别模块用于将水下图像输入到训练好的手势识别模型，并通过该手势识别模型判断水下图像中是否包含手指指令；当水下图像中包含手势指令时，运动控制模块根据手势指令控制智能水下机器人进行相应的移动；从而实现提高水下机器人与用户之间的交互性，降低水下机器人的操作难度，进而提高用户对于水下机器人的体验效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种水下机器人智能控制方法，其特征在于，包括以下步骤：
智能水下机器人获取潜水员穿戴的智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据所述第一定位信息、第一深度信息、智能水下机器人的第二定位信息和第二深度信息计算所述智能穿戴通信终端的位置信息，以便根据所述位置信息控制所述智能水下机器人向所述智能穿戴通信终端移动；
根据所述位置信息计算所述智能水下机器人与所述智能穿戴通信终端之间的距离，并在所述距离小于预设的距离阈值时，控制所述智能水下机器人进行拍照，以获取水下图像；
将所述水下图像输入到训练好的手势识别模型，并通过所述手势识别模型判断所述水下图像中是否包含手势指令；
如果所述水下图像中包含手势指令，则根据所述手势指令控制所述智能水下机器人进行相应的移动；
在获取水下图像之后，还包括：
对所述水下图像进行CNN图像增强处理，以得到增强后的水下图像，并根据非局部去雾算法对CNN图像增强后的水下图像进行去雾处理，以得到去雾后的水下图像，以及对去雾后的水下图像进行亮度调整，以得到亮度增强后的水下图像，并通过拉普拉斯金字塔将增强后的水下图像、去雾后的水下图像和亮度增强后的水下图像进行加权融合，以获得清晰的水下图像；
在获得清晰的水下图像之后，还包括：
将所述清晰的水下图像输入到训练好的潜水员识别模型，并通过所述潜水员识别模型提取所述水下图像中的潜水员图像；
对所述潜水员图像进行色度压缩，并提取压缩后的潜水员图像对应的显著图；
将所述显著图二值化，并将二值化后的显著图发送给所述智能穿戴通信终端，以便潜水员根据智能穿戴通信终端显示的所述二值化后的显著图获取所述智能水下机器人的运行状态。
2.一种计算机可读存储介质，其特征在于，其上存储有水下机器人智能控制程序，该水下机器人智能控制程序被处理器执行时实现如权利要求1中所述的水下机器人智能控制方法。
3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1中所述的水下机器人智能控制方法。
4.一种水下机器人智能控制***，其特征在于，包括：智能水下机器人和智能穿戴通信终端；
其中，所述智能水下机器人包括定位模块、拍摄模块、手势识别模块和运动控制模块；
所述定位模块用于获取潜水员穿戴的所述智能穿戴通信终端按预设频率发送的第一定位信息和第一深度信息，并根据所述第一定位信息、第一深度信息、智能水下机器人的第二定位信息和第二深度信息计算所述智能穿戴通信终端的位置信息，以便所述运动控制模块根据所述位置信息控制所述智能水下机器人向所述智能穿戴通信终端移动；
所述定位模块还用于根据所述位置信息计算所述智能水下机器人与所述智能穿戴通信终端之间的距离；并在所述距离小于预设的距离阈值时，控制所述拍摄模块进行拍照，以获取水下图像；
所述手势识别模块用于将所述水下图像输入到训练好的手势识别模型，并通过所述手势识别模型判断所述水下图像中是否包含手势指令；
所述运动控制模块还用于在所述水下图像中包含手势指令时，根据所述手势指令控制所述智能水下机器人进行相应的移动；
还包括：
图像清晰化模块，所述图像清晰化模块用于在获取水下图像之后，对所述水下图像进行CNN图像增强处理，以得到增强后的水下图像；并根据非局部去雾算法对增强后的水下图像进行去雾处理，以得到去雾后的水下图像；以及对去雾后的水下图像进行亮度调整，以得到亮度增强后的水下图像，并通过拉普拉斯金字塔将增强后的水下图像、去雾后的水下图像和亮度增强后的水下图像进行加权融合，以获得清晰的水下图像；
所述***还包括：
潜水员识别模块，所述潜水员识别模块用于将所述清晰的水下图像输入到训练好的潜水员识别模型，并通过所述潜水员识别模型提取所述水下图像中的潜水员图像；
索引模块，所述索引模块用于对所述潜水员图像进行色度压缩，并提取压缩后的潜水员图像对应的显著图；以及将所述显著图二值化，并将二值化后的显著图发送给所述智能穿戴通信终端，以便潜水员根据智能穿戴通信终端显示的所述二值化后的显著图获取所述智能水下机器人的运行状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911165343.2A CN111080537B (zh) | 2019-11-25 | 2019-11-25 | 水下机器人智能控制方法、介质、设备及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911165343.2A CN111080537B (zh) | 2019-11-25 | 2019-11-25 | 水下机器人智能控制方法、介质、设备及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111080537A CN111080537A (zh) | 2020-04-28 |
| CN111080537B true CN111080537B (zh) | 2023-09-12 |
Family
ID=70311510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911165343.2A Active CN111080537B (zh) | 2019-11-25 | 2019-11-25 | 水下机器人智能控制方法、介质、设备及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080537B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112188088B (zh) * | 2020-09-21 | 2022-10-25 | 厦门大学 | 水下自拍*** |
| CN114077313A (zh) * | 2021-11-25 | 2022-02-22 | 深之蓝(天津)水下智能科技有限公司 | 水下机器人及其控制方法 |
| CN116434081A (zh) * | 2023-04-25 | 2023-07-14 | 广东工业大学 | 一种基于5g+云边端水下机器人控制管理方法及*** |
| CN117290773B (zh) * | 2023-10-13 | 2024-04-26 | 哈尔滨工业大学 | 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202765273U (zh) * | 2012-09-14 | 2013-03-06 | 董昊 | 一种用于水下摄影的无人遥控机器人 |
| CN106407927A (zh) * | 2016-09-12 | 2017-02-15 | 河海大学常州校区 | 基于偏振成像的适用于水下目标检测的显著性视觉方法 |
| CN106981053A (zh) * | 2017-03-02 | 2017-07-25 | 天津大学 | 一种基于加权融合的水下图像增强方法 |
| CN107564033A (zh) * | 2017-07-26 | 2018-01-09 | 北京臻迪科技股份有限公司 | 一种水下目标的跟踪方法、水下设备和可穿戴设备 |
| CN107765855A (zh) * | 2017-10-25 | 2018-03-06 | 电子科技大学 | 一种基于手势识别控制机器人运动的方法和*** |
| CN108320487A (zh) * | 2017-12-28 | 2018-07-24 | 北京臻迪科技股份有限公司 | 一种水下设备通讯方法和*** |
| CN108447028A (zh) * | 2018-02-12 | 2018-08-24 | 中国科学院西安光学精密机械研究所 | 基于多尺度融合的水下图像质量改善方法 |
| WO2019033957A1 (zh) * | 2017-08-14 | 2019-02-21 | 深圳市国华识别科技开发有限公司 | 交互位置确定方法、***、存储介质和智能终端 |
| CN109917922A (zh) * | 2019-03-28 | 2019-06-21 | 更藏多杰 | 一种交互方法及可穿戴交互设备 |
| CN110148095A (zh) * | 2019-05-14 | 2019-08-20 | 北京科技大学 | 一种水下图像增强方法及增强装置 |
-
2019
- 2019-11-25 CN CN201911165343.2A patent/CN111080537B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202765273U (zh) * | 2012-09-14 | 2013-03-06 | 董昊 | 一种用于水下摄影的无人遥控机器人 |
| CN106407927A (zh) * | 2016-09-12 | 2017-02-15 | 河海大学常州校区 | 基于偏振成像的适用于水下目标检测的显著性视觉方法 |
| CN106981053A (zh) * | 2017-03-02 | 2017-07-25 | 天津大学 | 一种基于加权融合的水下图像增强方法 |
| CN107564033A (zh) * | 2017-07-26 | 2018-01-09 | 北京臻迪科技股份有限公司 | 一种水下目标的跟踪方法、水下设备和可穿戴设备 |
| WO2019033957A1 (zh) * | 2017-08-14 | 2019-02-21 | 深圳市国华识别科技开发有限公司 | 交互位置确定方法、***、存储介质和智能终端 |
| CN107765855A (zh) * | 2017-10-25 | 2018-03-06 | 电子科技大学 | 一种基于手势识别控制机器人运动的方法和*** |
| CN108320487A (zh) * | 2017-12-28 | 2018-07-24 | 北京臻迪科技股份有限公司 | 一种水下设备通讯方法和*** |
| CN108447028A (zh) * | 2018-02-12 | 2018-08-24 | 中国科学院西安光学精密机械研究所 | 基于多尺度融合的水下图像质量改善方法 |
| CN109917922A (zh) * | 2019-03-28 | 2019-06-21 | 更藏多杰 | 一种交互方法及可穿戴交互设备 |
| CN110148095A (zh) * | 2019-05-14 | 2019-08-20 | 北京科技大学 | 一种水下图像增强方法及增强装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多特征融合的单幅水下图像清晰化;杨爱萍等;《天津大学学报(自然科学与工程技术版)》;20181015(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111080537A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080537B (zh) | 水下机器人智能控制方法、介质、设备及*** | |
| CN106940704B (zh) | 一种基于栅格地图的定位方法及装置 | |
| CN108764071B (zh) | 一种基于红外和可见光图像的真实人脸检测方法及装置 | |
| EP2915333B1 (en) | Depth map generation from a monoscopic image based on combined depth cues | |
| JP2022534337A (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
| RU2008143205A (ru) | Эффективное кодирование множества видов | |
| US20220038621A1 (en) | Device for automatically capturing photo or video about specific moment, and operation method thereof | |
| CN107864337A (zh) | 素描图像处理方法、装置及设备 | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| KR102595787B1 (ko) | 전자 장치 및 그 제어 방법 | |
| CN111091592A (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
| CN111192277A (zh) | 一种实例分割的方法及装置 | |
| CN110378250B (zh) | 用于场景认知的神经网络的训练方法、装置及终端设备 | |
| CN115482529A (zh) | 近景色水果图像识别方法、设备、存储介质及装置 | |
| CN111553940A (zh) | 一种深度图人像边缘优化方法及处理装置 | |
| US11605220B2 (en) | Systems and methods for video surveillance | |
| CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
| CN116630828B (zh) | 基于地形环境适配的无人机遥感信息采集***及方法 | |
| CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN117422858A (zh) | 一种双光图像目标检测方法、***、设备和介质 | |
| CN116665077A (zh) | 基于ai识别技术的输电线路检测拍摄方法及其*** | |
| CN115393962A (zh) | 动作识别方法、头戴显示设备和存储介质 | |
| CN114663299A (zh) | 适用于煤矿井下的图像去雾模型的训练方法及其装置 | |
| CN113723380A (zh) | 基于雷达技术的人脸识别方法、装置、设备和存储介质 | |
| CN110647898B (zh) | 图像处理方法、装置、电子设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |