CN113313116A - 一种基于视觉的水下人工目标准确检测与定位方法 - Google Patents
一种基于视觉的水下人工目标准确检测与定位方法 Download PDFInfo
- Publication number
- CN113313116A CN113313116A CN202110682252.7A CN202110682252A CN113313116A CN 113313116 A CN113313116 A CN 113313116A CN 202110682252 A CN202110682252 A CN 202110682252A CN 113313116 A CN113313116 A CN 113313116A
- Authority
- CN
- China
- Prior art keywords
- target
- underwater
- detection
- camera
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007796 conventional method Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 1
- 238000011160 research Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视觉的水下人工目标准确检测与定位方法,重点是检测水下目标并计算目标的位置和方位,设计了一种人工水下合作目标。首先对水下目标采用基于深度学习的目标检测算法进行粗检测,然后加入传统的基于形状和颜色的目标检测方法,进行准确的人工水下合作目标检测。再根据水下目标的检测结果和目标特征点的几何信息计算出目标相对于摄像机的位置和姿态,实现对水下目标的检测定位。本发明将基于颜色和形状的传统目标检测方法与基于深度学习的目标检测方法进行融合,实现了对水下目标的准确且快速的检测。本发明设计了人工水下合作目标,并根据所设计目标特征点的几何信息,实现对其的实时定位,计算出目标的位置信息和角度信息。
Description
技术领域
本发明属于水下目标检测定位领域,特别涉及一种基于视觉的水下人工目标准确检测与定位方法。
背景技术
随着世界各国开展水下作业任务的增加,对水下信息的采集工作成为水下作业的重要前提之一。由于信息水下采集设备需要进行定期维护及数据回收,且水下环境复杂,对水下信息采集设备的回收是一件具有挑战性的任务。ROV(Remote Operated Vehicle,远程无人潜水器)的技术进步使其更容易执行水下作业任务。而对不同水下环境下的目标检测和目标定位是利用ROV进行水下信息采集设备检测回收的关键技术之一。CN202110051819.0中采用深度学习算法对水下声纳目标图像进行检测,但是由于声纳缺乏对目标信息的直观显示,对声纳图像的目标检测存在一定误差。而随着水下视觉摄像机的应用,光视觉图像丰富的信息提取为水下研究提供了一种有效的方法。
由于水下环境的复杂性以及光在水中传播过程的衰减和散射现象,往往导致捕获的水下图像存在颜色失真、对比度低、边缘模糊等问题,使得水下目标检测成为一个具有挑战性的研究领域。根据所采用目标检测方法的不同,水下目标检测可以分为两类,传统方法和深度学习方法。传统的水下目标检测方法包括图像特征匹配识别、通用图像分割以及基于颜色和形状的检测与识别。各国学者对水下目标的传统方法进行了研究,大多采用水下人工目标进行方法水下试验验证。虽然这些方法处理时间很快,但对于动态环境仍然不理想,而且不够精确。与传统的目标检测方法相比,基于深度学习的目标检测算法速度更快,在目标部分遮挡的情况下具有更好的鲁棒性。因此,它逐渐成为目标检测的主流方法。目前,基于深度学习的算法可以分为单阶段的端到端算法和两阶段的区域提议算法。然而这些基于深度学习的检测方法只能得到目标的矩形边界框,并不是目标的精确边界信息,不能用于精确的位置估计和角度计算。
目标定位是ROV进行水下信息采集设备回收作业的另一个重要研究内容。在这些操作中,大多采用协同目标或人工目标来提高定位效率。常用的水下人工物体通常具有规则的形状和特定的明亮色彩,如水下特殊的水下图案、主动激光模块、3D标记器等。常用的定位方法有基于几何的方法、基于曲率的方法和基于PnP的方法。
发明内容
本发明解决的技术问题是:为了解决现有技术存在的不足,为准确回收水下信息采集设备进而提高水下作业效率,目标检测和定位的准确性和速度是关键因素。同时,获得目标位置信息和姿态信息,有利于水下作业。本发明的重点是为水下信息采集设备设计人工水下目标,对水下目标进行准确的检测,并计算出目标的位置和方位以便进行水下信息采集设备回收。
本发明的技术方案是:一种基于视觉的水下人工目标检测与定位方法,包括以下步骤:
步骤1:定义人工水下合作目标的目标特征点的个数为n(n≥4),且n个目标特征点组成的图案需为不对称;对目标进行水下数据采集和数据预处理,以进行后续训练;
步骤2:对水下目标进行检测,包括粗检测和细检测两部分,具体包括以下子步骤:
步骤2.1:首先将采集的水下目标图像进行训练,对水下目标通过基于深度学习的目标检测方法进行粗检测,通过输出目标特征点的包围框(ui,vi,wi,hi)来检测目标特征点,其中ui,vi分别表示第i个特征点包围框的左上角坐标,wi,hi第i个特征点包围框的宽和高。
步骤2.2:将粗检测得到的各个特征点的包围框向四面分别扩展像素后进行裁剪,;经过灰度化处理后,对裁剪后的目标图像进行自适应二值化,然后对二值化结果进行形态学运算和圆形边缘检测;通过对边缘轮廓进行区域选择和圆度筛选,得到各目标特征点的中心在图像中的准确像素坐标;
步骤3:通过步骤2的目标检测,得到各个水下目标特征点的在图像中的像素坐标,根据特征点之间的几何关系,对水下目标进行定位,包括以下子步骤:
步骤3.1:得到各个特征点的二维像素坐标后,首先要根据特征点之间的几何关系信息,对得到的特征点中心的像素坐标进行排序,使各特征点能与其坐标一一对应;
步骤3.2:已知特征点的二维像素坐标P{Pi(Ui,Vi)和特征点在目标坐标系下的三维坐标(XTi,YTi,ZTi);特征点在摄像头坐标系下的坐标为(XCi,YCi,ZCi),而目标在摄像头下的位置和姿态分别用偏移矩阵T和旋转矩阵R表示,则有
式中,RC为相机内参;
由于在单目摄像头下的ZCi未知,要想求得T和R,需先利用图5所示的针孔成像模型,计算特征点在摄像头坐标系下的坐标;
定义O为相机原点,OA,OB,OC用于计算特征点的相机坐标。A,B,C,D为空间特征点,a,b,c,d为特征图像点。则根据几何关系,有余弦方程如下:
AB,AC,BC可通过特征点在目标坐标系下的坐标计算得到,因此可以计算出v,w;a,b,c为目标检测算法检测到的图像坐标,可因此求出cos<a,b>,cos<a,c>,cos<b,c>;通过求解上述二元二次方程得到OA,OB,OC,进而计算出摄像机坐标A,B,C;由于该方程有四组解,需要用点D分别计算重投影误差,用误差最小的一组解计算真实位姿,得到水下目标的位置和三个姿态角。
本发明进一步的技术方案是:所述步骤1中,对所采集的水下目标数据进行预处理时,先对数据进行了添加噪声、图像旋转、图像翻转操作,实现了数据增广。
本发明进一步的技术方案是:所述步骤1中的水下摄像头采用型号为晟优高清网络水下摄像头SW01。
本发明进一步的技术方案是:所述步骤2中,在进行传统的目标检测方法时,首先将检测到的目标特征点的边界框向四边分别扩展20个像素后进行裁剪,减少传统方法的检测范围,提高检测速度。
本发明进一步的技术方案是:在进行水下目标定位实验时,需要首先在水下对摄像头进行重新标定,得到摄像头在水下的内部参数RC。
发明效果
本发明的技术效果在于:
(1)将基于颜色和形状的传统目标检测方法与基于深度学习的目标检测方法进行融合,实现了对水下目标的准确且快速的检测。
(2)设计了人工水下合作目标,并根据所设计目标特征点的几何信息,实现对其的实时定位,计算出目标的位置信息和角度信息(偏航角、俯仰角和横滚角)。
附图说明
图1为本发明提出的算法流程示意图
图2为本发明提出的人工水下合作目标图示
图3为本发明所用的水下摄像头图示
图4为本发明提出的人工水下目标检测算法流程示意图
图5为针孔成像模型
具体实施方式
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
参见图1-图5,本发明的技术方案为:
一种基于视觉的水下人工目标检测与定位方法,包括以下步骤:
步骤1:根据应用所需,设计如图2所示的人工水下合作目标,目标特征点的个数为n(n≥4),且n个目标特征点组成的图案需为不对称的,以便进行对计算得到的姿态角度进行正负值判断。对目标进行水下数据采集和数据预处理,以进行后续训练。所采用的水下摄像头如图3所示,所用型号为晟优高清网络水下摄像头SW01。
步骤2:对水下目标进行检测,包括粗检测和细检测两部分。首先采用基于深度学习的目标检测算法对水下目标特征点进行粗检测,得到所有特征点在图像中的二维包围框,然后结合传统目标检测方法对粗检测得到的特征点包围框进行细检测,得到各目标特征点的中心在图像中的像素坐标。
步骤2.1:首先将采集的水下目标图像进行训练,对水下目标通过基于深度学习的目标检测方法进行粗检测,检测过程类似Yolov5的过程,通过输出目标特征点的包围框(ui,vi,wi,hi)来检测目标特征点,其中ui,vi分别表示第i个特征点包围框的左上角坐标,wi,hi第i个特征点包围框的宽和高。
步骤2.2:为了提高后续的定位精度,采用传统检测方法对深度学习得到的检测结果进行细检测操作。先将粗检测得到的各个特征点的包围框向四面分别扩展20个像素后进行裁剪,以避免边界框没有完全包围特征点的情况;经过灰度化处理后,对裁剪后的目标图像进行自适应二值化,然后对二值化结果进行形态学运算和圆形边缘检测;通过对边缘轮廓进行区域选择和圆度筛选,得到各目标特征点的中心在图像中的准确像素坐标。
步骤3:通过步骤2的目标检测,得到各个水下目标特征点的在图像中的像素坐标,根据特征点之间的几何关系,对水下目标进行定位。
步骤3.1:得到各个特征点的二维像素坐标后,首先要根据特征点之间的几何关系信息,对得到的特征点中心的像素坐标进行排序,使各特征点能与其坐标一一对应。
步骤3.2:已知5个特征点的二维像素坐标P{Pi(Ui,Vi)和特征点在目标坐标系下的三维坐标(XTi,YTi,ZTi)。特征点在摄像头坐标系下的坐标为(XCi,YCi,ZCi),而目标在摄像头下的位置和姿态分别用偏移矩阵T和旋转矩阵R表示,则有
式中,RC为相机内参。
由于在单目摄像头下的ZCi未知,要想求得T和R,需先利用图5所示的针孔成像模型,计算特征点在摄像头坐标系下的坐标。
图5中,O为相机原点,OA,OB,OC用于计算特征点的相机坐标。A,B,C,D为空间特征点,a,b,c,d为特征图像点。则根据几何关系,有余弦方程如下:
AB,AC,BC可通过特征点在目标坐标系下的坐标计算得到,因此可以计算出v,w。a,b,c为目标检测算法检测到的图像坐标,可因此求出cos<a,b>,cos<a,c>,cos<b,c>。因此,可以通过求解上述二元二次方程得到OA,OB,OC,进而计算出摄像机坐标A,B,C。由于该方程有四组解,需要用点D分别计算重投影误差,用误差最小的一组解计算真实位姿,得到水下目标的位置和三个姿态角。
所述步骤1中,对所采集的水下目标数据进行预处理时,先对数据进行了添加噪声、图像旋转、图像翻转等操作,实现了数据增广。
所述步骤2中,在进行传统的目标检测方法时,首先将检测到的目标特征点的边界框向四边分别扩展20个像素后进行裁剪,减少传统方法的检测范围,提高检测速度。
所述步骤3中,在进行水下目标定位实验时,需要首先在水下对摄像头进行重新标定,得到摄像头在水下的内部参数RC。
本发明旨在提高水下目标检测和定位的准确性和速度,提高水下作业效率,其流程图如图1所示。结合图2-图5,本发明具体实施方式如下:
步骤1:根据应用所需,设计如图2所示的人工水下合作目标,并对目标进行水下数据采集和数据预处理,以进行后续训练。所采用的水下摄像头如图3所示,所用型号为晟优高清网络水下摄像头SW01。
步骤2:对水下目标进行检测,包括粗检测和细检测两部分。首先采用基于深度学习的目标检测算法对水下目标特征点进行粗检测,得到所有特征点在图像中的二维包围框,然后结合传统目标检测方法对粗检测得到的特征点包围框进行细检测,得到各目标特征点的中心在图像中的像素坐标。
步骤2.1:首先将采集的水下目标图像进行训练,对水下目标通过基于深度学习的目标检测方法进行粗检测,检测过程类似Yolov5的过程,通过输出目标特征点的包围框(ui,vi,wi,hi)来检测目标特征点,如图2所示,其中ui,vi分别表示第i个特征点包围框的左上角坐标,wi,hi第i个特征点包围框的宽和高。
步骤2.2:为了提高后续的定位精度,采用传统检测方法对深度学习得到的检测结果进行细检测操作。先将粗检测得到的各个特征点的包围框向四面分别扩展20个像素后进行裁剪,以避免边界框没有完全包围特征点的情况;经过灰度化处理后,对裁剪后的目标图像进行自适应二值化,然后对二值化结果进行形态学运算和圆形边缘检测;通过对边缘轮廓进行区域选择和圆度筛选,得到各目标特征点的中心在图像中的准确像素坐标。
用于训练的水下目标数据集实在水箱中拍摄得到,数据集中的图像大小为1920x1080像素。本发明是实验中,用一金属箱代替水下信息采集设备,并在金属箱的正上面粘贴所设计的人工水下目标,水下目标的各特征点均位于同一平面,所用材料为蓝色防水贴纸。由于所设计的水下人工目标检测类别较少,仅采集420幅水下目标图像进行训练。
分别对同样的水下目标图像进行了传统方法的目标检测、基于深度学习的目标检测和本发明的目标检测方法,将检测结果进行对比。在相同的水下场景下,传统的检测结果受光照条件的影响很大。在这种情况下,可能会出现误检或目标缺失的情况。虽然深度学习方法比传统方法更稳定、更快,但检测结果不如传统方法准确。本发明的检测算法不仅具有环境鲁棒性和检测精度,而且没有增加检测时间成本,更有利于水下作业。
步骤3:通过步骤2的目标检测,得到各个水下目标特征点的在图像中的像素坐标,根据特征点之间的几何关系,对水下目标进行定位。
步骤3.1:得到各个特征点的二维像素坐标后,首先要根据特征点之间的几何关系信息,对得到的特征点中心的像素坐标进行排序,使各特征点能与其坐标一一对应。
以本发明中人工水下合作目标的5个特征点为例,检测得到的5个特征点中心的像素坐标组合为p{pi(ui,vi),(i=1,2,…,5)},排序后得到的5个特征点坐标依次为P{Pi(Ui,Vi),(i=A,B,…,E)},具体排序过程如下:
(1)从5个中心点pi中任选3个点组合,共得到10个组合。在这些在组合中,三个点存在共线关系的一个组合记作lisl,则组合lisl包含的为{PC,PD,PE};
(2)从5个中心点pi中任选2个点组合,共得到10个组合。在这些在组合中,距离最长的两个点的组合记作lisd,则组合lisd包含的为{PA,PE};
(3)位于组合p但不在组合lisl和组合lisd的点即为PB;
(4)组合lisl与组合lisd的公共点即为PE,组合lisd中的另一点为PA;
(5)组合lisl中除去PE后的集合记为lisCD,包含点{PC,PD};
(6)组合lisCD中与点PE距离更近的点为PC,而距离更远的点为PD,因此得到排序后得到的5个特征点坐标依次为P{Pi(Ui,Vi),(i=A,B,…,E)}。
步骤3.2:已知5个特征点的二维像素坐标P{Pi(Ui,Vi),(i=A,B,…,E)}和特征点在目标坐标系下的三维坐标(XTi,YTi,ZTi),(i=A,B,…,E)。特征点在摄像头坐标系下的坐标为(XCi,YCi,ZCi),(i=A,B,…,E),而目标在摄像头下的位置和姿态分别用偏移矩阵T和旋转矩阵R表示,则有
式中,RC为相机内参。
由于在单目摄像头下的ZCi未知,要想求得T和R,需先利用图5所示的针孔成像模型,计算特征点在摄像头坐标系下的坐标。
图5中,O为相机原点,OA,OB,OC用于计算特征点的相机坐标。A,B,C,D为空间特征点,a,b,c,d为特征图像点。则根据几何关系,有余弦方程如下:
AB,AC,BC可通过特征点在目标坐标系下的坐标计算得到,因此可以计算出v,w。a,b,c为目标检测算法检测到的图像坐标,可因此求出cos<a,b>,cos<a,c>,cos<b,c>。因此,可以通过求解上述二元二次方程得到OA,OB,OC,进而计算出摄像机坐标A,B,C。由于该方程有四组解,需要用点D分别计算重投影误差,用误差最小的一组解计算真实位姿,得到水下目标的位置和三个姿态角。
Claims (5)
1.一种基于视觉的水下人工目标检测与定位方法,其特征在于,包括以下步骤:
步骤1:定义人工水下合作目标的目标特征点的个数为n(n≥4),且n个目标特征点组成的图案需为不对称;对目标进行水下数据采集和数据预处理,以进行后续训练;
步骤2:对水下目标进行检测,包括粗检测和细检测两部分,具体包括以下子步骤:
步骤2.1:首先将采集的水下目标图像进行训练,对水下目标通过基于深度学习的目标检测方法进行粗检测,通过输出目标特征点的包围框(ui,vi,wi,hi)来检测目标特征点,其中ui,vi分别表示第i个特征点包围框的左上角坐标,wi,hi第i个特征点包围框的宽和高。
步骤2.2:将粗检测得到的各个特征点的包围框向四面分别扩展像素后进行裁剪,;经过灰度化处理后,对裁剪后的目标图像进行自适应二值化,然后对二值化结果进行形态学运算和圆形边缘检测;通过对边缘轮廓进行区域选择和圆度筛选,得到各目标特征点的中心在图像中的准确像素坐标;
步骤3:通过步骤2的目标检测,得到各个水下目标特征点的在图像中的像素坐标,根据特征点之间的几何关系,对水下目标进行定位,包括以下子步骤:
步骤3.1:得到各个特征点的二维像素坐标后,首先要根据特征点之间的几何关系信息,对得到的特征点中心的像素坐标进行排序,使各特征点能与其坐标一一对应;
步骤3.2:已知特征点的二维像素坐标P{Pi(Ui,Vi)和特征点在目标坐标系下的三维坐标(XTi,YTi,ZTi);特征点在摄像头坐标系下的坐标为(XCi,YCi,ZCi),而目标在摄像头下的位置和姿态分别用偏移矩阵T和旋转矩阵R表示,则有
式中,RC为相机内参;
由于在单目摄像头下的ZCi未知,要想求得T和R,需先利用图5所示的针孔成像模型,计算特征点在摄像头坐标系下的坐标;
定义O为相机原点,OA,OB,OC用于计算特征点的相机坐标。A,B,C,D为空间特征点,a,b,c,d为特征图像点。则根据几何关系,有余弦方程如下:
AB,AC,BC可通过特征点在目标坐标系下的坐标计算得到,因此可以计算出v,w;a,b,c为目标检测算法检测到的图像坐标,可因此求出cos<a,b>,cos<a,c>,cos<b,c>;通过求解上述二元二次方程得到OA,OB,OC,进而计算出摄像机坐标A,B,C;由于该方程有四组解,需要用点D分别计算重投影误差,用误差最小的一组解计算真实位姿,得到水下目标的位置和三个姿态角。
2.如权利要求1所述的一种基于视觉的水下人工目标准确检测与定位方法,其特征在于,所述步骤1中,对所采集的水下目标数据进行预处理时,先对数据进行了添加噪声、图像旋转、图像翻转操作,实现了数据增广。
3.如权利要求1所述的一种基于视觉的水下人工目标准确检测与定位方法,其特征在于,所述步骤1中的水下摄像头采用型号为晟优高清网络水下摄像头SW01。
4.如权利要求1所述的一种基于视觉的水下人工目标准确检测与定位方法,其特征在于,所述步骤2中,在进行传统的目标检测方法时,首先将检测到的目标特征点的边界框向四边分别扩展20个像素后进行裁剪,减少传统方法的检测范围,提高检测速度。
5.如权利要求1所述的一种基于视觉的水下人工目标准确检测与定位方法,其特征在于,所述步骤3中,在进行水下目标定位实验时,需要首先在水下对摄像头进行重新标定,得到摄像头在水下的内部参数RC。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110682252.7A CN113313116B (zh) | 2021-06-20 | 2021-06-20 | 一种基于视觉的水下人工目标准确检测与定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110682252.7A CN113313116B (zh) | 2021-06-20 | 2021-06-20 | 一种基于视觉的水下人工目标准确检测与定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313116A true CN113313116A (zh) | 2021-08-27 |
CN113313116B CN113313116B (zh) | 2024-06-21 |
Family
ID=77379575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110682252.7A Active CN113313116B (zh) | 2021-06-20 | 2021-06-20 | 一种基于视觉的水下人工目标准确检测与定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313116B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998714A (zh) * | 2022-06-09 | 2022-09-02 | 电子科技大学 | 一种基于深度学习图像检测的水下节点定位装置及方法 |
CN115031627A (zh) * | 2022-05-07 | 2022-09-09 | 西北工业大学 | 一种实现水下集群内个体之间视觉感知的方法 |
CN115296738A (zh) * | 2022-07-28 | 2022-11-04 | 吉林大学 | 一种基于深度学习的无人机可见光相机通信方法及其*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015096806A1 (zh) * | 2013-12-29 | 2015-07-02 | 刘进 | 智能机姿态测定、全景影像生成及目标识别方法 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
CN109101897A (zh) * | 2018-07-20 | 2018-12-28 | 中国科学院自动化研究所 | 水下机器人的目标检测方法、***及相关设备 |
CN110826575A (zh) * | 2019-12-13 | 2020-02-21 | 哈尔滨工程大学 | 一种基于机器学习的水下目标识别方法 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN111721259A (zh) * | 2020-06-24 | 2020-09-29 | 江苏科技大学 | 基于双目视觉的水下机器人回收定位方法 |
CN111915678A (zh) * | 2020-07-17 | 2020-11-10 | 哈尔滨工程大学 | 一种基于深度学习的水下单目视觉目标深度定位融合估计方法 |
-
2021
- 2021-06-20 CN CN202110682252.7A patent/CN113313116B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015096806A1 (zh) * | 2013-12-29 | 2015-07-02 | 刘进 | 智能机姿态测定、全景影像生成及目标识别方法 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
CN109101897A (zh) * | 2018-07-20 | 2018-12-28 | 中国科学院自动化研究所 | 水下机器人的目标检测方法、***及相关设备 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN110826575A (zh) * | 2019-12-13 | 2020-02-21 | 哈尔滨工程大学 | 一种基于机器学习的水下目标识别方法 |
CN111721259A (zh) * | 2020-06-24 | 2020-09-29 | 江苏科技大学 | 基于双目视觉的水下机器人回收定位方法 |
CN111915678A (zh) * | 2020-07-17 | 2020-11-10 | 哈尔滨工程大学 | 一种基于深度学习的水下单目视觉目标深度定位融合估计方法 |
Non-Patent Citations (1)
Title |
---|
刘昆;刘卫东;: "基于加权融合特征与Ostu分割的红外弱小目标检测算法", 计算机工程, no. 07, 15 July 2017 (2017-07-15) * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115031627A (zh) * | 2022-05-07 | 2022-09-09 | 西北工业大学 | 一种实现水下集群内个体之间视觉感知的方法 |
CN115031627B (zh) * | 2022-05-07 | 2024-04-30 | 西北工业大学 | 一种实现水下集群内个体之间视觉感知的方法 |
CN114998714A (zh) * | 2022-06-09 | 2022-09-02 | 电子科技大学 | 一种基于深度学习图像检测的水下节点定位装置及方法 |
CN114998714B (zh) * | 2022-06-09 | 2024-05-10 | 电子科技大学 | 一种基于深度学习图像检测的水下节点定位装置及方法 |
CN115296738A (zh) * | 2022-07-28 | 2022-11-04 | 吉林大学 | 一种基于深度学习的无人机可见光相机通信方法及其*** |
CN115296738B (zh) * | 2022-07-28 | 2024-04-16 | 吉林大学 | 一种基于深度学习的无人机可见光相机通信方法及其*** |
Also Published As
Publication number | Publication date |
---|---|
CN113313116B (zh) | 2024-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
CN109785291B (zh) | 一种车道线自适应检测方法 | |
CN113313116B (zh) | 一种基于视觉的水下人工目标准确检测与定位方法 | |
CN107203973B (zh) | 一种三维激光扫描***中线激光中心的亚像素定位方法 | |
CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN110555878B (zh) | 物体空间位置形态的确定方法、装置、存储介质及机器人 | |
CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN111784655B (zh) | 一种水下机器人回收定位方法 | |
CN111612765A (zh) | 一种圆形透明镜片识别和定位的方法 | |
CN114494045A (zh) | 一种基于机器视觉的大型直齿轮几何参数测量***及方法 | |
CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
Li et al. | Vision-based target detection and positioning approach for underwater robots | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
CN110223356A (zh) | 一种基于能量生长的单目相机全自动标定方法 | |
CN114187246A (zh) | 一种激光打标机焦距测量方法 | |
CN117611525A (zh) | 一种受电弓滑板磨耗视觉检测方法和*** | |
CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |