CN114087991A - 一种基于线结构光的水下目标测量装置及方法 - Google Patents
一种基于线结构光的水下目标测量装置及方法 Download PDFInfo
- Publication number
- CN114087991A CN114087991A CN202111456359.6A CN202111456359A CN114087991A CN 114087991 A CN114087991 A CN 114087991A CN 202111456359 A CN202111456359 A CN 202111456359A CN 114087991 A CN114087991 A CN 114087991A
- Authority
- CN
- China
- Prior art keywords
- underwater
- light
- target
- camera
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000004891 communication Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 4
- 239000013589 supplement Substances 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 abstract 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
- B63C11/00—Equipment for dwelling or working underwater; Means for searching for underwater objects
- B63C11/52—Tools specially adapted for working underwater, not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Ocean & Marine Engineering (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于线结构光的水下目标测量装置,包括主控计算机、水下航行器,布置在水下航行器的前上方的水下双目相机、线结构光***和水下照明***,所述水下双目相机的两个镜头前安装滤光片,所述两个镜头之间安装线结构光***,所述线结构光***包括并列排布的至少一个一字线激光器和一个点激光器,所述水下照明***采用蓝绿光照明灯,所述水下双目相机、线结构光***和水下照明***均通过数据线与主控计算机通信连接和电连接。本发明该采用蓝绿补光灯克服了昏暗的水环境中水下目标难以识别的困难,利用线结构光解决了水下作业目标精确定姿定位问题,两者相辅相成,最终可以实现水下机械臂对目标的自主抓取。
Description
技术领域
本发明涉及基于线结构光双目立体视觉技术,尤其涉及一种基于线结构光的水下目标测量装置及方法。
背景技术
水下作业型航行器执行水中作业任务时,要对水下作业对象进行检测和精确定姿定位,方便机械臂抓取作业。常用的光学相机在昏暗的水下环境中探测距离有限,且由于水体的光学特性,水下图像普遍存在色偏和不清晰等问题,难以直接确定作业对象位置和姿态,而机械臂在进行水下抓取时需要实时提供目标物的位置和姿态,这就对视觉伺服提出了挑战。
发明内容
为解决上述问题,提供一种基于线结构光的水下目标测量装置及方法。
本发明的目的是以下述方式实现的:
一种基于线结构光的水下目标测量装置,包括主控计算机、水下航行器,布置在水下航行器的前上方的水下双目相机、线结构光***和水下照明***,所述水下双目相机的两个镜头前安装滤光片,所述两个镜头之间安装线结构光***,所述线结构光***包括并列排布的至少一个一字线激光器和点激光器,所述水下照明***采用蓝绿照明灯,所述水下双目相机、线结构光***和水下照明***均通过数据线与主控计算机通信连接和电连接。
一种基于线结构光的水下目标测量装置的测量方法,所述测量方法包括以下步骤:
S1:相机标定:采用靶标对双目相机标定,得到相机的内外参数;
S2:打开双目相机和水下照明***,拍摄图片,双目相机的左右相机均可以得到一张灰度图像,分别记为Μ1,M2;
S3:对图像中的目标物进行检测,判断是否有目标物,有的话提取目标物在图像中的区域,分别记为D1,D2,继续下一步,否则返回S2;
S4:关闭水下照明***,打开线结构光***,拍摄图片,左右相机可以得到另一张含有光条和光点的灰度图像,分别记为N1,N2;
S5:对此图像提取同一区域;
S6:以光点为基准,匹配左右相机中的光条,得到物体表面线状的点云数据;
S7:通过点云计算目标物位置和大小:采用随机采样一致性(RANSAC)算法拟合物体表面点云,得到物体中心位置(x,y,z)和大小;
S8:通过点云计算目标物姿态。
所述S3具体包括:使用YOLO v3网络架构,对Μ1,M2当中目标物进行检测,判断是否有目标物,有的话得到目标物的类别和检测框所在区域D1,D2,继续下一步,否则返回上一步;
所述S6具体包括:以光点为中心,沿着光条的垂直方向,分别对区域D1,D2内的光条进行编号,取D1,D2内同编号光条的中心点作为双目匹配的原始数据,计算三维坐标,可得到物体表面的三维点云数据集P={x1,x2,…,xm}。所述S8具体包括:利用主成分分析计算三维点云数据集P={x1,x2,…,xm},首先将中心化:
计算样本协方差矩阵XXT,
求协方差矩阵XXT做特征值λ1、λ2、λ3,
求特征值对应的特征向量α1、α2、α3,
则最大特征值对应的特征向量即为目标物姿态方向。
本发明的有益效果:相对于现有技术,本发明该采用蓝绿补光灯克服了昏暗的水环境中水下目标难以识别的困难,利用线结构光解决了水下作业目标精确定姿定位问题,两者相辅相成,最终可以实现水下机械臂对目标的自主抓取。
附图说明
图1是本发明的方法流程图。
图2是本发明的测量装置的结构示意图。
其中1-水下双目相机,2-线结构光***,3-水下照明***。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
应该指出,以下详细说明都是例式性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的技术含义相同。
如图2所示,一种基于线结构光的水下目标测量装置,包括主控计算机、水下航行器,布置在水下航行器的前上方的水下双目相机1、线结构光***2和水下照明***3,所述水下双目相机的两个镜头前安装滤光片,所述两个镜头之间安装线结构光***,所述线结构光***包括并列排布的至少一个一字线激光器和一个点激光器,所述水下照明***采用蓝绿光照明灯,所述水下双目相机、线结构光***和水下照明***均通过数据线与主控计算机通信连接和电连接。
如图1所示,一种基于线结构光的水下目标测量装置的测量方法,所述测量方法包括以下步骤:
S1:相机标定:采用靶标对双目相机标定,得到相机的内外参数;
S2:打开双目相机和水下照明***,拍摄图片,双目相机的左右相机均可以得到一张灰度图像,分别记为Μ1,M2;
S3:对图像中的目标物进行检测,判断是否有目标物,有的话提取目标物在图像中的区域,分别记为D1,D2,继续下一步,否则返回S2;
S4:关闭水下照明***,打开线结构光***,拍摄图片,左右相机可以得到另一张含有光条和光点的灰度图像,分别记为N1,N2;
S5:对此图像提取同一区域;
S6:以光点为基准,匹配左右相机中的光条,得到物体表面线状的点云数据;
S7:通过点云计算目标物位置和大小:采用随机采样一致性(RANSAC)算法拟合物体表面点云,得到物体中心位置(x,y,z)和大小;
S8:通过点云计算目标物姿态。
所述S3具体包括:使用YOLO v3网络架构,对Μ1,M2当中目标物进行检测,判断是否有目标物,有的话得到目标物的类别和检测框所在区域D1,D2,继续下一步,否则返回上一步;
所述S6具体包括:以光点为中心,沿着光条的垂直方向,分别对区域D1,
D2内的光条进行编号,取D1,D2内同编号光条的中心点作为双目匹配的原始数据,计算三维坐标,可得到物体表面的三维点云数据集P={x1,x2,…,xm}。所述S8具体包括:利用主成分分析计算三维点云数据集P={x1,x2,…,xm},首先将中心化:
计算样本协方差矩阵XXT,
求协方差矩阵XXT做特征值λ1、λ2、λ3,
求特征值对应的特征向量α1、α2、α3,
则最大特征值对应的特征向量即为目标物姿态方向。
本发明提供了一种基于线结构光的水下目标量测装置及方法,该装置在工作过程中,首先在关闭线结构光、开启水下照明***的情况下拍摄图片,通过图像识别算法判断是否存在目标物(一个圆柱物体),若存在则提取目标物所在区域;然后在打开线结构光***、关闭水下照明***的情况下拍摄图片,提取同一区域(即圆柱物体所在区域)内光条和光点;接着以光点为基准,进行光条匹配,得到目标物表面的线状三维点云数据;随后利用随机采样一致性(RANSAC)算法迭代点云,得到拟合后点云形状(此处为圆柱形),并计算其中心点和半径、高度;最后基于机器学习中的主成分分析(PCA)法计算点云的主方向向量,得到目标物姿态。
该装置和方法具备水下目标识别和量测的功能。采用蓝绿补光灯克服了昏暗的水环境中水下目标难以识别的困难,利用线结构光解决了水下作业目标精确定姿定位问题,两者相辅相成,最终可以实现水下机械臂对目标的自主抓取。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (5)
1.一种基于线结构光的水下目标测量装置,包括主控计算机、水下航行器,其特征在于:布置在水下航行器的前上方的水下双目相机、线结构光***和水下照明***,所述水下双目相机的两个镜头前安装滤光片,所述两个镜头之间安装线结构光***,所述线结构光***包括并列排布的至少一个一字线激光器和点激光器,所述水下照明***采用蓝绿照明灯,所述水下双目相机、线结构光***和水下照明***均通过数据线与主控计算机通信连接和电连接。
2.一种基于权利要求1所述的基于线结构光的水下目标测量装置的测量方法,其特征在于:所述测量方法包括以下步骤:
S1:相机标定:采用靶标对双目相机标定,得到相机的内外参数;
S2:打开双目相机和水下照明***,拍摄图片,双目相机的左右相机均可以得到一张灰度图像,分别记为Μ1,M2;
S3:对图像中的目标物进行检测,判断是否有目标物,有的话提取目标物在图像中的区域,分别记为D1,D2,继续下一步,否则返回S2;
S4:关闭水下照明***,打开线结构光***,拍摄图片,左右相机可以得到另一张含有光条和光点的灰度图像,分别记为N1,N2;
S5:对此图像提取同一区域;
S6:以光点为基准,匹配左右相机中的光条,得到物体表面线状的点云数据;
S7:通过点云计算目标物位置和大小:采用随机采样一致性算法拟合物体表面点云,得到物体中心位置(x,y,z)和大小;
S8:通过点云计算目标物姿态。
3.根据权利要求2所述的基于线结构光的水下目标测量方法,其特征在于:所述S3具体包括:使用YOLO v3网络架构,对Μ1,M2当中目标物进行检测,判断是否有目标物,有的话得到目标物的类别和检测框所在区域D1,D2,继续下一步,否则返回上一步。
4.根据权利要求2所述的基于线结构光的水下目标测量方法,其特征在于:所述S6具体包括:以光点为中心,沿着光条的垂直方向,分别对区域D1,D2内的光条进行编号,取D1,D2内同编号光条的中心点作为双目匹配的原始数据,计算三维坐标,可得到物体表面的三维点云数据集P={x1,x2,…,xm}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111456359.6A CN114087991A (zh) | 2021-11-28 | 2021-11-28 | 一种基于线结构光的水下目标测量装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111456359.6A CN114087991A (zh) | 2021-11-28 | 2021-11-28 | 一种基于线结构光的水下目标测量装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114087991A true CN114087991A (zh) | 2022-02-25 |
Family
ID=80306194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111456359.6A Pending CN114087991A (zh) | 2021-11-28 | 2021-11-28 | 一种基于线结构光的水下目标测量装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114087991A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090312980A1 (en) * | 2008-06-13 | 2009-12-17 | Ryosuke Kobayashi | System for detecting position of underwater vehicle |
CN101620273A (zh) * | 2009-08-08 | 2010-01-06 | 桂林电子科技大学 | 利用关联成像探测水下目标的方法 |
KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
WO2019100933A1 (zh) * | 2017-11-21 | 2019-05-31 | 蒋晶 | 用于三维测量的方法、装置以及*** |
CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
CN111190185A (zh) * | 2020-04-08 | 2020-05-22 | 汕头大学 | 一种基于群体智能的水下掩埋雷自主探测方法及*** |
CN112598702A (zh) * | 2020-12-07 | 2021-04-02 | 中国船舶重工集团公司七五0试验场 | 一种基于合作信标的水下目标全自动识别与跟踪***和方法 |
-
2021
- 2021-11-28 CN CN202111456359.6A patent/CN114087991A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090312980A1 (en) * | 2008-06-13 | 2009-12-17 | Ryosuke Kobayashi | System for detecting position of underwater vehicle |
CN101620273A (zh) * | 2009-08-08 | 2010-01-06 | 桂林电子科技大学 | 利用关联成像探测水下目标的方法 |
KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
WO2019100933A1 (zh) * | 2017-11-21 | 2019-05-31 | 蒋晶 | 用于三维测量的方法、装置以及*** |
CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
CN111190185A (zh) * | 2020-04-08 | 2020-05-22 | 汕头大学 | 一种基于群体智能的水下掩埋雷自主探测方法及*** |
CN112598702A (zh) * | 2020-12-07 | 2021-04-02 | 中国船舶重工集团公司七五0试验场 | 一种基于合作信标的水下目标全自动识别与跟踪***和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111735479B (zh) | 一种多传感器联合标定装置及方法 | |
CN109255813B (zh) | 一种面向人机协作的手持物***姿实时检测方法 | |
CN109934864B (zh) | 面向机械臂抓取位姿估计的残差网络深度学习方法 | |
CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
CN107953329B (zh) | 物体识别和姿态估计方法、装置及机械臂抓取*** | |
CN110555889A (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
CN109344882A (zh) | 基于卷积神经网络的机器人控制目标位姿识别方法 | |
CN110796700B (zh) | 基于卷积神经网络的多物体抓取区域定位方法 | |
CN111598172B (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
CN115147723A (zh) | 一种内河船舶识别与测距方法、***、介质、设备及终端 | |
CN110517284B (zh) | 一种基于激光雷达和ptz摄像机的目标追踪方法 | |
CN112045676A (zh) | 一种基于深度学习的机器人抓取透明物体的方法 | |
CN113313047B (zh) | 一种基于车道结构先验的车道线检测方法及*** | |
CN111797684B (zh) | 一种运动车辆双目视觉测距方法 | |
CN113689326B (zh) | 一种基于二维图像分割引导的三维定位方法 | |
WO2023070312A1 (zh) | 图像处理方法 | |
CN113267452A (zh) | 一种基于机器视觉的发动机缸体表面缺陷检测方法及*** | |
CN114972421A (zh) | 车间物料识别追踪与定位方法、*** | |
JPH0780790A (ja) | 三次元物体把持システム | |
CN112508885B (zh) | 一种弯管的三维中轴线检测方法及*** | |
Sun et al. | Automatic targetless calibration for LiDAR and camera based on instance segmentation | |
CN114087991A (zh) | 一种基于线结构光的水下目标测量装置及方法 | |
CN110197104A (zh) | 基于车辆的测距方法及装置 | |
CN111866490A (zh) | 深度图像成像***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |