CN117710458A - 一种基于双目视觉的舰载机着舰过程相对位置测量方法及*** - Google Patents

一种基于双目视觉的舰载机着舰过程相对位置测量方法及*** Download PDF

Info

Publication number
CN117710458A
CN117710458A CN202311717067.2A CN202311717067A CN117710458A CN 117710458 A CN117710458 A CN 117710458A CN 202311717067 A CN202311717067 A CN 202311717067A CN 117710458 A CN117710458 A CN 117710458A
Authority
CN
China
Prior art keywords
carrier
deck
aircraft
points
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311717067.2A
Other languages
English (en)
Inventor
付威
朱齐丹
梁镇河
王子博
王昱瑶
韩帅
孔令鑫
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202311717067.2A priority Critical patent/CN117710458A/zh
Publication of CN117710458A publication Critical patent/CN117710458A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于双目视觉的舰载机着舰过程相对位置测量方法及***，涉及航母与计算机视觉领域，为解决现有技术中缺少基于视觉导航***的舰载机着舰过程中的高度和横向偏差信息获取方法的问题。包括：步骤一：获取***及水面区域的双目图像，提取航母甲板平面特征点；步骤二：将特征点进行匹配，并根据相机参数矩阵计算特征点的三维坐标；步骤三：并计算舰载机到甲板平面的相对高度；步骤四：计算消影点坐标以及甲板尾部标线坐标，以获取跑道中线方程；步骤五：根据跑道中线方程筛选中线附近的特征点，拟合得获得相机坐标系下跑道中线方程；步骤六：根据甲板平面方程以及跑道中线方程，计算舰载机的横向偏差距离。提升了舰载机的着舰精度。

Description

一种基于双目视觉的舰载机着舰过程相对位置测量方法及 ***
技术领域
本发明涉及航母与计算机视觉技术领域，具体而言，涉及一种基于双目视觉的舰载机着舰过程相对位置测量方法及***。
背景技术
作为***的主要作战装备，舰载机极大地扩展了***的机动性和作战半径，是***进行进攻和防守的核心支撑。舰载机与陆地飞行器不同，其着舰任务要求舰载机在有限甲板空间内沿理想下滑道精确降落至最佳着舰点(即甲板跑道内第二与第三根拦阻锁之间)，从而实现有效制动，提升航母作战效率。在舰载机着舰过程中，导航***是提升着舰精度的关键，其中最常用的导航指标是舰载机与航母甲板的相对高度，以及舰载机与甲板跑道中线的横向偏差。目前，最常用的导航***有惯性导航***，雷达测距***以及GPS导航***。与上述导航***不同，视觉导航***可以获取更为丰富的外部环境信息，在拥有更加灵活的部署方式的同时，具备较强的抗干扰性能并且成本更低。因此，随着计算机视觉技术的发展，视觉导航***的研究逐渐成为了导航***领域的研究热点。本专利设计了一种基于双目视觉的舰载机着舰过程相对位置测量算法，用于获取舰载机着舰过程中的高度和横向偏差信息，为舰载机导航***提供较为准确的相对位置参数，以提升舰载机跟随理想下滑道着舰的精度。
发明内容
本发明要解决的技术问题是：
现有技术中缺少基于视觉导航***的舰载机着舰过程中的高度和横向偏差信息获取方法。
本发明为解决上述技术问题所采用的技术方案：
本发明提供了一种基于双目视觉的舰载机着舰过程相对位置测量方法，包括如下步骤：
步骤一：获取***及水面区域的双目图像，提取航母甲板平面特征点；
步骤二：将双目图像中的特征点进行匹配，并根据相机参数矩阵计算特征点的三维坐标；
步骤三：根据甲板平面特征点的三维坐标拟合甲板平面方程，并计算舰载机到甲板平面的相对高度；
步骤四：提取双目图像中甲板平面的跑道特征，计算消影点坐标以及甲板尾部标线坐标，以获取跑道中线方程；
步骤五：根据跑道中线方程筛选中线附近的特征点，拟合得获得相机坐标系下跑道中线方程；
步骤六：根据甲板平面方程以及跑道中线方程，计算舰载机的横向偏差距离。
进一步地，步骤一中所述提取航母甲板平面特征点，包括如下过程：
检测***及水面区域的双目图像的候选甲板平面特征点p，统计特征点p周围区域内像素灰度差大于阈值εd的像素点数量N，即
其中I(x)为特征点p周围区域内像素点x的灰度值，I(p)为特征点p的灰度值；
当N大于给定阈值，则认为p是一个特征点；
特征点方向采用灰度质心法进行计算，定义特征点p的领域像素块的矩为：
其中I(x,y)为点(x,y)处的灰度值；
然后获得该像素块的质心为：
则特征点p到质心C的向量方向，即特征点方向为：
θ＝arctan(m01/m10)。
进一步地，步骤二中采用GMS(Grid-based Motion Statistics)方法将双目图像中的特征点进行匹配。
进一步地，步骤二中所述根据相机参数矩阵计算特征点的三维坐标的具体方法为：
构建平行双目视觉模型，两摄像机间的距离即基线距离为B，物体所在坐标点M(X,Y,Z)在左右相机Cl和Cr下投影成像为ml(μl,vl)及mr(μr,vr),假设点M在左目坐标系下的坐标为(XC,YC,ZC)，且双目的焦距为f，相机成像平面上相机光心的投影点坐标为(μ0,v0)，根据相似三角形原理可得：：
点M在左摄像机坐标系下的坐标为：
进一步地，步骤三中所述根据甲板平面特征点的三维坐标拟合甲板平面方程，具体为采用RANSAC方法拟合甲板平面方程，包括如下步骤：
(1)随机地从航母甲板区域的点集S中选择s个数据点组成的一个样本作为平面方程Ax+By+Cz+D＝0的一个示例；
(2)根据点到平面方程的距离，统计小于阈值t的数据点集Si，Si称为采样的内点集，该集合内的点称作是点集S的内点；
(3)如果内点集Si的数目比设定阈值T要大，存储记录该次的内点集Si；
(4)如果内点集Si的数目小于T，随机选择一个新的子集并重复上面的过程；
(5)通过N次试验找到内点数目最多的内点集Si，然后用Si点集中的所有内点重新计算一个平面方程，即得到甲板平面方程。
进一步地，步骤四中所述消影点坐标的计算方法为：
提取双目图像中的直线，并选取直线中长度最长的前的直线，得到W条直线，将这些直线两两相交后产生/>个交点，对每一个交点采取“投票”机制进行打分，在投票过程中，计算任意一个交点到W条直线的最短距离，若距离小于阈值ω，则“票数”加1，当比较完所有的距离后得到的票数即为最终的得分，得分最多的交点视为消影点。
进一步地，步骤四中所述甲板尾部标线坐标的计算方法为：
采用纵向Sobel算子对甲板尾部标线图像进行预处理，采用双竖线模板，进行模板匹配，获取甲板尾部标线顶部坐标。
进一步地，步骤五包括如下过程：
将跑道中线一定范围内的特征点坐标利用最小二乘法进行空间直线拟合，得到甲板中线方程，空间直线的标准方程为：
化简可得：
其中，
空间中的直线与化简得到的两个方程所代表的两个平面的交线对应，所以分别对这两个平面方程进行拟合，以实现对直线拟合，拟合方程所求得的近似值与实际值之差的平方和如下式所示：
Δx＝∑[xi-(azi+b)]2
Δy＝∑[yi-(czi+d)]2
根据最小二乘法的基本原理，利用上面的式子对a、b、c和d求偏导，并且令其偏导全部为零，则求出a、b、c和d的值分别为：
进一步地，步骤六中舰载机的横向偏差距离的计算方法为：
根据甲板平面方程对其法线方向向量进行求解，根据跑道中线方程对跑道中线方向向量/>进行求解，根据向量/>和向量/>得到过中线的甲板垂面的法向量/>即结合跑道中线的特征点坐标及向量/>得到过跑道中线的甲板垂平面方程，进一步计算相机到甲板垂平面的距离即得到舰载机的横向偏差距离。
一种基于双目视觉的舰载机着舰过程相对位置测量***，该***具有与上述技术方案任一项的步骤对应的程序模块，运行时执行上述的基于双目视觉的舰载机着舰过程相对位置测量方法中的步骤。
相较于现有技术，本发明的有益效果是：
本发明一种基于双目视觉的舰载机着舰过程相对位置测量方法及***，基于视觉导航***引入双目视觉模型，在计算过程中减少了坐标系转换到世界坐标系的计算过程，全程使用相机坐标系计算相对高度距离，提高了计算效率。通过计算图像甲板跑道的消影点和甲板尾部标线坐标，识别图像中的甲板中线，并通过中线附近特征点拟合空间直线的方式减小累计误差，提升了横向偏差的计算精度。
本发明与现有其它导航***相比，计算量更小，结构简单，易于实现，成本较低；为舰载机导航***提供较为准确的相对位置参数，以提升舰载机跟随理想下滑道着舰的位置精度。
附图说明
图1为本发明实施例中的基于双目视觉的舰载机着舰过程相对位置测量方法流程图；
图2为本发明实施例中的舰载机到甲板平面高度计算示意图；
图3为本发明实施例中的舰载机到甲板跑道中线垂平面高度计算示意图；
图4为本发明实施例中的甲板特征点提取结果图；
图5为本发明实施例中的GMS特征点匹配结果图；
图6为本发明实施例中的平行双目视觉模型示意图；
图7为本发明实施例中的RANSAC法拟合平面可视化；
图8为本发明实施例中的消影点检测可视化结果图；
图9为本发明实施例中的Sobel算子甲板平面预处理图；
图10为本发明实施例中的甲板尾部标线检测结果图；
图11为本发明实施例中的舰载机着舰过程相对位置可视化结果图。
具体实施方式
在本发明的描述中，应当说明的是，在本发明的实施例中所提到的术语“第一”、“第二”、“第三”仅用于描述目的，并不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者多个该特征。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
具体实施方案一：结合图1至图3所示，本发明提供一种基于双目视觉的舰载机着舰过程相对位置测量方法，包括如下步骤：
步骤一：获取***及水面区域的双目图像，提取航母甲板平面特征点；
步骤二：将双目图像中的特征点进行匹配，并根据相机参数矩阵计算特征点的三维坐标；
步骤三：根据甲板平面特征点的三维坐标拟合甲板平面方程，并计算舰载机到甲板平面的相对高度；
步骤四：提取双目图像中甲板平面的跑道特征，计算消影点坐标以及甲板尾部标线坐标，以获取跑道中线方程；
步骤五：根据跑道中线方程筛选中线附近的特征点，拟合得获得相机坐标系下跑道中线方程；
步骤六：根据甲板平面方程以及跑道中线方程，计算舰载机的横向偏差距离。
如图4和图5所示，本实施方案采用1:140的航母缩比模型，舰载机着舰以3.5°等角下滑，根据真实下滑起始高度和距舰距离，按比例计算模型下滑高度和距舰距离，并安装相机进行图像采集。
具体实施方案二：如图4所示，步骤一中所述提取航母甲板平面特征点，包括如下过程：
检测***及水面区域的双目图像的候选甲板平面特征点p，统计特征点p周围区域内像素灰度差大于阈值εd的像素点数量N，即
其中I(x)为特征点p周围区域内像素点x的灰度值，I(p)为特征点p的灰度值；
当N大于给定阈值，则认为p是一个特征点；
特征点方向采用灰度质心法进行计算，定义特征点p的领域像素块的矩为：
其中I(x,y)为点(x,y)处的灰度值；
然后获得该像素块的质心为：
则特征点p到质心C的向量方向，即特征点方向为：
θ＝arctan(m01/m10)。
本实施方案其它与具体实施方案一相同。
本实施方案方法计算量小、鲁棒性好、性能稳定，能快速地提取双目图像中的甲板平面信息。
具体实施方案三：如图5所示，步骤二中采用GMS(Grid-based MotionStatistics)方法将双目图像中的特征点进行匹配。本实施方案其它与具体实施方案一相同。
本发明采用的特征点匹配方法为GMS方法，能在保证匹配效果的同时提高运行速度。GMS算法受到暴力匹配算法的启发，认为缺乏明显的正确匹配不是因为匹配对数量太少，而是因为难以区分正确和错误的匹配。由于正确匹配的邻域内的特征点之间往往均符合几何一致性，通过统计特征点邻区域内含有的匹配对的数量区分正确和错误的匹配。如果一对匹配点的邻区域内还有其他的匹配对，则这一对匹配对是正确的可能性就比较大。
具体实施方案四：步骤二中所述根据相机参数矩阵计算特征点的三维坐标的具体方法为：
构建平行双目视觉模型，如图6所示，两摄像机间的距离即基线距离为B，物体所在坐标点M(X,Y,Z)在左右相机Cl和Cr下投影成像为ml(μl,vl)及mr(μr,vr),假设点M在左目坐标系下的坐标为(XC,YC,ZC)，且双目的焦距为f，相机成像平面上相机光心的投影点坐标为(μ0,v0)，根据相似三角形原理可得：：
点M在左摄像机坐标系下的坐标为：
本实施方案其它与具体实施方案一相同。
具体实施方案五：如图7所示，步骤三中所述根据甲板平面特征点的三维坐标拟合甲板平面方程，具体为采用RANSAC方法拟合甲板平面方程，包括如下步骤：
(1)随机地从航母甲板区域的点集S中选择s个数据点组成的一个样本作为平面方程Ax+By+Cz+D＝0的一个示例；
(2)根据点到平面方程的距离，统计小于阈值t的数据点集Si，Si称为采样的内点集，该集合内的点称作是点集S的内点；
(3)如果内点集Si的数目比设定阈值T要大，存储记录该次的内点集Si；
(4)如果内点集Si的数目小于T，随机选择一个新的子集并重复上面的过程；
(5)通过N次试验找到内点数目最多的内点集Si，然后用Si点集中的所有内点重新计算一个平面方程，即得到甲板平面方程。本实施方案其它与具体实施方案一相同。
本实施方案采用RANSAC方法拟合甲板平面，效果稳健且鲁棒性高，适用于本发明的有大比例野值的情况。即使当数据集合中外点(误差较大的点)所占比例较大，仍然可以准确地完成估计，将拟合过程中的噪点及无效点去除。
在获取甲板平面方程后，则舰载机P(x0,y0,z0)到拟合平面的距离d可由下式求得：
其中，平面方程为Ax+By+Cz+D＝0。
又因为相机为坐标系原点(0,0,0)，即点P的坐标为(0,0,0)，此时点到平面的距离为：
具体实施方案六：步骤四中所述消影点坐标的计算方法为：
LSD直线检测算法提取双目图像中的直线，提取出的直线中除了跑道直线之外，还会检测出背景中的直线，因此，需要尽可能的将甲板跑道之外的直线剔除，以减少在估计消影点坐标由背景干扰造成的影响并，选取直线中长度最长的前(取15％)的直线(由于跑道直线相对较长，初步剔除甲板跑道之外的直线)，得到W条直线，将这些直线两两相交后产生/>个交点，对每一个交点采取“投票”机制进行打分，在投票过程中，计算任意一个交点到W条直线的最短距离，若距离小于阈值ω，则“票数”加1，当比较完所有的距离后得到的票数即为最终的得分，得分最多的交点视为消影点。本实施方案其它与具体实施方案一相同。
直线及消影点检测结果如图8所示。利用LSD直线检测算法检测到的跑道直线经过延长在图像中相交于一点，即消影点。
具体实施方案七：步骤四中所述甲板尾部标线坐标的计算方法为：
如图9所示，采用纵向Sobel算子对甲板尾部标线图像进行预处理，纵向Sobel算子如下所示：
其中Gx对垂直方向的边缘影响最大。在此基础上，取两次卷积值的极大值，并将其作为输出点。
使用Sobel算子预处理后的图像如图9所示：
(2)建立双竖线模板。如图10所示，白色甲板尾部标线与地面垂直，而图像采集时与地面平行，则此白色标线垂直于图像下边缘线。
(3)进行模板匹配，获取白色标线顶部坐标。白色标线顶部坐标结果如图10所示。本实施方案其它与具体实施方案六相同。
本实施方案中建立双竖线模板是计算机视觉中提取竖直边缘的一种特征提取方法称作双竖线条码模板(Double Vertical Line Template)或竖直边缘模板(VerticalEdge Template)。通过将双竖线模板与图像进行卷积运算，可以提取出图像中的竖直边缘信息。
具体实施方案八：步骤五包括如下过程：
由于提取图像中线时计算的消影点和中线尾部坐标均含有误差，将二维平面直线方程转换到三维空间中会导致误差累计。针对这个问题，将跑道中线一定范围内的特征点(一定阈值范围内即“附近”特征点)坐标利用最小二乘法进行空间直线拟合，得到甲板中线方程，空间直线的标准方程为：
化简可得：
其中，
空间中的直线与化简得到的两个方程所代表的两个平面的交线对应，所以分别对这两个平面方程进行拟合，以实现对直线拟合，拟合方程所求得的近似值与实际值之差的平方和如下式所示：
Δx＝∑[xi-(azi+b)]2
Δy＝∑[yi-(czi+d)]2
根据最小二乘法的基本原理，利用上面的式子对a、b、c和d求偏导，并且令其偏导全部为零，则求出a、b、c和d的值分别为：
本实施方案其它与具体实施方案一相同。
本实施方案中拟合直线方程如下式所示：
具体实施方案九：步骤六中舰载机的横向偏差距离的计算方法为：
根据甲板平面方程对其法线方向向量进行求解，根据跑道中线方程对跑道中线方向向量/>进行求解，根据向量/>和向量/>得到过中线的甲板垂面的法向量/>即结合跑道中线的特征点坐标及向量/>得到过跑道中线的甲板垂平面方程，进一步计算相机到甲板垂平面的距离即得到舰载机的横向偏差距离。本实施方案其它与具体实施方案一相同。
如图11所示，舰载机所在位置(即相机坐标(0,0,0))，指向甲板平面的垂线表示舰载机距离甲板平面高度，另一条垂线表示舰载机与过中线的甲板法平面的距离，即为横向偏差。
具体实施方案十：一种基于双目视觉的舰载机着舰过程相对位置测量***，包括：
航母甲板平面特征点提取模块，用于获取***及水面区域的双目图像，提取航母甲板平面特征点；
特征点坐标计算模块，用于将双目图像中的特征点进行匹配，并根据相机参数矩阵计算特征点的三维坐标；
相对高度计算模块，用于根据甲板平面特征点的三维坐标拟合甲板平面方程，并计算舰载机到甲板平面的相对高度；
跑道中线方程计算模块，用于提取双目图像中甲板平面的跑道特征，计算消影点坐标以及甲板尾部标线坐标，以获取跑道中线方程；
跑道中线拟合模块，用于根据跑道中线方程筛选中线附近的特征点，拟合得获得相机坐标系下跑道中线方程；
横向偏差距离计算模块，用于根据甲板平面方程以及跑道中线方程，计算舰载机的横向偏差距离。
实施例1
为进一步验证本发明方法的实施效果，采用如下实施例对本发明效果进行说明。
在实验中模拟飞机着舰前的平飞运动，航母保持不动，分别将双目相机以及航母模型调整至水平状态，经检测双目相机距地面高度为826mm，航母模型甲板平面距地面高度为425mm。相机光心方向与甲板中线平行，且其相对距离为0。根据上述实验环境采集双目图像数据，在拟合甲板平面时分别使用最小二乘法和RANSAC法并进行对比。最终的高度计算、横向偏差数据以及误差数据如表1所示。
表1
由表1中统计指标的结果可知，使用RANSAC法拟合甲板平面的效果较好，高度误差与横向偏差明显优于最小二乘法获得的结果，同时验证本发明方法的误差完全满足舰载机的着舰精度要求。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，包括如下步骤：
步骤一：获取***及水面区域的双目图像，提取航母甲板平面特征点；
步骤二：将双目图像中的特征点进行匹配，并根据相机参数矩阵计算特征点的三维坐标；
步骤三：根据甲板平面特征点的三维坐标拟合甲板平面方程，并计算舰载机到甲板平面的相对高度；
步骤四：提取双目图像中甲板平面的跑道特征，计算消影点坐标以及甲板尾部标线坐标，以获取跑道中线方程；
步骤五：根据跑道中线方程筛选中线附近的特征点，拟合得获得相机坐标系下跑道中线方程；
步骤六：根据甲板平面方程以及跑道中线方程，计算舰载机的横向偏差距离。
2.根据权利要求1所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤一中所述提取航母甲板平面特征点，包括如下过程：
检测***及水面区域的双目图像的候选甲板平面特征点p，统计特征点p周围区域内像素灰度差大于阈值εd的像素点数量N，即
其中I(x)为特征点p周围区域内像素点x的灰度值，I(p)为特征点p的灰度值；
当N大于给定阈值，则认为p是一个特征点；
特征点方向采用灰度质心法进行计算，定义特征点p的领域像素块的矩为：
其中I(x,y)为点(x,y)处的灰度值；
然后获得该像素块的质心为：
则特征点p到质心C的向量方向，即特征点方向为：
θ＝arctan(m01/m10)。
3.根据权利要求1所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤二中采用GMS(Grid-based Motion Statistics)方法将双目图像中的特征点进行匹配。
4.根据权利要求3所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤二中所述根据相机参数矩阵计算特征点的三维坐标的具体方法为：
构建平行双目视觉模型，两摄像机间的距离即基线距离为B，物体所在坐标点M(X,Y,Z)在左右相机Cl和Cr下投影成像为ml(μl,vl)及mr(μr,vr),假设点M在左目坐标系下的坐标为(XC,YC,ZC)，且双目的焦距为f，相机成像平面上相机光心的投影点坐标为(μ0,v0)，根据相似三角形原理可得：：
点M在左摄像机坐标系下的坐标为：
5.根据权利要求1所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤三中所述根据甲板平面特征点的三维坐标拟合甲板平面方程，具体为采用RANSAC方法拟合甲板平面方程，包括如下步骤：
(1)随机地从航母甲板区域的点集S中选择s个数据点组成的一个样本作为平面方程Ax+By+Cz+D＝0的一个示例；
(2)根据点到平面方程的距离，统计小于阈值t的数据点集Si，Si称为采样的内点集，该集合内的点称作是点集S的内点；
(3)如果内点集Si的数目比设定阈值T要大，存储记录该次的内点集Si；
(4)如果内点集Si的数目小于T，随机选择一个新的子集并重复上面的过程；
(5)通过N次试验找到内点数目最多的内点集Si，然后用Si点集中的所有内点重新计算一个平面方程，即得到甲板平面方程。
6.根据权利要求1所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤四中所述消影点坐标的计算方法为：
提取双目图像中的直线，并选取直线中长度最长的前的直线，得到W条直线，将这些直线两两相交后产生/>个交点，对每一个交点采取“投票”机制进行打分，在投票过程中，计算任意一个交点到W条直线的最短距离，若距离小于阈值ω，则“票数”加1，当比较完所有的距离后得到的票数即为最终的得分，得分最多的交点视为消影点。
7.根据权利要求6所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤四中所述甲板尾部标线坐标的计算方法为：
采用纵向Sobel算子对甲板尾部标线图像进行预处理，采用双竖线模板，进行模板匹配，获取甲板尾部标线顶部坐标。
8.根据权利要求1所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤五包括如下过程：
将跑道中线一定范围内的特征点坐标利用最小二乘法进行空间直线拟合，得到甲板中线方程，空间直线的标准方程为：
化简可得：
其中，
空间中的直线与化简得到的两个方程所代表的两个平面的交线对应，所以分别对这两个平面方程进行拟合，以实现对直线拟合，拟合方程所求得的近似值与实际值之差的平方和如下式所示：
Δx＝∑[xi-(azi+b)]2
Δy＝∑[yi-(czi+d)]2
根据最小二乘法的基本原理，利用上面的式子对a、b、c和d求偏导，并且令其偏导全部为零，则求出a、b、c和d的值分别为：
9.根据权利要求1所述的基于双目视觉的舰载机着舰过程相对位置测量方法，其特征在于，步骤六中舰载机的横向偏差距离的计算方法为：
根据甲板平面方程对其法线方向向量进行求解，根据跑道中线方程对跑道中线方向向量/>进行求解，根据向量/>和向量/>得到过中线的甲板垂面的法向量/>即结合跑道中线的特征点坐标及向量/>得到过跑道中线的甲板垂平面方程，进一步计算相机到甲板垂平面的距离即得到舰载机的横向偏差距离。
10.一种基于双目视觉的舰载机着舰过程相对位置测量***，其特征在于，该***具有与上述权利要求1～9任一项权利要求的步骤对应的程序模块，运行时执行上述的基于双目视觉的舰载机着舰过程相对位置测量方法中的步骤。
CN202311717067.2A 2023-12-13 2023-12-13 一种基于双目视觉的舰载机着舰过程相对位置测量方法及*** Pending CN117710458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311717067.2A CN117710458A (zh) 2023-12-13 2023-12-13 一种基于双目视觉的舰载机着舰过程相对位置测量方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311717067.2A CN117710458A (zh) 2023-12-13 2023-12-13 一种基于双目视觉的舰载机着舰过程相对位置测量方法及***

Publications (1)

Publication Number Publication Date
CN117710458A true CN117710458A (zh) 2024-03-15

Family

ID=90160071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311717067.2A Pending CN117710458A (zh) 2023-12-13 2023-12-13 一种基于双目视觉的舰载机着舰过程相对位置测量方法及***

Country Status (1)

Country Link
CN (1) CN117710458A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117928395A (zh) * 2024-03-25 2024-04-26 华北电力大学（保定） 一种用于舰机传递对准中多杆臂矢量的实时测量方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117928395A (zh) * 2024-03-25 2024-04-26 华北电力大学（保定） 一种用于舰机传递对准中多杆臂矢量的实时测量方法
CN117928395B (zh) * 2024-03-25 2024-06-04 华北电力大学（保定） 一种用于舰机传递对准中多杆臂矢量的实时测量方法

Similar Documents

Publication Publication Date Title
US8340400B2 (en) Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
CN103714541B (zh) 一种利用山体轮廓区域约束识别定位建筑物的方法
CN104121902B (zh) 基于Xtion摄像机的室内机器人视觉里程计实现方法
CN103697855B (zh) 一种基于海天线检测的船体水平姿态测量方法
Cheng et al. Building boundary extraction from high resolution imagery and lidar data
CN110310331B (zh) 一种基于直线特征与点云特征结合的位姿估计方法
CN111260773A (zh) 小障碍物的三维重建方法、检测方法及检测***
CN111126116A (zh) 无人船河道垃圾识别方法及***
CN103247045A (zh) 一种从多视图中得到人造场景主方向及图像边缘的方法
CN101609504A (zh) 一种红外图像海面目标检测识别定位方法
CN103617328A (zh) 一种飞机三维姿态解算方法
CN107677274A (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN117710458A (zh) 一种基于双目视觉的舰载机着舰过程相对位置测量方法及***
CN111598952A (zh) 一种多尺度合作靶标设计与在线检测识别方法及***
CN114549549B (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN106815553A (zh) 一种基于边缘匹配的红外前视图像舰船检测方法
CN108764157A (zh) 基于法向量高斯分布的建筑物激光脚点提取方法及***
CN101620672B (zh) 一种利用立体地标定位识别地面立体建筑物的方法
Shang et al. Vision-based runway recognition for uav autonomous landing
CN103839274A (zh) 一种基于几何比例关系的扩展目标跟踪方法
CN116086484A (zh) 基于地平面约束和回环检测的激光雷达里程计算方法
CN108592916B (zh) 悬浮式水下自主航行器的多航次地图定位和导航方法
CN104166995A (zh) 一种基于马步测度的Harris-SIFT双目视觉定位方法
CN114119957A (zh) 高速铁路钢轨廓形检测方法及装置
CN112037282B (zh) 一种基于关键点以及骨架的飞机姿态估计方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination