CN111709989B - 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 - Google Patents

一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 Download PDF

Info

Publication number
CN111709989B
CN111709989B CN202010394496.0A CN202010394496A CN111709989B CN 111709989 B CN111709989 B CN 111709989B CN 202010394496 A CN202010394496 A CN 202010394496A CN 111709989 B CN111709989 B CN 111709989B
Authority
CN
China
Prior art keywords
data
layer
measurement
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010394496.0A
Other languages
English (en)
Other versions
CN111709989A (zh
Inventor
张贵阳
霍炬
杨明
薛牧遥
王松艳
朱子健
魏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010394496.0A priority Critical patent/CN111709989B/zh
Publication of CN111709989A publication Critical patent/CN111709989A/zh
Application granted granted Critical
Publication of CN111709989B publication Critical patent/CN111709989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明是一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法。本发明建立多源特征数据融合框架;基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;基于多源特征数据,建立双向闭合视觉测量模式;基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数。本发明改变传统视觉测量方法中的从图像数据到空间特征信息传递的单向过程,将已获取或确认的空间数据作为控制信息返回至测量处理过程中,构建双向闭合测量模式,并进行高效多源特征数据融合,克服特征点的单一性与低效性问题,增加了解算冗余信息,提高视觉***整体测量精度。

Description

一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法
技术领域
本发明涉及计算机视觉技术领域,是一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法。
背景技术
空间中目标的位置和姿态的非接触测量在飞行器性能测试、设备校准及过程控制等领域有着非常重要的作用,基于摄像学与计算机技术相结合的视觉测量技术被广泛应用于目标位姿测量中,通过借助目标上附有的离散特征点、特征线或者特定几何形状,并结合视觉测量模型来进行位姿解算。当前视觉测量技术的特点主要有筛选质量最佳的特征图像、测区范围相对较小、需要特定数量的控制点,致使视觉测量技术在实际应用中面临如下局限性:
很多场合条件的限制下,只能设置少量的人工标志点,甚至无法设置特定的配合目标点,如飞行器发动机喷管温度过高会燃烧表面附加的标志点,工业检测线上如果附贴标志点会很大程度上影响效率等;
在扰动环境下获取的图像,具有特征点模糊、几何畸变大和目标清晰度不佳等特点,决定了其需要大量的控制信息来保证测量精度,如当前广泛使用的地面目标试验运行动态影像、振动环境下获取的图像等;
面向大视场的目标位姿测量中,受视觉测量模型的限制,图像数据到空间特征信息的单向传递过程难以保证测量结果的精度和稳定性,如大尺寸飞行器位姿测量、风洞试验等。
这些问题导致了当前视觉测量中有限特征点单一性与低效性的弊端,由此可见基于点信息控制的视觉测量已不适应于大数据时代图像数据的特点,需要充分利用场景信息、模型库信息等数据,保证目标位姿测量结果的可靠性。此外,在振动、光照变化等复杂环境下获取的高频影像具有数据量大、获取周期短及时效性高等特点,因此海量特征数据的高效处理也是现阶段视觉测量迫切需要解决的问题,针对目标空间数据多源、异构、不一致性的现状及特点,给出多源特征数据高效融合的流程与方法。
发明内容
本发明为为了突破上述局限性,拓展视觉测量技术的应用范围,本发明提供了一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,本发明提供了以下技术方案:
一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,包括以下步骤:
步骤1:建立多源特征数据融合框架;
步骤2:基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;
步骤3:基于多源特征数据,建立双向闭合视觉测量模式;
步骤4:基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数。
优选地,所述步骤1中多源特征数据融合框架包括:特征提取数基转化层、分类分层、特征数据解析层、特征要素整合层,模型库信息层、数据交汇层、属性结构规整层、无损转换层、测量特征数据对齐层和融合函数层;
所述特征提取数基转化层进行图像采集和初始化数据,同矢量数据输入至分类分层,分类分层将空间三维数据和特征数据输入至特征数据解析层,特征数据解析层投影或映射至特征要素整合层,特征要素整合层整合二维标量值和内部扰动参数至模型库信息层,模型库信息层输出至数据交汇层,数据交汇层整合局部特征信息更新数据和辅助传感源信号至数据交汇层,数据交汇层输出至属性结构规整层,属性结构规整层输出至无损转换层,无损转换层输出至测量特征数据对齐层,特征提取数基转化层、分类分层、特征数据解析层和测量特征数据对齐层共同输入至融合函数层。
优选地,所述步骤2具体为:
步骤2.1:基于多元特征数据融合框架,设定αii,...,δi为不同类型的特征数据,建立融合函数,通过下式表示融合函数:
Figure BDA0002487078940000021
其中,X是融合后统一的特征数据,f1,f2,...,fi是不同数据类型对应的映射关系,q是数据类型数量,l,m,n分别是相应的同类特征数据数量,
步骤2.2:分析仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
Figure BDA0002487078940000022
其中,[μ′ υ′]T是待分析数据的二维标量值,[μ υ]T是数据融合后同名特征点的二维标量值;κ01201和ρ2是变换参数。
优选地,为加快融合速度,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,有效减少数据融合过程中的运算量。
优选地,所述步骤3具体为:
步骤3.1:记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为
Figure BDA0002487078940000031
经过多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为
Figure BDA00024870789400000316
Figure BDA0002487078940000032
建立基于多源特征数据的闭合模式的最小化代价方程,通过下式表示所述最小化代价方程:
Figure BDA0002487078940000033
其中,R为欧式空间旋转矩阵,t为平移矩阵,M和N分别是预设特征点和控制信息点的数量;
步骤3.2:将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到下式:
Figure BDA0002487078940000034
其中,
Figure BDA0002487078940000035
是预设特征点空间三维坐标集,
Figure BDA0002487078940000036
是多源特征数据三维空间坐标集;
步骤3.3:将建立的闭合模型下的代价方程引入到立体视觉测量***中,令空间预设点集
Figure BDA0002487078940000037
在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为
Figure BDA0002487078940000038
令多源点集
Figure BDA0002487078940000039
在左像机光心Ocl与对应成像平面上像点
Figure BDA00024870789400000317
的视线上的投影点为
Figure BDA00024870789400000310
则闭合测量回路中所有控制信息点集投影到立体相机***的归一化图像平面得到的像点坐标集可以记为
Figure BDA00024870789400000311
Figure BDA00024870789400000312
沿着左相机视线方向的归一化投影矩阵记为
Figure BDA00024870789400000313
通过下式表示沿着左相机视线方向的归一化投影矩阵:
Figure BDA00024870789400000314
确定沿着右相机视线方向的归一化投影矩阵,通过下式表示沿着右相机视线方向的归一化投影矩阵:
Figure BDA00024870789400000315
其中,Rc是两台相机间的相对位姿矩阵。
优选地,为了减小计算量,将全局统一坐标系设定与立体相机***中的左相机坐标系完全重合。
优选地,所述步骤4具体为:
步骤4.1:根据立体视觉***投影
Figure BDA0002487078940000041
和立体视觉***成像
Figure BDA0002487078940000042
设定立体相机***中的任意两台相机参与测量,l、r分别表示左右相机;令
Figure BDA0002487078940000043
对相机
Figure BDA0002487078940000048
获取的特征点云集进行最小化代价方程转化,通过下式表示相机
Figure BDA0002487078940000044
获取的特征点云集
Figure BDA0002487078940000045
的最小化代价方程转化:
Figure BDA0002487078940000046
其中,η表示对某一区域测量的阶段计数,Rη和Tη则对应为该测量阶段的欧式空间位姿矩阵,作为下一个阶段测量的输入信息;
步骤4.2:在完成第η阶段测量任务之后,将获得的数据再次作为***输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立立体视觉测量***闭合模式下的新型最小化代价方程,通过下式表示所述新型最小化代价方程:
Figure BDA0002487078940000047
通过非线性迭代方法进行迭代求解得到空间目标参数。
本发明具有以下有益效果:
本发明进行基于多源特征数据的双向闭合控制模式的立体视觉全场测量技术研究,改变从图像数据到空间特征信息传递的单向过程,将已获取或确认的空间数据作为控制信息返回至测量处理过程中,能够克服特征点的单一性与低效性问题,增加冗余信息,同时可以减小远距离目标成像畸变的影响,实现被测范围内的全场动态信息获取方案优化,提高整体测量结果的准确性和可靠性。
本发明引入基于特征点云信息的双向闭合测量模式,改变传统视觉测量方法中的从图像数据到空间特征信息传递的单向过程,将已获取或确认的空间数据作为控制信息返回至测量处理过程中,构建双向闭合测量模式,并进行高效多源特征数据融合,克服特征点的单一性与低效性问题,增加了解算冗余信息,提高视觉***整体测量精度。
本发明的方法充分利用测量目标所在空间的场景信息、模型库信息等多源特征数据,克服当前大视场视觉测量中有限特征点单一性与低效性的弊端,保证目标位姿测量结果的可靠性。可应用到大尺寸飞行器位姿测量、风洞试验、大型车间试件检测等领域,为高精度、大视场的视觉测量软件研制提供技术支撑,提高大视场场景下的测量精度和稳定性。同时,由于条件限制的原因导致无法设置人工标志点的情况,如高温火箭喷管、隐身材料涂层飞行器等,可以通过本发明方法制定测量方案并实施测量任务。此外,在振动、光强变化等复杂环境下获取的高频影像具有数据量大、获取周期短及时效性高等特点,实现海量数据的高效融合,为未来视觉测量技术在物联网、大数据***中的推行与拓展奠定科学依据。
附图说明
图1为多源特征数据融合结构图;
图2位视觉测量双向闭合模式示意图;
图3为测量试验场景图;
图4为闭合测量模式区域的划分图;
图5为位置测量抗噪性能测试图;
图6为姿态测量抗噪性能测试图;
图7为目标姿态角测量误差;
图8为目标空间位置测量误差。
具体实施方式
以下结合具体实施例,对本发明进行了详细说明。
具体实施例一:
如图1至图2所示,本发明提供一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,包括以下步骤:
一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,包括以下步骤:
步骤1:建立多源特征数据融合框架;
根据图1所示,所述步骤1中多源特征数据融合框架包括:特征提取数基转化层、分类分层、特征数据解析层、特征要素整合层,模型库信息层、数据交汇层、属性结构规整层、无损转换层、测量特征数据对齐层和融合函数层;
所述特征提取数基转化层进行图像采集和初始化数据,同矢量数据输入至分类分层,分类分层将空间三维数据和特征数据输入至特征数据解析层,特征数据解析层投影或映射至特征要素整合层,特征要素整合层整合二维标量值和内部扰动参数至模型库信息层,模型库信息层输出至数据交汇层,数据交汇层整合局部特征信息更新数据和辅助传感源信号至数据交汇层,数据交汇层输出至属性结构规整层,属性结构规整层输出至无损转换层,无损转换层输出至测量特征数据对齐层,特征提取数基转化层、分类分层、特征数据解析层和测量特征数据对齐层共同输入至融合函数层。
步骤2:基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;
所述步骤2具体为:
步骤2.1:基于多元特征数据融合框架,设定αii,...,δi为不同类型的特征数据,建立融合函数,通过下式表示融合函数:
Figure BDA0002487078940000061
其中,X是融合后统一的特征数据,f1,f2,...,fi是不同数据类型对应的映射关系,q是数据类型数量,l,m,n分别是相应的同类特征数据数量,
步骤2.2:分析仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
Figure BDA0002487078940000062
其中,[μ′ υ′]T是待分析数据的二维标量值,[μ υ]T是数据融合后同名特征点的二维标量值;κ01201和ρ2是变换参数。
为加快融合速度,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,有效减少数据融合过程中的运算量。
步骤3:基于多源特征数据,建立双向闭合视觉测量模式;
根据图2所示,所述步骤3具体为:
步骤3.1:记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为
Figure BDA0002487078940000063
经过多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为
Figure BDA0002487078940000066
Figure BDA0002487078940000064
建立基于多源特征数据的闭合模式的最小化代价方程,通过下式表示所述最小化代价方程:
Figure BDA0002487078940000065
其中,R为欧式空间旋转矩阵,t为平移矩阵,M和N分别是预设特征点和控制信息点的数量;
步骤3.2:将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到下式:
Figure BDA0002487078940000071
其中,
Figure BDA0002487078940000072
是预设特征点空间三维坐标集,
Figure BDA0002487078940000073
是多源特征数据三维空间坐标集;
步骤3.3:将建立的闭合模型下的代价方程引入到立体视觉测量***中,令空间预设点集
Figure BDA0002487078940000074
在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为
Figure BDA0002487078940000075
令多源点集
Figure BDA0002487078940000076
在左像机光心Ocl与对应成像平面上像点
Figure BDA00024870789400000717
的视线上的投影点为
Figure BDA0002487078940000077
则闭合测量回路中所有控制信息点集投影到立体相机***的归一化图像平面得到的像点坐标集可以记为
Figure BDA0002487078940000078
Figure BDA0002487078940000079
沿着左相机视线方向的归一化投影矩阵记为
Figure BDA00024870789400000710
通过下式表示沿着左相机视线方向的归一化投影矩阵:
Figure BDA00024870789400000711
确定沿着右相机视线方向的归一化投影矩阵,通过下式表示沿着右相机视线方向的归一化投影矩阵:
Figure BDA00024870789400000712
其中,Rc是两台相机间的相对位姿矩阵。
为了减小计算量,将全局统一坐标系设定与立体相机***中的左相机坐标系完全重合。
步骤4:基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数。
所述步骤4具体为:
步骤4.1:根据立体视觉***投影
Figure BDA00024870789400000713
和立体视觉***成像
Figure BDA00024870789400000714
设定立体相机***中的任意两台相机参与测量,l、r分别表示左右相机;令
Figure BDA00024870789400000715
对相机
Figure BDA00024870789400000718
获取的特征点云集进行最小化代价方程转化,通过下式表示相机
Figure BDA00024870789400000719
获取的特征点云集
Figure BDA00024870789400000716
的最小化代价方程转化:
Figure BDA0002487078940000081
其中,η表示对某一区域测量的阶段计数,Rη和Tη则对应为该测量阶段的欧式空间位姿矩阵,作为下一个阶段测量的输入信息;
步骤4.2:在完成第η阶段测量任务之后,将获得的数据再次作为***输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立立体视觉测量***闭合模式下的新型最小化代价方程,通过下式表示所述新型最小化代价方程:
Figure BDA0002487078940000082
通过非线性迭代方法进行迭代求解得到空间目标参数。
具体实施例二:
在图3所示的测量场景下进行本发明方法的效果验证。***主机配置为4.0GHz主频的处理器和4GB的运行内存,并附加两组磁盘阵列。立体相机的图像分辨率是2048×2048pixels,像元尺寸大小为du×dv=7.4×7.4μm2,相机焦距f=35mm,测量空间范围约为10m×6m×3m。测量***的输入数据包括目标特征信息、图像数据以及点云信息。点云信息包括空间点坐标、标志特征、数据库及场景信息等。
本实施例中主要涉及以下几种多源数据,首先是转台上固定模拟装置,用来模拟目标运动,模拟装置上有预设的标定点,通过霍夫变换圆检测和椭圆拟合进行标志点特征像素坐标提取;接着通过全站仪测出墙面上的辅助空间点中心坐标;此外,通过提取场景中的角点特征信息,实现冗余信息的获取,数据类型及格式如表1所示。
表1本发明实施例中涉及到的几种数据类型
Figure BDA0002487078940000083
步骤1:依照如图1所示的多源特征数据融合结构框架,将获得的不同类型数据带入(1)式的融合函数:
Figure BDA0002487078940000091
式中,X是融合后统一的特征数据;f1,f2,...,fi是不同数据类型对应的映射关系;q是数据类型数量;l,m,n分别是相应的同类特征数据数量。
为了提高融合效率,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,这样可以有效减少数据融合过程中的运算量,得到融合后的数据如表2所示。
步骤2:分析步骤1中仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
Figure BDA0002487078940000092
式(2)中,[μ′ υ′]T是待分析数据的二维标量值;[μ υ]T是数据融合后同名特征点的二维标量值;κ012012是变换参数;数据融合后的误差如表2所示。
表2融合后数据格式及转换误差
Figure BDA0002487078940000093
根据如图2所示的双向闭合视觉测量模式,进行目标位姿信息的测量。记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为
Figure BDA0002487078940000094
经过步骤一多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为
Figure BDA0002487078940000097
Figure BDA0002487078940000095
则基于多源特征数据的闭合模式的最小化代价方程可以用(3)式进行表示:
Figure BDA0002487078940000096
其中,欧式空间旋转矩阵
Figure BDA0002487078940000101
平移矩阵t=[tx ty tz]T;M、N分别是预设特征点和控制信息点的数量。为了减小计算量,本发明中将全局统一坐标系设定与立体相机***中的左相机坐标系完全重合。
将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到:
Figure BDA0002487078940000102
式(4)中,
Figure BDA0002487078940000103
是预设特征点空间三维坐标集,
Figure BDA0002487078940000104
是多源特征数据三维空间坐标集。
接着将上述建立的闭合模型下的代价方程引入到立体视觉测量***中。令空间预设点集
Figure BDA0002487078940000105
在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为
Figure BDA0002487078940000106
令多源点集
Figure BDA0002487078940000107
在左像机光心Ocl与对应成像平面上像点
Figure BDA0002487078940000108
的视线上的投影点为
Figure BDA0002487078940000109
则闭合测量回路中所有控制信息点集投影到立体相机***的归一化图像平面得到的像点坐标集可以记为
Figure BDA00024870789400001010
Figure BDA00024870789400001011
沿着左相机视线方向的归一化投影矩阵记为
Figure BDA00024870789400001012
此矩阵可以通过下式表示:
Figure BDA00024870789400001013
同理,可以得到沿着右相机视线方向的归一化投影矩阵:
Figure BDA00024870789400001014
其中,Rc是立体相机间的相对位姿矩阵,即相机间的外部参数。
步骤4:根据立体视觉***投影/成像原理有
Figure BDA00024870789400001015
Figure BDA00024870789400001016
设定立体相机***中的任意两台相机参与测量,l、r分别表示左右相机;令
Figure BDA00024870789400001017
tc是相机间的平移矩阵;则相机
Figure BDA00024870789400001019
获取的特征点云集
Figure BDA00024870789400001018
的最小化代价方程可以转化为:
Figure BDA0002487078940000111
式(7)中,η表示对某一区域测量的阶段计数;ω是与
Figure BDA0002487078940000112
维数一致的单位矩阵;Rη和tη则对应为该测量阶段的欧式空间位姿矩阵,可以作为下一个阶段测量的输入信息。
在完成第η阶段测量任务之后,可以将获得的数据再次作为***输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立如下所示的立体视觉测量***闭合模式下的新型最小化代价方程:
Figure BDA0002487078940000113
步骤5:通过非线性迭代方法对式(8)进行迭代求解,其中包含所有相机获取的空间控制信息,立体相机***位姿矩阵求解详细过程如下。
给定R0的初始值,依据式(8)可以得到平移矩阵tη,可以由如下闭环形式计算:
Figure BDA0002487078940000114
其中,τ表示第τ次迭代。
接着通过公式(9)计算得到第τ次迭代的重投影点
Figure BDA0002487078940000115
Figure BDA0002487078940000116
根据新型最小化代价方程(8),则有:
Figure BDA0002487078940000117
定义:
Figure BDA0002487078940000118
则有:
Figure BDA0002487078940000119
通过奇异值分解来求得式(12)中的旋转矩阵Rη
判断迭代矩阵是否收敛,若不收敛返回步骤5重新计算,若收敛则结束,输出迭代求解的位姿参数Rη和tη
进行下一个阶段位姿矩阵Rη+1和tη+1的计算;对于已经估计出的空间坐标信息可以作为下一个循环的输入,在坐标***一过程中的旋转变换和平移变换都是不引入误差的变换。
性能测试实验结果及分析如下,为了模拟实际场景下的墙面点分布,在10m×6m×3m范围内生成60个特征点,划分为4个区域,特征点分布如图4所示。从成像视角可以看出,相机是靠近左侧端的。首先通过仿真的世界坐标和图像坐标估计出矩阵R1,T1;然后利用估计出的相机位姿取重构IV区的点空间坐标。为了不失一般性,选取四个角上的点来反映重构精度,结果如表3所示。
表3传统测量模式下ROP坐标(单位:mm)
Figure BDA0002487078940000121
接着通过移动相机位置,更改相机相对姿态,使相机成像中III和IV区占有比较大的视场,然后通过III区中的点对相机位姿进行估计,再用估计出的R′1,T′1参数对IV区空间点进行重构,精度如表4所示。
表4闭合测量模式下ROP坐标(单位:mm)
Figure BDA0002487078940000122
通过对比发现,采用通过III区域的点估计出的相机位姿,然后再去估计IV区域点的位姿结果,要比直接估计全场特征点得到的精度要高;传统测量模式下得到的平均误差是2.419mm,通过本发明提出的闭合测量模式所得到的误差是1.023mm。
接着对本发明所提方法进行抗噪性能测试,将平均值从1.0到2.0的标准偏差(噪声水平)为0的高斯噪声添加到每个特征点,对Proposed method(本发明方法)、DLT方法、Traditional方法分别进行测试,位置和姿态测量结果分别如图5和图6所示。
从图5和图6中可以看出,通过上述三种方法绘制了旋转误差和平移误差随噪声的变化曲线。在整个过程中,使用多源数据融合后的特征信息以及已经获取的坐标信息,其图像坐标被手动加入噪声以便形成干扰。结果证明,本发明提出的闭合测量模式在逐渐增加噪声的同时,测量结果比其他算法更加准确、稳定,因此具有较好的抗噪性能。
最后给出本发明方法对视场内飞行器姿态角和位置测量误差分布情况,如图7和图8所示。从图7中可以看出,偏航、俯仰和滚转角误差均在±1.5°范围内,角度误差符合明显的正弦分布。图8中X方向上误差在2mm以内,Y和Z方向上的位置大部分优于1mm,在10m×6m×3m空间范围内达到了很好的测量精度,因此上述结果表明本文所提算法是有效的。
以上所述仅是一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法的优选实施方式,一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法的保护范围并不仅局限于上述实施例,凡属于该思路下的技术方案均属于本发明的保护范围。应当指出,对于本领域的技术人员来说,在不脱离本发明原理前提下的若干改进和变化,这些改进和变化也应视为本发明的保护范围。

Claims (3)

1.一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,其特征是:包括以下步骤:
步骤1:建立多源特征数据融合框架;
所述步骤1中多源特征数据融合框架包括:特征提取数基转化层、分类分层、特征数据解析层、特征要素整合层,模型库信息层、数据交汇层、属性结构规整层、无损转换层、测量特征数据对齐层和融合函数层;
所述特征提取数基转化层进行图像采集和初始化数据,同矢量数据输入至分类分层,分类分层将空间三维数据和特征数据输入至特征数据解析层,特征数据解析层投影或映射至特征要素整合层,特征要素整合层整合二维标量值和内部扰动参数至模型库信息层,模型库信息层输出至数据交汇层,数据交汇层整合局部特征信息更新数据和辅助传感源信号至数据交汇层,数据交汇层输出至属性结构规整层,属性结构规整层输出至无损转换层,无损转换层输出至测量特征数据对齐层,特征提取数基转化层、分类分层、特征数据解析层和测量特征数据对齐层共同输入至融合函数层;
步骤2:基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;
所述步骤2具体为:
步骤2.1:基于多元特征数据融合框架,设定αii,...,δi是不同类型的特征数据,建立融合函数,通过下式表示融合函数:
Figure FDA0004097181850000011
其中,X是融合后统一的特征数据,f1,f2,...,fi是不同数据类型对应的映射关系,q是数据类型数量,l,m,n分别是相应的同类特征数据数量,
步骤2.2:分析仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
Figure FDA0004097181850000012
其中,[μ′ υ′]T是待分析数据的二维标量值,[μ υ]T是数据融合后同名特征点的二维标量值;κ01201和ρ2是变换参数;
步骤3:基于多源特征数据,建立双向闭合视觉测量模式;
所述步骤3具体为:
步骤3.1:记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为
Figure FDA0004097181850000021
经过多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为{θk}和
Figure FDA0004097181850000022
建立基于多源特征数据的闭合模式的最小化代价方程,通过下式表示所述最小化代价方程:
Figure FDA0004097181850000023
其中,R为欧式空间旋转矩阵,t为平移矩阵,M和N分别是预设特征点和控制信息点的数量;
步骤3.2:将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到下式:
Figure FDA0004097181850000024
其中,{ξi w}是预设特征点空间三维坐标集,
Figure FDA0004097181850000025
是多源特征数据三维空间坐标集;
步骤3.3:将建立的闭合模型下的代价方程引入到立体视觉测量***中,令空间预设点集{ξi w}在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为
Figure FDA0004097181850000026
令多源点集
Figure FDA0004097181850000027
在左像机光心Ocl与对应成像平面上像点{θkl}的视线上的投影点为
Figure FDA0004097181850000028
则闭合测量回路中所有控制信息点集投影到立体相机***的归一化图像平面得到的像点坐标集可以记为
Figure FDA0004097181850000029
Figure FDA00040971818500000210
沿着左相机视线方向的归一化投影矩阵记为
Figure FDA00040971818500000211
通过下式表示沿着左相机视线方向的归一化投影矩阵:
Figure FDA00040971818500000212
确定沿着右相机视线方向的归一化投影矩阵,通过下式表示沿着右相机视线方向的归一化投影矩阵:
Figure FDA00040971818500000213
其中,Rc是两台相机间的相对位姿矩阵;
步骤4:基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数;
所述步骤4具体为:
步骤4.1:根据立体视觉***投影
Figure FDA0004097181850000031
和立体视觉***成像
Figure FDA0004097181850000032
设定立体相机***中的任意两台相机参与测量,l、r分别表示左右相机;令
Figure FDA0004097181850000033
对相机
Figure FDA0004097181850000034
获取的特征点云集进行最小化代价方程转化,通过下式表示相机
Figure FDA0004097181850000035
获取的特征点云集
Figure FDA0004097181850000036
的最小化代价方程转化:
Figure FDA0004097181850000037
其中,η表示对某一区域测量的阶段计数,Rη和Tη则对应为该测量阶段的欧式空间位姿矩阵,作为下一个阶段测量的输入信息;
步骤4.2:在完成第η阶段测量任务之后,将获得的数据再次作为***输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立立体视觉测量***闭合模式下的新型最小化代价方程,通过下式表示所述新型最小化代价方程:
Figure FDA0004097181850000038
通过非线性迭代方法进行迭代求解得到空间目标参数。
2.根据权利要求1所述的一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,其特征是:为加快融合速度,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,有效减少数据融合过程中的运算量。
3.根据权利要求1所述的一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,其特征是:为了减小计算量,将全局统一坐标系设定与立体相机***中的左相机坐标系完全重合。
CN202010394496.0A 2020-05-11 2020-05-11 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 Active CN111709989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010394496.0A CN111709989B (zh) 2020-05-11 2020-05-11 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010394496.0A CN111709989B (zh) 2020-05-11 2020-05-11 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法

Publications (2)

Publication Number Publication Date
CN111709989A CN111709989A (zh) 2020-09-25
CN111709989B true CN111709989B (zh) 2023-04-18

Family

ID=72537399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010394496.0A Active CN111709989B (zh) 2020-05-11 2020-05-11 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法

Country Status (1)

Country Link
CN (1) CN111709989B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392488A (zh) * 2014-12-11 2015-03-04 福州大学 针对激光扫描仪与三坐标测量臂的点云数据自动配准方法
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及***
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392488A (zh) * 2014-12-11 2015-03-04 福州大学 针对激光扫描仪与三坐标测量臂的点云数据自动配准方法
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及***
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘建伟 ; 梁晋 ; 梁新合 ; 曹巨明 ; 张德海 ; .大尺寸工业视觉测量***.光学精密工程.2010,(第01期),全文. *
岳晓奎 ; 武媛媛 ; 吴侃之 ; .基于视觉信息的航天器位姿估计迭代算法.西北工业大学学报.2011,(第04期),全文. *
杜福洲 ; 于浩 ; *** ; .基于多源测量数据融合的间隙与阶差自动化测量技术研究.航空制造技术.2019,(08),全文. *

Also Published As

Publication number Publication date
CN111709989A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
Jiang et al. Gesture recognition based on binocular vision
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
CN111127540B (zh) 一种三维虚拟空间自动测距方法及***
Yin et al. SLAM-based self-calibration of a binocular stereo vision rig in real-time
CN112580428A (zh) 一种配电网设计方法及装置
Du et al. Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks
CN111709989B (zh) 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法
CN112163309A (zh) 单张平面圆图像的空间圆心快速提取方法
CN114419259B (zh) 一种基于物理模型成像仿真的视觉定位方法及***
Zhang et al. A stereo photogrammetry system for model position and attitude measurement in hypersonic wind tunnel testing
Zhang et al. Research on Binocular Stereo Vision Ranging Based on Improved YOLOv5s
Huang et al. Real-time measurement of model attitude based on NDT and ICP
Bai et al. Colmap-PCD: An Open-source Tool for Fine Image-to-point cloud Registration
Shang et al. Research on the rapid 3D measurement of satellite antenna reflectors using stereo tracking technique
Boutteau et al. Circular laser/camera-based attitude and altitude estimation: minimal and robust solutions
Ding et al. Research on optimization of SURF algorithm based on embedded CUDA platform
Feng et al. Research on Target Tracking Algorithm of Micro‐UAV Based on Monocular Vision
Zhang et al. Establishing a large amount of point correspondences using patch-based affine-scale invariant feature transform for fisheye images
Niu et al. Robust 6DOF measurement for non-overlapping multi-camera systems based on uncertainty-weighted space resection
CN111462240B (zh) 一种基于多单目视觉融合的目标定位方法
Xia A Geometric Consistency Model of Virtual Camera for Vision-Based SLAM Simulation
Jiang et al. Discussion on the Technical Issues Faced in the Calibration of Multi-camera Vision Detection Systems
Shang et al. 3D target reconstruction based on the ISAR image sequence
Zhu et al. A Smartphone-Based Six-DOF Measurement Method With Marker Detector
Wang et al. Hierarchical Viewpoint Planning for Complex Surfaces in Industrial Product Inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant