CN105258680A - 一种目标位姿测量方法和装置 - Google Patents

一种目标位姿测量方法和装置 Download PDF

Info

Publication number
CN105258680A
CN105258680A CN201510641038.1A CN201510641038A CN105258680A CN 105258680 A CN105258680 A CN 105258680A CN 201510641038 A CN201510641038 A CN 201510641038A CN 105258680 A CN105258680 A CN 105258680A
Authority
CN
China
Prior art keywords
target
station
rightarrow
point
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510641038.1A
Other languages
English (en)
Other versions
CN105258680B (zh
Inventor
崔江涛
杨阳
冯小康
张力月
蔡洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510641038.1A priority Critical patent/CN105258680B/zh
Publication of CN105258680A publication Critical patent/CN105258680A/zh
Application granted granted Critical
Publication of CN105258680B publication Critical patent/CN105258680B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种目标位姿测量方法和装置,确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间,还包括:循环执行N1至N7,直至目标影像序列中所有图片中的目标均被确定位姿:N1:提取目标影像序列中当前帧的两站图片中目标轮廓线;N2:计算当前帧的两站图片中目标的重心坐标;N3:确定目标模型在所述模拟的成像空间中的位置;N4:获取模拟的成像空间中目标模型的模拟图片,并提取模拟图片的模拟轮廓线;N5:将模拟轮廓线与对应的目标轮廓线进行匹配;N6:确定目标的当前姿态;N7:判断当前帧是否为目标影像序列中的最后一帧,如果否,则将下一帧作为当前帧,执行N1,提高了目标位姿测量的准确性。

Description

一种目标位姿测量方法和装置
技术领域
本发明涉及摄影测量领域,特别涉及一种目标位姿测量方法和装置。
背景技术
随着科技日新月异的发展,目标位姿的测量技术被广泛地应用于军事、航天、航空等不同领域,用于确定目标在空间中的位置和目标的姿态,以实现对目标的调控。
在现有技术中,可以通过双目测量方法来求解目标位姿,该双目测量指的是两台相机从不同角度同时观察同一场景中的目标,并根据两台相机拍摄的图像序列,求解出目标在空间中的坐标和姿态。目前,双目测量的方式主要分为两种,其中,一种是,通过人工指定模型控制点,然后,根据同一控制点在不同图像中对应的同名像点,通过三维重建,得到控制点的三维坐标。难以满足另一种是,在目标与摄影方向垂直时拍摄图像序列,以保证目标中轴线经过投影后的成像就是图像中成像区域的轮廓中轴线,从而通过中轴线空间方程计算得到目标的空间位置和姿态。但是,在实际应用中,由于目标比较复杂,很难指定模型控制点,也很难保证目标与摄影方向垂直,那么,通过上述方法,可能导致目标位姿测量的准确性较低。
发明内容
本发明提供一种目标位姿测量方法和装置,提高目标位姿测量的准确性。
一种目标位姿测量方法,确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间,还包括:
循环执行N1至N7,直至所述目标影像序列中所有图片中的目标均被确定位姿:
N1:提取所述目标影像序列中当前帧的两站图片中目标轮廓线;
N2:计算所述当前帧的两站图片中目标的重心坐标;
N3:根据所述目标的重心坐标和所述两站相机的内外参数,确定所述目标模型在所述模拟的成像空间中的位置;
N4:获取所述模拟的成像空间中所述目标模型的模拟图片,并提取所述模拟图片的模拟轮廓线;
N5:将所述模拟轮廓线与对应的所述目标轮廓线进行匹配;
N6:确定目标的当前姿态;
N7:判断所述当前帧是否为所述目标影像序列中的最后一帧,如果否,则将下一帧作为当前帧,执行N1。
优选地,在所述N1之前,进一步包括:
对当前帧的两站图片进行图像分割,确定图像特征区域;
所述N1,包括:提取所述图像特征区域中的目标轮廓线。
优选地,所述对当前帧的两站图片进行图像分割,确定图像特征区域,包括:
N01、确定所述当前帧的两站图片的目标区域、理论前景点集合和理论背景点集合;
N02、判断下述公式的真假,若为真,则执行N03,否则,执行N06;
isTrehold=(fgMin>bgMax)||(fgMax<bgMin)
其中,所述Treshold表征阈值;所述fgMin表征理论前景点集合中像素最小值;bgMax表征理论背景点集合中像素最大值;所述fgMax表征理论前景点集合中像素最大值;bgMin表征理论背景点集合中像素最小值;
N03、确定图像分割阈值;
N04、对所述目标区域中的所有像素点,执行判断当前像素点是否大于所述图像分割阈值,如果是,则当前像素点为前景点,否则,为背景点,
N05、确定所有前景点组成的集合为图像特征区域,并结束;
N06、确定并标记目标区域中部分前景点和部分背景点;
N07、将所述标记的部分前景点和部分背景点分别聚为K个类;
N08、初始化各个类的高斯混合模型参数;
N09、重复执行N091至N093,直至收敛:
N091:对每个像素点分配高斯分量;
N092:根据每一个像素的高斯分量,确定高斯混合模型的参数;
N093:根据下述公式,计算能量函数:
m i n { α n | n ∈ T U } min E ( α , k , θ , z )
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z),
V ( α , z ) = γ Σ ( m , n ) ∈ C [ α n ≠ α m ] exp - β | | z m - z n | | 2
其中,E表征吉布斯能量;U表征数据项;V表征光滑项;γ表征平滑项在吉布斯能量中所占的比重;β表征与图像对比度相关的系数;
N010、当所述能量函数值收敛时,根据所述能量函数值确定图像特征区域。
优选地,所述N1,包括:
对所述两站图片进行降噪;
确定降噪后每一个像素点的亮度梯度以及亮度梯度方向;
根据所述亮度梯度和梯度方向,在图像中跟踪整个目标的边缘,确定目标轮廓线。
优选地,所述N3,包括:
确定两站相机各自对应的像空间坐标系的原点;
根据所述两站相机当前帧的目标轮廓线,确定目标在两站目标轮廓线的重心点;
确定目标在两站目标轮廓线的重心点在对应的像空间坐标系中的点;
所述两站相机各自对应的像空间坐标系的原点与所述对应的像空间坐标系中的点,形成两条直线;
确定两条直线的公垂线;
通过下述公式,确定位置系数;
α = ( P 2 → - P 1 → ) l 1 → - ( ( P 2 → - P 1 → ) l 2 → ) ( l 1 → l 2 → ) 1 - ( l 1 → l 2 → ) 2 β = ( ( P 2 → - P 1 → ) l 2 → ) ( l 1 → l 2 → ) - ( P 2 → - P 1 → ) l 2 → 1 - ( l 1 → l 2 → ) 2
其中,α、β表征位置系数;设所述两站相机对应的像空间坐标系中的点分别为P1和P2,所述两条直线分别为L1和L2,且P1为L1上的点,P2为L2上的点,表征点P1的向量;表征点P2的向量;表征直线L1的方向矢量;表征直线L2的方向矢量;
根据所述位置系数,计算所述公垂线与两条直线交点的坐标以及两个交点的距离;
根据所述公垂线与两条直线交点的坐标,计算中垂线中点的坐标;
当两个交点的距离小于一定值时,则确定所述目标模型在所述模拟的成像空间中的位置为所述中垂线中点的坐标。
优选地,上述方法进一步包括:设置目标函数阈值和/或迭代次数阈值;
所述N5,包括:
重复执行S1至S3,直至确定匹配成功:
S1:确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb
S2:选取Ea和Eb中的较大的一个,作为当前目标函数值;
S3:判断所述当前目标函数值是否小于所述目标函数阈值,如果是,则确定所述当前目标函数值为目标函数阈值,并确定当前目标函数值对应的目标模型的当前姿态,为目标的当前姿态,否则,判断当前目标函数值的迭代次数是否达到所述迭代次数阈值,如果是,则执行所述N7,否则,调整所述目标模型姿态,对所述调整后的目标模型进行拍摄,确定调整后的模拟图片,并提取所述调整后的模拟图片的模拟轮廓线,执行S1。
优选地,所述N6,包括:
分别确定两站相机的目标函数值;
根据所述两站相机的目标函数值及目标到两站相机的距离,通过下述权重公式,分别计算两站相机的权重;
两站相机的权重公式分别为:
μ L = E R a R E L a L + E R a R , a L = D L + D R D L
μ R = E L a L E L a L + E R a R , a R = D L + D R D R
其中,所述μ表征权重;E表征目标函数值;a表征能量平衡系数,D表征两站分别到目标的距离;L表征两站相机中的第一站相机;R表征两站相机中的第二站相机;
利用下述求解公式,计算目标姿态;
求解公式:
X = X L μ L + X R μ R μ L + μ R ,
其中,所述X表征目标姿态;所述XL表征利用两站相机中的第一站相机获得的第一目标姿态;所述XR表征利用两站相机中的第二站相机获得的第二目标姿态。
一种目标位姿测量装置,包括:
确定单元,用于确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间;
第一提取单元,用于提取所述确定单元确定的目标影像序列中当前帧的两站图片中目标轮廓线,计算所述当前帧的两站图片中目标的重心坐标,并接收所述判断单元的触发;
第二提取单元,用于根据所述第一提取单元计算出的重心坐标和所述两站相机的内外参数,确定所述目标模型在所述确定单元确定的模拟的成像空间中的位置;获取所述模拟的成像空间中所述目标模型的模拟图片,并提取所述模拟图片的模拟轮廓线;
姿态确定单元,用于将所述第二提取单元提取的模拟轮廓线与对应的所述第一提取单元提取的目标轮廓线进行匹配,确定目标的当前姿态,并触发判断单元;
所述判断单元,用于在接收到所述姿态确定单元的触发时,判断所述姿态确定单元确定的目标的当前姿态对应的当前帧是否为最后一帧,如果否,则将下一帧作为当前帧,并触发所述第一提取单元。
优选地,所述第一提取单元,进一步用于:
对当前帧的两站图片进行图像分割,确定图像特征区域,并提取所述图像特征区域中的目标轮廓线。
优选地,所述第一提取单元,用于:
N01、确定所述当前帧的两站图片的目标区域、理论前景点集合和理论背景点集合;
N02、判断下述公式的真假,若为真,则执行N03,否则,执行N06;
isTrehold=(fgMin>bgMax)||(fgMax<bgMin)
其中,所述Treshold表征阈值;所述fgMin表征理论前景点集合中像素最小值;bgMax表征理论背景点集合中像素最大值;所述fgMax表征理论前景点集合中像素最大值;bgMin表征理论背景点集合中像素最小值;
N03、确定图像分割阈值;
N04、对所述目标区域中的所有像素点,执行判断当前像素点是否大于所述图像分割阈值,如果是,则当前像素点为前景点,否则,为背景点,
N05、确定所有前景点组成的集合为图像特征区域,并结束;
N06、确定并标记目标区域中部分前景点和部分背景点;
N07、将所述标记的部分前景点和部分背景点分别聚为K个类;
N08、初始化各个类的高斯混合模型参数;
N09、重复执行N091至N093,直至收敛:
N091:对每个像素点分配高斯分量;
N092:根据每一个像素的高斯分量,确定高斯混合模型的参数;
N093:根据下述公式,计算能量函数:
m i n { α n | n ∈ T U } min E ( α , k , θ , z )
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z),
V ( α , z ) = γ Σ ( m , n ) ∈ C [ α n ≠ α m ] exp - β | | z m - z n | | 2
其中,E表征吉布斯能量;U表征数据项;V表征光滑项;γ表征平滑项在吉布斯能量中所占的比重;β表征与图像对比度相关的系数;
N010、当所述能量函数值收敛时,根据所述能量函数值确定图像特征区域。
优选地,所述第一提取单元,用于:对所述两站图片进行降噪;确定降噪后每一个像素点的亮度梯度以及亮度梯度方向;根据所述亮度梯度和梯度方向,在图像中跟踪整个目标的边缘,确定目标轮廓线。
优选地,所述第二提取单元,用于:
确定两站相机各自对应的像空间坐标系的原点;
根据所述两站相机当前帧的目标轮廓线,确定目标在两站目标轮廓线的重心点;
确定目标在两站目标轮廓线的重心点在对应的像空间坐标系中的点;
所述两站相机各自对应的像空间坐标系的原点与所述对应的像空间坐标系中的点,形成两条直线;
确定两条直线的公垂线;
通过下述公式,确定位置系数;
α = ( P 2 → - P 1 → ) l 1 → - ( ( P 2 → - P 1 → ) l 2 → ) ( l 1 → l 2 → ) 1 - ( l 1 → l 2 → ) 2 β = ( ( P 2 → - P 1 → ) l 2 → ) ( l 1 → l 2 → ) - ( P 2 → - P 1 → ) l 2 → 1 - ( l 1 → l 2 → ) 2
其中,α、β表征位置系数;设所述两站相机对应的像空间坐标系中的点分别为P1和P2,所述两条直线分别为L1和L2,且P1为L1上的点,P2为L2上的点,表征点P1的向量;表征点P2的向量;表征直线L1的方向矢量;表征直线L2的方向矢量;
根据所述位置系数,计算所述公垂线与两条直线交点的坐标以及两个交点的距离;
根据所述公垂线与两条直线交点的坐标,计算中垂线中点的坐标;
当两个交点的距离小于一定值时,则确定所述目标模型在所述模拟的成像空间中的位置为所述中垂线中点的坐标。
优选地,上述装置进一步包括:设置单元,其中,
所述设置单元,用于设置目标函数阈值和/或迭代次数阈值;
所述姿态确定单元,用于重复执行S1至S3,直至确定匹配成功:
S1:确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb
S2:选取Ea和Eb中的较大的一个,作为当前目标函数值;
S3:判断所述当前目标函数值是否小于所述目标函数阈值,如果是,则确定所述当前目标函数值为目标函数阈值,并确定当前目标函数值对应的目标模型的当前姿态,为目标的当前姿态,否则,判断当前目标函数值的迭代次数是否达到所述迭代次数阈值,如果是,则执行所述N7,否则,调整所述目标模型姿态,对所述调整后的目标模型进行拍摄,确定调整后的模拟图片,并提取所述调整后的模拟图片的模拟轮廓线,执行S1。
优选地,所述姿态确定单元,用于分别确定两站相机的目标函数值;
根据所述两站相机的目标函数值及目标到两站相机的距离,通过下述权重公式,分别计算两站相机的权重;
两站相机的权重公式分别为:
μ L = E R a R E L a L + E R a R , a L = D L + D R D L
μ R = E L a L E L a L + E R a R , a R = D L + D R D R
其中,所述μ表征权重;E表征目标函数值;a表征能量平衡系数,D表征两站分别到目标的距离;L表征两站相机中的第一站相机;R表征两站相机中的第二站相机;
利用下述求解公式,计算目标姿态;
求解公式:
X = X L μ L + X R μ R μ L + μ R ,
其中,所述X表征目标姿态;所述XL表征利用两站相机中的第一站相机获得的第一目标姿态;所述XR表征利用两站相机中的第二站相机获得的第二目标姿态。
本发明实施例提供了一种目标位姿测量方法和装置,其中,目标位姿测量方法,确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间,还包括:循环执行N1至N7,直至所述目标影像序列中所有图片中的目标均被确定位姿:N1:提取所述目标影像序列中当前帧的两站图片中目标轮廓线;N2:计算所述当前帧的两站图片中目标的重心坐标;N3:根据所述目标的重心坐标和所述两站相机的内外参数,确定所述目标模型在所述模拟的成像空间中的位置;N4:获取所述模拟的成像空间中所述目标模型的模拟图片,并提取所述模拟图片的模拟轮廓线;N5:将所述模拟轮廓线与对应的所述目标轮廓线进行匹配;N6:确定目标的当前姿态;N7:判断所述当前帧是否为所述目标影像序列中的最后一帧,如果否,则将下一帧作为当前帧,执行N1,直接匹配目标轮廓线与模拟轮廓线,在该过程中,一方面目标空间位置是通过两个相机确定出来的,相比一个相机而言,两个相机具有更多的参数,可以使目标位置更加准确,另一方面,通过将模拟轮廓线与目标轮廓线进行匹配,而不是仅对于目标中的控制点进行匹配,使得目标模型能够很好的拟合出目标的姿态,因此,本发明有效地提高了目标位姿测量的准确性。
附图说明
图1为本发明实施例提供一种目标位姿测量方法的流程图;
图2为本发明另一实施例提供一种目标位姿测量方法的流程图;
图3为本发明实施例提供一种目标空间位置求解图;
图4为本发明实施例提供一种目标位姿测量装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供一种目标位姿测量方法,该目标位姿测量方法可以包括如下步骤:
步骤101:确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间;
步骤102:提取目标影像序列中当前帧的两站图片中目标轮廓线;
步骤103:计算当前帧的两站图片中目标的重心坐标;
步骤104:根据目标的重心坐标和所述两站相机的内外参数,确定目标模型在模拟的成像空间中的位置;
步骤105:获取模拟的成像空间中目标模型的模拟图片,并提取模拟图片的模拟轮廓线;
步骤106:将模拟轮廓线与对应的目标轮廓线进行匹配;
步骤107:确定目标的当前姿态;
步骤108:判断当前帧是否为目标影像序列中的最后一帧,如果是,则执行步骤109;否则,则执行步骤110;
步骤109:结束匹配,并结束当前流程;
步骤110:将下一帧作为当前帧,并执行步骤102。
在本发明一个实施例中,为了提高轮廓提取的准确性,在步骤102之前,进一步包括:对当前帧的两站图片进行图像分割,确定图像特征区域,步骤102的具体实施方式:提取所述图像特征区域中的目标轮廓线。
在本发明一个实施例中,为了使图像分割得到优化,以获取较好的图像特征区域,所述对当前帧的两站图片进行图像分割,确定图像特征区域,包括:N01、确定所述当前帧的两站图片的目标区域、理论前景点集合和理论背景点集合;N02、判断下述公式的真假,若为真,则执行N03,否则,执行N06;
isTreshold=(fgMin>bgMax)||(fgMax<bgMin),其中,所述Treshold表征阈值;所述fgMin表征理论前景点集合中像素最小值;bgMax表征理论背景点集合中像素最大值;所述fgMax表征理论前景点集合中像素最大值;bgMin表征理论背景点集合中像素最小值;
N03、确定图像分割阈值;N04、对所述目标区域中的所有像素点,执行判断当前像素点是否大于所述图像分割阈值,如果是,则当前像素点为前景点,否则,为背景点,N05、确定所有前景点组成的集合为图像特征区域,并结束;N06、确定并标记目标区域中部分前景点和部分背景点;N07、将所述标记的部分前景点和部分背景点分别聚为K个类;N08、初始化各个类的高斯混合模型参数;N09、重复执行N091至N093,直至收敛:N091:对每个像素点分配高斯分量;N092:根据每一个像素的高斯分量,确定高斯混合模型的参数;N093:根据下述公式,计算能量函数:
m i n { α n | n ∈ T U } min E ( α , k , θ , z )
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z),
V ( α , z ) = γ Σ ( m , n ) ∈ C [ α n ≠ α m ] exp - β | | z m - z n | | 2
其中,E表征吉布斯能量;U表征数据项;V表征光滑项;γ表征平滑项在吉布斯能量中所占的比重;β表征与图像对比度相关的系数;
N10、当所述能量函数值收敛时,根据所述能量函数值确定图像特征区域。
在本发明一个实施例中,为了进一步提高提取轮廓线的准确度,步骤102的具体实施方式:对所述两站图片进行降噪;确定降噪后每一个像素点的亮度梯度以及亮度梯度方向;根据所述亮度梯度和梯度方向,在图像中跟踪整个目标的边缘,确定目标轮廓线。
在本发明一个实施例中,为了提高目标位置确定的准确性,步骤104的具体实施方式:确定两站相机各自对应的像空间坐标系的原点;根据所述两站相机当前帧的目标轮廓线,确定目标在两站目标轮廓线的重心点;确定目标在两站目标轮廓线的重心点在对应的像空间坐标系中的点;所述两站相机各自对应的像空间坐标系的原点与所述对应的像空间坐标系中的点,形成两条直线;确定两条直线的公垂线;通过下述公式,确定位置系数;
α = ( P 2 → - P 1 → ) l 1 → - ( ( P 2 → - P 1 → ) l 2 → ) ( l 1 → l 2 → ) 1 - ( l 1 → l 2 → ) 2 β = ( ( P 2 → - P 1 → ) l 2 → ) ( l 1 → l 2 → ) - ( P 2 → - P 1 → ) l 2 → 1 - ( l 1 → l 2 → ) 2
其中,α、β表征位置系数;设所述两站相机对应的像空间坐标系中的点分别为P1和P2,所述两条直线分别为L1和L2,且P1为L1上的点,P2为L2上的点,表征点P1的向量;表征点P2的向量;表征直线L1的方向矢量;表征直线L2的方向矢量;
根据所述位置系数,利用公垂线方程计算所述公垂线与两条直线交点的坐标以及两个交点的距离;根据所述公垂线与两条直线交点的坐标,计算中垂线中点的坐标;当两个交点的距离小于一定值时,则确定所述目标模型在所述模拟的成像空间中的位置为所述中垂线中点的坐标。
在本发明一个实施例中,为了避免匹配过程进入死循环,该方法进一步包括:设置目标函数阈值和/或迭代次数阈值;步骤106的具体实施方式:重复执行S1至S3,直至确定匹配成功:S1:确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb;S2:选取Ea和Eb中的较大的一个,作为当前目标函数值;S3:判断所述当前目标函数值是否小于所述目标函数阈值,如果是,则确定所述当前目标函数值为目标函数阈值,并确定当前目标函数值对应的目标模型的当前姿态,为目标的当前姿态,否则,判断当前目标函数值的迭代次数是否达到所述迭代次数阈值,如果是,则执行所述N7,为目标的当前姿态,否则,调整所述目标模型姿态,对所述调整后的目标模型进行拍摄,确定调整后的模拟图片,并提取所述调整后的模拟图片的模拟轮廓线,执行S1。
在本发明一个实施例中,为了使目标姿态更加准确,步骤107的具体实施方式:分别确定两站相机的目标函数值;根据所述两站相机的目标函数值及目标到两站相机的距离,通过下述权重公式,分别计算两站相机的权重;
两站相机的权重公式分别为:
μ L = E R a R E L a L + E R a R , a L = D L + D R D L
μ R = E L a L E L a L + E R a R , a R = D L + D R D R
其中,所述μ表征权重;E表征目标函数值;a表征能量平衡系数,D表征两站分别到目标的距离;L表征两站相机中的第一站相机;R表征两站相机中的第二站相机;
利用下述求解公式,计算目标姿态;
X = X L μ L + X R μ R μ L + μ R ,
其中,所述X表征目标姿态;所述XL表征利用两站相机中的第一站相机获得的第一目标姿态;所述XR表征利用两站相机中的第二站相机获得的第二目标姿态。
如图2所示,本发明另一实施例中提供一种目标位姿测量方法,该方法可以包括如下步骤:
步骤200:设置目标函数阈值和迭代次数阈值;
步骤201:确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间;
例如:在地面上放置两台相机,拍摄目标为无人航拍飞机,则这两台相机对无人航拍飞机进行连续拍摄,获得的连续拍摄的图片或影像即为目标影像序列;该无人航拍飞机的模型可由飞机制造商等提供,模拟的成像空间,主要是以地面放置的两台相机的角度为出发点,根据相机的参数如焦距、相机的坐标等,确定出模拟的成像空间。
步骤202:对当前帧的两站图片进行图像分割,确定图像特征区域;
对于当前帧为首帧的图片来说,需要用户选定目标区域以及部分前景点和部分后景点,例如:对于无人航拍飞机的图片来说,用户可以用矩形框选定出包含有无人航拍飞机的区域作为目标区域,那么,进行图像分割的过程就可以变成只对目标区域进行图像分割,而对于后续帧来说,图像分割自动完成,并采用与首帧相同的分割方法。在该步骤中,主要提供两种分割方法来对图像进行分割,具体选用哪种方法进行图像分割,则通过判断下述公式的真假来确定,若为真,则选用方法一进行图像分割,若为假,则选用方法二进行图像分割;
isTrehold=(fgMin>bgMax)||(fgMax<bgMin)
其中,Treshold表征阈值;fgMin表征理论前景点集合中像素最小值;bgMax表征理论背景点集合中像素最大值;fgMax表征理论前景点集合中像素最大值;bgMin表征理论背景点集合中像素最小值;
方法一进行图像分割过程:
通过下述阈值公式计算阈值;
阈值公式:
t h r e h o l d = ( f g M i n + b g M a x ) 2 ; f g M i n > b g M a x ( f g M a x + b g M i n ) 2 ; f g M a x < b g M i n
根据下述判定公式,判断目标区域的像素点是前景点还是背景点;
判定公式为:
D ( x , y ) = 1 ; I ( x , y ) > t h r e h o l d 0 ; I ( x , y ) < t h r e h o l d
其中,所述D(x,y)表征分割后的图片中的像素点;所述1表征像素点为前景点;所述0表征像素点为背景点;
即当前像素点大于图像分割阈值时,则当前像素点为前景点,否则,为背景点;
确定所有前景点组成的集合为图像特征区域,并结束。
方法二进行图像分割过程:
将标记的部分前景点和部分背景点分别聚为K个类;
利用下述公式,初始化各个类的高斯混合模型参数;
θ={π(α,k),μ(α,k),∑(α,k),α=0,1,k=1…K}
其中,所述θ表征高斯混合模型参数;π(.)表征高斯分量在整个高斯模型中的权重;μ(.)表征均值向量;∑(.)表征斜方差矩阵;
重复执行M1至M3,直至收敛:
M1:对每个像素点分配高斯分量;
kn=argminD(αn,knn,zn)
D(αn,knn,zn)=-logp(znn,kn,θ)-logπ(αn,kn)
其中,αn为0表征第n个像素点属于前景点;αn为1表征第n个像素点属于背景点;kn∈{1,2,…,K},Zn表征第n个像素点的像素值;p(.)表征高斯概率分布;π(.)表征高斯分量在整个高斯模型中的权重;
M2:根据每一个像素的高斯分量,确定高斯混合模型的参数;
θ=argminU(α,k,θ,z)
U ( &alpha; , k , &theta; , z ) = &Sigma; n D ( &alpha; n , k n , &theta; n , z n )
其中,U表征能量函数中的数据项;
M3:根据下述公式,计算能量函数:
m i n { &alpha; n | n &Element; T U } min E ( &alpha; , k , &theta; , z )
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)
V ( &alpha; , z ) = &gamma; &Sigma; ( m , n ) &Element; C &lsqb; &alpha; n &NotEqual; &alpha; m &rsqb; exp - &beta; | | z m - z n | | 2
其中,E表征吉布斯能量;U表征数据项;V表征光滑项;γ表征平滑项在吉布斯能量中所占的比重;β表征与图像对比度相关的系数;
当能量函数值收敛时,根据所述能量函数值确定图像特征区域。
步骤203:对两站图片进行降噪,确定降噪后每一个像素点的亮度梯度以及亮度梯度方向;
步骤204:根据亮度梯度和梯度方向,在图像中跟踪整个目标的边缘,确定目标轮廓线;
在步骤203和步骤204中,对两站图片进行降噪,主要是对原始图像与高斯平滑模板作卷积;使用掩模检测水平、垂直以及对角线方向的边缘,原始图像与每个掩模作卷积;
标识当前帧分割后的图片中,每一个像素点的最大值以及该像素点生成的边缘的方向;
通过下述亮度梯度幅值及梯度方向表达式,确定每一个像素点的亮度梯度以及亮度梯度方向;
亮度梯度幅值:
梯度方向:Θ=atan2(Gy,Gx),
其中,所述Gx表征像素点在水平方向上的梯度;所述Gy表征像素点在垂直方向上的梯度;
确定两个阈值,从一个较大的阈值开始,标识确信的真实边缘,并根据每一个像素点的亮度梯度以及亮度梯度方向,从所述真实边缘开始,使用较小的阈值,在图像中跟踪整个的边缘;这一过程保证了轮廓线的连贯性。
步骤205:计算当前帧的两站图片中目标的重心坐标;
对当前帧的两站图片中所有轮廓点坐标加和求平均值。
步骤206:根据目标的重心坐标和两站相机的内外参数,确定目标模型在模拟的成像空间中的位置;
如图3所示,对于两站相机来说,命名为左相机和右相机,则左相机对应的像平面即为左像平面,右相机对应的像平面即为右像平面,图中S1和S2分别为左像平面和右像平面对应的像空间坐标系的原点;分别根据左像平面和右像平面的当前帧的目标轮廓线确定左像平面和右像平面中目标的重心点,该处重心点的确定是对目标轮廓线上的关键点的像素点加权平均获得,并确定左像平面和右像平面中目标的重心点在对应的像空间坐标系中的点为图中P1和P2;左像平面和右像平面各自对应的像空间坐标系的原点S1和S2与所述对应的像空间坐标系中的点P1和P2,形成两条直线,记为L1和L2,该L1和L2可能为异面直线;该L1和L2的方向矢量分别为点m1和m2分别为L1和L2上的点,当|m1m2|值最小时,m1m2即为两条直线的公垂线;通过下述公式,确定位置系数;
&alpha; = ( P 2 &RightArrow; - P 1 &RightArrow; ) l 1 &RightArrow; - ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2 &beta; = ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) - ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2
其中,α、β表征位置系数;表征点P1的向量;表征点P2的向量;表征直线L1的方向矢量;表征直线L2的方向矢量;
根据位置系数,计算公垂线与两条直线交点的坐标以及两个交点的距离;根据公垂线与两条直线交点的坐标,计算中垂线中点的坐标;当两个交点的距离小于一定值时,则确定目标模型在模拟的成像空间中的位置为中垂线中点的坐标。
步骤207:获取模拟的成像空间中目标模型的模拟图片,并提取模拟图片的模拟轮廓线;
由于模拟过程没有外界环境的干扰等,噪声点等对其影响不大,则该模拟轮廓线的获取过程可以直接进行轮廓线提取,而无需消除噪声等。
步骤208:确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb
假设有轮廓点集Ω,用pi表示轮廓线上的关键点,则
Ω={pi=(xi,yi),i=1,…,n}
其中,(xi,yi)为像平面坐标系中的坐标值,n为轮廓线关键点的个数。
设目标轮廓线为ΩL0,轮廓点个数为nL0,模拟轮廓线为ΩL1,轮廓点个数为nL1
在该步骤中,通过模拟轮廓线相对实际轮廓线的目标函数,获得目标函数值:
E a = &Sigma; i = 1 n L 0 m i n ( d i s t ( p 0 i , p 1 j ) ) , j = 1 , 2 , ... n L 1
其中,p0i∈ΩL0,p1j∈ΩL1,nL0表征当前实际轮廓线中关键点的个数,p0i表征当前目标轮廓线中关键点i的坐标,p1j表征当前模拟轮廓线中关键点j的坐标,dist(p0i,p1j)表征点p0i与p1j的欧氏距离,同理可求得当前实际轮廓线相对当前模拟轮廓线的目标函数值Eb
步骤209:选取Ea和Eb中的较大的一个,作为当前目标函数值;
即:E=max(Ea,Eb)
步骤210:判断当前目标函数值是否小于目标函数阈值,如果是,则执行步骤211;否则,执行步骤212;
值得说明的是,在该步骤中目标函数阈值的来源有两种,在对首帧图像对应的模拟轮廓线的目标函数值进行判断时,目标函数阈值的来源主要是在装置中设定的目标函数阈值;在对除首帧之外的后续帧对应的模拟轮廓线的目标函数值进行判断时,当前帧对应的目标函数阈值的来源主要是上一帧或上几帧更新的目标函数阈值,例如:判断出第一帧对应的模拟轮廓线的目标函数值小于目标函数阈值,那么,就以该第一帧对应的目标函数值作为新的目标函数阈值更新原有的目标函数阈值(即步骤211中确定当前目标函数值为目标函数阈值的过程),当判断第二帧对应的目标函数值时,用第一帧更新的目标函数阈值进行判断,如果最终第二帧对应的目标函数值大于目标函数阈值,则在判断第三帧对应的目标函数值时,仍然采用第一帧更新目标函数阈值进行判断。
步骤211:确定当前目标函数值为目标函数阈值,并确定当前目标函数值对应的目标模型的当前姿态,为目标的当前姿态,并执行步骤213;
在该步骤中,获得当前姿态的过程:
分别确定两站相机的目标函数值;
根据两站相机的目标函数值及目标到两站相机的距离,通过下述权重公式,分别计算两站相机的权重;
两站相机的权重公式分别为:
&mu; L = E R a R E L a L + E R a R , a L = D L + D R D L
&mu; R = E L a L E L a L + E R a R , a R = D L + D R D R
其中,所述μ表征权重;E表征目标函数值;a表征能量平衡系数,D表征两站分别到目标的距离;L表征两站相机中的第一站相机;R表征两站相机中的第二站相机;
利用下述求解公式,计算目标姿态;
求解公式:
X = X L &mu; L + X R &mu; R &mu; L + &mu; R ,
其中,所述X表征目标姿态;所述XL表征利用两站相机中的第一站相机获得的第一目标姿态;所述XR表征利用两站相机中的第二站相机获得的第二目标姿态。
步骤212:判断当前目标函数值的迭代次数是否达到迭代次数阈值,如果是,则执行步骤213;否则,执行步骤214;
步骤213:判断当前帧是否为目标影像序列中的最后一帧,如果是,则执行步骤215;否则,执行步骤216;
步骤214:调整目标模型姿态,对调整后的目标模型进行拍摄,并执行步骤207;
目标姿态主要包括六维数据,分别为坐标值,即x、y、z值,以及x、y、z方向上的姿态角;
在该发明实施例中,目标的空间坐标(x,y,z)已经确定,该调整目标模型姿态,则只需要对三个姿态角进行调整,维数已经降至三维,某些情况甚至更低(如路面上行驶的汽车,仅有两维姿态角),效果相应会得到提升。
新解的产生是基于上一帧姿态,例如:第一帧确定了目标姿态后,将第一帧确定的目标姿态作为下一帧也就是第二帧目标模型的初始姿态。由于相邻两帧目标姿态的变化幅度不会很大,相应的,调整变化的范围也不会很大,这使得会很快求得合理的结果。
步骤215:结束匹配,并结束当前流程;
步骤216:将下一帧作为当前帧,并执行步骤202。
如图4所示,本发明实施例提供一种目标位姿测量装置,该装置包括:
确定单元401,用于确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间;
第一提取单元402,用于提取确定单元401确定的目标影像序列中当前帧的两站图片中目标轮廓线,计算当前帧的两站图片中目标的重心坐标,并接收判断单元405的触发;
第二提取单元403,用于根据第一提取单元402计算出的重心坐标和两站相机的内外参数,确定目标模型在确定单元401确定的模拟的成像空间中的位置;获取模拟的成像空间中所述目标模型的模拟图片,并提取模拟图片的模拟轮廓线;
姿态确定单元404,用于将第二提取单元403提取的模拟轮廓线与对应的第一提取单元402提取的目标轮廓线进行匹配,确定目标的当前姿态,并触发判断单元405;
判断单元405,用于在接收到姿态确定单元404的触发时,判断姿态确定单元404确定的目标的当前姿态对应的当前帧是否为最后一帧,如果否,则将下一帧作为当前帧,并触发第一提取单元402。
在本发明又一实施例中,第一提取单元402,进一步用于:对当前帧的两站图片进行图像分割,确定图像特征区域,并提取所述图像特征区域中的目标轮廓线。
通过对图像进行分割,可以使目标轮廓线提取只针对于图像特征区域,而不是针对于图像的整体区域,缩小了目标轮廓线的提取范围,可以有效地提高轮廓线提取的效率。
在本发明另一实施例中,第一提取单元402,用于执行N01至N010的操作过程:
N01、确定所述当前帧的两站图片的目标区域、理论前景点集合和理论背景点集合;
N02、判断下述公式的真假,若为真,则执行N03,否则,执行N06;
isTrehold=(fgMin>bgMax)||(fgMax<bgMin)
其中,所述Treshold表征阈值;所述fgMin表征理论前景点集合中像素最小值;bgMax表征理论背景点集合中像素最大值;所述fgMax表征理论前景点集合中像素最大值;bgMin表征理论背景点集合中像素最小值;
N03、确定图像分割阈值;
N04、对所述目标区域中的所有像素点,执行判断当前像素点是否大于所述图像分割阈值,如果是,则当前像素点为前景点,否则,为背景点,
N05、确定所有前景点组成的集合为图像特征区域,并结束;
N06、确定并标记目标区域中部分前景点和部分背景点;
N07、将所述标记的部分前景点和部分背景点分别聚为K个类;
N08、初始化各个类的高斯混合模型参数;
N09、重复执行N091至N093,直至收敛:
N091:对每个像素点分配高斯分量;
N092:根据每一个像素的高斯分量,确定高斯混合模型的参数;
N093:根据下述公式,计算能量函数:
m i n { &alpha; n | n &Element; T U } min E ( &alpha; , k , &theta; , z )
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z),
V ( &alpha; , z ) = &gamma; &Sigma; ( m , n ) &Element; C &lsqb; &alpha; n &NotEqual; &alpha; m &rsqb; exp - &beta; | | z m - z n | | 2
其中,E表征吉布斯能量;U表征数据项;V表征光滑项;γ表征平滑项在吉布斯能量中所占的比重;β表征与图像对比度相关的系数;
N010、当所述能量函数值收敛时,根据所述能量函数值确定图像特征区域。
通过执行N01至N010的操作过程,可以使图像特征区域更加准确,进一步缩小了目标轮廓线的提取范围。
在本发明另一实施例中,第一提取单元402,用于:对两站图片进行降噪;确定降噪后每一个像素点的亮度梯度以及亮度梯度方向;根据亮度梯度和梯度方向,在图像中跟踪整个目标的边缘,确定目标轮廓线;通过这一过程可以有效地提高轮廓线的准确性,避免了噪声点、冗余点等的干扰。
在本发明又一实施例中,第二提取单元403,用于确定两站相机各自对应的像空间坐标系的原点;根据所述两站相机当前帧的目标轮廓线,确定目标在两站目标轮廓线的重心点;确定目标在两站目标轮廓线的重心点在对应的像空间坐标系中的点;两站相机各自对应的像空间坐标系的原点与对应的像空间坐标系中的点,形成两条直线;确定两条直线的公垂线;通过下述公式,确定位置系数;
&alpha; = ( P 2 &RightArrow; - P 1 &RightArrow; ) l 1 &RightArrow; - ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2 &beta; = ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) - ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2
其中,α、β表征位置系数;设所述两站相机对应的像空间坐标系中的点分别为P1和P2,所述两条直线分别为L1和L2,且P1为L1上的点,P2为L2上的点,表征点P1的向量;表征点P2的向量;表征直线L1的方向矢量;表征直线L2的方向矢量;
根据位置系数,利用公垂线方程计算所述公垂线与两条直线交点的坐标以及两个交点的距离;根据公垂线与两条直线交点的坐标,计算中垂线中点的坐标;当两个交点的距离小于一定值时,则确定所述目标模型在所述模拟的成像空间中的位置为所述中垂线中点的坐标。
在本发明又一实施例中,上述装置进一步包括:设置单元(图中未示出),其中,
设置单元,用于设置目标函数阈值和/或迭代次数阈值;
姿态确定单元404,用于重复执行S1至S3,直至确定匹配成功:
S1:确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb
S2:选取Ea和Eb中的较大的一个,作为当前目标函数值;
S3:判断所述当前目标函数值是否小于所述目标函数阈值,如果是,则确定所述当前目标函数值为目标函数阈值,并确定当前目标函数值对应的目标模型的当前姿态,为目标的当前姿态,否则,判断当前目标函数值的迭代次数是否达到所述迭代次数阈值,如果是,则执行所述N7,否则,调整所述目标模型姿态,对所述调整后的目标模型进行拍摄,确定调整后的模拟图片,并提取所述调整后的模拟图片的模拟轮廓线,执行S1。
在本发明另一实施例中,姿态确定单元404,用于分别确定两站相机的目标函数值;根据所述两站相机的目标函数值及目标到两站相机的距离,通过下述权重公式,分别计算两站相机的权重;
两站相机的权重公式分别为:
&mu; L = E R a R E L a L + E R a R , a L = D L + D R D L
&mu; R = E L a L E L a L + E R a R , a R = D L + D R D R
其中,所述μ表征权重;E表征目标函数值;a表征能量平衡系数,D表征两站分别到目标的距离;L表征两站相机中的第一站相机;R表征两站相机中的第二站相机;
利用下述求解公式,计算目标姿态;
求解公式:
X = X L &mu; L + X R &mu; R &mu; L + &mu; R ,
其中,所述X表征目标姿态;所述XL表征利用两站相机中的第一站相机获得的第一目标姿态;所述XR表征利用两站相机中的第二站相机获得的第二目标姿态。
本发明实施例所提供的方案,至少能够达到如下有益效果:
1.确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间,还包括:循环执行N1至N7,直至所述目标影像序列中所有图片中的目标均被确定位姿:N1:提取所述目标影像序列中当前帧的两站图片中目标轮廓线;N2:计算所述当前帧的两站图片中目标的重心坐标;N3:根据所述目标的重心坐标和所述两站相机的内外参数,确定所述目标模型在所述模拟的成像空间中的位置;N4:获取所述模拟的成像空间中所述目标模型的模拟图片,并提取所述模拟图片的模拟轮廓线;N5:将所述模拟轮廓线与对应的所述目标轮廓线进行匹配;N6:确定目标的当前姿态;N7:判断所述当前帧是否为所述目标影像序列中的最后一帧,如果否,则将下一帧作为当前帧,执行N1,直接匹配目标轮廓线与模拟轮廓线,在该过程中,一方面目标空间位置是通过两个相机确定出来的,相比一个相机而言,两个相机具有更多的参数,可以使目标位置更加准确,另一方面,通过将模拟轮廓线与目标轮廓线进行匹配,而不是仅对于目标中的控制点进行匹配,使得目标模型能够很好的拟合出目标的姿态,因此,本发明有效地提高了目标位姿测量的准确性。
2.在本发明实施例中,与现有技术中的一站相机拍摄相比,本发明采用两站相机进行拍摄,能够更加准确的确定目标在空间中的位置,同时,通过确定出了目标的轮廓线和模型的轮廓线,进行轮廓线间匹配,确定目标的姿态,避免了在目标上设定控制点,进一步有效地提高了目标位姿测量的准确性。
3.在现有技术中,通过相机、目标二维像点、目标三维空间点三点共线(共线方程),以及双目条件下,两个相机对应的共线方程相交于目标三维坐标,但是,在实际应用中,各种误差常常造成两条共线方程成为异面直线,不会相交,此时,计算出的目标位置不够准确,与现有技术相比,在本发明实施例中,通过公垂线确定目标的空间位置,对于不相交的异面直线间肯定存在一条公垂线,则通过这种公垂线的方式确定目标的空间位置,可以有效地减少误差,提高位置的准确性。
4.确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb;选取Ea和Eb中的较大的一个,作为当前目标函数值;通过这种对称性匹配的方式,使得目标函数值的准确性较高,最后按照一定权重对两站目标函数进行加权合成,进一步提高了位姿的准确性。
5.在本发明实施例中,根据图像本身的质量和像素点,确定图像分割方式,而不是人为设定图像的分割方式,增加了图像分割的自动性,另外,通过获取图像特征区域,并对特征区域进行降噪等处理,进行提取轮廓线,可以有效提高轮廓线提取的准确性和效率。
6、在现有技术中,需要设定两站相机与目标垂直,以保证目标中轴线经过投影后的成像就是图像中成像区域的轮廓中轴线,通过求得目标的中轴线空间方程,确定目标位姿,与现有这种技术相比,本发明实施例对两站相机与目标间是否垂直没有要求,用户可以根据实际应用任意设置两站相机与目标间的角度,因此,本发明所提供的方案更具有实用性,应用更加广泛。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种目标位姿测量方法,其特征在于,确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间,还包括:
循环执行N1至N7,直至所述目标影像序列中所有图片中的目标均被确定位姿:
N1:提取所述目标影像序列中当前帧的两站图片中目标轮廓线;
N2:计算所述当前帧的两站图片中目标的重心坐标;
N3:根据所述目标的重心坐标和所述两站相机的内外参数,确定所述目标模型在所述模拟的成像空间中的位置;
N4:获取所述模拟的成像空间中所述目标模型的模拟图片,并提取所述模拟图片的模拟轮廓线;
N5:将所述模拟轮廓线与对应的所述目标轮廓线进行匹配;
N6:确定目标的当前姿态;
N7:判断所述当前帧是否为所述目标影像序列中的最后一帧,如果否,则将下一帧作为当前帧,执行N1。
2.根据权利要求1所述的方法,其特征在于,在所述N1之前,进一步包括:
对当前帧的两站图片进行图像分割,确定图像特征区域;
所述N1,包括:提取所述图像特征区域中的目标轮廓线。
3.根据权利要求2所述的方法,其特征在于,所述对当前帧的两站图片进行图像分割,确定图像特征区域,包括:
N01、确定所述当前帧的两站图片的目标区域、理论前景点集合和理论背景点集合;
N02、判断下述公式的真假,若为真,则执行N03,否则,执行N06;
isTrehold=(fgMin>bgMax)||(fgMax<bgMin)
其中,所述Treshold表征阈值;所述fgMin表征理论前景点集合中像素最小值;bgMax表征理论背景点集合中像素最大值;所述fgMax表征理论前景点集合中像素最大值;bgMin表征理论背景点集合中像素最小值;
N03、确定图像分割阈值;
N04、对所述目标区域中的所有像素点,执行判断当前像素点是否大于所述图像分割阈值,如果是,则当前像素点为前景点,否则,为背景点;
N05、确定所有前景点组成的集合为图像特征区域,并结束;
N06、确定并标记目标区域中部分前景点和部分背景点;
N07、将所述标记的部分前景点和部分背景点分别聚为K个类;
N08、初始化各个类的高斯混合模型参数;
N09、重复执行N091至N093,直至收敛:
N091:对每个像素点分配高斯分量;
N092:根据每一个像素的高斯分量,确定高斯混合模型的参数;
N093:根据下述公式,计算能量函数:
m i n { &alpha; n | n &Element; T U } min E ( &alpha; , k , &theta; , z )
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z),
V ( &alpha; , z ) = &gamma; &Sigma; ( m , n ) &Element; C &lsqb; &alpha; n &NotEqual; &alpha; m &rsqb; exp - &beta; | | z m - z n | | 2
其中,E表征吉布斯能量;U表征数据项;V表征光滑项;γ表征平滑项在吉布斯能量中所占的比重;β表征与图像对比度相关的系数;
N010、当所述能量函数值收敛时,根据所述能量函数值确定图像特征区域。
4.根据权利要求1所述的方法,其特征在于,所述N1,包括:
对所述两站图片进行降噪;
确定降噪后每一个像素点的亮度梯度以及亮度梯度方向;
根据所述亮度梯度和梯度方向,在图像中跟踪整个目标的边缘,确定目标轮廓线;和/或,
所述N3,包括:
确定两站相机各自对应的像空间坐标系的原点;
根据所述两站相机当前帧的目标轮廓线,确定目标在两站目标轮廓线的重心点;
确定目标在两站目标轮廓线的重心点在对应的像空间坐标系中的点;
所述两站相机各自对应的像空间坐标系的原点与所述对应的像空间坐标系中的点,形成两条直线;
确定两条直线的公垂线;
通过下述公式,确定位置系数;
&alpha; = ( P 2 &RightArrow; - P 1 &RightArrow; ) l 1 &RightArrow; - ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2 &beta; = ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) - ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2
其中,α、β表征位置系数;设所述两站相机对应的像空间坐标系中的点分别为P1和P2,所述两条直线分别为L1和L2,且P1为L1上的点,P2为L2上的点,表征点P1的向量;表征点P2的向量;表征直线L1的方向矢量;表征直线L2的方向矢量;
根据所述位置系数,计算所述公垂线与两条直线交点的坐标以及两个交点的距离;
根据所述公垂线与两条直线交点的坐标,计算中垂线中点的坐标;
当两个交点的距离小于一定值时,则确定所述目标模型在所述模拟的成像空间中的位置为所述中垂线中点的坐标。
5.根据权利要求1所述的方法,其特征在于,
进一步包括:设置目标函数阈值和/或迭代次数阈值;
所述N5,包括:
重复执行S1至S3,直至确定匹配成功:
S1:确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb
S2:选取Ea和Eb中的较大的一个,作为当前目标函数值;
S3:判断所述当前目标函数值是否小于所述目标函数阈值,如果是,则确定所述当前目标函数值为目标函数阈值,并确定当前目标函数值对应的目标模型的当前姿态,为目标的当前姿态,否则,判断当前目标函数值的迭代次数是否达到所述迭代次数阈值,如果是,则执行所述N7,否则,调整所述目标模型姿态,对所述调整后的目标模型进行拍摄,确定调整后的模拟图片,并提取所述调整后的模拟图片的模拟轮廓线,执行S1。
6.根据权利要求5所述方法,其特征在于,所述N6,包括:
分别确定两站相机的目标函数值;
根据所述两站相机的目标函数值及目标到两站相机的距离,通过下述权重公式,分别计算两站相机的权重;
两站相机的权重公式分别为:
&mu; L = E R a R E L a L + E R a R , a L = D L + D R D L
&mu; R = E L a L E L a L + E R a R , a R = D L + D R D R
其中,所述μ表征权重;E表征目标函数值;a表征能量平衡系数,D表征两站分别到目标的距离;L表征两站相机中的第一站相机;R表征两站相机中的第二站相机;
利用下述求解公式,计算目标姿态;
求解公式:
X = X L &mu; L + X R &mu; R &mu; L + &mu; R ,
其中,所述X表征目标姿态;所述XL表征利用两站相机中的第一站相机获得的第一目标姿态;所述XR表征利用两站相机中的第二站相机获得的第二目标姿态。
7.一种目标位姿测量装置,其特征在于,包括:
确定单元,用于确定两站相机拍摄的目标影像序列、目标模型以及模拟的成像空间;
第一提取单元,用于提取所述确定单元确定的目标影像序列中当前帧的两站图片中目标轮廓线,计算所述当前帧的两站图片中目标的重心坐标,并接收所述判断单元的触发;
第二提取单元,用于根据所述第一提取单元计算出的重心坐标和所述两站相机的内外参数,确定所述目标模型在所述确定单元确定的模拟的成像空间中的位置;获取所述模拟的成像空间中所述目标模型的模拟图片,并提取所述模拟图片的模拟轮廓线;
姿态确定单元,用于将所述第二提取单元提取的模拟轮廓线与对应的所述第一提取单元提取的目标轮廓线进行匹配,确定目标的当前姿态,并触发判断单元;
所述判断单元,用于在接收到所述姿态确定单元的触发时,判断所述姿态确定单元确定的目标的当前姿态对应的当前帧是否为最后一帧,如果否,则将下一帧作为当前帧,并触发所述第一提取单元。
8.根据权利要求7所述的装置,其特征在于,所述第一提取单元,进一步用于:
对当前帧的两站图片进行图像分割,确定图像特征区域,并提取所述图像特征区域中的目标轮廓线。
9.根据权利要求8所述的装置,其特征在于,所述第一提取单元,用于:
N01、确定所述当前帧的两站图片的目标区域、理论前景点集合和理论背景点集合;
N02、判断下述公式的真假,若为真,则执行N03,否则,执行N06;
isTrehold=(fgMin>bgMax)||(fgMax<bgMin)
其中,所述Treshold表征阈值;所述fgMin表征理论前景点集合中像素最小值;bgMax表征理论背景点集合中像素最大值;所述fgMax表征理论前景点集合中像素最大值;bgMin表征理论背景点集合中像素最小值;
N03、确定图像分割阈值;
N04、对所述目标区域中的所有像素点,执行判断当前像素点是否大于所述图像分割阈值,如果是,则当前像素点为前景点,否则,为背景点,
N05、确定所有前景点组成的集合为图像特征区域,并结束;
N06、确定并标记目标区域中部分前景点和部分背景点;
N07、将所述标记的部分前景点和部分背景点分别聚为K个类;
N08、初始化各个类的高斯混合模型参数;
N09、重复执行N091至N093,直至收敛:
N091:对每个像素点分配高斯分量;
N092:根据每一个像素的高斯分量,确定高斯混合模型的参数;
N093:根据下述公式,计算能量函数:
m i n { &alpha; n | n &Element; T U } min E ( &alpha; , k , &theta; , z )
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z),
V ( &alpha; , z ) = &gamma; &Sigma; ( m , n ) &Element; C &lsqb; &alpha; n &NotEqual; &alpha; m &rsqb; exp - &beta; | | z m - z n | | 2
其中,E表征吉布斯能量;U表征数据项;V表征光滑项;γ表征平滑项在吉布斯能量中所占的比重;β表征与图像对比度相关的系数;
N010、当所述能量函数值收敛时,根据所述能量函数值确定图像特征区域。
10.根据权利要求7所述的装置,其特征在于,
所述第一提取单元,用于:对所述两站图片进行降噪;确定降噪后每一个像素点的亮度梯度以及亮度梯度方向;根据所述亮度梯度和梯度方向,在图像中跟踪整个目标的边缘,确定目标轮廓线;
和/或,
所述第二提取单元,用于:
确定两站相机各自对应的像空间坐标系的原点;
根据所述两站相机当前帧的目标轮廓线,确定目标在两站目标轮廓线的重心点;
确定目标在两站目标轮廓线的重心点在对应的像空间坐标系中的点;
所述两站相机各自对应的像空间坐标系的原点与所述对应的像空间坐标系中的点,形成两条直线;
确定两条直线的公垂线;
通过下述公式,确定位置系数;
&alpha; = ( P 2 &RightArrow; - P 1 &RightArrow; ) l 1 &RightArrow; - ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2 &beta; = ( ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; ) ( l 1 &RightArrow; l 2 &RightArrow; ) - ( P 2 &RightArrow; - P 1 &RightArrow; ) l 2 &RightArrow; 1 - ( l 1 &RightArrow; l 2 &RightArrow; ) 2
其中,α、β表征位置系数;设所述两站相机对应的像空间坐标系中的点分别为P1和P2,所述两条直线分别为L1和L2,且P1为L1上的点,P2为L2上的点,表征点P1的向量;表征点P2的向量;表征直线L1的方向矢量;表征直线L2的方向矢量;
根据所述位置系数,计算所述公垂线与两条直线交点的坐标以及两个交点的距离;
根据所述公垂线与两条直线交点的坐标,计算中垂线中点的坐标;
当两个交点的距离小于一定值时,则确定所述目标模型在所述模拟的成像空间中的位置为所述中垂线中点的坐标;
和/或,
进一步包括:设置单元,其中,
所述设置单元,用于设置目标函数阈值和/或迭代次数阈值;
所述姿态确定单元,用于重复执行S1至S3,直至确定匹配成功:
S1:确定当前模拟轮廓线相对当前目标轮廓线的目标函数值Ea和当前目标轮廓线相对当前模拟轮廓线的目标函数值Eb
S2:选取Ea和Eb中的较大的一个,作为当前目标函数值;
S3:判断所述当前目标函数值是否小于所述目标函数阈值,如果是,则确定所述当前目标函数值为目标函数阈值,并确定当前目标函数值对应的目标模型的当前姿态,为目标的当前姿态,否则,判断当前目标函数值的迭代次数是否达到所述迭代次数阈值,如果是,则执行所述N7,否则,调整所述目标模型姿态,对所述调整后的目标模型进行拍摄,确定调整后的模拟图片,并提取所述调整后的模拟图片的模拟轮廓线,执行S1;
和/或,
所述姿态确定单元,用于分别确定两站相机的目标函数值;
根据所述两站相机的目标函数值及目标到两站相机的距离,通过下述权重公式,分别计算两站相机的权重;
两站相机的权重公式分别为:
&mu; L = E R a R E L a L + E R a R , a L = D L + D R D L
&mu; R = E L a L E L a L + E R a R , a R = D L + D R D R
其中,所述μ表征权重;E表征目标函数值;a表征能量平衡系数,D表征两站分别到目标的距离;L表征两站相机中的第一站相机;R表征两站相机中的第二站相机;
利用下述求解公式,计算目标姿态;
求解公式:
X = X L &mu; L + X R &mu; R &mu; L + &mu; R ,
其中,所述X表征目标姿态;所述XL表征利用两站相机中的第一站相机获得的第一目标姿态;所述XR表征利用两站相机中的第二站相机获得的第二目标姿态。
CN201510641038.1A 2015-09-30 2015-09-30 一种目标位姿测量方法和装置 Expired - Fee Related CN105258680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510641038.1A CN105258680B (zh) 2015-09-30 2015-09-30 一种目标位姿测量方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510641038.1A CN105258680B (zh) 2015-09-30 2015-09-30 一种目标位姿测量方法和装置

Publications (2)

Publication Number Publication Date
CN105258680A true CN105258680A (zh) 2016-01-20
CN105258680B CN105258680B (zh) 2017-12-01

Family

ID=55098465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510641038.1A Expired - Fee Related CN105258680B (zh) 2015-09-30 2015-09-30 一种目标位姿测量方法和装置

Country Status (1)

Country Link
CN (1) CN105258680B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105816998A (zh) * 2016-03-11 2016-08-03 上海泰亿格康复医疗科技股份有限公司 一种平衡仪重心坐标测量方法
CN106776844A (zh) * 2016-11-28 2017-05-31 河南科技大学 一种复杂节点连接图的模拟力场集束捆绑方法
CN107169976A (zh) * 2017-04-20 2017-09-15 温州市鹿城区中津先进科技研究院 电商平台展示图片大数据的产品轮廓线绘制方法
CN109087323A (zh) * 2018-07-25 2018-12-25 武汉大学 一种基于精细cad模型的图像车辆三维姿态估计方法
CN109087355A (zh) * 2018-06-15 2018-12-25 哈尔滨工业大学 基于迭代更新的单目相机位姿测量装置与方法
CN111145248A (zh) * 2018-11-06 2020-05-12 北京地平线机器人技术研发有限公司 位姿信息确定方法、确定装置和电子设备
CN112991765A (zh) * 2021-02-03 2021-06-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种道路高排放源识别模型更新方法、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592268A (zh) * 2012-01-06 2012-07-18 清华大学深圳研究生院 一种分割前景图像的方法
CN103914856A (zh) * 2014-04-14 2014-07-09 贵州电网公司输电运行检修分公司 一种基于熵值的运动目标检测方法
KR20140123394A (ko) * 2013-04-12 2014-10-22 삼성전자주식회사 촬상 장치 및 제어 방법
CN104156947A (zh) * 2014-07-23 2014-11-19 小米科技有限责任公司 图像分割方法、装置及设备
CN104463165A (zh) * 2014-10-24 2015-03-25 南京邮电大学 一种融合Canny算子与Vibe算法的目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592268A (zh) * 2012-01-06 2012-07-18 清华大学深圳研究生院 一种分割前景图像的方法
KR20140123394A (ko) * 2013-04-12 2014-10-22 삼성전자주식회사 촬상 장치 및 제어 방법
CN103914856A (zh) * 2014-04-14 2014-07-09 贵州电网公司输电运行检修分公司 一种基于熵值的运动目标检测方法
CN104156947A (zh) * 2014-07-23 2014-11-19 小米科技有限责任公司 图像分割方法、装置及设备
CN104463165A (zh) * 2014-10-24 2015-03-25 南京邮电大学 一种融合Canny算子与Vibe算法的目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张娅丽: "基于投影匹配的姿态测量方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王阳: "基于轮廓线匹配的目标姿态求解研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105816998A (zh) * 2016-03-11 2016-08-03 上海泰亿格康复医疗科技股份有限公司 一种平衡仪重心坐标测量方法
CN106776844A (zh) * 2016-11-28 2017-05-31 河南科技大学 一种复杂节点连接图的模拟力场集束捆绑方法
CN107169976A (zh) * 2017-04-20 2017-09-15 温州市鹿城区中津先进科技研究院 电商平台展示图片大数据的产品轮廓线绘制方法
CN109087355A (zh) * 2018-06-15 2018-12-25 哈尔滨工业大学 基于迭代更新的单目相机位姿测量装置与方法
CN109087355B (zh) * 2018-06-15 2021-09-14 哈尔滨工业大学 基于迭代更新的单目相机位姿测量装置与方法
CN109087323A (zh) * 2018-07-25 2018-12-25 武汉大学 一种基于精细cad模型的图像车辆三维姿态估计方法
CN111145248A (zh) * 2018-11-06 2020-05-12 北京地平线机器人技术研发有限公司 位姿信息确定方法、确定装置和电子设备
CN111145248B (zh) * 2018-11-06 2023-06-27 北京地平线机器人技术研发有限公司 位姿信息确定方法、确定装置和电子设备
CN112991765A (zh) * 2021-02-03 2021-06-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种道路高排放源识别模型更新方法、终端及存储介质

Also Published As

Publication number Publication date
CN105258680B (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN105258680A (zh) 一种目标位姿测量方法和装置
CN105956539B (zh) 一种应用背景建模和双目视觉原理的人体身高测量方法
WO2021004312A1 (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
CN112444242B (zh) 一种位姿优化方法及装置
CN104167016B (zh) 一种基于rgb彩色与深度图像的三维运动重建方法
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN108288294A (zh) 一种3d相机群的外参标定方法
CN104933718A (zh) 一种基于双目视觉的物理坐标定位方法
CN106553195A (zh) 工业机器人抓取过程中的物体6自由度定位方法及***
CN107680137B (zh) 一种基于球体投影公切线的多相机标定及参数优化方法
CN108871349A (zh) 一种深空探测器光学导航位姿加权确定方法
CN104182968B (zh) 宽基线多阵列光学探测***模糊动目标分割方法
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN104090664B (zh) 一种交互式投影方法、装置及***
CN111784775B (zh) 一种标识辅助的视觉惯性增强现实注册方法
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN106447725A (zh) 基于轮廓点混合特征匹配的空间目标姿态估计方法
CN110533687A (zh) 多目标三维轨迹跟踪方法及装置
CN104902201B (zh) 基于移动视点与异形屏幕的投影图像实时校正方法
CN103810475A (zh) 一种目标物识别方法及装置
CN108932734A (zh) 单目图像的深度恢复方法及装置、计算机设备
CN109325995A (zh) 基于人手参数模型的低分辨率多视角手部重建方法
CN100416466C (zh) 单目视觉半实物仿真***及方法
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及***
CN106595595A (zh) 一种基于深度传感器的室内机器人定向方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171201