CN117237192B - 视场分割集成面阵相机的全幅影像拼合方法和装置 - Google Patents

视场分割集成面阵相机的全幅影像拼合方法和装置 Download PDF

Info

Publication number
CN117237192B
CN117237192B CN202311241609.3A CN202311241609A CN117237192B CN 117237192 B CN117237192 B CN 117237192B CN 202311241609 A CN202311241609 A CN 202311241609A CN 117237192 B CN117237192 B CN 117237192B
Authority
CN
China
Prior art keywords
image
sub
images
characteristic
point pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311241609.3A
Other languages
English (en)
Other versions
CN117237192A (zh
Inventor
方勇
胡海彦
高力
张丽
龚辉
黄艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
61540 Troops of PLA
Original Assignee
61540 Troops of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 61540 Troops of PLA filed Critical 61540 Troops of PLA
Priority to CN202311241609.3A priority Critical patent/CN117237192B/zh
Publication of CN117237192A publication Critical patent/CN117237192A/zh
Application granted granted Critical
Publication of CN117237192B publication Critical patent/CN117237192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种视场分割集成面阵相机的全幅影像拼合方法和装置,所述方法包括:利用视场分割集成面阵相机,采集得到子影像集合;根据N1个子影像范围信息,确定全幅影像的范围信息;利用特征匹配校正模型,对每个子影像分别进行校正处理,得到对应的校正子影像;利用位置误差最小化模型,对每个校正子影像分别进行计算处理,得到每个校正子影像在全幅影像的位置信息;利用所述每个校正子影像在全幅影像的位置信息,对所有校正子影像进行拼接处理,得到拼合后的全幅影像。本发明方法还通过多面阵融合重建全幅影像几何关系,降低了受时间、环境因素变化导致检校参数变化导致的影响,进一步保证了生成影像质量。

Description

视场分割集成面阵相机的全幅影像拼合方法和装置
技术领域
本发明涉及航空摄影测量技术领域,尤其涉及一种视场分割集成面阵相机的全幅影像拼合方法和装置。
背景技术
航空摄影测量***是获取大比例尺地理空间信息的主要手段,新一代航空测量相机技术发展要求同时满足大视场和高分辨率特性,视场分割集成面阵综合高分辨率成像体制是主要技术途径之一,此类相机的原始摄影数据为含有各类畸变的分块子影像,需要基于精准检校参数,生成无畸变满幅大面阵影像,以满足严苛的行业应用技术与规范要求。另外,由于目前的航空摄影图像的图像畸变校准和拼接方法具有较高的实现复杂度,航空摄影测量的图像畸变校准和拼接,均在地面完成,影响了航空摄影处理的时效性。
如何基于含有各类畸变的分块子影像,克服时间、环境因素变化导致检校参数变化导致的影响,快速生成高质量的全幅影像,是目前需要解决的问题。
发明内容
针对如何基于含有各类畸变的分块子影像,克服时间、环境因素变化导致检校参数变化导致的影响,快速生成高质量的全幅影像的问题,本申请公开了一种视场分割集成面阵相机的全幅影像拼合方法,包括:
S1,利用视场分割集成面阵相机,采集得到子影像集合;所述视场分割集成面阵相机,包括一个镜头、一个光轴、一个光学视场分割器和N1个光学传感器;N1为大于1的正整数;所述光学视场分割器将视场分割为N1个视场区域,每个光学传感器对对应的视场区域进行成像,得到子影像信息集合;所述子影像信息集合,包括N1个子影像信息;所述子影像信息,包括子影像像素信息、子影像范围信息、子影像位置信息;
S2,根据N1个子影像范围信息,确定全幅影像的范围信息;根据子影像位置信息和全幅影像的范围信息,确定子影像全幅位置信息;根据所述全幅影像的范围信息,对全幅影像进行初始化;
S3,利用特征匹配校正模型,对每个子影像分别进行校正处理,得到对应的校正子影像;
S4,利用位置误差最小化模型,对每个校正子影像分别进行计算处理,得到每个校正子影像在全幅影像的位置信息;
S5,利用所述每个校正子影像在全幅影像的位置信息,对所有校正子影像进行拼接处理,得到拼合后的全幅影像。
所述利用特征匹配校正模型,对每个子影像分别进行校正处理,得到对应的校正子影像,包括:
S31,根据光学视场分割器,确定每个子影像的相邻视场区域信息;
S32,根据每个子影像的相邻视场区域信息,确定两个相邻子影像的重叠影像范围;
S33,对每个重叠影像范围内的每个影像点,进行特征值计算处理,得到所有重叠影像范围的所有影像点的特征值;
S34,对每个重叠影像范围内的每个影像点,判断其特征值是否大于设定的特征阈值,得到特征值判别结果;若所述特征值判别结果为大于等于设定的特征阈值,确定所述影像点为第一特征点;若所述特征值判别结果为小于设定的特征阈值,确定所述影像点不是第一特征点;
S35,利用两个相邻子影像的重叠影像范围中的第一特征点,构建第一特征点对集合;所述第一特征点对集合,包括多个第一特征点对;所述第一特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第一特征点;
S36,对每两个相邻子影像的重叠影像范围对应的第一特征点对集合,进行互相关匹配处理,得到第二特征点对集合;所述第二特征点对集合,包括多个第二特征点对;所述第二特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第二特征点;
S37,对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合,分别进行相邻子影像位置一致性判别处理,得到第三特征点对集合;所述第三特征点对集合,包括多个第三特征点对;所述第三特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第三特征点;
S38,利用子影像全幅位置信息对所有相邻子影像进行筛选处理,得到待校正子影像对;
S39,利用第三特征点对集合,对每个待校正子影像对进行校正参数求解处理,得到每个待校正子影像的校正参数,利用所述校正参数,对相应子影像进行校正处理,得到对应的校正子影像。
所述特征值计算处理,其计算表达式为:
I=det(W)/|k1tr2(W)|,
式中,Pa为二维离散高斯滤波矩阵,qx为所述影像点在子影像的像方坐标系x轴方向的梯度值,W为中间特征矩阵,qy为所述影像点在子影像的像方坐标系y轴方向的梯度值,det为矩阵的行列式运算,tr为矩阵的迹运算,k1为计算常数,I为计算得到的特征值。
所述对每两个相邻子影像的重叠影像范围对应的第一特征点对集合,进行互相关匹配处理,得到第二特征点对集合,包括:
对每两个相邻子影像的重叠影像范围对应的第一特征点对集合中的每个第一特征点对,计算得到对应的互相关值,所述互相关值的计算表达式为:
其中,p,q表示所述第一特征点对中的两个第一特征点,R(p,q)表示第一特征点对(p,q)的互相关值,A(u+i,v+j)表示相邻子影像A的坐标为(u+i,v+j)的像素点的像素值,B(u'+i,v'+j)表示相邻子影像B的坐标为(u'+i,v'+j)的像素点的像素值,(u,v)表示第一特征点p在相邻子影像A中的坐标值,(u',v')表示第一特征点q在相邻子影像B中的坐标值,i和j分别为子影像的像方坐标系的x轴坐标序号值和y轴坐标序号值,n为邻近区域的像素范围值,μ1和δ1分别是在相邻子影像A的第一特征点p的邻近区域的像素点的均值和方差,μ2和δ2分别是在相邻子影像B的第一特征点q的邻近区域的像素点的均值和方差;
判断每个第一特征点对的互相关值是否小于设定的互相关阈值,得到互相关判断结果;
若所述互相关判断结果为小于,确定所述第一特征点对为第二特征点对;
若所述互相关判断结果为不小于,确定所述第一特征点对不为第二特征点对;
利用所述两个相邻子影像的重叠影像范围对应的所有第二特征点对,构建得到所述两个相邻子影像的重叠影像范围对应的第二特征点对集合。
所述对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合,分别进行相邻子影像位置一致性判别处理,得到第三特征点对集合,包括:
对每个第二特征点对集合对应的两个相邻子影像,确定在全幅影像中靠左的相邻子影像为基准子影像,确定在全幅影像中靠右的相邻子影像为计算子影像;
对于第二特征点对的位于计算子影像内的第二特征点,建立特征拟合方程;对于第i1个第二特征点对集合对应的相邻子影像中的计算子影像,特征拟合方程的计算表达式为:
xi1,2,j1=ai1,0+ai1,1xi1,1,j1+ai1,2yi1,1,j1
yi1,2,j1=bi1,0+bi1,1xi1,1,j1+bi1,2yi1,1,j1
其中,ai1,0、ai1,1、ai1,2、bi1,0、bi1,1、bi1,2为第i1个第二特征点对集合对应的特征拟合方程的特征拟合参数,(xi1,1,j1,yi1,1,j1)为第i1个第二特征点对集合的第j1个第二特征点对的位于计算子影像内的第二特征点的位置坐标,(xi1,2,j1,yi1,2,j1)为对位置坐标为(xi1,1,j1,yi1,1,j1)的第二特征点利用特征拟合方程进行变换处理后得到的拟合位置坐标;
利用特征拟合方程,对所述第二特征点对集合的位于计算子影像内的每个第二特征点的位置坐标进行变换处理,得到对应的拟合位置坐标的表达式;
利用所有拟合位置坐标的表达式和对应的第二特征点对的位于基准子影像内的第二特征点的位置坐标,建立特征拟合参数求解方程;所述第i1个第二特征点对集合对应的特征拟合参数求解方程,其表达式为:
ai1,0+ai1,1xi1,1,j1+ai1,2yi1,1,j1-xi1,3,j1=Δxi1
bi1,0+bi1,1xi1,1,j1+bi1,2yi1,1,j1-yi1,3,j1=Δyi1
j1=1,2,...,i1m,
其中,ai1,0、ai1,1、ai1,2、bi1,0、bi1,1、bi1,2、Δxi1、Δyi1为所述特征拟合参数求解方程的待求解的未知量,(xi1,3,j1,yi1,3,j1)为第i1个第二特征点对集合的第j1个第二特征点对的位于基准子影像内的第二特征点的位置坐标,(Δxi1、Δyi1)表示第i1个第二特征点对集合的偏移点位置坐标,i1m为第二特征点对集合所包含的第二特征点对的数目;
对所述特征拟合参数求解方程进行求解,得到特征拟合参数值 和偏移点位置坐标值/>
将所述特征拟合参数值和偏移点位置坐标值代入特征拟合方程,构建得到偏移量求解方程;所述第i1个第二特征点对集合的第j1个第二特征点对的偏移量求解方程,其表达式为:
pyi1,j1=Δyi1,j1 2+Δxi1,j1 2,
其中,(Δxi1,j1,Δyi1,j1)为对第i1个第二特征点对集合的第j1个第二特征点对求解得到的偏移位置坐标,pyi1,j1为对第i1个第二特征点对集合的第j1个第二特征点对求解得到的偏移量;
利用偏移点位置求解方程,对所述第二特征点对集合中的每个第二特征点对分别进行计算处理,得到所述第二特征点对的偏移量;判断所述偏移量是否小于预设的偏移量阈值,若小于预设的偏移量阈值,确定所述第二特征点对为第三特征点对;若不小于预设的偏移量阈值,确定所述第二特征点对不为第三特征点对;
利用所述两个相邻子影像的重叠影像范围所对应的第二特征点对集合中所有的第二特征点对所确定的第三特征点对,构建得到所述两个相邻子影像的重叠影像范围所对应的第三特征点对集合。
所述利用位置误差最小化模型,对每个校正子影像分别进行计算处理,得到每个校正子影像在全幅影像的位置信息,包括:
S41,根据每个校正子影像的相邻视场区域信息,确定三个相邻子影像的共同重叠影像;
S42,初始化已计算子影像集合和序号值iu=1;确定位于全幅影像左上角的校正子影像在全幅影像的位置坐标为(0,0),将所述位于全幅影像左上角的校正子影像,加入已计算子影像集合中;
S43,对所有的共同重叠影像,按照其在所述全幅影像的位置信息,进行排序处理,得到排序后的共同重叠影像;利用所述排序后的共同重叠影像,构建得到共同重叠影像集合;所述共同重叠影像集合,包括共同重叠影像和对应的序号信息;
S44,对共同重叠影像集合中的序号值为iu的共同重叠影像,确定相应的相邻子影像,为待计算子影像;
S45,判断所述已计算子影像集合中是否全包括待计算子影像,得到包括判断结果;若所述包括判断结果为全包括,使序号值iu增加1,执行S44;若所述包括判断结果为不全包括,利用未包括在所述已计算子影像集合中的待计算子影像的共同重叠影像中的第三特征点,构建得到所述待计算子影像的位置求解方程;
S46,对所述位置求解方程进行求解计算,得到所述待计算子影像对应的校正子影像在在全幅影像的位置信息;将所述待计算子影像添加到所述已计算子影像集合中;使序号值iu增加1,执行S44;
S47,当计算得到所有校正子影像在全幅影像的位置信息后,结束S4。
所述利用所述每个校正子影像在全幅影像的位置信息,对所有校正子影像进行拼接处理,得到拼合后的全幅影像,包括:
S51,根据所述每个校正子影像在全幅影像的位置信息,将每个校正子影像分别填充到所述初始化的全幅影像上,得到填充全幅影像;
S52,确定每两个相邻的校正子影像在填充全幅影像上的重叠区域;
S53,确定所述重叠区域的中线上的像素点为基准点;
S54,确定所述重叠区域对应的相邻的校正子影像在所述重叠区域中的像素点,到具有与其相同横坐标值的基准点的距离的倒数为权重;
S55,对重叠区域对应的两个相邻的校正子影像的重复区域像素点的像素值进行加权求和,得到填充全幅影像的重叠区域的融合像素点值;
S56,利用S54和S55的加权求和方法,计算得到填充全幅影像的所有重叠区域的融合像素点值;
S57,利用所计算得到的融合像素点值,对所述填充全幅影像的原像素点值进行替换更新,得到拼合后的全幅影像。
本申请还公开了一种视场分割集成面阵相机的全幅影像拼合装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行所述的视场分割集成面阵相机的全幅影像拼合方法。
本申请还公开了一种计算机可存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行所述的视场分割集成面阵相机的全幅影像拼合方法。
本申请还公开了一种信息数据处理终端,所述信息数据处理终端用于实现所述的视场分割集成面阵相机的全幅影像拼合方法。
本发明的有益效果为:
1、本申请提出一种视场分割集成面阵相机的全幅影像拼合方法,既能保持无畸变影像的严密成像几何关系,同时便于采用多种重采样方法以子像元精度重建影像灰度,抑制直接法整像素搬移引起的质量退化情况,而且在生成全幅影像过程中除了考虑精准***几何检校参数,还通过多面阵融合重建全幅影像几何关系,降低了受时间、环境因素变化导致检校参数变化导致的影响,进一步保证了生成影像质量;
2、本发明方法可适用集成多面阵高分辨率航测相机计算成像生成无畸变大幅面影像要求,集成面阵个数可动态扩展不受限制,为更高分辨率严密几何成像提供了技术支撑;相对于直接法,本发明能够灵活采用多种插值方法提高影像生成质量,降低整像素重采样方法对影像质量的退化影响;
3、本发明方法克服飞行过程中受平台振动、温度变化等因素导致的多面阵集成测量相机参数变化对计算几何成像影响,在动态环境条件下保持较高量测精度,抑制随机误差对成像几何质量的影响或恶化问题,同时实现复杂度低,可实现机上实时处理,便于地面***直接处理拼接后的图像,提升了处理效率。
附图说明
图1为本发明方法的实施流程图;
图2为本发明实施例中实际航空摄影采集得到的原始子影像集;
图3为本发明方法得到的2级全色影像图;
图4为本发明方法得到的融合后真彩色影像产品图。
具体实施方式
为了更好的了解本发明内容,这里给出两个实施例。
图1为本发明方法的实施流程图;图2为本发明实施例中实际航空摄影采集得到的原始子影像集;图3为本发明方法得到的2级全色影像图;图4为本发明方法得到的融合后真彩色影像产品图。
实施例一
针对如何基于含有各类畸变的分块子影像,克服时间、环境因素变化导致检校参数变化导致的影响,快速生成高质量的全幅影像的问题,本实施例公开了一种视场分割集成面阵相机的全幅影像拼合方法,包括:
S1,利用视场分割集成面阵相机,采集得到子影像集合;所述视场分割集成面阵相机,包括一个镜头、一个光轴、一个光学视场分割器和N1个光学传感器;N1为大于1的正整数;所述光学视场分割器将视场分割为N1个视场区域,每个光学传感器对对应的视场区域进行成像,得到子影像信息集合;所述子影像信息集合,包括N1个子影像信息;所述子影像信息,包括子影像像素信息、子影像范围信息、子影像位置信息;所述子影像位置信息,为子影像所对应的地面拍摄区域的位置信息;
S2,根据N1个子影像范围信息,确定全幅影像的范围信息;根据子影像位置信息和全幅影像的范围信息,确定子影像全幅位置信息;根据所述全幅影像的范围信息,对全幅影像进行初始化;
根据N1个子影像范围信息,确定全幅影像的范围信息,包括:对N1个子影像范围信息进行求和,得到全幅影像的范围信息。
所述子影像全幅位置信息,为子影像在全幅影像中的位置信息;所述根据子影像位置信息和全幅影像的范围信息,确定子影像全幅位置信息,包括:根据子影像位置信息和全幅影像的范围信息,确定其在全幅影像中所处位置信息,确定所述位置信息为子影像全幅位置信息。
S3,利用特征匹配校正模型,对每个子影像分别进行校正处理,得到对应的校正子影像;
S4,利用位置误差最小化模型,对每个校正子影像分别进行计算处理,得到每个校正子影像在全幅影像的位置信息;
S5,利用所述每个校正子影像在全幅影像的位置信息,对所有校正子影像进行拼接处理,得到拼合后的全幅影像。
所述利用特征匹配校正模型,对每个子影像分别进行校正处理,得到对应的校正子影像,包括:
S31,根据光学视场分割器,确定每个子影像的相邻视场区域信息;
所述S31,包括:根据光学视场分割器,确定每个子影像的成像范围信息;根据每个子影像的成像范围信息和子影像全幅位置信息,确定每个子影像在全幅影像的范围信息;根据每个子影像在全幅影像的范围信息,确定每个子影像的相邻视场区域信息;
S32,根据每个子影像的相邻视场区域信息,确定两个相邻子影像的重叠影像范围;
所述S32,包括:根据每个子影像的相邻视场区域信息,确定具有相同的相邻视场区域信息的两个相邻子影像,进而确定所述两个相邻子影像的共同的相邻视场区域,为所述两个相邻子影像的重叠影像范围。
S33,对每个重叠影像范围内的每个影像点,进行特征值计算处理,得到所有重叠影像范围的所有影像点的特征值;
S34,对每个重叠影像范围内的每个影像点,判断其特征值是否大于设定的特征阈值,得到特征值判别结果;若所述特征值判别结果为大于等于设定的特征阈值,确定所述影像点为第一特征点;若所述特征值判别结果为小于设定的特征阈值,确定所述影像点不是第一特征点;
S35,利用两个相邻子影像的重叠影像范围中的第一特征点,构建第一特征点对集合;所述第一特征点对集合,包括多个第一特征点对;所述第一特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第一特征点;
S36,对每两个相邻子影像的重叠影像范围对应的第一特征点对集合,进行互相关匹配处理,得到第二特征点对集合;所述第二特征点对集合,包括多个第二特征点对;所述第二特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第二特征点;
S37,对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合,分别进行相邻子影像位置一致性判别处理,得到第三特征点对集合;所述第三特征点对集合,包括多个第三特征点对;所述第三特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第三特征点;
S38,利用子影像全幅位置信息对所有相邻子影像进行筛选处理,得到待校正子影像对;
S39,利用第三特征点对集合,对每个待校正子影像对进行校正参数求解处理,得到每个待校正子影像的校正参数,利用所述校正参数,对相应子影像进行校正处理,得到对应的校正子影像。
所述特征值计算处理,其计算表达式为:
I=det(W)/|k1tr2(W)|,
式中,Pa为二维离散高斯滤波矩阵,qx为所述影像点在子影像的像方坐标系x轴方向的梯度值,W为中间特征矩阵,qy为所述影像点在子影像的像方坐标系y轴方向的梯度值,det为矩阵的行列式运算,tr为矩阵的迹运算,k1为计算常数,I为计算得到的特征值。
所述对每两个相邻子影像的重叠影像范围对应的第一特征点对集合,进行互相关匹配处理,得到第二特征点对集合,包括:
对每两个相邻子影像的重叠影像范围对应的第一特征点对集合中的每个第一特征点对,计算得到对应的互相关值,所述互相关值的计算表达式为:
其中,p,q表示所述第一特征点对中的两个第一特征点,R(p,q)表示第一特征点对(p,q)的互相关值,A(u+i,v+j)表示相邻子影像A的坐标为(u+i,v+j)的像素点的像素值,B(u'+i,v'+j)表示相邻子影像B的坐标为(u'+i,v'+j)的像素点的像素值,(u,v)表示第一特征点p在相邻子影像A中的坐标值,(u',v')表示第一特征点q在相邻子影像B中的坐标值,i和j分别为子影像的像方坐标系的x轴坐标序号值和y轴坐标序号值,n为邻近区域的像素范围值,μ1和δ1分别是在相邻子影像A的第一特征点p的邻近区域的像素点的均值和方差,μ2和δ2分别是在相邻子影像B的第一特征点q的邻近区域的像素点的均值和方差;
判断每个第一特征点对的互相关值是否小于设定的互相关阈值,得到互相关判断结果;
若所述互相关判断结果为小于,确定所述第一特征点对为第二特征点对;
若所述互相关判断结果为不小于,确定所述第一特征点对不为第二特征点对;
利用所述两个相邻子影像的重叠影像范围对应的所有第二特征点对,构建得到所述两个相邻子影像的重叠影像范围对应的第二特征点对集合。
所述对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合,分别进行相邻子影像位置一致性判别处理,得到第三特征点对集合,包括:
对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合中的每个第二特征点对,进行位置坐标相减运算,得到每个第二特征点对的一致性向量;所述进行位置坐标相减运算时,确定所述两个相邻子影像中在全幅影像内靠近左侧的相邻子影像中的第二特征点的位置坐标为相减量,确定所述两个相邻子影像中在全幅影像内靠近右侧的相邻子影像中的第二特征点的位置坐标为被减量;
所述在全幅影像内靠近左侧的相邻子影像,通过子影像全幅位置信息来确定。
对所述第二特征点对集合的所有一致性向量进行聚类处理,得到一致性向量的类别信息;
确定包含一致性向量最多的类别,为特征类别;
确定类别信息为特征类别的一致性向量所对应的第二特征点对,为第三特征点对;
利用所述两个相邻子影像的重叠影像范围的所有第三特征点对,构建得到第三特征点对集合。
所述聚类处理,可采用距离聚类方法。
所述对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合,分别进行相邻子影像位置一致性判别处理,得到第三特征点对集合,包括:
对每个第二特征点对集合对应的两个相邻子影像,确定在全幅影像中靠左的相邻子影像为基准子影像,确定在全幅影像中靠右的相邻子影像为计算子影像;
对于第二特征点对的位于计算子影像内的第二特征点,建立特征拟合方程;对于第i1个第二特征点对集合对应的相邻子影像中的计算子影像,特征拟合方程的计算表达式为:
xi1,2,j1=ai1,0+ai1,1xi1,1,j1+ai1,2yi1,1,j1
yi1,2,j1=bi1,0+bi1,1xi1,1,j1+bi1,2yi1,1,j1
其中,ai1,0、ai1,1、ai1,2、bi1,0、bi1,1、bi1,2为第i1个第二特征点对集合对应的特征拟合方程的特征拟合参数,(xi1,1,j1,yi1,1,j1)为第i1个第二特征点对集合的第j1个第二特征点对的位于计算子影像内的第二特征点的位置坐标,(xi1,2,j1,yi1,2,j1)为对位置坐标为(xi1,1,j1,yi1,1,j1)的第二特征点利用特征拟合方程进行变换处理后得到的拟合位置坐标;
所述位置坐标,为像素点在像方坐标系下的位置坐标;
利用特征拟合方程,对所述第二特征点对集合的位于计算子影像内的每个第二特征点的位置坐标进行变换处理,得到对应的拟合位置坐标的表达式;所述拟合位置坐标,与所述第二特征点对集合的第二特征点对,具有对应关系,其通过进行变换处理的第二特征点所属于的第二特征点对,建立对应关系;所述拟合位置坐标,与所述第二特征点对集合的对应第二特征点对的第二特征点,均具有对应关系;
利用所有拟合位置坐标的表达式和对应的第二特征点对的位于基准子影像内的第二特征点的位置坐标,建立特征拟合参数求解方程;所述第i1个第二特征点对集合对应的特征拟合参数求解方程,其表达式为:
ai1,0+ai1,1xi1,1,j1+ai1,2yi1,1,j1-xi1,3,j1=Δxi1
bi1,0+bi1,1xi1,1,j1+bi1,2yi1,1,j1-yi1,3,j1=Δyi1
j1=1,2,...,i1m,
其中,ai1,0、ai1,1、ai1,2、bi1,0、bi1,1、bi1,2、Δxi1、Δyi1为所述特征拟合参数求解方程的待求解的未知量,(xi1,3,j1,yi1,3,j1)为第i1个第二特征点对集合的第j1个第二特征点对的位于基准子影像内的第二特征点的位置坐标,(Δxi1、Δyi1)表示第i1个第二特征点对集合的偏移点位置坐标,i1m为第二特征点对集合所包含的第二特征点对的数目;
对所述特征拟合参数求解方程进行求解,得到特征拟合参数值 和偏移点位置坐标值/>
将所述特征拟合参数值和偏移点位置坐标值代入特征拟合方程,构建得到偏移量求解方程;所述第i1个第二特征点对集合的第j1个第二特征点对的偏移量求解方程,其表达式为:
pyi1,j1=Δyi1,j1 2+Δxi1,j1 2,
其中,(Δxi1,j1,Δyi1,j1)为对第i1个第二特征点对集合的第j1个第二特征点对求解得到的偏移位置坐标,pyi1,j1为对第i1个第二特征点对集合的第j1个第二特征点对求解得到的偏移量;
利用偏移点位置求解方程,对所述第二特征点对集合中的每个第二特征点对分别进行计算处理,得到所述第二特征点对的偏移量;判断所述偏移量是否小于预设的偏移量阈值,若小于预设的偏移量阈值,确定所述第二特征点对为第三特征点对;若不小于预设的偏移量阈值,确定所述第二特征点对不为第三特征点对;
利用所述两个相邻子影像的重叠影像范围所对应的第二特征点对集合中所有的第二特征点对所确定的第三特征点对,构建得到所述两个相邻子影像的重叠影像范围所对应的第三特征点对集合。
所述利用子影像全幅位置信息对所有相邻子影像进行筛选处理,得到待校正子影像对,包括:
对所有的相邻子影像进行按行筛选,处于全幅影像的同一行的相邻子影像中,确定每两个相邻子影像,为一个待校正子影像对。对每一行的相邻子影像,均确定得到待校正子影像对后,得到所有的待校正子影像对。
所述利用第三特征点对集合,对每个待校正子影像对进行校正参数求解处理,得到每个待校正子影像的校正参数,利用所述校正参数,对相应子影像进行校正处理,得到对应的校正子影像,包括:
对处于全幅影像的同一行的待校正子影像对,作为一个批次进行校正参数求解和校正处理;
对处于全幅影像的同一行的待校正子影像对,确定在所述行中的靠左侧的待校正子影像为标准子影像;对处于同一行的待校正子影像对按照由左至右的顺序进行编号,得到所述行的待校正子影像对序列;
按照编号顺序,依次对待校正子影像对序列中的每个待校正子影像对,建立校正模型并求解,得到所述待校正子影像对的校正参数;利用所述校正参数对所述待校正子影像对进行校正,得到对应的校正子影像,利用校正子影像,对待校正子影像对序列中的相应待校正子影像进行更新;继续对下一个编号的待校正子影像对进行校正参数求解和校正,直到对所述待校正子影像对序列中的所有待校正子影像对完成校正参数求解和校正。
所述对待校正子影像对序列中的每个待校正子影像对,建立校正模型并求解,得到所述待校正子影像对的校正参数,包括:
S3901,确定所述待校正子影像对中的靠左侧的待校正子影像为第一子影像,确定所述待校正子影像对中的靠右侧的待校正子影像为第二子影像;利用所述待校正子影像对所对应的第三特征点对集合中的第三特征点对的位置坐标和像素值,建立像素等效方程,其表达式为:
g1(x,y)+n1(x,y)=h0+h1g2(x2,y2)+n2(x2,y2),
x2=a0+a1x+a2y,
y2=b0+b1x+b2y,
其中,g1(x,y)为所述第三特征点对中的位于所述第一子影像中的第三特征点的像素值,(x,y)为所述第三特征点对中的位于所述第一子影像中的第三特征点的位置坐标,g2(x2,y2)为所述第三特征点对中的位于所述第二子影像中的第三特征点的像素值,(x2,y2)为所述第三特征点对中的位于所述第二子影像中的第三特征点的位置坐标,n1(x,y)为所述第三特征点对中的位于所述第一子影像中的第三特征点处的像素噪声,n2(x2,y2)为所述第三特征点对中的位于所述第二子影像中的第三特征点的像素噪声,h0和h1为所述第二子影像的像素校正参数,a0、a1、a2、b0、b1、b2为所述第二子影像的位置校正参数;
S3902,利用像素等效方程的右侧减去左侧,得到误差方程,其表达式为:
e(h0,h1,a0,a1,a2,b0,b1,b2)
=h0+h1g2(a0+a1x+a2y,b0+b1x+b2y)-g1(x,y)+n0
其中,n0=n2(x2,y2)-n1(x,y),n0为噪声项;
S3902,对所述误差方程,在未知量预设的初始值处进行未知量偏导数求解,得到各个未知量的一阶偏导数;利用一阶偏导数展开方式对所述误差方程进行近似,忽略二阶及以上的高阶项,得到所述误差方程的一阶近似形式,其表达式为:
其中,Δg为近似误差项,h0,h1,a0,a1,a2,b0,b1,b2为待求解的未知量, 分别表示误差方程在自变量为/>时,对于h0,h1,a0,a1,a2,b0,b1,b2的一阶偏导数,/>为未知量预设的初始值,dh0,dh1,da0,da1,da2,db0,db1,db2为未知量的变化值;
S3903,利用当前第三特征点对的所有未知量的一阶偏导数构成当前第三特征点的偏导数向量,利用作为当前第三特征点的常数项;将所述偏导数向量作为行向量,对所述待校正子影像对的所有第三特征点对的对应的行向量按照列方向进行堆叠,构建得到求解矩阵A,求解矩阵A的每一行即为所述行向量,利用所述待校正子影像对的所有第三特征点对的对应的常数项,按照列方向进行堆叠,构建得到列向量L,利用所有待求解的未知量的变化量,构建得到待求列向量T,T=(h0,h1,a0,a1,a2,b0,b1,b2)T;利用求解矩阵A、列向量L和待求列向量T,构建得到线性求解方程组:
AT=L,
S3904,利用最小二乘方法,对所述线性求解方程组进行求解,得到T的取值向量,判断T的取值向量的模值,是否小于预设阈值,若小于预设阈值,确定为所述待校正子影像对的校正参数,得到所述待校正子影像对的校正参数;若不小于预设阈值,将T的向量取值,按照元素分别加到上,实现对预设的初始值/>的更新,执行S3902;
所述采用最小二乘方法,对所述线性求解方程组,得到未知向量值,包括:
T=A-1L。
利用所述校正参数对所述待校正子影像对进行校正,得到对应的校正子影像,包括:
将h0,h1作为像素值校正参数,对所述待校正子影像中的每个像素点取值g0(x,y)进行校正,其校正表达式为:
其中,为位置(x,y)处的校正后的像素点取值;
将a0,a1,a2,b0,b1,b2作为像素点位置校正值,对对所述待校正子影像中的每个像素点位置坐标(x,y)进行校正,其校正表达式为:
/>
利用校正后的像素点,对原像素点进行替换,得到对应的校正子影像。
所述利用位置误差最小化模型,对每个校正子影像分别进行计算处理,得到每个校正子影像在全幅影像的位置信息,包括:
S41,根据每个校正子影像的相邻视场区域信息,确定三个相邻子影像的共同重叠影像;
S42,初始化已计算子影像集合和序号值iu=1;确定位于全幅影像左上角的校正子影像在全幅影像的位置坐标为(0,0),将所述位于全幅影像左上角的校正子影像,加入已计算子影像集合中;
S43,对所有的共同重叠影像,按照其在所述全幅影像的位置信息,进行排序处理,得到排序后的共同重叠影像;利用所述排序后的共同重叠影像,构建得到共同重叠影像集合;所述共同重叠影像集合,包括共同重叠影像和对应的序号信息;
所述共同重叠影像在所述全幅影像的位置信息,根据共同重叠影像对应的相邻子影像的全幅位置信息确定。
所述对所有的共同重叠影像,按照其在所述全幅影像的位置信息,进行排序处理,得到排序后的共同重叠影像,可以是:
按照在所述全幅影像中先左上,后右下的顺序,对共同重叠影像进行排序,即位于所述全幅影像的左上角的共同重叠影像排序为1,其对应序号也为1,序号为1的共同重叠影像的处于同一行上的右侧第一个共同重叠影像排序为2,对应序号为2,依次进行排序和编号,位于所述全幅影像的右下角的共同重叠影像编号为最后,对应序号也为最大序号。
S44,对共同重叠影像集合中的序号值为iu的共同重叠影像,确定相应的相邻子影像,为待计算子影像;
S45,判断所述已计算子影像集合中是否全包括待计算子影像,得到包括判断结果;若所述包括判断结果为全包括,使序号值iu增加1,执行S44;若所述包括判断结果为不全包括,利用未包括在所述已计算子影像集合中的待计算子影像的共同重叠影像中的第三特征点,构建得到所述待计算子影像的位置求解方程;
S46,对所述位置求解方程进行求解计算,得到所述待计算子影像对应的校正子影像在在全幅影像的位置信息;将所述待计算子影像添加到所述已计算子影像集合中;使序号值iu增加1,执行S44;
S47,当计算得到所有校正子影像在全幅影像的位置信息后,结束S4。
所述利用未包括在所述已计算子影像集合中的待计算子影像的共同重叠影像中的第三特征点,构建得到所述待计算子影像的位置求解方程组,包括:
将未包括在所述已计算子影像集合中的待计算子影像的共同重叠影像中的第三特征点的位置坐标为已知量,以所述待计算子影像的对应的校正子影像在在全幅影像的位置坐标为自变量,构建得到所述待计算子影像的位置求解方程组;所述待计算子影像的位置求解方程组,包括若干个位置求解方程;所述每个位置求解方程,由未包括在所述已计算子影像集合中的待计算子影像的共同重叠影像中的第三特征点的位置坐标来确定;所述位置求解方程,其表达式为:
ik-il=i角l-i角k
jk-jl=j角l-j角k
其中,(ik,jk)为未包括在所述已计算子影像集合中的第k个待计算子影像的共同重叠影像中的第三特征点的位置坐标,(il,jl)为未包括在所述已计算子影像集合中的第l个待计算子影像的共同重叠影像中的第三特征点的位置坐标,所述第k个待计算子影像的共同重叠影像中的第三特征点,与第l个待计算子影像的共同重叠影像中的第三特征点,为所述第三特征点对集合的一个第三特征点对,(i角l,j角l)为所述第l个待计算子影像的对应的校正子影像的左上角像素点在全幅影像的位置坐标,(i角k,j角k)为所述第k个待计算子影像的对应的校正子影像的左上角像素点在全幅影像的位置坐标;(ik,jk)和(il,jl)为已知量,(i角l,j角l)和(i角k,j角k)为未知量;当所述未包括在所述已计算子影像集合中的待计算子影像数目为1时,取k=1,取第l个待计算子影像为所述共同重叠影像对应的在所述已计算子影像集合中的相邻子影像,此时(il,jl)、(i角l,j角l)、(i角k,j角k)为已知数,(ik,jk)为未知量。确定(i角l,j角l)为所述第l个待计算子影像的对应的校正子影像在全幅影像的位置信息,确定(i角k,j角k)为所述第l个待计算子影像的对应的校正子影像在全幅影像的位置信息;
采用最小二乘方法,对位置求解方程组进行求解。
所述利用所述每个校正子影像在全幅影像的位置信息,对所有校正子影像进行拼接处理,得到拼合后的全幅影像,包括:
S51,根据所述每个校正子影像在全幅影像的位置信息,将每个校正子影像分别填充到所述初始化的全幅影像上,得到填充全幅影像;
S52,确定每两个相邻的校正子影像在填充全幅影像上的重叠区域;
S53,确定所述重叠区域的中线上的像素点为基准点;
S54,确定所述重叠区域对应的相邻的校正子影像在所述重叠区域中的像素点,到具有与其相同横坐标值的基准点的距离的倒数为权重;
S55,对重叠区域对应的两个相邻的校正子影像的重复区域像素点的像素值进行加权求和,得到填充全幅影像的重叠区域的融合像素点值;
S56,利用S54和S55的加权求和方法,计算得到填充全幅影像的所有重叠区域的融合像素点值;
S57,利用所计算得到的融合像素点值,对所述填充全幅影像的原像素点值进行替换更新,得到拼合后的全幅影像。
所述视场分割集成面阵相机的全幅影像拼合方法,在执行完毕S5后,还包括:S6,利用全幅影像位置坐标计算模型,对校正子影像的像素点的位置坐标进行计算处理,得到校正子影像的像素点在拼合后的全幅影像的位置坐标。
所述全幅影像位置坐标计算模型,其计算表达式为:
其中:校正子影像i中的像素点像的位置坐标为(Ii,Ji),x,y为(Ii,Ji)对应的拼合后的全幅影像的像坐标;x0,y0,f为检校后相机的内方位元素(主点的图像坐标系的坐标,焦距);a1,b1,c1,a2,b2,c2,a3,b3,c3为摄影姿态角构成的旋转矩阵元素,a1,b1,c1为矩阵的第一行的元素,a2,b2,c2为矩阵的第二行的元素,a3,b3,c3为矩阵的第三行的元素;旋转矩阵R的表达式为:
其中,ω、k分别为待校验相机的俯仰角、侧滚角和旋偏角。X,Y,Z为第三特征点在大地坐标系下的位置坐标;Xs,Ys,Zs为摄影点在大地坐标系下的位置坐标;Δx,Δy为利用检校参数计算得到的像坐标改正量,主要包括两类:一类是子影像验后补偿***误差改正量Δx1,Δy1
a0i,a1i,a2i,a3i,a4i,a5i,b0i,b1i,b2i,b3i,b4i为第i个子影像的二阶验后补偿系数,其通过相机出厂参数获得,或者,通过相机拍摄地面标校控制点,利用地面标校控制点的像方坐标和大地坐标,进行计算得到,i为子影像序号;另一类是全视场附加参数***误差改正量Δx2,Δy2
其中,Δx0,Δy0,Δf代表视场分割集成面阵相机***的内方位元素改正系数,通过相机出厂参数获得,或者,通过相机拍摄地面标校控制点,利用地面标校控制点的像方坐标和大地坐标,进行计算得到;K1,K2,K3代表视场分割集成面阵相机***的径向畸变改正系数(通过相机出厂参数获得,或者,通过相机拍摄地面标校控制点,利用地面标校控制点的像方坐标和大地坐标,进行计算得到);P1,P2代表光学***切向畸变改正系数(通过相机出厂参数获得,或者,通过相机拍摄地面标校控制点,利用地面标校控制点的像方坐标和大地坐标,进行计算得到);b10,b20代表光学传感器非正交变形改正系数(通过相机出厂参数获得,或者,通过相机拍摄地面标校控制点,利用地面标校控制点的像方坐标和大地坐标,进行计算得到);x',y'为最终无畸变影像的像坐标,即校正子影像的像素点在拼合后的全幅影像的位置坐标
为了便于第三方后续应用处理,需要消除与传感器相关因素形成的***误差(Δx,Δy),即
x′-x0=x-x0-Δx
y′-y0=y-y0-Δy
Δx=Δx1+Δx2
Δy=Δy1+Δy2
对全幅影像位置坐标计算模型进行迭代运算,若前后两次迭代得到的像素点在拼合后的全幅影像的位置坐标的误差,小于设定阈值,则停止迭代,确定x',y'为最终无畸变影像的像坐标,即校正子影像的像素点在拼合后的全幅影像的位置坐标。
本实施例还公开了一种视场分割集成面阵相机的全幅影像拼合装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行所述的视场分割集成面阵相机的全幅影像拼合方法。
本实施例还公开了一种计算机可存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行所述的视场分割集成面阵相机的全幅影像拼合方法。
本实施例还公开了一种信息数据处理终端,所述信息数据处理终端用于实现所述的视场分割集成面阵相机的全幅影像拼合方法。
实施例二
在提供精确的相机***检校参数条件下,将本发明方法应用于某地区的实际航空测量图像,给出了实际实施过程,对拼合效果进行了验证。采用航空摄影数据作为验证数据。摄影数据飞行高度约7100米,相对航高约5500米,GSD约17厘米,航向重叠率75-85%。图2为实际航空摄影采集得到的原始子影像集。
摄影原始数据经预处理生成2级影像产品,第一步的处理流程包括辐射校正、几何校正、影像融合、匀光匀色等,得到2级全色影像和融合后真彩色影像产品,分别如图3和图4所示。
第二步是全幅像面变换自动生成全幅面影像,包括多面阵连接点自动精准提取、基于***平差生成全幅影像变换参数和自动拼接生成整幅影像。
第三步是POS数据辅助空中三角测量。采用POS数据支持下的自检校区域网平差。其中采用POS导航解数据快速处理,得到辅助空中三角测量精度平面x方向2.879米、y方向1.88米,高程方向为6.808米。采用POS数据事后精密解处理结果,辅助空三无控制定位结果如下,平面精度x方向0.849米、y方向1.428米,高程方向提高至2.383米。无控制平面定位精度提升至5-10像素,三维定位精度3.2米,7000米航高条件下直接定位精度基本满足1:5000比例尺成图精度要求。数据区域网平差得到摄站位置和精度统计结果如表1所示。
表1嘉峪关数据区域网平差得到摄站位置和精度统计
/>
利用外业检查点进行三维模型几何精度检测,统计结果如下表。平面定位精度与POS空三结果基本一致,中误差分别为1.4386米和1.6613米;高程精度在消除***误差和高程基准改正后,中误差降至0.41米,在稀少控制条件下可以满足1:2千比例尺成图要求。
表2三维模型外业精度检测结果统计(单位:米)
以上结果证明0.2米分辨率影像无控条件情况下能够满足1:2千比例尺三维信息获取,验证了该方法的有效性和可靠性。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种视场分割集成面阵相机的全幅影像拼合方法,其特征在于,包括:
S1,利用视场分割集成面阵相机,采集得到子影像集合;所述视场分割集成面阵相机,包括一个镜头、一个光轴、一个光学视场分割器和N1个光学传感器;N1为大于1的正整数;所述光学视场分割器将视场分割为N1个视场区域,每个光学传感器对对应的视场区域进行成像,得到子影像信息集合;所述子影像信息集合,包括N1个子影像信息;所述子影像信息,包括子影像像素信息、子影像范围信息、子影像位置信息;
S2,根据N1个子影像范围信息,确定全幅影像的范围信息;根据子影像位置信息和全幅影像的范围信息,确定子影像全幅位置信息;根据所述全幅影像的范围信息,对全幅影像进行初始化;
S3,利用特征匹配校正模型,对每个子影像分别进行校正处理,得到对应的校正子影像;
S4,利用位置误差最小化模型,对每个校正子影像分别进行计算处理,得到每个校正子影像在全幅影像的位置信息;
S5,利用所述每个校正子影像在全幅影像的位置信息,对所有校正子影像进行拼接处理,得到拼合后的全幅影像;
所述利用特征匹配校正模型,对每个子影像分别进行校正处理,得到对应的校正子影像,包括:
S31,根据光学视场分割器,确定每个子影像的相邻视场区域信息;
S32,根据每个子影像的相邻视场区域信息,确定两个相邻子影像的重叠影像范围;
S33,对每个重叠影像范围内的每个影像点,进行特征值计算处理,得到所有重叠影像范围的所有影像点的特征值;
S34,对每个重叠影像范围内的每个影像点,判断其特征值是否大于设定的特征阈值,得到特征值判别结果;若所述特征值判别结果为大于等于设定的特征阈值,确定所述影像点为第一特征点;若所述特征值判别结果为小于设定的特征阈值,确定所述影像点不是第一特征点;
S35,利用两个相邻子影像的重叠影像范围中的第一特征点,构建第一特征点对集合;所述第一特征点对集合,包括多个第一特征点对;所述第一特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第一特征点;
S36,对每两个相邻子影像的重叠影像范围对应的第一特征点对集合,进行互相关匹配处理,得到第二特征点对集合;所述第二特征点对集合,包括多个第二特征点对;所述第二特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第二特征点;
S37,对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合,分别进行相邻子影像位置一致性判别处理,得到第三特征点对集合;所述第三特征点对集合,包括多个第三特征点对;所述第三特征点对,为两个分别属于所述两个相邻子影像的重叠影像范围的第三特征点;
S38,利用子影像全幅位置信息对所有相邻子影像进行筛选处理,得到待校正子影像对;
S39,利用第三特征点对集合,对每个待校正子影像对进行校正参数求解处理,得到每个待校正子影像的校正参数,利用所述校正参数,对相应子影像进行校正处理,得到对应的校正子影像;
所述利用位置误差最小化模型,对每个校正子影像分别进行计算处理,得到每个校正子影像在全幅影像的位置信息,包括:
S41,根据每个校正子影像的相邻视场区域信息,确定三个相邻子影像的共同重叠影像;
S42,初始化已计算子影像集合和序号值iu=1;
S43,对所有的共同重叠影像,按照其在所述全幅影像的位置信息,进行排序处理,得到排序后的共同重叠影像;利用所述排序后的共同重叠影像,构建得到共同重叠影像集合;所述共同重叠影像集合,包括共同重叠影像和对应的序号信息;
S44,对共同重叠影像集合中的序号值为iu的共同重叠影像,确定相应的相邻子影像,为待计算子影像;
S45,判断所述已计算子影像集合中是否全包括待计算子影像,得到包括判断结果;若所述包括判断结果为全包括,使序号值iu增加1,执行S44;若所述包括判断结果为不全包括,利用未包括在所述已计算子影像集合中的待计算子影像的共同重叠影像中的第三特征点,构建得到所述待计算子影像的位置求解方程组;
S46,对所述位置求解方程组进行求解计算,得到所述待计算子影像对应的校正子影像在全幅影像的位置信息;将所述待计算子影像添加到所述已计算子影像集合中;使序号值iu增加1,执行S44;
S47,当计算得到所有校正子影像在全幅影像的位置信息后,结束S4。
2.如权利要求1所述的视场分割集成面阵相机的全幅影像拼合方法,其特征在于,所述特征值计算处理,其计算表达式为:
式中,Pa为二维离散高斯滤波矩阵,qx为所述影像点在子影像的像方坐标系x轴方向的梯度值,W为中间特征矩阵,qy为所述影像点在子影像的像方坐标系y轴方向的梯度值,det为矩阵的行列式运算,tr为矩阵的迹运算,k1为计算常数,I为计算得到的特征值。
3.如权利要求1所述的视场分割集成面阵相机的全幅影像拼合方法,其特征在于,所述对每两个相邻子影像的重叠影像范围对应的第一特征点对集合,进行互相关匹配处理,得到第二特征点对集合,包括:
对每两个相邻子影像的重叠影像范围对应的第一特征点对集合中的每个第一特征点对,计算得到对应的互相关值,所述互相关值的计算表达式为:
其中,p,q表示所述第一特征点对中的两个第一特征点,R(p,q)表示第一特征点对(p,q)的互相关值,A(u+i,v+j)表示相邻子影像A的坐标为(u+i,v+j)的像素点的像素值,B(u′+i,v′+j)表示相邻子影像B的坐标为(u′+i,v′+j)的像素点的像素值,(u,v)表示第一特征点p在相邻子影像A中的坐标值,(u′,v′)表示第一特征点q在相邻子影像B中的坐标值,i和j分别为子影像的像方坐标系的x轴坐标序号值和y轴坐标序号值,n为邻近区域的像素范围值,μ1和δ1分别是在相邻子影像A的第一特征点p的邻近区域的像素点的均值和方差,μ2和δ2分别是在相邻子影像B的第一特征点q的邻近区域的像素点的均值和方差;
判断每个第一特征点对的互相关值是否小于设定的互相关阈值,得到互相关判断结果;
若所述互相关判断结果为小于,确定所述第一特征点对为第二特征点对;
若所述互相关判断结果为不小于,确定所述第一特征点对不为第二特征点对;
利用所述两个相邻子影像的重叠影像范围对应的所有第二特征点对,构建得到所述两个相邻子影像的重叠影像范围对应的第二特征点对集合。
4.如权利要求1所述的视场分割集成面阵相机的全幅影像拼合方法,其特征在于,所述对每两个相邻子影像的重叠影像范围所对应的第二特征点对集合,分别进行相邻子影像位置一致性判别处理,得到第三特征点对集合,包括:
对每个第二特征点对集合对应的两个相邻子影像,确定在全幅影像中靠左的相邻子影像为基准子影像,确定在全幅影像中靠右的相邻子影像为计算子影像;
对于第二特征点对的位于计算子影像内的第二特征点,建立特征拟合方程;对于第i1个第二特征点对集合对应的相邻子影像中的计算子影像,特征拟合方程的计算表达式为:
xi1,2,j1=ai1,0+ai1,1xi1,1,j1+ai1,2yi1,1,j1
yi1,2,j1=bi1,0+bi1,1xi1,1,j1+bi1,2yi1,1,j1
其中,ai1,0、ai1,1、ai1,2、bi1,0、bi1,1、bi1,2为第i1个第二特征点对集合对应的特征拟合方程的特征拟合参数,(xi1,1,j1,yi1,1,j1)为第i1个第二特征点对集合的第j1个第二特征点对的位于计算子影像内的第二特征点的位置坐标,(xi1,2,j1,yi1,2,j1)为对位置坐标为(xi1,1,j1,yi1,1,j1)的第二特征点利用特征拟合方程进行变换处理后得到的拟合位置坐标;
利用特征拟合方程,对所述第二特征点对集合的位于计算子影像内的每个第二特征点的位置坐标进行变换处理,得到对应的拟合位置坐标的表达式;
利用所有拟合位置坐标的表达式和对应的第二特征点对的位于基准子影像内的第二特征点的位置坐标,建立特征拟合参数求解方程;所述第i1个第二特征点对集合对应的特征拟合参数求解方程,其表达式为:
ai1,0+ai1,1xi1,1,j1+ai1,2yi1,1,j1-xi1,3,j1=Δxi1
bi1,0+bi1,1xi1,1,j1+bi1,2yi1,1,j1-yi1,3,j1=Δyi1
j1=1,2,...,i1m,
其中,ai1,0、ai1,1、ai1,2、bi1,0、bi1,1、bi1,2、Δxi1、Δyi1为所述特征拟合参数求解方程的待求解的未知量,(xi1,3,j1,yi1,3,j1)为第i1个第二特征点对集合的第j1个第二特征点对的位于基准子影像内的第二特征点的位置坐标,(Δxi1、Δyi1)表示第i1个第二特征点对集合的偏移点位置坐标,i1m为第二特征点对集合所包含的第二特征点对的数目;
对所述特征拟合参数求解方程进行求解,得到特征拟合参数值 和偏移点位置坐标值/>
将所述特征拟合参数值和偏移点位置坐标值代入特征拟合方程,构建得到偏移量求解方程;所述第i1个第二特征点对集合的第j1个第二特征点对的偏移量求解方程,其表达式为:
pyi1,j1=Δyi1,j1 2+Δxi1,j1 2,
其中,(Δxi1,j1,Δyi1,j1)为对第i1个第二特征点对集合的第j1个第二特征点对求解得到的偏移位置坐标,pyi1,j1为对第i1个第二特征点对集合的第j1个第二特征点对求解得到的偏移量;
利用偏移点位置求解方程,对所述第二特征点对集合中的每个第二特征点对分别进行计算处理,得到所述第二特征点对的偏移量;判断所述偏移量是否小于预设的偏移量阈值,若小于预设的偏移量阈值,确定所述第二特征点对为第三特征点对;若不小于预设的偏移量阈值,确定所述第二特征点对不为第三特征点对;
利用所述两个相邻子影像的重叠影像范围所对应的第二特征点对集合中所有的第二特征点对所确定的第三特征点对,构建得到所述两个相邻子影像的重叠影像范围所对应的第三特征点对集合。
5.如权利要求1所述的视场分割集成面阵相机的全幅影像拼合方法,其特征在于,所述利用所述每个校正子影像在全幅影像的位置信息,对所有校正子影像进行拼接处理,得到拼合后的全幅影像,包括:
S51,根据所述每个校正子影像在全幅影像的位置信息,将每个校正子影像分别填充到所述初始化的全幅影像上,得到填充全幅影像;
S52,确定每两个相邻的校正子影像在填充全幅影像上的重叠区域;
S53,确定所述重叠区域的中线上的像素点为基准点;
S54,确定所述重叠区域对应的相邻的校正子影像在所述重叠区域中的像素点,到具有与其相同横坐标值的基准点的距离的倒数为权重;
S55,对重叠区域对应的两个相邻的校正子影像的重复区域像素点的像素值进行加权求和,得到填充全幅影像的重叠区域的融合像素点值;
S56,利用S54和S55的加权求和方法,计算得到填充全幅影像的所有重叠区域的融合像素点值;
S57,利用所计算得到的融合像素点值,对所述填充全幅影像的原像素点值进行替换更新,得到拼合后的全幅影像。
6.一种视场分割集成面阵相机的全幅影像拼合装置,其特征在于,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1至5中任一项所述的视场分割集成面阵相机的全幅影像拼合方法。
7.一种计算机可存储介质,其特征在于,所述计算机可存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1至5中任一项所述的视场分割集成面阵相机的全幅影像拼合方法。
8.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求1至5中任一项所述的视场分割集成面阵相机的全幅影像拼合方法。
CN202311241609.3A 2023-09-25 2023-09-25 视场分割集成面阵相机的全幅影像拼合方法和装置 Active CN117237192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311241609.3A CN117237192B (zh) 2023-09-25 2023-09-25 视场分割集成面阵相机的全幅影像拼合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311241609.3A CN117237192B (zh) 2023-09-25 2023-09-25 视场分割集成面阵相机的全幅影像拼合方法和装置

Publications (2)

Publication Number Publication Date
CN117237192A CN117237192A (zh) 2023-12-15
CN117237192B true CN117237192B (zh) 2024-05-31

Family

ID=89087648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311241609.3A Active CN117237192B (zh) 2023-09-25 2023-09-25 视场分割集成面阵相机的全幅影像拼合方法和装置

Country Status (1)

Country Link
CN (1) CN117237192B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157004A (zh) * 2011-04-18 2011-08-17 东华大学 用于超视场零件高精度影像测量仪的自动图像拼接方法
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
CN103925912A (zh) * 2014-04-02 2014-07-16 中国人民解放军总参谋部测绘研究所 内视场光学分割型大面阵ccd影像几何拼接方法
US9990753B1 (en) * 2017-01-11 2018-06-05 Macau University Of Science And Technology Image stitching
CN109724625A (zh) * 2019-01-22 2019-05-07 中国人民解放军61540部队 一种光学复合大面阵测绘相机的像差改正方法
CN110782394A (zh) * 2019-10-21 2020-02-11 中国人民解放军63861部队 全景视频快速拼接方法及***
CN111583119A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 一种正射影像拼接方法、设备以及计算机可读介质
CN114187189A (zh) * 2021-11-10 2022-03-15 河海大学 一种飞行器多光谱影像辐射一致性校正方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157004A (zh) * 2011-04-18 2011-08-17 东华大学 用于超视场零件高精度影像测量仪的自动图像拼接方法
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
CN103925912A (zh) * 2014-04-02 2014-07-16 中国人民解放军总参谋部测绘研究所 内视场光学分割型大面阵ccd影像几何拼接方法
US9990753B1 (en) * 2017-01-11 2018-06-05 Macau University Of Science And Technology Image stitching
CN109724625A (zh) * 2019-01-22 2019-05-07 中国人民解放军61540部队 一种光学复合大面阵测绘相机的像差改正方法
CN110782394A (zh) * 2019-10-21 2020-02-11 中国人民解放军63861部队 全景视频快速拼接方法及***
CN111583119A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 一种正射影像拼接方法、设备以及计算机可读介质
CN114187189A (zh) * 2021-11-10 2022-03-15 河海大学 一种飞行器多光谱影像辐射一致性校正方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A GEOMETRIC CALIBRATION MODEL FOR THE NEW ULTRA-LARGE FRAME AERIAL MAPPING CAMERA;Yong FANG等;《The PhotoGrammetric Record》;20200630;第35卷(第170期);正文第289-312页 *
单镜头多面阵CCD相机影像拼接算法;方勇等;《武汉大学学报-信息科学版》;20120831;第37卷(第08期);正文第906-910页 *
大面阵数字航空相机DMZ影像预处理研究;赵桂华等;《地理空间信息》;20130430;第11卷(第02期);正文第49-52页 *

Also Published As

Publication number Publication date
CN117237192A (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
KR101965965B1 (ko) 위성영상과 제공 rpc로부터 제작된 수치표고모델의 자동 오차보정 방법
US8542947B2 (en) Method for RPC refinement using ground control information
CN107644435B (zh) 顾及姿态校正的敏捷光学卫星无场地几何标定方法及***
CN110500995A (zh) 利用rpc参数建立高分辨率卫星影像等效几何成像模型的方法
CN111044037B (zh) 一种光学卫星影像的几何定位方法及装置
CN110006452A (zh) 高分六号宽视场相机相对几何定标方法及***
CN110751601A (zh) 一种基于rc光学***的畸变校正方法
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
CN114241064B (zh) 一种遥感卫星内外方位元素实时几何定标方法
JP5998532B2 (ja) 補正式算出方法、補正方法、補正装置及び撮像装置
CN108447100A (zh) 一种机载三线阵ccd相机的偏心矢量和视轴偏心角标定方法
CN109029379B (zh) 一种高精度小基高比立体测绘方法
KR100870894B1 (ko) 선형 스캐닝 영상의 자동 영상기하 보정 방법
CN117237192B (zh) 视场分割集成面阵相机的全幅影像拼合方法和装置
CN111127564A (zh) 一种基于几何定位模型的视频影像校正方法
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN109579796B (zh) 一种投影后影像的区域网平差方法
Ladstädter et al. Monolithic Stitching: One sensor geometry for multiple sensor camera
CN115100078B (zh) 一种曲面屏图像中点阵坐标修正与填补的方法及相关装置
CN114485574B (zh) 基于卡尔曼滤波模型的三线阵影像pos辅助对地定位方法
CN114693807B (zh) 一种输电线路图像与点云的映射数据重构方法及***
CN113379648B (zh) 一种高分七号和资源三号立体影像联合平差方法
CN115311366A (zh) 基于rpc模型的星载分片线阵传感器几何定标方法及***
Cao et al. Nonlinear Systematic Distortions Compensation in Satellite Images Based on an Equivalent Geometric Sensor Model Recovered From RPCs
CN117606447B (zh) 视场分割型航空面阵相机的试验场检校方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant