CN118096615A - 卫星图像处理方法、装置、介质及电子设备 - Google Patents
卫星图像处理方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN118096615A CN118096615A CN202410344222.9A CN202410344222A CN118096615A CN 118096615 A CN118096615 A CN 118096615A CN 202410344222 A CN202410344222 A CN 202410344222A CN 118096615 A CN118096615 A CN 118096615A
- Authority
- CN
- China
- Prior art keywords
- satellite image
- optimized
- pair
- corrected
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000013519 translation Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000012937 correction Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000005457 optimization Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012892 rational function Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请提供一种卫星图像处理方法、装置、介质及电子设备。所述卫星图像处理方法包括：获取卫星图像像对及其关联的初始RPC参数；基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成；基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。所述卫星图像处理方法能够提高RPC参数的精度。
Description
技术领域
本申请属于遥感图像处理领域，涉及一种卫星图像处理方法，特别是涉及一种卫星图像处理方法、装置、介质及电子设备。
背景技术
近年来，卫星遥感对地观测技术迅猛发展，使其在环境监测、城市规划、导航定位等方面应用广泛。目前对地观测卫星采集的遥感影像均为二维信息载体，而传统二维图像缺少观测区域的三维立体信息，因此这不能满足智慧城市规划等国民经济方面的发展要求。传统测量高程信息的方法多采用机载雷达测高***，但其作用范围受限。与地面图像采集设备相比，卫星图像能够覆盖更广阔的区域；与雷达等有源设备相比，卫星图像不仅便于采集而且可以同时获取某地区的几何形状与纹理信息。
以往基于卫星遥感影像的三维重建方法主要利用对地观测卫星多线阵相机采集的像对影像，目前国内搭载多线阵相机的对地观测卫星数量较少，且难以根据实际需求随时对某一特定地点进行低云盖遥感影像采集。近年来，高分辨率光学遥感卫星数量不断增多、数据采集能力持续增强，使得对地观测数据量较大，能够对某一地区拍摄多张不同日期的卫星影像。因此，不局限于多线阵相机采集的像对图像而使用不同日期卫星遥感影像进行某一地区的三维重建是符合实际情况且十分必要的。
卫星图像重建技术中RPC参数的精度影响着卫星图像重建的精度，当前的卫星图像处理方法中存在着RPC参数精度不佳的问题。
发明内容
本申请的目的在于提供一种卫星图像处理方法、装置、介质及电子设备，用于解决目前的卫星图像处理方法存在的RPC参数精度不佳的问题。
第一方面，本申请提供一种卫星图像处理方法，所述卫星图像处理方法包括：获取卫星图像像对及其关联的初始RPC参数；基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成；基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。
在所述卫星图像处理方法中，通过根据由重投影误差值和平移校正值共同决定的捆绑调整处理中的目标函数值，能够获取优化的欧拉角、优化的平移向量和优化的3D点，进而获得校正的RPC参数，所述卫星图像处理方法能够提高校正的RPC参数的精度。
于本申请的一实施例中，基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点的实现方法包括：对所述卫星图像像对进行特征提取及匹配处理，以获取所述卫星图像像对中的匹配点对；基于所述初始RPC参数对所述匹配点对进行三角测量，以获取所述匹配点对的初始3D点；基于所述初始3D点、所述匹配点对、所述卫星图像像对关联的相机视角下的待优化的旋转矩阵、待优化的平移向量、所述平移校正值和所述目标函数，获取所述优化的欧拉角、所述优化的平移向量和所述优化3D点，所述优化的欧拉角、所述优化的平移向量和所述优化3D点分别为该相机视角下较优的所述目标函数值所关联的欧拉角、平移向量、3D点。
于本申请的一实施例中，第m个相机视角下的旋转矩阵表示为：
Rm＝Rx(αm)Ry(βm)Rz(γm)
其中，Rm表示第m个相机视角下的旋转矩阵，Rx(·)表示x轴上的旋转，Ry(·)表示y轴上的旋转，Rz(·)表示z轴上的旋转，αm表示第一角度，βm表示第二角度，γm表示第三角度，αm、βm和γm组成第m个相机待优化的欧拉角，m为不小于1的正整数。
于本申请的一实施例中，所述卫星图像处理方法还包括：基于所述校正的RPC参数对所述卫星图像像对进行立体校正处理，以获取所述立体校正后的卫星图像像对，对所述校正后的卫星图像像对进行立体匹配处理，以获取所述校正后的卫星图像像对优化后的视差图；基于所述优化后的视差图和所述校正的RPC参数，获取具备地理位置和高程信息的数字地表模型和三维点云模型。
于本申请的一实施例中，基于所述校正的RPC参数对所述卫星图像像对进行立体校正处理，以获取所述立体校正后的卫星图像像对的实现方法包括：基于第一卫星图像关联的卫星定位模型，获取所述第一卫星图像中区域的地理坐标和高程，所述第一卫星图像为所述卫星图像像对中的其中一幅图像，所述卫星定位模型与所述第一卫星图像关联的所述校正的RPC参数相关；基于所述地理坐标、所述高程、第二卫星图像关联的卫星投影模型，获取所述第一卫星图像的伪匹配点，所述第二卫星图像为所述卫星图像像对中的另外一幅图像，所述第二卫星图像关联的卫星投影模型与所述第二卫星图像关联的所述校正的RPC参数相关；基于伪匹配点对、所述地理坐标和所述高程，获取图像变换矩阵；基于所述图像变换矩阵对所述第二卫星图像进行图像变换处理，以获取所述立体校正后的卫星图像像对。
于本申请的一实施例中，对所述校正后的卫星图像像对进行立体匹配处理，以获取所述校正后的卫星图像像对优化后的视差图的实现方法包括：基于所述立体校正后的卫星图像像对的匹配代价和星形路径，获取所述立体校正后的卫星图像像对的视差图，所述视差图中的像素视差为该像素最小聚合代价关联的视差值；对所述视差图进行优化处理，以获取优化后的视差图。
于本申请的一实施例中，基于所述优化后的视差图和所述校正的RPC参数，获取具备地理位置和高程信息的数字地表模型和三维点云模型的实现方法包括：基于所述校正的RPC参数对所述优化后的视差图进行三角测量，以获取所述数字地表模型和所述三维点云模型。
第二方面，本申请提供一种卫星图像处理装置，所述卫星图像处理装置包括：图像像对获取模块，用于获取卫星图像像对及其关联的初始RPC参数；相机参数获取模块，基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成；校正参数获取模块，用于基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。
第三方面，本申请提供一种计算机可读存储介质，其上存储有一计算机程序，该计算机程序被处理器执行时实现本申请第一方面任一项所述卫星图像处理方法。
第四方面，本申请提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本申请第一方面任一项所述卫星图像处理方法。
如上所述，本申请所述卫星图像处理方法、装置、介质及电子设备，具有以下有益效果：
在所述卫星图像处理方法中，通过根据由重投影误差值和平移校正值共同决定的捆绑调整处理中的目标函数值，能够获取优化的欧拉角、优化的平移向量和优化的3D点，进而获得校正的RPC参数，所述卫星图像处理方法能够提高校正的RPC参数的精度。
附图说明
图1显示为本申请实施例运行所述卫星图像处理方法的硬件结构示意图。
图2显示为本申请实施例所述卫星图像处理方法的流程图。
图3显示为本申请实施例基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点的实现方法的流程图。
图4显示为本申请实施例特征匹配的示意图。
图5显示为本申请实施例所述卫星图像处理方法的实现方法的流程图。
图6显示为本申请实施例基于所述校正的卫星投影映射模型参数对所述卫星图像像对进行立体校正处理，以获取立体校正后的卫星图像像对的实现方法的流程图。
图7显示为本申请实施例地点1立体校正前后的示意图。
图8显示为本申请实施例对所述校正后的卫星图像像对进行立体匹配处理，以获取所述校正后的卫星图像像对优化后的视差图的实现方法的流程图。
图9显示为本申请实施例地点1数字地表模型的示意图。
图10显示为本申请实施例地点1三维点云模型的示意图。
图11显示为本申请实施例卫星图像处理装置的结构示意图。
元件标号说明
10 电子设备
110 存储器
120 处理器
130 总线
140 接入设备
150 数据库
1100 卫星图像处理装置
1110 图像像对获取模块
1120 相机参数获取模块
1130 校正参数获取模块
S11-S13 步骤
S21-S23 步骤
S31-S33 步骤
S41-S44 步骤
S51-S52 步骤
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图示中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细描述。
本申请实施例所提供的卫星图像处理方法可以在计算设备中运行。以图1为例，图1为运行所述卫星图像处理方法的计算设备的硬件结构框图。计算设备10包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
计算设备10还包括接入设备140，接入设备140使得计算设备10能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网、局域网、广域网、个域网或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口，例如，网络接口卡中的一个或多个，诸如IEEE802.11无线局域网无线接口、全球微波互联接入接口、以太网接口、通用串行总线接口、蜂窝网络接口、蓝牙接口、近场通信接口，等等。
在本申请的实施例中，计算设备10的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备10可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，膝上型计算机、笔记本计算机、上网本等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备10还可以是移动式或静止式的服务器。
如图2所示，本实施例提供了一种卫星图像处理方法，所述卫星图像处理方法包括：
S11，获取卫星图像像对及其关联的初始RPC参数。
可选地，所述卫星图像像对可以指的是在同一地理位置采集的采集角度差异在5°至30°的两幅卫星图像，所述卫星图像像对可以由不同视角的原始卫星图像中通过裁剪方式提取出其中的感兴趣区域形成，所述卫星图像可以指的是以二维信息为载体的卫星图像。感兴趣区域在图像处理领域指研究关注的图像区域，对于卫星图像则对应研究关注的地理区域。
可选地，所述卫星图像像对中每幅卫星图像都有一组关联的RPC(RationalPolynomial Coefficient，有理多项式系数)参数，该RPC参数用于描述卫星投影映射模型。所述初始RPC参数即可以指的是卫星图像像对中每幅卫星图像关联的初始的RPC参数。
S12，基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成。
可选地，所述平移校正因子可以根据实际情况灵活设置，本实施例对此并不明确限制。所述优化3D点即可以指的是优化的3D点坐标。
可选地，所述捆绑调整优化处理可以指的是对所述匹配点对的三维点位置和所述卫星图像像对关联的相机参数进行非线性优化处理，所述捆绑调整优化处理也可以视为对所述匹配点对进行最小化重投影误差的一种处理。所述欧拉角即为捆绑调整优化处理中的相机参数，所述重投影误差可以指的是所述匹配点对关联的三维坐标投影在所述卫星图像中的二维估计坐标，所述二维估计坐标与所述匹配点在所述卫星图像中的二维实际坐标之间的误差即为所述重投影误差。所述捆绑调整优化处理中的目标函数即可以指的是非线性优化的目标函数。所述优化的欧拉角和所述优化的平移向量可以用于补偿相机视角下RPC参数的偏差，RPC参数用于描述卫星投影映射模型，所述卫星投影映射模型主要用RFM(Rational Function Model，有理函数模型)表示，RFM模型可以直接建立起像点和空间坐标之间的关系，不需要传感器成像的物理模型信息。
S13，基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。
可选地，基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数的实现方法包括：基于所述优化的欧拉角、所述优化的平移向量、所述优化3D点和所述匹配点对，通过最小二乘拟合方法计算获取所述校正的RPC参数。所述优化3D点即可以指的是优化的3D点坐标，所述匹配点对可以指的是匹配点对的坐标，所述优化的3D点坐标相比于所述匹配点对的初始3D点的坐标相对准确。
根据以上描述可知，本实施例所述卫星图像处理方法包括：获取卫星图像像对及其关联的初始RPC参数；基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成；基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。
在所述卫星图像处理方法中，通过根据由重投影误差值和平移校正值共同决定的捆绑调整处理中的目标函数值，能够获取优化的欧拉角、优化的平移向量和优化的3D点，进而获得校正的RPC参数，所述卫星图像处理方法能够提高校正的RPC参数的精度。
如图3所示，本实施例提供一种基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点的实现方法包括：
S21，对所述卫星图像像对进行特征提取及匹配处理，以获取所述卫星图像像对中的匹配点对。
可选地，对所述卫星图像像对进行特征提取及匹配处理的实现方法包括：对所述目标区域进行SIFT(Scale Invariant Feature Transform，尺度不变特征变换)特征提取处理，并根据距离比值法结合RANSAC(Random Sample Consensus，随机抽样一致性)算法进行特征匹配处理，以获取所述匹配点对，其中特征匹配处理示意图可以如图4所示。
S22，基于所述初始RPC参数对所述匹配点对进行三角测量，以获取所述匹配点对的初始3D点。
可选地，本实施例对所述初始RPC参数的具体值并不明确限制，初始RPC参数同卫星图像一起由卫星公司提供。所述初始RPC参数存在一定的偏差，当卫星图像重建时，该偏差会导致重建后的三维点误差加大，RPC参数的误差来自对卫星位姿的不准确记录。
可选地，所述初始3D点可以表示为：O0＝(X0,Y0,Z0)。
可选地，每幅所述卫星图像均具有关联的卫星投影映射模型参数，所述卫星投影映射模型参数可以为RPC参数。所述卫星投影映射模型可简化表示为o＝P(O)，其中o＝(x,y)，O＝(X,Y,Z)，P(·)的具体形式如下：
NumL(X,Y,Z)＝a0+a1Y+a2X+a3Z+a4YX+a5YZ+a6XZ+a7Y2+a8X2+a9Z2+a10XYZ+a11Y3+a12YX2+a13YZ2+a14Y2X+a15X3+a16XZ2+a17Y2Z+a18X2Z+a19Z3
DenL(X,Y,Z)＝b0+b1Y+a2X+b3Z+b4YX+b5YZ+b6XZ+b7Y2+b8X2+b9Z2+b10XYZ+b11Y3+b12YX2+b13YZ2+b14Y2X+b15X3+b16XZ2+b17Y2Z+b18X2Z+b19Z3
NumS(X,Y,Z)＝e0+e1Y+e2X+e3Z+e4YX+e5YZ+e6XZ+e7Y2+e8X2+e9Z2+e10XYZ+e11Y3+e12YX2+e13YZ2+e14Y2X+e15X3+e16XZ2+e17Y2Z+e18X2Z+e19Z3
DenS(X,Y,Z)＝f0+f1Y+f2X+f3Z+f4YX+f5YZ+f6XZ+f7Y2+f8X2+f9Z2+f10XYZ+f11Y3+f12YX2+f13YZ2+f14Y2X+f15X3+f16XZ2+f17Y2Z+f18X2Z+f19Z3
其中，x表示归一化的图像行值，y表示归一化的图像列值，X表示归一化的地理经度，Y表示归一化的纬度，Z表示归一化的高程坐标，归一化的作用是最小化数值误差。图像坐标单位为像素，地面坐标为十进制经度、纬度和以米为单位的高程。归一化公式如下：
其中，LATOFF、LATSCALE、LONGOFF、LONGSCALE、HEIGHTOFF、HEIGHTSCALE为地面坐标的归一化参数，LINEOFF、LINESCALE、SAMPOFF、SAMPSCALE为图像坐标的归一化参数，ai、bi、ei、fi即为所述RPC参数，通常RPC文件中有90多个参数。
S23，基于所述初始3D点、所述匹配点对、所述卫星图像像对关联的相机视角下的待优化的旋转矩阵、待优化的平移向量、所述平移校正值和所述目标函数，获取所述优化的欧拉角、所述优化的平移向量和所述优化3D点，所述优化的欧拉角、所述优化的平移向量和所述优化3D点分别为该相机视角下较优的所述目标函数值所关联的欧拉角、平移向量、3D点。
可选地，所述旋转矩阵初始时可以为单位阵，所述平移向量初始时可以为单位向量，所述旋转矩阵和所述平移向量可以纠正卫星位姿的误差，进而补偿RPC参数的偏差。
可选地，第m个相机视角下的旋转矩阵表示为：
Rm＝Rx(αm)Ry(βm)Rz(γm)
其中，Rm表示为第m个相机视角下的旋转矩阵，Rx(·)表示x轴上的旋转，Ry(·)表示y轴上的旋转，Rz(·)表示z轴上的旋转，αm表示第一角度，βm表示第二角度，γm表示第三角度，αm、βm和γm组成第m个相机待优化的欧拉角，m为不小于1的正整数。
可选地，所述目标函数可以表示为：
优选地，较优的所述目标函数值可以为minL，即可表示为：
其中，omk表示第m个相机视角下的卫星图像上第k对匹配点坐标，Ok表示与omk对应的三维点坐标，K表示该卫星图像上的匹配点对个数，M表示共有M个相机视角的卫星图像，Pm表示第m个相机视角下的RPC投影映射，tm表示第m个相机视角下用于补偿RPC误差的所述平移向量，Rm表示为第m个相机视角下的旋转矩阵，λ表示所述平移校正因子，αm表示第m个相机视角下的第一角度，βm表示第m个相机视角下的第二角度，γm表示第m个相机视角下的第三角度。所述目标函数可以通过LM(Levenberg-Marquard，列文伯格-马夸尔特法)算法求解，以获取所述优化的欧拉角和所述优化的平移向量。在捆绑调整平移优化之前的重投影误差约为1.94像素，捆绑调整平移优化后的重投影误差较小，约为0.06像素。所述较优的目标函数值关联的欧拉角和平移向量即可指的是在目标函数L值最小时即minL时的欧拉角和平移向量。其中(Ok,αm,βm,γm,tm)即表示所述优化3D点的坐标、所述优化的欧拉角和所述优化的平移向量。
可选地，omk-Pm(RmOk+tm)可以表示上文所述的重投影误差值，可以表示上文所述的平移校正值。
如图5所示，本实施例提供一种卫星处理方法，所述卫星处理方法还包括：
S31，基于所述校正的卫星投影映射模型参数对所述卫星图像像对进行立体校正处理，以获取所述立体校正后的卫星图像像对。
可选地，所述立体校正后的卫星图像像对即指的是经过几何立体校正处理的卫星图像像对。所述几何立体校正处理可以指的是对所述卫星图像像对做变换，使得卫星图像像对的极线平行，且在水平方向上对齐的一种处理。
S32，对所述校正后的卫星图像像对进行立体匹配处理，以获取所述校正后的卫星图像像对优化后的视差图。
S33，基于所述优化后的视差图和所述校正的RPC参数，获取具备地理位置和高程信息的数字地表模型和三维点云模型。
如图6所示，本实施例提供一种基于所述校正的RPC参数对所述卫星图像像对进行立体校正处理，以获取所述立体校正后的卫星图像像对的实现方法，包括：
S41，基于第一卫星图像关联的卫星定位模型，获取所述第一卫星图像中区域的地理坐标和高程，所述第一卫星图像为所述卫星图像像对中的其中一幅图像，所述卫星定位模型与所述第一卫星图像关联的校正的RPC参数相关。
可选地，地理坐标和高程用上文O表示，其中O＝(X,Y,Z)，o1＝(x1,y1)，这里o1表示所述卫星图像上的二维点，Z0表示高程值初值，通常设置为1，/>表示所述第一卫星图像关联的卫星定位模型，所述卫星定位模型即为卫星反向投影映射模型。所述第一卫星图像中区域即为上文所述的感兴趣区域。
S42，基于所述地理坐标、所述高程、第二卫星图像关联的卫星投影模型，获取所述第一卫星图像的伪匹配点，所述第二卫星图像为所述卫星图像像对中的另外一幅图像，所述第二卫星图像关联的卫星投影模型与所述第二卫星图像关联的所述校正RPC参数相关。
可选地，所述伪匹配点表示为o2＝P2(O)，其中o2即为o1的伪匹配点，P2表示所述第二卫星图像关联的卫星投影模型。
S43，基于伪匹配点对、所述地理坐标和所述高程，获取图像变换矩阵。
可选地，所述伪匹配点对即可以上述的(o1，o2)。
可选地，基于所述伪匹配点对、所述地理坐标和所述高程，获取图像变换矩阵的实现方法包括：通过黄金标准算法对所述伪匹配点对、所述地理坐标和所述高程进行处理，以获取所述图像变换矩阵。所述图像变换矩阵可以表示为基础矩阵F，用于卫星图像像对到校正后的立体卫星图像像对的图像变换。
S44，基于所述图像变换矩阵对所述第二卫星图像进行图像变换处理，以获取所述立体校正后的卫星图像像对。
可选地，根据图像变换矩阵对卫星图像进行图像变换处理的具体过程本实施例在此不再赘述。以地点1为例，校正前后的示意图如图7所示。
如图8所示，本实施例提供一种对所述校正后的卫星图像像对进行立体匹配处理，以获取所述校正后的卫星图像像对优化后的视差图的实现方法，包括：
S51，基于所述立体校正后的卫星图像像对的匹配代价和星形路径，获取所述立体校正后的卫星图像像对的视差图，所述视差图中的像素视差为该像素最小聚合代价关联的视差值。
可选地，所述匹配代价可以通过对所述立体校正后的卫星图像像对进行Census变换计算获取，所述最小聚合代价可以根据星形路径上选择的两个垂直方向进行匹配代价聚合计算获得，所述像素视差即对立体校正后的卫星图像上的每个像素选择最小聚合代价对应的视差值作为像素视差，得到视差图。
S52，对所述视差图进行优化处理，以获取优化后的视差图。
可选地，所述优化后的视差图能够提高视差精度。所述优化后的视差图可以视为所述立体校正后的卫星图像像对的立体匹配结果，所述立体校正后的卫星图像像对的立体匹配过程可以通过改进的SGM(Semi-Global Matching，半全局立体匹配)算法实现，具体本实施例在此不再赘述。
可选地，基于所述优化后的视差图和所述校正的RPC参数，获取具备地理位置和高程信息的数字地表模型和三维点云模型的实现方法包括：基于所述校正的RPC参数对所述优化后的视差图进行三角测量，以获取所述数字地表模型和所述三维点云模型
可选地，地点1的所述数字地表模型如图9所示，十字线交点处地理位置坐标为(34°29′30.91″S，58°35′15.86″W)，该位置高程值为16.967625米。地点1的所述三维点云模型如图10所示，图10表示9个不同视角下的所述三维点云模型，S2P方法、基于传统捆绑调整优化算法的重建方法、本实施例所述卫星图像处理方法中地点1-5的中值误差如下
表1所示：
表1
本申请实施例所述卫星图像处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本申请的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本申请的保护范围内。
如图11所示，本实施例提供一种卫星图像处理装置1100，所述卫星图像处理装置1100包括：
图像像对获取模块1110，用于获取卫星图像像对及其关联的初始RPC参数。
相机参数获取模块1120，用于基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成。
校正参数获取模块1130，用于基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。
本实施例提供的卫星图像处理装置1100中，所述图像像对获取模块1110与图2所示的卫星图像处理方法的步骤S11对应，所述相机参数获取模块1120与图2所示的卫星图像处理方法的步骤S12对应，所述校正参数获取模块1130与图2所示的卫星图像处理方法的步骤S13对应。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本申请实施例的目的。例如，在本申请各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例提供一种电子设备，所述电子设备包括存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行图2所示的卫星图像处理方法。
本申请实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetic tape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例还可以提供一种计算机程序产品，所述计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机或数据中心进行传输。
所述计算机程序产品被计算机执行时，所述计算机执行前述方法实施例所述的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。
上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种卫星图像处理方法，其特征在于，所述卫星图像处理方法包括：
获取卫星图像像对及其关联的初始RPC参数；
基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成；
基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。
2.根据权利要求1所述的卫星图像处理方法，其特征在于，基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点的实现方法包括：
对所述卫星图像像对进行特征提取及匹配处理，以获取所述卫星图像像对中的匹配点对；
基于所述初始RPC参数对所述匹配点对进行三角测量，以获取所述匹配点对的初始3D点；
基于所述初始3D点、所述匹配点对、所述卫星图像像对关联的相机视角下的待优化的旋转矩阵、待优化的平移向量、所述平移校正值和所述目标函数，获取所述优化的欧拉角、所述优化的平移向量和所述优化3D点，所述优化的欧拉角、所述优化的平移向量和所述优化3D点分别为该相机视角下较优的所述目标函数值所关联的欧拉角、平移向量、3D点。
3.根据权利要求2所述的卫星图像处理方法，其特征在于，第m个相机视角下的旋转矩阵表示为：
Rm＝Rx(αm)Ry(βm)Rz(γm)
其中，Rm表示第m个相机视角下的旋转矩阵，Rx(·)表示x轴上的旋转，Ry(·)表示y轴上的旋转，Rz(·)表示z轴上的旋转，αm表示第一角度，βm表示第二角度，γm表示第三角度，αm、βm和γm组成第m个相机待优化的欧拉角，m为不小于1的正整数。
4.根据权利要求1所述的卫星图像处理方法，其特征在于，所述卫星图像处理方法还包括：
基于所述校正的RPC参数对所述卫星图像像对进行立体校正处理，以获取所述立体校正后的卫星图像像对；
对所述校正后的卫星图像像对进行立体匹配处理，以获取所述校正后的卫星图像像对优化后的视差图；
基于所述优化后的视差图和所述校正的RPC参数，获取具备地理位置和高程信息的数字地表模型和三维点云模型。
5.根据权利要求4所述的卫星图像处理方法，其特征在于，基于所述校正的RPC参数对所述卫星图像像对进行立体校正处理，以获取所述立体校正后的卫星图像像对的实现方法包括：
基于第一卫星图像关联的卫星定位模型，获取所述第一卫星图像中区域的地理坐标和高程，所述第一卫星图像为所述卫星图像像对中的其中一幅图像，所述卫星定位模型与所述第一卫星图像关联的校正的RPC参数相关；
基于所述地理坐标、所述高程、第二卫星图像关联的卫星投影模型，获取所述第一卫星图像的伪匹配点，所述第二卫星图像为所述卫星图像像对中的另外一幅图像，所述第二卫星图像关联的卫星投影模型与所述第二卫星图像关联的所述校正的RPC参数相关；
基于伪匹配点对、所述地理坐标和所述高程，获取图像变换矩阵；
基于所述图像变换矩阵对所述第二卫星图像进行图像变换处理，以获取所述立体校正后的卫星图像像对。
6.根据权利要求4所述的卫星图像处理方法，其特征在于，对所述校正后的卫星图像像对进行立体匹配处理，以获取所述校正后的卫星图像像对优化后的视差图的实现方法包括：
基于所述立体校正后的卫星图像像对的匹配代价和星形路径，获取所述立体校正后的卫星图像像对的视差图，所述视差图中的像素视差为该像素最小聚合代价关联的视差值；
对所述视差图进行优化处理，以获取优化后的视差图。
7.根据权利要求6所述的卫星图像处理方法，其特征在于，基于所述优化后的视差图和所述校正的RPC参数，获取具备地理位置和高程信息的数字地表模型和三维点云模型的实现方法包括：基于所述校正的RPC参数对所述优化后的视差图进行三角测量，以获取所述数字地表模型和所述三维点云模型。
8.一种卫星图像处理装置，其特征在于，所述卫星图像处理装置包括：
图像像对获取模块，用于获取卫星图像像对及其关联的初始RPC参数；
相机参数获取模块，基于所述初始RPC参数，对所述卫星图像像对中的匹配点对进行捆绑调整优化处理，以获取所述卫星图像像对关联的相机所需优化的欧拉角、优化的平移向量和所述匹配点对的优化3D点，所述捆绑调整优化处理中的目标函数值由所述卫星图像像对关联的相机视角下的重投影误差值和平移校正值共同决定，所述平移校正值由平移校正因子和待优化的欧拉角组成；
校正参数获取模块，用于基于所述优化的欧拉角、所述优化的平移向量、所述匹配点对和所述优化3D点，获取校正的RPC参数。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述卫星图像处理方法。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行权利要求1-7任一项所述卫星图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410344222.9A CN118096615A (zh) | 2024-03-25 | 2024-03-25 | 卫星图像处理方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410344222.9A CN118096615A (zh) | 2024-03-25 | 2024-03-25 | 卫星图像处理方法、装置、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118096615A true CN118096615A (zh) | 2024-05-28 |
Family
ID=91141898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410344222.9A Pending CN118096615A (zh) | 2024-03-25 | 2024-03-25 | 卫星图像处理方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118096615A (zh) |
-
2024
- 2024-03-25 CN CN202410344222.9A patent/CN118096615A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9466143B1 (en) | Geoaccurate three-dimensional reconstruction via image-based geometry | |
| US9185289B2 (en) | Generating a composite field of view using a plurality of oblique panoramic images of a geographic area | |
| US11682170B2 (en) | Generating three-dimensional geo-registered maps from image data | |
| CN112288853A (zh) | 三维重建方法、三维重建装置、存储介质 | |
| CN112184768B (zh) | 基于激光雷达的sfm重建方法、装置和计算机设备 | |
| CN113345028B (zh) | 一种确定目标坐标变换信息的方法与设备 | |
| CN110033046B (zh) | 一种计算特征匹配点分布可信度的量化方法 | |
| CN116721231A (zh) | 基于无人机机载定位的可扩展场景三维重建方法及*** | |
| CN115797256B (zh) | 基于无人机的隧道岩体结构面信息的处理方法以及装置 | |
| CN109029379B (zh) | 一种高精度小基高比立体测绘方法 | |
| Fu-Sheng et al. | Batch reconstruction from UAV images with prior information | |
| CN115222776B (zh) | 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质 | |
| Cannata et al. | Autonomous video registration using sensor model parameter adjustments | |
| CN118096615A (zh) | 卫星图像处理方法、装置、介质及电子设备 | |
| Bakuła et al. | Capabilities of a smartphone for georeferenced 3dmodel creation: An evaluation | |
| Tong et al. | Geometric integration of aerial and QuickBird imagery for high accuracy geopositioning and mapping application: A case study in Shanghai | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| CN115485735A (zh) | 用于从rgbd视频生产ifc bim对象的密集3d建模方法 | |
| CN113610952A (zh) | 一种三维场景重建方法、装置、电子设备和存储介质 | |
| Shen et al. | An improved method for transforming GPS/INS attitude to national map projection frame | |
| US11776148B1 (en) | Multi-view height estimation from satellite images | |
| CN115830246B (zh) | 一种基于增量式sfm的球面全景影像三维重建方法 | |
| CN117671007B (zh) | 一种位移监测方法、装置、电子设备及存储介质 | |
| Ye et al. | Improving Co-Registration for Sentinel-1 SAR and Sentinel-2 Optical Images. Remote Sens. 2021, 13, 928 | |
| Hong et al. | Evaluation of the RPC Model for Ziyuan-3 Three-line Array Imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |