CN114581346A - 一种面向城市低空遥感监测目标的多光谱影像融合方法 - Google Patents
一种面向城市低空遥感监测目标的多光谱影像融合方法 Download PDFInfo
- Publication number
- CN114581346A CN114581346A CN202210048914.XA CN202210048914A CN114581346A CN 114581346 A CN114581346 A CN 114581346A CN 202210048914 A CN202210048914 A CN 202210048914A CN 114581346 A CN114581346 A CN 114581346A
- Authority
- CN
- China
- Prior art keywords
- image
- elevation
- monitoring target
- remote sensing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种面向城市低空遥感监测目标的多光谱影像融合方法，包括：云层观测装置，所述云层观测装置包括影像采集模块、位置姿态采集模块和存储模块，所述存储模块存储记录影像采集模块的数字信息和可交换图像文件信息；控制模块，用于控制影像采集模块的曝光间隔；固定装置，安置于无人机顶部，适于将云层观测装置和控制模块固定在无人机上，所述固定装置上设有高反射率贴片，实现数据采集前的几何标定。基于本方法，可以针对特定的城市低空遥感监测目标进行多光谱影像融合，保证观测目标部分融合的精确性，解决由于城市地表物体高差引起的投影差所造成的影像融合失败的问题。
Description
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及一种面向城市低空遥感监测目标的多光谱影像融合方法及方法。
背景技术
低空多光谱遥感是近年来新兴的一种遥感技术，它是一种衔接卫星和地面之间的观测技术，可对地面目标进行大面积、高效率、高频次的监测，为城市地表资源定量高频监测与演化分析提供有效的技术支持。
多光谱影像融合可以获得比单一波段数据更精确、更丰富的信息，从而提高目标识别、分类和反演的精度。然而，由于城市高层建筑较多，会导致低空遥感获得的影像中存在严重的投影差。传统的影像融合方法无法满足投影差较大影像的精确融合，造成各通道间部分重叠的像素不是同一目标物，严重影响了目标的识别、分类、反演精度。
发明内容
本发明提供一种面向城市低空遥感监测目标的多光谱影像融合方法，以解决无人机在单次飞行过程中因云层带来环境光变化，导致所产生的相同目标地物具有不同辐射特性的技术问题。
为解决上述问题，本发明提供一种面向城市低空遥感监测目标的多光谱影像融合方法，包括：
S1：高程计算，
通过立体双目视觉前方交会的方法，计算影像中特征点在摄影测量坐标系或物空间坐标系中的高程；
S2：匹配高程范围计算，
获取监测目标所在的高程值，计算以该高程为基准下的不同地物高度所造成的投影差，设置投影差所允许的最大值，根据该值判断允许特征匹配的高程范围；
S3：弱特征地物剔除，
通过深度学习算法对影像进行分类，剔除弱特征地物部分；
S4：特征点匹配，
进行同一曝光点不同波段影像特征点的匹配；
S5：影像空间变换，
以同步曝光的多光谱影像中某一幅影像为基准构建坐标系，依据匹配的特征点建立融合影线间的空间对应关系，求空间变换参数；
S6：影像融合，
对进行空间变换的影像进行重采样，使之与基准影像具有相同的空间分辫率，最终将多幅多光谱影像叠加得到多通道的融合影像。
优选的，在步骤S1当中，所述计算影像中特征点在摄影测量坐标系或物空间坐标系中的高程具体包括：
S31：选取同一航线上前后两个相邻曝光点同一波段的两张影像，进行特征点的检测与匹配；
S32：获取所述两张影像的内方位元素和外方位元素，通过共线方程公式计算所有特征点的高程；
S33：通过插值计算估计其余非特征点部分的高程值，最终可获得整张影像所有像素点位的高程值。
优选的，所述特征点的检测与匹配的方法为SIFT算法或SURF算法。
优选的，所述共线方程公式的计算表达式如下：
其中，x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XS，YS，ZS为摄站点的物方空间坐标；XA，YA，ZA为物方点的物方空间坐标；ai，bi，ci(i＝1,2,3)为影像的3个外方位角元素组成的9个方向余弦，ZA即为高程值。
优选的，在步骤S33中，所述插值计算估计其余非特征点部分的高程值的计算方法包括双线性内插方法。
优选的，在步骤S2中，所述投影差的计算表达式如下：
其中，d为投影差，L为地物深度，Ll为地物深度在左片的投影长度，Lr为地物深度在右片的投影长度，Lr为物距，D为物距，H＝D+L为航高，Xl为地物底点在左片投影点距象主点的距离，f为焦距，B为左片与右片的基线距离。
优选的，在步骤S2中，所述判断允许特征匹配的高程范围的具体内容包括：
以监测目标高程为基准面，投影差大于5个像素长度的高程部分地物则在影像特征匹点配时被剔除。
优选的，在步骤S3中，所述深度学习算法的神经网络为SegNet，MobileNet，DeepLab系列的网络。
优选的，在步骤S6中，所述对进行空间变换的影像进行重采样的具体方法为双线性内插法。
本发明与现有技术相比具有显著的优点和有益效果，具体体现在以下方面：
1、该方法通过计算影像中同一地物的投影差，判断适合目标地物影像融合的高度范围，选择该高度范围内的部分影像进行融合；
2、通过深度学习的方法对影像进行分类，判断适合进行多波段影像匹配的地物，忽略弱特征地物，实现针对特定监测目标的高精度多光谱影像融合；
3、可以针对特定的城市低空遥感监测目标进行多光谱影像融合，保证观测目标部分融合的精确性，解决由于城市地表物体高差引起的投影差所造成的影像融合失败的问题。
附图说明
图1为本发明实施例中面向城市低空遥感监测目标的多光谱影像融合方法的流程示意图；
图2为本发明实施例中通过基高比计算同一地物在两张影像中投影差大小的公式示意图；
图3为本发明实施例中同一曝光点在某三个波段B1、B2、B3的示例影像图；
图4为本发明实施例中进行影像融合前的特征点匹配结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
如图1-4所示，本发明的实施例提供一种面向城市低空遥感监测目标的多光谱影像融合方法，包括以下步骤：
步骤S1：高程计算；
选取同一航线上前后两个相邻曝光点在同一波段上的两张影像，进行特征点的检测与匹配，
较佳的，采用SIFT(Scale-Invariant Feature Transform)或SURF(Speeded UpRobust Features)算法进行特征点的检测与匹配。
较佳的，可以选择更多的重叠影像平差计算特征点高程。
获取两张影像的内方位元素和外方位元素，通过以下共线方程公式计算所有特征点的高程：
其中，x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XS，YS，ZS为摄站点的物方空间坐标；XA，YA，ZA为物方点的物方空间坐标；ai，bi，ci(i＝1,2,3)为影像的3个外方位角元素组成的9个方向余弦。
ZA即为高程值，其余非特征点的部分可以通过插值计算估计高程值，较佳的，可以采用双线性内插方法进行差值计算，最终可获得整张影像中所有像素点位的高程值。
步骤S2：匹配高程范围计算；
请参阅图2所示，从具有高程值的影像中获取监测目标的高程值信息，以该高程值为基准面，分别计算高于和低于该基准面时各基高比所造成的投影差大小，投影差计算公式如下，
其中，d为投影差，L为地物深度，Ll为地物深度在左片的投影长度，Lr为地物深度在右片的投影长度，Lr为物距，D为物距，H＝D+L为航高，Xl为地物底点在左片投影点距象主点的距离，f为焦距，B为左片与右片的基线距离。
较佳的，投影差d应不大于5个像素长度的大小。以监测目标的高程为基准面，投影差d大于5个像素长度的高程部分地物，则在影像特征点匹配时被剔除。
步骤S3：弱特征地物剔除；
在本发明实施例当中，采用深度学习的方法对影像中的地物进行分类，剔除弱特征地物，例如水面、玻璃面等，这些地物部分将在影像特征点匹配时被剔除。
较佳的，深度学习神经网络可以选择SegNet，MobileNet，DeepLab系列的网络。
步骤S4：特征点匹配；
依据步骤S3和步骤S4，剔除影像中高程不符合约束条件和弱特征的地物部分，对同一曝光点不同波段间进行影像特征点匹配。
较佳的，选择SIFT或SURF算法进行特征点匹配。
请参阅图3所示，在本发明的实施例当中，以三张多光谱影像为例，这三张影像为同一曝光点的三个不同波段B1，B2，B3，请参阅图4所示为剔除部分地物后的特征点匹配结果。
步骤S5：影像空间变换；
在本发明的实施例当中，选择某一波段影像作为基准影像，构建空间坐标系，其余波段影像基于匹配的特征点计算变换到基准影像的空间变换四参数。
步骤S6：影像融合；
对进行空间变换的影像进行重采样，使变换后的影像与基准影像具有相同的空间分辫率。
作为本实施例的最佳优选方式，采用双线性内插法进行影像重采样，最终将多幅多光谱影像叠加，以得到多通道的融合影像。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (9)
1.一种面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，包括：
S1：高程计算，
通过立体双目视觉前方交会的方法，计算影像中特征点在摄影测量坐标系或物空间坐标系中的高程；
S2：匹配高程范围计算，
获取监测目标所在的高程值，计算以该高程为基准下的不同地物高度所造成的投影差，设置投影差所允许的最大值，根据该值判断允许特征匹配的高程范围；
S3：弱特征地物剔除，
通过深度学习算法对影像进行分类，剔除弱特征地物部分；
S4：特征点匹配，
进行同一曝光点不同波段影像特征点的匹配；
S5：影像空间变换，
以同步曝光的多光谱影像中某一幅影像为基准构建坐标系，依据匹配的特征点建立融合影线间的空间对应关系，求空间变换参数；
S6：影像融合，
对进行空间变换的影像进行重采样，使之与基准影像具有相同的空间分辫率，最终将多幅多光谱影像叠加得到多通道的融合影像。
2.根据权利要求1所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，在步骤S1当中，所述计算影像中特征点在摄影测量坐标系或物空间坐标系中的高程具体包括：
S31：选取同一航线上前后两个相邻曝光点同一波段的两张影像，进行特征点的检测与匹配；
S32：获取所述两张影像的内方位元素和外方位元素，通过共线方程公式计算所有特征点的高程；
S33：通过插值计算估计其余非特征点部分的高程值，最终可获得整张影像所有像素点位的高程值。
3.根据权利要求2所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，所述特征点的检测与匹配的方法为SIFT算法或SURF算法。
4.根据权利要求2所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，所述共线方程公式的计算表达式如下：
其中，x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XS，YS，ZS为摄站点的物方空间坐标；XA，YA，ZA为物方点的物方空间坐标；ai，bi，ci(i＝1,2,3)为影像的3个外方位角元素组成的9个方向余弦，ZA即为高程值。
5.根据权利要求2所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，在步骤S33中，所述插值计算估计其余非特征点部分的高程值的计算方法包括双线性内插方法。
6.根据权利要求1所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，在步骤S2中，所述投影差的计算表达式如下：
其中，d为投影差，L为地物深度，Ll为地物深度在左片的投影长度，Lr为地物深度在右片的投影长度，Lr为物距，D为物距，H＝D+L为航高，Xl为地物底点在左片投影点距象主点的距离，f为焦距，B为左片与右片的基线距离。
7.根据权利要求1所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，在步骤S2中，所述判断允许特征匹配的高程范围的具体内容包括：
以监测目标高程为基准面，投影差大于5个像素长度的高程部分地物则在影像特征匹点配时被剔除。
8.根据权利要求1所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，在步骤S3中，所述深度学习算法的神经网络为SegNet，MobileNet，DeepLab系列的网络。
9.根据权利要求1所述的面向城市低空遥感监测目标的多光谱影像融合方法，其特征在于，在步骤S6中，所述对进行空间变换的影像进行重采样的具体方法为双线性内插法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210048914.XA CN114581346A (zh) | 2022-01-17 | 2022-01-17 | 一种面向城市低空遥感监测目标的多光谱影像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210048914.XA CN114581346A (zh) | 2022-01-17 | 2022-01-17 | 一种面向城市低空遥感监测目标的多光谱影像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114581346A true CN114581346A (zh) | 2022-06-03 |
Family
ID=81768778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210048914.XA Pending CN114581346A (zh) | 2022-01-17 | 2022-01-17 | 一种面向城市低空遥感监测目标的多光谱影像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581346A (zh) |
-
2022
- 2022-01-17 CN CN202210048914.XA patent/CN114581346A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059608B (zh) | 一种物体检测方法、装置、电子设备和存储介质 | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| CN110859044B (zh) | 自然场景中的集成传感器校准 | |
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、***、装置 | |
| CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
| WO2017080108A1 (zh) | 飞行装置、飞行控制***及方法 | |
| CN107527328B (zh) | 一种兼顾精度与速度的无人机影像几何处理方法 | |
| CN109255808B (zh) | 基于倾斜影像的建筑物纹理提取方法和装置 | |
| JP3850541B2 (ja) | 高度計測装置 | |
| CN106373088A (zh) | 大倾斜低重叠率航空图像的快速拼接方法 | |
| CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及*** | |
| CN111583342B (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| CN115588144A (zh) | 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备 | |
| CN113340272B (zh) | 一种基于无人机微群的地面目标实时定位方法 | |
| CN109883400B (zh) | 基于yolo-sitcol的固定站自动目标检测与空间定位方法 | |
| CN113345084B (zh) | 三维建模***及三维建模方法 | |
| CN115326025B (zh) | 一种用于海浪的双目影像测量与预测方法 | |
| CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
| CN116468621A (zh) | 一种一键式数字化航空影像数据处理方法 | |
| CN114581346A (zh) | 一种面向城市低空遥感监测目标的多光谱影像融合方法 | |
| CN116381649A (zh) | 联合标定方法、设备和存储介质 | |
| Feng et al. | Assessment of influence of image processing on fully automatic UAV photogrammetry | |
| Pateraki et al. | Analysis and performance of the Adaptive Multi-Image matching algorithm for airborne digital sensor ADS40 | |
| RU2767477C1 (ru) | Способ навигации беспилотных летательных аппаратов | |
| JP7157971B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |