CN111383203B - 基于分区域拟合的全色与多光谱遥感图像融合方法 - Google Patents
基于分区域拟合的全色与多光谱遥感图像融合方法 Download PDFInfo
- Publication number
- CN111383203B CN111383203B CN201911084096.3A CN201911084096A CN111383203B CN 111383203 B CN111383203 B CN 111383203B CN 201911084096 A CN201911084096 A CN 201911084096A CN 111383203 B CN111383203 B CN 111383203B
- Authority
- CN
- China
- Prior art keywords
- image
- multispectral
- refers
- pixel
- nth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 230000003595 spectral effect Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000005192 partition Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供的基于分区域拟合的全色与多光谱遥感图像融合方法,包括以下步骤:将多光谱图像上采样至全色图像的尺寸,并使用k‑means方法根据光谱角距离对上采样后的多光谱图像进行分类;然后使用最小二乘法分区域求解各类别区域的多光谱图像加权系数;利用乘法对上采样后的多光谱图像各个类别区域进行纹理补偿,生成各类别区域的融合图像,并将各类别区域的融合图像进行组合,得到最终融合图像。本发明多光谱波段的加权系数拟合结果更贴近原始全色图像,减小融合过程中的色彩失真,并且使用乘法操作而非主流融合算法中的加法操作进行纹理细节补偿,对高亮度区域有更好的纹理补偿效果,减小了融合过程的细节失真。
Description
技术领域
本发明属于数字图像处理技术领域,涉及一种遥感图像融合方法,特别 涉及一种基于分区域拟合的全色与多光谱遥感图像融合方法。
背景技术
光学遥感卫星是对地观测的重要手段,为了更高效地对地观测,大部分 光学卫星均同时采集全色图像与多光谱图像,如SPOT、Landsat 7、IKONOS、 QuickBird、WorldView-2、ZiYuan-3、GaoFen-1等。通常,对于同时相的全色 与多光谱图像,全色图像具有较高的空间分辨率和较低的光谱分辨率,多光 谱图像具有较低的空间分辨率和较高的光谱分辨率,其原因在于:全色感应 器(detector)接收入射光的光谱范围远比多光谱感应器宽,若要接收相同能 量的入射光,多光谱感应器的物理尺寸需要大于全色感应器;此外,受卫星 链路传输带宽的限制,直接提高多光谱图像的采集分辨率,将大大增加星上 数据的下传压力。在实际应用中,人们需要更高分辨率的多光谱图像,例如 在遥感图像判读中需要高视觉质量的融合图像。具有高空间分辨率的全色图 像的好处是可以准确地检测道路、车辆等小或窄的目标。多光谱图像的优点 允许检测诸如植被应力,边界线等的轻微光谱变化等等。许多遥感应用研究 人员需要一个高空间和高光谱分辨率的图像来有效检测特征、分类等。因此, 能将全色图像的高空间分辨率与多光谱图像的高光谱分辨率结合起来,生成 高空间分辨率的多光谱图像的融合算法至关重要,是许多遥感应用的预处理 步骤。
目前主流的遥感图像融合算法都可以描述为式(1)的形式。其中Fus为融 合图像,为上采样至全色图像尺寸的原始多光谱图像,Pan为原始全色图像,为由通过一定的线性转换得到低分辨率全色图像,不同的融合方法生成的方式各不相同,一般的方法是为各波段的加权求和,如式(2)所 示。式(1)中的可以理解为色彩信息,可以理解为纹理细节 信息,于是主流的融合模型都可以理解为将多光谱图像的光谱信息与从全色 图像中提取出的纹理细节信息相结合,得到最终的融合图像。
Fus=Mul+α(Pan-Pan) (1)
在实际情况中,与各波段之间并不是线性组合的关系,因此生成 的与原始全色图像Pan之间会存在局部的颜色差异,这些颜色差异会导致 提取出的纹理细节信息中包含一些本不该包含的色彩信息,这些额外色彩信 息会导致融合图像的色彩失真。究其原因,是因为不同地物类型的光谱响应 不同,使用线性模型不能完美的拟合所有的地物类型。
因此,为了提高包含多种地物类型的遥感图像的融合质量,需要根据不 同地物的光谱响应差异,研究一种全色与多光谱遥感图像的融合方法是本领 域技术人员亟待解决的技术问题。
发明内容
本发明针对上述研究现状和存在的问题,提供了一种针对图像内容复杂 的基于分区域拟合的全色与多光谱遥感图像融合方法。使用k-means方法,利 用像素光谱角对原始多光谱图像进行聚类,对不同类别区域分别进行融合, 有效提高了融合图像的质量。
为了实现上述的发明目的,本发明一种基于分区域拟合的全色与多光谱 遥感图像融合方法,包括如下步骤:
S1、将原始多光谱图像上采样至全色图像的尺寸;
S2、使用k-means方法利用光谱角距离对上采样后的多光谱图像进行k 分类,得到多个类别区域;
S3、对每个类别区域使用最小二乘法求取多光谱图像各波段加权系数;
S4、结合所述多光谱图像各波段加权系数,利用乘法操作对多光谱图像 的各类别区域分别进行纹理补偿,生成融合图像;
S5、将S4中生成的各类别区域的融合图像进行组合,得到最终融合图像。
优选的,所述S2具体包括:
S21、随机选取k个像素点作为聚类中心,k一般取4;
S22、计算多光谱图像上每个像素点到聚类中心的光谱角距离d,计算像 素点到聚类中心光谱角距离的公式如下:
其中n指第n个类别,n=1,2…k,dn为当前像素至第n类聚类中心的光 谱角距离,v为当前像素的光谱向量,pn为第n个聚类中心的光谱向量;然后 将每个像素分类至光谱角距离最小的类别,得到聚类集合;
S23、计算每个聚类集合的光谱向量均值,并光谱向量均值作为新的聚类 中心;如果新的聚类中心与原来聚类中心不同,则返回S22,如果新的聚类中 心与原来聚类中心相同,则进入S3。
优选的,所述S3具体包括:
使用下式对S2中聚类得到的类别区域分别拟合求得多光谱各波段的加权 系数,求解方法使用最小二乘法,
其中,wn指第n类的加权系数组成的向量,Nn是第n类的像素总数,M 是多光谱图像的波段数,指第n个类别区域全色图像中的第i个像素的灰 度值,指第n个类别区域上采样的多光谱图像中第j个波段的第i个像 素的灰度值。
优选的,所述S4具体包括:
利用S3中求得的加权系数使用下式对S2中聚类得到的类别区域的多光 谱图像分别进行纹理补偿,生成融合图像:
其中,n指第n个类别区域,n=1,2…k;
(x,y)指图像中的像素位置,x指横坐标,y指纵坐标,(x,y)属于 第n个类别区域;
M指多光谱图像的波段数;
本发明相较现有技术具有以下有益效果:
1、使用k-means将多光谱图像分为多个区域,分区域生成融合图像,保 证各个地物区域都得到比较好的拟合结果。
2、使用最小二乘法求得拟合时各多光谱波段的加权系数,不需要手动选 取系数,且拟合结果更贴近原始全色图像,减小融合过程中的色彩失真。
3、使用乘法操作而非主流融合算法中的加法操作进行纹理细节补偿,对 高亮度区域有更好的纹理补偿效果,减小了融合过程的细节失真。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面 描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不 付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明提供的基于分区域拟合的全色与多光谱遥感图像融合方法 流程示意图;
图2是原始多光谱图像及原始全色图像(由左到右);
图3是对上采样后的多光谱图像聚类后的各类别区域;
图4是各类别区域分别生成的低分辨率全色图像;
图5是各类别区域分别得到的融合图像;
图6是最终得到的融合图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图1对本发明的实施例作详细的描述。
请参阅说明书附图1,为本发明基于分区域拟合的全色与多光谱遥感图像 融合方法实施方式的流程图。在本实施方式中,包括如下步骤:
S1、将原始多光谱图像上采样至全色图像的尺寸,如附图2。
S2、使用k-means聚类方法对上采样后的多光谱图像进行分类,分类结 果如附图3。
S21、随机选取k个点作为聚类中心,k一般取4;
S22、计算图像其余像素到聚类中心的光谱角距离d,将像素聚类到d较 小的一类,具体过程如下:
计算像素到聚类中心光谱角距离的公式如下:
公式(1)是计算像素点到第n个聚类中心的光谱角距离,其中n指第n 个类别(n=1,2…k),dn为该像素至第n类聚类中心的光谱角距离,v是像素 的光谱向量(各波段灰度值组成的向量),pn是第n个聚类中心的光谱向量。 光谱角距离越大,说明两个像素光谱差异差距越大,当两个光谱向量相同时, 光谱角距离为0。
然后将每个像素分类至光谱角距离最小的类别。
S23、计算每个聚类集合的光谱向量均值,并把这个均值作为新的聚类中 心,如果新的聚类中心与原来聚类中心不同,则转S22,具体过程如下:
计算了新的聚类特征中心的公式如下:
公式(2)中,Nn是第n类的像素总数,vi是第n类中第i个像素的光谱 向量。
判断k-means聚类结束的条件如下:
S3:使用下式(4)对S2中聚类得到的类别区域分别拟合求得多光谱各 波段的加权系数,求解方法使用最小二乘法,得到各类别区域的低分辨率全 色图,如附图4。
式(4)wn指第n类的加权系数组成的向量,Nn是第n类的像素总数, M是多光谱图像的波段数,指第n个类别区域全色图像中的第i个像素 的灰度值,指第n个类别区域上采样的多光谱图像中第j个波段的第i 个像素的灰度值。
S4:利用S3中求得的加权系数使用下式(5)对S2中聚类得到的类别区 域的多光谱图像分别进行纹理补偿,生成各类别区域的融合图像,如附图5:
式(5)中n指第n个类别区域(n=1,2…k),(x,y)指图像中的像素 位置,x指横坐标,y指纵坐标,(x,y)属于第n个类别区域,指 融合图像中第n个类别区域位于(x,y)位置的像素值,指上采样 的多光谱图像中第n个类别区域位于(x,y)位置的像素值,指全 色图像中第n个类别区域位于(x,y)位置的像素值,M指多光谱图像的波 段数,指第n个类别区域多光谱图像第i波段的加权系数,指上 采样的多光谱图像第i个波段在第n个类别区域中位于(x,y)位置的像素值。
S5:将S4中生成的各类别区域的融合图像组合在一起,组合方式包括拼 接,得到最终融合图像,如附图6。
以上对本发明所提供的基于分区域拟合的全色与多光谱遥感图像融合方 法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行 了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想; 同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及 应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明 的限制。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者 操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作 之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或 者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过 程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其 他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在 没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在 包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (4)
1.一种基于分区域拟合的全色与多光谱遥感图像融合方法,其特征在于,包括如下步骤:
S1、将原始多光谱图像上采样至全色图像的尺寸;
S2、使用k-means方法利用光谱角距离对上采样后的多光谱图像进行k分类,得到多个类别区域;
S3、对每个类别区域使用最小二乘法求取多光谱图像各波段加权系数;
S4、结合所述多光谱图像各波段加权系数,利用乘法操作对多光谱图像的各类别区域分别进行纹理补偿,生成融合图像;
S5、将S4中生成的各类别区域的融合图像进行组合,得到最终融合图像。
2.根据权利要求1所述的一种基于分区域拟合的全色与多光谱遥感图像融合方法,其特征在于,所述S2具体包括:
S21、随机选取k个像素点作为聚类中心;
S22、计算多光谱图像上每个像素点到聚类中心的光谱角距离d,计算像素点到聚类中心光谱角距离的公式如下:
其中n指第n个类别,n=1,2…k,dn为当前像素至第n类聚类中心的光谱角距离,v为当前像素的光谱向量,pn为第n个聚类中心的光谱向量;然后将每个像素分类至光谱角距离最小的类别,得到聚类集合;
S23、计算每个聚类集合的光谱向量均值,并光谱向量均值作为新的聚类中心;如果新的聚类中心与原来聚类中心不同,则返回S22,如果新的聚类中心与原来聚类中心相同,则进入S3。
4.根据权利要求1所述的一种基于分区域拟合的全色与多光谱遥感图像融合方法,其特征在于,所述S4具体包括:
利用S3中求得的加权系数使用下式对S2中聚类得到的类别区域的多光谱图像分别进行纹理补偿,生成融合图像:
其中,n指第n个类别区域,n=1,2…k;
(x,y)指图像中的像素位置,x指横坐标,y指纵坐标,(x,y)属于第n个类别区域;
M指多光谱图像的波段数;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911084096.3A CN111383203B (zh) | 2019-11-07 | 2019-11-07 | 基于分区域拟合的全色与多光谱遥感图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911084096.3A CN111383203B (zh) | 2019-11-07 | 2019-11-07 | 基于分区域拟合的全色与多光谱遥感图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111383203A CN111383203A (zh) | 2020-07-07 |
CN111383203B true CN111383203B (zh) | 2022-05-03 |
Family
ID=71218525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911084096.3A Active CN111383203B (zh) | 2019-11-07 | 2019-11-07 | 基于分区域拟合的全色与多光谱遥感图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111383203B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159167B (zh) * | 2021-04-19 | 2023-03-03 | 福州大学 | 基于内陆不同类型水体的叶绿素a反演方法 |
CN115063336B (zh) * | 2022-08-18 | 2022-11-25 | 北京理工大学 | 一种全色与多光谱图像融合方法及其装置、介质 |
CN117197018B (zh) * | 2023-09-27 | 2024-05-31 | 北京航空航天大学 | 一种光谱分布保持的乘性变换遥感图像融合方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117483A (zh) * | 2009-12-31 | 2011-07-06 | 核工业北京地质研究院 | 不同空间分辨率的多光谱遥感图像融合方法 |
CN103218796A (zh) * | 2013-05-14 | 2013-07-24 | 中国科学院自动化研究所 | 一种全色—多光谱遥感图像融合方法 |
CN105096286A (zh) * | 2015-06-30 | 2015-11-25 | 中国石油天然气股份有限公司 | 遥感图像的融合方法及装置 |
CN105160647A (zh) * | 2015-10-28 | 2015-12-16 | 中国地质大学(武汉) | 一种全色多光谱影像融合方法 |
CN106875370A (zh) * | 2017-01-24 | 2017-06-20 | 中国科学院空间应用工程与技术中心 | 一种全色图像和多光谱图像的融合方法及装置 |
-
2019
- 2019-11-07 CN CN201911084096.3A patent/CN111383203B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117483A (zh) * | 2009-12-31 | 2011-07-06 | 核工业北京地质研究院 | 不同空间分辨率的多光谱遥感图像融合方法 |
CN103218796A (zh) * | 2013-05-14 | 2013-07-24 | 中国科学院自动化研究所 | 一种全色—多光谱遥感图像融合方法 |
CN105096286A (zh) * | 2015-06-30 | 2015-11-25 | 中国石油天然气股份有限公司 | 遥感图像的融合方法及装置 |
CN105160647A (zh) * | 2015-10-28 | 2015-12-16 | 中国地质大学(武汉) | 一种全色多光谱影像融合方法 |
CN106875370A (zh) * | 2017-01-24 | 2017-06-20 | 中国科学院空间应用工程与技术中心 | 一种全色图像和多光谱图像的融合方法及装置 |
Non-Patent Citations (1)
Title |
---|
Region-based Image Fusion Approach of Panchromatic and Multi-spectral Images;Reham Gharbia 等;《Advanced Machine Learning and Applications》;20150131;第535-545页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111383203A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Song et al. | Spatiotemporal satellite image fusion using deep convolutional neural networks | |
Song et al. | Spatiotemporal satellite image fusion through one-pair image learning | |
Loncan et al. | Hyperspectral pansharpening: A review | |
CN111383203B (zh) | 基于分区域拟合的全色与多光谱遥感图像融合方法 | |
Liu et al. | Unsupervised change detection in multispectral remote sensing images via spectral-spatial band expansion | |
Yang et al. | Timely and accurate national-scale mapping of urban land in China using Defense Meteorological Satellite Program’s Operational Linescan System nighttime stable light data | |
Ashraf et al. | Image data fusion for the remote sensing of freshwater environments | |
CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
Li et al. | Hyperspectral pansharpening via improved PCA approach and optimal weighted fusion strategy | |
CN107610050B (zh) | 一种基于多源卫星数据的高时空分辨率陆表温度融合方法 | |
Kumar et al. | Improving image classification in a complex wetland ecosystem through image fusion techniques | |
CN112733596A (zh) | 一种基于中高空间分辨率遥感影像融合的森林资源变化监测方法及应用 | |
CN111144250A (zh) | 融合雷达和光学遥感数据的土地覆盖分类方法 | |
CN107016641B (zh) | 一种基于改进比值变换的全色与高光谱图像融合方法 | |
Rangzan et al. | Supervised cross-fusion method: a new triplet approach to fuse thermal, radar, and optical satellite data for land use classification | |
Alexakis et al. | Integrated use of satellite remote sensing, GIS, and ground spectroscopy techniques for monitoring olive oil mill waste disposal areas on the island of Crete, Greece | |
CN115240072A (zh) | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 | |
Yu et al. | Study on ground object classification based on the hyperspectral fusion images of ZY-1 (02D) satellite | |
Teodoro et al. | Identification of beach hydromorphological patterns/forms through image classification techniques applied to remotely sensed data | |
Chen et al. | Improved relative radiometric normalization method of remote sensing images for change detection | |
Meng et al. | Improving the spatial resolution of hyperspectral image using panchromatic and multispectral images: An integrated method | |
CN112883823A (zh) | 一种基于多源遥感数据融合的土地覆盖类别亚像素定位方法 | |
Sakieh et al. | An integrated spectral-textural approach for environmental change monitoring and assessment: analyzing the dynamics of green covers in a highly developing region | |
Byun et al. | Relative radiometric normalization of bitemporal very high-resolution satellite images for flood change detection | |
Yuan et al. | Combining synthetic aperture radar and multispectral images for land cover classification: a case study of Beijing, China |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |