CN115641412A - 基于高光谱数据的三维语义地图的生成方法 - Google Patents

基于高光谱数据的三维语义地图的生成方法 Download PDF

Info

Publication number
CN115641412A
CN115641412A CN202210517352.9A CN202210517352A CN115641412A CN 115641412 A CN115641412 A CN 115641412A CN 202210517352 A CN202210517352 A CN 202210517352A CN 115641412 A CN115641412 A CN 115641412A
Authority
CN
China
Prior art keywords
geographic entity
geographic
hyperspectral
entity
pixel element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210517352.9A
Other languages
English (en)
Other versions
CN115641412B (zh
Inventor
刘俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terry Digital Technology Beijing Co ltd
Original Assignee
Terry Digital Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terry Digital Technology Beijing Co ltd filed Critical Terry Digital Technology Beijing Co ltd
Priority to CN202210517352.9A priority Critical patent/CN115641412B/zh
Publication of CN115641412A publication Critical patent/CN115641412A/zh
Application granted granted Critical
Publication of CN115641412B publication Critical patent/CN115641412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种基于高光谱数据的三维语义地图的生成方法,包括:采集典型地理实体分类下的近地面高光谱,低空飞行影像图,获取各地理实体的纹理,建立纹理数据库;通过波段裁剪与拼接形成最佳波段组合的近地面组合高光谱;对遥感高光谱进行像素元逐个扫描,用于获得语义体系。根据高程分布数据对贴图完毕的低空飞行影像图中对应的各地理实体内部进行高程调整,形成三维语义地图,以实现相应地理实体的属性信息的获取,以及三维语义地图的实体属性标引。采用近地面高光谱的最佳波段组合下组合高光谱为识别特征,对于地理实体数据进行分类划分,简化了语义标注的算法,提高了标注效率,实现了快速的三维语义地图的建立。

Description

基于高光谱数据的三维语义地图的生成方法
技术领域
本发明提供了一种自然与人文地理领域中自然资源行业的语义地图生成方法,涉及采用高光谱的语义标注,尤其涉及高光谱与语义空间和属性数据融合的三维语义地图的生成方法,属于地理景观语义地图领域。
背景技术
在地理实体语义分类中大都对城市中道路和建筑进行,现有技术采用复杂的人工智能网络运算,仅仅局限于城市范围的道路和建筑,虽然取得了良好的道路与建筑的轮廓的提取,并建立起实体语义体系,但实际上地理实体不仅包括了城市道路建筑,还包括了城市以为的行政区划中的道路建筑,以及人文和自然景观构筑成的地理实体,包括植被、农作物、水体、大棚示范区、裸地、乡村道路等任然需要进行语义标注。
高光谱数据属于地物二维影像+一维光谱的三维立方数据结构,现有技术采用遥感技术对地物,哟其实农作物的生长、抗灾害,以及土壤成分进行分类研究,大都采用反演手段计算出所需要的光学和化学物质参量,未关注如何利用高光谱的数据对地理实体进行语义分类。
对于高光谱的数据处理,现有技术往往是对同一类地理分类比如农作物进行采集,从而能够容易对采集图像整体进行处理,但是当研究范围扩展到更大的地理区域时,各类地理实体呈现在遥感影像上,因此无法从整体上进行特征波段提取。并且如果采用RNN、CNN、SVM或其他改进的的算法则需要不同的样本进行学习计算,提取精度不足71%同时还极大地加重了算法负担。
此外遥感高光谱的影像维由于受到大气环境的制约,需要采用复杂的校正算法,从而提高了数据处理的成本与最终的三维语义地图的效率,同时校正的算法多样,也不能确定哪一种算法更符合遥感影像采集时的具体情况,因此面对复杂多变的复杂采集环境以一些未知的不可控因素,需要考虑一种绕开大气环境制约的高光谱采集方法。
事实上,地理实体分类并不关心高光谱数据是否精确,而是关注的是地理实体分类之间是否能正确区分,属于定性分类,因此需要一种算法能够使得这种精确因素对于正确区分出地理实体类型而言是微小的。因此对于天气的影响可能仅需要简单但不失细致地分类方案就能得到良好的区分程度,同时进行简单的校正就提供一种可供参考的高光谱数据。
现实摄影技术中倾斜摄影的自动化建模方法是获得三维模型的一种有效方案,算法软件早有成熟产品。而在语义地图领域中,往往并不关心各地理实体的三维准确坐标,而只关心实体轮廓及其实体空间大致范围,目的是了解这些空间范围内的地理实体的分类,而具体精确的坐标则是三维建模所关注的。但是,如果考虑建立的三维语义地图也能够较好地反应三维空间坐标,则将一定程度上替代三维建模,从而在获取地理实体分类分布的同时快捷地、在一定精度范围内的实体空间范围。
航空LIDAR技术是一种较高精度确定地面目标三维坐标的空间定位技术,一般能够分辨3km距离上相距0.3m的两个目标,与高分辨率的遥感影像的分辨率可比拟。因此如果能将航空LIDAR技术用于语义地图三维建模则将是在替代自动化建模的方案。同时,分类纹理的形成同样是一个直观描述地理分类的一个方法,如何考虑减少大气因素影响的真实纹理是更好模拟地表实体的可视化方案。
发明内容
本发明从上述现有技术地理实体的语义体系的不完整的现状出发,考虑一种新的语义标注的思路,即采用高光谱的手段,主要包括如下几个方面:第一地理区域遥感影像采集;第二地理区域的高光谱的采集与各地理实体类型的高光谱的特征谱段的提取;第三通过图像像素扫描方式将遥感影像中的每个像素的波段所归属的地理实体类型进行扫描获取,形成语义标注;第四,结合航空LIDAR的语义地图的三维建模以及结合低空飞行影像获取纹理的方法。本发明的遥感高光谱包括遥感影像维以及高光谱维。
基于上述考虑,本发明提供了一种基于高光谱数据的三维语义地图的生成方法,其特征在于,包括如下步骤:
S1选定预设的大气环境下,采集典型地理实体分类下的近地面高光谱Rli,低空飞行影像图Rli,获取各地理实体的纹理,建立纹理数据库,i表示不同地理实体分类的编号,并对采集到的近地面高光谱进行分类内部光谱融合处理,获得融合光谱Rci,同时采集与所述近地面高光谱对应的同一地理区域的遥感高光谱Rp,以及航空LIDAR点云图获得地面各地理实体的高程分布数据;
S2对各地理实体分类下的融合光谱Rci进行提取各地理实体分类的最佳波段组合,并通过波段裁剪与拼接形成最佳波段组合的近地面组合高光谱Ri
S3对遥感高光谱进行像素元逐个扫描,对于每一个被扫描的像素元的高光谱与各地理实体分类的最佳组合波段光谱进行比对,从而确定当前扫描的像素元所属的地理实体分类,并将所识别的类型与地理实体分类字段进行映射,形成语义体系,从而当扫描完毕之后完成采集的遥感高光谱中遥感影像维的地理实体语义的标注;其中,所述分类字段下还包括地理实体属性字段,属性字段包括的属性信息有:建筑物高度,道路宽度、绿地面积、农作物和非主要农作物面积,水体面积、裸地面积、大棚数量和占地面积,大棚作物种类和种植经营状态;
S4对于每一类地理实体范围利用低空飞行影像图Rli中获取的纹理的形态学区域填充,完成各地理实体类型的纹理贴图,根据S1获得的地面各地理实体的高程分布数据将纹理贴图完毕的低空飞行影像图Rli中对应的各地理实体内部进行按预先设置的空间直角E坐标系的Z轴进行平移,使得每一类地理实体中各地面遥感影像维的点的坐标被平移到相应的高程位置(初始的遥感影像维被导入地理软件中Z坐标定义为0),形成三维语义地图,其中通过地理实体的分类语义标注又能够通过从分类字段映射到属性字段下相应地理实体的属性字段中的属性信息,从而实现相应地理实体的属性信息的获取。
优选地,在S4之后还包括了:
S5将S2提出的各类地理实体分类的最佳波段组合运用于S3中已语义标注完毕的遥感高光谱中,按照S2 的方法获得所述遥感高光谱对应的遥感组合高光谱R'i,使用近地面组合高光谱Ri对遥感组合高光谱R'i进行校正处理,获得校正后的遥感组合高光谱Rcor=f(R'i,Ri),f(·)为校正操作,优选地,f(·)为将 R'i的对应特征波段的峰值和/或积分强度进行校正到Ri的水平,具体使用高斯函数进行每一个波段谱峰进行拟合,实现所述校正。
如此既利用了近地面的高光谱数据完成了各地理实体的语义标注,又完成了语义遥感高光谱的校正,提高了语义标注的高效性和简化性。
其中S1具体包括:
S1-1根据所需要分类的地理实体类型种类数N而配备相应数量的无人机架数kN,k=1,2,3,4,5,在预设的气象条件下,将多架无人机沿着预定的飞行路线对各种类的地理实体的多个采集点进行高光谱采集,在采集每一个高光谱的同时获取低空飞行影像图Rli,以获取各地理实体的纹理,建立纹理数据库。
优选地,所有无人机的飞行高度一致,且对于各类地理实体,所有无人机按照预定的飞行路线在同一时刻同时开始飞行,且在同一时间点停止一切采集。以保证采集的各类地理实体处于大致同一个时段内,防止出现一些地理实体之间采集工作明显是处于不同的两个间隔时长的时段,导致高光谱数据不能准确反映同一时段的状态。
S1-2对每一类地理实体的多个采集点采集的高光谱进行预处理,获得典型地理实体分类下的近地面高光谱 Rlij,j为采集点数,且每个采集点采集一个高光谱。
优选地,所述预处理包括:一阶导数,归一化,多元散射校正,标准正态变量变换,Savitzky-Golay平滑中的至少一者。
S1-3对于每一个分类内部,对多个采集点采集的高光谱进行叠加平均处理
Figure BDA0003641884870000021
其中,Ki为第i类地理实体采集点数,
Figure BDA0003641884870000022
为各光谱Rlij的各波长处的强度,形成Rci,同时采集与所述近地面高光谱对应的同一地理区域的遥感高光谱Rp,以及航空LIDAR点云图获得地面各地理实体的高程分布数据。
其中S2具体包括:
S2-1对各地理实体分类下的融合光谱Rci进行提取各地理实体分类的最佳波段组合
Figure BDA0003641884870000031
其中qi∈[3,9]为第i类地理实体的最佳波段组合中的波段序号,对于每一个
Figure BDA0003641884870000032
i∈[1,N]都表示为一个最佳波段组合,其中,最佳波段组合
Figure BDA0003641884870000033
采用如下方式选取:
设最佳波段判别指数
Figure BDA0003641884870000034
Figure BDA0003641884870000035
Figure BDA0003641884870000036
其中u,v,x,y,z,a,a1,…,an为第i类地理实体的高光谱波段序号,Qi为第i类地理实体的高光谱波段总数,S为通过多个采样点的高光谱各波段计算的标准差,Ruv、 Rxyz
Figure BDA0003641884870000037
为相应下标为序号的波段之间的相关系数,求和符号分别是对所有可能总数
Figure BDA0003641884870000038
进行取遍求和,取
Figure BDA0003641884870000039
对应的波段组合即三波段、四波段、一直到n+2波段组合作为最佳波段组合;
对于地物成分不太复杂的情况,我们一般考虑到四波段或五波段,而经过计算发现考虑到五波段则更能精确地区分。因此对于本发明我们取
Figure BDA00036418848700000310
可见我们通过最佳波段组合的方式目的并非用于人工智能算法,而是将其视作一种表征特定地理实体类型的特征,用于识别实体类型。不同的地理实体类型的首先最佳波段组合方式不同,其次各波段的积分强度也不同,从而成为了可以识别实体类型的特征基础。
S2-2通过波段裁剪与拼接,按照各最佳波段的波长值大小顺序组合形成的近地面组合高光谱Ri,所述裁剪为将最佳波段以外的所有波段数据删除,所述拼接为将最佳波段区域之首尾顺次连接的在拼接点,拼接点上的强度值强制定义为基线值,并且拼接后各波段谱线所跨的波长值大小以及范围仍然定义不变,且除拼接处以外的各波长处的峰值不变。
其中S3中对遥感高光谱进行像素元逐个扫描,对于每一个被扫描的像素元的光谱与各地理实体分类的最佳组合波段光谱进行比对,从而确定当前扫描的像素元所属的地理实体分类具体包括:
S3-1定义像素元大小p为分辨率res∈[0.3m,1m]的正整数M∈[1,4]倍见方的区域,即 p=M·res×M·res,建立地理实体类型数据库,包括地理实体分类字段,地理实体基本参数字段,其中,所述地理实体分类字段中包括各实体分类专属的地理实体编码;
S3-2使用像素元p对遥感高光谱中的遥感影像进行规定的扫描方式进行扫描,对于扫描过程中的每一个像素元内,调取对应的高光谱
Figure BDA00036418848700000311
其中t为当前扫描到的像素元的序号;
优选地,所述规定的扫描方式为,图像行扫描和/或列扫描的方式。优选地,对于同一行和/或同一列扫描时,当前像素元扫描完毕时平移一个像素元边长距离而继续下一个像素元扫描。
S3-3将
Figure BDA00036418848700000312
中对应各类地理实体Ri波段的那些波段所对应的光谱谱线与对应各类地理实体Ri的谱线进行相似度比较,当比对到最高相似度,且大于预设值80-90%时,即将当前扫描的像素元p识别为对应的地理实体类型;
当所述最高相似度小于预设值,则在当前像素元p八邻域范围内对具有完整影像的像素的像素元进行如下分析:
若八邻域中存在已经识别地理实体类型的,则将
Figure BDA00036418848700000313
中对应已经识别地理实体的近地面组合高光谱波段的那些波段所对应的光谱谱线与该已经识别地理实体分类的组合高光谱谱线进行相似度比较;若八邻域中有未确定地理实体类型的,则继续识别邻域中未确定地理实体类型的邻域所属的地理实体类型;
计算
Figure BDA0003641884870000041
中对应各所有确定地理实体类型后邻域代表的地理实体的近地面组合高光谱波段的那些波段所对应的光谱谱线与各所有确定地理实体类型后邻域代表的地理实体的近地面组合高光谱的光谱谱线的相似度,取相似度最大者对应的邻域所代表的地理实体类型作为当前像素元p所识别的地理实体类型,并且已经识别地理实体类型的邻域像素元视作已经完成扫描,在以后的扫描过程中不再予以扫描识别;
若八邻域中也存在至少一个在识别其代表的地理实体类型过程中计算的所述相似度小于所述预设值的邻域,则不计入当前相似度比较对象,而只将大于预设值的那些邻域作为相似度比较对象;
若八邻域全部为不计入当前相似度比较对象,则将当前像素元p的地理实体类型定义为前一个像素元或后一个像素元识别的地理实体类型,
其中,所述的相似度比较方法为:
S3-3-1将
Figure BDA0003641884870000042
进行S2-2的步骤获得
Figure BDA0003641884870000043
对应的组合高光谱
Figure BDA0003641884870000044
其中i表示对
Figure BDA0003641884870000045
的组合按照第i类地理实体类型对应的Ri形成的方式进行组合形成;
S3-3-2对
Figure BDA0003641884870000046
中最佳组合波段内各波段的积分强度值
Figure BDA0003641884870000047
与Ri对应的波段的积分强度值
Figure BDA0003641884870000048
进行比较,求标准差的倒数
Figure BDA0003641884870000049
定义为相似度。
所述将所识别的类型与地理实体分类字段进行映射,形成语义体系具体包括:
S3-4对每一个扫描的像素元所识别的分类字段赋予对应的地理实体编码,
S3-5将每一个像素元中心的时空坐标赋予对应的地理实体基本参数字段,各扫描的像素元的被赋予时空坐标的地理实体基本参数字段连同赋予的地理实体编码的分类字段形成语义体系。
有益效果
1.避开了机器学习算法,采用近地面高光谱的最佳波段组合下组合高光谱为识别特征,对于地理实体数据进行分类划分,简化了语义标注的算法,提高了标注效率;
2.采用像素元扫描基础上,基于组合高光谱分别识别像素元内的实体分类,并采用八邻域修正,从而精确地从遥感高光谱中抠出各地理分类的范围,从而建立像素元分类-地理编码之间的语义体系,完成语义标注。
3.采用近地面实体影像图采集和LIDAR点云图分别作为地理实体的纹理和高程的数据采集手段,实现了快速的三维语义地图的建立。
附图说明
图1示范区典型地物遥感高光谱中真彩色影像维,
图2十二类地理实体的近地面组合高光谱获取过程示意图,
图3为图1中中间蓝色区域(a)和靠右黄颜色区域(b)的实体提取后分别采用天蓝色和褐色填充表示的放大的示意图,以及在个区域的无人机飞行路线上高光谱和近地面影像图若干个采集点的示意图,3c为图 3a中方框区域内湖泊中岛和北边半岛之间最短连线的剖面图以及东面小区部分建筑高程示意图,3d采用近地面影像图提取作为纹理对遥感影像图进行形态学区域填充前(左边)后(右边)的对比图,
图4近地面组合高光谱具体的裁剪与拼接组合过程示意图,其中图4a裁剪波段示意图,图4b裁剪过后的示意图,图4c拼接方式示意图,图4d拼接过后的示意图,
图5:图5a所示为图1中示范区典型地物遥感真彩色图中方框所示区域,5b为其中扫描像素元的八邻域放大区域及其编号示意图,5c为当前扫描的像素元内水稻高光谱谱线示意图,5d为水稻的近地面组合高光谱R8的谱线示意图,
图6语义体系形成过程流程图,
图7为示范区建筑提取结果示意图,
图8为示范区水体提取结果示意图,
图9为示范区大棚提取结果示意图,
图10为示范区林地、草地提取结果示意图,
图11为示范区农作物提取结果示意图,
图12为示范区裸地提取结果示意图,
图13为示范区道路提取结果示意图。
具体实施方式
实施例1
图1为示范区典型地物遥感高光谱中真彩色影像维,分为城市道路、乡村道路、大棚、建筑、河流、水塘、林地、草地、水稻、玉米、非主要作物、裸地、其他地物十三类。我们将河流、水塘都视作水体,从而一共十二类,由此设置20架搭载高光谱设备的无人机,分别负责对于十二类地体实体的高光谱的采集,在1小时内,各采集1000-10000幅,采集频率为每秒0.36-3.6次。
所有无人机的飞行高度一致为100-200m范围,且对于各类地理实体,所有无人机按照预定路线在同一时刻同时开始飞行,且在从起始开始1小时候停止一切采集。其中,对每一类地理实体的5000个采集点采集的高光谱进行预处理一阶导数,归一化,多元散射校正,Savitzky-Golay平滑处理,如图2所示,获得典型地理实体分类下的近地面高光谱{Rl1,Rl2,Rl3,Rl4,Rl5,Rl6,Rl7,Rl8,Rl9,Rl10,Rl11,Rl12},其中每一个元素都包括5000个采集点采集的高光谱样本,且每个采集点采集一个高光谱;采集高光谱的同时在一些采样点还采集了低空飞行影像图{Rl1,Rl2,Rl3,Rl4,Rl5,Rl6,Rl7,Rl8,Rl9,Rl10,Rl11,Rl12},用于建立纹理数据库。
如图3,显示了图1中中间蓝色框和靠右黄颜色框代表的对于河流、水塘,以及水稻中的飞行路线中若干采样点的分布的情况。其中图3a为河流、水塘的这些采样点分布,图3b为水稻这些采样点分布。图3a 中中央河流成泊段的方框区域被选定为纹理图采样区域,其中连接湖泊中岛和对岸半岛的直线的剖面示意图在图3c中显示,其中显示了图3a中方框正东面小区部分高层建筑的高程。设在湖泊在无表观波纹表面设置示范区的地理空间指标坐标系E,Y轴指向正北方,X轴则为正东方。因此图中高程为XOY坐标系平面到建筑屋顶面的距离。当航空LIDAR扫描过该区域时,点云图上即获得了高分辨率(0.3-1m)的建筑高程分布以及湖泊表面高程的分布,在无表观波纹条件下,该处湖泊高程即定为0m。
而在图3b中显示的飞行路线上的若干采样点中选择水稻纹理采样的点。无人机在这些水体或水稻上采集到的低空飞行影像图Rl5和Rl8,即作为形态区域填充的纹理素材。具体可以是将选择任意采集点的空飞行影像图中的一片属于相应地理实体中的区域进行裁剪,建立纹理数据库(参见图2)。
对于十二个分类中的每一个分类内部,对5000个采集点采集的高光谱进行叠加平均处理获得 {Rc1,Rc2,Rc3,Rc4,Rc5,Rc6,Rc7,Rc8,Rc9,Rc10,Rc11,Rc12},其中每个元素只含有一个融合高光谱数据,同时采集与所述近地面高光谱对应的同一地理区域的遥感高光谱Rp,以及航空LIDAR点云图获得地面各地理实体的高程分布数据。
实施例2
对各地理实体分类下的融合光谱{Rc1,Rc2,Rc3,Rc4,Rc5,Rc6,Rc7,Rc8,Rc9,Rc10,Rc11,Rc12}进行提取各地理实体分类的最佳波段组合
Figure BDA0003641884870000051
其中qi∈[3,9]为第i类地理实体的最佳波段组合中的波段序号,对于每一个
Figure BDA0003641884870000052
i∈[1,12]都表示为一个波段,
其中,最佳波段组合
Figure BDA0003641884870000053
采用如下方式选取:
设最佳波段判别指数
Figure BDA0003641884870000061
Figure BDA0003641884870000062
Figure BDA0003641884870000063
其中u,v,x,y,z,a,a1,…,an为第i类地理实体的高光谱波段序号,Qi为第i类地理实体的高光谱波段总数,S为通过多个采样点的高光谱各波段计算的标准差,Ruv、 Rxyz
Figure BDA0003641884870000064
为相应下标为序号的波段之间的相关系数,求和符号分别是对所有可能总数
Figure BDA0003641884870000065
进行取遍求和,取
Figure BDA0003641884870000066
对应的波段组合即三波段、四波段、一直到n+2波段组合作为最佳波段组合。得到十二类地理实体分类最佳组合波段
Figure BDA0003641884870000067
如果发现三波段对于其中一类地理实体来说为Fi的表达各形态的最小值,则对于该地理实体类型,比如房屋,则
Figure BDA0003641884870000068
对于水稻则为四波段,对应
Figure BDA0003641884870000069
裸地则适合五波段
Figure BDA00036418848700000610
如图4所示,图4a为地理实体类型中其中一张融合高光谱Rci。其最佳组合波段中存在编号为1,2,3的三个谱峰,对峰2和峰3之间的光谱数据进行裁剪,形成图4b的已裁剪状态,然后按照各最佳波段的波长值大小顺序即峰1,峰2,峰3的波段波长顺序,通过将峰2和峰3进行拼接。注意到图4c圈出的峰3 波段的最左侧的数据点大于基线值,因此拼接之后将该数据点强制定义为基线值,而与峰2的波段的最右侧的基线值重合,形成已拼接状态图4d。拼接后峰1和峰2为移动,而峰3为平移操作,除了波段最左侧的值强制定义为基线值,峰3谱线所跨的波长值大小以及范围仍然定义不变,因此并非是波长轴所指示的波长值范围。
对于其他地理实体类型,同样方法操作,最终形成近地面组合高光谱 {R1,R2,R3,R4,R5,R6,R7,R8,R9,R10,R11,R12}(如图2所示)。
实施例3
本实施例将说明基于像素元扫描的遥感影像的地理实体分类的方法。如图5a所示为图1中示范区典型地物遥感真彩色图中方框所示区域,作为像素元扫描的一个实施方式。设定像素元大小而4m×4m,分辨率为1m,对于图5a中水稻区域和一处夹杂的非主要农作物的经过区域。图5b右侧放大显示了图5b中水稻和非主要农作物交界附近的区域扫描情况。其中以从右往左,从上至下的扫描方式扫描。如图5b所示,当像素元经历到图中元素1的位置时,调用像素元中的如图5c高光谱
Figure BDA00036418848700000611
与近地面组合高光谱 {R1,R2,R3,R4,R5,R6,R7,R8,R9,R10,R11,R12}相应的波段的谱峰作相似度计算,则确定为水稻类型。而实际上像素元1也完全在水稻区域内。
但是,图5b中像素元1为当前起始扫描位置,扫描历经到下一个像素元2时,像素元2跨越了水稻与非主要农作物的交界,此时像素元2与图5d的代表水稻的组合高光谱R8的相似度为所有近地面组合高光谱中最大的,但不到预设值80%,则如图5b所示对像素元2作八邻域,其中像素元4和7完全位于水稻区域内,像素元6和9全在非主要农作物区域,相似度最低,只有像素元5和8也在自边界。经过计算发现与像素元8相似度相对较大,则取像素元8所述的类型,而像素元8与R8的相似度已经计算为超过 80%即为水稻类型,因此像素元2的类型定义为水稻。
若将像素元为1m×1m分辨率,则像素元扫描方向上一分为四,则最左侧的部分完全在非主要农作物内,而3/4则基本全在水稻范围内,因此更细致地将像素元2的区域区分出了水稻和非主要农作物的两个类型。可见当像素元越小,则识别会越精细。
如图6所示,对每一个扫描的像素元所识别的分类字段赋予对应的地理实体编码,将每一个像素元中心的时空坐标赋予对应的地理实体基本参数字段,各扫描的像素元的被赋予时空坐标的地理实体基本参数字段连同赋予的地理实体编码的分类字段形成语义体系,完成对实施例1的遥感影像地理实体类型的语义标注,其中,所述分类字段下还包括地理实体属性字段,属性字段包括的属性信息有:建筑物高度,道路宽度、绿地面积、农作物和非主要农作物面积,水体面积、裸地面积、大棚数量和占地面积,大棚作物种类和种植经营状态等。
对于十二类中每一类地理实体范围进行调用纹理数据库中的纹理进行形态学区域填充,完成各地理实体类型的纹理贴图。如图3d中所示左边为遥感高光谱中影像维数据湖泊的局部区域,右边为通过地理实体类型识别之后的对应部分使用天近地面影像图中的实拍影像部分作为纹理进行形态学区域填充的效果,可以看到两者相似度高。与图3a天蓝色的水体示意性填充相比,图3d右边的采用近地面真实影像图作为纹理更能客观反映近地面水体的颜色风貌。
根据实施例1获得的地面各地理实体的高程分布数据将纹理贴图完毕的低空飞行影像图Rli中对应的各地理实体内部进行按图3d中空间直角E坐标系的Z轴进行平移,使得每一类地理实体中各地面遥感影像维的点的坐标被平移到相应的高程位置,形成三维语义地图。
通过地理实体的分类语义标注又能够通过从分类字段映射到属性字段下相应地理实体的属性字段中的属性信息,从而实现相应地理实体的属性信息的获取。
在之后还包括了:
将上述提出的十二类地理实体分类的最佳波段组合运用于S3中已语义标注完毕的遥感高光谱中,按照S2 的方法获得所述遥感高光谱对应的遥感组合高光谱R'i,使用近地面组合高光谱Ri对遥感组合高光谱R'i进行校正处理,获得校正后的遥感组合高光谱Rcor=f(R'i,Ri),f(·)为校正操作,f(·)为将R'i的对应特征波段的峰值和/或积分强度进行校正到Ri的水平,具体使用高斯函数进行每一个波段谱峰进行拟合,实现所述校正。
根据上述的方法,我们得到了十二类地理实体类型的语义标注,其中,图7为示范区建筑提取结果示意图。从建筑提取结果看,居民区主要集中于蒲河周边,主城区位于示范区中西部,蒲河东北以高层建筑区为主,示范区东北有大型厂房。从提取结果看面积越大的建筑物边缘提取效果越好,村落中的面积偏小的房屋边缘越平滑。根据结果进行初步统计,示范区建筑物约35000个,其中大型厂房约100个,总占地面积约6.06平方千米。
图8为示范区水体提取结果示意图。示范区主要河流为蒲河,主体为南北向分布,还有一条人工渠向沈阳方向延伸,富营养化情况非常严重;此外,区内淡水鱼养殖业发展较好,有近330个水塘均匀分布于区内,仅个别疑似废弃水塘存在富营养化现象;示范区内自然水体面积约1.06平方,水塘面积约1.67平方千米。
图9为示范区大棚提取结果示意图。区内有较多蔬菜大棚,总数量约554个,占面积约5.19平方千米。
图10为示范区林地、草地提取结果示意图。区内林地和草地面积分别为5.59平方千米和6.95平方千米,大面积集中分布林地较少,主要集中在河岸道路两旁,以杨树为主柳树次之,草地主要集中在是蒲河周边,城市整体绿化程度不高。
图11为示范区农作物提取结果示意图。区内作物种类相对单一,以玉米和水稻为主,其中水稻分布最多占地面积18.265平方千米,较大田块约1平方千米,玉米面积11.01平方千米,已收割玉米面积约4.5 平方千米,二者占总耕地面积的72%,估计区内产量大约为3300万斤。
图12为示范区裸地提取结果示意图。区内裸地主要为粮食收割后的农用地,该时节已收割作物主要为玉米,面积约4.5平方千米。
图13为示范区道路提取结果示意图。对城市道路和乡村道路进行提取,结果显示较宽的城市道路提取结果较准确,但在城市周边较细小的水泥道路与乡村的水泥道路在特征上基本一致,容易出现混淆。区内中部交通较便利,但乡镇,尤其是耕作区道路通达性较差。
最后将类型提取到的范围内进行多图层的融合即可实现整体示范区的地理实体类型的可视化区分。

Claims (8)

1.基于高光谱数据的三维语义地图的生成方法,其特征在于,包括如下步骤:
S1选定预设的大气环境下,采集典型地理实体分类下的近地面高光谱Rli,低空飞行影像图Rli,获取各地理实体的纹理,建立纹理数据库,i表示不同地理实体分类的编号,并对采集到的近地面高光谱进行分类内部光谱融合处理,获得融合光谱Rci,同时采集与所述近地面高光谱对应的同一地理区域的遥感高光谱Rp,以及航空LIDAR点云图获得地面各地理实体的高程分布数据;
S2对各地理实体分类下的融合光谱Rci进行提取各地理实体分类的最佳波段组合,并通过波段裁剪与拼接形成最佳波段组合的近地面组合高光谱Ri
S3对遥感高光谱进行像素元逐个扫描,对于每一个被扫描的像素元的高光谱与各地理实体分类的最佳组合波段光谱进行比对,从而确定当前扫描的像素元所属的地理实体分类,并将所识别的类型与地理实体分类字段进行映射,形成语义体系,从而当扫描完毕之后完成采集的遥感高光谱中遥感影像维的地理实体语义的标注;其中,所述分类字段下还包括地理实体属性字段,属性字段包括的属性信息包括:建筑物高度,道路宽度、绿地面积、农作物和非主要农作物面积,水体面积、裸地面积、大棚数量和占地面积,大棚作物种类和种植经营状态;
S4对于每一类地理实体范围进行利用低空飞行影像图Rli中获取的纹理的形态学区域填充,完成各地理实体类型的纹理贴图,根据S1获得的地面各地理实体的高程分布数据将纹理贴图完毕的低空飞行影像图Rli中对应的各地理实体内部进行按预先设置的空间直角E坐标系的Z轴进行平移,使得每一类地理实体中各地面遥感影像维的点的坐标被平移到相应的高程位置,形成三维语义地图,其中通过地理实体的分类语义标注又能够通过从分类字段映射到属性字段下相应地理实体的属性字段中的属性信息,从而实现相应地理实体的属性信息的获取。
2.根据权利要求1所述的方法,其特征在于,在S4之后还包括了:
S5将S2提出的各类地理实体分类的最佳波段组合运用于S3中已语义标注完毕的遥感高光谱中,按照S2的方法获得所述遥感高光谱对应的遥感组合高光谱R'i,使用近地面组合高光谱Ri对遥感组合高光谱R'i进行校正处理,获得校正后的遥感组合高光谱Rcor=f(R'i,Ri),f(·)为校正操作,f(·)为将R'i的对应特征波段的峰值和/或积分强度进行校正到Ri的水平,具体使用高斯函数进行每一个波段谱峰进行拟合,实现所述校正。
3.根据权利要求1或2所述的方法,其特征在于,其中S1具体包括:
S1-1根据所需要分类的地理实体类型种类数N而配备相应数量的无人机架数kN,k=1,2,3,4,5,在预设的气象条件下,将多架无人机沿着预定的飞行路线对各种类的地理实体的多个采集点进行高光谱采集;在采集每一个高光谱的同时获取低空飞行影像图Rli,以获取各地理实体的纹理,建立纹理数据库;
所有无人机的飞行高度一致,且对于各类地理实体,所有无人机按照预定的飞行路线在同一时刻同时开始飞行,且在同一时间点停止一切采集;
S1-2对每一类地理实体的多个采集点采集的高光谱进行预处理,获得典型地理实体分类下的近地面高光谱Rlij,j为采集点数,且每个采集点采集一个高光谱,
所述预处理包括:一阶导数,归一化,多元散射校正,标准正态变量变换,Savitzky-Golay平滑中的至少一者;
S1-3对于每一个分类内部,对多个采集点采集的高光谱进行叠加平均处理
Figure FDA0003641884860000021
其中,Ki为第i类地理实体采集点数,
Figure FDA0003641884860000022
为各光谱Rlij的各波长处的强度,形成Rci,同时采集与所述近地面高光谱对应的同一地理区域的遥感高光谱Rp,以及航空LIDAR点云图获得地面各地理实体的高程分布数据。
4.根据权利要求3所述的方法,其特征在于,其中S2具体包括:
S2-1对各地理实体分类下的融合光谱Rci进行提取各地理实体分类的最佳波段组合
Figure FDA0003641884860000023
其中qi∈[3,9]为第i类地理实体的最佳波段组合中的波段序号,对于每一个
Figure FDA0003641884860000024
都表示为一个最佳波段组合,
其中,最佳波段组合
Figure FDA0003641884860000025
采用如下方式选取:
设最佳波段判别指数
Figure FDA0003641884860000026
Figure FDA0003641884860000027
Figure FDA0003641884860000028
其中u,v,x,y,z,a,a1,…,an为第i类地理实体的高光谱波段序号,Qi为第i类地理实体的高光谱波段总数,S为通过多个采样点的高光谱各波段计算的标准差,Ruv、Rxyz
Figure FDA0003641884860000029
为相应下标为序号的波段之间的相关系数,求和符号分别是对所有可能总数
Figure FDA00036418848600000210
进行取遍求和,取
Figure FDA00036418848600000211
对应的波段组合即三波段、四波段、一直到n+2波段组合作为最佳波段组合;
S2-2通过波段裁剪与拼接,按照各最佳波段的波长值大小顺序组合形成的近地面组合高光谱Ri,其中所述裁剪为将最佳波段以外的所有波段数据删除,所述拼接为将最佳波段区域之首尾顺次连接的在拼接点,拼接点上的强度值强制定义为基线值,并且拼接后各波段谱线所跨的波长值大小以及范围仍然定义不变,且除拼接处以外的各波长处的峰值不变。
5.根据权利要求4所述的方法,其特征在于,
Figure FDA0003641884860000031
6.根据权利要求4或5所述的方法,其特征在于,S3中对遥感高光谱进行像素元逐个扫描,对于每一个被扫描的像素元的高光谱与各地理实体分类的最佳组合波段光谱进行比对,从而确定当前扫描的像素元所属的地理实体分类具体包括:
S3-1定义像素元大小p为分辨率res∈[0.3m,1m]的正整数M∈[1,4]倍见方的区域,即p=M·res×M·res,建立地理实体类型数据库,包括地理实体分类字段,地理实体基本参数字段,其中,所述地理实体分类字段中包括各实体分类专属的地理实体编码;
S3-2使用像素元p对遥感高光谱中的遥感影像进行规定的扫描方式进行扫描,对于扫描过程中的每一个像素元内,调取对应的高光谱
Figure FDA0003641884860000032
其中t为当前扫描到的像素元的序号;
S3-3将
Figure FDA0003641884860000033
中对应各类地理实体Ri波段的那些波段所对应的光谱谱线与对应各类地理实体Ri的谱线进行相似度比较,当比对到最高相似度,且大于预设值80-90%时,即将当前扫描的像素元p识别为对应的地理实体类型;
当所述最高相似度小于预设值,则在当前像素元p八邻域范围内对具有完整影像的像素的像素元进行如下分析:
若八邻域中存在已经识别地理实体类型的,则将
Figure FDA0003641884860000034
中对应已经识别地理实体的近地面组合高光谱波段的那些波段所对应的光谱谱线与该已经识别地理实体分类的组合高光谱谱线进行相似度比较;若八邻域中有未确定地理实体类型的,则继续识别邻域中未确定地理实体类型的邻域所属的地理实体类型;
计算
Figure FDA0003641884860000035
中对应各所有确定地理实体类型后邻域代表的地理实体的近地面组合高光谱波段的那些波段所对应的光谱谱线与各所有确定地理实体类型后邻域代表的地理实体的近地面组合高光谱的光谱谱线的相似度,取相似度最大者对应的邻域所代表的地理实体类型作为当前像素元p所识别的地理实体类型,并且已经识别地理实体类型的邻域像素元视作已经完成扫描,在以后的扫描过程中不再予以扫描识别;
若八邻域中也存在至少一个在识别其代表的地理实体类型过程中计算的所述相似度小于所述预设值的邻域,则不计入当前相似度比较对象,而只将大于预设值的那些邻域作为相似度比较对象;
若八邻域全部为不计入当前相似度比较对象,则将当前像素元p的地理实体类型定义为前一个像素元或后一个像素元识别的地理实体类型,
其中,所述的相似度比较方法为:
S3-3-1将
Figure FDA0003641884860000041
进行S2-2的步骤获得
Figure FDA0003641884860000042
对应的组合高光谱
Figure FDA0003641884860000043
其中i表示对
Figure FDA0003641884860000044
的组合按照第i类地理实体类型对应的Ri形成的方式进行组合形成;
S3-3-2对
Figure FDA0003641884860000045
中最佳组合波段内各波段的积分强度值
Figure FDA0003641884860000046
与Ri对应的波段的积分强度值
Figure FDA0003641884860000047
进行比较,求标准差的倒数
Figure FDA0003641884860000048
定义为相似度;
所述将所识别的类型与地理实体分类字段进行映射,形成语义体系具体包括:
S3-4对每一个扫描的像素元所识别的分类字段赋予对应的地理实体编码,
S3-5将每一个像素元中心的时空坐标赋予对应的地理实体基本参数字段,各扫描的像素元的被赋予时空坐标的地理实体基本参数字段连同赋予的地理实体编码的分类字段形成语义体系。
7.根据权利要求6所述的方法,其特征在于,所述规定的扫描方式为,图像行扫描和/或列扫描的方式。
8.根据权利要求7所述的方法,其特征在于,对于同一行和/或同一列扫描时,当前像素元扫描完毕时平移一个像素元边长距离而继续下一个像素元扫描。
CN202210517352.9A 2022-05-13 2022-05-13 基于高光谱数据的三维语义地图的生成方法 Active CN115641412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210517352.9A CN115641412B (zh) 2022-05-13 2022-05-13 基于高光谱数据的三维语义地图的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210517352.9A CN115641412B (zh) 2022-05-13 2022-05-13 基于高光谱数据的三维语义地图的生成方法

Publications (2)

Publication Number Publication Date
CN115641412A true CN115641412A (zh) 2023-01-24
CN115641412B CN115641412B (zh) 2023-08-04

Family

ID=84940328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210517352.9A Active CN115641412B (zh) 2022-05-13 2022-05-13 基于高光谱数据的三维语义地图的生成方法

Country Status (1)

Country Link
CN (1) CN115641412B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620043A (zh) * 2022-05-18 2023-01-17 上海航遥信息技术有限公司 高光谱与空间数据融合的地理实体语义标注方法
CN115880596A (zh) * 2023-02-06 2023-03-31 宝略科技(浙江)有限公司 一种基于实景三维的地理实体语义化的解译方法、***
CN116229031A (zh) * 2023-05-10 2023-06-06 航天宏图信息技术股份有限公司 三维地球可视化纹理贴图方法、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467444A (en) * 1990-11-07 1995-11-14 Hitachi, Ltd. Method of three-dimensional display of object-oriented figure information and system thereof
CN101950361A (zh) * 2010-09-06 2011-01-19 中国科学院遥感应用研究所 一种基于光谱匹配度的遥感影像专题信息自适应提取方法
CN103093233A (zh) * 2012-12-03 2013-05-08 中国环境科学研究院 一种基于面向对象的高分辨率遥感影像森林分类方法
CN108038907A (zh) * 2017-11-21 2018-05-15 泰瑞数创科技(北京)有限公司 城市信息模型语义信息自动生成方法和***
CN108446582A (zh) * 2018-01-25 2018-08-24 西安电子科技大学 基于纹理特征和仿射传播聚类算法的高光谱图像分类方法
CN110046214A (zh) * 2019-04-17 2019-07-23 华北电力大学(保定) 基于植被分布数据库的植被类遥感信息自动识别方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN113868363A (zh) * 2021-12-02 2021-12-31 北京山维科技股份有限公司 一种地理实体房屋图元数据处理方法和装置
CN113920266A (zh) * 2021-11-03 2022-01-11 泰瑞数创科技(北京)有限公司 城市信息模型语义信息人工智能生成方法和***
CN114384031A (zh) * 2022-01-12 2022-04-22 广西壮族自治区地理信息测绘院 星-空-地高光谱遥感水体重金属污染立体监测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467444A (en) * 1990-11-07 1995-11-14 Hitachi, Ltd. Method of three-dimensional display of object-oriented figure information and system thereof
CN101950361A (zh) * 2010-09-06 2011-01-19 中国科学院遥感应用研究所 一种基于光谱匹配度的遥感影像专题信息自适应提取方法
CN103093233A (zh) * 2012-12-03 2013-05-08 中国环境科学研究院 一种基于面向对象的高分辨率遥感影像森林分类方法
CN108038907A (zh) * 2017-11-21 2018-05-15 泰瑞数创科技(北京)有限公司 城市信息模型语义信息自动生成方法和***
CN108446582A (zh) * 2018-01-25 2018-08-24 西安电子科技大学 基于纹理特征和仿射传播聚类算法的高光谱图像分类方法
CN110046214A (zh) * 2019-04-17 2019-07-23 华北电力大学(保定) 基于植被分布数据库的植被类遥感信息自动识别方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN113920266A (zh) * 2021-11-03 2022-01-11 泰瑞数创科技(北京)有限公司 城市信息模型语义信息人工智能生成方法和***
CN113868363A (zh) * 2021-12-02 2021-12-31 北京山维科技股份有限公司 一种地理实体房屋图元数据处理方法和装置
CN114384031A (zh) * 2022-01-12 2022-04-22 广西壮族自治区地理信息测绘院 星-空-地高光谱遥感水体重金属污染立体监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARYAM IMANI: "《An overview on spectral and spatial information fusion for hyperspectral image classification: Current trends and challenges 》" *
曹琼: "《高光谱-LiDAR多级融合城区地表覆盖分类》" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620043A (zh) * 2022-05-18 2023-01-17 上海航遥信息技术有限公司 高光谱与空间数据融合的地理实体语义标注方法
CN115880596A (zh) * 2023-02-06 2023-03-31 宝略科技(浙江)有限公司 一种基于实景三维的地理实体语义化的解译方法、***
CN115880596B (zh) * 2023-02-06 2023-05-16 宝略科技(浙江)有限公司 一种基于实景三维的地理实体语义化的解译方法、***
CN116229031A (zh) * 2023-05-10 2023-06-06 航天宏图信息技术股份有限公司 三维地球可视化纹理贴图方法、电子设备和存储介质
CN116229031B (zh) * 2023-05-10 2023-07-14 航天宏图信息技术股份有限公司 三维地球可视化纹理贴图方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN115641412B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
AU2020103026A4 (en) A Single Tree Crown Segmentation Algorithm Based on Super-pixels and Topological Features in Aerial Images
CN111340826B (zh) 基于超像素与拓扑特征的航拍图像单株树冠分割算法
CN115641412B (zh) 基于高光谱数据的三维语义地图的生成方法
CN111598045B (zh) 一种基于对象图谱和混合光谱的遥感耕地变化检测方法
Kawamura et al. Discriminating crops/weeds in an upland rice field from UAV images with the SLIC-RF algorithm
CN110598532B (zh) 一种树木病虫害监控***及方法
US20230350065A1 (en) Method of individual tree crown segmentation from airborne lidar data using novel gaussian filter and energy function minimization
CN108195767A (zh) 河口湿地外来种监测方法
Xu et al. Classification method of cultivated land based on UAV visible light remote sensing
CN116883853B (zh) 基于迁移学习的作物时空信息遥感分类方法
CN113221806A (zh) 基于云平台融合多源卫星影像和茶树物候期的茶园自动识别方法
Zhu et al. Estimating and mapping mangrove biomass dynamic change using WorldView-2 images and digital surface models
Zhou et al. An automated, high-performance approach for detecting and characterizing broccoli based on UAV remote-sensing and transformers: A case study from Haining, China
CN116912578A (zh) 一种农作物分类方法、***及电子设备
CN111353402A (zh) 一种油棕林遥感提取方法
Zou et al. The fusion of satellite and unmanned aerial vehicle (UAV) imagery for improving classification performance
CN117953278A (zh) 一种基于遥感云平台和机器学习算法的灌区作物分类方法及***
Roy et al. Comparative analysis of object based and pixel based classification for mapping of mango orchards in Sitapur district of Uttar Pradesh
CN115035423B (zh) 一种基于无人机遥感影像的杂交水稻父母本识别提取方法
Huang et al. Recognition and counting of pitaya trees in karst mountain environment based on unmanned aerial vehicle RGB images
Hu et al. Optimal scale extraction of farmland in coal mining areas with high groundwater levels based on visible light images from an unmanned aerial vehicle (UAV)
CN115760885A (zh) 基于消费级无人机影像的高郁闭度湿地森林参数提取方法
Cui et al. Optimal spatial resolution of remote-sensing imagery for monitoring cantaloupe greenhouses
CN114694048A (zh) 基于无人机遥感技术的稀疏灌木物种识别方法及***
Fan et al. An improved Deeplab based model for extracting cultivated land information from high definition remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant