CN112307992A - 一种基于无人机可见光遥感的红树植物自动识别方法 - Google Patents

一种基于无人机可见光遥感的红树植物自动识别方法 Download PDF

Info

Publication number
CN112307992A
CN112307992A CN202011214732.2A CN202011214732A CN112307992A CN 112307992 A CN112307992 A CN 112307992A CN 202011214732 A CN202011214732 A CN 202011214732A CN 112307992 A CN112307992 A CN 112307992A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
mangrove
automatic
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011214732.2A
Other languages
English (en)
Inventor
李瑞利
沈小雪
翟朝阳
张志�
张月琪
江鎞倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202011214732.2A priority Critical patent/CN112307992A/zh
Publication of CN112307992A publication Critical patent/CN112307992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于无人机可见光遥感的红树植物自动识别方法,该方法通过无人机采集的可见光遥感数据,预处理获取训练模型所需的数据集;然后通过三维点云重建,生成研究样地的数字表面模型;改进了SegNet语义分割模型,添加一组卷积神经网络获取红树植物物理结构特征,结合基于可见光正射图像提取的特征训练模型;利用训练的模型进行红树植物的自动分类识别。该方法没有根据研究样地进行针对性设计,采用像素级的分类方式,普适性强,且该方法利用红树林物理结构信息约束有助于更全面的认知红树林,有效提高了物种识别的准确率,可轻松应用于不同区域的红树林调研与监测。

Description

一种基于无人机可见光遥感的红树植物自动识别方法
技术领域
本发明属于红树林遥感监测技术领域,具体涉及一种基于无人机可见光遥感的红树植物自动识别方法。
背景技术
低空无人机遥感成本低、数据采集灵活、图像空间分辨率高,具有实时获取影像资料的能力,特别在小区域低空领域具有一定的优势,是传统航空遥感和卫星遥感的重要补充。在过去几年中,无人机在森林制图、作物管理和其他植被监测方面广受关注,而红树林无人机遥感研究作为其中的一个分支,正处于起步阶段。
目前,基于无人机可见光遥感开展的红树植物种类识别研究主要围绕对象级的种类识别算法展开。面向对象的种类识别方法通过图像分割技术提取斑块的光谱、纹理和几何结构等特征,人工筛选相关特征对物种进行分类。然而,相关研究中所需图像分割参数和特征类型要结合调查样地的特点进行针对性选取,普适性较弱,不利于红树林生态***的长期有效监测。
随着近些年计算机视觉技术的不断发展,基于深度学习的像素级图像分割算法可以解决上述的问题,所以基于深度学习的像素级图像分割算法成为现在研究热点。例如:像素级的种类识别方法,其是通过端到端的人工智能算法,利用计算机提供的高计算性能直接对图像像素进行划分,实现对无人机可见光遥感数据的识别与理解,处理方式简单,方法普适性强。但是,目前该方向的研究主要通过彩色航拍图像获取红树植物的光谱特征来实现分类,未能充分利用红树植物的物理结构等信息来对其进行更为全面的认知。
发明内容
为克服现有技术的上述不足,本发明提出一种基于无人机可见光遥感的红树植物自动识别方法,包括以下步骤:
S1:采集红树林生态***的无人机可见光遥感数据得到无人机原始图像;
S2:对无人机原始图像进行预处理、数据标注以及裁切处理后获取训练网络所需训练集、测试集和验证集;
S3:对经过预处理、数据标注以及裁切处理后的无人机原始图像进行三维点云重建,获取飞行区域的红树植物数字表面模型;
S4:将S2中获取的训练集和S3中对应的红树植物数字表面模型输入改进的SegNet神经网络进行训练,经过验证集验证循环迭代进行参数优化,构建红树植物种类自动识别模型;
S5:将测试集中的数据输入S4获取的红树植物种类自动分类模型,获取种类识别结果,验证红树植物分类模型精度,并改进参数,进行优化;
S6:将验证精度后的红树植物分类模型存储在服务器;
S7:实时获取无人机可见光遥感数据通过数据链回传至服务器,服务器调用红树植物分类模型对无人机可见光遥感数据进行认知,以实现红树植物的自动分类识别。
具体地,在S1中,采集红树林生态***的无人机可见光遥感数据时,无人机选型为大疆精灵Phantom 4RTK,其水平方向和高度方向上的定位精度均为厘米级,像素为5472×3648。飞行参数选取为高度为80m,飞行速度为3m/s,航向重叠度为90%,旁向重叠度为80%,镜头垂直向下拍摄正射影像,单次作业时间平均为18min。
具体地,在S2中,进行以下步骤:
S21:根据无人机云台相机镜头畸变参数,对无人机原始图像进行畸变校正;
S22:对经过畸变校正的无人机原始图像进行数据标注,以确定植物识别种类标签;
S23:对数据标注后的无人机原始图像进行裁切,对图像数据进行扩充并对包含红树植物的有效区域内采集的数据进行筛选;
S24:将裁切过的无人机原始图像按照相应的比例划分为训练集、测试集和验证集。
具体地,在S3中,进行以下步骤:
S31:根据无人机飞行参数对经过预处理、数据标注以及裁切处理后的无人机原始图像进行三维点云重建;
S32:基于三维点云重建结果,获取飞行区域的红树植物数字表面模型。
具体地,在S4中,进行以下步骤:
S41:通过VGG-16网络的前13层卷积将S2获取的训练集进行特征提取;
S42:通过VGG-16网络的前13层卷积,对S3中对应的红树植物数字表面模型进行特征提取;
S43:对S41和S42提取的特征图进行组合,得到红树植物物理结构信息约束的高维度特征信息;
S44:高维度特征信息进行上采样和反卷积,获取与原始图像尺寸相同的像素级语义分割图像模型;
S45:根据S2中获取的验证集对像素级语义分割图像模型进行参数进行优化,获取红树植物种类自动分类模型。
有益效果:
本发明的红树植物自动识别方法,在构造基于深度学习的像素级分类识别算法时,改进了SegNet语义分割算法,添加了一组卷积神经网络提取红树林数字地面模型(Digital Surface Model,DSM)的特征信息,通过DSM提供的物理结构信息来辅助红树林物种的判断,提升了红树林物种识别的精度。本发明方法中经过改进的像素级种类自动识别方法提高了红树植物种类自动识别方法的精度;同时,由于方法并未针对研究样地进行针对性设计,其普适性较强,可轻松应用于不同区域的红树林调研与监测。
附图说明
图1为本发明的基于无人机可见光遥感的红树植物自动识别方法流程框图;
图2为本发明改进的深度学习网络框架图。
具体实施方式
以下结合实施例对本发明作进一步的阐述,所述的实施例仅为本发明一部分的实施例,这些实施例仅用于解释本发明,对本发明的范围并不构成任何限制。
如图1所示,一种基于无人机可见光遥感的红树植物自动识别方法,包括以下步骤:
S1:采集红树林生态***的无人机可见光遥感数据得到无人机原始图像;
具体地,在S1中,采集红树林生态***的无人机可见光遥感数据时,无人机选型为大疆精灵Phantom4RTK,其水平方向和高度方向上的定位精度均为厘米级,像素为5472×3648。飞行参数选取为高度为80m,飞行速度为3m/s,航向重叠度为90%,旁向重叠度为80%,镜头垂直向下拍摄正射影像,单次作业时间平均为18min。
S2:对无人机原始图像进行预处理、数据标注以及裁切处理后获取训练网络所需训练集、测试集和验证集;
具体地,在S2中,进行以下步骤:
S21:根据无人机云台相机镜头畸变参数,对无人机原始图像进行畸变校正;
S22:对经过畸变校正的无人机原始图像进行数据标注,以确定植物识别种类标签。例如,对无人机原始图像进行识别,标注图像中哪些是树种类型,哪些是裸地,将识别的对应标签标注为对应的类型即可;
S23:对数据标注后的无人机原始图像进行裁切,对图像数据进行扩充并对包含红树植物的有效区域内采集的数据进行筛选;
S24:将经过步骤S23获取的图像按照相应的比例划分为训练集、测试集和验证集,例如:比例可以是60%、20%和20%;
S3:对经过预处理、数据标注以及裁切处理后的无人机原始图像进行三维点云重建,获取飞行区域的红树植物数字表面模型;
具体地,在S3中,进行以下步骤:
S31、根据无人机飞行参数(如高度、图像航向重叠度和旁向重叠度等)对经过预处理、数据标注以及裁切处理后的无人机原始图像进行三维点云重建;
S32、基于三维点云重建结果,获取飞行区域的红树植物数字表面模型;
S4:将S2中获取的训练集和S3中对应的红树植物数字表面模型输入图2所示的改进的SegNet神经网络进行训练,经过验证集验证循环迭代进行参数优化,构建红树植物种类自动识别模型;
具体地,在S4中,进行以下步骤:
S41:通过VGG-16网络的前13层卷积将S2获取的训练集进行特征提取,提取的特征主要为红树植物的光谱等特征;
S42:通过VGG-16网络的前13层卷积,对S3中对应的红树植物数字表面模型进行特征提取,提取的特征主要为红树植物的高度信息等物理结构特征;
S43:对S41和S42提取的特征图进行组合,得到红树植物物理结构信息约束的高维度特征信息;
S44:高维度特征信息进行上采样和反卷积,获取与原始图像尺寸相同的像素级语义分割图像模型;
S45:根据S2中获取的验证集对像素级语义分割图像模型进行参数进行优化,获取红树植物种类自动分类模型。
S5:将测试集中的数据输入S4获取的红树植物种类自动分类模型,获取种类识别结果,验证红树植物分类模型精度,并改进参数,进行优化;
S6:将验证精度后的红树植物分类模型存储在服务器;
S7:实时获取无人机可见光遥感数据通过数据链回传至服务器,服务器调用红树植物分类模型对无人机可见光遥感数据进行认知,以实现红树植物的自动分类识别。
进一步地,在S2中对标注过图像预处理时,可将图像尺寸固定为736×736像素,同时,在S3中DSM数据对应的也被裁切为736×736像素。
进一步地,在S3中,可选取ContextCapture软件进行红树林三维点云重建,并进一步生成研究样地的DSM数据。
进一步地,在S4中,硬件设备可选为NVIDIA GeForce RTX 2080Ti显卡,处理器为Intel i9-10900K,训练学习率为5×10-6,训练迭代次数为100。
本发明的红树植物自动识别方法,在构造基于深度学习的像素级分类识别算法时,改进了SegNet语义分割算法,添加了一组卷积神经网络提取红树林数字地面模型(Digital Surface Model,DSM)的特征信息,通过DSM提供的物理结构信息来辅助红树林物种的判断,提升了红树林物种识别的精度。本发明方法中经过改进的像素级种类自动识别方法提高了红树植物种类自动识别方法的精度;同时,由于方法并未针对研究样地进行针对性设计,其普适性较强,可轻松应用于多个研究区域的红树林调研与监测。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (5)

1.一种基于无人机可见光遥感的红树植物自动识别方法,其特征在于:包括以下步骤:
S1:采集红树林生态***的无人机可见光遥感数据,得到无人机原始图像;
S2:对无人机原始图像进行预处理、数据标注以及裁切处理后获取训练网络所需训练集、测试集和验证集;
S3:对经过预处理、数据标注以及裁切处理后的无人机原始图像进行三维点云重建,获取飞行区域的红树植物数字表面模型;
S4:将S2中获取的训练集和S3中对应的红树植物数字表面模型输入改进的SegNet神经网络进行训练,经过验证集验证循环迭代进行参数优化,构建红树植物种类自动识别模型;
S5:将测试集中的数据输入S4获取的红树植物种类自动分类模型,获取种类识别结果,验证红树植物分类模型精度,并改进参数,进行优化;
S6:将验证精度后的红树植物分类模型存储在服务器;
S7:实时获取无人机可见光遥感数据通过数据链回传至服务器,服务器调用红树植物分类模型对无人机可见光遥感数据进行认知,以实现红树植物的自动分类识别。
2.根据权利要求1所述的红树植物自动识别方法,其特征在于:
具体地,在S1中,采集红树林生态***的无人机可见光遥感数据时,无人机选型为大疆精灵Phantom 4 RTK,其水平方向和高度方向上的定位精度均为厘米级,像素为5472×3648,飞行参数选取为高度为80m,飞行速度为3m/s,航向重叠度为90%,旁向重叠度为80%,镜头垂直向下拍摄正射影像,单次作业时间平均为18min。
3.根据权利要求1所述的红树植物自动识别方法,其特征在于:
具体地,在S2中,进行以下步骤:
S21:根据无人机云台相机镜头畸变参数,对无人机原始图像进行畸变校正;
S22:对经过畸变校正的无人机原始图像进行数据标注,以确定植物识别种类标签;
S23:对数据标注后的无人机原始图像进行裁切,对图像数据进行扩充并对包含红树植物的有效区域内采集的数据进行筛选;
S24:将裁切过的无人机原始图像按照相应的比例划分为训练集、测试集和验证集。
4.根据权利要求1所述的红树植物自动识别方法,其特征在于:
具体地,在S3中,进行以下步骤:
S31:根据无人机飞行参数对经过预处理、数据标注以及裁切处理后的无人机原始图像进行三维点云重建;
S32:基于三维点云重建结果,获取飞行区域的红树植物数字表面模型。
5.根据权利要求1所述的红树植物自动识别方法,其特征在于:
具体地,在S4中,进行以下步骤:
S41:通过VGG-16网络的前13层卷积将S2获取的训练集进行特征提取;
S42:通过VGG-16网络的前13层卷积,对S3中对应的红树植物数字表面模型进行特征提取;
S43:对S41和S42提取的特征图进行组合,得到红树植物物理结构信息约束的高维度特征信息;
S44:高维度特征信息进行上采样和反卷积,获取与原始图像尺寸相同的像素级语义分割图像模型;
S45:根据S2中获取的验证集对像素级语义分割图像模型进行参数进行优化,获取红树植物种类自动分类模型。
CN202011214732.2A 2020-11-04 2020-11-04 一种基于无人机可见光遥感的红树植物自动识别方法 Pending CN112307992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011214732.2A CN112307992A (zh) 2020-11-04 2020-11-04 一种基于无人机可见光遥感的红树植物自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011214732.2A CN112307992A (zh) 2020-11-04 2020-11-04 一种基于无人机可见光遥感的红树植物自动识别方法

Publications (1)

Publication Number Publication Date
CN112307992A true CN112307992A (zh) 2021-02-02

Family

ID=74324798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011214732.2A Pending CN112307992A (zh) 2020-11-04 2020-11-04 一种基于无人机可见光遥感的红树植物自动识别方法

Country Status (1)

Country Link
CN (1) CN112307992A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128405A (zh) * 2021-04-20 2021-07-16 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法
CN113239829A (zh) * 2021-05-17 2021-08-10 哈尔滨工程大学 基于空间占用概率特征的跨维度遥感数据目标识别方法
CN117456369A (zh) * 2023-12-25 2024-01-26 广东海洋大学 智能化红树林生长情况的视觉识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108681706A (zh) * 2018-05-15 2018-10-19 哈尔滨工业大学 一种双源遥感数据语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108681706A (zh) * 2018-05-15 2018-10-19 哈尔滨工业大学 一种双源遥感数据语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王红军: "《基于知识的机电***故障诊断与预测技术》", 31 January 2014, 中国财富出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128405A (zh) * 2021-04-20 2021-07-16 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法
CN113239829A (zh) * 2021-05-17 2021-08-10 哈尔滨工程大学 基于空间占用概率特征的跨维度遥感数据目标识别方法
CN117456369A (zh) * 2023-12-25 2024-01-26 广东海洋大学 智能化红树林生长情况的视觉识别方法
CN117456369B (zh) * 2023-12-25 2024-02-27 广东海洋大学 智能化红树林生长情况的视觉识别方法

Similar Documents

Publication Publication Date Title
CN112307992A (zh) 一种基于无人机可见光遥感的红树植物自动识别方法
CN110569786B (zh) 一种基于无人机数据采集的果树识别和数量监测方法及***
US20210118165A1 (en) Geospatial object geometry extraction from imagery
CN112560623B (zh) 一种基于无人机的红树植物种类快速识别方法
US20230162496A1 (en) System and method for assessing pixels of satellite images of agriculture land parcel using ai
US10546216B1 (en) Recurrent pattern image classification and registration
CN112881294B (zh) 一种基于无人机的红树林林分健康度评价方法
CN114067219A (zh) 一种基于语义分割与超像素分割融合的农田作物识别方法
Zhao et al. Tree canopy differentiation using instance-aware semantic segmentation
CN115689928B (zh) 一种可见光下的输电杆塔巡检图像去重方法及***
CN111552762A (zh) 一种基于果树编码的果园种植数字地图化管理方法和***
Liu et al. An efficient approach based on UAV orthographic imagery to map paddy with support of field-level canopy height from point cloud data
Gómez‐Sapiens et al. Improving the efficiency and accuracy of evaluating aridland riparian habitat restoration using unmanned aerial vehicles
WO2023043317A1 (en) Method and system for delineating agricultural fields in satellite images
Mohamad et al. A screening approach for the correction of distortion in UAV data for coral community mapping
Luo et al. An evolutionary shadow correction network and a benchmark UAV dataset for remote sensing images
CN117167208A (zh) 基于uav和cnn的风力发电机叶片损伤智能巡检***及方法
CN116030324A (zh) 一种基于光谱特征与空间特征融合的目标检测方法
CN115358991A (zh) 一种秧苗的漏秧数量和漏秧位置的识别方法及***
Kalmukov et al. Methods for Automated Remote Sensing and Counting of Animals
CN115294467A (zh) 茶叶病害的检测方法及相关装置
CN113989509A (zh) 基于图像识别的农作物虫害检测方法、检测***及设备
CN113989253A (zh) 农田目标对象信息的获取方法及装置
Subramaniam et al. Real Time Monitoring of Forest Fires and Wildfire Spread Prediction
López et al. Multi-Spectral Imaging for Weed Identification in Herbicides Testing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication