CN114612788B - 基于神经网络的城市景观植物多样性监测方法 - Google Patents

基于神经网络的城市景观植物多样性监测方法 Download PDF

Info

Publication number
CN114612788B
CN114612788B CN202210283098.0A CN202210283098A CN114612788B CN 114612788 B CN114612788 B CN 114612788B CN 202210283098 A CN202210283098 A CN 202210283098A CN 114612788 B CN114612788 B CN 114612788B
Authority
CN
China
Prior art keywords
visible light
layer
unmanned aerial
plant
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210283098.0A
Other languages
English (en)
Other versions
CN114612788A (zh
Inventor
王蕾
贾佳
严俊鑫
姚允龙
翟雅琳
王佳轩
姚明辰
尚雅杰
荆忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202210283098.0A priority Critical patent/CN114612788B/zh
Publication of CN114612788A publication Critical patent/CN114612788A/zh
Application granted granted Critical
Publication of CN114612788B publication Critical patent/CN114612788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00Adapting or protecting infrastructure or their operation
    • Y02A30/60Planning or developing urban green infrastructure
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

基于神经网络的城市景观植物多样性监测方法,本发明涉及城市景观植物多样性监测方法。本发明的目的是为解决传统的城市景观植物多样性监测方法无法实现大范围的动态监测,且监测时所需要的人力、物力大的问题。过程为:采集无人机拍摄的可见光图像;建立神经网络模型;对可见光图像进行城市景观植物多样性预测;对可见光图像和红外遥感影像进行配准;截取红外遥感影像的子图像;获得可见光图像和子图像的特征向量;获得最佳匹配结果;获得可见光图像中城市景观植物中各种植物的覆盖率以及含水量;监测连续的M年内指定城市指定月份第n种植物的覆盖率以及含水量。本发明用于城市景观植物多样性监测领域。

Description

基于神经网络的城市景观植物多样性监测方法
技术领域
本发明涉及城市景观植物多样性监测方法。
背景技术
城市园林绿化景观是人居环境的重要组成要素,为居民提供交往、休憩和娱乐的空间,城市园林景观植物的设计需要融入人们的生活。随着人们生活水平的提高,人们越来越重视生活质量,对生活的环境也越来越关心,城市景观植物的生态效益、社会效益、经济效益日趋明显。不同的气候、地形特征,会有不同的生态***。就植物而言,北方城市的城市园林景观多遍植松柏,耐寒耐旱;南方城市的城市园林景观多以热带植物为主,四季鸟语花香。各地城市景观植物都有自己的个性特色。
各地城市景观植物具有多样性,景观植物包括菊花、牡丹、芍药、月季等,不同植物含水量不同,苔藓含水量6%,莲含水量90%;含水量是植物生长状况的一个重要评价标准,;为保证各地城市景观植物具有多样性,各种景观植物的覆盖率也要均衡分布;
遥感技术具有探测范围广、更新周期短、获取信息快捷等特点,在彩色红外像片上,植物的叶子因反射红外线而呈现为红色。但各种植被类型或植物处在不同的生长阶段或受不同环境的影响,其光谱特性不同,因而在彩色红外像片上红色的深浅程度不同,如正常生长的针叶林颜色为红色到品红色,枯萎的植被呈现暗红色,即将枯死的植被呈现青色。
传统的城市景观植物多样性监测方法需要的人力、物力大,更新速度慢且无法实现大范围的动态监测。因此,遥感技术的上述优点为其应用于城市景观植物多样性监测提供了可能。
发明内容
本发明的目的是为解决传统的城市景观植物多样性监测方法无法实现大范围的动态监测,且监测时所需要的人力、物力大的问题,而提出基于神经网络的城市景观植物多样性监测方法。
基于神经网络的城市景观植物多样性监测方法具体过程为:
步骤1:采集无人机拍摄的可见光图像,组成样本训练集;
所述无人机拍摄的可见光图像包括城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
步骤2:建立神经网络模型;
步骤3:将步骤一采集的样本训练集数据输入到建立的神经网络模型中,采用Adam算法进行迭代优化,得到最优网络模型;
步骤4:采集同一城市同一月份的红外遥感影像和无人机拍摄的可见光图像,向最优网络模型中输入采集的无人机拍摄的可见光图像进行城市景观植物多样性预测,获得采集的无人机拍摄的可见光图像中城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
步骤5:对步骤4确定城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份的无人机拍摄可见光图像和步骤4采集的红外遥感影像进行配准;
基于无人机拍摄可见光图像过程中记录的成像点的经度、纬度、高度位置信息,确定无人机航拍图像所在区域,根据无人机航拍图像所在区域及无人机定位精度确定航拍图像在红外遥感影像可能出现的区域,然后截取航拍图像在红外遥感图像可能出现的区域作为红外遥感影像的子图像;
步骤6:将步骤5的无人机拍摄的可见光图像和红外遥感影像的子图像输入特征提取网络,获得待测无人机拍摄的可见光图像的特征向量和红外遥感影像的子图像的特征向量;
步骤7:通过QATM匹配算法计算红外遥感影像的特征向量和和可见光图像的特征向量的特征响应得分,并选取得分最高的区域作为最佳匹配结果;
步骤8:将最佳匹配结果对应的可见光图像的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份作为红外遥感影像该像素位置的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
基于红外遥感图像该像素位置的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份获得红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量;
将红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量作为对应像素位置的可见光图像中城市景观植物中各种植物的覆盖率以及含水量;
步骤9:监测连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量,并将监测的M年第n种植物的含水量分别记为
Figure BDA0003558801840000021
m=1,2,…,M,n=1,2,…,N,
Figure BDA0003558801840000022
代表第m年第n种植物的含水量;将监测的M年第n种植物的覆盖率分别记为
Figure BDA0003558801840000031
m=1,2,…,M,n=1,2,…,N,
Figure BDA0003558801840000032
代表第m年第n种植物的覆盖率;
将连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量图像输入预测网络预测未来第n种植物的覆盖率变化曲线以及含水量图像;并采用上述方法获得其它各种类植物的覆盖率以及含水量图像;
在未来连续的m0年内,若第n种植物的覆盖率依次递减且含水量不断下降,则需对该指定城市该月份的该种植物进行调整,将第n种植物替换为抗旱植物;
若第n种植物的覆盖率依次递减但含水量大于等于含水量阈值,则监测第n种植物是否受病害干扰,进行预防;
若第n种植物的覆盖率不变但含水量小于含水量阈值,则对含水量小于含水量阈值的植物进行水分灌溉,以保证植物物种多样性;
若第n种植物的覆盖率依次增加且含水量大于等于含水量阈值,则减少该种植物的种植;
其余条件不需要进行优化,继续进行监测。
进一步地,所述步骤2中建立神经网络模型;具体过程为:
神经网络模型包括:输入层、第一三维卷积层、第一批归一化层BN层、第一ReLU激活层、第一全局平均池化层、第二全局平均池化层、第一单位卷积、第三批归一化层BN层、第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层、第四Sigmoid激活函数层、第二批归一化层BN层、第二ReLU激活层、第一Dropout、第一全局最大池化层、FC全连接层、Softmax函数分类器和输出层;
所述神经网络模型的连接关系为:
输入层连接第一三维卷积层,第一三维卷积层连接第一批归一化层BN层,第一批归一化层BN层连接第一ReLU激活层,第一ReLU激活层分别连接第一全局平均池化层和第二全局平均池化层,第一全局平均池化层的输出和第二全局平均池化层的输出级联后输入第一单位卷积,第一单位卷积连接第三批归一化层BN层,第三批归一化层BN层分别连接第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层和第四Sigmoid激活函数层;
将第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层和第四Sigmoid激活函数层的输出进行乘积操作,乘积后结果输入第二批归一化层BN层,第二批归一化层BN层的输出连接第二ReLU激活层,第二ReLU激活层的输出连接第一Dropout,第一Dropout的输出连接第一全局最大池化层,第一全局最大池化层的输出连接FC全连接层、FC全连接层的输出连接Softmax函数分类器,Softmax函数分类器的输出结果经输出层输出。
进一步地,所述神经网络模型训练次数为N次,将神经网络模型训练分为三阶段;
当训练次数在(0,N/2)次时采用的损失函数为:
L(y,f(x))=max(0,1-yf(x))
其中,f(x)是预测值,在-1到1之间,y是目标值;
当训练次数在[N/2,3N/4)次训练采用的损失函数为:
L(y,f(x))=max(0,-f(x))
当训练次数在[3N/4,N]次训练采用的损失函数为:
Figure BDA0003558801840000041
其中,
Figure BDA0003558801840000042
为t+1时刻预测网络输入,P为特征总数;Yp为t时刻预测网络输出。
进一步地,所述步骤5中对步骤4确定城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份的无人机拍摄可见光图像和步骤4采集的红外遥感影像进行配准;具体过程为:
步骤51:对基于红外遥感图像对无人机拍摄的可见光图像进行方向配准;
步骤52:对方向配准后的无人机拍摄的可见光图像与红外遥感图像进行尺度空间配准,得到尺度空间配准后的无人机拍摄的可见光图像。
进一步地,所述步骤51中对基于红外遥感图像对无人机拍摄的可见光图像进行方向配准;具体过程为:
以图像左上角为原点O建立像素坐标系HOW,H为像素坐标系纵坐标,为图像高度;W为像素坐标系横坐标,为图像宽度;
图像像素坐标系下的一点(X0,Y0)绕图像中心顺时针旋转θ度后的坐标(X0′,Y0′)由下式计算:
Figure BDA0003558801840000051
进一步地,所述步骤52中对方向配准后的无人机拍摄的可见光图像与红外遥感图像进行尺度空间配准,得到尺度空间配准后的无人机拍摄的可见光图像;具体过程为:
假设红外遥感图像地面覆盖区域长为LaX,宽为LaY,红外遥感图像大小为Ha×Wa,Ha为红外遥感图像行像素点数,Wa为红外遥感图像列像素点数;
红外遥感图像在中心坐标系X,Y方向上单个像素点对应的地面覆盖大小为:
Figure BDA0003558801840000052
Figure BDA0003558801840000053
无人机拍摄的可见光图像地面覆盖区域长为LX,宽为LY,无人机拍摄的可见光图像大小为h×w,h为无人机拍摄的可见光图像行像素点数,w为无人机拍摄的可见光图像列像素点数;
无人机拍摄的可见光图像在中心坐标系X,Y方向上单个像素点对应的地面覆盖大小为:
Figure BDA0003558801840000054
Figure BDA0003558801840000055
无人机拍摄的可见光图像与红外遥感图像之间的尺度关系也即无人机拍摄的可见光图像与红外遥感图像之间单个像素点对应的地面覆盖大小的关系,表达式为:
Figure BDA0003558801840000056
Figure BDA0003558801840000057
其中,βX表示航拍图像与卫星影像在中心坐标系X方向上的尺度大小对应关系,βY表示航拍图像与卫星影像在中心坐标系Y方向上的尺度大小对应关系;
对无人机拍摄的可见光图像进行上采样得到调整后的无人机拍摄的可见光图像,实现无人机拍摄的可见光图像与红外遥感图像之间的尺度配准,得到尺度空间配准后的无人机航拍图像。
进一步地,所述对无人机拍摄的可见光图像进行上采样得到调整后的无人机拍摄的可见光图像;表达式为:
Figure BDA0003558801840000061
Figure BDA0003558801840000062
其中,
Figure BDA0003558801840000063
表示对数据向下取整,h为无人机拍摄的可见光图像行像素点数,w为无人机拍摄的可见光图像列像素点数,
Figure BDA0003558801840000064
为调整后的无人机拍摄的可见光图像列像素点数,
Figure BDA0003558801840000065
为调整后的无人机拍摄的可见光图像行像素点数。
进一步地,所述预测网络的损失函数为:
Figure BDA0003558801840000066
其中,
Figure BDA0003558801840000067
为t+1时刻预测网络输入,P为特征总数;Yp为t时刻预测网络输出。
进一步地,所述步骤9中覆盖率计算过程为:
第n种植物种类的像素覆盖数与所有植物种类的像素覆盖数的比值作为第n种植物的覆盖率;
进一步地,所述步骤9中含水量阈值确定过程为:
人工选取连续a年第n种植物在指定城市指定月份的部分样本,取部分样本含水量均值作为含水量阈值,1≤a≤M/2。
本发明的有益效果为:
本发明是基于城市景观植物的红外遥感图像和可见光图像实现植物多样性监测的,本发明首先将可见光图像经神经网络获得植物分类结果,城市景观中多种植物构成植物多样性,对多种植物的植物名称、所属城市、所属月份进行监测,以保证植物物种多样性,保证生态平衡;
由于红外遥感影像与可见光图像在尺度的巨大差距,因此需要对红外遥感影像与可见光图像在尺度空间上实现配准。由于无人机拍摄的可见光图像在拍摄过程中记录了图像成像时相机的俯仰角、方位角以及位置等位姿信息,同时红外遥感影像也包含经纬度信息,因此可以根据这些信息计算出图像实际覆盖地面区域大小,和图像之间的方向夹角,然后对图像进行旋转,并结合图像的像素尺寸大小,对图像进行重采样,使得红外遥感影像与可见光图像在方向以及单位像素表示的地面覆盖大小一致,从而实现红外遥感影像与可见光图像在尺度和方向上的配准。
本发明基于红外遥感图像该像素位置的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份获得红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量;将红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量作为对应像素位置的可见光图像中城市景观植物中各种植物的覆盖率以及含水量;
监测连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量;将连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量图像输入预测网络预测未来第n种植物的覆盖率变化曲线以及含水量图像;并采用上述方法获得其它各种类植物的覆盖率以及含水量图像;在未来连续的m0年内,若第n种植物的覆盖率依次递减且含水量不断下降,则需对该指定城市该月份的该种植物进行调整,将第n种植物替换为抗旱植物,确保城市景观植物多样性监测,生态平衡性;若第n种植物的覆盖率依次递减但含水量大于等于含水量阈值,则监测第n种植物是否受病害干扰,进行预防(监测植物是否被病虫害侵蚀,进行喷药处理);若第n种植物的覆盖率不变但含水量小于含水量阈值,则对含水量小于含水量阈值的植物进行水分灌溉,以保证植物物种多样性;若第n种植物的覆盖率依次增加且含水量大于等于含水量阈值,则减少该种植物的种植,确保城市景观植物多样性监测,生态平衡性;其余条件不需要进行优化,继续进行监测;实现对城市景观植物种类、覆盖率、含水量的监测,解决了传统监测方法无法实现大范围的动态监测以及监测时所需要的人力和物力大的问题。而且根据本发明的监测结果还可以对未来的覆盖率及含水量变化趋势进行预测,并根据预测结果进行提前干预,保证城市景观植物物种的多样性,进而保持生态***的稳定性。
本发明神经网络模型训练分为三阶段;当训练次数在(0-N/2)(大于等于0小于N/2范围)次时采用的损失函数为:L(y,f(x))=max(0,1-yf(x)),该损失函数健壮性相对较高;当训练次数在[N/2-3N/4)(大于等于N/2小于3N/4范围)次训练采用的损失函数为:L(y,f(x))=max(0,-f(x));当训练次数在[3N/4-N](大于等于3N/4小于N范围)次训练采用的损失函数为:
Figure BDA0003558801840000071
损失函数L(y,f(x))=max(0,-f(x))比损失函数L(y,f(x))=max(0,1-yf(x))简单,损失函数L(y,f(x))=max(0,-f(x))对应的神经网络模型泛化能力没有损失函数L(y,f(x))=max(0,1-yf(x))对应的神经网络模型强;所以本发明在训练次数在(0-N/2)(大于等于0小于N/2范围)次时采用L(y,f(x))=max(0,1-yf(x)),前面选择泛化能力强的损失函数,效果更好,在神经网络模型在取得一定泛化能力后,当训练次数在[N/2-3N/4)(大于等于N/2小于3N/4范围)次训练采用简单损失函数L(y,f(x))=max(0,-f(x)),只要样本的判定类别正确就可以,经过(0-N/2)和[N/2-3N/4)次训练后,当训练次数在[3N/4-N](大于等于3N/4小于N范围)次训练采用的损失函数为:
Figure BDA0003558801840000081
重在预测,基于前两个损失函数的基础,保证了预测的准确性。
附图说明
图1为本发明流程图。
具体实施方式
具体实施方式一:本实施方式基于神经网络的城市景观植物多样性监测方法具体过程为:
步骤1:采集无人机拍摄的可见光图像,组成样本训练集;
所述无人机拍摄的可见光图像包括城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
步骤2:建立神经网络模型;
步骤3:将步骤一采集的样本训练集数据输入到建立的神经网络模型中,采用Adam算法进行迭代优化,得到最优网络模型;
步骤4:采集同一城市同一月份的红外遥感影像和无人机拍摄的可见光图像,向最优网络模型中输入采集的无人机拍摄的可见光图像进行城市景观植物多样性预测,获得采集的无人机拍摄的可见光图像中城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
步骤5:对步骤4确定城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份的无人机拍摄可见光图像和步骤4采集的红外遥感影像进行配准;
基于无人机拍摄可见光图像过程中记录的成像点的经度、纬度、高度位置信息,确定无人机航拍图像所在区域,根据无人机航拍图像所在区域及无人机定位精度确定航拍图像在红外遥感影像可能出现的区域,然后截取航拍图像在红外遥感图像可能出现的区域作为红外遥感影像的子图像;
步骤6:将步骤5的无人机拍摄的可见光图像和红外遥感影像的子图像输入特征提取网络(预先训练好的CNN网络),获得待测无人机拍摄的可见光图像的特征向量和红外遥感影像的子图像的特征向量;
步骤7:通过QATM匹配算法计算红外遥感影像的特征向量和和可见光图像的特征向量的特征响应得分,并选取得分最高的区域作为最佳匹配结果,从而实现红外遥感图像和可见光图像的匹配;
步骤8:将最佳匹配结果对应的可见光图像的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份作为红外遥感影像该像素位置的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
基于红外遥感图像该像素位置的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份获得红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量;
将红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量作为对应像素位置的可见光图像中城市景观植物中各种植物的覆盖率以及含水量;
步骤9:监测连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量,并将监测的M年第n种植物的含水量分别记为
Figure BDA0003558801840000091
m=1,2,…,M,n=1,2,…,N,
Figure BDA0003558801840000092
代表第m年第n种植物的含水量;将监测的M年第n种植物的覆盖率分别记为
Figure BDA0003558801840000093
m=1,2,…,M,n=1,2,…,N,
Figure BDA0003558801840000094
代表第m年第n种植物的覆盖率;
将连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量图像输入预测网络(现有CNN网络)预测未来第n种植物的覆盖率变化曲线以及含水量图像;并采用上述方法获得其它各种类植物的覆盖率以及含水量图像;
在未来连续的m0年内,若第n种植物的覆盖率依次递减且含水量不断下降,则需对该指定城市该月份的该种植物进行调整,将第n种植物替换为抗旱植物,确保城市景观植物多样性监测,生态平衡性;
若第n种植物的覆盖率依次递减但含水量大于等于含水量阈值,则监测第n种植物是否受病害干扰,进行预防(监测植物是否被病虫害侵蚀,进行喷药处理);
若第n种植物的覆盖率不变但含水量小于含水量阈值,则对含水量小于含水量阈值的植物进行水分灌溉,以保证植物物种多样性;
若第n种植物的覆盖率依次增加且含水量大于等于含水量阈值,则减少该种植物的种植,确保城市景观植物多样性监测,生态平衡性;
其余条件不需要进行优化,继续进行监测。
具体实施方式二:本实施方式与具体实施方式一不同的是,所述步骤2中建立神经网络模型;具体过程为:
神经网络模型包括:输入层、第一三维卷积层、第一批归一化层BN层、第一ReLU激活层、第一全局平均池化层、第二全局平均池化层、第一单位卷积、第三批归一化层BN层、第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层、第四Sigmoid激活函数层、第二批归一化层BN层、第二ReLU激活层、第一Dropout、第一全局最大池化层、FC全连接层、Softmax函数分类器和输出层;
所述神经网络模型的连接关系为:
输入层连接第一三维卷积层,第一三维卷积层连接第一批归一化层BN层,第一批归一化层BN层连接第一ReLU激活层,第一ReLU激活层分别连接第一全局平均池化层和第二全局平均池化层,第一全局平均池化层的输出和第二全局平均池化层的输出级联后输入第一单位卷积,第一单位卷积连接第三批归一化层BN层,第三批归一化层BN层分别连接第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层和第四Sigmoid激活函数层;
将第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层和第四Sigmoid激活函数层的输出进行乘积操作,乘积后结果输入第二批归一化层BN层,第二批归一化层BN层的输出连接第二ReLU激活层,第二ReLU激活层的输出连接第一Dropout,第一Dropout的输出连接第一全局最大池化层,第一全局最大池化层的输出连接FC全连接层、FC全连接层的输出连接Softmax函数分类器,Softmax函数分类器的输出结果经输出层输出。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是,所述神经网络模型训练次数为N次,将神经网络模型训练分为三阶段;
当训练次数在(0,N/2)(大于等于0小于N/2范围)次时采用的损失函数为:
L(y,f(x))=max(0,1-yf(x))
分类正确,损失为0;否则损失为1-yf(x);
其中,f(x)是预测值,在-1到1之间,y是目标值(-1或1);
健壮性相对较高;
当训练次数在[N/2,3N/4)(大于等于N/2小于3N/4范围)次训练采用的损失函数为:
L(y,f(x))=max(0,-f(x))
损失函数L(y,f(x))=max(0,-f(x))比损失函数L(y,f(x))=max(0,1-yf(x))简单,损失函数L(y,f(x))=max(0,-f(x))对应的神经网络模型泛化能力没有损失函数L(y,f(x))=max(0,1-yf(x))对应的神经网络模型强;所以本发明在训练次数在(0,N/2)(大于等于0小于N/2范围)次时采用L(y,f(x))=max(0,1-yf(x)),前面选择泛化能力强的损失函数,效果更好,在神经网络模型在取得一定泛化能力后,当训练次数在[N/2,3N/4)(大于等于N/2小于3N/4范围)次训练采用简单损失函数L(y,f(x))=max(0,-f(x)),只要样本的判定类别正确就可以,经过(0,N/2)和[N/2,3N/4)次训练后,当训练次数在[3N/4,N](大于等于3N/4小于N范围)次训练采用的损失函数为:
Figure BDA0003558801840000111
重在预测,基于前两个损失函数的基础,保证了预测的准确性;
当训练次数在[3N/4,N](大于等于3N/4小于N范围)次训练采用的损失函数为:
Figure BDA0003558801840000112
其中,
Figure BDA0003558801840000113
为t+1时刻预测网络输入,P为特征总数;Yp为t时刻预测网络输出。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是,所述步骤5中对步骤4确定城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份的无人机拍摄可见光图像和步骤4采集的红外遥感影像进行配准;具体过程为:
步骤51:对基于红外遥感图像对无人机拍摄的可见光图像进行方向配准;
步骤52:对方向配准后的无人机拍摄的可见光图像与红外遥感图像进行尺度空间配准,得到尺度空间配准后的无人机拍摄的可见光图像。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是,所述步骤51中对基于红外遥感图像对无人机拍摄的可见光图像进行方向配准;具体过程为:
以图像左上角为原点O建立像素坐标系HOW,H为像素坐标系纵坐标,为图像高度;W为像素坐标系横坐标,为图像宽度;
图像像素坐标系下的一点(X0,Y0)绕图像中心顺时针旋转θ度后的坐标(X0′,Y0′)由下式计算:
Figure BDA0003558801840000121
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是,所述步骤52中对方向配准后的无人机拍摄的可见光图像与红外遥感图像进行尺度空间配准,得到尺度空间配准后的无人机拍摄的可见光图像;具体过程为:
假设红外遥感图像地面覆盖区域长为LaX,宽为LaY,红外遥感图像大小为Ha×Wa,Ha为红外遥感图像行像素点数,Wa为红外遥感图像列像素点数;
红外遥感图像在中心坐标系X,Y方向上单个像素点对应的地面覆盖大小为:
Figure BDA0003558801840000122
Figure BDA0003558801840000123
无人机拍摄的可见光图像地面覆盖区域长为LX,宽为LY,无人机拍摄的可见光图像大小为h×w,h为无人机拍摄的可见光图像行像素点数,w为无人机拍摄的可见光图像列像素点数;
无人机拍摄的可见光图像在中心坐标系X,Y方向上单个像素点对应的地面覆盖大小为:
Figure BDA0003558801840000131
Figure BDA0003558801840000132
无人机拍摄的可见光图像与红外遥感图像之间的尺度关系也即无人机拍摄的可见光图像与红外遥感图像之间单个像素点对应的地面覆盖大小的关系,表达式为:
Figure BDA0003558801840000133
Figure BDA0003558801840000134
其中,βX表示航拍图像与卫星影像在中心坐标系X方向上的尺度大小对应关系,βY表示航拍图像与卫星影像在中心坐标系Y方向上的尺度大小对应关系;
对无人机拍摄的可见光图像进行上采样得到调整后的无人机拍摄的可见光图像,实现无人机拍摄的可见光图像与红外遥感图像之间的尺度配准,得到尺度空间配准后的无人机航拍图像。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七:本实施方式与具体实施方式一至六之一不同的是,所述对无人机拍摄的可见光图像进行上采样得到调整后的无人机拍摄的可见光图像;表达式为:
Figure BDA0003558801840000135
Figure BDA0003558801840000136
其中,
Figure BDA0003558801840000137
表示对数据向下取整,h为无人机拍摄的可见光图像行像素点数,w为无人机拍摄的可见光图像列像素点数,
Figure BDA0003558801840000138
为调整后的无人机拍摄的可见光图像列像素点数,
Figure BDA0003558801840000139
为调整后的无人机拍摄的可见光图像行像素点数。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八:本实施方式与具体实施方式一至七之一不同的是,所述预测网络的损失函数为:
Figure BDA0003558801840000141
其中,
Figure BDA0003558801840000142
为t+1时刻预测网络输入,P为特征总数;Yp为t时刻预测网络输出。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式九:本实施方式与具体实施方式一至八之一不同的是,所述步骤9中覆盖率计算过程为:
第n种植物种类的像素覆盖数与所有植物种类的像素覆盖数的比值作为第n种植物的覆盖率;
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十:本实施方式与具体实施方式一至九之一不同的是,所述步骤9中含水量阈值确定过程为:
人工选取连续a年第n种植物在指定城市指定月份的部分样本,取部分样本含水量均值作为含水量阈值,1≤a≤M/2。
其它步骤及参数与具体实施方式一至九之一相同。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (1)

1.基于神经网络的城市景观植物多样性监测方法,其特征在于:所述方法具体过程为:
步骤1:采集无人机拍摄的可见光图像,组成样本训练集;
所述无人机拍摄的可见光图像包括城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
步骤2:建立神经网络模型;
步骤3:将步骤一采集的样本训练集数据输入到建立的神经网络模型中,采用Adam算法进行迭代优化,得到最优网络模型;
步骤4:采集同一城市同一月份的红外遥感影像和无人机拍摄的可见光图像,向最优网络模型中输入采集的无人机拍摄的可见光图像进行城市景观植物多样性预测,获得采集的无人机拍摄的可见光图像中城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
步骤5:对步骤4确定城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份的无人机拍摄可见光图像和步骤4采集的红外遥感影像进行配准;
基于无人机拍摄可见光图像过程中记录的成像点的经度、纬度、高度位置信息,确定无人机航拍图像所在区域,根据无人机航拍图像所在区域及无人机定位精度确定航拍图像在红外遥感影像可能出现的区域,然后截取航拍图像在红外遥感图像可能出现的区域作为红外遥感影像的子图像;
步骤6:将步骤5的无人机拍摄的可见光图像和红外遥感影像的子图像输入特征提取网络,获得待测无人机拍摄的可见光图像的特征向量和红外遥感影像的子图像的特征向量;
步骤7:通过QATM匹配算法计算红外遥感影像的特征向量和可见光图像的特征向量的特征响应得分,并选取得分最高的区域作为最佳匹配结果,从而实现红外遥感图像和可见光图像的匹配;
步骤8:将最佳匹配结果对应的可见光图像的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份作为红外遥感影像像素位置的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份;
基于红外遥感图像该像素位置的城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份获得红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量;
将红外遥感影像该像素位置的城市景观植物的覆盖率以及含水量作为对应像素位置的可见光图像中城市景观植物中各种植物的覆盖率以及含水量;
步骤9:监测连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量,并将监测的M年第n种植物的含水量分别记为
Figure FDA0003900061310000021
Figure FDA0003900061310000022
代表第m年第n种植物的含水量;将监测的M年第n种植物的覆盖率分别记为
Figure FDA0003900061310000023
Figure FDA0003900061310000024
代表第m年第n种植物的覆盖率;
将连续的M年内指定城市指定月份第n种植物的覆盖率,以及连续的M年内指定城市指定月份第n种植物的含水量图像输入预测网络预测未来第n种植物的覆盖率变化曲线以及含水量图像;并采用上述方法获得其它各种类植物的覆盖率以及含水量图像;
在未来连续的m0年内,若第n种植物的覆盖率依次递减且含水量不断下降,则需对该指定城市该月份的该种植物进行调整,将第n种植物替换为抗旱植物,确保城市景观植物多样性监测,生态平衡性;
若第n种植物的覆盖率依次递减但含水量大于等于含水量阈值,则监测第n种植物是否受病害干扰,进行预防;
若第n种植物的覆盖率不变但含水量小于含水量阈值,则对含水量小于含水量阈值的植物进行水分灌溉,以保证植物物种多样性;
若第n种植物的覆盖率依次增加且含水量大于等于含水量阈值,则减少该种植物的种植,确保城市景观植物多样性监测,生态平衡性;
其余条件不需要进行优化,继续进行监测;
所述步骤2中建立神经网络模型;具体过程为:
神经网络模型包括:输入层、第一三维卷积层、第一批归一化层BN层、第一ReLU激活层、第一全局平均池化层、第二全局平均池化层、第一单位卷积、第三批归一化层BN层、第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层、第四Sigmoid激活函数层、第二批归一化层BN层、第二ReLU激活层、第一Dropout、第一全局最大池化层、FC全连接层、Softmax函数分类器和输出层;
所述神经网络模型的连接关系为:
输入层连接第一三维卷积层,第一三维卷积层连接第一批归一化层BN层,第一批归一化层BN层连接第一ReLU激活层,第一ReLU激活层分别连接第一全局平均池化层和第二全局平均池化层,第一全局平均池化层的输出和第二全局平均池化层的输出级联后输入第一单位卷积,第一单位卷积连接第三批归一化层BN层,第三批归一化层BN层分别连接第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层和第四Sigmoid激活函数层;
将第一Sigmoid激活函数层、第二Sigmoid激活函数层、第三Sigmoid激活函数层和第四Sigmoid激活函数层的输出进行乘积操作,乘积后结果输入第二批归一化层BN层,第二批归一化层BN层的输出连接第二ReLU激活层,第二ReLU激活层的输出连接第一Dropout,第一Dropout的输出连接第一全局最大池化层,第一全局最大池化层的输出连接FC全连接层、FC全连接层的输出连接Softmax函数分类器,Softmax函数分类器的输出结果经输出层输出;
所述神经网络模型训练次数为N次,将神经网络模型训练分为三阶段;
当训练次数在(0,N/2)次时采用的损失函数为:
L(y,f(x))=max(0,1-yf(x))
其中,f(x)是预测值,y是目标值;
当训练次数在[N/2,3N/4)次训练采用的损失函数为:
L(y,f(x))=max(0,-f(x))
当训练次数在[3N/4,N]次训练采用的损失函数为:
Figure FDA0003900061310000031
其中,
Figure FDA0003900061310000032
为t+1时刻预测网络输入,P为特征总数;Yp为t时刻预测网络输出;
所述步骤5中对步骤4确定城市景观植物的植物名称、城市景观植物所属城市、城市景观植物所属月份的无人机拍摄可见光图像和步骤4采集的红外遥感影像进行配准;具体过程为:
步骤51:对基于红外遥感图像对无人机拍摄的可见光图像进行方向配准;
步骤52:对方向配准后的无人机拍摄的可见光图像与红外遥感图像进行尺度空间配准,得到尺度空间配准后的无人机拍摄的可见光图像;
所述步骤51中对基于红外遥感图像对无人机拍摄的可见光图像进行方向配准;具体过程为:
以图像左上角为原点O建立像素坐标系HOW,H为像素坐标系纵坐标,为图像高度;W为像素坐标系横坐标,为图像宽度;
图像像素坐标系下的一点(X0,Y0)绕图像中心顺时针旋转θ度后的坐标(X′0,Y′0)由下式计算:
Figure FDA0003900061310000041
所述步骤52中对方向配准后的无人机拍摄的可见光图像与红外遥感图像进行尺度空间配准,得到尺度空间配准后的无人机拍摄的可见光图像;具体过程为:
假设红外遥感图像地面覆盖区域长为LaX,宽为LaY,红外遥感图像大小为Ha×Wa,Ha为红外遥感图像行像素点数,Wa为红外遥感图像列像素点数;
红外遥感图像在中心坐标系X,Y方向上单个像素点对应的地面覆盖大小为:
Figure FDA0003900061310000042
Figure FDA0003900061310000043
无人机拍摄的可见光图像地面覆盖区域长为LX,宽为LY,无人机拍摄的可见光图像大小为h×w,h为无人机拍摄的可见光图像行像素点数,w为无人机拍摄的可见光图像列像素点数;
无人机拍摄的可见光图像在中心坐标系X,Y方向上单个像素点对应的地面覆盖大小为:
Figure FDA0003900061310000044
Figure FDA0003900061310000045
无人机拍摄的可见光图像与红外遥感图像之间的尺度关系也即无人机拍摄的可见光图像与红外遥感图像之间单个像素点对应的地面覆盖大小的关系,表达式为:
Figure FDA0003900061310000051
Figure FDA0003900061310000052
其中,βX表示航拍图像与卫星影像在中心坐标系X方向上的尺度大小对应关系,βY表示航拍图像与卫星影像在中心坐标系Y方向上的尺度大小对应关系;
对无人机拍摄的可见光图像进行上采样得到调整后的无人机拍摄的可见光图像,实现无人机拍摄的可见光图像与红外遥感图像之间的尺度配准,得到尺度空间配准后的无人机航拍图像;
所述对无人机拍摄的可见光图像进行上采样得到调整后的无人机拍摄的可见光图像;表达式为:
Figure FDA0003900061310000053
Figure FDA0003900061310000054
其中,
Figure FDA0003900061310000055
表示对数据向下取整,h为无人机拍摄的可见光图像行像素点数,w为无人机拍摄的可见光图像列像素点数,
Figure FDA0003900061310000056
为调整后的无人机拍摄的可见光图像列像素点数,
Figure FDA0003900061310000057
为调整后的无人机拍摄的可见光图像行像素点数;
所述预测网络的损失函数为:
Figure FDA0003900061310000058
其中,
Figure FDA0003900061310000059
为t+1时刻预测网络输入,P为特征总数;Yp为t时刻预测网络输出;
所述步骤9中覆盖率计算过程为:
第n种植物种类的像素覆盖数与所有植物种类的像素覆盖数的比值作为第n种植物的覆盖率;
所述步骤9中含水量阈值确定过程为:
人工选取连续a年第n种植物在指定城市指定月份的部分样本,取部分样本含水量均值作为含水量阈值,1≤a≤M/2。
CN202210283098.0A 2022-03-22 2022-03-22 基于神经网络的城市景观植物多样性监测方法 Active CN114612788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210283098.0A CN114612788B (zh) 2022-03-22 2022-03-22 基于神经网络的城市景观植物多样性监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210283098.0A CN114612788B (zh) 2022-03-22 2022-03-22 基于神经网络的城市景观植物多样性监测方法

Publications (2)

Publication Number Publication Date
CN114612788A CN114612788A (zh) 2022-06-10
CN114612788B true CN114612788B (zh) 2023-04-07

Family

ID=81864690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283098.0A Active CN114612788B (zh) 2022-03-22 2022-03-22 基于神经网络的城市景观植物多样性监测方法

Country Status (1)

Country Link
CN (1) CN114612788B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973001B (zh) * 2022-06-17 2023-02-03 东北林业大学 一种湿地植物生长信息监测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109269645A (zh) * 2018-09-06 2019-01-25 西北农林科技大学 一种基于无人机可见光和热红外遥感的大田玉米冠层温度提取方法
CN110390267B (zh) * 2019-06-25 2021-06-01 东南大学 一种基于高分遥感影像的山地景观建筑提取方法和设备
CN110675448B (zh) * 2019-08-21 2023-05-02 深圳大学 基于民航客机的地面灯光遥感监测方法、***及存储介质
CN111507321B (zh) * 2020-07-01 2020-09-25 中国地质大学(武汉) 多输出土地覆盖分类模型的训练方法、分类方法及装置
CN112419374B (zh) * 2020-11-11 2022-12-27 北京航空航天大学 一种基于图像配准的无人机定位方法
CN113793270A (zh) * 2021-08-05 2021-12-14 杭州电子科技大学 一种基于无人机姿态信息的航拍图像几何校正方法
CN113936314A (zh) * 2021-10-13 2022-01-14 浙江核新同花顺网络信息股份有限公司 一种面部表情识别的方法和***

Also Published As

Publication number Publication date
CN114612788A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN113486846B (zh) 从大视野图像中检测被感染对象的方法及执行其的非暂时性计算机可读存储介质
Hamylton et al. Evaluating techniques for mapping island vegetation from unmanned aerial vehicle (UAV) images: Pixel classification, visual interpretation and machine learning approaches
CN113228047A (zh) 利用多阶段、多尺度深度学习的植物病害检测
CN109117811A (zh) 一种基于低空遥感测量技术估算城市植被覆盖率的***及方法
CN112101256A (zh) 基于云平台的耦合主被动遥感影像的大蒜作物识别方法
CN114612788B (zh) 基于神经网络的城市景观植物多样性监测方法
CN113610040B (zh) 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN108921035B (zh) 基于空间引力和像元聚集度的亚像元定位方法和***
CN113033453A (zh) 一种适用于景观破碎区作物类型遥感识别的方法及***
CN114067219A (zh) 一种基于语义分割与超像素分割融合的农田作物识别方法
Ouyang et al. Assessment of canopy size using UAV-based point cloud analysis to detect the severity and spatial distribution of canopy decline
CN113570273A (zh) 一种灌溉耕地统计数据的空间化方法及***
CN115527108A (zh) 一种基于多时相Sentinel-2快速识别水土流失人为扰动地块的方法
CN114462485A (zh) 一种红枣枣疯病初期防治方法
CN114842360A (zh) 一种牧区旱情识别方法、***及管理平台
CN117110217B (zh) 一种立体化水质监测方法及***
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质
CN114648500B (zh) 一种基于无人机和深度学习的农作物杂草检测方法及装置
CN116482034A (zh) 一种草地生态监测方法及监测***
CN117218615B (zh) 一种大豆落花落荚表型调查方法
Quilter Vegetation monitoring using low-altitude, large-scale imagery from radio-controlled drones
Thapa Impacts of Land-Use and Land-Cover Change on Land Degradation: A Case Study in Dolakha District, Nepal
Ismail et al. Urban forestry planning using remote sensing/GIS technique
Magiera THE EFFECTS OF TRACTOR DRIVING ON ARCTIC VEGETATION AT KAPP LINNÉ, SVALBARD
Wang et al. Recording and modeling the seasonal growth of salt marsh vegetation at Liao river estuary, China, based on the wetland image monitoring system (WIMS)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant