CN102959354A - 用于利用LiDAR数据来分析树冠层的方法和装置 - Google Patents
用于利用LiDAR数据来分析树冠层的方法和装置 Download PDFInfo
- Publication number
- CN102959354A CN102959354A CN2010800591942A CN201080059194A CN102959354A CN 102959354 A CN102959354 A CN 102959354A CN 2010800591942 A CN2010800591942 A CN 2010800591942A CN 201080059194 A CN201080059194 A CN 201080059194A CN 102959354 A CN102959354 A CN 102959354A
- Authority
- CN
- China
- Prior art keywords
- lidar data
- data point
- trees
- processor
- spatially uniform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/0035—Measuring of dimensions of trees
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G23/00—Forestry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Forests & Forestry (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Environmental Sciences (AREA)
- Botany (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种用于通过对在围绕树顶的多个区域中的LiDAR数据点高度的空间均匀性进行分析来分析森林的冠层的***和方法,其中,该区域小于树木的树冠的预期大小。在一个实施例中,基于频域中的LiDAR数据点高度的分析来将空间均匀性量化为冠层闭合向量。在一个特定实施例中,在以FFT输出矩阵中的平均值为中心的多个环的单元中的频率分量的标准偏差用于对空间均匀性进行量化。
Description
技术领域
本文中所公开的技术涉及LiDAR数据处理,并且具体地涉及用于处理LiDAR数据以分析森林中的树冠层的技术。
背景技术
林务员或森林管理员的任务之一是能够准确地估计森林中的材积。在过去,通过将勘测队派遣到森林中来获得包括树木高度、直径、间距等的树木测量的采样来进行体积估计。然后,通过将所收集的采样数据外推到森林的大小来进行材积的估计。虽然在森林相对均匀时基于采样的体积估计通常是准确的,但是越来越昂贵和/或在后勤方面限制了将勘测队派遣到大的森林里的足够数目的采样区域以获得准确的数据。
为了解决该问题,遥感正被用作用于从森林中的树木中获得采样数据的替代技术。一种感测方法包括使用光检测和测距(LiDAR)。利用LiDAR,诸如飞机或直升机的低空飞行的飞行器携带LiDAR检测单元通过覆盖要勘测的森林区域的一系列平行的路径上方。LiDAR检测单元在针对每条路径以重复来回扫描的模式来发射和接收激光脉冲。所发射的激光脉冲从在地面上或空中的对象反射回来,该对象包括:树叶和针叶以及树枝、石块、人造对象(房子、汽车、电话线等)、禽鸟等。反射的激光脉冲由LiDAR检测单元来检测,该LiDAR检测单元记录每个反射的激光脉冲的时间、方向以及强度。因为在检测反射的激光脉冲时飞行器的高度和速度是已知的,所以能够确定每个反射的激光脉冲的三维坐标。
虽然LiDAR感测从森林中的树木产生了大量数据,但是当树木紧密地间隔时,很难分开哪些激光脉冲从不同的树木反射。传统的方式是分析可能是单个树的对象的LiDAR坐标数据。消除小于预期树木大小的数据中的不规则以使得分析更容易。结果是小于预期树木大小的拓扑特征被故意忽略。然而,因为树木大小可能显著地变化,所以难以知道数据中的特征何时足够小以安全地忽略。因此,错误地视为已经从相同的树木反射的激光脉冲可能导致对森林中的树木的数目的低估。相反,错误地视为已经从不同的树木反射的激光脉冲可能导致对森林中的树木的数目的高估。
考虑到这个问题,需要在LiDAR数据中搜索独立树木的改进的技术。
发明内容
为了解决上述问题,本文中所公开的技术是一种用于利用LiDAR数据来分析森林区域的冠层的***和方法。在一个实施例中,在围绕树顶的多个区域中的LiDAR数据点高度的空间均匀性用于确定与冠层相关的信息,能够从该信息来估计森林中的树木的特征。在一个特定实施例中,区域内的LiDAR高度数据被转换成频域,并且后续的分析提供对LiDAR数据点高度的空间均匀性的测量。在一个实施例中,特征是冠大小,并且所确定的空间均匀性的程度用于调整其中LiDAR点被视为已经被从单棵树反射的区域的大小。
在一个实施例中,***包括处理器,该处理器被编程为分析搜索区内的多个LiDAR数据点。该处理器被编程为针对可以表示树顶的点来搜索LiDAR数据。对于可以表示树顶的LiDAR数据点,处理器被编程为分析在围绕树顶的区域中的多个单元内的LiDAR数据点的高度的空间均匀性。分析LiDAR点高度所在的单元的大小优选地基本上小于预期的树冠的大小。在一个实施例中,在频域中分析LiDAR数据点高度,并且基于频率分量中的功率的变化来测量均匀性。
在一个实施例中,处理器被编程为计算冠层闭合向量,该冠层闭合向量用于调整搜索区域的大小,在该搜索区域内LiDAR数据点被视作已经被从单棵树反射。与对于具有较低的冠层闭合向量的森林区域的搜索区域的大小相比,减少了对于具有较高的冠层闭合向量的那些森林区域的搜索区域的大小。
在一个实施例中,处理器被编程为使用二维快速傅立叶变换(FFT)来分析LiDAR数据点的高度。根据FFT输出矩阵,进行对频率分量的变化的测量。根据变化测量结果来计算冠层闭合向量。在一个特定实施例中,处理器被编程为确定在由围绕FFT输出矩阵中的平均值的五分之二的谐波限定的单元的多个环中的频率分量的功率的标准偏差。标准偏差用于计算随着森林冠层的闭合量而变化的冠层闭合向量(CCV)。在所公开的技术的一个实施例中,处理器根据所计算的CCV的函数来调整搜索区域的大小,在该搜索区域中LiDAR数据点的坐标被视作已经从单棵树反射。
提供发明内容来以简化的形式介绍原理的选择,该原理在下面的具体实施方式中进一步进行描述。发明内容并不意在标识要求保护的主题的主要特征,也不意在用作对确定要求保护的主题的范围的辅助。
附图说明
当与附图相结合地考虑时,本发明的前述方面和伴随的优点中的许多将变得更容易理解,因为其通过参考以下具体实施方式变得更好理解,在附图中:
图1A图示了从一对非紧密间隔的树木反射的多个激光点;
图1B图示了从多个更紧密地间隔的树木反射的多个激光点;
图2A-2B是根据所公开的技术的实施例的分析森林区域的冠层的一个方法的流程图;
图3图示了根据所公开的技术的一个实施例产生的二维快速傅立叶变换(FFT)输出矩阵的一部分;
图4A-4F图示了具有高度差异的不同模式的表面及其相应的二维FFT;
图5图示了确定因数的一个适当的函数,用于识别LiDAR数据中的各树木的搜索区域的大小根据该因数随着根据所公开的技术的实施例计算的冠层闭合向量而变化;以及
图6图示了根据所公开的技术的实施例的用于分析LiDAR数据以分析森林区域的冠层的代表性计算机***。
具体实施方式
如将由遥感的领域中的技术人员认识到的,LiDAR数据通常通过诸如飞机、直升机等的飞行器在在地理区域上的一系列平行路径中飞行来获得。飞行器携带LiDAR发射和检测单元,该LiDAR发射和检测单元以重复来回扫描模式来发射一系列激光脉冲。一些激光脉冲被反射回到飞行器中的LiDAR检测单元。通过知道飞行器的位置、高度和速度以及在激光脉冲的传输与检测之间的时间和检测到脉冲的角度,可以确定用于每个检测到的激光脉冲的三维坐标,并且将其存储在计算机可读存储器中。在一些情况下,每个反射的激光脉冲的强度也被检测和存储。反射的激光脉冲的三维坐标形成LiDAR数据,分析该LiDAR数据以确定与地理区域相关的信息。
一旦LiDAR数据被收集并且存储在计算机可读文件中,就利用具有一个或多个编程的处理器来分析该数据。如上所述,使用LiDAR数据来清查(inventory)森林中的树木的数目的一个困难在于,能够分开或区分从森林中的各树木反射的激光脉冲。U.S.专利No.7,474,964公开了一种用于识别各树木或植物项目的技术,其全部内容通过引用并入这里。利用该技术来分析LiDAR数据点的坐标,以确定它们是否位于在由与先前定义的植物项目相关联的数字树冠伞或数字树枝伞定义的地理区域(例如,搜索区域)内的位置处。如果LiDAR数据点的坐标在先前定义的数字树冠或树枝伞的地理区域内,则针对植物项目来定义新的数字树枝伞。通过为越来越低的LiDAR数据点定义树枝伞来分层地来进行该处理。
如果LiDAR数据点的坐标不在由先前定义的数字树冠或树枝伞包围的地理区域内,则沿着对应的数字树冠伞定义植物的新项目,诸如树木。新的数字树冠伞的大小通常基于标记树木的顶部的LiDAR数据点的高度来选择。
图1A图示了相对远离生长的一对树木40、42。树木40反射创建相应LiDAR数据点50、52、54的多个激光脉冲。类似地,树木42反射创建相应LiDAR数据点56、58的多个激光脉冲。根据'964专利中所描述的技术,针对最上LiDAR数据点50定义数字树冠伞。数字树冠伞具有选择成给予由树木40所占据的区域的第一近似的大小。在所示出的示例中,针对LiDAR数据点50的数字树冠伞的大小是直径8米。LiDAR数据点52和54的坐标位于针对LiDAR数据点50定义的数字树冠伞的区域内。因此,针对LiDAR数据点52和54定义数字树枝伞。可以通过针对树木40定义的数字树冠和树枝伞的非重叠区域的总和来估计由树木40所占据的总区域。
在图1A中所示出的示例中,LiDAR数据点56的坐标没有在先前定义的数字树冠或树枝伞的区域内。因此,假定LiDAR数据点56表示单独树木42并且针对LiDAR数据点56定义新的数字树冠伞。针对LiDAR数据点58来定义数字树枝伞。
在图1B中所示的示例中,一系列树木70、72、74被示作比图1A中所示的树木40和42更紧密地生长在一起。在该示例中,针对LiDAR数据点80、84以及86定义的数字树冠伞的大小具有更小的直径,诸如5米。如果针对LiDAR数据点80、84、86定义的数字树冠伞具有与针对图1A中所示的树木定义的那些相同的直径,则计算机可以确定在该树丛(stand)中仅存在两棵树木而不是三棵。因此,当确定了树木或植物项目有可能紧密地生长在一起时,应该减少针对LiDAR数据点80、84、86定义的数字树冠伞的大小。另一方面,当确定了树木或植物项目有可能远离生长时,能够增加数字树冠伞的大小。
本文中所公开的技术是基于在围绕树顶的位置处的LiDAR数据点高度的空间均匀性来分析森林区域的冠层的方法和装置。在一个实施例中,该分析用于改进在'964专利中所公开的用于识别诸如树木的植物的各项目的技术。具有更靠近的冠层的森林区域具有占据冠层中的几乎所有的可用空间的树枝或树梢,并且通常以更小的树冠直径包含每单位区域的更多的树木。具有更远离间隔的树木的森林区域通常具有包括更开放的空间的更开放的冠层,并且通常包含具有更大的树冠直径的树木。因此,能够根据森林区域的冠层闭合量来调整数字树冠或树枝伞的大小。
尽管在调整数字树冠和/或树枝伞的大小中关于其用途描述了该技术,但是本领域的普通技术人员和其它人应当了解,可以针对其他目的来使用用于分析森林区域的冠层的方法和装置。例如,通过对LiDAR点峰点的数目进行计数来估计区域中的树木的数目的***和方法可以以与冠层闭合相关的因数来调整峰点的数目,以便于改进对树木的数目的估计。在另一替代实施例中,森林区域的冠层的分析可以用于形成数字签名,该数字签名用于预测森林中的树木的其它特征,诸如树木的种类、它们的年龄、相对健康度等。
在一个实施例中,基于在围绕树顶的LiDAR数据点高度的高度分量的空间均匀性来分析森林区域的冠层。在一个特定实施例中,使用傅立叶变换在频域中分析LiDAR数据点高度的区域,以确定在二维中数据点高度的频率分量的变化。频率分量中的变化量指示冠层闭合量。在一个实施例中,频率分量中的变化被量化为冠层闭合向量(CCV)。
图2A-2C是根据所公开的技术的实施例的从LiDAR数据点高度的空间均匀性来分析森林区域的冠层的一个方法的流程图。在下面的描述中,由于缺少更好的术语,所以可以表示感兴趣树木或其它项目的LiDAR数据点的点云被称做“斑点(blob)”。
在步骤100处开始,获得来自森林的原始的LiDAR数据。因为所产生的LiDAR数据量通常是巨大的,所以在步骤102处,通常根据将用于分析数据的计算机的速度和存储来将数据划分成具有来自更小的感兴趣地理区域的坐标的数据。在一个实施例中,LiDAR数据被划分成大约25,000个数据点的区域,以加速数据的处理。25,000个LiDAR数据点包括围绕感兴趣区域的缓冲区。该缓冲区在树顶位于感兴趣区域的边缘处的情况下是有用的,如将在下文中描述的。对于每个更小的地理感兴趣区域而言,在步骤104处,计算机***开始在LiDAR数据中识别斑点(例如,可能的树顶)。
如图2B中所示,在LiDAR数据中识别一个或多个斑点的一种方式是在106处开始循环,在106处利用编程的处理器来针对每个地理区域分析LiDAR数据。在108处,处理器移除任何异常的数据点(例如,从禽鸟、电力线、高层建筑物等创建的LiDAR数据点)。通常,这些异常数据点被识别为具有过高而不能从诸如树木的感兴趣项目得到的高度。
在步骤114处,按高度从最高到最低对用于感兴趣地理区域的LiDAR数据点进行排序。以最高排序的LiDAR数据点开始,在步骤118处确定LiDAR数据点的坐标是否在先前定义的数字树冠或树枝伞的区域内。如果这样的话,该处理前进到步骤120以定义用于LiDAR数据点的新的数字树枝伞。新的数字树枝伞与先前标识的斑点(即,树木)梢相关联。如果对步骤118的回答是否,则LiDAR数据点的坐标不位于先前定义的数字树冠或树枝伞的区域内,并且在步骤124处定义新的斑点(即,树木)梢。
在步骤126处,对具有在新定义的斑点梢处的中心的网格内的LiDAR点进行分析。网格包含多个单元,其中的每个单元都定义了在可以包括多个LiDAR数据点的新定位的斑点梢周围的地理区域。如果因为斑点梢位于感兴趣区域的边缘处或附近而导致网格延伸超过正在处理的感兴趣区域,则来自缓冲区域的数据用于填充该网格。为便于处理,网格内的单元的数目优选地是2的倍数。在一个实施例中,网格具有20x 20米的区域,并且被划分为32x 32个单元,其中每个单元都表示0.625x 0.625米的区域。重要的是,网格中的每个单元的区域基本上小于正在分析的森林中的树冠的期望的大小,使得能够检测到LiDAR数据点高度中的变化的小区域。作为实际情况,最小的单元大小受到其中能够期望LiDAR数据的区域来限制。能够使用的最大单元约为树冠的区域的1/4。在其中分析了火炬松(Loblolly pine)的一个实施例中,近似的树冠直径在6与9米之间。因此,使用0.625x 0.625米的单元大小意味着,对在每个树顶周围的约72-162个位置处的LiDAR数据点高度进行分析。
网格内的一些单元可以不具有它们中的任何LiDAR数据点。另一方面,一些单元可以具有相同单元中的多个LiDAR数据点。对于具有多个LiDAR数据点的那些单元而言,针对该单元选择单个LiDAR数据点。在一个实施例中,在步骤126处选择单元中具有最大高度的LiDAR数据点。然而,还能够使用LiDAR数据点高度的平均或某些其它组合来进行处理。
在步骤127处,针对单元中的每一个,对LiDAR数据点高度应用平滑函数。在一个实施例中,3x 3平均函数用于部分地平滑LiDAR数据点高度。接下来,在步骤128处应用了额外的加窗函数,使得在网格的边缘处的LiDAR数据点的高度接近0。在一个实施例中,加窗函数是汉宁窗(Hanning window),其利用在网格的中心处的1与网格的边缘处的0之间变化的数来调整网格单元中的LiDAR数据点高度。
在加窗之后,在步骤130处,在频域中分析LiDAR数据点的高度。在一个实施例中,对网格中的LiDAR数据点的平滑的和加窗高度应用二维快速傅里叶变换(FFT)。然而,还可以执行诸如小波分析的其它频率分析工具,以及空间域内的分析(例如,聚集分析)。
在步骤132处,分析并且量化FFT输出矩阵中的LiDAR数据点高度的频率分量的变化。
在步骤134处,部分地基于在步骤132处确定的变化的程度来选择针对新的斑点梢定义的数字树冠伞的半径。
在步骤134处,处理返回到步骤122,并且确定是否已经处理了正在分析的地理区域中的所有的LiDAR数据点。如果不是的话,针对下一个LiDAR数据点,该处理返回到步骤116。否则,该处理在步骤140处结束。
如本领域的普通技术人员和其它人应当理解的,二维FFT在围绕斑点梢的网格的区域内在X方向和Y方向上产生LiDAR数据点高度中的多对频率分量的大小的指示。
图3图示了二维FFT输出矩阵的一部分,其示出了LiDAR脉冲数据中的频率分量对的大小。根据用于计算FFT的计算机程序,FFT输出矩阵中的每个单元能够存储与频率分量的大小相关的不同信息。所示的输出矩阵被存储为计算机可读的单元阵列,其中每个单元在X方向和Y方向的每一个上存储一对频率分量的大小。如二维FFT分析中常见的,布置了频率矩阵,因此平均值位于在矩阵的中心,并且平均值随着离开平均值单元而在行维度或列维度上增加。通常通过交换NW和SE象限并且交换来自经典FFT方法的结果矩阵的NE和SW象限来实现该重新布置。
FFT输出矩阵的中心单元250存储包括在围绕斑点梢的网格内的区域中的LiDAR数据脉冲高度的平均值或DC值。在中心单元250周围的是存储谐波频率分量对的大小的单元。
在所公开的技术的一个实施例中,基于FFT输出矩阵中的频率分量的变化来分析在围绕斑点梢的网格的区域中的森林的冠层。更闭合的冠层展示了频率分量的较小变化(例如,FFT输出矩阵的单元中的值看起来更加均匀),而更开放的冠层展示了FFT输出矩阵中的频率分量的大小方面的更大的变化。
在一个实施例中,通过对在围绕存储FFT输出矩阵中的平均值的单元250的多个环中的频率分量的功率进行分析来确定频率分量的变化。在一个实施例中,环包括具有存储在X方向和Y方向上具有更低的谐波和平均值的第二谐波的大小的单元的第二环251。第三环252具有存储在X方向和Y方向上具有更低的谐波和平均值的第三谐波的大小的单元。第四环254具有存储在X方向和Y方向上具有更低的谐波和平均值的大小的单元。第五环256具有存储在X方向和Y方向上具有更低的谐波和平均值的第五谐波的大小的单元。在一个实施例中,基于每个环251、252、254、256的单元中的频率分量的功率的标准偏差来量化频率分量的变化。
根据频率分量功率的标准偏差,根据以下等式来将频率分量的变化量化为冠层闭合向量(CCV):
其中,sd2是第二环251的单元中的频率功率的标准偏差。Sd3是第三环252的单元中的频率功率的标准偏差。Sd4是第四环254的单元中的频率功率的标准偏差,并且Sd5是第五环256的单元中的频率功率的标准偏差。
尽管所公开的技术的实施例分析了存储第二至第五谐波的环内的频率分量的功率的变化,但是应当认识到,可以使用频率分量的其它组合,或者可以使用其它度量(诸如频率分量的大小的变化),来分析在围绕树顶的LiDAR数据点的高度的空间分布的均匀性。
图4A-4F图示了LiDAR高度数据的三个示例性表面及其相应的二维FFT输出矩阵。图4A图示了放射状对称的并且在高度上一致地减小的曲面260的一部分。表面260产生具有在中心平均值周围相对对称的频率功率的分布的FFT输出矩阵262,如图4B中所示。在平均值周围的第四环和第五环中的标准偏差相对低(分别为0.1和0.03)。因此,表面260将表示高度闭合的冠层。
在图4C中,表面264在其高点周围通常是放射状地对称的,并且具有高度变化的放射状对称的均匀的图案。表面264产生如图4D中所示的FFT输出矩阵266,其中频率分量的功率通常在输出矩阵中的平均值周围是对称的。第四环和第五环中的标准偏差也是低的(分别为0.09和0.02)。
图4E图示了具有随机分布的较小高度变化的表面268。在该示例中,表面268产生具有不太对称和不太均匀的单元中的频率功率的FFT输出矩阵270,如图4F中所示。如可以看到的,第二环至第五环中的每一个的单元内的功率的标准偏差大于其它示例中的标准偏差。表面268表示更开放的冠层。
已经确定了高CCV指示更开放的冠层并且因此指示感兴趣区域中的更少的树木。高CCV是在LiDAR数据的高度方面存在非均匀性变化的冠层中的间隙的结果。相反,低CCV指示更闭合的冠层,并且因此指示每单位区域更大数目的树木。闭合的冠层包含树枝和树木叶/针叶,实际上,冠层中的每个空间和FFT输出矩阵中的谐波分量的功率的分布的均匀性是较大的。
如上所示,LiDAR数据的高度的确定的空间均匀性的一个用途是调整指派给斑点梢的数字树冠伞的大小。因此,数字树冠伞初始地定义了其中激光脉冲被假定为已经从单个植物项目或树木反射的区域。
图5图示了与分数因数有关的一个适当的函数275,通过该分数因数,基于计算的闭合冠层向量(CCV)来调整数字树冠伞的大小。如可以看到的,随着CCV增加,适用于数字冠层伞大小的乘数的大小增加。CCV能够在彼此远离间隔的树木到已经变薄的树丛中的树木、到在闭合的冠层中生长的树木之间连续地变化。用于基本数字树冠伞大小的值能够基于树顶的LiDAR点高度的高度或者包括树木的种类、位置、天气/生长区等的其它因素。使LiDAR数据点高度中的空间变化的均匀性与树冠伞的大小相关的函数的特定函数或系数可能需要根据针对一个或多个地面实际数据集合的FFT的结果的适配来确定。
一旦针对斑点梢设置了数字树冠伞的大小,然后就分析感兴趣地理区域中的下一个LiDAR脉冲,并且然后该过程能够再次开始。
图6图示了根据所公开的技术的能够基于LiDAR点数据的高度的空间均匀性来分析森林区域的冠层的代表性计算机***。计算机***300包括编程为执行实现上述技术的一系列程序指令的一个或多个处理器。计算机可以是包括一个或多个编程的处理器的独立或联网的通用或专用计算机***。根据可用的存储量和处理器的速度,可以在手持式或膝上型计算设备中实现计算机***。
用于处理器的指令可以被存储在外部存储器或计算机***内的存储器中,或者存储在计算机可读存储介质302(CD、DVD、硬盘驱动等)上,或者通过诸如因特网的有线或无线计算机通信链路304来接收。计算机***300基于LiDAR数据的高度的空间均匀性来分析感兴趣区域内的森林区域的冠层。此外,计算机可以使用冠层闭合向量来调整用于估计森林区域中的树木的数目的数字伞的大小。利用确定的空间均匀性,可以将冠层闭合向量和/或森林清查数据存储在数据库310中,或者输出到计算机可读介质、视频显示器312或打印机314等。
虽然已经图示和描述了说明性实施例,但是应当认识到,在不背离本发明的范围的情况下,能够在说明性实施例中进行各种改变。例如,如上文指示,从对围绕树顶的LiDAR点数据的高度的空间均匀性进行分析而获得的信息能够被用作数字签名,以便于估计除了其树冠大小之外的树木的特征,诸如树木的种类、树木的年龄、树木的相对健康度等。例如,特定的树木可能随着可以用于识别树木的类型的特征冠层高度变化而生长。在该实施例中,针对森林中的区域确定了LiDAR数据点高度的空间均匀性,并且使结果与从地面实际树木计算的数据匹配。基于检测到的匹配的水平,能够向产生LiDAR数据的树木指派从地面实际树木所确定的特征。
在另一实施例中,能够针对森林冠层中的感兴趣区域,而不仅仅是围绕识别的树顶的那些区域,来确定LiDAR数据点高度的空间均匀性。通过分析小于感兴趣区域中的树木或其它类型的植物的期望树冠大小的多个区域内的LiDAR数据点高度来确定感兴趣区域中的LiDAR数据点的高度变化的均匀性。然后,量化的高度变化的均匀性可以用于预测感兴趣区域中的树木或其它植物的特征。
在一个实施例中,可以通过将FFT网格放置在LiDAR数据的任一段之上、计算FFT并且如上所述从FFT输出矩阵来确定CCV,来量化高度变化的均匀性。然后,将来自感兴趣区域的CCV与从地面实际数据所确定的特征相关的先前确定的CCV作比较。这样的特征包括但不限于树木的种类、年龄、每单位区域的树木、树木体积、树木健康度、施肥需求等。
此外,尽管所公开的该技术的实施例在频域内分析LiDAR数据点高度的空间均匀性,但是应当认识到,可以在空间域内使用诸如例如聚集分析的模式识别的其它技术或者其它二维图像处理技术来对空间均匀性进行量化。因此,希望根据以下权利要求及其等同物来确定本发明的范围。
Claims (21)
1.一种用于从LiDAR数据分析森林的区域的冠层的***,包括:
处理器,所述处理器被编程为:
分析多个LiDAR数据点高度以定位表示树顶的峰点;
对在围绕所述树顶的位置的多个区域内的LiDAR数据点高度的空间均匀性进行量化,其中每个区域基本上小于所述树木的树冠的预期大小;以及
从所量化的空间均匀性来估计所述树木的特征。
2.根据权利要求1所述的***,其中,所述处理器被编程为通过在频域中分析所述LiDAR数据点来对所述LiDAR数据点高度的所述空间均匀性进行量化。
3.根据权利要求2所述的***,其中,所述处理器被编程为对围绕所述树顶的位置的区域的所述LiDAR点高度进行平滑和加窗,并且使用二维快速傅立叶变换(FFT)来分析所平滑的和加窗的LiDAR数据点高度。
4.根据权利要求3所述的***,其中,所述处理器被编程为通过计算在围绕平均值的FFT输出矩阵内的多个环的单元中的所述频率分量的功率的标准偏差来对LiDAR数据点高度的所述空间均匀性进行量化。
5.根据权利要求4所述的***,其中,所述处理器被编程为计算在所述FFT输出矩阵中的围绕所述平均值的第二环、第三环、第四环以及第五环的单元中的所述频率分量的功率的所述标准偏差。
6.根据权利要求5所述的***,其中,所述处理器被编程为将所述LiDAR数据点高度的均匀性量化为冠层闭合向量,所述冠层闭合向量由 来定义,其中,sd2是所述第二环的所述单元中的所述频率分量的所述功率的所述标准偏差,sd3是所述第三环的所述单元中的所述频率分量的所述功率的所述标准偏差,sd4是所述第四环的所述单元中的所述频率分量的所述功率的所述标准偏差,并且sd5是所述第五环的所述单元中的所述频率分量的所述功率的所述标准偏差。
7.根据权利要求1所述的***,其中,所述特征是所述树木的树冠的大小,并且所述处理器被编程为根据在围绕所述树顶的位置的所述区域中的所述LiDAR数据点高度的所量化的空间均匀性的函数来调整其中LiDAR数据点被视作已经从所述树木反射的区域。
8.一种用于估计森林区域中的树木的数目的***,包括:
处理器,所述处理器被编程为:
识别表示树顶的LiDAR数据点;
确定在围绕所述树顶的多个区域内的多个LiDAR数据点高度的空间均匀性,其中每个区域基本上小于所述树木的树冠的期望大小;以及
基于所确定的空间均匀性来调整其中LiDAR数据点被视作已经从所述树木反射的区域的大小。
9.一种包含指令的计算机可读存储介质,当执行所述指令时使得处理器:
识别表示树顶的LiDAR数据点;
确定在围绕所述树顶的多个区域内的多个LiDAR数据点高度的空间均匀性,其中每个区域基本上小于所述树木的所述树冠的期望大小;以及
基于所确定的空间均匀性来调整其中LiDAR数据点被视作已经从所述树木反射的区域的大小。
10.一种包含指令的计算机可读存储介质,当执行所述指令时使得处理器通过下述步骤来分析森林的区域的冠层:
分析多个LiDAR数据点高度以定位表示树顶的峰点;
对在围绕所述树顶的位置的多个区域内的LiDAR数据点高度的空间均匀性进行量化,其中每个区域基本上小于所述树木的所述树冠的期望大小;以及
从所量化的空间均匀性来估计所述树木的特征。
11.根据权利要求10所述的计算机可读存储介质,其中,所述指令包括下述指令:当执行所述指令时使得所述处理器通过使用二维快速傅立叶变换(FFT)分析所述LiDAR数据点高度来对所述空间均匀性进行量化。
12.根据权利要求11所述的计算机可读存储介质,其中,所述指令包括下述指令,当执行所述指令时使得所述处理器通过计算在围绕平均值的FFT输出矩阵内的多个环的单元中的频率分量的功率的标准偏差来分析所述LiDAR数据点高度的所述空间均匀性。
13.根据权利要求12所述的计算机可读存储介质,其中,所述指令包括下述指令,当执行所述指令时使得所述处理器计算在所述FFT输出矩阵中的围绕所述平均值的第二环、第三环、第四环以及第五环的单元中的频率分量的功率的标准偏差。
14.根据权利要求13所述的计算机可读存储介质,其中,所述指令包括下述指令,当执行所述指令时使得所述处理器通过计算 来将所述LiDAR数据点高度的所述空间均匀性量化为冠层闭合向量(CCV),其中sd2是所述第二环的所述单元中的所述频率分量的所述功率的所述标准偏差,sd3是所述第三环的所述单元中的所述频率分量的所述功率的所述标准偏差,sd4是所述第四环的所述单元中的所述频率分量的所述功率的所述标准偏差,并且sd5是所述第五环的所述单元中的所述频率分量的所述功率的所述标准偏差。
15.一种用于从LiDAR数据分析森林中的感兴趣区域的冠层的***,包括:
存储器,所述存储器存储一系列程序指令;
处理器,所述处理器被编程为执行所述指令以便于:
对围绕森林中的所述感兴趣区域内的位置的多个区域内的LiDAR数据点高度的空间均匀性进行量化,其中每个区域基本上小于所述感兴趣区域内的树木的期望树冠大小;以及
从所量化的空间均匀性来估计所述感兴趣区域内的所述树木的特征。
16.根据权利要求15所述的***,其中,所述处理器被编程为将所述感兴趣区域内的所述LiDAR数据点高度的所量化的空间均匀性与同从地面实际数据确定的量化的空间均匀性相关的特征作比较。
17.根据权利要求16所述的***,其中,所述特征是所述感兴趣区域内的树木的数目。
18.根据权利要求16所述的***,其中,所述特征是所述感兴趣区域内的所述树木的树冠大小。
19.根据权利要求16所述的***,其中,所述特征是所述感兴趣区域内的所述树木的种类。
20.根据权利要求16所述的***,其中,所述特征是所述感兴趣区域内的所述树木的年龄。
21.一种包含指令的计算机可读存储介质,当执行所述指令时使得处理器:
对围绕森林中的感兴趣区域内的位置的多个区域内的LiDAR数据点高度的空间均匀性进行量化,其中每个区域基本上小于所述感兴趣区域内的树木的期望树冠的大小;以及
从所量化的空间均匀性来估计所述感兴趣区域内的所述树木的特征。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/645,348 US8537337B2 (en) | 2009-12-22 | 2009-12-22 | Method and apparatus for analyzing tree canopies with LiDAR data |
US12/645,348 | 2009-12-22 | ||
PCT/US2010/055597 WO2011078920A1 (en) | 2009-12-22 | 2010-11-05 | Method and apparatus for for analyzing tree canopies with lidar data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102959354A true CN102959354A (zh) | 2013-03-06 |
CN102959354B CN102959354B (zh) | 2015-07-15 |
Family
ID=44150610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080059194.2A Expired - Fee Related CN102959354B (zh) | 2009-12-22 | 2010-11-05 | 用于利用LiDAR数据来分析树冠层的方法和装置 |
Country Status (10)
Country | Link |
---|---|
US (1) | US8537337B2 (zh) |
EP (1) | EP2516960A4 (zh) |
CN (1) | CN102959354B (zh) |
AR (1) | AR079472A1 (zh) |
BR (1) | BR112012014961A2 (zh) |
CA (1) | CA2781604C (zh) |
CL (1) | CL2012001676A1 (zh) |
NZ (2) | NZ600335A (zh) |
UY (1) | UY33123A (zh) |
WO (1) | WO2011078920A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018054131A1 (zh) * | 2016-09-20 | 2018-03-29 | 东莞前沿技术研究院 | 一种森林监测***以及监测方法 |
CN108271493A (zh) * | 2018-02-11 | 2018-07-13 | 华南农业大学 | 一种基于无人机的茶园喷雾***及喷雾方法 |
CN109168724A (zh) * | 2018-10-15 | 2019-01-11 | 李杨 | 一种育苗***及方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8577611B2 (en) | 2010-03-30 | 2013-11-05 | Weyerhaeuser Nr Company | System and method for analyzing trees in LiDAR data using views |
US8538695B2 (en) | 2010-06-30 | 2013-09-17 | Weyerhaeuser Nr Company | System and method for analyzing trees in LiDAR data using views |
DE102010034603B4 (de) * | 2010-08-13 | 2013-01-31 | Franke Gmbh | Sensorsystem und Verfahren zur Bestimmung einer optischen Eigenschaft einer Pflanze |
US10842144B2 (en) * | 2011-05-13 | 2020-11-24 | The Climate Corporation | Method and system to map biological pests in agricultural fields using remotely-sensed data for field scouting and targeted chemical application |
US8775081B2 (en) * | 2011-09-26 | 2014-07-08 | Weyerhaeuser Nr Company | Method and apparatus for sorting LiDAR data |
CN103207397A (zh) * | 2012-01-17 | 2013-07-17 | 东北林业大学 | 星载激光雷达数据处理*** |
US9239855B2 (en) * | 2012-12-04 | 2016-01-19 | Pixia Corp. | Method and system of retrieving data in a data file |
CN103175484B (zh) * | 2012-12-17 | 2016-01-13 | 谢鸿宇 | 一种基于三维激光扫描***的树冠测量方法 |
CN104296696B (zh) * | 2014-06-09 | 2017-01-25 | 北京师范大学 | 一种利用植被冠层阴影提取叶面积指数与平均叶倾角的方法 |
IL236606B (en) | 2015-01-11 | 2020-09-30 | Gornik Amihay | Standards and methods for agricultural monitoring |
CN104867180B (zh) * | 2015-05-28 | 2017-09-15 | 南京林业大学 | 一种集成uav与lidar的森林林分特征反演方法 |
CN105387840B (zh) * | 2015-10-12 | 2017-03-01 | 北京林业大学 | 一种定角θ控制抽样观测10棵树左右推断林分出材率的方法 |
CN105403876B (zh) * | 2015-12-24 | 2018-01-30 | 中国林业科学研究院资源信息研究所 | 森林郁闭度的测量方法和装置 |
US10699119B2 (en) * | 2016-12-02 | 2020-06-30 | GEOSAT Aerospace & Technology | Methods and systems for automatic object detection from aerial imagery |
US11215597B2 (en) | 2017-04-11 | 2022-01-04 | Agerpoint, Inc. | Forestry management tool for assessing risk of catastrophic tree failure due to weather events |
CN107563438B (zh) * | 2017-08-31 | 2019-08-30 | 西南交通大学 | 一种快速鲁棒的多模态遥感影像匹配方法和*** |
JP7169640B2 (ja) * | 2018-11-16 | 2022-11-11 | 国立大学法人信州大学 | 間伐木の選定方法及び間伐木の選定装置 |
US11556000B1 (en) | 2019-08-22 | 2023-01-17 | Red Creamery Llc | Distally-actuated scanning mirror |
CN111797494B (zh) * | 2020-05-13 | 2022-04-26 | 中铁第四勘察设计院集团有限公司 | 一种顾及植被郁闭度的机载激光雷达设计方法 |
CN115131517B (zh) * | 2022-07-08 | 2024-03-15 | 中国林业科学研究院资源信息研究所 | 一种基于内外竞争影响圈的竞争可视模型 |
CN118094397A (zh) * | 2024-04-25 | 2024-05-28 | 中国科学院空天信息创新研究院 | 冠层基高预测方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007069724A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの位置合わせ方法と装置 |
US20070291994A1 (en) * | 2002-05-03 | 2007-12-20 | Imagetree Corp. | Remote sensing and probabilistic sampling based forest inventory method |
CN101320089A (zh) * | 2007-06-05 | 2008-12-10 | 通用汽车环球科技运作公司 | 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法 |
US20090083291A1 (en) * | 2007-09-20 | 2009-03-26 | Harris Corporation | Geospatial modeling system providing windowed geospatial model data inpainting and related methods |
US20090210205A1 (en) * | 2008-02-19 | 2009-08-20 | Harris Corporation | Geospatial modeling system providing simulated tree trunks and branches for groups of tree crown vegetation points and related methods |
CN101802839A (zh) * | 2007-06-22 | 2010-08-11 | 韦尔豪泽公司 | 从lidar数据识别植物属性 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPR301401A0 (en) * | 2001-02-09 | 2001-03-08 | Commonwealth Scientific And Industrial Research Organisation | Lidar system and method |
US20080046184A1 (en) * | 2006-08-16 | 2008-02-21 | Zachary Bortolot | Method for estimating forest inventory |
US8306941B2 (en) * | 2009-03-24 | 2012-11-06 | Weyerhaeuser Nr Company | System and method for identifying trees using LiDAR tree models |
-
2009
- 2009-12-22 US US12/645,348 patent/US8537337B2/en active Active
-
2010
- 2010-11-05 CN CN201080059194.2A patent/CN102959354B/zh not_active Expired - Fee Related
- 2010-11-05 CA CA2781604A patent/CA2781604C/en active Active
- 2010-11-05 NZ NZ600335A patent/NZ600335A/en not_active IP Right Cessation
- 2010-11-05 EP EP10839958.5A patent/EP2516960A4/en not_active Withdrawn
- 2010-11-05 BR BR112012014961A patent/BR112012014961A2/pt not_active IP Right Cessation
- 2010-11-05 WO PCT/US2010/055597 patent/WO2011078920A1/en active Application Filing
- 2010-11-05 NZ NZ623240A patent/NZ623240A/en not_active IP Right Cessation
- 2010-12-15 AR ARP100104647A patent/AR079472A1/es not_active Application Discontinuation
- 2010-12-20 UY UY33123A patent/UY33123A/xx not_active Application Discontinuation
-
2012
- 2012-06-22 CL CL2012001676A patent/CL2012001676A1/es unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070291994A1 (en) * | 2002-05-03 | 2007-12-20 | Imagetree Corp. | Remote sensing and probabilistic sampling based forest inventory method |
WO2007069724A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの位置合わせ方法と装置 |
CN101320089A (zh) * | 2007-06-05 | 2008-12-10 | 通用汽车环球科技运作公司 | 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法 |
CN101802839A (zh) * | 2007-06-22 | 2010-08-11 | 韦尔豪泽公司 | 从lidar数据识别植物属性 |
US20090083291A1 (en) * | 2007-09-20 | 2009-03-26 | Harris Corporation | Geospatial modeling system providing windowed geospatial model data inpainting and related methods |
US20090210205A1 (en) * | 2008-02-19 | 2009-08-20 | Harris Corporation | Geospatial modeling system providing simulated tree trunks and branches for groups of tree crown vegetation points and related methods |
Non-Patent Citations (1)
Title |
---|
PIERRE COUTERON ET AL: "Predicting tropical forest stand structure parameters from Fourier transform of very high-resolution remotely sensed canopy images", 《JOURNAL OF APPLIED ECOLOGY》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018054131A1 (zh) * | 2016-09-20 | 2018-03-29 | 东莞前沿技术研究院 | 一种森林监测***以及监测方法 |
CN108271493A (zh) * | 2018-02-11 | 2018-07-13 | 华南农业大学 | 一种基于无人机的茶园喷雾***及喷雾方法 |
CN108271493B (zh) * | 2018-02-11 | 2024-03-12 | 华南农业大学 | 一种基于无人机的茶园喷雾***及喷雾方法 |
CN109168724A (zh) * | 2018-10-15 | 2019-01-11 | 李杨 | 一种育苗***及方法 |
Also Published As
Publication number | Publication date |
---|---|
US8537337B2 (en) | 2013-09-17 |
AU2010333915A1 (en) | 2012-06-21 |
CA2781604C (en) | 2015-12-01 |
US20110149267A1 (en) | 2011-06-23 |
EP2516960A4 (en) | 2016-11-30 |
CN102959354B (zh) | 2015-07-15 |
NZ623240A (en) | 2015-05-29 |
EP2516960A1 (en) | 2012-10-31 |
AR079472A1 (es) | 2012-01-25 |
CL2012001676A1 (es) | 2013-01-11 |
UY33123A (es) | 2011-07-29 |
CA2781604A1 (en) | 2011-06-30 |
BR112012014961A2 (pt) | 2016-04-05 |
WO2011078920A1 (en) | 2011-06-30 |
NZ600335A (en) | 2014-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102959354A (zh) | 用于利用LiDAR数据来分析树冠层的方法和装置 | |
CN105488770B (zh) | 一种面向对象的机载激光雷达点云滤波方法 | |
US8599365B2 (en) | System and method for identifying individual trees in LiDAR data using local view | |
Morsdorf et al. | Close-range laser scanning in forests: towards physically based semantics across scales | |
EP3794376B1 (en) | Apparatus and method to classify full waveform data from retro-flected signals | |
CN110032916A (zh) | 一种检测目标物体的方法和装置 | |
CN106528513A (zh) | 一种基于无人机作业的作业报告生成方法及装置 | |
JP6828211B1 (ja) | 森林資源解析装置、森林資源解析方法および森林資源解析プログラム | |
Kathuria et al. | Development of an automated individual tree detection model using point cloud LiDAR data for accurate tree counts in a Pinus radiata plantation | |
Ayrey et al. | Ecologically-based metrics for assessing structure in developing area-based, enhanced forest inventories from LiDAR | |
CN114037836A (zh) | 一种将人工智能识别技术应用于三维输变电工程测算的方法 | |
CN113378785A (zh) | 森林类型识别方法及装置 | |
Liu et al. | Automated classification of stems and leaves of potted plants based on point cloud data | |
CN113360587A (zh) | 一种基于gis技术的土地测绘设备及测绘方法 | |
US20220308260A1 (en) | Data analysis apparatus, data analysis method, and computer-readable recording medium | |
Vescovo et al. | Hail defoliation assessment in corn (Zea mays L.) using airborne LiDAR | |
Wardius et al. | Terrestrial laser scanning vs. manual methods for assessing complex forest stand structure: a comparative analysis on plenter forests | |
Holmgren et al. | Tree crown segmentation in three dimensions using density models derived from airborne laser scanning | |
Sen et al. | Unsupervised extraction of urban features from airborne lidar data by using self-organizing maps | |
Ok et al. | Combining orientation symmetry and LM cues for the detection of citrus trees in orchards from a digital surface model | |
CN116958961A (zh) | 一种基于改进YOLOv8s的轻量级石榴识别方法 | |
CN113240340B (zh) | 基于模糊分类的大豆种植区分析方法、装置、设备和介质 | |
Czúni et al. | Color based clustering for trunk segmentation | |
Mustafić et al. | Deep Learning for Improved Individual Tree Detection from Lidar Data | |
CN116912476B (zh) | 松材线虫病无人机遥感监测快速定位方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150715 Termination date: 20171105 |