CN101839979A - 作物冠层植被指数测量方法及装置 - Google Patents
作物冠层植被指数测量方法及装置 Download PDFInfo
- Publication number
- CN101839979A CN101839979A CN201010158600A CN201010158600A CN101839979A CN 101839979 A CN101839979 A CN 101839979A CN 201010158600 A CN201010158600 A CN 201010158600A CN 201010158600 A CN201010158600 A CN 201010158600A CN 101839979 A CN101839979 A CN 101839979A
- Authority
- CN
- China
- Prior art keywords
- nir
- gray level
- level image
- pixel
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种作物冠层植被指数测量方法及装置,其中方法包括:获取目标作物冠层的可见光图像和近红外NIR灰度化图像,提取可见光图像中的红、绿、蓝分量,将可见光图像中的红、绿、蓝分量分别进行灰度化,分别得到红、绿、蓝分量的灰度化图像;根据预先获取的转换系数,分别计算红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率;根据红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及近红外灰度化图像中各像素点的光谱反射率,计算出目标作物的冠层植被指数。本发明提供的作物冠层植被指数测量方法及装置,采用两个CCD获取可见光图像和NIR图像,降低了成本,并且方法简单。
Description
技术领域
本发明实施例涉及光谱分析、植物长势及营养诊断和图像处理技术领域,尤其涉及一种作物冠层植被指数测量方法及装置。
背景技术
植物长势、营养等信息能够反映在光谱特征参数上,利用图像分析技术可以从作物冠层图像中提取出冠层叶片的光谱特征参数,检测出冠层叶片的叶绿素含量或氮素含量,从而判断植物的长势和营养状况等。作物冠层植被指数可以包括归一化差值植被指数(Normal Differential VegetationIndex,简称NDVI)、G/R、G/R+G+B等,其中G/R是可见光中绿光和红光的光强比值,G/R+G+B是绿光和红、绿、蓝三色的光强比值。这些光谱特征参数能够反映作物群体大小、健康程度等,是目前利用图像处理技术监测作物长势中应用较为广泛的光谱参数。
现有技术中,植被指数测量方法主要有两种,一种是利用美国光谱辐射仪(Analytical Spectral Devices,简称ASD)等对作物进行光谱测量,通过复杂的数据分析得到需要的植被指数。该类设备所用的色散元件都是采用全息反射光栅,因此价格昂贵,而且该方法操作不方便,数据分析复杂,限制了其在农业生产上的应用。
另一种测量方法是利用图像分析技术从作物多光谱图像中提取植被指数,该方法所需的作物多光谱图像主要通过多光谱相机获得,当前的该类设备一般只限于获取图像信息,无法直接获取作物冠层的各种植被指数,且造价昂贵。如美国TETRACAM Inc公司生产的多相机阵列(MultipleCamera Array)多光谱照相机可以在地面或低空获取地物的多光谱图像。该多光谱相机的每个通道电荷耦合器件(Charge Coupled Device,简称CCD)对应一个波段,获取红(R)、绿(G)、蓝(B)、近红外(NearInfrared Analysis,简称NIR)这四种光谱特征参数,需要四个CCD,这样就导致这种多光谱相机造价昂贵,成本高。美国Duncan Tech公司生产的MS-3100多光谱相机,与PCI专用图像采集卡连接,可以同步采集包含可见光和近红外光谱的作物冠层图像,但是该多光谱相机只能获得R、G、B三种光谱图像,不能获得NIR光谱图像。如果需要获取NIR光谱图像,则需要对多光谱相机进行设置,获得CIR光谱图像,该CIR光谱图像是R、G、NIR三种光谱图像的合成图像,丢失了B光谱信号。另外,该多光谱相机采用3个CCD,同样存在造价昂贵,成本高的问题。
发明内容
本发明提供一种作物冠层植被指数测量方法及装置,用以解决现有技术中多光谱相机造价昂贵、方法复杂的缺陷。
本发明提供了一种作物冠层植被指数测量方法,包括:
采用一个可见光CCD和一个NIR-CCD获取目标作物冠层的可见光图像和NIR灰度化图像;
提取所述可见光图像中的红、绿、蓝分量,将所述可见光图像中的红、绿、蓝分量分别进行灰度化,分别得到红、率、蓝分量的灰度化图像;
根据预先获取的转换系数,分别计算所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述NIR灰度化图像中各像素点的光谱反射率;
根据所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述近红外灰度化图像中各像素点的光谱反射率,计算出目标作物的冠层植被指数。
本发明还提供了一种作物冠层植被指数测量装置,包括:
半反射半透射光学棱镜,用于将接收到的光信号部分反射部分透射;
可见光CCD,用于将所述半反射半透射光学棱镜透射或反射出的光信号中的可见光转换成电信号;
NIR-CCD,用于将所述半反射半透射光学棱镜反射或透射出的光信号中的近红外光转换成电信号;
第一转换模块,分别与所述可见光CCD和所述NIR-CCD连接,用于分别将所述可见光CCD和所述NIR-CCD转换成的电信号生成可见光图像和NIR图像;
第一处理模块,与所述第一转换模块连接,用于提取所述可见光图像中的红、绿、蓝分量,将所述可见光图像中的红、绿、蓝分量分别进行灰度化,分别得到红、绿、蓝分量的灰度化图像;
第二处理模块,与所述第一处理模块连接,用于根据预先获取的转换系数,分别计算所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述NIR灰度化图像中各像素点的光谱反射率;
第三处理模块,与所述第二处理模块连接,用于根据所述第二处理模块获取的所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述近红外灰度化图像中各像素点的光谱反射率,计算出目标作物的冠层植被指数。
本发明提供的作物冠层植被指数测量方法及装置,采用一个可见光CCD和一个NIR-CCD这两个CCD获取目标物的可见光图像和NIR灰度化图像,根据预先获取的转换系数,分别计算出红、绿、蓝、NIR灰度化图像中各像素点的光谱反射率,根据红、绿、蓝、NIR灰度化图像中各像素点的光谱反射率就可以通过简单计算获取的各种所需的植被指数,而无需进行复杂的数学分析,方法简单;并且与现有技术中的多光谱相机相比,减少了使用的CCD数目,降低了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1所示为本发明作物冠层植被指数测量方法的流程图;
图2a所示为采用本发明作物冠层植被指数测量方法获得的一幅可见光图像示意图;
图2b所示为本发明对图2a所示图像进行处理获取植被指数的流程示意图;
图3所示为本发明作物冠层植被指数测量装置实施例一的结构示意图;
图4所示为本发明作物冠层植被指数测量装置实施例二的结构示意图
图5所示为本发明作物冠层植被指数测量装置实施例三的结构示意图;
图6所示为图5中无线控制模块的电路结构示意图;
图7所示为本发明作物冠层植被指数测量装置实施例四的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示为本发明作物冠层植被指数测量方法的流程图,包括:
步骤101、采用一个可见光CCD和一个NIR-CCD获取目标作物冠层的可见光图像和NIR灰度化图像。
步骤102、提取可见光图像中的红(R)、绿(G)、蓝(B)分量,将可见光图像中的R、G、B分量分别进行灰度化,分别得到R、G、B分量的灰度化图像。
步骤103、根据预先获取的转换系数,分别计算R、G、B分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率。
步骤104、根据R、G、B分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率,计算出目标作物的冠层植被指数。
本发明提供的作物冠层植被指数测量方法,采用一个可见光CCD和一个NIR-CCD这两个CCD获取目标物的可见光图像和NIR灰度化图像,根据预先获取的转换系数,分别计算出红、绿、蓝、NIR灰度化图像中各像素点的光谱反射率,根据红、绿、蓝、NIR灰度化图像中各像素点的光谱反射率就可以通过简单计算获取的各种所需的植被指数,而无需进行复杂的数学分析,方法简单;并且与现有技术中的多光谱相机相比,减少了使用的CCD数目,降低了成本。
步骤101中的可见光图像不是灰度化图像,所以在步骤102中,将可见光图像中的R、G、B分量提取出来,分别进行灰度化,分别得到R、G、B分量的灰度化图像。
步骤102具体可以包括:
步骤102a、从可见光图像中分别提取出R、G、B分量,将R、G、B分量的图像灰度化。
步骤102b、分别将R分量的灰度化图像、G分量的灰度化图像和B分量的灰度化图像进行中值滤波、形态学处理和图像分割之后,得到目标物的更准确的R分量的灰度化图像、G分量的灰度化图像和B分量的灰度化图像。
在步骤102b中,通过中值滤波可以去除图像中的噪声。形态学处理和图像分割是图像处理领域的一种图像处理手段。
步骤102b中,也可以对NIR灰度化图像进行中值滤波、形态学处理和图像分割处理。
步骤103具体可以包括:
步骤103a、将R分量的灰度化图像中的各点的代入如下公式(1):
rR=KR1×gR+KR2 (1)
公式(1)中,rR为R分量的灰度化图像中的像素点的光谱反射率,KR1和KR2为预先获得的R分量的转换系数,gR为R分量的灰度化图像中的像素点的灰度值。
步骤103b、将G分量的灰度化图像中的各点代入如下公式(2):
rG=KG1×gG+KG2 (2)
公式(2)中,rG为G分量的灰度化图像中的像素点的光谱反射率,KG1和KG2为预先获得的G分量的转换系数,gG为G分量的灰度化图像中的像素点的灰度值。
步骤103c、将B分量的灰度化图像中的各点代入如下公式(3):
rB=KB1×gB+KB2 (3)
公式(3)中,rB为B分量的灰度化图像中的像素点的光谱反射率,KB1和KB2为预先获得的B分量的转换系数,gB为B分量的灰度化图像中的像素点的灰度值,
步骤103d、将NIR灰度化图像中的各点代入如下公式(4):
rNIR=KNIR1×gNIR+KNIR2 (4)
公式(4)中,rNIR为NIR灰度化图像中的像素点的光谱反射率,KNIR1和KNIR2为预先获得的NIR的转换系数,gNIR为NIR灰度化图像中的像素点的灰度值。
上述步骤103a、103b、103c和103d可以并列进行,也可以先后进行,不一定是按照103a、103b、103c、103d的顺序进行。
通过步骤101到步骤103就可以获得R、G、B分量的灰度化图像中各像素点的光谱反射率,还可以获得NIR灰度化图像中各像素点的光谱反射率,也就是可以获得目标的可见光图像和NIR灰度化图像中同一像素点的R分量光谱反射率、G分量光谱反射率、B分量光谱反射率和NIR光谱反射率。
上述公式中的KR1、KR2、KG1、KG2、KB1、KB2、KNIR1、KNIR2这8个转换系数可以通过如下的方式预先获得。
光谱反射率是描述光谱特征的参数,光谱反射率的定义是反射光强与入射光强的比值,其取值范围是0到1。对于朗伯面,反射率与入射光强(也就是环境光强)无关,只和入射光的波长有关。灰度是由CCD记录的表面的光亮度,是与环境光强度有关的,一般的CCD记录的灰度值范围时0到255.由于作物长势的光谱特征参数多是根据反射率计算的,因此需要从多光谱图像获取作物冠层的光谱反射率。
可以通过标定的方法获取上述8个转换系数,具体包括:
步骤A1、制备至少两个标准灰度板。例如,制备四个标准灰度板。为了消除不同光照强度和土壤背景对获取到的图像的质量的影响,提高标定的精度。本发明中,按照不同的比例混合纯白和纯黑得到四块不同色阶的标准灰度板。这些灰度板都满足朗伯面条件。
步骤A2、获得各个标准灰度板R分量的光谱反射率、G分量的光谱反射率、B分量的光谱反射率和NIR反射率。由于标准灰度板的反射率不随环境光强变化,只和入射光的波长有光,所以可以利用高精度的光谱辐射仪对四个标准灰度版进行精密测量,得到每个标准灰度板的R分量的光谱反射率、G分量的光谱反射率、B分量的光谱反射率和NIR反射率。
步骤A3、分别获取各个标准灰度板的可见光图像和NIR灰度化图像,并对各个标准灰度板可见光图像进行图像处理后,获取各个标准灰度板的R、G、B分量灰度值。对各个标准灰度板的可见光图像进行灰度处理的方法与步骤102a和步骤102b相同。
经过步骤A2和A3之后就可以获得四个标准灰度板的各个分量的光谱反射率和各个分量的图像灰度值。如表一所示为不同的标准灰度板的光谱反射率和图像灰度值。
表一、不同标准灰度板的光谱反射率和图像灰度值
表一中,S1、S2、S3和S4是各个标准灰度板的标号。
步骤A4、将各个标准灰度板R分量光谱反射率和各个标准灰度板的R分量灰度值代入到如下公式(5),得到KR1和KR2,公式(5)如下:
rRT=KR1×gRT+KR2 (5)
公式(5)中,rRT为各个标准灰度板R分量光谱反射率,gRT为各个标准灰度板的R分量灰度值。由于标准灰度板有四个,根据公式(5)获得的KR1和KR2可以有多个,可以通过递归的方法求得较为准确的KR1和KR2。
步骤A5、将各个标准灰度板G分量光谱反射率和各个标准灰度板的G分量灰度值代入到如下公式(6),得到KG1和KG2。公式(6)如下:
rGT=KG1×gGT+KG2 (6)
公式(6)中,rGT为各个标准灰度板G分量光谱反射率,gGT为各个标准灰度板的G分量灰度值。由于标准灰度板有四个,根据公式(6)获得的KG1和KG2可以有多个,可以通过递归的方法求得较为准确的KG1和KG2
步骤A6、将各个标准灰度板B分量光谱反射率和各个标准灰度板的B分量灰度值代入到如下公式(7),得到KB1和KB2。公式(7)如下:
rBT=KB1×gBT+KB2 (7)
公式(7)中,rBT为各个标准灰度板B分量光谱反射率,gBT为各个标准灰度板的B分量灰度值。由于标准灰度板有四个,根据公式(7)获得的KB1和KB2可以有多个,可以通过递归的方法求得较为准确的KB1和KB2
步骤A7、将各个标准灰度板NIR光谱反射率和各个标准灰度板的NIR灰度值代入到如下公式(8),得到KNIR1和KNIR2。公式(8)如下:
rNIRT=KNIR1×gNIRT+KNIR2 (8)
公式(8)中,rNIRT为各个标准灰度板NIR光谱反射率,gNIRT为各个标准灰度板的NIR灰度值。由于标准灰度板有四个,根据公式(8)获得的KNIR1和KNIR2可以有多个,可以通过递归的方法求得较为准确的KNIR1和KNIR2。
上述步骤A4到步骤A8可以并列进行,也可以先后进行,本发明实施例中不限制步骤A4到步骤A8的顺序。
通过公式(5)、(6)、(7)、(8)得到的8个转换系数就是通过标定方法得到一个经验系数。
获取到R、G、B分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率后,就可以根据这些光谱反射率获取到目标物的更多光谱特征参数。
例如,如图2a所示为采用本发明作物冠层植被指数测量方法获得的一幅可见光图像示意图,如图2b所示为本发明对图2a所示图像进行处理获取植被指数的流程示意图,假设获取到的可见光图像大小均为1024×768,图2a中a11、a12、......、amn分别表示图像中的各个像素点,m=1024,n=768。获取到的NIR图像的大小与图2a所示的可见光图像类似,大小也为1024×768。可见光图像和NIR图像中的各像素点是对应的。以像素点amn为例,可以提取可见光图像中的R、G、B分量的灰度化图像后,获取该像素点的R、G、B分量的灰度值,然后分别将R、G、B分量的灰度值代入到公式(1)、(2)和(3),得到像素点amn的R、G、B分量的光谱反射率。提取NIR图像中像素点amn的NIR灰度值,将该NIR灰度值代入到公式(4),得到像素点amn的NIR的光谱反射率。
对于如图2a所示的整幅图像中的各点采用与像素点amn同样的处理方式,可以获得整幅图像的所有像素点的R、G、B分量的光谱反射率和NIR的光谱反射率。
植被指数(VI)是有光谱反射率描述作物冠层整体特征的参数。利用如图1所示的方法得到的各个光谱反射率可以计算出图像中各个像素点的植被指数,计算结果可以地理信息***(GIS)软件,生成植被指数分布图。常用的植被指数有NDVI或者绿度归一化差值植被指数(Green normalizeddifference vegetation index,简称GNVDI)。
如图1所示的方法中,步骤104具体可以包括:将计算获得的R分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率,代入到如下公式(9),计算出目标作物的NDVI。公式(9)如下:
公式(9)中,NDVI为目标物的NDVI。
现有技术中,通常通过光谱测量仪器单独测量目标物的NVDI值,获得的NVDI也是目标物的局部的NVDI值,如果需要获得更大范围的NVDI值,还需要不断变化光谱测量仪器的位置,给NVDI值的测量带来不便。采用本发明提供的方法,获取目标物的可见光图像和NIR灰度化图像后,通过图像处理方法进一步获得R、G、B分量的灰度化图像,然后计算获得了R、G、B分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率,采用R分量的灰度化图像中的各像素点的光谱反射率和NIR灰度化图像中各像素点的光谱反射率计算获得的NDVI值是目标物的整个图像的NDVI值,而不是目标物的某个局部的NDVI值,无需通过光谱测量仪获得NDVI值,极大地方便了目标物的NDVI值的获取。
如图1所示的方法中,步骤104也可以包括:将G分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率,代入到如下公式(10),得到目标的GNDVI。公式(10)如下:
公式(10)中,GNDVI为目标物的GNDVI值。
利用如图1所示的方法生成的各个光谱反射率,还可以计算获得比值植被指数(RVI)和差值植被指数(DVI)等其他植被指数。
利用计算获得的植被指数可以估算作物冠层的叶绿素含量、氮素含量等生物量参数。常用的模型有如下同时(11)和(12)描述的线性模型:
YN=C1×VI+D1 (11)
YC=C2×VI+D2 (12)
公式(11)和(12)中,YN是氮素含量,YC是叶绿素含量,C1、D1、C2、D2是模型参数,可以通过标定方法获得,VI可以是NVDI或GNVDI,也可以是RVI或DVI等植被参数。
利用公式(11)和(12)描述的模型,通过每个像素点的VI可以获得该像素点的叶绿素含量和氮素含量,进而可以获得整幅图像的叶绿素含量和氮素含量的分布图。
不提取作物冠层的光谱反射率,利用叶片图像本身的颜色特征也可以表征作物的叶绿素含量和氮素含量。具体地,首先采集作物冠层的可见光图像,每帧大小为1024×768,按照从下到上、从左到右的顺序,逐行扫描像素点,对于每个像素点首先经过中值滤波去除噪声,分解出包括土壤背景在内的R、G、B单色图像,再经彩色分割算法分割出目标叶片,提取叶片的位置信息,即可计算出该像素点的R、G、B分量值,扫描整幅图像,可以获得只包含目标叶片图像的各个像素点的R、G、B分量值以及整幅图像的平均R、G、B分量值。最后,在RGB空间提取出不同的颜色特征参数,包括R/G、R/(R+G+B)、G/(R+G+B),进一步建立颜色特征参数与叶片叶绿素含量和氮素含量的诊断预测模型,如公式(13)和(14)所示,便可以判断作物的长势。公式(13)和(14)如下:
YN=A1×P+B1 (13)
YC=A2×P+B2 (14)
公式(13)和(14)中,A1、B1、A2、B2是模型参数,可以通过标定方法获得。P可以是R/G、R/(R+G+B)、G/(R+G+B)。
本发明提供的作物冠层植被指数测量方法可以由设置在地面的图像处理装置来实现。
如图3所示为本发明作物冠层植被指数测量装置实施例一的结构示意图,该装置包括半反射半透射光学棱镜1、可见光CCD2、NIR-CCD3和第一转换模块4、第一处理模块31、第二处理模块32和第三处理模块33。半反射半透射光学棱镜1用于将接收到的光信号部分反射部分透射。可见光CCD2用于将半反射半透射光学棱镜1透射或反射出的光信号中的可见光转换成电信号。NIR-CCD3用于将半反射半透射光学棱镜1反射或透射出的光信号中的近红外光转换成电信号。第一转换模块4分别与可见光CCD2和NIR-CCD3连接,用于分别将可见光CCD2和NIR-CCD3转换成的电信号生成可见光图像和NIR图像。第一处理模块31与第一转换模块4连接,用于提取可见光图像中的红、绿、蓝分量,将可见光图像中的红、绿、蓝分量分别进行灰度化,分别得到红、绿、蓝分量的灰度化图像。第二处理模块32与第一处理模块31连接,用于根据预先获取的转换系数,分别计算红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及NIR灰度化图像中各像素点的光谱反射率。第三处理模块33与第二处理模块32连接,用于根据第二处理模块32获取的红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及近红外灰度化图像中各像素点的光谱反射率,计算出目标作物的冠层植被指数。
其中,第一处理模块31、第二处理模块32和第三处理模块33可以设置在计算机中。这三个处理模块的具体处理流程可以参考前述方法部分的描述。
图3中,可见光CCD2设置在半反射半透射光学棱镜1的透射光路上,从半反射半透射光学棱镜1透射出的光信号包括可见光和近红外光,由于可见光CCD2的响应波长范围约是400纳米到700纳米,近红外光的波长不在可见光CCD2的响应波长范围内,所以可见CCD会将半反射半透射光学棱镜透射出的光信号中的可见光转换成电信号。NIR-CCD3设置在半反射半透射光学棱镜1的反射光路上,从半反射半透射光学棱镜反射出的光信号包括可见光和近红外光,由于NIR-CCD3的响应波长范围约为700纳米到1000纳米,所以NIR-CCD3会将半反射半透射光学棱镜1反射出的光信号中的近红外光转换成电信号。
图3中,也可以将可见光CCD2设置在半反射半透射光学棱镜1的反射光路上,将NIR-CCD3设置在半反射板透射光学棱镜1的透射光路上。
可见光CCD2和NIR-CCD转换成的光信号是符合CameraLink协议的信号,第一转换模块4可以将可见光CCD2和NIR-CCD3转换成的电信号分别生成可见光图像和NIR图像。可见光图像和NIR图像可以是遵循各种图像协议的数据。
如图3所示的作物冠层植被指数测量装置,采用可见光CCD和NIR-CCD两个CCD,分别获取可见光图像和NIR图像,与现有技术中的多光谱成像***相比,减少了CCD的数量,降低了成本。
如图3所示的作物冠层植被指数测量装置可以设置在低空,获取地面目标物的可见光图像和NIR图像可以与设置在地面的无线遥控装置通信,将获取到的可见光图像和NIR图像发送给图像处理装置。目标物可以是地面的各种植物。
如图4所示为本发明作物冠层植被指数测量装置实施例二的结构示意图,该实施例二中冠层植被指数测量装置还可以包括第二转换模块5,该第二转换模块5与第一转换模块4和第一处理模块31连接,用于将第一转换模块转换成的可见光图像和NIR图像分别转换成以太网信号,较佳地可以是千兆以太网信号。
如图5所示为本发明作物冠层植被指数测量装置实施例三的结构示意图,该装置在如图4所示的装置的基础上还包括无线控制模块6,该无线控制模块6分别与可见光CCD2和NIR-CCD3连接,用于在接收到无线控制信号后,发送用于控制可见光CCD2和NIR-CCD3开启的触发信号。可见光CCD2和NIR-CCD3收到无线控制模块6发送的触发信号后开启,开始获取目标物的可见光信号和近红外光信号。该无线控制信号可以是由设置在地面上的装置发出的,当需要获取可见光图像和NIR图像时,用户可以通过按下一个按钮发出无线控制信号。
该无线控制信号可以通过各种无线控制芯片实现。如图6所示为图5中无线控制模块的电路结构示意图,图6中无线控制单元61是采用SC2262编码芯片和SC2272解码芯片组成的,该无线控制单元61由电源62供电,该电源62是一个输出电压为9伏的可充电镍氢电池,无线控制单元61需要的工作电压时+5伏,所以需要将电源62输出的电压通过电压转换模块63转换成无线控制单元61所需的工作电压。该电压转换模块63可以由LM 7805芯片、第一电容C1和第二电容C2组成,第一电容C1和第二电容C2的电容值分别可以是0.33μF和0.1μF。无线控制单元61的第六个管脚与发光二极管64连接,无线控制单元61的第六个管脚在无线控制单元6接收到无线控制信号后,输出电信号使得发光二极管64发光。电压转换模块63输出的+5伏电信号输入到无线控制单元61的第七管脚连接。无线控制单元6的第二管脚输出用于控制可见光CCD2和NIR-CCD3开启的触发信号。
如图7所示为本发明作物冠层植被指数测量装置实施例四的结构示意图,该装置在图4所示的装置的基础上还包括转换控制模块7,该转换控制模块7与第一转换模块4连接,用于每隔一个固定时间段,控制第一转换模块4开启。第一转换模块4开启后即可将可见光CCD2和NIR-CCD3转换成的电信号生成可见光图像和NIR图像。
图7所示的装置中,转换控制装置周期性地控制第一转换模块开启,不需要人工参与,即可周期性地将可见光图像和NIR图像发送给图像处理装置。图5所示的装置中,无线控制模块在接收到人工触发发送的无线控制信号后,控制可见光CCD和NIR-CCD开启,这样,可以在人工触发下将可见光图像和NIR图像发送给图像处理装置。
本发明以上各实施例提供的作物冠层植被指数测量装置可以设置在氦气球或直升机上,从而可以完成低空遥感图像植被指数的测量。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种作物冠层植被指数测量方法,其特征在于,包括:
采用一个可见光电荷耦合器件CCD和一个近红外电荷耦合器件NIR-CCD获取目标作物冠层的可见光图像和近红外NIR灰度化图像,提取所述可见光图像中的红、绿、蓝分量,将所述可见光图像中的红、绿、蓝分量分别进行灰度化,分别得到红、绿、蓝分量的灰度化图像;
根据预先获取的转换系数,分别计算所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述NIR灰度化图像中各像素点的光谱反射率;
根据所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述近红外灰度化图像中各像素点的光谱反射率,计算出目标作物的冠层植被指数。
2.根据权利要求1所述的作物冠层植被指数测量方法,其特征在于,根据预先获取的转换系数,分别计算所述红、绿、蓝分量的灰度化图像中各点的光谱反射率,以及所述NIR灰度化图像中各点的光谱反射率,具体包括:
将红分量的灰度化图像中的各点的代入公式rR=KR1×gR+KR2,rR为红分量的灰度化图像中的像素点的光谱反射率,KR1和KR2为预先获得的红分量的转换系数,gR为红分量的灰度化图像中的像素点的灰度值;
将绿分量的灰度化图像中的各点代入公式rG=KG1×gG+KG2,rG为绿分量的灰度化图像中的像素点的光谱反射率,KG1和KG2为预先获得的绿分量的转换系数,gG为绿分量的灰度化图像中的像素点的灰度值;
将蓝分量的灰度化图像中的各点代入公式rB=KB1×gB+KB2,rB为蓝分量的灰度化图像中的像素点的光谱反射率,KB1和KB2为预先获得的蓝分量的转换系数,gB为蓝分量的灰度化图像中的像素点的灰度值;
将NIR灰度化图像中的各点代入公式rNIR=KNIR1×gNIR+KNIR2,rNIR为NIR灰度化图像中的像素点的光谱反射率,KNIR1和KNIR2为预先获得的NIR的转换系数,gNIR为NIR灰度化图像中的像素点的灰度值。
3.根据权利要求2所述的作物冠层植被指数测量方法,其特征在于,还包括:
制备至少两个标准灰度板;
获得各个标准灰度板红分量光谱反射率、绿分量光谱反射率、蓝分量光谱反射率和NIR反光谱射率;
分别获取各个标准灰度板的可见光图像和NIR灰度化图像,并对所述各个标准灰度板可见光图像进行图像处理后,获取各个标准灰度板的红、绿、蓝分量灰度值;
将各个标准灰度板红分量反射率和各个标准灰度板的红分量灰度值代入到rRT=KR1×gRT+KR2,得到KR1和KR2,rRT为各个标准灰度板红分量光谱反射率,gRT为各个标准灰度板的红分量灰度值;
将各个标准灰度板绿分量光谱反射率和各个标准灰度板的绿分量灰度值代入到rGT=KG1×gGT+KG2,得到KG1和KG2,rGT为各个标准灰度板绿分量光谱反射率,gGT为各个标准灰度板的绿分量灰度值;
将各个标准灰度板蓝分量光谱反射率和各个标准灰度板的蓝分量灰度值代入到rBT=KB1×gBT+KB2,得到KB1和KB2,rBT为各个标准灰度板蓝分量光谱反射率,gBT为各个标准灰度板的蓝分量灰度值;
将各个标准灰度板NIR光谱反射率和各个标准灰度板的NIR灰度值代入到rNIRT=KNIR1×gNIRT+KNIR2,得到KNIR1和KNIR2,rNIRT为各个标准灰度板NIR光谱反射率,gNIRT为各个标准灰度板的NIR灰度值。
6.一种作物冠层植被指数测量装置,其特征在于,包括:
半反射半透射光学棱镜,用于将接收到的光信号部分反射部分透射;
可见光电荷耦合器件CCD,用于将所述半反射半透射光学棱镜透射或反射出的光信号中的可见光转换成电信号;
近红外电荷耦合器件NIR-CCD,用于将所述半反射半透射光学棱镜反射或透射出的光信号中的近红外光转换成电信号;
第一转换模块,分别与所述可见光CCD和所述NIR-CCD连接,用于分别将所述可见光CCD和所述NIR-CCD转换成的电信号生成可见光图像和NIR灰度图像;
第一处理模块,与所述第一转换模块连接,用于提取所述可见光图像中的红、绿、蓝分量,将所述可见光图像中的红、绿、蓝分量分别进行灰度化,分别得到红、绿、蓝分量的灰度化图像;
第二处理模块,与所述第一处理模块连接,用于根据预先获取的转换系数,分别计算所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述NIR灰度化图像中各像素点的光谱反射率;
第三处理模块,与所述第二处理模块连接,用于根据所述第二处理模块获取的所述红、绿、蓝分量的灰度化图像中各像素点的光谱反射率,以及所述近红外灰度化图像中各像素点的光谱反射率,计算出目标作物的冠层植被指数。
7.根据权利要求6所述的作物冠层植被指数测量装置,其特征在于,还包括:
第二转换模块,与所述第一转换模块和第一处理模块连接,用于将所述第一转换模块转换成的可见光图像和NIR图像分别转换成以太网信号,将转换成的信号发送给所述第一处理模块。
8.根据权利要求6或7所述的作物冠层植被指数测量装置,其特征在于,还包括:
无线控制模块,与所述可见光CCD和NIR-CCD连接,用于在接收到无线控制信号后,发送用于控制所述可见光CCD和NIR-CCD开启的触发信号。
9.根据权利要求7所述的多作物冠层植被指数测量装置,其特征在于,还包括:
转换控制模块,与所述第一转换模块连接,用于每隔一个固定时间段,控制所述第一转换模块开启。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101586002A CN101839979B (zh) | 2010-04-22 | 2010-04-22 | 作物冠层植被指数测量方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101586002A CN101839979B (zh) | 2010-04-22 | 2010-04-22 | 作物冠层植被指数测量方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101839979A true CN101839979A (zh) | 2010-09-22 |
CN101839979B CN101839979B (zh) | 2012-07-25 |
Family
ID=42743479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101586002A Expired - Fee Related CN101839979B (zh) | 2010-04-22 | 2010-04-22 | 作物冠层植被指数测量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101839979B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103630499A (zh) * | 2013-11-12 | 2014-03-12 | 浙江大学 | 一种基于高光谱成像技术的鱼蛋白质含量分布检测方法 |
CN103674864A (zh) * | 2013-11-12 | 2014-03-26 | 浙江大学 | 一种基于高光谱成像技术的鱼水分含量分布检测方法 |
CN103674838A (zh) * | 2013-11-12 | 2014-03-26 | 浙江大学 | 一种基于高光谱成像技术的鱼脂肪含量分布检测方法 |
CN103942769A (zh) * | 2013-12-10 | 2014-07-23 | 珠江水利委员会珠江水利科学研究院 | 一种卫星遥感影像融合方法 |
CN104089895A (zh) * | 2014-07-24 | 2014-10-08 | 四川农业大学 | 一种大豆叶片的光合色素测定方法及*** |
CN105136732A (zh) * | 2015-08-24 | 2015-12-09 | 中国农业科学院农业环境与可持续发展研究所 | 田间作物双波段成像ndvi测量装置 |
CN106023215A (zh) * | 2016-05-24 | 2016-10-12 | 北京农业智能装备技术研究中心 | 一种区分农田作物和背景的方法及*** |
CN106970632A (zh) * | 2017-04-28 | 2017-07-21 | 华南农业大学 | 一种基于冠层涡旋稳态运动的旋翼无人机精准作业方法 |
CN108957480A (zh) * | 2018-08-03 | 2018-12-07 | 成都天地量子科技有限公司 | 一种读取选定区域ndvi值的方法 |
CN109856139A (zh) * | 2019-01-07 | 2019-06-07 | 北京林业大学 | 树木叶片数量估测方法及*** |
CN110567891A (zh) * | 2019-09-16 | 2019-12-13 | 中国水利水电科学研究院 | 一种冬小麦冠层叶绿素估测***及方法 |
CN110579447A (zh) * | 2019-09-28 | 2019-12-17 | 中国科学院合肥物质科学研究院 | 一种作物氮素检测装置及其检测方法 |
CN110779876A (zh) * | 2019-11-07 | 2020-02-11 | 长光禹辰信息技术与装备(青岛)有限公司 | 一种疫木识别方法、装置、设备及计算机可读存储介质 |
CN111289441A (zh) * | 2020-02-21 | 2020-06-16 | 中国农业大学 | 多光谱下的大田作物含水量确定方法、***及设备 |
CN111316078A (zh) * | 2017-10-26 | 2020-06-19 | 亚拉国际有限公司 | 使用光导的手持设备和使用其用于确定植物状态的方法 |
CN111414867A (zh) * | 2020-03-24 | 2020-07-14 | 北京大学深圳研究生院 | 一种植物地上生物量测算方法 |
CN111929253A (zh) * | 2013-03-25 | 2020-11-13 | 索尼公司 | 信息处理***、器件和方法以及生产农作物产品的方法 |
WO2021059967A1 (ja) * | 2019-09-23 | 2021-04-01 | 株式会社デンソー | 物体認識装置及び物体認識プログラム |
CN112633047A (zh) * | 2019-10-28 | 2021-04-09 | 中国科学院地理科学与资源研究所 | 一种苔草长势的视觉立体监测装置及监测方法 |
CN114008481A (zh) * | 2019-04-08 | 2022-02-01 | 米加尔加利利研究所有限公司 | 植物光合能力的遥感 |
CN115349338A (zh) * | 2022-08-17 | 2022-11-18 | 江苏省农业机械试验鉴定站 | 一种基于作物长势的变量追肥控制***与方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050098713A1 (en) * | 2003-09-23 | 2005-05-12 | Kyle Holland | Light sensor with modulated radiant polychromatic source |
CN1746660A (zh) * | 2004-09-09 | 2006-03-15 | 北京农业信息技术研究中心 | 测量作物冠层色素比值的方法及测量仪 |
CN101210876A (zh) * | 2007-12-25 | 2008-07-02 | 浙江大学 | 基于可见/近红外多光谱成像的水稻养分信息测量方法 |
CN201096717Y (zh) * | 2007-09-30 | 2008-08-06 | 北京农业信息技术研究中心 | 植被差异指数及其地理坐标测试仪 |
CN101510007A (zh) * | 2009-03-20 | 2009-08-19 | 北京科技大学 | 一种红外光图像与可见光图像实时摄取与自适应融合装置 |
-
2010
- 2010-04-22 CN CN2010101586002A patent/CN101839979B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050098713A1 (en) * | 2003-09-23 | 2005-05-12 | Kyle Holland | Light sensor with modulated radiant polychromatic source |
CN1746660A (zh) * | 2004-09-09 | 2006-03-15 | 北京农业信息技术研究中心 | 测量作物冠层色素比值的方法及测量仪 |
CN201096717Y (zh) * | 2007-09-30 | 2008-08-06 | 北京农业信息技术研究中心 | 植被差异指数及其地理坐标测试仪 |
CN101210876A (zh) * | 2007-12-25 | 2008-07-02 | 浙江大学 | 基于可见/近红外多光谱成像的水稻养分信息测量方法 |
CN101510007A (zh) * | 2009-03-20 | 2009-08-19 | 北京科技大学 | 一种红外光图像与可见光图像实时摄取与自适应融合装置 |
Non-Patent Citations (1)
Title |
---|
《农业机械学报》 20090930 赵瑞娇等 双通道近地遥感图像采集处理*** 第40卷, 2 * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111929253A (zh) * | 2013-03-25 | 2020-11-13 | 索尼公司 | 信息处理***、器件和方法以及生产农作物产品的方法 |
US12014538B2 (en) | 2013-03-25 | 2024-06-18 | Sony Group Corporation | Method, system, and medium having stored thereon instructions that cause a processor to execute a method for obtaining image information of an organism comprising a set of optical data |
CN111929253B (zh) * | 2013-03-25 | 2024-03-22 | 索尼公司 | 信息处理***、器件和方法以及生产农作物产品的方法 |
US11875562B2 (en) | 2013-03-25 | 2024-01-16 | Sony Group Corporation | Method, system, and medium having stored thereon instructions that cause a processor to execute a method for obtaining image information of an organism comprising a set of optical data |
CN103674864A (zh) * | 2013-11-12 | 2014-03-26 | 浙江大学 | 一种基于高光谱成像技术的鱼水分含量分布检测方法 |
CN103674838A (zh) * | 2013-11-12 | 2014-03-26 | 浙江大学 | 一种基于高光谱成像技术的鱼脂肪含量分布检测方法 |
CN103630499A (zh) * | 2013-11-12 | 2014-03-12 | 浙江大学 | 一种基于高光谱成像技术的鱼蛋白质含量分布检测方法 |
CN103674838B (zh) * | 2013-11-12 | 2016-03-02 | 浙江大学 | 一种基于高光谱成像技术的鱼脂肪含量分布检测方法 |
CN103630499B (zh) * | 2013-11-12 | 2016-04-13 | 浙江大学 | 一种基于高光谱成像技术的鱼蛋白质含量分布检测方法 |
CN103674864B (zh) * | 2013-11-12 | 2016-04-13 | 浙江大学 | 一种基于高光谱成像技术的鱼水分含量分布检测方法 |
CN103942769A (zh) * | 2013-12-10 | 2014-07-23 | 珠江水利委员会珠江水利科学研究院 | 一种卫星遥感影像融合方法 |
CN103942769B (zh) * | 2013-12-10 | 2016-11-02 | 珠江水利委员会珠江水利科学研究院 | 一种卫星遥感影像融合方法 |
CN104089895B (zh) * | 2014-07-24 | 2016-08-24 | 四川农业大学 | 一种大豆叶片的光合色素测定方法及*** |
CN104089895A (zh) * | 2014-07-24 | 2014-10-08 | 四川农业大学 | 一种大豆叶片的光合色素测定方法及*** |
CN105136732A (zh) * | 2015-08-24 | 2015-12-09 | 中国农业科学院农业环境与可持续发展研究所 | 田间作物双波段成像ndvi测量装置 |
CN106023215A (zh) * | 2016-05-24 | 2016-10-12 | 北京农业智能装备技术研究中心 | 一种区分农田作物和背景的方法及*** |
CN106970632B (zh) * | 2017-04-28 | 2019-05-07 | 华南农业大学 | 一种基于冠层涡旋稳态运动的旋翼无人机精准作业方法 |
CN106970632A (zh) * | 2017-04-28 | 2017-07-21 | 华南农业大学 | 一种基于冠层涡旋稳态运动的旋翼无人机精准作业方法 |
CN111316078A (zh) * | 2017-10-26 | 2020-06-19 | 亚拉国际有限公司 | 使用光导的手持设备和使用其用于确定植物状态的方法 |
CN108957480A (zh) * | 2018-08-03 | 2018-12-07 | 成都天地量子科技有限公司 | 一种读取选定区域ndvi值的方法 |
CN109856139A (zh) * | 2019-01-07 | 2019-06-07 | 北京林业大学 | 树木叶片数量估测方法及*** |
CN109856139B (zh) * | 2019-01-07 | 2021-08-06 | 北京林业大学 | 树木叶片数量估测方法及*** |
CN114008481A (zh) * | 2019-04-08 | 2022-02-01 | 米加尔加利利研究所有限公司 | 植物光合能力的遥感 |
CN110567891A (zh) * | 2019-09-16 | 2019-12-13 | 中国水利水电科学研究院 | 一种冬小麦冠层叶绿素估测***及方法 |
CN110567891B (zh) * | 2019-09-16 | 2021-09-07 | 中国水利水电科学研究院 | 一种冬小麦冠层叶绿素估测***及方法 |
WO2021059967A1 (ja) * | 2019-09-23 | 2021-04-01 | 株式会社デンソー | 物体認識装置及び物体認識プログラム |
JP2021050945A (ja) * | 2019-09-23 | 2021-04-01 | 株式会社デンソー | 物体認識装置及び物体認識プログラム |
JP7151676B2 (ja) | 2019-09-23 | 2022-10-12 | 株式会社デンソー | 物体認識装置及び物体認識プログラム |
CN110579447A (zh) * | 2019-09-28 | 2019-12-17 | 中国科学院合肥物质科学研究院 | 一种作物氮素检测装置及其检测方法 |
CN112633047A (zh) * | 2019-10-28 | 2021-04-09 | 中国科学院地理科学与资源研究所 | 一种苔草长势的视觉立体监测装置及监测方法 |
CN110779876A (zh) * | 2019-11-07 | 2020-02-11 | 长光禹辰信息技术与装备(青岛)有限公司 | 一种疫木识别方法、装置、设备及计算机可读存储介质 |
CN111289441B (zh) * | 2020-02-21 | 2021-02-26 | 中国农业大学 | 多光谱下的大田作物含水量确定方法、***及设备 |
CN111289441A (zh) * | 2020-02-21 | 2020-06-16 | 中国农业大学 | 多光谱下的大田作物含水量确定方法、***及设备 |
CN111414867A (zh) * | 2020-03-24 | 2020-07-14 | 北京大学深圳研究生院 | 一种植物地上生物量测算方法 |
CN115349338A (zh) * | 2022-08-17 | 2022-11-18 | 江苏省农业机械试验鉴定站 | 一种基于作物长势的变量追肥控制***与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101839979B (zh) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101839979B (zh) | 作物冠层植被指数测量方法及装置 | |
Oh et al. | Do it yourself hyperspectral imaging with everyday digital cameras | |
Foster et al. | Hyperspectral imaging in color vision research: tutorial | |
US10113910B2 (en) | Sensor-synchronized spectrally-structured-light imaging | |
Sonnentag et al. | Digital repeat photography for phenological research in forest ecosystems | |
CN103940511B (zh) | 高光谱采集***的光谱谱线定标方法及装置 | |
US9202134B2 (en) | Leaf area index measurement system, device, method, and program | |
WO2015077493A1 (en) | Sensor-synchronized spectrally-structured-light imaging | |
US11475550B2 (en) | Information processing apparatus, information processing method, program, and information processing system | |
CN104884937A (zh) | 图像测量方法、***、设备和程序 | |
EP3748335A1 (en) | Signal processing apparatus, signal processing method, and program | |
JP2019020311A (ja) | 色彩測定方法及び色彩測定装置 | |
CN107707789A (zh) | 使用单色成像器和颜色映射传感器进行单色‑彩色映射 | |
CN103389162A (zh) | 一种利用彩色数码相机的反射物体颜色测量仪 | |
CN108061600B (zh) | 一种小型化光谱成像***及成像方法 | |
CN105865624A (zh) | 高光谱采集***的光谱提取方法及装置 | |
CN112816441B (zh) | 一种设施园艺作物生长状况检测方法及装置 | |
Vunckx et al. | Accurate video-rate multi-spectral imaging using imec snapshot sensors | |
Kim et al. | Radiometric characterization of spectral imaging for textual pigment identification | |
CN112672021B (zh) | 语言识别方法、装置及电子设备 | |
Shajahan et al. | Monitoring plant phenology using phenocam: A review | |
CN111443087A (zh) | 叶绿素检测装置及方法 | |
Yu et al. | High Spectral Resolution Imaging Based on Dual-Camera System With Filter Wheel | |
CN206459747U (zh) | 一种便携式二维成像微型光谱仪 | |
CN110057450B (zh) | 基于无线传输和模式识别的窄带多光谱成像***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120725 Termination date: 20150422 |
|
EXPY | Termination of patent right or utility model |