CN103839275B - 高光谱图像的道路提取方法及装置 - Google Patents
高光谱图像的道路提取方法及装置 Download PDFInfo
- Publication number
- CN103839275B CN103839275B CN201410119945.5A CN201410119945A CN103839275B CN 103839275 B CN103839275 B CN 103839275B CN 201410119945 A CN201410119945 A CN 201410119945A CN 103839275 B CN103839275 B CN 103839275B
- Authority
- CN
- China
- Prior art keywords
- image
- nth sub
- binary image
- road
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001228 spectrum Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 265
- 238000000605 extraction Methods 0.000 claims abstract description 94
- 239000003550 marker Substances 0.000 claims description 78
- 230000000295 complement effect Effects 0.000 claims description 38
- 238000002310 reflectometry Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 240000007594 Oryza sativa Species 0.000 abstract 1
- 235000007164 Oryza sativa Nutrition 0.000 abstract 1
- 235000009566 rice Nutrition 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 23
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种高光谱图像的道路提取方法及装置,对待提取道路的高光谱图像分块进行道路提取,具体在对每个图像块(即子图像)进行道路提取时,先获取道路探测结果图像,然后,对道路探测结果图像进行结构检测以去除所述道路探测结果图像中的非道路信息,从而获取每个子图像块的道路提取结果,最后将各个图像块的提取结果进行合并作为最终的道路提取结果。提高了高光谱图像的道路提取结果的精度。
Description
技术领域
本发明涉及图像处理技术领域,更具体地说,涉及一种高光谱图像的道路提取方法及装置。
背景技术
道路是一种重要的专题信息,其对地学分析、城市管理、有着重要的价值,是一类基础的专题信息数据,对各种地理信息***的建设于管理有重要的意义,特别是城市道路对于城市的日常管理有着重要的价值。
目前,针对道路遥感影像提取道路,国内外已经有许多研究成果。但针对于高光谱图像的道路提取,现有技术研究还不是很多,现有的目标探测方法提取道路还存在一些不足之处,例如,城市中,使用与道路相同或相近材质修筑的建筑还有很多,如停车场、操场等,而高光谱目标探测实现的是地物材质的识别,因而,在进行道路提取时,不可避免的会将这些建筑也提取出来,导致现有的高光谱图像的道路提取方法的道路提取结果精度较低。
因此,如何提高高光谱图像的道路提取结果的精度成为亟待解决的问题。
发明内容
本发明的目的是提供一种高光谱图像的道路提取方法及装置,以提高高光谱图像的道路提取结果的精度。
为实现上述目的,本发明提供了如下技术方案:
一种高光谱图像的道路提取方法,包括:
依据预设的划分方式,将待提取道路的高光谱图像划分为若干个子图像;其中,所述划分方式由操作人员根据道路分布状况及道路类型设定,所述道路类型包括直线型和弯曲型;
获取第n个子图像的道路探测结果图像,其中,所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱库的相似度,其中,n=1,2,……,K,K为子图像的个数;
依据与所述第n个子图像相对应的预设阈值,对所述第n个子图像的道路探测结果图像进行阈值分割,获取所述第n个子图像的二值图像;
对所述第n个子图像的二值图像进行结构检测,包括:接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的二值图像做开运算,得到所述第n个子图像的道路检测结果图像,所述第一结构元素是由若干个1组成的矩阵,或者由0和1组成的矩阵;
将所有子图像的道路检测结果进行合并,得到所述待提取道路的高光谱图像的道路检测结果图像。
上述方法,优选的,在获取所述第n个子图像的道路探测结果图像之前还包括:
依据选择指令选定道路覆盖有植物的子图像;
所述获取第n个子图像的道路探测结果图像包括:
若所述第n个子图像为选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列的象元的值获取方法为:获取所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的的反射率的差值,以及所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的反射率的和值,所述第n个子图像的道路探测结果图像的第i行第j列的象元的值为所述差值与所述和值的商值;
若所述第第n个子图像不是选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱的相似度。
上述方法,优选的,在对第n个子图像的二值图像进行结构检测之前还包括:
去除第n个子图像的二值图像的噪声的步骤,包括:接收输入的,与第n个子图像的二值图像相对应的第二结构元素的参数,构造与所述第二结构元素的参数相对应的第二结构元素;将所述第二结构元素与所述第n个子图像的二值图像进行开运算,得到所述第n个子图像的去除噪声后的二值图像;
所述对第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的去除噪声后的二值图像进行结构检测。
上述方法,优选的,在对第n个子图像的二值图像进行去除噪声的步骤之后,在对所述第n个子图像的去除噪声后的二值图像进行结构检测之前还包括:
去除所述第n个子图像的边界对象的步骤,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的去除噪声后的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的去除噪声后的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的去除噪声后的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述对所述第n个子图像的去除噪声后的二值图像进行结构检测具体为:
对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
上述方法,优选的,在去除所述第n个子图像的边界对象的步骤之后,对所述第n个子图像的去除边界对象后的二值图像进行结构检测之前还包括:
填充孔洞的步骤,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的去除边界对象后的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的去除边界对象后的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的去除边界对象后的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述对所述第n个子图像的去除边界对象后的二值图像进行结构检测具体为:
对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
上述方法,优选的,在获取每一个子图像的二值图像之后,对第n个子图像的二值图像进行结构检测之前还包括:
去除所述第n个子图像的边界对象的步骤,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述对所述第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
上述方法,优选的,在获取每一个子图像的二值图像之后,对第n个子图像的二值图像进行结构检测之前还包括:
填充孔洞的步骤,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述对所述第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
上述方法,优选的,所述第一结构元素为线形结构元素。
上述方法,优选的,在对第n个子图像的二值图像进行结构检测后,在将所有子图像的道路检测结果进行合并之前还包括:
修补的过程,包括:分别将每一个第一结构元素与所述第n个子图像的道路检测解调图像做闭运算,得到对所述第n个子图像的道路检测结果图像进行修补后的图像;
所述将所有子图像的道路检测结果进行合并具体为:
将对所述第n个子图像的道路检测结果图像进行修补后的图像进行合并。
一种高光谱图像的道路提取装置,包括:
划分模块,用于依据预设的划分方式,将待提取道路的高光谱图像划分为若干个子图像;其中,所述划分方式由操作人员根据道路分布状况及道路类型设定,所述道路类型包括直线型和弯曲型;
探测结果图像获取模块,用于获取第n个子图像的道路探测结果图像,其中,所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱库的相似度,其中,n=1,2,……,K,K为子图像的个数;
二值图像获取模块,用于依据与所述第n个子图像相对应的预设阈值,对所述第n个子图像的道路探测结果图像进行阈值分割,获取所述第n个子图像的二值图像;
道路结构检测模块,用于对所述第n个子图像的二值图像进行结构检测,包括:接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的二值图像做开运算,得到所述第n个子图像的道路检测结果图像,所述第一结构元素是由若干个1组成的矩阵,或者由0和1组成的矩阵;
合并模块,用于将所有子图像的道路检测结果进行合并,得到所述待提取道路的高光谱图像的道路检测结果图像。
上述装置,优选的,还包括:
选择模块,用于依据选择指令选定道路覆盖有植物的子图像;
所述探测结果图像获取模块具体用于:若所述第n个子图像为选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列的象元的值获取方法为:获取所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的的反射率的差值,以及所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的反射率的和值,所述第n个子图像的道路探测结果图像的第i行第j列的象元的值为所述差值与所述和值的商值;若所述第第n个子图像不是选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱的相似度。
上述装置,优选的,还包括:
分别与所述二值图像获取模块和所述道路结构检测模块相连接的噪声去除模块,用于去除第n个子图像的二值图像的噪声,包括:接收输入的,与第n个子图像的二值图像相对应的第二结构元素的参数,构造与所述第二结构元素的参数相对应的第二结构元素;将所述第二结构元素与所述第n个子图像的二值图像进行开运算,得到所述第n个子图像的去除噪声后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的去除噪声后的二值图像进行结构检测。
上述装置,优选的,还包括:
分别与所述噪声去除模块和所述道路结构检测模块相连接的第一边界对象去除模块,用于去除所述第n个子图像的边界对象,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的去除噪声后的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的去除噪声后的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的去除噪声后的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
上述装置,优选的,还包括:
分别与所述第一边界对象去除模块和所述道路结构检测模块相连接的第一孔洞填充模块,用于对所述第n个子图像的去除边界对象后的二值图像填充孔洞,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的去除边界对象后的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的去除边界对象后的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的去除边界对象后的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
上述装置,优选的,还包括:
分别与所述二值图像获取模块和所述道路结构检测模块相连接的第二边界对象去除模块,用于去除所述第n个子图像的边界对象,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
上述装置,优选的,还包括:
分别与所述二值图像获取模块和所述道路结构检测模块相连接的第二孔洞填充模块,用于对第n个子图像的二值图像填充孔洞,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
上述装置,优选的,所述第一结构元素为线形结构元素。
上述装置,优选的,还包括:
分别与所述道路结构检测模块和所述合并模块相连接的修补模块,用于对所述第n个子图像的道路检测结果图像进行修补,包括:分别将每一个第一结构元素与所述第n个子图像的道路检测解调图像做闭运算,得到对所述第n个子图像的道路检测结果图像进行修补后的图像;
所述合并模块具体用于,将对所述第n个子图像的道路检测结果图像进行修补后的图像进行合并。
通过以上方案可知,本申请提供了一种高光谱图像的道路提取方法及装置,将待提取道路的高光谱图像划分为若干个子图像,获取每一个子图像的道路探测结果图像,依据与各个子图像相对应的预设阈值,对每一个子图像的道路探测结果进行阈值分割,获取每一个子图像的二值图像,然后对每一个子图像的二值图像进行结构检测,得到每一个子图像的道路检测结果图像;最后将所有子图像的道路检测结果图像进行合并,得到所述待提取道路的高光谱图像的道路检测结果图像。
也就是说,本申请实施例提供的高光谱图像的道路提取方法及装置,对待提取道路的高光谱图像分块进行道路提取,具体在对每个图像块(即子图像)进行道路提取时,先获取道路探测结果图像,然后,对道路探测结果图像进行结构检测以去除所述道路探测结果图像中的非道路信息,从而获取每个子图像块的道路提取结果,最后将各个图像块的提取结果进行合并作为最终的道路提取结果。提高了高光谱图像的道路提取结果的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种高光谱图像的道路提取方法的流程图;
图2为本申请实施例提供的弯曲型道路结构的处理方式示意图;
图3为本申请实施例提供的另一种高光谱图像的道路提取方法的流程图;
图4为本申请实施例提供的又一种高光谱图像的道路提取方法的流程图;
图5为本申请实施例提供的又一种高光谱图像的道路提取方法的流程图;
图6为本申请实施例提供的又一种高光谱图像的道路提取方法的流程图;
图7为本申请实施例提供的又一种高光谱图像的道路提取方法的流程图;
图8为本申请实施例提供的又一种高光谱图像的道路提取方法的流程图;
图9为本申请实施例提供的又一种高光谱图像的道路提取方法的流程图;
图10为本申请实施例提供的一种高光谱图像的道路提取装置的结构示意图;
图11为本申请实施例提供的另一种高光谱图像的道路提取装置的结构示意图;
图12为本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图;
图13为本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图;
图14为本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图;
图15为本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图;
图16为本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图;
图17为本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图;
图18为本申请实施例提供的一待提取道路的高光谱图像;
图19为本申请实施例提供的道路光谱库的光谱图;
图20为本申请实施例提供的对图18所示高光谱图像进行划分的示意图;
图21-a为本申请实施例提供的对8号子图像的道路探测结果的图像;
图21-b为本申请实施例提供的对8号子图像填充孔洞后的二值图像;
图21-c为本申请实施例提供的8号子图像的道路检测结果图像;
图21-d为本申请实施例提供的对8号子图像的道路检测结果图像进行修补后的图像;
图22-a为本申请实施例提供的对16号子图像的二值图像;
图22-b为本申请实施例提供的对16号子图像填充孔洞后的二值图像;
图22-c为本申请实施例提供的16号子图像的道路检测结果图像;
图22-d为本申请实施例提供的对16号子图像的道路检测结果图像进行修补后的图像;
图23为本申请实施例提供的合并后的道路检测结果图像。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了更好的理解本方案,首先对高光谱图像进行说明:
高光谱图像R是一个三维数组,M行、N列、L层,每一层称为一个波段,每个波段的图像的大小为M×N。
象元rij是一个L维列向量,由高光谱图像R在(i,j)位置的L个波段的数值构成。一个高光谱图像R总计有M×N个象元。
请参阅图1,图1为本申请实施例提供的一种高光谱图像的道路提取方法的流程图,可以包括:
步骤S11:依据预设的划分方式,将待提取道路的高光谱图像划分为若干个子图像;其中,所述划分方式由操作人员根据道路分布状况及道路类型设定;
本申请实施例中,所述道路类型可以分为直线型和弯曲型,在直线型下,道路还可以按不同的方向划分为多个道路段。由于这些道路段(不管是弯曲型还是直线型)都是分部在整幅图像中的,因此,在保证分块后的各个子图像中能够完整的并且只包含欲提取类型的道路段即可。
具体在划分时,为了后续合并方便,在对待提取道路的高光谱图像进行划分后,记录各个子图像的位置,例如,可以记录各个子图像的左上角的坐标,以及各个子图像的宽度和长度,假设第n(n=1,2,……,N,N为子图像的个数)个子图像的左上角的坐标为(in,jn),该第n个子图像的宽度为pn,长度为qn,那么,第n个子图像即为:Rn=R[in:in+pn,jn:jn+qn]。当然,在记录各个子图像的位置时,还可以以其它方式,例如,记录各个子图像的右下角的坐标,以及各个子图像的长度和宽度等。
其中,所述子图像的个数由操作人员根据实际需要设定,对不同的待提取道路的高光谱图像进行划分的方式可能不同,划分后得到的子图像的数量也可能是不同的。
步骤S12:获取第n个子图像的道路探测结果图像,其中,所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱库的相似度,其中,n=1,2,……,K,K为子图像的个数;
为叙述方便,将道路光谱库记为d,d为一个L维列向量,道路光谱可以通过实地采集获取;也可以直接在图像中选择若干个道路象元取平均值;还可以通过其他方式获取,如利用历史积累的光谱数据等方式获得等,这里不做具体限定。
所述第n个子图像中i行第j列处的象元rnij的光谱与道路光谱库d的相似度r′nij可以依据第一公式确定,所述第一公式为:
其中,Γn为第n个子图像Rn的协方差矩阵,计算方法可参看公式(2)和公式(3):
为叙述方便,将第n个子图像Rn的道路探测结果图像记为R′n。r′nij为R′n第i行第j列处的象元的值。
步骤S13:依据与所述第n个子图像相对应的预设阈值,对所述第n个子图像的道路探测结果图像进行阈值分割,获取所述第n个子图像的二值图像;
所述与第n个子图像相对应的预设阈值可以由操作人员根据经验确定,不同的子图像所对应的阈值可能是不同的。
为叙述方便,将第n个子图像的二值图像记为R″n。
具体可以依据第二公式对第n个子图像Rn的道路探测结果图像R′n进行阈值分割,所述第二公式为:
其中,r″nij为R″n的第i行第j列出的象元的值。
步骤S14:对所述第n个子图像的二值图像进行结构检测,包括:接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的二值图像做开运算,得到所述第n个子图像的道路检测结果图像;
结构元素是一个由若干个1组成的矩阵,或者是由0和1组成的矩阵,根据形态特征可以分为线形、方形、菱形等,其中,结构元素的形状由结构元素中的“1”所构成的形状确定,例如:
[1,1,1,1,1]为一方向为0°的线形结构元素;
为一方向为45°的线形结构元素;
为一方形结构元素;
为一菱形结构元素;
本申请实施例中,所述第一结构元素可以为直线形结构元素。当所述第n个子图像的二值图像中的道路结构类型为直线型时,可以使用一个直线形结构元素,当所述第n个子图像的二值图像中的道路结构类型为弯曲型时,可以将弯曲型道路视为多段直线型道路(如图2所示,图2为本申请实施例提供的弯曲型道路结构的处理方式示意图)的衔接组合,每段直线型道路对应使用一个线形结构元素,由于直线形结构元素的尺寸参数为长度和方向,因此,在将弯曲型道路划分为多段线性道路后,可以使用多个方向递增或递减变化的线形结构元素。具体是使用一个直线形结构元素还是使用多个直线形结构元素,以及所使用的多个直线形结构元素的个数可以由操作人员选择设定。当所述道路类型为弯曲型时,直线形结构元素的个数优选的为6-8个。
例如,当所述第n个子图像的二值图像中的道路结构类型为直线型时,假设根据接收到的第一结构元素的参数得到的结构元素为Bn1,所述第n个子图像的道路检测结果图像为那么,其中,表示R″n与Bn1进行开运算。
当所述第n个子图像的二值图像中的道路结构类型为弯曲型时,获取第n个子图像的道路检测结果图像的方法可以为:
将所创建的t个线性结构元素按照角度递增或者递减的顺序依次与前一步骤的结果图像做开运算;
所述第n个子图像的道路检测结果图像为最后一个结构元素与前一步骤的结果图像做开运算所得到的图像。
假设为第n个子图像创建的t个直线形结构元素,按角度递增的顺序分别为Bn1,Bn2,……,Bn(t-2),Bn(t-1),Bnt,那么,将所创建的t个线性结构元素按照角度递增或者递减的顺序依次与前一步骤的结果图像做开运算具体为:
则,
上述实施例中,是按照t个直线型结构元素的角度递增的顺序获取第n个子图像的道路检测结果图像,本申请实施例中,还可以按照t个直线型结构元素的角度递减的顺序(即,Bnt,Bn(t-1),Bn(t-2),……,Bn2,Bn1)获取第n个子图像的道路检测结果图像,具体为:
则,
下面举例说明获取第n个子图像的道路检测结果图像的方法:
假设为第n个子图像创建的6个直线形结构元素,按照角度递增的顺序分别为Bn1,Bn2,Bn3,Bn4,Bn5,Bn6,那么, 则第n个子图像的道路检测结果图像当然,当所述第n个子图像的二值图像中的道路结构类型为弯曲型时,所述第一结构元素还可以为弧形结构元素。
步骤S15:将所有子图像的道路检测结果进行合并,得到所述待提取道路的高光谱图像的道路检测结果图像。
在合并时,可以根据各个子图像的坐标、长度和宽度将各个子图像合并为一幅图像,所述合并的图像即为所述待提取道路的高光谱图像的道路检测结果图像的。
本申请实施例提供的高光谱图像的道路提取方法,对待提取道路的高光谱图像分块进行道路提取,具体在对每个图像块(即子图像)进行道路提取时,先获取道路探测结果图像,然后,对道路探测结果图像进行结构检测以去除所述道路探测结果图像中的非道路信息,从而获取每个子图像块的道路提取结果,最后将各个图像块的提取结果进行合并作为最终的道路提取结果。提高了高光谱图像的道路提取结果的精度。
在图1所示实施例的基础上,本申请实施例提供的另一种高光谱图像的道路提取方法的流程图如图3所示,在获取第n个子图像的道路探测结果图像之前,还可以包括:
步骤S31:依据选择指令选定道路覆盖有植物的子图像;
本步骤中,所述选择指令由操作人员目视解译第n个子图像中道路被植物遮挡的程度后判断是否对第n个子图像进行选择。
所述获取所述第n个子图像的道路探测结果图像包括:若所述第n个子图像为选定的子图像,执行步骤S32;若所述第第n个子图像不是选定的子图像,则执行步骤S33
步骤S32:所述第n个子图像的道路探测结果图像的第i行第j列的象元的值获取方法为:获取所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的的反射率的差值,以及所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的反射率的和值,所述第n个子图像的道路探测结果图像的第i行第j列的象元的值为所述差值与所述和值的商值;
具体的,假设所述第n个子图像的第i行第j列的象元在近红外波段的反射率为rnij,nir,所述第n个子图像的第i行第j列的象元在红光波段的反射率为rnij,red,那么,所述第n个子图像的道路探测结果图像的第i行第j列的象元r′nij的值可以依据第三公式获取,所述第三公式为:
步骤S33:所述第n个子图像的道路探测结果图像的第i行第j列处的象元的值为所述第n个子图像中i行第j列处的象元的光谱与道路光谱的相似度。
与图1所示实施例不同,图1所示实施例中,在获取第n个子图像的道路探测结果图像时,所有子图像的道路探测结果图像第i行第j列的象元的值都通过第一公式确定,而图3所示实施例中,首先由操作人员判断第n个子图像的道路中是否有植物覆盖,如果有植物覆盖或者植物覆盖面积较大时则通过第二公式获取所述第n个子图像的道路探测结果图像的第i行第j列处的象元的值;在没有植物覆盖或植物覆盖面积较小时,才通过第一公式确定所述第n个子图像的道路探测结果图像的第i行第j列处的象元的值。
本申请实施例提供的高光谱图像的道路提取方法,对子图像块进行分类获取道路探测结构图像,在去除非道路信息的同时,还提取出了被植物覆盖的道路,进一步提高了高光谱图像的道路提取的精度。
为了进一步提高高光谱图像的道路提取的精度,在图1或图3所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路的提取方法的流程图如图4所示,在对第n个子图像的二值图像进行结构检测之前还包括:
步骤S41:去除第n个子图像的二值图像的噪声的步骤,包括:接收输入的,与第n个子图像的二值图像相对应的第二结构元素的参数,构造与所述第二结构元素的参数相对应的第二结构元素;将所述第二结构元素与所述第n个子图像的二值图像进行开运算,得到所述第n个子图像的去除噪声后的二值图像;
本申请实施例中,可以由操作人员判断是否需要进行去噪,假设二值图像中白色区域(数值为1的区域)表示提取的道路信息,而黑色区域(数值为0的区域)表示非道路信息。操作人员可以根据二值图像中白色区域的形状进行判断,其中,白色区域中呈点状或面状的区域为噪声,需要去除。如果需要进行去噪操作,操作人员会输入与第n个子图像的二值图像相对应的第二结构元素的参数以构造与第n个子图像的二值图像相对应第二结构元素。
具体的,第二结构元素的尺寸可以根据待提取道路的高光谱图像的空间分辨率确定,例如,假设待提取道路的高光谱图像的空间分辨率为3m*3m的城区遥感影像,而实际的道路宽度为15m左右,那么,该待提取道路的高光谱图像中的道路宽度就在图像中占15/3=5个象元左右的宽度,因此,在去噪过程中,结构元素的尺寸就可以小于或等于5,优选的,所述结构元素的尺寸小于5,如结构元素的尺寸可以为1-4中任意一个尺寸,即,本示例中,结构元素的尺寸优选为1或2或3或4。而结构元素的形状选取原则上只要能够完整去除噪声即可,在没有特殊要求的情况下,选圆形或者方形都可以。
当结构元素为圆形结构元素时,所述结构元素的尺寸是指圆的直径占用的“1”的个数;当结构元素为方形(即正方形)或菱形时,所述结构元素的尺寸是指方形或菱形的边长所占用的“1”的个数;当结构元素为线形时,所述结构元素的尺寸指该直线所占用的“1”的个数。
为了叙述方便,将第二结构元素记为Bn2,所述第n个子图像的去除噪声后的二值图像记为那么,其中,中第i行第j列出的象元即为
所述对第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的去除噪声后的二值图像进行结构检测。即,接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的去除噪声后的二值图像做开运算,得到所述第n个子图像的道路检测结果图像。
本实施例中,如果操作人员判断不需要进行去噪,则可以跳过该步骤41而直接执行步骤S14。
为了进一步提高高光谱图像的道路提取的精度,在图4所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路的提取方法的流程图如图5所示,在对对第n个子图像的二值图像进行去除噪声的步骤之后,在对所述第n个子图像的去除噪声后的二值图像进行结构检测之前还可以包括:
步骤S51:去除所述第n个子图像的边界对象的步骤,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的去除噪声后的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的去除噪声后的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的去除噪声后的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
本申请实施例中,可以由操作人员判断是否有待清除的边界对象,具体的,当有白色区域紧贴图像的上下左右边界,则可以确定该白色区域为待清楚的边界对象,否则,可以确定没有待清除的边界对象。如果没有待清除的边界对象,则可以跳过该步骤S51直接执行步骤S14。
当确定有待清楚的边界对象时,操作人员会触发构造第一标记二值图像的指令,***在接收到构造第一标记二值图像的指令后,会构造第一标记二值图像,为叙述方便,将该第一标记二值图像记为Cn,第一标记二值图像Cn中第i行第j列处的象元cnij可以依据第四公式确定,所述第四公式为:
为叙述方便,将所述第n个子图像的去除边界对象后的二值图像记为所述第n个子图像的去除边界对象后的二值图像可以通过依据第五公式确定,所述第五公式可以为:
其中,表示从标记图像Cn重构二值图像从标记图像Cn重构二值图像所获的的图像即为第一重构二值图像。为叙述方便,将所述第n个子图像的去除边界对象后的二值图像中第i行第j列处的象元记为
所述对所述第n个子图像的去除噪声后的二值图像进行结构检测具体为:
对所述第n个子图像的去除边界对象后的二值图像进行结构检测。即,接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的去除边界后的二值图像做开运算,得到所述第n个子图像的道路检测结果图像。
为了进一步提高高光谱图像的道路提取的精度,在图5所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取方法的流程图如图6所示,在去除所述第n个子图像的边界对象的步骤之后,对所述第n个子图像的去除边界对象后的二值图像进行结构检测之前还可以包括:
步骤S61:填充孔洞的步骤,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的去除边界对象后的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的去除边界对象后的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的去除边界对象后的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
本申请实施例中,可以由操作人员判断是否有待填充的孔洞,具体的,当有白色区域内出现了个别值为0的黑色区域,则可以确定有孔洞需要填充,否则,可以确定没有孔洞待填充。如果没有孔洞待填充,则可以跳过该步骤S61直接执行步骤S14。
当确定有孔洞需要填充时,操作人员会触发构造第二标记二值图像的指令,***在接收到构造第二标记二值图像的指令后,会构造第二标记二值图像,为叙述方便,将该第一标记二值图像记为Dn,第一标记二值图像Dn中第i行第j列处的象元dnij可以依据第六公式确定,所述第六公式为:
本申请实施例中,可以依据第七公式确定所述第n个子图像的填充孔洞后的二值图像,所述第七公式为:
其中,为所述第n个子图像的填充孔洞后的二值图像,表示的补集,表示从Dn重构而则表示的补集。
所述对所述第n个子图像的去除边界对象后的二值图像进行结构检测具体为:
对所述第n个子图像的填充孔洞后的二值图像进行结构检测。即,接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的填充孔洞后的二值图像做开运算,得到所述第n个子图像的道路检测结果图像。
为了进一步提高高光谱图像的道路提取的精度,在图1或图3所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取方法的流程图如图7所示,在对第n个子图像的二值图像进行结构检测之前还可以包括:
步骤S71:去除所述第n个子图像的边界对象的步骤,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
步骤S71与步骤S51类似,具体可参看步骤S51,这里不再赘述。
所述对所述第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
为了进一步提高高光谱图像的道路提取的精度,在图1或图3所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取方法的流程图如图8所示,在对第n个子图像的二值图像进行结构检测之前还可以包括:
步骤S81:填充孔洞的步骤,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
步骤S81与步骤S61的实现相类似,具体实现可参看步骤S61,这里不再赘述。
所述对所述第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
为了进一步提高高光谱图像的道路提取的精度,在图1或图3所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取方法的流程图如图9所示,在对第n个子图像的二值图像进行结构检测后,在将所有子图像的道路检测结果进行合并之前还可以包括修补的过程,具体可以包括:
步骤S91:分别将每一个第一结构元素与所述第n个子图像的道路检测结果图像做闭运算,得到对所述第n个子图像的道路检测结果图像进行修补后的图像;
假设对所述第n个子图像的道路检测结果图像进行修补后的图像为那么,
其中,表示和Bn1进行闭运算。
所述将所有子图像的道路检测结果进行合并具体为:
将对所述第n个子图像的道路检测结果图像进行修补后的图像进行合并。
与方法实施例相对应,本申请还提供一种高光谱图像的道路提取装置,本申请提供的一种高光谱图像的道路提取装置的结构示意图如图10所示,可以包括:
划分模块101,探测结果图像获取模块102,二值图像获取模块103,道路结构检测模块104和合并模块105;其中,
划分模块101用于依据预设的划分方式,将待提取道路的高光谱图像划分为若干个子图像;其中,所述划分方式由操作人员根据道路分布状况及道路类型设定;
探测结果图像获取模块102用于获取第n个子图像的道路探测结果图像,其中,所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱库的相似度,其中,n=1,2,……,K,K为子图像的个数;
二值图像获取模块103用于依据与所述第n个子图像相对应的预设阈值,对所述第n个子图像的道路探测结果图像进行阈值分割,获取所述第n个子图像的二值图像;
道路结构检测模块104用于对所述第n个子图像的二值图像进行结构检测,包括:接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的二值图像做开运算,得到所述第n个子图像的道路检测结果图像;
本申请实施例中,所述第一结构元素可以为直线形结构元素。当所述第n个子图像的二值图像中的道路结构类型为直线型时,可以使用一个直线形结构元素,当所述第n个子图像的二值图像中的道路结构类型为弯曲型时,可以将弯曲型道路视为多段直线型道路(如图2所示)的衔接组合,每段直线型道路对应使用一个线形结构元素,由于直线形结构元素的尺寸参数为长度和方向,因此,在将弯曲型道路划分为多段线性道路后,可以使用多个方向递增或递减变化的线形结构元素。具体是使用一个直线形结构元素还是使用多个直线形结构元素,以及所使用的多个直线形结构元素的个数可以由操作人员选择设定。当所述道路类型为弯曲型时,直线形结构元素的个数优选的为6-8个。当然,当所述第n个子图像的二值图像中的道路结构类型为弯曲型时,所述第一结构元素可以为弧形结构元素。
合并模块105用于将所有子图像的道路检测结果进行合并,得到所述待提取道路的高光谱图像的道路检测结果图像。
本申请实施例提供的一种高光谱图像的道路检测装置,对待提取道路的高光谱图像分块进行道路提取,具体在对每个图像块(即子图像)进行道路提取时,先获取道路探测结果图像,然后,对道路探测结果图像进行结构检测以去除所述道路探测结果图像中的非道路信息,从而获取每个子图像块的道路提取结果,最后将各个图像块的提取结果进行合并作为最终的道路提取结果。提高了高光谱图像的道路提取结果的精度。
在图10所示实施例的基础上,本申请实施例提供的另一种高光谱图像的道路提取装置的结构示意图如图11所示,还可以包括:
选择模块111,分别与所述划分模块101和探测结果图像获取模块102相连接,用于依据选择指令选定道路覆盖有植物的子图像;
所述探测结果图像获取模块102具体用于:若所述第n个子图像为选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列的象元的值获取方法为:获取所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的的反射率的差值,以及所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的反射率的和值,所述第n个子图像的道路探测结果图像的第i行第j列的象元的值为所述差值与所述和值的商值;若所述第第n个子图像不是选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱的相似度。
与图10所示实施例不同,图10所示实施例中,探测结果图像获取模块在获取第n个子图像的道路探测结果图像时,所有子图像的道路探测结果图像第i行第j列的象元的值都通过第一公式确定,而图11所示实施例中,首先选定道路覆盖有植物或者植物覆盖面积较大的子图像,如果有植物覆盖或者植物覆盖面积较大时则通过第二公式获取所述第n个子图像的道路探测结果图像的第i行第j列处的象元的值;在没有植物覆盖或植物覆盖面积较小时,才通过第一公式确定所述第n个子图像的道路探测结果图像的第i行第j列处的象元的值。可见,本申请实施例提供的高光谱图像的道路提取方法,对子图像块进行分类获取道路探测结构图像,在去除非道路信息的同时,还提取出了被植物覆盖的道路,进一步提高了高光谱图像的道路提取的精度。
为了进一步提高高光谱图像的道路提取的精度,在图10或图11所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图如图12所示,还可以包括:
噪声去除模块121,分别与所述二值图像获取模块103和所述道路结构检测模块104相连接,用于去除第n个子图像的二值图像的噪声,包括:接收输入的,与第n个子图像的二值图像相对应的第二结构元素的参数,构造与所述第二结构元素的参数相对应的第二结构元素;将所述第二结构元素与所述第n个子图像的二值图像进行开运算,得到所述第n个子图像的去除噪声后的二值图像;
所述道路结构检测模块104具体用于,对所述第n个子图像的去除噪声后的二值图像进行结构检测。
为了进一步提高高光谱图像的道路提取的精度,在图12所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图如图13所示,还可以包括:
第一边界对象去除模块131,分别与所述噪声去除模块121和所述道路结构检测模块104相连接,用于去除所述第n个子图像的边界对象,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的去除噪声后的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的去除噪声后的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的去除噪声后的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述道路结构检测模块104具体用于,对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
为了进一步提高高光谱图像的道路提取的精度,在图13所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图如图14所示,还可以包括:
第一孔洞填充模块141,分别与所述第一边界对象去除模块131和所述道路结构检测模块104相连接,用于对所述第n个子图像的去除边界对象后的二值图像填充孔洞,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的去除边界对象后的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的去除边界对象后的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的去除边界对象后的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述道路结构检测模块104具体用于,对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
为了进一步提高高光谱图像的道路提取的精度,在图10或图11所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图如图15所示,还可以包括:
第二边界对象去除模块151,分别与所述二值图像获取模块103和所述道路结构检测模块104相连接,用于去除所述第n个子图像的边界对象,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述道路结构检测模块104具体用于,对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
为了进一步提高高光谱图像的道路提取的精度,在图10或图11所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图如图16所示,还可以包括:
第二孔洞填充模块161,分别与所述二值图像获取模块103和所述道路结构检测模块104相连接,用于对第n个子图像的二值图像填充孔洞,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述道路结构检测模块104具体用于,对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
为了进一步提高高光谱图像的道路提取的精度,在图10或图11所示实施例的基础上,本申请实施例提供的又一种高光谱图像的道路提取装置的结构示意图如图17所示,还可以包括:
修补模块171,分别与所述道路结构检测模块104和所述合并模块105相连接,用于对所述第n个子图像的道路检测结果图像进行修补,包括:分别将每一个第一结构元素与所述第n个子图像的道路检测解调图像做闭运算,得到对所述第n个子图像的道路检测结果图像进行修补后的图像;
所述合并模块105具体用于,将对所述第n个子图像的道路检测结果图像进行修补后的图像进行合并。
下面结合具体实例对本申请实施例进行验证说明:
本实例中,待提取道路的高光谱图像如图18所示;所用的到的道路光谱库的光谱图如图19所示;图中,横轴表示波段,纵轴为道路光谱的辐射亮度。
本示例中,将待提取道路的高光谱图像划分为16个子图像,如图20所示,并以8号子图像和16号子图像为例对获取第n个子图像的道路检测结果图像的过程进行说明。
获取8号子图像的道路检测结果图像的过程具体为:
本实例中,操作人员判断8号子图像中道路被植物遮挡严重,如图20右上图所示,因此,对于8号子图像,其道路探测结果图像的第i行第j列的象元的值获取方法为:获取8号子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的的反射率的差值,以及8号子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的反射率的和值,所述8号子图像的道路探测结果图像的第i行第j列的象元的值为所述差值与所述和值的商值;得到的8号子图像的道路探测结果的图像如图21-a所示。
之后,操作人员输入阈值,阈值为0.5,对8号子图像的道路探测结果的图像进行阈值分割,得到8号子图像的二值图像;
本实例中,8号子图像的二值图像不需要进行去噪,也没有边界区域要去除,直接执行填充孔洞的步骤,8号子图像的填充孔洞后的二值图像如图21-b所示。
操作人员输入角度为9、长度为50的线性结构元素,执行对8号子图像的填充孔洞后的二值图像进行结构检测的步骤,得到的8号子图像的道路检测结果图像如有21-c所示。
执行对8号子图像的道路检测结果图像进行修补的过程,对8号子图像的道路检测结果图像进行修补后的图像如图21-d所示。
获取16号子图像的道路检测结果图像的过程具体为:
本实例中,操作人员判断16号子图像中的道路状况良好,没有被植物遮挡,如图20右下图所示,因此,对于16号子图像,其道路探测结果图像的第i行第j列的象元的值获取方法为:所述16号子图像的道路探测结果图像的第i行第j列处的象元为所述16号子图像中i行第j列处的象元的光谱与道路光谱库的相似度。
之后,操作人员输入阈值,阈值为0.7,对16号子图像的道路探测结果的图像进行阈值分割,得到16号子图像的二值图像;16号子图像的二值图像如图22-a所示。
本实施例中,16号子图像的二值图像不需要进行去噪,也没有边界区域要去除,直接执行填充孔洞的步骤,16号子图像的填充孔洞后的二值图像如图22-b所示。
操作人员输入角度为96,长度为450的线性结构元素,得到16号子图像的道路检测结果图像,16号子图像的道路检测结果图像如图22-c所示。
执行对16号子图像的道路检测结果图像进行修补的过程,对16号子图像的道路检测结果图像进行修补后的图像如图22-d所示。
其它子图像的处理过程类似,这里不再一一赘述。
获得所有子图像的道路检测结果图像后,将所有子图像的道路检测结果图像进行合并,合并后的道路检测结果图像如图23所示。图23所示图像中的白色区域即为提取到的道路信息。
需要说明的是,本说明书中每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (18)
1.一种高光谱图像的道路提取方法,其特征在于,包括:
依据预设的划分方式,将待提取道路的高光谱图像划分为若干个子图像;其中,所述划分方式由操作人员根据道路分布状况及道路类型设定,所述道路类型包括直线型和弯曲型;
获取第n个子图像的道路探测结果图像,其中,所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱库的相似度,其中,n=1,2,……,K,K为子图像的个数;
依据与所述第n个子图像相对应的预设阈值,对所述第n个子图像的道路探测结果图像进行阈值分割,获取所述第n个子图像的二值图像;
对所述第n个子图像的二值图像进行结构检测,包括:接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的二值图像做开运算,得到所述第n个子图像的道路检测结果图像,所述第一结构元素是由若干个1组成的矩阵,或者由0和1组成的矩阵;
将所有子图像的道路检测结果进行合并,得到所述待提取道路的高光谱图像的道路检测结果图像。
2.根据权利要求1所述的方法,其特征在于,在获取所述第n个子图像的道路探测结果图像之前还包括:
依据选择指令选定道路覆盖有植物的子图像;
所述获取第n个子图像的道路探测结果图像包括:
若所述第n个子图像为选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列的象元的值获取方法为:获取所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的的反射率的差值,以及所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的反射率的和值,所述第n个子图像的道路探测结果图像的第i行第j列的象元的值为所述差值与所述和值的商值;
若所述第n个子图像不是选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱的相似度。
3.根据权利要求1或2所述的方法,其特征在于,在对第n个子图像的二值图像进行结构检测之前还包括:
去除第n个子图像的二值图像的噪声的步骤,包括:接收输入的,与第n个子图像的二值图像相对应的第二结构元素的参数,构造与所述第二结构元素的参数相对应的第二结构元素;将所述第二结构元素与所述第n个子图像的二值图像进行开运算,得到所述第n个子图像的去除噪声后的二值图像;
所述对第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的去除噪声后的二值图像进行结构检测。
4.根据权利要求3所述的方法,其特征在于,在对第n个子图像的二值图像进行去除噪声的步骤之后,在对所述第n个子图像的去除噪声后的二值图像进行结构检测之前还包括:
去除所述第n个子图像的边界对象的步骤,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的去除噪声后的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的去除噪声后的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的去除噪声后的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述对所述第n个子图像的去除噪声后的二值图像进行结构检测具体为:
对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
5.根据权利要求4所述的方法,其特征在于,在去除所述第n个子图像的边界对象的步骤之后,对所述第n个子图像的去除边界对象后的二值图像进行结构检测之前还包括:
填充孔洞的步骤,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的去除边界对象后的二值图像的边界上的相同位置处的象 元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的去除边界对象后的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的去除边界对象后的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述对所述第n个子图像的去除边界对象后的二值图像进行结构检测具体为:
对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
6.根据权利要求1或2所述的方法,其特征在于,在获取每一个子图像的二值图像之后,对第n个子图像的二值图像进行结构检测之前还包括:
去除所述第n个子图像的边界对象的步骤,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述对所述第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
7.根据权利要求1或2所述的方法,其特征在于,在获取每一个子图像的二值图像之后,对第n个子图像的二值图像进行结构检测之前还包括:
填充孔洞的步骤,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述对所述第n个子图像的二值图像进行结构检测具体为:
对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
8.根据权利要求1或2所述的方法,其特征在于,所述第一结构元素为线形结构元素。
9.根据权利要求1或2所述的方法,其特征在于,在对第n个子图像的二值图像进行结构检测后,在将所有子图像的道路检测结果进行合并之前还包括:
修补的过程,包括:分别将每一个第一结构元素与所述第n个子图像的道路检测结果图像做闭运算,得到对所述第n个子图像的道路检测结果图像进行修补后的图像;
所述将所有子图像的道路检测结果进行合并具体为:
将对所述第n个子图像的道路检测结果图像进行修补后的图像进行合并。
10.一种高光谱图像的道路提取装置,其特征在于,包括:
划分模块,用于依据预设的划分方式,将待提取道路的高光谱图像划分为若干个子图像;其中,所述划分方式由操作人员根据道路分布状况及道路类型设定,所述道路类型包括直线型和弯曲型;
探测结果图像获取模块,用于获取第n个子图像的道路探测结果图像,其中,所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱库的相似度,其中,n=1,2,……,K,K为子图像的个数;
二值图像获取模块,用于依据与所述第n个子图像相对应的预设阈值,对所述第n个子图像的道路探测结果图像进行阈值分割,获取所述第n个子图像的二值图像;
道路结构检测模块,用于对所述第n个子图像的二值图像进行结构检测,包括:接收与所述第n个子图像的二值图像相对应的,至少一个第一结构元素的参数,构造与每一个第一结构元素的参数相对应的第一结构元素;分别将每一个第一结构元素与所述第n个子图像的二值图像做开运算,得到所述第n个子图像的道路检测结果图像,所述第一结构元素是由若干个1组成的矩阵,或者由0和1组成的矩阵;
合并模块,用于将所有子图像的道路检测结果进行合并,得到所述待提取道路的高光谱图像的道路检测结果图像。
11.根据权利要求10所述的装置,其特征在于,还包括:
选择模块,用于依据选择指令选定道路覆盖有植物的子图像;
所述探测结果图像获取模块具体用于:若所述第n个子图像为选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列的象元的值获取方法为:获取所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的的反射率的差值,以及所述第n个子图像的第i行第j列的象元在近红外波段的反射率与在红光波段的反射率的和值,所述第n个子图像的道路探测结果图像的第i行第j列的象元的值为所述差值与所述和值的商值;若所述第n个子图像不是选定的子图像,则所述第n个子图像的道路探测结果图像的第i行第j列处的象元为所述第n个子图像中i行第j列处的象元的光谱与道路光谱的相似度。
12.根据权利要求10或11所述的装置,其特征在于,还包括:
分别与所述二值图像获取模块和所述道路结构检测模块相连接的噪声去除模块,用于去除第n个子图像的二值图像的噪声,包括:接收输入的,与第n个子图像的二值图像相对应的第二结构元素的参数,构造与所述第二结构元素的参数相对应的第二结构元素;将所述第二结构元素与所述第n个子图像的二值图像进行开运算,得到所述第n个子图像的去除噪声后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的去除噪声后的二值图像进行结构检测。
13.根据权利要求12所述的装置,其特征在于,还包括:
分别与所述噪声去除模块和所述道路结构检测模块相连接的第一边界对象去除模块,用于去除所述第n个子图像的边界对象,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的去除噪声后的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的去除噪声后的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的去除噪声后的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
14.根据权利要求13所述的装置,其特征在于,还包括:
分别与所述第一边界对象去除模块和所述道路结构检测模块相连接的第一孔洞填充模块,用于对所述第n个子图像的去除边界对象后的二值图像填充孔洞,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值图像的边界上边界处的象元的值与所述第n个子图像的去除边界对象后的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的去除边界对象后的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的去除边界对象后的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
15.根据权利要求10或11所述的装置,其特征在于,还包括:
分别与所述二值图像获取模块和所述道路结构检测模块相连接的第二边界对象去除模块,用于去除所述第n个子图像的边界对象,包括:在接收到构造第一标记二值图像的指令后,构造第一标记二值图像,所述第一标记二值图像上边界处的象元的值为所述第n个子图像的二值图像的边界上的相同位置处的象元的值,所述第一标记二值图像上其它位置处的象元的值为零;依据所述第一标记二值图像对所述第n个子图像的二值图像进行重构,得到第一重构二值图像;将所述第n个子图像的二值图像与所述第一重构二值图像做差,获取所述第n个子图像的去除边界对象后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的去除边界对象后的二值图像进行结构检测。
16.根据权利要求10或11所述的装置,其特征在于,还包括:
分别与所述二值图像获取模块和所述道路结构检测模块相连接的第二孔洞填充模块,用于对第n个子图像的二值图像填充孔洞,包括:在接收到构造第二标记二值图像的指令后,构造第二标记二值图像,所述第二标记二值 图像的边界上边界处的象元的值与所述第n个子图像的二值图像的边界上的相同位置处的象元的值不同,所述第二标记二值图像上其它位置处的象元的值为零;获取所述第n个子图像的二值图像的补集图像,依据所述第二标记二值图像对所述第n个子图像的二值图像的补集图像进行重构,获得第二重构二值图像;将所述第二重构二值图像的补集图像作为所述第n个子图像的填充孔洞后的二值图像;
所述道路结构检测模块具体用于,对所述第n个子图像的填充孔洞后的二值图像进行结构检测。
17.根据权利要求10或11所述的装置,其特征在于,所述第一结构元素为线形结构元素。
18.根据权利要求10或11所述的装置,其特征在于,还包括:
分别与所述道路结构检测模块和所述合并模块相连接的修补模块,用于对所述第n个子图像的道路检测结果图像进行修补,包括:分别将每一个第一结构元素与所述第n个子图像的道路检测结果图像做闭运算,得到对所述第n个子图像的道路检测结果图像进行修补后的图像;
所述合并模块具体用于,将对所述第n个子图像的道路检测结果图像进行修补后的图像进行合并。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410119945.5A CN103839275B (zh) | 2014-03-27 | 2014-03-27 | 高光谱图像的道路提取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410119945.5A CN103839275B (zh) | 2014-03-27 | 2014-03-27 | 高光谱图像的道路提取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103839275A CN103839275A (zh) | 2014-06-04 |
CN103839275B true CN103839275B (zh) | 2016-11-16 |
Family
ID=50802741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410119945.5A Expired - Fee Related CN103839275B (zh) | 2014-03-27 | 2014-03-27 | 高光谱图像的道路提取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103839275B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10225468B2 (en) * | 2016-01-13 | 2019-03-05 | Omnivision Technologies, Inc. | Imaging systems and methods with image data path delay measurement |
CN106997580B (zh) * | 2016-01-25 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 图片处理方法和装置 |
CN108108721A (zh) * | 2018-01-09 | 2018-06-01 | 北京市遥感信息研究所 | 一种利用高光谱进行道路提取的方法 |
CN112613371A (zh) * | 2020-12-16 | 2021-04-06 | 上海大学 | 一种基于密集连接卷积神经网络高光谱图像道路提取方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101373515A (zh) * | 2008-10-20 | 2009-02-25 | 东软集团股份有限公司 | 道路区域检测方法及*** |
CN103632140A (zh) * | 2013-11-27 | 2014-03-12 | 智慧城市***服务(中国)有限公司 | 一种车道线检测方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140022197A (ko) * | 2012-08-13 | 2014-02-24 | 주식회사 만도 | 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템 |
-
2014
- 2014-03-27 CN CN201410119945.5A patent/CN103839275B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101373515A (zh) * | 2008-10-20 | 2009-02-25 | 东软集团股份有限公司 | 道路区域检测方法及*** |
CN103632140A (zh) * | 2013-11-27 | 2014-03-12 | 智慧城市***服务(中国)有限公司 | 一种车道线检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于高光谱图像多特征分析的目标提取研究;许毅平;《中国博士学位论文全文数据库》;20090515(第5期);第83-87,96页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103839275A (zh) | 2014-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Peraka et al. | Pavement asset management systems and technologies: A review | |
CN110390267B (zh) | 一种基于高分遥感影像的山地景观建筑提取方法和设备 | |
CN109190481B (zh) | 一种遥感影像道路材质提取方法和*** | |
CN107341453B (zh) | 一种车道线提取方法及装置 | |
CN104392212B (zh) | 一种基于视觉的道路信息检测及前方车辆识别方法 | |
Ribeiro et al. | Remote inspection of RC structures using unmanned aerial vehicles and heuristic image processing | |
CN103839275B (zh) | 高光谱图像的道路提取方法及装置 | |
Garilli et al. | Automatic detection of stone pavement's pattern based on UAV photogrammetry | |
Powers et al. | Remote sensing and object-based techniques for mapping fine-scale industrial disturbances | |
Dai et al. | Residential building facade segmentation in the urban environment | |
CN111191570B (zh) | 图像识别方法和装置 | |
CN108776772A (zh) | 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质 | |
Roscher et al. | SemCity Toulouse: A benchmark for building instance segmentation in satellite images | |
Zhou et al. | Automatic sewer defect detection and severity quantification based on pixel-level semantic segmentation | |
CN111104889A (zh) | 一种基于U-net的水体遥感识别方法 | |
Valentini et al. | A new video monitoring system in support of Coastal Zone Management at Apulia Region, Italy | |
Wu et al. | Applying deep convolutional neural network with 3D reality mesh model for water tank crack detection and evaluation | |
CN114049356A (zh) | 一种结构表观裂缝检测方法、装置及*** | |
JP2022549394A (ja) | コンテキストアウェアな意味的コンピュータ視覚技術を使用して公共基幹施設の異常を検出するシステム及び方法 | |
Adu-Gyamfi et al. | Functional evaluation of pavement condition using a complete vision system | |
Khryashchev et al. | Convolutional neural network for satellite imagery | |
Mo et al. | SAUNet3+ CD: A Siamese-attentive UNet3+ for change detection in remote sensing images | |
De la Cruz et al. | Near-realtime flood detection from multi-temporal sentinel radar images using artificial intelligence | |
Ma et al. | Road information extraction from high resolution remote sensing images based on threshold segmentation and mathematical morphology | |
Samadzadegan et al. | Automatic Road Crack Recognition Based on Deep Learning Networks from UAV Imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161116 |
|
CF01 | Termination of patent right due to non-payment of annual fee |