CN115457041B - 一种道路质量识别检测方法 - Google Patents

一种道路质量识别检测方法 Download PDF

Info

Publication number
CN115457041B
CN115457041B CN202211417318.0A CN202211417318A CN115457041B CN 115457041 B CN115457041 B CN 115457041B CN 202211417318 A CN202211417318 A CN 202211417318A CN 115457041 B CN115457041 B CN 115457041B
Authority
CN
China
Prior art keywords
gray
defect
window
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211417318.0A
Other languages
English (en)
Other versions
CN115457041A (zh
Inventor
秦敏
庞庆龙
刘绍元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuyang Luxing Highway Engineering Testing Co ltd
Anhui Qianjin Enterprise Management Co ltd
Original Assignee
Fuyang Luxing Highway Engineering Testing Co ltd
Anhui Qianjin Enterprise Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuyang Luxing Highway Engineering Testing Co ltd, Anhui Qianjin Enterprise Management Co ltd filed Critical Fuyang Luxing Highway Engineering Testing Co ltd
Priority to CN202211417318.0A priority Critical patent/CN115457041B/zh
Publication of CN115457041A publication Critical patent/CN115457041A/zh
Application granted granted Critical
Publication of CN115457041B publication Critical patent/CN115457041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及一种道路质量识别检测方法,该方法包括:获取道路表面灰度图像,对道路表面灰度图像进行分割获取车道线区域,进而得到优选道路图像;利用设定尺寸的窗口对优选道路图像进行处理,根据窗口内像素点的灰度等级计算窗口对应的灰度均匀程度,确定可能缺陷区域;根据骨架细化后的可能缺陷区域内像素点的霍夫直线检测投票值得到像素点的缺陷可能性,进而得到灰度等级对应的缺陷概率值;根据缺陷概率值构件缺陷特征矩阵,根据该矩阵的能量特征值确定超像素块的尺寸大小,进而进行超像素分割得到缺陷区域,再进行识别得到质量识别结果。本发明能够提高分割效率,保证分割精度。

Description

一种道路质量识别检测方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种道路质量识别检测方法。
背景技术
近年来,我国公路网络越来越发达,公路数量不断增强,与此同时车辆使用给公路带来的损害也在不断增加,道路上的坑坑洼洼、裂缝等对于车辆和人员安全都存在很大的威胁,所以对道路质量的检测需要受到重视,但是传统的人工检测道路质量越来越不现实,需要耗费大量的人力。现在逐渐发展为无人机道路巡检,主要通过使用无人机采集图像,然后分析图像中是否存在缺陷,从而判断当前路段质量是否合格等。
现有图像分割技术中的超像素分割效果较好,但是超像素分割需要设定较多参数,常规情况下这些参数是全局固定不变的,而道路表面的情况可能是复杂多样的,一种参数无法将道路表面存在复杂情况的缺陷准确地分割出来。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种道路质量识别检测方法,所采用的技术方案具体如下:
获取道路表面灰度图像,对道路表面灰度图像进行分割获取车道线区域,利用道路表面灰度图像中出现频次最高的灰度值对车道线区域内像素点的像素值进行赋值,得到优选道路图像;
对优选道路图像中像素点的像素值划分灰度等级,利用设定尺寸的窗口对优选道路图像进行处理,根据窗口内像素点的灰度等级计算窗口对应的灰度均匀程度;根据窗口对应的灰度均匀程度确定可能缺陷区域;
对各可能缺陷区域进行骨架细化,对骨架细化后的各可能缺陷区域进行霍夫直线检测,根据可能缺陷区域内像素点的霍夫直线检测投票值得到像素点的缺陷可能性;根据属于同一灰度等级的像素点的缺陷可能性的均值得到灰度等级对应的缺陷概率值;
根据像素点的灰度等级对应的缺陷概率值构建缺陷特征矩阵,根据缺陷特征矩阵中的缺陷概率值得到能量特征值,根据能量特征值确定超像素块的尺寸大小;根据超像素块的尺寸大小利用超像素分割方法对可能缺陷区域进行分割处理,得到缺陷区域;根据缺陷区域确定缺陷类型,进而对道路质量进行识别得到质量识别结果。
优选地,所述对道路表面灰度图像进行分割获取车道线区域具体为:
统计道路表面灰度图像中像素点的灰度值构建灰度直方图,根据灰度直方图确定灰度范围,选择灰度值位于灰度范围内的像素点作为初始种子点进行区域生长,得到车道线区域。
优选地,所述对优选道路图像中像素点的像素值划分灰度等级具体为:
统计优选道路图像中像素点的灰度值构建灰度直方图,利用多阈值分割法对灰度直方图进行分割,将分割在同一个区间的灰度值记为同一个灰度等级,并按照灰度值从小到大的顺序对灰度等级进行排序,按照排列顺序依次将排列序号记为其对应的灰度等级。
优选地,所述窗口对应的灰度均匀程度的获取方法具体为:
Figure DEST_PATH_IMAGE001
其中,HD表示窗口对应的灰度均匀程度,
Figure 212750DEST_PATH_IMAGE002
表示第a个像素点的灰度等级,
Figure 349464DEST_PATH_IMAGE003
表示窗口内像素点的总数量,exp( )表示以自然常数e为底的指数函数。
优选地,所述根据窗口对应的灰度均匀程度确定可能缺陷区域具体为:
将窗口的设定尺寸记为初始尺寸,当初始尺寸的窗口对应的灰度均匀程度小于或者等于程度阈值时,按照设定步长对窗口的初始尺寸进行矿大,并计算扩大后的窗口对应的灰度均匀程度,当扩大后的窗口对应的灰度均匀程度仍小于或者等于程度阈值时,仍继续扩大窗口的尺寸,直到扩大后的窗口对应的灰度均匀程度大于程度阈值时,将该窗口内的区域记为可能缺陷区域。
优选地,所述根据像素点的灰度等级对应的缺陷概率值构建缺陷特征矩阵具体为:
根据像素点的灰度等级构建可能缺陷区域对应的灰度共生矩阵,根据像素点的灰度等级对应的缺陷概率值和灰度共生矩阵中元素,构建缺陷特征矩阵。
优选地,所述根据能量特征值确定超像素块的尺寸大小具体为:
Figure 863622DEST_PATH_IMAGE004
其中,S为超像素块的尺寸大小,Ma表示缺陷特征矩阵对应的能量特征值,
Figure DEST_PATH_IMAGE005
表示常数系数,e为自然常数,
Figure 649044DEST_PATH_IMAGE006
为向上取整的函数。
优选地,所述根据超像素块的尺寸大小利用超像素分割方法对可能缺陷区域进行分割处理具体为:
根据超像素块的尺寸大小确定超像素分割时的搜索范围;根据可能缺陷区域内像素点的梯度值确定分割种子点,计算缺陷特征矩阵的逆差矩,根据逆差矩确定距离对应的权重值;根据所述权重值、可能缺陷区域内像素点的灰度值和分割种子点的灰度值、以及可能缺陷区域内像素点和分割种子点的像素坐标,计算像素点与其对应的搜索范围内分割种子点的距离;根据该距离进行超像素分割。
本发明实施例至少具有如下有益效果:
本发明通过对道路表面灰度图像进行分割获取车道线区域,进而获得优选道路图像,考虑了道路表面存在的车道线部分对缺陷部分的影响,并将属于车道线部分进行去除,使得后续进行缺陷分割时不受车道线部分的干扰;计算优选道路图像中长款内的灰度均匀程度,进而确定可能缺陷区域,对图像进行分块分析,通过单个窗口内像素点的灰度值的分布均匀性,粗略的进行判断可能存在缺陷的区域,进一步的缩小进行缺陷分割的范围;根据可能缺陷区域内像素点的霍夫直线检测投票值得到像素点的缺陷可能性,进而获得灰度等级对应的缺陷概率值,考虑了缺陷存在的形状特征,对像素点进行分析得到像素点为缺陷的可能程度,能够区分缺陷部分与脏污部分,进一步保证了后续进行超像素分割的精度;根据能量特征值确定超像素块的尺寸大小,进而对可能缺陷区域进行超像素分割得到缺陷区域,进而得到道路的质量识别结果,本发明能够根据能缺陷区域内的缺陷纹理特征值自适应的设置超像素分割的尺寸大小,提高了分割效率,也保证了分割精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明的一种道路质量识别检测方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种道路质量识别检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种道路质量识别检测方法的具体方案。
实施例:
请参阅图1,其示出了本发明一个实施例提供的一种道路质量识别检测方法的方法流程图,该方法包括以下步骤:
步骤一,获取道路表面灰度图像,对道路表面灰度图像进行分割获取车道线区域,利用道路表面灰度图像中出现频次最高的灰度值对车道线区域内像素点的像素值进行赋值,得到优选道路图像。
首先,在本实施例中,通过设置无人机的飞行路线与飞行高度,并控制无人机飞行期间采集清晰的道路表面图像,由于采集过程可能会受到机械噪声的影响,图像传输的过程可能受到脉冲噪声的影响,因此对采集到的图像进行降噪处理,在本实施例中采用高斯滤波对道路表面图像进行降噪处理。将滤波完成的图像进行语义分割,去除道路以外的背景区域的干扰,只保留道路表面部分。同时,将去除背景后的图像进行灰度化处理得到道路表面灰度图像。其中,语义分割的具体步骤为公知技术,在此不再过多介绍,实施者也可根据实际情况选择其他合适的方法去除背景的干扰。
需要说明的是,道路表面一般存在白色的车道线,或者可能由于道路使用年限较为久远,道路上的车道线磨损的越严重,导致白色的车道线对应的灰度值变小,在对道路表面进行检测是否存在破损时,车道线对于图像的纹理的干扰较大,而车道线又不属于破损缺陷部分的纹理,故需要去除车道线部分。
然后,对道路表面灰度图像进行分割获取车道线区域,具体地,统计道路表面灰度图像中像素点的灰度值构建灰度直方图,根据灰度直方图确定灰度范围,选择灰度值位于灰度范围内的像素点作为初始种子点进行区域生长,得到车道线区域。
在道路表面灰度图像上,属于车道线部分的像素点的灰度值均较大,故统计道路表面灰度图像中像素点的灰度值构建灰度直方图,对灰度直方图进行曲线拟合得到灰度曲线,获取灰度曲线上的波峰波谷。选择与灰度值最大的波峰相邻的波谷作为分割点,其中,该波谷对应的灰度值小于所述灰度值最大的波峰对应的灰度值,即该波谷位于灰度值最大的波峰左侧。
由于属于车道线部分的像素点的灰度值较大,则灰度曲线中灰度值最大的波峰对应的灰度值可能为车道线部分中大多数像素点对应的灰度值,故选择灰度值最大的波峰左侧最近邻的波谷作为分割点,可以确定属于车道线部分的灰度值的大致范围。即将分割点右侧所有灰度值构成灰度范围,在道路表面灰度图像上灰度值处于灰度范围内的像素点均可能为车道线部分的像素点。
因此,选择任意一个在道路表面灰度图像上灰度值位于灰度范围内的像素点,以该像素点作为初始种子点进行区域生长得到车道线区域,其中,利用初始种子点进行区域生长的规则实施者可根据实际情况进行设置。当前区域生长完成后继续从剩余的灰度值位于灰度范围内的像素点中选择初始生长点进行区域生长,不断进行区域生长直到灰度值位于灰度范围内的像素点均被遍历过一次,则所有的车道线区域生长结束。
最后,获取车道线区域后,由于车道线部分是具有一定规律性的,且在道路表面中的占比相对较大的纹理,对道路表面存在的缺陷纹理具有一定的干扰性,因此需要将车道线部分去除。具体地,获取道路表面灰度图像值出现频次最高的灰度值,即获取灰度曲线中峰值最高的波峰对应的灰度值,利用该灰度值对车道线区域内像素点的像素值进行重新赋值得到优选道路图像。由于道路表面灰度图像中最主要的颜色为道路主体部分的颜色,则出现频次最高的灰度值一定属于道路表面主体部分,利用道路主体部分的灰度值替换车道线部分的灰度值,能够去除车道线的干扰,且不会出现新的因素影响对道路主体部分进行缺陷检测的结果。
步骤二,对优选道路图像中像素点的像素值划分灰度等级,利用设定尺寸的窗口对优选道路图像进行处理,根据窗口内像素点的灰度等级计算窗口对应的灰度均匀程度;根据窗口对应的灰度均匀程度确定可能缺陷区域。
首先,需要说明的是,由于优选道路图像中包含的均为道路表面部分,如果道路表面不存在损伤缺陷,则优选道路图像中就不存在较为复杂的纹理,如果道路表面存在损伤缺陷,将车道线部分去除后,优选道路图像中唯一存在的纹理为存在损伤缺陷的区域纹理。故需要对优选道路图像进行分块处理,根据每块的纹理信息进行分析判断对应区域内是否存在缺陷,获取大致的缺陷信息,以便后续对图像进行精确地分割。
具体地,对优选道路图像中像素点的像素值划分灰度等级,在本实施例中,统计优选道理图像中像素点的灰度值构建灰度直方图,利用多阈值分割法对灰度直方图进行分割,将分割在同一个区间的灰度值记为同一个灰度等级,并按照灰度值从小到大的顺序对灰度等级进行排序,按照排列顺序依次将排列序号记为其对应的灰度等级。
其中,利用多阈值分割法进行灰度等级的划分是因为传统的灰度等级分割方法中,可能会将差异较大的灰度值划分为同一个灰度等级,使得利用划分后的灰度等级对图像进行分析时,缺陷部分与道路表面部分可能会被划分为同一个灰度等级,进而造成图像失真的情况,影响图像分割的精度。利用大津阈值分割法进行多阈值分割时,能够使得差异较大的灰度值尽可能的被划分为不同的灰度等级,同时,根据优选道路图像中所有像素点的灰度值进行等级的划分,能够更加适应图像,能够尽可能的增大图像中存在缺陷的部分与正常的部分之间的灰度差异。
然后,根据灰度等级对优选道路图像进行分析能够减小一定的计算量。利用设定尺寸的窗口对优选道路图像进行处理,在本实施例中,设定尺寸为3*3,即利用尺寸大小为3*3的窗口从优选道路图像的左上角的位置处开始,按照自左至右、自上至下的方式进行滑动。利用窗口对优选道路图像进行处理的目的是为了对图像进行分块分析,获取可能存在缺陷的区域。
对窗口内的区域进行分析时,若窗口内的区域不存在损伤缺陷,则窗口内的区域均为道路表面部分,窗口内的灰度信息较为均匀,即窗口内各像素点的灰度等级与窗口内整体的灰度等级之间的差异较小。若窗口内的区域存在损伤缺陷,则窗口内的区域除道路表面部分外还存在缺陷部分,故窗口内的灰度信息较为混乱,窗口内各像素点的灰度等级可能与窗口内整体的灰度等级之间的差异较大。
基于此,根据窗口内像素点的灰度等级计算窗口对应的灰度均匀程度,用公式表示为:
Figure 197837DEST_PATH_IMAGE001
其中,HD表示窗口对应的灰度均匀程度,
Figure 692404DEST_PATH_IMAGE002
表示第a个像素点的灰度等级,
Figure 179011DEST_PATH_IMAGE003
表示窗口内像素点的总数量,exp( )表示以自然常数e为底的指数函数。
Figure 846753DEST_PATH_IMAGE007
表示窗口内所有像素点的灰度等级的均值,
Figure 250052DEST_PATH_IMAGE008
表示窗口内第i个像素点的灰度等级与窗口内整体的灰度等级的差值,反映了像素点的灰度信息与窗口内整体的灰度信息之间的差异,该差值越大,说明窗口内的灰度差异越大,则窗口内的灰度信息越不均匀。
Figure 712258DEST_PATH_IMAGE009
表示窗口内各像素点与所述均值之间的方差的均值,反映了窗口内像素点的灰度信息的均一性,方差的均值取值越大,说明窗口内像素点的灰度信息越不均匀,则窗口内的灰度均匀程度的取值越小,方差的均值取值越小,说明窗口内像素点的灰度信息越均一,则窗口内的灰度均匀程度的取值越大。
最后,根据窗口的尺寸和窗口对应的灰度均匀程度确定可能缺陷区域,将窗口的设定尺寸记为初始尺寸,当初始尺寸的窗口对应的灰度均匀程度小于或者等于程度阈值时,按照设定步长对窗口的初始尺寸进行矿大,并计算扩大后的窗口对应的灰度均匀程度,当扩大后的窗口对应的灰度均匀程度仍小于或者等于程度阈值时,仍继续扩大窗口的尺寸,直到扩大后的窗口对应的灰度均匀程度大于程度阈值时,将该窗口内的区域记为可能缺陷区域。
在本实施例中,程度阈值的取值为0.4,实施者可根据实际情况进行设置。初始尺寸的窗口对应的灰度均匀程度小于或等于程度阈值时,即
Figure 184696DEST_PATH_IMAGE010
时,说明窗口内像素点的灰度信息较不均匀,窗口内可能存在损伤缺陷,为了获取局部最大的缺陷部分,则需要扩大窗口尺寸,按照设定步长对窗口的初始尺寸进行扩大,即将初始尺寸从3*3的尺寸大小,扩大至5*5的尺寸大小。其中,在本实施例中设定步长为2,实施者可根据实际情况进行设置。
计算扩大后的窗口对应的灰度均匀程度,当扩大后的窗口对应的灰度均匀程度小于或等于程度阈值时,仍需继续按照设定步长对窗口的尺寸进行扩大,直到扩大后的窗口对应的灰度均匀程度大于程度阈值时,说明此时窗口内的像素点的灰度信息均匀性相对较大,说明此时窗口内包含较多属于道路表面部分的像素点,并且窗口内包含了局部最大的缺陷部分,为了后续能够将存在损伤缺陷的区域精确地分割出来,故将该窗口记为可能存在缺陷的区域,对其余正常的部分不进行分块处理,后续仅对可能存在损伤缺陷的区域进行分析。
步骤三,对各可能缺陷区域进行骨架细化,对骨架细化后的各可能缺陷区域进行霍夫直线检测,根据可能缺陷区域内像素点的霍夫直线检测投票值得到像素点的缺陷可能性;根据属于同一灰度等级的像素点的缺陷可能性的均值得到灰度等级对应的缺陷概率值。
首先,需要说明的是,对于道路表面可能存在的损伤一般包括裂缝缺陷,道路裂缝损伤缺陷表现在优选道路图像中的纹理信息较为杂乱。而由于道路使用年限较为久远,道路表面除裂缝损伤缺陷外还可能存在油污等脏污部分,而脏污部分的存在可能会影响后续对缺陷区域的分割,故首先需要区分脏污部分和缺陷部分。在本实施对每个可能缺陷区域进行分析,获取可能缺陷区域内每个像素点为损失缺陷部分像素点的可能性。
可能缺陷区域内包含的纹理信息部分连通域的形状可能为多种多样的,其中较为规则的部分为存在裂缝缺陷的部分,较不规则的部分为脏污部分。同时,存在裂缝缺陷的部分具有较为直观的直线特性,而脏污部分的形状变化不具有规律性,且也不符合直线特征。基于此特征可以区分可能缺陷区域内损伤缺陷部分和脏污部分。
然后,对各可能缺陷区域进行骨架细化,在本实施例中,在未进行骨架细化的基础上分析可能缺陷区域的直线性时,由于所有区域内部可能存在多条线段,所以区分效果不明显。而将可能缺陷区域进行骨架细化后只获取每个区域的中轴,中轴为单线宽的线条,裂缝缺陷部分被细化后为一条较直的线段,而脏污部分被细化后为线圈,可以将两者较为准确地区分出来。
对骨架细化后的各可能缺陷区域进行霍夫直线检测,根据可能缺陷区域内像素点的霍夫直线检测投票值得到像素点的缺陷可能性,即对可能缺陷区域内像素点的霍夫直线检测投票值进行求和,将所述求和的结果作为该像素点的缺陷可能性,其中,霍夫直线检测投票值能够反映该像素点是否属于直线,该投票值越大,说明像素点越可能属于直线,则像素点对应的缺陷可能性越大,该像素点越可能属于裂缝缺陷部分。
所述像素点的缺陷可能性表示该像素点为裂缝缺陷的可能性,像素点的缺陷可能性的取值越大,说明该像素点越可能属于裂缝缺陷部分。并对像素点的缺陷可能性进行归一化处理,在本实施例中,归一化处理用公式表示为:
Figure 593812DEST_PATH_IMAGE011
其中,M为归一化前的像素点的缺陷可能性,
Figure 586039DEST_PATH_IMAGE012
为归一化后的像素点的缺陷可能性,e为自然常数。
最后,由于每个像素点对应一个灰度等级,可能会存在多个像素点的灰度等级相同,即同一个灰度等级对应多个像素点,而每一个像素点均对应一个归一化后的缺陷可能性,故需要获取同一个灰度等级对应的缺陷可能性。根据属于同一灰度等级的像素点的缺陷可能性的均值得到灰度等级对应的缺陷概率值,具体地,对属于同一灰度等级的像素点的缺陷可能性进行求和取均值,将该均值作为该灰度等级对应的缺陷概率值,按照相同的方法对每个灰度等级均进行处理,可以获得每个灰度等级对应的唯一一个缺陷概率值,即每个像素点对应一个灰度等级,也对应一个缺陷概率值。
步骤四,根据像素点的灰度等级对应的缺陷概率值构建缺陷特征矩阵,根据缺陷特征矩阵中的缺陷概率值得到能量特征值,根据能量特征值确定超像素块的尺寸大小;根据超像素块的尺寸大小利用超像素分割方法对可能缺陷区域进行分割处理,得到缺陷区域;根据缺陷区域确定缺陷类型,进而对道路质量进行识别得到质量识别结果。
首先,需要说明的是,在上述步骤中获得每个像素点可能为裂缝缺陷的可能性,进而需要根据该可能性对可能缺陷区域内的纹理信息进行分析,若可能缺陷区域内属于裂缝缺陷部分的像素点占比较多时,可能缺陷区域内的纹理较为混乱,根据不同的纹理信息后续对可能缺陷区域进行超像素分割时需采用不同的超像素尺寸,从而达到最优分割的效果。
在本实施例中,采用类比获取灰度共生矩阵的方法获取可能缺陷区域对应的缺陷特征矩阵,由于获取的超像素的尺寸大小需要与裂缝部分的粗细程度相匹配,但是利用灰度共生矩阵对可能缺陷区域的纹理进行分析时,仅是对可能缺陷区域整体的纹理分布情况进行分析,可能无法区分出可能缺陷区域内包含的裂缝缺陷和脏污部分,影响超像素尺寸的选择,进而影响超像素分割的精度。
具体地,获取可能缺陷区域的灰度共生矩阵,利用像素点的灰度等级对应的缺陷概率值对灰度共生矩阵进行更新,构建缺陷特征矩阵。在本实施例中,分别统计0°、45°、90°、135°方向上各灰度对出现的次数,每个可能缺陷区域依次获得4个方向的灰度共生矩阵。则根据灰度共生矩阵中的元素和像素点的灰度等级对应的缺陷概率值获取缺陷特征矩阵中的灰度频数,用公式表示为:
Figure 501036DEST_PATH_IMAGE013
其中,
Figure 211503DEST_PATH_IMAGE014
表示缺陷特征矩阵中灰度等级i和灰度等级j对应的灰度对的频数,
Figure DEST_PATH_IMAGE015
表示灰度等级i对应的缺陷概率值,
Figure 876840DEST_PATH_IMAGE016
表示灰度等级j对应的缺陷概率值,
Figure 989152DEST_PATH_IMAGE017
表示灰度共生矩阵中灰度等级i和灰度等级j对应的灰度对的频数。
利用缺陷概率值对灰度共生矩阵进行更新,结合了每个像素点可能为裂缝缺陷的可能性,使得对可能缺陷区域内的纹理信息进行分析时,能够区分出裂缝缺陷部分和脏污部分,能够更加突显裂缝缺陷部分的特征值。利用灰度等级对应的缺陷概率值对灰度共生矩阵中的元素进行相乘,该灰度等级对应的像素点越可能为裂缝缺陷,则缺陷特征矩阵中对应元素的取值越大。
然后,计算缺陷特征矩阵在四个方向上对应的能量值的均值,作为该缺陷特征矩阵对应的能量特征值,能量特征值的计算方法与灰度共生矩阵中能量值的计算方法相同,在此不再过多介绍。能量特征值反映了可能缺陷区域内灰度以及缺陷分布均匀程度和纹理粗细度。若缺陷特征矩阵的元素值相近,则能量特征值较小,表示纹理细致;若其中一些值大,而其它值小,则能量特征值较大。能量特征值大表明一种较均一和规则变化的纹理模式。即能量特征值反映了纹理的粗细程度,纹理的粗细程度对于后续选取超像素的大小有很重要的参考价值,越粗的纹理则需要获取越大的超像素尺寸,越细的纹理则需要超像素块的尺寸越小。
其中,越粗或越细的纹理是指可能缺陷区域中的裂缝缺陷部分宽度的粗细,越宽的裂缝需要较大的超像素块才能对其进行完整的分割,不会造成欠分割的情况;越细的裂缝需要较小的超像素块才能刚好对其进行分割,不会造成过度分割的情况。故需要结合裂纹的粗细来自适应的选取合适的超像素块的尺寸,从而达到最优分割的效果。
具体地,根据能量特征值确定超像素块的尺寸大小,用公式表示为:
Figure 58739DEST_PATH_IMAGE004
其中,S为超像素块的尺寸大小,Ma表示缺陷特征矩阵对应的能量特征值,
Figure 256502DEST_PATH_IMAGE005
表示常数系数,e为自然常数,
Figure 758153DEST_PATH_IMAGE006
为向上取整的函数。由于常规纹理对应的能量特征值值域较大,故对其进行归一化处理,对归一化后的能量特征值乘以常数系数使其能够适配像素单位,在本实施例中,常数系数的取值为10,实施者可根据实际情况进行设置,又因为可能存在小数,故对计算结果进行向上取整作为最终的超像素尺寸。
需要说明的是,在获取对可能缺陷区域进行超像素分割的超像素尺寸后,还需比较超像素块的尺寸大小与当前可能缺陷区域的尺寸大小,若超像素块的尺寸大小大于可能缺陷区域的尺寸大小,说明当前可能缺陷区域内包含缺陷部分较大,则需将当前可能缺陷区域对应的超像素分割时的超像素块的尺寸大小设置为可能缺陷区域的尺寸大小。
进一步的,在本实施例中,利用SLIC超像素分割方法对各个可能缺陷区域进行分割,确定期望的超像素块的尺寸大小为S*S,则利用SLIC超像素分割方法进行处理时所需要的初始聚类中心的尺寸与超像素块的尺寸相同,则搜索范围为2S*2S。其中与SLIC超像素分割方法的相关内容为公知技术,在此不再过多介绍。
计算每个可能缺陷区域的局部纹理相关性,根据局部相关性判断当前可能缺陷区域内的像素点在进行超像素分割时,灰度距离所占权重较大还是位置距离所占权重较大,并为每个可能缺陷区域像素点的灰度距离和位置距离赋予合适的权重值。具体地,计算可能缺陷区域对应的缺陷特征矩阵的逆差矩,所述逆差矩的计算方法与灰度共生矩阵的逆差矩的计算方法相同,在此不再过多介绍。
每个可能缺陷区域的纹理逆差矩反映了当前可能缺陷区域内纹理的同质性,用于度量图像局部纹理变化的多少,当可能缺陷区域内的各个局部纹理不发生变化时,逆差矩取值越大,说明局部灰度均匀,反之如果可能缺陷区域内的逆差矩取值越小,说明可能缺陷区域内的灰度值与缺陷概率值越不均匀。
需要说明的是,使用逆差矩获取每个可能缺陷区域缺陷纹理的同质性,因为不仅缺陷与正常区域之间存在灰度差异,缺陷与缺陷之间也存在灰度差异,例如宽度较大的裂缝与宽度较小的裂缝之间的灰度存在差异,根据逆差距获取裂缝的同质性就可以反映出当前可能缺陷区域是否存在有灰度差异的缺陷,当可能缺陷区域内存在有灰度差异的缺陷时,说明能缺陷区域内可能存在裂缝缺陷与脏污部分,所以通过调整灰度距离与位置距离的权重值,使得有灰度差异的区域灰度距离的权重值更大,进而能够更加准确地分割出裂缝缺陷与脏污部分。
当可能缺陷区域内的灰度值与缺陷概率值越不均匀时认为当前可能缺陷区域的纹理可能存在裂缝缺陷与脏污部分,需要结合灰度距离和位置距离综合决定当前像素点被分到哪个超像素块内。
同时,由于逆差矩的取值值域较大,需对其进行归一化处理,在本实施例中,由于逆差矩越小,区域内纹理越不均匀,故归一化用公式表示为
Figure 990551DEST_PATH_IMAGE018
,其中IDM表示可能缺陷区域的逆差矩,
Figure 231040DEST_PATH_IMAGE019
表示归一化处理后的优选特征值,该值越大,逆差矩的取值越小,说明区域内纹理越不均匀。
当优选特征值大于阈值时,则需要赋予灰度距离的权重值为
Figure 899787DEST_PATH_IMAGE020
,其中
Figure 454397DEST_PATH_IMAGE021
为灰度距离权重值,
Figure 275722DEST_PATH_IMAGE019
表示优选特征值。由于区域内的纹理较不均匀,则说明区域内可能存在裂缝缺陷部分与脏污部分,则需根据纹理分布均匀程度设置灰度距离与位置距离对应的权重值。则赋予位置距离的权重值为
Figure 703424DEST_PATH_IMAGE022
,其中
Figure 610200DEST_PATH_IMAGE023
为位置距离权重值,位置距离权重较大时,像素点被分配给相邻超像素块的可能性越大,进而像素点被分到其真实缺陷的超像素块内的可能性也越大。
最后,本实施例采用SLIC超像素分割方法对缺陷进行分割,故超像素分割过程与常规SLIC分割过程相同,但是基于原算法基础上进行了改进,实现了权重值的自适应。首先在可能缺陷区域窗口内计算所有像素点的梯度值,选取梯度极小值点作为当前可能缺陷区域的自适应分割种子点,由于梯度极小值点是整个可能缺陷区域窗口内灰度最平滑的像素点,以该点为种子点进行超像素分割时能够加快超像素分割速度。
对于可能缺陷区域内各搜索窗口像素点,计算像素点与其周围的分割种子点的距离,用公式表示为:
Figure 968500DEST_PATH_IMAGE024
其中,
Figure 159179DEST_PATH_IMAGE025
表示像素点b到分割种子点的距离,
Figure 944732DEST_PATH_IMAGE026
表示像素点b的灰度值,
Figure DEST_PATH_IMAGE027
表示分割种子点z的灰度值,
Figure 27220DEST_PATH_IMAGE021
表示灰度距离权重值,
Figure 720369DEST_PATH_IMAGE028
表示可能缺陷区域内的最大灰度距离,即区域内灰度值的最大值与最小值之差,实施者需要根据实际情况进行获取,
Figure 250708DEST_PATH_IMAGE023
表示位置距离权重值,
Figure 518747DEST_PATH_IMAGE029
Figure 603378DEST_PATH_IMAGE030
分别表示像素点b和分割种子点z的像素坐标,
Figure 100218DEST_PATH_IMAGE031
表示最大空间位置距离,在本实施例中的取值为超像素块的尺寸S,实施者可根据实际情况进行设置。
Figure 766954DEST_PATH_IMAGE032
表示可能缺陷区域的像素点到分割种子点的灰度距离,
Figure 425468DEST_PATH_IMAGE033
表示可能缺陷区域的像素点到分割种子点的位置距离,
Figure 794133DEST_PATH_IMAGE034
使用灰度距离的权重值对原始灰度距离进行了修正,当可能缺陷区域的同质性较好,即逆差距较大时,说明可能缺陷区域的缺陷相似性较大,因此应该对灰度距离的设置较大的权重,在位置距离相同的情况下,像素点会被分割到与其灰度更相似的种子点区域内。
Figure 281615DEST_PATH_IMAGE035
使用位置距离的权重值对原始位置距离进行了修正,当可能缺陷区域的同质性较差,即逆差距较小时,说明可能缺陷区域的缺陷差异较大,因此应该对位置距离的设置较大的权重,在灰度距离相同的情况下,像素点会被分割到与其位置更相近的种子点区域内。
通过权重值对原始距离的修正,能够对每个像素点进行更加准确的分割,使得其尽可能的分割到最优的种子点区域,相较于不设定权重值时,设定权重值能够更加灵活,自适应的根据像素点的自身灰度值和位置分布关系将其分割到合适的种子点区域。
将像素点最终分配给与其距离d最小的种子点所在超像素块内,最终每个可能缺陷区域内的像素点被分配给合适的种子点中心,当所有像素点都被分到合适的种子点中心后,超像素分割完成,可以得到各个缺陷部分。将超像素分割出来的区域内像素点的像素值设置为1,将其他区域像素点的像素值设置为0,进而得到掩膜图像,将掩膜图像与原始的优选道路图像相乘,得到缺陷分析图像,对缺陷分析图像进行分割可以得到缺陷区域,根据缺陷区域识别缺陷类型,进而根据缺陷类型进行判断道路表面质量是否合格。实施者可根据实际情况选择合适的方法进行判断,例如选择人工进行识别判断,或者利用神经网络进行识别判断,此为公知技术在此不再过多介绍。
需要说明的是,本发明通过可能缺陷区域对应的缺陷特征矩阵获取纹理特征值,进而获取超像素分割的尺寸以及距离权参数,从而使得超像素分割缺陷区域时能够根据缺陷的纹理特征自适应的设置参数,提高了分割效率,也保证了分割精度。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (8)

1.一种道路质量识别检测方法,其特征在于,该方法包括以下步骤:
获取道路表面灰度图像,对道路表面灰度图像进行分割获取车道线区域,利用道路表面灰度图像中出现频次最高的灰度值对车道线区域内像素点的像素值进行赋值,得到优选道路图像;
对优选道路图像中像素点的像素值划分灰度等级,利用设定尺寸的窗口对优选道路图像进行处理,根据窗口内像素点的灰度等级计算窗口对应的灰度均匀程度;根据窗口对应的灰度均匀程度确定可能缺陷区域;
对各可能缺陷区域进行骨架细化,对骨架细化后的各可能缺陷区域进行霍夫直线检测,根据可能缺陷区域内像素点的霍夫直线检测投票值得到像素点的缺陷可能性;根据属于同一灰度等级的像素点的缺陷可能性的均值得到灰度等级对应的缺陷概率值;
根据像素点的灰度等级对应的缺陷概率值构建缺陷特征矩阵,根据缺陷特征矩阵中的缺陷概率值得到能量特征值,根据能量特征值确定超像素块的尺寸大小;根据超像素块的尺寸大小利用超像素分割方法对可能缺陷区域进行分割处理,得到缺陷区域;根据缺陷区域确定缺陷类型,进而对道路质量进行识别得到质量识别结果。
2.根据权利要求1所述的一种道路质量识别检测方法,其特征在于,所述对道路表面灰度图像进行分割获取车道线区域具体为:
统计道路表面灰度图像中像素点的灰度值构建灰度直方图,根据灰度直方图确定灰度范围,选择灰度值位于灰度范围内的像素点作为初始种子点进行区域生长,得到车道线区域。
3.根据权利要求1所述的一种道路质量识别检测方法,其特征在于,所述对优选道路图像中像素点的像素值划分灰度等级具体为:
统计优选道路图像中像素点的灰度值构建灰度直方图,利用多阈值分割法对灰度直方图进行分割,将分割在同一个区间的灰度值记为同一个灰度等级,并按照灰度值从小到大的顺序对灰度等级进行排序,按照排列顺序依次将排列序号记为其对应的灰度等级。
4.根据权利要求1所述的一种道路质量识别检测方法,其特征在于,所述窗口对应的灰度均匀程度的获取方法具体为:
Figure 771641DEST_PATH_IMAGE002
其中,HD表示窗口对应的灰度均匀程度,
Figure DEST_PATH_IMAGE003
表示第a个像素点的灰度等级,
Figure 806593DEST_PATH_IMAGE004
表示窗口内像素点的总数量,exp( )表示以自然常数e为底的指数函数。
5.根据权利要求1所述的一种道路质量识别检测方法,其特征在于,所述根据窗口对应的灰度均匀程度确定可能缺陷区域具体为:
将窗口的设定尺寸记为初始尺寸,当初始尺寸的窗口对应的灰度均匀程度小于或者等于程度阈值时,按照设定步长对窗口的初始尺寸进行矿大,并计算扩大后的窗口对应的灰度均匀程度,当扩大后的窗口对应的灰度均匀程度仍小于或者等于程度阈值时,仍继续扩大窗口的尺寸,直到扩大后的窗口对应的灰度均匀程度大于程度阈值时,将该窗口内的区域记为可能缺陷区域。
6.根据权利要求1所述的一种道路质量识别检测方法,其特征在于,所述根据像素点的灰度等级对应的缺陷概率值构建缺陷特征矩阵具体为:
根据像素点的灰度等级构建可能缺陷区域对应的灰度共生矩阵,根据像素点的灰度等级对应的缺陷概率值和灰度共生矩阵中元素,构建缺陷特征矩阵。
7.根据权利要求1所述的一种道路质量识别检测方法,其特征在于,所述根据能量特征值确定超像素块的尺寸大小具体为:
Figure 577103DEST_PATH_IMAGE006
其中,S为超像素块的尺寸大小,Ma表示缺陷特征矩阵对应的能量特征值,
Figure DEST_PATH_IMAGE007
表示常数系数,e为自然常数,
Figure 406519DEST_PATH_IMAGE008
为向上取整的函数。
8.根据权利要求1所述的一种道路质量识别检测方法,其特征在于,所述根据超像素块的尺寸大小利用超像素分割方法对可能缺陷区域进行分割处理具体为:
根据超像素块的尺寸大小确定超像素分割时的搜索范围;根据可能缺陷区域内像素点的梯度值确定分割种子点,计算缺陷特征矩阵的逆差矩,根据逆差矩确定距离对应的权重值;根据所述权重值、可能缺陷区域内像素点的灰度值和分割种子点的灰度值、以及可能缺陷区域内像素点和分割种子点的像素坐标,计算像素点与其对应的搜索范围内分割种子点的距离;根据该距离进行超像素分割。
CN202211417318.0A 2022-11-14 2022-11-14 一种道路质量识别检测方法 Active CN115457041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211417318.0A CN115457041B (zh) 2022-11-14 2022-11-14 一种道路质量识别检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211417318.0A CN115457041B (zh) 2022-11-14 2022-11-14 一种道路质量识别检测方法

Publications (2)

Publication Number Publication Date
CN115457041A CN115457041A (zh) 2022-12-09
CN115457041B true CN115457041B (zh) 2023-02-14

Family

ID=84295394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211417318.0A Active CN115457041B (zh) 2022-11-14 2022-11-14 一种道路质量识别检测方法

Country Status (1)

Country Link
CN (1) CN115457041B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909256B (zh) * 2023-01-06 2023-05-19 济宁市百卉农林发展有限公司 基于道路视觉图像的道路病害检测方法
CN115862006B (zh) * 2023-03-01 2023-05-16 山东长有面粉有限公司 一种面粉磨粉过程中麸星的检测方法
CN116092015B (zh) * 2023-04-06 2023-06-27 安徽乾劲企业管理有限公司 一种道路施工状态监测方法
CN116228765B (zh) * 2023-05-08 2023-07-21 济宁市健达医疗器械科技有限公司 一种口罩耳带焊接质量的检测方法
CN116452580B (zh) * 2023-06-13 2023-09-01 山东古天电子科技有限公司 一种笔记本外观质量检测方法
CN116485801B (zh) * 2023-06-26 2023-09-12 山东兰通机电有限公司 基于计算机视觉的胶管质量在线检测方法及***
CN116503404B (zh) * 2023-06-27 2023-09-01 梁山县创新工艺品股份有限公司 塑料玩具质量检测方法、装置、电子设备及存储介质
CN116664584B (zh) * 2023-08-02 2023-11-28 东莞市旺佳五金制品有限公司 一种薄壁类锌合金压铸模具生产智能反馈调节***
CN116681703B (zh) * 2023-08-03 2023-10-10 杭州鸿世电器股份有限公司 一种智能开关质量快速检测方法
CN116703251B (zh) * 2023-08-08 2023-11-17 德润杰(山东)纺织科技有限公司 基于人工智能的胶圈生产质量检测方法
CN116758059B (zh) * 2023-08-10 2023-10-20 吉林交通职业技术学院 一种用于路基路面的视觉无损检测方法
CN116758065B (zh) * 2023-08-14 2023-10-20 山东嘉利诺新材料科技有限公司 一种防火板表面缺陷快速检测方法
CN116993947B (zh) * 2023-09-26 2023-12-12 光谷技术有限公司 一种三维场景可视化展示方法及***
CN117095362B (zh) * 2023-10-20 2024-02-02 中国科学院苏州生物医学工程技术研究所 一种细胞分选仪的液滴监测方法、***及存储介质
CN117173661B (zh) * 2023-11-02 2024-01-26 中铁五局集团成都工程有限责任公司 基于计算机视觉的沥青道路质量检测方法
CN117541605B (zh) * 2024-01-09 2024-03-29 山东华中重钢有限公司 一种钢结构锈蚀图像区域快速分割方法
CN118015002B (zh) * 2024-04-10 2024-06-18 盈客通天下科技(大连)有限公司 一种交通工程路况视觉检测方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153304A1 (zh) * 2017-02-22 2018-08-30 武汉极目智能技术有限公司 基于adas***的地图道路标记及道路质量采集装置及方法
CN109115785A (zh) * 2018-08-08 2019-01-01 长沙理工大学 一种铸件打磨质量检测方法、装置及其使用方法
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153304A1 (zh) * 2017-02-22 2018-08-30 武汉极目智能技术有限公司 基于adas***的地图道路标记及道路质量采集装置及方法
CN109115785A (zh) * 2018-08-08 2019-01-01 长沙理工大学 一种铸件打磨质量检测方法、装置及其使用方法
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法

Also Published As

Publication number Publication date
CN115457041A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN115457041B (zh) 一种道路质量识别检测方法
CN115829883B (zh) 一种异性金属结构件表面图像去噪方法
CN112419250B (zh) 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN116310360B (zh) 一种电抗器表面缺陷检测方法
CN115311292B (zh) 基于图像处理的带钢表面缺陷检测方法及***
CN117173184B (zh) 基于人工智能的道路施工质量检测方法及***
CN110533672B (zh) 一种基于条带识别的染色体排序方法
CN106251361B (zh) 一种钢轨表面缺陷图像自适应分割方法
CN114140462B (zh) 一种基于图像处理的轴承磨损程度评估方法
CN109191459B (zh) 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法
CN114219805B (zh) 一种玻璃缺陷智能检测方法
CN115018838B (zh) 用于被氧化钢管材料表面麻点瑕疵的识别方法
CN108711158B (zh) 基于轮廓拟合和径向分割的指针式仪表图像识别方法
CN114782432B (zh) 一种基于纹理特征的改进canny算子的边缘检测方法
CN115082418A (zh) 一种汽车零部件精密识别方法
CN115294159B (zh) 金属紧固件腐蚀区域分割方法
CN115330645B (zh) 一种焊接图像增强方法
CN114749342B (zh) 一种锂电池极片涂布缺陷识别方法、装置及介质
CN115063430B (zh) 基于图像处理的电气管道裂纹检测方法
CN116309537A (zh) 一种极耳模具表面油污的缺陷检测方法
CN115115638B (zh) 一种液压***漏油检测及判定方法
CN116630813B (zh) 一种公路路面施工质量智能检测***
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN115063400B (zh) 利用视觉手段的乐器生产缺陷检测方法
CN112288760B (zh) 一种粘连细胞图像筛除方法、***及细胞图像分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant