CN106778844B - 隧道内裂缝匹配方法和*** - Google Patents
隧道内裂缝匹配方法和*** Download PDFInfo
- Publication number
- CN106778844B CN106778844B CN201611090020.8A CN201611090020A CN106778844B CN 106778844 B CN106778844 B CN 106778844B CN 201611090020 A CN201611090020 A CN 201611090020A CN 106778844 B CN106778844 B CN 106778844B
- Authority
- CN
- China
- Prior art keywords
- crack
- corner
- image
- point
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种隧道内裂缝匹配方法和***,涉及安全监测的技术领域,该方法包括:当获取到裂缝图像时,根据预处理后得到的裂缝骨架图像的走向对提取的角点进行连接,形成角点折线,对每个角点折线上的像素点横坐标进行增量,以得到折线上的所有像素点,并通过得到的像素点对裂缝图像的图像特征点进行扩充,从而大大增加了图像特征点的数量,与现有技术中sift算法提取的图像特征点少导致匹配效果差和精度低相比,由于扩充后的图像特征点数量大大增加,使得图像匹配结果更加准确,能够很好的确定隧道内细小的裂缝的变化趋势,以保证隧道内基础设施的安全,避免人身和财产的损失。
Description
技术领域
本发明涉及安全监测领域,具体而言,涉及一种隧道内裂缝匹配方法和***。
背景技术
目前,随着地铁路线的快速发展,隧道内基础设施的维护显得至关重要,隧道内洞体的表面在外界力的作用下容易导致裂缝的出现,影响隧道的正常使用,威胁行车安全,如果对隧道洞体出现的裂缝不及时预警,会使隧道洞体内部进一步被破坏,一旦发生事故,给生命财产带来巨大损失。因此,对隧道洞体裂缝的监测显得十分的重要。
相关技术中,对裂缝监测主要有两种方法,一种是通过灰度阈值法将背景与裂缝信息进行分离,采用sift算法得到特征向量,然后匹配图像存在的缺陷;另一种则是将没有经过预处理直接将采集的原图像进行高斯尺度的变换,提取不同尺度空间的特征角点,然后再采用sift算法进行图像的匹配。
但是,上述两种对隧道裂缝的匹配方法,只是通过提取特征角点再采用sift算法得到特征向量对图像进行匹配,该匹配方法选取的角点数量较少,导致匹配效果较差,只能对路面较宽的裂缝进行匹配,在对细小的裂缝进行匹配的过程中,匹配结果的准确性不高,不能够达到对存在细小裂缝图像进行准确匹配的要求。
发明内容
有鉴于此,本发明实施例的目的在于提供一种隧道内裂缝匹配方法和***,以实现能够对隧道内细小的裂缝进行匹配,保证对细小裂缝匹配的准确性,实时监控隧道内的细小裂缝的发展,防止危险的发生。
第一方面,本发明实施例提供了隧道内裂缝匹配方法,包括:
获取裂缝图像,并对所述裂缝图像进行预处理,得到裂缝骨架图像;
对所述裂缝骨架图像进行角点检测,得到所述裂缝骨架图像中的角点;
根据所述角点确定裂缝骨架走向,并根据所述裂缝骨架走向对相邻的角点进行连接,得到彼此相邻的角点连接后形成的多个角点折线;
对多个角点折线中各所述角点折线进行处理,得到各所述角点折线上的像素点,将各所述角点折线上的像素点和所述角点确定为所述裂缝图像的图像特征点;
将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行特征匹配操作,确定所述裂缝图像的裂缝类型。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,对多个角点折线中各所述角点折线进行处理,得到各所述角点折线上的像素点,包括:
当增量操作后的所述多个角点折线中各所述角点折线中像素点的横坐标小于各所述角点折线的终止端点横坐标时,根据预设横坐标增量对各所述角点折线的起始端点横坐标进行增量操作;
通过进行完增量操作的横坐标和所在角点折线确定出进行完增量操作的横坐标对应的纵坐标,并以进行完增量操作的横坐标和相应的纵坐标确定出各所述角点折线上的像素点。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,通过进行完增量操作的横坐标和所在角点折线确定出相应纵坐标,包括:
计算多个角点折线中各所述角点折线的斜率;
根据公式y'mi=km(xmi+b)+c计算出所述进行完增量操作的横坐标和相应纵坐标;
其中,km表示第m段角点折线的斜率,xmi表示第m段角点折线中第i个角点的横坐标,y'i表示第i个像素点的横坐标增量操作后得到的纵坐标,b表示预设横坐标增量,c表示各所述角点折线与纵轴的交点。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行匹配操作,确定所述裂缝图像的裂缝类型,包括:
根据Fréchet距离算法,逐一计算所述裂缝图像的图像特征点与不同类型裂缝图像的特征点的Fréchet距离集合,所述Fréchet距离集合包括多个Fréchet距离;
确定计算得到的所述Fréchet距离集合中小于预设的Fréchet距离阈值的Fréchet距离;
将小于预设的Fréchet距离阈值的Fréchet距离所对应的裂缝类型确定为所述裂缝图像的裂缝类型。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行匹配操作,确定所述裂缝图像的裂缝类型,还包括:
当通过逐一计算得到的Fréchet距离未能确定出所述裂缝图像的裂缝类型时,计算得到的各所述角点折线上的像素点分别与各角点的欧氏距离;
将与各角点的欧式距离小于预设欧式距离阈值的像素点作为各角点的特征点,形成所述裂缝图像各角点的特征点集合;
通过以下公式(1)至公式(3)计算所述裂缝图像各角点的特征点集合与不同类型裂缝图像的预设的角点特征点集的Hausdorff距离,分别得到所述裂缝图像与不同类型裂缝图像的Hausdorff距离值集合:
H(N{i},M{j})=max(h(N{i},M{j}),h(M{j},N{i})) (1)
h(N{i},M{j})=max(a∈N{i})min(b∈M{j})||a-b|| (2)
h(M{j},N{i})=max(b∈M{j})min(a∈N{i})||b-a|| (3)
其中,N{i}表示所述裂缝图像角点组成的i个特征点集,M{j}表示其他任意裂缝图像角点组成的j个特征点集,a表示N{i}中的特征点,b表示M{j}中的特征点,H(N{i},M{j})代表点集之间的Hausdorff距离,h(N{i},M{j})和h(M{j},N{i})代表单向距离,||·||表示点集间的距离范数;
将所述裂缝图像与不同类型裂缝图像的每个角点特征点集一一进行Hausdorff距离计算,得到所述特征点集中所有点之间距离的i×j的矩阵h,当所述裂缝图像与不同类型裂缝图像的两个角点特征点集的Hausdorff距离值小于预设Hausdorff距离值时,则确定所述裂缝图像与不同类型裂缝图像中对应的两个角点匹配;
当所述裂缝图像的角点与一类型裂缝图像的角点匹配数量超过预设数量时,确定所述裂缝图像为所述类型裂缝图像。
第二方面,本发明实施例提供了隧道内裂缝匹配***,包括:
裂缝图像预处理模块,用于获取裂缝图像,并对所述裂缝图像进行预处理,得到裂缝骨架图像;
角点检测模块,用于对所述裂缝骨架图像进行角点检测,得到所述裂缝骨架图像中的角点;
角点折线确定模块,用于根据所述角点确定裂缝骨架走向,并根据所述裂缝骨架走向对相邻的角点进行连接,得到彼此相邻的角点连接后形成的多个角点折线;
图像特征点确定模块,用于对多个角点折线中各所述角点折线进行处理,得到各所述角点折线上的像素点,将各所述角点折线上的像素点和所述角点确定为所述裂缝图像的图像特征点;
裂缝类型确定模块,用于将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行特征匹配操作,确定所述裂缝图像的裂缝类型。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述图像特征点确定模块包括:
增量操作单元,用于当增量操作后的所述多个角点折线中各所述角点折线中像素点的横坐标小于各所述角点折线的终止端点横坐标时,根据预设横坐标增量对各所述角点折线的起始端点横坐标进行增量操作;
像素点确定单元,用于通过进行完增量操作的横坐标和所在角点折线确定出进行完增量操作的横坐标对应的纵坐标,并以进行完增量操作的横坐标和相应的纵坐标确定出各所述角点折线上的像素点。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所述像素点确定单元包括:
斜率计算子单元,用于计算多个角点折线中各所述角点折线的斜率;
纵坐标计算单元,用于根据公式y'mi=km(xmi+b)+c计算出所述进行完增量操作的横坐标和相应纵坐标;
其中,km表示第m段角点折线的斜率,xmi表示第m段角点折线中第i个角点的横坐标,y'i表示第i个像素点的横坐标增量操作后得到的纵坐标,b表示预设横坐标增量,c表示各所述角点折线与纵轴的交点。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,所述裂缝类型确定模块包括:
Fréchet距离计算单元,用于根据Fréchet距离算法,逐一计算所述裂缝图像的图像特征点与不同类型裂缝图像的特征点的Fréchet距离集合,所述Fréchet距离集合包括多个Fréchet距离;
Fréchet距离比较单元,用于确定计算得到的所述Fréchet距离集合中小于预设的Fréchet距离阈值的Fréchet距离;
第一裂缝类型确定单元,用于将小于预设的Fréchet距离阈值的Fréchet距离所对应的裂缝类型确定为所述裂缝图像的裂缝类型。
结合第二方面,本发明实施例提供了第二方面的第四种可能的实施方式,其中,所述裂缝类型确定模块还包括:
欧氏距离计算模块,用于当通过逐一计算得到的Fréchet距离未能确定出所述裂缝图像的裂缝类型时,计算得到的各所述角点折线上的像素点分别与各角点的欧氏距离;
特征点集合确定单元,将与各角点的欧式距离小于预设欧式距离阈值的像素点作为各角点的特征点,形成所述裂缝图像各角点的特征点集合;
Hausdorff距离计算单元,用于通过以下公式(1)至公式(3)计算所述裂缝图像各角点的特征点集合与不同类型裂缝图像的预设的角点特征点集的Hausdorff距离,分别得到所述裂缝图像与不同类型裂缝图像的Hausdorff距离值集合:
H(N{i},M{j})=max(h(N{i},M{j}),h(M{j},N{i})) (1)
h(N{i},M{j})=max(a∈N{i})min(b∈M{j})||a-b|| (2)
h(M{j},N{i})=max(b∈M{j})min(a∈N{i})||b-a|| (3)
其中,N{i}表示所述裂缝图像角点组成的i个特征点集,M{j}表示其他任意裂缝图像角点组成的j个特征点集,a表示N{i}中的特征点,b表示M{j}中的特征点,H(N{i},M{j})代表点集之间的Hausdorff距离,h(N{i},M{j})和h(M{j},N{i})代表单向距离,||·||表示点集间的距离范数;
角点匹配单元,用于将所述裂缝图像与不同类型裂缝图像的每个角点特征点集一一进行Hausdorff距离计算,得到所述特征点集中所有点之间距离的i×j的矩阵h,当所述裂缝图像与不同类型裂缝图像的两个角点特征点集的Hausdorff距离值小于预设Hausdorff距离值时,则确定所述裂缝图像与不同类型裂缝图像中对应的两个角点匹配;
第二裂缝类型确定单元,用于当所述裂缝图像的角点与一类型裂缝图像的角点匹配数量超过预设数量时,确定所述裂缝图像为所述类型裂缝图像。
本发明实施例提供的一种隧道内裂缝匹配方法和***,当获取到裂缝图像时,根据预处理后得到的裂缝骨架图像的走向对提取的角点进行连接,形成角点折线,对每个角点折线上的像素点横坐标进行增量,以得到折线上的所有像素点,并通过得到的像素点对裂缝图像的图像特征点进行扩充,从而大大增加了图像特征点的数量,与现有技术中sift算法提取的图像特征点少导致匹配效果差和精度低相比,由于扩充后的图像特征点数量大大增加,使得图像匹配结果更加准确,能够很好的确定隧道内细小的裂缝的裂缝类型,以保证隧道内基础设施的安全,避免人身和财产的损失。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种隧道内裂缝匹配方法的流程图;
图2示出了本发明实施例所提供的确定裂缝图像的图像特征点的流程图;
图3示出了本发明实施例所提供的一种隧道内裂缝匹配***的结构示意图;
图4示出了本发明实施例所提供的图像特征点确定模块的结构示意图。
图标:
附图3中,各标号所代表的部件列表如下:
30-裂缝图像预处理模块;31-角点检测模块;
32-角点折线确定模块;33-图像特征点确定模块;
34-裂缝类型确定模块。
附图4中,各标号所代表的部件列表如下:
40-增量操作单元;41-像素点确定单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到相关技术中,对裂缝监测主要有两种方法,一种是通过灰度阈值法将背景与裂缝信息进行分离,采用sift算法得到特征向量,然后匹配图像存在的缺陷;另一种则是将没有经过预处理直接将采集的原图像进行高斯尺度的变换,提取不同尺度空间的特征角点,然后再采用sift算法进行图像的匹配。但是,上述两种对隧道裂缝的匹配方法,只是通过提取特征角点再采用sift算法得到特征向量对图像进行匹配,该匹配方法选取的角点数量较少,只能对路面较宽的裂缝进行匹配,在对细小的裂缝进行匹配的过程中,匹配结果的准确性不高,不能够达到对存在细小裂缝图像进行准确匹配的要求。基于此,本发明实施例提供了一种隧道内裂缝匹配方法和***,下面通过实施例进行描述。
实施例1
本实施例提出的隧道内裂缝匹配方法的执行主体是隧道内裂缝匹配***,在获取到裂缝图像时,对裂缝图像进行处理提取出该裂缝图像的图像特征点,从而与预存储的裂缝图像进行匹配,确定获取到的裂缝图像的类型,该方法能够对隧道内细小的裂缝进行准确的匹配,从而实现对隧道内的基础设施进行监测,防止危险的发生。
参见图1,本实施例提供一种隧道内裂缝匹配方法,包括:
步骤S101,获取裂缝图像,并对裂缝图像进行预处理,得到裂缝骨架图像。
其中,步骤S101中对裂缝图像进行预处理包括:匀光算法、阈值分割、去噪算法、细化算法;
(1)Mask匀光算法
假设原始图像为Io(x,y),高斯低通滤波后得到的背景图像为Ib(x,y),灰度偏移量为offset,经计算可得到图像Ir(x,y),计算公式如下所示:
Ir(x,y)=Io(x,y)-Ib(x,y)+offset
这里的offset通常取原图像的灰度均值以保证前后图像灰度值不发生太大变化。
接下来进行图像拉伸,得到图像Im(x,y)即为匀光算法处理后的图像。图像拉伸过程见下式:
v为线性拉伸因子,取为20。
(2)OTSU阈值分割
利用OTSU算法(最大类间方差法),求得图像分割的阈值T,将匀光后的图像进行二值化。阈值分割的过程见下式:
其中It(x,y)为分割后的图像,Im(x,y)为原图像,T1为分割阈值。
(3)基于连通域的去噪算法
经OTSU分割后图像It(x,y)仍存在很多散点以及紧密型块状噪声,本发明采用基于连通区域的方法去除此类噪声。
在二值图中,连通区域是指具有相同像素值的且相互连接的像素点的集合。取像素值为0的像素点8-邻域对应的连通区域。
针对散点噪声,采用基于连通区域面积的方法对噪声进行去除。由于散点噪声连通区域内像素点较少,所以可以设置阈值T2,若连通区域Ck内像素点个数Nk小于此阈值则滤除。滤除部分可由下式表示:
Il(x,y)={Ck(x,y)|Nk<T2,k=1,2...n}
而针对紧密型块状噪声采用基于矩形度的方法去除噪声,紧密型块状噪声一般成块状,不同于裂缝的线状,可以根据连通区域像素点个数和外接矩形的比值来进行滤除。设置阈值为T3则滤除的部分可由下式表示:
Il(x,y)={Ck(x,y)|Nk/Sk>T3,k=1,2...n}
Sk=(b-a)*(d-c)
其中a、b为连通区域部分行数最小值和最大值,c、d为列数的最小值和最大值。
经过上两步去噪算法,可以去除裂缝外的噪声部分,得到只含裂缝部分的二值图B(x,y)。
(4)细化算法
经过上一步算法处理得到的裂缝二值图B(x,y)有一定的宽度,无法明确的显示裂缝骨架的走势,所以需要对其进行细化,得到裂缝骨架图Bm(x,y)。采用快速并行细化算法对图像进行细化。
该算法是一个迭代过程,从裂缝的两侧边缘开始,将满足条件的像素点除掉,层层向内剥离,最终得到裂缝的骨架图。
步骤S102,对裂缝骨架图像进行角点检测,得到裂缝骨架图像中的角点。
步骤S103,根据角点确定裂缝骨架走向,并根据裂缝骨架走向对相邻的角点进行连接,得到彼此相邻的角点连接后形成的多个角点折线。
应用Harris角点检测算法对得到的裂缝骨架图Bm(x,y)进行角点检测,将角点坐标保存在矩阵中形成角点矩阵,其中角点矩阵D第1列为角点所在列数,角点矩阵D第2列为角点所在行数。以角点列数作为x坐标轴,角点行数作为y坐标轴,作出角点位置曲线,其中,该角点位置曲线是一个折线图。
步骤S104,对多个角点折线中各角点折线进行处理,得到各角点折线上的像素点,将各角点折线上的像素点和角点确定为裂缝图像的图像特征点。
参见图2,具体的,步骤S104包括步骤S201和步骤S202:
步骤S201,当增量操作后的多个角点折线中各角点折线中像素点的横坐标小于各角点折线的终止端点横坐标时,根据预设横坐标增量对各角点折线的起始端点横坐标进行增量操作。
步骤S202,通过进行完增量操作的横坐标和所在角点折线确定出进行完增量操作的横坐标对应的纵坐标,并以进行完增量操作的横坐标和相应的纵坐标确定出各角点折线上的像素点。
进一步地,步骤S202具体包括步骤(1)和步骤(2):
(1)计算多个角点折线中各角点折线的斜率;
(2)根据公式y'mi=km(xmi+b)+c计算出进行完增量操作的横坐标和相应纵坐标;
其中,km表示第m段角点折线的斜率,xmi表示第m段角点折线中第i个角点的横坐标,y'i表示第i个像素点的横坐标增量操作后得到的纵坐标,b表示预设横坐标增量,c表示各角点折线与纵轴的交点。
根据上述步骤计算出角点折线上的各个图像特征点,便于在进行图像匹配的过程中,可以进行更好的匹配,有效的提高图像匹配的准确性。
若将得到的角点放置到上述角点矩阵中时,结合上述实施方式还可以通过角点矩阵D的进行图像特征点的扩充:
(1)计算角点位置曲线上每一段折线的斜率k1,k2,...kn;
(2)从角点位置曲线预设的第1点的横坐标D(1,1)起,每隔距离1取一个数值xi,将这个数值xi作为横坐标,判断xi位于哪一段折线;
(3)如果D(m,1)≤xi≤D(m+1,1),对应的斜率为km(1≤m≤n),则此横坐标对应的纵坐标值计算公式如下式:
yi=km*(xi-D(m,1))+D(m,2)
(4)将(xi,yi)保存到扩充的角点矩阵中,循环以上步骤到角点位置曲线最后一个点,得到扩充后的角点矩阵Dk。
(5)扩充完角点矩阵后,需要对矩阵Dk中的点进行归一化。
采用min-max离差标准化,是对原始数据进行线性变换,使变换后的结果值映射到[0,1]之间,转换公式如下所示:
min和max分别代表扩充后的角点矩阵Dk中元素的最小值和最大值,Dm为归一化后的矩阵。
步骤S105,将得到的裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行特征匹配操作,确定裂缝图像的裂缝类型。
进一步地,步骤S105包括步骤(1)至步骤(3):
(1)根据Fréchet距离算法,逐一计算裂缝图像的图像特征点与不同类型裂缝图像的特征点的Fréchet距离集合,Fréchet距离集合包括多个Fréchet距离;
(2)确定计算得到的Fréchet距离集合中小于预设的Fréchet距离阈值的Fréchet距离;
(3)将小于预设的Fréchet距离阈值的Fréchet距离所对应的裂缝类型确定为裂缝图像的裂缝类型。
在将获取到的图像与预存储的图像进行匹配时,对上述得到的图像特征点的坐标进行坐标变换,即将扩充后的角点矩阵Dk的预设第一个点的坐标(D1m(1,1),D1m(1,2))作为裂缝起点,并将起点平移到坐标原点,即第一个点坐标变为(0,0),其他点坐标按下式进行相应变化,使之与起点位置保持不变,计算过程如下所示:
DK(i,1)=Dk(i,1)-Dk(1,1)
计算扩充后的角点矩阵Dk与预存储的裂缝图像的角点矩阵之间的Fréchet距离,如果计算出的Fréchet距离小于预设的Fréchet距离阈值,则认为该裂缝与与存储的裂缝为同一类型裂缝。
更进一步地,步骤S105还包括步骤(1)至步骤(5):
(1)当通过逐一计算得到的Fréchet距离未能确定出裂缝图像的裂缝类型时,计算得到的各角点折线上的像素点分别与各角点的欧氏距离;
(2)将与各角点的欧式距离小于预设欧式距离阈值的像素点作为各角点的特征点,形成裂缝图像各角点的特征点集合;
(3)通过以下公式(1)至公式(3)计算裂缝图像各角点的特征点集合与不同类型裂缝图像的预设的角点特征点集的Hausdorff距离,分别得到裂缝图像与不同类型裂缝图像的Hausdorff距离值集合:
H(N{i},M{j})=max(h(N{i},M{j}),h(M{j},N{i})) (1)
h(N{i},M{j})=max(a∈N{i})min(b∈M{j})||a-b|| (2)
h(M{j},N{i})=max(b∈M{j})min(a∈N{i})||b-a|| (3)
其中,N{i}表示裂缝图像角点组成的i个特征点集,M{j}表示其他任意裂缝图像角点组成的j个特征点集,a表示N{i}中的特征点,b表示M{j}中的特征点,H(N{i},M{j})代表点集之间的Hausdorff距离,h(N{i},M{j})和h(M{j},N{i})代表单向距离,||·||表示点集间的距离范数;
(4)将裂缝图像与不同类型裂缝图像的每个角点特征点集一一进行Hausdorff距离计算,得到特征点集中所有点之间距离的i×j的矩阵h,当裂缝图像与不同类型裂缝图像的两个角点特征点集的Hausdorff距离值小于预设Hausdorff距离值时,则确定裂缝图像与不同类型裂缝图像中对应的两个角点匹配;
(5)当裂缝图像的角点与一类型裂缝图像的角点匹配数量超过预设数量时,确定裂缝图像为类型裂缝图像。
将通过Harris算法提取到的裂缝的角点的坐标保存至矩阵D中,在经过扩充和归一化的角点矩阵Dm中寻找与预存储图像相同的角点,并将以该角点为圆心,在预设半径r范围内的点作为裂缝图像的特征点,形成特征点集,如共得到i个特征点,则点集表示为N{i},计算过程如下所示:
N{i}={D1m(x,y)|dist(D1m(x,y),di)≤r}
其中,dist()表示两点之间的欧氏距离。
对特征点集的坐标进行坐标变换,将圆心坐标变换到坐标原点(0,0)处,其他特征点的与圆心保持原有的距离进行相应的变换,然后通过Hausdorff距离计算特征点与预存储裂缝的特征点之间的距离,具体公式如下所示:
H(N{i},M{j})=max(h(N{i},M{j}),h(M{j},N{i}))
h(N{i},M{j})=max(a∈N{i})min(b∈M{j})||a-b||
h(M{j},N{i})=max(b∈M{j})min(a∈N{i})||b-a||
当H(N{i},M{j})的距离小于预设的Hausdorff距离阈值时,则该特征点能够与预存储裂缝的特征点相匹配,当能够匹配的特征点的个数大于预设的特征点的匹配个数时,则判定该裂缝与预存储的裂缝为同一类型的裂缝。
其中,Hausdorff距离计算能够更好的对角点周围的特征点进行更细致的配比,进一步的提高配比的准确性。
综上所述,本实施例提供了一种隧道内裂缝匹配方法和***,当获取到裂缝图像时,根据预处理后得到的裂缝骨架图像的走向对提取的角点进行连接,形成角点折线,对每个角点折线上的像素点横坐标进行增量,以得到折线上的所有像素点,并通过得到的像素点对裂缝图像的图像特征点进行扩充,从而大大增加了图像特征点的数量,与现有技术中sift算法提取的图像特征点少导致匹配效果差和精度低相比,由于扩充后的图像特征点数量大大增加,使得图像匹配结果更加准确,能够很好的确定隧道内细小的裂缝的裂缝类型,以保证隧道内基础设施的安全,避免人身和财产的损失。
实施例2
参见图3,本实施例提供的隧道内裂缝匹配***,包括:
裂缝图像预处理模块30,用于获取裂缝图像,并对裂缝图像进行预处理,得到裂缝骨架图像;
角点检测模块31,用于对裂缝骨架图像进行角点检测,得到裂缝骨架图像中的角点;
角点折线确定模块32,用于根据角点确定裂缝骨架走向,并根据裂缝骨架走向对相邻的角点进行连接,得到彼此相邻的角点连接后形成的多个角点折线;
图像特征点确定模块33,用于对多个角点折线中各角点折线进行处理,得到各角点折线上的像素点,将各角点折线上的像素点和角点确定为裂缝图像的图像特征点;
裂缝类型确定模块34,用于将得到的裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行特征匹配操作,确定裂缝图像的裂缝类型。
参见图4,图像特征点确定模块33包括:
增量操作单元40,用于当增量操作后的多个角点折线中各角点折线中像素点的横坐标小于各角点折线的终止端点横坐标时,根据预设横坐标增量对各角点折线的起始端点横坐标进行增量操作;
像素点确定单元41,用于通过进行完增量操作的横坐标和所在角点折线确定出进行完增量操作的横坐标对应的纵坐标,并以进行完增量操作的横坐标和相应的纵坐标确定出各角点折线上的像素点。
像素点确定单元41包括:
斜率计算子单元,用于计算多个角点折线中各角点折线的斜率;
纵坐标计算单元,用于根据公式y'mi=km(xmi+b)+c计算出进行完增量操作的横坐标和相应纵坐标;
其中,km表示第m段角点折线的斜率,xmi表示第m段角点折线中第i个角点的横坐标,y'i表示第i个像素点的横坐标增量操作后得到的纵坐标,b表示预设横坐标增量,c表示各角点折线与纵轴的交点。
裂缝类型确定模块34包括:
Fréchet距离计算单元,用于根据Fréchet距离算法,逐一计算裂缝图像的图像特征点与不同类型裂缝图像的特征点的Fréchet距离集合,Fréchet距离集合包括多个Fréchet距离;
Fréchet距离比较单元,用于确定计算得到的Fréchet距离集合中小于预设的Fréchet距离阈值的Fréchet距离;
第一裂缝类型确定单元,用于将小于预设的Fréchet距离阈值的Fréchet距离所对应的裂缝类型确定为裂缝图像的裂缝类型。
裂缝类型确定模块34还包括:
欧氏距离计算模块,用于当通过逐一计算得到的Fréchet距离未能确定出裂缝图像的裂缝类型时,计算得到的各角点折线上的像素点分别与各角点的欧氏距离;
特征点集合确定单元,将与各角点的欧式距离小于预设欧式距离阈值的像素点作为各角点的特征点,形成裂缝图像各角点的特征点集合;
Hausdorff距离计算单元,用于通过以下公式(1)至公式(3)计算裂缝图像各角点的特征点集合与不同类型裂缝图像的预设的角点特征点集的Hausdorff距离,分别得到裂缝图像与不同类型裂缝图像的Hausdorff距离值集合:
H(N{i},M{j})=max(h(N{i},M{j}),h(M{j},N{i})) (1)
h(N{i},M{j})=max(a∈N{i})min(b∈M{j})||a-b|| (2)
h(M{j},N{i})=max(b∈M{j})min(a∈N{i})||b-a||(3)
其中,N{i}表示裂缝图像角点组成的i个特征点集,M{j}表示其他任意裂缝图像角点组成的j个特征点集,a表示N{i}中的特征点,b表示M{j}中的特征点,H(N{i},M{j})代表点集之间的Hausdorff距离,h(N{i},M{j})和h(M{j},N{i})代表单向距离,||·||表示点集间的距离范数;
角点匹配单元,用于将裂缝图像与不同类型裂缝图像的每个角点特征点集一一进行Hausdorff距离计算,得到特征点集中所有点之间距离的i×j的矩阵h,当裂缝图像与不同类型裂缝图像的两个角点特征点集的Hausdorff距离值小于预设Hausdorff距离值时,则确定裂缝图像与不同类型裂缝图像中对应的两个角点匹配;
第二裂缝类型确定单元,用于当裂缝图像的角点与一类型裂缝图像的角点匹配数量超过预设数量时,确定裂缝图像为类型裂缝图像。
综上所述,本实施例提供了一种隧道内裂缝匹配方法和***,当获取到裂缝图像时,根据预处理后得到的裂缝骨架图像的走向对提取的角点进行连接,形成角点折线,对每个角点折线上的像素点横坐标进行增量,以得到折线上的所有像素点,并通过得到的像素点对裂缝图像的图像特征点进行扩充,从而大大增加了图像特征点的数量,与现有技术中sift算法提取的图像特征点少导致匹配效果差和精度低相比,由于扩充后的图像特征点数量大大增加,使得图像匹配结果更加准确,能够很好的确定隧道内细小的裂缝的裂缝类型,以保证隧道内基础设施的安全,避免人身和财产的损失。
本发明实施例所提供的隧道内裂缝匹配方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.隧道内裂缝匹配方法,其特征在于,包括:
获取裂缝图像,并对所述裂缝图像进行预处理,得到裂缝骨架图像;
对所述裂缝骨架图像进行角点检测,得到所述裂缝骨架图像中的角点;
根据所述角点确定裂缝骨架走向,并根据所述裂缝骨架走向对相邻的角点进行连接,得到彼此相邻的角点连接后形成的多个角点折线;
对多个角点折线中各所述角点折线进行处理,得到各所述角点折线上的像素点,将各所述角点折线上的像素点和所述角点确定为所述裂缝图像的图像特征点;
将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行特征匹配操作,确定所述裂缝图像的裂缝类型;
对多个角点折线中各所述角点折线进行处理,得到各所述角点折线上的像素点,包括:
当增量操作后的所述多个角点折线中各所述角点折线中像素点的横坐标小于各所述角点折线的终止端点横坐标时,根据预设横坐标增量对各所述角点折线的起始端点横坐标进行增量操作;
通过进行完增量操作的横坐标和所在角点折线确定出进行完增量操作的横坐标对应的纵坐标,并以进行完增量操作的横坐标和相应的纵坐标确定出各所述角点折线上的像素点;
通过进行完增量操作的横坐标和所在角点折线确定出相应纵坐标,包括:
计算多个角点折线中各所述角点折线的斜率;
根据公式y'mi=km(xmi+b)+c计算出所述进行完增量操作的横坐标和相应纵坐标;
其中,km表示第m段角点折线的斜率,xmi表示第m段角点折线中第i个角点的横坐标,y'mi表示第i个角点的横坐标增量操作后得到的纵坐标,b表示预设横坐标增量,c表示各所述角点折线与纵轴的交点。
2.根据权利要求1所述的隧道内裂缝匹配方法,其特征在于,将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行匹配操作,确定所述裂缝图像的裂缝类型,包括:
根据Fréchet距离算法,逐一计算所述裂缝图像的图像特征点与不同类型裂缝图像的特征点的Fréchet距离集合,所述Fréchet距离集合包括多个Fréchet距离;
确定计算得到的所述Fréchet距离集合中小于预设的Fréchet距离阈值的Fréchet距离;
将小于预设的Fréchet距离阈值的Fréchet距离所对应的裂缝类型确定为所述裂缝图像的裂缝类型。
3.根据权利要求2所述的隧道内裂缝匹配方法,其特征在于,将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行匹配操作,确定所述裂缝图像的裂缝类型,还包括:
当通过逐一计算得到的Fréchet距离未能确定出所述裂缝图像的裂缝类型时,计算得到的各所述角点折线上的像素点分别与各角点的欧氏距离;
将与各角点的欧式距离小于预设欧式距离阈值的像素点作为各角点的特征点,形成所述裂缝图像各角点的特征点集合;
通过以下公式(1)至公式(3)计算所述裂缝图像各角点的特征点集合与不同类型裂缝图像的预设的角点特征点集的Hausdorff距离,分别得到所述裂缝图像与不同类型裂缝图像的Hausdorff距离值集合:
H(N{i},M{j})=max(h(N{i},M{j}),h(M{j},N{i})) (1)
h(N{i},M{j})=max(a∈N{i})min(b∈M{j})||a-b|| (2)
h(M{j},N{i})=max(b∈M{j})min(a∈N{i})||b-a|| (3)
其中,N{i}表示所述裂缝图像角点组成的i个特征点集,M{j}表示其他任意裂缝图像角点组成的j个特征点集,a表示N{i}中的特征点,b表示M{j}中的特征点,H(N{i},M{j})代表点集之间的Hausdorff距离,h(N{i},M{j})和h(M{j},N{i})代表单向距离,||·||表示点集间的距离范数;
将所述裂缝图像与不同类型裂缝图像的每个角点特征点集一一进行Hausdorff距离计算,得到所述特征点集中所有点之间距离的i×j的矩阵h,当所述裂缝图像与不同类型裂缝图像的两个角点特征点集的Hausdorff距离值小于预设Hausdorff距离值时,则确定所述裂缝图像与不同类型裂缝图像中对应的两个角点匹配;
当所述裂缝图像的角点与一类型裂缝图像的角点匹配数量超过预设数量时,确定所述裂缝图像为所述类型裂缝图像。
4.隧道内裂缝匹配***,其特征在于,包括:
裂缝图像预处理模块,用于获取裂缝图像,并对所述裂缝图像进行预处理,得到裂缝骨架图像;
角点检测模块,用于对所述裂缝骨架图像进行角点检测,得到所述裂缝骨架图像中的角点;
角点折线确定模块,用于根据所述角点确定裂缝骨架走向,并根据所述裂缝骨架走向对相邻的角点进行连接,得到彼此相邻的角点连接后形成的多个角点折线;
图像特征点确定模块,用于对多个角点折线中各所述角点折线进行处理,得到各所述角点折线上的像素点,将各所述角点折线上的像素点和所述角点确定为所述裂缝图像的图像特征点;
裂缝类型确定模块,用于将得到的所述裂缝图像的图像特征点与预存的不同类型裂缝图像的特征点进行特征匹配操作,确定所述裂缝图像的裂缝类型;
所述图像特征点确定模块包括:
增量操作单元,用于当增量操作后的所述多个角点折线中各所述角点折线中像素点的横坐标小于各所述角点折线的终止端点横坐标时,根据预设横坐标增量对各所述角点折线的起始端点横坐标进行增量操作;
像素点确定单元,用于通过进行完增量操作的横坐标和所在角点折线确定出进行完增量操作的横坐标对应的纵坐标,并以进行完增量操作的横坐标和相应的纵坐标确定出各所述角点折线上的像素点;
所述像素点确定单元包括:
斜率计算子单元,用于计算多个角点折线中各所述角点折线的斜率;
纵坐标计算单元,用于根据公式y'mi=km(xmi+b)+c计算出所述进行完增量操作的横坐标和相应纵坐标;
其中,km表示第m段角点折线的斜率,xmi表示第m段角点折线中第i个角点的横坐标,y'mi表示第i个角点的横坐标增量操作后得到的纵坐标,b表示预设横坐标增量,c表示各所述角点折线与纵轴的交点。
5.根据权利要求4所述的隧道内裂缝匹配***,其特征在于,所述裂缝类型确定模块包括:
Fréchet距离计算单元,用于根据Fréchet距离算法,逐一计算所述裂缝图像的图像特征点与不同类型裂缝图像的特征点的Fréchet距离集合,所述Fréchet距离集合包括多个Fréchet距离;
Fréchet距离比较单元,用于确定计算得到的所述Fréchet距离集合中小于预设的Fréchet距离阈值的Fréchet距离;
第一裂缝类型确定单元,用于将小于预设的Fréchet距离阈值的Fréchet距离所对应的裂缝类型确定为所述裂缝图像的裂缝类型。
6.根据权利要求5所述的隧道内裂缝匹配***,其特征在于,所述裂缝类型确定模块还包括:
欧氏距离计算模块,用于当通过逐一计算得到的Fréchet距离未能确定出所述裂缝图像的裂缝类型时,计算得到的各所述角点折线上的像素点分别与各角点的欧氏距离;
特征点集合确定单元,将与各角点的欧式距离小于预设欧式距离阈值的像素点作为各角点的特征点,形成所述裂缝图像各角点的特征点集合;
Hausdorff距离计算单元,用于通过以下公式(1)至公式(3)计算所述裂缝图像各角点的特征点集合与不同类型裂缝图像的预设的角点特征点集的Hausdorff距离,分别得到所述裂缝图像与不同类型裂缝图像的Hausdorff距离值集合:
H(N{i},M{j})=max(h(N{i},M{j}),h(M{j},N{i})) (1)
h(N{i},M{j})=max(a∈N{i})min(b∈M{j})||a-b|| (2)
h(M{j},N{i})=max(b∈M{j})min(a∈N{i})||b-a|| (3)
其中,N{i}表示所述裂缝图像角点组成的i个特征点集,M{j}表示其他任意裂缝图像角点组成的j个特征点集,a表示N{i}中的特征点,b表示M{j}中的特征点,H(N{i},M{j})代表点集之间的Hausdorff距离,h(N{i},M{j})和h(M{j},N{i})代表单向距离,||·||表示点集间的距离范数;
角点匹配单元,用于将所述裂缝图像与不同类型裂缝图像的每个角点特征点集一一进行Hausdorff距离计算,得到所述特征点集中所有点之间距离的i×j的矩阵h,当所述裂缝图像与不同类型裂缝图像的两个角点特征点集的Hausdorff距离值小于预设Hausdorff距离值时,则确定所述裂缝图像与不同类型裂缝图像中对应的两个角点匹配;
第二裂缝类型确定单元,用于当所述裂缝图像的角点与一类型裂缝图像的角点匹配数量超过预设数量时,确定所述裂缝图像为所述类型裂缝图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611090020.8A CN106778844B (zh) | 2016-11-30 | 2016-11-30 | 隧道内裂缝匹配方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611090020.8A CN106778844B (zh) | 2016-11-30 | 2016-11-30 | 隧道内裂缝匹配方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106778844A CN106778844A (zh) | 2017-05-31 |
CN106778844B true CN106778844B (zh) | 2020-12-08 |
Family
ID=58915463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611090020.8A Active CN106778844B (zh) | 2016-11-30 | 2016-11-30 | 隧道内裂缝匹配方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106778844B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109583486A (zh) * | 2018-11-21 | 2019-04-05 | 银河水滴科技(北京)有限公司 | 一种检测待测环境异常区域的方法及装置 |
CN110334727B (zh) * | 2019-04-30 | 2021-04-27 | 国家电网有限公司 | 一种隧道裂缝智能匹配检测方法 |
CN111563888A (zh) * | 2020-05-06 | 2020-08-21 | 清华大学 | 一种定量裂缝生长监测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840507A (zh) * | 2010-04-09 | 2010-09-22 | 江苏东大金智建筑智能化***工程有限公司 | 基于角点特征不变量和图论聚类的目标跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8126275B2 (en) * | 2007-04-24 | 2012-02-28 | Microsoft Corporation | Interest point detection |
JP5206620B2 (ja) * | 2009-08-05 | 2013-06-12 | 三菱電機株式会社 | 部材の位置認識装置、位置決め装置、接合装置および部材の接合方法 |
-
2016
- 2016-11-30 CN CN201611090020.8A patent/CN106778844B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840507A (zh) * | 2010-04-09 | 2010-09-22 | 江苏东大金智建筑智能化***工程有限公司 | 基于角点特征不变量和图论聚类的目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
Defect Detection Algorithm for Corner Cracks in Steel Billet using Discrete Wavelet Transform;Yong-Ju Jeon等;《IEEE》;20091113;第2769-2773页 * |
基于特征分析的地铁隧道裂缝识别算法;朱力强等;《铁道学报》;20150531;第37卷(第5期);第64-70页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106778844A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114418957B (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
CN111598074B (zh) | 边缘检测方法和装置、电子设备和存储介质 | |
CN106934795B (zh) | 一种混凝土桥梁裂缝的自动检测方法和预测方法 | |
CN109348731B (zh) | 一种图像匹配的方法及装置 | |
EP3176751A1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
US20080205769A1 (en) | Apparatus, method and program product for matching with a template | |
CN107545223B (zh) | 图像识别方法及电子设备 | |
CN106778844B (zh) | 隧道内裂缝匹配方法和*** | |
CN111539238B (zh) | 二维码图像修复方法、装置、计算机设备和存储介质 | |
CN110427909B (zh) | 一种移动端驾驶证检测方法、***及电子设备和存储介质 | |
CN111696072A (zh) | 彩色图像的直线检测方法、装置、电子设备及存储介质 | |
CN113436162A (zh) | 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置 | |
CN113744142A (zh) | 图像修复方法、电子设备及存储介质 | |
CN113409461A (zh) | 构建地貌地图的方法、装置、电子设备和可读存储介质 | |
CN112419207A (zh) | 一种图像矫正方法及装置、*** | |
US20200210740A1 (en) | Attachable matter detection apparatus | |
JP6229352B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20210082624A (ko) | 지문 향상 방법 | |
CN116486126B (zh) | 一种模版确定方法、装置、设备及存储介质 | |
CN112950594A (zh) | 产品表面缺陷的检测方法、设备及存储介质 | |
CN109871779B (zh) | 掌纹识别的方法及电子设备 | |
CN110751623A (zh) | 基于联合特征的缺陷检测方法、装置、设备及存储介质 | |
JP2013254242A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
CN113870190B (zh) | 竖直线条检测方法、装置、设备及存储介质 | |
CN109815791B (zh) | 基于血管的身份识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Yaodong Inventor after: Zhu Liqiang Inventor after: Guo Baoqing Inventor after: Xu Xining Inventor after: Shi Hongmei Inventor before: Wang Yaodong Inventor before: Zhu Liqiang Inventor before: Yu Zujun |