CN111080631A - 一种拼接影像楼面缺陷检测的故障定位方法及*** - Google Patents

一种拼接影像楼面缺陷检测的故障定位方法及*** Download PDF

Info

Publication number
CN111080631A
CN111080631A CN201911327511.3A CN201911327511A CN111080631A CN 111080631 A CN111080631 A CN 111080631A CN 201911327511 A CN201911327511 A CN 201911327511A CN 111080631 A CN111080631 A CN 111080631A
Authority
CN
China
Prior art keywords
image
window
mask
floor
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911327511.3A
Other languages
English (en)
Inventor
李冰
谢刚
王宇
吴殿波
陈福庭
曹阳
陈利
吴晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Co Of China National Tobacco Corp
Original Assignee
Beijing Co Of China National Tobacco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Co Of China National Tobacco Corp filed Critical Beijing Co Of China National Tobacco Corp
Priority to CN201911327511.3A priority Critical patent/CN111080631A/zh
Publication of CN111080631A publication Critical patent/CN111080631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种用于拼接影像楼面缺陷检测的故障定位方法及相应的***，主要包括窗户分割、图像拼接、窗户定位、缺陷定位几部分，该方法首先对采集到的楼面图像序列进行拼接、并对楼面区域进行特征提取和几何校正，获取拍摄图像中像素在参考楼面坐标系中的对应关系，从而对缺陷自动识别算法输出的缺陷进行精确地定位。该方法能有效地克服由于每次拍摄的镜头位置和角度不确定性造成的楼面同一区域在图片序列中的顺序和位置存在差异的问题，在利用拼接影像进行楼面缺陷检测过程中可显著提高缺陷定位的精度，定位结果可信度高，适于在楼面缺陷检测和维护工作中进行推广应用。

Description

一种拼接影像楼面缺陷检测的故障定位方法及***
技术领域
本发明属于缺陷检测技术领域，特别涉及一种拼接影像楼面缺陷检测的故障定位方法及***。
背景技术
建筑物的外墙经过长时间的曝晒、风吹或雨雪侵蚀，会逐渐出现装饰砖掉落、破碎甚至外墙开裂的情况，基于摄影的方法对这些故障和缺陷进行检测，具有准确、经济、高效的优势。然而在实际操作中，往往要从较远的距离(大于50米)对楼面进行拍摄，为了减小几何畸变和提高图像的分辨率，需要采用200毫米以上的长焦镜头。由于长焦镜头的视角有限，每张图片仅仅覆盖楼面的一个局部区域。而在实际操作中，由于每一次拍摄镜头位置和角度不确定性，楼面同一位置在图片序列中的位置和顺序有一定的差异，为缺陷的定位带来了一定的困难。
发明内容
为了解决上述技术问题，本发明提供了一种拼接影像楼面缺陷检测的故障定位方法及***。
本发明具体技术方案如下：
本发明提供了一种拼接影像楼面缺陷检测的故障定位方法，包括如下步骤：
获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；
依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；
对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；
从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。
进一步地，所述特征提取的具体方法如下：
a.使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；
b.删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；
c.以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；
d.将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量。
进一步地，所述匹配和图像拼接的具体方法如下：
a.针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；
b.根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；
c.将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。
进一步地，所述对缺陷的位置进行重新计算和定位的具体方法如下：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
Figure BDA0002328759040000031
可计算出经过图像拼接处理后所述缺陷坐标位置(xbc,ybc)如下：
Figure BDA0002328759040000032
Figure BDA0002328759040000033
进一步地，所述对楼面上所有窗户进行定位的具体方法如下：
a.初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；
b.遍历所有连通域，对每个连通域Ci进行如下操作：如
Figure BDA0002328759040000034
则将Ci放入Groupn中；如 numG＝numG+1，则将Ci放入GroupnumG中。
进一步地，所述对楼面上所有窗户进行定位的方法还包括如下步骤：
c.对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距 Dn；
d.对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按
Figure BDA0002328759040000041
等分，将等分点做为窗户位置也放入SortGroupn中；
e.将新的SortGroupn按x坐标均值由小到大进行排序构成集合 SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体。
进一步地，在整体楼面中对所述缺陷进行定位的具体方法如下：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn 的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。
本发明另一方面提供了运行上述方法的拼接影像楼面缺陷检测的故障定位***，包括依次连接的窗户分割模块、图像拼接模块、窗户定位模块以及缺陷定位模块，所述窗户分割模块被配置为：
获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；
所述图像拼接模块被配置为：
依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；
所述窗户定位模块被配置为：
对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；
所述缺陷定位模块被配置为：
从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。
进一步地，所述图像拼接模块包括特征提取单元、匹配拼接单元以及重定位单元，所述特征提取单元被配置为：
使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量；
所述匹配拼接单元被配置为：
针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。
所述缺陷重定位单元被配置为：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
Figure BDA0002328759040000061
可计算出经过图像拼接处理后所述缺陷的坐标位置(xbc,ybc)如下：
Figure BDA0002328759040000062
Figure BDA0002328759040000063
进一步地，所述初步定位单元被配置为：
初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心 x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；遍历所有连通域，对每个连通域Ci进行如下操作：如
Figure BDA0002328759040000064
则将Ci放入Groupn中；如 numG＝numG+1，则将Ci放入GroupnumG中。
所述推测补齐单元被配置为：
对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；
对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的 y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按
Figure 100002_DEST_PATH_BDA0002328759040000041
等分，将等分点做为窗户位置也放入SortGroupn中；将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体；
此时，所述缺陷定位模块被配置为：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn 的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。
本发明的有益效果如下：本发明提供了一种拼接影像楼面缺陷检测的故障定位方法及相应的***，主要包括窗户分割、图像拼接、窗户定位、缺陷定位几部分，该方法首先对采集到的楼面图像序列进行拼接、并对楼面区域进行特征提取和几何校正，获取拍摄图像中像素在参考楼面坐标系中的对应关系，从而对缺陷自动识别算法输出的缺陷进行精确地定位。该方法能有效地克服由于每次拍摄的镜头位置和角度不确定性造成的楼面同一区域在图片序列中的顺序和位置存在差异的问题，在利用拼接影像进行楼面缺陷检测过程中可显著提高缺陷定位的精度，定位结果可信度高，适于在楼面缺陷检测和维护工作中进行推广应用。
附图说明
图1为实施例1所述的拼接影像楼面缺陷检测的故障定位方法的流程图；
图2为实施例2所述的拼接影像楼面缺陷检测的故障定位***的结构示意图；
图3为应用实例中采集到的楼面原始图像序列；
图4为应用实例中根据原始图像获得掩膜图像示意图，其中(a) 为楼面原始图像，(b)为其掩膜图像；
图5为应用实例中拼接后的全局图像；
图6为应用实例中拼接后的全局掩膜；
图7为应用实例中窗户中心的定位示意图；
图8为应用实例中窗户补全以及分类示意图；
图9为应用实例中楼面缺陷定位示意图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
实施例1
如图1所示，本实施例1提供了一种拼接影像楼面缺陷检测的故障定位方法，包括如下步骤：
S1：窗户分割：首先利用训练好的Mask RCNN对原始图像序列中的每张原始图像I中的窗户分别进行分割，得到与原始图像尺寸相同的二值化的掩膜图像Imask，其中0值代表窗户，255代表非窗户；按照原始图像序列{Imask}中每张原始图像的顺序、对掩膜图像进行排序，得到掩膜序列
S2：图像拼接：由于拍摄时相邻两张照片在空间位置上也是相邻的，所以对原始图像序列中的所有原始图像寻找特征点并进行拼接、得到全局图像G，并对掩膜序列中的所有掩膜图像进行同样的拼接处理、得到全局掩膜Gmask，同时对缺陷位置进行重新定位、获取缺陷的原始中心位置经图像拼接处理后的坐标(xbc,ybc)；
S3：窗户定位：首先对拼接好的全局掩膜图像Gmask进行连通域检测，设定连通方式为8邻接，计算第i个连通域Ci的中心为(xi,yi)，连通域面积为Ai；依据连通域的中心纵坐标xi对连通域Ci进行聚类，将隶属于一列的kn个窗户分为一组，得到N组索引序列 Gp＝{Groupn|n-1,2,…N}；
S4：缺陷定位：计算经过图像拼接处理后的坐标(xbc,ybc)与索引序列中所有窗户中心的距离，找到距离最近的窗户，并推算出其在整体楼面中的位置，从而完成定位。
在一些具体的实施例中，利用SIFT算子从原始图像或掩膜图像中提取具有旋转、缩放和平移不变性的楼面图像特征的具体方法如下：
a.差分高斯(DoG)尺度空间的极值检测：使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；
b.删除不稳定的极值点，主要是低对比度的极值点和不稳定的边缘响应点；
c.确定特征点的方向：以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，然后使用直方图对梯度的幅角进行统计，直方图的横轴是梯度的方向、纵轴为梯度方向对应梯度幅值的累加值，直方图中最高峰对应的方向即为特征点的方向；
d.生成特征点的描述子：首先将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共可形成 128维的特征向量。
在一些具体的实施例中，对原始图像或掩膜图像进行拼接的具体方法如下：
a.进行SIFT特征点匹配：首先针对第一张图像(原始图像或掩膜图像)，利用K-D树(KDimensional Tree)数据结构来有序存放特征描述向量，再用快速近似k最近邻(FLANN)算法找出最近邻点和次近邻点；
b.取4组SIFT变换特征点，计算透视变换矩阵的参数；采用透视变换函数对后一张图像(按顺序排列的后一张原始图像或掩膜图像) 进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；
c.将前一张图像与变换后的后一张图像进行拼接，重叠部分采用加权平均即可，最终得到拼接之后的图像用于与下一张图像进行拼接；同时按照相同方法对相邻的两张Imask进行拼接，得到拼接之后的掩膜图像，再用于后续掩膜拼接。
在一些具体的实施例中，对缺陷进行重新定位的具体方法如下：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
Figure BDA0002328759040000101
可计算出经过图像拼接处理后缺陷的坐标位置(xbc,ybc)如下：
Figure BDA0002328759040000102
Figure BDA0002328759040000103
在一些具体的实施例中，窗户定位中的聚类算法具体如下：
(1)初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；
(2)遍历所有连通域，对每个连通域Ci进行如下操作：如
Figure BDA0002328759040000104
(t设为10)，则将Ci放入Groupn中；如 numG＝numG+1，则将Ci放入GroupnumG中。
在一些具体的实施例中，由于窗户分割掩膜过程中可能存在漏检，故需要依据已有Gp对其他可能的窗户存在位置进行推测补齐，补齐算法具体如下：
(1)对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距 Dn；
(2)对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按
Figure BDA0002328759040000111
等分，将等分点做为窗户位置也放入SortGroupn中；
(3)将新的SortGroupn按x坐标均值由小到大进行排序构成集合 SortGp，并依据组内连通域的平均面积进行计算，其中面积大于600 的则认为是主窗体(阳台)。
在经过对窗户进行推测补齐的基础上，缺陷定位可以按照如下方法进行：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，可由其在SortGp中SortGroupn的n推出横向位置(单元号)，并由其在SortGroupn中的索引k推出其纵向位置(根据已知的楼层总数，从上到下得出其所在的楼层)，从而完成定位。
实施例2
如图2所示，本实施例2提供了一种运行实施例1提供的方法的拼接影像楼面缺陷检测的故障定位***，包括依次连接的窗户分割模块1、图像拼接模块2、窗户定位模块3以及缺陷定位模块4，所述窗户分割模块1被配置为：
获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张原始图像中的窗户进行分割，得到与原始图像尺寸相同的二值化的掩膜图像，并对所有掩膜图像进行排序，得到掩膜序列；
图像拼接模块2被配置为：
依次对相邻的原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；
窗户定位模块3被配置为：
对全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；
缺陷定位模块4被配置为：
从全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。
在一些具体的实施例中，图像拼接模块2包括特征提取单元21、匹配拼接单元22以及重定位单元23，所述特征提取单元21被配置为：
使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，直方图的横轴是梯度的方向、纵轴为梯度方向对应梯度幅值的累加值，直方图中最高峰对应的方向即为特征点的方向；将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量；
匹配拼接单元22被配置为：
针对原始图像序列中的第一张原始图像、或掩膜序列中的第一张掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；根据特征点计算透视变换矩阵的参数；采用透视变换函数对后一张原始图像或掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。
缺陷重定位单元23被配置为：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
Figure BDA0002328759040000131
可计算出经过图像拼接处理后所述缺陷的坐标位置(xbc,ybc)如下：
Figure BDA0002328759040000132
Figure BDA0002328759040000133
在一些具体的实施例中，窗户定位模块3包括初步定位单元31和推测补齐单元32，初步定位单元31被配置为：
初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；遍历所有连通域，对每个连通域Ci进行如下操作：如
Figure BDA0002328759040000142
(t设为10)，则将Ci放入Groupn中；如numG＝numG+1，则将Ci放入GroupnumG中。
推测补齐单元32被配置为：
对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；
对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的 y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明这两个窗户之间存在未分割出的窗户，将两个窗户连线按
Figure BDA0002328759040000141
等分，将等分点做为窗户位置也放入SortGroupn中；将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值(600)的确定为主窗体；
此时，缺陷定位模块4被配置为：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，可由其在SortGp中SortGroupn的n推出横向位置(单元号)，并由其在SortGroupn中的索引k推出其纵向位置(根据已知的楼层总数，从上到下得出其所在的楼层)，从而完成定位。
应用实例
采集某小区的墙体实拍图像，分辨率为7952*5304，文件大小均在 30M左右，制作成如图3所示的原始图像序列。
根据S1，利用Mask RCNN对原始图像进行窗户监测，得到每一张原始图像对应的窗户掩膜，如图4所示；根据S2，分别对原图序列以及掩膜序列进行拼接，得到拼接后的全局原图(如图5所示)和全局掩膜(如图6所示)，并对缺陷位置进行重新定位；根据S3，对窗户中心进行定位(如图7所示)，并将未检测出的窗户进行补全以及对主窗进行分类(如图8所示)，其中B、D、G、J、L、N列为主窗体；最后根据S4，对变换后的缺陷进行楼层以及单元号的定位，并标注单元及楼层号，如图9所示，两处缺陷位置分别为“4单元21层”和“6 单元13层”。由此，即可快速、准确地完成对楼面缺陷的定位。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种拼接影像楼面缺陷检测的故障定位方法，其特征在于，包括如下步骤：
获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；
依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；
对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；
从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。
2.如权利要求1所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述特征提取的具体方法如下：
a.使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；
b.删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；
c.以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；
d.将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量。
3.如权利要求2所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述匹配和图像拼接的具体方法如下：
a.针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；
b.根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；
c.将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。
4.如权利要求3所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述对缺陷的位置进行重新计算和定位的具体方法如下：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
Figure FDA0002328759030000021
可计算出经过图像拼接处理后所述缺陷坐标位置(xbc,ybc)如下：
Figure FDA0002328759030000031
Figure FDA0002328759030000032
5.如权利要求1所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述对楼面上所有窗户进行定位的具体方法如下：
a.初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；
b.遍历所有连通域，对每个连通域Ci进行如下操作：如
Figure FDA0002328759030000033
则将Ci放入Groupn中；如numG＝numG+1，则将Ci放入GroupnumG中。
6.如权利要求5所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，所述对楼面上所有窗户进行定位的方法还包括如下步骤：
c.对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；
d.对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明二者之间存在未分割出的窗户，将二者连线按
Figure FDA0002328759030000034
等分，将等分点做为窗户位置也放入SortGroupn中；
e.将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体。
7.如权利要求6所述的拼接影像楼面缺陷检测的故障定位方法，其特征在于，在整体楼面中对所述缺陷进行定位的具体方法如下：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。
8.一种运行权利要求1～7中任一项所述方法的拼接影像楼面缺陷检测的故障定位***，其特征在于，包括依次连接的窗户分割模块(1)、图像拼接模块(2)、窗户定位模块(3)以及缺陷定位模块(4)，所述窗户分割模块(1)被配置为：
获取一系列覆盖楼面整体区域的原始图像、作为原始图像序列，利用训练好的卷积神经网络分别对每张所述原始图像中的窗户进行分割，得到与所述原始图像尺寸相同的二值化的掩膜图像，并对所有所述掩膜图像进行排序，得到掩膜序列；
所述图像拼接模块(2)被配置为：
依次对相邻的所述原始图像进行特征提取、并进行匹配和图像拼接，得到全局图像；采用相同方法对所述掩膜图像进行特征提取、匹配和图像拼接，得到全局掩膜；根据投射变换对缺陷的位置进行重新计算和定位；
所述窗户定位模块(3)被配置为：
对所述全局掩膜进行连通域检测，对楼面上所有窗户进行定位、并确定所述窗户对应的门牌号；
所述缺陷定位模块(4)被配置为：
从所述全局掩膜中找到所述缺陷重新定位后的位置，并找到距离最近的窗户，据此推算出其在整体楼面中的位置，从而完成定位。
9.如权利要求8所述的***，其特征在于，所述图像拼接模块(2)包括特征提取单元(21)、匹配拼接单元(22)以及重定位单元(23)，所述特征提取单元(21)被配置为：
使用不同参数的高斯模糊来表示不同的尺度空间，检测在不同尺度下都存在的特征点，从而检测极值点；删除不稳定的极值点，所述极值点包括低对比度的极值点和不稳定的边缘响应点；以特征点为中心、计算其邻域内各个像素点的梯度的幅角和幅值，使用直方图对梯度的幅角进行统计，确定所述特征点的方向；将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块分别用其像素内8个方向的直方图统计，共形成128维的特征向量；
所述匹配拼接单元(22)被配置为：
针对所述原始图像序列中的第一张所述原始图像、或所述掩膜序列中的第一张所述掩膜图像，利用K-D树数据结构来有序存放特征描述向量，再用快速近似k最近邻算法找出最近邻点和次近邻点；根据所述特征点计算透视变换矩阵的参数；采用透视变换函数对后一张所述原始图像或所述掩膜图像进行变换，并采用多项式插值算法实现非整数坐标像素值的估计，得到校准之后的图像；将前一张所述原始图像与变换后的后一张所述原始图像进行拼接、或将前一张所述掩膜图像与变换后的后一张所述掩膜图像进行拼接，重叠部分采用加权平均即可，得到拼接之后的图像、并继续与下一张原始图像或掩膜图像进行拼接。所述缺陷重定位单元(23)被配置为：
设缺陷的原始中心位置为(xbreak,ybreak)，根据透射变换矩阵
Figure FDA0002328759030000061
可计算出经过图像拼接处理后所述缺陷的坐标位置(xbc,ybc)如下：
Figure FDA0002328759030000062
Figure FDA0002328759030000063
10.如权利要求8所述的***，其特征在于，所述窗户定位模块(3)包括初步定位单元(31)和推测补齐单元(32)，所述初步定位(31)单元被配置为：
初始化Gp＝φ，将C0存入Group0，设Group0中连通域元素的中心x坐标均值为mean(Group0)，并设Gp中元素个数numG＝1；遍历所有连通域，对每个连通域Ci进行如下操作：如
Figure FDA0002328759030000064
则将Ci放入Groupn中；如numG＝numG+1，则将Ci放入GroupnumG中。
所述推测补齐单元(32)被配置为：
对Gp中的Groupn进行遍历，将Groupn中的连通域按照y坐标由小到大进行排序后得到SortGroupn，并计算得到最小纵坐标间距Dn；
对每个SortGroupn进行顺序遍历，设第k与k+1个连通域中心的y坐标之差为dk＝xk+1-xk，若dk/Dn＞1，则说明二者之间存在未分割出的窗户，将二者连线按
Figure DEST_PATH_BDA0002328759040000041
等分，将等分点做为窗户位置也放入SortGroupn中；将新的SortGroupn按x坐标均值由小到大进行排序构成集合SortGp，并依据组内连通域的平均面积进行计算，将其中面积大于预设阈值的确定为主窗体；
此时，所述缺陷定位模块(4)被配置为：
计算经过图像拼接处理后的坐标(xbc,ybc)与SortGp中所有窗户中心的距离，找到距离最近的窗户，根据所述窗户在SortGp中SortGroupn的n推出横向位置，并根据所述窗户在SortGroupn中的k推出纵向位置，从而完成定位。
CN201911327511.3A 2019-12-20 2019-12-20 一种拼接影像楼面缺陷检测的故障定位方法及*** Pending CN111080631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911327511.3A CN111080631A (zh) 2019-12-20 2019-12-20 一种拼接影像楼面缺陷检测的故障定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911327511.3A CN111080631A (zh) 2019-12-20 2019-12-20 一种拼接影像楼面缺陷检测的故障定位方法及***

Publications (1)

Publication Number Publication Date
CN111080631A true CN111080631A (zh) 2020-04-28

Family

ID=70316330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911327511.3A Pending CN111080631A (zh) 2019-12-20 2019-12-20 一种拼接影像楼面缺陷检测的故障定位方法及***

Country Status (1)

Country Link
CN (1) CN111080631A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673478A (zh) * 2021-09-02 2021-11-19 福州视驰科技有限公司 基于深度全景拼接的港口大型设备检测与识别方法
CN114266773A (zh) * 2022-03-02 2022-04-01 成都数联云算科技有限公司 显示面板缺陷定位方法、装置、设备及存储介质
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及***
CN116740062A (zh) * 2023-08-14 2023-09-12 菲特（天津）检测技术有限公司 基于不规则胶圈的缺陷检测方法及***
CN117237383A (zh) * 2023-11-15 2023-12-15 山东智赢门窗科技有限公司 一种基于室内环境的智能门窗控制方法及***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673478A (zh) * 2021-09-02 2021-11-19 福州视驰科技有限公司 基于深度全景拼接的港口大型设备检测与识别方法
CN113673478B (zh) * 2021-09-02 2023-08-11 福州视驰科技有限公司 基于深度学习全景拼接的港口大型设备检测与识别方法
CN114266773A (zh) * 2022-03-02 2022-04-01 成都数联云算科技有限公司 显示面板缺陷定位方法、装置、设备及存储介质
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及***
CN116740062A (zh) * 2023-08-14 2023-09-12 菲特（天津）检测技术有限公司 基于不规则胶圈的缺陷检测方法及***
CN116740062B (zh) * 2023-08-14 2023-10-27 菲特（天津）检测技术有限公司 基于不规则胶圈的缺陷检测方法及***
CN117237383A (zh) * 2023-11-15 2023-12-15 山东智赢门窗科技有限公司 一种基于室内环境的智能门窗控制方法及***
CN117237383B (zh) * 2023-11-15 2024-02-02 山东智赢门窗科技有限公司 一种基于室内环境的智能门窗控制方法及***

Similar Documents

Publication Publication Date Title
CN111080631A (zh) 一种拼接影像楼面缺陷检测的故障定位方法及***
CN107543828B (zh) 一种工件表面缺陷检测方法及***
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN109035276B (zh) 一种图像边缘提取方法、装置及自动驾驶***
CN108960211B (zh) 一种多目标人体姿态检测方法以及***
CN109816708B (zh) 基于倾斜航空影像的建筑物纹理提取方法
Barath et al. Graph-cut RANSAC: Local optimization on spatially coherent structures
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量***和方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN109978911B (zh) 一种图像特征点跟踪方法和相机
CN109785370B (zh) 一种基于空间时间序列模型的弱纹理图像配准方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN111192194B (zh) 一种针对幕墙建筑立面的全景图像拼接方法
CN108491498A (zh) 一种基于多特征检测的卡口图像目标搜索方法
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN113689429A (zh) 一种基于计算机视觉的木板缺陷检测方法
CN115239661A (zh) 基于图像处理的机械零件毛刺检测方法及***
CN115639248A (zh) 一种用于建筑外墙质量检测的***及方法
CN117853510A (zh) 基于双边滤波和自适应阈值的Canny边缘检测方法
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN117333518A (zh) 激光扫描图像匹配方法、***及计算机设备
CN117036404A (zh) 一种单目热成像同时定位与建图方法和***
JPH05215547A (ja) ステレオ画像間対応点決定方法
CN112986329B (zh) 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法
Yu et al. Roust vanishing point detection based on the combination of edge and optical flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination