CN112132822B - 一种基于迁移学习的可疑违章建筑检测算法 - Google Patents
一种基于迁移学习的可疑违章建筑检测算法 Download PDFInfo
- Publication number
- CN112132822B CN112132822B CN202011062244.4A CN202011062244A CN112132822B CN 112132822 B CN112132822 B CN 112132822B CN 202011062244 A CN202011062244 A CN 202011062244A CN 112132822 B CN112132822 B CN 112132822B
- Authority
- CN
- China
- Prior art keywords
- layer
- suspicious
- vector
- model
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000013526 transfer learning Methods 0.000 title claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012706 support-vector machine Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明设计了一种基于迁移学习的可疑违章建筑检测算法，主要包括以下几个步骤：选取一个预训练好的卷积神经网络模型用来对可疑违建区域进行特征提取；随机选择某一中间层，利用其特征图构建新旧时相图像的结构差异向量，利用结构差异向量训练一个支持向量机，支持向量机的输出结果分为两类，变化和不变化，改变提取特征向量的中间层的层数，重复上述步骤，在测试集上选择最终分类精度最高的层数，作为最终模型的结构差异向量提取层，至此，输入两张同一建筑物的新旧时相图像，该算法便能对是否存在可疑违建区域进行判别。本方法自动选择有效的特征进行提取，无需人工对其进行设计，避免了在像素级层面上进行像素提取，极大地提高了检测的准确率。
Description
技术领域
本发明涉及一种基于迁移学习的可疑违章建筑检测算法，属于图像处理领域。
背景技术
传统的违章建筑检测方法都在像素级层面上进行像素提取，对于违章建筑的评价尺度较为宽松，会产生很多伪变化检测。产生这些伪检测结果的原因可能是墙体粉饰、局部光照变化以及物体表面遮盖等。在像素层面上很难对这些错误进行剔除。卷积神经网络和传统的数字图像识别算法的主要区别在于，卷积神经网络通过卷积层和子采样层构成特征提取器，通过向网络输入大量数据进行训练，特征提取器最终会自动选择有效的特征进行提取，无需人工对其进行设计。但在实际过程中存在以下几个问题：
1、常用的卷积神经网络模型一般以单张图像作为输入进行训练和测试，而变化检测任务的输入图像为两张。
2、目前针对变化检测任务而建立的相关数据集较少，不同应用场景下所定义的变化描述方式也不尽相同。
发明内容
发明目的：针对上述现有技术存在的问题，本发明提供了一种基于迁移学习的可疑违章建筑检测算法，主要目标是解决传统建筑物检测方法在像素级层面上进行像素提取，评价尺度过于宽松造成的伪变化检测问题；解决传统建筑物检测方法需要自己设计合适的变化检测算法的问题，通过神经网络自动判别，无需人工设计；解决基于卷积神经网络的图像识别领域没有以多张图片输入做变化检测的问题；解决变化检测的数据集较少的问题。
技术方案：
一种基于迁移学习的可疑违章建筑检测算法，其特征在于，包括以下步骤：
步骤1：选取一个公开的网络模型，用大型公开数据集对其进行预训练；
步骤2：将训练数据集中同一建筑物的新旧时相图像分别输入预训练好的卷积神经网络模型，从网络的某一中层输出得到一个一维特征向量，利用两张图像的输出一维特征向量构造一个结构差异向量；利用得到的结构差异向量构建一个训练数据集。
步骤3：利用结构差异向量训练数据集训练一个支持向量机对结果进行分类；
步骤4：改变提取特征向量的卷积神经网络的中间层的层数，重复步骤2和步骤3，在测试集测试输出的分类精度，选择分类精度最高的中间层作为最终模型的特征提取层，获得最终的检测模型；
步骤5：将任意的两张同一建筑物的新旧时相图像输入以上训练好的模型中，本模型即可自动判断出建筑物是否存在可疑违建区域。
所述步骤1包括：
步骤1.1：采用牛津大学计算机视觉组和Google DeepMind公司在2014年提出的VGG-16卷积神经网络模型。并使用大型自然图像数据集ImageNet作为训练样本对模型进行预训练。所述步骤2包括：
步骤2.1：在配准后的新旧时相图像中截取相同位置的区域作为不存在违建的样本，在不同区域截取到的图像作为存在违建的样本，建立训练数据集。
步骤2.2：VGG-16网络有5组卷积层，总共22层。选择第5到10层的某一层作为特征向量提取层。
步骤2.3：对于提取到的VGG-16网络的某一中间层的特征图，其大小为56*56*256，将其展开成一维特征向量F＝{a1，a2，a3...an}，并用如下公式得到新旧时相图像的结构差异向量。
式中，t1和t2分别表示新旧时相；a为特征向量F的元素。
步骤2.4：建立结构差异向量数据集，特征为根据公式得到的结构差异向量，标签为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。
所述步骤3包括：
步骤3.1：用步骤2得到的结构化差异向量作为支持向量机的输入，输出为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。利用步骤2建立的数据集训练好一个实现可疑违建判别功能的支持向量机。
所述步骤4包括：
改变提取结构差异向量的中间层的层数，可以取第5层到第10层中的任意一层，并利用结果训练一个支持向量机。然后在测试集上进行测试，比较取不同的中间层作为结构差异向量提取层时的模型的分类精度，选择分类精度最高时对应的中间层的层数作为最终模型的特征提取层。
所述步骤5包括如下步骤：
步骤5.1：将同一建筑物的新旧时相图像输入本发明最终的判别模型，若输出为-1，判定为存在可疑违建区域；若输出为1，则判定为不存在可疑违建区域。
有益效果：
1、解决了传统建筑物违建检测方法在像素级层面上进行像素提取，评价尺度过于宽松造成的伪变化检测问题；
2、解决了传统建筑物违建检测方法需要自己设计合适的变化检测算法的问题，通过神经网络自动判别，无需人工设计；
3、解决了基于卷积神经网络的可疑违章建筑检测领域没有以多张图片输入做变化检测的问题。
附图说明
图1是本发明所用的网络模型VGG-16的网络模型图；
图2是本发明最终的结构相似性判别模型图；
图3是实验选取最佳的中间层作为特征输出层图；
图4是不同特征输出层的检测正确率图；
图5是本方法相比现有其它显示方法的对比图。
具体实施方式
为使本发明实施例的目的、技术方案和有点更加清楚，下面结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的发明的范围。
如图所示，一种基于迁移学习的可疑违章建筑检测算法，包括以下步骤：
步骤1：选取一个公开的网络模型，用大型公开数据集对其进行预训练；
步骤2：将训练数据集中同一建筑物的新旧时相图像分别输入预训练好的卷积神经网络模型，从网络的某一中层输出得到一个一维特征向量，利用两张图像的输出一维特征向量构造一个结构差异向量；利用得到的结构差异向量构建一个训练数据集。
步骤3：利用结构差异向量训练数据集训练一个支持向量机对结果进行分类；
步骤4：改变提取特征向量的卷积神经网络的中间层的层数，重复步骤2和步骤3，在测试集测试输出的分类精度，选择分类精度最高的中间层作为最终模型的特征提取层，获得最终的检测模型；
步骤5：将任意的两张同一建筑物的新旧时相图像输入以上训练好的模型中，本模型即可自动判断出建筑物是否存在可疑违建区域。
所述步骤1包括：
步骤1.1：采用牛津大学计算机视觉组和Google DeepMind公司在2014年提出的VGG-16卷积神经网络模型。并使用大型自然图像数据集ImageNet作为训练样本对模型进行预训练。所述步骤2包括：
步骤2.1：在配准后的新旧时相图像中截取相同位置的区域作为不存在违建的样本，在不同区域截取到的图像作为存在违建的样本，建立训练数据集。
步骤2.2：VGG-16网络有5组卷积层，总共22层。选择第5到10层的某一层作为特征向量提取层。
步骤2.3：对于提取到的VGG-16网络的某一中间层的特征图，其大小为56*56*256，将其展开成一维特征向量F＝{a1，a2，a3...an}，并用如下公式得到新旧时相图像的结构差异向量。
式中，t1和t2分别表示新旧时相；a为特征向量F的元素。
步骤2.4：建立结构差异向量数据集，特征为根据公式得到的结构差异向量，标签为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。
在本实施例中，步骤3包括：
步骤3.1：用步骤2得到的结构化差异向量作为支持向量机的输入，输出为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。利用步骤2建立的数据集训练好一个实现可疑违建判别功能的支持向量机。
在本实施例中，步骤4包括：
改变提取结构差异向量的中间层的层数，可以取第5层到第10层中的任意一层，并利用结果训练一个支持向量机。然后在测试集上进行测试，比较取不同的中间层作为结构差异向量提取层时的模型的分类精度，选择分类精度最高时对应的中间层的层数作为最终模型的特征提取层。
在本实施例中，步骤5包括如下步骤：
步骤5.1：将同一建筑物的新旧时相图像输入本发明最终的判别模型，若输出为-1，判定为存在可疑违建区域；若输出为1，则判定为不存在可疑违建区域。
本发明通过对比前后两张建筑物图像是否发生变化来判断建筑物是否存在可疑违建区域，利用预训练好的卷积神经网络模型对建筑物的新旧时相图像的结构进行特征提取，再将经过处理的结果输入训练好的支持向量机，对建筑物是否存在可疑违建区域进行判别，
其中，图1是本发明所用的网络模型VGG-16的网络模型图；模型共分为5组卷积层，每一组卷积层都使用步幅为1，SIZE为3X3的卷积核进行构建，卷积层之后都使用2x2步幅为2的过滤器构建最大池化层，在网络的最后为3个全连接层。由于VGG-16卷积神经网络的最后连接了全连接层，因此输入的特征图必须大小固定。根据VGG-16卷积神经网络的要求，需要对输入图像进行预处理，把输入图像大小变成224*224*3(RGB)。
图3是实验选取最佳的中间层作为特征输出层图。卷积神经网络不同层所提取的特征并不相同。网络的浅层提取的是颜色、边缘这些低级特征，只能在很小的局部区域内对图像的相似性进行判别，而深层的抽象特征会识别图像中某一类目标物体是否存在，对于图像的相似度判别任务来说过于严格，我们所关注的是可疑变化区域中物体的形状、轮廓等具有一定结构信息的特征。因此，我们将选择网络的中层输出作为判断图像结构相似性的特征。为了选择最能表现图像结构性差异的特征提取层，我们使用预训练的VGG-16网络中不同层的输出特征图进行了实验。
图5可以看出本方法明显优于其它现有的一些方法。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (5)
1.一种基于迁移学习的可疑违章建筑检测算法，其特征在于，包括以下步骤：
步骤1：选取一个公开的网络模型，用大型公开数据集对其进行预训练；
步骤2：将训练数据集中同一建筑物的新旧时相图像分别输入预训练好的卷积神经网络模型，从网络的某一中层输出得到一个一维特征向量，利用两张图像的输出一维特征向量构造一个结构差异向量；利用得到的结构差异向量构建一个训练数据集；
步骤3：利用结构差异向量训练数据集训练一个支持向量机对结果进行分类；
步骤4：改变提取特征向量的卷积神经网络的中间层的层数，重复步骤2和步骤3，在测试集测试输出的分类精度，选择分类精度最高的中间层作为最终模型的特征提取层，获得最终的检测模型；
步骤5：将任意的两张同一建筑物的新旧时相图像输入以上训练好的最终的检测模型中，即可自动判断出建筑物是否存在可疑违建区域；
所述步骤2包括如下步骤：
步骤2.1：在配准后的新旧时相图像中截取相同位置的区域作为不存在违建的样本，在不同区域截取到的图像作为存在违建的样本，建立训练数据集；
步骤2.2：VGG-16网络有5组卷积层，总共22层，选择第5到10层的某一层作为特征向量提取层；
步骤2.3：对于提取到的VGG-16网络的某一中间层的特征图，其大小为56*56*256，将其展开成一维特征向量F＝{a1,a2,a3…an}，并用如下公式得到新旧时相图像的结构差异向量，
式中，t1和t2分别表示新旧时相；a为特征向量F的元素；
步骤2.4：建立结构差异向量数据集，特征为根据公式得到的结构差异向量，标签为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。
2.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤1包括如下步骤：
步骤1.1：采用VGG-16卷积神经网络模型，并使用大型自然图像数据集ImageNet作为训练样本对模型进行预训练。
3.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤3包括如下步骤：
步骤3.1：用步骤2得到的结构化差异向量作为支持向量机的输入，输出为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域，利用步骤2建立的数据集训练好一个实现可疑违建判别功能的支持向量机。
4.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤4包括如下步骤：
改变提取结构差异向量的中间层的层数，取第5层到第10层中的任意一层，并利用结果训练一个支持向量机，然后在测试集上进行测试，比较取不同的中间层作为结构差异向量提取层时的模型的分类精度，选择分类精度最高时对应的中间层的层数作为最终模型的特征提取层。
5.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤5包括如下步骤：
步骤5.1：将同一建筑物的新旧时相图像输入最终的判别模型，若输出为-1，判定为存在可疑违建区域；若输出为1，则判定为不存在可疑违建区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011062244.4A CN112132822B (zh) | 2020-09-30 | 2020-09-30 | 一种基于迁移学习的可疑违章建筑检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011062244.4A CN112132822B (zh) | 2020-09-30 | 2020-09-30 | 一种基于迁移学习的可疑违章建筑检测算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132822A CN112132822A (zh) | 2020-12-25 |
| CN112132822B true CN112132822B (zh) | 2024-05-07 |
Family
ID=73843548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011062244.4A Active CN112132822B (zh) | 2020-09-30 | 2020-09-30 | 一种基于迁移学习的可疑违章建筑检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132822B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920425A (zh) * | 2021-09-03 | 2022-01-11 | 佛山中科云图智能科技有限公司 | 一种基于神经网络模型的目标违建点获取方法和获取*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052917A (zh) * | 2017-12-25 | 2018-05-18 | 东南大学 | 一种基于新旧时相变化发现的违章建筑自动识别的方法 |
| WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
-
2020
- 2020-09-30 CN CN202011062244.4A patent/CN112132822B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
| CN108052917A (zh) * | 2017-12-25 | 2018-05-18 | 东南大学 | 一种基于新旧时相变化发现的违章建筑自动识别的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 联合卷积神经网络与集成学习的遥感影像场景分类;余东行;张保明;赵传;郭海涛;卢俊;;遥感学报;20200625(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132822A (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765465B (zh) | 一种无监督sar图像变化检测方法 | |
| CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
| CN108288075A (zh) | 一种改进ssd的轻量化小目标检测方法 | |
| CN102460508B (zh) | 图像识别方法和图像识别设备 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN110852316A (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN110082821B (zh) | 一种无标签框微地震信号检测方法及装置 | |
| JP2016057918A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN108537121B (zh) | 气象环境参数与图像信息融合的自适应遥感场景分类方法 | |
| CN106548169A (zh) | 基于深度神经网络的模糊文字增强方法及装置 | |
| CN111126412A (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
| AU2019101149A4 (en) | An Image retrieval System for Brand Logos Based on Deep Learning | |
| CN112115805B (zh) | 带双模态难挖掘三元-中心损失的行人重识别方法及*** | |
| CN114067444A (zh) | 基于元伪标签和光照不变特征的人脸欺骗检测方法和*** | |
| CN113111878B (zh) | 一种复杂背景下的红外弱小目标检测方法 | |
| CN111009005A (zh) | 几何信息与光度信息相结合的场景分类点云粗配准方法 | |
| CN109102015A (zh) | 一种基于复数神经网络的sar图像变化检测方法 | |
| CN113052170A (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| Maaten et al. | Computer vision and machine learning for archaeology | |
| CN113095371A (zh) | 一种面向三维重建的特征点匹配方法及*** | |
| Ge et al. | Coarse-to-fine foraminifera image segmentation through 3D and deep features | |
| CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、***及设备 | |
| CN112132822B (zh) | 一种基于迁移学习的可疑违章建筑检测算法 | |
| CN109741351A (zh) | 一种基于深度学习的类别敏感型边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |