CN116258967B - 一种基于改进SNUNet-CD的城市违建变化检测方法 - Google Patents
一种基于改进SNUNet-CD的城市违建变化检测方法 Download PDFInfo
- Publication number
- CN116258967B CN116258967B CN202310511235.6A CN202310511235A CN116258967B CN 116258967 B CN116258967 B CN 116258967B CN 202310511235 A CN202310511235 A CN 202310511235A CN 116258967 B CN116258967 B CN 116258967B
- Authority
- CN
- China
- Prior art keywords
- data
- convolution kernel
- snunet
- change detection
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 230000008859 change Effects 0.000 title claims abstract description 63
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000005520 cutting process Methods 0.000 claims abstract description 14
- 230000003247 decreasing effect Effects 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- PJOHVEQSYPOERL-SHEAVXILSA-N (e)-n-[(4r,4as,7ar,12br)-3-(cyclopropylmethyl)-9-hydroxy-7-oxo-2,4,5,6,7a,13-hexahydro-1h-4,12-methanobenzofuro[3,2-e]isoquinoline-4a-yl]-3-(4-methylphenyl)prop-2-enamide Chemical compound C1=CC(C)=CC=C1\C=C\C(=O)N[C@]1(CCC(=O)[C@@H]2O3)[C@H]4CC5=CC=C(O)C3=C5[C@]12CCN4CC1CC1 PJOHVEQSYPOERL-SHEAVXILSA-N 0.000 claims description 6
- 102100023126 Cell surface glycoprotein MUC18 Human genes 0.000 claims description 6
- 101000799969 Escherichia coli (strain K12) Alpha-2-macroglobulin Proteins 0.000 claims description 6
- 101000623903 Homo sapiens Cell surface glycoprotein MUC18 Proteins 0.000 claims description 6
- 210000002364 input neuron Anatomy 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100322030 Drosophila melanogaster Abl gene Proteins 0.000 description 1
- 108700026244 Open Reading Frames Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于改进SNUNet‑CD的城市违建变化检测方法，涉及电子信息技术领域；该方法包括以下的步骤：S10、采集两期的区域点云数据和倾斜摄影数据，生成彩色点云数据；S20、将彩色点云数据重新排列数据结构，形成三维合成数据；S30、生成若干数据块作为数据集；S40、以SNUNet‑CD作为基础模型，构建出适用于城市违法建筑检测场景的变化检测算法模型；S50、将经过处理的两期三维合成数据按照步骤S30中图像切割顺序进行切割，生成若干带序号的数据对，生成城市建筑物变化检测成果；S60、显示出建筑物增减变化情况；本发明的有益效果是：能够基于正射影像和点云数据对城市区域进行建筑违法行为检测。
Description
技术领域
本发明涉及电子信息技术领域，更具体的说，本发明涉及一种基于改进SNUNet-CD的城市违建变化检测方法。
背景技术
随着城市的快速发展，大量建筑投入施工，建筑面积大幅增加。出现大量占用土地进行开发或者改变原有建筑设计加盖楼层等违章建筑，由于人力资源有限，检查手段落后等原因，难以对违法建筑和改造的行为进行有效的遏制，造成了极大的经济损失，增加了管理难度。
现在技术中，一般采用遥感技术进行定期定点拍摄图件，进行筛查，为提高效率，现有技术中提出了多种方法进行自动化匹配检测，通过两期影像的坐标匹配对比筛查出异常处，将其作为违法建筑的判断依据。
上述的方法普遍存在着以下的缺点：高空遥感影像的获取困难，周期长，难以进行及时的违建检查，且受到云层等不利因素，可能导致违建被遮挡。中低空遥感变化检测仅仅考虑到二维平面的影像特征变化，未充分考虑材质、高度的影像，并且受限于模型影像，使得排查效率和准确性受到较大的挑战。
发明内容
为了克服现有技术的不足，本发明提供一种基于改进SNUNet-CD的城市违建变化检测方法，该方法能够基于正射影像和点云数据对城市区域进行建筑违法行为检测。
本发明解决其技术问题所采用的技术方案是：一种基于改进SNUNet-CD的城市违建变化检测方法，其改进之处在于，该方法包括以下的步骤：
S10、采集两期的区域点云数据和倾斜摄影数据，分别构建点云模型、倾斜模型以及正射影像；
根据倾斜模型和点云模型的位置匹配信息，并利用倾斜模型按照空间位置将RGB信息映射至点云数据上，生成彩色点云数据；
S20、将彩色点云数据重新排列数据结构，形成以设定尺寸、RGB以及点云强度为通道的三维合成数据；
S30、采用Labelme对两期正射影像进行数据标注生成MASK文件，将两期三维合成数据以及MASK文件根据位置信息进行匹配，并完成图像切割，生成若干数据块作为数据集；
S40、以SNUNet-CD作为基础模型，构建出适用于城市违法建筑检测场景的变化检测算法模型，通过输入两期的三维合成数据至变化检测算法模型内进行训练，其中以MASK文件作为标签；
S50、将经过处理的两期三维合成数据按照步骤S30中图像切割的顺序进行切割，生成若干带序号的数据对，并将其逐一输入变化检测算法模型中进行检测，完成完整区域检测后，按照序号重新拼接生成城市建筑物变化检测成果；
S60、将城市建筑物变化检测成果根据位置信息映射到第二期的正射影像中，从而显示出建筑物增减变化情况。
进一步的，步骤S10中，通过集成倾斜相机和激光lidar至载人直升机，实现多期的区域点云数据和倾斜摄影数据的采集。
进一步的，步骤S20中，所述的设定尺寸包括数据的长宽高，其长度为X、宽度为Y以及高度为H。
进一步的，步骤S30中，数据块的大小为1024*1024。
进一步的，所述步骤S40中，所述变化检测算法模型为编码-解码结构，采用孪生网络作为编码器，双时像图像作为输入，分别输入到孪生网络的两个分支，并且孪生网络的两个分支具有参数共享的特性；
两个时像图像经过相同参数的卷积滤波器进行逐层特征提取，生成相对位置的特征图，将不同层的特征按照通道进行堆叠，以保证分支特征信息的完整性。
进一步的，所述步骤S40中，在对双时像数据进行卷积下采样过程中，两个分支的特征将被融合，融合后的特征通过跳跃连接依次传输至解码器中，补偿解码器深层的位置信息损失；
两期的三维合成数据输入到孪生编码器网络中，每个节点的降采样输出都会有一个子解码器来恢复原始大小；通过跳跃连接，编码器中的精细位置特征将被传输到四个子解码器中，浅层的位置信息将直接应用于深层，保持了细粒度的信息。
进一步的，所述变化检测算法模型包括有ECAM模块；
所述步骤S40中，将四个编码器输出进行堆叠，形成一个整体，结合MCAM模块生成通道注意力特征后，进行多尺度连接形成结合注意力特征增加的输出；
在ECAM模块中采用MCAM模块，是指特征图分别经过空间金字塔最大池化、空间金字塔平均池化以及卷积操作，生成相同长度的三列特征，分别输入MLP中提取深层特征，输出结果相加后，经过MISS激活函数的激活生成多层级通道注意力特征图。
进一步的，步骤S40中构建出适用于城市违法建筑检测场景的变化检测算法模型，包括：对SNUNet-CD中的Convolution Block进行了改进，构建卷积块CB1和卷积块CB2；
所述卷积块CB1包括第一卷积核、第二卷积核、批量标准化模块BN以及第三卷积核，三维合成数据依次经过第一卷积核、第二卷积核以及批量标准化模块BN，经过激活函数MISS的处理后，再经过第三卷积核和批量标准化模块BN，并与第二卷积核的输出叠加后，再次经过激活函数MISS的处理；
所述卷积块CB2包括第三卷积核和批量标准化模块BN，三维合成数据依次经过第三卷积核和批量标准化模块BN，经过激活函数MISS的处理后，再经过第三卷积核和批量标准化模块BN，并与第三卷积核的输出叠加后，再次经过激活函数MISS的处理；
其中，所述第一卷积核为1x1xC的卷积核，即为采用通道数与原始数据相同的卷积核；所述第二卷积核为5x5xC的卷积核，即为采用通道数与原始数据相同、且长宽为5x5的卷积核；所述第三卷积核为3x3xC的卷积核，即为采用通道数与原始数据相同、且长宽为3x3的卷积核。
进一步的，步骤S40中，输入两期的三维合成数据至变化检测算法模型内进行训练，包括以下步骤：
S401、三维卷积操作，其公式如下：
；
其中，φ是激活函数，i表示神经网络层数；j表示卷积核序号；N为三维数据通道数，P、Q、H是卷积核的长度,宽度和高度，m，p，q，h分别表示N，P，Q，H当前的值；x为三维数据横坐标，y为三维数据纵坐标，z为三维数据高度坐标；w表示权重值，v表示激活值，b为偏置值；
S402、Mish激活函数：
；
其中，；
Mish激活函数相较于relu，有助于保持小的负值，从而稳定网络梯度流，防止梯度消失；
S403、批量标准化：
；
其中，表示输入当前batch的第b个样本时该层第i个输入节点的值，/>为构成的行向量，长度为batch size m，μ和σ为该行的均值和标准差，ϵ为防止除零引入的极小量，γ和β为该行的scale和shift参数；
S404、模型损失函数Loss由两部分组成，分别为加权交叉熵和重叠度结合损失：
；
其中公式为：
；
H和W表示变化图yˆ的高和宽, “class”的值为0或1，分别对应“不变化”和“变化”的像素；
；
Yˆ通过Softmax()层计算重叠度损失，Y为真实值；
；
其中，指第k个输出神经元，分母是所有输入神经元指数的和，分子是第k个输入神经元。
进一步的，所述步骤S60之后还包括：
S70、人工核查异常位置，并记录异常区域的违建情况。
本发明的有益效果是：本发明能够基于多期正射影像和点云数据进行城市区域进行建筑物违法行为检测，大幅度的提高了违法检测的效率、精度，并降低了城市违建管理的人力和时间成本。
附图说明
图1为本发明的一种基于改进SNUNet-CD的城市违建变化检测方法中变化检测算法模型的示意图。
图2为本发明中卷积块CB1的示意图。
图3为本发明中卷积块CB2的示意图。
图4为本发明中空间金字塔池化的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
结合图1至图4所示，本发明提供了一种基于改进SNUNet-CD的城市违建变化检测方法，该方法中，其数据源为搭载在载人直升飞机上的集成倾斜五镜头相机以及激光Lidar设备，可以通过多次城市区域的飞行数据采集，获取不同期的倾斜影像以及Lidar点云，运用数据处理技术，生成实景三维模型以及点云模型。针对实景三维模型与点云模型位置匹配信息实现数据融合，对两种异构数据进行融合处理，生成带颜色特征的点云模型。
并且，本发明中的违建变化检测采用基于三维SNUNet-CD变化检测算法实现，将不同期的彩色点云数据处理为通道为R、G、B、点云强度（Q）与高度（H）五个通道的两个区域合成数据，分别对两个合成数据划分为若干相同大小相互对应的数据，根据实际调查结果对数据进行标注，生成数据集。此后，构建基于SNUNet-CD的变化检测算法模型，对两期的数据和标注信息进行学习，编码区用于提取两期图像建筑异常位置特征，解码区用于将抽象特征映射成变化检测区域图像。将变化检测Mask映射到实景三维影像对应位置，为执法人员提供变化位置信息，结合常规违建检查手段到现场进行第二次确认，可极大的提升违建检测效率，提高成果的可信度和降低城市管理成本。
为了更加详细的说明本发明的技术方案，本发明提供了关于一种基于改进SNUNet-CD的城市违建变化检测方法的具体实施例，具体的，该方法包括以下的步骤：
S10、采集两期的区域点云数据和倾斜摄影数据，分别构建点云模型、倾斜模型以及正射影像，将坐标进行配准；根据倾斜模型和点云模型的位置匹配信息，并利用倾斜模型按照空间位置将RGB信息映射至点云数据上，生成彩色点云数据；本实施例中，通过集成倾斜相机和激光lidar至载人直升机，实现多期的区域点云数据和倾斜摄影数据的采集；
S20、将彩色点云数据重新排列数据结构，形成以设定尺寸、RGB以及点云强度为通道的三维合成数据；
本实施例中，所述步骤S20中，所述的设定尺寸包括数据的长宽高，其长度为X、宽度为Y以及高度为H。
S30、采用Labelme对两期正射影像进行数据标注生成MASK文件，将两期三维合成数据以及MASK文件根据位置信息进行匹配，并完成图像切割，生成若干数据块作为数据集；
本实施例中，根据实际调查情况对两期三维合成数据进行变化区域标注，将非变化区域设置为0，建筑信息增加为1，建筑信息减少为2；另外，进行图像切割时，切割成范围为1024*1024的若干数据块，作为数据集，数据集的单一样本则包括：两期区域三维合成数据以及区域MASK文件；并且，将两期数据与标注作为一个样本集，对样本集进行划分，形成训练集、验证集、测试集的比例为8：1：1的数据集；
S40、以SNUNet-CD作为基础模型，构建出适用于城市违法建筑检测场景的变化检测算法模型，通过输入两期的三维合成数据至变化检测算法模型内进行训练，其中以MASK文件作为标签；
在本实施例中，采用SNUNet-CD作为基础模型进行数据特定和场景适应性优化，从而构件出适应于城市违法建筑检测场景的变化检测算法模型。SNUNet-CD是一种变化检测模型，它是在UNet++模型的基础上进行改进的模型，UNet++是一种基于卷积神经网络的语义分割模型，而SNUNet-CD就是在UNET++模型基础上增加了多时相输入，结合注意力机制，实现图像变化位置的分割准确率。
结合图1所示，即为本发明中针对SNUNet-CD作为基础模型进行改后模型的结构示意图，改进后的模型称之为变化检测算法模型，该变化检测算法模型为编码-解码结构，采用孪生网络作为编码器，双时像图像作为输入，分别输入到孪生网络的两个分支，并且孪生网络的两个分支具有参数共享的特性；两个时像图像经过相同参数的卷积滤波器进行逐层特征提取，生成相对位置的特征图，将不同层的特征按照通道进行堆叠，以保证分支特征信息的完整性。
在对双时像数据进行卷积下采样过程中，两个分支的特征将被融合，融合后的特征通过跳跃连接依次传输至解码器中，补偿解码器深层的位置信息损失；两期的三维合成数据输入到孪生编码器网络中，每个节点的降采样输出都会有一个子解码器来恢复原始大小；通过跳跃连接，编码器中的精细位置特征将被传输到四个子解码器中，浅层的位置信息将直接应用于深层，保持了细粒度的信息。
在本发明中，结合图1、图4所示，针对SNUNet-CD作为基础模型进行进一步的改进，将CAM模块修改为MCAM模块，该模块改进点为最大池化和平均池化被替换为三部分，分别为空间金字塔最大池化、空间金字塔平均池化和卷积层，分别输入MLP中进行计算，生成等长的全连接层特征，将三部分特征相加后输入Mish激活函数中完成非线性转换计算，将输出结果作为多尺度通道注意力特征，该改进目的是为了进一步丰富特征图的表达能力。
在本实施例中，参照图1所示，下采样指尺度减小，采用2x2最大池化和2x2平均池化，上采样指尺度增大，跳跃连接可以实现复制剪切操作，使左右相一致后进行拼接，权重共享指双时相卷积核参数一致，堆叠指将卷积后通道进行堆叠。
继续参照图1所示，所述变化检测算法模型包括有ECAM模块（集成通道注意力模块）；将四个编码器输出进行堆叠，形成一个整体，结合MCAM模块（即通道注意力模块）生成通道注意力特征后，进行多尺度连接形成结合注意力特征增加的输出；在ECAM模块中采用MCAM模块，是指特征图分别经过最大池化和平均池化降维后，分别输入MLP中提取深层特征，输出结果相加后，经过MISS激活函数的激活生成通道注意力特征图。
在步骤S40中，构建出适用于城市违法建筑检测场景的变化检测算法模型，包括：对SNUNet-CD中的Convolution Block进行了改进，构建卷积块CB1和卷积块CB2（分别为图1中的卷积块1和卷积块2）。结合图2所示，为卷积块CB1的示意图，卷积块CB1包括第一卷积核、第二卷积核、批量标准化模块BN以及第三卷积核，三维合成数据依次经过第一卷积核、第二卷积核以及批量标准化模块BN，经过激活函数MISS的处理后，再经过第三卷积核和批量标准化模块BN，并与第二卷积核的输出叠加后，再次经过激活函数MISS的处理；结合图3所示，为卷积块CB2的示意图，所述卷积块CB2包括第三卷积核和批量标准化模块BN，三维合成数据依次经过第三卷积核和批量标准化模块BN，经过激活函数MISS的处理后，再经过第三卷积核和批量标准化模块BN，并与第三卷积核的输出叠加后，再次经过激活函数MISS的处理。并且，本实施例中，所述第一卷积核为1x1xC的卷积核，即为采用通道数与原始数据相同的卷积核；所述第二卷积核为5x5xC的卷积核，即为采用通道数与原始数据相同、且长宽为5x5的卷积核；所述第三卷积核为3x3xC的卷积核，即为采用通道数与原始数据相同、且长宽为3x3的卷积核。
在上述的实施例中，步骤S40中，输入两期的三维合成数据至变化检测算法模型内进行训练，包括以下步骤：
S401、三维卷积操作，其公式如下：
；
其中，φ是激活函数，i表示神经网络层数；j表示卷积核序号；N为三维数据通道数，P、Q、H是卷积核的长度,宽度和高度，m，p，q，h分别表示N，P，Q，H当前的值；x为三维数据横坐标，y为三维数据纵坐标，z为三维数据高度坐标；w表示权重值，v表示激活值，b为偏置值；
S402、Mish激活函数：
；
其中，；
Mish激活函数相较于relu，有助于保持小的负值，从而稳定网络梯度流，防止梯度消失；
S403、批量标准化：
；
其中，表示输入当前batch的第b个样本时该层第i个输入节点的值，/>为构成的行向量，长度为batch size m，μ和σ为该行的均值和标准差，ϵ为防止除零引入的极小量，γ和β为该行的scale和shift参数；
S404、模型损失函数Loss由两部分组成，分别为加权交叉熵和重叠度结合损失：
；
其中公式为：
；
H和W表示变化图yˆ的高和宽, “class”的值为0或1，分别对应“不变化”和“变化”的像素；
；
Yˆ通过Softmax()层计算重叠度损失，Y为真实值；
；
其中，指第k个输出神经元，分母是所有输入神经元指数的和，分子是第k个输入神经元。
S50、将经过处理的两期三维合成数据按照步骤S30中图像切割的顺序进行切割，生成若干带序号的数据对，并将其逐一输入变化检测算法模型中进行检测，完成完整区域检测后，按照序号重新拼接生成城市建筑物变化检测成果；
S60、将城市建筑物变化检测成果根据位置信息映射到第二期的正射影像中，从而显示出建筑物增减变化情况；
S70、人工核查异常位置，并记录异常区域的违建情况。
基于上述的内容，本发明的一种基于改进SNUNet-CD的城市违建变化检测方法，提供了一种多期多源数据融合的数据集构建方法，能够提供了多种优化卷积块，可降低计算量，轻量化模型；并且，构建了一种适用于城市违建变化检测的深度神经网络模型，可以对数据内在语义信息进行提炼，提高变化检测精度。
因此，通过本发明的一种基于改进SNUNet-CD的城市违建变化检测方法，本发明能够基于多期正射影像和点云数据进行城市区域进行建筑物违法行为检测，大幅度的提高了违法检测的效率、精度，并降低了城市违建管理的人力和时间成本，为有关部门执法提供坚实有利、可视化程度高的分析成果。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，该方法包括以下的步骤：
S10、采集两期的区域点云数据和倾斜摄影数据，分别构建点云模型、倾斜模型以及正射影像；
根据倾斜模型和点云模型的位置匹配信息，并利用倾斜模型按照空间位置将RGB信息映射至点云数据上，生成彩色点云数据；
S20、将彩色点云数据重新排列数据结构，形成以设定尺寸、RGB以及点云强度为通道的三维合成数据；
S30、采用Labelme对两期正射影像进行数据标注生成MASK文件，将两期三维合成数据以及MASK文件根据位置信息进行匹配，并完成图像切割，生成若干数据块作为数据集；
S40、以SNUNet-CD作为基础模型，构建出适用于城市违法建筑检测场景的变化检测算法模型，通过输入两期的三维合成数据至变化检测算法模型内进行训练，其中以MASK文件作为标签；
S50、将经过处理的两期三维合成数据按照步骤S30中图像切割的顺序进行切割，生成若干带序号的数据对，并将其逐一输入变化检测算法模型中进行检测，完成完整区域检测后，按照序号重新拼接生成城市建筑物变化检测成果；
S60、将城市建筑物变化检测成果根据位置信息映射到第二期的正射影像中，从而显示出建筑物增减变化情况。
2.根据权利要求1所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，步骤S10中，通过集成倾斜相机和激光lidar至载人直升机，实现多期的区域点云数据和倾斜摄影数据的采集。
3.根据权利要求1所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，步骤S20中，所述的设定尺寸包括数据的长宽高，其长度为X、宽度为Y以及高度为H。
4.根据权利要求1所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，步骤S30中，数据块的大小为1024*1024。
5.根据权利要求1所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，所述步骤S40中，所述变化检测算法模型为编码-解码结构，采用孪生网络作为编码器，双时像图像作为输入，分别输入到孪生网络的两个分支，并且孪生网络的两个分支具有参数共享的特性；
两个时像图像经过相同参数的卷积滤波器进行逐层特征提取，生成相对位置的特征图，将不同层的特征按照通道进行堆叠，以保证分支特征信息的完整性。
6.根据权利要求5所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，所述步骤S40中，在对双时像数据进行卷积下采样过程中，两个分支的特征将被融合，融合后的特征通过跳跃连接依次传输至解码器中，补偿解码器深层的位置信息损失；
两期的三维合成数据输入到孪生编码器网络中，每个节点的降采样输出都会有一个子解码器来恢复原始大小；通过跳跃连接，编码器中的精细位置特征将被传输到四个子解码器中，浅层的位置信息将直接应用于深层，保持了细粒度的信息。
7.根据权利要求6所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，所述变化检测算法模型包括有ECAM模块；
所述步骤S40中，将四个编码器输出进行堆叠，形成一个整体，结合MCAM模块生成通道注意力特征后，进行多尺度连接形成结合注意力特征增加的输出；
在ECAM模块中采用MCAM模块，是指特征图分别经过最大池化和平均池化降维后，分别输入MLP中提取深层特征，输出结果相加后，经过MISS激活函数的激活生成通道注意力特征图。
8. 根据权利要求7所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，步骤S40中构建出适用于城市违法建筑检测场景的变化检测算法模型，包括：对SNUNet-CD中的Convolution Block进行了改进，构建卷积块CB1和卷积块CB2；
所述卷积块CB1包括第一卷积核、第二卷积核、批量标准化模块BN以及第三卷积核，三维合成数据依次经过第一卷积核、第二卷积核以及批量标准化模块BN，经过激活函数MISS的处理后，再经过第三卷积核和批量标准化模块BN，并与第二卷积核的输出叠加后，再次经过激活函数MISS的处理；
所述卷积块CB2包括第三卷积核和批量标准化模块BN，三维合成数据依次经过第三卷积核和批量标准化模块BN，经过激活函数MISS的处理后，再经过第三卷积核和批量标准化模块BN，并与第三卷积核的输出叠加后，再次经过激活函数MISS的处理；
其中，所述第一卷积核为1x1xC的卷积核，即为采用通道数与原始数据相同的卷积核；所述第二卷积核为5x5xC的卷积核，即为采用通道数与原始数据相同、且长宽为5x5的卷积核；所述第三卷积核为3x3xC的卷积核，即为采用通道数与原始数据相同、且长宽为3x3的卷积核。
9.根据权利要求8所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，步骤S40中，输入两期的三维合成数据至变化检测算法模型内进行训练，包括以下步骤：
S401、三维卷积操作，其公式如下：
；
其中，φ是激活函数，i表示神经网络层数；j表示卷积核序号；N为三维数据通道数，P、Q、H是卷积核的长度,宽度和高度，m，p，q，h分别表示N，P，Q，H当前的值；x为三维数据横坐标，y为三维数据纵坐标，z为三维数据高度坐标；w表示权重值，v表示激活值，b为偏置值；
S402、Mish激活函数：
；
其中，；
S403、批量标准化：
；
其中，表示输入当前batch的第b个样本时该层第i个输入节点的值，/>为构成的行向量，长度为batch size m，μ和σ为该行的均值和标准差，ϵ为防止除零引入的极小量，γ和β为该行的scale和shift参数；
S404、模型损失函数Loss由两部分组成，分别为加权交叉熵和重叠度结合损失/>：
；
其中公式为：
；
H和W表示变化图yˆ的高和宽, “class”的值为0或1，分别对应“不变化”和“变化”的像素；
；
Yˆ通过Softmax()层计算重叠度损失，Y为真实值；
；
其中，指第k个输出神经元，分母是所有输入神经元指数的和，分子是第k个输入神经元。
10.根据权利要求1所述的一种基于改进SNUNet-CD的城市违建变化检测方法，其特征在于，所述步骤S60之后还包括：
S70、人工核查异常位置，并记录异常区域的违建情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310511235.6A CN116258967B (zh) | 2023-05-09 | 2023-05-09 | 一种基于改进SNUNet-CD的城市违建变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310511235.6A CN116258967B (zh) | 2023-05-09 | 2023-05-09 | 一种基于改进SNUNet-CD的城市违建变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116258967A CN116258967A (zh) | 2023-06-13 |
| CN116258967B true CN116258967B (zh) | 2023-08-04 |
Family
ID=86679605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310511235.6A Active CN116258967B (zh) | 2023-05-09 | 2023-05-09 | 一种基于改进SNUNet-CD的城市违建变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116258967B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118134936A (zh) * | 2024-05-09 | 2024-06-04 | 湖南省第二测绘院 | 一种铁塔视频图像违章建筑物变化检测方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093466A (zh) * | 2013-01-21 | 2013-05-08 | 武汉大学 | 基于LiDAR点云和影像的建筑物三维变化检测方法 |
| CN106091972A (zh) * | 2016-06-30 | 2016-11-09 | 河海大学 | 一种基于移动窗口投影点密度的建筑物变化检测方法 |
| CN111323788A (zh) * | 2020-01-19 | 2020-06-23 | 北京建筑大学 | 建筑物变化的监测方法、装置及计算机设备 |
| CN112819753A (zh) * | 2021-01-12 | 2021-05-18 | 香港理工大学深圳研究院 | 一种建筑物变化检测方法、装置、智能终端及存储介质 |
| CN113762931A (zh) * | 2021-09-10 | 2021-12-07 | 广州建通测绘地理信息技术股份有限公司 | 一种基于dsm和dom的监测违法建筑的方法 |
| CN114332616A (zh) * | 2021-12-29 | 2022-04-12 | 甘德强 | 基于正射影像和倾斜摄影数据的建筑物变化检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10706185B2 (en) * | 2016-04-26 | 2020-07-07 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for automated spatial change detection and control of buildings and construction sites using three-dimensional laser scanning data |
-
2023
- 2023-05-09 CN CN202310511235.6A patent/CN116258967B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093466A (zh) * | 2013-01-21 | 2013-05-08 | 武汉大学 | 基于LiDAR点云和影像的建筑物三维变化检测方法 |
| CN106091972A (zh) * | 2016-06-30 | 2016-11-09 | 河海大学 | 一种基于移动窗口投影点密度的建筑物变化检测方法 |
| CN111323788A (zh) * | 2020-01-19 | 2020-06-23 | 北京建筑大学 | 建筑物变化的监测方法、装置及计算机设备 |
| CN112819753A (zh) * | 2021-01-12 | 2021-05-18 | 香港理工大学深圳研究院 | 一种建筑物变化检测方法、装置、智能终端及存储介质 |
| CN113762931A (zh) * | 2021-09-10 | 2021-12-07 | 广州建通测绘地理信息技术股份有限公司 | 一种基于dsm和dom的监测违法建筑的方法 |
| CN114332616A (zh) * | 2021-12-29 | 2022-04-12 | 甘德强 | 基于正射影像和倾斜摄影数据的建筑物变化检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于RS和GIS技术的城市违建治理动态监测研究与应用";黄蓉 等;《城市勘测》(第第6期期);第53-57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116258967A (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114708585B (zh) | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| Liu et al. | Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery | |
| CN105141889A (zh) | 一种基于图像视觉输电线路智能巡检*** | |
| Dai et al. | Fast and accurate cable detection using CNN | |
| CN116258967B (zh) | 一种基于改进SNUNet-CD的城市违建变化检测方法 | |
| Xiao et al. | Treetop detection using convolutional neural networks trained through automatically generated pseudo labels | |
| CN107742276A (zh) | 一种基于无人机遥感图像机载一体化快速处理***和方法 | |
| CN113191204B (zh) | 一种多尺度遮挡行人检测方法及*** | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN113052108A (zh) | 基于深度神经网络的多尺度级联航拍目标检测方法和*** | |
| CN116403121A (zh) | 水体指数与极化信息多路径融合的遥感图像水域分割方法、***及设备 | |
| CN116994135A (zh) | 一种基于视觉与雷达融合的船舶目标检测方法 | |
| CN113743358A (zh) | 一种全方位采集和智能计算的景观视觉特征识别方法 | |
| CN114511788A (zh) | 一种坡体裂缝识别方法、***、设备以及存储介质 | |
| CN113610032A (zh) | 基于遥感影像的建筑物识别方法和装置 | |
| Algamdi et al. | Instant Counting & Vehicle Detection during Hajj Using Drones | |
| CN113111740A (zh) | 一种遥感图像目标检测的特征编织方法 | |
| CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
| CN114882490B (zh) | 一种基于点引导定位的无受限场景车牌检测分类方法 | |
| KR102416714B1 (ko) | 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법 | |
| CN111353441A (zh) | 基于位置数据融合的道路提取方法和*** | |
| CN115424140A (zh) | 星载海量图像数据分布式协同快速高精度处理***及方法 | |
| Häufel et al. | Evaluation of CNNs for land cover classification in high-resolution airborne images | |
| Karwowska et al. | MCWESRGAN: improving enhanced super-resolution generative adversarial network for satellite images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |