CN103546726B - 违章用地的自动发现方法 - Google Patents

Abstract

本发明提供一种违章用地的自动发现方法，包括以下步骤：步骤1：将不同时相的视频数据进行稳像处理；步骤2：对稳像后的视频数据进行背景建模，并滤除视频数据中的流动前景，获得每一个预置点在不同时间节点下的背景图片；步骤3：对背景图片的滤波处理，滤除背景图片中的噪声；以及步骤4：将相同预置点不同时相的背景图片与历史背景图片匹配，获得差值图片，提取差值图片的变化特征并判断违章用地是否存在。本发明的技术方案利用数字图像、视频处理技术对目标监控区域的视频数据进行处理，建立标准监控目标背景历史数据库，通过分析比对当前目标背景和历史目标背景，自动发现违章用地。

Description

违章用地的自动发现方法

技术领域

本发明涉及智能监控技术领域，具体而言涉及一种违章用地的自动发现方法。

背景技术

目前，我国城镇化进程中，村镇新增建设用地利用存在问题突出，布局混乱、扩张无序、浪费严重，违法违规形式多、分布广。主要有三大违规违法用地形式：（1）规避农用地转用和征收审批；（2）突破开发区实际范围，以各种名义新设各类开发区、工业集中区等；（3）擅自先行征地、供地、建设，先占先用，边报边占。在国土部门采用的12336举报电话***、卫星图片执法、土地巡查车等一系列技术手段已经形成了“天上看、网上管、地上查”的立体监管网络，其在违法违规用地的发现处理方面取得了一定的成效。但这些技术手段也各自存在一些不足。12336举报热线有着线索无法全部实地核查和线索方向不够广泛的缺点。卫星图片土地执法检查也存在着一些问题：（1）成本较高，占用了宝贵的卫星资源；（2）成像角度较单一；（3）容易受到气象因素等的干扰；（4）执法周期长，无法实时高效地进行监测。对于动态巡查，目前还只停留在驾驶巡查车，对有限的几个违法用地易发区进行现场勘查，然后在现场人工拍摄照片并进行存档，之后回到办公地点对数据进行分析和比对，如发现违法用地现象再重新返回现场进行处理的工作模式。这种工作模式大大增加了工作人员的工作量，也降低了对违法用地处理的时效性。近年来，随着计算机技术、图像处理技术、机器视觉技术以及人工智能技术的发展，基于视频图像的目标自动检测和识别成为图像处理与识别应用的热点研究方向，结合新的应用领域，图像处理与识别的研究呈现出新的特点。本发明利用机器视觉和人工智能相关技术提高违法违规用地执法监察的智能化和自动化程度，通过定点视频监控***、实现对视频图像中违法违规建筑物目标的自动发现和识别，实现土地监管的自动报警和联动执法。

智能视频监控是目前机器视觉领域研究的热点问题，具有广阔的应用前景和技术上实现的可能性。近些年西方发达国家从政府到企业，从学术界到工业界都在智能视频监控领域的研究上投入了巨大的精力，并且己经取得了很多实用的成果。美国国防高级研究项目署(TheU.S.DefenseAdvancedResearchProjectsAgencyDARPA)在1997年设立了以卡内基梅隆大学为首，联合麻省理工学院等多所高等院校和研究机构参加的视频监控项目(VideoSurveillanceandMonitoring,VSAM)，主要研究了实时自动监控军事和民用场景的视频理解技术。1999年，欧盟六所科研机构共同实施了视频监控和检索重大项目ADVISOR(AnnotatedDigitalVideoforSurveillanceandOptimized Retrieval)，研究了公共交通网络的视频分析问题，通过多摄像机对地铁站点人的检测与跟踪监控，分析人和人群的密度、运动和行为等信息，用于检测危险或犯罪行为。智能视频监控在中国的应用和推广时间并不长。但随着我国经济的快速发展，带有一定智能的视频监控***已经是很多行业的迫切需求。本发明属于智能视频在国土资源监察领域的一个研究和应用。通过定点视频监控设备采集视频数据，然后将视频数据通过电子稳像、背景建模、图像滤波、图片配准以及特征分析最后结合历史数据和人工干预，从而对监控区域是否存在违章用地做出准确合理的判断。

发明内容

本发明目的在于提供一种违章用地的自动发现方法，用于土地违法使用的自动发现，利用数字图像、视频处理技术对目标监控区域的视频数据进行处理，建立标准监控目标背景历史数据库，通过分析比对当前目标背景和历史目标背景，自动发现违章用地。

为达成上述目的，本发明所采用的技术方案如下：

一种违章用地的自动发现方法，其特征在于，包括以下步骤：

步骤1：对于每一个监控预置点采集视频数据，滤除其中的流动前景后存储入库，形成初始背景库；

步骤2：采集不同时相的视频数据，并进行稳像处理；

步骤3：对稳像后的视频数据进行图像去噪处理；

步骤4：对滤波处理后的视频数据进行背景建模，滤除视频数据中的流动前景，获得每一个预置点在不同时间节点下的背景图片，即当前背景图片；

步骤5：将相同预置点在不同时相的当前背景图片与初始背景库中的历史背景图片进行图像配准处理，获得差值图片；

步骤6：提取差值图片的变化特征并判断背景是否发生变化：如果发生变化，则进入步骤7，如果没有发生变化，则将当前背景图片作为背景图片更新所述初始背景库并进入步骤2；

步骤7：对发生背景变化的图片，判断是否属于违章用地情况，即是否发生违章建筑物加盖。

进一步，所述稳像处理过程采用电子稳像处理方式，其处理过程如下：

Step1：在所采集得到的视频数据中提取角点；

Step2：根据角点周围的纹理变化程度来选择信息量较大的特征块，使用特征块匹配进行运动估计；

Step3：通过运动估计算法计算帧间的位移矢量（即图2中的局部运动估计）；再求解运动方程，对运动参数进行滤波处理，计算帧间全局运动参数；

Step4：将运动估计得到的帧间全局运动参数累加到前面的帧间全局运动参数的累加值上去，形成一条关于摄像机镜头的运动曲线，这条曲线当中既包括了摄像机的主观运动，同时也包括了一定的抖动分量；

Step5：对Step4得到的运动曲线进行运动滤波处理，去除掉运动矢量累加中的抖动，然后对当前帧进行运动补偿，完成视频稳像的处理。

进一步，所述图像去噪采用基于局部空间异常因子的细节保护正则化算法，将局部空间异常因子SLOM引入到噪声点检测中，并结合Q-估计对图像中的细节进行保护，最后利用正则化函数对噪声点进行修复，其实现过程如下：

Step1：根据图像中噪声点的空间信息和灰度值信息，计算各个像素点的空间局部异常因子，即SLOM因子；

Step2：初步判断噪声像素，并计算局部噪声密度；

Step3：利用Q-估计图片的边缘和细节信息，剔除图像边缘和细节，结合SLOM因子进一步检测噪声，避免将图像的边缘和细节误判为噪声像素；

Step4：将检测出的噪声利用正则化函数估值。

进一步，所述图像配准处理采用SURF算法，其实现配准的过程如下：

Step1：使用SURF算法检测兴趣点，构建积分图像与Hessian矩阵，得到每个兴趣点的64维向量描述符；对于积分图像中某点X=（x,y）,在X点的σ尺度上的Hessian矩阵为:

$(X,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\σ})& L_{\mathrm{xy}}(X,\mathrm{\σ})\\ L_{\mathrm{xy}}(X,\mathrm{\σ})& L_{\mathrm{yy}}(X,\mathrm{\σ})\end{array}\right]$

这里L_xx(X，σ），Ｌ_xy(X，σ），L_yy(X，σ）表示Gaussian二阶偏导在X处的卷积；

Step2：距离、Hessian矩阵迹的正负性匹配兴趣点；

Step3：利用RANSAC算法剔除误匹配点，包括以下步骤：

Step3.1：随机选取4对粗匹配点对，根据这4对粗匹配点对求出变换矩阵H；

Step3.2：计算粗匹配点对中每个点经过矩阵变换后到对应匹配点的欧式距离d；

Step3.3：设定一个阈值TH，把满足d<TH的匹配点作为内点；

Step3.4：找到使得内点数目最多的四对粗匹配点对作为最佳估计，保留H和当前内点集；

Step4：由变换矩阵H，完成图像配准。

进一步，所述背景建模采用基于多分辨率纹理直方图的背景建模算法，其计算步骤为：

I_k＝I_k-1·G(k)，k＝1，...，L，I₀＝I

其中G(kl为一个高斯滤波器，L为多分辨率分解层级数，I为原始图片,@-!d为k级分辨率下的直方图；

计算各个分辨率下的图像直方图得到一个序列：{h₀，h₁，h₂，...，h_L}，其中h_L表示L级分辨率下的直方图；

然后计算每个分辨率下的累积直方图其中表示L级分辨率下的累积直方图；

接着计算两个相邻层级间的差分直方图，差分直方图结合原始直方图，即可以得到图像的多分辨率直方图表示：

$\mathrm{MRH}=\{h_0^c,h_2^c-h_1^c,h_3^c-h_2^c...,h_L^c-h_{L-1}^c\}.$

附图说明

图1为违章用地自动发现方法的实现流程图。

图2为电子稳像的实现流程图。

图3为SURF算法流程示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

本实施例提出的违章用地的自动发现方法，用于土地违法使用的自动发现，利用数字图像、视频处理技术对目标监控区域的视频数据进行处理，建立标准监控目标背景历史数据库，通过分析比对当前目标背景和历史目标背景，自动发现违章用地。

参考图1所示，根据本发明的较优实施例，一种违章用地的自动发现方法，包括以下步骤：

步骤1：对于每一个监控预置点采集视频数据，滤除其中的流动前景后存储入库，形成初始背景库；

步骤2：采集不同时相的视频数据，并进行稳像处理；

步骤3：对稳像后的视频数据进行图像去噪处理；

步骤4：对滤波处理后的视频数据进行背景建模，滤除视频数据中的流动前景，获得每一个预置点在不同时间节点下的背景图片，即当前背景图片；

步骤5：将相同预置点在不同时相的当前背景图片与初始背景库中的历史背景图片进行图像配准处理，获得差值图片；

步骤6：提取差值图片的变化特征并判断背景是否发生变化：如果发生变化，则进入步骤7，如果没有发生变化，则将当前背景图片作为背景图片更新所述初始背景库并进入步骤2；

步骤7：对发生背景变化的图片，判断是否属于违章用地情况，即是否发生违章建筑物加盖。

下面结合附图1-3所示，详细说明本实施例中上述步骤的具体实施。

步骤1：对于每一个监控预置点采集视频数据，滤除其中的流动前景后存储入库，形成初始背景库。

在本步骤中，主要是针对监测初期缺乏对比数据，因此在监控设备例如摄像机镜头架设好了以后，通过处理第一天不同时段的视频数据建立初始数据库，其中存储了用于初始比较的多时相背景图片。

优选地，为了提高采集数据的质量，依据天气情况选择一天中光照、温度和风速等条件最适合的时间段进行视频数据的采集。

所述流动前景包括人流、车流和自然微扰。自然微扰是来自自然界的微扰动，例如：随风飘动的树叶、波浪、云朵、烟、雨、雾等。

步骤2：采集不同时相的视频数据，并进行稳像处理。

本步骤的目的在于解决监控设备因机械振动、风等外界因素干扰所产生的视频画面模糊、质量下降等问题，从而获得稳定的高质量视频输出。

参考图2所示，本实施例中，稳像处理过程采用电子稳像处理方式，其处理过程如下：

Step1：在所采集得到的视频数据中提取角点；

Step2：根据角点周围的纹理变化程度来选择信息量较大的特征块，使用特征块匹配进行运动估计；

Step3：通过运动估计算法计算帧间的位移矢量（即图2中的局部运动估计）；再求解运动方程，对运动参数进行滤波处理，计算帧间全局运动参数；

Step4：将运动估计得到的帧间全局运动参数累加到前面的帧间全局运动参数的累加值上去，形成一条关于摄像机镜头的运动曲线，这条曲线当中既包括了摄像机的主观运动，同时也包括了一定的抖动分量；

Step5：对Step4得到的运动曲线进行运动滤波处理，去除掉运动矢量累加中的抖动，然后对当前帧进行运动补偿，完成视频稳像的处理。

步骤3：对稳像后的视频数据进行图像去噪处理。

本步骤的目的是针对监控设备的老化、受干扰以及图像数据传输过程中产生的噪声，采用适当的去噪方法滤除图像中的噪声干扰，提供采集图像的资料，为后期进行位置建筑物加盖的发现提供优质的数据源。

本实施例中，图像去噪采用基于局部空间异常因子的细节保护正则化算法，简称SLOM-EPR算法，将局部空间异常因子（SLOM）引入到噪声点检测中，并结合Q-估计对图像中的细节进行保护，最后利用正则化函数对噪声点进行修复，该算法运算速度快，细节保护能力强，可以快速的滤除背景图片中的随机值脉冲噪声。该算法还具有下面两个方面的优势：

（a）使用空间局部异常因子(SLOM：spatiallocaloutliermeasure)并结合Q-估计检测噪声点，可以有效提高检测率，保护图像细节；

（b）建立保边正则化函数，并利用共轭梯度法求其最优解，从而实现对噪声点精确赋值。

降噪过程的实现步骤如下：

Step1：根据图像中噪声点的空间信息和灰度值信息，计算各个像素点的空间局部异常因子（SLOM因子）；

Step2：初步判断噪声像素，并计算局部噪声密度；

Step3：利用Q-估计图片的边缘和细节信息，剔除图像边缘和细节，结合SLOM因子进一步检测噪声，从而有效的避免了将图像的边缘和细节误判为噪声像素；

Step4：将检测出的噪声利用正则化函数估值。

步骤4：对滤波处理后的视频数据进行背景建模，滤除视频数据中的流动前景，获得每一个预置点在不同时间节点下的背景图片，即当前背景图片。

由于环境中存在绿化树木等自然因素，树木会随着风摆动，普通算法会见树木识别成“伪前景”；此外，摄像机镜头于露天自然环境下，难免会受自然环境影响，造成获取的视频存在小范围的抖动，为了解决这些问题，本实施例中采用基于多分辨率纹理直方图的背景图像建模方法，可以从包含混乱运动对象的视频中提取出背景，能够排除树木等“伪前景”的影响；从真实的运动对象中区别出运动的背景，对噪声和小幅度的（摄像机）振动具有鲁棒性。

其中，多分辨率纹理直方图的其计算步骤为：

I_k＝I_k-1·G(k)，k＝1，...，L，I₀＝I

其中G(k)为一个高斯滤波器，L为多分辨率分解层级数，I为原始图片,I_k为k级分辨率下的直方图；

计算各个分辨率下的图像直方图得到一个序列：｛h₀，h₁，h₂，...，h_L｝，其中h_L表示L级分辨率下的直方图；

然后计算每个分辨率下的累积直方图其中表示L级分辨率下的累积直方图；

接着计算两个相邻层级间的差分直方图，差分直方图结合原始直方图，即可以得到图像的多分辨率直方图表示：

$\mathrm{MRH}=\{h_0^c,h_2^c-h_1^c,h_3^c-h_2^c...,h_L^c-h_{L-1}^c\}.$

步骤5：将相同预置点在不同时相的当前背景图片与初始背景库中的历史背景图片进行图像配准处理，获得差值图片；

由于土地定点监控设备所采集到的图片可能会出现偏移现象，目标监控场景信息缺失，而且采集到的视频数据信息量大，光照等自然条件变化频繁，因此容易出现不同时相的图像之间因为采集时间不同而存在错位偏移的问题，为了解决这些问题，本实施例中采用SURF算法进行图像配准，将各个时相的背景图像和当前背景配准矫正，未变化背景的提取提供必要前提。

参考图3所示，采用SURF算法实现配准的过程如下：

Step1：使用SURF算法检测兴趣点，构建积分图像与Hessian矩阵，得到每个兴趣点的64维向量描述符；对于积分图像中某点X=（x,y）,在X点的σ尺度上的Hessian矩阵为:

$(X,\mathrm{\&sigma;})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\&sigma;})& L_{\mathrm{xy}}(X,\mathrm{\&sigma;})\\ L_{\mathrm{xy}}(X,\mathrm{\&sigma;})& L_{\mathrm{yy}}(X,\mathrm{\&sigma;})\end{array}\right]$

这里L_xx(X，σ)，L_xy(X，σ），L_yy(X,σ)表示Gaussian二阶偏导在X处的卷积.

Step2：距离、Hessian矩阵迹的正负性匹配兴趣点；

Step3：RANSAC算法剔除误匹配点:

Step3.1：随机选取4对粗匹配点对，根据这4对粗匹配点对求出变换矩阵H；

Step3.2：计算粗匹配点对中每个点经过矩阵变换后到对应匹配点的欧式距离d；

Step3.3：设定一个阈值TH，把满足d<TH的匹配点作为内点；

Step3.4：找到使得内点数目最多的四对粗匹配点对作为最佳估计，保留H和当前内点集。

Step4：由变换矩阵H，完成图像配准。

SURF算法，其具有如下优势：

（a）在重复性、独特性、鲁棒性三个方面，均超越或接近以往提出的同类方法；

（b）提取的特征具有尺度不变、旋转不变的性能，对光照变化和仿射、透视变换具有部分不变性，达到了亚像素、亚尺度级精度；

（c）在计算效率上具有明显的优势。

步骤6：提取差值图片的变化特征并判断背景是否发生变化：如果发生变化，则进入步骤7，如果没有发生变化，则将当前背景图片作为背景图片更新所述初始背景库并进入步骤2。

本步骤中，差值图片通过差分法运算对两幅图像中对应像素点操作，设定灰度变化阈值T，当两幅图像中对应像素灰度差值在阈值范围内（＜T），则认为没有发生背景变化，反之，则认为该像素点属于场景变化区域，发生了背景变化，并更新到场景中的变化区域图中。

步骤7：对发生背景变化的图片，判断是否属于违章用地情况，即是否发生违章建筑物加盖。

本实施例中，结合城镇建筑物规划数据库，在城镇建筑物规划数据库内自动进行搜索，检索监控预置点所在地块的建筑物规划数据，判断当前监控场景中的加盖建筑是否属于违建。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (4)

1.一种违章用地的自动发现方法，其特征在于，包括以下步骤：

步骤1：对于每一个监控预置点采集视频数据，滤除其中的流动前景后存储入库，形成初始背景库；

步骤2：采集不同时相的视频数据，并通过电子稳像进行稳像处理；

所述稳像处理过程采用电子稳像处理方式，其处理过程如下：

Step 1：在所采集得到的视频数据中提取角点；

Step 2：根据角点周围的纹理变化程度来选择信息量较大的特征块，使用特征块匹配进行运动估计；

Step 3：通过运动估计算法计算帧间的位移矢量；再求解运动方程，对运动参数进行滤波处理，计算帧间全局运动参数；

Step 4：将运动估计得到的帧间全局运动参数累加到前面的帧间全局运动参数的累加值上去，形成一条关于摄像机镜头的运动曲线，这条曲线当中既包括了摄像机的主观运动，同时也包括了一定的抖动分量；

Step 5：对Step 4得到的运动曲线进行运动滤波处理，去除掉运动矢量累加中的抖动，然后对当前帧进行运动补偿，完成视频稳像的处理；

步骤3：基于局部空间异常因子的细节保护正则化算法对稳像后的视频数据进行图像去噪处理；

步骤4：基于多分辨率纹理直方图对滤波处理后的视频数据进行背景建模，滤除视频数据中的流动前景，获得每一个预置点在不同时间节点下的背景图片，即当前背景图片；

步骤5：基于SURF算法将相同预置点在不同时相的当前背景图片与初始背景库中的历史背景图片进行图像配准处理，获得差值图片；

步骤6：提取差值图片的变化特征并判断背景是否发生变化：如果发生变化，则进入步骤7，如果没有发生变化，则将当前背景图片作为背景图片更新所述初始背景库并进入步骤2；

步骤7：对发生背景变化的图片，判断是否属于违章用地情况，即是否发生 违章建筑物加盖。

2.根据权利要求1所述的违章用地的自动发现方法，其特征在于，所述图像去噪采用基于局部空间异常因子的细节保护正则化算法，将局部空间异常因子SLOM引入到噪声点检测中，并结合Q-估计对图像中的细节进行保护，最后利用正则化函数对噪声点进行修复，其实现过程如下：

Step 1：根据图像中噪声点的空间信息和灰度值信息，计算各个像素点的空间局部异常因子，即SLOM因子；

Step 2：初步判断噪声像素，并计算局部噪声密度；

Step 3：利用Q-估计图片的边缘和细节信息，剔除图像边缘和细节，结合SLOM因子进一步检测噪声，避免将图像的边缘和细节误判为噪声像素；

Step 4：将检测出的噪声利用正则化函数估值。

3.根据权利要求1所述的违章用地的自动发现方法，其特征在于，所述图像配准处理采用SURF算法，其实现配准的过程如下：

Step 1：使用SURF算法检测兴趣点，构建积分图像与Hessian矩阵，得到每个兴趣点的64维向量描述符；对于积分图像中某点X＝(x,y),在X点的σ尺度上的Hessian矩阵为:

这里L_xx(X，σ)，L_xy(X，σ)，L_yy(X，σ)表示Gaussian二阶偏导在X处的卷积；

Step 2：距离、Hessian矩阵迹的正负性匹配兴趣点；

Step 3：利用RANSAC算法剔除误匹配点，包括以下步骤：

Step 3.1：随机选取4对粗匹配点对，根据这4对粗匹配点对求出变换矩阵H；

Step 3.2：计算粗匹配点对中每个点经过矩阵变换后到对应匹配点的欧式距离d；

Step 3.3：设定一个阈值TH，把满足d<TH的匹配点作为内点；

Step 3.4：找到使得内点数目最多的四对粗匹配点对作为最佳估计，保留H和当前内点集；

Step 4：由变换矩阵H，完成图像配准。

4.根据权利要求1所述的违章用地的自动发现方法，其特征在于，所述背景建模采用基于多分辨率纹理直方图的背景建模算法，其计算步骤为：

I_k＝I_k-1·G(k)，k＝1，…，L，I₀＝I

其中G(k)为一个高斯滤波器，L为多分辨率分解层级数，I为原始图片,I_k为k级分辨率下的直方图；

计算各个分辨率下的图像直方图得到一个序列：{h₀，h₁，h₂，…，h_L},其中h_L表示L级分辨率下的直方图；

然后计算每个分辨率下的累积直方图其中表示L级分辨率下的累积直方图；

接着计算两个相邻层级间的差分直方图，差分直方图结合原始直方图，即可以得到图像的多分辨率直方图表示：