CN111724319A - 视频监控***中的图像处理方法 - Google Patents

Abstract

本发明公开了一种视频监控***中的图像处理方法，包括图像的灰度化处理、图像的二值化处理、数学形态学的应用及采用连通区域分析算法。本发明运用了图像处理方面的知识，对图像进行灰度化处理可以降低处理复杂度，满足算法的实时性。二值化处理能够为后续的工作提供方便，形态学的应用可以消除图像中的噪声，使结果更理想。运用连通区域分析算法，可以跟踪物体的运动轨迹。

Description

视频监控***中的图像处理方法

技术领域：

本发明涉及一种视频监控***中的图像处理方法。

背景技术：

视频监控就是指在不需要人为干预的情况下，利用计算机视觉和视频分 析的方法对摄像机拍录的图像序列进行自动分析，并判断它们的行为，从而 实现对目标的检测和跟踪，在遇到异常情况时报警。在对视频中的运动物体 检测之前，需要对图像进行预处理，这是后续工作的基础，处理的好，能给 后面的检测工作带来方便。由于安放位置、拍摄角度和光照不均匀的影响， 图像会出现亮度不均匀等情况，所有这些因素都会对图像的二值分割产生影 响，图像二值化处理时采用局部阈值法，则是根据像素灰度值以及这个像素 周围点的局部灰度特性，来确定像素的阈值的，但是实现速度比较慢。

发明内容：

本发明的目的在于提供一种能够为后续的工作提供方便、消除图像中的 噪声、可以跟踪物体的运动轨迹视频监控***中的图像处理方法。

本发明的目的通过以下技术方案来实现：一种视频监控***中的图像处 理方法，视频监控***采集的视频图像是彩色的，在处理时，先进行灰度化 处理，之后进行二值化处理，再运用数学形态学的方法填补二值化图像中运 动目标的内部空洞，最后采用连通区域分析算法，具体包括以下步骤：

A、图像的灰度化处理：由于视频中的图像是彩色的，处理起来要考虑 的因素比较多，由于图像的任意一个像素都具有三个不同的颜色分量，存在 许多与识别无关的信息，计算比较复杂，所以先将彩色图像进行预处理，变 成灰度图像，加快处理速度；

B、图像的二值化处理：由于安放位置、拍摄角度和光照不均匀的影响， 图像会出现亮度不均匀等情况，所有这些因素都会对图像的二值分割产生影 响，所以二值化算法在***中是非常关键的，它的优势和劣势将对后续的工 作产生很大的影响；图像二值化分割方法具体为全局阈值法，是根据图像的 直方图或灰度的空间分布来确定一个阈值，并根据此阈值来完成从灰度图像 到二值化图像的转变；

C、数学形态学的应用：运用数学形态学的方法填补二值化图像中运动 目标的内部空洞；数学形态学是由一组形态学的代数运算子组成的，它的基 本运算有4个：膨胀或扩张运算、腐蚀或侵蚀运算、开运算和闭运算，膨胀 会扩大图像，腐蚀会收缩图像，它们在二值图像和灰度图像中各有特点，基 于这些基本运算，可以推导和组合各种数学形态学实用算法，用它们可以进 行图像形状和结构的分析及处理，包括图像分割、特征抽取、边界检测；

D、采用连通区域分析算法：像素间的连通性是一个基本概念，它简化 了许多数字图像概念的定义，如区域和边界，为了确定两个像素是否连通， 必须确定它们是否相邻以及灰度值是否满足特定的相似性准则，实际上，在 二值图像中提取连通分量是许多自动图像分析应用中的核心任务；运用连通 区域分析来确定车的连通区域，再对区分出来的连通区域进行重心点计算， 跟踪每帧图片计算出来的重心点，就能够确定物体的运行轨迹。

本发明的进一步改进在于：步骤A中图像的灰度化处理采用加权平均值 法：根据重要性或者其他指标给R、G、B赋予不同的权值，并使g等于他们 的值的加权平均值，即：

其中W_R，W_G，W_B分别为R、G、B的权值，由于人眼对绿色的敏感度最 高，对红色的敏感度次之，对蓝色的敏感度最低，所以一般用以下式，即：

g＝0.299R+0.587G+0.114B。

本发明的进一步改进在于：图像的二值化处理具体采用全局阈值法，全 局阈值法具体为最大类间方差算法；在最大类间方差算法中，方差是灰度分 布均匀性的一种量度，方差值越大，说明构成图像的两部分差别越大，当部 分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使 类间方差最大的分割意味着错分概率最小；算法分析输入灰度图像的直方 图，将其分成两部分，使得它们之间的距离达到最大值，即类间方差达到最 大值，划分点就是求得的阈值；

设原始灰度图像灰度级为m-1，灰度级为i的像素点数为n_i，则图像的 全部像素为：

N＝n₀+n₁+...+n_m-1

各值的概率：

把灰度级用阈值T划分为两组：C₀＝(0,1,2,...,T-1)和C₁＝(T,T+1,...,m-1)； 各组产生的概率如下：

C₀类出现的概率：

C₁类出现的概率：

C₀类的平均值：

C₁类的平均值：

其中：

是整体图像的灰度平均值；

是阈值为T时灰度 平均值，所以全部采样的灰度平均值为：

μ＝ω₀μ₀+ω₁μ₁

C₀和C₁类间的方差可由下式求得：

从1到m-1之间改变T，求上式为最大值时的T，即求maxδ²(T)时的T^*值，此时，T^*就是阈值，δ²(T)叫做阈值选择函数。

本发明的进一步改进在于：步骤C中的膨胀或扩张运算具体为：

X依据S的膨胀可以定义为：

在二值化图像处理中X为二值图像，S为结构化要素，上式表示把结构 化要素S的原点平行移动到图形X中的所有像素上得到的集合之和，直接体 现了膨胀运算的几何意义，膨胀运算具体操作是在图像上进行运行扫描，若 当前像素的S反转形状邻域中有像素值为1，则当前像素值为1，否则为0。

本发明的进一步改进在于：步骤C中的腐蚀或侵蚀运算具体为：

X依据S的腐蚀可以定义为：

在二值化图像处理中X为二值图像，S为结构化要素，上式表示不管把 结构化要素S的原点平行移动到腐蚀运算后的图形中的哪一个像素上，它始 终都包含在原图形X的内部，腐蚀运算具体操作是在图像上进行运行扫描， 若当前像素与S具有同一形状的邻域全部在X中，则当前像素为l，否则为0。

本发明的进一步改进在于：步骤C中的开运算和闭运算，其定义为：

开运算：

闭运算：

在二值化图像处理中X为二值图像，S为结构化要素，X被S开运算就 是X被S腐蚀后的结果再被S膨胀，开运算的结果是使结构化要素S在图像 内平行移动且不从图像内溢出时，结构化要素能够到达的区域；闭运算的结 果是使结构化要素S的反转在图像的背景内平行移动且不从背景中溢出时， 结构化要素能够到达的区域的补集；开运算能消除图像中小于结构元素的较 凸细节部分；闭运算能消除图像中较凹的部分，填补小空洞和缝隙，使得物 体边缘更光滑；为了除去由于阈值分割产生的噪声，对图像先开运算，然后 再闭运算，从而达到消除噪声，填补小空洞的目的。

本发明的进一步改进在于：步骤D中连通区域分析算法具体为：

令Y表示一个包含于集合A中的连通分量，并假设Y中的一个点是已知 的；然后，用如下迭代表达式生成Y的所有元素：

这里X₀＝p，B是一个适当的结构元素，如果X_k＝X_k-1，则算法收敛， 并且令Y＝X_k；

在每一步迭代操作中，与A的交集消除了位于中心的标记为0的元素； 设结构元素的形状在像素间具有连通性，如果假设每个连通分量中有一个点 已知，则其结果适用于包含在A中的任何有限连通分量的集合。

本发明的有益效果为：本发明通过对图像的处理，可以使图像中有用的 信息或特征更容易提取，为进一步的图像分析以及目标跟踪工作提供良好基 础。

附图说明：

图1-图5均是连通区域分析图：图1显示了起始点p的集合A，所有灰 色点值为1，与p的表示不同，说明这些点还没有被算法找到；图2为结构 元素，0为原点；图3表示第一次迭代的结果；图4是第二步的结果；图5 为最终结果。

具体实施方式：

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明 实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发 明一部分实施例，而不是全部的实施例。在本发明的一种实施方式中描述的 元素和特征可以与一个或更多个其它实施方式中示出的元素和特征相结合。 应当注意，为了清楚的目的，说明中省略了与本发明无关的、本领域普通技 术人员已知的部件和处理的表示和描述。基于本发明中的实施例，本领域普 通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种视频监控***中的图像处理方法，包括图像的灰度化处理、图像的 二值化处理、数学形态学的应用及采用连通区域分析算法。

从技术角度而言，视频监控主要是基于运动视觉分析理论的应用，包括 了运动目标的检测、目标分割提取、目标跟踪等几个部分。基本处理流程如 下：

预处理：采集的视频图像是彩色的，在处理时，先进行灰度化处理，通 过对图像的预处理，可以使图像中有用的信息或特征更容易提取，为进一步 的图像分析以及目标跟踪工作提供良好基础。

运动检测:从视频序列图像中将运动物体从背景图像中提取出来，使运 动物体与背景分离，有利于以后对目标行为的理解分析。

目标跟踪:对视频序列中的运动目标进行跟踪。在研究分析各种跟踪方 法的优缺点的基础上，实现对目标的跟踪。

其后续工作是行为理解和描述，对目标进行检测跟踪的目的就是要对其 进行分析，从而对行为进行判断。

图像的灰度变换：

由于视频中的图像是彩色的，处理起来要考虑的因素比较多，由于图像 的任意一个像素都具有三个不同的颜色分量，存在许多与识别无关的信息， 计算比较复杂，所以先将彩色图像进行预处理，变成灰度图像^[20]，加快处理 速度。

在RGB模型中，如果R＝G＝B，则颜色表示一种灰度颜色，其中R＝G＝B的值叫 做灰度值，我们用g来表示。由彩色转化为灰度的过程叫做灰度化，灰度化 处理方法如下：

加权平均值法：根据重要性或者其他指标给R、G、B赋予不同的权值，并使 g等于他们的值的加权平均值，即：

其中W_R，W_G，W_B分别为R、G、B的权值。由于人眼对绿色的敏感度最高， 对红色的敏感度次之，对蓝色的敏感度最低，所以我们一般用下式即：

g＝0.299R+0.587G+0.114B

对图像进行处理的最终目的是突出运动物体，消除背景，所以可以针对 不同的图像进行不同的处理，比如当图中的运动物体为红色时，只要考虑R 的值就可以了。这样做不仅可以节约时间，还为下一步的检测提供条件。

图像二值化：

由于安放位置、拍摄角度和光照不均匀的影响，图像会出现亮度不均匀等情 况，所有这些因素都会对图像的二值分割产生影响，所以二值化算法在*** 中是非常关键的，它的优势和劣势将对后续的工作产生很大的影响。

图像二值化分割方法为全局阈值法，是根据图像的直方图或灰度的空间分布 来确定一个阈值，并根据此阈值来完成从灰度图像到二值化图像的转变。 全局阈值的代表算法是最大类间方差算法，最大类方差阈值也叫大津阈值， 是在最小二乘原理的基础上推导出来的，可以得到比较好的效果。

在最大类间方差算法中，方差是灰度分布均匀性的一种量度，方差值越大， 说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为 目标都会导致两部分差别变小，因此使类间方差最大的分割意味着错分概率 最小。算法分析输入灰度图像的直方图，将其分成两部分，使得它们之间的 距离(即类间方差)达到最大值，划分点就是求得的阈值。

设原始灰度图像灰度级为m-1，灰度级为i的像素点数为n_i，则图像的全部 像素为：

N＝n₀+n₁+...+n_m-1

各值的概率：

把灰度级用阈值T划分为两组：C₀＝(0,1,2,...,T-1)和C₁＝(T,T+1,...,m-1)。各组 产生的概率如下：

C₀类出现的概率

C₁类出现的概率

C₀类的平均值

C₁类的平均值

其中：

是整体图像的灰度平均值；

是阈值为T时灰度平均值，所以全部采样的灰度平均值为：

μ＝ω₀μ₀+ω₁μ₁

C₀和C₁类间的方差可由下式求得：

从1到m-1之间改变T，求上式为最大值时的T，即求maxδ²(T)时的T^*值， 此时，T^*就是阈值，把δ²(T)叫做阈值选择函数。

因为其具有很好的自适应性，本发明用的是最大类间方差法来进行二值化 的，实现了二值化的分割，黑色表示背景，使运动目标更加突出，为后续的 处理工作提供了方便。

形态学应用：

经过一些处理后，因为目标中有的点与背景图像比较接近时，会出现空 洞，需要进一步去除噪声点才能得到完整的结果。本发明运用数学形态学的 方法填补二值化图像中运动目标的内部空洞，经过试验，能得到较好的结果。

数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个： 膨胀(或扩张)、腐蚀(或侵蚀)、开或闭，它们在二值图像和灰度图像中各 有特点。基于这些基本运算，还可以推导和组合各种数学形态学实用算法， 用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、 边界检测等。数学形态学方法是利用一个称作结构元素的“探针”收集图像 的信息，当“探针”在图像中不断移动时，便可考察图像各个部分之间的相 互关系，从而了解图像结构特征。

基于数学形态学的方法可以借助先验的几何特征信息，在利用形态学算 子有效地滤除噪声同时，又可以较有效地保留图像中的原有信息。

1.膨胀

X依据S的膨胀可以定义为：

在二值化图像处理中X为二值图像，S为结构化要素，上式表示把结构 化要素S的原点平行移动到图形X中的所有像素上得到的集合之和，直接体 现了膨胀的几何意义。膨胀具体操作是在图像上进行运行扫描，若当前像素 的S反转形状邻域中有像素值为1，则当前像素值为1，否则为0。

2、腐蚀

X依据S的腐蚀可以定义为：

上式表示不管把结构化要素S的原点平行移动到腐蚀后的图形中的哪一 个像素上，它始终都包含在原图形X的内部。腐蚀具体操作是在图像上进行 运行扫描，若当前像素与S具有同一形状的邻域全部在X中。则当前像素为l， 否则为0。

膨胀会扩大图像，腐蚀会收缩图像。另两个重要的形态学运算是开运算 和闭运算，其定义为：

开运算：

闭运算：

X被S开运算就是X被S腐蚀后的结果再被S膨胀，开运算的结果是使结构 化要素S在图像内平行移动且不从图像内溢出时，结构化要素能够到达的区 域。闭运算的结果是使结构化要素S的反转在图像的背景内平行移动且不从 背景中溢出时，结构化要素能够到达的区域的补集。显然开运算能消除图像 中小于结构元素的较凸细节部分；闭运算能消除图像中较凹的部分，填补小 空洞和缝隙使得物体边缘更光滑。为了除去由于阈值分割产生的噪声，可对 图像先开运算，然后再闭运算，从而达到消除噪声，填补小空洞的目的。 连通区域分析：

像素间的连通性是一个基本概念，它简化了许多数字图像概念的定义， 如区域和边界。为了确定两个像素是否连通，必须确定它们是否相邻以及灰 度值是否满足特定的相似性准则。实际上，在二值图像中提取连通分量是许 多自动图像分析应用中的核心任务。令Y表示一个包含于集合A中的连通分 量，并假设Y中的一个点是已知的^[27]。然后，用如下迭代表达式生成Y的所 有元素：

这里X₀＝p，B是一个适当的结构元素。如果X_k＝X_k-1，则算法收敛，并且 令Y＝X_k。

在每一步迭代操作中，与A的交集消除了位于中心的标记为0的元素。 上图中结构元素的形状假定在像素间具有8连通性，如果假设每个连通分量 中有一个点已知，则其结果适用于包含在A中的任何有限连通分量的集合。

本发明运用连通区域分析来确定车的连通区域，再对区分出来的连通区 域进行重心点计算，跟踪每帧图片计算出来的重心点，就能够确定物体的运 行轨迹，图片中得到一个连通区域，并用蓝色进行标记，再找出蓝色区域的 重心点，即找到了整辆车的重心点。

本发明运用了图像处理方面的知识，对图像进行灰度化处理可以降低处 理复杂度，满足算法的实时性。二值化处理能够为后续的工作提供方便，形 态学的应用可以消除图像中的噪声，使结果更理想。运用连通区域分析算法， 可以跟踪物体的运动轨迹。

最后应说明的是：虽然以上已经详细说明了本发明及其优点，但是应当 理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可 以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述 的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员 从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相 应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被 开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它 们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (7)

1.一种视频监控***中的图像处理方法，其特征在于：视频监控***采集的视频图像是彩色的，在处理时，先进行灰度化处理，之后进行二值化处理，再运用数学形态学的方法填补二值化图像中运动目标的内部空洞，最后采用连通区域分析算法，具体包括以下步骤：

A、图像的灰度化处理：由于视频中的图像是彩色的，处理起来要考虑的因素比较多，由于图像的任意一个像素都具有三个不同的颜色分量，存在许多与识别无关的信息，计算比较复杂，所以先将彩色图像进行预处理，变成灰度图像，加快处理速度；

B、图像的二值化处理：由于安放位置、拍摄角度和光照不均匀的影响，图像会出现亮度不均匀等情况，所有这些因素都会对图像的二值分割产生影响，所以二值化算法在***中是非常关键的，它的优势和劣势将对后续的工作产生很大的影响；图像二值化分割方法具体为全局阈值法，是根据图像的直方图或灰度的空间分布来确定一个阈值，并根据此阈值来完成从灰度图像到二值化图像的转变；

C、数学形态学的应用：运用数学形态学的方法填补二值化图像中运动目标的内部空洞；数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀或扩张运算、腐蚀或侵蚀运算、开运算和闭运算，膨胀会扩大图像，腐蚀会收缩图像，它们在二值图像和灰度图像中各有特点，基于这些基本运算，可以推导和组合各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边界检测；

D、采用连通区域分析算法：像素间的连通性是一个基本概念，它简化了许多数字图像概念的定义，如区域和边界，为了确定两个像素是否连通，必须确定它们是否相邻以及灰度值是否满足特定的相似性准则，实际上，在二值图像中提取连通分量是许多自动图像分析应用中的核心任务；运用连通区域分析来确定车的连通区域，再对区分出来的连通区域进行重心点计算，跟踪每帧图片计算出来的重心点，就能够确定物体的运行轨迹。

2.根据权利要求1所述一种视频监控***中的图像处理方法，其特征在于：所述步骤A中图像的灰度化处理采用加权平均值法：根据重要性或者其他指标给R、G、B赋予不同的权值，并使g等于他们的值的加权平均值，即：

其中W_R，W_G，W_B分别为R、G、B的权值，由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，所以一般用以下式，即：

g＝0.299R+0.587G+0.114B。

3.根据权利要求1所述一种视频监控***中的图像处理方法，其特征在于：所述图像的二值化处理具体采用全局阈值法，全局阈值法具体为最大类间方差算法；在最大类间方差算法中，方差是灰度分布均匀性的一种量度，方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使类间方差最大的分割意味着错分概率最小；算法分析输入灰度图像的直方图，将其分成两部分，使得它们之间的距离达到最大值，即类间方差达到最大值，划分点就是求得的阈值；

设原始灰度图像灰度级为m-1，灰度级为i的像素点数为n_i，则图像的全部像素为：

N＝n₀+n₁+...+n_m-1

各值的概率：

把灰度级用阈值T划分为两组：C₀＝(0,1,2,...,T-1)和C₁＝(T,T+1,...,m-1)；各组产生的概率如下：

C₀类出现的概率：

C₁类出现的概率：

C₀类的平均值：

C₁类的平均值：

其中：

是整体图像的灰度平均值；

是阈值为T时灰度平均值，所以全部采样的灰度平均值为：

μ＝ω₀μ₀+ω₁μ₁

C₀和C₁类间的方差可由下式求得：

从1到m-1之间改变T，求上式为最大值时的T，即求maxδ²(T)时的T^*值，此时，T^*就是阈值，δ²(T)叫做阈值选择函数。

4.根据权利要求1所述一种视频监控***中的图像处理方法，其特征在于：所述步骤C中的膨胀或扩张运算具体为：

X依据S的膨胀可以定义为：

在二值化图像处理中X为二值图像，S为结构化要素，上式表示把结构化要素S的原点平行移动到图形X中的所有像素上得到的集合之和，直接体现了膨胀运算的几何意义，膨胀运算具体操作是在图像上进行运行扫描，若当前像素的S反转形状邻域中有像素值为1，则当前像素值为1，否则为0。

5.根据权利要求1所述一种视频监控***中的图像处理方法，其特征在于：所述步骤C中的腐蚀或侵蚀运算具体为：

X依据S的腐蚀可以定义为：

在二值化图像处理中X为二值图像，S为结构化要素，上式表示不管把结构化要素S的原点平行移动到腐蚀运算后的图形中的哪一个像素上，它始终都包含在原图形X的内部，腐蚀运算具体操作是在图像上进行运行扫描，若当前像素与S具有同一形状的邻域全部在X中，则当前像素为l，否则为0。

6.根据权利要求1所述一种视频监控***中的图像处理方法，其特征在于：所述步骤C中的开运算和闭运算，其定义为：

开运算：

闭运算：

在二值化图像处理中X为二值图像，S为结构化要素，X被S开运算就是X被S腐蚀后的结果再被S膨胀，开运算的结果是使结构化要素S在图像内平行移动且不从图像内溢出时，结构化要素能够到达的区域；闭运算的结果是使结构化要素S的反转在图像的背景内平行移动且不从背景中溢出时，结构化要素能够到达的区域的补集；开运算能消除图像中小于结构元素的较凸细节部分；闭运算能消除图像中较凹的部分，填补小空洞和缝隙，使得物体边缘更光滑；为了除去由于阈值分割产生的噪声，对图像先开运算，然后再闭运算，从而达到消除噪声，填补小空洞的目的。

7.根据权利要求1所述一种视频监控***中的图像处理方法，其特征在于：所述步骤D中连通区域分析算法具体为：

令Y表示一个包含于集合A中的连通分量，并假设Y中的一个点是已知的；然后，用如下迭代表达式生成Y的所有元素：

这里X₀＝p，B是一个适当的结构元素，如果X_k＝X_k-1，则算法收敛，并且令Y＝X_k；

在每一步迭代操作中，与A的交集消除了位于中心的标记为0的元素；设结构元素的形状在像素间具有连通性，如果假设每个连通分量中有一个点已知，则其结果适用于包含在A中的任何有限连通分量的集合。

Images