CN102903126B - 一种视频图像纹理特征提取和结构化描述的***和方法 - Google Patents

Abstract

本发明公开了一种视频图像纹理特征提取和结构化描述的***和方法，本发明在双核DSP数字信号处理器芯片控制下，视频图像采集模块实时地采集图像，经过A\D采样模块处理后进行图像分割，得到若干子图像，二维Gabor小波模块对子图像进行滤波处理，再经过纹理特征提取模块提取得到子图像的纹理特征，分类判别模块根据提取的纹理特征与Brodatz标准纹理库进行特征匹配，最后由结构化描述模块将纹理特征和关于图像属性及内容的分类判别结果进行结构化描述。本发明提供的方法能够从非结构化的视频图像信息中提取纹理特征并进行结构化描述，可实现对视频图像内容的查询、检索和浏览，便于视频监控的有效应用和管理。

Description

一种视频图像纹理特征提取和结构化描述的***和方法

技术领域

本发明涉及视频图像处理领域，特别涉及图像纹理特征提取技术领域，具体是指一种基于嵌入式***的视频图像纹理特征提取和结构化描述的方法。

背景技术

伴随着科技的飞速发展，视频监控技术日新月异。目前的视频监控主要以人工监控及人工查阅录像资料来查找证据和线索为主。现有的原始视频图像数据属于一种难以进行检索、查询的非结构化数据，如果需要通过视频录像来查找某个线索或者细节，必须采用人工调阅该录像视频片断方法，对该视频录像进行完整的分析，消耗大量的人力，物力。鉴于此种情况，如何从海量图像数据中搜索人们感兴趣的图像并有效利用这些图像，成为迫切需要解决的问题。基于内容的图像检索（CBIR）是解决这一问题的重要技术之一。基于内容的图像检索是指利用图像内容特征（包括形状特征、颜色特征、纹理特征）对图像进行检索、查询。

现有技术中，申请号为200310118093.X的中国专利文献中公开了一种形状描述符抽取方法和一种图像搜索方法，能够达到对活动视频进行压缩处理，并能基于该活动视频压缩技术进行图像搜索的目的。申请号为200910200590的中国专利文献中公开了一种图像主颜色特征提取和结构化描述的方法，通过比较两幅图像主颜色特征之间的相似程度来判别两幅图像的相似性，快速查找到相同或相似的图像，处理过程简单方便，工作性能稳定可靠，广泛用于图像检索、机器视觉和智能视频监控领域。

图像的纹理特征作为一种重要的图像视觉特征，在图像检索和视频图像分析方面有重要的应用价值，但是在现有技术中，目前还没有基于嵌入式***的图像纹理特征提取和结构化描述方面相关的解决方案。

发明内容

本发明针对现有视频图像处理技术在精度和可靠性所存在的缺陷，利用嵌入式双核DSP技术，提供一种能够精确有效地对图像纹理特征提取和结构化描述***，该***的处理过程简单方便、工作性能稳定可靠、适用范围较为广泛。

为了达到上述目的，本发明采用如下的技术方案：

一种视频图像纹理特征提取和结构化描述的***，所述***包括：

视频图像采集模块，所述视频图像采集模块实时采集视频图像；

图像A\D采样模块，所述图像A\D采用模块对视频图像采集模块采集的视频图像进行数据采样；

双核DSP数字信号处理器芯片，所述双核DSP数字信号处理器芯片对图像A\D采样模块采集的数据进行处理；

图像分割模块，所述图像分割模块受双核DSP数字信号处理器芯片控制将图像A\D采样模块采集的图像分割成若干子图像；

二维Gabor小波模块，所述二维Gabor小波模块受双核DSP数字信号处理器芯片控制对各个子图像进行二维Gabor小波滤波处理；

纹理特征提取模块，所述纹理特征提取模块受双核DSP数字信号处理器芯片控制提取经滤波处理后子图像的纹理特征；

分类判别模块，所述分类判别模块受双核DSP数字信号处理器芯片控制将纹理特征提取模块提取的纹理特征与Brodatz标准纹理库进行匹配、判别，并分类处理；

结构化描述模块，所述结构化描述模块受双核DSP数字信号处理器芯片控制对由纹理特征提取模块提取的各个子图像的纹理特征和经分类判别模块分类判别产生的结果进行描述，产生关于图像属性和内容的描述数据。

在***的优选方案中，所述双核DSP数字信号处理器芯片包括ARM核和DSP核，所述ARM核控制图像A\D采样模块、分类判别模块以及结构化描述模块；所述DSP核控制图像分割模块、二维Gabor小波模块以及纹理特征提取模块。

进一步的，所述双核DSP数字信号处理器芯片为双核DSP处理器DM6467。

进一步的，所述***还包括查询、检索和浏览模块，该模块受双核DSP数字信号处理器芯片控制。

进一步的，所述***还包括外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备，所述外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备分别与双核DSP数字信号处理器芯片数据相接。

作为本发明的第二目的，本发明还提供一种视频图像纹理特征提取和结构化描述的方法，该方法包括如下步骤：

（1）将采集到的模拟视频图像信息进行数字化处理，得到关于图像的比特流；

（2）将得到的数字图像分割成若干子图像；

（3）对各个子图像进行二维Gabor小波滤波处理；

（4）对经过滤波处理的子图像进行纹理特征提取；

（5）将提取到的纹理特征值与Brodatz标准纹理库进行匹配、判别，并分类处理；

（6）对分类判别的结果和提取到的纹理特征值进行描述，得到有关图像属性和内容的描述数据。

在方法的优选方案中，所述步骤（1）、步骤（5）以及步骤（6）由双核DSP数字信号处理器芯片中AMR核控制完成；步骤（2）至步骤（4）由双核DSP数字信号处理器芯片中DSP核控制完成。

进一步的，所述步骤（3）进行二维Gabor滤波，其函数表示为：

$g(x,y)=\left[\frac{1}{{2\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}\right]\exp [-\frac{1}{2}(\frac{x^2}{{{\mathrm{\σ}}_x}^2}+\frac{y^2}{{{\mathrm{\σ}}_y}^2})+2\mathrm{\πjWx}]$

其中，W是高斯函数复调制频率。

进一步的，所述步骤（6）中描述数据采用二进制的XML语言进行编写。

进一步的，所述方法还包括通过结构化描述语句对视频进行查询、检索和浏览的步骤。

本发明提出具有视频图像纹理特征提取和结构化描述功能的嵌入式***能够对监控视频进行结构化描述，产生关于其属性和内容的描述信息。该描述信息可用以查询、浏览和检索，节省大量的人力、物力，并能更加有效地对监控视频进行操作和管理。

再者，本发明提供的方法能够精确有效地对图像纹理特征提取和结构化描述，整个处理过程简单方便、工作性能稳定可靠、适用范围较为广泛。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明图像纹理特征提取和结构化描述***的框架组成示意图。

图2为本发明图像纹理特征提取和视频结构化描述***的工作过程示例。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，本发明提出了一种基于嵌入式***的视频图像纹理特征提取和结构化描述***100，其包括：一个双核DSP数字信号处理器芯片108、视频图像采集模块101、图像A\D采样模块102、图像分割模块103、二维Gabor小波模块104、纹理特征提取模块105、分类判别模块106、结构化描述模块107、查询、检索和浏览模块113及外部高速动态存储器SDRAM（110）、外部程序与数据存储器111、USB接口设备112以及电源控制模块109。

其中，视频图像采集模块101与图像A\D采样模块102及双核DSP数字信号处理器芯片108之间依次连接，将采集的图像通过视频数据总线传至双核DSP数字信号处理器芯片108。

双核DSP数字信号处理器芯片108依次控制图像分割模块103、二维Gabor小波模块104、纹理特征提取模块105、分类判别模块106以及结构化描述模块107对接收的数据进行结构化描述处理。

查询、检索和浏览模块113与结构化描述模块107数据相接。

外部高速动态存储器SDRAM（110）、外部程序与数据存储器111与双核DSP数字信号处理器芯片108相互连接。

USB接口设备112通过数据接口与双核DSP数字信号处理器芯片108相互连接。

电源控制模块109为***中各模块提供稳定的工作电源。

在本发明中，双核DSP数字信号处理器芯片108采用TI公司的TMS320C6000系列DM6467双核DSP嵌入式处理器。该处理器具有ARM核及DSP核，两核相互协同完成处理。同时该处理器拥有128MBytes的NANDFlash存储和256MBytes的DDR，并且具有高清输入和输出，能够更好的满足现代视频监控中对高分辨率的要求。

图像A\D采样模块102采用TVP5146芯片，该芯片可以配置成六路复合视频信号输入或二路YPbPr分量输入或S-Video和两路复合视频信号输入等多种方式。该模块将视频图像采集模块101在双核DSP数字信号处理器芯片108中ARM核的控制下将采集的模拟视频图像信号转换为数字图像序列。

图像分割模块103，该模块在双核DSP数字信号处理器芯片108中DSP核的控制下将图像A\D采样模块102采集的图像分割成若干子图像。

二维Gabor小波模块104，该模块在双核DSP数字信号处理器芯片108中DSP核的控制下对分割好的各个子图像进行二维Gabor小波滤波处理。

纹理特征提取模块105，该模块在双核DSP数字信号处理器芯片108中DSP核的控制下提取经滤波处理后子图像的纹理特征。

分类判别模块106，该模块在双核DSP数字信号处理器芯片108中ARM核的控制下将纹理特征提取模块提取的纹理特征与Brodatz标准纹理库进行匹配、判别，并分类处理。

结构化描述模块107，该模块在双核DSP数字信号处理器芯片108中ARM核的控制下对由纹理特征提取模块提取的各个子图像的纹理特征和经分类判别模块分类判别产生的结果进行描述，产生关于图像属性和内容的描述数据。

查询、检索和浏览模块113通过结构化描述模块107得到的结构化描述语句，可以对视频进行查询、检索和浏览，便于监控操作应用与管理。

基于上述***，本发明进行视频图像纹理特征提取和结构化描述的过程由双核DSP中ARM核及DSP核协同处理完成，主要通过如下处理步骤实现：

1.视频图像采集

通过视频图像采集模块101获取监控摄像头所得的视频图像，为后面进行

图像A\D采样提供视频图像来源。

2.图像A\D采样

双核DSP数字信号处理器芯片108中ARM核控制图像A\D采样模块将采集到的模拟视频图像信息进行数字化处理，得到关于图像的比特流。

3.图像分割

双核DSP数字信号处理器芯片108中DSP核控制图像分割模块根据图像中事物的边缘把经过图像A\D采样得到的视频图像分割成若干子图像。

4.二维Gabor小波滤波

双核DSP数字信号处理器芯片108中DSP核控制二维Gabor小波模块对分割处理后的子图像进行二维Gabor小波滤波处理。本实施例中二维Gabor小波中的二维Gabor滤波，其函数可以表示为：

$g(x,y)=\left[\frac{1}{{2\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}\right]\exp [-\frac{1}{2}(\frac{x^2}{{{\mathrm{\σ}}_x}^2}+\frac{y^2}{{{\mathrm{\σ}}_y}^2})+2\mathrm{\πjWx}]$

其中，W是高斯函数复调制频率。

则g(x,y)的Fourier变换G（u，v）为：

$G(u,v)=\exp \{-\frac{1}{2}[\frac{{(u-W)}^2}{{{\mathrm{\σ}}_u}^2}+\frac{v^2}{{{\mathrm{\σ}}_v}^2}\left]\right\}$

其中，σ_u=1/2πσ_x，σ_v=1/2πσ_y。

使用g(x,y)作为母函数，通过对g(x,y)进行适度尺度扩张和旋转变换，可以得到一组自相似的滤波器，即为Gabor小波：

g_mn(x,y)=a^-mg(x′,y′),a>1,m,n为整数

x′=a^-m(xcosθ+ysinθ)，x′=a^-m(-xsinθ+ycosθ)

式中，θ＝nπ/k，且k是方向的数目，m和n分别表示相应的尺度和方向n∈[0,k]，式子中的尺度因子a^-m保证能量大小与m无关。

根据傅立叶变换的线性特性，有

u′=a^-m(ucosθ+vsinθ),v′=a^-m(-u sinθ+vsinθ)

通过改变m和n的值，就可以得到一组尺度和方向都不相同的滤波器。

对于给定的一幅图像I(x,y)，它的离散小波变换可以定义为：

$W_{\mathrm{mn}}(x,y)=\mathrm{\Σ\ΣI}(x,y)g_{\mathrm{mn}}^{*}(x-x_1,y-y_1){\mathrm{\Δx}}_1{\mathrm{\Δy}}_1$

其中，*表示取共轭。假设局部纹理区域具有空间一致性，则变换系数的均值μ_mn和方差σ_mn可以代表该区域，用作分类和检索的目的。

μ_mn=∑∑｜w_mn(x,y)｜ΔxΔy

${\mathrm{\σ}}_{\mathrm{mn}}=\sqrt{\mathrm{\Σ\Σ}{\left(\right|w_{\mathrm{mn}}(x,y)-{\mathrm{\μ}}_{\mathrm{mn}}\left|\right)}^2\mathrm{\Δx\Δ}}y$

以均值μ_mn和方差σ_mn作为特征分量可以构成特征向量作为图像的纹理特征：

f=[μ₀₀ δ₀₀ μ₀₁ δ₀₁…μ₂₄ δ₂₄]

由图像的特征进行相似性度量匹配处理的方法很多，如：欧几里德距离、马氏距离、相关系数等。为提高计算效率，在实验中采用了Manhattan距离即绝对距离：

$D(x,y)=\sqrt{\underset{i=1}{\overset{d}{\mathrm{\Σ}}}{\left|X\right[i]-Y[i\left]\right|}^p}.$

5.纹理特征提取

双核DSP数字信号处理器芯片108中DSP核控制纹理特征提取模块对经过上述的二维Gabor小波处理后的子图像进行特征量处理。本实施例中提取的纹理特征包括：前面当中提到的变换系数的均值μ_mn和方差σ_mn等特征。

6.分类判别

双核DSP数字信号处理器芯片108中ARM核控制分类判别模块根据纹理特征提取模块中提取的图像特征进行分类判别和推理。在分类判别中，本实例选取标准的Brodatz纹理库，是一个被最为广泛采用的纹理图像库，因此，为了不失广泛性，也考虑到和其他算法易于对比，本实例采用了Brodatz纹理库的图像进行实验，用于将上述纹理特征值与Brodatz纹理库进行匹配、判别，并分类处理。

7.结构化描述

双核DSP数字信号处理器芯片108中ARM核控制结构化描述模块对分类判别模块处理的结果和纹理特征提取模块提取的图像特征进行描述，得到有关图像属性和内容的描述数据。在本实例中描述数据采用二进制XML语言进行编码。方便后期进行查询、检索和浏览等操作和管理。

8.查询、检索

查询、检索和浏览模块113通过得到的结构化描述语句，可以对视频进行查询、检索和浏览，便于监控操作应用与管理。

基于上述方案，本发明的具体实施过程如下：

如图2所示，首先，从摄相头采集得到一幅图像（图像中主要显示一头马）；

接着经过A\D采样将模拟图像信号转换成数字图像信号，用于图像的分割处理，将图像分割成若干个子图像；

其次，对于所得到的子图像经过二维Gabor小波滤波处理，并进行纹理特征提取，即求出均值μ_mn和方差σ_mn的值。作为举例得到的子图像为一匹马，将这区马的子图像进行二维Gabor小波滤波处理，并求出度量这匹马纹理特征的均值μ_mn和方差σ_mn的值；

接下来，将上面求得的均值μ_mn和方差σ_mn与Brodatz标准纹理库中的纹理特征进行匹配判别，判断该子图像的内容是马；

最后，就可以对区域形状特征（Region Shape）数据和分类判别的结果进行结构化描述，产生如图中所示的描述数据信息。

采用本实施例提供的具有视频图像纹理特征提取和结构化描述功能的嵌入式***可以完成对监控视频进行快速的查找和检索，以达到智能化控制和管理的目的。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种视频图像纹理特征提取和结构化描述的***，其特征在于，所述***包括：

视频图像采集模块，所述视频图像采集模块实时采集视频图像；

图像A\D采样模块，所述图像A\D采样模块对视频图像采集模块采集的视频图像进行数据采样；

双核DSP数字信号处理器芯片，所述双核DSP数字信号处理器芯片对图像A\D采样模块采集的数据进行处理；

图像分割模块，所述图像分割模块受双核DSP数字信号处理器芯片控制将图像A\D采样模块采集的图像分割成若干子图像；

二维Gabor小波模块，所述二维Gabor小波模块受双核DSP数字信号处理器芯片控制对各个子图像进行二维Gabor小波滤波处理；

纹理特征提取模块，所述纹理特征提取模块受双核DSP数字信号处理器芯片控制提取经滤波处理后子图像的纹理特征；

分类判别模块，所述分类判别模块受双核DSP数字信号处理器芯片控制将纹理特征提取模块提取的纹理特征与Brodatz标准纹理库进行匹配、判别，并分类处理；

结构化描述模块，所述结构化描述模块受双核DSP数字信号处理器芯片控制对由纹理特征提取模块提取的各个子图像的纹理特征和经分类判别模块分类判别产生的结果进行描述，产生关于图像属性和内容的描述数据；

查询、检索和浏览模块，所述查询、检索和浏览模块受双核DSP数字信号处理器芯片控制；

所述双核DSP数字信号处理器芯片包括ARM核和DSP核，所述ARM核控制图像A\D采样模块、分类判别模块以及结构化描述模块；所述DSP核控制图像分割模块、二维Gabor小波模块以及纹理特征提取模块；由双核DSP中ARM核及DSP核协同处理完成对视频图像纹理特征提取和结构化描述的过程：

(1)视频图像采集，通过视频图像采集模块获取监控摄像头所得的视频图像，为后面进行图像A\D采样提供视频图像来源；

(2)图像A\D采样，双核DSP数字信号处理器芯片中ARM核控制图像A\D采样模块将采集到的模拟视频图像信息进行数字化处理，得到关于图像的比特流；

(3)图像分割，双核DSP数字信号处理器芯片中DSP核控制图像分割模块根据图像中事物的边缘把经过图像A\D采样得到的视频图像分割成若干子图像；

(4)二维Gabor小波滤波，双核DSP数字信号处理器芯片中DSP核控制二维Gabor小波模块对分割处理后的子图像进行二维Gabor小波滤波处理；

(5)纹理特征提取，双核DSP数字信号处理器芯片中DSP核控制纹理特征提取模块对经过上述的二维Gabor小波处理后的子图像进行特征量处理；

(6)分类判别，双核DSP数字信号处理器芯片中ARM核控制分类判别模块根据纹理特征提取模块中提取的图像特征进行分类判别和推理；

(7)结构化描述，双核DSP数字信号处理器芯片中ARM核控制结构化描述模块对分类判别模块处理的结果和纹理特征提取模块提取的图像特征进行描述，得到有关图像属性和内容的描述数据；

(8)查询、检索，查询、检索和浏览模块通过得到的结构化描述语句，对视频进行查询、检索和浏览，便于监控操作应用与管理。

2.根据权利要求1所述的一种视频图像纹理特征提取和结构化描述的***，其特征在于，所述双核DSP数字信号处理器芯片为双核DSP处理器DM6467。

3.根据权利要求1所述的一种视频图像纹理特征提取和结构化描述的***，其特征在于，所述***还包括外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备，所述外部高速动态存储器SDRAM、外部程序与数据存储器以及USB接口设备分别与双核DSP数字信号处理器芯片数据相接。

4.根据权利要求1所述的一种视频图像纹理特征提取和结构化描述的***，其特征在于，所述二维Gabor小波模块进行二维Gabor滤波，其函数表示为：

$g(x,y)=\[\frac{1}{2{\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}\]\exp \[-\frac{1}{2}(\frac{x^2}{{{\mathrm{\σ}}_x}^2}+\frac{y^2}{{{\mathrm{\σ}}_y}^2})+2\mathrm{\π}jWx\]$

其中，W是高斯函数复调制频率。

5.根据权利要求1所述的一种视频图像纹理特征提取和结构化描述的***，其特征在于，所述描述数据采用二进制的XML语言进行编写。