CN106203448B - 一种基于非线性尺度空间的场景分类方法 - Google Patents

一种基于非线性尺度空间的场景分类方法 Download PDF

Info

Publication number
CN106203448B
CN106203448B CN201610538778.7A CN201610538778A CN106203448B CN 106203448 B CN106203448 B CN 106203448B CN 201610538778 A CN201610538778 A CN 201610538778A CN 106203448 B CN106203448 B CN 106203448B
Authority
CN
China
Prior art keywords
image
kaze
color
scale space
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610538778.7A
Other languages
English (en)
Other versions
CN106203448A (zh
Inventor
陈苏婷
王卓
裴涛
吴月路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinda Environmental Technology Co ltd
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201610538778.7A priority Critical patent/CN106203448B/zh
Publication of CN106203448A publication Critical patent/CN106203448A/zh
Application granted granted Critical
Publication of CN106203448B publication Critical patent/CN106203448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/424—Syntactic representation, e.g. by using alphabets or grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非线性尺度空间的场景分类方法，构建非线性尺度空间，提取并融合图像颜色特征和空间特征，得到C‑KAZE特征描述向量，通过K‑means将得到的C‑KAZE特征向量聚类生成视觉词包，经过编码池化后，得到高层语义，结合BoVW模型，SPM模型提取并融合图像的高层语义特征和空间布局信息，通过编码和平均池化操作得到最终的特征向量，输入SVM分类器完成场景分类。本发明可快速有效的完成高分辨率，大数据量的场景图像分类，其平均分类准确率和实时性均高于现有分类算法。

Description

一种基于非线性尺度空间的场景分类方法
技术领域
本发明涉及一种基于非线性尺度空间的场景分类方法，属于数字图像处理技术领域。
背景技术
随着计算机多媒体技术、数据库技术的飞速发展，图像信息量迅猛增加，依靠人眼对海量的图像进行分类和标注的方法已经无法满足当前的需求。因此，利用计算机技术自动对场景图像分类成为一个研究热点。场景图像的分类在军事监测，地形探测，森林防火等领域得到了广泛的应用。如何快速、准确的提取大量图像中所包含的地物信息并识别场景类别是研究重点。
现有的场景分类算法主要包括两类：一类是基于图像底层特征的分类，通过提取图像的纹理，空间，颜色等全局特征，建立图像场景分类模型，但其缺少高层语义的图像表示，容易局部细节丢失且泛化能力弱，不适用训练样本以外的图像；另一类是基于语义特征的分类，此方法中具有代表性的是BoVW模型，核心思想是将底层特征聚类为视觉单词，以视觉单词的分布建立与图像语义之间的联系，从而表达图像的场景内容，该模型有效的克服了底层特征与图像高层语义之间的鸿沟。在BoVW模型中，底层特征提取是算法的开始，在很大程度上影响算法的性能，传统的SIFT,SURF等算子是通过线性高斯分解提取特征点，容易造成边界模糊、细节丢失，因此选择一个鲁棒性好，对特征描述全面，准确率高的特征描述子是十分重要的。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于非线性尺度空间的场景分类方法，使用非线性尺度空间来提取图像特征信息，生成C-KAZE特征描述子，并通过视觉词包(BoVW)模型和空间金字塔匹配模型(SPM)融合多特征，目的是提高KAZE算法的特征描述能力，突破传统SIFT场景分类算法特征描述单一，边缘细节模糊的局限性。
为解决上述技术问题，本发明提供一种基于非线性尺度空间的场景分类方法，包括以下步骤：
1)构造非线性尺度空间；
2)建立HSV颜色空间，来表示颜色的色调H，饱和度S和亮度V属性；
3)对HSV颜色空间中的3个分量进行非等间隔量化，从而构造颜色量化矩阵Y；
4)生成融合颜色信息的KAZE特征描述子，具体如下：
4-1)采用KAZE算法构建非线性尺度空间检查图像特征点信息，确定特征点所在层次中图像的大小信息，对颜色量化矩阵Y大小变换得到Y1，使得矩阵Y1与特征点所在层次图像大小相同，用来代替灰度图像生成特征向量，使得KAZE特征描述子被赋予颜色属性；
4-2)利用矩阵Y1中灰度图像的特征点方向信息，将坐标轴旋转为特征点的主方向，保持旋转不变性，以特征点为中心，取4×4的窗口，计算每一个Y1元素的幅值和梯度方向，使用高斯核σ1＝2.5σi对每一个子区域加权，从而计算出一个4维的区域描述向量dv，再用另一个4×4高斯窗口，高斯核σ2＝1.5σi对dv加权，归一化去除光照影响，得到64维融合颜色信息的KAZE特征向量，定义为：
dC-KAZE＝(∑dx,∑dy,∑|dx|,∑|dy|) (7)
其中，dC-KAZE表示C-KAZE特征向量，dx，dy分别表示Y1子区域上像素点在x和y方向的值，|dx|，|dy|是dx，dy的绝对值。
5)通过K-means将步骤4)中得到的融合颜色信息的KAZE特征向量聚类生成视觉词典，经过编码池化后，得到高层语义特征；
6)引入空间金字塔匹配模型，在空间层次上把图像划分为金字塔的形式，选择图像空间金字塔的构建层级，分别提取每层中各子块的特征，以作为不同层级下的加权值；最后再将所有层级得到的空间特征直方图加权组合为图像空间金子塔描述，从而得到空间位置特征；
其中，L表示金字塔总层级，l表示当前层级数，l＝0,1,……,L；
7)融合多特征，得到最终的特征向量，输入SVM分类器完成分类。
前述的步骤1)中，构造非线性尺度空间是指对一副图像进行非线性扩散滤波，通过任意步长的加性算子***算法来构造稳定的非线性尺度空间，使用标准差为σ的高斯核在高斯尺度空间下对图像卷积，采用如下映射关系得到时间单位的尺度参数：
其中，ti称为进化时间，σi是以像素为单位的尺度参数，N为尺度参数的个数。
前述的步骤2)中，通过获取RGB颜色图像从而转化为HSV颜色空间，转换公式如下：
V＝max(R,G,B) (2)
其中，H∈[0,360],S∈[0,1],V∈[0,1]。
前述的步骤3)中，将H量化为8，S和V分别量化为3，合成3个分量得到颜色量化矩阵Y：
Y＝HQSQV+SQV+V (5)
式中，QS、QV分别为S和V的量化数，QS＝QV＝3，则上式变为：
Y＝9H+3S+V,Y∈[0,71] (6)。
前述的步骤5)中，对K-means聚类参数K和样本训练数进行参数寻优，选取K为1000，样本训练数为120。
前述的步骤6)中，所述金字塔构建层级L选择2。
本发明所达到的有益效果：
本发明克服了现有算法使用线性高斯分解提取特征时造成的边界模糊和细节丢失问题；本发明方法通过构建非线性尺度空间，提取并融合图像颜色特征和空间特征，突破了传统算法特征描述单一的局限性；利用视觉词包(BoVW)模型对训练样本图像学***均分类准确率和实时性均高于现有分类算法。该场景分类方法可广泛应用于军事监测，地形探测，森林防火等领域，
附图说明
图1是本发明的C-KAZE算法流程图；
图2是本发明的基于非线性尺度空间的场景分类方法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1和图2所示，本发明的基于非线性尺度空间的场景分类方法，包括以下步骤：
1.构造非线性尺度空间。对一副图像进行非线性扩散滤波，通过任意步长的加性算子***算法来构造稳定的非线性尺度空间，使用标准差为σ的高斯核在高斯尺度空间下对图像卷积，采用如下映射关系得到时间单位的尺度参数：
式中，ti称为进化时间，σi是以像素为单位的尺度参数，N为尺度参数的个数。
2.建立HSV颜色空间，来表示颜色的色调(H)，饱和度(S)和亮度(V)属性。通过获取RGB颜色图像从而转化为HSV颜色空间。转换式为：
V＝max(R,G,B) (2)
式中，H∈[0,360],S∈[0,1],V∈[0,1]。
3.对HSV颜色空间中的3个分量进行非等间隔量化，从而构造颜色量化矩阵，以聚合相似的颜色，减少颜色的数量并克服视觉认识的模糊性。通过对颜色模型的分析和实验验证，将H量化为8，S和V分别量化为3，合成3个分量得到颜色量化矩阵Y：
Y＝HQSQV+SQV+V (5)
式中，QS、QV分别为S和V的量化数，QS＝QV＝3，则上式变为：
Y＝9H+3S+V,Y∈[0,71] (6)
4.生成融合颜色信息的KAZE特征描述子(C-KAZE)，具体如下：
1)采用KAZE算法构建非线性尺度空间检测图像特征点信息，确定特征点所在层次中图像的大小信息，对颜色量化矩阵Y大小变换得到Y1，使得矩阵Y1与特征点所在层次图像大小相同，用来代替灰度图像生成特征向量，使得KAZE特征描述子被赋予颜色属性。
2)利用矩阵Y1中灰度图像的特征点方向信息，将坐标轴旋转为特征点的主方向，保持旋转不变性。以特征点为中心，取4×4的窗口，计算每一个Y1元素的幅值和梯度方向，使用高斯核(σ1＝2.5σi)对每一个子区域加权，从而计算出一个4维的区域描述向量dv，再用另一个4×4高斯窗口(σ2＝1.5σi)对dv加权，归一化以去除光照影响，得到64维C-KAZE特征向量，定义为：
dC-KAZE＝(∑dx,∑dy,∑|dx|,∑|dy|) (7)
式中，dx，dy分别表示Y1子区域上像素点在x和y方向的值，|dx|，|dy|是dx，dy的绝对值。
5.通过K-means将步骤4中得到的C-KAZE特征向量聚类生成视觉词典，经过编码池化后，得到高层语义特征。在本步骤中，对K-means聚类参数K和样本训练数进行参数寻优，在一定范围内提高图像分类准确率，所述K为1000，样本训练数为120。
6.引入空间金字塔匹配(SPM)模型，在空间层次上把原始灰度图像划分为金字塔的形式，选取L＝2作为图像空间金字塔的构建层级，分别提取每层中各子块的特征，以作为不同层级下的加权值。其中L表示金字塔总层级，l表示当前层级数，l＝0,1,2。最后再将3个层级得到的空间特征直方图加权组合为图像空间金子塔描述，从而得到空间位置特征。
7.最后结合上述步骤，利用BoVW模型完成图像的学***均池化操作，从而得到高层特征向量。最后，对原图像在空间金字塔(L＝2层级)下提取空间布局信息，与高层特征向量融合作为线性SVM的输入完成分类训练。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于非线性尺度空间的场景分类方法，其特征在于，包括以下步骤：
1)构造非线性尺度空间；
2)建立HSV颜色空间，来表示颜色的色调H，饱和度S和亮度V属性；
3)对HSV颜色空间中的3个分量进行非等间隔量化，从而构造颜色量化矩阵Y；
4)生成融合颜色信息的KAZE特征描述子，具体如下：
4-1)采用KAZE算法构建非线性尺度空间检查图像特征点信息，确定特征点所在层次中图像的大小信息，对颜色量化矩阵Y大小变换得到Y1，使得矩阵Y1与特征点所在层次图像大小相同，用来代替灰度图像生成特征向量，使得KAZE特征描述子被赋予颜色属性；
4-2)利用矩阵Y1中灰度图像的特征点方向信息，将坐标轴旋转为特征点的主方向，保持旋转不变性，以特征点为中心，取4×4的窗口，计算每一个Y1元素的幅值和梯度方向，使用高斯核σ1＝2.5σi对每一个子区域加权，从而计算出一个4维的区域描述向量dv，再用另一个4×4高斯窗口，高斯核σ2＝1.5σi对dv加权，归一化去除光照影响，得到64维融合颜色信息的KAZE特征向量，定义为：
dC-KAZE＝(∑dx,∑dy,∑|dx|,∑|dy|) (7)
其中，dC-KAZE表示C-KAZE特征向量，dx，dy分别表示Y1子区域上像素点在x和y方向的值，|dx|，|dy|是dx，dy的绝对值；
5)通过K-means将步骤4)中得到的融合颜色信息的KAZE特征向量聚类生成视觉词典，经过编码池化后，得到高层语义特征；
6)引入空间金字塔匹配模型，在空间层次上把图像划分为金字塔的形式，选择图像空间金字塔的构建层级，分别提取每层中各子块的特征，以作为不同层级下的加权值；最后再将所有层级得到的空间特征直方图加权组合为图像空间金子塔描述，从而得到空间位置特征；
其中，L表示金字塔总层级，l表示当前层级数，l＝0,1,……,L；
7)融合多特征，得到最终的特征向量，输入SVM分类器完成分类。
2.根据权利要求1所述的一种基于非线性尺度空间的场景分类方法，其特征在于，所述步骤1)中，构造非线性尺度空间是指对一副图像进行非线性扩散滤波，通过任意步长的加性算子***算法来构造稳定的非线性尺度空间，使用标准差为σ的高斯核在高斯尺度空间下对图像卷积，采用如下映射关系得到时间单位的尺度参数：
其中，ti称为进化时间，σi是以像素为单位的尺度参数，N为尺度参数的个数。
3.根据权利要求1所述的一种基于非线性尺度空间的场景分类方法，其特征在于，所述步骤2)中，通过获取RGB颜色图像从而转化为HSV颜色空间，转换公式如下：
V＝max(R,G,B) (2)
其中，H∈[0,360],S∈[0,1],V∈[0,1]。
4.根据权利要求1所述的一种基于非线性尺度空间的场景分类方法，其特征在于，所述步骤3)中，将H量化为8，S和V分别量化为3，合成3个分量得到颜色量化矩阵Y：
Y＝HQSQV+SQV+V (5)
式中，QS、QV分别为S和V的量化数，QS＝QV＝3，则上式变为：
Y＝9H+3S+V,Y∈[0,71] (6)。
5.根据权利要求1所述的一种基于非线性尺度空间的场景分类方法，其特征在于，所述步骤5)中，对K-means聚类参数K和样本训练数进行参数寻优，选取K为1000，样本训练数为120。
6.根据权利要求1所述的一种基于非线性尺度空间的场景分类方法，其特征在于，所述步骤6)中，所述金字塔的构建层级L选择2。
CN201610538778.7A 2016-07-08 2016-07-08 一种基于非线性尺度空间的场景分类方法 Active CN106203448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610538778.7A CN106203448B (zh) 2016-07-08 2016-07-08 一种基于非线性尺度空间的场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610538778.7A CN106203448B (zh) 2016-07-08 2016-07-08 一种基于非线性尺度空间的场景分类方法

Publications (2)

Publication Number Publication Date
CN106203448A CN106203448A (zh) 2016-12-07
CN106203448B true CN106203448B (zh) 2019-03-12

Family

ID=57472975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610538778.7A Active CN106203448B (zh) 2016-07-08 2016-07-08 一种基于非线性尺度空间的场景分类方法

Country Status (1)

Country Link
CN (1) CN106203448B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214235A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 室外场景分类方法及***
CN107480718A (zh) * 2017-08-17 2017-12-15 南京信息工程大学 一种基于视觉词袋模型的高分辨率遥感图像分类方法
CN108764302B (zh) * 2018-05-08 2021-09-28 中山大学 一种基于颜色特征和词袋特征的票据图像分类方法
CN108734209A (zh) * 2018-05-16 2018-11-02 上海鹰瞳医疗科技有限公司 基于多图像的特征识别和设备
CN110825899B (zh) * 2019-09-18 2023-06-20 武汉纺织大学 融合颜色特征和残差网络深度特征的服装图像检索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606170A (zh) * 2013-12-05 2014-02-26 武汉大学 基于彩色尺度不变的街景影像特征检测与匹配方法
CN103679169A (zh) * 2012-09-10 2014-03-26 华为技术有限公司 图像特征的提取方法及装置
WO2014183259A1 (zh) * 2013-05-14 2014-11-20 中国科学院自动化研究所 一种全色−多光谱遥感图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679169A (zh) * 2012-09-10 2014-03-26 华为技术有限公司 图像特征的提取方法及装置
WO2014183259A1 (zh) * 2013-05-14 2014-11-20 中国科学院自动化研究所 一种全色−多光谱遥感图像融合方法
CN103606170A (zh) * 2013-12-05 2014-02-26 武汉大学 基于彩色尺度不变的街景影像特征检测与匹配方法

Also Published As

Publication number Publication date
CN106203448A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Zeng et al. Image retrieval using spatiograms of colors quantized by gaussian mixture models
WO2018023734A1 (zh) 一种3d图像的显著性检测方法
CN106203448B (zh) 一种基于非线性尺度空间的场景分类方法
CN106815604B (zh) 基于多层信息融合的注视点检测方法
CN109840560B (zh) 基于胶囊网络中融入聚类的图像分类方法
CN107480620B (zh) 基于异构特征融合的遥感图像自动目标识别方法
Huang et al. Regions of interest extraction from color image based on visual saliency
Yu et al. Stratified pooling based deep convolutional neural networks for human action recognition
CN106610969A (zh) 基于多模态信息的视频内容审查***及方法
CN105005786A (zh) 一种基于BoF和多特征融合的纹理图像分类方法
CN105469111B (zh) 基于改进的mfa和迁移学习的小样本集的物体分类方法
CN106960176B (zh) 一种基于超限学习机和颜色特征融合的行人性别识别方法
Chen et al. Multi-view feature combination for ancient paintings chronological classification
Ali et al. Content-based image retrieval based on late fusion of binary and local descriptors
Vondrick et al. Learning visual biases from human imagination
Wei et al. Color image retrieval based on quaternion and deep features
Manivannan et al. Hep-2 specimen classification using multi-resolution local patterns and SVM
CN105844299B (zh) 一种基于词袋模型的图像分类方法
Delezoide et al. Irim at trecvid 2011: Semantic indexing and instance search
Mao et al. An image authentication technology based on depth residual network
Hong et al. Advances in Multimedia Information Processing–PCM 2018: 19th Pacific-Rim Conference on Multimedia, Hefei, China, September 21-22, 2018, Proceedings, Part III
CN108268533A (zh) 一种用于图像检索的图像特征匹配方法
Tingting et al. Pattern recognition of decorative elements based on neural network
Sinha et al. Scene image classification using a wigner-based local binary patterns descriptor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200729

Address after: Room 2091, Heying building, No. 99, Tuanjie Road, yanchuangyuan, Jiangbei new district, Nanjing, Jiangsu Province

Patentee after: Nanjing Xinda Environmental Technology Co.,Ltd.

Address before: The Olympic Avenue in Jianye District of Nanjing city of Jiangsu Province, No. 69 210019

Patentee before: Nanjing University of Information Science and Technology

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A scene classification method based on nonlinear scale space

Effective date of registration: 20221230

Granted publication date: 20190312

Pledgee: China Construction Bank Corporation Nanjing Jiangbei new area branch

Pledgor: Nanjing Xinda Environmental Technology Co.,Ltd.

Registration number: Y2022980029818