CN112465024A - 基于特征聚类的图像模式挖掘方法 - Google Patents
基于特征聚类的图像模式挖掘方法 Download PDFInfo
- Publication number
- CN112465024A CN112465024A CN202011353678.XA CN202011353678A CN112465024A CN 112465024 A CN112465024 A CN 112465024A CN 202011353678 A CN202011353678 A CN 202011353678A CN 112465024 A CN112465024 A CN 112465024A
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- clustering
- feature
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005065 mining Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000000644 propagated effect Effects 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 210000002364 input neuron Anatomy 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 22
- 238000002474 experimental method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于特征聚类的图像模式挖掘方法，主要解决现有技术挖掘的视觉模式无法同时具有判别性和频繁性的问题，其方案是:获取图片并划分为训练集和测试集；用训练集训练AlexNet网络；从训练后的网络里筛选图片用于挖掘视觉表示；根据分层相关反向传播网络获取高层相关特征；对高层相关特征进行聚类得到频繁性的相关特征；对相关特征进行反向传播得到具有判别性和频繁性的视觉表示。本发明将模式挖掘任务转换成分类任务，提高了判别性，通过对相关特征进行密度聚类，提高了频繁性，并通过分层相关性传播回原图定位原图中的代表性区域，得到视觉模式，提高了挖掘视觉模式的判别性和频繁性，可用于自然场景、旅游中图像模式的表示。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及一种图像模式挖掘方法，可用于自然场景、旅游中图像模式的表示。
背景技术
特征聚类是指在神经网络中，对于网络学习到的特征来进行聚类，通过这种无监督的学习算法，能够很好的使得特征空间中相似样本的距离近，相异样本的距离远。聚类算法是一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，利用不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。
模式挖掘是数据挖掘研究中的一个重要课题，它是关联规则、相关性分析、序列模式、因果关系、情节片段、局部周期性、显露模式等许多重要数据挖掘任务的基础。因此，频繁模式有着很广泛的应用，例如，购物蓝数据分析、交叉购物、网页预取、个性化网站等。
近年来，如何从海量照片中挖掘视觉模式成为一个重要问题，也有一些工作者针对该问题进行了研究。但是过去人们主要使用传统方法来提取图像的特征。比如David GLowe等人于1999年在论文Object recognition from local scale-invariant feature中，提出了一种特征提取方法SIFT，Carl Doersch等人于2015年在论文What makes parislook like paris？中，提出了一种特征提取方法HOG，这些方法提取到的局部特征在表示图像的语义信息上能力有限。后来，研究者使用卷积神经网络来提取特征，提取到的特征能够学习到分层能力和图像的高级语义表示，人们利用该特征来挖掘照片中的视觉模式。
Li Y.et al等人在其发表的论文“Mining mid-level visual patterns withdeep cnn activations”(2017年IJCV会议论文)中提出基于卷积神经网络CNN和关联规则的模式挖掘方法。该方法使用卷积神经网络进行特征表示，并且使用关联规则来挖掘视觉模式。由于判别性的信息在CNN激活值响应较大的位置处，其先通过提取top K激活值索引保证模式的判别性，然后将这些离散的索引转换成事务后进行关联规则挖掘，得到判别又频繁的视觉模式。该方法的不足之处是，将图像分成图像块的方式会丢失一些判别信息，且占用内存过多。
Zhang W等人在其发表的论文“Binarized mode seeking for scalable visualpattern discovery”(2017年CVPR会议论文)中提出基于二值化模式搜索的挖掘视觉模式方法。该方法通过将图像输入到VGG19网络中，提取FC7的4096维特征，再将特征从欧几里得空间转换到二进制空间，以减少特征存储量，之后使用了均值漂移算法对图像进行聚类，确定图像的频繁性，并通过引入对比集找到频繁且判别的图像。该方法的不足之处是，只能找到频繁且判别的图像，无法定位到图像中的模式。
Yang L等人在其发表的论文“Learning discriminative visual elementsusing part-based convolutional neural network”(2018年Neurocomputing会议论文)中提出利用卷积神经网络的分层抽象原理和最大阈值分析，在网络中增加part-level结构，其中该结构由conv、SPP、Relu三部分构成，并通过使用无监督最大阈值分析的方法来定位到图像中具有判别性的模式。该方法的不足之处是，无法保证找到的模式的频繁性。
Hongzhi Li等人在其发表的论文“Patternnet:Visual pattern mining withdeep neural network”(2018年ICMR会议论文)中提出利用卷积神经网络最后一层卷积层的过滤器来找到视觉模式。其实现方案是：首先将预训练的Alexnet网络最后一层卷积层后接一个全局最大池化层，产生256维的向量，将全连接层的输出神经元设置为20个，固定前面的参数，仅训练全连接层，输出的神经元个数也就是视觉模式的个数；然后找出每个视觉模式所对应贡献最大的前三个卷积核，并对这三个卷积核的特征图进行反卷积，找到视觉模式对应于原图中的位置。该方法的不足之处是，没有理论依据，找到的视觉模式也仅仅来自最大池化层，且无法保证视觉模式在图像数据集中是频繁出现的。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于特征聚类的图像模式挖掘方法，以在旅游数据中找到同时具有判别性和频繁性的视觉模式。
实现本发明目的技术思路是：通过设计一个图像分类任务来找到具有判别性的图片，通过密度聚类算法来找到具有频繁性的视觉表示；通过分层相关性传播来定位图像中的视觉模式。
根据上述技术思路，本发明具体实现包括如下：
(1)获取图片并划分为训练集和测试集：
(1a)获取20类图片数据，共计10万多张照片；
(1b)从每类中选取1000张，共计两万张作为测试集用于挖掘视觉表示，剩余的照片作为训练集用于训练卷积神经网络。
(2)训练分类网络AlexNet：
(2a)将训练集中的图片缩放到227*227；
(2b)将缩放后的图片输入到AlexNet网络中对网络进行训练，直到网络达到收敛，得到微调后的分类网络，即AlexNet模型，该AlexNet模型中含有特征提取层和分类层，其中特征提取层包含有5个卷积层，分类层包含有第一全连接层、第二全连接层和输出层。
(3)筛选图片用于挖掘视觉表示：
(3a)设置筛选阈值Tp；
(3b)将测试集输入到分类网络AlexNet模型中，得到满足输出层的结果大于阈值Tp的图片来作为具有判别性的图片。
(4)获取高层相关特征：
(4a)使用分层相关传播，将网络输出反向传播到AlexNet模型的第二全连接层，得到具有判别性的图片的高层相关特征来用于特征聚类。
(5)得到具有频繁性的相关特征：
(5a)使用基于密度的聚类算法对高层相关特征进行聚类；
(5b)选取聚类结果中每个簇里密度最大的前20个相关特征向量，从而得到具有频繁性的高层相关特征。
(6)得到具有判别性和频繁性的视觉表示：
(6a)依据分层相关性传播，在AlexNet模型的5个卷积层中继续进行反向传播，直至传播到输入层中的原图；
(6b)该原图中与这些高层相关特征相对应的区域即为本发明所挖掘的同时具有判别性和频繁性的视觉模式。
本发明与现有技术相比具有以下优点：
第一，本发明通过使用分层相关传播，能够从图像中定位具有判别性的视觉模式；
第二，本发明通过使用基于密度的相关特征聚类，在特征空间中对特征进行聚类找到具有频繁性的视觉模式；
第三，本发明通过结合分层相关传播和基于密度的相关特征聚类，能够找到同时具有判别性和频繁性视觉模式，克服了现有技术只能找到具有判别性或频繁性的视觉模式。
实验表明，本发明挖掘出的视觉模式的判别性高于其他先进方法，且视觉模式的频繁性也均高于其他先进方法。
附图说明
图1是本发明的实现流程图；
图2是用本发明从五类图片中挖掘出的十个视觉表示图。
图3是用本发明和其他四种先进方法从一类图片中挖掘出的十个视觉表示图。
具体实施方式
下面结合附图1对本发明的实施例和效果做进一步的描述。
参照图1，本实施例的具体步骤如下。
步骤1，获取图片并划分为训练集和测试集。
1.1)从TripAdvisor网站中获取20类图片数据，共计10万多张照片；
1.2)从每类中选取1000张，共计两万张照片作为测试集用于挖掘视觉表示，剩余的照片作为训练集用于训练卷积神经网络。
步骤2，训练分类网络AlexNet。
2.1)将训练集中的图片缩放到227*227；
2.2)将缩放后的图片输入到AlexNet网络中对该网络进行迭代训练：
2.2.1)选用交叉熵损失作为损失函数，选用Adam作为优化器，学习率设置为0.0001，网络输出层的神经元个数设置为20；
2.2.2)初始化AlexNet网络参数，初始迭代次数K＝1，设学习率L＝1e-3；
2.2.3)使用交叉熵损失函数计算网络损失LCE；
其中，m是类别数，n是一类图像的数量，yji是图像的标签，
是网络的输出；
2.2.4)判断损失LCE是否减小，如果减小，令K加1，并返回2.2.3，否则，当损失开始震荡，不再减小，则停止训练，并保存此时的AlexNet网络模型。
步骤3，筛选图片用于挖掘视觉表示。
3.1)设置筛选阈值Tp；
3.2)将测试集输入到分类网络AlexNet模型中，得到满足输出层的结果大于阈值Tp的图片来作为具有判别性的图片。
步骤4，获取高层相关特征。
使用分层相关传播，将满足输出大于阈值Tp的测试集图片继续在模型中反向传播：
网络中第l层的第i个神经元，通过权重wij和一个激活函数h(.)将一组输入xi映射到输出xj，
并通过输出xj的所有相关性Rj，计算一个输入神经元xi的相关性Ri，按如下公式进行反向传播：
其中，
是第l层中第i个神经元的相关性，
是第l+1层第j个神经元的相关性，
是第l层的第k个神经元的激活值，
是第l+1层第j个神经元与第l层第k个神经元之间的权重,
是第l+1层第j个神经元与第l层第i个神经元之间的权重。
按照上述反向传播规则将网络输出大于阈值Tp的测试集图片反向传播到AlexNet模型的第二全连接层，把该层的相关特征保存下来进行密度聚类。
步骤5，得到具有频繁性的相关特征。
5.1)使用基于密度的聚类算法对高层相关特征进行聚类：
5.1.1)设置参数半径r＝0.35和最小点数m＝20；
5.1.2)在相关特征空间里，为每个相关特征向量做标记：
如果一个特征点在其半径内所包含的点数大于最小点数m，则该点标记为核心点；
如果一个特征点在其半径内所包含的点数小于最小点数，但是包含了核心点，则该特征点标
记为边界点；
如果一个特征点在其半径内所包含点数小于最小点数，而且也没有包含核心点，则这个特征点标记为噪音点。
5.1.3)将核心点和隶属于这些核心点的边界点连接起来，形成的簇就是挖掘出来的一类视觉模式；
5.2)选取聚类结果中每个簇里密度最大的前20个相关特征向量，从而得到具有频繁性的高层相关特征。
步骤6，得到具有判别性和频繁性的视觉表示。
依据分层相关性传播，在AlexNet模型的5个卷积层中继续进行反向传播，直至传播到输入层中的原图；
该原图中与这些高层相关特征相对应的区域即为所挖掘的同时具有判别性和频繁性的视觉模式。
下面结合仿真对本发明的效果做进一步的说明：
仿真实验的使用的现有四种方法分别是：
1种是Yao Li等人在“Mining mid-level visual patterns with deep cnnactivations.IJCV,vol.121,no.3,pp.344–364,2017.”中提出的模式挖掘方法，简称MDPM方法。
2种是Wei Zhang等人在“Binarized mode seeking for scalable visualpattern discovery,”in CVPR,2017,pp.3864–3872”中提出的模式挖掘方法，简称CBMS方法。
3种是Lingxiao Yang等人在“Learning discriminative visual elementsusing part-based convolutional neural network.Neurocomputing,vol.316,pp.135–143,2018.”中提出的模式挖掘方法，简称P-CNN方法。
4种是Hongzhi Li等人在“Patternnet:Visual pattern mining with deepneural network.in ICMR,2018,pp.291–299.”中提出的模式挖掘方法，简称PatternNet方法。
1.仿真实验条件：
本发明的仿真实验的硬件平台为：戴尔计算机，CPU型号为Intel(R)E5-2603，频率1.60GHz，GPU型号为GeForce GTX 2080，显存11G。
本发明的仿真实验的软件平台为：ubuntu 18.0***，Python 3.6，pytorch1.2.0。
本发明仿真实验所使用的输入图像20类图片数据共10万多张照片，其中每类数据均超过了3500张图片，将这些图片分为两部分用于实验：一是测试集20000张图片：每类有1000张图片，用于挖掘视觉表示；二是用训练集中8万多张图片训练卷积神经网络模型。
2.仿真内容及其结果分析：
仿真实验1，用本发明方法DRFC在上述仿真条件下对五类图片数据进行模式挖掘，获得结果如图2所示。其中：
图2(a)来自The Little Mermaid类别，图2(b)来自Santa Justa Lift类别，图2(c)来自Lisbon District Central Portugal类别，图2(d)来自Merlion Park Singapore类别，图2(e)来自Kiyomizu Dera Temple类别。
由图2可见，本发明挖掘出的视觉表示包含具有代表性的目标，并且很好的表示了这些不同类别的数据。惊奇的是，每类挖掘出的视觉表示的数量可能不止一个。图2(a)，图2(c)和图2(e)分别展示了具有代表性的雕像、有轨电车和宝塔，然而图2(b)和图2(d)中每个景点有两类视觉表示。分别由红色框，即对应灰度图中的黑色框和绿色框，即对应灰度图中的灰色框标记。且图2(b)展示了两种不同的视角，包括向上看塔和从塔顶向下看，图2(d)展示了雕像的白天和黑夜两种景色。
仿真实验2，用本发明和上述现有四种方法MDPM，CBMS，P-CNN，PatternNet分别在上述仿真条件下对一类图片数据进行模式挖掘，获得结果如图3所示。
其中，图3(a)是现有技术中的MDPM方法在上述仿真条件下对一类图片数据进行视觉模式挖掘实验。
图3(b)是现有技术中的CBMS方法在上述仿真条件下对一类图片数据进行视觉模式挖掘实验。
图3(c)是现有技术的P-CNN方法在上述仿真条件下对一类图片数据进行视觉模式挖掘实验。
图3(d)是现有技术的PatternNet方法在上述仿真条件下对一类图片数据进行视觉模式挖掘实验。
图3(e)是本发明DRFC方法在上述仿真条件下对一类图片数据进行视觉模式挖掘实验。
从图3的对比结果可见，MDPM方法的挖掘结果最差，用蓝色框标记，即对应灰度图中的灰色框，这是因为使用图像块来挖掘视觉模式的方法可能会丢失一部分代表性的目标。CBMS仅仅找到频繁性的图像而不是图像的视觉模式，用黄色框标记，即对应灰度图中的白色框。P-CNN和PatternNet能够找到视觉模式，但是会挖掘出一些没有目标或者目标不完整的视觉模式，在图中用红色框标记，即对应灰度图中的黑色框，与此相反，本发明能够找到视觉表示的一致性实例。
仿真实验3，用本发明和上述现有四种方法MDPM，CBMS，P-CNN，PatternNet分别在上述仿真条件下评估挖掘出的视觉模式的判别性：
将所有计算结果绘制成表1：
表1.仿真实验中本发明和各现有技术挖掘的模式分类精度的比较
| 方法 | MDPM | CBMS | P-CNN | PatternNet | 本发明 |
| 精度(％) | 84.08 | 94.75 | 96.75 | 90.00 | 99.54 |
从表1可以看出，本发明的平均精度为99.54％，高于四种现有技术方法，证明本发明得到的视觉模式具有很高的判别性。其中MDPM精度最低，这是由于该方法将图像采样成图像块，这样会丢失判别信息。
仿真实验4，用本发明和上述现有四种方法MDPM，CBMS，P-CNN，PatternNet分别在上述仿真条件下评估挖掘出的视觉模式的频繁性：
利用下面公式，计算频繁率FR，将所有计算结果绘制成表2：
其中，
是余弦相似度，
和
均来自网络最后一层卷积层的特征图，
是来自第w个景点的其中一张照片的特征图，
是从第w个景点中挖掘出的视觉表示的特征图，Nw，Nu和N分别是景点的数量，视觉表示的数量和每个景点中照片的数量，Tf为相似度阈值。
表2.不同方法在不同余弦相似度阈值Tf下挖掘的模式频繁率(FR)的比较
从表2可以看出，本发明挖掘的视觉表示的频繁率FR在所有的阈值Tf下都是最高的，尽管MDPM使用了一种频繁模式挖掘算法，但是其结果最差，CBMS使用均值漂移算法找到频繁的图像，其结果均低于P-CNN和本发明。PatternNet和P-CNN专注于挖掘判别性的模式，其频繁性相对来说较高。
以上仿真实验表明：本发明提出了一种基于特征聚类方法DRFC解决了从海量照片中挖掘视觉模式的问题，相比于现有的研究挖掘的模式仅具有频繁性或者判别性，本发明挖掘的视觉模式可以同时具有判别性和频繁性，通过分类实验和频繁率实验也证明了本发明相比于其他四个先进方法具有很高的精度和频繁率，实验结果也表明了本发明在挖掘视觉模式任务上的有效性。
Claims (4)
1.一种基于特征聚类的图像模式挖掘方法，其特征在于，包括如下：
(1)获取20类图片数据，共计10万多张照片；从每类图片中选取1000张，共计两万张作为测试集用于挖掘视觉表示，剩余的照片作为训练集用于训练卷积神经网络；
(2)将训练集中的图片缩放到227*227，并将缩放后的图片输入到AlexNet网络中对网络进行训练，直到网络达到收敛，得到微调后的分类网络，即AlexNet模型，该AlexNet模型中含有特征提取层和分类层，其中特征提取层包含有5个卷积层，分类层包含有第一全连接层、第二全连接层和输出层；
(3)设置筛选阈值Tp，将测试集输入到分类网络AlexNet模型中，得到满足输出层的结果大于阈值Tp的图片来作为具有判别性的图片；
(4)使用分层相关传播，将(3)中满足输出大于阈值Tp的测试集图片继续在模型中反向传播，直到传播到AlexNet模型的第二全连接层，得到具有判别性的图片的高层相关特征来用于特征聚类；
(5)使用基于密度的聚类算法对(4)中得到的高层相关特征进行特征聚类，选取聚类结果中每个簇里密度最大的前20个相关特征向量，得到具有频繁性的高层相关特征；
(6)依据分层相关传播，将上述(5)得到具有频繁性的高层相关特征在AlexNet模型的5个卷积层中继续进行反向传播，直至传播到输入层中的原图，该原图中与这些高层相关特征相对应的区域即为所挖掘的同时具有判别性和频繁性的视觉模式。
2.根据权利要求1所述的方法，其特征在于：(2)中将缩放后的图片输入到AlexNet网络中对网络进行训练，其实现步骤如下：
(2a)初始化AlexNet网络参数，初始迭代次数K＝1，设学习率L＝1e-3；
(2b)使用交叉熵损失函数计算网络损失LCE；
其中，m是类别数，n是一类图像的数量，yji是图像的标签，
是网络的输出；
(2c)判断损失LCE是否减小，如果减小，令K加1，并返回(2b)，否则，当损失开始震荡，不再减小，则停止训练，并保存此时的AlexNet网络模型。
3.根据权利要求1所述的方法，其特征在于：(4)中所述的使用分层相关传播，将(3)中满足输出大于阈值Tp的测试集图片继续在模型中反向传播，其实现如下：
(4a)网络中第l层的第i个神经元，通过权重wij和一个激活函数h(.)将一组输入xi映射到输出xj，
并通过输出xj的所有相关性Rj，计算一个输入神经元xi的相关性Ri，按如下公式进行反向传播：
其中，
是第l层中第i个神经元的相关性，
是第l+1层第j个神经元的相关性，
是第l层的第k个神经元的激活值，
是第l+1层第j个神经元与第l层第k个神经元之间的权重,
是第l+1层第j个神经元与第l层第i个神经元之间的权重；
(4b)按照上述反向传播规则将网络输出大于阈值Tp的测试集图片反向传播到AlexNet模型的第二全连接层，把该层的相关特征保存下来进行密度聚类。
4.根据权利要求1所述的方法，其特征在于：(5)中的用基于密度的聚类方法对相关特征进行聚类，其实现步骤如下：
(5a)设置参数半径r＝0.35和最小点数m＝20；
(5b)在相关特征空间里，为每个相关特征向量做标记：
如果一个特征点在其半径内所包含的点数大于最小点数m，则该点标记为核心点；
如果一个特征点在其半径内所包含的点数小于最小点数，但是包含了核心点，则该特征点标记为边界点；
如果一个特征点在其半径内所包含点数小于最小点数，而且也没有包含核心点，则这个特征点标记为噪音点。
(5c)将核心点和隶属于这些核心点的边界点连接起来，形成的簇就是挖掘出来的一类视觉模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011353678.XA CN112465024A (zh) | 2020-11-26 | 2020-11-26 | 基于特征聚类的图像模式挖掘方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011353678.XA CN112465024A (zh) | 2020-11-26 | 2020-11-26 | 基于特征聚类的图像模式挖掘方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465024A true CN112465024A (zh) | 2021-03-09 |
Family
ID=74808918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011353678.XA Pending CN112465024A (zh) | 2020-11-26 | 2020-11-26 | 基于特征聚类的图像模式挖掘方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465024A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950601A (zh) * | 2021-03-11 | 2021-06-11 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、***及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034224A (zh) * | 2018-07-16 | 2018-12-18 | 西安电子科技大学 | 基于双分支网络的高光谱分类方法 |
| CN110210555A (zh) * | 2019-05-29 | 2019-09-06 | 西南交通大学 | 基于深度学习的钢轨鱼鳞伤损检测方法 |
| CN110689081A (zh) * | 2019-09-30 | 2020-01-14 | 中国科学院大学 | 一种基于分歧学习的弱监督目标分类和定位方法 |
-
2020
- 2020-11-26 CN CN202011353678.XA patent/CN112465024A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034224A (zh) * | 2018-07-16 | 2018-12-18 | 西安电子科技大学 | 基于双分支网络的高光谱分类方法 |
| CN110210555A (zh) * | 2019-05-29 | 2019-09-06 | 西南交通大学 | 基于深度学习的钢轨鱼鳞伤损检测方法 |
| CN110689081A (zh) * | 2019-09-30 | 2020-01-14 | 中国科学院大学 | 一种基于分歧学习的弱监督目标分类和定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| ALEX KRIZHEVSKY 等: "ImageNet Classification with Deep Convolutional Neural Networks", 《COMMUNICATIONS OF THE ACM》 * |
| ALEXANDER BINDER 等: "Layer-wise Relevance Propagation for Neural Networks with Local Renormalization Layers", 《ARXIV:1604.00825V1》 * |
| QIANNAN WANG 等: "Deep Relevance Feature Clustering for Discovering Visual Representation of Tourism Destination", 《PRCV 2020》 * |
| 伏家云 等: "空间密度聚类模式挖掘方法DBSCAN研究回顾与进展", 《测绘科学》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950601A (zh) * | 2021-03-11 | 2021-06-11 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、***及存储介质 |
| CN112950601B (zh) * | 2021-03-11 | 2024-01-09 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679250B (zh) | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 | |
| CN106126581B (zh) | 基于深度学习的手绘草图图像检索方法 | |
| Yu et al. | Exploiting the complementary strengths of multi-layer CNN features for image retrieval | |
| CN104036012B (zh) | 字典学习、视觉词袋特征提取方法及检索*** | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| CN105528575B (zh) | 基于上下文推理的天空检测方法 | |
| CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及*** | |
| CN108897791B (zh) | 一种基于深度卷积特征和语义相似度量的图像检索方法 | |
| Zheng et al. | Differential Learning: A Powerful Tool for Interactive Content-Based Image Retrieval. | |
| CN109492589A (zh) | 通过二进制特征与联合层叠结构融合的人脸识别工作方法以及智能芯片 | |
| Liu et al. | Texture classification in extreme scale variations using GANet | |
| Taheri et al. | Effective features in content-based image retrieval from a combination of low-level features and deep Boltzmann machine | |
| Zhao et al. | An angle structure descriptor for image retrieval | |
| Dong et al. | Multilayer convolutional feature aggregation algorithm for image retrieval | |
| CN104778272B (zh) | 一种基于区域挖掘和空间编码的图像位置估计方法 | |
| Guo | Research on sports video retrieval algorithm based on semantic feature extraction | |
| CN112465024A (zh) | 基于特征聚类的图像模式挖掘方法 | |
| Maheswari et al. | Facial expression analysis using local directional stigma mean patterns and convolutional neural networks | |
| CN110674334B (zh) | 基于一致性区域深度学习特征的近重复图像检索方法 | |
| Chen et al. | Large-scale indoor/outdoor image classification via expert decision fusion (edf) | |
| JP4302799B2 (ja) | 文書検索装置、方法および記録媒体 | |
| Patil et al. | Improving the efficiency of image and video forgery detection using hybrid convolutional neural networks | |
| CN116108217A (zh) | 一种基于深度哈希编码和多任务预测的逃费车辆相似图片检索方法 | |
| Huang et al. | Automatic image annotation using multi-object identification | |
| Fathallah et al. | Triplet CNN-based Word Spotting of Historical Arabic Documents. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210309 |
|
| WD01 | Invention patent application deemed withdrawn after publication |