CN112465067B - 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 - Google Patents

基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 Download PDF

Info

Publication number
CN112465067B
CN112465067B CN202011470196.2A CN202011470196A CN112465067B CN 112465067 B CN112465067 B CN 112465067B CN 202011470196 A CN202011470196 A CN 202011470196A CN 112465067 B CN112465067 B CN 112465067B
Authority
CN
China
Prior art keywords
image
encoder
particle
graph convolution
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011470196.2A
Other languages
English (en)
Other versions
CN112465067A (zh
Inventor
蔡嘉鸣
沈红斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011470196.2A priority Critical patent/CN112465067B/zh
Publication of CN112465067A publication Critical patent/CN112465067A/zh
Application granted granted Critical
Publication of CN112465067B publication Critical patent/CN112465067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法，通过计算冷冻电镜单颗粒图片集的图片相似性矩阵，从而生成KNN网络；采用局部线性嵌入算法对每幅冷冻电镜单颗粒图像进行降维，将KNN网络和图片特征矩阵输入图卷积自编解码器中的编码器，将高维的结点特征嵌入到低维的隐藏层空间中，得到低维的隐藏层结点特征后通过图卷积自编解码器中的解码器进行K‑means聚类处理得到冷冻电镜单颗粒图像的聚类结果，最后对每个聚类簇的图像取平均即可得到最终的类平均图像。本发明使用网络化的相似性度量方法和局部线性嵌入提取方法，结合自编码器的隐藏层结点特征同时学习到网络的结构信息和结点本身的图像特征信息，使得聚类的鲁棒性得到提升，显著提高了图像质量。

Description

基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法。
背景技术
冷冻电镜技术是一种把待检测大分子样本放入超低温环境中再使用电子显微镜进行观测的技术。对电子显微镜得到的二维图像进行重构即可得到生物大分子的三维模型。冷冻电镜单颗粒图像重构是最常用的一种冷冻电镜重构方法。在冷冻电镜的检测过程中，为了保证生物大分子的活性尽量不受电子辐射影响，电子显微镜使用的电子必须保证在一个很小的剂量下，因此冷冻电镜单颗粒图像的噪声很大，信噪比极低(通常低至
Figure BDA0002835917270000011
以下)，因而传统的聚类方法不太使用于冷冻电镜单颗粒图像聚类中。
目前现有的冷冻电镜单颗粒图像聚类算法大部分是基于图片间两两相似性进行度量的聚类算法，但是单颗粒图像间的相似性在低信噪比下很容易受到噪声影响，图片间的相似性可能被噪声而不是图片本身的类别特征所主导。
发明内容
本发明针对现有技术受噪声影响较大的缺陷，提出一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法，使用网络化的相似性度量方法和局部线性嵌入提取方法，结合自编码器的隐藏层结点特征同时学习到网络的结构信息和结点本身的图像特征信息，使得聚类的鲁棒性得到提升，显著提高了图像质量。
本发明是通过以下技术方案实现的：
本发明涉及一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法，通过计算冷冻电镜单颗粒图片集的图片相似性矩阵以生成K-最近邻法(KNN)网络；采用局部线性嵌入算法对每幅冷冻电镜单颗粒图像进行降维，将KNN网络和图片特征矩阵输入图卷积自编解码器中的编码器，将高维的结点特征嵌入到低维的隐藏层空间中，得到低维的隐藏层结点特征后通过图卷积自编解码器中的解码器进行K-means聚类处理得到冷冻电镜单颗粒图像的聚类结果，最后对每个聚类簇的图像取平均即可得到最终的类平均图像。
所述的图片相似性矩阵，采用协方差作为图片相似性度量准则，由冷冻电镜单颗粒图片集中所有单颗粒图片之间的协方差组成，具体为：
Figure BDA0002835917270000012
Figure BDA0002835917270000021
其中：P,Q为单颗粒图像对应的一维向量，μP和μQ为图像P和图像Q对应的期望，因为在实际场景中无法获得图像的期望，因此用单颗粒图片集的平均向量μ来近似图像P和图像Q的期望向量。
所述的KNN网络，根据图片相似性矩阵计算每个结点的K近邻结点，并连接任两个互为K近邻的结点得到。
所述的降维是指：将冷冻电镜单颗粒图片集中每张N×N的冷冻电镜单颗粒二维图像展开成一维向量并组合得到
Figure BDA0002835917270000022
图片矩阵，其中：M为单颗粒图片总数，然后通过局部线性嵌入算法对图片矩阵从原始的图片维度N2降至1000，得到图片特征矩阵
Figure BDA0002835917270000023
所述的编码器由两层的图卷积神经网络组成，每层图卷积进行以下处理：
Figure BDA0002835917270000024
Figure BDA0002835917270000025
其中：
Figure BDA0002835917270000026
A为原始输入的KNN网络
Figure BDA0002835917270000027
的拉普拉斯矩阵，W(l+1)为网络的权值矩阵，H(l)为图卷积层的输入，H(l+1)为图卷积层的输出。
所述的解码器由内积函数解码器和两层逆图卷积神经网络组成，其中：内积函数解码器将低维结点特征重构为结点的邻接矩阵形式，学习结点间的关系信息；两层逆图卷积神经网络将低维的结点特征还原至输入的结点维度，学习结点的特征。
所述的内积函数解码器进行以下处理：A'＝Sigmoid(H(2)H(2)T)，其中：H(2)为图卷积自编码器的隐藏层结点特征，A'为内积函数解码器重构的网络。
所述的K-means聚类处理，采用但不限于基于欧式空间的K-means聚类方法。
本发明涉及一种实现上述方法的***，包括：网络构建单元、结点特征获取单元、图卷积自编码器单元以及K-means聚类单元，其中：网络构建单元与图卷积自编码器单元相连并传输网络结构信息，结点特征获取单元与图卷积自编码器单元相连并传输结点特征信息，图卷积自编码器单元通过图卷积神经网络提取输入的图特征并以内积函数和逆图卷积神经网络作为解码器，同时学***均图像。
技术效果
本发明整体解决了现有技术无法处理高噪声的冷冻电镜单颗粒图像；与现有技术相比，本发明使用网络化作为相似性度量的方法，提升了相似性度量的鲁棒性，同时提出的适合于图像特征提取的图卷积自编码器方法，可以有效的提取网络的结构信息和结点的图像特征信息，进行二维聚类获取低噪声的类平均图像，提升了聚类结果。
附图说明
图1为基于图卷积自编码器的冷冻电镜单颗粒图像聚类算法流程图；
图2为GroEL真实冷冻电镜单颗粒图像样本示意图；
图3为GroEL真实结构示意图；
图4为基于本发明的聚类结果的类平均图像示意图；
图5为基于本发明的聚类类平均图像重构的初始模型结果示意图。
具体实施方式
本实施例中图卷积自编码器的编码层和解码层所使用的激活函数均为Sigmoid函数，优化器采用Adam优化器，内积解码器采用重构网络和输入网络的交叉熵作为损失函数，而逆图卷积解码器采用重构结点特征和输入结点特征的平方误差作为损失函数。图卷积编码器和逆图卷积编码器均为两层的图卷积神经网络，其中两层的神经个数分别设置为32，16。
如图2所示，为GroEL真实图像集中的GroEL蛋白的真实冷冻电镜单颗粒图像，该GroEL真实图像集为具有D7对称性的结构的4096张128×128的GroEL蛋白的冷冻电镜单颗粒图像。本实施例目标是将数据集中的单颗粒图像聚类到16个类别中，具体步骤包括：
第一步，采集单颗粒图像输入并将所有图像转换为一维向量，计算图像间的协方差，然后根据图片的协方差构建KNN网络。
第二步，使用局部线性嵌入算法对图像进行降维，降维后的特征即可作为第一步中的KNN网络的结点特征。
第三步，将前两步得到的KNN网络和结点特征输入到图卷积自编码器中，训练自编码器直至达到迭代步数上限。
第四步，使用K-means对图卷积自编码器的隐藏层特征进行聚类，并根据聚类结果对同一聚类簇的单颗粒图像求平均，得到最终的类平均图像，如图3所示，类平均图像的清晰度相比初始单颗粒图像有明显提升。
第五步，使用EMAN2的e2initial模块对得到的类平均图像进行重构得到初始模型，如图4所示，重构的初始模型能得到一个比较正确的结果。
经过具体实际实验，对GroEL真实图像集进行聚类，设置聚类数目为16，可以得到清晰的类平均图像，使用e2initial模块对类平均图像重构得到的初始模型可以得到与真实结构相近的模型结果。
与现有技术相比，本发明图卷积自编码器可以高效率的提取输入网络的结构信息和结点的特征信息，这是本发明性能提升的最重要的来源；同时使用网络化相似性替代了目前常用的图像间成对相似性，提升了相似性度量的鲁棒性，也为本发明的整体效果带来了一定提升。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (5)

1.一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法，其特征在于，通过计算冷冻电镜单颗粒图片集的图片相似性矩阵以生成KNN网络；采用局部线性嵌入算法对每幅冷冻电镜单颗粒图像进行降维，将KNN网络和降维后的图片特征矩阵输入图卷积自编解码器中的编码器，将高维的结点特征嵌入到低维的隐藏层空间中，得到低维的隐藏层结点特征后通过图卷积自编解码器中的解码器进行K-means聚类处理得到冷冻电镜单颗粒图像的聚类结果，最后对每个聚类簇的图像取平均即可得到最终的类平均图像；
所述的KNN网络，根据图片相似性矩阵计算每个结点的K近邻结点，并连接任两个互为K近邻的结点得到；
所述的编码器由两层的图卷积神经网络组成，每层图卷积进行以下处理：
Figure FDA0003560992680000011
Figure FDA0003560992680000012
其中：
Figure FDA0003560992680000013
A为原始输入的KNN网络
Figure FDA0003560992680000014
的拉普拉斯矩阵，W(l+1)为网络的权值矩阵，H(l)为图卷积层的输入，H(l+1)为图卷积层的输出；
所述的解码器由内积函数解码器和两层逆图卷积神经网络组成，其中：内积函数解码器将低维结点特征重构为结点的邻接矩阵形式，学习结点间的关系信息；两层逆图卷积神经网络将低维的结点特征还原至输入的结点维度，学习结点的特征。
2.根据权利要求1所述的基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法，其特征是，所述的图片相似性矩阵，采用协方差作为图片相似性度量准则，由冷冻电镜单颗粒图片集中所有单颗粒图片之间的协方差组成，具体为：
Figure FDA0003560992680000015
Figure FDA0003560992680000016
其中：P，Q为单颗粒图像对应的一维向量，μP和μQ为图像P和图像Q对应的期望，因为在实际场景中无法获得图像的期望，因此用单颗粒图片集的平均向量μ来近似图像P和图像Q的期望向量。
3.根据权利要求1所述的基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法，其特征是，所述的降维是指：将冷冻电镜单颗粒图片集中每张N×N的冷冻电镜单颗粒二维图像展开成一维向量并组合得到
Figure FDA0003560992680000018
图片矩阵，其中：M为单颗粒图片总数，然后通过局部线性嵌入算法对图片矩阵从原始的图片维度N2降至1000，得到图片特征矩阵
Figure FDA0003560992680000019
N＝1000。
4.根据权利要求1所述的基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法，其特征是，所述的内积函数解码器进行以下处理：
Figure FDA0003560992680000017
其中：H(2)为图卷积自编码器的隐藏层结点特征，A′为内积函数解码器重构的网络，该内积函数解码器使用EMAN2的e2initial模块对得到的类平均图像进行重构得到初始模型。
5.一种实现上述任一权利要求所述方法的***，其特征在于，包括：网络构建单元、结点特征获取单元、图卷积自编码器单元以及K-means聚类单元，其中：网络构建单元与图卷积自编码器单元相连并传输网络结构信息，结点特征获取单元与图卷积自编码器单元相连并传输结点特征信息，图卷积自编码器单元通过图卷积神经网络提取输入的图特征并以内积函数和逆图卷积神经网络作为解码器，同时学***均图像。
CN202011470196.2A 2020-12-15 2020-12-15 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 Active CN112465067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011470196.2A CN112465067B (zh) 2020-12-15 2020-12-15 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011470196.2A CN112465067B (zh) 2020-12-15 2020-12-15 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法

Publications (2)

Publication Number Publication Date
CN112465067A CN112465067A (zh) 2021-03-09
CN112465067B true CN112465067B (zh) 2022-07-15

Family

ID=74804125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011470196.2A Active CN112465067B (zh) 2020-12-15 2020-12-15 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法

Country Status (1)

Country Link
CN (1) CN112465067B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920346B (zh) * 2021-07-05 2024-03-01 西北工业大学 基于锚点孪生图自动编码器的大规模图像聚类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898180A (zh) * 2018-06-28 2018-11-27 中国人民解放军国防科技大学 一种面向单颗粒冷冻电镜图像的深度聚类方法
CN109919204A (zh) * 2019-02-23 2019-06-21 华南理工大学 一种面向噪声图像的深度学习聚类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069797B (zh) * 2015-08-13 2017-08-15 上海交通大学 基于掩膜的冷冻电镜三维密度图分辨率检测方法
CN106951918B (zh) * 2017-03-01 2020-04-28 上海交通大学 一种用于冷冻电镜分析的单颗粒图像聚类方法
CN109993208B (zh) * 2019-03-04 2020-11-17 北京工业大学 一种有噪声图像的聚类处理方法
CN111553193B (zh) * 2020-04-01 2022-11-11 东南大学 一种基于轻量级深层神经网络的视觉slam闭环检测方法
AU2020101108A4 (en) * 2020-06-24 2020-07-30 Institute Of Geology And Geophysics, Chinese Academy Of Sciences A method for geophysical observation information fusion
CN111950594B (zh) * 2020-07-14 2023-05-05 北京大学 基于子图采样的大规模属性图上的无监督图表示学习方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898180A (zh) * 2018-06-28 2018-11-27 中国人民解放军国防科技大学 一种面向单颗粒冷冻电镜图像的深度聚类方法
CN109919204A (zh) * 2019-02-23 2019-06-21 华南理工大学 一种面向噪声图像的深度学习聚类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无监督混阶栈式稀疏自编码器的图像分类学习;杨东海等;《计算机应用》(第12期);全文 *

Also Published As

Publication number Publication date
CN112465067A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN111768342B (zh) 基于注意力机制和多级反馈监督的人脸超分辨方法
Hayat Multimedia super-resolution via deep learning: A survey
Lepcha et al. Image super-resolution: A comprehensive review, recent trends, challenges and applications
CN110232341B (zh) 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
Bai et al. Deep learning methods for solving linear inverse problems: Research directions and paradigms
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及***
CN106934766B (zh) 一种基于稀疏表示的红外图像超分辨率重建方法
Dong et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization
Hayat Super-resolution via deep learning
Li et al. Deep learning methods in real-time image super-resolution: a survey
CN111640059B (zh) 基于高斯混合模型的多字典图像超分辨方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN112465067B (zh) 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法
Sanghvi et al. Photon limited non-blind deblurring using algorithm unrolling
Li et al. Low-rank analysis–synthesis dictionary learning with adaptively ordinal locality
Kumar et al. Compression of CT images using contextual vector quantization with simulated annealing for telemedicine application
CN116168197A (zh) 一种基于Transformer分割网络和正则化训练的图像分割方法
Cui et al. Fast hierarchical deep unfolding network for image compressed sensing
Xu et al. Deep unfolding multi-scale regularizer network for image denoising
Bai et al. Survey of learning based single image super-resolution reconstruction technology
CN108520210A (zh) 基于小波变换和局部线性嵌入的人脸识别方法
Yeganli et al. Image super-resolution via sparse representation over coupled dictionary learning based on patch sharpness
CN116246102A (zh) 一种基于自编码器与决策树的图像分类方法与***
Cang et al. Scalable microstructure reconstruction with multi-scale pattern preservation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant