CN112418337A - 基于脑功能超网络模型的多特征融合数据分类方法 - Google Patents

基于脑功能超网络模型的多特征融合数据分类方法 Download PDF

Info

Publication number
CN112418337A
CN112418337A CN202011364161.0A CN202011364161A CN112418337A CN 112418337 A CN112418337 A CN 112418337A CN 202011364161 A CN202011364161 A CN 202011364161A CN 112418337 A CN112418337 A CN 112418337A
Authority
CN
China
Prior art keywords
super
brain
node
network
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011364161.0A
Other languages
English (en)
Other versions
CN112418337B (zh
Inventor
程忱
李瑶
孙伯廷
荆智文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202011364161.0A priority Critical patent/CN112418337B/zh
Publication of CN112418337A publication Critical patent/CN112418337A/zh
Application granted granted Critical
Publication of CN112418337B publication Critical patent/CN112418337B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及图像处理技术,具体是一种基于脑功能超网络模型的多特征融合磁共振影像数据分类方法。本发明解决了传统的磁共振成像数据分类方法使用单一属性特征所导致的准确率低的问题,多角度立体评估超网络的拓扑结构,呈现了超网络拓扑信息的完整性,增强了组间差异表征能力,适用于功能磁共振影像分类的相关研究。本发明先使用composite MCP方法构建超网络模型,然后从超网络中提取11种不同的特征作为融合特征进行分类,以弥补单一属性特征包含信息单一的缺点。这种富含充分信息的特征集能够表征脑超网络中全方位多角度的拓扑,呈现了超网络拓扑结构的完整性,从而保证之后构建的分类器能够有效的提取辨别信息,提高分类器分类精度的上限。

Description

基于脑功能超网络模型的多特征融合数据分类方法
技术领域
本发明涉及图像处理技术,具体是一种基于脑功能超网络模型的多特征融合数据分类方法。
背景技术
近年来,神经影像学技术已经被越来越多地用于研究脑区间的交互作用。低频血氧水平依赖(Blood Oxygenation Level Dependent,BOLD)信号中存在显著的低频相关,可作为神经生理学指标来检测静息状态下的脑自发活动。我们可以通过BOLD信号的来构建功能脑网络。功能脑网络已经被广泛的应用于神经精神疾病的领域,有助于阐明脑精神疾病的病理机制,并有可能提供相关的成像标记,为临床脑疾病的诊断和评估提供新的视角。
基于功能性磁共振成像(functional magnetic resonance imaging,fMRI)(fMRI)获得的影像数据,研究人员也提出了多种网络构建方法应用于脑疾病机器学习的研究。但是传统的网络模型大多都是捕捉两个脑区间的信息,而不能有效表达大脑多个脑区之间的交互作用。而最新的神经科学分析表明,在神经元脉冲、局部场电位和皮层活动中,存在必要的高阶交互。同时,现有的一些研究也表明单个大脑区域将会与一些别的大脑区域进行直接交互。所以,为了在这一方面弥补传统网络的不足,超网络被应用于这一领域的研究当中。超网络基于超图理论,区别于传统网络,其超边可以连接两个及两个以上的节点。在神经影像学中,其节点表示脑区,超边包括多个节点来表示多个脑区间的多元交互。近些年来,超图已成功地应用于各种各样的医疗影像领域包括图像分割以及分类。
但是过往的研究大都使用单一的拓扑属性来作为特征分类,单一属性所包含的信息又过于片面,不能全面表征超网络的拓扑,从而丢失一些重要的信息,由此导致其分类准确率低,从而严重影响其应用价值。基于此,有必要提出一种包含丰富辨别信息的融合属性特征集,以解决传统磁共振影像数据分类方法存在的上述问题。
本发明提供一种基于脑功能超网络模型的多特征融合磁共振影像数据分类方法,利用composite MCP方法构建脑功能超网络,然后利用多种不同的指标来提取关于脑区的特征来全面量化脑功能超网络的拓扑,最后用于脑疾病的诊断。该方法在更好的模拟人脑复杂多元交互的基础上,且克服了传统方法中单一属性特征信息片面以及分类精度低的问题,多角度立体评估超网络的拓扑结构来增强组间差异表征能力,并提高了分类准确率,实现了更准确地精神脑疾病的诊断。
发明内容
本发明为了解决单一属性特征量化脑功能超网络模型中信息片面以及分类精度低的问题,提供了一种基于超网络融合特征的功能磁共振影像数据分类方法。
本发明所采用的技术方案是,基于超网络融合属性特征的功能磁共振影像数据分类方法,具体按照以下步骤进行:
步骤S1:对静息态功能磁共振影像数据进行预处理,依据脑图谱模板,进行时间序列的提取。
步骤S2:本研究利用composite MCP方法来求解稀疏线性回归模型,从而得到超网络;
步骤S3:计算超网络11种不同的拓扑属性:包括3种不同的基于单一节点的超网络聚类系数(下文用HCC来表示),5种不同的超网络互聚类系数(下文用ComHCC来表示),平均最短路径(下文用dist来表示),点度(下文用n来表示)以及介质中心度(下文用B来表示);
步骤S4:在训练集上采用KS(Kolmogorov–Smirnov)检验作为特征选择方法,使用p<0.09作为特征选择的阈值;
步骤S5:使用支持向量机(support vector machines,SVM)作为分类器,融合属性作为特征(选择经过统计分析后所求得的差异特征作为分类特征),使用给定的正则化参数C和给定的最优特征子集,由此进行分类模型的构建,然后采用交叉验证方法对构建的分类器进行检验;
步骤S6:本发明采用互信息分析方法,分别计算特征的有效性和冗余性,然后根据计算结果筛选出具有较高有效性以及较低冗余性的特征,从而得到最优融合特征集。
进一步的,步骤S1中,对静息态功能磁共振影像数据进行预处理,所述预处理步骤至少包括时间层校正、头动校正、联合配准、空间标准化及低频滤波。本发明所使用的fMRI数据在采集过程中存在由于设备型号,被试的头动等会带来噪声影响。所以先需要对fMRI数据进行预处理,提高其图像的信噪比。之后再通过局部的非线性变换等方法将影响同一化到所选取标准空间。
所述对所分割的各脑区进行平均时间序列的提取,具体步骤包括:提取每个脑区所包含的所有体素在不同时间点上的激活信号,再将各体素在不同时间点上的激活信号进行算术平均,得到脑区的平均时间序列。
进一步的,所述步骤S2中,求解稀疏线性回归模型具体包括:
所述稀疏线性回归模型如下所示:
xk=Akαkk (1)
响应向量xk∈RN表示第k个感兴趣区域(regionofinterest,ROI)的平均时间序列。具体说来,Ak=[x1,...,xk-1,0,xk+1,...,xK]∈RN×P表示除了第k个ROI以外的其他ROIs的平均时间序列的矩阵,第k个ROI的响应向量置零。αk∈Rp是一个权重向量,表示其他ROIs对第k个ROI的影响程度。αk中有零元素和非零元素两种数据,零元素对应的ROIs表示与选定的第k个ROI无交互,被认为这些脑区与选定脑区之间是相互独立的,通过这种将相互独立的连接置零的方法,有效表示出存在相互作用的脑区。τk为噪声项。
求解稀疏回归模型包括多种。通过引入不同的惩罚项,求解稀疏回归模型的方法不同,则构建超网络的方法就不同。但传统的研究均是通过Lasso方法进行脑功能超网络的构建。此外,考虑到脑区间的组效应问题,一些研究对Lasso方法进行延伸,来进一步改善超网络的构建。但以上方法均具有相同的问题,即惩罚函数对系数的过强压缩,导致模型中目标变量回归系数的有偏估计,使得利用该方法及对该方法进行延伸构建的超网络也许会失去一些重要的连接。所以,本发明提出compositeMCP方法来创建超网络,进一步改善脑功能超网络的构建,从而更好地模拟人脑的复杂多元交互。composite MCP方法是MCP的延伸,通过将MCP同时用作内部惩罚和外部惩罚的方法,来实现bi-level的变量选择,也就是既能在组间选择变量,又能选择组内的重要变量。但在该方法组间的进行超边创建之前,需要首先对脑区进行聚类,需要各脑区进行聚类,本专利利用聚类算法对脑区进行聚类,接着使用compositeMCP进行脑功能超网络的构建,其优化目标函数如下所示:
Figure BDA0002804934210000041
其中
Figure BDA0002804934210000042
为MCP惩罚
Figure BDA0002804934210000043
xk,Ak,αk与公式(1)中类似。γ1,γ2分别是组内惩罚和组间惩罚的调整参数,
Figure BDA0002804934210000044
表示MCP惩罚,其中γ>1,当γ→∞时,求解的回归系数向量的稀疏性逐渐变小,逐渐接近于Lasso模型惩罚项,进行更严格的压缩;当γ→1时,回归系数向量的稀疏性越来越大,逐渐将不作惩罚,即不再进行压缩。在之前的研究中,大部分将其设为默认值。λ≥0,是另外一个调整参数。λ越大,则该模型越稀疏,反之亦然。
Figure BDA0002804934210000045
表示的是第p组的第j个变量的回归系数,非零回归系数表示该对应的脑区与第k个ROI产生交互,零回归系数表示该对应的脑区与第k个ROI相互独立,不进行交互,所有回归系数组成αk权重向量。
基于该方法构建脑功能超网络模型,节点表示一个感兴趣区域,超边表示多个感兴趣区域之间的交互,通过计算αk可得,即αk中的非零元素组成一条超边。具体来说,对于每个被试来说,基于选定的ROI,固定γ1和γ2值,选取λ值,便可得到一个αk权重向量,即生成一条超边。此处,考虑到脑区间信息多层级的影响,基于每一个ROI,固定γ1和γ2值,变化λ值的范围,使其基于特定的脑区产生一组超边。最后基于compositeMCP方法,计算所有脑区对应的权重向量,得到所有脑区产生的超边,组合超边构成该被试的脑功能超网络模型。
进一步的,所述步骤S3中,按照以下步骤进行:
需要分别计算每一种单一属性特征。首先是节点重要性,包括度和介数中心度。度在超网络中也存在多种定义方式,包括节点度和超边度。节点度是指与每个节点直接相连的节点的个数,而超边度是指与每个节点之间相连的超边的个数。对于脑疾病的诊断,一般是通过计算节点的局部属性来表征超网络,因此,在本文中,引入节点度作为一种指标用于超网络的量化。其公式为:
Figure BDA0002804934210000051
公式3中H(v,e)代表超图的邻接矩阵,计算由公式(5)可得;v代表具体的某一结点,e代表具体的某一条超边。
Figure BDA0002804934210000052
其中v∈e表示节点,e∈E表示超边。关联矩阵中每一列代表一条超边,每一行代表一个节点。如果v∈e,则H(v,e)=1,如果
Figure BDA0002804934210000053
则H(v,e)=0。
介数中心度指的是通过该节点的最短路径的个数,之前的研究中主要用于社交网络。其定义为:
Figure BDA0002804934210000054
gk:从顶点vj到vk的所有最短路径数目。gk(i):这些最短路径中通过节点vi的数目。n代表节点的个数。
然后是对于不同聚类系数的计算。首先是基于双节点来计算的聚类系数被称为互聚类系数。互聚类系数需要一对节点作为参数才能计算出结果。对于五种不同的互聚类系数(ComHCC)具体定义如下:
Figure BDA0002804934210000055
我们同样也可以通过变换分母来得到相同意义的定义:
Figure BDA0002804934210000056
Figure BDA0002804934210000057
除了以上的传统定义以外。还有一些基于几何和超几何的定义既ComHCC4,ComHCC5
Figure BDA0002804934210000058
Figure BDA0002804934210000061
其中,u、v均为节点;M(u)={ei∈E:u∈ei},u代表一个节点,ei代表一条超边,M(u)指的是包含节点u的所有超边;Total指的是所有超边。
然后,我们利用这些双节点聚类系数定义,将单个顶点的聚类系数定义为顶点及其各相邻点的聚类系数的平均值:
Figure BDA0002804934210000062
ComHCC(u,v)指的是以上五种超网络的互聚类系数;u、v指的是节点;
Figure BDA0002804934210000069
V代表节点集合,E代表超边集合,e代表一条超边,N(u)代表节点u所在超边中包括其它节点的集合。
接着,基于单节点上的聚类系数来进行量化超网络。其定义更接近于普通图的聚类系数,用来衡量一个节点其邻居的的紧密程度,是对普通图的聚类系数的延伸,需要融入我们超图中的额外信息。我们观察一个边中所有的顶点,并且只有当边满足一定条件时才统计节点之间的连接。包括三种不同的定义方式,具体如下:
Figure BDA0002804934210000063
其中,u、v、w指的是节点;N(u)含义与上述公式(12)相同;当
Figure BDA0002804934210000064
同时v,w∈ei
Figure BDA0002804934210000065
Figure BDA0002804934210000066
反之亦然。HCC1(u)查找不包含u的,u的邻居之间的连接,它的优点是,在这个集合中发现的任何交互都可能表示邻居之间的真实连接。但是它可能过分关注于那些次要的共享连接,这些连接与u的交互没有什么关系。
Figure BDA0002804934210000067
其中,u、v、w指的是节点;N(u)含义与上述公式(12)相同;当
Figure BDA0002804934210000068
同时v,w∈ei且u∈ei,则IE(v,w,u)=1,反之亦然。HCC2(u)查找那些包含u的邻居的连接。这种方式找到的边真实的反应了u和邻居之间的聚集。但是需要注意这种连接可能只是与u共享连接的人工数据。
Figure BDA0002804934210000071
其中,u指的是节点;e指的是超边;N(u)含义与上述公式(12)相同;M(u)含义与上述公式(7)相同。HCC3(u)则通过邻域超边的重叠量来衡量邻域的密度。与以上两种定义都不同,它从节点的角度来定义重叠量。从而避免了上述问题。
进一步的,所述步骤S4中,在训练集上采用Kolmogorov–Smirnov检验(即KS检验)作为特征选择方法。具体为:Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max|f(x)-g(x)|,当实际观测值D>D(n,α),则拒绝H0,否则则接受H0假设。通过这种方法我们可以计算出每一个特征与标签之间的相关性,记为p值。然后使用p<0.05作为阈值,选择出更好的特征;
进一步的,所述步骤S5中,分类器的构建,具体步骤为:采用带有高斯核函数的SVM分类器,选择最优的特征子集作为分类特征,选择最优的正则化参数C,由此进行分类器的构建;
所述采用交叉验证方法对构建的分类器进行检验,步骤具体为:从最优特征子集中随机选择90%的样本作为训练集,剩余10%的最优特征子集作为测试集,由此进行分类测试并得到分类准确率;将重复进行100次分类测试后得到的分类准确率进行算术平均,然后将算术平均值作为分类器的分类准确率。
进一步的,所述步骤S6中,量化公式具体表示如下:
Figure BDA0002804934210000072
D表示该特征在分类器中的重要度;S表示融合特征集;|S|表示S中特征的总个数;xi表示所选特征;c表示样本的类别标签;F(xi,c)表示所选特征与样本的类别标签c的互信息;
Figure BDA0002804934210000073
R表示所选特征在分类器中的冗余度;xi表示所选特征;xj表示融合特征集其它特征;F(xi,xj)表示所选特征与其它特征的互信息;
所述二次筛选步骤为:分别按照重要度大小和冗余度大小对所选特征进行排名,然后筛选出重要度较大且冗余度较小的特征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的功能磁共振影像数据分类方法流程图。
图2本发明所提出方法与传统磁共振分类方法的对比示意图。
具体实施方式
下面将结合本发明实施例中,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
基于超网络融合特征的功能磁共振影像数据分类方法,具体按照以下步骤进行:
步骤S1:对静息态功能磁共振影像数据进行预处理,然后根据选定的标准化脑图谱对影像进行区域分割,并对所分割的各脑区进行平均时间序列的提取;
步骤S2:本研究利用composite MCP作为惩罚项来求解稀疏线性回归模型,从而得到超网络;
步骤S3:计算超网络11种不同的拓扑属性:包括3种不同的基于单一节点的超网络聚类系数(下文用HCC来表示),5种不同的超网络互聚类系数(下文用ComHCC来表示),平均最短路径(下文用dist来表示),点度(下文用n来表示)以及介质中心度(下文用B来表示);
步骤S4:在训练集上采用KS(Kolmogorov–Smirnov)检验作为特征选择方法,使用p<0.09作为特征选择的阈值;
步骤S5:使用支持向量机(support vector machines,SVM)作为分类器,融合属性作为特征(选择经过统计分析后所求得的差异特征作为分类特征),使用给定的正则化参数C和给定的最优特征子集,由此进行分类模型的构建,然后采用交叉验证方法对构建的分类器进行检验;
步骤S6:由于融合属性特征数目太多,可以采用互信息分析方法,对所选特征在分类器中的重要度和冗余度进行量化,然后根据量化结果对所选特征进行二次筛选,从而得到最优融合特征集。
进一步的,步骤S1中,对静息态功能磁共振影像数据进行预处理,本发明所使用的fMRI数据在采集过程中存在由于设备型号,被试的头动等会带来噪声影响。所以先需要对fMRI数据进行预处理,提高其图像的信噪比。之后再通过局部的非线性变换等方法将影响同一化到所选取标准空间。
所述对所分割的各脑区进行平均时间序列的提取,具体步骤包括:提取每个脑区所包含的所有体素在不同时间点上的激活信号,再将各体素在不同时间点上的激活信号进行算术平均,得到脑区的平均时间序列。
进一步的,所述预处理步骤至少包括时间层校正、头动校正、联合配准、空间标准化及低频滤波。
进一步的,所述步骤S2中,求解稀疏线性回归模型具体包括:
所述稀疏线性回归模型如下所示:
xk=Akαkk (1)
响应向量xk∈RN表示第k个感兴趣区域(regionofinterest,ROI)的平均时间序列。具体说来,Ak=[x1,...,xk-1,0,xk+1,...,xK]∈RN×P表示除了第k个ROI以外的其他ROIs的平均时间序列的矩阵,第k个ROI的响应向量置零。αk∈Rp是一个权重向量,表示其他ROIs对第k个ROI的影响程度。αk中有零元素和非零元素两种数据,零元素对应的ROIs表示与选定的第k个ROI无交互,被认为这些脑区与选定脑区之间是相互独立的,通过这种将相互独立的连接置零的方法,有效表示出存在相互作用的脑区。τk为噪声项。
求解稀疏回归模型包括多种。通过引入不同的惩罚项,求解稀疏回归模型的方法不同,则构建超网络的方法就不同。但传统的研究均是通过Lasso方法进行脑功能超网络的构建。此外,考虑到脑区间的组效应问题,一些研究对Lasso方法进行延伸,来进一步改善超网络的构建。但以上方法均具有相同的问题,即惩罚函数对系数的过强压缩,导致模型中目标变量回归系数的有偏估计,使得利用该方法及对该方法进行延伸构建的超网络也许会失去一些重要的连接。所以,本发明提出composite MCP方法来创建超网络,进一步改善脑功能超网络的构建,从而更好地模拟人脑的复杂多元交互。composite MCP方法是MCP的延伸,通过将MCP同时用作内部惩罚和外部惩罚的方法,来实现bi-level的变量选择,也就是既能在组间选择变量,又能选择组内的重要变量。但在该方法组间的进行超边创建之前,需要首先对脑区进行聚类,需要各脑区进行聚类,本专利利用聚类算法对脑区进行聚类,接着使用composite MCP进行脑功能超网络的构建,其优化目标函数如下所示:
Figure BDA0002804934210000101
其中
Figure BDA0002804934210000102
为MCP惩罚
Figure BDA0002804934210000103
xk,Ak,αk与公式(1)中类似。γ1,γ2分别是组内惩罚和组间惩罚的调整参数,
Figure BDA0002804934210000104
表示MCP惩罚,其中γ>1,当γ→∞时,求解的回归系数向量的稀疏性逐渐变小,逐渐接近于Lasso模型惩罚项,进行更严格的压缩;当γ→1时,回归系数向量的稀疏性越来越大,逐渐将不作惩罚,即不再进行压缩。在之前的研究中,大部分将其设为默认值。λ≥0,是另外一个调整参数。λ越大,则该模型越稀疏,反之亦然。
Figure BDA0002804934210000105
表示的是第p组的第j个变量的回归系数,非零回归系数表示该对应的脑区与第k个ROI产生交互,零回归系数表示该对应的脑区与第k个ROI相互独立,不进行交互,所有回归系数组成αk权重向量。
基于该方法构建脑功能超网络模型,节点表示一个感兴趣区域,超边表示多个感兴趣区域之间的交互,通过计算αk可得,即αk中的非零元素组成一条超边。具体来说,对于每个被试来说,基于选定的ROI,固定γ1和γ2值,选取λ值,便可得到一个αk权重向量,即生成一条超边。此处,考虑到脑区间信息多层级的影响,基于每一个ROI,固定γ1和γ2值,变化λ值的范围,使其基于特定的脑区产生一组超边。最后基于compositeMCP方法,计算所有脑区对应的权重向量,得到所有脑区产生的超边,组合超边构成该被试的脑功能超网络模型。
进一步的,所述步骤S3中,按照以下步骤进行:
需要分别计算每一种单一属性特征。首先是节点重要性,包括度和介数中心度。度在超网络中也存在多种定义方式,包括节点度和超边度。节点度是指与每个节点直接相连的节点的个数,而超边度是指与每个节点之间相连的超边的个数。对于脑疾病的诊断,一般是通过计算节点的局部属性来表征超网络,因此,在本文中,引入节点度作为一种指标用于超网络的量化。其公式为:
Figure BDA0002804934210000111
公式3中H(v,e)代表超图的邻接矩阵,计算由公式(5)可得;v代表具体的某一结点,e代表具体的某一条超边。
Figure BDA0002804934210000112
其中v∈e表示节点,e∈E表示超边。关联矩阵中每一列代表一条超边,每一行代表一个节点。如果v∈e,则H(v,e)=1,如果
Figure BDA0002804934210000113
则H(v,e)=0。
介数中心度指的是通过该节点的最短路径的个数,之前的研究中主要用于社交网络。其定义为:
Figure BDA0002804934210000114
gk:从顶点vj到vk的所有最短路径数目。gk(i):这些最短路径中通过节点vi的数目。n代表节点的个数。
然后是对于不同聚类系数的计算。首先是基于双节点来计算的聚类系数被称为互聚类系数。互聚类系数需要一对节点作为参数才能计算出结果。对于五种不同的互聚类系数(ComHCC)具体定义如下:
Figure BDA0002804934210000115
我们同样也可以通过变换分母来得到相同意义的定义:
Figure BDA0002804934210000121
Figure BDA0002804934210000122
除了以上的传统定义以外。还有一些基于几何和超几何的定义既ComHCC4,ComHCC5
Figure BDA00028049342100001210
Figure BDA0002804934210000123
其中,u、v均为节点;M(u)={ei∈E:u∈ei},u代表一个节点,ei代表一条超边,M(u)指的是包含节点u的所有超边;Total指的是所有超边。
然后,我们利用这些双节点聚类系数定义,将单个顶点的聚类系数定义为顶点及其各相邻点的聚类系数的平均值:
Figure BDA0002804934210000124
ComHCC(u,v)指的是以上五种超网络的互聚类系数;u、v指的是节点;
Figure BDA0002804934210000125
V代表节点集合,E代表超边集合,e代表一条超边,N(u)代表节点u所在超边中包括其它节点的集合。
接着,基于单节点上的聚类系数来进行量化超网络。其定义更接近于普通图的聚类系数,用来衡量一个节点其邻居的的紧密程度,是对普通图的聚类系数的延伸,需要融入我们超图中的额外信息。我们观察一个边中所有的顶点,并且只有当边满足一定条件时才统计节点之间的连接。包括三种不同的定义方式,具体如下:
Figure BDA0002804934210000126
其中,u、v、w指的是节点;N(u)含义与上述公式(12)相同;当
Figure BDA0002804934210000127
同时v,w∈ei
Figure BDA0002804934210000128
Figure BDA0002804934210000129
反之亦然。HCC1(u)查找不包含u的,u的邻居之间的连接,它的优点是,在这个集合中发现的任何交互都可能表示邻居之间的真实连接。但是它可能过分关注于那些次要的共享连接,这些连接与u的交互没有什么关系。
Figure BDA0002804934210000131
其中,u、v、w指的是节点;N(u)含义与上述公式(12)相同;当
Figure BDA0002804934210000132
同时v,w∈ei且u∈ei,则IE(v,w,u)=1,反之亦然。HCC2(u)查找那些包含u的邻居的连接。这种方式找到的边真实的反应了u和邻居之间的聚集。但是需要注意这种连接可能只是与u共享连接的人工数据。
Figure BDA0002804934210000133
其中,u指的是节点;e指的是超边;N(u)含义与上述公式(12)相同;M(u)含义与上述公式(7)相同。HCC3则通过邻域超边的重叠量来衡量邻域的密度。与以上两种定义都不同,它从节点的角度来定义重叠量。从而避免了上述问题。
进一步的,所述步骤S4中,在训练集上采用Kolmogorov–Smirnov检验(即KS检验)作为特征选择方法。具体为:Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max|f(x)-g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设。通过这种方法我们可以计算出每一个特征与标签之间的相关性,记为p值。然后使用p<0.05作为阈值,选择出更好的特征;
进一步的,所述步骤S5中,分类器的构建,具体步骤为:采用带有高斯核函数的SVM分类器,选择最优的特征子集作为分类特征,选择最优的正则化参数C,由此进行分类器的构建;
所述采用交叉验证方法对构建的分类器进行检验,步骤具体为:从最优特征子集中随机选择90%的样本作为训练集,剩余10%的最优特征子集作为测试集,由此进行分类测试并得到分类准确率;将重复进行100次分类测试后得到的分类准确率进行算术平均,然后将算术平均值作为分类器的分类准确率。
进一步的,所述步骤S6中,量化公式具体表示如下:
Figure BDA0002804934210000134
D表示该特征在分类器中的重要度;S表示融合特征集;|S|表示S中特征的总个数;xi表示所选特征;c表示样本的类别标签;F(xi,c)表示所选特征与样本的类别标签c的互信息;
Figure BDA0002804934210000141
R表示所选特征在分类器中的冗余度;xi表示所选特征;xj表示融合特征集其它特征;F(xi,xj)表示所选特征与其它特征的互信息;
所述二次筛选步骤为:分别按照重要度大小和冗余度大小对所选特征进行排名,然后筛选出重要度较大且冗余度较小的特征。
本发明的有益效果:与传统磁共振影像数据分类方法相比,本发明先使用composite MCP方法构建超网络模型,然后从超网络中提取11种不同的特征作为融合特征进行分类,以弥补单一属性特征包含信息单一的缺点。这种富含充分信息的特征集能够表征脑超网络中全方位多角度的拓扑,呈现了超网络拓扑结构的完整性,从而保证之后构建的分类器能够有效的提取辨别信息,提高分类器分类精度的上限。本发明克服了以往研究使用单一属性作为特征的不足之处,可用于磁共振影像数据的分类。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (7)

1.基于脑功能超网络模型的多特征融合数据分类方法,其特征在于,包括以下步骤:
步骤S1:获取静息态功能磁共振影像数据,并对影像数据进行预处理;根据选定的脑图谱模板,对预处理后的影像数据中每个脑区进行平均时间序列的提取;
步骤S2:基于每个脑区的平均时间序列,构建稀疏线性回归模型;并利用compositeMCP方法求解稀疏线性回归模型,得到脑功能超网络模型;
步骤S3:计算脑功能超网络模型的11种拓扑属性,包括:3种不同的基于单一节点的超网络聚类系数、5种不同的超网络互聚类系数、平均最短路径、节点度以及介质中心度;
步骤S4:采用非参数置换检验KS检验对拓扑属性进行特征选择;
步骤S5:采用支持向量机作为分类器,选择经过统计分析后所求得的差异特征作为分类特征,根据给定的正则化参数C和给定的最优特征子集,构建分类模型,采用交叉验证方法对分类模型进行检验;
步骤S6:依据步骤S4中选择的特征,以及步骤S5中构建的分类模型,采用互信息分析方法,分别计算特征的有效性和冗余性;根据计算结果筛选出特征,得到最优融合特征集。
2.根据权利要求1所述的数据分类方法,其特征在于,在步骤S1中:
所述预处理至少包括时间层校正、头动校正、联合配准、空间标准化及低频滤波;
提取每个脑区的平均时间序列,具体步骤包括:提取每个脑区所包含的所有体素在不同时间点上的激活信号,再将各体素在不同时间点上的激活信号进行算术平均,得到每个脑区的平均时间序列。
3.根据权利要求1所述的数据分类方法,其特征在于,在步骤S2中,求解稀疏线性回归模型具体包括:
所述稀疏线性回归模型如下所示:
xk=Akαkk (1)
其中,xk∈RN,表示第k个感兴趣区域ROI的平均时间序列;Ak=[x1,...,xk-1,0,xk+1,...,xK]∈RN×P,表示除了第k个ROI以外的其他ROIs的平均时间序列的矩阵;αk∈Rp为权重向量,表示其余ROI对第k个ROI的影响程度,其列向量中的非零元素表示对应的ROI与第k个ROI产生交互,零元素表示对应ROI与第k个ROI相互独立,不存在任何交互;τk为噪声项;
利用聚类算法对脑区进行聚类,然后使用composite MCP求解稀疏线性回归模型进行脑功能超网络的构建,其优化目标函数如下所示:
Figure FDA0002804934200000021
其中,
Figure FDA0002804934200000022
γ1,γ2分别是组内惩罚和组间惩罚的调整参数;
Figure FDA0002804934200000023
表示MCP惩罚,其中γ>1;当γ→∞时,求解的回归系数向量的稀疏性逐渐变小,逐渐接近于Lasso模型惩罚项,进行更严格的压缩;当γ→1时,回归系数向量的稀疏性越来越大,逐渐将不作惩罚,即不再进行压缩;λ是另外一个调整参数,λ≥0,λ越大,则该模型越稀疏,反之亦然;
Figure FDA0002804934200000025
表示的是第p组的第j个变量的回归系数,非零回归系数表示该对应的脑区与第k个ROI产生交互,零回归系数表示该对应的脑区与第k个ROI相互独立,不进行交互,所有回归系数组成αk权重向量;
构建脑功能超网络模型中,节点表示一个感兴趣区域,超边表示多个感兴趣区域之间的交互,通过计算αk可得,即αk中的非零元素组成一条超边;
基于选定的ROI,固定γ1和γ2值,选取λ值,便可得到一个αk权重向量,即生成一条超边;基于每一个ROI,固定γ1和γ2值,变化λ值的范围,使其基于特定的脑区产生一组超边;最后基于composite MCP方法,计算所有脑区对应的权重向量,得到所有脑区产生的超边,组合超边构成该被试的脑功能超网络模型。
4.根据权利要求1所述的数据分类方法,其特征在于,所述步骤S3中,
节点度为:
Figure FDA0002804934200000024
公式3中H(v,e)代表超图的邻接矩阵,计算由公式(5)可得;v代表具体的某一结点,e代表具体的某一条超边;
Figure FDA0002804934200000031
其中v∈e表示节点,e∈E表示超边,E={e}表示超边集合,关联矩阵中每一列代表一条超边,每一行代表一个节点;
介数中心度为:
Figure FDA0002804934200000032
gk表示从顶点vj到vk的所有最短路径数目,gk(i)表示这些最短路径中通过节点vi的数目,n表示节点的个数;
五种不同的互聚类系数(ComHCC)分别为:
Figure FDA0002804934200000033
Figure FDA0002804934200000034
Figure FDA0002804934200000035
Figure FDA0002804934200000036
Figure FDA0002804934200000037
其中,u、v均为节点;M(u)={ei∈E:u∈ei},ei代表一条超边,M(u)表示包含节点u的所有超边;Total表示所有超边;
将单个节点的聚类系数定义为节点及其各相邻节点的聚类系数的平均值:
Figure FDA0002804934200000041
ComHCC(u,v)表示上述五种互聚类系数;u、v均为节点;
Figure FDA0002804934200000042
V代表节点集合,E代表超边集合,e代表一条超边,N(u)代表节点u所在超边中包括其它节点的集合;
三种不同的基于单一节点的聚类系数定义为:
Figure FDA0002804934200000043
Figure FDA0002804934200000044
Figure FDA0002804934200000045
其中,u、v、w均为节点;e表示超边;
公式(13)中,当
Figure FDA0002804934200000046
同时v,w∈ei
Figure FDA0002804934200000047
Figure FDA0002804934200000048
反之亦然;
公式(14)中,当
Figure FDA0002804934200000049
同时v,w∈ei且u∈ei,则IE(v,w,u)=1,反之亦然。
5.根据权利要求1所述的数据分类方法,其特征在于,步骤S4中,采用非参数置换检验作为特征选择方法对拓扑属性进行特征选择,特征选择的阈值为p<0.05。
6.根据权利要求1所述的数据分类方法,其特征在于,步骤S5中,采用交叉验证方法对分类模型进行检验的步骤具体为:从最优特征子集中随机选择90%的样本作为训练集,剩余10%的最优特征子集作为测试集,进行分类测试并得到分类准确率;将重复进行100次分类测试后得到的分类准确率进行算术平均,然后将算术平均值作为分类模型的分类准确率。
7.根据权利要求1所述的数据分类方法,其特征在于,所述步骤S6中,量化公式具体表示如下:
Figure FDA0002804934200000051
D表示该特征在分类模型中的重要度;S表示融合特征集;|S|表示S中特征的总个数;xi表示所选特征;c表示样本的类别标签;F(xi,c)表示所选特征与样本的类别标签c的互信息;
Figure FDA0002804934200000052
R表示所选特征在分类模型中的冗余度;xi表示所选特征;xj表示融合特征集其它特征;F(xi,xj)表示所选特征与其它特征的互信息;
筛选步骤为:分别按照重要度大小和冗余度大小对所选特征进行排名,然后筛选出重要度较大且冗余度较小的特征。
CN202011364161.0A 2020-11-27 2020-11-27 基于脑功能超网络模型的多特征融合数据分类方法 Expired - Fee Related CN112418337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011364161.0A CN112418337B (zh) 2020-11-27 2020-11-27 基于脑功能超网络模型的多特征融合数据分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011364161.0A CN112418337B (zh) 2020-11-27 2020-11-27 基于脑功能超网络模型的多特征融合数据分类方法

Publications (2)

Publication Number Publication Date
CN112418337A true CN112418337A (zh) 2021-02-26
CN112418337B CN112418337B (zh) 2021-11-02

Family

ID=74842872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011364161.0A Expired - Fee Related CN112418337B (zh) 2020-11-27 2020-11-27 基于脑功能超网络模型的多特征融合数据分类方法

Country Status (1)

Country Link
CN (1) CN112418337B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160974A (zh) * 2021-04-16 2021-07-23 山西大学 一种基于超图聚类的精神疾病生物型发掘方法
CN113742998A (zh) * 2021-08-03 2021-12-03 中国人民解放军国防科技大学 一种基于超网络模型的作战体系架构建模方法
CN114418982A (zh) * 2022-01-14 2022-04-29 太原理工大学 一种dti多参数融合脑网络的构建方法
CN114862834A (zh) * 2022-05-31 2022-08-05 太原理工大学 一种静息态功能磁共振影像数据分类方法
CN115356672A (zh) * 2022-10-21 2022-11-18 北京邮电大学 多维磁共振成像方法、***及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700120A (zh) * 2015-03-23 2015-06-10 南京工业大学 一种基于自适应熵投影聚类算法的fMRI特征提取及分类方法
CN106295709A (zh) * 2016-08-18 2017-01-04 太原理工大学 基于多尺度脑网络特征的功能磁共振影像数据分类方法
CN107133651A (zh) * 2017-05-12 2017-09-05 太原理工大学 基于超网络判别子图的功能磁共振影像数据分类方法
CN107909117A (zh) * 2017-09-26 2018-04-13 电子科技大学 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
CN108229066A (zh) * 2018-02-07 2018-06-29 北京航空航天大学 一种基于多模态超连接脑网络建模的帕金森自动识别方法
CN111553464A (zh) * 2020-04-26 2020-08-18 北京小米松果电子有限公司 基于超网络的图像处理方法、装置及智能设备
CN111680599A (zh) * 2020-05-29 2020-09-18 北京百度网讯科技有限公司 人脸识别模型处理方法、装置、设备和存储介质
CN111754395A (zh) * 2020-07-01 2020-10-09 太原理工大学 一种脑功能超网络模型的鲁棒性评估方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700120A (zh) * 2015-03-23 2015-06-10 南京工业大学 一种基于自适应熵投影聚类算法的fMRI特征提取及分类方法
CN106295709A (zh) * 2016-08-18 2017-01-04 太原理工大学 基于多尺度脑网络特征的功能磁共振影像数据分类方法
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
CN107133651A (zh) * 2017-05-12 2017-09-05 太原理工大学 基于超网络判别子图的功能磁共振影像数据分类方法
CN107133651B (zh) * 2017-05-12 2018-03-16 太原理工大学 基于超网络判别子图的功能磁共振影像数据分类方法
CN107909117A (zh) * 2017-09-26 2018-04-13 电子科技大学 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置
CN108229066A (zh) * 2018-02-07 2018-06-29 北京航空航天大学 一种基于多模态超连接脑网络建模的帕金森自动识别方法
CN111553464A (zh) * 2020-04-26 2020-08-18 北京小米松果电子有限公司 基于超网络的图像处理方法、装置及智能设备
CN111680599A (zh) * 2020-05-29 2020-09-18 北京百度网讯科技有限公司 人脸识别模型处理方法、装置、设备和存储介质
CN111754395A (zh) * 2020-07-01 2020-10-09 太原理工大学 一种脑功能超网络模型的鲁棒性评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIAO JIE等: "Brain Connectivity Hyper-Network for MCI Classification", 《CONFERENCE PAPER》 *
JOSEPH O OGUTU等: "Regularized group regression methods for genomic prediction: Bridge, MCP, SCAD, group bridge, group lasso, sparse group lasso, group MCP and group SCAD", 《BMC PROCEEDINGS》 *
YAO LI 等: "Hypernetwork Construction and Feature Fusion Analysis Based on Sparse Group Lasso Method on Functional fMRI Dataset", 《FRONTIERS IN NEUROSCIENCE》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160974A (zh) * 2021-04-16 2021-07-23 山西大学 一种基于超图聚类的精神疾病生物型发掘方法
CN113160974B (zh) * 2021-04-16 2022-07-19 山西大学 一种基于超图聚类的精神疾病生物型发掘方法
CN113742998A (zh) * 2021-08-03 2021-12-03 中国人民解放军国防科技大学 一种基于超网络模型的作战体系架构建模方法
CN114418982A (zh) * 2022-01-14 2022-04-29 太原理工大学 一种dti多参数融合脑网络的构建方法
CN114862834A (zh) * 2022-05-31 2022-08-05 太原理工大学 一种静息态功能磁共振影像数据分类方法
CN115356672A (zh) * 2022-10-21 2022-11-18 北京邮电大学 多维磁共振成像方法、***及存储介质

Also Published As

Publication number Publication date
CN112418337B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN112418337B (zh) 基于脑功能超网络模型的多特征融合数据分类方法
CN113616184B (zh) 基于多模态磁共振图像的脑网络建模与个体预测方法
CN109376751B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
CN113040715B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
CN102855491B (zh) 一种基于网络中心性的脑功能磁共振图像分类方法
Song et al. A modified probabilistic neural network for partial volume segmentation in brain MR image
Dimitriadis et al. Improving the reliability of network metrics in structural brain networks by integrating different network weighting strategies into a single graph
CN110236543B (zh) 基于深度学习的阿尔茨海默病多分类诊断***
CN107133651B (zh) 基于超网络判别子图的功能磁共振影像数据分类方法
CN102509123B (zh) 一种基于复杂网络的脑功能磁共振图像分类方法
Li et al. MR brain image segmentation based on self-organizing map network
CN103886328A (zh) 基于脑网络模块结构特征的功能磁共振影像数据分类方法
CN103020653B (zh) 基于网络分析的结构和功能磁共振图像联合分类方法
CN111009321A (zh) 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN105117731A (zh) 一种大脑功能网络的社团划分方法
CN110084381A (zh) 一种基于权值特征属性融合与新型图核的脑网络分类方法
CN111009324A (zh) 脑网络多特征分析的轻度认知障碍辅助诊断***及方法
CN110797123A (zh) 一种动态脑结构的图卷积神经网络演化方法
CN112348833B (zh) 基于动态连接的脑功能网络变异识别方法及***
CN113947157B (zh) 一种基于层次聚类和结构方程模型的动态脑效应连接网络生成方法
Christe et al. Improved hybrid segmentation of brain MRI tissue and tumor using statistical features
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及***
Dan et al. Learning brain dynamics of evolving manifold functional MRI data using geometric-attention neural network
Yeung et al. Pipeline comparisons of convolutional neural networks for structural connectomes: predicting sex across 3,152 participants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210325

Address after: 030000 Yingze West Street, Taiyuan, Taiyuan, Shanxi

Applicant after: Taiyuan University of Technology

Applicant after: Xueyi Technology (Chengdu) Co.,Ltd.

Address before: 030000 Yingze West Street, Taiyuan, Taiyuan, Shanxi

Applicant before: Taiyuan University of Technology

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210928

Address after: 030000 Yingze West Street, Taiyuan, Taiyuan, Shanxi

Applicant after: Taiyuan University of Technology

Address before: 030000 Yingze West Street, Taiyuan, Taiyuan, Shanxi

Applicant before: Taiyuan University of Technology

Applicant before: Xueyi Technology (Chengdu) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211102

CF01 Termination of patent right due to non-payment of annual fee