CN116664931A - 基于量子向经典迁移学习的膝骨关节炎分级方法 - Google Patents
基于量子向经典迁移学习的膝骨关节炎分级方法 Download PDFInfo
- Publication number
- CN116664931A CN116664931A CN202310622016.5A CN202310622016A CN116664931A CN 116664931 A CN116664931 A CN 116664931A CN 202310622016 A CN202310622016 A CN 202310622016A CN 116664931 A CN116664931 A CN 116664931A
- Authority
- CN
- China
- Prior art keywords
- quantum
- classical
- image
- data
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 201000008482 osteoarthritis Diseases 0.000 title claims abstract description 29
- 238000013508 migration Methods 0.000 title claims abstract description 19
- 230000005012 migration Effects 0.000 title claims abstract description 19
- 208000003947 Knee Osteoarthritis Diseases 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000003062 neural network model Methods 0.000 claims abstract description 3
- 230000009467 reduction Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 16
- 238000013526 transfer learning Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000005283 ground state Effects 0.000 claims description 3
- 238000012300 Sequence Analysis Methods 0.000 claims description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 21
- 239000002096 quantum dot Substances 0.000 description 20
- 238000012360 testing method Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 210000000629 knee joint Anatomy 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010070918 Bone deformity Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 208000007913 Pituitary Neoplasms Diseases 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 206010027191 meningioma Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010916 pituitary tumor Diseases 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 201000004595 synovitis Diseases 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机技术领域，具体涉及一种基于量子向经典迁移学习的膝骨关节炎分级方法，包括步骤：设计混合量子卷积网络结构HQCNN，将数据编码为量子态提取信息，使用信息来区分数据的类别；根据MRI图像和OAI图像的标签情况，及MRI图像分类和OAI分级任务之间的关系，将量子经典QC迁移学习分为预训练和微调两阶段，预训练阶段使用已经训练好的量子神经网络模型来学习量子态演化和量子门操作，微调阶段则将预训练好的模型应用到新的任务中，并在新任务中调整和训练模型；对图像数据进行降维处理，通过数据编码线路将预处理后的图像数据编码为量子数据，采用混合量子卷积网络结构HQCNN进行图像分类。本发明解决了存在技术瓶颈的技术问题。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于量子向经典迁移学习的膝骨关节炎分级方法。
背景技术
骨关节炎是一种常见的关节炎，它是限制老人活动能力和肢体功能的重要因素。骨关节炎的病因不明，其晚期特征表现为软骨磨损，骨畸形和滑膜炎等。影像学检查是检测骨关节炎最重要的工具，可以发现早期骨关节炎迹象，通过行为干预(如锻炼和减肥计划)减缓疾病进展。MRI(磁共振成像)可以反映膝关节的三维结构，但是MRI检测设备数量少、费用高，不适合常规骨关节炎的诊断，相反，X光检查具有安全、经济、普及性广等特点，一直作为骨关节炎检查的常规标准。凯尔格伦劳伦斯分级，也即Kellgren-Lawrence(KL)是最常用的临床量表之一，用于通过X线平片评估骨性关节炎的严重程度。然而，由放射科医生进行视觉诊断的一致性较低，在决策中会引入很大的不一致，医生通常检查扫描的膝关节x光图像，然后在短时间内对两个膝关节进行KL分级，诊断的准确性在很大程度上依赖于医生的经验和细心。另外，如附图1所示，KL分级的标准非常模糊。例如说，KL 1级的判定标准就为可能的骨植唇和关节间隙狭窄(JSN)，甚至同一名医师在不同时间点对同一膝关节进行检查时，也可能给出不同的KL等级，KL内评分者的可靠性在0.67～0.73之间。
近年来，深度学习已成为骨关节炎严重程度评估的主要研究方向。由于骨关节炎的高患病率，目前迫切需要准确检测其存在并量化其严重程度的方法。全自动的骨关节炎严重程度分级可以提供客观的、可重复的预测，在过去的十年中，已经发展了几种方法用于膝关节的检测和KL等级的分类。例如：设计新的CNN模型用于KL分级任务，并优化交叉熵损失和均方误差损失的加权组合，可以得到63.6％的识别率；把骨关节炎评估任务分为检测和分类两个阶段，其中，使用Faster R-CNN进行检测，使用深度卷积网络进行分类；开发基于深度学习的自动算法，联合使用膝关节x线片的后-前(PA)和外侧(LAT)视图，根据KL分级***评估膝关节骨关节炎的严重程度；提出注意力机制下的CNN膝骨关节炎KL等级分类模型，先用ResNet从X光片中提取膝关节特征，然后与卷积注意力模块提取的特征相结合，自动进行KL等级的预测。
此外，量子AI/ML算法尤其适用于诊断应用。许多潜在相关的变量导致高维特征空间，变量之间的相互作用导致复杂的相互依赖性、相关性和模式，量子AI/ML算法能够以超越纯经典方法的方式渗透此类数据结构。因此，这一领域正在探索一系列广泛的量子应用，包括增强图像边缘检测、分割和分类等处理步骤，比如说：在视网膜彩色眼底和胸部x线图像分类中，研究正交QNN并用量子电路加速经典神经网络的训练；基于计算机断层扫描(CT)和正电子发射断层扫描(PET)数据，开发基于qft的增强图像重建算法；对乳腺癌分类，应用QSVCs和量子核高斯过程以及基于迁移学习的QNNs；类风湿关节炎通过用量子核对齐训练的QSVCs对热图进行分类来检测的；使用QNNs对阿尔茨海默病进行MRI图像分类，使用胸部x线和CT肺图像对COVID-19进行QNNs分类。但是，由于高相干性要求、量子噪声和量子位数有限所造成的技术瓶颈，使用全量子算法是不可行的。
发明内容
本发明提供一种基于量子向经典迁移学习的膝骨关节炎分级方法，解决了全量子算法不能进行膝骨关节炎分级的技术问题。
本发明提供的基础方案为：基于量子向经典迁移学习的膝骨关节炎分级方法，包括步骤：
S1、设计混合量子卷积网络结构HQCNN用于MRI图像的多分类，将数据编码为量子态提取信息，使用信息来区分数据的类别，其中，量子卷积网络由量子卷积层和经典卷积层组成，量子卷积层由编码器、随机电路和解码器组成，经典卷积层由经典卷积层、全局池化层和密集层组成；
S2、根据MRI图像和OAI图像的标签情况，及MRI图像分类和OAI分级任务之间的关系，选择量子到经典QC迁移学习方案，将量子经典QC迁移学习分为预训练和微调两个阶段，预训练阶段使用已经训练好的量子神经网络模型来学习量子态演化和量子门操作，微调阶段则将预训练好的模型应用到新的任务中，并在新任务中调整和训练模型；
S3、对图像数据进行降维处理，通过数据编码线路将预处理后的图像数据编码为量子数据，采用混合量子卷积网络结构HQCNN进行图像分类。
本发明的工作原理及优点在于：在本方案中，首先设计一种混合量子卷积神经网络HQCNN，将混合量子卷积神经网络HQCNN用于MRI成像，获取更强泛化能力的量子卷积网络结构，其次使用量子到经典的迁移学习方法用于OAI图像的分级诊断，提高了分类效果；以预先训练过的权重为基础，可以更新大部分或所有参数，并在特征提取中使用预训练模型的编码特性训练最后一层的权重，以提高量子卷积层QCL的提取能力；克服了由于高相干性要求、量子噪声和量子位数有限所造成的技术瓶颈，提高了使用全量子算法分级、分类的可行性。
本发明克服了由于高相干性要求、量子噪声和量子位数有限所造成的技术瓶颈，提高了使用全量子算法分级、分类的可行性，解决了全量子算法不能进行膝骨关节炎分级的技术问题。
进一步，S2中，量子到经典QC迁移学习方案，包括：
A.第一阶段：选取Real Ket这种量子图像格式，将一个图像被分成4个块，每个块从左到右编号，从最上面一行开始，这些块再次被分成4个块，并以相同的方式进行编号，直到得到只有4个像素的最小块；
B.第二阶段：使用预先训练的HQCNN模型作为特征提取器，HQCNN模型的经典层使用xception网络，采用残余学习策略从QCNN的多层学习；
C.第三阶段：在经典层上执行从HQCNN模型中提取的特征维数，进行从512个特征到64个特征的线性变换，将经典卷积层的经典输出特征传递到最终全连接层，创建二维目标输出类预测。
有益效果在于：使用预训练的QCNN模型的重要标准是使用适当的图像预处理，图像对应于一个需要被编码的数据点，首先需要重塑图像以减少电路中的量子位数，在将像素归一化之前，将像素重新调整到(H、W、C)＝(128、128、1)，标准化是指将像素值0-255转换为0.0-1.0范围内的实数的过程，这样可以减少计算量，同时提高计算精度。
进一步，S1中，量子卷积层对图像进行序列解析，从图像中提取局部信息、特征和模式，量子卷积层由一个量子电路组成，量子电路编码n×n个量子位上的像素数据，其中n表示核大小，在量子位上应用一个随机量子电路，测量以产生一个特征矩阵。
进一步，S1中，在编码器编码过程中，滤波器大小对应的像素数据以量子比特的形式存储，将图像编码到量子电路，将数据点编码到一个量子电路，包括：基态编码、角度编码、振幅编码、IQP编码和哈密顿量演化编码。
进一步，S1中，量子卷积层包括量子核，使用q电路将输入图像分割成包含局部信息的斑块，从图像中检测和提取空间细节和特征。
有益效果在于：这样设计的量子卷积网络结构HQCNN，其基本思想是将数据编码为量子态，使用信息来区分数据的类别，从而更快地提取信息，可以很好地用于MRI图像的多分类。
附图说明
图1为本发明实施例膝关节进行KL分级的示意图。
图2为本发明实施例混合量子卷积神经网络的结构示意图。
图3为本发明实施例量子卷积层的结构示意图。
图4为本发明实施例通用迁移学习方案的流程图。
图5为本发明实施例量子经典迁移学习方案的流程图。
图6为本发明实施例划分前MRI数据集各个类的训练集和测试集ROC Score。
图7为本发明实施例划分后MRI数据集各个类的训练集和测试集ROC Score。
图8为本发明实施例划分前OAI数据集各个类的训练集和测试集ROC Score。
图9为本发明实施例MRI classification report。
图10为本发明实施例OAI classification report。
图11为本发明实施例MRI Confusion Matrix。
图12为本发明实施例量子经典迁移前后的train history。
图13为本发明实施例各个模型的train history。
图14为本发明实施例HQCNN Confusion Matrix。
图15为本发明实施例QC Confusion Matrix。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例1
为了更好地描述混合量子卷积神经网络结构(HQCNN)结构，如附图2所示，首先简要概述卷积神经网络(CNN)的一些基本特征。经典的卷积层由交错的卷积层和池化层组成，并以一个全连接层结束。卷积层主要目的是用特征映射(或滤波器)从输入数据中提取特征，这是卷积神经网络(CNN)计算量最大的步骤。在卷积层之后通常会增加一个池化层，以降低数据的维数，防止过拟合。量子卷积神经网络结构基本思想，是将数据编码为量子态，从而更快地提取信息，然后使用信息来区分数据的类别。混合量子卷积神经网络由量子卷积层和经典卷积层组成，量子卷积层有三个部分：编码器、随机电路和解码器。从量子卷积层(QCL)获得输出后，信息被传递到体系结构的经典卷积层。经典卷积层由三种不同的层组成，即经典卷积层，全局池化层和密集层。
量子卷积层对图像进行序列解析，从图像中提取局部信息、特征和模式，对图像的分类有重要贡献。混合量子经典方法，是为经典的卷积层提供一个量子模拟，并将其命名为量子卷积层。与经典的卷积层相似，所提出的量子卷积层从输入图像中提取高级空间特征，该层由一个量子电路组成，该电路编码n×n个量子位上的像素数据(其中n表示核大小)，在这些量子位上应用一个随机量子电路，然后测量它们以产生一个特征矩阵，量子卷积层内部结构如附图3所示。
在编码过程中，滤波器大小对应的像素数据以量子比特的形式存储。将图像编码到量子电路是量子机器学习领域的一项具有挑战性的任务。有几种量子编码的方式，将数据点编码到一个量子电路，包括基态编码、角度编码、振幅编码、IQP编码和哈密顿量演化编码。一个简单的编码思想是将一个数据点转换为量子状态中的一个角度(实际上量子位元是状态向量将数据点表示为角度归结为状态向量的不同方向)，每个量子位都依赖于它的经典数据点来表示它的配置。角度编码即是利用旋转门Rx,Ry,Rz的旋转角度进行对经典信息的编码。
旋转矩阵的定义如下：
这些都是泡利自旋矩阵上的有效算子。本质上，门Rx(θ)使空间中的状态向量相对于X轴旋转一个θ角，同样，Ry门和Rz门分别与Y轴和Z轴相关，角度θ直接对应于一个像素的强度值。在将所有数据点映射到量子位元之后，可以使用量子位元和量子门的操作来设计随机q电路，角度编码则是将N个经典数据编码至N个量子比特上。
其中，|x>为所需编码的经典数据向量。但是，由于一个qubit不仅可以加载角度信息，还可以加载相位信息，因此，可以将一个长度为N的经典数据编码至□N□个量子比特上。
其中，将两个数据分别编码至量子特的旋转角度cos(πx2i-1)|0>与相位信息中。
一系列统一的量子变换(通过前面定义的门实现)和量子位元的测量对于设计一个量子电路是必不可少的。量子卷积层包含了量子核，本质上是通过使用q电路将输入图像分割成包含局部信息的更小的斑块，以便从图像中检测和提取有意义的空间细节和特征。有一个简单的深度和使用较小的量子位元的想法是，在量子卷积层中集成一个随机的q-电路。随机电路是由随机选择的单量子位门和双量子位门构成的，应用在这些门的旋转也是随机选择使用Numpy’s random的随机方法。我们设计的参数量子电路，它是由交错的单量子位层和双量子位层组成。单量子位层由Ry门组成，每个门包含一个可调参数。双量子位层由最近邻量子位对上的CNOT门组成。使用阿达玛门，用|0>和|1>的平衡叠加来初始化量子位，然后根据输入参数旋转量子位。嵌入操作的主要目的是通过使用基于输入因子的阿达玛门和旋转门，适当平衡|0>和|1>量子位值来初始化量子位。量子编码框架负责建立经典信息输入x与其相关的量子态|X>之间的关联。一般来说，量子编码实现了量子嵌入，将经典的输入向量转换为量子态向量。由此产生的量子态由下面的方程。
量子编码电路发展出新的量子态，用(7)所示
量子变分层包括一系列由旋转门组成的旋转层，然后是由CNOT门组成的纠缠层，以满足训练过程。在操作过程中，CNOT门强制执行量子操作任何相邻量子线之间的纠缠，导致每一个量子线路的量子位纠缠。同时，旋转门的旋转角度是可调整的。在训练过程中，数据通过变分层传输，变分层由交替的旋转门和纠缠门(控制而非控制门)组成。所提出的工作的最佳性能模型包括在这个变分量子电路中为4的量子深度，用(8)所示。
X＝L4o……L2oL1(8)
QCL的这个组件负责在该层中发生的所有测量值。解码表示测量量子数据，数据被转换为经典形式。测量的数据提供了有关图像的相关信息，然后可以将这些信息输入神经网络，以对图像的类型进行分类，泡利自旋矩阵在这个分量中找到了它们的用法。它们是解码量子信息和生成相应的经典信息的最直观和最简单的方法，数据解码器组件通过使用前面定义的Pauli-Z矩阵沿着Z轴测量数据。根据选取测量算子的不同，我们常见的测量分成计算基测量、投影测量、Pauli测量等，Pauli测量是投影测量中把可观测量M选取为泡利算子。以Pauli-Z测量为例，我们考虑Z算子：
可以看出，Z满足即Z是Hermite的。Z有两个特征值+1，-1，对应的特征向量分别为：|0>和|1>。因此，Z的谱分解形式为：
使用Z做投影测量，如果测量结果为+1，我们可得出该量子比特的状态被投影到Z算子的+1特征子空间V+1表明被测量态被投影成了|0>，相似地，如果测量结果为-1，可得出该量子比特被投影到-1特征子空间V-1表明被测量态被投影成了|1>。
经过量子变换后，数据处于任意量子态，需要测量输出的量子态，以获得经典信息进行后续处理。量子解码(测量)操作是一个非线性变换，它实现了一个类似于经典激活函数的函数。通过测量获得的经典数据将用于卷积神经网络的后续经典部分，其中每个量子位元被测量，然后生成一个向量并输入相应的量子特征图。一个量子位元生成一个量子特征图，它对应于一个通道。当输入图像的滑动窗口完成后，正式生成该图像的量子特征图并序列化，并保存到磁盘上进行分类器训练。
传统上，深度神经网络需要大量的标记数据集和强大的计算资源来解决具有挑战性的计算机视觉问题，如特征提取和分类。迁移可以通过从相关的学习任务中转移知识来学习新任务。从一个预先训练好的模型中，我们执行两个任务：(1)微调、(2)在微调中进行特征提取。本质上是重新训练模型，以预先训练过的权重为基础，更新大部分或所有参数。在特征提取中，使用预训练模型的编码特性训练最后一层的权重(分类器)。得出预测和重构有相同数量的输出类的新数据集，这意味着预先训练的QCNN模型作为一个固定的功能提取器。在这种情况下，一个预先训练过的量子网络为一种特征提取器，从而产生一个与输入相关联的数值的输出向量。然后利用经典网络进一步处理所提取的特征，以解决感兴趣的特定问题。通用的迁移学习方案如附图4所示：
Step1：取一个在数据集DA和给定任务TA上预先训练过的网络A；
Step2：删除一些最后的图层，得到的截断网络A’就可以用作特征提取器；
Step3：在预先训练好的网络A’的末端连接一个新的可训练网络B；
Step4：保持A’的权重不变，并使用一个新的数据集DB和一个感兴趣的新任务TB来训练最终的块B。
量子到经典迁移学习包括使用预先训练过的量子电路作为特征提取器，并使用经典神经网络对其输出变量进行后处理。在这种情况下，只有最后的经典部分将被训练到感兴趣的特定问题。在我们的问题中，可以转化为如表1所示，量子经典迁移学习方案见附图5。使用预训练的QCNN模型的重要标准是使用适当的图像预处理。图像对应于一个需要被编码的数据点，它首先需要重塑图像，以减少电路中的量子位数。此外，在将像素归一化之前，将像素重新调整到(H、W、C)＝(128、128、1)。标准化是指将像素值0-255转换为0.0-1.0范围内的实数的过程，这样做的优点是可以减少计算量，同时提高计算精度。
表1：Quantum Classical transfer Learning scheme
A.第一阶段：Qubit Lattice、Real Ket和FRQI是三种主要的量子图像格式，其中，Real Ket这种量子图像格式一个图像被分成4个块，每个块从左到右编号，从最上面一行开始，这些块再次被分成4个块，并以相同的方式进行编号，直到得到只有4个像素的最小块，这四个像素的灰度值被映射到一个具有2个量子位元的量子态的每个分量的概率振幅。式(9)描述了量子状态，其中i1＝1是左上角像素的索引，i1＝2是右上角像素的索引，i1＝3是左下角的像素，i1＝4是右下角的像素。
Ci存储每个像素的映射值并满足
我们现在考虑一个由4个内部子块组成的更大的块，为了确定我们正在处理哪个子块，需要一个新的标签，称为i2，具有与内部块定义的相同的约定。新图像显示22×22像素，并由中的真实向量表示：
其中，存储了所有的像素值。
这个块结构可以将任意数量的步长扩展到大小为2n×2n。通过逐渐扩展，一个2n×2n的图像可以映射到量子态，如下式所示：
B.第二阶段：特征提取是从图像中提取有价值的特征。现在QCNN不再提取手工特征，而是从图像中自动提取重要特征。在这项工作中，我们使用本文提出的预先训练的HQCNN模型作为特征提取器。HQCNN模型的经典层使用xception网络，它采用残余学习策略，足够有效，从QCNN的多层学习。xception架构的残差块描述如下:
g＝F(h,W+h)(12)
其中h为输入层，g为输出层，F函数用残差映射表示。
C.第三阶段：在经典层上执行从HQCNN模型中提取的特征维数，也就是说，有一个从512个特征到64个特征的线性变换。将经典卷积层的经典输出特征传递到最终全连接层，从而创建二维目标输出类预测，该输出是该模型预测的5分类问题的目标类。
本方案使用的两个数据集来自kaggle，脑肿瘤数据集包括233例患者的脑肿瘤MRI图像，其中胶质瘤肿瘤切片926片，937片脑膜瘤肿瘤切片，500片无肿瘤切片，901片垂体肿瘤切片，共3264张图像。MRI数据集分布如表2所示，用于评估膝关节X光的图像来自骨关节炎倡，这是一项针对膝关节骨关节炎的多中心、纵向、前瞻性观察研究，旨在确定OA I发病和进展的生物标志物。有4 796名年龄从45岁到79岁的参与者参加了这个检测。在我们的研究中使用了公开的数据集，膝关节数据集包含9516张X光图像，其中0级图像3857张，1级1770张，2级2578张，3级1286张，4级295张。OAI数据集分布如表3所示。
表2：MRI数据及分布
表3：OAI数据及分布
对抗验证是一个简单但有效的方法，它的本质是构造一个分类模型，来预测样本是训练集或测试集的概率。如果这个模型的分类效果不错(一般AUC在0.7以上)，那么说明训练集和测试集存在较大的差异，如附图6划分前MRI数据集所示。如果auc score接近0.5，则说明训练集和测试集分布一致，如附图7划分前MRI数据集和附图8划分前OAI数据集所示。
我们需要考虑数据分布的差异性，训练数据分布与实际需要预测的数据分布不一致很可能导致模型性能不佳，这通常被称为dataset shift。为了更好地提高模型的泛化能力，我们使用对抗验证，对原始的数据集加以验证。MRI数据集中由于存在严重的datasetshift，如附图6所示，我们考虑重新划分train set和test set。OAI数据集中不存在dataset shift，如附图7所示。对抗验证有以下几个步骤：
Step 1：从训练集和测试集中分离出每一个类别的tumor的index；
Setp 2：准备一个新的label，将train set中的tumor设置为1。test set中的tumor设置为0。然后，将来自训练集和测试集的tumor拼接；
Step 3：将拼接后的数据集shuffle，然后按照train:test＝9:1重新划分每一个类别的tumor；
Step 4:准备一个Random Forest Classifier，参数设置为bootstrap＝True,oob_score＝True,criterion＝'entropy'，进行训练。
Step 5:将训练好的classifier对测试集进行预测，并计算它们的ROC Score。
经表1统计可得：Grade0和Grade1、Grade2三种图像占据了数据集的绝大部分，而Grade3、Grade4这两种图像数量却相当少，数量最多的Grade0占比高达39.4％，而数量最少的Grade4占比只有0.03％。因此，本方案处理的数据是一个典型的不平衡数据集。为保证训练集与验证集中的标签分布的一致性，使用StratifiedKFold方法进行数据集的划分，StratifiedKFold为分层采样交叉切分，确保训练集、测试集中各类别样本的比例与原始数据集中相同。数据集划分如下：(1)1/10holdout set for ensemble.(2)building 5foldscross validation sets using rest of 9/10。表4为OAI数据集10折交叉验证。
表4：OAI数据集10折交叉验证
我们知道，选择一个性能更好的分类器需要使用优秀的评估指标。要理解模型的泛化能力，必须采用客观指标进行评价，这是绩效评价的重要性。在机器学习中，涉及两个以上类的分类任务被称为多类分类。在为多类、单标签分类器选择评估指标时，我们必须非常谨慎。首先，它不同于二进制类指标。其次，必须考虑数据集是单标签还是多标签。在多类中，只有一个标签，而在多标签中，有多个标签。由于OAI是多类的，我们选择了基于多类、单个标签的概念的测量指标。
Accuracy
准确性是多类分类中最流行的指标之一，它反映了对样本得分的正确预测，可以直接从混淆矩阵中计算出来，其计算公式如下：
该模型预测了真正的阳性是阳性的，但它实际上是阳性的。该模型将假阳性预测为阳性，但实际上是阴性的。该计算方法也适用于多类，而且非常简单。为了计算精度只需在混淆矩阵的对角线上添加这些元素，然后除以标签的总数。附图9描述了HQC-CNN混淆矩阵，我们还可以计算出HQC-CNN的准确性。
Macro precision
精确度表明，当模型预测个人的积极结果时，我们可以信任多少。多类算法的宏观精度分两步计算。首先，式(15)用于计算每个类的精度，其中k表示该类。
其次，用式(16)计算每个类的算术平均值，其中K表示类的数量。
Macro recall
宏召回的多类，如宏精度，需要一个两步计算。首先，式(17)用于计算每个类的召回率，其中k表示该类，
其次，用式(18)计算每个类的算术平均值，其中K表示类的数量，
Macro F1 Score
宏F1评分是宏观精度和宏观查全率的调和平均值，同时考虑了分类模型的准确性和查全率。因此，在计算宏f1评分之前，必须首先计算宏精度和宏召回率。因此，在计算宏f1评分之前，必须首先计算宏精度和宏召回率。宏F1分数的计算公式如下：
为了便于观察每一个class，精确地计算两个数据集中class的precision、recall、f1和support，其中suppprt是指原始的真实数据中属于该类的个数。MRI数据集的分类报告如附图9，OAI数据集的分类报告如附图10。
对比试验
第一阶段的实验，需要解释weight initializer、loss function、optimizer。Glorot uniform initializer,also called Xavier uniform initializer，用来初始化卷积核权重,使每一层的方差都尽可能相等,实现网络中的信息更好地流动。我们知道，对于回归模型，常用的损失函数是均方误差函数，而对于预测概率的分类模型，最常用的损失函数是交叉熵。所以，我们统一使用Categorical crossentropy作为loss function。Categorical crossentropy，也称为Softmax损失，是一个Softmax激活加上一个交叉熵损失。优化器选择最为常用的Adam。另外，learning rate的选择，我们根据经验统一设置为0.001。表5为HQC-CNN与其他模型的比较，结果表明我们提出的HQC-CNN优于其他的经典模型。
表5：HQC-CNN与其他模型的比较
分类性能往往由标量值表示，如准确性、灵敏度和特异性等不同指标。混淆矩阵以一种更加直观的、用矩阵的形式来度量模型，还可以展示每一个类别的分类情况，做到更综合地度量。混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用N行N列的矩阵形式来表示，其中N是目标类的数量。我们可以认为混淆矩阵是分类模型为分类任务产生的正确和错误预测数量的汇总表。我们大致通过观察对角线的值来衡量准确分类的数量，以判定模型的准确性。附图11是HQCNN对MRI数据集的预测结果混淆矩阵。
第二阶段的实验针对不同类型膝骨关节炎的五分类问题，所提出的OAI分级的集成框架根据HQCNN的最优超参数进行训练的。我们将从以下几个方面分析量子经典迁移学习对OAI数据集分类的优势。附图12是量子经典迁移前后的train history，附图13是HQCNN模型中连接不同经典模型的train history。
validation accuracy波动：SqueezeNet最为平稳，不过accuracy始终低于39％。EfficientNet虽然相对来说平稳，但准确率一直低于56.38％。Xception在epoch＝4出现波动后存在下降趋势，量子经典迁移学习方法(QC)在epoch＝7时出现波动，以后相对稳定并且存在上升的趋势。ResNet18、NasNetMobile它们的validation set accuracy虽然总体上在上升，但一直存在大幅波动，显然并不稳定。
收敛速度：accuracy曲线能够反应loss function的收敛速度，HQCNN在收敛速度上一骑绝尘，它的迭代次数不到2epoch accuracy就超过了90％。Xception属于第二，在经过4epoch之后才开始快速收敛。
过拟合：SqueezeNet存在严重的过拟合，NasNetMobile在训练集上有很好的精度，但在validation set和test set上相去相去甚远，预测能力不足。
表6：HQCNN中使用不同的经典模型的比较
附图14是HQCNN对OAI数据集的预测结果混淆矩阵，附图15是QC对OAI数据集的预测结果混淆矩阵，其中，每一个方格里百分数表示该类被正确预测的数量占该类的总数的百分比，也就是该类的accuracy，百分数上面的数字就是该类被正确预测的数量。我们可以从这个混淆矩阵的对角线看出，量子经典迁移学习方法对OAI的分类，可以达到100％的准确率。
综上所述，对比实验表明，量子经典迁移学***均准确率指数最好，为96.36％。因此，本方案所提出的方法对于OAI的分类更加可靠。
表7：将所提出的膝骨关节炎方法与现有技术进行比较
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (5)
1.基于量子向经典迁移学习的膝骨关节炎分级方法，其特征在于，包括步骤：
S1、设计混合量子卷积网络结构HQCNN用于MRI图像的多分类，将数据编码为量子态提取信息，使用信息来区分数据的类别，其中，量子卷积网络由量子卷积层和经典卷积层组成，量子卷积层由编码器、随机电路和解码器组成，经典卷积层由经典卷积层、全局池化层和密集层组成；
S2、根据MRI图像和OAI图像的标签情况，及MRI图像分类和OAI分级任务之间的关系，选择量子到经典QC迁移学习方案，将量子经典QC迁移学习分为预训练和微调两个阶段，预训练阶段使用已经训练好的量子神经网络模型来学习量子态演化和量子门操作，微调阶段则将预训练好的模型应用到新的任务中，并在新任务中调整和训练模型；
S3、对图像数据进行降维处理，通过数据编码线路将预处理后的图像数据编码为量子数据，采用混合量子卷积网络结构HQCNN进行图像分类。
2.如权利要求1所述的基于量子向经典迁移学习的膝骨关节炎分级方法，其特征在于，S2中，量子到经典QC迁移学习方案，包括：
A.第一阶段：选取Real Ket这种量子图像格式，将一个图像被分成4个块，每个块从左到右编号，从最上面一行开始，这些块再次被分成4个块，并以相同的方式进行编号，直到得到只有4个像素的最小块；
B.第二阶段：使用预先训练的HQCNN模型作为特征提取器，HQCNN模型的经典层使用xception网络，采用残余学习策略从QCNN的多层学习；
C.第三阶段：在经典层上执行从HQCNN模型中提取的特征维数，进行从512个特征到64个特征的线性变换，将经典卷积层的经典输出特征传递到最终全连接层，创建二维目标输出类预测。
3.如权利要求2所述的基于量子向经典迁移学习的膝骨关节炎分级方法，其特征在于，S1中，量子卷积层对图像进行序列解析，从图像中提取局部信息、特征和模式，量子卷积层由一个量子电路组成，量子电路编码n×n个量子位上的像素数据，其中n表示核大小，在量子位上应用一个随机量子电路，测量以产生一个特征矩阵。
4.如权利要求3所述的基于量子向经典迁移学习的膝骨关节炎分级方法，其特征在于，S1中，在编码器编码过程中，滤波器大小对应的像素数据以量子比特的形式存储，将图像编码到量子电路，将数据点编码到一个量子电路，包括：基态编码、角度编码、振幅编码、IQP编码和哈密顿量演化编码。
5.如权利要求4所述的基于量子向经典迁移学习的膝骨关节炎分级方法，其特征在于，S1中，量子卷积层包括量子核，使用q电路将输入图像分割成包含局部信息的斑块，从图像中检测和提取空间细节和特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310622016.5A CN116664931A (zh) | 2023-05-29 | 2023-05-29 | 基于量子向经典迁移学习的膝骨关节炎分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310622016.5A CN116664931A (zh) | 2023-05-29 | 2023-05-29 | 基于量子向经典迁移学习的膝骨关节炎分级方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664931A true CN116664931A (zh) | 2023-08-29 |
Family
ID=87721863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310622016.5A Pending CN116664931A (zh) | 2023-05-29 | 2023-05-29 | 基于量子向经典迁移学习的膝骨关节炎分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664931A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437494A (zh) * | 2023-12-20 | 2024-01-23 | 量子科技长三角产业创新中心 | 一种图像分类方法、***、电子设备及存储介质 |
| CN117710761A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院深圳先进技术研究院 | 基于量子卷积神经网络的磁共振影像分类方法、装置 |
| CN117710513A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院深圳先进技术研究院 | 基于量子卷积神经网络的磁共振成像方法、装置 |
| CN117710514A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院深圳先进技术研究院 | 动态磁共振成像方法、模型训练方法、装置、设备及介质 |
| CN117974840A (zh) * | 2024-04-01 | 2024-05-03 | 南京信息工程大学 | 基于混合量子深度卷积生成对抗网络的心电图生成*** |
-
2023
- 2023-05-29 CN CN202310622016.5A patent/CN116664931A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437494A (zh) * | 2023-12-20 | 2024-01-23 | 量子科技长三角产业创新中心 | 一种图像分类方法、***、电子设备及存储介质 |
| CN117437494B (zh) * | 2023-12-20 | 2024-04-16 | 量子科技长三角产业创新中心 | 一种图像分类方法、***、电子设备及存储介质 |
| CN117710761A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院深圳先进技术研究院 | 基于量子卷积神经网络的磁共振影像分类方法、装置 |
| CN117710513A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院深圳先进技术研究院 | 基于量子卷积神经网络的磁共振成像方法、装置 |
| CN117710514A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院深圳先进技术研究院 | 动态磁共振成像方法、模型训练方法、装置、设备及介质 |
| CN117710514B (zh) * | 2024-02-06 | 2024-06-11 | 中国科学院深圳先进技术研究院 | 动态磁共振成像方法、模型训练方法、装置、设备及介质 |
| CN117710513B (zh) * | 2024-02-06 | 2024-06-11 | 中国科学院深圳先进技术研究院 | 基于量子卷积神经网络的磁共振成像方法、装置 |
| CN117710761B (zh) * | 2024-02-06 | 2024-07-19 | 中国科学院深圳先进技术研究院 | 基于量子卷积神经网络的磁共振影像分类方法、装置 |
| CN117974840A (zh) * | 2024-04-01 | 2024-05-03 | 南京信息工程大学 | 基于混合量子深度卷积生成对抗网络的心电图生成*** |
| CN117974840B (zh) * | 2024-04-01 | 2024-06-11 | 南京信息工程大学 | 基于混合量子深度卷积生成对抗网络的心电图生成*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Saxena et al. | Machine learning methods for computer-aided breast cancer diagnosis using histopathology: a narrative review | |
| CN116664931A (zh) | 基于量子向经典迁移学习的膝骨关节炎分级方法 | |
| Anitha et al. | Brain tumour classification using two‐tier classifier with adaptive segmentation technique | |
| Patel et al. | EfficientNetB0 for brain stroke classification on computed tomography scan | |
| Bashir-Gonbadi et al. | Brain tumor classification using deep convolutional autoencoder-based neural network: Multi-task approach | |
| Saravanakumar et al. | A computer aided diagnosis system for identifying Alzheimer’s from MRI scan using improved Adaboost | |
| CN116884623B (zh) | 基于激光扫描成像的医疗康复预测*** | |
| Wang et al. | A ResNet‐based approach for accurate radiographic diagnosis of knee osteoarthritis | |
| CN112633416A (zh) | 一种融合多尺度超像素的脑ct图像分类方法 | |
| Tang et al. | Brain tumor detection from mri images based on resnet18 | |
| CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割***及方法 | |
| Rele et al. | Machine Learning based Brain Tumor Detection using Transfer Learning | |
| Lin et al. | A fusion-based convolutional fuzzy neural network for lung cancer classification | |
| Mikhaylichenko et al. | Automatic grading of knee osteoarthritis from plain radiographs using densely connected convolutional networks | |
| Zahoor et al. | Brain tumor MRI Classification using a Novel Deep Residual and Regional CNN | |
| Remzan et al. | Advancing brain tumor classification accuracy through deep learning: harnessing radimagenet pre-trained convolutional neural networks, ensemble learning, and machine learning classifiers on MRI brain images | |
| Folorunso et al. | EfficientNets transfer learning strategies for histopathological breast cancer image analysis | |
| Perkonigg et al. | Detecting bone lesions in multiple myeloma patients using transfer learning | |
| Sünkel et al. | Hybrid quantum machine learning assisted classification of COVID-19 from computed tomography scans | |
| Singh et al. | Detection of Brain Tumors Through the Application of Deep Learning and Machine Learning Models | |
| Dong et al. | Classification of knee osteoarthritis based on quantum-to-classical transfer learning | |
| Alosaimi et al. | Efficient data augmentation techniques for improved classification in limited data set of Oral squamous cell carcinoma | |
| Vijayadeep et al. | A hybrid feature extraction based optimized random forest learning model for brain stroke prediction | |
| Arman et al. | Intracranial hemorrhage classification from ct scan using deep learning and bayesian optimization | |
| Arefin et al. | Deep learning approach for detecting and localizing brain tumor from magnetic resonance imaging images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |