CN113496481A - 一种少样本胸部X-Ray图像的辅助检测方法 - Google Patents
一种少样本胸部X-Ray图像的辅助检测方法 Download PDFInfo
- Publication number
- CN113496481A CN113496481A CN202110550635.9A CN202110550635A CN113496481A CN 113496481 A CN113496481 A CN 113496481A CN 202110550635 A CN202110550635 A CN 202110550635A CN 113496481 A CN113496481 A CN 113496481A
- Authority
- CN
- China
- Prior art keywords
- quantum
- model
- image
- network model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000013526 transfer learning Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 238000012795 verification Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000003745 diagnosis Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 19
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 239000002096 quantum dot Substances 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005610 quantum mechanics Effects 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种少样本胸部X‑Ray图像的辅助检测方法。该方法包括：采集胸部的CXR图像，通过自适应的X‑Ray图像降噪模块对所述CXR图像进行图像预处理，利用预处理后的X‑Ray图像组成训练集和验证集；构造基于迁移学习的量子卷积神经网络，利用训练集和验证集对基于迁移学习的量子卷积神经网络和分类网络模型进行迭代优化处理，将迭代优化处理后的分类网络模型与量子卷积神经网络进行融合，得到辅助检测网络模型；利用辅助检测网络模型对待诊断的胸部的CXR图像进行诊断，输出待诊断的胸部的CXR图像的诊断结果。本发明通过融合基于迁移学习的分类网络模型与量子卷积神经网络得到辅助检测网络模型，结合了不同模型的优势，对检测准确率大大提升。
Description
技术领域
本发明涉及X-Ray图像处理技术领域，尤其涉及一种少样本胸部X-Ray图 像的辅助检测方法。
背景技术
X射线(X-Ray)是一种波长极短、能量很大的电磁波。X射线具有穿透 性，但人体组织间有密度和厚度的差异，当X射线透过人体不同组织时，被吸 收的程度不同，经过显像处理后即可得到不同的影像。CXR(chest X-Ray) 为一种胸部X射线。
深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类 似，核心目标是从众多信息中选择出对当前任务目标更关键的信息。迁移学 习是一种机器学习方法，指的是一个预训练的模型被重新用在另一个任务 中。
量子计算是一种遵循量子力学规律调控量子信息单元进行计算的新型计 算模式，量子神经网络：是基于量子力学原理的神经网络模型。
模型融合是综合考虑不同模型的情况，通过不同的融合方式融合多个不 同模型的结果，可以从模型结果、模型本身以及样本集等出发来考虑。
由于不同的组织和器官密度以及厚度的不同，X射线穿过人体被吸收的程 度也不同，经过显像处理得到的不同的影像即为X光片(X-Ray)，它在当今 时代的医学诊断中发挥着非常重要的作用，由于不发达的地区可能没有足够 的CT扫描仪，同时拍摄X光片费用低廉，让偏远地区以及不大富裕的家庭都能 享受到先进的医疗条件，因而X-Ray图像成为放射科医生检测胸部病理的首 选。
在医学图像研究领域中，针对病毒性大流行的局面，想要照顾到更多的 人员，CXR的检测方式成为放射科医生的首选，同时兼顾费用、时效性与安全 性。为了进一步提高医务人员的效率和诊断精度，提升医疗服务质量以及节 省医疗专业人员的宝贵时间，如何开发一种快速的CXR图像辅助诊断检测*** 是一个亟待解决的问题。
随着机器学习和深度学习技术的迅猛发展，已经在各个领域都实现了非 常好的应用，在医学图像方面，也已经取得了重大的突破，同时也将很多深 度学习模型应用其中，这极大地促进了相关任务的研究工作。
由于医学图像复杂、非结构化数据占比大、专业性强等特殊性，对医疗 数据的标注需要熟悉诊疗过程的医学专业人员的指导，使得标注任务繁重且 周期较长，往往难以获得与其他领域相一致的数据样本。少样本CXR辅助检测 ***，解决数据不足直接训练容易导致过拟合问题的同时，也能大大提高模 型的训练速度。
目前，现有技术中的少样本CXR图像的辅助诊断方法主要包括三个方向： 第一个方向是通过数据生成技术扩大数据集，从而完成神经网络的训练，这 类方法存在的问题是生成的图像并不一定能很好反映出病理特征，缺失了医 学图像的严谨性；第二个方向是通过迁移学习的方式，对ImageNet数据集上 已有的知识迁移到医学领域当中，有利于实现对少样本数据集的训练，也是 目前很多研究学者愿意考虑的研究方向；第三个方向是构建全新的网络模 型，需要考虑到数据集样本的大小，为了避免模型的过拟合，设计深度与广 度更加合理的神经网络模型，从而实现目标任务的诊断。结合近几年飞速发 展的深度学习技术，以及越来越多的优秀学术人跨入了计算机视觉领域的大 门，还会有更多的方向进一步提高少样本CXR辅助诊断***的性能。
上述现有技术中的少样本CXR图像的辅助诊断方法的缺点为：
1.该方法是直接将CXR图像输入到网络结构中，部分X-Ray图像上有独特 标签(例如L/R位置标签等)，这可能会引起模型的注意，从而将无关的噪声 特征学习到了，进而影响分类结果。
2.该方法是对基本神经网络模型分类结果的比较，进而选出较优模型， 分类的准确性有待提高。
3.该方法是提出一个全新的网络模型，进而对少样本CXR图像进行训 练，从而得到分类结果，而网络模型不一定表现得更优。
发明内容
本发明的实施例提供了一种少样本胸部X-Ray图像的辅助检测方法，以实 现对胸部的X-Ray图像进行有效地诊断检测。
为了实现上述目的，本发明采取了如下技术方案。
一种少样本胸部X-Ray图像的辅助检测方法，包括：
采集胸部的CXR图像，通过自适应的X-Ray图像降噪模块对所述CXR图像进 行图像预处理，利用预处理后的X-Ray图像组成训练集和验证集；
构造基于迁移学习的量子卷积神经网络，利用所述训练集和验证集对基 于迁移学习的量子卷积神经网络和分类网络模型进行迭代优化处理，将迭代 优化处理后的分类网络模型与量子卷积神经网络进行融合，得到辅助检测网 络模型；
利用所述辅助检测网络模型对待诊断的胸部的CXR图像进行诊断，输出所 述待诊断的胸部的CXR图像的诊断结果。
优选地，所述的采集胸部的CXR图像，通过自适应的X-Ray图像降噪模块 对所述CXR图像进行图像预处理，利用预处理后的X-Ray图像组成训练集和验 证集，包括：
采集胸部的CXR图像，通过自适应的X-Ray图像降噪模块提取所述X-Ray图 像中的噪声信息，对所述噪声信息进行膨胀操作，利用膨胀图像对胸部X-Ray 图像进行修复，去掉胸部X-Ray图像中影响分类特征的无用信息，得到修复后 的X-Ray图像，针对修复后的X-Ray图像，使用翻转、左右旋转和左右平移数 据增强方法扩充X-Ray图像数据集，将X-Ray图像数据集划分为训练集、验证 集和测试集。
优选地，所述的构造基于迁移学习的量子卷积神经网络，包括：
由N个量子卷积层组成量子卷积块，所述量子卷积层由编码模块、随机量 子电路模块和解码模块组成，通过迁移学习对神经网络特征进行提取，得到 基于迁移学习的量子卷积神经网络，将基于迁移学习的量子卷积神经网络与 量子卷积块相结合得到基于迁移学习的量子卷积神经网络，所述基于迁移学 习的量子卷积神经网络包括分类网络的特征提取部分和量子卷积模块的分类 器。
优选地，所述的利用所述训练集和验证集对基于迁移学习的分类网络模 型进行迭代优化处理，包括：
步骤4-1：加载所述训练集中的X-Ray图像，利用所述训练集中的X-Ray图 像预训练多个分类网络模型，所述分类网络模型包括resnet模型、densenet 模型、alexnet模型和vgg模型；
步骤4-2：基于损失进行反向传播，使用交叉熵损失函数自动计算模型中 参数的梯度值；
步骤4-3：利用所述模型中参数的梯度值，使用SGD随机梯度下降优化器 对模型算法的可学习参数值进行更新操作，对SGD优化器做出改进，将特征提 取部分与分类器部分分别设置不同的参数：LR＝0.001，卷积层lr＝LR*0.1，分 类层lr＝LR；
步骤4-4：在模型达到超参数设定的轮数之前重复上述所有执行步骤。其 中，epoch设定为30，batch size设定为16；
步骤4-5：使用验证集验证模型性能，进一步优化参数从而重复上面步 骤，在达到设定的验证轮数后停止模型的训练过程，得到迭代优化处理后的 基于迁移学习的分类网络模型。
优选地，所述的利用所述训练集和验证集对基于迁移学习的量子卷积神 经网络进行迭代优化处理，包括：
步骤5-1：加载所述训练集中的X-Ray图像，利用所述训练集中的X-Ray图 像预训练多个分类网络模型，所述分类网络模型包括resnet模型、densenet 模型、alexnet模型和vgg模型；
步骤5-2：通过基于迁移学习的模型实现特征提取模块；
步骤5-3：对量子卷积神经网络中的参数进行初始化设置，设置量子比特 数为9，量子电路深度为3，量子初始权重为0.001。对每个量子电路的每个量 子比特都生成一个可学习的随机初始权值，即生成27个可学习的随机初始权 值；
步骤5-4：获取量子电路的输入特性ux，输入特性ux为输入到量子电路的 特征数，获取特征提取部分最终通道数，并将特征维数从特征提取最终通道 数减少到量子比特数，即减少到9维特征；
步骤5-5：对每个比特位进行Hadamard门编码，实现对经典数据的编码， 得到量子态信息；
步骤5-6：通过Y旋转门在量子节点中嵌入每个维数的特征，进而对每个 量子电路层的每个量子位都进行两个受控非门CNOT门操作，分别对奇数下标 循环以及对偶数下标循环，在每个量子电路层操作结束后，进行一个X旋转门 操作，一个Y旋转门操作；
步骤5-7：对每个量子位通过Pauli-Z门进行解码并求得期望值；
步骤5-8：将上步构建好的量子电路应用到批处理的每个输入数据，从而 得到非量子态的经典输出数据；
步骤5-9：将输出数据通过分类器得到分类结果；
步骤5-10：基于损失进行反向传播，自动计算量子卷积神经网络模型中 参数的梯度值；
步骤5-11：利用前面步骤中计算的梯度值，使用优化器对量子卷积神经 网络模型算法的可学习参数值进行更新操作；
步骤5-12：在量子卷积神经网络模型达到超参数设定的轮数之前重复上 述所有执行步骤；
步骤5-13：使用验证集验证分类网络模型性能，重复上面步骤进一步优 化参数，在达到设定的验证轮数后停止量子卷积神经网络的迭代优化训练过 程。
优选地，所述的将迭代优化处理后的分类网络模型与量子卷积神经网络 进行融合，得到辅助检测网络模型，包括：
将迭代优化处理后的多个基于迁移学习的分类网络模型与多个基于迁移 学习的量子卷积神经网络进行融合；
以投票的机制选择得票较多的分类网络模型与量子卷积神经网络网络的 融合类别作为辅助检测网络模型；
读取测试集的CXR图像，作为辅助检测网络模型的输入，加载至GPU显 存；
辅助检测网络模型对输入的CXR图像进行预处理操作，输出CXR图像的诊 断结果，采用混淆矩阵作为评价指标，进行辅助检测网络模型优劣的评价， 若评价结果未达到要求，则调整辅助检测网络模型的超参数，重新进行辅助 检测网络模型的训练环节；若评估结果达到要求，则保存辅助检测网络模型 的权重，得到最终的用于少样本CXR图像辅助检测的辅助检测网络模型。
由上述本发明的实施例提供的技术方案可以看出，本发明通过融合基于 迁移学习的分类网络模型与量子卷积神经网络得到辅助检测网络模型，结合 了不同模型的优势，对检测准确率大大提升。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的 描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前 提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种少样本胸部X-Ray图像的辅助检测方法的 处理流程图；
图2为本发明实施例提供的一种量子卷积块的示意图；
图3为本发明实施例提供的一种基于迁移学习的量子卷积神经网络的示意 图；
图4为本发明实施例提供的一种模型融合过程的示意图；
图5为本发明实施例提供的一种基于迁移学习的量子神经网络模型与模型 融合的少样本X-Ray图像检测方法的实现原理图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出， 其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功 能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发 明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式 “一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解 的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步 骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、 整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被 “连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或 者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无 线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项 的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一 般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该 被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一 样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例 做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明实施例在于更好更快的完成少样本胸部X-Ray图像肺炎检测的问 题，设计了一个辅助诊断***——基于少样本迁移学习的量子神经网络模型 与模型融合的X-Ray图像检测***，该算法首先依赖迁移学习，通过加载 ImageNet数据集上的预训练模型，对其参数与特征的知识进行迁移，从而在 多个经典分类模型上对数据集的训练集进行训练，并通过验证集对模型进行 微调，进而得到测试集的结果。与此同时，在基于迁移学习的多个经典分类 模型中加入量子卷积层，实现基于迁移学习的量子卷积神经网络。最后，上 述两部分分别得到的多组模型进行融合，选取较优模型，并对结果做投票处 理，从而得到融合标签，最终输出检测的结果，从而作为医学中辅助诊断的 依据。
在使用当前技术发明之前，需要技术人员进行相关环境的配置工作，其 中包括安装Python 3.8.3的开发环境、PyTorch1.5.1的深度框架，因为本发 明所使用的算法为基于深度学习的模型算法，推荐在GPU环境中进行模型的训 练过程，需要安装GPU版本的Pytorch1.5.1以及对应版本的CUDA11.2并行计算 架构，也可以安装比以上版本更新的对应版本。
本发明实施例提供的一种少样本胸部X-Ray图像辅助检测方法的处理流程 如图1所示，首先输入训练集的CXR图像，通过图像预处理，包括图像的标准 化、图像的裁剪变换等，之后将数据通过去噪模块，去掉CXR特有的文字信 息，得到去噪后的图像，之后对图像进行旋转、翻转等增强处理。然后，将 CXR图像输入到不同的网络模块中进行前向传播，使用损失进行反向传播，更 新各个分类网络模型的权重，重复这个过程直至达到设定的迭代轮数。之后 用验证集检测分类网络模型的性能，对分类网络模型进行微调，逐步优化模 型参数。最后是测试阶段，输入测试集的数据，使其通过训练好的各个网络 模块，再将网络模型进行融合，之后计算评估指标，进行模型性能的判定， 若不满足预期要求，则重新回到训练环节，进一步调整并加以训练，若已经 达到预期的性能，则保存融合的模型，得到最终的辅助检测网络模型。
本发明实施例提出了一种新的模型算法——基于少样本迁移学习的量子 神经网络模型与模型融合的X-Ray图像检测***，其中和上面的基本流程及现 有的技术方案相比，主要有三点创新：第一点是在输入端设计了一种自适应 的X-Ray图像降噪模块，用以去掉X-Ray图像特有的无用文字信息即噪声；第 二点是在基于迁移学习的经典分类模型基础之上，增加了量子卷积层，构建 了基于迁移学习的量子卷积神经网络模型，第三点是使用了模型融合对多个 网络得到的测试结果以投票的方式融合得到最终的融合标签。下面针对本发 明所设计和使用的模块进行具体的讲解：
1.自适应的X-Ray图像降噪模块
在这个模块中，设计了针对L、R等特有文字噪声的降噪方法。由于它们 会吸引模型的注意，导致网络更多的学习到这些与研究目的无关的特征，从 而影响网络的判断，去掉这些噪声有利于网络更好的学习到主要特征，来实 现分类精度的提高成为了必要。
自适应的X-Ray图像降噪模块是一个端到端的结构，输入为数据样本图 像，输出为降噪后的数据样本图像。该模块通过自动判断噪声位置来达到自 适应，从而提取初始X-Ray图像中这些想要去掉的噪声信息，对该噪声信息进 行膨胀操作，利用膨胀图像对原始X-Ray图像进行修复，以这种方式来去掉X- Ray图像中可能影响分类特征的无用信息。首先标记出这些尤为突出的噪声点 为像素255，其他正常特征为像素0，并将这些255像素值的噪声点做膨胀操 作，即将周围临近像素点由0置为1，通过膨胀数据对原始图像进行修复，即 将膨胀后的255像素值的位置用原始图像中临近位置代替，平滑过渡的同时也 达到了降噪目的。由于医学图像的这些特殊的信息位置不会遮挡关键部位， 因此我们可以这样操作，不会影响到最终检测结果。
2.基于迁移学习的量子卷积神经网络模块
在这个模块中，设计了量子卷积层和量子卷积神经网络，并将量子卷积 神经网络与迁移学习相结合。量子卷积层由三部分构成：编码模块、随机量 子电路模块和解码模块。图2为本发明实施例提供的一种量子卷积块的示意 图，量子卷积块是一组由N个量子卷积层组成的模块，而量子卷积神经网络将 经典神经网络与量子卷积块相结合。量子卷积块由一组包括三部分的量子卷 积层构成，该量子卷积块可以在经典神经网络的任意两个模块中加入或者替 换其中某个模块，从而实现任务的研究。
图3为本发明实施例提供的一种基于迁移学习的量子卷积神经网络的示意 图。基于迁移学习的量子卷积神经网络是通过迁移学习对神经网络特征进行 提取，进而在分类部分引入量子卷积模块，如图3所示，设置9个量子比特 位，3个量子卷积层。
3.模型融合模块
由于不同的分类网络模型有时会对不同类别的检测有所倾向，而网络模 型融合便能综合不同模型的优势，来进一步提高模型准确率。图4为本发明实 施例提供的一种模型融合过程的示意图。通过将多个基于迁移学习的经典分 类网络模型与多个基于迁移学习的量子卷积神经网络模型进行融合，具体融 合过程为：首先加载ImageNet数据集上多个分类网络模型，通过训练集训练 出完整分类网络模型，进而用测试集测试分类网络模型，并将每个分类网络 模型的测试结果进行保存。例如三组分类网络模型M1、M2、M3，则得到三组结 果R1、R2、R3。其次加载ImageNet数据集上多个量子卷积神经网络模型，其中 在特征提取部分通过迁移预训练参数与特征的知识，全连接层连接量子卷积 模块，来实现量子卷积神经网络模型，通过训练集训练出完整量子卷积神经 网络模型，进而用测试集测试量子卷积神经网络模型，并将每个量子卷积神 经网络的测试结果进行保存。例如三组量子卷积神经网络Q1、Q2、Q3，则得到 三组结果P1、P2、P3。通过所有结果，选择表现力较好的分类网络模型和量子 卷积神经网络模型，以融合这些模型结果的方法实现模型融合，采取投票的 方式，少数服从多数，统计投票结果，得票数最高的结果即为模型融合的最 终结果。
本发明实施例提供的一种基于迁移学习的量子神经网络模型与网络模型 融合的少样本X-Ray图像检测方法的实现原理如图5所示，
本发明实施例的实现主要包含下面这样几个阶段，分别是输入CXR图像降 噪、增强、预处理阶段、基于迁移学习的模型迭代优化阶段、基于迁移学习 的量子神经网络模型迭代优化阶段、模型融合阶段和模型测试评估阶段。下 面对各个阶段的具体操作进行详细的阐述。
算法的输入：
1.胸部X-Ray图像数据：包括训练集、验证集和测试集；
2.模型算法超参数：包括图像的裁剪尺寸，增强方式、训练中的批量大 小、迭代轮数、学习率、量子比特数、量子电路的深度以及量子权重等。
算法的输出：
得到训练好的达到性能评估标准的融合模型，利用融合模型对待诊断的 CXR图像做出诊断。
执行步骤：
一：输入CXR图像标准化阶段
步骤1-1：获取CXR图像训练集数据，加载到GPU(graphics processing unit，图形处理器)显存中；
步骤1-2：对图像做标准化操作，将图像的像素数值范围缩放到0到1之 间，并根据设置的大小进行裁剪。
二、图像降噪阶段
步骤2-1：对上一步标准化的图像进行特有文字提取，得到文字图片；
步骤2-2：对提取出的文字图片进行核大小为3×3的膨胀操作；
步骤2-3：对标准化的图像进行修复。
三、图像增强阶段
针对修复后的图像，使用翻转、左右旋转和左右平移数据增强方法扩充 图像数据集。
四、基于迁移学习的模型迭代优化阶段
步骤4-1：加载Imagenet数据集预训练resnet模型、densenet模型、 alexnet模型以及vgg模型等经典分类模型。
步骤4-2：基于损失进行反向传播，使用交叉熵损失函数自动计算模型中 参数的梯度值；
步骤4-3：利用前面步骤中计算的模型中参数的梯度值，使用SGD (stochasticgradient descent，随机梯度下降)优化器对模型算法的可学 习参数值进行更新操作。并在此基础上对SGD优化器做出改进，将特征提取部 分与分类器部分分别设置不同的参数：LR＝0.001，卷积层lr＝LR*0.1，分类层 lr＝LR；
步骤4-4：在模型达到超参数设定的轮数之前重复上述所有执行步骤。其 中，epoch设定为30，batch size设定为16。
步骤4-5：使用验证集验证模型性能，进一步优化参数从而重复上面步 骤，在达到设定的验证轮数后停止模型的训练过程，得到基于迁移学习的模 型。
五、基于迁移学习的量子神经网络模型迭代优化阶段
步骤5-1：量子神经网络模型由经典分类网络的特征提取部分和量子卷积 模块的分类器部分构成。该步骤是先加载预训练分类网络模型的特征提取部 分，属于量子神经网络模型的一部分。加载Imagenet数据集预训练resnet模 型、densenet模型、alexnet模型以及vgg模型等经典分类模型。
步骤5-2：通过上述基于迁移学习的模型实现特征提取模块。
步骤5-3：对量子卷积神经网络中的参数进行初始化设置。设置量子比特 数为9，量子电路深度为3，量子初始权重为0.001。对每个量子电路的每个量 子比特都生成一个可学习的随机初始权值，即生成27个可学习的随机初始权 值。
步骤5-4：获取量子电路的输入特性ux，对输入特性ux为输入到量子电路 的特征数，也就是设置的量子比特书，这里获取到的量子电路的输入特性为 9。其次，获取特征提取部分最终通道数，并将特征维数从特征提取最终通道 数减少到量子比特数，即减少到9维特征。
步骤5-5：对每个比特位进行Hadamard门编码，实现对经典数据的编码， 得到量子态信息。
步骤5-6：通过Y旋转门在量子节点中嵌入每个维数的特征，进而对每个 量子电路层的每个量子位都进行两个CNOT(Control-NOT gate，受控非门) 门操作，分别对奇数下标循环以及对偶数下标循环，在每个量子电路层操作 结束后，进行一个X旋转门操作，一个Y旋转门操作。
步骤5-7：对每个量子位通过Pauli-Z门进行解码并求得期望值。
步骤5-8：将上步构建好的量子电路应用到批处理的每个输入数据，从而 得到非量子态的经典输出数据。
步骤5-9：将输出数据通过分类器得到结果。
步骤5-10：基于损失进行反向传播，自动计算量子卷积神经网络模型中 参数的梯度值；
步骤5-11：利用前面步骤中计算的梯度，使用优化器对量子卷积神经网 络模型算法的可学习参数值进行更新操作；
步骤5-12：在量子卷积神经网络模型达到超参数设定的轮数之前重复上 述所有执行步骤。
步骤5-13：使用验证集验证模型性能，重复上面步骤进一步优化参数， 在达到设定的验证轮数后停止量子卷积神经网络模型的迭代优化训练过程。
六、模型融合阶段
步骤6-1：将迭代优化处理后的多个基于迁移学习的分类网络模型与多个 基于迁移学习的量子卷积神经网络进行融合；
步骤6-2：以投票的机制选择较多的网络模型与量子卷积神经网络网络的 融合类别作为最终的辅助检测网络模型。
七、模型测试评估阶段
步骤7-1：读取测试集的CXR图像，作为辅助检测网络模型的输入，加载 至GPU显存。
步骤7-2：进行与训练环节相同的标准化操作。
步骤7-3：辅助检测网络模型输出上述CXR图像的诊断结果。采用混淆矩 阵作为评价指标，初步进行辅助检测网络模型优劣的评价。
步骤7-4：由于上述得到的结果并不能完全代表该辅助检测网络模型的检 测效果，在实际使用中，只是作为辅助诊断***协助医生进一步给出更为专 业的结果。
步骤7-5：若评估结果未达到要求，比如想要模型达到95％的准确率。则 需要调整模型的超参数，回到执行步骤的第一步，重新进行辅助检测网络模 型的训练环节，若评估结果达到要求，则可以保存模型权重，得到最终的辅 助检测网络模型，作为少样本CXR图像辅助检测的解决方案。
之后，就可以利用最终的辅助检测网络模型对待诊断的CXR图像进行诊 断，输出待诊断的CXR图像的诊断结果。
综上所述，本发明实施例通过由于不同模型的表现力不同，针对同一张 图像样本，有的模型能正确分类，有的模型则得到错误的结果，从整体结构 来说，本发明的辅助检测网络模型通过融合基于迁移学习的分类网络模型与 量子卷积神经网络，结合了不同模型的优势，对检测准确率大大提升。
本发明实施例的辅助检测网络模型引入了量子神经网络，借助量子计算 的高并行性或干扰和纠缠效应之类的资源，改进神经网络的结构和性能，有 效地减少了训练时间，大大加快了网络的诊断效率。
本发明实施例通过设计的自适应的X-Ray图像去噪模块，能够降低输入端 对无用信息即噪声点的注意力，从而进一步提高辅助检测任务的准确率。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中 的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到 本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解， 本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品 的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁 碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所 述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同 相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同 之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例， 所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描 述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元 可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可 以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案 的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并 实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可 轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明 的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种少样本胸部X-Ray图像的辅助检测方法，其特征在于，包括：
采集胸部的CXR图像，通过自适应的X-Ray图像降噪模块对所述CXR图像进行图像预处理，利用预处理后的X-Ray图像组成训练集和验证集；
构造基于迁移学习的量子卷积神经网络，利用所述训练集和验证集对基于迁移学习的量子卷积神经网络和分类网络模型进行迭代优化处理，将迭代优化处理后的分类网络模型与量子卷积神经网络进行融合，得到辅助检测网络模型；
利用所述辅助检测网络模型对待诊断的胸部的CXR图像进行诊断，输出所述待诊断的胸部的CXR图像的诊断结果。
2.根据权利要求1所述的方法，其特征在于，所述的采集胸部的CXR图像，通过自适应的X-Ray图像降噪模块对所述CXR图像进行图像预处理，利用预处理后的X-Ray图像组成训练集和验证集，包括：
采集胸部的CXR图像，通过自适应的X-Ray图像降噪模块提取所述X-Ray图像中的噪声信息，对所述噪声信息进行膨胀操作，利用膨胀图像对胸部X-Ray图像进行修复，去掉胸部X-Ray图像中影响分类特征的无用信息，得到修复后的X-Ray图像，针对修复后的X-Ray图像，使用翻转、左右旋转和左右平移数据增强方法扩充X-Ray图像数据集，将X-Ray图像数据集划分为训练集、验证集和测试集。
3.根据权利要求1所述的方法，其特征在于，所述的构造基于迁移学习的量子卷积神经网络，包括：
由N个量子卷积层组成量子卷积块，所述量子卷积层由编码模块、随机量子电路模块和解码模块组成，通过迁移学习对神经网络特征进行提取，得到基于迁移学习的量子卷积神经网络，将基于迁移学习的量子卷积神经网络与量子卷积块相结合得到基于迁移学习的量子卷积神经网络，所述基于迁移学习的量子卷积神经网络包括分类网络的特征提取部分和量子卷积模块的分类器。
4.根据权利要求1所述的方法，其特征在于，所述的利用所述训练集和验证集对基于迁移学习的分类网络模型进行迭代优化处理，包括：
步骤4-1：加载所述训练集中的X-Ray图像，利用所述训练集中的X-Ray图像预训练多个分类网络模型，所述分类网络模型包括resnet模型、densenet模型、alexnet模型和vgg模型；
步骤4-2：基于损失进行反向传播，使用交叉熵损失函数自动计算模型中参数的梯度值；
步骤4-3：利用所述模型中参数的梯度值，使用SGD随机梯度下降优化器对模型算法的可学习参数值进行更新操作，对SGD优化器做出改进，将特征提取部分与分类器部分分别设置不同的参数：LR＝0.001，卷积层lr＝LR*0.1，分类层lr＝LR；
步骤4-4：在模型达到超参数设定的轮数之前重复上述所有执行步骤。其中，epoch设定为30，batch size设定为16；
步骤4-5：使用验证集验证模型性能，进一步优化参数从而重复上面步骤，在达到设定的验证轮数后停止模型的训练过程，得到迭代优化处理后的基于迁移学习的分类网络模型。
5.根据权利要求4所述的方法，其特征在于，所述的利用所述训练集和验证集对基于迁移学习的量子卷积神经网络进行迭代优化处理，包括：
步骤5-1：加载所述训练集中的X-Ray图像，利用所述训练集中的X-Ray图像预训练多个分类网络模型，所述分类网络模型包括resnet模型、densenet模型、alexnet模型和vgg模型；
步骤5-2：通过基于迁移学习的模型实现特征提取模块；
步骤5-3：对量子卷积神经网络中的参数进行初始化设置，设置量子比特数为9，量子电路深度为3，量子初始权重为0.001。对每个量子电路的每个量子比特都生成一个可学习的随机初始权值，即生成27个可学习的随机初始权值；
步骤5-4：获取量子电路的输入特性ux，输入特性ux为输入到量子电路的特征数，获取特征提取部分最终通道数，并将特征维数从特征提取最终通道数减少到量子比特数，即减少到9维特征；
步骤5-5：对每个比特位进行Hadamard门编码，实现对经典数据的编码，得到量子态信息；
步骤5-6：通过Y旋转门在量子节点中嵌入每个维数的特征，进而对每个量子电路层的每个量子位都进行两个受控非门CNOT门操作，分别对奇数下标循环以及对偶数下标循环，在每个量子电路层操作结束后，进行一个X旋转门操作，一个Y旋转门操作；
步骤5-7：对每个量子位通过Pauli-Z门进行解码并求得期望值；
步骤5-8：将上步构建好的量子电路应用到批处理的每个输入数据，从而得到非量子态的经典输出数据；
步骤5-9：将输出数据通过分类器得到分类结果；
步骤5-10：基于损失进行反向传播，自动计算量子卷积神经网络模型中参数的梯度值；
步骤5-11：利用前面步骤中计算的梯度值，使用优化器对量子卷积神经网络模型算法的可学习参数值进行更新操作；
步骤5-12：在量子卷积神经网络模型达到超参数设定的轮数之前重复上述所有执行步骤；
步骤5-13：使用验证集验证分类网络模型性能，重复上面步骤进一步优化参数，在达到设定的验证轮数后停止量子卷积神经网络的迭代优化训练过程。
6.根据权利要求5所述的方法，其特征在于，所述的将迭代优化处理后的分类网络模型与量子卷积神经网络进行融合，得到辅助检测网络模型，包括：
将迭代优化处理后的多个基于迁移学习的分类网络模型与多个基于迁移学习的量子卷积神经网络进行融合；
以投票的机制选择得票较多的分类网络模型与量子卷积神经网络网络的融合类别作为辅助检测网络模型；
读取测试集的CXR图像，作为辅助检测网络模型的输入，加载至GPU显存；
辅助检测网络模型对输入的CXR图像进行预处理操作，输出CXR图像的诊断结果，采用混淆矩阵作为评价指标，进行辅助检测网络模型优劣的评价，若评价结果未达到要求，则调整辅助检测网络模型的超参数，重新进行辅助检测网络模型的训练环节；若评估结果达到要求，则保存辅助检测网络模型的权重，得到最终的用于少样本CXR图像辅助检测的辅助检测网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550635.9A CN113496481B (zh) | 2021-05-20 | 2021-05-20 | 一种少样本胸部X-Ray图像的辅助检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550635.9A CN113496481B (zh) | 2021-05-20 | 2021-05-20 | 一种少样本胸部X-Ray图像的辅助检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113496481A true CN113496481A (zh) | 2021-10-12 |
| CN113496481B CN113496481B (zh) | 2023-11-07 |
Family
ID=77997873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110550635.9A Active CN113496481B (zh) | 2021-05-20 | 2021-05-20 | 一种少样本胸部X-Ray图像的辅助检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496481B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372584A (zh) * | 2022-03-22 | 2022-04-19 | 合肥本源量子计算科技有限责任公司 | 基于机器学习框架的迁移学习方法及相关装置 |
| CN114511094A (zh) * | 2022-01-27 | 2022-05-17 | 合肥本源量子计算科技有限责任公司 | 一种量子算法的优化方法、装置、存储介质与电子装置 |
| CN115712065A (zh) * | 2023-01-05 | 2023-02-24 | 湖南大学 | 时频旋转门与卷积核感知匹配的电机故障诊断方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017158058A1 (en) * | 2016-03-15 | 2017-09-21 | Imra Europe Sas | Method for classification of unique/rare cases by reinforcement learning in neural networks |
| CN107564580A (zh) * | 2017-09-11 | 2018-01-09 | 合肥工业大学 | 基于集成学习的胃镜图像辅助处理***及方法 |
| ES2799828A1 (es) * | 2019-06-17 | 2020-12-21 | Quibim S L | Metodo y sistema para identificar anomalias en radiografias |
| US20210089955A1 (en) * | 2019-09-24 | 2021-03-25 | Qualcomm Incorporated | Quantum inspired convolutional kernels for convolutional neural networks |
| CN112580580A (zh) * | 2020-12-28 | 2021-03-30 | 厦门理工学院 | 一种基于数据增强与模型融合的病理性近视识别方法 |
-
2021
- 2021-05-20 CN CN202110550635.9A patent/CN113496481B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017158058A1 (en) * | 2016-03-15 | 2017-09-21 | Imra Europe Sas | Method for classification of unique/rare cases by reinforcement learning in neural networks |
| CN107564580A (zh) * | 2017-09-11 | 2018-01-09 | 合肥工业大学 | 基于集成学习的胃镜图像辅助处理***及方法 |
| ES2799828A1 (es) * | 2019-06-17 | 2020-12-21 | Quibim S L | Metodo y sistema para identificar anomalias en radiografias |
| US20210089955A1 (en) * | 2019-09-24 | 2021-03-25 | Qualcomm Incorporated | Quantum inspired convolutional kernels for convolutional neural networks |
| CN112580580A (zh) * | 2020-12-28 | 2021-03-30 | 厦门理工学院 | 一种基于数据增强与模型融合的病理性近视识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENGYOU HE等: ""Classification of power quality disturbances using quantum neural network and DS evidence fusion"", 《ELECTRICAL ENERGY SYSTEMS》 * |
| 叶伟良: ""基于量子遗传算法的神经网络架构搜索研究"", 《硕士电子期刊》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511094A (zh) * | 2022-01-27 | 2022-05-17 | 合肥本源量子计算科技有限责任公司 | 一种量子算法的优化方法、装置、存储介质与电子装置 |
| CN114511094B (zh) * | 2022-01-27 | 2023-08-04 | 本源量子计算科技（合肥）股份有限公司 | 一种量子算法的优化方法、装置、存储介质与电子装置 |
| CN114372584A (zh) * | 2022-03-22 | 2022-04-19 | 合肥本源量子计算科技有限责任公司 | 基于机器学习框架的迁移学习方法及相关装置 |
| CN114372584B (zh) * | 2022-03-22 | 2022-06-21 | 合肥本源量子计算科技有限责任公司 | 基于机器学习框架的迁移学习方法及相关装置 |
| CN115712065A (zh) * | 2023-01-05 | 2023-02-24 | 湖南大学 | 时频旋转门与卷积核感知匹配的电机故障诊断方法及*** |
| CN115712065B (zh) * | 2023-01-05 | 2023-04-07 | 湖南大学 | 时频旋转门与卷积核感知匹配的电机故障诊断方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113496481B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985245B (zh) | 基于注意力循环门控图卷积网络的关系提取方法及*** | |
| CN113496481A (zh) | 一种少样本胸部X-Ray图像的辅助检测方法 | |
| CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| US10223780B2 (en) | Image steganalysis based on deep learning | |
| CN110189308B (zh) | 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置 | |
| Krishnan et al. | Specifying weight priors in bayesian deep neural networks with empirical bayes | |
| CN107506797A (zh) | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 | |
| CN113657561B (zh) | 一种基于多任务解耦学习的半监督夜间图像分类方法 | |
| CN111932529B (zh) | 一种图像分类分割方法、装置及*** | |
| CN111400494B (zh) | 一种基于GCN-Attention的情感分析方法 | |
| CN107945210B (zh) | 基于深度学习和环境自适应的目标跟踪方法 | |
| Li et al. | Vispi: Automatic visual perception and interpretation of chest x-rays | |
| CN114511703A (zh) | 面向分割任务的融合Swin Transformer与UNet的迁移学习方法和*** | |
| CN115272777B (zh) | 面向输电场景的半监督图像解析方法 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN116152554A (zh) | 基于知识引导的小样本图像识别*** | |
| Manogaran et al. | ADCCF: Adaptive deep concatenation coder framework for visual question answering | |
| CN112560440A (zh) | 一种基于深度学习的面向方面级情感分析的句法依赖方法 | |
| CN116935128A (zh) | 一种基于可学习提示的零样本异常图像检测方法 | |
| CN116721772A (zh) | 肿瘤治疗预后预测方法、装置、电子设备及存储介质 | |
| Imah | Child Violence Detection in Surveillance Video Using Deep Transfer Learning and Ensemble Decision Fusion Learning. | |
| Mohamed et al. | ImageCLEF 2020: An approach for Visual Question Answering using VGG-LSTM for Different Datasets. | |
| CN116541507A (zh) | 一种基于动态语义图神经网络的视觉问答方法及*** | |
| CN114882992B (zh) | 一种用于预测疾病的去除多站点功能磁共振成像异质性方法 | |
| CN115620342A (zh) | 跨模态行人重识别方法、***及计算机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |