CN115171882A - 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及*** - Google Patents

一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及*** Download PDF

Info

Publication number
CN115171882A
CN115171882A CN202210803112.5A CN202210803112A CN115171882A CN 115171882 A CN115171882 A CN 115171882A CN 202210803112 A CN202210803112 A CN 202210803112A CN 115171882 A CN115171882 A CN 115171882A
Authority
CN
China
Prior art keywords
hidden layer
image
data set
enhancement
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210803112.5A
Other languages
English (en)
Other versions
CN115171882B (zh
Inventor
罗雪琪
林荣佳
林森林
何伟骅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210803112.5A priority Critical patent/CN115171882B/zh
Publication of CN115171882A publication Critical patent/CN115171882A/zh
Application granted granted Critical
Publication of CN115171882B publication Critical patent/CN115171882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法及***，该方法包括：获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure DDA0003735082540000011
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure DDA0003735082540000012
若预测
Figure DDA0003735082540000013
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。本发明提出基于多先验嵌入的Y型网络的智能医学辅助诊断方法及***解决传统启发式规则的方法处理医学图像精度低，而深度学习技术缺乏可解释性技术问题。

Description

一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法及 ***
技术领域
本发明涉及医学图像技术领域，具体涉及基于多先验嵌入的Y型网络的智能医学辅助诊断方法及***。
背景技术
在医学图像分析领域中，临床的医学数据本身蕴藏着宝贵的先验知识，医生可以凭借丰富的临床经验识别病变。但是面对多样的病例和大量的医学数据，这对医生的要求很高，需要耗费大量的时间和精力，也存在着漏诊的可能性。由于人工智能算法在医学图像分析领域取得的巨大成功，研究人员尝试结合深度学习的算法来辅助医生诊断。但是，深度学习技术属于黑盒问题，缺乏可解释性，因此没有充足的证据证明先验有利于模型精准度的提升。
以直肠癌为例，作为第二大致命癌症和第三大常见恶性肿瘤，高达22％-28％息肉漏检率会致使生存率大幅度降低。由于直肠息肉的异质性和多样性(如边界对比度、形状、大小、厚度)、内部伪影(如水流、残留物)和成像退化(如颜色扭曲、镜面反射)，这使得直肠息肉识别和分割成为了一种具有挑战性的难题。早期研究工作大多是通过挖掘手工提取特征(如颜色、形状、纹理和超像素)的方式来识别和分割结肠息肉。然而，单纯手工特征设计表征异质性息肉的能力有限，它们的精度通常较低。相比之下，以数据驱动的深度学习技术可以更好地学习这些隐式的表征，进而获得更高的精准度。但由于这种端对端的学习缺乏可解释性，使得深度学习技术在临床医学上无法广泛地推广应用。
发明内容
本发明的目的在于克服现有技术的缺点和不足，提出基于多先验嵌入的Y型网络的智能医学辅助诊断方法及***，解决传统启发式规则的方法处理医学图像精度低，而深度学习技术缺乏可解释性技术问题
为此，本发明的公开了一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法，包括：获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000021
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000022
Figure BDA0003735082520000023
若预测
Figure BDA0003735082520000024
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
优选地，根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000025
获得隐层Z2之前，还包括：将图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000026
转换关系为：
Figure BDA0003735082520000027
αi为对应增强子图Xi的权重。
优选地，所述图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000028
转换关系为：
Figure BDA0003735082520000029
αi为对应增强子图Xi的权重具体包括：
三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000210
和对比增强ψ；
将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000211
将图像处理得到对比增强图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA00037350825200000212
之前还包括：
所述隐层Z1和所述隐层Z2融合成的隐层Z，隐层Z可以表示为：Z＝CONCAT(Z1+Z2)。
优选地，若预测
Figure BDA00037350825200000213
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure BDA00037350825200000214
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA00037350825200000215
直至达到收敛条件；
损失函数可以表示为：
Figure BDA00037350825200000216
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA00037350825200000217
优选地，所述根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA00037350825200000218
获得隐层Z2；具体包括：
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)；
将增强数据集
Figure BDA0003735082520000031
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2；隐层表示Z2的表示为：
Figure BDA0003735082520000032
第二方面，提供了一种基于多先验嵌入的Y型网络的智能医学辅助诊断***，包括：
输入模块，用于获取待处理图像；
编码器E1，用于根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000033
获得
隐层Z2；
解码器D，用于将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000034
判定模块，若预测
Figure BDA0003735082520000035
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
优选地，编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000036
获得隐层Z2之前，还包括：多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000037
转换关系为：
Figure BDA0003735082520000038
αi为对应增强子图Xi的权重。
优选地，所述多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000039
转换关系为：
Figure BDA00037350825200000310
αi为对应增强子图Xi的权重具体包括：
先验增强模块Γ包括三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000311
和对比增强ψ；
所述纹理增强器φ，用于将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
所述颜色增强器
Figure BDA00037350825200000312
用于将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000313
所述对比增强器ψ，得到纹理对比图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，判定模块，若预测
Figure BDA0003735082520000041
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure BDA0003735082520000042
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA0003735082520000043
直至达到收敛条件；
损失函数可以表示为：
Figure BDA0003735082520000044
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA0003735082520000045
本发明通过获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000046
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000047
Figure BDA0003735082520000048
若预测
Figure BDA0003735082520000049
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，一个基于多先验嵌入的Y型网络能在原有主分支的基础上使用辅助分支对模型进行补充，使得模型能够学习到更多有显著的增强特征，进而提高精准度。先验增强模块可以根据使用者的任务需要模块化地增加所需先验特征器，且主分支、辅助分支和合并分支可以使用基于CNN和transformer等网络架构的设计和拓展。这大大地提高了模型的可移植性和泛化性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，标示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于基于多先验嵌入的多分支网络的智能医学辅助诊断方法的流程图；
图2为本发明基于多先验嵌入的多分支网络的智能医学辅助诊断***的架构图的模型结构框图；
图3为本发明增强器内部细节实现图；
图4为本发明编码器E1和编码器E2与解码器D的跳跃连接图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一种该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明的公开了一种基于神经网络的电阻点焊质量在线评估方法，参见图1-4，包括：步骤S100，获取待处理图像；
收集数据集，筛选出含有病灶且清晰度可以辨别的的数据，得到原图数据集{X}n＝1,2,3,...,N和对应的标签集{Y}n＝1,2,3,...,N,并将其处理成规定的尺寸大小。
步骤S200，根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)。
步骤S300，根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000051
获得隐层Z2；
将增强数据集
Figure BDA0003735082520000052
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2.；隐层表示Z2的表示为：
Figure BDA0003735082520000053
步骤S400，将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000054
步骤S500，若预测
Figure BDA0003735082520000055
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复步骤S200-步骤400。
本发明通过获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000061
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000062
Figure BDA0003735082520000063
若预测
Figure BDA0003735082520000064
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，一个基于多先验嵌入的Y型网络能在原有主分支的基础上使用辅助分支对模型进行补充，使得模型能够学习到更多有显著的增强特征，进而提高精准度。先验增强模块可以根据使用者的任务需要模块化地增加所需先验特征器，且主分支、辅助分支和合并分支可以使用基于CNN和transformer等网络架构的设计和拓展。这大大地提高了模型的可移植性和泛化性。
优选地，步骤S300，根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000065
获得隐层Z2之前，还包括：步骤210，将图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000066
转换关系为：
Figure BDA0003735082520000067
αi为对应增强子图Xi的权重。
使用者可以根据任务需要，增加所需的先验增强器。通过多个先验增强器的增强，我们可以将原图数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000068
优选地，步骤210，图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000069
转换关系为：
Figure BDA00037350825200000610
αi为对应增强子图Xi的权重具体包括：
三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000611
和对比增强ψ；
步骤211，将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
步骤212，将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000612
步骤213，将图像处理得到对比增强图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，步骤S400，将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA00037350825200000613
之前还包括：
步骤310，隐层Z1和所述隐层Z2融合成的隐层Z，隐层Z可以表示为：Z＝CONCAT(Z1+Z2)。
对应地，编码器E1和编码器E2和解码器D之间通过跳跃连接相连，即编码映射和解码映射对应尺寸相连接，如图3表示。
优选地，步骤S500，若预测
Figure BDA0003735082520000071
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复步骤S200-步骤400，具体包括：
步骤S510，计算预测
Figure BDA0003735082520000072
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA0003735082520000073
直至达到收敛条件；
步骤S520，损失函数可以表示为：
Figure BDA0003735082520000074
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA0003735082520000075
第二方面，提供了一种基于多先验嵌入的Y型网络的智能医学辅助诊断***，包括：
输入模块，用于获取待处理图像；
编码器E1，用于根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)。
编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000076
获得
隐层Z2；将增强数据集
Figure BDA0003735082520000077
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2.；隐层表示Z2的表示为：
Figure BDA0003735082520000078
解码器D，用于将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000079
判定模块，若预测
Figure BDA00037350825200000710
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
搭建网络模型，设置超参。
需要先构建模型模型，如图2所示，其中包含主分支中的编码器E1，辅助分支的编码器E2和合并分支解码器D的搭建，可以是基于卷积神经网络(Convolutional NeuralNetwork)、Transformer框架或者两者融合设计框架，默认以ResNet(Residual Network)为基础骨架。选择合适的优化器，默认使用Adam优化器。设置迭代轮数Epoch和学习率Lr。
本发明通过获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000081
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000082
Figure BDA0003735082520000083
若预测
Figure BDA0003735082520000084
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，一个基于多先验嵌入的Y型网络能在原有主分支的基础上使用辅助分支对模型进行补充，使得模型能够学习到更多有显著的增强特征，进而提高精准度。先验增强模块可以根据使用者的任务需要模块化地增加所需先验特征器，且主分支、辅助分支和合并分支可以使用基于CNN和transformer等网络架构的设计和拓展。这大大地提高了模型的可移植性和泛化性。
优选地，编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000085
获得隐层Z2之前，还包括：多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000086
转换关系为：
Figure BDA0003735082520000087
αi为对应增强子图Xi的权重。
优选地，所述多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000088
转换关系为：
Figure BDA0003735082520000089
αi为对应增强子图Xi的权重具体包括：
先验增强模块Γ包括三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000810
和对比增强ψ；
所述纹理增强器φ，用于将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
所述颜色增强器
Figure BDA00037350825200000811
用于将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000812
所述对比增强器ψ，得到纹理对比图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，判定模块，若预测
Figure BDA00037350825200000813
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure BDA00037350825200000814
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA00037350825200000815
直至达到收敛条件；
损失函数可以表示为：
Figure BDA0003735082520000091
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA0003735082520000092
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法，包括：
获取待处理图像；
根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure FDA0003735082510000011
获得隐层Z2；
将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure FDA0003735082510000012
Figure FDA0003735082510000013
若预测
Figure FDA0003735082510000014
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
2.根据权利要求1所述的基于多先验嵌入的Y型网络的智能医学辅助诊断方法，根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure FDA0003735082510000015
获得隐层Z2之前，还包括：将图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure FDA0003735082510000016
转换关系为：
Figure FDA0003735082510000017
αi为对应增强子图Xi的权重。
3.根据权利要求2所述的基于多先验嵌入的Y型网络的智能医学辅助诊断方法，所述图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure FDA0003735082510000018
转换关系为：
Figure FDA0003735082510000019
αi为对应增强子图Xi的权重具体包括：
三种增强操作，即纹理增强φ、颜色增强
Figure FDA00037350825100000110
和对比增强ψ；
将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure FDA00037350825100000111
将图像处理得到对比增强图片X3，它们的转换关系如下式：X3＝ψ(X)。
4.根据权利要求1所述的基于多先验嵌入的Y型网络的智能医学辅助诊断方法，将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure FDA00037350825100000112
Figure FDA00037350825100000113
之前还包括：
所述隐层Z1和所述隐层Z2融合成的隐层Z，隐层Z可以表示为：Z＝CONCAT(Z1+Z2)。
5.根据权利要求1所述的基于多先验嵌入的Y型网络的智能医学辅助诊断方法，所述若预测
Figure FDA00037350825100000114
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure FDA0003735082510000021
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure FDA0003735082510000022
直至达到收敛条件；
损失函数可以表示为：
Figure FDA0003735082510000023
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure FDA0003735082510000024
6.根据权利要求1所述的基于多先验嵌入的Y型网络的智能医学辅助诊断方法，所述根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure FDA0003735082510000025
获得隐层Z2；具体包括：
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)；
将增强数据集
Figure FDA0003735082510000026
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2；隐层表示Z2的表示为：
Figure FDA0003735082510000027
7.一种基于多先验嵌入的Y型网络的智能医学辅助诊断***，包括：
输入模块，用于获取待处理图像；
编码器E1，用于根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure FDA0003735082510000028
获得
隐层Z2；
解码器D，用于将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure FDA0003735082510000029
Figure FDA00037350825100000210
判定模块，若预测
Figure FDA00037350825100000211
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
8.根据权利要求7所述的基于多先验嵌入的Y型网络的智能医学辅助诊断***，编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure FDA00037350825100000212
获得隐层Z2之前，还包括：多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure FDA00037350825100000213
转换关系为：
Figure FDA00037350825100000214
αi为对应增强子图Xi的权重。
9.根据权利要求8所述的基于多先验嵌入的Y型网络的智能医学辅助诊断***，所述多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure FDA0003735082510000031
转换关系为：
Figure FDA0003735082510000032
αi为对应增强子图Xi的权重具体包括：
先验增强模块Γ包括三种增强操作，即纹理增强φ、颜色增强
Figure FDA0003735082510000033
和对比增强ψ；
所述纹理增强器φ，用于将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
所述颜色增强器
Figure FDA0003735082510000034
用于将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure FDA0003735082510000035
所述对比增强器ψ，得到纹理对比图片X3，它们的转换关系如下式：X3＝ψ(X)。
10.根据权利要求7所述的基于多先验嵌入的Y型网络的智能医学辅助诊断***，所述判定模块，若预测
Figure FDA0003735082510000036
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure FDA0003735082510000037
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure FDA0003735082510000038
直至达到收敛条件；
损失函数可以表示为：
Figure FDA0003735082510000039
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure FDA00037350825100000310
CN202210803112.5A 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及*** Active CN115171882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210803112.5A CN115171882B (zh) 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210803112.5A CN115171882B (zh) 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及***

Publications (2)

Publication Number Publication Date
CN115171882A true CN115171882A (zh) 2022-10-11
CN115171882B CN115171882B (zh) 2023-06-02

Family

ID=83492327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210803112.5A Active CN115171882B (zh) 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及***

Country Status (1)

Country Link
CN (1) CN115171882B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146993A (zh) * 2018-09-11 2019-01-04 广东工业大学 一种医学图像融合方法及***
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类***
CN112163994A (zh) * 2020-09-01 2021-01-01 重庆邮电大学 一种基于卷积神经网络的多尺度医学图像融合方法
CN113284054A (zh) * 2020-02-19 2021-08-20 华为技术有限公司 图像增强方法以及图像增强装置
CN113450328A (zh) * 2021-06-29 2021-09-28 汕头大学 基于改进神经网络的医学图像关键点检测方法及***
CN114283104A (zh) * 2021-12-29 2022-04-05 中国科学院西安光学精密机械研究所 一种基于y型金字塔网络的多谱段图像融合方法
CN114708189A (zh) * 2022-02-24 2022-07-05 中北大学 基于深度学习的多能x射线图像融合方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146993A (zh) * 2018-09-11 2019-01-04 广东工业大学 一种医学图像融合方法及***
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类***
CN113284054A (zh) * 2020-02-19 2021-08-20 华为技术有限公司 图像增强方法以及图像增强装置
CN112163994A (zh) * 2020-09-01 2021-01-01 重庆邮电大学 一种基于卷积神经网络的多尺度医学图像融合方法
CN113450328A (zh) * 2021-06-29 2021-09-28 汕头大学 基于改进神经网络的医学图像关键点检测方法及***
CN114283104A (zh) * 2021-12-29 2022-04-05 中国科学院西安光学精密机械研究所 一种基于y型金字塔网络的多谱段图像融合方法
CN114708189A (zh) * 2022-02-24 2022-07-05 中北大学 基于深度学习的多能x射线图像融合方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
林森林，徐圣兵，方桂标，陈广诚，欧阳翼: "基于超声同步观测辅助技术的CT成像***设计及图像融合", 数学建模及其应用, vol. 8, no. 1, pages 14 - 21 *
郭新榀等: "基于双通道脉冲耦合神经网络的应用研究", 《科学技术与工程》 *
郭新榀等: "基于双通道脉冲耦合神经网络的应用研究", 《科学技术与工程》, no. 34, 8 December 2012 (2012-12-08), pages 9225 - 9232 *

Also Published As

Publication number Publication date
CN115171882B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Wang et al. AI-assisted CT imaging analysis for COVID-19 screening: Building and deploying a medical AI system
Candemir et al. A review on lung boundary detection in chest X-rays
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的***及方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN109859184B (zh) 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN110706246A (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量***
Xiao et al. Efficient combination of CNN and transformer for dual-teacher uncertainty-guided semi-supervised medical image segmentation
Yuan et al. Prostate segmentation with encoder-decoder densely connected convolutional network (Ed-Densenet)
CN112927246B (zh) 肺部轮廓分割、肿瘤免疫浸润分类***及方法
KR102179586B1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
TW202347180A (zh) 影像處理模型的訓練方法
Trimpl et al. Beyond automatic medical image segmentation—the spectrum between fully manual and fully automatic delineation
CN111723817A (zh) 一种肺结节辅助检测方法
Liu et al. 3d tomographic pattern synthesis for enhancing the quantification of covid-19
Xia et al. MFEFNet: Multi-scale feature enhancement and Fusion Network for polyp segmentation
Gong et al. FRCNN-AA-CIF: An automatic detection model of colon polyps based on attention awareness and context information fusion
Hooda et al. Lung segmentation in chest radiographs using fully convolutional networks
CN113052857A (zh) 一种基于CovSegNet的肺部病变图像分割方法
Yang et al. Lesion classification of wireless capsule endoscopy images
Kaur et al. Deep CNN-based method for segmenting lung fields in digital chest radiographs
CN115171882A (zh) 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及***
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN112802040B (zh) 一种基于边缘感知的x光片气胸分割及评估方法
KR102212966B1 (ko) 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant