CN110414631A - 基于医学图像的病灶检测方法、模型训练的方法及装置 - Google Patents

基于医学图像的病灶检测方法、模型训练的方法及装置 Download PDF

Info

Publication number
CN110414631A
CN110414631A CN201910833614.0A CN201910833614A CN110414631A CN 110414631 A CN110414631 A CN 110414631A CN 201910833614 A CN201910833614 A CN 201910833614A CN 110414631 A CN110414631 A CN 110414631A
Authority
CN
China
Prior art keywords
network model
main task
domain
gradient
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910833614.0A
Other languages
English (en)
Other versions
CN110414631B (zh
Inventor
沈荣波
颜克洲
田宽
江铖
周可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Huazhong University of Science and Technology
Original Assignee
Tencent Technology Shenzhen Co Ltd
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Huazhong University of Science and Technology filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN110414631A publication Critical patent/CN110414631A/zh
Application granted granted Critical
Publication of CN110414631B publication Critical patent/CN110414631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于医学图像的病灶检测方法,该方法应用于人工智能领域,具体可应用于智能医疗领域,该方法包括:获取待预测钼靶图像;通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值,主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,域分类网络模型为通过源域数据集合以及目标域数据集合训练得到的;根据每个像素点属于病灶的概率值生成待预测钼靶图像的肿块检测结果。本申请还提供了一种模型训练的方法和装置。本申请利用主任务网络模型和域分类网络模型之间的关系,解决源域数据集合和目标域数据集合之间的域差异问题,使得主任务网络模型在目标数据集合上获得优良的检测性能。

Description

基于医学图像的病灶检测方法、模型训练的方法及装置
本申请要求于2019年1月29日提交中国专利局、申请号为201910087685.0、发明名称为“基于医学图像的病灶检测方法、模型训练的方法及装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能医疗领域,尤其涉及一种基于医学图像的病灶检测方法、模型训练的方法及装置。
背景技术
乳腺钼靶摄影术具有空间分辨率较高,能够显示乳腺癌的早期症状,被公认为乳腺癌早期诊断的最可靠、最便捷的方法。随着计算机以及图像处理技术的迅速发展,利用计算机辅助诊断技术辅助临床医生检测图像中的可疑病灶,降低诊断的假阳性率对乳腺癌早期诊断至关重要。
目前,通常采用神经网络模型对医学图像进行检测。即从已知的且完全标注好的源图像数据集合中学习肿块病灶的特征,由此训练得到神经网络模型,然后将实际获取到的目标图像数据输入至该神经网络模型,通过神经网络模型输出相应的预测结果。
然而,由于不同的医疗影像设备所采集到的医学图像往往存在风格上的差异,比如有些设备采集到的医学图像清晰度较高,有些设备采集到的医学图像噪声较多。而训练所采用的源图像数据与预测的目标图像数据也存在风格上的差异,即在数据分布上也存在较大差异,因此,通过源图像数据训练得到的神经网络模型来预测目标图像数据,会导致预测效果较差,降低检测性能。
发明内容
本申请实施例提供了一种基于医学图像的病灶检测方法、模型训练的方法及装置,主任务网络模型和域分类网络模型之间的关系,解决源域数据集合和目标域数据集合之间的域差异问题,显著地抑制数据集之间的域差异,从而使得训练得到的主任务网络模型在目标数据集合上获得优良的检测性能,提升预测效果。
有鉴于此,本申请第一方面提供一种基于医学图像的病灶检测方法,包括:
获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
根据所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块。
本申请第二方面提供一种模型训练的方法,包括:
获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
采用第一损失函数和所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
采用第二损失函数、所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
采用第三损失函数、所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
采用所述域分类网络模型的梯度更新所述域分类网络模型的参数;
本申请第三方面提供一种医学图像检测装置,包括:
获取模块,用于获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
所述获取模块,还用于通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
生成模块,用于根据所述获取模块获取的所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块。
在一种可能的设计中,在本申请实施例的第三方面的第一种实现方式中,
所述获取模块,具体用于通过所述主任务网络模型中的编码器对所述待预测钼靶图像进行编码处理,得到编码后的特征图,其中,所述到编码后的特征图的维度数小于所述待预测钼靶图像的维度数;
通过所述主任务网络模型中的解码器对所述编码后的特征图进行解码处理,得到热图,其中,所述热图的维度数与所述待预测钼靶图像的维度数一致;
根据所述热图获取所述每个像素点属于病灶的概率值。
在一种可能的设计中,在本申请实施例的第三方面的第二种实现方式中,
所述获取模块,具体用于获取低层特征图,其中,所述低层特征图为所述待预测钼靶图像通过所述主任务网络模型中的编码器各卷积层的特征图,所述低层特征图的的维度数小于所述待预测钼靶图像的维度数,且所述低层特征图的的维度数大于所述编码后的特征图的维度数;
将选定的所述低层特征图融合至所述主任务网络模型中的解码器,得到目标编码器;
通过所述目标编码器对所述编码后的特征图进行解码处理,得到热图。
本申请第四方面提供一种模型训练装置,包括:
获取模块,用于获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
训练模块,用于采用第一损失函数和所述获取模块获取的所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
所述训练模块,还用于采用第二损失函数、所述获取模块获取的所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
所述训练模块,还用于采用第三损失函数、所述获取模块获取的所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
更新模块,用于采用所述训练模块训练得到的所述域分类网络模型的梯度更新所述域分类网络模型的参数。
在一种可能的设计中,在本申请实施例的第四方面的第一种实现方式中,
所述训练模块,具体用于步骤1)采用所述第一损失函数和源域数据子集合对所述主任务网络模型进行训练,以得到所述主任务网络模型的第一子梯度,其中,所述源域数据子集合属于所述源域数据集合中的部分数据,所述第一子梯度属于所述第一梯度;
步骤2)采用所述第二损失函数、目标域数据子集合以及所述域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二子梯度,其中,所述目标域数据子集合属于所述目标域数据集合中的部分数据,所述第二子梯度属于所述第二梯度;
步骤3)采用所述第三损失函数、所述源域数据子集合、所述目标域数据子集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的子梯度;
重复执行步骤1)、步骤2)以及步骤3),直至达到N次时,执行所述采用所述域分类网络模型的梯度更新所述域分类网络模型的参数的步骤,其中,所述N为大于1的整数。
在一种可能的设计中,在本申请实施例的第四方面的第二种实现方式中,
所述训练模块,具体用于通过第一待更新主任务网络模型获取所述源域数据子集合中每个源域数据所对应的热图;
采用所述第一损失函数对所述每个源域数据所对应的热图以及所述每个源域数据的真实数据进行计算,得到第一差异数据;
根据所述第一差异数据计算得到所述第一子梯度;
根据所述第一子梯度更新所述第一待更新主任务网络模型,以得到第二待更新主任务网络模型。
在一种可能的设计中,在本申请实施例的第四方面的第三种实现方式中,
所述训练模块,具体用于通过所述第二待更新主任务网络模型获取所述目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第二损失函数对所述每个目标域数据的预测数据以及所述每个目标域数据的反转域标签进行计算,得到第二差异数据;
根据所述第二差异数据计算得到所述第二子梯度,其中,所述第二子梯度包括所述第二待更新主任务网络模型的梯度以及所述待更新域分类网络模型的梯度;
根据所述第二子梯度更新所述第二待更新主任务网络模型,以得到第三待更新主任务网络模型。
在一种可能的设计中,在本申请实施例的第四方面的第四种实现方式中,
所述训练模块,具体用于根据所述第二子梯度获取所述第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度;
根据所述第二待更新主任务网络模型的梯度更新所述第二待更新主任务网络模型,以得到所述第三待更新主任务网络模型。
在一种可能的设计中,在本申请实施例的第四方面的第五种实现方式中,
所述训练模块,具体用于通过第三待更新主任务网络模型获取所述源域数据子集合中每个源域数据的热图,并通过所述第三待更新主任务网络模型获取所述目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及所述每个源域数据的热图,获取所述每个源域数据的预测数据,并通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第三损失函数对所述每个源域数据的预测数据、所述每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据;
根据所述第三差异数据计算得到所述待更新域分类网络模型的子梯度。
在一种可能的设计中,在本申请实施例的第四方面的第六种实现方式中,
所述训练模块,具体用于获取N个所述域分类网络模型的子梯度;
根据N个所述域分类网络模型的子梯度计算得到平均梯度;
采用所述平均梯度更新所述待更新域分类网络模型,得到所述域分类网络模型。
本申请第五方面提供一种医疗检测设备,包括:存储器、收发器、处理器以及总线***;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
根据所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块;
所述总线***用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本申请第六方面提供一种服务器,包括:存储器、收发器、处理器以及总线***;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
采用第一损失函数和所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
采用第二损失函数、所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
采用第三损失函数、所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
采用所述域分类网络模型的梯度更新所述域分类网络模型的参数;
所述总线***用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本申请的第七方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本申请第八方面提供一种医学图像检测***,所述医学图像检测***包括图像扫描设备图像处理设备;
图像扫描设备用于扫描医学图像,并向所述图像处理设备发送所述医学图像;
图像处理设备用于执行第一方面中任一项所述的方法,或者执行如第二方面中任一项所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种基于医学图像的病灶检测方法,首先获取待预测钼靶图像,其中,待预测钼靶图像属于目标域数据,然后通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值,其中,主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,域分类网络模型为通过源域数据集合以及目标域数据集合训练得到的,源域数据集合中的源域数据属于已标注的数据,目标域数据集合中的目标域数据属于未标注的数据,最后可以根据每个像素点属于病灶的概率值生成待预测钼靶图像的肿块检测结果,其中,肿块检测结果用于预测待预测钼靶图像中是否包含肿块。通过上述方式,利用域分类网络模型训练主任务网络模型,解决源域数据集合和目标域数据集合之间的域差异问题,显著地抑制数据集之间的域差异,从而使得训练得到的主任务网络模型在目标数据集合上获得优良的检测性能,提升预测效果。
附图说明
图1为本申请实施例中医学图像检测***的一个架构示意图;
图2为本申请实施例中基于医学图像的病灶检测方法一个实施例示意图;
图3为本申请实施例中模型训练的方法一个实施例示意图;
图4为本申请实施例中无监督域适应对抗学习***一个结构示意图;
图5为本申请应用场景中多次迭代的自由响应接收者操作特征曲线的一个示意图;
图6为本申请实施例中医学图像检测装置一个实施例示意图;
图7为本申请实施例中模型训练装置一个实施例示意图;
图8为本申请实施例中医疗检测设备一个结构示意图;
图9为本申请实施例中服务器一个结构示意图。
具体实施方式
本申请实施例提供了一种基于医学图像的病灶检测方法、模型训练的方法及装置,利用域分类网络模型训练主任务网络模型,解决源域数据集合和目标域数据集合之间的域差异问题,显著地抑制数据集之间的域差异,从而使得训练得到的主任务网络模型在目标数据集合上获得优良的检测性能,提升预测效果。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请主要应用于基于人工智能(Artificial Intelligence,AI)医疗诊断场景,具体用于对输入的医学图像进行检测和分析,即采用医学图像检测模型输出医学图像的分析结果,使得医护人员或者研究人员能够得到更准确的诊断结果。具体地,请参阅图1,图1为本申请实施例中医学图像检测***的一个架构示意图,如图所示,通过医疗检测设备可以获取大量的医学图像,需要说明的是,医学图像包含但不仅限于计算机断层扫描(computed tomography,CT)图像、核磁共振成像(magnetic resonance imaging,MRI)图像、超声(ultrasonic,US)图像以及钼靶图像。
基于AI的医学领域包括计算机视觉技术(Computer Vision,CV),计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中,CT图像是由一定数目由黑到白不同灰度的像素按矩阵排列所构成。这些像素反映的是相应体素的X线吸收系数。CT图像是以不同的灰度来表示,反映器官和组织对X线的吸收程度。因此,与X线图像所示的黑白影像一样,黑影表示低吸收区,即低密度区,如含气体多的肺部;白影表示高吸收区,即高密度区,如骨骼。但是CT图像与X线图像相比,CT的密度分辨力高,即有高的密度分辨力。因此,CT图像可以更好地显示由软组织构成的器官,如脑、脊髓、纵隔、肺、肝、胆、胰以及盆部器官等,并在良好的解剖图像背景上显示出病变的影像。
MRI图像已应用于全身各***的成像诊断。效果最佳的是颅脑、脊髓、心脏大血管、关节骨骼、软组织及盆腔等。对心血管疾病不但可以观察各腔室、大血管及瓣膜的解剖变化,而且可作心室分析,进行定性及半定量的诊断,可作多个切面图,空间分辨率较高,显示心脏及病变全貌,及其与周围结构的关系,优于其他X线成像、二维超声、核素及CT检查。在对脑脊髓病变诊断时,可作冠状、矢状及横断面像。
US图像是反映介质中声学参数的差异,可得到不同于光学、X射线以及γ射线等的信息。超声对人体软组织有良好的分辨能力,有利于识别生物组织的微小病变。超声图像显示活体组织时不用染色处理,即可获得所需图像。
钼靶图像是传统放射技术与现代计算机技术相结合的一种数字化影像新技术,它最终将普通X线摄影的模拟图像转化为可被量化处理的数字化图像,使传统X线拍片技术及图像质量发生质的飞跃,使放射科医师更易于发现乳腺摄片中的可疑恶性病变,被认为是一有助于提高乳腺癌早期检出率的方法。本申请主要以检测乳腺的钼靶图像为例进行介绍。
医疗检测设备将医学图像发送至服务器,通过服务器中训练得到的主任务网络模型可以对这些医学图像进行检测,将肿块检测结果发送至医疗检测设备。具体地,该主任务网络模型是通过域分类网络模型训练得到的,首先需要准备一个完全标注的钼靶肿块检测数据集合作为源域数据集合,可以理解的是,源域数据集合可选择完全标注的公开数据集或已有的完全标注数据集,同时,对实际应用的钼靶肿块检测场景所采集样本作为目标域数据集合。利用源域数据集合和目标域数据集合训练无监督域适应对抗学习***,每次迭代过程中需要各准备一个批量的源域数据和目标域数据,一次迭代过程中分多个步骤分别训练主任务网络和域分类网络。在预测过程中,只需要使用主任务网络,也就是将一个测试样本输入到主任务网络,由主任务网络输出的热图给出肿块病灶的区域,并使用阈值二值化得出肿块病灶的轮廓。
需要说明的是,终端设备包含但不仅限于掌上电脑、手机、打印机、个人电脑、笔记本电脑以及平板电脑。
可以理解的是,医学图像检测***所包括的医疗检测设备、服务器以及终端设备可以为三***立的设备,也可以是集成与同一个***内,此处不做限定。应理解,本申请具体可以应用于乳腺癌早期筛查项目的数据筛选,以及医疗影像中心对医学图像数据进行数据归档确认,又或者是对历史数据的整理。
结合上述介绍,下面将对本申请中基于医学图像的病灶检测方法进行介绍,请参阅图2,本申请实施例中基于医学图像的病灶检测方法一个实施例包括:
101、获取待预测钼靶图像,其中,待预测钼靶图像属于目标域数据;
本实施例中,将介绍如何通过医学图像预测是否包括肿块病灶,简单而言,首先获取待预测钼靶图像,该待预测钼靶图像具体可以是钼靶图像,在实际应用中,还可以是其他类型的医学图像。其中,待预测钼靶图像属于目标域数据,目标域数据是没有标注过的数据,目标域正是实际要解决问题的数据集合,通常情况下,对目标域数据集合中的各个目标域数据进行标注需要较高的人工成本,因此,本申请可以通过域适应的方式来避免人工标注。相对地,源域数据就是被标注过的数据,源域数据属于源域数据集合中的数据,且源域数据集合一般是通用的公开数据集合,比较容易获得。
102、通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值,其中,主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,域分类网络模型为通过源域数据集合以及目标域数据集合训练得到的,源域数据集合中的源域数据属于已标注的数据,目标域数据集合中的目标域数据属于未标注的数据;
本实施例中,使用已经训练得到的主任务网络模型对目标域的测试数据进行预测,具体地,该目标域的测试数据即为待预测钼靶图像,也就是将待预测钼靶图像输入至主任务网络,由主任务网络输出预测得到的热图(heatmap),根据热图即可得到待预测钼靶图像中每个像素点属于病灶的概率值。
可以理解的是,主任务网络模型可以是全卷积神经网络(Fully ConvolutionalNetworks,FCN),或者是多种FCN的变体,例如U-Net,本申请将以FCN模型为例进行介绍,然而这并不构成对本申请的限定。
其中,主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,简单而言,域分类网络模型则是通过源域数据集合以及目标域数据集合训练得到的,域分类网络模型利用对抗学习来调整目标域的特征尽可能的接近源域的特征。需要说明的是,主任务网络模型的训练方式将在图3对应的实施例中进行具体介绍,本实施例主要介绍如何利用主任务网络模型预测医学图像。可以理解的是,域分类网络模型的结构可使用全连接设计,或者残差模块设计,又或者inception模块设计等,此处不做限定。
103、根据每个像素点属于病灶的概率值生成待预测钼靶图像的肿块检测结果,其中,肿块检测结果用于预测待预测钼靶图像中是否包含肿块。
本实施例中,由主任务网络输出预测得到的热图,热图中每个像素点的值表示了待预测钼靶图像中对应像素点属于肿块病灶的概率,然后通过阈值对热图二值化,得出肿块病灶的轮廓,从而获取到肿块检测结果。根据肿块检测结果可以确定待预测钼靶图像中是否有肿块病灶。
本申请实施例中,提供了一种基于医学图像的病灶检测方法,首先获取待预测钼靶图像,其中,待预测钼靶图像属于目标域数据,然后通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值,其中,主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,域分类网络模型为通过源域数据集合以及目标域数据集合训练得到的,源域数据集合中的源域数据属于已标注的数据,目标域数据集合中的目标域数据属于未标注的数据,最后可以根据每个像素点属于病灶的概率值生成待预测钼靶图像的肿块检测结果,其中,肿块检测结果用于预测待预测钼靶图像中是否包含肿块。通过上述方式,利用域分类网络模型训练主任务网络模型,解决源域数据集合和目标域数据集合之间的域差异问题,显著地抑制数据集之间的域差异,从而使得训练得到的主任务网络模型在目标数据集合上获得优良的检测性能,提升预测效果。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的基于医学图像的病灶检测方法第一个可选实施例中,通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值,可以包括:
通过主任务网络模型中的编码器对待预测钼靶图像进行编码处理,得到编码后的特征图,其中,得到编码后的特征图的维度数小于待预测钼靶图像的维度数;
通过主任务网络模型中的解码器对编码后的特征图进行解码处理,得到热图,其中,热图的维度数与待预测钼靶图像的维度数一致;
根据热图获取每个像素点属于病灶的概率值。
本实施例中,将介绍如何通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值。具体地,以待预测钼靶图像为钼靶图像,主任务网络模型为端到端的FCN模型为例进行说明,在FCN模型中,编码器(encoder)使用卷积层对输入的待预测钼靶图像进行编码压缩,获得维度更低的编码后的特征图,即编码后的特征图的维度数小于待预测钼靶图像的维度数。接下来,在FCN模型中,解码器(decoder)使用反卷积层和上采样层对编码后的特征图进行解码运算,输出热图,也可以称为空间密度估计图。其中,热图的维度数与待预测钼靶图像的维度数一致。最后通过热图可以得到每个像素点的概率值。
热图可以简单地聚合大量数据,并使用一种渐进的色带来表现,最终效果一般优于离散点的直接显示,可以很直观地展现空间数据的疏密程度或频率高低。热图生成的原理简单概括为四个步骤,具体为:
(1)为离散点设定一个半径,创建一个缓冲区。
(2)然后对每个离散点的缓冲区,使用渐进的灰度带(完整的灰度带是0至255)从内而外,由浅至深地填充。
(3)由于灰度值可以叠加,从而对于有缓冲区交叉的区域,可以叠加灰度值,因而缓冲区交叉的越多,灰度值越大,这块区域也就越“热”。
(4)最后以叠加后的灰度值为索引,从一条有256种颜色的色带中映射颜色,并对图像重新着色,从而实现热点图。
其次,本申请实施例中,介绍一种通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值的方法,即先通过主任务网络模型中的编码器对待预测钼靶图像进行编码处理,得到编码后的特征图,然后通过主任务网络模型中的解码器对编码后的特征图进行解码处理,得到热图,最后可以根据热图获取每个像素点属于病灶的概率值。通过上述方式,能够根据热图确定待预测钼靶图像中每个像素点属于病灶的概率值,利用热图显式地展现了肿块病灶的显著区域,对热图使用阈值进行二值化处理,从而可以得到肿块显著区域的位置和轮廓。
可选地,在上述图3对应的第一个实施例的基础上,本申请实施例提供的基于医学图像的病灶检测方法第二个可选实施例中,通过主任务网络模型中的解码器对编码后的特征图进行解码处理,得到热图,可以包括:
获取低层特征图,其中,低层特征图为待预测钼靶图像通过主任务网络模型中的编码器各卷积层的特征图,低层特征图的的维度数小于待预测钼靶图像的维度数,且低层特征图的的维度数大于编码后的特征图的维度数;
将低层特征图融合至主任务网络模型中的解码器,得到目标编码器;
通过目标编码器对编码后的特征图进行解码处理,得到热图。
本实施例中,将介绍一种通过主任务网络模型中的解码器对编码后的特征图进行解码处理,以得到热图的方法。为了提升像素级密度估计的准确性,FCN模型中还使用了跳跃连接的方式将编码器中选定的的低层特征图融合到解码器中。具体地,FCN模型的网络结构可以获取到非线性的特征映射,以及局部到全局的特征映射,融合了低层的视觉特征(包括亮度、纹理以及颜色等)和高层的语义信息(如病灶等),可以理解的是,非线性的的特征映射可以对高维度的复杂图像进行预测,局部到全局的特征映射可以确保在相对较少的模型参数条件下输出端对输入图像有全局的感受野。比如,输入的待预测钼靶图像为1024*1024,通过编码器输出的为32*32,再从32*32的解码得到1024*1024的热图,会使得病灶边缘更加圆滑,但是会丢失掉更多的细节信息。因此,可以将编码器中第三组和第四组卷积层之后池化层输出的低层特征图,与解码器中第二个和第一个反卷积的输出分别做合并索引(pooling indices),即融合处理,其中,低层特征图的维度分别为128*128和64*64,融合后的编码器称为目标编码器,最后通过目标编码器对编码后的特征图进行解码处理,从而得到热图。最后对热图使用阈值进行二值化处理,可以得到肿块显著区域的位置和轮廓。为了抑制噪声,还可以采用图像开运算滤除孤立的噪点。
由此可见,低层特征图的的维度数小于待预测钼靶图像的维度数,且低层特征图的的维度数大于编码后的特征图的维度数。
再次,本申请实施例中,介绍一种通过主任务网络模型中得到热图的方法,即先获取低层特征图,其中,低层特征图为待预测钼靶图像通过主任务网络模型中的编码器各卷积层的特征图,低层特征图的的维度数小于待预测钼靶图像的维度数,且低层特征图的的维度数大于编码后的特征图的维度数,然后将低层特征图融合至主任务网络模型中的解码器,得到目标编码器,最后可以通过目标编码器对编码后的特征图进行解码处理,得到热图。通过上述方式,主任务网络模型中还使用了跳跃连接的方式将编码器中的低层特征图融合到解码器中,这样的网络结构可以获取到非线性的特征映射,从而融合了低层的视觉特征和高层的语义信息,增强了细节特征,从而提升了预测的准确度。
基于上述介绍,下面将对本申请中模型训练的方法进行介绍,请参阅图3,本申请实施例中基于医学图像的病灶检测方法一个实施例包括:
201、获取待训练钼靶图像集合,其中,待训练钼靶图像集合包括目标域数据集合以及源域数据集合,目标域数据集合包括至少一个目标域数据,源域数据集合包括至少一个源域数据,源域数据属于已标注的数据,目标域数据属于未标注的数据;
本实施例中,在预测的过程中,首先获取待训练钼靶图像集合,其中,待训练钼靶图像集合包括目标域数据集合以及源域数据集合,目标域数据集合包括至少一个目标域数据,源域数据集合包括至少一个源域数据,源域数据属于已标注的数据,目标域数据属于未标注的数据。
该待训练钼靶图像集合中的待训练钼靶图像具体可以是钼靶图像,在实际应用中,还可以是其他类型的医学图像。目标域数据集合中的至少一个目标域数据是没有标注过的数据,目标域正是实际要解决问题的数据集合,目标域数据集合中的各个目标域数据之所以没有标注,因为进行人工标注的成本很高,而本申请可以通过域适应的方式来避免人工标注。源域数据集合中的至少一个源域数据是被标注过的数据,且源域数据集合一般是通用的公开数据集合,比较容易获得。
202、采用第一损失函数和源域数据集合对主任务网络模型进行训练,以得到主任务网络模型的第一梯度,其中,第一损失函数属于主任务网络模型的分割损失函数,主任务网络模型的第一梯度用于更新主任务网络模型的参数;
本实施例中,为了训练无监督域适应对抗学习***,本申请引入了三个损失函数,分别为第一损失函数、第二损失函数以及第三损失函数。其中,第一损失函数可以是主任务网络模型后端的分割损失函数(Lseg),第二损失函数可以是域分类网络后端的对抗学习损失函数(Ladv),第三损失函数为域分类网络后端的分类损失函数(Lcls)。首先,通过第一损失函数对主任务网络模型进行训练,得到第一梯度,利用第一梯度可以更新主任务网络模型。
203、采用第二损失函数、目标域数据集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二梯度,其中,第二损失函数属于域分类网络模型的对抗学习损失函数,主任务网络模型的第二梯度用于更新主任务网络模型的参数;
本实施例中,在步骤202中采用第一梯度对主任务网络模型进行更新,然后采用第二损失函数、目标域数据集合以及域分类网络模型对主任务网络模型进行训练,从而得到主任务网络模型的第二梯度,其中,第二损失函数属于域分类网络模型的对抗学习损失函数。在得到第二梯度之后,可以采用第二梯度更新主任务网络模型的参数。
204、采用第三损失函数、源域数据集合、目标域数据集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的梯度,其中,第三损失函数属于域分类网络模型的分类损失函数;
本实施例中,在步骤202与步骤203中依次对主任务网络模型进行更新,即采用第一梯度和第二梯度对主任务网络模型进行更新后,然后通过更新后的主任务网络模型对域分类网络模型进行训练,也就是说,采用第三损失函数、源域数据集合、目标域数据集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的梯度。其中,第三损失函数属于域分类网络模型的分类损失函数。
205、采用域分类网络模型的梯度更新域分类网络模型的参数。
本实施例中,最后利用采用域分类网络模型的梯度更新域分类网络模型的参数。
本申请实施例中,提供了一种模型训练的方法,首先获取待训练钼靶图像集合,其中,待训练钼靶图像集合包括目标域数据集合以及源域数据集合,然后采用第一损失函数和源域数据集合对主任务网络模型进行训练,以得到主任务网络模型的第一梯度,其中,第一损失函数属于主任务网络模型的分割损失函数,主任务网络模型的第一梯度用于更新主任务网络模型的参数,再采用第二损失函数、目标域数据集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二梯度,其中,第二损失函数属于域分类网络模型的对抗学习损失函数,主任务网络模型的第二梯度用于更新主任务网络模型的参数,最后采用第三损失函数、源域数据集合、目标域数据集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的梯度,其中,第三损失函数属于域分类网络模型的分类损失函数,采用域分类网络模型的梯度更新域分类网络模型的参数。通过上述方式,同时使用完全标注的源数据集和完全无标注的目标数据集,能显著地抑制数据集之间的域差异,从而使得训练得到的主任务网络模型在目标域数据集上获得优良的性能,并且解决了因为在实际应用中,源域数据与目标域数据之间分布差异较大的问题。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的模型训练的方法第一个可选实施例中,采用第一损失函数和源域数据集合对主任务网络模型进行训练,以得到主任务网络模型的第一梯度,可以包括:
步骤1)采用第一损失函数和源域数据子集合对主任务网络模型进行训练,以得到主任务网络模型的第一子梯度,其中,源域数据子集合属于源域数据集合中的部分数据,第一子梯度属于第一梯度;
采用第二损失函数、目标域数据集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二梯度,可以包括:
步骤2)采用第二损失函数、目标域数据子集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二子梯度,其中,目标域数据子集合属于目标域数据集合中的部分数据,第二子梯度属于第二梯度;
采用第三损失函数、源域数据集合、目标域数据集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的梯度,可以包括:
步骤3)采用第三损失函数、源域数据子集合、目标域数据子集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的子梯度;
重复执行步骤1)、步骤2)以及步骤3),直至达到N次时,执行采用域分类网络模型的梯度更新域分类网络模型的参数的步骤,其中,N为大于1的整数。
本实施例中,将介绍一种模型迭代训练的方法。为了便于理解,请参阅图4,图4为本申请实施例中无监督域适应对抗学习***一个结构示意图,如图所示,根据三个损失函数,每次迭代过程中可分为多个子步骤,步骤一,采用第一损失函数和源域数据子集合对主任务网络模型进行训练,以得到主任务网络模型的第一子梯度。具体地,可以是利用源域数据集合和FCN模型后端的分割损失函数更新FCN模型。步骤二,采用第二损失函数、目标域数据子集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二子梯度。具体地,可以是利用目标域数据集合和域分类网络后端的对抗学习损失函数更新FCN模型。步骤三,采用第三损失函数、源域数据子集合、目标域数据子集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的子梯度。具体地,可以利用源域数据集合和目标域数据集合,并采用域分类网络后端的分类损失函数更新域分类网络。
本实施例中,设计了一个迭代次数计时器(accum),该accum从0开始计数,每进行一次迭代,accum加1,当accum为N时,表示依次执行了N次步骤一、步骤二与步骤三。其中,步骤一和步骤二都是计算出梯度后立刻去更新模型参数,而步骤三是计算出梯度后先不更新域分类网络模型的参数,而是把梯度收集起来,在完成N次迭代之后,将收集到的梯度取平均值之后,可以用于更新域分类网络模型的参数。
其次,本申请实施例中,提供了一种迭代训练的方式,即先采用第一损失函数和源域数据子集合对主任务网络模型进行训练,以得到主任务网络模型的第一子梯度,然后采用第二损失函数、目标域数据子集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二子梯度,再采用第三损失函数、源域数据子集合、目标域数据子集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的子梯度,重复执行上述步骤,直至达到N次时,执行采用域分类网络模型的梯度更新域分类网络模型的参数的步骤。通过上述方式,无需每次迭代都对域分类网络进行更新,而是在多次迭代后更新以此域分类网络,从而可以大幅地降低网络训练的计算量,且由于过多的域分类网络更新会降低总体的训练速度,因此,采用本实施例提供的训练方法还能够有效地提升训练的整体速度。
可选地,在上述图3对应的第一个实施例的基础上,本申请实施例提供的模型训练的方法第二个可选实施例中,采用第一损失函数和源域数据子集合对主任务网络模型进行训练,以得到主任务网络模型的第一子梯度,可以包括:
通过第一待更新主任务网络模型获取源域数据子集合中每个源域数据所对应的热图;
采用第一损失函数对每个源域数据所对应的热图以及每个源域数据的真实数据进行计算,得到第一差异数据;
根据第一差异数据计算得到第一子梯度;
根据第一子梯度更新第一待更新主任务网络模型,以得到第二待更新主任务网络模型。
本实施例中,将介绍一种计算第一子梯度的方法,将主任务网络模型分为几个更新阶段,第一个阶段称为第一待更新主任务网络模型,第二个阶段称为第二待更新主任务网络模型,第三个阶段称为第三待更新主任务网络模型,下面将说明如何对第一待更新主任务网络模型进行更新,从而得的更新后的第二待更新主任务网络模型。
具体地,首先将一个批量的源域数据输入至第一待更新主任务网络模型,其中,一个批量的源域数据可以称为源域数据子集合。由第一待更新主任务网络模型输出热图。利用每个源域数据已经标注好的的真实数据,采用第一损失函数对每个源域数据所对应的热图以及每个源域数据的真实数据进行计算,得到第一差异数据,这个第一差异数据用于反映真实数据和预测得到的热图之间的差异大小。再利用第一差异数据在反向传播过程中用来计算主任务网络模型中第一子梯度,该第一子梯度乘以学习率再加上原有的模型参数即可完成一次模型参数的更新,即可以根据第一子梯度更新第一待更新主任务网络模型,从而得到第二待更新主任务网络模型。
再次,本申请实施例中,提供了一种计算第一子梯度的方法,即先通过第一待更新主任务网络模型获取源域数据子集合中每个源域数据所对应的热图,采用第一损失函数对每个源域数据所对应的热图以及每个源域数据的真实数据进行计算,得到第一差异数据,根据第一差异数据计算得到第一子梯度,根据第一子梯度更新第一待更新主任务网络模型,以得到第二待更新主任务网络模型。通过上述方式,利用第一损失函数能够高效准确地得到第一子梯度,从而提升方案的可行性和可操作性。
可选地,在上述图3对应的第二个实施例的基础上,本申请实施例提供的模型训练的方法第三个可选实施例中,采用第二损失函数、目标域数据子集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二子梯度,可以包括:
通过第二待更新主任务网络模型获取目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及每个目标域数据的热图,获取每个目标域数据的预测数据;
采用第二损失函数对每个目标域数据的预测数据以及每个目标域数据的反转域标签进行计算,得到第二差异数据;
根据第二差异数据计算得到第二子梯度,其中,第二子梯度包括第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度;
根据第二子梯度更新第二待更新主任务网络模型,以得到第三待更新主任务网络模型。
本实施例中,将介绍一种计算第二子梯度,将主任务网络模型分为几个更新阶段,第一个阶段称为第一待更新主任务网络模型,第二个阶段称为第二待更新主任务网络模型,第三个阶段称为第三待更新主任务网络模型,下面将说明如何对第二待更新主任务网络模型进行更新,从而得的更新后的第三待更新主任务网络模型。
具体地,首先将一个批量的目标域数据输入至第二待更新主任务网络模型,其中,一个批量的目标域数据可以称为目标域数据子集合。由第二待更新主任务网络模型输出每个目标域数据的热图,然后将热图输入至待更新域分类网络,输出每个目标域数据的预测数据。采用第二损失函数对每个目标域数据的预测数据以及每个目标域数据的反转域标签进行计算,得到第二差异数据,其中,这里反转的域标签是指为目标域数据指派源域数据的域标签,其中,源域的标签为1,而目标域的标签为0,第二差异数据用于反映真实数据和预测数据之间的差异大小。利用第二差异数据计算得到第二子梯度,其中,第二子梯度包括第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度,该第二子梯度乘以学习率再加上原有的模型参数即可完成一次模型参数的更新,即根据第二子梯度更新第二待更新主任务网络模型,从而得到第三待更新主任务网络模型。
进一步地,本申请实施例中,提供了一种计算第二子梯度,即首先通过第二待更新主任务网络模型获取目标域数据子集合中每个目标域数据的热图,然后通过待更新域分类网络模型以及每个目标域数据的热图,获取每个目标域数据的预测数据,再采用第二损失函数对每个目标域数据的预测数据以及每个目标域数据的反转域标签进行计算,得到第二差异数据,最后根据第二差异数据计算得到第二子梯度,并根据第二子梯度更新第二待更新主任务网络模型,以得到第三待更新主任务网络模型。通过上述方式,利用第二损失函数能够高效准确地得到第二子梯度,从而提升方案的可行性和可操作性。
可选地,在上述图3对应的第三个实施例的基础上,本申请实施例提供的模型训练的方法第四个可选实施例中,根据第二子梯度更新第二待更新主任务网络模型,以得到第三待更新主任务网络模型,包括:
根据第二子梯度获取第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度;
根据第二待更新主任务网络模型的梯度更新第二待更新主任务网络模型,以得到第三待更新主任务网络模型。
本实施例中,提供了一种具体的训练的方式,为了对抗学习的稳定性,待更新域分类网络模型的梯度不进行更新(即冻结待更新域分类网络模型的梯度,只更新第二待更新主任务网络模型的梯度)。即虽然会同时获取到第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度,但是仅对第二待更新主任务网络模型的梯度进行计算,从而得到第三待更新主任务网络模型。
更进一步地,本申请实施例中,提供了一种冻结参数进行模型训练的方法,即可以根据所述第二子梯度获取所述第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度,然后仅根据所述第二待更新主任务网络模型的梯度更新所述第二待更新主任务网络模型,以得到所述第三待更新主任务网络模型。通过上述方式,冻结待更新域分类网络模型的参数,只采用第二待更新主任务网络模型的参数进行模型更新,能够有效地提升模型学习的稳定性。
可选地,在上述图3对应的第一个实施例的基础上,本申请实施例提供的模型训练的方法第五个可选实施例中,采用第三损失函数、源域数据子集合、目标域数据子集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的子梯度,可以包括:
通过第三待更新主任务网络模型获取源域数据子集合中每个源域数据的热图,并通过第三待更新主任务网络模型获取目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及每个源域数据的热图,获取每个源域数据的预测数据,并通过待更新域分类网络模型以及每个目标域数据的热图,获取每个目标域数据的预测数据;
采用第三损失函数对每个源域数据的预测数据、每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据;
根据第三差异数据计算得到待更新域分类网络模型的子梯度。
本实施例中,将介绍一种计算第三子模型参数的方法,将主任务网络模型分为几个更新阶段,第一个阶段称为第一待更新主任务网络模型,第二个阶段称为第二待更新主任务网络模型,第三个阶段称为第三待更新主任务网络模型,下面将说明如何对待更新域分类网络模型进行更新,从而得的更新后的域分类网络模型。需要说明的是,在经过N次迭代后仅对待更新域分类网络模型进行一次更新。
具体地,首先将一个批量的目标域数据和一个批量的源标域数据入至第三待更新主任务网络模型,其中,一个批量的目标域数据可以称为目标域数据子集合,一个批量的源域数据可以称为源域数据子集合。由第三待更新主任务网络模型输出热图,包括每个源域数据的热图以及每个目标域数据的热图。然后将第三待更新主任务网络模型输出的热图输入至待更新域分类网络模型,由待更新域分类网络模型输出每个源域数据的预测数据和每个目标域数据的预测数据。利用第三损失函数对每个源域数据的预测数据、每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据,这个第三差异数据用于反映真实域标签和预测数据之间的差异大小。再利用第三差异数据在反向传播过程中用来计算第三待更新主任务网络模型的梯度以及待更新域分类网络模型的子梯度,该待更新域分类网络模型的子梯度乘以学习率再加上原有的模型参数即可完成一次模型参数的更新。多个待更新域分类网络模型的子梯度表示为待更新域分类网络模型的梯度。
为了对抗学习的稳定性,第三待更新主任务网络模型中的梯度不进行更新(即冻结第三待更新主任务网络模型的梯度,只更新待更新域分类网络模型的梯度)。即虽然会同时获取到第三待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度,但是仅对待更新域分类网络模型的子梯度进行计算。
再次,本申请实施例中,介绍了一种更新域分类网络模型的方法,即先通过第三待更新主任务网络模型获取源域数据子集合中每个源域数据的热图,并通过第三待更新主任务网络模型获取目标域数据子集合中每个目标域数据的热图,然后通过待更新域分类网络模型以及每个源域数据的热图,获取每个源域数据的预测数据,并通过待更新域分类网络模型以及每个目标域数据的热图,获取每个目标域数据的预测数据在,再采用第三损失函数对每个源域数据的预测数据、每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据,最后根据第三差异数据计算得到待更新域分类网络模型的子梯度。通过上述方式,利用第三损失函数能够高效准确地得到待更新域分类网络模型的子梯度,从而提升方案的可行性和可操作性。
可选地,在上述图3对应的第五个实施例的基础上,本申请实施例提供的模型训练的方法第六个可选实施例中,采用域分类网络模型的梯度更新域分类网络模型的参数,可以包括:
获取N个域分类网络模型的子梯度;
根据N个域分类网络模型的子梯度计算得到平均梯度;
采用平均梯度更新待更新域分类网络模型,得到域分类网络模型。
本实施例中,提供了一种模型更新的方式,即在完成N次迭代的子梯度收集之后,可以进行梯度平均,从而得到平均梯度。最后采用平均梯度更新待更新域分类网络模型,得到域分类网络模型。
可以理解的是,该策略等价于增大了域分类网络模型训练批量值,并且具有平衡的源域和目标域数据的效果。
进一步地,本申请实施例中,提供了一种冻结参数进行模型训练的方法,即可以先获取N个域分类网络模型的子梯度,然后根据N个域分类网络模型的子梯度计算得到平均梯度,最后采用平均梯度更新待更新域分类网络模型,得到域分类网络模型。通过上述方式,由于在进行域分类网络模型更新之前已经收集到多个批次数据的梯度,并取了平均值,这相当于使用了多个批次的数据,也就等于增加了批量值,与此同时,每次训练都采用了目标域数据和源域数据,从而改善了数据训练的平衡,解决了因为批量值过小和不平衡的训练方式导致收敛速度变慢的缺陷,由此优化训练性能。
下面将以实验数据对本申请提供的方法进行具体说明。其中,本申请使用公开数据集——计算机化信息******X光检查数字数据库(computer-based informationsystem digital database for screening mammography,CBIS-DDSM)的1231张钼靶影像作为源域数据集合,并实际采集了2194张实际钼靶影像作为目标域数据集合,其中282张用于测试,剩余的1912张用于训练。为了便于理解,请参阅图5,图5为本申请应用场景中多次迭代的自由响应接收者操作特征曲线的一个示意图,如图所示,针对本方案中提出的高效训练方法,我们首先验证了多个计数迭代次数(accum)对最终肿块病灶检测性能的影响,在测试集合上的具体结果如表1所示。
表1
accum 10 20 30 40 50 60 70 80
PAUC 0.8681 0.8803 0.8803 0.9083 0.8781 0.8694 0.8695 0.8754
[email protected] 0.9186 0.9251 0.9251 0.9479 0.9218 0.9153 0.9283 0.9251
秒/每次迭代 6.54 6.08 5.94 5.89 5.84 5.81 5.79 5.77
其中,当accum为10、20、30、40、50、60、70和80时,分别可以得到对应的自由响应接收者操作特征曲线的曲线下局部面积(free receiver operating characteristic areaunder curve,PAUC)以及每张图像中平均假阳性个数(false positives per image,FPI)为2时的真阳性率(true positive rate,TPR)。由上述测试的结果可以发现,当accum次迭代为40时,可以取得最佳的PAUC 0.9083和最佳的[email protected]。由一系列的accum次迭代值可以发现,增加accum可以提升检测性能,但是过大的accum对性能有损失,其原因是过大的accum使得域分类网络模型更新数量过少,最终使得对抗学***衡。因此,在我们的训练方法中选取合适的accum次迭代值是关键的步骤。
为了验证本方案的先进性,与现有方案的对比可见表2。
表2
技术方案 非域适应方案 对抗学习的语义分割域适应方案 本方案
PAUC 0.4114 0.8022 0.9083
[email protected] 0.6026 0.8339 0.9479
s/iter 3.88 15.56 5.89
由此可见,非域适应的方案在这类问题上的性能是最差的,因为源域数据集合和目标域数据集合之间的域差异会严重降低模型的性能。本方案采取了更高效的训练方式,在与对抗学习的语义分割域适应方法的方案对比中可以取得更优的性能和更快的训练速度。
下面对本申请中一个实施例所对应的医学图像检测装置进行详细描述,请参阅图6,图6为本申请实施例中医学图像检测装置一个实施例示意图,医学图像检测装置30包括:
获取模块301,用于获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
所述获取模块301,还用于通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
生成模块302,用于根据所述获取模块301获取的所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块。
本实施例中,获取模块301获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据,所述获取模块301通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据,生成模块302根据所述获取模块301获取的所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块。
本申请实施例中,提供了一种医学图像检测装置,首该医学图像检测装置获取待预测钼靶图像,其中,待预测钼靶图像属于目标域数据,然后通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值,其中,主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,域分类网络模型为通过源域数据集合以及目标域数据集合训练得到的,源域数据集合中的源域数据属于已标注的数据,目标域数据集合中的目标域数据属于未标注的数据,最后可以根据每个像素点属于病灶的概率值生成待预测钼靶图像的肿块检测结果,其中,肿块检测结果用于预测待预测钼靶图像中是否包含肿块。通过上述方式,利用域分类网络模型训练主任务网络模型,解决源域数据集合和目标域数据集合之间的域差异问题,显著地抑制数据集之间的域差异,从而使得训练得到的主任务网络模型在目标数据集合上获得优良的检测性能,提升预测效果。
可选地,在上述图6所对应的实施例的基础上,本申请实施例提供的医学图像检测装置30的另一实施例中,
所述获取模块301,具体用于通过所述主任务网络模型中的编码器对所述待预测钼靶图像进行编码处理,得到编码后的特征图,其中,所述到编码后的特征图的维度数小于所述待预测钼靶图像的维度数;
通过所述主任务网络模型中的解码器对所述编码后的特征图进行解码处理,得到热图,其中,所述热图的维度数与所述待预测钼靶图像的维度数一致;
根据所述热图获取所述每个像素点属于病灶的概率值。
其次,本申请实施例中,介绍一种通过主任务网络模型获取待预测钼靶图像中每个像素点属于病灶的概率值的医学图像检测装置,即先通过主任务网络模型中的编码器对待预测钼靶图像进行编码处理,得到编码后的特征图,然后通过主任务网络模型中的解码器对编码后的特征图进行解码处理,得到热图,最后可以根据热图获取每个像素点属于病灶的概率值。通过上述方式,能够根据热图确定待预测钼靶图像中每个像素点属于病灶的概率值,利用热图显式地展现了肿块病灶的显著区域,对热图使用阈值进行二值化处理,从而可以得到肿块显著区域的位置和轮廓。
可选地,在上述图6所对应的实施例的基础上,本申请实施例提供的医学图像检测装置30的另一实施例中,
所述获取模块301,具体用于获取低层特征图,其中,所述低层特征图为所述待预测钼靶图像通过所述主任务网络模型中的编码器各卷积层的特征图,所述低层特征图的的维度数小于所述待预测钼靶图像的维度数,且所述低层特征图的的维度数大于所述编码后的特征图的维度数;
将选定的所述低层特征图融合至所述主任务网络模型中的解码器,得到目标编码器;
通过所述目标编码器对所述编码后的特征图进行解码处理,得到热图。
再次,本申请实施例中,介绍一种通过主任务网络模型中得到热图的医学图像检测装置,即先获取低层特征图,其中,低层特征图为待预测钼靶图像通过主任务网络模型中的编码器各卷积层的特征图,低层特征图的的维度数小于待预测钼靶图像的维度数,且低层特征图的的维度数大于编码后的特征图的维度数,然后将低层特征图融合至主任务网络模型中的解码器,得到目标编码器,最后可以通过目标编码器对编码后的特征图进行解码处理,得到热图。通过上述方式,主任务网络模型中还使用了跳跃连接的方式将编码器中的低层特征图融合到解码器中,这样的网络结构可以获取到非线性的特征映射,从而融合了低层的视觉特征和高层的语义信息,增强了细节特征,从而提升了预测的准确度。
下面对本申请中一个实施例所对应的模型训练装置进行详细描述,请参阅图7,图7为本申请实施例中模型训练装置一个实施例示意图,模型训练装置40包括:
获取模块401,用于获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
训练模块402,用于采用第一损失函数和所述获取模块401获取的所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
所述训练模块402,还用于采用第二损失函数、所述获取模块401获取的所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
所述训练模块402,还用于采用第三损失函数、所述获取模块401获取的所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
更新模块403,用于采用所述训练模块402训练得到的所述域分类网络模型的梯度更新所述域分类网络模型的参数。
本实施例中,获取模块401获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据,训练模块402采用第一损失函数和所述获取模块401获取的所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数,所述训练模块402采用第二损失函数、所述获取模块401获取的所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数,所述训练模块402采用第三损失函数、所述获取模块401获取的所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数,更新模块403采用所述训练模块402训练得到的所述域分类网络模型的梯度更新所述域分类网络模型的参数。
本申请实施例中,提供了一种模型训练的方法,首先获取待训练钼靶图像集合,其中,待训练钼靶图像集合包括目标域数据集合以及源域数据集合,然后采用第一损失函数和源域数据集合对主任务网络模型进行训练,以得到主任务网络模型的第一梯度,其中,第一损失函数属于主任务网络模型的分割损失函数,主任务网络模型的第一梯度用于更新主任务网络模型的参数,再采用第二损失函数、目标域数据集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二梯度,其中,第二损失函数属于域分类网络模型的对抗学习损失函数,主任务网络模型的第二梯度用于更新主任务网络模型的参数,最后采用第三损失函数、源域数据集合、目标域数据集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的梯度,其中,第三损失函数属于域分类网络模型的分类损失函数,采用域分类网络模型的梯度更新域分类网络模型的参数。通过上述方式,同时使用完全标注的源数据集和完全无标注的目标数据集,能显著地抑制数据集之间的域差异,从而使得训练得到的主任务网络模型在目标域数据集上获得优良的性能,并且解决了因为在实际应用中,源域数据与目标域数据之间分布差异较大的问题。
可选地,在上述图7所对应的实施例的基础上,本申请实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于步骤1)采用第一损失函数和源域数据子集合对主任务网络模型进行训练,以得到主任务网络模型的第一子梯度,其中,源域数据子集合属于源域数据集合中的部分数据,第一子梯度属于第一梯度;
步骤2)采用第二损失函数、目标域数据子集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二子梯度,其中,目标域数据子集合属于目标域数据集合中的部分数据,第二子梯度属于第二梯度;
步骤3)采用第三损失函数、源域数据子集合、目标域数据子集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的子梯度;
重复执行步骤1)、步骤2)以及步骤3),直至达到N次时,执行采用域分类网络模型的梯度更新域分类网络模型的参数的步骤,其中,所述N为大于1的整数。
其次,本申请实施例中,提供了一种迭代训练的方式,即先采用第一损失函数和源域数据子集合对主任务网络模型进行训练,以得到主任务网络模型的第一子梯度,然后采用第二损失函数、目标域数据子集合以及域分类网络模型对主任务网络模型进行训练,以得到主任务网络模型的第二子梯度,再采用第三损失函数、源域数据子集合、目标域数据子集合以及主任务网络模型对域分类网络模型进行训练,以得到域分类网络模型的子梯度,重复执行上述步骤,直至达到N次时,执行采用域分类网络模型的梯度更新域分类网络模型的参数的步骤。通过上述方式,无需每次迭代都对域分类网络进行更新,而是在多次迭代后更新以此域分类网络,从而可以大幅地降低网络训练的计算量,且由于过多的域分类网络更新会降低总体的训练速度,因此,采用本实施例提供的训练方法还能够有效地提升训练的整体速度。
可选地,在上述图7所对应的实施例的基础上,本申请实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于通过第一待更新主任务网络模型获取所述源域数据子集合中每个源域数据所对应的热图;
采用所述第一损失函数对所述每个源域数据所对应的热图以及所述每个源域数据的真实数据进行计算,得到第一差异数据;
根据所述第一差异数据计算得到所述第一子梯度;
根据所述第一子梯度更新所述第一待更新主任务网络模型,以得到第二待更新主任务网络模型。
再次,本申请实施例中,提供了一种计算第一子模型参数的模型训练装置,即先通过第一待更新主任务网络模型获取源域数据子集合中每个源域数据所对应的热图,采用第一损失函数对每个源域数据所对应的热图以及每个源域数据的真实数据进行计算,得到第一差异数据,根据第一差异数据计算得到第一子梯度,根据第一子梯度更新第一待更新主任务网络模型,以得到第二待更新主任务网络模型。通过上述方式,利用第一损失函数能够高效准确地得到第一子梯度,从而提升方案的可行性和可操作性。
可选地,在上述图7所对应的实施例的基础上,本申请实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于通过所述第二待更新主任务网络模型获取所述目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第二损失函数对所述每个目标域数据的预测数据以及所述每个目标域数据的反转域标签进行计算,得到第二差异数据;
根据所述第二差异数据计算得到所述第二子梯度,其中,所述第二子梯度包括所述第二待更新主任务网络模型的梯度以及所述待更新域分类网络模型的梯度;
根据所述第二子梯度更新所述第二待更新主任务网络模型,以得到第三待更新主任务网络模型。
进一步地,本申请实施例中,提供了一种计算第二子梯度,即首先通过第二待更新主任务网络模型获取目标域数据子集合中每个目标域数据的热图,然后通过待更新域分类网络模型以及每个目标域数据的热图,获取每个目标域数据的预测数据,再采用第二损失函数对每个目标域数据的预测数据以及每个目标域数据的反转域标签进行计算,得到第二差异数据,最后根据第二差异数据计算得到第二子梯度,并根据第二子梯度更新第二待更新主任务网络模型,以得到第三待更新主任务网络模型。通过上述方式,利用第二损失函数能够高效准确地得到第二子梯度,从而提升方案的可行性和可操作性。
可选地,在上述图7所对应的实施例的基础上,本申请实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于根据所述第二子梯度获取所述第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度;
根据所述第二待更新主任务网络模型的梯度更新所述第二待更新主任务网络模型,以得到所述第三待更新主任务网络模型。
更进一步地,本申请实施例中,提供了一种冻结参数进行模型训练的方法,即可以根据所述第二子梯度获取所述第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度,然后仅根据所述第二待更新主任务网络模型的梯度更新所述第二待更新主任务网络模型,以得到所述第三待更新主任务网络模型。通过上述方式,冻结待更新域分类网络模型的参数,只采用第二待更新主任务网络模型的参数进行模型更新,能够有效地提升模型学习的稳定性。
可选地,在上述图7所对应的实施例的基础上,本申请实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于通过第三待更新主任务网络模型获取所述源域数据子集合中每个源域数据的热图,并通过所述第三待更新主任务网络模型获取所述目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及所述每个源域数据的热图,获取所述每个源域数据的预测数据,并通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第三损失函数对所述每个源域数据的预测数据、所述每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据;
根据所述第三差异数据计算得到所述待更新域分类网络模型的子梯度。
再次,本申请实施例中,介绍了一种更新域分类网络模型的方法,即先通过第三待更新主任务网络模型获取源域数据子集合中每个源域数据的热图,并通过第三待更新主任务网络模型获取目标域数据子集合中每个目标域数据的热图,然后通过待更新域分类网络模型以及每个源域数据的热图,获取每个源域数据的预测数据,并通过待更新域分类网络模型以及每个目标域数据的热图,获取每个目标域数据的预测数据在,再采用第三损失函数对每个源域数据的预测数据、每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据,最后根据第三差异数据计算得到待更新域分类网络模型的子梯度。通过上述方式,利用第三损失函数能够高效准确地得到待更新域分类网络模型的子梯度,从而提升方案的可行性和可操作性。
可选地,在上述图7所对应的实施例的基础上,本申请实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于获取N个所述域分类网络模型的子梯度;
根据N个所述域分类网络模型的子梯度计算得到平均梯度;
采用所述平均梯度更新所述待更新域分类网络模型,得到所述域分类网络模型。
进一步地,本申请实施例中,提供了一种冻结参数进行模型训练的方法,即可以先获取N个域分类网络模型的子梯度,然后根据N个域分类网络模型的子梯度计算得到平均梯度,最后采用平均梯度更新待更新域分类网络模型,得到域分类网络模型。通过上述方式,由于在进行域分类网络模型更新之前已经收集到多个批次数据的梯度,并取了平均值,这相当于使用了多个批次的数据,也就等于增加了批量值,与此同时,每次训练都采用了目标域数据和源域数据,从而改善了数据训练的平衡,解决了因为批量值过小和不平衡的训练方式导致收敛速度变慢的缺陷,由此优化训练性能。
本申请实施例还提供了另一种医学图像检测装置,如图8所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为医疗检测设备为例:
图8示出的是与本申请实施例提供的终端相关的医疗检测设备的部分结构的框图。参考图8,医疗检测设备包括:射频(radio frequency,RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity,WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解,图8中示出的医疗检测设备结构并不构成对医疗检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图8对医疗检测设备的各个构成部件进行具体的介绍:
RF电路510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器580处理;另外,将设计上行的数据发送给基站。通常,RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器520可用于存储软件程序以及模块,处理器580通过运行存储在存储器520的软件程序以及模块,从而执行医疗检测设备的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据医疗检测设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息,以及产生与医疗检测设备的用户设置以及功能控制有关的键信号输入。具体地,输入单元530可包括触控面板531以及其他输入设备532。触控面板531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器580,并能接收处理器580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531,输入单元530还可以包括其他输入设备532。具体地,其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及医疗检测设备的各种菜单。显示单元540可包括显示面板541,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板541。进一步的,触控面板531可覆盖显示面板541,当触控面板531检测到在其上或附近的触摸操作后,传送给处理器580以确定触摸事件的类型,随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图8中,触控面板531与显示面板541是作为两个独立的部件来实现医疗检测设备的输入和输入功能,但是在某些实施例中,可以将触控面板531与显示面板541集成而实现医疗检测设备的输入和输出功能。
医疗检测设备还可包括至少一种传感器550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板541的亮度,接近传感器可在医疗检测设备移动到耳边时,关闭显示面板541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别医疗检测设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于医疗检测设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路560、扬声器561,传声器562可提供用户与医疗检测设备之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号,传输到扬声器561,由扬声器561转换为声音信号输出;另一方面,传声器562将收集的声音信号转换为电信号,由音频电路560接收后转换为音频数据,再将音频数据输出处理器580处理后,经RF电路510以发送给比如另一医疗检测设备,或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术,医疗检测设备通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块570,但是可以理解的是,其并不属于医疗检测设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是医疗检测设备的控制中心,利用各种接口和线路连接整个医疗检测设备的各个部分,通过运行或执行存储在存储器520内的软件程序和/或模块,以及调用存储在存储器520内的数据,执行医疗检测设备的各种功能和处理数据,从而对医疗检测设备进行整体监控。可选的,处理器580可包括一个或多个处理单元;可选的,处理器580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器580中。
医疗检测设备还包括给各个部件供电的电源590(比如电池),可选的,电源可以通过电源管理***与处理器580逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出,医疗检测设备还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该医疗检测设备所包括的处理器580还具有以下功能:
获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
根据所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块。
可选地,处理器580具体用于执行如下功能:
通过所述主任务网络模型中的编码器对所述待预测钼靶图像进行编码处理,得到编码后的特征图,其中,所述到编码后的特征图的维度数小于所述待预测钼靶图像的维度数;
通过所述主任务网络模型中的解码器对所述编码后的特征图进行解码处理,得到热图,其中,所述热图的维度数与所述待预测钼靶图像的维度数一致;
根据所述热图获取所述每个像素点属于病灶的概率值。
可选地,处理器580具体用于执行如下功能:
获取低层特征图,其中,所述低层特征图为所述待预测钼靶图像通过所述主任务网络模型中的编码器各卷积层的特征图,所述低层特征图的的维度数小于所述待预测钼靶图像的维度数,且所述低层特征图的的维度数大于所述编码后的特征图的维度数;
将选定的所述低层特征图融合至所述主任务网络模型中的解码器,得到目标编码器;
通过所述目标编码器对所述编码后的特征图进行解码处理,得到热图。
图9是本申请实施例提供的一种服务器结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(central processingunits,CPU)622(例如,一个或一个以上处理器)和存储器632,一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器622可以设置为与存储介质630通信,在服务器600上执行存储介质630中的一系列指令操作。
服务器600还可以包括一个或一个以上电源626,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口658,和/或,一个或一个以上操作***641,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图9所示的服务器结构。
在本申请实施例中,该服务器所包括的CPU 622还具有以下功能:
获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
采用第一损失函数和所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
采用第二损失函数、所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
采用第三损失函数、所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
采用所述域分类网络模型的梯度更新所述域分类网络模型的参数。
可选地,CPU 622具体用于执行如下功能:
步骤1)采用所述第一损失函数和源域数据子集合对所述主任务网络模型进行训练,以得到所述主任务网络模型的第一子梯度,其中,所述源域数据子集合属于所述源域数据集合中的部分数据,所述第一子梯度属于所述第一梯度;
步骤2)采用所述第二损失函数、目标域数据子集合以及所述域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二子梯度,其中,所述目标域数据子集合属于所述目标域数据集合中的部分数据,所述第二子梯度属于所述第二梯度;
步骤3)采用所述第三损失函数、所述源域数据子集合、所述目标域数据子集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的子梯度;
重复执行步骤1)、步骤2)以及步骤3),直至达到N次时,执行所述采用所述域分类网络模型的梯度更新所述域分类网络模型的参数的步骤,其中,所述N为大于1的整数。
可选地,CPU 622具体用于执行如下功能:
通过第一待更新主任务网络模型获取所述源域数据子集合中每个源域数据所对应的热图;
采用所述第一损失函数对所述每个源域数据所对应的热图以及所述每个源域数据的真实数据进行计算,得到第一差异数据;
根据所述第一差异数据计算得到所述第一子梯度;
根据所述第一子梯度更新所述第一待更新主任务网络模型,以得到第二待更新主任务网络模型。
可选地,CPU 622具体用于执行如下功能:
通过所述第二待更新主任务网络模型获取所述目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第二损失函数对所述每个目标域数据的预测数据以及所述每个目标域数据的反转域标签进行计算,得到第二差异数据;
根据所述第二差异数据计算得到所述第二子梯度,其中,所述第二子梯度包括所述第二待更新主任务网络模型的梯度以及所述待更新域分类网络模型的梯度;
根据所述第二子梯度更新所述第二待更新主任务网络模型,以得到第三待更新主任务网络模型。
可选地,CPU 622具体用于执行如下功能:
根据所述第二子梯度获取所述第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度;
根据所述第二待更新主任务网络模型的梯度更新所述第二待更新主任务网络模型,以得到所述第三待更新主任务网络模型。
可选地,CPU 622具体用于执行如下功能:
通过待更新域分类网络模型以及所述每个源域数据的热图,获取所述每个源域数据的预测数据,并通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第三损失函数对所述每个源域数据的预测数据、所述每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据;
根据所述第三差异数据计算得到所述待更新域分类网络模型的子梯度。
可选地,CPU 622具体用于执行如下功能:
获取N个所述域分类网络模型的子梯度;
根据N个所述域分类网络模型的子梯度计算得到平均梯度;
采用所述平均梯度更新所述待更新域分类网络模型,得到所述域分类网络模型。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种基于医学图像的病灶检测方法,其特征在于,包括:
获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
根据所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块。
2.根据权利要求1所述的病灶检测方法,其特征在于,所述通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,包括:
通过所述主任务网络模型中的编码器对所述待预测钼靶图像进行编码处理,得到编码后的特征图,其中,所述到编码后的特征图的维度数小于所述待预测钼靶图像的维度数;
通过所述主任务网络模型中的解码器对所述编码后的特征图进行解码处理,得到热图,其中,所述热图的维度数与所述待预测钼靶图像的维度数一致;
根据所述热图获取所述每个像素点属于病灶的概率值。
3.根据权利要求2所述的病灶检测方法,其特征在于,所述通过所述主任务网络模型中的解码器对所述编码后的特征图进行解码处理,得到热图,包括:
获取低层特征图,其中,所述低层特征图为所述待预测钼靶图像通过所述主任务网络模型中的编码器各卷积层的特征图,所述低层特征图的的维度数小于所述待预测钼靶图像的维度数,且所述低层特征图的的维度数大于所述编码后的特征图的维度数;
将选定的所述低层特征图融合至所述主任务网络模型中的解码器,得到目标编码器;
通过所述目标编码器对所述编码后的特征图进行解码处理,得到热图。
4.一种模型训练的方法,其特征在于,包括:
获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
采用第一损失函数和所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
采用第二损失函数、所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
采用第三损失函数、所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
采用所述域分类网络模型的梯度更新所述域分类网络模型的参数。
5.根据权利要求4所述的方法,其特征在于,所述主任务网络模型为全卷积神经网络模型;
所述第一损失函数为所述全卷积神经网络模型后端的分割损失函数;
所述第二损失函数为所述域分类网络模型后端的对抗学习损失函数;
所述第三损失函数为所述域分类网络模型后端的分类损失函数。
6.根据权利要求4或5所述的方法,其特征在于,所述采用第一损失函数和所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,包括:
步骤1)采用所述第一损失函数和源域数据子集合对所述主任务网络模型进行训练,以得到所述主任务网络模型的第一子梯度,其中,所述源域数据子集合属于所述源域数据集合中的部分数据,所述第一子梯度属于所述第一梯度;
所述采用第二损失函数、所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,包括:
步骤2)采用所述第二损失函数、目标域数据子集合以及所述域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二子梯度,其中,所述目标域数据子集合属于所述目标域数据集合中的部分数据,所述第二子梯度属于所述第二梯度;
所述采用第三损失函数、所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,包括:
步骤3)采用所述第三损失函数、所述源域数据子集合、所述目标域数据子集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的子梯度;
重复执行步骤1)、步骤2)以及步骤3),直至达到N次时,执行所述采用所述域分类网络模型的梯度更新所述域分类网络模型的参数的步骤,其中,所述N为大于1的整数。
7.根据权利要求6所述的方法,其特征在于,所述采用所述第一损失函数和源域数据子集合对所述主任务网络模型进行训练,以得到所述主任务网络模型的第一子梯度,包括:
通过第一待更新主任务网络模型获取所述源域数据子集合中每个源域数据所对应的热图;
采用所述第一损失函数对所述每个源域数据所对应的热图以及所述每个源域数据的真实数据进行计算,得到第一差异数据;
根据所述第一差异数据计算得到所述第一子梯度;
根据所述第一子梯度更新所述第一待更新主任务网络模型,以得到第二待更新主任务网络模型。
8.根据权利要求7所述的方法,其特征在于,所述采用所述第二损失函数、目标域数据子集合以及所述域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二子梯度,包括:
通过所述第二待更新主任务网络模型获取所述目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第二损失函数对所述每个目标域数据的预测数据以及所述每个目标域数据的反转域标签进行计算,得到第二差异数据;
根据所述第二差异数据计算得到所述第二子梯度,其中,所述第二子梯度包括所述第二待更新主任务网络模型的梯度以及所述待更新域分类网络模型的梯度;
根据所述第二子梯度更新所述第二待更新主任务网络模型,以得到第三待更新主任务网络模型。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第二子梯度更新所述第二待更新主任务网络模型,以得到第三待更新主任务网络模型,包括:
根据所述第二子梯度获取所述第二待更新主任务网络模型的梯度以及待更新域分类网络模型的梯度;
根据所述第二待更新主任务网络模型的梯度更新所述第二待更新主任务网络模型,以得到所述第三待更新主任务网络模型。
10.根据权利要求6所述的方法,其特征在于,所述采用所述第三损失函数、所述源域数据子集合、所述目标域数据子集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的子梯度,包括:
通过第三待更新主任务网络模型获取所述源域数据子集合中每个源域数据的热图,并通过所述第三待更新主任务网络模型获取所述目标域数据子集合中每个目标域数据的热图;
通过待更新域分类网络模型以及所述每个源域数据的热图,获取所述每个源域数据的预测数据,并通过待更新域分类网络模型以及所述每个目标域数据的热图,获取所述每个目标域数据的预测数据;
采用所述第三损失函数对所述每个源域数据的预测数据、所述每个目标域数据的预测数据、第一真实域标签以及第二真实域标签进行计算,得到第三差异数据;
根据所述第三差异数据计算得到所述待更新域分类网络模型的子梯度。
11.一种医学图像检测装置,其特征在于,包括:
获取模块,用于获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
所述获取模块,还用于通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
生成模块,用于根据所述获取模块获取的所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块。
12.一种模型训练装置,其特征在于,包括:
获取模块,用于获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
训练模块,用于采用第一损失函数和所述获取模块获取的所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
所述训练模块,还用于采用第二损失函数、所述获取模块获取的所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
所述训练模块,还用于采用第三损失函数、所述获取模块获取的所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
更新模块,用于采用所述训练模块训练得到的所述域分类网络模型的梯度更新所述域分类网络模型的参数。
13.一种医疗检测设备,其特征在于,包括:存储器、收发器、处理器以及总线***;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待预测钼靶图像,其中,所述待预测钼靶图像属于目标域数据;
通过主任务网络模型获取所述待预测钼靶图像中每个像素点属于病灶的概率值,其中,所述主任务网络模型为通过源域数据集合以及域分类网络模型训练得到的,所述域分类网络模型为通过所述源域数据集合以及目标域数据集合训练得到的,所述源域数据集合中的源域数据属于已标注的数据,所述目标域数据集合中的目标域数据属于未标注的数据;
根据所述每个像素点属于病灶的概率值生成所述待预测钼靶图像的肿块检测结果,其中,所述肿块检测结果用于预测所述待预测钼靶图像中是否包含肿块;
所述总线***用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
14.一种服务器,其特征在于,包括:存储器、收发器、处理器以及总线***;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练钼靶图像集合,其中,所述待训练钼靶图像集合包括目标域数据集合以及源域数据集合,所述目标域数据集合包括至少一个目标域数据,所述源域数据集合包括至少一个源域数据,所述源域数据属于已标注的数据,所述目标域数据属于未标注的数据;
采用第一损失函数和所述源域数据集合对主任务网络模型进行训练,以得到所述主任务网络模型的第一梯度,其中,所述第一损失函数属于所述主任务网络模型的分割损失函数,所述主任务网络模型的第一梯度用于更新所述主任务网络模型的参数;
采用第二损失函数、所述目标域数据集合以及域分类网络模型对所述主任务网络模型进行训练,以得到所述主任务网络模型的第二梯度,其中,所述第二损失函数属于所述域分类网络模型的对抗学习损失函数,所述主任务网络模型的第二梯度用于更新所述主任务网络模型的参数;
采用第三损失函数、所述源域数据集合、所述目标域数据集合以及所述主任务网络模型对所述域分类网络模型进行训练,以得到所述域分类网络模型的梯度,其中,所述第三损失函数属于所述域分类网络模型的分类损失函数;
采用所述域分类网络模型的梯度更新所述域分类网络模型的参数;
所述总线***用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至3中任一项所述的方法,或执行如权利要求4至10中任一项所述的方法。
CN201910833614.0A 2019-01-29 2019-09-04 基于医学图像的病灶检测方法、模型训练的方法及装置 Active CN110414631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910087685 2019-01-29
CN2019100876850 2019-01-29

Publications (2)

Publication Number Publication Date
CN110414631A true CN110414631A (zh) 2019-11-05
CN110414631B CN110414631B (zh) 2022-02-01

Family

ID=68370154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910833614.0A Active CN110414631B (zh) 2019-01-29 2019-09-04 基于医学图像的病灶检测方法、模型训练的方法及装置

Country Status (1)

Country Link
CN (1) CN110414631B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091127A (zh) * 2019-12-16 2020-05-01 腾讯科技(深圳)有限公司 一种图像检测方法、网络模型训练方法以及相关装置
CN111341441A (zh) * 2020-03-02 2020-06-26 刘四花 一种肠胃科病模型构建方法及诊断***
CN111428770A (zh) * 2020-03-19 2020-07-17 苏州杰锐思智能科技股份有限公司 网络模型训练及电感缺陷识别方法、装置、电子设备
CN112215255A (zh) * 2020-09-08 2021-01-12 深圳大学 一种目标检测模型的训练方法、目标检测方法及终端设备
CN113241156A (zh) * 2021-06-04 2021-08-10 华中科技大学 一种基于检测指导的骨科病灶计数网络的标注方法及***
WO2022022233A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 Ai模型更新的方法、装置、计算设备和存储介质
CN114332128A (zh) * 2021-12-30 2022-04-12 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
CN114445670A (zh) * 2022-04-11 2022-05-06 腾讯科技(深圳)有限公司 图像处理模型的训练方法、装置、设备及存储介质
CN114882372A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标检测的方法及设备
CN115375955A (zh) * 2022-10-25 2022-11-22 北京鹰瞳科技发展股份有限公司 目标检测模型的训练方法、目标检测的方法及相关产品
CN115439699A (zh) * 2022-10-25 2022-12-06 北京鹰瞳科技发展股份有限公司 目标检测模型的训练方法、目标检测的方法及相关产品
CN116128863A (zh) * 2023-03-01 2023-05-16 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294506A (zh) * 2015-06-10 2017-01-04 华中师范大学 领域自适应的观点数据分类方法及装置
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108399431A (zh) * 2018-02-28 2018-08-14 国信优易数据有限公司 分类模型训练方法以及分类方法
CN108596174A (zh) * 2018-04-28 2018-09-28 中南大学 一种皮肤病影像的病灶定位方法
CN108647741A (zh) * 2018-05-18 2018-10-12 湖北工业大学 一种基于迁移学习的图像分类方法和***
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN108846444A (zh) * 2018-06-23 2018-11-20 重庆大学 面向多源数据挖掘的多阶段深度迁移学习方法
CN109102496A (zh) * 2018-07-10 2018-12-28 武汉科技大学 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置
CN109168003A (zh) * 2018-09-04 2019-01-08 中国科学院计算技术研究所 一种生成用于视频预测的神经网络模型的方法
CN109165725A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109189921A (zh) * 2018-08-07 2019-01-11 阿里巴巴集团控股有限公司 评论评估模型的训练方法和装置
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
CN106294506A (zh) * 2015-06-10 2017-01-04 华中师范大学 领域自适应的观点数据分类方法及装置
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108399431A (zh) * 2018-02-28 2018-08-14 国信优易数据有限公司 分类模型训练方法以及分类方法
CN108596174A (zh) * 2018-04-28 2018-09-28 中南大学 一种皮肤病影像的病灶定位方法
CN108647741A (zh) * 2018-05-18 2018-10-12 湖北工业大学 一种基于迁移学习的图像分类方法和***
CN108846444A (zh) * 2018-06-23 2018-11-20 重庆大学 面向多源数据挖掘的多阶段深度迁移学习方法
CN109102496A (zh) * 2018-07-10 2018-12-28 武汉科技大学 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置
CN109189921A (zh) * 2018-08-07 2019-01-11 阿里巴巴集团控股有限公司 评论评估模型的训练方法和装置
CN109165725A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109168003A (zh) * 2018-09-04 2019-01-08 中国科学院计算技术研究所 一种生成用于视频预测的神经网络模型的方法
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENG C ET AL.: "Semantic-Aware Generative Adversarial Nets for Unsupervised Domain Adaptation in Chest X-Ray Segmentation", 《HTTPS://ARXIV.ORG/ABS/1806.00600V2》 *
GANIN Y. ET AL.: "Domain-Adversarial Training of Neural Networks", 《 ADVANCES IN COMPUTER VISION AND PATTERN RECOGNITION》 *
KAMNITSAS K ET AL.: "Unsupervised Domain Adaptation in Brain Lesion Segmentation with Adversarial Networks", 《HTTPS://ARXIV.ORG/ABS/1612.08894V1》 *
姜云鹏: "面向医疗图像诊断的迁移学习策略", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
季卫萍: "乳腺钼靶图像癌变区域分类与检测的深度计算", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091127A (zh) * 2019-12-16 2020-05-01 腾讯科技(深圳)有限公司 一种图像检测方法、网络模型训练方法以及相关装置
CN111341441A (zh) * 2020-03-02 2020-06-26 刘四花 一种肠胃科病模型构建方法及诊断***
CN111428770A (zh) * 2020-03-19 2020-07-17 苏州杰锐思智能科技股份有限公司 网络模型训练及电感缺陷识别方法、装置、电子设备
WO2022022233A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 Ai模型更新的方法、装置、计算设备和存储介质
CN112215255A (zh) * 2020-09-08 2021-01-12 深圳大学 一种目标检测模型的训练方法、目标检测方法及终端设备
CN112215255B (zh) * 2020-09-08 2023-08-18 深圳大学 一种目标检测模型的训练方法、目标检测方法及终端设备
CN113241156A (zh) * 2021-06-04 2021-08-10 华中科技大学 一种基于检测指导的骨科病灶计数网络的标注方法及***
CN113241156B (zh) * 2021-06-04 2024-04-23 华中科技大学 一种基于检测指导的骨科病灶计数网络的标注方法及***
CN114332128B (zh) * 2021-12-30 2022-07-26 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
CN114332128A (zh) * 2021-12-30 2022-04-12 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
CN114445670A (zh) * 2022-04-11 2022-05-06 腾讯科技(深圳)有限公司 图像处理模型的训练方法、装置、设备及存储介质
CN114882372A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标检测的方法及设备
CN115375955A (zh) * 2022-10-25 2022-11-22 北京鹰瞳科技发展股份有限公司 目标检测模型的训练方法、目标检测的方法及相关产品
CN115439699A (zh) * 2022-10-25 2022-12-06 北京鹰瞳科技发展股份有限公司 目标检测模型的训练方法、目标检测的方法及相关产品
CN116128863A (zh) * 2023-03-01 2023-05-16 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116128863B (zh) * 2023-03-01 2023-09-12 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备

Also Published As

Publication number Publication date
CN110414631B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110414631A (zh) 基于医学图像的病灶检测方法、模型训练的方法及装置
CN111598900B (zh) 一种图像区域分割模型训练方法、分割方法和装置
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
US20220036135A1 (en) Method and apparatus for determining image to be labeled and model training method and apparatus
US10734107B2 (en) Image search device, image search method, and image search program
CN109919230B (zh) 基于循环特征金字塔的医学图像肺结节检测方法
CN110504029A (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN109934220B (zh) 一种影像兴趣点的展示方法、装置及终端
CN110491480A (zh) 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及***
CN111091127A (zh) 一种图像检测方法、网络模型训练方法以及相关装置
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
CN108268870A (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110443794B (zh) 一种基于病理图像的图像状态确定方法、装置以及***
CN110377779A (zh) 图像标注的方法、基于病理图像的标注展示方法及装置
WO2020110519A1 (ja) 類似度決定装置、方法およびプログラム
CN116703901B (zh) 肺部医学ct影像分割及分类装置及设备
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN109559303A (zh) 钙化点的识别方法、装置和计算机可读存储介质
CN110197206A (zh) 图像处理的方法及装置
CN113449791B (zh) 基于深度学习的肺炎图像分类方法及***
CN110517771A (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN113724188A (zh) 一种病灶图像的处理方法以及相关装置
CN116665896A (zh) 预测乳腺癌腋窝***转移的模型建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant