CN111539947A - 图像检测方法及相关模型的训练方法和相关装置、设备 - Google Patents

图像检测方法及相关模型的训练方法和相关装置、设备 Download PDF

Info

Publication number
CN111539947A
CN111539947A CN202010362766.XA CN202010362766A CN111539947A CN 111539947 A CN111539947 A CN 111539947A CN 202010362766 A CN202010362766 A CN 202010362766A CN 111539947 A CN111539947 A CN 111539947A
Authority
CN
China
Prior art keywords
detection model
image
organ
medical image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010362766.XA
Other languages
English (en)
Other versions
CN111539947B (zh
Inventor
黄锐
胡志强
张少霆
李鸿升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shangtang Shancui Medical Technology Co ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010362766.XA priority Critical patent/CN111539947B/zh
Publication of CN111539947A publication Critical patent/CN111539947A/zh
Priority to JP2021576932A priority patent/JP2022538137A/ja
Priority to PCT/CN2020/140325 priority patent/WO2021218215A1/zh
Priority to KR1020217043241A priority patent/KR20220016213A/ko
Priority to TW110109420A priority patent/TW202145249A/zh
Application granted granted Critical
Publication of CN111539947B publication Critical patent/CN111539947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种图像检测方法及相关模型的训练方法和相关装置、设备,其中,图像检测模型的训练方法包括:获取样本医学图像,样本医学图像伪标注出至少一个未标注器官的实际区域;利用原始检测模型对样本医学图像进行检测以得到包括未标注器官的第一预测区域的第一检测结果;利用图像检测模型对样本医学图像进行检测以得到包括未标注器官的第二预测区域的第二检测结果,图像检测模型的网络参数是基于原始检测模型的网络参数确定的;利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数。上述方案,能够在多器官检测时,提高检测准确性。

Description

图像检测方法及相关模型的训练方法和相关装置、设备
技术领域
本申请涉及人工智能技术领域,特别是涉及一种图像检测方法及相关模型的训练方法和相关装置、设备。
背景技术
CT(Computed Tomography,计算机断层扫描)和MRI(Magnetic ResonanceImaging,核磁共振扫描)等医学图像在临床具有重要意义。其中,在CT、MRI等医学图像上进行多器官检测,以确定医学图像上各器官对应的区域,在临床实践中具有广泛的应用,例如,计算机辅助诊断、放疗计划制定等。故此,训练出适用于多器官检测的图像检测模型具有较高的应用价值。
目前,模型训练依赖于大量的具有标注的数据集。然而,在医疗影像领域,获得大量的高质量的多器官标注是非常耗时耗力的,而且通常只有经验丰富的放射科医生才有能力对数据进行标注。受限于此,现有的图像检测模型在进行多器官检测时,往往存在准确性低的问题。有鉴于此,如何在多器官检测时,提高检测准确性成为亟待解决的问题。
发明内容
本申请提供一种图像检测方法及相关模型的训练方法和相关装置、设备。
本申请第一方面提供了一种图像检测模型的训练方法,包括:获取样本医学图像,其中,样本医学图像伪标注出至少一个未标注器官的实际区域;利用原始检测模型对样本医学图像进行检测以得到第一检测结果,其中,第一检测结果包括未标注器官的第一预测区域;以及,利用图像检测模型对样本医学图像进行检测以得到第二检测结果,其中,第二检测结果包括未标注器官的第二预测区域,图像检测模型的网络参数是基于原始检测模型的网络参数确定的;利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数。
因此,通过获取样本医学图像,且样本医学图像伪标注出至少一个未标注器官的实际区域,故样本医学图像中无需对多器官进行真实标注,从而利用原始检测模型对样本医学图像检测检测以得到包含未标注器官的第一预设区域的第一检测结果,并利用图像检测模型对样本医学图像进行检测以得到包含未标注器官的第二预测区域的第二检测结果,进而利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数,且图像检测模型的网络参数是基于原始检测模型的网络参数确定的,故能够使得图像检测模型监督原始检测模型的训练,故能够约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性,从而使得图像检测模型得以准确地监督原始检测模型进行训练,进而使得原始检测模型在训练过程中能够准确地调整其网络参数,故此,能够在多器官检测时,提升图像检测模型的检测准确性。
其中,原始检测模型包括第一原始检测模型和第二原始检测模型,图像检测模型包括与第一原始检测模型对应的第一图像检测模型和与第二原始检测模型对应的第二图像检测模型;利用原始检测模型对样本医学图像进行检测以得到第一检测结果,包括:分别利用第一原始检测模型和第二原始检测模型执行对样本医学图像进行检测以得到第一检测结果的步骤;利用图像检测模型对样本医学图像进行检测以得到第二检测结果,包括:分别利用第一图像检测模型和第二图像检测模型执行对样本医学图像进行检测以得到第二检测结果的步骤;利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数,包括:利用第一原始检测模型的第一预测区域分别与实际区域、第二图像检测模型的第二预测区域之间的差异,调整第一原始检测模型的网络参数;以及,利用第二原始检测模型的第一预测区域分别与实际区域、第一图像检测模型的第二预测区域之间的差异,调整第二原始检测模型的网络参数。
因此,将原始检测模型设置为包括第一原始检测模型和第二原始检测模型,且图像检测模型设置为包括与第一原始检测模型对应的第一图像检测模型和与第二原始检测模型对应的第二图像检测模型,并分别利用第一原始检测模型和第二原始检测模型执行对样本医学图像进行检测以得到第一检测结果的步骤,并分别利用第一图像检测模型和第二检测模型执行对样本医学图像进行检测以得到第二检测结果的步骤,从而利用第一原始检测模型的第一预测区域分别与实际区域、第二图像检测模型的第二预测区域之间的差异,调整第一原始检测模型的网络参数,并利用第二原始检测模型的第一预测区域分别与实际区域、第一图像检测模型的第二预测区域之间的差异,调整第二原始检测模型的网络参数,故能够利用与第一原始检测模型对应的第一图像检测模型监督第二原始检测模型的训练,利用与第二原始检测模型对应的第二图像检测模型监督第一原始检测模型的训练,故能够进一步约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性。
其中,利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数包括:利用第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值;以及,利用第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值;利用第一损失值和第二损失值,调整原始检测模型的网络参数。
因此,通过第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值,并通过第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值,并利用第一损失值和第二损失值,调整原始检测模型的网络参数,从而能够从原始检测模型预测出的第一预测区域分别和伪标注的实际区域、对应的图像检测模型预测出的第二预测区域之间差异这两个维度来度量原始检测模型的损失,有利于提高损失计算的准确性,从而能够有利于提高原始检测模型网络参数的准确性,进而能够有利于提升图像检测模型的准确性。
其中,利用第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值包括:利用焦点损失函数对第一预测区域和实际区域进行处理,得到焦点第一损失值;和/或,利用集合相似度损失函数对第一预测区域和实际区域进行处理,得到集合相似度第一损失值;和/或,利用第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值包括:利用一致性损失函数对第一预测区域和第二预测区域进行处理,得到第二损失值;和/或,利用第一损失值和第二损失值,调整原始检测模型的网络参数包括:对第一损失值和第二损失值进行加权处理,得到加权损失值;利用加权损失值,调整原始检测模型的网络参数。
因此,通过利用焦点损失函数对第一预测区域和实际区域进行处理,得到焦点第一损失值,能够使得模型提升对于难样本的关注度,从而能够有利于提高图像检测模型的准确性;通过利用集合相似度损失函数对第一预测区域和实际区域进行处理,得到集合相似度第一损失值,能够使得模型拟合伪标注的实际区域,从而能够有利于提高图像检测模型的准确性;通过利用一致性损失函数对第一预测区域和第二预测区域进行处理,得到第二损失值,从而能够提高原始模型和图像检测模型预测的一致性,进而能够有利于提高图像检测模型的准确性;通过对第一损失值和第二损失值进行加权处理,得到加权损失值,并利用加权损失值,调整原始检测模型的网络参数,能够平衡各损失值在训练过程中的重要程度,从而能够提高网络参数的准确性,进而能够有利于提高图像检测模型的准确性。
其中,样本医学图像中还包含已标注器官的实际区域,第一检测结果还包括已标注器官的第一预测区域,第二检测结果还包括已标注器官的第二预测区域;利用第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值,包括:利用未标注器官和已标注器官的第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值;利用第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值,包括:利用未标注器官的第一预测区域和对应第二预测区域之间的差异,确定原始检测模型的第二损失值。
因此,通过在样本医学图像中设置已标注器官的实际区域,且第一检测结果中还包括已标注器官的第一预测区域,第二检测结果还包括已标注器官的第二预测区域,并在确定原始检测模型的第一损失值时,综合考虑第一预测区域和实际区域之间的差异,而在确定原始检测模型的第二损失值时,只考虑未标注器官的第一预测区域和对应的第二预测区域之间的差异,从而能够提升原始检测模型和图像检测模型一致性约束的鲁棒性,进而能够提高图像检测模型的准确性。
其中,利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数之后,还包括:利用本次训练以及之前若干次训练时调整后的网络参数,对图像检测模型的网络参数进行更新。
因此,通过利用原始检测模型在本次训练以及之前若干次训练时调整后的网络参数,对图像检测模型的网络参数进行更新,能够进一步约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性。
其中,利用本次训练以及之前若干次训练时调整后的网络参数,对图像检测模型的网络参数进行更新,包括:统计原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值;将图像检测模型的网络参数更新为对应的原始检测模型的网络参数的平均值。
因此,通过统计原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值,并将图像检测模型的网络参数更新为对应的原始检测模型的网络参数的平均值,能够有利于快速地约束多次训练过程中所产生的累积误差,提升图像检测模型的准确性。
其中,获取样本医学图像包括:获取待伪标注医学图像,其中,待伪标注医学图像存在至少一个未标注器官;分别利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测,以得到每个未标注器官的器官预测区域;将未标注器官的器官预测区域伪标注为未标注器官的实际区域,并将伪标注后的待伪标注医学图像作为样本医学图像。
因此,通过获取存在至少一个未标注器官的待伪标注医学图像,并利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测,以得到每个未标注器官的器官预测区域,并将未标注器官的器官预测区域伪标注为未标注器官的实际区域,将伪标注后的待伪标注医学图像作为样本医学图像,能够利用单器官检测模型免去人工对多器官进行标注的工作量,从而能够有利于降低训练用于多器官检测的图像检测模型的人工成本,并提升训练的效率。
其中,待伪标注医学图像包括至少一个已标注器官;分别利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测之前,方法还包括:利用待伪标注医学图像,对待伪标注医学图像中的已标注器官对应的单器官检测模型进行训练。
因此,在待伪标注医学图像中包括至少一个已标注器官,并利用待伪标注医学图像对待伪标注医学图像中的已标注器官对应的单器官检测模型进行训练,能够提升单器官检测模型的准确性,从而能够有利于提升后续伪标注的准确性,进而能够有利于提升后续训练图像检测模型的准确性。
其中,获取待伪标注医学图像,包括:获取三维医学图像,并对三维医学图像进行预处理;将预处理后的三维医学图像进行裁剪处理,得到至少一个二维的待伪标注医学图像。
因此,通过获取三维医学图像,并对三维医学图像进行预处理,从而对预处理后的三维医学图像进行裁剪处理,得到至少一个二维的待伪标注医学图像,能够有利于得到满足模型训练的医学图像,从而能够有利于提升后续图像检测模型训练的准确性。
其中,对三维医学图像进行预处理包括以下至少一者:将三维医学图像的体素分辨率调整至一预设分辨率;利用一预设窗值将三维医学图像的体素值归一化至预设范围内;在三维医学图像的至少部分体素中加入高斯噪声。
因此,将三维医学图像的体素分辨率调整至一预设分辨率,能够有利于后续模型预测处理;利用预设窗值将三维医学图像的体素值归一化至预设范围内,能够有利于模型提取到准确的特征;在三维医学图像的至少部分体素中加入高斯噪声,能够有利于实现数据增广,提高数据多样性,提升后续模型训练的准确性。
本申请第二方面提供了一种图像检测方法,包括:获取待检测医学图像,其中,待检测医学图像中包含多个器官;利用图像检测模型对待检测医学进行检测,得到多个器官的预测区域;其中,图像检测模型是利用上述第一方面中的图像检测模型的训练方法训练得到的。
因此,利用上述第一方面中训练得到的图像检测模型对待检测医学图像检测检测,得到多个器官的预测区域,能够在多器官检测时,提高检测准确性。
本申请第三方面提供了一种图像检测模型的训练装置,包括图像获取模块、第一检测模块、第二检测模块、参数调整模块,图像获取模块用于获取样本医学图像,其中,样本医学图像伪标注出至少一个未标注器官的实际区域;第一检测模块用于利用原始检测模型对样本医学图像进行检测以得到第一检测结果,其中,第一检测结果包括未标注器官的第一预测区域;以及,第二检测模块用于利用图像检测模型对样本医学图像进行检测以得到第二检测结果,图像检测模型的网络参数是基于原始检测模型的网络参数确定的,其中,第二检测结果包括未标注器官的第二预测区域;参数调整模块用于利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数。
本申请第四方面提供了一种图像检测装置,包括图像获取模块和图像检测模块,图像获取模块用于获取待检测医学图像,其中,待检测医学图像中包含多个器官;图像检测模块用于利用图像检测模型对待检测医学进行检测,得到多个器官的预测区域;其中,图像检测模型是利用上述第二方面中的图像检测模型的训练装置训练得到的。
本申请第五方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像检测模型的训练方法,或实现上述第二方面中的图像检测方法。
本申请第六方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像检测模型的训练方法,或实现上述第二方面中的图像检测方法。
上述方案,通过获取样本医学图像,且样本医学图像伪标注出至少一个未标注器官的实际区域,故样本医学图像中无需对多器官进行真实标注,从而利用原始检测模型对样本医学图像检测检测以得到包含未标注器官的第一预设区域的第一检测结果,并利用图像检测模型对样本医学图像进行检测以得到包含未标注器官的第二预测区域的第二检测结果,进而利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数,且图像检测模型的网络参数是基于原始检测模型的网络参数确定的,故能够使得图像检测模型监督原始检测模型的训练,故能够约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性,从而使得图像检测模型得以准确地监督原始检测模型进行训练,进而使得原始检测模型在训练过程中能够准确地调整其网络参数,故此,能够在多器官检测时,提升图像检测模型的检测准确性。
附图说明
图1是本申请图像检测模型的训练方法一实施例的流程示意图;
图2是图1中步骤S11一实施例的流程示意图;
图3是本申请图像检测模型的训练方法另一实施例的流程示意图;
图4是图像检测模型的训练过程一实施例的示意图;
图5是本申请图像检测方法一实施例的流程示意图;
图6是本申请图像检测模型的训练装置一实施例的框架示意图;
图7是本申请图像检测装置一实施例的框架示意图;
图8是本申请电子设备一实施例的框架示意图;
图9是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像检测模型的训练方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取样本医学图像,其中,样本医学图像伪标注出至少一个未标注器官的实际区域。
样本医学图像可以包括CT图像、MR图像,在此不做限定。在一个具体的实施场景中,样本医学图像可以是对腹部、胸部、头颅等部位进行扫描得到的,具体可以根据实际应用情况进行设置,在此不做限定。例如,对腹部进行扫描,样本医学图像中的器官可以包括:肾脏、脾脏、肝脏、胰腺等;或者,对胸部进行扫描,样本医学图像中的器官可以包括:心脏、肺叶、甲状腺等;或者,对头颅进行扫描,样本医学图像中的器官可以包括:脑干、小脑、间脑、端脑等。
在一个实施场景中,未标注器官的实际区域可以是利用与未标注器官对应的单器官检测模型检测得到的,例如,样本医学图像为腹部扫描得到的,则其中未标注器官可以包括:肾脏、脾脏、肝脏、胰腺中的至少一者,则可以利用与肾脏对应的单器官检测模型对样本医学图像进行检测,得到与肾脏对应的器官预测区域,可以利用与脾脏对应的单器官检测模型对样本医学图像进行检测,得到与脾脏对应的器官预测区域,可以利用与肝脏对应的单器官检测模型对样本医学图像进行检测,得到与肝脏对应的器官预测区域,利用与胰腺对应的单器官检测模型对样本医学图像进行检测,得到与胰腺对应的器官预测区域,从而在样本医学图像中将与肾脏、脾脏、肝脏、胰腺分别对应的器官预测区域进行伪标注,即得到未标注器官肾脏、脾脏、肝脏和胰腺伪标注出的实际区域,本申请实施例中,伪标注是指将单器官检测模型检测出的未标注器官的器官预测区域作为实际区域的过程。当未标注器官为其他器官时,可以以此类推,在此不再一一举例。在一个具体的实施场景中,未标注器官的单器官检测模型是利用标注有未标注器官的实际区域的单器官数据集训练得到的,例如,与肾脏对应的单器官检测模型是利用标注有肾脏的实际区域的肾脏数据集训练得到的,与脾脏对应的单器官检测模型是利用标注有脾脏的实际区域的脾脏数据集训练得到的,以此类推,在此不再一一举例。
步骤S12:利用原始检测模型对样本医学图像进行检测以得到第一检测结果,其中,第一检测结果包括未标注器官的第一预测区域。
原始检测模型具体可以包括Mask R-CNN(Mask Region with ConvolutionalNeural Network)、FCN(Fully Convolutional Network,全卷积网络)、PSP-net(PyramidScene Parsing Network,金字塔场景分析网络)中的任一者,此外,原始检测模型还可以是set-net、U-net等,具体可以根据实际情况进行设置,在此不做限定。
利用原始检测模型对样本医学图像进行检测,可以得到包含未标注器官的第一预测区域的第一检测结果。例如,样本医学图像是对腹部扫描得到的图像,未标注器官包括肾脏、脾脏、胰腺,故利用原始检测模型对样本医学图像进行检测,能够得到肾脏的第一预测区域、脾脏的第一预测区域、胰腺的第一预测区域,其他场景可以以此类推,在此不再一一举例。
步骤S13:利用图像检测模型对样本医学图像进行检测以得到第二检测结果,其中,第二检测结果包括未标注器官的第二预测区域。
原始检测模型的网络结构、与原始检测模型对应的图像检测模型的网络结构可以是相同的。例如,原始检测模型为Mask R-CNN时,对应的图像检测模型也可以是Mask R-CNN;或者,原始检测模型为FCN时,对应的图像检测模型也可以是FCN;或者,原始检测模型为PSP-net时,对应的图像检测模型也可以是PSP-net,原始检测模型为其他网络时,可以以此类推,在此不再一一举例。
图像检测模型的网络参数可以是基于原始检测模型的网络参数确定的,例如,图像检测模型的网络参数可以是基于原始检测模型在多次训练过程中调整后的网络参数得到的。例如,在第k次训练时,图像检测模型的网络参数可以是利用原始检测模型在第k-n次至第k-1次训练过程中调整后的网络参数得到的;或者,在第k+1次训练时,图像检测模型的网络参数可以是利用原始检测模型在第k+1-n次至第k次训练过程中调整后的网络参数得到的,以此类推,在此不再一一举例。具体地,上述多次训练的次数(即n)可以根据实际情况进行设置,如可以设置为5、10、15等等,在此不做限定。
利用图像检测模型对样本医学图像进行检测,可以得到包含未标注器官的第二预测区域的第二检测结果。仍以样本医学图像是对腹部扫描得到的图像为例,未标注器官包括肾脏、脾脏、胰腺,故利用图像检测模型对样本医学图像进行检测,能够得到肾脏的第二预测区域、脾脏的第二预测区域、胰腺的第二预测区域,其他场景可以以此类推,在此不再一一举例。
在一个实施场景中,上述步骤S12和步骤S13可以按照先后顺序执行,例如,先执行步骤S12,后执行步骤S13;或者,先执行步骤S13,后执行步骤S12。在另一个实施场景中,上述步骤S12和步骤S13还可以同时执行,具体可以根据实际应用进行设置,在此不做限定。
步骤S14:利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数。
具体地,可以利用第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值。例如,为了提升模型对于难样本的关注度,可以利用焦点损失(focal loss)函数对第一预测区域和实际区域进行处理,得到焦点第一损失值;或者,为了能够使模型拟合伪标注的实际区域,还可以利用集合相似度损失(dice loss)函数对第一预测区域和实际区域进行处理,得到集合相似度第一损失值。
具体地,还可以利用第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值。例如,为了提高原始检测模型和图像检测模型预测的一致性,可以利用一致性损失函数对第一预测区域和第二预测区域进行处理,得到第二损失值,在一个具体的实施场景中,一致性损失函数可以是交叉熵损失函数,具体可以根据实际应用情况进行设置,在此不做限定。
具体地,还可以利用上述第一损失值和第二损失值调整原始检测模型的网络参数。例如,为了能够平衡各损失值在训练过程中的重要程度,可以对第一损失值和第二损失值进行加权处理,得到加权损失值,从而利用加权损失值调整原始检测模型的网络参数。第一损失值和第二损失值对应的权值可以根据实际情况进行设置,例如,均设置为0.5;或者,将第一损失值对应的权值设置为0.6,第二损失值对应的权值设置为0.4,在此不做限定。此外,当第一损失值包括焦点第一损失值和集合相似度第一损失值时,可以对焦点第一损失值、集合相似度第一损失值、第二损失值进行加权处理,得到加权损失值,并利用加权损失值调整原始检测模型的网络参数。在一个具体的实施场景中,可以采用随机梯度下降(Stochastic Gradient Descent,SGD)、批量梯度下降(Batch Gradient Descent,BGD)、小批量梯度下降(Mini-Batch Gradient Descent,MBGD)等方式,利用加权损失值对原始检测模型的网络参数进行调整,其中,批量梯度下降是指在每一次迭代时,使用所有样本来进行参数更新;随机梯度下降是指在每一次迭代时,使用一个样本来进行参数更新;小批量梯度下降是指在每一次迭代时,使用一批样本来进行参数更新,在此不再赘述。
在一个实施场景中,样本医学图像中还可以包括已标注器官的实际区域,第一检测结果中还可以包括已标注器官的第一预测区域,第二检测结果还可以包括已标注器官的第二预测区域。仍以样本医学图像是对腹部扫描得到的图像为例,未标注器官包括肾脏、脾脏、胰腺,已标注器官包括肝脏,故利用原始检测模型对样本医学图像检测检测,能够得到未标注器官肾脏对应的第一预测区域、未标注器官脾脏对应的第一预测区域、未标注器官胰腺对应的第一预测区域和已标注器官肝脏对应的第一预测区域,而利用与原始检测模型对应的图像检测模型对样本医学图像进行检测,能够得到未标注器官肾脏对应的第二预测区域、未标注器官脾脏对应的第二预测区域、未标注器官胰腺对应的第二预测区域和已标注器官肝脏对应的第二预测区域。故此,可以利用未标注器官和已标注器官的第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值,利用未标注器官的第一预测区域和对应第二预测区域之间的差异,可以确定原始检测模型的第二损失值。仍以样本医学图像是对腹部扫描得到的图像为例,未标注器官包括肾脏、脾脏、胰腺,已标注器官包括肝脏,可以利用未标注器官肾脏对应的第一预测区域和伪标注的实际区域之间的差异、未标注器官脾脏对应的第一预测区域和伪标注的实际区域之间的差异、未标注器官胰腺对应的第一预测区域和伪标注的实际区域之间的差异和已标注器官肝脏对应的第一预测区域和真实标注的实际区域之间的差异,确定原始检测模型的第一损失值,第一损失值具体可以包括焦点第一损失值、集合相似度第一损失值中的至少一者,具体可以参阅前述步骤,在此不再赘述。此外,还可以利用未标注器官肾脏对应的第一预测区域和第二预测区域之间的差异、未标注器官脾脏对应的第一预测区域和第二预测区域之间的差异、未标注器官胰腺对应的第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值,第二损失值具体可以采用交叉熵损失函数进行计算,具体可以参阅前述步骤,在此不再赘述。故此,在确定原始检测模型的第一损失值时,综合考虑第一预测区域和实际区域之间的差异,而在确定原始检测模型的第二损失值时,只考虑未标注器官的第一预测区域和对应的第二预测区域之间的差异,从而能够提升原始检测模型和图像检测模型一致性约束的鲁棒性,进而能够提高图像检测模型的准确性。
在另一个实施场景中,在对原始检测模型的网络参数进行调整之后,还可以利用本次训练以及之前若干次训练时调整后的网络参数,对图像检测模型的网络参数进行更新,以进一步约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性。此外,在对原始检测模型的网络参数进行调整之后,根据需要,也可以不对图像检测模型的网络参数进行更新,而在预设数量次(例如,2次、3次等等)训练之后,再利用本次训练以及之前若干次训练时调整后的网络参数,对图像检测模型的网络参数进行更新,在此不做限定。例如,在第k次训练时,可以不对图像检测模型的网络参数进行更新,在第k+i次训练时,可以利用原始检测模型在第k+i-n至第k+i次训练,其中,i可以根据实际情况设置为不小于1的整数,如可以设置为1、2、3等等,在此不做限定。
在一个具体的实施场景中,在对图像检测模型的网络参数进行更新时,可以统计原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值,再将图像检测模型的网络参数更新为对应的原始检测模型的网络参数的平均值。本申请实施例中,网络参数的平均值均是指对应于同一网络参数的平均值,具体地,可以是对应于同一神经元的某一权重(或偏置)在多次训练过程中调整后的数值的平均值,故可以统计得到各神经元的各个权重(或偏置)在多次训练过程中调整后的数值的平均值,从而利用该平均值对图像检测模型中对应神经元的对应权重(或偏置)进行更新。例如,本次训练为第k次训练,可以统计原始检测模型在本次训练和之前n-1次训练所调整的网络参数的平均值,其中,n的具体数值可以根据实际应用情况进行设置,例如,可以设置为5、10、15等,在此不做限定。故此,在第k+1次训练时,图像检测模型的网络参数是利用第k-n+1次至第k次训练过程中所调整后的网络参数的平均值更新得到的,从而能够有利于快速地约束多次训练过程中所产生的累积误差,提升图像检测模型的准确性。
在又一个实施场景中,还可以设置一预设训练训练结束条件,若不满足预设训练结束条件,可以重新执行上述步骤S12以及后续步骤,以继续对原始检测模型的网络参数进行调整。在一个具体的实施场景中,预设训练结束条件可以包括:当前训练次数达到预设次数阈值(如,500次、1000次等)、原始检测模型的损失值小于一预设损失阈值中的任一者,在此不做限定。在另一个具体的实施场景中,在训练结束后,可以利用图像检测模型对待检测医学图像进行检测,从而能够直接得到待检测医学图像中多个器官对应的区域,进而能够免去利用多个单器官检测对待检测医学图像进行分别检测的操作,故能够降低检测计算量。
上述方案,通过获取样本医学图像,且样本医学图像伪标注出至少一个未标注器官的实际区域,故样本医学图像中无需对多器官进行真实标注,从而利用原始检测模型对样本医学图像检测检测以得到包含未标注器官的第一预设区域的第一检测结果,并利用图像检测模型对样本医学图像进行检测以得到包含未标注器官的第二预测区域的第二检测结果,进而利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数,且图像检测模型的网络参数是利用原始检测模型的网络参数确定的,故能够使得图像检测模型监督原始检测模型的训练,故能够约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性,从而使得图像检测模型得以准确地监督原始检测模型进行训练,进而使得原始检测模型在训练过程中能够准确地调整其网络参数,故此,能够在多器官检测时,提升图像检测模型的检测准确性。
请参阅图2,图2是图1中步骤S11一实施例的流程示意图。具体地,图2是获取样本医学图像一实施例的流程示意图,具体包括如下步骤:
步骤S111:获取待伪标注医学图像,其中,待伪标注医学图像存在至少一个未标注器官。
待伪标注医学图像可以是对腹部进行扫描得到的,待伪标注医学图像中的未标注器官可以包括:肾脏、脾脏、胰腺等,待伪标注医学图像也可以是对其他部位进行扫描得到的,例如,胸部、头颅等,具体可以参阅前述实施例中的相关步骤,在此不做限定。
在一个实施场景中,采集得到的原始医学图像可以是三维医学图像,例如,三维CT图像、三维MR图像,在此不做限定,故可以对三维医学图像进行预处理,并将预处理后的三维医学图像进行裁剪处理,得到至少一个待伪标注医学图像。裁剪处理具体可以是对预处理后的三维医学图像进行中心裁剪,在此不做限定。例如,可以沿平行于三维医学图像的某一平面在垂直与该平面的维度上进行裁剪,得到二维的待伪标注医学图像。待伪标注医学图像的具体尺寸可以根据实际情况进行设置,例如,可以为352*352,在此不做限定。
在一个具体的实施场景中,预处理可以包括将三维医学图像的体素分辨率调整至一预设分辨率。三维医学图像的体素是三维医学图像在三维空间分割的最小单位,预设分辨率可以为1*1*3mm,预设分辨率还可以根据实际情况设置为其他分辨率,例如,1*1*4mm、2*2*3mm等等,在此不做限定。通过将三维医学图像的体素分辨率调整至一预设分辨率,能够有利于后续模型预测处理。
在另一个具体的实施场景中,预处理还可以包括利用一预设窗值将三维医学图像的体素值归一化至预设范围内。体素值根据三维医学图像的不同,可以为不同的数值,例如,对于三维CT图像而言,体素值可以为Hu(houns field unit,即亨氏单位)值。预设窗值具体可以根据三维医学图像所对应的部位进行设置,仍以三维CT图像为例,对于腹部CT而言,预设窗值可以设置为-125至275,其他部位可以根据实际情况进行设置,在此不再一一举例。预设范围可以根据实际应用进行设置,例如,预设范围可以设置为0至1,仍以三维CT图像为例,对于腹部CT而言,预设窗值可以设置为-125至275,则当预设范围为0至1时,可以统一将体素值小于或等于-125的体素重置为体素值0,可以统一将体素值大于或等于275的体素重置为体素值1,可以将体素值位于-125至275的体素重置为体素值0至1之间,从而能够有利于加强图像内不同器官间的对比度,进而能够提高模型提取到准确的特征。
在又一个具体的实施场景中,预处理还可以包括在三维医学图像的至少部分体素中加入高斯噪声。至少部分体素可以根据实际应用进行设置,例如,三维医学图像的1/3体素,或者,三维医学图像的1/2体素,或者,三维医学图像的全部体素,在此不做限定。通过在三维医学图像的至少部分体素中加入高斯噪声,能够使得后续在三维医学图像和未加入高斯噪声的三维医学图像基础上裁剪得到的二维的待伪标注医学图像,故能够有利于实现数据增广,提高数据多样性,提升后续模型训练的准确性。
步骤S112:分别利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测,以得到每个未标注器官的器官预测区域。
在一个实施场景中,每一未标注器官对应的单器官检测模型可以是利用标注有未标注器官的单器官数据集训练得到的,例如,与肾脏对应的单器官检测模型可以是利用标注有肾脏的单器官数据集训练得到的,与脾脏对应的单器官检测模型可以是利用标注有脾脏的单器官数据集训练得到的,其他器官可以以此类推,在此不再一一举例。
在另一个实施场景中,待伪标注医学图像中还可以包括至少一个已标注器官,则可以利用包括已标注器官的待伪标注医学图像,对待伪标注医学图像中的已标注器官对应的单器官检测模型进行训练,从而得到对应的单器官检测模型。例如,待伪标注医学图像中包括已标注肝脏,则可以利用包括已标注肝脏的待伪标注医学图像,对肝脏对应的单器官检测模型进行训练,从而得到肝脏对应的单器官检测模型,其他器官可以以此类推,在此不再一一举例。
此外,单器官检测模型具体可以包括Mask R-CNN(Mask Region withConvolutional Neural Network)、FCN(Fully Convolutional Network,全卷积网络)、PSP-net(Pyramid Scene Parsing Network,金字塔场景分析网络)中的任一者,或者,单器官检测模型具体还可以是set-net、U-net等,具体可以根据实际情况进行设置,在此不做限定。
通过利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测,能够得到每个未标注器官的器官预测区域。以待伪标注医学图像是对腹部扫描得到的图像为例,未标注器官包括肾脏、脾脏、胰腺,利用与肾脏对应的单器官检测模型对待伪标注医学图像进行检测,能够得到肾脏的器官预测区域,利用与脾脏对应的单器官检测模型对待伪标注医学图像进行检测,能够得到脾脏的器官预测区域,利用与胰腺对应的单器官检测模型对待伪标注医学图像检测检测,能够得到胰腺的器官预测区域,上述利用每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测的步骤可以同时执行,最终将每个未标注器官的器官预测区域在待伪标注医学图像进行伪标注即可,从而能够提升伪标注的效率,例如,可以同时执行上述利用与肾脏对应的单器官检测模型对待伪标注医学图像进行检测、利用与脾脏对应的单器官检测模型对待伪标注医学图像进行检测,以及利用与胰腺对应的单器官检测模型对待伪标注医学图像检测检测的步骤,最终统一在待伪标注医学图像上对肾脏、脾脏和胰腺的单器官预测区域进行伪标注即可;或者,上述利用每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测的步骤还可以依次执行,从而无需再将每个未标注器官的器官预测区域在待伪标注医学图像进行伪标注,例如,可以依次执行上述利用与肾脏对应的单器官检测模型对待伪标注医学图像进行检测、利用与脾脏对应的单器官检测模型对待伪标注医学图像进行检测,以及利用与胰腺对应的单器官检测模型对待伪标注医学图像检测检测的步骤,最终得到的待伪标注医学图像中即可包含肾脏、脾脏和胰腺的单器官预测区域。具体可以根据实际情况进行设置,在此不做限定。
步骤S113:将未标注器官的器官预测区域伪标注为未标注器官的实际区域,并将伪标注后的待伪标注医学图像作为样本医学图像。
在得到每个未标注器官的器官预测区域之后,即可将未标注器官的器官预测区域伪标注为未标注器官的实际区域,并将伪标注后的待伪标注医学图像作为样本医学图像。
区别于前述实施例,通过获取存在至少一个未标注器官的待伪标注医学图像,并利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测,以得到每个未标注器官的器官预测区域,并将未标注器官的器官预测区域伪标注为未标注器官的实际区域,将伪标注后的待伪标注医学图像作为样本医学图像,能够利用单器官检测模型免去人工对多器官进行标注的工作量,从而能够有利于降低训练用于多器官检测的图像检测模型的人工成本,并提升训练的效率。
请参阅图3,图3是本申请图像检测模型的训练方法另一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S31:获取样本医学图像,其中,样本医学图像伪标注出至少一个未标注器官的实际区域。
具体可以参阅前述实施例中的相关步骤。
步骤S32:分别利用第一原始检测模型和第二原始检测模型执行对样本医学图像进行检测以得到第一检测结果的步骤。
原始检测模型具体可以包括第一原始检测模型和第二原始检测模型。第一原始检测模型具体可以包括Mask R-CNN(Mask Region with Convolutional Neural Network)、FCN(Fully Convolutional Network,全卷积网络)、PSP-net(Pyramid Scene ParsingNetwork,金字塔场景分析网络)中的任一者,此外,第一原始检测模型还可以是set-net、U-net等,具体可以根据实际情况进行设置,在此不做限定。第二原始检测模型具体可以包括Mask R-CNN(Mask Region with Convolutional Neural Network)、FCN(FullyConvolutional Network,全卷积网络)、PSP-net(Pyramid Scene Parsing Network,金字塔场景分析网络)中的任一者,此外,第二原始检测模型还可以是set-net、U-net等,具体可以根据实际情况进行设置,在此不做限定。
利用第一原始检测模型和第二原始检测模型执行对样本医学图像进行检测以得到第一检测结果的步骤,具体可以参阅前述实施例中的相关步骤,在此不再赘述。在一个实施场景中,第一原始检测模型检测得到的第一检测结果可以包括未标注器官的第一预测区域,或者,第一原始检测模型检测得到的第一检测结果还可以包括未标注器官的第一预测区域和已标注器官的第一预测区域。在另一个实施场景中,第二原始检测模型检测得到的第一检测结果可以包括未标注器官的第一预测区域,或者,第二原始检测模型检测得到的第一检测结果还可以包括未标注器官的第一预测区域和已标注器官的第一预测区域。
请结合参阅图4,图4是图像检测模型的训练过程一实施例的示意图。如图4所示,为了便于描述,第一原始检测模型表示为net1,第二原始检测模型表示为net2。如图4所示,第一原始检测模型net1对样本医学图像进行检测,得到与第一原始检测模型net1对应的第一检测结果,第二原始检测模型net2对样本医学图像进行检测,得到与第二原始检测模型net2对应的第一检测结果。
步骤S33:分别利用第一图像检测模型和第二图像检测模型执行对样本医学图像进行检测以得到第二检测结果的步骤。
图像检测模型具体可以包括与第一原始检测模型对应的第一图像检测模型和与第二原始检测模型对应的第二图像检测模型,第一图像检测模型和第二图像检测模型的具体网络结构、网络参数可以参阅前述实施例中的相关步骤,在此不再赘述。
利用第一图像检测模型和第二图像检测模型执行对样本医学图像进行检测以得到第二检测结果的步骤,具体可以参阅前述实施例中的相关步骤,在此不再赘述。在一个实施场景中,第一图像检测模型检测得到的第二检测结果可以包括未标注器官的第二预测区域,或者,第一图像检测模型检测得到的第二检测结果还可以包括未标注器官的第二预测区域和已标注器官的第二预测区域。在另一个实施场景中,第二图像检测模型检测得到的第二检测结果可以包括未标注器官的第二预测区域,或者,第二图像检测模型检测得到的第二检测结果还可以包括未标注器官的第二预测区域和已标注器官的第二预测区域。
请结合参阅图4,为了便于描述,与第一原始检测模型net1对应的第一图像检测模型表示为EMA net1,与第二原始检测模型net2对应的第二图像检测模型表示为EMA net2。如图4所示,第一图像检测模型EMA net1对样本医学图像进行检测,得到与第一图像检测模型EMA net1对应的第二检测结果,第二图像检测模型EMA net2对样本医学图像进行检测,得到与第二图像检测模型EMA net2对应的第二检测结果。
在一个实施场景中,上述步骤S32和步骤S33可以按照先后顺序执行,例如,先执行步骤S32,后执行步骤S33,或者,先执行步骤S33,后执行步骤S32。在另一个实施场景中,上述步骤S32和步骤S33还可以同时执行,具体可以根据实际应用进行设置,在此不做限定。
步骤S34:利用第一原始检测模型的第一预测区域分别与实际区域、第二图像检测模型的第二预测区域之间的差异,调整第一原始检测模型的网络参数。
具体地,可以利用第一原始检测模型的第一预测区域与伪标注的实际区域之间的差异,确定第一原始检测模型的第一损失值,并利用第一原始检测模型的第一预测区域与第二图像检测模型的第二预测区域之间的差异,确定第一原始检测模型的第二损失值,从而利用第一损失值和第二损失值,调整第一原始检测模型的网络参数。第一损失值和第二损失值的具体计算方式可以参阅前述实施例中的相关步骤,在此不再赘述。在一个具体的实施场景中,在计算第二损失值时,可以仅对未标注器官的第一预测区域和第二预测区域,从而能够提升第一原始检测模型和第二图像检测模型一致性约束的鲁棒性,进而能够提高图像检测模型的准确性。
步骤S35:利用第二原始检测模型的第一预测区域分别与实际区域、第一图像检测模型的第二预测区域之间的差异,调整第二原始检测模型的网络参数。
具体地,可以利用第二原始检测模型的第一预测区域与伪标注的实际区域之间的差异,确定第二原始检测模型的第一损失值,并利用第二原始检测模型的第一预测区域和第一图像检测模型的第二预测区域之间的差异,确定第二原始检测模型的第二损失值,从而利用第一损失值和第二损失值,调整第二原始检测模型的网络参数。第一损失值和第二损失值的具体计算方式可以参阅前述实施例中的相关步骤,在此不再赘述。在一个具体的实施场景中,在计算第二损失值时,可以仅对未标注器官的第一预测区域和第二预测区域,从而能够提升第二原始检测模型和第一图像检测模型一致性约束的鲁棒性,进而能够提高图像检测模型的准确性。
在一个实施场景中,上述步骤S34和步骤S35可以按照先后顺序执行,例如,先执行步骤S34,后执行步骤S35,或者,先执行步骤S35,后执行步骤S34。在另一个实施场景中,上述步骤S24和步骤S35还可以同时执行,具体可以根据实际应用进行设置,在此不做限定。
步骤S36:利用第一原始检测模型本次训练以及之前若干次训练时调整后的网络参数,对第一图像检测模型的网络参数进行更新。
具体地,可以统计第一原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值,并将第一图像检测模型的网络参数更新为对应的第一原始检测模型的网络参数的平均值。具体可以参阅前述实施例中的相关步骤,在此不再赘述。
请结合参阅图4,可以统计第一原始检测模型net1在本次训练和之前若干次训练所调整的网络参数的平均值,并将第一图像检测模型EMA net1的网络参数更新为第一原始检测模型net1网络参数的平均值。
步骤S37:利用第二原始检测模型本次训练以及之前若干次训练时调整后的网络参数,对第二图像检测模型的网络参数进行更新。
具体地,可以统计第二原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值,并将第二图像检测模型的网络参数更新为对应的第二原始检测模型的网络参数的平均值。具体可以参阅前述实施例中的相关步骤,在此不再赘述。
请结合参阅图4,可以统计第二原始检测模型net2在本次训练和之前若干次训练所调整的网络参数的平均值,并将第二图像检测模型EMA net2的网络参数更新为第二原始检测模型net2网络参数的平均值。
在一个实施场景中,上述步骤S36和步骤S37可以按照先后顺序执行,例如,先执行步骤S36,后执行步骤S37,或者,先执行步骤S37,后执行步骤S36。在另一个实施场景中,上述步骤S36和步骤S37还可以同时执行,具体可以根据实际应用进行设置,在此不做限定。
在一个实施场景中,在对第一图像检测模型和第二图像检测模型的网络参数进行更新之后,若不满足预设训练结束条件,则可以重新执行上述步骤S32以及后续步骤,以继续对第一原始检测模型和第二原始检测模型的网络参数进行调整,并对与第一原始检测模型对应的第一图像检测模型的网络参数和与第二原始检测模型对应的第二图像检测模型的网络参数进行更新。在一个具体的实施场景中,预设训练结束条件可以包括:当前训练次数达到预设次数阈值(如,500次、1000次等)、第一原始检测模型和第二原始检测模型的损失值小于一预设损失阈值中的任一者,在此不做限定。在另一个具体的实施场景中,在训练结束后,可以将第一图像检测模型、第二图像检测模型中的任一者作为后续图像检测的网络模型,从而能够直接得到待检测医学图像中多个器官对应的区域,进而能够免去利用多个单器官检测对待检测医学图像进行分别检测的操作,故能够降低检测计算量。
区别于前述实施例,将原始检测模型设置为包括第一原始检测模型和第二原始检测模型,且图像检测模型设置为包括与第一原始检测模型对应的第一图像检测模型和与第二原始检测模型对应的第二图像检测模型,并分别利用第一原始检测模型和第二原始检测模型执行对样本医学图像进行检测以得到第一检测结果的步骤,并分别利用第一图像检测模型和第二检测模型执行对样本医学图像进行检测以得到第二检测结果的步骤,从而利用第一原始检测模型的第一预测区域分别与实际区域、第二图像检测模型的第二预测区域之间的差异,调整第一原始检测模型的网络参数,并利用第二原始检测模型的第一预测区域分别与实际区域、第一图像检测模型的第二预测区域之间的差异,调整第二原始检测模型的网络参数,故能够利用与第一原始检测模型对应的第一图像检测模型监督第二原始检测模型的训练,利用与第二原始检测模型对应的第二图像检测模型监督第一原始检测模型的训练,故能够进一步约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性。
请参阅图5,图5是本申请图像检测方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S51:获取待检测医学图像,其中,待检测医学图像中包含多个器官。
待检测医学图像可以包括CT图像、MR图像,在此不做限定。在一个具体的实施场景中,待检测医学图像可以是对腹部、胸部、头颅等部位进行扫描得到的,具体可以根据实际应用情况进行设置,在此不做限定。例如,对腹部进行扫描,待检测医学图像中的器官可以包括:肾脏、脾脏、肝脏、胰腺等;或者,对胸部进行扫描,待检测医学图像中的器官可以包括:心脏、肺叶、甲状腺等;或者,对头颅进行扫描,待检测医学图像中的器官可以包括:脑干、小脑、间脑、端脑等。
步骤S52:利用图像检测模型对待检测医学进行检测,得到多个器官的预测区域。
图像检测模型是利用上述任一图像检测模型的训练方法实施例中的步骤训练得到的,具体可以参阅前述实施例中的相关步骤,在此不再赘述。通过利用图像检测模型对待检测医学图像进行检测,能够直接得到多个器官的预测区域,进而能够免去利用多个单器官检测对待检测医学图像进行分别检测的操作,故能够降低检测计算量。
上述方案,利用上述任一图像检测模型的训练方法实施例中的步骤训练得到的图像检测模型对待检测医学图像检测检测,得到多个器官的预测区域,能够在多器官检测时,提高检测准确性。
请参阅图6,图6是本申请图像检测模型的训练装置60一实施例的框架示意图。图像检测模型的训练装置60包括图像获取模块61、第一检测模块62、第二检测模块63、参数调整模块64,图像获取模块61用于获取样本医学图像,其中,样本医学图像伪标注出至少一个未标注器官的实际区域;第一检测模块62用于利用原始检测模型对样本医学图像进行检测以得到第一检测结果,其中,第一检测结果包括未标注器官的第一预测区域;以及,第二检测模块63用于利用图像检测模型对样本医学图像进行检测以得到第二检测结果,其中,第二检测结果包括未标注器官的第二预测区域,图像检测模型的网络参数是利用原始检测模型的网络参数确定的;参数调整模块64用于利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数。
上述方案,通过获取样本医学图像,且样本医学图像伪标注出至少一个未标注器官的实际区域,故样本医学图像中无需对多器官进行真实标注,从而利用原始检测模型对样本医学图像检测检测以得到包含未标注器官的第一预设区域的第一检测结果,并利用图像检测模型对样本医学图像进行检测以得到包含未标注器官的第二预测区域的第二检测结果,进而利用第一预测区域分别与实际区域、第二预测区域之间的差异,调整原始检测模型的网络参数,且图像检测模型的网络参数是利用原始检测模型的网络参数确定的,故能够使得图像检测模型监督原始检测模型的训练,故能够约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性,从而使得图像检测模型得以准确地监督原始检测模型进行训练,进而使得原始检测模型在训练过程中能够准确地调整其网络参数,故此,能够在多器官检测时,提升图像检测模型的检测准确性。
在一些实施例中,原始检测模型包括第一原始检测模型和第二原始检测模型,图像检测模型包括与第一原始检测模型对应的第一图像检测模型和与第二原始检测模型对应的第二图像检测模型,第一检测模块62具体用于分别利用第一原始检测模型和第二原始检测模型执行对样本医学图像进行检测以得到第一检测结果的步骤,第二检测模型63具体用于分别利用第一图像检测模型和第二图像检测模型执行对样本医学图像进行检测以得到第二检测结果的步骤,参数调整模块64具体用于利用第一原始检测模型的第一预测区域分别与实际区域、第二图像检测模型的第二预测区域之间的差异,调整第一原始检测模型的网络参数,参数调整模块64还具体用于利用第二原始检测模型的第一预测区域分别与实际区域、第一图像检测模型的第二预测区域之间的差异,调整第二原始检测模型的网络参数。
区别于前述实施例,将原始检测模型设置为包括第一原始检测模型和第二原始检测模型,且图像检测模型设置为包括与第一原始检测模型对应的第一图像检测模型和与第二原始检测模型对应的第二图像检测模型,并分别利用第一原始检测模型和第二原始检测模型执行对样本医学图像进行检测以得到第一检测结果的步骤,并分别利用第一图像检测模型和第二检测模型执行对样本医学图像进行检测以得到第二检测结果的步骤,从而利用第一原始检测模型的第一预测区域分别与实际区域、第二图像检测模型的第二预测区域之间的差异,调整第一原始检测模型的网络参数,并利用第二原始检测模型的第一预测区域分别与实际区域、第一图像检测模型的第二预测区域之间的差异,调整第二原始检测模型的网络参数,故能够利用与第一原始检测模型对应的第一图像检测模型监督第二原始检测模型的训练,利用与第二原始检测模型对应的第二图像检测模型监督第一原始检测模型的训练,故能够进一步约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性。
在一些实施例中,参数调整模块64包括第一损失确定子模块,用于利用第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值,参数调整模块64包括第二损失确定子模块,用于利用第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值,参数调整模块64包括参数调整子模块,用于利用第一损失值和第二损失值,调整原始检测模型的网络参数。
区别于前述实施例,通过第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值,并通过第一预测区域和第二预测区域之间的差异,确定原始检测模型的第二损失值,并利用第一损失值和第二损失值,调整原始检测模型的网络参数,从而能够从原始检测模型预测出的第一预测区域分别和伪标注的实际区域、对应的图像检测模型预测出的第二预测区域之间差异这两个维度来度量原始检测模型的损失,有利于提高损失计算的准确性,从而能够有利于提高原始检测模型网络参数的准确性,进而能够有利于提升图像检测模型的准确性。
在一些实施例中,第一损失确定子模块包括焦点损失确定单元,用于利用焦点损失函数对第一预测区域和实际区域进行处理,得到焦点第一损失值,第一损失确定子模块包括集合相似度损失确定单元,用于利用集合相似度损失函数对第一预测区域和实际区域进行处理,得到集合相似度第一损失值,第二损失确定子模块具体用于利用一致性损失函数对第一预测区域和第二预测区域进行处理,得到第二损失值,参数调整子模块包括加权处理单元,用于对第一损失值和第二损失值进行加权处理,得到加权损失值,参数调整子模块包括参数调整单元,用于利用加权损失值,调整原始检测模型的网络参数。
区别于前述实施例,通过利用焦点损失函数对第一预测区域和实际区域进行处理,得到焦点第一损失值,能够使得模型提升对于难样本的关注度,从而能够有利于提高图像检测模型的准确性;通过利用集合相似度损失函数对第一预测区域和实际区域进行处理,得到集合相似度第一损失值,能够使得模型拟合伪标注的实际区域,从而能够有利于提高图像检测模型的准确性;通过利用一致性损失函数对第一预测区域和第二预测区域进行处理,得到第二损失值,从而能够提高原始模型和图像检测模型预测的一致性,进而能够有利于提高图像检测模型的准确性;通过对第一损失值和第二损失值进行加权处理,得到加权损失值,并利用加权损失值,调整原始检测模型的网络参数,能够平衡各损失值在训练过程中的重要程度,从而能够提高网络参数的准确性,进而能够有利于提高图像检测模型的准确性。
在一些实施例中,样本医学图像中还包含已标注器官的实际区域,第一检测结果还包括已标注器官的第一预测区域,第二检测结果还包括已标注器官的第二预测区域。第一损失确定子模块具体用于利用未标注器官和已标注器官的第一预测区域和实际区域之间的差异,确定原始检测模型的第一损失值,第二损失确定子模块具体用于利用未标注器官的第一预测区域和对应第二预测区域之间的差异,确定原始检测模型的第二损失值。
区别于前述实施例,通过在样本医学图像中设置已标注器官的实际区域,且第一检测结果中还包括已标注器官的第一预测区域,第二检测结果还包括已标注器官的第二预测区域,并在确定原始检测模型的第一损失值时,综合考虑第一预测区域和实际区域之间的差异,而在确定原始检测模型的第二损失值时,只考虑未标注器官的第一预测区域和对应的第二预测区域之间的差异,从而能够提升原始检测模型和图像检测模型一致性约束的鲁棒性,进而能够提高图像检测模型的准确性。
在一些实施例中,图像检测模型的训练装置60还包括参数更新模块,用于利用本次训练以及之前若干次训练时调整后的网络参数,对图像检测模型的网络参数进行更新。
区别于前述实施例,通过利用原始检测模型在本次训练以及之前若干次训练时调整后的网络参数,对图像检测模型的网络参数进行更新,能够进一步约束网络参数在多次训练过程中由于伪标注的真实区域所产生的累积误差,提高图像检测模型的准确性。
在一些实施例中,参数更新模块包括统计子模块,用于统计原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值,参数更新模块包括更新子模块,用于将图像检测模型的网络参数更新为对应的原始检测模型的网络参数的平均值。
区别于前述实施例,通过统计原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值,并将图像检测模型的网络参数更新为对应的原始检测模型的网络参数的平均值,能够有利于快速地约束多次训练过程中所产生的累积误差,提升图像检测模型的准确性。
在一些实施例中,图像获取模块61包括图像获取子模块,用于获取待伪标注医学图像,其中,待伪标注医学图像存在至少一个未标注器官,图像获取模块61包括单器官检测子模块,用于分别利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测,以得到每个未标注器官的器官预测区域,图像获取模块61包括伪标注子模块,用于将未标注器官的器官预测区域伪标注为未标注器官的实际区域,并将伪标注后的待伪标注医学图像作为样本医学图像。
区别于前述实施例,通过获取存在至少一个未标注器官的待伪标注医学图像,并利用与每一未标注器官对应的单器官检测模型对待伪标注医学图像进行检测,以得到每个未标注器官的器官预测区域,并将未标注器官的器官预测区域伪标注为未标注器官的实际区域,将伪标注后的待伪标注医学图像作为样本医学图像,能够利用单器官检测模型免去人工对多器官进行标注的工作量,从而能够有利于降低训练用于多器官检测的图像检测模型的人工成本,并提升训练的效率。
在一些实施例中,待伪标注医学图像包括至少一个已标注器官,图像获取模块61还包括单器官训练子模块,用于利用待伪标注医学图像,对待伪标注医学图像中的已标注器官对应的单器官检测模型进行训练。
区别于前述实施例,在待伪标注医学图像中包括至少一个已标注器官,并利用待伪标注医学图像对待伪标注医学图像中的已标注器官对应的单器官检测模型进行训练,能够提升单器官检测模型的准确性,从而能够有利于提升后续伪标注的准确性,进而能够有利于提升后续训练图像检测模型的准确性。
在一些实施例中,图像获取子模块包括三维图像获取单元,用于获取三维医学图像,图像获取子模块包括预处理单元,用于对三维医学图像进行预处理,图像获取子模块包括图像裁剪单元,用于将预处理后的三维医学图像进行裁剪处理,得到至少一个二维的待伪标注医学图像。
区别于前述实施例,通过获取三维医学图像,并对三维医学图像进行预处理,从而对预处理后的三维医学图像进行裁剪处理,得到至少一个二维的待伪标注医学图像,能够有利于得到满足模型训练的医学图像,从而能够有利于提升后续图像检测模型训练的准确性。
在一些实施例中,预处理单元具体用于执行以下至少一者:将三维医学图像的体素分辨率调整至一预设分辨率;利用一预设窗值将三维医学图像的体素值归一化至预设范围内;在三维医学图像的至少部分体素中加入高斯噪声。
区别于前述实施例,将三维医学图像的体素分辨率调整至一预设分辨率,能够有利于后续模型预测处理;利用预设窗值将三维医学图像的体素值归一化至预设范围内,能够有利于模型提取到准确的特征;在三维医学图像的至少部分体素中加入高斯噪声,能够有利于实现数据增广,提高数据多样性,提升后续模型训练的准确性。
请参阅图7,图7是本申请图像检测装置70一实施例的框架示意图。图像检测装置70包括图像获取模块71和图像检测模块72,图像获取模块71用于获取待检测医学图像,其中,待检测医学图像中包含多个器官;图像检测模块72用于利用图像检测模型对待检测医学进行检测,得到多个器官的预测区域;其中,图像检测模型是利用上述任一图像检测模型的训练装置实施例中的图像检测模型的训练装置训练得到的。
上述方案,利用上述任一图像检测模型的训练装置实施例中的图像检测模型的训练装置训练得到的图像检测模型对待检测医学图像检测检测,得到多个器官的预测区域,能够在多器官检测时,提高检测准确性。
请参阅图8,图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一图像检测模型的训练方法实施例的步骤,或实现上述任一图像检测方法实施例中的步骤。在一个具体的实施场景中,电子设备80可以包括但不限于:微型计算机、服务器,此外,电子设备80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器82用于控制其自身以及存储器81以实现上述任一图像检测模型的训练方法实施例的步骤,或实现上述任一图像检测方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
上述方案,能够在多器官检测时,提高检测准确性。
请参阅图9,图9为本申请计算机可读存储介质90一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901,程序指令901用于实现上述任一图像检测模型的训练方法实施例的步骤,或实现上述任一图像检测方法实施例中的步骤。
上述方案,能够在多器官检测时,提高检测准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (16)

1.一种图像检测模型的训练方法,其特征在于,包括:
获取样本医学图像,其中,所述样本医学图像伪标注出至少一个未标注器官的实际区域;
利用原始检测模型对所述样本医学图像进行检测以得到第一检测结果,其中,所述第一检测结果包括所述未标注器官的第一预测区域;以及,
利用图像检测模型对所述样本医学图像进行检测以得到第二检测结果,其中,所述第二检测结果包括所述未标注器官的第二预测区域;所述图像检测模型的网络参数是基于所述原始检测模型的网络参数确定的;
利用所述第一预测区域分别与所述实际区域、所述第二预测区域之间的差异,调整所述原始检测模型的网络参数。
2.根据权利要求1所述的训练方法,其特征在于,所述原始检测模型包括第一原始检测模型和第二原始检测模型,所述图像检测模型包括与所述第一原始检测模型对应的第一图像检测模型和与所述第二原始检测模型对应的第二图像检测模型;
所述利用原始检测模型对所述样本医学图像进行检测以得到第一检测结果,包括:
分别利用所述第一原始检测模型和所述第二原始检测模型执行所述对所述样本医学图像进行检测以得到第一检测结果的步骤;
所述利用图像检测模型对所述样本医学图像进行检测以得到第二检测结果,包括:
分别利用所述第一图像检测模型和第二图像检测模型执行所述对所述样本医学图像进行检测以得到第二检测结果的步骤;
所述利用所述第一预测区域分别与所述实际区域、所述第二预测区域之间的差异,调整所述原始检测模型的网络参数,包括:
利用所述第一原始检测模型的第一预测区域分别与所述实际区域、所述第二图像检测模型的第二预测区域之间的差异,调整所述第一原始检测模型的网络参数;以及,
利用所述第二原始检测模型的第一预测区域分别与所述实际区域、所述第一图像检测模型的第二预测区域之间的差异,调整所述第二原始检测模型的网络参数。
3.根据权利要求1或2所述的训练方法,其特征在于,所述利用所述第一预测区域分别与所述实际区域、所述第二预测区域之间的差异,调整所述原始检测模型的网络参数包括:
利用所述第一预测区域和所述实际区域之间的差异,确定所述原始检测模型的第一损失值;以及,
利用所述第一预测区域和所述第二预测区域之间的差异,确定所述原始检测模型的第二损失值;
利用所述第一损失值和所述第二损失值,调整所述原始检测模型的网络参数。
4.根据权利要求3所述的训练方法,其特征在于,所述利用所述第一预测区域和所述实际区域之间的差异,确定所述原始检测模型的第一损失值包括:
利用焦点损失函数对所述第一预测区域和所述实际区域进行处理,得到焦点第一损失值;和/或,
利用集合相似度损失函数对所述第一预测区域和所述实际区域进行处理,得到所述集合相似度第一损失值;
和/或,所述利用所述第一预测区域和所述第二预测区域之间的差异,确定所述原始检测模型的第二损失值包括:
利用一致性损失函数对所述第一预测区域和所述第二预测区域进行处理,得到所述第二损失值;
和/或,所述利用所述第一损失值和所述第二损失值,调整所述原始检测模型的网络参数包括:
对所述第一损失值和所述第二损失值进行加权处理,得到加权损失值;
利用所述加权损失值,调整所述原始检测模型的网络参数。
5.根据权利要求3或4所述的训练方法,其特征在于,所述样本医学图像中还包含已标注器官的实际区域,所述第一检测结果还包括所述已标注器官的第一预测区域,所述第二检测结果还包括所述已标注器官的第二预测区域;
所述利用所述第一预测区域和所述实际区域之间的差异,确定所述原始检测模型的第一损失值,包括:
利用所述未标注器官和所述已标注器官的第一预测区域和所述实际区域之间的差异,确定所述原始检测模型的第一损失值;
所述利用所述第一预测区域和所述第二预测区域之间的差异,确定所述原始检测模型的第二损失值,包括:
利用所述未标注器官的第一预测区域和对应所述第二预测区域之间的差异,确定所述原始检测模型的第二损失值。
6.根据权利要求1至5任一项所述的训练方法,其特征在于,所述利用所述第一预测区域分别与所述实际区域、所述第二预测区域之间的差异,调整所述原始检测模型的网络参数之后,所述方法还包括:
利用本次训练以及之前若干次训练时调整后的网络参数,对所述图像检测模型的网络参数进行更新。
7.根据权利要求6所述的训练方法,其特征在于,所述利用本次训练以及之前若干次训练时调整后的网络参数,对所述图像检测模型的网络参数进行更新,包括:
统计所述原始检测模型在本次训练和之前若干次训练所调整的网络参数的平均值;
将所述图像检测模型的网络参数更新为对应的所述原始检测模型的所述网络参数的平均值。
8.根据权利要求1至7任一项所述的训练方法,其特征在于,所述获取样本医学图像包括:
获取待伪标注医学图像,其中,所述待伪标注医学图像存在至少一个所述未标注器官;
分别利用与每一所述未标注器官对应的单器官检测模型对所述待伪标注医学图像进行检测,以得到每个所述未标注器官的器官预测区域;
将所述未标注器官的器官预测区域伪标注为所述未标注器官的实际区域,并将所述伪标注后的待伪标注医学图像作为所述样本医学图像。
9.根据权利要求8所述的训练方法,其特征在于,所述待伪标注医学图像包括至少一个已标注器官;所述分别利用与每一所述未标注器官对应的单器官检测模型对所述待伪标注医学图像进行检测之前,所述方法还包括:
利用所述待伪标注医学图像,对所述待伪标注医学图像中的已标注器官对应的单器官检测模型进行训练。
10.根据权利要求8所述的训练方法,其特征在于,所述获取待伪标注医学图像,包括:
获取三维医学图像,并对所述三维医学图像进行预处理;
将预处理后的所述三维医学图像进行裁剪处理,得到至少一个二维的待伪标注医学图像。
11.根据权利要求10所述的训练方法,其特征在于,所述对所述三维医学图像进行预处理包括以下至少一者:
将所述三维医学图像的体素分辨率调整至一预设分辨率;
利用一预设窗值将所述三维医学图像的体素值归一化至预设范围内;
在所述三维医学图像的至少部分体素中加入高斯噪声。
12.一种图像检测方法,其特征在于,包括:
获取待检测医学图像,其中,所述待检测医学图像中包含多个器官;
利用图像检测模型对所述待检测医学进行检测,得到所述多个器官的预测区域;
其中,所述图像检测模型是利用权利要求1至11任一项所述的图像检测模型的训练方法训练得到的。
13.一种图像检测模型的训练装置,其特征在于,包括:
图像获取模块,用于获取样本医学图像,其中,所述样本医学图像伪标注出至少一个未标注器官的实际区域;
第一检测模块,用于利用原始检测模型对所述样本医学图像进行检测以得到第一检测结果,其中,所述第一检测结果包括所述未标注器官的第一预测区域;以及,
第二检测模块,用于利用图像检测模型对所述样本医学图像进行检测以得到第二检测结果,其中,所述第二检测结果包括所述未标注器官的第二预测区域,所述图像检测模型的网络参数是基于所述原始检测模型的网络参数确定的;
参数调整模块,用于利用所述第一预测区域分别与所述实际区域、所述第二预测区域之间的差异,调整所述原始检测模型的网络参数。
14.一种图像检测装置,其特征在于,包括:
图像获取模块,用于获取待检测医学图像,其中,所述待检测医学图像中包含多个器官;
图像检测模块,用于利用图像检测模型对所述待检测医学进行检测,得到所述多个器官的预测区域;
其中,所述图像检测模型是利用权利要求13所述的图像检测模型的训练装置训练得到的。
15.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至11任一项所述的图像检测模型的训练方法,或实现权利要求12所述的图像检测方法。
16.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至11任一项所述的图像检测模型的训练方法,或实现权利要求12所述的图像检测方法。
CN202010362766.XA 2020-04-30 2020-04-30 图像检测方法及相关模型的训练方法和相关装置、设备 Active CN111539947B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010362766.XA CN111539947B (zh) 2020-04-30 2020-04-30 图像检测方法及相关模型的训练方法和相关装置、设备
JP2021576932A JP2022538137A (ja) 2020-04-30 2020-12-28 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器
PCT/CN2020/140325 WO2021218215A1 (zh) 2020-04-30 2020-12-28 图像检测方法及相关模型的训练方法和相关装置、设备
KR1020217043241A KR20220016213A (ko) 2020-04-30 2020-12-28 이미지 검출 방법 및 관련 모델의 훈련 방법 및 관련 장치, 기기
TW110109420A TW202145249A (zh) 2020-04-30 2021-03-16 圖像檢測方法及相關模型的訓練方法、電子設備和電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010362766.XA CN111539947B (zh) 2020-04-30 2020-04-30 图像检测方法及相关模型的训练方法和相关装置、设备

Publications (2)

Publication Number Publication Date
CN111539947A true CN111539947A (zh) 2020-08-14
CN111539947B CN111539947B (zh) 2024-03-29

Family

ID=71967825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010362766.XA Active CN111539947B (zh) 2020-04-30 2020-04-30 图像检测方法及相关模型的训练方法和相关装置、设备

Country Status (5)

Country Link
JP (1) JP2022538137A (zh)
KR (1) KR20220016213A (zh)
CN (1) CN111539947B (zh)
TW (1) TW202145249A (zh)
WO (1) WO2021218215A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132206A (zh) * 2020-09-18 2020-12-25 青岛商汤科技有限公司 图像识别方法及相关模型的训练方法及相关装置、设备
CN112200802A (zh) * 2020-10-30 2021-01-08 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
CN112307934A (zh) * 2020-10-27 2021-02-02 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN112669293A (zh) * 2020-12-31 2021-04-16 上海商汤智能科技有限公司 图像检测方法和检测模型的训练方法及相关装置、设备
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN112785573A (zh) * 2021-01-22 2021-05-11 上海商汤智能科技有限公司 图像处理方法及相关装置、设备
WO2021218215A1 (zh) * 2020-04-30 2021-11-04 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
WO2023092959A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备
WO2023138190A1 (zh) * 2022-01-24 2023-07-27 上海商汤智能科技有限公司 目标检测模型的训练方法及对应的检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114391828B (zh) * 2022-03-01 2023-06-06 郑州大学 一种用于脑卒中患者的积极心理护理干预***
CN117041531B (zh) * 2023-09-04 2024-03-15 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033154A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 手势控制方法、装置和电子设备
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
JP2019054742A (ja) * 2017-09-20 2019-04-11 株式会社Screenホールディングス 生細胞検出方法、プログラムおよび記録媒体
CN109658419A (zh) * 2018-11-15 2019-04-19 浙江大学 一种医学图像中小器官的分割方法
JP2019101485A (ja) * 2017-11-28 2019-06-24 キヤノン株式会社 情報処理方法、情報処理装置、情報処理システム及びプログラム
CN110097557A (zh) * 2019-01-31 2019-08-06 卫宁健康科技集团股份有限公司 基于3D-UNet的医学图像自动分割方法及***
CN110188829A (zh) * 2019-05-31 2019-08-30 北京市商汤科技开发有限公司 神经网络的训练方法、目标识别的方法及相关产品
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN110969245A (zh) * 2020-02-28 2020-04-07 北京深睿博联科技有限责任公司 医学图像的目标检测模型训练方法和装置
CN111028206A (zh) * 2019-11-21 2020-04-17 万达信息股份有限公司 一种基于深度学习***癌自动检测和分类***
CN111062390A (zh) * 2019-12-18 2020-04-24 北京推想科技有限公司 感兴趣区域标注方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170330B2 (en) * 2007-10-30 2012-05-01 Siemens Aktiengesellschaft Machine learning for tissue labeling segmentation
EP3474192A1 (en) * 2017-10-19 2019-04-24 Koninklijke Philips N.V. Classifying data
JP7325414B2 (ja) * 2017-11-20 2023-08-14 コーニンクレッカ フィリップス エヌ ヴェ 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練
CN109166107A (zh) * 2018-04-28 2019-01-08 北京市商汤科技开发有限公司 一种医学图像分割方法及装置、电子设备和存储介质
CN109523526B (zh) * 2018-11-08 2021-10-22 腾讯科技(深圳)有限公司 组织结节检测及其模型训练方法、装置、设备和***
CN110148142B (zh) * 2019-05-27 2023-04-18 腾讯科技(深圳)有限公司 图像分割模型的训练方法、装置、设备和存储介质
JP2021039748A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN111539947B (zh) * 2020-04-30 2024-03-29 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033154A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 手势控制方法、装置和电子设备
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
JP2019054742A (ja) * 2017-09-20 2019-04-11 株式会社Screenホールディングス 生細胞検出方法、プログラムおよび記録媒体
JP2019101485A (ja) * 2017-11-28 2019-06-24 キヤノン株式会社 情報処理方法、情報処理装置、情報処理システム及びプログラム
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109658419A (zh) * 2018-11-15 2019-04-19 浙江大学 一种医学图像中小器官的分割方法
CN110097557A (zh) * 2019-01-31 2019-08-06 卫宁健康科技集团股份有限公司 基于3D-UNet的医学图像自动分割方法及***
CN110188829A (zh) * 2019-05-31 2019-08-30 北京市商汤科技开发有限公司 神经网络的训练方法、目标识别的方法及相关产品
CN111028206A (zh) * 2019-11-21 2020-04-17 万达信息股份有限公司 一种基于深度学习***癌自动检测和分类***
CN111062390A (zh) * 2019-12-18 2020-04-24 北京推想科技有限公司 感兴趣区域标注方法、装置、设备和存储介质
CN110969245A (zh) * 2020-02-28 2020-04-07 北京深睿博联科技有限责任公司 医学图像的目标检测模型训练方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANGRONG ZHOU 等: "Automatic Segmentation of Multiple Organs on 3D CT images by Using Deep Learning Approaches", SPRINGER, 7 February 2020 (2020-02-07), pages 135 - 147 *
任湘;张朋;范明;厉力华;: "基于卷积神经网络的乳腺癌分子分型预测研究", 杭州电子科技大学学报(自然科学版), no. 05, 15 September 2018 (2018-09-15), pages 70 - 75 *
常沛;夏勇;李玉景;吴涛;: "基于CNN的SAR车辆目标检测", 雷达科学与技术, no. 02, 15 April 2019 (2019-04-15), pages 106 - 110 *
邓金城 等: "深度卷积神经网络在放射治疗计划图像分割中的应用", pages 7 - 13 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218215A1 (zh) * 2020-04-30 2021-11-04 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
CN112132206A (zh) * 2020-09-18 2020-12-25 青岛商汤科技有限公司 图像识别方法及相关模型的训练方法及相关装置、设备
CN112307934A (zh) * 2020-10-27 2021-02-02 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
JP2023502814A (ja) * 2020-10-30 2023-01-26 上▲海▼商▲湯▼智能科技有限公司 画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体
WO2022088581A1 (zh) * 2020-10-30 2022-05-05 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
CN112200802A (zh) * 2020-10-30 2021-01-08 上海商汤智能科技有限公司 图像检测模型的训练方法及相关装置、设备、存储介质
JP7326499B2 (ja) 2020-10-30 2023-08-15 上▲海▼商▲湯▼智能科技有限公司 画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体
CN112669293A (zh) * 2020-12-31 2021-04-16 上海商汤智能科技有限公司 图像检测方法和检测模型的训练方法及相关装置、设备
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN112785573A (zh) * 2021-01-22 2021-05-11 上海商汤智能科技有限公司 图像处理方法及相关装置、设备
WO2023092959A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备
WO2023138190A1 (zh) * 2022-01-24 2023-07-27 上海商汤智能科技有限公司 目标检测模型的训练方法及对应的检测方法
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置

Also Published As

Publication number Publication date
TW202145249A (zh) 2021-12-01
JP2022538137A (ja) 2022-08-31
CN111539947B (zh) 2024-03-29
WO2021218215A1 (zh) 2021-11-04
KR20220016213A (ko) 2022-02-08

Similar Documents

Publication Publication Date Title
CN111539947B (zh) 图像检测方法及相关模型的训练方法和相关装置、设备
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
US8270695B2 (en) Diagnostic image processing with automatic self image quality validation
US9135695B2 (en) Method for creating attenuation correction maps for PET image reconstruction
Zhang et al. Automated quality assessment of cardiac MR images using convolutional neural networks
CN100566655C (zh) 用于处理图像以确定图像特性或分析候补的方法
CN109978888B (zh) 一种图像分割方法、装置及计算机可读存储介质
US9811904B2 (en) Method and system for determining a phenotype of a neoplasm in a human or animal body
CN109949280B (zh) 图像处理方法、装置、设备存储介质及生长发育评估***
Mehta et al. Propagating uncertainty across cascaded medical imaging tasks for improved deep learning inference
Upadhyay et al. Uncertainty-aware gan with adaptive loss for robust mri image enhancement
CN110074809A (zh) Ct图像的肝静脉压力梯度分类方法以及计算机设备
CN114119516A (zh) 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
Yerukalareddy et al. Brain tumor classification based on mr images using GAN as a pre-trained model
CN111724371A (zh) 一种数据处理方法、装置及电子设备
Si et al. Artificial neural network based lesion segmentation of brain MRI
CN111951316A (zh) 图像量化方法和存储介质
Materka et al. On the effect of image brightness and contrast nonuniformity on statistical texture parameters
US20240005484A1 (en) Detecting anatomical abnormalities by segmentation results with and without shape priors
CN115601535A (zh) 联合Wasserstein距离与差异度量的胸片异常识别域自适应方法及***
CN113222985A (zh) 一种图像处理方法、装置、计算机设备和介质
Deepa et al. Identification and classification of brain tumor through mixture model based on magnetic resonance imaging segmentation and artificial neural network
Bayram et al. An efficient algorithm for automatic tumor detection in contrast enhanced breast MRI by using artificial neural network (Neubrea)
CN117649400B (zh) 一种异常检测框架下的影像组学分析方法及***
Sheergojri et al. MRI Brain Tumor Classification and Uncertainty Estimation using Hybrid CNN-ELM Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032489

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240606

Address after: 200233, Units 6-01, 6-49, 6-80, 6th Floor, No. 1900 Hongmei Road, Xuhui District, Shanghai

Patentee after: Shanghai Shangtang Shancui Medical Technology Co.,Ltd.

Country or region after: China

Address before: Room 1605a, building 3, 391 Guiping Road, Xuhui District, Shanghai

Patentee before: SHANGHAI SENSETIME INTELLIGENT TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right