CN115860067A - 生成对抗网络训练方法、装置、计算机设备及存储介质 - Google Patents
生成对抗网络训练方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115860067A CN115860067A CN202310121702.4A CN202310121702A CN115860067A CN 115860067 A CN115860067 A CN 115860067A CN 202310121702 A CN202310121702 A CN 202310121702A CN 115860067 A CN115860067 A CN 115860067A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- network
- original
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种生成对抗网络训练方法、装置、计算机设备及存储介质。该方法包括:获取训练数据,训练数据包括目标超声图像和目标掩膜图像;对目标超声图像进行预处理,获取至少一个目标通道图像;基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的生成网络,获取目标生成网络;基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。该方法通过对目标超声图像进行预处理,获取至少一个目标通道图像,以增强每一目标通道图像与目标超声图像之间的差异性,可保障训练所形成的生成对抗网络可快速生成大量差异性较大的超声图像。
Description
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种生成对抗网络训练方法、装置、计算机设备及存储介质。
背景技术
目前,深度学习方法,尤其是卷积神经网络(CNN),主要通过使用大规模的注释数据集,在广泛的计算机视觉任务中取得了巨大的突破。然而,在医学领域获得大量的注释数据集仍是一个巨大的挑战。比如,在超声图像的分类和分割等任务中,为了能够使得模型具有更高的精度和更好的泛化能力,获取大量差异性较大的图像是很有必要的,但是,大量差异性较大的图像获取会大大增加成本。随着深度学习的发展,基于医学图像诊疗模型的训练样本越来越多。生成对抗网络(GANs)以其优异的图像生成能力在医学图像处理领域引起了广泛的关注,并被广泛应用于数据生成。
现有生成对抗网络进行超声图像生成过程中,需先基于超声图像的组织结构进行分割,确定超声图像对应的掩膜图像(mask),将超声图像和掩膜图像(mask)输入生成对抗网络进行模型训练,以使训练好的生成对抗网络可生成超声图像。采用掩膜图像(mask)进行图像生成过程中,由于掩膜图像(mask)与超声图像的感兴趣区域(ROI区域)相对应的,会导致其所生成的超声图像较单一,无法大批量生成差异性较大的超声图像,无法满足用户需求。
发明内容
本发明实施例提供一种生成对抗网络训练方法、装置、计算机设备及存储介质,以解决现有技术无法大批量生成差异性较大的超声图像的问题。
一种生成对抗网络训练方法,包括:
获取训练数据,所述训练数据包括目标超声图像和目标掩膜图像;
对所述目标超声图像进行预处理,获取至少一个目标通道图像;
基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的生成网络,获取目标生成网络;
基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。
一种生成对抗网络训练装置,包括:
训练数据获取模块,用于获取训练数据,所述训练数据包括目标超声图像和目标掩膜图像;
目标通道图像获取模块,用于对所述目标超声图像进行预处理,获取至少一个目标通道图像;
目标生成网络获取模块,用于基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的生成网络,获取目标生成网络;
目标判别网络获取模块,用于基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述生成对抗网络训练方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述生成对抗网络训练方法。
上述生成对抗网络训练方法、装置、计算机设备及存储介质,通过对目标超声图像进行预处理,获取至少一个目标通道图像,以增强每一目标通道图像与目标超声图像之间的差异性;再基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络,获取目标生成网络和目标判别网络,以保障训练所形成的生成对抗网络可快速生成大量差异性较大的超声图像。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中生成对抗网络训练方法的一流程图;
图2是图1中步骤S102的一流程图;
图3是图2中步骤S201的一流程图;
图4是图2中步骤S202的一流程图;
图5是图1中步骤S103的一流程图;
图6是图1中步骤S104的一流程图;
图7是本发明一实施例中生成对抗网络的一模型框架示意图;
图8中本发明一实施例中目标判别网络训练的一示意图;
图9是本发明一实施例中生成对抗网络训练装置的一示意图;
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的生成对抗网络训练方法,该生成对抗网络训练方法可应用在计算机设备中,通过对超声图像进行预处理,形成多通道超声图像,再利用多通道超声图像训练生成对抗网络,以使训练好的生成对抗网络可以快速生成大量差异性较大的超声图像。此处的计算机设备包括但不限于各种个人计算机、笔记本电脑、平板电脑和超声设备。
在一实施例中,如图1所示,提供一种生成对抗网络训练方法,以该方法应用在计算机设备为例进行说明,包括如下步骤:
S101:获取训练数据,训练数据包括目标超声图像和目标掩膜图像;
S102:对目标超声图像进行预处理,获取至少一个目标通道图像;
S103:基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的生成网络,获取目标生成网络;
S104:基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。
其中,训练数据是用于进行模型训练的数据。目标超声图像是指训练数据中的超声图像,是用于进行模型训练的超声图像。目标掩膜图像,即mask图像,是指目标超声图像对应的标签数据。例如,目标超声图像中包括背景和不同组织结构,则目标掩膜图像采用同一原始灰度值来表示不同区域。
作为一示例,目标超声图像对应的目标掩膜图像包括背景区域和至少一个感兴趣区域。其中,背景区域是指目标超声图像中背景所在的区域。感兴趣区域(即ROI),是指目标超声图像中组织结构所在的区域。此处的感兴趣区域可以为单一组织结构所在的区域,例如,肌肉、骨头和神经等单一组织结构所在的区域,也可以为多个组织结构的组合所在的区域。
作为一示例,步骤S101中,在生成对抗网络训练过程中,计算机设备可从训练数据集中,获取用于进行模型训练的训练数据,训练数据包括目标超声图像及其对应的目标掩膜图像。本示例中,目标掩膜图像可以为人工标签不同区域所形成的图像,也可以为机器自动分类识别的图像。
其中,目标通道图像是指对目标超声图像的不同图像属性进行控制处理后的超声图像。
作为一示例,步骤S102中,计算机设备在获取训练数据后,可采用预先设置的至少一个图像处理通道,对目标超声图像进行预处理,获取每一图像处理通道输出的目标通道图像。其中,图像处理通道是预先设置的用于对至少一个图像属性进行处理的通道,此处的图像属性包括但不限于灰度、细节和分辨率等。
本示例中,基于对目标超声图像的不同图像属性进行预处理,可形成灰度通道图像、细节通道图像、分辨率通道图像和区域通道图像中的至少一个目标通道图像,每一目标通道图像均与目标超声图像之间存在差异性,可使训练完成的生成对抗网络可大批量生成差异性较大的超声图像。其中,灰度通道图像是指对目标超声图像进行灰度控制处理的图像。细节通道图像是指对目标超声图像进行细节控制处理的图像。分辨率通道图像是指对目标超声图像进行分辨率控制处理的图像。区域通道图像是指对目标超声图像中的指定区域进行控制处理的图像,可以是对指定区域的不同图像属性进行控制处理的图像,例如,可以是对指定区域的亮度和细节等进行控制处理的图像。
作为一示例,步骤S103中,计算机设备在获取至少一个目标通道图像后,可基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的生成网络,获取目标生成网络。与现有技术中只将目标超声图像和目标掩膜图像训练生成对抗网络的生成网络相比,本方案中将至少一个目标通道图像结合目标超声图像和目标掩膜图像训练生成网络,可使生成网络训练过程中生成网络输出的生成图像差异性较大,以保障训练完成的目标生成网络在图像生成过程中,可输出差异性较大的超声图像。
作为一示例,步骤S104中,计算机设备在获取至少一个目标通道图像后,可基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。与现有技术中只将目标超声图像和目标掩膜图像训练生成对抗网络的判别网络相比,本方案中将至少一个目标通道图像结合目标超声图像和目标掩膜图像训练判别网络,可使生成网络训练过程中判别网络输出的判别图像差异性较大,以保障训练完成的目标判别网络在图像生成过程中,可输出差异性较大的超声图像。
例如,在生成对抗网络训练过程中,需先构建生成对抗网络的网络模型,本方案构建一个三通道条件控制生成对抗网络为例,此处的网络模型采用的是Pix2Pix(也可以使用CycleGAN、StyleGAN等生成对抗网络),输入到Pix2Pix这一生成对抗网络进行模型训练的输入图像包括数据预处理得到的三通道图像(第一通道图像为目标掩膜图像,第二通道图像为灰度通道图像,第三通道图像为细节通道图像)和目标超声图像,其模型框架示意图如图7所示。
在生成对抗网络训练过程中,每个轮次会对目标超声图像进行预处理的控制条件进行随机选择。在一示例中,在灰度控制处理过程中,需调整灰度控制的系数,以获取不同灰度通道图像,例如,在图3所示的灰度控制处理过程中,其灰度控制的系数gamma的取值范围为[0.5,3],可在这一取值范围内随机选取一数值。在一示例中,在细节控制处理过程中,需调整细节控制的系数,以获取不同细节通道图像,例如,在图4所示的细节控制处理过程中,其上采样和下采样的目标倍数可在一定范围的随机选取。其中,上下采样的像素大小为h*w(h和w为目标超声图像的大小),其中h的范围为[10, h],w的范围为[10,w]。在一示例中,还可从目标超声图像中的多个感兴趣区域(即ROI)中随机指定一个或多个感兴趣区域(即ROI),再对指定区域的灰度、细节和分辨率等图像属性进行处理,获取不同区域通道图像。
以三通道图像(第一通道图像为目标掩膜图像,第二通道图像为灰度通道图像,第三通道图像为细节通道图像)为例,当只需要进行单条件控制时,比如灰度控制,那么依旧是按照上面的步骤,不过在数据预处理这一步骤中,只需要将第一通道图像(即目标掩膜图像)和第二通道图像(灰度通道图像)进行合并,在第三步骤,只需要将模型的输入通道数更改为2。同理,如果需要继续添加其他控制条件,在数据预处理时,将处理好的目标掩膜图像与更多通道图像进行通道合并,得到四通道图像或者更多通道图像。然后,将模型的输入通道更改为四通道或者多通道。其他训练策略保持不变,若需要得到更好的结果,在处理时可以进行参数微调。
可理解地,由于生成对抗网络训练过程中,需对目标超声图像进行预处理,以获取至少一个目标通道图像,其具有如下优点:其一,可实现对不同组织结构对应的训练数据(如线阵、凸阵数据等)进行混合训练,实现对多个感兴趣区域中,指定一个或多个感兴趣区域的控制条件,比如,使用某一组织结构的目标超声图像对应的目标掩膜图像,以生成指定类型的某一感兴趣区域对应的图像。其二,可训练单一ROI区域或者多ROI区域的任意组合,能够实现使用单一ROI或者多ROI区域的组合进行差异性图像的生成。比如,通过单一区域(肌肉)或者多区域(肌肉和神经)进行图像生成,可以生成指定类型,且差异性较大的图像。其三,可通过多通道条件控制进行网络训练,例如,通过灰度系数以及细节系数进行生成图像灰度和细节的控制,以实现指定目标的图像生成。另外,可以根据自己需求,通过增加通道,实现条件控制,如通过控制参数,改变其分辨率。
本实施例中,通过对目标超声图像进行预处理,获取至少一个目标通道图像,以增强每一目标通道图像与目标超声图像之间的差异性;再基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络,获取目标生成网络和目标判别网络,以保障训练所形成的生成对抗网络可快速生成大量差异性较大的超声图像。
在一实施例中,目标通道图像包括灰度通道图像、细节通道图像和分辨率通道图像和区域通道图像中的至少一个;
如图2所示,步骤S102,即对目标超声图像进行预处理,获取至少一个目标通道图像,包括如下步骤中的至少一个:
S201:对目标超声图像进行灰度控制处理,获取灰度通道图像;
S202:对目标超声图像进行细节控制处理,获取细节通道图像;
S203:对目标超声图像进行分辨率控制处理,获取分辨率通道图像;
S204:对目标超声图像进行区域控制处理,获取区域通道图像。
其中,灰度通道图像是指对目标超声图像进行灰度控制处理的图像。细节通道图像是指对目标超声图像进行细节控制处理的图像。分辨率通道图像是指对目标超声图像进行分辨率控制处理的图像。区域通道图像是指对目标超声图像中的指定区域进行控制处理的图像,可以是对指定区域的不同图像属性进行控制处理的图像,例如,可以是对指定区域的亮度和细节等进行控制处理的图像。
作为一示例,步骤S201中,计算机设备可采用预先设置的灰度处理通道,对目标超声图像进行灰度控制处理,获取灰度通道图像。其中,灰度处理通道是指预先设置的用于对图像灰度进行控制处理的通道。本示例中,计算机设备在获取目标超声图像后,可采用灰度处理通道对目标超声图像进行灰度映射,以确定每一像素点对应的原始灰度值;再基于灰度处理通道中预先设置的灰度控制逻辑,对所有像素点对应的原始灰度值进行处理,以确定每一像素点对应的目标灰度值;最后,基于所有像素点对应的目标灰度值,确定灰度通道图像。可理解地,通过对目标超声图像进行灰度控制,使得灰度通道图像中表征组织结构的目标灰度值与目标超声图像中表征组织结构的目标灰度值之间存在较大差异,以达到提升图像灰度差异性的目的。
作为一示例,步骤S202中,计算机设备可采用预先设置的细节处理通道,对目标超声图像进行细节控制处理,获取细节通道图像。其中,细节处理通道是指预先设置的用于对图像细节进行控制处理的通道,此处的图像细节包括但不限于轮廓细节。本示例中,计算机设备在获取目标超声图像后,可先对目标超声图像进行细节增强处理,获取细节增强图像,此处的细节增强处理可以包括上采样处理和下采样处理,也可以包括直方图均衡、灰度变换、图像平滑和图像锐化等处理。然后,计算机设备可对细节增强图像进行轮廓特征强化处理,获取细节通道图像,此处的轮廓特征强化处理是用于扩大细节增强图像中的轮廓特征与非轮廓特征之间差异性的处理过程,例如,可保持轮廓特征对应的原始灰度值不变,而将非轮廓特征对应的原始灰度值全部设置为0,以突出轮廓特征与非轮廓特征之间的区别,以达到突出目标超声图像的细节属性的目的。可理解地,通过对目标超声图像进行细节控制,使得细节通道图像中表征组织结构的轮廓细节与目标超声图像中表征组织结构的轮廓细节之间存在较大差异,以达到提升图像细节差异性的目的。
作为一示例,步骤S203中,计算机设备可采用预先设置的分辨率处理通道,对目标超声图像进行分辨率控制处理,获取分辨率通道图像。其中,分辨率处理通道是指预先设置的用于对图像分辨率进行控制处理的通道。本示例中,计算机设备在获取目标超声图像后,可对目标超声图像的分辨率进行插值,即通过软件运算方式改变分辨率的数值,以获取改变分辨率后的分辨率通道图像。例如,可采用插值方式,增强感兴趣区域中所有像素点对应的像素分辨率,对背景区域中所有像素点对应的像素分辨率不进行改变或者进行弱化处理,以达到突显感兴趣区域的分辨率目的。可理解地,可采用但不限于插值方式,对目标超声图像进行分辨率控制处理,以达到突显目标超声图像的分辨率的目的。可理解地,通过对目标超声图像进行分辨率控制处理,使得分辨率通道图像中表征组织结构的像素分辨率与目标超声图像中表征组织结构的像素分辨率之间存在较大差异,以达到提升图像分辨率差异性的目的。
作为一示例,步骤S204中,由于目标掩膜图像包括背景区域和至少一个感兴趣区域,为了突出不同区域,尤其是突出不同感兴趣区域,计算机设备可采用预先设置的区域处理通道,对目标超声图像进行区域控制处理,即对用户输入的指定区域和目标图像属性进行控制处理,以获取区域通道图像。此处的指定区域是指本次指定需要进行增强处理的感兴趣区域。目标图像属性是指本次需要对指定区域进行增强处理的图像属性,该目标图像属性包括但不限于灰度、细节和分辨率。本示例中,根据用户输入的指定区域和目标图像属性,对指定区域中像素点的目标图像属性进行更改,例如,更改指定区域进行灰度映射过程中的系数,使得指定区域与其他感兴趣区域的图像灰度存在较大差异,或者,更改指定区域中上采样和下采样的目标倍数,使得指定区域与其他感兴趣区域的图像细节存在较大差异,以达到增强图像差异性的目的。
本实施例中,可根据上述步骤S201-S204中的至少一个,以获取灰度通道图像、细节通道图像和分辨率通道图像和区域通道图像中的至少一个目标通道图像,使得每一目标通道图像与目标超声图像之间存在差异性,基于至少一个目标通道图像和目标超声图像训练生成对抗网络,可使训练完成的生成对抗网络可大批量生成差异性较大的超声图像。
在一实施例中,目标掩膜图像包括背景区域和至少一个感兴趣区域;
如图3所示,步骤S201,即对目标超声图像进行灰度控制处理,获取灰度通道图像,包括:
S301:对目标超声图像进行灰度映射,获取目标超声图像中每一像素点对应的原始灰度值;
S302:根据目标超声图像中每一像素点对应的原始灰度值,获取背景区域对应的第一灰度均值和每一感兴趣区域对应的第二灰度均值;
S303:将第一灰度均值确定为背景区域中每一像素点对应的目标灰度值,将每一感兴趣区域对应的第二灰度均值确定为感兴趣区域中每一像素点对应的目标灰度值,获取灰度通道图像。
作为一示例,步骤S301中,计算机设备可采用灰度映射算法,对目标超声图像进行灰度映射,获取目标超声图像中每一像素点对应的原始灰度值。此处的原始灰度值是指灰度映射后的灰度值。本示例中,计算机设备可采用但不限于gamma映射算法,对目标超声图像进行灰度映射,获取目标超声图像中每一像素点对应的原始灰度值,gamma映射算法为s= c*r gamma,其中, r为目标超声图像对应的输入灰度值;s为经过gamma映射后的输出灰度值,即本示例中的原始灰度值;c为灰度缩放系数,通常取1;gamma为映射系数,用于控制整个变换的缩放程度。
其中,第一灰度均值是指目标超声图像中,背景区域中所有像素点对应的原始灰度值的均值。第二灰度均值是指目标超声图像中,感兴趣区域中所有像素点对应的原始灰度值的均值。
作为一示例,步骤S302中,计算机设备在获取目标超声图像中每一像素点对应的原始灰度值后,可基于目标掩膜图像中界定的背景区域和至少一个感兴趣区域,对目标超声图像中每一像素点对应的原始灰度值进行均值计算,获取背景区域对应的第一灰度均值和每一感兴趣区域对应的第二灰度均值。本示例中,计算机设备将背景区域中所有像素点对应的原始灰度值进行均值计算,确定背景区域对应的第一灰度均值,将每一感兴趣区域中所有像素点对应的原始灰度值进行均值计算,确定每一感兴趣区域对应的第二灰度均值。
作为一示例,步骤S303中,计算机设备在获取背景区域对应的第一灰度均值和每一感兴趣区域对应的第二灰度均值后,可将第一灰度均值确定为背景区域中每一像素点对应的目标灰度值,即将第一灰度均值赋值给背景区域中的每一像素点;并将每一感兴趣区域对应的第二灰度均值确定为感兴趣区域中每一像素点对应的目标灰度值,即将第二灰度均值赋值给感兴趣区域中的每个像素点;最后,基于所有像素点对应的目标灰度值,获取灰度通道图像。
本实施例中,通过对背景区域和至少一个感兴趣区域中所有像素点对应的原始灰度值进行均值计算,并将背景区域对应的第一灰度均值确定为背景区域中每一像素点对应的目标灰度值,将每一感兴趣区域对应的第二灰度均值确定为该感兴趣区域中每一像素点对应的目标灰度值,以使灰度通道图像中,同一区域中所有像素点对应的目标灰度值相同,而不同区域中像素点对应的目标灰度值大概率不同,以便根据不同像素点对应的目标灰度值确定其所属区域,更突出目标超声图像中不同区域的灰度属性。
在一实施例中,目标掩膜图像包括背景区域和至少一个感兴趣区域;
如图4所示,步骤S202,即对目标超声图像进行细节控制处理,获取细节通道图像,包括:
S401:对目标超声图像进行下采样和上采样处理,获取低分辨率图像;
S402:对低分辨率图像进行轮廓特征提取,获取轮廓特征图像;
S403:将目标掩膜图像中,每一感兴趣区域中所有像素点对应的原始灰度值设置为1,背景区域中所有像素点对应的原始灰度值确定为0,获取第一掩膜图像;
S404:根据轮廓特征图像和第一掩膜图像,获取细节通道图像。
作为一示例,步骤S401中,计算机设备可先基于目标倍数,对目标超声图像进行上采样处理,获取上采样图像;然后,基于目标倍数,对上采样图像进行下采样处理,得到一个内插的低分辨率图像。其中,目标倍数是指进行上采样和下采样处理的倍数。低分辨率图像是指对目标超声图像进行上采样和下采样处理后的图像。本示例中,计算机设备基于相同的目标倍数,对目标超声图像先进行上采样处理,后进行下采样处理,可保障所获取到的低分辨率图像与目标超声图像的图像像素大小不变,但图像细节改变,以获取更多图像细节信息。
作为一示例,步骤S402中,计算机设备在获取低分辨率图像后,可采用边缘检测算法对低分辨率图像进行轮廓特征提取,获取轮廓特征图像。其中,边缘检测算法是用于检测图像边缘特征的算法。轮廓特征图像是指由轮廓特征所形成的图像。本示例中,计算机设备可采用但不限于sobel算子对低分辨率图像进行轮廓特征提取,获取基于所有轮廓特征形成的轮廓特征图像。
作为一示例,步骤S403中,由于目标掩膜图像包括背景区域和至少一个感兴趣区域,计算机设备可将目标掩膜图像中,每一感兴趣区域中所有像素点对应的原始灰度值设置为1,背景区域中所有像素点对应的原始灰度值确定为0,获取第一掩膜图像。本示例中,第一掩膜图像是指将目标掩膜图像中,感兴趣区域中像素点对应的原始灰度值为1,而背景区域中像素点对应的原始灰度值为0的掩膜图像。
作为一示例,步骤S404中,计算机设备可将轮廓特征图像和第一掩膜图像相乘,具体将轮廓特征图像和第一掩膜图像中,同一像素点对应的两个原始灰度值相乘,将两者的乘值确定为该像素点对应的目标像素点,基于所有像素点对应的目标像素点,获取细节通道图像。可理解地,由于第一掩膜图像中,感兴趣区域中像素点对应的原始灰度值为1,而背景区域中像素点对应的原始灰度值为0,在将第一掩膜图像与轮廓特征图像相乘时,可将轮廓特征图像中感兴趣区域的每一像素点对应的原始灰度值,确定为其细节通道图像中该像素点对应的目标灰度值,以达到不改变感兴趣区域中像素点对应的原始灰度值的目的,但将细节通道图像中背景区域的每一像素点的目标灰度值均为0,改变背景区域中的每一像素点对应的原始灰度值的目的,使得细节通道图像可突显至少一个感兴趣区域的轮廓细节。
本实施例中,先对目标超声图像进行上采样和下采样处理,获取低分辨率图像,以达到增强图像细节目的;再对低分辨率图像进行轮廓特征提取,获取轮廓特征图像,以达到突显轮廓细节的目的;将感兴趣区域中像素点的原始灰度值设置为1,而背景区域中像素点对应的原始灰度值设置为0,以形成第一掩膜图像,利用第一掩膜图像和轮廓特征图像相乘,以使获取到细节通道图像可突显至少一个感兴趣区域的轮廓细节,反映目标超声图像中至少一个感兴趣区域的图像细节。
在一实施例中,如图5所示,步骤S103,即基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的生成网络,获取目标生成网络,包括:
S501:将目标掩膜图像和至少一个目标通道图像,输入生成对抗网络的原始生成网络,获取原始生成网络输出的第一生成图像;
S502:将第一生成图像和目标掩膜图像,输入生成对抗网络的原始判别网络进行判别,获取原始判别网络输出的第一判别图像;
S503:获取所有像素点对应的原始灰度值均为1的第一预设图像,基于第一判别图像和第一预设图像,确定第一损失函数;
S504:根据第一生成图像和目标超声图像,确定第二损失函数;
S505:根据第一损失函数和第二损失函数,确定原始生成网络对应的生成损失函数;
S506:若生成损失函数满足第一收敛条件,则将原始生成网络确定为目标生成网络。
其中,生成对抗网络中的原始生成网络是指需要进行模型训练,更新模型参数的生成网络。第一生成图像是指原始生成网络对目标掩膜图像和至少一个目标通道图像进行处理后生成的图像。
作为一示例,步骤S501中,计算机设备将目标掩膜图像和至少一个目标通道图像,输入生成对抗网络的原始生成网络,采用原始生成网络对目标掩膜图像和至少一个目标通道图像进行处理,获取原始生成网络输出的第一生成图像。
例如,目标通道图像包括灰度通道图像和细节通道图像时,计算机设备可将目标掩膜图像、灰度通道图像和细节通道图像这三通道图像一起输入生成对抗网络的原始生成网络,即将目标掩膜图像作为第一通道图像,将灰度通道图像作为第二通道图像,将细节通道图像作为第三通道图像,将三通道图像输入原始生成网络进行处理,使得原始生成网络输出的第一生成图像中融合三通道图像的图像信息,有助于提升第一生成图像与目标超声图像之间的差异性。
其中,生成对抗网络的原始判别网络是指需要进行模型训练,更新模型参数的判别网络。第一判别图像是指原始判别网络对第一生成图像和目标掩膜图像进行处理后生成的图像。
作为一示例,步骤S502中,计算机设备在获取原始生成网络输出的第一生成图像后,可将第一生成图像与目标掩膜图像(即多通道图像中的第一通道图像)一起输入生成对抗网络的原始判别网络进行处理,以获取原始判别网络输出的第一判别图像,该第一判别图像可理解为第一生成图像和目标掩膜图像的图像信息融合后的图像。本示例中,第一判别图像为预设图像大小的图像,例如为16*16的图像。
其中,第一预设图像是预先创建的一个原始灰度值均为1的图像。第一损失函数是指第一判别图像和第一预设图像之间的损失函数。
作为一示例,步骤S503中,计算机设备在训练生成对抗网络的生成网络过程中,需预先创建所有像素点对应的原始灰度值均为1的第一预设图像,具体需创建预设图像大小对应的所有像素点对应的原始灰度值均为1的第一预设图像,即创建图像大小为16*16,且所有像素点对应的原始灰度值均为1的第一预设图像。然后,计算机设备可根据第一预设图像和原始判别网络输出的第一判别图像进行损失计算,确定第一损失函数。本示例中,计算机设备可采用均方损失函数MSEloss对第一预设图像和第一判别图像进行处理,确定第一损失函数loss_GAN。
其中,第二损失函数是指第一生成图像和目标超声图像之间的损失函数。
作为一示例,步骤S504中,计算机设备在训练生成对抗网络的生成网络过程中,需将原始生成网络输出的第一生成图像与目标超声图像进行损失计算,确定第二损失函数。本示例中,计算机设备可采用一点绝对损失函数L1loss,对第一生成图像与目标超声图像进行损失计算,确定第二损失函数loss_pixel。
其中,生成损失函数是指训练生成对抗网络的生成网络过程中,实时计算出原始生成网络对应的损失函数。
作为一示例,步骤S505中,计算机设备在确定第一损失函数和第二损失函数后,可根据第一损失函数和第二损失函数,确定原始生成网络对应的生成损失函数。本示例中,计算机设备可采用生成损失函数公式,对输入的第一损失函数和第二损失函数进行计算,确定原始生成网络对应的生成损失函数。例如,生成损失函数公式为loss_G=loss_GAN +lambda_pixel * loss_pixel,其中,loss_G为生成损失函数,loss_GAN为第一损失函数,loss_pixel为第二损失函数,lambda_pixel为预设系数,例如,lambda_pixel可设置为100。
其中,第一收敛条件是预先设置的用于评估生成损失函数是否达到模型收敛标准的条件。
作为一示例,步骤S506中,计算机设备在确定原始生成网络对应的生成损失函数loss_G,需评估该生成损失函数loss_G是否满足第一收敛条件,例如,前后两次计算的生成损失函数loss_G的差值小于第一阈值,则认定满足第一收敛条件;在评估生成损失函数loss_G不满足第一收敛条件时,需重复执行步骤S501-S505,以更新原始生成网络的模型参数;在评估生成损失函数loss_G满足第一收敛条件时,可认定原始生成网络的模型参数满足收敛标准,可将更新完模型参数的原始生成网络确定为目标生成网络。
本实施例中,将目标掩膜图像和至少一个目标通道图像输入原始生成网络,获取原始生成网络输出的第一生成图像,以使第一生成图像包含至少两个通道图像的图像信息,有助于保障所形成的第一生成图像的差异性;将第一生成图像和目标掩膜图像输入原始判别网络进行处理,将原始判别网络输出的第一判别图像和第一预设图像进行损失计算,确定第一损失函数,根据第一生成图像和目标超声图像进行损失计算,确定第二损失函数,再根据第一损失函数和第二损失函数确定生成损失函数,使得该生成损失函数可充分反映目标掩膜图像和至少一个目标通道图像相对于目标超声图像的图像损失,在生成损失函数满足第一收敛条件时,认定原始生成网络收敛,将其确定为目标生成网络,以保障目标生成网络可输出差异性较大的生成图像。
在一实施例中,如图6和图8所示,步骤S104,即基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的判别网络,获取目标判别网络,包括 :
S601:将目标超声图像和目标掩膜图像,输入生成对抗网络的原始判别网络,获取原始判别网络输出的第二判别图像;
S602:获取所有像素点对应的原始灰度值均为1的第二预设图像,基于第二判别图像和第二预设图像,确定第三损失函数;
S603:将目标掩膜图像和至少一个目标通道图像,输入生成对抗网络的原始生成网络,获取目标生成网络输出的第二生成图像;
S604:将第二生成图像和目标掩膜图像,输入生成对抗网络的原始判别网络,获取原始判别网络输出的第三判别图像;
S605:获取所有像素点对应的原始灰度值均为1的第三预设图像,基于第三判别图像和第三预设图像,确定第四损失函数;
S606:根据第三损失函数和第四损失函数,确定原始判别网络对应的判别损失函数;
S607:若判别损失函数满足第一收敛条件,则将原始判别网络确定为目标判别网络。
其中,第二判别图像是指原始判别网络对目标超声图像和目标掩膜图像进行处理后生成的图像。
作为一示例,步骤S601中,计算机设备可将目标超声图像和目标掩膜图像(即多通道图像中的第一通道图像)一起输入生成对抗网络的原始判别网络进行处理,以获取原始判别网络输出的第二判别图像,该第二判别图像可理解为目标超声图像和目标掩膜图像的图像信息融合后的图像。本示例中,第二判别图像为预设图像大小的图像,例如为16*16的图像。
其中,第二预设图像是预先创建的一个原始灰度值均为1的图像。第二损失函数是指第二判别图像和第二预设图像之间的损失函数。
作为一示例,步骤S602中,计算机设备在训练生成对抗网络的判别网络过程中,需预先创建所有像素点对应的原始灰度值均为1的第二预设图像,具体需创建预设图像大小对应的所有像素点对应的原始灰度值均为1的第二预设图像,即创建图像大小为16*16,且所有像素点对应的原始灰度值均为1的第二预设图像。然后,计算机设备可根据第二预设图像和原始判别网络输出的第二判别图像进行损失计算,确定第三损失函数。本示例中,计算机设备可采用均方损失函数MSEloss对第二预设图像和第二判别图像进行处理,确定第三损失函数loss_real。
其中,第二生成图像是指原始生成网络对目标掩膜图像和至少一个目标通道图像进行处理后生成的图像。
作为一示例,步骤S603中,计算机设备将目标掩膜图像和至少一个目标通道图像,输入生成对抗网络的原始生成网络,采用原始生成网络对目标掩膜图像和至少一个目标通道图像进行处理,获取原始生成网络输出的第二生成图像。
例如,目标通道图像包括灰度通道图像和细节通道图像时,计算机设备可将目标掩膜图像、灰度通道图像和细节通道图像这三通道图像一起输入生成对抗网络的原始生成网络,即将目标掩膜图像作为第一通道图像,将灰度通道图像作为第二通道图像,将细节通道图像作为第三通道图像,将三通道图像输入原始生成网络进行处理,使得原始生成网络输出的第二生成图像中融合多通道图像的图像信息,有助于提升第二生成图像与目标超声图像之间的差异性。
作为一示例,步骤S604中,计算机设备在获取原始生成网络输出的第二生成图像后,可将第二生成图像与目标掩膜图像(即多通道图像中的第一通道图像)一起输入生成对抗网络的原始判别网络进行处理,以获取原始判别网络输出的第三判别图像,该第三判别图像可理解为第二生成图像和目标掩膜图像的图像信息融合后的图像。本示例中,第三判别图像为预设图像大小的图像,例如为16*16的图像。
其中,第三预设图像是预先创建的一个原始灰度值均为0的图像。第四损失函数是指第三判别图像和第三预设图像之间的损失函数。
作为一示例,步骤S605中,计算机设备在训练生成对抗网络的生成网络过程中,需预先创建所有像素点对应的原始灰度值均为0的第三预设图像,具体需创建预设图像大小对应的所有像素点对应的原始灰度值均为0的第一预设图像,即创建图像大小为16*16,且所有像素点对应的原始灰度值均为0的第三预设图像。然后,计算机设备可根据第三预设图像和原始判别网络输出的第三判别图像进行损失计算,确定第四损失函数。本示例中,计算机设备可采用均方损失函数MSEloss对第三预设图像和第三判别图像进行处理,确定第四损失函数loss_fake。
其中,判别损失函数是指训练生成对抗网络的判别网络过程中,实时计算出原始判别网络对应的损失函数。
作为一示例,步骤S606中,计算机设备在确定第三损失函数和第四损失函数后,可根据第三损失函数和第四损失函数,确定原始判别网络对应的判别损失函数。本示例中,计算机设备可采用判别损失函数公式,对输入的第三损失函数和第四损失函数进行计算,确定原始判别网络对应的判别损失函数。例如,判别损失函数公式为loss_D = 0.5 *(loss_real + loss_fake),其中,loss_D为判别损失函数,loss_real为第三损失函数,loss_fake为第四损失函数。
其中,第二收敛条件是预先设置的用于评估判别损失函数是否达到模型收敛标准的条件。
作为一示例,步骤S607中,计算机设备在确定原始判别网络对应的判别损失函数loss_D,需评估该判别损失函数loss_D是否满足第二收敛条件,例如,前后两次计算的判别损失函数loss_D的差值小于第二阈值,则认定满足第二收敛条件;在评估判别损失函数loss_D不满足第二收敛条件时,需重复执行步骤S601-S605,以更新原始判别网络的模型参数;在评估判别损失函数loss_D满足第二收敛条件时,可认定原始判别网络的模型参数满足收敛标准,可将更新完模型参数的原始判别网络确定为目标判别网络。
本实施例中,将目标超声图像和目标掩膜图像输入原始判别网络,将其输出的第二判别图像和所有原始灰度值均为1的第二预设图像进行损失计算,确定第三损失函数;将目标掩膜图像和至少一个目标通道图像输入原始生成网络,将其输出的第二生成图像和目标掩膜图像输入原始判别网络,将其输出的第三判别图像和所有原始灰度值均为0的第三预设图像进行损失计算,确定第四损失函数;再根据第三损失函数和第四损失函数确定判别损失函数,使得该判别损失函数可充分反映目标掩膜图像和至少一个目标通道图像相对于目标超声图像的图像损失,在判别损失函数满足第二收敛条件时,认定原始判别网络收敛,将其确定为目标判别网络,以保障目标生成网络可生成差异性较大的图像。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种生成对抗网络训练装置,该生成对抗网络训练装置与上述实施例中生成对抗网络训练方法一一对应。如图9所示,该生成对抗网络训练装置包括训练数据获取模块901、目标通道图像获取模块902、目标生成网络获取模块903和目标判别网络获取模块904。各功能模块详细说明如下:
训练数据获取模块901,用于获取训练数据,训练数据包括目标超声图像和目标掩膜图像;
目标通道图像获取模块902,用于对目标超声图像进行预处理,获取至少一个目标通道图像;
目标生成网络获取模块903,用于基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的生成网络,获取目标生成网络;
目标判别网络获取模块904,用于基于目标超声图像、目标掩膜图像和至少一个目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。
在一实施例中,目标通道图像包括灰度通道图像、细节通道图像和分辨率通道图像和区域通道图像中的至少一个;
目标通道图像获取模块902包括如下单元中的至少一个:
灰度通道图像获取单元,用于对目标超声图像进行灰度控制处理,获取灰度通道图像;
细节通道图像获取单元,用于对目标超声图像进行细节控制处理,获取细节通道图像;
分辨率通道图像获取单元,用于对目标超声图像进行分辨率控制处理,获取分辨率通道图像;
区域通道图像获取单元,用于对目标超声图像进行区域控制处理,获取区域通道图像。
在一实施例中,目标掩膜图像包括背景区域和至少一个感兴趣区域;
灰度通道图像获取单元,包括:
原始灰度值获取子单元,用于对目标超声图像进行灰度映射,获取目标超声图像中每一像素点对应的原始灰度值;
灰度均值获取子单元,用于根据目标超声图像中每一像素点对应的原始灰度值,获取背景区域对应的第一灰度均值和每一感兴趣区域对应的第二灰度均值;
灰度通道图像获取子单元,用于将第一灰度均值确定为背景区域中每一像素点对应的目标灰度值,将每一感兴趣区域对应的第二灰度均值确定为感兴趣区域中每一像素点对应的目标灰度值,获取灰度通道图像。
在一实施例中,目标掩膜图像包括背景区域和至少一个感兴趣区域;
细节通道图像获取单元,包括:
低分辨率图像获取子单元,用于对目标超声图像进行下采样和上采样处理,获取低分辨率图像;
轮廓特征图像获取子单元,用于对低分辨率图像进行轮廓特征提取,获取轮廓特征图像;
第一掩膜图像获取子单元,用于将目标掩膜图像中,每一感兴趣区域中所有像素点对应的原始灰度值设置为1,背景区域中所有像素点对应的原始灰度值确定为0,获取第一掩膜图像;
细节通道图像获取子单元,用于根据轮廓特征图像和第一掩膜图像,获取细节通道图像。
在一实施例中,目标生成网络获取模块903,包括:
第一生成图像获取单元,用于将目标掩膜图像和至少一个目标通道图像,输入生成对抗网络的原始生成网络,获取原始生成网络输出的第一生成图像;
第一判别图像获取单元,用于将第一生成图像和目标掩膜图像,输入生成对抗网络的原始判别网络进行判别,获取原始判别网络输出的第一判别图像;
第一损失函数确定单元,用于获取所有像素点对应的原始灰度值均为1的第一预设图像,基于第一判别图像和第一预设图像,确定第一损失函数;
第二损失函数确定单元,用于根据第一生成图像和目标超声图像,确定第二损失函数;
生成损失函数确定单元,用于根据第一损失函数和第二损失函数,确定原始生成网络对应的生成损失函数;
目标生成网络确定单元,用于若生成损失函数满足第一收敛条件,则将原始生成网络确定为目标生成网络。
在一实施例中,目标判别网络获取模块904,包括 :
第二判别图像获取单元,用于将目标超声图像和目标掩膜图像,输入生成对抗网络的原始判别网络,获取原始判别网络输出的第二判别图像;
第三损失函数确定单元,用于获取所有像素点对应的原始灰度值均为1的第二预设图像,基于第二判别图像和第二预设图像,确定第三损失函数;
第二生成图像获取单元,用于将目标掩膜图像和至少一个目标通道图像,输入生成对抗网络的原始生成网络,获取目标生成网络输出的第二生成图像;
第三判别图像获取单元,用于将第二生成图像和目标掩膜图像,输入生成对抗网络的原始判别网络,获取原始判别网络输出的第三判别图像;
第四损失函数确定单元,用于获取所有像素点对应的原始灰度值均为1的第三预设图像,基于第三判别图像和第三预设图像,确定第四损失函数;
判别损失函数确定单元,用于根据第三损失函数和第四损失函数,确定原始判别网络对应的判别损失函数;
判别损失函数确定单元,用于若判别损失函数满足第一收敛条件,则将原始判别网络确定为目标判别网络。
关于生成对抗网络训练装置的具体限定可以参见上文中对于生成对抗网络训练方法的限定,在此不再赘述。上述生成对抗网络训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行生成对抗网络训练方法过程中采用或生成的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种生成对抗网络训练方法。
在一实施例中,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中生成对抗网络训练方法,例如图1所示S101-S104,或者图2至图6中所示,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现生成对抗网络训练装置这一实施例中的各模块/单元的功能,例如图9所示的训练数据获取模块901、目标通道图像获取模块902、目标生成网络获取模块903和目标判别网络获取模块904的功能,为避免重复,这里不再赘述。
在一实施例中,提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中生成对抗网络训练方法,例如图1所示S101-S104,或者图2至图6中所示,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述生成对抗网络训练装置这一实施例中的各模块/单元的功能,例如图9所示的训练数据获取模块901、目标通道图像获取模块902、目标生成网络获取模块903和目标判别网络获取模块904的功能,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (14)
1.一种生成对抗网络训练方法,其特征在于,包括:
获取训练数据,所述训练数据包括目标超声图像和目标掩膜图像;
对所述目标超声图像进行预处理,获取至少一个目标通道图像;
基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的生成网络,获取目标生成网络;
基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。
2.如权利要求1所述的生成对抗网络训练方法,其特征在于,所述目标通道图像包括灰度通道图像、细节通道图像和分辨率通道图像和区域通道图像中的至少一个;
所述对所述目标超声图像进行预处理,获取至少一个目标通道图像,包括如下步骤中的至少一个:
对所述目标超声图像进行灰度控制处理,获取灰度通道图像;
对所述目标超声图像进行细节控制处理,获取细节通道图像;
对所述目标超声图像进行分辨率控制处理,获取分辨率通道图像;
对所述目标超声图像进行区域控制处理,获取区域通道图像。
3.如权利要求2所述的生成对抗网络训练方法,其特征在于,所述目标掩膜图像包括背景区域和至少一个感兴趣区域;
所述对所述目标超声图像进行灰度控制处理,获取灰度通道图像,包括:
对所述目标超声图像进行灰度映射,获取所述目标超声图像中每一像素点对应的原始灰度值;
根据所述目标超声图像中每一像素点对应的原始灰度值,获取所述背景区域对应的第一灰度均值和每一所述感兴趣区域对应的第二灰度均值;
将所述第一灰度均值确定为所述背景区域中每一像素点对应的目标灰度值,将每一感兴趣区域对应的第二灰度均值确定为所述感兴趣区域中每一像素点对应的目标灰度值,获取灰度通道图像。
4.如权利要求1所述的生成对抗网络训练方法,其特征在于,所述目标掩膜图像包括背景区域和至少一个感兴趣区域;
所述对所述目标超声图像进行细节控制处理,获取细节通道图像,包括:
对所述目标超声图像进行下采样和上采样处理,获取低分辨率图像;
对所述低分辨率图像进行轮廓特征提取,获取轮廓特征图像;
将所述目标掩膜图像中,每一所述感兴趣区域中所有像素点对应的原始灰度值设置为1,所述背景区域中所有像素点对应的原始灰度值确定为0,获取第一掩膜图像;
根据所述轮廓特征图像和所述第一掩膜图像,获取细节通道图像。
5.如权利要求1所述的生成对抗网络训练方法,其特征在于,所述基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的生成网络,获取目标生成网络,包括:
将所述目标掩膜图像和至少一个所述目标通道图像,输入生成对抗网络的原始生成网络,获取所述原始生成网络输出的第一生成图像;
将所述第一生成图像和所述目标掩膜图像,输入生成对抗网络的原始判别网络进行判别,获取所述原始判别网络输出的第一判别图像;
获取所有像素点对应的原始灰度值均为1的第一预设图像,基于所述第一判别图像和所述第一预设图像,确定第一损失函数;
根据所述第一生成图像和所述目标超声图像,确定第二损失函数;
根据所述第一损失函数和所述第二损失函数,确定所述原始生成网络对应的生成损失函数;
若所述生成损失函数满足第一收敛条件,则将所述原始生成网络确定为目标生成网络。
6.如权利要求1所述的生成对抗网络训练方法,其特征在于,所述基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的判别网络,获取目标判别网络,包括 :
将所述目标超声图像和所述目标掩膜图像,输入生成对抗网络的原始判别网络,获取所述原始判别网络输出的第二判别图像;
获取所有像素点对应的原始灰度值均为1的第二预设图像,基于所述第二判别图像和第二预设图像,确定第三损失函数;
将所述目标掩膜图像和至少一个所述目标通道图像,输入生成对抗网络的原始生成网络,获取所述目标生成网络输出的第二生成图像;
将所述第二生成图像和所述目标掩膜图像,输入生成对抗网络的原始判别网络,获取所述原始判别网络输出的第三判别图像;
获取所有像素点对应的原始灰度值均为1的第三预设图像,基于所述第三判别图像和所述第三预设图像,确定第四损失函数;
根据所述第三损失函数和所述第四损失函数,确定所述原始判别网络对应的判别损失函数;
若所述判别损失函数满足第一收敛条件,则将所述原始判别网络确定为目标判别网络。
7.一种生成对抗网络训练装置,其特征在于,包括:
训练数据获取模块,用于获取训练数据,所述训练数据包括目标超声图像和目标掩膜图像;
目标通道图像获取模块,用于对所述目标超声图像进行预处理,获取至少一个目标通道图像;
目标生成网络获取模块,用于基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的生成网络,获取目标生成网络;
目标判别网络获取模块,用于基于所述目标超声图像、所述目标掩膜图像和至少一个所述目标通道图像训练生成对抗网络的判别网络,获取目标判别网络。
8.如权利要求7所述的生成对抗网络训练装置,其特征在于,所述目标通道图像包括灰度通道图像、细节通道图像和分辨率通道图像和区域通道图像中的至少一个;
所述目标通道图像获取模块包括如下单元中的至少一个:
灰度通道图像获取单元,用于对所述目标超声图像进行灰度控制处理,获取灰度通道图像;
细节通道图像获取单元,用于对所述目标超声图像进行细节控制处理,获取细节通道图像;
分辨率通道图像获取单元,用于对所述目标超声图像进行分辨率控制处理,获取分辨率通道图像;
区域通道图像获取单元,用于对所述目标超声图像进行区域控制处理,获取区域通道图像。
9.如权利要求8所述的生成对抗网络训练装置,其特征在于,所述目标掩膜图像包括背景区域和至少一个感兴趣区域;
所述灰度通道图像获取单元,包括:
原始灰度值获取子单元,用于对所述目标超声图像进行灰度映射,获取所述目标超声图像中每一像素点对应的原始灰度值;
灰度均值获取子单元,用于根据所述目标超声图像中每一像素点对应的原始灰度值,获取所述背景区域对应的第一灰度均值和每一所述感兴趣区域对应的第二灰度均值;
灰度通道图像获取子单元,用于将所述第一灰度均值确定为所述背景区域中每一像素点对应的目标灰度值,将每一感兴趣区域对应的第二灰度均值确定为所述感兴趣区域中每一像素点对应的目标灰度值,获取灰度通道图像。
10.如权利要求8所述的生成对抗网络训练装置,其特征在于,所述目标掩膜图像包括背景区域和至少一个感兴趣区域;
所述细节通道图像获取单元,包括:
低分辨率图像获取子单元,用于对所述目标超声图像进行下采样和上采样处理,获取低分辨率图像;
轮廓特征图像获取子单元,用于对所述低分辨率图像进行轮廓特征提取,获取轮廓特征图像;
第一掩膜图像获取子单元,用于将所述目标掩膜图像中,每一所述感兴趣区域中所有像素点对应的原始灰度值设置为1,所述背景区域中所有像素点对应的原始灰度值确定为0,获取第一掩膜图像;
细节通道图像获取子单元,用于根据所述轮廓特征图像和所述第一掩膜图像,获取细节通道图像。
11.如权利要求7所述的生成对抗网络训练装置,其特征在于,所述目标生成网络获取模块,包括:
第一生成图像获取单元,用于将所述目标掩膜图像和至少一个所述目标通道图像,输入生成对抗网络的原始生成网络,获取所述原始生成网络输出的第一生成图像;
第一判别图像获取单元,用于将所述第一生成图像和所述目标掩膜图像,输入生成对抗网络的原始判别网络进行判别,获取所述原始判别网络输出的第一判别图像;
第一损失函数确定单元,用于获取所有像素点对应的原始灰度值均为1的第一预设图像,基于所述第一判别图像和所述第一预设图像,确定第一损失函数;
第二损失函数确定单元,用于根据所述第一生成图像和所述目标超声图像,确定第二损失函数;
生成损失函数确定单元,用于根据所述第一损失函数和所述第二损失函数,确定所述原始生成网络对应的生成损失函数;
目标生成网络确定单元,用于若所述生成损失函数满足第一收敛条件,则将所述原始生成网络确定为目标生成网络。
12.如权利要求7所述的生成对抗网络训练装置,其特征在于,所述目标判别网络获取模块,包括 :
第二判别图像获取单元,用于将所述目标超声图像和所述目标掩膜图像,输入生成对抗网络的原始判别网络,获取所述原始判别网络输出的第二判别图像;
第三损失函数确定单元,用于获取所有像素点对应的原始灰度值均为1的第二预设图像,基于所述第二判别图像和第二预设图像,确定第三损失函数;
第二生成图像获取单元,用于将所述目标掩膜图像和至少一个所述目标通道图像,输入生成对抗网络的原始生成网络,获取所述目标生成网络输出的第二生成图像;
第三判别图像获取单元,用于将所述第二生成图像和所述目标掩膜图像,输入生成对抗网络的原始判别网络,获取所述原始判别网络输出的第三判别图像;
第四损失函数确定单元,用于获取所有像素点对应的原始灰度值均为1的第三预设图像,基于所述第三判别图像和所述第三预设图像,确定第四损失函数;
判别损失函数确定单元,用于根据所述第三损失函数和所述第四损失函数,确定所述原始判别网络对应的判别损失函数;
判别损失函数确定单元,用于若所述判别损失函数满足第一收敛条件,则将所述原始判别网络确定为目标判别网络。
13.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述生成对抗网络训练方法。
14.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述生成对抗网络训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310121702.4A CN115860067B (zh) | 2023-02-16 | 2023-02-16 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310121702.4A CN115860067B (zh) | 2023-02-16 | 2023-02-16 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115860067A true CN115860067A (zh) | 2023-03-28 |
CN115860067B CN115860067B (zh) | 2023-09-05 |
Family
ID=85658208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310121702.4A Active CN115860067B (zh) | 2023-02-16 | 2023-02-16 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115860067B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033417A (zh) * | 2019-04-12 | 2019-07-19 | 江西财经大学 | 一种基于深度学习的图像增强方法 |
CN110245683A (zh) * | 2019-05-13 | 2019-09-17 | 华中科技大学 | 一种少样本目标识别的残差关系网络构建方法及应用 |
CN111275126A (zh) * | 2020-02-12 | 2020-06-12 | 武汉轻工大学 | 样本数据集生成方法、装置、设备及存储介质 |
CN111767962A (zh) * | 2020-07-03 | 2020-10-13 | 中国科学院自动化研究所 | 基于生成对抗式网络的一阶段目标检测方法、***及装置 |
CN113569855A (zh) * | 2021-07-07 | 2021-10-29 | 江汉大学 | 一种舌象分割方法、设备及存储介质 |
CN114005007A (zh) * | 2020-07-28 | 2022-02-01 | 东声(苏州)智能科技有限公司 | 基于深度学习的图像扩充方法和装置、存储介质和计算机 |
CN115701616A (zh) * | 2021-08-02 | 2023-02-10 | 杭州三坛医疗科技有限公司 | 生成对抗网络的训练方法、c臂机图像修复方法及装置 |
-
2023
- 2023-02-16 CN CN202310121702.4A patent/CN115860067B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033417A (zh) * | 2019-04-12 | 2019-07-19 | 江西财经大学 | 一种基于深度学习的图像增强方法 |
CN110245683A (zh) * | 2019-05-13 | 2019-09-17 | 华中科技大学 | 一种少样本目标识别的残差关系网络构建方法及应用 |
CN111275126A (zh) * | 2020-02-12 | 2020-06-12 | 武汉轻工大学 | 样本数据集生成方法、装置、设备及存储介质 |
CN111767962A (zh) * | 2020-07-03 | 2020-10-13 | 中国科学院自动化研究所 | 基于生成对抗式网络的一阶段目标检测方法、***及装置 |
CN114005007A (zh) * | 2020-07-28 | 2022-02-01 | 东声(苏州)智能科技有限公司 | 基于深度学习的图像扩充方法和装置、存储介质和计算机 |
CN113569855A (zh) * | 2021-07-07 | 2021-10-29 | 江汉大学 | 一种舌象分割方法、设备及存储介质 |
CN115701616A (zh) * | 2021-08-02 | 2023-02-10 | 杭州三坛医疗科技有限公司 | 生成对抗网络的训练方法、c臂机图像修复方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
CN116681790B (zh) * | 2023-07-18 | 2024-03-22 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115860067B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717878B (zh) | 图像融合方法、装置、计算机设备和存储介质 | |
CN110909595B (zh) | 面部动作识别模型训练方法、面部动作识别方法 | |
CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
CN110580680B (zh) | 基于组合学习的人脸超分辨率方法及装置 | |
CN111784588A (zh) | 图像数据增强方法、装置、计算机设备和存储介质 | |
CN111161269B (zh) | 图像分割方法、计算机设备和可读存储介质 | |
CN110956632B (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
CN115860067B (zh) | 生成对抗网络训练方法、装置、计算机设备及存储介质 | |
US12014498B2 (en) | Image enhancement processing method, device, equipment, and medium based on artificial intelligence | |
CN113674191A (zh) | 一种基于条件对抗网络的弱光图像增强方法和装置 | |
CN111860582B (zh) | 图像分类模型构建方法、装置、计算机设备和存储介质 | |
CN113962959A (zh) | 三维图像处理方法、装置、计算机设备和存储介质 | |
CN113160087A (zh) | 图像增强方法、装置、计算机设备及存储介质 | |
CN110136052A (zh) | 一种图像处理方法、装置和电子设备 | |
CN110807409A (zh) | 人群密度检测模型训练方法和人群密度检测方法 | |
CN113963353A (zh) | 一种文字图像处理识别方法、装置、计算机设备和存储介质 | |
CN114757950A (zh) | 超声图像处理方法、装置以及计算机可读存储介质 | |
CN113469092A (zh) | 字符识别模型生成方法、装置、计算机设备和存储介质 | |
CN110222752B (zh) | 图像处理方法、***、计算机设备、存储介质和芯片 | |
CN117115184A (zh) | 一种医疗图像分割模型的训练方法、分割方法及相关产品 | |
CN110310314B (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
CN111161240A (zh) | 血管分类方法、计算机设备和可读存储介质 | |
CN116486304A (zh) | 一种基于超声视频的关键帧提取方法及相关设备 | |
CN114549932A (zh) | 数据增强处理方法、装置、计算机设备及存储介质 | |
CN113724237B (zh) | 齿痕识别方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |