发明内容
本发明提供一种互补模型的方法、设备及计算机可读存储介质,以得到能够准确预测冠状动脉影像的分割结果。
本发明一方面提供一种互补模型的方法,包括:对血管数据样本进行第一次模型训练,得到第一神经网络模型;对血管数据样本进行第二次模型训练,得到与第一神经网络模型互补的第二神经网络模型;通过所述第一神经网络模型和所述第二神经网络模型对血管数据进行分割,得到血管数据分割结果。
在一种可实施方式中,所述通过第一神经网络模型和所述第二神经网络模型对血管数据进行分割,包括:将所述第一神经网络模型和第二神经网络模型整合,得到第三神经网络模型;利用所述第三神经网络模型来对血管数据进行分割。
在一种可实施方式中,所述对血管数据样本进行第一次模型训练,得到第一神经网络模型,包括:通过Diceloss或CE loss的损失函数对血管数据样本进行模型训练,得到第一神经网络模型。
在一种可实施方式中,对血管数据样本进行第二次模型训练,得到第二神经网络模型,包括:通过FocalDice或Skeleton loss的损失函数对血管数据样本进行模型训练,得到第二神经网络模型。
在一种可实施方式中,所述血管数据样本包括第一数据样本和第二数据样本;所述对血管数据样本进行第一次模型训练,得到第一神经网络模型;对血管数据样本进行第二次模型训练,得到第二神经网络模型,包括:对第一数据样本进行模型训练,得到第一神经网络模型;对第二数据样本进行模型训练,得到第二神经网络模型。
在一种可实施方式中,所述将所述第一神经网络模型和第二神经网络模型整合,得到第三神经网络模型;包括:检测所述第一神经网络模型的断裂位置;若在所述第一神经网络模型中检测到断裂位置,在所述第二神经网络模型中寻找是否存在所述断裂位置的预测结果;若所述第二神经网络模型中在所述断裂位置存在预测结果,将所述预测结果搬入所述第一神经网络模型中。
在一种可实施方式中,所述将所述第一神经网络模型和第二神经网络模型整合,得到第三神经网络模型;包括:通过第一神经网络模型对血管样本进行预测,得到第一模型预测结果;通过第二神经网络模型预测对血管样本进行预测,得到第二模型预测结果;对所述第一预测结果和所述第二预测结果进行模型训练,得到第三神经网络模型。
本发明另一方面提供一种互补模型的设备,包括:训练模块,用于对血管数据样本进行第一次模型训练,得到第一神经网络模型;所述训练模块,进一步用于对血管数据样本进行第二次模型训练,得到与第一神经网络模型互补的第二神经网络模型;分割模块,用于通过所述第一神经网络模型和所述第二神经网络模型对血管数据进行分割,得到血管数据分割结果。
在一种可实施方式中,所述分割模块,还用于将所述第一神经网络模型和第二神经网络模型整合,得到第三神经网络模型;利用所述第三神经网络模型来对血管数据进行分割。
在一种可实施方式中,所述训练模块具体用于:通过Diceloss或CEloss的损失函数对血管数据样本进行模型训练,得到第一神经网络模型。
在一种可实施方式中,所述训练模块具体用于:通过FocalDice或Skeleton loss的损失函数对血管数据样本进行模型训练,得到第二神经网络模型。
在一种可实施方式中,所述血管数据样本包括第一数据样本和第二数据样本;所述训练模块具体用于:用于对第一数据样本进行模型训练,得到第一神经网络模型;用于对第二数据样本进行模型训练,得到第二神经网络模型。
在一种可实施方式中,所述分割模块包括:检测子模块,用于检测所述第一神经网络模型的断裂位置;寻找子模块,用于若在所述第一神经网络模型中检测到断裂位置,在所述第二神经网络模型中寻找是否存在所述断裂位置的预测结果;搬入子模块,用于若所述第二神经网络模型中在所述断裂位置存在预测结果,将所述预测结果搬入所述第一神经网络模型中。
在一种可实施方式中,所述分割模块包括:预测子模块,用于通过第一神经网络模型对血管样本进行预测,得到第一模型预测结果;还用于通过第二神经网络模型预测对血管样本进行预测,得到第二模型预测结果;训练子模块,对所述第一预测结果和所述第二预测结果进行模型训练,得到第三神经网络模型。
本发明再一方面一种计算机可读存储介质,所述存储介质包括一组计算机可执行指令,当所述指令被执行时用于执行本发明所述的互补模型的方法。
本发明提供的一种互补模型的方法及设备通过将第一神经网络模型和与第一神经网络模型互补的第二神经网络模型对血管数据进行分割,从而得到兼具第一神经网络模型和第二神经网络模型优点的分割结果;通过分割得到的冠状动脉血管影像具有引入静脉少、冠状动脉断裂少的特点,使影像具有更高的准确性。本发明还通过将第一神经网络模型和与第一神经网络模型互补的第二神经网络模型,通过第三神经网络模型对血管数据进行分割,使分割过程更加方便,简化分割流程。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明实施例互补模型的方法的流程示意图。
参见图1,本发明实施例一方面提供一种互补模型的方法,包括如下步骤:步骤101,对血管数据样本进行第一次模型训练,得到第一神经网络模型;步骤102,对血管数据样本进行第二次模型训练,得到与第一神经网络模型互补的第二神经网络模型;步骤103,通过第一神经网络模型和第二神经网络模型对血管数据进行分割,得到血管数据分割结果。
本发明实施例训练互补的第一神经网络模型和第二神经网络模型,并利用第一神经网络模型和第二神经网络模型对血管数据进行分割,从而得到引入静脉少、冠状动脉断裂少的冠状动脉血管影像,使影像具有更高的准确性。
本发明实施例的血管数据样本指代冠状动脉血管的数据样本,在本发明实施例提供的方法中,利用血管数据样本进行模型训练,从而得到第一神经网络模型和第二神经网络模型,需要注意的是,本发明实施例步骤101中的第一次模型训练和步骤102中的第二次模型训练,其中的第一次和第二次只是为了对模型训练进行区分,两个模型训练之间不存在因果关系和步骤执行的严格先后顺序。即步骤101和步骤102为两互不干涉的并列步骤。
进一步需要注意的是,由于第一神经网络模型和第二神经网络模型为互补模型;步骤101和步骤102的训练方法需要进行区分。本发明实施例旨在解决单一神经网络模型存在模型缺陷的问题,因此,本发明实施例在步骤101和步骤102中,所选取的模型训练方法同样为需要缺陷互补的训练方法。
在本发明实施例中,步骤101具体为:通过Diceloss或CE loss的损失函数对血管数据样本进行模型训练,得到第一神经网络模型。
在本发明实施例实际操作中,步骤101选择普通的Diceloss或CEloss的损失函数对血管数据样本进行模型训练,由该损失函数得到的神经网络模型相较于其他训练方法,在预测血管影像时,具有相对少的静脉预测性能,但是存在冠状动脉预测结果中会出现血管断裂的缺陷。
在本发明实施例中,步骤102,具体为:通过FocalDice或Skeleton loss的损失函数对血管数据样本进行模型训练,得到第二神经网络模型。
在步骤102中,选择FocalDice或Skeleton loss的损失函数对血管数据样本进行模型训练,由该损失函数得到的神经网络模型相较于步骤101中使用的损失函数,在预测血管影像时,具有相对好的断裂连接能力,避免影像上出现血管断裂,但是在预测结果图像会出现较多的静脉。
利用的Diceloss或CE loss的损失函数训练得到的第一神经网络模型和利用FocalDice或Skeleton loss的损失函数训练得到的第二神经网络模型,两个模型的优点和缺陷恰好呈互补状态,将第一神经网络模型和第二神经网络模型整合,能够得到冠状动脉断裂少、静脉引入少的第三网络模型。用该种方法进行模型训练,只需要使用一个血管数据样本。
在本发明实施例中,血管数据样本包括第一数据样本和第二数据样本;步骤101和步骤102具体为:首先,对第一数据样本进行模型训练,得到第一神经网络模型;然后,对第二数据样本进行模型训练,得到第二神经网络模型。
区别上述获得第一神经网络模型和第二神经网络模型的方法,本发明实施例还提供另一种获得第一神经网络模型和第二神经网络模型的方法。
具体的,本发明实施例选用Diceloss损失函数进行模型训练。首先,需要将血管数据样本进行划分,得到第一数据样本和第二数据样本。其中,划分条件可以为每个血管数据样本中冠状动脉数据量和静脉数据量的比值或每个血管数据样本中冠状动脉数据量与其他类型数据的比值;还可以根据每个血管数据样本中冠状动脉数据中的血管断裂数量进行划分。本发明实施例选择以血管数据样本中冠状动脉血管断裂数量作为第一维度,每个血管数据样本中冠状动脉数据量和静脉数据量的比值作为第二维度对样本集进行划分。
在一种划分中,可以选择在第一维度中冠状动脉血管断裂数量多的样本作为第一数据样本,选择在第一维度中冠状动脉血管断裂数量少的样本作为第二数据样本。此处的断裂数量多少为第一数据样本与第二数据样本比较得到的相对概念,即第一数据样本中冠状动脉血管断裂数量大于第二数据样本中冠状动脉血管断裂数量。如:第一数据样本中冠状动脉血管断裂数量为5%;第二数据样本中冠状动脉血管断裂数量为小于5%且大于0的任一值,如3%。
在另一种划分中,可以选择在第二维度中冠状动脉数据量和静脉数据量的比值大的样本作为第一数据样本,选择在第二维度中冠状动脉数据量和静脉数据量的比值小的样本作为第二数据样本。此处冠状动脉数据量和静脉数据量的比值大小为第一数据样本与第二数据样本比较得到的相对概念,即在第一数据样本中冠状动脉数据量和静脉数据量的比值大于在第二数据中冠状动脉数据量和静脉数据量的比值。如:第一数据样本中冠状动脉数据量和静脉数据量的比值为50;第二数据样本中冠状动脉数据量和静脉数据量的比值为小于50且大于0的任一值,如5。
在另一种划分中,可以选择在第一维度中冠状动脉血管断裂数量少且在第二维度中冠状动脉数据量和静脉数据量的比值大的血管数据样本作为第一数据样本。选择在第一维度中冠状动脉血管断裂数量少且在第二维度中冠状动脉数据量和静脉数据量的比值小的血管数据样本作为第二数据样本。此处的血管断裂数量少和冠状动脉数据量和静脉数据量的比值小均为第一数据样本与第二数据样本的相对概念,其具体血管断裂数量和冠状动脉数据量和静脉数据量的比值均依据实际情况进行设定。
如,本方法挑选血管数据样本中血管断裂数量低于血管总量1%的样本,进一步在其中挑选静脉数据量占总数据量低于0.1%的样本,将符合条件的样本作为主要集合,再混入其他类型的数据,主要集合和其他类型的数据比例为9:1。其他类型的数据可以是不满足主要集合条件的任意数据,本方法其他类型的数据为在血管数据样本中随机挑选的数据。将主要集合和其他类型的数据按照9:1混合后,得到第一数据样本。
同理,再挑选血管数据样本中血管断裂数量低于血管总量0.1%的样本,进一步在其中挑选静脉数据量占总数据量低于5%的样本,将符合条件的样本作为主要集合,再混入其他类型的数据,主要集合和其他类型的数据比例为9:1,得到第二数据样本。
然后,用Diceloss对第一数据样本进行模型训练,得到第一神经网络模型。用Diceloss对第二数据样本进行模型训练,得到第二神经网络模型。用该种方法进行模型训练,只需要使用一种模型训练方法。
在本发明实施例中,步骤103包括:将第一神经网络模型和第二神经网络模型整合,得到第三神经网络模型;利用所述第三神经网络模型来对血管数据进行分割。
需要说明的是,本发明实施例所提供的第三神经网络模型的意义是为了简化分割流程,在不进行第一神经网络模型和第二神经网络模型的整合下,直接通过第一神经网络模型和第二神经网路模型对血管数据进行分割,同样能够得到引入静脉少、冠状动脉断裂少的冠状动脉血管影像。
如果训练得到的第一神经网络模型和第二神经网络模型存在多处缺陷,可以选取多个缺陷互补的模型依次整合,从而得到缺陷更少、预测性能更为准确的第三神经网络模型。第三神经网络模型可通过深度学习的方法进行整合。
在本发明实施例中,步骤103包括:首先,检测第一神经网络模型的断裂位置;然后,若在第一神经网络模型中检测到断裂位置,在第二神经网络模型中寻找是否存在断裂位置的预测结果;再后,若第二神经网络模型中在断裂位置存在预测结果,将预测结果搬入第一神经网络模型中。
在步骤103中,首先将第一神经网络模型对血管样本进行预测,得到第一冠状动脉结果;同时,将第二神经网络模型对血管样本进行预测,得到第二冠状动脉结果。
将第一冠状动脉预测结果和第二冠状动脉预测结果中的静脉数量进行比对,选取预测结果中静脉较少的模型作为基准模型,静脉较多的模型作为断裂修复的参考模型。然后,对基准模型检测,得到基准模型中冠状动脉血管断裂的位置;检测在参考模型中,位于基准模型的断裂的位置中是否存在有冠状动脉的预测结果。如果有,则将参考模型中的冠状动脉的预测结果搬入基准模型中,形成第三神经网络模型。
由此得到的第三神经网络模型相较于第一神经网络模型和第二神经网络模型在预测冠状动脉影像时具有引入静脉少、冠状动脉断裂少的特点。
需要解释的是,本发明实施例在对基准模型检测,得到基准模型中冠状动脉血管断裂的位置时,可采用以下方法进行判断:首先,提取冠状动脉血管影像的被连接分割体;然后,通过可拟合性判断分割体上的可连接性是否有效,此处可采用向量方法分析、位置判断或拟合值分析进行有效性判断;根据判断结果即可得到冠状动脉血管影像上的冠状动脉血管是否存在断裂。
在本发明实施例中,步骤103包括:首先,通过第一神经网络模型对血管样本进行预测,得到第一模型预测结果;然后,通过第二神经网络模型预测对血管样本进行预测,得到第二模型预测结果;再后,对第一预测结果和第二预测结果进行模型训练,得到第三神经网络模型。
本发明实施例还提供另一种用于步骤103整合模型的方法。该方法首先将第一神经网络模型对血管样本进行预测,得到第一模型预测结果;同时,将第二神经网络模型对血管样本进行预测,得到第二模型预测结果。将第一模型预测结果和第二模型预测结果整合,作为样本数据进行模型训练,得到第三神经网络模型。
由此得到的第三神经网络模型相较于第一神经网络模型和第二神经网络模型在预测冠状动脉影像时具有引入静脉少、冠状动脉断裂少的特点。
图2示出了本发明实施例互补模型的设备的结构示意图一;图3示出了本发明实施例互补模型的设备的结构示意图二。
结合图2和图3,本发明实施例另一方面提供一种互补模型的设备,包括:训练模块201,用于对血管数据样本进行第一次模型训练,得到第一神经网络模型;训练模块201,进一步用于对血管数据样本进行第二次模型训练,得到与第一神经网络模型互补的第二神经网络模型;分割模块202,用于通过第一神经网络模型和第二神经网络模型对血管数据进行分割,得到血管数据分割结果。
在本发明实施例中,分割模块202,还用于将第一神经网络模型和第二神经网络模型整合,得到第三神经网络模型;利用所述第三神经网络模型来对血管数据进行分割。
在本发明实施例中,训练模块201具体用于:通过Diceloss或CE loss的损失函数对血管数据样本进行模型训练,得到第一神经网络模型。
在本发明实施例中,训练模块201具体用于:通过FocalDice或Skeleton loss的损失函数对血管数据样本进行模型训练,得到第二神经网络模型。
在本发明实施例中,血管数据样本包括第一数据样本和第二数据样本;训练模块201具体用于:对第一数据样本进行模型训练,得到第一神经网络模型;用于对第二数据样本进行模型训练,得到第二神经网络模型。
在本发明的一实施例中,分割模块202包括:检测子模块2021,用于检测第一神经网络模型的断裂位置;寻找子模块2022,用于若在第一神经网络模型中检测到断裂位置,在第二神经网络模型中寻找是否存在断裂位置的预测结果;搬入子模块2023,用于若第二神经网络模型中在断裂位置存在预测结果,将预测结果搬入第一神经网络模型中。
在本发明的另一实施例中,分割模块202包括:预测子模块2024,用于通过第一神经网络模型对血管样本进行预测,得到第一模型预测结果;还用于通过第二神经网络模型预测对血管样本进行预测,得到第二模型预测结果;训练子模块2025,用于对第一预测结果和第二预测结果进行模型训练,得到第三神经网络模型。
本发明实施例还提供一种计算机可读存储介质,所述存储介质包括一组计算机可执行指令,当所述指令被执行时用于执行本发明所述的互补模型的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。