医学图像识别方法、装置、设备和介质
技术领域
本发明涉及图像处理领域,尤其涉及医学图像识别方法、装置、设备和介质。
背景技术
由于大气污染,环境污染,室内空气污染,吸烟等因素的影响,恶性肿瘤已经成为全球发病率和死亡率最高的疾病之一,严重威胁人类的健康与生命。以肺癌为例,就2015年而言,中国的肺癌新增病例为73万例,占全球新增病例的35.8%,并且正在以每年80万的速度增长,其中,中晚期占比70%,死亡率较高。
部分癌症的早期病变组织称为结节,是医学影像处理领域的一个描述性名词,结节与身体的正常组织有着相同的x射线吸收量。肺结节在CT扫描图像中通常是对比度低,形状异化程度高,尺寸比较小。现阶段,主要通过人眼观察。
发明内容
本发明实施例提供的医学图像识别方法、装置、设备和介质,可以保证医学图像的识别准确度。
根据本发明实施例的一方面,提供一种医学图像识别方法,包括:利用预先训练的结节识别模型,得到疑似结节单元在目标结构的原始医学影像中的位置信息;根据疑似结节单元在原始医学影像中的位置信息,在医学影像中分割出疑似结节单元的医学影像;利用预先训练的肿瘤识别模型,对疑似结节单元的医学影像进行识别,得到疑似结节单元的识别结果,其中,识别结果包括良性结节或恶性结节。
根据本发明实施例的一方面中的医学图像识别方法,利用结节识别模型,可以从目标结构的原始医学影像中分割出疑似结节单元的医学影像。再将疑似结节单元的医学影像输入预先训练的肿瘤识别模型,可以得到疑似结节单元的识别结果。其中,疑似结节单元的识别结果包括良性结节或恶性结节。相较于人眼主观识别医学图像,能通过上述两个模型对医学影像中良性结节和恶性结节进行客观量化识别。因此,保证了医学图像的识别准确度。
在一种可选的实施方式中,利用预先训练的肿瘤识别模型,对所述疑似结节单元的医学影像进行识别,得到所述疑似结节单元的识别结果,包括:利用预先训练的肿瘤识别模型,对所述疑似结节单元的医学影像进行识别,获取所述疑似结节单元的识别分数;根据所述疑似结节单元的识别分数,确定所述疑似结节单元的识别结果。
通过本实施方式提供的医学图像识别方法,能够对疑似结节单元进行客观量化打分,并根据客观量化的打分,来确定疑似结节单元的识别结果,提高了识别精度。
在一种可选的实施方式中,所述获取所述疑似结节单元的识别分数之后,所述方法还包括:将所述目标结构的一个或多个疑似结节单元的识别分数确定输入决策模型,得到所述目标结构的识别分数。
通过本实施例提供的医学图像识别方法,由于目标结构之间的疑似结节单元存在相互联系,例如,若肺部有恶性肿瘤,恶性肿瘤会扩散为多个恶性肿瘤。若肺部识别出多个恶性肿瘤单元则肺部存在恶性肿瘤的概率较高。因此,利用一个或多个目标结构的一个或多个疑似结节单元的识别分数计算目标结构的识别分数,能够准确的识别目标结构。
在一种可选的实施方式中,利用预先训练的结节识别模型,得到疑似结节单元在目标结构的原始医学影像中的位置信息之前,方法还包括:获取目标结构的原始医学影像;从原始医学影像中,分割出目标结构的实质图像;将实质图像输入结节识别模型。
与原始医学影像相比,实质图像不包含除目标结构之外的其他组织,例如,钢板、衣服以及骨骼等。因此,将实质图像输入结节识别模型进行处理,减小了数据处理量,也降低了其他组织对识别结果的干扰。
在一种可选的实施方式中,从医学影像中,分割出目标结构的实质图像,包括:利用预先训练的掩膜分割模型对原始医学影像进行图像分割处理,得到目标结构的掩膜图像;利用掩膜图像,从原始医学影像中提取实质图像。
利用掩膜图像,能够从原始医学影像中准确提取出实质图像。并且由于本发明实施例中,利用掩膜训练模型来获取掩膜图像,掩膜图像和原始医学影像的匹配度极高。因此,能够提高实质图像的分割精度,进而能够提高识别精度。
在一种可选的实施方式中,方法还包括:对多张目标结构的医学影像样本进行标记,其中,将多张目标结构的医学影像中的疑似结节单元标记为正样本,将除疑似结节单元外的其他单元标记为负样本;利用标记后的医学影像样本训练结节识别模型。
通过将疑似结节单元标记为正样本,将除疑似结节单元外的其他单元标记为负样本,能够根据疑似结节单元和其他单元的差异性,训练出结节识别模型,提高结节识别模型的精度。
在一种可选的实施方式中,多张目标结构的医学影像样本包含N组医学影像,每一组医学影像包括断层扫描得到的连续多张医学影像,其中,连续多张医学影像中至少一张包含疑似结节单元。
考虑到断层扫描是连续拍摄的过程,若某一张医学图像包括疑似结节单元,则该张医学影像的相邻医学影像很大程度上也包括该疑似结节单元。因此,选用由N组医学影像组成的多张目标结构的医学影像样本,能够提高结节识别模型的精度。
在一种可选的实施方式中,肿瘤识别模型包括:特征提取子模型和分类子模型;利用预先训练的肿瘤识别模型,对疑似结节单元的医学影像进行识别,得到疑似结节单元的识别结果分数,包括:将疑似结节单元的医学影像输入特征提取子模型,提取疑似结节单元的特征;将疑似结节单元的特征输入分类子模型中进行分类计算,根据分类计算得分确定疑似结节单元的识别结果分数。
由于疑似结节单元的医学影像的识别过程中,先提取疑似结节单元的医学影像的特征,再利用提取的特征计算识别分数。根据疑似结节单元的医学影像的特征计算识别分数,在减小计算量的同时能够保证计算精确度,提高识别效率。
在一种可选的实施方式中,从原始医学影像中,分割出目标结构的实质图像方法还包括:对目标结构的原始医学影像进行预处理;将从预处理后的原始医学影像输入结节识别模型中分割出目标结构的实质图像。
在提取实质图像之前,通过对原始医学影像进行预处理,可以筛选掉部分无关的像素点。因此,可以减小计算量,并排除其他因素对识别结果的影响。
在一种可选的实施方式中,对目标结构的原始医学图像进行预处理,包括:基于原始医学影像中各数据点的亨氏单位HU值,对各数据点进行筛选;对筛选后的各数据点进行重采样,得到预处理后的原始医学影像。
通过筛选掉HU值不符合选择范围的数据点,能够将皮肤、空气等无关数据点提前筛除,不仅减少了图像识别的计算量、提高了识别效率,也能够避免将空气、皮肤等误识别为疑似结节单元的概率,从而提高识别精度。
在一种可选的实施方式中,利用预先训练的结节识别模型,得到疑似结节单元在目标结构的原始医学影像中的位置信息,包括:利用预先训练的结节识别模型,得到对应的概率图;按照概率图中各像素点的概率值,对各像素点进行聚类,得到疑似结节单元在原始医学影像中的位置信息。其中,像素点的概率值表征该像素点属于疑似结节单元的图像像素点的概率值。
通过获取概率图像,能够获取各点属于疑似结节单元的图像像素点的概率值。概率值越高,像素端为疑似结节单元的图像像素点的概率越大。利用概率值和聚类算法,能够准确的在图像中聚类出疑似目标结节单元的图像相似度,进而识别出疑似结节单元。
在一种可选的实施方式中,目标结构的原始医学影像包括目标结构在多个不同角度上的原始医学影像。
由于单张医学影像仅能体现目标结构的部分影像信息。因此,选用不同角度上的原始医学影像能全面体现目标结构的特征,并方便对目标结构进行全方位的识别。
根据本发明实施例的另一方面,提供一种医学图像识别装置,包括:
位置信息获取模块,用于利用预先训练的结节识别模型,得到疑似结节单元在目标结构的原始医学影像中的位置信息;
影像分割模块,用于根据疑似结节单元在原始医学影像中的位置信息,在医学影像中分割出疑似结节单元的医学影像;
影像识别模块,用于利用预先训练的肿瘤识别模型,对疑似结节单元的医学影像进行识别,得到疑似结节单元的识别结果,其中,识别结果包括良性结节或恶性结节。
根据本发明实施例的另一方面中的医学图像识别装置,利用结节识别模型,可以从目标结构的原始医学影像中分割出疑似结节单元的医学影像。再将疑似结节单元的医学影像输入预先训练的肿瘤识别模型,可以得到疑似结节单元的识别结果。其中,疑似结节单元的识别结果包括良性结节或恶性结节。相较于人眼主观识别医学图像,能通过上述两个模型对医学影像中结节、肿瘤和恶性肿瘤进行客观量化识别。因此,保证了医学图像的识别准确度。
根据本发明实施例的又一方面,提供一种医学图像识别设备,包括:
存储器,用于存储程序;
处理器,用于运行存储器中存储的程序,以执行本发明实施例一方面提供的医学图像识别方法。
根据本发明实施例的再一方面,提供一种计算机存储介质,存储有计算机程序指令,计算机程序指令被处理器执行时实现本发明实施例一方面提供的医学图像识别方法。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是示出根据本发明实施例的医学图像识别方法的示意流程图;
图2是示出根据本发明实施例的示例性的获取概率图的逻辑示意图;
图3示出了本发明另一实施例提供的医学图像识别方法的示意流程图;
图4示出了本发明又一实施例提供的医学图像识别方法的示意流程图;
图5是示出根据本发明实施例的示例性的获取目标结构的识别分数的逻辑示意图;
图6示出了本发明再一实施例提供的医学图像识别方法的示意流程图;
图7是示出根据本发明实施例的示例性的提取实质图像的逻辑示意图;
图8示出了根据本发明实施例提供的医学图像识别装置的结构示意图;
图9是本发明实施例中医学图像识别设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种医学图像识别方法、装置、设备和介质,可应用于对医学影像的识别场景中,用于从目标结构的医学影像中识别出疑似结节单元,并进一步计算疑似结节单元的识别分数。该分数可作为识别疑似结节单元所属类型或者确定目标结构的识别分数的依据。其中,目标结构可以是肺部、甲状腺等存在着从结节病变至癌症可能性的生物体器官。疑似结节单元的具体类型可包括良性结节和恶性结节等。
由于人体部分结构的癌症是从结节单元病变而成的,良性结节和恶性结节之间存在着结构上的相似性,但又有所区别。本发明实施例提供的医学图像识别方案,可以利用由结节单元和肿瘤单元之间的共性训练出来的结节识别模型,从医学影像中识别并分割出疑似结节单元的医学影像。再根据由良性结节和恶性结节的差异性训练出来的肿瘤识别模型,对疑似结节单元的医学影像识别并打分。相较于人眼识别医学影像,保证了医学图像的识别准确度。
为了更好的理解本发明,下面将结合附图,详细描述根据本发明实施例的医学图像识别方法、装置、设备和介质,应注意,这些实施例并不用来限制本发明公开的范围。
图1是示出根据本发明一实施例的医学图像识别方法的示意流程图。如图1所示,本实施例中的医学图像识别方法100可以包括以下步骤:
S110,利用预先训练的结节识别模型,得到疑似结节单元在目标结构的原始医学影像中的位置信息。
首先,疑似结节单元是指存在生物体表面或内部组织中圆形的小突起,具体可包括良性结节或恶性结节等。疑似结节单元在结构上具有共性。因此,可根据其共性,训练出结节识别模块。具体地,结节识别模型的训练过程可以包括两个步骤。
第一步,对多张目标结构的医学影像样本进行标记。其中,医学影像样本是对包含疑似结节单元的目标结构断层扫描得到的。在样本标记过程中需要将多张目标结构的医学影像中的疑似结节单元标记为正样本,将除疑似结节单元外的其他单元标记为负样本。通过将疑似结节单元标记为正样本,将除疑似结节单元外的其他单元标记为负样本,能够根据疑似结节单元和其他单元的差异性,训练出结节识别模型,提高结节识别模型的精度。
其中,第一步中的多张目标结构的医学影像样本可以包括N组医学影像,其中每组医学影像对应一个疑似结节单元。考虑到断层扫描是连续拍摄的过程,若某一张医学图像包括疑似结节单元,则该张医学影像的相邻医学影像很大程度上也包括该疑似结节单元。为了提高结节识别模型的识别准确率,每一组医学影像包括断层扫描得到的连续多张医学影像。其中,连续多张医学影像中至少一张包含疑似结节单元。
在一种实施方式中,一组医学影像可以包括3张医学影像:包含疑似结节单元的某一医学影像,以及该张医学影像的前后各一张医学影像。示例性的,将断层扫描连续拍摄的100张图片按照拍摄顺序从1开始标号。若第67张包含疑似结节图像,则将第66张、第67张和第68张医学影像选取为一组医学影像样本。
第二步,利用标记后的医学影像样本训练结节识别模型。其中,结节识别模型可以是卷积神经网络模型。示例性的,可以是具有20个卷积层的U-Net神经网络模型,该网络模型共包括10层卷积和10层反卷积。其中,卷积核的大小为3*3,损失函数可采用MSE均方误差。
其次,S110中使用结节识别模型的方式可以是:方式一、直接将目标结构的原始医学影像输入结节识别模型。或者,方式二、对目标结构的原始医学影像进行处理,并将处理后的医学影像输入结节识别模型。其中,为了方便对目标结构进行全方位识别,目标结构的原始医学影像可以包括目标结构在多个不同角度上的原始医学影像。目标结构的原始医学影像可以是医学扫描装置对目标结构断层扫描得到的不同层、或者同层但不同角度的医学影像中的多张。比如,可以是DICOM医学图像格式或者MHD格式医学影像的信息文件等。在一种可选的实施方式中,输入结节识别模型的多张原始医学图像包括XYZ三个不同方向上信息。比如,XYZ三个方向两两垂直。最后,在利用结节识别模型获取疑似结节单元在目标结构的原始医学影像中的位置信息的过程中,需要将原始医学影像或者目标结构的实质图像输入结节识别模型,得到的是一张概率图,再利用概率图获取疑似结节单元在医学影像中的位置信息。其中,概率图中各像素点对应的是一个概率值。该概率值表征该像素点属于疑似结节单元的图像像素点的概率值。为了准确的在医学影像中获取疑似结节单元的位置信息,S110可细化为S111和S112。
S111,利用预先训练的结节识别模型,获取目标结构的原始医学影像对应的概率图。
其中,可以利用从三个不同位置对目标结构断层扫描得到的3张原始医学影像(可以是不同层的扫描图像,或者同一层的不同角度的扫描图像)来确定目标结构的原始医学影像对应的概率图。
示例性的,图2是示出根据本发明实施例的示例性的获取概率图的逻辑示意图。如图2所示,首先,将3张原始医学影像的实质图像P31-P33分别输入到结节识别模型M1,得到各自对应的第一基准概率图像P41、第二基准概率图像P42和第三基准概率图像P43。其次,将上述3个基准概率图像P41-P43中同一实际位置的像素的概率值取平均值,并将该平均值作为该实际位置的概率值。具体地,若肺部上的实际位置A,在第一基准概率图像P41中对应像素a1,像素a1对应的概率值b1,在第二基准概率图像P42中对应像素a2,像素a2对应的概率值b2,在第三基准概率图像P43中对应像素a3,像素a3对应的概率值b3,则实际位置A对应的概率值BA等于(b1+b2+b3)/3。最后,利用各实际位置的概率值,生成目标结构的原始医学影像对应的结节相似概率图像P5。其中,结节相似概率图像P5中相似概率越高的点,灰度越高,黑色表示概率值最低。
S112,按照各实际位置点的概率值,对结节相似概率图像中各像素点进行聚类,得到疑似结节单元在目标结构的原始医学影像中的位置信息。其中,可以使用DBSCAN算法对各像素点进行聚类,聚类得到的一个像素簇表征疑似结节单元。
此外,由于概率图与实际位置相对应,聚类后可以得到像素簇的中心坐标、半径等结构特征信息,也就能够得到疑似结节单元的实际中心坐标、实际半径等实际结构信息。在一些实施例中,可以输出疑似结节单元的实际中心坐标、实际半径等信息,作为疑似结节单元的结构位置特征的识别结果。
通过获取概率图像,能够获取各点属于疑似结节单元的图像像素点的概率值。概率值越高,像素端为疑似结节单元的图像像素点的概率越大。利用概率值和聚类算法,能够准确的在图像中聚类出疑似目标结节单元的图像相似度,进而识别出疑似结节单元。S120,根据疑似结节单元在原始医学影像中的位置信息,在医学影像中分割出疑似结节单元的医学影像。
其中,为了保证识别精度,可以分别从多个角度的医学影像中分别分割出疑似结节单元的医学影像。在一种实施方式中,多个角度的医学影像中能够涵盖疑似结节单元在XYZ三个方向上的信息。
此外,在分割出疑似结节单元的医学影像的过程中,可以以0.7*0.7*0.7mm3/px3的数据间隔,从原始医学影像中裁剪出疑似结节单元的医学影像。
S130,利用预先训练的肿瘤识别模型,对疑似结节单元的医学影像进行识别,得到疑似结节单元的识别结果,识别结果包括良性结节或恶性结节。其中,肿瘤识别模块可以是利用良性结节和恶性结节之间的差异性训练的。
根据本发明实施例的医学图像识别方法,利用结节识别模型,可以从目标结构的原始医学影像中分割出疑似结节单元的医学影像。再将疑似结节单元的医学影像输入预先训练的肿瘤识别模型,可以得到疑似结节单元的识别结果。其中,疑似结节单元的识别结果包括良性结节和恶性肿瘤。相较于人眼主观识别医学图像,能通过上述两个模型对医学影像中良性结节和恶性结节进行客观量化识别。因此,保证了医学图像的识别准确度。
图3示出了本发明另一实施例提供的医学图像识别方法的示意流程图。如图3所示,与上一实施例的医学图像识别方法的不同之处在于,可以先计算出疑似结节单元的识别分数,再根据疑似结节单元的识别分数确定疑似结节单元的识别结果。S130可以细化为S131和S132。
S131,利用预先训练的肿瘤识别模型,对疑似结节单元的医学影像进行识别,获取疑似结节单元的识别分数。其中,疑似结节单元的识别分数可以用于区分良性结节和恶性结节。
在计算疑似结节单元的识别分数的过程中,可以先提取疑似结节单元的医学影像的特征,再利用提取的特征计算识别分数。肿瘤识别模型可具体包括:用于提取疑似结节单元特征的特征提取子模型和计算疑似结节单元的识别分数的分类子模型。
相应地,S131的具体包括S1311和S1312。
S1311,将疑似结节单元的医学影像输入特征提取子模型,提取疑似结节单元的特征。示例性的,特征提取子模型可以选用神经网络VGG19。
S1312,将疑似结节单元的特征输入分类子模型中进行分类计算,根据分类计算得分确定疑似结节单元的识别分数。示例性的,分类子模型可选用极端梯度提升(eXtremeGradient Boosting,XGBoost)分类器。
S132,根据疑似结节单元的识别分数,确定疑似结节单元的识别结果。
在一种可行方式中,可以预设第一分数阈值来确定疑似结节单元的识别结果。具体地,若疑似结节单元的识别分数小于等于第一分数阈值,则将疑似结节单元识别为良性结节。若疑似结节单元的识别分数大于第一分数阈值,则将疑似结节单元识别为恶性结节。比如,第一分数阈值可设置为0.4。
通过本实施方式提供的医学图像识别方法,能够对疑似结节单元进行客观量化打分,并根据客观量化的打分,来确定疑似结节单元的识别结果,提高了识别精度。
图4示出了本发明又一实施例提供的医学图像识别方法的示意流程图。如图4所示,与上一实施例的医学图像识别方法的不同之处在于,S131之后,方法600还可以包括:
S133,将目标结构的一个或多个疑似结节单元的识别分数输入决策模型,得到目标结构的识别分数。其中,目标结构的识别分数表征目标结构存在恶性结节的概率,目标结构的识别分数越高,目标结构有恶性结节的概率越大。目标结构的分数越低,目标结构存在良性结节的概率越高。
由于人体中可能存在着多个疑似结节单元。因此,在一种可行方式中,若从目标结构中识别出M个疑似结节单元,则可以按照疑似结节单元的识别分数从高到低的顺序,选出K个疑似结节单元来得到目标结构的识别分数。其中,M为大于K的整数。比如,K为5。其中,目标结构的识别分数和疑似结节单元的识别得分可以为概率得分。
在一个实施例中,若目标结构的识别分数可以是一个概率得分,决策模型可以是Noisy-or决策模型。其中,该决策模型采用公式(1)所示的Noisy-or判定法。
P=1=Π(1-pi) (1)
其中,P为目标结构的识别分数,Pi为第i个疑似结节单元的识别分数。
作一个示例,图5是示出根据本发明实施例的示例性的获取目标结构的识别分数的逻辑示意图。如图5所示,将5张疑似结节单元的医学影像P61-P65输入肿瘤识别单元M2,得到各自对应的疑似结节单元的识别分数P1-P6。将5个疑似结节单元的识别分数P1-P6输入决策模型M3后,得到目标结构的识别分数P。
通过本实施例提供的医学图像识别方法,由于目标结构之间的疑似结节单元存在相互联系,例如,若肺部有恶性结节,恶性结节会扩散为多个恶性结节。若肺部识别出多个恶性结节单元则肺部存在恶性结节的概率较高。因此,利用一个或多个目标结构的一个或多个疑似结节单元的识别结果计算目标结构的识别分数,能够准确的识别目标结构。
图6示出了本发明另一实施例提供的医学图像识别方法的示意流程图。如图6所示,与上一实施例的医学图像识别方法的不同之处在于,S110中使用结节识别模型的方式可以是对目标结构的原始医学影像进行处理,并将处理后的医学影像输入结节识别模型。
具体地,在S110之前,方法100还可以包括下述S140、S150和S160。
S140,获取目标结构的原始医学影像。
S150,从目标结构的原始医学影像中,分割出目标结构的实质图像。目标结构的实质图像表示仅包含目标结构的图像。
其中,分割实质图像之前,为了减小计算量,以及排除其他因素对识别结果的影响。还可以先对目标结构的原始医学影像进行预处理,再从预处理后的原始医学影像中分割出目标结构的实质图像。预处理过程包括数据过滤和重采样等步骤。具体地,预处理过程可包括下述筛选和重采样两个步骤。
第一步,基于原始医学影像中各数据点的亨氏单位(Hounsfield Unit,HU)值,对各数据点进行筛选。在一个可选的示例中,HU值的选择范围可设置为[-1000,400]。也就是说,过滤掉HU值小于-1000或者大于400的数据点。通过筛选掉HU值不符合选择范围的数据点,能够将皮肤、空气等无关数据点提前筛除,不仅减少了图像识别的计算量、提高了识别效率,也能够避免将空气、皮肤等误识别为疑似结节单元的概率,从而提高识别精度。
第二步,对筛选后的各数据点进行重采样,得到预处理后的原始医学影像。示例性的,可以按照1*1*1mm3/px3的数据间隔进行重采样,也就是说重采样后,行和列中的相邻数据间的距离均为1mm。通过重采样,使数据具备相同的数据间隔。
在分割实时图像的过程中,可以利用预选训练的掩膜分割模型来分割目标结构的实质图像。具体地分割实时图像可细化为下述两个步骤。
第一步,利用预先训练的掩膜分割模型对原始医学影像进行图像分割处理,得到目标结构的掩膜图像。其中,掩膜图像用于从原始医学影像中提取感兴趣区域,即目标结构所在区域。示例性的,掩膜图像可以是由0和1组成的二值化掩膜。即,目标结构所在区域内的像素点取值为1,该区域外的像素点取值为0。
考虑到可能会输入多张不同的原始医学影像,则利用掩膜分割模块,可以得到分别与多张原始医学影像一一对应的掩膜图像。例如,将第一医学影像、第二医学图像和第三医学图像输入掩膜分割模型,则得到与第一医学图像对应的第一掩膜图像、与第二医学图像对应的第二掩膜图像和与第三医学图像对应的第三掩膜图像。
掩膜分割模型可以是利用多张目标结构的医学影像样本训练得到的。可选的,医学影像样本的数量为500张。在一个可选的实施例中,掩膜分割模型可以是卷积神经网络模型。示例性的,可以是具有10个卷积层的U-Net神经网络模型,该网络模型共包括5层卷积和5层反卷积。其中,卷积核的大小为3*3,损失函数为Jaccard相似系数。Jaccard相似系数S满足公式(2):
S=|A∩B|/|A∪B|=|A∩B|/(|A|+|B|-|A∩B|) (2)
其中,A为预测值,B为标签的标记值。S越大,预测值和标签的相似度越高。
需要说明的是,采用本实施例中的网络模型,输入的医学影像和输出的掩膜图像的尺寸大小相同。例如输入的医学影像的尺寸可以是512*512,输出的掩膜图像的尺寸也是512*512。
第二步,利用掩膜图像,从原始医学影像中提取实质图像。其中,提取实质图像的方法包括:
方式一、直接利用掩膜图像,从原始医学影像中提取实质图像。
方式二、根据掩膜图像,确定一个包含掩膜区域的最小矩形框,并根据最小矩形框在掩膜图像的位置,确定该矩形框在原始医学影像中对应的映射矩形框,从原始医学影像中裁剪出映射矩形框内的图像,作为实质图像。其中,最小矩形框在掩膜图像的位置可以用矩形框的边角的位置确定,例如可以是矩形框左上角和右下角的位置坐标。
针对方式二,图7是示出根据本发明实施例的示例性的提取实质图像的逻辑示意图。如图7所示,原始医学影像P1对应掩膜图像P2。掩膜图像中的白色矩形框为包含掩膜区域的最小矩形框。可以利用白色矩形框在原始医学图像中切割出目标结构的实质图像P3。
利用掩膜图像,能够从原始医学影像中准确提取出实质图像。并且由于本发明实施例中,利用掩膜训练模型来获取掩膜图像,掩膜图像和原始医学影像的匹配度极高。因此,能够提高识别精度。
S160,将目标结构的实质图像输入结节识别模型。可选的,将多张不同角度的目标结构的实质图像输入结节识别模型。
与原始医学影像相比,实质图像不包含除目标结构之外的其他组织,例如,钢板、衣服以及骨骼等。因此,将实质图像输入结节识别模型进行处理,减小了数据处理量,也降低了其他组织对识别结果的干扰。
下面结合附图,详细介绍根据本发明实施例的装置。
基于相同的发明构思,本发明实施例提供的医学图像识别装置。图8示出了根据本发明实施例提供的医学图像识别装置的结构示意图。如图8所示,医学图像识别装置800包括:
位置信息获取模块810,用于利用预先训练的结节识别模型,得到疑似结节单元在目标结构的原始医学影像中的位置信息;
影像分割模块820,用于根据疑似结节单元在原始医学影像中的位置信息,在医学影像中分割出疑似结节单元的医学影像;
影像识别模块830,用于利用预先训练的肿瘤识别模型,对疑似结节单元的医学影像进行识别,得到疑似结节单元的识别结果。其中,疑似结节的识别结果包括:良性结节和恶性结节。
在本发明的一些实施例中,影像识别模块830包括:
第一分数确定单元,用于利用预先训练的肿瘤识别模型,对疑似结节单元的医学影像进行识别,获取疑似结节单元的识别分数;
识别结果确定单元,用于根据疑似结节单元的识别分数,确定疑似结节单元的识别结果。
在本发明的一些实施例中,影像识别模块830还包括:
第二分数计算单元,用于将目标结构的一个或多个疑似结节单元的识别分数确定输入决策模型,得到目标结构的识别分数。
在本发明的一些实施例中,医学图像识别装置800还包括:
影像获取模块,用于获取目标结构的原始医学影像;
实质图像分割模块,用于从原始医学影像中,分割出目标结构的实质图像;
图像输入模块,用于将实质图像输入结节识别模型。
在本发明的一些实施例中实质图像分割模块,具体用于:
利用预先训练的掩膜分割模型对原始医学影像进行图像分割处理,得到目标结构的掩膜图像;
利用掩膜图像,从原始医学影像中提取实质图像。
在本发明的一些实施例中,医学图像识别装置800还包括:
样本标记模块,用于对多张目标结构的医学影像样本进行标记,其中,将多张目标结构的医学影像中的疑似结节单元标记为正样本,将除疑似结节单元外的其他单元标记为负样本;
模型训练模块,用于利用标记后的医学影像样本训练结节识别模型。
在本发明的一些实施例中,多张目标结构的医学影像样本包括N组医学影像,每一组医学影像包括断层扫描得到的连续多张医学影像,其中,连续多张医学影像中至少一张包含疑似结节单元。
在本发明的一些实施例中,肿瘤识别模型包括:特征提取子模型和分类子模型;
第一分数确定单元,具体用于:将疑似结节单元的医学影像输入特征提取子模型,提取疑似结节单元的特征;将疑似结节单元的特征输入分类子模型中进行分类计算,根据分类计算得分确定疑似结节单元的识别分数。
在本发明的一些实施例中,实质图像分割模块具体用于:
对目标结构的原始医学影像进行预处理;
从预处理后的原始医学影像中分割出目标结构的实质图像。
在本发明的一些实施例中,实质图像分割模块具体用于:
基于原始医学影像中各数据点的亨氏单位HU值,对各数据点进行筛选;
对筛选后的各数据点进行重采样,得到预处理后的原始医学影像。
在本发明的一些实施例中,位置信息获取模块810具体用于:
利用预先训练的结节识别模型,得到对应的概率图;
按照概率图中各像素点的概率值,对各像素点进行聚类,得到疑似结节单元在原始医学影像中的位置信息。其中,像素点的概率值表征该像素点属于疑似结节单元的图像像素点的概率值。
在本发明的一些实施例中,目标结构的原始医学影像包括目标结构在多个不同角度上的原始医学影像。
根据本发明实施例的医学图像识别装置的其他细节与以上结合图1至图7描述的根据本发明实施例的方法类似,在此不再赘述。
图9是本发明实施例中医学图像识别设备的示例性硬件架构的结构图。
如图9所示,医学图像识别设备900包括输入设备901、输入接口902、中央处理器903、存储器904、输出接口905、以及输出设备906。其中,输入接口902、中央处理器903、存储器904、以及输出接口905通过总线910相互连接,输入设备901和输出设备906分别通过输入接口902和输出接口905与总线910连接,进而与医学图像识别设备900的其他组件连接。
具体地,输入设备901接收来自外部的输入信息,并通过输入接口902将输入信息传送到中央处理器903;中央处理器903基于存储器904中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器904中,然后通过输出接口905将输出信息传送到输出设备906;输出设备906将输出信息输出到医学图像识别设备900的外部供用户使用。
也就是说,图9所示的医学图像识别设备也可以被实现为包括:存储有计算机可执行指令的存储器,以及处理器。该处理器在执行计算机可执行指令时可以实现结合图1至图2描述的医学图像识别设备的方法和装置。
在一个实施例中,图9所示的医学图像识别设备900可以被实现为一种设备,该设备可以包括:存储器,用于存储程序;处理器,用于运行存储器中存储的程序,以执行本发明实施例的医学图像识别方法。
本发明实施例还提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现本发明实施例结合图1至图7所示的医学图像识别方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
以上,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的***、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。