图像识别方法及相关装置、设备
技术领域
本申请涉及人工智能技术领域,特别是涉及一种图像识别方法及相关装置、设备。
背景技术
CT(Computed Tomography,计算机断层扫描)和MRI(Magnetic ResonanceImaging,核磁共振扫描)等医学图像在临床具有重要意义。为了使医学图像应用于临床,一般需要扫描得到至少一种扫描图像类别的医学图像。以与肝脏相关的临床为例,扫描图像类别往往包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期等等,此外,扫描图像类别还可以包含与扫描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像等等。
目前,在扫描过程中,通常需要放射科医师鉴别扫描得到的医学图像的扫描图像类别,以确保获取所需要的医学图像;或者,在住院或门诊诊疗时,通常需要医生对扫描得到的医学图像进行识别,判断每一医学图像的扫描图像类别,再进行阅片。然而,上述通过人工识别医学图像的扫描图像类别的方式,效率较低,且易受主观影响而难以确保准确性。故此,如何提高图像识别的效率和准确性成为亟待解决的问题。
发明内容
本申请提供一种图像识别方法及相关装置、设备。
本申请第一方面提供了一种图像识别方法,包括:获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域;分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示;将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示;利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别。
因此,通过获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域,从而分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示,能够排除其他脏器的干扰,有利于提高识别准确性,并将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,进而每一待识别医学图像的个体特征表示和全局特征表示,不仅能够表示待识别医学图像自身的特征,还能够表示其他待识别医学图像的差异,从而在利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别时,能够提高图像识别的准确性,且通过特征表示来进行图像识别,能够免于人工参与,故能够提高图像识别的效率。
其中,将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示包括:将至少一个待识别医学图像的个体特征表示进行全局池化处理,得到全局特征表示。
因此,通过将至少一个待识别医学图像的个体特征表示进行全局池化处理,能够快速方便地得到全局特征表示,故能够有利于提高后续图像识别的效率。
其中,将至少一个待识别医学图像的个体特征表示进行全局池化处理,得到全局特征表示包括:将至少一个待识别医学图像的个体特征表示进行全局最大池化处理,得到第一全局特征表示;以及,将至少一个待识别医学图像的个体特征表示进行全局平均池化处理,得到第二全局特征表示;将第一全局特征表示和第二全局特征表示进行拼接处理,得到全局特征表示。
因此,通过将至少一个待识别医学图像的个体特征表示进行全局最大池化处理,得到第一全局特征表示,并将至少一个待识别医学图像的个体特征表示进行全局平均池化处理,得到第二全局特征表示,从而将第一全局特征表示和第二全局特征表示进行拼接处理,得到全局特征表示,故能够有利于后续准确地表示每一待识别医学图像与其他待识别医学图像之间的差异,从而能够有利于提高后续图像识别的准确性。
其中,利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别包括:利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示,利用每个待识别医学图像的最终特征表示,确定每一待识别医学图像所属的扫描图像类别。
因此,利用每一待识别医学图像的个体特征表示和全局特征表示所得到的最终特征表示,不仅能够表示待识别医学图像自身的特征,还能够表示其他待识别医学图像的差异,从而在利用每个待识别医学图像的最终特征表示,确定每一待识别医学图像所属的扫描图像类别时,能够提高图像识别的准确性。
其中,利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示包括:分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理,得到待识别医学图像对应的最终特征表示。
因此,通过分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理,能够快速得到待识别医学图像对应的最终特征表示,故能够有利于提高后续图像识别的效率。
其中,分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示包括:利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示;将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示包括:利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,并利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示;利用每个待识别医学特征的最终特征表达,确定每一待识别医学图像所属的扫描图像类别,包括:利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类,得到每一待识别医学图像所属的扫描图像类别。
因此,通过利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示,并利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,利用每一待识别医学图像的个体特征表示和全体特征表示,得到每一待识别医学图像的最终特征表示,从而利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类,得到每一待识别医学图像所属的扫描图像类别,故能够通过识别网络最终获得待识别医学图像所属的扫描图像类别,从而能够进一步提高图像识别的效率。
其中,识别网络是利用样本医学图像训练得到的,每次训练识别网络所使用的样本医学图像数量不固定。
因此,每次训练识别网络采用的样本医学图像的数量并不固定,能够随机化样本医学图像的数量,从而能够有利于在不同机构不同扫描协议下扫描图像类别有所缺失时,也能够准确地进行图像识别,进而能够提高图像识别准确性。
其中,特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层;和/或,识别网络包括预设数量个特征提取子网络;利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示包括:将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取,得到每个待识别医学图像的个体特征表示。
因此,特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层,故通过稠密卷积块的连接策略,即每一卷积层下的特征与下一层紧密拼接,并传递后后面的每一层,能够有效的缓解梯度消失问题,且加强特征传播以及特征复用,并能够极大地减少参数数量;而将识别网络设置为包括预设数量个特征提取子网络,并将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取,得到每个待识别医学图像的个体特征表示,能够将至少一个目标区域的图像数据的特征提取操作并行处理,故能够有利于提高图像识别的效率。
其中,分别确定每个待识别医学图像中与目标脏器对应的目标区域包括:利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息;利用第一位置信息和第二位置信息,确定目标脏器对应的目标区域。
因此,利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器的第一位置信息和目标脏器的毗邻脏器的第二位置信息,故不仅能够考虑所需识别的目标脏器,还能够考虑周边毗邻脏器,从而利用第一位置信息和第二位置信息,确定目标脏器对应的目标区域,能够确保在经手术治疗等情况下脏器形态发生改变时,也能够定位得到目标脏器对应的目标区域,故能够提高图像识别的鲁棒性。
其中,待识别医学图像为三维图像,利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息之前,方法还包括:将每一待识别医学图像沿冠状面进行划分,得到多个三维子图像;将每一子图像沿垂直于冠状面的方向进行投影,得到对应的二维子图像;利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息包括:利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测,得到第一位置信息和第二位置信息。
因此,在待识别医学图像为三维图像时,将每一待识别医学图像沿冠状面进行划分,得到多个三维子图像,并将每一子图像沿垂直于冠状面的方向进行投影,得到对应的二维子图像,从而利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测,得到第一位置信息和第二位置信息,能够进一步提高目标脏器对应的目标区域定位的准确性。
其中,目标脏器为肝脏,毗邻脏器包括肾脏、脾脏中的至少一者;和/或,第一位置信息包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸,第二位置信息至少包括毗邻脏器对应区域的至少一个顶点位置。
因此,将目标脏器设置为肝脏,毗邻脏器设置为包括肾脏、脾脏中的至少一者,能够有利于定位得到肝脏对应的目标区域;将第一位置信息设置为包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸,第二位置信息设置为至少包括毗邻脏器对应区域的至少一个顶点位置,能够有利于精确地定位目标脏器对应的目标区域。
其中,利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别之后,方法还包括以下至少一者:将至少一个待识别医学图像按照其扫描图像类别进行排序;若待识别医学图像的扫描图像类别存在重复,则输出第一预警信息,以提示扫描人员;若至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别,则输出第二预警信息,以提示扫描人员。
因此,在确定得到每一待识别医学图像所属的扫描图像类别之后,执行将至少一个待识别医学图像按照其扫描图像类别进行排序,能够提高医生阅片的便捷性;在待识别医学图像的扫描图像类别存在重复时,输出第一预警信息,以提示扫描人员,在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时,输出第二预警信息,以提示扫描人员,能够在扫描过程中实现图像质控,以在与实际相悖时,能够及时纠错,避免病人二次挂号。
其中,分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示之前,方法还包括:对每一目标区域的图像数据进行预处理,其中,预处理包括以下至少一种:将目标区域的图像尺寸调整至预设尺寸,将目标区域的图像强度归一化至预设范围。
因此,在特征提取之前,对每一目标区域的图像数据进行预处理,且预处理包括以下至少一种:将目标区域的图像尺寸调整至预设尺寸,将目标区域的图像强度归一化至预设范围,故能够有利于提高后续图像识别的准确性。
本申请第二方面提供了一种图像识别装置,包括:区域获取模块、特征提取模块、融合处理模块和类别确定模块,区域获取模块用于获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域;特征提取模块用于分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示;融合处理模块用于将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示;类别确定模块用于利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像识别方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像识别方法。
上述方案,通过获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域,从而分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示,能够排除其他脏器的干扰,有利于提高识别准确性,并将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,进而每一待识别医学图像的个体特征表示和全局特征表示,不仅能够表示待识别医学图像自身的特征,还能够表示其他待识别医学图像的差异,从而在利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别时,能够提高图像识别的准确性,且通过特征表示来进行图像识别,能够免于人工参与,故能够提高图像识别的效率。
附图说明
图1是本申请图像识别方法一实施例的流程示意图;
图2是确定待识别医学图像所属的扫描图像类别过程的状态示意图;
图3是图1中步骤S11一实施例的流程示意图;
图4是本申请图像识别装置一实施例的框架示意图;
图5是本申请电子设备一实施例的框架示意图;
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像识别方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域。
待识别医学图像可以包括CT图像、MR图像,在此不做限定。在一个具体的实施场景中,待识别医学图像可以是对腹部、胸部等区域进行扫描得到的,具体可以根据实际应用情况而设置,在此不做限定。例如,当肝脏、脾脏、肾脏为需要诊疗的目标脏器时,可以对腹部进行扫描,得到待识别医学图像;或者,当心脏、肺为需要诊疗的目标脏器时,可以对胸部进行扫描,得到待识别医学图像,其他情况可以以此类推,在此不再一一举例。在另一个具体的实施场景中,扫描方式可以是平扫、增强扫描等方式,在此不做限定。在又一个具体的实施场景中,待识别医学图像可以是三维图像,待识别医学图像中目标脏器对应的目标区域可以是三维区域,在此不做限定。
目标脏器可以根据实际应用而设置,例如,当医生需要判断肝脏是否产生病变以及病变程度等时,目标脏器可以是肝脏;或者,当医生需要判断肾脏是否产生病变以及病变程度时,目标脏器可以是肾脏,其他情况可以根据实际应用而进行设置,在此不再一一举例。在一个实施场景中,可以预先训练一用于对目标脏器进行检测的脏器检测网络,从而可以直接利用脏器检测网络对每一待识别医学图像进行检测,得到对应的目标区域。
步骤S12:分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示。
在一个实施场景中,为了提高后续图像识别的准确性,在对目标区域的图像数据进行特征提取之前,还可以对每一目标区域的图像数据进行预处理,具体地,预处理可以包括将目标区域的图像尺寸调整至预设尺寸(例如,32*256*256)。或者,预处理还可以包括将目标区域的图像强度归一化至预设范围(例如,0至1的范围),在一个具体的实施场景中,可以采用灰度累积分布函数下预设比例(例如,99.9%)对应的灰度值作为归一化的钳位值,从而能够加强目标区域的图像数据的对比度,有利于提升后续图像识别的准确性。
在一个实施场景中,为了提升特征提取的便利性,还可以预先训练一识别网络,识别网络可以包括用于特征提取的特征提取子网络,从而可以利用特征提取子网络对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示。
在一个具体的实施场景中,特征提取子网络包括至少一组顺序连接的稠密卷积块(Dense Block)和池化层,稠密卷积块中每一层卷积下特征与下一层进行紧密拼接,并且传递后后面的每一层,从而使得特征和梯度的传递更加有效。具体地,特征提取子网络可以包括三组顺序连接的稠密卷积块和池化层,其中,除最后一组所包含的池化层为自适应池化外,其他组所包含的池化层为最大池化;此外,特征提取子网络还可以包括一组、两组、四组等其他数量组顺序连接的稠密卷积块(Dense Block)和池化层,在此不做限定。
在另一个具体的实施场景中,识别网络中具体可以包括预设数量个特征提取子网络,从而可以将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取,得到每个待识别医学图像的个体特征表示,进而能够将每一目标区域的图像数据的特征提取操作并行处理,故能够提高特征提取的效率,能够有利于提高后续图像识别的效率,此外,预设数量可以大于或等于扫描图像类别的种类,例如,当扫描图像类别包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期时,预设数量可以设置为大于或等于5的整数,例如,5、6、7等等,在此不做限定;或者,当扫描图像类别包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像时,预设数量可以设置为大于或等于5的整数,例如,5、6、7等等,在此不做限定;或者,当扫描图像类别既包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像,也包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期时,预设数量可以设置为大于或等于10的整数,例如,10、11、12等等。具体地,动脉早期可以表示门静脉尚未增强,动脉晚期可以表示门静脉已被增强,门脉期可以表示门静脉已充分增强且肝脏血管已被前向性血流增强、肝脏软细胞组织在标记物下已达到峰值,延迟期可以表示门脉和动脉处于增强状态并弱于门脉期、且肝脏软细胞组织处于增强状态并弱于门脉期,其他扫描图像类别在此不再一一举例。
请结合参阅图2,图2是确定待识别医学图像所属的扫描图像类别过程的状态示意图,如图2所示,以不同灰度填充的矩形框分别表示待识别医学图像1至待识别医学图像n中目标脏器对应的目标区域的图像数据提取到的个体特征表示1、个体特征表示2、个体特征表示3、……、个体特征表示n。
步骤S13:将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示。
在一个实施场景中,识别网络中还可以包括融合模块,从而可以利用融合模块将至少一个待识别医学图像的个体特征表示进行融合,进而得到全局特征表示。
在另一个实施场景中,可以将至少一个待识别医学图像的个体特征表示进行全局池化处理,得到全局特征表示。具体地,可以将至少一个待识别医学图像的个体特征表示进行全局最大池化(Global Max Pooling,GMP)处理,得到第一全局特征表示,并将至少一个待识别医学图像的个体特征表示进行全局平均池化(Global Average Pooling,GAP)处理,得到第二全局特征表示,从而将第一特征表示和第二特征表示进行拼接处理,得到全局特征表示。请继续结合参阅图2,可以将个体特征表示1、个体特征表示2、个体特征表示3、……、个体特征表示n分别进行全局最大池化和全局平均池化,得到第一全局特征表示(图2中斜线填充矩形框)和第二全局特征表示(图2中网格线填充矩形框),并将第一全局特征表示和第二全局特征表示进行拼接处理,得到全局特征表示。
步骤S14:利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别。
具体地,可以利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示,再利用每个待识别医学图像的最终特征表示,确定每一待识别医学图像所属的扫描图像类别,从而最终特征表示不仅能够表示待识别医学图像自身的特征,还能够表示其他待识别医学图像的差异,进而在利用每个待识别医学图像的最终特征表示,确定每一待识别医学图像所属的扫描图像类别时,能够提高图像识别的准确性。为了得到每个待识别医学图像的最终特征表示,在一个具体的实施场景中,可以利用识别网络中的融合模块利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示。在另一个具体的实施场景中,还可以将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理,得到待识别医学图像对应的最终特征表示。请结合参阅图2,如图2所示,以斜线填充矩形框表示的第一全体业主表示和以网格线填充矩形框表示的第二全体特征表示分别和以不同灰度填充矩形框表示的个体特征表示进行拼接处理,可以得到对应每一待识别医学图像的最终特征表示。
在一个实施场景中,识别网络中还可以包括分类子网络,从而可以利用分类子网络对每一待识别医学图像的最终特征表示进行预测分类,得到每一待识别医学图像所属的扫描图像类别。在一个具体的实施场景中,分类子网络中可以包括全连接层和softmax层,从而可以利用全连接层对每一待识别医学图像的最终特征表示进行特征连接,并利用softmax层进行概率归一化,得到每一待识别医学图像属于各个扫描图像类别的概率值,故可以将最大概率值对应的扫描图像类别作为待识别医学图像所属的扫描图像类别。
在一个具体的实施场景中,包含上述特征提取子网络、融合模块和分类子网络的识别网络可以是利用样本医学图像训练得到的。具体地,可以利用特征提取子网络对每一样本医学图像中标注的目标区域的图像数据进行特征提取,得到每个样本医学图像的个体特征表示,并利用融合模块将至少一个样本医学图像的个体特征表示进行融合,得到全局特征表示,利用每一样本医学图像的个体特征表示和全局特征表示,得到每一样本医学图像的最终特征表示,再利用分类子网络对每一样本医学图像的最终特征表示进行预测分类,得到每一样本医学图像所属的预测扫描图像类别,并利用每一样本医学图像的预测扫描图像类别和标注的真实扫描图像类别,确定识别网络的损失值(如交叉熵损失值),最后利用损失值对识别网络的参数进行调整,以实现对识别网络的训练,具体可以采用随机梯度下降(Stochastic Gradient Descent,SGD)对参数进行调整。此外,为了提高识别网络的鲁棒性,每次训练识别网络所使用的样本医学图像数量可以不固定。具体而言,每次训练识别网络所使用的样本医学图像可以是属于同一对象的,且每次训练识别网络所使用的样本医学图像所属的扫描图像类别的种数可以不固定。例如,某一次训练识别网络所采用的样本医学图像属于T1加权反相成像、T1加权同相成像、T2加权成像,另一次训练识别网络所采用的样本医学图像属于扩散加权成像、表面扩散系数成像,具体可以根据实际应用情况进行设置,在此不再一一举例,从而能够随机化样本医学图像的数量,进而能够有利于在不同机构不同扫描协议下扫描图像类别有所缺失时,也能够准确地进行图像识别,进而能够提高识别网络的鲁棒性。此外,为了使识别结果不受统计学差异影响,还可以设置训练集和验证集,且从具有不同脏器损伤类型的对象中按照预设比例(如3:1)进行随机选择,分别作为训练集和验证集。
在另一个具体的实施场景中,可以将上述经训练的识别网络设置于影像后处理工作站、摄片工作站、计算机辅助阅片***等,从而能够实现对待识别医学图像的自动识别,提高识别效率。
在又一个具体的实施场景中,在验证阶段,可以将在一次扫描过程中属于同一对象的全部待识别医学图像在一次识别过程中,进行全部识别,从而能够对识别网络的性能进行全面验证;在应用阶段,可以将在一次扫描过程中属于同一对象的全部待识别医学图像在一次识别过程中,进行全部识别,从而能够考虑每一待识别医学图像与其他所有待识别医学图像之间的差异,进而能够有利于提高识别的准确性。
在一个实施场景中,至少一个待识别医学图像为对同一对象扫描得到的,故为了便于医生阅片,在得到每一待识别医学图像所属的扫描图像类别之后,还可以将至少一个待识别医学图像按照其扫描图像类别进行排序,例如,可以按照T1加权反相成像、T1加权同相成像、造影前平扫、动脉早期、动脉晚期、门脉期、延迟期、T2加权成像、扩散加权成像、表面扩散系数成像的预设顺序进行排序,此外,预设顺序还可以根据医生习惯进行设置,在此不做限定,从而能够提高医生阅片的便捷性,此外,为了进一步提高阅片的便捷性,还可以将排序后的至少一个待识别医学图像在与待识别医学图像的数量对应的窗口中予以显示,例如,待识别医学图像的数量为5个,则可以在5个显示窗口中分别显示待识别医学图像。故此,能够降低医生翻阅多个待识别医学图像来回对照的时间,提升阅片效率。
在另一个实施场景中,至少一个待识别医学图像为对同一对象扫描得到的,故为了在扫描过程中进行质量控制,在得到每一待识别医学图像所属的扫描图像类别之后,还可以判断待识别医学图像的扫描图像类别是否存在重复,并在存在重复时,输出第一预警信息,以提示扫描人员。例如,若存在两张扫描图像类别均为“延迟期”的待识别医学图像,则可以认为扫描过程中存在扫描质量不合规的情况,故为了提示扫描人员,可以输出第一预警消息,具体地,可以输出预警原因(如,存在扫描图像类别重复的待识别医学图像等)。或者,在得到每一待识别医学图像所属的扫描图像类别之后,还可以判断至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别,并在不存在预设扫描图像类别时,输出第二预警信息,以提示扫描人员。例如,预设扫描图像类别为“门脉期”,若至少一个待识别医学图像中不存在扫描图像类别为“门脉期”的图像,则可以认为扫描过程中存在扫描质量不合规的情况,故为了提示扫描人员,可以输出第二预警消息,具体地,可以输出预警原因(如,待识别医学图像中不存在门脉期图像等)。故此,能够在扫描过程中实现图像质控,以在与实际相悖时,能够及时纠错,避免病人二次挂号。
上述方案,通过获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域,从而分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示,能够排除其他脏器的干扰,有利于提高识别准确性,并将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,进而每一待识别医学图像的个体特征表示和全局特征表示,不仅能够表示待识别医学图像自身的特征,还能够表示其他待识别医学图像的差异,从而在利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别时,能够提高图像识别的准确性,且通过特征表示来进行图像识别,能够免于人工参与,故能够提高图像识别的效率。
请参阅图3,图3是图1中步骤S11一实施例的流程示意图。具体地,图3是确定每个待识别医学图像中与目标脏器对应的目标区域一实施例的流程示意图,具体可以包括如下步骤:
步骤S111:利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息。
在一个实施场景中,脏器检测网络的骨干网络可以采用efficient net,在其他实施场景中,脏器检测网络的骨干网络还可以采用其他网络,在此不做限定。目标脏器可以根据实际情况进行设定,例如,目标脏器可以是肝脏,目标脏器的毗邻脏器可以包括肾脏、脾脏中的至少一者。
在一个实施场景中,目标脏器的第一位置信息可以包括目标脏器对应区域的至少一组对角顶点位置(例如,位置坐标)和对应区域的尺寸(例如,长度、宽度等),第二位置信息至少可以包括毗邻脏器对应区域的至少一个顶点位置(例如,位置坐标)。
在一个实施场景中,待识别医学图像可以是三维图像,为了更加准确地确定目标脏器对应的目标区域,可以将每一待识别医学图像沿冠状面进行划分,得到多个三维子图像,并将每一子图像沿垂直于冠状面的方向进行投影,得到对应的二维子图像,从而后续能够基于投影得到的多个二维子图像进行识别检测,具体地,可以利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测,得到第一位置信息和第二位置信息,从而能够在目标脏器大小异常或经手术干预后目标脏器的形态产生变化时,能够准确地确定其第一位置信息和目标脏器的毗邻脏器的第二位置信息。例如,目标脏器为肝脏时,当存在肝脏大小异常或经过手术干预后肝脏形态产生变化(如部分缺失)时,肝顶和肝尖的位置并不能稳定体现,故通过对冠状面上的多个二维子图像进行脏器检测,可以结合多个二维子图像上的检测结果,得到肝脏的第一位置信息和肾脏、脾脏等的第二位置信息,从而能够有效避免肝尖、肝顶位置不稳定而可能带来的检测误差。
步骤S112:利用第一位置信息和第二位置信息,确定目标脏器对应的目标区域。
通过目标脏器的第一位置信息和其毗邻脏器的第二位置信息,能够考虑目标脏器和毗邻脏器在解剖结构上的地理相关性,故利用第一位置信息和第二位置信息,能够准确地确定目标脏器对应的目标区域。例如,以目标脏器是肝脏为例,第一位置信息可以包括肝脏对应区域的左上、左下顶点、对应区域的高度、宽度,第二位置信息可以包括脾脏、肾脏等毗邻脏器对应区域的右下顶点,故根据第一位置信息和第二位置信息在待识别医学图像上进行裁剪,可以得到肝脏对应的目标区域。其他场景可以以此类推,在此不再一一举例。
区别于前述实施例,利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器的第一位置信息和目标脏器的毗邻脏器的第二位置信息,故不仅能够考虑所需识别的目标脏器,还能够考虑周边毗邻脏器,从而利用第一位置信息和第二位置信息,确定目标脏器对应的目标区域,能够确保在经手术治疗等情况下脏器形态发生改变时,也能够定位得到目标脏器对应的目标区域,故能够提高图像识别的鲁棒性。
请参阅图4,图4是本申请图像识别装置40一实施例的框架示意图。图像识别装置40包括区域获取模块41、特征提取模块42、融合处理模块43和类别确定模块44,区域获取模块41用于获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域;特征提取模42用于分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示;融合处理模块43用于将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示;类别确定模块44用于利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别。
上述方案,通过获取至少一个扫描得到的待识别医学图像,并分别确定每个待识别医学图像中与目标脏器对应的目标区域,从而分别对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示,能够排除其他脏器的干扰,有利于提高识别准确性,并将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,进而每一待识别医学图像的个体特征表示和全局特征表示,不仅能够表示待识别医学图像自身的特征,还能够表示其他待识别医学图像的差异,从而在利用每一待识别医学图像的个体特征表示和全局特征表示,确定每一待识别医学图像所属的扫描图像类别时,能够提高图像识别的准确性,且通过特征表示来进行图像识别,能够免于人工参与,故能够提高图像识别的效率。
在一些实施例中,融合处理模块43具体用于将至少一个待识别医学图像的个体特征表示进行全局池化处理,得到全局特征表示。
区别于前述实施例,通过将至少一个待识别医学图像的个体特征表示进行全局池化处理,能够快速方便地得到全局特征表示,故能够有利于提高后续图像识别的效率。
在一些实施例中,融合处理模块43包括第一池化子模块,用于将至少一个待识别医学图像的个体特征表示进行全局最大池化处理,得到第一全局特征表示,融合处理模块43包括第二池化子模块,用于将至少一个待识别医学图像的个体特征表示进行全局平均池化处理,得到第二全局特征表示,融合处理模块43包括拼接处理子模块,用于将第一全局特征表示和第二全局特征表示进行拼接处理,得到全局特征表示。
区别于前述实施例,通过将至少一个待识别医学图像的个体特征表示进行全局最大池化处理,得到第一全局特征表示,并将至少一个待识别医学图像的个体特征表示进行全局平均池化处理,得到第二全局特征表示,从而将第一全局特征表示和第二全局特征表示进行拼接处理,得到全局特征表示,故能够有利于后续准确地表示每一待识别医学图像与其他待识别医学图像之间的差异,从而能够有利于提高后续图像识别的准确性。
在一些实施例中,类别确定模块44包括特征处理子模块和类别确定子模块,特征处理子模块用于利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示,类别确定子模块用于利用每个待识别医学图像的最终特征表示,确定每一待识别医学图像所属的扫描图像类别。
区别于前述实施例,利用每一待识别医学图像的个体特征表示和全局特征表示所得到的最终特征表示,不仅能够表示待识别医学图像自身的特征,还能够表示其他待识别医学图像的差异,从而在利用每个待识别医学图像的最终特征表示,确定每一待识别医学图像所属的扫描图像类别时,能够提高图像识别的准确性。
在一些实施例中,特征处理子模块具体用于分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理,得到待识别医学图像对应的最终特征表示。
区别于前述实施例,通过分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理,能够快速得到待识别医学图像对应的最终特征表示,故能够有利于提高后续图像识别的效率。
在一些实施例中,特征提取模块42具体用于利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示,融合处理模块43具体用于利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,特征处理子模块具体用于采用识别网络的融合模块利用每一待识别医学图像的个体特征表示和全局特征表示,得到每一待识别医学图像的最终特征表示,类别确定子模块具体用于利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类,得到每一待识别医学图像所属的扫描图像类别。
区别于前述实施例,通过利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取,得到每个待识别医学图像的个体特征表示,并利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合,得到全局特征表示,利用每一待识别医学图像的个体特征表示和全体特征表示,得到每一待识别医学图像的最终特征表示,从而利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类,得到每一待识别医学图像所属的扫描图像类别,故能够通过识别网络最终获得待识别医学图像所属的扫描图像类别,从而能够进一步提高图像识别的效率。
在一些实施例中,识别网络是利用样本医学图像训练得到的,每次训练识别网络所使用的样本医学图像数量不固定。
区别于前述实施例,每次训练识别网络采用的样本医学图像的数量并不固定,能够随机化样本医学图像的数量,从而能够有利于在不同机构不同扫描协议下扫描图像类别有所缺失时,也能够准确地进行图像识别,进而能够提高图像识别准确性。
在一些实施例中,特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层;和/或,识别网络包括预设数量个特征提取子网络,特征提取模块42具体用于将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取,得到每个待识别医学图像的个体特征表示。
区别于前述实施例,特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层,故通过稠密卷积块的连接策略,即每一卷积层下的特征与下一层紧密拼接,并传递后后面的每一层,能够有效的缓解梯度消失问题,且加强特征传播以及特征复用,并能够极大地减少参数数量;而将识别网络设置为包括预设数量个特征提取子网络,并将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取,得到每个待识别医学图像的个体特征表示,能够将至少一个目标区域的图像数据的特征提取操作并行处理,故能够有利于提高图像识别的效率。
在一些实施例中,区域获取模块41包括脏器检测子模块,用于利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息,区域获取模块41包括区域确定子模块,用于利用第一位置信息和第二位置信息,确定目标脏器对应的目标区域。
区别于前述实施例,利用脏器检测网络分别对至少一个待识别医学图像进行检测,得到目标脏器的第一位置信息和目标脏器的毗邻脏器的第二位置信息,故不仅能够考虑所需识别的目标脏器,还能够考虑周边毗邻脏器,从而利用第一位置信息和第二位置信息,确定目标脏器对应的目标区域,能够确保在经手术治疗等情况下脏器形态发生改变时,也能够定位得到目标脏器对应的目标区域,故能够提高图像识别的鲁棒性。
在一些实施例中,待识别医学图像为三维图像,区域获取模块41还包括图像划分子模块,用于将每一待识别医学图像沿冠状面进行划分,得到多个三维子图像,区域获取模块41还包括图像投影子模块,用于将每一子图像沿垂直于冠状面的方向进行投影,得到对应的二维子图像,脏器检测子模块具体用于利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测,得到第一位置信息和第二位置信息。
区别于前述实施例,在待识别医学图像为三维图像时,将每一待识别医学图像沿冠状面进行划分,得到多个三维子图像,并将每一子图像沿垂直于冠状面的方向进行投影,得到对应的二维子图像,从而利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测,得到第一位置信息和第二位置信息,能够进一步提高目标脏器对应的目标区域定位的准确性。
在一些实施例中,目标脏器为肝脏,毗邻脏器包括肾脏、脾脏中的至少一者;和/或,第一位置信息包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸,第二位置信息至少包括毗邻脏器对应区域的至少一个顶点位置。
区别于前述实施例,将目标脏器设置为肝脏,毗邻脏器设置为包括肾脏、脾脏中的至少一者,能够有利于定位得到肝脏对应的目标区域;将第一位置信息设置为包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸,第二位置信息设置为至少包括毗邻脏器对应区域的至少一个顶点位置,能够有利于精确地定位目标脏器对应的目标区域。
在一些实施例中,图像识别装置40还包括图像排序模块,用于将至少一个待识别医学图像按照其扫描图像类别进行排序;图像识别装置40还包括第一输出模块,用于在待识别医学图像的扫描图像类别存在重复时,输出第一预警信息,以提示扫描人员;图像识别装置40还包括第二输出模块,用于在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时,输出第二预警信息,以提示扫描人员。
区别于前述实施例,在确定得到每一待识别医学图像所属的扫描图像类别之后,执行将至少一个待识别医学图像按照其扫描图像类别进行排序,能够提高医生阅片的便捷性;在待识别医学图像的扫描图像类别存在重复时,输出第一预警信息,以提示扫描人员,在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时,输出第二预警信息,以提示扫描人员,能够在扫描过程中实现图像质控,以在与实际相悖时,能够及时纠错,避免病人二次挂号。
在一些实施例中,图像识别装置40还包括预处理模块,用于对每一目标区域的图像数据进行预处理,其中,预处理包括以下至少一种:将目标区域的图像尺寸调整至预设尺寸,将目标区域的图像强度归一化至预设范围。
区别于前述实施例,在特征提取之前,对每一目标区域的图像数据进行预处理,且预处理包括以下至少一种:将目标区域的图像尺寸调整至预设尺寸,将目标区域的图像强度归一化至预设范围,故能够有利于提高后续图像识别的准确性。
请参阅图5,图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52,处理器52用于执行存储器51中存储的程序指令,以实现上述任一图像识别方法实施例的步骤。在一个具体的实施场景中,电子设备50可以包括但不限于:微型计算机、服务器,此外,电子设备50还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器52用于控制其自身以及存储器51以实现上述任一图像识别方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit,中央处理单元)。处理器52可能是一种集成电路芯片,具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器52可以由集成电路芯片共同实现。
上述方案,能够提高图像识别的效率和准确性。
请参阅图6,图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601,程序指令601用于实现上述任一图像识别方法实施例的步骤。
上述方案,能够提高图像识别的效率和准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。