CN112819811A - 图像分析方法及相关装置、电子设备、存储介质 - Google Patents
图像分析方法及相关装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN112819811A CN112819811A CN202110209414.5A CN202110209414A CN112819811A CN 112819811 A CN112819811 A CN 112819811A CN 202110209414 A CN202110209414 A CN 202110209414A CN 112819811 A CN112819811 A CN 112819811A
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- region
- bone
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 322
- 238000010191 image analysis Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 38
- 210000000988 bone and bone Anatomy 0.000 claims description 163
- 238000000605 extraction Methods 0.000 claims description 97
- 230000002159 abnormal effect Effects 0.000 claims description 40
- 230000005856 abnormality Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 15
- 239000003550 marker Substances 0.000 claims description 10
- 208000010392 Bone Fractures Diseases 0.000 description 122
- 206010017076 Fracture Diseases 0.000 description 118
- 238000010586 diagram Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 8
- 210000000038 chest Anatomy 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 208000027790 Rib fracture Diseases 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000001991 scapula Anatomy 0.000 description 4
- 210000001562 sternum Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010070918 Bone deformity Diseases 0.000 description 2
- 206010005963 Bone formation increased Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000002411 hand bone Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像分析方法及相关装置、电子设备、存储介质,其中,图像分析方法包括:获取待测对象的医学图像;对医学图像进行特征提取,得到特征图像;对特征图像进行第一检测,得到第一检测结果,其中,第一检测结果表示医学图像中存在目标区域的可能性,并基于第一检测结果,对特征图像进行第二检测,得到第二检测结果;其中,第二检测结果包括目标区域的属性信息。上述方案,能够提高图像分析的速度和准确性,具体可以应用于检测医学图像中关于骨折区域的第一检测结果和第二检测结果,能够提高骨折区域检测的速度和准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像分析方法及相关装置、电子设备、存储介质。
背景技术
有赖于CT(Computed Tomography,计算机断层扫描)等医学图像,医护人员能够根据临床知识和经验,对医学图像中诸如骨折区域等目标区域进行分析。例如,医护人员可以分析得到医学图像中是否存在骨折,以及骨折类型等。然而,通过人工进行图像分析,往往存在分析速度慢的问题,且易受主观影响而难以确保分析准确性。有鉴于此,如何提高图像分析的速度和准确性成为亟待解决的问题。
发明内容
本申请提供一种图像分析方法及相关装置、电子设备、存储介质。
本申请第一方面提供了一种图像分析方法,包括:获取待测对象的医学图像;对医学图像进行特征提取,得到特征图像;对特征图像进行第一检测,得到第一检测结果,其中,第一检测结果表示医学图像中存在目标区域的可能性;基于第一检测结果,对特征图像进行第二检测,得到第二检测结果;其中,第二检测结果包括目标区域的属性信息。
因此,通过获取待测对象的医学图像,并对医学图像进行特征提取,得到特征图像,从而对特征图像进行第一检测,得到第一检测结果,且第一检测结果表示医学图像中存在目标区域的可能性,并基于第一检测结果,对特征图像进行第二检测,得到第二检测结果,且第二检测结果包括目标区域的属性信息,故此,能够免于通过人工进行图像分析,从而能够有利于提高图像分析速度和准确性,此外,由于关于存在目标区域的可能性的第一检测和关于目标区域的属性信息的第二检测均基于特征图像执行,即第一检测和第二检测两个检测任务共享特征图像,故相较于两个任务完全独立进行,能够减少计算量。因此,上述方式能够提高图像分析的速度和准确性。
其中,目标区域包括骨折区域,在对医学图像进行特征提取,得到特征图像之前,包括:对医学图像进行第三检测,得到包含骨像素点的骨区域;对医学图像进行特征提取,得到特征图像,包括:基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像;其中,区域图像的中心为骨像素点;分别对至少一个区域图像进行特征提取,得到特征图像。
因此,目标区域包括骨折区域,在对医学图像进行特征提取之前,先对医学图像进行第三检测,得到包含骨像素点的骨区域,从而基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像,且区域图像的中心为骨像素点,进而分别对至少一个区域图像进行特征提取,得到特征图像,故此能够使特征提取专注于骨区域,从而能够有利于降低其他区域对骨折检测的干扰,进而能够有利于降低对轻微骨折的漏检测,进一步提高骨折检测的准确性。
其中,在基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像之前,方法还包括:获取位于骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个候选像素点,作为目标像素点;其中,区域图像的中心为目标像素点。
因此,通过获取位于骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个候选像素点,作为目标像素点,且区域图像的中心为目标像素点,能够使特征提取专注于骨区域,提高骨折检测准确性,与此同时,能够减少区域图像的数量,从而降低计算量,提高骨折检测速度。
其中,在分别对至少一个区域图像进行特征提取,得到特征图像之前,方法还包括:分别对至少一个区域图像进行第四检测,得到区域图像的骨异常情况;分别对至少一个区域图像进行特征提取,得到特征图像,包括:对骨异常情况满足预设条件的区域图像进行特征提取,得到特征图像。
因此,在分别对至少一个区域图像进行特征提取,得到特征图像之前,通过分别对至少一个区域图像进行第四检测,得到区域图像的骨异常情况,并对骨异常情况满足预设条件的区域图像进行特征提取,得到特征图像,故此能够实现“由粗到细”的骨折检测,即先初步筛选骨异常情况满足预设条件的区域图像,从而能够免于检测骨异常情况不满足预设条件的区域图像,在此基础上,再对筛选出来的区域图像进行后续细微甄别,进而能够有利于进一步提高骨折检测速度。
其中,骨异常情况包括骨异常分值,预设条件包括:骨异常分值大于预设分值阈值。
因此,通过将骨异常情况设置为包括骨异常分值,预设条件设置为包括:骨异常分值大于预设分值阈值,能够有利于免于检测骨异常程度低的区域图像,并筛选骨异常程度高的区域图像进行后续细微甄别,能够有利于提高骨折检测速度。
其中,对医学图像进行特征提取,得到特征图像,包括:利用图像分析模型的特征提取子网络对医学图像进行特征提取,得到特征图像;和/或,对特征图像进行第一检测,得到第一检测结果,包括:利用图像分析模型的第一检测子网络对特征图像进行第一检测,得到第一检测结果;和/或,对特征图像进行第二检测,得到第二检测结果,包括:利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二检测结果。
因此,通过图像分析模型的特征提取子网络对医学图像进行特征提取,能够有利于提高特征提取效率;而通过图像分析模型的第一检测子网络特征图像进行第一检测,能够有利于提高第一检测的效率;而通过图像分析模型的第二检测子网络对特征图像进行第二检测,能够有利于提高第二检测的效率。
其中,图像分析模型的训练步骤包括:获取样本医学图像;其中,样本医学图像标注有第一标记和第二标记,第一标记表征样本医学图像中是否存在样本目标区域,第二标记表征样本目标区域的样本属性信息;利用图像分析模型的特征提取子网络对样本医学图像进行特征提取,得到样本特征图像;利用图像分析模型的第一检测子网络对样本特征图像进行第一检测,得到第一预测结果,并利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二预测结果;其中,第一预测结果表示存在样本医学图像中存在样本目标区域的可能性,第二预测结果包括样本目标区域的预测属性信息;基于第一标记和第一预测结果之间的差异,以及第二标记和第二预测结果之间的差异,调整图像分析模型的网络参数。
因此,通过获取样本医学图像,且样本医学图像标注有第一标记和第二标记,第一标记表征样本医学图像中是否存在样本目标区域,第二标记表征样本目标区域的样本属性信息,并利用图像分析模型的特征提取子网络对样本医学图像进行特征提取,得到样本特征图像,从而利用图像分析模型的第一检测子网络对样本特征图像进行第一检测,得到第一预测结果,并利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二预测结果,且第一预测结果表示样本医学图像中存在样本目标区域的可能性,第二预测结果包括样本目标区域的预测属性信息,进而基于第一标记和第一预测结果之间的差异,以及第二标记和第二预测结果之间的差异,调整图像分析模型的网络参数,故此,能够在图像分析模型的训练过程中,将第一检测子网络和第二检测子网络联合训练,从而能够有利于使第一检测任务和第二检测任务相互监督,进而能有利于提高图像分析模型的准确性。
其中,医学图像为待测对象的胸部医学图像,目标区域包括骨折区域,属性信息包括骨折区域的的骨折类型;和/或,第一检测结果包括医学图像中存在目标区域的概率值,且概率值越大,存在目标区域的可能性越高。
因此,将医学图像设置为待测对象的胸部医学图像,将目标区域设置为包括骨折区域,以及将属性信息设置为包括骨折区域的骨折类型,能够有利于实现骨折检测;将第一检测结果设置为医学图像中存在目标区域的概率值,且概率值越大,存在目标区域的可能性越高,能够有利于量化目标区域的可能性,从而能够便于用户根据概率值判断是否存在目标区域。
本申请第二方面提供了一种图像分析装置,包括:图像获取模块、特征提取模块和第一检测模块、第二检测模块,图像获取模块用于获取待测对象的医学图像;特征提取模块用于对医学图像进行特征提取,得到特征图像;第一检测模块用于对特征图像进行第一检测,得到第一检测结果,其中,第一检测结果表示医学图像中存在目标区域的可能性,第二检测模块用于基于第一检测结果,对特征图像进行第二检测,得到第二检测结果;其中,第二检测结果包括目标区域的属性信息。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像分析方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像分析方法。
上述方案,因此,通过获取待测对象的医学图像,并对医学图像进行特征提取,得到特征图像,从而对特征图像进行第一检测,得到第一检测结果,且第一检测结果表示医学图像中存在目标区域的可能性,并基于第一检测结果,对特征图像进行第二检测,得到第二检测结果,且第二检测结果包括目标区域的属性信息,故此,能够免于通过人工进行图像分析,从而能够有利于提高图像分析速度和准确性,此外,由于关于存在目标区域的可能性的第一检测和关于目标区域的属性信息的第二检测均基于特征图像执行,即第一检测和第二检测两个检测任务共享特征图像,故相较于两个任务完全独立进行,能够减少计算量。因此,上述方式能够提高图像分析的速度和准确性。
附图说明
图1是本申请图像分析方法一实施例的流程示意图;
图2是图像分析模型一实施例的框架示意图;
图3是本申请图像分析方法另一实施例的流程示意图;
图4是图像分析模型的训练过程一实施例的流程示意图;
图5是本申请图像分析装置一实施例的框架示意图;
图6是本申请电子设备一实施例的框架示意图;
图7是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像分析方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取待测对象的医学图像。
在一个实施场景中,待测对象根据实际应用情况可以为不同对象,在此不做限定。例如,在伤情鉴定、赔偿、量刑等场景中,待测对象可以包括受害者;或者,在体检场景中,待测对象可以包括接受体检人员,在此不再一一举例。进一步地,待测对象也可以不限于人,也可以包括动物园动物、宠物等等。
在一个实施场景中,医学图像所需检测的目标区域可以包括但不限于骨折区域,具体可以根据实际应用需要进行设置,在此不做限定。
在一个实施场景中,以目标区域包括骨折区域为例,根据所需检测的目标区域的所在位置,医学图像也可以为待测对象不同位置处的图像。例如,医学图像可以为待测对象的胸部医学图像,在此情形下,骨折可以为肋骨骨折,即可以利用胸部医学图像进行肋骨骨折检测;或者,医学图像也可以为待测对象的手部医学图像,在此情形下,骨折可以为手骨骨折,即可以利用手部医学图像进行手骨骨折检测,其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,医学图像可以包括但不限于CT图像、MR(MagneticResonance,核磁共振)图像。
在另一个实施场景中,医学图像可以是三维图像,或者,也可以是二维图像,例如,二维图像可以是CT的轴位片层,在此不做限定。
在一个具体的实施场景中,医学图像具体可以设置为三维图像,从而能够免于由于仅使用轴位片层而丢失空间信息,有利于在检测过程中,获取连续片层上的变化,提高检测准确性。
步骤S12:对医学图像进行特征提取,得到特征图像。
在一个实施场景中,为了提高检测效率,可以预先训练一个图像分析模型,且图像分析模型可以包括一个特征提取子网络,从而可以利用图像分析模型的特征提取子网络对医学图像进行特征提取,得到特征图像。
在一个具体的实施场景中,特征提取子网络可以包括卷积层(ConvolutionalLayer)、池化层(Pooling Layer)。
在另一个具体的实施场景中,图像分析模型可以由样本医学图像训练得到,具体可以参阅下述关于图像分析模型的训练过程实施例,在此暂不赘述。
在另一个实施场景中,以目标区域包括骨折区域为例,在进行特征提取之前,还可以先对医学图像进行检测,得到包含骨像素点的骨区域,再基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像,且区域图像的中心为骨像素点,并分别对至少一个区域图像进行特征提取,得到特征图像。故此,能够使特征提取专注于骨区域,从而能够有利于降低其他区域对骨折检测的干扰,进而能够有利于降低对轻微骨折的漏检测,进一步提高骨折检测的准确性。
在一个具体的实施场景中,可以基于阈值和形状检测医学图像,得到包含骨像素点的骨区域。以肋骨骨折检测为例,可以基于预设阈值将医学图像转换为二值图像,从而提取出骨性结构(如,肋骨笼,胸骨,锁骨,肩胛骨),而由于胸骨、肩胛骨形状类似“板”,肋骨形状类似“管”,故在此基础上,可以基于Hessian分析计算“板度”(“板度”越高,表示板状骨的可能性越大),并对板状骨进行增强,得到胸骨和肩胛骨,并去除检测到的胸骨和肩胛骨,最终得到肋骨结构。
在另一个具体的实施场景中,为了提高骨区域的检测效率,上述图像分析模型中还可以进一步包括骨区域检测子网络,从而可以直接利用骨区域检测子网络对医学图像进行检测,得到包含骨像素点的骨区域。具体地,骨区域检测子网络具体可以包括:U-Net、V-Net等等,在此不做限定。仍以肋骨骨折检测为例,可以预先获取标注有实际肋骨区域的样本医学图像,并利用骨区域检测子网络对样本医学图像进行检测,得到包含肋骨像素点的预测肋骨区域,从而可以利用实际肋骨区域和预测肋骨区域之间的差异,调整骨区域检测子网络的网络参数。其他情况可以以此类推,在此不再一一举例。
在又一个具体的实施场景中,区域图像的大小为预设尺寸,预设尺寸可以根据实际情况进行设置,在此不做限定。例如,在医学图像为三维图像的情况下,区域图像为预设长度(如,10)、预设宽度(如,10)、预设高度(如,10)的图像。
在又一个具体的实施场景中,在对至少一个区域图像进行特征提取之前,还可以先获取位于骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个候选像素点,作为目标像素点,且区域图像的中心为目标像素点。需要说明的是,骨区域的骨架线为骨区域各个横截面的中心所在的线。此外,可以在骨架线上每隔预设距离(如,10)选择一个候选像素点,作为目标像素点。故此,能够使特征提取专注于骨区域,提高骨折检测准确性,与此同时,能够减少区域图像的数量,从而降低计算量,提高骨折检测速度。
在又一个具体的实施场景中,在对至少一个区域图像进行特征提取之前,还可以先对至少一个区域图像进行检测,得到区域图像的骨异常情况,从而后续能够仅对骨异常情况满足预设条件的区域图像进行特征提取,得到特征图像。故此,能够实现“由粗到细”的骨折检测,即先初步筛选骨异常情况满足预设条件的区域图像,从而能够免于检测骨异常情况不满足预设条件的区域图像,在此基础上,再对筛选出来的区域图像进行后续细微甄别,进而能够有利于进一步提高骨折检测速度。具体地,骨折、骨骼畸形、骨质增生等偏离正常骨骼的情况均属骨异常,在实际应用中,骨异常情况可以包括骨异常分值,且骨异常分值越大,骨异常程度越高,预设条件可以设置为包括:骨异常分值大于预设分值阈值。此外,为了提高骨异常检测的效率,图像分析模型还可以包括骨异常检测子网络,从而可以利用骨异常检测子网络分别对至少一个区域图像进行检测,得到区域图像的骨异常情况。
步骤S13:对特征图像进行第一检测,得到第一检测结果。
本公开实施例中,第一检测结果表示医学图像中存在目标区域的可能性。如前所述,目标区域具体可以根据实际应用需要进行设置,例如可以包括但不限于骨折区域。
在一个实施场景中,第一检测结果可以包括医学图像中存在目标区域的概率值,且概率值越大,存在目标区域的可能性越高。仍以目标区域包括骨折区域为例,概率值越大,存在骨折区域的可能性越高。
在一个实施场景中,为了提高第一检测的效率,图像分析模型还可以包括第一检测子网络,从而可以利用第一检测子网络对特征图像进行第一检测,得到第一检测结果。具体地,第一检测子网络可以包括但不限于:卷积层、池化层、全连接层,在此不做限定。
步骤S14:基于第一检测结果,对特征图像进行第二检测,得到第二检测结果。
本公开实施例中,第二检测结果包括目标区域的属性信息。仍以目标区域包括骨折区域为例,骨折区域的属性信息具体可以包括骨折类型。
在一个实施场景中,为了提高第二检测的效率,图像分析模型还可以包括第二检测子网络,从而可以利用第二检测子网络对特征图像进行第二检测,得到第二检测结果。具体地,第二检测子网络可以包括但不限于:卷积层、池化层、全连接层,在此不做限定。
在另一个实施场景中,骨折类型可以根据实际应用需要进行设置。例如,骨折类型可以包括:完全骨折、不完全骨折;此外,骨折类型也可以包括:陈旧骨折、新发骨折,在此不做限定。
在又一个实施场景中,仍以目标区域包括骨折区域为例,目标区域的属性信息还可以进一步包括骨折位置。骨折位置具体可以包括但不限于:骨折区域的中心、骨折区域的尺寸。例如,骨折区域的中心为像素点(48,64,100),骨折区域的尺寸为10*10*10,则可以认为以像素点(48,64,100)为中心,且大小为10*10*10的区域为骨折区域,其他情况可以以此类推,在此不再一一举例。故此,通过根据上述中心和尺寸,能够定位骨折区域。
在一个实施场景中,如前所述,第一检测结果可以包括医学图像中存在目标区域的概率值,则在概率值大于预设概率阈值的情况下,可以对特征图像进行第二检测,得到第二检测结果。此外,在概率值不大于预设概率阈值的情况下,可以直接提示医学图像中不存在目标区域。
在一个实施场景中,通过结合第一检测结果和第二检测结果,可以得到综合检测结果,以供医护人员参考。例如,仍以目标区域包括骨折区域为例,在第一检测结果显示医学图像中存在骨折区域的可能性较大的情况下,可以进一步基于第二检测结果所包含的骨折类型A,给出如下综合检测结果:待测对象较大可能存在骨折类型A;或者,在第一检测结果显示医学图像中存在骨折区域的可能性较小的情况下,可以进一步基于第二检测结果所包含的骨折类型B,给出如下综合检测结果:骨折可能性较低,建议排除是否有骨折类型B,具体可以根据实际应用需要进行设置,在此不做限定。
请结合参阅图2,图2是图像分析模型一实施例的框架示意图。如图2所示,图像分析模型可以包括特征提取子网络、第一检测子网络和第二检测子网络,医学图像经过图像分析模型的特征提取子网络得到特征图像,特征图像分别送入第一检测子网络和第二检测子网络,并由第一检测子网络输出第一检测结果,由第二检测子网络输出第二检测结果。
上述方案,通过获取待测对象的医学图像,并对医学图像进行特征提取,得到特征图像,从而对特征图像进行第一检测,得到第一检测结果,且第一检测结果表示医学图像中存在目标区域的可能性,并基于第一检测结果,对特征图像进行第二检测,得到第二检测结果,且第二检测结果包括目标区域的属性信息,故此,能够免于通过人工进行图像分析,从而能够有利于提高图像分析速度和准确性,此外,由于关于存在目标区域的可能性的第一检测和关于目标区域的属性信息的第二检测均基于特征图像执行,即第一检测和第二检测两个检测任务共享特征图像,故相较于两个任务完全独立进行,能够减少计算量。因此,上述方式能够提高图像分析速度和准确性。
请参阅图3,图3是本申请图像分析方法另一实施例的流程示意图。本公开实施例中,医学图像中的目标区域具体可以包括骨折区域。具体可以包括如下步骤;
步骤S31:获取待测对象的医学图像。
具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S32:对医学图像进行检测,得到包含骨像素点的骨区域。
骨区域的具体检测方式可以参阅前述公开实施例中的相关描述,在此不再赘述。
此外,如前所述公开实施例所述,为了提高骨区域检测的效率,可以预先训练一个图像分析模型,且图像分析模型包括骨区域检测子网络,从而可以利用骨区域检测子网络对医学图像进行检测,得到包含骨像素点的骨区域。关于骨区域检测子网络具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S33:获取位于骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个候选像素点,作为目标像素点。
具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S34:基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像。
本公开实施例中,区域图像的中心为目标像素。具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S35:分别对至少一个区域图像进行检测,得到区域图像的骨异常情况。
如前述公开实施例所述,为了提高骨异常检测的效率,图像分析模型还可以进一步包括骨异常检测子网络,从而可以利用骨异常检测子网络分别对至少一个区域图像进行检测,得到区域图像的骨异常情况。
在一个具体的实施场景中,骨异常检测子网络具体可以包括但不限于:卷积层、池化层、全连接层,即可以通过轻量化的网络结构实现骨异常检测子网络,有利于减少网络参数,降低训练难度和成本。
在另一个具体的实施场景中,可以预先获取标注有实际骨异常情况(如,可以标注有实际骨异常分值)的样本医学图像,从而可以利用骨异常检测子网络对样本医学图像进行检测,得到预测骨异常情况(如,预测骨异常分值),进而可以利用实际骨异常情况和预测骨异常情况之间的差异,调整骨异常检测子网络的网络参数。
在又一个具体的实施场景中,骨异常检测子网络也可以独立于图像分析模型,此外,上述骨区域检测子网络也可以独立于图像分析模型,即如图2所示,图像分析模型可以仅包括特征提取子网络、第一检测子网络和第二检测子网络。
步骤S36:对骨异常情况满足预设条件的区域图像进行特征提取,得到特征图像。
如前述公开实施例所述,骨折、骨骼畸形、骨质增生等偏离正常骨骼的情况均属骨异常。本公开实施例中,骨异常情况包括骨异常分值,骨异常分值越大,骨异常程度越高,且预设条件包括:骨异常分值大于预设分值阈值。
在一个实施场景中,预设分值阈值可以根据实际应用需要进行设置。例如,在对骨折检测精度要求相对较低的情况下,预设分值阈值可以设置地较大,从而仅筛选骨异常分值较大的区域图像,即对于骨异常分值较小的区域图像不进行后续检测;或者,在对骨折检测精度要求相对较高的情况下,预设分值阈值可以设置地相对稍小,从而骨异常分值稍大一些的区域图像均被筛选出来,以进行有后续检测,在此不做限定。
步骤S37:对特征图像进行第一检测,得到第一检测结果,并基于第一检测结果,对特征图像进行第二检测,得到第二检测结果。
本公开实施例中,第一检测结果表示医学图像中存在目标区域的可能性,第二检测结果包括目标区域的属性信息。具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
区别于前述实施例,通过获取待测对象的医学图像,并对医学图像进行检测,得到包含骨像素点的骨区域,从而获取位于骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个候选像素点,作为目标像素点,基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像,且区域图像的中心为目标像素,能够使后续特征提取专注于骨区域,从而能够有利于降低其他区域对骨折检测的干扰,在此基础上,再分别对至少一个区域图像进行检测,得到区域图像的骨异常情况,并对骨异常情况满足预设条件的区域图像进行特征提取,得到特征图像,能够实现“由粗到细”的骨折检测,从而提高提高骨折检测速度,最终对特征图像进行第一检测,得到第一检测结果,并基于第一检测结果,对特征图像进行第二检测,得到第二检测结果,由于第一检测和第二检测两个检测任务共享特征图像,故相较于两个任务完全独立进行,能够减少计算量。因此,上述方式能够提高骨折检测速度和准确性。
请参阅图4,图4是图像分析模型的训练过程一实施例的流程示意图。具体可以包括如下步骤:
步骤S41:获取样本医学图像。
本公开实施例中,样本医学图像标注有第一标记和第二标记,第一标记表征样本医学图像中是否存在样本目标区域,第二标记表征样本目标区域的样本属性信息。样本医学图像的含义具体可以参考前述公开实施例中关于医学图像的相关描述,在此不再赘述。此外,样本目标区域具体可以根据实际应用需要进行设置,例如,可以包括样本骨折区域。以样本目标区域包括样本骨折区域为例,样本目标区域的样本属性信息可以包括样本骨折区域的样本骨折类型等,在此不做限定。
步骤S42:利用图像分析模型的特征提取子网络对样本医学图像进行特征提取,得到样本特征图像。
具体可以参阅前述公开实施例中,利用特征提取子网络对医学图像进行特征提取的相关描述,在此不再赘述。
步骤S43:利用图像分析模型的第一检测子网络对样本特征图像进行第一检测,得到第一预测结果,并利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二预测结果。
本公开实施例中,第一预测结果表示样本医学图像中存在样本目标区域的可能性,第二预测结果包括样本目标区域的预测属性信息。在一个实施场景中,第一预测结果具体可以包括存在样本目标区域的第一预测概率值,第一预测概率值越高,表示存在样本目标区域的可能性越大;在另一个实施场景中,以样本目标区域包括样本骨折区域为例,第二检测结果所包括的样本骨折区域的预测属性信息具体可以包括至少一种骨折类型的第二预测概率值,例如,可以包括新发骨折的第二预测概率值和陈旧骨折的第二预测概率值;或者,可以包括完全骨折的第二预测概率值和不完全骨折的第二预测概率值,在此不做限定。
具体可以参阅前述公开实施例中,利用第一检测子网络进行第一检测,以及利用第二检测子网络进行第二检测的相关描述,在此不再赘述。
步骤S44:基于第一标记和第一预测结果之间的差异,以及第二标记和第二预测结果之间的差异,调整图像分析模型的网络参数。
在一个实施场景中,仍以样本目标区域包括样本骨折区域为例,第一标记可以表示样本医学图像中是否存在样本骨折区域,具体可以采用第一实际概率值为100%表示存在样本骨折区域,可以采用第一实际概率值为0%表示不存在样本骨折区域。在此情形下,可以基于交叉熵损失函数,计算第一实际概率值和第一预测概率值之间的第一损失值。
在另一个实施场景中,仍以样本目标区域包括样本骨折区域为例,第二实际结果可以包括样本骨折区域的骨折类型,具体可以采用第二实际概率值为100%表示存在相应的骨折类型,可以表示第二实际概率值为0%表示不存在相应的骨折类型,例如,新发骨折的第二实际概率值0%和陈旧骨折的第二实际概率值100%,表示样本骨折区域的骨折类型为陈旧骨折;或者,完全骨折的第二实际概率值0%和不完全骨折的第二实际概率值100%,表示样本骨折区域的骨折类型为不完全骨折,在此不做限定。在此情形下,可以基于交叉熵损失函数,计算第二实际概率值和第二预测概率值之间的第二损失值。
在又一个实施场景中,可以分别利用第一预设权值、第二预设权值分别对上述第一损失值、第二损失值进行加权,得到加权损失值,并基于加权损失值,调整图像分析模型的网络参数。
在一个具体的实施场景中,第一预设权值和第二预设权值可以根据实际应用需要进行设置。例如,在比较关注骨折可能性预测的情况下,可以将第一预设权值设置为大于第二预设权值,如第一预设权值设置为0.6,第二预设权值设置为0.4;或者,在比较关注骨折类型预测的情况下,可以将第一预设权值设置为小于第二预设权值,如第一预设权值设置为0.4,第二预设权值设置为0.6,在此不做限定。
在另一个具体的实施场景中,具体可以采用随机梯度下降(Stochastic GradientDescent,SGD)、批量梯度下降(Batch Gradient Descent,BGD)、小批量梯度下降(Mini-Batch Gradient Descent,MBGD)等方式,利用上述加权损失值对图像分析模型的参数进行调整,其中,批量梯度下降是指在每一次迭代时,使用所有样本来进行参数更新;随机梯度下降是指在每一次迭代时,使用一个样本来进行参数更新;小批量梯度下降是指在每一次迭代时,使用一批样本来进行参数更新,在此不再赘述。
在又一个具体的实施场景中,还可以设置一训练结束条件,当满足训练结束条件时,可以结束对图像分析模型的训练。具体地,训练结束条件可以包括以下任一者:损失值小于一预设损失阈值,当前训练次数达到预设次数阈值(例如,500次、1000次等),在此不做限定。
区别于前述实施例,通过获取样本医学图像,且样本医学图像标注有第一标记和第二标记,第一标记表征样本医学图像中是否存在样本目标区域,第二标记表征样本目标区域的样本属性信息,并利用图像分析模型的特征提取子网络对样本医学图像进行特征提取,得到样本特征图像,从而利用图像分析模型的第一检测子网络对样本特征图像进行第一检测,得到第一预测结果,并利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二预测结果,且第一预测结果表示样本医学图像中存在样本目标区域的可能性,第二预测结果包括样本目标区域的预测属性信息,进而基于第一标记和第一预测结果之间的差异,以及第二标记和第二预测结果之间的差异,调整图像分析模型的网络参数,故此,能够在图像分析模型的训练过程中,将第一检测子网络和第二检测子网络联合训练,从而能够有利于使第一检测任务和第二检测任务相互监督,进而能有利于提高图像分析模型的准确性。
请参阅图5,图5是本申请图像分析装置50一实施例的框架示意图。图像分析装置50包括:图像获取模块51、特征提取模块52和第一检测模块53、第二检测模块54,图像获取模块51用于获取待测对象的医学图像;特征提取模块52用于对医学图像进行特征提取,得到特征图像;第一检测模块53用于对特征图像进行第一检测,得到第一检测结果,其中,第一检测结果表示医学图像中存在目标区域的可能性,第二检测模块54,用于基于第一检测结果,对特征图像进行第二检测,得到第二检测结果;其中,第二检测结果包括目标区域的属性信息。
上述方案,通过获取待测对象的医学图像,并对医学图像进行特征提取,得到特征图像,从而对特征图像进行第一检测,得到第一检测结果,且第一检测结果表示医学图像中存在目标区域的可能性,并基于第一检测结果,对特征图像进行第二检测,得到第二检测结果,且第二检测结果包括目标区域的属性信息,故此,能够免于通过人工进行图像分析,从而能够有利于提高图像分析速度和准确性,此外,由于关于存在目标区域的可能性的第一检测和关于目标区域的属性信息的第二检测均基于特征图像执行,即第一检测和第二检测两个检测任务共享特征图像,故相较于两个任务完全独立进行,能够减少计算量。因此,上述方式能够提高图像分析速度和准确性。
在一些公开实施例中,目标区域包括骨折区域,图像分析装置50还包括第三检测模块,用于对医学图像进行第三检测,得到包含骨像素点的骨区域,特征提取模块52包括区域提取子模块,用于基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像;其中,区域图像的中心为骨像素点,特征提取模块52特征提取子模块,用于分别对至少一个区域图像进行特征提取,得到特征图像。
区别于前述实施例,目标区域包括骨折区域,在对医学图像进行特征提取之前,先对医学图像进行第三检测,得到包含骨像素点的骨区域,从而基于骨区域中的骨像素点,在医学图像进行区域提取得到至少一个区域图像,且区域图像的中心为骨像素点,进而分别对至少一个区域图像进行特征提取,得到特征图像,故此能够使特征提取专注于骨区域,从而能够有利于降低其他区域对骨折检测的干扰,进而能够有利于降低对轻微骨折的漏检测,进一步提高骨折检测的准确性。
在一些公开实施例中,特征提取模块52还包括像素提取子模块,用于获取位于骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个候选像素点,作为目标像素点;其中,区域图像的中心为目标像素点。
区别于前述实施例,通过获取位于骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个候选像素点,作为目标像素点,且区域图像的中心为目标像素点,能够使特征提取专注于骨区域,提高骨折检测准确性,与此同时,能够减少区域图像的数量,从而降低计算量,提高骨折检测速度。
在一些公开实施例中,特征提取模块52还包括异常检测子模块,用于分别对至少一个区域图像进行第四检测,得到区域图像的骨异常情况,特征提取子模块具体用于对骨异常情况满足预设条件的区域图像进行特征提取,得到特征图像。
区别于前述实施例,在分别对至少一个区域图像进行特征提取,得到特征图像之前,通过分别对至少一个区域图像进行第四检测,得到区域图像的骨异常情况,并对骨异常情况满足预设条件的区域图像进行特征提取,得到特征图像,故此能够实现“由粗到细”的骨折检测,即先初步筛选骨异常情况满足预设条件的区域图像,从而能够免于检测骨异常情况不满足预设条件的区域图像,在此基础上,再对筛选出来的区域图像进行后续细微甄别,进而能够有利于进一步提高骨折检测速度。
在一些公开实施例中,骨异常情况包括骨异常分值,预设条件包括:骨异常分值大于预设分值阈值。
区别于前述实施例,通过将骨异常情况设置为包括骨异常分值,预设条件设置为包括:骨异常分值大于预设分值阈值,能够有利于免于检测骨异常程度低的区域图像,并筛选骨异常程度高的区域图像进行后续细微甄别,能够有利于提高骨折检测速度。
在一些公开实施例中,特征提取模块52具体用于利用图像分析模型的特征提取子网络对医学图像进行特征提取,得到特征图像,第一检测模块53具体用于利用图像分析模型的第一检测子网络对特征图像进行第一检测,得到第一检测结果,第二检测模块54具体用于利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二检测结果。
区别于前述实施例,通过图像分析模型的特征提取子网络对医学图像进行特征提取,能够有利于提高特征提取效率;而通过图像分析模型的第一检测子网络特征图像进行第一检测,能够有利于提高第一检测的效率;而通过图像分析模型的第二检测子网络对特征图像进行第二检测,能够有利于提高第二检测的效率。
在一些公开实施例中,图像分析装置50还包括样本获取模块,用于获取样本医学图像;其中,样本医学图像标注有第一标记和第二标记,第一标记表征样本医学图像中是否存在样本目标区域,第二标记表征样本目标区域的样本属性信息,图像分析装置50还包括样本提取模块,用于利用图像分析模型的特征提取子网络对样本医学图像进行特征提取,得到样本特征图像,图像分析装置50还包括样本检测模块,用于利用图像分析模型的第一检测子网络对样本特征图像进行第一检测,得到第一预测结果,并利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二预测结果;其中,第一预测结果表示样本医学图像中存在样本目标区域的可能性,第二预测结果包括样本目标区域的预测属性信息,图像分析装置50还包括参数调整模块,用于基于第一标记和第一预测结果之间的差异,以及第二标记和第二预测结果之间的差异,调整图像分析模型的网络参数。
区别于前述实施例,通过获取样本医学图像,且样本医学图像标注有第一标记和第二标记,第一标记表征样本医学图像中是否存在样本目标区域,第二标记表征样本目标区域的样本属性信息,并利用图像分析模型的特征提取子网络对样本医学图像进行特征提取,得到样本特征图像,从而利用图像分析模型的第一检测子网络对样本特征图像进行第一检测,得到第一预测结果,并利用图像分析模型的第二检测子网络对特征图像进行第二检测,得到第二预测结果,且第一预测结果表示样本医学图像中存在样本目标区域的可能性,第二预测结果包括样本目标区域的预测属性信息,进而基于第一标记和第一预测结果之间的差异,以及第二标记和第二预测结果之间的差异,调整图像分析模型的网络参数,故此,能够在图像分析模型的训练过程中,将第一检测子网络和第二检测子网络联合训练,从而能够有利于使第一检测任务和第二检测任务相互监督,进而能有利于提高图像分析模型的准确性。
在一些公开实施例中,医学图像为待测对象的胸部医学图像,目标区域包括骨折区域,属性信息包括骨折区域的骨折类型;和/或,第一检测结果包括医学图像中存在目标区域的概率值,且概率值越大,存在目标区域的可能性越高。
区别于前述实施例,将医学图像设置为待测对象的胸部医学图像,将目标区域设置为包括骨折区域,并将属性信息设置为包括骨折区域的骨折类型,能够有利于实现骨折检测;将第一检测结果设置为医学图像中存在目标区域的概率值,且概率值越大,存在目标区域的可能性越高,能够有利于量化存在目标区域的可能性,从而能够便于用户根据概率值判断是否存在目标区域。
请参阅图6,图6是本申请电子设备60一实施例的框架示意图。电子设备60包括相互耦接的存储器61和处理器62,处理器62用于执行存储器61中存储的程序指令,以实现上述任一图像分析方法实施例的步骤。在一个具体的实施场景中,电子设备60可以包括但不限于:微型计算机、服务器,此外,电子设备60还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器62用于控制其自身以及存储器61以实现上述任一图像分析方法实施例的步骤。处理器62还可以称为CPU(Central Processing Unit,中央处理单元)。处理器62可能是一种集成电路芯片,具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器62可以由集成电路芯片共同实现。
上述方案,能够提高图像分析速度和准确性。
请参阅图7,图7为本申请计算机可读存储介质70一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令701,程序指令701用于实现上述任一图像分析方法实施例的步骤。
上述方案,能够提高图像分析速度和准确性。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (11)
1.一种图像分析方法,其特征在于,包括:
获取待测对象的医学图像;
对所述医学图像进行特征提取,得到特征图像;
对所述特征图像进行第一检测,得到第一检测结果,其中,所述第一检测结果表示所述医学图像中存在目标区域的可能性;以及
基于所述第一检测结果,对所述特征图像进行第二检测,得到第二检测结果,其中,所述第二检测结果包括所述目标区域的属性信息。
2.根据权利要求1所述的方法,其特征在于,所述目标区域包括骨折区域;在所述对所述医学图像进行特征提取,得到特征图像之前,包括:
对所述医学图像进行第三检测,得到包含骨像素点的骨区域;以及
所述对所述医学图像进行特征提取,得到特征图像,包括:
基于所述骨区域中的骨像素点,在所述医学图像中提取得到至少一个区域图像,其中,所述区域图像的中心为所述骨像素点;
分别对所述至少一个区域图像进行特征提取,得到所述特征图像。
3.根据权利要求2所述的方法,其特征在于,在所述基于所述骨区域中的骨像素点,在所述医学图像中提取得到至少一个区域图像之前,所述方法还包括:
获取位于所述骨区域的骨架线上的骨像素点,作为候选像素点,并选择至少一个所述候选像素点,作为目标像素点;
其中,所述区域图像的中心为所述目标像素点。
4.根据权利要求2或3所述的方法,其特征在于,在所述分别对所述至少一个区域图像进行特征提取,得到所述特征图像之前,所述方法还包括:
分别对所述至少一个区域图像进行第四检测,得到所述区域图像的骨异常情况;以及
所述分别对所述至少一个区域图像进行特征提取,得到所述特征图像,包括:
对所述骨异常情况满足预设条件的区域图像进行特征提取,得到所述特征图像。
5.根据权利要求4所述的方法,其特征在于,所述骨异常情况包括骨异常分值,以及所述预设条件包括:所述骨异常分值大于预设分值阈值。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述对所述医学图像进行特征提取,得到特征图像,包括:
利用图像分析模型的特征提取子网络对所述医学图像进行特征提取,得到所述特征图像;
和/或,所述对所述特征图像进行第一检测,得到第一检测结果,包括:
利用所述图像分析模型的第一检测子网络对所述特征图像进行第一检测,得到所述第一检测结果;
和/或,所述对所述特征图像进行第二检测,得到第二检测结果,包括:
利用所述图像分析模型的第二检测子网络对所述特征图像进行第二检测,得到所述第二检测结果。
7.根据权利要求6所述的方法,其特征在于,所述图像分析模型的训练步骤包括:
获取样本医学图像,其中,所述样本医学图像标注有第一标记和第二标记,所述第一标记表征所述样本医学图像中是否存在样本目标区域,所述第二标记表征所述样本目标区域的样本属性信息;
利用所述图像分析模型的特征提取子网络对所述样本医学图像进行特征提取,得到样本特征图像;
利用所述图像分析模型的第一检测子网络对所述样本特征图像进行第一检测,得到第一预测结果,并利用所述图像分析模型的第二检测子网络对所述特征图像进行第二检测,得到第二预测结果;其中,所述第一预测结果表示所述样本医学图像中存在样本目标区域的可能性,所述第二预测结果包括所述样本目标区域的预测属性信息;
基于所述第一标记和所述第一预测结果之间的差异,以及所述第二标记和所述第二预测结果之间的差异,调整所述图像分析模型的网络参数。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述医学图像为所述待测对象的胸部医学图像,所述目标区域包括骨折区域,所述属性信息包括所述骨折区域的骨折类型;
和/或,所述第一检测结果包括所述医学图像中存在目标区域的概率值,且所述概率值越大,存在所述目标区域的可能性越高。
9.一种图像分析装置,其特征在于,包括:
图像获取模块,用于获取待测对象的医学图像;
特征提取模块,用于对所述医学图像进行特征提取,得到特征图像;
第一检测模块,用于对所述特征图像进行第一检测,得到第一检测结果;其中,所述第一检测结果表示所述医学图像中存在目标区域的可能性;
第二检测模块,用于基于所述第一检测结果,对所述特征图像进行第二检测,得到第二检测结果;其中,所述第二检测结果包括所述目标区域的属性信息。
10.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至8任一项所述的图像分析方法。
11.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至8任一项所述的图像分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110209414.5A CN112819811A (zh) | 2021-02-24 | 2021-02-24 | 图像分析方法及相关装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110209414.5A CN112819811A (zh) | 2021-02-24 | 2021-02-24 | 图像分析方法及相关装置、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112819811A true CN112819811A (zh) | 2021-05-18 |
Family
ID=75865613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110209414.5A Pending CN112819811A (zh) | 2021-02-24 | 2021-02-24 | 图像分析方法及相关装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819811A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506313A (zh) * | 2021-07-07 | 2021-10-15 | 上海商汤智能科技有限公司 | 图像处理方法及相关装置和电子设备、存储介质 |
CN113610809A (zh) * | 2021-08-09 | 2021-11-05 | 北京百度网讯科技有限公司 | 骨折检测方法、装置、电子设备以及存储介质 |
CN116091469A (zh) * | 2023-01-31 | 2023-05-09 | 北京医准智能科技有限公司 | 骨折检测方法、装置、电子设备及介质 |
CN118053567A (zh) * | 2024-04-16 | 2024-05-17 | 浙江创享仪器研究院有限公司 | 医学试验仪器远程监控图像分析方法及*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110002522A1 (en) * | 2008-02-25 | 2011-01-06 | Yoshihiro Goto | Medical imaging processing device, medical image processing method, and program |
CN107330883A (zh) * | 2017-07-04 | 2017-11-07 | 南京信息工程大学 | 一种医学图像病变区域定位和分类方法 |
CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理***和方法 |
CN108520519A (zh) * | 2018-04-11 | 2018-09-11 | 上海联影医疗科技有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
CN110738639A (zh) * | 2019-09-25 | 2020-01-31 | 上海联影智能医疗科技有限公司 | 医学图像检测结果的展示方法、装置、设备及存储介质 |
CN110796656A (zh) * | 2019-11-01 | 2020-02-14 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
CN110807788A (zh) * | 2019-10-21 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
CN111402228A (zh) * | 2020-03-13 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置和计算机可读存储介质 |
CN111507381A (zh) * | 2020-03-31 | 2020-08-07 | 上海商汤智能科技有限公司 | 图像识别方法及相关装置、设备 |
CN112116004A (zh) * | 2020-09-18 | 2020-12-22 | 推想医疗科技股份有限公司 | 病灶分类方法及装置、病灶分类模型的训练方法 |
-
2021
- 2021-02-24 CN CN202110209414.5A patent/CN112819811A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110002522A1 (en) * | 2008-02-25 | 2011-01-06 | Yoshihiro Goto | Medical imaging processing device, medical image processing method, and program |
CN107330883A (zh) * | 2017-07-04 | 2017-11-07 | 南京信息工程大学 | 一种医学图像病变区域定位和分类方法 |
CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理***和方法 |
CN108520519A (zh) * | 2018-04-11 | 2018-09-11 | 上海联影医疗科技有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
US20190318828A1 (en) * | 2018-04-11 | 2019-10-17 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image processing |
CN110738639A (zh) * | 2019-09-25 | 2020-01-31 | 上海联影智能医疗科技有限公司 | 医学图像检测结果的展示方法、装置、设备及存储介质 |
CN110807788A (zh) * | 2019-10-21 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
CN110796656A (zh) * | 2019-11-01 | 2020-02-14 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
CN111402228A (zh) * | 2020-03-13 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置和计算机可读存储介质 |
CN111507381A (zh) * | 2020-03-31 | 2020-08-07 | 上海商汤智能科技有限公司 | 图像识别方法及相关装置、设备 |
CN112116004A (zh) * | 2020-09-18 | 2020-12-22 | 推想医疗科技股份有限公司 | 病灶分类方法及装置、病灶分类模型的训练方法 |
Non-Patent Citations (1)
Title |
---|
周翠英 主编: "《数字图像处理、分析及应用》", vol. 1, 中国中医药出版社, pages: 756 - 757 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506313A (zh) * | 2021-07-07 | 2021-10-15 | 上海商汤智能科技有限公司 | 图像处理方法及相关装置和电子设备、存储介质 |
CN113610809A (zh) * | 2021-08-09 | 2021-11-05 | 北京百度网讯科技有限公司 | 骨折检测方法、装置、电子设备以及存储介质 |
CN113610809B (zh) * | 2021-08-09 | 2024-04-05 | 北京百度网讯科技有限公司 | 骨折检测方法、装置、电子设备以及存储介质 |
CN116091469A (zh) * | 2023-01-31 | 2023-05-09 | 北京医准智能科技有限公司 | 骨折检测方法、装置、电子设备及介质 |
CN116091469B (zh) * | 2023-01-31 | 2023-11-21 | 浙江医准智能科技有限公司 | 骨折检测方法、装置、电子设备及介质 |
CN118053567A (zh) * | 2024-04-16 | 2024-05-17 | 浙江创享仪器研究院有限公司 | 医学试验仪器远程监控图像分析方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819811A (zh) | 图像分析方法及相关装置、电子设备、存储介质 | |
CN106709917B (zh) | 神经网络模型训练方法、装置及*** | |
EP3992851A1 (en) | Image classification method, apparatus and device, storage medium, and medical electronic device | |
JP6624963B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111539947B (zh) | 图像检测方法及相关模型的训练方法和相关装置、设备 | |
US12020821B2 (en) | Method and apparatus of predicting fracture risk | |
DE102018126895A1 (de) | Bildsuchvorrichtung, Bildsuchverfahren und Bildsuchprogramm | |
CN110197474B (zh) | 图像处理方法和装置及神经网络模型的训练方法 | |
US9811904B2 (en) | Method and system for determining a phenotype of a neoplasm in a human or animal body | |
CN110555860B (zh) | 医学图像中肋骨区域标注的方法、电子设备和存储介质 | |
Nti et al. | Detection of plant leaf disease employing image processing and gaussian smoothing approach | |
US9424640B2 (en) | Pathological diagnosis support apparatus and pathological diagnosis support method | |
CN114240874A (zh) | 基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质 | |
CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
Pietka et al. | Computer-assisted bone age assessment: graphical user interface for image processing and comparison | |
CN112515653B (zh) | 一种基于核磁共振图像的脑网络构建方法 | |
JP2007289335A (ja) | 医用画像診断支援装置 | |
Bhatia et al. | Proposed algorithm to blotch grey matter from tumored and non tumored brain MRI images | |
KR20200029218A (ko) | 골연령 측정 시스템 | |
CN110619621A (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 | |
US10307124B2 (en) | Image display device, method, and program for determining common regions in images | |
Kalyan et al. | Automatic Classification of human gender using X-ray images with Fuzzy C means and Convolution Neural Network | |
Hah et al. | White matter hyperintensities extraction based T2-FLAIR MRI using non-local means filter and nearest neighbor algorithm | |
Xue et al. | Automatic model‐based semantic registration of multimodal MRI knee data | |
CN110555850A (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240611 Address after: 200233, Units 6-01, 6-49, 6-80, 6th Floor, No. 1900 Hongmei Road, Xuhui District, Shanghai Applicant after: Shanghai Shangtang Shancui Medical Technology Co.,Ltd. Country or region after: China Address before: Room 1605a, building 3, 391 Guiping Road, Xuhui District, Shanghai Applicant before: SHANGHAI SENSETIME INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China |
|
TA01 | Transfer of patent application right |