CN110826557A - 一种骨折检出的方法及装置 - Google Patents

一种骨折检出的方法及装置 Download PDF

Info

Publication number
CN110826557A
CN110826557A CN201911023815.0A CN201911023815A CN110826557A CN 110826557 A CN110826557 A CN 110826557A CN 201911023815 A CN201911023815 A CN 201911023815A CN 110826557 A CN110826557 A CN 110826557A
Authority
CN
China
Prior art keywords
image
frame
bone
fracture
fracture point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911023815.0A
Other languages
English (en)
Inventor
石磊
魏子昆
华铱炜
柏慧屏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
According To Hangzhou Medical Technology Co Ltd
Original Assignee
According To Hangzhou Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by According To Hangzhou Medical Technology Co Ltd filed Critical According To Hangzhou Medical Technology Co Ltd
Priority to CN201911023815.0A priority Critical patent/CN110826557A/zh
Publication of CN110826557A publication Critical patent/CN110826557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种骨折检出的方法及装置，该方法包括获取3D影像，3D影像包含骨头，切分所述3D影像，以获得多组2D影像层，基于多组2D影像层和目标检测网络模型，确定出骨头的疑似骨折点的三维坐标，基于疑似骨折点的三维坐标，以从3D影像上确定出包含疑似骨折点的区域作为ROI，基于ROI和3D卷积神经网络分类模型，确定骨头的骨折点。通过将包含骨头的3D影像切分为多组2D影像层进行目标检测得到疑似骨折点的三维坐标，然后对基于该三维坐标得到包含疑似骨折点的区域进行分类，自动确定出骨头的骨折点，从而相比于传统的医生人工诊断的方式而言，能够降低因医生水平差异导致的诊断误差率，从而提高骨折检出的准确性和效率。

Description

一种骨折检出的方法及装置
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种骨折检出的方法及装置、计算设备、计算机可读非易失性存储介质。
背景技术
目前医生可以凭借医学知识以及医疗经验诊断出各种疾病。也就是说，现有技术中，疾病的确定大多依靠医生的诊断，然而由于各地区医疗水平的不一致，且医生的个人经验水平也参差不齐，因此，传统的医生诊断疾病的方法容易受到地区医疗水平以及医生个人经验水平的影响，导致诊断误差较大。
以骨折检出为例，在CT上观察是否有骨折情况，是CT检查的常规需求。尤其是事故后的急救场景，需要尽快定位骨折位置。但是一般CT观察的视角，很难一目了然的找到所有可能的骨折点，因此医生往往要花大量时间寻找。此处的突出矛盾便是，骨折检出的紧迫时间要求和人工检出过慢的差异。
基于此，目前亟需一种骨折检出的方法，用于提高骨折检出的准确率和效率。
发明内容
本发明实施例提供一种骨折检出的方法及装置，用以提高骨折检出的准确率和效率。
第一方面，本发明实施例提供一种骨折检出的方法，包括：
获取3D影像，所述3D影像包含骨头；
切分所述3D影像，以获得多组2D影像层，其中任一2D影像层包括多帧2D影像；
基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标；所述目标检测网络模型是对以已标记出骨折点位置的多组2D影像层为训练样本进行训练学习得到的；
基于疑似骨折点的三维坐标，以从所述3D影像上确定出包含所述疑似骨折点的区域作为ROI；
基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点；所述3D卷积神经网络分类模型是以已标记骨折点的ROI为训练样本进行训练学习得到的。
上述技术方案中，通过将包含骨头的3D影像切分为多组2D影像层进行目标检测得到疑似骨折点的三维坐标，然后对基于该三维坐标得到包含疑似骨折点的区域进行分类，自动确定出骨头的骨折点，从而相比于传统的医生人工诊断的方式而言，能够降低因医生水平差异导致的诊断误差率，从而提高骨折检出的准确性和效率。
可选的，在所述确定骨头的骨折点之后，还包括：
在所述骨头的骨折点的邻域中像素点灰度值大于第一阈值的像素点的个数大于第二阈值时，确定该骨头的骨折点为误报骨折点；
或者，
在所述骨头的骨折点位于所述3D影像的胸腔中心附近或位于所述3D影像的边缘区域时，确定所述骨头的骨折点为误报骨折点。
上述技术方案中，通过对骨折点的去误报的处理，可以进一步的提高骨折检出的准确率。
可选的，所述基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标，包括：
将所述多组2D影像层依次输入至所述目标检测网络模型，输出每一帧2D影像上的疑似骨折点的预测框及与预测框对应的置信度；
基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框；
基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标。
上述技术方案中，通过基于多帧2D影像上预测框的位置及预测框对应的置信度，对多帧2D影像上的预测框进行合并从而获得目标框，再基于该目标框的位置得到疑似骨折点的三维坐标，可以准确、快速的得到疑似骨折点的三维坐标，提高了疑似骨折点的三维坐标的检出效率。
可选的，所述基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框，包括：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框；将所述初始目标框与其他帧2D影像上的初始目标框中置信度最高的确定为所述目标框；
基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标，包括：
基于所述目标框的中心位置和所述目标框所在的2D影像的切分位置确定所述骨头的疑似骨折点的三维坐标。
上述技术方案中，通过将位于初始目标框的中心位置附近的置信度最大的初始目标框作为目标框，可以提高疑似骨折点检出的准确率。
可选的，所述基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框，包括：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，对所述初始目标框的中心坐标以及其他帧2D影像上初始目标框的中心坐标求平均以获得所述目标框的第一坐标，对所述初始目标框所在的2D影像的切分位置的坐标以及其他帧2D影像的切分位置的坐标求平均以获得所述目标框的第二坐标；
基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标，包括：
基于所述第一坐标和所述第二坐标确定所述骨头的疑似骨折点的三维坐标。
上述技术方案中，通过将一帧2D影像上的初始目标框以及该初始目标框附近其他帧2D影像的初始目标框的中心坐标求平均以获得第一坐标，对将一帧2D影像以及其他帧2D影像的切分位置的坐标求平均以获得第二坐标，基于该第一坐标和第二坐标得到的疑似骨折点的三维坐标，可以提高疑似骨折点检出的准确率。
可选的，所述预设的3D卷积神经网络分类模型包括特征提取模块和全连接分类模块；
所述基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点，包括：
将所述ROI输入至所述特征提取模块，得到特征向量；
将所述特征向量输入至所述全连接分类模块，得到所述疑似骨折点是否为骨折点的置信度；
根据所述各疑似骨折点是否为骨折点的置信度，确定所述骨头的骨折点。
第二方面，本发明实施例提供一种骨折检出的装置，包括：
获取单元，用于获取3D影像，所述3D影像包含骨头；
处理单元，用于切分所述3D影像，以获得多组2D影像层，其中任一2D影像层包括多帧2D影像；基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标；所述目标检测网络模型是对以已标记出骨折点位置的多组2D影像层为训练样本进行训练学习得到的；基于所述疑似骨折点的三维坐标，从所述3D影像上确定出包含所述疑似骨折点的区域作为ROI；基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点；所述3D卷积神经网络分类模型是以已标记骨折点的ROI为训练样本进行训练学习得到的。
可选的，所述处理单元还用于：
在所述确定骨头的骨折点之后，在所述骨头的骨折点的邻域中像素点灰度值大于第一阈值的像素点的个数大于第二阈值时，确定所述骨头的骨折点为误报骨折点；
或者，
在所述骨头的骨折点位于所述3D影像的胸腔中心附近或位于所述3D影像的边缘区域时，确定所述骨头的骨折点为误报骨折点。
可选的，所述处理单元具体用于：
将所述多组2D影像层依次输入至所述目标检测网络模型，输出每一帧2D影像上的疑似骨折点的预测框及与预测框对应的置信度；
基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框；
基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标。
可选的，所述处理单元具体用于：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，将所述初始目标框与以及其他帧2D影像上的初始目标框中置信度最高的确定为所述目标框；
基于所述目标框的中心位置和所述目标框所在的2D影像的切分位置确定所述骨头的疑似骨折点的三维坐标。
可选的，所述处理单元具体用于：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，对所述初始目标框的中心坐标以及其他帧2D影像上初始目标框的中心坐标求平均以获得所述目标框的第一坐标，对所述初始目标框所在的2D影像的切分位置的坐标以及其他帧2D影像的切分位置的坐标求平均以获得所述目标框的第二坐标；
基于所述第一坐标和所述第二坐标确定所述骨头的疑似骨折点的三维坐标。
可选的，所述3D卷积神经网络分类模型包括特征提取模块和全连接分类模块；
所述处理单元具体用于：
将所述ROI输入至所述特征提取模块，得到特征向量；
将所述特征向量输入至所述全连接分类模块，得到所述疑似骨折点是否为骨折点的置信度；
根据所述各疑似骨折点是否为骨折点的置信度，确定所述骨头的骨折点。
第三方面，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述骨折检出的方法。
第四方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述骨折检出的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种***架构的示意图；
图2为本发明实施例提供的一种骨折检出的方法的流程示意图；
图3为本发明实施例提供的一种包含骨头的3D影像的示意图；
图4为本发明实施例提供的一种骨折检出的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种***架构。参考图1所示，该***架构可以为服务器100，包括处理器110、通信接口120和存储器130。
其中，通信接口120用于与医生适用的终端设备进行通信，收发该终端设备传输的信息，实现通信。
处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种骨折检出的方法的流程，该流程可以由骨折检出的装置执行，该装置可以位于如图1所示服务器100内，也可以是该服务器100。
如图2所示，该流程具体包括：
步骤201，获取3D影像。
在本发明实施例中，该3D影像可以包含骨头，该包含骨头的3D影像可以是计算机断层摄影(Computed Tomography，CT)设备采集到的影像、磁共振成像(MagneticResonance Imaging，MRI)设备采集到的影像等等，为了更清楚的描述该包含骨头的3D影像，图3示例性示出了一名患者的包含骨头的3D影像。本发明实施例中所提及的骨头是包括全身所有位置的骨头，例如胸部的肋骨、头部的头骨、手部的手骨和腿部的腿骨等，对此不作具体限定。
步骤202，切分所述3D影像，以获得多组2D影像层。
在得到上述包含骨头的3D影像之后，就可以对该3D影像进行切分，从而得到多组2D影像层，其中，任一组2D影像层包括多帧2D影像。
可以理解的是，本发明实施例中的2D影像可以为3D影像所对应的横断面影像、矢状面影像或冠状面影像。以横断面影像为例，可以沿着3D影像的Z轴切分出各帧影像，然后抽取预设数量的多帧2D横断面影像作为一组2D影像层，该预设数量可以依据经验设置。
需要说明的是，本发明实施例中任一2D影像层中的多帧2D影像可以是连续的多帧影像也可以是不连续的多帧影像。
步骤203，基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标。
在本发明实施例中，该目标检测网络模型是对以已标记出骨折点位置的多组2D影像层为训练样本进行训练学习得到的。在具体实施过程中，该目标检测网络模型可以是Faster-RCNN、SSD、YOLO等。其中目标检测网络模型的具体训练过程本发明实施例对此不作过多阐述。
基于该目标检测网络模型，可以将多组2D影像层依次输入到目标检测网络模型中，从而可以得到对每一帧2D影像上的疑似骨折点进行预测的预测框及其对应的置信度。此时，可以根据每一帧2D影像上的预测框及其对应的置信度，对位置较近的预测框进行合并，进行去重，从而可以选取更优的预测框。具体的，可以基于该多帧2D影像上的预测框的位置及该预测框对应的置信度，获得目标框，然后再基于该目标框的位置获得骨头的疑似骨折点的三维坐标。
其中，上述在进行基于该多帧2D影像上的预测框的位置及该预测框对应的置信度，获得目标框，然后再基于该目标框的位置得到疑似骨折点的三维坐标时，具体可以通过下述两种方式来实施：
方式一
需要先对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框，然后针对每一帧2D影像上的任一初始目标框，根据该初始目标框的中心位置，确定与中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，将初始目标框与以及其他帧2D影像上的初始目标框中置信度最高的确定为目标框，最后在基于该目标框的中心位置和该目标框所在的2D影像的切分位置确定该骨头的疑似骨折点的三维坐标。
也就是说，由于每一帧2D影像上对于某一疑似骨折点，首先需要在每一帧2D影像上，采用非极大值抑制的方法确定出每一帧2D影像上的初始目标框，通过非极大值抑制的方法，可以把每一帧2D影像上置信度最大的预测框保留下来，作为该帧2D影像上的初始目标框，去掉每一帧2D影像上重复的预测框。然后依据该每一帧2D影像上的初始目标框的中心位置，确定与该中心位置距离小于预设阈值的其他帧2D影像上的初始目标框，相当于是找出位于每一帧2D影像上的初始目标框的中心位置附近的其他帧上的初始目标框，此处也是为了去重，该预设阈值可以依据经验设置。通过找到与该中心位置距离小于预设阈值的其他帧2D影像上的初始目标框，再将该帧的初始目标框的置信度与到中心位置的距离小于预设阈值的其他帧2D影像上的初始目标框的置信度中置信度最高的初始目标框作为目标框，也就是疑似骨折点所在的区域。通过上述方式的合并，可以得到疑似骨折点的位置，也就是疑似骨折点在某一个平面的坐标。最后根据该目标框的中心位置和目标框所在的2D影像的切分位置就可以得到疑似骨折点的三维坐标。
以横断面影像为例，目标框位于一个二维的平面(XOY面)，该目标框的中心位置是一个二维坐标，而该目标框对应的2D影像在切分时是沿着Z轴进行切分的，从而可以得到该目标框对应的2D影像的切分位置，也就是在Z轴方向上的坐标，因此，将该目标框的中心位置与该目标框对应的2D影像的切分位置合在一起即为疑似骨折点的三维坐标。
方式二
同样是需要先对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框，然后针对每一帧2D影像上的任一初始目标框，根据初始目标框的中心位置，确定与中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，对该初始目标框的中心坐标以及其他帧2D影像上初始目标框的中心坐标求平均以获得该目标框的第一坐标，对该初始目标框所在的2D影像的切分位置的坐标以及其他帧2D影像的切分位置的坐标求平均以获得目标框的第二坐标，最后基于该第一坐标和该第二坐标确定骨头的疑似骨折点的三维坐标。
上述方式二需要先通过使用非极大值抑制的方法对每一帧2D影像上的预测框进行去重，然后在确定出位于一帧2D影像上初始目标框附近的其他帧2D影像上的初始目标框，对该帧以及其他帧2D影像上初始目标框的中心坐标求平均以及对该帧以及其他帧2D影像的切分位置的坐标求平均，分别得到第一坐标和第二坐标，从而可以得到疑似骨折点的三维坐标。其中，第一坐标是平面坐标，第二坐标是切分位置的坐标。
相应的，以横断面影像为例，在将位于一帧2D影像上初始目标框与与其附近的其他帧2D影像上的初始目标框进行合并时，可以对该帧以及附近的其他帧2D影像上初始目标框的中心坐标求平均，从而得到第一坐标。例如，某一帧2D影像上的初始目标框A1的中心坐标是(15,20)，其他帧2D影像上的初始目标框A2的中心坐标是(17,18)，对这两个坐标求平均后，就可以得到第一坐标(16,19)。进一步的，对一帧2D影像以及附近的其他帧2D影像的切分位置的坐标求平均时，可以直接对该帧2D影像以及附近的其他帧2D影像的Z轴坐标求平均，例如，初始目标框A1所在的2D影像的Z轴坐标是(0,0,6)，初始目标框A2所在的2D影像的Z轴坐标是(0,0,8)，对这两个Z轴坐标求平均后，就可以得到第二坐标(0,0,7)。最后将该第一坐标(16,19)和第二坐标(0,0,7)合在一起，就可以得到疑似骨折点的三维坐标(16,19,7)。
基于上述描述，下面将以一具体实施例来描述上述确定疑似骨折点的三维坐标的流程。
在将一组2D影像层输入至目标检测网络模型，得到每一帧2D影像上的对疑似骨折点进行预测的预测框及其对应的置信度时，例如有8帧2D影像，可以得到表1所示的预测框及其置信度。
表1
Figure BDA0002248062290000111
Figure BDA0002248062290000121
基于表1，首先对每一帧2D影像上的预测框采用非极大值抑制的方法，得到每一帧2D影像上的初始目标框，从第1帧2D影像开始，该帧上有三个预测框，分别为预测框A11、预测框A12和预测框A13，采用非极大值抑制的方法对第1帧2D影像上的多个预测框进行合并，最终置信度最大的也就是置信度为98％的预测框为该第1帧2D影像上的初始目标框A11。同理，可以确定出其他帧2D影像上的初始目标框，对应只有一个预测框的2D影像，可以直接确定为初始目标框，具体可以见表2所示。
表2
2D影像 初始目标框 置信度
第1帧 A11 98％
第2帧 A23 96％
第3帧 A31 96％
第4帧 A42 94％
第5帧 A51 95％
第6帧 A61 98％
第7帧 A71 97％
第8帧 A81 99％
然后从初始目标框A11开始，判断初始目标框A23到初始目标框A81之间，与该初始目标框A11的中心位置的距离小于预设阈值的初始目标框是初始目标框A31，则可以将初始目标框A11和初始目标框A31进行合并，具体的，可以通过保留置信度最大的初始目标框的方式，由于初始目标框A11的置信度大于初始目标框A31的置信度，从而保留初始目标框A11为目标框A11。然后从初始目标框A23开始合并，从初始目标框A42至初始目标框A81中没有找到与该初始目标框A23的中心位置的距离小于预设阈值的初始目标框，则保留该初始目标框A23为目标框A23。再从初始目标框A42开始合并，从初始目标框A51至初始目标框A81中确定出与该初始目标框A42的中心位置的距离小于预设阈值的初始目标框A71，两者合并，由于初始目标框A71置信度大，保留初始目标框A71为目标框A71。接下来从初始目标框A51开始，从初始目标框A61和初始目标框A81中确定出与该初始目标框A51的中心位置的距离小于预设阈值的初始目标框A81，两者合并，由于初始目标框A81的置信度大，保留初始目标框A81为目标框A81。由此，该组2D影像层最终可以得到目标框A11、目标框A23、目标框A61、目标框A71、目标框A81这5个目标框各自的中心位置的坐标，也就是5个疑似骨折点的二维坐标。然后，再将该5个目标框对应的2D影像的切分位置与该5个疑似骨折点的二维坐标合在一起，就可以得到5个疑似骨折点的三维坐标。
步骤204，基于疑似骨折点的三维坐标，以从所述3D影像上确定出包含所述疑似骨折点的区域作为ROI。
具体的，在得到疑似骨折点的三维坐标之后，就可以以疑似骨折点的三维坐标为中心，从3D影像上截取预设尺寸的立体块确定为包含疑似骨折点的区域作为ROI。其中，该立体块为疑似骨折点的像素立体块，该预设尺寸可以依据经验设置。
需要说明的是，ROI可以为多种形状，上文所描述的立方块仅为一种示例，在其它可能的示例中，ROI也可以为球体或其他形状。
步骤205，基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点。
在本发明实施例中，该3D卷积神经网络分类模型包括特征提取模块和全连接分类模块，在确定骨头的骨折点时，可以将ROI输入至特征提取模块，得到特征向量，然后特征向量输入至全连接分类模块，得到疑似骨折点是否为骨折点的置信度，最后根据各疑似骨折点是否为骨折点的置信度，确定骨头的骨折点。全连接分类模块输出的是置信度，即，可以将置信度最高的类别确定为各疑似骨折点是否为骨折点的类别，例如，某个疑似骨折点的类别为不是骨折的置信度高，则表明该疑似骨折点不是骨折点。
该3D卷积神经网络分类模型可以是以已标记骨折点的ROI为训练样本进行训练学习得到的。其中，3D卷积神经网络分类模型的训练过程不做具体限定。该特征提取模块包括N个连续的卷积模块，每个卷积模块包括一个M×M×M的3D卷积层、一个批量归一化(BatchNormalization，BN)层、一个激活函数层和一个Y×Y×Y的池化(max pooling)层。全连接分类模块可以包括两个连续的全连接层。其中，N小于或等于第一数量阈值，M小于或等于第二数量阈值，Y小于或等于第三数量阈值，本领域技术人员可以根据经验和实际情况来设定第一数量阈值、第二数量阈值和第三数量阈值的具体数值，此处不做限定。
需要说明的是，当得到骨头的骨折点之后，还需进行去误报的操作，具体的，可以分为两种：一种为在骨头的骨折点的邻域中像素点灰度值大于第一阈值的像素点的个数大于第二阈值时，确定该骨头的骨折点为误报骨折点。此种情况下表明此处的骨折点的像素密度不够大，达不到骨头对应的像素密度，不是骨头，相应的也就不是骨折点，因此可以认为是误报，需要去除。另一种是在骨头的骨折点位于3D影像的胸腔中心附近或位于3D影像的边缘区域时，确定骨头的骨折点为误报骨折点。该情况下，骨折点位于胸腔中心附近，众所众知胸腔中心是没有骨头的，因此该处的骨折点可以被认为是误报，同理，位于3D影像的边缘区域的骨折点同样也是被认为是误报，需要去除。基于上述去误报的操作之后，可以进一步的提高骨折点检测的准确率。
如此，本发明实施例可以获取3D影像，3D影像包含骨头，切分所述3D影像，以获得多组2D影像层，其中任一2D影像层包括多帧2D影像，基于多组2D影像层和目标检测网络模型，确定出骨头的疑似骨折点的三维坐标，目标检测网络模型是对以已标记出骨折点位置的多组2D影像层为训练样本进行训练学***差异导致的诊断误差率，从而提高骨折检出的准确性和效率。
基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种骨折检出的装置的结构，该装置可以执行骨折检出的流程，该装置可以位于图1所示的服务器100内，也可以是该服务器100。
如图4所示，该装置具体包括：
获取单元401，用于获取3D影像，所述3D影像包含骨头；
处理单元402，用于切分所述3D影像，以获得多组2D影像层，其中任一2D影像层包括多帧2D影像；基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标；所述目标检测网络模型是对以已标记出骨折点位置的多组2D影像层为训练样本进行训练学习得到的；基于所述疑似骨折点的三维坐标，从所述3D影像上确定出包含所述疑似骨折点的区域作为ROI；基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点；所述3D卷积神经网络分类模型是以已标记骨折点的ROI为训练样本进行训练学习得到的。
可选的，所述处理单元402还用于：
在所述确定骨头的骨折点之后，在所述骨头的骨折点的邻域中像素点灰度值大于第一阈值的像素点的个数大于第二阈值时，确定该骨头的骨折点为误报骨折点；
或者，
在所述骨头的骨折点位于所述3D影像的胸腔中心附近或位于所述3D影像的边缘区域时，确定所述骨头的骨折点为误报骨折点。
可选的，所述处理单元402具体用于：
将所述多组2D影像层依次输入至所述目标检测网络模型，输出每一帧2D影像上的疑似骨折点的预测框及与预测框对应的置信度；
基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框；
基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标。
可选的，所述处理单元402具体用于：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，将所述初始目标框与以及其他帧2D影像上的初始目标框中置信度最高的确定为所述目标框；
基于所述目标框的中心位置和所述目标框所在的2D影像的切分位置确定所述骨头的疑似骨折点的三维坐标。
可选的，所述处理单元402具体用于：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，对所述初始目标框的中心坐标以及其他帧2D影像上初始目标框的中心坐标求平均以获得所述目标框的第一坐标，对所述初始目标框所在的2D影像的切分位置的坐标以及其他帧2D影像的切分位置的坐标求平均以获得所述目标框的第二坐标；
基于所述第一坐标和所述第二坐标确定所述骨头的疑似骨折点的三维坐标。
可选的，所述3D卷积神经网络分类模型包括特征提取模块和全连接分类模块；
所述处理单元402具体用于：
将所述ROI输入至所述特征提取模块，得到特征向量；
将所述特征向量输入至所述全连接分类模块，得到所述疑似骨折点是否为骨折点的置信度；
根据所述各疑似骨折点是否为骨折点的置信度，确定所述骨头的骨折点。
基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述骨折检出的方法。
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述骨折检出的方法。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种骨折检出的方法，其特征在于，包括：
获取3D影像，所述3D影像包含骨头；
切分所述3D影像，以获得多组2D影像层，其中任一2D影像层包括多帧2D影像；
基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标；所述目标检测网络模型是对以已标记出骨折点位置的多组2D影像层为训练样本进行训练学习得到的；
基于所述疑似骨折点的三维坐标，从所述3D影像上确定出包含所述疑似骨折点的区域作为ROI；
基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点；所述3D卷积神经网络分类模型是以已标记骨折点的ROI为训练样本进行训练学习得到的。
2.如权利要求1所述的方法，其特征在于，在所述确定骨头的骨折点之后，还包括：
在所述骨头的骨折点的邻域中像素点灰度值大于第一阈值的像素点的个数大于第二阈值时，确定所述骨头的骨折点为误报骨折点；
或者，
在所述骨头的骨折点位于所述3D影像的胸腔中心附近或位于所述3D影像的边缘区域时，确定所述骨头的骨折点为误报骨折点。
3.如权利要求1所述的方法，其特征在于，所述基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标，包括：
将所述多组2D影像层依次输入至所述目标检测网络模型，输出每一帧2D影像上的疑似骨折点的预测框及与预测框对应的置信度；
基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框；
基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标。
4.如权利要求3所述的方法，其特征在于，所述基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框，包括：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框；将所述初始目标框与其他帧2D影像上的初始目标框中置信度最高的确定为所述目标框；
所述基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标，包括：
基于所述目标框的中心位置和所述目标框所在的2D影像的切分位置确定所述骨头的疑似骨折点的三维坐标。
5.如权利要求3所述的方法，其特征在于，所述基于多帧2D影像上的预测框的位置及所述预测框对应的置信度，获得目标框，包括：
对于多帧2D影像中的每一帧2D影像上的预测框采用非极大值抑制的方法以获得每一帧2D影像上的初始目标框；
针对每一帧2D影像上的任一初始目标框，根据所述初始目标框的中心位置，确定与所述中心位置的距离小于预定阈值的其他帧2D影像上的初始目标框，对所述初始目标框的中心坐标以及其他帧2D影像上初始目标框的中心坐标求平均以获得所述目标框的第一坐标，对所述初始目标框所在的2D影像的切分位置的坐标以及其他帧2D影像的切分位置的坐标求平均以获得所述目标框的第二坐标；
基于所述目标框的位置获得所述骨头的疑似骨折点的三维坐标，包括：
基于所述第一坐标和所述第二坐标确定所述骨头的疑似骨折点的三维坐标。
6.如权利要求1至5任一项所述的方法，其特征在于，所述3D卷积神经网络分类模型包括特征提取模块和全连接分类模块；
所述基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点，包括：
将所述ROI输入至所述特征提取模块，得到特征向量；
将所述特征向量输入至所述全连接分类模块，得到所述疑似骨折点是否为骨折点的置信度；
根据所述各疑似骨折点是否为骨折点的置信度，确定所述骨头的骨折点。
7.一种骨折检出的装置，其特征在于，包括：
获取单元，用于获取3D影像，所述3D影像包含骨头；
处理单元，用于切分所述3D影像，以获得多组2D影像层，其中任一2D影像层包括多帧2D影像；基于所述多组2D影像层和目标检测网络模型，确定出所述骨头的疑似骨折点的三维坐标；所述目标检测网络模型是对以已标记出骨折点位置的多组2D影像层为训练样本进行训练学习得到的；基于所述疑似骨折点的三维坐标，从所述3D影像上确定出包含所述疑似骨折点的区域作为ROI；基于所述ROI和3D卷积神经网络分类模型，确定所述骨头的骨折点；所述3D卷积神经网络分类模型是以已标记骨折点的ROI为训练样本进行训练学习得到的。
8.如权利要求7所述的装置，其特征在于，所述处理单元还用于：
在所述确定骨头的骨折点之后，在所述骨头的骨折点的邻域中像素点灰度值大于第一阈值的像素点的个数大于第二阈值时，确定所述骨头的骨折点为误报骨折点；
或者，
在所述骨头的骨折点位于所述3D影像的胸腔中心附近或位于所述3D影像的边缘区域时，确定所述骨头的骨折点为误报骨折点。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至6任一项所述的方法。
10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至6任一项所述的方法。
CN201911023815.0A 2019-10-25 2019-10-25 一种骨折检出的方法及装置 Pending CN110826557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023815.0A CN110826557A (zh) 2019-10-25 2019-10-25 一种骨折检出的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023815.0A CN110826557A (zh) 2019-10-25 2019-10-25 一种骨折检出的方法及装置

Publications (1)

Publication Number Publication Date
CN110826557A true CN110826557A (zh) 2020-02-21

Family

ID=69550807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023815.0A Pending CN110826557A (zh) 2019-10-25 2019-10-25 一种骨折检出的方法及装置

Country Status (1)

Country Link
CN (1) CN110826557A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667474A (zh) * 2020-06-08 2020-09-15 杨天潼 骨折识别方法、装置、设备和计算机可读存储介质
CN111967540A (zh) * 2020-09-29 2020-11-20 北京大学口腔医学院 基于ct数据库的颌面部骨折的识别方法、装置及终端设备
CN112785591A (zh) * 2021-03-05 2021-05-11 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007294A (zh) * 2016-01-28 2017-08-04 株式会社日立制作所 X射线图像诊断装置以及骨密度测量方法
CN107072612A (zh) * 2014-09-25 2017-08-18 株式会社日立制作所 医疗用x射线测量装置以及方法
CN108664971A (zh) * 2018-05-22 2018-10-16 中国科学技术大学 基于2d卷积神经网络的肺结节检测方法
US20180342061A1 (en) * 2016-07-15 2018-11-29 Beijing Sensetime Technology Development Co., Ltd Methods and systems for structured text detection, and non-transitory computer-readable medium
CN108986073A (zh) * 2018-06-04 2018-12-11 东南大学 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法
CN109523546A (zh) * 2018-12-21 2019-03-26 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
CN110200650A (zh) * 2019-05-31 2019-09-06 昆明理工大学 一种检测骨密度的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072612A (zh) * 2014-09-25 2017-08-18 株式会社日立制作所 医疗用x射线测量装置以及方法
CN107007294A (zh) * 2016-01-28 2017-08-04 株式会社日立制作所 X射线图像诊断装置以及骨密度测量方法
US20180342061A1 (en) * 2016-07-15 2018-11-29 Beijing Sensetime Technology Development Co., Ltd Methods and systems for structured text detection, and non-transitory computer-readable medium
CN108664971A (zh) * 2018-05-22 2018-10-16 中国科学技术大学 基于2d卷积神经网络的肺结节检测方法
CN108986073A (zh) * 2018-06-04 2018-12-11 东南大学 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法
CN109523546A (zh) * 2018-12-21 2019-03-26 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
CN110200650A (zh) * 2019-05-31 2019-09-06 昆明理工大学 一种检测骨密度的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667474A (zh) * 2020-06-08 2020-09-15 杨天潼 骨折识别方法、装置、设备和计算机可读存储介质
CN111967540A (zh) * 2020-09-29 2020-11-20 北京大学口腔医学院 基于ct数据库的颌面部骨折的识别方法、装置及终端设备
CN111967540B (zh) * 2020-09-29 2021-06-08 北京大学口腔医学院 基于ct数据库的颌面部骨折的识别方法、装置及终端设备
CN112785591A (zh) * 2021-03-05 2021-05-11 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置

Similar Documents

Publication Publication Date Title
US10846853B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
CN110826557A (zh) 一种骨折检出的方法及装置
JP2015036123A (ja) 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法
CN110210519B (zh) 分类方法、计算机设备和存储介质
CN112767346B (zh) 基于多影像的全卷积单阶段乳腺图像病灶检测方法及装置
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN111340756B (zh) 一种医学图像病变检出合并方法、***、终端及存储介质
US20210374452A1 (en) Method and device for image processing, and elecrtonic equipment
CN110782446B (zh) 一种确定肺结节体积的方法及装置
CN108564044B (zh) 一种确定肺结节密度的方法及装置
CN110974294A (zh) 超声扫描方法及装置
US20130016884A1 (en) Methods, apparatuses, and computer program products for identifying a region of interest within a mammogram image
US20190046127A1 (en) Image processing apparatus, image processing method, and program
Santosh et al. Automatically detecting rotation in chest radiographs using principal rib-orientation measure for quality control
CN113994371B (zh) 图像分析的方法和设备
US8306354B2 (en) Image processing apparatus, method, and program
CN110533120B (zh) 器官结节的图像分类方法、装置、终端及存储介质
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN112102235A (zh) 人体部位识别方法、计算机设备和存储介质
CN110634554A (zh) 脊椎影像注册方法
CN110992310A (zh) 一种确定纵隔***所在分区的方法及装置
EP4156089A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN112508858B (zh) 一种医学影像处理方法及装置、计算机设备
CN112381805B (zh) 一种医学影像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221