CN112529849B - 一种ct肋骨自动计数方法及装置 - Google Patents

一种ct肋骨自动计数方法及装置 Download PDF

Info

Publication number
CN112529849B
CN112529849B CN202011356450.6A CN202011356450A CN112529849B CN 112529849 B CN112529849 B CN 112529849B CN 202011356450 A CN202011356450 A CN 202011356450A CN 112529849 B CN112529849 B CN 112529849B
Authority
CN
China
Prior art keywords
rib
point cloud
layer
contour
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011356450.6A
Other languages
English (en)
Other versions
CN112529849A (zh
Inventor
刘锋
吴子丰
周振
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202011356450.6A priority Critical patent/CN112529849B/zh
Publication of CN112529849A publication Critical patent/CN112529849A/zh
Priority to PCT/CN2021/131649 priority patent/WO2022111383A1/zh
Application granted granted Critical
Publication of CN112529849B publication Critical patent/CN112529849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00—Design features of general application
    • G06M1/27—Design features of general application for representing the result of count in the form of electric signals, e.g. by sensing markings on the counter drum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种CT肋骨自动计数方法及装置，其中方法包括：对CT中肋骨进行分割，得到与CT对应的肋骨掩码；遍历掩码的每个层面，将每一层掩码作为二值图片，提取肋骨轮廓；将每个层面每个肋骨轮廓转换为点云；采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号；将点云肋骨编号进行逆映射，映射回肋骨轮廓，得到每个层面每个肋骨轮廓所属的肋骨编号，完成肋骨计数。

Description

一种CT肋骨自动计数方法及装置
技术领域
本发明涉及计算机领域，尤其涉及一种CT肋骨自动计数方法及装置。
背景技术
对CT中出现的骨折(病)进行诊断、描述、报告是影像科医生阅片的重要内容之一。在发现骨折(病)时，需要根据其解剖位置对病灶进行描述，以进行随访分析或供其它科室参考。随着薄层CT的普及，医生可以发现细微的骨折(病)，但由于层数的增多，对病灶位置的确认成为了一个难题，尤其是肋骨的描述。人通常有12对肋骨，而每个肋骨均有独立的编号，按从上到下可以分为第1肋，…，第12肋。由于没有可靠的参考点，医生需要从CT的开始层面到病灶层面翻阅一次方可确定一个病灶的位置，如果有多个病灶，则需要反复多次。这个过程极易出错，且严重影响了医生的阅片效率，因此发明自动化的肋骨计数方法对于医生效率，提高诊疗质量至关重要。
目前自动肋骨计数方法主要有两种。第一种为基于规则的方法，该方法通常采用阈值或深度学习方法对肋骨进行分割，提取肋骨区域，然后采用一定的形态学规则化方法处理，最后计算连通域，按位置从上到下为每个连通域分配类别标签。但这种方法未考虑肋骨的形态信息，当CT未扫到第1对肋骨时，将给出错误的计数；在严重骨折或分割失败的情况下，每个连通域不再对应一根肋骨，因此难以设计合理的规则为每个区域分配肋骨编号。
第二种为基于体素分割的方法，此类方法通常将肋骨计数看作分割问题，采用基于深度学习的2D或3D分割模型，将每个肋骨作为独立的类别进行预测。该方法可以通过标注大量肋骨计数的数据，从数据中学习从而避免手动设计规则。但受显存和计算量的制约，模型仅能以部分CT数据作为输入，导致模型因为缺少足够上下文导致分割不准确；同时分割网络有大量参数，需大量CT和其对应的计数标注，考虑到骨折的类型和部位各种各样，且人的个体差异较大，在实际中难以收集多样性足够的训练数据，以保证模型的稳定性；最后由于分割网络对原始数据进行操作，具有极高的计算复杂度，在实际部署时有巨大的资源开销。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的CT肋骨自动计数方法及装置。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明的一个方面提供了一种CT肋骨自动计数方法，包括：对CT中肋骨进行分割，得到与CT对应的肋骨掩码；遍历掩码的每个层面，将每一层掩码作为二值图片，提取肋骨轮廓；将每个层面每个肋骨轮廓转换为点云；采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号；将点云肋骨编号进行逆映射，映射回肋骨轮廓，得到每个层面每个肋骨轮廓所属的肋骨编号，完成肋骨计数。
其中，将每个层面每个肋骨的轮廓转换为点云包括：利用公式将每个层面每个肋骨的轮廓转换为点云：其中，p为三维坐标，z为层面，/>为轮廓，/>为从轮廓到关键点的映射。
其中，从轮廓到关键点的映射包括但不限于：重心，形心和外接矩形框中心点。
其中，采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号包括：对于包含N个点的点云，以点的坐标为输入，每个点经多层感知机神经网络模型得到点的特征空间表达，最终N个点的特征向量采用池化方法构成点云的全局特征表达，将点云的全局特征与每个局部特征串联，经过若干多层感知机模型，得到每个点的编码预测。
其中，方法还包括：训练点云图神经网络；训练点云图神经网络包括：利用标注数据进行训练，训练过程采用梯度下降方法，以预测结果和真实结果计算损失，优化模型参数。
其中，标注数据中的部分数据通过对真实点云数据坐标进行编辑得到；其中，对点云进行编辑包括但不限于：模拟骨折、翻转、模拟拍摄***、模拟颈肋和模拟腰肋。
本发明另一方面提供了一种CT肋骨自动计数装置，包括：分割模块，用于对CT中肋骨进行分割，得到与CT对应的肋骨掩码；提取模块，用于遍历掩码的每个层面，将每一层掩码作为二值图片，提取肋骨轮廓；转换模块，用于将每个层面每个肋骨轮廓转换为点云；预测模块，用于采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号；逆映射模块，用于将点云肋骨编号进行逆映射，映射回肋骨轮廓，得到每个层面每个肋骨轮廓所属的肋骨编号，完成肋骨计数。
其中，转换模块通过如下方式将每个层面每个肋骨的轮廓转换为点云：转换模块，具体用于利用公式将每个层面每个肋骨的轮廓转换为点云：其中，p为三维坐标，z为层面，/>为轮廓，/>为从轮廓到关键点的映射。
其中，从轮廓到关键点的映射包括但不限于：重心，形心和外接矩形框中心点。
其中，预测模块通过如下方式采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号：预测模块，具体用于对于包含N个点的点云，以点的坐标为输入，每个点经多层感知机神经网络模型得到点的特征空间表达，最终N个点的特征向量采用池化方法构成点云的全局特征表达，将点云的全局特征与每个局部特征串联，经过若干多层感知机模型，得到每个点的编码预测。
其中，装置还包括：训练模块，用于训练点云图神经网络；训练模块通过如下方式训练点云图神经网络：训练模块，具体用于利用标注数据进行训练，训练过程采用梯度下降方法，以预测结果和真实结果计算损失，优化模型参数。
其中，标注数据中的部分数据通过对真实点云数据坐标进行编辑得到；其中，对点云进行编辑包括但不限于：模拟骨折、翻转、模拟拍摄***、模拟颈肋和模拟腰肋。
由此可见，通过本发明提供的CT肋骨自动计数方法及装置，基于学习的计数模型，首先利用分割模型分割肋骨轮廓，然后从肋骨轮廓提取关键点转化为点云，然后采用点云分割的方法进行计数。基于学习的方法，可以从标注数据中进行学习，不需要人为设计规则，降低了开发难度；只需要对少量点进行计算，具有较高的处理效率；将肋骨轮廓转化为点云，可以通过对点的操作对骨折和一些先天畸形进行模拟，减少对训练数据量的依赖；转化为点云后，所有轮廓可同时送入神经网络进行推理，因此不同肋骨间关系更容易建模，因此具有更高的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的CT肋骨自动计数方法的流程图；
图2为本发明实施例提供的CT肋骨自动计数方法中基于点云图神经网络的肋骨计数模型示意图；
图3为本发明实施例提供的CT肋骨自动计数装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明提出一种新的肋骨计数方法，该方法具有可学习、标注数据量依赖低、准确高效等特点。本发明的输入为一份CT，输出为CT中每个肋骨的轮廓及其相应的肋骨编号，具体地，本发明是按以下方法实现的：
图1示出了本发明实施例提供的CT肋骨自动计数方法的流程图，参见图1，本发明实施例提供的CT肋骨自动计数方法，包括：
S1，对CT中肋骨进行分割，得到与CT对应的肋骨的掩码。
具体地，首先采用传统或基于深度学习的方法对CT中肋骨进行分割，得到与CT相对应的肋骨掩码M，其中1表示肋骨，0为其它。
S2，遍历掩码的每个层面，将每一层掩码作为二值图片，提取肋骨轮廓。
本步骤可以提取肋骨轮廓。具体地，遍历掩码的每个层面z，将掩码每一层Mz,∶,∶作为二值图片，提取肋骨的外轮廓其中Mz为该层面独立轮廓的个数，每个轮廓/>为一系列点坐标的集合：
S3，将每个层面每个肋骨轮廓转换为点云。
作为本发明实施例的一个可选实施方式，将每个层面每个肋骨的轮廓转换为点云包括：利用公式将每个层面每个肋骨的轮廓转换为点云：其中，p为三维坐标，z为层面，/>为轮廓，/>为从轮廓到关键点的映射。其中，从轮廓到关键点的映射包括但不限于：重心，形心和外接矩形框中心点。
本步骤可以将肋骨轮廓转换为点云。具体地，将每个层面每个肋骨轮廓分别映射三维坐标p，该坐标由层面z和轮廓计算得到，为轮廓关键点和层面坐标z的串联：
其中从轮廓到关键点的映射存在多种计算方法，如采用重心，形心，外接矩形框中心点等。本发明优选的以外接矩形框中心点为例作为关键点映射方法，关键点 其中：
这样每个轮廓均可由对应的点表示，CT中所有肋骨轮廓点构成点云。
S4，采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号。
本步骤可以采用点云图神经网络对肋骨的编号进行预测。具体地，该步骤首先需要将肋骨编号映射为编码，两者一一对应。编码的实现方式有多种选择：如将24根肋骨编码为24维的零一(one hot)编码，值为1元素所在的位置表示肋骨的编号，左侧1-12肋采用编号1-12，右侧1-12肋采用编号13-24；也可以采用13维编码，其中前12维表示肋骨编号，最后一维表示左右侧。本发明提出的点云肋骨编号预测模型与具体的编码方式无关，任何编码都应在本发明的保护范围之内。
作为本发明实施例的一个可选实施方式，采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号包括：对于包含N个点的点云，以点的坐标为输入，每个点经多层感知机神经网络模型得到点的特征空间表达，最终N个点的特征向量采用池化方法构成点云的全局特征表达，将点云的全局特征与每个局部特征串联，经过若干多层感知机模型，得到每个点的编码预测。
对于包含N个点的点云，本发明采用基于点云的图神经网络对肋骨编码进行预测。以下通过图2，以一个具体的网络为例介绍具体的编码预测过程，但由于图神经网络具有不同的实现形式，通过计算单元的改变或层数的增删则仍在本发明的保护范围之内。
参见图2，该网络以点的坐标为输入，每个点经多层感知机神经网络模型得到点的特征空间表达，多层感知机模型可堆叠多次，最终N个点的特征向量采用池化方法构成点云的全局特征表达；将点云的全局特征与每个局部特征串联，然后再经过若干多层感知机模型，即可以得到每个点的编码预测。通过对编码进行解码，即可得到每个点对应的肋骨编号。
作为本发明实施例的一个可选实施方式，本发明实施例提供的CT肋骨自动计数方法还包括：训练点云图神经网络；训练点云图神经网络包括：利用标注数据进行训练，训练过程采用梯度下降方法，以预测结果和真实结果计算损失，优化模型参数。其中，标注数据中的部分数据通过对真实点云数据坐标进行编辑得到；其中，对点云进行编辑包括但不限于：模拟骨折、翻转、模拟拍摄***、模拟颈肋和模拟腰肋。
具体地，点云图神经网络需要利用标注数据进行训练，训练后的参数方可用于肋骨编码预测。训练过程采用梯度下降方法，以模型的预测结果和真实结果计算损失，优化模型参数。
为了提升点云图神经网络泛化能力，节约标注成本。本发明提出在真实提取的点云数据基础上，对点云坐标进行编辑，模拟异常条件，扩充训练数据，其实施方法包括并不局限于以下几项：
1、模拟骨折：随机选取某根肋骨部分相邻点，采用随机旋转和位移改变该部分点位置；
2、翻转：实现步骤如下，a.计算所有点x坐标的均值b.有点x坐标减去均值/>c.所有点x坐标取负号；d.所有点加均值/>e.将类别编码左右侧互换。
3、模拟拍摄***：对所有点云沿三个坐标轴随机旋转；
4、模拟颈肋：复制第一肋部分点，通过对选取点z坐标减去随机值，将其添加到第一肋上侧；
5、模拟腰肋：复制第12肋部分点，通过对选取点z坐标加上随机值，将其添加到第12肋下侧。
S5，将点云肋骨编号进行逆映射，映射回肋骨轮廓，得到每个层面每个肋骨轮廓所属的肋骨编号，完成肋骨计数。
本步骤可以将点云的肋骨编号映射回肋骨轮廓。具体地，由于点云中每个点与肋骨的层面和轮廓一一对应，因此，将点的肋骨编号赋予肋骨轮廓，即可得到每个层面，每个肋骨轮廓所属肋骨的编号，完成肋骨计数。
由此可见，通过本发明实施例提供的CT肋骨自动计数方法，首先分割肋骨，从中提取肋骨轮廓，然后将轮廓转换为点云，采用图神经网络进行推理与预测。本发明基于学习的方法，可以自动的从标注数据中学习，从而不需要手动设计后处理规则，可增加肋骨计数的稳定性，提升开发效率，降低维护成本。
另外，由于图神经网络从肋骨分割结果进行学习，当肋骨分割异常时，图神经网络模型仍然可以正确计数，使***在实际运行中更加稳定。
由于点云仅由坐标构成，本发明的坐标编辑方法，可以对实际情况中少见的情况进行模拟，如骨折、非正常拍摄***、先天畸形等，提升模型的泛化能力，降低数据收集和标注的成本。本计数模型仅使用多层感知机等操作，且点云中点的个数较少(平均6000点)，因此具有极高的运行效率，降低了部署成本。
图3示出了本发明实施例提供的CT肋骨自动计数装置的结构示意图，该CT肋骨自动计数装置应用上述方法，以下仅对CT肋骨自动计数装置的结构进行简单说明，其他未尽事宜，请参照上述CT肋骨自动计数方法中的相关描述，参见图3，本发明实施例提供的CT肋骨自动计数装置，包括：
分割模块，用于对CT中肋骨进行分割，得到与CT对应的肋骨的掩码；
提取模块，用于遍历掩码的每个层面，将每一层掩码作为二值图片，提取肋骨轮廓；
转换模块，用于将每个层面每个肋骨轮廓转换为点云；
预测模块，用于采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号；
逆映射模块，用于将点云肋骨编号进行逆映射，映射回肋骨轮廓，得到每个层面每个肋骨轮廓所属的肋骨编号，完成肋骨计数。
作为本发明实施例的一个可选实施方式，转换模块通过如下方式将每个层面每个肋骨的轮廓转换为点云：转换模块，具体用于利用公式将每个层面每个肋骨的轮廓转换为点云：其中，p为三维坐标，z为层面，/>为轮廓，/>为从轮廓到关键点的映射。
作为本发明实施例的一个可选实施方式，从轮廓到关键点的映射包括但不限于：重心，形心和外接矩形框中心点。
作为本发明实施例的一个可选实施方式，预测模块通过如下方式采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号：预测模块，具体用于对于包含N个点的点云，以点的坐标为输入，每个点经多层感知机神经网络模型得到点的特征空间表达，最终N个点的特征向量采用池化方法构成点云的全局特征表达，将点云的全局特征与每个局部特征串联，经过若干多层感知机模型，得到每个点的编码预测。
作为本发明实施例的一个可选实施方式，本发明实施例提供的CT肋骨自动计数装置还包括：训练模块，用于训练点云图神经网络；训练模块通过如下方式训练点云图神经网络：训练模块，具体用于利用标注数据进行训练，训练过程采用梯度下降方法，以预测结果和真实结果计算损失，优化模型参数。
作为本发明实施例的一个可选实施方式，标注数据中的部分数据通过对真实点云数据坐标进行编辑得到；其中，对点云进行编辑包括但不限于：模拟骨折、翻转、模拟拍摄***、模拟颈肋和模拟腰肋。
由此可见，通过本发明实施例提供的CT肋骨自动计数装置，首先分割肋骨，从中提取肋骨轮廓，然后将轮廓转换为点云，采用图神经网络进行推理与预测。本发明基于学习的方法，可以自动的从标注数据中学习，从而不需要手动设计后处理规则，可增加肋骨计数的稳定性，提升开发效率，降低维护成本。
另外，由于图神经网络从肋骨分割结果进行学习，当肋骨分割异常时，图神经网络模型仍然可以正确计数，使***在实际运行中更加稳定。
由于点云仅由坐标构成，本发明的坐标编辑方法，可以对实际情况中少见的情况进行模拟，如骨折、非正常拍摄***、先天畸形等，提升模型的泛化能力，降低数据收集和标注的成本。本计数模型仅使用多层感知机等操作，且点云中点的个数较少(平均6000点)，因此具有极高的运行效率，降低了部署成本。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种CT肋骨自动计数方法，其特征在于，包括：
对CT中肋骨进行分割，得到与所述CT对应的肋骨掩码；
遍历所述掩码的每个层面，将每一层掩码作为二值图片，提取肋骨轮廓；
将每个层面每个肋骨轮廓转换为点云；
采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号；
将所述点云肋骨编号进行逆映射，映射回肋骨轮廓，得到每个层面每个肋骨轮廓所属的肋骨编号，完成肋骨计数；
其中：所述将每个层面每个所述肋骨的轮廓转换为点云包括：
利用公式将每个层面每个所述肋骨的轮廓转换为点云：
其中，p为三维坐标，z为层面，为轮廓，/>为从轮廓到关键点的映射；
具体包括：
具体地，将每个层面每个肋骨轮廓分别映射三维坐标p，该坐标由层面z和轮廓ei z计算得到，为轮廓关键点和层面坐标z的串联：
其中从轮廓到关键点的映射存在多种计算方法，包括：重心，形心和外接矩形框中心点；
以外接矩形框中心点为例作为关键点映射方法，关键点其中：
这样每个轮廓均可由对应的点表示，CT中所有肋骨轮廓点构成点云。
2.根据权利要求1所述的方法，其特征在于，所述采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号包括：
对于包含N个点的点云，以点的坐标为输入，每个点经多层感知机神经网络模型得到点的特征空间表达，最终N个点的特征向量采用池化方法构成点云的全局特征表达，将点云的全局特征与每个局部特征串联，经过若干多层感知机模型，得到每个点的编码预测。
3.根据权利要求1所述的方法，其特征在于，还包括：训练所述点云图神经网络；
所述训练所述点云图神经网络包括：利用标注数据进行训练，训练过程采用梯度下降方法，以预测结果和真实结果计算损失，优化模型参数。
4.根据权利要求3所述的方法，其特征在于，所述标注数据中的部分数据通过对真实点云数据坐标进行编辑得到；其中，所述对真实点云数据坐标进行编辑包括：模拟骨折、翻转、模拟拍摄***、模拟颈肋和模拟腰肋。
5.一种CT肋骨自动计数装置，其特征在于，包括：
分割模块，用于对CT中肋骨进行分割，得到与所述CT对应的肋骨的掩码；
提取模块，用于遍历所述掩码的每个层面，将每一层掩码作为二值图片，提取肋骨轮廓；
转换模块，用于将每个层面每个肋骨轮廓转换为点云；
预测模块，用于采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号；
逆映射模块，用于将所述点云肋骨编号进行逆映射，映射回肋骨轮廓，得到每个层面每个肋骨轮廓所属的肋骨编号，完成肋骨计数；
其中：
所述转换模块通过如下方式将每个层面每个所述肋骨的轮廓转换为点云：
所述转换模块，具体用于利用公式将每个层面每个所述肋骨的轮廓转换为点云：其中，p为三维坐标，z为层面，/>为轮廓，/>为从轮廓到关键点的映射；
具体包括：
具体地，将每个层面每个肋骨轮廓分别映射三维坐标p，该坐标由层面z和轮廓计算得到，为轮廓关键点和层面坐标z的串联：
其中从轮廓到关键点的映射存在多种计算方法，包括：重心，形心和外接矩形框中心点；
以外接矩形框中心点为例作为关键点映射方法，关键点其中：
这样每个轮廓均可由对应的点表示，CT中所有肋骨轮廓点构成点云。
6.根据权利要求5所述的装置，其特征在于，所述预测模块通过如下方式采用点云图神经网络对肋骨的编号进行预测，得到点云肋骨编号：
所述预测模块，具体用于对于包含N个点的点云，以点的坐标为输入，每个点经多层感知机神经网络模型得到点的特征空间表达，最终N个点的特征向量采用池化方法构成点云的全局特征表达，将点云的全局特征与每个局部特征串联，经过若干多层感知机模型，得到每个点的编码预测。
7.根据权利要求5所述的装置，其特征在于，还包括：训练模块，用于训练所述点云图神经网络；
所述训练模块通过如下方式训练所述点云图神经网络：所述训练模块，具体用于利用标注数据进行训练，训练过程采用梯度下降方法，以预测结果和真实结果计算损失，优化模型参数。
8.根据权利要求7所述的装置，其特征在于，所述标注数据中的部分数据通过对真实点云数据坐标进行编辑得到；其中，所述对真实点云数据坐标进行编辑包括：模拟骨折、翻转、模拟拍摄***、模拟颈肋和模拟腰肋。
CN202011356450.6A 2020-11-27 2020-11-27 一种ct肋骨自动计数方法及装置 Active CN112529849B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011356450.6A CN112529849B (zh) 2020-11-27 2020-11-27 一种ct肋骨自动计数方法及装置
PCT/CN2021/131649 WO2022111383A1 (zh) 2020-11-27 2021-11-19 一种ct肋骨自动计数方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011356450.6A CN112529849B (zh) 2020-11-27 2020-11-27 一种ct肋骨自动计数方法及装置

Publications (2)

Publication Number Publication Date
CN112529849A CN112529849A (zh) 2021-03-19
CN112529849B true CN112529849B (zh) 2024-01-19

Family

ID=74994054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011356450.6A Active CN112529849B (zh) 2020-11-27 2020-11-27 一种ct肋骨自动计数方法及装置

Country Status (2)

Country Link
CN (1) CN112529849B (zh)
WO (1) WO2022111383A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529849B (zh) * 2020-11-27 2024-01-19 北京深睿博联科技有限责任公司 一种ct肋骨自动计数方法及装置
CN114049358A (zh) * 2021-11-17 2022-02-15 苏州体素信息科技有限公司 肋骨实例分割、计数与定位的方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452577A (zh) * 2008-11-26 2009-06-10 沈阳东软医疗***有限公司 一种肋骨自动标定的方法及装置
CN110555860A (zh) * 2018-06-04 2019-12-10 青岛海信医疗设备股份有限公司 医学图像中肋骨区域标注的方法、电子设备和存储介质
CN110866905A (zh) * 2019-11-12 2020-03-06 苏州大学 一种肋骨识别与标注方法
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN111091605A (zh) * 2020-03-19 2020-05-01 南京安科医疗科技有限公司 一种肋骨可视化方法、识别方法及计算机可读存储介质
CN111915620A (zh) * 2020-06-19 2020-11-10 杭州深睿博联科技有限公司 一种ct肋骨分割方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041262A1 (en) * 2017-08-31 2019-03-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE SEGMENTATION
US10867436B2 (en) * 2019-04-18 2020-12-15 Zebra Medical Vision Ltd. Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images
CN112529849B (zh) * 2020-11-27 2024-01-19 北京深睿博联科技有限责任公司 一种ct肋骨自动计数方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452577A (zh) * 2008-11-26 2009-06-10 沈阳东软医疗***有限公司 一种肋骨自动标定的方法及装置
CN110555860A (zh) * 2018-06-04 2019-12-10 青岛海信医疗设备股份有限公司 医学图像中肋骨区域标注的方法、电子设备和存储介质
CN110866905A (zh) * 2019-11-12 2020-03-06 苏州大学 一种肋骨识别与标注方法
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN111091605A (zh) * 2020-03-19 2020-05-01 南京安科医疗科技有限公司 一种肋骨可视化方法、识别方法及计算机可读存储介质
CN111915620A (zh) * 2020-06-19 2020-11-10 杭州深睿博联科技有限公司 一种ct肋骨分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sowmya Ramakrishnan et al..Automatic Three-Dimensional Rib Centerline Extraction from CT Scans For Enhanced Visualization and Anatomical Context.《MEDICAL IMAGING 2011: IMAGE PROCESSING》.2011,第7962卷第79622X1-79622X12页. *
石志瑞,等.基于CT图像的肋骨定位和追踪.《南阳理工学院学报》.2018,第10卷(第4期),第56-61页. *

Also Published As

Publication number Publication date
WO2022111383A1 (zh) 2022-06-02
CN112529849A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
Liu et al. Masc: Multi-scale affinity with sparse convolution for 3d instance segmentation
US11256961B2 (en) Training a neural network to predict superpixels using segmentation-aware affinity loss
US11037051B2 (en) 3D plane detection and reconstruction using a monocular image
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
Zhang et al. Cross-view cross-scene multi-view crowd counting
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN108764241A (zh) 分割股骨近端的方法、装置、计算机设备和存储介质
CN112529849B (zh) 一种ct肋骨自动计数方法及装置
CN109426805A (zh) 用于对象检测的方法、设备和计算机程序产品
CN107688811A (zh) 车牌识别方法及装置
CN111402216B (zh) 基于深度学习的三维碎骨分割方法和装置
CN111681204B (zh) 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
CN111915620A (zh) 一种ct肋骨分割方法及装置
CN115375897A (zh) 图像处理方法、装置、设备及介质
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像***
CN116894844B (zh) 一种髋关节图像分割与关键点联动识别方法及装置
CN113408595B (zh) 病理图像处理的方法、装置、电子设备及可读存储介质
CN113989269B (zh) 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法
CN116051813A (zh) 全自动智能腰椎定位与识别方法及应用
JP2023126130A (ja) オブジェクト検出のためのコンピュータにより実施される方法、データ処理機器及びコンピュータプログラム
CN114118127A (zh) 一种视觉场景标志检测与识别方法及装置
CN114049358A (zh) 肋骨实例分割、计数与定位的方法及***
CN112151175A (zh) 一种基于影像学数据的计算机辅助多人决策方法、***及设备
CN116630628B (zh) 一种主动脉瓣钙化分割方法、***、设备及存储介质
JP2021064174A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant