CN115797307A - 一种骨骼冠状位平衡参数检测*** - Google Patents
一种骨骼冠状位平衡参数检测*** Download PDFInfo
- Publication number
- CN115797307A CN115797307A CN202211592696.2A CN202211592696A CN115797307A CN 115797307 A CN115797307 A CN 115797307A CN 202211592696 A CN202211592696 A CN 202211592696A CN 115797307 A CN115797307 A CN 115797307A
- Authority
- CN
- China
- Prior art keywords
- image
- vertebra
- sacrum
- outline
- human skeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 35
- 238000002372 labelling Methods 0.000 claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012805 post-processing Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 210000000115 thoracic cavity Anatomy 0.000 claims description 11
- 238000005452 bending Methods 0.000 abstract description 13
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000007547 defect Effects 0.000 description 11
- 239000011436 cob Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 3
- 208000000875 Spinal Curvatures Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种骨骼冠状位平衡参数检测***，解决了现有技术中骨骼检测准确率低、对骨骼位置和弯曲姿态识别准确性差、可靠性及鲁棒性差的技术问题，包括：采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注的前处理模块；对人体骨骼轮廓DR影像检测模型进行训练，基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取具有骨骼候选框的特征区域、以及置信度、语义分割结果的模型训练模块；基于置信度以及语义分割结果进行后处理得到人体骨骼轮廓的后处理模块；以及冠状位平衡参数计算模块。本发明通过优化标注方式可以获取更准确的检测数据和冠状位平衡参数。
Description
技术领域
本发明涉及医学影像智能识别技术领域，具体涉及一种骨骼冠状位平衡参数检测***。
背景技术
临床上通过DR影像获取人体骨骼冠状位平衡参数(第七颈椎中垂线C7PL、骶骨中垂线CSVL、脊椎弯曲角COBB角等)，存在耗时长和受主观判断影响大的问题。一方面，临床中对于DR影像进行全面的临床指标分析费时费力，降低了诊疗效率；另一方面，DR影像中往往存在骨骼边界模糊甚至部分缺失的问题，仅仅凭借医生的经验进行想象和主观判断，为诊断引入了人为误差，降低了诊断准确率。
现有技术中，已有的冠状位平衡参数计算方法虽然基于AI检测技术降低了对医生的经验依赖度和诊断的人为误差，但存在以下缺陷：骨骼检测适用范围窄，例如脊椎检测只专注于腰椎部分，对椎骨密集的颈椎和胸椎识别准确率较差；对脊椎的位置和弯曲姿态识别准确性差；AI检测***数据提取损失较大，存在“失真”现象，数据集检测效果的可靠性和鲁棒性较差。
发明内容
鉴于上述分析，为解决现有技术中骨骼检测方法检测准确率低、对位置和弯曲姿态识别准确性差、可靠性及鲁棒性差的技术问题，本发明提供了一种骨骼冠状位平衡参数检测***，包括：
前处理模块：获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，将所述DR影像和标注信息作为训练样本集；
模型训练模块：基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，直至损失函数收敛，获得训练完成的人体骨骼轮廓DR影像检测模型；基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取检测模型输出的具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
后处理模块：基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据；
冠状位平衡参数计算模块：基于人体骨骼轮廓数据计算冠状位平衡参数。
优选的，所述人体骨骼轮廓数据中包括24个矩形和一个三角形，以及各个矩形和三角形的顶点坐标；其中，每个矩形所在区域代表颈椎、胸椎、腰椎中的一个椎体所在区域，三角形所区域代表骶骨所在区域。
优选的，所述冠状位平衡参数计算模块采用如下方式计算冠状位平衡参数：
对人体骨骼轮廓数据中各矩形和三角形按照矩形和三角形的中心的纵坐标的大小进行排序；
将第1至第7矩形作为第1至第7颈椎；将第8至第19矩形作为第1至第12胸椎；将第20至第24矩形作为第1至第5腰椎；将三角形轮廓作为骶骨，得到各颈椎、胸椎、腰椎以及骶骨的坐标数据；
基于各椎体以及骶骨对应的的坐标数据计算冠状位平衡参数。
优选的，所述标注信息采用CoCo数据集的形式进行存储。
优选的，所述人体骨骼轮廓DR影像检测模型，包括：脊椎骨轮廓DR影像检测模型和骶骨轮廓DR影像检测模型；
所述采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息的实现方式，包括：
采用矩形对DR影像中的脊椎骨进行标注，各脊椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息；采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息。
优选的，对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述RD影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练，利用所述RD影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练。
优选的，所述语义分割结果包括矩形掩膜和三角形掩膜，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜，所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜。
优选的，基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据的实现方式，包括：
基于脊椎骨轮廓DR影像检测模型和骶骨轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述两个模型的候选特征区域；
对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；
对于骶骨：选取置信度最高的候选特征区域作为骶骨区域，基于骶骨区域中的三角形掩膜，获取三角形掩膜的顶点坐标，并根据所述顶点坐标形成三角形；
将所述矩形、三角形及其顶点坐标作为人体骨骼轮廓数据。
优选的，所述脊椎骨轮廓DR影像检测模型和所述骶骨轮廓DR影像检测模型的结构相同，均采用Cascade Mask R-CNN网络。
优选的，所述Cascade Mask R-CNN网络结构设有CNN卷积网络、与CNN卷积网络连接的RPN网络、以及与CNN卷积网络及RPN网络连接的RoIAlign layer、与RoIAlign layer连接的全连接层和掩膜预测模块。
本发明具有以下技术效果：
(1)本发明采用对不同骨骼给予接近其轮廓的几何图形进行标注，较现有技术采用骨骼中心点对所有类型骨骼标注方式，可以更好的记录和反映骨骼的姿态和位置关系，对人体骨骼DR影像识别具有更高的准确度；具体的，上述标注方式可以准确反映脊椎骨的姿态变化，清晰标注出弯曲区域端点脊椎骨的上下边缘，获取更为准确的COBB角，克服了点标注无法计算COBB角的缺陷；同时现有技术的点标注无法对脊椎骨、骶骨的复杂几何轮廓进行处理，无法得到准确的几何中心，本发明采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，因而较现有技术更容易确认第7脊椎骨和骶骨的几何中心，进而得到更为准确的第七颈椎中垂线C7PL和骨中垂线(CSVL)。
(2)与现有技术相比，本发明基于预测的骨骼区域与标注的骨骼区域的坐标构建回归分类器损失函数，模型整体的损失函数包括分数分类器损失函数、回归分类器损失函数以及掩膜参数损失函数，通过上述损失函数能够训练出更优化的模型参数，使得模型预测准确率大幅提高。
(3)本发明采用IOU相关损失函数作为回归分类器损失函数，较现有技术增加了特征区域与原始标注区域的IOU损失；IOU损失是基于特征区域与原始标注区域交集区域和并集区域面积比值，不受到特征区域的变量相关性影响，因而克服了现有技术中回归分类器损失函数的缺陷。进一步地，本发明的回归分类器损失函数Lbox在引入IOU损失同时保留了基于特征区域变量相互独立假设的smoothL1损失函数，弥补了IOU损失在特征区域与原始标注区域无交集时，IOU损失无法表征Lbox的缺陷。
(4)本发明对脊椎骨轮廓DR影像检测模型的检测数据引入了构建高置信度特征区域的脊椎拟合曲线，利用拟合曲线对重叠的特征区域进行筛选，克服了现有技术根据置信度评分筛选特征区域容易“失真”的缺陷。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书中所特别指出的内容来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。
其中：
图1为本发明一种骨骼冠状位平衡参数检测***的结构示意图；
图2为本发明一种实施方式中一种骨骼冠状位平衡参数检测***训练标注示意图；
图3为本发明一种实施方式中DR影像的脊椎骨轮廓矩形掩膜及其外接候选框的示意图；
图4为本发明一种实施方式中DR影像的脊椎骨、骶骨轮廓检测结果示意图；
图5为本发明一种实施方式中脊椎骨轮廓预测模型输出的置信度大于置信度阈值的矩形轮廓示意图；
图6为本发明一种实施方式中拟合出的第一曲线和第二曲线示意图；
图7为本发明一种实施方式中冠状位平衡参数示意图。
具体实施方式
下面对本发明的优选实施方式进行具体描述，其用于阐释本发明的原理，并非用于限定本发明的范围。
为了准确阐述本发明的实施方案，对相关专业术语做进一步的说明：
Cascade Mask R-CNN网络结构模型
Cascade Mask R-CNN沿用了Faster RCNN的思想，特征提取采用ResNNet-FPN的架构，输出端增加了对掩膜参数预测，可以完成对图像中特定区域识别。
候选框提取网络(RPN)
候选框提取网络(RPN)全称是Region Proposal Network，用来提取候选框的网络，在Faster RCNN网络结构模型用于对特征图片的构建候选框识别区域。
第七颈椎中垂线(C7PL)
将人体骨骼轮廓置于平面直角坐标系中，由人体骨骼轮廓中第7块颈椎的中心点引出平行于纵坐标轴，向骶骨一侧延伸的直线作为第七颈椎中垂线。
骶骨中垂线(CSVL)
将人体骨骼轮廓置于平面直角坐标系中，由人体骨骼轮廓中骶骨的中心点引出平行于纵坐标轴，向颈椎一侧延伸的直线作为骶骨中垂线。
脊椎弯曲角(COBB角)
人体骨骼轮廓中弯曲区域两端点的脊椎骨；近脊椎一侧脊椎骨的上边缘所在直线与近骶骨一侧脊椎骨下边缘所在直线的夹角。
本发明公开一种骨骼冠状位平衡参数检测***，如图1所示，包含以下模块：
前处理模块：获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，将所述DR影像和标注信息作为训练样本集；
模型训练模块：基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，直至损失函数收敛，获得训练完成的人体骨骼轮廓DR影像检测模型；基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取检测模型输出的具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
后处理模块：基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据；具体的，基于各特征区域候选框的置信度以及语义分割结果获得各特征区域候选框和原始标注信息偏差较大的结果，将优选后的特征区域构建完整的人体骨骼轮廓数据。
冠状位平衡参数计算模块：基于人体骨骼轮廓数据计算冠状位平衡参数；具体的，根据人体骨骼轮廓数据中优选后的候选框的中心坐标对各候选框排序，根据各候选框的顶点坐标计算冠状位平衡参数。
与现有技术相比，本发明对不同骨骼给予接近其轮廓的几何图形进行标注，较现有技术采用骨骼中心点对所有类型骨骼标注方式，有利于准确记录和反映骨骼的姿态和骨骼间相对位置关系，对人体骨骼DR影像轮廓识别具有更高的准确度。
与现有技术相比，本发明基于各特征区域候选框的置信度以及语义分割结果获得各特征区域候选框和原始标注信息偏差较小的结果，可以有效改善特征区域检测数据与对应的目标坐标区域真实数据值的偏差，提高人体骨骼DR影像检测模型的检测准确率。
具体的，前处理模块中，标注方式为：根据人体骨骼在其DR影像中轮廓线，得到与骨骼轮廓最接近的几何图形，采用与骨骼轮廓最接近的几何图形对其进行标注；包括：
a、采用矩形对DR影像中的脊椎骨进行标注，各椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息。
具体的，以脊椎骨轮廓线中相距最远的一组端点作为对角顶点，选取脊椎骨轮廓线中另一组端点作为第二组对角顶点。
与现有技术相比，本发明对脊椎骨的轮廓采用矩形的四个顶点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映脊椎骨的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对脊椎骨相对位置关系不敏感的缺陷，对脊椎骨的增生、错位等问题的识别具有更高的准确度。
b、采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息；
具体的，选取距离骶骨轮廓中心最远三个端点作为三角形三个顶点。
与现有技术相比，本发明对骶骨的轮廓采用三角形的三个顶点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映骶骨的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对骶骨和脊椎骨连接区域区分度较差的缺陷，对骶骨和脊椎骨连接区域的识别具有更高的准确度。
具体的，如图2所示，展示了对各个骨骼的标注。
可以理解的，由于脊椎骨中的颈椎、胸椎、腰椎在DR影像中呈现出矩形轮廓，所以采用矩形对脊椎骨进行标注；骶骨在DR影像中呈现出三角形轮廓，所以采用三角形对骶骨进行标注。
实施时，将上述脊椎骨标注信息、骶骨标注信息采用CoCo数据集的形式进行存储。
具体的，所述人体骨骼轮廓DR影像检测模型包括：脊椎骨轮廓DR影像检测模型和骶骨轮廓DR影像检测模型；上述两个子模型分别用于检测脊椎骨、骶骨的轮廓。
具体的，模型训练模块中对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述DR影像和不同骨骼标注信息对对应的骨骼轮廓DR影像检测模型进行训练；
具体的，利用所述DR影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练；利用所述DR影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练。
可以理解的，当对人体骨骼轮廓DR影像检测模型进行训练时，输入到子模型的DR图像是相同的，只是标注信息不同。
实施时，所述子模型即脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型的结构相同，均采用Cascade Mask R-CNN网络。
所述Cascade Mask R-CNN网络结构设有CNN卷积网络、与CNN卷积网络连接的RPN网络、以及与CNN卷积网络及RPN网络连接的RoIAlign layer、与RoIAlign layer连接的全连接层和掩膜预测模块。
具体的，CNN卷积网络用于提取DR影像的特征，输出特征图；RPN网络用于生成特征图的候选框；所述RoIAlign layer基于所述候选框和特征图，输出具有固定尺寸的特征区域，所述全连接层基于所述固定尺寸的特征区域，生成特征区域的置信度以及掩膜的外接矩形的坐标，所述掩膜预测模型基于所述固定尺寸的特征区域生成该区域的掩膜。
具体的，DR影像经过所述Cascade Mask R-CNN网络后，在输出端会输出多个具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
具体的，所述置信度是指该候选框框出的区域是真实骨骼的概率，置信度越高，说明该区域为骨骼区域的概率越大；所述语义分割结果包括矩形掩膜、三角形掩膜；
可以理解的，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜；所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜。
如图3所示，脊椎骨轮廓DR影像检测模型输出的特征区域中，所述矩形掩膜为如图中所示的实心矩形区域，所述矩形掩膜所在位置即为脊椎骨所在区域，所述候选框是指矩形掩膜的外接四边形，模型输出还包括外接四边形的四个顶点坐标；
对于骶骨轮廓DR影像检测模型，掩膜为三角形掩膜，所述候选框是指三角形的外接四边形，模型输出还包括外接四边形的四个顶点坐标。
与现有技术相比，本发明通过设立独立的子模型分别预测不同骨骼的区域，对同一DR影像中不同骨骼区域(脊椎、骶骨)实现骨轮廓DR影像检测，拓展了骨骼检测范围。
具体的，后处理模块基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓，包括：
首先，基于脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述模型的候选特征区域；
具体的，可以根据上述子模型的检测精度分别设置对应的置信度阈值，示例性的，将脊椎骨模型轮廓DR影像检测模型的置信度阈值设置为0.8，将骶骨轮廓DR影像检测模型的置信度阈值设置为0.9；
通过利用置信度阈值对特征区域筛选，能够去除非骨骼区域的特征区域，从而保留具有骨骼区域的特征区域作为候选特征区域。
其次，对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；
对于骶骨：选取置信度最高的候选特征区域作为骶骨区域，基于骶骨区域中的三角形掩膜，获取三角形掩膜的顶点坐标，并根据所述顶点坐标形成三角形；
将所述矩形、三角形及其顶点坐标作为人体骨骼轮廓数据。
具体的，在模型训练模块中所述未标注的人体骨骼轮廓DR影像构建和前处理模块中所述人体骨骼轮廓DR影像相同的坐标系；
在得到人体骨骼轮廓后，可将上述骨骼轮廓数据即得到的各矩形、三角形的顶点坐标显示在未标注的DR影像上，即将矩形、三角形的坐标在所述未标注的人体骨骼轮廓DR影像中依次标出获得的矩形、三角形的各顶点；将同一矩形和三角形中各顶点连接获得相应的骨骼轮廓，如图4所示：矩形表示脊椎；三角形表示骶骨。
由于脊椎骨数量为24块，所以可能存在候选区域中的矩形相重叠的情况，即对于一块椎体存在两个对应的矩形，所以要从相重叠的两个矩形中选取一个作为骨骼所在区域，因此优选的，对于脊椎骨在后处理模块中还设置有第一处理单元，所述第一处理单元用于在形成各候选特征区域的矩形之后和得到人体骨骼轮廓之间执行如下步骤：
S321、根据矩形的顶点坐标，计算任意两个矩形的IOU值；
具体的，IOU满足以下公式：
IOU＝S交/S并，其中S交为两个矩形的交集面积，S并为两个矩形的并集面积；
S322、获取IOU值大于IOU阈值的矩形，形成待选矩形集合；具体的，IOU阈值设置为0.5；
具体的，如果两个矩形不存在重叠则其IOU值为零，如果两个矩形存在重叠，则IOU值大于零；需要说明的是，IOU值大于0.5的两个矩形有极大概率对应于一块椎体，因而将IOU阈值设置为0.5。
作为举例，如图5所示，矩形a和矩形b存在重叠，且矩形a和矩形b的IOU值大于阈值0.5，因此根据IOU阈值能够筛选出矩形a和矩阵b，矩形a和矩形b形成待选矩形集合。
S323、根据除待选矩形集合之外的其他矩形的左下/左上坐标拟合第一曲线；根据除待选矩形集合之外的其他矩形的右上/右下坐标拟合第二曲线；
具体的，如图6所示，根据除矩形a和b之外的其他矩形拟合出两条曲线，即代表了脊柱的走向曲线；示例性的，当脊柱曲线如图6所示时，以各矩形的左下坐标拟合出第一条曲线，以各矩形的右上坐标拟合出第二曲线；当脊柱曲线沿相反方向弯曲时，则以各矩形的左上坐标你和第一曲线，以各矩形的右下坐标拟合第二曲线；
S324、计算待选矩形集合中各待选矩形在第一曲线和第二曲线形成的中间区域中的面积，选择面积大的待选矩形作为被选矩形；
具体的，根据待选矩形的四个顶点坐标和第一曲线和第二曲线的拟合函数获取待选矩形在第一曲线和第二曲线形成的中间区域中的面积。如图6所示，根据计算得到矩形a在两个曲线形成的中间区域的面积比矩形b在两个曲线形成的中间区域的面积要大，因此选择a作为被选矩形，舍弃矩形b；
S325、将待选矩形集合之外的其他矩形和被选矩形作为输出。
将上述输出的矩形及其顶点坐标、三角形及其顶点坐标作为骨骼轮廓数据。
若采用现有技术中的极大值抑制方法NMS，则会选取置信度较大的矩形b作为被选矩形，本发明通过对脊椎骨轮廓DR影像检测模型的检测数据拟合脊柱曲线，选择出符合脊柱曲线走势的矩形a，因此能够获得更符合脊椎自然弯曲的脊椎骨轮廓DR影像检测数据，使得检测数据更加精确。
与现有技术相比，本发明对脊椎骨轮廓DR影像检测模型的检测数据引入了构建高置信度特征区域的脊椎拟合曲线，利用拟合曲线对重叠矩形进行筛选，克服了现有技术根据置信度评分筛选特征区域容易“失真”的缺陷。
具体的，模型训练模块中所述损失函数L，满足以下公式：
LLcls+Lbox+Lmask；
其中，Lcls为分数分类器损失函数，Lbox为回归分类器损失函数，Lmask为掩膜参数损失函数。
具体的，Lc1s满足以下公式：
其中，P(x)为真实置信度；q(x)为预测置信度，x为RoIAlign layer输入的固定尺寸的特征图。
具体的，Lmsk满足以下公式：
其中，k＝1，yij为位置(i，j)的mask值(0，1二值表示)，数据
为预测mask值；i表示像素横坐标，j表示像素纵坐标；m表示掩膜区域外接矩形的边长；
其中yjj满足以下公式：
具体的，回归分类器损失函数Lbox，满足以下公式：
其中，intersection()为对两个区域求交集面积；Union()为对两个区域求并集面积；P预测为特征区域的预测框；P真实为特征区域对应的原始标注区域；smoothL1为离散点损失函数；ti为特征区域对应原始标准坐标特征集，
为特征区域预测坐标特征集；
其中，ti满足以下公式：
ti＝[tx；ty；tw；th]；
其中，
其中，tχ满足以下公式：
tχ＝(x-xa)/wa；
ty满足以下公式：
ty＝(y-ya)/ha；
tw满足以下公式：
tw＝log(w/wa)；
th满足以下公式：
th＝log(h/ha)；
其中，(x；y)为特征区域的掩膜区域最小外接矩形的中心点坐标，w为特征区域的掩膜区域最小外接矩形的长度，h为特征区域的掩膜区域最小外接矩形的宽度；(xa；ya)为Cascade Mask R-CNN结构R-CNN单元中anchors集合中特征区域对应的候选框中心点坐标，wa为Cascade Mask结构R-CNN单元中anchors集合中特征区域对应的候选框的长度，ha为Cascade Mask R-CNN结构RPN单元中anchors集合中特征区域对应的候选框的宽度；(x*；y*)为回归分类器前连的全连接层输出的特征区域中心点预测坐标，w*为回归分类器前连的全连接层输出的特征区域长度，h*为回归分类器前连的全连接层输出的特征区域宽度。
现有技术中，回归分类器损失函数Lbox通过回归表征一个特征区域的四个变量，并假设特征区域的四个变量相互独立，从而进行线性回归预测。实际上，特征区域的四个变量之间是相互关联的，现有技术采用的简单的分开计算每个变量的回归loss得方法无法反映这种相关性，因而在计算损失函数时无法客观反映模型训练程度，降低了模型最终预测准确度。
与现有技术相比，本发明采用IOU相关损失函数作为回归分类器损失函数，较现有技术增加了特征区域与原始标注区域的IOU损失；IOU损失是基于特征区域与原始标注区域交集区域和并集区域面积比值，不受到特征区域的变量相关性影响，因而克服了现有技术回归分类器损失函数的缺陷。
进一步地，本发明的回归分类器损失函数Lbox在引入IOU损失同时保留了基于特征区域变量相互独立假设的smoothL1损失函数，弥补了IOU损失在特征区域与原始标注区域无交集时，IOU损失无法表征Lbox的缺陷。
具体的，由于人体脊椎骨具有24块骨骼，因此所述人体骨骼轮廓数据中包括24个矩形和一个三角形，以及各个矩形和三角形的顶点坐标；其中，每个矩形所在区域代表颈椎、胸椎、腰椎中的一个椎体所在区域，三角形所在区域代表骶骨所在区域。
具体的，所述冠状位平衡参数计算模块采用如下方式计算冠状位平衡参数：
S41、对人体骨骼轮廓数据中各矩形和三角形按照矩形和三角形的中心的纵坐标的大小进行排序；
具体的，各矩形的中心的纵坐标获取方法为：取各矩形两对对角顶点的纵坐标的均值作为各矩形的中心的纵坐标。三角形的中心的纵坐标获取方法为：取三角形顶点纵坐标、底边所在的两个端点的纵坐标平均值，对顶点纵坐标和所述纵坐标平均值再求平均作为三角形中心点的纵坐标。
具体的，作为举例，以人体骨骼轮廓DR影像左上顶点为原点的平面坐标系中(x轴沿水平方向，向右为正；y轴沿竖直方向，向下为正)中确认脊椎特征矩形的左上顶点、右上顶点、右下顶点及左下顶点的实现方式为：
(1)比较特征矩形四个顶点坐标值之和(x+y)，选取最小的顶点作为左上顶点；
(2)以左上顶点为起点，通过比较坐标(x，y)顺时针排序获得：右上顶点、右下顶点和左下顶点。
S42、将第1至第7矩形作为第1至第7颈椎；将第8至第19矩形作为第1至第12胸椎；将第20至第24矩形作为第1至第5腰椎；将三角形轮廓作为骶骨，得到各颈椎、胸椎、腰椎以及骶骨的坐标数据；
S43、基于各椎体以及骶骨对应的的坐标数据计算冠状位平衡参数。
具体的，所述人体骨骼轮廓为人体正视或后视骨骼轮廓；所述冠状位平衡参数，包括：第七颈椎中垂线、骶骨中垂线和脊柱弯曲角；
具体的，如图7所示：第七颈椎中垂线的获取方式，包括：由人体骨骼轮廓中第7块颈椎的中心点引出平行于纵坐标轴，向骶骨一侧延伸的直线作为第七颈椎中垂线。
具体的，如图7所示：骶骨中垂线的获取方式，包括：由人体骨骼轮廓中骶骨的中心点引出平行于纵坐标轴，向颈椎一侧延伸的直线作为骶骨中垂线。
具体的，脊柱弯曲角的获取方式，包括：获取人体骨骼轮廓中弯曲区域两端点的脊椎骨M1和脊椎骨M2；获取脊椎骨M1的上边缘所在直线与脊椎骨M2下边缘所在直线的夹角，作为脊柱弯曲角COBB角。
具体的，上边缘为脊椎骨M1和M2的矩形轮廓的左上顶点与右上顶点连接边缘；下边缘为脊椎骨M1和M2的矩形轮廓的左下顶点与右下顶点连接边缘。
具体的，作为举例，如图7所示：脊椎骨M1作为弯曲区域近颈椎一侧的初始弯曲脊椎骨，在人体骨骼轮廓中呈矩形；脊椎骨M2作为弯曲区域近骶骨一侧的初始弯曲脊椎骨，在人体骨骼轮廓中呈矩形；由脊椎骨M1的左上顶点和右上顶点连线确认脊椎骨M1的上边缘，由脊椎骨M2的左下顶点和右下顶点连线确认脊椎骨M2的下边缘；选择脊椎骨M1矩形上边缘和脊椎骨M2矩形下边缘所在直线分别延伸，两直线夹角即为脊柱弯曲角COBB角。
与现有技术相比，上述标注方式可以准确反映脊椎骨的姿态变化，清晰标注出弯曲区域端点脊椎骨的上下边缘，获取更为准确的COBB角，克服了点标注无法计算COBB角的缺陷；同时现有技术的点标注无法对脊椎骨、骶骨的复杂几何轮廓进行处理，无法得到准确的几何中心。
同样的，根据骶骨中垂线(CSVL)的定义：由人体骨骼轮廓中骶骨的中心点引出平行于纵坐标轴，向颈椎一侧延伸的直线作为骶骨中垂线(CSVL)。
根据第七颈椎中垂线(C7PL)的定义：将人体骨骼轮廓置于平面直角坐标系中，由人体骨骼轮廓中第7块颈椎的中心点引出平行于纵坐标轴，向骶骨一侧延伸的直线作为第七颈椎中垂线(C7PL)。
本发明采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，因而较现有技术更容易确认第7脊椎骨和骶骨的几何中心，进而得到更为准确的第七颈椎中垂线C7PL和骨中垂线(CSVL)。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种骨骼冠状位平衡参数检测***，其特征在于，包括：
前处理模块：获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，将所述DR影像和标注信息作为训练样本集；
模型训练模块：基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，直至损失函数收敛，获得训练完成的人体骨骼轮廓DR影像检测模型；基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取检测模型输出的具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
后处理模块：基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据；
冠状位平衡参数计算模块：基于人体骨骼轮廓数据计算冠状位平衡参数。
2.根据权利要求1所述的检测***，其特征在于，所述人体骨骼轮廓数据中包括24个矩形和一个三角形，以及各个矩形和三角形的顶点坐标；其中，每个矩形所在区域代表颈椎、胸椎、腰椎中的一个椎体所在区域，三角形所在区域代表骶骨所在区域。
3.根据权利要求2所述的检测***，其特征在于，所述冠状位平衡参数计算模块采用如下方式计算冠状位平衡参数：
对人体骨骼轮廓数据中各矩形和三角形按照矩形和三角形的中心的纵坐标的大小进行排序；
将第1至第7矩形作为第1至第7颈椎；将第8至第19矩形作为第1至第12胸椎；将第20至第24矩形作为第1至第5腰椎；将三角形轮廓作为骶骨，得到各颈椎、胸椎、腰椎以及骶骨的坐标数据；
基于各椎体以及骶骨对应的的坐标数据计算冠状位平衡参数。
4.根据权利要求1所述的检测***，其特征在于，所述标注信息采用CoCo数据集的形式进行存储。
5.根据权利要求1所述的检测***，其特征在于，所述人体骨骼轮廓DR影像检测模型，包括：脊椎骨轮廓DR影像检测模型和骶骨轮廓DR影像检测模型；
所述采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息的实现方式，包括：
采用矩形对DR影像中的脊椎骨进行标注，各脊椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息；采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息。
6.根据权利要求5所述的检测***，其特征在于，对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述RD影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练，利用所述RD影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练。
7.根据权利要求6所述的检测***，其特征在于，所述语义分割结果包括矩形掩膜和三角形掩膜，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜，所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜。
8.根据权利要求7所述的检测***，其特征在于，基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓数据的实现方式，包括：
基于脊椎骨轮廓DR影像检测模型和骶骨轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述两个模型的候选特征区域；
对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；
对于骶骨：选取置信度最高的候选特征区域作为骶骨区域，基于骶骨区域中的三角形掩膜，获取三角形掩膜的顶点坐标，并根据所述顶点坐标形成三角形；
将所述矩形、三角形及其顶点坐标作为人体骨骼轮廓数据。
9.根据权利要求8所述的检测***，其特征在于，所述脊椎骨轮廓DR影像检测模型和所述骶骨轮廓DR影像检测模型的结构相同，均采用Cascade Mask R-CNN网络。
10.根据权利要求9所述的检测***，其特征在于，所述Cascade Mask R-CNN网络结构设有CNN卷积网络、与CNN卷积网络连接的RPN网络、以及与CNN卷积网络及RPN网络连接的RoIAlign layer、与RoIAlign layer连接的全连接层和掩膜预测模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592696.2A CN115797307B (zh) | 2022-12-13 | 2022-12-13 | 一种骨骼冠状位平衡参数检测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592696.2A CN115797307B (zh) | 2022-12-13 | 2022-12-13 | 一种骨骼冠状位平衡参数检测*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797307A true CN115797307A (zh) | 2023-03-14 |
| CN115797307B CN115797307B (zh) | 2023-08-08 |
Family
ID=85419500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211592696.2A Active CN115797307B (zh) | 2022-12-13 | 2022-12-13 | 一种骨骼冠状位平衡参数检测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797307B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103339653A (zh) * | 2010-12-17 | 2013-10-02 | 奥胡斯大学 | 勾画组织损伤的方法 |
| CN108596904A (zh) * | 2018-05-07 | 2018-09-28 | 北京长木谷医疗科技有限公司 | 生成定位模型的方法及对脊柱矢状位图像进行处理的方法 |
| CN110866921A (zh) * | 2019-10-17 | 2020-03-06 | 上海交通大学 | 基于自训练和切片传播的弱监督脊椎椎体分割方法和*** |
| CN111951216A (zh) * | 2020-07-02 | 2020-11-17 | 杭州电子科技大学 | 基于计算机视觉的脊柱冠状面平衡参数自动测量方法 |
| CN114549553A (zh) * | 2022-02-15 | 2022-05-27 | 北京联影智能影像技术研究院 | 角度测量方法、装置、计算机设备及可读存储介质 |
| CN114663577A (zh) * | 2022-01-28 | 2022-06-24 | 河北医科大学第三医院 | 一种3d打印冠状突假体治疗陈旧性冠状突骨折*** |
-
2022
- 2022-12-13 CN CN202211592696.2A patent/CN115797307B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103339653A (zh) * | 2010-12-17 | 2013-10-02 | 奥胡斯大学 | 勾画组织损伤的方法 |
| CN108596904A (zh) * | 2018-05-07 | 2018-09-28 | 北京长木谷医疗科技有限公司 | 生成定位模型的方法及对脊柱矢状位图像进行处理的方法 |
| CN110866921A (zh) * | 2019-10-17 | 2020-03-06 | 上海交通大学 | 基于自训练和切片传播的弱监督脊椎椎体分割方法和*** |
| CN111951216A (zh) * | 2020-07-02 | 2020-11-17 | 杭州电子科技大学 | 基于计算机视觉的脊柱冠状面平衡参数自动测量方法 |
| CN114663577A (zh) * | 2022-01-28 | 2022-06-24 | 河北医科大学第三医院 | 一种3d打印冠状突假体治疗陈旧性冠状突骨折*** |
| CN114549553A (zh) * | 2022-02-15 | 2022-05-27 | 北京联影智能影像技术研究院 | 角度测量方法、装置、计算机设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陈永辉;岳丽华;: "鲁棒的点云曲线骨骼提取算法", 计算机工程与应用, no. 24 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797307B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10068671B2 (en) | Methods and systems for producing an implant | |
| US9275191B2 (en) | Methods and systems for producing an implant | |
| JP7489732B2 (ja) | 深層学習に基づく脊椎ｍｒｉ映像キーポイント検出方法 | |
| CN111310760B (zh) | 结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法 | |
| CN112802019B (zh) | 一种基于脊柱AIS影像的lenke分型方法 | |
| CN109993750A (zh) | 一种手腕骨的分割识别方法及***、终端及可读存储介质 | |
| CN112784736A (zh) | 一种多模态特征融合的人物交互行为识别方法 | |
| CN110991258B (zh) | 一种人脸融合特征提取方法及*** | |
| Wang et al. | High resolution tracking of non-rigid 3d motion of densely sampled data using harmonic maps | |
| CN108509866A (zh) | 一种人脸轮廓提取方法 | |
| CN115187606B (zh) | 一种青少年特发性脊柱侧凸pumc分型方法 | |
| WO2024124790A1 (zh) | 一种骨骼矢状位平衡参数检测*** | |
| CN113935961A (zh) | 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法 | |
| CN115797307B (zh) | 一种骨骼冠状位平衡参数检测*** | |
| CN115661138B (zh) | 基于dr影像的人体骨骼轮廓检测方法 | |
| CN114092470B (zh) | 一种基于深度学习的肺裂自动检测方法及装置 | |
| CN111428778B (zh) | 一种胎儿颜面部标准切面自动分类法 | |
| JP4492258B2 (ja) | 文字・図形の認識方法および検査方法 | |
| CN114419061A (zh) | 一种肺部动静脉血管分割方法及*** | |
| CN111046874A (zh) | 一种基于模板匹配的单号识别方法 | |
| CN109697713A (zh) | 基于深度学习和空间关系推理的椎间盘定位标注方法 | |
| CN110458850B (zh) | 一种大关节组织的分割方法和分割*** | |
| CN114549619A (zh) | 一种基于深度学习的mri脊椎图像椎间盘扫描定位和椎骨标识方法 | |
| Xia et al. | Vectorizing historical maps with topological consistency: A hybrid approach using transformers and contour-based instance segmentation | |
| CN116309455A (zh) | 腰椎异常图像识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |