CN115689987A - 一种基于dr图像双视角脊椎骨折特征检测方法 - Google Patents
一种基于dr图像双视角脊椎骨折特征检测方法 Download PDFInfo
- Publication number
- CN115689987A CN115689987A CN202211021620.4A CN202211021620A CN115689987A CN 115689987 A CN115689987 A CN 115689987A CN 202211021620 A CN202211021620 A CN 202211021620A CN 115689987 A CN115689987 A CN 115689987A
- Authority
- CN
- China
- Prior art keywords
- image
- fracture
- vertebral
- window
- transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于双视角DR图像的处理方法，对病理性和骨质疏松症脊椎压缩性患者的骨折特征检测。本发明实现了从DR设备采集影像并进行图像数据预处理，确定正侧位脊椎感兴趣区域，设计神经网络提取图像特征，自动化脊椎骨折的定位和严重度分级，为骨科医生进行患者的临床筛查和早期诊疗方案制定，提供了一种有效的脊椎骨折特征检测的方法。
Description
技术领域
本发明涉及一种基于DR图像双视角脊椎骨折特征检测方法，属于计算机图像处理领域。
背景技术
脊椎骨折是临床上常见的骨折类型，由于病理原因或者骨质疏松症容易引发脊椎压缩性骨折(Vertebral compression fractures,VCF)，可导致潜在的破坏性后遗症，造成患者生活质量下降、死亡率增加，产生高昂的社会经济成本。近些年随着我国人口老龄化加快，其发病率连年上升，每年大约新增140万人受其影响，已成为广泛关注的重要健康问题。虽然X射线医疗成像设备的影像技术不断改进，但是图像仍存在噪声伪影以及灰度不均匀问题，医生肉眼识别骨折部位时难免产生偏差，影响骨折检测准确率。采用准确有效的骨折特征检测方法，能够显著改善患者的治疗与预后效果，提高患者的生存率和延长寿命。
目前常用来分析脊椎骨折的半定量评估方法是在医生视觉观察的基础上，依据椎体形状和椎体的前部、后部和中部高度下降和终板表面损失的百分比确定骨折位置，并且根据高度下降和表面损失程度将脊椎骨折的严重程度划分为Grand 1(轻度)到Grand 3(重度)，其中Grand 1是高度损失20％～25％或表面损失10％～20％，Grand 2是高度损失25％～40％或表面损失20％～40％，Grand 3是高度损失或表面损失超过40％。这是一种实用且可重复的脊椎骨折评估方法，易于在临床诊疗中实施，适用于流行病学研究和临床疗效试验，但是这个方法需要专业且经验丰富的医生。
X射线DR平片是一种快速、广泛使用且价格低廉的技术，辐射剂量相对较低，通常作为脊椎骨折的首选检查方式，由于DR成像设备的组成和特点，DR图像中存在***固有噪声和随机噪声，这些噪声降低了图像的对比度，影响了脊椎骨折的特征检测。临床上通过肉眼观察DR图像对患者进行骨折筛查，不同医生可能给出不同的结论，并且半定量的评估方法所需的计算工作量较大，使放射科医师处理影像数据的压力增大，对脊椎骨折的严重度分级也会出现偏差。本发明针对现有问题，模拟医生观察DR正侧位两个视角平片的过程，提出一种基于DR图像双视角脊椎骨折特征检测方法，对脊椎骨折定位和严重度分级，提高放射医师和骨折医生的骨折特征检测准确率，为患者制定更合理的治疗方案。
发明内容
本发明的目的在于提供一种基于DR图像双视角脊椎骨折特征检测方法，为放射医师和骨折医生的骨折特征检测和治疗方案制定提供一个参考。
本发明为解决上述问题采用以下技术方案：
本发明提供一种基于DR图像双视角脊椎骨折特征检测方法，具体步骤如下：
步骤1，从DR设备采集脊椎骨折患者的影像，并对图像数据进行预处理(Imagepreprocessing)。
通过中值滤波和各向异性扩散滤波方法，对从DR成像***采集到的图像中的随机噪声进行去噪，将引起DR图像中脊柱椎体边缘模糊的噪声点滤除。根据DICOM格式数据标签或者原始像素的最大值和最小值，调整和设置DR图像的窗宽和窗位，将原始像素映射到8比特图像。采用限制对比度的自适应直方图均衡进行图像增强，增强DR图像的对比度同时抑制噪声，使脊椎和软组织的区分更明显，
步骤2，用经过预处理后的图像和具有丰富临床经验的放射医师的标注，得到正侧位的双角度DR平片中不同椎体的感兴趣区域(Region of interest,ROI)，
根据DR图像和对应的标注信息，裁剪出含有脊椎骨折ROI的图像块(ROIpatches)，同时从相邻位置得到正常椎体ROI的图像块，调整图像块尺寸统一为224×224大小，赋予图像块以骨折和正常的分类标签y，
步骤3，将ROI图像块输入设计的神经网络(Neuralnetwork)中，经过在ImageNet数据集上训练得到的预训练模型(CNNmodel)后进行图像块特征混合(Hybridpatch)，然后分别输入到Multi-head transformer和Shifted-window transformer网络模块后进行特征拼接，最后得到脊椎骨折的预测结果，
进一步地，所述步骤3具体包括以下步骤：前后正位片和侧位片的ROI包括正常椎体图像块IN和骨折椎体图像块IF，由CNNmodel得到特征图f(IN,IF)和预测分类
可以计算正常或者骨折的分类损失函数(Class loss)，即
其中N为训练样本总数。在神经网络训练过程中，分类损失函数作为约束项优化CNNmodel，对预训练网络模型中的参数进行微调，使其保持图像特征的表征能力同时，可以适应脊椎骨折数据的统计分布。
第一阶段CNNmodel从ROI图像块提取的特征图f(IN,IF)，在第二阶段经过特征图像块混合将H×W×C维度的f(IN,IF)转换为H/4×W/4×2C维度，分别输入到Multi-headtransformer和Shifted-window transformer，避免下采样丢失有用的特征信息，其中H,W,C分别表示特征图的高、宽和通道数。在Multi-head transformer中，三个1×1卷积将输入特征图
投影到
展平并转置成大小为n×d的序列，其中d是嵌入的维度，Q、K、V展平并转置为大小为n×d的序列，其中n＝H×W，由此可得输出
这让模型从不同的表示子空间联合推断注意力用于骨折定位。在Shifted-window transformer中，特征图在移位的局部窗口内计算自注意力，窗口以不重叠的方式均匀划分，减少了全局注意力的庞大计算量，输出为
其中B为移位偏置。将OMHT和OSWT进行特征拼接得到fcat＝Cancate(OMHT,OSWT)，进一步可知神经网络预测出的骨折位置t＝(tx,ty,tw,th)和定位损失函数
其中(x,y,w,h)为预测框的横、纵坐标及宽度、高度，smoothL1为平滑L1损失函数。
采用正侧位双视角DR图像并且设计Multi-head transformer和Shifted-windowtransformer并行网络模块是本方法的独特之处，经过神经网络训练和优化过程，方法可以得到输入的ROI图像块中骨折不同严重度分级概率和可能病灶位置的预测结果。
步骤4，根据神经网络输出的骨折严重度分级和预测框的概率值，方法实现了双视角DR图像的骨折定位和严重度分级。
步骤5，临床放射科医师和骨科医生通过观察实际DR图像并对脊椎骨折特征检测分析，结合脊椎骨折的定位和严重度分级的结果，确定病患的骨折情况并制定有效的治疗方案。
发明的整个流程示意图如图1所示。
相对于现有技术，本发明利用双视角DR图像，结合了正侧位的脊椎影像学信息，构建了CNN model和transformer网络模块的神经网络，充分发挥神经网络的图像表征的优势，有助于提高脊椎骨折的检出率，其有益效果如下：本发明实现了双视角DR图像中自动化脊椎骨折定位和严重度分级，为病理性和骨质疏松型脊椎压缩性骨折患者的临床筛查和治疗方案制定提供了一种有效的脊椎骨折特征检测的方法。
附图说明
图1为本发明的脊椎骨折特征检测流程的示意图；
图2为方法中神经网络的框架图，
图3为方法中神经网络得到的脊椎骨折定位和严重度分级的结果；
图4为本发明整体流程示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例1：参见图1-4，本发明提供一种基于DR图像双视角脊椎骨折特征检测方法，具体步骤如下：
步骤1，从DR设备采集脊椎骨折患者的影像，并对图像数据进行预处理(Imagepreprocessing)。
通过中值滤波和各向异性扩散滤波方法，对从DR成像***采集到的图像中的随机噪声进行去噪，将引起DR图像中脊柱椎体边缘模糊的噪声点滤除。根据DICOM格式数据标签或者原始像素的最大值和最小值，调整和设置DR图像的窗宽和窗位，将原始像素映射到8比特图像。采用限制对比度的自适应直方图均衡进行图像增强，增强DR图像的对比度同时抑制噪声，使脊椎和软组织的区分更明显，
步骤2，用经过预处理后的图像和具有丰富临床经验的放射医师的标注，得到正侧位的双角度DR平片中不同椎体的感兴趣区域(Region of interest,ROI)，
根据DR图像和对应的标注信息，裁剪出含有脊椎骨折ROI的图像块(ROIpatches)，同时从相邻位置得到正常椎体ROI的图像块，调整图像块尺寸统一为224×224大小，赋予图像块以骨折和正常的分类标签y，
步骤3，将ROI图像块输入设计的神经网络(Neuralnetwork)中，经过在ImageNet数据集上训练得到的预训练模型(CNNmodel)后进行图像块特征混合(Hybridpatch)，然后分别输入到Multi-head transformer和Shifted-window transformer网络模块后进行特征拼接，最后得到脊椎骨折的预测结果，
进一步地，所述步骤3具体包括以下步骤：前后正位片和侧位片的ROI包括正常椎体图像块IN和骨折椎体图像块IF，由CNNmodel得到特征图f(IN,IF)和预测分类
可以计算正常或者骨折的分类损失函数(Class loss)，即
其中N为训练样本总数。在神经网络训练过程中，分类损失函数作为约束项优化CNNmodel，对预训练网络模型中的参数进行微调，使其保持图像特征的表征能力同时，可以适应脊椎骨折数据的统计分布。
第一阶段CNNmodel从ROI图像块提取的特征图f(IN,IF)，在第二阶段经过特征图像块混合将H×W×C维度的f(IN,IF)转换为H/4×W/4×2C维度，分别输入到Multi-headtransformer和Shifted-window transformer，避免下采样丢失有用的特征信息，其中H,W,C分别表示特征图的高、宽和通道数。在Multi-head transformer中，三个1×1卷积将输入特征图
投影到
展平并转置成大小为n×d的序列，其中d是嵌入的维度，Q、K、V展平并转置为大小为n×d的序列，其中n＝H×W，由此可得输出
这让模型从不同的表示子空间联合推断注意力用于骨折定位。在Shifted-window transformer中，特征图在移位的局部窗口内计算自注意力，窗口以不重叠的方式均匀划分，减少了全局注意力的庞大计算量，输出为
其中B为移位偏置。将OMHT和OSWT进行特征拼接得到fcat＝Cancate(OMHT,OSWT)，进一步可知神经网络预测出的骨折位置t＝(tx,ty,tw,th)和定位损失函数
其中(x,y,w,h)为预测框的横、纵坐标及宽度、高度，smoothL1为平滑L1损失函数。
采用正侧位双视角DR图像并且设计Multi-head transformer和Shifted-windowtransformer并行网络模块是本方法的独特之处，经过神经网络训练和优化过程，方法可以得到输入的ROI图像块中骨折不同严重度分级概率和可能病灶位置的预测结果。
步骤4，根据神经网络输出的骨折严重度分级和预测框的概率值，方法实现了双视角DR图像的骨折定位和严重度分级。
步骤5，临床放射科医师和骨科医生通过观察实际DR图像并对脊椎骨折特征检测分析，结合脊椎骨折的定位和严重度分级的结果，确定病患的骨折情况并制定有效的治疗方案。
发明的整个流程示意图如图1所示。
实施例2：参见图1—图3，一种基于DR图像双视角脊椎骨折特征检测方法，具体步骤如下：
步骤1，从DR设备采集脊椎骨折患者的影像，并对图像数据进行预处理。
具体的，步骤1包括：通过中值滤波和各向异性扩散滤波方法，滤除DR图像中噪声点。设置DR图像的窗宽和窗位和限制对比度的自适应直方图均衡进行图像增强。
步骤2，经过预处理后的图像和标注，得到正侧位的双角度DR图像中脊椎的ROI。
具体的，步骤2根据DR图像和对应的标注信息，裁剪出含有脊椎骨折ROI的图像块，同时从相邻位置得到正常脊椎ROI的图像块，赋予图像块以骨折和正常的分类标签y。
步骤3，参见图2，将ROI图像块输入设计的神经网络(Neuralnetwork)中，经过ImageNet在数据集上训练得到的预训练模型(CNNmodel)后进行图像块特征混合(Hybridpatch)，然后分别输入到Multi-head transformer和Shifted-windowtransformer网络模块后进行特征拼接，经过神经网络训练和优化过程，方法可以得到输入的ROI图像块中骨折不同严重度分级概率和可能病灶位置的预测结果。
步骤4，根据神经网络输出的骨折严重度分级和预测框的概率值，方法实现了双视角DR图像的骨折定位和严重度分级。
步骤5，临床放射科医师和骨科医生通过观察实际DR图像，并且分析脊椎骨折特征检测结果，对脊椎骨折病灶定位和严重度分级，确定患者的骨折情况后制定有效的治疗方案。
图2为方法中神经网络的框架图，主要包括了CNNmodel、Multi-head transformer和Shifted-window transformer等网络模块，以及Classification、Hybridpatch、Fractureprediction等主要环节。根据DR图像和对应的标注信息，裁剪出含有脊椎骨折的图像块(Fracture patches)，与相邻位置的正常椎体图像块(Normalpatches)作为CNNmodel的输入，得到的预测分类结果与真实类别计算分类损失(Class loss)，输出的特征图像块混合后经过Multi-head transformer和Shifted-window transformer并行分支网络模块后进行拼接，预测脊椎骨折病灶的位置和严重度分级，由定位坐标和真实标注计算定位损失函数(Location loss)。
图3为方法中神经网络得到的脊椎骨折定位和严重度分级的结果。
左图为前后正位DR图像：Grade 1表示轻度脊椎骨折，表面损失10％～20％；Grade3表示重度脊椎骨折，表面损失超过40％。
右图为侧位DR图像：Grade 1表示轻度脊椎骨折，高度损失20％～25％；Grade 3表示重度脊椎骨折，高度损失超过40％。
效果评估：
本方法发明了一种基于DR图像双视角脊椎骨折特征检测方法，为病理性和骨质疏松症脊椎压缩性骨折患者的临床筛查和早期治疗，提供了一种有效的脊椎骨折特征检测的方法。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。
Claims (4)
1.一种基于DR图像双视角脊椎骨折特征检测方法，其特征在于，具体步骤如下：
步骤1，从DR设备采集脊椎骨折患者的影像，并对图像数据进行预处理；
步骤2，用经过预处理后的图像和具有丰富临床经验的放射医师的标注，得到正侧位的双角度DR平片中不同椎体的感兴趣区域；
步骤3，将ROI图像块输入设计的神经网络中，经过在ImageNet数据集上训练得到的预训练模型CNNmodel后进行图像块特征混合，然后分别输入到Multi-head transformer和Shifted-window transformer网络模块后进行特征拼接，最后得到脊椎骨折的预测结果；
步骤4，根据神经网络输出的骨折严重度分级和预测框的概率值，实现了双视角DR图像的骨折定位和严重度分级；
步骤5，临床放射科医师或者骨科医生通过观察实际DR图像，结合脊椎骨折特征检测的结果，对骨折病灶进行定位和严重度分级。
2.根据权利要求1所述的一种基于DR图像双视角脊椎骨折特征检测方法，其特征在于，通过中值滤波和各向异性扩散滤波方法，对DR图像中的随机噪声进行去噪，将引起DR图像中脊柱椎体边缘模糊的噪声点滤除，根据DICOM格式数据标签或者原始像素值，设置DR图像的窗宽和窗位，将原始像素映射到8比特图像，采用限制对比度的自适应直方图均衡进行图像增强，增强DR图像的对比度同时抑制噪声，使脊椎和软组织的区分更明显。
3.根据权利要求1所述的一种基于DR图像双视角脊椎骨折特征检测方法，其特征在于，根据DR图像和对应的标注信息，裁剪出含有脊椎骨折ROI的图像块，同时从相邻位置得到正常椎体ROI的图像块，调整图像块尺寸，赋予图像块以骨折和正常的分类标签。
4.根据权利要求1所述的一种基于DR图像双视角脊椎骨折特征检测方法，其特征在于，所述步骤3具体如下：前后正位片和侧位片的ROI包括正常椎体图像块IN和骨折椎体图像块IF，第一阶段由CNNmodel从ROI图像块提取的特征图f(IN,IF)和预测分类
在第二阶段经过特征图像块混合将H×W×C维度的f(IN,IF)转换为H/4×W/4×2C维度，分别输入到Multi-head transformer和Shifted-window transformer，其中H,W,C分别表示特征图的高、宽和通道数，在Multi-head transformer中，三个1×1卷积将输入特征图
投影到
展平并转置成大小为n×d的序列，其中d是嵌入的维度，Q、K、V展平并转置为大小为n×d的序列，其中n＝H×W，由此可得输出
这让模型从不同的表示子空间联合推断注意力用于骨折定位，在Shifted-window transformer中，特征图在移位的局部窗口内计算自注意力，窗口以不重叠的方式均匀划分，输出为
其中B为移位偏置，将OMHT和OSWT进行特征拼接得到fcat＝Cancate(OMHT,OSWT)，进一步可知神经网络预测出的骨折位置t＝(tx,ty,tw,th)和定位损失函数
其中(x,y,w,h)为预测框的横纵坐标、宽度和高度，smoothL1为平滑L1损失函数，
采用正侧位的双视角DR图像并且设计Multi-head transformer和Shifted-windowtransformer并行网络模块是本方法的独特之处，经过神经网络训练和优化过程，方法可以对DR图像中骨折特征检测，得到骨折的病灶位置和严重度分级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211021620.4A CN115689987A (zh) | 2022-08-24 | 2022-08-24 | 一种基于dr图像双视角脊椎骨折特征检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211021620.4A CN115689987A (zh) | 2022-08-24 | 2022-08-24 | 一种基于dr图像双视角脊椎骨折特征检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115689987A true CN115689987A (zh) | 2023-02-03 |
Family
ID=85060996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211021620.4A Pending CN115689987A (zh) | 2022-08-24 | 2022-08-24 | 一种基于dr图像双视角脊椎骨折特征检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115689987A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116403728A (zh) * | 2023-06-09 | 2023-07-07 | 吉林大学第一医院 | 医疗就诊数据的数据处理装置和相关设备 |
| CN117274418A (zh) * | 2023-10-08 | 2023-12-22 | 北京长木谷医疗科技股份有限公司 | 基于正侧位x线图像的ct图像生成方法、装置及设备 |
-
2022
- 2022-08-24 CN CN202211021620.4A patent/CN115689987A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116403728A (zh) * | 2023-06-09 | 2023-07-07 | 吉林大学第一医院 | 医疗就诊数据的数据处理装置和相关设备 |
| CN116403728B (zh) * | 2023-06-09 | 2023-08-29 | 吉林大学第一医院 | 医疗就诊数据的数据处理装置和相关设备 |
| CN117274418A (zh) * | 2023-10-08 | 2023-12-22 | 北京长木谷医疗科技股份有限公司 | 基于正侧位x线图像的ct图像生成方法、装置及设备 |
| CN117274418B (zh) * | 2023-10-08 | 2024-04-02 | 北京长木谷医疗科技股份有限公司 | 基于正侧位x线图像的ct图像生成方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599508B (zh) | 基于人工智能的脊柱影像处理方法及相关设备 | |
| CA2188394C (en) | Automated method and system for computerized detection of masses and parenchymal distortions in medical images | |
| CN105513077B (zh) | 一种用于糖尿病性视网膜病变筛查的*** | |
| CN115689987A (zh) | 一种基于dr图像双视角脊椎骨折特征检测方法 | |
| CA2744690C (en) | Image analysis | |
| CN111951221A (zh) | 一种基于深度神经网络的肾小球细胞图像识别方法 | |
| He et al. | Breast image pre-processing for mammographic tissue segmentation | |
| CN109919254B (zh) | 乳腺密度分类方法、***、可读存储介质和计算机设备 | |
| CN111784704B (zh) | Mri髋关节炎症分割与分类自动定量分级序贯方法 | |
| CN115661149A (zh) | 一种基于肺部组织数据的肺部影像处理*** | |
| CN114693682B (zh) | 一种基于图像处理的脊椎特征识别方法 | |
| CN106780492B (zh) | 一种ct骨盆图像的关键帧提取方法 | |
| Zhang et al. | Automatic background recognition and removal (ABRR) in computed radiography images | |
| TWI743969B (zh) | 偵測胸部及腰部脊椎骨折之系統及方法 | |
| Sergeant et al. | Same task, same observers, different values: the problem with visual assessment of breast density | |
| WO2022153100A1 (en) | A method for detecting breast cancer using artificial neural network | |
| Tatjana et al. | Computer-aided Analysis and Interpretation of HRCT Images of the Lung | |
| Srinivasan et al. | Segmentation and classification of cervix lesions by pattern and texture analysis | |
| CN116797597B (zh) | 一种基于三阶段全网络的脊柱退行性疾病全检测方法及*** | |
| CN117876402B (zh) | 一种用于颞下颌关节紊乱病影像的智能分割方法 | |
| CN117911716B (zh) | 基于机器视觉的关节炎ct影像特征提取方法 | |
| Sulaiman et al. | A Convolutional Neural Network Model for Image Enhancement of Extremely Dense Breast Tissue in Digital Breast Tomosynthesis Images | |
| KR20230008279A (ko) | 척추염 분석 방법, 장치 및 컴퓨터 프로그램 | |
| Ganeson | Detection of Distrustful Masses in Digital Mammograms | |
| CN115588020A (zh) | 一种颅骨ct图像的多类型骨折特征检测和区域分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |