CN116369959B - 基于双模态ct的甲状旁腺术前定位方法和装置 - Google Patents
基于双模态ct的甲状旁腺术前定位方法和装置 Download PDFInfo
- Publication number
- CN116369959B CN116369959B CN202310655914.0A CN202310655914A CN116369959B CN 116369959 B CN116369959 B CN 116369959B CN 202310655914 A CN202310655914 A CN 202310655914A CN 116369959 B CN116369959 B CN 116369959B
- Authority
- CN
- China
- Prior art keywords
- parathyroid
- img
- original
- mask
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000849 parathyroid Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002902 bimodal effect Effects 0.000 title claims abstract description 15
- 210000002990 parathyroid gland Anatomy 0.000 claims abstract description 136
- 230000000873 masking effect Effects 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000004807 localization Effects 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000762 glandular Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 208000005770 Secondary Hyperparathyroidism Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000002189 fluorescence spectrum Methods 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及甲状旁腺术前定位技术,公开了基于双模态CT的甲状旁腺术前定位方法和装置,其包括甲状旁腺原始图像IMG原始的获取,甲状旁腺掩码图像IMG掩码的获取,甲状旁腺高斯热图IMG热图的获取,甲状旁腺术前定位模型的训练,损失函数L的计算,甲状旁腺模型IMG预测的预测,通过上述训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;不同的甲状旁腺图像IMG输出的输出。本发明基于平扫CT和增强CT双模态数据,利用3D语义分割算法,实现甲状旁腺的术前定位及可视化,辅助医生更好地识别甲状旁腺,预测结果以二维或三维图像展示有利于医生观察确认。
Description
技术领域
本发明涉及甲状旁腺术前定位技术,尤其涉及了基于双模态CT的甲状旁腺术前定位方法和装置。
背景技术
甲状旁腺术前定位对于继发性甲状旁腺功能亢进症的治疗非常重要,可减少手术时间和手术风险。目前,常用的甲状旁腺术前定位技术包括超声、CT、MRI、核素显像等。尽管核素显像的准确性较高,但设备昂贵,且需要注射放射性同位素,存在一定的安全风险。
临床医生通过上述常用的检测手段,甲状旁腺术前定位的灵敏度较低,且依赖个人经验。此外,尽管存在其他甲状旁腺识别技术(如: 近红外自体荧光成像技术、内窥镜,光纤探针***等),这些技术大多用于甲状旁腺的术中识别,并且有效性和安全性仍有待验证。
因此,综合考虑设备成本、操作便利性、易得性、安全性、敏感性等因素,CT是比较理想的技术模态,而CT在临床实践中存在平扫CT和增强CT两种成像模态,且两者具有较强的互相性,医生结合两种模态的CT数据,可提高甲状旁腺的识别灵敏度。
当前,利用AI技术基于医学影像算法潜在地学习专家知识,辅助甲状旁腺的定位,提高医生甲状旁腺的识别灵敏度,缩短学习曲线,从而提高工作效能。
现有的可用于甲状旁腺定位的AI算法主要分两类:目标检测算法(前者)和语义分割算法(后者)。前者经典算法有 Faster R-CNN, YOLO,EfficientDet 等,这些算法一般以目标矩形框作为学习的标签,会掺杂无关的信息;一般需要预训练模型,且对标注数据量要求比较大;后者经典算法有 FCN,U-Net,Mask R-CNN,DeepLabv3等,该类算法相对于目标检测检测算法,可实现像素级别的目标分割。
此外,无论使用目标检测算法还是语义分割算法,对于三维图像来说,使用常规的二维卷积无法充分利用三维数据的上下文信息,并且为了得到最终简洁的预测结果,会涉及较为复杂的后处理过程。
如现有技术文件1,专利申请号,CN201911016165.7,专利名称为基于近红外自体荧光的术中实时甲状旁腺识别方法;其公开了包括如下步骤:可疑甲状旁腺进行成像;获得可疑甲状旁腺及周围组织荧光光谱数据;判断光谱图中是否为甲状旁腺;进行大数据分析;训练智能模型。
如现有技术文件2,专利申请号,CN202110499036.9,专利名称为一种基于图像融合技术的甲状旁腺识别方法;其公开了利用训练得到的甲状旁腺识别模型对待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像进行特征提取和融合以识别甲状旁腺,利用在实景图像上***、脂肪等组织容易辨别的特点,采用深度学习图像融合技术对荧光显影图像和实景图像的特征进行融合用于识别甲状旁腺。
对于现有技术中需要预训练模型,且对标注数据量要求比较大设备昂贵,且需要注射放射性同位素,存在一定的安全风险。
发明内容
本发明针对现有技术中对于甲状旁腺定位需要预训练模型,且对标注数据量要求比较大设备昂贵,且需要注射放射性同位素,存在一定的安全风险的问题,提供了基于双模态CT的甲状旁腺术前定位方法和装置。
为了解决上述技术问题,本发明通过下述技术方案得以解决:
基于双模态CT的甲状旁腺术前定位方法,其方法包括:
甲状旁腺原始图像IMG原始的获取,基于双模态CT获取甲状旁腺原始图像IMG原始;
甲状旁腺掩码图像IMG掩码的获取,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
甲状旁腺高斯热图IMG热图的获取,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
甲状旁腺术前定位模型的训练,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数 L迭代更新3D 语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
损失函数L的计算,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice 损失、交叉熵损失/>和热力图损失/>,进而得到总的损失L;并依据计算得到的损失 L,通过梯度下降算法进行反向传播,迭代更新模型参数;
甲状旁腺模型IMG预测的预测,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
不同的甲状旁腺图像IMG输出的输出,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
作为优选,还包括甲状旁腺输出图像IMG输出的可视化显示,通过二维图像或三维图像对甲状旁腺输出图像IMG输出进行可视化显示。
作为优选,还包括甲状旁腺输出图像IMG输出的误差对比分析,通过差异化图对比模型预测得到的甲状旁腺输出图像IMG输出与人工标注的甲状旁腺图像进行对比分析。
作为优选,新增甲状旁腺高斯热图IMG热图作为模型训练的学习标签,具体包括:
对于甲状旁腺掩码图像IMG掩码的CT层面图像上,获取每个甲状旁腺轮廓C的质心O,并获取每个甲状旁腺轮廓的点到质心最大距离R;
以甲状旁腺轮廓质心0的位置作为圆心,圆心处的置信度为1;则以0为圆心对应的目标热图为 H,热图上某一点 />上的值/>为:
,
其中,取R;
去除超出标注每个甲状旁腺轮廓 C的区域,将热图H与医生标注的甲状旁腺轮廓C求交集,获得甲状旁腺高斯热图IMG热图。
作为优选,甲状旁腺模型IMG预测的预测,通过3D 语义分割算法实现,具体包括:
甲状旁腺原始图像IMG原始经 3D 语义分割模型,获得模型输出矩阵 M;
对模型输出矩阵 M执行 softmax 操作,获得每个像素 i 分别属于前景的概率Pi和背景的概率;
当像素 i 前景的概率Pi高于阈值 T,则此位置处设为1,否则设为0,从而获得模型预测的甲状旁腺掩码图像IMG预测。
作为优选,损失函数L的计算包括:
Dice 损失:
,
其中,为像素i的标签值,/>为像素i的预测值,N为像素点个数;
交叉熵损失:
,
其中,N为像素点个数,为像素i的label,正类为1,负类为0;/>为像素点i预测为正类的概率;
热力图损失 采用的是 MSE 损失:
,
其中,N为样本数量,为像素i的标签值,/>为像素i的预测值;
图像语义分割损失:
,
损失函数:
,
其中,为根据试验结果择优确定的常数。
作为优选,甲状旁腺输出图像IMG输出的误差对比分析包括:
甲状旁腺掩码图像IMG掩码为矩阵Gd×w×h,甲状旁腺模型IMG预测为矩阵Pd×w×h,两者的差异化图矩阵Dd×w×h,其中,d为图像深度,w为图像宽度,h为图像高度,且IMG掩码和IMG预测中的1代表前景,即甲状旁腺;0代表背景;
初始化差异化图矩阵Dd×w×h;
甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 与甲状旁腺模型IMG预测矩阵Pd×w×h进行逻辑与运算,获得交集掩码M1、漏检掩码M2和误检掩码M3;
其中,模型漏检掩码M2:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为1,甲状旁腺模型IMG预测矩阵Pd×w×h为0时的布尔掩码;误检掩码M3:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 为0,甲状旁腺模型IMG预测矩阵Pd×w×h为1时的布尔掩码。
作为优选,还包括差异化图矩阵D d×w×h的可视化,通过SimpleITK将差异化图矩阵D d×w×h保存成NIfTI格式的文件,使用 Python 软件包Mayavi对差异化图矩阵Dd×w×h 的NIfTI文件进行可视化展示。
为了解决上述技术问题,本发明还提供了基于双模态CT的甲状旁腺术前定位装置,其包括:
甲状旁腺原始图像IMG原始的获取模块,基于双模态CT获取甲状旁腺原始图像IMG原始;
甲状旁腺掩码图像IMG掩码的获取模块,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
甲状旁腺高斯热图IMG热图的获取模块,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
损失函数L的计算模块,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及 3D语义分割模型的输出,计算Dice 损失、交叉熵损失/>和热力图损失/> ,进而计算得到总的损失L。依据计算得到的损失L,使用梯度下降算法进行反向传播,迭代更新模型参数;
甲状旁腺模型IMG预测的预测模块,通过已训练好的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
不同的甲状旁腺图像IMG输出的输出模块,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
本发明由于采用了以上技术方案,具有显著的技术效果:
本发明基于平扫CT和增强CT双模态数据,利用3D语义分割算法,实现甲状旁腺的术前定位及可视化,辅助医生更好地识别甲状旁腺。
本发明的3D语义分割算法,可以更好地捕捉CT数据片层之间的上下文信息,后处理简单。
本发明的预测结果以二维或三维图像展示均可,有利于医生观察确认。
附图说明
图1是本发明的流程图。
图2-1是本发明的标注的甲状旁腺示意图;
图2-2是本发明的高斯热图的示意图;
图2-3是本发明的高斯热图的效果图。
图3-1是本发明的平扫CT图像;
图3-2是本发明的平扫CT图像的二维图像预测结果;
图3-3是本发明的平扫CT图像的三维图像预测结果。
图4-1是本发明的增强CT图像;
图4-2是本发明的增强CT图像的二维图像预测结果;
图4-3是本发明的增强CT图像的三维图像预测结果。
图5是本发明的误差分析可视化效果图。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
基于双模态CT的甲状旁腺术前定位方法,其方法包括:
甲状旁腺原始图像IMG原始的获取,基于双模态CT获取甲状旁腺原始图像IMG原始;
对于甲状旁腺图像IMG原始的获取,使用SimpleITK 或其他软件亦可如:dicom2nifti;将原始DICOM 格式甲状旁腺图像的数据转换成NIfTI格式的数据;对于转换格式后的甲状旁腺图像进行窗宽窗位调整,通常使用医生拍摄CT时设置的窗宽窗位值对数据进行转换,获得对比度较高的图像数据,则该数据为甲状旁腺原始图像IMG原始的数据;
甲状旁腺掩码图像IMG掩码的获取,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
通过ITK-SNAP软件对甲状旁腺原始图像IMG原始的平扫CT和甲状旁腺原始图像IMG原始的增强CT逐层标注出甲状旁腺的区域;甲状旁腺区域的每个像素点的前景用1表示;非甲状旁腺区域的背景用0编码表示,从而获得二值化编码的掩码图像,即甲状旁腺掩码图像IMG掩码;
甲状旁腺高斯热图IMG热图的获取,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
由于甲状旁腺在不同模态CT下的成像清晰度不同及标注的人为主观性,即使是亲手做手术的医生标注的甲状旁腺区域,其轮廓与真实情况也存在一定偏差,越接近轮廓质心位置,其置信度越高。
在每个CT层面slice图像上,求出每个甲状旁腺轮廓C;每个甲状旁腺的质心O,求出轮廓上的点到质心最大距离R。如图2-1所示,其中多边形代表医生标注的甲状旁腺C,O为轮廓的质心;
以甲状旁腺轮廓质心O的位置作为圆心,此处置信度为1,目标热图是以O为中心的正态分布的采样。以O为圆心对应的目标热图为H,热图上某一点/>上的值为:
,
其中,取 R。由此可见,距离轮廓质心O越远的位置,其置信度越低,如图2-2所示,子图中的具体数字仅作为示意使用。
去除超出标注轮廓C的区域: 将热图 H 与医生标注的甲状旁腺轮廓C 求交集,即可获得最终使用的高斯热图GHM。如图2-3所示,多边形轮廓内的热图区域即为GHM,其作为后续语义分割模型的学习目标之一。热图中中心点位置处的值为1,越远离中心点,其值越低;热图中背景区域的值为0。
甲状旁腺术前定位模型的训练,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数 L迭代更新3D 语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
损失函数L的计算,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice 损失、交叉熵损失/>和热力图损失/>,进而计算得到总的损失L。依据计算得到的损失 L,使用梯度下降算法进行反向传播,迭代更新模型参数;
甲状旁腺模型IMG预测的预测,通过上述训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
不同的甲状旁腺图像IMG输出的输出,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
上述预测的二值化掩码图像B,进行连通域分析,获得最终预测的不同的甲状旁腺。具体实现可采用 Python 软件包 connected-components-3d 从二值化掩码图像B中获得多标签连接部件标签(CCL)3D图像,使用的函数为connected_components,参数connectivity取26,即26 邻域;CCL 3D 图像中,不同的甲状旁腺用不同的掩码值表示,如1, 2, 3, 4分别代表四个不同的甲状旁腺,因此可以根据 CCL 3D 图像中的不同掩码值,提取不同的甲状旁腺所在区域,其他软件实现亦可。
损失函数L的计算包括:
Dice 损失:
,
其中,为像素i的标签值,/>为像素i的预测值,N为像素点个数;
交叉熵损失:
;
其中,N为像素点个数,为像素i的label,正类为1,负类为0;/>为像素点i预测为正类的概率;
热力图损失 采用的是MSE损失:
;
其中,N为样本数量,为像素i的标签值,/>为像素i的预测值;
图像语义分割损失:
;
损失函数:
;
其中,为根据试验结果择优确定的常数。
甲状旁腺模型IMG预测的预测,通过3D语义分割算法实现,具体包括:
甲状旁腺原始图像IMG原始经3D语义分割模型,获得模型输出矩阵M;
对模型输出矩阵 M执行softmax操作,获得每个像素 i 分别属于前景的概率Pi和背景的概率1-Pi;其中前景的概率与背景的概率之和为1。
当像素 i 前景的概率Pi高于阈值 T,则此位置处设为1,否则设为0,从而获得模型预测的甲状旁腺掩码图像IMG预测。
实施例2
在实施例1基础上,本实施例还包括甲状旁腺输出图像IMG输出的可视化显示,通过二维图像或三维图像对甲状旁腺输出图像IMG输出进行可视化显示。图3-1和图4-1 分别是平扫CTslice 图像和增强 CTslice图像。
二维图像:二值化掩码图像 B 中,逐片层进行检查,若某片层存在1的掩码值,即此片层存在潜在的甲状旁腺区域,将其可视化。图3-2 和图4-2中的白色轮廓内的区域分别是模型从上述图 3-1 和图 4-1预测出的甲状旁腺区域。
三维图像: 具体实现步骤为采用Python软件包Mayavi对上述 CCL3D 图像进行可视化,不同的甲状旁腺用不同颜色进行标识。此处仅为实现示例,其他实现方式亦可,如ITK-SNAP, Matplotlib 软件。图 3-3 和图4-3分别是模型从上述图 3-1 和图 4-1来源的整张CT片子中预测出的甲状旁腺3D效果图,不同颜色的3D实体代表不同的甲状旁腺。
实施例3
在上述实施例基础上,本实施例还包括甲状旁腺输出图像IMG输出的误差对比分析,通过差异化图对比模型预测得到的甲状旁腺输出图像IMG输出与人工标注的甲状旁腺图像进行对比分析。
甲状旁腺输出图像IMG输出的误差对比分析包括:
甲状旁腺掩码图像IMG掩码为矩阵Gd×w×h,甲状旁腺模型IMG预测为 矩阵Pd×w×h,两者的差异化图矩阵 Dd×w×h,其中, d为图像深度,w为图像宽度,h为图像高度,且IMG掩码和IMG预测中的1代表前景,即甲状旁腺;0代表背景;
初始化差异化图矩阵Dd×w×h;
甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 与甲状旁腺模型IMG预测矩阵Pd×w×h进行逻辑与运算,获得交集掩码M1、漏检掩码M2和误检掩码M3;
其中,模型漏检掩码 M2:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为1,甲状旁腺模型IMG预测矩阵Pd×w×h为0时的布尔掩码;误检掩码M3:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 为0,甲状旁腺模型IMG预测矩阵Pd×w×h为1时的布尔掩码。
将D中 M1 掩码为真处的值置为1;D中 M2 掩码为真处的值置为2;D中 M3 掩码为真处的值置为3。需要指出的是,此处具体赋值仅为示例,只要三种掩码为真处的赋值不同即可,便于后可视化时,交集、漏检和误检以不同颜色标识出来。
实施例4
在实施例3基础上,本实施例还包括差异化图矩阵Dd×w×h的可视化,通过SimpleITK 将差异化图矩阵D d×w×h保存成 NIfTI格式的文件,使用Python软件包 Mayavi对差异化图矩阵Dd×w×h 的NIfTI文件进行可视化展示。具体效果图如图5所示模型与GT的交集区域,模型漏检区域及模型误检区域。
实施例5
在上述实施例基础上,本实施例为基于双模态CT的甲状旁腺术前定位装置,其包括:甲状旁腺原始图像IMG原始的获取模块,基于双模态CT获取甲状旁腺原始图像IMG原始;甲状旁腺掩码图像IMG掩码的获取模块,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
甲状旁腺高斯热图IMG热图的获取模块,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
甲状旁腺术前定位模型的训练模块,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数 L迭代更新3D 语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
损失函数L的计算模块,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice 损失、交叉熵损失/>和热力图损失/>,进而得到总的损失L;并依据计算得到的损失 L,通过梯度下降算法进行反向传播,迭代更新模型参数;
甲状旁腺模型IMG预测的预测模块,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
不同的甲状旁腺图像IMG输出的输出模块,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
Claims (8)
1.基于双模态CT的甲状旁腺术前定位方法,其方法包括:
甲状旁腺原始图像IMG原始的获取,基于双模态CT获取甲状旁腺原始图像IMG原始;
甲状旁腺掩码图像IMG掩码的获取,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
甲状旁腺高斯热图IMG热图的获取,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
甲状旁腺术前定位模型的训练,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数L迭代更新3D语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
损失函数L的计算,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice损失Ldice、交叉熵损失Lce和热力图损失Lh,进而得到总的损失L;并依据计算得到的损失L,通过梯度下降算法进行反向传播,迭代更新模型参数;
损失函数L的计算包括:
Dice损失Ldice:
其中,yi为像素i的标签值,为像素i的预测值,N为像素点个数;
交叉熵损失Lce:
其中,N为像素点个数,yi为像素i的label,正类为1,负类为0;pi为像素点i预测为正类的概率;
热力图损失Lh采用的是MSE损失:
其中,N为样本数量,yi为像素i的标签值,为像素i的预测值;
图像语义分割损失Ls:
Ls=αLdice+(1-α)Lce,
损失函数L:
L=γLs+(1-γ)Lh,
其中,α、γ为根据试验结果择优确定的常数;
甲状旁腺模型IMG预测的预测,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
不同的甲状旁腺图像IMG输出的输出,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
2.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,还包括甲状旁腺输出图像IMG输出的可视化显示,通过二维图像或三维图像对甲状旁腺输出图像IMG输出进行可视化显示。
3.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,还包括甲状旁腺输出图像IMG输出的误差对比分析,通过差异化图对比模型预测得到的甲状旁腺输出图像IMG输出与人工标注的甲状旁腺图像进行误差分析。
4.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,甲状旁腺高斯热图IMG热图作为模型训练的学习标签,具体包括:
对甲状旁腺掩码图像IMG掩码的CT层面图像上,获取每个甲状旁腺轮廓C的质心O,并获取每个甲状旁腺轮廓的点到质心最大距离R;
以甲状旁腺轮廓质心0的位置(xi,yi)作为圆心,圆心处的置信度为1;则以0为圆心对应的目标热图为H,热图上任一点(x,y)上的值hi(x,y)为:
其中,σ取R;
去除超出标注每个甲状旁腺轮廓C的区域,将热图H与医生标注的甲状旁腺轮廓C求交集,获得甲状旁腺高斯热图IMG热图。
5.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,甲状旁腺模型IMG预测的预测,通过3D语义分割算法实现,具体包括:
甲状旁腺原始图像IMG原始经3D语义分割模型,获得模型输出矩阵M;
对模型输出矩阵M执行softmax操作,获得每个像素i分别属于前景的概率Pi和背景的概率1-Pi;
当像素i前景的概率Pi高于阈值T,则此位置设为1,否则为0,从而获得模型预测的甲状旁腺掩码图像IMG预测。
6.根据权利要求3所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,甲状旁腺输出图像IMG输出的误差对比分析包括:
甲状旁腺掩码图像IMG掩码为矩阵Gd×w×h,甲状旁腺模型IMG预测为矩阵Pd×w×h,两者的差异化图矩阵D d×w×h,其中,d为图像深度,w为图像宽度,h为图像高度,且IMG掩码和IMG预测中的1代表前景,即甲状旁腺;0代表背景;
初始化差异化图矩阵D d×w×h;
甲状旁腺掩码图像IMG掩码矩阵Gd×w×h与甲状旁腺模型IMG预测矩阵Pd×w×h进行逻辑与运算,获得交集掩码M1、漏检掩码M2和误检掩码M3;
其中,模型漏检掩码M2:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为1,甲状旁腺模型IMG预测矩阵Pd×w×h为0时的布尔掩码;误检掩码M3:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为0,甲状旁腺模型IMG预测矩阵Pd×w×h为1时的布尔掩码。
7.根据权利要求6所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,还包括差异化图矩阵D d×w×h的可视化,通过SimpleITK将差异化图矩阵D d×w×h保存成NIfTI格式的文件,使用Python软件包Mayavi对差异化图矩阵D d×w×h的NIfTI文件进行可视化展示。
8.基于双模态CT的甲状旁腺术前定位装置,其特征在于,包括:
甲状旁腺原始图像IMG原始的获取模块,基于双模态CT获取甲状旁腺原始图像IMG原始;
甲状旁腺掩码图像IMG掩码的获取模块,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
甲状旁腺高斯热图IMG热图的获取模块,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
甲状旁腺术前定位模型的训练模块,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数L迭代更新3D语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
损失函数L的计算模块,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice损失Ldice、交叉熵损失Lce和热力图损失Lh,进而得到总的损失L;并依据计算得到的损失L,通过梯度下降算法进行反向传播,迭代更新模型参数;
损失函数L的计算包括:
Dice损失Ldice:
其中,yi为像素i的标签值,为像素i的预测值,N为像素点个数;
交叉熵损失Lce:
其中,N为像素点个数,yi为像素i的label,正类为1,负类为0;pi为像素点i预测为正类的概率;
热力图损失Lh采用的是MSE损失:
其中,N为样本数量,yi为像素i的标签值,为像素i的预测值;
图像语义分割损失Ls:
Ls=αLdice+(1-α)Lce,
损失函数L:
L=γLs+(1-γ)Lh,
其中,α、γ为根据试验结果择优确定的常数;
甲状旁腺模型IMG预测的预测模块,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
不同的甲状旁腺图像IMG输出的输出模块,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310655914.0A CN116369959B (zh) | 2023-06-05 | 2023-06-05 | 基于双模态ct的甲状旁腺术前定位方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310655914.0A CN116369959B (zh) | 2023-06-05 | 2023-06-05 | 基于双模态ct的甲状旁腺术前定位方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116369959A CN116369959A (zh) | 2023-07-04 |
CN116369959B true CN116369959B (zh) | 2023-08-11 |
Family
ID=86973585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310655914.0A Active CN116369959B (zh) | 2023-06-05 | 2023-06-05 | 基于双模态ct的甲状旁腺术前定位方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116369959B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110693458A (zh) * | 2019-10-24 | 2020-01-17 | 西安交通大学医学院第一附属医院 | 基于近红外自体荧光的术中实时甲状旁腺识别方法 |
EP3754600A1 (en) * | 2019-06-21 | 2020-12-23 | Straxcorp Pty Ltd | A method and system for machine learning classification based on structure or material segmentation in an image |
CN113205141A (zh) * | 2021-05-08 | 2021-08-03 | 脉得智能科技(无锡)有限公司 | 一种基于图像融合技术的甲状旁腺识别方法 |
CN113313234A (zh) * | 2020-06-18 | 2021-08-27 | 上海联影智能医疗科技有限公司 | 用于图像分割的神经网络***和方法 |
CN114266926A (zh) * | 2021-12-17 | 2022-04-01 | 深圳先进技术研究院 | 一种基于平扫ct的物质分解方法、智能终端及存储介质 |
CN114913528A (zh) * | 2021-02-10 | 2022-08-16 | 中国信息通信研究院 | 图像语义分割方法及装置 |
CN115546342A (zh) * | 2022-10-28 | 2022-12-30 | 上海联影医疗科技股份有限公司 | 双能ct图像生成方法、装置、电子设备和可读存储介质 |
CN115620010A (zh) * | 2022-09-20 | 2023-01-17 | 长春理工大学 | 一种rgb-t双模态特征融合的语义分割方法 |
WO2023082870A1 (zh) * | 2021-11-10 | 2023-05-19 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020020623A1 (en) * | 2018-07-24 | 2020-01-30 | Brainlab Ag | Beam path based patient positioning and monitoring |
-
2023
- 2023-06-05 CN CN202310655914.0A patent/CN116369959B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3754600A1 (en) * | 2019-06-21 | 2020-12-23 | Straxcorp Pty Ltd | A method and system for machine learning classification based on structure or material segmentation in an image |
CN110693458A (zh) * | 2019-10-24 | 2020-01-17 | 西安交通大学医学院第一附属医院 | 基于近红外自体荧光的术中实时甲状旁腺识别方法 |
CN113313234A (zh) * | 2020-06-18 | 2021-08-27 | 上海联影智能医疗科技有限公司 | 用于图像分割的神经网络***和方法 |
CN114913528A (zh) * | 2021-02-10 | 2022-08-16 | 中国信息通信研究院 | 图像语义分割方法及装置 |
CN113205141A (zh) * | 2021-05-08 | 2021-08-03 | 脉得智能科技(无锡)有限公司 | 一种基于图像融合技术的甲状旁腺识别方法 |
WO2023082870A1 (zh) * | 2021-11-10 | 2023-05-19 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
CN114266926A (zh) * | 2021-12-17 | 2022-04-01 | 深圳先进技术研究院 | 一种基于平扫ct的物质分解方法、智能终端及存储介质 |
CN115620010A (zh) * | 2022-09-20 | 2023-01-17 | 长春理工大学 | 一种rgb-t双模态特征融合的语义分割方法 |
CN115546342A (zh) * | 2022-10-28 | 2022-12-30 | 上海联影医疗科技股份有限公司 | 双能ct图像生成方法、装置、电子设备和可读存储介质 |
Non-Patent Citations (1)
Title |
---|
《基于迭代残差网络的图像域双能 CT 材料分解方法研究》;王冲旭;《中国优秀硕士学位论文全文数据库 (基础科学辑)》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116369959A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Oulefki et al. | Automatic COVID-19 lung infected region segmentation and measurement using CT-scans images | |
US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
CN110059697B (zh) | 一种基于深度学习的肺结节自动分割方法 | |
CN109583440B (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及*** | |
CN109791693B (zh) | 用于提供可视化全切片图像分析的数字病理学***及相关工作流程 | |
EP2916737B1 (en) | System and method for automated detection of lung nodules in medical images | |
US20190122073A1 (en) | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture | |
EP2102789B1 (en) | System and method for feature score mapping and visualization of medical images | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及*** | |
EP3140778B1 (en) | Method and apparatus for image scoring and analysis | |
US20190035075A1 (en) | Method and apparatus for classifying a data point in imaging data | |
Ye et al. | Severity assessment of COVID-19 based on feature extraction and V-descriptors | |
Chen et al. | Identifying metastases in sentinel lymph nodes with deep convolutional neural networks | |
JP2007325931A (ja) | 放射線医学的徴候の検出のために放射線画像を処理するための方法 | |
Oluyide et al. | Automatic lung segmentation based on Graph Cut using a distance‐constrained energy | |
US9672600B2 (en) | Clavicle suppression in radiographic images | |
Hamad et al. | Segmentation and measurement of lung pathological changes for COVID-19 diagnosis based on computed tomography | |
CN113689412A (zh) | 甲状腺图像处理方法、装置、电子设备及存储介质 | |
CN116369959B (zh) | 基于双模态ct的甲状旁腺术前定位方法和装置 | |
CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析*** | |
CN113112475B (zh) | 一种基于机器学习的中医耳部五脏区域分割方法和装置 | |
Singh et al. | Preprocessing of Medical Images using Deep Learning: A Comprehensive Review | |
JP7130107B2 (ja) | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 | |
Shaziya et al. | Comprehensive review of automatic lung segmentation techniques on pulmonary CT images | |
Ibrahim et al. | Using trainable segmentation and watershed transform for identifying unilocular and multilocular cysts from ultrasound images of ovarian tumour |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |