CN111862071A - 一种基于ct图像测量腰1椎体ct值的方法 - Google Patents
一种基于ct图像测量腰1椎体ct值的方法 Download PDFInfo
- Publication number
- CN111862071A CN111862071A CN202010741396.0A CN202010741396A CN111862071A CN 111862071 A CN111862071 A CN 111862071A CN 202010741396 A CN202010741396 A CN 202010741396A CN 111862071 A CN111862071 A CN 111862071A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- pixel
- edge
- vertebral body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000003708 edge detection Methods 0.000 claims abstract description 5
- 238000002591 computed tomography Methods 0.000 claims description 61
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000003416 augmentation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000029725 Metabolic bone disease Diseases 0.000 description 1
- 206010049088 Osteopenia Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于CT图像测量腰1椎体CT值的方法,步骤1:对CT图像进行预处理,得到训练集;步骤2:对训练集进行图像块剪裁操作,得到数据集;步骤3:通过深度学习进行腰1椎体分割;步骤4:边缘检测精确定位腰1椎体;步骤5:孔洞填充;步骤6:寻找腰1椎体像素点;步骤7:累加腰1椎体像素点并换算CT值。本发明设计了一种腰1椎体CT值测算的方法,本方法基于先分割后计算的思路,较为准确的实现腰1椎体CT值的测算。
Description
技术领域
本发明涉及腰椎测量技术领域,具体为一种基于CT图像测量腰1椎体CT值的方法。
背景技术
通过分析腰1椎体的CT值可以用来评估骨密度进而可以辅助诊断骨量减少,骨质疏松等疾病。
传统的测量腰1椎体的CT值存在精度低和成本高等问题。本专利提出一种方法直接基于CT图像通过计算机深度学习,进行数字图像处理,非常方便的测量腰1椎体的CT值供医生进行疾病诊断。
发明内容
本发明的目的在于提供一种基于CT图像测量腰1椎体CT值的方法,该方法首先对CT图像进行预处理,接着通过深度学习对腰1椎体分割,再遍历整张片累加腰1椎体的像素点,最后像素点个数乘以每个像素的面积求得整个腰1椎体的面积即CT值,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于CT图像测量腰1椎体CT值的方法,包括以下步骤:
步骤1:对CT图像进行预处理,得到训练集;
步骤2:对训练集进行图像块剪裁操作,得到数据集;
步骤3:通过深度学习进行腰1椎体分割;
步骤4:边缘检测精确定位腰1椎体;
步骤5:孔洞填充;
步骤6:寻找腰1椎体像素点;
步骤7:累加腰1椎体像素点并换算CT值。
优选的,所述步骤1包括以下步骤:
步骤1.1:采用CLAHE算法对图像进行直方图均衡化;
步骤1.2:采用伽马变换调整图像整体灰度;
步骤1.3:归一化图像像素值在0到1之间。
优选的,所述步骤1.1包括:在CLAHE算法中,对于像素邻域,对比度是通过变换函数的斜率计算得到的,变换函数的斜率与该像素邻域的累积分布函数CDF斜率成正比,在计算该像素邻域的CDF之前,CLAHE算法根据指定的阈值对直方图进行裁剪,并将裁剪部分均匀地分布到直方图中。
优选的,所述步骤1.2包括:伽马变换通过对灰度值进行非线性操作,使处理后图像的灰度值与处理前图像的灰度值之间呈现非线胜指数关系,实现灰度拉伸;
伽马变换公式如下:
IOUT=cIIN γ
其中Iin为处理后图像的灰度值,IOUT为处理前图像的灰度值,c为灰度缩放系数,γ为变换指数;
当γ取不同值时,输入灰度值取0到255并对输入输出灰度值做归一化为0到1之间,当γ小于1时,图像的灰度值提高;当γ大于1时,图像的整体亮度拉低;当γ等于1时,整体亮度与原图一致,取值为0.5。
优选的,所述步骤1.3包括:像素的归一化通过将所有像素值除以最大像素值来实现,最大像素值为255;
计算公式如下:
x'=(x-X_min)/(X_max-X_min);
其中x'为归一化结果,x为输入像素值,X_min为所有输入图像像素中的最小值,X_max为所有输入图像像素中的最大值。
优选的,所述步骤2包括:对于训练集,裁剪时生成一组随机坐标,以随机坐标作为中心点,裁剪大小为48*48的图像块,得到数据集。
优选的,所述步骤3包括:在Unet中加入R2模块与Attention Augment模块;
其中,Unet结构总体呈对称的U型结构,包含12个单元F1-F12,左侧F1-F6为收缩路径,右侧F6-F12为扩张路径;
R2模块包括残差学习单元和递归卷积:
残差学习单元:设定一个神经网络单元的输入是x,期望输出是H(x),定义一个残差映射F(x)=H(x)-x,把x直接传递给输出,该神经网络单元学习的目标为残差映射F(x)=H(x)-x,残差学习单元由一系列卷积层和一个捷径组成,输入x通过捷径传递给残差学习单元的输出,残差学习单元的输出为z=F(x)+x;
递归卷积:设定输入为x,对输入x进行连续的卷积,每一次的卷积输出加上当前的输入作为下一次的卷积的输入;
R2模块将残差学习单元中的普通卷积替换为递归卷积;
Attention Augment为通过查询得到一系列键-值对的映射,Attention Augment模块的实现步骤包括以下:
通过对输入大小为(w,h,cin)的特征图进行1*1卷积输出QKV矩阵,其大小为(w,h,2*dk+dv),其中w、h、2*dk+dV分别表示矩阵的宽、长与深度,Cin为输入图像特征层数;
从深度通道上对QKV矩阵进行分割,得到Q、K、V三个矩阵,Q、K、V三个矩阵的深度通道大小分别为dk、dk、dv;
采用多头注意力机制的结构,将Q、K、V三个矩阵分别从深度通道上分割为N个相等的矩阵;
对于分割好的Q、K、V矩阵在进行扁平化处理生成Flat_Q、Flat_K、Flat_V三个矩阵,即对Q、K、V矩阵保持深度通道不变,从长宽方向对Q、K、V矩阵进行压缩到1维,其中Flat_Q、Flat_K两个矩阵的大小为(w*h,dk),Flat_V矩阵大小为(w*h,dv);
Attention Augment使用Flat_Q、Flat_K两个矩阵进行矩阵乘法运算,计算出权重矩阵,且在此基础上添加相对位置嵌入的计算,通过对Q矩阵进行长宽两方向的权重计算得到特征图上每个点的相对位置信息;
将注意力特征矩阵O和正常的卷积过程按深度方向进行拼接得到AttentionAugment的结果,注意力特征矩阵O的计算公式如下:
优选的,所述步骤4包括:利用像素级的Sobel算子粗定位整个输出结果图像可能的边缘点,具体步骤包括:
步骤A1:对CT图像上灰度值为f(x,y)的点(x,y),x,y分别为点的横坐标与纵坐标,在x,y两个方向上计算灰度值的偏导数fx′与fy′,计算公式如下:
fx′=f(x+1,y-1)-f(x-1,y-1)+f(x+1,y)-f(x-1,y)+f(x+1,y+1)-f(x-1,y+1)
fy′=f(x-1,y+1)-f(x-1,y-1)+f(x,y+1)-f(x-1,y)+f(x,y-1)-f(x+1,y-1);
步骤A2:计算点(x,y)的梯度,计算公式如下:
其中fx′(x,y)与fy′(x,y)表示x方向和y方向的一阶微分,G[f(x,y)]为梯度;
步骤A3:设定阈值为t,当G[f(x,y)]>t时,判定点(x,y)为图像可能的边缘点,将可能的边缘点保存在二维数组中;
在像素级Sobel算子进行图像边缘粗定位后,利用Zernike矩算子对保存在数组中粗定位的边缘点重新精确定位图像边缘,具体步骤如下:
步骤B1:将粗定位的边缘图像和Zernike矩的7*7模板进行卷积计算;
步骤B2:计算每一个像素点的边缘角度θ,边缘两侧的灰度差k、l=(l1+l2)/2参数,其中l是单位圆圆心到边缘的垂直距离,其中l1,l2为同一边缘角度方向的两个像素点单位圆圆心到边缘的垂直距离;
步骤B3:当像素点的参数满足判定条件k≥kt∩|l2-l1|≤lt,利用亚像素边缘坐标公式计算其精确坐标参数,公式如下:
其中,xs为精确坐标点的横坐标,ys为精确坐标点的纵坐标,N为模板长度,l是单位圆圆心到边缘的垂直距离,φ为是边缘与X轴的夹角,kt为阈值t下边缘两侧的灰度差,lt为阈值t下圆心到边缘的垂直距离;
步骤B4:当像素点的参数不满足边缘判定条件,则排除该像素点,重复步骤B1、B2、B3直到全部边缘点检测完毕。
优选的,所述步骤5包括:孔洞填充的原理公式为:
其中Xk为第K次处理过后的结果图,Xk-1为第K-1次处理过后的结果图;
对A图进行孔洞填充,求出A图的补集AC,其中A图为输入图像,即待填孔的图像;
构建X0,X0为除了一点像素为白其余像素全黑的图像;
用B对X0膨胀处理,B为结构元;
利用AC对膨胀处理后的结果求交集,将交集后的结果限制在孔洞内,然后迭代,直到Xk-1与Xk相同,填充结束。
优选的,所述步骤6包括:
把像素点降维成为一维数据并且进行二分化,把所有像素点变成纯黑或纯白;
将整张图像处理成一个二维数组,0代表纯黑像素点,1代表纯白像素点,二维数组的行数和列数为图像分辨率大小;
采用广度优先遍历,广度优先遍历的步骤包括:
步骤C1:从第0行开始遍历,遇到第一个像素点为1时,对其左、右、下三个方向数组点值做判断,当第一个像素点周围邻居点的值是1,
则像素点们都在同一个气泡中;
步骤C2:把第一个像素点的邻居点们压入队列中;
步骤C3:当第一个像素点访问完成后,将第一个像素点的值1置为0表示访问完毕;
步骤C4:将置为0点的像素点的左边存在一个list列表中;
步骤C5:当第一层循环结束时得到了一个气泡,用len方法返回列表元素个数,算出气泡点的个数,气泡点的个数即腰1椎体像素点个数;
步骤C6:循环以上步骤C1~C5,直至整张图像遍历结束;
所述步骤7包括:步骤6通过广度优先遍历中得到腰1椎体所占据的像素点总量,将像素点总量乘以每个像素的面积,得到腰1椎体的面积,即CT值,具体计算公式如下:
s=n×a
其中,s表示腰1椎体整体面积即所求的CT值,n表示腰1椎体所占的像素点个数,a表示每个像素点的面积。
与现有技术相比,本发明的有益效果是:
本发明设计了一种腰1椎体CT值测算的方法,本方法基于先分割后计算的思路,较为准确的实现腰1椎体CT值的测算,作为计算机辅助诊断方式,帮助影像科医生快速定位病灶,避免了由于主观阅片而可能造成的漏诊与误诊,能够准确高效的实现腰1椎体的分割,方便有效的实现腰1椎体CT值测算。
附图说明
图1为本发明实施腰1椎体CT值测算的流程图;
图2为本发明中AA R2U-Net模型的结构图;
图3为本发明中寻找腰1椎体像素点并累加算法流程图;
图4为选取的CT原图像;
图5为分割处理后的分割结果图;
图6为边缘检测图;
图7为孔洞填充图;
图8为输出的灰度级与输入灰度级的关系图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1~图8,本发明提供一种技术方案:一种基于CT图像测量腰1椎体CT值的方法,该方法包含如下几个步骤:
步骤一:图像预处理
在预处理方面对CT原图像做了如下操作:
1、采用CLAHE算法对图像进行直方图均衡化;
CLAHE是AHE的改进,其改进主要体现在对局部对比度做了限制,有效降低了噪声被放大的程度。在CLAHE算法中,对于某个像素邻域,对比度是通过变换函数的斜率计算得到的,而这个斜率与该邻域的CDF斜率成正比。在计算该邻域的CDF之前,CLAHE会根据指定的阈值对直方图进行裁剪,并将裁剪部分均匀地分布到直方图中。
2、采用伽马变换调整图像整体灰度;
伽马变换(Gamma Transform)是图像处理中常见的幂律变换操作。伽马变换通过对灰度值进行非线性操作,使处理后图像的灰度值与处理前图像的灰度值之间呈现非线胜指数关系,实现灰度拉伸。
伽马变换公式如下:
Iout=cIin γ
其中Iin为处理前图像的灰度值,IOUT为处理后图像的灰度值,c为灰度缩放系数,γ为变换指数。
当γ取不同值时,输入灰度值取0到255并对输入输出灰度值都做归一化为0到1之间,当γ小于1时,伽马变换将提高图像的灰度值,图像视觉上变亮;当γ大于1时,伽马变换将拉低图像灰度值,图像视觉上变暗;当γ等于1时,整体亮度与原图一致,取值为0.5。
3、归一化图像像素值在0到1之间;
首先,需要知道的是,对于大多数图像数据,像素值是介于0和255之间的整数。
在深度神经网络训练时一般使用较小的权重值来进行拟合,而当训练数据的值是较大整数值时,可能会减慢模型训练的过程。因此,一般需要对图像的像素进行归一化,使得图像的每个像素值都是在0到1之间。当图像的像素处于0-1范围时,由于仍然介于0-255之间,所以图像依旧是有效的,并且可以正常查看图像。
像素的归一化可以通过将所有像素值除以最大像素值来实现,最大像素值一般为255。需要注意的是,不管图片是单通道的黑白图片还是多通道的彩色图片,都可以使用这种方法;不管图片的最大像素值是否有255,都除以255。
计算公式如下:
x'=(x-X_min)/(X_max-X_min)
经过以上算法处理后,原图整体对比度得到增强,保证之后的实验模型训练能更好的拟合,实现更好的分割效果。
步骤二:图像块剪裁操作
由于CT原图像数据量不够充足,所以进行图像块剪裁,以扩充训练数据集。对于训练集,裁剪时生成一组随机坐标,以这些坐标作为中心点,裁剪大小为48*48的图像块,从得到大量的数据集。当然对应的标准图也采用同样的方法进行剪裁,以保证原图剪裁图与标准图剪裁图一一对应,确保之后的模型训练的准确率。
步骤三:通过深度学习进行腰1椎体分割
这里深度学习的网络可以自主选择,这里提供一种方案,但不是唯一,腰1椎体分割越准确,最终得到腰1椎体CT值自然也越准确。
在Unet中加入了R2模块与Attention Augment模块(即AA R2U-Net模型);其中,Unet结构总体呈对称的U型结构,在设计时共包含12个单元(F1-F12),其中左侧F1-F6为收缩路径,用于特征的提取;右侧F6-F12为扩张路径,用于细节的恢复实现精准预测。
其中R2模块包括了残差学习单元和递归卷积。
(1)残差学习单元:假定一个神经网络单元的输入是x,期望输出是H(x),另外定义一个残差映射F(x)=H(x)-x,若把x直接传递给输出,则该神经网络单元要学习的目标就是残差映射F(x)=H(x)-x,残差学习单元由一系列卷积层和一个捷径组成,输入x通过这个捷径传递给残差学习单元的输出,则残差学习单元的输出为z=F(x)+x;
(2)递归卷积:假定输入为x,对该输入x进行连续的卷积,且每一次的卷积输出加上当前的输入作为下一次的卷积的输入。
R2模块即将残差学习单元中的普通卷积替换为递归卷积。
AttentionAugment本质为通过查询得到一系列键-值对的映射;首先,通过对输入大小为(w,h,cin)的特征图进行1*1卷积输出QKV矩阵,其大小为(w,h,2*dk+dv),其中w、h、2*dk+dV分别表示了矩阵的宽、长与深度,Cin为输入图像特征层数;
再从深度通道上对QKV矩阵进行分割,得到Q、K、V三个矩阵其深度通道大小分别为dk、dk、dv;接着,采用了多头注意力机制的结构,将Q、K、V三个矩阵分别从深度通道上分割为N个相等的矩阵进行后续的计算,这种多头注意力机制将原本单一的attention计算,扩展为较小且并行独立的多个计算,使得模型可以在不同的子空间内学习特征信息。
对于分割好的Q、K、V矩阵在进行扁平化处理生成Flat_Q、Flat_K、Flat_V三个矩阵,即对Q、K、V保持深度通道不变,从长宽方向对其进行压缩到1维,其中前两个矩阵的大小为(w*h,dk),后一个矩阵大小为(w*h,dv);接着,AttentionAugment保存了原先Self-Attention的做法使用Flat_Q、Flat_K两矩阵进行矩阵乘法运算,计算出权重矩阵,且在此基础上添加了相对位置嵌入的计算,通过对Q矩阵进行长宽两方向的权重计算得到特征图上每个点的相对位置信息,防止特征位置的变换而降低模型的最终效果。
将注意力特征矩阵O和正常的卷积过程按深度方向进行拼接(concat)即可得到Attention Augment的结果;注意力特征矩阵O的计算公式如下:
步骤四:边缘检测精确定位腰1椎体
利用像素级的Sobel算子粗定位整个输出结果图像可能的边缘点。
利用Sobel边缘算子检测图像粗边缘的具体步骤如下:
1.对CT图像上灰度值为f(x,y)的点(x,y),在x,y两个方向上计算灰度值的偏导数fx′与fy′;
计算公式如下:
fx′=f(x+1,y-1)-f(x-1,y-1)+f(x+1,y)-f(x-1,y)+f(x+1,y+1)-f(x-1,y+1)
fy′=f(x-1,y+1)-f(x-1,y-1)+f(x,y+1)-f(x-1,y)+f(x,y-1)-f(x+1,y-1)
计算点(x,y)的梯度G[f(x,y)]:
其中fx′(x,y)与fy′(x,y)表示x方向和y方向的一阶微分,G[f(x,y)]为梯度;
设阈值为t,当G[f(x,y)]>t时,即可判定该点即为图像可能的边缘点。然后将这些可能的边缘点保存在二维数组中。其中阈值可以选取一个较小值,这样能定位所有可能的边缘点。
在使用像素级Sobel算子进行图像边缘粗定位后,利用Zernike矩算子对保存在数组中粗定位边缘点重新精确定位图像边缘。具体步骤如下:
1、粗定位的边缘图像和Zernike矩的7*7模板进行卷积计算;
2、计算每一个像素点的边缘角度θ,边缘两侧的灰度差k,l=(l1+l2)/2等参数;其中l1,l2为同一边缘角度方向的两个像素点单位圆圆心到边缘的垂直距离,l是单位圆圆心到边缘的垂直距离;
3、如果像素点的参数满足判定条件k≥kt∩|l2-l1|≤lt,则利用亚像素边缘坐标公式计算其精确坐标参数,公式如下:
其中xs为精确坐标点的横坐标,ys为精确坐标点的纵坐标,N为模板长度,l是单位圆圆心到边缘的垂直距离,φ为是边缘与X轴的夹角,kt为阈值t下边缘两侧的灰度差,lt为阈值t下圆心到边缘的垂直距离;
若不满足边缘判定条件,则可以排除该像素点,重复以上步骤直到全部边缘点检测完毕。
步骤五:孔洞填充
原理公式:
其中X0为除了一点像素为白其余像素全黑的图像;我们要对A图进行孔洞填充,A图为输入图像,即待填孔的图像,首先求出A图的补集AC;B为结构元。首先我们构建X0,然后用B对X0膨胀处理,利用AC对其求交集将其结果限制在孔洞内避免膨胀结果会超出孔洞大小,然后迭代,直到Xk-1与Xk相同,填充结束。
步骤六:寻找腰1椎体像素点
把像素点降维成为一维数据并且进行简单的二分化。这里二分化就是把所有像素点变成纯黑或纯白。将整张图片处理成一个二维数组,黑用0来代替,白用1来代替,二维数组的行数和列数就是图像分辨率大小。采用“广度优先遍历”,首先,从第0行开始遍历,遇到第一个1(白色像素点)时,开始对其左,右,下三个方向数组点值做判断,周围连接点(邻居)值是1就说明它们都在同一个气泡中,然后把邻居们压入队列中;接着,当这个点访问完成后,需要这个点的值1置为0表示访问完毕,避免它右邻居点在访问时把左边的它压入队列再次访问,会使得这个气泡的面积变大,甚至是死循环;然后把置0点的左边存在一个list列表中;当第一层循环结束时得到了一个气泡,只需要用len方法,即返回列表元素个数,就知道这个气泡点的个数,即腰1椎体像素点个数。之后循环步骤一致,直至整张图遍历结束。
步骤七:累加腰1椎体像素点并换算CT值
通过上一步可以得到腰1椎体所占据的像素点总量,再将像素点总量乘以每个像素的面积,则可得到腰1椎体的面积,即CT值。具体计算公式如下:
s=n×a
其中s表示腰1椎体整体面积即所求的CT值,n表示腰1椎体所占的像素点个数,a表示每个像素点的面积。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于CT图像测量腰1椎体CT值的方法,其特征在于,包括以下步骤:
步骤1:对CT图像进行预处理,得到训练集;
步骤2:对训练集进行图像块剪裁操作,得到数据集;
步骤3:通过深度学习进行腰1椎体分割;
步骤4:边缘检测精确定位腰1椎体;
步骤5:孔洞填充;
步骤6:寻找腰1椎体像素点;
步骤7:累加腰1椎体像素点并换算CT值。
2.根据权利要求1所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于,所述步骤1包括以下步骤:
步骤1.1:采用CLAHE算法对图像进行直方图均衡化;
步骤1.2:采用伽马变换调整图像整体灰度;
步骤1.3:归一化图像像素值在0到1之间。
3.根据权利要求2所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于,所述步骤1.1包括:在CLAHE算法中,对于像素邻域,对比度是通过变换函数的斜率计算得到的,变换函数的斜率与该像素邻域的累积分布函数CDF斜率成正比,在计算该像素邻域的CDF之前,CLAHE算法根据指定的阈值对直方图进行裁剪,并将裁剪部分均匀地分布到直方图中。
4.根据权利要求2所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于:所述步骤1.2包括:伽马变换通过对灰度值进行非线性操作,使处理后图像的灰度值与处理前图像的灰度值之间呈现非线胜指数关系,实现灰度拉伸;
伽马变换公式如下:
IOUT=cIIN γ
其中Iin为处理后图像的灰度值,IOUT为处理前图像的灰度值,c为灰度缩放系数,γ为变换指数;
当γ取不同值时,输入灰度值取0到255并对输入输出灰度值做归一化为0到1之间,当γ小于1时,图像的灰度值提高;当γ大于1时,图像的整体亮度拉低;当γ等于1时,整体亮度与原图一致,取值为0.5。
5.根据权利要求2所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于,所述步骤1.3包括:像素的归一化通过将所有像素值除以最大像素值来实现,最大像素值为255;
计算公式如下:
x'=(x-X_min)/(X_max-X_min);
其中x'为归一化结果,x为输入像素值,X_min为所有输入图像像素中的最小值,X_max为所有输入图像像素中的最大值。
6.根据权利要求1所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于,所述步骤2包括:对于训练集,裁剪时生成一组随机坐标,以随机坐标作为中心点,裁剪大小为48*48的图像块,得到数据集。
7.根据权利要求1所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于,所述步骤3包括:在Unet中加入R2模块与Attention Augment模块;
其中,Unet结构总体呈对称的U型结构,包含12个单元F1-F12,左侧F1-F6为收缩路径,右侧F6-F12为扩张路径;
R2模块包括残差学习单元和递归卷积:
残差学习单元:设定一个神经网络单元的输入是x,期望输出是H(x),定义一个残差映射F(x)=H(x)-x,把x直接传递给输出,该神经网络单元学习的目标为残差映射F(x)=H(x)-x,残差学习单元由一系列卷积层和一个捷径组成,输入x通过捷径传递给残差学习单元的输出,残差学习单元的输出为z=F(x)+x;
递归卷积:设定输入为x,对输入x进行连续的卷积,每一次的卷积输出加上当前的输入作为下一次的卷积的输入;
R2模块将残差学习单元中的普通卷积替换为递归卷积;
Attention Augment为通过查询得到一系列键-值对的映射,Attention Augment模块的实现步骤包括以下:
通过对输入大小为(w,h,cin)的特征图进行1*1卷积输出QKV矩阵,其大小为(w,h,2*dk+dv),其中w、h、2*dk+dV分别表示矩阵的宽、长与深度,Cin为输入图像特征层数;
从深度通道上对QKV矩阵进行分割,得到Q、K、V三个矩阵,Q、K、V三个矩阵的深度通道大小分别为dk、dk、dv;
采用多头注意力机制的结构,将Q、K、V三个矩阵分别从深度通道上分割为N个相等的矩阵;
对于分割好的Q、K、V矩阵在进行扁平化处理生成Flat_Q、Flat_K、Flat_V三个矩阵,即对Q、K、V矩阵保持深度通道不变,从长宽方向对Q、K、V矩阵进行压缩到1维,其中Flat_Q、Flat_K两个矩阵的大小为(w*h,dk),Flat_V矩阵大小为(w*h,dv);
Attention Augment使用Flat_Q、Flat_K两个矩阵进行矩阵乘法运算,计算出权重矩阵,且在此基础上添加相对位置嵌入的计算,通过对Q矩阵进行长宽两方向的权重计算得到特征图上每个点的相对位置信息;
将注意力特征矩阵O和正常的卷积过程按深度方向进行拼接得到Attention Augment的结果,注意力特征矩阵O的计算公式如下:
8.根据权利要求1所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于,所述步骤4包括:利用像素级的Sobel算子粗定位整个输出结果图像可能的边缘点,具体步骤包括:
步骤A1:对CT图像上灰度值为f(x,y)的点(x,y),x,y分别为点的横坐标与纵坐标,在x,y两个方向上计算灰度值的偏导数f′x与f′y,计算公式如下:
f′x=f(x+1,y-1)-f(x-1,y-1)+f(x+1,y)-f(x-1,y)+f(x+1,y+1)-f(x-1,y+1)
f′y=f(x-1,y+1)-f(x-1,y-1)+f(x,y+1)-f(x-1,y)+f(x,y-1)-f(x+1,y-1);
步骤A2:计算点(x,y)的梯度,计算公式如下:
其中f′x(x,y)与f′y(x,y)表示x方向和y方向的一阶微分,G[f(x,y)]为梯度;
步骤A3:设定阈值为t,当G[f(x,y)]>t时,判定点(x,y)为图像可能的边缘点,将可能的边缘点保存在二维数组中;
在像素级Sobel算子进行图像边缘粗定位后,利用Zernike矩算子对保存在数组中粗定位的边缘点重新精确定位图像边缘,具体步骤如下:
步骤B1:将粗定位的边缘图像和Zernike矩的7*7模板进行卷积计算;
步骤B2:计算每一个像素点的边缘角度θ,边缘两侧的灰度差k、l=(l1+l2)/2参数,其中l是单位圆圆心到边缘的垂直距离,其中l1,l2为同一边缘角度方向的两个像素点单位圆圆心到边缘的垂直距离;
步骤B3:当像素点的参数满足判定条件k≥kt∩|l2-l1|≤lt,利用亚像素边缘坐标公式计算其精确坐标参数,公式如下:
其中,xs为精确坐标点的横坐标,ys为精确坐标点的纵坐标,N为模板长度,l是单位圆圆心到边缘的垂直距离,φ为是边缘与X轴的夹角,kt为阈值t下边缘两侧的灰度差,lt为阈值t下圆心到边缘的垂直距离;
步骤B4:当像素点的参数不满足边缘判定条件,则排除该像素点,重复步骤B1、B2、B3直到全部边缘点检测完毕。
10.根据权利要求1所述的一种基于CT图像测量腰1椎体CT值的方法,其特征在于,所述步骤6包括:
把像素点降维成为一维数据并且进行二分化,把所有像素点变成纯黑或纯白;
将整张图像处理成一个二维数组,0代表纯黑像素点,1代表纯白像素点,二维数组的行数和列数为图像分辨率大小;
采用广度优先遍历,广度优先遍历的步骤包括:
步骤C1:从第0行开始遍历,遇到第一个像素点为1时,对其左、右、下三个方向数组点值做判断,当第一个像素点周围邻居点的值是1,则像素点们都在同一个气泡中;
步骤C2:把第一个像素点的邻居点们压入队列中;
步骤C3:当第一个像素点访问完成后,将第一个像素点的值1置为0表示访问完毕;
步骤C4:将置为0点的像素点的左边存在一个list列表中;
步骤C5:当第一层循环结束时得到了一个气泡,用len方法返回列表元素个数,算出气泡点的个数,气泡点的个数即腰1椎体像素点个数;
步骤C6:循环以上步骤C1~C5,直至整张图像遍历结束;
所述步骤7包括:步骤6通过广度优先遍历中得到腰1椎体所占据的像素点总量,将像素点总量乘以每个像素的面积,得到腰1椎体的面积,即CT值,具体计算公式如下:
s=n×a
其中,s表示腰1椎体整体面积即所求的CT值,n表示腰1椎体所占的像素点个数,a表示每个像素点的面积。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010741396.0A CN111862071B (zh) | 2020-07-29 | 2020-07-29 | 一种基于ct图像测量腰1椎体ct值的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010741396.0A CN111862071B (zh) | 2020-07-29 | 2020-07-29 | 一种基于ct图像测量腰1椎体ct值的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111862071A true CN111862071A (zh) | 2020-10-30 |
CN111862071B CN111862071B (zh) | 2024-03-05 |
Family
ID=72948587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010741396.0A Active CN111862071B (zh) | 2020-07-29 | 2020-07-29 | 一种基于ct图像测量腰1椎体ct值的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111862071B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部***分区方法 |
CN113506308A (zh) * | 2021-07-06 | 2021-10-15 | 同济大学 | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1024457A2 (en) * | 1999-01-29 | 2000-08-02 | Mitsubishi Denki Kabushiki Kaisha | Method for rendering graphical objects represented as surface elements |
DE102004051508A1 (de) * | 2003-10-21 | 2005-06-16 | Leica Microsystems Wetzlar Gmbh | Verfahren zur automatischen Erzeugung von Laser-Schnittlinien in der Laser-Mikrodissektion |
CN102637300A (zh) * | 2012-04-26 | 2012-08-15 | 重庆大学 | 改进的Zernike矩边缘检测方法 |
CN109087302A (zh) * | 2018-08-06 | 2018-12-25 | 北京大恒普信医疗技术有限公司 | 一种眼底图像血管分割方法及设备 |
CN110264483A (zh) * | 2019-06-19 | 2019-09-20 | 东北大学 | 一种基于深度学习的语义图像分割方法 |
CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
CN110838126A (zh) * | 2019-10-30 | 2020-02-25 | 东莞太力生物工程有限公司 | 细胞图像分割方法、装置、计算机设备和存储介质 |
CN110930390A (zh) * | 2019-11-22 | 2020-03-27 | 郑州智利信信息技术有限公司 | 基于半监督深度学习的芯片管脚缺失检测方法 |
CN111047605A (zh) * | 2019-12-05 | 2020-04-21 | 西北大学 | 一种脊椎ct分割网络模型的构建方法及分割方法 |
CN111369623A (zh) * | 2020-02-27 | 2020-07-03 | 复旦大学 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
-
2020
- 2020-07-29 CN CN202010741396.0A patent/CN111862071B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1024457A2 (en) * | 1999-01-29 | 2000-08-02 | Mitsubishi Denki Kabushiki Kaisha | Method for rendering graphical objects represented as surface elements |
DE102004051508A1 (de) * | 2003-10-21 | 2005-06-16 | Leica Microsystems Wetzlar Gmbh | Verfahren zur automatischen Erzeugung von Laser-Schnittlinien in der Laser-Mikrodissektion |
CN102637300A (zh) * | 2012-04-26 | 2012-08-15 | 重庆大学 | 改进的Zernike矩边缘检测方法 |
CN109087302A (zh) * | 2018-08-06 | 2018-12-25 | 北京大恒普信医疗技术有限公司 | 一种眼底图像血管分割方法及设备 |
CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
CN110264483A (zh) * | 2019-06-19 | 2019-09-20 | 东北大学 | 一种基于深度学习的语义图像分割方法 |
CN110838126A (zh) * | 2019-10-30 | 2020-02-25 | 东莞太力生物工程有限公司 | 细胞图像分割方法、装置、计算机设备和存储介质 |
CN110930390A (zh) * | 2019-11-22 | 2020-03-27 | 郑州智利信信息技术有限公司 | 基于半监督深度学习的芯片管脚缺失检测方法 |
CN111047605A (zh) * | 2019-12-05 | 2020-04-21 | 西北大学 | 一种脊椎ct分割网络模型的构建方法及分割方法 |
CN111369623A (zh) * | 2020-02-27 | 2020-07-03 | 复旦大学 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
Non-Patent Citations (4)
Title |
---|
MD ZAHANGIRALOM: "Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation", 《ARXIV:1802.06955》, pages 1 * |
MJTREE: "像素点统计", pages 1 - 3, Retrieved from the Internet <URL:CSDN> * |
QU YING-DONG: "A fast subpixel edge detection method using Sobel–Zernike moments operator", 《IMAGE AND VISION COMPUTING》, vol. 23, no. 1, pages 11 - 17, XP004651136, DOI: 10.1016/j.imavis.2004.07.003 * |
张堃: "大视场大规模目标精确检测算法应用研究", 《仪器仪表学报》, vol. 41, no. 4, pages 1 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部***分区方法 |
CN112494063B (zh) * | 2021-02-08 | 2021-06-01 | 四川大学 | 一种基于注意力机制神经网络的腹部***分区方法 |
CN113506308A (zh) * | 2021-07-06 | 2021-10-15 | 同济大学 | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 |
CN113506308B (zh) * | 2021-07-06 | 2023-03-28 | 同济大学 | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111862071B (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
CN110321920B (zh) | 图像分类方法、装置、计算机可读存储介质和计算机设备 | |
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN111047572A (zh) | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 | |
CN113034389B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111862071B (zh) | 一种基于ct图像测量腰1椎体ct值的方法 | |
CN112085714A (zh) | 一种肺结节检测方法、模型训练方法、装置、设备及介质 | |
US20210248716A1 (en) | Systems and methods for consistent presentation of medical images using deep neural networks | |
CN113989407B (zh) | Ct影像中肢体部位识别模型训练方法及*** | |
CN113592794A (zh) | 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法 | |
KR20200099633A (ko) | 영상의 질감 분석 방법 및 컴퓨터 프로그램 | |
CN111489318B (zh) | 医学图像增强方法和计算机可读存储介质 | |
CN111862123B (zh) | 一种基于深度学习的ct腹部动脉血管分级识别方法 | |
CN116503426B (zh) | 基于图像处理的超声图像分割方法 | |
CN112686336A (zh) | 一种基于神经网络的烧伤创面深度分类*** | |
CN111126424B (zh) | 一种基于卷积神经网络的超声图像分类方法 | |
CN114494952B (zh) | 一种基于感知损失的乳腺mri影像时间序列生成方法 | |
CN115880358A (zh) | 定位模型的构建方法、影像标志点的定位方法及电子设备 | |
CN115797186A (zh) | 一种图像修复方法、装置、电子设备及存储介质 | |
CN114359308A (zh) | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 | |
CN114155234A (zh) | 病灶肺段位置的识别方法、装置、存储介质及电子设备 | |
CN115578400A (zh) | 图像处理方法、图像分割网络的训练方法及装置 | |
CN111862070A (zh) | 一种基于ct图像测量皮下脂肪厚度的方法 | |
CN111932486A (zh) | 一种基于3d卷积神经网络的脑胶质瘤分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |