CN115294151A - 基于多任务卷积模型的肺部ct感兴趣区域自动检测方法 - Google Patents

Abstract

一种基于多任务卷积模型的肺部CT感兴趣区域自动检测方法，通过对CT扫描进行解析得到张量形式的图像，对该图像进行肺部粗分割、重采样以及像素值归一化处理，得到仅包含肺部区域的三维CT图像体素矩阵；然后对三维图像切片后，将得到的若干张横截面的二维图像输入二维卷积模型，得到若干个ROI粗略轮廓；再以ROI粗略轮廓为中心截取三维图像块，通过三维分类器分别给出各个ROI为真实ROI的概率，经筛选后将得到的包含真实ROI的三维图像块输入由多任务训练得到的三维卷积模型，得到精确ROI轮廓，并根据ROI为真实ROI的概率将轮廓渲染为不同的颜色。本发明可快速处理大批量CT图像，提高ROI检测效率。

Description

基于多任务卷积模型的肺部CT感兴趣区域自动检测方法

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于多任务卷积模型的肺部CT(Computed Tomography)感兴趣区域自动检测方法。

背景技术

随着医疗技术的发展，越来越多的肺部CT图像需要进行及时处理，其中感兴趣区域即ROI(Region OfInterest)的检测，属于肺部CT图像处理的首要步骤。在数字图像处理领域中，ROI指技术人员在图像当中关注的特定区域。如果采用人工逐层检查CT图像判断有无ROI的传统方法，则会给医生增加较大的负担，因为医生寻找ROI需要参考多张图像不断比对来进行判断，是一项费时费力的工作。而利用卷积网络自动定位ROI并勾画ROI轮廓，在保证准确率的基础上减少CT图像的处理时间，使得大批量处理CT影像成为可能，将医生从冗杂的工作中解放出来，可以提高医院整体的运转效率。

目前针对肺部CT图像ROI自动检测的算法缺乏通用性，往往只能处理某一层厚的CT图像，对于不同层厚或不同机器扫描得到的CT图像处理泛化性较差。另外大多数算法仅使用ROI掩膜或锚框作为语义标签对卷积网络进行训练，因此卷积模型只关注了CT图像中基于体素值的视觉特征，而忽略了临床上的生物特征，不利于ROI轮廓的精确勾画。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于多任务卷积模型的肺部CT感兴趣区域自动检测方法，针对不同的层厚训练不同的模型，可以有效解决不同层厚的CT图像包含信息量不一致的问题。此外在训练三维语义分割模型时同时使用ROI掩膜与ROI良恶性的语义标签，结合了ROI的影像学特征与生物学特征，有利于精确勾画ROI轮廓。通过基于编码器解码器结构的卷积模型，得到ROI轮廓，可快速处理大批量CT图像，提高ROI检测效率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于多任务卷积模型的肺部CT感兴趣区域自动检测方法，通过对CT扫描进行解析得到张量形式的图像，对该图像进行肺部粗分割、重采样以及像素值归一化处理，得到仅包含肺部区域的三维CT图像体素矩阵；然后对三维图像切片后，将横截面切片输入基于编码器解码器结构的二维语义分割网络，得到若干个ROI粗略轮廓；再以ROI粗略轮廓为中心截取三维图像块，通过三维分类器分别给出各个ROI为真实ROI的概率，经筛选后将得到的包含真实ROI的三维图像块输入由多任务训练得到的三维卷积模型，得到精确ROI轮廓，并根据ROI为真实ROI的概率将轮廓渲染为不同的颜色。

所述的三维图像，通过以下方式得到：对原始CT扫描，即DICOM(Digital Imagingand Communications inMedicine)形式的CT扫描，根据切片的位置坐标将多张DICOM文件中的二维切片矩阵组合为一张三维图像，然后对三维图像进行预处理，具体包括：用数字图像处理技术找到肺部区域的粗略锚框，并按照该锚框裁剪掉图像中的非肺部分；将图像的像素间距沿(x,y,z)轴分别采样至(0.7mm,0.7mm,1.5mm)；根据肺窗[-1024,400]和纵膈窗[-160,240]对像素值进行归一化，分别得到对应肺窗和纵膈窗的两个通道。

所述的二维语义分割网络，基于U2-Net的神经网络，其整体为编码器解码器结构，同时编码器与解码器的每一个单元也为编码解码结构，其中编码器通过若干降采样逐步扩大卷积层的感受野，提取特征图中的高维语义特征，得到当前输入中结节的粗略位置；解码器通过若干上采样逐步将特征图采样至与输入相同的分辨率，提取特征图中的低维视觉特征，得到结节在输入图像中的掩膜。

所述的编码器与解码器各层的输出{e_i|i∈[1,N]}与{d_j|j∈[1,N]}的分辨率均不相同，即编码器解码器结构通过多层的降采样与上采样，使得模型可以在不同的分辨率下提取ROI的特征，可以有效地处理各个病例中ROI尺寸不一致的问题，N为编码器与解码器的层数。

所述的编码器和解码器对应层之间设有短路连接，即第j层的解码器的输入为Concat(e_j,Up(d_j-1)),其中：Concat表示将特征图按通道维度拼接，Up指利用插值法将特征图上采样为原分辨率的二倍，使得解码器同时处理前一层解码器输出的包含高维语义信息的特征与同一高度的编码器输出的包含低维视觉信息的特征，有利于在保证ROI位置准确性的基础上提高ROI轮廓勾画的精度。

所述的ROI为真实ROI的概率，根据二维语义分割模型输出的若干ROI粗略轮廓为中心截取大小为96×96×48的三维图像块；然后将三维图像块输入基于残差网络的三维分类器中，得到ROI为真实ROI的概率。

所述的基于残差网络的三维分类器，基于残差网络的三维变种，残差结构具体为：y＝F(x,{W_i})+x，其中：下标i指网络的第i层，x为当前层的输入，y为当前层的输出，{W_i}为第i层的参数，

为某一函数形式例如

通过残差连接可以部分解决网络加深后训练退化的问题。而瓶颈层通过将特征图映射到高维空间进行处理再压缩至低维空间，既保留了多维度特征可以更好地表达语义信息的特点，又减少了网络的训练参数，降低了网络训练难度。

所述的筛选是指：对于概率小于某阈值的ROI判断为假阳性，其轮廓不会输出到最终的掩膜中。

所述的精确ROI轮廓，通过对筛选后的ROI，以其为中心的大小为128×128×64的三维图像块输入基于编码器解码器结构的三维语义分割网络，得到ROI的精确轮廓；然后将各ROI的轮廓输出至RT STRUCT文件中，其根据分类器输出的概率大小使用不同的颜色对各ROI轮廓进行渲染。

所述的三维语义分割网络，为上述二维语义分割网络的三维变种，仅将其中的二维操作更改为相应的三维操作，即将二维的卷积、池化、归一化层分别更改为三维的卷积、池化、归一化层。

所述的多任务训练是指：在训练三维语义分割网络时，除了输出ROI掩膜这个主任务，再加一个判断ROI良恶性的辅助任务。具体来说，在三维语义分割网络中，除了对输入的CT图像进行特征提取的编码器与输出ROI掩膜的解码器外，添加一个判断当前ROI为良性或恶性的分类器。该分类器以编码器各层的输出为输入，通过适当的降采样与卷积操作，最后得表示当前ROI为良性的概率值。在训练过程中，编码器的参数同时由来自解码器与分类器的反传梯度进行更新；

所述的三维分类器以及多任务训练中的分类部分，其损失函数为Focal Loss，具体为：

其中：y，

分别指ROI良恶性的真实标签与预测值，超参数α用于控制正负样本的权重，当α＞0.5，正样本对模型参数的贡献更大；该损失函数通过超参数γ控制难易样本的权重，当γ＞1，在梯度反传时难样本的权重更大，即模型更加关注难样本。

所述的二维及三维的语义分割网络，其损失函数为Focal Loss+Dice Loss，具体为：

其中：p，

分别为ROI掩膜的真实标签与预测值，下标i表示掩膜中的第i个像素值，Focal Loss为像素损失函数，对每个像素点计算损失函数并求和，这种形式的损失函数的梯度更优，易于模型的平稳训练。Dice Loss是区域损失函数，仅与掩膜中的前景区域有关，与最后的评估指标一致，同时可以减轻类别不平衡的问题，但当前景区域过小时会导致模型优化过程不稳定。将这两种损失函数结合，可以在保证训练平稳的前提下，使得模型输出的ROI掩膜在Dice系数上更优。

所述的训练，其采用的训练数据集为两个医院内部数据集。第一个数据集包含989个样本，CT层厚为5mm.第二个数据集包含172个样本，CT层厚为小于1.5mm，通过分别在两个数据集上训练得到两组模型。在实际应用过程中，当输入的CT图像层厚大于3mm时，使用由第一个数据集训练得到的对应模型，否则，使用第二个数据集训练得到的模型。

技术效果

本发明同时使用ROI的掩膜与良恶性标签作为训练三维语义分割模型的真实标签，保证模型既通过ROI的掩膜学习CT图像中的视觉特征，又通过ROI的良恶性标签学习CT图像中的生物特征。另外本发明使用粗略轮廓勾画、假阳性抑制、精确轮廓勾画三个步骤与对应模型，兼顾了在三维CT图像中定位ROI的高效性与ROI轮廓勾画的精确性，同时减少了ROI定位的假阳性。最后本发明针对不同层厚的CT图像训练不同的模型，提高了在不同层厚CT图像中勾画ROI轮廓的准确性。

附图说明

图1为实施例流程图；

图2为ROI在CT扫描二维切片中的影像示意图；

图3为肺部区域粗分割流程示意图；

图4为本发明使用的三维语义分割网络结构图；

图5为原始图像(左)、ROI真实掩膜(中)与基于本发明输出的ROI掩膜(右)的二维对比示意图；

图6为ROI的真实掩膜(左)与基于本发明输出的ROI掩膜(右)的三维对比示意图。

具体实施方式

如图1所示，为本实施例涉及一种基于多任务卷积模型的肺部CT感兴趣区域自动检测过程，根据图2所示的DICOM格式的肺部CT扫描，使用一个二维编码器解码器结构的语义分割模型对整个肺部区域进行扫描，找到ROI的粗略轮廓，再由一个三维残差结构的分类器对每个ROI进行判断，给出ROI为真实ROI的概率，最后再由一个三维编码器解码器结构的语义分割模型对概率大于某个阈值的ROI进行精确的轮廓勾画。

所述的检测方法，具体步骤包括：

第一步，解析DICOM格式的CT图像，将多张二维灰度图像按坐标组合为三维矩阵。

第二步，使用数字图像处理技术寻找肺部区域。具体为：将灰度图进行阈值二值化；寻找连通域，保留最大的两个连通域，该连通域即为肺部区域，对该区域进行裁剪，以去掉肺外部分，如图3所示。

第三步，将图像的像素间距沿(x,y,z)轴分别采样至(0.7mm,0.7mm,1.5mm)，分别以肺窗[-1024,400]和纵膈窗[-160,240]对三维图像像素值进行归一化，具体操作为像素值减去窗下限后再除以窗宽。

第四步，对三维图像进行切片，将其切分并重采样为若干张7×512×256大小的图像，其中通道数7表示七张连续的二维切片。

第五步，将切片后的若干张图像输入编码器解码器结构的二维语义分割网络中，得到ROI的粗略轮廓。

第六步，以第五步得到的各ROI为中心，截取尺寸为96×96×48的三维图像块，输入基于残差结构的三维分类器中，给出各ROI为真实ROI的概率P。

第七步，以第六步中ROI为真实的概率大于某一阈值的ROI为中心截取尺寸为128×128×64的三维图形块，输入编码器解码器结构的三维语义分割网络中，给出各ROI的精确轮廓。三维语义分割网络结构如图4所示。

第八步，将第七步得到的精确轮廓写入DICOM格式的输出文件RT STRUCT中，按照各ROI在第六步中对应的概率P分别赋予不同的颜色，具体为，0.7＜P≤0.8的轮廓为绿色，0.8＜P≤0.9的轮廓为黄色，P＞0.9的轮廓为红色。模型输出的ROI掩膜与医生标注的ROI掩膜的二维与三维对比分别如图5与图6所示。

与现有技术相比，本方法在119张厚层CT图像(层厚大于3mm)的测试集上，平均Dice为0.7026，在21张薄层CT图像(层厚小于等于3mm)的测试集上，平均Dice为0.7046.该软件在单块NVIDIA GeForce GTX 3090Ti GPU上处理厚层CT图像的平均时间小于一分钟，处理薄层CT图像的平均时间小于两分钟。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (9)

1.一种基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征在于，通过对CT扫描进行解析得到张量形式的图像，对该图像进行肺部粗分割、重采样以及像素值归一化处理，得到仅包含肺部区域的三维CT图像体素矩阵；然后对三维图像切片后，将横截面切片输入基于编码器解码器结构的二维语义分割网络得到，得到若干个ROI粗略轮廓；再以ROI粗略轮廓为中心截取三维图像块，通过三维分类器分别给出各个ROI为真实ROI的概率，经筛选后将得到的包含真实ROI的三维图像块输入由多任务训练得到的三维卷积模型，得到精确ROI轮廓，并根据ROI为真实ROI的概率将轮廓渲染为不同的颜色。

2.根据权利要求1所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的二维语义分割网络，基于U2-Net的神经网络，其整体为编码器解码器结构，同时编码器与解码器的每一个单元也为编码解码结构，其中编码器通过若干降采样逐步扩大卷积层的感受野，提取特征图中的高维语义特征，得到当前输入中结节的粗略位置；解码器通过若干上采样逐步将特征图采样至与输入相同的分辨率，提取特征图中的低维视觉特征，得到结节在输入图像中的掩膜。

3.根据权利要求2所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的编码器与解码器各层的输出{e_i|i∈[1，N]}与{d_j|j∈[1，N]}的分辨率均不相同，即编码器解码器结构通过多层的降采样与上采样，N为编码器与解码器的层数；

所述的编码器和解码器对应层之间设有短路连接，即第j层的解码器的输入为Concat(e_j，Up(d_j-1))，其中：Concat表示将特征图按通道维度拼接，Up指利用插值法将特征图上采样为原分辨率的二倍。

4.根据权利要求1所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的三维分类器，为基于残差网络的三维变种，其残差结构具体为：y＝F(x，{W_i})+x，其中：下标i指网络的第i层，x为当前层的输入，y为当前层的输出，{W_i}为第i层的参数，

为某一函数形式例如

瓶颈层通过将特征图映射到高维空间进行处理再压缩至低维空间。

5.根据权利要求1所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的精确ROI轮廓，通过对筛选后的ROI，以其为中心的大小为128×128×64的三维图像块输入基于编码器解码器结构的三维语义分割网络，得到ROI的精确轮廓；然后将各ROI的轮廓输出至RT STRUCT文件中，其根据分类器输出的概率大小使用不同的颜色对各ROI轮廓进行渲染。

6.根据权利要求5所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的三维语义分割网络，为上述二维语义分割网络的三维变种，仅将其中的二维操作更改为相应的三维操作，即将二维的卷积、池化、归一化层分别更改为三维的卷积、池化、归一化层。

7.根据权利要求6所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的多任务训练是指：在训练三维语义分割网络时，除了输出ROI掩膜这个主任务，再加一个判断ROI良恶性的辅助任务；具体来说，在三维语义分割网络中，除了对输入的CT图像进行特征提取的编码器与输出ROI掩膜的解码器外，添加一个判断当前ROI为良性或恶性的分类器；该分类器以编码器各层的输出为输入，通过适当的降采样与卷积操作，最后得表示当前ROI为良性的概率值；在训练过程中，编码器的参数同时由来自解码器与分类器的反传梯度进行更新。

8.根据权利要求7所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的三维分类器以及多任务训练中的分类部分，其损失函数为Focal Loss，具体为：

其中：

分别指ROI良恶性的真实标签与预测值，超参数α用于控制正负样本的权重，当α＞0.5，正样本对模型参数的贡献更大；该损失函数通过超参数γ控制难易样本的权重，当γ＞1，在梯度反传时难样本的权重更大，即模型更加关注难样本。

9.根据权利要求5或6所述的基于多任务卷积模型的肺部CT感兴趣区域自动检测，其特征是，所述的二维及三维的语义分割网络，其损失函数为Focal Loss+Dice Loss，具体为：

其中：p，

分别为ROI掩膜的真实标签与预测值，下标i表示掩膜中的第i个像素值，Focal Loss为像素损失函数，对每个像素点计算损失函数并求和；Dice Loss为区域损失函数，仅与掩膜中的前景区域有关，与最后的评估指标一致，同时减轻类别不平衡的问题，但当前景区域过小时会导致模型优化过程不稳定。

Images