CN114332858A - 病灶检测方法及装置、病灶检测模型获取方法 - Google Patents

Abstract

本发明公开了一种病灶检测方法，首先获取对被检测部位采集的图像，对图像提取特征，得到特征图，进一步根据图像的特征图，生成将图像中的病灶框出的多边形框以及多边形框对应的类别信息，获得图像的检测结果，其中多边形框由多个向量的终点依次连接形成，多个向量以同一像素为起点。本发明通过对图像提取特征，根据图像的特征图生成多边形框来框出图像中的病灶，实现定位病灶，与现有技术中以矩形框定位病灶的方法相比，多边形框能够更准确地贴合真实病灶的轮廓，从而提高定位病灶的准确性。本发明还公开一种病灶检测模型获取方法以及一种病灶检测装置。

Description

病灶检测方法及装置、病灶检测模型获取方法

技术领域

本发明涉及图像处理领域，特别是涉及一种病灶检测方法。本发明还涉及一种病灶检测模型获取方法以及一种病灶检测装置。

背景技术

内窥镜检查是对人体各器官的黏膜病变进行筛查诊断的最有效手段和金标准，与超声成像或者电子计算机断层扫描(Computed Tomography，CT)等影像检查方法相比，内窥镜检查具有对病变能够直观诊断的优势以及镜下取活检、做病变切割手术的治疗优势，目前在消化、咽喉、妇科、外科等科室中应用广泛。

但是，内窥镜检查也存在着过度依赖医生的主观判断和决策，根据医生经验和水平不同或者医生疲劳程度不同而产生检查结果的差异(比如漏诊误诊)是普遍存在的情况。随着近年来人工智能技术的跨越式发展及与各行业的深度融合，基于人工智能技术的图像识别和目标检测方法也被广泛用于内窥镜的辅助诊断，从而大幅度提高了内窥镜诊断的一致性和检出率，减少人为因素的干扰。

现有的人工智能内窥镜下病灶识别技术是利用深度学习目标检测方法，对采集的图像中的病灶位置进行矩形框标注构建训练集，利用目标检测模型进行训练，使用训练得到的目标检测模型对图像进行预测，给出病灶的大***置和类别。但是，使用矩形框标注病灶位置定位效果有限，不能较准确地预测出病灶位置。

发明内容

本发明的目的是提供一种病灶检测方法及装置，能够在图像中以多边形框标出病灶实现定位病灶，与现有技术相比能够提高定位病灶的准确性。本发明还提供一种病灶检测模型获取方法。

为实现上述目的，本发明提供如下技术方案：

一种病灶检测方法，包括：

获取对被检测部位采集的图像；

对所述图像提取特征，得到特征图；

根据所述图像的所述特征图，生成将所述图像中的病灶框出的多边形框以及所述多边形框对应的类别信息，获得所述图像的检测结果，所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。

优选的，根据所述图像的所述特征图，生成将所述图像中的病灶框出的多边形框以及所述多边形框对应的类别信息，获得所述图像的检测结果包括：

根据所述图像的所述特征图，生成多个将所述图像中的病灶框出的所述多边形框以及每一所述多边形框对应的类别信息；

对于预测类别相同的两个所述多边形框，若该两个所述多边形框的重叠情况满足第一预设要求，则保留其中预测得分较高的多边形框，或/和，若该两个所述多边形框的重叠情况满足第二预设要求，则保留该两个多边形框。

优选的，所述第一预设要求包括：该两个所述多边形框的交并比大于预设阈值，两个所述多边形框的交并比是指两个所述多边形框的交集面积与并集面积的比值。

优选的，所述第二预设要求包括：该两个所述多边形框的交并比小于等于预设阈值，两个所述多边形框的交并比是指两个所述多边形框的交集面积与并集面积的比值。

优选的，对所述图像提取特征，得到特征图包括：以多个不同的尺度对所述图像提取特征，得到多个不同尺度的特征图，将得到的多个不同尺度的特征图拼接以及融合。

一种病灶检测模型获取方法，包括：

对作为训练样本的图像，在所述图像中以多边形框标注出病灶以及标注出类别信息；

使用经过标注的训练样本对预设检测模型进行训练，获得病灶检测模型，所述病灶检测模型以图像为输入，以预测的类别信息和多边形框为输出，生成的所述多边形框将所述图像中的病灶框出，生成的所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。

优选的，使用经过标注的训练样本对预设检测模型进行训练包括：计算预测框和标注框的位置损失，根据所述位置损失训练所述预设检测模型，所述标注框为在所述图像中标注出病灶的多边形框，所述预测框为将所述图像输入所述预设检测模型后，输出的将所述图像中的病灶框出的多边形框；

所述位置损失以所述预测框与所述标注框的交并比或/和所述预测框中心与所述标注框中心的距离或/和所述预测框的向量与所述标注框的向量的模长差、角度差描述。

优选的，所述位置损失以所述预测框中心与所述标注框中心的距离描述，根据以下公式表示以所述预测框中心与所述标注框中心的距离描述的位置损失：

其中，ρ表示预测框中心与标注框中心的距离，p、g分别表示预测框中心和标注框中心，c表示预测框和标注框的最小外接矩形框的对角线长度。

优选的，所述位置损失以所述预测框的向量与所述标注框的向量的模长差、角度差描述，根据以下公式表示以所述预测框的向量与所述标注框的向量的模长差、角度差描述的位置损失：

υ＝△l+△θ

其中，Δl表示预测框的向量与标注框的向量的模长差，Δθ表示预测框的向量与标注框的向量的角度差，

分别表示预测框的第i向量的模长和标注框的第i向量的模长，

分别表示预测框的第i向量的角度和标注框的第i向量的角度，i∈[1,n]，n为大于等于3的整数。

一种病灶检测装置，用于执行以上所述的病灶检测方法，或者用于使用病灶检测模型对图像处理，所述病灶检测模型为采用以上所述的病灶检测模块获取方法获得。

由上述技术方案可知，本发明所提供的病灶检测方法及装置，首先获取对被检测部位采集的图像，对图像提取特征，得到特征图，进一步根据图像的特征图，生成将图像中的病灶框出的多边形框以及多边形框对应的类别信息，获得图像的检测结果，其中多边形框由多个向量的终点依次连接形成，多个向量以同一像素为起点。本发明的病灶检测方法及装置，通过对图像提取特征，根据图像的特征图生成多边形框来框出图像中的病灶，实现定位病灶，与现有技术中以矩形框定位病灶的方法相比，多边形框能够更准确地贴合真实病灶的轮廓，从而提高定位病灶的准确性。

本发明提供的一种病灶检测模型获取方法，获得的病灶检测模型能够达到上述有益效果。

本发明提供的一种病灶检测装置，能够达到上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种病灶检测方法的流程图；

图2为本发明实施例中使用的一种多边形框的示意图；

图3为本发明实施例提供的一种病灶检测方法中根据图像的特征图生成多边形框、获得图像的检测结果的方法流程图；

图4为本发明实施例提供的一种病灶检测模型获取方法的流程图；

图5为本发明实施例提供的一种病灶检测装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，图1为本实施例提供的一种病灶检测方法的流程图，如图所示，所述病灶检测方法包括以下步骤：

S11：获取对被检测部位采集的图像。

S12：对所述图像提取特征，得到特征图。

S13：根据所述图像的所述特征图，生成将所述图像中的病灶框出的多边形框以及所述多边形框对应的类别信息，获得所述图像的检测结果，所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。

本实施例中，对对图像提取特征的方式不做限定，包括但不限于使用基于卷积运算的神经网络对图像处理以提取特征或者使用基于多层神经元的神经网络对图像处理以提取特征。

多边形框对应的类别信息是指多边形框框出的图像特征的类别信息。本实施例中，多边形框对应的类别信息包括多边形框框出的图像特征所属病灶的类别信息。

生成的多边形框以多个向量描述，多个向量以同一像素为起点，各个向量的终点依次连接形成多边形框，各个向量的起点决定了多边形框的位置，各个向量的模长和角度决定了多边形框的形状、大小。本实施例中，对多边形框包含的向量数量或者说多边形框包含的边数量不做限定。示例性的可参考图2，图2为本实施例中使用的一种多边形框的示意图，该多边形框以向量OA、向量OB、向量OC、向量OD、向量OE、向量OF的终点依次连接形成，各个向量都以O点为起点。

本实施例的病灶检测方法通过对图像提取特征，根据图像的特征图生成多边形框来框出图像中的病灶，实现定位病灶，与现有技术中以矩形框定位病灶的方法相比，多边形框能够更准确地贴合真实病灶的轮廓，从而提高定位病灶的准确性。

可选的，在步骤S13中根据图像的特征图生成将图像中的病灶框出的多边形框以及多边形框对应的类别信息，获得图像的检测结果，可包括以下过程，请参考图3所示的流程图，包括以下步骤：

S131：根据所述图像的所述特征图，生成多个将所述图像中的病灶框出的所述多边形框以及每一所述多边形框对应的类别信息。

S132：对于预测类别相同的两个所述多边形框，若该两个所述多边形框的重叠情况满足第一预设要求，则保留其中预测得分较高的多边形框，或/和，若该两个所述多边形框的重叠情况满足第二预设要求，则保留该两个多边形框。

根据图像的特征图，通过对图像的特征学习，生成将图像中的病灶框出的多边形框。并且对于每一多边形框，对应给出类别信息包括预测类别以及预测得分，多边形框的预测得分表征多边形框框出的图像区域属于该预测类别的概率。

在实际应用中，对于距离较近的两个多边形框，如果两个多边形框的预测类别相同，该两个多边形框可能对应的是图像中的同一病灶，针对这种情况，可以对于预测类别相同的两个多边形框，根据两者的重叠情况进行筛选，决定是否保留各个多边形框，从而可以提高定位病灶的准确性，提高检测结果的准确性。本实施例中，对预测类别相同的两个多边形框根据两者的重叠情况进行筛选的具体方法不做限定，在实际应用中，可以根据被检测部位的病灶情况、对图像提取特征的情况或者检测精确度要求进行设置。

可选的，第一预设要求可包括：该两个所述多边形框的交并比大于预设阈值。两个所述多边形框的交并比是指两个所述多边形框的交集(相交面积)与并集(总面积)的比值，可表示为：第一多边形框和第二多边形框的重叠面积/第一多边形框的面积和第二多边形框的并集的总面积。即，对于预测类别相同的两个多边形框，若该两个多边形框的交并比大于预设阈值，则保留其中预测得分较高的多边形框，这种情况下认为该两个多边形框框出的病灶对应同一病灶，因此保留其中预测得分较高的。这种方法可称为非极大值抑制方法。

可选的，第二预设要求可包括：该两个所述多边形框的交并比小于等于预设阈值，两个所述多边形框的交并比是指两个所述多边形框的交集(相交面积)与并集(总面积)的比值。即，对于预测类别相同的两个多边形框，若该两个多边形框的交并比小于等于预设阈值，则该两个多边形框都保留下，这种情况下认为该两个多边形框框出的病灶不是同一病灶，因此将两个多边形框都保留下。

本实施例中对预设阈值的具体大小不做限定，在实际应用中，可以根据经验或者检测需求进行相应设置。

可选的，若两个多边形框的预测类别不同，则可以将两个多边形框都保留。若两个多边形框的预测类别不同，认为两个多边形框对应不同的病灶。

对于图像中生成的多个用于将图像中的病灶框出的多边形框，可以依次地遍历每一多边形框，根据多边形框与其相邻多边形框的重叠情况以及预测类别、预测得分进行筛选，得到最后筛选出的各个多边形框，获得对图像中病灶的检测结果。

优选的，在步骤S12中对图像提取特征得到特征图可包括：以多个不同的尺度对所述图像提取特征，得到多个不同尺度的特征图，将得到的多个不同尺度的特征图拼接以及融合。进而，根据经过拼接以及融合得到的特征图进行检测。通过对图像以多个不同的尺度提取特征，可以获得各种感受视野的特征，使得对图像检测兼顾较大病灶和较小病灶的特征，提高定位病灶的准确性，提高检测结果的准确性。

优选的，在对图像提取特征之前还可包括：对图像预处理，使图像满足要求。本实施例中对图像预处理的具体方式不做限定，在实际应用中可以根据实际检测需求进行设置，比如，可以对图像进行尺寸缩放、进行格式转换或者进行归一化处理等。

请参考图4，图4为本实施例提供的一种病灶检测模型获取方法的流程图，如图所示，所述病灶检测模型获取方法包括以下步骤：

S21：对作为训练样本的图像，在所述图像中以多边形框标注出病灶以及标注出类别信息。

S22：使用经过标注的训练样本对预设检测模型进行训练，获得病灶检测模型，所述病灶检测模型以图像为输入，以预测的类别信息和多边形框为输出，生成的所述多边形框将所述图像中的病灶框出，生成的所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。

对作为训练样本的图像，在图像中以多边形框标注出病灶，以及可以对应每一多边形框标注出类别信息，类别信息可包括类别标签和类别得分。在图像中使用多边形框标注病灶时，优选要使多边形框尽量贴合病灶的轮廓。

训练得到的病灶检测模型以图像为输入，以预测的类别信息和多边形框为输出，生成的多边形框将图像中的病灶框出。生成的多边形框以多个向量描述，多个向量以同一像素为起点，各个向量的终点依次连接形成多边形框，各个向量的起点决定了多边形框的位置，各个向量的模长和角度决定了多边形框的形状、大小。

本实施例的病灶检测模型获取方法能够得到病灶检测模型，将对被检测部位采集的图像输入到病灶检测模型，可以输出以多边形框将图像中的病灶框出的检测结果，从而实现定位病灶。与现有技术中以矩形框定位病灶的方法相比，本实施例的病灶检测模型使用多边形框能够更准确地贴合真实病灶的轮廓，从而提高定位病灶的准确性。

可选的，所述病灶检测模型对图像的处理过程可包括：对图像提取特征，得到特征图；根据所述图像的所述特征图，生成将所述图像中的病灶框出的多边形框以及所述多边形框对应的类别信息，所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。病灶检测模型对图像提取特征的具体实施方式以及根据特征图生成将病灶框出的多边形框的具体实施方式，分别可参考上面关于病灶检测方法中的相应描述，在此不再赘述。

可选的，使用经过标注的训练样本对预设检测模型进行训练包括：对经过标注的训练样本提取特征，得到训练样本的特征图；根据训练样本的特征图，生成将图像中的病灶框出的多边形框以及多边形框对应的类别信息；计算预测框和标注框的类别损失和位置损失，进而根据损失优化检测模型。根据此过程对预设检测模型进行训练，直至预测框和标注框之间的损失满足要求，比如达到最小，从而训练获得病灶检测模型。

优选的，使用经过标注的训练样本对预设检测模型进行训练包括：计算预测框和标注框的位置损失，根据所述位置损失训练所述预设检测模型，所述标注框为在所述图像中标注出病灶的多边形框，所述预测框为将所述图像输入所述预设检测模型后，输出的将所述图像中的病灶框出的多边形框。

可选的，预测框和标注框的位置损失可以以预测框与标注框的交并比描述。可以根据以下公式表示以预测框与标注框的交并比描述的位置损失：

其中，P表示预测框，G表示标注框。

可选的，预测框和标注框的位置损失可以以所述预测框中心与所述标注框中心的距离描述。可根据以下公式表示以预测框中心与标注框中心的距离描述的位置损失：

其中，ρ表示预测框中心与标注框中心的距离，p、g分别表示预测框中心、标注框中心，c表示预测框和标注框的最小外接矩形框的对角线长度。当预测框和标注框距离无限远时，中心点距离和外接矩形框对角线长度无限逼近，

可选的，位置损失可以以预测框的向量与标注框的向量的模长差、角度差描述。可根据以下公式表示以预测框的向量与标注框的向量的模长差、角度差描述的位置损失：

υ＝△l+△θ

其中，Δl表示预测框的向量与标注框的向量的模长差，Δθ表示预测框的向量与标注框的向量的角度差，l_i ^p、l_ig分别表示预测框的第i向量的模长和标注框的第i向量的模长，θ_i ^p、θ_ig分别表示预测框的第i向量的角度和标注框的第i向量的角度，i∈[1,n]，n为大于等于3的整数。可以以多边形框的中心(即各个向量的起点)为原点建立坐标系，按照逆时针顺序依次命名多边形框的各向量。

进一步优选的，可根据以下公式表示以预测框的向量与标注框的向量的模长差、角度差描述的位置损失：αυ；

其中，α表示平衡系数，表示如下：

优选的，预测框和标注框的位置损失可以综合以预测框与标注框的交并比、预测框中心与标注框中心的距离以及预测框的向量与标注框的向量的模长差、角度差描述。可以以下公式表示：

其中，R(P,G)表示惩罚项。

可选的，使用经过标注的训练样本对预设检测模型进行训练包括：计算预测框和标注框的类别损失，根据所述类别损失训练预设检测模型。可选的，可以以下公式表示预测框和标注框的类别损失：

FL(p_t)＝-(1-p_t)^γlog(p_t)；

其中，p_t表示被预测为对应的正确类别的置信度，γ表示调节因子，γ≥0。类别损失采用Focal Loss改进的交叉熵损失函数。可以理解的是，在其它实施例中也可采用其它方式计算预测框和标注框的类别损失，也在本发明保护范围内。

本实施例还提供一种病灶检测装置，用于执行以上所述的病灶检测方法，或者用于使用病灶检测模型对图像处理，所述病灶检测模型为采用以上所述的病灶检测模块获取方法获得。

本实施例的病灶检测装置，通过对图像提取特征，根据图像的特征图生成多边形框来框出图像中的病灶，实现定位病灶，与现有技术中以矩形框定位病灶的方法相比，多边形框能够更准确地贴合真实病灶的轮廓，从而提高定位病灶的准确性。

可选的可参考图5，图5为本实施例提供的一种病灶检测装置的示意图，如图所示，所述病灶检测装置可包括特征提取模块31和框生成模块32，特征提取模块31用于对图像提取特征，得到特征图；框生成模块32用于根据所述图像的所述特征图，生成将所述图像中的病灶框出的多边形框以及所述多边形框对应的类别信息，获得所述图像的检测结果，所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。

还可包括预处理模块33，用于对图像预处理，使图像满足要求。本实施例中对图像预处理的具体方式不做限定，在实际应用中可以根据实际检测需求进行设置，比如，预处理模块33可以对图像进行尺寸缩放、进行格式转换或者进行归一化处理等。

可选的，所述病灶检测装置还可包括处理器、计算机可读存储介质、人机交互设备或者显示器等，人机交互设备包括但不限于键盘、鼠标、触摸屏、语音接收器等。

以上对本发明所提供的病灶检测方法及装置、病灶检测模型获取方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种病灶检测方法，其特征在于，包括：

获取对被检测部位采集的图像；

对所述图像提取特征，得到特征图；

根据所述图像的所述特征图，生成将所述图像中的病灶框出的多边形框以及所述多边形框对应的类别信息，获得所述图像的检测结果，所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。

2.根据权利要求1所述的病灶检测方法，其特征在于，根据所述图像的所述特征图，生成将所述图像中的病灶框出的多边形框以及所述多边形框对应的类别信息，获得所述图像的检测结果包括：

根据所述图像的所述特征图，生成多个将所述图像中的病灶框出的所述多边形框以及每一所述多边形框对应的类别信息；

对于预测类别相同的两个所述多边形框，若该两个所述多边形框的重叠情况满足第一预设要求，则保留其中预测得分较高的多边形框，或/和，若该两个所述多边形框的重叠情况满足第二预设要求，则保留该两个多边形框。

3.根据权利要求2所述的病灶检测方法，其特征在于，所述第一预设要求包括：该两个所述多边形框的交并比大于预设阈值，两个所述多边形框的交并比是指两个所述多边形框的交集面积与并集面积的比值。

4.根据权利要求2所述的病灶检测方法，其特征在于，所述第二预设要求包括：该两个所述多边形框的交并比小于等于预设阈值，两个所述多边形框的交并比是指两个所述多边形框的交集面积与并集面积的比值。

5.根据权利要求1-4任一项所述的病灶检测方法，其特征在于，对所述图像提取特征，得到特征图包括：以多个不同的尺度对所述图像提取特征，得到多个不同尺度的特征图，将得到的多个不同尺度的特征图拼接以及融合。

6.一种病灶检测模型获取方法，其特征在于，包括：

对作为训练样本的图像，在所述图像中以多边形框标注出病灶以及标注出类别信息；

使用经过标注的训练样本对预设检测模型进行训练，获得病灶检测模型，所述病灶检测模型以图像为输入，以预测的类别信息和多边形框为输出，生成的所述多边形框将所述图像中的病灶框出，生成的所述多边形框由多个向量的终点依次连接形成，所述多个向量以同一像素为起点。

7.根据权利要求6所述的病灶检测模型获取方法，其特征在于，使用经过标注的训练样本对预设检测模型进行训练包括：计算预测框和标注框的位置损失，根据所述位置损失训练所述预设检测模型，所述标注框为在所述图像中标注出病灶的多边形框，所述预测框为将所述图像输入所述预设检测模型后，输出的将所述图像中的病灶框出的多边形框；

所述位置损失以所述预测框与所述标注框的交并比或/和所述预测框中心与所述标注框中心的距离或/和所述预测框的向量与所述标注框的向量的模长差、角度差描述。

8.根据权利要求7所述的病灶检测模型获取方法，其特征在于，所述位置损失以所述预测框中心与所述标注框中心的距离描述，根据以下公式表示以所述预测框中心与所述标注框中心的距离描述的位置损失：

其中，ρ表示预测框中心与标注框中心的距离，p、g分别表示预测框中心和标注框中心，c表示预测框和标注框的最小外接矩形框的对角线长度。

9.根据权利要求7所述的病灶检测模型获取方法，其特征在于，所述位置损失以所述预测框的向量与所述标注框的向量的模长差、角度差描述，根据以下公式表示以所述预测框的向量与所述标注框的向量的模长差、角度差描述的位置损失：

其中，Δl表示预测框的向量与标注框的向量的模长差，Δθ表示预测框的向量与标注框的向量的角度差，

分别表示预测框的第i向量的模长和标注框的第i向量的模长，

分别表示预测框的第i向量的角度和标注框的第i向量的角度，i∈[1,n]，n为大于等于3的整数。

10.一种病灶检测装置，其特征在于，用于执行权利要求1-5任一项所述的病灶检测方法，或者用于使用病灶检测模型对图像处理，所述病灶检测模型为采用权利要求6-9任一项所述的病灶检测模块获取方法获得。

Images