CN111524095A - 一种用于旋转物体的目标检测方法 - Google Patents

Abstract

一种用于旋转物体的目标检测方法，所述方法包括如下步骤：S100：以深度学习网络构建检测模型；S200：采用多尺度特征金字塔网络在特征提取器中对训练图片提取特征以获得多个特征图；S300：通过该多个特征图中的每一个特征图对每个定义为正例的锚框进行回归预测，获取样本物体的旋转边界框的位置特征参数，以对该检测模型进行训练，得到检测网络；S400：以该检测模型对目标图片进行检测，通过检测模型输出目标图片中的目标物体不同方向的旋转锚框，并筛选出置信度最高的旋转锚框作为结果框输出。该方法能够更加细致地检测图片中各个方向的物体，具有更高的检测精度，同时更符合自然场景中任务的需求，具有很强的通用性。

Description

一种用于旋转物体的目标检测方法

技术领域

本公开属于计算机视觉技术领域，特别涉及一种用于旋转物体的目标检测回归方法。

背景技术

近年来，深度学***。目前，主流的目标检测算法仅关注水平边界框上的对象，这对于我们日常生活中的一些对象(例如人或汽车等)足够准确。但是，多方向的旋转物体是广泛存在的，实际应用场景对多方向物体的目标检测也有很大的需求，例如对自然场景文本检测、倾斜的塔吊检测等。对于多方向的细长物体，使用水平边界框并不能实现精确的定位，尤其是在存在大量密集倾斜的物体的情况下，邻近物体的水平检测边界框会存在大幅度的重叠，在后处理阶段也会产生一定的问题。因此，针对水平边界框无法对旋转物体进行精确定位这一缺点，需要设计一种用于旋转物体的目标检测回归策略。

发明内容

为了解决上述问题，本公开提供了一种用于旋转物体的目标检测方法，所述方法包括如下步骤：

S100：以深度学习网络构建检测模型；

S200：采用多尺度特征金字塔网络在特征提取器中对训练图片提取特征以获得多个特征图；

S300：通过该多个特征图中的每一个特征图对每个定义为正例的锚框进行回归预测，获取样本物体的旋转边界框的位置特征参数，以对该检测模型进行训练，得到检测网络；

S400：以该检测模型对目标图片进行检测，通过检测模型输出目标图片中的目标物体不同方向的旋转锚框，并筛选出置信度最高的旋转锚框作为结果框输出。

上述技术方案，利用带有角度的边界框来描述检测到的物体，可以对任意方向物体进行精准检测。本方法并不针对某一类特定物体设计，因此可以用于对多种、多方向物体进行检测，有很强的通用性。

附图说明

图1是本公开一个实施例中所提供的一种用于旋转物体的目标检测方法的流程图；

图2是本公开一个实施例中特征金字塔网络结构示意图；

图3是本公开一个实施例中旋转物体的目标检测回归结果示意图。

具体实施方式

在一个实施例中，如图1所示，其公开一种用于旋转物体的目标检测方法，所述方法包括如下步骤：

S100：以深度学习网络构建检测模型；

S200：采用多尺度特征金字塔网络在特征提取器中对训练图片提取特征以获得多个特征图；

S300：通过该多个特征图中的每一个特征图对每个定义为正例的锚框进行回归预测，获取样本物体的旋转边界框的位置特征参数，以对该检测模型进行训练，得到检测网络；

S400：以该检测模型对目标图片进行检测，通过检测模型输出目标图片中的目标物体不同方向的旋转锚框，并筛选出置信度最高的旋转锚框作为结果框输出。

就该实施例而言，本方法提供一种用于旋转物体的目标检测回归策略，该回归策略弥补了采用水平边界框对旋转物体检测时不精确、边界框相互重叠等缺点，可实现对任意方向物体的准确检测。能够更加细致地检测图片中各个方向的物体，具有更高的检测精度，同时更符合自然场景中任务的需求，具有很强的通用性。

在另一个实施例中，步骤S300中的旋转边界框为(x_c，y_c，w，h，θ)，其中(x_c，y_c)指定中心点的坐标，w为宽度，h是高度，θ表示旋转物体的角度。

就该实施例而言，本方法不再利用传统的水平矩形框来描述物体，而是应用带有角度参数的旋转边界框来描述图中的物体。传统的目标检测器的回归策略中，水平边界框被确定为(x_c，y_c，w，h)，其中(x_c，y_c)指定中心点的坐标，w为宽度，h是对象框的高度。这四个参数可以更好地表示水平目标的空间位置和范围。但是，四参数边界框很难区分那些倾斜的目标，因此使用了多尺度旋转边界框来精确检测目标物体。基于这四个参数，我们添加一个额外的参数θ来唯一确定一个旋转的边界框(x_c，y_c，w，h，θ)，其中前四个参数的规格与水平框相同，但最后一个参数θ表示旋转物体的角度。

在另一个实施例中，所述角度θ的取值范围为-90°＜θ≤90°。

就该实施例而言，由于大多数目标都是中心对称的，所以角度范围无需扩大为360°，而角度范围较小则无法包含任意方向，因此本专利将预测角度的范围定为(-90°，90°]。(-90，0)对于两个处于对称位置的物体的角度无法区分。

在另一个实施例中，步骤S300中检测网络不是直接预测真值框的坐标，而是回归与旋转的先验锚框参数有关的、中心的比例不变的平移、长宽的对数平移以及角度偏差的正切。

就该实施例而言，令A＝(x₀，y₀，w₀，h₀，θ₀)表示旋转的先验锚框，而附近的真值框可以表示为G＝(x，y，w，h，θ)。网络不是直接预测真值框G的坐标，而是回归与锚框参数有关的、中心的比例不变的平移和长宽的对数平移以及角度偏差的正切。具体来说，在此放置锚框A的单元格中的回归目标T＝(t_x，t_y，t_w，t_h，t_θ)应为

t_θ＝arctan(θ-θ₀) (1)

就该实施例而言，角度回归时使用正切函数可以将角度映射到非线性空间，比直接回归角度能够使得训练更快收敛。

在另一个实施例中，步骤S300中在进行回归预测时，使用K-means算法将训练数据集中的真值框进行聚类。

就该实施例而言，本方法并未使用现有技术中设置多个不同角度的分组来设置先验锚框，而是使用K-means算法将训练数据集中的真值框进行聚类，从而获得先验的大小和角度，避免增加额外的旋转锚框。这里先验锚框的设置上，先使用聚类之后确定角度分布情况，再对先验锚框进行设置。这种方式简单有效，模型可以在有先验分布的数据集上进行检测，从而使训练更加稳定并且优化更易于收敛。

在另一个实施例中，步骤S300中检测网络的损失函数包括分类损失函数和位置损失函数，其中，分类损失函数中用于类别预测的交叉熵损失CE中添加了调制因子。

就该实施例而言，目标检测网络的损失函数是一个多任务损失，包括分类损失L_cls和位置损失L_loc，完整的多任务损失L可以表示为

L＝L_cls+λ_locL_loc (2)

其中超参数λ_loc用于平衡两个损耗，根据经验将其设置为1。

具体地，用x_i表示图片中第i个锚框是否被标记为正例，其中1表示该锚框为正例，0表示该锚框为负例。由于目标检测模型在训练过程中容易出现极端的前景(目标样本)、背景类不均衡的问题，为了使检测模型更专注于这些稀疏但困难的前景样本，并防止大量容易的背景样本在训练过程中占主导地位，本方法将分类损失的计算公式设计为

其中c_i是预测的类别，y_i是第i个锚框为正例时的真值框类别标签。用于类别预测的交叉熵损失(CE)中添加了调制因子(1-c_i)^α或(c_i-0)^α，可调参数α≥0，添加调制因子能够动态的调整训练过程中简单样本的权重，并让模型快速关注于困难样本，解决类别不均衡问题。

在另一个实施例中，步骤S200中进一步包括：将先验锚框和训练图片中目标物体的位置进行交并比IOU计算，若与训练图片中的物体真值框的交并比值大于所设定的阈值，锚框记为当前类物体的正例，若与物体真值框的交并比值小于所设定阈值，则记为负例。

就该实施例而言，如图2所示，为了保持语义和空间信息的完整性，采用多尺度特征融合技术，在3个尺度上进行特征提取，这3个特征层按特征范围从小到大的顺序分别表示为P1，P2和P3，在不同的尺度的特征层上用步长为2的下采样进行计算，将高层的语义信息和拥有空间信息低层语义信息相结合，外加横向连接结构，建立一个类似于金字塔结构的尺度都是强语义的特征金字塔，这样加强了算法对小目标检测的精确度。本方法与其他基于锚框的通用对象检测器一致，将密集的先验锚框放置在最终特征图上。将先验锚框和训练图片中目标物体的位置进行交并比(IOU)计算，若与训练图片中的物体真值框的交并比值大于所设定的阈值，锚框记为当前类物体的正例，若与物体真值框的交并比值小于所设定阈值，则记为负例(背景)。

在另一个实施例中，用于确定样本锚框正例时使用的交并比使用余弦函数进行回归。

就该实施例而言，通常用于确定样本锚框正例时使用的交并比(IOU)计算定义为：

其中∩和∪是锚框A和真值框G之间的布尔运算，Area()是指区域面积。IOU准则可以反映锚框和真值框之间位置、纵横比和尺度的接近程度。

由于两个角度不同的旋转物体之间的IOU的计算更为复杂，本方法选择一个简化的IOU(称为IOU_RB)作为训练距离标准，该标准由以下公式计算

其中

与其他技术相比，本方法使用公式(5)更容易计算两个角度不同的旋转物体之间的IOU。本方法没有采用现有技术中对角度进行直接回归，而是使用余弦函数进行回归。IOU_RB可以将几何尺寸的距离与框之间的旋转角度解耦，前一部分确保两个框的位置和比例接近，而后一部分确保余弦函数角度之间的差异不会太大。应当注意，传统IOU仍用于在后处理时过滤掉冗余检测框以进行非极大值抑制，而IOU_RB仅用于训练时选择正例。

在另一个实施例中，其中位置损失函数计算为：

其中，x_ij表示第i个锚框与第j个真值框相交比值大于阈值，T_i是回归目标，R_i是由检测网络得出的回归输出，γ是调整参数。

就该实施例而言，参数γ可以调整L_loc函数对异常值的敏感性，从而提高L_loc的鲁棒性。通过交叉实验，当损失调制因子α＝2且L_loc的参数γ＝3时，本发明的网络可以获得最佳性能。

在另一个实施例中，当γ＝2时，L_loc函数等于smoothL1损失函数。

在另一个实施例中，将本方法应用于输电线路异物检测算法中进行实验。收集到输电线路环境监控图像共8000张，将其中包含的隐患异物分为塔吊、吊车、施工机械、导线异物和烟火共五类，分别使用水平标注框和旋转标注框两种方式对所有图像进行标注，将6000张图片作为训练集，2000张图片作为测试集。

在训练阶段，所有的网络都经过了60个批次的训练。使用随机梯度下降算法(SGD)更新网络权重系数。将初始学***边界框的回归预测，只是在通过阈值比较选择正例时使用的是传统的IOU而不是IOU_RB。

实验结果如图3所示。可以看出无论是使用水平边界框还是使用旋转边界框，当目标对象像图3中的吊车一样直立且分散时，都可以很好地检测到目标对象。然而，当物体倾斜非常严重，并且可能像塔吊那样密集分布时，本方法使用的倾斜物体目标检测回归策略可以更好地检测目标物体并更精确地定位它们。此外，使用水平边界框的方法可能无法区分拥挤的对象，这是后处理非极大值抑制(NMS)的一个自然缺点。具体地，分别使用两种边界框检测精度的对比如表1所示，使用mAP(mean average precision)来进行评估，从表1可以看出使用旋转边界框的检测精度更高。

表1

综上所述，以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开的各实施例技术方案的范围。

Claims (10)

1.一种用于旋转物体的目标检测方法，所述方法包括如下步骤：

S100：以深度学习网络构建检测模型；

S200：采用多尺度特征金字塔网络在特征提取器中对训练图片提取特征以获得多个特征图；

S300：通过该多个特征图中的每一个特征图对每个定义为正例的锚框进行回归预测，获取样本物体的旋转边界框的位置特征参数，以对该检测模型进行训练，得到检测网络；

S400：以该检测模型对目标图片进行检测，通过检测模型输出目标图片中的目标物体不同方向的旋转锚框，并筛选出置信度最高的旋转锚框作为结果框输出。

2.根据权利要求1所述的方法，步骤S300中的旋转边界框为(x_c，y_c，w，h，θ)，其中，优选的，(x_c，y_c)指定中心点的坐标，w为宽度，h是高度，θ表示旋转物体的角度。

3.根据权利要求2所述的方法，所述角度θ的取值范围为-90°＜θ≤90°。

4.根据权利要求1所述的方法，步骤S300中检测网络不是直接预测真值框的坐标，而是回归与旋转的先验锚框参数有关的、中心的比例不变的平移、长宽的对数平移以及角度偏差的正切。

5.根据权利要求1所述的方法，步骤S300中在进行回归预测时，使用K-means算法将训练数据集中的真值框进行聚类。

6.根据权利要求1所述的方法，步骤S300中检测网络的损失函数包括分类损失函数和位置损失函数，其中，分类损失函数中用于类别预测的交叉熵损失CE中添加了调制因子。

7.根据权利要求1所述的方法，步骤S200中进一步包括：将先验锚框和训练图片中目标物体的位置进行交并比IOU计算，若与训练图片中的物体真值框的交并比值大于所设定的阈值，锚框记为当前类物体的正例，若与物体真值框的交并比值小于所设定阈值，则记为负例。

8.根据权利要求7所述的方法，用于确定样本锚框正例时使用的交并比使用余弦函数进行回归。

9.根据权利要求6所述的方法，其中位置损失函数计算为：

其中，x_ij表示第i个锚框与第j个真值框相交比值大于阈值，T_i是回归目标，R_i是由检测网络得出的回归输出，γ是调整参数。

10.根据权利要求9所述的方法，当γ＝2时，L_loc函数等于smoothL1损失函数。

Images