CN114119720A - 一种基于卷积神经网络的靶面弹着点的检测和定位方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的靶面弹着点检测和定位方法，属于图像检测领域。旨在更精确定位靶面上弹着点的中心圆点坐标位置，提高报靶的分辨率和精度。所述检测和定位方法首先通过摄像头采集靶面图像，通过对靶面图像进行处理，得到像素点阵列表述的目标图像，然后对目标图像进行亮度色差判定，对通过判定的像素点构建矩形框，得到候选矩形框集；采用卷积神经网络全连接层处理该候选矩形框集得到一组特征向量，并通过分类器进行判定，最后利用回归器得到靶面弹着点的准确位置。

Description

一种基于卷积神经网络的靶面弹着点的检测和定位方法

技术领域

本发明涉及图像检测与识别领域，具体涉及一种基于卷积神经网络的靶面上弹着点的检测和定位方法。

背景技术

随着科学技术的飞速发展，图像处理技术的发展也进入了快车道，更与人们的日常生活密不可分，在出行服务、消费服务、安保、医疗等领域已发挥着越来越重要的作用。对图像上某个目标的检测是图像处理领域不可或缺的部分，怎样快速有效的检测到预期目标并精准定位就是这一领域技术人员需要解决的问题。

基于深度学习的卷积神经网络目标检测算法具有自动学习和提取目标的关键特征的优点，它能为图像目标检测提供有效路径。目前常见的基于深度卷积神经网络的物体检测方法有基于区域建议的方法(Faster R-CNN等)和无区域建议的方法(例如YOLO、SSD等)，其中Faster R-CNN以其较高的精度备受关注(沈玉勤，严凡，孟夏兵，王帅.一种基于卷积神经网络的车载图像目标检测方法和***)。随着深度卷积神经网络在图像分类和目标检测等领域的有效进展，已开始有技术人员将其应用在图像上不同尺寸的目标，尤其是微小目标进行检测和识别。现有的图像检测和识别技术方案里，对靶面上弹着点的定位不够精确，尚不能准确捕捉到射击点的中心圆点的坐标位置。

因此，使用什么样的神经网络模型能更精确定位靶面上弹着点的中心圆点坐标位置成为急需的技术手段。

发明内容

本发明所要解决的技术问题是如何微小目标进行检测和识别，以提高靶面弹着点的定位精度，准确捕捉射击点的中心圆点的坐标位置。方法是基于预先构建的包含池化层、全连接层、分类器、回归器的深度卷积神经网络，对靶面上弹着点的坐标位置进行定位。

本发明的目的是这样实现的。本发明提供了一种基于卷积神经网络的靶面弹着点的检测和定位方法，所述卷积神经网络包括依次连接的池化层、全连接层、分类器和回归器，其中，全连接层包括两层，分别记为H1层和H2层，H1层和H2层顺次连接，且每层都有1024个神经单元；所述检测和定位方法采用该卷积神经网络对靶面弹着点进行检测和定位，具体的，包括以下步骤：

步骤1，通过摄像头获得原始图像，然后对原始图像进行格式转换后得到用像素点阵列表述的目标图像，将该像素点阵列记为A，像素点阵列A的尺寸为M×N，M为长度，N为宽度；设像素点阵列A中包括n个像素点，将n个像素点中的任意一个像素点记为像素点A_j，j为像素点的序号，j＝1，2，…，n；

步骤2，设定一个预设亮度分界值B_ri，并以此为准，对像素点阵列A中n个像素点的亮度进行检测，得到一个候选矩形框集；

步骤2.1，检测像素点阵列A中n个像素点的亮度，得到n个像素点的亮度值，将像素点A_j的亮度值记为P_j，j＝1，2，…，n；

步骤2.2，将像素点A_j的亮度值P_j与预设亮度分界值B_ri进行对比，并作出以下判定：

若P_j≥B_ri，提取该像素点A_j为候选像素点；

若P_j＜B_ri，舍弃该像素点；

步骤2.3，按照步骤2.2的方法对像素点阵列A中n个像素点的亮度逐一进行判定，得到一个候选像素点阵列B，该候选像素点阵列B中包括m个候选像素点，m≤n；

步骤2.4，在候选像素点阵列B中的每一个候选像素点的***构建矩形框，并将该矩形框记为候选矩形框，则得到一个候选矩形框集C，该候选矩形框集C中包括m个候选矩形框，将m个候选矩形框中的任意一个记为候选矩形框C_λ，λ为候选矩形框的序号，λ＝1，2...m；

步骤3，将步骤2得到的候选矩形框集C中的每一个候选矩形框通过池化层和全连接层；

步骤3.1，将候选矩形框C_λ通过池化层后，得到一个与候选矩形框C_λ对应的纬度值并记为候选纬度值W_λ，候选纬度值W_λ为16×256维向量；所述池化层采用空间尺度为4×4的池化方式；

步骤3.2，将步骤3.1获得的候选纬度值W_λ作为H1层的输入，从H2层输出一个与候选矩形框C_λ对应的特征向量并记为候选特征向量E_λ，候选特征向量E_λ为1×1024维向量；

步骤3.3，采用3.1和3.2对候选矩形框集C中m个候选矩形框进行相同操作，得到m个候选特征向量E_λ；

步骤4，基于分类器对步骤3得到的m个候选特征向量E_λ进行判定，得到选定矩形框；

步骤4.1，将步骤3得到的m个候选特征向量E_λ输入分类器，分类器输出与m个候选特征向量E_λ对应的m个候选特征向量值M_λ，λ＝1，2…m；

步骤4.2，预先设定一个阈值F，将步骤4.1得到的m个候选特征向量值M_λ按照λ的排序与阈值F进行比较：

若M_λ＜F，进行下一个候选特征向量值M_λ的比较；

若M_λ≥F，将与该候选特征向量值M_λ对应的候选矩形框C_λ记为选定矩形框S，并不再将其他候选特征向量值M_λ与预设阈值F进行比较，直接进入步骤5；

步骤5，将沿着靶面弹着点***构建的矩形框记为目标矩形框D，基于回归器对选定矩形框S进行调整，定位目标矩形框D的位置；

步骤5.1，用回归向量T表达所述卷积神经网络中的回归器，其表达式为：

T＝{t_x，t_y，t_w，t_h}

其中，t_x为横坐标移动值，t_y为纵坐标移动值，t_w为宽度值，t_h为高度值；

用选定表征向量J表达选定矩形框S，其表达式为：

J＝{x_q，y_q，w_q，h_q}

式中，(x_q，y_q)为选定矩形框S的中心坐标，w_q为选定矩形框S的宽度，h_q为选定矩形框S的高度；

步骤5.2，将表征向量J输入回归器，输出即为目标矩形框D的特征向量，并记为目标表征向量K，目标表征向量K的表达式为：

K＝{x_p，y_p，w_p，h_p}

其中，(x_p，y_p)为目标矩形框D的中心坐标，w_p为目标矩形框D的宽度，h_p为目标矩形框D的高度，其计算公式分别如下：

x_p＝t_x×w_q+x_q

y_p＝t_y×h_q+y_q

该目标矩形框D对应的位置即靶面弹着点的位置。

优选地，一种基于卷积神经网络的靶面弹着点的检测和定位方法，其特征在于，所述卷积神经网络预先构建并训练完成，所述训练指的是利用损失函数对所述卷积神经网络进行训练，以获得池化层、全连接层、分类器和回归器的参数，所述损失函数的表达式如下：

Z_lof＝Z_tc+Z_rs

其中，

Z_lof为卷积神经网络的损失函数；

Z_tc为分类器的损失函数，其表达式为：

Z_rs为回归器的损失函数，其表达式为：

式中，s为选定矩形框S的选定表征向量J的值，d为经过回归器处理后的目标矩形框D的目标表征向量K的值。

与现有技术相比，本发明的有益效果如下：

1、由于靶座上弹着点是不规格的，使用传统方法捕捉到的坐标点不一定是弹着点的中心圆点；

2、通过亮度色差判定，构建出候选矩形框，相对于直接对目标图像进行处理，减少了计算量；

3、基于卷积神经网络对选定的矩形框进行处理，可有效提高靶座上弹着点捕捉的坐标精度，准确捕捉到弹着点的中心圆点坐标位置。

附图说明

图1是本发明检测和定位方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的说明。

一种基于卷积神经网络的靶面弹着点的检测和定位方法，所述卷积神经网络为预先构建完成的，包括依次连接的池化层、全连接层、分类器和回归器，其中，全连接层包括两层，分别记为H1层和H2层，H1层和H2层顺次连接，且每层都有1024个神经单元。

图1是本发明检测和定位方法的流程图，由图1可见，所述检测和定位方法采用该卷积神经网络对靶面弹着点进行检测和定位，具体的，包括以下步骤：

步骤1，通过摄像头获得原始图像，然后对原始图像进行格式转换后得到用像素点阵列表述的目标图像，将该像素点阵列记为A，像素点阵列A的尺寸为M×N，M为长度，N为宽度；设像素点阵列A中包括n个像素点，将n个像素点中的任意一个像素点记为像素点A_i，j为像素点的序号，j＝1，2，…，n；

步骤2，设定一个预设亮度分界值B_ri，并以此为准，对像素点阵列A中n个像素点的亮度进行检测，得到一个候选矩形框集；

步骤2.1，检测像素点阵列A中n个像素点的亮度，得到n个像素点的亮度值，将像素点A_j的亮度值记为P_j，j＝1，2，…，n；

步骤2.2，将像素点A_j的亮度值P_j与预设亮度分界值B_ri进行对比，并作出以下判定：

若P_j≥B_ri，提取该像素点A_j为候选像素点；

若P_j＜B_ri，舍弃该像素点；

步骤2.3，按照步骤2.2的方法对像素点阵列A中n个像素点的亮度逐一进行判定，得到一个候选像素点阵列B，该候选像素点阵列B中包括m个候选像素点，m≤n；

步骤2.4，在候选像素点阵列B中的每一个候选像素点的***构建矩形框，并将该矩形框记为候选矩形框，则得到一个候选矩形框集C，该候选矩形框集C中包括m个候选矩形框，将m个候选矩形框中的任意一个记为候选矩形框C_λ，λ为候选矩形框的序号，λ＝1，2...m；

步骤3，将步骤2得到的候选矩形框集C中的每一个候选矩形框通过池化层和全连接层；

步骤3.1，将候选矩形框C_λ通过池化层后，得到一个与候选矩形框C_λ对应的纬度值并记为候选纬度值W_λ，候选纬度值W_λ为16×256维向量；所述池化层采用空间尺度为4×4的池化方式；

步骤3.2，将步骤3.1获得的候选纬度值W_λ作为H1层的输入，从H2层输出一个与候选矩形框C_λ对应的特征向量并记为候选特征向量E_λ，候选特征向量E_λ为1×1024维向量；

步骤3.3，采用3.1和3.2对候选矩形框集C中m个候选矩形框进行相同操作，得到m个候选特征向量E_λ；

步骤4，基于分类器对步骤3得到的m个候选特征向量E_λ进行判定，得到选定矩形框；

步骤4.1，将步骤3得到的m个候选特征向量E_λ输入分类器，分类器输出与m个候选特征向量E_λ对应的m个候选特征向量值M_λ，λ＝1，2…m；

步骤4.2，预先设定一个阈值F，将步骤4.1得到的m个候选特征向量值M_λ按照λ的排序与阈值F进行比较：

若M_λ＜F，进行下一个候选特征向量值M_λ的比较；

若M_λ≥F，将与该候选特征向量值M_λ对应的候选矩形框C_λ记为选定矩形框S，并不再将其他候选特征向量值M_λ与预设阈值F进行比较，直接进入步骤5；

步骤5，将沿着靶面弹着点***构建的矩形框记为目标矩形框D，基于回归器对选定矩形框S进行调整，定位目标矩形框D的位置；

步骤5.1，用回归向量T表达所述卷积神经网络中的回归器，其表达式为：

T＝{t_x，t_y，t_w，t_h}

其中，t_x为横坐标移动值，t_y为纵坐标移动值，t_w为宽度值，t_h为高度值；

用选定表征向量J表达选定矩形框S，其表达式为：

J＝{x_q，y_q，w_q，h_q}

式中，(x_q，y_q)为选定矩形框S的中心坐标，w_q为选定矩形框S的宽度，h_q为选定矩形框S的高度；

步骤5.2，将表征向量J输入回归器，输出即为目标矩形框D的特征向量，并记为目标表征向量K，目标表征向量K的表达式为：

K＝{x_p，y_p，w_p，h_p}

其中，(x_p，y_p)为目标矩形框D的中心坐标，w_p为目标矩形框D的宽度，h_p为目标矩形框D的高度，其计算公式分别如下：

x_p＝t_x×w_q+x_q

y_p＝t_y×h_q+y_q

该目标矩形框D对应的位置即靶面弹着点的位置。

在本实施例中，一种基于卷积神经网络的靶面弹着点的检测和定位方法，其特征在于，所述卷积神经网络预先构建并训练完成，所述训练指的是利用损失函数对所述卷积神经网络进行训练，以获得池化层、全连接层、分类器和回归器的参数，所述损失函数的表达式如下：

Z_lof＝Z_tc+Z_rs

其中，

Z_lof为卷积神经网络的损失函数；

Z_tc为分类器的损失函数，其表达式为：

Z_rs为回归器的损失函数，其表达式为：

式中，s为选定矩形框S的选定表征向量J的值，d为经过回归器处理后的目标矩形框D的目标表征向量K的值。

Claims (2)

1.一种基于卷积神经网络的靶面弹着点的检测和定位方法，其特征在于，所述卷积神经网络包括依次连接的池化层、全连接层、分类器和回归器，其中，全连接层包括两层，分别记为H1层和H2层，H1层和H2层顺次连接，且每层都有1024个神经单元；所述检测和定位方法采用该卷积神经网络对靶面弹着点进行检测和定位，具体的，包括以下步骤：

步骤1，通过摄像头获得原始图像，然后对原始图像进行格式转换后得到用像素点阵列表述的目标图像，将该像素点阵列记为A，像素点阵列A的尺寸为M×N，M为长度，N为宽度；设像素点阵列A中包括n个像素点，将n个像素点中的任意一个像素点记为像素点A_j，j为像素点的序号，j＝1，2，...，n；

步骤2，设定一个预设亮度分界值B_ri，并以此为准，对像素点阵列A中n个像素点的亮度进行检测，得到一个候选矩形框集；

步骤2.1，检测像素点阵列A中n个像素点的亮度，得到n个像素点的亮度值，将像素点A_j的亮度值记为P_j，j＝1，2，...，n；

步骤2.2，将像素点A_j的亮度值P_j与预设亮度分界值B_ri进行对比，并作出以下判定：

若P_j≥B_ri，提取该像素点A_j为候选像素点；

若P_j＜B_ri，舍弃该像素点；

步骤2.3，按照步骤2.2的方法对像素点阵列A中n个像素点的亮度逐一进行判定，得到一个候选像素点阵列B，该候选像素点阵列B中包括m个候选像素点，m≤n；

步骤2.4，在候选像素点阵列B中的每一个候选像素点的***构建矩形框，并将该矩形框记为候选矩形框，则得到一个候选矩形框集C，该候选矩形框集C中包括m个候选矩形框，将m个候选矩形框中的任意一个记为候选矩形框C_λ，λ为候选矩形框的序号，λ＝1，2...m；

步骤3，将步骤2得到的候选矩形框集C中的每一个候选矩形框通过池化层和全连接层；

步骤3.1，将候选矩形框C_λ通过池化层后，得到一个与候选矩形框C_λ对应的纬度值并记为候选纬度值W_λ，候选纬度值W_λ为16×256维向量；所述池化层采用空间尺度为4×4的池化方式；

步骤3.2，将步骤3.1获得的候选纬度值W_λ作为H1层的输入，从H2层输出一个与候选矩形框C_λ对应的特征向量并记为候选特征向量E_λ，候选特征向量E_λ为1×1024维向量；

步骤3.3，采用3.1和3.2对候选矩形框集C中m个候选矩形框进行相同操作，得到m个候选特征向量E_λ；

步骤4，基于分类器对步骤3得到的m个候选特征向量E_λ进行判定，得到选定矩形框；

步骤4.1，将步骤3得到的m个候选特征向量E_λ输入分类器，分类器输出与m个候选特征向量E_λ对应的m个候选特征向量值M_λ，λ＝1，2...m；

步骤4.2，预先设定一个阈值F，将步骤4.1得到的m个候选特征向量值M_λ按照λ的排序与阈值F进行比较：

若M_λ＜F，进行下一个候选特征向量值Mλ的比较；

若M_λ≥F，将与该候选特征向量值M_λ对应的候选矩形框C_λ记为选定矩形框S，并不再将其他候选特征向量值M_λ与预设阈值F进行比较，直接进入步骤5；

步骤5，将沿着靶面弹着点***构建的矩形框记为目标矩形框D，基于回归器对选定矩形框S进行调整，定位目标矩形框D的位置；

步骤5.1，用回归向量T表达所述卷积神经网络中的回归器，其表达式为：

T＝{t_x，t_y，t_w，t_h}

其中，t_x为横坐标移动值，t_y为纵坐标移动值，t_w为宽度值，t_h为高度值；

用选定表征向量J表达选定矩形框S，其表达式为：

J＝{x_q，y_q，w_q，h_q}

式中，(x_q，y_q)为选定矩形框S的中心坐标，w_q为选定矩形框S的宽度，h_q为选定矩形框S的高度；

步骤5.2，将表征向量J输入回归器，输出即为目标矩形框D的特征向量，并记为目标表征向量K，目标表征向量K的表达式为：

K＝{x_p，y_p，w_p，h_p}

其中，(x_p，y_p)为目标矩形框D的中心坐标，w_p为目标矩形框D的宽度，h_p为目标矩形框D的高度，其计算公式分别如下：

x_p＝t_x×w_q+x_q

y_p＝t_y×h_q+y_q

该目标矩形框D对应的位置即靶面弹着点的位置。

2.根据权利要求1所述的一种基于卷积神经网络的靶面弹着点的检测和定位方法，其特征在于，所述卷积神经网络预先构建并训练完成，所述训练指的是利用损失函数对所述卷积神经网络进行训练，以获得池化层、全连接层、分类器和回归器的参数，所述损失函数的表达式如下：

Z_lof＝Z_tc+Z_rs

其中，

Z_lof为卷积神经网络的损失函数；

Z_tc为分类器的损失函数，其表达式为：

Z_rs为回归器的损失函数，其表达式为：

式中，s为选定矩形框S的选定表征向量J的值，d为经过回归器处理后的目标矩形框D的目标表征向量K的值。

Images