CN111161227B - 一种基于深度神经网络的靶心定位方法及*** - Google Patents

Abstract

本发明公开了一种基于深度神经网络的靶心定位方法及***，包括：建立与预设对象匹配的仿真模型，得到仿真图像数据；采集预处理后的真实图像数据；对仿真图像数据和真实图像数据做数据增强处理，得到数据集；训练深度神经网络；将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；筛选目标类别判定与目标区域判定结果得到圆孔目标；提取圆孔目标对应的区域内每个像素点的图像坐标；计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标。本发明解决了当前基于传统图像处理技术方法在低清晰度图像难以定位、倾斜角度拍摄图像难以识别的问题。

Description

一种基于深度神经网络的靶心定位方法及***

技术领域

本发明涉及计算机视觉应用领域，具体地，涉及一种基于深度神经网络的靶心定位方法及***。

背景技术

在实际的生产过程中，存在着大量无法用接触式方式测量的目标。特别是在恶劣的工业环境中，一些运动目标是无法用常规传感器测量的，所以采用非接触式的方式实时测量运动目标是目前研究的热点之一。近年来CCD图像传感器已在航空航天，卫星侦察，遥感遥测，光学图像处理等领域得到广的应用。基于DIM硬件设备基础的靶心识别是当前图像识别领域亟待解决的问题之一。

当前识别方法在低清晰度、复杂背景的图像上使用边缘检测算法难以精准地检测出目标的边缘，进而难以定位靶心。其次，由于拍摄角度的不同，目标形状会变化，难以通过单一规则判断。基于以上限制，目前难以做到全自动靶心识别，必须依赖人工处理，效率低且侦察结果一致性较差。

随着深度学习技术的迅速发展，在语音识别、图像识别等领域已经有成熟应用案例。实时数字摄影测量的关键技术之一就是二维图像的实时处理。因此利用深度学习技术实现自动图像目标检测与识别成为可能。

发明内容

本发明针对真实复杂情况下的图像，提供了一种基于深度神经网络的靶心定位方法及***，旨在解决当前基于传统图像处理技术方法在低清晰度图像难以定位、倾斜角度拍摄图像难以识别的问题。

因真实场景下的数据采集难度较大，图像质量较低，直接使用神经网络模型定位靶目标效果较差。本发明使用创建仿真图像数据的方式，增大神经网络模型的训练样本量，从而达到提升神经网络模型性能和模型的泛化能力。

为实现上述发明目的，本发明一方面提供了一种基于深度神经网络的靶心定位方法，包括：

步骤1采集仿真图像数据：

步骤1.1创建3D柱形靶模型，柱形靶模型上下底面均为椭圆形，且上下底面上均有圆孔，而柱身为细长型圆柱；

步骤1.2设置光源照向柱形靶模型，光源类型使用点光源或自然光源；使用光源的目的是为了模拟黑暗场景下所观测到的目标形状与特征，光照方向射向目标；

步骤1.3设置柱形靶模型材质，使之呈现金属材质质感；

步骤1.4设置不同视点观察柱形靶模型，并截取图像得到不同角度的二维图像；

步骤1.5为步骤1.4得到的图像分别添加高斯噪声、泊松噪声、椒盐噪声、乘性噪声。

步骤2数据预处理与数据增强：

步骤2.1对标注后的真实图像数据使用直方图均衡化，通过均匀图像的灰度值分布达到增强对比度的效果；

步骤2.2将真实图像数据进行上下翻转、左右翻转、调节图片明暗度等方式进行数据增强，扩充数据集；

步骤2.3将仿真图像数据进行上下翻转、左右翻转、调节图片明暗度等方式进行数据增强，扩充数据集。

步骤3网络模型学习：

步骤3.1使用ResNext网络提取图像的特征，分别提取第一特征向量，第二特征向量，第三特征向量，第四特征向量；

步骤3.2分别对第一特征向量，第二特征向量，第三特征向量，第四特征向量执行上采样和卷积操作得到第五特征向量，第六特征向量，第七特征向量，第八特征向量；

步骤3.3对第八特征向量执行池化操作得到第九特征向量；

步骤3.4将第一特征向量，第二特征向量，第三特征向量，第四特征向量输入区域生成网络(RPN)得到区域提议(Region proposals)；

步骤3.5匹配候选区域与真实标注区域，得到正样本与负样本；候选区域即筛选后的区域提议。

步骤3.6将正样本、负样本与第五特征向量，第六特征向量，第七特征向量，第八特征向量，第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定。

步骤4靶心定位：

步骤4.1筛选步骤3.6输出的结果得到“圆孔”目标；圆孔目标即柱形模型顶面或者底面上的圆形孔状凹陷区域，根据深度神经网络的识别结果剔除非圆孔目标；

步骤4.2提取“圆孔”目标的区域内每个像素点的图像坐标，记作(x_i，y_i),其中i＝1，2，3…M；M为目标区域像素点个数；

步骤4.3计算“圆孔”目标区域像素点横纵坐标的平均值，得到靶心的图像位置坐标(X，Y),公式如下：

QUOTE

QUOTE

。

另一方面，与本方法对应，本发明还提供了一种基于深度神经网络的靶心定位***，所述***包括：

仿真图像数据采集单元，用于建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；

真实图像数据采集单元，用于采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；

数据增强单元，用于对仿真图像数据和真实图像数据做数据增强处理得到数据集；

深度神经网络训练单元，用于基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；

圆孔目标筛选单元，用于筛选目标类别判定与目标区域判定结果得到圆孔目标；圆孔目标即柱形模型顶面或者底面上的圆形孔状凹陷区域，根据深度神经网络的识别结果剔除非圆孔目标；

图像坐标提取单元，用于提取圆孔目标对应的区域内每个像素点的图像坐标，记作(x_i，y_i),其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；

靶心图像位置坐标计算单元，用于计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本方法及***对于各种复杂条件下所获取的图像有较好的识别准确率，具有一定的抗噪性。对较理想的仿真图像数据能达到8个像素点内99％以上的识别准确率和召回率。对复杂情况下的真实场景图像数据能达到10个像素点内95％以上的识别准确率和召回率。本方法及***使用深度学神经网络模型对复杂背景条件下的柱形模型进行靶心定位，取得了显著的效果。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中一种基于深度神经网络的靶心定位方法的流程示意图；

图2是本发明中一种基于深度神经网络的靶心定位***的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例

图1是根据本发明实施例的靶心定位方法的流程图。如图1所示，该靶心定位方法的数据来源包含仿真图像数据与真实图像数据。其具体的步骤如下：

步骤1采集仿真图像数据，即“建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据”：

步骤1.1仿照真实图像数据中的柱形模型，使用OpenGL创建3D柱形靶模型。柱形靶模型上下底面均为椭圆形，且上下底面上均有圆形孔，而柱身为细长型圆柱。本发明的一个较佳的实施例中，上述圆孔半径与上下地面的圆柱半径比例如1:2；

步骤1.2设置亮度不同的点光源照向柱形模型，光源类型使用点光源或自然光源；

步骤1.3设置柱形模型材质，使之呈现金属材质质感；

步骤1.4设置不同视点观察柱形模型，并截取图像得到不同角度的二维图像；本发明的一个较佳的实施例中，图像中的柱形模型与竖直方向的夹角保持在0-60度之间；

步骤1.5标记柱形模型的圆孔得到二值掩膜图像，为后续模型训练做准备。

步骤1.6为步骤1.4生成的二维图像分别添加高斯噪声、泊松噪声、椒盐噪声、乘性噪声，以模拟真实图像数据。

步骤2采集真实图像数据，即“采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据”：

步骤2.1采集真实场景下CCD采集到的图像数据；

步骤2.2针对步骤2.1采集到的图像，人工标记柱形模型的圆孔，处理后得到二值掩膜图像为后续模型训练做准备；

步骤2.3对步骤2.1采集到的图像，使用直方图均衡化，通过均匀图像的灰度值分布达到增强对比度的效果。

步骤3数据增强，即“对仿真图像数据和真实图像数据做数据增强处理得到数据集”：

步骤3.1将真实场景图像数据进行上下翻转、左右翻转、调节图片明暗度扩充数据集；

步骤3.2将仿真图像数据进行上下翻转、左右翻转、调节图片明暗度扩充数据集。

步骤4训练深度神经网络，即“基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果”：

步骤4.1使用ResNext网络提取图像的特征，分别提取第一特征向量，第二特征向量，第三特征向量，第四特征向量；

步骤4.2分别对第一特征向量，第二特征向量，第三特征向量，第四特征向量执行上采样和卷积操作得到第五特征向量，第六特征向量，第七特征向量，第八特征向量；

步骤4.3对第八特征向量执行池化操作得到第九特征向量；

步骤4.4将第一特征向量、第二特征向量、第三特征向量和第四特征向量输入区域生成网络得到区域提议，基于区域提议得到候选区域；

步骤4.5匹配候选区域与真实标注区域，得到正样本与负样本；候选区域即筛选后的区域提议。

步骤4.6将正样本、负样本与第五特征向量，第六特征向量，第七特征向量，第八特征向量，第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定。

步骤5区域分割，即“筛选目标类别判定与目标区域判定结果得到圆孔目标”：

步骤5.1调用步骤4所训练好的深度神经网络模型；

步骤5.2将数据集中的真实图像数据与仿真图像数据输入深度神经网络模型进行图像的区域检测。

步骤6靶心计算，即“提取圆孔目标对应的区域内每个像素点的图像坐标；计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标”：

步骤6.1提取步骤5.2检测结果中的“圆孔”目标区域；

步骤6.2统计“圆孔”目标区域内每个像素点的图像坐标，记作(x _i，y_i ),其中i＝1，2，3…M；M为“圆孔目标”对应区域像素点个数；

步骤6.3计算“圆孔”目标区域像素点横纵坐标的平均值，得到靶心的图像置坐标(X，Y),公式如下：

QUOTE

QUOTE

。

请参考图2，本发明实施例还提供了一种基于深度神经网络的靶心定位***，所述***包括：

仿真图像数据采集单元，用于建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；

真实图像数据采集单元，用于采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；

数据增强单元，用于对仿真图像数据和真实图像数据做数据增强处理，得到数据集；

深度神经网络训练单元，用于基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；

其中，所述深度神经网络训练单元包括：

特征向量提取模块，用于使用ResNext网络提取仿真图像和真实图像的特征，分别提取第一特征向量、第二特征向量、第三特征向量和第四特征向量；

采样卷积模块，用于分别对第一特征向量、第二特征向量、第三特征向量和第四特征向量执行上采样和卷积操作，得到第五特征向量、第六特征向量、第七特征向量和第八特征向量；

池化模块，用于对第八特征向量执行池化操作得到第九特征向量；

提议模块，将第一特征向量、第二特征向量、第三特征向量和第四特征向量输入区域生成网络得到区域提议，基于区域提议得到候选区域；

样本筛选模块，用于匹配候选区域与真实标注区域，得到正样本与负样本；

判定模块，用于将正样本、负样本与第五特征向量、第六特征向量、第七特征向量、第八特征向量和第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定，得到目标类别判定与目标区域判定结果。

圆孔目标筛选单元，用于筛选目标类别判定与目标区域判定结果得到圆孔目标；

图像坐标提取单元，用于提取圆孔目标对应的区域内每个像素点的图像坐标，记作(x_i，y_i ),其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；

靶心图像位置坐标计算单元，用于计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于深度神经网络的靶心定位方法，其特征在于，所述方法包括：

建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；

采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；

对仿真图像数据和真实图像数据做数据增强处理得到数据集；

基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；

筛选目标类别判定与目标区域判定结果得到圆孔目标；

提取圆孔目标对应的区域内每个像素点的图像坐标，记作(x _i，y _i)，其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；

计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)；

其中，在基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果中，具体包括：

使用ResNext网络提取仿真图像和真实图像的特征，分别提取第一特征向量、第二特征向量、第三特征向量和第四特征向量；

分别对第一特征向量、第二特征向量、第三特征向量和第四特征向量执行上采样和卷积操作，得到第五特征向量、第六特征向量、第七特征向量和第八特征向量；

对第八特征向量执行池化操作得到第九特征向量；

将第一特征向量、第二特征向量、第三特征向量和第四特征向量输入区域生成网络得到区域提议，基于区域提议得到候选区域；

匹配候选区域与真实标注区域，得到正样本与负样本；

将正样本、负样本与第五特征向量、第六特征向量、第七特征向量、第八特征向量和第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定，得到目标类别判定与目标区域判定结果。

2.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，所述步骤：建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据，具体包括：

创建仿真模型；

设置光源照向仿真模型；

设置不同视点观察仿真模型，并截取图像得到不同角度的二维图像；

在得到的二维图像中添加噪声，得到仿真图像数据。

3.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，仿真模型为3D柱形靶模型，柱形靶模型上下底面均为椭圆形，且上下底面上均有圆孔，柱形靶模型的材质设置为金属材质。

4.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，设置光源照向柱形靶模型模拟黑暗场景下所观测到的目标形状与特征，光源类型使用点光源或自然光源。

5.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，在得到的二维图像中分别添加高斯噪声或泊松噪声或椒盐噪声或乘性噪声，得到仿真图像数据。

6.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，对标注后的数据做预处理即对标注后的图像数据使用直方图均衡化。

7.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，对仿真图像数据和真实图像数据做数据增强处理即通过将仿真图像数据和真实图像数据翻转及调节图片明暗度扩充数据集。

8.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，圆孔目标区域靶心的图像位置坐标(X，Y)的计算公式为：

。

9.一种基于深度神经网络的靶心定位***，其特征在于，所述***包括：

仿真图像数据采集单元，用于建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；

真实图像数据采集单元，用于采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；

数据增强单元，用于对仿真图像数据和真实图像数据做数据增强处理得到数据集；

深度神经网络训练单元，用于基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；

圆孔目标筛选单元，用于筛选目标类别判定与目标区域判定结果得到圆孔目标；

图像坐标提取单元，用于提取圆孔目标对应的区域内每个像素点的图像坐标，记作(x_i ，y _i ),其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；

靶心图像位置坐标计算单元，用于计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)；

其中，所述深度神经网络训练单元还包括

特征向量提取模块，用于使用ResNext网络提取仿真图像和真实图像的特征，分别提取第一特征向量、第二特征向量、第三特征向量和第四特征向量；

采样卷积模块，用于分别对第一特征向量、第二特征向量、第三特征向量和第四特征向量执行上采样和卷积操作，得到第五特征向量、第六特征向量、第七特征向量和第八特征向量；

池化模块，用于对第八特征向量执行池化操作得到第九特征向量；

提议模块，将第一特征向量、第二特征向量、第三特征向量和第四特征向量输入区域生成网络得到区域提议，基于区域提议得到候选区域；

样本筛选模块，用于匹配候选区域与真实标注区域，得到正样本与负样本；

判定模块，用于将正样本、负样本与第五特征向量、第六特征向量、第七特征向量、第八特征向量和第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定，得到目标类别判定与目标区域判定结果。

Images