CN116152349A - 一种基于强相关目标联合时空特性的落区战斗部检测方法 - Google Patents

Abstract

本发明公开了一种基于强相关目标联合时空特性的落区战斗部检测方法，首先进行相机参数标定及三维空间坐标重建；基于黑白棋盘格完成相机内部参数的标定，并结合像素—世界坐标转化过程完成外参标定；采用最小二乘法计算多光轴汇聚交点，实现多视场下空间坐标点三维重建；然后基于光流追踪的低感知精度条件下战斗部运动状态初步检测，最后基于强相关目标时空特性的战斗部运动状态修正及弹目交会参数，修正战斗部初步检测结果，完成对战斗部的精准检测。本发明实现了外场试训复杂动态环境条件下的战斗部的精准检测，降低了成本和操作难度，实现了在试训场地的大规模快速部署应用。

Description

一种基于强相关目标联合时空特性的落区战斗部检测方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于强相关目标联合时空特性的落区战斗部检测方法。

背景技术

准确检测武器战斗部，进而获取落区战斗部末弹道、落速、落姿、落点等弹目交会参数，是检验武器打击精度、鉴定战斗部性能及评判毁伤效果的基础性工作。随着各类武器装备的试训任务不断往实战化、规模化方向推进，对测试设备的快速机动能力和广域部署能力提出了严苛的要求，试训现场自然环境恶劣、场景内容复杂，经常出现浓烟、风沙、云、飘带、无人机以及目标碎片等时空特征不断变化的干扰目标，在此条件下准确检测战斗部具有较大的挑战性。因此构建一种适用于试训现场的落区战斗部检测方法，在实时高效完成测量任务的同时兼顾硬件成本的经济性和可靠性，满足在试训现场大规模应用的现实需求，具有重要的工程意义。

目前，落区战斗部检测主要基于雷达回波、声/震信号和双目立体视觉等信号进行，基于雷达回波的战斗部检测存在雷达硬件***庞大、价格昂贵、技术复杂、维护难度大且测量绝对精度低等问题，目前仅适用于远海靶场的弹道检测，难以大规模普及应用；基于声/震信号的落点检测，存在检测精度较低以及无法识别战斗部轨迹和姿态的问题。基于双目立体视觉测量原理的落区战斗部检测，因其***简易、易于操作、目标定位精度高、***响应快等优点得到了广泛应用，如张辉等针对海上目标利用高速摄像机等设备，设计了一种基于双目视觉测量原理的脱靶量测量***，能够实时自动的进行脱靶量测量，在试验条件下脱靶量不确定度小于3.79m。许凤良在其硕士论文中详细介绍了一种基于双目立体视觉的弹目空间交汇测量***，利用帧间差分和背景建模方法，实现了在实验室条件下的运动目标检测，并以此进行了弹目交会参数的测量。

由于通用高清或工业相机的图像成像质量较差以及帧频较低，目前基于双目立体视觉的战斗部检测在硬件上依赖于专业高速摄像机，其价格高昂、难以大规模广域部署，在处理方法上依赖于传统的图像差分处理方法，抗干扰能力差、难以适应试训现场复杂动态环境。

发明内容

为了克服现有技术的不足，本发明提供了一种基于强相关目标联合时空特性的落区战斗部检测方法，首先进行相机参数标定及三维空间坐标重建；基于黑白棋盘格完成相机内部参数的标定，并结合像素—世界坐标转化过程完成外参标定；采用最小二乘法计算多光轴汇聚交点，实现多视场下空间坐标点三维重建；然后基于光流追踪的低感知精度条件下战斗部运动状态初步检测，最后基于强相关目标时空特性的战斗部运动状态修正及弹目交会参数，修正战斗部初步检测结果，完成对战斗部的精准检测。本发明实现了外场试训复杂动态环境条件下的战斗部的精准检测，降低了成本和操作难度，实现了在试训场地的大规模快速部署应用。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：布置相机；

将两台相机按设定夹角观测目标区域，确保目标区域均能被两台相机观测；

步骤2：相机参数标定；

步骤2-1：给定一个棋盘格标定板，检测标定板图像上每一个角点的像素坐标(u,v)；假定世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W＝0，由于标定板上每一个格子的大小是已知的，基于黑白格边缘在灰度上的变化，利用Harris角点检测算法计算得到每一个角点在世界坐标系下的物理坐标(U,V,W)；

步骤2-2：相机内参、外参求解；

根据每一个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W)，求解像素—世界坐标系的转化关系，获取相机的内参矩阵和外参矩阵来完成相机的标定；像素—世界坐标系的转化关系为：

其中，

为内参矩阵，/>

为外参矩阵；f表示像距，θ表示感光板的横边和纵边之间的角度，u₀v₀分别表示相机感光板中心在像素坐标系下的坐标，dX、dY表示两个方向上的一个像素在相机感光板上的物理长度，R表示表示旋转矩阵，T表示表示平移矢量；

依据张正有标定求解出相机的内参矩阵；

对于外参，已知一张图中的几个空间点P_i的三维坐标P_i＝(X_i,Y_i,Z_i)及其对应的像素坐标x_i＝(u_i,v_i)，求取相机位姿矩阵R和T；

世界坐标系的原点为实验场地中心点，以正东为第一个轴的正方向，正北为第二个正方向，高度为第三个正方向，具体数值由全站仪测得；为求取相机位姿矩阵R和T，首先构建一个增广矩阵A＝[R|T]，依据投影原理有：

用最后一行把s消去得到

令

t₁＝(t₁,t₂,t₃,t₄)^T t₂＝(t₅,t₆,t₇,t₈)^T t₃＝(t₉,t₁₀,t₁₁,t₁₂)^T P＝(X,Y,Z,1)^T

得到

假设共有N个特征点，列出方程组：

对上述方程组求解即可得到t₁,t₂,t₃，也就是外参A＝[R|T]的具体值；外参描述了相机相对于世界坐标系原点的位置和角度；

步骤3：三维空间坐标重建；

给定目标在多个角度上的像素点坐标(u₁,v₁)、(u₂,v₂)，在像素点与相机位置之间建立光轴汇聚模型；

根据目标的像素坐标(u₁,v₁)、(u₂,v₂),对目标真实坐标(x_w,y_w,z_w)采用光轴汇聚模型，通过对多条光轴射线进行联立求解：

首先依据相机模型有

式(1)化简为：

其中P是3*4的矩阵，将上述表达式写成2个等式的形式

其中，

表示第一个相机矩阵的第i行第j列个元素；

同样对于另外一台相机，也获得2个等式：

最后采用最小二乘法获得目标真实坐标(x_w,y_w,z_w)；

步骤4：基于光流追踪及多目标运动规律的低感知精度战斗部检测；

步骤4-1：对相机采集到的战斗部打击过程图像序列做帧间差分处理，提取相邻图像帧中所有待追踪的特征点；

步骤4-2：采用Lucas–Kanade光流法实现光流点对追踪，计算视频每一帧的光流OPT：

OPT_t＝LK(f_t,f_t-1)-LK(f_t-1,f_t)

其中，f_t,f_t-1表示视频中向领的两帧图片，OPT∈R^N，，2描述了t时刻N个角点的位置变化关系；从中筛选出位置变化超过设定值且向下运动的角点即获取导弹战斗部中心点的像素坐标(u₁,v₁)。

步骤4-3：在获得不同相机中导弹战斗部中心点的像素坐标后带入步骤3的公式即获得其三维坐标(x_w,y_w,z_w)。

本发明的有益效果如下：

1、本发明基于高清或工业相机成像特点，提出了一种基于光流追踪的低感知精度条件下的战斗部运动状态检测方法，并基于强相关目标联合时空特性修正检测结果，实现了外场试训复杂动态环境条件下的战斗部的精准检测；

2、本发明立足于通用或工业相机，结合高度自动化的处理方式，降低了成本和操作难度，实现了在试训场地的大规模快速部署应用。

附图说明

图1为本发明方法原理图。

图2为本发明实施例原始视频资料，(a)第0帧，(b)第1帧，(c)第2帧。

图3为本发明实施例图像差分结果。

图4为本发明实施例低感知精度条件下战斗部初步检测图。

图5为本发明实施例基于强相关目标联合时空特性的战斗部最终检测结果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

为了解决现有技术中的问题，本发明提出了一种外场试训条件下基于强相关目标联合时空特性的落区战斗部检测方法，在考虑经济性的前提下实现战斗部的快速高精度检测。

本发明公开了一种外场试训条件下基于强相关目标联合时空特性的落区战斗部检测方法，以经济可靠的通用高清或工业相机为观测设备，针对其成像特点，结合光流追踪技术，设计一种基于战斗部时空结构特性的远距离、小目标追踪方法，解决外场复杂动态环境下战斗部检测困难且易受干扰的问题，最终实现战斗部的实时准确检测及在试训场地的大规模快速部署应用。

如图1所示，本发明技术方案包含两大模块，即相机参数标定及三维空间坐标重建、复杂动态环境条件下的战斗部检测，具体技术方案如下。

(1)通用高清或工业相机参数标定及三维空间坐标重建；

1)内外参标定：基于黑白棋盘格完成相机内部参数的标定，并结合像素—世界坐标转化过程完成外参标定；

2)三维空间坐标重建：对像素点与空间坐标的映射关系进行动态建模，采用最小二乘法计算多光轴汇聚交点，实现多视场下空间坐标点三维重建。

(2)复杂动态环境条件下的战斗部检测

1)基于光流追踪的低感知精度条件下战斗部运动状态初步检测

针对通用高清或工业相机成像特点，结合光流信息实现对低感知精度下战斗部的行为状态进行建模，为视觉目标的行为判别提供依据，排除场景中存在云、浓烟等时空特征不断在缓慢发生变化的干扰目标，完成对视频图像序列中当前时刻战斗部运动状态的初步检测；

2)基于强相关目标时空特性的战斗部运动状态修正及弹目交会参数测量

根据战斗部与干扰目标之间的时空特性差异以及强相关目标之间的时空特性关联，抑制与战斗部运动规律相似的干扰目标，修正战斗部初步检测结果，完成对战斗部的精准检测，并基于此实现弹目交会参数的测量。

具体实施例：

1、布置相机

将两台通用高清或工业相机呈一定夹角观测目标区域，确保目标区域均能被两台相机观测。拍摄到的图像如图2所示。

2、相机参数标定

给定一个棋盘格标定板，检测标定板图像上每一个角点的像素坐标(u,v)。假定世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W＝0，由于标定板上每一个格子的大小是已知的，基于黑白格边缘在灰度上的变化，利用Harris角点检测算法可以计算得到每一个角点在世界坐标系下的物理坐标(U,V,W)。

根据每一个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W)，求解像素—世界坐标系的转化关系，获取相机的内参矩阵和外参矩阵来，完成相机的标定。像素—世界坐标系的转化关系为：

依据张正有标定法Z.Zhang,"A flexible new technique for cameracalibration,"in IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.22,no.11,pp.1330-1334,Nov.2000,doi:10.1109/34.888718.求解出相机的内参矩阵。

对于外参，已知一张图中的几个空间点P_i的三维坐标P_i＝(X_i,Y_i,Z_i)及其对应的像素坐标x_i＝(u_i,v_i)，求取相机位姿矩阵R和T；

这里的三维坐标是人为定义的，以世界坐标系的原点为实验场地中心点，以正东为第一个轴的正方向，正北为第二个正方向，高度为第三个正方向，具体数值由全站仪测得。为求取相机位姿矩阵R和T，首先构建一个增广矩阵A＝[R|T]依据投影原理有

/>

用最后一行把s消去得到

令

t₁＝(t₁,t₂,t₃,t₄)^T t₂＝(t₅,t₆,t₇,t₈)^t t₃＝(t₉,t₁₀,t₁₁,t₁₂)^T P＝(X,Y,Z,1)^T

得到

假设共有N(N>6)个特征点，于是可以列出方程组

对上述方程组求解即可得到t₁,t₂,t₃，也就是外参A＝[R|T]的具体值。外参描述了某个相机相对于世界坐标系原点的位置和角度。

3、三维空间坐标重建

在进行相机的内参、外参标定之后，即获得从相机坐标系到世界坐标系的转换关系。给定目标在多个角度上的像素点坐标(u₁,v₁),(u₂,v₂),通过在像素点与相机位置之间建立光轴模型；

对于要进行三维坐标重建的目标，根据其像素坐标(u₁,v₁),(u₂,v₂)，对其真实坐标(x_w,y_w,z_w)可以光轴汇聚模型，通过对多条光轴射线进行联立求解：

最后采用最小二乘法计算汇聚交点的最优解，实现多视场下xx空间坐标点重建。

4、基于光流追踪及多目标运动规律的低感知精度战斗部

如图3和图4所示，首先对相机采集到的打击过程图像序列做帧间差分处理，提取相邻图像帧中所有待追踪的特征点。

采用Lucas–Kanade光流法实现光流点对追踪，依据Lucas B and Kanade T.AnIterative Image Registration Technique with an Application to StereoVision.Proc.Of 7th International Joint Conference on Artificial Intelligence(IJCAI),pp.674-679，计算视频每一帧的光流OPT

OPT_t＝LK(f_t,f_t-1)-LK(f_t-1,f_t)

f_t,f_t-1表示视频中向领的两帧图片，OPT∈R^N，，2描述了t时刻N个角点的位置变化关系。由于战斗部通常是快速向下运动，我们从中筛选出位置变化较大的且向下运动的角点即可获取导弹战斗部中心点的像素坐标(u₁,v₁)。

通过最小二乘法对上式进行求解，即可得到该点处光流分别在x和y轴方向的速度，即像素点(x,y)处特征点的运动状态。由于云、浓烟等时空特征不断在缓慢发生变化的干扰目标速度较慢，而战斗部运动速度较快，基于此建立区别干扰目标和战斗部的判据，初步抑制掉误检出的干扰目标。

5、基于强相关目标联合时空特性的战斗部检测结果校正及弹目交会参数测量

如图5所示，考虑到上述初步检测结果中仍包含大量与战斗部运动规律相似的干扰目标(如大风天气下快速抖动的飘带、风沙以及目标碎片等)，需要从战斗部时空结构特性出发进一步对检测结果进行修正。具体来讲战斗部与***火焰在时序特征方面呈现出极强相关性，通过时序特征即可过滤掉大量火焰***之后产生的干扰目标(如***破片、目标碎片等)。

除此之外，战斗部在空间分布上存在多种特征：(a)战斗部的光流点总是出现在***火焰上方，假设点p₁:(x₁,y₁)和p₂:(x₂,y₂)分别为某一光流点坐标和火焰底边中心点坐标，即应满足y₁≥y₂；(b)对于火焰底边中心点p₂指向战斗部光流点p₂的向量，其在y轴上映射向量V_y与其在x轴上映射向量V_x间的夹角θ(θ＝arctan(|V_y|/|V_x|)×180/π)总是大于某一阈值H(根据不同战斗部物理特性以及任务有所不同)。

利用上述空间分布特征即可将出现在火焰***之前与战斗部运动规律相似干扰目标的抑制，并在上述初步测量的基础上进一步增强算法的检测性能。结合检测获取的战斗部，将不同时刻的光流信息进行处理即可得到正确的战斗部运行轨迹。对于弹目交会参数的测量，可直接基于战斗部运行轨迹结合简单的几何运算获得，其中战斗部落点直接取运行轨迹的末端点坐标，落速根据战斗部下落过程中的时序及轨迹位置信息运算获取，落姿可结合战斗部轨迹、落点和落速确定。

Claims (1)

1.一种基于强相关目标联合时空特性的落区战斗部检测方法，其特征在于，包括如下步骤：

步骤1：布置相机；

将两台相机按设定夹角观测目标区域，确保目标区域均能被两台相机观测；

步骤2：相机参数标定；

步骤2-1：给定一个棋盘格标定板，检测标定板图像上每一个角点的像素坐标(u,v)；假定世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W＝0，由于标定板上每一个格子的大小是已知的，基于黑白格边缘在灰度上的变化，利用Harris角点检测算法计算得到每一个角点在世界坐标系下的物理坐标(U,V,W)；

步骤2-2：相机内参、外参求解；

根据每一个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W)，求解像素—世界坐标系的转化关系，获取相机的内参矩阵和外参矩阵来完成相机的标定；像素—世界坐标系的转化关系为：

其中，

为内参矩阵，/>

为外参矩阵；f表示像距，θ表示感光板的横边和纵边之间的角度，u₀v₀分别表示相机感光板中心在像素坐标系下的坐标，dX、dY表示两个方向上的一个像素在相机感光板上的物理长度，R表示表示旋转矩阵，T表示表示平移矢量；

依据张正有标定求解出相机的内参矩阵；

对于外参，已知一张图中的几个空间点P_i的三维坐标P_i＝(X_i,Y_i,Z_i)及其对应的像素坐标x_i＝(u_i,v_i)，求取相机位姿矩阵R和T；

世界坐标系的原点为实验场地中心点，以正东为第一个轴的正方向，正北为第二个正方向，高度为第三个正方向，具体数值由全站仪测得；为求取相机位姿矩阵R和T，首先构建一个增广矩阵A＝[R|T]，依据投影原理有：

用最后一行把s消去得到

令

t₁＝(t₁,t₂,t₃,t₄)^T t₂＝(t₅,t₆,t₇,t₈)^T t₃＝(t₉,t₁₀,t₁₁,t₁₂)^T P＝(X,Y,Z,1)^T

得到

假设共有N个特征点，列出方程组：

对上述方程组求解即可得到t₁,t₂,t₃，也就是外参A＝[R|T]的具体值；外参描述了相机相对于世界坐标系原点的位置和角度；

步骤3：三维空间坐标重建；

给定目标在多个角度上的像素点坐标(u₁,v₁)、(u₂,v₂)，在像素点与相机位置之间建立光轴汇聚模型；

根据目标的像素坐标(u₁,v₁)、(u₂,v₂),对目标真实坐标(x_w,y_w,z_w)采用光轴汇聚模型，通过对多条光轴射线进行联立求解：

首先依据相机模型有

式(1)化简为：

其中P是3*4的矩阵，将上述表达式写成2个等式的形式

其中，

表示第一个相机矩阵的第i行第j列个元素；

同样对于另外一台相机，也获得2个等式：

最后采用最小二乘法获得目标真实坐标(x_w,y_w,z_w)；

步骤4：基于光流追踪及多目标运动规律的低感知精度战斗部检测；

步骤4-1：对相机采集到的战斗部打击过程图像序列做帧间差分处理，提取相邻图像帧中所有待追踪的特征点；

步骤4-2：采用Lucas–Kanade光流法实现光流点对追踪，计算视频每一帧的光流OPT：

OPT_t＝LK(f_t,f_t-1)-LK(f_t-1,f_t)

其中，f_t,f_t-1表示视频中向领的两帧图片，OPT∈R^N，，2描述了t时刻N个角点的位置变化关系；从中筛选出位置变化超过设定值且向下运动的角点即获取导弹战斗部中心点的像素坐标(u₁,v₁)；

步骤4-3：在获得不同相机中导弹战斗部中心点的像素坐标后带入步骤3的公式即获得其三维坐标(x_w,y_w,z_w)。

Images