CN117291982A - 一种在复杂背景下基于单像素成像的运动目标定位方法 - Google Patents

Abstract

本发明公开了一种在复杂背景下基于单像素成像的运动目标定位方法，包括：在复杂灰度背景下，有快速运动的目标进入场景，利用数字微镜器件播放若干张二值化的傅里叶基底图案，目标所在光场被快速调制后由单点硅探测器接收并由高速采集卡进行模数转换后存储到计算机，接着利用傅里叶切片定理将获得部分傅里叶系数转化为在x,y轴方向上的投影一维线积分信号，在时间维度上对比有无目标场景的一维线积分信号的差异，利用阈值划分法确定目标中心的坐标值，本发明针对单像素领域中成像帧率不能满足物体跟踪的高分辨率和实时性要问题，可以有效拓宽无图像跟踪方法的应用范围，促进了单像素成像在运动目标检测等领域的应用。

Description

一种在复杂背景下基于单像素成像的运动目标定位方法

技术领域

本发明属于运动目标跟踪定位技术，具体为一种在复杂背景下基于单像素成像的运动目标定位方法。

背景技术

快速运动目标的跟踪与成像在导航、生物医学、计算机视觉等领域具有重要的应用前景。传统的基于平面阵列成像的目标跟踪方法主要依赖于摄影，使用图像传感器捕获目标的图像，并进一步使用图像后处理和图像分析算法来确定图像中运动目标对象的轨迹。因此，目标跟踪的准确性主要取决于所捕获的序列图像的质量和所使用算法的性能。一些高性能高速相机可以在较短的曝光时间内捕捉到高信噪比的连续图像。然而，在实时跟踪运动物体时，高速相机通常具有巨大的数据吞吐量，与相机的帧率成正比，导致在实际应用中对硬件的要求过高。此外，高速相机在可见光区域具有优越的性能，但在一些不可见光区域，如红外波段和太赫兹波段，高速相机的性能失效，从而限制了平面阵列成像技术在运动目标跟踪中的应用范围。

近年来，随着计算成像技术的高速发展，单像素成像作为一种新型计算成像技术被广泛研究，其通过不同的照明图案依次调制目标物体所在的光场,使用没有空间分辨率的单像素传感器记录一维光强信号,然后根据照明图案和单像素信号的关联性重建物体的图像。由于单像素探测器具有宽光谱成像，探测器价格低廉等优点，单像素成像在一些不可见的波段中表现出优越的性能，因此，当单像素成像技术用于目标跟踪时，它可以在面阵相机无法有效工作的波段内正常工作。目前单像素成像技术已在各种运动目标跟踪和成像领域中被广泛研究。

目前有两种方法可以利用单像素成像获得运动物体的轨迹。第一种方法类似于平面阵列成像方法，从连续重建图像中分析运动目标的轨迹。然而，单像素成像的帧率受到空间光调制器的调制频率的限制，同时又需要连续测量，因此在成像过程中使用的图案数量非常大。为了减少成像所需的图案数量，一些研究人员提出使用压缩感知算法，但由于压缩感知算法计算成本较高，测量次数依然较大，为了进一步提高帧率，一些研究人员提出了第二种方法，即不重建目标图像，直接获取运动目标的轨迹。这种方法的关键是通过减少所用测量图案的数量来提高帧率。Zha等人提出了一种使用128个Hadamard图案以177Hz的频率实时跟踪移动物体。Zhang等人利用6个傅立叶基底图案，在二维空间中实现了对特定类型运动物体1666Hz的实时跟踪。随后，Zha等人又提出了基于几何矩图案的快速运动目标跟踪方法，实现了7.4kHz的帧速率，在此基础上该团队又提出了一种互补的测量方案，将该方法的帧率提高到11.1kHz。同年，Xiao等人提出基于几何矩分析的随机运动目标成像方法。此方法是首次在平移速度、平移方向、旋转中心、旋转速度和旋转方向未知的情况下重建目标形状和运动状态。该方法可在1800转/分钟(r/min)的转速下真实重建一个随机运动的物体。

然而，以上方法均是在无背景或纯黑背景下实现的高速运动目标定位，对于复杂场景下运动目标定位的效果还不明确。在实际场景中的目标定位大多需要在复杂的背景环境下、不要任何例如移动速率、移动方向等的先验知识情况下进行。因此，在单像成像领域中，复杂背景下的目标定位方法还亟待研究。

发明内容

本发明的目的在于提供一种在复杂背景下基于单像素成像的运动目标定位方法，以解决在复杂背景环境下，运动目标定位帧速率低，定位不准确的问题，促进单像素成像技术在运动目标检测领域的应用与发展。

实现本发明目的的技术方案为：一种在复杂背景下基于单像素成像的运动目标定位方法，具体步骤为：

步骤1：利用被动单像素成像***获取复杂背景的部分傅里叶系数；

步骤2：利用单像素成像***获取复杂背景下多帧运动目标图像的部分傅里叶系数；

步骤3：计算复杂背景图像与多帧运动图像线积分曲线；

步骤4：根据复杂背景图像与多帧运动图像线积分曲线确定目标运动轨迹。

优选地，利用单像素成像***获取复杂背景的部分傅里叶系数的具体方法为：

步骤1.1：生成若干张不同空间频率和不同初始相位的灰度傅里叶基底图案；

步骤1.2：对灰度傅里叶基底图案进行上采样，利用Floyd-Steinberg误差抖动算法将上采样后的灰度傅里叶基底图案转化为二值图案；

步骤1.3：将二值图案导入DMD内存中并设置调制速率来调制场景；

步骤1.4：利用探测器同步接收复杂背景反射光的调制信号并由数字采集卡采集保存至少3个光响应值；

步骤1.5：根据至少3个光响应值，利用三步相移公式计算背景目标图像的部分傅里叶系数；

优选地，灰度傅里叶基底图案具体为：

其中，x,y分别为图像的空间坐标，u,v分别为空间频率f_x,f_y的离散化形式，重构图像的大小为M×N，空间频率u为M个离散化的取值：空间频率v为N个离散化的取值：/>a是基底图案的平均强度，b是调制幅度，/>为初始相位。

优选地，由单像素探测器得到的复杂背景反射光的调制信号具体为：

其中，S为傅里叶基底图案调制目标所在的区域，为灰度傅里叶基底图案，I(x,y)为目标场景图像；

单像素探测器的光响应值为：

其中，D_n为背景照明在单像素探测器位置引起的光响应值，β为放大倍数因子。

优选地，根据至少3个光响应值，利用三步相移公式计算背景目标图像的部分傅里叶系数的具体方法为：

活动初相位分别为0，2π/3，4π/3时对应的光响应值可分别为D₀(u,v),D_2π/3(u,v),D_4π/3(u,v)；

采用三步相移公式计算空间频率点对应的傅里叶系数F(u,v)：

利用频谱对称性将相应频谱补齐，获得背景目标图像的部分傅里叶系数F_ref(u,v)。

优选地，利用单像素成像***获取复杂背景下多帧运动目标图像的部分傅里叶系数的具体方法为：

步骤2.1：设置DMD播放图片方式为循环播放K次；

步骤2.2：目标在电动导轨上匀速地从复杂背景中平移穿过，探测器同步接收复杂背景下多帧运动目标反射光的调制信号并由数字采集卡采集保存第k次测量的光响应值

步骤2.3：计算多帧运动目标图像的部分傅里叶系数F_k(u,v)。

优选地，计算复杂背景图像与多帧运动图像线积分曲线的具体方法为：根据傅里叶切片定理计算出无目标的复杂场景与目标在复杂场景中运动时部分关键帧图像分别在x,y方向上的线积分曲线p_ref(x),p_ref(y),…,p_k(x),p_k(y)，具体公式为：

其中，θ为投影方向所在的x轴与原始x轴的夹角，T(x,θ)为图像在沿着θ方向上的投影积分曲线，F^-1逆傅里叶变换，p_ref(x),p_ref(y)分别表示背景图像在x,y方向上的线积分曲线，p_k(x)表示运动目标在第k次测量时的x方向线积分曲线，p_k(y)表示运动目标在第k次测量时的y方向积分曲线。

优选地，根据复杂背景图像与多帧运动图像线积分曲线确定目标运动轨迹的具体方法为：

计算出目标中心的横纵坐标C_x(k),C_y(k)曲线：

式中，p_ref(x),p_ref(y)分别表示背景图像在x,y方向上的线积分曲线，p_k(x)表示运动目标在第k次测量时的x方向线积分曲线，p_k(y)表示运动目标在第k次测量时的y方向积分曲线。

本发明与现有技术相比，其显著优点：(1)本发明拓展了基于单像素成像的目标定位方法的应用场景，能从简单黑白背景转变为在复杂灰度变化的背景中准确定位目标，本发明具有对复杂场景的适应性；(2)本发明利用傅里叶切片定理将二维的图像频域信息转化为一维线积分信号，在减少信息维度的同时大大减少信号量，有利于实现高帧率的测量和避免信息浪费；(3)在目标定位过程中，本发明没有借助任何有关目标的信息来辅助目标的定位，例如移动速率、移动方向等的先验知识，因此具有对随机运动目标的适应性。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是在复杂背景下基于单像素成像的运动目标定位方法总体流程示意图。

图2是单像素成像***光路图。

图3是验证本发明的测试视频部分关键帧图。

图4是验证本发明的测试视频部分关键帧图像线积分及三维示意图。

图5是本发明目标定位结果与实际运动结果对比图。

图6是本发明在不同采样数下p_k(x),p_k(y)对比图。

图7是本发明在不同采样点数下目标定位结果与实际结果对比图。

图8是高速相机拍摄验证本发明的实验场景部分关键帧图。

图9是本发明在总采样数SP为7，DMD调制速率为10kHz、20kHz时，不同测量次数k下，水平直线运动目标的三维线积分曲线结果对比图。

图10是本发明在总采样数SP为7，DMD调制速率为10kHz、20kHz时，不同测量次数k下，水平直线运动目标定位结果与相机拍摄结果对比图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明是一种在复杂背景下基于单像素成像的运动目标定位方法，利用单像素***测量运动目标场景信息。单像素***是目标被光源照射后其反射光在空间光调制器的调制下由单点探测器接收的光学***。本发明实施的总体流程图如图1所示，实验主要器件有LED光源、数字微镜器件(DMD)、硅探测器，目标、电动导轨、高速相机、采集卡、计算机。实际***光路图如图2所示，目标在电动导轨上直线通过场景，导轨的速度为70mm/s，其有效行程为100mm。场景被LED光源的照射，其反射光通过成像镜头成像于DMD靶面，经傅里叶基底图案调制后再通过收集透镜由硅探测器接收，最终由数字采集卡(NI9222)采集并储存到计算机内存中。利用傅里叶切片定理将采集到的部分傅里叶系数转化在x,y方向的一维线积分信号。将有运动目标的一维线积分信号与背景线积分信号做差分对比，设定合适的阈值找出信号波动较大的区域，从而定位目标的中心。在同视场下，高速工业相机以1000fps完整地采集运动目标经过场景的图像信息，分别以视频和图像的形式保存到计算机内存中。由于播放的图案数量低至7*3张，结合DMD的高调制速率(最高可达22.727kHz),本发明可以实现约1000fps的运动目标定位。

一种在复杂背景下基于单像素成像的运动目标定位方法，具体步骤如下：

步骤1：利用单像素成像***获取复杂背景的部分傅里叶系数F_ref(u,v)；

步骤1.1：计算机生成若干张不同空间频率和不同初始相位的灰度傅里叶基底图案

灰度傅里叶基底图案生成方法如公式1所示。其中x,y分别为图像的空间坐标，u,v分别为空间频率f_x,f_y的离散化形式，假设重构图像的大小为M×N，空间频率u为M个离散化的取值：空间频率v为N个离散化的取值：/>然而u和v在取值时必须有一个值为0，/>为初始相位，a是基底图案的平均强度，b是调制幅度，它们取值为：a＝b＝0.5。

步骤1.2：对灰度傅里叶基底图案进行上采样，利用Floyd-Steinberg误差抖动算法将上采样后的灰度傅里叶基底图案转化为二值图案；

步骤1.3：将二值图案导入DMD内存中并设置DMD调制速率来调制场景；

步骤1.4：探测器同步接收复杂背景反射光的调制信号并由数字采集卡采集保存3个光响应值

复杂背景指灰度连续变化的空间场景，大部分的自然场景均为灰度连续变化的。假设复杂背景目标为反射型物体，其光强分布，即目标场景图像记为I(x,y)，目标物体的反射光在傅里叶基底图案的调制下，/>由单像素探测器得到的目标反射光强/>可有公式2计算：

其中，S为傅里叶基底图案调制目标所在的区域。单像素探测器的光响应值为：

其中，D_n为背景照明在单像素探测器位置引起的光响应值，β为放大倍数因子，其与探测器本身、物体空间关系有关。

对于不同的空间频率(u,v)，DMD每播放3帧调制图案，单像素探测器均会得到对应的光响应值其中，初相位/>分别为0,2π/3,4π/3，因此光响应值可分别记为D₀(u,v),D_2π/3(u,v),D_4π/3(u,v)。

步骤1.5：计算背景目标图像的部分傅里叶系数F_ref(u,v)；

最终可由三步相移公式计算对应的傅里叶系数F(u,v)：

通过公式4计算得出以上空间频率点对应的傅里叶系数，并利用频谱对称性把相应频谱补齐，记为F_ref(u,v)。

步骤2：利用单像素成像***获取复杂背景下多帧运动目标图像的部分傅里叶系数F_k(u,v)；

步骤2.1：设置DMD播放图片方式为循环播放K次；

步骤2.2：探测器同步接收复杂背景下多帧运动目标反射光的调制信号并由数字采集卡采集保存第k次测量的光响应值

在复杂背景的正前方放置一个电动导轨，目标在电动导轨上匀速地从复杂背景中平移穿过，由于DMD循环播放K次若干张测量图案，单像素探测器会对目标所在场景进行多次重复的测量，第k次测量得到光响应值记为

步骤2.3：计算多帧运动目标图像的部分傅里叶系数F_k(u,v)；

由于目标在场景中运动时测量次数为K次，根据公式4可以分别计算出第k次测量的运动目标部分傅里叶系数F_k(u,v)。因此，最终可以得到K+1张图像的部分傅里叶频谱。其中每帧图像的部分傅里叶系数都是由SP_X+SP_Y-1张不同空间频率的傅里叶基底图案通过三步相移测量得到的。其中SP_X,SP_Y分别为x,y方向的采样点数。

为了方便展示定位流程中的结果，以固定的测量次数间隔T(单位为：次)来处理测量得到的数据，由此可计算得到K/T+1张图像频谱。用于验证本发明的测试视频部分关键帧如图3所示，其中帧间隔为25帧，从图3中可以看出白色小狗目标从左往右平移穿过复杂灰度场景。

步骤3：计算复杂背景图像与多帧运动图像的线积分曲线；

根据傅里叶切片定理可以计算出测试视频中部分关键帧图像分别在x,y方向上的线积分曲线p_ref(x,p_ref(y,…,p_k(x,p_k(y，如公式5所示：

其中，θ为投影方向所在的x轴与原始x轴的夹角，T(x,θ)为图像在沿着θ方向上的投影积分曲线，F^-1逆傅里叶变换，p_ref(x),p_ref(y)分别表示测试视频中的背景图像在x,y方向上的线积分曲线，p_k(x)表示运动目标在第k次测量时的x方向线积分曲线，p_k(y)表示运动目标在第k次测量时的y方向积分曲线。其结果如图4所示，图4(a)(b)分别为x,y方向采样点数SP_X,SP_Y均为129时计算得到的线积分曲线图，可以看出x方向的线积分波动变化剧烈，而y方向的线积分只在局部波动比较明显。图(c)(d)为p_k(x),p_k(y)随这测量次数k增加的三维曲线示意图，可以看出随着k的增加p_k(x)的曲线峰值点会往x坐标值较大的方向移动，而p_k(y)的波动不明显，仅表现出在y坐标值为200附近有所波动。

步骤4：计算得到目标运动轨迹；

根据公式6、7设定合适的阈值系数λ,μ计算出目标中心的横纵坐标C_x(k),C_y(k)曲线：

根据目标中心的横纵坐标随测量次数变化的曲线绘制出目标中心移动的轨迹图。测试视频的λ,μ均设置为0.9，本发明在总采样点SP为257时的定位结果如图5所示，可以看出目标定位的轨迹和实际轨迹高度吻合，说明该方法的定位效果显著。为了进一步提高定位帧率，首先考虑减少采样点数，当x,y方向采样点数SP_X,SP_Y逐渐减少时，目标场景的积分曲线如图6所示，从图中可以看出，当采样点数逐渐减少时，线积分曲线会逐渐变得平滑，原本较为清晰的曲线波动(如图红、绿色方框所示)会逐渐消失，仅靠人眼直接观察不出明显差别。因此，我们测试了不同采样点数下本发明方法的定位效果，结果如图7所示，其中总采样点数SP＝SP_X+SP_Y-1，从图7(c)中可以看出在SP为3时，定位结果出现明显偏差，而其他采样点数的结果和实际较为接近。所以取最少7个采样点来实现高帧率的目标定位。

实验中用高速相机记录的目标场景关键帧如图8所示，帧间隔为15帧，可以看出目标是从左向右平移穿过复杂背景的。实验中采样点SP设置为7，利用DMD循环播放K+1次7*3张傅里叶基底图案，利用单像素***得到的场景调制信号经过以上步骤的计算得到的结果如图9所示，其为本发明在总采样数SP为7，DMD调制速率为10kHz、20kHz时，不同测量次数k下，水平直线运动目标的三维线积分曲线结果对比图，为了保证目标运动过程被完整地记录，在DMD调制速率分别为10kHz、20kHz时，我们设置总测量次数K分别为600、800次，阈值系数λ,μ均设为0.9。图10为本发明在总采样数SP为7，DMD调制速率为10kHz、20kHz时，不同测量次数k下，水平直线运动目标定位结果与相机拍摄结果对比图，从图10(e)的轨迹图中可以看出，在DMD调制速率高达20kHz的情况下目标的定位结果仍然较为准确，从而证明了本发明可以实现约1000fps的运动目标定位。

Claims (8)

1.一种在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，具体步骤为：

步骤1：利用被动单像素成像***获取复杂背景的部分傅里叶系数；

步骤2：利用单像素成像***获取复杂背景下多帧运动目标图像的部分傅里叶系数；

步骤3：计算复杂背景图像与多帧运动图像线积分曲线；

步骤4：根据复杂背景图像与多帧运动图像线积分曲线确定目标运动轨迹。

2.根据权利要求1所述的在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，利用单像素成像***获取复杂背景的部分傅里叶系数的具体方法为：

步骤1.1：生成若干张不同空间频率和不同初始相位的灰度傅里叶基底图案；

步骤1.2：对灰度傅里叶基底图案进行上采样，利用Floyd-Steinberg误差抖动算法将上采样后的灰度傅里叶基底图案转化为二值图案；

步骤1.3：将二值图案导入DMD内存中并设置调制速率来调制场景；

步骤1.4：利用探测器同步接收复杂背景反射光的调制信号并由数字采集卡采集保存至少3个光响应值；

步骤1.5：根据至少3个光响应值，利用三步相移公式计算背景目标图像的部分傅里叶系数。

3.根据权利要求2所述的在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，灰度傅里叶基底图案具体为：

其中，x,y分别为图像的空间坐标，u,v分别为空间频率f_x,f_y的离散化形式，重构图像的大小为M×N，空间频率u为M个离散化的取值：空间频率v为N个离散化的取值：/>a是基底图案的平均强度，b是调制幅度，/>为初始相位。

4.根据权利要求2所述的在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，由单像素探测器得到的复杂背景反射光的调制信号具体为：

其中，S为傅里叶基底图案调制目标所在的区域，为灰度傅里叶基底图案，I(x,y)为目标场景图像；

单像素探测器的光响应值为：

其中，D_n为背景照明在单像素探测器位置引起的光响应值，β为放大倍数因子。

5.根据权利要求2所述的在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，根据至少3个光响应值，利用三步相移公式计算背景目标图像的部分傅里叶系数的具体方法为：

活动初相位分别为0，2π/3，4π/3时对应的光响应值可分别为D₀(u,v),D_2π/3(u,v),D_4π/3(u,v)；

采用三步相移公式计算空间频率点对应的傅里叶系数F(u,v)：

利用频谱对称性将相应频谱补齐，获得背景目标图像的部分傅里叶系数F_ref(u,v)。

6.根据权利要求1所述的在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，利用单像素成像***获取复杂背景下多帧运动目标图像的部分傅里叶系数的具体方法为：

步骤2.1：设置DMD播放图片方式为循环播放K次；

步骤2.2：目标在电动导轨上匀速地从复杂背景中平移穿过，探测器同步接收复杂背景下多帧运动目标反射光的调制信号并由数字采集卡采集保存第k次测量的光响应值

步骤2.3：计算多帧运动目标图像的部分傅里叶系数F_k(u,v)。

7.根据权利要求1所述的在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，计算复杂背景图像与多帧运动图像线积分曲线的具体方法为：根据傅里叶切片定理计算出无目标的复杂场景与目标在复杂场景中运动时部分关键帧图像分别在x,y方向上的线积分曲线p_ref(x),p_ref(y),…,p_k(x),p_k(y)，具体公式为：

其中，θ为投影方向所在的x轴与原始x轴的夹角，T(x,θ)为图像在沿着θ方向上的投影积分曲线，F^-1逆傅里叶变换，p_ref(x),p_ref(y)分别表示背景图像在x,y方向上的线积分曲线，p_k(x)表示运动目标在第k次测量时的x方向线积分曲线，p_k(y)表示运动目标在第k次测量时的y方向积分曲线。

8.根据权利要求1所述的在复杂背景下基于单像素成像的运动目标定位方法，其特征在于，根据复杂背景图像与多帧运动图像线积分曲线确定目标运动轨迹的具体方法为：

计算出目标中心的横纵坐标C_x(k),C_y(k)曲线：

式中，p_ref(x),p_ref(y)分别表示背景图像在x,y方向上的线积分曲线，p_k(x)表示运动目标在第k次测量时的x方向线积分曲线，p_k(y)表示运动目标在第k次测量时的y方向积分曲线。