CN110647173B - 一种视频跟踪***及方法 - Google Patents

一种视频跟踪***及方法 Download PDF

Info

Publication number
CN110647173B
CN110647173B CN201910958942.3A CN201910958942A CN110647173B CN 110647173 B CN110647173 B CN 110647173B CN 201910958942 A CN201910958942 A CN 201910958942A CN 110647173 B CN110647173 B CN 110647173B
Authority
CN
China
Prior art keywords
image
azimuth
light spot
register
gray value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910958942.3A
Other languages
English (en)
Other versions
CN110647173A (zh
Inventor
肖红
鄢冬斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Sdrising Information Technology Co ltd
Original Assignee
Sichuan Sdrising Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Sdrising Information Technology Co ltd filed Critical Sichuan Sdrising Information Technology Co ltd
Priority to CN201910958942.3A priority Critical patent/CN110647173B/zh
Publication of CN110647173A publication Critical patent/CN110647173A/zh
Application granted granted Critical
Publication of CN110647173B publication Critical patent/CN110647173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/10—Control of position or direction without using feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视频跟踪***，图像输入支路接收图像采集设备采集的图像信号并发送至FPGA，FPGA将图像信号处理后发送储存单元储存为缓存图像；FPGA调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；FPGA根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构，方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑。本发明还公开了一种视频跟踪方法。本发明一旦检测到反射光斑后，视频跟踪***发送指令控制转台停止转动，之后计算反射光斑位置，输出方位、俯仰调整参数至转台，最终使反射光斑位于图像正中心。

Description

一种视频跟踪***及方法
技术领域
本发明涉及计算机技术领域，具体涉及一种视频跟踪***及方法。
背景技术
跟踪可简单地定义为估计物体围绕一个场景运动时在图像平面中轨迹，即一个跟踪***给同一个视频中不同帧的跟踪目标分配相一致的标签。跟踪技术一直是计算机视觉研究领域中的热点之一，其在军事侦察、精确制导、火力打击、战场评估以及安防监控等诸多方面均有广泛的应用前景。
目标跟踪技术一直是计算机视觉研究领域中的热点之一，其在军事侦察、精确制导、火力打击、战场评估以及安防监控等诸多方面均有广泛的应用前景。目标的不定向运动改变了目标和场景的外观模式、非刚性目标结构、目标间及目标与场景间的遮挡、摄像机的运动等情况使目标跟踪任务变得更加困难。跟踪常应用于那些需要了解目标每帧的位置及形状的应用环境中，并常用假设来约束特定应用环境中的跟踪问题。
跟踪可简单地定义为估计物体围绕一个场景运动时在图像平面中轨迹，即一个跟踪***给同一个视频中不同帧的跟踪目标分配相一致的标签。目标跟踪是一个颇具挑战性的问题。在计算机视觉领域目标跟踪是一项重要工作。随着高性能计算机的增多，物美价廉摄影机的普及，对自动视频分析与日俱增的需求引起人们对目标跟踪算法浓厚兴趣。
现有技术中的视频跟踪手段普遍存在***架构复杂且不稳定，计算量较大等问题，不适合于快速准确的对光斑目标进行定位和追踪。
发明内容
本发明所要解决的技术问题是现有技术中的视频跟踪手段普遍存在***架构复杂且不稳定，计算量较大等问题，不适合于快速准确的对光斑目标进行定位和追踪，目的在于提供一种视频跟踪***及方法，解决上述问题。
本发明通过下述技术方案实现：
一种视频跟踪***，包括FPGA、储存单元、图像输入支路和串口通信支路；所述图像输入支路接收图像采集设备采集的图像信号并发送至FPGA，FPGA将图像信号处理后发送储存单元储存为缓存图像；所述FPGA调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；所述FPGA根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构，所述方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑。
本发明应用时，采用FPGA作为控制芯片，并对缓存图像内的光斑进行检测和定位，定位结果送达方位俯仰调整机构，通过方位俯仰调整机构对光斑进行追踪，从而实现对图像采集设备持续捕捉光斑。本发明的视频跟踪***安装于激光转台上，激光转台以一定的角速度进行圆周扫描，当检测到目标时，会有反射光斑出现在图像输入中，视频跟踪***需实时进行检测反射光斑；一旦检测到反射光斑后，视频跟踪***发送指令控制转台停止转动，之后计算反射光斑位置，输出方位、俯仰调整参数至转台，最终使反射光斑位于图像正中心。
进一步的，还包括PAL输出支路；所述FPGA调取缓存图像并对缓存图像进行采样；所述FPGA将光斑检测结果叠加进采样后的缓存图像并将叠加后的图像发送至PAL输出支路；所述PAL输出支路将叠加后的图像编码处理后进行模拟视频输出。
本发明应用时，由于本发明主要用于对空中目标的尾焰进行追踪，如导弹和喷气式飞行器，所以还需要将追踪图像送交指挥***如指挥塔台等***供指挥人员参考，所以本发明将光斑检测结果叠加进采样后的缓存图像并将叠加后的图像发送至PAL输出支路，PAL输出支路将叠加后的图像编码处理后进行模拟视频输出，叠加后的图像可以使得指挥***的人员可以快速准确的分辨出尾焰并作出指挥判断。
进一步的，还包括多个晶振单元；所述多个晶振单元输出的时钟信号分别接入FPGA的不同BANK，并作为FPGA的***工作时钟。
本发明应用时，多个晶振单元输出的时钟信号提供给FPGA作为***工作时钟，确保输入***时钟不在同一个BANK，以便于可以使用FPGA内部多个PLL资源；从而提高FPGA的响应速度，Cameralink输入时钟是图像输入支路的输入时钟，Cameralink输入时钟需连接至FPGA的全局时钟引脚，并与Cameralink信号处于FPGA的同一个BANK内，以减少时钟延迟和跨BANK所带来的相位抖动问题。
进一步的，所述FPGA包括n*n的寄存器和多个FIFO缓存器，且n根据光斑尺寸得出；每个FIFO缓存器读取缓存图像中的一行像素，并先入先出的储存入寄存器内；所述FPGA从寄存器中得出每一帧缓存图像中所有n*n窗口灰度值，并以灰度值最大的窗口作为光斑位置。
本发明应用时，为了提高***的响应速度，需要极大的减小光斑检测的运算量，本发明通过n*n的寄存器和多个FIFO缓存器实现计算量的减小，n根据光斑尺寸得出，也就是需要假定光斑的大小，如果光斑大小为n*n则寄存器选用n*n，也就是说一个寄存器内能完整存储一个图像中的光斑；这里的缓存图像一般为灰度图像，通过对n*n窗口内灰度值进行计算就可以判断这个窗口是否为光斑，由于采用了FIFO缓存器，对于一帧完整的图像来说，一个FIFO缓存器存储了完整的一行像素，这个像素先入先出的读入寄存器内，所以每次寄存器内存储的数据变化时对灰度值的重新计算不需要对整个寄存器再重新读取，而是从FIFO缓存器输出的数据、寄存器抛弃的数据和变化之前的数据进行叠加就可以得出新的灰度值，这种方式极大的减小的运算量，当n为5时，对寄存器内的数据重新计算需要进行至少24次求和，而通过本发明的方法，计算过程可以缩短到10次以内，所以本发明的响应时间可以缩短至少50％。
进一步的，所述FPGA将灰度值最大的窗口的中心坐标根据下式进行角度换算：X＝XPmax*1°/G；Y＝YPmax*1°/H；式中X为换算后的光斑X方向中心角度；Y为换算后的光斑Y方向中心角度；XPmax为灰度值最大的窗口中心X方向直角坐标；YPmax为灰度值最大的窗口中心Y方向直角坐标；G为图像X方向像素数量；H为图像Y方向像素数量。
本发明应用时，为了方便对角度调整，将中心坐标进行了换算，不同于其他的视频追踪技术，本发明中追踪对象为飞行器尾焰，飞行器飞行的高度较高，所以可以通过角度关系进行调整，将像素坐标换算为角度坐标就可以知道下一步需要将转台调整多少角度，从而进一步的提高追踪效率。
一种视频跟踪方法，包括：接收图像信号处理后储存为缓存图像；调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构；所述方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑。
本发明应用时，采用FPGA作为控制芯片，并对缓存图像内的光斑进行检测和定位，定位结果送达方位俯仰调整机构，通过方位俯仰调整机构对光斑进行追踪，从而实现对图像采集设备持续捕捉光斑。本发明的视频跟踪***安装于激光转台上，激光转台以一定的角速度进行圆周扫描，当检测到目标时，会有反射光斑出现在图像输入中，视频跟踪***需实时进行检测反射光斑；一旦检测到反射光斑后，视频跟踪***发送指令控制转台停止转动，之后计算反射光斑位置，输出方位、俯仰调整参数至转台，最终使反射光斑位于图像正中心。
进一步的，对缓存图像中的光斑进行检测后对光斑定位包括以下子步骤：采用n*n的寄存器和多个FIFO缓存器对缓存图像进行处理，且n根据光斑尺寸得出；每个FIFO缓存器读取缓存图像中的一行像素，并先入先出的储存入寄存器的一行内；当FIFO缓存器中新的数据到达寄存器时，抛弃寄存器尾端的寄存单元内的数据，并将寄存器内的数据向寄存器尾端的寄存单元移动，数据移动后重新计算n*n的寄存器内的灰度值总和作为该n*n窗口的灰度值；选取灰度值最大的窗口作为光斑位置。
本发明应用时，为了提高***的响应速度，需要极大的减小光斑检测的运算量，本发明通过n*n的寄存器和多个FIFO缓存器实现计算量的减小，n根据光斑尺寸得出，也就是需要假定光斑的大小，如果光斑大小为n*n则寄存器选用n*n，也就是说一个寄存器内能完整存储一个图像中的光斑；这里的缓存图像一般为灰度图像，通过对n*n窗口内灰度值进行计算就可以判断这个窗口是否为光斑，由于采用了FIFO缓存器，对于一帧完整的图像来说，一个FIFO缓存器存储了完整的一行像素，这个像素先入先出的读入寄存器内，所以每次寄存器内存储的数据变化时对灰度值的重新计算不需要对整个寄存器再重新读取，而是从FIFO缓存器输出的数据、寄存器抛弃的数据和变化之前的数据进行叠加就可以得出新的灰度值，这种方式极大的减小的运算量，当n为5时，对寄存器内的数据重新计算需要进行至少24次求和，而通过本发明的方法，计算过程可以缩短到12次以内，所以本发明的响应时间可以缩短至少50％。
进一步的，重新计算n*n的寄存器内的灰度值总和作为该n*n窗口的灰度值包括以下步骤：根据下式得出n*n窗口的灰度值：
P(m)sum＝P(m-1)sum+REG(m)-P(m)；
式中P(m)sum为重新计算得到的灰度值总和；P(m-1)sum为本次新的数据未达寄存器时n*n窗口的灰度值；REG(m)为本次新的数据的灰度值；P(m)为本次抛弃掉数据的灰度值。
本发明应用时，通过上式可以很好的得出n*n的寄存器内的灰度值总和，并且计算方式简单，其中REG(m)为一个连加的数组，数组内元素的数量为n，P(m)也为一个连加的数组，数组内元素的数量为n；也就是整个运算量为n+n次，而如果对整个寄存器进行重新计算，则运算量为n*n次，显而易见的，在n大于2的情况下，本发明的运算量2n远小于重新计算的运算量n2，并且随着n的增大，计算量差距还会进一步的拉大。
进一步的，当灰度值最大的窗口与同一帧其他窗口的灰度值差异小于阈值时，则认为该帧图像不存在光斑。
本发明应用时，在设备实际运转时，完全可能出现画面中没有光斑的情况，所以本申请设计了一个阈值对光斑进行甄别，这个阈值可以取30～80直接的值。
进一步的，根据光斑定位结果得出方位和俯仰调整数据包括以下步骤：将灰度值最大的窗口的中心坐标根据下式进行角度换算：X＝XPmax*1°/G；Y＝YPmax*1°/H；式中X为换算后的光斑X方向中心角度；Y为换算后的光斑Y方向中心角度；XPmax为灰度值最大的窗口中心X方向直角坐标；YPmax为灰度值最大的窗口中心Y方向直角坐标；G为图像X方向像素数量；H为图像Y方向像素数量；根据换算后的中心角度数据得出方位和俯仰调整数据。
本发明应用时，为了方便对角度调整，将中心坐标进行了换算，不同于其他的视频追踪技术，本发明中追踪对象为飞行器尾焰，飞行器飞行的高度较高，所以可以通过角度关系进行调整，将像素坐标换算为角度坐标就可以知道下一步需要将转台调整多少角度，从而进一步的提高追踪效率。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明一种视频跟踪***及方法，视频跟踪***需实时进行检测反射光斑；一旦检测到反射光斑后，视频跟踪***发送指令控制转台停止转动，之后计算反射光斑位置，输出方位、俯仰调整参数至转台，最终使反射光斑位于图像正中心。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明电路架构示意图；
图2为本发明架构实施例示意图；
图3为本发明晶振实施例示意图；
图4为本发明寄存器和FIFO示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1所示，本发明一种视频跟踪***，包括FPGA、储存单元、图像输入支路和串口通信支路；所述图像输入支路接收图像采集设备采集的图像信号并发送至FPGA，FPGA将图像信号处理后发送储存单元储存为缓存图像；所述FPGA调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；所述FPGA根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构，所述方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑。
本实施例实施时，采用FPGA作为控制芯片，并对缓存图像内的光斑进行检测和定位，定位结果送达方位俯仰调整机构，通过方位俯仰调整机构对光斑进行追踪，从而实现对图像采集设备持续捕捉光斑。本发明的视频跟踪***安装于激光转台上，激光转台以一定的角速度进行圆周扫描，当检测到目标时，会有反射光斑出现在图像输入中，视频跟踪***需实时进行检测反射光斑；一旦检测到反射光斑后，视频跟踪***发送指令控制转台停止转动，之后计算反射光斑位置，输出方位、俯仰调整参数至转台，最终使反射光斑位于图像正中心。
如图2所示，优选的，图像输入支路采用mini Cameralink接口，接口定义采用标准定义，采用BASE模式，接收解码器采用TI公司的DS90CR286MTD，该芯片最大支持66MHz时钟输入，最大数据传输带宽为1.848Gbit/s(231MB/S)，满足数据传输带宽需求(有效数据带宽为：1024×1024×50×(14+2)bit＝100MB/S)。
如图2所示，优选的，储存单元采用DDR3芯片，选择MICRON公司的MT41K128M16JT-15EIT。该芯片最高支持1333MHz运行频率，满足Kintex-7系列FPGA最高1866Mb/s外部存储访问速率。
如图2所示，优选的，串口通信支路采用RS422接口输出，RS422接口芯片采用MAX490E，RS422收发的单端信号为5V标准，再经过电平转换芯片SN74LVC2T45实现TTL/LVTTL电平转换后再连至FPGA。
为了进一步的进行模拟图像输出，本实施例还包括PAL输出支路；所述FPGA调取缓存图像并对缓存图像进行采样；所述FPGA将光斑检测结果叠加进采样后的缓存图像并将叠加后的图像发送至PAL输出支路；所述PAL输出支路将叠加后的图像编码处理后进行模拟视频输出。
本实施例实施时，由于本发明主要用于对空中目标的尾焰进行追踪，如导弹和喷气式飞行器，所以还需要将追踪图像送交指挥***如指挥塔台等***供指挥人员参考，所以本发明将光斑检测结果叠加进采样后的缓存图像并将叠加后的图像发送至PAL输出支路，PAL输出支路将叠加后的图像编码处理后进行模拟视频输出，叠加后的图像可以使得指挥***的人员可以快速准确的分辨出尾焰并作出指挥判断。
优选的，模拟视频输出采用ADV7391实现，FPGA将DDR3中缓存的1024×1024 50Hz的视频数据采用隔帧读取的方式先降速至25Hz，之后再采用下采样方式，将分辨率降低至720×576，最后将逐行数据转换为隔行数据，并调整输出数据时序、增添SAV、EAV信息，使其符合BT656标准输出至ADV7391。
如图3所示，为了进一步提高FPGA的工作效率，本实施例还包括多个晶振单元；所述多个晶振单元输出的时钟信号分别接入FPGA的不同BANK，并作为FPGA的***工作时钟。
本实施例实施时，多个晶振单元输出的时钟信号提供给FPGA作为***工作时钟，确保输入***时钟不在同一个BANK，以便于可以使用FPGA内部多个PLL资源；从而提高FPGA的响应速度，Cameralink输入时钟是图像输入支路的输入时钟，Cameralink输入时钟需连接至FPGA的全局时钟引脚，并与Cameralink信号处于FPGA的同一个BANK内，以减少时钟延迟和跨BANK所带来的相位抖动问题。
优选的，本实施例中的晶振单元为三个，即两个25MHz，一个27MHz。
为了进一步的对FPGA的工作过程进行描述，所述FPGA包括n*n的寄存器和多个FIFO缓存器，且n根据光斑尺寸得出；每个FIFO缓存器读取缓存图像中的一行像素，并先入先出的储存入寄存器内；所述FPGA从寄存器中得出每一帧缓存图像中所有n*n窗口灰度值，并以灰度值最大的窗口作为光斑位置。
本实施例实施时，为了提高***的响应速度，需要极大的减小光斑检测的运算量，本发明通过n*n的寄存器和多个FIFO缓存器实现计算量的减小，n根据光斑尺寸得出，也就是需要假定光斑的大小，如果光斑大小为n*n则寄存器选用n*n，也就是说一个寄存器内能完整存储一个图像中的光斑；这里的缓存图像一般为灰度图像，通过对n*n窗口内灰度值进行计算就可以判断这个窗口是否为光斑，由于采用了FIFO缓存器，对于一帧完整的图像来说，一个FIFO缓存器存储了完整的一行像素，这个像素先入先出的读入寄存器内，所以每次寄存器内存储的数据变化时对灰度值的重新计算不需要对整个寄存器再重新读取，而是从FIFO缓存器输出的数据、寄存器抛弃的数据和变化之前的数据进行叠加就可以得出新的灰度值，这种方式极大的减小的运算量，当n为5时，对寄存器内的数据重新计算需要进行至少24次求和，而通过本发明的方法，计算过程可以缩短到10次以内，所以本发明的响应时间可以缩短至少50％。
为了进一步的对输出的信号进行说明，所述FPGA将灰度值最大的窗口的中心坐标根据下式进行角度换算：X＝XPmax*1°/G；Y＝YPmax*1°/H；式中X为换算后的光斑X方向中心角度；Y为换算后的光斑Y方向中心角度；XPmax为灰度值最大的窗口中心X方向直角坐标；YPmax为灰度值最大的窗口中心Y方向直角坐标；G为图像X方向像素数量；H为图像Y方向像素数量。
本实施例实施时，为了方便对角度调整，将中心坐标进行了换算，不同于其他的视频追踪技术，本发明中追踪对象为飞行器尾焰，飞行器飞行的高度较高，所以可以通过角度关系进行调整，将像素坐标换算为角度坐标就可以知道下一步需要将转台调整多少角度，从而进一步的提高追踪效率。
本发明一种视频跟踪方法，包括：接收图像信号处理后储存为缓存图像；调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构；所述方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑。
本实施例实施时，采用FPGA作为控制芯片，并对缓存图像内的光斑进行检测和定位，定位结果送达方位俯仰调整机构，通过方位俯仰调整机构对光斑进行追踪，从而实现对图像采集设备持续捕捉光斑。本发明的视频跟踪***安装于激光转台上，激光转台以一定的角速度进行圆周扫描，当检测到目标时，会有反射光斑出现在图像输入中，视频跟踪***需实时进行检测反射光斑；一旦检测到反射光斑后，视频跟踪***发送指令控制转台停止转动，之后计算反射光斑位置，输出方位、俯仰调整参数至转台，最终使反射光斑位于图像正中心。
为了进一步的对光斑追踪进行描述，对缓存图像中的光斑进行检测后对光斑定位包括以下子步骤：采用n*n的寄存器和多个FIFO缓存器对缓存图像进行处理，且n根据光斑尺寸得出；每个FIFO缓存器读取缓存图像中的一行像素，并先入先出的储存入寄存器的一行内；当FIFO缓存器中新的数据到达寄存器时，抛弃寄存器尾端的寄存单元内的数据，并将寄存器内的数据向寄存器尾端的寄存单元移动，数据移动后重新计算n*n的寄存器内的灰度值总和作为该n*n窗口的灰度值；选取灰度值最大的窗口作为光斑位置。
本实施例实施时，为了提高***的响应速度，需要极大的减小光斑检测的运算量，本发明通过n*n的寄存器和多个FIFO缓存器实现计算量的减小，n根据光斑尺寸得出，也就是需要假定光斑的大小，如果光斑大小为n*n则寄存器选用n*n，也就是说一个寄存器内能完整存储一个图像中的光斑；这里的缓存图像一般为灰度图像，通过对n*n窗口内灰度值进行计算就可以判断这个窗口是否为光斑，由于采用了FIFO缓存器，对于一帧完整的图像来说，一个FIFO缓存器存储了完整的一行像素，这个像素先入先出的读入寄存器内，所以每次寄存器内存储的数据变化时对灰度值的重新计算不需要对整个寄存器再重新读取，而是从FIFO缓存器输出的数据、寄存器抛弃的数据和变化之前的数据进行叠加就可以得出新的灰度值，这种方式极大的减小的运算量，当n为5时，对寄存器内的数据重新计算需要进行至少24次求和，而通过本发明的方法，计算过程可以缩短到12次以内，所以本发明的响应时间可以缩短至少50％。
为了进一步的减少运算量，重新计算n*n的寄存器内的灰度值总和作为该n*n窗口的灰度值包括以下步骤：根据下式得出n*n窗口的灰度值：
P(m)sum＝P(m-1)sum+REG(m)-P(m)；
式中P(m)sum为重新计算得到的灰度值总和；P(m-1)sum为本次新的数据未达寄存器时n*n窗口的灰度值；REG(m)为本次新的数据的灰度值；P(m)为本次抛弃掉数据的灰度值。
本实施例实施时，通过上式可以很好的得出n*n的寄存器内的灰度值总和，并且计算方式简单，其中REG(m)为一个连加的数组，数组内元素的数量为n，P(m)也为一个连加的数组，数组内元素的数量为n；也就是整个运算量为n+n次，而如果对整个寄存器进行重新计算，则运算量为n*n次，显而易见的，在n大于2的情况下，本发明的运算量2n远小于重新计算的运算量n2，并且随着n的增大，计算量差距还会进一步的拉大。
为了进一步的提高本发明的适用性，当灰度值最大的窗口与同一帧其他窗口的灰度值差异小于阈值时，则认为该帧图像不存在光斑。
本实施例实施时，在设备实际运转时，完全可能出现画面中没有光斑的情况，所以本申请设计了一个阈值对光斑进行甄别，这个阈值可以取30～80直接的值。
为了进一步的对输出的信号进行说明，根据光斑定位结果得出方位和俯仰调整数据包括以下步骤：将灰度值最大的窗口的中心坐标根据下式进行角度换算：X＝XPmax*1°/G；Y＝YPmax*1°/H；式中X为换算后的光斑X方向中心角度；Y为换算后的光斑Y方向中心角度；XPmax为灰度值最大的窗口中心X方向直角坐标；YPmax为灰度值最大的窗口中心Y方向直角坐标；G为图像X方向像素数量；H为图像Y方向像素数量；根据换算后的中心角度数据得出方位和俯仰调整数据。
本实施例实施时，为了方便对角度调整，将中心坐标进行了换算，不同于其他的视频追踪技术，本发明中追踪对象为飞行器尾焰，飞行器飞行的高度较高，所以可以通过角度关系进行调整，将像素坐标换算为角度坐标就可以知道下一步需要将转台调整多少角度，从而进一步的提高追踪效率。
为了方便对本发明进行理解，下面以实施例对本发明的完整工作过程进行说明：
如图4所示，光斑大小约为5*5像素大小，因此构建5*5大小的寄存器进行处理，缓存图像为1024*1024的图像，4个FIFO缓存每行图像数据，FIFO大小为1023Byte加上FIFO端口上的寄存器，总计1024Byte，刚好为输入的缓存图像一行数据的大小，这里的缓存图像为灰度图像，每一个FIFO也对应一行寄存器内的数据，寄存器内P55～P51的数据由Pixel直接提供。
每帧图像间隙，寄存器P11～P55以及FIFO会清零，开始接收缓存数据并计算P11～P55像素之和P0sum；
为了减少计算量，每打入一组数据，P51、P41、P31、P21、P11是数据被丢弃，然后按照图4中箭头方向数据进行移动，这样下一组的像素之和就可以按照下式进行计算：
P(m)sum＝P(m-1)sum+REG(m)-P(m)；
其中REG(m)＝Pixel+O1REG+O2REG+O3REG+O4REG；P(m)＝P51+P41+P31+P21+P11；
一共是十次计算，原小于重新计算的24次，而在对新的图像进行计算时，由于P51、P41、P31、P21、P11可能本身没有数据，则可以将运算次数压缩到五次，从而极大的提高了运算效率。
根据上述公式，只要已知P0sum，就可以计算出后续的每一个P(m)sum值，由于上电初始所有寄存器和FIFO清零，所以从计算开始时P(m)sum始终可算。
从寄存器接收到第5行及每行第五列时开始寻找最大5*5的光斑，如果当前光斑大于已经找到的最亮光斑，则将当前光斑的灰度值替换最亮光斑的灰度值，并且刷新当前5*5最亮光斑的坐标，这里说的刷新就是将最亮光斑的坐标替换为当前光斑的坐标。
按照上面过程进行比较，直到最后一个像素点输入完成，以得出的最亮光斑的坐标进行角度换算。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频跟踪***，其特征在于，包括FPGA、储存单元、图像输入支路和串口通信支路；
所述图像输入支路接收图像采集设备采集的图像信号并发送至FPGA，FPGA将图像信号处理后发送储存单元储存为缓存图像；
所述FPGA调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；
所述FPGA根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构，所述方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑；
所述FPGA包括n*n的寄存器和多个FIFO缓存器，且n根据光斑尺寸得出；如果光斑大小为n*n则寄存器选用n*n；
每个FIFO缓存器读取缓存图像中的一行像素，并先入先出的储存入寄存器内；
所述FPGA从寄存器中得出每一帧缓存图像中所有n*n窗口灰度值，并以灰度值最大的窗口作为光斑位置；
根据下式得出n*n窗口的灰度值：
P(m)sum＝P(m-1)sum+REG(m)-P(m)；
式中P(m)sum为重新计算得到的灰度值总和；P(m-1)sum为本次新的数据未达寄存器时n*n窗口的灰度值；REG(m)为本次新的数据的灰度值；P(m)为本次抛弃掉数据的灰度值。
2.根据权利要求1所述的一种视频跟踪***，其特征在于，还包括PAL输出支路；
所述FPGA调取缓存图像并对缓存图像进行采样；
所述FPGA将光斑检测结果叠加进采样后的缓存图像并将叠加后的图像发送至PAL输出支路；
所述PAL输出支路将叠加后的图像编码处理后进行模拟视频输出。
3.根据权利要求1所述的一种视频跟踪***，其特征在于，还包括多个晶振单元；
所述多个晶振单元输出的时钟信号分别接入FPGA的不同BANK，并作为FPGA的***工作时钟。
4.根据权利要求1所述的一种视频跟踪***，其特征在于，所述FPGA将灰度值最大的窗口的中心坐标根据下式进行角度换算：
X＝XPmax*1°/G；
Y＝YPmax*1°/H；
式中X为换算后的光斑X方向中心角度；Y为换算后的光斑Y方向中心角度；XPmax为灰度值最大的窗口中心X方向直角坐标；YPmax为灰度值最大的窗口中心Y方向直角坐标；G为图像X方向像素数量；H为图像Y方向像素数量。
5.一种视频跟踪方法，其特征在于，包括：
接收图像信号处理后储存为缓存图像；
调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；
根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构；
所述方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑；
对缓存图像中的光斑进行检测后对光斑定位包括以下子步骤：
采用n*n的寄存器和多个FIFO缓存器对缓存图像进行处理，且n根据光斑尺寸得出；如果光斑大小为n*n则寄存器选用n*n；
每个FIFO缓存器读取缓存图像中的一行像素，并先入先出的储存入寄存器的一行内；
当FIFO缓存器中新的数据到达寄存器时，抛弃寄存器尾端的寄存单元内的数据，并将寄存器内的数据向寄存器尾端的寄存单元移动，数据移动后重新计算n*n的寄存器内的灰度值总和作为该n*n窗口的灰度值；
选取灰度值最大的窗口作为光斑位置；
重新计算n*n的寄存器内的灰度值总和作为该n*n窗口的灰度值包括以下步骤：
根据下式得出n*n窗口的灰度值：
P(m)sum＝P(m-1)sum+REG(m)-P(m)；
式中P(m)sum为重新计算得到的灰度值总和；P(m-1)sum为本次新的数据未达寄存器时n*n窗口的灰度值；REG(m)为本次新的数据的灰度值；P(m)为本次抛弃掉数据的灰度值。
6.根据权利要求5所述的一种视频跟踪方法，其特征在于，当灰度值最大的窗口与同一帧其他窗口的灰度值差异小于阈值时，则认为该帧图像不存在光斑。
7.根据权利要求5所述的一种视频跟踪方法，其特征在于，根据光斑定位结果得出方位和俯仰调整数据包括以下步骤：
将灰度值最大的窗口的中心坐标根据下式进行角度换算：
X＝XPmax*1°/G；
Y＝YPmax*1°/H；
式中X为换算后的光斑X方向中心角度；Y为换算后的光斑Y方向中心角度；XPmax为灰度值最大的窗口中心X方向直角坐标；YPmax为灰度值最大的窗口中心Y方向直角坐标；G为图像X方向像素数量；H为图像Y方向像素数量；
根据换算后的中心角度数据得出方位和俯仰调整数据。
CN201910958942.3A 2019-10-10 2019-10-10 一种视频跟踪***及方法 Active CN110647173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910958942.3A CN110647173B (zh) 2019-10-10 2019-10-10 一种视频跟踪***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910958942.3A CN110647173B (zh) 2019-10-10 2019-10-10 一种视频跟踪***及方法

Publications (2)

Publication Number Publication Date
CN110647173A CN110647173A (zh) 2020-01-03
CN110647173B true CN110647173B (zh) 2020-12-29

Family

ID=68993762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910958942.3A Active CN110647173B (zh) 2019-10-10 2019-10-10 一种视频跟踪***及方法

Country Status (1)

Country Link
CN (1) CN110647173B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116632B (zh) * 2020-09-21 2023-12-05 中国科学院长春光学精密机械与物理研究所 一种循着目标尾烟追踪目标的方法、装置及介质
CN113554687B (zh) * 2021-09-18 2021-12-07 四川赛狄信息技术股份公司 无人机弹载发射偏移校准控制方法、***、终端及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771874A (zh) * 2009-12-31 2010-07-07 华中科技大学 一种卫星图像压缩方法及其实现装置
CN101841730A (zh) * 2010-05-28 2010-09-22 浙江大学 一种基于fpga的实时立体视觉实现方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57133571A (en) * 1981-02-09 1982-08-18 Mitsubishi Electric Corp Control device for information reproducing device
CN100580365C (zh) * 2008-09-17 2010-01-13 北京航空航天大学 一种双路质心跟随成像方法及装置
CN101448145A (zh) * 2008-12-26 2009-06-03 北京中星微电子有限公司 Ip摄像机和视频监控***及ip摄像机的信号处理方法
CN103140049B (zh) * 2011-12-05 2016-06-01 湖南城市学院 一种基于fpga的贴片机快速定位***及方法
CN102831619A (zh) * 2012-07-31 2012-12-19 中国科学院光电技术研究所 一种扩展目标稳定跟踪点提取方法
CN103955687B (zh) * 2014-05-12 2017-10-10 北京航空航天大学 一种基于质心法的光斑图像中心的快速定位方法
CN105761288B (zh) * 2016-02-02 2019-02-01 华中科技大学 一种基于fpga的实时星点质心定位方法及装置
CN106375793B (zh) * 2016-08-29 2019-12-13 东方网力科技股份有限公司 一种视频结构化信息的叠加方法、用户终端及叠加***
CN106197403B (zh) * 2016-08-31 2019-01-08 中国科学院长春光学精密机械与物理研究所 Htem***吊舱多点姿态光斑成像测量方法及装置
CN107341760A (zh) * 2017-06-27 2017-11-10 北京计算机技术及应用研究所 一种基于fpga的低空目标跟踪***
CN207491113U (zh) * 2017-11-06 2018-06-12 河北汉光重工有限责任公司 一种基于dsp和多片flash的目标自动跟踪***
CN108400816A (zh) * 2018-02-27 2018-08-14 中国科学技术大学 基于无线光通信的高速光源识别、跟踪与对准***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771874A (zh) * 2009-12-31 2010-07-07 华中科技大学 一种卫星图像压缩方法及其实现装置
CN101841730A (zh) * 2010-05-28 2010-09-22 浙江大学 一种基于fpga的实时立体视觉实现方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
IsidorosSideris.A column parity based fault detection mechanism for FIFO buffers.《Integration》.2012, *
刘紫燕 等.一种基于FPGA的实时视频跟踪***硬件平台设计.《传感器与微***》.2014, *
朱毖微 等.基于FPGA的DMD驱动控制电路的研究设计.《计算机测量与控制》.2010, *
欧春湘 等.基于FIFO的循环移位寄存器实现方法.《现代电子技术》.2014, *
王大千 等.基于FPGA的视频监控***的设计及研究.《数控技术》.2012, *
郭洪宾 等.基于FPGA的高速图像采集处理***优化.《湖南工业职业技术学院学报》.2019, *

Also Published As

Publication number Publication date
CN110647173A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN109872341B (zh) 一种基于计算机视觉的高空抛物检测方法与***
US20140347439A1 (en) Mobile device and system for generating panoramic video
US10027893B2 (en) Real-time video stabilization for mobile devices based on on-board motion sensing
EP3414891B1 (en) Camera setting adjustment based on predicted environmental factors and tracking systems employing the same
CN102474570B (zh) 信息显示装置、显示控制用集成电路及显示控制方法
CN110647173B (zh) 一种视频跟踪***及方法
CN102480615B (zh) 图像目标区域追踪***与方法
CN110246177B (zh) 一种基于视觉的自动测波方法
CN104639916A (zh) 一种大场景多目标跟踪拍摄视频监控***及其监控方法
JP2002064812A (ja) 移動物体追尾装置
CN210526874U (zh) 一种机载三光光电吊舱***
CN109991900A (zh) 嵌入式导星处理***
CN109754034A (zh) 一种基于二维码的终端设备定位方法及装置
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及***
CN115714855A (zh) 一种基于立体视觉与tof融合的三维视觉感知方法及***
CN112884803B (zh) 基于dsp的实时智能监控目标检测方法及装置
KR20110053417A (ko) 디지털 비디오 필터 및 화상 처리
CN111401248A (zh) 一种天空区域的识别方法、装置、电子设备及存储介质
TW201838400A (zh) 一種移動目標位置追蹤系統
CN110413836A (zh) 一种全景搜索***
CN114095700B (zh) 一种全景红外视觉地面震动监测方法
CN108734065B (zh) 一种手势图像获取设备及方法
CN216916282U (zh) 一种红外可见光跨模态数据融合的搜索机器人
CN113763457B (zh) 落差地形的标定方法、装置、电子设备和存储介质
CN116958142B (zh) 基于复眼事件成像与高速转台的目标检测与跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant