CN102314693A - 双模视频目标识别跟踪*** - Google Patents

双模视频目标识别跟踪*** Download PDF

Info

Publication number
CN102314693A
CN102314693A CN201110212324A CN201110212324A CN102314693A CN 102314693 A CN102314693 A CN 102314693A CN 201110212324 A CN201110212324 A CN 201110212324A CN 201110212324 A CN201110212324 A CN 201110212324A CN 102314693 A CN102314693 A CN 102314693A
Authority
CN
China
Prior art keywords
dsp
data
camera
fpga
serial port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110212324A
Other languages
English (en)
Inventor
赵建
孙海江
张艳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201110212324A priority Critical patent/CN102314693A/zh
Publication of CN102314693A publication Critical patent/CN102314693A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

双模视频目标识别跟踪***属于电子学领域中的视频图像处理技术，该***包括第一接口转换模块、第一FPGA、第一数据存储器、第一DSP、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块；该***可以同时采集红外相机和可见相机的视频信号，并集成了两片DSP，第一DSP负责处理可见相机的图像数据，第二DSP负责处理红外相机的图像数据，并从第一DSP获得可见相机的处理结果，最优化判断最终的目标脱靶量，通过串口输出跟踪结果。本发明可以同时处理两个波段相机的视频信号，并且两个DSP可以相互通讯并对两个结果进行最优化判断，获得更为稳定的计算结果。

Description

双模视频目标识别跟踪***
技术领域
本发明属于电子学领域中的视频图像处理技术，涉及一种双模视频目标识别跟踪***。
背景技术
视频跟踪***是一种实时图像处理***，具有对视频图像中的目标进行识别跟踪的能力，被广泛应用于军事和民用领域，尤其是军事上，如光学自动跟踪***，导弹自动跟踪***，一般都是与伺服控制***配合使用，通过计算获得目标位置(即脱靶量)，输出送给伺服控制***，进行目标的自动跟踪。目标识别跟踪的好坏与相机采集目标信号的波段宽度有很大关系，现有的视频跟踪***一般只具备一台相机的视频处理能力，要么可见光，要么红外，并且，目标识别能力差，跟踪稳定性低。
发明内容
本发明的目的是提供一种双模视频目标识别跟踪***，其可以同时采集处理红外和可见光两台相机的视频信号，融合两台相机的处理结果，使目标的识别能力更强，跟踪稳定性更高，跟踪的鲁棒性提高。
为了实现上述目的，本发明的技术方案如下：
双模视频目标识别跟踪***，包括第一接口转换模块、第一FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、第一数据存储器、第一DSP(Digital Signal Processing，数字信号处理器)、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块；所述第一接口转换模块与可见相机连接，所述第一FPGA分别与第一接口转换模块、第一数据存储器、第一DSP连接，第一FPGA通过第一接口转换模块对可见相机的图像数据进行实时采集，并通过第一数据存储器对采集的可见相机的图像数据进行实时存储，同时将采集的可见相机的图像数据传送给第一DSP；所述第一程序存储器与第一DSP连接，其用于存储第一DSP的程序代码；所述第一DSP用于可见相机的图像处理、提取目标和计算目标位置，并将计算结果通过多通道缓冲串口传送给第二DSP；所述第二接口转换模块与红外相机连接，所述第二FPGA分别与第二接口转换模块、第二数据存储器、第二DSP连接，第二FPGA通过第二接口转换模块对红外相机的图像数据进行实时采集，并通过第二数据存储器对采集的红外相机的图像数据进行实时存储，同时将采集的红外相机的图像数据传送给第二DSP；所述第二程序存储器与第二DSP连接，其用于存储第二DSP的程序代码；所述第二DSP与串口模块连接，其用于红外相机的图像处理，计算红外图像中的目标位置，并通过多通道缓冲串口接收第一DSP传来的可见图像中的目标计算结果，进入计算结果的加权融合，并将加权融合后的数据传送给串口模块；所述串口模块与信号转换模块连接，其用于接收第二DSP传来的数据，并通过信号转换模块转换为差分信号后输出给外***。
本发明是一种可以同时采集两台不同波段相机即红外相机和可见光相机输出的两路CameraLink格式视频图像的视频跟踪***，并具有对采集的视频图像进行处理，识别目标(如飞机、导弹等)，实时跟踪目标，通过串口向外***提供脱靶量(即目标在图像中的坐标位置)的功能。本发明通过两片FPGA管理接口转换模块和数据存储器实现了图像数据的实时采集和存储，其中第一FPGA负责可见光相机的视频采集和存储；第二FPGA负责红外相机的视频采集和存储。采用两片DSP作为图像处理的核心平台，其中第一DSP实现可见光相机的图像处理，提取目标并计算目标位置，并将计算结果通过多通道缓冲串口(McBSP)传给第二DSP；而第二DSP负责红外相机的图像处理，计算红外视频图像中的目标位置，并通过McBSP接收第一DSP传来的可见光视频中的目标计算结果，进入结果的加权融合，通过串口模块将跟踪结果-脱靶量(即目标在图像中的坐标位置)输出给外***，一般为伺服跟踪***，用于进行目标的自动跟踪，同时此串口模块为双向的还具备接收外***通讯命令的功能。
本发明的有益效果是：该***体积小集成度高、运算速度快，实时性好、并在同一台视频跟踪***中实现了红外图像和可见图像的并行处理和计算结果的融合，提高了目标跟踪的稳定性。具体体现在如下四点：
1)采用两片DSP做核心处理器并行处理，可以同时处理两个波段相机的图像数据，满足50Hz实时性要求；
2)采用两片FPGA管理***，可以实现两个相机图像的同时采集和存储互不干扰；
3)通过McBSP将两个相机的计算结果进行互传，提高了***跟踪目标的鲁棒性，提高了持续跟踪目标的能力；
4)整个***为嵌入式***，具有小型化、集成化、自动化程度高的特点；而且***可以输出标准差分串口数据信号供外***如伺服跟踪***进行串口通讯。
附图说明
图1是本发明双模视频目标识别跟踪***的结构框图。
图2是本发明双模视频目标识别跟踪***的电路原理图。
图3是本发明第一DSP的可见光目标识别跟踪软件流程图。
图4是本发明第二DSP的软件流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
如图1所示，本发明的双模视频目标识别跟踪***包括：第一接口转换模块、第一FPGA、第一数据存储器、第一DSP、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块。
下面对该嵌入式跟踪***所采用的主要芯片说明如下：两片输入接口转换模块采用芯片DS90CR288，将相机数字口输出的CameraLink格式的数据信号转换成TTL信号；负责图像采集和***管理的两芯片FPGA，采用高性能的XILINX公司的V2P4，具有40万的***门，800多个逻辑单元，500K的RAM，28个18×18bit乘法器，高达300MHz的***带宽；两片数据存储器SDRAM采用ISSI公司的高速存储芯片IS42S16400，具有64Mb的存储空间，方便图像数据的存储和读取；本发明***的核心处理器DSP，两片都采用Ti公司高性能的DSP(TMS320C6416)主频1G Hz，运算速度可达8000MIPS，最高速指令周期时间为1.0ns，每周期可执行8条32bit指令，具有VelociTI.2先进VLIW结构内核，8个独立的功能单元，6个ALU(32、40bit)，每个单元每周期都可完成一个32bit、两个16bit或者4个8bit算术运算。2个乘法器支持每周期完成4个16×16Bit乘法(结果是32bit)或者8个8×8bit乘法(结果是16bit)，可以编排并行流水汇编，达到了算法的实时性要求；程序存储器FLASH芯片采用两片AM29LV800DB，分别与第一DSP和第二DSP相连，每片具有4M的存储空间用于程序代码的存储；串口模块采用16C650具有32个Bytes的FIFO空间；串口数据通过信号转换芯片MAX488后转为差分信号。
如图2所示，本发明双模视频目标识别跟踪***的工作过程是：首先***上电，第一DSP通过地址线A11[0-7]译码后从第一FALSH中读取第一DSP的程序代码通过数据线D11[0-7]加载到第一DSP中，同样第二DSP通过地址线A21[0-7]译码后从第二FALSH中读取第二DSP的程序代码通过数据线D21[0-7]加载到第二DSP中，程序开始执行。下面简单介绍本***的数据走向和工作流程，可见相机输出的数字图像信号为CameraLink格式，数字口的输出信号Ck[0-3]接入第一DS90CR288的Input1[0-3]，后分离出像素时钟CLK1、行同步信号HSYNCY1、场同步信号VSYNCY1和8位的图像数据Data1[0-7]；然后将以上信号线和数据线接入第一FPGA，第一FPGA根据像素时钟CLK1、行同步信号HSYNCY1和场同步信号VSYNCY1，采集图像数据InData1[0-7]，并将数据InData1[0-7]转成Out1[0-7]，通过地址线Addr1[0-7]译码后写入第一SDRAM中；当一整幅图像数据写入第一SDRAM后，第一DSP启动DMA(直接存储器访问)通过地址线A1[0-7]和数据线D1[0-7]将图像数据导入第一DSP片内，进行图像预处理，目标识别与跟踪等计算，当第一DSP的McBSP的串行数据接收口DR1接收到第二DSP的McBSP的串行数据发送口的请求命令时，将计算结果通过第一DSP的McBSP的串行数据发送接口TR1送给第二DSP的McBSP的串行数据接收口DR2；同样红外相机输出的数字图像信号也为CameraLink格式，数字口的输出信号Ch[0-3]接入第二DS90CR288的Input2[0-3]，后分离出像素时钟CLK2、行同步信号HSYNCY2、场同步信号VSYNCY2和8位的图像数据Data2[0-7]；然后将以上信号线和数据线接入第二FPGA，第二FPGA根据像素时钟CLK2、行同步信号HSYNCY2和场同步信号VSYNCY2，采集图像数据InData2[0-7]，并将数据InData2[0-7]转成Out20-7]，通过地址线Addr2[0-7]译码后写入第二SDRAM中；当一整幅图像数据写入第二SDRAM后，第二DSP启动DMA(直接存储器访问)通过地址线A2[0-7]和数据线D2[0-7]将图像数据导入第二DSP片内，进行图像预处理、目标识别与跟踪等计算，计算结束后通过第二DSP的串行数据发送接口TR2向第一DSP的串行数据接收口DR1发出请求命令，并通过第二DSP的串行数据接收口从第一DSP的串行数据发送口TR1获得可见相机的目标识别跟踪的计算结果，通过加权融合的计算方法得到最终的目标位置信息，即脱靶量；串行接口TR1送给第二DSP的DR2串行接口；如何接收外***的控制命令和发送计算结果是通过第二DSP与串口通信芯片完成的，第二DSP通过地址线A[0-2]和数据线D[0-7]与芯片16C650进行数据交换，串口芯片16C650通过串行数据接口TX向芯片MAX488的串行数据接口RX发送数据，并从串行数据接口RX从MAX488的串行数据接口接收数据，MAX488则将RX接收到的数据转换为差分信号通过T+和T-发送给外***，而从差分信号接口R+和R-接收外***的数据，转为串行数据送给TX。
图3是第一DSP的软件算法流程图，其主要是负责可见相机的图像处理，即可见相机中目标的识别与跟踪；图4第二DSP的软件算法流程图，其主要是负责红外相机的图像处理与目标的识别与跟踪，同时负责将第一DSP的可见相机的计算结果与红外相机的计算结果进行最优化选取，并负责将最终计算结果送给通讯模块。
本发明的跟踪***为嵌入式设备，只要将可见相机和红外相机同本***连接正确，通电后即可通过串口获得欲跟踪目标的位置信息。

Claims (1)

1.双模视频目标识别跟踪***，其特征在于，该***包括第一接口转换模块、第一FPGA、第一数据存储器、第一DSP、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块；所述第一接口转换模块与可见相机连接，所述第一FPGA分别与第一接口转换模块、第一数据存储器、第一DSP连接，第一FPGA通过第一接口转换模块对可见相机的图像数据进行实时采集，并通过第一数据存储器对采集的可见相机的图像数据进行实时存储，同时将采集的可见相机的图像数据传送给第一DSP；所述第一程序存储器与第一DSP连接，其用于存储第一DSP的程序代码；所述第一DSP用于可见相机的图像处理、提取目标和计算目标位置，并将计算结果通过多通道缓冲串口传送给第二DSP；
所述第二接口转换模块与红外相机连接，所述第二FPGA分别与第二接口转换模块、第二数据存储器、第二DSP连接，第二FPGA通过第二接口转换模块对红外相机的图像数据进行实时采集，并通过第二数据存储器对采集的红外相机的图像数据进行实时存储，同时将采集的红外相机的图像数据传送给第二DSP；所述第二程序存储器与第二DSP连接，其用于存储第二DSP的程序代码；所述第二DSP与串口模块连接，其用于红外相机的图像处理，计算红外图像中的目标位置，并通过多通道缓冲串口接收第一DSP传来的可见图像中的目标计算结果，进入计算结果的加权融合，并将加权融合后的数据传送给串口模块；所述串口模块与信号转换模块连接，其用于接收第二DSP传来的数据，并通过信号转换模块转换为差分信号后输出给外***。
CN201110212324A 2011-07-27 2011-07-27 双模视频目标识别跟踪*** Pending CN102314693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110212324A CN102314693A (zh) 2011-07-27 2011-07-27 双模视频目标识别跟踪***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110212324A CN102314693A (zh) 2011-07-27 2011-07-27 双模视频目标识别跟踪***

Publications (1)

Publication Number Publication Date
CN102314693A true CN102314693A (zh) 2012-01-11

Family

ID=45427830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110212324A Pending CN102314693A (zh) 2011-07-27 2011-07-27 双模视频目标识别跟踪***

Country Status (1)

Country Link
CN (1) CN102314693A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801920A (zh) * 2012-07-25 2012-11-28 中国科学院长春光学精密机械与物理研究所 相机无传感器连续自动曝光时间调节控制装置
CN103034515A (zh) * 2012-12-11 2013-04-10 北京遥测技术研究所 一种卫星导航接收机fpga快速加载方法
CN103281491A (zh) * 2013-05-30 2013-09-04 中国科学院长春光学精密机械与物理研究所 基于dsp的图像融合装置
CN103402044A (zh) * 2013-08-07 2013-11-20 重庆大学 一种基于多源视频融合的目标识别与跟踪***
CN103646232A (zh) * 2013-09-30 2014-03-19 华中科技大学 飞行器地面运动目标红外图像识别装置
CN104778726A (zh) * 2015-04-29 2015-07-15 深圳市保千里电子有限公司 一种基于人体特征进行运动轨迹跟踪的方法及***
CN105806336A (zh) * 2014-12-30 2016-07-27 上海新跃仪表厂 一种用于微小型星敏感器的电子学***及其实现方法
CN107911610A (zh) * 2017-12-08 2018-04-13 成都爱特联科技有限公司 一种应用于图像采集模块的数据处理***
CN108154523A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种机载光电平台中的实时目标跟踪***及方法
CN108162977A (zh) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 驾驶辅助***及控制方法
CN108319918A (zh) * 2018-02-05 2018-07-24 中国科学院长春光学精密机械与物理研究所 一种嵌入式***及应用于嵌入式***的目标跟踪方法
CN108844628A (zh) * 2018-04-04 2018-11-20 湖北三江航天万峰科技发展有限公司 一种多光谱成像探测***
CN109212545A (zh) * 2018-09-19 2019-01-15 长沙超创电子科技有限公司 基于主动视觉的多信源目标跟踪测量***及跟踪方法
CN110381252A (zh) * 2019-07-18 2019-10-25 湖南宏动光电有限公司 一种图形处理***
CN114650352A (zh) * 2022-03-08 2022-06-21 中国科学院长春光学精密机械与物理研究所 应用于cpci计算机的图像跟踪采集装置、图像跟踪采集***
CN116965394A (zh) * 2023-09-22 2023-10-31 吉林长华汽车部件有限公司 一种激光除草装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197840A1 (en) * 2005-03-07 2006-09-07 Neal Homer A Position tracking system
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN102025979A (zh) * 2010-12-14 2011-04-20 中国科学院长春光学精密机械与物理研究所 一种基于双dsp的红外视频实时增强显示装置
CN201813479U (zh) * 2010-07-13 2011-04-27 山东神戎电子股份有限公司 双光谱成像***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197840A1 (en) * 2005-03-07 2006-09-07 Neal Homer A Position tracking system
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN201813479U (zh) * 2010-07-13 2011-04-27 山东神戎电子股份有限公司 双光谱成像***
CN102025979A (zh) * 2010-12-14 2011-04-20 中国科学院长春光学精密机械与物理研究所 一种基于双dsp的红外视频实时增强显示装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801920A (zh) * 2012-07-25 2012-11-28 中国科学院长春光学精密机械与物理研究所 相机无传感器连续自动曝光时间调节控制装置
CN103034515A (zh) * 2012-12-11 2013-04-10 北京遥测技术研究所 一种卫星导航接收机fpga快速加载方法
CN103034515B (zh) * 2012-12-11 2015-11-25 北京遥测技术研究所 一种卫星导航接收机fpga快速加载方法
CN103281491A (zh) * 2013-05-30 2013-09-04 中国科学院长春光学精密机械与物理研究所 基于dsp的图像融合装置
CN103402044A (zh) * 2013-08-07 2013-11-20 重庆大学 一种基于多源视频融合的目标识别与跟踪***
CN103646232A (zh) * 2013-09-30 2014-03-19 华中科技大学 飞行器地面运动目标红外图像识别装置
CN103646232B (zh) * 2013-09-30 2016-08-17 华中科技大学 飞行器地面运动目标红外图像识别装置
CN105806336B (zh) * 2014-12-30 2018-11-06 上海新跃仪表厂 一种用于微小型星敏感器的电子学***及其实现方法
CN105806336A (zh) * 2014-12-30 2016-07-27 上海新跃仪表厂 一种用于微小型星敏感器的电子学***及其实现方法
CN104778726A (zh) * 2015-04-29 2015-07-15 深圳市保千里电子有限公司 一种基于人体特征进行运动轨迹跟踪的方法及***
CN108162977A (zh) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 驾驶辅助***及控制方法
CN107911610A (zh) * 2017-12-08 2018-04-13 成都爱特联科技有限公司 一种应用于图像采集模块的数据处理***
CN108154523A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种机载光电平台中的实时目标跟踪***及方法
CN108154523B (zh) * 2017-12-25 2018-12-18 北京航空航天大学 一种机载光电平台中的实时目标跟踪***及方法
CN108319918A (zh) * 2018-02-05 2018-07-24 中国科学院长春光学精密机械与物理研究所 一种嵌入式***及应用于嵌入式***的目标跟踪方法
CN108319918B (zh) * 2018-02-05 2022-07-08 中国科学院长春光学精密机械与物理研究所 一种嵌入式***及应用于嵌入式***的目标跟踪方法
CN108844628A (zh) * 2018-04-04 2018-11-20 湖北三江航天万峰科技发展有限公司 一种多光谱成像探测***
CN109212545A (zh) * 2018-09-19 2019-01-15 长沙超创电子科技有限公司 基于主动视觉的多信源目标跟踪测量***及跟踪方法
CN110381252A (zh) * 2019-07-18 2019-10-25 湖南宏动光电有限公司 一种图形处理***
CN114650352A (zh) * 2022-03-08 2022-06-21 中国科学院长春光学精密机械与物理研究所 应用于cpci计算机的图像跟踪采集装置、图像跟踪采集***
CN116965394A (zh) * 2023-09-22 2023-10-31 吉林长华汽车部件有限公司 一种激光除草装置
CN116965394B (zh) * 2023-09-22 2023-12-12 吉林长华汽车部件有限公司 一种激光除草装置

Similar Documents

Publication Publication Date Title
CN102314693A (zh) 双模视频目标识别跟踪***
CN103049879B (zh) 一种基于fpga的红外图像预处理方法
CN104270570A (zh) 双目摄像机及其图像处理方法
CN103336279B (zh) 弹载sar成像实时信号处理***
CN102801912A (zh) 一种红外图像处理芯片及处理方法
CN103198445A (zh) 高速红外目标检测与跟踪图像处理装置及其处理方法
CN109688382B (zh) 一种水下机器人的水下图像处理***
CN105208275A (zh) 一种支持流数据片内实时处理的***及设计方法
CN105430334A (zh) 一种基于dsp和fpga视频图像采集处理***
CN103544470B (zh) 一种动平台对空目标双色红外异构并行自动目标识别器
CN103780819B (zh) 一种智能工业相机
CN204408489U (zh) 一种高速图像采集处理***
CN103514449A (zh) 一种图像采集装置及方法
CN101567979A (zh) 基于usb2.0的红外摄像机与计算机间数据采集***
CN104811597A (zh) 一体化智能相机
CN104394371A (zh) 一种适合大量连续图像采集和快速存储的***
CN102521824A (zh) 一种低功耗红外实时信号处理***
CN203984550U (zh) 一种3d照相机的控制电路
CN204498223U (zh) 一种红外图像处理芯片
CN106101584A (zh) 一种星载模块化智能成像***
CN106134475B (zh) 带存储功能的多图像采集设备遥控采集控制装置
CN103685884A (zh) 一种基于片上视觉***的智能相机
CN103217224A (zh) 高速波前测量和波前处理一体化***
CN202205052U (zh) 12路模拟量数据采集与控制板
CN202422217U (zh) 红外目标采集识别***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120111