CN109640042A - 基于fpga的高精度云台红外全景相机 - Google Patents

基于fpga的高精度云台红外全景相机 Download PDF

Info

Publication number
CN109640042A
CN109640042A CN201811555408.XA CN201811555408A CN109640042A CN 109640042 A CN109640042 A CN 109640042A CN 201811555408 A CN201811555408 A CN 201811555408A CN 109640042 A CN109640042 A CN 109640042A
Authority
CN
China
Prior art keywords
fpga
port
processor
precision
precision holder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811555408.XA
Other languages
English (en)
Inventor
王金鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Senhe Electronic Technology Co Ltd
Original Assignee
Chengdu Senhe Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Senhe Electronic Technology Co Ltd filed Critical Chengdu Senhe Electronic Technology Co Ltd
Priority to CN201811555408.XA priority Critical patent/CN109640042A/zh
Publication of CN109640042A publication Critical patent/CN109640042A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于FPGA的高精度云台红外全景相机，包括运算平台，所述运算平台包括FPGA处理器，所述FPGA处理器的输入端连接有上位机的端口，所述FPGA处理器的端口双向连接有热像仪的端口，所述FPGA处理器的一端双向连接有方位位置编码器和俯仰位置编码器的一端，所述方位位置编码器和俯仰位置编码器的一端均双向连接有高精度云台；本发明通过采用高精度云台，带动热像仪进行水平方向转动，保证了相邻两帧图像之间的重合度为1/3，因此只需在重合区域进行两帧图像的特征点匹配，极大的减少了特征点匹配算法的运算量；由于FPGA的并行运算特性，特征点匹配算法可以并行处理和流水线处理，因此该***的实时性得到了很大的提高。

Description

基于FPGA的高精度云台红外全景相机
技术领域
本发明涉及图像拼接技术领域，具体为基于FPGA的高精度云台红外全景相机。
背景技术
红外全景相机的原理是图像拼接，图像拼接是高速机械扫描式全景相机的关键技术，实现通过***数学模型中的各参数值建立的两幅图像之间的数学变换模型，将输入的实时图像转换到参考图像坐标系中，完成图像之间的统一的坐标变换，将重合区域的图像进行数据融合得到平滑无缝的全景图像，并按照***约定的规则发送到上位机控制软件的一种技术。
现有的红外全景相机的运算平台普遍采用DSP芯片，由DSP负责图像拼接运算，这种技术方案存在DSP功耗较大且***成本高等缺点，同时，现有的全景相机一般没有配备高精度云台，无法精确获取相机的方位角和俯仰角，只能通过纯算法进行全景拼接，不仅拼接效果有限，而且运算量巨大。
发明内容
本发明的目的在于提供基于FPGA的高精度云台红外全景相机，以解决上述背景技术中提出现有的红外全景相机的运算平台普遍采用DSP芯片，由DSP负责图像拼接运算，这种技术方案存在DSP功耗较大且***成本高等缺点，同时，现有的全景相机一般没有配备高精度云台，无法精确获取相机的方位角和俯仰角，只能通过纯算法进行全景拼接，不仅拼接效果有限，而且运算量巨大的问题。
为实现上述目的，本发明提供如下技术方案：基于FPGA的高精度云台红外全景相机，包括运算平台，所述运算平台包括FPGA处理器，FPGA处理器利用FPGA内嵌的浮点DSP运算单元和流水线技术，所述FPGA处理器的输入端连接有上位机的端口，所述FPGA处理器的端口双向连接有热像仪的端口，所述FPGA处理器的一端双向连接有方位位置编码器和俯仰位置编码器的一端，所述方位位置编码器和俯仰位置编码器的一端均双向连接有高精度云台，所述FPGA处理器的一端双向连接有以太网端口，所述以太网端口双向连接有显示控制设备的端口。
作为本发明的一种优选实施方式，所述FPGA处理器利用FPGA内嵌的浮点DSP运算单元和流水线技术。
作为本发明的一种优选实施方式，所述FPGA处理器的通信接口通过UART端口与上位机的端口连接，所述FPGA处理器通过UART端口与上位机的输出端连接，所述FPGA处理器的通信接口通过UART端口与与热像仪的UART端口双向连接，所述FPGA的图像接口通过热像仪的camelink接口连接。
作为本发明的一种优选实施方式，所述FPGA处理器通过BISS-C接口分别连接有方位位置编码器和俯仰位置编码器。
作为本发明的一种优选实施方式，所述高精度云台安装于热像仪的底部，且所述高精度云台沿水平方向转动。
作为本发明的一种优选实施方式，所述热像仪的视场为1.5°×1.2°，帧频30fps，所述高精度云台的转动速度为30°每秒。
与现有技术相比，本发明的有益效果是：
1、通过采用高精度云台，带动热像仪进行水平方向转动，保证了相邻两帧图像之间的重合度为1/3，因此只需在重合区域进行两帧图像的特征点匹配，极大的减少了特征点匹配算法的运算量；
2、由于FPGA的并行运算特性，特征点匹配算法可以并行处理和流水线处理，因此该***的实时性得到了很大的提高，同时和传统的DSP构架相比，能够很大程度的减小整个***的成本、功耗。
附图说明
图1为本发明的***结构示意图；
图2为两帧图像重合示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，基于FPGA的高精度云台红外全景相机，包括运算平台，运算平台包括FPGA处理器，FPGA处理器的输入端连接有上位机的端口，FPGA处理器的端口双向连接有热像仪的端口，FPGA处理器的通信接口通过UART端口与上位机的端口连接，FPGA处理器通过UART端口与上位机的输出端连接，FPGA处理器的通信接口通过UART端口与与热像仪的UART端口双向连接，FPGA的图像接口通过热像仪的camelink接口连接，FPGA处理器的一端双向连接有方位位置编码器和俯仰位置编码器的一端，FPGA处理器通过BISS-C接口分别连接有方位位置编码器和俯仰位置编码器，方位位置编码器和俯仰位置编码器的一端均双向连接有高精度云台，高精度云台安装于热像仪的底部，且高精度云台沿水平方向转动，热像仪的视场为1.5°×1.2°，帧频30fps，高精度云台的转动速度为30°每秒，FPGA处理器的一端双向连接有以太网端口，以太网端口双向连接有显示控制设备的端口。
实施中：运算平台正常工作时，FPGA处理器控制高精度云台的转动，同时FPGA处理器向热像仪发送曝光信号（RS422电平信号），与此同时FPGA处理器立刻进行高精度云台方位和俯仰角度信息的采集，相当于当前帧图像视场的中心位置，同时等待热像仪图像的下传，接收到热像仪图像后FPGA处理器进行拼接处理。
实施例1
做拼接处理算法时需要根据高精度云台转动的方向确定在拼接时需要拼接的方向，当前帧图像拼接处理完成后将固定尺寸的图像通过网络上传到上位机，热像仪的视场为1.5°×1.2°，帧频30fps，高精度云台转动速度30°每秒，根据高精度云台的转动速度和帧频可以计算出，高精度云台每帧转动角度为1°，为热像仪水平视场的2/3，因此热像仪相邻两帧之间图像的重合度仅为1/3图像，如图2中阴影部分为两帧图像之间的重合区域，由于两帧图像之间的重合度小，两幅图的匹配可以简化为重合区域的匹配，相当于将两张分辨率为640*512图像的匹配简化为两张分辨率为213*512图像的匹配，计算量缩减了2/3，匹配算法采用特征点匹配，SIFT或者ORB特征点，综上由于运算处理芯片采用FPGA，利用FPGA内嵌的浮点DSP运算单元和流水线技术，实现图像之间的实时坐标变换和重叠区域的图像拼接，与传统DSP构架***相比，运算速度快，功耗也较低。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.基于FPGA的高精度云台红外全景相机，包括运算平台，其特征在于：所述运算平台包括FPGA处理器，所述FPGA处理器的输入端连接有上位机的端口，所述FPGA处理器的端口双向连接有热像仪的端口，所述FPGA处理器的一端双向连接有方位位置编码器和俯仰位置编码器的一端，所述方位位置编码器和俯仰位置编码器的一端均双向连接有高精度云台，所述FPGA处理器的一端双向连接有以太网端口，所述以太网端口双向连接有显示控制设备的端口。
2.根据权利要求1所述的基于FPGA的高精度云台红外全景相机，其特征在于：所述FPGA处理器利用FPGA内嵌的浮点DSP运算单元和流水线技术。
3.根据权利要求1所述的基于FPGA的高精度云台红外全景相机，其特征在于：所述FPGA处理器的通信接口通过UART端口与上位机的端口连接，所述FPGA处理器通过UART端口与上位机的输出端连接，所述FPGA处理器的通信接口通过UART端口与与热像仪的UART端口双向连接，所述FPGA的图像接口通过热像仪的camelink接口连接。
4.根据权利要求1所述的基于FPGA的高精度云台红外全景相机，其特征在于：所述FPGA处理器通过BISS-C接口分别连接有方位位置编码器和俯仰位置编码器。
5.根据权利要求1所述的基于FPGA的高精度云台红外全景相机，其特征在于：所述高精度云台安装于热像仪的底部，且所述高精度云台沿水平方向转动。
6.根据权利要求1所述的基于FPGA的高精度云台红外全景相机，其特征在于：所述热像仪的视场为1.5°×1.2°，帧频30fps，所述高精度云台的转动速度为30°每秒。
CN201811555408.XA 2018-12-19 2018-12-19 基于fpga的高精度云台红外全景相机 Pending CN109640042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811555408.XA CN109640042A (zh) 2018-12-19 2018-12-19 基于fpga的高精度云台红外全景相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811555408.XA CN109640042A (zh) 2018-12-19 2018-12-19 基于fpga的高精度云台红外全景相机

Publications (1)

Publication Number Publication Date
CN109640042A true CN109640042A (zh) 2019-04-16

Family

ID=66075413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811555408.XA Pending CN109640042A (zh) 2018-12-19 2018-12-19 基于fpga的高精度云台红外全景相机

Country Status (1)

Country Link
CN (1) CN109640042A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064933A (zh) * 2019-12-27 2020-04-24 成都英飞睿技术有限公司 一种红外全景监控***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924921A (zh) * 2009-12-29 2010-12-22 天津市亚安科技电子有限公司 全景监控云台摄像机和环形及半球形全景监控的控制方法
CN202037601U (zh) * 2011-02-24 2011-11-16 北京博创兴盛科技有限公司 全向侦察机器人***
CN105761233A (zh) * 2014-12-15 2016-07-13 南京理工大学 一种基于fpga的实时全景图像拼接方法
CN106341602A (zh) * 2016-09-27 2017-01-18 北京小米移动软件有限公司 全景图像的生成方法及装置
CN206260046U (zh) * 2016-12-13 2017-06-16 广州紫川电子科技有限公司 一种基于红外热像仪的热源及闯入跟踪装置
CN206541199U (zh) * 2017-03-10 2017-10-03 武汉东信同邦信息技术有限公司 一种云台摄像机的云台控制***
CN107424182A (zh) * 2017-05-03 2017-12-01 北京海顿中科技术有限公司 一种热成像现场监控装置及方法
CN108574825A (zh) * 2017-03-10 2018-09-25 华为技术有限公司 一种云台摄像机的调整方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924921A (zh) * 2009-12-29 2010-12-22 天津市亚安科技电子有限公司 全景监控云台摄像机和环形及半球形全景监控的控制方法
CN202037601U (zh) * 2011-02-24 2011-11-16 北京博创兴盛科技有限公司 全向侦察机器人***
CN105761233A (zh) * 2014-12-15 2016-07-13 南京理工大学 一种基于fpga的实时全景图像拼接方法
CN106341602A (zh) * 2016-09-27 2017-01-18 北京小米移动软件有限公司 全景图像的生成方法及装置
CN206260046U (zh) * 2016-12-13 2017-06-16 广州紫川电子科技有限公司 一种基于红外热像仪的热源及闯入跟踪装置
CN206541199U (zh) * 2017-03-10 2017-10-03 武汉东信同邦信息技术有限公司 一种云台摄像机的云台控制***
CN108574825A (zh) * 2017-03-10 2018-09-25 华为技术有限公司 一种云台摄像机的调整方法和装置
CN107424182A (zh) * 2017-05-03 2017-12-01 北京海顿中科技术有限公司 一种热成像现场监控装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊乔: "基于 YHFT-DSP 和变焦云台摄像机的全景图像拼接***", 《第二十届计算机工程与工艺年会暨第六届微处理器技术论坛论文集》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064933A (zh) * 2019-12-27 2020-04-24 成都英飞睿技术有限公司 一种红外全景监控***
WO2021129075A1 (en) * 2019-12-27 2021-07-01 Infiray Technology Co., Ltd Infrared panoramic monitoring system

Similar Documents

Publication Publication Date Title
CN111174799B (zh) 地图构建方法及装置、计算机可读介质、终端设备
CN104835117B (zh) 基于重叠方式的球面全景图生成方法
WO2021036353A1 (zh) 基于拍照的3d建模***及方法、自动3d建模装置及方法
WO2022120567A1 (zh) 一种基于视觉引导的自动化标定***
US20210056751A1 (en) Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method
CN106023072B (zh) 一种用于曲面大屏幕的图像拼接显示方法
CN109242913A (zh) 采集器相对参数的标定方法、装置、设备和介质
US20140015924A1 (en) Rapid 3D Modeling
WO2022156755A1 (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
US20110188762A1 (en) Real-Time Composite Image Comparator
CN105635551A (zh) 一种球型摄像机生成全景图像的方法及球型摄像机
CN104318604A (zh) 一种3d图像拼接方法及装置
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
CN112288825A (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
CN110517209A (zh) 数据处理方法、装置、***以及计算机可读存储介质
CN102999891A (zh) 一种基于装订参数的全景图像拼接方法
CN109255819A (zh) 基于平面镜的Kinect标定方法及装置
CN109640042A (zh) 基于fpga的高精度云台红外全景相机
Grzeszczuk et al. Creating compact architectural models by geo-registering image collections
CN104021535B (zh) 步进分幅ccd图像拼接的方法
CN103442183B (zh) 基于红外热成像原理的自动视觉导航方法
CN109272445A (zh) 基于球面模型的全景视频拼接方法
CN103529956A (zh) 一种指向设备及旋转时处理方法
CN110675445B (zh) 一种视觉定位方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190416

WD01 Invention patent application deemed withdrawn after publication