CN112629519A - 一种目标定位手持观测仪及其导航方法 - Google Patents
一种目标定位手持观测仪及其导航方法 Download PDFInfo
- Publication number
- CN112629519A CN112629519A CN202011249048.8A CN202011249048A CN112629519A CN 112629519 A CN112629519 A CN 112629519A CN 202011249048 A CN202011249048 A CN 202011249048A CN 112629519 A CN112629519 A CN 112629519A
- Authority
- CN
- China
- Prior art keywords
- target
- module
- information
- image
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims abstract description 30
- 230000002093 peripheral effect Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 17
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 101150045440 ISP1 gene Proteins 0.000 description 2
- 101100353471 Mus musculus Prss28 gene Proteins 0.000 description 2
- 101100509103 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ish1 gene Proteins 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Navigation (AREA)
Abstract
本发明涉及一种目标定位导航手持观测仪,包括成像模块、激光模块、电子罗盘模块、北斗模块,图像处理模块、OLED显示模块、控制板、音频模块、存储模块、网络模块及外设等;核心模块采用了FPGA+ARM架构,以ARM主控制器,以FPGA为协同处理器,实现了高速数据采集、多外设的分时启动控制,增加了目标引导及导航等功能,丰富了功能性和***性;公开的导航方法包括多种目标引导、目标搜索、目标准确定位、目标导航等,实现了充分利用外设功能、优化设备控制、达到降低功耗目的,能同时得到全方位的目标信息,提供离线导航参考,解决不同环境下无法使用的难题,方便了观测者从目标数据库中查找目标关联性,给观测着提供更多实用态势信息,便于快速准确决策。
Description
技术领域
本发明属于红外热成像技术领域,涉及目标定位导航及控制方法,特别涉及一种目标定位导航手持观测仪,以及其导航方法。
背景技术
随着消费电子水平的发展,各种移动终端的软件功能越来多,实用越来越强。***持设备的功能需求也变成多元化,集成化发展。前期装备集成了多模块如红外、CCD/微光、GPS、罗盘等模块,目标定位技术也得到发展,但功能集成度不高,实用性得到需进一步加强。如何更快捷观测及引导搜索目标、获取目标信息、全方位的得到目标信息需要研究课题。
如何快速搜索目标、定位目标是手持设备的需解决的问题。手持设备由于功能增加,对功耗敏感程度增加,让设备可工作时间长,低功耗设计及软件上电源智能控制也是一个核心问题。如何给手持设备提供目标全方位的信息,是所有装备设计一直关注点,如目标图像清晰图像、目标的坐标、目标路径规划及导航、当前目标与前期目标的关联性等。因而研究一种目标定位导航手持观测仪是很有意义的。
发明内容
本发明的目的之一是根据现有技术的不足,提供一种目标定位导航手持观测仪,通过增加目标探测导引功能,集成多外设,将外设的功能优势发挥最大化,提供更好的图像和数据分析能力,便于对目标态势决策。
实行本发明的目的所采用的技术方案为:一种目标定位导航手持观测仪,由基于FPGA和ARM的微处理器模块以及分别与微处理器模块连接的成像模块、激光模块、显示模块、北斗模块、音频模块、电子罗盘模块、网络模块和存储模块等组成;所述的成像模块获取目标场景图像的光电信号,通过A/D转换送给微处理器模块,包括红外组件和CCD/微光成像组件,红外组件通过红外探测器将光电信号转换为模拟信号,通过A/D转化得到14bit数字信号,CCD/微光成像组件通过光电耦合器件将光信号转为8bit数字信号,成像组件数字信号同通过I/O口传递给微处理器模块;所述的激光模块的由处理单元、发射器和接收器组成,处理单元负责接收微处理器模块的控制指令,控制发射器,通过接收器接收漫反射回来的激光解算目标距离信息,将结果通过串口发送至微处理器模块;所述的显示模块主要负责接收微处理器模块的数字视频信号,通过I2C配置OLED屏驱动,将数字视频同时显示两个1920*1080的OLED屏上;所述的北斗模块集成了双模SOC基带芯片和双模射频和核心CPU,并加上相关***电路而组成的一个集成电路,将经纬度信息传递给微处理器模块;所述的微处理器模块也可称协同处理模块,采用HI3559A+FPGA为架构的模块,协同处理外设数据,进行图像处理、数据解算及控制外设,显示目标定位导航视图等功能,主要包含FPGA、ARM、电源模块、转换芯片、LPDDR4、EMMC、NORFLASH、SDIO、串口等通用接口;所述的微处理器模块主要用于处理红外、CCD/微光图像,控制激光、罗盘、北斗和网络模块的控制指令,识别处理音频模块的语音,对目标信息的获取融合处理,以及目标定位导航、目标态势的分析及记录;所述的音频模块由音频编码器、麦克风和扬声器组成,麦克风通过音频编解码器将声音信号转数字信号,音频编解码器接收微处理器模块发送的音频数字信号,并将其转为模拟信号,扬声器负责通过喇叭播放模拟信号,麦克风通过语音模块接收微处理指令,采集音频、识别音频、识别结果并传递给微处理器模块,播放音频;所述的电子罗盘模块通过倾角传感器在X、Y、Z方向的磁力矢量获取12位磁场强度,得到磁偏角,通过串口传递到微处理器模块;所述的网络模块通过4G/5G信号接送或发送目标的经纬度及控制指令;所述的存储模块地图数据包、用于对目标的信息存储及态势结果存储。
进一步,所述的FPGA上依次连接激光模块和LPDDR4,还通过A/D模块分别连接红外探测器、激光CMOS和CCD模块,通过OLED驱动芯片连接显示器,通过LVDS转MIPI芯片连接红外MIPI接口和CCD MIPI接口,FPGA和ARM之间依次连接电源模块、emmc、GPMC、NOR FLASH和微光LVDS接口,所述的ARM上通过SDIO3.0连接Micro SD卡,通过usb3.0接口连接外设终端,通过I2C接口连接罗盘,通过ISP连接红外MIPI接口、CCD MIPI接口和微光LVDS接口,通过SPI连接北斗模块,北斗模块通过串口连接ARM,通过音频编码器连接扬声器和双MIC, ARM上还分别连接有LPDDR4、5G模块、SPI、串口和音频解码器。
本发明的目的之二是提供一种使用本发明目标定位导航手持观测仪对目标定位导航的方法。
实行本发明的目的所采用的技术方案为:一种目标定位导航手持观测仪的导航方法,包括如下步骤
一),目标搜索:目标搜索的首要任务是寻找目标,获取目标图像场景信息、根据目标特质搜索目标;
二),目标信息获取及定位:初步确定目标后,打开激光模块的发射器对目标进行测距,测距同时获取当前的罗盘数据信息、北斗数据信息、同时在ARM端采集当前的红外、CCD\微光以及融合数据,通过解算得到目标的位置信息,目标的信息主要包含目标图像特征、观测点的经纬度坐标、设备的磁偏角信息、目标与当前距离信息;
三),目标定位导航及态势分析:微处理器模块根据目标信息将经纬度和高程坐标传递给地图,将目标经纬度坐标编号,同时在地图上标注显示,结合预存的路径,进行路径规划,是否可抵达,显示目标直线距离和计算步行导航路线距离,目标位置通过网络模块发送到外设终端,全方位目标信息用于决策。
进一步,所述的步骤一)是由观测员手握观测仪使用双眼观测目标场景图像信息中的红外、CCD/微光或融合图像,判断是否为待观测目标;通过调焦处理,观测不同距离的场景,通过电子放大等操作清晰观测目标,当目标在图像中时,将十字丝移动在目标的中心,触发按键锁定目标,同时在视频层的叠加15×15目标框。
其中,获取目标场景图像信息中的红外、CCD/微光图像过程为:
11),红外组件的红外探测器采到数字信号传递给微处理器模块的FPGA,FPGA高速采样,依据行场同步信号,得到每个像元的14位数据值,进行高动态范围压缩、数字滤波、3D去噪、图像细节增强、坏元检测、电子放大等操作得到8位的单帧图像,将图像数据通过MIPI传递给ARM,ARM采用独立的ISP0核接受;
12),CCD/微光成像组件的光电耦合器件转换后的数据传递给FPGA,经过采样、Gamma校正、色彩增强、3D去噪、电子放大,将彩色RGB分量转换成YUV分量,对Y分量进行动态对比度增强,将图像通过LVDS接口传递给ARM的ISP1核;
13),ARM将红外和CCD/微光的图像进行融合,进行特定目标如(人、车)搜索等,观测员通过界面选择图像显示通道,将处理后的结果传递给FPGA用于显示。
进一步,所述的步骤一)是采用特定目标搜索,即自动搜索目标,根据算法预置特征进行匹配,根据目标在红外通道及CCD/微光的特征进行匹配,例如人的长宽比,人的脑袋圆形等特征判读,自动在图像中搜索,将疑似度最大的目标框出。
进一步,所述的步骤一)是外部目标引导,即通过语音或网络模块接收目标的大致方位,通过当前的经纬度信息,在OLED显示手持移动方向,观测到目标后再锁定目标,已知初步连接目标的方位,触发语音按键,对观测仪麦克风播报语音目标的经纬度及高程,语音模块处理后将数字信号发送到为微处理中的HI3559A芯片,由芯片识别得到经纬度值,计算如当前位置关系,通过图像中上或者下,左或者右提示移动观测仪的方向,当目标在图像中心时,显示目标框。
其中,目标搜索中的语音目标引导方法过程包含语音控制、语音的采样、语音的识别、语音数据传输及显示,以及语音控制观测仪。
进一步,所述的目标态势分析其包括全方位的目标信息、目标信息的显示、目标信息存储、目标回看及传输,全方位的目标信息包括目标地理位置信息、当前位置信息、导航路线、当前时间信息、目标图像信息,目标直线距离信息等。目标信息的数据图像叠加方式及显示,目标数据建立及存储。其中包括目标离线导航视图显示及多目标的回看功能,以及通过网络模块将目标信息发送中央控制单元。
本发明的有益效果在于:核心模块采用了FPGA+ARM架构,以ARM主控制器,以FPGA为协同处理器,成像模块、激光模块的数据通过FPGA模块预处理,将红外数据通过MIPI传递给ARM,激光数据通过共享内存的方式传递给ARM;ARM接受到图像数据,传递HI3559A内部的ISP核处理,根据按键、语音控制或网络模块的控制指令,协同电源模块,控制外设模块如将电子罗盘(DMC)、北斗模块(BD)、激光模块(LRF)、网络模块的启动获取外部数据,通过HI3559A将数据融合处理,将当前位置信息、目标位置、目标距离、目标定位解算结果、离线地图导航视图分别到不同的图层,如红外、CCD/微光以融合后数据分配到视频层,将目标位置、目标距离、离线地图导航视图等叠加到图形层,将处理后数据传递给FPGA,FPGA驱动OLED,将数据显示在OLED上,并将目标数据信息、导航视图等存在SD卡,将部分信息通过网络传递给中央控制器。
本发明导航方法解决了已知目标大致方位、未知目标方位、存在网络、无网络等条件下快速定位的方法,同时利用了离线及在线地图资源提供路径规划及导航功能,同时提供了目标的态势分析,便于查找目标之间的关联性。该功能多样化、集成化、快速化便于观测者作决策。
附图说明
图1是本发明的结构示意图;
图2是本发明目标定位导航手持观测仪中微处理的结构示意图;
图3是目标定位导航手持观测仪的观测图像处理的工作流程图;
图4是目标定位导航手持观测仪中语音引导搜索目标的方法流程图;
图5是目标定位导航手持观测仪中快速目标定位的方法流程图。
各附图标记为:100—目标场景,200—成像模块,200.1—红外组件,200.2—CCD/微光成像组件,300—激光模块,400—显示模块,500—北斗模块,600—微处理器模块,700—音频模块,800—电子罗盘模块,900—网络模块,1000—存储模块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示,本发明公开的一种目标定位导航手持观测仪,由成像模块200、激光模块300、显示模块400、北斗模块500、微处理器模块600、音频模块700、电子罗盘模块800(DMC)、网络模块900、存储模块1000等组成,可实现语音控制、目标引导、目标检测、定位导航、网络数据传输、目标信息存储等功能。
其中成像模块200主要用于获取目标场景100的图像的光电信号,通过A/D转换送给微处理器模块600,由红外组件200.1、CCD组件或微光成像组件200.2组成,红外组件200.1通过红外探测器将光电信号转换为模拟信号,通过A/D转化得到14bit数字信号,CCD/微光成像组件200.2通过光电耦合器件将光信号转为8bit数字信号,成像组件数字信号同通过I/O口传递给微处理器模块600。
激光模块300控制信号及解算目标距离,由处理单元、发射器和接收器组成,处理单元负责接收微处理器模块600的控制指令,控制发射器,通过接收器接收漫反射回来的激光解算目标距离信息,将结果通过串口发送至微处理器模块600。
显示模块400主要负责接收微处理器模块600的数字视频信号,显示成像组件的图像数据、导航图像、目标状态信息等,通过I2C配置OLED屏驱动,将数字视频同时显示两个1920*1080的OLED屏上。
北斗模块500算当前的坐标信息,通过串口发送给微处理器模块600`;北斗模块500集成了双模SOC基带芯片和双模射频和核心CPU,并加上相关***电路而组成的一个集成电路,将经纬度信息传递给微处理器模块600。
如图2所示,微处理器模块600也可称协同处理模块,采用HI3559A+FPGA为架构的模块,协同处理外设数据,进行图像处理、数据解算及控制外设,显示目标定位导航视图等功能,主要包含FPGA、ARM、电源模块、转换芯片、LPDDR4、EMMC、NORFLASH、SDIO、串口等通用接口;微处理器模块600主要用于红外、CCD/微光的图像处理、激光、罗盘、北斗、网络模块的控制、语音的识别处理、目标信息获取融合处理、目标定位导航、目标态势分析及记录。
微处理器模块600的FPGA+ARM架构采用可编程逻辑芯片FPGA实现高速通信,解决双路视频高速数据交换的难点,以海思HI3559A为核心控制主芯片,配合LPDDR4、EMMC及NORFLASH作为内存缓存及固态数据缓存,以通用存储控制器GPMC控制与FPGA高速数据通信,利用MIPI和LVDS接口解决了图像数据传输。如图2所示,微处理器模块600包HI3559A、FPGA、LVDS转MIPI芯片、MIPI接口、LVDS接口、LPDDR4、SP1接口、串口、音频解码器、USB3.0接口、SDIO3.0接口、电源模块、EMMC、GPMC、NORFlash、OLED驱动芯片组成。FPGA上依次连接激光模块300和LPDDR4,还通过A/D模块分别连接红外探测器、激光CMOS和CCD模块,通过OLED驱动芯片连接显示器上的OLED驱动芯片,通过LVDS转MIPI芯片连接红外MIPI接口和CCDMIPI接口,FPGA和ARM之间依次连接电源模块、emmc、GPMC、NOR FLASH和微光LVDS接口,所述的ARM上通过SDIO3.0连接Micro SD卡,通过usb3.0接口连接外设终端,通过I2C接口连接罗盘,通过ISP连接红外MIPI接口、CCD MIPI接口和微光LVDS接口,ARM上还分别连接有LPDDR4、5G模块、SPI、串口和音频解码器。
HI3559A采用基于Linux4.9.37内核,采用了双核A73和双核A53大小核架构多核处理,为主控制芯片、协同处理红外及微光图像处理算法、解算目标位置、目标定位导航、目标态势分析、驱动外设、控制外设操作等,采用多任务集中管理,对数据、外设调配,完成图像处理、显示、目标检测、定位导航、目标态势分析的功能同时达到功耗最低、性能最优。同时采用低功耗的LPDDR4的存储模块,便于手持设备的小型化、低功耗设计。FPGA为协处理器,FPGA实现高速通信,同时采集成像模块中红外、微光图像的采集、预处理、算法处理,驱动LVDS转MIPI和OLED芯片,实现与HI3559A的数据转换。LVDS转MIPI芯片用数据接口转换。MIPI接口用于FPGA将已处理的图像数据传递给HI3559的ISP0。subLVDS接口用于将采集及前期处理微光图像数据传递给HI3559A中的视频处理核ISP1。LPDDR4及EMMC用于内部算法处理图像数据缓存以及离线地图缓存位置。NORFLASH用于启动程序缓存位置。SPI接口用于北斗模块500的驱动控制。串口用于接受观测仪当前的经纬度高程数据和当前的时间的数据。音频编解码芯片用于将麦克风MIC的声音信号转成ARM可接受的数据信号以及将语音播放的数字信号转为扬声器可识别的模拟信号。USB3.0接口用于电脑等外设终端拷贝目标的信息如图像信息及地图截图等信息。SDIO3.0用于ARM连接存储模块MicroSD。电源模块用于将锂电池的电压信号转成5V、3.3V、1.8V的电平,给微处理中的FPGA、ARM以及外设如激光、成像模块等供电。通用存储控制器GPMC用于FPGA与ARM的存储器控制即数据读取的选择,则双方可交换数据。OLED驱动芯片用于驱动OLED。
电子地图数据包采用海思平台为基础,通过界面选择是否进入导航模式,则HI3559A的主控制程序在后台启动地图程序,将手持观测仪当前及目标的经纬度和高程坐标通过管道传递给地图,将目标及当前坐标标注在地图上,同时给出路径规划,将目标位置、目标距离、离线地图导航视图等叠加到图形层上,则通过输出视频口传递给FPGA。
上面给出目标定位导航的方法,则可给出当前的目标态势信息,便于决策。可将上面所述的信息叠加图像上存储目标数据、同时可支持回看功能。也可以选择几个目标进行观测。如将最新观测3个目标用不同的形状的标识标出、当前坐标标出,同时在右下角给出距离尺,目标之间也可以连线给出相关距离。
音频模块700主要用于接受语音控制指令及播报目标方位及导航数据等,由音频编码器、麦克风和扬声器组成,麦克风通过音频编解码器将声音信号转数字信号,音频编解码器接收微处理器模块600发送的音频数字信号,并将其转为模拟信号,扬声器负责通过喇叭播放模拟信号,麦克风通过语音模块接收微处理指令,采集音频、识别音频、识别结果并传递给微处理器模块600,播放音频。
电子罗盘模块800主要获取当前的磁偏角,提供给微处理器用于目标位置解算,电子罗盘模块800通过倾角传感器在X、Y、Z方向的磁力矢量获取12位磁场强度,得到磁偏角,通过串口传递到微处理器模块600。
网络模块900是通过4G/5G信号,用接送或发送目标的经纬度及控制指令。
储模块1000用对目标的信息存储及态势结果存储。
本发明结合多传感器,充分利用FPGA和ARM的器件的优势,完成了目标的检测、当前状态信息的获取,利用多种方式实现了目标定位、离线图像数据导航,该功能的实现,有利于单兵在不同环境下选择各种方式观测目标,实现目标定位导航功能,该技术的实现有利于单兵手持设备性能提升,可应用观测、侦察、监控等领域,具有较强的实用性、广阔的市场前景。
本发明的目标定位导航手持观测仪的导航方法包括如下步骤。
1),目标搜索:目标搜索的首要任务是寻找目标,获取目标图像场景信息、根据目标特质搜索目标。
结合附图3对目标图像显示处理过程进行详细的阐述,其中目标场景图像通过光电转换器件如(红外探测器及光电耦合器件)转换将光信号转成模拟信号,通过A/D转化得到数字信号,其中红外得到14位数字信号,CCD/微光得到8位的模拟信号,进行相应的图像处理后,将红外与另通道的CCD或微光数据进行融合,可通过按键切换红外图像、CCD\微光图像以及融合后的图像用于观测:其中红外14位数字信号依次经过均值滤波、图像细节增强、坏元检测和高动态范围压缩,而CCD微光8位数据信号依次经过Gamma校正、空间转换、3D降噪和色彩增强,然后两者进行图像融合,最后在OLED上显示观测图像。
接下来详细描述下红外数据处理过程,640*512的14位的红外图像数字信号通过5×5均值滤波,将图像分离成高频和低频分量,对高频部分采用非线性增强,对低频部分采用非锐化掩膜处理,将低频和高频部分叠加得到增强图像。坏元检测的方法对着一个均匀的场景,判断当前点的灰度值与均值的差距,在差值大于100灰度点则用周围像素替代,高动态的范围压缩即将红外的14图像转换成8位图像,采用非线性映射,将14位图灰度在25%~75%的值映射到8位图像中的10%和90%的区间,提高中间区域的对比图,有利观测目标的细节特征。
图像上锁定了待定位目标,微处理器控制电源模块,给激光器上电,对激光发射器充电,其中目标框的大小为15*15像素,通过上下移动调整手持热像仪姿态,图像中心坐标一般用十字丝表示,当时十字丝坐标移动在目标的中心9*9坐标内时,微处理器的HI3559A控制外设激光器,通知外设激光器发射器发送激光,根据激光器的接受角,激光器的接受器会收到回执光信号,则可得到目标的真实直线距离。微处理器HI3559控制外设激光器发射激光束时,并行控制成像模块、电子罗盘模块、北斗模块。成像模块的红外、CCD/微光将当前图像数据传递给为微处理器,微处理中HI3559A模块将图像数据缓存在DDL中,罗盘获取当前的时刻的磁偏角,北斗获取此刻的经纬度及高程信息。通过地理位置及角度换算公式解算目标的位置坐标。则此刻得到目标信息有目标图像特征、观测点的经纬度坐标、设备的磁偏角信息、目标与当前距离信息。
进一步详细描述CCD/微光的数据处理过程,1920*1080的图像数据首先要经过gamma校正,将gamma校正系数设为0.6,提高人眼的感知的亮度,进行色彩增强,色彩增强将当前饱和度增加15处理后与未处理的图进行二次多项式曲线拟合,得到二次曲线f(x)=p1*x^2+p2*x+p3,得到数据为色彩增强后的图,3D降噪即通过对比相邻的几帧图像,将不重叠的信息自动滤出,得到图像即处理后图像,通过以上处理图像对比度高,色彩鲜艳适合人眼观察,目标特征明显。
上面详细阐述了手持观测仪的目标场景处理过程,目标搜索的主要任务将待检测目标框出,在需要根据目标特征将目标框出,本文给出了三种目标搜索的方法,详细如下:
(a)方法1双手握目标定位导航热像仪,双眼通过目标观测目标场景,移动手持热像仪,通过调焦处理,观测不同距离的场景,通过电子放大等操作清晰观测目标,当目标在图像中时,将十字丝移动在目标的中心,触发按键锁定目标,同时在视频层的叠加15×15目标框。
(b)方法2采用目标检测算法进行引导,目标算法处理的详细思路首先跟将红外图像和CCD及微光图像进行分割,与目标库人、车特征进行相似特征检测,如人的长宽比、车的轮胎等特征,将分割进行一个重合度计算,大于65%进行特质提取,并将转为特质向量,结合SVM分类器给出疑似度最大的目标,将目标框出,观测员进行二次确认是否是待定位目标。
(c)方法3采用外部引导的方法,首先介绍一下语音引导的方法,语音引导的方法先决条件是观测员初步知道目标大致方位:首先触发语音键,然后播报目标大致坐标,之后依次音频模块转换数字信号、启动离线数据库语音识别、将音频结果发送控制器、显示在OLED,然后判断是否正确(否则—触发语音键),是则计算当前位置关系,之后依次为手持观测仪移动方向提示、目方位提醒、观测手调节设备、目标清晰成像,最后框出目标,结束搜索。
结合图4详细引导的方法是首先按语音键不松,提示可讲话时,对准麦克风播报目标的大致方位,播报目标大致方位结束后松开语音键,语音模块将采集的数据经采样后,将数据信号发送到微处理器的HI3559A,启动离线语音数据库检测,得到经纬度及高程的坐标信息,将信息显示在图像上,给出提示框是否正确,正确在进行目标位置关系计算,错误再次输入语音。得到目标与当前的坐标关系后,则OLED显示图像给出目标方位移动提醒,观测手调节设备方向,调节手持观测仪的调焦、放大、细节增强等参数,待目标清晰时,由观测手指向目标中心,触发按键框出目标。再介绍一下另一种目标大致方位获取办法,则具备网络条件的地方,可给设备网络模块供电,从中央控制中心获取目标的大致方位。
以上给出不同条件下的目标搜索方法,即可通过已知的大致目标进行引导,也可辅助的目标检测,还可以由观测手自己选择目标。这些方法的实现便于观测手更快确定目标。
1)目标信息获取及定位
首先电源控制外设模块,然后外设启动完毕信号,提示再次对准目标,移动观测仪后对十字丝中心位置判断(否则——移动观测仪),是则同时发射激光信号(然后接收激光信号,通过激光数据解算得到目标距离)、获取北斗数据、获取罗盘数据和得到当前场景图像,其中在得到目标距离、获取北斗数据和获取罗盘数据之后进行位置解算,然后启动地图。
结合图5给出目标定位及位置解算的流程,当上面框出目标时,有微处理器模块中的HI3559A控制电源模块,电源模块给激光模块供电、启动激光模块充电工作,电源模块给北斗模块及罗盘模块供电,当模块准备完毕后给为微处理发送准备完毕指令,提示再次对准目标,移动手持观测仪,其中目标框的大小为15*15像素,通过上下移动调整手持热像仪姿态,图像中心坐标一般用十字丝表示,当时十字丝坐标移动在目标的中心9*9坐标内时,微处理器的HI3559A控制外设激光器,通知外设激光器发射器发送激光,根据激光器的接受角,激光器的接受器会收到回执光信号,通过能量计算关系进行激光数据解算,得到目标距离。
从图5可以看出,在发送激光的同时需要获取当前北斗、罗盘、红外图像、CCD\微光图像的BMP图片。微处理器HI3559控制外设激光器发射激光束时,控制这些外设模块。成像模块的红外、CCD/微光将当前图像数据传递给为微处理器,微处理中HI3559A模块将图像数据缓存在DDL中,罗盘获取当前的时刻的磁偏角,北斗获取此刻的经纬度及高程信息。得到这些地理位置及角度换算公式解算目标的位置坐标。
通过以上流程得到目标信息有目标图像特征、观测点的经纬度坐标、设备的磁偏角信息、目标与当前距离信息。则目标的具体方位知悉,可用地图操作。
(3)目标定位导航及态势分析
本发明目标定位导航热像仪的优势利用了离线地图,利用HI3559A的多核及Linux4.9.37内核,在Linux上开发了后台运行成像,当通过界面切换到导航模式时,采样Linux内部传递数据方式管道PIPE,将数据采用串口协议的模式将当前及目标的经纬度和高程坐标传递给地图,同时将目标号、当前坐标的值发送给地图,将目标及当前坐标标注在地图上,调用地图中路径规划算法给出最优路径规划,将目标位置、目标距离、离线地图导航视图等叠加到图形层上,则通过输出视频口传递给FPGA。同时将当前叠加后的地图的图像数据传递给存储函数,存可视的图像文件。
为了方便观测者决策,图像显示采用多种方式,单一显示某种模式下图像,如红外图像、CCD\微光图像、融合图像、地图图像,同时也可以将任意两种的图像采用画中画即左上方1/4区域显示,便于视觉更直观的观测即决策。目标方位信息采用字符叠加的方式显示在图像中,以上数据、图像、地图都建立数据库,将数据存储在SD卡中。软件支持回看功能,支持单一目标观测,也可以选择几个目标进行观测。如将最新观测3个目标用不同的形状的标识标出、当前坐标标出,同时在右下角给出距离尺,目标之间也可以连线给出相关距离。这些数据处理,便于观测者全方位的得知目标的信息,根据导航数据及其他目标关联关系,作出最优决策。
上述实施例仅例示性说明本发明的原理及其功效,以及部分运用的实施例,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (9)
1.一种目标定位导航手持观测仪,其特征在于:包括基于FPGA和ARM的微处理器模块(600)以及分别与微处理器模块(600)连接的成像模块(200)、激光模块(300)、显示模块(400)、北斗模块(500)、音频模块(700)、电子罗盘模块(800)、网络模块(900)和存储模块(1000);
所述的成像模块(200)获取目标场景(100)图像的光电信号送给微处理器模块(600),包括红外组件(200.1)和CCD/微光成像组件(200.2),红外组件(200.1)通过红外探测器将光电信号依次转换为模拟信号和数字信号,CCD/微光成像组件(200.2)通过光电耦合器件将光信号转为数字信号,传递给微处理器模块(600);
所述的激光模块(300)的包含处理单元、发射器和接收器,处理单元接收微处理器模块(600)的控制指令,控制发射器,通过接收器接收反射回来的激光解算目标距离信息,将结果发送至微处理器模块(600);
所述的显示模块(400)接收微处理器模块(600)的数字视频信号并显示;
所述的北斗模块(500)将经纬度信息传递给微处理器模块(600);
所述的微处理器模块(600)用于处理红外、CCD/微光图像,控制激光、罗盘、北斗和网络模块(900)的控制指令,识别处理音频模块(700)的语音,对目标信息的获取融合处理,以及目标定位导航、目标态势的分析及记录;
所述的音频模块(700)包含音频编码器、麦克风和扬声器,麦克风通过音频编解码器将声音信号转数字信号,音频编解码器接收微处理器模块(600)发送的音频数字信号,并转为模拟信号,扬声器通过喇叭播放模拟信号,麦克风通过语音模块接收指令,采集音频、识别音频、识别结果并传递给微处理器模块(600),播放音频;
所述的电子罗盘模块(800)通过倾角传感器在X、Y、Z方向的磁力矢量获取磁场强度,得到磁偏角,传递到微处理器模块(600);
所述的网络模块(900)通过4G/5G信号接送或发送目标的经纬度及控制指令;
所述的存储模块(1000)地图数据包、用于对目标的信息存储及态势结果存储。
2.根据权利要求1所述的一种目标定位导航手持观测仪,其特征在于,所述的FPGA上依次连接激光模块(300)和LPDDR4,还通过A/D模块分别连接红外探测器、激光CMOS和CCD模块,通过OLED驱动芯片连接显示器,通过LVDS转MIPI芯片连接红外MIPI接口和CCD MIPI接口,FPGA和ARM之间依次连接电源模块、emmc、GPMC、NOR FLASH和微光LVDS接口,所述的ARM上通过SDIO3.0连接Micro SD卡,通过usb3.0接口连接外设终端,通过I2C接口连接罗盘,通过ISP连接红外MIPI接口、CCD MIPI接口和微光LVDS接口,通过SPI连接北斗模块(500),通过音频编码器连接扬声器和MIC, ARM上还分别连接有LPDDR4、5G模块、SPI、串口和音频解码器。
3.一种如权利要求2所述目标定位导航手持观测仪的导航方法,其特征在于,包括如下步骤
一),目标搜索:获取目标图像场景信息、根据目标特质搜索目标;
二),目标信息获取及定位:确定目标后,打开激光模块(300)的发射器对目标进行测距,同时获取当前的罗盘数据信息、北斗数据信息、红外、CCD\微光以及融合数据,得到目标包含目标图像特征、观测点的经纬度坐标、设备的磁偏角信息、目标与当前距离信息在内的位置信息;
三),目标定位导航及态势分析:微处理器模块(600)根据目标信息将目标经纬度坐标在地图上标注显示,结合预存的路径,进行路径规划,显示目标直线距离和计算步行导航路线距离,通过网络模块(900)发送到外设终端。
4.根据权利要求3所述的一种目标定位导航手持观测仪的导航方法,其特征在于,所述的步骤一)是由观测员手握观测仪使用双眼观测目标场景(100)图像信息中的红外、CCD/微光或融合图像,判断是否为待观测目标。
5.根据权利要求4所述的一种目标定位导航手持观测仪的导航方法,其特征在于,获取目标场景(100)图像信息中的红外、CCD/微光图像过程为:
11),红外探测器采到数字信号传递给微处理器模块(600)的FPGA,FPGA高速采样得到每个像元的数据值,传递给ARM;
12),光电耦合器件转换后的数据传递给FPGA,转换后传递给ARM;
13),ARM将红外和CCD/微光的图像进行融合,进行特定目标搜索,观测员通过界面选择将处理后的结果传递给FPGA用于显示。
6.根据权利要求3所述的一种目标定位导航手持观测仪的导航方法,其特征在于,所述的步骤一)是自动搜索目标,根据目标在红外通道及CCD/微光的特征进行匹配,将疑似度最大的目标框出。
7.根据权利要求3所述的一种目标定位导航手持观测仪的导航方法,其特征在于,所述的步骤一)是通过语音或网络模块接收目标的大致方位,通过当前的经纬度信息,显示手持移动方向,观测到目标后再锁定目标,触发语音播报目标的经纬度及高程,通过图像中上或者下,左或者右提示移动观测仪的方向,当目标在图像中心时,显示目标框。
8.根据权利要求7所述的一种目标定位导航手持观测仪的导航方法,其特征在于,所述的语音目标引导包含语音控制、语音的采样、语音的识别、语音数据传输及显示,以及语音控制观测仪。
9.根据权利要求3所述的一种目标定位导航手持观测仪的导航方法,其特征在于,所述的目标态势分析包括全方位的目标信息的显示、目标信息存储、目标回看及传输,所述全方位的目标信息包括目标地理位置信息、当前位置信息、导航路线、当前时间信息、目标图像信息,目标直线距离信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011249048.8A CN112629519B (zh) | 2020-11-10 | 2020-11-10 | 一种目标定位手持观测仪及其导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011249048.8A CN112629519B (zh) | 2020-11-10 | 2020-11-10 | 一种目标定位手持观测仪及其导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112629519A true CN112629519A (zh) | 2021-04-09 |
CN112629519B CN112629519B (zh) | 2024-02-02 |
Family
ID=75303075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011249048.8A Active CN112629519B (zh) | 2020-11-10 | 2020-11-10 | 一种目标定位手持观测仪及其导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112629519B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113759314A (zh) * | 2021-09-01 | 2021-12-07 | 浙江讯飞智能科技有限公司 | 一种声源可视化方法、装置、***和计算机可读存储介质 |
CN114002846A (zh) * | 2021-10-28 | 2022-02-01 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于emccd的微光成像辅助驾驶*** |
CN114495612A (zh) * | 2021-12-15 | 2022-05-13 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种面向红外跟踪警戒设备的在线模拟训练装置 |
CN115018737A (zh) * | 2022-08-04 | 2022-09-06 | 四川迪晟新达类脑智能技术有限公司 | 一种红外热像增强方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749659A (zh) * | 2012-07-20 | 2012-10-24 | 湖北久之洋红外***有限公司 | 一种多功能光电侦察仪及其用于观察确定目标位置的方法 |
CN103926010A (zh) * | 2014-04-18 | 2014-07-16 | 山东神戎电子股份有限公司 | 一种多功能双光谱便携式观测仪 |
CN109618087A (zh) * | 2019-01-28 | 2019-04-12 | 北京晶品特装科技有限责任公司 | 一种具备精确目标定位功能的红外和微光融合夜视仪 |
CN111105454A (zh) * | 2019-11-22 | 2020-05-05 | 北京小米移动软件有限公司 | 一种获取定位信息的方法、装置及介质 |
-
2020
- 2020-11-10 CN CN202011249048.8A patent/CN112629519B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749659A (zh) * | 2012-07-20 | 2012-10-24 | 湖北久之洋红外***有限公司 | 一种多功能光电侦察仪及其用于观察确定目标位置的方法 |
CN103926010A (zh) * | 2014-04-18 | 2014-07-16 | 山东神戎电子股份有限公司 | 一种多功能双光谱便携式观测仪 |
CN109618087A (zh) * | 2019-01-28 | 2019-04-12 | 北京晶品特装科技有限责任公司 | 一种具备精确目标定位功能的红外和微光融合夜视仪 |
CN111105454A (zh) * | 2019-11-22 | 2020-05-05 | 北京小米移动软件有限公司 | 一种获取定位信息的方法、装置及介质 |
Non-Patent Citations (1)
Title |
---|
徐明;赵晓叶;田亚慧;倪屹;: "基于红外扫描监控技术的激光监听检测设备", 电子设计工程, no. 22 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113759314A (zh) * | 2021-09-01 | 2021-12-07 | 浙江讯飞智能科技有限公司 | 一种声源可视化方法、装置、***和计算机可读存储介质 |
CN114002846A (zh) * | 2021-10-28 | 2022-02-01 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于emccd的微光成像辅助驾驶*** |
CN114002846B (zh) * | 2021-10-28 | 2024-01-19 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于emccd的微光成像辅助驾驶*** |
CN114495612A (zh) * | 2021-12-15 | 2022-05-13 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种面向红外跟踪警戒设备的在线模拟训练装置 |
CN114495612B (zh) * | 2021-12-15 | 2023-12-26 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种面向红外跟踪警戒设备的在线模拟训练装置 |
CN115018737A (zh) * | 2022-08-04 | 2022-09-06 | 四川迪晟新达类脑智能技术有限公司 | 一种红外热像增强方法及装置 |
CN115018737B (zh) * | 2022-08-04 | 2023-02-21 | 四川迪晟新达类脑智能技术有限公司 | 一种红外热像增强方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112629519B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112629519A (zh) | 一种目标定位手持观测仪及其导航方法 | |
US9915544B2 (en) | Method and apparatus for providing service using a sensor and image recognition in a portable terminal | |
CN102749659B (zh) | 一种多功能光电侦察仪及其用于观察确定目标位置的方法 | |
WO2020108647A1 (zh) | 车载摄像头和车载雷达联动的目标检测方法、装置及*** | |
CN103248790B (zh) | 服务器、客户终端以及*** | |
JP5357902B2 (ja) | 撮像装置向き検出装置および当該装置を備える移動体 | |
US8928584B2 (en) | Display apparatus, display method, and storage medium | |
US20160180599A1 (en) | Client terminal, server, and medium for providing a view from an indicated position | |
JP2007043225A (ja) | 撮像画像処理装置及び撮像画像処理方法 | |
JP6514125B2 (ja) | 電子機器、電子機器の制御方法、制御プログラム並びに制御装置 | |
CN104255022B (zh) | 为相机添加虚拟变焦能力的服务器、客户终端、***和可读介质 | |
CN103312958B (zh) | 客户机终端、服务器以及程序 | |
CN112198653A (zh) | 一种船舶望远镜 | |
US20120002044A1 (en) | Method and System for Implementing a Three-Dimension Positioning | |
WO2013136601A1 (ja) | 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法 | |
CN111652276B (zh) | 一种全天候便携式多功能仿生定位定姿观瞄***及方法 | |
CN113743286A (zh) | 一种多源信号融合的目标监测***及方法 | |
CN110012215A (zh) | 图像处理装置和图像处理方法 | |
CN112595728A (zh) | 一种道路问题确定方法和相关装置 | |
CN109660731B (zh) | 电子设备和移动平台 | |
CN109587304B (zh) | 电子设备和移动平台 | |
CN109803089B (zh) | 电子设备和移动平台 | |
CN115904188A (zh) | 户型图的编辑方法、装置、电子设备及存储介质 | |
CN115393962A (zh) | 动作识别方法、头戴显示设备和存储介质 | |
CN114442305A (zh) | 一种视觉增强ais船舶望远镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |