CN114295108A - 一种其于外部设备及红外望远镜的测距方法及*** - Google Patents
一种其于外部设备及红外望远镜的测距方法及*** Download PDFInfo
- Publication number
- CN114295108A CN114295108A CN202111554027.1A CN202111554027A CN114295108A CN 114295108 A CN114295108 A CN 114295108A CN 202111554027 A CN202111554027 A CN 202111554027A CN 114295108 A CN114295108 A CN 114295108A
- Authority
- CN
- China
- Prior art keywords
- infrared
- target
- telescope
- image
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title description 3
- 238000001514 detection method Methods 0.000 claims abstract description 134
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 61
- 239000011521 glass Substances 0.000 claims abstract description 28
- 238000003331 infrared imaging Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 210000001525 retina Anatomy 0.000 claims description 15
- 238000013480 data collection Methods 0.000 claims description 8
- 230000008676 import Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种基于外部设备及红外望远镜测距方法及***，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，红外望远镜测距方法包括以下步骤：确定待测目标类别、数据集标定、训练检测模型、模型导入、目标检测、目标测距、图像标识、观测展示。本发明通过采集红外数据集、数据集标定和模型训练获得用于目标检测的检测模型，利用检测模型对红外目标进行类别识别、目标测距、图像标识再进行标识叠加，完成红外图像目标的实时测距及标注，解决了现有技术中，测距操作复杂、测距误差较大的技术问题。
Description
技术领域
本发明涉及一种测距***，尤其涉及一种基于外部设备及红外望远镜测距方法及***。
背景技术
红外摄像机是一种接收景物本身发出或反射的红外光线，到达对景物成像目的的电子设备。红外望远镜是将小型化红外摄像机、电子显示屏幕和电池模块集成在集成后，能将即时的红外画面传递给用户的观测产品。由于红外图像能够分辨不同温度的目标，并不受环境光的影响，因此常用于野外打猎、警用侦察等领域，尤其是夜间应用。当用户需要获得被观测目标的距离值时，可以使用物理测距和图像测距两种方式。物理测距是通过在红外望远镜上集成一个光学测距模组，通过计算发射光束和反射光束之间的时间差，获得目标的距离，物理测距会增加红外望远镜的体积、重量、功耗和成本，所以图像测距更具有优势；图像测距是不借助其他设备，利用红外图像直接获得目标距离的方法，常见的图像测距方法分为手动测量法和网格对比法。手动测量方法是通过在屏幕上人工标注目标的上下边界，并输入目标的类型或物理高度值，***通过计算能够得出目标的距离值；网格对比法是在电子显示屏幕上叠加水平或垂直的刻度，选择目标的类型后，在屏幕上显示该目标在不同距离下所占刻度值的大小，通过目标实际所占刻度值与理论值进行对比，能获得目标距离的估计值。
网格对比法无法精确地获得目标的距离值，距离估计的误差较大；手动测量方法操作复杂，缺乏实时性，特别对于运动目标的测距难度很大。
发明内容
本发明解决的技术问题是：构建一种红外望远镜测距方法及***，克服现有技术的红外望远镜测距操作复杂、测距误差较大的技术问题。
本发明的技术方案是：构建一种红外望远镜测距方法，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，其特征在于，包括以下步骤：
模型导入：针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；所述训练检测模型根据目标外形特征以及目标的红外图像在外部设备建立形成；
目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框；
目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离；
图像标识：获得当前目标距离形成目标距离标识；
观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。
本发明的进一步技术方案是：根据预设待测目标的高度h0，目标人或物在画面中的像素高度为q、已知红外望远镜的镜头焦距f和探测器像元尺寸d，可通过以下公式计算出目标人或物当前和观察者之间的距离L：
本发明的进一步技术方案是：将获取的当前目标的类别形成类别标识，将目标类别标识和距离标识以屏幕菜单的方式叠加在红外图像上。
本发明的技术方案是：提供一种基于外部设备训练的红外望远镜测距方法，
在外部设备中完成训练检测模型的建立，包括如下步骤：
确定待测目标类别：将待测目标根据目标外形特征进行分类；
红外图像数据采集：通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集；
数据集标定：获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框；
训练检测模型：建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；
在红外望远镜中进行测距，包括如下步骤：
模型导入：针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；
目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框；
目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离；
图像标识：获得当前目标距离形成目标距离标识；
观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。
本发明的进一步技术方案是：所述红外图像数据采集中的红外图像分为样本红外图像和背景红外图像。
本发明的进一步技术方案是：数据集标定后，对红外数据集进行增广,通过原始红外数据样本生成新的红外数据样本，红外数据样本增广包括单图处理和多图处理。
本发明的技术方案是：构建一种红外望远镜测距***，包括红外成像镜头、红外探测器、嵌入式处理器模块、电子显示屏，目镜模块，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，所述嵌入式处理器模块包括目标检测模块、目标测距模块、图像标识模块，针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；所述训练检测模型根据目标外形特征以及目标的红外图像在外部设备建立形成，红外望远镜获得红外图像后，进入所述训练检测模型，所述目标检测模块获得红外图像中的目标类别和覆盖目标整体的矩形框，所述目标测距模块根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离，所述图像标识模块获得当前目标距离形成目标距离标识，不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜模块，所述目镜模块将电子显示屏上的图像投射到人眼视网膜上。
本发明的进一步技术方案是：所述目镜模块通过镜片位置调整机构，改变其中一片或多片可见光玻璃镜片的位置，从而改变电子显示屏的虚像位置。
本发明的进一步技术方案是：还包括接口管理单元，所述接口管理单元管理红外探测器信号的接收、按键模块I/O信号的接收和向电子显示屏的数据输出。
本发明的进一步技术方案是：还包括非均匀校正模块，所述非均匀校正模块采用嵌入式处理器模块对所述红外探测器的阵列数字信号进行非均匀校正以校正所述红外探测器感光单元的温度响应率。
本发明的技术方案是：构建一种基于外部设备的红外望远镜测距***，其特征在于，包括外部设备、红外望远镜，所述外部设备包括训练检测模型生成模块，所述训练检测模型生成模块在生成检测模型过程中，将待测目标根据目标外形特征进行分类，通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集，获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框，建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；所述红外望远镜包括：红外成像镜头、红外探测器、嵌入式处理器模块、电子显示屏，目镜模块，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，所述嵌入式处理器模块包括目标检测模块、目标测距模块、图像标识模块，针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型，红外望远镜获得红外图像后，进入所述训练检测模型，所述目标检测模块获得红外图像中的目标类别和覆盖目标整体的矩形框，所述目标测距模块根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离，所述图像标识模块获得当前目标距离形成目标距离标识，不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜模块，所述目镜模块将电子显示屏上的图像投射到人眼视网膜上。
本发明的技术效果是：构建一种基于外部设备训练的红外望远镜测距方法及***，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，在外部设备中完成训练检测模型的建立，包括如下步骤：确定待测目标类别：将待测目标根据目标外形特征进行分类；红外图像数据采集：通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集；数据集标定：获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框；训练检测模型：建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；在红外望远镜中进行测距，包括如下步骤：模型导入：针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框；目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离；图像标识：获得当前目标距离形成目标距离标识；观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。本发明通过采集红外数据集、数据集标定和模型训练获得用于目标检测的检测模型，利用检测模型对红外目标进行类别识别、目标测距、图像标识再进行标识叠加，完成红外图像目标的实时测距及标注，解决了现有技术中，测距操作复杂、测距误差较大的技术问题。
附图说明
图1为本发明的红外望远镜结构示意图。
图2为本发明的红外望远镜及训练检测模型生成模块结构示意图。
图3为本发明的嵌入式处理器模块包含的结构示意图。
具体实施方式
下面结合具体实施例，对本发明技术方案进一步说明。
本发明的技术实施方式是：构建一种红外望远镜测距方法，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，包括以下步骤：
模型导入：针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；所述训练检测模型根据目标外形特征以及目标的红外图像在外部设备建立形成。
具体实施方式是：以图像处理芯片做为嵌入式硬件平台，与该嵌入式平台匹配的检测模型格式为wk格式，生成wk格式文件需要一个标准的深度学习框架，图像处理芯片所支持的框架为Caffe框架(Convolutional Architecture for Fast Feature Embedding卷积神经网络框架)，在具体的实施例中，需要通过模型转换工具例如RuyiStudio应用程序将Yolov3模型转换至Caffe框架，在Caffe框架下生成对应的wk格式文件；将wk文件导入至图像处理芯片的存储器中，在实现目标检测过程中被软件调用。
目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框。
具体实施方式是：红外望远镜对准包括待识别目标的场景，当软件开启目标检测功能后，从嵌入式芯片的存储器中调用wk模型文件，生成检测模型，软件将获得的红外图像载入检测模型中计算，获得红外图像中的目标类别和覆盖目标整体的矩形框。
目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离。
具体实施方式是：目标检测获得的覆盖目标整体的矩形框的像素高度视为目标人或物在画面中的像素高度为q，预设待测目标的高度h0，已知红外望远镜的镜头焦距f和探测器像元尺寸d，可通过以下公式计算出目标人或物当前和观察者之间的距离L：
以检测目标人为例，目标检测获得的覆盖目标人的矩形框像素高度为100像素，预先设置人的高度为1.7m，红外望远镜镜头焦距20mm，探测器像元尺寸17um，根据公式，目标人与观察者之间的距离：
图像标识：将获取的当前目标的类别形成类别标识，获得当前目标距离形成目标距离标识，将目标类别标识和距离标识以屏幕菜单的方式叠加在红外图像上。
具体实施方式是：目标的类别可以但不限于使用英文或中文显示，目标距离可以但不限于使用“米”做为距离单位，目标类别和目标距离可以显示在目标的附近，例如目标的正上方位置，也可以显示在屏幕的四周，例如屏幕的左侧，通过线段将目标和标识关联起来；标识显示区域可以使用透明背景，也可以使用灰度背景或其他色彩的背景。
观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。
本发明的技术实施方式是：提供一种基于外部设备训练的红外望远镜测距方法。
在外部设备中完成训练检测模型的建立，这里所说的外部设备可以是外部的PC电脑、笔记本电脑等处理能力较强的处理***设备。包括如下步骤：
确定待测目标类别：将待测目标根据目标外形特征进行分类。
具体实施过程如下：将待测目标根据目标外形特征进行分类，所述待测目标类别是指具有相同物理特征的物体类别，例如人、猫、椅子等，待测目标类别数量为有限值。
红外图像数据采集：通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集。
具体实施过程如下：所述红外图像数据采集中的红外图像分为样本红外图像和背景红外图像，样本红外图像中应包含一种或多种待测目标类别中的物体，背景红外图像中不出现待测目标类别。红外图像数据采集过程中，对于黑热、白热、伪彩色等色彩模式的选择，应该根据实际检测过程中所使用的色彩模式确定，选择其中一种或多种色彩模式。
数据集标定：获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框。
具体实施方式是：获得红外数据集后，由操作完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框。数据集标定后，对数据集进行增广,通过原始红外数据样本生成新数据样本，样本增广包括单图处理和多图处理；单图处理是通过调整原始红外图像的亮度，对比度，色调，饱和度以及噪声，随机增加尺度变化，裁剪，翻转以及旋转等方式形成新的红外图像，并调整响应的目标信息文本文件，作为新的红外图像样本；多图处理是通过对两张红外图像的像素值进行权重相加，或对多张图像进行裁剪拼接到同一张红外图像上，形成新的红外图像，并调整响应的目标信息文本文件，作为新的红外图像样本。
具体实施例中，其操作可以为人工标定操作，其形成的矩形框尽量为最小矩形框，这里“最小矩形框”非无限接近无法确定的“最小”的含义，而是根据具体操作过程中，可以操作的“最小矩形框”。具体方法如下：所述最小矩形框的上边界位置为待测目标的最上端像素，下边界位置为待测目标的最下端像素，左边界位置为待测目标的最左端像素，右边界位置为待测目标的最右端像素；标定后，每张红外图像对应一个文本文件，文件中保存红外图像中的所有待测目标信息，待测目标信息包括目标的类别和覆盖该目标最小矩形框在红外图像中的位置坐标，位置坐标通常以红外图像的左上角为坐标原点，向右为横坐标正方向，向下为纵坐标正方向，矩形框位置坐标可以使用左上角和右下角两点坐标来确定，也可以通过左上角坐标和矩形框长宽像素值来确定。
训练检测模型：建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数。
具体实施方式是：所述训练检测模型是基于Yolov3特征提取网络，在主干网络Darknet-53后增加了三个深度的卷积层、四个不同尺度的最大池化层以及一个由1个和5个深度卷积层分支组成的残差网络模块。
在红外望远镜中进行测距，包括如下步骤：
模型导入：针对所使用的嵌入式硬件平台，将模型转换成与嵌入式平台匹配的格式后，导入嵌入式***中。
具体实施方式是：针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；所述训练检测模型根据目标外形特征以及目标的红外图像在外部设备建立形成。以图像处理芯片做为嵌入式硬件平台，与该嵌入式平台匹配的检测模型格式为wk格式，生成wk格式文件需要一个标准的深度学习框架，图像处理芯片所支持的框架为Caffe框架(ConvolutionalArchitecture for Fast Feature Embedding卷积神经网络框架)，在具体的实施例中，需要通过模型转换工具例如RuyiStudio应用程序将Yolov3模型转换至Caffe框架，在Caffe框架下生成对应的wk格式文件；将wk文件导入至图像处理芯片的存储器中，在实现目标检测过程中被软件调用。
目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框。
具体实施方式是：红外望远镜对准包括待识别目标的场景，当软件开启目标检测功能后，从嵌入式芯片的存储器中调用wk模型文件，生成检测模型，软件将获得的红外图像载入检测模型中计算，获得红外图像中的目标类别和覆盖目标整体的矩形框。
目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离。
具体实施方式是：目标检测获得的覆盖目标整体的矩形框的像素高度视为目标人或物在画面中的像素高度为q，预设待测目标的高度h0，已知红外望远镜的镜头焦距f和探测器像元尺寸d，可通过以下公式计算出目标人或物当前和观察者之间的距离L：
以检测目标人为例，目标检测获得的覆盖目标人的矩形框像素高度为100像素，预先设置人的高度为1.7m，红外望远镜镜头焦距20mm，探测器像元尺寸17um，根据公式，目标人与观察者之间的距离：
图像标识：将获取的当前目标的类别形成类别标识，获得当前目标距离形成目标距离标识，将目标类别标识和距离标识以屏幕菜单的方式叠加在红外图像上。
具体实施方式是：目标的类别可以但不限于使用英文或中文显示，目标距离可以但不限于使用“米”做为距离单位，目标类别和目标距离可以显示在目标的附近，例如目标的正上方位置，也可以显示在屏幕的四周，例如屏幕的左侧，通过线段将目标和标识关联起来；标识显示区域可以使用透明背景，也可以使用灰度背景或其他色彩的背景。
观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。
如图2、图3所示，本发明的具体实施方式是：构建一种红外望远镜测距***，包括红外成像镜头1、红外探测器2、嵌入式处理器模块3、电子显示屏4，目镜模块5，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头1，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器2，所述嵌入式处理器模块3包括目标检测模块31、目标测距模块32、图像标识模块33，针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型，红外望远镜获得红外图像后，进入所述训练检测模型，所述目标检测模块31获得红外图像中的目标类别和覆盖目标整体的矩形框，所述目标测距模块32根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离，所述图像标识模块33获得当前目标距离形成目标距离标识，不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜模块5，所述目镜模块5将电子显示屏上的图像投射到人眼视网膜上。
本发明的具体实施过程是：以图像处理芯片做为嵌入式硬件平台，与该嵌入式平台匹配的检测模型格式为wk格式，生成wk格式文件需要一个标准的深度学习框架，图像处理芯片所支持的框架为Caffe框架(Convolutional Architecture for Fast FeatureEmbedding卷积神经网络框架)，在具体的实施例中，需要通过模型转换工具例如RuyiStudio应用程序将Yolov3模型转换至Caffe框架，在Caffe框架下生成对应的wk格式文件；将wk文件导入至图像处理芯片的存储器中，在实现目标检测过程中被软件调用。红外望远镜对准包括待识别目标的场景，当软件开启目标检测功能后，从嵌入式芯片的存储器中调用wk模型文件，生成检测模型，软件将获得的红外图像载入检测模型中计算，所述目标检测模块31获得红外图像中的目标类别和覆盖目标整体的矩形框。目标检测获得的覆盖目标整体的矩形框的像素高度视为目标人或物在画面中的像素高度为q，预设待测目标的高度h0，已知红外望远镜的镜头焦距f和探测器像元尺寸d，可通过以下公式计算出目标人或物当前和观察者之间的距离L：
以检测目标人为例，目标检测获得的覆盖目标人的矩形框像素高度为100像素，预先设置人的高度为1.7m，红外望远镜镜头焦距20mm，探测器像元尺寸17um，根据公式，目标人与观察者之间的距离：
所述目标测距模块32根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离。
目标的类别可以但不限于使用英文或中文显示，目标距离可以但不限于使用“米”做为距离单位，目标类别和目标距离可以显示在目标的附近，例如目标的正上方位置，也可以显示在屏幕的四周，例如屏幕的左侧，通过线段将目标和标识关联起来；标识显示区域可以使用透明背景，也可以使用灰度背景或其他色彩的背景。所述图像标识模块33获得当前目标距离形成目标距离标识，不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜模块5，所述目镜模块5将电子显示屏上的图像投射到人眼视网膜上。
所述训练检测模型生成模块6在生成检测模型过程中，将待测目标根据目标外形特征进行分类，通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集，获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框，建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；
本发明的优选实施方式是：所述目镜模块5通过镜片位置调整机构，改变其中一片或多片可见光玻璃镜片的位置，从而改变电子显示屏的虚像位置。所述目镜模块可以使用反射镜。
本发明的优选实施方式是：还包括接口管理单元，所述接口管理单元管理红外探测器信号的接收、按键模块I/O信号的接收和向电子显示屏的数据输出。还包括非均匀校正模块，所述非均匀校正模块采用嵌入式处理器模块对所述红外探测器的阵列数字信号进行非均匀校正以校正所述红外探测器感光单元的温度响应率。
本发明的技术方案是：构建一种基于外部设备的红外望远镜测距***，其特征在于，包括外部设备、红外望远镜，所述外部设备包括训练检测模型生成模块6，所述训练检测模型生成模块6在生成检测模型过程中，将待测目标根据目标外形特征进行分类，通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集，获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框，建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；所述红外望远镜包括：红外成像镜头1、红外探测器2、嵌入式处理器模块3、电子显示屏4，目镜模块5，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头1，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器2，所述嵌入式处理器模块3包括目标检测模块31、目标测距模块32、图像标识模块33，针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型，红外望远镜获得红外图像后，进入所述训练检测模型，所述目标检测模块31获得红外图像中的目标类别和覆盖目标整体的矩形框，所述目标测距模块32根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离，所述图像标识模块33获得当前目标距离形成目标距离标识，不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜模块5，所述目镜模块5将电子显示屏上的图像投射到人眼视网膜上。
在外部设备中完成训练检测模型的建立，包括如下步骤：
将待测目标根据目标外形特征进行分类，所述待测目标类别是指具有相同物理特征的物体类别，例如人、猫、椅子等，待测目标类别数量为有限值。所述红外图像数据采集中的红外图像分为样本红外图像和背景红外图像，样本红外图像中应包含一种或多种待测目标类别中的物体，背景红外图像中不出现待测目标类别。红外图像数据采集过程中，对于黑热、白热、伪彩色等色彩模式的选择，应该根据实际检测过程中所使用的色彩模式确定，选择其中一种或多种色彩模式。获得红外数据集后，由操作完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框。数据集标定后，对数据集进行增广,通过原始红外数据样本生成新数据样本，样本增广包括单图处理和多图处理；单图处理是通过调整原始红外图像的亮度，对比度，色调，饱和度以及噪声，随机增加尺度变化，裁剪，翻转以及旋转等方式形成新的红外图像，并调整响应的目标信息文本文件，作为新的红外图像样本；多图处理是通过对两张红外图像的像素值进行权重相加，或对多张图像进行裁剪拼接到同一张红外图像上，形成新的红外图像，并调整响应的目标信息文本文件，作为新的红外图像样本。
具体实施例中，其操作可以为人工标定操作，其形成的矩形框尽量为最小矩形框，这里“最小矩形框”非无限接近无法确定的“最小”的含义，而是根据具体操作过程中，可以操作的“最小矩形框”。具体方法如下：所述最小矩形框的上边界位置为待测目标的最上端像素，下边界位置为待测目标的最下端像素，左边界位置为待测目标的最左端像素，右边界位置为待测目标的最右端像素；标定后，每张红外图像对应一个文本文件，文件中保存红外图像中的所有待测目标信息，待测目标信息包括目标的类别和覆盖该目标最小矩形框在红外图像中的位置坐标，位置坐标通常以红外图像的左上角为坐标原点，向右为横坐标正方向，向下为纵坐标正方向，矩形框位置坐标可以使用左上角和右下角两点坐标来确定，也可以通过左上角坐标和矩形框长宽像素值来确定。建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数。具体实施方式是：所述训练检测模型是基于Yolov3特征提取网络，在主干网络Darknet-53后增加了三个深度的卷积层、四个不同尺度的最大池化层以及一个由1个和5个深度卷积层分支组成的残差网络模块。
本发明的技术效果是：构建一种红外望远镜测距方法及***，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，红外望远镜测距方法包括以下步骤：确定待测目标类别：将待测目标根据目标外形特征进行分类；红外图像数据采集：通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集；数据集标定：获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框；训练检测模型：建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；模型导入：针对所使用的嵌入式硬件平台，将模型转换成与嵌入式平台匹配的格式后，导入嵌入式***中；目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框；目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离；图像标识：获得当前目标距离形成目标距离标识；观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。本发明通过采集红外数据集、数据集标定和模型训练获得用于目标检测的检测模型，利用检测模型对红外目标进行类别识别、目标测距、图像标识再进行标识叠加，完成红外图像目标的实时测距及标注，解决了现有技术中，测距操作复杂、测距误差较大的技术问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种红外望远镜测距方法，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，其特征在于，包括以下步骤：
模型导入：针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；所述训练检测模型根据目标外形特征以及目标的红外图像在外部设备建立形成；
目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框；
目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离；
图像标识：获得当前目标距离形成目标距离标识；
观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。
2.根据权利要求1所述红外望远镜测距方法，其特征在于，根据预设待测目标的高度h0，目标人或物在画面中的像素高度为q、已知红外望远镜的镜头焦距f和探测器像元尺寸d，可通过以下公式计算出目标人或物当前和观察者之间的距离L：
3.根据权利要求1所述红外望远镜测距方法，其特征在于，将获取的当前目标的类别形成类别标识，将目标类别标识和距离标识以屏幕菜单的方式叠加在红外图像上。
4.一种基于外部设备训练的红外望远镜测距方法，其特征在于，
在外部设备中完成训练检测模型的建立，包括如下步骤：
确定待测目标类别：将待测目标根据目标外形特征进行分类；
红外图像数据采集：通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集；
数据集标定：获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框；
训练检测模型：建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；
在红外望远镜中进行测距，包括如下步骤：
模型导入：针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；；
目标检测：红外望远镜获得红外图像后，进入所述训练检测模型，获得红外图像中的目标类别和覆盖目标整体的矩形框；
目标测距：根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离；
图像标识：获得当前目标距离形成目标距离标识；
观测展示：通过不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜，将电子显示屏上的图像投射到人眼视网膜上。
5.根据权利要求4所述基于外部设备训练的红外望远镜测距方法，其特征在于，所述红外图像数据采集中的红外图像分为样本红外图像和背景红外图像。
6.根据权利要求4所述基于外部设备训练的红外望远镜测距方法，其特征在于，数据集标定后，对红外数据集进行增广,通过原始红外数据样本生成新的红外数据样本，红外数据样本增广包括单图处理和多图处理。
7.一种红外望远镜测距***，其特征在于，包括红外成像镜头、红外探测器、嵌入式处理器模块、电子显示屏，目镜模块，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，所述嵌入式处理器模块包括目标检测模块、目标测距模块、图像标识模块，针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型；所述训练检测模型根据目标外形特征以及目标的红外图像在外部设备建立形成，红外望远镜获得红外图像后，进入所述训练检测模型，所述目标检测模块获得红外图像中的目标类别和覆盖目标整体的矩形框，所述目标测距模块根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离，所述图像标识模块获得当前目标距离形成目标距离标识，不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜模块，所述目镜模块将电子显示屏上的图像投射到人眼视网膜上。
8.根据权利要求7所述红外望远镜测距***，其特征在于，所述目镜模块通过镜片位置调整机构，改变其中一片或多片可见光玻璃镜片的位置，从而改变电子显示屏的虚像位置。
9.根据权利要求7所述红外望远镜测距***，其特征在于，还包括接口管理单元，所述接口管理单元管理红外探测器信号的接收、按键模块I/O信号的接收和向电子显示屏的数据输出。
10.一种基于外部设备的红外望远镜测距***，其特征在于，包括外部设备、红外望远镜，所述外部设备包括训练检测模型生成模块，所述训练检测模型生成模块在生成检测模型过程中，将待测目标根据目标外形特征进行分类，通过红外图像拍摄设备拍摄获得待测目标的红外图像，将多种类别的目标图像形成红外图像数据采集，获得红外数据集后，完成对红外图像中待测目标的标定，标定内容包括每一个待测目标所属类别以及能覆盖目标整体的矩形框，建立检测模型，将标定后的数据作为输入数据，得到完整的模型参数；所述红外望远镜包括：红外成像镜头、红外探测器、嵌入式处理器模块、电子显示屏，目镜模块，不同曲率以及不同折射率的红外玻璃镜片在红外望远镜中的同一轴线上排列形成红外成像镜头，红外感光单元设置成非制冷红外焦平面阵列形成红外望远镜中的红外探测器，所述嵌入式处理器模块包括目标检测模块、目标测距模块、图像标识模块，针对所使用的红外望远镜嵌入式硬件平台，将训练检测模型转换成与嵌入式平台匹配的格式后，红外望远镜的嵌入式***导入训练检测模型，红外望远镜获得红外图像后，进入所述训练检测模型，所述目标检测模块获得红外图像中的目标类别和覆盖目标整体的矩形框，所述目标测距模块根据预设待测目标的高度、目标人或物在画面中的像素高度、已知红外望远镜的镜头焦距和探测器像元尺寸，计算出目标和观察者之间的距离，所述图像标识模块获得当前目标距离形成目标距离标识，不同外形不同折射率的红外可见光玻璃镜片排列形成的目镜模块，所述目镜模块将电子显示屏上的图像投射到人眼视网膜上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111554027.1A CN114295108A (zh) | 2021-12-17 | 2021-12-17 | 一种其于外部设备及红外望远镜的测距方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111554027.1A CN114295108A (zh) | 2021-12-17 | 2021-12-17 | 一种其于外部设备及红外望远镜的测距方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114295108A true CN114295108A (zh) | 2022-04-08 |
Family
ID=80966839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111554027.1A Pending CN114295108A (zh) | 2021-12-17 | 2021-12-17 | 一种其于外部设备及红外望远镜的测距方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114295108A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008060319A2 (en) * | 2006-03-27 | 2008-05-22 | Horus Vision Llc | Apparatus and method for calculating aiming point information |
| CN103926010A (zh) * | 2014-04-18 | 2014-07-16 | 山东神戎电子股份有限公司 | 一种多功能双光谱便携式观测仪 |
| CN105203073A (zh) * | 2015-09-08 | 2015-12-30 | 上海巨哥电子科技有限公司 | 一种具有电子测距分划板的成像仪 |
| CN113610695A (zh) * | 2021-05-07 | 2021-11-05 | 浙江兆晟科技股份有限公司 | 一种红外望远镜全画幅成像输出方法及*** |
-
2021
- 2021-12-17 CN CN202111554027.1A patent/CN114295108A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008060319A2 (en) * | 2006-03-27 | 2008-05-22 | Horus Vision Llc | Apparatus and method for calculating aiming point information |
| CN103926010A (zh) * | 2014-04-18 | 2014-07-16 | 山东神戎电子股份有限公司 | 一种多功能双光谱便携式观测仪 |
| CN105203073A (zh) * | 2015-09-08 | 2015-12-30 | 上海巨哥电子科技有限公司 | 一种具有电子测距分划板的成像仪 |
| CN113610695A (zh) * | 2021-05-07 | 2021-11-05 | 浙江兆晟科技股份有限公司 | 一种红外望远镜全画幅成像输出方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 张强等: "《基于深度神经网络技术的高分遥感图像处理及应用》", vol. 1, 31 August 2020, 中国宇航出版社, pages: 85 - 89 * |
| 陈云霁等: "《智能计算***》", vol. 1, 30 April 2020, 机械工业出版社, pages: 170 - 171 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109377469B (zh) | 一种热成像融合可见光图像的处理方法、***及存储介质 | |
| CN104272717B (zh) | 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和*** | |
| CN105933617B (zh) | 一种用于克服动态问题影响的高动态范围图像融合方法 | |
| CN104254869B (zh) | 用于投影红外线辐射的可见光表示的方法和*** | |
| US20180184062A1 (en) | Image Processing to Determine Center of Balance in a Digital Image | |
| CN110675448B (zh) | 基于民航客机的地面灯光遥感监测方法、***及存储介质 | |
| CN101207832A (zh) | 数码相机色彩还原的检测方法 | |
| CN101882034A (zh) | 触摸装置的触摸笔颜色识别装置及方法 | |
| CN111323125B (zh) | 一种测温方法、装置及计算机存储介质、电子设备 | |
| CN109870240A (zh) | 具有环境自适应性的目标红外图像实时定量处理*** | |
| CN109615601A (zh) | 一种融合彩色与灰阶深度图像的方法 | |
| CN103390290A (zh) | 信息处理设备及信息处理方法 | |
| CN110456904A (zh) | 一种无需标定的增强现实眼镜眼动交互方法及*** | |
| CN109497925A (zh) | 眼视功能评价装置以及眼视功能评价方法 | |
| US20080166061A1 (en) | Enhanced Infrared Imaging System | |
| CN107454335B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
| CN110572576A (zh) | 一种拍摄可见光和热成像重叠图的方法、***及电子设备 | |
| CN111413279A (zh) | 多光谱探测的视频处理方法、装置及多光谱探测终端 | |
| JP2010272097A (ja) | 緑視率測定装置、方法及びプログラム | |
| CN109738005A (zh) | 探测装置、探测***和探测方法 | |
| CN114295108A (zh) | 一种其于外部设备及红外望远镜的测距方法及*** | |
| Moyer et al. | Probability of identification of small hand-held objects for electro-optic forward-looking infrared systems | |
| CN115830318A (zh) | 基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置 | |
| CN115100556A (zh) | 基于图像分割与融合的增强现实的方法、装置及电子设备 | |
| Brunnstro¨ m et al. | Object detection in cluttered infrared images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |