CN111765974B - 一种基于微型制冷红外热像仪的野生动物观测***及方法 - Google Patents
一种基于微型制冷红外热像仪的野生动物观测***及方法 Download PDFInfo
- Publication number
- CN111765974B CN111765974B CN202010646655.1A CN202010646655A CN111765974B CN 111765974 B CN111765974 B CN 111765974B CN 202010646655 A CN202010646655 A CN 202010646655A CN 111765974 B CN111765974 B CN 111765974B
- Authority
- CN
- China
- Prior art keywords
- image
- wild animal
- observation
- thermal infrared
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 197
- 238000005057 refrigeration Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000036544 posture Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 7
- 230000005693 optoelectronics Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008542 thermal sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radiation Pyrometers (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明提供一种基于微型制冷红外热像仪的野生动物观测***及方法，野生动物观测***包括光电吊舱和数据处理终端；其中，所述光电吊舱用于同时获取野生动物的红外影像及可见光影像，并将所述红外影像及所述可见光影像发送给所述数据处理终端；所述数据处理终端用于控制所述光电吊舱的工作参数以及观测姿态，并接收和处理所述光电吊舱上传的所述红外影像及所述可见光影像，生成每幅影像的动物种群数量观测结果，并将所述动物种群数量观测结果导入数据库。可以快速对大范围区域的野生动物种群进行直接观测，自动解译并统计野生动物种类及数量，具有部署快捷、观测精度高、自动化程度高的优点。
Description
技术领域
本发明属于野生动物观测技术领域，具体涉及一种基于微型制冷红外热像仪的野生动物观测***及方法。
背景技术
野生动物物种及数量是生物多样性评价、监管和保护的直接指标。野生动物的质量现状对生态***的平衡与稳定有重要意义，野生动物的种类、数量及对栖息地状况的适应性是生态***变化和反映管理策略的重要指示因子。野生动物观测是进行野生动物种类、数量与栖息地状况调查的必要技术手段，是对野生动物资源进行有效保护、持续利用、政策制订以及科学管理的重要基础。
目前，对野生动物观测大多采用红外触发相机陷阱(infrared-triggeredcamera-trapping)技术，即：在野外无人操作的情况下，采用红外感应设备自动拍摄野生动物的静态照片或动态视频，因具有非损伤性、长期性以及客观性等特点已被广泛使用。但是，野生动物监测采用的红外感应设备，例如红外相机，仍存在一定缺陷，一方面，其观测范围及观测距离有限，需要在监测区域布设大量的监测点，且一般仅能在对单个野生动物拍摄后，通过相关模型估算区域野生动物的种群数据和密度，整个过程耗时耗力，且监测结果也存在一定的误差；另一方面，现有红外相机在雾气以及夜晚等光源不足的情况下，拍摄效果不稳定，若野生动物和相机距离较远，则拍摄效果更差，无法准确获取野生动物轮廓等形状信息。这些缺陷不可避免的对野生动物调查带来了大量的不可靠信息，增加了人工分析及物料成本。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于微型制冷红外热像仪的野生动物观测***及方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于微型制冷红外热像仪的野生动物观测***，包括光电吊舱和数据处理终端；其中，所述光电吊舱用于同时获取野生动物的红外影像及可见光影像，并将所述红外影像及所述可见光影像发送给所述数据处理终端；
所述数据处理终端用于控制所述光电吊舱的工作参数以及观测姿态，并接收和处理所述光电吊舱上传的所述红外影像及所述可见光影像，生成每幅影像的动物种群数量观测结果，并将所述动物种群数量观测结果导入数据库。
优选的，所述光电吊舱包括制冷中波红外热像仪(1)、高清摄像仪(2)、球形转台(3)和信息处理机(4)；
所述信息处理机(4)与所述球形转台(3)连接，所述信息处理机(4)用于接收所述数据处理终端对所述球形转台(3)的数字形式控制信号，并将所述数字形式控制信号转换为所述球形转台(3)可识别的模拟形式控制信号，并将所述模拟形式控制信号发送给所述球形转台(3)；
所述球形转台(3)安装球形舱体；所述球形转台(3)根据所述模拟形式控制信号，控制所述球形舱体转动，进而控制所述球形舱体的观测方向角和观测俯仰角度；
所述球形舱体固定安装所述制冷中波红外热像仪(1)和所述高清摄像仪(2)，所述制冷中波红外热像仪(1)用于获取长远距离、精细的野生动物的红外影像；所述高清摄像仪(2)用于同时获取与所述野生动物的红外影像一致的野生动物的可见光影像；所述野生动物的红外影像和所述野生动物的可见光影像通过所述信息处理机(4)，上传给所述数据处理终端。
优选的，所述数据处理终端用于控制所述光电吊舱的工作参数以及观测姿态，其中，所述光电吊舱的工作参数包括所述制冷中波红外热像仪(1)和所述高清摄像仪(2)的成像焦距；所述观测姿态包括所述光电吊舱的观测方向角和观测俯仰角度。
优选的，所述制冷中波红外热像仪(1)和所述高清摄像仪(2)均具有长焦和短焦两种观测模式，长焦模式的观测距离较远、短焦模式的观测区域较大，具体根据观测野外实际情况进行切换。
优选的，所述球形转台(3)接入外部GPS定位装置，提供所述光电吊舱中心的坐标信息，包括经度、纬度和高程；此种情况下，所述光电吊舱向所述数据处理终端输出以下信息：野生动物的红外影像、可见光影像、每幅影像拍摄瞬间所对应的观测方向角和观测俯仰角度以及光电吊舱中心的位置信息。
优选的，所述数据处理终端集成控制杆和控制按钮，所述控制杆用于控制所述光电吊舱按操作的方向角和俯仰角进行旋转，所述控制按钮用于切换所述制冷中波红外热像仪(1)及所述高清摄像仪(2)的长焦或短焦工作模式。
优选的，所述光电吊舱搭载于地面高塔塔顶、无人机平台或地面移动车辆上，所述光电吊舱的观测数据通过线缆或无线通信方式与所述数据处理终端进行通信。
本发明还提供一种基于微型制冷红外热像仪的野生动物观测***的观测方法，包括以下步骤：
步骤1，将光电吊舱置于距地面一定高度的某一观测平台，数据处理终端对光电吊舱的观测方向角和观测俯仰角度进行控制，同时控制制冷中波红外热像仪(1)和高清摄像仪(2)的长焦或短焦工作模式，使制冷中波红外热像仪(1)和高清摄像仪(2)同时对野生动物目标进行观测，获取野生动物目标的红外影像、野生动物目标的可见光影像、拍摄瞬间所对应的制冷中波红外热像仪的影像内部参数以及影像外方位参数，并保存至数据处理终端；
其中，制冷中波红外热像仪的影像内部参数包括：制冷中波红外热像仪的焦距f，制冷中波红外热像仪的传感器尺寸(wsensor×hsensor)以及影像像元尺寸(wimage×himage)；其中，wsensor为传感器长度；hsensor为传感器宽度；wimage为影像像元长度；himage为影像像元宽度；
影像外方位参数包括：拍照瞬间的观测方向角(ψ)、观测俯仰角(θ)以及光电吊舱中心在地球坐标系下的位置(x,y,z)；其中，x为经度，y为纬度，z为高程；
步骤2，根据所获取的制冷中波红外热像仪的内部参数以及影像外方位参数，计算影像的内部参数矩阵Cintr.和影像外方位参数矩阵Cextr.，再根据几何投影关系计算观测的野生动物目标在地球坐标系下的空间位置坐标；
步骤3，将野生动物目标的红外影像、野生动物目标的可见光影像以及野生动物目标在地球坐标系下的空间位置坐标输入野生动物影像自动检测识别模块，结合野生动物红外及可见光特征，自动识别影像中野生动物种类和数量信息；
步骤4，将野生动物影像自动检测结果导入数据库，对置信度较低的识别结果进行手动修订，并将结果进行统计分析，输出观测调查结果。
优选的，步骤2中，采用以下方式，获取观测的野生动物目标在地球坐标系下的空间位置坐标：
步骤2.1，根据制冷中波红外热像仪的影像内部参数，计算得到制冷中波红外热像仪的内部参数矩阵Cintr.为：
fpix＝f·wimage/wsensor (2)
其中：fpix为制冷中波红外热像仪的有效焦距；
步骤2.2，根据制冷中波红外热像仪的影像外方位参数，计算得到影像外方位参数矩阵Cextr.为：
其中：
R为旋转矩阵，表示为：
T为平移矩阵，表示为：
步骤2.3，根据所获得的内部参数矩阵Cintr.和影像外方位参数矩阵Cextr.，计算得到投影矩阵C为：
C＝Cintr.·Cextr. (6)
步骤2.4，输入野生动物目标区域在地球坐标系下的海拔高度zworld)，并根据投影矩阵C，将影像像元坐标系下的野生动物目标的红外影像I(ximage，yimage)投影到地球坐标系下，获得观测的野生动物目标在地球坐标系下的空间位置坐标(xworld，yworld)：
其中：
ximage为红外影像I的像素横坐标；
yimage为红外影像I的像素纵坐标；
xworld为野生动物目标在地球坐标系下的经度；
yworld野生动物目标在地球坐标系下的纬度。
优选的，步骤3中，采用以下方式，对所获得的野生动物目标的红外影像和野生动物目标的可见光影像进行自动检测和识别，获取影像中野生动物的种类和数量信息：
步骤3.1，采用形态学滤波方法剔除野生动物目标的红外影像中的影像背景，得到剔除影像背景的红外影像；
在剔除影像背景的红外影像中，采用图像分割方法提取所有可能的野生动物目标，得到图像分割后的红外影像；
步骤3.2，设定目标影像亮度阙值，对步骤3.1提取到的所有可能的野生动物目标进行过滤，保留满足阙值条件的野生动物目标，从而得到过滤后的红外影像；
步骤3.3，将步骤3.2得到的过滤后的红外影像和野生动物目标的可见光影像进行叠加，基于过滤后的红外影像中的野生动物目标，在可见光影像中识别到与每个过滤后的红外影像中的野生动物目标对应位置的可见光野生动物目标，再采用图像识别算法，对每一个识别到的可见光野生动物目标进行进一步的图像识别，剔除非野生动物的错误识别目标，得到识别后的可见光影像；其中，所述识别后的可见光影像中包含若干个识别到的可见光野生动物目标；
步骤3.4，对步骤3.3识别到的可见光野生动物目标进行统计分析，得到可见光影像包含的野生动物种类和野生动物数量，并输出。
本发明提供的一种基于微型制冷红外热像仪的野生动物观测***及方法具有以下优点：
本发明提供一种基于微型制冷红外热像仪的野生动物观测***及方法，光电吊舱易于搭载于地面野生动物监测塔、无人机及地面移动车辆等平台上，具有观测距离远、覆盖空间范围广、红外及可见光影像清晰、热灵敏度高的特点。可以快速对大范围区域的野生动物种群进行直接观测，自动解译并统计野生动物种类及数量，具有部署快捷、观测精度高、自动化程度高的优点，对野生动物的监测与保护具有重要意义。
附图说明
图1为本发明提供的一种基于微型制冷红外热像仪的野生动物观测***的组成结构示意图；
图2为本发明提供的一种基于微型制冷红外热像仪的野生动物观测***的观测投影转换关系的侧视图；
图3为本发明提供的一种基于微型制冷红外热像仪的野生动物观测***的观测投影转换关系的俯视图；
图4为本发明提供的一种基于微型制冷红外热像仪的野生动物观测方法的流程图。
其中：
1-制冷中波红外热像仪；2-高清摄像仪；3-球形转台；4-信息处理机。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明针对目前野生动物监测红外相机观测范围及观测距离有限、布设相机数量大、对野生动物种群估算精度有限以及观测影像质量受环境影响较大的不足，提出了一种基于微型制冷红外热像仪的野生动物观测***及方法。
本发明主要包括两个方面：第一方面，提供一种基于微型制冷红外热像仪的野生动物观测***；第二方面，提供一种使用上述基于微型制冷红外热像仪的野生动物观测***观测野生动物并处理观测影像的方法。
参考图1，本发明提供的基于微型制冷红外热像仪的野生动物观测***，包括光电吊舱和数据处理终端；其中，所述光电吊舱用于同时获取野生动物的红外影像及可见光影像，并将所述红外影像及所述可见光影像发送给所述数据处理终端；
所述数据处理终端用于控制所述光电吊舱的工作参数以及观测姿态，并接收和处理所述光电吊舱上传的所述红外影像及所述可见光影像，生成每幅影像的动物种群数量观测结果，并将所述动物种群数量观测结果导入数据库。
其中，所述光电吊舱包括制冷中波红外热像仪1、高清摄像仪2、球形转台3和信息处理机4；
所述信息处理机4与所述球形转台3连接，所述信息处理机4用于接收所述数据处理终端对所述球形转台3的数字形式控制信号，并将所述数字形式控制信号转换为所述球形转台3可识别的模拟形式控制信号，并将所述模拟形式控制信号发送给所述球形转台3；同时，也可以将制冷中波红外热像仪1获得的野生动物的红外影像转换为计算机可显示的数字格式。
所述球形转台3安装球形舱体；所述球形转台3根据所述模拟形式控制信号，控制所述球形舱体转动，进而控制所述球形舱体的观测方向角和观测俯仰角度；所述球形转台3接入外部GPS定位装置，提供所述光电吊舱中心的坐标信息，包括经度、纬度和高程；此种情况下，所述光电吊舱向所述数据处理终端输出以下信息：野生动物的红外影像、可见光影像、每幅影像拍摄瞬间所对应的观测方向角和观测俯仰角度以及光电吊舱中心的位置信息。
所述球形舱体固定安装所述制冷中波红外热像仪1和所述高清摄像仪2，所述制冷中波红外热像仪1和所述高清摄像仪2均具有长焦和短焦两种观测模式，长焦模式的观测距离较远、短焦模式的观测区域较大，具体根据观测野外实际情况进行切换。所述制冷中波红外热像仪1用于获取长远距离、精细的野生动物的红外影像；所述高清摄像仪2用于同时获取与所述野生动物的红外影像一致的野生动物的可见光影像；所述野生动物的红外影像和所述野生动物的可见光影像通过所述信息处理机4，上传给所述数据处理终端。
所述数据处理终端用于控制所述光电吊舱的工作参数以及观测姿态，其中，所述光电吊舱的工作参数包括所述制冷中波红外热像仪1和所述高清摄像仪2的成像焦距；所述观测姿态包括所述光电吊舱的观测方向角和观测俯仰角度。所述数据处理终端集成控制杆和控制按钮，所述控制杆用于控制所述光电吊舱按操作的方向角和俯仰角进行旋转，所述控制按钮用于切换所述制冷中波红外热像仪1及所述高清摄像仪2的长焦或短焦工作模式。
本发明中，所述光电吊舱搭载于地面高塔塔顶、无人机平台或地面移动车辆上，所述光电吊舱的观测数据通过线缆或无线通信方式与所述数据处理终端进行通信。
本发明还提供一种基于微型制冷红外热像仪的野生动物观测***的观测方法，包括以下步骤：
步骤1，将光电吊舱置于距地面一定高度的某一观测平台，数据处理终端对光电吊舱的观测方向角和观测俯仰角度进行控制，同时控制制冷中波红外热像仪1和高清摄像仪2的长焦或短焦工作模式，使制冷中波红外热像仪1和高清摄像仪2同时对野生动物目标进行观测，获取野生动物目标的红外影像、野生动物目标的可见光影像、拍摄瞬间所对应的制冷中波红外热像仪的影像内部参数以及影像外方位参数，并保存至数据处理终端；
其中，制冷中波红外热像仪的影像内部参数包括：制冷中波红外热像仪的焦距f，制冷中波红外热像仪的传感器尺寸(wsensor×hsensor)以及影像像元尺寸(wimage×himage)；其中，wsensor为传感器长度；hsensor为传感器宽度；wimage为影像像元长度；himage为影像像元宽度；
影像外方位参数包括：拍照瞬间的观测方向角(ψ)、观测俯仰角(θ)以及光电吊舱中心在地球坐标系下的位置(x,y,z)；其中，x为经度，y为纬度，z为高程；
步骤2，根据所获取的制冷中波红外热像仪的内部参数以及影像外方位参数，计算影像的内部参数矩阵Cintr.和影像外方位参数矩阵Cextr.，再根据几何投影关系计算观测的野生动物目标在地球坐标系下的空间位置坐标；
参考图2和图3所示，为基于微型制冷红外热像仪的野生动物观测***所拍摄影像与真实地面对应观测区域的几何投影关系侧视与俯视示意图，通过几何投影关系转换，将所拍摄的野生动物影像与地球坐标系下的真实地面的观测区域进行对应。几何投影关系转换需要输入微型制冷红外热像仪的内部参数和所摄野生影像的外方位参数，从而构建内部参数矩阵和影像外方位参数矩阵进行。
步骤2中，采用以下方式，获取观测的野生动物目标在地球坐标系下的空间位置坐标：
步骤2.1，根据制冷中波红外热像仪的影像内部参数，计算得到制冷中波红外热像仪的内部参数矩阵Cintr.为：
fpix＝f·wimage/wsensor (2)
其中：fpix为制冷中波红外热像仪的有效焦距；
步骤2.2，根据制冷中波红外热像仪的影像外方位参数，计算得到影像外方位参数矩阵Cextr.为：
其中：
R为旋转矩阵，表示为：
T为平移矩阵，表示为：
步骤2.3，根据所获得的内部参数矩阵Cintr.和影像外方位参数矩阵Cextr.，计算得到投影矩阵C为：
C＝Cintr.·Cextr. (6)
步骤2.4，输入野生动物目标区域在地球坐标系下的海拔高度zworld)，并根据投影矩阵C，将影像像元坐标系下的野生动物目标的红外影像I(ximage，yimage)投影到地球坐标系下，获得观测的野生动物目标在地球坐标系下的空间位置坐标(xworld，yworld)：
其中：
ximage为红外影像I的像素横坐标；
yimage为红外影像I的像素纵坐标；
xworld为野生动物目标在地球坐标系下的经度；
yworld野生动物目标在地球坐标系下的纬度。
步骤3，将野生动物目标的红外影像、野生动物目标的可见光影像以及野生动物目标在地球坐标系下的空间位置坐标输入野生动物影像自动检测识别模块，结合野生动物红外及可见光特征，自动识别影像中野生动物种类和数量信息；
步骤3中，采用以下方式，对所获得的野生动物目标的红外影像和野生动物目标的可见光影像进行自动检测和识别，获取影像中野生动物的种类和数量信息：
步骤3.1，采用形态学滤波方法剔除野生动物目标的红外影像中的影像背景，得到剔除影像背景的红外影像；
在具体实现上，采用的形态学滤波方法包括顶帽变换(Top-Hattransformation)、二维最小均方(Two-Dimensional Least Mean Square,TDLMS)方法、局部显著性图(Local Saliency Map,LSM)方法以及红外块图像(Infrared Patch-Image,IPI)方法等。
在剔除影像背景的红外影像中，采用图像分割方法提取所有可能的发热目标，即：提取所有可能的野生动物目标，得到图像分割后的红外影像；
步骤3.2，设定目标影像亮度阙值，对步骤3.1提取到的所有可能的野生动物目标进行过滤，保留满足阙值条件的野生动物目标，从而得到过滤后的红外影像；
步骤3.3，将步骤3.2得到的过滤后的红外影像和野生动物目标的可见光影像进行叠加，基于过滤后的红外影像中的野生动物目标，在可见光影像中识别到与每个过滤后的红外影像中的野生动物目标对应位置的可见光野生动物目标，再采用图像识别算法，对每一个识别到的可见光野生动物目标进行进一步的图像识别，剔除非野生动物的错误识别目标，得到识别后的可见光影像；其中，所述识别后的可见光影像中包含若干个识别到的可见光野生动物目标；
具体实现时，采用的图像识别算法包括模板匹配算法、卷积神经网络以及深度卷积神经网络等模型。
步骤3.4，对步骤3.3识别到的可见光野生动物目标进行统计分析，得到可见光影像包含的野生动物种类和野生动物数量，并输出。
步骤4，将野生动物影像自动检测结果导入数据库，对置信度较低的识别结果进行手动修订，并将结果进行统计分析，输出观测调查结果。
因此，本发明提供一种基于微型制冷红外热像仪的野生动物观测***及方法，光电吊舱易于搭载于地面野生动物监测塔、无人机及地面移动车辆等平台上，具有观测距离远、覆盖空间范围广、红外及可见光影像清晰、热灵敏度高的特点。可以快速对大范围区域的野生动物种群进行直接观测，自动解译并统计野生动物种类及数量，具有部署快捷、观测精度高、自动化程度高的优点，对野生动物的监测与保护具有重要意义。
需要强调的是，本发明提供的上述基于微型制冷红外热像仪野生动物观测方法，在具体实现上，上述实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (8)
1.一种基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，基于微型制冷红外热像仪的野生动物观测***, 包括光电吊舱和数据处理终端；其中，所述光电吊舱用于同时获取野生动物的红外影像及可见光影像，并将所述红外影像及所述可见光影像发送给所述数据处理终端；
所述数据处理终端用于控制所述光电吊舱的工作参数以及观测姿态，并接收和处理所述光电吊舱上传的所述红外影像及所述可见光影像，生成每幅影像的动物种群数量观测结果，并将所述动物种群数量观测结果导入数据库；
观测方法包括以下步骤：
步骤1，将光电吊舱置于距地面一定高度的某一观测平台，数据处理终端对光电吊舱的观测方向角和观测俯仰角度进行控制，同时控制制冷中波红外热像仪(1)和高清摄像仪(2)的长焦或短焦工作模式，使制冷中波红外热像仪(1)和高清摄像仪(2)同时对野生动物目标进行观测，获取野生动物目标的红外影像、野生动物目标的可见光影像、拍摄瞬间所对应的制冷中波红外热像仪的影像内部参数以及影像外方位参数，并保存至数据处理终端；
其中，制冷中波红外热像仪的影像内部参数包括：制冷中波红外热像仪的焦距f，制冷中波红外热像仪的传感器尺寸(wsensor×hsensor)以及影像像元尺寸(wimage×himage)；其中，wsensor为传感器长度；hsensor为传感器宽度；wimage为影像像元长度；himage为影像像元宽度；
影像外方位参数包括：拍照瞬间的观测方向角(ψ)、观测俯仰角(θ)以及光电吊舱中心在地球坐标系下的位置(x,y,z)；其中，x为经度，y为纬度，z为高程；
步骤2，根据所获取的制冷中波红外热像仪的内部参数以及影像外方位参数，计算影像的内部参数矩阵Cintr.和影像外方位参数矩阵Cextr.，再根据几何投影关系计算观测的野生动物目标在地球坐标系下的空间位置坐标；
步骤3，将野生动物目标的红外影像、野生动物目标的可见光影像以及野生动物目标在地球坐标系下的空间位置坐标输入野生动物影像自动检测识别模块，结合野生动物红外及可见光特征，自动识别影像中野生动物种类和数量信息；
步骤4，将野生动物影像自动检测结果导入数据库，对置信度较低的识别结果进行手动修订，并将结果进行统计分析，输出观测调查结果；
步骤2中，采用以下方式，获取观测的野生动物目标在地球坐标系下的空间位置坐标：
步骤2.1，根据制冷中波红外热像仪的影像内部参数，计算得到制冷中波红外热像仪的内部参数矩阵Cintr.为：
fpix＝f·wimage/wsensor (2)
其中：fpix为制冷中波红外热像仪的有效焦距；
步骤2.2，根据制冷中波红外热像仪的影像外方位参数，计算得到影像外方位参数矩阵Cextr.为：
其中：
R为旋转矩阵，表示为：
T为平移矩阵，表示为：
步骤2.3，根据所获得的内部参数矩阵Cintr.和影像外方位参数矩阵Cextr.，计算得到投影矩阵C为：
C＝Cintr.·Cextr. (6)
步骤2.4，输入野生动物目标区域在地球坐标系下的海拔高度zworld)，并根据投影矩阵C，将影像像元坐标系下的野生动物目标的红外影像I(ximage，yimage)投影到地球坐标系下，获得观测的野生动物目标在地球坐标系下的空间位置坐标(xworld，yworld)：
其中：
ximage为红外影像I的像素横坐标；
yimage为红外影像I的像素纵坐标；
xworld为野生动物目标在地球坐标系下的经度；
yworld野生动物目标在地球坐标系下的纬度。
2.根据权利要求1所述的基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，所述光电吊舱包括制冷中波红外热像仪(1)、高清摄像仪(2)、球形转台(3)和信息处理机(4)；
所述信息处理机(4)与所述球形转台(3)连接，所述信息处理机(4)用于接收所述数据处理终端对所述球形转台(3)的数字形式控制信号，并将所述数字形式控制信号转换为所述球形转台(3)可识别的模拟形式控制信号，并将所述模拟形式控制信号发送给所述球形转台(3)；
所述球形转台(3)安装球形舱体；所述球形转台(3)根据所述模拟形式控制信号，控制所述球形舱体转动，进而控制所述球形舱体的观测方向角和观测俯仰角度；
所述球形舱体固定安装所述制冷中波红外热像仪(1)和所述高清摄像仪(2)，所述制冷中波红外热像仪(1)用于获取长远距离、精细的野生动物的红外影像；所述高清摄像仪(2)用于同时获取与所述野生动物的红外影像一致的野生动物的可见光影像；所述野生动物的红外影像和所述野生动物的可见光影像通过所述信息处理机(4)，上传给所述数据处理终端。
3.根据权利要求2所述的基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，所述数据处理终端用于控制所述光电吊舱的工作参数以及观测姿态，其中，所述光电吊舱的工作参数包括所述制冷中波红外热像仪(1)和所述高清摄像仪(2)的成像焦距；所述观测姿态包括所述光电吊舱的观测方向角和观测俯仰角度。
4.根据权利要求2所述的基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，所述制冷中波红外热像仪(1)和所述高清摄像仪(2)均具有长焦和短焦两种观测模式，长焦模式的观测距离较远、短焦模式的观测区域较大，具体根据观测野外实际情况进行切换。
5.根据权利要求2所述的基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，所述球形转台(3)接入外部GPS定位装置，提供所述光电吊舱中心的坐标信息，包括经度、纬度和高程；此种情况下，所述光电吊舱向所述数据处理终端输出以下信息：野生动物的红外影像、可见光影像、每幅影像拍摄瞬间所对应的观测方向角和观测俯仰角度以及光电吊舱中心的位置信息。
6.根据权利要求2所述的基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，所述数据处理终端集成控制杆和控制按钮，所述控制杆用于控制所述光电吊舱按操作的方向角和俯仰角进行旋转，所述控制按钮用于切换所述制冷中波红外热像仪(1)及所述高清摄像仪(2)的长焦或短焦工作模式。
7.根据权利要求1所述的基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，所述光电吊舱搭载于地面高塔塔顶、无人机平台或地面移动车辆上，所述光电吊舱的观测数据通过线缆或无线通信方式与所述数据处理终端进行通信。
8.根据权利要求1所述的一种基于微型制冷红外热像仪的野生动物观测***的观测方法，其特征在于，步骤3中，采用以下方式，对所获得的野生动物目标的红外影像和野生动物目标的可见光影像进行自动检测和识别，获取影像中野生动物的种类和数量信息：
步骤3.1，采用形态学滤波方法剔除野生动物目标的红外影像中的影像背景，得到剔除影像背景的红外影像；
在剔除影像背景的红外影像中，采用图像分割方法提取所有可能的野生动物目标，得到图像分割后的红外影像；
步骤3.2，设定目标影像亮度阙值，对步骤3.1提取到的所有可能的野生动物目标进行过滤，保留满足阙值条件的野生动物目标，从而得到过滤后的红外影像；
步骤3.3，将步骤3.2得到的过滤后的红外影像和野生动物目标的可见光影像进行叠加，基于过滤后的红外影像中的野生动物目标，在可见光影像中识别到与每个过滤后的红外影像中的野生动物目标对应位置的可见光野生动物目标，再采用图像识别算法，对每一个识别到的可见光野生动物目标进行进一步的图像识别，剔除非野生动物的错误识别目标，得到识别后的可见光影像；其中，所述识别后的可见光影像中包含若干个识别到的可见光野生动物目标；
步骤3.4，对步骤3.3识别到的可见光野生动物目标进行统计分析，得到可见光影像包含的野生动物种类和野生动物数量，并输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646655.1A CN111765974B (zh) | 2020-07-07 | 2020-07-07 | 一种基于微型制冷红外热像仪的野生动物观测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646655.1A CN111765974B (zh) | 2020-07-07 | 2020-07-07 | 一种基于微型制冷红外热像仪的野生动物观测***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111765974A CN111765974A (zh) | 2020-10-13 |
| CN111765974B true CN111765974B (zh) | 2021-04-13 |
Family
ID=72723967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010646655.1A Expired - Fee Related CN111765974B (zh) | 2020-07-07 | 2020-07-07 | 一种基于微型制冷红外热像仪的野生动物观测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111765974B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906511B (zh) * | 2021-02-02 | 2022-08-02 | 东北林业大学 | 一种联合个体图像和足迹图像的野生动物智能监测方法 |
| CN112904778B (zh) * | 2021-02-02 | 2022-04-15 | 东北林业大学 | 一种基于多维信息融合的野生动物智能监测方法 |
| CN113596356A (zh) * | 2021-06-21 | 2021-11-02 | 中国科学院新疆生态与地理研究所 | 草地鼠害野外监测方法 |
| CN115328230B (zh) * | 2022-08-26 | 2023-07-21 | 中国科学院长春光学精密机械与物理研究所 | 光电吊舱热控***及其热控方法 |
| CN115223660B (zh) * | 2022-09-20 | 2023-03-10 | 清华大学 | 生物种群评估模型的训练方法、装置和电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007326380A (ja) * | 2006-06-06 | 2007-12-20 | Kenwood Corp | セキュリティ装置および監視方法 |
| CN101701915A (zh) * | 2009-11-13 | 2010-05-05 | 江苏大学 | 基于可见光—近红外双目机器视觉的粮虫检测装置和方法 |
| CN103278141A (zh) * | 2013-03-06 | 2013-09-04 | 北京工业大学 | 婴幼儿睡眠监控***及方法 |
| CN205029796U (zh) * | 2015-10-29 | 2016-02-10 | 中国电子科技集团公司第三十八研究所 | 一种可见光与红外热成像双目智能一体机 |
| CN205092928U (zh) * | 2015-11-06 | 2016-03-16 | 武汉大学 | 一种野生动物活动信息观测装置 |
| CN106412396A (zh) * | 2016-09-29 | 2017-02-15 | 武汉华中天经通视科技有限公司 | 一种光电搜索装置 |
| CN106570899A (zh) * | 2015-10-08 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 一种目标物体检测方法及装置 |
| CN107253485A (zh) * | 2017-05-16 | 2017-10-17 | 北京交通大学 | 异物侵入检测方法及异物侵入检测装置 |
| CN107316012A (zh) * | 2017-06-14 | 2017-11-03 | 华南理工大学 | 小型无人直升机的火灾检测与跟踪方法 |
| CN207995267U (zh) * | 2017-12-29 | 2018-10-19 | 云南林业职业技术学院 | 一种智能野生动物行为监测器 |
| CN110081982A (zh) * | 2019-03-11 | 2019-08-02 | 中林信达（北京）科技信息有限责任公司 | 一种基于双光谱光电搜索的无人机目标定位方法 |
| CN210526874U (zh) * | 2019-06-25 | 2020-05-15 | 沈阳上博智像科技有限公司 | 一种机载三光光电吊舱*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6536521B2 (ja) * | 2016-09-22 | 2019-07-03 | 株式会社デンソー | 物体検知装置及び物体検知方法 |
-
2020
- 2020-07-07 CN CN202010646655.1A patent/CN111765974B/zh not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007326380A (ja) * | 2006-06-06 | 2007-12-20 | Kenwood Corp | セキュリティ装置および監視方法 |
| CN101701915A (zh) * | 2009-11-13 | 2010-05-05 | 江苏大学 | 基于可见光—近红外双目机器视觉的粮虫检测装置和方法 |
| CN103278141A (zh) * | 2013-03-06 | 2013-09-04 | 北京工业大学 | 婴幼儿睡眠监控***及方法 |
| CN106570899A (zh) * | 2015-10-08 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 一种目标物体检测方法及装置 |
| CN205029796U (zh) * | 2015-10-29 | 2016-02-10 | 中国电子科技集团公司第三十八研究所 | 一种可见光与红外热成像双目智能一体机 |
| CN205092928U (zh) * | 2015-11-06 | 2016-03-16 | 武汉大学 | 一种野生动物活动信息观测装置 |
| CN106412396A (zh) * | 2016-09-29 | 2017-02-15 | 武汉华中天经通视科技有限公司 | 一种光电搜索装置 |
| CN107253485A (zh) * | 2017-05-16 | 2017-10-17 | 北京交通大学 | 异物侵入检测方法及异物侵入检测装置 |
| CN107316012A (zh) * | 2017-06-14 | 2017-11-03 | 华南理工大学 | 小型无人直升机的火灾检测与跟踪方法 |
| CN207995267U (zh) * | 2017-12-29 | 2018-10-19 | 云南林业职业技术学院 | 一种智能野生动物行为监测器 |
| CN110081982A (zh) * | 2019-03-11 | 2019-08-02 | 中林信达（北京）科技信息有限责任公司 | 一种基于双光谱光电搜索的无人机目标定位方法 |
| CN210526874U (zh) * | 2019-06-25 | 2020-05-15 | 沈阳上博智像科技有限公司 | 一种机载三光光电吊舱*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111765974A (zh) | 2020-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111765974B (zh) | 一种基于微型制冷红外热像仪的野生动物观测***及方法 | |
| CN109387186B (zh) | 测绘信息获取方法、装置、电子设备及存储介质 | |
| US20200074176A1 (en) | Method and arrangement for condition monitoring of an installation with operating means | |
| CN110718137B (zh) | 目标物密度分布地图的构建方法及装置、终端、移动装置 | |
| CN110799921A (zh) | 拍摄方法、装置和无人机 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN111260539B (zh) | 鱼眼图目标识别方法及其*** | |
| CN113537049B (zh) | 地面点云数据处理方法、装置、终端设备及存储介质 | |
| CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
| CN114898238A (zh) | 一种野生动物遥感识别方法及装置 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| CN116030194A (zh) | 一种基于目标检测规避的空地协同实景三维建模优化方法 | |
| CN110532853B (zh) | 遥感超时相数据的分类方法及装置 | |
| Xiang et al. | Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system | |
| CN113378754B (zh) | 一种工地裸土监测方法 | |
| CN114020039A (zh) | 无人机巡检杆塔自动对焦***及方法 | |
| CN111985472A (zh) | 基于人工智能和主动球机的食槽干草温度图像处理方法 | |
| CN112631333A (zh) | 无人机的目标跟踪方法、装置及图像处理芯片 | |
| CN117406789A (zh) | 基于图像分析的多无人机桥梁支座巡检航线自动规划方法 | |
| KR102542556B1 (ko) | 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템 | |
| CN112585945A (zh) | 对焦方法、装置及设备 | |
| CN114064737B (zh) | 一种基于无人机的大型鲸类时空分布调查方法和*** | |
| CN111402324A (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
| Angkhem et al. | Night-Time Human Detection From UAV | |
| CN114627252A (zh) | 获取地表温度分布的无人机和地表温度分布图的获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210413 |