CN116952391A - 一种无人机采集图像的非均匀性校正方法与*** - Google Patents
一种无人机采集图像的非均匀性校正方法与*** Download PDFInfo
- Publication number
- CN116952391A CN116952391A CN202311158339.XA CN202311158339A CN116952391A CN 116952391 A CN116952391 A CN 116952391A CN 202311158339 A CN202311158339 A CN 202311158339A CN 116952391 A CN116952391 A CN 116952391A
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- area
- temperature
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 284
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000005693 optoelectronics Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 45
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 9
- 230000005855 radiation Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003331 infrared imaging Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000009529 body temperature measurement Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/90—Testing, inspecting or checking operation of radiation pyrometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种无人机采集图像的非均匀性校正方法、装置及电子设备,涉及无人机图像采集的领域。该方法应用于光电吊舱设备,包括:获取待处理图像中的多个校正区域,多个校正区域包括标定区域与非标定区域;基于预设非均匀性校正系数表,对多个校正区域进行非均匀性校正,生成第一图像与第二图像;第一图像为标定区域校正后的图像,第二图像为非标定区域校正后的图像;将第一图像与第二图像进行融合,生成高分辨红外图像。根据标定区域的校正系数得到非标定区域的校正系数,从而满足更多温度条件下的红外图像校正,提升了红外图像的成像效果。
Description
技术领域
本申请涉及无人机图像采集的技术领域,具体涉及一种无人机采集图像的非均匀性校正方法与***。
背景技术
无人机光电吊舱多包括可见光成像和红外成像,其中红外成像技术作为一种具有测温、夜视等功能的技术,其基本原理为利用目标的背景,或者目标各部分之间的温度差或辐射差形成的红外辐射特征图像,以此来发现和识别目标。
目前,红外辐射特征图像在进行标定与校正后,其成像效果往往更加准确。而主要的校正方法主要是基于参考辐射源的非均匀校正。该方法的基本原理为引入多个不同温度的参考辐射源以标定不同温度下的拍摄环境,然后红外相机对参考辐射源进行拍摄与测量,得到测量结果。最后将测量结果与真实的辐射率进行比较,可以得到红外相机的非均匀性校正系数。之后再将这些系数应用到场景图像中,以校正非均匀性。
然而,实际拍摄环境中的温度因素并不可控,当环境温度不在红外相机预先标定的温度范围内时,会引起红外图像出现非均匀性偏差,从而导致红外图像的成像效果较差,影响无人机的巡检、侦察等任务的执行。
因此,亟需一种无人机采集图像的非均匀性校正方法与***。
发明内容
本申请提供了一种无人机采集图像的非均匀性校正方法与***,根据标定区域的校正系数得到非标定区域的校正系数,从而满足更多温度条件下的红外图像校正,提升了红外图像的成像效果。
第一方面,本申请提供一种无人机采集图像的非均匀性校正方法,应用于光电吊舱设备,所述方法包括:获取待处理图像中的多个校正区域,多个所述校正区域包括标定区域与非标定区域,所述标定区域为环境温度在所述光电吊舱设备预先标定的温度范围内的图像区域,所述非标定区域为环境温度不在所述光电吊舱设备预先标定的温度范围内的图像区域;基于预设非均匀性校正系数表,对多个所述校正区域进行非均匀性校正,生成第一图像与第二图像;其中,所述第一图像为所述标定区域校正后的图像,所述第二图像为所述非标定区域校正后的图像,所述预设非均匀校正系数表包括温度与非均匀性校正系数的对应关系;将所述第一图像与所述第二图像进行融合,生成高分辨红外图像。
通过采用上述技术方案,光电吊舱设备将待处理图像分割为标定区域与非标定区域;对于标定区域,光电吊舱设备通过查询预设非均匀性校正系数表得到标定区域的校正系数,然后将校正系数应用于标定区域后,生成第一图像;对于非标定区域,光电吊舱设备通过查询预设非均匀性校正系数表得到与非标定区域最接近的校正系数,根据最接近的校正系数对非标定区域进行校正,生成第二图像;最后将第一图像与第二图像融合为一张图像。由此,对于待处理图像中拍摄的环境温度不在预设标定的温度范围内时,也能通过预设非均匀性校正系数表得到预测的校正系数,从而提高了红外图像的质量和分辨率。
第二方面,本申请提供一种无人机采集图像的非均匀性校正***,所述***为光电吊舱设备,所述光电吊舱设备包括获取模块与处理模块,其中:
所述获取模块,用于获取待处理图像中的多个校正区域,多个所述校正区域包括标定区域与非标定区域,所述标定区域为环境温度在所述光电吊舱设备预先标定的温度范围内的图像区域,所述非标定区域为环境温度不在所述光电吊舱设备预先标定的温度范围内的图像区域;
所述处理模块,用于基于预设非均匀性校正系数表,对多个所述校正区域进行非均匀性校正,生成第一图像与第二图像;其中,所述第一图像为所述标定区域校正后的图像,所述第二图像为所述非标定区域校正后的图像,所述预设非均匀校正系数表包括温度与非均匀性校正系数的对应关系;将所述第一图像与所述第二图像进行融合,生成高分辨红外图像。
通过采用上述技术方案,获取模块将待处理图像分割为标定区域与非标定区域;对于标定区域,处理模块通过查询预设非均匀性校正系数表得到标定区域的校正系数,然后将校正系数应用于标定区域后,生成第一图像;对于非标定区域,处理模块通过查询预设非均匀性校正系数表得到与非标定区域最接近的校正系数,根据最接近的校正系数对非标定区域进行校正,生成第二图像;最后处理模块将第一图像与第二图像融合为一张图像。由此,对于待处理图像中拍摄的环境温度不在预先标定的温度范围内时,也能通过预设非均匀性校正系数表得到预测的校正系数,从而提高了红外图像的质量和分辨率。
可选的,获取模块用于获取第一校正区域与所述第一校正区域对应的第一温度,所述第一校正区域为多个所述标定区域中任意一个;处理模块用于将所述第一温度与所述预设非均匀校正系数表进行匹配,得到第一校正系数;采用所述第一校正系数对所述第一校正区域进行校正,生成所述第一图像。
通过采用上述技术方案,通过将标定区域的温度与预设非均匀校正系数表匹配,得到准确的校正系数,以使处理模块对标定区域的校正更加精准,从而提高红外图像的质量与分辨率。
可选的,获取模块用于获取第二校正区域与所述第二校正区域对应的第二温度,所述第二校正区域为多个所述非标定区域中任意一个;
处理模块用于将所述第二温度与所述预设非均匀校正系数表进行匹配,得到所述第二温度对应的相邻校正数据,所述相邻校正数据包括所述第二温度相邻的两个温度以及所述相邻两个温度各对应的校正系数;根据所述相邻校正数据,采用二次差值算法计算得到第二校正系数;采用所述第二校正系数对所述第二校正区域进行校正,生成第二图像。
通过采用上述技术方案,通过将非标定区域的温度与预设非均匀校正系数表匹配,得到与非标定区域的温度最接近的两个温度以及这两个温度各对应的校正系数;处理模块通过二次差值算法,预测非标定区域的校正系数;然后根据预测的校正系数对非标定区域进行校正,从而提升处理模块对标定区域校正的精准度,进而提高红外图像的质量与分辨率。
可选的,获取模块用于将所述待处理图像进行特征点标记,得到多个图像特征点;
处理模块用于基于多个所述图像特征点,将所述第一图像中的多个标定区域进行标记,得到第一标记结果;以及将第二图像中的多个非标定区域进行标记,得到第二标记结果,所述第一标记结果包括所述第一图像中多个标定区域各对应的标记点的位置,所述第二标记结果包括所述第二图像中多个非标定区域各对应的标记点的位置;基于所述第一标记结果与所述第二标记结果,将多个所述标定区域与多个所述非标点区域进行拼接,生成所述高分辨红外图像。
通过采用上述技术方案,通过在待处理图像进行特征点标记,从而确定每个校正区域的位置;然后处理模块通过在第一图像与第二图像标记相同的特征点,从而保证标定区域与非标定区域在拼接时不会出现拼接错误的情况,减少了图像畸形和失真的情况;并且充分利用了标定区域的信息,从而提高了整个图像的质量和分辨率。
可选的,获取模块用于采用图像分割算法将所述待处理图像进行分割;获取第三校正区域中各像素点对应的温度值,所述第三校正区域为所述待处理图像中分割后多个所述校正区域中任意一个;
处理模块用于基于所述第三校正区域中各像素点对应的温度值,确定所述第三校正区域的温度比例,所述温度比例为温度值在预设标定温度范围内的像素点数量占所述第三校正区域中像素点数量的比值;基于所述温度比例确定所述标定区域与所述非标定区域。
通过采用上述技术方案,由于光电吊舱设备在测量时存在一定的测量误差,在标定区域中仍然存在不在预先标定的温度范围的像素点;处理模块通过统计校正区域中温度在预设标定范围内的像素点数量与像素点总数的占比,从而确定标定区域与非标定区域,以便于后续处理模块采用各自对应的处理方式处理标定区域与非标定区域,从而提高红外图像的质量与分辨率。
可选的,当所述温度比例大于或等于预设比例阈值时,则处理模块确定所述第三校正区域为标定区域;当所述温度比例小于预设比例阈值时,则处理模块确定所述第三校正区域为非标定区域。
通过采用上述技术方案,通过设置预设比例阈值,从而便于确定标定区域与非标定区域,降低了光电吊舱设备测量误差带来的影响。
可选的,获取模块用于获取所述待处理图像的图像信息,所述图像信息包括图像尺寸与拍摄时间;
处理模块用于基于所述图像信息,确定所述待处理图像的分割尺寸;根据所述分割尺寸,将所述待处理图像分割为多个所述校正区域。
通过采用上述技术方案,由于拍摄条件不同,在对待处理图像分割时,为了保正图像质量与分辨率满足需求;获取模块通过待处理图像的图像信息,然后处理模块根据图像信息确定最合适的分割比例,从而保证图像质量符合要求。
第三方面,本申请提供一种电子设备,包括处理器、存储器、用户接口及网络接口,所述存储器用于存储指令,所述用户接口和网络接口用于给其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如第一方面中任意一项所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如第一方面中任意一项所述的方法。
综上所述,本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、光电吊舱设备将待处理图像分割为标定区域与非标定区域;对于标定区域,光电吊舱设备通过查询预设非均匀性校正系数表得到标定区域的校正系数,然后将校正系数应用于标定区域后,生成第一图像;对于非标定区域,光电吊舱设备通过查询预设非均匀性校正系数表得到与非标定区域最接近的校正系数,根据最接近的校正系数对非标定区域进行校正,生成第二图像;最后将第一图像与第二图像融合为一张图像。由此,对于待处理图像中拍摄的环境温度不在预设标定的温度范围内时,也能通过预设非均匀性校正系数表得到预测的校正系数,从而提高了红外图像的质量和分辨率。
2、通过将非标定区域的温度与预设非均匀校正系数表匹配,得到与非标定区域的温度最接近的两个温度以及这两个温度各对应的校正系数;处理模块通过二次差值算法,预测非标定区域的校正系数;然后根据预测的校正系数对非标定区域进行校正,从而提升处理模块对标定区域校正的精准度,进而提高红外图像的质量与分辨率。
附图说明
图1是本申请实施例提供的一种无人机采集图像的非均匀性校正方法的流程示意图。
图2是本申请实施例提供的一种标定区域非均匀性校正方法的示意图。
图3是本申请实施例提供的一种非标定区域非均匀性校正方法的示意图。
图4是本申请实施例提供的一种图像融合的示意图。
图5是本申请实施例提供的一种无人机采集图像的非均匀性校正***的结构示意图。
图6是本申请实施例提供的一种电子设备的结构示意图。
附图标记说明:1、获取模块;2、处理模块;600、电子设备;601、处理器;602、通信总线;603、用户接口;604、网络接口;605、存储器。
实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本申请实施例的描述中,“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“多个”的含义是指两个或两个以上。例如,多个***是指两个或两个以上的***,多个屏幕终端是指两个或两个以上的屏幕终端。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
随着红外成像技术的发展,因其具有测温、夜视等功能,常常被用在目标探测、识别和跟踪等安全领域,或者监测大气污染、水体温度以及森林火灾等环境保护领域。其基本原理为利用目标的背景,或者目标各部分之间的温度差或辐射差形成的红外辐射特征图像,以此来发现和识别目标。
目前,红外辐射特征图像在进行标定与校正后,其成像效果往往更加准确。而主要的校正方法主要是基于参考辐射源的非均匀校正。该方法是将多温度点标定与非线性拟合校正法结合实现红外图像的非均匀校正。其基本原理为首先引入多个不同温度的参考辐射源以标定不同温度下的拍摄环境,参考辐射源可以理解为已知辐射特性的物体或设备,例如陶瓷、铝以及自然辐射源等,参考辐射源的选取往往需要根据具体的应用场景选取才会具有较好的图像校正效果,例如在拍摄森林火灾的红外图像时,则需要选择太阳或地面等自然辐射源作为参考辐射源;然后红外相机对参考辐射源进行拍摄与测量,得到测量结果。最后将测量结果与真实的辐射率进行比较,可以得到红外相机的非均匀性校正系数。之后再将这些系数应用到场景图像中,以校正红外图像的非均匀性。
然而,在实际的拍摄环境中,环境温度时刻存在变化;如果环境温度不在红外相机预先标定的温度范围内时,此时对红外图像进行校正,会因为***没有存储当前环境温度对应的非均匀校正系数,从而导致无法对红外图像进行校正,或者导致校正后的图像存在失真,造成红外图像的成像效果较差,影响无人机巡检、侦察等任务的执行。
因此为了解决这个问题,本申请提供一种无人机采集图像的非均匀性校正方法,该方法应用于光电吊舱设备,光电吊舱设备多包括可见光成像设备与红外成像设备,用于拍摄红外图像,如图1所示,该方法包括步骤S101至步骤S103。
S101、获取待处理图像中的多个校正区域,多个校正区域包括标定区域与非标定区域,标定区域为环境温度在光电吊舱设备预先标定的温度范围内的图像区域,非标定区域为环境温度不在光电吊舱设备预先标定的温度范围内的图像区域。
上述步骤中,红外相机在拍摄目标位置的红外图像后,将待处理的红外图像发送至光电吊舱设备的中央处理电路中。此时,中央处理电路采用分割算法将待处理图像分割为多个校正区域。其中,分割算法可采用边缘检测算法或基于图论的分割算法。本申请光电吊舱设备在分割待处理图像时,首先需要获取待处理图像的图像信息,图像信息包括图像尺寸、拍摄时间以及拍摄精度。其中,图像尺寸可以理解为图像的尺寸大小,例如,图像尺寸可以表示为1024×1024的尺寸;拍摄时间可以理解为红外相机捕捉画面的时间;拍摄精度可以理解为图像中像素点的数量,在同样大小的图像尺寸下像素点越多,拍摄精度越高。然后根据图像信息将待处理图像分割为多个校正区域。然后根据图像信息将待处理图像分割为多个校正区域,从而保证在不同拍摄条件下拍摄的红外图像的质量与分辨率满足需求。举例来说,若无人机装载光电吊舱设备拍摄地面的红外画面时,则此时红外相机处于高速移动的作业状态,对于画面捕捉时间十分短暂,为了节省校正过程的运算时间,则将每个校正区域的面积增加,从而节省算力处理更多的图像。若红外相机处于静止状态拍摄物体的温度变化情况,此时画面捕捉时间较长,则将每个校正区域的面积减少,将更多的***算力分配至图像校正处理中,从而得到质量与分辨率更高的图像。因此,待处理图像的分割尺寸根据实际情况而定。需要进行解释说明的是,由于光电吊舱设备存在测量误差,在待处理图像中可能存在某个像素点对应的温度值出现异常,因此每个校正区域的像素点数量至少为2个;另外,由于光电吊舱设备的运算能力有限,当划分校正区域过多时,则容易导致光电吊舱设备存储的数据冗杂,从而造成红外图像的成像效果不佳,因此校正区域的像素点数量不宜过多,每个校正区域的像素点数量上限根据红外处理芯片的性能决定,本申请在此处不做限定。
在一种可能的实施方式中,当待处理图像中包括环境温度不在红外相机预先标定的温度范围内的区域时,则需要将多个校正区域划分为标定区域与非标定区域。其中,标定区域可以理解为环境温度在光电吊舱设备预先标定的温度范围内的图像区域,非标定区域可以理解为环境温度不在光电吊舱设备预先标定的温度范围内的图像区域。此时,光电吊舱设备获取任意一块校正区域中各像素点对应的温度值,然后计算温度值在预设标定温度范围内的像素点数量占该校正区域中像素点总数量的比例,得到校正区域的温度比例;当校正区域的温度比例大于或等于预设比例阈值,则确定校正区域为标定区域,当校正区域的温度比例小于预设比例阈值时,则确定校正区域为非标定区域。其中,预设比例阈值优选为0.5。
举例来说,若校正区域包括800×600个像素点,通过红外相机的测量得到每个像素点对应的温度值。若在预设温度范围内的像素点有30万个,则校正区域的温度比例为0.625;根据预设比例阈值0.5,则确定该校正区域为标定区域,否则视为非标定区域。
S102、基于预设非均匀性校正系数表,对多个校正区域进行非均匀性校正,生成第一图像与第二图像;其中,第一图像为标定区域校正后的图像,第二图像为非标定区域校正后的图像,预设非均匀校正系数表包括温度与非均匀性校正系数的对应关系。
具体地,在对多个校正区域进行非均匀性校正之前,需要预先构建非均匀性校正系数表。具体构建方式为:首先确定一块相机成像视场范围内的区域作为构建区域。该区域应包含了红外相机成像时所有可能出现的物体类型和温度范围。在确定好构建区域后,在该区域内拍摄一组图像,覆盖整个温度范围。图像可以是温度逐步升高或降低的,也可以是随机温度分布的。将拍摄得到的校正图像输入到红外图像处理软件中,进行背景去除、噪声滤波等操作,以提高图像质量和准确度。然后,对每个像素点的温度值进行统计和分析,得到该区域内每个温度下的平均温度值。将每个温度下的平均温度值与该温度下的理论温度值进行比较,可以得到该温度下的校正系数。其中,校正系数为介于0和1之间的小数,用于校正该温度下可能存在的非均匀性。将得到的校正系数按照温度从低到高排列,构建非均匀性校正系数表。此时,非均匀性校正系数表包括温度与非均匀校正系数的对应关系。
在一种可能的实施方式中,在对标定区域进行校正时,首先获取第一校正区域的温度,第一校正区域为多个标定区域中任意一个区域,第一校正区域的温度可以理解为该区域内多个像素点的平均温度;然后将第一校正区域的温度与预设非均匀性校正系数表进行匹配,从而得到第一校正区域对应的校正系数;根据第一校正区域的校正系数对第一校正区域进行校正,即将第一校正区域中每个像素点的值乘以校正系数,以消除非均匀性带来的误差和偏差,最后生成第一图像。
举例来说,如图2所示,A图标预设非均匀校正系数表的一部分。在该图中包括10个温度以及10个温度对应的校正系数。B图为待处理图像,该图像中1号区域与3号区域为标定区域,并且1号区域包括4个像素点,对应的温度为24摄氏度,2号区域包括4个像素点,对应的温度为26摄氏度。此时光电吊舱设备从预设非均匀校正系数表中查询1号区域与3号区域各自对应的校正系数;其中,1号区域为0.65,2号区域为0.55。然后将1号区域内的每个像素点乘以0.635,2号区域内的每个像素点乘以0.525。最后生成校正后的图像,即C图。
在一种可能的实施方式中,在对非标定区域进行校正时,首先获取第二校正区域的温度,第二校正区域为多个非标定区域中任意一个区域。然后将第二校正域的温度与预设非均匀性校正系数表进行匹配,从而得到第二校正区域的温度相邻的两个温度,并查询这两个温度各自对应的校正系数;然后第二校正区域的温度相邻的两个温度以及两个温度各自对应的校正系数,通过二次差值算法计算得到第二校正区域对应的校正系数;其中,二次差值算法具体为:获取第二校正区域的温度相邻的两个温度,分别为第一温度与第二温度。计算第二校正区域的温度距离第一温度与第二温度的距离,分别为第一距离与第二距离。基于第一距离与第二距离分配第一温度与第二温度各自对应的校正系数权重,最后第一温度与第二温度各自对应的校正系数以及校正系数权重,计算得到第二校正区域的校正系数。计算公式如下:
;
其中,S为第二区域的校正系数,a为第一温度对应校正系数权重,b为第二温度对应校正系数权重,S1为第一温度对应校正系数,S2为第二温度对应校正系数。最后将第二校正区域中每个像素点的值乘以校正系数,生成第二图像。
举例来说,如图3所示,A图标预设非均匀校正系数表的一部分。在该图中包括10个温度以及10个温度对应的校正系数。B图为待处理图像,该图像中3号区域为非标定区域,3号区域包括4个像素点,对应的温度为25.5摄氏度。此时,3号区域对应的温度所相邻的两个温度分别为24摄氏度与26摄氏度。则第一距离为1.5,第二距离为0.5。则此时,第一温度对应的校准系数权重为0.75,第二温度对应的校正系数权重为0.25。根据预设非均匀性校正参数表得到第一温度对应的校正系数为0.65,第二温度对应的校准系数为0.55。根据二次差值算法,计算得到3号区域对应的校正系数为0.625。然后将3号区域内的每个像素点乘以0.625,最后生成校正后的图像,即D图。
S103、将第一图像与第二图像进行融合,生成高分辨红外图像。
具体地,首先待处理图像进行特征点标记,得到多个图像特征点;其中,一个图像特征点对应一个校正区域。根据待处理图像中的多个图像特征点,将第一图像中的多个标定区域进行标记,得到第一标记结果;其中,多个标定区域的位置对应待处理图像中标定区域的位置;并且将第二图像中的多个非标定区域进行标记,得到第二标记结果;其中,多个非标定区域的位置对应待处理图像中非标定区域的位置。最后,根据第一标记结果与第二标记结果,将多个标定区域与多个非标定区域进行拼接与融合,生成高分辨红外图像。
举例来说,如图4所示,A图为第一图像,B图为第二图像;其中,A图中1号区域与2号区域为标定区域;B图中3号区域与4号区域为非标定区域。a、b、c、d点为待处理图像中的多个标记点。a点与b点分别对应第一图像中的e点与f点,c点与d点分别对应第二图像中的g点与h点。然后,待处理图像、第一图像以及第二图像的对应点,在将4个校正区域进行校正后,将第一图像中的1号区域与2号区域、第二图像中的3号区域与4号区域提取出来。最后将1号区域、2号区域、3号区域以及4号区域拼接为C图,即高分辨红外图像。
本申请还提供一种无人机采集图像的非均匀性校正***,***为光电吊舱设备,如图5所示,光电吊舱设备包括获取模块1与处理模块2,其中:
获取模块1,用于获取待处理图像中的多个校正区域,多个校正区域包括标定区域与非标定区域,标定区域为环境温度在光电吊舱设备预先标定的温度范围内的图像区域,非标定区域为环境温度不在光电吊舱设备预先标定的温度范围内的图像区域;
处理模块2,用于基于预设非均匀性校正系数表,对多个校正区域进行非均匀性校正,生成第一图像与第二图像;其中,第一图像为标定区域校正后的图像,第二图像为非标定区域校正后的图像,预设非均匀校正系数表包括温度与非均匀性校正系数的对应关系;将第一图像与第二图像进行融合,生成高分辨红外图像。
在一种可能的实施方式中,获取模块1用于获取第一校正区域与第一校正区域对应的第一温度,第一校正区域为多个标定区域中任意一个;处理模块2用于将第一温度与预设非均匀校正系数表进行匹配,得到第一校正系数;采用第一校正系数对第一校正区域进行校正,生成第一图像。
在一种可能的实施方式中,获取模块1用于获取第二校正区域与第二校正区域对应的第二温度,第二校正区域为多个非标定区域中任意一个;
处理模块2用于将第二温度与预设非均匀校正系数表进行匹配,得到第二温度对应的相邻校正数据,相邻校正数据包括第二温度相邻的两个温度以及相邻两个温度各对应的校正系数;根据相邻校正数据,采用二次差值算法计算得到第二校正系数;采用第二校正系数对第二校正区域进行校正,生成第二图像。
在一种可能的实施方式中,获取模块1用于将待处理图像进行特征点标记,得到多个图像特征点;
处理模块2用于基于多个图像特征点,将第一图像中的多个标定区域进行标记,得到第一标记结果;以及将第二图像中的多个非标定区域进行标记,得到第二标记结果,第一标记结果包括第一图像中多个标定区域各对应的标记点的位置,第二标记结果包括第二图像中多个非标定区域各对应的标记点的位置;基于第一标记结果与第二标记结果,将多个标定区域与多个非标点区域进行拼接,生成高分辨红外图像。
在一种可能的实施方式中,获取模块1用于采用图像分割算法将待处理图像进行分割;获取第三校正区域中各像素点对应的温度值,第三校正区域为待处理图像中分割后多个校正区域中任意一个;
处理模块2用于基于第三校正区域中各像素点对应的温度值,确定第三校正区域的温度比例,温度比例为温度值在预设标定温度范围内的像素点数量占第三校正区域中像素点数量的比值;基于温度比例确定标定区域与非标定区域。
在一种可能的实施方式中,当温度比例大于或等于预设比例阈值时,则处理模块2确定第三校正区域为标定区域;当温度比例小于预设比例阈值时,则处理模块2确定第三校正区域为非标定区域。
在一种可能的实施方式中,获取模块1用于获取待处理图像的图像信息,图像信息包括图像尺寸与拍摄时间;
处理模块2用于基于图像信息,确定待处理图像的分割尺寸;根据分割尺寸,将待处理图像分割为多个校正区域。
需要说明的是:上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置和方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请还提供一种电子设备。参照图6,图6是本申请实施例的公开的一种电子设备的结构示意图。该电子设备600可以包括:至少一个处理器601,至少一个网络接口604,用户接口603,存储器605,至少一个通信总线602。
其中,通信总线602用于实现这些组件之间的连接通信。
其中,用户接口603可以包括显示屏(Display)、摄像头(Camera),可选用户接口603还可以包括标准的有线接口、无线接口。
其中,网络接口604可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器601可以包括一个或者多个处理核心。处理器601利用各种接口和线路连接整个服务器内的各个部分,通过运行或执行存储在存储器605内的指令、程序、代码集或指令集,以及调用存储在存储器605内的数据,执行服务器的各种功能和处理数据。可选的,处理器601可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器601可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器601中,单独通过一块芯片进行实现。
其中,存储器605可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器605包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及的数据等。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。参照图6,作为一种计算机存储介质的存储器605中可以包括操作***、网络通信模块、用户接口模块以及一种无人机采集图像的非均匀性校正方法的应用程序。
在图6所示的电子设备600中,用户接口603主要用于为用户提供输入的接口,获取用户输入的数据;而处理器601可以用于调用存储器605中存储一种无人机采集图像的非均匀性校正方法的应用程序,当由一个或多个处理器601执行时,使得电子设备600执行如上述实施例中一个或多个所述的方法。需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中,应该理解到,所披露的装置,可通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后,将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
Claims (10)
1.一种无人机采集图像的非均匀性校正方法,其特征在于,应用于光电吊舱设备,所述方法包括:
获取待处理图像中的多个校正区域,多个所述校正区域包括标定区域与非标定区域,所述标定区域为环境温度在所述光电吊舱设备预先标定的温度范围内的图像区域,所述非标定区域为环境温度不在所述光电吊舱设备预先标定的温度范围内的图像区域;
基于预设非均匀性校正系数表,对多个所述校正区域进行非均匀性校正,生成第一图像与第二图像;其中,所述第一图像为所述标定区域校正后的图像,所述第二图像为所述非标定区域校正后的图像,所述预设非均匀校正系数表包括温度与非均匀性校正系数的对应关系;
将所述第一图像与所述第二图像进行融合,生成高分辨红外图像。
2.根据权利要求1所述的方法,其特征在于,所述基于预设非均匀性校正系数表,对多个所述校正区域进行非均匀性校正,生成第一图像,具体为:
获取第一校正区域与所述第一校正区域对应的第一温度,所述第一校正区域为多个所述标定区域中任意一个;
将所述第一温度与所述预设非均匀校正系数表进行匹配,得到第一校正系数;
采用所述第一校正系数对所述第一校正区域进行校正,生成所述第一图像。
3.根据权利要求1所述的方法,其特征在于,所述基于预设非均匀性校正系数表,对多个所述校正区域进行非均匀性校正,生成第二图像,具体为:
获取第二校正区域与所述第二校正区域对应的第二温度,所述第二校正区域为多个所述非标定区域中任意一个;
将所述第二温度与所述预设非均匀校正系数表进行匹配,得到所述第二温度对应的相邻校正数据,所述相邻校正数据包括所述第二温度相邻的两个温度以及所述相邻两个温度各对应的校正系数;
根据所述相邻校正数据,采用二次差值算法计算得到第二校正系数;
采用所述第二校正系数对所述第二校正区域进行校正,生成第二图像。
4.根据权要1所述的方法,其特征在于,所述将所述第一图像与所述第二图像进行融合,生成高分辨红外图像,具体为:
将所述待处理图像进行特征点标记,得到多个图像特征点;
基于多个所述图像特征点,将所述第一图像中的多个标定区域进行标记,得到第一标记结果;以及将第二图像中的多个非标定区域进行标记,得到第二标记结果,所述第一标记结果包括所述第一图像中多个标定区域各对应的标记点的位置,所述第二标记结果包括所述第二图像中多个非标定区域各对应的标记点的位置;
基于所述第一标记结果与所述第二标记结果,将多个所述标定区域与多个所述非标定区域进行拼接,生成所述高分辨红外图像。
5.根据权利要求1所述的方法,其特征在于,所述获取待处理图像中的多个校正区域,具体为:
采用图像分割算法将所述待处理图像进行分割;
获取第三校正区域中各像素点对应的温度值,所述第三校正区域为所述待处理图像中分割后多个所述校正区域中任意一个;
基于所述第三校正区域中各像素点对应的温度值,确定所述第三校正区域的温度比例,所述温度比例为温度值在预设标定温度范围内的像素点数量占所述第三校正区域中像素点数量的比值;
基于所述温度比例确定所述标定区域与所述非标定区域。
6.根据权利要求5所述的方法,其特征在于,所述基于所述温度比例确定所述标定区域与所述非标定区域,具体为:
当所述温度比例大于或等于预设比例阈值时,则确定所述第三校正区域为标定区域;
当所述温度比例小于预设比例阈值时,则确定所述第三校正区域为非标定区域。
7.根据权利要求5所述的方法,其特征在于,所述采用图像分割算法将所述待处理图像进行分割,具体为:
获取所述待处理图像的图像信息,所述图像信息包括图像尺寸与拍摄时间;
基于所述图像信息,确定所述待处理图像的分割尺寸;
根据所述分割尺寸,将所述待处理图像分割为多个所述校正区域。
8.一种无人机采集图像的非均匀性校正***,其特征在于,所述***为光电吊舱设备,所述光电吊舱设备包括获取模块(1)与处理模块(2),其中:
所述获取模块(1),用于获取待处理图像中的多个校正区域,多个所述校正区域包括标定区域与非标定区域,所述标定区域为环境温度在所述光电吊舱设备预先标定的温度范围内的图像区域,所述非标定区域为环境温度不在所述光电吊舱设备预先标定的温度范围内的图像区域;
所述处理模块(2),用于基于预设非均匀性校正系数表,对多个所述校正区域进行非均匀性校正,生成第一图像与第二图像;其中,所述第一图像为所述标定区域校正后的图像,所述第二图像为所述非标定区域校正后的图像,所述预设非均匀校正系数表包括温度与非均匀性校正系数的对应关系;将所述第一图像与所述第二图像进行融合,生成高分辨红外图像。
9.一种电子设备,其特征在于,包括处理器(601)、存储器(605)、用户接口(603)及网络接口(604),所述存储器(605)用于存储指令,所述用户接口(603)和网络接口(604)用于给其他设备通信,所述处理器(601)用于执行所述存储器(605)中存储的指令,以使所述电子设备(600)执行如权利要求1至7任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如权利要求1至7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311158339.XA CN116952391A (zh) | 2023-09-08 | 2023-09-08 | 一种无人机采集图像的非均匀性校正方法与*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311158339.XA CN116952391A (zh) | 2023-09-08 | 2023-09-08 | 一种无人机采集图像的非均匀性校正方法与*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116952391A true CN116952391A (zh) | 2023-10-27 |
Family
ID=88458580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311158339.XA Pending CN116952391A (zh) | 2023-09-08 | 2023-09-08 | 一种无人机采集图像的非均匀性校正方法与*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116952391A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030234796A1 (en) * | 2002-06-24 | 2003-12-25 | Koninklijke Philips Electronics N.V. | Color non-uniformity correction method and apparatus |
US20120038660A1 (en) * | 2010-08-12 | 2012-02-16 | Samsung Electronics Co., Ltd. | Display apparatus and image correction method of the same |
CN103308178A (zh) * | 2013-06-04 | 2013-09-18 | 电子科技大学 | 一种非制冷红外焦平面阵列的非均匀性校正方法 |
CN105841821A (zh) * | 2016-06-08 | 2016-08-10 | 南京理工大学 | 基于定标的无挡片的非均匀性校正装置及其方法 |
-
2023
- 2023-09-08 CN CN202311158339.XA patent/CN116952391A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030234796A1 (en) * | 2002-06-24 | 2003-12-25 | Koninklijke Philips Electronics N.V. | Color non-uniformity correction method and apparatus |
US20120038660A1 (en) * | 2010-08-12 | 2012-02-16 | Samsung Electronics Co., Ltd. | Display apparatus and image correction method of the same |
CN103308178A (zh) * | 2013-06-04 | 2013-09-18 | 电子科技大学 | 一种非制冷红外焦平面阵列的非均匀性校正方法 |
CN105841821A (zh) * | 2016-06-08 | 2016-08-10 | 南京理工大学 | 基于定标的无挡片的非均匀性校正装置及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10645364B2 (en) | Dynamic calibration of multi-camera systems using multiple multi-view image frames | |
US10931901B2 (en) | Method and apparatus for selectively correcting fixed pattern noise based on pixel difference values of infrared images | |
CN110517209B (zh) | 数据处理方法、装置、***以及计算机可读存储介质 | |
WO2019171984A1 (ja) | 信号処理装置、信号処理方法、及び、プログラム | |
CN111693147A (zh) | 温度补偿的方法、装置、电子设备及计算机可读存储介质 | |
WO2013052600A1 (en) | Using videogrammetry to fabricate parts | |
CN112529807B (zh) | 卫星影像的相对辐射校正方法和装置 | |
CN107403410B (zh) | 一种热红外图像的拼接方法 | |
CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
CN111383254A (zh) | 一种深度信息获取方法、***及终端设备 | |
CN104636743A (zh) | 文字图像校正的方法和装置 | |
CN112991202B (zh) | 光心位置的校准方法、终端设备及计算机可读存储介质 | |
CN112484846B (zh) | 一种利用红外波段测量空中点目标辐射照度的方法及装置 | |
CN113962876B (zh) | 一种像素畸变的校正方法、校正装置及终端 | |
CN113766203B (zh) | 一种图像白平衡处理方法 | |
CN113272855B (zh) | 用于重叠多图像应用的响应归一化 | |
CN110673114B (zh) | 校准三维相机深度的方法、装置、计算机装置及存储介质 | |
CN112989872B (zh) | 一种目标检测方法以及相关装置 | |
CN116952391A (zh) | 一种无人机采集图像的非均匀性校正方法与*** | |
CN116708756A (zh) | 传感器的精度检测方法、检测装置、电子设备和存储介质 | |
CN114693807B (zh) | 一种输电线路图像与点云的映射数据重构方法及*** | |
WO2018139297A1 (ja) | カメラ装置 | |
CN113496505B (zh) | 图像配准方法、装置、多光谱相机、无人设备及存储介质 | |
CN114359425A (zh) | 正射图像生成方法及装置、正射指数图生成方法及装置 | |
Wegner et al. | Image based performance analysis of thermal imagers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |