WO2021217392A1 - 红外图像降噪方法、装置及设备 - Google Patents
红外图像降噪方法、装置及设备 Download PDFInfo
- Publication number
- WO2021217392A1 WO2021217392A1 PCT/CN2020/087386 CN2020087386W WO2021217392A1 WO 2021217392 A1 WO2021217392 A1 WO 2021217392A1 CN 2020087386 W CN2020087386 W CN 2020087386W WO 2021217392 A1 WO2021217392 A1 WO 2021217392A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- infrared image
- noise
- image
- image frame
- infrared
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001914 filtration Methods 0.000 claims abstract description 87
- 230000004927 fusion Effects 0.000 claims description 50
- 230000000875 corresponding effect Effects 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Definitions
- This application relates to the field of image processing technology, and in particular to an infrared image noise reduction method, device and equipment.
- infrared thermal imaging With the development of infrared thermal imaging technology, infrared imaging has been widely used in many fields such as military, medical, navigation, and remote sensing, and has broad application prospects.
- the infrared image generated by the infrared imaging system has a lot of noise, and reducing the noise of the infrared image is a necessary part of infrared image processing.
- the infrared image is filtered based on the spatial information to reduce the noise of the infrared image.
- the method of processing infrared images based on spatial information to reduce infrared image noise has very limited noise filtering effect on infrared images.
- the embodiments of the present application provide an infrared image noise reduction method, device, and equipment to improve the effect of infrared image noise filtering.
- an embodiment of the present application provides an infrared image noise reduction method, including:
- a noise reduction infrared image of the first infrared image frame is obtained.
- an embodiment of the present application provides an infrared image noise reduction device, including: a memory and a processor;
- the memory is used to store program code
- the processor calls the program code, and when the program code is executed, is used to perform the following operations:
- a noise reduction infrared image of the first infrared image frame is obtained.
- an embodiment of the present application provides an unmanned aerial vehicle, the unmanned aerial vehicle including a fuselage, a power system provided on the fuselage, an infrared photographing device, and an infrared image noise reduction device;
- the power system is used to provide power for the UAV
- the infrared photographing device is used for video photographing during the flight of the drone;
- the infrared image noise reduction device includes a memory and a processor
- the memory is used to store program code
- the processor calls the program code, and when the program code is executed, is used to perform the following operations:
- a noise reduction infrared image of the first infrared image frame is obtained.
- an embodiment of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes at least one piece of code, the at least one piece of code can be executed by a computer to control the The computer executes the method described in any one of the above-mentioned first aspects.
- an embodiment of the present application provides a computer program, when the computer program is executed by a computer, it is used to implement the method described in any one of the above-mentioned first aspects.
- the embodiments of the present application provide an infrared image noise reduction method, device, and equipment.
- the first infrared image frame and the second infrared image frame captured by an infrared camera are acquired, and the first infrared image frame is filtered in space to obtain the first infrared image.
- the first noise-reduced image of the image frame is time-domain filtered based on the first infrared image frame and the second infrared image frame to obtain the second noise-reduced image of the first infrared image frame, and the first noise-reduced image and the second noise-reduced image
- the third noise reduction image of the first infrared image frame is obtained by fusion, and the noise reduction infrared image of the first infrared image frame is obtained according to the third noise reduction image, which realizes the combination of time domain information and spatial information to filter the infrared image. Filtering the time domain noise and spatial noise of the infrared image, compared with the infrared image processing only based on the spatial information can only filter the spatial noise, the noise filtering effect of the infrared image is improved.
- FIG. 1 is a schematic diagram of an application scenario of an infrared image noise reduction method provided by an embodiment of the application
- FIG. 2 is a schematic flowchart of an infrared image noise reduction method provided by an embodiment of the application
- FIG. 3 is a schematic flowchart of an infrared image noise reduction method provided by another embodiment of the application.
- FIG. 4 is a schematic diagram of an infrared image noise reduction method provided by an embodiment of the application.
- FIG. 5 is a schematic structural diagram of an infrared image noise reduction device provided by an embodiment of the application.
- Fig. 6 is a schematic structural diagram of a drone provided by an embodiment of the application.
- the infrared image noise reduction method provided by the embodiments of this application can be applied to the infrared image noise reduction system 10 shown in FIG.
- the infrared image noise reduction device 12 is used to capture infrared image frames, and the infrared image noise reduction device 12 is used to obtain the infrared image frames captured by the infrared photography device 11, and the infrared image frames are processed by the infrared image noise reduction method provided in the embodiments of the present application.
- the infrared image noise reduction system 10 can be applied to any type of scene where infrared images need to be captured and the captured infrared images are reduced in noise.
- the infrared image noise reduction system 10 may be applied to an unmanned aerial vehicle.
- the unmanned aerial vehicle may include an infrared photographing device 11 and an infrared image noise reduction device 12.
- the unmanned aerial vehicle may be, for example, a quad-rotor unmanned aerial vehicle.
- the unmanned aerial vehicle may also be of other types, which is not limited in this application.
- the first infrared image frame captured by the infrared camera is subjected to spatial filtering to obtain the first noise reduced image, based on the first infrared image frame and the second infrared image frame captured by the infrared camera.
- the infrared image frame is filtered in time domain to obtain the second noise reduction image
- the first noise reduction image and the second noise reduction image are fused to obtain the third noise reduction image
- the reduction of the first infrared image frame is obtained according to the third noise reduction image noisysy infrared image, improve the noise filtering effect of infrared image.
- FIG. 2 is a schematic flowchart of an infrared image noise reduction method provided by an embodiment of the application.
- the execution subject of this embodiment may be the infrared image noise reduction device 12, and specifically may be the processor of the infrared image noise reduction device 12.
- the method of this embodiment may include:
- Step 201 Obtain a first infrared image frame and a second infrared image frame captured by an infrared camera.
- the first infrared image frame and the second infrared image frame are different infrared image frames. Since the shooting moments of different image frames must be different, the first infrared image frame and the second infrared image frame have a sequential relationship in the time domain.
- the second infrared image frame may be photographed by an infrared photographing device before the first infrared image frame is photographed.
- the second infrared image frame may be an image of the previous frame of the first infrared image frame.
- the second infrared image frame may be photographed by an infrared photographing device after photographing the first infrared image frame.
- the second infrared image frame may be an image subsequent to the first infrared image frame.
- the second infrared image frame may be the first The first multi-frame image of the infrared image frame, or the second infrared image frame may be the last multi-frame image of the first infrared image frame.
- the current shooting scene of the infrared camera is a sports scene and the motion speed is greater than a certain level, in order to avoid that the scene captured by the second infrared image frame is different from the scene captured by the first infrared image frame due to the jump of the captured scene, resulting in degradation.
- the second infrared image frame may be the previous frame or the subsequent frame of the first infrared image frame.
- Step 202 Perform spatial filtering on the first infrared image frame to obtain a first denoising image of the first infrared image frame.
- the spatial domain is the abbreviation of the spatial domain, and the spatial domain is also called image space, which refers to the space composed of image pixels.
- Spatial filtering is to filter the pixel values of the image frame in an image frame. By performing spatial filtering on the first infrared image frame, the spatial noise of the first infrared image frame can be filtered out, that is, the first noise reduction image is an image obtained by the first infrared image frame through noise reduction processing in the spatial domain. It should be noted that specific methods for spatial filtering can be implemented flexibly according to requirements.
- step 203 may specifically include: using Gaussian filtering to perform spatial filtering on the first infrared image frame to obtain the first denoising image of the first infrared image frame. That is, in an embodiment, a Gaussian filter may be used to perform filtering processing on the first infrared image frame to obtain the first noise-reduced image.
- Step 203 Perform time-domain filtering based on the first infrared image frame and the second infrared image frame to obtain a second noise reduction image of the first infrared image frame.
- Time-domain filtering is to combine at least two image frames existing in chronological order to filter the pixel value of one of the at least two image frames.
- Time-domain filtering based on the first infrared image frame and the second infrared image frame can reduce the time-domain noise of the first infrared image frame, that is, the second noise-reduction image is the first infrared image frame that undergoes noise reduction processing in the time domain The resulting image.
- a filtering operation (hereinafter referred to as the first filtering calculation) may be performed on the pixel values of the corresponding pixel positions in the first infrared image frame and the second infrared image frame to obtain the first infrared image The second noise-reduced image of the frame.
- the first filtering operation can be flexibly implemented according to requirements.
- the first filtering calculation can be specifically Averaging, that is, by averaging the pixel values of the corresponding pixel positions in the first infrared image frame and the second infrared image frame, the second noise-reduction image of the first infrared image frame can be obtained, which is beneficial to simplify the implementation .
- the position of the pixel in the image (ie, the pixel position) can be represented by the pixel coordinates, and the corresponding pixel position can refer to the position corresponding to the same pixel coordinate, for example, the pixel coordinate in the first infrared image frame (1,2) and pixel coordinates (1,2) in the second infrared image frame are corresponding pixel positions.
- step 203 there is no restriction on the sequence of step 203 and step 202.
- Step 204 fusing the first noise-reduction image and the second noise-reduction image to obtain a third noise-reduction image of the first infrared image frame.
- mathematical operations may be performed on the pixel values of the corresponding pixel positions in the first noise-reduced image and the second noise-reduced image, so as to realize the first noise-reduction image and the second noise-reduction image. Fusion to obtain the third denoising image of the first infrared image frame.
- the second noise-reduction image is an image obtained by noise reduction processing of the first infrared image frame in the spatial domain.
- the noise-reduced image and the second noise-reduced image can obtain the third noise-reduced image of the first infrared image frame that reduces both temporal noise and spatial noise, that is, the third noise-reduced image is the first infrared image in the time domain and The image obtained by noise reduction processing in the spatial domain.
- the pixel values of corresponding pixel positions in the first infrared image frame and the second infrared image frame may be averaged to realize the fusion of the first noise-reduced image and the second noise-reduced image to obtain the result
- the third noise reduction image of the first infrared image frame may be averaged to realize the fusion of the first noise-reduced image and the second noise-reduced image to obtain the result
- the third noise reduction image of the first infrared image frame may be averaged to realize the fusion of the first noise-reduced image and the second noise-reduced image to obtain the result
- the third noise reduction image of the first infrared image frame may be averaged to realize the fusion of the first noise-reduced image and the second noise-reduced image to obtain the result
- the third noise reduction image of the first infrared image frame may be averaged to realize the fusion of the first noise-reduced image and the second noise-reduced image to obtain the result
- Step 205 Obtain a noise-reduced infrared image of the first infrared image frame according to the third noise-reduced image.
- the noise reduction infrared image of the first infrared image frame can be obtained according to the third noise reduction image, wherein, the noise reduction infrared image is the final result image obtained by performing image noise reduction processing on the first infrared image frame.
- the third noise-reduced image in the case that the third noise-reduced image can be used as the final result image obtained by performing image noise reduction processing on the first infrared image frame, the third noise-reduced image may be used as the reduced noise of the first infrared image frame.
- noisy infrared image step 205 may specifically include: using the third noise-reduced image as the noise-reduced infrared image of the first infrared image frame.
- the third noise-reduced image may be further processed based on the image.
- the result is the noise-reduced infrared image of the first infrared image frame.
- step 205 may specifically include: performing mathematical calculations based on the second noise-reduction image to obtain the noise-reduction infrared image of the first infrared image frame.
- the first infrared image frame captured by the infrared camera is subjected to spatial filtering to obtain the first noise reduced image, based on the first infrared image frame and the second infrared image frame captured by the infrared camera.
- the second noise-reduction image obtained by time-domain filtering of the infrared image frame, the first noise-reduction image and the second noise-reduction image are fused to obtain the third noise-reduction image, and the image of the first infrared image frame is obtained according to the third noise-reduction image
- Noise reduction infrared image which realizes the combination of time domain information and spatial information to filter the infrared image, which can filter the time domain noise and spatial noise of the infrared image, and the infrared image processing based on only the spatial information can only filter the spatial noise.
- the noise filtering effect of infrared image is improved.
- FIG. 3 is a schematic flowchart of an infrared image noise reduction method provided by another embodiment of the application.
- This embodiment mainly describes an optional implementation manner of fusing the first noise-reduced image and the second noise-reduced image on the basis of the embodiment shown in FIG. 2.
- the method of this embodiment may include:
- Step 301 Obtain a first infrared image frame and a second infrared image frame captured by the infrared camera.
- step 301 is similar to step 201, and will not be repeated here.
- Step 302 Perform spatial filtering on the first infrared image frame to obtain a first denoising image of the first infrared image frame.
- step 302 is similar to step 202, and will not be repeated here.
- Step 303 Perform time-domain filtering based on the first infrared image frame and the second infrared image frame to obtain a second noise reduction image of the first infrared image frame.
- step 303 is similar to step 203, and will not be repeated here.
- Step 304 Obtain a noise image of the first infrared image frame according to the first infrared image frame and the first noise reduction image.
- the noise image can be used to characterize the noise of the first infrared image frame in the spatial domain.
- the pixel value at a pixel position in the noise image may represent the noise intensity in the spatial domain of the pixel position in the first infrared image frame.
- the pixel value of a pixel position in the first noise reduction image is the pixel position in the first infrared image frame
- the pixel value of is the result after filtering out the spatial noise. Therefore, based on the first denoised image and the first infrared image frame, the spatial noise filtered out during the spatial denoising can be determined, so as to obtain the first infrared image frame for characterizing The noise image of the temporal noise situation.
- the noise image can be based on the first infrared image frame and the comparison.
- the difference between the pixel values of the corresponding pixels in the first noise reduction image obtained by performing spatial noise reduction processing on the first infrared image frame is obtained.
- the obtaining the noise image of the first infrared image frame according to the first infrared image frame and the first noise reduction image may specifically include: determining the first infrared image frame and the first infrared image frame
- the noise image of the first infrared image frame is obtained according to the difference between the pixel values of the corresponding pixel positions in a noise reduction image.
- the pixel value of a pixel coordinate in the noise image may be equal to the difference between the pixel value of the pixel coordinate in the first infrared image frame and the first noise reduction image.
- step 304 there is no restriction on the order of step 304 and step 303.
- Step 305 Based on the noise image, fuse the first noise reduction image and the second noise reduction image to obtain a third noise reduction image of the first infrared image frame.
- the noise image determined in step 304 may be considered when fusing the first noise-reduced image and the second noise-reduced image.
- the noise image is used to characterize the noise condition of the first infrared image frame in the spatial domain, and the noise image is determined based on the first infrared image frame and the first denoising image obtained by performing spatial filtering on the first infrared image frame, Spatial filtering will blur the edges of objects to a certain extent when eliminating spatial noise. Therefore, the edge pixels occupied by the edge of the moving object in the first infrared image frame and the multiple adjacent pixels adjacent to the edge pixels other than the pixels occupied by the moving object will have a larger noise intensity in the noise image.
- the first infrared image frame and the first infrared image frame are merged.
- the weight of the pixel value of the pixel position in the first denoised image may be greater than the weight of the pixel value of the pixel position in the second denoised image, so as to reduce the weight of the corresponding pixel position in the second denoised image.
- step 305 may specifically include: determining a first fusion weight of the first noise-reduced image and a second fusion weight of the second noise-reduced image according to the noise image; the first fusion weight and noise The intensity is positively correlated, and/or the second fusion weight is negatively correlated with the noise intensity; and, according to the first fusion weight and the second fusion weight, the first noise reduction image and the second noise reduction image Perform fusion.
- the first fusion weight and the second fusion weight may be obtained by normalization according to the pixel value of the pixel position corresponding to the noise image.
- the first fusion weight may specifically be an image of the fusion weight (hereinafter referred to as the first weight image), the first The pixel value of a pixel position of the weighted image may be the fusion weight of the pixel position of the first denoising image.
- the second fusion weight may specifically be an image of the fusion weight (hereinafter referred to as the second weight image), and the second weight image is a pixel position
- the pixel value of may be the fusion weight of the pixel position of the second noise reduction image.
- the noise intensity of each pixel in the noise image can be divided by 255 to obtain an image after the pixel value of the noise image is normalized (it can be denoted as a normalized image below).
- the normalized image can be used as the first weighted image, and the difference between the pixel values of the corresponding pixel positions of the preset image and the normalized image can be used to obtain the second weighted image. Images whose values are all 1.
- Step 306 Obtain a noise-reduced infrared image of the first infrared image frame according to the third noise-reduced image.
- step 306 may specifically include: performing a filtering operation on the pixel values of the corresponding pixel positions in the third noise reduction image and the second infrared image frame (hereinafter referred to as the second filtering calculation), Obtain the noise-reducing infrared image of the first infrared image frame.
- the noise-reduced infrared image of the first infrared image frame is obtained by filtering and calculating the pixel values of the object pixel position of the third infrared image frame and the second infrared image frame, which achieves the purpose of smoothing the front and rear frames and avoids the front and rear frames.
- the large difference in filter intensity causes the problem of visual screen jumps, which is beneficial to improve the user's viewing experience.
- the second filtering operation can be flexibly implemented according to requirements.
- the second filtering calculation can specifically be For averaging, the pixel values of corresponding pixel positions in the third noise-reduction image and the second infrared image frame may be averaged to obtain the noise-reduction infrared image of the first infrared image frame.
- a noise image is obtained according to the first infrared image frame and the first noise reduction image, and the first noise reduction image and the second noise reduction image are fused based on the noise image to obtain the first noise reduction image.
- the third noise reduction image of the infrared image frame realizes that the determined noise image can be considered when fusing the first noise reduction image and the second noise reduction image, which is beneficial to reduce the smear or moving object on the edge of the moving object in the fusion result It is regarded as a problem of noise filtering.
- the infrared image noise reduction method for the first infrared image frame may be as shown in FIG. 4.
- one process includes: performing spatial filtering on the current infrared image frame to obtain the first denoising image of the current infrared image frame; and determining the noise of the current infrared image frame based on the current infrared image frame and its first denoising image image.
- the other processing includes: performing temporal filtering based on the current infrared image frame and the previous frame of the current infrared image frame to obtain the second noise reduction image of the current infrared image frame.
- the results of the two-way processing can be combined for further processing.
- the first noise-reduced image and the second noise-reduced image may be fused based on the noise image to obtain the third noise-reduced image of the current infrared image frame.
- the third noise reduction image and the pixel value of the corresponding pixel position in the previous frame image of the current infrared image frame are filtered, and finally the noise reduction infrared image of the current infrared image frame is obtained.
- the current infrared image frame is used as the first infrared image frame
- the previous frame of the current infrared image frame is used as the second infrared image frame, which is beneficial to improve the real-time performance of infrared image frame processing, and can avoid
- the second infrared image frame is different from the scene captured by the first infrared image frame, which leads to the problem of abnormal noise reduction results.
- further processing may be performed based on the final result image obtained by performing image noise reduction processing on the first infrared image frame.
- the noise-reducing infrared image may also be displayed. Since the denoising infrared image is obtained by filtering the first infrared image by combining time domain information and spatial information, the time domain noise and spatial noise of the first infrared image frame are filtered out, so the denoising infrared image can better suppress the first infrared image.
- the noise in the infrared image frame highlights the effective information of the first infrared image frame.
- temperature information may be determined according to the noise-reducing infrared image. Since the noise-reduced infrared image can better suppress the noise in the first infrared image frame and highlight the effective information of the first infrared image frame, the accuracy of the determined temperature information can be improved by determining the temperature information according to the noise-reduced infrared image sex.
- FIG. 5 is a schematic structural diagram of an infrared image noise reduction device provided by an embodiment of the application. As shown in FIG. 5, the device 500 may include a processor 501 and a memory 502.
- the memory 502 is used to store program codes
- the processor 501 calls the program code, and when the program code is executed, is configured to perform the following operations:
- a noise reduction infrared image of the first infrared image frame is obtained.
- the infrared image noise reduction device provided in this embodiment can be used to implement the technical solutions of the foregoing method embodiments, and its implementation principles and technical effects are similar to those of the method embodiments, and will not be repeated here.
- FIG. 6 is a schematic structural diagram of an unmanned aerial vehicle provided by an embodiment of the application.
- the unmanned aerial vehicle 60 includes a fuselage 601, a power system 602 provided on the fuselage 601, and an infrared camera 603 And infrared image noise reduction device 604;
- the power system 602 is used to provide power for the UAV
- the infrared camera 603 is used for video shooting during the flight of the drone;
- the infrared image noise reduction device 604 includes a memory and a processor
- the memory is used to store program code
- the processor calls the program code, and when the program code is executed, is used to perform the following operations:
- a noise reduction infrared image of the first infrared image frame is obtained.
- the drone 60 may further include a pan/tilt 605, and the infrared camera 603 may be set on the fuselage 601 through the pan/tilt 605.
- the drone can also include other components or devices, which are not listed here.
- a person of ordinary skill in the art can understand that all or part of the steps in the foregoing method embodiments can be implemented by a program instructing relevant hardware.
- the aforementioned program can be stored in a computer readable storage medium. When the program is executed, it executes the steps including the foregoing method embodiments; and the foregoing storage medium includes: ROM, RAM, magnetic disk, or optical disk and other media that can store program codes.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种红外图像降噪方法、装置及设备。该方法包括：获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧，对第一红外图像帧进行空域滤波得到第一降噪图像，基于第一红外图像帧和第二红外图像帧进行时域滤波得到第二降噪图像，对第一降噪图像和第二降噪图像进行融合得到第三降噪图像，并根据第三降噪图像得到第一红外图像帧的降噪红外图像。本申请提高了红外图像的噪声滤除效果。
Description
本申请涉及图像处理技术领域，尤其涉及一种红外图像降噪方法、装置及设备。
随着红外热成像技术的发展，红外成像已经广泛应用于军事、医疗、导航、遥感等众多领域，具有广阔的应用前景。
由于受到成像工艺、水平和材料的限制，红外成像***生成的红外图像存在大量的噪声，降低红外图像的噪声是红外图像处理的必要环节。通常，是基于空域信息对红外图像进行滤波处理，以降低红外图像的噪声。但是，基于空域信息对红外图像进行处理以降低红外图像噪声的方式，对红外图像的噪声滤除效果非常有限。
因此，现有技术中亟需一种能够提升红外图像噪声滤除效果的方式。
发明内容
本申请实施例提供一种红外图像降噪方法、装置及设备，用以提升红外图像噪声滤除效果。
第一方面，本申请实施例提供一种红外图像降噪方法，包括：
获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；
对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；
基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；
对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像；
根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
第二方面，本申请实施例提供一种红外图像降噪装置，包括：存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；
对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；
基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；
对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像；
根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
第三方面，本申请实施例提供一种无人机，所述无人机包括机身、设置于所述机身上的动力***、红外拍摄装置和红外图像降噪装置；
所述动力***，用于为所述无人机提供动力；
所述红外拍摄装置，用于在所述无人机飞行过程中进行视频拍摄；
所述红外图像降噪装置包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；
对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；
基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；
对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像；
根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第一方面任一项所述的方法。
第五方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第一方面任一项所述的方法。
本申请实施例提供一种红外图像降噪方法、装置及设备，通过获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧，对第一红外图像帧进行空域滤波得到第一红外图像帧的第一降噪图像，基于第一红外图像帧和第二红外图像帧进行时域滤波得到第一红外图像帧的第二降噪图像，对第一降噪图像和第二降噪图像进行融合得到第一红外图像帧的第三降噪图像，并根据第三降噪图像得到第一红外图像帧的降噪红外图像，实现了结合时域信息和空域信息对红外图像进行滤波，能够滤除红外图像的时域噪声和空域噪声，与只基于空域信息对红外图像进行处理只能滤除空域噪声相比，提高了红外图像的噪声滤除效果。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的红外图像降噪方法的应用场景示意图；
图2为本申请一实施例提供的红外图像降噪方法的流程示意图；
图3为本申请另一实施例提供的红外图像降噪方法的流程示意图；
图4为本申请一实施例提供的红外图像降噪方法的示意图；
图5为本申请一实施例提供的红外图像降噪装置的结构示意图；
图6为本申请一实施例提供的无人机的结构示意图。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的红外图像降噪方法可以应用于如图1所示的红外图像降噪***10，红外图像降噪***10包括红外拍摄装置11和红外图像降噪装置12，红外拍摄装置11用于拍摄红外图像帧，红外图像降噪装置12用于获得红外拍摄装置11拍摄得到的红外图像帧，并针对红外图像帧采用本申请实施例提供的红外图像降噪方法进行处理。
红外图像降噪***10可以应用于需要拍摄红外图像，并对拍摄到的红外图像进行降噪的任意类型场景。示例性的，红外图像降噪***10可以应用于无人机，具体的，无人机可以包括红外拍摄装置11和红外图像降噪装置12。无人机例如可以为四旋翼无人机，当然，在其他实施例中，无人机还可以为其他类型，本申请对此不做限定。
本申请实施例提供的红外图像降噪方法，通过对红外拍摄装置拍摄得到的第一红外图像帧进行空域滤波得到第一降噪图像，基于第一红外图像帧和红外拍摄装置拍摄得到的第二红外图像帧进行时域滤波得到第二降噪图像，对第一降噪图像和第二降噪图像进行融合得到第三降噪图像，并根据第三降噪图像得到第一红外图像帧的降噪红外图像，提高了红外图像的噪声滤除效果。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图2为本申请一实施例提供的红外图像降噪方法的流程示意图，本实施例的执行主体可以为红外图像降噪装置12，具体可以为红外图像降噪装置12的处理器。如图2所示，本实施例的方法可以包括：
步骤201，获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧。
本步骤中，所述第一红外图像帧和所述第二红外图像帧是不同的红外图 像帧。由于不同图像帧的拍摄时刻必定不同，因此第一红外图像帧和第二红外图像帧在时域上是存在先后顺序关系。
可选的，所述第二红外图像帧可以是红外拍摄装置在拍摄得到所述第一红外图像帧之前拍摄得到的。在一个实施例中，所述第二红外图像帧可以是所述第一红外图像帧的前一帧图像。
或者，可选的，所述第二红外图像帧可以是红外拍摄装置在拍摄得到所述第一红外图像帧之后拍摄得到的。在一个实施例中，所述第二红外图像帧可以是所述第一红外图像帧的后一帧图像。
需要说明的是，在红外拍摄装置当前的拍摄场景为静止场景情况下，或者，在红外拍摄装置当前的拍摄场景是运动场景且运动速度小于一定程度情况下：第二红外图像帧可以是第一红外图像帧的前多帧图像，或者，第二红外图像帧可以是第一红外图像帧的后多帧图像。在红外拍摄装置当前的拍摄场景为运动场景且运动速度大于一定程度的情况下，为了避免由于所拍摄的场景跳变导致第二红外图像帧与第一红外图像帧所拍摄的场景不同，导致降噪结果异常的问题，第二红外图像帧可以是第一红外图像帧的前一帧或后一帧图像。
步骤202，对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像。
本步骤中，空域是空间域的简称，空间域又称为图像空间(image space)，是指由图像像素点组成的空间。空域滤波是在一图像帧中，对该图像帧的像素值进行滤波处理。通过对第一红外图像帧进行空域滤波能够滤除第一红外图像帧的空域噪声，即第一降噪图像为第一红外图像帧在空域经过降噪处理所得到的图像。需要说明的是，针对空域滤波的具体方式，可以根据需求灵活实现。
在第一红外图像帧的时域噪声主要是高斯噪声情况下，可以采用高斯滤波的方式进行空域噪声的滤除。基于此，步骤203具体可以包括：采用高斯滤波的方式，对第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像。即，在一个实施例中可以采用高斯滤波器对第一红外图像帧进行滤波处理，得到第一降噪图像。
步骤203，基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像。
本步骤中，时域是时间域的简称。时域滤波是结合存在时间先后顺序的至少两个图像帧，对该至少两个图像帧中一图像帧的像素值进行滤波处理。通过基于第一红外图像帧和所述第二红外图像帧进行时域滤波能够降低第一红外图像帧的时域噪声，即第二降噪图像为第一红外图像帧在时域经过降噪处理所得到的图像。
需要说明的是，针对时域滤波的具体方式，可以根据需求灵活实现。在一个实施例中，可以对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行滤波运算(以下记为第一滤波计算)，得到所述第一红外图像帧的第二降噪图像。
需要说明的是，所述第一滤波运算可以根据需求灵活实现，示例性的，在第一红外图像帧和所述第二红外图像帧的权重相同的情况下，所述第一滤波计算具体可以平均，即可以通过对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的第二降噪图像，有利于简化实现。
需要说明的是，本申请实施例中，可以由像素坐标表示像素在图像中的位置(即像素位置)，对应像素位置可以是指同一像素坐标对应的位置，例如第一红外图像帧中像素坐标(1,2)与第二红外图像帧中像素坐标(1,2)是对应的像素位置。
需要说明的是，步骤203与步骤202并没有先后顺序限制。
步骤204，对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像。
本步骤中，可以通过对所述第一降噪图像与所述第二降噪图像中对应像素位置的像素值进行数学运算，以实现将第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像。
由于第一降噪图像为第一红外图像帧在空域经过降噪处理所得到的图像，第二降噪图像为第一红外图像帧在时域经过降噪处理所得到的图像，通过融合第一降噪图像和第二降噪图像能够得到既降低了时域噪声又降低了空域噪声的第一红外图像帧的第三降噪图像，即第三降噪图像为第一红外图像在时域和空域经过降噪处理所得到的图像。
例如，可以对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行平均，以实现将第一降噪图像和所述第二降噪图像进行融合， 得到所述第一红外图像帧的第三降噪图像。
步骤205，根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
本步骤中，考虑到步骤204中通过直接融合第一降噪图像和第二降噪图像所得到的第三降噪图像可能并不适合于作为对第一红外图像帧进行图像降噪处理所得到的最终结果图像，因此，为了确保能够获得对第一红外图像帧进行图像降噪处理的最终结果图像，在步骤205中可以根据第三降噪图像得到第一红外图像帧的降噪红外图像，其中，所述降噪红外图像即为对第一红外图像帧进行图像降噪处理所得到的最终结果图像。
在一个实施例中，在第三降噪图像能够作为对第一红外图像帧进行图像降噪处理所得到的最终结果图像的情况下，可以将第三降噪图像作为第一红外图像帧的降噪红外图像。基于此，步骤205具体可以包括：将所述第三降噪图像作为所述第一红外图像帧的降噪红外图像。
在另一个实施例中，在第三降噪图像不能够作为对第一红外图像帧进行图像降噪处理所得到的最终结果图像情况下，可以将基于第三降噪图像进行进一步处理所得到的结果作为第一红外图像帧的降噪红外图像。基于此，步骤205具体可以包括：基于所述第二降噪图像进行数学计算，得到所述第一红外图像帧的降噪红外图像。
本申请实施例提供的红外图像降噪方法，通过对红外拍摄装置拍摄得到的第一红外图像帧进行空域滤波得到第一降噪图像，基于第一红外图像帧和红外拍摄装置拍摄得到的第二红外图像帧进行时域滤波得到的第二降噪图像，对第一降噪图像和第二降噪图像进行融合得到第三降噪图像，并根据第三降噪图像得到第一红外图像帧的降噪红外图像，实现了结合时域信息和空域信息对红外图像进行滤波，能够滤除红外图像的时域噪声和空域噪声，与只基于空域信息对红外图像进行处理只能滤除空域噪声相比，提高了红外图像的噪声滤除效果。
图3为本申请另一实施例提供的红外图像降噪方法的流程示意图。本实施例在图2所示实施例的基础上主要描述了对第一降噪图像和第二降噪图像进行融合的一种可选实现方式。如图3所示，本实施例的方法可以包括：
步骤301，获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧。
需要说明的是，步骤301与步骤201类似，在此不再赘述。
步骤302，对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像。
需要说明的是，步骤302与步骤202类似，在此不再赘述。
步骤303，基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像。
需要说明的是，步骤303与步骤203类似，在此不再赘述。
步骤304，根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像。
本步骤中，所述噪声图像可以用于表征第一红外图像帧在空域中的噪声情况。具体的，噪声图像中一像素位置的像素值可以表征第一红外图像帧中该像素位置空域的噪声强度。
由于所述第一降噪图像为所述第一红外图像帧在空域经过降噪处理所得到的图像，第一降噪图像中一像素位置的像素值即为第一红外图像帧中该像素位置的像素值在滤除空域噪声之后的结果，因此，基于第一降噪图像和第一红外图像帧可以确定在空域降噪时所滤除的空域噪声，从而得到用于表征第一红外图像帧时域噪声情况的所述噪声图像。
另外，由于噪声滤除实际上是从叠加了噪声的像素值中减去由噪声带来的噪声强度，从而得到降噪后的像素值，因此所述噪声图像可以根据第一红外图像帧与对第一红外图像帧进行空域降噪处理所得到的第一降噪图像中对应像素的像素值之间的差值得到。
示例性的，所述根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像，具体可以包括：确定所述第一红外图像帧与所述第一降噪图像中对应像素位置的像素值之间的差值，根据所述对应像素位置的像素值之间的差值得到第一红外图像帧的噪声图像。在一个实施例中，所述噪声图像中一像素坐标的像素值，可以等于所述第一红外图像帧与所述第一降噪图像中该像素坐标的像素值之差。
需要说明的是，步骤304与步骤303并没有先后顺序限制。
步骤305，基于所述噪声图像，对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像。
本步骤中，考虑到在第一红外图像帧拍摄到的对象包括运动对象情况下， 对第一红外图像帧和第二红外图像帧进行时域滤波时，可能存在运动对象的边缘出现拖影或者运动对象被当作噪声滤除的问题。为了在融合第一降噪图像和第二降噪图像时，减轻此类问题，可以在融合第一降噪图像和第二降噪图像时考虑步骤304所确定的噪声图像。
由于噪声图像是用于表征第一红外图像帧在空域中的噪声情况，且噪声图像是基于第一红外图像帧和对第一红外图像帧进行空域滤波所得到的第一降噪图像确定的，而空域滤波在消除空域噪声时一定程度上会模糊对象的边缘。因此，第一红外图像帧中运动对象的边缘所占的边缘像素以及运动对象所占像素之外与边缘像素相邻的多个相邻像素，在噪声图像中对应的噪声强度会较大。
基于此，为了减轻融合结果中运动对象的边缘出现拖影或者运动对象被当作噪声滤除的问题，如果噪声图像中一像素位置的噪声强度较大，则在融合第一红外图像帧和第二红外图像帧时，第一降噪图像中该像素位置的像素值的权重可以大于第二降噪图像中该像素位置的像素值的权重，以通过降低第二降噪图像中对应像素位置的像素值在融合所占比重的方式，减轻第二降噪图像中对应像素位置所存在的拖影或误滤除对融合结果的影响。
在一个实施例中，可以采用根据噪声图像确定融合权重，并基于融合权重对第一降噪图像和第二降噪图像进行融合的方式。基于此，步骤305具体可以包括：根据所述噪声图像，确定所述第一降噪图像的第一融合权重和所述第二降噪图像的第二融合权重；所述第一融合权重与噪声强度正相关，和/或第二融合权重与噪声强度负相关；以及，根据所述第一融合权重和所述第二融合权重，对所述第一降噪图像和所述第二降噪图像进行融合。
为了简化对计算，所述第一融合权重和所述第二融合权重可以是根据所述噪声图像对应像素位置的像素值归一化得到。
可以理解的是，在基于噪声图像对应像素位置的像素值归一化得到第一融合权重的情况下，第一融合权重具体可以为融合权重的图像(以下记为第一权重图像)，第一权重图像一像素位置的像素值可以为第一降噪图像该像素位置的融合权重。在基于噪声图像对应像素位置的像素值归一化得到第二融合权重的情况下，第二融合权重具体可以为融合权重的图像(以下记为第二权重图像)，第二权重图像一像素位置的像素值可以为第二降噪图像该像素位置的融合权重。
以噪声强度的最大值为255为例，可以将噪声图像中各像素的噪声强度均除以255，得到将噪声图像的像素值归一化后的图像(以下可以记为归一化图像)，该归一化图像可以作为第一权重图像，预设图像与归一化图像对应像素位置的像素值之差可以得到第二权重图像，其中，预设图像是与归一化图像大小相同且像素值均为1的图像。
步骤306，根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
本步骤中，可选的，步骤306具体可以包括：对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行滤波运算(以下记为第二滤波计算)，得到所述第一红外图像帧的降噪红外图像。通过将第三降噪图像和第二红外图像帧对象像素位置的像素值进行滤波计算的方式，来得到第一红外图像帧的降噪红外图像，实现了平滑前后帧的目的，能够避免前后帧滤波强度差异大导致视觉上的画面跳变的问题，有利于提高用户的观看体验。
需要说明的是，所述第二滤波运算可以根据需求灵活实现，示例性的，在第三降噪图像和所述第二红外图像帧的权重相同的情况下，所述第二滤波计算具体可以为平均，即可以对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的降噪红外图像。
本申请实施例提供的红外图像降噪方法，通过根据第一红外图像帧和第一降噪图像得到噪声图像，基于噪声图像对第一降噪图像和第二降噪图像进行融合，得到第一红外图像帧的第三降噪图像，实现了在融合第一降噪图像和第二降噪图像时能够考虑所确定的噪声图像，有利于减轻融合结果中运动对象的边缘出现拖影或者运动对象被当作噪声滤除的问题。
以第一红外图像帧为当前红外图像帧，第二红外图像帧为当前红外图像帧的前一帧图像为例，针对第一红外图像帧的红外图像降噪方法可以如图4所示。参考图4，一路处理包括：对当前红外图像帧进行空域滤波，得到当前红外图像帧的第一降噪图像；以及，基于当前红外图像帧及其第一降噪图像确定当前红外图像帧的噪声图像。另一路处理包括：基于当前红外图像帧和当前红外图像帧的前一帧图像进行时域滤波，得到当前红外图像帧的第二降噪图像。
在完成上述两路处理之后，可以结合两路处理的结果进行进一步处理。具体的，可以基于噪声图像对第一降噪图像和第二降噪图像进行融合，得到 当前红外图像帧的第三降噪图像。最后，对第三降噪图像和当前红外图像帧的前一帧图像中对应像素位置的像素值进行滤波运算，最终得到当前红外图像帧帧的降噪红外图像。
图4中通过当前红外图像帧作为第一红外图像帧，并将当前红外图像帧的前一帧图像作为第二红外图像帧的方式，有利于提高红外图像帧处理的实时性，并且能够避免由于第二红外图像帧与第一红外图像帧所拍摄的场景不同，导致降噪结果异常的问题。
本申请实施例中，在获得所述第一红外图像帧的降噪红外图像之后，进一步的，基于对第一红外图像帧进行图像降噪处理所得到的最终结果图像，还可以进行进一步处理。
示例性的，在上述方法实施例的基础上，进一步的，还可以显示所述降噪红外图像。由于降噪红外图像是通过结合时域信息和空域信息对第一红外图像进行滤波得到，滤除了第一红外图像帧的时域噪声和空域噪声，因此降噪红外图像能够更好的抑制第一红外图像帧中的噪声，更加突出第一红外图像帧的有效信息，通过显示所述降噪红外图像，使得用户通过降噪红外图像能够获得更多的有效信息。
示例性的，在上述方法实施例的基础上，进一步的，还可以根据所述降噪红外图像确定温度信息。由于降噪红外图像能够更好的抑制第一红外图像帧中的噪声，更加突出第一红外图像帧的有效信息，通过根据所述降噪红外图像确定温度信息能够提高所确定的温度信息的准确性。
图5为本申请一实施例提供的红外图像降噪装置的结构示意图，如图5所示，该装置500可以包括：处理器501和存储器502。
所述存储器502，用于存储程序代码；
所述处理器501，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；
对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；
基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；
对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外 图像帧的第三降噪图像；
根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
本实施例提供的红外图像降噪装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
图6为本申请一实施例提供的无人机的结构示意图，如图6所示，该无人机60包括机身601、设置于所述机身上601的动力***602、红外拍摄装置603和红外图像降噪装置604；
所述动力***602，用于为所述无人机提供动力；
所述红外拍摄装置603，用于在所述无人机飞行过程中进行视频拍摄；
所述红外图像降噪装置604包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；
对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；
基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；
对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像；
根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
可选的，无人机60还可以包括云台605，红外拍摄装置603可以通过云台605设置在机身601上。当然，无人机除上述列出装置外，还可以包括其他元件或装置，这里不一一例举。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (44)
- 一种红外图像降噪方法，其特征在于，包括：获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像；根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像；所述对所述第一降噪图像和所述第二降噪图像进行融合，包括：基于所述噪声图像，对所述第一降噪图像和所述第二降噪图像进行融合。
- 根据权利要求2所述的方法，其特征在于，所述根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像，包括：确定所述第一红外图像帧与所述第一降噪图像中对应像素位置的像素值之间的差值，根据所述对应像素位置的像素值之间的差值得到第一红外图像帧的噪声图像。
- 根据权利要求2或3所述的方法，其特征在于，所述基于所述噪声图像，对所述第一降噪图像和所述第二降噪图像进行融合，包括：根据所述噪声图像，确定所述第一降噪图像的第一融合权重和所述第二降噪图像的第二融合权重；所述第一融合权重与噪声强度正相关，和/或第二融合权重与噪声强度负相关；根据所述第一融合权重和所述第二融合权重，对所述第一降噪图像和所述第二降噪图像进行融合。
- 根据权利要求4所述的方法，其特征在于，所述第一融合权重和所述第二融合权重是根据所述噪声图像对应像素位置的像素值归一化得到。
- 根据权利要求1-5任一项所述的方法，其特征在于，所述第二红外图像帧为所述第一红外图像帧的前一帧图像。
- 根据权利要求1-5任一项所述的方法，其特征在于，所述第二红外图像帧为所述第一红外图像帧的后一帧图像。
- 根据权利要求1-7任一项所述的方法，其特征在于，所述对第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像，包括：采用高斯滤波的方式，对第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像。
- 根据权利要求1-8任一项所述的方法，其特征在于，所述基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像，包括：对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行第一滤波运算，得到所述第一红外图像帧的第二降噪图像。
- 根据权利要求9所述的方法，其特征在于，所述对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行第一滤波运算，得到所述第一红外图像帧的第二降噪图像，包括：所述对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的第二降噪图像。
- 根据权利要求1-10任一项所述的方法，其特征在于，所述根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像，包括：对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行第二滤波运算，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求11所述的方法，其特征在于，所述对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行第二滤波运算，得到所述第一红外图像帧的降噪红外图像，包括：对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求1-12任一项所述的方法，其特征在于，所述方法还包括：显示所述降噪红外图像。
- 根据权利要求1-12任一项所述的方法，其特征在于，所述方法还包括：根据所述降噪红外图像确定温度信息。
- 一种红外图像降噪装置，其特征在于，包括：存储器和处理器；所述存储器，用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像；根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求15所述的装置，其特征在于，所述处理器，还用于根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像；所述处理器用于对所述第一降噪图像和所述第二降噪图像进行融合，具体包括：基于所述噪声图像，对所述第一降噪图像和所述第二降噪图像进行融合。
- 根据权利要求16所述的装置，其特征在于，所述处理器用于根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像，具体包括：确定所述第一红外图像帧与所述第一降噪图像中对应像素位置的像素值之间的差值，根据所述对应像素位置的像素值之间的差值得到第一红外图像帧的噪声图像。
- 根据权利要求16或17所述的装置，其特征在于，所述处理器用于基于所述噪声图像，对所述第一降噪图像和所述第二降噪图像进行融合，具体包括：根据所述噪声图像，确定所述第一降噪图像的第一融合权重和所述第二降噪图像的第二融合权重；所述第一融合权重与噪声强度正相关，和/或第二融合权重与噪声强度负相关；根据所述第一融合权重和所述第二融合权重，对所述第一降噪图像和所述第二降噪图像进行融合。
- 根据权利要求18所述的装置，其特征在于，所述第一融合权重和所 述第二融合权重是根据所述噪声图像对应像素位置的像素值归一化得到。
- 根据权利要求15-19任一项所述的装置，其特征在于，所述第二红外图像帧为所述第一红外图像帧的前一帧图像。
- 根据权利要求15-19任一项所述的装置，其特征在于，所述第二红外图像帧为所述第一红外图像帧的后一帧图像。
- 根据权利要求15-21任一项所述的装置，其特征在于，所述处理器用于对第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像，具体包括：采用高斯滤波的方式，对第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像。
- 根据权利要求15-22任一项所述的装置，其特征在于，所述处理器用于基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像，具体包括：对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行第一滤波运算，得到所述第一红外图像帧的第二降噪图像。
- 根据权利要求23所述的装置，其特征在于，所述处理器用于对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行第一滤波运算，得到所述第一红外图像帧的第二降噪图像，具体包括：所述对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的第二降噪图像。
- 根据权利要求15-24任一项所述的装置，其特征在于，所述处理器用于根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像，具体包括：对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行第二滤波运算，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求25所述的装置，其特征在于，所述处理器用于对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行第二滤波运算，得到所述第一红外图像帧的降噪红外图像，具体包括：对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求15-26任一项所述的装置，其特征在于，所述处理器， 还用于显示所述降噪红外图像。
- 根据权利要求15-26任一项所述的装置，其特征在于，所述处理器，还用于根据所述降噪红外图像确定温度信息。
- 一种无人机，其特征在于，所述无人机包括机身、设置于所述机身上的动力***、红外拍摄装置和红外图像降噪装置；所述动力***，用于为所述无人机提供动力；所述红外拍摄装置，用于在所述无人机飞行过程中进行视频拍摄；所述红外图像降噪装置包括存储器和处理器；所述存储器，用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取红外拍摄装置拍摄得到的第一红外图像帧和第二红外图像帧；对所述第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像；基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像；对所述第一降噪图像和所述第二降噪图像进行融合，得到所述第一红外图像帧的第三降噪图像；根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求29所述的无人机，其特征在于，所述处理器，还用于根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像；所述处理器用于对所述第一降噪图像和所述第二降噪图像进行融合，具体包括：基于所述噪声图像，对所述第一降噪图像和所述第二降噪图像进行融合。
- 根据权利要求30所述的无人机，其特征在于，所述处理器用于根据所述第一红外图像帧和所述第一降噪图像得到所述第一红外图像帧的噪声图像，具体包括：确定所述第一红外图像帧与所述第一降噪图像中对应像素位置的像素值之间的差值，根据所述对应像素位置的像素值之间的差值得到第一红外图像帧的噪声图像。
- 根据权利要求30或31所述的无人机，其特征在于，所述处理器用于基于所述噪声图像，对所述第一降噪图像和所述第二降噪图像进行融合，具体包括：根据所述噪声图像，确定所述第一降噪图像的第一融合权重和所述第二降噪图像的第二融合权重；所述第一融合权重与噪声强度正相关，和/或第二融合权重与噪声强度负相关；根据所述第一融合权重和所述第二融合权重，对所述第一降噪图像和所述第二降噪图像进行融合。
- 根据权利要求32所述的无人机，其特征在于，所述第一融合权重和所述第二融合权重是根据所述噪声图像对应像素位置的像素值归一化得到。
- 根据权利要求29-33任一项所述的无人机，其特征在于，所述第二红外图像帧为所述第一红外图像帧的前一帧图像。
- 根据权利要求29-33任一项所述的无人机，其特征在于，所述第二红外图像帧为所述第一红外图像帧的后一帧图像。
- 根据权利要求29-35任一项所述的无人机，其特征在于，所述处理器用于对第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像，具体包括：采用高斯滤波的方式，对第一红外图像帧进行空域滤波，得到所述第一红外图像帧的第一降噪图像。
- 根据权利要求29-36任一项所述的无人机，其特征在于，所述处理器用于基于所述第一红外图像帧和所述第二红外图像帧进行时域滤波，得到所述第一红外图像帧的第二降噪图像，具体包括：对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行第一滤波运算，得到所述第一红外图像帧的第二降噪图像。
- 根据权利要求37所述的无人机，其特征在于，所述处理器用于对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行第一滤波运算，得到所述第一红外图像帧的第二降噪图像，具体包括：所述对所述第一红外图像帧与所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的第二降噪图像。
- 根据权利要求29-38任一项所述的无人机，其特征在于，所述处理器用于根据所述第三降噪图像，得到所述第一红外图像帧的降噪红外图像，具 体包括：对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行第二滤波运算，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求39所述的无人机，其特征在于，所述处理器用于对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行第二滤波运算，得到所述第一红外图像帧的降噪红外图像，具体包括：对所述第三降噪图像和所述第二红外图像帧中对应像素位置的像素值进行平均，得到所述第一红外图像帧的降噪红外图像。
- 根据权利要求29-40任一项所述的无人机，其特征在于，所述处理器，还用于显示所述降噪红外图像。
- 根据权利要求29-40任一项所述的无人机，其特征在于，所述处理器，还用于根据所述降噪红外图像确定温度信息。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求1-14任一项所述的方法。
- 一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求1-14任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202080004365.5A CN112740265A (zh) | 2020-04-28 | 2020-04-28 | 红外图像降噪方法、装置及设备 |
| PCT/CN2020/087386 WO2021217392A1 (zh) | 2020-04-28 | 2020-04-28 | 红外图像降噪方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/087386 WO2021217392A1 (zh) | 2020-04-28 | 2020-04-28 | 红外图像降噪方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021217392A1 true WO2021217392A1 (zh) | 2021-11-04 |
Family
ID=75609543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/087386 WO2021217392A1 (zh) | 2020-04-28 | 2020-04-28 | 红外图像降噪方法、装置及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112740265A (zh) |
| WO (1) | WO2021217392A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104685538A (zh) * | 2012-09-19 | 2015-06-03 | 籽亿有限公司 | 用于降低视频流中的噪声的***和方法 |
| US9569843B1 (en) * | 2015-09-09 | 2017-02-14 | Siemens Healthcare Gmbh | Parameter-free denoising of complex MR images by iterative multi-wavelet thresholding |
| CN109743473A (zh) * | 2019-01-11 | 2019-05-10 | 珠海全志科技股份有限公司 | 视频图像3d降噪方法、计算机装置及计算机可读存储介质 |
| CN110933334A (zh) * | 2019-12-12 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 视频降噪方法、装置、终端及存储介质 |
| CN111027496A (zh) * | 2019-12-16 | 2020-04-17 | 电子科技大学 | 基于空时联合局部对比度的红外弱小目标检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170084007A1 (en) * | 2014-05-15 | 2017-03-23 | Wrnch Inc. | Time-space methods and systems for the reduction of video noise |
| CN104778663A (zh) * | 2015-04-09 | 2015-07-15 | 海视英科光电（苏州）有限公司 | 红外热像去噪算法 |
| CN109859126B (zh) * | 2019-01-17 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种视频降噪方法、装置、电子设备及存储介质 |
-
2020
- 2020-04-28 WO PCT/CN2020/087386 patent/WO2021217392A1/zh active Application Filing
- 2020-04-28 CN CN202080004365.5A patent/CN112740265A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104685538A (zh) * | 2012-09-19 | 2015-06-03 | 籽亿有限公司 | 用于降低视频流中的噪声的***和方法 |
| US9569843B1 (en) * | 2015-09-09 | 2017-02-14 | Siemens Healthcare Gmbh | Parameter-free denoising of complex MR images by iterative multi-wavelet thresholding |
| CN109743473A (zh) * | 2019-01-11 | 2019-05-10 | 珠海全志科技股份有限公司 | 视频图像3d降噪方法、计算机装置及计算机可读存储介质 |
| CN110933334A (zh) * | 2019-12-12 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 视频降噪方法、装置、终端及存储介质 |
| CN111027496A (zh) * | 2019-12-16 | 2020-04-17 | 电子科技大学 | 基于空时联合局部对比度的红外弱小目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112740265A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767289B (zh) | 图像融合方法、装置、介质及电子设备 | |
| US10771697B2 (en) | Still image stabilization/optical image stabilization synchronization in multi-camera image capture | |
| US9344636B2 (en) | Scene motion correction in fused image systems | |
| WO2018095262A1 (zh) | 视频稳像方法及装置 | |
| WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
| WO2021114868A1 (zh) | 降噪方法、终端及存储介质 | |
| WO2015184408A1 (en) | Scene motion correction in fused image systems | |
| WO2023273868A1 (zh) | 图像降噪方法、装置、终端、存储介质 | |
| US9451165B2 (en) | Image processing apparatus | |
| WO2021232963A1 (zh) | 视频去噪方法、装置、移动终端和存储介质 | |
| JP5325800B2 (ja) | 画像処理装置、画像撮影装置、画像表示装置、およびプログラム | |
| WO2020038065A1 (zh) | 一种图像处理方法、终端及计算机存储介质 | |
| CN110023957B (zh) | 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备 | |
| CN113315884A (zh) | 一种实时视频降噪方法、装置、终端及存储介质 | |
| CN111539895B (zh) | 一种视频去噪方法、装置、移动终端和存储介质 | |
| Yang et al. | Image deblurring utilizing inertial sensors and a short-long-short exposure strategy | |
| US20220207658A1 (en) | Image sharpening | |
| WO2021217392A1 (zh) | 红外图像降噪方法、装置及设备 | |
| CN113793257A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| Zhen et al. | Multi-image motion deblurring aided by inertial sensors | |
| WO2021237577A1 (zh) | 图像处理方法、装置、可移动平台和存储介质 | |
| WO2021068904A1 (zh) | 一种图像处理方法及相关装置 | |
| JP2017173920A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体 | |
| CN113395434A (zh) | 一种预览图像虚化方法、存储介质及终端设备 | |
| US20240169498A1 (en) | Joint Video Stabilization and Motion Deblurring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20933972 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20933972 Country of ref document: EP Kind code of ref document: A1 |