CN117649370B - 图像非均匀校正的残差bp神经网络及方法 - Google Patents

图像非均匀校正的残差bp神经网络及方法 Download PDF

Info

Publication number
CN117649370B
CN117649370B CN202410119749.1A CN202410119749A CN117649370B CN 117649370 B CN117649370 B CN 117649370B CN 202410119749 A CN202410119749 A CN 202410119749A CN 117649370 B CN117649370 B CN 117649370B
Authority
CN
China
Prior art keywords
image
residual
layer
matrix
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410119749.1A
Other languages
English (en)
Other versions
CN117649370A (zh
Inventor
韩夕冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Zhiling Photoelectric Technology Co ltd
Original Assignee
Changchun Zhiling Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Zhiling Photoelectric Technology Co ltd filed Critical Changchun Zhiling Photoelectric Technology Co ltd
Priority to CN202410119749.1A priority Critical patent/CN117649370B/zh
Publication of CN117649370A publication Critical patent/CN117649370A/zh
Application granted granted Critical
Publication of CN117649370B publication Critical patent/CN117649370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像非均匀校正技术领域，尤其涉及一种图像非均匀校正的残差BP神经网络及方法；其中，图像非均匀校正的残差BP神经网络，包括输入层、NUC层、隐含层、输出层和残差层；输入图像经NUC层根据初始增益矩阵和初始偏置矩阵进行两点标定，再由隐含层对标定后的图像进行映射，得到含有映射关系的增益矩阵和偏置矩阵；在残差层中对输出层输出的预测校正图像先进行平滑处理，对预测校正图像根据像素的区域属性进行自适应调整，再与真实校正图像计算得到残差矩阵，并根据残差矩阵更新增益矩阵和偏置矩阵，并将增益矩阵和偏置矩阵反馈到NUC层中影响训练过程，进而提高校正精度。

Description

图像非均匀校正的残差BP神经网络及方法
技术领域
本发明涉及图像非均匀校正技术领域，尤其涉及一种图像非均匀校正的残差BP神经网络及方法。
背景技术
在实际的光学***中，光路中的元件（如透镜、反射镜等）会受到环温度、湿度等境因素，以及光学元件表面质量、污染和损伤等自身因素，导致光学性能的漂移，从而影响图像的均匀性，进而严重影响了光学***的成像质量。因此，在实际应用中，必须要先对其进行非均匀校正（Non-uniformity Correction，NUC），若不校正的话，我们就无法获得清晰的图像。
在现有的BP神经网络领域中，非均匀校正（NUC）已经被应用到BP神经网络中，将经典的BP人工神经网络与二点定标校正算法相结合，既具备了人工神经网络的自适应性，又结合了非均匀性的具体问题，使得算法更具备针对性。
然而这种算法存在对真实图像的估计过程中，对像素的提取没有考虑到像素的区域属性，导致校正精度较低，从而使图像的清晰度受到影响的问题。
发明内容
为解决上述问题，第一方面，本发明提供一种图像非均匀校正的残差BP神经网络，在BP神经网络的输入层后添加NUC层对输入图像进行两点标定操作；在输出层后添加带有平滑操作的残差层，并将残差层得到的增益和偏置反馈到NUC层，利用平滑操作对输出图像根据像素的区域属性进行自适应调整，再以调整后的信息影响训练过程，进而提高校正精度。
本发明提供的图像非均匀校正的残差BP神经网络，包括：
输入层，用于将输入图像输入至图像非均匀校正的残差BP神经网络中；
NUC层，用于根据增益矩阵和偏置矩阵对输入图像进行两点标定；
隐含层，用于对NUC层标定后的图像进行映射，得到含有映射关系的增益矩阵和偏置矩阵；
输出层，用于输出预测校正图像；
残差层，用于对预测校正图像进行平滑处理，再将平滑处理后的图像与预测校正图像计算得到残差矩阵，并根据残差矩阵更新增益矩阵和偏置矩阵并将增益矩阵和偏置矩阵反馈到NUC层中。
进一步的，残差层包括加法器和平滑模块；其中，预测校正图像经过平滑模块的平滑操作后，再与预测校正图像共同进入加法器中进行逐像素相加，得到残差矩阵。
第二方面，本发明基于提出的图像非均匀校正的残差BP神经网络，提供图像非均匀校正训练方法，具体包括以下步骤：
S1：对原始采集图像进行灰度化处理；
S2：将灰度化处理后的图像输入至如第一方面提供的图像非均匀校正的残差BP神经网络，得到预测校正图像；
S3：对预测校正图像与真实校正图像进行LMS计算；
S4：设定LMS的最小下降幅度和训练的最大选代次数，重复步骤S1~步骤S3进行残差BP神经网络的训练，若达到训练停止条件，完成训练，并得到预测校正网络模型；
S5：将测试图像进行灰度化处理，并输入预测校正网络模型中，得到对应的预测校正图像。
进一步的，训练停止条件为：在进行训练的过程中，若当前训练的LMS与上一次训练LMS的下降幅度小于最小下降幅度，提前停止训练，否则直至训练的次数达到所述最大选代次数，停止并完成训练。
与现有技术相比，本发明能够取得如下有益效果：
1）本发明提出的带有平滑操作的残差层，可以根据像素的区域属性进行自适应调整，再以调整后的信息影响训练过程，进而提高校正精度；
2）将BP神经网络与NUC操作结合，用平滑操作调整后的信息影响两点标定及后续隐含层的训练，很好地解决了BP神经网络算法对步长难以选取的特点，进一步提高了校正精度。
附图说明
图1是根据本发明实施例提供的图像非均匀校正的残差BP神经网络的网络结构图；
图2是根据本发明实施例提供的图像非均匀校正训练方法的流程图；
图3是根据本发明实施例提供的未校正前的图像；
图4是根据本发明实施例提供的校正后的图像；
图5是根据本发明实施例提供的未校正前的图像对应的直方图；
图6是根据本发明实施例提供的校正后的图像对应的直方图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
第一方面，本发明提供的图像非均匀校正的残差BP神经网络，在BP神经网络中添加NUC层对输入图像进行两点标定操作，有效解决了BP神经网络算法对步长难以选取的问题；利用平滑操作对输出图像根据像素的区域属性进行自适应调整，再以调整后的信息反馈到NUC层影响训练过程，进而提高校正精度。
图1示出了根据本发明实施例提供的图像非均匀校正的残差BP神经网络的网络结构。
如图1所示，本发明提供的图像非均匀校正的残差BP神经网络，包括：输入层、NUC层、输出层和残差层。
其中，输入层用于将输入图像输入至图像非均匀校正的残差BP神经网络中。
NUC层用于根据增益矩阵和偏置矩阵对输入图像进行两点标定。NUC层行二点非均匀性校正的公式如下：
；
其中，表示输入图像的序号，/>表示第/>张真实校正图像，/>表示第/>张输入图像，/>表示增益矩阵，/>表示偏置矩阵。
对于增益矩阵G和偏置矩阵O，更新过程如下：
首先得到增益矩阵G和偏置矩阵O的误差函数：
；
其中，表示输入图像，/>表示输入图像/>对应的真实校正图像，/>表示输入图像/>对应的预测校正图像。
对误差函数分别求增益矩阵G的梯度/>和偏置矩阵O的梯度/>：
；
根据最小梯度法，得到趋进于最小误差的最陡下降路径为：
；
其中，表示迭代步长。
从可以看出，误差函数的形状为抛物谷面，谷面底部满足方程，即/>。由于BP神经网络具有鲁棒性，所以当/>足够小时，就可以保证迭代过程稳定收敛，即误差值在误差函数抛物谷面上逐渐向着谷面底部靠近。
隐含层，用于对NUC层标定后的图像进行映射，得到含有映射关系的增益矩阵和偏置矩阵。
输出层，用于输出预测校正图像。
残差层，用于对预测校正图像进行平滑处理，再将平滑处理后的图像与预测校正图像计算得到残差矩阵，并根据残差矩阵更新增益矩阵和偏置矩阵并将增益矩阵和偏置矩阵反馈到NUC层中。
残差层包括加法器和平滑模块；其中，预测校正图像经过平滑模块的平滑操作后，再与预测校正图像共同进入加法器中进行逐像素相加，得到残差矩阵。
其中，平滑操作包含使用卷积核对图像进行线性平滑处理，如高斯滤波、均值滤波基本的滤波操作，进而减少噪声和图像中的不必要细节。在这个特定的情况下，将预测校正图像经线性平滑的结果与预测校正图像共同进入加法器中进行比较得到残差。
第二方面，本发明基于提出的图像非均匀校正的残差BP神经网络提供了训练方法。
图2示出了根据本发明实施例提供的图像非均匀校正方法的流程。
如图2所示，本发明基于提出的图像非均匀校正的残差BP神经网络，提供了图像非均匀校正方法，具体包括以下步骤：
S1：使用相机在明场或暗场光均匀情况下连续采集原始图像，并对原始采集图像进行灰度化处理。
S2：将灰度化处理后的图像输入至如第一方面提供的图像非均匀校正的残差BP神经网络，得到预测校正图像。
S3：对预测校正图像与真实校正图像进行LMS计算。
S4：设定LMS的最小下降幅度和训练的最大选代次数，重复步骤S1~步骤S3进行残差BP神经网络的训练，若达到训练停止条件，完成训练，并得到预测校正网络模型。
其中，训练停止条件为：在进行训练的过程中，若当前训练的LMS与上一次训练LMS的下降幅度小于最小下降幅度，提前停止训练，否则直至训练的次数达到所述最大选代次数，停止并完成训练。
S5：将测试图像进行灰度化处理，并输入预测校正网络模型中，得到对应的预测校正图像。
本发明实施例中，最小下降幅度设定为0.001，训练的最大选代次数设定为50。即在进行训练的过程中，若当前训练的LMS与上一次训练LMS的下降幅度小于0.001，则表明当前LMS值正处于训练过程中LMS函数的平坦区域，训练表现没有提升。为避免出现训练过拟合的现象，提前结束训练。否则直至训练迭代次数达到50次，停止并完成训练。
图3和图4分别示出了根据本发明实施例提供的未校正前和校正后的图像。
如图3所示，未校正前的图像中存在明显的亮暗条纹，且整体对比度较低，亮度不均匀。而经本发明实施例提供的图像非均匀校正方法处理后的图像如图4所示，未校正前的图像中的亮暗条纹明显消失，图像的亮度更加均匀，图像整体的对比度明显提高。
图5和图6分别示出了根据本发明实施例提供的未校正前和校正后的图像对应的直方图。
如图5所示，未校正前的图像的灰度取值宽泛，不集中，反应在图像中就是亮度不均匀，对比度低。而经本发明实施例提供的图像非均匀校正方法处理后的图像对应的直方图如图6所示，校正后图像的像素值分布更加集中，反映在图像中则是图像的亮度更加均匀，图像整体的对比度明显提高，更有利于后续的图像目标的提取。
本发明实施例提供的图像非均匀校正的残差BP神经网络可以有效处理图像中的亮暗条纹，有明显的图像增强效果。这是由于本发明实施例提供的图像非均匀校正的残差BP神经网络较于传统的BP神经网络中，在输出端设计了可以增强图像效果的残差层，即在对输出端的预测校正图像先进行平滑处理，再将平滑处理后的图像与原预测校正图像进行像素相加，是预测校正图像根据像素的区域属性进行有效自适应调整，再以调整后的预测校正图像影响训练过程，向网络训练提供更加准确的训练参数，有效提高校正精度的同时，达到图像增强的效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (3)

1.一种残差BP神经网络的图像非均匀校正方法，其特征在于，具体包括以下步骤：
S1、对原始采集图像进行灰度化处理；
S2、将灰度化处理得到的输入图像输入至图像非均匀校正的残差BP神经网络中，得到预测校正图像；
S3、对所述预测校正图像与真实校正图像进行LMS计算；
S4、设定所述LMS的最小下降幅度和训练的最大选代次数，重复所述步骤S1~所述步骤S3进行所述残差BP神经网络的训练，若达到训练停止条件，完成所述训练，并得到预测校正网络模型；
S5、将测试图像进行灰度化处理，并输入预测校正网络模型中得到对应的预测校正图像；
其中，所述图像非均匀校正的残差BP神经网络包括输入层、隐含层、输出层，其特征在于，还包括NUC层和残差层；其中，
所述输入层，用于输入所述输入图像；
所述NUC层，用于根据增益矩阵和偏置矩阵对所述输入图像进行两点标定；
所述隐含层，用于对所述NUC层标定后的图像进行映射，得到含有映射关系的增益矩阵和偏置矩阵；
所述输出层，用于输出预测校正图像；
所述残差层，用于对所述预测校正图像进行平滑处理，再将平滑处理后的图像与预测校正图像计算得到残差矩阵，并根据所述残差矩阵更新所述增益矩阵和所述偏置矩阵，并将所述增益矩阵和所述偏置矩阵反馈到所述NUC层中。
2.根据权利要求1所述的残差BP神经网络的图像非均匀校正方法，其特征在于，所述残差层包括加法器和平滑模块；其中，所述预测校正图像经过所述平滑模块的平滑操作后，再与所述预测校正图像共同进入所述加法器中进行逐像素相加，得到所述残差矩阵。
3.根据权利要求1所述的残差BP神经网络的图像非均匀校正方法，其特征在于，所述训练停止条件为：在进行所述训练的过程中，若当前训练的LMS与上一次训练LMS的下降幅度小于所述最小下降幅度，提前停止训练，否则直至训练的次数达到所述最大选代次数，停止并完成训练。
CN202410119749.1A 2024-01-29 2024-01-29 图像非均匀校正的残差bp神经网络及方法 Active CN117649370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410119749.1A CN117649370B (zh) 2024-01-29 2024-01-29 图像非均匀校正的残差bp神经网络及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410119749.1A CN117649370B (zh) 2024-01-29 2024-01-29 图像非均匀校正的残差bp神经网络及方法

Publications (2)

Publication Number Publication Date
CN117649370A CN117649370A (zh) 2024-03-05
CN117649370B true CN117649370B (zh) 2024-05-14

Family

ID=90048064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410119749.1A Active CN117649370B (zh) 2024-01-29 2024-01-29 图像非均匀校正的残差bp神经网络及方法

Country Status (1)

Country Link
CN (1) CN117649370B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160657A (zh) * 2015-08-05 2015-12-16 西安电子科技大学 基于fpga的红外成像非均匀性校正***
CN110782403A (zh) * 2019-10-09 2020-02-11 天津大学 一种红外图像非均匀性校正方法
KR20210045839A (ko) * 2019-10-17 2021-04-27 국방과학연구소 딥러닝 뉴럴 네트워크를 이용한 장면 기반 불균일보정 방법 및 장치
CN114742721A (zh) * 2022-03-21 2022-07-12 西安电子科技大学 基于多尺度stl-sru残差网络的定标红外非均匀性校正方法
CN114791993A (zh) * 2022-05-16 2022-07-26 江苏大学 一种动力电池组soh预测方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160657A (zh) * 2015-08-05 2015-12-16 西安电子科技大学 基于fpga的红外成像非均匀性校正***
CN110782403A (zh) * 2019-10-09 2020-02-11 天津大学 一种红外图像非均匀性校正方法
KR20210045839A (ko) * 2019-10-17 2021-04-27 국방과학연구소 딥러닝 뉴럴 네트워크를 이용한 장면 기반 불균일보정 방법 및 장치
CN114742721A (zh) * 2022-03-21 2022-07-12 西安电子科技大学 基于多尺度stl-sru残差网络的定标红外非均匀性校正方法
CN114791993A (zh) * 2022-05-16 2022-07-26 江苏大学 一种动力电池组soh预测方法及***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
基于OO-TDPN的红外焦平面阵列非均匀性校正***建模研究;杨淳清;李兵;马豹;;红外;20110410(04);第2-3节 *
基于亚像素配准的神经网络非均匀性校正;徐全飞;冯旗;;激光与红外;20170820(08);全文 *
基于神经网络的红外图像非均匀性校正;张龙;董峰;傅雨田;;红外技术;20180223(02);全文 *
基于衬底温度的红外焦平面联合非均匀性校正;唐艳秋;孙强;赵建;姚凯男;;红外与激光工程;20160325(03);全文 *
自适应积分时间改变的红外焦平面非均匀校正方法;崔坤;陈凡胜;苏晓锋;蔡萍;;红外与激光工程;20171125(11);全文 *
非制冷红外焦平面阵列的非均匀性校正及其实现;杨国政, 唐广;红外;20040810(08);全文 *

Also Published As

Publication number Publication date
CN117649370A (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
Celik Spatial mutual information and PageRank-based contrast enhancement and quality-aware relative contrast measure
CN109345491B (zh) 一种融合梯度和灰度信息的遥感图像增强方法
JP2019121252A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体
US11663707B2 (en) Method and system for image enhancement
CN109447915B (zh) 基于特征模型建立与伽马灰度校正的线扫描图像质量提升方法
KR20200089410A (ko) 최적의 감마보정 기반 저조도 영상 보정방법
CN115511752A (zh) 基于bp神经网络的点坐标去畸变方法及存储介质
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
CN117649370B (zh) 图像非均匀校正的残差bp神经网络及方法
KR102277005B1 (ko) 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치
CN111932478A (zh) 一种非制冷红外焦平面的自适应非均匀校正方法
CN115049561B (zh) 基于非理想光照图像的真实影像再现方法
CN111640068A (zh) 一种图像曝光度的无监督自动化校正方法
CN114331925B (zh) 一种多尺度相对梯度直方图均衡化方法及装置
Imamura et al. Image denoising using non-local means for Poisson noise
CN114677295A (zh) 一种现实场景镜面高光图像增强方法、装置及存储介质
CN112422841B (zh) 图像补偿方法、装置、计算机设备和存储介质
CN115829851A (zh) 便携式眼底相机图像缺陷消除方法、***及存储介质
CN114359397A (zh) 图像优化方法、装置、设备及存储介质
CN117893455B (zh) 图像亮度和对比度调整方法
CN112541859A (zh) 一种光照自适应的人脸图像增强方法
TWI590192B (zh) 適應性高動態範圍影像合成演算法
CN116523774B (zh) 一种适于视频图像的暗影修正方法
KR102649330B1 (ko) 3차원 이변수 다항식 모델 기반의 비네트 영상 보정 방법
CN113409225B (zh) 基于Retinex的无人机拍摄图像增强算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant