CN113744164B - 一种快速夜间低照度图像增强方法、***及相关设备 - Google Patents
一种快速夜间低照度图像增强方法、***及相关设备 Download PDFInfo
- Publication number
- CN113744164B CN113744164B CN202111305983.6A CN202111305983A CN113744164B CN 113744164 B CN113744164 B CN 113744164B CN 202111305983 A CN202111305983 A CN 202111305983A CN 113744164 B CN113744164 B CN 113744164B
- Authority
- CN
- China
- Prior art keywords
- image
- order
- loss function
- model
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 101
- 230000006835 compression Effects 0.000 claims description 18
- 238000007906 compression Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 13
- 238000010191 image analysis Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000003213 activating effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明适用于图像分析领域，提供了一种快速夜间低照度图像增强方法、***及相关设备，所述方法包括：构建快速夜间低照度图像增强模型；使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型；使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型；使用所述最终图像增强模型对夜间低照度图像进行增强。本发明实现了在低照度的夜晚通过实时计算得到高质量的全彩成像。
Description
技术领域
本发明属于人工智能技术应用领域，尤其涉及一种快速夜间低照度图像增强方法、***及相关设备。
背景技术
视频监控在治安和管理方面起着重要的作用，通过监控设备拍摄的图像数据常被用于关键信息的获取以及目标识别，这就对监控设备的成像能力有着很高的要求，在夜间时，监控设备的成像往往需要大量补充光源，而实现补光的常见手段仅是依赖其他的光源，并且由于电子光学成像的技术限制，拍摄出来的图像会具有噪点，成像效果较差，而使用了红外线监控、星光监控等技术的监控设备虽然可以实现夜间成像，但红外线监控只能获取黑白画面，而星光监控在亮度低于阈值时得到的成像也和红外线监控相同，以上方式都会对获取图像中的细节信息造成干扰。
发明内容
本发明实施例提供一种快速夜间低照度图像增强方法、***及相关设备，旨在解决夜间监控成像受环境影响的程度大、成像质量差且仅能输出黑白图像的问题。
第一方面，本发明实施例提供一种快速夜间低照度图像增强方法，所述方法包括：
构建快速夜间低照度图像增强模型；
使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型；
使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型；
使用所述最终图像增强模型对夜间低照度图像进行增强。
更进一步地，所述快速夜间低照度图像增强模型的结构中依据处理逻辑先后包括低像素损失压缩单元、Sim-CSP单元、轮廓增强单元、上采样还原单元，其中：
所述低像素损失压缩单元用于将原始图像采用连续像素截取的方法进行通道扩展，得到具有高通道数的压缩图像；
所述Sim-CSP单元用于提取所述压缩图像的特征，得到压缩特征图像；
所述轮廓增强单元用于将所述压缩图像使用激活函数激活得到权重值，并将所述权重值与所述压缩特征图像进行乘法运算，得到轮廓增强图像；
所述上采样还原单元用于将所述轮廓增强图像进行卷积和上采样，得到与所述原始图像相同大小的最终图像。
更进一步地，所述Sim-CSP结构包括以卷积层、批归一化层、Relu层组成的CBR子单元，由两个所述CBR子单元跨残差支路相加组成的ResBlock子单元，由一个1*1卷积组成的基本卷积子单元，其中，所述CBR子单元和所述ResBlock子单元用于对所述压缩图像进行卷积计算以及批归一化、激活，从而得到图像特征，所述基本卷积子单元用于调整输出通道数量，最终输出所述压缩特征图像。
更进一步地，所述使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型的步骤中，所述预设一阶损失函数包括图像空间一致性损失函数和图像色彩平衡损失函数，且具体包括以下子步骤：
定义所述图像空间一致性损失函数为L1，所述图像色彩平衡损失函数为L2，L1的预设标准差阈值为R1，L1的预设总体权重为W1，L2的预设标准差阈值为R2，L2的预设总体权重为W2；
联合L1和L2并根据W1和W2对所述快速夜间低照度图像增强模型进行训练，在每一次梯度更新时计算包括当前迭代在内的前N个迭代时L1和L2各自的当前标准差C1和C2，并判断C1是否小于R1、C2是否小于R2，N为正整数，其中：
若C1不小于R1，或C2不小于R2，则继续使用所述一阶损失函数进行迭代训练；
若C1小于R1，且C2小于R2，则停止所述一阶训练，将当前的所述快速夜间低照度图像增强模型作为所述一阶模型。
更进一步地，所述使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型的步骤中，所述预设二阶损失函数包括图像光照平滑损失函数和图像曝光调整损失函数，且具体包括以下子步骤：
定义所述图像光照平滑损失函数为L3，所述图像曝光调整损失函数为L4，L3的预设标准差阈值为R3，L3的预设总体权重为W3，L4的预设标准差阈值为R4，L4的预设总体权重为W4；
将所述一阶模型对应W1和W2的权重影响度进行初始化，再联合L3和L4并根据W3和W4对所述一阶模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L3和L4各自的当前标准差C3和C4，并判断C3是否小于R3、C4是否小于R4，N为正整数，其中：
若C3不小于R3，或C4不小于R4，则继续使用所述二阶损失函数进行迭代训练；
若C3小于R3，且C4小于R4，则停止所述二阶训练，将当前的所述一阶模型作为所述最终图像增强模型。
更进一步地，使用所述最终图像增强模型对夜间低照度图像进行增强的步骤，具体为：
将所述夜间低照度图像作为所述最终图像增强模型的输入，使其经过所述最终图像增强模型的处理，得到处理后的增强图像。
第二方面，本发明实施例还提供一种快速夜间低照度图像增强***，包括：
模型构建模块，用于构建快速夜间低照度图像增强模型；
一阶训练模块，用于使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型；
二阶训练模块，用于使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型；
图像增强模块，用于使用所述最终图像增强模型对夜间低照度图像进行增强。
更进一步地，所述快速夜间低照度图像增强模型的结构中依据处理逻辑先后包括低像素损失压缩单元、Sim-CSP单元、轮廓增强单元、上采样还原单元，其中：
所述低像素损失压缩单元用于将原始图像采用连续像素截取的方法进行通道扩展，得到具有高通道数的压缩图像；
所述Sim-CSP单元用于提取所述压缩图像的特征，得到压缩特征图像；
所述轮廓增强单元用于将所述压缩图像使用激活函数激活得到的权重值与所述压缩特征图像进行乘法运算，得到轮廓增强图像；
所述上采样还原单元用于将所述轮廓增强图像进行卷积和上采样，得到与所述原始图像相同大小的最终图像。
第三方面，本发明实施例还提供一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的快速夜间低照度图像增强方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中任意一项所述的快速夜间低照度图像增强方法中的步骤。
本发明所达到的有益效果，由于采用了分阶段训练模型的方法，使得到的快速夜间低照度图像增强模型结构更小、且具备更好的泛化性，从而实现在低照度的夜晚通过实时计算得到高质量的全彩成像。
附图说明
图1是本发明实施例提供的快速夜间低照度图像增强方法的结构框图；
图2是本发明实施例提供的快速夜间低照度图像增强模型的逻辑结构图；
图3是本发明实施例提供的低像素损失压缩单元的功能示意图；
图4是本发明实施例提供的Sim-CSP单元的结构示意图；
图5是本发明实施例提供的轮廓增强单元的结构示意图；
图6是本发明实施例提供的快速夜间低照度图像增强方法中步骤S102的子流程框图；
图7是本发明实施例提供的快速夜间低照度图像增强方法中步骤S103的子流程框图；
图8是本发明实施例提供的快速夜间低照度图像增强***的结构示意图；
图9是本发明实施例提供的快速夜间低照度图像增强主板的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1是本发明实施例提供的快速夜间低照度图像增强方法的结构框图，具体包括以下步骤：
S101、构建快速夜间低照度图像增强模型。
具体的，请参照图2，图2是本发明实施例提供的快速夜间低照度图像增强模型的逻辑结构图，本发明实施例中的所述快速夜间低照度图像增强模型200依据处理逻辑先后包括低像素损失压缩单元201、Sim-CSP单元202、轮廓增强单元203、上采样还原单元204。
其中，所述低像素损失压缩单元201用于将原始图像采用连续像素截取的方法进行通道扩展，得到具有高通道数的压缩图像，具体的，请参照图3，图3是本发明实施例提供的低像素损失压缩单元的功能示意图，在本发明实施例中均以分辨率大小为1920*1080、像素通道数为3的所述原始图像为例，从成像的角度，图像的分辨率越大，意味着图像所包含的细节就越丰富，但对于卷积神经网络而言，图像分辨率越大，那么参与卷积运算的像素点就越多，使得模型计算的速度变慢，本发明实施例中的所述低像素损失压缩单元201利用连续像素截取的方法，具体的，将所述原始图像根据左上、右上、左下、右下的部分等大小分成分辨率为960*540的四个部分，分别记为P1、P2、P3、P4，在这个过程中，每一个像素的通道数并未改变，之后，将P1、P2、P3、P4统一在通道维度上进行拼接，最终得到一个分辨率为960*540、通道数为12的所述压缩图像，通过以上方法得到所述压缩图像，能够在保留图像分辨率的同时，加快所述快速夜间低照度图像增强模型的计算速度。
所述Sim-CSP单元202用于提取压缩图像的特征，得到压缩特征图像，具体的，请参照图4，图4是本发明实施例提供的Sim-CSP单元的结构示意图，所述Sim-CSP单元202还包含以卷积层、批归一化层、Relu层组成的CBR子单元2021，分别由两个所述CBR子单元2021的输入端和输出端跨残差支路相加组成的ResBlock子单元2022，以及由一个1*1卷积组成的基本卷积子单元2023，需要说明的是，所述基本卷积子单元2023用于调整输出的通道数量，为了降低模型复杂度可以选择使用或在所述Sim-CSP单元202中弃用，而所述ResBlock子单元2022的数量可以根据所述快速夜间低照度图像增强模型所部署的硬件设备的计算能力进行调整，在本发明实施例中，选用的所述ResBlock子单元2022的数量为2个，并且，所述低像素损失压缩单元201和所述Sim-CSP单元之间还包括一个3*3大小的卷积用于提升通道数。
所述轮廓增强单元203用于将所述压缩图像使用激活函数激活得到的权重值与所述压缩特征图像进行乘法运算，得到轮廓增强图像，请参照图5，图5是本发明实施例提供的轮廓增强单元的结构示意图，所述轮廓增强单元203包括第一输入端和第二输入端，其中，所述第一输入端还包括一个1*1大小的卷积和一个Sigmoid激活函数，所述第一输入端以所述低像素损失压缩单元201得到的所述压缩图像为输入，经过卷积与激活函数处理得到一个权重值，所述第二输入端以所述Sim-CSP单元202得到的所述压缩特征图像为输入，之后，将所述权重值与所述压缩特征图像进行张量乘法运算，得到轮廓增强图像，在本发明实施例中，所述轮廓增强图像的大小为960*540*32。
所述上采样还原单元204用于将所述轮廓增强图像还原为与所述原始图像相同分辨率及通道数的最终图像，所述上采样还原单元204包括一个3*3*3大小的卷积层，以及一个上采样层，在本发明实施例中，所述轮廓增强图像经过3*3*3大小的卷积层处理后得到大小为960*540*3的第二压缩图像，所述第二压缩图像经过所述上采样层进行特征上采样后，得到与所述原始图像相同大小的1920*1080*3的最终图像。
S102、使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型。
请参照图6，图6是本发明实施例提供的快速夜间低照度图像增强方法中步骤S102的子流程框图，具体包括以下子步骤：
S1021、定义所述图像空间一致性损失函数为L1，所述图像色彩平衡损失函数为L2，L1的预设标准差阈值为R1，L1的预设总体权重为W1，L2的预设标准差阈值为R2，L2的预设总体权重为W2。
在本发明实施例中，对所述快速夜间低照度图像增强模型进行训练的步骤包括两个阶段，在两个阶段中所使用的损失函数不同，具体的，本发明实施例在模型训练阶段共计设有四种损失函数，分别为图像空间一致性损失函数、图像色彩平衡损失函数、图像光照平滑损失函数、图像曝光调整损失函数，在第一阶段中，记所述图像空间一致性损失函数为L1，所述图像色彩平衡损失函数为L2，记L1在训练阶段中的预设标准差阈值为R1，记L1在训练阶段中对模型影响的预设总体权重为W1，对应的，记L2的预设标准差阈值为R2，L2的预设总体权重为W2。
S1022、联合L1和L2并根据W1和W2对所述快速夜间低照度图像增强模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L1和L2各自的当前标准差C1和C2，并判断C1是否小于R1、C2是否小于R2，N为正整数。
在本步骤中，联合使用L1和L2进行所述快速夜间低照度图像增强模型的一阶训练，在模型训练中，epoch表示利用训练集中的所有样本完成一次模型训练的流程，即完成一次迭代，而step表示利用特定的样本数量完成一次训练的流程，step的流程等同于一次梯度更新，在epoch的过程中，每完成一个梯度的计算时，都会计算包括当前梯度在内的前N个梯度时L1和L2各自的当前标准差，在本发明实施例中N设定为10，例如，在完成第20个梯度更新时，所计算的标准差范围即第11次梯度更新后的所有结果值，其中，L1的所述当前标准差为C1，L2的当前标准差为C2，在完成每一次梯度更新时，还会进行C1、C2分别与R1、R2的值的对比。
其中，根据C1是否小于R1、C2是否小于R2的结果，还包括：
1022a、若C1不小于R1，或C2不小于R2，则继续使用所述一阶损失函数进行迭代训练。
1022b、若C1小于R1，且C2小于R2，则停止所述一阶训练，将当前的所述快速夜间低照度图像增强模型作为所述一阶模型。
在本发明实施例中，所述一阶模型为根据所述图像空间一致性损失函数、所述图像色彩平衡损失函数对应的所述预设总体权重进行训练所得到的模型。
S103、使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型。
请参照图7，图7是本发明实施例提供的快速夜间低照度图像增强方法中步骤S103的子流程框图，具体包括以下子步骤：
S1031、定义所述图像光照平滑损失函数为L3，所述图像曝光调整损失函数为L4，L3的预设标准差阈值为R3，L3的预设总体权重为W3，L4的预设标准差阈值为R4，L4的预设总体权重为W4。
在第二阶段中，记所述图像光照平滑损失函数为L3，所述图像曝光调整损失函数为L4，记L3在训练阶段中的预设标准差阈值为R3，记L3在训练阶段中对模型影响的预设总体权重为W3，对应的，记L4的预设标准差阈值为R4，L4的预设总体权重为W4。
S1032、将所述一阶模型对应W1和W2的权重影响度进行初始化，再联合L3和L4并根据W3和W4对所述一阶模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L3和L4各自的当前标准差C3和C4，并判断C3是否小于R3、C4是否小于R4，N为正整数。
在本步骤中，对所述一阶模型进行训练前，还包括对所述一阶模型的权重进行初始化的步骤，实施权重初始化有利于减小模型的总体损失数值，并降低数值的震荡率，之后，与步骤S1022相似，联合使用L3和L4进行所述快速夜间低照度图像增强模型的二阶训练，在所述二阶训练的epoch过程中每完成一个梯度更新时，计算包括当前梯度在内的前N个梯度更新时L3和L4各自的当前标准差，其中，L3的所述当前标准差为C3，L4的当前标准差为C4，在完成每一次梯度更新时，进行C3、C4分别与R3、R4的值的对比。
其中，根据C3是否小于R3、C4是否小于R4的结果，还包括：
1032a、若C3不小于R3，或C4不小于R4，则继续使用所述二阶损失函数进行迭代训练。
1032b、若C3小于R3，且C4小于R4，则停止所述二阶训练，将当前的所述一阶模型作为所述最终图像增强模型。
在本发明实施例中，使用不同的损失函数联合对所述快速夜间低照度图像增强模型进行分阶段的训练，相对于将所有损失函数直接叠加在一起同时进行训练的方案，能够更好地将每一个损失函数进行优化，从而减少总体损失数值在epoch过程中某一数据区间内产生大幅震荡的情况，并且分阶段训练还有利于调整模型的超参数，在本发明实施例中体现为所述预设总体权重对模型的影响，并且，本发明实施例所使用的分阶段训练的方法也不需要传统夜间成像增强模型的成对的训练数据，从而减少对光照图像或是反射图像的独立神经网络结构，从而降低了所述最终图像增强模型的复杂度。
S104、使用所述最终图像增强模型对夜间低照度图像进行增强。
在本发明实施例中，所述最终图像增强模型以所述夜间低照度图像进行输入，并先后经过所述最终图像增强模型的所述低像素损失压缩单元201、所述Sim-CSP单元202、所述轮廓增强单元203、所述上采样还原单元204的处理，最终实现所述夜间低照度图像的亮度提升及全彩成像。
本发明所达到的有益效果，由于采用了分阶段训练模型的方法，使得到的快速夜间低照度图像增强模型结构更小、且具备更好的泛化性，从而实现在低照度的夜晚通过实时计算得到高质量的全彩成像。
本发明实施例还提供一种快速夜间低照度图像增强***，请参照图8，图8是本发明实施例提供的快速夜间低照度图像增强***的结构示意图，所述快速夜间低照度图像增强***300包括模型构建模块301、一阶训练模块302、二阶训练模块303、图像增强模块304，其中：
所述模型构建模块301，用于构建快速夜间低照度图像增强模型；
所述一阶训练模块302，用于使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型；
所述二阶训练模块303，用于使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型；
所述图像增强模块304，用于使用所述最终图像增强模型对夜间低照度图像进行增强。
夜间低照度图像增强***300能够实现如上述实施例中的夜间低照度图像增强方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机设备，请参照图9，图9是本发明实施例提供的计算机设备的结构示意图，所述快速夜间低照度图像增强主板400包括：核心处理器401、存储芯片403，所述存储芯片403上还存储有可在所述核心处理器401上运行的计算机程序。
所述核心处理器401调用所述存储芯403存储的计算机程序，执行本发明实施例提供的快速夜间低照度图像增强方法中的步骤，请结合图1，具体包括：
S101、构建快速夜间低照度图像增强模型。
更进一步地，所述快速夜间低照度图像增强模型的结构中依据处理逻辑先后包括低像素损失压缩单元、Sim-CSP单元、轮廓增强单元、上采样还原单元，其中：
所述低像素损失压缩单元用于将原始图像采用连续像素截取的方法进行通道扩展，得到具有高通道数的压缩图像；
所述Sim-CSP单元用于提取所述压缩图像的特征，得到压缩特征图像；
所述轮廓增强单元用于将所述压缩图像使用激活函数激活得到权重值，并将所述权重值与所述压缩特征图像进行乘法运算，得到轮廓增强图像；
所述上采样还原单元用于将所述轮廓增强图像进行卷积和上采样，得到与所述原始图像相同大小的最终图像。
更进一步地，所述Sim-CSP结构包括以卷积层、批归一化层、Relu层组成的CBR子单元，由两个所述CBR子单元跨残差支路相加组成的ResBlock子单元，由一个1*1卷积组成的基本卷积子单元，其中，所述CBR子单元和所述ResBlock子单元用于对所述压缩图像进行卷积计算以及批归一化、激活，从而得到图像特征，所述基本卷积子单元用于调整输出通道数量，最终输出所述压缩特征图像。
S102、使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型。
更进一步地，所述使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型的步骤中，所述预设一阶损失函数包括图像空间一致性损失函数和图像色彩平衡损失函数，且具体包括以下子步骤：
定义所述图像空间一致性损失函数为L1，所述图像色彩平衡损失函数为L2，L1的预设标准差阈值为R1，L1的预设总体权重为W1，L2的预设标准差阈值为R2，L2的预设总体权重为W2；
联合L1和L2并根据W1和W2对所述快速夜间低照度图像增强模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L1和L2各自的当前标准差C1和C2，并判断C1是否小于R1、C2是否小于R2，N为正整数，其中：
若C1不小于R1，或C2不小于R2，则继续使用所述一阶损失函数进行迭代训练；
若C1小于R1，且C2小于R2，则停止所述一阶训练，将当前的所述快速夜间低照度图像增强模型作为所述一阶模型。
S103、使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型。
更进一步地，所述使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型的步骤中，所述预设二阶损失函数包括图像光照平滑损失函数和图像曝光调整损失函数，且具体包括以下子步骤：
定义所述图像光照平滑损失函数为L3，所述图像曝光调整损失函数为L4，L3的预设标准差阈值为R3，L3的预设总体权重为W3，L4的预设标准差阈值为R4，L4的预设总体权重为W4；
将所述一阶模型对应W1和W2的权重影响度进行初始化，再联合L3和L4并根据W3和W4对所述一阶模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L3和L4各自的当前标准差C3和C4，并判断C3是否小于R3、C4是否小于R4，N为正整数，其中：
若C3不小于R3，或C4不小于R4，则继续使用所述二阶损失函数进行迭代训练；
若C3小于R3，且C4小于R4，则停止所述二阶训练，将当前的所述一阶模型作为所述最终图像增强模型。
S104、使用所述最终图像增强模型对夜间低照度图像进行增强。
所述核心处理器401最终根据所述图像数据得到增强图像数据。
更优的，所述电子设备400还包括图像传感器402、内存芯片404、视频加密芯片405、SD卡接口406、北斗模块407、网络接口408、电源模块409。
所述图像传感器402用于采集图像数据，并将所述图像数据传送给所述核心处理器401。
所述增强图像数据经过所述视频加密芯片405进行加密处理，并通过所述网络接口408将所述增强图像数据传给后台服务器，同时通过所述SD卡接口406将所述增强图像数据写入SD卡；
所述北斗模块407获取所述图像数据的定位信息，经过所述核心处理器401处理后通过所述网络接口408传给所述后台服务器，所述电源模块409用于为所述快速夜间低照度图像增强主板400中的其他模块提供电源。
可选的，在本发明实施例中，所述快速夜间低照度图像增强主板400中的所述核心处理器401可以是型号为AX630A的CPU芯片、所述图像传感器402可以是型号为OS04A10的传感器装置、所述存储芯片403可以是类型为eMMC的KLMAG2GE4A-A001芯片、所述内存芯片404可以是类型为LPDDR4的K4F4E3S4HF-GFCJ芯片、所述视频加密芯片405可以是符合GB35114规范的SC6235、所述SD卡接口406可以是型号为Atlas 200 AI的接口装置、所述北斗模块407可以是能够接受北斗导航卫星信号的UC9810一体化芯片、所述网络接口408可以是符合RJ45标准的ENC28J60装置、所述电源模块409可以是低电压的UL2960电源。
本发明实施例提供的计算机设备400能够实现如上述实施例中的快速夜间低照度图像增强方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的快速夜间低照度图像增强方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存取存储器（Random AccessMemory，简称RAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。
Claims (6)
1.一种快速夜间低照度图像增强方法，其特征在于，所述方法包括：
构建快速夜间低照度图像增强模型；
使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型；
使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型；
使用所述最终图像增强模型对夜间低照度图像进行增强；
其中，所述快速夜间低照度图像增强模型的结构中依据处理逻辑先后包括低像素损失压缩单元、Sim-CSP单元、轮廓增强单元、上采样还原单元，其中：
所述低像素损失压缩单元用于将原始图像采用连续像素截取的方法进行通道扩展，得到具有高通道数的压缩图像，所述低像素损失压缩单元具体将所述原始图像根据左上、右上、左下、右下的部分等大小分成四个部分，分别记为P1、P2、P3、P4，之后，将P1、P2、P3、P4统一在通道维度上进行拼接，最终得到分辨率与截取部分相同、通道数为所述原始图像的通道数的四倍的所述压缩图像；
所述Sim-CSP单元用于提取所述压缩图像的特征，得到压缩特征图像，所述Sim-CSP单元具体包含两个以卷积层、批归一化层、Relu层组成的CBR子单元，两个所述CBR子单元之间还包括一个ResBlock子单元，在第一个所述CBR子单元的输入前、最后一个所述CBR子单元的输出后还连接一个1*1卷积组成的基本卷积子单元；
所述轮廓增强单元用于将所述压缩图像使用激活函数激活得到权重值，并将所述权重值与所述压缩特征图像进行张量乘法运算，得到轮廓增强图像，所述轮廓增强单元具体包括第一输入端和第二输入端，所述第一输入端以所述压缩图像为输入，所述第二输入端以所述压缩特征图像为输入，其中，所述第一输入端还包括一个1*1大小的卷积和一个Sigmoid激活函数，用于计算所述权重值；
所述上采样还原单元用于将所述轮廓增强图像进行卷积和上采样，得到与所述原始图像相同大小的最终图像；
所述使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型的步骤中，所述预设一阶损失函数包括图像空间一致性损失函数和图像色彩平衡损失函数，且具体包括以下子步骤：
定义所述图像空间一致性损失函数为L1，所述图像色彩平衡损失函数为L2，L1的预设标准差阈值为R1，L1的预设总体权重为W1，L2的预设标准差阈值为R2，L2的预设总体权重为W2；
联合L1和L2并根据W1和W2对所述快速夜间低照度图像增强模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L1和L2各自的当前标准差C1和C2，并判断C1是否小于R1、C2是否小于R2，N为正整数，其中：
若C1不小于R1，或C2不小于R2，则继续使用所述一阶损失函数进行迭代训练；
若C1小于R1，且C2小于R2，则停止所述一阶训练，将当前的所述快速夜间低照度图像增强模型作为所述一阶模型；
所述使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型的步骤中，所述预设二阶损失函数包括图像光照平滑损失函数和图像曝光调整损失函数，且具体包括以下子步骤：
定义所述图像光照平滑损失函数为L3，所述图像曝光调整损失函数为L4，L3的预设标准差阈值为R3，L3的预设总体权重为W3，L4的预设标准差阈值为R4，L4的预设总体权重为W4；
将所述一阶模型对应W1和W2的权重影响度进行初始化，再联合L3和L4并根据W3和W4对所述一阶模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L3和L4各自的当前标准差C3和C4，并判断C3是否小于R3、C4是否小于R4，N为正整数，其中：
若C3不小于R3，或C4不小于R4，则继续使用所述二阶损失函数进行迭代训练；
若C3小于R3，且C4小于R4，则停止所述二阶训练，将当前的所述一阶模型作为所述最终图像增强模型。
2.如权利要求1所述的快速夜间低照度图像增强方法，其特征在于，所述CBR子单元和所述ResBlock子单元用于对所述压缩图像进行卷积计算以及批归一化、激活，从而得到图像特征，所述基本卷积子单元用于调整输出通道数量，最终输出所述压缩特征图像。
3.如权利要求1所述的快速夜间低照度图像增强方法，其特征在于，使用所述最终图像增强模型对夜间低照度图像进行增强的步骤，具体为：
将所述夜间低照度图像作为所述最终图像增强模型的输入，使其经过所述最终图像增强模型的处理，得到处理后的增强图像。
4.一种快速夜间低照度图像增强***，其特征在于，包括：
模型构建模块，用于构建快速夜间低照度图像增强模型；
一阶训练模块，用于使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型；
二阶训练模块，用于使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型；
图像增强模块，用于使用所述最终图像增强模型对夜间低照度图像进行增强；
其中，所述快速夜间低照度图像增强模型的结构中依据处理逻辑先后包括低像素损失压缩单元、Sim-CSP单元、轮廓增强单元、上采样还原单元，其中：
所述低像素损失压缩单元用于将原始图像采用连续像素截取的方法进行通道扩展，得到具有高通道数的压缩图像，所述低像素损失压缩单元具体将所述原始图像根据左上、右上、左下、右下的部分等大小分成四个部分，分别记为P1、P2、P3、P4，之后，将P1、P2、P3、P4统一在通道维度上进行拼接，最终得到分辨率与截取部分相同、通道数为所述原始图像的通道数的四倍的所述压缩图像；
所述Sim-CSP单元用于提取所述压缩图像的特征，得到压缩特征图像，所述Sim-CSP单元具体包含两个以卷积层、批归一化层、Relu层组成的CBR子单元，两个所述CBR子单元之间还包括一个ResBlock子单元，在第一个所述CBR子单元的输入前、最后一个所述CBR子单元的输出后还连接一个1*1卷积组成的基本卷积子单元；
所述轮廓增强单元用于将所述压缩图像使用激活函数激活得到权重值，并将所述权重值与所述压缩特征图像进行张量乘法运算，得到轮廓增强图像，所述轮廓增强单元具体包括第一输入端和第二输入端，所述第一输入端以所述压缩图像为输入，所述第二输入端以所述压缩特征图像为输入，其中，所述第一输入端还包括一个1*1大小的卷积和一个Sigmoid激活函数，用于计算所述权重值；
所述上采样还原单元用于将所述轮廓增强图像进行卷积和上采样，得到与所述原始图像相同大小的最终图像；
所述使用预设一阶损失函数对所述快速夜间低照度图像增强模型进行一阶训练，得到一阶模型的步骤中，所述预设一阶损失函数包括图像空间一致性损失函数和图像色彩平衡损失函数，且具体包括以下子步骤：
定义所述图像空间一致性损失函数为L1，所述图像色彩平衡损失函数为L2，L1的预设标准差阈值为R1，L1的预设总体权重为W1，L2的预设标准差阈值为R2，L2的预设总体权重为W2；
联合L1和L2并根据W1和W2对所述快速夜间低照度图像增强模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L1和L2各自的当前标准差C1和C2，并判断C1是否小于R1、C2是否小于R2，N为正整数，其中：
若C1不小于R1，或C2不小于R2，则继续使用所述一阶损失函数进行迭代训练；
若C1小于R1，且C2小于R2，则停止所述一阶训练，将当前的所述快速夜间低照度图像增强模型作为所述一阶模型；
所述使用预设二阶损失函数对所述一阶模型进行二阶训练，得到最终图像增强模型的步骤中，所述预设二阶损失函数包括图像光照平滑损失函数和图像曝光调整损失函数，且具体包括以下子步骤：
定义所述图像光照平滑损失函数为L3，所述图像曝光调整损失函数为L4，L3的预设标准差阈值为R3，L3的预设总体权重为W3，L4的预设标准差阈值为R4，L4的预设总体权重为W4；
将所述一阶模型对应W1和W2的权重影响度进行初始化，再联合L3和L4并根据W3和W4对所述一阶模型进行训练，在每一次梯度更新时计算包括当前梯度在内的前N个梯度时L3和L4各自的当前标准差C3和C4，并判断C3是否小于R3、C4是否小于R4，N为正整数，其中：
若C3不小于R3，或C4不小于R4，则继续使用所述二阶损失函数进行迭代训练；
若C3小于R3，且C4小于R4，则停止所述二阶训练，将当前的所述一阶模型作为所述最终图像增强模型。
5.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的快速夜间低照度图像增强方法中的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述的快速夜间低照度图像增强方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111305983.6A CN113744164B (zh) | 2021-11-05 | 2021-11-05 | 一种快速夜间低照度图像增强方法、***及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111305983.6A CN113744164B (zh) | 2021-11-05 | 2021-11-05 | 一种快速夜间低照度图像增强方法、***及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113744164A CN113744164A (zh) | 2021-12-03 |
| CN113744164B true CN113744164B (zh) | 2022-03-15 |
Family
ID=78727617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111305983.6A Active CN113744164B (zh) | 2021-11-05 | 2021-11-05 | 一种快速夜间低照度图像增强方法、***及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744164B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
| CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2569610B (en) * | 2017-12-21 | 2022-10-19 | Displaylink Uk Ltd | Image compression |
| CN109934249A (zh) * | 2018-12-14 | 2019-06-25 | 网易（杭州）网络有限公司 | 数据处理方法、装置、介质和计算设备 |
| CN111626932B (zh) * | 2020-05-07 | 2023-09-29 | Tcl华星光电技术有限公司 | 图像的超分辨率重建方法及装置 |
| CN111967305B (zh) * | 2020-07-01 | 2022-03-18 | 华南理工大学 | 一种基于轻量级卷积神经网络的实时多尺度目标检测方法 |
| CN111882002B (zh) * | 2020-08-06 | 2022-05-24 | 桂林电子科技大学 | 一种基于msf-am的低照度目标检测方法 |
| CN112819858B (zh) * | 2021-01-29 | 2024-03-22 | 北京博雅慧视智能技术研究院有限公司 | 基于视频增强的目标跟踪方法、装置、设备及存储介质 |
| CN112767286A (zh) * | 2021-03-08 | 2021-05-07 | 中南大学 | 一种基于密集深度学习的暗光图像自适应增强方法 |
| CN113470057B (zh) * | 2021-06-29 | 2024-04-16 | 上海商汤智能科技有限公司 | 语义分割方法、装置、电子设备和计算机可读存储介质 |
| CN113284051B (zh) * | 2021-07-23 | 2021-12-07 | 之江实验室 | 一种基于频率分解多注意力机制的人脸超分辨方法 |
-
2021
- 2021-11-05 CN CN202111305983.6A patent/CN113744164B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和*** |
| CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113744164A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111669514B (zh) | 高动态范围成像方法和装置 | |
| US11436440B2 (en) | Method and system for DNN based imaging | |
| EP3779891A1 (en) | Method and device for training neural network model, and method and device for generating time-lapse photography video | |
| CN109493297B (zh) | 低质量人脸图像增强方法、***、设备及存储介质 | |
| CN112132847A (zh) | 模型训练方法、图像分割方法、装置、电子设备和介质 | |
| CN112580481B (zh) | 基于边缘节点和云端协同视频处理方法、装置、服务器 | |
| CN112614072B (zh) | 一种图像复原方法、装置、图像复原设备及存储介质 | |
| CN110689136B (zh) | 一种深度学习模型获得方法、装置、设备及存储介质 | |
| CN116205820A (zh) | 图像增强方法、目标识别方法、设备及介质 | |
| CN116547694A (zh) | 用于对模糊图像去模糊的方法和*** | |
| CN113781318A (zh) | 一种图像颜色映射方法、装置、终端设备及存储介质 | |
| CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| Li et al. | Gamma-enhanced spatial attention network for efficient high dynamic range imaging | |
| CN113744164B (zh) | 一种快速夜间低照度图像增强方法、***及相关设备 | |
| CN115797228B (zh) | 一种图像处理装置、方法、芯片、电子设备及存储介质 | |
| CN111784726A (zh) | 人像抠图方法和装置 | |
| CN115375909A (zh) | 一种图像处理方法及装置 | |
| CN115311152A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN113902639A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2022194345A1 (en) | Modular and learnable image signal processor | |
| WO2021187365A1 (ja) | データ生成方法、学習方法、推定方法、データ生成装置及びプログラム | |
| CN117808721B (zh) | 基于深度学习的低照度图像增强方法、装置、设备及介质 | |
| CN115830422A (zh) | 图像处理方法、装置和电子设备 | |
| Rabin et al. | Image Processing For LDR To HDR Image Conversion Using Deep Learning | |
| Guo et al. | Image Defogging Based on Improved AOD-Net Network Modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240109 Granted publication date: 20220315 |
|
| PP01 | Preservation of patent right |