CN115830585A - 一种基于图像增强的港口集装箱号识别方法 - Google Patents

Abstract

本发明公开一种基于图像增强的港口集装箱号识别方法，包括以下步骤：在货运港口采集低照度环境下的集装箱图像形成图像库；搭建Retinex分解的对抗增强网络，对图像库进行图像增强处理以提高增强效果；通过对增强处理的集装箱图像箱号进行预处理，提取字符构建箱号字符数据集，搭建的卷积神经网络模型进行字符数据集的迭代训练，以提高识别字符的准确率；将实际采集到的待识别低照度集装箱图像载入训练好的图像增强网络对低照度图像完成增强处理，得到高质量的图像；对增强后的高质量的图像进行预处理，提取出待识别箱体字符图像，将得到对的字符图像输入到训练好的卷积神经网络模型进行箱号识别，得到最终结果。

Description

一种基于图像增强的港口集装箱号识别方法

技术领域

本发明属于集装箱识别技术领域，具体涉及一种基于图像增强的港口集装箱号识别方法。

背景技术

不断增长的集装箱数量也促进了港口生产规模逐渐扩大，为了避免由于集装箱货柜大量积压而产生的繁重压力，需要在各个港口开展24小时不间断地集装箱理货作业。为此，现代化的港口集装箱智能理货***是必不可少的，其中至关重要的基础工作就是对于箱号信息的智能识别和采集。

但对于目前国内大多数小型港口和一般港区来说，集装箱的理货作业还是采用人工的方式，需要多名理货员在现场进行箱号信息的采集，这种方式在记录过程中以及后期校对时都存在着很大的失误几率；另一方面是在无法有效提高工作效率的同时，还大大增加了企业的运营成本，尤其是在夜间低照度环境下进行箱号识别和采集工作的时候，针对工作区内灯光照射不足以及有光影影响的区域，大多数港口会用到多个工业高瓦数探照灯来为采集工作提供照明，以改善由于低照度导致集装箱箱号信息采集错误的问题，但这样的方式也在一定程度上增加了能源的消耗。因此，夜晚低照度导致图像细节不清晰,影响图像识别等问题是目前需要解决的技术热点。

本申请将主要针对夜晚低照度情况下所获取到的低质量集装箱图像进行图像增强处理，通过算法调整图像整体色调和相应色彩饱和度等将图像暗区调亮，对突出显示的区域进行一定抑制，最终有效改善其对比度，增强箱号字符区域的细节特征，使后续要进行定位和识别的箱号信息能够清晰地呈现，提高箱号字符识别的准确率，为港口集装箱智能理货作业提供保障。

发明内容

本发明提供一种基于图像增强的港口集装箱号识别方法，以解决夜间低照度箱体图像的采集、识别和定位易出现错误等技术问题。

本申请具体的技术方案如下：

一种基于图像增强的港口集装箱号识别方法，包括以下步骤：

在货运港口采集低照度环境下的集装箱图像形成图像库；

搭建Retinex分解的对抗增强网络，对图像库进行图像增强处理以提高增强效果；

通过对增强处理的集装箱图像箱号进行预处理，提取字符构建箱号字符数据集，搭建的卷积神经网络模型进行字符数据集的迭代训练，以提高识别字符的准确率；

将实际采集到的待识别低照度集装箱图像载入训练好的图像增强网络对低照度图像完成增强处理，得到高质量的图像；

对增强后的高质量的图像进行预处理，提取出待识别箱体字符图像，将得到对的字符图像输入到训练好的卷积神经网络模型进行箱号识别，得到最终结果。

进一步地，所述搭建Retinex分解的对抗增强网络，包括如下步骤：

S1.在分解网络中对原始的低照度图像进行有效分解，并通过多项分解损失来保证分解过程中对细节恢复的能力；

S2.利用融合增强网络对分解出的结果进行增强学习；

S3.通过鉴别网络将融合增强的结果与原始参考图像进行博弈，以得到更贴近参考图像的增强结果。

进一步地，步骤S1中分解网络的多项分解损失为L_RD＝L_ini+α*L_wtv+β*L_com+γ*L_err，其中初始化损失L_ini、加权全变化损失L_wtv、分解损失L_com以及反射误差损失L_err，而常量α、β、γ是比重参数，具体如下：

初始化损失L_ini：通过计算分解光照P_I与估计光照P_v之间的均方误差MSE，来实现对分解光照P_I的初始化，公式如下：

其中，In_I为输入图光照分量，In_V为图像估计光照分量，Lb_I为参考图像光照分量，Lb_V为估计图像光照分量；

加权全变化损失L_wtv：加权全变化损失L_wtv是利用图像的全变化大小来限制图像的噪声大小，进而使图像的光照分量变得平滑，同时避免了光晕瑕疵的产生，定义一个权重矩阵P_W，具体表示如下：

其中，

表示在水平方向和垂直方向上的全变分，w(x)为一个以像素点x为中心3×3大小的窗口，因此L_wtv可表示为：

分解损失L_com：通过计算P_I·P_R与P之间的均方误差MSE，来保证图像分解的精度，这里P是原图光照，P_R为反射光照，具体计算过程如下：

其中Input为原低照度图像，Label为目标图像照度，

反射误差损失L_err：

In_R为输入图像反射光分量，Lb_R参考图像反射光分量，通过计算In_R与Lb_R之间的均方误差MSE，来保证图像分解出的反射率精度。

进一步地，步骤S2中融合增强网络包括CRM，利用其将低照度图像分解得到的光照分量映射到粗略的良好曝光效果，CRM处理的具体过程可通过下述公式来表示：

CRM(In_I,Input)＝e^b(1-k)Input^k，

式中ε表示一个小常数，a和b为摄像机参数，为了适应大多数的曝光度，分别将其设置为-0.3293和1.1258，融合增强网络最终得到的增强结果可表示为：

Out＝FENet(Input,CRM(In_I,Input),In_R)，

在此融合增强网络的预训练中使用的是VGG19模型中的内容损失参数：

VGG19网络结构中共包含了19个隐藏层，由16个3×3的卷积层和3个2×2的全连接层组成，整体结构非常清晰简洁，且VGG网络中使用多个小滤波器的卷积层组合比直接使用一个大滤波器所产生的滤波效果要好。

进一步地，步骤S3中鉴别器网络包括6个卷积层和1个全连接层，同时使用了Prelu函数对网络进行激活，在鉴别器网络的交替训练过程中采用的是一种新的对抗损失RDGAN_d，具体是根据增强结果和原始参考图像的反射率分量计算所得，有助于对图像颜色和细节进行恢复，公式表示为如下：

最终的对抗性增强损失可以由融合增强网络的预训练VGG19模型中的内容损失参数和对抗损失参数组成：

L_FE＝L_con+L_{RDGAN_g}，

其中，D_fake是指输入图像属于增强图像的概率，D_real是指输入图像属于参考图像的概率，Out_R表示经分解网络分解增强结果图像得到的反射率分量。

进一步地，图像预处理包括对增强处理后的集装箱图像进行图像灰度化、灰度拉伸、二值化以及形态学处理。

进一步地，提取箱号字符包括将预处理得到的二值化图像在水平方向上进行投影，分析其灰度分布的特征；通过统计y方向上白色像素点的数量，有效地区分箱号下面的其他箱体参数信息

进一步地，集装箱箱号字符的识别采用卷积神经网络模型，卷积神经网络模型具体结构包括2个卷积层、1个最大池化层、2个全连接层以及Dropout层。

进一步地，利用PyQt5工具设计GUI可视化***界面，对集装箱号识别工作过程及结果进行融合展示，呈现工作过程的完整性。

进一步地，GUI可视化***界面包括载入的原始的低照度集装箱箱体图像、增强后的箱体图像、定位的箱号区域，以及最终得到的箱号字符识别结果。

与现有技术相比，本发明有以下优点：

(1)针对夜间低照度箱体图像的增强处理，本发明分析了基于Retinex分解的对抗增强网络用于低照度图像增强的方法，通过对增强网络进行搭建，并将实际采集到的夜间集装箱图像输入到网络中，得到相应的处理结果；

(2)引入多项图像质量评价参数对网络模型所呈现的结果进行客观地分析，并结合了相应的亮度分布直方图，通过各项数据的证实，基于Retinex分解的对抗增强网络处理后的图像在有效避免了颜色失真的同时，对图像细节的保留更加完善，且有效抑制了增强过程中的噪声影响；

(3)为了降低对箱号字符定位获取的难度，将增强后的结果图像进行了一系列预处理操作，包括灰度拉伸、形态学处理，以及二值化，去除其中多类噪声等干扰因素，同时避免字符之间有粘连的问题；

(4)通过对箱号区域和字符特征的了解和分析，采用投影定位分割法来实现箱号字符的获取，此过程需要先对整体图像进行水平投影，以定位箱号区域；再对该区域图像进行垂直投影，捕捉相应像素点分布直方图中波峰波谷的特点，来准确分割得到箱号字符；

(5)本发明针对箱号信息的识别获取，搭建了一个卷积神经网络，并通过构建的箱号字符数据集对其进行迭代训练，训练得到的准确率可达到98.09％；

(6)为了将各部分实现的效果进行可视化呈现，并展示整个工作过程的完整性，借助PyQt5工具中的Qt Designer可视化界面设计器，对其中调用的控件进行配置，设计了相应的GUI***界面；

(7)通过抽取部分实际采集的夜间港口集装箱箱体图像，将其输入到最终融合得到的工作***中进行多次测试，从呈现的效果可以看出，针对夜晚灯光照射不足或有光影影响的箱体图像，能够实现良好的增强效果，且增强后对箱号的识别准确率能够保持在95％以上。

附图说明

图1为本发明的流程示意图；

图2为本发明的基于Retinex分解的对抗增强网络整体框架图；

图3为本发明的用于初始化估计光照分量的P_v显示图；

图4为本发明的实际分解得到的光照分量图像与未使用P_v估计初始化光照的分解结果进行对比图；

图5为本发明的CRM函数定义；

图6为本发明的CMR调整结果显示图；

图7为本发明的增强结果与原始低照度图像的对比图；

图8为本发明的增强结果与原始低照度图像的亮度直方图；

图9为本发明实施例集装箱图像；

图10为本发明的水平投影效果图；

图11为本发明的垂直投影效果图；

图12为本发明的卷积神经网络模型(CNN)结构图；

图13为本发明的箱号字符数据集；

图14为本发明的卷积神经网络训练的准确率和损失表；

图15为本发明的图14的训练损失曲线和训练准确率曲线；

图16为本发明的港口集装箱箱号识别***框图；

图17为本发明的对抗增强网络测试结果图；

图18为本发明的***工作流程图；

图19为本发明的***测试准确率表；

图20为本发明的***测试识别准确率曲线图。

具体实施方式

为使本领域技术人员能够更清楚的了解本发明的具体方案，下面结合附图对本发明一种基于图像增强的港口集装箱号识别方法作进一步说明。

如图1所示，一种基于图像增强的港口集装箱号识别方法，包括以下步骤：

S1.在货运港口采集低照度环境下的集装箱图像形成图像库；

S2.搭建Retinex分解的对抗增强网络，对图像库进行图像增强处理以提高增强效果；

S3.通过对增强处理的集装箱图像箱号进行预处理，提取字符构建箱号字符数据集，搭建的卷积神经网络模型进行字符数据集的迭代训练，以提高识别字符的准确率；

S4.将实际采集到的待识别低照度集装箱图像载入训练好的图像增强网络对低照度图像完成增强处理，得到高质量的图像；

S5.对增强后的高质量的图像进行预处理，提取出待识别箱体字符图像，将得到对的字符图像输入到训练好的卷积神经网络模型进行箱号识别，得到最终结果。

具体的，步骤S1中获取低照度的原始图像：原始图像可以是在光照程度不足的环境下采集的图像，例如在夜间采集的图像，本发明实施例对此不做具体限定，为描述方便，以下将“低照度的原始图像”简称为“低照度图像”或“原始图像”。

如图2所示，步骤S2中基于Retinex分解的对抗增强网络是在Retinex理论基础上融合了对抗学习框架，具有较好的颜色和细节恢复性能，基于Retinex分解的对抗增强网络是端到端的对抗学习网络，整体框架包括生成网络(Generator Network)和鉴别器网络(Discriminator Network)，其中，生成网络可分为分解网络(RDNet)和融合增强网络(FENet)，首先在分解网络中对原始的低照度图像进行有效分解，并通过多项分解损失来保证分解过程中对细节恢复的能力；然后利用融合增强网络对分解出的结果进行增强学习；鉴别器网络的目的是将融合增强的结果与原始参考图像进行博弈，以得到更贴近参考图像的增强结果。具体如下：

(1)分解网络：

原始图像及其相应的参考图像作为分解网络的输入，输出得到的光照分量和反射率分量，通过找到光照分量中的最大亮度值通道来构建亮度图，大大缩小分辨率空间并减少计算成本，因此，在分解网络中将对原始图像的HSV空间进行操作，且为了融合狭窄的断口并填充轮廓上的缝隙，需要对得到的V通道分量进行形态学闭合操作，来得到用于初始化估计光照分量的P_v；整个网络结构是由多个卷积层构成，并引入反卷积运算来实现将低分辨率图像变为高分辨率图像；在分解网络的最后采用最近邻上采样层和3×3卷积层来替代反卷积层，同时用PRelu作为激活函数，以考虑负数区域。

分解网络的多项分解损失为L_RD＝L_ini+α*L_wtv+β*L_com+γ*L_err，其中初始化损失L_ini、加权全变化损失L_wtv、分解损失L_com以及反射误差损失L_err，而常量α、β、γ是比重参数，具体如下：

初始化损失L_ini：通过计算分解光照P_I与估计光照P_v之间的均方误差MSE，来实现对分解光照P_I的初始化，公式如下：

其中，In_I为输入图光照分量，In_V为图像估计光照分量，Lb_I为参考图像光照分量，Lb_V为估计图像光照分量；

加权全变化损失L_wtv：加权全变化损失L_wtv是利用图像的全变化大小来限制图像的噪声大小，进而使图像的光照分量变得平滑，同时避免了光晕瑕疵的产生，定义一个权重矩阵P_W，具体表示如下：

其中，

表示在水平方向和垂直方向上的全变分，w(x)为一个以像素点x为中心3×3大小的窗口，因此L_wtv可表示为：

分解损失L_com：通过计算P_I·P_R与P之间的均方误差MSE，来保证图像分解的精度，这里P是原图光照，P_R为反射光照，具体计算过程如下：

其中Input为原低照度图像，Label为目标图像照度；

反射误差损失L_err：

In_R为输入图像反射光分量，Lb_R参考图像反射光分量，通过计算In_R与Lb_R之间的均方误差MSE，来保证图像分解出的反射率精度。

(2)融合增强网络：

融合增强网络与分解网络的框架大致相同，区别主要在于卷积层的数量不同，以及融合增强网络中没有设置全连接层，为了保持图像的自然度，在融合增强网络中增加了CRM(Camera Response Model)，利用其将低照度图像分解得到的光照分量映射到粗略的良好曝光效果，CRM处理的具体过程可通过下述公式来表示：

CRM(In_I,Input)＝e^b(1-k)Input^k

式中ε表示一个小常数，a和b为摄像机参数，为了适应大多数的曝光度，分别将其设置为-0.3293和1.1258，因此，融合增强网络最终得到的增强结果可表示为：

Out＝FENet(Input,CRM(In_I,Input),In_R)

在此融合增强网络的预训练中使用的是VGG19模型中的内容损失参数：

VGG19网络结构中共包含了19个隐藏层，由16个3×3的卷积层和3个2×2的全连接层组成，整体结构非常清晰简洁，且VGG网络中使用多个小滤波器的卷积层组合比直接使用一个大滤波器所产生的滤波效果要好。

(3)鉴别器网络：

鉴别器网络的整体结构是由6个卷积层和1个全连接层组成，同时使用了Prelu函数对网络进行激活，在鉴别器网络的交替训练过程中采用的是一种新的对抗损失RDGAN_d，具体是根据增强结果和原始参考图像的反射率分量计算所得，有助于对图像颜色和细节进行恢复，公式表示为如下：

其中，D_fake是指输入图像属于增强图像的概率，D_real是指输入图像属于参考图像的概率，Out_R表示经分解网络分解增强结果图像得到的反射率分量。

因此，最终的对抗性增强损失可以由融合增强网络的预训练VGG19模型中的内容损失参数和对抗损失参数组成：L_FE＝L_con+L_{RDGAN_g}。

对上述基于Retinex分解的对抗增强网络所融合的对抗学习框架，主要目的是同时将低照度图像和与之相对应的参考图像放入网络中，通过二者不断地博弈，来促进整体对抗增强网络逐渐习得样本的真实分布；为此，我们需要为对抗增强网络模型的训练提供包含两类样本的图像数据集，其一是不同曝光度的低照度图像；其二是与之相对应的正常光照下的参考图像。

本实施例通过输入一张在夜晚实际采集到的低照度箱体图像，来呈现整个对抗增强网络的增强处理过程，具体的增强处理过程包括：

A1.获取初始化光照分量的V通道图像：在HSV空间下提取原始图像的V通道分量，并对其进行形态学闭合操作以融合狭窄的断口，填充轮廓上的缝隙，提取并进行处理后的结果(用于初始化估计光照分量的P_v)如图3所示；

A2.分解网络的处理：将A1中用于初始化估计光照分量的P_v和原始低照度图像同时作为分解网络的输入，通过分解网络模型进行处理，得到相应的分解结果，即反射率分量和光照分量，如图4所示，可知将实际分解得到的光照分量图像与未使用P_v估计初始化光照的分解结果进行对比，在分解网络中通过P_v初始化估计光照所得到的效果更加清晰，可有效避免后续对光照分量进行平滑操作时，造成细节丢失的问题；

A3.CRM调整曝光：在调用融合增强网络模型获取增强结果之前，需要借助CRM函数将低照度图像调整至一个粗略的良好曝光效果，对该函数的定义和调整后的效果分别如图5和图6所示；

A4.对抗增强的处理：将原始低照度图像、分解得到的反射率分量以及CRM调整结果同时输入到融合增强网络和鉴别器网络模块中，实现恢复调整，得到最终的增强结果。

经过上述增强处理的图像结果分析：将对抗增强的结果与输入的低照度图像进行对比如下，如图7所示：通过增强结果与原始低照度图像的对比，可以看出，基于Retinex

分解的对抗增强网络能够有效地调整图像的亮度和对比度，具有良好的颜色恢复能力，没有出现明显的色彩失真现象。为了进一步分析曝光度和亮度分布，绘制相应的亮度直方图，如图8所示，通过直方图可以看出，增强后对应的亮度分布更加均衡，灰度值大致稳定的区域是100至200之间，且在0和255周围几乎没有像素点分布，说明此增强网络处理后的图像没有出现噪声影响和过度曝光的问题，整体效果较好。

其中，图像质量评价参数包括：

图像均值(Mean)：是图像质量评价中最基本的指标参数，是通过计算所有像素点灰度值的平均值来表现图像的平均亮度，具体公式如下：

标准差(Standard Deviation)：用于表示各级灰度值相对于图像均值的离散程度，其值越大，反映出图像的灰度分布越分散，即该图像对比度越大；标准差越小则说明图像的对比度越小，计算公式表示如下：

均方误差(MSE)：是比较处理后的图像与原始参考图像之间差异的一种客观评价指标，均方误差的值越小，表示增强处理后的图像与原图像的细节相似度越高，即图像的相对质量越好其数学公式表示如下：

峰值信噪比(PSNR)：作为目前最重要和使用最为广泛的一种图像客观评价指标参数，是以对应像素点间的误差为基础，即是一种基于均方误差对图像质量进行评价的参数，峰值信噪比与图像的失真度成反比，其值越大对应的失真度越低，图像质量越好。对应的数学公式表示如下：

图像的信息熵(Entropy)：是一个以量化标准来评价图像的参数，一般用来衡量图像中的信息量，反映相应的丰富度，其值越大，代表该图像所包含的信息越多，假设p(i)为图像第i个灰度级出现的概率，当所有的灰度级等概率分布时，图像的信息熵最大，此时的直方分布已基本达到均衡化，信息熵的公式表示如下：

平均梯度(Average Gradient)：是一个用于客观地反映图像清晰度的参数，在图像处理技术方面，图像的清晰度是一个很重要的指标，图像越清晰，则相应的平均梯度值越大，人类视觉***所接收的图像信息越全面，其数学公式如下：

其中，

表示图像在水平方向的梯度大小；

表示图像在竖直方向的梯度大小。

具体的，步骤S3中，箱号识别方法包括图像预处理、箱号区域定位以及对箱号字符的分割获取，具体包括：

B1.对图像进行预处理，包括对增强处理后的集装箱图片做了图像灰度化、灰度拉伸、二值化、形态学处理等操作，具体如下：

图像灰度化，将原始图像由RGB空间的彩色图像处理为灰度图像，在有效降低图像所需存储空间，提高整体计算处理速度的同时，保留较为完整的图像特征信息；

灰度拉伸，通过映射计算来拉伸或压缩整个图像的灰度分布范围，可以进一步改善灰度图像的对比度，使图像变得更加清晰；

形态学处理，运用的形态学操作是图像的开运算和顶帽运算，开运算(OpeningOperation)是先腐蚀后膨胀，通常用于消除细小的噪声影响，使目标区域的边缘轮廓变得更加平滑，同时有效分离狭窄的冗余连接，并保证物体的位置和体积不会产生明显的变化，顶帽运算(Top Hat)是为了得到原输入的灰度图像与开运算结果图像之间的差值图像，在开运算之后再进行顶帽运算，可以得到一个比原图中目标周围区域更加明亮的区域，目的是在较暗的背景图像中增强亮的目标对象；

图像二值化，通过合适的阀值以获得能够清晰呈现整体和局部特征的图像，且其中的细节信息只与值为0和255的黑白像素点的位置有关，更有利于后续对图像中目标区域的分析和处理。

B2.获取箱号字符：

为了提高对港口集装箱管理的效率，保证在理货和运输过程中对货物的实时追踪，集装箱上通常会印刷集装箱类型的相关标识、集装箱的厂家Logo、集装箱用途以及集装箱的编号等相关信息，通过分析采集到的大量集装箱图像，可得到其箱号编码的规律和特点，选取几张集装箱图像展示，如图9所示，集装箱箱号编码规则遵循ISO 6346编码标准，由11位固定大小的印刷体字符组成。前四位为大写英文字母，紧跟着六位***数字，最后一位是一个单独排列的***数字，常以外加边框的形式与前十位箱体注册码进行区分，同时，集装箱的箱号区域对应的空间变化频率较高，且英文字母及数字之间的间隔基本相同。

B3.箱号定位：将预处理得到的二值化图像在水平方向上进行投影，分析其灰度分布的特征，通过统计y方向上白色像素点的数量，同时还能有效地区分箱号下面的其他箱体参数信息，效果如图10所示，可以看出，针对横向排列的集装箱箱号，字符主要集中在某一行上，且字符位数明显大于其他字符区域，又由先验知识可以了解到其位置分布于整体图像的最上端，因此，通过观察水平投影得到的直方分布图，选取白色像素点分布最为集中、峰值最高的部分作为候选区域；再进一步根据波峰和波谷的特点来确定箱号字符区域的边界，为第一个不为零的列向量所对应的行数与相邻的下一个为零的列向量所对应的行数，最终完成箱号区域定位；

B4.箱号字符分割，通过将分割得到的字符区域图像进行垂直投影，统计其x方向上白色像素点的数量，同样也可以得到相应的分布直方图，各个字符的区域会呈现出峰—谷—峰的特点，如图11可知，通过前期的图像预处理，已经有效避免了字符与字符之间粘连的情况，所以各个字符之间的空隙能够很好地反映在直方图中，对应的是其中白色像素点数量为零的部分，通过记录这些像素点数量为零的项对应的列数，判断下一项的位置与当前项位置的差距，由此来确定每个字符对应的起止列数，最终完成对每个箱号字符的分割获取。

B5.箱号字符识别：采用卷积神经网络模型(CNN)，具体结构是由2个卷积层、1个最大池化层、2个全连接层以及Dropout层组成，如图12所示，识别网络的输入为分割得到的单个字符的二值化图像，大小为32×40，第一个卷积层设定的卷积核大小为3×3，滤波器个数为32，并使用Relu函数进行激活；第二个卷积层是在第一层卷积层的基础上将滤波器个数增加至64个，池化层采用的是最大池化的方式，池化的尺寸为2×2，步长为1，第一个全连接层使用的激活函数为Relu，并设定了128个滤波器；而第二个全连接层是将Softmat函数作为激活函数，同时滤波器的个数依据输出的识别类别数来确定，即箱号中包含的数字及英文字母类别数量。

本发明的网络的训练需要提前构建好相应的集装箱箱号字符数据集，以及从现场抓拍收集到的大量集装箱图像；通过投影定位分割法对箱号字符进行定位和分割获取；对于其中破损严重及侧面箱体采用的是人工定位和分割的方法来获取，将得到的每个字符图片进行二值化处理，并归一化为32×40的大小，由此得到了3997张字符图片来构成箱号字符数据集，部分展示如图13所示；如图14-15所示，将上述所构建的箱号字符数据集放入搭建好的卷积神经网络中进行训练，配置好相应的批处理参数和迭代次数，通过训练过程将模型的损失从2.41降至0.07，识别准确率从36.36％提高至98.09％；至此，可以得到一个较为成熟的卷积神经网络模型，用于完成对箱号字符的识别，并将其以char_cnn.h5模型输出保存，以备后续直接在***中调用。

如图16所示，基于图像增强的港口集装箱箱号识别***是在Anaconda3编译环境中，使用Python3.6汇编语言在Tensorflow框架上进行设计搭建的，具体包括：

开发环境层，通过PyQt5来编写GUI图形可视化界面较为简单，因为其控件样式较多，功能文档齐全，且稳定性高；另外，PyQt5的生态支持特性能够将绘制得到的.ui文件转换成.py文件，以便后期的集成和修改。

基础层，主要包含本***需使用到的两部分数据内容，其一是提前采集和收集到的夜间集装箱箱体图像；其二是识别网络需要用于训练的箱号字符数据集。

数据处理层，数据处理层分为数据加载和模型训练优化两个方面，对数据的加载是指从每个模型训练时所需调用的指定数据集中加载出对应图片的路径信息；模型训练优化是指对对抗增强网络模型以及用于识别箱号字符的卷积神经网络模型分别进行训练，并将得到的模型各自进行保存，以备在***研究中直接调用，实现***能够输出较高质量的增强效果和准确的识别结果。

逻辑层，主要是将实际采集到的夜间低照度集装箱图像载入训练好的增强网络和识别网络中进行测试，先通过增强网络对低照度图像完成增强处理，然后对增强后的图像进行一系列预处理操作，最后将得到的字符图像带入识别网络识别出最终结果。

展示层，所呈现的是利用GUI界面将原始的夜间集装箱图像、增强处理后的图像、分割得到的箱号字符区域以及最终识别出的箱号结果展现在一个***窗口中。

整体基于图像增强的港口集装箱箱号识别***主要包含增强模块、识别模块和***可视化模块。

在定义好整体网络所需的各功能模块和函数之后，可以在训练过程中创建解析器，并通过调用add_argument()函数来配置相应的参数，以实现训练过程；待得到最终的网络模型后，将其中的分解网络模型和融合增强网络模型保存在相应路径下，以便后续在***中对输入的夜间低照度集装箱图像进行增强处理时，可根据路径信息直接对其进行调用。对基于Retinex分解的对抗增强网络输入一张夜间低照度集装箱箱体图像，通过分解网络可以得到相应的光照分量和反射率分量；得到分解结果后，通过引入的相机响应函数(CRM)，将得到的光照分量调整到一个粗略的、较为自然的良好曝光结果；再利用融合增强网络(FENet)，将输入的低照度图像、分解得到的反射率分量，以及基于光照分量的CRM处理结果同时作为网络的输入，以得到最终增强后的结果图像。

如图17所示，是实际在港口采集到的两张夜间低照度环境下的集装箱箱体图像，将其输入到对抗增强网络中进行测试，得到了相应的增强结果图。

***GUI界面设计：在PyCharm中使用配置的PyQt5工具设计GUI可视化***界面时，可以直接通过Python语言的编写来实现，也可以借助Qt Designer来完成；为了进一步实现直接在其中对增强模块和识别模型进行调用并呈现其结果，需要借助pyuic5工具来将.ui文件转换成.py文件。且GUI可视化界面主要包括载入的原始夜晚低照度集装箱箱体图像、增强后的效果、定位的箱号区域，以及最终得到的箱号字符识别结果。各按钮功能及各部分实现效果如下：

载入箱体图像：同时呈现出原始的低照度箱体图像和增强处理后的图像；

定位箱号：在按钮下方显示分割得到的目标箱号区域；

识别结果：显示最终识别得到的箱号字符信息。

如图18所示为***总体工作流程图，首先对夜晚低照度情况下采集到的集装箱箱体图像的成像效果进行增强处理，使图像在有效保留特征细节且不存在严重的色彩失真基础上，去除低照度影响，进而将目标区域的信息呈现得更加清晰；其次，对增强结果图像进行系列预处理操作，目的是去除各类噪声等干扰因素对后续识别效果的影响；接下来，再对箱号区域及待识别的箱号字符进行有效地定位分割，并完成归一化处理，以便于后续识别工作的顺利进行；最后将分割得到的单个字符图像输入到识别网络中，识别出箱号信息并显示在***可视化界面中。

具体的实施例中***测试从实际采集到的夜间低照度集装箱箱体图像中抽取了三张进行测试，将上述三张原始夜间低照度集装箱图像输入到***中，完成增强处理和箱号识别的效果；通过可视化界面对***工作过程地呈现，能够清楚地看到***中每个核心功能模块的实现效果，在载入箱体图像的同时可以得到较为清晰的增强结果，进而可以准确定位出箱号区域，最终得到所需的箱号信息。

如图19-20所示，通过识别多个箱号，并进行多次测试，识别准确率能够保持在95％以上，为支撑整体***稳定地运作提供了良好的保障。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于图像增强的港口集装箱号识别方法，其特征在于，包括以下步骤：

在货运港口采集低照度环境下的集装箱图像形成图像库；

搭建Retinex分解的对抗增强网络，对图像库进行图像增强处理以提高增强效果；

通过对增强处理的集装箱图像箱号进行预处理，提取字符构建箱号字符数据集，搭建的卷积神经网络模型进行字符数据集的迭代训练，以提高识别字符的准确率；

将实际采集到的待识别低照度集装箱图像载入训练好的图像增强网络对低照度图像完成增强处理，得到高质量的图像；

对增强后的高质量的图像进行预处理，提取出待识别箱体字符图像，将得到对的字符图像输入到训练好的卷积神经网络模型进行箱号识别，得到最终结果。

2.根据权利要求1所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，所述搭建Retinex分解的对抗增强网络，包括如下步骤：

S1.在分解网络中对原始的低照度图像进行有效分解，并通过多项分解损失来保证分解过程中对细节恢复的能力；

S2.利用融合增强网络对分解出的结果进行增强学习；

S3.通过鉴别网络将融合增强的结果与原始参考图像进行博弈，以得到更贴近参考图像的增强结果。

3.根据权利要求2所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，步骤S1中分解网络的多项分解损失为L_RD＝L_ini+α*L_wtv+β*L_com+γ*L_err，其中初始化损失L_ini、加权全变化损失L_wtv、分解损失L_com以及反射误差损失L_err，而常量α、β、γ是比重参数，具体如下：

初始化损失L_ini：通过计算分解光照P_I与估计光照P_v之间的均方误差MSE，来实现对分解光照P_I的初始化，公式如下：

其中，In_I为输入图光照分量，In_V为图像估计光照分量，Lb_I为参考图像光照分量，Lb_V为估计图像光照分量；

加权全变化损失L_wtv：加权全变化损失L_wtv是利用图像的全变化大小来限制图像的噪声大小，进而使图像的光照分量变得平滑，同时避免了光晕瑕疵的产生，定义一个权重矩阵P_W，具体表示如下：

其中，

表示在水平方向和垂直方向上的全变分，w(x)为一个以像素点x为中心3×3大小的窗口，因此L_wtv可表示为：

分解损失L_com：通过计算P_I·P_R与P之间的均方误差MSE，来保证图像分解的精度，这里P是原图光照，P_R为反射光照，具体计算过程如下：

其中Input为原低照度图像，Label为目标图像照度，

反射误差损失L_err：

In_R为输入图像反射光分量，Lb_R参考图像反射光分量，通过计算In_R与Lb_R之间的均方误差MSE，来保证图像分解出的反射率精度。

4.根据权利要求2所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，步骤S2中融合增强网络包括CRM，利用其将低照度图像分解得到的光照分量映射到粗略的良好曝光效果，CRM处理的具体过程可通过下述公式来表示：

CRM(In_I,Input)＝e^b(1-k)Input^k，

式中ε表示一个小常数，a和b为摄像机参数，为了适应大多数的曝光度，分别将其设置为-0.3293和1.1258，融合增强网络最终得到的增强结果可表示为：

Out＝FENet(Input,CRM(In_I,Input),In_R)，

在此融合增强网络的预训练中使用的是VGG19模型中的内容损失参数：

VGG19网络结构中共包含了19个隐藏层，其中16个3×3的卷积层和3个2×2的全连接层。

5.根据权利要求2所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，步骤S3中鉴别器网络包括6个卷积层和1个全连接层，同时使用了Prelu函数对网络进行激活，在鉴别器网络的交替训练过程中采用的是一种新的对抗损失RDGAN_d，具体是根据增强结果和原始参考图像的反射率分量计算所得，公式表示为如下：

最终的对抗性增强损失由融合增强网络的预训练VGG19模型中的内容损失参数和对抗损失参数组成：L_FE＝L_con+L_{RDGAN_g}，其中，D_fake是指输入图像属于增强图像的概率，D_real是指输入图像属于参考图像的概率，Out_R表示经分解网络分解增强结果图像得到的反射率分量。

6.根据权利要求1所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，图像预处理包括对增强处理后的集装箱图像进行图像灰度化、灰度拉伸、二值化以及形态学处理。

7.根据权利要求6所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，提取箱号字符包括将预处理得到的二值化图像进行水平投影，定位箱号区域；对得到的箱号区域图像进行垂直投影，通过分析相应的像素点分布直方图来完成箱号字符的分割获取。

8.根据权利要求7所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，箱号字符的识别采用卷积神经网络模型，卷积神经网络模型具体结构包括2个卷积层、1个最大池化层、2个全连接层以及Dropout层。

9.根据权利要求1-8任一项所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，利用PyQt5工具设计GUI可视化***界面，对集装箱号识别工作过程及结果进行融合展示，用以呈现完整的工作过程。

10.根据权利要求9所述的一种基于图像增强的港口集装箱号识别方法，其特征在于，所述GUI可视化***界面包括载入的原始的低照度集装箱箱体图像、增强后的箱体图像、定位的箱号区域，以及最终得到的箱号字符识别结果。

Images