CN110378332A - 一种集装箱码头箱号和车号识别方法及*** - Google Patents

Abstract

本发明提供一种集装箱码头箱号和车号识别方法，所述方法包括：获取待处理图片；对所述待处理图片进行扫描，获取字符区域；检测字符在图像中的坐标，将文字区域图像进行分割；对所述文字区域图像进行灰度处理；对图像灰度进行修正，并对修正后的图像进行二值化处理获得切割后字符；采用神经网络检测模型对所述切割后字符进行处理，获得预测结果。应用本发明实施例，提高了集装箱码头箱号和车号的识别率和准确率。

Description

一种集装箱码头箱号和车号识别方法及***

技术领域

本发明涉及车辆标记检测技术领域，特别是涉及一种集装箱码头箱号和车号识别方法及***。

背景技术

集装箱箱号和车号是目前码头、物流运输作业中用于跟踪集装箱的重要标志，在码头道口和港口设备装卸等情形中起着至关重要的作用。现有技术中，箱号和车号检测与识别面临着复杂背景干扰、文字模糊退化、不可预测的光照、字体的多样性、垂直箱号、倾斜等众多挑战。传统的OCR使用一套预先固定好规则的***，箱号识别时往往对图片的拍摄质量及拍摄角度有较高的要求，识别算法性能低下、效率不足，对于识别特征的提取有限，无法很好的识别出集装箱箱号或车号。这就使得码头作业人员需要花费时间进行人工标记箱号和车号，从而降低了码头的生产效率。

可见，现有技术中，通过人工标记箱号和车号，导致生产效率较低的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种集装箱码头箱号和车号识别方法及***，提高了集装箱码头箱号和车号的识别率和准确率。

为实现上述目的及其他相关目的，本发明提供一种集装箱码头箱号和车号识别方法，所述方法包括：

获取待处理图片；

对所述待处理图片进行扫描，获取字符区域；

检测字符在图像中的坐标，将文字区域图像进行分割；

对所述文字区域图像进行灰度处理；

对图像灰度进行修正，并对修正后的图像进行二值化处理获得切割后字符；

采用神经网络检测模型对所述切割后字符进行处理，获得预测结果。

本发明的一种实现方式中，所述方法还包括：

设置箱号代码公式Y＝X×2^A-1，其中，A为位数取值范围,X为数字或字母对应的数字代码，而Y为位数代码值；

设置校验位验证公式

根据所述箱号代码公式和所述校验位验证公式，获得验证码；

根据所述预测结果和所述验证码，确定预测结果是否正确。

本发明的一种实现方式中，所述获取待处理图片的步骤包括：

根据预设时间段，获得所述预设时间段内视频对应的对应的视频帧图像；

将视频帧图像确定为待处理图片。

本发明的一种实现方式中，所述对每一个视频帧图形进行灰度处理的步骤，包括：

通过灰度值与图像RGB转换公式，对图像进行灰度处理；

其中，所述转换公式为：

I＝0.299×R+0.587×G+0.114×B

I为灰度值，RGB分别为图像的红色、绿色和蓝色分量颜色分量值；

通过图像平滑对图像灰度进行修正，去除噪声信号。

本发明的一种实现方式中，所述对所述待处理图片进行扫描，获取字符区域的步骤，包括：

利用逐行扫描的方法，对车牌进行定位与分割；

采用从图像底部开始逐行扫描的策略，根据车牌上的文字笔划变化频率，从左往右逐像素扫描；

在判断扫描到目标行的笔划变化频率在某个特定宽度达到预先设置值记下该行号和该笔划区域的起点和终点；

根据车牌的长宽比例特征预计算车牌区域，并在该区域具有相似特征的行达到设定范围时，确定该区域为车号区域。

本发明的一种实现方式中，所述采用神经网络检测模型对所述切割后字符进行处理，获得预测结果的步骤，包括：

神经网络卷积层自动从每个输入的图像中提取特征序列，并采用循环网络，用于对卷积层输出的特征序列的每一帧进行预测；

通过卷积层和最大池化层来构造卷积层组件，提取输入图像的卷积特征图；

将图像转换为特定大小的卷积特征矩阵，并将特征映射的每一列作为作为一个时间片输入到LSTM中；

将RNN所做的每帧预测转换成标签序列，LSTM的每一个时间片后接分类函数softmax，输出后验概率矩阵，获得每一列输出字符的类别。

本发明公开了一种集装箱码头箱号和车号识别***，包括：服务端和客户端；

所述服务端包括：箱号识别服务节点、图片样本学习节点、图片服务器节点和数据库节点组成；

其中，箱号识别服务节点提供接收终端上传图片，推送图片样本训练结果至终端，推送更新服务至终端服务；服务端与终端节点网络交互协议采用HTTP方式，服务端节点将根据配置信息，数据的更新情况，来决定推送数据至终端的频率；服务端采用nginx+多实例的部署方式；所述图片样本学习节点提供接收图片服务器传来的集装箱图片，对图片进行学习和训练得到识别模型，将模型文件推送给箱号识别服务节点；所述图片服务器用于存储终端上传的集装箱图片，图片服务器采用多实例部署方式；所述数据库节点提供***的参数配置，数据存储服务；

所述客户端包括：箱车号识别服务节点和箱车号识别使用端组成；

其中，箱车号识别服务节点由箱车号识别服务、箱车号识别引擎、图片同步、数据更新四个组件组成；所述箱车号识别服务作为服务入口，用于提供模糊HTTP服务，供具体的使用者调用，调用时提供需要识别的图片和识别时需要的相关参数即可；所述箱车号识别引擎是在桥接设备终端中安装的实时图片识别引擎，通过提供HTTP为上层***提供应用；当箱车号识别客户端被调用时，要识别的图片被识别完成后，该组件会异步将本次识别的图片上传至后台服务器中的图片存储服务器中，供图片样本学习节点来对该样本做学习；数据更新组件提供服务端下发应用更新。

如上所述，本发明实施例提供的一种集装箱码头箱号和车号识别方法及***，提供利用神经网络算法，模拟大脑神经元的工作模式，先利用低层神经元进行物体的边缘特征提取，在利用中间层神经元识别物体的基本形状货局部形状，最后利用高层神经元进行箱号和车号识别。有效的提高了集装箱码头箱号和车号的识别率和准确率。

附图说明

图1是本发明实施例提供的一种流程示意图；

图2是本发明实施例提供的第一种效果示意图；

图3是本发明实施例提供的第二种效果示意图；

图4是本发明实施例提供的第三种效果示意图；

图5是本发明实施例提供的第四种效果示意图；

图6是本发明实施例提供的第五种效果示意图；

图7是本发明实施例提供的第六种效果示意图；

图8是本发明实施例提供的第七种效果示意图；

图9是本发明实施例提供的第八种效果示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1-9。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本发明时候实施例提供一种集装箱码头箱号和车号识别方法，所述方法包括：

S101，获取待处理图片。

可以理解的是，获取对收集到的码头工作、集卡运输等过程中的集装箱和集卡图片。具体的，由于一个识别图像可能会得到多个拍摄的照片，并且一个面(两侧)往往有多张图片。本发明将采用全景拼接的方式，将这类图片拼接为一个完整的图片。

S102，对所述待处理图片进行扫描，获取字符区域。

根据我国汽车牌照的特点，利用逐行扫描的方法，对车牌进行定位与分割。

S103，检测字符在图像中的坐标，将文字区域图像进行分割。

采用从图像底部开始逐行扫描的策略，根据车牌上的文字笔划变化频率，从左往右逐像素扫描；当某行笔划变化频率在某个特定宽度达到预先设置值α记下该行号和该笔划区域的起点和终点；再根据车牌的长宽比例特征预计算车牌区域，当该区域具有相似特征的行达到设定范围β则表示该区域即为车号区域；归一化处理经过分割的车牌上的汉字、英文及***数字。对汉字进行降噪和整形处理。

S104，对所述文字区域图像进行灰度处理。

本发明的具体实现中，通过获取待识别集装箱图片或视频，出于处理速度与识别效果的考虑，对图像进行灰度处理。灰度值与图像RGB的对应关系为I＝0.299×R+0.587×G+0.114×B,其中R、G、B为彩色图像的3个颜色分量值。再利用自适应阈值法对灰度图像进行二值化处理。由于神经网络要求输入0或1的离散值，对图像进行二值化处理，同时去掉图像中和背景灰度相近的噪声。

本发明的集装箱码头箱号和车号识别OCR深度学习***，如图2所示，包括一个采用以神经网络为主的关键技术建立的箱号和车号识别OCR深度学习***，其中，利用所述的的深度学习方法对收集到的码头工作、集卡运输等过程中的集装箱和加卡图片进行特征提取、融合，文本区域定位检测，最终对文本进行识别校验和输出。

获取待识别集装箱图片或视频，将对图片(视频)各个区域进行扫描，检测文字区域在图像中的坐标，将文字区域图像分割出来，用于接下来的文字检测。如图3、图4所示，方框为检测出的图像区域。检测模块采用神经网络进行搭建，模型主要由三部分组成，特征抽取，特征融合，定位坐标检测。特征抽取使用卷积神经网络，特征融合使用反卷积+上采样，定位坐标检测使用全连接神经网络。通过定位到的坐标，裁剪出待识别文字区域，如图5所示。将图片作为文字识别模块的输入，利用CNN+RNN+CTC搭建神经网络，通过端到端训练识别不定长文字内容，最终输出各个图片中对应的文字作为结果。如输入图5的第一张图片将返回561209作为结果。返回结果被实施例4的规则校验模块校验，符合集装箱箱号校验规则的数据将会输出。

S105，对图像灰度进行修正，并对修正后的图像进行二值化处理获得切割后字符。

通过图像平滑对图像灰度进行修正，消除或者尽量减少噪声的。由于图像文字主要出现在低频区，而图像的噪声和假轮廓往往出现在高频区，即可以通过低频滤波实现图像平滑。

采用神经网络搭建检测模型。基于语义分割算法定位箱号区域。模型主要包括特征提取、特征融合以及定位坐标检测；对图片(视频)各个区域进行扫描，检测文字区域在图像中的坐标，将文字区域图像分割出来；根据文字在图片中的坐标，裁剪出待识别的文字。利用识别模型，通过端到端训练，识别不定长文字。

S106，采用神经网络检测模型对所述切割后字符进行处理，获得预测结果。

BP神经网络识别过程：

在神经网络的底部，卷积层自动从每个输入的图像中提取特征序列。在卷积网络之上，构建一个循环网络，用于对卷积层输出的特征序列的每一帧进行预测。采用顶部的转录层将循环层的每帧预测转化为标签序列。假设输入图像大小为(32,100,3)，提及的图像都是[Height，Width，Channel]

(1)卷积层CNN特征序列提取

通过采用标准的CNN模型中的卷积层和最大池化层来构造卷积层组件，提取输入图像的Convolutional feature maps，将大小为(32,100,3)的图像转换(1,25,512)大小的卷积特征矩阵。Feature map的每一列作为作为一个时间片输入到LSTM中。设feature map大小为m*T(图6中m＝512，T＝25)。步骤2中的时间序列t都从t＝1开始，即1≤t≤T，定义为其中每一列为

(2)循环层序列标注

这里的循环层是一个深层双向LSTM网络，在卷积特征的基础上利用stack形深层双向结构，继续提取文字序列特征。如图6，由于卷积层输的feature map是(1,25,512)大小，对于RNN最大时间长度T＝25(即有25个时间输入，每个输入x_t有D＝512)。

(3)转录，将RNN所做的每帧预测转换成标签序列。LSTM的每一个时间片后接softmax，输出y是一个后验概率矩阵，定义为y＝(y¹，y²，…，y^T)，其中每一列为

其中n代表需要识别的字符集合长度，且对y每一列进行argmax0操作，即可获得每一列输出字符的类别。

车箱号文本的检测过程包括：

针对集装箱码头箱号和车号识别面临着复杂背景干扰、文字模糊退化、不可预测的光照、字体多样想、箱号垂直、倾斜等众多因素的因素的影响，采用CTPN对自然场景中的文本进行检测，具有更强的鲁棒性。

(1)使用VGG16作为base net提取特征，得到conv5_3的特征作为feature map，大小是W×H×C；

(2)然后在这个feature map上做滑窗，窗口大小是3×3。即每个窗口都能得到一个长度为3×3×C的特征向量。这个特征向量将用来预测和10个anchor之间的偏移距离，也就是说每一个窗口中心都会预测出10个text propsoal。

(3)将每一行的所有窗口对应的3*3*C的特征(W*3*3*C)输入到RNN(BLSTM)中，得到W*256的输出；

(4)将RNN的W*256输入到512维的fc层；

(5)fc层特征输入到三个分类或者回归层中。2k scores表示k个anchor的类别信息(是字符或不是字符)。2k vertical coordinate和第三个k side-refinement用来回归k个anchor的位置信息。2k vertical coordinate因为一个anchor用的是中心位置的高(y坐标)和矩形框的高度两个值表示的，所以一个用2k个输出。k side-refinement这部分主要是用来精修文本行的两个端点的，表示的是每个proposal的水平平移量。回归出来的box如图中那些红色的细长矩形，它们的宽度是一定的。得到密集预测的text proposal，使用一个标准的非极大值抑制算法来滤除多余的box。

(6)用简单的文本线构造算法，把分类得到的文字的proposal(上图中的细长的矩形)合并成文本线。

针对集装箱是否按照规定加上危险品标识进行报警。客户端连接TOS***后，会对每个集装箱记是否为危险品箱。若***中记录的是危险品箱，但是通过识别集装箱图片后，发现无危险品标识，则报警。此外，还可以结合业务数据(TOS运营管理***)，进一步进行业务管理箱号和车号校验，如通过船图箱、作业工艺，集卡状态(重车空车等)，校验箱号和车号，同时也可以判断检查可能的人工作业误操作。

本发明实施例利用神经网络算法，模拟大脑神经元的工作模式，先利用低层神经元进行物体的边缘特征提取，在利用中间层神经元识别物体的基本形状货局部形状，最后利用高层神经元进行箱号和车号识别。

本发明和已有技术相比较，其效果是积极明显的。本发明有效的提高了集装箱码头箱号和车号的识别率和准确率。

本发明的一种实现方式中，还包括：符合校验规则的则输出，不符合校验规则的输出提示信息。集装箱箱号校验规则如下：箱号的数字0-9对应数字0-9，而字母对应为A＝10B＝12C＝13D＝14E＝15F＝16G＝17H＝18I＝19J＝20K＝21L＝23M＝24N＝25O＝26P＝27Q＝28R＝29S＝30T＝31U＝32V＝34W＝35X＝36Y＝37Z＝38。箱号代码公式Y＝X×2^A-1其中A为位数取值范围为(0,10),X为数字或字母对应的数字代码，而Y为位数代码值。校验位例如当识别出箱号为CBHU3202732的集装箱，则E＝4061％11＝2，就是这个箱号的第11位。当计算出的校验码与识别出的校验码一致时输出该箱号，否则不予输出。因此，可以根据所述预测结果和所述验证码，确定预测结果是否正确。

左右箱识别一般用于两个箱子在一起识别的情况。如图7所示，在该场景下要求做到后台检测出的箱号4位英文好对应的6位数字和1位校验位通过图片坐标定位进行区分和拼接。拼接箱是指一堆空箱放在一起的情况。拼接箱的识别同左右箱，通过图片坐标定位进行区分和拼接箱号输出结果队列。

示例性的，左右箱和拼接箱(箱组)识别功能。左右箱识别一般用于两个集装箱一起识别的场景。该场景下要求做到后台检测出的箱号4位英文和对应的6位数字和1位校验位，通过图片坐标定位进行区分和拼接。拼接箱是指一堆空箱放在一起的情况。针对拼接箱的识别同左右箱识别，通过图片坐标定位进行区分和拼接箱号输出结果队列。

进一步的本发明主要解决单箱识别、多箱识别，天气天色带来的不利因素，多摄像头拍摄统一集装箱的图片拼接等技术难点，以及箱号和车号识别中出现多个集装箱或车号进行干扰的投票技术和有无危险标志的报警技术。报警功能主要是指对集装箱是否按照规定加上危险标识进行报警。客户端连接TOS***后，会对每个集装箱记录是否为危险品箱。若***中记录的是危险品箱，但是通过识别集装箱图片后发现无危险品标注，则报警，如图8所示。

本发明公开了一种集装箱码头箱号和车号识别***，包括***分为服务端和工控机端(客户端)。如图9所示，服务端由箱号识别服务节点、图片样本学习节点、图片服务器节点和数据库节点组成。其中箱号识别服务节点提供接收终端上传图片，推送图片样本训练结果至终端，推送更新服务至终端等服务。服务端与终端节点网络交互协议采用HTTP方式，服务端节点将根据配置信息，数据的更新情况，来决定推送数据至终端的频率。服务端采用nginx+多实例的部署方式，保证***高效可用。图片样本学习节点提供接收图片服务器传来的集装箱图片，对图片进行学习和训练得到识别模型，将模型文件推送给箱号识别服务节点。图片服务器用于存储终端上传的集装箱图片，图片服务器采用多实例部署方式，保证服务的高可用，确保数据不丢失。数据库节点提供***的参数配置，数据存储等服务。

客户端主要由箱车号识别服务节点和箱车号识别使用端组成。其中，箱车号识别服务节点由箱车号识别服务、箱车号识别引擎、图片同步、数据更新等四个组件组成。箱车号识别服务作为服务入口，提供模糊HTTP服务，供具体的使用者调用，调用时提供需要识别的图片和识别时需要的相关参数即可；箱车号识别引擎是在桥接设备终端(客户端)中安装的实时图片识别引擎。通过提供HTTP为上层***提供应用；当箱车号识别客户端被调用时，要识别的图片被识别完成后，该组件会异步将本次识别的图片上传至后台服务器中的图片存储服务器中，供图片样本学习节点来对该样本做学习；数据更新组件提供服务端下发应用更新，参数调整，图片学习结果等数据，供客户端使用。方便客户端进行自动化升级、部署操作。箱车号识别的使用端是客户自己的运行程序(通过接口调用识别算法)。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种集装箱码头箱号和车号识别方法，其特征在于，所述方法包括：

获取待处理图片；

对所述待处理图片进行扫描，获取字符区域；

检测字符在图像中的坐标，将文字区域图像进行分割；

对所述文字区域图像进行灰度处理；

对图像灰度进行修正，并对修正后的图像进行二值化处理获得切割后字符；

采用神经网络检测模型对所述切割后字符进行处理，获得预测结果。

2.根据权利要求1所述的一种集装箱码头箱号和车号识别方法，其特征在于，所述方法还包括：

设置箱号代码公式Y＝X×2^A-1，其中，A为位数取值范围,X为数字或字母对应的数字代码，而Y为位数代码值；

设置校验位验证公式

根据所述箱号代码公式和所述校验位验证公式，获得验证码；

根据所述预测结果和所述验证码，确定预测结果是否正确。

3.根据权利要求1所述的一种集装箱码头箱号和车号识别方法，其特征在于，所述获取待处理图片的步骤包括：

根据预设时间段，获得所述预设时间段内视频对应的对应的视频帧图像；

将视频帧图像确定为待处理图片。

4.根据权利要求1所述的一种集装箱码头箱号和车号识别方法，其特征在于，所述对每一个视频帧图形进行灰度处理的步骤，包括：

通过灰度值与图像RGB转换公式，对图像进行灰度处理；

其中，所述转换公式为：

I＝0.299×R+0.587×G+0.114×B

I为灰度值，RGB分别为图像的红色、绿色和蓝色分量颜色分量值；

通过图像平滑对图像灰度进行修正，去除噪声信号。

5.根据权利要求1所述的一种集装箱码头箱号和车号识别方法，其特征在于，所述对所述待处理图片进行扫描，获取字符区域的步骤，包括：

利用逐行扫描的方法，对车牌进行定位与分割；

采用从图像底部开始逐行扫描的策略，根据车牌上的文字笔划变化频率，从左往右逐像素扫描；

在判断扫描到目标行的笔划变化频率在某个特定宽度达到预先设置值记下该行号和该笔划区域的起点和终点；

根据车牌的长宽比例特征预计算车牌区域，并在该区域具有相似特征的行达到设定范围时，确定该区域为车号区域。

6.根据权利要求1所述的一种集装箱码头箱号和车号识别方法，其特征在于，所述采用神经网络检测模型对所述切割后字符进行处理，获得预测结果的步骤，包括：

神经网络卷积层自动从每个输入的图像中提取特征序列，并采用循环网络，用于对卷积层输出的特征序列的每一帧进行预测；

通过卷积层和最大池化层来构造卷积层组件，提取输入图像的卷积特征图；

将图像转换为特定大小的卷积特征矩阵，并将特征映射的每一列作为作为一个时间片输入到LSTM中；

将RNN所做的每帧预测转换成标签序列，LSTM的每一个时间片后接分类函数softmax，输出后验概率矩阵，获得每一列输出字符的类别。

7.一种集装箱码头箱号和车号识别***，其特征在于，所述***包括：服务端和客户端；

所述服务端包括：箱号识别服务节点、图片样本学习节点、图片服务器节点和数据库节点组成；

其中，箱号识别服务节点提供接收终端上传图片，推送图片样本训练结果至终端，推送更新服务至终端服务；服务端与终端节点网络交互协议采用HTTP方式，服务端节点将根据配置信息，数据的更新情况，来决定推送数据至终端的频率；服务端采用nginx+多实例的部署方式；所述图片样本学习节点提供接收图片服务器传来的集装箱图片，对图片进行学习和训练得到识别模型，将模型文件推送给箱号识别服务节点；所述图片服务器用于存储终端上传的集装箱图片，图片服务器采用多实例部署方式；所述数据库节点提供***的参数配置，数据存储服务；

所述客户端包括：箱车号识别服务节点和箱车号识别使用端组成；

其中，箱车号识别服务节点由箱车号识别服务、箱车号识别引擎、图片同步、数据更新四个组件组成；所述箱车号识别服务作为服务入口，用于提供模糊HTTP服务，供具体的使用者调用，调用时提供需要识别的图片和识别时需要的相关参数即可；所述箱车号识别引擎是在桥接设备终端中安装的实时图片识别引擎，通过提供HTTP为上层***提供应用；当箱车号识别客户端被调用时，要识别的图片被识别完成后，该组件会异步将本次识别的图片上传至后台服务器中的图片存储服务器中，供图片样本学习节点来对该样本做学习；数据更新组件提供服务端下发应用更新。