CN109190625A - 一种大角度透视变形的集装箱箱号识别方法 - Google Patents

Abstract

本发明涉及一种大角度透视变形的集装箱箱号识别方法，包括以下步骤：1)对集装箱图像进行透视变换预处理；2)构建深度卷积神经网络的字符定位与识别；3)基于级联决策树进行箱号识别。与现有技术相比，本发明具有能高精度识别存在明显透视变形的集装箱号码的优点。

Description

一种大角度透视变形的集装箱箱号识别方法

技术领域

本发明涉及集装箱码头装卸作业技术领域，尤其是涉及一种大角度透视变形的集装箱箱号识别方法。

背景技术

集装箱箱号识别是集装箱码头装卸作业实现自动化的一个关键技术。基于计算机视觉的字符识别方法，因其无需对集装箱增加额外附件，只要获取包含集装箱箱号的图像即可实现，因此已成为现代化港口采用的主流方式。

基于计算机视觉的箱号识别主要有以下3个方面的难点：(1)箱号排列形式繁多(横排单排、横排多排、竖排单排、竖排多排)，(2)箱面容易出现污损干扰(无关印刷、箱号脱落、铁锈等)，(3)恶劣的自然天气、夜间作业补光造成的干扰等等，因此，相对车牌识别、扫描字符识别，集装箱箱号识别难度更高。

目前集装箱箱号识别技术通常采用图像预处理、箱号定位、箱号字符分割、箱号字符识别4个步骤，即首先采用各种滤波算法提高图像质量以利于后期的处理，然后依据图像边缘特征等低层特征在整幅图像范围内定位集装箱箱号所在的区域，最后在这一区域范围内进行字符分割与字符识别。当集装箱图像不存在大角度透视变形时，这种技术方案能取得很好的识别精度，但当集装箱图像存在大角度透视变形时，这种技术方案在实际应用中就失效了。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种大角度透视变形的集装箱箱号识别方法。

本发明的目的可以通过以下技术方案来实现：

一种大角度透视变形的集装箱箱号识别方法，包括以下步骤：

1)对集装箱图像进行透视变换预处理；

2)构建深度卷积神经网络的字符定位与识别；

3)基于级联决策树进行箱号识别。

所述的步骤1)具体包括以下步骤：

11)在集装箱图像集中选择一对针对同一集装箱从不同角度拍摄的图像，其中一张为存在大角度透视变形的图像，一张为没有透视变形的图像，分别在两张图像上选择至少5对同名点，并对每对同名点建立方程式，采用最小二乘平差解算出9个透视变换参数；

12)根据解算得到的透视变换模型，对所有集装箱图像集中存在透视变形的图像进行校正。

所述的步骤11)中，每对同名点建立2个方程式，具体为：

其中，(u,v)为存在大角度透视变形图像中目标点的坐标，(x,y)为没有透视变形的图像中对应目标点的坐标，a₁₁、a₁₂、a₂₁、a₂₂、a₃₁、a₃₂、a₁₃、a₂₃、a₃₃为透视变换参数。

所述的步骤2)具体包括以下步骤：

21)将透视变换校正后的集装箱图像缩放到固定大小，手工标注集装箱箱号的类别和外接矩形框，并加入微小透视变换进行样本增强后，将其分为训练数据集、测试数据集和验证数据集；

22)利用训练数据集对深度卷积神经网络参数调优，得到能识别包含“0”-“9”的10个数字、“A”-“Z”的26个大写英文字符和背景共37类的字符检测网络；

23)采用训练好的字符检测网络在集装箱图像上识别并定位字符，并输出集合C＝{c_k}_k＝1....K，其中c_k＝{b_k,c_k,s_k}，b为包围字符的矩形框，c为字符类别，s为得分，K为候选字符的个数。

所述的步骤3)采用三级决策规则识别集装箱箱号，具体包括以下步骤：

31)根据得分阈值和宽高比阈值初步筛选字符目标矩形框，搜寻集装箱图像最左上方的字母，作为箱号的第一个成员放入子集C'后，依次向右搜寻，将间隔小于字符间隔阈值的成员放入子集C'中；

32)将子集C'中的所有成员拟合出一条直线α，遍历子集C'中的成员c'_k，当成员c'_k离直线α距离大于设定的阈值时，则从子集C'中剔除，并且重新根据C'的成员拟合字符线β；

33)若子集C'不满足集装箱箱号校验码规则，则将全集C中距离字符线β距离小于阈值的所有字符加入子集C'，保证子集C'中的字符个数不少于11个，遍历所有组合方式直至11位箱号满足集装箱箱号校验码规则，输出此结果作为集装箱箱号。

所述的三级决策规则对应的集装箱箱号和集装箱图像的先验条件包括：

a.集装箱箱号的字符前4位是字母，后7位是数字；

b.字母在集装箱图像的左侧，数字在字母的右侧或者下方；

c.字符两两相邻，并且相隔距离在一定范围内，左右字符拥有相似的高度和宽高比；

d.11位编号形成字符线特征，字符的中心点能够形成直线；

e.集装箱编码规则为：第11位是校验字符，能够由前10位字符计算得出

与现有技术相比，本发明具有以下优点：

一、本发明在图像预处理中加入透视变换校正，可以识别存在大角度透视变形的集装箱箱号。

二、工作流程先将箱号定位再字符识别的顺序改为先字符检测再箱号识别，不但可以利用深度神经网络目标检测算法提高字符定位与识别精度，而且在后续的箱号识别中能够加入集装箱箱号编码规则中更多高级知识，有效提高集装箱箱号识别精度。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明提供一种大角度透视变形的集装箱箱号识别方法，该方法可分为三个部分：1)图像透视变换预处理；2)基于深度卷积神经网络的字符定位与识别；3)基于级联决策树的箱号识别。流程图如附图1所示。

第一部分：图像透视变换预处理，步骤如下：

(1)在图像集中挑选出有代表性的一对图片，手工选择至少5对同名点，构建透视变换方程式，解算9个透视变换参数；

(2)采用上述得到的透视变换模型对所有集装箱图像进行校正。

第二部分，基于深度卷积神经网络的字符定位与识别，步骤如下：

(1)将透视变换校正后的集装箱图像缩放到固定大小，手工标注集装箱箱号的类别和外接矩形框，并加入微小透视变换进行样本增强；

(2)采用经典深度神经网络目标检测模型，利用训练样本通过参数调优(Finetuning)得到能识别包含“0”-“9”10个数字、“A”-“Z”26个大写英文字符和背景共37类的字符检测网络；

(3)用训练好的字符检测网络在集装箱图像上识别并定位字符，输出集合C＝{c_k}_k＝1....K，其中c_k＝{b_k,c_k,s_k}，b表示包围字符矩形框，c表示字符类别，s表示得分，K是候选字符的个数。

第三部分，基于级联决策树的箱号识别，步骤如下：

(1)根据经验得分阈值和宽高比阈值，初步筛选字符目标矩形框，然后寻找图像最左上的字母，作为箱号的第一个成员，放入C'，接着依次向右寻找，将间隔小于合理阈值的成员放入C'；

(2)用C'中的所有成员拟合出一条直线α，遍历C'中的成员c_k，如果它离直线α距离大于一定阈值，则从子集C'中剔除，重新从C'的成员可拟合出直线β；

(3)如果C'不满足“集装箱箱号校验码”规则，则将全集C中距离字符线β距离小于阈值的所有字符加入C'，保证C'中的字符个数不少于11个，遍历所有组合方案直至11位箱号通过编号规则的检验，输出此结果作为集装箱箱号。

实施例：

在很多实际应用中，港口堆场的相机安装在吊具上，即相机位于集装箱的斜上方，因此箱号的成像存在大角度的透视变形。若直接进行箱号识别，现有的识别方法无法满足实际要求。针对这种存在大角度透视变形的集装箱图像，我们提出了一种新的箱号识别方法。

(1)透视变换预处理

在集装箱图像集中选择一对针对同一集装箱从不同角度拍摄的图像，其中一张为存在大角度透视变形的图像，一张为没有明显透视变形的图像，设(u,v)是变形图像中目标点的坐标，(x,y)是没有明显变形图像中对应点的坐标，在两张图像上选择至少5对同名点，如公式(1)所示，每对同名点建立2个方程式，至少建立10个方程式，采用最小二乘平差计算出9个透视变换参数a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃,a31,a₃₂,a₃₃；

12)根据解算得到的透视变换模型，对所有集装箱图像集中存在透视变形的图像进行校正。(2)基于深度神经网络的字符定位与识别

将透视变换校正后的集装箱图像压缩到224×224，手工标注集装箱箱号的类别和外接矩形框，并加入微小透视变换进行样本增强，共得到2100张训练样本，总共23100个字符。按照60％，20％，20％的比例将数据分为训练数据集，测试数据集和验证数据集。

采用Faster R-CNN目标检测模型进行字符定位与识别，由于集装箱图像上的字符目标较小，我们选择拥有五个卷积层的ZF网络架构。利用训练样本通过参数调优得到能识别包含“0”-“9”10个数字、“A”-“Z”26个大写英文字符和背景共37类的字符检测网络。

用训练好的字符检测网络在一幅集装箱图像上识别并定位字符，输出集合C＝{c_k}_k＝1,...,K，其中c_k＝{b_k,c_k,s_k}，b表示字符包围矩形框，c表示字符类别，s表示得分，K是候选字符的个数。

(3)基于级联决策树的箱号识别

集装箱箱号和集装箱图像的先验知识包括：

a.前4位是字母，后7位是数字。

b.字母在图像的左侧，数字在字母右侧或者下方。

c.字符两两相邻，相隔距离在一定范围内，左右字符拥有相似的高度和宽高比。

d.11位编号形成字符线特征，字符的中心点大致可形成直线。

e.由集装箱编码规则可知，第11位是校验字符，由前10位可以计算出第11位的字符。

根据上述知识，我们设计的三级决策规则为：

1)基于a、b、c三条规则，首先根据经验得分阈值和宽高比阈值，初步筛选字符目标矩形框，然后寻找图像最左上方的字母，作为箱号的第一个成员，放入C'，接着依次向右寻找，将间隔小于合理阈值的成员放入C'；

2)基于规则d，用C'中的所有成员拟合出一条直线α，遍历C'中的成员c'_k，如果它离直线α距离大于一定阈值，则从子集C'中剔除，重新从C'的成员可拟合出直线β；

3)基于规则e，如果C'不满足“集装箱箱号校验码”规则，则将全集C中距离字符线β距离小于阈值的所有字符加入C'，保证C'中的字符个数不少于11个，遍历所有组合方案直至11位箱号通过编号规则的检验，输出此结果作为集装箱箱号。

(4)结果评价

当一幅图像中11维字符全部正确识别时，箱号才算正确识别，按照这个标准采用我们提出的箱号识别方法在测试集上取得的正确率为97％。

Claims (6)

1.一种大角度透视变形的集装箱箱号识别方法，其特征在于，包括以下步骤：

1)对集装箱图像进行透视变换预处理；

2)构建深度卷积神经网络的字符定位与识别；

3)基于级联决策树进行箱号识别。

2.根据权利要求1所述的一种大角度透视变形的集装箱箱号识别方法，其特征在于，所述的步骤1)具体包括以下步骤：

11)在集装箱图像集中选择一对针对同一集装箱从不同角度拍摄的图像，其中一张为存在大角度透视变形的图像，一张为没有透视变形的图像，分别在两张图像上选择至少5对同名点，并对每对同名点建立方程式，采用最小二乘平差解算出9个透视变换参数；

12)根据解算得到的透视变换模型，对所有集装箱图像集中存在透视变形的图像进行校正。

3.根据权利要求2所述的一种大角度透视变形的集装箱箱号识别方法，其特征在于，所述的步骤11)中，每对同名点建立2个方程式，具体为：

其中，(u,v)为存在大角度透视变形图像中目标点的坐标，(x,y)为没有透视变形的图像中对应目标点的坐标，a₁₁、a₁₂、a₂₁、a₂₂、a₃₁、a₃₂、a₁₃、a₂₃、a₃₃为透视变换参数。

4.根据权利要求1所述的一种大角度透视变形的集装箱箱号识别方法，其特征在于，所述的步骤2)具体包括以下步骤：

21)将透视变换校正后的集装箱图像缩放到固定大小，手工标注集装箱箱号的类别和外接矩形框，并加入微小透视变换进行样本增强后，将其分为训练数据集、测试数据集和验证数据集；

22)利用训练数据集对深度卷积神经网络参数调优，得到能识别包含“0”-“9”的10个数字、“A”-“Z”的26个大写英文字符和背景共37类的字符检测网络；

23)采用训练好的字符检测网络在集装箱图像上识别并定位字符，并输出集合C＝{c_k}_k＝1....K，其中c_k＝{b_k,c_k,s_k}，b为包围字符的矩形框，c为字符类别，s为得分，K为候选字符的个数。

5.根据权利要求1所述的一种大角度透视变形的集装箱箱号识别方法，其特征在于，所述的步骤3)采用三级决策规则识别集装箱箱号，具体包括以下步骤：

31)根据得分阈值和宽高比阈值初步筛选字符目标矩形框，搜寻集装箱图像最左上方的字母，作为箱号的第一个成员放入子集C'后，依次向右搜寻，将间隔小于字符间隔阈值的成员放入子集C'中；

32)将子集C'中的所有成员拟合出一条直线α，遍历子集C'中的成员c'_k，当成员c'_k离直线α距离大于设定的阈值时，则从子集C'中剔除，并且重新根据C'的成员拟合字符线β；

33)若子集C'不满足集装箱箱号校验码规则，则将全集C中距离字符线β距离小于阈值的所有字符加入子集C'，保证子集C'中的字符个数不少于11个，遍历所有组合方式直至11位箱号满足集装箱箱号校验码规则，输出此结果作为集装箱箱号。

6.根据权利要求5所述的一种大角度透视变形的集装箱箱号识别方法，其特征在于，所述的三级决策规则对应的集装箱箱号和集装箱图像的先验条件包括：

a.集装箱箱号的字符前4位是字母，后7位是数字；

b.字母在集装箱图像的左侧，数字在字母的右侧或者下方；

c.字符两两相邻，并且相隔距离在一定范围内，左右字符拥有相似的高度和宽高比；

d.11位编号形成字符线特征，字符的中心点能够形成直线；

e.集装箱编码规则为：第11位是校验字符，能够由前10位字符计算得出。