CN106067023B - 基于图像处理的集装箱箱号及集卡车号识别***及方法 - Google Patents
基于图像处理的集装箱箱号及集卡车号识别***及方法 Download PDFInfo
- Publication number
- CN106067023B CN106067023B CN201610387591.1A CN201610387591A CN106067023B CN 106067023 B CN106067023 B CN 106067023B CN 201610387591 A CN201610387591 A CN 201610387591A CN 106067023 B CN106067023 B CN 106067023B
- Authority
- CN
- China
- Prior art keywords
- container
- camera
- truck
- image
- personal computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于图像处理的集装箱箱号及集卡车号识别***及方法,***包括工控机、PLC、以太网交换机和摄像机,其中:工控机分别与以太网交换机和PLC连接,以太网交换机分别与摄像机和TOS***连接。本***在集装箱装卸船的过程中,通过PLC控制器控制摄像机进行高速拍照,并将实时图像通过以太网传输给工控机,由工控机上运行的箱号识别软件识别出集装箱号后再通过以太网将结果传输给TOS作业***统一管理。本***解决了港口码头作业过程中,集装箱号码由人工登记导致集装箱装载效率低和人工失误导致集卡车与需要装载的集装箱不匹配的技术问题。本***在各种环境下都能达到较高的识别率,有效地提高了岸桥作业的效率。
Description
技术领域
本发明涉及一种基于图像处理的集装箱箱号及集卡车号识别***及方法,用于辅助港口岸桥集装箱的装卸作业。
背景技术
随着现代物流管理技术的发展,加快货物通道的管理自动化已成为十分紧迫的任务。对于码头来说,码头的集装箱吞吐量严重影响着码头的效益。目前,码头上大多采用的是人工指挥集装箱的装卸,由人工对集装箱的箱号进行登记,其缺点是安全隐患大,效率很低,影响集装箱的装卸速度,不利于整个港口的高速运作。另外,由于人工失误可能导致集装箱与装卸的集卡车不能正确匹配而为集装箱运输到目的地带来不必要的麻烦。在这种背景下,集装箱号码自动识别***应运而生。
基于图像技术的集装箱箱号识别大致可分为三个步骤:
1、集装箱号码的定位:从拍摄的图片中确定箱号所在的矩形区域;
2、集装箱号码的分割:从定位的矩形区域,分割出单个的字符区域;
3、集装箱号码的识别:最后对每个字符区域识别出相应的字母、数字。
从上述三个步骤可以看出集装箱号码的区域定位是整个流程的基础,而集装箱号排列方式多种多样,字体、字号及颜色不一,再加上集装箱上各种图案、文字的干扰都加大了集装箱号码定位的难度。
目前已知的集装箱号码定位方法有:
1、基于跳变点的集装箱箱号定位:该方法首先对图片进行水平或垂直方向的一阶差分计算,然后逐行或逐列进行扫描,统计一行或一列中一阶差分值大于某个阈值的像素点的个数。如果该像素点的个数大于某个阈值,则将该行认为是集装箱箱号区域可能的行位置。扫描结束后,通过对可能的行位置或列位置的进一步分析,完成集装箱号码的定位过程。
缺点:该方法通过统计灰度的跳变点数进行集装箱箱号的粗定位,因此对噪声较敏感。另外当箱号字符的排列存在一定程度的倾斜时,会由于检测的跳变点数不足造成定位失败。
2、基于形态学的集装箱箱号定位方法:该方法首先获得集装箱图片的边缘检测图,然后对获得的边缘图像进行一系列形态学的开闭等运算,尽可能的去除掉干扰区域,最后结合集装箱箱号的排列特点找到正确的集装箱箱号位置。
缺点:该方法对集装箱图片的边缘图像进行形态学处理,这就要求检测到的集装箱箱号区域的边缘信息完整,而实际上通常由于应用背景的复杂、天气、灯光等因素的干扰,检测到的边缘信息并不理想。
发明内容
为了克服现有技术的缺点,本发明提供了一种基于图像处理的集装箱箱号及集卡车号识别***及方法,采用了近年来在自然场景文字检测问题上取得的最新成果,该方法对箱号的排列方向、倾斜度、光照及色彩的变化具有较好的鲁棒性。
本发明所采用的技术方案是:一种基于图像处理的集装箱箱号及集卡车号识别***,包括工控机、PLC、以太网交换机和摄像机,其中:工控机分别与以太网交换机和PLC连接,以太网交换机分别与摄像机和TOS***连接;所述PLC将吊具开闭锁状态和编码器信息发送给工控机,并接收工控机发出的控制指令;所述工控机根据接收的吊具开闭锁状态和编码器信息生成抓拍命令发送给摄像机,所述摄像机将拍摄的集装箱箱号和集卡车车头图像传送给工控机,所述工控机对摄像机拍摄的图像进行识别,并将识别出的集装箱箱号和集卡车号发送给TOS***。
本发明还提供了一种基于图像处理的集装箱箱号及集卡车号识别方法,集装箱箱号的识别包括如下步骤:
(1)将摄像机拍摄的图像进行灰度化处理,得到灰度图像;
(2)通过计算灰度图像的最大稳定极值区域获得字符候选区域;
(3)对字符候选区域进行预过滤,得到字符区域;
(4)从字符区域中获取箱号或车号区域;
(5)获取每个箱号或车号字符的位置;
(6)利用神经网络对字符二值图像进行识别并输出结果;
对于集卡车号的识别,在对图像进行灰度化处理前先将图像旋转90度。
与现有技术相比,本发明的积极效果是:在集装箱装卸船的过程中,通过PLC控制器控制安装在岸桥鞍梁和连系梁的摄像机进行高速拍照,并将实时图像通过以太网传输给工控机,由工控机上运行的箱号识别软件识别出集装箱号后再通过以太网将结果传输给TOS作业***统一管理。本***充分结合岸桥作业的实际情况,将摄像机、PLC控制器、小车编码器、起升编码器、工控机以及TOS作业***结合起来,同时利用计算机视觉和模式识别领域的最新技术解决了:
1、港口码头作业过程中,集装箱号码由人工登记导致集装箱装载效率低;
2、由于人工失误导致集卡车与需要装载的集装箱不匹配。
本发明充分考虑了各种集装箱箱型并利用岸桥的建筑结构来安装摄像机,能够对集装箱和集卡车抓拍到清晰的图片。在此基础上本发明利用MSER(maximally stableextremal region,最大稳定极值区域)特征具有文字颜色、大小及仿射不变的特征,因此在各种环境下都能达到较高的识别率,有效地提高了岸桥作业的效率。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是本***的结构示意图;
图2是40尺及以上箱型为一个触发组的示意图;
图3是双20尺箱型为一个触发组的示意图;
图4是单20尺箱型为一个触发组的示意图;
图5是像素点的连通关系示意图。
具体实施方式
一种基于图像处理的集装箱箱号及集卡车号识别***,如图1所示,包括工控机、PLC、以太网交换机、摄像机等,其中:工控机分别与以太网交换机和PLC连接,摄像机通过IO转以太网与以太网交换机连接,以太网交换机与TOS***连接。
工控机为本***中的主数据处理单元,负责对摄像机拍摄的所有视频数据进行实时处理,识别出集装箱箱号和集卡车号,并将识别结果传输给TOS***(码头作业***),并通过与PLC接口实现信息的获取和控制命令的下发。
PLC为大车控制***,可以通过网络、串口、DP等多种连接方式与外部设备进行数据交互,将小车编码器、起升编码器、吊具开闭锁状态等信息发送给工控机,并接收工控机的指令实现控制的执行。
摄像头安装于岸桥连系梁及鞍梁上,对集装箱及集卡车进行实时视频采集,在收到工控机发送的抓拍命令后,将实时图片传输给工控机用于识别。
在岸桥的两侧鞍梁上安装了两组共6台摄像机用于拍摄集装箱箱号。在吊具抓取集装箱后运动过程中动态实时抓拍不同面带有箱号信息的图像,抓取的时机选择在吊具处于闭锁状态、起升或下降到距地面高度在6米时进行触发拍摄。摄像机根据PLC传输来的箱型的不同分为几个不同的触发组,40尺及以上为一个触发组(如图2所示)、双20尺为一个触发组(如图3所示),单20尺为一个触发组(如图4所示)。
在岸桥两侧的连系梁上各安装一个摄像机,在集装箱装卸时控制摄像机采集集卡车车头图像用于集卡车车号的识别。
一、集装箱箱号识别方法,包括如下步骤:
1、将摄像机拍摄的集装箱图像进行灰度化处理:
摄像机采集的原始集装箱箱号图像为RGB格式,按照以下公式将其转化为灰度格式图片:
Gray=0.229×R+0.587×G+0.114×B
其中R,G,B分别表示红、绿、蓝三个通道各自的像素值,Gray为处理后像素的灰度值。
2、对处理后的灰度图像计算最大稳定极值区域MSER,得到箱号字符候选区域:
灰度化后的图像每个像素点处的取值在[0,255]范围内,对于每个i∈[0,255],Si={p|Gray(p)≤i}表示灰度值不超过i的所有像素点的集合。依照像素点的连通关系(分为四连通和八连通两种,如图5所示),可以将Si划分成互不相交的连通区域。设为一个连通域,|Ri|表示区域Ri的像素个数。当i由0逐步增大到255时,|Ri|也会随着增加。当给定i的增长幅度d时,使用来表示区域Ri随i变化的稳定性,当i使得上式取值最小时,区域Ri就是一个MSER(最大稳定极值区域)。因四连通关系计算量小且产生的MSER区域与八连通区域相差不大,实际算法中采用区域的四连通关系,并设定增长幅度d的值为20。
以上步骤找到的区域对应箱号灰度值比背景小的情况,如果箱号灰度值比背景的大,将灰度图像做值域上翻转即可:Gray=255-Gray。
3、对非字符区域进行预过滤:
最大稳定极值区域包含了字符和非字符的区域,可以利用字符的几何性质过滤掉非字符的区域。如字符区域的最小外包矩形的宽高比不会小于0.1,字符区域的像素点的个数不会太大(不超过3600个像素点)和太小(不少于20个像素点)。
4、获取箱号区域:
按水平和竖直方向将两个相邻字符区域组合成一对,计算通过每个区域对中心点的直线与其他字符区域的相交个数,相交个数最多的直线为一行或一列文本区域。重复以上步骤直到所有的区域被包含在某一行或一列。组合成的文本行或文本列构成了箱号区域。
5、获取每个箱号字符的位置:
根据箱号区域的中心坐标及区域中包含的字符个数,确定每个区域代表的箱号类型。根据每个箱号区域中字符的中心坐标,按照从左到右,从上到下的顺序确定字符的先后位置。
6、利用神经网络对字符二值图像进行识别并输出结果:
字符识别部分调用了HALCON图像库的OCR接口,对定位到的字符区域通过训练好的模型给出识别结果和结果的置信度值(为(0,1)之间的小数值)。
二、集卡车号识别方法,包括如下步骤:
以上识别集装箱箱号的步骤同样适用于集卡车号的识别。由于岸桥连系梁与集卡车道平行,因此摄像机拍摄到的集卡车号在识别前需要旋转90度。
Claims (6)
1.一种基于图像处理的集装箱箱号及集卡车号识别***的识别方法,其特征在于:集装箱箱号的识别包括如下步骤:
(1)将摄像机拍摄的图像进行灰度化处理,得到灰度图像;
(2)通过计算灰度图像的最大稳定极值区域获得字符候选区域;
(3)对字符候选区域进行预过滤,得到字符区域;
(4)从字符区域中获取箱号或车号区域:按水平和竖直方向将两个相邻字符组合成区域对,计算通过每个区域对的中心点的直线与其他字符区域的相交个数,相交个数最多的直线作为一行或一列文本区域;重复该步骤直到所有的区域被包含在某一行或一列文本区域,组合成的文本行或文本列即构成箱号或车号区域;
(5)获取每个箱号或车号字符的位置;
(6)利用神经网络对字符二值图像进行识别并输出结果;
对于集卡车号的识别,在对图像进行灰度化处理前先将图像旋转90度;其中:
所述基于图像处理的集装箱箱号及集卡车号识别***包括工控机、PLC、以太网交换机和摄像机,其中:工控机分别与以太网交换机和PLC连接,以太网交换机分别与摄像机和TOS***连接;所述PLC将吊具开闭锁状态和编码器信息发送给工控机,并接收工控机发出的控制指令;所述工控机根据接收的吊具开闭锁状态和编码器信息生成抓拍命令发送给摄像机,所述摄像机将拍摄的集装箱箱号和集卡车车头图像传送给工控机,所述工控机对摄像机拍摄的图像进行识别,并将识别出的集装箱箱号和集卡车号发送给TOS***。
4.根据权利要求3所述的基于图像处理的集装箱箱号及集卡车号识别***的识别方法,其特征在于:若最大稳定极值区域对应箱号或车号灰度值比背景大时,需将灰度图像做值域上翻转。
5.根据权利要求1所述的基于图像处理的集装箱箱号及集卡车号识别***的识别方法,其特征在于:对字符候选区域进行预过滤时,将最小外包矩形的宽高比小于0.1的区域、像素点个数超过3600个像素点的区域或像素点个数少于20个像素点的区域过滤掉。
6.根据权利要求1所述的基于图像处理的集装箱箱号及集卡车号识别***的识别方法,其特征在于:所述摄像机在吊具抓取集装箱后运动过程中动态实时抓拍不同面带有箱号信息的图像,抓取的时机选择在吊具处于闭锁状态、起升或下降到距地面高度在6米时进行触发拍摄,摄像机根据PLC传输来的箱型的不同分为不同的触发组,其中:40尺及以上为一个触发组,双20尺为一个触发组,单20尺为一个触发组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610387591.1A CN106067023B (zh) | 2016-06-02 | 2016-06-02 | 基于图像处理的集装箱箱号及集卡车号识别***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610387591.1A CN106067023B (zh) | 2016-06-02 | 2016-06-02 | 基于图像处理的集装箱箱号及集卡车号识别***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106067023A CN106067023A (zh) | 2016-11-02 |
CN106067023B true CN106067023B (zh) | 2021-08-17 |
Family
ID=57420443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610387591.1A Active CN106067023B (zh) | 2016-06-02 | 2016-06-02 | 基于图像处理的集装箱箱号及集卡车号识别***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106067023B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107680108B (zh) * | 2017-07-28 | 2019-06-21 | 平安科技(深圳)有限公司 | 倾斜图像的倾斜值获取方法、装置、终端及存储介质 |
CN108269267B (zh) * | 2017-07-28 | 2019-10-08 | 平安科技(深圳)有限公司 | 倾斜图像的倾斜值获取方法及装置、终端、存储介质 |
CN109795892A (zh) * | 2017-11-17 | 2019-05-24 | 上海海勃物流软件有限公司 | 一种集装箱装卸船舶箱位自动识别***及识别方法 |
CN108596168B (zh) * | 2018-04-20 | 2020-11-20 | 京东数字科技控股有限公司 | 用于识别图像中字符的方法、装置及介质 |
CN109242843B (zh) * | 2018-09-04 | 2022-05-27 | 深圳市平方科技股份有限公司 | 一种集装箱表面图像及集装箱号码图像采集方法 |
CN109214338B (zh) * | 2018-09-06 | 2020-08-18 | 中铁武汉勘察设计研究院有限公司 | 一种运输车辆车号与集装箱箱号关联*** |
CN109344828A (zh) * | 2018-09-30 | 2019-02-15 | 中铁武汉勘察设计研究院有限公司 | 一种集装箱图像采集***及集装箱装载状态检测方法 |
CN109784272A (zh) * | 2019-01-13 | 2019-05-21 | 南京邮电大学盐城大数据研究院有限公司 | 一种集装箱识别***及集装箱识别方法 |
CN110119742B (zh) * | 2019-04-25 | 2023-07-07 | 添维信息科技(天津)有限公司 | 一种集装箱号的识别方法、装置及移动终端 |
CN110348451B (zh) * | 2019-07-18 | 2022-12-13 | 西南交通大学 | 铁路集装箱装卸过程中的箱号自动采集及识别方法 |
CN112699891A (zh) * | 2021-01-07 | 2021-04-23 | 西安速克码信息技术有限公司 | 一种集装箱号码智能识别***及方法 |
CN112508133B (zh) * | 2021-02-01 | 2021-06-04 | 聚时科技(上海)有限公司 | 一种多模态信息融合的集装箱类型识别方法及*** |
CN113378646A (zh) * | 2021-05-18 | 2021-09-10 | 上海平奥供应链管理有限公司 | 一种货运列车信息识别***及识别方法 |
CN113581867A (zh) * | 2021-07-30 | 2021-11-02 | 青岛港国际股份有限公司 | 一种具备双箱作业能力的堆场*** |
CN114782908B (zh) * | 2022-04-07 | 2024-01-26 | 郑州智辆电子科技有限公司 | 一种车载无线集装箱号采集***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005257397A (ja) * | 2004-03-10 | 2005-09-22 | Mitsui Eng & Shipbuild Co Ltd | コンテナ貨物の検査装置 |
CN101365116A (zh) * | 2008-09-28 | 2009-02-11 | 上海外轮理货有限公司 | 集装箱装卸理货实时监控*** |
CN101751560A (zh) * | 2008-12-12 | 2010-06-23 | 西门子公司 | 识别集装箱吊装设备中的集装箱的方法、控制程序和*** |
CN104649146A (zh) * | 2013-11-19 | 2015-05-27 | 天津港太平洋国际集装箱码头有限公司 | 岸桥装卸作业远程控制操作***及其操作方法 |
-
2016
- 2016-06-02 CN CN201610387591.1A patent/CN106067023B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005257397A (ja) * | 2004-03-10 | 2005-09-22 | Mitsui Eng & Shipbuild Co Ltd | コンテナ貨物の検査装置 |
CN101365116A (zh) * | 2008-09-28 | 2009-02-11 | 上海外轮理货有限公司 | 集装箱装卸理货实时监控*** |
CN101751560A (zh) * | 2008-12-12 | 2010-06-23 | 西门子公司 | 识别集装箱吊装设备中的集装箱的方法、控制程序和*** |
CN104649146A (zh) * | 2013-11-19 | 2015-05-27 | 天津港太平洋国际集装箱码头有限公司 | 岸桥装卸作业远程控制操作***及其操作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106067023A (zh) | 2016-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106067023B (zh) | 基于图像处理的集装箱箱号及集卡车号识别***及方法 | |
CN112819094B (zh) | 一种基于结构相似度度量的目标检测与识别方法 | |
CN109784344B (zh) | 一种用于地平面标识识别的图像非目标滤除方法 | |
CN113139521B (zh) | 一种用于电力监控的行人越界标监测方法 | |
TWI409718B (zh) | 移動中車輛之車牌定位方法 | |
CN110348451B (zh) | 铁路集装箱装卸过程中的箱号自动采集及识别方法 | |
Shen et al. | A positioning lockholes of container corner castings method based on image recognition | |
KR101992398B1 (ko) | 도로 기호 및 차선 인식 방법 및 장치 | |
CN108416355B (zh) | 一种基于机器视觉的工业现场生产数据的采集方法 | |
CN106682665B (zh) | 一种基于计算机视觉的七段式数显仪表数字识别方法 | |
CN107240112A (zh) | 一种复杂场景下个体x角点提取方法 | |
CN112861654A (zh) | 一种基于机器视觉的名优茶采摘点位置信息获取方法 | |
Kortli et al. | Efficient implementation of a real-time lane departure warning system | |
CN112069906B (zh) | 一种基于OpenCV和综合匹配距离的红绿灯识别方法 | |
Lin et al. | License plate recognition based on mathematical morphology and template matching | |
CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
CN113379684A (zh) | 一种基于视频的集装箱箱角线定位及自动着箱方法 | |
Budianto | Automatic License Plate Recognition: A Review with Indonesian Case Study | |
Rastegar et al. | An intelligent control system using an efficient License Plate Location and Recognition Approach | |
CN111985436B (zh) | 一种基于lsd的车间地标线识别拟合方法 | |
CN106340031A (zh) | 一种检测运动物体的方法和装置 | |
CN105469401A (zh) | 一种基于计算机视觉的船槽定位方法 | |
Zong et al. | Traffic light detection based on multi-feature segmentation and online selecting scheme | |
CN114638835B (zh) | 一种基于深度相机的轨枕异物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |