CN111243016B - 一种集装箱自动识别与定位方法 - Google Patents
一种集装箱自动识别与定位方法 Download PDFInfo
- Publication number
- CN111243016B CN111243016B CN201811501109.8A CN201811501109A CN111243016B CN 111243016 B CN111243016 B CN 111243016B CN 201811501109 A CN201811501109 A CN 201811501109A CN 111243016 B CN111243016 B CN 111243016B
- Authority
- CN
- China
- Prior art keywords
- container
- camera
- personal computer
- binocular camera
- industrial personal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Warehouses Or Storage Devices (AREA)
Abstract
本发明公开了一种集装箱自动识别与定位方法，包括工控机、双目相机、单目相机、光源，在工控机上安装带有SQL Server数据库的WinCC过程监控***应用程序，数据库中存储集装箱的箱号位置信息，WinCC过程监控***带有一套仓储出入库程序，双目相机安装于集装箱吊具上，用于对集装箱进行二次识别与定位，单目相机安装于集装箱入库处，用于对入库集装箱箱号自动识别，光源与相机配套安装，并可根据环境光线变化自动调节亮度。本发明首先通过数据库存储集装箱的理论位置，然后采用双目相机采集集装箱图片，设计一套基于机器视觉的算法对集装箱进行二次识别与定位，该方法定位精度高，算法处理简单、效率高、适用性强，能够提升码头、港口、货场等地的机械自动化水平，提升吊车吊运集装箱的效率。
Description
技术领域
本发明涉及自动化领域，具体涉及一种集装箱自动识别与定位方法。
背景技术
随着物流业的快速发展和人力成本的上升，码头、港口、货场等地迫切需要通过提升机械的自动化水平，增加货物周转效率，减少人力管理成本。其中，在吊车吊起集装箱的环节对司机操作要求较高，采用人工操作在吊具对准集装箱时耗时较长。提升该环节效率的关键是实现吊具与集装箱上锁孔的自动对准。随着计算机、图像处理、人工智能、智能控制等技术的进步，使得基于机器视觉的柔性自动化技术得以实现并迅速发展，目前，基于机器视觉的集装箱识别与定位技术已成为广大学者研究的热点。
发明内容
为了提升码头、港口、货场等地的机械自动化水平，本发明提供了一种集装箱自动识别与定位方法，该方法通过以下技术方案实现：
一种集装箱自动识别与定位方法，包括工控机、双目相机、单目相机、光源，在工控机上安装带有SQL Server数据库的WinCC过程监控***应用程序，双目相机安装于集装箱吊具上，单目相机安装于集装箱入库处，光源与相机配套安装，并可根据环境光线变化自动调节亮度。具体包括如下步骤：
步骤1：分别对双目相机和单目相机进行焦距与光圈调整，采用张氏平面标定法对双目相机进行标定，得出相机的内、外部参数，为三维坐标重建做准备。
步骤2：集装箱入库前，单目相机扫描采集集装箱箱号图样上传工控机，工控机上带有一套箱号自动识别***，该***对箱号进行自动识别上传至WinCC过程监控***，WinCC过程监控***带有一套仓储出入库程序，该程序对场地数据库进行排查找出空位，由AGV导引小车自动将该集装箱运达空位附近目的地。
步骤3：AGV导引小车将上述集装箱运达空位附近目的地后，集装箱吊具上的双目相机采集该集装箱图片上传至工控机，工控机中设计有一套集装箱自动识别与定位算法，对采集图样进行分析，识别出集装箱锁孔的精确位置，集装箱吊具进行自动穿孔吊起集装箱放置空位上，同时WinCC过程监控***将该集装箱箱号位置信息存储于SQL Server数据库，AGV小车自动回到出入口处，集装箱入库完成。同样集装箱出库时，首先根据所需出库集装箱的箱号查找SQL Server数据库，找出该箱号所对应的位置信息，集装箱吊车自动到达该位置，集装箱吊具上的双目相机采集该出库集装箱图片上传至工控机，工控机中的集装箱自动识别与定位算法对集装箱信息进行二次判定，识别出精确位置后进行穿孔吊起集装箱放置AGV小车上送达出口，同时数据库删除该集装箱箱号位置信息，完成出库。
所述步骤3中SQL Server数据库存储的集装箱的位置是一个理论值，与实际位置有一定偏差，因此采用双目相机对集装箱进行二次识别与定位，找出集装箱上锁孔的精确位置，具体算法如下：
步骤3.1：双目相机采集集装箱图样，针对该图样采用多算子融合算法进行集装箱边缘提取，对提取出的边缘进行降噪处理，提取集装箱边缘坐标，计算出集装箱与双目相机的相对偏移角度，旋转吊具使偏移角为零后重新进行拍照，得出新的图样降噪后的边缘坐标，利用该坐标去除多余背景，截取出集装箱图像。
步骤3.2：针对截取出的集装箱图像进行阈值处理，分割出集装箱上的锁孔图像，对分割出的左图像与右图像锁孔位置进行特征匹配，利用欧氏距离法去除不符合匹配的点，计算出锁孔的中心像素坐标。
步骤3.3：对锁孔中心像素坐标进行三维重建，将相机标定出的内外参带入投影矩阵，根据左右图像锁孔中心像素坐标及投影矩阵联立方程，得出锁孔的中心世界坐标。
本发明与现有技术相比，具有以下明显优点：提升了码头、港口、货场等地的机械自动化水平，提升了吊车吊运集装箱的效率。首先在数据库中存储集装箱的理论位置，其次采用机器视觉算法对该集装箱进行二次识别与定位，提高了定位精度，且减少了图像背景干扰，算法处理简单、效率高、适用性强。
附图说明
图1为本发明的工作流程图。
具体实施方式
下面对本发明的具体实施过程作以下进一步的说明：
一种集装箱自动识别与定位方法，包括工控机、双目相机、单目相机、光源，在工控机上安装带有SQL Server数据库的WinCC过程监控***应用程序，双目相机安装于集装箱吊具上，用于对集装箱进行二次识别与定位，单目相机安装于集装箱入库处，用于对入库集装箱箱号自动识别，光源与相机配套安装，并可根据环境光线变化自动调节亮度。
具体包括如下步骤：
步骤1：分别对双目相机和单目相机进行焦距与光圈调整，采用张氏平面标定法对双目相机进行标定，得出相机的内、外部参数，为三维坐标重建做准备。
步骤2：集装箱入库前，单目相机扫描采集集装箱箱号图样上传工控机，工控机上带有一套箱号自动识别***，该***对箱号进行自动识别上传至WinCC过程监控***，WinCC过程监控***带有一套仓储出入库程序，该程序对场地数据库进行排查找出空位，由AGV导引小车自动将该集装箱运达空位附近目的地。
步骤3：AGV导引小车将上述集装箱运达空位附近目的地后，集装箱吊具上的双目相机采集该集装箱图片上传至工控机，工控机中设计有一套集装箱自动识别与定位算法，对采集图样进行分析，识别出集装箱锁孔的精确位置，集装箱吊具进行自动穿孔吊起集装箱放置空位上，同时WinCC过程监控***将该集装箱箱号位置信息存储于SQL Server数据库，AGV小车自动回到出入口处，集装箱入库完成。同样集装箱出库时，首先根据所需出库集装箱的箱号查找SQL Server数据库，找出该箱号所对应的位置信息，集装箱吊车自动到达该位置，集装箱吊具上的双目相机采集该出库集装箱图片上传至工控机，工控机中的集装箱自动识别与定位算法对集装箱信息进行二次判定，识别出精确位置后进行穿孔吊起集装箱放置AGV小车上送达出口，同时数据库删除该集装箱箱号位置信息，完成出库。
所述步骤3中SQL Server数据库存储的集装箱的位置是一个理论值，与实际位置有一定偏差，因此采用双目相机对集装箱进行二次识别与定位，找出集装箱上锁孔的精确位置，具体算法如下：
步骤3.1：双目相机采集集装箱图样，针对该图样采用多算子融合算法进行集装箱边缘提取，对提取出的边缘进行降噪处理，提取集装箱边缘坐标，计算出集装箱与双目相机的相对偏移角度，旋转吊具使偏移角为零后重新进行拍照，得出新的图样降噪后的边缘坐标，利用该坐标去除多余背景，截取出集装箱图像。
步骤3.2：针对截取出的集装箱图像进行阈值处理，分割出集装箱上的锁孔图像，对分割出的左图像与右图像锁孔位置进行特征匹配，利用欧氏距离法去除不符合匹配的点，计算出锁孔的中心像素坐标。
步骤3.3：对锁孔中心像素坐标进行三维重建，将相机标定出的内外参带入投影矩阵，根据左右图像锁孔中心像素坐标及投影矩阵联立方程，得出锁孔的中心世界坐标。
本发明一种集装箱自动识别与定位方法的设计中，首先在数据库中存储集装箱的理论位置，其次采用机器视觉算法对该集装箱进行二次识别与定位，提高了定位精度，且减少了图像背景干扰，算法处理简单、效率高、适用性强。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (1)
1.一种集装箱自动识别与定位方法，其特征在于：包括工控机、双目相机、单目相机、光源，在工控机上安装带有SQL Server数据库的WinCC过程监控***应用程序，双目相机安装于集装箱吊具上，单目相机安装于集装箱入库处，光源与相机配套安装，并可根据环境光线变化自动调节亮度；具体包括如下步骤：
步骤1：分别对双目相机和单目相机进行焦距与光圈调整，采用张氏平面标定法对双目相机进行标定，得出相机的内、外部参数，为三维坐标重建做准备；
步骤2：集装箱入库前，单目相机扫描采集集装箱箱号图样上传工控机，工控机上带有一套箱号自动识别***，该***对箱号进行自动识别上传至WinCC过程监控***，WinCC过程监控***带有一套仓储出入库程序，该程序对场地数据库进行排查找出空位，由AGV导引小车自动将该集装箱运达空位附近目的地；
步骤3：AGV导引小车将上述集装箱运达空位附近目的地后，集装箱吊具上的双目相机采集该集装箱图片上传至工控机，工控机中设计有一套集装箱自动识别与定位算法，对采集图样进行分析，识别出集装箱锁孔的精确位置，集装箱吊具进行自动穿孔吊起集装箱放置空位上，同时WinCC过程监控***将该集装箱箱号位置信息存储于SQL Server数据库，AGV小车自动回到出入口处，集装箱入库完成；
同样集装箱出库时，首先根据所需出库集装箱的箱号查找SQL Server数据库，找出该箱号所对应的位置信息，集装箱吊车自动到达该位置，SQL Server数据库存储的集装箱的位置是一个理论值，与实际位置有一定偏差，因此采用双目相机对集装箱进行二次识别与定位，找出集装箱上锁孔的精确位置；
具体步骤为：集装箱吊具上的双目相机采集该出库集装箱图片上传至工控机，工控机中的集装箱自动识别与定位算法对集装箱信息进行二次判定，识别出集装箱锁孔精确位置后进行穿孔吊起集装箱放置AGV小车上送达出口，同时数据库删除该集装箱箱号位置信息，完成出库；
识别集装箱锁孔精确位置的具体算法如下：
步骤3.1：双目相机采集集装箱图样，针对该图样采用多算子融合算法进行集装箱边缘提取，对提取出的边缘进行降噪处理，提取集装箱边缘坐标，计算出集装箱与双目相机的相对偏移角度，旋转吊具使偏移角为零后重新进行拍照，得出新的图样降噪后的边缘坐标，利用该坐标去除多余背景，截取出集装箱图像；
步骤3.2：针对截取出的集装箱图像进行阈值处理，分割出集装箱上的锁孔图像，对分割出的左图像与右图像锁孔位置进行特征匹配，利用欧氏距离法去除不符合匹配的点，计算出锁孔的中心像素坐标；
步骤3.3：对锁孔中心像素坐标进行三维重建，将相机标定出的内外参带入投影矩阵，根据左右图像锁孔中心像素坐标及投影矩阵联立方程，得出锁孔的中心实际坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811501109.8A CN111243016B (zh) | 2018-11-28 | 2018-11-28 | 一种集装箱自动识别与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811501109.8A CN111243016B (zh) | 2018-11-28 | 2018-11-28 | 一种集装箱自动识别与定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111243016A CN111243016A (zh) | 2020-06-05 |
| CN111243016B true CN111243016B (zh) | 2024-03-19 |
Family
ID=70871276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811501109.8A Active CN111243016B (zh) | 2018-11-28 | 2018-11-28 | 一种集装箱自动识别与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111243016B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288800B (zh) * | 2020-09-27 | 2023-05-12 | 山东浪潮科学研究院有限公司 | 一种服务器机柜门锁眼识别方法、设备及装置 |
| CN114219842B (zh) * | 2021-12-14 | 2022-08-12 | 东南大学 | 港口集装箱自动装卸作业中的视觉识别、测距与定位方法 |
| CN114339989B (zh) * | 2021-12-27 | 2023-04-28 | 同济大学 | 一种基于方位角的多智能体***分布式定位方法 |
| CN115049322B (zh) * | 2022-08-16 | 2022-12-20 | 安维尔信息科技(天津)有限公司 | 一种集装箱堆场的集装箱管理方法及*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003252410A (ja) * | 2002-03-04 | 2003-09-10 | Gen Kojima | 汎用性のある簡便な書類等の管理方法 |
| JP2004099276A (ja) * | 2002-09-11 | 2004-04-02 | Mitsubishi Heavy Ind Ltd | 無線タグを用いた物流管理装置およびその方法、ならびに物流管理プログラム |
| CN101251381A (zh) * | 2007-12-29 | 2008-08-27 | 武汉理工大学 | 基于机器视觉的双集装箱定位*** |
| CN101289156A (zh) * | 2008-05-30 | 2008-10-22 | 浙江工业大学 | 基于全方位视觉传感器的智能集装箱吊具 |
| CN102024144A (zh) * | 2010-11-23 | 2011-04-20 | 上海海事大学 | 集装箱箱号自动识别方法 |
| CN108062768A (zh) * | 2017-12-12 | 2018-05-22 | 中国矿业大学 | 一种基于表面纹理特征的钢丝绳轴向移动状态识别方法 |
| CN108427423A (zh) * | 2018-05-07 | 2018-08-21 | 温州大学瓯江学院 | 一种无人仓储智能综合监控调度***及其控制方法 |
| CN108491851A (zh) * | 2018-01-29 | 2018-09-04 | 江苏大学 | 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3033293B1 (en) * | 2013-08-12 | 2017-10-11 | ABB Schweiz AG | Method and system for automatically landing containers on a landing target using a container crane |
-
2018
- 2018-11-28 CN CN201811501109.8A patent/CN111243016B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003252410A (ja) * | 2002-03-04 | 2003-09-10 | Gen Kojima | 汎用性のある簡便な書類等の管理方法 |
| JP2004099276A (ja) * | 2002-09-11 | 2004-04-02 | Mitsubishi Heavy Ind Ltd | 無線タグを用いた物流管理装置およびその方法、ならびに物流管理プログラム |
| CN101251381A (zh) * | 2007-12-29 | 2008-08-27 | 武汉理工大学 | 基于机器视觉的双集装箱定位*** |
| CN101289156A (zh) * | 2008-05-30 | 2008-10-22 | 浙江工业大学 | 基于全方位视觉传感器的智能集装箱吊具 |
| CN102024144A (zh) * | 2010-11-23 | 2011-04-20 | 上海海事大学 | 集装箱箱号自动识别方法 |
| CN108062768A (zh) * | 2017-12-12 | 2018-05-22 | 中国矿业大学 | 一种基于表面纹理特征的钢丝绳轴向移动状态识别方法 |
| CN108491851A (zh) * | 2018-01-29 | 2018-09-04 | 江苏大学 | 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法 |
| CN108427423A (zh) * | 2018-05-07 | 2018-08-21 | 温州大学瓯江学院 | 一种无人仓储智能综合监控调度***及其控制方法 |
Non-Patent Citations (8)
| Title |
|---|
| "基于双目立体视觉的集装箱识别与定位技术研究";马蕾;《中国优秀硕士学位论文全文数据库信息科技辑》;20131115(第11期);正文第1页第1段-第48页第8段，图3-1—3-8、图4-1—4.10、表4-1、图5-1—5-2 * |
| "基于图像的集装箱锁孔定位技术";张洪波等;《起重运输机械》;20151031(第10期);第67-69页 * |
| A new model of binocular stereo vision system;Lin, PD et al.;《 PROCEEDINGS OF THE INTERNATIONAL SYMPOSIUM ON PRECISION MECHANICAL MEASUREMENT》;第4卷;第228-231页 * |
| Framework for consistent maintenance of geometric data and abstract task-knowledge from range observations;Juan Carlos Ramirez et al.;《2011 IEEE International Conference on Robotics and Biomimetics》;第963-969页 * |
| 基于双目视觉的集装箱自动识别定位***的设计;梁晓波等;《机械》;20150131;第42卷(第01期);第7页右栏第1段—第10页右栏第2段，图1-5，表1 * |
| 基于机器视觉的港口集装箱卸船定位识别***;王雪等;《中国水运(下半月)》;20151115(第11期);第138-140页 * |
| 梁晓波等.基于双目视觉的集装箱自动识别定位***的设计.《机械》.2015,第42卷(第01期), * |
| 纪寿文等.《现代物流装备与技术实务》.深圳：海天出版社,2004,第100-105页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111243016A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111243016B (zh) | 一种集装箱自动识别与定位方法 | |
| EP3740897B1 (en) | License plate reader using optical character recognition on plural detected regions | |
| DE102013109220B4 (de) | Robotervorrichtung und Verfahren zum Herausnehmen von Bulk-Ware aus einem Lager | |
| CN110245663B (zh) | 一种用于钢卷信息识别的方法 | |
| CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| EP2345515A1 (en) | Method for taking out work | |
| US20220322592A1 (en) | Method and device for disassembling electronics | |
| CN107324041A (zh) | 用于片盒夹持的机械手及自动片盒搬运装置 | |
| CN106839985A (zh) | 无人天车钢卷抓取的自动识别定位方法 | |
| CN113891775A (zh) | 用于提供板块规划几何数据的方法、用于切出工件的方法和平面激光机床 | |
| CN105701492A (zh) | 一种机器视觉识别***及其实现方法 | |
| US9818198B2 (en) | Method for near-realtime workspace mapping | |
| CN109454004B (zh) | 机器人扫描分拣***及方法 | |
| CN111112108B (zh) | 一种船体板材切割零件分拣装备及方法 | |
| KR101445973B1 (ko) | 영상 처리 기술을 이용한 블록 제작 공정 진척도 인식 방법 및 그 시스템 | |
| CN112605993A (zh) | 基于双目视觉引导的自动抓取档案机器人控制***及方法 | |
| CN111855667A (zh) | 一种适用于地铁车辆的新型智慧列检***和检测方法 | |
| CN117745187B (zh) | 基于agv的药物自动配送***及其方法 | |
| CN207976755U (zh) | 一种基于机器视觉和plc的钢材仓储控制*** | |
| CN114419437A (zh) | 基于2d视觉的工件分拣***及其控制方法和控制装置 | |
| CN106477219B (zh) | 一种基于机器视觉的板材成品入库管理***及方法 | |
| CN111145254B (zh) | 一种基于双目视觉的门阀毛坯定位方法 | |
| CN112429444A (zh) | 垃圾回收机器人及其控制方法 | |
| CN111899145A (zh) | 一种基于机器视觉的立体库盘库方法及*** | |
| CN108037503B (zh) | 一种面向家居板材上下料的基于激光雷达的平面多板材定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |