CN116188763A - 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 - Google Patents

一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 Download PDF

Info

Publication number
CN116188763A
CN116188763A CN202211695904.1A CN202211695904A CN116188763A CN 116188763 A CN116188763 A CN 116188763A CN 202211695904 A CN202211695904 A CN 202211695904A CN 116188763 A CN116188763 A CN 116188763A
Authority
CN
China
Prior art keywords
carton
cartons
image
yolov5
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211695904.1A
Other languages
English (en)
Inventor
梁建安
孔瑞玲
张锦华
边星瑞
王虹鑫
李凯
池家聪
张旭
宋苗苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202211695904.1A priority Critical patent/CN116188763A/zh
Publication of CN116188763A publication Critical patent/CN116188763A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nonlinear Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，包括将多张图像进行预处理得到多目标训练集，使用YOLOv5算法对训练集进行训练，用训练好的模型对纸箱进行分类识别；在YOLOv5算法基础上结合OpenCV软件库，检测纸箱放置角度；双目视觉***获取所要抓取纸箱的检测信息，然后通过算法计算出纸箱的空间深度距离，同时将计算数据传送给机械臂控制组件完成抓取，机械臂根据获取的角度信息调整已抓取纸箱的角度，将已经调整好角度的纸箱整齐的码放在相应的位置。本发明采用上述的一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，构造简单，检测精度高，能够获得更好的目标检测效果，从而实现机械臂实时抓取，并且能够应用在实际的纸箱抓取与码垛场景中。

Description

一种基于YOLOv5的纸箱识别定位及放置角度的测量方法
技术领域
本发明属于目标检测技术与机械智能控制技术领域，具体涉及一种基于YOLOv5的纸箱识别定位及放置角度的测量方法。
背景技术
传统的生产线生产过程中，一般通过人工分拣的方法将特定纸箱分拣出来，但是人工分拣费时费力，效率低。现有的机械分拣装置结构复杂，操作步骤较多，抓取可靠性较低，导致工作效率迟迟提升不上去。
发明内容
本发明的目的是提供一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，构造简单、检测精度高的***及方法，能够获得更好的目标检测效果，从而实现机械臂实时抓取，并且能够应用在实际的纸箱抓取与码垛场景中。
为实现上述目的，本发明提供了一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，包括如下步骤：
S1、拍摄纸箱图片传入计算机设备，再进行标注与数据扩增，并划分数据集；
S2、使用YOLOv5算法对训练集进行训练，用训练好的模型进行分类识别，得到最佳的检测模型；
S3、使用双目视觉***拍摄实际应用场景中的纸箱图片，利用检测模型对纸箱图片进行检测，得到纸箱类型、预测框坐标信息，并计算出纸箱的中心点坐标；
S4、在YOLOv5算法基础上结合OpenCV软件库，对获得的目标检测信息的图像集进行进一步处理，检测纸箱的放置角度；OpenCV(Open Source Computer Vision Library)是一个计算机视觉和机器学习软件库。OpenCV在为计算机视觉应用提供通用基础架构，拥有超过2500种的优化算法，涵盖了经典的和最先进的计算机视觉和机器学习算法。这些算法可用于检测和识别人脸、识别对象、区分视频中人的动作、跟踪相机移动、跟踪移动物体、提取物体的3D模型、从立体相机生成3D点云、将图像拼接在一起以产生整个场景的高分辨率图像、从图像数据库中找到相似的图像、从使用闪光灯拍摄的图像中去除红眼、跟踪眼球运动、识别景物并建立标记以将其与增强现实等叠加。
S5、双目视觉***获取最终所要抓取的纸箱的检测信息，利用相关性匹配算法和三角测量原理对双目视觉***左右两个摄像头采集的图像信息进行处理，计算出纸箱的空间深度距离；
S6、在实时检测的状态下，将计算出的纸箱的空间深度距离传送到机械臂控制组件，机械臂控制组件根据纸箱的空间深度信息完成对相应纸箱的实时抓取；
S7、机械臂控制组件根据获取的角度信息调整已抓取纸箱的角度；
S8、将已经调整好角度的纸箱整齐的码放在相应的放置位置。
优选的，所述步骤S1具体为：
S11、在实际纸箱堆垛场景中利用双目视觉***拍摄不同大小的纸箱多种姿态的图片，传入计算机设备；
S12、利用人工对纸箱图片进行标注，生成数据集；
S13、通过旋转、平移、翻转、镜像的方法进行数据扩增，得到扩增后的图片数据集。
优选的，所述步骤S3具体为：
S31、将步骤S2得到的最佳模型对纸箱图片进行识别分类，得到纸箱类别与预测框位置信息；
S32、根据已经获得的预测框坐标，计算纸箱的中心坐标(m,n)，计算公式如下：
Figure BDA0004022396890000031
其中(x,y)为预测框的左上角坐标，w为预测框的宽，h为预测框的高；
S33、双目视觉***在拍摄实际应用场景中纸箱图像时，同时利用OpenCV中cvtColor函数获取其对应的灰度图，其原理为：
Gray＝R*0.3+G*0.59+B*0.11
其中，RGB(R，G，B)为原来某点的颜色；
S34、根据得到的坐标信息，在其对应灰度图像上得到各个纸箱中心点的灰度值，并进行灰度值排序；灰度值越小，纸箱距离固定的双目视觉***及机械臂越近。因此选择中心灰度值最小的纸箱，输出纸箱类别，预测框坐标信息及计算得到的中心坐标。
优选的，所述步骤S4具体为：
S41、根据预测框的坐标信息，在灰度图像上裁去除了选定的纸箱的预测框以外的所有像素；
S42、对裁剪以后纸箱的灰度图像进行高斯滤波，对整幅图像进行加权平均，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。通过高斯滤波去除大部分噪声，减少噪声干扰。高斯滤波公式如下：
Figure BDA0004022396890000032
其中，(x,y)为灰度图像的坐标，σ为x的方差；
S43、利用OpenCV二值化函数threshold对灰度图像进行二值化处理，将图像上的像素点的灰度值设置为0或255，这样将使整个图像呈现出明显的黑白效果。图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。通过OpenCV二值化函数threshold很好的除去光线对图片的影响，使纸箱边缘更加明显。二值化公式如下：
Figure BDA0004022396890000041
其中，maxval为最大阈值，scr(x,y)为原灰度图像对应的像素值，thresh为阈值；
S44、利用OpenCV-Scharr边缘检测将纸箱的边缘线找出。边缘检测的目的是标识数字图像中亮度变化明显的点，可以大幅度地减少数据量，并且剔除认为不相关的信息，保留图像重要的结构属性。
其中，在X方向一阶Scharr边缘检测算子为：
Figure BDA0004022396890000042
在Y方向一阶Scharr边缘检测算子为：
Figure BDA0004022396890000043
S45、再次对图像进行二值化操作，将边缘线与周围像素点明显分为黑白两色；
S46、霍夫变换是一种在图像中寻找直线，圆及其他简单形状的方法。利用OpenCV-HoughLinesP(霍夫变换直线检测)查找当前图的直线段，对通过霍夫变换得到的数据进行遍历后在原图上画线，OpenCV-HoughLinesP原理为：
r＝xcosθ+ysinθ
其中，(x,y)为坐标点，θ为角度，则每一对(r,θ)为通过点(x,y)的直线。在极径极角平面找出所有通过点(x,y)的直线即可得到一条正弦曲线。如果图像两个坐标点在进行上述操作后得到的曲线有交点，这就意味着这两个坐标点通过一条直线，则可得到这个交点所代表的参数在原图像中的直线。
S47、利用OpenCV-minAreaRect函数主要求得包含霍夫变换得到的数据的点集最小面积的矩形，并求出其偏转角度(放置角度)，即x-y坐标系中相对x轴的偏转角度，对纸箱进行空间定位，获得最终的目标检测信息。
本发明所述的一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，与现有方法相比，具有如下有益效果：
(1)能够构建出准确的分类、定位模型及算法。
(2)使用YOLOv5和OpenCV相结合的方法进行目标检测与处理，保留了图像重要的结构属性，可以准确快速的实现对纸箱的空间定位并获取最终的目标检测信息。
(3)可以满足实际应用环境下的纸箱抓取与码垛，减少了人员使用过程中不必要的操作，提高了工作效率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种基于YOLOv5的纸箱识别定位及放置角度的测量方法的流程图；
图2为本发明一种基于YOLOv5的纸箱识别定位及放置角度的测量方法的总体示意图；
图3为本发明一种基于YOLOv5的纸箱识别定位及放置角度的测量方法计算纸箱空间深度距离的原理图；
图4为本发明一种基于YOLOv5的纸箱识别定位及放置角度的测量方法的模块图；
图5为双目视觉***拍摄的实际场景图；
图6为对纸箱图片进行分类检测的结果图；
图7为纸箱图片对应的灰度图；
图8为裁剪后的灰度图像结果图；
图9为高斯滤波的结果图；
图10为二值化处理的结果图；
图11为边缘检测的结果图；
图12为再次对图像进行二值化操作的结果图；
图13为查找直线段的结果图。
附图标记
1、双目视觉***；2、计算机设备；3、机械臂。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
实施例一
为了更好地了解本发明的目的、结构及功能，下面结合图1和图2，对本发明一种基于YOLOv5的纸箱识别定位及放置角度的测量方法做进一步详细的描述：包括如下步骤：
S1、图像的采集及预处理，在实际纸箱堆垛场景中利用双目视觉***1拍摄200张不同大小的纸箱多种姿态的图片并传入计算机设备2中。在数据预处理框架中进行图像预处理，采用图像分割的方法对采集的图像中不同长宽比的纸箱进行人工标注。通过旋转、平移、翻转、镜像等方法进行数据扩增，得到扩增后的2000张图片的数据集。并根据各种不同长宽比的纸箱按5:1的比例随机抽取划分出训练集与验证集。
S2、使用YOLOv5目标检测算法，即深度卷积神经网络，对训练集经过300轮训练，在训练过程中单次传递给程序用以训练的参数个数为16，得到训练最佳的模型best.pt。
S3、如图5所示，使用双目视觉***1拍摄实际应用场景中的纸箱图片，并传入计算机设备2中，利用训练好的模型对获取的图片进行检测分类识别，得到其纸箱类别、预测框坐标信息。
S4、根据纸箱的预测框坐标信息，计算其中心坐标(m,n)，计算公式如下：
Figure BDA0004022396890000071
其中(x,y)为预测框的左上角坐标，w为预测框的宽，h为预测框的高。如图6所示，得到纸箱类别：Boxes Six，预测框左上角坐标：(475,617)，求得中心坐标为：(774，1246)。
S5、双目视觉***1在拍摄实际应用场景中纸箱图像时，同时利用OpenCV中cvtColor函数获取其对应的灰度图。根据得到的坐标信息，在其对应灰度图像上得到各个纸箱中心点的灰度值，并进行灰度值排序，如图7所示，灰度图像上得到各个纸箱中心点灰度值最小的为：118。灰度值越小，纸箱距离固定的双目视觉***1及机械臂3越近。因此选择中心灰度值最小的纸箱，输出纸箱类别，预测框坐标信息及S4计算得到的中心坐标。根据预测框的坐标信息，在灰度图像上裁去除了所选纸箱的预测框以外的所有像素，如图8所示。
S6、对裁剪以后纸箱的灰度图像进行高斯滤波，去除大部分噪声，减少噪声干扰，如图9所示。高斯滤波公式如下：
Figure BDA0004022396890000072
其中，(x,y)为灰度图像的坐标，σ为x的方差。
S7、利用OpenCV二值化函数threshold对灰度图像进行二值化处理，很好的除去光线对图片的影响，使纸箱边缘更加明显，如图10所示。二值化公式如下：
Figure BDA0004022396890000081
其中，maxval为最大阈值，scr(x,y)为原灰度图像对应的像素值，thresh为阈值。
S8、利用OpenCV-Scharr边缘检测将纸箱的边缘线找出，如图11所示。
其中，在X方向一阶Scharr边缘检测算子为：
Figure BDA0004022396890000082
在Y方向一阶Scharr边缘检测算子为：
Figure BDA0004022396890000083
S9、再次对图像进行二值化操作，将边缘线与周围像素点明显分为黑白两色，如图12所示。
S10、利用OpenCV-HoughLinesP(霍夫变换直线检测)查找当前图的直线段，对通过霍夫变换得到的数据进行遍历后在原图上画线，如图13所示。OpenCV-HoughLinesP原理为：
r＝xcosθ+ysinθ
其中，(x,y)为坐标点，θ为角度，则每一对(r,θ)为通过点(x,y)的直线。在极径极角平面找出所有通过点(x,y)的直线即可得到一条正弦曲线。如果图像两个坐标点在进行上述操作后得到的曲线有交点，这就意味着这两个坐标点通过一条直线，则可得到这个交点所代表的参数在原图像中的直线。
S11、利用OpenCV-minAreaRect函数主要求得包含霍夫变换得到的数据的点集最小面积的矩形，并求出其偏转角度(放置角度)，即x-y坐标系中相对x轴的偏转角度，对纸箱进行空间定位，获得最终的目标检测信息，本次计算得到的偏转角度为1.13818359375。
S12、双目视觉***1通过信息传送流程获取最终的所要抓取纸箱的目标检测信息，利用相关性匹配算法和三角测量原理对双目视觉组件左右两个摄像头采集的图像信息进行处理，计算出纸箱的空间深度距离。计算纸箱的空间深度距离的原理如下：
如图3所示，P是待测物体上的某一点，双目摄像头的两个光心分别是Om与On，待测物体上的一点P在双目摄像头的两个相机感光器上的成像点分别是P'和P"，f为双目相机左右摄像头的焦距，B为两相机光心之间的距离，Z为需要的深度信息，设点P'到点P"的距离为dis，则有：
dis＝B-(Xm-Xn)
根据相似三角形原理：
Figure BDA0004022396890000091
公式中焦距f和摄像头光心距B可通过标定过程得到，因此，只要获得了Xm-Xn(即视差d)的值即可求得待测物上点P的深度信息Z。
S13、在实时检测的状态下，通过信息传送流程将计算出的纸箱空间深度距离传送到机械臂控制组件，机械臂控制组件根据工件的空间深度信息完成对相应工件的实时抓取。
S14、机械臂3根据获取的角度信息调整已抓取纸箱的角度。
S15、将已经调整好角度的纸箱整齐的码放在相应的放置位置。
重复步骤S3-S15，快速准确完成纸箱分类、定位、抓取与码垛。
实施例二
如图4所示，本发明一种基于YOLOv5的纸箱识别定位及放置角度的测量方法包括纸箱图像采集及预处理模块、纸箱检测识别模块、纸箱信息获取模块、纸箱抓取及码垛模块。
纸箱图像采集及预处理模块：纸箱图像采集及预处理模块包括纸箱图像采集子模块与数据集生成子模块。
纸箱检测识别模块：纸箱检测识别模块使用YOLOv5目标检测算法，对训练集经过300轮训练，得到训练最佳的模型。
纸箱信息获取模块：纸箱定位模块包括纸箱类别信息获取子模块、纸箱角度信息获取子模块及纸箱深度信获取子模块。
纸箱抓取及码垛模块：纸箱抓取及码垛模块包括纸箱抓取子模块与纸箱码垛子模块。
其中，纸箱图像采集子模块：在实际纸箱堆垛场景中利用双目视觉***1拍摄不同大小的纸箱多种姿态的图片。
数据集生成子模块：采用图像分割的方法对采集的图像中不同长宽比的纸箱进行人工标注。通过旋转、平移、翻转、镜像等方法进行数据扩增，得到最终的数据集。并根据各种不同长宽比的纸箱随机抽取划分出训练集与验证集。
纸箱类别信息获取子模块：使用双目视觉***1拍摄实际应用场景中的纸箱图片，同时利用OpenCV中cvtColor函数获取其对应的灰度图。利用训练好的模型对获取的原纸箱图片进行检测分类识别，得到其纸箱类别、预测框坐标信息。根据纸箱的预测框坐标信息，计算出其中心坐标(m,n)，并在其对应灰度图像上得到各个纸箱中心点的灰度值，进行灰度值排序，选择出距离固定的双目视觉***1及机械臂3最近的纸箱。输出纸箱类别，预测框坐标信息及中心坐标。
纸箱角度信息获取子模块：根据预测框的坐标信息，在灰度图像上裁去除了所选纸箱的预测框以外的所有像素。对裁剪以后纸箱的灰度图像进行高斯滤波，去除大部分噪声，减少噪声干扰。再利用OpenCV函数并求出纸箱偏转角度(放置角度)，即x-y坐标系中相对x轴的偏转角度，对纸箱进行空间定位，获得最终的目标检测信息。
纸箱深度信息获取子模块：双目视觉***1获取最终的所要抓取纸箱的目标检测信息，利用相关性匹配算法和三角测量原理对双目视觉组件左右两个摄像头采集的图像信息进行处理，计算出纸箱的空间深度距离。
纸箱抓取子模块：在实时检测的状态下，将计算出的纸箱空间深度距离传送到机械臂控制组件，机械臂控制组件根据工件的空间深度信息完成对相应工件的实时抓取。
纸箱码垛子模块：机械臂3根据获取的角度信息调整已抓取纸箱的角度。将已经调整好角度的纸箱整齐的码放在相应的放置位置。
因此，本发明采用上述一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，***构造简单，检测精度高，能够获得更好的目标检测效果，可以满足实际应用环境下的纸箱抓取与码垛，减少了人员使用与不必要的操作，提高了工作效率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (4)

1.一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，其特征在于：包括如下步骤：
S1、拍摄纸箱图片传入计算机设备，再进行标注与数据扩增，并划分数据集；
S2、使用YOLOv5算法对训练集进行训练，用训练好的模型进行分类识别，得到检测模型；
S3、使用双目视觉***拍摄实际应用场景中的纸箱图片，利用检测模型对纸箱图片进行检测，得到纸箱类型、预测框坐标信息，并计算出纸箱的中心点坐标；
S4、在YOLOv5算法基础上结合OpenCV软件库，对获得的目标检测信息的图像集进行进一步处理，检测纸箱的放置角度；
S5、双目视觉***获取最终所要抓取纸箱的检测信息，利用相关性匹配算法和三角测量原理对双目视觉***左右两个摄像头采集的图像信息进行处理，计算出纸箱的空间深度距离；
S6、在实时检测的状态下，将计算出的纸箱的空间深度距离传送到机械臂控制组件，机械臂控制组件根据纸箱的空间深度信息完成对相应纸箱的实时抓取；
S7、机械臂控制组件根据获取的角度信息调整已抓取纸箱的角度；
S8、将已经调整好角度的纸箱整齐的码放在相应的放置位置。
2.根据权利要求1所述的一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，其特征在于：所述步骤S1具体为：
S11、在实际纸箱堆垛场景中利用双目视觉***拍摄不同大小的纸箱多种姿态的图片，传入计算机设备；
S12、利用人工对纸箱图片进行标注，生成数据集；
S13、通过旋转、平移、翻转、镜像的方法进行数据扩增，得到扩增后的图片数据集。
3.根据权利要求1所述的一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，其特征在于：所述步骤S3具体为：
S31、使用步骤S2得到的检测模型对纸箱图片进行识别分类，得到纸箱类别与预测框位置信息；
S32、根据已经获得的预测框坐标，计算纸箱的中心坐标(m,n)，计算公式如下：
Figure FDA0004022396880000021
其中(x,y)为预测框的左上角坐标，w为预测框的宽，h为预测框的高；
S33、双目视觉***在拍摄实际应用场景中纸箱图像时，同时利用OpenCV中cvtColor函数获取其对应的灰度图；
S34、根据得到的坐标信息，在其对应灰度图像上得到各个纸箱中心点的灰度值，并进行灰度值排序；选择中心灰度值最小的纸箱，输出纸箱类别、预测框坐标信息及计算得到的中心坐标。
4.根据权利要求1所述的一种基于YOLOv5的纸箱识别定位及放置角度的测量方法，其特征在于：所述步骤S4具体为：
S41、根据预测框的坐标信息，在灰度图像上裁去除了选定纸箱的预测框以外的所有像素；
S42、对裁剪以后纸箱的灰度图像进行高斯滤波，对整幅图像进行加权平均，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到，高斯滤波公式如下：
Figure FDA0004022396880000022
其中，(x,y)为灰度图像的坐标，σ为x的方差；
S43、利用OpenCV二值化函数threshold对灰度图像进行二值化处理，将图像上的像素点的灰度值设置为0或255，二值化公式如下：
Figure FDA0004022396880000031
其中，maxval为最大阈值，scr(x,y)为原灰度图像对应的像素值，thresh为阈值；
S44、利用OpenCV-Scharr边缘检测将纸箱的边缘线找出，其中，在X方向一阶Scharr边缘检测算子为：
Figure FDA0004022396880000032
在Y方向一阶Scharr边缘检测算子为：
Figure FDA0004022396880000033
S45、再次对图像进行二值化操作，将边缘线与周围像素点明显分为黑白两色；
S46、利用OpenCV-HoughLinesP查找当前图的直线段，对通过霍夫变换得到的数据进行遍历后在原图上画线；
S47、利用OpenCV-minAreaRect函数主要求得包含霍夫变换得到的数据的点集最小面积的矩形，并求出其在x-y坐标系中相对x轴的偏转角度，对纸箱进行空间定位，获得最终的目标检测信息。
CN202211695904.1A 2022-12-28 2022-12-28 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 Pending CN116188763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211695904.1A CN116188763A (zh) 2022-12-28 2022-12-28 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211695904.1A CN116188763A (zh) 2022-12-28 2022-12-28 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法

Publications (1)

Publication Number Publication Date
CN116188763A true CN116188763A (zh) 2023-05-30

Family

ID=86449940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211695904.1A Pending CN116188763A (zh) 2022-12-28 2022-12-28 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法

Country Status (1)

Country Link
CN (1) CN116188763A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670875A (zh) * 2024-01-31 2024-03-08 深圳市恒星包装机械有限公司 一种罐装封尾过程中视觉检测方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670875A (zh) * 2024-01-31 2024-03-08 深圳市恒星包装机械有限公司 一种罐装封尾过程中视觉检测方法及***
CN117670875B (zh) * 2024-01-31 2024-04-02 深圳市恒星包装机械有限公司 一种罐装封尾过程中视觉检测方法及***

Similar Documents

Publication Publication Date Title
US11958197B2 (en) Visual navigation inspection and obstacle avoidance method for line inspection robot
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
US20150371391A1 (en) 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
CN109145803B (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
JP6912215B2 (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN112733914B (zh) 一种基于支持向量机的水下目标视觉识别分类方法
CN112560704B (zh) 一种多特征融合的视觉识别方法及***
US20120087539A1 (en) Method of detecting feature points of an object in a system for motion detection
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN113688846A (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别***
CN116188763A (zh) 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法
Li et al. Deep-trained illumination-robust precision positioning for real-time manipulation of embedded objects
CN110942092A (zh) 一种图形图像识别方法及识别***
CN111127556A (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
CN114842335B (zh) 用于建筑机器人的开槽目标识别方法及***
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN109410272A (zh) 一种变压器螺母识别与定位装置及方法
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法
CN115880220A (zh) 多视角苹果成熟度检测方法
CN111583341B (zh) 云台像机移位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination