CN110068270A - 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 - Google Patents

一种基于多线结构光图像识别的单目视觉箱体体积测量方法 Download PDF

Info

Publication number
CN110068270A
CN110068270A CN201910312179.7A CN201910312179A CN110068270A CN 110068270 A CN110068270 A CN 110068270A CN 201910312179 A CN201910312179 A CN 201910312179A CN 110068270 A CN110068270 A CN 110068270A
Authority
CN
China
Prior art keywords
cabinet
line
structured light
coordinate
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910312179.7A
Other languages
English (en)
Other versions
CN110068270B (zh
Inventor
袁三华
郑和生
彭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tuojin Intelligent Technology Co Ltd
Original Assignee
Shanghai Tuojin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tuojin Intelligent Technology Co Ltd filed Critical Shanghai Tuojin Intelligent Technology Co Ltd
Priority to CN201910312179.7A priority Critical patent/CN110068270B/zh
Publication of CN110068270A publication Critical patent/CN110068270A/zh
Application granted granted Critical
Publication of CN110068270B publication Critical patent/CN110068270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于多线结构光图像识别的单目视觉箱体体积测量方法,包括如下操作步骤:1)相机标定和多线激光平面参数获取。2)二维坐标映射到三维空间坐标的计算。3)用深度学***行线和十字交叉型结构光进行测量,得到规则箱体的体积。本发明通过向测量箱体平面投射多线结构光(井字形,十字形,平行线形),经过图像处理检测线结构光与箱子边缘的交点,根据结构光三角测量理论将点从二维坐标系换算到三维坐标系下计算规则箱体长度、宽度和高度,进而计算其体积。本方法算法复杂度低,能很好地应用于PC端和移动端设备,能实时在线测量,满足便携性要求。

Description

一种基于多线结构光图像识别的单目视觉箱体体积测量方法
技术领域
本发明属于一种箱体体积测量的方法,具体涉及一种基于多线结构光图像识别的单目视觉箱体体积测量方法。
背景技术
箱体体积测量主要应用于物流、电商、仓库存储、航空货栈等领域,提供计算运费、货物摆放、箱体推荐等各种服务。其应用场景较为复杂,所以如何在复杂的环境下快速、准确、高效地测量出箱体的体积是这些行业急需解决的问题,此外如何在良好性能基础上发展便携式的体积测量仪也是这些行业的迫切需求。目前的已有多种的测量方式:人工检测,手动通过尺子测量,不仅效率低而且容易出现错误;光栅测量法,设备自动测量,测量精度高,但是需要人力将箱体搬到固定位置,对高于1米的箱体测量非常困难,耗费人力且仪器成本高;基于双目立体视觉的体积测量法,算法复杂度高,立体匹配困难,测量大尺寸箱体精度低,不适用于物流等复杂的测量场景。
发明内容
本发明鉴于物流运输、电商、超市等行业测量箱体体积的需求,提出一种基于多线结构光图像识别的单目视觉箱体体积测量方法,在保证对大尺寸箱体体积的高精度测量前提下,实现实用性强的在线便携式箱体体积测量方式。本发明通过向测量箱体表面投射多线结构光(井字形,十字形,平行线形),如图1所示,然后通过深度学习算法检测线结构光与箱体边缘的交点,最后根据结构光三角测量理论将点换算到三维坐标系下计算长度和宽度,重复拍摄箱体的一个相邻面,计算出箱体的高度,进而计算出体积。该测量方法有非接触、速度快、大量程、稳定性好、算法复杂度低等诸多优点。
为达到上述目的,本发明的构思是:
首先拍摄多张带有多线结构光的标定板图片,使用张正友标定法标定出相机的内参、外参、畸变系数,对拍摄的标定板图片进行畸变校正。然后取一张图片,提取其激光线中心点,用最小二乘法将二维图片上的激光线中心点进行直线拟合。再在多张图片的同一激光线上等间距取多个点,构成激光平面的点集,用最小二乘法进行平面拟合。测量过程中,首先采集箱体的两个相邻面,对采集到的含有多线结构光的箱体图片进行预处理,得到激光与箱体边缘相交的特征点的像素坐标。根据相机的内外参数、畸变系数和激光平面方程将特征点的坐标换算到相机坐标系下的三维坐标,最后计算得到箱体的长度、宽度和高度。
根据以上发明思路,本发明具体的技术方案如下:
一种基于多线结构光图像识别的单目视觉箱体体积测量方法,将二维图像上多线结构光与箱体边缘的交点换算到三维坐标下,计算其长度,进而计算其体积,具体操作步骤如下:
1)相机标定和多线激光平面参数获取:井字形结构光、双平行线结构光和十字交叉型结构光的标定方法,拍摄多张标定板图片,使用张正友标定法得到该***中相机的内参矩阵K,相机的畸变系数k1,k2,k3,对拍摄的标定板图片进行畸变校正;拍摄多张分别带有井字形结构光、双平行线结构光和十字交叉型结构光的标定板图片,通过图像处理获得激光光条中心的坐标,根据相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标,最后使用最小二乘法进行平面拟合,得到多线结构光平面方程;
2)二维坐标映射到三维空间坐标的计算:利用相机的内参数矩阵K和线结构光平面方程,将图片上的线结构光与箱体边缘的交点坐标由像素坐标系换算到相机坐标;
3)使用深度学习方法进行箱体边缘检测和激光中心线提取:通过加入拍摄的含有带激光线和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,然后在二值化图像上进行霍夫变换,找到全部的直线,之后进行直线聚类和端点检测;
4)箱体体积测量:用井字形结构光测量箱体的第一个箱体面得到箱体长度和宽度,之后使用双平行线结构光测量相邻面得到箱体高度;对于细长箱体,使用十字结构光对箱体进行测量,得到箱体的长度和宽度;得到多线结构光与箱体边缘的交点坐标后,根据结构光三角测量理论将点换算到三维坐标系下计算长度和宽度,进而计算其体积。
所述步骤1)中,采用改进的张正友相机标定方法标定相机,利用摄像机拍摄分别带有井字形结构光、双平行线结构光和十字交叉型结构光的不同角度、深度的图像,获取相机的内参外参和畸变系数,以此来获取世界坐标系与相机坐标系,相机坐标系和像素坐标系之间的关系,对图片进行畸变校正;通过图像处理提取图中标定靶上激光光条中心的像素坐标系中各点的坐标,根据相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标系下的坐标,分别进行平面拟合,得到多线结构光平面方程。
所述步骤2)中,以二维图像中激光线上一点P为例,假设P点为激光平面1和箱体的交线上的一点,P点在像素坐标系中坐标设为(up,vp),P在相机坐标系下的坐标设为PC(Xpc,Ypc,Zpc),依据相机成像原理和P点在激光平面1上得到如下关系:
其中,K为相机的内参数矩阵,A1、B1、C1为线结构光平面方程的参数;因此,根据解方程组,得到P点在相机坐标系下的坐标PC(Xpc,Ypc,Zpc)。
所述步骤3)中,分别拍摄带有井字形结构光、双平行线结构光和十字交叉型结构光和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,在箱体图像的二值化图像上进行霍夫变换,找到全部的直线,求出其极坐标系下的坐标,设为(ρii),设定阈值,将在阈值范围内的直线归为一类,因此得到在像素坐标系下此直线的方程:
y=k1*x+b1
其中k1为求得的直线斜率、b1为求得的直线截距;找到线结构光与箱体边缘相交的交点,得到箱体测量特征点的坐标。
所述步骤4)中,针对不同类型的箱子采用多种方式对箱子的长度、宽度和高度进行测量:
方式1:井字形结构光测箱体的长和宽:获得直线D1D3和直线D2D4在空间中的最短距离Dis-length,即为箱体的长度(D1、D2、D3、D4为井字形结构光其中一组平行结构光与箱体边缘的四个交点):
Dis-length=f(D1D3,D2D4)
得到直线D5D7和直线D6D8在空间中的最短距离Dis-width,即为箱体的宽度(D5、D6、D7、D8为井字形结构光另外一组平行结构光与箱体边缘的四个交点):
Dis-width=f(D5D7,D6D8)
方式2:双平行线结构光测量相邻的面的长度作为高,得到箱体的高度Dis-height(D1、D2、D3、D4为双平行线结构光与箱体边缘的四个交点):
Dis-height=f(D1D2,D3D4)
方式3:十字型结构光测量细长型箱体,尽量控制十字激光和箱体的边缘平行,此时(X1、Y1、Z1、X2、Y2、Z2、X3、Y3、Z3、X4、Y4、Z4分别是十字交叉型结构光与箱体边缘相交的特征点坐标):
Dis-length=((X1-X2)2+(Y1-Y2)2)+(Z1-Z2)2)1/2
Dis-width=((X3-X4)2+(Y3-Y4)2)+(Z3-Z4)2)1/2
最后通过箱体的体积计算公式得到箱体的体积为V:
V=(Dis-length)*(Dis-width)*(Dis-height)
与现有技术相比,本发明具有如下的优点:
本发明方法复杂度低,能很好的使用于PC端和移动端设备,能实时在线测量,满足便携性要求,并且采用多种线结构光测量方式满足了对各种箱体的测量的需求。
附图说明
图1是井字形结构光、双平行结构光和十字结构光示意图。
图2是规则箱体测量***流程框图。
图3是规则箱体测量***模型结构图。
图4是标定板及带有多线结构光的标定板示意图。
图5是箱体测量的原始图。
图6是经过深度学习方法处理后的边缘概率图。
图7是深度学习方法进行箱体边缘检测和激光中心线提取的流程图。
图8是箱体边缘检测和激光中心线提取的最终效果图。
图9是井字形线结构光测量示意图。
图10是双平行结构光测量示意图。
图11是十字交叉型结构光测量示意图。
具体实施方式
本发明的优选实施例结合附图详述如下:
本发明方法整个过程的流程图如图2所示,该***模型结构图如图3所示。一种基于多线结构光图像识别的单目视觉箱体体积测量方法,具体操作步骤如下:
1)相机标定和多线激光平面参数获取:
首先采用改进的张正友相机标定方法标定相机,获取相机的几何参数。由相机的几何参数可知世界坐标系与相机坐标系,相机坐标系和像素坐标系之间的关系。本发明使用标定板如图4所示,利用摄像机拍摄分别带有井字形结构光、双平行线结构光和十字交叉型结构光的不同角度、深度的图像。这种标定方式避免使用昂贵的标定物以及高精度的移动平台,并且标定精度高。经过相机标定得到内参数矩阵为K。依据相机成像透射变换理论得到像素坐标系下和在相机坐标系有如下关系((u,v)表示像素坐标系下的坐标,(Xc,Yc,Zc)表示相机坐标系下的坐标):
在相机成像模型中,世界坐标系是客观世界三维世界的绝对系坐标,通过世界坐标系可以来描述相机的位置,用(Xw,Yw,Zw)来表示。相机坐标系与世界坐标系有如下关系(R、T为相机外参):
理想情况下,空间中某点的三维几何信息与图像中的对应点之间的成像模型是线性的,是由以上相机成像模型所决定。但是,实际中由于相机的构造以及制造安装工艺等各方面的因素,会导致相机产生畸变。本发明中只考虑图像的径向畸变。径向畸变是由透镜形状引起的畸变,图像中越靠近边缘的部分畸变越明显。这类畸变可以用以下多项式函数来进行纠正(对于归一化平面上的点):
其中,x、y是未纠正的点的坐标,xrct、yrct是纠正后的点的坐标,r为距透镜中心距离,k1、k2、k3为相机的畸变系数。
根据相机内部参数矩阵K和不同位姿下靶标的外部参数矩阵R、T,由世界坐标系下的坐标获取靶标角点在摄像机坐标系下坐标,然后进行最小二乘法的平面拟合,得到靶平面的平面方程(A、B、C为靶平面平面方程参数,x、y、z为摄像机坐标系下的坐标)。
A*x+B*y+C*z=1 (4)
通过图像处理提取标定靶上激光光条中心在像素坐标系下各点的坐标,设为(ui,vi),经过相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标系下的坐标,设为(XCi,YCi,ZCi)。取不同位姿下的N(N=10)张线结构光标定的图,将对应线结构光的点放在一个点集中,分别使用最小二乘法进行平面拟合,得到多线结构光平面方程(An、Bn、Cn为多线结构光其中一个结构光的平面方程参数)。
因此,以井字形激光为例,此步骤会得到该***中相机的内参矩阵K,相机的畸变系数k1,k2,k3,和四个激光平面的光平面方程参数A1,B1,C1,A2,B2,C2,A3,B3,C3,A4,B4,C4
2)二维坐标映射到三维空间坐标的计算:
根据步骤1)中得到***中相机的内参、畸变系数和激光平面的光平面方程,在这里说明像素坐标系和相机坐标系之间的转化关系。以二维图像中激光线上一点P为例,假设P点为激光平面1和箱体的交线上的一点,P点在像素坐标系中坐标为(up,vp),假设P在相机坐标系下的坐标为PC(Xpc,Ypc,Zpc)。依据相机成像原理和P点在激光平面1上可以得到如下关系:
其中,K为相机的内参数矩阵,A1、B1、C1为线结构光平面方程的参数。因此,解方程组(6)可以得到P点在相机坐标系下的坐标PC(Xpc,Ypc,Zpc)。
3)使用深度学习方法进行箱体边缘检测和激光中心线提取:
深度学习方法相对于传统方式有更强的提取图像中多层次多尺度特征的能力,在图像分类、图像的语义识别和图像分割上都具有出色的表现。深度学习方法能有效地抑制图像中的背景区域突出边缘特征。本发明通过加入拍摄的含有带激光线和箱体的数据集对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域。拍摄的原始图如图5所示,经过深度学习方法处理后的边缘概率图如图6所示。
本发明最后对图像的边缘概率图进行二值化操作。在箱体图像的二值化图像上进行霍夫变换,找到全部的直线。求出其极坐标系下的坐标,设为(ρii),设定阈值,将在阈值范围内的直线归为一类,因此可以得到在像素坐标系下此直线的方程:
y=k1*x+b1 (7)
以井字形激光为例,同理可以求得其他7条边缘线在像素坐标系下的直线方程。根据两直线相交,最终可以分别得到8个特征点的坐标:(u1,v1),(u2,v2),(u3,v3),(u4,v4),(u5,v5),(u6,v6),(u7,v7),(u8,v8)。
该操作具体流程图如图7所示,最终的效果图如图8所示。本发明中此步骤完成了对箱体边缘和激光线相交的特征点的定位。
4)箱体体积测量部分:
针对不同类型的箱体本发明中采用多种方式对箱体的长度、宽度和高度进行测量:
方式1:在测量箱体的第一个箱体面时,投射线激光如图9所示,由步骤1),2),3),4)可以得到D1,D2,D3,D4,D5,D6,D7,D8摄像机坐标系下的坐标为:(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),(X5,Y5,Z5),(X6,Y6,Z6),(X7,Y7,Z7),(X8,Y8,Z8),此时,可以得到直线D1D3和D2D4的直线方程分别为:
因此可以求得直线D1D3和直线D2D4在空间中的最短距离Dis-length,即为箱体的长度:
Dis-length=f(D1D3,D2D4) (9)
同理可以得到直线D5D7和直线D6D8在空间中的最短距离Dis-width,即为箱体的宽度:
Dis-width=f(D5D7,D6D8) (10)
方式2:在测量箱体的第二个面时,一般会选取与第一个测量面相邻的面为第二个测量面,在操作中除了可以采用与方式1中相同的线结构光方式拍摄,还可以采用如图10所示中的平行双线结构光的方式拍摄,此时可以求得箱体的高度Dis-height:
Dis-height=f(D1D2,D3D4) (11)
方式3:在测量的过程中如遇到一些细长型的箱体,此时方式1,方式2无法正常工作,此时采取如图11所示的十字交叉型线结构光进行箱体的长度测量,在操作过程中,尽量控制十字激光和箱体的边缘平行,这样操作,测量结果会更精确,此时:
Dis-length=((X1-X2)2+(Y1-Y2)2)+(Z1-Z2)2)1/2
Dis-width=((X3-X4)2+(Y3-Y4)2)+(Z3-Z4)2)1/2 (12)
最后通过箱体的体积计算公式得到箱体的体积为V:
V=(Dis-length)*(Dis-width)*(Dis-height) (13)
实施例一:
以井字形结构光规则箱体第一个面,双平行结构光测量相邻面的测量过程为例,进行了实际的测量实验。由激光器投出去的结构光投射到规则箱体表面,形成直线光条。由于规则箱体表面图案、周围复杂背景以及光照条件的影响,由摄像机拍摄出的结构光光条图案,其表现为非完整光条,且光条中心高亮部分呈白色,边缘部分呈红色。图5为本发明井字形和双平行结构光对箱体的测量示意图,图像的分辨率为2592×1944像素。根据本发明提出的基于多线结构光的单目视觉箱体体积测量方法,对箱体体积进行测量,采用c++和java编程实现。图8为图5所示的图像所得的测量结果,提取的激光光条参数如表1所示,测量结果如表2所示。从实验结果可以看出,本发明完成了对箱体体积的精确测量,使测量误差在10mm以内,能很好的使用于PC端和移动端设备,能实时在线测量,满足便携性要求。
表1井字形和双平行线激光光条检测结果
端点1 端点2 斜率 截距
线段1 (754,138) (1827,1250) 1.03564 -642.039
线段2 (429,458) (1527,1588) 1.02985 16.349
线段3 (1513,519) (543,1482) -0.993253 2021.97
线段4 (1855,835) (867,1785) -0.961475 2619.39
线段5 (1415,602) (2013,1197) 0.994476 -804.419
线段6 (1069,948) (1701,1555) 0.96032 -77.9783
表2规则箱体测量结果及误差分析
测量值/mm 实际值/mm 误差/mm
长/mm 546.3 541.1 5.2
宽/mm 470.6 468.3 2.3
高/mm 219.1 213.5 5.6
实施例二:
在测量的过程中如遇到一些细长型的箱体,此时方式1,方式2无法正常工作,此时采取十字交叉型线结构光进行箱体的长度测量。由激光器投出去的十字结构光投射到规则箱体表面,形成直线光条。在操作过程中,尽量控制十字激光和箱体的边缘平行,拍摄所得的测量图片如图5所示,图片分辨率为2592×1944像素。根据本发明提出的基于多线结构光的单目视觉箱体体积测量方法中的测量方式三对细长箱体进行了测量,采用c++和java编程实现。
表3十字交叉形激光光条检测结果
端点1 端点2 斜率 截距
线段1 (1103,996) (1707,1574) 0.956954 -59.5199
线段2 (2477,411) (1219,1788) -1.09459 3122.31
表4规则箱体测量结果及误差分析
测量值/mm 实际值/mm 误差/mm
长/mm 547.0 541.1 5.9
宽/mm 216.8 213.5 3.3
图8为图5所示的图像所得的测量结果,提取的激光光条参数如表3所示,测量结果如表4所示。从实验结果可以看出,本发明提出的用十字交叉型线结构光对细长箱体进行测量的方法能够对大尺寸规则箱体进行精确测量,同现有的人工检测、光栅测量法、基于双目立体视觉的体积测量法相比,有大量程、精度高、非接触、速度快、算法复杂度低等诸多优点,为物流等行业制造便携式设备奠定了基础。

Claims (5)

1.一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,将二维图像上多线结构光与箱体边缘的交点换算到三维坐标下,计算其长度,进而计算其体积,具体操作步骤如下:
1)相机标定和多线激光平面参数获取:井字形结构光、双平行线结构光和十字交叉型结构光的标定方法,拍摄多张标定板图片,使用张正友标定法得到该***中相机的内参矩阵K,相机的畸变系数k1,k2,k3,对拍摄的标定板图片进行畸变校正;拍摄多张分别带有井字形结构光、双平行线结构光和十字交叉型结构光的标定板图片,通过图像处理获得激光光条中心的坐标,根据相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标,最后使用最小二乘法进行平面拟合,得到多线结构光平面方程;
2)二维坐标映射到三维空间坐标的计算:利用相机的内参数矩阵K和线结构光平面方程,将图片上的线结构光与箱体边缘的交点坐标由像素坐标系换算到相机坐标系;
3)使用深度学习方法进行箱体边缘检测和激光中心线提取:通过加入拍摄的含有带激光线和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,然后在二值化图像上进行霍夫变换,找到全部的直线,之后进行直线聚类和端点检测;
4)箱体体积测量:用井字形结构光测量箱体的第一个箱体面得到箱体长度和宽度,之后使用双平行线结构光测量相邻面得到箱体高度;对于细长箱体,使用十字结构光对箱体进行测量,得到箱体的长度和宽度;得到多线结构光与箱体边缘的交点坐标后,根据结构光三角测量理论将点换算到三维坐标系下计算长度和宽度,进而计算其体积。
2.根据权利要求1所述的一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,所述步骤1)中,采用改进的张正友相机标定方法标定相机,利用摄像机拍摄分别带有井字形结构光、双平行线结构光和十字交叉型结构光的不同角度、深度的图像,获取相机的内参外参和畸变系数,以此来获取世界坐标系与相机坐标系,相机坐标系和像素坐标系之间的关系,对图片进行畸变校正;通过图像处理提取图中标定靶上激光光条中心的像素坐标系中各点的坐标,根据相机参数和靶平面平面方程计算得到激光光条中心各点对应的相机坐标系下的坐标,分别进行平面拟合,得到多线结构光平面方程。
3.根据权利要求1所述的一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,所述步骤2)中,以二维图像中激光线上一点P为例,假设P点为激光平面1和箱体的交线上的一点,P点在像素坐标系中坐标设为(up,vp),P在相机坐标系下的坐标设为PC(Xpc,Ypc,Zpc),依据相机成像原理和P点在激光平面1上得到如下关系:
其中,K为相机的内参数矩阵,A1、B1、C1为线结构光平面方程的参数;因此,根据解方程组,得到P点在相机坐标系下的坐标PC(Xpc,Ypc,Zpc)。
4.根据权利要求1所述的一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,所述步骤3)中,分别拍摄带有井字形结构光、双平行线结构光和十字交叉型结构光和箱体的数据集,对深度学习方法的卷积层和池化层数进行训练,最后优化输出边缘概率图,得到含有箱体边缘和激光线的显著性边缘区域;对图像的边缘概率图进行二值化操作,在箱体图像的二值化图像上进行霍夫变换,找到全部的直线,求出其极坐标系下的坐标,设为(ρii),设定阈值,将在阈值范围内的直线归为一类,因此得到在像素坐标系下此直线的方程:
y=k1*x+b1 (2)
其中k1为求得的直线斜率、b1为求得的直线截距;找到线结构光与箱体边缘相交的交点,得到箱体测量特征点的坐标。
5.根据权利要求1所述的一种基于多线结构光图像识别的单目视觉箱体体积测量方法,其特征在于,所述步骤4)中,针对不同类型的箱子采用多种方式对箱子的长度、宽度和高度进行测量:
方式1:井字形结构光测箱体的长度和宽度:获得直线D1D3和直线D2D4在空间中的最短距离Dis-length,即为箱体的长度,其中D1、D2、D3、D4为井字形结构光其中一组平行结构光与箱体边缘的四个交点:
Dis-length=f(D1D3,D2D4) (3)
得到直线D5D7和直线D6D8在空间中的最短距离Dis-width,即为箱体的宽度,其中D5、D6、D7、D8为井字形结构光另外一组平行结构光与箱体边缘的四个交点:
Dis-width=f(D5D7,D6D8) (4)
方式2:双平行线结构光测量相邻的面的长度作为高,得到箱体的高度Dis-height,D1、D2、D3、D4为双平行线结构光与箱体边缘的四个交点:
Dis-height=f(D1D2,D3D4) (5)
方式3:十字型结构光测量细长型箱体,尽量控制十字激光和箱体的边缘平行,此时,X1、Y1、Z1、X2、Y2、Z2、X3、Y3、Z3、X4、Y4、Z4分别是十字交叉型结构光与箱体边缘相交的特征点坐标:
最后通过箱体的体积计算公式得到箱体的体积为V:
V=(Dis-length)*(Dis-width)*(Dis-height) (7)。
CN201910312179.7A 2019-04-18 2019-04-18 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 Active CN110068270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910312179.7A CN110068270B (zh) 2019-04-18 2019-04-18 一种基于多线结构光图像识别的单目视觉箱体体积测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910312179.7A CN110068270B (zh) 2019-04-18 2019-04-18 一种基于多线结构光图像识别的单目视觉箱体体积测量方法

Publications (2)

Publication Number Publication Date
CN110068270A true CN110068270A (zh) 2019-07-30
CN110068270B CN110068270B (zh) 2021-04-02

Family

ID=67368022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910312179.7A Active CN110068270B (zh) 2019-04-18 2019-04-18 一种基于多线结构光图像识别的单目视觉箱体体积测量方法

Country Status (1)

Country Link
CN (1) CN110068270B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402330A (zh) * 2020-04-03 2020-07-10 山东省科学院激光研究所 一种基于平面靶标的激光线关键点提取方法
CN111426280A (zh) * 2020-05-08 2020-07-17 中国科学技术大学 基于结构光的二维dic光学引伸计离面补偿装置及方法
CN111598939A (zh) * 2020-05-22 2020-08-28 中原工学院 一种基于多目视觉***的人体围度测量方法
CN111610173A (zh) * 2020-05-27 2020-09-01 中国水利水电科学研究院 三维流体浓度场标定装置及标定方法
CN111932494A (zh) * 2020-07-01 2020-11-13 湖南省鹰眼在线电子科技有限公司 一种轮胎磨损程度评价方法及装置
CN112781470A (zh) * 2020-12-24 2021-05-11 中广核核电运营有限公司 U型槽多维度间隙测量方法及***
CN112964185A (zh) * 2021-01-20 2021-06-15 广西电网有限责任公司电力科学研究院 基于双目立体视觉的输电线路交叉跨越点在线监测***
CN113048949A (zh) * 2021-03-05 2021-06-29 广东工业大学 一种基于线结构光学视觉的圆柱状物***姿检测装置及方法
CN113137920A (zh) * 2021-05-19 2021-07-20 重庆大学 一种水下测量的设备与水下测量方法
CN113222986A (zh) * 2021-06-04 2021-08-06 中冶宝钢技术服务有限公司 连铸坯角点及边缘轮廓点集定位方法、***、介质及装置
CN113256738A (zh) * 2021-06-23 2021-08-13 苏州大学 一种基于双目的包裹体积测量方法
CN113358052A (zh) * 2021-04-09 2021-09-07 宿迁学院 一种快递尺寸测量装置及方法
CN113610929A (zh) * 2021-08-09 2021-11-05 西安外事学院 一种相机与多线激光的联合标定方法
CN114022569A (zh) * 2021-11-18 2022-02-08 湖北中烟工业有限责任公司 一种基于视觉测量箱体方正度的方法及装置
CN114111576A (zh) * 2021-11-24 2022-03-01 易思维(杭州)科技有限公司 一种飞机蒙皮间隙面差检测方法及传感器
CN114170293A (zh) * 2021-11-17 2022-03-11 华南农业大学 一种基于多属性标准标签的快递箱体积测量方法
CN114234808A (zh) * 2021-12-17 2022-03-25 湖南大学 回转类磁脉冲压接件变形区域的尺寸测量方法及装置
WO2024069513A1 (en) * 2022-09-30 2024-04-04 Salvagnini Italia S.P.A. Machine and method for working and/or moving metal plates or sheets comprising edge recognition means

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2570489A1 (fr) * 1984-09-17 1986-03-21 Tech Nles Ste Gle Procede et dispositif pour le controle des volumes de verre apres decoupe
JP2006131168A (ja) * 2004-11-09 2006-05-25 Mitsubishi Heavy Ind Ltd 磨耗量計測装置
CN101571373A (zh) * 2009-06-11 2009-11-04 天津大学 基于多线结构光视觉传感器的型钢几何参数测量方法
CN107578464A (zh) * 2017-06-30 2018-01-12 长沙湘计海盾科技有限公司 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN107655536A (zh) * 2017-10-24 2018-02-02 浙江华睿科技有限公司 一种物体体积测量***及方法
CN108180825A (zh) * 2016-12-08 2018-06-19 中国科学院沈阳自动化研究所 一种基于线结构光的长方体形物体三维识别与定位方法
CN109000559A (zh) * 2018-06-11 2018-12-14 广东工业大学 一种物体体积的测量方法、装置、***和可读存储介质
CN109029618A (zh) * 2018-07-11 2018-12-18 苏州科技大学 单目视觉包装箱体积测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2570489A1 (fr) * 1984-09-17 1986-03-21 Tech Nles Ste Gle Procede et dispositif pour le controle des volumes de verre apres decoupe
JP2006131168A (ja) * 2004-11-09 2006-05-25 Mitsubishi Heavy Ind Ltd 磨耗量計測装置
CN101571373A (zh) * 2009-06-11 2009-11-04 天津大学 基于多线结构光视觉传感器的型钢几何参数测量方法
CN108180825A (zh) * 2016-12-08 2018-06-19 中国科学院沈阳自动化研究所 一种基于线结构光的长方体形物体三维识别与定位方法
CN107578464A (zh) * 2017-06-30 2018-01-12 长沙湘计海盾科技有限公司 一种基于线激光扫描的传送带工件三维轮廓测量方法
CN107655536A (zh) * 2017-10-24 2018-02-02 浙江华睿科技有限公司 一种物体体积测量***及方法
CN109000559A (zh) * 2018-06-11 2018-12-14 广东工业大学 一种物体体积的测量方法、装置、***和可读存储介质
CN109029618A (zh) * 2018-07-11 2018-12-18 苏州科技大学 单目视觉包装箱体积测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张森等: "圆形煤场煤堆体积快速测量方法", 《中国计量大学学报》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402330A (zh) * 2020-04-03 2020-07-10 山东省科学院激光研究所 一种基于平面靶标的激光线关键点提取方法
CN111402330B (zh) * 2020-04-03 2024-02-27 山东省科学院激光研究所 一种基于平面靶标的激光线关键点提取方法
CN111426280A (zh) * 2020-05-08 2020-07-17 中国科学技术大学 基于结构光的二维dic光学引伸计离面补偿装置及方法
CN111598939A (zh) * 2020-05-22 2020-08-28 中原工学院 一种基于多目视觉***的人体围度测量方法
CN111598939B (zh) * 2020-05-22 2021-01-26 中原工学院 一种基于多目视觉***的人体围度测量方法
CN111610173A (zh) * 2020-05-27 2020-09-01 中国水利水电科学研究院 三维流体浓度场标定装置及标定方法
CN111932494B (zh) * 2020-07-01 2022-06-17 湖南省鹰眼在线电子科技有限公司 一种轮胎磨损程度评价方法及装置
CN111932494A (zh) * 2020-07-01 2020-11-13 湖南省鹰眼在线电子科技有限公司 一种轮胎磨损程度评价方法及装置
CN112781470A (zh) * 2020-12-24 2021-05-11 中广核核电运营有限公司 U型槽多维度间隙测量方法及***
CN112964185A (zh) * 2021-01-20 2021-06-15 广西电网有限责任公司电力科学研究院 基于双目立体视觉的输电线路交叉跨越点在线监测***
CN113048949A (zh) * 2021-03-05 2021-06-29 广东工业大学 一种基于线结构光学视觉的圆柱状物***姿检测装置及方法
CN113358052A (zh) * 2021-04-09 2021-09-07 宿迁学院 一种快递尺寸测量装置及方法
CN113137920A (zh) * 2021-05-19 2021-07-20 重庆大学 一种水下测量的设备与水下测量方法
CN113137920B (zh) * 2021-05-19 2022-09-23 重庆大学 一种水下测量的设备与水下测量方法
CN113222986A (zh) * 2021-06-04 2021-08-06 中冶宝钢技术服务有限公司 连铸坯角点及边缘轮廓点集定位方法、***、介质及装置
CN113222986B (zh) * 2021-06-04 2022-08-09 中冶宝钢技术服务有限公司 连铸坯角点及边缘轮廓点集定位方法、***、介质及装置
CN113256738A (zh) * 2021-06-23 2021-08-13 苏州大学 一种基于双目的包裹体积测量方法
CN113256738B (zh) * 2021-06-23 2023-01-17 苏州大学 一种基于双目的包裹体积测量方法
CN113610929A (zh) * 2021-08-09 2021-11-05 西安外事学院 一种相机与多线激光的联合标定方法
CN113610929B (zh) * 2021-08-09 2023-08-18 西安外事学院 一种相机与多线激光的联合标定方法
CN114170293B (zh) * 2021-11-17 2024-05-28 华南农业大学 一种基于多属性标准标签的快递箱体积测量方法
CN114170293A (zh) * 2021-11-17 2022-03-11 华南农业大学 一种基于多属性标准标签的快递箱体积测量方法
CN114022569A (zh) * 2021-11-18 2022-02-08 湖北中烟工业有限责任公司 一种基于视觉测量箱体方正度的方法及装置
CN114022569B (zh) * 2021-11-18 2024-06-07 湖北中烟工业有限责任公司 一种基于视觉测量箱体方正度的方法及装置
CN114111576A (zh) * 2021-11-24 2022-03-01 易思维(杭州)科技有限公司 一种飞机蒙皮间隙面差检测方法及传感器
CN114234808B (zh) * 2021-12-17 2022-10-28 湖南大学 回转类磁脉冲压接件变形区域的尺寸测量方法及装置
CN114234808A (zh) * 2021-12-17 2022-03-25 湖南大学 回转类磁脉冲压接件变形区域的尺寸测量方法及装置
WO2024069513A1 (en) * 2022-09-30 2024-04-04 Salvagnini Italia S.P.A. Machine and method for working and/or moving metal plates or sheets comprising edge recognition means

Also Published As

Publication number Publication date
CN110068270B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110068270A (zh) 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN110506297B (zh) 高精确度校准***和方法
CN110118528B (zh) 一种基于棋盘靶标的线结构光标定方法
CN110956660B (zh) 定位方法、机器人以及计算机存储介质
CN106599897B (zh) 基于机器视觉的指针式仪表读数识别方法及装置
CN104376558B (zh) 一种基于长方体的Kinect深度相机的内参标定方法
CN104266608B (zh) 视觉传感器现场标定装置和标定方法
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
CN108305286B (zh) 基于颜色编码的多目立体视觉脚型三维测量方法、***和介质
CN103411553A (zh) 多线结构光视觉传感器的快速标定方法
CN108734744A (zh) 一种基于全站仪的远距离大视场双目标定方法
CN103438826B (zh) 激光与视觉相结合的钢板的三维测量***及方法
CN107025663A (zh) 视觉***中用于3d点云匹配的杂波评分***及方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN110163918A (zh) 一种基于射影几何的线结构光标定方法
CN104766309A (zh) 一种平面特征点导航定位方法与装置
CN109448043A (zh) 平面约束下的立木高度提取方法
CN104036542A (zh) 一种基于空间光线聚集性的像面特征点匹配方法
CN110930382A (zh) 基于标定板特征点提取的点云拼接精度评估方法及***
EP3706076A1 (en) Method and device to determine the dimensions and distance of a number of objects in an environment
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN109255818A (zh) 一种新型标靶及其亚像素级角点的提取方法
CN111829439B (zh) 一种高精度平移测量方法及装置
CN103198481A (zh) 一种摄像机标定方法及其实现***
CN101561269B (zh) 近景摄影测量的特征线自动匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant