CN113219903B - 一种基于深度视觉的钢坯最优剪切控制方法及装置 - Google Patents
一种基于深度视觉的钢坯最优剪切控制方法及装置 Download PDFInfo
- Publication number
- CN113219903B CN113219903B CN202110497213.XA CN202110497213A CN113219903B CN 113219903 B CN113219903 B CN 113219903B CN 202110497213 A CN202110497213 A CN 202110497213A CN 113219903 B CN113219903 B CN 113219903B
- Authority
- CN
- China
- Prior art keywords
- billet
- plane
- point
- points
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010008 shearing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 40
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 41
- 239000010959 steel Substances 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 238000009749 continuous casting Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000009628 steelmaking Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
- G05B19/4086—Coordinate conversions; Other special calculations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23D—PLANING; SLOTTING; SHEARING; BROACHING; SAWING; FILING; SCRAPING; LIKE OPERATIONS FOR WORKING METAL BY REMOVING MATERIAL, NOT OTHERWISE PROVIDED FOR
- B23D31/00—Shearing machines or shearing devices covered by none or more than one of the groups B23D15/00 - B23D29/00; Combinations of shearing machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35356—Data handling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
- Y02P70/10—Greenhouse gas [GHG] capture, material saving, heat recovery or other energy efficient measures, e.g. motor control, characterised by manufacturing processes, e.g. for rolling metal or metal working
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度视觉的钢坯最优剪切控制方法及***。本发明包括将深度相机设置好,设定世界坐标系;标定深度相机的参数;采集钢坯的RGB和深度视图;通过针孔相机模型,得到每个像素点的三维坐标,然后通过直通滤波和离群点去除进行预处理;使用随机采样一致性算法拟合出钢坯上表面的平面,然后将平面投影到2D平面,再采用中心扩展法计算出最优剪切线;根据钢坯的移动速度与待剪切位置头部坐标,获得头部和剪切刀口的距离,计算出控制剪切头剪切的时刻。本发明利用图像信息解决钢坯头尾部的剪切线检测问题,达到节约能源和材料的目的,深度相机得到的世界坐标精度高,省却了复杂的标定过程,布置简单。
Description
技术领域
本发明涉及炼钢连铸生产技术领域,尤其涉及一种基于深度视觉的钢坯最优剪切控制方法及装置。
背景技术
在炼钢连铸生产工艺中,剪切是其中一个重要环节,目的是去掉钢坯头尾部的曲边,使得钢坯呈长方体形态,以便后续的切割成定尺或倍尺长度。钢材在由液态向固态的转变过程中,受到各种内外力的作用引起形变,做到最优剪切关系到节约能源、材料,提高企业产能,具体就是解决对头尾的不规整的部分的最优剪切问题。
公告号为CN101658954A的《基于图像传感的钢坯剪切装置及其剪切方法》公开的内容使用两个CCD相机,然后利用图像处理方法提取出最优的切割线,虽然很简单快速,但是只能在钢坯厚度均匀时有效,没有使用3D信息。目前,还有利用事先标定像素对应的位置,然后边缘检测检测头尾部的位置的方法,该方法是从钢坯头部开始找到一个固定长度的切割位置,但是无法将头尾的不规则部分去掉。
发明内容
根据上述提出的技术问题,而提供一种基于深度视觉的钢坯最优剪切控制方法。本发明采用的技术手段如下:
一种基于深度视觉的钢坯最优剪切控制方法,包括如下步骤:
步骤1、将深度相机安装在成像平面与钢坯平面平行的位置,设置世界坐标系,确定好世界坐标和相机坐标的关系,使得相机坐标系中的点可以得到世界坐标;
步骤2、标定深度相机的参数:采用分步标定法求得相机的内参和外参;
步骤3、实时采集图像:使用深度相机采集钢坯的RGB和深度视图,并将二者的分辨率转换一致,使得深度和RGB的像素一一对应;
步骤4、数据预处理:通过针孔相机模型,得到每个像素点的三维坐标,然后将得到的点进行一定的预处理,所述预处理包括直通滤波和离群点去除,所述直通滤波用于滤除背景点云,所述离群点去除用于去除异常点;
步骤5、轮廓线检测:使用随机采样一致性算法拟合出钢坯上表面的平面,然后将平面投影到2D平面,再采用中心扩展法计算出最优剪切线;
步骤6、根据钢坯的移动速度与待剪切位置头部坐标,获得头部和剪切刀口的距离,计算出控制剪切头剪切的时刻。
进一步地,所述步骤4具体包括如下步骤:
步骤41、点云生成:通过如下关系式得到每个像素点的三维点坐标:
其中,f为相机焦距,X、Y、Z分别是像素点在相机坐标系中的坐标,w、h分别是图像的像素的长度和宽度,s是转换系数,用于将深度的像素值转换成标准单位,d是该像素处的深度;
步骤42、直通滤波:钢坯平面的Z坐标区间为[dmin,dmax],坐标满足条件dmin≤Z≤dmax的像素保留,超出范围的去除,同理,对X坐标和Y坐标进行同样的区间分割;
步骤43、离群点去除:先算出每个点和其他点的距离,然后选出K点进行统计,计算这K点到的所有的点的距离,假设其结果是高斯分布,若计算得出的均值为μ,方差为∑,对于任意一点,若非离群点,应该和每一点的距离一般不会超过平均距离,根据此原理,给出以下关系:
μθ=μ+k∑
其中,k是比例系数,对于非离群点,其满足距离的均值不超过阈值μθ,若满足μi≤μθ,则为非离群点,若μi>μθ,则为离群点。
进一步地,所述步骤5具体包括如下步骤:
步骤51、钢坯表面的提取:使用改进的随机采样一致性算法将钢坯的上表面拟合出来,具体地,随机选取若干个点作为内点,给定平面Ax+By+Cx+D=0,对于平面上任意三点P0、P1、P2,面上两条直线的方向向量分别为则平面P0P1P2的一法向量为由点法式方程求得A、B、C、D,然后,从点集中选取点来计算和该平面的距离,点到平面距离公式:
假设判定该点属于该平面的最大容许距离为d′,则当距离d>d′时,认为该点不属于该平面,统计在平面内的点的集合,与之前最优的集合比较点的数目,数量超过则更新点集,然后重新选取三个点继续下一轮迭代,迭代t次后停止迭代,则当前最佳集合就是最后结果;
步骤52、钢坯平面的轮廓提取:采用球旋转法将不完整的点云进行补洞从而完成表面重建,据投影公式计算出相应的像素坐标:
X、Y、Z为点的三维坐标,X′和Y′分别是投影的2D坐标,通过人工生成只包含投影的图片,图片为二值图,投影点坐标为白色,非投影点为黑色;
步骤53、采用中心扩展法计算出最优剪切线:钢坯出现在相机的视野X像素范围后确认像素中心M,钢坯宽度W,对于钢坯头部,从Y坐标的最大值开始,沿着中心向上进行逐行扫描,为了加快速度,只向两端扫描个像素,统计属于钢坯表面的点的数目N,若满足:
N≥λW
则认为此时已经到达最优剪切位置,则停止搜索,λ是比例因子,λW为最低门限值;
对于尾部的检测需要从相反方向搜索,假设钢坯表面某点坐标(X,Y),分别从0和从Y值最大方向开始遍历,对于钢坯头部和尾部的确定,假设尾部的像素Y均值为μH,图像高度为H,若则当前图像显示的是钢坯尾部,否则,为钢坯头部,因此,从两端开始往中间遍历,上部先访问到不为0的像素,则为钢坯头部,否则,为钢坯尾部;
对于一段完整的钢坯,包括头部、中间和尾部,钢坯中间部分其轮廓贯穿相机视野,因此其中心会在附近波动,选取一定的阈值δ,以区分中间部位和头尾部,定义上边第一个不为0的像素为Ytop,下边第一个像素不为0的坐标为Ybot,对于钢坯尾部的判定应满足钢坯头部应满足
进一步地,所述步骤6具体包括如下步骤:
钢坯的剪切时刻为:
其中:YS为剪切刀口的坐标,v为钢坯运动速度,η为刀口的速度,YT为检测到的钢坯最优剪切线的坐标,HS为高度。
本发明还公开一种基于深度视觉的钢坯最优剪切控制***,包括:深度相机、数据预处理模块、检测模块,视觉伺服模块;
所述深度相机安置于剪切口的前端,和数据预处理模块相连,其用于采集并传输原始的RGB图和深度图;
所述数据预处理模块用于将原始的二维图像进行一定的处理后,将处理后的三维数据或者二维图像传输到检测模块;
所述检测模块和视觉伺服模块相连,其用于得到最优剪切线等检测的结果;
所述视觉伺服模块用于将结果转换成控制信号。
本发明具有以下优点:
1、本发明利用图像信息解决钢坯头尾部的剪切线检测问题,达到节约能源和材料的目的,深度相机得到的世界坐标精度高,省却了复杂的标定过程,布置简单。
2、本发明结合三维信息,解决了传统基于图像传感方法无法针对钢坯头尾部不平整的部分剪切的问题。
3、本发明提出了一种简单高效的钢坯剪切线检测算法,具有速度快且有效的特点,可以快速识别钢坯头部和尾部,并且具有一定的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明流程图。
图2为本发明实施例中建立的世界坐标系,其中,(a)为世界坐标系原点示意图;(b)为根据坐标系生成的场景点云。
图3为本发明实施例中直通滤波结果示意图。
图4为本发明实施例中去除离群点示意图。
图5为本发明实施例中采样一致算法拟合钢坯的上表面平面示意图。
图6为本发明实施例中泊桑重建和球旋转重建对比图,其中(a)为泊桑重建,(b)为球旋转重建。
图7(a)为本发明实施例中点云投影结果示意图,图7(b)为本发明实施例中LSD算法检测结果示意图。
图8为本发明实施例中头部剪切线示意图,其中,(a)为钢坯真实的头部剪切线,(b)为计算得到的头部剪切线。
图9为本发明实施例中尾部剪切线示意图,其中,(a)为钢坯真实的尾部剪切线,(b)为计算得到的尾部剪切线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例公开了一种基于深度视觉的钢坯最优剪切控制方法,包括如下步骤:
步骤1、将深度相机安装在成像平面与钢坯平面平行的位置,设置世界坐标系,确定好世界坐标和相机坐标的关系,使得相机坐标系中的点可以得到世界坐标,具体地,先以RGB镜头中心为原点O,镜头光轴和钢坯平面垂直,镜头竖直朝下放置,指向钢坯的方向为Z轴正方向,镜头中心射出的光轴为Z轴,以钢坯进给的方向为Y轴的正方向,以垂直于ZOY指向传送机左侧方向为X轴正方向;
步骤2、标定深度相机的参数:采用分步标定法求得相机的内参和外参;
步骤3、实时采集图像:使用深度相机采集钢坯的RGB和深度视图,并将二者的分辨率转换一致,使得深度和RGB的像素一一对应,本实施例中,使用Azure Kinect相机;
步骤4、数据预处理:通过针孔相机模型,得到每个像素点的三维坐标,然后将得到的点进行一定的预处理,所述预处理包括直通滤波和离群点去除,所述直通滤波用于滤除背景点云,所述离群点去除用于去除异常点;
步骤5、轮廓线检测:使用随机采样一致性算法拟合出钢坯上表面的平面,然后将平面投影到2D平面,再采用中心扩展法计算出最优剪切线;
步骤6、根据钢坯的移动速度与待剪切位置头部坐标,获得头部和剪切刀口的距离,计算出控制剪切头剪切的时刻。
任务结束回到步骤3,重复运行步骤3到步骤6的过程。
所述步骤4具体包括如下步骤:
步骤41、点云生成:根据建立好的世界坐标系,由针孔相机的模型可以将所有像素点都可以通过如下关系式得到每个像素点的三维点坐标:
其中,f为相机焦距,X、Y、Z分别是像素点在相机坐标系中的坐标,w、h分别是图像的像素的长度和宽度,s是转换系数,用于将深度的像素值转换成标准单位,d是该像素处的深度;
步骤42、直通滤波,用于将无关的背景点去除,由于建立的世界坐标系的Z轴垂直于钢坯平面,假设钢坯平面的Z坐标区间为[dmin,dmax],坐标满足条件dmin≤Z≤dmax的像素保留,超出范围的去除,同理,对X坐标和Y坐标进行同样的区间分割,以去除多余的背景;
步骤43、离群点去除:采用统计方式去除,先算出每个点和其他点的距离,然后选出K点进行统计,计算这K点到的所有的点的距离,假设其结果是高斯分布,若计算得出的均值为μ,方差为∑,对于任意一点,若非离群点,应该和每一点的距离一般不会超过平均距离,根据此原理,给出以下关系:
μθ=μ+k∑
其中,k是比例系数,对于非离群点,其满足距离的均值不超过阈值μθ,可以结合实际进行调整,若满足μi≤μθ,则为非离群点,若μi>μθ,则为离群点。
所述步骤5具体包括如下步骤:
步骤51、钢坯表面的提取:因为要排除头部非曲面部分,所以使用改进的随机采样一致性算法,将其拓展到三维,将钢坯的上表面拟合出来,具体地,随机选取若干个点作为内点,这取决于想拟合的模型,给定平面Ax+By+Cx+D=0,对于平面上任意三点P0、P1、P2,面上两条直线的方向向量分别为则平面P0P1P2的一法向量为由点法式方程求得A、B、C、D,然后,从点集中选取点来计算和该平面的距离,点到平面距离公式:
假设判定该点属于该平面的最大容许距离为d′,则当距离d>d′时,认为该点不属于该平面,统计在平面内的点的集合,与之前最优的集合比较点的数目,数量超过则更新点集,然后重新选取三个点继续下一轮迭代,迭代t次后停止迭代,则当前最佳集合就是最后结果;
步骤52、钢坯平面的轮廓提取:通过上一步获取了去除头部的钢坯上表面,接下来,需要获取上表面的二维投影,但是点云中间有很多空洞,如果直接投影会造成投影区域大量缺失,因此需要进行表面重建,虽然泊桑重建可以将不完整的点云进行补洞,但是对于非水密型点云即非闭合点云会重建出额外的点云,于是采用球旋转法是比较适合的方法,不会影响非闭合点云的重建。得到表面重建的点云接下来进行投影操作,由针孔相机模型可知:
其中,x、y、z表示点的三维坐标,u、v表示点的二维像素坐标,fx、fy表示相机的焦距,cx、cy表示相机主轴光心偏移量,这些参数都可通过标定获取,因为点云包含的点比较多,从中选取一万个点作为样本进行投影,根据投影公式计算出相应的像素坐标:
X、Y、Z为点的三维坐标,X′和Y′分别是投影的2D坐标,通过人工生成只包含投影的图片,图片为二值图,投影点坐标为白色,非投影点为黑色;
步骤53、对于已经完成的钢坯轮廓图像,一般线段检测采用LSD(Line SegmentDetector)算法,但是由于物体轮廓边缘会出现深度失效的问题,因此边缘处的点云不是很平滑,很难检测出一条完整的线段,对此,本实施例采用中心扩展法计算出最优剪切线:钢坯出现在相机的视野X像素范围后确认像素中心M,钢坯宽度W,对于钢坯头部,从Y坐标的最大值开始,沿着中心向上进行逐行扫描,为了加快速度,只向两端扫描个像素,统计属于钢坯表面的点的数目N,若满足:
N≥λW
则认为此时已经到达最优剪切位置,则停止搜索,λ是比例因子,λW为最低门限值;
对于尾部的检测需要从相反方向搜索,假设钢坯表面某点坐标(X,Y),分别从0和从Y值最大方向开始遍历,对于钢坯头部和尾部的确定,假设尾部的像素Y均值为μH,图像高度为H,若则当前图像显示的是钢坯尾部,否则,为钢坯头部,因此,从两端开始往中间遍历,上部先访问到不为0的像素,则为钢坯头部,否则,为钢坯尾部;
对于一段完整的钢坯,包括头部、中间和尾部,钢坯中间部分其轮廓贯穿相机视野,因此其中心会在附近波动,选取一定的阈值δ,以区分中间部位和头尾部,定义上边第一个不为0的像素为Ytop,下边第一个像素不为0的坐标为Ybot,对于钢坯尾部的判定应满足钢坯头部应满足
4、根据权利要求3所述的基于深度视觉的钢坯最优剪切控制方法,其特征在于,所述步骤6具体包括如下步骤:
钢坯的剪切时刻为:
其中:YS为剪切刀口的坐标,v为钢坯运动速度,η为刀口的速度,YT为检测到的钢坯最优剪切线的坐标,HS为高度。
实施例1
本实施例使用的是Microsoft的Azure Kinect DK相机,该相机是TOF(Time OfFlight)相机,使用前应先固定好相机,使成像平面尽量与钢坯平面平行,然后固定相机位置,事先确定好世界坐标和相机坐标的关系,使得相机坐标系中的点可以得到世界坐标。为了能生成点云,应先保证RGB和Depth图像对齐,对齐后就可以根据上面所述的关系,逐一将像素的二维坐标转换成三维坐标,坐标系的构筑如图2(a)、(b)所示。
得到三维点云后,因为包含太多无意义的背景信息,可以通过先验得知钢坯平面和相机的距离,然后分别将XYZ方向超过一定范围的点滤掉,这样就得到了只包含钢坯的点云集合,如图3所示;
得到去除背景的点云后,这时候不能直接使用,因为散粒噪声的缘故,可能会导致物体边缘会出现一些随机的噪点,或者垂直位置出现深度失效问题,因此,对于这些异常的点,需要进行离群点去除,采用上述的统计法去除离群点,效果如图4所示;
离群点去除后,对于一个包含一定曲面的钢坯头尾部,不希望曲面部分保留,为此,可以通过上述的拓展到三维的随机采样一致算法拟合钢坯的上表面平面,因为平面将头部的曲面部分给去除,这样就得到了钢坯平整的部分,如图5所示;
得到钢坯平整表面后,接下来需要进行表面重建,用于后面的平面投影,泊桑重建对于非封闭表面的重建会造成过度重建,多出来额外的表面,于是,作为优选的实施方式,本申请采用球旋转法进行重建,得到的表面不会有多余的。泊桑重建和球旋转重建的效果分别如图6(a)、(b)所示:
表面重建完成后,利用上述方法,先进行采样,然后计算二维坐标,手动生成和原始图像尺寸大小相同的二值图,投影坐标像素值为1,否则为0。原本得到的表面如果很完美,应该是个两边完全笔直的直线,但是边界的深度失效问题导致边缘并不完美,通过LSD算法得到的线段检测结果,是无数的孤立的,不连续的线段。投影的结果和LSD算法检测算法分别如图7(a)、(b)所示:
为了完成剪切线的计算,利用上述的中心扩展法,识别钢坯的头尾部还有对剪切线的计算,传统的基于边缘检测的算法是无法将钢坯头部的曲面部分去除的,而本发明解决了剪切掉曲面头部的问题,效果如图8(a)、8(b)所示,同理,尾部的效果如图9(a)、9(b)所示,得到剪切线的精确像素坐标后,根据上述方法即可算出剪切刀口的剪切时间。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (2)
1.一种基于深度视觉的钢坯最优剪切控制方法,其特征在于,包括如下步骤:
步骤1、将深度相机安装在成像平面与钢坯平面平行的位置,设置世界坐标系,确定好世界坐标和相机坐标的关系,使得相机坐标系中的点可以得到世界坐标;
步骤2、标定深度相机的参数:采用分步标定法求得相机的内参和外参;
步骤3、实时采集图像:使用深度相机采集钢坯的RGB和深度视图,并将二者的分辨率转换一致,使得深度和RGB的像素一一对应;
步骤4、数据预处理:通过针孔相机模型,得到每个像素点的三维坐标,然后将得到的点进行一定的预处理,所述预处理包括直通滤波和离群点去除,所述直通滤波用于滤除背景点云,所述离群点去除用于去除异常点;
步骤5、轮廓线检测:使用随机采样一致性算法拟合出钢坯上表面的平面,然后将平面投影到2D平面,再采用中心扩展法计算出最优剪切线;
步骤6、根据钢坯的移动速度与待剪切位置头部坐标,获得头部和剪切刀口的距离,计算出控制剪切头剪切的时刻;
所述步骤4具体包括如下步骤:
步骤41、点云生成:通过如下关系式得到每个像素点的三维点坐标:
其中,f为相机焦距,X、Y、Z分别是像素点在相机坐标系中的坐标,w、h分别是图像的像素的长度和宽度,s是转换系数,用于将深度的像素值转换成标准单位,d是该像素处的深度;
步骤42、直通滤波:钢坯平面的Z坐标区间为[dmin,dmax],坐标满足条件dmin≤Z≤dmax的像素保留,超出范围的去除,同理,对X坐标和Y坐标进行同样的区间分割;
步骤43、离群点去除:先算出每个点和其他点的距离,然后选出K点进行统计,计算这K点到的所有的点的距离,假设其结果是高斯分布,若计算得出的均值为μ,方差为∑,给出以下关系:
μθ=μ+k∑
其中,k是比例系数,对于非离群点,其满足距离的均值不超过阈值μθ,若满足μi≤μθ,则为非离群点,若μi>μθ,则为离群点;
所述步骤5具体包括如下步骤:
步骤51、钢坯表面的提取:使用改进的随机采样一致性算法将钢坯的上表面拟合出来,具体地,随机选取若干个点作为内点,给定平面Ax+By+Cx+D=0,对于平面上任意三点P0、P1、P2,面上两条直线的方向向量分别为则平面P0P1P2的一法向量为由点法式方程求得A、B、C、D,然后,从点集中选取点来计算和该平面的距离,点到平面距离公式:
假设判定该点属于该平面的最大容许距离为d′,则当距离d>d′时,认为该点不属于该平面,统计在平面内的点的集合,与之前最优的集合比较点的数目,数量超过则更新点集,然后重新选取三个点继续下一轮迭代,迭代t次后停止迭代,则当前最佳集合就是最后结果;
步骤52、钢坯平面的轮廓提取:采用球旋转法将不完整的点云进行补洞从而完成表面重建,据投影公式计算出相应的像素坐标:
X、Y、Z为点的三维坐标,X′和Y′分别是投影的2D坐标,生成只包含投影的图片,图片为二值图,投影点坐标为白色,非投影点为黑色;
步骤53、采用中心扩展法计算出最优剪切线:钢坯出现在相机的视野X像素范围后确认像素中心M,钢坯宽度W,对于钢坯头部,从Y坐标的最大值开始,沿着中心向上进行逐行扫描,为了加快速度,只向两端扫描个像素,统计属于钢坯表面的点的数目N,若满足:
N≥λW
则认为此时已经到达最优剪切位置,则停止搜索,λ是比例因子,λW为最低门限值;
对于尾部的检测需要从相反方向搜索,假设钢坯表面某点坐标(X,Y),分别从0和从Y值最大方向开始遍历,对于钢坯头部和尾部的确定,假设尾部的像素Y均值为μH,图像高度为H,若则当前图像显示的是钢坯尾部,否则,为钢坯头部,因此,从两端开始往中间遍历,上部先访问到不为0的像素,则为钢坯头部,否则,为钢坯尾部;
对于一段完整的钢坯,包括头部、中间和尾部,钢坯中间部分其轮廓贯穿相机视野,因此其中心会在附近波动,选取一定的阈值δ,以区分中间部位和头尾部,定义上边第一个不为0的像素为Ytop,下边第一个像素不为0的坐标为Ybot,对于钢坯尾部的判定应满足钢坯头部应满足
所述步骤6具体包括如下步骤:
钢坯的剪切时刻为:
其中:YS为剪切刀口的坐标,v为钢坯运动速度,η为刀口的速度,YT为检测到的钢坯最优剪切线的坐标,HS为高度。
2.一种基于权利要求1所述基于深度视觉的钢坯最优剪切控制方法的钢坯最优剪切控制装置,其特征在于,包括:深度相机、数据预处理模块、检测模块,视觉伺服模块;
所述深度相机安置于剪切口的前端,和数据预处理模块相连,其用于采集并传输原始的RGB图和深度图;
所述数据预处理模块用于将原始的二维图像进行一定的处理后,将处理后的三维数据或者二维图像传输到检测模块;
所述检测模块和视觉伺服模块相连,其用于得到最优剪切线检测的结果;所述视觉伺服模块用于将结果转换成控制信号。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110497213.XA CN113219903B (zh) | 2021-05-07 | 2021-05-07 | 一种基于深度视觉的钢坯最优剪切控制方法及装置 |
PCT/CN2021/109202 WO2022233096A1 (zh) | 2021-05-07 | 2021-07-29 | 一种基于深度视觉的钢坯最优剪切控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110497213.XA CN113219903B (zh) | 2021-05-07 | 2021-05-07 | 一种基于深度视觉的钢坯最优剪切控制方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113219903A CN113219903A (zh) | 2021-08-06 |
CN113219903B true CN113219903B (zh) | 2022-08-19 |
Family
ID=77091555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110497213.XA Active CN113219903B (zh) | 2021-05-07 | 2021-05-07 | 一种基于深度视觉的钢坯最优剪切控制方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113219903B (zh) |
WO (1) | WO2022233096A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113219903B (zh) * | 2021-05-07 | 2022-08-19 | 东北大学 | 一种基于深度视觉的钢坯最优剪切控制方法及装置 |
CN114612452B (zh) * | 2022-03-18 | 2024-06-25 | 中冶赛迪信息技术(重庆)有限公司 | 用于棒材的识别方法、***、电子设备及可读存储介质 |
CN116385354B (zh) * | 2023-02-15 | 2023-09-29 | 北京瓦特曼智能科技有限公司 | 圆形钢坯的偏移越界检测方法、设备及介质 |
CN118037812B (zh) * | 2024-04-15 | 2024-07-02 | 太原科技大学 | 一种中厚板板头不规则形状自适应测量方法和*** |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005096126A1 (ja) * | 2004-03-31 | 2005-10-13 | Brother Kogyo Kabushiki Kaisha | 画像入出力装置 |
CN101658954B (zh) * | 2009-09-10 | 2011-07-20 | 上海交通大学 | 基于图像传感的钢坯剪切装置及其剪切方法 |
EP2545418B1 (de) * | 2010-03-12 | 2014-08-20 | Sew-Eurodrive GmbH & Co. KG | Verfahren zur bestimmung eines optimierten sollkurvenverlaufs bei einer mehrachsigen maschine zur fliegenden bearbeitung von fördergut |
JP6189689B2 (ja) * | 2013-09-20 | 2017-08-30 | 株式会社ディスコ | 切削装置 |
CN104511650B (zh) * | 2013-09-30 | 2017-02-22 | 宝山钢铁股份有限公司 | 钢板头部剪切最佳化的方法 |
EP3213292A4 (en) * | 2014-10-28 | 2018-06-13 | Hewlett-Packard Development Company, L.P. | Three dimensional object recognition |
CN109740596B (zh) * | 2018-12-28 | 2021-03-30 | 中冶京诚工程技术有限公司 | 钢板切头定位智能视频识别***及方法 |
CN110517317A (zh) * | 2019-08-28 | 2019-11-29 | 武汉西尔塔信息技术有限公司 | 一种基于机器视觉相机图像处理的钢坯定位方法及应用 |
US10745839B1 (en) * | 2019-12-05 | 2020-08-18 | Softwear Automation, Inc. | Unwrinkling systems and methods |
CN111207695A (zh) * | 2020-01-14 | 2020-05-29 | 北京科技大学 | 一种基于双线结构光的热轧带钢端部三维轮廓测量方法 |
CN111035115B (zh) * | 2020-03-13 | 2020-06-30 | 杭州蓝芯科技有限公司 | 一种基于3d视觉鞋底涂胶路径规划方法和装置 |
CN112224590B (zh) * | 2020-12-10 | 2021-03-19 | 江苏金恒信息科技股份有限公司 | 一种基于三维点云的钢坯贴标方法及*** |
CN113219903B (zh) * | 2021-05-07 | 2022-08-19 | 东北大学 | 一种基于深度视觉的钢坯最优剪切控制方法及装置 |
-
2021
- 2021-05-07 CN CN202110497213.XA patent/CN113219903B/zh active Active
- 2021-07-29 WO PCT/CN2021/109202 patent/WO2022233096A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN113219903A (zh) | 2021-08-06 |
WO2022233096A1 (zh) | 2022-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113219903B (zh) | 一种基于深度视觉的钢坯最优剪切控制方法及装置 | |
US11443437B2 (en) | Vibe-based three-dimensional sonar point cloud image segmentation method | |
CN111207695A (zh) | 一种基于双线结构光的热轧带钢端部三维轮廓测量方法 | |
CN110687904A (zh) | 一种巡线机器人视觉导航巡检和避障方法 | |
CN111462066B (zh) | 一种基于机器视觉的螺纹参数检测方法 | |
CN110110687B (zh) | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 | |
CN111144213B (zh) | 一种对象检测方法和相关设备 | |
CN107346547B (zh) | 基于单目平台的实时前景提取方法及装置 | |
WO2022252380A1 (zh) | 静态障碍物接地轮廓线多帧融合方法、装置及介质 | |
CN107742307A (zh) | 基于改进帧差法的输电线路舞动特征提取及参数分析方法 | |
CN113077437B (zh) | 工件质量检测方法及其*** | |
CN113706566B (zh) | 一种基于边缘检测的加香喷雾性能检测方法 | |
CN112683228A (zh) | 单目相机测距方法及装置 | |
CN114279357A (zh) | 一种基于机器视觉的压铸件毛刺尺寸测量方法及*** | |
KR20180098945A (ko) | 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치 | |
CN113362385A (zh) | 一种基于深度图像的货物体积测量方法及设备 | |
CN115631116A (zh) | 基于双目视觉的飞行器电力巡检*** | |
CN109954854B (zh) | 连铸机结晶器漏钢监测方法、装置、存储介质及电子终端 | |
CN109671084B (zh) | 一种工件形状的测量方法 | |
CN117830389B (zh) | 一种基于rgbd相机的单件分离包裹实时位置检测方法 | |
CN117115196B (zh) | 一种切割机刀具磨损视觉检测方法及*** | |
CN110322508B (zh) | 一种基于计算机视觉的辅助定位方法 | |
CN111476792A (zh) | 一种板带钢图像轮廓的提取方法 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
CN114155236A (zh) | 一种适用于动态测量环境的激光条纹中心线提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |