CN113804696A - 一种棒材表面缺陷尺寸面积确定方法 - Google Patents

一种棒材表面缺陷尺寸面积确定方法 Download PDF

Info

Publication number
CN113804696A
CN113804696A CN202111146467.3A CN202111146467A CN113804696A CN 113804696 A CN113804696 A CN 113804696A CN 202111146467 A CN202111146467 A CN 202111146467A CN 113804696 A CN113804696 A CN 113804696A
Authority
CN
China
Prior art keywords
camera
line
bar
defect
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111146467.3A
Other languages
English (en)
Other versions
CN113804696B (zh
Inventor
杨朝霖
邓能辉
吴昆鹏
石杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202111146467.3A priority Critical patent/CN113804696B/zh
Publication of CN113804696A publication Critical patent/CN113804696A/zh
Application granted granted Critical
Publication of CN113804696B publication Critical patent/CN113804696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/102—Video camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种棒材表面缺陷尺寸面积确定方法，属于机器视觉无损检测领域。所述方法包括：利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷；在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法；将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积。采用本发明，能够准确确定缺陷区域的面积。

Description

一种棒材表面缺陷尺寸面积确定方法
技术领域
本发明涉及机器视觉无损检测领域，特别是指一种棒材表面缺陷尺寸面积确定方法。
背景技术
棒材在生产过程中需要检测其表面存在的各种缺陷，分析缺陷的尺寸信息，计算出缺陷的面积，统计分析缺陷的尺寸和面积信息来对棒材产品进行准确的定级，和板带材类产品检测不同，棒材表面不是平面，而是一个弧面，需要将棒材弧面准确的展开为对应的平面后，才能准确的计算出各类缺陷的真实面积，完成对产品的准确分级，大多数方法会从生产管理***获取棒材的直径，通过该直径作为参数来展开棒材的弧面，但在实际情况下通过这种方法计算出的缺陷面积并不准确，这是因为：
1、棒材长度方向上不同部分直径可能会存在差异；
2、存在获取到的直径参数与真实粗轧完成的直径并不一致的情况；
3、棒材的截面有可能并不是一个标准的圆形，而是椭圆；
4、棒材直径的变化导致相机的物距变化影响了之前标定的参数，造成计算误差。
发明内容
本发明实施例提供了棒材表面缺陷尺寸面积确定方法，能够准确计算缺陷区域的面积。所述技术方案如下：
本发明实施例提供了一种棒材表面缺陷尺寸面积确定方法，该方法包括：
利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷；
在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法；
将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积。
进一步地，在利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷之前，所述方法包括：
沿棒材运动方向依次安装3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上，且3D线扫描相机和2D线阵相机距离棒材表面的最小距离为固定值；
对2D线阵相机和3D线扫描相机在y和x方向的关系进行标定，得到从2D线阵相机图像到3D线扫描相机深度图之间的对应关系，其中，x方向为棒材运动方向，即：棒材长度方向，y方向表示棒材宽度方向。
进一步地，所述沿棒材运动方向依次安装3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上，且3D线扫描相机和2D线阵相机距离棒材表面的最小距离为固定值包括：
沿棒材运动方向依次安装激光测距传感器、3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上；
激光测距传感器在待检测棒材进入3D线扫描相机检测区域前获取3D线扫描相机到棒材表面的最小距离并将距离数据发送至控制运动机构；
控制运动机构根据接收到的距离数据控制运动机构进行调整，使得3D线扫描相机和2D线阵相机距离棒材表面的最小距离保持为固定值。
进一步地，所述对2D线阵相机和3D线扫描相机在y和x方向的关系进行标定，得到从2D线阵相机图像到3D线扫描相机深度图之间的对应关系包括：
标定出2D线阵相机在x方向的采集线位置P1和3D线扫描相机在x方向的采集线位置P2之间差异值ΔP＝P2-P1；
确定在y方向上2D线阵相机和3D线扫描相机的采集范围之间的关系；
根据得到的2D线阵相机在x方向的采集线位置P1和3D线扫描相机在x方向的采集线位置P2之间差异值ΔP，确定2D线阵相机中第n行采集的数据需要对应到3D线扫描相机的第m行采集的数据，其中，m、n之间的关系表示为：
m＝n–ΔP/δ
其中，δ表示在棒材运动方向上每条采集线对应的采样精度。
进一步地，所述确定在y方向上2D线阵相机和3D线扫描相机的采集范围之间的关系包括：
在2D线阵相机和3D线扫描相机的采集范围内制造两个凸起物A和B作为标定参考物；其中，3D线扫描相机提供其激光线亮度图像构成的3D灰度图和经过相机内部标定***转化后得到3D深度图；
在3D灰度图中A、B物体为A1、B1，2D线阵相机提供的2D图像中A、B物体为A2、B2，对于y方向上A和B之间的任意一点C，点C在3D线扫描相机中的灰度图像位置C1和在2D线阵相机中的图像位置C2之间的关系表示为：
(C1-A1)/(B1-A1)＝(C2–A2)/(B2-A2)
通过3D线扫描相机内部3D灰度图和3D深度图之间的对应关系，获得3D深度图中对应于C点的位置C3，实现从2D图像中C2到3D深度图中对应位置C3的转换。
进一步地，所述在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法包括：
根据从2D线阵相机图像到3D线扫描相机深度图之间的对应关系，在3D线扫描相机得到的3D深度图中确定缺陷对应的外接矩形，在3D深度图中使用(a1,b1,c1,d1)四个点来表示缺陷外接矩形，其中，将缺陷的长度方向定义为棒材运动方向x，缺陷的宽度方向定义为垂直于x的y方向，即：棒材宽度方向；
缺陷的长度l＝(d1x-c1x)×δ，d1x、c1x分别表示x方向上的c1点和d1点的x坐标，δ表示在棒材运动方向上每条采集线对应的采样精度；
缺陷的宽度由y方向的a1点和b1点之间的曲线长度确定，即：获取a1点和b1点之间的曲线上的多个点拟合出曲线方程，对曲线做弧长积分得到缺陷的宽度，实现曲线展开算法。
进一步地，曲线方程表示为：
z＝ky2+my+n
其中，输入矩阵M为：
Figure BDA0003285572090000031
参数向量Q为：
Figure BDA0003285572090000041
输出矩阵R为：
Figure BDA0003285572090000042
其中，k、m、n都表示参数系数；y1,y2…yn表示a1点和b1点之间的曲线上的n个点对应的y坐标；z1,z2…zn表示a1点和b1点之间的曲线上的n个点对应的z坐标，z坐标用于体现深度信息；
计算满足方程M×Q＝R的Q的最优解
Figure BDA0003285572090000043
最优的解满足：
Figure BDA0003285572090000044
在
Figure BDA0003285572090000045
这一条件下得到最优解
Figure BDA0003285572090000046
Figure BDA0003285572090000047
其中，MT表示M矩阵的转置；
得到最优解
Figure BDA0003285572090000048
后，利用弧长积分公式对曲线做弧长积分得到缺陷的宽度：
Figure BDA0003285572090000049
其中，w表示缺陷的宽度，z′2表示z导数的平方。
进一步地，所述将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积包括：
将缺陷区域沿x方向划分为多个矩形，利用计算x方向长度和y方向长度的方法，计算出划分的各个小矩形的面积，对所有小矩形的面积进行积分获得整个缺陷区域的面积。
进一步地，整个缺陷区域的面积S表示为：
Figure BDA00032855720900000410
其中，ΔSi为第i个小矩形的面积，m表示划分得到的小矩形的数目。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷；在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法；将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积。这样，将缺陷所在曲面展开为对应的平面，从而准确确定缺陷区域的面积，以解决现有技术存在的由于不能准确的将棒材曲面展开为对应平面导致对缺陷尺寸和面积计算不准确从而影响棒材产品的最终分级的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的棒材表面缺陷尺寸面积确定方法的流程示意图；
图2为本发明实施例提供的棒材表面缺陷尺寸面积确定方法的硬件结构示意图；
图3为本发明实施例提供的2D线阵相机和3D线扫描相机坐标系示意图；
图4为本发明实施例提供的相机标定关系示意图；
图5为本发明实施例提供的缺陷面积计算示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种棒材表面缺陷尺寸面积确定方法，该方法包括：
S101，利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷。
本实施例中，在利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷之前，还包括以下步骤：
首先，沿棒材运动方向依次安装3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上，且3D线扫描相机和2D线阵相机距离棒材表面的最小距离为固定值；
接着，对2D线阵相机和3D线扫描相机在y和x方向的关系进行标定，得到从2D线阵相机图像到3D线扫描相机深度图之间的对应关系，其中，x方向为棒材运动方向，即：棒材长度方向，y方向表示棒材宽度方向。
本实施例中，所述沿棒材运动方向依次安装3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上，且3D线扫描相机和2D线阵相机距离棒材表面的最小距离为固定值；具体可以包括以下步骤：
A1，如图2所示，沿棒材运动方向依次安装激光测距传感器、3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上，以保证两者的采集线垂直于棒材运动方向且处于平行状态；
A2，激光测距传感器在待检测棒材进入3D线扫描相机检测区域前获取3D线扫描相机到棒材表面的最小距离，当棒材因直径变化导致相机距离棒材表面的最小距离发生变化时，将距离数据发送至控制运动机构；
A3，控制运动机构根据接收到的距离数据控制运动机构进行调整，使得3D线扫描相机和2D线阵相机距离棒材表面的最小距离保持为固定值。
本实施例中，运动机构到棒材表面的最小距离为L(即：物距)，3D线扫描相机和2D线阵相机固定安装在运动机构上，安装完成后3D线扫描相机和2D线阵相机距离棒材表面的最小距离就确定为L1、L2，如果L根据不同的棒材保持不变，则对应的L1、L2也可以做到保持不变，L1和L2与L如果发生变化，对之间的标定结果会造成影响，这里移动运动机构实际的目的是为保证标定结果不发生变化。
本实施例中，运动机构通过运动来补偿物距发生的变化，可以保证相机与初始物距保持一致，即保持物距不变，从而保证后续标定完成后，标定出的关系不会发生偏差，以保证后续标定关系的稳定性。
本实施例中，所述对2D线阵相机和3D线扫描相机在y和x方向的关系进行标定，得到从2D线阵相机图像到3D线扫描相机深度图之间的对应关系，其中，x方向为棒材运动方向，即：棒材长度方向，y方向表示棒材宽度方向，z方向为相机距离棒材表面的距离方向，如图3所示；具体可以包括以下步骤：
B1，标定出2D线阵相机在x方向的采集线位置P1和3D线扫描相机在x方向的采集线位置P2之间差异值ΔP＝P2-P1；
B2，确定在y方向上2D线阵相机和3D线扫描相机的采集范围之间的关系；
本实施例中，在2D线阵相机和3D线扫描相机的采集范围内制造两个凸起物A和B作为标定参考物；其中，3D线扫描相机提供其激光线亮度图像构成的3D灰度图和经过相机内部标定***转化后得到3D深度图；
如图4所示，在3D灰度图中A、B物体为A1、B1，2D线阵相机提供的2D图像中A、B物体为A2、B2，对于y方向上A和B之间的任意一点C，点C在3D线扫描相机中的灰度图像位置C1和在2D线阵相机中的图像位置C2之间的关系表示为：
(C1-A1)/(B1-A1)＝(C2–A2)/(B2-A2)
通过该方程关系可以由C2获取到C1，通过3D线扫描相机内部3D灰度图和3D深度图之间的对应关系，获得3D深度图中对应于C点的位置C3，实现从2D图像中C2到3D深度图中对应位置C3的转换。
本实施例中，步骤B2是解决y方向上的对应关系，公式(C1-A1)/(B1-A1)＝(C2–A2)/(B2-A2)体现的都是y坐标之间的关系。该公式(C1-A1)/(B1-A1)＝(C2–A2)/(B2-A2)在后续计算曲线方程时会使用到，拟合曲线时，需要将2D线阵相机的采集线上的多个点转换到3D深度图中对应的多个点上，获取对应点的z坐标信息。
B3，根据得到的2D线阵相机在x方向的采集线位置P1和3D线扫描相机在x方向的采集线位置P2之间差异值ΔP，确定2D线阵相机中第n行采集的数据需要对应到3D线扫描相机的第m行采集的数据。
本实施例中，使用3D线扫描相机来提供2D相机中缺少的z方向的深度信息，3D线扫描相机和2D线阵相机采用外触发方法来控制采集，具体的：采用差分信号发生器输出的采集频率同时控制2D线阵相机和3D线扫描相机的采集来保证在棒材运动方向上2D线阵相机和3D线扫描相机的采样精度δ一致，从而达到在两个相机在棒材运动方向x方向上采集的图像高度相同，实现从2D相机图像到3D相机灰度图像和3D相机深度图像的标定参考点的匹配，便于在2D图像和3D深度图中进行位置对比。
本实施例中，由于2D线阵相机和3D线扫描相机的采集线位置不同，需要找到2D线阵相机采集图像中的各行与3D线扫描相机采集的深度图中对应的行关系，由于3D线扫描相机安装在2D线阵相机之前，所以可以保证2D线阵相机采集的缺陷所在区域的每一行数据能够在3D线扫描相机采集的3D深度图中找到，设测速装置测定的棒材运动速度为v，差分信号发生器输出的采集频率为f，在棒材运动方向上每条采集线对应的采样精度为：
δ＝v/f
通常保证δ保持不变的情况下，根据棒材运动速度v的变化来决定差分信号发生器输出的采集频率f＝v/δ来保证采集精度保持一致。
本实施例中，将信号发生器同时控制3D相机和2D相机，根据测速装置测定的棒材运动速度来控制差分信号发生器输出的采集频率保证在x方向上，2D线阵相机和3D线扫描相机图像中采集线之间的间距是恒定且相同的，这样就解决了在x方向的对应问题。
本实施例中，由需要检测到的缺陷在x方向上的最小尺寸γ来决定采集精度δ，δ和γ之间至少满足关系：
δ≥2γ
本实施例中，在确定δ后，根据得到的2D线阵相机在x方向的采集线位置P1和3D线扫描相机在x方向的采集线位置P2之间差异值ΔP，确定2D线阵相机中第n行采集的数据需要对应到3D线扫描相机的第m行采集的数据，其中，m、n之间的关系表示为：
m＝n–ΔP/δ
其中，δ表示在棒材运动方向上每条采集线对应的采样精度。
本实施例中，利用测速装置和差分信号发生器来保证在棒材运动方向的采集精度恒定，并利用关系：m＝n–ΔP/δ，可以准确将2D线阵相机中检测得到的缺陷图像区域对应到3D线扫描相机的深度图中了。
S102，在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法。
本实施例中，根据从2D线阵相机图像到3D线扫描相机深度图之间的对应关系，在3D线扫描相机得到的3D深度图中确定缺陷对应的外接矩形，如图4中所示，在3D深度图中使用(a1,b1,c1,d1)四个点来表示缺陷外接矩形，其中，a1点和b1点在2D线阵相机的采集线上，且代表缺陷所在区域中y方向上最远的两个点，这两个点计算只需要用到y坐标；c1点和d1点表示在x方向的距离最远的两个点，这两个点计算只需要要用到x坐标。
本实施例中，缺陷尺寸使用缺陷外接矩形的长度和宽度来确定；将缺陷的长度方向定义为棒材运动方向x，缺陷的宽度方向定义为垂直于x的y方向，即：棒材宽度方向；
缺陷的长度由矩形在x方向上c1点和d1点来确定，由于3D线扫描相机和2D线阵相机使用同样的外触发频率进行采集，所以在x方向上的精度保持一致，因此，缺陷的长度l＝(d1x-c1x)×δ，d1x、c1x分别表示x方向上的c1点和d1点的x坐标，δ表示在棒材运动方向上每条采集线对应的采样精度；
需要说明的是：
3D线扫描相机每次输出一行数据，这行数据包括各个点的y和z坐标(其中，z坐标体现深度信息)的值，y和z坐标值由3D线扫描相机内部的标定***进行转化，表示是空间坐标值。通过将多行数据拼成深度图，每行数据代表的精度不由3D线扫描相机内部标定***决定，而是由上面的δ计算过程决定。
缺陷的宽度由y方向的a1点和b1点来确定，由于a1点和b1点之间是一条曲线，因此，缺陷的宽度由y方向的a1点和b1点之间的曲线长度确定，该曲线正常情况下应该是一个圆弧，但由于棒材截面有时并不是一个标准的圆形，有可能会是一个椭圆，所以不能直接计算出缺陷的宽度，考虑到圆形和椭圆都可以使用一元二次函数进行表示，所以在这里设该曲线的方程(具体指：截面曲线方程)为：
z＝ky2+my+n
通过使用3D深度图中a1点和b1点之间的曲线上的点来对该曲线方程进行拟合，计算出合适的参数系数(k,m,n)；这里使用3D深度图的原因是，该图中的数值包含有各点在以3D线扫描相机为坐标原点下的z坐标值，同时y坐标也由3D相机内部标定转换***，转换为实际y方向的投影长度，所以可以使用各点的(y,z)值用于拟合上面的曲线；
其中，设在a1点和b1点之间的曲线上选取n个点，n>3，各点的y坐标使用y1,y2…yn进行表示，各点的z坐标使用z1,z2…zn；(各点的z坐标的获取可以根据从2D线阵相机图像到3D线扫描相机深度图之间的对应关系中得到)，使用这n点来构建如下的输入矩阵M为：
Figure BDA0003285572090000101
该矩阵为n行3列的矩阵，即n×3的矩阵参数向量Q为：
Figure BDA0003285572090000102
该向量为3行1列的矩阵，即3×1的矩阵输出矩阵R为:
Figure BDA0003285572090000103
该向量为n行1列的矩阵，即n×1的矩阵
其中，y1,y2…yn表示a1点和b1点之间的曲线上的n个点对应的y坐标，z1,z2…zn表示a1点和b1点之间的曲线上的n个点对应的z坐标；
计算满足方程
Figure BDA0003285572090000104
的Q的最优解
Figure BDA0003285572090000105
由于M矩阵的行数大于列数，即存在n>3的情况，所以上述的方程不一定存在唯一解，可以通过计算出向量R在M矩阵构造的列空间中的投影，该投影是和R向量偏差最小的向量，显然最优解
Figure BDA0003285572090000106
应该满足：
Figure BDA0003285572090000107
在
Figure BDA0003285572090000108
这一条件下得到最优解
Figure BDA0003285572090000109
Figure BDA00032855720900001010
其中，MT表示M矩阵的转置；
得到最优解
Figure BDA00032855720900001011
后，利用弧长积分公式对曲线做弧长积分得到曲线的实际长度，即：缺陷的宽度，实现曲线展开算法，其中，弧长积分公式表示为：
Figure BDA00032855720900001012
其中，w表示缺陷的宽度，z′2表示z导数的平方。
这样就可以准确的得到缺陷的长度和宽度了。
S103，将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积。
本实施例中，如图5所示，将缺陷区域沿x方向划分为多个矩形，利用上述的计算x方向长度和y方向长度的方法(即：曲线展开算法)，计算出划分得到的各个小矩形的面积，对所有小矩形的面积进行积分获得整个缺陷区域的面积S：
Figure BDA0003285572090000111
其中，ΔSi为第i个小矩形的面积，m表示划分得到的小矩形的数目。
本发明实施例所述的棒材表面缺陷尺寸面积确定方法，利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷；在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法；将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积。这样，将缺陷所在曲面展开为对应的平面，从而准确确定缺陷区域的面积，以解决现有技术存在的由于不能准确的将棒材曲面展开为对应平面导致对缺陷尺寸和面积计算不准确从而影响棒材产品的最终分级的问题。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种棒材表面缺陷尺寸面积确定方法，其特征在于，包括：
利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷；
在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法；
将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积。
2.根据权利要求1所述的棒材表面缺陷尺寸面积确定方法，其特征在于，在利用3D线扫描相机和2D线阵相机采集待检测棒材的表面图像，在2D线阵相机采集的图像中检测出待检测棒材的表面缺陷之前，所述方法包括：
沿棒材运动方向依次安装3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上，且3D线扫描相机和2D线阵相机距离棒材表面的最小距离为固定值；
对2D线阵相机和3D线扫描相机在y和x方向的关系进行标定，得到从2D线阵相机图像到3D线扫描相机深度图之间的对应关系，其中，x方向为棒材运动方向，即：棒材长度方向，y方向表示棒材宽度方向。
3.根据权利要求2所述的棒材表面缺陷尺寸面积确定方法，其特征在于，所述沿棒材运动方向依次安装3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上，且3D线扫描相机和2D线阵相机距离棒材表面的最小距离为固定值包括：
沿棒材运动方向依次安装激光测距传感器、3D线扫描相机、2D线阵相机，其中，3D线扫描相机和2D线阵相机安装在平行于棒材运动方向的运动机构上；
激光测距传感器在待检测棒材进入3D线扫描相机检测区域前获取3D线扫描相机到棒材表面的最小距离并将距离数据发送至控制运动机构；
控制运动机构根据接收到的距离数据控制运动机构进行调整，使得3D线扫描相机和2D线阵相机距离棒材表面的最小距离保持为固定值。
4.根据权利要求2所述的棒材表面缺陷尺寸面积确定方法，其特征在于，所述对2D线阵相机和3D线扫描相机在y和x方向的关系进行标定，得到从2D线阵相机图像到3D线扫描相机深度图之间的对应关系包括：
标定出2D线阵相机在x方向的采集线位置P1和3D线扫描相机在x方向的采集线位置P2之间差异值ΔP＝P2-P1；
确定在y方向上2D线阵相机和3D线扫描相机的采集范围之间的关系；
根据得到的2D线阵相机在x方向的采集线位置P1和3D线扫描相机在x方向的采集线位置P2之间差异值ΔP，确定2D线阵相机中第n行采集的数据需要对应到3D线扫描相机的第m行采集的数据，其中，m、n之间的关系表示为：
m＝n–ΔP/δ
其中，δ表示在棒材运动方向上每条采集线对应的采样精度。
5.根据权利要求4所述的棒材表面缺陷尺寸面积确定方法，其特征在于，所述确定在y方向上2D线阵相机和3D线扫描相机的采集范围之间的关系包括：
在2D线阵相机和3D线扫描相机的采集范围内制造两个凸起物A和B作为标定参考物；其中，3D线扫描相机提供其激光线亮度图像构成的3D灰度图和经过相机内部标定***转化后得到3D深度图；
在3D灰度图中A、B物体为A1、B1，2D线阵相机提供的2D图像中A、B物体为A2、B2，对于y方向上A和B之间的任意一点C，点C在3D线扫描相机中的灰度图像位置C1和在2D线阵相机中的图像位置C2之间的关系表示为：
(C1-A1)/(B1-A1)＝(C2–A2)/(B2-A2)
通过3D线扫描相机内部3D灰度图和3D深度图之间的对应关系，获得3D深度图中对应于C点的位置C3，实现从2D图像中C2到3D深度图中对应位置C3的转换。
6.根据权利要求5所述的棒材表面缺陷尺寸面积确定方法，其特征在于，所述在3D线扫描相机得到的3D深度图中获取到缺陷所在位置曲线上的多点坐标信息，利用这些点拟合出曲线方程，对曲线做弧长积分得到实际的长度，实现曲线展开算法包括：
根据从2D线阵相机图像到3D线扫描相机深度图之间的对应关系，在3D线扫描相机得到的3D深度图中确定缺陷对应的外接矩形，在3D深度图中使用(a1,b1,c1,d1)四个点来表示缺陷外接矩形，其中，将缺陷的长度方向定义为棒材运动方向x，缺陷的宽度方向定义为垂直于x的y方向，即：棒材宽度方向；
缺陷的长度l＝(d1x-c1x)×δ，d1x、c1x分别表示x方向上的c1点和d1点的x坐标，δ表示在棒材运动方向上每条采集线对应的采样精度；
缺陷的宽度由y方向的a1点和b1点之间的曲线长度确定，即：获取a1点和b1点之间的曲线上的多个点拟合出曲线方程，对曲线做弧长积分得到曲线的实际长度，即：缺陷的宽度，实现曲线展开算法。
7.根据权利要求6所述的棒材表面缺陷尺寸面积确定方法，其特征在于，曲线方程表示为：
z＝ky2+my+n
其中，输入矩阵M为：
Figure FDA0003285572080000031
参数向量Q为：
Figure FDA0003285572080000032
输出矩阵R为：
Figure FDA0003285572080000033
其中，k、m、n都表示参数系数；y1,y2…yn表示a1点和b1点之间的曲线上的n个点对应的y坐标；z1,z2…zn表示a1点和b1点之间的曲线上的n个点对应的z坐标，z坐标用于体现深度信息；
计算满足方程M×Q＝R的Q的最优解
Figure FDA0003285572080000034
最优的解满足：
Figure FDA0003285572080000041
在
Figure FDA0003285572080000042
这一条件下得到最优解
Figure FDA0003285572080000043
Figure FDA0003285572080000044
其中，MT表示M矩阵的转置；
得到最优解
Figure FDA0003285572080000045
后，利用弧长积分公式对曲线做弧长积分得到缺陷的宽度：
Figure FDA0003285572080000046
其中，w表示缺陷的宽度，z′2表示z导数的平方。
8.根据权利要求6所述的棒材表面缺陷尺寸面积确定方法，其特征在于，所述将缺陷区域分解为多个小矩形，利用曲线展开算法计算所有小矩形面积来求和得到缺陷区域的面积包括：
将缺陷区域沿x方向划分为多个矩形，利用曲线展开算法计算出划分得到的各个小矩形的面积，对所有小矩形的面积进行积分获得整个缺陷区域的面积。
9.根据权利要求8所述的棒材表面缺陷尺寸面积确定方法，其特征在于，整个缺陷区域的面积S表示为：
Figure FDA0003285572080000047
其中，ΔSi为第i个小矩形的面积，m表示划分得到的小矩形的数目。
CN202111146467.3A 2021-09-28 2021-09-28 一种棒材表面缺陷尺寸面积确定方法 Active CN113804696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111146467.3A CN113804696B (zh) 2021-09-28 2021-09-28 一种棒材表面缺陷尺寸面积确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111146467.3A CN113804696B (zh) 2021-09-28 2021-09-28 一种棒材表面缺陷尺寸面积确定方法

Publications (2)

Publication Number Publication Date
CN113804696A true CN113804696A (zh) 2021-12-17
CN113804696B CN113804696B (zh) 2023-01-20

Family

ID=78938870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111146467.3A Active CN113804696B (zh) 2021-09-28 2021-09-28 一种棒材表面缺陷尺寸面积确定方法

Country Status (1)

Country Link
CN (1) CN113804696B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114414487A (zh) * 2022-01-19 2022-04-29 北京科技大学设计研究院有限公司 一种二维与三维融合的圆钢表面成像***
CN114425017A (zh) * 2022-04-06 2022-05-03 苏州尚领医疗科技有限公司 基于心肺复苏模拟器的胸腔横截面积变化率检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105001A1 (en) * 2002-12-03 2004-06-03 Og Technologies, Inc., A Michigan Corporation, Apparatus and method for detecting surface defects on a workpiece such as a rolled/drawn metal bar
JP2016013561A (ja) * 2014-07-01 2016-01-28 Ｊｆｅスチール株式会社 マンドレルバーの表面欠陥検出方法
CN110033447A (zh) * 2019-04-12 2019-07-19 东北大学 一种基于点云方法的高铁重轨表面缺陷检测方法
CN110376207A (zh) * 2019-07-16 2019-10-25 北京科技大学 一种超宽厚板表面缺陷在线检测***图像采集方法
CN111521838A (zh) * 2020-04-24 2020-08-11 北京科技大学 一种线面阵相机相结合的热轧卷测速方法
CN111624206A (zh) * 2020-07-03 2020-09-04 东北大学 基于线阵相机立体视觉的金属表面缺陷检测方法
CN212540183U (zh) * 2020-05-29 2021-02-12 大连锐视达科技有限公司 一种棒材表面缺陷在线检测***
CN112730441A (zh) * 2021-01-22 2021-04-30 太原理工大学 一种特钢棒材表面缺陷检测修磨***及其检测、修磨方法
CN113188484A (zh) * 2021-04-16 2021-07-30 北京科技大学 一种热轧卷头部轮廓面积检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105001A1 (en) * 2002-12-03 2004-06-03 Og Technologies, Inc., A Michigan Corporation, Apparatus and method for detecting surface defects on a workpiece such as a rolled/drawn metal bar
JP2016013561A (ja) * 2014-07-01 2016-01-28 Ｊｆｅスチール株式会社 マンドレルバーの表面欠陥検出方法
CN110033447A (zh) * 2019-04-12 2019-07-19 东北大学 一种基于点云方法的高铁重轨表面缺陷检测方法
CN110376207A (zh) * 2019-07-16 2019-10-25 北京科技大学 一种超宽厚板表面缺陷在线检测***图像采集方法
CN111521838A (zh) * 2020-04-24 2020-08-11 北京科技大学 一种线面阵相机相结合的热轧卷测速方法
CN212540183U (zh) * 2020-05-29 2021-02-12 大连锐视达科技有限公司 一种棒材表面缺陷在线检测***
CN111624206A (zh) * 2020-07-03 2020-09-04 东北大学 基于线阵相机立体视觉的金属表面缺陷检测方法
CN112730441A (zh) * 2021-01-22 2021-04-30 太原理工大学 一种特钢棒材表面缺陷检测修磨***及其检测、修磨方法
CN113188484A (zh) * 2021-04-16 2021-07-30 北京科技大学 一种热轧卷头部轮廓面积检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIE SHI 等: "A Method of Steel Bar Image Segmentation Based on Multi-Attention U-Net", 《IEEE ACCESS》 *
周鹏 等: "基于多激光线的钢轨表面缺陷在线检测方法", 《工程科学学报》 *
皮敏捷等: "基于多条激光线的钢板表面缺陷三维检测方法", 《机电产品开发与创新》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114414487A (zh) * 2022-01-19 2022-04-29 北京科技大学设计研究院有限公司 一种二维与三维融合的圆钢表面成像***
CN114414487B (zh) * 2022-01-19 2024-04-16 北京科技大学设计研究院有限公司 一种二维与三维融合的圆钢表面成像***
CN114425017A (zh) * 2022-04-06 2022-05-03 苏州尚领医疗科技有限公司 基于心肺复苏模拟器的胸腔横截面积变化率检测方法
CN114425017B (zh) * 2022-04-06 2022-06-28 苏州尚领医疗科技有限公司 基于心肺复苏模拟器的胸腔横截面积变化率检测方法

Also Published As

Publication number Publication date
CN113804696B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN113804696B (zh) 一种棒材表面缺陷尺寸面积确定方法
EP0178090B1 (en) Volume determination process
CN1260544C (zh) 双目线结构光传感器一致性精确标定方法及其实施装置
US7376261B2 (en) Surface scan measuring device and method of forming compensation table for scanning probe
CN109443214B (zh) 一种结构光三维视觉的标定方法、装置及测量方法、装置
CN106290256A (zh) 基于视频测量的定量背景纹影方法
CN112381781B (zh) 基于3d点云的胶路缺陷检测方法
KR100256324B1 (ko) 형강의 단면치수 측정방법 및 그 장치
CN112683382B (zh) 基于单目视觉的结构三维振动测量***及方法
JPH06147863A (ja) 曲げ加工機における曲げ角度検出装置
JP6035031B2 (ja) 複数の格子を用いた三次元形状計測装置
CN112710250A (zh) 基于线结构光的三维测量方法以及传感器
US20040201859A1 (en) Method and device for the geometrical measurement of a material strip
CN110966937A (zh) 一种基于激光视觉传感的大型构件三维构形拼接方法
Garcia et al. Flatness measurement system based on a nonlinear optical triangulation technique
CN116381708A (zh) 一种高精度激光三角测距***
CN116626040A (zh) 一种轨道与隧道的病变检测方法
JP2015503110A (ja) 表面不均一性を測定するためのセンサ
CN113888693A (zh) 一种高精度点云数据重构方法
CN101208580A (zh) 绘制表面轮廓
CN114820782B (zh) 基于平面标定块的线激光轮廓仪点云标定方法及***
KR102504280B1 (ko) 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법
CN116576806B (zh) 一种基于视觉分析的厚度检测设备用的精密度管控***
CN108398088B (zh) 一种带钢宽度测量中的振动误差校正方法
JP2013246126A (ja) 表面形状測定方法および表面形状測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant