CN114612775A - 一种基于机器视觉的棒材全线跟踪方法及装置 - Google Patents
一种基于机器视觉的棒材全线跟踪方法及装置 Download PDFInfo
- Publication number
- CN114612775A CN114612775A CN202210211558.9A CN202210211558A CN114612775A CN 114612775 A CN114612775 A CN 114612775A CN 202210211558 A CN202210211558 A CN 202210211558A CN 114612775 A CN114612775 A CN 114612775A
- Authority
- CN
- China
- Prior art keywords
- bar
- industrial area
- area
- image
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004519 manufacturing process Methods 0.000 claims abstract description 79
- 238000009826 distribution Methods 0.000 claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000001360 synchronised effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract 3
- 238000012805 post-processing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 27
- 238000011112 process operation Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000009434 installation Methods 0.000 claims description 8
- 230000000630 rising effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 6
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000001816 cooling Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于机器视觉的棒材全线跟踪方法及装置，涉及机器视觉检测技术领域。包括：首先在运行辊道上方分布式的布置多个面阵相机，并利用同步脉冲控制相机图像采集；然后依次通过透视变换、实例分割、图像拼接等处理算法得到产线上棒材分布位置及尺寸信息；同时在初始阶段对进入跟踪辊道区域的棒材进行编号标识，实现棒材的全线跟踪。利用视觉识别跟踪技术可以全面直观的确定棒材在产线辊道上的分布情况，解决了棒材生产过程无法进行逐支跟踪的困境，对于丢支、卡支、混支等情况能够及时发现并报警提醒，大大增加了棒材处理线的智能化水平。
Description
技术领域
本发明涉及机器视觉检测技术领域，特别是指一种基于机器视觉的棒材全线跟踪方法及装置。
背景技术
棒材生产后处理过程会经过冷却、分段剪切等工艺，最终汇集到横移冷床处，在这段过程中，棒材由单只有序行进变为多支无序行进，运行过程十分复杂，在整个运动过程中，会出现丢支、卡支、混支等现象，在无法确定每一支的状态以及每一小段棒材的来源母批号时，一旦出现质量问题，很难进行信息追溯。目前多数棒材线以建设智能工厂为目标，实现生产操作自动化、生产过程可视化，形成智能化、少人化的棒材车间。通过自动化***优化升级，提高生产效率及生产稳定性。这一过程中开发有效的棒材逐支跟踪技术，实现棒材实时定位跟踪变得尤为重要。
现有技术中，均由人工进行跟踪判断排查，工作量大、效率低、准确性差，极大的限制了产线的智能化布局。
发明内容
针对现有技术中人工进行跟踪判断排查，工作量大、效率低、准确性差的问题，本发明提出了一种基于机器视觉的棒材全线跟踪方法及装置。
为解决上述技术问题，本发明提供如下技术方案：
一方面，提供了一种基于机器视觉的棒材全线跟踪方法，该方法应用于电子设备，该方法包括：
S1：在棒材后处理产线运行辊道上方设置多个工业面阵相机，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻棒材的分布定格画面；其中，多个工业面阵相机之间存在拍摄重叠区域；每支棒材初次进入视觉跟踪辊道时赋予初始编号，如1、2、3...n；
S2：通过对T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像；
S3：将辊道矩形区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息；
S4：利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图；
S5：若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配及棒材跟踪；若无锯切工艺操作指示，则完成产线的棒材全线跟踪。
可选地，步骤S1中，通过在棒材后处理产线运行辊道上方设置多个工业面阵相机，包括：
多个工业面阵相机的个数通过如下述公式(1)计算得到：
其中，N为工业面阵相机的数量；L为整个棒材后处理产线的长度，l为单个工业面阵相机的拍摄范围，γ为相邻相机之间拍摄范围的重合比例；
根据下述公式(2)计算单个工业面阵相机的拍摄范围：
其中，h为工业面阵相机距辊道的高度，θ为工业面阵相机的视场角；
根据下述公式(3)计算相邻工业面阵相机的安装间隔距离：
d＝l(1-γ) (3)。
可选地，步骤S1中，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻产线上棒材的分布定格画面，包括：
采用PWM波控制信号触发多个工业面阵相机进行同步采集，生成T时刻产线上棒材的分布定格画面；
触发信号为PWM上升沿信号，根据下述公式(4)设计触发信号的频率：
其中，f为触发信号的频率；v为辊道运行速度，单位为mm/s。
可选地，步骤S2中，通过对T时刻产线上棒材的分布定格画面进行透视变换，获得辊道矩形区域图像，包括：
针对T时刻产线上棒材的分布定格画面，依赖图中辊道四边形区域的4个顶点位置坐标
进行透视变换，得到仅包含辊道的矩形区域图像；
其中，透视坐标变换矩阵为：
其中，
为工业面阵相机采集图像中辊道区域左侧纵坐标起止像素；
为工业面阵相机采集图像中辊道区域右侧纵坐标起止像素；W为工业面阵相机采集图像宽度；H′为透视变换后的图像高度。
可选地，步骤S4中，将辊道矩阵区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息，包括：
将辊道矩阵区域图像输入至预设的实例分割算法，通过分割算法模型输出得到实例分割图，区分出每支棒材对象，计算出单支棒材的像素位置和尺寸信息；实例分割算法包括但不限于SOLO、YOLACT算法。
可选地，步骤S4中，利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图，完成棒材全线跟踪，包括：
S41：获取多个工业面阵相机拍中相邻两相机的实例分割图像；
S42：以相邻两相机的实例分割图像重合区域的1/2处为拼接点，进行两相机的实例分割图像合并；
S43：将拼接点处前后两相机图像中的棒材对象在拼接图像中定义为同一棒材对象；依次拼接多个工业面阵相机的实例分割图，得到整条产线T时刻每支棒材的位置分布图，完成棒材全线跟踪。
可选地，步骤S5中，若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配，包括：
当接收到锯切工艺操作指示时，接收来自现场自动化一级***发送的锯切信号，对棒材分布图中棒材的编号进行重新分配。
可选地，对棒材分布图中棒材的编号进行重新分配，包括：
每支棒材初次进入视觉跟踪辊道时赋予初始编号，编号为1、2、3...n；当接收到锯切工艺操作指示时，则棒材进入锯切位置，接收自动化一级***下发的锯切信号，收到锯切信号时对于锯切位置前后的棒材赋予新的编号；
其中锯切位置前的棒材编号为1-1、2-1、3-1…n-1，锯切位置后的棒材编号为1-2、2-2、3-2…n-2；棒材编号为区分单支棒材跟踪的唯一标识。
一方面，提供了一种基于机器视觉的棒材全线跟踪装置，该装置应用于电子设备，该装置包括：
图像采集模块，用于在棒材后处理产线运行辊道上方设置多个工业面阵相机，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻产线上棒材的分布定格画面；其中，多个工业面阵相机之间存在拍摄重叠区域；
透视变换模块，用于通过对T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像；
实例分割模块，用于将辊道矩形区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息；
图像拼接模块，利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图；
工艺锯切模块，用于若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配及棒材跟踪；若无锯切工艺操作指示，则完成产线的棒材全线跟踪。
可选地，图像采集模块，还用于：
多个工业面阵相机的个数通过如下述公式(1)计算得到：
其中，N为工业面阵相机的数量；L为整个棒材后处理产线的长度，l为单个工业面阵相机的拍摄范围，γ为相邻相机之间拍摄范围的重合比例；
根据下述公式(2)计算单个工业面阵相机的拍摄范围：
其中，h为工业面阵相机距辊道的高度，θ为工业面阵相机的视场角；
根据下述公式(3)计算相邻工业面阵相机的安装间隔距离：
d＝l(1-γ) (3)。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于机器视觉的棒材全线跟踪方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于机器视觉的棒材全线跟踪方法。
本发明实施例的上述技术方案至少具有如下有益效果：
上述方案中，本发明通过机器视觉***替代人工判断，设计在冷却台架、锯切点、分段剪运输辊道、收集冷床处安装面阵相机，相机视野覆盖整个后处理区域，对相机采集到的图像进行拼接和图像处理后，实时跟踪到每一支棒材的位置以及定位其母材来源，最终实现棒材的自动逐支跟踪。该方式安装部署方便，提取得到的产线上棒材运动状态展示更加直观，具备较高的准确性和抗干扰性，适应范围广，为实现棒材产线逐支跟踪提供了技术支撑。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于机器视觉的棒材全线跟踪方法的流程图实施环境图；
图2是本发明实施例提供的一种基于机器视觉的棒材全线跟踪方法的流程图；
图3是本发明实施例提供的一种基于机器视觉的棒材全线跟踪方法的单个相机的现场安装位置图；
图4是本发明实施例提供的一种基于机器视觉的棒材全线跟踪方法的现场分布及控制示意图；
图5是本发明实施例提供的一种基于机器视觉的棒材全线跟踪方法的实例分割结果拼接过程示意图；
图6是本发明实施例提供的一种基于机器视觉的棒材全线跟踪方法的锯切过程棒材编号分配示意图；
图7是本发明实施例提供的一种基于机器视觉的棒材全线跟踪装置的装置框图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于机器视觉的棒材全线跟踪方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的基于机器视觉的棒材全线跟踪方法流程图，该方法的处理流程可以包括如下的步骤：
S101：在棒材后处理产线运行辊道上方设置多个工业面阵相机，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻棒材的分布定格画面；其中，多个工业面阵相机之间存在拍摄重叠区域；
S102：通过对T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像；
S103：将辊道矩形区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息；
S104：利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图；
S105：若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配及棒材跟踪；若无锯切工艺操作指示，则完成产线的棒材全线跟踪。
可选地，步骤S101中，在棒材后处理产线运行辊道上方设置多个工业面阵相机，包括：
多个工业面阵相机的个数通过如下述公式(1)计算得到：
其中，N为工业面阵相机的数量；L为整个棒材后处理产线的长度，l为单个工业面阵相机的拍摄范围，γ为相邻相机之间拍摄范围的重合比例；
根据下述公式(2)计算单个工业面阵相机的拍摄范围：
其中，h为工业面阵相机距辊道的高度，θ为工业面阵相机的视场角；
根据下述公式(3)计算相邻工业面阵相机的安装间隔距离：
d＝l(1-γ) (3)。
可选地，步骤S101中，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻产线上棒材的分布定格画面，包括：
采用PWM波控制信号触发多个工业面阵相机进行同步采集，生成T时刻棒材的分布定格画面；
触发信号为PWM上升沿信号，根据下述公式(4)设计触发信号的频率：
其中，f为触发信号的频率；v为辊道运行速度，单位为mm/s。
可选地，步骤S102中，通过对T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像，包括：
针对T时刻棒材的分布定格画面，依赖图中辊道四边形区域的4个顶点位置坐标
进行透视变换，得到仅包含辊道的矩形区域图像；
其中，透视坐标变换矩阵为：
其中，
为工业面阵相机采集图像中辊道区域左侧纵坐标起止像素；
为工业面阵相机采集图像中辊道区域右侧纵坐标起止像素；W为工业面阵相机采集图像宽度；H′为透视变换后的图像高度。
可选地，步骤S103中，将辊道矩形区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息，包括：
将辊道矩阵区域图像输入至预设的实例分割算法，通过分割算法模型输出得到实例分割图，区分出每支棒材对象，计算出单支棒材的像素位置和尺寸信息；实例分割算法包括但不限于SOLO、YOLACT算法。
可选地，步骤S104中，利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图，完成棒材全线跟踪，包括：
S141：获取多个工业面阵相机拍中相邻两相机的实例分割图像；
S142：以相邻两相机的实例分割图像重合区域的1/2处为拼接点，进行两相机的实例分割图像合并；
S143：将拼接点处前后两相机图像中的棒材对象在拼接图像中定义为同一棒材对象；依次拼接多个工业面阵相机的实例分割图，得到整条产线T时刻每支棒材的位置分布图，完成棒材全线跟踪。
可选地，步骤S5中，若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配，包括：
当接收到锯切工艺操作指示时，接收来自现场自动化一级***发送的锯切信号，对棒材分布图中棒材的编号进行重新分配。
可选地，对棒材分布图中棒材的编号进行重新分配，包括：
每支棒材初次进入视觉跟踪辊道时赋予初始编号，编号为1、2、3...n；当接收到锯切工艺操作指示时，则棒材进入锯切位置，接收自动化一级***下发的锯切信号，收到锯切信号时对于锯切位置前后的棒材赋予新的编号；
其中锯切位置前的棒材编号为1-1、2-1、3-1…n-1，锯切位置后的棒材编号为1-2、2-2、3-2…n-2；棒材编号为区分单支棒材跟踪的唯一标识。
本发明实施例中，通过机器视觉***替代人工判断，设计在冷却台架、锯切点、分段剪运输辊道、收集冷床处安装面阵相机，相机视野覆盖整个后处理区域，对相机采集到的图像进行拼接和图像处理后，实时跟踪到每一支棒材的位置以及定位其母材来源，最终实现棒材的自动逐支跟踪。该方式安装部署方便，提取得到的产线上棒材运动状态展示更加直观，具备较高的准确性和抗干扰性，适应范围广，为实现棒材产线逐支跟踪提供了技术支撑。
本发明实施例提供了一种基于机器视觉的棒材全线跟踪方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的基于机器视觉的棒材全线跟踪方法流程图，该方法的处理流程可以包括如下的步骤：
S201：在棒材后处理产线运行辊道上方设置多个工业面阵相机，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻产线上棒材的分布定格画面；其中，多个工业面阵相机之间存在拍摄重叠区域。
一种可行的实施方式中，本发明采用视觉识别技术进行棒材后处理线从冷却、锯切至横移冷床的全线逐支位置跟踪。跟踪辊道长度为234m，辊道速度为1500mm/s，棒材直径范围为45～130mm，棒材长度范围为4～10m。
选用工业面阵相机，800万像素，4mm镜头，设计照射范围在10m内。沿棒材运行的方向在待监控辊道处依次排布相机，相机支架安装在辊道旁边，使相机处于辊道中心的正上方，如图3所示，相机拍摄图像中需保证可清晰拍摄到运动的棒材，并可从图像中较容易的辨识出每一只棒材位置。
在棒材后处理产线运行辊道上方，间隔固定距离布置工业面阵相机进行辊道棒材状态的图像采集，各相机之间拍摄区域存在一定的重叠。
一种可行的实施方式中，多个工业面阵相机的个数通过如下述公式(1)计算得到：
其中，N为工业面阵相机的数量；L为整个棒材后处理产线的长度，l为单个工业面阵相机的拍摄范围，γ为相邻相机之间拍摄范围的重合比例，一般设置为图像宽度的4％-6％。
根据下述公式(2)计算单个工业面阵相机的拍摄范围：
其中，h为工业面阵相机距辊道的高度，θ为工业面阵相机的视场角；
根据下述公式(3)计算相邻工业面阵相机的安装间隔距离：
d＝l(1-γ) (3)。、
一种可行的实施方式中，采用PWM波控制信号触发多个工业面阵相机进行同步采集，生成T时刻产线上棒材的分布定格画面；此处的重合比例γ一般设置为图像宽度的4％-6％。
本实施例中，根据上述公式计算，需要使用的相机个数在25个左右，两相机间隔的距离为10m。如图4所示，为本发明实施例提供的相机的现场分布及控制示意图。
一种可行的实施方式中，触发信号为PWM上升沿信号，根据下述公式(4)设计触发信号的频率：
其中，f为触发信号的频率；v为辊道运行速度，单位为mm/s。
本实施例中，相机的触发频率为15帧/s。
S202：通过对T时刻产线上棒材的分布定格画面进行透视变换，获得辊道矩形区域图像。
一种可行的实施方式中，针对T时刻棒材的分布定格画面，依赖图中辊道四边形区域的4个顶点位置坐标
进行透视变换，得到仅包含辊道的矩形区域图像；
其中，透视坐标变换矩阵为：
其中，
为工业面阵相机采集图像中辊道区域左侧纵坐标起止像素；
为工业面阵相机采集图像中辊道区域右侧纵坐标起止像素；W为工业面阵相机采集图像宽度；H′为透视变换后的图像高度。
一种可行的实施方式中，对T时刻下各相机采集得到的图像，依赖图中辊道四边形区域的顶点位置坐标进行透视变换得到仅包含辊道的矩形区域图像，各相机变换后图像大小依然保持一致。
S203：将辊道矩阵区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息。
一种可行的实施方式中，将辊道矩阵区域图像输入至预设的实例分割算法，通过分割算法模型输出得到实例分割图，区分出每支棒材对象，计算出单支棒材的像素位置和尺寸信息。
一种可行的实施方式中，对矩形区域图像进行前景分割，棒材前景实例分割算法包括但不限于SOLO、YOLACT等算法，分割算法模型输入为相机采集图像，输出得到的实例分割图可区分出每支棒材对象，并能计算出单支棒材的中心点的坐标和棒材的长度及直径。
S204：获取多个工业面阵相机拍中相邻两相机的实例分割图像；
S205：以相邻两相机的实例分割图像重合区域的1/2处为拼接点，进行两相机的实例分割图像合并；
S206：利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图。
一种可行的实施方式中，如图5所示，为本发明实施例提供的相机图像实例分割结果拼接过程示意图。
一种可行的实施方式中，整条产线T时刻每支棒材的位置分布图包括：中心点坐标和棒材尺寸规格
优选地，步骤S206之后，还包括：
S207：若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配及棒材跟踪以及工艺锯切；若无锯切工艺操作指示，则完成产线的棒材全线跟踪。
一种可行的实施方式中，每支棒材初次进入视觉跟踪辊道时赋予初始编号，如1、2、3...n；当接收到锯切工艺操作指示时，则棒材进入锯切位置，接收自动化一级***下发的锯切信号，收到信号时对于锯切位置前后的棒材赋予新的编号；
如图6所示，为锯切过程棒材编号分配示意图，其中锯切位置前的棒材编号为1-1、2-1、3-1…n-1，锯切位置后的棒材编号为1-2、2-2、3-2…n-2；棒材编号为区分单支棒材跟踪的唯一标识。
本发明实施例中，通过机器视觉***替代人工判断，设计在冷却台架、锯切点、分段剪运输辊道、收集冷床处安装面阵相机，相机视野覆盖整个后处理区域，对相机采集到的图像进行拼接和图像处理后，实时跟踪到每一支棒材的位置以及定位其母材来源，最终实现棒材的自动逐支跟踪。该方式安装部署方便，提取得到的产线上棒材运动状态展示更加直观，具备较高的准确性和抗干扰性，适应范围广，为实现棒材产线逐支跟踪提供了技术支撑。
图7是根据一示例性实施例示出的一种基于机器视觉的棒材全线跟踪装置框图。参照图7，该装置300包括
图像采集模块310，用于在棒材后处理产线运行辊道上方设置多个工业面阵相机，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻产线上棒材的分布定格画面；其中，多个工业面阵相机之间存在拍摄重叠区域；
透视变换模块320，用于通过对T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像；
实例分割模块330，用于将辊道矩形区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息；
图像拼接模块340，利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图；
工艺锯切模块350，用于若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配及棒材跟踪；若无锯切工艺操作指示，则完成产线的棒材全线跟踪。
可选地，图像采集模块310，还用于：多个工业面阵相机的个数通过如下述公式(1)计算得到：
其中，N为工业面阵相机的数量；L为整个棒材后处理产线的长度，l为单个工业面阵相机的拍摄范围，γ为相邻相机之间拍摄范围的重合比例；
根据下述公式(2)计算单个工业面阵相机的拍摄范围：
其中，h为工业面阵相机距辊道的高度，θ为工业面阵相机的视场角；
根据下述公式(3)计算相邻工业面阵相机的安装间隔距离：
d＝l(1-γ) (3)。
可选地，图像采集模块310，还用于：采用PWM波控制信号触发多个工业面阵相机进行同步采集，生成T时刻棒材的分布定格画面；
触发信号为PWM上升沿信号，根据下述公式(4)设计触发信号的频率：
其中，f为触发信号的频率；v为辊道运行速度，单位为mm/s。
可选地，透视变换模块320，还用于针对T时刻棒材的分布定格画面，依赖图中辊道四边形区域的4个顶点位置坐标
进行透视变换，得到仅包含辊道的矩形区域图像；
其中，透视坐标变换矩阵为：
其中，
为工业面阵相机采集图像中辊道区域左侧纵坐标起止像素；
为工业面阵相机采集图像中辊道区域右侧纵坐标起止像素；W为工业面阵相机采集图像宽度；H′为透视变换后的图像高度。
可选地，实例分割模块330，还用于将辊道矩形区域图像输入至预设的实例分割算法，通过分割算法模型输出得到实例分割图，区分出每支棒材对象，计算出单支棒材的像素位置和尺寸信息；实例分割算法包括但不限于SOLO、YOLACT算法。
可选地，图像拼接模块340，还用于获取多个工业面阵相机拍中相邻两相机的实例分割图像；
以相邻两相机的实例分割图像重合区域的1/2处为拼接点，进行两相机的实例分割图像合并；
将拼接点处前后两相机图像中的棒材对象在拼接图像中定义为同一棒材对象；依次拼接多个工业面阵相机的实例分割图，得到整条产线T时刻每支棒材的位置分布图，完成棒材全线跟踪。
可选地，工艺锯切模块350，还用于当接收到锯切工艺操作指示时，接收来自现场自动化一级***发送的锯切信号，对棒材分布图中棒材的编号进行重新分配。
可选地，工艺锯切模块350，还用于每支棒材初次进入视觉跟踪辊道时赋予初始编号，如1、2、3...n；当接收到锯切工艺操作指示时，则棒材进入锯切位置，接收自动化一级***下发的锯切信号，收到锯切信号时对于锯切位置前后的棒材赋予新的编号；
其中锯切位置前的棒材编号为1-1、2-1、3-1…n-1，锯切位置后的棒材编号为1-2、2-2、3-2…n-2；棒材编号为区分单支棒材跟踪的唯一标识。
图8是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述基于机器视觉的棒材全线跟踪方法的步骤：
S1：通过设置在棒材后处理产线的视觉跟踪辊道上方的多个工业面阵相机，对产线上棒材的状态进行同步图像采集，生成T时刻产线上棒材的分布定格画面；其中，所述多个工业面阵相机之间存在拍摄重叠区域；
S2：通过对所述T时刻棒材的分布定格画面进行透视变换，获得辊道矩阵区域图像；
S3：将所述辊道矩阵区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息；
S4：利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图；
S5：若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配及棒材跟踪；若无锯切工艺操作指示，则完成产线的棒材全线跟踪。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于机器视觉的棒材全线跟踪方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器视觉的棒材全线跟踪方法，其特征在于，包括：
S1：在棒材后处理产线运行辊道上方设置多个工业面阵相机，通过所述工业面阵相机对后处理产线上棒材状态进行同步图像采集，生成T时刻棒材的分布定格画面；其中，所述多个工业面阵相机之间存在拍摄重叠区域；
S2：通过对所述T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像；
S3：将所述辊道矩形区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息；
S4：利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条后处理产线T时刻每支棒材的位置分布图；
S5：若接收到锯切工艺操作指示，则对位置分布图中每支棒材的编号进行分配以及工艺锯切；若无锯切工艺操作指示，则完成后处理产线的棒材全线跟踪。
2.根据权利要求1所述的基于机器视觉的棒材全线跟踪方法，其特征在于，所述步骤S1中，在棒材后处理产线运行辊道上方设置多个工业面阵相机，包括：
所述多个工业面阵相机的个数通过如下述公式(1)计算得到：
其中，N为工业面阵相机的数量；L为整个棒材后处理产线的长度，l为单个工业面阵相机的拍摄范围，γ为相邻相机之间拍摄范围的重合比例；
根据下述公式(2)计算单个工业面阵相机的拍摄范围：
其中，h为所述工业面阵相机距辊道的高度，θ为所述工业面阵相机的视场角；
根据下述公式(3)计算相邻所述工业面阵相机的安装间隔距离d：
d＝l(1-γ) (3)。
3.根据权利要求1所述的基于机器视觉的棒材全线跟踪方法，其特征在于，所述步骤S1中，通过所述工业面阵相机对后处理产线上棒材的状态进行同步图像采集，生成T时刻棒材的分布定格画面，包括：
采用PWM波控制信号触发所述多个工业面阵相机进行同步采集，生成T时刻棒材的分布定格画面；
触发信号为PWM上升沿信号，根据下述公式(4)设计所述触发信号的频率：
其中，f为所述触发信号的频率；v为辊道运行速度，单位为mm/s。
4.根据权利要求1所述的基于机器视觉的棒材全线跟踪方法，其特征在于，所述步骤S2中，通过对所述T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像，包括：
针对所述T时刻棒材的分布定格画面，依赖图中辊道四边形区域的4个顶点位置坐标
进行透视变换，得到仅包含辊道的矩形区域图像；
其中，透视坐标变换矩阵为：
其中，
为工业面阵相机采集图像中辊道区域左侧纵坐标起止像素；
为工业面阵相机采集图像中辊道区域右侧纵坐标起止像素；W为工业面阵相机采集图像宽度；H′为透视变换后的图像高度。
5.根据权利要求1所述的基于机器视觉的棒材全线跟踪方法，其特征在于，所述步骤S3中，将所述辊道矩阵区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息，包括：
将所述辊道矩形区域图像输入至预设的实例分割算法，通过所述分割算法模型输出得到实例分割图像，区分出每支棒材对象，计算出单支棒材的像素位置和尺寸信息；所述实例分割算法包括但不限于SOLO、YOLACT算法。
6.根据权利要求1所述的基于机器视觉的棒材全线跟踪方法，其特征在于，所述步骤S4中，利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条后处理产线T时刻每支棒材的位置分布图，完成棒材全线跟踪，包括：
S41：获取所述多个工业面阵相机拍中相邻两相机的实例分割图像；
S42：以相邻两相机的所述实例分割图像重合区域的1/2处为拼接点，进行两相机的实例分割图像合并；
S43：将所述拼接点处前后两相机图像中的棒材对象在拼接图像中定义为同一棒材对象；依次拼接所述多个工业面阵相机的实例分割图，得到整条产线T时刻每支棒材的位置分布图，完成棒材全线跟踪。
7.根据权利要求1所述的基于机器视觉的棒材全线跟踪方法，其特征在于，所述步骤S5中，若接收到锯切工艺操作指示，则对位置分布图中每支棒材的编号进行重新分配以及工艺锯切，包括：
所述当接收到锯切工艺操作指示时，接收来自现场自动化一级***发送的锯切信号，对棒材分布图中棒材的编号进行重新分配以及工艺锯切。
8.根据权利要求7所述的基于机器视觉的棒材全线跟踪方法，其特征在于，对棒材分布图中棒材的编号进行重新分配以及工艺锯切，包括：
每支棒材初次进入视觉跟踪辊道时赋予初始编号，所述编号为1、2、3...n；当接收到锯切工艺操作指示时，则棒材进入锯切位置，接收自动化一级***下发的锯切信号，收到锯切信号时对于锯切位置前后的棒材赋予新的编号；
其中锯切位置前的棒材编号为1-1、2-1、3-1…n-1，锯切位置后的棒材编号为1-2、2-2、3-2…n-2；所述棒材编号为区分单支棒材的唯一标识。
9.一种基于机器视觉的棒材全线跟踪装置，其特征在于，所述装置包括：
图像采集模块，用于在棒材后处理产线运行辊道上方设置多个工业面阵相机，通过所述工业面阵相机对产线上棒材的状态进行同步图像采集，生成T时刻棒材的分布定格画面；其中，所述多个工业面阵相机之间存在拍摄重叠区域；
透视变换模块，用于通过对所述T时刻棒材的分布定格画面进行透视变换，获得辊道矩形区域图像；
实例分割模块，用于将所述辊道矩形区域图像输入至预设的实例分割算法，输出得到棒材在图像中的前景坐标位置信息；
图像拼接模块，利用所述多个工业面阵相机中相邻相机拍摄重叠区域提取到的前景棒材坐标信息，将所述多个工业面阵相机中相邻相机拍摄到的同一支棒材图像进行依次拼接，得到整条产线T时刻每支棒材的位置分布图；
工艺锯切模块，用于若接收到锯切工艺操作指示时，则对位置分布图中每支棒材的编号进行重新分配以及工艺锯切；若无锯切工艺操作指示，则完成产线的棒材全线跟踪。
10.根据权利要求9所述的基于机器视觉的棒材全线跟踪装置，其特征在于，所述图像采集模块，还用于：
所述多个工业面阵相机的个数通过如下述公式(1)计算得到：
其中，N为工业面阵相机的数量；L为整个棒材后处理产线的长度，l为单个工业面阵相机的拍摄范围，γ为相邻相机之间拍摄范围的重合比例；
根据下述公式(2)计算单个工业面阵相机的拍摄范围：
其中，h为所述工业面阵相机距辊道的高度，θ为所述工业面阵相机的视场角；
根据下述公式(3)计算相邻所述工业面阵相机的安装间隔距离d：
d＝l(1-γ) (3)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210211558.9A CN114612775B (zh) | 2022-03-04 | 2022-03-04 | 一种基于机器视觉的棒材全线跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210211558.9A CN114612775B (zh) | 2022-03-04 | 2022-03-04 | 一种基于机器视觉的棒材全线跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114612775A true CN114612775A (zh) | 2022-06-10 |
| CN114612775B CN114612775B (zh) | 2024-07-05 |
Family
ID=81861062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210211558.9A Active CN114612775B (zh) | 2022-03-04 | 2022-03-04 | 一种基于机器视觉的棒材全线跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612775B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115598132A (zh) * | 2022-10-10 | 2023-01-13 | 东北大学（Cn） | 一种基于机器视觉的棒材计数及对齐检测的装置和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190616A (zh) * | 2018-08-03 | 2019-01-11 | 东北大学 | 一种基于特征识别的热轧钢板在线视觉跟踪算法 |
| CN110688965A (zh) * | 2019-09-30 | 2020-01-14 | 北京航空航天大学青岛研究院 | 基于双目视觉的ipt模拟训练手势识别方法 |
| CN111521838A (zh) * | 2020-04-24 | 2020-08-11 | 北京科技大学 | 一种线面阵相机相结合的热轧卷测速方法 |
| CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
| CN112465937A (zh) * | 2020-11-03 | 2021-03-09 | 影石创新科技股份有限公司 | 定格动画的生成方法、计算机可读存储介质及计算机设备 |
| CN113139900A (zh) * | 2021-04-01 | 2021-07-20 | 北京科技大学设计研究院有限公司 | 一种棒材完整表面图像获取方法 |
-
2022
- 2022-03-04 CN CN202210211558.9A patent/CN114612775B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190616A (zh) * | 2018-08-03 | 2019-01-11 | 东北大学 | 一种基于特征识别的热轧钢板在线视觉跟踪算法 |
| CN110688965A (zh) * | 2019-09-30 | 2020-01-14 | 北京航空航天大学青岛研究院 | 基于双目视觉的ipt模拟训练手势识别方法 |
| CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
| CN111521838A (zh) * | 2020-04-24 | 2020-08-11 | 北京科技大学 | 一种线面阵相机相结合的热轧卷测速方法 |
| CN112465937A (zh) * | 2020-11-03 | 2021-03-09 | 影石创新科技股份有限公司 | 定格动画的生成方法、计算机可读存储介质及计算机设备 |
| CN113139900A (zh) * | 2021-04-01 | 2021-07-20 | 北京科技大学设计研究院有限公司 | 一种棒材完整表面图像获取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 史阳阳 等: "基于DSP的无人机自主着舰识别算法", 太赫兹科学与电子信息学报, vol. 11, no. 05, 25 October 2013 (2013-10-25), pages 712 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115598132A (zh) * | 2022-10-10 | 2023-01-13 | 东北大学（Cn） | 一种基于机器视觉的棒材计数及对齐检测的装置和方法 |
| CN115598132B (zh) * | 2022-10-10 | 2024-06-07 | 东北大学 | 一种基于机器视觉的棒材计数及对齐检测的装置和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114612775B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8730396B2 (en) | Capturing events of interest by spatio-temporal video analysis | |
| CN110266938B (zh) | 基于深度学习的变电站设备智能拍摄方法及装置 | |
| CN105262991B (zh) | 一种基于二维码的变电站设备对象识别方法 | |
| CN113284154A (zh) | 钢卷端面图像分割方法、装置及电子设备 | |
| CN112132853B (zh) | 地面导向箭头的构建方法及其装置、电子设备及存储介质 | |
| CN114612775B (zh) | 一种基于机器视觉的棒材全线跟踪方法及装置 | |
| DE102013217569A1 (de) | Videoverfolgung zur videobasierten geschwindigkeitskontrolle | |
| US20230060211A1 (en) | System and Method for Tracking Moving Objects by Video Data | |
| CN109685062A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| EP3800575B1 (en) | Visual camera-based method for identifying edge of self-shadowing object, device, and vehicle | |
| CN109948436B (zh) | 一种监控道路上车辆的方法及装置 | |
| CN111242066A (zh) | 大尺寸图像目标检测方法、装置及计算机可读存储介质 | |
| Wang et al. | Improving facade parsing with vision transformers and line integration | |
| CN113570587A (zh) | 一种基于计算机视觉的光伏电池断栅检测方法及*** | |
| Shamsollahi et al. | A timely object recognition method for construction using the mask R-CNN architecture | |
| CN116481434B (zh) | 一种视觉检测用自定位控制方法、装置以及自定位*** | |
| CN110930437B (zh) | 目标跟踪方法和装置 | |
| CN111862206A (zh) | 一种视觉定位方法、装置、电子设备及可读存储介质 | |
| CN113095345A (zh) | 数据匹配方法、装置和数据处理设备 | |
| CN110674778B (zh) | 一种高分辨视频图像目标检测方法及装置 | |
| CN113569752B (zh) | 车道线结构识别方法、装置、设备及介质 | |
| CN115439792A (zh) | 一种基于人工智能的监控方法和*** | |
| CN115424141A (zh) | 一种光伏装机容量计算方法、装置、电子设备和介质 | |
| CN114898054A (zh) | 一种视觉定位方法和*** | |
| CN112150373B (zh) | 图像处理方法、图像处理装置和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |