CN113177932B - 一种工作区的划分和跟踪方法以及装置 - Google Patents

一种工作区的划分和跟踪方法以及装置 Download PDF

Info

Publication number
CN113177932B
CN113177932B CN202110544127.XA CN202110544127A CN113177932B CN 113177932 B CN113177932 B CN 113177932B CN 202110544127 A CN202110544127 A CN 202110544127A CN 113177932 B CN113177932 B CN 113177932B
Authority
CN
China
Prior art keywords
video image
working area
tracking
preset
preset condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110544127.XA
Other languages
English (en)
Other versions
CN113177932A (zh
Inventor
王瑞峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaoming Zhitie Technology Co ltd
Original Assignee
Beijing Xiaoming Zhitie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoming Zhitie Technology Co ltd filed Critical Beijing Xiaoming Zhitie Technology Co ltd
Priority to CN202110544127.XA priority Critical patent/CN113177932B/zh
Publication of CN113177932A publication Critical patent/CN113177932A/zh
Application granted granted Critical
Publication of CN113177932B publication Critical patent/CN113177932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种工作区的划分和跟踪方法以及装置，该方法包括：获取用于评价焊接头操作质量的第一视频图像、用于实时评价焊接头操作质量的第二视频图像、第一预设条件以及预设跟踪条件，对原始跟踪位置进行原始化；对第二视频图像进行视频抽帧处理，生成第三视频图像；对第三视频图像进行帧检测，生成第四视频图像；对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像，根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区；根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令。

Description

一种工作区的划分和跟踪方法以及装置
技术领域
本发明涉及焊接头操作质量检测技术领域，尤其涉及一种工作区的划分和跟踪方法以及装置。
背景技术
目前，我国有18个铁路局，共180多个铁路段，均已通过配备记录仪或摄像头进行焊接视频记录。所有焊头焊接记录会交到铁路段，希望通过查看视频发现焊接过程存在的问题，也有利于事故明确责任。焊接包含多个工艺，每个工艺有多个需要卡控的项位置。其中通过视觉的方法，主要是为了定位其中的预热起止时刻、反应起止时刻、镇静时刻、拆模时刻、推模时刻等关键时刻。
现有技术的不足，由于焊接量大，5万多个焊接头，每个组配置2个摄像摄像头，录制时间约40～50分钟，如果人工查看，将消耗大量人力和时间，但是视频量太大，太消耗时间和人力，效率过低，导致视频只有在焊头出问题的时候才查看视频。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种工作区的划分和跟踪方法以及装置。
本发明解决上述技术问题的技术方案如下：一种工作区的划分和跟踪方法，其包括：
获取用于评价焊接头操作质量的第一视频图像、用于实时评价焊接头操作质量的第二视频图像、第一预设条件以及预设跟踪条件，其中，第一视频图像中预设有原始跟踪位置；
对原始跟踪位置进行原始化；
对所述第二视频图像进行视频抽帧处理，生成第三视频图像；
对第三视频图像进行帧检测，生成第四视频图像；
对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像，其中，多个工作区中分别设置有模具部件；
根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区；
根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令。
进一步地，所述第一预设条件为：在多个工作区中，保留三个部件最多的工作区；
所述根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区的步骤，包括：
获取第五视频图像中每个工作区内所包含的部件数量；其中，部件包括模具部件以及非模具部件；
根据每个工作区内所包含的部件数量将工作区进行排序，形成部件数量逐渐减小的工作区列表；
筛选工作区列表中排名靠前的三个工作区，生成符合第一预设条件的工作区。
进一步地，所述对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像的步骤，包括：
获取第二预设条件；
在第四视频图像中筛选出模具部件以及除模具部件之外的非模具部件；
以模具部件为中心创建工作区；
根据第二预设条件，将非模具划分至相邻工作区内；
滤除不符合第二预设条件的非模具部件以及工作区。
进一步地，所述根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令的步骤，包括：
根据预设跟踪条件判断符合第一预设条件的工作区是否位于原始跟踪位置；
若是，则更新原始跟踪位置。
进一步地，所述根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令的步骤，包括：
若否，则判断符合第一预设条件的工作区中的模具部件的中心距原始跟踪位置的距离是否小于预设阈值；
若是，则更新中心位置；
若否，则滤除该工作区。
本发明的有益效果是：提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。当画面中有多个作业同时操作时，在目标检测后，便于确定检出的部件属于当前帧哪个工作区，以及当前帧的该工作区和上一帧的哪个工作区是同一个。在通过目标建立模型后，对检测结果进行了规则优化，合理的对画面中分布在各个位置的各个种类的目标进行分组，并且当画面中有多个焊接作业时，与历史帧中同一个工作区域的作业建立联系，即从空间和时间两个维度对结果进行相关性关联。由于使用场景的相机和焊接点位几乎不会移动，但是焊接区域的形态变化很大，因而本发明中通过关键点的跟踪能够更好的解决问题。解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。
此外，本发明还提供了一种工作区的划分和跟踪装置，其包括：获取设备，用于获取用于评价焊接头操作质量的第一视频图像、用于实时评价焊接头操作质量的第二视频图像、第一预设条件以及预设跟踪条件，其中，第一视频图像中预设有原始跟踪位置；
处理设备，用于对原始跟踪位置进行原始化；
处理设备，还用于对所述第二视频图像进行视频抽帧处理，生成第三视频图像；
处理设备，还用于对第三视频图像进行帧检测，生成第四视频图像；
处理设备，还用于对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像，其中，多个工作区中分别设置有模具部件；
处理设备，还用于根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区；
处理设备，还用于根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令。
进一步地，所述第一预设条件为：在多个工作区中，保留三个部件最多的工作区；
获取设备，还用于获取第五视频图像中每个工作区内所包含的部件数量；其中，部件包括模具部件以及非模具部件；
处理设备，还用于根据每个工作区内所包含的部件数量将工作区进行排序，形成部件数量逐渐减小的工作区列表；
处理设备，还用于筛选工作区列表中排名靠前的三个工作区，生成符合第一预设条件的工作区。
进一步地，获取设备，还用于获取第二预设条件；
处理设备，还用于在第四视频图像中筛选出模具部件以及除模具部件之外的非模具部件；
处理设备，还用于以模具部件为中心创建工作区；
处理设备，还用于根据第二预设条件，将非模具划分至相邻工作区内；
处理设备，还用于滤除不符合第二预设条件的非模具部件以及工作区。
进一步地，处理设备，还用于根据预设跟踪条件判断符合第一预设条件的工作区是否位于原始跟踪位置；
若判断结果为是，则更新原始跟踪位置。
进一步地，若判断结果为否，则判断符合第一预设条件的工作区中的模具部件的中心距原始跟踪位置的距离是否小于预设阈值；
若判断结果为是，则更新中心位置；
若判断结果为否，则滤除该工作区。
本发明的有益效果是：提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。当画面中有多个作业同时操作时，在目标检测后，便于确定检出的部件属于当前帧哪个工作区，以及当前帧的该工作区和上一帧的哪个工作区是同一个。在通过目标建立模型后，对检测结果进行了规则优化，合理的对画面中分布在各个位置的各个种类的目标进行分组，并且当画面中有多个焊接作业时，与历史帧中同一个工作区域的作业建立联系，即从空间和时间两个维度对结果进行相关性关联。由于使用场景的相机和焊接点位几乎不会移动，但是焊接区域的形态变化很大，因而本发明中通过关键点的跟踪能够更好的解决问题。解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。
本发明附加的方面的优位置将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明实施例提供的工作区的划分和跟踪方法的示意性流程图之一。
图2为本发明实施例提供的工作区的划分和跟踪方法的示意性流程图之二。
图3为本发明实施例提供的工作区的划分和跟踪方法的示意性流程图之三。
图4为本发明实施例提供的工作区的划分和跟踪方法的示意性流程图之四。
图5为本发明实施例提供的工作区的划分和跟踪方法的示意性流程图之五。
图6为本发明实施例提供的工作区的划分和跟踪方法的原理示意图。
图7为本发明实施例提供的工作区的划分和跟踪装置的示意性结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1至图6所示，本发明实施例提供了一种工作区的划分和跟踪方法，其包括：
S1、获取用于评价焊接头操作质量的第一视频图像、用于实时评价焊接头操作质量的第二视频图像、第一预设条件以及预设跟踪条件，其中，第一视频图像中预设有原始跟踪位置；
S2、对原始跟踪位置进行原始化；
S3、对所述第二视频图像进行视频抽帧处理，生成第三视频图像；
S4、对第三视频图像进行帧检测，生成第四视频图像；
S5、对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像，其中，多个工作区中分别设置有模具部件；
S6、根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区；
S7、根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令。
根据调整原始跟踪位置的指令调整跟踪位置。
本发明实施例是在视频的初始图像设置原始跟踪位置，然后在实时视频监控中，将后续视频的图像与初始图像的原始跟踪位置进行对比以及分析，之后根据预设条件，调整跟踪位置。
如图1至图6所示，具体为，初始化原始跟踪点；视频抽帧；检测模型推理；工作区划分模块(设备)；按照工作区部件数量排序，选出部件最多的3个工作区；工作区跟踪模块(设备)；分类等后续分析；返回视频抽帧步骤。
其中，工作区划分模块用于：当前帧检测和追踪后的结果；筛选出模具部件，创建作业区；其余部件按照欧式距离，划分如距离最近的作业区；基于相对位置，滤除相对位置不合理的部件；滤除当前帧的部件只有模具的作业区。
工作区跟踪模块用于：分组后的检测结果；是否位于初始位置；若是，则更新中心点位置；这里的中心点即为原始跟踪位置。若否，则判断工作区模具中心和中心点距离是否小于阈值；若是，则更新中心点位置；若否，则PASS，即滤除。后续根据中心点位置标签为作业区打标签。
解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。希望用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；希望通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。
本发明属于计算机视觉的视频内容分析领域，但是目的不同，重点在于提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等。目前没有查询到基于焊接的视频的质量分析相关专利。现有技术方案是工务段排专人人工查看录像，效率低成本高，准确性不可靠，且普遍有积压现象。
如图1至图6所示，标注数据集；
选择深度学***衡)并训练；
检测目标的计数和追踪；
工作区的划分和跟踪；
基于帧内容的工作区状态判断；
基于整个视频上下文的步骤节点判断；
本发明实施例介绍其中的第4个步骤，即在通过目标见模型后，并且对检测结果进行了规则优化，如何合理的对画面中分布在各个位置的各个种类的目标进行分组，并且当画面中有多个焊接作业时，如何与历史帧中同一个工作区域的作业建立联系，即从空间和时间两个维度对结果进行相关性关联。
如图1至图6所示，具体实施方式按照如下步骤依次进行：
工作区的划分：当前帧检测和追踪后的结果；筛选出模具部件，创建作业区；其余部件按照欧式距离，划分如距离最近的作业区；基于相对位置，滤除相对位置不合理的部件；滤除当前帧的部件只有模具的作业区。
筛选当前帧所有的模具，暂时认为每个模具代表一个作业区域，因为模具几乎存在于整个作业过程，且固定在钢轨上作参考几乎不会误检或漏检；
对于除模具外的其余部件，选择欧氏距离最近的模具，并划分入该作业区；
对作业区的部件根据相对模检的位置进行过滤；
对作业区的部件数量进行过滤，如果只有模具，那么该作业区可能为误检或者没有有效焊接作业，则进行滤除。
具体相对位置的规则如图6：对于检测出的模具④，宽度为W，高度为H，对其他部件的位置需要做如图相对位置限定，如下：坩埚盖中心限制范围②坩埚桶中心限制范围③灰渣盘左中心限制范围④检测出的模具⑤灰渣盘右中心限制范围。
为每个部件都能确保匹配到最准确的检测目标，并添加了作业区“”M“标记，”同时滤除了多余检测、误检目标、无效目标。
工作区跟踪
初始化三个原始中心点，坐标分别为：(0.25*w，0)，0.5*w，0)，0.75*w，0)，通常一个画面中最多拍摄三个焊接作业，并把三个点标记为L\M\R，如图上边缘的三个点；
如果中心点位于原始位置，那么更新的距离不设限制。如图，由于安装了模具，那么在第一次检测出后，M中心点的位置进行了变化；
对于一帧的检测结果，进行工作区划分。然后对于每个中心点，挑选距离最近的作业区域。如果该中心点落在作业区的模具矩形边界范围内或者该中心点位置初始位置，那么对中心点位置进行更新，新坐标为工作区域的模具中心点，并标记该作业区的标记为中心点的标记。
三个中心点在会随着作业区域动态更新，并赋予作业区唯一不变的L/M/R标记。
解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。希望用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；希望通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。
运用传统的多目标追踪方法也可以实现类似效果，但是相对而言耗时计算复杂度大。由于使用场景的相机和焊接点位几乎不会移动，但是焊接区域的形态变化很大，因而关键点的跟踪可更好的解决问题。基于检测结果的工作区划分方法(确定空间维度作业区归属关系)；工作区跟踪方法(确定时间维度作业区对应关系)。
本发明实施例的技术方案，针对的是形态实时变动的目标，并对其进行跟踪处理。
进一步地，所述第一预设条件为：在多个工作区中，保留三个部件最多的工作区；
所述根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区的步骤，包括：
获取第五视频图像中每个工作区内所包含的部件数量；其中，部件包括模具部件以及非模具部件；
根据每个工作区内所包含的部件数量将工作区进行排序，形成部件数量逐渐减小的工作区列表；
筛选工作区列表中排名靠前的三个工作区，生成符合第一预设条件的工作区。
进一步地，所述对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像的步骤，包括：
获取第二预设条件；
在第四视频图像中筛选出模具部件以及除模具部件之外的非模具部件；
以模具部件为中心创建工作区；
根据第二预设条件，将非模具划分至相邻工作区内；
滤除不符合第二预设条件的非模具部件以及工作区。
进一步地，所述根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令的步骤，包括：
根据预设跟踪条件判断符合第一预设条件的工作区是否位于原始跟踪位置；
若是，则更新原始跟踪位置。
进一步地，所述根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令的步骤，包括：
若否，则判断符合第一预设条件的工作区中的模具部件的中心距原始跟踪位置的距离是否小于预设阈值；
若是，则更新中心位置；
若否，则滤除该工作区。
本发明的有益效果是：提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。当画面中有多个作业同时操作时，在目标检测后，便于确定检出的部件属于当前帧哪个工作区，以及当前帧的该工作区和上一帧的哪个工作区是同一个。在通过目标建立模型后，对检测结果进行了规则优化，合理的对画面中分布在各个位置的各个种类的目标进行分组，并且当画面中有多个焊接作业时，与历史帧中同一个工作区域的作业建立联系，即从空间和时间两个维度对结果进行相关性关联。由于使用场景的相机和焊接点位几乎不会移动，但是焊接区域的形态变化很大，因而本发明中通过关键点的跟踪能够更好的解决问题。解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。
如图7所示，此外，本发明还提供了一种工作区的划分和跟踪装置，其包括：获取设备，用于获取用于评价焊接头操作质量的第一视频图像、用于实时评价焊接头操作质量的第二视频图像、第一预设条件以及预设跟踪条件，其中，第一视频图像中预设有原始跟踪位置；
处理设备，用于对原始跟踪位置进行原始化；
处理设备，还用于对所述第二视频图像进行视频抽帧处理，生成第三视频图像；
处理设备，还用于对第三视频图像进行帧检测，生成第四视频图像；
处理设备，还用于对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像，其中，多个工作区中分别设置有模具部件；
处理设备，还用于根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区；
处理设备，还用于根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令。
进一步地，所述第一预设条件为：在多个工作区中，保留三个部件最多的工作区；
获取设备，还用于获取第五视频图像中每个工作区内所包含的部件数量；其中，部件包括模具部件以及非模具部件；
处理设备，还用于根据每个工作区内所包含的部件数量将工作区进行排序，形成部件数量逐渐减小的工作区列表；
处理设备，还用于筛选工作区列表中排名靠前的三个工作区，生成符合第一预设条件的工作区。
进一步地，获取设备，还用于获取第二预设条件；
处理设备，还用于在第四视频图像中筛选出模具部件以及除模具部件之外的非模具部件；
处理设备，还用于以模具部件为中心创建工作区；
处理设备，还用于根据第二预设条件，将非模具划分至相邻工作区内；
处理设备，还用于滤除不符合第二预设条件的非模具部件以及工作区。
进一步地，处理设备，还用于根据预设跟踪条件判断符合第一预设条件的工作区是否位于原始跟踪位置；
若判断结果为是，则更新原始跟踪位置。
进一步地，若判断结果为否，则判断符合第一预设条件的工作区中的模具部件的中心距原始跟踪位置的距离是否小于预设阈值；
若判断结果为是，则更新中心位置；
若判断结果为否，则滤除该工作区。
本发明的有益效果是：提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。当画面中有多个作业同时操作时，在目标检测后，便于确定检出的部件属于当前帧哪个工作区，以及当前帧的该工作区和上一帧的哪个工作区是同一个。在通过目标建立模型后，对检测结果进行了规则优化，合理的对画面中分布在各个位置的各个种类的目标进行分组，并且当画面中有多个焊接作业时，与历史帧中同一个工作区域的作业建立联系，即从空间和时间两个维度对结果进行相关性关联。由于使用场景的相机和焊接点位几乎不会移动，但是焊接区域的形态变化很大，因而本发明中通过关键点的跟踪能够更好的解决问题。解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种工作区的划分和跟踪方法，其特征在于，包括：
获取用于评价焊接头操作质量的第一视频图像、用于实时评价焊接头操作质量的第二视频图像、第一预设条件以及预设跟踪条件，其中，第一视频图像中预设有原始跟踪位置；
对原始跟踪位置进行原始化；
对所述第二视频图像进行视频抽帧处理，生成第三视频图像；
对第三视频图像进行帧检测，生成第四视频图像；
对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像，其中，多个工作区中分别设置有模具部件；
根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区；
根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令。
2.根据权利要求1所述的一种工作区的划分和跟踪方法，其特征在于，所述第一预设条件为：在多个工作区中，保留三个部件最多的工作区；
所述根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区的步骤，包括：
获取第五视频图像中每个工作区内所包含的部件数量；其中，部件包括模具部件以及非模具部件；
根据每个工作区内所包含的部件数量将工作区进行排序，形成部件数量逐渐减小的工作区列表；
筛选工作区列表中排名靠前的三个工作区，生成符合第一预设条件的工作区。
3.根据权利要求1所述的一种工作区的划分和跟踪方法，其特征在于，所述对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像的步骤，包括：
获取第二预设条件；
在第四视频图像中筛选出模具部件以及除模具部件之外的非模具部件；
以模具部件为中心创建工作区；
根据第二预设条件，将非模具划分至相邻工作区内；
滤除不符合第二预设条件的非模具部件以及工作区。
4.根据权利要求1所述的一种工作区的划分和跟踪方法，其特征在于，所述根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令的步骤，包括：
根据预设跟踪条件判断符合第一预设条件的工作区是否位于原始跟踪位置；
若是，则更新原始跟踪位置。
5.根据权利要求4所述的一种工作区的划分和跟踪方法，其特征在于，所述根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令的步骤，包括：
若否，则判断符合第一预设条件的工作区中的模具部件的中心距原始跟踪位置的距离是否小于预设阈值；
若是，则更新中心位置；
若否，则滤除该工作区。
6.一种工作区的划分和跟踪装置，其特征在于，包括：
获取设备，用于获取用于评价焊接头操作质量的第一视频图像、用于实时评价焊接头操作质量的第二视频图像、第一预设条件以及预设跟踪条件，其中，第一视频图像中预设有原始跟踪位置；
处理设备，用于对原始跟踪位置进行原始化；
处理设备，还用于对所述第二视频图像进行视频抽帧处理，生成第三视频图像；
处理设备，还用于对第三视频图像进行帧检测，生成第四视频图像；
处理设备，还用于对第四视频图像进行工作区划分处理，生成具有多个工作区的第五视频图像，其中，多个工作区中分别设置有模具部件；
处理设备，还用于根据第一预设条件对第五视频图像中的多个工作区进行筛选，生成符合第一预设条件的工作区；
处理设备，还用于根据第一视频图像中的原始跟踪位置以及预设跟踪条件对符合第一预设条件的工作区进行分析，生成调整原始跟踪位置的指令。
7.根据权利要求6所述的一种工作区的划分和跟踪装置，其特征在于，所述第一预设条件为：在多个工作区中，保留三个部件最多的工作区；
获取设备，还用于获取第五视频图像中每个工作区内所包含的部件数量；其中，部件包括模具部件以及非模具部件；
处理设备，还用于根据每个工作区内所包含的部件数量将工作区进行排序，形成部件数量逐渐减小的工作区列表；
处理设备，还用于筛选工作区列表中排名靠前的三个工作区，生成符合第一预设条件的工作区。
8.根据权利要求6所述的一种工作区的划分和跟踪装置，其特征在于，
获取设备，还用于获取第二预设条件；
处理设备，还用于在第四视频图像中筛选出模具部件以及除模具部件之外的非模具部件；
处理设备，还用于以模具部件为中心创建工作区；
处理设备，还用于根据第二预设条件，将非模具划分至相邻工作区内；
处理设备，还用于滤除不符合第二预设条件的非模具部件以及工作区。
9.根据权利要求6所述的一种工作区的划分和跟踪装置，其特征在于，
处理设备，还用于根据预设跟踪条件判断符合第一预设条件的工作区是否位于原始跟踪位置；
若判断结果为是，则更新原始跟踪位置。
10.根据权利要求9所述的一种工作区的划分和跟踪装置，其特征在于，
若判断结果为否，则判断符合第一预设条件的工作区中的模具部件的中心距原始跟踪位置的距离是否小于预设阈值；
若判断结果为是，则更新中心位置；
若判断结果为否，则滤除该工作区。
CN202110544127.XA 2021-05-19 2021-05-19 一种工作区的划分和跟踪方法以及装置 Active CN113177932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110544127.XA CN113177932B (zh) 2021-05-19 2021-05-19 一种工作区的划分和跟踪方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110544127.XA CN113177932B (zh) 2021-05-19 2021-05-19 一种工作区的划分和跟踪方法以及装置

Publications (2)

Publication Number Publication Date
CN113177932A CN113177932A (zh) 2021-07-27
CN113177932B true CN113177932B (zh) 2023-08-04

Family

ID=76929472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110544127.XA Active CN113177932B (zh) 2021-05-19 2021-05-19 一种工作区的划分和跟踪方法以及装置

Country Status (1)

Country Link
CN (1) CN113177932B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0929434A (ja) * 1995-07-14 1997-02-04 Suzuki Motor Corp 溶接位置検査装置および溶接システム
JP2006038784A (ja) * 2004-07-30 2006-02-09 Suncall Corp 磁気ヘッドサスペンションの溶接位置測定方法及び装置
CN108057938A (zh) * 2016-11-07 2018-05-22 林肯环球股份有限公司 带有显示器的对焊工帽罩提供视觉和音频提示的焊接***
CN110268441A (zh) * 2017-01-09 2019-09-20 凯尔索富特环球控股有限公司 获得物体的多个部件的3d模型数据的方法
JP2019214100A (ja) * 2018-06-13 2019-12-19 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
CN111761580A (zh) * 2020-07-01 2020-10-13 青岛九维华盾科技研究院有限公司 一种多机器人图案喷涂的工作区柔性分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180130226A1 (en) * 2016-11-07 2018-05-10 Lincoln Global, Inc. System and method for calibrating a welding trainer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0929434A (ja) * 1995-07-14 1997-02-04 Suzuki Motor Corp 溶接位置検査装置および溶接システム
JP2006038784A (ja) * 2004-07-30 2006-02-09 Suncall Corp 磁気ヘッドサスペンションの溶接位置測定方法及び装置
CN108057938A (zh) * 2016-11-07 2018-05-22 林肯环球股份有限公司 带有显示器的对焊工帽罩提供视觉和音频提示的焊接***
CN110268441A (zh) * 2017-01-09 2019-09-20 凯尔索富特环球控股有限公司 获得物体的多个部件的3d模型数据的方法
JP2019214100A (ja) * 2018-06-13 2019-12-19 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
CN111761580A (zh) * 2020-07-01 2020-10-13 青岛九维华盾科技研究院有限公司 一种多机器人图案喷涂的工作区柔性分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
微观复合造型模具拉延成形数值模拟和优化研究;张培耘;华希俊;倪健;符永宏;纪敬虎;;润滑与密封(11);第34页摘要-第37页第3节 *

Also Published As

Publication number Publication date
CN113177932A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110111331B (zh) 基于机器视觉的蜂窝纸芯缺陷检测方法
CN109389161B (zh) 基于深度学习的垃圾识别进化学习方法、装置、***及介质
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN108312456B (zh) 一种注塑机产品工艺品质监控***以及监控方法
CN112614105B (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN113177932B (zh) 一种工作区的划分和跟踪方法以及装置
CN112733889A (zh) 一种基于改进vgg16深度神经网络的穿孔等离子弧焊接穿孔及熔透状态识别方法
US11455767B1 (en) Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)
CN112541367A (zh) 一种基于深度学习和图像处理的多种二维码识别方法
CN112461846A (zh) 工件缺陷检测方法及装置
CN113723841B (zh) 一种装配式预制构件中工装缺失的在线检测方法
CN116342502A (zh) 一种基于深度学习的工业视觉检测方法
CN216988673U (zh) 电感六面视觉检测装置
CN205034418U (zh) 一种基于机器视觉的棒材自动定支分钢装置
CN109978844A (zh) 一种基于深度学习模块化的智能分析方法以及***
CN109158325A (zh) 集成电路冲切***品种的视觉识别装置及识别方法和应用
CN114501980A (zh) 一种异形元器件的引脚检测及自动插件的装置和方法
CN113177931A (zh) 一种关键部件的检测追踪方法以及装置
CN102529020A (zh) 模具检测、保护及零件检测、摘取的手眼集成装置
CN108181315B (zh) 一种基于图像处理的饼干损伤检测装置及检测方法
CN117911415B (zh) 一种基于机器视觉的设备自动化监管***及方法
CN114979485B (zh) 一种分布式多目相机触发数不一致纠偏方法
CN117541739B (zh) 基于OpenCV的仓库地图可视化构建方法及***
CN116977998B (zh) 涂装生产线工件上件视觉识别***及识别方法
CN109902694A (zh) 一种方孔特征的提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220728

Address after: Room 07, 6th floor, building 6, District 4, No. 186, South Fourth Ring West Road, Fengtai District, Beijing 100160

Applicant after: Beijing Xiaoming zhitie Technology Co.,Ltd.

Address before: 100089 a1002, 10th floor, building 1, yard 1, Zhongguancun East Road, Haidian District, Beijing

Applicant before: MININGLAMP SOFTWARE SYSTEMS Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant