CN112052696B - 一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备 - Google Patents

一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备 Download PDF

Info

Publication number
CN112052696B
CN112052696B CN202010897845.0A CN202010897845A CN112052696B CN 112052696 B CN112052696 B CN 112052696B CN 202010897845 A CN202010897845 A CN 202010897845A CN 112052696 B CN112052696 B CN 112052696B
Authority
CN
China
Prior art keywords
bundled
bar
tag
identification frame
bars
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010897845.0A
Other languages
English (en)
Other versions
CN112052696A (zh
Inventor
刘斌
袁钰博
庞殊杨
李文铃
刘常坤
贾鸿盛
毛尚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202010897845.0A priority Critical patent/CN112052696B/zh
Publication of CN112052696A publication Critical patent/CN112052696A/zh
Application granted granted Critical
Publication of CN112052696B publication Critical patent/CN112052696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Toxicology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的棒材成品库出库标签识别方法，包括：通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；基于所述标签的位置信息，对所述标签进行识别，得到签标信息。本发明可以对持续运转的汽车自动发货产线进行实时检测，识别物料规格信息并自动传递给其他***，替换人工检测，提高物料规格信息识别和核对的效率与精确度。

Description

一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备
技术领域
本发明涉及图像识别领域，更具体地说，涉及一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备。
背景技术
在钢铁产品的输送中，棒材成品的汽车自动装车是很常见的方式。在汽车自动发货区棒材出库时需要进行物料规格信息识别与核对，保障库区物料入/出库信息准确性，否则可能造成物料遗失、信息不同步和物料规格不符合客户要求等情况，造成钢厂经济损失。因此有必要在棒材成品库出库时对成捆棒材和标签进行信息识别，并自动传递给其他***。
目前的棒材成品库出库标签识别主要依靠有经验的工人进行识别，由于多条产线需要长时间运行，工人无法将标签信息及时传递给其他***，且仅仅依靠人工识别，可能存在漏检、错检的情况。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的棒材成品库出库标签识别方法，包括：
通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；
基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；
基于所述标签的位置信息，对所述标签进行识别，得到签标信息。
可选地，多个所述成捆棒材的位置信息为：
Figure BDA0002658950240000021
其中，每一行对应一个成捆棒材识别框，Band1xmin,Band1ymin分别为第一个成捆棒材识别框左上角点的x、y坐标；Band1xmax,Band1ymax分别为第一个成捆棒材识别框右下角点的x、y坐标，Band2则代表第二个成捆棒材识别框，Band3则代表第三个成捆棒材识别框，Bandn则代表第n个成捆棒材识别框。
可选地，还包括：
对所述多个成捆棒材进行排序，并计算每一个成捆棒材的优先级；根据所述优先级与所述多个成捆棒材的位置信息对所述多个成捆棒材上的标签进行识别。
可选地，成捆棒材的优先级的计算方法为：若标签识别框左上角点的y坐标越大，则具较高的优先级；若当标签识别框左上角点的y坐标相等时，标签识别框左上角点的x坐标越小，则具有较低的优先级。
可选地，在每一个成捆棒材中，所述标签的位置信息为：
Figure BDA0002658950240000022
其中，每一行分别对应一个所述标签识识框，Selc1xmin,Selc1ymin分别为第一个所述标签识别框左上角点的x、y坐标；Selc1xmax,Selc1ymax分别为第一个所述标签识别框右下角点的x、y坐标，Selc2则代表第二个所述标签识别框，Selc3则代表第三个所述标签识别框，Selcn则代表第n个所述标签识别框。
可选地，还包括：
对每个成捆棒材中的多个标签进行排序，并计算每一个标签的优先级；根据所述优先级标签与所述标签的位置信息对所述多个成捆棒材上的标签进行识别。
可选地，所述标签的优先级的计算方法为：若标签识别框左上角点的y坐标越大，则具较高的优先级；若当所述标签识别框左上角点的y坐标相等时，标签识别框左上角点的x坐标越小，则具有较低的优先级。
可选地，采用SSD-MobileNet神经网络、R-CNN、Faster-RCNN或YOLO对训练所述成捆棒材检测模型或/和所述标签检测模型。
可选地，训练所述成捆棒材检测模型的方法包括：
采集成捆棒材的初始图像；
对所述初始图像中的成捆棒材进行标注与框选，以得到初始成捆棒材识别框的位置信息；
根据所述初始成捆棒材识别框的位置信息构建用于训练成捆棒材检测模型的数据集；
基于所述训练成捆棒材检测模型的数据集进行训练得到成捆棒材检测模型。
可选地，训练所述标签检测模型的方法包括：
采集标签的初始图像；
对所述标签的初始图像中的标签进行标注与框选，以得到初始标签识别框的位置信息；
根据所述初始标签识别框的位置信息构建用于训练标签检测模型的数据集；
基于所述训练标签检测模型的数据集进行训练得到标签检测模型。
为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的棒材成品库出库标签识别装置，包括：
成捆棒材检测模块，用于通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；
标签检测模块，用于基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；
标签信息识别模块，用于基于所述标签的位置信息，对所述标签进行识别，得到签标信息。
可选地，在每一个成捆棒材中，所述标签的位置信息为：
Figure BDA0002658950240000031
其中，每一行分别对应一个所述标签识识框，Selc1xmin,Selc1ymin分别为第一个所述标签识别框左上角点的x、y坐标；Selc1xmax,Selc1ymax分别为第一个所述标签识别框右下角点的x、y坐标，Selc2则代表第二个所述标签识别框，Selc3则代表第三个所述标签识别框，Selcn则代表第n个所述标签识别框。
可选地，多个所述成捆棒材的位置信息为：
Figure BDA0002658950240000041
其中，每一行对应一个成捆棒材识别框，Band1xmin,Band1ymin分别为第一个成捆棒材识别框左上角点的x、y坐标；Band1xmax,Band1ymax分别为第一个成捆棒材识别框右下角点的x、y坐标，Band2则代表第二个成捆棒材识别框，Band3则代表第三个成捆棒材识别框，Bandn则代表第n个成捆棒材识别框。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行所述的方法。
如上所述，本发明的一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备，具有以下有益效果：
本发明的一种基于机器视觉的棒材成品库出库标签识别方法，包括：通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；基于所述标签的位置信息，对所述标签进行识别，得到签标信息。本发明可以对持续运转的汽车自动发货产线进行实时检测，识别物料规格信息并自动传递给其他***，替换人工检测，提高物料规格信息识别和核对的效率与精确度。
附图说明
图1为本发明一实施例一种基于机器视觉的棒材成品库出库标签识别方法的流程图；
图2为本发明一实施例相机设置位置示意图；
图3为本发明一实施例相机设置位置现场示意图；
图4为本发明一实施例成捆棒材检测模型的训练方法流程图；
图5为本发明一实施例标签检测模型的训练方法流程图；
图6为本发明一实施例成捆棒材排序效果示意图；
图7为本发明一实施例标签聚焦后识别画面示意图；
图8为本发明一实施例一种基于机器视觉的棒材成品库出库标签识别装置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明实施例提供一种基于机器视觉的棒材成品库出库标签识别方法，用于在钢铁产品的输送中，在汽车自动发货区棒材出库时需要进行物料规格信息识别。具体地，如图1所示，该方法包括：
S11通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；其中，感兴趣区域的图像一般是指包含成捆棒材的图像，棒材状态是处于成捆状态，由于金属棒材的堆积，无法从平行于金属棒材长度面的方向统计，因此，将成捆棒材的端面作为识别目标。
S12基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；
S13基于所述标签的位置信息，对所述标签进行识别，得到签标信息。
通过上述方法，可以对持续运转的汽车自动发货产线进行实时检测，识别物料规格信息并自动传递给其他***，替换人工检测，提高物料规格信息识别和核对的效率与精确度。
在一实施例中，如图2所示，为提高汽车自动发货的工作效率和保障工人安全，在汽车自动发货区棒材成品区的三侧设置栅栏1，以防止汽车进入其余危险区域；
为了采集图像以及提高采集图像的质量，在成品区内的靠近车辆尾部一侧栅栏后设置可调焦相机和补光设备。其中，所述补光设备包括但不限于辅助光源、反光板、LED等具有补光效果的设备。
汽车自动发货区棒材成品区的车辆车厢上的成捆棒材2会重叠摆放，靠近车辆尾部一侧栅栏后设置可调焦相机和补光设备，使相机正对车辆尾部，相机摄像头正对车厢上的成捆棒材，以识别所述成捆棒材上的标签，可避免因成捆棒材重叠导致的误识别，相机摆放位置如图2所示。
在一实施例中，所述的感兴趣区域(ROI)为相机镜头正对的栅栏围成的区域，如图2、3所示。
在一实施例中，采用以下方法训练目标检测模型，包括成捆棒材检测模型和标签检测模型。
如图4所示，成捆棒材检测模型的训练方法包括：
S41采集成捆棒材的初始图像；其中，在采集初始图像时，需要将相机镜头正对感兴趣区域。
S42对所述初始图像中的成捆棒材进行标注与框选，以得到初始成捆棒材识别框的位置信息；其中，识别框可以为矩形框，成捆棒材被包含在矩形框中。
S43根据所述初始成捆棒材识别框的位置信息构建用于训练成捆棒材检测模型的数据集；
S44基于所述训练成捆棒材检测模型的数据集进行训练得到成捆棒材检测模型。
具体地，将训练成捆棒材检测模型的数据集的据输入到成捆棒材检测网络进行训练，所述成捆棒材检测网络对初始图像中的成捆棒材的特征进行提取学习，进而获取用于检测成捆棒材的较优的检测模型。
本一实施例中，选用了SSD-MobileNet神经网络作为成捆棒材检测网络，其他的目标识别类神经网络亦可实现与本实施相近的效果，如R-CNN、Faster-RCNN与YOLO系列等。
如图5所示，标签检测模型的训练方法包括：
S51采集标签的初始图像；其中，在采集初始图像时，需要将相机镜头正对感兴趣区域。
S52对所述初始图像中的标签进行标注与框选，以得到初始标签识别框的位置信息；其中，识别框可以为矩形框，标签被包含在矩形框中。
S53根据所述初始标签识别框的位置信息构建用于训练标签检测模型的数据集；
S54基于所述训练标签检测模型的数据集进行训练得到标签检测模型。
具体地，将训练标签检测模型的数据集的据输入到标签检测网络进行训练，所述标签检测网络对初始图像中的标签的特征进行提取学习，进而获取用于检测标签的较优的检测模型。
本一实施例中，选用了SSD-MobileNet神经网络作为成捆棒材检测网络，其他的目标识别类神经网络亦可实现与本实施相近的效果，如R-CNN、Faster-RCNN与YOLO系列等。
在需要对成捆捧材进行检测时，将实时采集的感兴趣区域的图像输入到成捆棒材检测模型中，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；其中，输出位置信息的格式与内容为：
Figure BDA0002658950240000071
其中，每一行对应一个成捆棒材识别框，Band1xmin,Band1ymin分别为第一个成捆棒材识别框左上角点的x、y坐标；Band1xmax,Band1ymax分别为第一个成捆棒材识别框右下角点的x、y坐标，Band2则代表第二个成捆棒材识别框，Band3则代表第三个成捆棒材识别框，Bandn则代表第n个成捆棒材识别框。
实际上，成捆棒材的位置指的是成捆棒材识别框的位置，该识别框为一个能够将成捆棒材包含在内的最小矩形框或正方形框。
在一实施例中，在完成对多个成捆棒材的检测后，还包括：
对所述多个成捆棒材进行排序，并计算每一个成捆棒材的优先级；根据所述优先级与所述多个成捆棒材的位置信息对所述多个成捆棒材上的标签进行识别。其中，可以采用智能排序算法对成捆棒材进行排序。排序效果如图6所示。
优先级的计算方法为：成捆棒材识别框左上角点的y坐标越大，则具有较高的优先级；若当所述y坐标相等时，成捆棒材识别框左上角点的x坐标越小，则具有较低的优先级。
根据所述成捆棒材的优先级和所述成捆棒材的位置信息，将相机调焦至优先级最高的成捆棒材的位置，对成捆棒材中所有的标签进行识别。
在需要对标签进行识别时，将实时采集的感兴趣区域的图像输入到标签检测模型中，识别出其中的多个标签，并输出每一个标签的位置信息；其中，输出位置信息的格式与内容为：
Figure BDA0002658950240000072
其中，每一行分别对应一个所述标签识识框，Selc1xmin,Selc1ymin分别为第一个所述标签识别框左上角点的x、y坐标；Selc1xmax,Selc1ymax分别为第一个所述标签识别框右下角点的x、y坐标，Selc2则代表第二个所述标签识别框，Selc3则代表第三个所述标签识别框，Selcn则代表第n个所述标签识别框。
在一实施例中，在完成对多个成捆棒材的检测后，还包括：
对所述多个成捆棒材进行排序，并计算每一个成捆棒材的优先级；根据所述优先级与所述多个成捆棒材的位置信息对所述多个成捆棒材上的标签进行识别。
优先级的计算方法为：标签识别框左上角点的y坐标越大，则具较高的优先级；若当所述y坐标相等时，标签识别框左上角点的x坐标越小，则具有较低的优先级。
根据所述标签的优先级排序，选取最高优先级标签，根据所述标签位置信息，将相机调焦至标签位置，截取标签识别框的画面进行信息读取，获取标签信息。当最高优先级标签信息获取后，根据所述标签识别优先级，重复上述标签信息获取步骤，直至感兴趣内所有标签信息全部获取。调焦至标签位置效果可参考图7。
所述标签信息读取方式包括但不限于扫描所述标签上的二维码信息，其余信息读取方式均可达到与类似的效果，如扫描条形码、直接扫描标签文字等。
在一实施例中，在完成标签信息获取后，将所述标签信息传递给其他***；本发明选用了RS485通讯协议，其他的信息传递方式亦可实现与本发明相近的效果，如RS232、Can总线等。
如图8所示，一种基于机器视觉的棒材成品库出库标签识别装置，包括：
成捆棒材检测模块81，用于通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；
标签检测模块82，用于基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；
标签信息识别模块83，用于基于所述标签的位置信息，对所述标签进行识别，得到签标信息。
在一实施例中，在每一个成捆棒材中，所述标签的位置信息为：
Figure BDA0002658950240000081
其中，每一行分别对应一个所述标签识识框，Selc1xmin,Selc1ymin分别为第一个所述标签识别框左上角点的x、y坐标；Selc1xmax,Selc1ymax分别为第一个所述标签识别框右下角点的x、y坐标，Selc2则代表第二个所述标签识别框，Selc3则代表第三个所述标签识别框，Selcn则代表第n个所述标签识别框。
在一实施例中，多个所述成捆棒材的位置信息为：
Figure BDA0002658950240000091
其中，每一行对应一个成捆棒材识别框，Band1xmin,Band1ymin分别为第一个成捆棒材识别框左上角点的x、y坐标；Band1xmax,Band1ymax分别为第一个成捆棒材识别框右下角点的x、y坐标，Band2则代表第二个成捆棒材识别框，Band3则代表第三个成捆棒材识别框，Bandn则代表第n个成捆棒材识别框。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本发明还提供一种设备，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中的任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解为：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以储存于一计算机可读储存介质中。该程序在执行时，执行包括上述个方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等可以存储程序代码的介质。
本实施例提供的设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，是设备执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory,简称RAM)，也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，说明书对“本实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种基于机器视觉的棒材成品库出库标签识别方法，其特征在于，包括：
通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；
基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；
基于所述标签的位置信息，对所述标签进行识别，得到签标信息；
多个所述成捆棒材的位置信息为：
Figure FDA0004139170060000011
其中，每一行对应一个成捆棒材识别框，Band1xmin,Band1ymin分别为第一个成捆棒材识别框左上角点的x、y坐标；Band1xmax,Band1ymax分别为第一个成捆棒材识别框右下角点的x、y坐标，Band2则代表第二个成捆棒材识别框，Band3则代表第三个成捆棒材识别框，Bandn则代表第n个成捆棒材识别框；
所述方法还包括：
对所述多个成捆棒材进行排序，并计算每一个成捆棒材的优先级；根据所述优先级与所述多个成捆棒材的位置信息对所述多个成捆棒材上的标签进行识别；
成捆棒材的优先级的计算方法为：若成捆棒材识别框左上角点的y坐标越大，则具较高的优先级；若当成捆棒材识别框左上角点的y坐标相等时，标签识别框左上角点的x坐标越小，则具有较低的优先级；
在每一个成捆棒材中，所述标签的位置信息为：
Figure FDA0004139170060000012
其中，每一行分别对应一个所述标签识别框，Selc1xmin,Selc1ymin分别为第一个所述标签识别框左上角点的x、y坐标；Selc1xmax,Selc1ymax分别为第一个所述标签识别框右下角点的x、y坐标，Selc2则代表第二个所述标签识别框，Selc3则代表第三个所述标签识别框，Selcn则代表第n个所述标签识别框；
还包括：
对每个成捆棒材中的多个标签进行排序，并计算每一个标签的优先级；根据所述优先级标签与所述标签的位置信息对所述多个成捆棒材上的标签进行识别；
所述标签的优先级的计算方法为：若标签识别框左上角点的y坐标越大，则具较高的优先级；若当所述标签识别框左上角点的y坐标相等时，标签识别框左上角点的x坐标越小，则具有较低的优先级。
2.根据权利要求1所述的基于机器视觉的棒材成品库出库标签识别方法，其特征在于，采用SSD-MobileNet神经网络、R-CNN、Faster-RCNN或YOLO对训练所述成捆棒材检测模型或/和所述标签检测模型。
3.根据权利要求1所述的基于机器视觉的棒材成品库出库标签识别方法，其特征在于，训练所述成捆棒材检测模型的方法包括：
采集成捆棒材的初始图像；
对所述初始图像中的成捆棒材进行标注与框选，以得到初始成捆棒材识别框的位置信息；
根据所述初始成捆棒材识别框的位置信息构建用于训练成捆棒材检测模型的数据集；
基于所述训练成捆棒材检测模型的数据集进行训练得到成捆棒材检测模型。
4.根据权利要求1所述的基于机器视觉的棒材成品库出库标签识别方法，其特征在于，训练所述标签检测模型的方法包括：
采集标签的初始图像；
对所述标签的初始图像中的标签进行标注与框选，以得到初始标签识别框的位置信息；
根据所述初始标签识别框的位置信息构建用于训练标签检测模型的数据集；
基于所述训练标签检测模型的数据集进行训练得到标签检测模型。
5.一种基于机器视觉的棒材成品库出库标签识别装置，其特征在于，包括：
成捆棒材检测模块，用于通过预先训练的成捆棒材检测模型，对感兴趣区域的图像进行目标检测，识别出其中的多个成捆棒材，并输出每一个成捆棒材的位置信息；
标签检测模块，用于基于多个所述成捆棒材的位置信息，通过预先训练的标签检测模型对所述多个成捆棒材上的标签进行识别，并输出每一个所述标签的位置信息；
标签信息识别模块，用于基于所述标签的位置信息，对所述标签进行识别，得到签标信息；
多个所述成捆棒材的位置信息为：
Figure FDA0004139170060000031
其中，每一行对应一个成捆棒材识别框，Band1xmin,Band1ymin分别为第一个成捆棒材识别框左上角点的x、y坐标；Band1xmax,Band1ymax分别为第一个成捆棒材识别框右下角点的x、y坐标，Band2则代表第二个成捆棒材识别框，Band3则代表第三个成捆棒材识别框，Bandn则代表第n个成捆棒材识别框；
在对标签进行识别时，对所述多个成捆棒材进行排序，并计算每一个成捆棒材的优先级；根据所述优先级与所述多个成捆棒材的位置信息对所述多个成捆棒材上的标签进行识别；成捆棒材的优先级的计算方法为：若成捆棒材识别框左上角点的y坐标越大，则具较高的优先级；若当成捆棒材识别框左上角点的y坐标相等时，成捆棒材识别框左上角点的x坐标越小，则具有较低的优先级；
在每一个成捆棒材中，所述标签的位置信息为：
Figure FDA0004139170060000032
其中，每一行分别对应一个所述标签识别框，Selc1xmin,Selc1ymin分别为第一个所述标签识别框左上角点的x、y坐标；Selc1xmax,Selc1ymax分别为第一个所述标签识别框右下角点的x、y坐标，Selc2则代表第二个所述标签识别框，Selc3则代表第三个所述标签识别框，Selcn则代表第n个所述标签识别框；
对每个成捆棒材中的多个标签进行排序，并计算每一个标签的优先级；根据所述优先级标签与所述标签的位置信息对所述多个成捆棒材上的标签进行识别；
所述标签的优先级的计算方法为：若标签识别框左上角点的y坐标越大，则具较高的优先级；若当所述标签识别框左上角点的y坐标相等时，标签识别框左上角点的x坐标越小，则具有较低的优先级。
6.一种设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权利要求1～4中的任一项方法。
CN202010897845.0A 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备 Active CN112052696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010897845.0A CN112052696B (zh) 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010897845.0A CN112052696B (zh) 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112052696A CN112052696A (zh) 2020-12-08
CN112052696B true CN112052696B (zh) 2023-05-02

Family

ID=73606589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010897845.0A Active CN112052696B (zh) 2020-08-31 2020-08-31 一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112052696B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222977A (zh) * 2021-05-31 2021-08-06 中冶赛迪重庆信息技术有限公司 一种行车作业过程中的棒线材标签识别方法、***、介质和终端
CN114239632B (zh) * 2021-12-09 2023-08-25 中冶赛迪信息技术(重庆)有限公司 一种线棒材标签的识别方法、***、电子设备及介质
CN114881184A (zh) * 2022-04-26 2022-08-09 中冶赛迪信息技术(重庆)有限公司 一种冶金生产过程中棒材所贴标签的识别方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000249518A (ja) * 1999-02-26 2000-09-14 Nitto Seiko Co Ltd 対象物の画像検出方法
CN104680157A (zh) * 2015-03-26 2015-06-03 天津工业大学 一种基于支持向量机的成捆棒材识别计数方法
CN109175805A (zh) * 2018-10-10 2019-01-11 上海易清智觉自动化科技有限公司 金属线棒材吊牌自动焊接***
CN111401466A (zh) * 2020-03-26 2020-07-10 广州紫为云科技有限公司 一种交通标志检测与识别标注方法、装置和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101486391B (zh) * 2008-01-18 2010-12-15 北京光电技术研究所 金属棒材自动分离方法及装置
CN103577654B (zh) * 2013-11-21 2018-01-02 上海电气集团股份有限公司 一种大型汽轮发电机定子线棒的有限元精确建模方法
CN109775055B (zh) * 2019-01-08 2021-06-04 河北科技大学 基于视觉的成捆棒材端面标签漏贴检测与误差测量方法
EP3690704B1 (en) * 2019-01-29 2021-02-24 Accenture Global Solutions Limited Distributed and self-validating dense object detection in digital images
CN110827247B (zh) * 2019-10-28 2024-03-15 上海万物新生环保科技集团有限公司 一种识别标签的方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000249518A (ja) * 1999-02-26 2000-09-14 Nitto Seiko Co Ltd 対象物の画像検出方法
CN104680157A (zh) * 2015-03-26 2015-06-03 天津工业大学 一种基于支持向量机的成捆棒材识别计数方法
CN109175805A (zh) * 2018-10-10 2019-01-11 上海易清智觉自动化科技有限公司 金属线棒材吊牌自动焊接***
CN111401466A (zh) * 2020-03-26 2020-07-10 广州紫为云科技有限公司 一种交通标志检测与识别标注方法、装置和计算机设备

Also Published As

Publication number Publication date
CN112052696A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112052696B (zh) 一种基于机器视觉的棒材成品库出库标签识别方法、装置及设备
CN107617573B (zh) 一种基于多任务深度学习的物流编码识别和分拣方法
CN108416412B (zh) 一种基于多任务深度学习的物流复合码识别方法
CN108416403B (zh) 商品与标签的自动关联方法、***、设备及存储介质
US20220084186A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
CN109583535B (zh) 一种基于视觉的物流条形码检测方法、可读存储介质
CN107145810A (zh) 一种全方位条码识别装置及方法
CN107239720A (zh) 一种龙门架式条码扫描装置
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及***
CN111898935A (zh) 一种基于图像处理的仓储盘点方法、***存储及终端设备
CN103699911A (zh) 一种具有底部扫描装置的自结算***
CN113378952A (zh) 一种皮带机跑偏检测方法、***、介质和终端
EP3696135B1 (de) Gabelstapler und system mit gabelstapler zur identifikation einer ware
CN112053336B (zh) 一种棒材对齐检测方法、***、设备及介质
CN111368836A (zh) 信息处理方法、装置、电子设备及介质
CN110543839A (zh) 一种基于计算机视觉的商品铺货率采集方法
CN117250994A (zh) 基于无人机追踪昆虫迁飞轨迹的方法及***
Shahin et al. Robotics multi-modal recognition system via computer-based vision
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
CN108197882B (zh) 仓储管理***
CN115793632A (zh) 无人车辆控制方法以及服务器
CN114022070A (zh) 盘库方法、装置、设备及存储介质
CN114239632B (zh) 一种线棒材标签的识别方法、***、电子设备及介质
CN112686064A (zh) 一种识别运动条码的方法及装置
KR102553304B1 (ko) 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant