CN117794832A - 用于自动定向产品容器的***和方法 - Google Patents

用于自动定向产品容器的***和方法 Download PDF

Info

Publication number
CN117794832A
CN117794832A CN202280048235.0A CN202280048235A CN117794832A CN 117794832 A CN117794832 A CN 117794832A CN 202280048235 A CN202280048235 A CN 202280048235A CN 117794832 A CN117794832 A CN 117794832A
Authority
CN
China
Prior art keywords
label
product
center
image
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048235.0A
Other languages
English (en)
Inventor
安娜玛丽·布罗伊
约瑟夫·蒂尔卡
巴里斯·埃罗尔
菲利普·格雷戈尔
多米尼克·特林科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN117794832A publication Critical patent/CN117794832A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/24—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
    • B65G47/244—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles by turning them about an axis substantially perpendicular to the conveying plane
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B35/00—Supplying, feeding, arranging or orientating articles to be packaged
    • B65B35/56—Orientating, i.e. changing the attitude of, articles, e.g. of non-uniform cross-section
    • B65B35/58—Turning articles by positively-acting means, e.g. to present labelled portions in uppermost position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B57/00—Automatic control, checking, warning, or safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

一种用于自动定向产品容器的计算机实现的方法，包括：获取与生产线上的一批产品容器相关联的参考产品标签图像并且基于参考产品标签图像的感知相关标签特征，使用经训练的深度学习模型来计算参考产品标签图像的感知中心。生产线摄像机获取该批产品容器中单独产品容器的相应产品标签的图像切片。基于所获取的相应产品标签的图像切片和以所计算的参考产品标签图像的感知中心为基础所确定的标签中心来计算用于旋转单独产品容器的旋转角度。将所计算的旋转角度传送到控制器以实现单独产品容器的旋转。

Description

用于自动定向产品容器的***和方法
技术领域
本公开的实施方式涉及用于以期望的方式(例如用于包装目的)定向产品容器的***和方法。尤其是，本公开的一个或多个实施方式涉及一种基于产品标签特征和图形使产品容器在生产线上的定向自动化的技术。
背景技术
在许多工业生产过程中，尤其是在食品和饮料工业中，产品以容器如瓶、罐等形式运输。产品标签通常围绕产品容器的外表面附着，其可以包含图形/特征，如品牌标志、通用产品代码(UPC)、营养成分等。贴有标签的容器可以以相对于相应产品标签的随机定向或旋转角度到达包装机。期望以视觉上一致和/或吸引人的方式定向被传送到包装机的贴有标签的容器，使得最终消费者可以最佳地观察或利用最终包装或现成的产品布置。
发明内容
简而言之，本公开的各方面提供了一种基于产品标签特征在生产线上自动定向产品容器的技术，减少操作员干预或配置。
本公开的第一方面提供了一种用于在生产线上自动定向产品容器的计算机实现的方法，其中每个产品容器具有围绕产品容器的外表面设置的产品标签。该方法包括获取与生产线上的一批产品容器相关联的参考产品标签图像。该方法还包括基于参考产品标签图像的感知相关标签特征，使用经训练的深度学习模型来计算参考产品标签图像的感知中心。该方法还包括经由生产线摄像机获取该批产品容器中的单独产品容器的相应产品标签的图像切片。该方法还包括基于所获取的相应产品标签的图像切片和以所计算的参考产品标签图像的感知中心为基础所确定的标签中心来计算单独产品容器的旋转角度。该方法还包括将所计算的旋转角度传送到控制器，以基于所计算的旋转角度实现单独产品容器从初始定向到最终定向的旋转。
本公开的其他方面以计算***和计算机程序产品形式实现上述方法的特征。
通过本公开的技术可以实现附加技术特征和益处。本公开的实施方式和各方面在本文中详细描述并且被认为是所要求保护的主题的一部分。为了更好地理解，参考详细描述和附图。
附图说明
当结合附图阅读时，从以下详细描述最佳地理解本公开的前述和其他方面。为了容易地识别对任何元素或动作的讨论，参考数字中的一个或多个最高有效数位是指该元素或动作首先被引入其中的图号。
图1是示出根据示例性实施方式的用于在生产线上自动定向产品容器的***的示意图。
图2是参考产品标签图像的说明性实施例。
图3是位于参考产品标签图像上的感知相关标签特征的说明性视觉化。
图4是参考产品标签图像的感知中心的示例性表示。
图5是示出用于训练部署用于在运行时计算旋转角度的旋转角度分类器的示例性技术的示意性流程图。
图6是在运行时使用模板匹配算法来推断与产品标签的捕获图像切片匹配的参考产品标签图像上的补丁位置的示例性表示。
图7示出了根据所公开的实施方式的能够支持生产线中产品容器的自动定向的计算***。
具体实施方式
现在将参考附图描述与***和方法相关的各种技术，其中相同的附图标记始终表示相同的元件。以下讨论的附图和用于描述本专利文件中的本公开的原理的各种实施方式仅作为说明，而不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的装置中实现。应当理解，被描述为由某些***元件执行的功能可以由多个元件执行。类似地，例如，一个元件可以配置为执行被描述为由多个元件执行的功能。将参考示例性非限制性实施方式来描述本申请的许多创新教导。
存在多种容器定向***以在共同方向上定向各种形状的罐、瓶或其他容器。例如，基于伺服的定向***可以使用传感器(例如视觉***)以高速执行该任务，以检测任意的实际容器位置，然后相应地将容器旋转到期望定向。
为了配置用于新产品或标签的定向***，生产工程师通常为定向***指定基线产品标签/图形，以及产品容器相对于该标签的期望定向。该手动工程步骤可以限制生产线可以多快地从一个产品转换到另一个产品，或者为同一产品引入新的产品标签。
本公开的实施方式提供了一种基于人工智能(AI)的解决方案，该解决方案可以在没有产品标签的任何先验知识但具有高精度的情况下识别产品标签的哪个部分应该形成要向消费者显示的产品标签的前部。基于AI的解决方案是基于这样的认识，即产品标签通常是由营销专家和图形设计师设计的，因此遵循常见的设计模式和最佳实践以吸引消费者的注意。例如，某些标签特征(例如大文本或产品/品牌标志)通常可以是产品标签的旨在吸引消费者眼球的部分，并且因此旨在定位在产品标签的前部上。此外，某些标签特征(例如条形码/UPC、营养成分表等)可旨在远离产品标签的前部定位，例如出于扫描/定价原因。例如，在多包装产品容器中，可能希望单个容器的条形码面向内部，以防止顾客扫描单个产品条形码而不是包装的条形码进行定价。
在至少一些实施方式中，所提出的基于AI的解决方案可以实现全自动***，该全自动***可以自动确定参考产品标签的感知中心，并且当在生产线上与随机定向的产品容器一起呈现时，计算旋转角度以将产品容器旋转到正确定向，例如用于包装目的，而无需操作员配置或干预。在一些实施方式中，取决于所计算的产品标签的感知中心的置信水平，基于AI的解决方案可以由用户确认或使用产品标签的用户指定的前部覆盖来辅助。
所公开的实施方式可以减少到达生产线上的新产品容器的自动化***集成和标签配置的总体工程工作量，并且因此可以在从生产线上的一个产品或产品标签切换到另一个产品或产品标签时提供更快的转换。此外，所公开的实施方式可以以高精确度执行标签感知，同时提供与现有解决方案可比的用于推断和对准的运行时性能。
现在转向附图，图1示出了根据示例性实施方式的用于在生产线102上自动定向产品容器104的***100。尤其是，所公开的***100可用于基于产品标签上的标签特征和图形来自动定向贴有标签的产品容器104。
产品容器104可具有各种形状，通常(但不一定)具有轴对称的外表面。例如，在食品和饮料工业中使用的最常见类型的产品容器包括罐、瓶等。产品标签可围绕每个产品容器104的外表面附着或以其他方式设置。产品标签可完全围绕产品容器104的外表面延伸(即，360度)。作为示意图，在图1中，产品容器104上的黑框和白框描绘了相应产品标签的各种标签特征(例如，品牌标志、UPC代码等)。
如图1所示，进入的产品容器104可以相对于他们的产品标签具有随机定向。随机定向的产品容器104可以经由定向单元106单独地旋转相应指定旋转角度，以确保输出的产品容器104相对于产品标签具有一致定向，如图所示。在一个示例性配置中，定向单元106可包括一个或多个夹具108(例如，基于抽吸的夹具)，用于夹持单独产品容器104和联接到相应夹具108的伺服控制马达110。可以基于来自控制器124的相应控制信号126单独地控制马达110，用于使夹具夹持的产品容器104旋转相应指定旋转角度。在实施例中，输出的(重新)定向的产品容器104可被传送到包装机，其中一组产品容器104可被包装成单个包装(例如，六罐装饮料)。所公开的实施方式能够基于AI确定单独产品容器的旋转角度，使得最终消费者可以最佳地观察或利用最终包装或现成的产品布置。
根据所示实施方式，***100可包括生产线摄像机112，该生产线摄像机被布置为扫描传送到生产线102上的每个产品容器104以获取其图像。由于产品容器104的3D形状，生产线摄像机112可以仅捕获相应产品标签的图像切片。如本说明书中所使用的，术语“图像切片”是指经由生产线摄像机112的部分(例如，180度)扫描获取的产品标签的一部分或片段的图像。生产线摄像机112可以适当地包括高速摄像机，该高速摄像机被配置为捕获生产线102上的一批产品容器中的单独产品容器104的相应产品标签的图像切片。例如，在本文所示的一个实施方式中，生产线摄像机112及其用于产生闪光的照明***可以基于来自控制器124的精确定时的触发信号128而被触发，控制器还可以控制产品容器104的位置和速度(例如，传送带***的速度)。为单独产品容器104获取的图像切片可以作为数据信号114传送到计算***116，以在运行时计算那些单独产品容器104的相应旋转角度。
计算***116可以包括例如工业PC、边缘计算设备或包括一个或多个处理器和存储可由一个或多个处理器执行的算法模块的存储器的任何其他计算***。算法模块至少包括视觉标签感知引擎118和旋转角度计算引擎120。本文所描述的各种引擎，包括视觉标签感知引擎118和旋转角度计算引擎120，包括其组件，可以由计算***116以各种方式实现，例如作为硬件和编程。引擎118、120的编程可以采用存储在非瞬时机器可读存储介质上的处理器可执行指令的形式，并且引擎的硬件可以包括执行那些指令的处理器。本文所描述的包括视觉标签感知引擎118和旋转角度计算引擎120的***、设备和引擎的处理能力可以分布在多个***组件之间，例如分布在多个处理器和存储器之间，可选地包括多个分布式处理***或云/网络元件。下面参照图7描述适用于本申请的计算***的实施例。
仍然参考图1，视觉标签感知引擎118可以配置为获取与生产线102上的该批产品容器104相关联的参考产品标签图像，并且基于参考产品标签图像的感知相关标签特征，使用经训练的深度学***，用于计算旋转角度的标签中心可以是所计算的感知中心，或者可以从标签的用户指定的前部导出。
计算***116可以将每个产品容器104的所计算的旋转角度作为数据信号122传送到控制器124。在实施例中，控制器124可以包括可编程逻辑控制器(PLC)或任何其他类型的工业控制器，配置为将数据信号122转换成控制信号126并且将该控制信号126传送到与相应产品容器104相关联的适当的伺服控制马达110，以基于所计算的旋转角度来实现产品容器104从初始定向到最终定向的旋转。
在一个实施方式中，如图1所示，用于初始校准的参考产品标签图像可以经由对与该批产品容器相关联的参考产品容器的360度扫描来获取。通常，但不一定，同一批中所有产品容器的产品标签可以相同。参考产品容器可以是属于到达生产线102上的新批产品容器的产品容器104中的一个，或者是代表该批的不同产品容器。参考产品容器(例如，产品容器104)可以安装在旋转台130上，使得摄像机132可以执行对参考产品标签的360度扫描。控制器(例如，控制器124)可以传送控制信号134以控制旋转台130的旋转和速度，并且发出适当定时的触发信号136以触发摄像机132及其用于产生同步闪光的照明***。360度扫描的参考产品标签图像可以由摄像机132作为数据信号138传送到计算***116，以使用视觉标签感知引擎118来确定参考产品标签图像的感知中心。在一个可替代实施方式中，参考产品标签图像可以直接从产品制造商处获得。
图2示出了参考产品标签图像200的说明性实施例。为了进行说明，参考产品标签图像200的水平轴线表示角距离。如图所示，参考产品标签图像200可以包括表示参考产品标签的360度布局的二维平面或非扭曲图像。
根据所公开的实施方式，视觉标签感知引擎118(图1)可以利用至少一个深度学习模型来检测参考产品标签图像200上的感知相关标签特征，该深度学习模型可以包括一个或多个预先训练的特征检测模型/神经网络。在一个示例性实施方式中，可以使用用于那些图像的(数据集的)已知感知相关标签特征的分类标签经由监督学习过程在包括多个不同产品标签的图像的训练数据集上训练深度学习模型，使得经训练的深度学习模型可以检测和定位参考产品标签图像上的感知相关标签特征。在一个适当的实现方式中，训练数据集可以从包括大量已知产品的产品标签的现有OpenLogo数据集中获得。
对于模型训练，训练数据集中的产品标签可以设有不同类别感知相关标签特征的边界框注释，该边界框注释可以限定用于深度学习模型的分类标签。不同类别的感知相关标签特征可以包括但不限于大文本、品牌标志、条形码(例如，UPC代码)、几何形状、粗色或高色彩对比度特征、营养成分表等。视觉标签感知引擎118可以使用经训练的深度学习模型来检测和定位参考产品标签图像上的感知相关标签特征，例如，通过边界框。如图3所示，从经训练的深度学习模型获得的示例性输出可以被视觉化，其中检测到的感知相关标签特征，即大文本、几何形状、营养成分表和UPC代码分别通过边界框302、304、306、308在参考产品标签图像200上被定位。
根据所公开的实施方式，感知相关标签特征或特征类别可以被分组为“感兴趣的”和“不感兴趣的”。“感兴趣的”标签特征可以包括限定产品标签的旨在形成产品标签的正面的部分的那些标签特征。“感兴趣的”标签特征的示例包括但不限于大文本、大几何形状、高色彩对比度特征、品牌标志等。“不感兴趣的”标签特征可以包括限定产品标签的旨在远离正面定位的部分的那些标签特征。“不感兴趣的”标签特征的示例包括但不限于条形码(例如，UPC代码)、表格(例如，营养成分表)等。
通过识别“感兴趣的”和“不感兴趣的”标签特征的位置，视觉标签感知引擎118可以在算法上计算参考产品标签图像的感知中心。在一个实施方式中，视觉标签感知引擎118可以基于在参考产品标签图像上检测到的感知相关标签特征的位置的加权组合来计算参考产品标签图像的感知中心。本文中，例如，每个检测到的感知相关标签特征可以被分配相应权重，该权重可以取决于诸如检测到的标签特征的大小(例如，角度范围)的变量、检测到的标签特征是“感兴趣的”标签特征还是“不感兴趣的”标签特征以及其他变量。在实施方式中，为了确保所计算的参考产品标签的感知中心被定位于更远离“不感兴趣的”标签特征，可以为“不感兴趣的”标签特征分配负权重，或者相对于“感兴趣的”标签特征通常分配较低的权重。
为了说明一个示例性方法，在图3所示的实施例中，每个检测到的感知相关标签特征的位置可以由沿水平或角度轴线相应边界框302、304、306、308的中心来限定。这些位置在图3中分别表示为X1、X2、X3和X4。分配给检测到的感知相关标签特征中的每一个的相应权重可以根据相应边界框302、304、306、308沿水平或角度轴线的宽度(即，角度范围)确定。此外，与“感兴趣的”标签特征(例如，对应于边界框302、304)相关联的权重可包括正值，而与“非感兴趣的”标签特征(例如，对应于边界框306、308)相关联的权重可包括负值。感知中心的位置可以被确定为检测到的感知相关标签特征中的每一个的位置X1、X2、X3和X4的加权平均值。在一些实施方式中，所计算的感知中心可以由具有围绕所计算的感知中心的位置的限定宽度的边界框来定位。
图4中描述了所计算的参考产品标签的感知中心的示例性表示。本文中，参考产品标签图像200的感知中心由具有围绕位置XC的限定宽度的边界框402来定位。例如，如上所描述，可以基于位置X1、X2、X3和X4的加权组合来确定位置XC。如图所示，分配给“不感兴趣的”标签特征(对应于边界框306、308)的较低或负权重可使得所计算的感知中心被定位于更远离那些“不感兴趣的”标签特征。
在一个可替代实施方式中，视觉标签感知引擎118可以使用在包括大量产品标签的图像的数据集上训练的深度学习模型(例如，一个或多个神经网络)来计算参考产品标签图像的感知中心，其中数据集的图像可以各自用已知的标签中心来注释。例如，该模型可利用神经网络的初始层来提取标签特征(其可包括如本文所描述的感知相关标签特征)，并利用后续层来学习所提取标签特征与注释标签中心之间的空间关系。
因此，视觉标签感知引擎118可以识别新产品标签的感知中心的位置，而无需产品标签或甚至产品或品牌的任何先验知识。因此，所公开的实施方式提供了一种完全通用的方法，该方法不需要用户输入来设置***，其中基于AI的视觉标签感知引擎118可以根据参考产品标签的单个图像来自行确定图像的“重要”部分是什么，以供客户看到。
继续参考图1，在一些实施方式中，计算***116可以将表示所计算的参考产品标签图像的感知中心的数据信号142传送到人机接口(HMI)设备140。HMI设备140可以被配置为基于所计算的参考产品标签的感知中心来向操作员视觉化和显示标签正面，从而向底层定向过程提供透明度。HMI设备140还可用于辅助感知中心的基于AI的计算，特别是在与所计算的感知中心相关联的低置信水平的情况下。与所计算的感知中心相关联的置信水平可以例如基于与由深度学习模型推断的所检测的感知相关标签特征相关联的置信度得分来确定。
在一个实施方式中，如果所确定的与所计算的感知中心相关联的置信水平低于预定阈值，则可以经由HMI设备140来寻求用户输入，用于确认或使用用户指定的标签正面来覆盖所显示的标签正面中心。用户确认或覆盖可以由HMI设备140作为数据信号144传送到计算***116。基于经由数据信号144传送的用户输入，用于由旋转角度计算引擎120计算旋转角度的标签中心可以是以下任一个：由视觉标签感知引擎118计算的感知中心或所计算的用户指定的标签正面的中心。在至少一些实施方式中，如果所确定的与所计算的感知中心相关联的置信水平高于预定阈值，则所计算的感知中心可用于自动确定单独产品容器的旋转角度，而无需任何操作员干预。
在运行时，旋转角度计算引擎120可以执行内联推断循环，该内联推断循环可以涉及获取由生产线摄像机112(经由数据信号114)传送的生产线102上的每个产品容器104的产品标签的图像切片，并且基于所获取的图像切片和所确定的参考产品标签图像的标签中心来计算产品容器104的所需偏移旋转角度。所计算的旋转角度可用于经由控制器124实现产品容器104的旋转，以实现相对于相应产品标签的期望/一致定向，例如，如上所描述。下面描述实现旋转角度计算引擎120的示例性实施方式。
在第一实施方式中，旋转角度计算引擎120可使用经训练的旋转角度分类器来从所获取的图像切片推断偏移旋转角度。旋转角度分类器可以包括神经网络，并且适当地包括能够为高速生产线执行快速推理循环的浅层卷积神经网络。可以使用数据集来训练旋转角度分类器，该数据集是通过执行与参考产品标签图像的不同区域相对应的图像补丁的增强而产生的，图像不定与标签中心具有不同的角度偏移。角度偏移可用于限定用于图像补丁的分类标签。经过适当训练的旋转角度分类器可以在计算每个产品容器的所需旋转角度时提供高精度。
图5示出了适于训练诸如上描述的旋转角度分类器的示例性流程500。本文描述的各种模块，包括补丁程序504、增强器/数据变换器506和偏移计算器/标签生成器512，包括其组件，可以由诸如计算***116的计算***以各种方式，例如作为硬件和编程来实现。
补丁程序504可被用于从参考产品标签图像502生成图像补丁。每个图像补丁可以限定参考产品标签图像502的区域，例如，对应于180度视场。在一个示例性实施方式中，可以通过从参考产品标签图像502裁剪出360/(x-1)个补丁，以x°的步长从0°到(360°-x°)来生成图像补丁。
增强器/数据变换器506可以向图像补丁添加噪声和翘曲，以模拟产品标签在围绕轴对称(例如，圆柱形)产品容器缠绕时看起来如何。另外，增强器/数据变换器506可以匹配非本征和本征摄像机属性(例如，照明、分辨率等)并且模拟图像补丁上的摄像机失真以模拟由生产线摄像机112捕获的实际图像切片。增强器/数据变换器506可以添加和组合这些修改以生成足够大和真实的训练数据集508。
偏移计算器/标签生成器512可以为每个图像补丁确定相对于所确定的参考产品标签图像502的标签中心510的角度偏移。所确定的标签中心510可以是所计算的参考产品图像502的感知中心。可替换地，如果与所计算的感知中心相关联的置信水平低(例如，低于预定阈值)，如上所描述，例如，标签中心510可以根据用户输入来确定。例如，可以通过定位每个图像补丁的中心并计算从图像补丁的中心到所确定的参考产品标签图像502的标签中心的角度距离来确定角度偏移。由此确定的角度偏移可用于限定分类标签514。
训练数据集508和对应的标签514可用于经由监督学习过程训练旋转角度分类器516。一旦被训练和验证，旋转角度分类器516可以被部署到运行时***以从经由生产线摄像机112获取的图像切片自动推断偏移旋转角度。
在第二实施方式中，旋转角度计算引擎120可以利用模板匹配算法。模板匹配是计算机视觉中用于在较大的父图像中搜索和找到模板图像的位置的技术。在本申请的上下文中，模板匹配算法可以为计算每个产品容器的所需旋转角度提供高运行时速度。合适的实施例实现方式可以涉及使用由OpenCV库提供的模板匹配功能。
图6是在运行时使用模板匹配算法来推断与产品标签的捕获图像切片匹配的参考产品标签图像上的补丁位置的示例性表示。在所示的实施例中，图像切片602表示经由生产线摄像机112(经由数据信号114)获取的具有缠绕在圆柱形产品容器上的产品标签的一部分的180度视场的扭曲图像。可以使用图像切片602作为模板图像并且使用参考产品标签图像200作为父图像来执行模板匹配算法。当执行时，模板匹配算法可以在父图像200上(例如，如在2D卷积中)滑动模板图像602，并且将模板图像602与父图像200的补丁(例如，在本实施例中为180度补丁)进行比较，以在父图像200上定位匹配补丁604。在一个使用OpenCV的实现方式中，取决于所使用的模板匹配准则，可以使用OpenCV中的minMaxLoc函数将匹配补丁604确定为全局最小值(当使用TM_SQDIFF时)或全局最大值(当使用TM_CCORR或TM_CCOEFF时)。
可以通过计算匹配补丁604与所确定的标签中心之间的角度偏移来确定旋转角度。例如，可以通过定位匹配补丁604的中心XM并计算从匹配补丁604的中心到所确定的参考产品标签图像200的标签中心的角度距离来确定角度偏移。在所示的实施例中，所确定的标签中心是所计算的参考产品标签图像200的感知中心XC。可替换地，如果与所计算的感知中心XC相关联的置信水平低(例如，低于预定阈值)，如上所描述，例如，可以根据用户输入来确定标签中心。
图7示出了根据所公开的实施方式的能够支持生产线中产品容器的自动定向的计算***700的实施例。在实施例中，计算***700可以包括工业PC、边缘计算设备等中的一个或多个。计算***700包括至少一个处理器710，该至少一个处理器可以采用单个或多个处理器的形式。处理器710可以包括中央处理单元(CPU)、图形处理单元(GPU)、神经处理单元(NPU)、微处理器或适于执行存储在包括机器可读介质720的存储器上的指令的任何硬件设备。机器可读介质720可以采用存储可执行指令的任何非瞬时电子、磁、光或其他物理存储设备的形式，可执行指令诸如视觉标签感知指令722和旋转角度计算指令724，如图7所示。这样，机器可读介质720可以是例如随机存取存储器(RAM)，诸如动态RAM(DRAM)、闪存、自旋转移力矩存储器、电可擦除可编程只读存储器(EEPROM)、存储驱动器、光盘等。
计算***700可以通过处理器710执行存储在机器可读介质720上的指令。执行指令(例如，视觉标签感知指令722和旋转角度计算指令724)可以使计算***700执行本文描述的任何技术特征，包括根据如上所描述的视觉标签感知引擎118和旋转角度计算引擎120的任何特征。
包括视觉标签感知引擎118和旋转角度计算引擎120的上述***、方法、设备和逻辑可以以硬件、逻辑、电路和存储在机器可读介质上的可执行指令的许多不同组合通过许多不同方式来实现。例如，这些引擎可以包括控制器、微处理器或专用集成电路(ASIC)中的电路，或可以使用分立逻辑或组件，或组合在单个集成电路上或分布在多个集成电路之间的其他类型的模拟或数字电路的组合来实现。诸如计算机程序产品的产品可以包括存储介质和存储在该介质上的机器可读指令，当在端点、计算机***或其他设备中执行指令时，使得该设备执行根据以上描述中任一项的操作，包括根据视觉标签感知引擎118和旋转角度计算引擎120的任何特征的操作。本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应计算/处理设备，或者经由网络(例如因特网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。
本文描述的***、设备和包括视觉标签感知引擎118和旋转角度计算引擎120的引擎的处理能力可以分布在多个***组件之间，例如分布在多个处理器和存储器之间，可选地包括多个分布式处理***或云/网络元件。参数、数据库和其他数据结构可以被分开地存储和管理，可以被合并到单个存储器或数据库中，可以以许多不同的方式在逻辑上和物理上组织，并且可以以许多方式实现，包括诸如链接列表、散列表或隐式存储机制的数据结构。程序可以是单个程序的多部分(例如，子程序)、分开的程序、分布在几个存储器和处理器上，或者以许多不同的方式实现，例如以库(例如，共享库)的形式。
附图的***和过程不是唯一的。可以根据本公开的原理导出其他***、过程和菜单以实现相同的目的。尽管已经参考具体实施方式描述了本公开，但是应当理解，本文示出和描述的实施方式和变型仅用于说明目的。在不脱离本公开的范围的情况下，本领域技术人员可以实现对当前设计的修改。

Claims (15)

1.一种用于在生产线上自动定向产品容器的计算机实现的方法，其中每个产品容器具有围绕所述产品容器的外表面设置的产品标签，所述方法包括：
获取与所述生产线上的一批产品容器相关联的参考产品标签图像，
基于所述参考产品标签图像的感知相关标签特征，使用经训练的深度学习模型来计算所述参考产品标签图像的感知中心，
经由生产线摄像机获取所述一批产品容器中单独产品容器的相应产品标签的图像切片，
基于所获取的相应产品标签的图像切片和以所计算的参考产品标签图像的感知中心为基础所确定的标签中心来计算单独产品容器的旋转角度，以及
将所计算的旋转角度传送到控制器，以基于所计算的旋转角度实现单独产品容器从初始定向到最终定向的旋转。
2.根据权利要求1所述的方法，其中，经由对与所述一批产品容器相关联的参考产品容器的360度扫描来获取所述参考产品标签图像。
3.根据权利要求1和2中任一项所述的方法，其中，使用多个不同产品标签的图像的已知感知相关标签特征的分类标签，经由监督学习过程，在包括多个不同产品标签的图像的数据集上训练所述深度学习模型，所述经训练的深度学习模型被配置为在所述参考产品标签图像上检测和定位感知相关标签特征。
4.根据权利要求2和3中任一项所述的方法，其中，所述感知相关标签特征包括限定产品标签的形成所述产品标签的正面的部分的“感兴趣的”标签特征，以及限定所述产品标签的位于远离所述正面的部分的“不感兴趣的”标签特征。
5.根据权利要求4所述的方法，其中，所述“感兴趣的”标签特征包括选自由以下组成的组的一个或多个特征：大文本、大几何形状，以及高色彩对比度特征，并且其中，所述“不感兴趣的”标签特征包括选自由以下组成的组的一个或多个特征：条形码和表格。
6.根据权利要求2至5中任一项所述的方法，其中，基于在所述参考产品标签图像上检测到的感知相关标签特征的相应位置的加权组合来计算所述参考产品标签图像的感知中心。
7.根据权利要求6所述的方法，其中，取决于所检测的感知相关标签特征是“感兴趣的”标签特征或是“不感兴趣的”标签特征，为每个所检测的感知相关标签特征分配权重，并且其中，所分配的权重被配置为将所计算的感知中心定位为远离作为“不感兴趣的”标签特征的所检测的感知相关标签特征。
8.根据权利要求1至7中任一项所述的方法，其中，所计算的感知中心被确定为用于计算所述旋转角度的所述标签中心。
9.根据权利要求1至7中任一项所述的方法，还包括：
基于所计算的参考产品标签的感知中心，经由人机接口(HMI)设备来显示标签正面，
如果与计算机感知中心相关联的经确定的置信水平低于预定阈值，则经由HMI设备寻求用户输入以确认或使用用户指定的标签正面来覆盖所显示的标签正面中心，
其中，基于所述用户输入，将用于计算所述旋转角度的所述标签中心确定为基于所述深度学习模型的所计算的感知中心或用户指定的标签正面的所计算的中心。
10.根据权利要求1至9中任一项所述的方法，其中，通过将所获取的图像切片馈送到经训练的旋转角度分类器以产生指示所述旋转角度的推断输出来计算所述旋转角度，其中，使用数据集来训练所述旋转角度分类器，通过对与所述参考产品标签图像的不同区域相对应的图像补丁进行增强来产生所述数据集，所述图像补丁与所述标签中心具有不同的角度偏移，所述角度偏移被用作所述图像补丁的分类标签。
11.根据权利要求1至9中任一项所述的方法，其中，所述旋转角度是通过以下方式计算的：
使用所获取的图像切片作为模板来执行模板匹配算法，以在所述参考产品标签图像中定位匹配补丁，以及
计算所述匹配补丁与所述标签中心之间的角度偏移。
12.一种非瞬时计算机可读存储介质，包括指令，所述指令由计算机处理时将所述计算机配置为执行根据权利要求1至11中任一项所述的方法。
13.一种计算***，包括：
至少一个处理器；以及
存储器，存储指令，所述指令由所述至少一个处理器执行时将所述计算***配置为执行根据权利要求1至11中任一项所述的方法。
14.一种用于在生产线上自动定向产品容器的***，其中，每个产品容器具有围绕所述产品容器的外表面设置的产品标签，所述***包括：
生产线摄像机，被配置为捕获所述生产线上的一批产品容器中的单独产品容器的相应产品标签的图像切片，
计算***，包括：
一个或多个处理器，以及
存储能够由所述一个或多个处理器执行的算法模块的存储器，所述算法模块包括：
视觉标签感知引擎，被配置为使用经训练的深度学习模型来基于参考产品标签图像的感知相关标签特征来计算所述参考产品标签图像的感知中心，以及
旋转角度计算引擎，被配置为基于经由所述生产线摄像机获取的所述相应产品标签的所述图像切片以及以所计算的参考产品标签图像的感知中心为基础所确定的标签中心来计算单独产品容器的旋转角度，以及
控制器，基于所计算的旋转角度来实现所述单独产品容器从初始定向到最终定向的旋转。
15.根据权利要求14所述的***，还包括人机接口(HMI)设备，所述设备被配置为：
基于所计算的参考产品标签的感知中心来显示标签正面，以及如果与计算机感知中心相关联的经确定的置信水平低于预定阈值，则寻求用户输入来确认或使用用户指定的标签正面来覆盖所显示的标签正面中心，
其中，基于所述用户输入，将旋转角度计算引擎用来计算所述旋转角度的所述标签中心确定为基于所述深度学习模型的所计算的感知中心或用户指定的标签正面的所计算的中心。
CN202280048235.0A 2021-07-09 2022-02-08 用于自动定向产品容器的***和方法 Pending CN117794832A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163219965P 2021-07-09 2021-07-09
US63/219,965 2021-07-09
PCT/US2022/015574 WO2023282938A1 (en) 2021-07-09 2022-02-08 System and method for automatically orienting product containers

Publications (1)

Publication Number Publication Date
CN117794832A true CN117794832A (zh) 2024-03-29

Family

ID=80462074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048235.0A Pending CN117794832A (zh) 2021-07-09 2022-02-08 用于自动定向产品容器的***和方法

Country Status (3)

Country Link
EP (1) EP4351994A1 (zh)
CN (1) CN117794832A (zh)
WO (1) WO2023282938A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011119967B3 (de) * 2011-12-02 2013-01-17 Khs Gmbh Vorrichtung und Verfahren zur Bildung von Verpackungseinheiten
GB201217466D0 (en) * 2012-09-29 2012-11-14 Meadwestvaco Packaging System Llc Packaging machine and method of packaging articles
US8903540B2 (en) * 2012-11-30 2014-12-02 Stork Fabricators, Inc. Automatic container orientation systems and methods

Also Published As

Publication number Publication date
WO2023282938A1 (en) 2023-01-12
EP4351994A1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
US10303987B2 (en) System and method for performing production line product identification
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及***
Drost et al. Introducing mvtec itodd-a dataset for 3d object recognition in industry
US20200089954A1 (en) Generating synthetic digital assets for a virtual scene including a model of a real-world object
US11651497B2 (en) InSeGAN: a generative approach to instance segmentation in depth images
US11790512B2 (en) Defect inspection device
JP6533061B2 (ja) 判定装置及び制御プログラム並びに判定方法
CN112884718B (zh) 包装喷码字符检测方法、装置、***及存储介质
EP4235592A1 (en) System and method for defect detection
CN117794832A (zh) 用于自动定向产品容器的***和方法
Li et al. Training convolutional neural networks with synthesized data for object recognition in industrial manufacturing
Bründl et al. Semantic part segmentation of spatial features via geometric deep learning for automated control cabinet assembly
EP3629237A1 (en) Device and method to improve the robustness against 'adversarial examples'
Zientara et al. Drones as collaborative sensors for image recognition
CN112424839B (zh) 用于检测包装容器中的偏差的***和方法
Reddy et al. Bliss bot for pharmaceutical inspection
Dighvijay et al. A Faster R-CNN implementation of presence inspection for parts on industrial produce
CN113269045A (zh) 自然场景下中文艺术字检测识别方法
Patil et al. Sift based approach: Object recognition and localization for pick-and-place system
Guo et al. Real-time detection and classification of machine parts with embedded system for industrial robot grasping
Arnarson et al. Towards automatic generation of image recognition models for industrial robot arms
CN111191551B (zh) 商品检测的方法及装置
Lindermayr et al. Synthretailproduct3d (syrepro3d): A pipeline for synthesis of 3d retail product models with domain specific details based on package class templates
Jonker Robotic bin-picking pipeline for chicken fillets with deep learning-based instance segmentation using synthetic data
WO2024095380A1 (ja) 点群識別装置、学習装置、点群識別方法、および、学習方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination