CN116037512A - 基于多端协同的小盒外观检测及剔除控制方法 - Google Patents

Abstract

本发明公开了一种基于多端协同的小盒外观检测及剔除控制方法，本发明的主要设计构思在于，在卷包设备端利用传统的机器视觉检测装置对卷烟小盒进行第一次检验，当检测出瑕疵时会将瑕疵品直接剔除，同时基于图像压缩算法，将小盒图像压缩后发送到边缘端外观复检服务器，在边缘端使用基于深度学习的人工智能算法对多个设备端的机器视觉检测***发送的图像进行第二次检验；而由于小盒一般只有一个剔除工位，因此基于小盒和条盒关联机制，将小盒进行定位，以便在条盒剔除工位将包含有第一次未检测出瑕疵、而复检出瑕疵的小盒，在条盒剔除工位进行剔除。本发明能在提高检测准确率同时，降低漏剔率和误剔率，进一步保障了质量并降低了无谓的检测损耗。

Description

基于多端协同的小盒外观检测及剔除控制方法

技术领域

本发明涉及卷烟制造领域，尤其涉及一种基于多端协同的小盒外观检测及剔除控制方法。

背景技术

在卷烟市场消费层面，随着经济发展和消费水平的提升，消费者对卷烟品质的要求与期望越来越高，外观质量则消费者衡量一个企业制造水平的最直接的方式。正是由于外观质量的重要性，一直以来，行业以制造过程外观缺陷的引入点为方向，针对各项外观缺陷的产生机理开展了大量研究，通过改进设备部件及结构、优化辅料质量、规范人员操作等措施，取得了一定的成效，但是受限于设备固有能力、辅料自身缺陷、操作不确定性等因素，且偶然波动极难消除，最终还是不可避免的会产生影响消费者体验的瑕疵。以卷烟包装工序为例，通常由于在烟包的生产输送过程中由于辅料原因、输送带有异物、机械部件松动等原因，会导致烟包产生表面划痕、烟包破损、烟包变形等质量问题。

因此，烟草行业卷烟工厂开始逐步从缺陷的引入点延伸到控制点上开展研究，传统的产品外观质量管控模式是通过人工目测抽检，发现问题后反馈控制，但由于抽样比例与生产速度差距的悬殊，发现缺陷时点严重滞后。所以，将外观质量管控由抽样检验向在线视觉检瑕疵测转变，成为工业企业的共性、迫切需求。

目前卷烟生产过程的视觉检测的应用已经基本覆盖了从烟支到件烟的生产全链条，检测速度最快3毫秒每次，检测精度要求达到了2平方毫米，基本一个卷烟工厂的生产车间大约就有几百套。关于视觉检测技术的整体装置，目前已普遍使用基于传统算法(如滤波、直方图、边缘检测、图像分割、形态学变换、轮廓提取、模板匹配、几何变换等)的视觉检测装置来进行卷烟产品外观质量的在线检测。但是，由于卷烟生产环境干扰多、产品瑕疵样本随机，所以总是不可避免地会有一些漏检或者误检，还是有一定的质量风险和不必要的消耗。为此，近年来，行业技术人员开始逐步研究将深度学习技术应用在卷烟产品外观质量的在线检测。深度学习有用较高的精测精度，但是由于卷烟生产速度极快，直接应用深度学习算法，在检测速度上又不能满足实时性的要求，而且基于深度学习的检测装置的成本比较高，因此，将深度学习直接应用在卷烟产品的外观检测始终存在一定的技术难点，准确率不够高、漏检和误检始终存在等问题依旧待解决。

发明内容

鉴于上述，本发明旨在提供一种基于多端协同的小盒外观检测及剔除控制方法，以解决前述提及的技术问题。

本发明采用的技术方案如下：

本发明提供了一种基于多端协同的小盒外观检测及剔除控制方法，其中包括：

若干台卷包机组通过预配置的设备端小盒外观检测***，在检测工位执行小盒图像获取并保存；

根据获取的小盒图像并结合预设的机器视觉算法执行第一次外观瑕疵检测；

根据第一次检测结果，在小盒剔除工位将检测为瑕疵的小盒进行剔除；

设备端小盒外观检测***将每个小盒图像进行压缩，并发送至边缘端外观复检服务器；

边缘端外观复检服务器对每个小盒图像进行解压缩后，基于预设的AI智能算法进行外观瑕疵复检；

边缘端外观复检服务器将复检结果反馈至卷包机组设备端，设备端根据小盒与条盒的关联关系，将包含有漏检的瑕疵小盒的条盒在条盒剔除工位进行剔除。

在其中至少一种可能的实现方式中，小盒与条盒建立关联关系的方式包括：通过卷包机组预设工位的位置进行小盒与条盒的关联，或者采用标识解析策略进行小盒与条盒的关联。

在其中至少一种可能的实现方式中，所述控制方法还包括：所述边缘端外观复检服务器根据复检结果，对各卷包机组的设备端进行交叉参数优化和/或检测点优化。

在其中至少一种可能的实现方式中，所述检测点优化包括：当边缘端外观复检测服务器检测到存在漏检情况时，下发检测点新增指令，在对应的设备端小盒外观检测***新增检测点。

在其中至少一种可能的实现方式中，所述参数优化包括：当边缘端外观复检服务器检测到存在预设瑕疵类型的漏检情况时，下发参数修改指令，使对应的设备端小盒外观检测***针对预设瑕疵类型进行参数变更。

在其中至少一种可能的实现方式中，若干台卷包机组在设备端分别独立配置小盒视觉外观检测***。

在其中至少一种可能的实现方式中，若干台卷包机组集中配置一台边缘端外观复检服务器。

在其中至少一种可能的实现方式中，所述设备端小盒外观检测***将每个小盒图像进行压缩包括：基于预设的深度学习算法压缩策略对每个小盒的完整图像进行压缩。

本发明的主要设计构思在于，在卷包设备端利用基于传统算法的机器视觉检测装置对卷烟小盒进行第一次检验，当检测出瑕疵时会将瑕疵品直接剔除，同时基于图像压缩算法，将小盒图像压缩后发送到边缘端外观复检服务器，在边缘端使用基于深度学习的人工智能算法对多个设备端的机器视觉检测***发送的图像进行第二次检验；而由于小盒一般只有一个剔除工位，因此基于小盒和条盒关联机制，将小盒进行定位，以便在条盒剔除工位将包含有第一次未检测出瑕疵、而复检出瑕疵的小盒，在条盒剔除工位进行剔除。本发明能在提高检测准确率同时，降低漏剔率和误剔率，进一步保障了质量并降低了无谓的检测损耗。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明实施例提供的基于多端协同的小盒外观检测及剔除控制方法的流程图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提出了一种基于多端协同的小盒外观检测及剔除控制方法的实施例，具体来说，如图1所示，其中包括：

步骤S1、若干台卷包机组通过预配置的设备端小盒外观检测***，在检测工位执行小盒图像获取并保存；

步骤S2、根据获取的小盒图像并结合预设的机器视觉算法执行第一次外观瑕疵检测；

步骤S3、根据第一次检测结果，在小盒剔除工位将检测为瑕疵的小盒进行剔除；

步骤S4、设备端小盒外观检测***将每个小盒图像进行压缩，并发送至边缘端外观复检服务器；

步骤S5、边缘端外观复检服务器对每个小盒图像进行解压缩后，基于预设的AI智能算法进行外观瑕疵复检；

步骤S6、边缘端外观复检服务器将复检结果反馈至卷包机组设备端，设备端根据小盒与条盒的关联关系，将包含有漏检的瑕疵小盒的条盒在条盒剔除工位进行剔除。

关于小盒与条盒建立关联关系的方式包括：通过卷包机组预设工位的位置进行小盒与条盒的关联，或者采用标识解析技术进行小盒与条盒的关联。

进一步地，所述控制方法还包括：所述边缘端外观复检服务器根据复检结果，对各卷包机组的设备端进行交叉参数优化和/或检测点优化。

具体来说，所述检测点优化包括：当边缘端外观复检测服务器检测到存在漏检情况时，下发检测点新增指令，在对应的设备端小盒外观检测***新增检测点。

所述参数优化包括：当边缘端外观复检服务器检测到存在预设瑕疵类型的漏检情况时，下发参数修改指令，在对应的设备端小盒外观检测***针对预设瑕疵类型进行参数变更。

关于所述控制方法涉及的设备端小盒外观检测***，具体而言，若干台卷包机组在设备端分别独立配置小盒视觉外观检测***，也即是多台机组各自具有各司其职的设备端小盒外观检测***。

关于所述控制方法涉及的边缘端外观复检服务器，较佳地，若干台卷包机组集中配置一台边缘端外观复检服务器，也即是多台机组共用一台复检服务器。

最后还可以补充说明的是，所述设备端小盒外观检测***将每个小盒图像进行压缩包括：基于预设的深度学习算法压缩策略对每个小盒的完整图像进行压缩。

结合上述各实施例，基于某硬盒硬条卷包机组进行具体的示意性说明，该包装机总体分为小盒包装机和条盒包装机两个部分，在小盒包装机部署有一套基于传统视觉检测算法的小盒外观质量机器视觉检测***及对应的一个小盒剔除口，在条盒包装机部署有一个条盒剔除口，卷包机组连接到基于AI视觉检测算法的边缘端视觉检测服务器，其具体实施步骤如下：

由各机组的设备端小盒外观检测***执行传统的机器视觉检测算法，在检测工位执行小盒图像获取和基于传统机器视觉算法的第一外观瑕疵检测；根据第一次检测结果，在小盒剔除口将有瑕疵的小盒进行剔除，此即为首检，同时将小盒图像进行完整保存，在实际操作中，图片可保存为JPG格式或者BMP格式；

将多台机组的设备端外观检测***所保留的每张图片，基于深度学习算法进行压缩(具体方法可参照业内已有方案，如ZL202110379367.9等)，经压缩后，图像的文件大小可缩小至原来的十分之一，从而便于实时且高效地发送至边缘端视觉复检服务器，且不会占用过多的服务器空间。

边缘端外观复检服务器对各机组发送的每个小盒图像进行解压缩后，再次逐张进行基于AI智能算法的外观瑕疵检测(行业内通过人工智能算法进行包装外观检测的策略也有大量可借鉴的技术方案，对此本发明不作赘述)，此过程即完成对小盒图像的复检；

边缘端外观复检服务器将复检结果反馈至设备端，当复检正常时则放行，而当复检为异常时，由于边缘端的检测精细度较传统算法更高，因而，此时当通过复检发现有瑕疵漏检小盒时，按照机组运行速度，该传统算法漏检的小盒大概率已经错过了小盒剔除口，因此，本发明提出此阶段需要根据小盒和条盒的信息建立关联关系(具体地，卷包机组都是有严格的工位对应关系的，因而可通过工位进行关联；或者，还可以采用标识解析技术进行关联)，以定位漏检的小盒目前存在于哪个条盒，然后将包含有瑕疵小盒的条盒在条盒剔除口进行剔除。

进一步地，所述边缘端外观复检服务器还可以根据复检结果，实现生产相同品牌的多台机组设备在各设备端小盒外观检测***进行交叉参数优化和检测点(范围)优化，迭代提高设备端视觉检测***的检测准确性和覆盖范围，提高检测准确率，降低漏检率和误检率。例如：(1)各设备端小盒外观检测***均设定有相应的检测点，当边缘端外观复检测服务器检测到存在漏检情况时，则可下发检测点新增指令，在对应的设备端小盒外观检测***新增检测点，以提高检测准确率并降低漏检率；(2)当边缘端外观复检服务器发现某类瑕疵存在漏检时，比如是因为某种包装材料的反光度或者光照情况变化造成的漏检，则边缘端外观复检服务可下发参数修改指令，以降低某些检测点的灵敏度，从而降低误检率。

为了验证本发明提出的上述方案，进行了下述对比试验。

对比机群：两组群ZB45包装设备，其中一组使用本发明提出的检测方法，另一组为对照组，不使用本发明前述方法。

产品规格：84*7.7常规烟，硬盒硬条机组；

对比方法：因数据量太过巨大，只连续查看一万张其保存的图片进行人工识别，分别对比其小盒外观质量在线检测的检测准确率、漏检率和误检率，瑕疵使用人工制作和自然产生相结合的方式；

其中：

可见，使用本发明方法的卷包机群的小盒外观质量检测的主要技术性能指标显著优于未使用本发明方法的对照机组，且在实际应用时，多台机组设备可仅配置一台基于深度学习等智能算法的服务器，而且对机组运行速度没有过于苛刻的要求，在后续的条盒剔除阶段，只需取出条盒内有瑕疵的小盒，其余仍可以回收再利用，不会产生多余的消耗，总体而言，本发明具有很好的实际应用意义。

综上所述，本发明的主要设计构思在于，在卷包设备端利用基于传统算法的机器视觉检测装置对卷烟小盒进行第一次检验，当检测出瑕疵时会将瑕疵品直接剔除，同时基于图像压缩算法，将小盒图像压缩后发送到边缘端外观复检服务器，在边缘端使用基于深度学习的人工智能算法对多个设备端的机器视觉检测***发送的图像进行第二次检验；而由于小盒一般只有一个剔除工位，因此基于小盒和条盒关联机制，将小盒进行定位，以便在条盒剔除工位将包含有第一次未检测出瑕疵、而复检出瑕疵的小盒，在条盒剔除工位进行剔除。本发明能在提高检测准确率同时，降低漏剔率和误剔率，进一步保障了质量并降低了无谓的检测损耗。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (8)

1.一种基于多端协同的小盒外观检测及剔除控制方法，其特征在于，包括：

若干台卷包机组通过预配置的设备端小盒外观检测***，在检测工位执行小盒图像获取并保存；

根据获取的小盒图像并结合预设的机器视觉算法执行第一次外观瑕疵检测；

根据第一次检测结果，在小盒剔除工位将检测为瑕疵的小盒进行剔除；

设备端小盒外观检测***将每个小盒图像进行压缩，并发送至边缘端外观复检服务器；

边缘端外观复检服务器对每个小盒图像进行解压缩后，基于预设的AI智能算法进行外观瑕疵复检；

边缘端外观复检服务器将复检结果反馈至卷包机组设备端，设备端根据小盒与条盒的关联关系，将包含有漏检的瑕疵小盒的条盒在条盒剔除工位进行剔除。

2.根据权利要求1所述的基于多端协同的小盒外观检测及剔除控制方法，其特征在于，小盒与条盒建立关联关系的方式包括：通过卷包机组预设工位的位置进行小盒与条盒的关联，或者采用标识解析策略进行小盒与条盒的关联。

3.根据权利要求1所述的基于多端协同的小盒外观检测及剔除控制方法，其特征在于，所述控制方法还包括：所述边缘端外观复检服务器根据复检结果，对各卷包机组的设备端进行交叉参数优化和/或检测点优化。

4.根据权利要求3所述的基于多端协同的小盒外观检测及剔除控制方法，其特征在于，所述检测点优化包括：当边缘端外观复检测服务器检测到存在漏检情况时，下发检测点新增指令，在对应的设备端小盒外观检测***新增检测点。

5.根据权利要求3所述的基于多端协同的小盒外观检测及剔除控制方法，其特征在于，所述参数优化包括：当边缘端外观复检服务器检测到存在预设瑕疵类型的漏检情况时，下发参数修改指令，使对应的设备端小盒外观检测***针对预设瑕疵类型进行参数变更。

6.根据权利要求1所述的基于多端协同的小盒外观检测及剔除控制方法，其特征在于，若干台卷包机组在设备端分别独立配置小盒视觉外观检测***。

7.根据权利要求1所述的基于多端协同的小盒外观检测及剔除控制方法，其特征在于，若干台卷包机组集中配置一台边缘端外观复检服务器。

8.根据权利要求1～7任一项所述的基于多端协同的小盒外观检测及剔除控制方法，其特征在于，所述设备端小盒外观检测***将每个小盒图像进行压缩包括：基于预设的深度学习算法压缩策略对每个小盒的完整图像进行压缩。

Images