CN116703918A - 一种基于神经网络模型的药品包装盒质量检测方法及*** - Google Patents

一种基于神经网络模型的药品包装盒质量检测方法及*** Download PDF

Info

Publication number
CN116703918A
CN116703918A CN202310980871.3A CN202310980871A CN116703918A CN 116703918 A CN116703918 A CN 116703918A CN 202310980871 A CN202310980871 A CN 202310980871A CN 116703918 A CN116703918 A CN 116703918A
Authority
CN
China
Prior art keywords
edge
packing box
medicine
pixel
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310980871.3A
Other languages
English (en)
Other versions
CN116703918B (zh
Inventor
张涛
朱珠
房昊
辛龙潭
黄兴士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Chenxin Fodu Pharmaceutical Co ltd
Original Assignee
Shandong Chenxin Fodu Pharmaceutical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Chenxin Fodu Pharmaceutical Co ltd filed Critical Shandong Chenxin Fodu Pharmaceutical Co ltd
Priority to CN202310980871.3A priority Critical patent/CN116703918B/zh
Publication of CN116703918A publication Critical patent/CN116703918A/zh
Application granted granted Critical
Publication of CN116703918B publication Critical patent/CN116703918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及神经网络技术领域，具体涉及一种基于神经网络模型的药品包装盒质量检测方法及***，其中，基于神经网络模型的药品包装盒质量检测***是一种采用神经网络模型的计算机***，具体是一种生产领域人工智能***和人工智能优化操作***；本发明利用神经网络获取药品包装盒图像，基于药品包装盒图像计算药品包装盒各棱边上各边缘像素的粗糙度，粗糙度可表征边缘像素处的纸板纤维是否断裂，根据粗糙度检测各目标棱边上是否存在爆线缺陷；根据检测结果对药品包装盒质量进行检测。本发明检测速度快，检测结果准确。而且，本发明提供的一种基于神经网络模型的药品包装盒质量检测方法及***可以用于计算机视听觉软件等应用软件开发。

Description

一种基于神经网络模型的药品包装盒质量检测方法及***
技术领域
本发明涉及神经网络技术领域，具体涉及一种基于神经网络模型的药品包装盒质量检测方法及***。
背景技术
药品包装盒作为直接或间接接触药品的一种外包装材料盒容器，对于药品的稳定性和使用安全性具有十分重要的作用。优质的药品包装材料可以有效地减少药品的破损、提高保护功能，保证药品的有效期。由于药品包装盒原料质量或生产工艺问题，在进行药品包装盒糊盒时可能会产生爆线缺陷，因此在药品包装盒糊盒工艺后会进行药品包装盒成品检测。目前生产上可通过计算机视觉方法通过药品包装盒图像中包装盒的外观信息进行检测。但是在现有技术中因为一张图像中会存在多个药品包装盒，某一个药品包装盒存在多个边缘，复杂的信息导致包装盒外观边缘检测过程受到影响，无法准确获得包装盒边缘进而进行爆线缺陷检测，导致检测效率不高，效果较差。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于神经网络模型的药品包装盒质量检测方法及***，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于神经网络模型的药品包装盒质量检测方法，该方法包括以下具体步骤：
基于斜俯视视角，对药品包装盒各个顶点进行图像采集，利用语义分割神经网络对采集的图像进行处理，得到若干药品包装盒图像，所述药品包装盒图像中包括至少一个药品包装盒；其中，基于语义分割神经网络获取药品包装盒遮罩，利用药品包装盒遮罩在所采集图像中进行药品包装盒提取，获取药品包装盒图像；
对于每张药品包装盒图像：进行连通域分析，获取连通域外轮廓，所述连通域外轮廓为药品包装盒图像中药品包装盒的平面轮廓，平面轮廓对应的药品包装盒棱边为辅助棱边；获取目标棱边，目标棱边为药品包装盒图像中辅助棱边以外的可见棱边；基于垂直于目标棱边方向上各目标棱边像素相邻像素的梯度对目标棱边进行宽度扩充；计算扩充后的目标棱边上各边缘像素的粗糙度，所述粗糙度可表征边缘像素处的纸板纤维是否断裂，根据所述粗糙度检测各目标棱边上是否存在爆线缺陷；
根据所有药品包装盒图像的爆线缺陷检测结果对药品包装盒质量进行检测。
进一步地，所述获取目标棱边，具体为：
对连通域外轮廓进行霍夫变换，基于霍夫空间中高亮点的坐标，获取每条辅助棱边对应直线的函数表达式；
根据成像特性和空间中棱边的位置关系，结合辅助棱边对应直线的函数表达式，获取每条目标棱边对应直线所有可能的函数表达式，进而得到目标棱边所有可能的交点；
确定最优交点，根据过最优交点的直线得到目标棱边。
进一步地，所述确定最优交点，具体为：
每个交点对应的三条目标棱边和辅助棱边将药品包装盒图像分为三个面；
对于每个交点，基于药品包装盒图像中参考棱边方向上该交点两侧像素的灰度差异和三个面的灰度一致性计算交点为药品包装盒顶点的概率，根据所述概率确定最优交点；其中，有唯一函数表达式的目标棱边为参考棱边。
进一步地，基于垂直于目标棱边方向上各目标棱边像素相邻像素的梯度对目标棱边进行宽度扩充，具体为：
对于目标棱边上的每个像素，沿垂直于目标棱边方向，在该像素两侧均取n个相邻像素；
对于每一侧，若该侧的n个相邻像素的梯度均小于预设梯度阈值，则n个相邻像素为该像素的扩充像素；否则，该像素与梯度最大值对应的像素之间的像素以及梯度最大值对应的像素为该像素的扩充像素。
进一步地，所述扩充后的目标棱边上各边缘像素的粗糙度的计算具体为：
根据边缘像素与其相邻边缘像素的曲率差异，计算目标棱边上目标棱边上各边缘像素的粗糙度；其中，边缘像素的相邻边缘像素为边缘像素两侧的若干边缘像素。
进一步地，根据所述粗糙度检测各目标棱边上是否存在爆线缺陷，具体为：
根据所述粗糙度判断目标棱边上各边缘像素是否为缺陷像素；若存在连续的缺陷像素，则目标棱边上存在爆线缺陷。
进一步地，所述药品包装盒图像的获取方法包括：
基于语义分割神经网络获取药品包装盒遮罩，利用药品包装盒遮罩在所采集图像中进行药品包装盒提取，获取药品包装盒图像。
进一步地，其中n取5。
进一步地，预设梯度阈值设置为10。
第二方面，本发明另一个实施例提供了一种基于神经网络模型的药品包装盒质量检测***，该***包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现一种基于神经网络模型的药品包装盒质量检测方法的步骤。
本发明实施例至少具有如下有益效果：
1、本发明提供一种基于神经网络模型的药品包装盒质量检测方法及***，其中，基于神经网络模型的药品包装盒质量检测***是一种采用神经网络模型的计算机***，具体是一种生产领域人工智能***和人工智能优化操作***，具体地，本发明基于神经网络模型获取药品包装盒图像，利用图像处理技术对药品包装盒图像进行处理，判断药品包装盒各棱边上是否存在爆线缺陷，进而对药品包装盒的质量进行评价检测；检测速度快，且检测结果准确。而且，本发明提供的一种基于神经网络模型的药品包装盒质量检测方法及***可以用于计算机视听觉软件等应用软件开发。
2、本发明对每张药品包装盒图像中成像较好的目标棱边进行爆线缺陷检测，避免了因为边缘检测不准确导致对爆线检测产生影响，进而完成药品包装盒所有棱边的爆线检测，检测结果精确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明方法实施例的步骤流程图。
图2为实施例中图像采集设备和药品包装盒的相对位姿示意图。
图3为实施例的药品包装盒图像中药品包装盒的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于神经网络模型的药品包装盒质量检测方法及***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
药品包装盒对于药品的稳定性及使用安全性有着重要作用，因此需对药品包装盒进行质量检测。基于此，本发明的主要目的是，利用计算机视觉和神经网络模型，对采集到的药品包装盒图像进行处理，分析图像的特征，提取药品包装盒的每条棱边，进行爆线缺陷的识别。结合爆线缺陷，进行药品包装盒质量评估，同时定位产生爆线缺陷的生产问题。
下面结合附图具体的说明本发明所提供的一种基于神经网络模型的药品包装盒质量检测方法及***的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于神经网络模型的药品包装盒质量检测方法的步骤流程图，该方法包括以下步骤：
基于斜俯视视角，对药品包装盒各个顶点进行图像采集，利用语义分割神经网络对采集的图像进行处理，得到若干药品包装盒图像，所述药品包装盒图像中包括至少一个药品包装盒；其中，基于语义分割神经网络获取药品包装盒遮罩，利用药品包装盒遮罩在所采集图像中进行药品包装盒提取，获取药品包装盒图像；
对于每张药品包装盒图像：进行连通域分析，获取连通域外轮廓，所述连通域外轮廓为药品包装盒图像中药品包装盒的平面轮廓，平面轮廓对应的药品包装盒棱边为辅助棱边；获取目标棱边，目标棱边为药品包装盒图像中辅助棱边以外的可见棱边；基于垂直于目标棱边方向上各目标棱边像素相邻像素的梯度对目标棱边进行宽度扩充；计算扩充后的目标棱边上各边缘像素的粗糙度，所述粗糙度可表征边缘像素处的纸板纤维是否断裂，根据所述粗糙度检测各目标棱边上是否存在爆线缺陷；
根据所有药品包装盒图像的爆线缺陷检测结果对药品包装盒质量进行检测。
下面对上述内容进行具体展开：
步骤S1，基于斜俯视视角，对药品包装盒各个顶点进行图像采集，利用语义分割神经网络对采集的图像进行处理，得到若干药品包装盒图像，所述药品包装盒图像中包括至少一个药品包装盒；其中，基于语义分割神经网络获取药品包装盒遮罩，利用药品包装盒遮罩在所采集图像中进行药品包装盒提取，获取药品包装盒图像。
基于斜俯视视角，对药品包装盒各个顶点进行图像采集，优选地，参阅图2，实施例中在药品包装盒顶点上方45°方向架设图像采集设备进行图像采集，此时采集的图像中可能不仅仅包括药品包装盒，因此，需要对采集的图像进行处理，得到仅包括药品包装盒的药品包装盒图像，实施例中基于语义分割网络获取药品包装盒图像，具体地，基于语义分割神经网络获取药品包装盒遮罩，利用药品包装盒遮罩在所采集图像中进行药品包装盒提取，获取药品包装盒图像。其中，语义分割网络的训练过程为：训练数据集中的图像为按照本发明中的图像采集方式对药品包装盒进行图像采集得到的图像；图像中需要分割的像素分为两类，即训练数据集对应标签的标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于药品包装盒的标注为1；网络的任务是分类，所以使用的loss函数为交叉熵损失函数。
需要说明的是，药品包装盒的每个顶点对应一张药品包装盒图像。
步骤S2，对于每张药品包装盒图像：进行连通域分析，获取连通域外轮廓，所述连通域外轮廓为药品包装盒图像中药品包装盒的平面轮廓，平面轮廓对应的药品包装盒棱边为辅助棱边；获取目标棱边，目标棱边为药品包装盒图像中辅助棱边以外的可见棱边；基于垂直于目标棱边方向上各目标棱边像素相邻像素的梯度对目标棱边进行宽度扩充；计算扩充后的目标棱边上各边缘像素的粗糙度，所述粗糙度可表征边缘像素处的纸板纤维是否断裂，根据所述粗糙度检测各目标棱边上是否存在爆线缺陷。
下面以一张药品包装盒图像为例，对步骤S2进行说明：
本发明中爆线缺陷是指药品包装盒糊盒时，纸板压力过大，超过了纸板纤维的承受极限，使压痕位置纤维断裂或者部分断裂。药品包装盒为长方体，压痕位置为药品包装盒的棱边，因此，为检测爆线缺陷，则需先获取图像中药品包装盒的棱边。
由于药品包装盒上图案复杂，无法通过简单的边缘检测获取药品包装盒图像中所有可见的棱边，因此，本发明将药品包装盒图像中所有可见的棱边分为辅助棱边和目标棱边，其中，辅助棱边是基于霍夫变换可以得到确切函数表达式的棱边，也即药品包装盒图像中药品包装盒的平面轮廓对应的药品包装盒棱边，再结合辅助棱边获取目标棱边，进而对目标棱边进行爆线缺陷检测。
(1)进行连通域分析，获取连通域外轮廓，所述连通域外轮廓为药品包装盒图像中药品包装盒的平面轮廓，平面轮廓对应的药品包装盒棱边为辅助棱边。
对药品包装盒图像进行灰度化后，进行连通域分析，获取连通域的外轮廓，获取连通域外轮廓对应的药品包装盒的棱边，得到的棱边为辅助棱边；参阅图3，六条棱边为辅助棱边，即/>六条棱边构成药品包装盒图像中药品包装盒的平面轮廓。
(2)获取目标棱边，目标棱边为药品包装盒图像中辅助棱边以外的可见棱边。
图3中、/>、/>为药品包装盒图像中辅助棱边以外的可见棱边，即/>、/>、/>为目标棱边，由于药品包装盒上图案复杂，因此，直接进行边缘检测不能准确知道哪些边缘为/>、/>、/>，因此，需要利用其他方法获取目标棱边。
获取目标棱边，具体为：对连通域外轮廓进行霍夫变换，基于霍夫空间中高亮点的坐标，获取每条辅助棱边对应直线的函数表达式；根据成像特性和空间中棱边的位置关系，结合辅助棱边对应直线的函数表达式，获取每条目标棱边对应直线所有可能的函数表达式，进而得到目标棱边所有可能的交点；确定最优交点，根据过最优交点的直线得到目标棱边。
要获取目标棱边、/>、/>，需要首先获取辅助棱边以及可见棱边的交点即顶点。
(21)对连通域外轮廓进行霍夫变换，基于霍夫空间中高亮点的坐标，获取每条辅助棱边对应直线的函数表达式。
对连通域外轮廓即药品包装盒的平面轮廓进行霍夫变换直线检测，将连通域外轮廓转换到霍夫空间，优选地，实施例中霍夫空间为极坐标参数空间，在霍夫空间中得到个高亮点/>，/>为极坐标参数空间中高亮点的极坐标，/>为极径，/>为极角，分别对应边/>六条辅助棱边所在的直线，通过直线公式/>分别得到六条辅助棱边所在直线的函数表达式。得到辅助棱边对应直线的函数表达式后，根据辅助棱边可得到其交点，也即可得到顶点/>的坐标，/>的坐标分别表示为/>，/>，/>。
(22)根据成像特性和空间中棱边的位置关系，结合辅助棱边对应直线的函数表达式，获取每条目标棱边对应直线所有可能的函数表达式，进而得到目标棱边所有可能的交点。
根据成像特性和空间中棱边的位置关系可知，在步骤S1所述的拍摄条件下，得到的图像中药品包装盒呈成角透视，具体地，线段为图3中的可见棱边；在成角透视关系下，线段/>、/>、/>相互平行；线段/>、/>、/>对应的几条棱边在实际三维空间中平行，但由于成角透视的作用，在图像中不平行；同样的，线段/>、/>、/>对应的几条棱边在实际三维空间中平行，但由于成角透视的作用，在图像中不平行；顶点/>为药品包装盒的部分顶点。
结合辅助棱边对应直线的函数表达式，获取每条目标棱边对应直线所有可能的函数表达式，具体地，结合辅助棱边对应直线的函数表达式和求解出的可见棱边的交点，获取每条目标棱边对应直线所有可能的函数表达式。
药品包装盒图像中、/>、/>相互平行(/>)且/>经过顶点/>，则/>所在直线在霍夫空间中的表示为：/>。
、/>、/>不平行，但三条线段角度差异较小，/>所在直线在霍夫空间中的角度/>处于/>与/>之间，其中/>为取余运算，且/>经过顶点/>。因此/>可能所在的直线有多个，在霍夫空间中表示为：/>。
同理，可能所在的直线在霍夫空间中表示为：/>。
至此，得到每条目标棱边对应直线所有可能的函数表达式。
根据每条目标棱边对应直线所有可能的函数表达式，获取目标棱边所有可能的交点：上述获得了所在直线的唯一确定函数表达式以及/>、/>可能所在的直线的函数表达式，若/>所在直线与/>可能所在的一条直线以及/>可能所在的一条直线，三条直线交汇于一点，则该点为三条直线的交点，通过求解方程式，获取目标棱边所有可能的交点。
(23)确定最优交点，根据过最优交点的直线得到目标棱边。
目标棱边、/>、/>的实际交点是图3中的顶点/>，因此，需要在所有可能的交点中寻找顶点/>，优选地，确定最优交点，具体为：每个交点对应的三条目标棱边和辅助棱边将药品包装盒图像分为三个面；对于每个交点，基于药品包装盒图像中参考棱边方向上该交点两侧像素的灰度差异和三个面的灰度一致性计算交点为药品包装盒顶点的概率，根据所述概率确定最优交点；其中，有唯一函数表达式的目标棱边为参考棱边，具体地，/>为参考棱边。
对于每个交点，基于药品包装盒图像中参考棱边方向上该交点两侧像素的灰度差异和三个面的灰度一致性计算交点为药品包装盒顶点的概率，作为一个示例，交点为药品包装盒顶点的概率的计算方法为：
为交点为药品包装盒顶点/>的概率；/>为参考棱边方向上该交点两侧像素的灰度差异，具体地，为参考棱边方向上该交点两侧像素的灰度差值绝对值，若交点为药品包装盒顶点/>，则参考棱边方向上该交点两侧像素的灰度差异较大，若交点不是药品包装盒顶点/>，则参考棱边方向上该交点两侧像素均位于某一个面上或均位于参考棱边上，灰度差异较小；为双曲正切函数，灰度差异/>越大，则/>越大；/>表示三个面的灰度一致性，/>为每个面的序号，统计第/>个面中距离交点最近的/>个像素点的灰度值及每个灰度值出现的频率，/>为灰度值，/>为灰度值/>出现的频率，/>为灰度值最大值，三个面的灰度值越一致，/>越趋于1，/>越趋于0，/>越小，越大。因此，交点对应的灰度差异/>越大，灰度一致性值越大，交点为药品包装盒顶点/>的概率越大。
概率最大值对应的交点为最优交点，最优交点为药品包装盒顶点，至此，得到药品包装盒顶点/>的坐标。
根据过最优交点的三条直线以及顶点的坐标，可得到目标棱边。
(3)基于垂直于目标棱边方向上各目标棱边像素相邻像素的梯度对目标棱边进行宽度扩充。
上述得到的目标棱边均为单像素宽度，而实际图像中，药品包装盒棱边宽度大于单像素宽度。在光照作用下，图像中药品包装盒棱边的灰度与相邻面的灰度存在较小的差异，若存在爆线缺陷，则差异较大。因此结合目标棱边周围像素点，对目标棱边进行扩充，具体地：对于目标棱边上的每个像素，沿垂直于目标棱边方向，在该像素两侧均取n个相邻像素；对于每一侧，若该侧的n个相邻像素的梯度均小于预设梯度阈值，则n个相邻像素为该像素的扩充像素；否则，该像素与梯度最大值对应的像素之间的像素以及梯度最大值对应的像素为该像素的扩充像素。其中，像素的梯度为垂直于目标棱边方向上的梯度。
下面以一条目标棱边为例，说明目标棱边的扩充过程：
对于第条目标棱边，其所在的直线在霍夫空间中表示为/>。实施例中n值为5，对于第/>条目标棱边上的每个像素点，获取其在第/>条目标棱边一侧（即该像素点/>方向上）相邻的/>个像素点，计算此/>个像素点在/>方向上的梯度，若此/>个像素点梯度均小于/>，则将此/>个像素点扩充至第/>条目标棱边，作为目标棱边的一部分；若存在像素点梯度大于/>，获取梯度最大的像素点，将梯度最大的像素点以及其与第/>条目标棱边之间的像素点扩充至第k条目标棱边，作为目标棱边的一部分。
同理对于第条目标棱边上每个像素点，获取第/>条目标棱边另一侧，即该像素点方向上，相邻的/>个像素点，计算此/>个像素点在/>方向上的梯度，根据梯度完成第/>条目标棱边扩充。
(4)计算扩充后的目标棱边上各边缘像素的粗糙度，所述粗糙度可表征边缘像素处的纸板纤维是否断裂。
若棱边上不存在爆线缺陷，则棱边边缘光滑。若棱边上存在爆线缺陷，爆线缺陷为棱边上部分纤维断裂，此时存在爆线缺陷的棱边边缘粗糙。基于此，扩充后的目标棱边上各边缘像素的粗糙度的计算具体为：根据边缘像素与其相邻边缘像素的曲率差异，计算目标棱边上目标棱边上各边缘像素的粗糙度；其中，边缘像素的相邻边缘像素为边缘像素两侧的若干边缘像素。作为一个示例，目标棱边上各边缘像素的粗糙度的计算方式为：
为目标棱边上第/>个边缘像素的粗糙度；/>为目标棱边上第/>个边缘像素的曲率；获取第/>个边缘像素在该目标棱边边缘上与其左右相邻的/>个像素点，/>为目标棱边上第/>个边缘像素的第/>个相邻边缘像素的曲率；/>为上述多个边缘像素的曲率差异，曲率差异越大，则第/>个边缘像素的粗糙度越大，第/>个边缘像素越可能是缺陷像素，反之差异越小，粗糙度越小。
(5)根据所述粗糙度检测各目标棱边上是否存在爆线缺陷。
根据所述粗糙度判断目标棱边上各边缘像素是否为缺陷像素；若存在连续的缺陷像素，则目标棱边上存在爆线缺陷。其中，粗糙度大于等于预设粗糙度阈值的像素为缺陷像素，优选地，实施例中粗糙度阈值为0.9。实施例中，若存在两个及以上连续的缺陷像素，则目标棱边上存在爆线缺陷，原因为单个的缺陷像素可能为目标棱边边缘的拐点。
步骤S3，根据所有药品包装盒图像的爆线缺陷检测结果对药品包装盒质量进行检测。
一个实施方式中，按照上述步骤对每张药品包装盒图像中的目标棱边进行爆线缺陷检测，最终根据存在爆线缺陷的棱边条数以及缺陷像素的个数，也即爆线缺陷的长度对药品包装盒质量进行检测。
另一个实施方式中，按照上述步骤对每张药品包装盒图像中的目标棱边进行爆线缺陷检测，若药品包装盒上不存在爆线缺陷，则该药品包装盒质量合格；若药品包装盒上存在爆线缺陷，则该药品包装盒质量不合格。得到药品包装盒质量不合格的结论后，再根据爆线缺陷的分布位置推测导致药品包装盒爆线的原因，具体地，若爆线缺陷遍布所在棱边，则该爆线缺陷为药品包装盒原料纸张纤维韧性差引起，控制生产***在糊盒中增加湿度，减少折叠次数；若爆线缺陷为所在棱边的一部分，则该爆线缺陷为模切压痕时压力不均导致，此时控制生产***调整模切压痕压力。
基于与上述方法实施例相同的发明构思，本发明一个实施例提供了一种基于神经网络模型的药品包装盒质量检测***，该***包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现一种基于神经网络模型的药品包装盒质量检测方法的步骤。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，该方法包括：
基于斜俯视视角，对药品包装盒各个顶点进行图像采集，利用语义分割神经网络对采集的图像进行处理，得到若干药品包装盒图像，所述药品包装盒图像中包括至少一个药品包装盒；
对于每张药品包装盒图像：进行连通域分析，获取连通域外轮廓，所述连通域外轮廓为药品包装盒图像中药品包装盒的平面轮廓，平面轮廓对应的药品包装盒棱边为辅助棱边；获取目标棱边，目标棱边为药品包装盒图像中辅助棱边以外的可见棱边；基于垂直于目标棱边方向上各目标棱边像素相邻像素的梯度对目标棱边进行宽度扩充；计算扩充后的目标棱边上各边缘像素的粗糙度，根据所述粗糙度检测各目标棱边上是否存在爆线缺陷；
根据所有药品包装盒图像的爆线缺陷检测结果对药品包装盒质量进行检测。
2.如权利要求1所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，所述获取目标棱边，具体为：
对连通域外轮廓进行霍夫变换，基于霍夫空间中高亮点的坐标，获取每条辅助棱边对应直线的函数表达式；
根据成像特性和空间中棱边的位置关系，结合辅助棱边对应直线的函数表达式，获取每条目标棱边对应直线所有可能的函数表达式，进而得到目标棱边所有可能的交点；
确定最优交点，根据过最优交点的直线得到目标棱边。
3.如权利要求2所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，所述确定最优交点，具体为：
每个交点对应的三条目标棱边和辅助棱边将药品包装盒图像分为三个面；
对于每个交点，基于药品包装盒图像中参考棱边方向上该交点两侧像素的灰度差异和三个面的灰度一致性计算交点为药品包装盒顶点的概率，根据所述概率确定最优交点；其中，有唯一函数表达式的目标棱边为参考棱边。
4.如权利要求3所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，基于垂直于目标棱边方向上各目标棱边像素相邻像素的梯度对目标棱边进行宽度扩充，具体为：
对于目标棱边上的每个像素，沿垂直于目标棱边方向，在该像素两侧均取n个相邻像素；
对于每一侧，若该侧的n个相邻像素的梯度均小于预设梯度阈值，则n个相邻像素为该像素的扩充像素；否则，该像素与梯度最大值对应的像素之间的像素以及梯度最大值对应的像素为该像素的扩充像素。
5.如权利要求4所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，所述扩充后的目标棱边上各边缘像素的粗糙度的计算具体为：
根据边缘像素与其相邻边缘像素的曲率差异，计算目标棱边上目标棱边上各边缘像素的粗糙度；其中，边缘像素的相邻边缘像素为边缘像素两侧的若干边缘像素。
6.如权利要求5所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，根据所述粗糙度检测各目标棱边上是否存在爆线缺陷，具体为：
根据所述粗糙度判断目标棱边上各边缘像素是否为缺陷像素；若存在连续的缺陷像素，则目标棱边上存在爆线缺陷。
7.如权利要求1所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，所述药品包装盒图像的获取方法包括：
基于语义分割神经网络获取药品包装盒遮罩，利用药品包装盒遮罩在所采集图像中进行药品包装盒提取，获取药品包装盒图像。
8.如权利要求4所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，其中n取5。
9.如权利要求4所述的一种基于神经网络模型的药品包装盒质量检测方法，其特征在于，预设梯度阈值设置为10。
10.一种基于神经网络模型的药品包装盒质量检测***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述方法的步骤。
CN202310980871.3A 2023-08-07 2023-08-07 一种基于神经网络模型的药品包装盒质量检测方法及*** Active CN116703918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310980871.3A CN116703918B (zh) 2023-08-07 2023-08-07 一种基于神经网络模型的药品包装盒质量检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310980871.3A CN116703918B (zh) 2023-08-07 2023-08-07 一种基于神经网络模型的药品包装盒质量检测方法及***

Publications (2)

Publication Number Publication Date
CN116703918A true CN116703918A (zh) 2023-09-05
CN116703918B CN116703918B (zh) 2023-10-20

Family

ID=87837867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310980871.3A Active CN116703918B (zh) 2023-08-07 2023-08-07 一种基于神经网络模型的药品包装盒质量检测方法及***

Country Status (1)

Country Link
CN (1) CN116703918B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952954A (zh) * 2024-02-26 2024-04-30 南京梓其宁科技有限公司 应用bp神经网络的配电箱体数据解析***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074332A (ja) * 2000-08-25 2002-03-15 Japan Packaging Institute 包装材及び包装体のシール不良検出方法及びシール不良検出装置
CN106556608A (zh) * 2016-07-14 2017-04-05 苏州新材料研究所有限公司 一种检测产品表面缺陷的方法和***
CN109632808A (zh) * 2018-12-05 2019-04-16 深圳大学 棱边缺陷检测方法、装置、电子设备及存储介质
CN111985466A (zh) * 2020-08-19 2020-11-24 上海海事大学 一种集装箱危险品标志识别方法
CN113776469A (zh) * 2021-08-10 2021-12-10 同济大学 一种粉体颗粒表面粗糙度的检测方法及***
CN114549529A (zh) * 2022-04-26 2022-05-27 武汉福旺家包装有限公司 基于计算机视觉的纸箱压痕质量检测方法及***
CN114782475A (zh) * 2022-06-16 2022-07-22 南通金石包装印刷有限公司 基于人工智能***的瓦楞纸箱压线缺陷检测优化方法
CN115797872A (zh) * 2023-01-31 2023-03-14 捷易(天津)包装制品有限公司 基于机器视觉的包装缺陷识别方法、***、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074332A (ja) * 2000-08-25 2002-03-15 Japan Packaging Institute 包装材及び包装体のシール不良検出方法及びシール不良検出装置
CN106556608A (zh) * 2016-07-14 2017-04-05 苏州新材料研究所有限公司 一种检测产品表面缺陷的方法和***
CN109632808A (zh) * 2018-12-05 2019-04-16 深圳大学 棱边缺陷检测方法、装置、电子设备及存储介质
CN111985466A (zh) * 2020-08-19 2020-11-24 上海海事大学 一种集装箱危险品标志识别方法
CN113776469A (zh) * 2021-08-10 2021-12-10 同济大学 一种粉体颗粒表面粗糙度的检测方法及***
CN114549529A (zh) * 2022-04-26 2022-05-27 武汉福旺家包装有限公司 基于计算机视觉的纸箱压痕质量检测方法及***
CN114782475A (zh) * 2022-06-16 2022-07-22 南通金石包装印刷有限公司 基于人工智能***的瓦楞纸箱压线缺陷检测优化方法
CN115797872A (zh) * 2023-01-31 2023-03-14 捷易(天津)包装制品有限公司 基于机器视觉的包装缺陷识别方法、***、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAMPERIDOU，V等: "Surface Roughness of Sliced Veneers in Terms of Defects and Wood Structure Variability-Impact of Mild Hydrothermal Treatment", MATERIALS SCIENCE, pages 177 - 191 *
孙郑芬;吴韶波;: "机器视觉技术在工业智能化生产中的应用", 物联网技术, no. 08 *
韩明芮等: "基于图像处理的包装缺陷检测方法综述", 中国储运, pages 110 - 112 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952954A (zh) * 2024-02-26 2024-04-30 南京梓其宁科技有限公司 应用bp神经网络的配电箱体数据解析***

Also Published As

Publication number Publication date
CN116703918B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN116703918B (zh) 一种基于神经网络模型的药品包装盒质量检测方法及***
CN115272341A (zh) 一种基于机器视觉的包装机缺陷产品检测方法
EP2843590B1 (en) System and method for package dimensioning
CN112669318B (zh) 表面缺陷检测方法、装置、设备及存储介质
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN107478657A (zh) 基于机器视觉的不锈钢表面缺陷检测方法
CN107895375B (zh) 基于视觉多特征的复杂道路线提取方法
CN115641332B (zh) 产品边缘外观缺陷的检测方法及装置、介质、设备
CN104359415B (zh) 一种水火弯板角变形量测量方法及***
CN107292309A (zh) 一种无色差刻印字符识别方法
CN116228678A (zh) 芯片封装缺陷自动识别和处理方法
CN102565074B (zh) 小张清分机疑似缺陷产品图像复检***及方法
CN113256570A (zh) 基于人工智能的视觉信息处理方法、装置、设备及介质
CN113628170B (zh) 一种基于深度学习的激光线提取方法及***
CN117593420A (zh) 基于图像处理的平面图纸标注方法、装置、介质及设备
CN113392747A (zh) 一种用于立体仓库的货物包装箱识别方法及***
CN115564779B (zh) 一种零件缺陷检测方法、装置及存储介质
CN113378864B (zh) 一种锚框参数的确定方法、装置、设备及可读存储介质
CN111412834B (zh) 一种烟包纸压痕数据的检测方法
CN108765365A (zh) 一种转子绕线图像合格性检测方法
CN113781432A (zh) 基于深度学习的激光扫描自动铺放在线检测方法及装置
CN114092396A (zh) 一种包装盒撞角瑕疵检测的方法及装置
CN112200107A (zh) 一种***文本检测方法
Yan et al. A measurement method of log diameter for rotary cutting machines based on image processing
CN110288576A (zh) 光条中心提取方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant