CN107680079B - 一种医用药剂中可见异物的高速并行视觉检测方法 - Google Patents

Abstract

本发明公开了一种医用药剂中可见异物的高速并行视觉检测方法，包含以下步骤：步骤1：采集图像以及预处理；步骤2：使用模板匹配方法进行选区定位并在帧序列间进行平移矫正；步骤3：使用背景差分方法提取准异物区域；步骤4：使用差分高亮模板、静态亮区模板、闪光区模板对准异物区域进行矫正；步骤5：根据最终结果图像给出异物统计信息。该方法根据序列图像帧数构造并发处理线程，计算过程具有高并发性，能够充分发挥多核心处理器的计算性能，快速并准确的识别出可见异物。

Description

一种医用药剂中可见异物的高速并行视觉检测方法

技术领域

本发明属于计算机视觉领域，特别涉及一种医用药剂中可见异物的高速并行视觉检测方法。

背景技术

在我国，安瓿、大输液、口服液等玻璃包装材质的透明药液，由于生产工艺和制造技术水平的问题，药液中可能会出现：玻璃屑、纤维、毛发、白点、白块、色点、色块、塑胶屑等不溶性的可见异物。如果这些含有可见异物的药液注射进人体以后，会出现血管栓塞、过敏反映，威胁患者的生命安全。

根据我国GMP的描述：“可见异物是指存在于注射剂中，在规定条件下目视可以观测到的不溶性物质，其粒径或长度通常大于50μm”。注射剂应在符合药品生产质量管理规范(GMP)的条件下生产，产品在出厂前应采用适宜的方法逐一检查并同时剔除不合格产品。因此，各大制药企业为满足相应的药品生产管理规定，均设置了灯检暗室，并安排大量的灯检工人在暗室中对药品进行逐一目视检查。整个灯检过程工作量大，效率低，对工人视力损伤严重，检测结果稳定性差。因此，在国家高技术研究发展计划(863计划)的引导下，涌入了大量的科研和企业工作者在本领域内进行相关工作研究，但针对可见异物检测算法的研究目前仍存在两个问题：(1)复杂度较低实时性好的处理方法存在较多的误检和漏检，算法抗干扰能力弱；(2)抗干扰能力强的智能算法又具有较大的时间复杂度，大多为先采集到序列图像后再对序列图像进行处理，存在较大的滞后性，在高速医药制造生产线上难以满足实时性的要求。因此，研究出一种高速且抗干扰能力强的可见异物视觉检测图像处理算法具有非常重要的意义。

发明内容

本发明的目的在于克服现有技术中异物检测处理数据量大，复杂度高的问题，提供了一种高速并行处理多线程框架下医用药剂中可见异物的高速并行视觉检测方法。

一种医用药剂中可见异物的高速并行视觉检测方法，包括以下步骤：

步骤1：利用图像采集线程采集图像，且在采集图像过程中依据采集的图像帧号实时触发对应的图像并发处理线程，对采集的图像进行实时预处理；

所述预处理包括滤波、偏移矫正以及目标区域提取；

步骤2：利用主控线程获取累加均值图像；

当主控线程监控到所有图像并发处理线程完成预处理时，将所有预处理后的目标区域图像进行累加，得到累加图像，并对累加图像进行均值处理，得到累加均值图像；

步骤3：利用主控线程基于累加均值图像依次构建静态模板图像、差分高亮模板图像以及闪光模板图像，并将所构建的模板图像使用形态学及图像逻辑运算的方法进行组合，得到组合矫正模板图像；

步骤4：主控线程利用步骤3得到的组合矫正模板图像，对所有的二次差分结果图像求并集得到的图像，进行组合矫正，并对组合矫正后的图像进行开操作滤波；

步骤5：主控线程对开操作滤波后的图像进行非零元个数统计，得到最终的可见异物累积面积，当可见异物累积面积超过累积面积阈值时，则当前检测结果为次品，否则，当前检测结果为正品。

使用图像采集线程完成图像的采集和图像的存储，并根据当前采集的帧号开启相应处理线程的线程锁，如：当序列的第1帧图像获取完毕后，开启第1帧图像对应的1号处理线程；当序列的第2帧图像获取完毕后，开启第2帧图像对应的2号处理线程，依次类推。此种并发方式，有效的利用了图像采集过程中的CPU空闲，减少了序列图像的总处理时间，提高了算法实时性；

每个相机对应1个图像采集线程、N个并发处理线程和1个主控线程，N为一次拍照过程所采集图像的帧数。并发处理线程完成算法的并发计算部分，当算法遇到需要综合计算时，并发处理线程将控制权交给主控线程，由主控线程执行计算之后重新启动处理线程的后续运算或输出结果；

使用共享内存的方式，完成线程之间信息的传递和线程间的同步；待处理图像和中间图像序列被存储在一块连续的公共内存中。

进一步地，所述静态模板图像、差分高亮模板图像以及闪光模板图像的构建过程如下：

静态模板图像：对累加均值图像进行均值模糊处理，得到模糊累加图像，以累加均值图像中像素值大于设定静态阈值或大于1.5倍模糊累加图像的像素求并集构建静态模板图像；

差分高亮模板图像：利用累加均值图像依次对所有预处理后的目标区域图像进行差分处理，对所有的差分图像依次进行两次不同的均值模糊处理，将两次均值模糊处理后的图像进行二次差分，得到所有二次差分结果图像，将所有二次差分结果图像中大于1.5倍模糊累加图像的像素求并集，构建差分高亮模板图像；

闪光模板图像：当所有图像并发处理线程中的采集的图像完成偏移矫正后，利用闪光区模板标记图像中像素值大于2的像素求并集构建闪光模板图像；

其中，所述闪光区模板标记图像是对将所有的二次差分结果图像中大于设定的闪光阈值的像素求并集得到。

进一步地，所述组合矫正模板图像按照以下公式获得：

T＝(T_static T_flash)S_d-T_dBright S_a

其中，T表示组合矫正模板图像，T_static表示静态模板图像，T_flash表示闪光模板图像，T_dBright表示差分高度模板图像，S_d表示15×15的矩形结构元素，S_a表示13×13的矩形结构元素，∪表示求并集操作，表示逻辑或运算。

进一步地，所述步骤4中的开操作滤波按照以下公式进行：

其中，R表示经过开操作滤波后的图像，B表示闪光区模板标记图像，S_s表示控制结构元，Θ表示逻辑开运算。

进一步地，当前检测结果为次品时，依次利用每一幅二次差分结果图像和开滤波操作结果图像R进行形态学重构，标记出R中的非零元所属图像帧。

具体操作为：使用R∩(MD_i＞Thresh_diff)作为标记图像，R作为模板图像，进行3×3的矩形结构元素进行形态学重构，得重构图像即在第i帧图像中检出可见异物，MD_i表示第i幅二次差分结果图像，Thresh_diff为设定的闪光阈值。

进一步地，所述步骤1中图像并发处理线程进行偏移矫正的过程如下：

步骤A：根据手动设置的定位匹配模板区域向外扩大δ个像素形成定位匹配搜索区域：Rect_search＝{P_x-δ,P_y-δ,Rw+2δ,Rh+2δ}；

所述定位匹配模板区域是从原始图像中固定选取的瓶底部分Rect_template＝{P_x,P_y,Rw,Rh}，(P_x,P_y)为所选的瓶底部分的左上角顶点的在原始图像中的坐标，宽度为Rw，高度为Rh的矩形区域；

步骤B：以第一帧图像中的定位匹配模板区域在定位匹配搜索区域中使用归一化的相关系数方法进行匹配定位，在所有的归一化相关系数R_i(x,y)中取出最大值位置作为匹配目标位置；

所述归一化的相关系数的计算公式如下：

其中，T(x,y)表示第一帧图像中的定位匹配模板区域，S_i表示第i幅图像中的定位匹配搜索区域，(x,y)和(x,y)分别表示第一帧图像中的定位匹配模板区域和待进行偏移矫正的图像的定位匹配搜索区域中的像素坐标；

步骤C：根据每帧图像中的匹配目标位置和第一帧图像中定位匹配模板区域的中心点位置进行比较，获得每帧图像相对于第一帧图像的位置偏移根据偏移对可见异物检测区域进行相应平移矫正，得到矫正后的异物检测区域：i为帧编号，对应的异物检测区域原始图像记为In_i。

进一步地，所述图像采集线程采集图像的过程中，采用LED面板光源进行背光照明。

有益效果

本发明的优点在于

(1)、高度并行化的多线程框架结构和算法设计，使得本发明具有非常高的时效性，能够在需要计算的图像数据较多较大时有着卓越的时效表现；

使用图像采集线程、并发处理线程、主控线程三种线程完成图像的采集、并发的处理、并发处理线程的同步以及中间结果或结果的汇总计算，这三种线程都是优先级最高的实时线程；

(2)、可见异物检测抗干扰能力强，能够克服目标拍照平移，瓶壁静态脏污、折射或反射闪光斑、亮度不均匀等问题造成的干扰，检测准确率高，误检少；

(3)、适用性广，算法可以推广至柱形瓶饮料、白醋、酒精等日用化产品的可见异物检测上；使用图像采集帧数作为并发处理线程的并发数，在调整序列图像长度时，算法不需要重新调整，当处理硬件的性能提升之后仅仅需要增加采集序列的长度就能够得到更加优秀的检测效果。

附图说明

图1是本发明中多线程计算框架结构图；

图2是本发明中多线程并行算法运算时序图；

图3是本发明中并行图像处理过程示意图；

图4是本发明中各区域示意图；

图5是本发明中算法用于玻璃瓶大输液可见异物检测时的结果图像。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明。

如图1和图2所示，本发明的一种医用药剂中可见异物的高速并行视觉检测方法，其具体流程为：

步骤1：采集图像以及预处理；

步骤2：使用模板匹配方法进行选区定位并在帧序列间进行平移矫正；

步骤3：使用背景差分方法提取准异物区域，并使用形态学及图像逻辑运算的方法构造静态亮区模板、差分高亮模板、闪光区模板等抗干扰矫正模板；

步骤4：使用抗干扰矫正模板对准异物区域进行矫正；

步骤5：根据最终结果图像给出异物统计信息。

在图2中，并发处理线程i#，在抓取标志打开后执行匹配操作；在累加锁关闭、累加完毕锁置位时差分、补正、提取亮区、二值化，然后打开矫正锁；全部操作在全局采集处理标志位为TRUE时响应.

主控线程，在累加锁全部打开时，进行累加及相关操作，完毕后复位累加锁并设置累加完成标记；在矫正锁全部打开时，进行矫正及相关操作，完毕后复位，输出；

在步骤1中，先根据采集到的图像启动对应的并发处理线程，在并发处理线程中对图像进行一次3×3的中值滤波操作，操作后的滤波图像记为I_i，i为帧号；如果是采集到的图像是帧序列中的第1帧，则选取瓶底部分固定区域Rect_template＝{P_x,P_y,Rw,Rh}的图像作为步骤2中的匹配定位模板T，其中(P_x,P_y)是所选的固定区域的左上角点图像坐标，Rw和Rh分别是区域的宽和高，记总采集帧数为N。

步骤2的具体实现步骤如下：

①根据手动设置的定位匹配模板区域向外扩大δ(δ＝40)个像素形成定位匹配搜索区域：Rect_search＝{P_x-δ,P_y-δ,Rw+2δ,Rh+2δ}，取I_i中搜索区域部分图像，记为S_i。

②使用匹配模板T在匹配搜索区域图像S_i中进行归一化互相关系数匹配，归一化的互相关系数的计算公式如下：

式中，i为帧号，x∈[1,Rw+2δ],y∈[1,Rh+2δ]。

在R_i(x,y)中取出最大值位置作为匹配目标位置。

③根据每帧图像中的匹配目标位置和第一帧图像中匹配模板区域的位置进行比较，给出相对于第一帧图像的位置偏移根据偏移对可见异物检测区域进行相应平移矫正，得到矫正后的异物检测区域：i为帧编号，对应的异物检测区域原始图像记为In_i；

可见异物检测区域、匹配定位搜索区域以及匹配定位模板区域示意图参见图4；

如图3所示，步骤3的具体实现步骤如下：

①、在并发处理线程中，将每个图像的可见异物检测区域图像叠加到一个公共累加图像中去，完成之后设置当前线程的累加锁为真，计算公式如下。

其中，i为帧号，N为采集总帧数，x[0,InW],y[0,InH]。

②、在主控线程中，检测每个处理线程累加锁的当前状态，当所有帧都完成了累加，则对累加图像求均值，得到累加均值图像：

③、在主控线程中对累加均值图像进行M×M(M＝51)的均值模糊，得到模糊后的累加均值图像：。

④、在主控线程中，构造静态模板图像，构造过程计算公式如下：

T_static(x,y)＝(I_average(x,y)>1.5SI_average)(I_average(x,y)>Thresh_static)

其中，Thresh_static是一个取值较大的固定阈值，取值范围为[120,254]，目的是直接将累加均值图像中太亮的区域认定为瓶壁静态区域，此方法可以克服恒定大块亮斑有时无法通过I_average和SI_average的比较关系获得的问题。

⑤、在并发处理线程中，使用背景差分法求取差分图像：

D_i(x,y)＝In_i(x,y)-I_average(x,y) (5)

⑥、在并发处理线程中，对差分图像分别进行N×N(N＝2)和K×K(K＝29)的均值模糊，并使用模糊后的图像进行二次差分运算：

⑦、在并发处理线程中，构造差分高亮模板图像，构造过程计算公式如下：

T_dBright(x,y)＝T_dBright(x,y)∪(MD_i>1.5·SI_average(x,y)) (7)

⑧、在并发处理线程中，构造闪光区模板标记图像B，构造过程计算公式如下：

B＝B+(MD_i>Thresh_diff) (8)

构造完成之后设置当前线程的矫正锁为真。

⑨、在主控线程中，检测每个并发处理线程矫正锁的当前状态，当所有处理线程的矫正锁都为真时，则使用闪光区模板标记图像构造闪光模板图像，公式如下：

T_flash(x,y)＝B(x,y)>2 (9)

步骤4的具体实现步骤如下：

①、在主控线程中组合矫正模板，使用L×L(L＝15)的矩形结构元素S_d对静态亮模板和闪光模板的或操作结果进行一次膨胀，使用H×H(H＝13)的矩形结构元素S_a对差分高亮模板图像进行一次膨胀，然后将两者的结果相减，构造公式如下：

T＝(T_static T_flash)S_d-T_dBright S_a (10)

②、在主控线程中，用组合后的矫正模板对差分结果进行矫正，并使用大小控制矩形结构元S_s对矫正后的结果图像进行一次开操作滤波，结构元S_s大小不小于1，可以根据检测精度要求设置，算法将滤除小于结构元大小的可见异物，结构元S_s越大时，滤除的可见异物越多。如下式：

R为可见异物检测的最终结果图像。

步骤5的具体实现步骤如下：

①、在R中进行非零元个数统计，得到最终的可见异物累积面积，当面积超过累积面积阈值时，给出本次检测结果：次品，反之给出：正品。

②、如果检测结果是次品，则使用步骤4中的结果图像R和步骤2.6中差分二值化图像MD_i进行形态学重构，标记出R中的非零元所属图像帧。

具体操作为：使用R∩(MD_i＞Thresh_diff)作为标记图像，R作为模板图像，进行3×3的矩形结构元素进行形态学重构，得重构图像即出现在第i帧图像中的检出可见异物，检测结果如图5所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种医用药剂中可见异物的高速并行视觉检测方法，其特征在于，包括以下步骤：

步骤1：利用图像采集线程采集图像，且在采集图像过程中依据采集的图像帧号实时触发对应的图像并发处理线程，对采集的图像进行实时预处理；

所述预处理包括滤波、偏移矫正以及目标区域提取；

步骤2：利用主控线程获取累加均值图像；

当主控线程监控到所有图像并发处理线程完成预处理时，将所有预处理后的目标区域图像进行累加，得到累加图像，并对累加图像进行均值处理，得到累加均值图像；

步骤3：利用主控线程基于累加均值图像依次构建静态模板图像、差分高亮模板图像以及闪光模板图像，并将所构建的模板图像使用形态学及图像逻辑运算的方法进行组合，得到组合矫正模板图像；

步骤4：主控线程利用步骤3得到的组合矫正模板图像，对所有的二次差分结果图像求并集得到的图像，进行组合矫正，并对组合矫正后的图像进行开操作滤波；

步骤5：主控线程对开操作滤波后的图像进行非零元个数统计，得到最终的可见异物累积面积，当可见异物累积面积超过累积面积阈值时，则当前检测结果为次品，否则，当前检测结果为正品；

所述静态模板图像、差分高亮模板图像以及闪光模板图像的构建过程如下：

静态模板图像：对累加均值图像进行均值模糊处理，得到模糊累加图像，以累加均值图像中像素值大于设定静态阈值或大于1.5倍模糊累加图像的像素求并集构建静态模板图像；

差分高亮模板图像：利用累加均值图像依次对所有预处理后的目标区域图像进行差分处理，对所有的差分图像依次进行两次不同的均值模糊处理，将两次均值模糊处理后的图像进行二次差分，得到所有二次差分结果图像，将所有二次差分结果图像中大于1.5倍模糊累加图像的像素求并集，构建差分高亮模板图像；

闪光模板图像：当所有图像并发处理线程中的采集的图像完成偏移矫正后，利用闪光区模板标记图像中像素值大于2的像素求并集构建闪光模板图像；

其中，所述闪光区模板标记图像是对将所有的二次差分结果图像中大于设定的闪光阈值的像素求并集得到。

2.根据权利要求1所述的方法，其特征在于：所述组合矫正模板图像按照以下公式获得：

T＝(T_static T_flash)S_d-T_dBright S_a

其中，T表示组合矫正模板图像，T_static表示静态模板图像，T_flash表示闪光模板图像，T_dBright表示差分高亮模板图像，S_d表示15×15的矩形结构元素，S_a表示13×13的矩形结构元素，∪表示求并集操作，表示逻辑或运算。

3.根据权利要求2所述的方法，其特征在于，所述步骤4中的开操作滤波按照以下公式进行：

其中，R表示经过开操作滤波后的图像，B表示闪光区模板标记图像，S_s表示控制结构元，表示逻辑开运算。

4.根据权利要求1-3任一项所述的方法，其特征在于：当前检测结果为次品时，依次利用每一幅二次差分结果图像和开操作滤波结果图像R进行形态学重构，标记出R中的非零元所属图像帧。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤1中图像并发处理线程进行偏移矫正的过程如下：

步骤A：根据手动设置的定位匹配模板区域向外扩大δ个像素形成定位匹配搜索区域：Rect_search＝{P_x-δ,P_y-δ,Rw+2δ,Rh+2δ}；

所述定位匹配模板区域是从原始图像中固定选取的瓶底部分Rect_template＝{P_x,P_y,Rw,Rh}，(P_x,P_y)为所选的瓶底部分的左上角顶点的在原始图像中的坐标，宽度为Rw，高度为Rh的矩形区域；

步骤B：以第一帧图像中的定位匹配模板区域在定位匹配搜索区域中使用归一化的相关系数方法进行匹配定位，在所有的归一化相关系数R_i(x,y)中取出最大值位置作为匹配目标位置；

所述归一化的相关系数的计算公式如下：

其中，T(x,y)表示第一帧图像中的定位匹配模板区域，S_i表示第i幅图像中的定位匹配搜索区域，(x,y)和(x,y)分别表示第一帧图像中的定位匹配模板区域和待进行偏移矫正的图像的定位匹配搜索区域中的像素坐标；

步骤C：根据每帧图像中的匹配目标位置和第一帧图像中定位匹配模板区域的中心点位置进行比较，获得每帧图像相对于第一帧图像的位置偏移根据偏移对可见异物检测区域进行相应平移矫正，得到矫正后的异物检测区域：i为帧编号，对应的异物检测区域原始图像记为In_i。

6.根据权利要求1所述的方法，其特征在于，所述图像采集线程采集图像的过程中，采用LED面板光源进行背光照明。