CN109166142A

CN109166142A - 一种大输液药品中可见异物的视觉检测方法

Info

Publication number: CN109166142A
Application number: CN201810854141.8A
Authority: CN
Inventors: 李玮; 韩毅; 陈财; 雷鸣; 汪静; 雷晟暄
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2018-07-30
Filing date: 2018-07-30
Publication date: 2019-01-08

Abstract

本发明公开了一种大输液瓶药品中可见异物的视觉检测方法，连续采集N帧大输液瓶序列图像，并对其进行直方图均衡化处理，选择合适的阈值对每帧图像进行分割，依次对分割后的每帧图像进行处理，得到每帧图像的感兴趣区域，计算大输液瓶的旋转角度和水平平移量，根据大输液瓶的旋转角度和水平平移量，依次对序列图像的每帧图像进行校正；对校正后的序列图像进行差分处理，完成对异物的检测。本发明计算大输液瓶的旋转角度和水平平移量进行图像配准，消除振动对图像的影响，利用双线性插值法依次对序列图像的每帧图像进行校正，对序列图像进行差分处理，能高效准确地对大输液瓶中的可见异物进行检测。

Description

一种大输液药品中可见异物的视觉检测方法

技术领域

本发明涉及机器视觉检测领域，具体涉及一种大输液药品中可见异物的视觉检测方法。

背景技术

由于大输液瓶的液体呈现无色透明状，液体中可能存在玻璃屑、纤维、毛发、漂浮物等异物，一般异物呈现在图像中只有几个或十几像素，由于待检药品的灌装瓶壁存在浮雕刻度、表面凹凸不平、在线检测时液体运动产生气泡等原因，因此相机采集到的灰度图像存在亮斑，其与异物极为相似；另外，图像成像后在瓶底区域和液面附近会产生反光干扰，由于工业生产现场的干扰会使图像中混有一些干扰噪声，这些干扰信息和假异物信息对图像特征的提取及检测造成了加大的困难。

运用机械方法使药液高速旋转，通过序列图像差分提取运动异物。对相机采集到的连续多帧图像做差分运算，药液中的可见异物由于相对运动可以被检测出来。但是，由于采集过程中振动或晃动导致瓶壁的亮斑被提取出来，为后续处理引入了误差。因此，如何设计一种能够对图像进行配准处理，提高大输液药品中可见异物检测精度的方法，仍是待解决的技术问题。

发明内容

为了克服上述现有技术的不足，本发明提供了一种大输液瓶药品中可见异物的视觉检测方法，能高效准确地对大输液瓶中的可见异物进行检测。

本发明的第一目的是提供一种大输液药品中可见异物的视觉检测方法。

为了实现上述目的，本发明采用如下一种技术方案：

一种大输液药品中可见异物的视觉检测方法，该方法包括以下步骤：

连续采集N帧大输液瓶序列图像；

选择合适的阈值对每帧图像进行分割；

依次对分割后的每帧图像进行处理，得到每帧图像的感兴趣区域；

计算大输液瓶的旋转角度和水平平移量；

根据大输液瓶的旋转角度和水平平移量，依次对序列图像的每帧图像进行校正；

对校正后的序列图像进行差分处理，完成对异物的检测。

进一步的，采集到N帧大输液瓶序列图像后，还包括对每帧图像进行直方图均衡化处理的步骤。

进一步的，所述对序列图像的每帧图像进行处理包括图像增强和图像识别。

进一步的，还包括对每帧图像的感兴趣区域进行高斯滤波处理的步骤。

进一步的，所述大输液瓶的旋转角度和水平平移量的计算方法为：

输入连续两帧图像f₁(x,y)和f₂(x,y)，并对两帧图像进行傅里叶变换，得到两帧图像在频率域的频谱F₁(u,v)和频谱F₂(u,v)；

计算两帧图像频谱F₁(u,v)和F₂(u,v)的互相关系数，计算互相关系数的逆变换，确定峰值位置，得到平移量(Δx,Δy)；

求解两帧图像频谱F₁(u,v)和F₂(u,v)的振幅，建立不考虑平移的振幅笛尔坐标系，将振幅由笛尔坐标系转换到极坐标系，计算其逆变换，确定其峰值位置，得到图像旋转角θ，即可得到旋转角和平移量两个配准参数。

进一步的，所述对序列图像的每帧图像进行校正的方法为：

对于连续两帧序列图像，利用双线性插值法将一图像中的所有像素点在x和y方向分别平移Δx和Δy个像素单位，再相对图像中心旋转角度θ后，得到另一图像。

进一步的，所述对校正后的序列图像进行差分处理的步骤包括：

(1)对相邻帧两帧图像进行图像配准操作，消除图像的背景信息；

(2)对相邻三帧图像进行差分处理，得到差分图像；

对差分图像分别进行阈值判断、二值化处理，并对阈值判断和二值化处理的结果的每一个像素进行逻辑操作，得到差分二值图像；

(3)根据异物的特征识别差分二值图像中异物。

进一步的，所述对相邻帧两帧图像进行图像配准操作的步骤包括：

对相邻两帧图像进行傅里叶变换，得到相邻两帧图像在频率域的频谱；

计算相邻两帧图像频谱的互相关系数，计算互相关系数的逆变换，确定峰值位置，得到平移量；

求解两帧图像频谱的振幅，建立不考虑平移的振幅笛尔坐标系，将振幅由笛尔坐标系转换到极坐标系，计算其逆变换，确定其峰值位置，得到图像旋转角，即可得到旋转角和平移量两个配准参数；利用旋转角和平移量两个配准参数对相邻帧两帧图像进行图像配准。

本发明的第二目的是提供一种计算机可读存储介质。

为了实现上述目的，本发明采用如下一种技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行以下处理：

连续采集N帧大输液瓶序列图像；

选择合适的阈值对每帧图像进行分割；

计算大输液瓶的旋转角度和水平平移量；

对校正后的序列图像进行差分处理，完成对异物的检测。

本发明的第三目的是提供一种终端设备。

为了实现上述目的，本发明采用如下一种技术方案：

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下处理：

连续采集N帧大输液瓶序列图像；

选择合适的阈值对每帧图像进行分割；

计算大输液瓶的旋转角度和水平平移量；

对校正后的序列图像进行差分处理，完成对异物的检测。

本发明的第三目的是提供一种终端设备。

与现有技术相比，本发明的有益效果是：

(1)本发明通过计算大输液瓶的旋转角度和水平平移量进行图像配准，消除了振动对图像的影响；

(2)本发明利用双线性插值法依次对序列图像的每帧图像进行校正，对图像中缺失不全的、不清楚的位置进行插值弥补；

(3)本发明对序列图像进行差分处理，消除瓶壁中某一污迹或玻斑在序列帧图像中的成像，降低对图像中的微弱异物目标影响，能高效准确地对大输液瓶中的可见异物检测分类。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为大输液药品中可见异物的视觉检测方法的总体流程图；

图2为本发明采集到的大输液瓶原图；

图3为本发明大输液瓶直方图均衡化后的图像；

图4为本发明大输液瓶图像阈值分割后的图像；

图5为本发明大输液瓶图像提取感兴趣区域后的图像；

图6为图像配准的流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

正如背景技术所介绍的，现有技术中运用机械方法使药液高速旋转，通过序列图像差分提取运动异物，对相机采集到的连续多帧图像做差分运算，药液中的可见异物由于相对运动可以被检测出来；但是，由于采集过程中振动或晃动导致瓶壁的亮斑被提取出来，为后续处理引入了误差的不足，为了解决如上的技术问题，本申请提出了一种大输液药品中可见异物的视觉检测方法。

实施例1：

本实施例1的目的是提供一种大输液药品中可见异物的视觉检测方法，如图1所示，该方法包括以下步骤：

步骤1：图像采集。

连续采集N帧大输液瓶序列图像，如图2所示。

步骤2：直方图均衡化，增强图像对比度，如图3所示。

在采集到N帧大输液瓶序列图像后，采用公式(1)对每帧图像进行直方图均衡化处理，增强图像对比度。

直方图均衡化公式为：

式中，m_k为处理后图像的灰度值，n_k为输入图像的灰度值，p(n_i)，i＝1,2,…，L表示输入图像中的灰度值n_i出现的频数，i＝1,2,…,k，k＝1,2,…,L，L为图像的灰度级，r_i为灰度值为n_i出现的频数，r为图像总像素数。

步骤3：阈值分割，选择合适的阈值对每帧图像进行分割，用于识别感兴趣区域与非目标区，如图4所示。

步骤4：依次对分割后的每帧图像进行处理，得到每帧图像的感兴趣区域，如图5所示。

依次对分割后的每帧图像进行处理，包括图像增强和图像识别，从而得到每帧图像的感兴趣区域，得到感兴趣区，即图像处理中目标区，为下一步差分处理奠定基础。

步骤5：高斯滤波。

采集到的大输液瓶图像可以看作是由大面积的低频背景和部分高频噪声及异物图像组成，异物图像是图像中的灰度奇异点，与背景不相关，在图像中属于高频部分。因此对每帧图像的感兴趣区域进行高斯滤波处理。

步骤6：计算大输液瓶的旋转角度和水平平移量进行图像配准，如图6所示。

大输液瓶的旋转角度θ和水平平移量(Δx,Δy)的计算方法为：

(1)傅里叶变换，将相机采集到的每帧图像由空间域变换到了频率域，为：

式(2)中，f(x,y)为采集到M×N的图像，x,y为图像的行列，是图像的空间位置，傅里叶变换到频率域的频谱为F(u,v)；

(2)选取连续多帧序列图像为f₁(x,y)，f₂(x,y)，……f_n(x,y)，本发明运用机械方法使药液高速旋转，其中f₁(x,y)经过平移旋转后得到f₂(x,y)；

f₁(x,y)平移(Δx,Δy)后得到f₁'(x,y)，即：

f₁'(x,y)＝f₁(x-Δx,y-Δy) (3)

F₁'(u,v)＝e^{-j2π(uΔx+vΔy)}F₁(u,v) (6)

计算其逆变换，确定其峰值坐标(Δx,Δy)，即可得到平移配准参数。

f₁'(x,y)旋转θ₀得到f₂(x,y)，即

f₂(x,y)＝f₁(xcosθ₀+ysinθ₀-Δx,-xsinθ₀+ycosθ₀-Δy) (7)

同理，

F₂(u,v)＝e^{-j2π(uΔx+vΔy)}F₁(ucosθ₀+vsinθ₀,-usinθ₀+vcosθ₀) (8)

设A₁，A₂为F₁，F₂的振幅，则不考虑平移的振幅关系为：

A₂(u,v)＝A₁(ucosθ₀+vsinθ₀,-usinθ₀+cosθ₀) (9)

对公式(9)转换为极坐标系

A₁(ρ,θ)＝A₂(ρ,θ-θ₀) (10)

计算其逆变换，检测出峰值位置，得到图像旋转角θ₀的估计值θ，即可得到平移配准参数。

本发明利用傅里叶变换计算大输液瓶的旋转角度和水平平移量进行图像配准，消除了振动对图像的影响。对每帧图像进行傅式变换，用来进行空间位置的校准。

步骤7：根据平移配置参数，依次对序列图像的每帧图像进行校正。

设连续两帧序列图像位A和B，利用双线性插值法将将图像A中的所有像素点在x和y方向分别平移Δx和Δy个像素单位，再相对图像中心旋转角度θ后，得到图像B。

步骤8：对校正后的序列图像进行差分处理，完成对异物的检测。

经过振动消除后的图像，瓶壁中某一污迹或玻斑在序列帧图像中的成像位置基本相同，偏差不会很大，因此，在两帧相邻图像差分过程中，将会被消除，对图像中的微弱异物目标影响较小。具体实现步骤为：

(1)对相邻帧图像进行配准操作，能够保证一次差分能够消除图像的背景信息(包括瓶壁污迹、玻包、瓶体裂痕等)，而不影响药液中运动的异物成像特征；

本发明是采用上述步骤6，利用傅里叶变换计算大输液瓶的旋转角度和水平平移量进行图像配准操作。

(2)对相邻三帧图像f_i-1(x,y)、f_i(x,y)和f_i+1(x,y)进行差分处理，得到差分图像；

d_(i-1,i)(x,y)＝|f_i(x,y)-f_i-1(x,y)| (11)

d_(i,i+1)(x,y)＝|f_i+1(x,y)-f_i(x,y)| (12)

对差分结果d_i-1,i(x,y)、d_i,i+1(x,y)分别阈值判断、二值化得到b_i-1,i(x,y)和b_i,i+1(x,y)，对b_i-1,i(x,y)、b_i,i+1(x,y)的每一个像素进行逻辑操作，得到差分结果二值图像d_s(i)(x,y)，

其中，b_i-1,i(x,y)和b_i,i+1(x,y)是差分图像的阈值判断和二值化处理结果。

经差分处理后的图像，运动目标可以清晰的体现出来，接下来根据异物的特征进行识别。

本发明对相机采集到的连续多帧图像做差分运算，药液中的可见异物由于相对运动可以被检测出来，利用傅里叶变换计算大输液瓶的旋转角度和水平平移量进行图像配准，消除了振动对图像的影响，利用双线性插值法依次对序列图像的每帧图像进行校正，对序列图像进行差分处理，消除瓶壁中某一污迹或玻斑在序列帧图像中的成像，降低对图像中的微弱异物目标影响，经差分处理后的图像，运动目标可以清晰的体现出来，接下来根据异物的特征进行识别；能够降低人工检测的效率低下和费时费力的缺点，科学准确地对药液中可见异物进行识别。

实施例2：

本实施例2的目的是提供一种计算机可读存储介质。

为了实现上述目的，本发明采用如下一种技术方案：

图像采集；

直方图均衡化，增强图像对比度；

阈值分割，选择合适的阈值对每帧图像进行分割，用于识别感兴趣区域与非目标区；

对每帧图像的感兴趣区域进行高斯滤波处理；

计算大输液瓶的旋转角度和水平平移量进行图像配准；

依次对序列图像的每帧图像进行校正；

对校正后的序列图像进行差分处理，完成对异物的检测。

实施例3：

本实施例3的目的是提供一种终端设备。

为了实现上述目的，本发明采用如下一种技术方案：

图像采集；

直方图均衡化，增强图像对比度；

对每帧图像的感兴趣区域进行高斯滤波处理；

计算大输液瓶的旋转角度和水平平移量进行图像配准；

依次对序列图像的每帧图像进行校正；

对校正后的序列图像进行差分处理，完成对异物的检测。

在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种大输液药品中可见异物的视觉检测方法，其特征是，包括以下步骤：

连续采集N帧大输液瓶序列图像；

选择设定的阈值对每帧图像进行分割；

计算大输液瓶的旋转角度和水平平移量；

对校正后的序列图像进行差分处理，完成对异物的检测。

2.根据权利要求1所述的大输液药品中可见异物的视觉检测方法，其特征是，采集到N帧大输液瓶序列图像后，还对每帧图像进行直方图均衡化处理的步骤。

3.根据权利要求1所述的大输液药品中可见异物的视觉检测方法，其特征是，所述对序列图像的每帧图像进行处理包括图像增强和图像识别。

4.根据权利要求1所述的大输液药品中可见异物的视觉检测方法，其特征是，还包括对每帧图像的感兴趣区域进行高斯滤波处理的步骤。

5.根据权利要求1所述的大输液药品中可见异物的视觉检测方法，其特征是，所述大输液瓶的旋转角度和水平平移量的计算方法为：

6.根据权利要求1所述的大输液药品中可见异物的视觉检测方法，其特征是，所述对序列图像的每帧图像进行校正的方法为：

7.根据权利要求1所述的大输液药品中可见异物的视觉检测方法，其特征是，所述对校正后的序列图像进行差分处理的步骤包括：

(2)对相邻三帧图像进行差分处理，得到差分图像；对差分图像分别进行阈值判断、二值化处理，并对阈值判断和二值化处理的结果的每一个像素进行逻辑操作，得到差分二值图像；

(3)根据异物的特征识别差分二值图像中异物。

8.根据权利要求1所述的大输液药品中可见异物的视觉检测方法，其特征是，所述对相邻帧两帧图像进行图像配准操作的步骤包括：

9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行根据权利要求1-8中任一项所述的方法。

10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令用于执行根据权利要求1-8中任一项所述的方法。