CN101165720A - 医药大输液机器视觉在线检测方法 - Google Patents

Abstract

本发明公开了一种医药大输液机器视觉在线检测方法，其步骤为：(1).获取大输液旋转急停后的序列图像；(2).对序列图像进行预处理；(3).通过二次差分与灰度能量累积相结合的方法，完成序列图像中的运动微粒目标的提取；(4).选用多步阈值法，逐步确定微小异物灰度图像的最佳分割阈值，实现运动目标的分割；(5).通过八连通域的标识，标识出图像中有可能为异物的连通区域，并计算同一连通区域的内部最长直径；(6).通过对连通域中，目标最大直径和离心率的计算，判断出输液的质量情况，并对异物的类型进行分类，最后发出控制信号。本发明能克服人工检测效率低、速度慢、精度低、漏检率高、检测人员容易疲劳等问题，提高大输液生产自动化程度和产品质量。

Description

医药大输液机器视觉在线检测方法

技术领域

本发明主要涉及到医药大输液的检测领域，特指一种医药大输液机器视觉在线检测方法。

背景技术

现有技术中，医药大输液指的是100毫升以上的大容量注射剂，如今我国生产大输液的厂家有300多家，生产能力已达每年69亿瓶，年产值达100多亿元，在这些产品中，有90％以上的产品是采用玻璃瓶包装，尽管新型的包装不断涌现，如上海等发达城市已有46％以上使用软包装输液，塑料包装输液的产量占市场份额的5％以上，但预计若干年以后，中国的大输液产品仍以玻璃瓶为主。这些以玻璃瓶为包装的产品，多是将小针剂，注射用的灭菌粉末改输液，产品的技术含量低，并且由于生产设备的限制，产品的质量参差不齐，疗效难以保证。生产过程中，经常会有胶塞屑，水管铁锈进入输液的情况，玻璃瓶间的碰撞，也常会让药液中出现玻屑。目前输液成品的检测大都由人工来完成，人工检测时不可必避免的存在效率低，漏检率高，精度低等问题。中国药典1985年起对大输液澄明度检查合格后进行不溶性微粒检查，并对微粒的大小及数量进行严格控制。1999年8月24日，国家药监局正式印发《关于实施<药品生产质量管理规范>有关规定的通知》，明确要求大输液生产必须在2000年底前达到GMP标准。在我国进入WTO后，面对国外先进成套医药生产设备对国内市场的冲击，力保国内市场，打开国际市场，研究具有自主知识产权的医药安全生产检测包装设备和方法具有十分重要的价值。

发明内容

本发明要解决的问题就在于：针对现有技术存在的技术问题，本发明提供一种能够克服人工检测效率低、速度慢、精度低、漏检率高、检测人员容易疲劳等问题，从而提高医药大输液生产自动化程度和产品质量的医药大输液机器视觉在线检测方法。

为解决上述技术问题，本发明提出的解决方案为：一种医药大输液机器视觉在线检测方法，其特征在于步骤为：

(1)、获取连续图像：标定相机后相机连续抓取大输液旋转急停后序列图像，并将这些图像传送至工控机；

(2)、图像去噪：对步骤(1)中得到的图像进行预处理，通过中值滤波器去除图像拍摄和传输过程中可能引起的噪声；

(3)、运动目标提取：通过二次差分与灰度能量累积相结合的方法，利用微小异物成像时的时间相关性，完成序列图像中的运动微粒目标的提取；

(4)、运动目标分割：选用多步阈值法，逐步确定微小异物灰度图像的最佳分割阈值，实现运动目标的分割，操作时，先依据图像的直方图分布，自动计算出检测目标的阈值，得出被检测体的大致范围，之后，再从此被分离区域的中心出发，沿“X”字方向进行搜索，得出最大梯度变化点，选取此梯度中的一个合适灰度值，对图像进行最终分割。

(5)、图像识别：通过八连通域的标识，标识出图像中有可能为异物的连通区域，并计算同一连通区域的内部最长直径；

(6)、图像判断：通过对连通域中，目标最大直径，和离心率的计算，判断出输液的质量情况，并对异物的类型进行分类；如果连通区里，目标的最长直径超过某一设定值，则认为该被检测输液不符合生产要求，依据离心率的计算判断出连通区的形状，记录下不合格输液的相关参数，并与PLC进行通信，发出控制信号。

所述步骤(1)中二次差分与灰度能量累积相结合的方法流程为：

①、通过输入连续三帧具有采样间隔的现场图像，对中间帧的目标信息进行提取，连续采集的序列图像中，选取三帧溶液序列图像f_(t-1)(x，y)，f_(t)(x，y)，f_(t+1)(x，y)通过下式(9)和(10)分别计算相邻两帧的绝对差灰度图像d_(t-1，t)(x，y)与d_(t，t+1)(x，y)，

d_(t-1，t)(x，y)＝|f_(t)(x，y)-f_(t-1)(x，y)|    (9)

d_(t，t+1)(x，y)＝|f_(t+1)(x，y)-f_(t)(x，y)|    (10)；

②、利用图像本身的灰度差异使用一个正数N(2≤N≤5)放大这种差异，使目标点具有更高的能量，得到的加权差分图像P_(t-n，t)(x，y)与P_(t，t+n)(x，y)如下式(11)和(12)所示，

P_(t-n，t)(x，y)＝d_(t-n，t)(x，y)×N    (11)

P_(t，t+n)(x，y)＝d_(t，t+n)(x，y)×N    (12)；

其中取乘以N后灰度值大于255的像素点灰度值为255；

③、增强后的差分图像进行二次差分计算如式(9)，得二次差分图像D(x，y)，

D(x，y)＝|P_(t-n，t)(x，y)-P_(t，t+n)(x，y)|    (13)；

④、按下式(14)计算两幅差分图像的能量累积，以增加f_t(x，y)中运动微粒对应像素的能量，得能量累积图像A(x，y)，

A(x，y)＝P_(t-n，t)(x，y)+P_(t，t+n)(x，y)    (14)

同样取相加后灰度值大于255的像素点灰度值为255；

⑤、最后将能量累积图像A(x，y)和二次差分图像D(x，y)用下式(15)相减，便可以得到f_(t)(x，y)中微粒灰度图像F_(t)(x，y)，

F_(t)(x，y)＝A(x，y)-D(x，y)    (15)；

所述步骤(4)中采用多步阈值法对微粒灰度图像F_(t)(x，y)进行目标分割的具体流程为：

①、选定一个初始阈值T，令：

$T=0.9\underset{(x,y)\&Element;F_{\left(t\right)}(x,y)}{\mathrm{Max}}\left\{F_{\left(t\right)}(x,y)\right\}---\left(16\right)$

即T为整幅图像最大灰度值的90％，t为图像的张数；

②、对整幅图像按阈值T进行分割，得到两组图像G₁，G₂。

其中：

$\left\{\begin{array}{cc}{G}_1=\left\{F_{\left(t\right)}(x,y)\right\}& F_{\left(t\right)}(x,y)\&GreaterEqual;T\\ G_2=\left\{F_{\left(t\right)}(x,y)\right\}& F_{\left(t\right)}(x,y)<T\end{array}\right.---\left(17\right)$

③、计算G₁和G₂的平均灰度μ₁，μ₂。

${\mathrm{\&mu;}}_1=\frac{\underset{(x,y)\&Element;G_1}{\mathrm{\&Sigma;}}{F}_{\left(t\right)}(x,y)}{N_1}---\left(18\right)$

${\mathrm{\&mu;}}_2=\frac{\underset{(x,y)\&Element;G_2}{\mathrm{\&Sigma;}}{F}_{\left(t\right)}(x,y)}{N_2}$

式中，N₁与N₂分别表示G₁，G₂中像素点的个数总和；

④、计算新的阈值T₁：

$T_1=\frac{1}{2}({\mathrm{\&mu;}}_1+{\mathrm{\&mu;}}_2)---\left(19\right);$

⑤、重复第②步到第④步，直到T₁与T的绝对差值小于预定门限0.5为止，则得到全局阈值H，H即为此时的T₁；

⑥、按H对图像进行分割，构造出一张新的二值图像：

$A_{\left(t\right)}(x,y)=\left\{\begin{array}{cc}0& F_{\left(t\right)}(x,y)\&GreaterEqual;H\\ 1& F_{\left(t\right)}(x,y)<H\end{array}\right.---\left(20\right);$

⑦、计算A_(t)(x，y)的连通域，并标识每个连通域的中心C_(t，n)(x，y)，其中t表示由上一步得到的微粒灰度图像的序列号，n标示连通域序列：

⑧、在原图F_(t)(x，y)的C_(t，n)(x，y)以“X”方向向四周搜索N个像素，标识出三处灰度梯度变化较大点，灰度梯度dL的定义为：

dL＝p_n+1-p_n    (21)

式中p_n是指沿N(N为“X”方向中的任一方向)方向的某一点的像素值；

⑨、计算最终阈值E，E的取值应包含在上述三处灰度梯度变化最大的灰度之间，按E值对图像进行二次分割，可得更为清晰的检测目标

$B_{\left(t\right)}(x,y)=\left\{\begin{array}{cc}0& F_{\left(t\right)}(x,y)\&GreaterEqual;E\\ 1& F_{\left(t\right)}(x,y)<E\end{array}\right.---\left(22\right)$

对于有多个检测目标的图像，根据每个检测目标可能得出多个阈值，以此阈值对每个目标进行分割，最后再将分割后的结果合并到一张图像上。

所述步骤(5)的具体流程为：通过步骤(4)得到的目标二值图像中，对白色区域进行编号，计算该白色区域的八连通域，并统计它们各自的面积，求出各个区域的内部最长直径，最短直径，和边界线的离心率，其中最长直径指的是两点间最大的欧氏距离，最短直径是指是与长轴垂直的直线，边界线的离心率指的是最长直径和最短直径的比值。

与现有技术相比，本发明的优点就在于：

1、忽略相机标定过程中，世界标坐系中绝对位置的变化，直接依据所检杂质的相对位置，计算杂质的大小，即：根据所拍摄图像在像素平面坐标系中的坐标，和相机成像时的部分内部参数--相邻两个像素在水平方向和垂直方向所代表的实际距离，推算出成像物体的实际大小；

2、对微小异物采用能量累积和二次差分的方法：也就是对三张序列图像中，相邻的两张隔帧差分图像，作二次差分，得到不含中间帧目标图像；同时，对此两张差分图像作加法，得到能量累积后的增强中间帧目标图像；对增强中间帧目标图像和不含中间帧目标图像做绝对差分处理，便得到只包含了增强后的中间帧目标图像。

3、图像分割过程中，选用多步阈值法，即先由全局阈值法构造一个粗略的二值图像，然后在此阈值的基础上，大致确定每个检测杂质的中心，在此中心以“X”方向向四周搜索，确定每个杂质的最佳分割阈值。

附图说明

图1是本发明的总体流程示意图；

图2是本发明中针孔成像透视示意图；

图3是本发明中相机标定的结构示意图；

图4是本发明中目标提取算法流程示意图；

图5是本发明中运动目标分割流程示意图；

图6是本发明中二次差分和灰度能量累积后得到的图像；

图7是本发明中阈值分割后图像示意图。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明医药大输液机器视觉在线检测方法的具体流程为：

1、获取连续图像。这一步主要是完成连续图像的获取，并利用预先完成的相机标定，得到所摄图像相邻像素间距所代表的实际距离，为图像判断过程中，计算微粒的最大直径提供数据支持。大输液瓶在环行轨道上高速旋转后立即停止，摄像机连续采集急停后的输液图像，形成序列图像，发送给工控机用来判断是否存在可见异物。其中，环行轨道是指输液起初沿轨道相对静止运行，之后相对于轨道作高速自转，使瓶中的杂质尽可能的随输液一起运动；相机是指可用于工业现场的两台高速面扫CCD相机，两相机垂直摆放，以得到所检测输液的完整图像；序列图像是指输液急停后连续拍摄的7帧图像，此序列图像均是采用环形光源以顶部给光方式拍摄，背景统一；可见异物是指在规定条件下目视可以观测到的不溶性物质，其粒径或长度通常大于50微米，包括漂浮物、色点、纤维、玻屑等杂质。为了保证摄像机能拍摄到输液瓶中的异物，瓶子的旋转速度为7转/秒，快门速度为1/1500秒，光圈f/8，图像大小为640×480像素，不考虑镜头的畸变，采用针孔成相模型，计算出每一像素的间距为0.02mm。标定时，选用4个黑白相间的正方形塑料片做标志，相机标定的结构示意图如图2所示。其中s为塑料片到成像平面的距离，a为塑料片上每一小正方形的边长。f为摄像机的焦距，x为物平面坐标系中的横坐标，y为物平面坐标系中纵坐标，当选定相机焦距时，成像过程满足针孔模型，其透视模型如图3所示，则有物平面点Z(x，y，s)到像平面点Z_u(x_u，y_u)的透视变化关系即：

$\left[\begin{array}{c}{x}_u\\ y_u\end{array}\right]=\left[\begin{array}{cc}\frac{f}{s-f}& 0\\ 0& \frac{f}{s-f}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(1\right)$

忽略镜头的畸变，则像平面到像素平面的变化关系有：

$\left\{\begin{array}{c}{x}_f=N_x{x}_u+x_c\\ y_f=N_y{y}_u+y_c\end{array}\right.---\left(2\right)$

式中，(x_f，y_f)为物平面点Z(x，y，s)在像素平面的坐标点，(N_x，N_y)为像素平面上单位距离的像素点，(x_c，y_c)为像平面中心在像素平面中的坐标，整理(1)，(2)两式可得

$\left\{\begin{array}{c}{x}_f-x_c=\frac{{\mathrm{fN}}_x}{s-f}x\\ y_f-y_c=\frac{{\mathrm{fN}}_y}{s-f}y\end{array}\right.---\left(3\right)$

本方法中，由于输液瓶的成像始终在焦距附近，因此可近似认为所有的实际成像点都落在物平面Z(x，y，s)上，从而得出实际两点(x₁，y₁)，(x₂，y₂)距离L与像素平面中成像坐标(x_f1，y_f1)，(x_f2，y_f2)的关系为：

$L=\frac{s-f}{f}\sqrt{{\left(\frac{x_{f1}-x_{f2}}{N_x}\right)}^2+{\left(\frac{y_{f1}-y_{f2}}{N_y}\right)}^2}---\left(4\right)$

由上式知，只需确定(N_x，N_y)变可得出实际两物点的距离。

确定N_x，N_y时，取做标志用的正方形塑料片中的四个小正方形在像素平面上成像后的9个坐标(x_f1，y_f1)，(x_f2，y_f2)，(x_f3，y_f3)，(x_f4，y_f4)，(x_f5，y_f5)，(x_f6，y_f6)，与(x_f7，y_f7)，(x_f8，y_f8)，(x_f9，y_f9)，分别计算该4个相邻正方形12条边的距离：

$S_1=\sqrt{{(x_{f1}-y_{f1})}^2+{(x_{f2}-y_{f2})}^2}$

$S_2=\sqrt{{(x_{f2}-y_{f2})}^2+{(x_{f3}-y_{f3})}^2}$

$S_3=\sqrt{{(x_{f3}-y_{f3})}^2+{(x_{f4}-y_{f4})}^2}---\left(5\right)$

...

$S_{12}=\sqrt{{(x_{f6}-y_{f6})}^2+{(x_{f9}-y_{f9})}^2}$

其中，S₁，S₂，S₃，S₄，S₅，S₆是小正方形的六条水平边成像后的像素点数，S₇，S₈，S₉，S₁₀，S₁₁，S₁₂是小正方形的六条垂直边成像后的像素点数，据此可得像素坐标系在水平方向相邻像素间的距离N_x：

$N_x=\frac{6a}{S_1+S_2+S_3+S_4+S_5+S_6}---\left(6\right)$

像素坐标系在垂直方向相邻像素间的距离N_y：

$N_y=\frac{6a}{S_7+S_8+S_9+S_{10}+S_{11}+S_{12}}---\left(7\right)$

2、图像去噪。为满足图像实时处理的速度的需要，选用较为简单的中值滤波，去除图像采集过程中带来的噪声，该滤波器可以最大概率的去除冲激噪声，其表达式为：

$f(x,y)=\underset{(s,t)\&Element;S_{\mathrm{xy}}}{\mathrm{median}}\left\{g(s,t)\right\}---\left(8\right)$

式中，选用m×n的模板S_xy，其中m，n均为奇数，g(s，t)表示在的模板窗口的像素值，f(x，y)为经该模板窗口滤波后，输出的像素值，(x，y)为模板S_xy的中心。

3、运动目标提取。由于溶液中药物微粒的存在，以及微粒本身十分微小，因此，要完成对溶液中异物检测的检测实际上是一种对多微小目标的检测。这里采用的差分方法是一种二次差分与灰度能量累积相结合的方法，该差分的流程图如图3所示。这种算法实际上是一种在对称差分方法基础上改进而来的方法，它通过输入连续三帧具有采样间隔的现场图像，对中间帧的目标信息进行提取。连续采集的序列图像中，选取三帧溶液序列图像f_(t-1)(x，y)，f_(t)(x，y)，f_(t+1)(x，y)分别计算相邻两帧的绝对差灰度图像d_(t-1，t)(x，y)与d_(t，t+1)(x，y)，如式(9)，(10)所示：

d_(t-1，t)(x，y)＝|f_(t)(x，y)-f_(t-1)(x，y)|    (9)

d_(t，t+1)(x，y)＝|f_(t+1)(x，y)-f_(t)(x，y)|    (10)

序列图像差分后的绝对灰度差图像中的目标点能量变得很低。利用图像本身的灰度差异使用一个正数N(2≤N≤5)放大这种差异，使目标点具有更高的能量，得到的加权差分图像P_(t-n，t)(x，y)与P_(t，t+n)(x，y)如式(11)，(12)所示：

P_(t-n，t)(x，y)＝d_(t-n，t)(x，y)×N    (11)

P_(t，t+n)(x，y)＝d_(t，t+n)(x，y)×N    (12)

其中取乘以N后灰度值大于255的像素点灰度值为255。增强后的差分图像进行二次差分计算如式(9)，得二次差分图像D(x，y)。

D(x，y)＝|P_(t-n，t)(x，y)-P_(t，t+n)(x，y)|    (13)

接着再按(14)式计算两幅差分图像的能量累积，以增加f_t(x，y)中运动微粒对应像素的能量，得能量累积图像A(x，y)：

A(x，y)＝P_(t-n，t)(x，y)+P_(t，t+n)(x，y)    (14)

同样取相加后灰度值大于255的像素点灰度值为255。

最后将能量累积图像A(x，y)和二次差分图像D(x，y)用(15)式相减，便可以得到f_(t)(x，y)中微粒灰度图像F_(t)(x，y)。

F_(t)(x，y)＝A(x，y)-D(x，y)    (15)

在本实例中，共选取7帧连续图像，放大系数N为2，最后得到5帧微粒灰度图像。如图4所示。

4、运动目标分割。本实例采用自动阈值法对上一步得到的5张微粒灰度图像F_(t)(x，y)，(t＝1，2，3，4，5)进行运动目标的分割，在确定具体阈值时，采用多步阈值法，对图像进行分析。首先选用全值阈值法，得出一个大致阈值对图像进行分割，接着在全局阈值的基础上，采用“X”向搜索法，计算局部阈值，以得到更为准确的目标图像，其流程图如图5所示，过程如下。

(1)选定一个初始阈值T，令：

$T=0.9\underset{(x,y)\&Element;F_{\left(t\right)}(x,y)}{\mathrm{Max}}\left\{F_{\left(t\right)}(x,y)\right\}---\left(16\right)$

即T为整幅图像最大灰度值的90％。

(2)对整幅图像按阈值T进行分割，得到两组图像G₁，G₂。

其中：

$\left\{\begin{array}{cc}{G}_1=\left\{F_{\left(t\right)}(x,y)\right\}& F_{\left(t\right)}(x,y)\&GreaterEqual;T\\ G_2=\left\{F_{\left(t\right)}(x,y)\right\}& F_{\left(t\right)}(x,y)<T\end{array}\right.---\left(17\right)$

(3)计算G₁和G₂的平均灰度μ₁，μ₂。

${\mathrm{\&mu;}}_1=\frac{\underset{(x,y)\&Element;G_1}{\mathrm{\&Sigma;}}{F}_{\left(t\right)}(x,y)}{N_1}---\left(18\right)$

${\mathrm{\&mu;}}_2=\frac{\underset{(x,y)\&Element;G_2}{\mathrm{\&Sigma;}}{F}_{\left(t\right)}(x,y)}{N_2}$

式中，N₁与N₂分别表示G₁，G₂中像素点的个数总和。

(4)计算新的阈值T₁：

$T_1=\frac{1}{2}({\mathrm{\&mu;}}_1+{\mathrm{\&mu;}}_2)---\left(19\right)$

(5)重复第(2)步到第(4)步，直到T₁与T的绝对差值小于预定门限0.5为止，则得到全局阈值H，H即为此时的T₁。

(6)按H对图像进行分割，构造出一张新的二值图像：

$A_{\left(t\right)}(x,y)=\left\{\begin{array}{cc}0& F_{\left(t\right)}(x,y)\&GreaterEqual;H\\ 1& F_{\left(t\right)}(x,y)<H\end{array}\right.---\left(20\right)$

(7)计算A_(t)(x，y)的连通域，并标识每个连通域的中心C_(t，n)(x，y)(t表示由上一步得到的5张微粒灰度图像的序列号，n标示连通域序列)。

(8)在原图F_(t)(x，y)的C_(t，n)(x，y)以“X”方向向四周搜索N个像素，(此像素的选取不影响最大灰度值，本实例中选取N为50)标识出三处灰度梯度变化较大点，灰度梯度dL的定义为：

dL＝p_n+1-p_n    (21)

式中p_n是指沿N(N为“X”方向中的任一方向)方向的某一点的像素值。

(9)计算最终阈值E，E的取值应包含在上述三处灰度梯度变化最大的灰度之间，按E值对图像进行二次分割，可得更为清晰的检测目标。分割后的一帧微粒二值图像如图5所示。

$B_{\left(t\right)}(x,y)=\left\{\begin{array}{cc}0& F_{\left(t\right)}(x,y)\&GreaterEqual;E\\ 1& F_{\left(t\right)}(x,y)<E\end{array}\right.---\left(22\right)$

对于有多个检测目标的图像，根据每个检测目标可能得出多个阈值，以此阈值对每个目标进行分割，最后再将分割后的结果合并到一张图像上。

5、图像识别。在得到的目标二值图像中，对白色区域进行编号，计算该白色区域的八连通域，并统计它们各自的面积，求出各个区域的内部最长直径，最短直径，和边界线的离心率。最长直径指的是两点间最大的欧氏距离，最短直径是指是与长轴垂直的直线，边界线的离心率指的是最长直径和最短直径的比值。实际操作中，对由上一步得到的5帧图像的相对应的最长直径进行比较，排除异物旋转过程对成像的影响，得出异物的最大直径。

6、图像判断。这一步主要是利用一些图像识别的技术，对大输液的质量进行判断，过程如下。

(1)按(4)式将最大直径转化为实际中的长度L，并将L与检测标准进行比较，如果L大于检测标准，则认为被检测输液不合检。

(2)判断不合格品中的最大直径异物边界线的离心率，如该离心率大于10，则认为该异物为纤维，否则为色块等其他异物。

(3)记录下检测结果，与PLC进行通信发出控制信号。

7、最后，PLC接收到控制信号后，控制击出器将不合格品击出至回收区。

Claims (5)

1.一种医药大输液机器视觉在线检测方法，其特征在于步骤为：

(1)、获取连续图像：标定相机后相机连续抓取大输液旋转急停后序列图像，并将这些图像传送至工控机；

(2)、图像去噪：对步骤(1)中得到的图像进行预处理，通过中值滤波器去除图像拍摄和传输过程中可能引起的噪声；

(3)、运动目标提取：通过二次差分与灰度能量累积相结合的方法，利用微小异物成像时的时间相关性，完成序列图像中的运动微粒目标的提取；

(4)、运动目标分割：选用多步阈值法，逐步确定微小异物灰度图像的最佳分割阈值，实现运动目标的分割，操作时，先依据图像的直方图分布，自动计算出检测目标的阈值，得出被检测体的大致范围，之后，再从此被分离区域的中心出发，沿“X”字方向进行搜索，得出最大梯度变化点，选取此梯度中的一个合适灰度值，对图像进行最终分割；

(5)、图像识别：通过八连通域的标识，标识出图像中有可能为异物的连通区域，并计算同一连通区域的内部最长直径；

(6)、图像判断：通过对连通域中，目标最大直径，和离心率的计算，判断出输液的质量情况，并对异物的类型进行分类；如果连通区里，目标的最长直径超过某一设定值，则认为该被检测输液不符合生产要求，依据离心率的计算判断出连通区的形状，记录下不合格输液的相关参数，并与PLC进行通信，发出控制信号。

2.根据权利要求1所述的医药大输液机器视觉在线检测方法，其特征在于所述步骤(1)中二次差分与灰度能量累积相结合的方法流程为：

①、通过输入连续三帧具有采样间隔的现场图像，对中间帧的目标信息进行提取，连续采集的序列图像中，选取三帧溶液序列图像f_(t-1)(x，y)，f_(t)(x，y)，f_(t+1)(x，y)通过下式(9)和(10)分别计算相邻两帧的绝对差灰度图像d_(t-1，t)(x，y)与d_(t，t+1)(x，y)，

d_(t-1，t)(x，y)＝|f_(t)(x，y)-f_(t-1)(x，y)|    (9)

d_(t，t+1)(x，y)＝|f_(t+1)(x，y)-f_(t)(x，y)|    (10)；

②、利用图像本身的灰度差异使用一个正数N(2≤N≤5)放大这种差异，使目标点具有更高的能量，得到的加权差分图像P_(t-n，t)(x，y)与P_(t，t+n)(x，y)如下式(11)和(12)所示，

P_(t-n，t)(x，y)＝d_(t-n，t)(x，y)×N    (11)

P_(t，t+n)(x，y)＝d_(t，t+n)(x，y)×N    (12)

其中取乘以N后灰度值大于255的像素点灰度值为255；

③、增强后的差分图像进行二次差分计算如式(9)，得二次差分图像D(x，y)，

D(x，y)＝|P_(t-n，t)(x，y)-P_(t，t+n)(x，y)|    (13)；

④、按下式(14)计算两幅差分图像的能量累积，以增加f_t(x，y)中运动微粒对应像素的能量，得能量累积图像A(x，y)，

A(x，y)＝P_(t-n，t)(x，y)+P_(t，t+n)(x，y)    (14)

同样取相加后灰度值大于255的像素点灰度值为255；

⑤、最后将能量累积图像A(x，y)和二次差分图像D(x，y)用下式(15)相减，便可以得到f_(t)(x，y)中微粒灰度图像F_(t)(x，y)，

F_(t)(x，y)＝A(x，y)-D(x，y)    (15)。

3.根据权利要求1或2所述的医药大输液机器视觉在线检测方法，其特征在于所述步骤(4)中采用多步阈值法对微粒灰度图像F_(t)(x，y)进行目标分割的具体流程为：

①、选定一个初始阈值T，令：

$T=0.9\underset{(x,y)\&Element;F_{\left(t\right)}(x,y)}{\mathrm{Max}}\left\{F_{\left(t\right)}(x,y)\right\}---\left(16\right)$

即T为整幅图像最大灰度值的90％，t为图像的张数；

②、对整幅图像按阈值T进行分割，得到两组图像G₁，G₂：

其中：

$\left\{\begin{array}{cc}{G}_1=\left\{F_{\left(t\right)}(x,y)\right\}& F_{\left(t\right)}(x,y)\&GreaterEqual;T\\ G_2=\left\{F_{\left(t\right)}(x,y)\right\}& F_{\left(t\right)}(x,y)<T\end{array}\right.---\left(17\right)$

③、计算G₁和G₂的平均灰度μ₁，μ₂：

${\mathrm{\&mu;}}_1=\frac{\underset{(x,y)\&Element;G_1}{\mathrm{\&Sigma;}}{F}_{\left(t\right)}(x,y)}{N_1}---\left(18\right)$

${\mathrm{\&mu;}}_2=\frac{\underset{(x,y)\&Element;G_2}{\mathrm{\&Sigma;}}{F}_{\left(t\right)}(x,y)}{N_2}$

式中，N₁与N₂分别表示G₁，G₂中像素点的个数总和；

④、计算新的阈值T₁：

$T_1=\frac{1}{2}({\mathrm{\&mu;}}_1+{\mathrm{\&mu;}}_2)---\left(19\right)$

⑤、重复第②步到第④步，直到T₁与T的绝对差值小于预定门限0.5为止，则得到全局阈值H，H即为此时的T₁；

⑥、按H对图像进行分割，构造出一张新的二值图像：

$A_{\left(t\right)}(x,y)=\left\{\begin{array}{cc}0& F_{\left(t\right)}(x,y)\&GreaterEqual;H\\ 1& F_{\left(t\right)}(x,y)<H\end{array}\right.---\left(20\right)$

⑦、计算A_(t)(x，y)的连通域，并标识每个连通域的中心C_(t，n)(x，y)，其中t表示由上一步得到的连续微粒灰度图像的序列号，n标示连通域序列；

⑧、在原图F_(t)(x，y)的C_(t，n)(x，y)以“X”方向向四周搜索N个像素，标识出三处灰度梯度变化较大点，灰度梯度dL的定义为：

dL＝p_n+1-p_n    (21)

式中p_n是指沿N(N为“X”方向中的任一方向)方向的某一点的像素值；

⑨、计算最终阈值E，E的取值应包含在上述三处灰度梯度变化最大的灰度之间，按E值对图像进行二次分割，可得更为清晰的检测目标：

$B_{\left(t\right)}(x,y)=\left\{\begin{array}{cc}0& F_{\left(t\right)}(x,y)\&GreaterEqual;E\\ 1& F_{\left(t\right)}(x,y)<E\end{array}\right.---\left(22\right)$

对于有多个检测目标的图像，根据每个检测目标可能得出多个阈值，以此阈值对每个目标进行分割，最后再将分割后的结果合并到一张图像上。

4.根据权利要求1或2所述的医药大输液机器视觉在线检测方法，其特征在于所述步骤(5)的具体流程为：通过步骤(4)得到的目标二值图像中，对白色区域进行编号，计算该白色区域的八连通域，并统计它们各自的面积，求出各个区域的内部最长直径，最短直径，和边界线的离心率，其中最长直径指的是两点间最大的欧氏距离，最短直径是指是与长轴垂直的直线，边界线的离心率指的是最长直径和最短直径的比值。

5.根据权利要求3所述的医药大输液机器视觉在线检测方法，其特征在于所述步骤(5)的具体流程为：通过步骤(4)得到的目标二值图像中，对白色区域进行编号，计算该白色区域的八连通域，并统计它们各自的面积，求出各个区域的内部最长直径，最短直径，和边界线的离心率，其中最长直径指的是两点间最大的欧氏距离，最短直径是指是与长轴垂直的直线，边界线的离心率指的是最长直径和最短直径的比值。

Images