CN109344852A - 图像识别方法和装置、分析仪器和存储介质 - Google Patents

Abstract

本发明公开一种图像识别方法和装置、分析仪器和存储介质。该图像识别方法包括：提取待识别分割图像中的有效连通区域的多个特征值，待识别分割图像包括一个有效连通区域；从多个特征值中选取相关性系数最小的m个特征值，m为大于等于2的整数；根据m个特征值和预设的神经网络，得到有效连通区域的成分类别，预设的神经网络根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练得到。采用本发明实施例中的技术方案，能够提高图像成分识别的准确率。

Description

图像识别方法和装置、分析仪器和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像识别方法和装置、分析仪器和存储介质。

背景技术

随着图像处理技术在医疗领域的应用扩展，越来越多的医疗设备需要基于图像处理技术实现其功能。以尿沉渣分析仪为例，其工作原理为：由照相机将尿液样本拍摄成图像序列，然后利用图像处理技术实现对各图像中有形成分的分割和识别，在提高设备检测效率同时，也有助于减少医生的工作量。尿液中的有形成分较多，包括：红细胞、白细胞、结晶、***、透明管型、病理管型等。且尿液中除有形成分以外，还存在各种各样的杂质成分，这些杂质可能来源于：样本液体中破碎的细胞和鞘流液中的气泡等。

由于这些有形成分以及杂质成分的灰度像素差异和形态差异较大，仅通过单一的图像处理技术难以将其一一识别出来，导致图像成分识别的准确率较低。

发明内容

本发明实施例提供了一种图像识别方法和装置、分析仪器和存储介质，能够提高图像成分识别的准确率。

第一方面，本发明实施例提供一种图像识别方法，该图像识别方法包括：

提取待识别分割图像中的有效连通区域的多个特征值，待识别分割图像包括一个有效连通区域；

从多个特征值中选取相关性系数最小的m个特征值，m为大于等于2的整数；

根据m个特征值和预设的神经网络，得到有效连通区域的成分类别，预设的神经网络根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练得到。

在第一方面的一种可能的实施方式中，特征值包括：形状类特征值、像素分布类特征值、基于灰度共生矩阵的纹理类特征值和基于灰度与梯度共生矩阵的纹理类特征值。

在第一方面的一种可能的实施方式中，根据m个特征值和预设的神经网络，得到有效连通区域的成分类别，包括：对m个特征值进行归一化处理；根据m个特征值的归一化结果和预设的神经网络，得到有效连通区域的成分类别。

在第一方面的一种可能的实施方式中，该方法还包括：从成分类别已知的多张分割图像中选取预定比例的分割图像作为训练集；根据训练集中各分割图像的有效连通区域的多个特征值和对应的成分类别对初始神经网络进行训练；对训练后的神经网络进行验证；若验证通过，则将训练后的神经网络作为预设的神经网络。

在第一方面的一种可能的实施方式中，对训练后的神经网络进行验证，包括；将成分类别已知的多张分割图像中除预定比例外的其他分割图像作为测试集；根据测试集中各分割图像的有效连通区域的多个特征值和对应的成分类别，对训练后的神经网络进行验证。

在第一方面的一种可能的实施方式中，预定比例大于或者等于二分之一。

在第一方面的一种可能的实施方式中，预设的神经网络的输入层神经元的个数为m。

在第一方面的一种可能的实施方式中，预设的神经网络的输出层神经元的个数为N+1，N为待分割图像所属样本中有形成分的总类别数，1为杂质成分。

在第一方面的一种可能的实施方式中，预设的神经网络的隐藏层神经元的个数为其中，m为输入层神经元的个数，N+1为输出层神经元的个数，λ为0到10之间的任一整数。

第二方面，本发明实施例提供一种图像识别装置，该装置包括：

提取模块，用于提取待识别分割图像中的有效连通区域的多个特征值，待识别分割图像包括一个有效连通区域；

选取模块，用于从多个特征值中选取相关性系数最小的m个特征值，m为大于等于2的整数；

识别模块，用于根据m个特征值和预设的神经网络，得到有效连通区域的成分类别，预设的神经网络根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练得到。

第三方面，本发明实施例提供一种分析仪器，该分析仪器包括如上所述的图像识别装置。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有程序，程序被处理器执行时实现如上所述的图像识别方法。

如上所述，由于待识别分割图像仅包括一个有效连通区域，因此可以通过有效连通区域的特征进行确定待识别图像的类别。又由于神经网络运算的基本思想是通过自适应学习能力，使网络的实际输出值和期望输出值的误差均方差为最小，因此，本发明实施例中基于待识别分割图像的有效连通区域的特征值和神经网络(根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练所得)来得到有效连通区域成分类别的技术方案，可以不需要考虑有形成分以及杂质成分的灰度像素差异和形态差异较大，从而能够避开单一图像处理技术对像素和形态的特征需求，提高图像成分识别的准确率。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中，相同或相似的附图标记表示相同或相似的特征。

图1为本发明实施例提供的一种BP神经网络的结构示意图；

图2为本发明实施例提供的图像识别方法的流程示意图；

图3为本发明实施例提供的与白细胞对应的一个分割图像的示意图；

图4为本发明实施例提供的与鳞状上皮细胞对应的一个分割区域的示意图；

图5为本发明实施例提供的神经网络数据的传输示意图；

图6为本发明实施例提供的神经网络训练方法的示意图；

图7为本发明实施例提供的训练集的示意图；

图8为本发明实施例提供的图像识别装置的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。

本发明实施例提供了一种图像识别方法和装置、分析仪器和存储介质，用于采用图像处理技术的医疗设备，比如尿沉渣分析仪。采用本发明实施例中的技术方案，能够基于训练后的神经网络有效识别出图像中的有形成分和杂质，提高图像成分识别的准确率。

自适应学习是神经网络的重要功能。BP(back propagation)神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，其算法称为BP算法。BP算法的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。

图1为本发明实施例提供的一种BP神经网络的结构示意图。

如图1所示，BP神经网络包括输入层和输出层，以及设置于输入层与输出层之间的隐藏层，隐藏层中的神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变能影响输入与输出之间的关系。图1中示出的隐藏层为2层结构，隐藏层的层数越多表示运算越复杂，计算精度也越高，本领域技术人员可以根据实际需要选择隐藏层的层数。

由于BP神经网络无需事先确定输入输出之间映射关系的数学方程，仅通过自身的训练，学习某种规则，就能够在给定输入值时得到最接近期望输出值的结果。因此，可以考虑基于训练后的BP神经网络有效识别出图像中的有形成分和杂质，提高图像成分识别的准确率。若无特别说明，下文中提到的神经网络指的是BP神经网络。

图2为本发明实施例提供的图像识别方法的流程示意图。如图2所示，该图像识别方法包括步骤201至步骤203。

在步骤201中，提取待识别分割图像中的有效连通区域的多个特征值，待识别分割图像包括一个有效连通区域。

若使每张分割图像对应一种有形成分(比如，红细胞、白细胞、结晶、***、透明管型、病理管型、鳞状上皮细胞)或者杂质成分，可以将样本的一张原始图像可以分割为分属于不同成分类别的多张分割图像。

图3为本发明实施例提供的与白细胞对应的一个分割图像的示意图。

如图3所示，箭头301指示的位于虚线框内的灰度区域为该分割图像的有效连通区域，而虚线框以外的其他灰度区域为背景区域。

图4为本发明实施例提供的与鳞状上皮细胞对应的一个分割区域的示意图。

如图4所示，箭头401指示的位于虚线框内的灰度区域为该分割图像的有效连通区域，而虚线框以外的其他灰度区域为背景区域。

在本发明实施例中，用于表征有效连通类别的特征值可以包括但不限于以下特征值：形状类特征值、像素分布类特征值、基于灰度共生矩阵的纹理类特征值和基于灰度与梯度共生矩阵的纹理类特征值。

其中，形状类的特征值包括：

1)有效连通区域的周长x₁。

具体地，有效连通区域通过边界追踪得到边界链码，根据边界链码计算得到有效连通区域的周长x₁。链码是用于表示由起始坐标点依次连接的具有指定长度和方向的边界，本领域技术人员可以查找边界链码相关的算法资料计算得到有效连通区域的周长，此处不进行赘述。

2)有效连通区域的面积x₂。

x₂等于有效连通区域的像素点总数目。

3)有效连通区域的圆度率x₃。

x₃等于有效连通区域的面积和具有相同周长的一个圆的面积的比值，用于描述有效连通区域的形状与圆的相似度。

4)有效连通区域的最小外接矩长宽比x₄。

x₄等于有效连通区域的最小外接矩形的长度和宽度的比值，用于描述有效连通区域的细长程度。

5)有效连通区域的矩形度x₅。

x₅等于有效连通区域的面积和最小外接矩形的面积的比值，用于描述有效连通区域和矩形的相似程度。

像素分布类特征值包括：

6)有效连通区域中孔洞的面积占比s₁。

s₁等于有效连通区域中的孔洞面积和有效连通区域的总面积的比值，用于描述有效连通区域的像素透明度情况。

7)有效连通区域的像素均值s₂。

s₂等于有效连通区域内所有像素点值的和与像素点总数目的比值。

8)有效连通区域的像素标准差s₃。

s₃等于有效连通区域内所有像素点的离均差(像素点的值与像素均值之差)平方的算术平均数的平方根。

9)有效连通区域的梯度均值s₄。

s₄等于对有效连通区域进行边缘梯度运算后，各像素点值的和像素点总数目的比值。

10)有效连通区域的梯度标准差s₅。

s₅等于对有效连通区域进行边缘梯度运算后，所有像素点的离均差(像素点的值与梯度均值之差)平方的算术平均数的平方根。

纹理是灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系。

灰度共生矩阵是一种通过研究灰度的空间相关特性来描述纹理的常用方法。若Q是两个像素相对位置的算子，则可以通过计算两个象素灰度级同时发生的概率，得到灰度共生矩阵G。

灰度共生矩阵G中的元素g_ij是z_i和z_j的像素在图像f中由Q所指定的位置处的出现的次数。

在一个示例中，满足Q的一个值为(z_i，z_j)的点对的概率p_ij为：

p_ij＝g_ij/n (1)

其中，1≤i，j≤L，L为灰度图像f的灰度级的个数，n为满足Q的像素对的总数目。

基于灰度共生矩阵的纹理类特征值包括：

11)能量f₁：

12)对比度f₂：

13)逆差距f₃：

14)熵f₄：

15)自相关系数f₅：

其中，K是矩阵G的行数。

灰度与梯度共生矩阵纹理分析方法是用灰度和梯度的综合信息提取纹理特征，它考虑了像素灰度与边缘梯度的联合统计分布。

灰度与梯度共生矩阵H(x，y)定位为：集合{(i，j)|f(i，j)＝x且g(i，j)y；i,j＝0,1,…,N-1中灰度值为x，梯度值为y的元素的个数。

其中，x＝0，1，...，；L-1；y＝0，1，...，L_g-1，L为灰度图像f中的灰度级数，L_g为基于灰度图像f得到的梯度图像g的梯度级数，N为行数或者列数。

对灰度与梯度共生矩阵进行归一化处理，可以得到

16)小梯度优势T₁：

17)大梯度优势T₂：

18)灰度分布不均匀度T₃：

19)梯度分布不均匀度T₄：

20)能量T₅：

21)灰度平均值T₆：

22)梯度平均值T₇：

23)灰度均方差T₈：

24)梯度均方差T₉：

25)自相关系数T₁₀：

26)灰度熵T₁₁：

27)梯度熵T₁₂：

28)混合熵T₁₃：

29)惯性T₁₄：

30)逆差距T₁₅：

在步骤202中，从多个特征值中选取相关性系数最小的m个特征值，m为大于等于2的整数。

为了降低基于神经网络进行图像识别时运算强度，并提高图像识别的准确率，可以从上文中所列出的涉及形状、像素分布和纹理的30种特征值中选取相关性系数最小的m个特征值。

具体地，可以根据公式(27)计算任意两个特征值之间的相关性系数ρ_X，Y：

其中，cov(X，Y)为特征值向量X和Y的协方差，σ_X为特征值向量X的标准差，σ_Y为特征值向量Y的标准差。

其中，预设的神经网络可以根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练得到。

在步骤203中，根据m个特征值和预设的神经网络，得到有效连通区域的成分类别。

具体地，可以分别对m个特征值进行归一化处理，根据所有特征值的归一化结果和预设的神经网络，得到有效连通区域的成分类别。

图5为本发明实施例提供的神经网络数据的传输示意图。

图5中示出的输入层神经元的个数为m，I_a1、I_a2、I_a3…I_am表示待识别分割图像a的m个特征值。

图5中示出的输出层神经元的个数为N+1，L₁、L₂、L₃…分别表示有形成分类别，L_N+1表示杂质成分类别。

图5中示出的隐藏层包括两层，每层隐藏层神经元的个数为n，λ为0到10之间的任一整数。

需要说明的是，图5仅示出了一种优选的神经网络结构，实际使用时，本领域技术人员可以根据实际需要调整输入层神经元的个数、输出层神经元的个数、隐藏层的数目以及每个隐藏层神经元的个数。

根据本发明实施例，当需要对分割图像进行识别时，只要将待识别分割图像a的m个特征值(I_a1、I_a2、I_a3…I_am)分别输入到m个输入层神经元，训练后的神经网络就可以输出该待识别分割图像与各成分类别(L₁、L₂、L₃…L_N+1)对应的相似程度。比如，与红细胞对应的输出值为0.95，表示该有效连通区域形状与红细胞的相似程度为95％；与白细胞对应的输出值为0.50，说明该有效连通区域形状与红细胞的相似程度为50％；经比较，可以认为该分割图像的类别为红细胞。

如上所述，由于待识别分割图像仅包括一个有效连通区域，因此可以通过有效连通区域的特征进行确定待识别图像的类别。又由于神经网络运算的基本思想是通过自适应学习能力，使网络的实际输出值和期望输出值的误差均方差为最小，因此，本发明实施例中基于待识别分割图像的有效连通区域的特征值和神经网络(根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练所得)来得到有效连通区域成分类别的技术方案，可以不需要考虑有形成分以及杂质成分的灰度像素差异和形态差异较大，从而能够避开单一图像处理技术对像素和形态的特征需求，提高图像成分识别的准确率。

为便于本领域技术人员理解，下面对神经网络的训练过程进行说明。

图6为本发明实施例提供的神经网络训练方法的示意图。如图6所示，该神经网络训练方法包括步骤601至步骤604。

在步骤601中，从成分类别已知的多张分割图像中选取预定比例的分割图像作为训练集。

图7为本发明实施例提供的训练集示意图。

参阅图7，图7中共示出3种已知成分类别的分割图像。从图7中可以看出，有形成分1对应的多张分割图像中的有效连通区域呈方形。有形成分2对应的多张分割图像中的有效连通区域呈团簇状的不规则形态。有形成分3对应的多张分割图像中的有效连通区域呈规则的椭圆形态。上述三种有形成分对应的分割图像中的有效连通区域的像素分布也不同，此处不在赘述。

图7中还示出杂质成分的多张分割图像。从图7可以看出，杂质成分的形状和像素分布不固定，呈多种变化形态。

在步骤602中，根据训练集中各分割图像的有效连通区域的多个特征值和对应的成分类别对初始神经网络进行训练。

在步骤603中，对训练后的神经网络进行验证。

具体地，可以将成分类别已知的多张分割图像中除预定比例外的其他分割图像作为测试集，根据测试集中各分割图像的有效连通区域的多个特征值和对应的成分类别，对训练后的神经网络进行验证。

在步骤604中，若验证通过，则将训练后的神经网络作为预设的神经网络，从而避免训练不合格的神经网络参与后续实际运算，进一步提高图像识别的准确率。

进一步，考虑到神经网络中训练的比重较大，可以将预定比例设置为大于或者等于二分之一，以保证神经网络训练结果有效。

在一个示例中，预定比例可以为3/4。即在训练过程中，可以将样本按比例分为训练集和测试集，训练集和测试集数量比例可以设定为3：1。训练学习率设定为0.001，学习次数为5000次。

在一个示例中，可以选取10个成分类别，每个成分类别包括100个训练样本，则共1000个训练样本，然后按照3：1将这1000个样本随机分为训练集和测试集展开神经网络训练。

当需要进行杂质成分的识别时，可以将上述选取的10个成分类型中的一个成分类别设置为杂质成分。

图8为本发明实施例提供的图像识别装置的结构示意图。如图8所示，该图像识别装置包括提取模块801、选取模块802和识别模块803。

其中，提取模块801用于提取待识别分割图像中的有效连通区域的多个特征值，待分割图像包括一个有效连通区域。

选取模块802用于从多个特征值中选取相关性系数最小的m个特征值，m为大于等于2的整数。

识别模块803用于根据多个特征值和预设的神经网络，得到有效连通区域的成分类别，预设的神经网络根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练得到。

本发明实施例还提供一种分析仪器，该分析仪器包括如上所述的图像识别装置。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，程序被处理器执行时实现如上所述的图像识别方法。

需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。对于装置实施例而言，相关之处可以参见方法实施例的说明部分。本发明实施例并不局限于上文所描述并在图中示出的特定步骤和结构。本领域的技术人员可以在领会本发明实施例的精神之后作出各种改变、修改和添加，或者改变步骤之间的顺序。并且，为了简明起见，这里省略对已知方法技术的详细描述。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明实施例的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

本发明实施例可以以其他的具体形式实现，而不脱离其精神和本质特征。例如，特定实施例中所描述的算法可以被修改，而***体系结构并不脱离本发明实施例的基本精神。因此，当前的实施例在所有方面都被看作是示例性的而非限定性的，本发明实施例的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明实施例的范围之中。

Claims (12)

1.一种图像识别方法，其特征在于，包括：

提取待识别分割图像中的有效连通区域的多个特征值，所述待识别分割图像包括一个有效连通区域；

从所述多个特征值中选取相关性系数最小的m个特征值，m为大于等于2的整数；

根据所述m个特征值和预设的神经网络，得到所述有效连通区域的成分类别，所述预设的神经网络根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练得到。

2.根据权利要求1所述的方法，其特征在于，所述特征值包括：形状类特征值、像素分布类特征值、基于灰度共生矩阵的纹理类特征值和基于灰度与梯度共生矩阵的纹理类特征值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述m个特征值和预设的神经网络，得到所述有效连通区域的成分类别，包括：

对所述m个特征值进行归一化处理；

根据所述m个特征值的归一化结果和预设的神经网络，得到所述有效连通区域的成分类别，m为大于等于2的整数。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：

从所述成分类别已知的多张分割图像中选取预定比例的分割图像作为训练集；

根据所述训练集中各分割图像的有效连通区域的多个特征值和对应的成分类别对初始神经网络进行训练；

对训练后的神经网络进行验证；

若验证通过，则将所述训练后的神经网络作为所述预设的神经网络。

5.根据权利要求4所述的方法，其特征在于，所述对训练后的神经网络进行验证，包括；

将所述成分类别已知的多张分割图像中除所述预定比例外的其他分割图像作为测试集；

根据所述测试集中各分割图像的有效连通区域的多个特征值和对应的成分类别，对所述训练后的神经网络进行验证。

6.根据权利要求4所述的方法，其特征在于，所述预定比例大于或者等于二分之一。

7.根据权利要求1所述的方法，其特征在于，所述预设的神经网络的输入层神经元的个数为m。

8.根据权利要求1所述的方法，其特征在于，所述预设的神经网络的输出层神经元的个数为N+1，N为所述待分割图像所属样本中有形成分的总类别数，1为杂质成分。

9.根据权利要求1所述的方法。其特征在于，所述预设的神经网络的隐藏层神经元的个数为其中，m为输入层神经元的个数，N+1为输出层神经元的个数，λ为0到10之间的任一整数。

10.一种图像识别装置，其特征在于，包括：

提取模块，用于提取待识别分割图像中的有效连通区域的多个特征值，所述待识别分割图像包括一个有效连通区域；

选取模块，用于从所述多个特征值中选取相关性系数最小的m个特征值，m为大于等于2的整数；

识别模块，用于根据所述m个特征值和预设的神经网络，得到所述有效连通区域的成分类别，所述预设的神经网络根据提取自多张分割图像的有效连通区域的多个特征值和对应的成分类别训练得到。

11.一种分析仪器，其特征在于，包括如权利要求10所述的图像识别装置。

12.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9任意一项所述的图像识别方法。