CN110189305B - 一种多任务舌象自动分析方法 - Google Patents

Abstract

本发明公开了一种多任务舌象自动分析方法，包括以下步骤：采集舌象图片，将所有的图像根据标签的有无分成强标签集和无标签集；使用所述强标签集训练两种不同架构的多任务深度神经网络；使用所述无标签数据交替优化两种所述不同架构的多任务深度神经网络；将舌象图片输入到两个训练好的所述多任务深度神经网络，分析得到的两个输出结果的平均即为最后的舌象多任务分析结果。本发明公开的一种多任务舌象自动分析方法，是针对目前基于人工智能的舌诊分析技术所存在的局限性以及缺陷，我们试图采用半监督的学习方法，在拥有少量有标签舌象数据的情况下，利用其它的无标签数据，学习舌象的特征，提高模型的分类精度以及泛化能力。

Description

一种多任务舌象自动分析方法

技术领域

本发明涉及智能诊断领域，尤其涉及一种多任务舌象自动分析方法。

背景技术

传统中医在我国拥有着几千年的历史，其主要通过望闻问切对理疗者的病症进行判断，在治病和养身领域有着显著的成效。作为望诊的一部分，中医舌诊也成为中医诊断的一个重要依据。舌头的形状、颜色、裂纹的有无及深浅、齿痕的有无均能一定程度上体现疾病的性质，病势的深浅，气血的盛衰。中医师的供不应求，以及随着基于机器学习，深度学习的图像识别技术在计算机领域的蓬勃发展，导致中医舌诊的智能化分析已经成为潮流。

北京科技大学发明了基于卷积神经元网络的中医舌诊模型的确定方法及***(专利号ZL 201610300494.4)。该方法通过调整卷积神经元网络每层神经元的个数，利用舌上图像作为训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数，最后利用测试集作为输入选取其中诊断准确率最高的一个网络模型。

厦门大学发明了一种开放环境下中医舌象目标检测方法(专利号ZL201610300494.4)。该方法首先采集图像，然后对图像的RGB分量进行线性变换实现颜色校正。然后采用不同方法对图像进行分割后将分割区域求并集。然后使用分割后舌体的纹理信息作为特征，对舌象进行分类。

华南理工大学发明了一种基于深度神经网络的舌苔体质辨别方法(公开号CN106683087 A)。该方法先将采集的舌部图片进行颜色空间的归一化及大小的调制，然后利用一种基于区域的快速卷积神经网络初步检测舌苔位置，再用神经网络算法进一步精确定位舌苔位置，利用卷积神经网络算法和递归神经网络算法提取舌苔特征，最后利用softmax分类器或支持向量机分类器进行舌苔体质分类。

北京工业大学发明了一种基于卷积神经网络的中医舌色苔色自动分析方法(公开号CN 107330889 A)。该方法通过中医舌象仪采集舌部图像数据，利用K均值聚类实现舌苔和舌质的分离，并由中医专家标定舌色苔色。构建卷积神经网络分别对舌色数据集和苔色数据集进行训练，得到舌色分类模型和苔色分类模型。

小伍健康科技(上海)有限责任公司发明了一种基于神经网络的舌象体质辨别方法及设备(公开号CN 109199334 A)。该方法通过深度神经网络算法训练出1个舌象图片识别模型、5个舌象特征提取模型和1个舌象体质模型。对测试集进行预测时，首先通过舌象图片识别模型判断是否为舌图片，若是舌图片则利用5种舌象特征提取模型分别提取舌质颜色、舌像形态、有无舌苔、舌苔厚度、舌苔颜色五种特征。将提取的5种特征输入舌象体质模型得到用户对应体质。

以上基于人工智能对舌象的分析方法中，均只是针对舌象的某一个特征，例如舌形，舌色，苔色等构建了单一的分析模型，虽然在公开号CN 109199334 A中，同时考虑了舌象的五种特征，但是该专利针对五种特征仍是构建了五种不同的识别模型。而在实际应用中，中医师通常会对舌象的多个特征同时进行判断分析，所以智能化地对舌象的多个特征同时进行分析是很有必要的。

由于中医师的供不应求，导致虽然舌象数据很容易获取，但有完整诊断信息的图像数据，我们称之为强标签数据，是较难获取的，而诊断信息缺失或没有的数据，我们称之为无标签数据，往往是较易获取的。半监督学习作为一种学习方法，可以让分类模型不依赖外界交互、自动地利用未标记样本来提升学习性能，能够一定程度上弥补标签样本不足带来的缺陷，避免分类模型由于训练数据太少带来的准确率低，泛化性能差的问题。而且基于半监督的图像分类算法也已经广泛的应用在自然图像的分类问题上，但在舌象的分类问题中仍然是待研究的。

东南大学发明了一种基于半监督极限学***均，从无标签样本集中取最不确定的样本进行人工标注并转移到已标记训练集中，重新更新分类器模型，直至迭代结束，解决了相关技术中图像分类存在分类正确率低和学习速度低的问题，为准确、快速、稳定的图像分类奠定了一定的基础。

中山大学也提出一种基于主动半监督学习的图像分类方法(公开号CN109376796A)，该发明随机选择部分标记样本和所有未标记样本，用于训练模型中的半监督字典学习组件，然后引入一个用户来标记未标记样本中的翔实样本，添加到标记的数据集中，用于训练模型中的主动学习组件，重复上述步骤迭代更新模型直至算法最终收敛或达到某一迭代次数。该发明结合半监督学习和主动学习，有效地利用所有训练数据，提高了算法模型的性能。

广东工业大学公开了一种基于主动学习和多标签多示例学习的场景图像标注方法(公开号CN 105117429 A)，该发明利用主动学习策略，通过计算模型的可信度，选择不确定性最大无标签图像，然后专家对该图像进行人工标注，在保证分类模型精确度的同时，大大减少了需要人工标注的场景图像数量，从而降低了标注成本。同时，把图像转化为多标签多示例数据，使图像复杂语义得到合理表示，提高了图像标注的精确度。

发明内容

综上，我们发现现有舌诊技术有如下缺陷：(1)针对现有对舌象的分析方法中，均是对舌象的某一个单独的特征进行分析，即构建单一模态分析模型对舌象特征进行分析，但舌象可以包括舌色，舌形，舌神和苔质等。所以单独的特征分析具有局限性，且没有考虑各个特征之间的相互关联性；(2)由于有标签数据量少，导致舌象分析模型泛化性能差和准确度低的问题，(数据的使用率低，大量的无标签数据无法应用在现有的舌象分析模型中)。针对上述目前基于人工智能的舌诊分析技术所存在的局限性以及缺陷，本发明所要解决的技术问题是：我们试图采用半监督的学习方法，在拥有少量有标签舌象数据的情况下，利用其它的无标签数据，学习舌象的特征，提高模型的分类精度以及泛化能力。同时，我们拟采用单一的分类模型同时得到舌象的不同特征的分析结果，简化模型，节约模型的训练时间。

为实现上述目的，本发明提供了一种多任务舌象自动分析方法，包括以下步骤：

采集舌象图片，将所有的图像根据标签的有无分成强标签集和无标签集；

使用所述强标签集训练两种不同架构的多任务深度神经网络；

使用所述无标签数据交替优化两种所述不同架构的多任务深度神经网络；

将舌象图片输入到两个训练好的所述多任务深度神经网络，分析得到的两个输出结果的平均即为最后的舌象多任务分析结果。

使用所述强标签集训练两种不同架构的多任务深度神经网络，使用无标签数据交替优化两种不同架构的多任务深度神经网络，具体包括以下步骤将所述强标签集中的舌像样本集随机分成两份，记为标签集S1和标签集S2；设置无标签样本集，记为U；定义两个空集，记为A1和A2，A1用于存放来自深度残差网络的无标签样本集合，A2用于存放来自GoogleNet网络的置信度高的无标签样本集合；定义两个空集，记为B1和B2，B1用于存放无标签样本及其通过深度残差网络产生的置信度，B2用于存放无标签样本及其通过GoogleNet网络产生的置信度；定义两个分类器模型，分别为基于深度残差网络的分类模型记为F1和基于GoogleNet的深度神经网络的分类模型记为F2；定义计数器i。

进一步地，所述多任务深度神经网络包括基于深度残差网络的多任务分类模型记为F1和基于GoogleNet的深度神经网络的多任务分类模型记为F2。

进一步地，将舌象输入到两个训练好的所述多任务深度神经网络，分析得到的两个输出结果的平均即为最后的舌象多任务分析结果，具体包括：基于深度残差网络的多任务分类模型F1对所述舌象图片的舌色、舌形、舌神、苔质进行分析和预测，及基于GoogleNet的深度神经网络的多任务分类模型F2对所述舌象图片的舌色、舌形、舌神、苔质进行分析和预测。进一步地，使用所述无标签数据交替优化两种所述不同架构的多任务深度神经网络包括：挑选无标签数据集中的置信样本优化所述基于深度残差网络的多任务分类模型F1和挑选无标签数据集中的置信样本优化所述基于GoogleNet深度神经网络的多任务分类模型F2。

进一步地，挑选无标签数据集中的置信样本优化所述基于深度残差网络的多任务分类模型F1，具体包括：

1.利用标签集S1多任务深度神经网络F1得到分类模型F1′；

2.随机从无标签样本集U中挑选大小为n的样本，记为u＝{u₁,u₂,u₃…u_n}；

3.使用分类模型F1′对样本u中的所有样本进行预测，得到预测标签F′₁(u)；

4.令计数器i＝1；

5.使用S1∪(u_i,F′₁(u_i))数据集多任务深度神经网络F1得到F″₁；

6.使用F′₁和F″₁对标签集S1进行预测，根据置信度计算公式(1)计算样本u_i对应的置信度水平△_1i：

其中，x_j为有标签数据集S₁中的样本，y_j为有标签数据x_j对应的真实标签。

7.记录u_i的置信度，记为(u_i,△_1i)，存放入集合B1中；

8.i＝i+1，判断，若i≤n，执行步骤5，否则，执行下一步；

9.挑选集合B1中置信度水平最高的样本,记为a，取出样本a和F′₁(a)，放入空集A2中。

进一步地，挑选无标签数据集中的置信样本优化基于GoogleNet深度神经网络的多任务分类模型F2，具体包括：

1.利用标签集S2多任务深度神经网络F1得到F2′；

2.随机从无标签样本集U中挑选大小为n的样本，记为u＝{u₁,u₂,u₃…u_n}；

3.使用分类模型F2′对u中的所有样本进行预测，得到预测标签F′₂(u)；

4.令计数器i＝1；

5.使用S2∪(u_i,F′₂(u_i))数据集多任务深度神经网络F2得到F″₂；

6.使用F′₂和F″₂对标签集S2进行预测，根据置信度计算公式(2)计算样本u_i对应的置信度水平△_2i：

其中，x_j为有标签数据集S₂中的样本，y_j为有标签数据x_j对应的真实标签；

7.记录u_i的置信度，记为(u_i,△_2i)，存放入集合B2中；

8.i＝i+1,判断，若i≤n,返回步骤5，否则，执行下一步；

9.挑选集合B2中置信度水平最高的样本,记为b，取出样本b和F′₂(b)，放入A1中。

进一步地，使用所述无标签数据交替优化两种所述不同架构的多任务深度神经网络还包括以下步骤：

1.更新数据S1＝S1∪A2,S2＝S2∪A1；

2.判断S1和S2是否发生变化，不变化，退出，否则，再次随机从无标签样本集U中挑选大小为n的样本，重新训练基于深度残差网络的多任务分类模型F1和挑选无标签数据集中的置信样本优化所述基于GoogleNet深度神经网络的多任务分类模型F2,直到集合S1和S2不发生变化。

技术效果

1、本发明公开了一种针对舌象的分析方法，一种多任务舌象自动分析方法，采用单个深度神经网络分类模型，通过采用sigmoid激活函数替代传统sofmax函数，以及采用二值交叉熵作为损失函数，实现使用对舌形，舌色，舌神和苔质同时进行分析，并给出分析结果。分析***将不同舌象的舌形，舌色，舌神和苔质信息作为一个整体输出，考虑了不同特征之间的相关性。

2、本发明采用基于协同训练的半监督学习方法，构建两个不同结构的神经网络，通过互相筛选置信样本的方式，充分利用无标签数据，解决由于有标签数据量少导致模型泛化性能差和准确度低的问题。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的一种多任务舌象自动分析方法的流程示意图；

图2是本发明的一个较佳实施例的使用残差网络对舌象进行特征提取和多任务分类的网络架构图；

图3是本发明的一个较佳实施例的使用GoogleNet网络对舌象进行特征提取和多任务分类的网络架构图。

具体实施方式

如图1所示，本发明实施例提供了一种多任务舌象自动分析方法，包括以下步骤：

步骤100，采集舌象图片，将所有的图像根据标签的有无分成强标签集和无标签集；

步骤200，使用所述强标签集训练两种不同架构的多任务深度神经网络；

步骤300，使用所述无标签数据交替优化两种所述不同架构的多任务深度神经网络；

步骤400，将舌象图片输入到两个训练好的所述多任务深度神经网络，分析得到的两个输出结果的平均即为最后的舌象多任务分析结果。针对目前舌象分析技术所存在的缺点，本发明提供一种多任务舌象自动分析方法，高效利用无标签数据，用于解决由于有标签数据量少导致舌象分析模型泛化性能差和准确度低的问题。

本发明采用改进的深度神经网络实现舌象多个特征鉴别分类，通过更改网络末尾的激活函数以及损失函数完成舌象特征的多任务输出，另外，采用基于协同训练的半监督方法，将无标签数据加入到训练模型中，增大模型数据量，解决传统模型泛化能力差，准确率低的问题。即本发明实施例的方案是基于协同训练的半监督方法，利用含有多个特征信息的舌象数据，训练端到端的多任务深度神经网络模型，得到舌形、舌色、舌神和苔质的分类结果。其中，采用基于协同训练的半监督学习方法，分别使用残差神经网络和GoogleNet两种分类模型从不同的角度对舌象数据进行分类，互相选出认为可信的无标签样本加入到训练集中，形成一种互补，提高整个分类模型的分类精度。同时，通过引入新的激活函数和损失函数，将传统的单任务神经网络改为可同时输出舌形，舌色，舌神，苔质特征的多任务神经网络。

以下将具体说明一种多任务舌象自动分析方法的基于半监督的多任务算法详细步骤：

初始化：将含有多个特征信息的舌象数据随机分成两份，记为标签集S1和标签集S2；将无标签样本集，记为U；定义两个空集，记为A1和A2，A1用于存放来自深度残差网络的无标签样本集合，A2用于存放来自GoogleNet网络的置信度高的无标签样本集合；定义两个空集，记为B1和B2，B1用于存放无标签样本及其通过深度残差网络产生的置信度，B2用于存放无标签样本及其通过GoogleNet网络产生的置信度；定义两个分类器模型，基于深度残差网络的分类模型记为F1，基于GoogleNet的深度神经网络记为F2；定义计数器i；

步骤一，利用标签集S1多任务深度神经网络F1得到F1′；

步骤二，利用标签集S2多任务深度神经网络F1得到F2′；

步骤三，随机从无标签样本集U中挑选大小为n的样本，记为u＝{u₁,u₂,u₃…u_n}；

步骤四，使用分类模型F1′对u中的所有样本进行预测，得到预测标签F′₁(u)；

步骤五，另计数器i＝1；

步骤六，使用S1∪(u_i,F′₁(u_i))数据集多任务深度神经网络F1得到F″₁；

步骤七，使用F′₁和F″₁对标签集S1进行预测，根据置信度计算公式(1)计算样本u_i对应的置信度水平△_1i：

其中，x_j为有标签数据集S₁中的样本，y_j为有标签数据x_j对应的真实标签。

记录u_i的置信度，记为(u_i,△_1i)，存放入集合B1中；

步骤八，i＝i+1,判断，若i≤n,返回步骤六，否则，执行下一步；

步骤九，挑选集合B1中置信度水平最高的样本,记为a，取出样本a和F′₁(a)，放入A2中；

步骤十，使用分类模型F2′对u中的所有样本进行预测，得到预测标签F′₂(u)；

步骤十一，另计数器i＝1；

步骤十二，使用S2∪(u_i,F′₂(u_i))数据集多任务深度神经网络F2得到F″₂；

步骤十三，使用F′₂和F″₂对标签集S2进行预测，根据置信度计算公式(2)计算样本u_i对应的置信度水平△_2i：

其中，x_j为有标签数据集S₂中的样本，y_j为有标签数据x_j对应的真实标签；

记录u_i的置信度，记为(u_i,△_2i)，存放入集合B2中；

步骤十四：i＝i+1,判断，若i≤n,返回步骤十二，否则，执行下一步；

步骤十五，挑选集合B2中置信度水平最高的样本,记为b，取出样本b和F′₂(b)，放入A1中；

步骤十六，更新数据S1＝S1∪A2,S2＝S2∪A1；

步骤十七，判断S1和S2是否发生变化，不变化，退出，否则，返回步骤三。

对于本发明中所采用的两个分类器模型F1和F2，本发明分别采用基于深度残差网络和基于Inception模块的GoogleNet，利用数据从两种不同的角度去训练，达到互补的效果，提高整个模型的精度。分类器F1基于深度残差网络对舌象进行多任务学习和分类。相对于传统的舌象分析技术而言，基于深度学习的深层的神经网络意味着能够提取到不同级别的图像信息，通过在深层网络中引入残差块，可以直接将输入信息绕道传到输出，在保护信息的完整性的同时，避免深层网络容易导致的致梯度消失或者梯度***的问题。分类器F1采用包含14层网络，6个残差块的网络架构。整个网络均采用较小的3x3的卷积核。具体包括1个输入层，12个卷积层，1个完全连接层和1个输出层。其中第一，二个残差块中，卷积核的的个数为32，第三，四个残差块中，卷积核的的个数为64，第五，六个残差块中，卷积核的的个数为128。

对比分类器F2采用基于Inception模块的GoogleNet对舌象进行多任务分类。该网络使用不同的滤波算子(各种尺寸的卷积、汇聚等)获得不同维度种类的图像低级特征，并在之后将这些低级特征合并起来，让下一层网络自主选择有用的输入，从而学习到不同尺度的图像特征。分类器F2采用含有4个Inception模块的GoogleNet网络架构。每一个Inception模块中均有1x1，3x3，5x5三种不同的滤波算子用来提取不同尺度的图像特征。为了实现分类器F1和F2的多任务输出，在深度神经网络的最后一层，采用sigmoid激活替换传统网络末端的SoftMax激活：

同时，二值交叉熵作为分类交叉熵损失函数：

其中C表示代价，x表示样本，y表示实际标签值，a表示网络输出值，n表示样本的总数。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (2)

1.一种多任务舌象自动分析方法，其特征在于，包括以下步骤：

采集舌象图片，将所有的图像根据标签的有无分成强标签集和无标签集；

使用所述强标签集训练两种不同架构的多任务深度神经网络；

使用所述无标签集交替优化两种所述不同架构的多任务深度神经网络；

使用所述强标签集训练两种不同架构的多任务深度神经网络，使用无标签集交替优化两种不同架构的多任务深度神经网络，具体包括以下步骤：

将所述强标签集中的舌像样本集随机分成两份，记为标签集S1和标签集S2；设置无标签样本集，记为U；定义两个空集，记为A1和A2，A1用于存放来自深度残差网络的无标签样本集合，A2用于存放来自GoogleNet网络的置信度高的无标签样本集合；定义两个空集，记为B1和B2，B1用于存放无标签样本及其通过深度残差网络产生的置信度，B2用于存放无标签样本及其通过GoogleNet网络产生的置信度；定义两个分类器模型，分别为基于深度残差网络的分类模型记为F1和基于GoogleNet的深度神经网络的分类模型记为F2；定义计数器i；

使用所述无标签集交替优化两种所述不同架构的多任务深度神经网络包括：挑选无标签集中的置信样本优化所述基于深度残差网络的多任务分类模型F1和挑选无标签集中的置信样本优化所述基于GoogleNet深度神经网络的多任务分类模型F2；挑选无标签集中的置信样本优化所述基于深度残差网络的多任务分类模型F1，具体包括：

11).利用标签集S1训练多任务深度神经网络F1得到分类模型F1′；

12).随机从无标签样本集U中挑选大小为n的样本，记为u＝{u₁，u₂，u₃...u_n}；

13).使用分类模型F1′对样本u中的所有样本进行预测，得到预测标签F′₁(u)；

14).令计数器i＝1；

15).使用S1∪(u_i，F′₁(u_i))数据集多任务深度神经网络F1得到F″₁；

16).使用F′₁和F″₁对标签集S1进行预测，根据置信度计算公式(1)计算样本u_i对应的置信度水平Δ_1i：

其中，x_j为有标签数据集S₁中的样本，y_j为有标签数据x_j对应的真实标签；

17).记录u_i的置信度，记为(u_i，Δ_1i)，存放入集合B1中；

18).i＝i+1,判断，若i≤n,返回步骤15)，否则，执行下一步；

19).挑选集合B1中置信度水平最高的样本，记为a，取出样本a和F′₁(a)，放入空集A2中；

挑选无标签集中的置信样本优化基于GoogleNet深度神经网络的多任务分类模型F2，具体包括：

21).利用标签集S2多任务深度神经网络F1得到F2′；

22).随机从无标签样本集U中挑选大小为n的样本，记为u＝{u1,u2,u3…un}；

23).使用分类模型F2′对u中的所有样本进行预测，得到预测标签F′₂(u)；

24).令计数器i＝1；

25).使用S2∪(u_i，F′₂(u_i))数据集多任务深度神经网络F2得到F″₂；

26).使用F′₂和F″₂对标签集S2进行预测，根据置信度计算公式(2)计算样本u_i对应的置信度水平Δ_2i：

其中，x_j为有标签数据集S₂中的样本，y_j为有标签数据x_j对应的真实标签；

27).记录u_i的置信度，记为(u_i，Δ_2i)，存放入集合B2中；

28).i＝i+1,判断，若i≤n,返回步骤25)，否则，执行下一步；

29).挑选集合B2中置信度水平最高的样本，记为b，取出样本b和F′₂(b)，放入A1中；

使用所述无标签集交替优化两种所述不同架构的多任务深度神经网络还包括以下步骤：

31).更新数据S1＝S1∪A2，S2＝S2∪A1；

32).判断S1和S2是否发生变化，不变化，退出，否则，返回随机从无标签样本集U中挑选大小为n的样本，记为u＝{u₁，u₂，u₃...u_n}；

联合强标签样本集重新训练所述基于深度残差网络的多任务分类模型F1，以及所述基于GoogleNet的深度神经网络的分类模型F2；

将舌象图片输入到两个训练好的所述多任务深度神经网络，分析得到的两个输出结果的平均即为最后的舌象多任务分析结果。

2.如权利要求1所述的一种多任务舌象自动分析方法，其特征在于，将舌象输入到两个训练好的所述多任务深度神经网络，分析得到的两个输出结果的平均即为最后的舌象多任务分析结果，具体包括：基于深度残差网络的多任务分类模型F1对所述舌象图片的舌色、舌形、舌神、苔质进行分析和预测，及基于GoogleNet的深度神经网络的多任务分类模型F2对所述舌象图片的舌色、舌形、舌神、苔质进行分析和预测。