CN110210513B

CN110210513B - 数据分类方法、装置及终端设备

Info

Publication number: CN110210513B
Application number: CN201910328170.5A
Authority: CN
Inventors: 孟凡阳; 柳伟; 梁永生; 杨火祥; 黄玉成; 王昌伟
Original assignee: Shenzhen Institute of Information Technology
Current assignee: Shenzhen Institute of Information Technology
Priority date: 2019-04-23
Filing date: 2019-04-23
Publication date: 2021-04-09
Anticipated expiration: 2039-04-23
Also published as: CN110210513A

Abstract

本发明适用于深度学习技术领域，提供了数据分类方法、装置及终端设备，包括：将第一待测数据输入基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络；根据所述第一待测数据，通过所述变换网络得到第二待测数据；根据所述第一待测数据及所述第二待测数据，通过所述预测网络分别得到第一待测数据对应的第一预测结果，第二待测数据对应的第二预测结果；根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果。本发明实施例能够提高数据分类的准确性。

Description

数据分类方法、装置及终端设备

技术领域

本发明属于深度学习技术领域，尤其涉及一种数据分类方法、装置及终端设备。

背景技术

随着深度学习技术的发展，深度神经网络被广泛应用于图像识别、图像分割或者语音识别、手势识别等各种数据处理中。深度神经网络对这些数据处理的关键在于待测物体的检测分类，因此无论是图像或语音等数据的识别，还是图像分割，都可统称为深度神经网络对数据的分类。

利用深度神经网络对数据进行分类处理，常常需要提前采集、标注大量的样本数据，然而大量样本数据的获取通常比较费时费力，而且样本数据也比较难以获取，例如医疗数据和异常检测数据等，因此基于深度神经网络对数据进行分类常常存在着因样本数据不足而导致数据分类准确性不够的问题。

发明内容

有鉴于此，本发明实施例提供了数据分类方法、装置及终端设备，以解决现有技术中如何提高数据分类的准确性的问题。

本发明实施例的第一方面提供了一种数据分类方法，包括：

将第一待测数据输入基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络；

根据所述第一待测数据，通过所述变换网络得到第二待测数据；

根据所述第一待测数据及所述第二待测数据，通过所述预测网络分别得到第一待测数据对应的第一预测结果，第二待测数据对应的第二预测结果；

根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果。

本发明实施例的第二方面提供了一种数据分类装置，包括：

输入单元，用于将第一待测数据输入基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络；

变换单元，用于根据所述第一待测数据，通过所述变换网络得到第二待测数据；

预测单元，用于根据所述第一待测数据及所述第二待测数据，通过所述预测网络分别得到第一待测数据对应的第一预测结果，第二待测数据对应的第二预测结果；

分类结果确定单元，用于根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述数据分类方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述数据分类方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例中，在对第一待测数据进行分类的过程中，先通过变换网络生成第二待测数据，再融合第一待测数据及第二待测数据分别对应的预测结果得到最终的分类结果，由于最终的分类结果除了依据原始数据(即第一待测数据)的数据特征，还依据原始数据以外的生成数据(即第二待测数据)的数据特征，因此能够通过原始数据及生成数据之间的互补性，即结合更多的数据特征来提升数据分类的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的第一种数据分类方法的实现流程示意图；

图2是本发明实施例提供的一种基于数据增广的神经网络的结构示意图；

图3是本发明实施例提供的一种变换网络方法的结构示意图；

图4是本发明实施例提供的第二种数据分类方法的实现流程示意图；

图5是本发明实施例提供的一种基于数据增广的神经网络训练时的数据传输示意图；

图6是本发明实施例提供的第三种数据分类方法的实现流程示意图；

图7是本发明实施例提供的数据分类装置的示意图；

图8是本发明实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一：

图1示出了本申请实施例提供的第一种数据分类方法的流程示意图，详述如下：

在S101中，将第一待测数据输入基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络。

第一待测数据x指的是待分类的数据，所述第一待测数据可以为待分类的图像数据、语音数据、文本数据等。基于数据增广的神经网络，具体为具有样本数据增广功能的端到端深度神经网络，由变换网络、预测网络及决策层组成，如图2所示。其中，变换网络及预测网络均为具有深度学习能力的神经网络，即变换网络经过样本训练自动学习调整参数后，可以自动对第一待测数据进行变换处理；预测网络经过样本训练自动学习调整参数后，可以自动对输入数据进行结果预测。本发明实施例中的基于数据增广的神经网络具体为已提前训练好的神经网络。在使用基于数据增广的神经网络进行数据分类之前，先输入预设数量的样本数据对该基于数据增广的神经网络进行训练，在训练时，由于该基于数据增广的神经网络具有数据增广功能，即在原来的样本数据的基础上生成更多的生成样本数据进行模型训练，从而使得最终训练出的基于数据增广的神经网络的泛化能力及判断能力更强。

将第一待测数据输入已提前训练好的基于数据增广的神经网络，开始识别分类处理流程。可选地，在将所述第一待测数据输入基于数据增广的神经网络之前，可以对第一待测数据进行预处理，例如去噪处理、数据清洗处理等。

在S102中，根据所述第一待测数据，通过所述变换网络得到第二待测数据。

将第一待测数据x输入变换网络，通过变换网络学习第一待测数据x的特征，并反过来生成输出得到第一待测数据x相似的数据，即变换网络能够对第一待测数据x进行学习、重构得到第二待测数据

可选地，该变换网络为如图3所示的编码-解码网络结构，将第一待测数据x输入编码器进行编码并输入隐藏层，通过隐藏层进行特征提取、学习、重构，再通过解码器解码输出得到第一待测数据对应的生成数据即第二待测数据

具体地，该变换网络可以为自编码器(Auto-encoder，AE)网络结构或者变分自编码器(VariationalAuto-encoder，VAE)网络结构。

可选地，若所述第一待测数据为一维数据，则所述变换网络为长短期记忆LSTM网络；

若所述第一待测数据为二维数据，则所述变换网络为卷积神经网络。

若第一待测数据为以一维数据即序列类的数据，例如语音序列数据、文本序列数据，则该变换网络的结构具体为长短期记忆(Long Short-Term Memory)网络结构。若第一待测数据为二维数据例如图像数据，则该变换网络的结构具体为适于处理图像类型数据的卷积神经网络结构。可选地，变换网络既包含LSTM网络也包含卷积神经网络，若检测到第一待测数据为一维数据，则将该第一待测数据输入变换网络中的LSTM网络中进行变换处理得到生成的第二待测数据；若检测到第一待测数据为二维数据，则将该第一待测数据输入变换网络中的卷积神经网络中进行变换处理。

在S103中，根据所述第一待测数据及所述第二待测数据，通过所述预测网络分别得到第一待测数据对应的第一预测结果，第二待测数据对应的第二预测结果。

将第一待测数据x和根据第一待测数据生成的第二待测数据

分别输入基于数据增广的神经网络中的预测网络，分别得到第一待测数据x对应的第一预测结果

以及第二待测数据

对应的第二预测结果

在S104中，根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果。

将第一预测结果

和第二预测结果

一起输入决策层，进行加权融合计算，得到第一待测数据x最终的分类结果y。例如以图像识别作为一个例子，根据第一待测图像(即第一待测数据)对应的第一识别结果(即第一预测结果)以及根据第一待测图像变换重构的生成图像(即第二待测数据)对应的第二识别结果(即第二预测结果)，通过决策层得到该第一待测图像的识别结果(即第一待测数据最终的分类结果)。该识别结果可以为识别出该第一待测图像包含或者不包含目标检测物，此时该最终的分类结果即为是和非两种分类结果中的其中一种；或者识别结果还可以为识别出该第一待测图像包含第一目标检测物、第二目标检测物、第三目标检测物或者不包含任何目标检测物这四种分类结果中的其中一种；以此类推，分类的总类别个数可以根据实际需要设置，第一待测数据最终的分类结果为该总类别中的其中一种。

可选地，根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果，包括：

获取决策层参数λ，根据第一预测结果

及第二预测结果

通过决策计算公式得到所述第一待测数据最终的分类结果y，所述决策计算公式具体为：

其中，λ∈[0,1]。

获取决策层参数λ作为决策层进行加权融合计算的参数，根据输入的第一预测结果

及第二预测结果

通过决策计算公式

计算得到最终的分类结果y，其中，λ∈[0,1]。通常情况下，将λ设置为0到1之间的任意实数(不包括0和1)，即λ∈(0,1)，使得最终的分类结果y既结合了原本数据(即第一待测数据)对应的第一预测结果

又结合了生成数据即(即第二待测数据)对应的第二预测结果

从而能够综合更多的数据特征来使得分类结果更加准确。

在对数据分类处理时间或者***的计算能力不够的特殊情况下，可以令λ＝0，在检测到λ为0时跳过步骤S102及步骤S103，直接执行步骤S104，即只根据原本的第一待测数据进行预测得到第一预测结果

以该第一预测结果作为最终的分类结果y。由于λ＝0时无需结合生成数据的预测结果，即省去变换网络部分，也省去生成数据输入预测网络进行计算的部分，因此降低了计算复杂度，从而节约了计算时间及***资源，该方式是特殊情况下牺牲一定的准确度来降低计算复杂度的灵活选择。可选地，也可令λ＝1，此时以生成数据即第二待测数据对应的第二预测结果

作为第一待测数据最终的分类结果，该方式可以用于变换网络的性能较优，经过变换网络生成的第二待测数据的数据特征能够包括第一待测数据的全部数据特征并增加了更多的第一待测数据隐藏的数据特征的情况下，此时只根据第二预测结果

就能得到准确度较高的最终分类结果。

优选地，λ＝0.5，此时能够最大化地同时结合第一预测结果

和第二预测结果

来得到第一待测数据的最终分类结果y，即最大化地结合原始数据(第一待测数据)及生成数据(第二待测数据)的数据特征得到最终的分类结果，从而能够结合更多的数据特征来提升数据分类的准确性。

可选地，在所述步骤S101之前，还包括：接收决策层参数设置指令，根据该设置指令设置决策层参数λ的值。可选地，当设置的λ值不符合条件λ∈[0,1]，则发出设置错误的提示信息，以指示用户重新输入正确的λ值。

本发明实施例中，在对第一待测数据进行分类的过程中，先通过变换网络生成第二待测数据，再融合第一待测数据及第二待测数据分别对应的预测结果得到最终的分类结果，由于最终的分类结果除了依据原始数据(即第一待测数据)的数据特征，还依据原始数据以外的生成数据(即第二待测数据)的数据特征，因此能够通过原始数据及生成数据之间的互补性，即结合更多的数据特征来提升数据分类的准确性。

实施例二：

图4示出了本申请实施例提供的第二种数据分类方法的流程示意图，详述如下：

在S401中，获取原始样本数据，其中所述原始样本包括携带第一结果标签的第一原始样本数据及携带第二结果标签的第二原始样本数据。

获取原始样本数据，例如当待分类的第一待测数据为图像数据时，可以通过图像采集的方式采集预设数量的目标图像作为原始样本数据，并通过接收结果标签标示指令，使原始样本数据携带对应的结果标签。或者，通过下载读取已有的目标图像数据库的方式获取到预设数量的携带结果标签的原始样本数据。其中，携带第一结果标签y_i的第一原始样本x_i及携带第二结果标签y_j的第二原始样本x_j为原始样本中的任意两个样本数据。

在S402中，根据所述第一原始样本数据，通过变换网络得到携带第一结果标签的第一生成样本数据。

根据携带第一结果标签y_i的第一原始样本数据x_i，通过变换网络进行样本数据增广，得到与第一原始样本数据的结果标签相同，但样本数据特征有所区别的生成样本数据，即得到携带第一结果标签的第一生成样本数据。在基于数据增广的神经网络进行网络模型训练时，变换网络起到生成更多的样本数据的作用，保证样本数据的多样性，提升基于数据增广的神经网络的泛化能力，从而提高利用基于数据增广的神经网络进行数据分类的准确性。

在S403中，根据所述携带第一结果标签的第一生成样本数据及所述携带第二结果标签的第二原始样本数据进行样本融合，得到携带融合结果标签的融合样本数据。

将携带第一结果标签y_i的第一生成样本数据

与携带第二结果标签y_j的第二原始样本数据x_j进行加权运算，实现样本融合，得到携带融合结果标签

的融合样本数据

可选地，所述步骤S403具体包括：

根据携带第一结果标签y_i的第一生成样本数据

携带第二结果标签y_j的第二原始样本数据x_j以及融合系数β，通过融合样本计算公式得到携带融合结果标签

的融合样本数据

所述融合样本计算公式具体为：

其中，β∈[0,1]。

在训练过程中，融合系数β为大于或者等于0，且小于或者等于1的任意实数，根据该融合系数，通过融合样本计算公式计算出的融合样本数据

随机地融合了第一生成样本数据

及第二原始样本数据的数据特征，该融合样本数据对应的融合结果标签

也随机地融合第一结果标签y_i及第二结果标签y_j这两个结果，因此能够生成多样性的样本数据对预测网络进行训练，从而提高采用该基于数据增广的神经网络进行数据分类时的准确度。

可选地，所述融合样本计算公式中的融合系数β满足以下约束条件：

β∈Beta(a,a)

其中，Beta(a,a)表示两个参数均为a的贝塔分布，n、N分别表示训练过程中的当前迭代次数和目标迭代总次数，m为大于0且小于或等于0.1的实数。

Beta(a,a)指的是第一个参数及第二个参数均为a的贝塔分布(BetaDistribution)，融合参数服从Beta(a,a)分布。其中，参数a取

m这两个值中较大的一个值。在

中，n代表训练过程中当前迭代次数，即代表当前的训练为第几轮训练；N代表目标迭代总次数，即训练的总轮次，该值可以在训练前设置，N值通常比较大，数量级为10^3或者以上，设置之后模型一共会进行N轮训练。m为接近0的一个实数，具体地，约束m值满足条件0<m≤0.1，可以在训练前设置m值，例如设置m＝0.01。具体地，可以根据训练总轮次N的数量级对应设置m值，例如若N的数量级为10^3，可以设置m为小于或者等于1/(10^3)的一个实数，例如设置m＝1/(10^3)或者设置m＝1/(10^3×10)等。

设置好N、m值后，使得在训练初期时，即n值比较小时，

接近于1，即

此时Beta(a,a)＝Beta(1,1)＝U(0,1)，其中U(0,1)指的是0到1之间的均匀分布(UniformDistribution)，即此时的贝塔分布等价于0到1的均匀分布，即融合系数β服从U(0,1)；融合系数β服从U(0,1)时，β＝0或者β＝1的概率较少，即此时通常β为0和1中间的数，根据融合计算公式计算得到的携带融合结果标签

的融合样本数据

结合了原始样本和学习得到的生产样本的数据特征，即在训练初期对变换网络的模型参数进行了训练。在训练后期，n值比较大，

的值小于m值，即此时a＝m，例如m＝0.001时，Beta(a,a)＝Beta(0.001,0.001)；贝塔分布中，当两个参数均为0时即Beta(0,0)等价于伯努利分布，由于Beta(0,0)可能存在不稳定的情况，因此取一个靠近0的参数m作为此时贝塔分布的参数，可以使此时融合系数β近似服从伯努利分布；融合系数β服从伯努利分布时，β的值为0或者为1，即根据融合计算公式计算得到的携带融合结果标签

的融合样本数据

基本为原始样本(具体为第一原始样本)或者生成样本(具体为第一生成样本)使得在训练后期已经训练收敛的变换网络得到的样本数据中包含单纯的原始样本数据或者单纯的生成样本数据，将这些数据送入预测网络中进行训练。

通过对融合系数β的约束，使得在训练前期能够对变换网络进行训练，调整变换网络的学习参数，同时得到多样的融合样本数据供预测网络进行训练；在训练后期时生成单纯的原始样本数据和单纯的生成样本数据来供预测网络进行训练，能够使得预测网络既能准确地处理融合样本数据又能够准确地处理原始样本数据及生成样本数据。

在S404中，根据所述原始样本数据及所述融合样本数据，对所述基于数据增广的神经网络进行深度学习训练。

将原始样本数据和从步骤S403中得到的融合样本数据输入基于数据增广的神经网络中的预测网络进行模型训练，依据样本数据自动学习、调整预测网络的参数。可选地，当采用S403中的融合计算公式计算融合样本数据，且融合参数β满足约束条件：β∈Beta(a,a)且

时，该基于数据增广的神经网络融合样本数据在训练后期的融合样本数据已经包含了原始样本数据，因此步骤S404具体为：根据所述融合样本数据，对所述基于数据增广的神经网络进行深度学习训练。

重复执行步骤S402至步骤S404，对基于数据增广的神经网络中的变换网络和预测网络进行多轮联合训练，从而实现端到端的训练，得到训练好的基于数据增广的神经网络，以供之后进行数据分类应用。每一轮训练数据的处理流程示意图具体可参见图5。

在S405中，将第一待测数据输入基于数据增广的神经网络。

在S406中，根据所述第一待测数据，通过所述变换网络得到第二待测数据。

在S407中，根据所述第一待测数据及所述第二待测数据，通过所述预测网络分别得到第一待测数据对应的第一预测结果，第二待测数据对应的第二预测结果。

在S408中，根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果。

步骤S405～步骤S408为利用已训练好的基于数据增广的神经网络进行数据分类的过程，本实施例中步骤S405～步骤S408分别与实施例一中的步骤S101～S104相同，具体请参阅上实施例一中对步骤S101～步骤S104的相关描述，此处不赘述。

本发明实施例中，由于根据原始样本数据通过具有深度学习能力的变换网络生成数量、种类更多的样本数据，因此能够使最终训练得到的基于数据增广的神经网络的性能更优，从而使得利用该基于数据增广的神经网络进行数据分类应用时，能够提高数据分类的准确性；同时，由于本发明实施例中的变换网络为具有深度学习能力的神经网络，因此相比于现有的不具有学习参数的数据增广方法，本发明实施例中的基于数据增广的神经网络在训练时能够将变换网络与预测网络一起联合训练，实现神经网络端到端联合训练，只需将原始样本输入该基于数据增广的神经网络便可自动完成训练，使得模型训练更加高效。

实施例三：

图6示出了本发明实施例提供的第三种数据分类方法的流程示意图，本发明实施例中的数据分类方法具体为人体骨架行为识别方法，第一待测数据具体为第一待测人体图像数据，第二待测数据具体为第二待测人体图像数据，分类结果具体为人体骨架行为识别结果，详述如下：

在S601中，将第一待测人体图像数据输入基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络。

获取第一待测人体图像数据，该第一待测人体图像可以通过照相机对目标人体的追踪拍摄得到，或者通过下载现有的人体行为识别图像数据集得到。优选地，通过深度照相机采集该第一待测人体图像数据，使得采集到的第一待测人体图像数据中能够更好地显示目标人体骨架信息。可选地，将第一待测人体图像数据预先经过去噪处理、阈值化处理，使得处理后的待测人体图像数据能够更清晰地显示目标人体骨架信息。本发明实施例中的基于数据增广的神经网络与实施例一中S101中描述的基于数据增广的神经网络的网络结构一致，具体请参实施例一的S101中对该基于数据增广的神经网络的相关描述。将该第一待测人体图像数据输入基于数据增广的神经网络中，开始执行人体骨架行为识别流程。

在S602中，根据所述第一待测人体图像数据，通过所述变换网络得到第二待测人体图像数据。

经过变换网络得到根据该第一待测人体图像数据进行特征学习、重构的第二待测人体图像数据。由于本发明实施例中的待测数据为图像数据，因此该变换网络具体为具有深度学习能力的卷积神经网络。本发明实施例中，变换网络得到第二待测人体图像数据的具体过程与实施例一中步骤S102的描述相似，具体请参阅实施例一步骤S102的相关描述。

在S603中，根据所述第一待测人体图像数据及所述第二待测人体图像数据，通过所述预测网络分别得到所述第一待测人体图像数据对应的第一预测结果，第二待测人体图像数据对应的第二预测结果。

将该第一待测人体图像数据输入预测网络得到第一预测结果，将该第二待测人体图像数据输入预测网络的到第二预测结果。预测结果具体可为预测第一待测人体图像数据或者第二待测人体图像数据是否包含目标行为的结果。

在S604中，根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测人体图像数据最终的人体骨架行为识别结果。

根据该第一预测结果及该第二预测结果，通过决策层进行决策，得到最终人体骨架行为识别结果，其中该决策层包含决策层参数λ。可选地，该人体骨架行为识别结果为指示该第一待测人体图像数据是否包含目标行为的结果，可以通过文字提示、语音提示或者图像显示的方式来提示该人体骨架行为识别结果。

为了验证本发明实施例中的基于数据增广的神经网络实现人体骨架行为识别方法时的识别准确度，分别采用了现有公开的三种人体行为识别数据集：南洋理工大学RGB-D动作识别数据集(Nanyang Technological University RGB+D Action RecognitionDataset，NTU RGB-D)、加州西北大学洛杉矶多视点行动3D数据集(NorthwesternUniversity of California,Los Angeles Multiview Action3D Dataset，NUCLA)、德克萨斯大学多模态人类行动数据集(University of Texas at Dallas Multimodal HumanAction Dataset，UTD-MHAD)，来进行人体骨架行为识别方法的准确度测试，其中NTU RGB-D数据集包括交叉视角数据集NTU-CV(NTU Cross-view)和交叉被测者数据集NTU-CV(NTUCross-Subject)。准确度测试结果如表1所示，其中A～F识别方法为对照组方法，包括：没有数据增广的识别方法A、经过L2正则化的识别方法B、包括Dropout层的识别方法C、包含Zoneout层的识别方法D、经过旋转原始图像实现数据增广的识别方法E、基于现有的Mixup数据增广的识别方法F；本发明实施例步骤S601至S604的识别方法用代号S表示，其中S₀表示决策层参数λ＝0时的识别方法，S_0.5表示决策层参数λ＝0.5时的识别方法；表中记录的数据为识别准确度百分比。

表1：

由表1的测试结果可见，无论决策层参数λ的值为多少，本发明的人体骨架行为识别方法的准确度均不同程度地优于现有的没有数据增广的神经网络的识别方法以及其它数据增广网络识别方法。

表2还示出了以NTU-CV、NTU-CS为数据集，分别采用本发明的人体骨架行为识别方法、现有的其它经典人体骨架行为识别方法进行识别测试的准确度比较结果，表中记录的数据为识别准确度百分比。表中所示的经典人体骨架行为识别方法包括：全局内容感知注意长短期记忆网络(Global ContextAware Attention LSTM，GCA-LSTM)、空间注意时间注意长短期记忆网络(Spatio Temporal Attention LSTM，STA-LSTM)、基于Zoneout层的网络(以下简称Zoneout)、独立循环神经网络(Independently Recurrent Neural Network，indRNN)、残差时序卷积网络(Resnet-Temporal Convolutional Networks，Res-TCN)、增强可视化卷积神经网络(Enhanced Visualization Convolutional Neural Networks，EVCNN)、时空图卷积网络(Spatio Temporal Graph Convolutional Networks，ST-GCN)；采用本发明实施例步骤S601至S604的识别方法用代号S表示。

表2：

由表2可见，本发明的人体骨架行为识别方法的测试准确度高于现有的经典人体骨架行为识别方法。另外，虽然ST-GCN、EVCNN、indRNN的识别方法与本发明的识别方法性能相近，但是ST-GCN、EVCNN、indRNN等网络的复杂度均高于本发明所述的基于数据增广的神经网络，因此本发明的人体骨架行为识别方法能在提高识别准确度的同时控制计算复杂度，从而提高识别效率。

本发明实施例中，将本发明的数据分类方法用于解决人体骨架行为识别问题，由于最终的人体骨架行为识别结果除了依据原始的待测人体图像数据的数据特征，还依据经变换网络得到的第二待测人体图像数据的数据特征，因此能够通过原始数据及生成数据之间的互补性，即结合更多的数据特征来提升人体骨架行为识别的准确性；经过实验验证，本发明实施例中的人体骨架行为识别方法于的准确度优于现有的其它数据增广网络识别方法以及现有的经典人体骨架行为识别方法。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例四：

图7示出了本申请实施例提供的一种数据分类装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分：

该数据分类装置包括：输入单元71、变换单元72、预测单元73、分类结果确定单元74。其中：

输入单元71，用于将第一待测数据输入基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络。

变换单元72，用于根据所述第一待测数据，通过所述变换网络得到第二待测数据。

可选地，所述变换单元72包括第一变换模块和/或第二变换模块：

第一变换模块，用于若所述第一待测数据为一维数据，则所述变换网络为长短期记忆LSTM网络。

第二变换模块，用于若所述第一待测数据为二维数据，则所述变换网络为卷积神经网络。

预测单元73，用于根据所述第一待测数据及所述第二待测数据，通过所述预测网络分别得到第一待测数据对应的第一预测结果，第二待测数据对应的第二预测结果。

将第一待测数据x和根据第一待测数据生成的第二待测数据

以及第二待测数据

对应的第二预测结果

分类结果确定单元74，用于根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果。

将第一预测结果

和第二预测结果

可选地，所述分类结果确定单元74包括：

决策计算模块，用于获取决策层参数λ，根据第一预测结果

及第二预测结果

其中，λ∈[0,1]。

可选地，所述数据分类装置还包括：

原始样本数据获取单元，用于获取原始样本数据，其中所述原始样本数据包括携带第一结果标签的第一原始样本数据及携带第二结果标签的第二原始样本数据；

生成样本数据单元，用于根据所述第一原始样本数据，通过变换网络得到携带第一结果标签的第一生成样本数据；

样本融合单元，用于根据所述携带第一结果标签的第一生成样本数据及所述携带第二结果标签的第二原始样本数据进行样本融合，得到携带融合结果标签的融合样本数据；

训练单元，用于根据所述原始样本数据及所述融合样本数据，对所述基于数据增广的神经网络进行深度学习训练。

可选地，所述样本融合单元包括：

样本融合计算模块，用于根据携带第一结果标签y_i的第一生成样本数据

的融合样本数据

所述融合样本计算公式具体为：

其中，β∈[0,1]。

可选地，所述样本融合计算模块包括：

融合系数约束模块，用于根据携带第一结果标签y_i的第一生成样本数据

的融合样本数据

所述融合样本计算公式具体为：

其中，β∈[0,1]。

可选地，所述数据分类装置具体用于人体骨架行为识别，上述各单元出现的该数据分类装置中的处理数据具体为：所述第一待测数据为待测人体图像数据，所述第二待测数据为根据所述待测人体图像数据通过变换网络得到的第二待测人体图像数据，所述分类结果为人体骨架行为识别结果。

实施例五：

图8是本发明一实施例提供的终端设备的示意图。如图8所示，该实施例的终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82，例如数据分类程序。所述处理器80执行所述计算机程序82时实现上述各个数据分类方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图8所示单元71至74的功能。

示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。例如，所述计算机程序82可以被分割成输入单元、变换单元、预测单元、分类结果确定单元，各单元具体功能如下：

输入单元，用于将第一待测数据输入基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络。

变换单元，用于根据所述第一待测数据，通过所述变换网络得到第二待测数据。

预测单元，用于根据所述第一待测数据及所述第二待测数据，通过所述预测网络分别得到第一待测数据对应的第一预测结果，第二待测数据对应的第二预测结果。

所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims

1.一种数据分类方法，其特征在于，包括：

获取原始样本数据，其中所述原始样本数据包括携带第一结果标签的第一原始样本数据及携带第二结果标签的第二原始样本数据；

根据所述第一原始样本数据，通过变换网络得到携带第一结果标签的第一生成样本数据；

将所述携带第一结果标签的第一生成样本数据及所述携带第二结果标签的第二原始样本数据进行加权运算，实现样本融合，得到携带融合结果标签的融合样本数据；

根据所述原始样本数据及所述融合样本数据，对基于数据增广的神经网络进行深度学习训练；

将第一待测数据输入所述基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络；

2.如权利要求1所述的数据分类方法，其特征在于，

若所述第一待测数据为一维数据，则所述变换网络为长短期记忆LSTM网络；

3.如权利要求1所述的数据分类方法，其特征在于，所述将所述携带第一结果标签的第一生成样本数据及所述携带第二结果标签的第二原始样本数据进行加权运算，实现样本融合，得到携带融合结果标签的融合样本数据，包括：

根据携带第一结果标签y_i的第一生成样本数据

的融合样本数据

所述融合样本计算公式具体为：

其中，β∈[0,1]。

4.如权利要求3所述的数据分类方法，其特征在于，所述融合样本计算公式中的融合系数β满足以下约束条件：

β∈Beta(a,a)

5.如权利要求1所述的数据分类方法，其特征在于，所述根据所述第一预测结果及所述第二预测结果，通过所述决策层得到所述第一待测数据最终的分类结果，包括：

获取决策层参数λ，根据第一预测结果

及第二预测结果

其中，λ∈[0,1]。

6.如权利要求1至5任意一项所述的数据分类方法，其特征在于，所述数据分类方法具体为人体骨架行为识别方法，所述第一待测数据为第一待测人体图像数据，所述第二待测数据为根据所述第一待测人体图像数据通过变换网络得到的第二待测人体图像数据，所述分类结果为人体骨架行为识别结果。

7.一种数据分类装置，其特征在于，包括：

样本融合单元，用于将所述携带第一结果标签的第一生成样本数据及所述携带第二结果标签的第二原始样本数据进行加权运算，实现样本融合，得到携带融合结果标签的融合样本数据；

训练单元，用于根据所述原始样本数据及所述融合样本数据，对基于数据增广的神经网络进行深度学习训练；

输入单元，用于将第一待测数据输入所述基于数据增广的神经网络，其中所述基于数据增广的神经网络包括变换网络、预测网络及决策层，所述变换网络及所述预测网络均为具有深度学习能力的神经网络；

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。