CN110288085B - 一种数据处理方法、装置、***及存储介质 - Google Patents

Abstract

本发明提供了一种数据处理方法、装置、***及存储介质，方法包括：获取待处理数据；对待处理数据进行特征提取，得到待处理数据的数据特征；将数据特征输入训练好的数据处理模型，得到数据处理结果；其中，数据处理模型的训练包括：在训练数据中选取数量类别的训练样本；将数量类别的类别权重输入神经网络的对应类别的层；采用训练样本训练神经网络，得到数量类别的新类别权重；重复上述步骤,且当神经网络模型满足训练条件时停止训练，得到训练好的数据处理模型。根据本发明的方法、装置、***及存储介质，通过乱序选取固定类别数目的训练样本训练神经网络得到的神经网络模型容易收敛，且准确度高，适于数据处理的应用且优化了数据处理的过程。

Description

一种数据处理方法、装置、***及存储介质

技术领域

本发明涉及数据处理技术领域，更具体地涉及数据处理的方法、装置、***及存储介质。

背景技术

随着信神经网络在图像处理、文本处理以及语言处理等数据处理方面的广泛应用，对于神经网络的需求和要求也逐渐增加。神经网络中常需要含有类别信息以完成如分类、对不同类别检测或回归等针对多类别的任务。通常，由于这些类别信息也是未确定的，需要在训练过程中进行优化或最优化，这些类别信息常常作为网络权重存储在神经网络特定的层中，参与训练与推理。而类别数越多，所需的权重也就越多，这些层的训练与推理也就越慢。

目前，神经网络的训练方法在(如softmax loss)训练神经网络时，如果类别过多(如数百万类)，在含有类别信息这一层会占用大量计算、存储资源，有时甚至会由于需求资源过多而无法训练。而不需要固定类别数目的方法(如triplet loss)往往收敛困难，需要较长的训练时间，且无法训练出类别权重。

也就是说，目前的神经网络模型收敛困难，需要较长的训练时间，且无法训练出类别权重，不利于数据处理过程的优化。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种数据处理方法、装置、***及计算机存储介质，以解决神经网络模型收敛困难，需要较长的训练时间，且无法训练出类别权重，不利于数据处理过程优化的问题。

根据本发明的第一方面，提供了一种数据处理方法，包括：

获取待处理数据；

对所述待处理数据进行特征提取，得到所述待处理数据的数据特征；

将所述数据特征输入训练好的数据处理模型，得到数据处理结果；

其中，所述数据处理模型的训练包括：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

根据本发明的第二方面，提供了一种数据处理装置，包括：

数据获取模块，用于获取待处理数据；

特征提取模块，用于对所述待处理数据进行特征提取，得到所述待处理数据的数据特征；

数据处理模块，将所述数据特征输入训练好的数据处理模型，得到数据处理结果；

其中，所述数据处理模块还用于：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

根据本发明的第三方面，提供了一种数据处理***，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。

根据本发明的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现第一方面所述方法的步骤。

根据本发明实施例的数据处理方法、装置、***及计算机存储介质，通过多次乱序选取固定类别数目的训练样本训练神经网络得到的神经网络模型容易收敛，且准确度高，适于数据处理的应用且优化了数据处理的过程。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本发明实施例的数据处理方法的示意性流程图；

图2是根据本发明实施例的数据处理装置的示意性框图；

图3是根据本发明实施例的数据处理***的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

参见图1，图1示出了根据本发明实施例的数据处理方法100，如图1所示，一种数据处理方法100，包括：

步骤A，获取待处理数据；

步骤B，对所述待处理数据进行特征提取，得到所述待处理数据的数据特征；

步骤C，将所述数据特征输入训练好的数据处理模型，得到数据处理结果；

其中，所述数据处理模型的训练包括：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

其中，数据处理可以是如图像处理，语音处理，文字处理以及其他形式的数据处理中的任意一种，在此不做限制。

当数据处理是图像处理时，可以具体是图像识别，即待处理数据为待识别图像，经过特征提取后得到用向量表示待识别图像的图像特征，基于多次乱序选取训练数据中固定类别的训练样本后对神经网络进行训练可以得到图像识别模型(如通过图像中的人脸识别人的身份，或通过图像中的物品的图像特征识别物品的种类，或通过图像中的人的特征识别人的行为等等)，将待识别图像的图像特征输入图像识别模型即可得到相应的图像识别结果，如人的身份，物品的种类，人的行为等等。

当数据处理是语音处理时，可以具体是语音识别，即待处理数据为待识别语音，经过特征提取后得到用向量表示待识别语音的语音特征，基于多次乱序选取训练数据中固定类别的训练样本后对神经网络进行训练可以得到语音识别模型(如通过语音识别语音中人的性别或身份等等)，将待识别语音的语音特征输入语音识别模型即可得到相应的语音识别结果，如语音中人的性别或身份等等。

根据本发明实施例，通过多次乱序选取训练数据中固定类别的训练样本后对神经网络进行训练，进而不断更新每次选取的类别的权重，最终得到收敛的神经网络模型。相比于目前的采用所有训练数据同时对神经网络进行训练，本发明实施例的方法采用多次分批训练神经网络，每次训练过程中包含类别信息的那一层神经网路的参数数量以及计算量都大幅减小，所以用同样的训练数据进行训练，所述方法100中训练神经网络所需的整体时间相应较小，大量节省了计算资源，提高了神经网络的训练效率以及准确度，从而提升后续数据处理过程中的效率和准确率，保证了用户体验。具体来说，可以存储神经网络的所有类别的类别权重；通过多次乱序选取训练数据中固定类别的训练样本对神经网络进行训练，其中，每次训练之前，从存储的所有类别的类别权重中，将本次所选取的训练样本中包含的所有类别的类别权重载入神经网络中含有相应类别信息的层，然后进行本次训练并得到本次训练后，训练样本中包含的所有类别的新类别权重；重复上述步骤直至满足停止训练的条件即得到收敛的神经网络模型。

可选地，根据本发明实施例的数据处理方法可以在具有存储器和处理器的设备、装置或者***中实现。

根据本发明实施例的数据处理方法可以部署在个人终端，还可以分布地部署在服务器端(或云端)和个人终端处。例如，当所述数据处理方法部署在个人终端时，个人终端获取待处理数据后，在个人终端处进行数据处理，得到所述待处理数据的数据处理结果，其中，数据处理模型可以在个人终端处进行训练，也可以在外部设备训练后从外部设备获取，对此不做限制；

根据本发明实施例的数据处理方法还可以分布地部署在服务器端(或云端)和个人终端处时，可以在服务器端(或云端)处训练得到数据处理模型，个人终端获取所述数据处理模型以及待处理数据后，将个人终端进行数据处理后，得到所述待处理数据的数据处理结果。

根据本发明实施例，步骤A中，获取所述待处理数据可以是直接获取待处理数据，也可以是从其他数据源获取待处理数据；所述待处理数据可以是实时信号，也可以是非实时信号，在此不做限制。

可选地，获取待处理数据包括：直接采集待处理数据。

在一个示例中，以语音处理为例，获取待处理数据包括：直接通过麦克风拾音，采集所述待处理语音数据。

在一个示例中，以语音处理为例，获取待处理数据包括：从其他数据源获取所述待处理语音数据。例如，通过其他语音采集装置采集所述待识别语音数据，然后从所述语音采集装置获取所述待识别语音数据；或从云端获取所述待识别语音数据。

在一个示例中，以图像处理为例，获取待处理数据包括：直接通过图像采集装置(如摄像头)采集待处理图像信息。

在一个示例中，以图像处理为例，获取待处理数据包括：从其他数据源获取待处理图像数据。

根据本发明实施例，步骤A中，可以进一步包括：获取所述待处理数据后，对所述待处理数据进行预处理。

在一个示例中，对所述待处理数据进行预处理可以包括：将所述待处理数据归一化，和/或转换为相同的格式或大小。

根据本发明实施例，步骤B中，对所述待处理数据进行特征提取，得到所述待处理数据的数据特征可以是通过特征提取模型进行，也可以是通过其他特征提取方法获取。

可选地，所述特征提取模型可以是采用与所述数据处理模型相同的训练方法得到，也可以是采用其它训练方法得到。可以理解，无论采用何种特征提取方法得到的数据特征均可以用于本发明实施例中的数据处理模型。

在一个示例中，对所述待处理数据进行特征提取，得到所述待处理数据的数据特征，可以采用如下一种特征提取方法：LBP(局部二值模式)、HoG(方向梯度直方图)或PCA(主成分分析法)，生成特征向量作为所述待处理数据的数据特征。

在一个示例中，对所述待处理数据进行特征提取，得到所述待处理数据的数据特征，包括：

将所述待处理数据输入训练好的特征提取模型，得到所述待处理数据的数据特征。

在一个示例中，所述特征提取模型的训练包括：

步骤S21，在第二训练数据中选取第二数量类别的第二训练样本；

步骤S22，将所述第二数量类别的类别权重输入第二神经网络的对应类别的层；

步骤S23,采用所述第二数量类别第二训练样本训练所述第二神经网络，得到第二数量类别的新类别权重；

步骤S24，重复步骤S21-S23,且当所述第二神经网络模型满足训练条件时停止所述训练，得到所述训练好的特征提取模型。

在一个示例中，在第二训练数据中选取第二数量类别的第二训练样本，包括：

将所述第二训练数据的所有样本的顺序随机打乱后，顺序选取第二备选样本，直至所述第二备选样本的类别数量大于第二数量；

将最后选取的第二备选样本返回至所述第二训练数据中，并将剩下的所述第二备选样本作为所第二数量类别的第二训练样本；

或，

将所述第二训练数据的所有类别顺序随机打乱后，顺序选取第二数量类别，并将所述第二数量类别的所有样本作为所述第二数量类别的第二训练样本。

在一个示例中，所述特征提取模型的训练还包括：

存储所述第二神经网络的所有层的类别权重，以及采用所述新类别权重更新所述第二神经网络中所有层的类别权重。

需要说明的是，所述第一数量和所述第二数量可以相同也可以不同，在此不做限制。而根据本发明实施例的数据处理方法，也可以是通过上述特征提取模型对待处理数据进行特征提取得到所述数据特征，也可以用于其它的数据处理模型。

根据本发明实施例，在步骤C中，所述数据处理模型的训练包括：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

可选地，所述训练条件可以包括如下至少一种：所述训练数据中的所有样本训练固定轮次、神经网络的损失值小于预定阈值、在验证集上性能(如准确度或精确度)达到预先设定值。

可选地，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有样本的顺序随机打乱后，顺序选取第一备选样本，直至所述第一备选样本的类别数量大于第一数量；

将最后选取的第一备选样本返回至所述第一训练数据中，并将剩下的所述第一备选样本作为所第一数量类别的第一训练样本；

或，

将所述第一训练数据的所有类别顺序随机打乱后，顺序选取第一数量类别，并将所述第一数量类别的所有样本作为所述第一数量类别的第一训练样本。

在一个示例中，假设第一训练数据包括所有类别的类别数量为6，分别A1，A2，A3，A4，A5,A6，第一数量为3，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有样本的顺序随机打乱后，顺序选取第一备选样本，直至所述第一备选样本的类别数量大于3即顺序选取4种类别样本A1，A2，A3，A4，其中最后一个选取的类别A4的备选样本数量必然为1；

将最后选取的第一备选样本即类别A4的备选样本返回至所述第一训练数据中，并将剩下的类别A1，A2，A3的所述第一备选样本作为所第一数量类别的第一训练样本。

其中，将所有样本打乱后的每次顺序依次选取，最终选取完整个第一训练数据，所以可以保证整个第一训练数据中的所有样本都会被选到，进一步保证了训练的收敛速度和神经网络的准确度，有利于后续数据处理的优化。

在一个示例中，假设第一训练数据包括所有类别的类别数量为6，第一数量为3，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有类别顺序A1，A2，A3，A4，A5,A6随机打乱后，顺序选取3个类别如A2，A3，A6，并将所述3个类别A2，A3，A6的所有样本作为所述第一数量类别的第一训练样本。同样地，将所有类别顺序打乱后依次选取，最终选取完整个第一训练数据(例如，所有类别顺序A1，A2，A3，A4，A5,A6，打乱后为A2，A3，A6,A1,A5那么可以依次选择A2，A3，A6—A3，A6,A1—A6,A1,A5—A1,A5,A2—A5,A2，A3)，可以保证整个第一训练数据中的所有样本都会被选到，进一步保证了训练的收敛速度和神经网络的准确度，有利于后续数据处理的优化。

可以理解，由于训练数据中每个类别的样本数量可能不同，所以本发明实施例中的数据处理模型和特征提取模型的训练过程中，每次选取的样本数量可以相同，也可以不同，在此不做限制。

在一个示例中，所述数据处理模型的训练还包括：

存储所述第一神经网络的所有层的类别权重，以及采用所述新类别权重更新所述第一神经网络中所有层的类别权重。

在一个实施例中，以本发明实施例部署于个人终端为例，对本发明实施例的数据处理方法进行说明，具体包括：

首先，存储第一神经网络的所有层的类别权重；

然后，在第一训练数据中选取第一数量类别的第一训练样本；具体包括：将所述第一训练数据的所有样本的顺序随机打乱后，每次顺序选取第一备选样本，直至所述第一备选样本的类别数量大于第一数量；将最后选取的第一备选样本返回至所述第一训练数据中，并将剩下的所述第一备选样本作为所第一数量类别的第一训练样本；或，将所述第一训练数据的所有类别顺序随机打乱后，每次顺序选取第一数量类别，并将所述第一数量类别的所有样本作为所述第一数量类别的第一训练样本；

接着，从存储的所述第一神经网络的所有层的类别权重中，选择所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

接着，采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

接着，采用所述新类别权重更新所述存储的第一神经网络中所有层的类别权重；

重复上述步骤，当所述第一神经网络模型满足训练条件(如，所有样本训练固定轮次、神经网络的损失值小于预定阈值或在验证集上性能(如准确度或精确度)达到预先设定值)时停止所述训练，得到所述训练好的数据处理模型；

然后，获取待处理数据，并对所述待处理数据进行特征提取，得到所述待处理数据的数据特征；

最后，将所述数据特征输入训练好的数据处理模型，得到数据处理结果。

由此可知，根据本发明实施例的数据处理方法，通过多次乱序选取固定类别数目的训练样本训练神经网络得到的神经网络模型容易收敛，收敛速度快且准确度高，适于数据处理的应用且优化了数据处理的过程。

在一个实施例中，以本语音数据识别为例，对本发明实施例的数据处理方法进行具体说明，具体包括：

首先，存储第一神经网络的所有层的类别权重；

然后，在语音训练数据中选取第一数量类别的语音训练样本；具体包括：将所述语音训练数据的所有样本的顺序随机打乱后，每次顺序选取语音备选样本，直至所述语音备选样本的类别数量大于第一数量；将最后选取的语音备选样本返回至所述语音训练数据中，并将剩下的所述语音备选样本作为所第一数量类别的语音训练样本；或，将所述语音训练数据的所有类别顺序随机打乱后，每次顺序选取第一数量类别，并将所述第一数量类别的所有样本作为所述第一数量类别的语音训练样本；

接着，从存储的所述第一神经网络的所有层的类别权重中，选择所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

接着，采用所述语音训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

接着，采用所述新类别权重更新所述存储的第一神经网络中所有层的类别权重；

重复上述步骤，当所述第一神经网络模型满足训练条件(如，所有样本训练固定轮次、神经网络的损失值小于预定阈值或在验证集上性能(如准确度或精确度)达到预先设定值)时停止所述训练，得到所述训练好的语音识别模型；

然后，获取待识别语音数据，并对所述待识别语音数据进行特征提取，得到所述待识别语音数据的语音特征；具体包括：

存储第二神经网络的所有层的类别权重；

在语音特征提取训练数据中选取第二数量类别的语音特征提取训练样本；如：将所述语音特征提取训练数据的所有样本的顺序随机打乱后，每次顺序选取语音特征提取备选样本，直至所述语音特征提取备选样本的类别数量大于第二数量；将最后选取的语音特征提取备选样本返回至所述语音特征提取训练数据中，并将剩下的所述语音特征提取备选样本作为所第二数量类别的语音特征提取训练样本；或，将所述语音特征提取训练数据的所有类别顺序随机打乱后，每次顺序选取第二数量类别，并将所述第二数量类别的所有样本作为所述第二数量类别的语音特征提取训练样本；

从存储的所述第二神经网络的所有层的类别权重中，选择所述第二数量类别的类别权重输入第二神经网络的对应类别的层；

采用所述语音特征提取训练样本训练所述第二神经网络，得到第二数量类别的新类别权重；

采用所述新类别权重更新所述存储的第二神经网络中所有层的类别权重；

重复上述步骤，当所述第二神经网络模型满足训练条件(如，所有样本训练固定轮次、神经网络的损失值小于预定阈值或在验证集上性能(如准确度或精确度)达到预先设定值)时停止所述训练，得到所述训练好的语音特征提取模型；

将所述待识别语音数据输入训练好的语音特征提取模型，得到语音特征；

最后，将所述数据特征输入训练好的语音识别模型，得到语音识别结果(如语音中人的身份或性别等)。

由此可知，根据本发明实施例的数据处理方法，通过多次乱序选取固定类别数目的训练样本训练神经网络得到的语音识别模型和语音特征提取模型容易收敛，收敛速度快且准确度高，适于语音识别处理的应用且优化了语音识别的过程，实现了快速准确的语音识别，提升用户体验。

图2示出了根据本发明实施例的数据处理装置200的示意性框图。如图2所示，根据本发明实施例的数据处理装置200包括：

数据获取模块210，用于获取待处理数据；

特征提取模块220，用于对所述待处理数据进行特征提取，得到所述待处理数据的数据特征；

数据处理模块230，将所述数据特征输入训练好的数据处理模型，得到数据处理结果；

其中，所述数据处理模块230还用于：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

其中，数据处理装置200可以用于如图像处理，语音处理，文字处理以及其他形式的数据处理中的任意一种，在此不做限制。

当数据处理装置200用于图像处理时，可以具体是图像识别，即待处理数据为待识别图像，经过特征提取后得到用向量表示待识别图像的图像特征，基于多次乱序选取训练数据中固定类别的训练样本后对神经网络进行训练可以得到图像识别模型(如通过图像中的人脸识别人的身份，或通过图像中的物品的图像特征识别物品的种类，或通过图像中的人的特征识别人的行为等等)，将待识别图像的图像特征输入图像识别模型即可得到相应的图像识别结果，如人的身份，物品的种类，人的行为等等。

当数据处理装置200用于是语音处理时，可以具体是语音识别，即待处理数据为待识别语音，经过特征提取后得到用向量表示待识别语音的语音特征，基于多次乱序选取训练数据中固定类别的训练样本后对神经网络进行训练可以得到语音识别模型(如通过语音识别语音中人的性别或身份等等)，将待识别语音的语音特征输入语音识别模型即可得到相应的语音识别结果，如语音中人的性别或身份等等。

根据本发明实施例，数据处理装置200通过多次乱序选取训练数据中固定类别的训练样本后对神经网络进行训练，进而不断更新每次选取的类别的权重，最终得到收敛的神经网络模型。相比于目前的采用所有训练数据同时对神经网络进行训练，本发明实施例的数据处理装置200采用多次分批训练神经网络，每次训练过程中包含类别信息的那一层神经网路的参数数量以及计算量都大幅减小，所以用同样的训练数据进行训练，训练神经网络所需的整体时间相应较小，大量节省了计算资源，提高了神经网络的训练效率以及准确度，从而提升后续数据处理过程中的效率和准确率，保证了用户体验。具体来说，可以存储神经网络的所有类别的类别权重；通过多次乱序选取训练数据中固定类别的训练样本对神经网络进行训练，其中，每次训练之前，从存储的所有类别的类别权重中，将本次所选取的训练样本中包含的所有类别的类别权重载入神经网络中含有相应类别信息的层，然后进行本次训练并得到本次训练后，训练样本中包含的所有类别的新类别权重；重复上述步骤直至满足停止训练的条件即得到收敛的神经网络模型。

根据本发明实施例，数据获取模块210获取所述待处理数据可以是直接获取待处理数据，也可以是从其他数据源获取待处理数据；所述待处理数据可以是实时信号，也可以是非实时信号，在此不做限制。

可选地，数据获取模块210获取待处理数据包括：直接采集待处理数据。

在一个示例中，以语音处理为例，数据获取模块210获取待处理数据包括：直接通过麦克风拾音，采集所述待处理语音数据。

在一个示例中，以语音处理为例，数据获取模块210获取待处理数据包括：从其他数据源获取所述待处理语音数据。例如，通过其他语音采集装置采集所述待识别语音数据，然后从所述语音采集装置获取所述待识别语音数据；或从云端获取所述待识别语音数据。

在一个示例中，以图像处理为例，数据获取模块210获取待处理数据包括：直接通过图像采集装置(如摄像头)采集待处理图像信息。

在一个示例中，以图像处理为例，数据获取模块210获取待处理数据包括：从其他数据源获取待处理图像数据。

根据本发明实施例，数据获取模块210可以进一步用于：获取所述待处理数据后，对所述待处理数据进行预处理。

在一个示例中，数据获取模块210对所述待处理数据进行预处理可以包括：将所述待处理数据归一化，和/或转换为相同的格式或大小。

根据本发明实施例，特征提取模块220对所述待处理数据进行特征提取，得到所述待处理数据的数据特征可以是通过特征提取模型进行，也可以是通过其他特征提取方法获取。

可选地，所述特征提取模型可以是采用与所述数据处理模型相同的训练方法得到，也可以是采用其它训练方法得到。可以理解，无论采用何种特征提取方法得到的数据特征均可以用于本发明实施例中的数据处理模型。

在一个示例中，特征提取模块220对所述待处理数据进行特征提取，得到所述待处理数据的数据特征，可以采用如下一种特征提取方法：LBP(局部二值模式)、HoG(方向梯度直方图)或PCA(主成分分析法)，生成特征向量作为所述待处理数据的数据特征。

在一个示例中，特征提取模块220对所述待处理数据进行特征提取，得到所述待处理数据的数据特征，包括：

将所述待处理数据输入训练好的特征提取模型，得到所述待处理数据的数据特征。

在一个示例中，所述特征提取模型的训练包括：

步骤S21，在第二训练数据中选取第二数量类别的第二训练样本；

步骤S22，将所述第二数量类别的类别权重输入第二神经网络的对应类别的层；

步骤S23,采用所述第二数量类别第二训练样本训练所述第二神经网络，得到第二数量类别的新类别权重；

步骤S24，重复步骤S21-S23,且当所述第二神经网络模型满足训练条件时停止所述训练，得到所述训练好的特征提取模型。

在一个示例中，在第二训练数据中选取第二数量类别的第二训练样本，包括：

将所述第二训练数据的所有样本的顺序随机打乱后，顺序选取第二备选样本，直至所述第二备选样本的类别数量大于第二数量；

将最后选取的第二备选样本返回至所述第二训练数据中，并将剩下的所述第二备选样本作为所第二数量类别的第二训练样本；

或，

将所述第二训练数据的所有类别顺序随机打乱后，顺序选取第二数量类别，并将所述第二数量类别的所有样本作为所述第二数量类别的第二训练样本。

在一个示例中，所述特征提取模型的训练还包括：

存储所述第二神经网络的所有层的类别权重，以及采用所述新类别权重更新所述第二神经网络中所有层的类别权重。

需要说明的是，所述第一数量和所述第二数量可以相同也可以不同，在此不做限制。而根据本发明实施例的数据处理方法，也可以是通过上述特征提取模型对待处理数据进行特征提取得到所述数据特征，也可以用于其它的数据处理模型。

根据本发明实施例，数据处理模块230还包括模型模块231，所述模型模块231用于所述数据处理模型的训练，包括：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

可选地，所述训练条件可以包括如下至少一种：所述训练数据中的所有样本训练固定轮次、神经网络的损失值小于预定阈值、在验证集上性能(如准确度或精确度)达到预先设定值。

可选地，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有样本的顺序随机打乱后，顺序选取第一备选样本，直至所述第一备选样本的类别数量大于第一数量；

将最后选取的第一备选样本返回至所述第一训练数据中，并将剩下的所述第一备选样本作为所第一数量类别的第一训练样本；

或，

将所述第一训练数据的所有类别顺序随机打乱后，顺序选取第一数量类别，并将所述第一数量类别的所有样本作为所述第一数量类别的第一训练样本。

在一个示例中，假设第一训练数据包括所有类别的类别数量为6，分别A1，A2，A3，A4，A5,A6，第一数量为3，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有样本的顺序随机打乱后，顺序选取第一备选样本，直至所述第一备选样本的类别数量大于3即顺序选取4种类别样本A1，A2，A3，A4，其中最后一个选取的类别A4的备选样本数量必然为1；

将最后选取的第一备选样本即类别A4的备选样本返回至所述第一训练数据中，并将剩下的类别A1，A2，A3的所述第一备选样本作为所第一数量类别的第一训练样本。

其中，将所有样本打乱后的每次顺序依次选取，最终选取完整个第一训练数据，所以可以保证整个第一训练数据中的所有样本都会被选到，进一步保证了训练的收敛速度和神经网络的准确度，有利于后续数据处理的优化。

在一个示例中，假设第一训练数据包括所有类别的类别数量为6，第一数量为3，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有类别顺序A1，A2，A3，A4，A5,A6随机打乱后，顺序选取3个类别如A2，A3，A6，并将所述3个类别A2，A3，A6的所有样本作为所述第一数量类别的第一训练样本。同样地，将所有类别顺序打乱后依次选取，最终选取完整个第一训练数据(例如，所有类别顺序A1，A2，A3，A4，A5,A6，打乱后为A2，A3，A6,A1,A5那么可以依次选择A2，A3，A6—A3，A6,A1—A6,A1,A5—A1,A5,A2—A5,A2，A3)，可以保证整个第一训练数据中的所有样本都会被选到，进一步保证了训练的收敛速度和神经网络的准确度，有利于后续数据处理的优化。

可以理解，由于训练数据中每个类别的样本数量可能不同，所以本发明实施例中的数据处理模型和特征提取模型的训练过程中，每次选取的样本数量可以相同，也可以不同，在此不做限制。

在一个示例中，所述数据处理模块230还包括：

权重存储模块232，用于存储所述第一神经网络的所有层的类别权重，以及采用所述新类别权重更新所述第一神经网络中所有层的类别权重。

图3示出了根据本发明实施例的数据处理***300的示意性框图。数据处理***300包括存储装置310、以及处理器320。

存储装置310存储用于实现根据本发明实施例的数据处理方法中的相应步骤的程序代码。

所述处理器320用于运行所述存储装置310中存储的程序代码，以执行根据本发明实施例的数据处理方法的相应步骤，并且用于实现根据本发明实施例的数据处理装置中的数据获取模块210，特征提取模块220以及数据处理模块230。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的数据处理方法的相应步骤，并且用于实现根据本发明实施例的数据处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行数据处理的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的数据处理装置的各个功能模块，并且/或者可以执行根据本发明实施例的数据处理方法。

根据本发明实施例的数据处理***中的各模块可以通过根据本发明实施例的数据处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的数据处理方法、装置、***以及存储介质，通过乱序选取固定类别数目的训练样本训练神经网络得到的神经网络模型容易收敛，且准确度高，适于数据处理的应用且优化了数据处理的过程。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理数据；

将所述待处理数据输入训练好的特征提取模型，得到所述待处理数据的数据特征，包括：

步骤S21，在第二训练数据中选取第二数量类别的第二训练样本；

步骤S22，将所述第二数量类别的类别权重输入第二神经网络的对应类别的层；

步骤S23,采用所述第二数量类别第二训练样本训练所述第二神经网络，得到第二数量类别的新类别权重；

步骤S24，重复步骤S21-S23,且当所述第二神经网络模型满足训练条件时停止所述训练，得到所述训练好的特征提取模型；

将所述数据特征输入训练好的数据处理模型，得到数据处理结果；

其中，所述数据处理模型的训练包括：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有样本的顺序随机打乱后，顺序选取第一备选样本，直至所述第一备选样本的类别数量大于第一数量；

将最后选取的第一备选样本返回至所述第一训练数据中，并将剩下的所述第一备选样本作为所第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

2.如权利要求1所述的方法，其特征在于，所述数据处理模型的训练还包括：

存储所述第一神经网络的所有层的类别权重，以及采用所述新类别权重更新所述第一神经网络中所有层的类别权重。

3.如权利要求1所述的方法，其特征在于，在第二训练数据中选取第二数量类别的第二训练样本，包括：

将所述第二训练数据的所有样本的顺序随机打乱后，顺序选取第二备选样本，直至所述第二备选样本的类别数量大于第二数量；

将最后选取的第二备选样本返回至所述第二训练数据中，并将剩下的所述第二备选样本作为所第二数量类别的第二训练样本；

或，

将所述第二训练数据的所有类别顺序随机打乱后，顺序选取第二数量类别，并将所述第二数量类别的所有样本作为所述第二数量类别的第二训练样本。

4.如权利要求1所述的方法，其特征在于，所述特征提取模型的训练还包括：

存储所述第二神经网络的所有层的类别权重，以及采用所述新类别权重更新所述第二神经网络中所有层的类别权重。

5.一种数据处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取待处理数据；

特征提取模块，用于将所述待处理数据输入训练好的特征提取模型，得到所述待处理数据的数据特征，包括：

步骤S21，在第二训练数据中选取第二数量类别的第二训练样本；

步骤S22，将所述第二数量类别的类别权重输入第二神经网络的对应类别的层；

步骤S23,采用所述第二数量类别第二训练样本训练所述第二神经网络，得到第二数量类别的新类别权重；

步骤S24，重复步骤S21-S23,且当所述第二神经网络模型满足训练条件时停止所述训练，得到所述训练好的特征提取模型；

数据处理模块，将所述数据特征输入训练好的数据处理模型，得到数据处理结果；

其中，所述数据处理模块还用于：

步骤S11，在第一训练数据中选取第一数量类别的第一训练样本，包括：

将所述第一训练数据的所有样本的顺序随机打乱后，顺序选取第一备选样本，直至所述第一备选样本的类别数量大于第一数量；

将最后选取的第一备选样本返回至所述第一训练数据中，并将剩下的所述第一备选样本作为所第一数量类别的第一训练样本；

步骤S12，将所述第一数量类别的类别权重输入第一神经网络的对应类别的层；

步骤S13,采用所述第一训练样本训练所述第一神经网络，得到第一数量类别的新类别权重；

步骤S14，重复步骤S11-S13,且当所述第一神经网络模型满足训练条件时停止所述训练，得到所述训练好的数据处理模型。

6.一种数据处理***，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至4中任一项所述方法的步骤。

Images