CN116226382A - 一种给定关键词的文本分类方法、装置、电子设备及介质 - Google Patents

一种给定关键词的文本分类方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116226382A
CN116226382A CN202310176797.XA CN202310176797A CN116226382A CN 116226382 A CN116226382 A CN 116226382A CN 202310176797 A CN202310176797 A CN 202310176797A CN 116226382 A CN116226382 A CN 116226382A
Authority
CN
China
Prior art keywords
text
classification
training
loss value
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310176797.XA
Other languages
English (en)
Other versions
CN116226382B (zh
Inventor
孙宇健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Original Assignee
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shumei Tianxia Beijing Technology Co ltd, Beijing Nextdata Times Technology Co ltd filed Critical Shumei Tianxia Beijing Technology Co ltd
Priority to CN202310176797.XA priority Critical patent/CN116226382B/zh
Publication of CN116226382A publication Critical patent/CN116226382A/zh
Application granted granted Critical
Publication of CN116226382B publication Critical patent/CN116226382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种给定关键词的文本分类方法、装置、电子设备及介质，该方法包括：获取包含给定关键词的待分类文本；将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，文本分类模型是基于包含给定关键词的文本得到的训练数据训练得到，且模型训练过程中的总损失值不但考虑到了该文本的训练结果和分类标签之间的损失值，还考虑到了该文本与相同分类结果对应的采样文本之间的损失值，使得训练得到的文本分类模型的精度更高，这样在基于本申请方案训练得到的文本分类模型进行分类时，可提高分类准确性，减少误杀。

Description

一种给定关键词的文本分类方法、装置、电子设备及介质
技术领域
本发明涉及人工智能、自然语言处理、文本分类、深度学习技术领域，具体而言，本发明涉及一种给定关键词的文本分类方法、装置、电子设备及介质。
背景技术
语句分类是自然语言处理中的一个经典问题，而该问题的解决效果往往与数据质量有着密不可分的关系。而对于该问题，往往会出现一个不容忽视的现象，即部分关键词在特定场景下存在着特殊含义，但这部分特定场景对应的语句往往不具备特殊性。比如“伞兵”一次在特定情况下具有骂人的含义，然而单独的“你是伞兵么”一句话，人们难以分别其真实含义。而对于深度学习模型来说，这种样本往往会导致模型碰到包含这种关键词的语句便会认为是黑标签，从而导致误杀。
因此，现有技术中的文本分类模型不能够对包含给定关键词的文本进行准确的分类，容易出现误杀的现象。
发明内容
本发明所要解决的技术问题是提供了一种给定关键词的文本分类方法、装置、电子设备及介质，旨在解决上述至少一个技术问题。
第一方面，本发明解决上述技术问题的技术方案如下：一种给定关键词的文本分类方法，该方法包括：
获取包含给定关键词的待分类文本；
将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
获取包含多个给定关键词的关键词集合和包含多个文本的训练集合，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；
对于所述训练集合中的每个文本，根据所述文本对初始模型进行训练，得到所述文本对应的分类结果；
根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值；
将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，对于所述训练集合中的每个文本，根据所述文本的分类标签，确定所述文本是否属于所述训练样本；
若所述文本属于所述训练样本，则从所述训练样本中选取一个文本作为所述文本对应的采样文本，并根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，所述采样文本的分类标签与所述文本的分类标签均属于相同的分类结果；
根据所述第一分类损失值和所述训练集合中属于所述训练样本的每个所述文本对应的损失值，确定所述初始模型的总损失值；
若所述训练集合中的每个文本均不属于所述训练样本，将所述第一分类损失值作为所述总损失值；
若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
本发明的有益效果是：在本申请方案中，通过包含给定关键词的关键词集合确定用于对初始模型进行训练的训练数据，该训练数据中有包含给定关键词的训练样本，还有不包含给定关键词的文本，这样可以基于丰富的训练数据使得训练好的文本分类模型对于包含给定关键词的文本进行准确的分类，另外，对于训练样本中的每个文本，不但考虑到了该文本的训练结果和分类标签之间的损失值，还考虑到了该文本与相同分类结果对应的采样文本之间的损失值，使得训练得到的文本分类模型的精度更高，这样在基于本申请方案训练得到的文本分类模型进行分类时，可提高分类准确性，减少误杀。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，该方法还包括：
将所述训练样本划分为白样本和黑样本，所述白样本中的每个文本对应的分类结果不属于设定分类结果，所述黑样本中的每个文本对应的分类结果属于所述设定分类结果；
对于所述训练集合中的每个文本，所述从所述训练样本中选取一个文本作为所述文本对应的采样文本，包括：
根据所述文本的分类标签，确定所述文本是否属于所述白样本；
若所述文本属于所述白样本，则从所述白样本中选取一个文本作为所述文本对应的采样文本；
若所述文本属于所述黑样本，则从所述黑样本中选取一个文本作为所述文本对应的采样文本。
采用上述进一步方案的有益效果是，将训练样本划分为白样本和黑样本，可以进一步将训练样本进行细分，这样可使得确定的采样文本与对应的文本之间的分类结果更相近，进而使得模型训练精度更高。
进一步，对于所述训练集合中的每个文本，上述根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，包括：
根据所述文本和所述文本对应的采样本文，确定混合文本向量；
根据所述文本的分类标签和所述采样文本的分类标签，确定混合标签向量；
对所述混合文本向量和所述混合标签向量进行交叉熵计算，得到所述文本对应的损失值。
采用上述进一步方案的有益效果是，将文本与采样文本之间进行混合，再将文本的分类标签和所述采样文本的分类标签之间进行混合，可以从不同的角度反映文本与对应的采样文本之间的差异。
进一步，上述根据所述文本和所述文本对应的采样本文，确定混合文本向量，包括：
将所述文本转换为第一词向量，根据所述第一词向量，通过所述初始模型，确定所述文本的第一隐向量；
将所述采样文本转换为第二词向量，根据所述第二词向量，通过所述初始模型，确定所述采样文本的第二隐向量；
根据所述第一隐向量和所述第二隐向量，确定所述混合文本向量。
采用上述进一步方案的有益效果是，通过先将文本转换为词向量，再通过初始模型确定的隐向量表达文本的形式，可以更准确的表达文本。
进一步，上述初始模型为Minit。
采用上述进一步方案的有益效果是，通过Minit可准确快速的训练得到文本分类模型。
第二方面，本发明为了解决上述技术问题还提供了一种给定关键词的文本分类装置，该装置包括：
文本获取模块，用于获取包含给定关键词的待分类文本；
文本分类模块，用于将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
获取包含给定关键词的待分类文本；
将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
获取包含多个给定关键词的关键词集合和包含多个文本的训练集合，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；
对于所述训练集合中的每个文本，根据所述文本对初始模型进行训练，得到所述文本对应的分类结果；
根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值；
将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，对于所述训练集合中的每个文本，根据所述文本的分类标签，确定所述文本是否属于所述训练样本；
若所述文本属于所述训练样本，则从所述训练样本中选取一个文本作为所述文本对应的采样文本，并根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，所述采样文本的分类标签与所述文本的分类标签均属于相同的分类结果；
根据所述第一分类损失值和所述训练集合中属于所述训练样本的每个所述文本对应的损失值，确定所述初始模型的总损失值；
若所述训练集合中的每个文本均不属于所述训练样本，将所述第一分类损失值作为所述总损失值；
若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
第三方面，本发明为了解决上述技术问题还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现本申请的给定关键词的文本分类方法。
第四方面，本发明为了解决上述技术问题还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请的给定关键词的文本分类方法。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的一种给定关键词的文本分类方法的流程示意图；
图2为本发明一个实施例提供的一种给定关键词的文本分类装置的结构示意图；
图3为本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本发明实施例所提供的方案可以适用于任何需要对包含给定关键词的文本进行分类的应用场景中。本发明实施例所提供的方案可以由任一电子设备执行，比如，可以是用户的终端设备，包括以下至少一项：智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载设备。
本发明实施例提供了一种可能的实现方式，如图1所示，提供了一种给定关键词的文本分类方法的流程图，该方案可以由任一电子设备执行，例如，可以是终端设备，或者由终端设备和服务器(下文可称为文件服务器)共同执行。为描述方便，下面将以终端设备作为执行主体为例对本发明实施例提供的方法进行说明，如图1中所示的流程图，该方法可以包括以下步骤：
步骤S110，获取包含给定关键词的待分类文本；
步骤S120，将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
步骤S1201，获取包含多个给定关键词的关键词集合和包含多个文本的训练集合，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；
步骤S1202，对于所述训练集合中的每个文本，根据所述文本对初始模型进行训练，得到所述文本对应的分类结果；
步骤S1203，根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值；
步骤S1204，将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，对于所述训练集合中的每个文本，根据所述文本的分类标签，确定所述文本是否属于所述训练样本；
步骤S1205，若所述文本属于所述训练样本，则从所述训练样本中选取一个文本作为所述文本对应的采样文本，并根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，所述采样文本的分类标签与所述文本的分类标签均属于相同的分类结果；
步骤S1206，根据所述第一分类损失值和所述训练集合中属于所述训练样本的每个所述文本对应的损失值，确定所述初始模型的总损失值；
步骤S1207，若所述训练集合中的每个文本均不属于所述训练样本，将所述第一分类损失值作为所述总损失值；
步骤S1208，若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
通过本发明的方法，通过包含给定关键词的关键词集合确定用于对初始模型进行训练的训练数据，该训练数据中有包含给定关键词的训练样本，还有不包含给定关键词的文本，这样可以基于丰富的训练数据使得训练好的文本分类模型对于包含给定关键词的文本进行准确的分类，另外，对于训练样本中的每个文本，不但考虑到了该文本的训练结果和分类标签之间的损失值，还考虑到了该文本与相同分类结果对应的采样文本之间的损失值，使得训练得到的文本分类模型的精度更高，这样在基于本申请方案训练得到的文本分类模型进行分类时，可提高分类准确性，减少误杀。
下面结合以下具体的实施例，对本发明的方案进行进一步的说明，在该实施例中，给定关键词的文本分类方法可以包括以下步骤：
步骤S110，获取包含给定关键词的待分类文本；
其中，待分类文本指的是需要分类的文本，可以是中文文本。给定关键词指的是一些在不同场景下有不同含义的词。
步骤S120，将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，分类结果可以是一种二分类结果，也可以是不同分类结果下对应的概率值，本申请方案中不限定分类结果的表达形式，均在本申请所保护的范围内。
其中，上述文本分类模型是通过以下方式训练得到的：
步骤S1201，获取包含多个给定关键词的关键词集合和包含多个文本的训练集合，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；
其中，可将关键词集合记为Skey，简记为S，S中的每个给定关键词均可通过人为选择。训练集合中包括多个文本，多个文本可以包括包含给定关键词的文本，也可以包括不包含给定关键词的文本。对于每个文本，该文本对应的分类标签表征了该文本的真实分类结果。训练集合可记为Dtrain。
作为一个示例，比如，对于一个文本情感分类任务，假设有无情感，生气，悲伤，高兴四个标签。文本a所表达的情感对应的标签是无情感，那么无情感对应的标签即为文本a对应的分类标签，还可将无情感作为白标签，其它三个是黑标签。
步骤S1202，对于所述训练集合中的每个文本，根据所述文本对初始模型进行训练，得到所述文本对应的分类结果，该分类结果可以是一个二分类结果，也可以是属于不同类别的概率值。
步骤S1203，根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值。
其中，第一分类损失值表征的是文本的分类结果和分类标签对应的真实分类结果之间的差异。
步骤S1204，将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，可记为Dsub-keyword，对于所述训练集合中的每个文本，根据所述文本的分类标签，确定所述文本是否属于所述训练样本；
其中，训练样本中所包含的每个文本均为包含给定关键词的文本，训练样本中的每个文本可以包括至少一个给定关键词。由于训练集合中不仅包括包含给定关键词的文本，还包括不包含给定关键词的文本，则对于训练集合中的每个文本，可先判断该文本是否属于所述训练样本Dsub-keyword。
步骤S1205，若所述文本属于所述训练样本，则从所述训练样本中选取一个文本作为所述文本对应的采样文本，并根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，所述采样文本的分类标签与所述文本的分类标签均属于相同的分类结果；
可选的，上述方法还包括：
将所述训练样本划分为白样本Dwkey-white和黑样本Dwkey-black，所述白样本中的每个文本对应的分类结果不属于设定分类结果，所述黑样本中的每个文本对应的分类结果属于所述设定分类结果；其中，设定分类结果可以预先给定，表示一个类别。
对于所述训练集合中的每个文本，上述从所述训练样本中选取一个文本作为所述文本对应的采样文本，包括：
根据所述文本的分类标签，确定所述文本是否属于所述白样本；
若所述文本属于所述白样本，则从所述白样本中选取(可随机选取)一个文本d+作为所述文本对应的采样文本；
若所述文本属于所述黑样本，则从所述黑样本中选取(可随机选取)一个文本d-作为所述文本对应的采样文本。
可选的，对于所述训练集合中的每个文本，上述根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，包括：
根据所述文本和所述文本对应的采样本文，确定混合文本向量；
根据所述文本的分类标签和所述采样文本的分类标签，确定混合标签向量；
对所述混合文本向量和所述混合标签向量进行交叉熵计算，得到所述文本对应的损失值。
可选的，对于每个文本，上述根据所述文本和所述文本对应的采样本文，确定混合文本向量，包括：
将所述文本(假设这个文本长度是m)转换为第一词向量(具体来说是一个m乘以特征大小的矩阵)，根据所述第一词向量，通过所述初始模型(比如，在初始模型中进行前传计算)，确定所述文本的第一隐向量(可以是一个新矩阵，这个新矩阵通常是一个类别数乘以特征长度的矩阵)；
将所述采样文本转换为第二词向量，根据所述第二词向量，通过所述初始模型，确定所述采样文本的第二隐向量，该第二隐向量的计算方式与第一隐向量的计算方式相同，在此不再赘述；
根据所述第一隐向量和所述第二隐向量，确定所述混合文本向量。
可选的，上述根据所述第一隐向量和所述第二隐向量，确定所述混合文本向量的一种可实现方式为：
根据所述第一隐向量和所述第二隐向量，通过第一公式计算得到所述混合文本向量，其中，第一公式为：
hmix＝lambda*h+(1-lambda)*h’
其中，hmix表示混合文本向量，lambda表示设定参数，可以是根据beta分布随机采样出一个数值，通常为小于1的数值，h表示第一隐向量，h’表示第二隐向量。
可选的，上述根据所述文本的分类标签和所述采样文本的分类标签，确定混合标签向量的一种实现方式为：
根据所述文本的分类标签和所述采样文本的分类标签，通过第二公式，确定所述混合标签向量，其中，第二公式为：
lmix＝lambda*l+(1-lambda)*l’
其中，lmix表示混合标签向量,lambda表示设定参数，可以是根据beta分布随机采样出一个数值，通常为小于1的数值，l表示文本的分类标签，l’表示采样文本的分类标签。
步骤S1206，根据所述第一分类损失值loss1和所述训练集合中属于训练样本的每个所述文本对应的损失值，确定所述初始模型的总损失值；
其中，根据所述训练集合中属于训练样本的每个所述文本对应的损失值，可计算得到初始模型对应的第二分类损失值loss2，第二分类损失值表征的是相同类别的文本之间的差异。确定了第二分类损失值之后，可将第一分类损失值loss1与第二分类损失值loss2之和作为初始模型的总损失值。
可选的，本申请方案中初始模型可以为Minit。
步骤S1207，若所述训练集合中的每个文本均不属于所述训练样本，可直接将所述第一分类损失值作为所述总损失值；对于每个文本，在文本不属于训练样本的情况下，可直接对文本进行前传计算得到第一分类损失值，并进行反传优化初始模型。
步骤S1208，若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
其中，上述训练结束条件可基于实际情况设定，比如，可以是一个阈值，总损失值小于该阈值表示满足训练结束条件，否则，若总损失值不小于该阈值表示不满足训练结束条件。
可选的，上述训练结束条件还可以包括迭代次数对应的结束条件，在上述模型训练过程中，在判断总损失值是否满足对应的训练结束条件的同时，还要同时考虑模型的当前迭代次数是否满足对应的结束条件，比如，当前迭代次数是否大于预设的迭代次数阈值，则在总损失值满足对应的训练结束条件的前提下，如果当前迭代次数不大于预设的迭代次数阈值，则表示当前迭代次数满足对应的结束条件，如果当前迭代次数大于迭代次数阈值，则表示当前迭代次数不满足对应的结束条件。其中，一个迭代过程表示的是训练样本从进入模型到计算完每条文本对应的损失值，再到根据各个损失值调整完模型权重参数的过程。
需要说明的是，不限定上述步骤S1205、步骤S1206和步骤S1207的执行顺序，如果文本属于所述训练样本，则执行步骤S1205和步骤S1206，如果文本不属于所述训练样本，则执行步骤S1207。
在训练得到文本分类模型后，还可基于测试集Dtest对该模型进行测试，以使得最终的得到的文本分类模型满足训练精度。
为了更好的说明及理解本发明所提供的方法的原理，下面结合一个可选的具体实施例对本发明的方案进行说明。需要说明的是，该具体实施例中的各步骤的具体实现方式并不应当理解为对于本发明方案的限定，在本发明所提供的方案的原理的基础上，本领域技术人员能够想到的其他实现方式也应视为本发明的保护范围之内。
在本示例中，对文本分类模型的训练过程进行完整的介绍，包括以下步骤：
步骤S1，获取包含多个给定关键词的关键词集合Skey，简记为S，获取包含多个文本的训练集合Dtrain，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；对于每个文本，该文本对应的分类标签表征了该文本的真实分类结果。获取测试集Dtest。
其中，训练集合中包括多个文本，多个文本可以包括包含给定关键词的文本，也可以包括不包含给定关键词的文本。
步骤S2，将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，可记为Dsub-keyword，将所述训练样本划分为白样本Dwkey-white和黑样本Dwkey-black，所述白样本中的每个文本对应的分类结果不属于设定分类结果，所述黑样本中的每个文本对应的分类结果属于所述设定分类结果；其中，设定分类结果可以预先给定，表示一个类别。
步骤S3,对于所述训练集合中的每个文本，确定所述文本是否属于所述训练样本；
步骤S4，若所述文本属于所述训练样本，且所述文本属于所述白样本，则从所述白样本中选取(可随机选取)一个文本d+作为所述文本对应的采样文本；若所述文本属于所述训练样本，且所述文本属于所述黑样本，则从所述黑样本中选取(可随机选取)一个文本d-作为所述文本对应的采样文本。
步骤S5，对于训练样本中的每个所述文本d，将所述文本d(假设这个文本长度是m)转换为第一词向量(具体来说是一个m乘以特征大小的矩阵)，根据所述第一词向量，通过所述初始模型(比如，在初始模型中进行前传计算)，确定所述文本的第一隐向量(可以是一个新矩阵，这个新矩阵通常是一个类别数乘以特征长度的矩阵)；将所述采样文本d’转换为第二词向量，根据所述第二词向量，通过所述初始模型，确定所述采样文本d’的第二隐向量，该第二隐向量的计算方式与第一隐向量的计算方式相同，在此不再赘述。
步骤S6，对于训练样本中的每个所述文本d，根据所述第一隐向量和所述第二隐向量，通过第一公式计算得到所述混合文本向量，其中，第一公式为：
hmix＝lambda*h+(1-lambda)*h’
其中，hmix表示混合文本向量，lambda表示设定参数，可以是根据beta分布随机采样出一个数值，通常为小于1的数值，h表示第一隐向量，h’表示第二隐向量。
步骤S7，根据所述文本的分类标签和所述采样文本的分类标签，通过第二公式，确定所述混合标签向量，其中，第二公式为：
lmix＝lambda*l+(1-lambda)*l’
其中，lmix表示混合标签向量,lambda表示设定参数，可以是根据beta分布随机采样出一个数值，通常为小于1的数值，l表示文本的分类标签，l’表示采样文本的分类标签。
步骤S8，对于每个文本，对所述混合文本向量和所述混合标签向量进行交叉熵计算，得到所述文本对应的损失值，根据训练集合中的各个所述文本的损失值，确定初始模型对应的第二分类损失值loss2。
步骤S9，对于每个文本，根据所述文本对初始模型Minit进行训练，得到所述文本对应的分类结果，该分类结果可以是一个二分类结果，也可以是属于不同类别的概率值。
步骤S10，根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值loss1；
步骤S11，若每个所述文本均属于所述训练样本，将所述第一分类损失值loss1和第二分类损失值loss2求和，得到初始模型的总损失值，若每个文本均不属于所述训练样本，则直接将第一分类损失值loss1确定为所述总损失值。
步骤S12，若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
步骤S13，还可基于测试集Dtest对训练得到的模型进行测试。
基于与图1中所示的方法相同的原理，本发明实施例还提供了一种给定关键词的文本分类装置20，如图2中所示，该给定关键词的文本分类装置20可以包括文本获取模块210和文本分类模块220，其中：
文本获取模块210，用于获取包含给定关键词的待分类文本；
文本分类模块220，用于将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下模型训练模块训练得到的，模型训练模块，用于：
获取包含给定关键词的待分类文本；
将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
获取包含多个给定关键词的关键词集合和包含多个文本的训练集合，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；
对于所述训练集合中的每个文本，根据所述文本对初始模型进行训练，得到所述文本对应的分类结果；
根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值；
将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，对于所述训练集合中的每个文本，根据所述文本的分类标签，确定所述文本是否属于所述训练样本；
若所述文本属于所述训练样本，则从所述训练样本中选取一个文本作为所述文本对应的采样文本，并根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，所述采样文本的分类标签与所述文本的分类标签均属于相同的分类结果；
根据所述第一分类损失值和所述训练集合中属于所述训练样本的每个所述文本对应的损失值，确定所述初始模型的总损失值；
若所述训练集合中的每个文本均不属于所述训练样本，将所述第一分类损失值作为所述总损失值；
若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
可选的，该装置还包括：
训练样本划分模块，用于将所述训练样本划分为白样本和黑样本，所述白样本中的每个文本对应的分类结果不属于设定分类结果，所述黑样本中的每个文本对应的分类结果属于所述设定分类结果；
对于所述训练集合中的每个文本，上述模型训练模块在从所述训练样本中选取一个文本作为所述文本对应的采样文本时，具体用于：
根据所述文本的分类标签，确定所述文本是否属于所述白样本；
若所述文本属于所述白样本，则从所述白样本中选取一个文本作为所述文本对应的采样文本；
若所述文本属于所述黑样本，则从所述黑样本中选取一个文本作为所述文本对应的采样文本。
可选的，对于所述训练集合中的每个文本，上述模型训练模块在根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值时，具体用于：
根据所述文本和所述文本对应的采样本文，确定混合文本向量；
根据所述文本的分类标签和所述采样文本的分类标签，确定混合标签向量；
对所述混合文本向量和所述混合标签向量进行交叉熵计算，得到所述文本对应的损失值。
可选的，上述模型训练模块在根据所述文本和所述文本对应的采样本文，确定混合文本向量时，具体用于：
将所述文本转换为第一词向量，根据所述第一词向量，通过所述初始模型，确定所述文本的第一隐向量；
将所述采样文本转换为第二词向量，根据所述第二词向量，通过所述初始模型，确定所述采样文本的第二隐向量；
根据所述第一隐向量和所述第二隐向量，确定所述混合文本向量。
可选的，上述初始模型为Minit。
本发明实施例的给定关键词的文本分类装置可执行本发明实施例所提供的给定关键词的文本分类方法，其实现原理相类似，本发明各实施例中的给定关键词的文本分类装置中的各模块、单元所执行的动作是与本发明各实施例中的给定关键词的文本分类方法中的步骤相对应的，对于给定关键词的文本分类装置的各模块的详细功能描述具体可以参见前文中所示的对应的给定关键词的文本分类方法中的描述，此处不再赘述。
其中，上述给定关键词的文本分类装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该给定关键词的文本分类装置为一个应用软件；该装置可以用于执行本发明实施例提供的方法中的相应步骤。
在一些实施例中，本发明实施例提供的给定关键词的文本分类装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的给定关键词的文本分类装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的给定关键词的文本分类方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
在另一些实施例中，本发明实施例提供的给定关键词的文本分类装置可以采用软件方式实现，图2示出了存储在存储器中的给定关键词的文本分类装置，其可以是程序和插件等形式的软件，并包括一系列的模块，包括文本获取模块210和文本分类模块220，用于实现本发明实施例提供的给定关键词的文本分类方法。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。
基于与本发明的实施例中所示的方法相同的原理，本发明的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本发明任一实施例所示的方法。
在一个可选实施例中提供了一种电子设备，如图3所示，图3所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本发明实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本发明方案的应用程序代码(计算机程序)，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备也可以是终端设备，图3示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
根据本发明的另一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种实施例实现方式中提供的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解的是，附图中的流程图和框图，图示了按照本发明各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例提供的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种给定关键词的文本分类方法，其特征在于，包括以下步骤：
获取包含给定关键词的待分类文本；
将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
获取包含多个给定关键词的关键词集合和包含多个文本的训练集合，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；
对于所述训练集合中的每个文本，根据所述文本对初始模型进行训练，得到所述文本对应的分类结果；
根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值；
将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，对于所述训练集合中的每个文本，根据所述文本的分类标签，确定所述文本是否属于所述训练样本；
若所述文本属于所述训练样本，则从所述训练样本中选取一个文本作为所述文本对应的采样文本，并根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，所述采样文本的分类标签与所述文本的分类标签均属于相同的分类结果；
根据所述第一分类损失值和所述训练集合中属于所述训练样本的每个所述文本对应的损失值，确定所述初始模型的总损失值；
若所述训练集合中的每个文本均不属于所述训练样本，将所述第一分类损失值作为所述总损失值；
若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述训练样本划分为白样本和黑样本，所述白样本中的每个文本对应的分类结果不属于设定分类结果，所述黑样本中的每个文本对应的分类结果属于所述设定分类结果；
对于所述训练集合中的每个文本，所述从所述训练样本中选取一个文本作为所述文本对应的采样文本，包括：
根据所述文本的分类标签，确定所述文本是否属于所述白样本；
若所述文本属于所述白样本，则从所述白样本中选取一个文本作为所述文本对应的采样文本；
若所述文本属于所述黑样本，则从所述黑样本中选取一个文本作为所述文本对应的采样文本。
3.根据权利要求1所述的方法，其特征在于，对于所述训练集合中的每个文本，所述根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，包括：
根据所述文本和所述文本对应的采样本文，确定混合文本向量；
根据所述文本的分类标签和所述采样文本的分类标签，确定混合标签向量；
对所述混合文本向量和所述混合标签向量进行交叉熵计算，得到所述文本对应的损失值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述文本和所述文本对应的采样本文，确定混合文本向量，包括：
将所述文本转换为第一词向量，根据所述第一词向量，通过所述初始模型，确定所述文本的第一隐向量；
将所述采样文本转换为第二词向量，根据所述第二词向量，通过所述初始模型，确定所述采样文本的第二隐向量；
根据所述第一隐向量和所述第二隐向量，确定所述混合文本向量。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述初始模型为Minit。
6.一种给定关键词的文本分类装置，其特征在于，包括：
文本获取模块，用于获取包含给定关键词的待分类文本；
文本分类模块，用于将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
获取包含给定关键词的待分类文本；
将所述待分类文本输入至预训练的文本分类模型，得到所述待分类文本的分类结果，其中，所述文本分类模型是通过以下方式训练得到的：
获取包含多个给定关键词的关键词集合和包含多个文本的训练集合，对于所述训练集合中的每个文本，每个所述文本对应一个分类标签；
对于所述训练集合中的每个文本，根据所述文本对初始模型进行训练，得到所述文本对应的分类结果；
根据所述训练集合中每个所述文本的分类结果和分类标签，确定第一分类损失值；
将所述训练集合中包含所述关键词集合中的给定关键词的文本作为训练样本，对于所述训练集合中的每个文本，根据所述文本的分类标签，确定所述文本是否属于所述训练样本；
若所述文本属于所述训练样本，则从所述训练样本中选取一个文本作为所述文本对应的采样文本，并根据所述文本、所述文本的分类标签、所述文本对应的采样文本和所述采样文本的分类标签，确定所述文本对应的损失值，所述采样文本的分类标签与所述文本的分类标签均属于相同的分类结果；
根据所述第一分类损失值和所述训练集合中属于所述训练样本的每个所述文本对应的损失值，确定所述初始模型的总损失值；
若所述训练集合中的每个文本均不属于所述训练样本，将所述第一分类损失值作为所述总损失值；
若所述总损失值满足预设的训练结束条件，则将满足所述训练结束条件的初始模型作为所述文本分类模型，若所述总损失值不满足所述训练结束条件，则调整所述初始模型的模型参数，并根据调整后的模型参数重新训练所述初始模型，直到所述总损失值满足所述训练结束条件。
7.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法。
CN202310176797.XA 2023-02-28 2023-02-28 一种给定关键词的文本分类方法、装置、电子设备及介质 Active CN116226382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310176797.XA CN116226382B (zh) 2023-02-28 2023-02-28 一种给定关键词的文本分类方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310176797.XA CN116226382B (zh) 2023-02-28 2023-02-28 一种给定关键词的文本分类方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN116226382A true CN116226382A (zh) 2023-06-06
CN116226382B CN116226382B (zh) 2023-08-01

Family

ID=86578260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310176797.XA Active CN116226382B (zh) 2023-02-28 2023-02-28 一种给定关键词的文本分类方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116226382B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019792A (zh) * 2017-10-30 2019-07-16 阿里巴巴集团控股有限公司 文本分类方法及装置和分类器模型训练方法
CN110287311A (zh) * 2019-05-10 2019-09-27 平安科技（深圳）有限公司 文本分类方法及装置、存储介质、计算机设备
CN110796160A (zh) * 2019-09-16 2020-02-14 腾讯科技（深圳）有限公司 一种文本分类方法、装置和存储介质
CN111831826A (zh) * 2020-07-24 2020-10-27 腾讯科技（深圳）有限公司 跨领域的文本分类模型的训练方法、分类方法以及装置
CN112417158A (zh) * 2020-12-15 2021-02-26 中国联合网络通信集团有限公司 文本数据分类模型的训练方法、分类方法、装置和设备
CN112948580A (zh) * 2021-02-04 2021-06-11 支付宝(杭州)信息技术有限公司 一种文本分类的方法和***
CN113064964A (zh) * 2021-03-22 2021-07-02 广东博智林机器人有限公司 文本分类方法、模型训练方法、装置、设备以及存储介质
CN113918714A (zh) * 2021-09-29 2022-01-11 北京百度网讯科技有限公司 一种分类模型训练方法、聚类方法及电子设备
WO2022062404A1 (zh) * 2020-09-28 2022-03-31 平安科技（深圳）有限公司 文本分类模型的训练方法、装置、设备及存储介质
CN114691864A (zh) * 2020-12-31 2022-07-01 北京金山数字娱乐科技有限公司 文本分类模型训练方法及装置、文本分类方法及装置
CN115587163A (zh) * 2022-09-30 2023-01-10 竹间智能科技（上海）有限公司 一种文本分类方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019792A (zh) * 2017-10-30 2019-07-16 阿里巴巴集团控股有限公司 文本分类方法及装置和分类器模型训练方法
CN110287311A (zh) * 2019-05-10 2019-09-27 平安科技（深圳）有限公司 文本分类方法及装置、存储介质、计算机设备
CN110796160A (zh) * 2019-09-16 2020-02-14 腾讯科技（深圳）有限公司 一种文本分类方法、装置和存储介质
CN111831826A (zh) * 2020-07-24 2020-10-27 腾讯科技（深圳）有限公司 跨领域的文本分类模型的训练方法、分类方法以及装置
WO2022062404A1 (zh) * 2020-09-28 2022-03-31 平安科技（深圳）有限公司 文本分类模型的训练方法、装置、设备及存储介质
CN112417158A (zh) * 2020-12-15 2021-02-26 中国联合网络通信集团有限公司 文本数据分类模型的训练方法、分类方法、装置和设备
CN114691864A (zh) * 2020-12-31 2022-07-01 北京金山数字娱乐科技有限公司 文本分类模型训练方法及装置、文本分类方法及装置
CN112948580A (zh) * 2021-02-04 2021-06-11 支付宝(杭州)信息技术有限公司 一种文本分类的方法和***
CN113064964A (zh) * 2021-03-22 2021-07-02 广东博智林机器人有限公司 文本分类方法、模型训练方法、装置、设备以及存储介质
CN113918714A (zh) * 2021-09-29 2022-01-11 北京百度网讯科技有限公司 一种分类模型训练方法、聚类方法及电子设备
CN115587163A (zh) * 2022-09-30 2023-01-10 竹间智能科技（上海）有限公司 一种文本分类方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116226382B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN112164391B (zh) 语句处理方法、装置、电子设备及存储介质
US20200097820A1 (en) Method and apparatus for classifying class, to which sentence belongs, using deep neural network
CN111695352A (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
JP2023535709A (ja) 言語表現モデルシステム、事前訓練方法、装置、機器及び媒体
CN111831826B (zh) 跨领域的文本分类模型的训练方法、分类方法以及装置
EP3620994A1 (en) Methods, apparatuses, devices, and computer-readable storage media for determining category of entity
CN114972823A (zh) 数据处理方法、装置、设备及计算机介质
CN110377733B (zh) 一种基于文本的情绪识别方法、终端设备及介质
US20200175332A1 (en) Out-of-sample generating few-shot classification networks
CN111858898A (zh) 基于人工智能的文本处理方法、装置及电子设备
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN111428448A (zh) 文本生成方法、装置、计算机设备及可读存储介质
CN111915086A (zh) 异常用户预测方法和设备
CN114492661B (zh) 文本数据分类方法和装置、计算机设备、存储介质
CN115840808A (zh) 科技项目咨询方法、装置、服务器及计算机可读存储介质
CN111159354A (zh) 一种敏感资讯检测方法、装置、设备及***
CN112667803A (zh) 一种文本情感分类方法及装置
CN117349402A (zh) 一种基于机器阅读理解的情绪原因对识别方法及***
CN117235605A (zh) 一种基于多模态注意力融合的敏感信息分类方法及装置
CN117131272A (zh) 人工智能内容生成方法、模型及***
CN116226382B (zh) 一种给定关键词的文本分类方法、装置、电子设备及介质
CN112102062A (zh) 一种基于弱监督学习的风险评估方法、装置及电子设备
CN110879832A (zh) 目标文本检测方法、模型训练方法、装置及设备
CN115964458B (zh) 文本的量子线路确定方法、装置、存储介质及电子设备
CN116089584A (zh) 事件抽取的方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant