CN111125362A - 一种异常文本确定方法、装置、电子设备和介质 - Google Patents

一种异常文本确定方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN111125362A
CN111125362A CN201911341128.3A CN201911341128A CN111125362A CN 111125362 A CN111125362 A CN 111125362A CN 201911341128 A CN201911341128 A CN 201911341128A CN 111125362 A CN111125362 A CN 111125362A
Authority
CN
China
Prior art keywords
text
abnormal
cluster
current
abnormal text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911341128.3A
Other languages
English (en)
Other versions
CN111125362B (zh
Inventor
刘庚
白敬亭
张伟军
彭云鹏
杨经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu International Technology Shenzhen Co ltd
Original Assignee
Baidu International Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu International Technology Shenzhen Co ltd filed Critical Baidu International Technology Shenzhen Co ltd
Priority to CN201911341128.3A priority Critical patent/CN111125362B/zh
Publication of CN111125362A publication Critical patent/CN111125362A/zh
Application granted granted Critical
Publication of CN111125362B publication Critical patent/CN111125362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种异常文本确定方法、装置、电子设备和介质，涉及人工智能技术领域。具体实现方案为：根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征；根据所述文本簇中所有文本与所述本次簇中心特征之间的距离，从所述所有文本中选择本次异常文本；根据所述本次异常文本，确定所述文本簇中的目标异常文本。通过本申请实施例的技术方案，能够自动滤除文本簇中异常文本，使得分类更为准确，进而提升了用户体验。

Description

一种异常文本确定方法、装置、电子设备和介质
技术领域
本申请涉及计算机技术，具体涉及人工智能技术，尤其涉及一种异常文本确定方法、装置、电子设备和介质。
背景技术
随着大数据时代的不断发展，舆情信息的获取量越来越大，将数以万计的信息进行准确分类成为了至关重要的一项，经过文档分类，用户可以快速的找到想要了解的信息，如在舆情方向，用户可以自定义自己需要了解的方向，进而可以只将用户需要的文档推送给用户。而当前由于数据采集过程中会出现很多的垃圾信息如广告，所以导致了很多垃圾文档被误分到了各个类别中，这也直接影响了用户的使用体验。
发明内容
本申请实施例提供一种异常文本确定方法、装置、电子设备和介质，能够自动滤除文本簇中异常文本，使得分类更为准确，进而提升了用户体验。
第一方面，本申请实施例公开了一种异常文本确定方法，该方法包括：
根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征；
根据所述文本簇中所有文本与所述本次簇中心特征之间的距离，从所述所有文本中选择本次异常文本；
根据所述本次异常文本，确定所述文本簇中的目标异常文本。
上述申请中的一个实施例具有如下优点或有益效果：通过采用循环迭代方式，根据文本簇中除上次异常文本之外的其他文本确定本次簇中心特征，之后可以计算文本簇中每一文本与本次簇中心特征之间的距离，并根据文本簇中每一文本与本次簇中心特征之间的距离从所有文本中选择本次异常文本，进而根据本次异常文本可以确定文本簇中的目标异常文本即不相关文本，解决了目前推荐给用户的文本簇中存在异常文本导致用户体验差的问题，实现了自动滤除文本簇中异常文本的功能，使得分类更为准确，进而提升了用户体验。
可选的，根据所述本次异常文本，确定所述文本簇中的目标异常文本可以包括：
若根据所述本次异常文本，以及文本簇中除所述本次异常文本之外的其他文本，检测到迭代停止事件，则将所述本次异常文本作为所述文本簇中的目标异常文本；或者，
比较所述本次异常文本和所述上次异常文本，并根据比较结果确定所述文本簇中的目标异常文本。
上述可选方式具有如下优点或有益效果：通过引入与本次异常文本以及文本簇中除本次异常文本之外的其他文本相关的迭代停止事件，在能够精准确定文本簇中的目标异常文本的情况下，加快了处理速度；此外，还可以采用将本次异常文本与上次异常文件进行比较的方式，确定文本簇中的目标异常文本，增加了选择目标异常文本即不相关文本的灵活度。
可选的，上述方法还包括：
将与所述本次簇中心特征之间距离最近的本次异常文本，作为第一本次异常文本；
将与所述第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本；
若所述文本簇中除所述本次异常文本之外的所有其他文本，与所述第一本次异常文本之间距离，均大于所述第一本次异常文本与所述第二本次异常文本之间距离，则生成所述迭代停止事件。
上述可选方式具有如下优点或有益效果：提供了一种与本次异常文本以及文本簇中除本次异常文本之外的其他文本相关的迭代停止事件生成方式，进一步增加了方案的灵活度。
可选的，将与所述第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本之后，还包括：
若所述文本簇中除所述本次异常文本之外的每一其他文本，与所述第一本次异常文本之间距离，小于或等于所述第一本次异常文本与所述第二本次异常文本之间距离，则将该其他文本添加到所述本次异常文本中，并触发下次异常文本确定操作。
上述可选方式具有如下优点或有益效果：提供了一种确定下次异常文本确定操作即下次迭代操作的触发条件，进一步增加了方案的灵活度。
可选的，上述方法还包括：
依据设定聚类类别以及所述聚类类别的关键字，对爬取的文本集进行聚类，得到文本簇。
可选的，依据设定聚类类别以及所述聚类类别的关键字，对爬取的文本集进行聚类之前，还包括：
依据设定标题长度、正则表达式以及特定标识符中的至少一个，对所述文本集进行过滤。
上述可选方式具有如下优点或有益效果：通过对文本集进行过滤，使得分类更为精准，为后续快速确定每一文本簇中的目标异常文本即不相关文本奠定了基础。
第二方面，本申请实施例公开了一种异常文本确定装置，该装置包括：
本次中心特征确定模块，用于根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征；
本次异常文本确定模块，用于根据所述文本簇中所有文本与所述本次簇中心特征之间的距离，从所述所有文本中选择本次异常文本；
目标异常文本确定模块，用于根据所述本次异常文本，确定所述文本簇中的目标异常文本。
第三方面，本申请实施例还公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请任一实施例所述的异常文本确定方法。
第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本申请任一实施例所述的异常文本确定方法。
上述申请中的一个实施例具有如下优点或有益效果：通过采用循环迭代方式，根据文本簇中除上次异常文本之外的其他文本确定本次簇中心特征，之后可以计算文本簇中每一文本与本次簇中心特征之间的距离，并根据文本簇中每一文本与本次簇中心特征之间的距离从所有文本中选择本次异常文本，进而根据本次异常文本可以确定文本簇中的目标异常文本即不相关文本，解决了目前推荐给用户的文本簇中存在异常文本导致用户体验差的问题，实现了自动滤除文本簇中异常文本的功能，使得分类更为准确，进而提升了用户体验。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例提供的一种异常文本确定方法的流程图；
图2是根据本申请第二实施例提供的一种异常文本确定方法的流程图；
图3是根据本申请第三实施例提供的一种异常文本确定方法的流程图；
图4是根据本申请第四实施例提供的一种异常文本确定装置的结构示意图；
图5是用来实现本申请实施例的异常文本确定方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是根据本申请第一实施例提供的一种异常文本确定方法的流程图，本实施例可适用于如何从文本簇中精准的识别出异常文本即不相关文本如广告的情况。该方法可以由异常文本确定装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载异常文本确定功能的计算设备上。如图1所示，本实施例提供的异常文本确定方法可以包括：
S110、根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征。
本实施例中，文本簇为属于同一类别的多个文本的集合，可以通过对从互联网中爬取的文本集进行分类得到。例如，可以采用K-Means等非监督类聚类算法，对从互联网中爬取的文本集进行聚类得到多个文本簇；还可以依据设定聚类类别以及聚类类别的关键字，对爬取的文本集进行聚类，得到文本簇。其中，设定聚类类别即为预先设定的将文本集分为哪几簇即哪几类，例如设定聚类类别可以包括新品发布簇以及投资簇等；聚类类别的关键字即为将文本归属于类别的条件或规则，每一聚类类别的关键字可不同，例如可以将文本集中所有文本的标题中出现上线、新品、发布、推出、亮相、首发、新功能以及改版等关键字中的至少一个的文本归属于“新品发布簇”中。需要说明的是，由于K-Means等非监督类聚类算法无法准确对每个类别进行定义，需要借助人工进行判定，因此本申请优先采用根据设定聚类类别以及聚类类别的关键字的方式对文本集进行聚类。
可选的，在对爬取的文本集进行聚类得到多个文本簇之后，对于每一文本簇可以采用S110至S130的过程确定该文本簇的目标异常文本。
其中，异常文本即文本簇中的垃圾文本，可以包括广告、以及与黄反等相关的文本；上次异常文本是指上次迭代即上次异常文本确定操作从文本簇中选择的异常文本。本次簇中心特征用于表征文本簇中除上次异常文本之外的其他文本的共有特征，可以用向量表示。可选的，本次簇中心特征可以根据文本簇中除上次异常文本之外的其他文本确定，例如，可以将文本簇中除上次异常文本之外的其他文本的文本向量的均值作为本次簇中心特征。进一步的，若本次异常文本确定操作为首次异常文本确定操作，则上次异常文本为空，本次簇中心特征可以用于表征文本簇中所有文本的共有特征，即可以将文本簇中所有文本的文本向量的均值作为本次簇中心特征。
本实施例，文本簇中每一文本的文本向量可以采用TF-IDF(TermFrequency–Inverse Document Frequency，词频-逆文本频率指数)、预训练好的词向量或者知识增强语义表示模型(Enhanced Language Representation from knowledge IntEgration，ERNIE)等对该文本的标题进行向量化得到。由于ERNIE模型不仅可规避向量化后矩阵过于稀疏的问题，同时还可对语序和多义词进行处理等，因此本实施例优选采用ERNIE模型对文本的标题进行向量化，以得到文本的文本向量。
可选的，在ERNIE模型具有多个输出层的情况下，可以先将每一文本的标题转化为多维矩阵，之后从该多维矩阵中选择一列作为该文本的文本向量。例如，对于768*12的多维矩阵，可以将每一列的数据进行可视化处理，进而依据可视化处理结果，选择某一列作为该文本的文本向量。进一步的，为了提高ERNIE模型向量化的运行速度，在采用ERNIE模型，将每一文本的标题转化为文本向量之前还可以：对文本的标题进行处理，如对长度超过64的文本进行删除标点符号和停用词的处理。
S120、根据文本簇中所有文本与本次簇中心特征之间的距离，从所有文本中选择本次异常文本。
本实施例中，每一文本与本次簇中心特征之间的距离可以用该文本的文本向量与本次簇中心特征之间的余弦相似度来表征。可选的，距离与余弦相似度成反比，即余弦相似度越大，距离越近，余弦相似度越小，距离越远。
具体的，在确定本次簇中心特征之后，可以计算文本簇中每一文本的文本向量与本次簇中心特征之间的余弦相似度，之后可以根据余弦相似度，从该文本簇的所有文本中选择本次异常文本。例如，可以对余弦相似度进行升序排列，并将前固定数值个如前10个作为本次异常文本。可选的，每次异常文本即每次异常文本确定操作从文本簇中选择的异常文本的数量可以相同，也可以不同。
S130、根据本次异常文本，确定文本簇中的目标异常文本。
本实施例中，目标异常文本是指最终确定的文本簇的异常文本。
具体的，在得到本次异常文本之后，可以结合预先设定的迭代停止条件，根据本次异常文本，确定文本簇中的目标异常文本。其中，迭代停止条件可以是一种用于产生迭代停止事件的触发机制，可以包括如下至少一种：1)本次异常文本和上次异常文本完全一致；2)本次异常文本和上次异常文本的相同数量大于本次异常文本数量或上次异常文本数量的一半；3)执行完本次异常文本确定操作之后，异常文本确定次数即迭代次数达到设定次数阈值如5次；4)文本簇中除本次异常文本之外的其他文本均不满足并入本次异常文本中的条件等。
可选的，根据本次异常文本，确定文本簇中的目标异常文本可以是：比较本次异常文本和上次异常文本，并根据比较结果确定文本簇中的目标异常文本。例如，可以将本次异常文本和上次异常文本进行一致性比较，并依据比较结果确定是否检测到迭代停止事件；若本次异常文本和上次异常文本完全一致，或者相同数量大于本次异常文本数量或上次异常文本数量的一半(例如，若本次异常文本和上次异常文本数量相同均为10个，且本次异常文本中有6个与上次异常文本相同，则相同数量为6大于5)等，则确定检测到迭代停止事件，此时可以将本次异常文本作为文本簇中的目标异常文本，或者将本次异常文本和上次异常文本一并作为文本簇中的目标异常文本。其中，本次异常文本和上次异常文本中相同异常文本只算一个。
可选的，根据本次异常文本，确定文本簇中的目标异常文本还可以是：若根据本次异常文本，以及文本簇中除本次异常文本之外的其他文本，检测到迭代停止事件，则将本次异常文本作为文本簇中的目标异常文本。具体的，在得到本次异常文本之后，若通过统计分析确定文本簇中除本次异常文本之外的其他文本均不满足并入本次异常文本中的条件，则确定检测到迭代停止事件，此时可以直接将本次异常文本作为文本簇中的目标异常文本。本实施例，通过引入与本次异常文本以及文本簇中除本次异常文本之外的其他文本相关的迭代停止事件，在能够精准确定文本簇中的目标异常文本的情况下，加快了处理速度。
可选的，在确定文本簇中的目标异常文本之后，可以将目标异常文本从该文本簇中删除，并将不包括目标异常文本的文本簇推荐给用户，以便用户进行浏览。
需要说明的是，本实施例每次簇中心特征的计算均不包括上次迭代出的异常文本即上次异常文本，使得中心特征的计算更为精准；同时，每次迭代均计算文本簇中所有文本与本次簇中心特征之间的距离，降低了将非异常文本确定为异常文本的概率，使得分类更为准确。
本申请实施例提供的技术方案，通过采用循环迭代方式，根据文本簇中除上次异常文本之外的其他文本确定本次簇中心特征，之后可以计算文本簇中每一文本与本次簇中心特征之间的距离，并根据文本簇中每一文本与本次簇中心特征之间的距离从所有文本中选择本次异常文本，进而根据本次异常文本可以确定文本簇中的目标异常文本即不相关文本，解决了目前推荐给用户的文本簇中存在异常文本导致用户体验差的问题，实现了自动滤除文本簇中异常文本的功能，使得分类更为准确，进而提升了用户体验。
实施例二
图2是根据本申请第二实施例提供的一种异常文本确定方法的流程图，本实施例在上述实施例的基础上，进一步对根据本次异常文本，确定文本簇中的目标异常文本进行解释说明。如图2所示，本实施例提供的异常文本确定方法可以包括：
S210、根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征。
S220、根据文本簇中所有文本与本次簇中心特征之间的距离，从所有文本中选择本次异常文本。
S230、比较本次异常文本和上次异常文本；若一致，则执行S240；若不一致，则执行S250。
S240、将本次异常文本作为文本簇中的目标异常文本。
S250、判断异常文本确定次数是否达到设定次数阈值；若达到，则执行S260；若否，则返回执行S210。
S260、将上次异常文本和本次异常文本作为文本簇中的目标异常文本。
为了能够快速确定每一文本簇中的目标异常文本，示例性的，从互联网爬取文本集之后，可以根据实际场景，对爬取的文本集进行过滤，例如，可以依据设定标题长度、正则表达式以及特定标识符中的至少一个，对文本集进行过滤。例如，可以利用正则表达式将文本集中包括广告的文本进行过滤，还可以将标题中包括一个或多个特定标识符如空格的文本进行过滤。此外，为了加快后续处理速度，还可以将文本集中标题长度超过设定标题长度的文本进行过滤。
具体的，在从互联网爬取文本集之后，可以依据设定标题长度、正则表达式以及特定标识符中的至少一个，对从互联网爬取的文本集进行过滤，并可以采用ERNIE模型对过滤后的每一文本的标题进行向量化，以得到每一文本的文本向量；之后，可以根据设定聚类类别以及聚类类别的关键字的方式对文本集进行聚类，得到多个文本簇。针对每一文本簇，可以采用S210至S260的过程确定该文本簇的目标异常文本。
例如，每次异常文本确定操作从文本簇中选择的异常文本的数量相同，某一文本簇中包括100个文本，上次异常文本确定操作为首次异常文本确定操作，且上次异常文本的数量为10；则可以将文本簇中除上次异常文本之外的其他文本的文本向量的均值作为本次簇中心特征，即将100个文件中除上次异常文本之外的其他90个文本的文本向量的均值作为本次簇中心特征；之后可以计算100个文本中每一文本的文本向量与本次簇中心特征之间的余弦相似度，对余弦相似度进行升序排列，并将前10个作为本次异常文本；将本次异常文本和上次异常文本进行一致性比较，若上次异常文本和本次异常文本一致，则将本次异常文本或上次异常文本作为该文本簇中的目标异常文本；若本次异常文本和上次异常文本不一致，且异常文本确定次数即迭代次数达到设定次数阈值，则可以将上次异常文本和本次异常文本一并作为文本簇中的目标异常文本。可选的，若本次异常文本和上次异常文本不一致，且异常文本确定次数即迭代次数未达到设定次数阈值，则可以返回执行S210，直至确定该文本簇中的目标异常文本。
本申请实施例提供的技术方案，通过采用将本次异常文本与上次异常文件进行比较的方式，确定文本簇中的目标异常文本，增加了选择目标异常文本即不相关文本的灵活度。
实施例三
图3是根据本申请第三实施例提供的一种异常文本确定方法的流程图，本实施例在上述实施例的基础上，进一步对根据本次异常文本，确定文本簇中的目标异常文本进行解释说明。如图3所示，本实施例提供的异常文本确定方法可以包括：
S310、根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征。
S320、根据文本簇中所有文本与本次簇中心特征之间的距离，从所有文本中选择本次异常文本。
S330、将与本次簇中心特征之间距离最近的本次异常文本，作为第一本次异常文本。
例如，文本簇中包括100个文本，在确定本次簇中心特征之后，可以计算文本簇中每一文本的文本向量与本次簇中心特征之间的余弦相似度，对余弦相似度进行升序排列，并将前固定数值个如前10个作为本次异常文本；之后可以根据每一本次异常文本的文本向量与本次簇中心特征之间的余弦相似度，将与本次簇中心特征之间余弦相似度最大的本次异常文本，即与本次簇中心特征之间距离最近的本次异常文本，作为本次第一异常文本。
S340、将与第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本。
具体的，可以计算其他每一本次异常文本与第一本次异常文本之间的余弦相似度，之后可以将与第一本次异常文本之间余弦相似度最大的其他本次异常文本，即第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本。可选的，第二本次异常文本的数量可以为一个或多个。例如，若与第一本次异常文本之间距离最近的其他本次异常文本存在并列相同情况，此时可以将多个其他本次异常文本作为第二本次异常文本。
S350、若文本簇中除本次异常文本之外的所有其他文本，与第一本次异常文本之间距离，均大于第一本次异常文本与第二本次异常文本之间距离，则生成迭代停止事件。
具体的，计算第一本次异常文本与第二本次异常文本之间的余弦相似度；同时计算文本簇中除本次异常文本之外的每一其他文本，与第一本次异常文本之间的余弦相似度；之后，比较文本簇中除本次异常文本之外的每一其他文本与第一本次异常文本之间的余弦相似度，和第一本次异常文本与第二本次异常文本之间的余弦相似度；若文本簇中除本次异常文本之外的所有其他文本，与第一本次异常文本之间余弦相似度，均大于第一本次异常文本与第二本次异常文本之间余弦相似度，则生成迭代停止事件，之后执行S360确定文本簇中的目标异常文本。
此外，针对文本簇中除本次异常文本之外的每一其他文本与第一本次异常文本之间余弦相似度，若该余弦相似度小于或等于第一本次异常文本与第二本次异常文本之间余弦相似度，则将该其他文本添加到本次异常文本中，并返回执行下次异常文本确定操作。即若文本簇中除本次异常文本之外的每一其他文本，与第一本次异常文本之间距离，小于或等于第一本次异常文本与第二本次异常文本之间距离，则将该其他文本添加到本次异常文本中，并触发下次异常文本确定操作。
为了进一步加快处理速度，将该其他文本添加到本次异常文本中之后，可以将本次异常文本与上次异常文本进行一致性比较，进而根据比较结果确定是否触发下次异常文本确定操作。例如，若上次异常文本和本次异常文本一致，则无需执行下次异常文本确定操作，可以直接将本次异常文本作为文本簇中的目标异常文本。
S360、若根据本次异常文本，以及文本簇中除本次异常文本之外的其他文本，检测到迭代停止事件，则将本次异常文本作为文本簇中的目标异常文本。
本申请实施例提供的技术方案，通过引入与本次异常文本以及文本簇中除本次异常文本之外的其他文本相关的迭代停止事件，在能够精准确定文本簇中的目标异常文本的情况下，加快了处理速度。
第四实施例
图4是本申请第四实施例提供的一种异常文本确定装置的结构示意图，该装置可配置于承载异常文本确定功能的计算设备中，该装置可执行本申请任意实施例所提供的异常文本确定方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置可以包括：
本次中心特征确定模块410，用于根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征；
本次异常文本确定模块420，用于根据文本簇中所有文本与本次簇中心特征之间的距离，从所有文本中选择本次异常文本；
目标异常文本确定模块430，用于根据本次异常文本，确定文本簇中的目标异常文本。
本申请实施例提供的技术方案，通过采用循环迭代方式，根据文本簇中除上次异常文本之外的其他文本确定本次簇中心特征，之后可以计算文本簇中每一文本与本次簇中心特征之间的距离，并根据文本簇中每一文本与本次簇中心特征之间的距离从所有文本中选择本次异常文本，进而根据本次异常文本可以确定文本簇中的目标异常文本即不相关文本，解决了目前推荐给用户的文本簇中存在异常文本导致用户体验差的问题，实现了自动滤除文本簇中异常文本的功能，使得分类更为准确，进而提升了用户体验。
示例性的，目标异常文本确定模块430具体可以用于：
若根据本次异常文本，以及文本簇中除本次异常文本之外的其他文本，检测到迭代停止事件，则将本次异常文本作为文本簇中的目标异常文本；或者，
比较本次异常文本和上次异常文本，并根据比较结果确定文本簇中的目标异常文本。
示例性的，上述装置还可以包括：迭代停止事件生成模块，该模块具体可以用于：
将与本次簇中心特征之间距离最近的本次异常文本，作为第一本次异常文本；
将与第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本；
若文本簇中除本次异常文本之外的所有其他文本，与第一本次异常文本之间距离，均大于第一本次异常文本与第二本次异常文本之间距离，则生成迭代停止事件。
示例性的，上述装置还可以包括：
文本添加触发模块，用于将与第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本之后，若文本簇中除本次异常文本之外的每一其他文本，与第一本次异常文本之间距离，小于或等于第一本次异常文本与第二本次异常文本之间距离，则将该其他文本添加到本次异常文本中，并触发下次异常文本确定操作。
示例性的，目标异常文本确定模块430在用于根据比较结果确定文本簇中的目标异常文本时，具体可以用于：
若上次异常文本和本次异常文本一致，则将本次异常文本作为文本簇中的目标异常文本；
若上次异常文本和本次异常文本不一致，且异常文本确定次数达到设定次数阈值，则将上次异常文本和本次异常文本作为文本簇中的目标异常文本。
示例性的，上述装置还可以包括：
文本簇确定模块，用于依据设定聚类类别以及聚类类别的关键字，对爬取的文本集进行聚类，得到文本簇。
示例性的，上述装置还可以包括：
过滤模块，用于依据设定聚类类别以及聚类类别的关键字，对爬取的文本集进行聚类之前，依据设定标题长度、正则表达式以及特定标识符中的至少一个，对文本集进行过滤。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的异常文本确定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作，例如，作为服务器阵列、一组刀片式服务器、或者多处理器***。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的异常文本确定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的异常文本确定方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的异常文本确定方法对应的程序指令/模块，例如，附图4所示的本次中心特征确定模块410、本次异常文本确定模块420和目标异常文本确定模块430。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的异常文本确定方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据用来实现异常文本确定方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至用来实现异常文本确定方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用来实现异常文本确定方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与用来实现异常文本确定方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置和触觉反馈装置等，其中，辅助照明装置例如发光二极管(Light Emitting Diode，LED)，触觉反馈装置例如振动电机等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、LED显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序也称作程序、软件、软件应用、或者代码，包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置，例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Device，PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置，例如，阴极射线管(Cathode Ray Tube，CRT)或者LCD监视器；以及键盘和指向装置，例如，鼠标或者轨迹球，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈例如，视觉反馈、听觉反馈、或者触觉反馈；并且可以用任何形式，包括声输入、语音输入或者、触觉输入，来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***例如，作为数据服务器；或者实施在包括中间件部件的计算***例如，应用服务器；或者实施在包括前端部件的计算***例如具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互，或者实施在包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信，例如，通信网络，来将***的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过采用循环迭代方式，根据文本簇中除上次异常文本之外的其他文本确定本次簇中心特征，之后可以计算文本簇中每一文本与本次簇中心特征之间的距离，并根据文本簇中每一文本与本次簇中心特征之间的距离从所有文本中选择本次异常文本，进而根据本次异常文本可以确定文本簇中的目标异常文本即不相关文本，解决了目前推荐给用户的文本簇中存在异常文本导致用户体验差的问题，实现了自动滤除文本簇中异常文本的功能，使得分类更为准确，进而提升了用户体验。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种异常文本确定方法，其特征在于，包括：
根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征；
根据所述文本簇中所有文本与所述本次簇中心特征之间的距离，从所述所有文本中选择本次异常文本；
根据所述本次异常文本，确定所述文本簇中的目标异常文本。
2.根据权利要求1所述的方法，其特征在于，根据所述本次异常文本，确定所述文本簇中的目标异常文本，包括：
若根据所述本次异常文本，以及文本簇中除所述本次异常文本之外的其他文本，检测到迭代停止事件，则将所述本次异常文本作为所述文本簇中的目标异常文本；或者，
比较所述本次异常文本和所述上次异常文本，并根据比较结果确定所述文本簇中的目标异常文本。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将与所述本次簇中心特征之间距离最近的本次异常文本，作为第一本次异常文本；
将与所述第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本；
若所述文本簇中除所述本次异常文本之外的所有其他文本，与所述第一本次异常文本之间距离，均大于所述第一本次异常文本与所述第二本次异常文本之间距离，则生成所述迭代停止事件。
4.根据权利要求3所述的方法，其特征在于，将与所述第一本次异常文本之间距离最近的其他本次异常文本，作为第二本次异常文本之后，还包括：
若所述文本簇中除所述本次异常文本之外的每一其他文本，与所述第一本次异常文本之间距离，小于或等于所述第一本次异常文本与所述第二本次异常文本之间距离，则将该其他文本添加到所述本次异常文本中，并触发下次异常文本确定操作。
5.根据权利要求2所述的方法，其特征在于，根据比较结果确定所述文本簇中的目标异常文本，包括：
若所述上次异常文本和所述本次异常文本一致，则将所述本次异常文本作为所述文本簇中的目标异常文本；
若所述上次异常文本和所述本次异常文本不一致，且异常文本确定次数达到设定次数阈值，则将所述上次异常文本和所述本次异常文本作为所述文本簇中的目标异常文本。
6.根据权利要求1所述的方法，其特征在于，还包括：
依据设定聚类类别以及所述聚类类别的关键字，对爬取的文本集进行聚类，得到文本簇。
7.根据权利要求6所述的方法，其特征在于，依据设定聚类类别以及所述聚类类别的关键字，对爬取的文本集进行聚类之前，还包括：
依据设定标题长度、正则表达式以及特定标识符中的至少一个，对所述文本集进行过滤。
8.一种异常文本确定装置，其特征在于，包括：
本次中心特征确定模块，用于根据文本簇中除上次异常文本之外的其他文本，确定本次簇中心特征；
本次异常文本确定模块，用于根据所述文本簇中所有文本与所述本次簇中心特征之间的距离，从所述所有文本中选择本次异常文本；
目标异常文本确定模块，用于根据所述本次异常文本，确定所述文本簇中的目标异常文本。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的异常文本确定方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的异常文本确定方法。
CN201911341128.3A 2019-12-23 2019-12-23 一种异常文本确定方法、装置、电子设备和介质 Active CN111125362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911341128.3A CN111125362B (zh) 2019-12-23 2019-12-23 一种异常文本确定方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911341128.3A CN111125362B (zh) 2019-12-23 2019-12-23 一种异常文本确定方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN111125362A true CN111125362A (zh) 2020-05-08
CN111125362B CN111125362B (zh) 2023-06-16

Family

ID=70501319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911341128.3A Active CN111125362B (zh) 2019-12-23 2019-12-23 一种异常文本确定方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN111125362B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860849A (zh) * 2021-01-20 2021-05-28 平安科技（深圳）有限公司 异常文本识别方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150286707A1 (en) * 2014-04-08 2015-10-08 International Business Machines Corporation Distributed clustering with outlier detection
CN105786898A (zh) * 2014-12-24 2016-07-20 ***通信集团公司 一种领域本体的构建方法和装置
EP3293661A1 (en) * 2016-09-08 2018-03-14 AO Kaspersky Lab System and method for detecting anomalous elements of web pages
CN108090193A (zh) * 2017-12-21 2018-05-29 阿里巴巴集团控股有限公司 异常文本的识别方法和装置
US20180329990A1 (en) * 2017-05-12 2018-11-15 Sentient Technologies (Barbados) Limited Intelligently driven visual interface on mobile devices and tablets based on implicit and explicit user actions
US20180336436A1 (en) * 2017-05-19 2018-11-22 Nec Laboratories America, Inc. Anomaly detection in streaming networks
CN108875049A (zh) * 2018-06-27 2018-11-23 中国建设银行股份有限公司 文本聚类方法及装置
CN110083475A (zh) * 2019-04-23 2019-08-02 新华三信息安全技术有限公司 一种异常数据的检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150286707A1 (en) * 2014-04-08 2015-10-08 International Business Machines Corporation Distributed clustering with outlier detection
CN105786898A (zh) * 2014-12-24 2016-07-20 ***通信集团公司 一种领域本体的构建方法和装置
EP3293661A1 (en) * 2016-09-08 2018-03-14 AO Kaspersky Lab System and method for detecting anomalous elements of web pages
US20180329990A1 (en) * 2017-05-12 2018-11-15 Sentient Technologies (Barbados) Limited Intelligently driven visual interface on mobile devices and tablets based on implicit and explicit user actions
US20180336436A1 (en) * 2017-05-19 2018-11-22 Nec Laboratories America, Inc. Anomaly detection in streaming networks
US20180336437A1 (en) * 2017-05-19 2018-11-22 Nec Laboratories America, Inc. Streaming graph display system with anomaly detection
CN108090193A (zh) * 2017-12-21 2018-05-29 阿里巴巴集团控股有限公司 异常文本的识别方法和装置
CN108875049A (zh) * 2018-06-27 2018-11-23 中国建设银行股份有限公司 文本聚类方法及装置
CN110083475A (zh) * 2019-04-23 2019-08-02 新华三信息安全技术有限公司 一种异常数据的检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGLONG XU;RUI MAO;HAO LIAO;MINHUA LU;HE ZHANG: "Closest neighbors excluded outlier detection" *
ZHU HUAN;ZHANG PENGZHOU;GAO ZEYANG: "K-means Text Dynamic Clustering Algorithm Based on KL Divergence" *
范佳健: "微博评论信息的聚类分析" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860849A (zh) * 2021-01-20 2021-05-28 平安科技（深圳）有限公司 异常文本识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111125362B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111782965B (zh) 意图推荐方法、装置、设备及存储介质
CN111460083B (zh) 文档标题树的构建方法、装置、电子设备及存储介质
CN111967262A (zh) 实体标签的确定方法和装置
CN111563385B (zh) 语义处理方法、装置、电子设备和介质
CN111460289B (zh) 新闻资讯的推送方法和装置
KR20210132578A (ko) 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체
CN111797216B (zh) 检索项改写方法、装置、设备以及存储介质
CN112052397B (zh) 用户特征生成方法、装置、电子设备及存储介质
CN111984774B (zh) 搜索方法、装置、设备以及存储介质
CN111400456B (zh) 资讯推荐方法及装置
CN111737966B (zh) 文档重复度检测方法、装置、设备和可读存储介质
US20210216710A1 (en) Method and apparatus for performing word segmentation on text, device, and medium
CN113127669B (zh) 广告配图方法、装置、设备和存储介质
CN111563198B (zh) 一种物料召回方法、装置、设备及存储介质
CN111756832B (zh) 推送信息的方法、装置、电子设备及计算机可读存储介质
CN112417103A (zh) 用于检测敏感词的方法、装置、设备和存储介质
CN111460296B (zh) 用于更新事件集合的方法和装置
CN112989235A (zh) 基于知识库的内链构建方法、装置、设备和存储介质
CN111125362B (zh) 一种异常文本确定方法、装置、电子设备和介质
CN111414487B (zh) 事件主题的关联扩展方法、装置、设备及介质
CN112148979B (zh) 事件关联用户的识别方法、装置、电子设备和存储介质
CN115563242A (zh) 汽车信息筛选方法、装置、电子设备及存储介质
CN112148133B (zh) 确定推荐表情的方法、装置、设备和计算机存储介质
CN111767444B (zh) 页面特征构建方法、装置、设备和存储介质
CN112926297A (zh) 处理信息的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant