CN110442875A - 一种文本审核方法、装置及*** - Google Patents
一种文本审核方法、装置及*** Download PDFInfo
- Publication number
- CN110442875A CN110442875A CN201910741766.8A CN201910741766A CN110442875A CN 110442875 A CN110442875 A CN 110442875A CN 201910741766 A CN201910741766 A CN 201910741766A CN 110442875 A CN110442875 A CN 110442875A
- Authority
- CN
- China
- Prior art keywords
- text
- score
- model
- violated
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012550 audit Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 30
- 238000012795 verification Methods 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种文本审核方法、装置及***，用于实现更为准确的文本审核。该方法：根据敏感词表确定文本的第一分数；根据审核模型确定文本第二分数；根据第一分数、第二分数确定文本在第k个违禁类别上的评分，判断文本是否包含违禁内容。该***：审核模块，根据第一模型和第一敏感词表对文本审核，输出审核结果；模型训练模块，根据历史数据训练第二模型并评估第二模型的性能；若第二模型的性能高于第一模型，将第二模型发给审核模块；敏感词评估模块，获取第二敏感词表，用第二模型对第二敏感词表评估，根据评估结果调整第二敏感词，将调整后的第二敏感词表发给审核模块；审核模块将第二模型替换第一模型，根据第二敏感词表更新第一敏感词表。
Description
技术领域
本申请涉及文本信息处理技术领域，尤其涉及一种文本审核方法、装置及***。
背景技术
随着互联网的高速发展，用户可以更加自由地发布原创内容，用户生成内容(UserGenerated Content，UGC)的数量急剧增长。尤其是在文本领域，用户可以随意发布自己的观点、评论等。
然而，部分用户的原创内容存在涉黄、涉恐、涉政或者广告等不适合公开发布的违禁内容，这些内容的发布将会影响内容平台其他用户的使用体验，甚至对社会产生一定的危害性。目前，许多网站为识别违禁内容，采用关键词过滤等策略加人工审核的方式，以避免违禁内容的发布。
然而，受限于过滤策略以及人工处理速度，在面对内容越来越丰富、数量越来越庞大的互联网用户生成文本内容时，上述方式很难满足对大量新型复杂文本的审核需求。
发明内容
本申请实施例提供一种文本审核方法、装置及***，用以实现对文本内容进行审核，判断是否包含有违禁内容。
第一方面，本申请实施例提供的一种文本审核方法，包括：
获取待审核文本；
根据敏感词表确定所述待审核文本中包含的第k个违禁类别的敏感词，根据所述包含的第k个违禁类别的敏感词确定所述待审核文本在所述第k个违禁类别上的第一分数，k＝1，2，...，N，其中，N表示违禁类别的数量；根据第k个违禁类别的审核模型确定所述待审核文本在所述第k个违禁类别上的第二分数；根据所述第一分数和所述第二分数确定所述待审核文本在所述第k个违禁类别上的评分；根据所述评分确定所述待审核文本是否包含违禁内容。
在上述实施例中，采用了通过深度学习得到的语言模型结合敏感词表的审核方式，有效保证了文本审核的准确性，能够对大量的新型复杂文本进行审核。
第二方面，本申请实施例提供的一种文本审核装置，包括：
获取模块，用于获取待审核文本；
评分模块，用于根据敏感词表确定所述待审核文本中包含的第k个违禁类别的敏感词，根据所述包含的第k个违禁类别的敏感词确定所述待审核文本在所述第k个违禁类别上的第一分数，k＝1，2，...，N，其中，N表示违禁类别的数量；根据第k个违禁类别的审核模型确定所述待审核文本在所述第k个违禁类别上的第二分数；根据所述第一分数和所述第二分数确定所述待审核文本在所述第k个违禁类别上的评分；
确定模块，用于根据所述评分确定所述待审核文本是否包含违禁内容。
第三方面，本申请实施例提供的一种文本审核***，包括：
审核模块，用于根据第一模型和第一敏感词表对待审核文本进行审核，并输出审核结果；
模型训练模块，用于获取历史文本数据，所述历史文本数据包括审核文本和所述审核文本是否包含于违禁内容的判断结果；根据所述历史文本数据训练第二模型，根据所述历史文本数据对所述第二模型进行测试，根据测试结果对第二模型的性能进行评估；若所述第二模型的性能高于所述第一模型的性能，则将所述第二模型发给审核模块；
敏感词评估模块，用于获取第二敏感词表，使用所述第二模型对所述第二敏感词表进行评估，根据评估结果对所述第二敏感词表进行调整，将调整后的第二敏感词表发送给所述审核模块；
审核模块还用于：在接收到所述第二模型后，将所述第二模型替换所述第一模型；和/或，在接收到所述第二敏感词表后，根据所述第二敏感词表更新所述第一敏感词表。
在上述实施例中，文本审核***中的模型训练模块一直在训练新模型以应对新型复杂文本，有助于提高文本审核***的及时性、准确性。
第四方面，本申请实施例提供一种文本审核设备，包括：
至少一个处理器，与所述至少一个处理器通信连接的存储器；
所述至少一个处理器用于读取所述存储器中的程序，用于执行上述第一方面中的文本审核方法。
第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面中的文本审核方法。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的文本审核方法的流程示意图；
图2为本申请实施例提供的文本装置的结构示意图；
图3为本申请实施例提供的文本***的结构示意图；
图4为本申请实施例提供的文本***的工作流程示意图之一；
图5为本申请实施例提供的文本***的工作流程示意图之二。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着互联网技术的发展，用户之间的知识、信息、观点分享越来越方便。但同时也带来了一些问题，一些涉及黄色、涉及暴力或者广告类的内容也能够轻易发布，给其他用户带来了不好的用户体验，还可能给青少年造成不良影响。
为了解决上述问题，本申请实施例提供了一种文本审核方法、装置及***，用于实现对文本内容进行审核，判断文本中是否包含有违禁内容，进而有利于营造良好的网络环境。
参见图1，为本申请实施例提供的一种文本审核方法的流程示意图，如图所示，该方法可以包括以下步骤：
步骤101、获取待审核文本。
例如，在一些论坛平台中，不同用户可以在同一话题中发表各自的言论，可以将每个用户发表的文本内容作为一个文本x(i)，而同一话题下多个用户发表的文本内容则可以构成一个文本集合Xinput＝{x(0),x(1),...,x(m)}。文本审核***可以每次从文本集合中获取一个文本x(i)作为待审核文本对其进行审核，或者，若文本审核***性能较高同时对多个文本x(i)进行并行处理，则获取的待审核文本也可以是一个文本集合。为了描述方便，下面均以一个文本x(i)作为待审核文本进行举例说明。
步骤102、根据敏感词表确定待审核文本中包含的第k个违禁类别的敏感词，根据包含的第k个违禁类别的敏感词确定该待审核文本在第k个违禁类别上的第一分数。其中，k＝1,2,...,N；N表示违禁类别的数量。
不适合公开发表的文本内容可以划分为不同的违禁类别，例如，涉及黄色的内容，涉及暴力的内容，涉及政治敏感的内容，涉及广告的内容等等，涉黄、涉暴的内容容易给青少年造成不良影响，而无处不在的广告给用户造成较差的使用体验，文本审核***因此将其作为违禁内容对其进行过滤。针对每个违禁类别，可以根据以往的经验积累、网信办收集的数据，设置相应的敏感词表，例如，涉及暴力的内容中经常会出现“殴打”、“嗜血”等词汇，则可以将“殴打”、“嗜血”作为涉暴类别的敏感词。
针对每个违禁类别，分别确定待审核文本包含有该违禁类别对应的敏感词表中的哪些敏感词，并根据包含的敏感词确定待审核文本在该违禁类别上的第一分数。
进一步地，还可以对每个敏感词配置其在对应的违禁类别中的权重，相应地，上述步骤102则根据包含的敏感词及每个敏感词对应的权重确定第一分数。例如，“殴打”、“嗜血”等词汇可能出现在一些渲染暴力的内容中，但也可能出现在正常的新闻内容中，若待审核文本中出现了某个敏感词，该待审核文本是否包含有违禁内容的概率的高低，可以用其权重表示，即，敏感词的权重越高，表示该敏感词所在文本含有违禁内容的可能性越大。当然，敏感词的权重的设置还可能考虑了其他因素，此处不一一举例。
在一种可能的方式中，可以根据公式(1)确定待审核文本在第k个违禁类别上的第一分数scoresk：
其中，m表示待审核文本中包含的第k个违禁类别的敏感词的数量，wjk表示待审核文本中包含的第j个敏感词在该第k个违禁类别中的权重。第一分数scoresk越高，表示待审核存在违禁内容的风险越高；第一分数scoresk越低，表示待审核文本存在违禁内容的风险越低。
步骤103、根据第k个违禁类别的审核模型确定该待审核文本在第k个违禁类别的第二分数。
除了根据敏感词对待审核文本进行评分，还可以通过文本审核模型对文本是否包含有违禁内容进行评分。常见的文本模型如TextCNN模型、RNN模型、BERT模型等等，本申请实施例并不对模型进行具体限制。
在一种可能的实现方式中，可以根据公式(2)确定待审核文本在第k个违禁类别上的第二分数scoreMk：
scoreMk＝fM(x) (2)
其中，x表示待审核文本，fM(·)表示所述第k个违禁类别的审核模型。第二分数scoreMk越高，表示待审核文本存在违禁内容的风险越高；第二分数scoreMk越低，所述待审核文本存在违禁内容的风险越低。
步骤104、根据第一分数和第二分数确定待审核文本在第k个违禁类别上的评分。
第一分数和第二分数分别从两个维度对待审核文本是否包含有违禁内容的可能性进行打分，因此，在步骤104中，则需根据第一分数和第二分数对待审核文本进行综合评分。
在一种可能的实现方式中，可以根据公式(3)确定待审核文本的最终评分：
scorek＝γkscoresk+(1-γk)scoreMk (3)
其中，γk表示第k个违禁类别上评分scoresk的权重。评分scorek越高，表示待审核文本存在违禁内容的风险越高；评分scorek越低，表示待审核文本存在违禁内容的风险越低。
步骤105、根据评分确定待审核文本是否包含违禁内容。
在前述步骤104中确定出的评分仅scorek表示待审核文本存在违禁内容风险的高低，但文本审核***最终输出的结果通常为二值结果，即，判断待审核文本包含有违禁内容，或者判断待审核文本不含有违禁内容。
可选地，可以将评分scorek与预设的第一阈值进行比较，若评分大于或等于第一阈值，则认为待审核文本包含有第k个违禁类别的违禁内容。因此，将待审核文本在每个违禁类别上的评分与该违禁类别上的阈值进行比较，若存在至少一个违禁类别上的评分大于阈值，则判断该待审核文本包含有违禁内容。进一步地，每个违禁类别上的阈值可以相同，也可以不同，本申请对此不作限制。
若第一阈值设置的较高，则可能将包含有违禁内容的文本判断为不包含违禁内容，但若第一阈值设置的较低，则可能将不涉及违禁内容的文本判断为包含有违禁内容。为了更加准确的判断，在一种可能的实现方式中，还可以设置有第二阈值，该第二阈值小于上述第一阈值，将待审核文本在第k个违禁类别上的评分scorek与第一阈值、第二阈值进行比较。若评分scorek大于或等于第一阈值，则判断待审核文本包含有违禁内容。若评分scorek小于第二阈值，则判断待审核文本不含有违禁内容。若评分scorek小于第一阈值并大于等于第二阈值，则将待审核文本显示在人工审核窗口中，由审核人员进行判断，并接收审核人员输入的审核结果，并将审核人员输入的审核结果作为最终审核结果。设置两个阈值有助于避免由于阈值大小设置的不合适而导致过滤掉了正常的文本或没有过滤掉含有违禁内容的文本。
在上述实施例中，采用了通过深度学习技术、自然语言处理技术得到的模型，并结合敏感词表过滤策略，有效保证了文本审核的准确性，能够应对大量的新型复杂的文本。
基于相同技术构思，本申请实施例提供了一种文本审核装置，用于实现上述实施例中文本审核的方法。如图2所示，该文本审核装置可以包括：
获取模块201，用于获取待审核文本；
评分模块202，用于根据敏感词表确定所述待审核文本中包含的第k个违禁类别的敏感词，根据所述包含的第k个违禁类别的敏感词确定所述待审核文本在所述第k个违禁类别上的第一分数，k＝1，2，...，N，其中，N表示违禁类别的数量；根据第k个违禁类别的审核模型确定所述待审核文本在所述第k个违禁类别上的第二分数；根据所述第一分数和所述第二分数确定所述待审核文本在所述第k个违禁类别上的评分；
确定模块203，用于根据所述评分确定所述待审核文本是否包含违禁内容。
在一种可能的实现方式中，上述评分模块202，具体用于：
根据下述公式确定所述第一分数scoresk：
其中，m表示所述待审核文本中包含的第k个违禁类别的敏感词的数量，wjk表示所述待审核文本中包含的第j个敏感词在所述第k个违禁类别中的权重；所述第一分数scoresk越高表示所述待审核存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
在一种可能的实现方式中，上述评分模块202，具体用于：
根据下述公式确定所述第二分数scoreMk：
scoreMk＝fM(x)
其中，x表示待审核文本；fM(·)表示所述第k个违禁类别的审核模型；所述第二分数scoreMk越高表示所述待审核存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
在一种可能的实现方式中，上述评分模块202，具体用于：
根据下述公式确定所述待审核文本在所述第k个违禁类别上的评分scorek：
scorek＝γkscoresk+(1-γk)scoreMk
其中，γk表示第k个违禁类别上评分scoresk的权重；所述评分scorek越高表示所述待审核存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
在一种可能的实现方式中，上述确定模块203，具体用于：
若所述待审核文本在至少一个违禁类别上的评分大于或等于第一阈值，则确定所述待审核文本存在违禁内容。
在一种可能的实现方式中，上述确定模块203，还用于：
若所述待审核文本在至少一个违禁类别上的评分小于所述第一阈值，且大于第二阈值，则将所述待审核文本显示在人工审核窗口中，并接收人工审核结果，根据人工审核结果确定所述待审核文本是否存在违禁内容。
基于相同的技术构思，本申请实施例还提供一种文本审核设备，包括：至少一个处理器，与所述至少一个处理器通信连接的存储器；所述至少一个处理器用于读取所述存储器中的程序，用于执行上述文本审核方法。
本申请实施例还提供了一种文本审核***，用于实现提高文本审核的准确性。如图3所示，该文本审核***包括审核模块301、模型训练模块302和敏感词评估模块303。
具体地，审核模块301，用于根据第一模型和第一敏感词表对待审核文本进行审核，并输出审核结果。
模型训练模块302，用于获取历史文本数据，所述历史文本数据包括审核文本和所述审核文本是否包含于违禁内容的判断结果；根据所述历史文本数据训练第二模型，根据所述历史文本数据对所述第二模型进行测试，根据测试结果对第二模型的性能进行评估；若所述第二模型的性能高于所述第一模型的性能，则将所述第二模型发给审核模块。
敏感词评估模块303，用于获取第二敏感词表，使用第二模型对第二敏感词表进行评估，根据评估结果对第二敏感词表进行调整，将调整后的第二敏感词表发送给审核模块。进一步地，敏感词评估模块303还可以采用第二模型对第二敏感词词表进行测试，以检验第二敏感词表中敏感词的准确性等。
审核模块301还用于：在接收到模型训练模块发送的第二模型后，将第二模型替换第一模型；和/或，在接收到第二敏感词表后，根据第二敏感词表更新第一敏感词表。
为了更加清楚理解上述实施例，下面结合具体实施例和图4进行详细说明。待审核文本输入到审核模块301中，由审核模块301对其进行审核并输出审核结果。待审核文本和审核结果输入到模型训练模块302中，与模型训练模块302之前已获取到的待审核文本构成历史文本数据，用于第二模型的训练。待审核文本还可以作为测试数据用于对第二模型进行测试。若测试结果表明第二模型的性能优于审核模块301中所使用的第一模型的性能，则用第二模型替换第一模型。敏感词评估模块303可以获取网信办收集的数据从而获取到相较于第一敏感词表待增加或待删除的敏感词，以及待审核文本及相应的审核结果，还可以从模型训练模块302处获取第二模型；敏感词评估模块303将待审核文本作为测试数据对第二敏感词表进行测试，并根据第二模型对第二敏感词表进行测试，根据测试结果确定第二敏感词表中敏感词的准确性等指标，并根据相应指标对第二敏感词表进行调整，并将调整后的第二敏感词表发送给审核模块301。审核模块301根据第二敏感词表对第一敏感词表中的敏感词进行删除或增加。
可选地，上述审核模块301可以为前述实施例中的文本审核装置，通过前述实施例提供的文本审核方法对待审核文本进行审核并输出审核结果。其具体的工作原理可参见前述实施例，此处不再一一赘述。
此外，模型训练模块302对训练处的第二模型进行测试时，其测试方式也可以采用前述实施例中文本审核的方式对待测试文本进行测试并得到测试结果。
模型训练模块302获取的历史文本数据，既可以作为训练第二模型的训练数据，也可以作为对第二模型进行测试的测试数据。在一种实现方式中，可以将历史文本数据按照预设比例进行分组，一组作为训练数据，另一组作为测试数据，例如将获取的历史文本数据按照7:3的比例划分为训练集Xtrain和测试集Xtext。或者，还可以将待审核文本作为测试数据。
在一个具体实施例中，如图5所示，模型训练模块302在训练出第二模型后，将获取的历史文本数据以及实时获取到的待审核文本作为测试数据，对第二模型进行测试，然后根据测试结果评估其性能，并将第二模型的性能与第一模型的性能进行比较，若优于第一模型的性能，即用第二模型替换第一模型；否则，调整第二模型再进行测试。
此外，还可以对历史文本数据进行数据增强，以增加文本数据的数量，使得文本审核***可以根据有限的文本数据获得大量的文本数据。例如，可以对文本数据进行同义词替换、回译、文档裁剪等，从而实现增加训练数据、测试数据的目的。
在一种可能的实现方式中，模型训练模块302在评估第二模型的性能时，可以通过计算第二模型的准确率和/或误差来评估第二模型的性能，并将第二模型的准确率和/或误差与第一模型的准确率和/或误差进行比较，从而确定第二模型的性能是否优于第一模型。
可选地，准确率ACC可以通过公式(3)计算出。
其中，||Xtext||表示测试文本的数量，I(·)表示恒等函数，y(i)表示所述测试文本是否包含有违禁内容，表示所述模型训练模块302的审核结果。
误差ERR可以通过公式(4)计算出。
其中，||Xtext||表示测试文本的数量，loss(·)表示损失函数，y(i)表示所述第二模型对文本是否违禁的判断结果，score(i)表示可能文本存在违禁内容的评分。
若第二模型的准确率高于第一模型的准确率，和/或，第二模型的误差小于第一模型的误差，则可以判断第二模型的性能优于第一模型的性能，则模型训练模302块可以将第二模型发送给审核模块301。
若第二模型的性能未达到预期或低于第一模型的性能，模型训练模块302还可以对参数进行调整，继续训练第二模型，然后再对第二模型进行测试，并评估第二模型的性能。上述过程可以重复多次，以提升第二模型的性能，使之优于第一模型，从而提升文本审核***的性能。
如前述实施例所述，审核模块301可以根据第一模型(前述实施例中的fM(·))、第一敏感词表以及第一权重对待审核文本进行审核，其中，第一权重可以包括每个敏感词在其对应的违禁类别中的权重(前述实施例中的wjk)和/或根据敏感词进行审核的评分的权重(前述实施例中的γk)。相应地，模型训练模块302可以根据历史文本数据以及第二模型确定第二权重，第二权重包括每个敏感词在其对应的违禁类别中的权重和/或根据敏感词进行审核的评分的权重。当第二模型的性能高于第一模型的性能时，模型训练模块302还用于将将第二权重发送给第一审核模块301，以使审核模块301将第二权重替换第一权重。
在一种可能的实现方式中，模型训练模块302可以通过下述方法确定评分scoresk的权重：
首先对第k个违禁类别上的评分scoresk的权重γk进行随机初始化。然后根据训练数据、公式(1)、公式(2)、公式(5)以及公式(6)确定损失函数的梯度▽L。
scoreMk＝fM(x) (2)
其中，L(·)表示损失函数。
根据公式(7)更新权重γk：
使用更新后的权重γk再次计算损失函数的梯度并更新权重γk，直至所述梯度收敛，将收敛时的γk作为最终确定出的第k个违禁类别上评分scoresk的权重。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时可实现上述文本审核方法。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (21)
1.一种文本审核方法，其特征在于，包括：
获取待审核文本；
根据敏感词表确定所述待审核文本中包含的第k个违禁类别的敏感词，根据所述包含的第k个违禁类别的敏感词确定所述待审核文本在所述第k个违禁类别上的第一分数，k＝1，2，...，N，其中，N表示违禁类别的数量；
根据第k个违禁类别的审核模型确定所述待审核文本在所述第k个违禁类别上的第二分数；
根据所述第一分数和所述第二分数确定所述待审核文本在所述第k个违禁类别上的评分；
根据所述评分确定所述待审核文本是否包含违禁内容。
2.如权利要求1所述的方法，其特征在于，所述根据所述包含的第k个违禁类别的敏感词确定所述待审核文本在所述第k个违禁类别上的第一分数，包括：
根据下述公式确定所述第一分数scoresk：
其中，m表示所述待审核文本中包含的第k个违禁类别的敏感词的数量，wjk表示所述待审核文本中包含的第j个敏感词在所述第k个违禁类别中的权重；所述第一分数scoresk越高表示所述待审核存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
3.如权利要求1所述的方法，其特征在于，所述根据第k个违禁类别的审核模型确定所述待审核文本在所述第k个违禁类别上的第二分数，包括：
根据下述公式确定所述第二分数scoreMk：
scoreMk＝fM(x)
其中，x表示待审核文本，fM(·)表示所述第k个违禁类别的审核模型；所述第二分数scoreMk越高表示所述待审核文本存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
4.如权利要求1所述的方法，其特征在于，所述根据所述第一分数和所述第二分数确定所述待审核文本在所述第k个违禁类别上的评分，包括：
根据下述公式确定所述待审核文本在所述第k个违禁类别上的评分scorek：
scorek＝γkscoresk+(1-γk)scoreMk
其中，γk表示评分scoresk的权重；所述评分scorek越高表示所述待审核文本存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
5.如权利要求1所述的方法，其特征在于，所述根据所述评分确定所述待审核文本是否包含违禁内容，包括：
若所述待审核文本在至少一个违禁类别上的评分大于或等于第一阈值，则确定所述待审核文本存在违禁内容。
6.如权利要求5所述的方法，其特征在于，还包括：
若所述待审核文本在至少一个违禁类别上的评分小于所述第一阈值，且大于第二阈值，则将所述待审核文本显示在人工审核窗口中，并接收人工审核结果，根据人工审核结果确定所述待审核文本是否存在违禁内容。
7.一种文本审核方装置，其特征在于，包括：
获取模块，用于获取待审核文本；
评分模块，用于根据敏感词表确定所述待审核文本中包含的第k个违禁类别的敏感词，根据所述包含的第k个违禁类别的敏感词确定所述待审核文本在所述第k个违禁类别上的第一分数，k＝1，2，...，N，其中，N表示违禁类别的数量；根据第k个违禁类别的审核模型确定所述待审核文本在所述第k个违禁类别上的第二分数；根据所述第一分数和所述第二分数确定所述待审核文本在所述第k个违禁类别上的评分；
确定模块，用于根据所述评分确定所述待审核文本是否包含违禁内容。
8.如权利要求7所述的装置，其特征在于，所述评分模块，具体用于：
根据下述公式确定所述第一分数scoresk：
其中，m表示所述待审核文本中包含的第k个违禁类别的敏感词的数量，wjk表示所述待审核文本中包含的第j个敏感词在所述第k个违禁类别中的权重；所述第一分数scoresk越高表示所述待审核存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
9.如权利要求7所述的装置，其特征在于，所述评分模块，具体用于：
根据下述公式确定所述第二分数scoreMk：
scoreMk＝fM(x)
其中，x表示待审核文本；fM(·)表示所述第k个违禁类别的审核模型；所述第二分数scoreMk越高表示所述待审核存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
10.如权利要求7所述的装置，其特征在于，所述评分模块，具体用于：
根据下述公式确定所述待审核文本在所述第k个违禁类别上的评分scorek：
scorek＝γkscoresk+(1-γk)scoreMk
其中，γk表示评分scoresk的权重；所述评分scorek越高表示所述待审核存在违禁内容的风险越高，反之，表示所述待审核文本存在违禁内容的风险越低。
11.如权利要求7所述的装置，其特征在于，所述确定模块，具体用于：
若所述待审核文本在至少一个违禁类别上的评分大于或等于第一阈值，则确定所述待审核文本存在违禁内容。
12.如权利要求11所述的装置，其特征在于，所述确定模块还用于：
若所述待审核文本在至少一个违禁类别上的评分小于所述第一阈值，且大于第二阈值，则将所述待审核文本显示在人工审核窗口中，并接收人工审核结果，根据人工审核结果确定所述待审核文本是否存在违禁内容。
13.一种文本审核***，其特征在于，包括：
审核模块，用于根据第一模型和第一敏感词表对待审核文本进行审核，并输出审核结果；
模型训练模块，用于获取历史文本数据，所述历史文本数据包括审核文本和所述审核文本是否包含于违禁内容的判断结果；根据所述历史文本数据训练第二模型，根据所述历史文本数据对所述第二模型进行测试，根据测试结果对第二模型的性能进行评估；若所述第二模型的性能高于所述第一模型的性能，则将所述第二模型发给所述审核模块；
敏感词评估模块，用于获取第二敏感词表，使用所述第二模型对所述第二敏感词表进行评估，根据评估结果对所述第二敏感词表进行调整，将调整后的第二敏感词表发送给所述审核模块；
审核模块还用于：在接收到所述第二模型后，将所述第二模型替换所述第一模型；和/或，在接收到所述第二敏感词表后，根据所述第二敏感词表更新所述第一敏感词表。
14.如权利要求13所述的***，其特征在于，所述审核模块，具体用于：根据权利要求1-6中任一项所述的方法对待审核文本进行审核。
15.如权利要求13或14所述的***，其特征在于，所述模型训练模块，还用于：
根据所述对第二模型的测试结果，对所述第二模型进行修改，并对修改后的第二模型进行测试。
16.如权利要求13或14所述的***，其特征在于，所述模型训练模块，具体用于：
根据测试结果确定所述第二模型的准确率和/或误差，根据所述准确率和/或误差确定所述第二模型的性能是否高于所述第一模型。
17.如权利要求16所述的***，其特征在于，所述准确率ACC通过下述公式确定出：
其中，||Xtext||表示测试文本的数量，I(·)表示恒等函数，y(i)表示所述测试文本是否包含有违禁内容，表示所述模型训练模块的审核结果。
18.如权利要求16所述的***，其特征在于，所述误差通过下述公式确定出：
其中，||Xtext||表示测试文本的数量，loss(·)表示损失函数，y(i)表示所述第二模块对文本是否违禁的判断结果，score(i)表示文本可能存在违禁内容的评分。
19.如权利要求13或14所述的***，其特征在于，所述审核模块具体用于：根据第一模型、第一敏感词表和第一权重对待审核文本进行审核，所述第一权重包括每个敏感词在其对应的违禁类别中的权重和/或根据敏感词审核的权重；
所述模型训练模块，还用于：根据历史文本数据、所述第二敏感词表和所述第二模型确定第二权重，所述第二权重包括每个敏感词在其对应的违禁类别中的权重和/或根据敏感词审核的权重；当所述第二模型的性能高于所述第一模型的性能时，将所述第二权重发送给所述审核模块。
20.如权利要求19所述的***，其特征在于，所述模型训练模块，具体用于：
随机初始化评分scoresk的权重γk，k＝1，2，...，N，其中，N表示违禁类别的数量；
根据下述公式确定损失函数的梯度：
scoreMk＝fM(x)
其中，m表示所述待审核文本中包含的第k个违禁类别的敏感词的数量，wjk表示所述待审核文本中包含的第j个敏感词在所述第k个违禁类别中的权重，x表示待审核文本；fM(·)表示所述第二模型中第k个违禁类别的模型；
根据下述公式更新权重γk：
使用更新后的权重γk再次计算损失函数的梯度并更新权重γk，直至所述梯度收敛，将收敛时的γk作为最终确定出的评分scoresk的权重。
21.如权利要求13或14所述的***，其特征在于，所述模型训练模块，具体用于：
通过对所述历史文本数据中的部分或全部进行数据增强的方式增加文本数据的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910741766.8A CN110442875A (zh) | 2019-08-12 | 2019-08-12 | 一种文本审核方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910741766.8A CN110442875A (zh) | 2019-08-12 | 2019-08-12 | 一种文本审核方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442875A true CN110442875A (zh) | 2019-11-12 |
Family
ID=68434874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910741766.8A Pending CN110442875A (zh) | 2019-08-12 | 2019-08-12 | 一种文本审核方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442875A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062208A (zh) * | 2019-12-13 | 2020-04-24 | 中国建设银行股份有限公司 | 一种文件审核的方法、装置、设备及存储介质 |
| CN112487149A (zh) * | 2020-12-10 | 2021-03-12 | 浙江诺诺网络科技有限公司 | 一种文本审核方法、模型、设备及存储介质 |
| CN112559776A (zh) * | 2020-12-21 | 2021-03-26 | 绿瘦健康产业集团有限公司 | 一种敏感信息的定位方法及*** |
| CN112579771A (zh) * | 2020-12-08 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 一种内容的标题检测方法及装置 |
| CN112711718A (zh) * | 2021-01-15 | 2021-04-27 | 上海观察者信息技术有限公司 | 一种评论信息的审核方法、装置、介质及电子设备 |
| CN113132368A (zh) * | 2021-04-12 | 2021-07-16 | 海南晨风科技有限公司 | 聊天数据的审核方法、装置及计算机设备 |
| CN113538002A (zh) * | 2020-04-14 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 用于审核文本的方法和装置 |
| CN113835730A (zh) * | 2021-09-24 | 2021-12-24 | 支付宝(杭州)信息技术有限公司 | 一种更新审核程序的方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108563791A (zh) * | 2018-04-29 | 2018-09-21 | 华中科技大学 | 一种建筑质量投诉文本分类的方法和*** |
| CN109151218A (zh) * | 2018-08-21 | 2019-01-04 | 平安科技（深圳）有限公司 | 通话语音质检方法、装置、计算机设备及存储介质 |
| CN109213843A (zh) * | 2018-07-23 | 2019-01-15 | 北京密境和风科技有限公司 | 一种垃圾文本信息的检测方法及装置 |
| CN109582788A (zh) * | 2018-11-09 | 2019-04-05 | 北京京东金融科技控股有限公司 | 垃圾评论训练、识别方法、装置、设备及可读存储介质 |
| CN110019763A (zh) * | 2017-12-27 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 文本过滤方法、***、设备及计算机可读存储介质 |
-
2019
- 2019-08-12 CN CN201910741766.8A patent/CN110442875A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019763A (zh) * | 2017-12-27 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 文本过滤方法、***、设备及计算机可读存储介质 |
| CN108563791A (zh) * | 2018-04-29 | 2018-09-21 | 华中科技大学 | 一种建筑质量投诉文本分类的方法和*** |
| CN109213843A (zh) * | 2018-07-23 | 2019-01-15 | 北京密境和风科技有限公司 | 一种垃圾文本信息的检测方法及装置 |
| CN109151218A (zh) * | 2018-08-21 | 2019-01-04 | 平安科技（深圳）有限公司 | 通话语音质检方法、装置、计算机设备及存储介质 |
| CN109582788A (zh) * | 2018-11-09 | 2019-04-05 | 北京京东金融科技控股有限公司 | 垃圾评论训练、识别方法、装置、设备及可读存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062208A (zh) * | 2019-12-13 | 2020-04-24 | 中国建设银行股份有限公司 | 一种文件审核的方法、装置、设备及存储介质 |
| CN111062208B (zh) * | 2019-12-13 | 2023-05-12 | 建信金融科技有限责任公司 | 一种文件审核的方法、装置、设备及存储介质 |
| CN113538002A (zh) * | 2020-04-14 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 用于审核文本的方法和装置 |
| CN112579771A (zh) * | 2020-12-08 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 一种内容的标题检测方法及装置 |
| CN112579771B (zh) * | 2020-12-08 | 2024-05-07 | 腾讯科技（深圳）有限公司 | 一种内容的标题检测方法及装置 |
| CN112487149A (zh) * | 2020-12-10 | 2021-03-12 | 浙江诺诺网络科技有限公司 | 一种文本审核方法、模型、设备及存储介质 |
| CN112559776A (zh) * | 2020-12-21 | 2021-03-26 | 绿瘦健康产业集团有限公司 | 一种敏感信息的定位方法及*** |
| CN112711718A (zh) * | 2021-01-15 | 2021-04-27 | 上海观察者信息技术有限公司 | 一种评论信息的审核方法、装置、介质及电子设备 |
| CN113132368A (zh) * | 2021-04-12 | 2021-07-16 | 海南晨风科技有限公司 | 聊天数据的审核方法、装置及计算机设备 |
| CN113132368B (zh) * | 2021-04-12 | 2022-11-04 | 海南晨风科技有限公司 | 聊天数据的审核方法、装置及计算机设备 |
| CN113835730A (zh) * | 2021-09-24 | 2021-12-24 | 支付宝(杭州)信息技术有限公司 | 一种更新审核程序的方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442875A (zh) | 一种文本审核方法、装置及*** | |
| CN110188351A (zh) | 语句通顺度及句法评分模型的训练方法及装置 | |
| TWI689871B (zh) | 梯度提升決策樹（ｇｂｄｔ）模型的特徵解釋方法和裝置 | |
| CN107545245A (zh) | 一种年龄估计方法及设备 | |
| CN103699521B (zh) | 文本分析方法及装置 | |
| CN110992169A (zh) | 一种风险评估方法、装置、服务器及存储介质 | |
| CN107391760A (zh) | 用户兴趣识别方法、装置及计算机可读存储介质 | |
| CN107291723A (zh) | 网页文本分类的方法和装置，网页文本识别的方法和装置 | |
| CN108717459B (zh) | 一种面向用户评论信息的移动应用缺陷定位方法 | |
| CN109242825A (zh) | 一种基于深度学习技术的钢铁表面缺陷识别方法和装置 | |
| CN107169063A (zh) | 一种基于社交信息的用户属性预测方法与*** | |
| CN108961032A (zh) | 借贷处理方法、装置以及服务器 | |
| CN103744889B (zh) | 一种用于对问题进行聚类处理的方法与装置 | |
| CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
| CN104516870B (zh) | 一种译文检查方法及其*** | |
| CN110287314A (zh) | 基于无监督聚类的长文本可信度评估方法及*** | |
| CN106203165B (zh) | 基于可信云计算的信息大数据分析支撑方法 | |
| CN109902157A (zh) | 一种训练样本有效性检测方法及装置 | |
| CN112613321A (zh) | 一种抽取文本中实体属性信息的方法及*** | |
| Leopairote et al. | Software quality in use characteristic mining from customer reviews | |
| KR102206781B1 (ko) | 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치 | |
| WO2020125477A1 (zh) | 一种提升爬虫识别召回率的方法、装置、介质及设备 | |
| CN111539612A (zh) | 一种风险分类模型的训练方法和*** | |
| CN107704869A (zh) | 一种语料数据抽样方法及模型训练方法 | |
| CN106997340A (zh) | 词库的生成以及利用词库的文档分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |