CN111046658B - 一种乱序文本识别方法、装置及设备 - Google Patents

一种乱序文本识别方法、装置及设备 Download PDF

Info

Publication number
CN111046658B
CN111046658B CN201911306126.0A CN201911306126A CN111046658B CN 111046658 B CN111046658 B CN 111046658B CN 201911306126 A CN201911306126 A CN 201911306126A CN 111046658 B CN111046658 B CN 111046658B
Authority
CN
China
Prior art keywords
model
sequence
text
identified
text information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911306126.0A
Other languages
English (en)
Other versions
CN111046658A (zh
Inventor
孙建举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201911306126.0A priority Critical patent/CN111046658B/zh
Publication of CN111046658A publication Critical patent/CN111046658A/zh
Application granted granted Critical
Publication of CN111046658B publication Critical patent/CN111046658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本说明书实施例公开了一种乱序文本识别方法、装置及设备,该乱序文本识别方案包括:将提取到的待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量。其中,训练后的序列到序列模型中的编码器子模型与解码器子模型均为递归神经网络模型。计算排序后文本的特征向量与待识别文本的特征向量之间的差异值;当差异值大于预设值时,确定待识别文本信息为乱序文本信息。

Description

一种乱序文本识别方法、装置及设备
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种乱序文本识别方法、装置及设备。
背景技术
目前,不法分子会利用随机信息生成器,去生成大量的虚假信息,并使用虚假信息牟利。这种利用虚假信息牟利的方式已逐渐形成一条黑色产业链。为打击利用虚假信息牟利的非法行为,就需要对虚假信息进行识别。由于虚假信息通常为随机生成的乱序文本,因此,出现了对乱序文本进行识别的需求。
综上所述,如何对乱序文本进行精准识别,已成为亟待解决的技术问题。
发明内容
有鉴于此,本说明书一个或多个实施例提供了一种乱序文本识别方法、装置及设备,用于对乱序文本进行精准识别。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种乱序文本识别方法,包括:
获取待识别文本信息;
对所述待识别文本信息进行特征提取,得到待识别文本的特征向量;
将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值;
当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
本说明书实施例提供的一种序列到序列模型的训练方法,包括:
获取样本集合,所述样本集合中的样本为正序文本信息;
对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合;
使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。
本说明书实施例提供的一种乱序文本识别装置,包括:
获取模块,用于获取待识别文本信息;
特征提取模块,用于对所述待识别文本信息进行特征提取,得到待识别文本的特征向量;
排序模块,用于将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;
差异值计算模块,用于计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值;
乱序文本信息确定模块,用于当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
本说明书实施例提供的一种序列到序列模型的训练装置,包括:
获取模块,用于获取样本集合,所述样本集合中的样本为正序文本信息;
特征提取模块,用于对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合;
训练模块,用于使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。
本说明书实施例提供的一种乱序文本识别设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取待识别文本信息;
对所述待识别文本信息进行特征提取,得到待识别文本的特征向量;
将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值;
当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
本说明书实施例提供的一种序列到序列模型的训练设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取样本集合,所述样本集合中的样本为正序文本信息;
对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合;
使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。
本说明书中的至少一个实施例能够达到以下有益效果:通过将提取的待识别文本的特征向量输入训练后的序列到序列模型,可以得到排序后文本的特征向量。当排序后文本的特征向量与待识别文本的特征向量之间的差异值大于预设值时,可以确定该待识别文本信息为乱序文本信息。由于训练后的序列到序列模型中的编码器子模型及解码器子模型均为递归神经网络模型,从而使得基于该训练后的序列到序列模型处理得到的排序后文本的特征向量的准确性较高,进而可以提高基于该排序后文本的特征向量得到的乱序文本识别结果的准确性。
附图说明
此处所说明的附图用来提供对本说明书一个或多个实施例的进一步理解,构成本说明书一个或多个实施例的一部分,本说明书的示意性实施例及其说明用于解释本说明书一个或多个实施例,并不构成对本说明书一个或多个实施例的不当限定。在附图中:
图1为本说明书实施例提供的一种乱序文本识别方法的流程示意图;
图2为本说明书实施例提供的一种序列到序列模型的结构示意图;
图3为本说明书实施例提供的一种序列到序列模型的训练方法的流程示意图;
图4为本说明书实施例提供的对应于图1的一种乱序文本识别装置的结构示意图;
图5为本说明书实施例提供的对应于图3的一种序列到序列模型的训练装置的结构示意图;
图6为本说明书实施例提供的对应于图1的一种乱序文本识别设备的结构示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
现有技术中,不法分子搜集各个金融机构及各类商家的优惠信息,通过注册虚假账户或者虚构用户信息等方式,在商业营销活动中以低成本甚至零成本来换取高额奖励,这对各企业业务的正常运行带来了不利影响。由于不法分子使用的用户姓名、地址信息、邮箱信息等信息中存在大量的乱序文本,因此,可以通过对乱序文本的识别以实现对不法行为的鉴别。
目前,在对乱序文本进行识别时,通常会对大量的正序文本进行统计,以得到任意两个字相邻的概率。当对待识别文本进行识别时,可以确定待识别文本中各个字在各自位置处出现的概率,进而得到待识别文本为乱序文本的概率。这种乱序文本识别方法,由于只考虑相邻文本之间的关联关系,导致乱序文本识别结果的准确性较差。且由于需要使用大量的文本样本进行统计训练,不适用于样本数量有限的场景,可见,这种乱序文本识别方法的适用性较差。
为了解决现有技术中的缺陷,本方案给出了以下实施例:
图1为本说明书实施例提供的一种乱序文本识别方法的流程示意图。从程序角度而言,流程的执行主体可以为搭载于应用服务器的程序。
如图1所示,该流程可以包括以下步骤:
步骤102:获取待识别文本信息。
在本说明书实施例中,根据应用场景的不同,待识别文本信息的类型也不同。例如,当应用于对注册的虚假账户进行识别的场景时,该待识别文本信息可以为用户账户的账户注册信息。例如,待识别文本信息可以包括用户注册账户时输入的用户姓名、邮箱账户标识、用户地址、店铺名称等信息。当应用于采用虚假信息领取资源的场景时,该待识别文本信息可以为用户用于获取指定资源的账户信息。例如,该待识别文本信息可以为用户领域商家优惠券或者红包时输入的用户姓名、用户账户标识、联系邮箱、联系地址等信息。可见,待识别文本信息可包含汉字、数字、英文单词、英文字母、标点符号等多种格式的信息。
步骤104:对所述待识别文本信息进行特征提取,得到待识别文本的特征向量。
在本说明书实施例中,词向量(Word embedding)意为来自词汇表的单词或短语被映射到实数的向量,词向量是自然语言处理中重要的基础,有利于对文本、情感、词义等方面的分析。因此,可以将对待识别文本信息进行特征提取得到的待识别文本的词向量,确定为该待识别文本的特征向量。
步骤106:将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。
在本说明书实施例中,序列到序列模型(即Sequence to Sequence模型,简称为Seq2Seq模型)为编码-解码模型中的一种。图2为本说明书实施例提供的一种序列到序列模型的结构示意图。如图2所示,序列到序列模型可以包括编码器子模型202及解码器子模型204。
为便于理解,结合图2中的内容,对序列到序列模型的工作原理进行举例说明。假定,待识别文本包含三个单词或字符,该待识别文本中的三个单词或字符依序对应的特征向量(即词向量)分别为w0、w1及w2。假定,编码器子模型202的初始隐藏状态为h0。则编码器子模型202在每个时刻输出的隐藏状态hj=L(wj,hj-1),其中,L表示编码器子模型的表达式,wj为待识别文本中第j个单词或字符对应的特征向量,hj-1为编码器子模型在上一时刻输出的隐藏状态。将编码器子模型202在各个时刻输出的隐藏状态依序排列得到向量v,该向量v可以表示为v=(h1,h2,h3)。
假定,解码器子模型204的初始输出为t0。解码器子模型204的每个时刻的输入为向量v以及解码器子模型204在上一时刻的输出。则解码器子模型204在每个时刻的输出tj=F(v,tj-1),其中,F表示解码器子模型的表达式,v为将编码器子模型在各个时刻输出的隐藏状态依序排列得到向量,tj-1为解码器子模型在上一时刻的输出。将解码器子模型204在各个时刻的输出依序排列,得到输出向量,该输出向量可以表示为T=(t1,t2,t3)。该输出向量即为对待识别文本进行排序后得到的排序后文本的特征向量。
在本说明书实施例中,可以预先使用正序文本的特征向量训练初始序列到序列模型,从而令训练后的序列到序列模型学习到正序文本的规律、特征。当后续将待识别文本的特征向量输入训练后的序列到序列模型后,训练后的序列到序列模型会根据学习到的正序文本的规律、特征,对待识别文本的特征向量进行处理,以生成符合正序文本的规律、特征的排序后文本的特征向量。即,可以认为将待识别文本的特征向量输入训练后的序列到序列模型所得到的排序后文本的特征向量,为该待识别文本中包含的单词或字符所能构成的最接近正序文本的文本的特征向量。
在本说明书实施例中,序列到序列模型中的编码器子模型与解码器子模型均可以采用递归神经网络模型实现。其中,递归神经网络模型(recursive neural network)包括多种算法模型,例如,循环神经网络(recurrent neural network)、长短期记忆网络(LongShort-Term Memory)等。步骤106中的序列到序列模型中的编码器子模型及解码器子模型可以采用任意一种递归神经网络模型实现。
在实际应用中,由于循环神经网络存在长序依赖问题,容易产生梯度***。而长短期记忆网络模型引入了遗忘门,易收敛,从而可以解决长序依赖问题。且长短期记忆网络模型可以挖掘各个序列元素之间的关系,适合于处理和预测时间序列中间隔和延迟非常长的重要事件,因此,适用于对文本序列按照一定规律进行重新排序的场景。
当训练后的序列到序列模型中的编码器子模型与解码器子模型均采用长短期记忆网络模型时,经实验证明,该训练后的序列到序列模型的F1分数(F1Score)可达到0.91。其中,F1分数为精确率和召回率的调和平均数。可见,基于该训练后的序列到序列模型处理得到的排序后文本的特征向量的精确性及准确性均较好,进而有利于提升乱序文本识别方法的有效性。且由于训练后的序列到序列模型仅需使用少量的正样本训练初始模型就可以得到,无需去使用大量的正负训练样本,使得乱序文本识别方法可以适用于训练样本数量较少的场景,从而有利于提升乱序文本识别方法的普适性。
步骤108:计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值。
步骤110:当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
在本说明书实施例中,由于排序后文本的特征向量可以被认为是待识别文本中包含的单词或字符所能构成的最接近的正序文本的特征向量。因此,当排序后文本的特征向量与待识别文本的特征向量之间的差异值小于等于预设值时,可以认为待识别文本符合正序文本的特征,即可以认为待识别文本信息为正序文本信息。当排序后文本的特征向量与待识别文本的特征向量之间的差异值大于预设值时,可以认为待识别文本不符合正序文本的特征,即可以认为待识别文本信息为乱序文本信息。
应当理解,本说明书一个或多个实施例所述的方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。
图1中的方法,利用训练后的序列到序列模型对待识别文本信息的特征向量进行处理,以得到排序后文本的特征向量。通过计算排序后文本的特征向量与待识别文本的特征向量之间的差异值,并比较该差异值与预设值的大小,以鉴别该待识别文本信息是否为乱序文本信息。由于训练后的序列到序列模型是使用正序文本的特征向量训练得到的,且该训练后的序列到序列模型的编码器子模型与解码器子模型均可以为递归神经网络模型,从而使得基于该训练后的序列到序列模型处理得到的排序后文本的特征向量的准确性较高,进而可以提高乱序文本识别结果的准确性。
基于图1的方法,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
在本说明书实施例中,步骤104:对所述待识别文本信息进行特征提取,具体可以包括:
采用训练后的Word2vec模型对所述待识别文本信息进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
在本说明书实施例中,Word2vec模型可以用来映射待识别文本信息中的每个词到一个特征向量(即词向量,Word embedding),该特征向量可以表示词与词之间的关系。在实际应用中,可以预先使用正序文本信息训练初始Word2vec模型,以令训练后的Word2vec模型学习正序文本中的词与词之间的关系,从而令基于训练后的Word2vec模型提取到的待识别文本的特征向量准确性更好,进而有利于提升本说明书实施例中的乱序文本识别方法的准确性。
在本说明书实施例中,待识别文本信息的类型有多种,例如,姓名、地址、邮箱等。在实际应用中,应使用同一类型的正序文本样本去训练初始Word2vec模型,并使用训练后的Word2vec模型对与正序文本样本的类型相同的待识别文本信息进行特征提取。例如,利用正序的地址文本样本训练得到的训练后的Word2vec模型,可以用于提取地址文本信息的特征,而不能用于提取姓名文本信息的特征,以确保提取到的待识别文本的特征向量的准确性。
在本说明书实施例中,步骤108:计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值,具体可以包括:
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的距离值。
在本说明书实施例中,计算排序后文本的特征向量与待识别文本的特征向量之间的距离值的实现方法有多种。例如,可以利用欧氏距离计算方法、曼哈顿距离计算方法、明氏距离计算方法等。在实际应用中,可以采用均方根误差(Root Mean Squared Error)计算公式计算排序后文本的特征向量与待识别文本的特征向量之间的距离值,以提升计算得到的距离值的准确性。
在本说明书实施例中,不同应用场景中的待识别文本信息的类型也不同。当应用于对虚假注册账户进行识别的场景时,待识别文本信息可以为账户注册信息。步骤110:确定所述待识别文本信息为乱序文本信息之后,还可以包括:
生成禁止使用控制指令,以禁止用户使用所述账户注册信息对应的账户。
在本说明书实施例中,当待识别文本信息为账户注册信息,且确定该账户注册信息为乱序文本时,可以认为用户在注册账户时,使用了虚假注册信息。而使用虚假注册信息注册的账户为不法分子注册的虚假账户的概率较大,因此,可以生成禁止使用控制指令以停用该账户注册信息对应的账户。从而降低不法分子利用虚假注册账户执行非法行为的几率,进而保障金融机构或商户业务的正常运行。
在实际应用中,还可以同时结合该账户注册信息对应的账户的其他信息,去最终判断该账户注册信息对应的账户是否为虚假注册账户,对此,本说明书实施例不做具体限定。
在本说明书实施例中,当应用于用户利用虚假注册账户或者虚假账户信息去获取指定资源的场景时,待识别文本信息可以为用户用于获取指定资源的账户信息。步骤110:确定所述待识别文本信息为乱序文本信息之后,还可以包括:
生成禁止使用控制指令,以禁止用户使用所述账户信息对应的账户中的所述指定资源。
在本说明书实施例中,为便于理解,对用户利用虚假注册账户或者虚假账户信息去获取指定资源的场景进行举例说明。例如,不法分子可以购买大量的用户识别卡(即Subscriber Identity Modula,简称SIM),从而获取大量手机号码使用权限。并利用姓名生成器、身份***等软件生成大量的虚假用户信息。不法分子会使用手机号码及上述虚假用户信息在各个平台处注册大量的虚假注册账户,以使用这些虚假注册账户去获取金融机构及各类商家提供的优惠。或者,不法分子还可能直接使用编造的虚假账户信息去获取金融机构及各类商家提供的优惠。不法分子的这种行为被称为“薅羊毛”行为。上述金融机构及各类商家提供的优惠即为用户利用虚假注册账户或者虚假账户信息去获取的指定资源。该指定资源可以包括但不限于红包、代金券、实物赠品、移动流量等资源。
在本说明书实施例中,当待识别文本信息为用户用于获取指定资源的账户信息,且确定该用于获取指定资源的账户信息为乱序文本时,可以认为用户在使用虚假注册账户或虚假账户信息去获取指定资源,不符合指定资源的发放规则。因此,可以生成禁止使用控制指令以停用该账户信息对应的账户中的该指定资源。或者,拒绝向该账户信息对应的账户发放该指定资源。从而降低不法分子利用虚假注册账户或虚假账户信息去“薅羊毛”盈利的概率,进而保障金融机构或商户业务的正常运行。
在本说明书实施例中,当确定待识别文本信息为乱序文本信息之后,还可以包括:生成提示信息,所述提示信息用于提示所述待识别文本信息为乱序文本信息。从而便于应用平台对识别出的乱序文本信息进行后续处理,提升乱序文本识别方法的实用性。
图3为本说明书实施例提供的一种序列到序列模型的训练方法的流程示意图。从程序角度而言,流程的执行主体可以为搭载于应用服务器的程序。
如图3所示,该流程可以包括以下步骤:
步骤302:获取样本集合,所述样本集合中的样本为正序文本信息。
在本说明书实施例中,由于应用场景的不同,需要得到的训练后的序列到序列模型的作用不同,进而训练初始序列到序列模型所使用的样本集合中的样本的类型也不同。例如,当需要对待识别姓名文本进行乱序识别时,训练后的序列到序列模型用于对待识别姓名文本进行排序,对应的,训练初始序列到序列模型所使用的样本集合中的样本应为正序的姓名文本。在本说明书实施例中,一个样本集合中的各个样本(即正序文本信息)的类型均相同。
步骤304:对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合。
在本说明书实施例中,步骤304具体可以包括:采用训练后的Word2vec模型对所述样本集合中的各个样本进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
在本说明书实施例中,训练初始Word2vec模型的正序文本信息与样本集合中的样本的类型相同。例如,当样本集合中的样本为姓名文本时,对样本集合中的样本进行特征提取时所采用的训练后的Word2vec模型,应该是使用正序的姓名文本训练初始Word2vec模型而生成的。从而确保采用训练后的Word2vec模型对样本集合中的样本进行特征提取得到的样本特征向量的准确性。
步骤306:使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。
在本说明书实施例中,由于样本特征向量集合中的特征向量是对正序文本信息进行特征提取得到的,当使用样本特征向量集合训练初始序列到序列模型后,可以令训练后的序列到序列模型学习到正序文本的规律、特征。当后续将待识别文本的特征向量输入训练后的序列到序列模型后,训练后的序列到序列模型会根据学习到的正序文本的规律、特征,对待识别文本的特征向量进行处理,以生成符合正序文本的规律、特征的排序后文本的特征向量。即,可以认为训练后的序列到序列模型可以对待识别文本信息进行排序,以得到该待识别文本信息中包含的单词或字符所能构成的最接近的正序文本的特征向量。
在本说明书实施例中,由于采用了词向量去训练初始序列到序列模型得到训练后的序列到序列模型,从而可以利用少量的正序文本信息的特征向量(即词向量)训练初始序列到序列模型,去得到准确性及精确性均较高的排序后的序列到序列模型。可知,本说明书实施例中的序列到序列模型训练方法的普适性较好,不仅适用于训练样本丰富的场景,还能适用于训练样本较少的场景。
在本说明书实施例中,初始序列到序列模型中的编码器子模型及解码器子模型可以采用任意一种递归神经网络模型实现。其中,递归神经网络模型(recursive neuralnetwork)包括多种算法模型,例如,循环神经网络(recurrent neural network)、长短期记忆网络(Long Short-Term Memory)等。当初始序列到序列模型中的编码器子模型与解码器子模型均采用长短期记忆网络模型时,经实验证明,训练后的序列到序列模型的F1分数(F1Score)可达到0.91。其中,F1分数为精确率和召回率的调和平均数。可见,训练后的序列到序列模型的准确性及精确性均较好。进而令利用训练后的序列到序列模型对待识别文本信息的特征向量进行处理得到的排序后文本的特征向量的精确性及准确性也均较好,有利于提升乱序文本识别方法的有效性。
基于同样的思路,本说明书实施例还提供了图1中的方法对应的装置。图4为本说明书实施例提供的对应于图1的一种乱序文本识别装置的结构示意图。如图4所示,该装置可以包括:
获取模块402,用于获取待识别文本信息。
特征提取模块404,用于对所述待识别文本信息进行特征提取,得到待识别文本的特征向量。
排序模块406,用于将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。具体的,所述编码器子模型与所述解码器子模型可以均为长短期记忆网络模型。
差异值计算模块408,用于计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值。
乱序文本信息确定模块410,用于当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
基于图4的装置,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
在说明书实施例中,特征提取模块404具体可以用于:
采用训练后的Word2vec模型对所述待识别文本信息进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
在说明书实施例中,差异值计算模块408具体可以用于:
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的距离值。
在说明书实施例中,当所述待识别文本信息为账户注册信息,所述装置还可以包括:
禁止使用控制指令生成模块,用于在确定所述待识别文本信息为乱序文本信息后,生成禁止使用控制指令,以禁止用户使用所述账户注册信息对应的账户。
在说明书实施例中,当所述待识别文本信息为用户用于获取指定资源的账户信息时,图4中的装置还可以包括:
禁止使用控制指令生成模块,用于在确定所述待识别文本信息为乱序文本信息后,生成禁止使用控制指令,以禁止用户使用所述账户信息对应的账户中的所述指定资源。
在说明书实施例中,图4中的装置还可以包括提示信息生成模块。该提示信息生成模块,可以用于在确定所述待识别文本信息为乱序文本信息之后,生成提示信息,所述提示信息用于提示所述待识别文本信息为乱序文本信息。
基于同样的思路,本说明书实施例还提供了图3中方法对应的装置。图5为本说明书实施例提供的对应于图3的一种序列到序列模型的训练装置的结构示意图。如图5所示,该装置可以包括:
获取模块502,用于获取样本集合,所述样本集合中的样本为正序文本信息。
特征提取模块504,用于对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合。
训练模块506,用于使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。具体的,所述编码器子模型与所述解码器子模型可以均为长短期记忆网络模型。
在本说明书实施例中,特征提取模块504,具体可以用于:
采用训练后的Word2vec模型对所述样本集合中的各个样本进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
基于同样的思路,本说明书实施例还提供了图1中的方法对应的设备。
图6为本说明书实施例提供的对应于图1的一种乱序文本识别设备的结构示意图。如图6所示,设备600可以包括:
至少一个处理器610;以及,
与所述至少一个处理器通信连接的存储器630;其中,
所述存储器630存储有可被所述至少一个处理器610执行的指令620,所述指令被所述至少一个处理器610执行,以使所述至少一个处理器610能够:
获取待识别文本信息。
对所述待识别文本信息进行特征提取,得到待识别文本的特征向量。
将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值。
当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
基于同样的思路,本说明书实施例还提供了图3中的方法对应的序列到序列模型的训练设备。该设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取样本集合,所述样本集合中的样本为正序文本信息。
对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合。
使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone LabsC8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书一个或多个实施例可提供为方法、***、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例是参照根据本说明书一个或多个实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (20)

1.一种乱序文本识别方法,包括:
获取待识别文本信息;
对所述待识别文本信息进行特征提取,得到待识别文本的特征向量;
将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值;
当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
2.如权利要求1所述的方法,所述对所述待识别文本信息进行特征提取,具体包括:
采用训练后的Word2vec模型对所述待识别文本信息进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
3.如权利要求1所述的方法,所述计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值,具体包括:
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的距离值。
4.如权利要求1所述的方法,所述待识别文本信息为账户注册信息,所述确定所述待识别文本信息为乱序文本信息之后,还包括:
生成禁止使用控制指令,以禁止用户使用所述账户注册信息对应的账户。
5.如权利要求1所述的方法,所述待识别文本信息为用户用于获取指定资源的账户信息,所述确定所述待识别文本信息为乱序文本信息之后,还包括:
生成禁止使用控制指令,以禁止用户使用所述账户信息对应的账户中的所述指定资源。
6.如权利要求1所述的方法,所述确定所述待识别文本信息为乱序文本信息之后,还包括:
生成提示信息,所述提示信息用于提示所述待识别文本信息为乱序文本信息。
7.如权利要求1所述的方法,所述编码器子模型与所述解码器子模型均为长短期记忆网络模型。
8.一种序列到序列模型的训练方法,包括:
获取样本集合,所述样本集合中的样本为正序文本信息;
对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合;
使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;所述训练后的序列到序列模型用于接收待识别文本的特征向量,并输出排序后文本的特征向量,以便于根据所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值,确定所述待识别文本信息是否为乱序文本信息。
9.如权利要求8所述的方法,所述对所述样本集合中的各个样本进行特征提取,具体包括:
采用训练后的Word2vec模型对所述样本集合中的各个样本进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
10.如权利要求8所述的方法,所述编码器子模型与所述解码器子模型均为长短期记忆网络模型。
11.一种乱序文本识别装置,包括:
获取模块,用于获取待识别文本信息;
特征提取模块,用于对所述待识别文本信息进行特征提取,得到待识别文本的特征向量;
排序模块,用于将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;
差异值计算模块,用于计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值;
乱序文本信息确定模块,用于当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
12.如权利要求11所述的装置,所述特征提取模块,具体用于:
采用训练后的Word2vec模型对所述待识别文本信息进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
13.如权利要求11所述的装置,所述待识别文本信息为账户注册信息,所述装置还包括:
禁止使用控制指令生成模块,用于在确定所述待识别文本信息为乱序文本信息后,生成禁止使用控制指令,以禁止用户使用所述账户注册信息对应的账户。
14.如权利要求11所述的装置,所述待识别文本信息为用户用于获取指定资源的账户信息,所述装置还包括:
禁止使用控制指令生成模块,用于在确定所述待识别文本信息为乱序文本信息后,生成禁止使用控制指令,以禁止用户使用所述账户信息对应的账户中的所述指定资源。
15.如权利要求11所述的装置,所述编码器子模型与所述解码器子模型均为长短期记忆网络模型。
16.一种序列到序列模型的训练装置,包括:
获取模块,用于获取样本集合,所述样本集合中的样本为正序文本信息;
特征提取模块,用于对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合;
训练模块,用于使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;所述训练后的序列到序列模型用于接收待识别文本的特征向量,并输出排序后文本的特征向量,以便于根据所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值,确定所述待识别文本信息是否为乱序文本信息。
17.如权利要求16所述的装置,所述特征提取模块,具体用于:
采用训练后的Word2vec模型对所述样本集合中的各个样本进行特征提取,所述训练后的Word2vec模型是使用正序文本信息训练初始Word2vec模型而生成的。
18.如权利要求16所述的装置,所述编码器子模型与所述解码器子模型均为长短期记忆网络模型。
19.一种乱序文本识别设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取待识别文本信息;
对所述待识别文本信息进行特征提取,得到待识别文本的特征向量;
将所述待识别文本的特征向量输入训练后的序列到序列模型,得到排序后文本的特征向量;所述训练后的序列到序列模型是使用正序文本的特征向量训练初始序列到序列模型而生成的,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;
计算所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值;
当所述差异值大于预设值时,确定所述待识别文本信息为乱序文本信息。
20.一种序列到序列模型的训练设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取样本集合,所述样本集合中的样本为正序文本信息;
对所述样本集合中的各个样本进行特征提取,得到样本特征向量集合;
使用所述样本特征向量集合训练初始序列到序列模型,得到训练后的序列到序列模型,所述初始序列到序列模型包括编码器子模型及解码器子模型,所述编码器子模型与所述解码器子模型均为递归神经网络模型;所述训练后的序列到序列模型用于接收待识别文本的特征向量,并输出排序后文本的特征向量,以便于根据所述排序后文本的特征向量与所述待识别文本的特征向量之间的差异值,确定所述待识别文本信息是否为乱序文本信息。
CN201911306126.0A 2019-12-18 2019-12-18 一种乱序文本识别方法、装置及设备 Active CN111046658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911306126.0A CN111046658B (zh) 2019-12-18 2019-12-18 一种乱序文本识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911306126.0A CN111046658B (zh) 2019-12-18 2019-12-18 一种乱序文本识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111046658A CN111046658A (zh) 2020-04-21
CN111046658B true CN111046658B (zh) 2023-05-09

Family

ID=70237113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911306126.0A Active CN111046658B (zh) 2019-12-18 2019-12-18 一种乱序文本识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111046658B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618863A (zh) * 2022-12-20 2023-01-17 中国科学院自动化研究所 文本事件序列生成方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766019A (zh) * 2014-01-08 2015-07-08 中兴通讯股份有限公司 网页中文本信息保护方法、装置和***
CN108573048A (zh) * 2018-04-19 2018-09-25 中译语通科技股份有限公司 一种多维数据接入方法及***、大数据接入***
CN110134940A (zh) * 2019-02-27 2019-08-16 中国科学院电工研究所 一种训练文本识别模型、文本连贯性的方法及装置
CN110162767A (zh) * 2018-02-12 2019-08-23 北京京东尚科信息技术有限公司 文本纠错的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766019A (zh) * 2014-01-08 2015-07-08 中兴通讯股份有限公司 网页中文本信息保护方法、装置和***
CN110162767A (zh) * 2018-02-12 2019-08-23 北京京东尚科信息技术有限公司 文本纠错的方法和装置
CN108573048A (zh) * 2018-04-19 2018-09-25 中译语通科技股份有限公司 一种多维数据接入方法及***、大数据接入***
CN110134940A (zh) * 2019-02-27 2019-08-16 中国科学院电工研究所 一种训练文本识别模型、文本连贯性的方法及装置

Also Published As

Publication number Publication date
CN111046658A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
JP6894058B2 (ja) 危険アドレス識別方法及びコンピュータ可読記憶媒体、並びに電子装置
CN107808098B (zh) 一种模型安全检测方法、装置以及电子设备
CN110020938B (zh) 交易信息处理方法、装置、设备及存储介质
CN110263157B (zh) 一种数据风险预测方法、装置及设备
CN107391545B (zh) 一种对用户进行分类的方法、输入方法及装置
CN113221555B (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN110674188A (zh) 一种特征提取方法、装置及设备
CN108346107B (zh) 一种社交内容风险识别方法、装置以及设备
CN110008991B (zh) 风险事件的识别、风险识别模型的生成方法、装置、设备及介质
CN113837638A (zh) 话术确定方法、装置及设备
CN112214652B (zh) 一种报文生成方法、装置及设备
CN114880472A (zh) 数据处理方法、装置及设备
CN110033092B (zh) 数据标签生成、模型训练、事件识别方法和装置
CN109166021A (zh) 记账方法、装置及业务财务一体化***
CN111507726A (zh) 一种报文生成方法、装置及设备
CN111046658B (zh) 一种乱序文本识别方法、装置及设备
CN111339910B (zh) 文本的处理、文本分类模型的训练方法及装置
CN115545720B (zh) 一种模型训练的方法、业务风控的方法及装置
CN110879832A (zh) 目标文本检测方法、模型训练方法、装置及设备
CN115640810A (zh) 一种电力***通信敏感信息识别方法、***及存储介质
Lee et al. Named-entity recognition using automatic construction of training data from social media messaging apps
CN114511376A (zh) 基于多模型的信用数据处理方法及装置
CN112287130A (zh) 一种图形题目的搜索方法、装置以及设备
CN112001662B (zh) 一种商户图像的风险检验方法、装置及设备
CN115423485B (zh) 数据处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant