CN104699668B - 确定词语相似度的方法及装置 - Google Patents
确定词语相似度的方法及装置 Download PDFInfo
- Publication number
- CN104699668B CN104699668B CN201510138290.0A CN201510138290A CN104699668B CN 104699668 B CN104699668 B CN 104699668B CN 201510138290 A CN201510138290 A CN 201510138290A CN 104699668 B CN104699668 B CN 104699668B
- Authority
- CN
- China
- Prior art keywords
- structural
- template
- words
- similarity
- short text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本公开是关于一种确定词语相似度的方法及装置。所述方法，包括：从短文本中获取多个结构词；针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；确定两个结构词共同匹配成功的模板的共同模板数量；根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度；在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短文本数量；根据共同短文本数量，确定两个结构词之间的校正值；根据结构相似度及校正值，计算两个结构词之间的相似度。利用简单的算法计算两个词之间的相似度，节约了大量的计算量，并且提高了计算的准确度。
Description
技术领域
本公开涉及计算机领域，尤其涉及确定词语相似度的方法及装置。
背景技术
相关技术中，在人工智能中的自然语言处理领域中，自然语言的处理内容，包括：命名实体识别，词性标注，短文本聚类，知识抽提，信息检索等。其中，短文本聚类是知识抽提的必要环节，可以用短文本的模板来抽取短文本中的知识点。短文本聚类的依据就是短文本的相似度。而短文本之间的相似度则是短文本中每个词的相似度所决定的。
发明内容
为克服相关技术中存在的问题，本公开提供一种确定词语相似度的方法。利用简单的算法计算两个词之间的相似度，节约了大量的计算量，并且提高了计算的准确度。
根据本公开实施例的第一方面，提供一种确定词语相似度的方法，包括：从短文本中获取多个结构词；针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；确定所述两个结构词共同匹配成功的模板的共同模板数量；根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度；在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共同短文本数量；根据所述共同短文本数量，确定所述两个结构词之间的校正值；根据所述结构相似度及校正值，计算所述两个结构词之间的相似度。
本公开的实施例提供的技术方案可以包括以下有益效果：通过根据两个结构词上下文的信息计算两个结构词的结构相似度，再根据两个结构词出现在相同短文本中的次数，计算两个结构词之间的校正值，根据结构相似度及校正值，计算两个结构词之间的相似度。利用简单的算法计算两个结构词之间的相似度，节约了大量的计算量，并且提高了计算的准确度。
所述根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度是通过以下公式计算，所述公式包括：其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另一个结构词匹配成功的模板的数量。
本公开的实施例提供的技术方案可以包括以下有益效果：通过计算公式计算出的结构相似度时，只需要获得两个结构词共同匹配成功的模板的共同模板数量及与两个结构词分别匹配成功的模板的数量，即可计算两个结构词之间的结构相似度，节省了计算相似度时所需要的大量运算资源。
所述根据所述共同短文本数量，确定所述两个结构词之间的校正值是通过以下公式计算，所述公式包括：C＝(W+1)θ；其中，C为两个结构词之间的校正值，W为所述两个结构词共同匹配成功的短文本的共同短文本数量，θ为校正系数，θ为正整数。
本公开的实施例提供的技术方案可以包括以下有益效果：根据用词习惯，在同一个短文本中同一意思使用相同的结构描述，因此，在同一个短文本中出现的两个结构词认为这两个词的意思不相同。通过两个结构词共同匹配成功的短文本的共同短文本数量，可以准确的计算出两个结构词之间的校正值，用以降低在同一短文本中同时出现的两个结构词之间的相似度。
所述根据所述结构相似度及校正值，计算所述两个结构词之间的相似度是通过以下公式计算，所述公式包括：其中，S为所述两个结构词之间的相似度。
本公开的实施例提供的技术方案可以包括以下有益效果：通过结构相似度及校正值，计算两个结构词之间的相似度，节省了计算相似度时所需要的大量运算资源。
所述确定匹配成功的模板和模板数量，还包括：获得模板出现的次数；当模板出现的次数大于预设阈值时，根据所述模板出现的次数从多到少的顺序进行排列；确定所述模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
本公开的实施例提供的技术方案可以包括以下有益效果：由于不同的短文本可能生成相同的模块，通过模板出现次数可以确定不同的短文本的次数，因此，确定的匹配成功的模板更具有代表性，使计算结构相似度时更准确。
所述模板是通过以下方式生成的：从预设的短文本集合中获取短文本；在所述短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句；确定所述短句中的结构词；根据所述结构词及所述短句中词语的词性，生成模板。
本公开的实施例提供的技术方案可以包括以下有益效果：通过结构词及短句中词语的记性，生成模板。可以仅利用简单的数据结构生成模板，减少了模板生成时所需的运算资源。
根据本公开实施例的第二方面，提供一种确定词语相似度的装置，包括：第一获取模块，用于从短文本中获取多个结构词；第一确定模块，用于针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；第二确定模块，用于确定所述两个结构词共同匹配成功的模板的共同模板数量；第三确定模块，用于根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度；第四确定模块，用于在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共同短文本数量；第五确定模块，用于根据所述共同短文本数量，确定所述两个结构词之间的校正值；计算模块，用于根据所述结构相似度及校正值，计算所述两个结构词之间的相似度。
所述第一确定模块，还包括：获得子模块，用于获得模板出现的次数；排序子模块，用于当模板出现的次数大于预设阈值时，根据所述模板出现的次数从多到少的顺序进行排列；确定子模块，用于确定所述模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
所述模板是通过以下装置生成的：第二获取模块，用于从预设的短文本集合中获取短文本；第六确定模块，用于在所述短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句；第七确定模块，用于确定所述短句中的结构词；生成模块，用于根据所述结构词及所述短句中词语的词性，生成模板。
根据本公开实施例的第三方面，提供一种确定词语相似度的装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：从短文本中获取多个结构词；针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；
确定所述两个结构词共同匹配成功的模板的共同模板数量；根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度；在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共同短文本数量；根据所述共同短文本数量，确定所述两个结构词之间的校正值；根据所述结构相似度及校正值，计算所述两个结构词之间的相似度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种确定词语相似度的方法的流程图。
图2是根据一示例性实施例示出的一种确定词语相似度的方法的详细流程图。
图3是根据一示例性实施例示出的一种确定词语相似度的方法的模板生成方法的流程图。
图4是根据一示例性实施例示出的一种确定词语相似度的装置的框图。
图5是根据一示例性实施例示出的一种确定词语相似度的装置中第一确定模块的框图。
图6是根据一示例性实施例示出的一种确定词语相似度的装置中模板生成的装置的框图。
图7是根据一示例性实施例示出的一种确定词语相似度的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，人工智能中的自然语言处理领域。自然语言处理包括命名实体识别，词性标注，短文本聚类，知识抽提，信息检索等。其中，短文本聚类是知识抽提的必要环节，我们可以用短文本的模板来抽取短文本中的知识点。短文本聚类的依据就是短文本的相似度。而短文本之间的相似度则短文本中每个词的相似度所决定的。
在相关技术中，计算两个结构词之间的相似度的方法有SimRank算法及基于搭配词语向量的余弦值的方法。
其中，SimRank算法是一种基于图的拓扑结构信息来衡量任意两个对象间相似程度的模型，该模型的核心思想为：如果两个对象被其相似的对象所引用(即若两个对象有相似的入邻边结构)，那么这两个对象也相似。
基于搭配词语向量的余弦值的方法是对于一个词语，用与之搭配出现过的词语做成向量。两个词语之间的相似度用对应向量的余弦值表示。
但是，相关技术中，SimRank算法更多地应用于网页相似性的计算，对于短文本来说，无法认为出现在同一个短文本中的词语是相似的(甚至，很多情况下存在一些语义相反的词语)。SimRank算法本质上得到的是两个对象的关联性，而不是短文本需要的词语语义的一致性。
而基于搭配词语向量的余弦值的方法只能描述词语结构上的相似性。比如对于描述流量的领域“使用”、“剩余”的搭配的词语就相近。但是这两个词语在语义上是不同的。并且，使用向量本身就失去了动词所处上下文的结构信息。需要做精确的语义识别时，该方法也不能满足需求。
本公开实施例提供了一种确定词语相似度的方法，通过根据两个结构词上下文的信息计算两个结构词的结构相似度，再根据两个结构词出现在相同短文本中的次数，计算两个结构词之间的校正值，根据结构相似度及校正值，计算两个结构词之间的相似度。利用简单的算法计算两个结构词之间的相似度，节约了大量内存空间。
图1是根据一示例性实施例示出的一种确定词语相似度的方法的流程图，如图1所示，确定词语相似度的方法用于服务器或者终端中，包括以下步骤。
在步骤S101中，从短文本中获取多个结构词。结构词包括动词。由于在一个短文本动词的语义决定该短文本的语义，因此结构词选择为动词。当两个短文本中的两个动词之间相似时，可以判断这两个短文本所表达的意思相似。
在步骤S102中，针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量。
在步骤S103中，确定两个结构词共同匹配成功的模板的共同模板数量。
在步骤S104中，根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度。
在步骤S105中，在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短文本数量。
在步骤S106中，根据共同短文本数量，确定两个结构词之间的校正值。
在步骤S107中，根据结构相似度及校正值，计算两个结构词之间的相似度。
本公开实施例提供了一种确定词语相似度的方法，通过根据两个结构词上下文的信息计算两个结构词的结构相似度，再根据两个结构词出现在相同短文本中的次数，计算两个结构词之间的校正值，根据结构相似度及校正值，计算两个结构词之间的相似度。利用简单的算法计算两个结构词之间的相似度，节约了大量的计算量，并且提高了计算的准确度。
在一个实施例中，在步骤S104中的两个结构词之间的结构相似度是通过以下公式计算，公式包括：
其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另一个结构词匹配成功的模板的数量。
通过计算公式计算出的结构相似度时，只需要获得两个结构词共同匹配成功的模板的共同模板数量及与两个结构词分别匹配成功的模板的数量，其中，结构相似度是指两个结构词分别位于的模板相似的概率，通过计算两个结构词共同出现在同一模板中的概率的平均值得出两个结构词之间的结构相似度。通过将结构词放入模板中进行比较，可以使比较两个结构词的结构相似度时，考虑到结构词上下文的语境，因此，通过上述公式计算的结构相似度更符合两个结构词之间的语义。
在一个实施例中，在步骤S106中两个结构词之间的校正值是通过以下公式计算，公式包括：
C＝(W+1)θ；其中，C为两个结构词之间的校正值，W为两个结构词共同匹配成功的短文本的共同短文本数量，θ为校正系数，θ为正整数。
根据用词***均值，而此时有这两个结构词用于同一短文本中的情况，而根据上述用户词语习惯可知当两个结构词用于同一短文本中时，两个结构词不相似或不相同，因此，应该排除两个结构词共同出现在同一短文本中的这一情况。而通过校正值则可以确定当两个结构词共同出现在同一个短文本中时，这两个结构词的相似度低。通过两个结构词共同匹配成功的短文本的共同短文本数量，可以准确的计算出两个结构词之间的校正值，用以降低在同一短文本中同时出现的两个结构词之间的相似度。
在一个实施例中，在步骤S107中两个结构词之间的相似度是通过以下公式计算，公式包括：
其中，S为两个结构词之间的相似度。
通过结构相似度及校正值，计算两个结构词之间的相似度。由于结构相似度表示两个结构词在使用时的上下文本结构相似，但此时两个结构词的词义并不一定相似，因为如果两个结构词共同出现在同一短文本中时，则这两个结构词的词义不相同或不相似，因此通过引入校正值排除此类的两个结构词，提高了计算两个结构词之间的相似度的准确性，而且由于只需简单的算法进行计算，所以也节约了大量的计算量。
在一个实施例中，在步骤102中，确定匹配成功的模板和模板数量，还可实施为：
在步骤A1中，获得模板出现的次数。
在步骤A2中，当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺序进行排列。
在步骤A3中，确定模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
举例而言，针对“使用”及“剩余”在预设的模板中进行匹配，确定与两个结构词匹配模板数量为40个。其中，“使用”有15个，“剩余”有25个。获得每个模板出现的次数为，“使用”的模板出现的次数大于预设阈值的有10个，“剩余”的模板出现的次数大于预设阈值的有20个。当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺序进行排列。在以模板出现的次数从多到少的排序中取排在前25位的模板，而“使用”及“剩余”与之匹配的模板的模板数量均小于25。则确定“使用”及“剩余”的模板均为匹配成功的模板。即与“使用”匹配的模板数有10个，与“剩余”匹配的模板数有20个。
由于不同的短文本可能生成相同的模块，通过模板出现次数可以确定不同的短文本的次数，因此，确定的匹配成功的模板更具有代表性，使计算结构相似度时更准确。
在一个实施例中，模板是通过以下方式生成的：
在步骤B1中，从预设的短文本集合中获取短文本。
在步骤B2中，在短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句。
在步骤B3中，确定短句中的结构词。
在步骤B4中，根据结构词及短句中词语的词性，生成模板。
举例而言，将通过动词找出的短句进行分词，动词本身用“[self]”代替，其他非动词词语用该词语本身的词性代替，其他动词或者数据信息就直接填自身做成模板。例如，对于动词“使用”，“套餐流量已使用40Mb”分词结果“套餐流量/n，已/d，使用/v，40/m，Mb/qt”，n表示名词，d表示副词，v表示动词，m表示数词，qt表示时间量词，做成模板为“n,d,[self],m,qt”。
通过结构词及短句中词语的记性，生成模板。可以仅利用简单的数据结构生成模板，减少了模板生成时所需的运算资源。
如图2所示，本公开实施例提供了一种确定词语相似度的方法，具体实施步骤如下：
在步骤S201中，从短文本中获取多个结构词。
短文本为“本用套餐流量为100Mb，套餐流量已使用40Mb，套餐剩余流量60Mb。”其中，结构词为动词“为”、“使用”及“剩余”。
在步骤S202中，针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进行匹配，获得模板出现的次数。
针对“使用”及“剩余”在预设的模板中进行匹配，确定与两个结构词匹配模板数量为40个。其中，“使用”有15个，“剩余”有25个。获得每个模板出现的次数为，“使用”的模板出现的次数大于预设阈值的有10个，“剩余”的模板出现的次数大于预设阈值的有20个。
在步骤S203中，当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺序进行排列。
在步骤S204中，确定模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板。
本公开实施例中N为25，在以模板出现的次数从多到少的排序中取排在前25位的模板，而“使用”及“剩余”与之匹配的模板的模板数量均小于25。则确定“使用”及“剩余”的模板均为匹配成功的模板。即与“使用”匹配的模板数有10个，与“剩余”匹配的模板数有20个。
在步骤S205中，确定两个结构词共同匹配成功的模板的共同模板数量。
“使用”及“剩余”共同匹配成功的模板的共同模板数量为10个。
在步骤S206中，通过公式计算两个结构词之间的结构相似度；其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另一个结构词匹配成功的模板的数量。
根据公式计算为则“使用”与“剩余”的结构相似度为
在步骤S207中，在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短文本数量。
在预设的短文本集合中，确定“使用”与“剩余”共同匹配成功的短文本的共同短文本数量为9。
在步骤S208中，通过公式C＝(W+1)θ计算两个结构词之间的校正值；其中，C为两个结构词之间的校正值，W为两个结构词共同匹配成功的短文本的共同短文本数量，θ为校正系数，θ为正整数。
根据公式计算为C＝10θ。其中，θ＝3，C＝1000。
在步骤S209中，根据公式计算两个结构词之间的相似度；其中，S为两个结构词之间的相似度。
根据公开计算所以“使用”与“剩余”的相似度为可以认为“使用”与“剩余”不相似。
本公开实施例提供了一种确定词语相似度的方法。在本公开实施例中“使用”与“剩余”的结构相似度为说明“使用”与“剩余”在短文本的结构上判断是相似的。但根据用词习惯，在同一个短文本中会用相同的词表示一个意思，而如果在同一个短文本中出现两个词时，则这两个词的词意不相似，因此，用结构相似度除以校正值，可以使两个出现在相同短文本中的结构词的相似度下降，最终可以确认这两个结构词不相似。利用结构相似度及校正值，可以减少计算相似度时所消耗的运算资源，并且由于校正值，可以使计算两个结构词的相似度更能体现出两个结构词的词意是否相似。
如图3所示，本公开实施例提供一种确定词语相似度的方法，具体实施步骤如下：
在步骤S301中，从预设的短文本集合中获取短文本。
获取的短文本为“本用套餐流量为100Mb，套餐流量已使用40Mb，套餐剩余流量60Mb。”
在步骤S302中，在短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句。
确定的短句为“本用套餐流量为100Mb”，“套餐流量已使用40Mb”，“套餐剩余流量60Mb”。
在步骤S303中，确定短句中的结构词。
结构词为动词。确定短句中的动词分别为“为”，“使用”，“剩余”。
在步骤S304中，根据结构词及短句中词语的词性，生成模板。
动词本身用“[self]”代替，其他非动词词语用该词语本身的词性代替，其他动词或者数据信息就直接填自身做成模板。例如，对于动词“使用”，“套餐流量已使用40Mb”分词结果“套餐流量/n，已/d，使用/v，40/m，Mb/qt”，n表示名词，d表示副词，v表示动词，m表示数词，qt表示时间量词，做成模板为“n,d,[self],m,qt”。同理“本用套餐流量为100Mb”为“n,d,[self],m,qt”，“套餐剩余流量60Mb”为“n,d,[self],m,qt”。
本公开实施例提供了一种确定词语相似度的方法。通过结构词及短句中词语的记性，生成模板。可以仅利用简单的数据结构生成模板，减少了模板生成时所需的运算资源。
图4是根据一示例性实施例示出的一种确定词语相似度的装置框图。参照图4，该装置包括：
第一获取模块S41被配置为从短文本中获取多个结构词。
第一确定模块S42被配置为针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量。
第二确定模块S43被配置为确定两个结构词共同匹配成功的模板的共同模板数量。
第三确定模块S44被配置为根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度。
第四确定模块S45被配置为在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短文本数量。
第五确定模块S46被配置为根据共同短文本数量，确定两个结构词之间的校正值。
计算模块S47被配置为根据结构相似度及校正值，计算两个结构词之间的相似度。
如图5所示，第一确定模块S42，还包括：
获得子模块S51被配置为获得模板出现的次数。
排序子模块S52被配置为当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺序进行排列。
确定子模块S53被配置为确定模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
如图6所示，模板是通过以下装置生成的：
第二获取模块S61被配置为从预设的短文本集合中获取短文本。
第六确定模块S62被配置为在短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句。
第七确定模块S63被配置为确定短句中的结构词。
生成模块S64被配置为根据结构词及短句中词语的词性，生成模板。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种用于确定词语相似度的装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件706为装置700的各种组件提供电力。电力组件706可以包括电源管理***，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
多媒体组件708包括在该装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信部件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种确定词语相似度的方法，该方法包括：
从短文本中获取多个结构词；
针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；
确定两个结构词共同匹配成功的模板的共同模板数量；
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度；
在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短文本数量；
根据共同短文本数量，确定两个结构词之间的校正值；
根据结构相似度及校正值，计算两个结构词之间的相似度。
在非临时性计算机可读存储介质中存储；
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度是通过以下公式计算，公式包括：
其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另一个结构词匹配成功的模板的数量。
在非临时性计算机可读存储介质中存储：
根据共同短文本数量，确定两个结构词之间的校正值是通过以下公式计算，公式包括：
C＝(W+1)θ；
其中，C为两个结构词之间的校正值，W为两个结构词共同匹配成功的短文本的共同短文本数量，θ为校正系数，θ为正整数。
在非临时性计算机可读存储介质中存储：
其特征在于，根据结构相似度及校正值，计算两个结构词之间的相似度是通过以下公式计算，公式包括：
其中，S为两个结构词之间的相似度。
在非临时性计算机可读存储介质中存储：
确定匹配成功的模板和模板数量，还包括：
获得模板出现的次数；
当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺序进行排列；
确定模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
在非临时性计算机可读存储介质中存储：
模板是通过以下方式生成的：
从预设的短文本集合中获取短文本；
在短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句；
确定短句中的结构词；
根据结构词及短句中词语的词性，生成模板。
一种确定词语相似度的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
从短文本中获取多个结构词；
针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；
确定两个结构词共同匹配成功的模板的共同模板数量；
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度；
在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短文本数量；
根据共同短文本数量，确定两个结构词之间的校正值；
根据结构相似度及校正值，计算两个结构词之间的相似度。
该处理器还可被配置为：
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度是通过以下公式计算，公式包括：
其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另一个结构词匹配成功的模板的数量。
该处理器还可被配置为：
根据共同短文本数量，确定两个结构词之间的校正值是通过以下公式计算，公式包括：
C＝(W+1)θ；
其中，C为两个结构词之间的校正值，W为两个结构词共同匹配成功的短文本的共同短文本数量，θ为校正系数，θ为正整数。
该处理器还可被配置为：
根据结构相似度及校正值，计算两个结构词之间的相似度是通过以下公式计算，公式包括：
其中，S为两个结构词之间的相似度。
该处理器还可被配置为：
确定匹配成功的模板和模板数量，还包括：
获得模板出现的次数；
当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺序进行排列；
确定模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
该处理器还可被配置为：
模板是通过以下方式生成的：
从预设的短文本集合中获取短文本；
在短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句；
确定短句中的结构词；
根据结构词及短句中词语的词性，生成模板。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (9)
1.一种确定词语相似度的方法，其特征在于，包括：
从短文本中获取多个结构词；
针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；
确定所述两个结构词共同匹配成功的模板的共同模板数量；
根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度；
在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共同短文本数量；
根据所述共同短文本数量，确定所述两个结构词之间的校正值；
根据所述结构相似度及校正值，计算所述两个结构词之间的相似度；
所述根据所述结构相似度及校正值，计算所述两个结构词之间的相似度是通过以下公式计算，所述公式包括：
<mrow>
<mi>S</mi>
<mo>=</mo>
<mfrac>
<msub>
<mi>S</mi>
<mi>s</mi>
</msub>
<mi>C</mi>
</mfrac>
<mo>;</mo>
</mrow>
其中，S为所述两个结构词之间的相似度，Ss为两个结构词之间的结构相似度，C为两个结构词之间的校正值。
2.如权利要求1所述的方法，其特征在于，所述根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度是通过以下公式计算，所述公式包括：
<mrow>
<msub>
<mi>S</mi>
<mi>s</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mi>T</mi>
<msub>
<mi>T</mi>
<mi>a</mi>
</msub>
</mfrac>
<mo>+</mo>
<mfrac>
<mi>T</mi>
<msub>
<mi>T</mi>
<mi>b</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，T为两个结构词共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另一个结构词匹配成功的模板的数量。
3.如权利要求1所述的方法，其特征在于，所述根据所述共同短文本数量，确定所述两个结构词之间的校正值是通过以下公式计算，所述公式包括：
C＝(W+1)θ；
其中，W为所述两个结构词共同匹配成功的短文本的共同短文本数量，θ为校正系数，θ为正整数。
4.如权利要求1所述的方法，其特征在于，所述确定匹配成功的模板和模板数量，还包括：
获得模板出现的次数；
当模板出现的次数大于预设阈值时，根据所述模板出现的次数从多到少的顺序进行排列；
确定所述模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
5.如权利要求1所述的方法，其特征在于，所述模板是通过以下方式生成的：
从预设的短文本集合中获取短文本；
在所述短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句；
确定所述短句中的结构词；
根据所述结构词及所述短句中词语的词性，生成模板。
6.一种确定词语相似度的装置，其特征在于，包括：
第一获取模块，用于从短文本中获取多个结构词；
第一确定模块，用于针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；
第二确定模块，用于确定所述两个结构词共同匹配成功的模板的共同模板数量；
第三确定模块，用于根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度；
第四确定模块，用于在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共同短文本数量；
第五确定模块，用于根据所述共同短文本数量，确定所述两个结构词之间的校正值；
计算模块，用于根据所述结构相似度及校正值，计算所述两个结构词之间的相似度；
所述计算模块具体用于：通过以下公式计算所述两个结构词之间的相似度，所述公式包括：
<mrow>
<mi>S</mi>
<mo>=</mo>
<mfrac>
<msub>
<mi>S</mi>
<mi>s</mi>
</msub>
<mi>C</mi>
</mfrac>
<mo>;</mo>
</mrow>
其中，S为所述两个结构词之间的相似度，Ss为两个结构词之间的结构相似度，C为两个结构词之间的校正值。
7.如权利要求6所述的装置，其特征在于，所述第一确定模块，还包括：
获得子模块，用于获得模板出现的次数；
排序子模块，用于当模板出现的次数大于预设阈值时，根据所述模板出现的次数从多到少的顺序进行排列；
确定子模块，用于确定所述模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的正整数。
8.如权利要求6所述的装置，其特征在于，所述模板是通过以下装置生成的：
第二获取模块，用于从预设的短文本集合中获取短文本；
第六确定模块，用于在所述短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本段为短句；
第七确定模块，用于确定所述短句中的结构词；
生成模块，用于根据所述结构词及所述短句中词语的词性，生成模板。
9.一种确定词语相似度的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从短文本中获取多个结构词；
针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；
确定所述两个结构词共同匹配成功的模板的共同模板数量；
根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相似度；
在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共同短文本数量；
根据所述共同短文本数量，确定所述两个结构词之间的校正值；
根据所述结构相似度及校正值，计算所述两个结构词之间的相似度；
所述根据所述结构相似度及校正值，计算所述两个结构词之间的相似度是通过以下公式计算，所述公式包括：
<mrow>
<mi>S</mi>
<mo>=</mo>
<mfrac>
<msub>
<mi>S</mi>
<mi>s</mi>
</msub>
<mi>C</mi>
</mfrac>
<mo>;</mo>
</mrow>
其中，S为所述两个结构词之间的相似度，Ss为两个结构词之间的结构相似度，C为两个结构词之间的校正值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510138290.0A CN104699668B (zh) | 2015-03-26 | 2015-03-26 | 确定词语相似度的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510138290.0A CN104699668B (zh) | 2015-03-26 | 2015-03-26 | 确定词语相似度的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104699668A CN104699668A (zh) | 2015-06-10 |
| CN104699668B true CN104699668B (zh) | 2017-09-26 |
Family
ID=53346807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510138290.0A Active CN104699668B (zh) | 2015-03-26 | 2015-03-26 | 确定词语相似度的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104699668B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569994B (zh) * | 2015-10-10 | 2019-02-26 | 阿里巴巴集团控股有限公司 | 地址的分析方法及装置 |
| CN105824955B (zh) * | 2016-03-30 | 2019-02-19 | 北京小米移动软件有限公司 | 短信聚类方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09212509A (ja) * | 1996-02-05 | 1997-08-15 | Oki Electric Ind Co Ltd | 単文類似度計算装置 |
| JP2003345828A (ja) * | 2002-05-24 | 2003-12-05 | Nippon Telegr & Teleph Corp <Ntt> | 単語類似度計算方法、この方法を実施する装置、単語類似度計算プログラム、このプログラムを記録した記録媒体 |
| CN101079026A (zh) * | 2007-07-02 | 2007-11-28 | 北京百问百答网络技术有限公司 | 文本相似度、词义相似度计算方法和***及应用*** |
| CN101777042A (zh) * | 2010-01-21 | 2010-07-14 | 西南科技大学 | 基于神经网络和标签库的语句相似度算法 |
| CN102279843A (zh) * | 2010-06-13 | 2011-12-14 | 北京四维图新科技股份有限公司 | 处理短语数据的方法以及装置 |
| CN102591862A (zh) * | 2011-01-05 | 2012-07-18 | 华东师范大学 | 一种基于词共现的汉语实体关系提取的控制方法及装置 |
| CN104216880A (zh) * | 2013-05-29 | 2014-12-17 | 北京信息科技大学 | 基于互联网的术语定义辨析方法 |
-
2015
- 2015-03-26 CN CN201510138290.0A patent/CN104699668B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09212509A (ja) * | 1996-02-05 | 1997-08-15 | Oki Electric Ind Co Ltd | 単文類似度計算装置 |
| JP2003345828A (ja) * | 2002-05-24 | 2003-12-05 | Nippon Telegr & Teleph Corp <Ntt> | 単語類似度計算方法、この方法を実施する装置、単語類似度計算プログラム、このプログラムを記録した記録媒体 |
| CN101079026A (zh) * | 2007-07-02 | 2007-11-28 | 北京百问百答网络技术有限公司 | 文本相似度、词义相似度计算方法和***及应用*** |
| CN101777042A (zh) * | 2010-01-21 | 2010-07-14 | 西南科技大学 | 基于神经网络和标签库的语句相似度算法 |
| CN102279843A (zh) * | 2010-06-13 | 2011-12-14 | 北京四维图新科技股份有限公司 | 处理短语数据的方法以及装置 |
| CN102591862A (zh) * | 2011-01-05 | 2012-07-18 | 华东师范大学 | 一种基于词共现的汉语实体关系提取的控制方法及装置 |
| CN104216880A (zh) * | 2013-05-29 | 2014-12-17 | 北京信息科技大学 | 基于互联网的术语定义辨析方法 |
Non-Patent Citations (2)
| Title |
|---|
| "基于语料库的英语词汇搭配的共现形式及计算方法";袁新华;《科技信息》;20121225(第36期);第188页 * |
| "统计与语义相融合的词语相似度计算";郭丽等;《第四届全国学生计算语言学研讨会论文集》;20090424;第125-130页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104699668A (zh) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107766426B (zh) | 一种文本分类方法、装置及电子设备 | |
| EP3133532A1 (en) | Method and device for training classifier and recognizing a type of information | |
| RU2642369C2 (ru) | Аппарат и способ распознавания отпечатка пальца | |
| WO2021128880A1 (zh) | 一种语音识别方法、装置和用于语音识别的装置 | |
| US20170154104A1 (en) | Real-time recommendation of reference documents | |
| CN110781305A (zh) | 基于分类模型的文本分类方法及装置，以及模型训练方法 | |
| CN111368541B (zh) | 命名实体识别方法及装置 | |
| CN110175223A (zh) | 一种实现问题生成的方法及装置 | |
| CN107564526B (zh) | 处理方法、装置和机器可读介质 | |
| CN108345581A (zh) | 一种信息识别方法、装置和终端设备 | |
| CN108121736A (zh) | 一种主题词确定模型的建立方法、装置及电子设备 | |
| CN106202150A (zh) | 信息显示方法及装置 | |
| JP7116088B2 (ja) | 音声情報処理方法、装置、プログラム及び記録媒体 | |
| CN105139848B (zh) | 数据转换方法和装置 | |
| CN116166843B (zh) | 基于细粒度感知的文本视频跨模态检索方法和装置 | |
| CN105469104A (zh) | 文本信息相似度的计算方法、装置及服务器 | |
| CN109977426A (zh) | 一种翻译模型的训练方法、装置以及机器可读介质 | |
| CN111222316A (zh) | 文本检测方法、装置及存储介质 | |
| CN111739535A (zh) | 一种语音识别方法、装置和电子设备 | |
| CN104699668B (zh) | 确定词语相似度的方法及装置 | |
| CN111538998B (zh) | 文本定密方法和装置、电子设备及计算机可读存储介质 | |
| CN113936697B (zh) | 语音处理方法、装置以及用于语音处理的装置 | |
| CN111400443B (zh) | 信息处理方法、装置及存储介质 | |
| CN111274389B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| KR102327790B1 (ko) | 정보 처리 방법, 장치 및 저장 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |