CN110134936A - 一种分词方法、装置及电子设备 - Google Patents
一种分词方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110134936A CN110134936A CN201810128617.XA CN201810128617A CN110134936A CN 110134936 A CN110134936 A CN 110134936A CN 201810128617 A CN201810128617 A CN 201810128617A CN 110134936 A CN110134936 A CN 110134936A
- Authority
- CN
- China
- Prior art keywords
- participle
- word
- obtains
- result
- error correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012937 correction Methods 0.000 claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 63
- 238000004590 computer program Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 241000287828 Gallus gallus Species 0.000 description 21
- 238000012545 processing Methods 0.000 description 13
- 235000014347 soups Nutrition 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007667 floating Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种分词方法、装置及电子设备。该分词方法包括：对目标字符串进行分词获得第一分词结果；对目标字符串进行错误识别获得识别结果；若识别结果表征目标字符串存在错误，基于识别结果对目标字符串进行纠错；对纠错获得的字符串进行分词获得第二分词结果；基于第二分词结果修正第一分词结果获得修正后的分词结果。在上述技术方案中，通过对目标字符串的纠错，获得正确字符串的分词结果来修正目标字符串的分词结果，解决了因为错误字符导致的分词准确性和实用性大大降低的技术问题，提高了分词的准确性和实用性。
Description
技术领域
本发明涉及软件技术领域，特别涉及一种分词方法、装置及电子设备。
背景技术
随着科学技术的不断发展，分词技术得到了广泛的应用，除了常用的搜索、字符匹配等领域，在选词方面也得到了应用。针对用户选中的或剪切板中的字符提供分词功能，将分词结果展示给用户，辅助用户快捷、准确选取其中部分内容进行理解、使用。
随着分词技术的广泛应用，对分词的准确性要求越来越高。现有技术中，对分词的优化通常是从语法、分词方式、分词数据库方面着手，但现如今这几个方面已经非常完善，进一步优化的难度大，对准确性的提升幅度也非常小，亟需一种新的分词优化方法来提高分词的准确性。
发明内容
本发明实施例提供一种分词方法、装置及电子设备，用于提高语音识别的准确率。
本发明实施例提供一种分词方法，该方法包括：
对目标字符串进行分词获得第一分词结果；
对所述目标字符串进行错误识别获得识别结果；
若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
对所述纠错后的字符串进行分词获得第二分词结果；
基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
可选的，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串，包括：
获取所述识别结果中的错误分词，以及获取与所述错误分词相关的候选词；
基于所述候选词对所述目标字符串中的分词进行替换，获得替换后的候选字符串；
基于所述语言模型对所述候选字符串进行打分，获取打分最高的候选字符串作为纠错后的字符串。
可选的，获取与所述错误分词相关的候选词，包括：
获取与所述错误分词之间读音相同和/或相似的词作为所述候选词。
可选的，获取与所述错误分词相关的候选词，包括：
获取与所述错误分词之间字形相似的词作为所述候选词。
可选的，获取与所述错误分词相关的候选词，包括：
判断所述错误分词中是否包含重复的字和/或词；
若是，去除所述错误分词中重复的字和/或词获得所述候选词；
可选的，获取与所述错误分词相关的候选词，包括：
获得与所述错误分词之间具有N元关系的N元关系词作为所述候选词，N为大于等于2的整数。
可选的，基于所述候选词对将所述目标字符串中的分词进行替换获得替换后的候选字符串，包括：
通过将所述目标字符串中的所述错误分词替换为所述候选词获得所述候选字符串；或者，
通过将所述目标字符串中与所述错误分词之间具有N元关系的N元关系词替换为所述候选词获得所述候选字符串。
可选的，所述方法还包括：展示修正后的分词结果，并对所述错误分词进行提示。
可选的，在所述展示修正后的分词结果之后，所述方法还包括：
获取用户对所述错误分词的选择操作；
响应所述选择操作，显示或者输入所述错误分词对应的正确分词。
本发明实施例还提供一种分词装置，所述装置包括：
分词单元，用于对目标字符串进行分词获得第一分词结果；
识别单元，用于对所述目标字符串进行错误识别获得识别结果；
纠错单元，用于在所述识别结果表征所述目标字符串存在错误的情况下，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
所述分词单元还用于对所述纠错后的字符串进行分词获得第二分词结果；
修正单元，用于基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
可选的，所述纠错单元用于：
获取所述识别结果中的错误分词，以及获取与所述错误分词相关的候选词；基于所述候选词对所述目标字符串中的分词进行替换，获得替换后的候选字符串；基于所述语言模型对所述候选字符串进行打分，获取打分最高的候选字符串作为纠错后的字符串。
可选的，所述纠错单元还用于：获取与所述错误分词之间读音相同和/或相似的词作为所述候选词。
可选的，所述纠错单元还用于：获取与所述错误分词之间字形相似的词作为所述候选词。
可选的，所述纠错单元还用于：判断所述错误分词中是否包含重复的字和/或词；若是，去除所述错误分词中重复的字和/或词获得所述候选词；
可选的，所述纠错单元还用于：获得与所述错误分词之间具有N元关系的N元关系词作为所述候选词，N为大于等于2的整数。
可选的，所述纠错单元还用于：通过将所述目标字符串中的所述错误分词替换为所述候选词获得所述候选字符串；或者，通过将所述目标字符串中与所述错误分词之间具有N元关系的N元关系词替换为所述候选词获得所述候选字符串。
可选的，所述装置还包括：展示单元，用于展示修正后的分词结果，并对所述错误分词进行提示。
可选的，所述装置还包括：响应单元，用于在所述展示修正后的分词结果之后，获取用户对所述错误分词的选择操作；响应所述选择操作，显示或者输入所述错误分词对应的正确分词。
本说明书实施例还提供一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
对目标字符串进行分词获得第一分词结果；
对所述目标字符串进行错误识别获得识别结果；
若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
对所述纠错后的字符串进行分词获得第二分词结果；
基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
对目标字符串进行分词获得第一分词结果；
对所述目标字符串进行错误识别获得识别结果；
若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
对所述纠错后的字符串进行分词获得第二分词结果；
基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：
本申请实施例提供一种分词方法，对目标字符串进行分词获得第一分词结果；基于语言模型和第一分词结果，对目标字符串进行错误识别获得识别结果；若识别结果表征目标字符串存在错误，基于语言模型和识别结果对目标字符串进行纠错；对纠错获得的字符串进行分词获得第二分词结果；基于第二分词结果修正第一分词结果获得修正后的分词结果。即，通过对目标字符串的纠错，获得正确字符串的分词结果来修正目标字符串的分词结果，解决了因为错误字符导致的分词准确性大大降低的技术问题，提高了分词的准确性和实用性。
附图说明
图1为本申请实施例提供的一种分词方法的流程示意图；
图2为本申请实施例提供的一种分词装置的方框图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请实施例提供的技术方案中，通过对目标字符串进行纠错并对纠错后正确的字符串进行分词，基于正确字符串的分词结果来修正目标字符串的分词结果，进而解决因为错误字符导致的分词准确性大大降低的技术问题，提高分词的准确性和实用性。
下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
实施例
请参考图1，本申请实施例提供一种分词方法，该方法包括：
S110：对目标字符串进行分词获得第一分词结果；
S120：对所述目标字符串进行错误识别获得识别结果；
S130：若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
S140：对所述纠错后的字符串进行分词获得第二分词结果；
S150：基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
具体实施过程中，目标字符串可以是搜索引擎的搜索关键字，也可以是用户选中的内容，还可以是剪切板中的字符串。对于搜索关键字，可以在用户确认搜索时，执行S110对搜索关键字进行分词。对于用户选中的内容或者剪切板中的字符串，可以在用户触发分词功能时，执行S110对用户选中的内容或者剪切板中的字符串进行分词。例如：用户选中、用户输入完成或者拷贝一段文本如“比如给你们罐罐鸡汤”，然后，点击分词按钮、双击鼠标左键、执行预设手势等来触发分词功能，那么电子设备执行S110对“比如给你们罐罐鸡汤”进行分词，获得第一分词结果“比如/给/你们/罐罐鸡/汤”。
在执行S110时，可以以最少结果词数为目标、以分词结果路径概率最大(包括一元最大概率、二元最大概率等)来分词，也可以基于自标注的隐马尔科夫(Hidden MarkovModel，HMM)、条件随机场(Conditional Random FieldAlgorithm，CRF)、深度学习等分词模型来分词，本实施例并不限制分词的具体方法。
S110对目标字符串进行分词获得第一分词结果后，执行S120对目标字符串进行错误识别。可以基于语言模型，以及基于机器学习分类算法、字标注/词标注的序列标注方法等机器学习与深度学习方法来进行错误识别，下面以语言模型为例进行详细说明。语言模型描述的是文本的通顺流畅程度，当语言模型得分较差如低于设定阈值时，可判断被打分的目标字符串存在错误，反之，认为被打分的目标字符串正确。
具体的，执行S120时可以将目标字符串的第一分词结果输入预先构建好的N-Gram语言模型或者预先构建好的神经网络语言模型中，通过N-Gram语言模型或者神经网络语言模型对目标字符串进行打分，若得分低于设定阈值，则获得表征目标字符串存在错误的识别结果，反之，则获得表征目标字符串不存在错误的识别结果。当语言模型输出的得分低于设定阈值时，比较第一分词结果中各个分词的得分(即任一分词与其它分词共同出现的条件概率)，从中获取得分最低的一个或多个分词作为目标字符串中的错误分词，并将所述错误分词一并写入识别结果中。
例如：对目标字符串“比如给你们罐罐鸡汤”进行错误识别，将目标字符串的第一分词结果“比如/给/你们/罐罐鸡/汤”输入语言模型中进行打分，获得“比如/给/你们/罐罐鸡/汤”的得分小于设定阈值，那么进一步获得第一分词结果中得分最低的分词“罐罐鸡”作为目标字符串中的错误分词，从而获得识别结果：目标字符串“比如给你们罐罐鸡汤”中存在错误，错误分词为“罐罐鸡”。
当S120获得的识别结果表征目标字符串存在错误的情况下，执行S130基于识别结果，对目标字符串进行纠错获得纠错后的字符串即正确的字符串。同样的，可以通过语言模型的打分，以及基于机器学习分类算法、字标注/词标注的序列标注方法等机器学习与深度学习方法来获得正确的字符串。具体的，获取识别结果中的错误分词，以及获取用于替换错误分词的候选词；基于候选词对所述目标字符串中的分词进行替换，获得替换后的候选字符串；基于语言模型对候选字符串进行打分，获取打分最高的候选字符串作为纠错后的字符串。
在具体实施过程中，获取用于替换错误分词的候选词可以采用随机获取的方式，通过语言模型的打分来反馈确定最终的候选词，但这种方式的计算量非常大，对电子设备的计算能力有很高的要求。本说明书实施例为了减少计算量，采用获取与错误分词相关的词作为候选词。目标字符串中若存在错误，则可能出现以下三种类型的错误：错词、多词、漏词，本说明书实施例基于各个错误类型对应的特征来获取与错误分词相关的候选词。
对于错词，在输入过程中可能因为使用拼音输入法时错输读音或者错选读音相同的词，输入读音相同或者相似的错词。也可能因为采用五笔输入法、手写输入或者看错字形，输入字形相似的错词。在获得与错词相关的候选词时，可以获取与错误分词之间读音相同或相似的词作为候选词，也可以获取与错误分词之间字形相似的词作为候选词。例如：针对错误分词“罐罐鸡”，可以获得读音相同的“灌灌鸡”、与读音相似的“观光鸡”等作为候选词。其中，读音相似或字相似，可以通过根据读音、字形的构成来判断，如读音“in”与“ing”可以判断为相似，字形“罐”和“灌”可以判断为相似。具体的，可以通过基于编辑距离、向量转换等方式计算其构成的相似性，但本实施例并不限定相似度计算的具体方式。例如，可以根据两个读音或字形之间的编辑距离来判断是否相似，在其编辑距离大于等于相似阈值时，判断其为相似，反之则不相似。
对于多词，比较常见的情况就是相同的字和/或词重复输入。可以在获得错误分词时，判断错误分词中是否包含重复的字和/或词；若判断结果为是，错误分词中包含重复的字和/或词，则去除错误分词中重复的字和/或词获得候选词，反之，若否，则通过其它方法获得候选词。例如：针对错误分词“罐罐鸡”，可以获得去除“罐罐鸡”中的重复字词“罐”获得“罐鸡”作为候选词。
对于漏词，则可能是因为输入过程中误删、漏输等原因造成的，而漏词通常为与上文词紧密联系如具有N元关系的词。N元关系是指词与词之间经常关联出现，如“金光灿灿”经常一起使用，为此“金光”与“灿灿”之间具有二元关系，“金光”+“灿灿”为二元关系词，同理，“神马都是浮云”经常一起使用，“神马”+“都是”+“浮云”则为三元关系词。获取与错误分词相关的候选词时，可以获得与错误分词之间具有N元关系的N元关系词作为候选词，N为大于等于2的整数。例如：假设错误分词为“神马都浮云”，那么可以根据三元关系词“神马都是浮云”获得漏词“都是”作为候选词。
具体实施过程中，还可以将上述获取候选分词的方法相结合来获得候选词。例如：将多词和错词的候选词的获取方法相结合，针对错误分词“罐罐鸡”可以获得“灌鸡”作为候选词。当然，错词和漏词的候选词的获取方法也可以结合，多词与漏词的候选词的获取方法也可以结合，甚至三种方法相结合，具体结合方式看错误分词的具体情况而定，本实施例不作具体限定。
在获取候选词之后，将目标字符串中的错误分词替换为候选词，并基于语言模型对替换后的候选字符串进行打分，获得打分最高的候选字符串作为正确的字符串，接着执行S140对纠错后的字符串进行分词获得第二分词结果。由此获得的第二次结果则为正确字符串的分词结果，准确性和实用性更高。
S140之后，执行S150基于获得的第二分词结果修正第一分词结果，获得修正后的分词结果。具体的，按照第二分词结果的分词位置来修正第一分词结果，使得修正后的分词结果与第二分词结果的分词位置相同。例如：第一分词结果为“比如/给/你们/罐罐鸡/汤”，而纠错后的字符串的第二分词结果为“比如/给/你们/灌灌/鸡汤”，那么根据第二分词结果对第一分词结果进行修正，修正后的分词结果为“比如/给/你们/罐罐/鸡汤”。可见，通过对目标字符串的纠错，获得正确字符串的分词结果来修正目标字符串的分词结果，能够有效避免或减少因为错误字符导致的分词准确性大大降低的问题发生，从而提高了分词的准确性和实用性。
具体实施过程中，在S150之后，本实施例还可以进一步对修正后的分词结果进行展示，以方便用户的使用和查看。在展示过程中，还可以对目标字符串中的错误分词进行提示，具体可以通过不同的颜色、字体、错误标识等方式来提供用户该分词可能存在错误，以方便用户进行更正或使用。例如：在展示修正后的分词结果“比如/给/你们/罐罐/鸡汤”时，可以对错误分词“罐罐”进行突出显示：将其颜色显示为与其它分词颜色不同的红色，以提示用户该词可能有误。相应的，本实施例还可以获取用户对错误分词的选择操作如点击、重按等，响应用户的选择操作显示或者输入该错误分词对应的正确分词，或者，无需用户进行选择操作直接展示该错误分词对应的正确分词。
针对上述实施例提供一种分词方法，本申请实施例还对应提供一种分词装置，请参考图2，该装置包括：
分词单元21，用于对目标字符串进行分词获得第一分词结果；
识别单元22，用于对所述目标字符串进行错误识别获得识别结果；
纠错单元23，用于在所述识别结果表征所述目标字符串存在错误的情况下，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
所述分词单元21还用于对所述纠错后的字符串进行分词获得第二分词结果；
修正单元24，用于基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
作为一种可选的实施方式，所述纠错单元23用于：获取所述识别结果中的错误分词，以及获取与所述错误分词相关的候选词；基于所述候选词对所述目标字符串中的分词进行替换，获得替换后的候选字符串；基于所述语言模型对所述候选字符串进行打分，获取打分最高的候选字符串作为纠错后的字符串。
其中，所述纠错单元23可以通过以下任一方式获取与错误分词相关的候选词：获取与所述错误分词之间读音相同和/或相似的词作为所述候选词；获取与所述错误分词之间字形相似的词作为所述候选词；判断所述错误分词中是否包含重复的字和/或词，若是，去除所述错误分词中重复的字和/或词获得所述候选词；获得与所述错误分词之间具有N元关系的N元关系词作为所述候选词，N为大于等于2的整数。
所述纠错单元23在基于候选词对目标字符串中的分词进行替换时，可以通过将所述目标字符串中的所述错误分词替换为所述候选词获得所述候选字符串；或者，通过将所述目标字符串中与所述错误分词之间具有N元关系的N元关系词替换为所述候选词获得所述候选字符串。
作为一种可选的实施方式，所述装置还可以包括：展示单元25，用于展示修正后的分词结果，并对所述错误分词进行提示。进一步的，所述装置还可以包括：响应单元26，用于在所述展示修正后的分词结果之后，获取用户对所述错误分词的选择操作；响应所述选择操作，显示或者输入所述错误分词对应的正确分词。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图3是根据一示例性实施例示出的一种用于实现分词方法的电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图3，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/展现(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个展现接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为展现和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于展现音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种分词方法，所述方法包括：对目标字符串进行分词获得第一分词结果；对所述目标字符串进行错误识别获得识别结果；若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；对所述纠错后的字符串进行分词获得第二分词结果；基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
图3是本发明实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(centralprocessing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入展现接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作***1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种分词方法，其特征在于，所述方法包括：
对目标字符串进行分词获得第一分词结果；
对所述目标字符串进行错误识别获得识别结果；
若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
对所述纠错后的字符串进行分词获得第二分词结果；
基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
2.如权利要求1所述的方法，其特征在于，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串，包括：
获取所述识别结果中的错误分词，以及获取与所述错误分词相关的候选词；
基于所述候选词对所述目标字符串中的分词进行替换，获得替换后的候选字符串；
基于所述语言模型对所述候选字符串进行打分，获取打分最高的候选字符串作为纠错后的字符串。
3.如权利要求2所述的方法，其特征在于，获取与所述错误分词相关的候选词，包括：
获取与所述错误分词之间读音相同和/或相似的词作为所述候选词。
4.如权利要求2所述的方法，其特征在于，获取与所述错误分词相关的候选词，包括：
获取与所述错误分词之间字形相似的词作为所述候选词。
5.如权利要求2所述的方法，其特征在于，获取与所述错误分词相关的候选词，包括：
判断所述错误分词中是否包含重复的字和/或词；
若是，去除所述错误分词中重复的字和/或词获得所述候选词。
6.如权利要求2所述的方法，其特征在于，获取与所述错误分词相关的候选词，包括：
获得与所述错误分词之间具有N元关系的N元关系词作为所述候选词，N为大于等于2的整数。
7.如权利要求2～6任一所述的方法，其特征在于，基于所述候选词对将所述目标字符串中的分词进行替换获得替换后的候选字符串，包括：
通过将所述目标字符串中的所述错误分词替换为所述候选词获得所述候选字符串；或者，
通过将所述目标字符串中与所述错误分词之间具有N元关系的N元关系词替换为所述候选词获得所述候选字符串。
8.一种分词装置，其特征在于，所述装置包括：
分词单元，用于对目标字符串进行分词获得第一分词结果；
识别单元，用于对所述目标字符串进行错误识别获得识别结果；
纠错单元，用于在所述识别结果表征所述目标字符串存在错误的情况下，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
所述分词单元还用于对所述纠错后的字符串进行分词获得第二分词结果；
修正单元，用于基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
9.一种电子设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
对目标字符串进行分词获得第一分词结果；
对所述目标字符串进行错误识别获得识别结果；
若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
对所述纠错后的字符串进行分词获得第二分词结果；
基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：
对目标字符串进行分词获得第一分词结果；
对所述目标字符串进行错误识别获得识别结果；
若所述识别结果表征所述目标字符串存在错误，基于所述识别结果，对所述目标字符串进行纠错获得纠错后的字符串；
对所述纠错后的字符串进行分词获得第二分词结果；
基于所述第二分词结果修正所述第一分词结果，获得修正后的分词结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810128617.XA CN110134936A (zh) | 2018-02-08 | 2018-02-08 | 一种分词方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810128617.XA CN110134936A (zh) | 2018-02-08 | 2018-02-08 | 一种分词方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110134936A true CN110134936A (zh) | 2019-08-16 |
Family
ID=67567452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810128617.XA Pending CN110134936A (zh) | 2018-02-08 | 2018-02-08 | 一种分词方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110134936A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825864A (zh) * | 2019-11-13 | 2020-02-21 | 北京香侬慧语科技有限责任公司 | 一种获取问题答案的方法及装置 |
| CN111931489A (zh) * | 2020-07-29 | 2020-11-13 | 中国工商银行股份有限公司 | 文本纠错方法、装置和设备 |
| CN114676685A (zh) * | 2022-05-26 | 2022-06-28 | 深圳市声扬科技有限公司 | 语音文本错误处理方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000259673A (ja) * | 1999-01-06 | 2000-09-22 | Matsushita Electric Ind Co Ltd | 単語分割方法と装置 |
| CN101727271A (zh) * | 2008-10-22 | 2010-06-09 | 北京搜狗科技发展有限公司 | 一种提供纠错提示的方法、装置及输入法*** |
| CN102135814A (zh) * | 2011-03-30 | 2011-07-27 | 北京搜狗科技发展有限公司 | 一种字词输入方法及*** |
| CN103942190A (zh) * | 2014-04-16 | 2014-07-23 | 安徽科大讯飞信息科技股份有限公司 | 文本分词方法及*** |
| CN104156454A (zh) * | 2014-08-18 | 2014-11-19 | 腾讯科技（深圳）有限公司 | 搜索词的纠错方法和装置 |
| CN104750672A (zh) * | 2013-12-27 | 2015-07-01 | 重庆新媒农信科技有限公司 | 一种应用于搜索中的中文词汇纠错方法及其装置 |
| CN105279149A (zh) * | 2015-10-21 | 2016-01-27 | 上海应用技术学院 | 一种中文文本自动校正方法 |
| CN106202153A (zh) * | 2016-06-21 | 2016-12-07 | 广州智索信息科技有限公司 | 一种es搜索引擎的拼写纠错方法及*** |
| CN106708798A (zh) * | 2015-11-16 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 一种字符串切分方法及装置 |
| CN106951413A (zh) * | 2017-03-24 | 2017-07-14 | 北京百度网讯科技有限公司 | 基于人工智能的分词方法及装置 |
-
2018
- 2018-02-08 CN CN201810128617.XA patent/CN110134936A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000259673A (ja) * | 1999-01-06 | 2000-09-22 | Matsushita Electric Ind Co Ltd | 単語分割方法と装置 |
| CN101727271A (zh) * | 2008-10-22 | 2010-06-09 | 北京搜狗科技发展有限公司 | 一种提供纠错提示的方法、装置及输入法*** |
| CN102135814A (zh) * | 2011-03-30 | 2011-07-27 | 北京搜狗科技发展有限公司 | 一种字词输入方法及*** |
| CN104750672A (zh) * | 2013-12-27 | 2015-07-01 | 重庆新媒农信科技有限公司 | 一种应用于搜索中的中文词汇纠错方法及其装置 |
| CN103942190A (zh) * | 2014-04-16 | 2014-07-23 | 安徽科大讯飞信息科技股份有限公司 | 文本分词方法及*** |
| CN104156454A (zh) * | 2014-08-18 | 2014-11-19 | 腾讯科技（深圳）有限公司 | 搜索词的纠错方法和装置 |
| CN105279149A (zh) * | 2015-10-21 | 2016-01-27 | 上海应用技术学院 | 一种中文文本自动校正方法 |
| CN106708798A (zh) * | 2015-11-16 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 一种字符串切分方法及装置 |
| CN106202153A (zh) * | 2016-06-21 | 2016-12-07 | 广州智索信息科技有限公司 | 一种es搜索引擎的拼写纠错方法及*** |
| CN106951413A (zh) * | 2017-03-24 | 2017-07-14 | 北京百度网讯科技有限公司 | 基于人工智能的分词方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| GELBUKH, A ET AL.: "On correction of semantic errors in natural language texts with a dictionary of literal paronyms", 《2ND INTERNATIONAL ATLANTIC WEB INTELLIGENCE CONFERENCE (AWIC 2004)》, 31 December 2004 (2004-12-31) * |
| 李蓉;: "一个用于OCR输出的中文文本的拼写校对***", 中文信息学报, no. 05, 15 September 2009 (2009-09-15) * |
| 洛桑嘎登;杨媛媛;赵小兵;: "基于知识融合的CRFs藏文分词***", 中文信息学报, no. 06, 15 November 2015 (2015-11-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825864A (zh) * | 2019-11-13 | 2020-02-21 | 北京香侬慧语科技有限责任公司 | 一种获取问题答案的方法及装置 |
| CN111931489A (zh) * | 2020-07-29 | 2020-11-13 | 中国工商银行股份有限公司 | 文本纠错方法、装置和设备 |
| CN111931489B (zh) * | 2020-07-29 | 2023-08-08 | 中国工商银行股份有限公司 | 文本纠错方法、装置和设备 |
| CN114676685A (zh) * | 2022-05-26 | 2022-06-28 | 深圳市声扬科技有限公司 | 语音文本错误处理方法、装置、电子设备及存储介质 |
| CN114676685B (zh) * | 2022-05-26 | 2022-08-26 | 深圳市声扬科技有限公司 | 语音文本错误处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107102746B (zh) | 候选词生成方法、装置以及用于候选词生成的装置 | |
| CN107870677B (zh) | 一种输入方法、装置和用于输入的装置 | |
| CN107688399B (zh) | 一种输入方法和装置、一种用于输入的装置 | |
| CN109961791B (zh) | 一种语音信息处理方法、装置及电子设备 | |
| CN108345581A (zh) | 一种信息识别方法、装置和终端设备 | |
| CN110134936A (zh) | 一种分词方法、装置及电子设备 | |
| CN108803890A (zh) | 一种输入方法、输入装置和用于输入的装置 | |
| CN109783244B (zh) | 处理方法和装置、用于处理的装置 | |
| CN107132927B (zh) | 输入字符的识别方法及装置和用于识别输入字符的装置 | |
| CN109725736B (zh) | 一种候选排序方法、装置及电子设备 | |
| CN113687724A (zh) | 候选字显示方法、装置和电子设备 | |
| CN110780749B (zh) | 一种字符串纠错方法和装置 | |
| CN108628461A (zh) | 一种输入方法和装置、一种更新词库的方法和装置 | |
| CN110858099B (zh) | 候选词生成方法及装置 | |
| CN110968246A (zh) | 中文智能手写输入识别方法及装置 | |
| CN107977089B (zh) | 一种输入方法和装置、一种用于输入的装置 | |
| CN109977424A (zh) | 一种机器翻译模型的训练方法及装置 | |
| CN107688400B (zh) | 一种输入纠错方法和装置、一种用于输入纠错的装置 | |
| CN109901726A (zh) | 一种候选词生成方法、装置及用于候选词生成的装置 | |
| CN109388252B (zh) | 一种输入方法及装置 | |
| CN113407099A (zh) | 输入方法、装置和机器可读介质 | |
| CN109426354B (zh) | 一种输入方法、装置和用于输入的装置 | |
| CN109992120B (zh) | 一种输入纠错方法和装置 | |
| CN112612442A (zh) | 一种输入方法、装置和电子设备 | |
| CN112905023A (zh) | 一种输入纠错方法、装置和用于输入纠错的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |