CN109002443B - 一种文本信息的分类方法及装置 - Google Patents
一种文本信息的分类方法及装置 Download PDFInfo
- Publication number
- CN109002443B CN109002443B CN201710420071.0A CN201710420071A CN109002443B CN 109002443 B CN109002443 B CN 109002443B CN 201710420071 A CN201710420071 A CN 201710420071A CN 109002443 B CN109002443 B CN 109002443B
- Authority
- CN
- China
- Prior art keywords
- root
- text information
- preset
- word
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文本信息的分类方法及装置,涉及信息分类技术领域,主要目的在于识别物料信息中的关键词,并基于关键词对物料信息进行分类。本发明主要的技术方案为:将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;根据所述词根在所述文本信息中的位置组合多个词根组;将所述词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;按照所述分类标签对所述文本信息进行分类。本发明主要用于对文本信息分类。
Description
技术领域
本发明涉及信息分类技术领域,尤其涉及一种文本信息的分类方法及装置。
背景技术
SEM(搜索引擎营销,Search Engine Marketing)的基本思想是让用户发现信息,并通过搜索点击进入网站/网页进一步了解他所需要的信息。SEM***的作用是以最小的投入在搜索引擎中获最大的访问量并产生对应的商业价值。在信息检索过程中,用户可以通过搜索词来触发预置的关键词,再通过点击操作由关键词得到相关广告创意,进而进入广告主的网站,达成流量或转化。
在广告主的SEM账户中的关键词、创意等数据一般统称为物料,业务人员经常需要更新物料信息。而对于新的物料信息,如何将其划分到对应的账户中,或者是为新建账户划分物料信息,目前所采用的处理方法是通过人工的方式对物料信息进行识别,并划分到对应的账户中。但对于大量的物料信息,需要在确保实效的前提下,就需要大量的人工来完成,而这种方式在高强度的工作状态下将大幅降低对物料分类的准确性。
发明内容
有鉴于此,本发明提供一种文本信息的分类方法及装置,主要目的在于识别物料信息中的关键词,并基于关键词对物料信息进行分类。
为达到上述目的,本发明主要提供如下技术方案:
一方面,本发明提供了一种文本信息的分类方法,该方法包括:
将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;
根据所述词根在所述文本信息中的位置组合多个词根组;
将所述词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;
根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;
按照所述分类标签对所述文本信息进行分类。
优选的,在将所获取的文本信息进行分词之前,所述方法还包括:
设置预置规则,具体为:
设置所述预置标签中的组合词根,包括词根的顺序以及数量;
对于具有相同词根数量的预置标签,设置不同的优先级。
优选的,所述根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签包括:
确定所述匹配成功的词根组中词根的数量;
当词根数量最多的词根组唯一时,则将所述词根组对应的预置标签作为所述文本信息的分类标签;
当词根数量最多的词根组为多个时,则提取多个词根组中优先级最高的一个词根组所对应的预置标签作为所述文本信息的分类标签。
优选的,将所述词根组与预置标签进行匹配包括:
根据所述词根组中的词根数量和/或词根的排列顺序匹配所述预置标签。
优选的,所述将所获取的文本信息进行分词,得到多个词根包括:
当分词结果中的分词为所述预置关键词时,将所述分词作为一个词根;
当所述分词结果中的分词中含有多个所述预置关键词时,提取所述分词中的多个预置关键词分别作为所述文本信息的词根。
优选的,根据所述词根在所述文本信息中的位置组合多个词根组包括:
确定每个词根在所述文本信息中出现的位置;
按照出现位置的先后顺序生成由多个词根组合的词根组。
另一方面,本发明还提供了一种文本信息的分类装置,该装置包括:
分词单元,用于将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;
组合单元,用于根据所述分词单元得到的词根在所述文本信息中的位置组合多个词根组;
匹配单元,用于将所述组合单元组合的词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;
选择单元,用于根据预置规则在所述匹配单元匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;
标注单元,用于按照所述选择单元确定的分类标签对所述文本信息进行分类。
优选的,所述装置还包括:
设置单元,用于在所述分词单元将所获取的文本信息进行分词之前,设置预置规则,具体还包括:
第一设置模块,用于设置所述预置标签中的组合词根,包括词根的顺序以及数量;
第二设置模块,用于对于具有相同词根数量的预置标签,设置不同的优先级。
优选的,所述选择单元包括:
确定模块,用于确定所述匹配成功的词根组中词根的数量;
选择模块,用于当所述确定模块确定的词根数量最多的词根组唯一时,将所述词根组对应的预置标签作为所述文本信息的分类标签;
所述选择模块还用于,当词根数量最多的词根组为多个时,提取多个词根组中优先级最高的一个词根组所对应的预置标签作为所述文本信息的分类标签。
优选的,所述匹配单元还用于,根据所述词根组中的词根数量和/或词根的排列顺序匹配所述预置标签。
优选的,所述分词单元还用于,当分词结果中的分词为所述预置关键词时,将所述分词作为一个词根;当所述分词结果中的分词中含有多个所述预置关键词时,提取所述分词中的多个预置关键词分别作为所述文本信息的词根。
优选的,所述组合单元包括:
确定模块,用于确定每个词根在所述文本信息中出现的位置;
生成模块,用于按照出现位置的先后顺序生成由多个词根组合的词根组。
为了实现上述目的,根据本发明的另一方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的文本信息的分类方法。
为了实现上述目的,根据本发明的另一方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的文本信息的分类方法。
依据上述本发明所提出的文本信息的分类方法及装置,主要用于在搜索引擎营销中进行广告投放时,对所投放的广告文本信息进行自动分类,以记录个广告文本信息所对应的分类账户,在本发明中,通过将广告文本信息进行分词处理,并根据分词得到的词根进行组合,匹配出符合预置规则的唯一词根组,将其对应的预置标签作为该广告文本信息的分类标签,以便将该广告文本信息划分到该分类标签所对应的分类账户中。该方法会将每个文本信息标记上唯一的一个分类标签,从而保证该文本信息能够精确的进行分类,避免出现相同文本信息被划分到多个分类账户中的重复划分错误,同时,通过该方法还避免了人工操作导致划分错误以及划分效率低下的问题,尤其适用于大批量投放广告的应用场景,在提高分类效率的同时确保分类的准确性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提出的一种文本信息的分类方法的流程图;
图2示出了本发明实施例提出的另一种文本信息的分类方法的流程图;
图3示出了本发明实施例提出的一种文本信息的分类装置的组成框图;
图4示出了本发明实施例提出的另一种文本信息的分类装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种文本信息的分类的方法,如图1所示,该方法应用于在搜索引擎营销中进行广告投放时,对所投放的广告文本信息进行分类。将广告文本信息分配到对应的账户下,以供后续的统计操作,具体步骤包括:
101、将所获取的文本信息进行分词,得到多个词根。
其中,文本信息的来源不限定为用户提供的广告文本信息,也可以是根据用户提供的关键词,通过拓词工具或拓词方法得到大批量的文本信息。
而对于所获取的文本信息,则逐条进行分词处理,其中,本发明实施例对于分词使用的具体方式不做限定,所采用的分词算法可以是基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法中的任一一种。根据对文本信息的分词结果,利用预置的关键词进行筛选,得到该文本信息中所含有的预置关键词,也就是确定出该文本信息中的多个词根,而词根则是用于文本信息分类的预置关键词。一般的,这些预置关键词是由用户在执行本方法之前预先设置的,并且,对于不同的账户可以对应设置至少一个的预置关键词。
102、根据词根在文本信息中的位置组合多个词根组。
在完成对文本信息的分词以及确定对应的词根后,将所得到的词根进行组合,生成多个词根组。在本发明实施例中,对于组合的具体方式不做具体限定,也就是在没有预先设置组合方式的情况下,会根据该文本信息中含有的词根生成包含所有的组合方式的词根组集合。而对于存在预先设置组合方式的情况,则可以根据设定的方式生成对应的词根组,或者是在包含所有的组合方式的词根组集合中按照预设的规则筛选符合的词根组。
需要说明的是,本步骤中的词根组是根据词根在文本信息中的位置进行组合的,也就是预先设置有组合方式是根据词根在文本中的具***置。其中,对于位置的限定可以是词根出现的先后顺序,也可以是词根出现的段落或句子中的位置,即出现在相同段落或句子中的词根才进行批次的组合。
103、将词根组与预置标签进行匹配。
其中,预置标签是由多个词根组合对应的组合标识,也就是预先设置的词根组,每个预设的词根组都存在有唯一对应的组合标识,即预置标签。
基于预置标签,本步骤将得到的词根组逐一与预置标签进行匹配,其中,匹配的内容还包括判断该词根组中所含有的词根是否与预置标签中所含有的词根相同,以及判断词根组中词根的排列顺序是否与预置标签中词根的排列顺序相同。而对于匹配的内容可根据实际应用场景的变化进行调整,从而控制与预置标签相匹配的词根组数量。例如,匹配规则限定为词根顺序相同时,则词根组中的含有预置标签中的词根,且顺序相同的均为匹配的词根组,假设预置标签的词根组为(1,2),待匹配的词根组为(4,1,2),(1,2),(2,3,1),则(4,1,2)和(1,2)为符合匹配规则的词根组。
根据本步骤的匹配结果,当文本信息中不含有符合预置标签的词根组时,则为该文本信息标注未知标签,通过该位置标签告知用户该文本信息根据当前提供的关键词无法进行识别及分类。而当文本信息中仅含有一个符合预置标签的词根组时,则将该词根组相匹配的预置标签作为该文本信息的分类标签。当文本信息中含有多个符合预置标签的词根组时,则执行步骤104,进一步确定该文本信息的分类标签。
需要说明的是,上述匹配的结果是相对预置标签而言,也就是匹配文本信息中的词根组是符合一个预置标签含有的词根,还是符合多个预置标签含有的词根。
104、根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为文本信息的分类标签。
当文本信息中存在于多个预置标签相匹配的词根组时,就需要通过本步骤从多个预置标签中选择一个预置标签作为该文本信息的分类标签。也就是说,标记在文本信息上的分类标签为多个预置标签中的一个。
而本步骤中选择预置标签的方式则是根据预置规则执行的,其中,该预置规则可由用户自定义设置,可以根据预置标签中含有的词根数量确定预置规则,也可以为预置标签设置优先级,将预置规则设置为按照优先级进行选择。
105、按照分类标签对文本信息进行分类。
在完成对文本信息标记分类标签的步骤后,将可以根据具体的分类标签将文本信息划分到对应的账户中。其中,账户对应的分类标签数量不限定为一个或多个。
而对于标记有未知标签的文本信息,则可以新建一个账户,用于收集这些文本信息,并再增加分类标签或关键词后对该账户中的文本信息进行再分配。
结合上述的实现方式可以看出,本发明实施例所采用的文本信息的分类方法,是通过对文本信息标记分类标签的方式实现对文本信息分类的目的,而对于所标记的分类标签,则是通过分析文本信息中所含有的关键词,使得文本信息能够标记与该文本信息内容最为匹配的一个预置标签作为分类标签,进而实现对文本信息的自动标注以及自动分类,相对于现有的人工分类,本发明实施例在大批量投放广告的应用场景下,能够快速地实现文本信息的分类,并且提高分类的准确性。
以下为了更加详细地说明本发明提出的一种文本信息的分类方法,本发明实施例将结合具体示例说明所提出了一种文本信息的分类方法,如图2所示,该方法对文本信息的解析以及与预置标签的匹配的具体步骤如下:
201、设置预置规则。
该预置规则可以由用户通过设置界面自定义设置具体规则,而该规则主要用于在后续选择唯一的预置标签时所遵循的原则。
在本发明实施例中,所设置的具体内容包括:
1、设置预置标签中的组合词根,包括词根的顺序以及数量。
即确定用于匹配的预置标签,该预置标签中所包含的词根,还需要进一步的确定其中的词根个数,以及词根的排列顺序。
2、对于具有相同词根数量的预置标签,设置不同的优先级。
在本发明实施例中,不同的预置标签具有不同的优先级,其中,对于词根数量不同的预置标签,词根越多的其优先级也就越高。而对于词根数量相同的预置标签,则需要根据用户的设置来确定不同预置标签的优先级,即由用户指定预置标签的优先级,或者用户指定词根的优先级,以此确定预置标签的具体优先级。
202、将所获取的文本信息进行分词,得到多个词根。
本步骤与上述实施例中的步骤101相同,具体的实现过程可参考步骤101中的内容。在发明实施例中,对文本信息的分词是基于步骤201中所设置的预置标签中的词根,将这些词根作为预置关键词与分词结果中的分词进行对比,当分词为预置关键词时,则确定该文本信息中含有该词根,而当分词中含有多个预置关键词是,则将所含有的多个预置关键词均作为该文本信息的词根。
203、根据词根在文本信息中的位置组合多个词根组。
在本步骤中进行的组合是按照词根在文本信息中的出现的先后顺序进行排列的组合。
由于在文本信息中一个词根所对应的分词可能是重复多次出现的,因此,在确定词根的位置时是根据其在文本信息中首次出现的位置加以记录。再根据该位置对不同的词根进行排序,按照该排序生成对应的词根组。例如,在一个文本信息中出现的词根排序为(1,2,3),则生成的词根组合仅包括:(1,2),(2,3),(1,3)以及(1,2,3)四组,而排除了(1,3,2),(2,1)等非顺序排列的组合。
204、根据词根组中的词根数量和/或词根的排列顺序匹配预置标签。
将得到的词根组与预置标签中对应的词根进行匹配,在本步骤中,匹配的具体内容包括词根的数量,或者是词根的排列顺序,亦或是两者相结合进行的匹配。对于需要精确匹配的场景则通过最后一种方式来确定文本信息的内容是否符合预置标签,即词根组合中词根的数量要与预置标签中的词根数量相同,且词根的排列顺序也相同。如此,在词根组与预置标签中的词根完全相同时,则两者匹配成功。
需要说明的是,当一个预置标签与文本信息中的词根组匹配成功时,将不再使用其他的词根组与该预置标签进行匹配,即匹配的是文本信息是否与预置标签相匹配,而无需计算具有与该预置标签相匹配的词根组数量。
205、确定文本信息对应的唯一分类标签,并根据该分类标签进行分类。
基于步骤204的匹配过程,若不存在相匹配的预置标签时,则对文本信息标记未知标签;若仅存在唯一匹配的预置标签时,则将该预置标签作为分类标签标记在文本信息中;而若存在多个匹配的预置标签时,则需要通过步骤201中所预先设置的规则选择一个预置标签作为分类标签标记在文本信息中,也就是根据词根个数或者是预置标签的优先级,选择词根数量最多,或者是优先级最高的预置标签作为分类标签进行标记。
在完成相应的标记后,根据分类标签将各个文本信息划分到对应的账户中。
以下通过具体的应用加以举例说明:
在为某金融产品客户投放广告信息时,投放的文本信息为“保本理财产品哪个银行好”,其中,保本、理财、银行、哪个为词根,基于这些词根设置的预置标签为:
保本理财——(保本,理财)
银行理财——(银行,理财)
保本理财疑问词——(保本,理财,哪个)
银行理财疑问词——(银行,理财,哪个)
经过对该文本信息的分词后,得到:保本、理财、产、品、哪个、银行、好,确定其含有的词根为:保本、理财、哪个、银行。
将按照词根顺序组合得到的词根组与预置标签进行匹配后,得到相匹配的(保本,理财)和(保本,理财,哪个)两个预置标签,再根据预置标签中的词根数量,将预置标签“保本理财疑问词”确定为该文本信息的分类标签,并将“保本理财疑问词”标记在该文本信息中,以便后续的分类处理。
为了实现上述目的,根据本发明的另一方面,本发明实施例还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的网站日志中访客信息的识别方法。
为了实现上述目的,根据本发明的另一方面,本发明实施例还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的网站日志中访客信息的识别方法。
进一步的,作为对上述方法的实现,本发明实施例提供了一种文本信息的分类装置,该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置用于分析或获取文本信息的设备中,如图3所示,该装置包括:
分词单元31,用于将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;
组合单元32,用于根据所述分词单元31得到的词根在所述文本信息中的位置组合多个词根组;
匹配单元33,用于将所述组合单元32组合的词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;
选择单元34,用于根据预置规则在所述匹配单元33匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;
标注单元35,用于按照所述选择单元34确定的分类标签对所述文本信息进行分类。
进一步的,如图4所示,所述装置还包括:
设置单元36,用于在所述分词单元31将所获取的文本信息进行分词之前,设置预置规则,具体还包括:
第一设置模块361,用于设置所述预置标签中的组合词根,包括词根的顺序以及数量;
第二设置模块362,用于对于具有相同词根数量的预置标签,设置不同的优先级。
进一步的,如图4所示,所述选择单元34包括:
确定模块341,用于确定所述匹配成功的词根组中词根的数量;
选择模块342,用于当所述确定模块341确定的词根数量最多的词根组唯一时,将所述词根组对应的预置标签作为所述文本信息的分类标签;
所述选择模块342还用于,当词根数量最多的词根组为多个时,提取多个词根组中优先级最高的一个词根组所对应的预置标签作为所述文本信息的分类标签。
进一步的,所述匹配单元33还用于,根据所述词根组中的词根数量和/或词根的排列顺序匹配所述预置标签。
进一步的,所述分词单元31还用于,当分词结果中的分词为所述预置关键词时,将所述分词作为一个词根;当所述分词结果中的分词中含有多个所述预置关键词时,提取所述分词中的多个预置关键词分别作为所述文本信息的词根。
进一步的,如图4所示,所述组合单元32包括:
确定模块321,用于确定每个词根在所述文本信息中出现的位置;
生成模块322,用于按照所述确定模块321确定的词根出现位置的先后顺序生成由多个词根组合的词根组。
综上所述,本发明实施例所采用的文本信息的分类方法及装置,是通过对文本信息标记分类标签的方式实现对文本信息分类的目的,而对于所标记的分类标签,则是通过分析文本信息中所含有的关键词,使得文本信息能够标记与该文本信息内容最为匹配的一个预置标签作为分类标签,进而实现对文本信息的自动标注以及自动分类,相对于现有的人工分类,本发明实施例在大批量投放广告的应用场景下,能够快速地实现文本信息的分类,并且提高分类的准确性。
所述文本信息的分类装置包括处理器和存储器,上述分词单元、组合单元、匹配单元、选择单元和标注单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现识别物料信息中的关键词,并基于关键词对物料信息进行分类。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述文本信息的分类方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述文本信息的分类方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;根据所述词根在所述文本信息中的位置组合多个词根组;将所述词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;按照所述分类标签对所述文本信息进行分类。
进一步的,在此步骤基础上还包括:设置预置规则,具体为:设置所述预置标签中的组合词根,包括词根的顺序以及数量;对于具有相同词根数量的预置标签,设置不同的优先级。
进一步的,所述根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签包括:确定所述匹配成功的词根组中词根的数量;当词根数量最多的词根组唯一时,则将所述词根组对应的预置标签作为所述文本信息的分类标签;当词根数量最多的词根组为多个时,则提取多个词根组中优先级最高的一个词根组所对应的预置标签作为所述文本信息的分类标签。
进一步的,将所述词根组与预置标签进行匹配包括:根据所述词根组中的词根数量和/或词根的排列顺序匹配所述预置标签。
进一步的,所述将所获取的文本信息进行分词,得到多个词根包括:当分词结果中的分词为所述预置关键词时,将所述分词作为一个词根;当所述分词结果中的分词中含有多个所述预置关键词时,提取所述分词中的多个预置关键词分别作为所述文本信息的词根。
进一步的,根据所述词根在所述文本信息中的位置组合多个词根组包括:确定每个词根在所述文本信息中出现的位置;按照出现位置的先后顺序生成由多个词根组合的词根组。
而本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;根据所述词根在所述文本信息中的位置组合多个词根组;将所述词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;按照所述分类标签对所述文本信息进行分类。
进一步的,在此步骤基础上还包括:设置预置规则,具体为:设置所述预置标签中的组合词根,包括词根的顺序以及数量;对于具有相同词根数量的预置标签,设置不同的优先级。
进一步的,所述根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签包括:确定所述匹配成功的词根组中词根的数量;当词根数量最多的词根组唯一时,则将所述词根组对应的预置标签作为所述文本信息的分类标签;当词根数量最多的词根组为多个时,则提取多个词根组中优先级最高的一个词根组所对应的预置标签作为所述文本信息的分类标签。
进一步的,将所述词根组与预置标签进行匹配包括:根据所述词根组中的词根数量和/或词根的排列顺序匹配所述预置标签。
进一步的,所述将所获取的文本信息进行分词,得到多个词根包括:当分词结果中的分词为所述预置关键词时,将所述分词作为一个词根;当所述分词结果中的分词中含有多个所述预置关键词时,提取所述分词中的多个预置关键词分别作为所述文本信息的词根。
进一步的,根据所述词根在所述文本信息中的位置组合多个词根组包括:确定每个词根在所述文本信息中出现的位置;按照出现位置的先后顺序生成由多个词根组合的词根组。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种文本信息的分类方法,其特征在于,所述方法包括:
设置预置规则,具体为:
设置预置标签中的组合词根,包括词根的顺序以及数量;
对于具有相同词根数量的预置标签,设置不同的优先级;
将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;
根据所述词根在所述文本信息中的位置组合多个词根组;
将所述词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;
根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;
按照所述分类标签对所述文本信息进行分类。
2.根据权利要求1所述的方法,其特征在于,所述根据预置规则在匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签包括:
确定所述匹配成功的词根组中词根的数量;
当词根数量最多的词根组唯一时,则将所述词根组对应的预置标签作为所述文本信息的分类标签;
当词根数量最多的词根组为多个时,则提取多个词根组中优先级最高的一个词根组所对应的预置标签作为所述文本信息的分类标签。
3.根据权利要求1或2所述的方法,其特征在于,将所述词根组与预置标签进行匹配包括:
根据所述词根组中的词根数量和/或词根的排列顺序匹配所述预置标签。
4.根据权利要求1所述的方法,其特征在于,所述将所获取的文本信息进行分词,得到多个词根包括:
当分词结果中的分词为所述预置关键词时,将所述分词作为一个词根;
当所述分词结果中的分词中含有多个所述预置关键词时,提取所述分词中的多个预置关键词分别作为所述文本信息的词根。
5.根据权利要求1或4所述的方法,其特征在于,根据所述词根在所述文本信息中的位置组合多个词根组包括:
确定每个词根在所述文本信息中出现的位置;
按照出现位置的先后顺序生成由多个词根组合的词根组。
6.一种文本信息的分类装置,其特征在于,所述装置包括:
设置单元,用于在分词单元将所获取的文本信息进行分词之前,设置预置规则,具体还包括:
第一设置模块,用于设置预置标签中的组合词根,包括词根的顺序以及数量;
第二设置模块,用于对于具有相同词根数量的预置标签,设置不同的优先级;
分词单元,用于将所获取的文本信息进行分词,得到多个词根,所述词根为用于文本信息分类的预置关键词;
组合单元,用于根据所述分词单元得到的词根在所述文本信息中的位置组合多个词根组;
匹配单元,用于将所述组合单元组合的词根组与预置标签进行匹配,所述预置标签是由多个词根组合对应的组合标识;
选择单元,用于根据预置规则在所述匹配单元匹配成功的词根组中选择一个词根组对应的预置标签作为所述文本信息的分类标签;
标注单元,用于按照所述选择单元确定的分类标签对所述文本信息进行分类。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1-5中任一项所述的文本信息的分类方法。
8.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1-5中任一项所述的文本信息的分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710420071.0A CN109002443B (zh) | 2017-06-06 | 2017-06-06 | 一种文本信息的分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710420071.0A CN109002443B (zh) | 2017-06-06 | 2017-06-06 | 一种文本信息的分类方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109002443A CN109002443A (zh) | 2018-12-14 |
CN109002443B true CN109002443B (zh) | 2021-12-28 |
Family
ID=64572985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710420071.0A Active CN109002443B (zh) | 2017-06-06 | 2017-06-06 | 一种文本信息的分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109002443B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666405B (zh) * | 2019-03-06 | 2023-07-07 | 百度在线网络技术(北京)有限公司 | 用于识别文本蕴含关系的方法和装置 |
CN110472015B (zh) * | 2019-08-13 | 2022-12-13 | 腾讯科技(深圳)有限公司 | 一种文本信息提取方法、装置、终端及存储介质 |
CN111191428B (zh) | 2019-12-27 | 2022-02-25 | 北京百度网讯科技有限公司 | 评论信息处理方法、装置、计算机设备和介质 |
CN111259117B (zh) * | 2020-01-16 | 2023-11-21 | 广州拉卡拉信息技术有限公司 | 短文本批量匹配方法及装置 |
CN111291195B (zh) * | 2020-01-21 | 2021-08-10 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、终端及可读存储介质 |
CN112287042A (zh) * | 2020-11-22 | 2021-01-29 | 长沙修恒信息科技有限公司 | 一种erp***中物料名称处理*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102033964A (zh) * | 2011-01-13 | 2011-04-27 | 北京邮电大学 | 基于块划分及位置权重的文本分类方法 |
US8756234B1 (en) * | 2004-11-16 | 2014-06-17 | The General Hospital Corporation | Information theory entropy reduction program |
CN104063502A (zh) * | 2014-07-08 | 2014-09-24 | 中南大学 | 一种基于语义模型的wsdl半结构化文档相似性分析及分类方法 |
CN105183838A (zh) * | 2015-09-02 | 2015-12-23 | 有戏(厦门)网络科技有限公司 | 一种基于素材获取的文本编辑方法及*** |
CN105224695A (zh) * | 2015-11-12 | 2016-01-06 | 中南大学 | 一种基于信息熵的文本特征量化方法和装置及文本分类方法和装置 |
CN105573968A (zh) * | 2015-12-10 | 2016-05-11 | 天津海量信息技术有限公司 | 基于规则的文本标引方法 |
CN106354872A (zh) * | 2016-09-18 | 2017-01-25 | 广州视源电子科技股份有限公司 | 文本聚类的方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2598300C2 (ru) * | 2015-01-27 | 2016-09-20 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способы и системы автоматического распознавания символов с использованием дерева решений |
-
2017
- 2017-06-06 CN CN201710420071.0A patent/CN109002443B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8756234B1 (en) * | 2004-11-16 | 2014-06-17 | The General Hospital Corporation | Information theory entropy reduction program |
CN102033964A (zh) * | 2011-01-13 | 2011-04-27 | 北京邮电大学 | 基于块划分及位置权重的文本分类方法 |
CN104063502A (zh) * | 2014-07-08 | 2014-09-24 | 中南大学 | 一种基于语义模型的wsdl半结构化文档相似性分析及分类方法 |
CN105183838A (zh) * | 2015-09-02 | 2015-12-23 | 有戏(厦门)网络科技有限公司 | 一种基于素材获取的文本编辑方法及*** |
CN105224695A (zh) * | 2015-11-12 | 2016-01-06 | 中南大学 | 一种基于信息熵的文本特征量化方法和装置及文本分类方法和装置 |
CN105573968A (zh) * | 2015-12-10 | 2016-05-11 | 天津海量信息技术有限公司 | 基于规则的文本标引方法 |
CN106354872A (zh) * | 2016-09-18 | 2017-01-25 | 广州视源电子科技股份有限公司 | 文本聚类的方法及*** |
Non-Patent Citations (1)
Title |
---|
面向功能的Web服务分类***研究与实现;王华兰等;《小型微型计算机***》;20130115;第46-53页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109002443A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109002443B (zh) | 一种文本信息的分类方法及装置 | |
US11301525B2 (en) | Method and apparatus for processing information | |
CN110348580B (zh) | 构建gbdt模型的方法、装置及预测方法、装置 | |
CN109561326B (zh) | 一种数据查询方法及装置 | |
CN108090041B (zh) | 一种广告创意的生成方法及装置 | |
US8521579B2 (en) | Predicting marketing campaigns having more than one step | |
CN111831629B (zh) | 一种数据处理方法及装置 | |
CN111125086B (zh) | 获取数据资源的方法、装置、存储介质及处理器 | |
CN109918658B (zh) | 一种从文本中获取目标词汇的方法及*** | |
CN110569330A (zh) | 一种基于智能选词的文本标注***及装置、设备、介质 | |
CN106997350B (zh) | 一种数据处理的方法及装置 | |
CN106909567B (zh) | 数据处理方法及装置 | |
CN112434884A (zh) | 一种供应商分类画像的建立方法及装置 | |
CN110046188A (zh) | 业务处理方法及其*** | |
CN105677677A (zh) | 一种信息分类方法及装置 | |
CN110673828A (zh) | 一种产品配置方法 | |
CN108984572B (zh) | 网站信息推送方法及装置 | |
CN107430633A (zh) | 与数据存储***相关联的经相关优化的代表性内容 | |
CN113919936B (zh) | 样本数据的处理方法及装置 | |
CN115293243A (zh) | 数据资产智能匹配的实现方法、装置及设备 | |
CN106776654B (zh) | 一种数据搜索方法及装置 | |
CN109359274A (zh) | 一种对批量生成的字符串进行识别的方法、装置及设备 | |
CN110807082A (zh) | 质量抽检项目确定方法、***、电子设备及可读存储介质 | |
CN112307004B (zh) | 数据治理方法、装置、设备及存储介质 | |
CN106971306B (zh) | 产品问题的识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: Beijing Guoshuang Technology Co.,Ltd. Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing Applicant before: Beijing Guoshuang Technology Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |