CN109739955A - 基于分词与多模匹配的房源标签自动提取装置及其方法 - Google Patents

Abstract

本发明涉及一种基于分词与多模匹配的房源标签自动提取装置及其方法，包括标签生成模块，用于发现房源描述词并生成标签库；标签放弃模块，用于对互斥的房源描述词进行放弃；分词模块，用于对标签库内的房源描述词进行分词；多模匹配模块，用于对输入的文本匹配出标签库中的多个目标词。本发明的优点是：方便购房者从冗长的房源描述中，提取出人们最关心的结构化特征，在比较醒目的地方展示，让购房者可以迅速了解，对比房源特色，判断是否对该房源敢兴趣。

Description

基于分词与多模匹配的房源标签自动提取装置及其方法

技术领域

本发明涉及一种基于分词与多模匹配的房源标签自动提取方法。

背景技术

当前没有自动化给房源打标签的产品，经纪公司都是根据经验设定了一些标签，然后录入房源时人工录入标签的。

标签种类不够丰富，各个平台标签体系也不一致，房源是否有和有几个标签完全取决于经纪公司的制度和经纪人的态度。

购房者在了解购房信息时，阅读的房源信息冗长，不能有效快速的了解房源信息。

发明内容

为克服现有技术的缺陷，本发明提供一种基于分词与多模匹配的房源标签自动提取方法，本发明的技术方案是：

基于分词与多模匹配的房源标签自动提取装置，包括标签生成模块，用于发现房源描述词并生成标签库；标签放弃模块，用于对互斥的房源描述词进行放弃；分词模块，用于对标签库内的房源描述词进行分词；多模匹配模块，用于对输入的文本匹配出标签库中的多个目标词。

一种房源标签自动提取方法，包括以下步骤：

S1、发现房源描述词并生成标签库，

S2、对互斥的标签进行放弃，

S3、反复对标签库内的房源描述词进行分词，

S4、对输入的文本匹配出标签库中的多个目标词。

所述的步骤S1具体为：基于标签库的规则要求，搜索整合房源描述词，并对一些不规则的描述词进行转换，建立标签库；

所述的步骤S2具体为：对与互斥的标签进行标注，当一套房源匹配上了互斥的标签时，则放弃此类标签。

所述的步骤S3具体为：通过中文分词工具对多套房源的房源描述词进行分词。

所述的步骤S4具体为：基于Aho-Corasick 多模式匹配算法，搜索待处理的文本。

本发明的优点是：方便购房者从冗长的房源描述中，提取出人们最关心的结构化特征，在比较醒目的地方展示，让购房者可以迅速了解，对比房源特色，判断是否对该房源敢兴趣。

附图说明

图1是本发明的主体结构示意图。

具体实施方式

下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

本发明涉及一种基于分词与多模匹配的房源标签自动提取装置，包括标签生成模块1，用于发现房源描述词并生成标签库；标签放弃模块2，用于对互斥的房源描述词进行放弃；分词模块3，用于对标签库内的房源描述词进行分词；多模匹配模块4，用于对输入的文本匹配出标签库中的多个目标词。

一种房源标签自动提取方法，包括以下步骤：

S1、发现房源描述词并生成标签库，

S2、对互斥的标签进行放弃，

S3、反复对标签库内的房源描述词进行分词，

S4、对输入的文本匹配出标签库中的多个目标词。

所述的步骤S1具体为：基于标签库的规则要求，搜索整合房源描述词，并对一些不规则的描述词进行转换，建立标签库，根据行业习惯人为将描述中一些非结构化标准化的说法，转换成结构化规范化的说法，去扩展标签库。比如描述里会频繁出现： 一梯两户，两梯四户，四梯八户这样，进行抽象出有电梯一词，建立这些词与有电梯这个标签的映射关系，建立全面的描述词库与结构化标签库的对应关系；例如：标签1、基本属性/户型/稀缺户型，则对应描述词有稀缺户型 少有户型、少有的户型、户型很少有、户型稀缺和少出；标签2、基本属性/户型/户型方正，则对应描述词：田字格、豆腐块、方方正正、户型方正和格局方正。

同时新词发现使用Lucene TokenStream的OffsetAttribute类，将前后位置相邻的词拼接成新词，统计二元词的左右自由度和凝固度，划定阈值，即可判定二元词是否是新词。

所述的步骤S2具体为：对与互斥的标签进行标注，当一套房源匹配上了互斥的标签时，则放弃此类标签。例如：厨房（同一个房子是不可能同时是明厨和暗厨，会将明厨、暗厨放到放弃规则库，如果一个房源的描述同时匹配上了这两个，就放弃。

所述的步骤S3具体为：通过中文分词工具对多套房源的房源描述词进行分词。中分词采用的中文分词工具jieba做一元分词。

所述的步骤S4具体为：基于Aho-Corasick 多模式匹配算法，搜索待处理的文本，具体为，使用Aho-Corasick算法需要三步，（1）建立模式的Trie；（2）给Trie添加失败路径；（3）根据AC自动机，搜索待处理的文本。

当然，影响准确性的常见因素是否定词的不统一，经纪人的描述相对随意，同样的否定意思有很多中表达，如果不能尽量全的覆盖否定词，那么最后会错打成肯定标签。所以需要用否定标签涉及到的描述词的非否定部分，对原始房源描述进行筛选，然后对比描述和标签，看看是否有未涵盖到的否定词，不断填充否定词库，提高标签化算法的准确性。

当词库及规则有较大的更新时，用最新的词库与规则库对所有房源的描述信息进行标签化。

Claims (6)

1.基于分词与多模匹配的房源标签自动提取装置，其特征在于，包括

标签生成模块，用于发现房源描述词并生成标签库；

标签放弃模块，用于对互斥的房源描述词进行放弃；

分词模块，用于对标签库内的房源描述词进行分词；

多模匹配模块，用于对输入的文本匹配出标签库中的多个目标词。

2.一种房源标签自动提取方法，包括以下步骤：

S1、发现房源描述词并生成标签库，

S2、对互斥的标签进行放弃，

S3、反复对标签库内的房源描述词进行分词，

S4、对输入的文本匹配出标签库中的多个目标词。

3.根据权利要求2所述的一种房源标签自动提取方法，其特征在于，

所述的步骤S1具体为：基于标签库的规则要求，搜索整合房源描述词，并对一些不规则的描述词进行转换，建立标签库。

4.根据权利要求2所述的一种房源标签自动提取方法，其特征在于，

所述的步骤S2具体为：对与互斥的标签进行标注，当一套房源匹配上了互斥的标签时，则放弃此类标签。

5.根据权利要求2所述的一种房源标签自动提取方法，其特征在于，

所述的步骤S3具体为：通过中文分词工具对多套房源的房源描述词进行分词。

6.根据权利要求2所述的一种房源标签自动提取方法，其特征在于，

所述的步骤S4具体为：基于Aho-Corasick 多模式匹配算法，搜索待处理的文本。