CN110532363A - 一种基于决策树的任务导向型自动对话方法 - Google Patents
一种基于决策树的任务导向型自动对话方法 Download PDFInfo
- Publication number
- CN110532363A CN110532363A CN201910795839.1A CN201910795839A CN110532363A CN 110532363 A CN110532363 A CN 110532363A CN 201910795839 A CN201910795839 A CN 201910795839A CN 110532363 A CN110532363 A CN 110532363A
- Authority
- CN
- China
- Prior art keywords
- attribute
- classification
- conclusion
- decision tree
- consulting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于决策树的任务导向型自动对话方法,包括:将法律咨询的结论离散化为分类类别,把与结论相关的当事人的信息离散化为基本属性;接收当事人咨询的问题,通过分类算法抽取基本属性对应的属性值,结论对应的类别值;将收集的实际案例作为训练样本,建立基于决策树的法律咨询分类预测模型;接收新的当事人的咨询,根据所建立的决策树实现咨询对话的过程,并返回当事人咨询的结论。本发明本方法接受用户在线法律咨询,实现与用户的多轮对话,能够返回精准的法律咨询结论,互动效果好、实时性高,极大的缩减了人工工作量。
Description
技术领域
本发明涉及自然语言处理、数据挖掘、大数据分析与对话***等技术领域,具体涉及一种基于决策树的任务导向型自动对话方法。
背景技术
面向任务的对话***的研究目标是希望利用自然语言来访问结构化数据库并从中查询数据,可以视为继图形用户界面之后新的人机交互接口。面向任务的对话***不同于以闲聊和情感陪伴为目的的聊天机器人,是智能客服技术工具化应用的主要发展方向,也是智能问答***最热门和最有应用价值的子领域之一。
任务驱动式对话***始自人工智能诸多专家***的研究,学者们最早通过人工提取特征,设计本体,组织规则,研制了众多数据库自然语言接口(Natural LanguageInterface of Database,NLIDB),使人们可以通过限定性的自然语言来查询数据,但其只支持上下文无关的单轮对话查询,通用性和可扩展性都很差。后来随着ELIZA***的成功,多轮对话***也开始出现。一些***开始了在某些狭窄领域的商业应用,如机票订购,餐厅预订,导航助理。此类***称为基于规则或基于模板(Symbolic Rule/Templated Based)的对话***,是第一代技术。优点是***内部的规则易懂透明,很容易修补漏洞和进行***更新。但跨领域的通用性和可扩展性都很差,依赖领域专家的开发和维护,数据被用来设计规则,而不是学习。
随着大数据技术的发展,统计机器翻译(简称SMT)在自动翻译上取得了巨大成功,热潮蔓延到对话***领域,出现了统计对话***(Statistical Dialog System),为第二代技术。此类***将许多浅层模型(如CRF、HMM)用于对话***的语言理解和生成,增强学习的方法也开始使用,代表是剑桥大学Steve Young教授团队研发的基于POMDP的对话***。优点是摆脱了对领域专家的依赖,增强了问答的鲁棒性,但模型却变得难以解释,从而很难维护***,模型的表征能力也不够强,不足以做到完全端到端学习,***依然难以跨领域扩展。
2014年,深度学习在计算机视觉和语音识别上的突破性进展,以及深度增强学习在Atari游戏上的成功,使学者们开始将诸多神经网络模型用于对话***,称为神经对话***(Neural Dialog System),为第三代技术。在此基础上,模型的表征能力更强,完全端到端变得可行,微软邓力团队于2016年即开发了一个完全端到端的机器人KB-InfoBot,采用基于概率的软查询来访问结构化数据库,让人们看到了神经网络模型在面向任务的对话***上的更多可能。但此类对话***依然有很多局限,包括依靠大规模标注数据的训练,模型仍然很难解释,在神经网络学习和符号自然语言之间缺乏交互。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于决策树的任务导向型自动对话方法,接受用户在线法律咨询,实现与用户的多轮对话,能够返回精准的法律咨询结论,互动效果好、实时性高,极大的缩减了人工工作量。
本发明采用如下技术方案:
一种基于决策树的任务导向型自动对话方法,包括:
1.1)将法律咨询的结论离散化为分类类别,把与结论相关的当事人的信息离散化为基本属性;
1.2)接收当事人咨询的问题,通过分类算法抽取基本属性对应的属性值,结论对应的类别值;
1.3)将收集的实际案例作为训练样本,建立基于决策树的法律咨询分类预测模型;
1.4)接收新的当事人的咨询,根据所建立的决策树实现咨询对话的过程,并返回当事人咨询的结论。
优选的,所述1.1),具体包括:
1.1.1)分析给出结论的类别个数,明确每个类别对应的类别含义;
1.1.2)分析并提供可能影响结论的属性集合以及属性对应的属性值类别。
优选的,所述1.2),具体包括:
1.2.1)通过标签工程对部分咨询案例中句子的每个属性所对应的属性值打标签;
1.2.2)通过标签工程对部分咨询案例中的结论所对应的分类类别打标签;
1.2.3)对标签数据集通过分类算法训练模型;
1.2.4)通过分类算法训练的模型对咨询案例进行属性值提取,及对结论对应的类别值提取。
优选的,所述1.2.3),具体包括:
1.2.3.1)标签数据集设定为一个句子,该句子对应的属性值类别标签为y;
1.2.3.2)文本特征提取:首先通过分词工具对所述句子分词,去掉分词结果中的停用词和低频词,其次每个词语在该数据集中对应的权重,计算公式如下:
TF-IDF=TF*IDF
1.2.3.3)将得到的权重数据作为LDA文本主题模型的输入,训练提取句子主题特征x;
1.2.3.4)将提取的特征x作为分类算法的输入,通过SVM算法进行模型的训练,具体计算如下:
首先假设在高维空间的某一分类界面是y=wx+b;其中w表示界面的权重,b表示界面的偏差,w和b的初值通过随机初始化获得,某一特征点xi到该平面的距离表达式为:
找到最近点距离最远的分界面,让γi的值最大,也就是目标函数,即:
其中,s表示句子总数,分析目标函数,并将原分类问题可以转化为:
s.t.yi(wxi+b)≥1,i=1,2,3,...s
引入拉格朗日乘子αi可得到拉格朗日函数,拉格朗日乘子αi将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解:
s.t.αi≥0
将问题转换为求极大极小问题,即通过进一步转化分析得到其等价形式为:
假设至少有一个αj>0,得到
其中,b*为目标函数的最优解,α*为对偶问题的最优解,由此得到目标函数分类的超平面,以将不同类别的数据划分。
优选的,所述1.2.4),具体包括:
提取所有咨询案例的主题特征,输入训练好的分类算法模型中,预测其属性对应的属性值类别,从而得到所有案例咨询的结构化数据。
优选的,所述1.3),具体包括:
1.3.1)将得到的所有咨询案例的结构化数据作为决策树的输入;
1.3.2)分类属性的选择即选择最优划分属性,采取信息增益率的方法从属性集合A={a1,a2,…,an}中选取最优的属性aj。
优选的,所述1.3.2),具体包括:
1.3.2.1)首先对结论D进行信息熵的计算,计算公式如下:
其中,m代表D的类别数目,Pi代表结论D对应类别i的总数占总的案例咨询个数;
1.3.2.2)其次对所有属性进行信息熵的计算,计算公式如下:
其中,Qi代表在属性aj对应的属性值类别k的条件下结论D中对应类别i的总数占属性aj对应的属性值类别k的总数,表示属性aj对应的属性值类别k的数据信息;k∈[1,v],v表示aj对应属性值类别的总数;
1.3.2.3)计算在选择属性aj的情况下的信息熵,也叫条件熵,具体计算如下:
其中,|D|代表总的案例咨询个数,代表属性值类别为k的数目;
1.3.2.4)信息增益定义为原来的信息需求与新需求之间的差,如下:
Gain(aj)=Info(D)-Info(D|aj)
1.3.2.5)计算属性aj的***信息,具体计算如下:
1.3.2.6)信息增益率使用***信息值将信息增益规范化,具体计算如下:
1.3.2.7)计算所有属性A的信息增益率,然后选取信息增益率最大的属性作为***节点,即a=max(GainRatio(a1),GainRatio(a1),…,GainRatio(an)),属性节点a的每个属性值对应一个分支,且分支的数据为在属性值为k的情况下剩余属性及结论的数据,当分支对应的还有剩余属性可选择并且结论数据中的类别不唯一时,重复步骤1.3.2.1-1.3.2.7,否则停止***。
优选的,所述1.4),具体包括:
1.4.1)当接收到新的当事人咨询信息时,从决策树跟节点开始,向用户提出属性节点对应的问题,抽取当事人的信息;
1.4.2)将得到的主题特征输入训练好的分类算法模型中,预测其属性对应的属性值类别;
1.4.3)根据预测的属性值类别与决策树当前节点属性的属性值进行比较,选择相等时的分支作为下一步对话的子决策树;
1.4.4)当子决策树为叶子结点是停止对话,并且返回最后的结论类别对应的答案返回给当事人,否则重复1.4.1-1.4.3步骤。
本发明具有如下有益效果:
1)本发明一种基于决策树的任务导向型自动对话方法,接受用户在线法律咨询,实现与用户的多轮对话,能够针对较少的提问问题,返回精准的法律咨询结论,互动效果好、实时性高,极大的缩减了人工工作量;
2)本发明一种基于决策树的任务导向型自动对话方法,可解释性强,而且方法将最为重要的判断因素都很好的安排在了靠近树的根部位置,能够快速得出结论;
3)本发明一种基于决策树的任务导向型自动对话方法,可用来辅助律师,帮助律师提取与咨询相关属性的属性值,减少律师繁琐的提问工作,也可以防止律师在解决咨询时的疏忽与遗漏。
上述说明仅是本发明技术方案的概述,为了能够更清楚地了解本发明的技术手段,从而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下列举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述及其他目的、优点和特征。
附图说明
图1为本发明方法的流程图;
图2为本发明的***框图;
图3为本发明方法的流程框图;
图4为本发明方法的交叉验证流程图
图5为本发明方法的决策树的构建流程;
图6为本发明方法的基于决策树的法律自动对话流程;
图7为本发明方法的用户回答的属性值抽取流程图;
图8为本发明方法的用户回答的属性值抽取的数据集样例;
图9为本发明方法的训练集占所有数据的不同比例下的分类准确率;其中(a)表示C4.5算法;(b)表示ID3算法;
图10为本发明方法的训练集占所有数据的不同比例下的平均提问个数;其中(a)表示C4.5算法;(b)表示ID3算法;
图11为本发明方法的C4.5-使用20%的数据作为训练集的决策树;
图12为本发明方法的ID3-使用20%的数据作为训练集的决策树;
图13为本发明实施例的律咨询交互界面及咨询过程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步的详细描述。
参见图1所示,本发明一种基于决策树的任务导向型自动对话方法,包括:
1.1)将法律咨询的结论离散化为分类类别,把与结论相关的当事人的信息离散化为基本属性;
1.2)接收当事人咨询的问题,通过分类算法抽取基本属性对应的属性值,结论对应的类别值;
1.3)将收集的实际案例作为训练样本,建立基于决策树的法律咨询分类预测模型;
1.4)接收新的当事人的咨询,根据所建立的决策树实现咨询对话的过程,并返回当事人咨询的结论。
所述1.1),具体包括:
1.1.1)分析给出结论的类别个数,明确每个类别对应的类别含义;
1.1.2)分析并提供可能影响结论的属性集合以及属性对应的属性值类别。
所述1.2),具体包括:
1.2.1)通过标签工程对部分咨询案例中句子的每个属性所对应的属性值打标签;
1.2.2)通过标签工程对部分咨询案例中的结论所对应的分类类别打标签;
1.2.3)对标签数据集通过分类算法训练模型;
1.2.4)通过分类算法训练的模型对咨询案例进行属性值提取,及对结论对应的类别值提取。
所述1.2.3),具体包括:
1.2.3.1)标签数据集设定为一个句子,该句子对应的属性值类别标签为y;
1.2.3.2)文本特征提取:首先通过分词工具对所述句子分词,去掉分词结果中的停用词和低频词,其次每个词语在该数据集中对应的权重,计算公式如下:
TF-IDF=TF*IDF
1.2.3.3)将得到的权重数据作为LDA文本主题模型的输入,训练提取句子主题特征x;
1.2.3.4)将提取的特征x作为分类算法的输入,通过SVM算法进行模型的训练,具体计算如下:
首先假设在高维空间的某一分类界面是y=wx+b;其中w表示界面的权重,b表示界面的偏差,w和b的初值通过随机初始化获得,某一特征点xi到该平面的距离表达式为:
找到最近点距离最远的分界面,让γi的值最大,也就是目标函数,即:
其中,s表示句子总数,分析目标函数,并将原分类问题可以转化为:
s.t.yi(wxi+b)≥1,i=1,2,3,...s
引入拉格朗日乘子αi可得到拉格朗日函数,拉格朗日乘子αi将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解:
s.t.αi≥0
将问题转换为求极大极小问题,即通过进一步转化分析得到其等价形式为:
假设至少有一个αj>0,得到
其中,b*为目标函数的最优解,α*为对偶问题的最优解,由此得到目标函数分类的超平面,以将不同类别的数据划分。
所述1.2.4),具体包括:
提取所有咨询案例的主题特征,输入训练好的分类算法模型中,预测其属性对应的属性值类别,从而得到所有案例咨询的结构化数据。
所述1.3),具体包括:
1.3.1)将得到的所有咨询案例的结构化数据作为决策树的输入;
1.3.2)分类属性的选择即选择最优划分属性,采取信息增益率的方法从属性集合A={a1,a2,…,an}中选取最优的属性aj。
所述1.3.2),具体包括:
1.3.2.1)首先对结论D进行信息熵的计算,计算公式如下:
其中,m代表D的类别数目,Pi代表结论D对应类别i的总数占总的案例咨询个数;
1.3.2.2)其次对所有属性进行信息熵的计算,计算公式如下:
其中,Qi代表在属性aj对应的属性值类别k的条件下结论D中对应类别i的总数占属性aj对应的属性值类别k的总数,表示属性aj对应的属性值类别k的数据信息;k∈[1,v],v表示aj对应属性值类别的总数;
1.3.2.3)计算在选择属性aj的情况下的信息熵,也叫条件熵,具体计算如下:
其中,|D|代表总的案例咨询个数,代表属性值类别为k的数目;
1.3.2.4)信息增益定义为原来的信息需求与新需求之间的差,如下:
Gain(aj)=Info(D)-Info(D|aj)
1.3.2.5)计算属性aj的***信息,具体计算如下:
1.3.2.6)信息增益率使用***信息值将信息增益规范化,具体计算如下:
1.3.2.7)计算所有属性A的信息增益率,然后选取信息增益率最大的属性作为***节点,即a=max(GainRatio(a1),GainRatio(a1),…,GainRatio(an)),属性节点a的每个属性值对应一个分支,且分支的数据为在属性值为k的情况下剩余属性及结论的数据,当分支对应的还有剩余属性可选择并且结论数据中的类别不唯一时,重复步骤1.3.2.1-1.3.2.7,否则停止***。
所述1.4),具体包括:
1.4.1)当接收到新的当事人咨询信息时,从决策树跟节点开始,向用户提出属性节点对应的问题,抽取当事人的信息;
1.4.2)将得到的主题特征输入训练好的分类算法模型中,预测其属性对应的属性值类别;
1.4.3)根据预测的属性值类别与决策树当前节点属性的属性值进行比较,选择相等时的分支作为下一步对话的子决策树;
1.4.4)当子决策树为叶子结点是停止对话,并且返回最后的结论类别对应的答案返回给当事人,否则重复1.4.1-1.4.3步骤。
参见图2和图3所示,依据本发明的另一方面,还包括一种基于决策树的任务导向型自动对话***,所述一种基于决策树的任务导向型自动对话***包括数据采集模块、数据预处理模块、数据学习模块、属性值抽取模块和模型应用模块,具体说明请参见图2和图3所示。
如下将对本发明一种基于决策树的任务导向型自动对话方法的处理效果进行验证。
本发明的实验采用五折交叉验证方法,验证基于决策树的任务导向型自动对话***效果。五折交叉法将数据集分五份,每份循环作为测试集,剩下的作为训练集,训练集用于评分预测,测试集用于衡量算法效果,如图4所示。
2.评价指标
分类结果用准确率(Precision,Pr)、召回率(Recall,Re)和调和平均值F1三个指标来衡量,公式如下:
各参数含义如表1所示,其中,准确率考察的是分类结果的正确性,召回率考察分类结果的完备性,F1分数认为召回率和准确率同等重要,考察模型的综合性能。
表1分类评价指标参数含义表
平均提问的个数是当用户咨询问题时,本***需要平均向用户抛出的问题个数才能返回最终分类结果给用户。
其中,i为叶子结点,n为叶子节点总数,Havg为平均提问个数。
如下将以婚姻法律咨询为例详细说明实验实施的具体步骤。
1.数据集
数据来源于律品网(https://ai.lvpin100.com),律品网是一个法律咨询网站,它有大量的数据语料,通过大量的专业人士整理成问题及选项,根据不同情况的用户咨询的不同问题,所需要选择的问题深度不同,通过网络爬虫获取能不能离婚(https:// ai.lvpin100.com/g/divorce_rate?)的数据,数据格式如表2所示:
表2数据原始格式
婚姻咨询问题经过预处理过后的数据格式如表3所示,一共有4个分类类别,8个基本属性,不同的属性对应的属性值的个数不同,其数据共2*3*2*4*3*2*4*2=2304条数据:
表3数据预处理后数据格式
2.建立决策树
根据表3所示,一共有4个分类类别,8个基本属性,不同的属性对应的属性值的个数不同,其数据共2304条数据,根据这些训练样本利用C4.5算法建立决策树。如图5所示,通过数据集属性的增益率大小建立决策树,使用20%的数据作为训练集做实验,实验所建的决策树如图11和12所示。
3.决策树应用
当用户咨询婚姻问题时,从所建立的决策树根节点决策属性开始,将决策属性所对应的问题返回给当事人进行提问,基本属性所对应的向当事人提问的问题如表4所示,根据用户的回答,抽取问题对应的属性值,再根据属性值判断决策树分支,根据分支的下一个决策属性对应的问题抛出给当事人进行提问,直到为叶子节点才结束,并将叶子结点所对应的分类类别作为结论返回给当事人,如图6所示。
表4基本属性所对应的向当事人提问的问题
4.属性值抽取
参见图7所示,用户回答属性值抽取的数据集是通过收集律师与当事人的对话由人工打标签构建的。以基本属性是否有结婚证为例,标签数据如图8所示,1代表正类,表示用户回答中有描述结婚证,0代表反类,表示用户回答中没有描述结婚证。对于正类,再通过肯定句、否定句的识别,抽取出最后的属性值归属。对于反例,对话***需要重新向当事人提问,直到用户回答属性值抽取的结果为正例为止。
对8个基本属性,均需要合法属性值提取判别模型。以属性否是有结婚证为例,收集律师与当事人的对话由人工打标签构建的数据集总量为1100,训练集与测试集比例为8:2,测试集数据总量为220,训练的模型识别性能如表5所示。
表5属性值抽取实验结果
用户回答的属性值抽取实验中,根据是否有结婚证为例的实验结果表5可知,模型的准确度、召回率都在83%以上的精度,体现模型的可用性,能较好的应用于决策树中决策属性的属性值提取和判别。
5.实验设计
由于婚姻咨询数据需要大量的专业人士处理,不容易收集到所有的数据集。为了获得需要多大比率的数据集才能达到足够分类精度,训练集占所有数据的不同比例下的分类准确率实验结果如图9所示。
由于婚姻咨询存在很强的逻辑推理关系,律品网则是会把所有的问题从头到尾都会对用户进行提问,问题的个数会很多,且存在对推理结果无用的问题,因此本文对训练集占所有数据的不同比例对问题决策树深度影响做了实验,实验结果如图10所示。
使用20%的数据作为训练集做实验,实验所建的决策树如图11和12所示。
使用20%的数据作为训练集进行实验算得的评价指标如表6所示:
表6使用20%的数据作为训练集的实验结果
6.实验结果分析
1)训练集与测试集各种比例下的准确率实验中,训练集的比例越大,准确率越高,上升趋势明显,根据图9可知只用20%的训练集就能达到95%的准确率,减去了很多的人工工作量,且实验效果好;
2)训练集与测试集各种比例下的树的层数实验中,训练集的比例越大,决策树深度越深,上升趋势明显,结合图10可知只用20%的训练集时树的平均深度为4.3层,也就是问用户4-5个问题就能返回用户答案,省去了很多的无用问题,且实验效果好;
3)使用20%的数据作为训练集实验所建的决策树中,一共有8个基本属性,最高深度为7层,最低深度为1层,即只需对用户提一个问题则可返回答案结果值。决策树只需要一次构建,反复使用,每一次预测的最大计算次数不超过决策树的深度;
4)结合表6,只用20%的训练集评价指标的实验中,C4.5算法分类中的类别1协议离婚和类别4解除同居关系都有很高的准确率,类别2诉讼离婚的准确率也高达93%以上,类别3不能离婚的准确率高达74%以上,说明了模型的可行性良好,且优于ID3算法。
7.法律咨询交互界面及咨询过程如图13所示。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (8)
1.一种基于决策树的任务导向型自动对话方法,其特征在于,包括:
1.1)将法律咨询的结论离散化为分类类别,把与结论相关的当事人的信息离散化为基本属性;
1.2)接收当事人咨询的问题,通过分类算法抽取基本属性对应的属性值,结论对应的类别值;
1.3)将收集的实际案例作为训练样本,建立基于决策树的法律咨询分类预测模型;
1.4)接收新的当事人的咨询,根据所建立的决策树实现咨询对话的过程,并返回当事人咨询的结论。
2.根据权利要求1所述的基于决策树的任务导向型自动对话方法,其特征在于,所述1.1),具体包括:
1.1.1)分析给出结论的类别个数,明确每个类别对应的类别含义;
1.1.2)分析并提供可能影响结论的属性集合以及属性对应的属性值类别。
3.根据权利要求1所述的基于决策树的任务导向型自动对话方法,其特征在于,所述1.2),具体包括:
1.2.1)通过标签工程对部分咨询案例中句子的每个属性所对应的属性值打标签;
1.2.2)通过标签工程对部分咨询案例中的结论所对应的分类类别打标签;
1.2.3)对标签数据集通过分类算法训练模型;
1.2.4)通过分类算法训练的模型对咨询案例进行属性值提取,及对结论对应的类别值提取。
4.根据权利要求3所述的基于决策树的任务导向型自动对话方法,其特征在于,所述1.2.3),具体包括:
1.2.3.1)标签数据集设定为一个句子,该句子对应的属性值类别标签为y;
1.2.3.2)文本特征提取:首先通过分词工具对所述句子分词,去掉分词结果中的停用词和低频词,其次每个词语在该数据集中对应的权重,计算公式如下:
TF-IDF=TF*IDF
1.2.3.3)将得到的权重数据作为LDA文本主题模型的输入,训练提取句子主题特征x;
1.2.3.4)将提取的特征x作为分类算法的输入,通过SVM算法进行模型的训练,具体计算如下:
首先假设在高维空间的某一分类界面是y=wx+b;其中w表示界面的权重,b表示界面的偏差,w和b的初值通过随机初始化获得,某一特征点xi到该平面的距离表达式为:
找到最近点距离最远的分界面,让γi的值最大,也就是目标函数,即:
其中,s表示句子总数,分析目标函数,并将原分类问题可以转化为:
s.t.yi(wxi+b)≥1,i=1,2,3,...s
引入拉格朗日乘子αi可得到拉格朗日函数,拉格朗日乘子αi将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解:
s.t.αi≥0
将问题转换为求极大极小问题,即通过进一步转化分析得到其等价形式为:
假设至少有一个αj>0,得到
其中,b*为目标函数的最优解,α*为对偶问题的最优解,由此得到目标函数分类的超平面,以将不同类别的数据划分。
5.根据权利要求4所述的基于决策树的任务导向型自动对话方法,其特征在于,所述1.2.4),具体包括:
提取所有咨询案例的主题特征,输入训练好的分类算法模型中,预测其属性对应的属性值类别,从而得到所有案例咨询的结构化数据。
6.根据权利要求1所述的基于决策树的任务导向型自动对话方法,其特征在于,所述1.3),具体包括:
1.3.1)将得到的所有咨询案例的结构化数据作为决策树的输入;
1.3.2)分类属性的选择即选择最优划分属性,采取信息增益率的方法从属性集合A={a1,a2,…,an}中选取最优的属性aj。
7.根据权利要求6所述的基于决策树的任务导向型自动对话方法,其特征在于,所述1.3.2),具体包括:
1.3.2.1)首先对结论D进行信息熵的计算,计算公式如下:
其中,m代表D的类别数目,Pi代表结论D对应类别i的总数占总的案例咨询个数;
1.3.2.2)其次对所有属性进行信息熵的计算,计算公式如下:
其中,Qi代表在属性aj对应的属性值类别k的条件下结论D中对应类别i的总数占属性aj对应的属性值类别k的总数,表示属性aj对应的属性值类别k的数据信息;k∈[1,v],v表示aj对应属性值类别的总数;
1.3.2.3)计算在选择属性aj的情况下的信息熵,也叫条件熵,具体计算如下:
其中,|D|代表总的案例咨询个数,代表属性值类别为k的数目;
1.3.2.4)信息增益定义为原来的信息需求与新需求之间的差,如下:
Gain(aj)=Info(D)-Info(D|aj)
1.3.2.5)计算属性aj的***信息,具体计算如下:
1.3.2.6)信息增益率使用***信息值将信息增益规范化,具体计算如下:
1.3.2.7)计算所有属性A的信息增益率,然后选取信息增益率最大的属性作为***节点,即a=max(GainRatio(a1),GainRatio(a1),…,GainRatio(an)),属性节点a的每个属性值对应一个分支,且分支的数据为在属性值为k的情况下剩余属性及结论的数据,当分支对应的还有剩余属性可选择并且结论数据中的类别不唯一时,重复步骤1.3.2.1-1.3.2.7,否则停止***。
8.根据权利要求1所述的基于决策树的任务导向型自动对话方法,其特征在于,所述1.4),具体包括:
1.4.1)当接收到新的当事人咨询信息时,从决策树跟节点开始,向用户提出属性节点对应的问题,抽取当事人的信息;
1.4.2)将得到的主题特征输入训练好的分类算法模型中,预测其属性对应的属性值类别;
1.4.3)根据预测的属性值类别与决策树当前节点属性的属性值进行比较,选择相等时的分支作为下一步对话的子决策树;
1.4.4)当子决策树为叶子结点是停止对话,并且返回最后的结论类别对应的答案返回给当事人,否则重复1.4.1-1.4.3步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910795839.1A CN110532363B (zh) | 2019-08-27 | 2019-08-27 | 一种基于决策树的任务导向型自动对话方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910795839.1A CN110532363B (zh) | 2019-08-27 | 2019-08-27 | 一种基于决策树的任务导向型自动对话方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110532363A true CN110532363A (zh) | 2019-12-03 |
CN110532363B CN110532363B (zh) | 2022-07-29 |
Family
ID=68664517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910795839.1A Active CN110532363B (zh) | 2019-08-27 | 2019-08-27 | 一种基于决策树的任务导向型自动对话方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110532363B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112948608A (zh) * | 2021-02-01 | 2021-06-11 | 北京百度网讯科技有限公司 | 图片查找方法、装置、电子设备及计算机可读存储介质 |
CN113010609A (zh) * | 2020-12-23 | 2021-06-22 | 上海海鼎信息工程股份有限公司 | 一种应用于门店经营的差异化同步方法及*** |
CN113343089A (zh) * | 2021-06-11 | 2021-09-03 | 北京完美赤金科技有限公司 | 用户召回方法及装置、设备 |
CN114416701A (zh) * | 2022-03-30 | 2022-04-29 | 威海海洋职业学院 | 一种基于大数据的财务咨询智能引导***及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330071A (zh) * | 2017-06-30 | 2017-11-07 | 北京神州泰岳软件股份有限公司 | 一种法律咨询信息智能答复方法及平台 |
US20190020670A1 (en) * | 2017-07-13 | 2019-01-17 | Cisco Technology, Inc. | Bayesian tree aggregation in decision forests to increase detection of rare malware |
CN109460457A (zh) * | 2018-10-25 | 2019-03-12 | 北京奥法科技有限公司 | 文本语句相似度计算方法、智能政务辅助解答***及其工作方法 |
-
2019
- 2019-08-27 CN CN201910795839.1A patent/CN110532363B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330071A (zh) * | 2017-06-30 | 2017-11-07 | 北京神州泰岳软件股份有限公司 | 一种法律咨询信息智能答复方法及平台 |
US20190020670A1 (en) * | 2017-07-13 | 2019-01-17 | Cisco Technology, Inc. | Bayesian tree aggregation in decision forests to increase detection of rare malware |
CN109460457A (zh) * | 2018-10-25 | 2019-03-12 | 北京奥法科技有限公司 | 文本语句相似度计算方法、智能政务辅助解答***及其工作方法 |
Non-Patent Citations (1)
Title |
---|
吴东东等: ""利用决策树的患者咨询问题分类"", 《中国数字医学》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010609A (zh) * | 2020-12-23 | 2021-06-22 | 上海海鼎信息工程股份有限公司 | 一种应用于门店经营的差异化同步方法及*** |
CN113010609B (zh) * | 2020-12-23 | 2023-05-16 | 上海海鼎信息工程股份有限公司 | 一种应用于门店经营的差异化同步方法及*** |
CN112948608A (zh) * | 2021-02-01 | 2021-06-11 | 北京百度网讯科技有限公司 | 图片查找方法、装置、电子设备及计算机可读存储介质 |
CN112948608B (zh) * | 2021-02-01 | 2023-08-22 | 北京百度网讯科技有限公司 | 图片查找方法、装置、电子设备及计算机可读存储介质 |
CN113343089A (zh) * | 2021-06-11 | 2021-09-03 | 北京完美赤金科技有限公司 | 用户召回方法及装置、设备 |
CN114416701A (zh) * | 2022-03-30 | 2022-04-29 | 威海海洋职业学院 | 一种基于大数据的财务咨询智能引导***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110532363B (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111026842B (zh) | 自然语言处理方法、自然语言处理装置及智能问答*** | |
CN109493166B (zh) | 一种针对电子商务导购场景任务型对话***的构建方法 | |
CN110532363A (zh) | 一种基于决策树的任务导向型自动对话方法 | |
CN109635117A (zh) | 一种基于知识图谱识别用户意图方法及装置 | |
CN109308319B (zh) | 文本分类方法、文本分类装置和计算机可读存储介质 | |
CN110175227A (zh) | 一种基于组队学习和层级推理的对话辅助*** | |
CN110168535A (zh) | 一种信息处理方法及终端、计算机存储介质 | |
CN106649742A (zh) | 数据库维护方法和装置 | |
CN109658271A (zh) | 一种基于保险专业场景的智能客服***及方法 | |
CN109670023A (zh) | 人机自动面试方法、装置、设备和存储介质 | |
CN109885664A (zh) | 一种智能对话方法、机器人对话***、服务器及存储介质 | |
CN111737485A (zh) | 基于知识图谱、深度学习的人岗匹配方法、人岗匹配*** | |
CN108829682A (zh) | 计算机可读存储介质、智能问答方法及智能问答装置 | |
CN110175229A (zh) | 一种基于自然语言进行在线培训的方法和*** | |
Gerhana et al. | Comparison of naive Bayes classifier and C4. 5 algorithms in predicting student study period | |
KR20190046062A (ko) | 대화 시스템을 위한 대화 시나리오 데이터베이스 구축 방법 및 장치 | |
CN116561288B (zh) | 事件查询方法、装置、计算机设备、存储介质及程序产品 | |
Mary et al. | ASFuL: Aspect based sentiment summarization using fuzzy logic | |
CN113705247B (zh) | 主题模型效果评估方法、装置、设备、存储介质和产品 | |
CN110377706A (zh) | 基于深度学习的搜索语句挖掘方法及设备 | |
CN109857793A (zh) | 技术背景数据的处理方法、装置、电子设备及存储介质 | |
Elbarougy et al. | Feature selection method for real-time speech emotion recognition | |
Ndunagu et al. | Enhanced open and distance learning using an artificial intelligence (AI)-powered chatbot: a conceptual framework | |
CN107870898B (zh) | 一种面向工程应用的领域语义网建模方法 | |
CN112989001A (zh) | 一种问答处理方法、装置、介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |