CN110263160B - 一种计算机问答***中的问句分类方法 - Google Patents
一种计算机问答***中的问句分类方法 Download PDFInfo
- Publication number
- CN110263160B CN110263160B CN201910455870.0A CN201910455870A CN110263160B CN 110263160 B CN110263160 B CN 110263160B CN 201910455870 A CN201910455870 A CN 201910455870A CN 110263160 B CN110263160 B CN 110263160B
- Authority
- CN
- China
- Prior art keywords
- question
- user
- vector
- situation
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 122
- 239000011159 matrix material Substances 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 18
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000003058 natural language processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012821 model calculation Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种计算机问答***中的问句分类方法,基于用户的情境数据,对用户问句进行分类及预测。其主要包括:一是根据智能问答***应用领域构建影响用户意图的上下文环境信息;二是通过用户画像构建、日志分析、传感器读取手段获取用户的情境信息数据;三是设计基于注意力机制的问题意图预测网络,将情境信息嵌入问题,形成考虑情境的问题分布式表示,带入模型进行预测;四是模型训练与预测。本方法解决了仅靠自然语言对话的问题的用户意图识别存在用户的问题可能表达不完整、不同的背景下问句表达涵义不同的问题,提高了意图识别的准确性。
Description
技术领域
本发明涉及自然语言智能问答技术领域,特别涉及一种计算机问答***中的问句分类方法。
背景技术
聊天机器人、语音助手、自动客服等为人们的生活极大的便利的同时,也节约了一些行业的人力成本,是当前自然语言处理研究的热点。这些应用的成功不仅取决于语音内容的识别,更在于对句子含义的理解,称之为意图识别。意图识别旨在确定用户对话的意图,可以看成分类问题。事先在该领域在该领域定义各种可能的意图,再用分类方法将问句分到某类意图中,交给对话管理或任务管理器,就可以完成用户的需求或者生成相应领域的回应。相关问题在搜索引擎、智能问答等场景下有广泛的应用。
意图识别,也就是意图分类,是一个典型的文本分类问题,所有传统的分类方法都可以使用,比如SVM,最大熵等,或者用一些深度学习的模型,如RNN(Recurrent NeuralNetwork)循环神经网络、CNN卷积神经网络(Convolutional Neural Networks,CNN)等。这类分类方法的一般步骤是,获取或者构造一批问句数据,对每条数据的意图进行标注,选取特定的算法进行训练,挖掘用户问句中隐含的特征,通过训练好的模型进行分类。然而,大部分的意图分类只是基于用户当前对话的,但在真实场景中,用户的问句在上下文或者环境背景下提出的。比如“明天呢?”,若前句问题是“今天还有没有去北京的高铁票”,那么用户意图是车票查询,若前句是“今天北京的天气怎么样”,那么用户意图是天气查询,比如用户想购买一件外套,根据气候和所处位置,有可能是一件夹克,也有可能是一件棉服;有时候一些词语本身就有歧义,如用户在购物时询问苹果的价格,可能是水果,也有可能是手机,这需要结合用户最近关注点来判断。
因此,仅靠自然语言对话的问题的用户意图识别存在一些缺陷,一方面,用户的问题可能表达不完整,另一方面,在不同的背景下,同样的问句可能表达出不同的涵义,这些往往需要结合情境信息来辅助分类,包括上下文语境,用户个性化特征,用户所处的地理位置气候季节等等。
发明内容
本发明的目的在于提出一种计算机问答***中的问句分类方法,实现任务驱动型问答***的用户意图识别,使得***能够将问句分到正确的任务执行引擎。本发明包括:获取待分类的问句,问句中包括问题,基于用户的情境数据,对问句进行分类预测,具体包括以下步骤:
步骤1,构建用于对问句进行分类的用户情境模型(由于用户的情境数据很多,不利于计算机处理,因此需要定义一个统一的标准化的用户情境模型);
步骤2,基于用户情境模型,通过用户画像构建、日志分析、传感器读取手段获取用户的情境信息数据;
步骤3,获取待分类的问句,并基于用户的情境信息数据,构建基于注意力机制的问题意图预测网络;
步骤4,训练模型,并对问句进行分类预测。
步骤1中所述的构建用户情境模型,是指根据问答***需要定义的情境属性构建完整的情境信息描述,一组完整的情境信息ContextInfo需要从三个维度Y、H、E进行描述,表示如下:
ContextInfo=<Y、H、E>
其中,每个维度的含义如下:
Y表示用户情境信息;
H表示历史情境信息;
E表示环境情境信息;
所述用户情境信息是指用户的基本信息与行为偏好,包括性别、年龄段、职业和领域偏好(共4个情境信息);
所述历史情境信息是指用户最近三轮对话中用户关注的意图领域(共3个情境信息);
所述环境情境信息是指用户所在的区域、温度、时间(共3个情境信息)。
每个情境信息都用一个属性词表示,即最终情境信息的表示由10个词语组成。
步骤3中,所述基于注意力机制的问题意图预测网络包含文本嵌入层、情境注意力层、模型层和输出层;
其中,文本嵌入层用于将问题与情境中的每个词映射到高维向量空间;
情境注意力层用于将情境信息嵌入问题,形成考虑情境的问题分布式表示G;
模型层用于,使用G作为输入,采用双向LSTM,生成隐状态序列,获得输出矩阵M;
(双向LSTM是深度学习网络中公知的模型方法,最初发表:Alex Graves和JurgenSchmidhuber,Framangular Phoneme Classification with Bidirectional LSTM andOther Neural Network Architectures,2005)
输出层用于预测用户意图各分类的概率分布p。
所述文本嵌入层用于将问题与情境中的每个词映射到高维向量空间,具体包括:
获取问句,问句中包括问题,问题和情境分别包含了若干词,使用GloVe预训练的词向量来获取问题与情境(即问句所处的情境)中每个词的向量表示,得到两个d维的向量序列,即两个矩阵:问题矩阵Q∈Rd×T和情境矩阵C∈Rd×j,其中d取正整数,一般自然语言处理任务取200,T与j分别表示问题中词的个数和情境中词的个数,R为实数;
将表示结果Q和C输入到双向LSTM来建模词与词之间的时序交互,分别生成问题对应的隐状态向量序列H∈R2d×T和情境对应的隐状态向量序列U∈R2d×j;
双向的LSTM进行拼接后,输出的隐状态向量序列H和U的维度变为输入的两倍,即2d。
所述情境注意力层用于将情境信息嵌入问题,形成考虑情境的问题分布式表示,即情境到问题的注意力G,具体包括:
步骤a1,通过关于问题对应的隐状态向量序列H和情境对应的隐状态向量序列U的相似度矩阵S∈Rt×j计算得到情境到问题的注意力G,相似度矩阵S的第t行第j列的元素为Stj,Stj表示问题中第t个词和情境中第j个词的相似度,Stj的计算公式为:
Stj=α(H:t,U:j),
其中,α是一个能够训练的标量函数,α的作用是对输入的两个向量衡量它们之间的相似度,H:t是H中的第t个列向量,U:j是U中的第j个列向量,采用如下公式计算两个输入的向量h和u的相似度α(h,u):
步骤a2,根据相似度矩阵S获取情境到问题的注意力G:通过b=softmax(maxcol(S))∈RT来获得问题的注意力权重向量b,其中,maxcol()是在矩阵的每一列上取最大值的函数,之后,问题注意力向量为h~=∑tbtH:t∈R2d,bt为b中第t个元素,此向量h~表示对于情境来说的问题中最重要词的加权和;对h~在列上复制T次,得到问题隐向量的加权矩阵H~∈R2d×T,对问题向量和注意力向量拼接产生矩阵G,矩阵G中每一列视为问题中每个词的感知了情境信息(即步骤1定义的情境信息)的表示,G的定义如下:
其中,G:t是矩阵G中第t个列向量,对应情境中第t个词, 是问题隐向量的加权矩阵H~中第t个列向量,β是一个能够训练的向量函数,β函数用于对输入的向量进行融合,dG则为β函数的输出维度,β函数定义为:
β(h,h~,u)=(h;h*h~;u)
其中,β(h,h~,u)∈R6d×T,dG=6d,h表示问题中的某个词对应的隐状态向量,h~表示问题注意力向量,U表示情境中某个词对应得隐状态向量;
输出矩阵M∈R2d×T。
输出层用于预测用户意图各分类的概率分布p:
步骤4包括:标注数据,构建训练集,利用传统神经网络采用的反向传播算法对步骤3中所构建问题意图预测网络中的模型的参数(即每层网络中的权值矩阵)进行训练,并依此来进行问句分类预测。
有益效果:本发明相比于传统仅靠自然语言对话的问题的用户意图识别算法具有以下优势:1)引入了用户、环境与历史情境特征,极大的提高了意图识别的准备率;2)结合情境信息来辅助分类,解决了在用户问题表达不完整或者用户问题存在歧义的情况下,传统方法无法识别的问题,提高了识别算法的适用性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1是本发明提出的基于注意力机制的问题意图预测网络。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明提供了一种计算机问答***中的问句分类方法,图1是本发明提出的基于注意力机制的问题意图预测网络,包括情境建模、情境感知获取、意图预测网络设计、训练与预测。其中QT表示问题语句分词得到的第T个词的向量表示,T表示词的个数;Cj表示情境中第j个情境短语的向量表示,j表示短语个数;hT表示问题第T个词训练得到的隐状态向量;uj表示情境第j个短语训练得到的隐状态向量;gT表示情境到问题的注意力矩阵中的第T个列向量;mT表示模型层输出的隐状态序列的第T个列向量;max表示取最大值;softmax为常用的多分类函数;LSTM为长短期记忆网络。下面结合具体的实施例对本发明进行详细说明,应理解本实施例仅用于解释本发明,并不限定本发明的范围。本实施例选取的为购物助手领域。
(1)构建用户情境模型
本发明方法可应用于智能问答***(QA,Question Answering,是新一代的搜索引擎),首先根据智能问答应用领域构建影响用户意图的上下文环境信息。智能问答***可应用于多个领域,常见如手机助手、购物、自动客服等。本发明选取了三个主要维度来定义用户的情境:
ContextInfo=<Y、H、E>
其中,每个维度的含义如下:
Y:用户情境信息,主要是指用户的基本信息与行为偏好,包括性别、年龄段、职业、领域偏好,其表示方式是通过短语标签的方式来表示,如以购物应用为例,性别表示为男,年龄表示为青年,职业表示为金融,领域偏好表示为运动,所有标签在无法获取的情况下表示为未知;
H:历史情境信息(History);指用户最近三轮对话中用户关注的意图领域,同样通过短语标签的方式表示,如[未知,手机,手机周边];
E:环境情境信息(Enviroment);用户所在的区域、温度、时间,如[南京,28,1196361000]。
依此,一个完整的情境应当表示为一组10维的短语(用户情境4维,历史情境3维,环境情境3维),例如一个购物领域的情境例子表示如:[男,青年,信息处理,电子,未知,电子类商品搜索,手机周边类商品搜索,南京,16,1196361000]
(2)情境数据获取
情境获取的手段多样,主要通过两方面的方法,一是显示获取,通过问卷、用户资料补充等与用户交互方式获取用户情境,通过历史记录日志获取历史情境信息,通过传感器(如GPS),获取环境情境信息,另一方面学习挖掘,从用户的行为日志、历史问句中挖掘分类获取,例如用户的性别,可以从其购买、浏览、点击的商品等方面提取特征集,构建分类体系(三类:男,女,未知),通过分类模型(SVM、最大熵、神经网络)进行用户性别分类,从而得到用户的性别情境信息。传统的用户画像构建的一些方法都可以使用。对于购物领域的情境获取来说,用户情境信息可以从用户的购物记录、用户的实名认证信息中获取;历史情境可以从***日志中获取;***情境可以从来访的ip地址、***时间、天气服务中获取。
(3)模型设计
本发明是通过用户问句和情境信息来预测用户的意图领域,所以算法的输入为用户问题文本、表示情境信息的10维短语向量,输出为各领域的概率分布向量序列,其维度为意图领域类型总数。在购物应用实例中,选取以下12类领域意图进行举例说明:食品类搜索、春秋装搜索、冬装搜索、夏装搜索、电子类搜索、火车票查询、机票查询、订单生成、订单查询、订单确认、火车票预订、机票预订。
本实施例将情境信息嵌入用户问题,形成考虑情境的问题分布式表示,带入模型进行预测,网络模型主要包含以下几层:
文本嵌入层:主要任务是将离散的字符转换成连续的数值,以便于模型计算。即将问题与情境中的每个词映射到高维向量空间(一般自然语言处理任务大多采用200维的向量),使用GloVe预训练的词向量来获取每个词的向量表示,得到两个d维的向量序列。在本实施例中,首先需要对问句进行分词获得分词序列,问句的长度不一,分词得到的分词序列长度也不一样,为了方便计算模型计算,对其进行标准化处理,统一取序列长度为8,不足部分用零补全。例如“最近几天的苹果价格”,分词补全得到[最近,几天,苹果,价格,0,0,0,0]。d取200,序列长度分别为8和10,因此两个矩阵:问题矩阵Q∈R200×8以及情境矩阵C∈R200 ×10。将表示结果输入到双向LSTM来建模词与词之间的时序交互,分别生成问题和文本对应的隐状态向量序列。双向的LSTM进行拼接则由问题矩阵Q得到隐状态向量H∈R400×8,以及情境矩阵C得到的U∈R400×10。
情境注意力层:将情境信息嵌入问题,形成考虑情境的问题分布式表示。情境注意力经由一个关于问题和情境的隐状态向量(H和U)的相似度矩阵S∈R8×10计算而来,其中Stj表示问题中第t个词和情境中第j个词的相似度。相似度矩阵的计算公式为,
Stj=α(H:t,U:j)
其中,α是一个可训练的标量函数,对输入的两个向量衡量它们之间的相似度,H:t是H中的第t个列向量,U:j是H中的第j个列向量。本发明采用的相似度计算为 其中,是一个可训练的权重向量,*表示元素相乘,[;]表示对向量按行拼接。对于上述例子中的问题和情境来说,例如需要计算问题中“苹果”所对应的隐向量[h1,h2,…,h400]T,与情境“电子”所对应的隐向量[u1,u2,…,u400]T的相似度可表示为若为[w1,w2,…,w1200]那么相似度最终为w1h1+…+w401u1+…+w801h1u1+…+w1200h400u400。
接着,根据按S来获取情境到问题的注意力,过程描述:首先通过b=softmax(maxcol(S))∈R8来获得问题的注意力权重。其中,maxcol()是在每一行上取最大值的函数。之后,问题注意力向量为h~=∑tbtH:t∈R400,此向量表示对于情境来说的问题中最重要词的加权和。对h~在列上复制8次,得到问题隐向量的加权矩阵H~∈R400×8。最后,对问题向量和注意力向量拼接产生G,其中每一列可以视为问题中每个词的感知了情境信息的表示,G的定义如下:
其中,G:t是第t个列向量(对应问题中第t个词),β是一个可训练的向量函数对其输入的向量进行融合,dG则为β函数的输出维度。β函数定义为:
β(h,h~,u)=(h;h*h~;u)∈R1200×8(dG=1200)
模型层:使用G作为输入,采用双向LSTM,生成隐状态序列,获得输出矩阵M∈R400 ×8;
输出层:预测用户意图各分类的概率分布:
(4)模型训练与预测。
标注数据,构建训练集,利用传统神经网络采用的反向传播算法对步骤3中所构建问题意图预测网络中的模型的参数(即每层网络中的权值矩阵)进行训练,并依此来进行问句分类预测。标注的数据主要包括用户问句,情境与意图类别。以购物领域为例,标注数据样式如下表所示。
表1
预测时以问句与情境信息为输入,输出为领域概率分布,例如[0.83,0.02,0.01,0.02,0.03,0.02,0.01,0.02,0.01,0.01,0.01,0.01],该预测结果表示用户意图83%概率是“食品类搜索”。
实施例2
本实施例2中,以手机语音助手为例,说明本发明的实施过程。本发明属于语音助手中自然语言处理部分的自然语言理解的内容。输入是语音识别生成用户自然语言问句,输出为用户的意图分类。处理主要分为两大部分,包括线下预处理部分和线上预测部分。
线下预处理部分主要包括数据标注、模型训练。具体的,数据标注主要是获取用户的历史问句,对于每一条语句,标注其由10个词语组成情境信息与问句所属的意图领域。意图领域覆盖手机助手支持的业务,如闲聊、拨号、短信、订票、闹钟等,情境信息如[男,青年,销售闲聊,未知,闲聊,拨号,南京,16,1196361000]。
模型训练是通过标注数据对本发明提出的问题意图预测网络进行训练,以获取训练模型。首先,对标注的结果进行处理,将其转化为分类结果向量。具体的,统计手机助手所支持的所有意图领域个数N,并以固定的顺序排序,以此生成一个N维的向量,向量由0,1构成,即将结果领域所在位置上的数值设为1,其余为0。如:闲聊、拨号、短信这一领域集合中各向量分别表示为[1,0,0],[0,1,0],[0,0,1]。然后以用户问句与情境信息为输入,结果向量为输出,训练问题意图预测网络,生成模型中各层网络中的参数权重。
线上预测部分处理过程包括情境信息采集与领域分类,其中情境信息采集是根据接入的用户的唯一标识,获取其对应的基本信息(性别、年龄段、职业、领域偏好)、以及记录的历史领域(***日志记录的最近三轮的对话的意图领域,不足补充“未知”);根据手机的***时间、天气与位置服务获取用户的环境信息,将获取的信息拼接形成情境信息短语序列。
领域分类部分是以用户问句与情境信息为输入,代入模型计算,获取领域分类。具体包括:首先对问句进行分词,获取问题短语序列;然后通过GloVe预训练的词向量来获取问句序列和情境信息中的每个词向量表示,将问句向量序列、情境向量序列、训练得出的模型中各层网络中的参数权重代入模型(情境向量序列是情境信息短语序列的数值化表示,问句向量序列是问题短语序列的数值化表示),预测得到N维的结果向量。获取向量中最大的数值p及其位置,如果p满足预期的阈值要求,那么其位置所对应的意图领域,就是分类得到的结果意图领域,如闲聊、拨号、短信这一领域集合中输出结果为[0.1,0.7,0.2],设置的阈值为不小于0.7,那么领域意图分类结果就是拨号。
本发明提供了一种计算机问答***中的问句分类方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (5)
1.一种计算机问答***中的问句分类方法,其特征在于,包括以下步骤:
步骤1,构建用于对问句进行分类的用户情境模型;
步骤2,基于用户情境模型,获取用户的情境信息数据;
步骤3,获取待分类的问句,并基于用户的情境信息数据,构建基于注意力机制的问题意图预测网络;
步骤4,训练模型,并对问句进行分类预测;
步骤1中所述的构建用户情境模型,是指根据问答***需要定义的情境属性构建完整的情境信息描述,一组完整的情境信息ContextInfo需要从三个维度Y、H、E进行描述,表示如下:
ContextInfo=<Y、H、E>
其中,每个维度的含义如下:
Y表示用户情境信息;
H表示历史情境信息;
E表示环境情境信息;
所述用户情境信息是指用户的基本信息与行为偏好,包括性别、年龄段、职业和领域偏好;
所述历史情境信息是指用户最近三轮对话中用户关注的意图领域;
所述环境情境信息是指用户所在的区域、温度、时间;
每个情境信息都用一个属性词表示,即最终情境信息的表示由10个词语组成;
步骤3中,所述基于注意力机制的问题意图预测网络包含文本嵌入层、情境注意力层、模型层和输出层;
其中,文本嵌入层用于将问题与情境中的每个词映射到高维向量空间;
情境注意力层用于将情境信息嵌入问题,形成考虑情境的问题分布式表示G;
模型层用于,使用G作为输入,采用双向LSTM,生成隐状态序列,获得输出矩阵M;
输出层用于预测用户意图各分类的概率分布p;
所述文本嵌入层用于将问题与情境中的每个词映射到高维向量空间,具体包括:
获取待分类的问句,问句中包括问题,使用GloVe预训练的词向量来获取问题与情境中每个词的向量表示,得到两个d维的向量序列,即两个矩阵:问题矩阵Q∈Rd×T和情境矩阵C∈Rd×j,其中d取正整数,T与j分别表示问题中词的个数和情境中词的个数,R为实数;
将表示结果Q和C输入到双向LSTM来建模词与词之间的时序交互,分别生成问题对应的隐状态向量序列H∈R2d×T和情境对应的隐状态向量序列U∈R2d×j;
双向的LSTM进行拼接后,输出的隐状态向量序列H和U的维度变为输入的两倍,即2d。
2.如权利要求1所述的方法,其特征在于,所述情境注意力层用于将情境信息嵌入问题,形成考虑情境的问题分布式表示,即情境到问题的注意力G,具体包括:
步骤a1,通过关于问题对应的隐状态向量序列H和情境对应的隐状态向量序列U的相似度矩阵S∈Rt×j计算得到情境到问题的注意力G,相似度矩阵S的第t行第j列的元素为Stj,Stj表示问题中第t个词和情境中第j个词的相似度,Stj的计算公式为:
Stj=α(H:t,U:j),
其中,α是一个能够训练的标量函数,α的作用是对输入的两个向量衡量它们之间的相似度,H:t是H中的第t个列向量,U:j是U中的第j个列向量,采用如下公式计算两个输入的向量h和u的相似度α(h,u):
步骤a2,根据相似度矩阵S获取情境到问题的注意力G:通过b=softmax(maxcol(S))∈RT来获得问题的注意力权重向量b,其中,maxcol()是在矩阵的每一列上取最大值的函数,之后,问题注意力向量为h~=∑tbtH:t∈R2d,bt为b中第t个元素,此向量h~表示对于情境来说的问题中最重要词的加权和;对h~在列上复制T次,得到问题隐向量的加权矩阵H~∈R2d×T,对问题向量和注意力向量拼接产生矩阵G,矩阵G中每一列视为问题中每个词的感知了情境信息的表示,G的定义如下:
其中,G:t是矩阵G中第t个列向量,对应情境中第t个词, 是问题隐向量的加权矩阵H~中第t个列向量,β是一个能够训练的向量函数,β函数用于对输入的向量进行融合,dG则为β函数的输出维度,β函数定义为:
β(h,h~,u)=(h;h*h~;u)
其中,β(h,h~,u)∈R6d×T,dG=6d。
3.如权利要求2所述的方法,其特征在于,输出矩阵M∈R2d×T。
5.如权利要求4所述的方法,其特征在于,将所述问句分类方法用于处理手机语音助手中自然语言处理部分的自然语言理解,输入的是语音识别生成的用户自然语言问句,输出为用户的意图分类,具体处理包括线下预处理部分和线上预测部分;
所述线下预处理部分包括数据标注和模型训练,其中,数据标注是获取用户的历史问句,对于每一条语句,标注其由10个词语组成情境信息与问句所属的意图领域,意图领域覆盖手机助手支持的业务;
模型训练是通过标注数据对步骤3所述的问题意图预测网络进行训练,以获取训练模型:首先,对标注的结果进行处理,将其转化为分类结果向量,具体的,统计手机助手所支持的所有意图领域个数N,并以固定的顺序排序,以此生成一个N维的向量,向量由0,1构成,即将结果领域所在位置上的数值设为1,其余为0,然后以用户问句与情境信息为输入,结果向量为输出,训练问题意图预测网络,生成模型中各层网络中的参数权重;
所述线上预测部分包括情境信息采集和领域分类,其中,情境信息采集是根据接入的用户的唯一标识,获取其对应的基本信息和记录的历史领域,并根据手机的***时间、天气与位置服务获取用户的环境信息,将获取的信息拼接形成情境信息短语序列;
领域分类是以用户问句与情境信息为输入,代入模型计算,获取领域分类,具体包括:首先对问句进行分词,获取问题短语序列;然后通过GloVe预训练的词向量来获取问句序列和情境信息中的每个词向量表示,将问句向量序列、情境向量序列、训练得出的模型中各层网络中的参数权重代入模型,预测得到N维的结果向量,获取向量中最大的数值p及其位置,如果p满足预期的阈值要求,则其位置所对应的意图领域,就是分类得到的结果意图领域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910455870.0A CN110263160B (zh) | 2019-05-29 | 2019-05-29 | 一种计算机问答***中的问句分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910455870.0A CN110263160B (zh) | 2019-05-29 | 2019-05-29 | 一种计算机问答***中的问句分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110263160A CN110263160A (zh) | 2019-09-20 |
CN110263160B true CN110263160B (zh) | 2021-04-02 |
Family
ID=67915673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910455870.0A Active CN110263160B (zh) | 2019-05-29 | 2019-05-29 | 一种计算机问答***中的问句分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263160B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112732877B (zh) * | 2019-10-14 | 2024-05-17 | 阿里巴巴集团控股有限公司 | 数据处理的方法、装置和*** |
CN110795532A (zh) * | 2019-10-18 | 2020-02-14 | 珠海格力电器股份有限公司 | 一种语音信息的处理方法、装置、智能终端以及存储介质 |
CN111078854B (zh) * | 2019-12-13 | 2023-10-27 | 北京金山数字娱乐科技有限公司 | 问答预测模型的训练方法及装置、问答预测方法及装置 |
CN111177381A (zh) * | 2019-12-21 | 2020-05-19 | 深圳市傲立科技有限公司 | 基于语境向量反馈的槽填充和意图检测联合建模方法 |
CN111274786A (zh) * | 2020-01-22 | 2020-06-12 | 中国人民大学 | 一种自动量刑的方法和*** |
CN111062220B (zh) * | 2020-03-13 | 2020-06-16 | 成都晓多科技有限公司 | 一种基于记忆遗忘装置的端到端意图识别***和方法 |
CN111477216B (zh) * | 2020-04-09 | 2024-02-23 | 南京硅基智能科技有限公司 | 一种用于对话机器人的音意理解模型的训练方法及*** |
CN112182179B (zh) * | 2020-09-27 | 2022-09-23 | 北京字节跳动网络技术有限公司 | 实体问答处理方法、装置、电子设备和存储介质 |
CN112182231B (zh) * | 2020-12-01 | 2021-03-09 | 佰聆数据股份有限公司 | 基于句向量预训练模型的文本处理方法、***及存储介质 |
CN113377951A (zh) * | 2021-05-20 | 2021-09-10 | 广州云趣信息科技有限公司 | 智能客服机器人的语料构建方法及装置 |
CN113313001B (zh) * | 2021-05-21 | 2023-10-10 | 浪潮金融信息技术有限公司 | 一种基于语义模型的手写输入的优化方法、***及介质 |
CN115146066A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市华付信息技术有限公司 | 人机交互方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021616A (zh) * | 2017-11-06 | 2018-05-11 | 大连理工大学 | 一种基于循环神经网络的社区问答专家推荐方法 |
CN108038209A (zh) * | 2017-12-18 | 2018-05-15 | 深圳前海微众银行股份有限公司 | 答案选择方法、装置和计算机可读存储介质 |
CN108628882A (zh) * | 2017-03-20 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 用于预判问题的方法和*** |
CN108804677A (zh) * | 2018-06-12 | 2018-11-13 | 合肥工业大学 | 结合多层级注意力机制的深度学习问题分类方法及*** |
CN108829667A (zh) * | 2018-05-28 | 2018-11-16 | 南京柯基数据科技有限公司 | 一种基于记忆网络的多轮对话下的意图识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160350653A1 (en) * | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
-
2019
- 2019-05-29 CN CN201910455870.0A patent/CN110263160B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108628882A (zh) * | 2017-03-20 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 用于预判问题的方法和*** |
CN108021616A (zh) * | 2017-11-06 | 2018-05-11 | 大连理工大学 | 一种基于循环神经网络的社区问答专家推荐方法 |
CN108038209A (zh) * | 2017-12-18 | 2018-05-15 | 深圳前海微众银行股份有限公司 | 答案选择方法、装置和计算机可读存储介质 |
CN108829667A (zh) * | 2018-05-28 | 2018-11-16 | 南京柯基数据科技有限公司 | 一种基于记忆网络的多轮对话下的意图识别方法 |
CN108804677A (zh) * | 2018-06-12 | 2018-11-13 | 合肥工业大学 | 结合多层级注意力机制的深度学习问题分类方法及*** |
Non-Patent Citations (3)
Title |
---|
CA-RNN: Using Context-Aligned Recurrent Neural Networks for Modeling Sentence Similarity;Qin Chen等;《The Thirty-Second AAAI Conference on Artificial Intelligence》;20181231;265-273 * |
基于Bi-LSTM和CNN并包含注意力机制的社区问答问句分类;史梦飞 等;《计算机***应用》;20180930;第27卷(第9期);157-162 * |
用于客服辅助的对话模型研究;梁建增;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115;I138-1945 * |
Also Published As
Publication number | Publication date |
---|---|
CN110263160A (zh) | 2019-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263160B (zh) | 一种计算机问答***中的问句分类方法 | |
CN111444428B (zh) | 基于人工智能的信息推荐方法、装置、电子设备及存储介质 | |
CN111538912B (zh) | 内容推荐方法、装置、设备及可读存储介质 | |
CN110737801B (zh) | 内容分类方法、装置、计算机设备和存储介质 | |
CN109062893B (zh) | 一种基于全文注意力机制的商品名称识别方法 | |
CN111382361B (zh) | 信息推送方法、装置、存储介质和计算机设备 | |
EP3679472A1 (en) | Providing a response in a session | |
CN112989038B (zh) | 句子级用户画像生成方法、装置及存储介质 | |
WO2021204017A1 (zh) | 文本意图识别方法、装置以及相关设备 | |
CN112256866B (zh) | 一种基于深度学习的文本细粒度情感分析算法 | |
CN111814487B (zh) | 一种语义理解方法、装置、设备及存储介质 | |
CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
CN116523583A (zh) | 电子商务数据分析***及其方法 | |
CN114077661A (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
CN113792148B (zh) | 一种基于序列到序列的评论方面类别检测方法及*** | |
CN114648031A (zh) | 基于双向lstm和多头注意力机制的文本方面级情感识别方法 | |
CN112131345A (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
CN116955591A (zh) | 用于内容推荐的推荐语生成方法、相关装置和介质 | |
CN113516094B (zh) | 一种用于为文档匹配评议专家的***以及方法 | |
CN113505307A (zh) | 一种基于弱监督增强的社交网络用户地域识别方法 | |
CN115293818A (zh) | 广告投放选品方法及其装置、设备、介质 | |
CN112508615A (zh) | 特征提取方法、特征提取装置、存储介质与电子设备 | |
Windiatmoko et al. | Mi-Botway: A deep learning-based intelligent university enquiries chatbot | |
TWI795001B (zh) | 內容產生方法、內容提供方法、內容產生程式及內容提供程式 | |
CN116701585A (zh) | 一种人机对话模型的训练方法、***、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |