CN110851580B - 一种基于结构化用户属性描述的个性化任务型对话*** - Google Patents
一种基于结构化用户属性描述的个性化任务型对话*** Download PDFInfo
- Publication number
- CN110851580B CN110851580B CN201911128620.2A CN201911128620A CN110851580B CN 110851580 B CN110851580 B CN 110851580B CN 201911128620 A CN201911128620 A CN 201911128620A CN 110851580 B CN110851580 B CN 110851580B
- Authority
- CN
- China
- Prior art keywords
- user
- personality
- dynamic
- code
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
- G06F16/337—Profile generation, learning or modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明是一种基于结构化用户属性描述的个性化任务型对话***,通过结构化三元组的形式来描述用户的个性,然后再使用与对话上下文紧密相关的动态编码方法捕获用户个性知识,最后再使用端到端的对话检索模型融合动态个性编码来选择最合适贴切的回复,从而避免生成大量通用、千篇一律的答复,达到千人千面的效果,提高用户在对话过程中的融入感。
Description
技术领域
本发明涉及一种基于结构化用户属性描述的个性化任务型对话***,属于人机交互领域。
背景技术
NLP技术的发展极大促进了任务型对话***的研究,但是现有的任务型对话***往往存在以下两个缺陷:
一、现有的任务型对话***是纯数据驱动的,***只能根据已有的对话数据来学习对话模式,这样会导致生成的答复趋向于通用、千篇一律,即针对于所有用户生成的回复是一致的,缺乏人类对话时的灵活性。
二、目前针对于用户个性的描述大部分是自然语言,包含很多的噪声,在编码的时候往往缺乏与对话内容之间的交互,即用户个性编码是纯静态的,不能随着对话内容的改变而变化。
发明内容
本发明技术解决问题:本发明提供了一种基于结构化用户属性描述的个性化任务型对话***,应用于餐厅预订领域,其目的在于,不仅可以生成正常策略的对话回复,还可以使得生成的回复更加贴切于特定的用户,提高用户在对话过程中的融入感。
本发明技术解决方案:一种基于结构化用户属性描述和自适应动态编码的个性化任务型对话***,主要包括以下两个模块:用户个性动态编码模块,个性化匹配模块。用户个性动态编码模块负责将输入的结构化用户属性描述编码为一个特征向量,在编码的过程中,用户个性动态编码模块使用对话的上下文来自动选择用户结构化用户属性描述中最重要和相关的属性,然后再结合一个分布式的静态全局个性编码,最终得到一个多粒度的内容相关的用户个性编码;个性化匹配模块负责融合用户个性编码和对话内容,来从候选回复集中选择最合适贴切的对话回复。
用户个性动态编码模块:用户个性编码分为两部分,一是细粒度的对话上下文相关的动态编码,二是粗粒度的全局静态个性编码。这两种编码方式相互结合,最终得到一个多粒度的、对话上下文相关的用户个性编码。
本发明中的用户个性描述是结构化三元组的形式,区别于传统的自然语言描述,这种描述方式的优点是结构简单,容易从真实的实际场景中收集,相对于自然语言形式这种三元组的噪音更少,有利于简洁高效地获取用户个性编码。
细粒度的对话上下文相关的动态编码,首先编码当前轮次的对话上下文,获得对话历史的编码向量;然后使用得到的对话历史编码向量自适应地对结构化用户个性描述做注意力计算,以自动捕获与当前对话上下文最相关、最重要的用户属性知识,最终可以得到细粒度的对话上下文相关的动态编码。
粗粒度的全局静态个性编码,本发明除了使用细粒度的对话上下文相关的动态编码,还对全局的用户个性进行建模。首先分别对用户个性描述中的所有属性分别进行one-hot编码(01编码),然后乘以一个用户个性编码矩阵,这个矩阵在训练初始阶段是随机初始化得到的,就得到粗粒度的全局静态个性编码。
个性化匹配模块,获得用户个性编码之后,还需要将用户个性编码融合到对话上下文与候选答复的匹配过程中,本发明采用增强自然语言推理模型(ESIM)作为匹配模型,然后在ESIM模型的聚合层中融入用户个性编码向量,同时在ESIM的输出层增加一个与用户实体偏好相关的偏置参数。通过个性化匹配模块,本发明可以选择最合适贴切的回复,从而避免生成大量通用、千篇一律的答复,达到千人千面和推荐的效果,提高用户在对话过程中的融入感。
本发明是一种基于结构化用户属性描述的个性化任务型对话***,可以得到以下有益效果:
(1)在传统的任务型对话***的基础上,充分考虑了用户个性的影响,使得生成的答复不仅是内容相关的,而且是用户个性紧密联系的,避免生成大量通用、千篇一律的答复,达到千人千面和推荐的效果,提高用户在对话过程中的融入感。(2)本发明使用结构化三元组来描述用户个性,这种方式在实际的应用场景中容易获得,相比于自然语言描述,噪声更少,更易收集,有利于本发明在工业界的落地。(3)本发明使用了多粒度的、对话上下文相关的用户个性编码,使得对话进行过程中自动关注用户个性的不同方面,提高了模型的可解释性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍
图1是本发明中输入的结构化用户属性描述示意图。
图2是本发明的整体结构图。
图3是本发明中用户个性动态编码模块的结构示意图。
图4是本发明中个性化匹配模块的结构示意图。
具体实施方式
下面结合附图,对本发明的技术方案做进一步的说明。
如图2所示,本发明是本发明是一种基于结构化用户属性描述的个性化任务型对话***,通过结构化三元组的形式来描述用户的个性,然后再使用与对话上下文紧密相关的动态编码方法捕获用户个性知识,最后再使用端到端的对话检索模型融合动态个性编码来选择最合适贴切的回复,从而避免生成大量通用、千篇一律的答复,达到千人千面的效果,提高用户在对话过程中的融入感。主要分为两个模块:用户个性动态编码模块,个性化匹配模块。用户个性动态编码模块负责将输入的结构化用户属性描述编码为一个特征向量,在编码的过程中,用户个性动态编码模块使用对话的上下文来自动选择用户结构化用户属性描述中最重要和相关的属性,然后再结合一个分布式的静态全局个性编码,最终得到一个多粒度的内容相关的用户个性编码。个性化匹配模块负责融合用户个性编码和对话内容,来从候选回复集中选择最合适贴切的对话回复。
S1.用户个性动态编码模块:用户个性动态编码分为两部分,一是细粒度的对话上下文相关的动态编码,二是粗粒度的全局静态个性编码。
S1.1首先本发明中用户个性描述为如下形式:{年龄=中年,性别=女,饮食偏好=素食},每个用户个性描述由很多个属性组成,属性又分为属性键和值,例如年龄为属性键,中年为其对应的属性值。我们使用e(ki)和e(vi)分别代表属性键和属性值的词向量编码,然后再通过一个双向长短记忆网络(BiLSTM)来编码对话历史,取最后时刻的隐层状态q作为对话上下文表征。在不同的上下文中,用户个性中的不同属性会发挥不同的作用,例如,在打招呼问候的时候,年龄和性别属性会更重要;而在推荐餐厅的时候,用户的饮食偏好会更重要。因此,本发明通过对话上下文表征自适应地捕获用户个性中最重要地属性,从而获得细粒度的动态用户个性编码。具体来说,我们使用对话上下文表征q对所有的属性做注意力计算,获得用户动态个性表征pdynamic:
αi=qT·e(ki),i=1,2,...,n
S1.2.粗粒度的全局静态个性编码:除了用户动态个性表征,本发明还采用了粗粒度的全局静态个性编码。我们首先分别对用户个性描述中的所有属性分别进行one-hot编码(01编码),然后乘以一个用户个性编码矩阵,这个矩阵在训练初始阶段是随机初始化得到的,就得到粗粒度的全局静态个性编码。将这两种编码方式拼接起来,最终得到一个多粒度的、对话上下文相关的用户个性编码
p=Concat([pdynamic;pstatic])
S2.个性化匹配模块:获得用户个性编码之后,还需要将用户个性编码融合到对话上下文与候选答复的匹配过程中,本发明采用增强自然语言推理模型(ESIM)作为匹配模型,然后在ESIM模型的聚合层中融入用户个性编码向量,同时在ESIM的输出层增加一个与用户实体偏好相关的偏置参数。个性化匹配模块主要包括输入编码层、局部匹配层、聚合层以及输出层。
S2.1.输入编码层将对话和候选答复中的每一个词转化为词向量,然后再经过一个Bi-LSTM层获取上下文依赖关系,得到隐层状态表示和其中i,j分别代表对话上下文中的第i个词,对话回复中的第j个词,E(c),E(r)分别代表对应的位置的词向量。
S2.2.局部匹配层获取对话上下文和回复之间的语义交互信息,本发明使用交叉注意力的方式,使用内积计算注意力分数:
然后分别加权求和:
最后将匹配信息融合,通过一个前馈网络计算:
S2.3.聚合层负责融合用户个性编码与匹配交互信息,通过以下方式实现:
这里的BiLSTM与传统的不同,我们融合了用户个性编码的信息:
ct=ft•ct-1+it•lt
ht=ot•tanh(ct)
这里的p代表动态上下文相关的用户个性表征,σ,it,ft,ot分别代表sigmoid激活函数,输入门,记忆门和输出门。本发明中所使用的长短记忆网络与普通的LSTM相比,主要的区别在于我们在每一个时间步上融入了用户的个性表征,因此本发明可以促进选择个性化的候选答复。
S2.4.输出层将BiLSTM的隐层状态通过池化层输出固定维度的向量,然后再通过一个多层感知器(MLP)输出预测概率,预测结果为0或者1。
上面结合附图对本发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围之内。
Claims (3)
1.一种基于结构化用户属性描述的个性化任务型对话***,其特征在于,主要包括用户个性动态编码和个性化匹配两个模块:
S1.用户个性动态编码模块,将输入的结构化用户属性描述编码为一个特征向量,在编码的过程中,用户个性动态编码模块使用对话的上下文来自动选择用户结构化用户属性描述中最重要和相关的属性,然后再结合一个分布式的静态全局个性编码,最终得到一个多粒度的内容相关的用户个性编码,即用户个性动态编码分为两部分:细粒度的对话上下文相关的动态编码和粗粒度的全局静态个性编码:
S1.1.细粒度的对话上下文相关的动态编码,其特征在于,通过一个双向长短记忆网络(BiLSTM)来编码对话历史,取最后时刻的隐层状态q作为对话上下文表征,在不同的上下文中,用户个性中的不同属性会发挥不同的作用,通过对话上下文表征自适应地捕获用户个性中最重要的属性,获得细粒度的动态用户个性编码,具体来说,使用对话上下文表征q对所有的属性做注意力计算,获得用户动态个性表征pdynamic:
αi=qT·e(ki),i=1,2,…,n
S1.2.粗粒度的全局静态个性编码的特征在于,首先分别对用户个性描述中的所有属性分别进行one-hot编码(01编码),然后乘以一个用户个性编码矩阵,就得到粗粒度的全局静态个性编码,将细粒度的对话上下文相关的动态编码和粗粒度的全局静态个性编码拼接起来,最终得到一个多粒度的、对话上下文相关的用户个性编码:
p=Concat([pdynamic;pstatic])
S2.个性化匹配模块,融合用户个性编码和对话内容,来从候选回复集中选择最合适贴切的对话回复,个性化匹配模块主要包括输入编码层、局部匹配层、聚合层以及输出层:
S2.2.局部匹配层,获取对话上下文和回复之间的语义交互信息,采用交叉注意力的方式,使用内积计算注意力分数:
然后分别加权求和:
最后将匹配信息融合,通过一个前馈网络计算:
S2.3.聚合层,负责融合用户个性编码与匹配交互信息,通过以下方式实现:
这里的BiLSTM与传统的不同,融合了用户个性编码的信息:
ct=ft·ct-1+it·lt
ht=ot·tanh(ct)
S2.4.输出层,将BiLSTM的隐层状态通过池化层输出固定维度的向量,然后再通过一个多层感知器(MLP)输出预测概率,预测结果为0或者1。
2.根据权利要求1所述的***,其特征在于,用户个性描述为如下形式:{年龄=中年,性别=女,饮食偏好=素食},每个用户个性描述由很多个属性组成,属性又分为属性键和值,使用e(ki)和e(vi)分别代表属性键和属性值的词向量编码。
3.根据权利要求1所述的***,其特征在于,个性化匹配模块:获得用户个性编码之后,还需要将用户个性编码融合到对话上下文与候选答复的匹配过程中,采用增强自然语言推理模型(ESIM)作为匹配模型,然后在ESIM模型的聚合层中融入用户个性编码向量,同时在ESIM的输出层增加一个与用户实体偏好相关的偏置参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911128620.2A CN110851580B (zh) | 2019-11-18 | 2019-11-18 | 一种基于结构化用户属性描述的个性化任务型对话*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911128620.2A CN110851580B (zh) | 2019-11-18 | 2019-11-18 | 一种基于结构化用户属性描述的个性化任务型对话*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110851580A CN110851580A (zh) | 2020-02-28 |
CN110851580B true CN110851580B (zh) | 2022-05-03 |
Family
ID=69601879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911128620.2A Active CN110851580B (zh) | 2019-11-18 | 2019-11-18 | 一种基于结构化用户属性描述的个性化任务型对话*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110851580B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627564B (zh) * | 2020-05-25 | 2024-02-27 | 日立楼宇技术(广州)有限公司 | 用户检测模型的训练及检测方法、装置、设备和存储介质 |
CN113836275B (zh) * | 2020-06-08 | 2023-09-05 | 菜鸟智能物流控股有限公司 | 对话模型建立方法、装置、非易失性存储介质和电子装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108319599A (zh) * | 2017-01-17 | 2018-07-24 | 华为技术有限公司 | 一种人机对话的方法和装置 |
CN108874972A (zh) * | 2018-06-08 | 2018-11-23 | 青岛里奥机器人技术有限公司 | 一种基于深度学习的多轮情感对话方法 |
CN110309287A (zh) * | 2019-07-08 | 2019-10-08 | 北京邮电大学 | 建模对话轮次信息的检索式闲聊对话打分方法 |
CN110321417A (zh) * | 2019-05-30 | 2019-10-11 | 山东大学 | 一种对话生成方法、***、可读存储介质及计算机设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10503834B2 (en) * | 2017-11-17 | 2019-12-10 | Digital Genius Limited | Template generation for a conversational agent |
-
2019
- 2019-11-18 CN CN201911128620.2A patent/CN110851580B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108319599A (zh) * | 2017-01-17 | 2018-07-24 | 华为技术有限公司 | 一种人机对话的方法和装置 |
CN108874972A (zh) * | 2018-06-08 | 2018-11-23 | 青岛里奥机器人技术有限公司 | 一种基于深度学习的多轮情感对话方法 |
CN110321417A (zh) * | 2019-05-30 | 2019-10-11 | 山东大学 | 一种对话生成方法、***、可读存储介质及计算机设备 |
CN110309287A (zh) * | 2019-07-08 | 2019-10-08 | 北京邮电大学 | 建模对话轮次信息的检索式闲聊对话打分方法 |
Non-Patent Citations (1)
Title |
---|
面向社区论坛多轮对话线索的连贯性评估方法研究;吴承泽;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190115(第01期);I138-5123 * |
Also Published As
Publication number | Publication date |
---|---|
CN110851580A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111246256B (zh) | 基于多模态视频内容和多任务学习的视频推荐方法 | |
CN111312245B (zh) | 一种语音应答方法、装置和存储介质 | |
CN110990543A (zh) | 智能对话的生成方法、装置、计算机设备及计算机存储介质 | |
CN109923558A (zh) | 混合专家神经网络 | |
CN112214591B (zh) | 一种对话预测的方法及装置 | |
CN111831798A (zh) | 信息处理方法、装置、电子设备及计算机可读存储介质 | |
CN115641543B (zh) | 一种多模态抑郁情绪识别方法及装置 | |
CN112527966B (zh) | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 | |
CN112115247A (zh) | 一种基于长短时记忆信息的个性化对话生成方法和*** | |
CN111966800A (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
CN113392640B (zh) | 一种标题确定方法、装置、设备及存储介质 | |
CN112100375A (zh) | 文本信息生成方法、装置、存储介质及设备 | |
CN110851580B (zh) | 一种基于结构化用户属性描述的个性化任务型对话*** | |
CN112182161A (zh) | 一种基于用户对话历史的个性化对话生成方法和*** | |
CN112100350B (zh) | 一种用于强化回复个性化表达的开放域对话方法 | |
CN114168707A (zh) | 一种面向推荐的情绪型对话方法 | |
CN110597968A (zh) | 一种回复选择方法及装置 | |
CN111046157B (zh) | 一种基于平衡分布的通用英文人机对话生成方法和*** | |
CN112000788A (zh) | 一种数据处理方法、装置以及计算机可读存储介质 | |
CN115937369A (zh) | 一种表情动画生成方法、***、电子设备及存储介质 | |
CN113742541A (zh) | 对话方法、装置、电子设备及计算机可读存储介质 | |
CN116958738A (zh) | 图片识别模型的训练方法和装置、存储介质及电子设备 | |
CN116779061A (zh) | 交互式药物分子设计方法、装置、电子设备及介质 | |
CN116150334A (zh) | 基于UniLM模型和Copy机制的中文共情语句训练方法及*** | |
CN115525831A (zh) | 推荐模型训练方法、推荐方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |