CN114036959A - 会话语境的确定方法、装置、计算机程序产品和存储介质 - Google Patents
会话语境的确定方法、装置、计算机程序产品和存储介质 Download PDFInfo
- Publication number
- CN114036959A CN114036959A CN202111414855.5A CN202111414855A CN114036959A CN 114036959 A CN114036959 A CN 114036959A CN 202111414855 A CN202111414855 A CN 202111414855A CN 114036959 A CN114036959 A CN 114036959A
- Authority
- CN
- China
- Prior art keywords
- context
- contexts
- text
- target
- session
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004590 computer program Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 230000007704 transition Effects 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 38
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/258—Heading extraction; Automatic titling; Numbering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本公开实施例公开了一种会话语境的确定方法、装置、计算机程序产品和存储介质,其中,该确定方法包括:获取目标会话文本;通过会话语境分割模型对所述目标会话文本进行语境分割,得到所述目标会话文本的多个语境。本公开实施例可以快速合理地确定目标会话文本中的语境。
Description
技术领域
本公开实施例涉及一种会话语境的确定方法、装置、计算机程序产品和存储介质。
背景技术
在智能助手的应用中,通常情况采用以一问一答的形式。其中,一问一答的形式,指的是用户在询问一个问题时,智能助手给出相应的回答,用户再次询问一个新问题时,智能助手再根据新问题进行回答。在会话双方的整个聊天过程中,聊天的主题通常分散在整个会话中的,而且主题之间的转化也是不确定的。
智能助手通常采用的一问一答的形式,当会话主题比较分散时,难以合理的确定会话语境。例如用户与智能助手进行交互时,关于教育语境下的会话主题可能分散在整个会话中,比如用户首先提问教育语境下关于小学主题的问题后,然后提问题其他与教育语境无关的问题后,又提问了教育语境下关于中学主题的问题。如何在主题之间不固定的情况下,合理地确定会话语境,是一个亟待解决的问题。
发明内容
本公开实施例提供一种会话语境的确定方法、装置、计算机程序产品和存储介质,可以在主题之间不固定的情况下,合理的确定会话语境。
本公开实施例的第一方面,提供一种会话语境的确定方法,包括:
获取目标会话文本;
通过会话语境分割模型对所述目标会话文本进行语境分割,得到所述目标会话文本的多个语境,其中,所述会话语境分割模型是根据样本会话文本进行训练得到的,所述样本会话文本包括多个主题和针对所述多个主题的多个语境标签。
根据本公开的一个实施例,在所述获取目标会话文本之前,还包括:
获取所述样本会话文本;
确定所述样本会话文本中多句话对应的所述多个主题;
获取针对所述多个主题的所述多个语境标签;
基于所述多个主题和所述多个语境标签训练对所述样本会话文本进行模型训练,得到所述会话语境分割模型。
根据本公开的一个实施例,所述确定所述样本会话文本中多句话对应的所述多个主题,包括:
对所述样本会话文本中的目标对象出现的位置;
去除所述样本会话文本中的目标对象出现的位置之前的文本内容,得到训练文本;
确定所述训练文本中多句话对应的所述多个主题。
根据本公开的一个实施例,在所述通过会话语境分割模型对所述目标会话文本进行语境分割,得到所述目标会话文本的多个语境之后,还包括:
获取所述多个语境的主题分布信息;
基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率。
根据本公开的一个实施例,所述基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率,包括:
获取所述多个语境中包括目标主题的第一语境,并获取所述多个语境中包括所述目标主题的第二语境;
获取所述第一语境中所述目标主题的主题分布信息,并获取所述第二语境中所述目标主题的主题分布信息;
基于所述第一语境中所述目标主题的主题分布信息和所述第二语境中所述目标主题的主题分布信息,确定所述第一语境与所述第二语境之间的转移概率。
根据本公开的一个实施例,在所述基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率之后,还包括:
对所述多个语境的语境之间的转移概率进行归一化处理。
根据本公开的一个实施例,在所述基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率之后,还包括:
基于所述多个语境的语境之间的转移概率,生成所述多个语境的语境之间的状态转移表。
本公开实施例的第二方面,提供一种会话语境的确定装置,包括:
获取模块,用于获取目标会话文本;
语境确定模块,用于通过会话语境分割模型对所述目标会话文本进行语境分割,得到所述目标会话文本的多个语境,其中,所述会话语境分割模型是根据样本会话文本进行训练得到的,所述样本会话文本包括多个主题和针对所述多个主题的多个语境标签。
根据本公开的一个实施例,所述会话语境的确定装置还包括:
模型训练模块,用于获取所述样本会话文本,并确定所述样本会话文本中多句话对应的所述多个主题;所述模型训练模块还用于获取针对所述多个主题的所述多个语境标签,进而基于所述多个主题和所述多个语境标签训练对所述样本会话文本进行模型训练,得到所述会话语境分割模型。
根据本公开的一个实施例,所述模型训练模块用于获取所述样本会话文本中的目标对象出现的位置;所述模型训练模块还用于去除所述样本会话文本中的目标对象出现的位置之前的文本内容,得到训练文本;所述模型训练模块还用于确定所述训练文本中多句话对应的所述多个主题。
根据本公开的一个实施例,所述会话语境的确定装置还包括:
转移概率确定模块,用于获取所述多个语境的主题分布信息,进而基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率。
根据本公开的一个实施例,所述转移概率确定模块用于获取所述多个语境中包括目标主题的第一语境,并获取所述多个语境中包括所述目标主题的第二语境;所述转移概率确定模块还用于获取所述第一语境中所述目标主题的主题分布信息,并获取所述第二语境中所述目标主题的主题分布信息;所述转移概率确定模块还用于基于所述第一语境中所述目标主题的主题分布信息和所述第二语境中所述目标主题的主题分布信息,确定所述第一语境与所述第二语境之间的转移概率。
根据本公开的一个实施例,所述会话语境的确定装置还包括:
归一化处理模块,用于对所述多个语境的语境之间的转移概率进行归一化处理。
根据本公开的一个实施例,所述会话语境的确定装置还包括:
状态转移表确定模块,用于基于所述多个语境的语境之间的转移概率,生成所述多个语境的语境之间的状态转移表。
本公开实施例的第三方面,提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面所述的会话语境的确定方法。
本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述第一方面所述的会话语境的确定方法。
本公开实施例的第五方面,提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述第一方面的会话语境的确定方法。
本公开实施例的会话语境的确定方法、装置、计算机程序产品和存储介质,根据样本会话文本中的多个主题和针对多个主题的多个语境标签训练会话语境分割模型,在获取目标会话文本后,通过会话语境分割模型可以快速合理地确定目标会话文本中的语境,以便根据确定出的语境辅助对目标会话文本中用户具体意图的确定。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同描述一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1为本公开实施例的会话语境的确定方法的流程示意图;
图2为本公开一个示例中一个样本会话文本的示意图;
图3为本公开一个示例中基于会话文本得到部分语境和主题分布信息的示意图;
图4为本公开实施例的会话语境的确定装置的结构框图;
图5为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机***、服务器等电子设备,其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于:个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境,等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
图1为本公开实施例的会话语境的确定方法的流程示意图。如图1所示,本公开实施例的会话语境的确定方法,包括:
S1:获取目标会话文本。
在本公开一个示例中,目标会话文本为用户与工作人员进行在线会话,进行会话内容得到的文本。例如用户在某个交易网站上看到感兴趣的一套房屋后,通过该房屋的详情页提供的在线沟通渠道(例如该交易提供的在线沟通工具或者其他在线沟通软件中指定工作人员ID)与工作人员进行在线会话后,生成的目标会话文本。
本公开中所使用的目标会话文本的获取方式包括但不限于用户提供的目标会话文本。在本公开实施例中,目标会话文本和样本会话文本均为经用户授权的、且可以用于改进服务质量的文本信息。
S2:通过会话语境分割模型对目标会话文本进行语境分割,得到目标会话文本的多个语境。其中,会话语境分割模型是根据样本会话文本进行训练得到的,样本会话文本包括多个主题和针对多个主题的多个语境标签。
在步骤S2之前,可以针对样本会话文本训练用于对会话文本进行语境划分的会话语境分割模型。其中,样本会话文本为多个,每个样本会话文本可以包括多个主题。每个样本会话文本具有至少一个语境标签,通过至少一个语境标签对样本会话文本进行标注。例如样本会话文本A中包括30句话,在30句话中前10句话为小学主题,后20句话为中学主题。由于样本会话文本A仅针对教育语境,因此样本会话文本A的30句话对应设置教育语境的标签。在本公开实施例中,以用户询问问题的意图作为一个主题,例如当用户询问小学信息的情况时,主题为小学。此外,在本公开实施例中,一个语境可以包括一个或多个主题,例如在学校语境下:包含的主题可以有小学、中学、幼儿园等主题,这些主题的集合构建为一个语境。
图2为本公开一个示例中一个样本会话文本的示意图。在图2中,圆圈内的数字1-15表示该样本会话文本中的第1-15个主题。其中,主题1-4标注为语境1,主题5-8标注为语境2,主题9-11标注为语境3,主题12-15标注为语境4。其中,每个语境下的主题与该语境存在对应关系,例如语境1为周边配套语境,主题1为商场,主题2为医院、主题3为学校,主题4为文体场馆。
在本实施例中,可以将样本会话文本分为训练集和测试集,通过训练集训练会话语境分割模型,并通过测试集对训练出会话语境分割模型进行测试,根据测试结果与正确结果之间的偏差调整会话语境分割模型的参数,当达到预设迭代次数或测试结果满足预设要求时,得到最终的会话语境分割模型。
可选的是,训练出的会话语境分割模型可以是条件随机场(Conditional RandomFields,CRF)模型,语境划分的精度高。
在步骤S2中,将目标会话文本输入到会话语境分割模型中,可以得到目标会话文本的多个语境。
在本实施例中,根据样本会话文本中的多个主题和针对多个主题的多个语境标签训练会话语境分割模型,在获取目标会话文本后,通过会话语境分割模型可以快速合理地确定目标会话文本中的语境,以便根据确定出的语境辅助对目标会话文本中用户具体意图的确定。
在本公开的一个实施例中,在步骤S2之前,还可以包括:
A:获取样本会话文本。
示例性地,可以将某个交易网站的服务器中存储了的经用户授权的历史会话文本中选取部分会话文本作为样本会话文本,例如可以将历史会话文本中超过X句话、且包括了多个主题的会话文本选择为样本会话文本。
B:确定样本会话文本中多句话对应的多个主题。例如,可以通过自然语言处理的方式确定样本会话文本中包括的多个主题。
C:获取针对多个主题的多个语境标签。其中,语境标签可以是人工标注的。
D:基于多个主题和多个语境标签训练对样本会话文本进行模型训练,得到会话语境分割模型。
在本实施例中,基于样本会话文本训练出可以对会话文本进行准确语境划分的会话语境分割模型。
在本公开的一个实施例中,步骤B包括:
B-1:获取样本会话文本中的目标对象出现的位置。
示例性地,目标对象可以是某个物品的具体信息,例如在服务人员与用户针对指定房屋进行在线沟通时,目标对象可以是指定房屋,即当用户或服务人员的会话中出现指定房屋时,该会话内容的位置即为目标对象出现的位置。
B-2:去除样本会话文本中的目标对象出现的位置之前的文本内容,得到训练文本,例如将出现目标对象之前的文本内容确定为无关内容进行过滤。
在本公开的一个示例中,样本会话文本包括以下内容:
用户A:您好。
用户B:您好。
……。
用户A:想问一下A小区的那个两居室,……。
在本示例中,以A小区的那个两居室为目标对象,去除样本会话文本中位于“用户A:想问一下A小区的那个两居室,……。”之前的文本内容。
B-3:确定训练文本中多句话对应的多个主题。
在本实施例中,在进行会话语境分割模型之前,对样本会话数据进行数据过滤,将无关数据去除,从而提升模型训练效率。
在本公开的一个实施例中,在步骤S2之后,还包括:
S3:获取多个语境的主题分布信息。其中,主题分布信息可以包括语境中每个主题的在对应语境中的数量。
S4:基于多个语境的主题分布信息,确定多个语境的语境之间的转移概率。
具体地,可以确定在多个语境之间,根据语境中包含的主题,可以确定一个语境转化为另一个语境的转移概率。
在本公开的一个示例中,在目标会话文本中包括学区语境和环境语境。学区语境中包括有小学主题,环境语境中也包括小学主题。当用户谈及学区语境下的小学主题时,有时会谈及附近小学对环境的影响,例如附近小学是否会影响居民休息或交通出行,从而实现语境的转移。
在本实施例中,从目标会话文本在学区语境和环境语境的主题分布信息中,提取学区语境中小学主题的数量M,并提取环境语境中小学主题的数量N。可以根据学区语境中小学主题的数量M,以及环境语境中小学主题的数量N,确定学区语境与环境语境之间的转移概率。
在本实施例中,可以根据目标会话文本中多个语境的主题分布信息,合理确定多个语境的语境之间的转移概率,进而在确定目标会话文本中的某个语境之后,基于多个语境的语境之间的转移概率,确定用户接下来提出的问题可能涉及的语境,进而了解用户意图进行有效沟通,提升用户满意度。
在本公开的一个实施例中,步骤S4包括:
S4-1:获取多个语境中包括目标主题的第一语境,并获取多个语境中包括目标主题的第二语境。
图3为本公开一个示例中基于会话文本得到部分语境和主题分布信息的示意图。如图3所示,语境1可以认定为第一语境,语境4可以认定为第二语境,主题4可以认定为目标主题。语境1和语境4均包括主题4。
S4-2:获取第一语境中目标主题的主题分布信息,并获取第二语境中目标主题的主题分布信息。
请继续参考图3,在语境1中主题4的主题分布信息为n4,在语境4中主题4的主题分布信息为n5。
S4-3:基于第一语境中目标主题的主题分布信息和第二语境中目标主题的主题分布信息,确定第一语境与第二语境之间的转移概率。
可以通过以下方式确定语境1和语境4之间的转移概率p1,4:
在本实施例中,可以针对包括同一主题的不同语境,快速合理地计算出语境之间转移概率,将语境之间转移概率提供给工作人员,可以在即使通信的场景下使工作人员了解在用户谈及某个语境后,接下来用户可能谈及的其他语境,辅助工作人员与用户进行有效沟通,提升用户体验。
在本公开的一个实施例中,在步骤S4之后,还包括:
S5-A:对多个语境的语境之间的转移概率进行归一化处理,例如通过以下公式进行归一化处理:
其中,pi,j表示从语境i转移到语境j的转移概率,∑jpi,j表示从pi,1到pi,j进行求和,qi,j表示从语境i转移到语境j、归一化处理后的概率。
在本实施例中,通过对多个语境之间的转移概率进行归一化处理,可以便于利用规一化处理后的转移概率辅助对目标对话文本进行进一步地分析。
在本公开的一个实施例中,在步骤S4之后,还包括:
S5-B:基于多个语境的语境之间的转移概率,生成多个语境的语境之间的状态转移表。
在本公开的一个示例中,目标对话文本可以包括5个语境,分别用A1、A2、A3、A4和A5表示,则可以用表1示出5个语境之间的转移概率。
语境 | A<sub>1</sub> | A<sub>2</sub> | A<sub>3</sub> | A<sub>4</sub> | A<sub>5</sub> |
A<sub>1</sub> | P<sub>1,1</sub> | P<sub>1,2</sub> | P<sub>1,3</sub> | P<sub>1,4</sub> | P<sub>1,5</sub> |
A<sub>2</sub> | P<sub>2,1</sub> | P<sub>2,2</sub> | P<sub>2,3</sub> | P<sub>2,4</sub> | P<sub>2,5</sub> |
A<sub>3</sub> | P<sub>31</sub> | P<sub>3,2</sub> | P<sub>3,3</sub> | P<sub>3,4</sub> | P<sub>3,5</sub> |
A<sub>4</sub> | P<sub>4,1</sub> | P<sub>4,2</sub> | P<sub>4,3</sub> | P<sub>4,4</sub> | P<sub>4,5</sub> |
A<sub>5</sub> | P<sub>5,1</sub> | P<sub>5,2</sub> | P<sub>5,3</sub> | P<sub>5,4</sub> | P<sub>5,5</sub> |
表1状态转移表
在本实施例中,基于多个语境的语境之间的转移概率,可以生成多个语境的语境之间的状态转移表,可以将状态转移表提供给工作人员,辅助工作人员对目标用户进行分析。
图4为本公开实施例的会话语境的确定装置的结构框图。如图4所示,本公开实施例的会话语境的确定装置,包括:获取模块100和语境确定模块200。
其中,获取模块100用于获取目标会话文本。语境确定模块200用于通过会话语境分割模型对目标会话文本进行语境分割,得到目标会话文本的多个语境。其中,会话语境分割模型是根据样本会话文本进行训练得到的,样本会话文本包括多个主题和针对多个主题的一个或多个语境标签。
在本公开的一个实施例中,会话语境的确定装置还包括:
模型训练模块,用于获取样本会话文本,并确定样本会话文本中多句话对应的多个主题;模型训练模块还用于获取针对多个主题的一个或多个语境标签,进而基于多个主题和多个语境标签训练对样本会话文本进行模型训练,得到会话语境分割模型。
在本公开的一个实施例中,模型训练模块用于获取样本会话文本中的目标对象出现的位置。模型训练模块还用于去除样本会话文本中的目标对象出现的位置之前的文本内容,得到训练文本。模型训练模块还用于确定训练文本中多句话对应的多个主题。
在本公开的一个实施例中,会话语境的确定装置还包括:
转移概率确定模块,用于获取多个语境的主题分布信息,进而基于多个语境的主题分布信息,确定多个语境的语境之间的转移概率。
在本公开的一个实施例中,转移概率确定模块用于获取多个语境中包括目标主题的第一语境,并获取多个语境中包括目标主题的第二语境。转移概率确定模块还用于获取第一语境中目标主题的主题分布信息,并获取第二语境中目标主题的主题分布信息。转移概率确定模块还用于基于第一语境中目标主题的主题分布信息和第二语境中目标主题的主题分布信息,确定第一语境与第二语境之间的转移概率。
在本公开的一个实施例中,会话语境的确定装置还包括:
归一化处理模块,用于对多个语境的语境之间的转移概率进行归一化处理。
根据本公开的一个实施例,会话语境的确定装置还包括:
状态转移表确定模块,用于基于多个语境的语境之间的转移概率,生成多个语境的语境之间的状态转移表。
需要说明的是,本公开实施例的会话语境的确定装置的具体实施方式与本公开实施例的会话语境的确定方法的具体实施方式类似,具体参见会话语境的确定方法实施例的描述,为了减少冗余,不作赘述。
另外,本公开实施例还提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述任一实施例所述的会话语境的确定方法。
图5为本公开电子设备一个应用实施例的结构示意图。如图5所示,电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行所述程序指令,以实现上文所述的本公开的各个实施例的会话语境的确定方法以及/或者其他期望的功能。
在一个示例中,电子设备还可以包括:输入装置和输出装置,这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
此外,该输入设备还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该电子设备中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
除了上述方法、装置和设备以外,本公开的实施例还公开了一种计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的会话语境的确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还公开了一种计算机可读存储介质,计算机可读存储介质其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的会话语境的确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种会话语境的确定方法,其特征在于,包括:
获取目标会话文本;
通过会话语境分割模型对所述目标会话文本进行语境分割,得到所述目标会话文本的多个语境,其中,所述会话语境分割模型是根据样本会话文本进行训练得到的,所述样本会话文本包括多个主题和针对所述多个主题的一个或多个语境标签。
2.根据权利要求1所述的会话语境的确定方法,其特征在于,在所述获取目标会话文本之前,还包括:
获取所述样本会话文本;
确定所述样本会话文本中多句话对应的所述多个主题;
获取针对所述多个主题的所述一个或多个语境标签;
基于所述多个主题和所述多个语境标签训练对所述样本会话文本进行模型训练,得到所述会话语境分割模型。
3.根据权利要求2所述的会话语境的确定方法,其特征在于,所述确定所述样本会话文本中多句话对应的所述多个主题,包括:
获取所述样本会话文本中的目标对象出现的位置;
去除所述样本会话文本中的目标对象出现的位置之前的文本内容,得到训练文本;
确定所述训练文本中多句话对应的所述多个主题。
4.根据权利要求1所述的会话语境的确定方法,其特征在于,在所述通过会话语境分割模型对所述目标会话文本进行语境分割,得到所述目标会话文本的多个语境之后,还包括:
获取所述多个语境的主题分布信息;
基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率。
5.根据权利要求4所述的会话语境的确定方法,其特征在于,所述基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率,包括:
获取所述多个语境中包括目标主题的第一语境,并获取所述多个语境中包括所述目标主题的第二语境;
获取所述第一语境中所述目标主题的主题分布信息,并获取所述第二语境中所述目标主题的主题分布信息;
基于所述第一语境中所述目标主题的主题分布信息和所述第二语境中所述目标主题的主题分布信息,确定所述第一语境与所述第二语境之间的转移概率。
6.根据权利要求4所述的会话语境的确定方法,其特征在于,在所述基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率之后,还包括:
对所述多个语境的语境之间的转移概率进行归一化处理。
7.根据权利要求4所述的会话语境的确定方法,其特征在于,在所述基于所述多个语境的主题分布信息,确定所述多个语境的语境之间的转移概率之后,还包括:
基于所述多个语境的语境之间的转移概率,生成所述多个语境的语境之间的状态转移表。
8.一种会话语境的确定装置,其特征在于,包括:
获取模块,用于获取目标会话文本;
语境确定模块,用于通过会话语境分割模型对所述目标会话文本进行语境分割,得到所述目标会话文本的多个语境,其中,所述会话语境分割模型是根据样本会话文本进行训练得到的,所述样本会话文本包括多个主题和针对所述多个主题的一个或多个语境标签。
9.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现上述权利要求1-7任一所述的会话语境的确定方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述权利要求1-7任一所述的会话语境的确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111414855.5A CN114036959A (zh) | 2021-11-25 | 2021-11-25 | 会话语境的确定方法、装置、计算机程序产品和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111414855.5A CN114036959A (zh) | 2021-11-25 | 2021-11-25 | 会话语境的确定方法、装置、计算机程序产品和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114036959A true CN114036959A (zh) | 2022-02-11 |
Family
ID=80145548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111414855.5A Pending CN114036959A (zh) | 2021-11-25 | 2021-11-25 | 会话语境的确定方法、装置、计算机程序产品和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114036959A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107846350A (zh) * | 2016-09-19 | 2018-03-27 | Tcl集团股份有限公司 | 一种语境感知网络聊天的方法、计算机可读介质和*** |
CN110765270A (zh) * | 2019-11-04 | 2020-02-07 | 苏州思必驰信息科技有限公司 | 用于口语交互的文本分类模型的训练方法及*** |
CN112463945A (zh) * | 2021-02-02 | 2021-03-09 | 贝壳找房(北京)科技有限公司 | 会话语境划分方法与***、交互方法与交互*** |
CN113177418A (zh) * | 2021-04-27 | 2021-07-27 | 上海明略人工智能(集团)有限公司 | 一种会话主题确定方法、装置、存储介质及电子设备 |
CN113470619A (zh) * | 2021-06-30 | 2021-10-01 | 北京有竹居网络技术有限公司 | 语音识别方法、装置、介质及设备 |
-
2021
- 2021-11-25 CN CN202111414855.5A patent/CN114036959A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107846350A (zh) * | 2016-09-19 | 2018-03-27 | Tcl集团股份有限公司 | 一种语境感知网络聊天的方法、计算机可读介质和*** |
CN110765270A (zh) * | 2019-11-04 | 2020-02-07 | 苏州思必驰信息科技有限公司 | 用于口语交互的文本分类模型的训练方法及*** |
CN112463945A (zh) * | 2021-02-02 | 2021-03-09 | 贝壳找房(北京)科技有限公司 | 会话语境划分方法与***、交互方法与交互*** |
CN113177418A (zh) * | 2021-04-27 | 2021-07-27 | 上海明略人工智能(集团)有限公司 | 一种会话主题确定方法、装置、存储介质及电子设备 |
CN113470619A (zh) * | 2021-06-30 | 2021-10-01 | 北京有竹居网络技术有限公司 | 语音识别方法、装置、介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qu et al. | User intent prediction in information-seeking conversations | |
US11954613B2 (en) | Establishing a logical connection between an indirect utterance and a transaction | |
CN111552880B (zh) | 基于知识图谱的数据处理方法、装置、介质及电子设备 | |
WO2018033030A1 (zh) | 自然语言文句库的生成方法及装置 | |
CN110704626B (zh) | 一种用于短文本的分类方法及装置 | |
EP3617896A1 (en) | Method and apparatus for intelligent response | |
US20210406913A1 (en) | Metric-Driven User Clustering for Online Recommendations | |
US11531821B2 (en) | Intent resolution for chatbot conversations with negation and coreferences | |
CN110268472B (zh) | 用于自动化对话***的检测机构 | |
CN110543550B (zh) | 自动生成试题的方法和装置 | |
CN111090739A (zh) | 信息处理方法、装置以及电子设备、存储介质 | |
KR102476099B1 (ko) | 회의록 열람 문서 생성 방법 및 그 장치 | |
WO2021098397A1 (zh) | 数据处理方法、设备及存储介质 | |
CN111639162A (zh) | 信息交互方法和装置、电子设备和存储介质 | |
US11699435B2 (en) | System and method to interpret natural language requests and handle natural language responses in conversation | |
Glasser et al. | Accessibility for deaf and hard of hearing users: Sign language conversational user interfaces | |
US11688393B2 (en) | Machine learning to propose actions in response to natural language questions | |
CN113051389A (zh) | 知识推送方法及装置 | |
CN111753062A (zh) | 一种会话应答方案确定方法、装置、设备及介质 | |
CN114036959A (zh) | 会话语境的确定方法、装置、计算机程序产品和存储介质 | |
CN113360630B (zh) | 交互信息提示方法 | |
Dias et al. | Chatbot for Government Examination using AI | |
CN114297390B (zh) | 一种长尾分布场景下的方面类别识别方法及*** | |
CN111178038B (zh) | 一种基于潜在语义分析的文档相似度识别方法及装置 | |
Chung et al. | A question detection algorithm for text analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |