CN110688454A - 咨询对话处理的方法、装置、设备及存储介质 - Google Patents
咨询对话处理的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110688454A CN110688454A CN201910849393.6A CN201910849393A CN110688454A CN 110688454 A CN110688454 A CN 110688454A CN 201910849393 A CN201910849393 A CN 201910849393A CN 110688454 A CN110688454 A CN 110688454A
- Authority
- CN
- China
- Prior art keywords
- information
- consultation
- product
- model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
- G06Q30/016—After-sales
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Accounting & Taxation (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及人工智能领域,提供一种咨询对话处理的方法、装置、设备及存储介质,方法包括:获取对话咨询模型,接收用户输入的目标产品信息,通过所述对话咨询模型,对所述目标产品信息进行分类,获得分类结果;根据所述分类结果构建产品信息库;当接收到用户输入的咨询信息时,将所述咨询信息输入到所述对话咨询模型,获取用户的咨询意图信息;在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息,并将所述第二产品信息的语义表示形式转换成话术语言,生成并输出咨询返回结果;对历史关键信息和历史咨询返回结果进行统计与分析,生成并输出多维度报表。采用本方案,能够提高企业服务平台对产品咨询的服务效率。
Description
技术领域
本申请涉及智能决策领域,尤其涉及咨询对话处理的方法、装置、设备及存储介质。
背景技术
目前的产品销售管理中,一般是咨询者通过企业服务平台向***处理中心发送查询请求,***处理中心分析所述查询请求的信息,获取咨询者的咨询意图信息,根据所述咨询意图信息匹配相应的咨询结果,将所述咨询结果返回到所述企业服务平台,在所述企业服务平台以文本形式显示。
由于现企业服务平台对咨询者输入的查询请求所获取的咨询意图信息的准确度低,故所获取的咨询结果与所述咨询请求的匹配度低,致使咨询者需进行多次输入咨询信息或者最终无法得到所需的咨询结果。由于现企业服务平台以文本形式显示咨询结果,故显示方式固定而单一,使咨询者对企业服务平台显示的咨询结果的了解耗时相对较长。因此,导致企业服务平台对产品咨询的服务效率低。
发明内容
本申请提供了一种咨询对话处理的方法、装置、设备及存储介质,能够解决现有技术中企业服务平台对产品咨询的服务效率低的问题。
第一方面,本申请提供一种咨询对话处理的方法,所述方法包括:
获取训练信息,将所述训练信息输入到模型中,对所述模型进行训练,以获取对话咨询模型,所述对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与所述咨询信息对应的返回结果,其中,所述训练信息包括多种第一产品信息、咨询对话信息和网络知识信息,所述对话咨询模型包括第一子模型和第二子模型;
接收用户输入的目标产品信息,通过所述对话咨询模型对所述目标产品信息进行分类,获取分类结果,其中,所述分类结果包括目标产品的属性、所属领域和生产阶段;
根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库,其中,所述第一对应关系包括目标产品信息与目标信息的对应关系,所述第二对应关系包括归类信息、产品特征信息与推荐信息的对应关系;
当接收到用户输入的咨询信息时,将所述咨询信息输入到所述第一子模型中,通过所述第一子模型从所述咨询信息中获取关键信息;
将所述关键信息输入到所述第二子模型,通过所述第二子模型分析所述关键信息以获取用户的咨询意图信息;
在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息,并将所述第二产品信息的语义表示形式转换成话术语言,生成并输出咨询返回结果;
对历史关键信息和历史咨询返回结果进行统计与分析,生成并输出多维度报表,其中,所述历史关键信息包括在预设时间内从接收到的多次咨询信息中获取的关键信息,所述历史咨询返回结果包括在预设时间内根据接收到的多次咨询信息中获取的咨询返回结果。
一种可能的设计中,所述获取训练信息,将所述训练信息输入到模型中,对所述模型进行训练,以获取对话咨询模型,包括:
获取训练信息,将所述训练信息输入至神经网络模型,按照预设关联规则分别对所述第一产品信息和所述网络知识信息进行分类,分别获取第一关联信息和第二关联信息,以及获取所述咨询对话信息的咨询目的信息;
建立所述咨询目的信息、所述第一关联信息和所述第二关联信息的对应关系,当所述神经网络模型在检测到所述咨询目的信息时,输出所述第一关联信息和所述第二关联信息,将所述咨询目的信息、所述对应关系、所述第一关联信息和所述第二关联信息输入至所述神经网络模型;
对所述神经网络模型进行多组参数训练,以获取多组参数下的待训练神经网络模型;
评估所述神经网络模型在每一组参数下的误差,以获取多个误差值;
通过计算多个所述误差值的大小以获取最小误差值,将所述最小误差值对应的一组参数作为所述神经网络模型的参数,获取目标神经网络模型,对所述目标神经网络模型进行部署,获取对话咨询模型,其中,所述部署是指对应用目标神经网络模型的配置文件、用户手册、帮助文档进行打包、安装、配置以及发布。
一种可能的设计中,所述对话咨询模型包括回归分析模型,所述根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库之前,所述方法还包括:
向所述对话咨询模型输入分析数据,其中,所述分析数据包括产品使用者的信息与购买信息、产品销售的情况信息、各地的消费水平与消费方向以及对于产品领域各地的购买情况;
通过所述回归分析模型对所述分析数据进行回归分析,以获取推荐信息,其中,所述推荐信息包括产品的发展趋势、可发展地域、可销售人群和产品所属领域的分析产品之外的产品信息;
所述根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库,包括:
将所述目标产品信息按照产品功能、产品类型和产品结构的类别进行归类,以获取归类信息;
获取所述归类信息的第一特征信息;
建立所述归类信息、所述第一特征信息与所述推荐信息的第二对应关系,以获取产品信息库。
一种可能的设计中,所述对话咨询模型包括胶囊网络模型,所述将所述关键信息输入到所述第二子模型,通过所述第二子模型分析所述关键信息以获取用户的咨询意图信息,包括:
至少对所述关键信息进行以下文本数据处理方式之一,获取目标咨询信息:领域分析、文本纠错、文本补全、指代消解、词语分解、词性标记、实体识别和文本特征提取;
通过所述胶囊网络模型对所述目标咨询信息进行意图分类,以获取意图分类信息;
获取所述意图分类信息中的属性信息,并对所述属性信息进行推理与上下文决策,获取用户的咨询意图信息。
一种可能的设计中,所述对所述关键信息进行文本数据处理之前,所述方法还包括:
获取训练数据,其中,所述训练数据包括陈述查询语言和疑问咨询语言;
对所述训练数据进行属性分析,并对经过属性分析的训练数据进行标记,以获取标记属性的词,其中,所述属性分析包括专有名词属性分析、性别属性分析、单复数属性分析、距离属性分析和缩略匹配属性分析;
获取所述训练数据的第二特征信息,从所述第二特征信息中选择一个特征作为节点的***标准,其中,获取所述***标准的计算公式如下:
其中,Info(D)为熵,G(A)是信息增益率,D是所述训练数据,m是所述标记属性的词的个数,pi是所述第二特征信息中选择的一个特征对应的所述标记属性的词,A是所述标记属性中的其中一个属性,v是对应于属性A测试的输出个数以及输出的划分个数;
以所述标记属性的词作为根节点,根据预设的分类标准和所述***标准,构建决策树;
所述对所述关键信息进行文本数据处理,包括:
对所述关键信息进行属性分析,并对经过属性分析的关键信息进行标记,获取标记属性的目标词;
通过所述决策树对所述目标词进行数据分析与处理。
一种可能的设计中,所述在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息之后,所述方法还包括:
获取匹配度,其中,所述匹配度为所述产品知识库中的产品信息与所述咨询意图信息的对应程度;
检测所述匹配度是否小于第一预设阈值;
当检测结果为是时,对所述咨询信息进行分析,获取待解决信息,其中,所述待解决信息包括产品的领域、名称、技术问题和问题类型;
根据所述待解决信息匹配咨询解答人员,将所述咨询信息以及解答时间限制的提示信息发送到信息获取工具中,以使所述信息获取工具根据所述咨询信息和所述提示信息生成解决结果;
获取所述信息获取工具接收的所述解决结果,并将所述解决信息与所述解决结果输入到所述对话咨询模型,对所述对话咨询模型进行训练,获取更新后的对话咨询模型。
一种可能的设计中,所述在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息之后,所述方法还包括:
获取多个匹配值,其中,所述匹配值为所述产品知识库中的产品信息与所述咨询意图信息的对应程度值;
计算多个所述匹配值,比较多个所述匹配值的大小,获取最大匹配值;
检测所述最大匹配值是否小于第二预设阈值;
若是,则输出目标推荐信息,其中,所述目标推荐信息包括所述最大匹配值对应的产品信息、所述产品信息匹配的推荐信息和与所述产品信息关联的产品信息。
第二方面,本申请提供一种用于咨询对话处理的装置,具有实现对应于上述第一方面提供的咨询对话处理的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。
一种可能的设计中,所述装置包括:
输入输出模块,用于获取训练信息,接收用户输入的目标产品信息,接收到用户输入的咨询信息;
处理模块,用于将所述输入输出模块获取的训练信息输入到模型中,对所述模型进行训练,以获取对话咨询模型,所述对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与所述咨询信息对应的返回结果;通过所述对话咨询模型对所述输入输出模块接收的所述目标产品信息进行分类,获取分类结果;根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库;将所述输入输出模块接收的所述咨询信息输入到所述第一子模型中,通过所述第一子模型从所述咨询信息中获取关键信息;将所述关键信息输入到所述第二子模型,通过所述第二子模型分析所述关键信息以获取用户的咨询意图信息;在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息,并将所述第二产品信息的语义表示形式转换成话术语言,生成咨询返回结果并通过所述输入输出模块将所述咨询返回结果输入至显示模块;对历史关键信息和历史咨询返回结果进行统计与分析,生成多维度报表并通过所述输入输出模块将所述多维度报表输入至所述显示模块;
所述显示模块,用于从所述输入输出模块中接收并显示所述咨询返回结果和所述多维度报表。
一种可能的设计中,所述处理模块具体用于:
获取训练信息,将所述训练信息输入至神经网络模型,按照预设关联规则分别对所述第一产品信息和所述网络知识信息进行分类,分别获取第一关联信息和第二关联信息,以及获取所述咨询对话信息的咨询目的信息;
建立所述咨询目的信息、所述第一关联信息和所述第二关联信息的对应关系,当所述神经网络模型在检测到所述咨询目的信息时,输出所述第一关联信息和所述第二关联信息,将所述咨询目的信息、所述对应关系、所述第一关联信息和所述第二关联信息输入至所述神经网络模型;
对所述神经网络模型进行多组参数训练,以获取多组参数下的待训练神经网络模型;
评估所述神经网络模型在每一组参数下的误差,以获取多个误差值;
通过计算多个所述误差值的大小以获取最小误差值,将所述最小误差值对应的一组参数作为所述神经网络模型的参数,获取目标神经网络模型,对所述目标神经网络模型进行部署,获取对话咨询模型,其中,所述部署是指对应用目标神经网络模型的配置文件、用户手册、帮助文档进行打包、安装、配置以及发布。
一种可能的设计中,所述处理模块在执行所述对话咨询模型包括回归分析模型,所述根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库之前,还用于:
向所述对话咨询模型输入分析数据,其中,所述分析数据包括产品使用者的信息与购买信息、产品销售的情况信息、各地的消费水平与消费方向以及对于产品领域各地的购买情况;
通过所述回归分析模型对所述分析数据进行回归分析,以获取推荐信息,其中,所述推荐信息包括产品的发展趋势、可发展地域、可销售人群和产品所属领域的分析产品之外的产品信息;
所述根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库,包括:
将所述目标产品信息按照产品功能、产品类型和产品结构的类别进行归类,以获取归类信息;
获取所述归类信息的第一特征信息;
建立所述归类信息、所述第一特征信息与所述推荐信息的第二对应关系,以获取产品信息库。
一种可能的设计中,所述处理模块具体用于:
至少对所述关键信息进行以下文本数据处理方式之一,获取目标咨询信息:领域分析、文本纠错、文本补全、指代消解、词语分解、词性标记、实体识别和文本特征提取;
通过所述胶囊网络模型对所述目标咨询信息进行意图分类,以获取意图分类信息;
获取所述意图分类信息中的属性信息,并对所述属性信息进行推理与上下文决策,获取用户的咨询意图信息。
一种可能的设计中,所述处理模块在执行所述对所述关键信息进行文本数据处理之前,还用于:
获取训练数据,其中,所述训练数据包括陈述查询语言和疑问咨询语言;
对所述训练数据进行属性分析,并对经过属性分析的训练数据进行标记,以获取标记属性的词,其中,所述属性分析包括专有名词属性分析、性别属性分析、单复数属性分析、距离属性分析和缩略匹配属性分析;
获取所述训练数据的第二特征信息,从所述第二特征信息中选择一个特征作为节点的***标准,其中,获取所述***标准的计算公式如下:
其中,Info(D)为熵,G(A)是信息增益率,D是所述训练数据,m是所述标记属性的词的个数,pi是所述第二特征信息中选择的一个特征对应的所述标记属性的词,A是所述标记属性中的其中一个属性,v是对应于属性A测试的输出个数以及输出的划分个数;
以所述标记属性的词作为根节点,根据预设的分类标准和所述***标准,构建决策树;
所述对所述关键信息进行文本数据处理,包括:
对所述关键信息进行属性分析,并对经过属性分析的关键信息进行标记,获取标记属性的目标词;
通过所述决策树对所述目标词进行数据分析与处理。
一种可能的设计中,所述处理模块在执行所述在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息之后,还用于:
获取匹配度,其中,所述匹配度为所述产品知识库中的产品信息与所述咨询意图信息的对应程度;
检测所述匹配度是否小于第一预设阈值;
当检测结果为是时,对所述咨询信息进行分析,获取待解决信息,其中,所述待解决信息包括产品的领域、名称、技术问题和问题类型;
根据所述待解决信息匹配咨询解答人员,将所述咨询信息以及解答时间限制的提示信息发送到信息获取工具中,以使所述信息获取工具根据所述咨询信息和所述提示信息生成解决结果;
获取所述信息获取工具接收的所述解决结果,并将所述解决信息与所述解决结果输入到所述对话咨询模型,对所述对话咨询模型进行训练,获取更新后的对话咨询模型。
一种可能的设计中,所述处理模块在执行所述在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息之后,还用于:
获取多个匹配值,其中,所述匹配值为所述产品知识库中的产品信息与所述咨询意图信息的对应程度值;
计算多个所述匹配值,比较多个所述匹配值的大小,获取最大匹配值;
检测所述最大匹配值是否小于第二预设阈值;
若是,则通过输出目标推荐信息,其中,所述目标推荐信息包括所述最大匹配值对应的产品信息、所述产品信息匹配的推荐信息和与所述产品信息关联的产品信息。
本申请又一方面提供了一种计算机设备,其包括至少一个连接的处理器、存储器、显示器和输入输出单元,其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的方法。
本申请又一方面提供了一种计算机存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。
相较于现有技术,本申请提供的方案中,通过接收用户输入的目标产品信息,通过所述对话咨询模型对所述目标产品信息进行分类,获取分类结果;根据所述分类结果构建产品信息库;当接收到用户输入的咨询信息时,将所述咨询信息输入到所述对话咨询模型,获取用户的咨询意图信息;在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息,并将所述第二产品信息的语义表示形式转换成话术语言,生成并输出咨询返回结果;对历史关键信息和历史咨询返回结果进行统计与分析,生成并输出多维度报表。由于是通过对产品信息进行整理与分类以构建产品信息库,以便快速而准确地获取所述咨询信息对应的产品信息,且在所述产品信息库中获取与所述咨询信息对应的产品信息关联的产品信息,以多方面、多角度展现所述咨询返回结果,以提高所述咨询返回结果的准确性和多用性;通过以话术语言和多维度报表显示所述咨询返回结果,以便用户多角度理解所述咨询返回结果,从而缩短用户对所述咨询返回结果内容的获取时间。通过提高获取咨询返回结果的准确性和获取速度,和缩短用户对所述咨询返回结果内容的获取时间,以实现用户对企业服务平台的咨询次数和咨询时间的减少,从而,提高企业服务平台对产品咨询的服务效率。
附图说明
图1为本申请实施例中咨询对话处理的方法的一种流程示意图;
图2为本申请实施例中咨询返回结果的一种举例说明图;
图3为本申请实施例中目标产品信息的一种举例说明图;
图4为本申请实施例中第一子模型的一种结构示意图;
图5为本申请实施例中第一子模型的另一种结构示意图;
图6为本申请实施例中用于咨询对话处理的装置的一种结构示意图;
图7为本申请实施例中计算机装置的一种结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个***中,或一些特征可以忽略,或不执行。
本申请提供一种咨询对话处理的方法、装置、设备及存储介质,可用于企业智能平台对产品的咨询管理。
为解决上述技术问题,本申请主要提供以下技术方案:
通过接收用户输入的目标产品信息,通过所述对话咨询模型对所述目标产品信息进行分类,获取分类结果;根据所述分类结果构建产品信息库;当接收到用户输入的咨询信息时,将所述咨询信息输入到所述对话咨询模型,获取用户的咨询意图信息;在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息,并将所述第二产品信息的语义表示形式转换成话术语言,生成并输出咨询返回结果;对历史关键信息和历史咨询返回结果进行统计与分析,生成并输出多维度报表。由于是通过对产品信息进行整理与分类以构建产品信息库,以便快速而准确地获取所述咨询信息对应的产品信息,且在所述产品信息库中获取与所述咨询信息对应的产品信息关联的产品信息,以多方面、多角度展现所述咨询返回结果,以提高所述咨询返回结果的准确性和多用性;通过以话术语言和多维度报表显示所述咨询返回结果,以便用户多角度理解所述咨询返回结果,从而缩短用户对所述咨询返回结果内容的获取时间。通过提高获取咨询返回结果的准确性和获取速度,和缩短用户对所述咨询返回结果内容的获取时间,以实现用户对企业服务平台的咨询次数和咨询时间的减少,从而,提高企业服务平台对产品咨询的服务效率。
请参照图1,以下对本申请提供一种咨询对话处理的方法进行举例说明,所述方法包括:
101、获取训练信息,将训练信息输入到模型中,对模型进行训练,以获取对话咨询模型。
其中,对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与咨询信息对应的返回结果;训练信息包括多种第一产品信息、咨询对话信息和网络知识信息;对话咨询模型包括第一子模型和第二子模型。
网络知识信息包括:与所述第一产品信息的产品所属的领域相同和/或相似的除所述第一产品信息外的第一其他产品信息,和与所述产品信息的产品所属的类型相同/或相似的除所述第一产品信息外的第二其他产品信息。
对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与所述咨询信息对应的咨询返回结果(也可为关联的返回结果)。
一些实施方式中,咨询返回结果包括被咨询的产品的信息和推荐的与被咨询的产品所属的领域、类型和特定性能相同或相似的产品的信息,如图2所示。图2中内容仅作举例参考,其内容准确性和实际操作与否不作考虑。
102、接收用户输入的目标产品信息,通过对话咨询模型对目标产品信息进行分类,获取分类结果。
其中,分类结果包括目标产品的属性、所属领域和生产阶段。
目标产品信息包括产品的各类信息、产品的负责人员以及负责人员的工作流程节点信息,所述工作流程节点信息包括产品的项目制定与决策、产品前期各项工作的部署、产品中期各项工作的部署和产品后期各项工作的部署。例如:当用户在终端设备中输入“好福利APP产品”时,对话咨询模型将输出与好福利APP产品相关的功能、结构和性能等产品信息以及产品研发的团队的个人信息和其负责的内容,如图3所示。图3中内容仅作举例参考,其内容准确性和实际操作与否不作考虑。
103、根据分类结果建立第一对应关系和/或第二对应关系,根据第一对应关系或第二对应关系构建产品信息库。
其中,第一对应关系包括目标产品信息与目标信息的对应关系,第二对应关系包括归类信息、产品特征信息与推荐信息的对应关系。
一些实施方式中,对话咨询模型包括由收集的海量网络数据创建的知识库***,可用于在知识库***的基础上构建产品信息库。
通过构建产品信息库,以便于根据目标产品信息快速而准确地获取与目标产品信息对应的目标信息。
104、当接收到用户输入的咨询信息时,将所述咨询信息输入到所述第一子模型中,通过所述第一子模型从所述咨询信息中获取关键信息。
第一子模型包括图像识别子模型、文本识别子模型和音视频识别子模型,第一子模型还包括分类器。图像识别子模型、文本识别子模型和音视频识别子模型并行连接,图像识别子模型、文本识别子模型和音视频识别子模型分别与分类器串联。
例如:用户在APP中输入的咨询信息为一张产品图片,咨询对话模型接收该产品图片,并将产品图片输入到分类器中,分类器对产品图片进行识别,将产品图片输入到图像识别子模型中,由图像识别子模型识别与获取产品图片中产品的形状,根据获取的产品的形状在产品图像数据库中匹配对应的产品图像,并获取产品图像对应的产品名称,以产品名称作为咨询信息的关键信息,如图4所示。
一些实施方式中,第一子模型还包括多个过滤器,分别为图像识别子模型中的过滤器1、文本识别子模型中的过滤器2和音视频识别子模型中的过滤器3。图像识别子模型、文本识别子模型和音视频识别子模型并行连接,图像识别子模型、文本识别子模型和所述音视频识别子模型分别与一个过滤器串联。
例如:用户在APP中输入的咨询信息为一张产品图片,咨询对话模型接收该产品图片,并将产品图片输入到图像识别子模型、文本识别子模型和音视频识别子模型中,由图像识别子模型、文本识别子模型和音视频识别子模型中各自的过滤器对产品图片进行识别,若图像识别子模型中的过滤器识别到输入的信息为图片,则由图像识别子模型继续进行工作,识别与获取产品图片中的产品的形状,根据获取的产品的形状在产品图像数据库中匹配对应的产品图像,并获取产品图像对应的产品名称,以产品名称作为所述咨询信息的关键信息;若文本识别子模型中的过滤器识别输入的信息为非文本信息,则文本识别子模型不输出;音视频识别子模型同理。如图5所示。
本申请可通过在线视频与机器人进行对话咨询、文本输入和图片输入的方式进行产品信息的查阅,由此可见,本申请能够实现多途径输入,以提高用户的体验。
105、将关键信息输入到第二子模型,通过第二子模型分析关键信息以获取用户的咨询意图信息。
第二子模型用于对关键信息进行分析与处理,以获取用户的咨询意图信息。第二子模型对接收到的关键信息进行分析,并获取用户的咨询意图信息,所获取的用户的咨询意图信息可包括多种内容。
例如:第二子模型接收的关键信息为“存储卡,使用”,第二子模型则对关键信息“存储卡,使用”进行分析,分析并获取其可能对应的用户的咨询意图信息为“存储卡的存储方式”、“存储卡可匹配其他什么产品一起使用”和“存储卡使用主要事项和在使用过程中遇到的相关问题及其解决方案”。
106、在产品知识库中匹配与咨询意图信息对应的第二产品信息,并将第二产品信息的语义表示形式转换成话术语言,生成并输出咨询返回结果。
通过将第二产品信息的语义表示形式转换成话术语言,以减少咨询者对第二产品信息的语言的销售表达形式构思的时间,从而便于咨询者对第二产品信息的快速使用。
107、对历史关键信息和历史咨询返回结果进行统计与分析,生成并输出多维度报表。
其中,历史关键信息包括在预设时间内从接收到的多次咨询信息中获取的关键信息,历史咨询返回结果包括在预设时间内根据接收到的多次咨询信息中获取的咨询返回结果。
多维度报表至少包括以下的三项:咨询的用户人数、咨询内容类型,咨询次数、被重复咨询的信息、后台人工处理的咨询信息和后台人工已处理与未处理的咨询信息等。
与现有机制相比,本申请实施例中,通过接收用户输入的目标产品信息,通过对话咨询模型对目标产品信息进行分类,获取分类结果;根据分类结果构建产品信息库;当接收到用户输入的咨询信息时,将咨询信息输入到对话咨询模型,获取用户的咨询意图信息;在产品知识库中匹配与咨询意图信息对应的第二产品信息,并将第二产品信息的语义表示形式转换成话术语言,生成并输出咨询返回结果;对历史关键信息和历史咨询返回结果进行统计与分析,生成并输出多维度报表。由于是通过对产品信息进行整理与分类以构建产品信息库,以便快速而准确地获取咨询信息对应的产品信息,且在产品信息库中获取与咨询信息对应的产品信息关联的产品信息,以多方面、多角度展现咨询返回结果,以提高咨询返回结果的准确性和多用性;通过以话术语言和多维度报表显示咨询返回结果,以便用户多角度理解咨询返回结果,从而缩短用户对咨询返回结果内容的获取时间。通过提高获取咨询返回结果的准确性和获取速度,和缩短用户对咨询返回结果内容的获取时间,以实现用户对企业服务平台的咨询次数和咨询时间的减少,从而,提高企业服务平台对产品咨询的服务效率。
可选的,在本申请的一些实施方式中,上述的获取训练信息,将训练信息输入到模型中,对模型进行训练,以获取对话咨询模型,包括:
获取训练信息,将训练信息输入至神经网络模型,按照预设关联规则分别对第一产品信息和网络知识信息进行分类,分别获取第一关联信息和第二关联信息,以及获取咨询对话信息的咨询目的信息;
建立咨询目的信息、第一关联信息和第二关联信息的对应关系,当神经网络模型在检测到咨询目的信息时,输出第一关联信息和第二关联信息,将咨询目的信息、对应关系、第一关联信息和第二关联信息输入至神经网络模型;
对神经网络模型进行多组参数训练,以获取多组参数下的待训练神经网络模型;
评估神经网络模型在每一组参数下的误差,以获取多个误差值;
通过计算多个误差值的大小以获取最小误差值,将最小误差值对应的一组参数作为神经网络模型的参数,获取目标神经网络模型,对目标神经网络模型进行部署,获取对话咨询模型,其中,部署是指对应用目标神经网络模型的配置文件、用户手册、帮助文档进行打包、安装、配置以及发布。
其中,神经网络模型是由输入节点、输出节点和节点层组成。参数至少包括卷积核的尺寸、学习率η、批batch参数、神经网络层数、激活函数、优化器、批大小以及训练的超参数epoch数量中的至少一项。
通过对多组参数下的待训练神经网络模型进行误差评估,以提高神经网络模型的准确性。通过对经过误差评估的神经网络模型进行部署,以获取功能相对完善和性能相对稳定的对话咨询模型。
可选的,在本申请的一些实施方式中,上述的对话咨询模型包括回归分析模型,根据分类结果建立第一对应关系和/或第二对应关系,根据第一对应关系或第二对应关系构建产品信息库之前,方法包括:
向对话咨询模型输入分析数据,其中,分析数据包括产品使用者的信息与购买信息、产品销售的情况信息、各地的消费水平与消费方向以及对于产品领域各地的购买情况;
通过回归分析模型对分析数据进行回归分析,以获取推荐信息,其中,推荐信息包括产品的发展趋势、可发展地域、可销售人群和产品所属领域的分析产品之外的产品信息;
根据分类结果建立第一对应关系和/或第二对应关系,根据第一对应关系或第二对应关系构建产品信息库,包括:
将目标产品信息按照产品功能、产品类型和产品结构的类别进行归类,以获取归类信息;
获取归类信息的第一特征信息;
建立归类信息、第一特征信息与推荐信息的第二对应关系,以获取产品信息库。
通过对包括产品使用者的信息与购买信息、产品销售的情况信息、各地的消费水平与消费方向以及对于产品领域各地的购买情况的分析数据进行回归分析,获取多类别内容的推荐信息,以增强对话咨询模块的咨询返回结果的内容的多方面性,从而提高对话咨询模块对应的企业服务平台的实用性和服务效率。
通过先对目标产品信息进行分类以获取归类信息,然后建立归类信息的对应关系,来创建产品信息库,以使产品信息库的信息分类细致化,从而提高在产品信息库获取信息的效率和准确性。
可选的,在本申请的一些实施方式中,上述的对话咨询模型包括胶囊网络模型,将关键信息输入到第二子模型,通过第二子模型分析关键信息以获取用户的咨询意图信息,包括:
至少对关键信息进行以下文本数据处理方式之一,获取目标咨询信息:领域分析、文本纠错、文本补全、指代消解、词语分解、词性标记、实体识别和文本特征提取;
通过胶囊网络模型对目标咨询信息进行意图分类,以便于意图分类信息;
获取意图分类信息中的属性信息,并对属性信息进行推理与上下文决策,获取用户的咨询意图信息。
由于胶囊网络模型具有所需训练数据少和较好分类辨识度的特性,以及通过上下文决策以使获取的信息具有连贯性从而使获取的信息更具准确性,因而,通过胶囊网络模型对目标咨询信息进行意图分类,并根据意图分类信息进行推理与上下文决策,以提高获取用户的咨询意图信息的准确性。
可选的,在本申请的一些实施方式中,上述的对关键信息进行文本数据处理之前,方法还包括:
获取训练数据,其中,训练数据包括陈述查询语言和疑问咨询语言;
对训练数据进行属性分析,并对经过属性分析的训练数据进行标记,以获取标记属性的词,其中,属性分析包括专有名词属性分析、性别属性分析、单复数属性分析、距离属性分析和缩略匹配属性分析;
获取训练数据的第二特征信息,从第二特征信息中选择一个特征作为节点的***标准,其中,获取***标准的计算公式如下:
其中,Info(D)为熵,G(A)是信息增益率,D是训练数据,m是标记属性的词的个数,pi是第二特征信息中选择的一个特征对应的标记属性的词,A是标记属性中的其中一个属性,v是对应于属性A测试的输出个数以及输出的划分个数;
以标记属性的词作为根节点,根据预设的分类标准和***标准,构建决策树;
对关键信息进行文本数据处理,还包括:
对关键信息进行属性分析,并对经过属性分析的关键信息进行标记,获取标记属性的目标词;
通过决策树对目标词进行数据分析与处理。
通过信息增益率来选择属性,克服用信息增益选择属性时偏向选择取值多的属性的不足,以在树构造过程中进行剪枝,以完成对连续属性的离散化处理,以对不完整数据进行处理。
通过以标记属性的词作为根节点,根据预设的分类标准和***标准,构建决策树,以使所构建的决策树的各节点对应目标词的信息多角度、全面,从而提高根据目标词获取对应的用户的咨询意图信息的准确性。
可选的,在本申请的一些实施方式中,上述的在产品知识库中匹配与咨询意图信息对应的第二产品信息之后,方法还包括:
获取匹配度,其中,匹配度为产品知识库中的产品信息与咨询意图信息的对应程度;
检测匹配度是否小于第一预设阈值;
当检测结果为是时,对咨询信息进行分析,获取待解决信息,其中,待解决信息包括产品的领域、名称、技术问题和问题类型;
根据待解决信息匹配咨询解答人员,将咨询信息以及解答时间限制的提示信息发送到信息获取工具中,以使信息获取工具根据咨询信息和提示信息生成解决结果;
获取信息获取工具接收的解决结果,并将解决信息与解决结果输入到对话咨询模型,对对话咨询模型进行训练,获取更新后的对话咨询模型。
对产品知识库中的产品信息与咨询意图信息匹配度与第一预设阈值进行比较,以在产品知识库中的产品信息获取的信息的相关性不高的时候返送给相关的工作人员,以获取更为准确的信息,并对获取的工作人员返回的解决结果进行训练,在再识别到相关的待解决信息时,对话咨询模型自动获取并输出相应的咨询返回结果。通过该操作,以提高咨询返回结果的准确性和对话咨询模型的实用性,从而提高对话咨询模型对应的企业服务平台的服务效率。
例如:咨询信息为“理财APP无反应”,咨询意图信息为“理财APP对信息的分析处理无反应对应的解决方案”,第一预设阈值为“不小于75%”。根据“理财APP对信息的分析处理无反应对应的解决方案”的咨询意图信息在产品知识库中的产品信息获取的信息的匹配度为40%,40%小于75%,则对咨询信息进行分析,以获取“理财APP对信息的分析处理无反应该如何解决方案”和“服务管理平台-理财APP-故障问题-后台操作无反应-如何进行操作”的待解决信息,将该待解决信息和解答时间限制的提示信息以邮件形式发送给技术部相关负责人,接收到技术部相关负责人返回的解决结果后,将解决信息与解决结果输入到对话咨询模型,对对话咨询模型进行训练,获取更新后的对话咨询模型。当对话咨询模型再次检测到相同或相似的待解决信息时,自动获取并输出解决结果。
可选的,在本申请的一些实施方式中,上述的在产品知识库中匹配与咨询意图信息对应的第二产品信息之后,方法还包括:
获取多个匹配值,其中,匹配值为产品知识库中的产品信息与咨询意图信息的对应程度值;
计算多个匹配值,比较多个匹配值的大小,获取最大匹配值;
检测最大匹配值是否小于第二预设阈值;
若是,则输出目标推荐信息,其中,目标推荐信息包括最大匹配值对应的产品信息、产品信息匹配的推荐信息和与产品信息关联的产品信息。
通过比较根据咨询意图信息在产品知识库中获取的多个与咨询意图信息相关的产品信息中的最大匹配值与第二预设阈值的大小,以根据判断结果相应地输出目标推荐结果,提高咨询返回结果的准确性或相关性,以便于咨询者对咨询返回结果的信息获取和减少对企业服务平台的咨询对话次数,进而,提高对话咨询模型对应的企业服务平台的服务效率。
可选的,在本申请的一些实施方式中,上述的评估神经网络模型在每一组参数下的误差,以获取多个误差值,包括:
分别获取神经网络模型在每组参数下的测试值和理论值;
计算测试值与理论值,获取神经网络模型在每组参数下的误差,以获取多个误差值,获取多个误差值的计算公式如下:
其中,H(p,q)为交叉熵代价函数,p(x)是理论值,q(x)是测试值,N是样本个数。
其中,测试值是指测试集中的输出的与咨询对话信息对应的返回结果的实际准确率,理论值指的是指测试集中的输出的与咨询对话信息对应的返回结果的期望准确率。
通过计算交叉熵代价函数来计算误差值,以衡量神经网络模型模型预测的好坏。
可选的,在本申请的一些实施方式中,上述的获取训练信息,将训练信息输入到模型中,对模型进行训练,以获取对话咨询模型,包括:
标记多种第一产品信息的技术领域、产品类型、产品属性和产品描述类型,以及标记网络知识信息的技术领域、产品类型、产品属性和产品描述类型;
根据标记的内容,提取第一产品信息的第一特征信息与网络知识信息的第二特征信息,以及分别将第一特征信息与第二特征信息的语义表示形式转换为按照产品销售话术的语义表示形式,以获取第一特征话术信息与第二特征话术信息;
获取咨询对话信息的关键词,建立关键词、第一特征话术信息与第二特征话术信息的对应关系,其中,对应关系用于当检测到关键词时,获取将第一特征话术信息与第二特征话术信息;
通过关键词、第一特征话术信息、第二特征话术信息与对应关系,使得对话咨询模型满足预设规则条件,以获取相应的咨询返回结果,其中,预设规则条件包括对用户输入的目标产品信息进行整理与分析,以构建产品信息库以及通过分析用户输入的咨询信息来获取对应的产品信息。
可选的,在本申请的一些实施方式中,对话咨询模型包括已创建的信息库,上述的根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库,包括:
通过对话咨询模型获取目标产品信息的产品类型、产品领域和产品属性;
从信息库中获取与产品类型对应以及与领域对应的关联产品信息,以关联产品信息作为目标信息;
通过对话咨询模型建立目标产品信息与目标信息的第一对应关系,并将目标产品信息根据产品属性进行分类,获取分类信息,根据分类信息和第一对应关系构建产品信息库。
例如:目标产品信息为信托理财信息,则通过对话咨询模型分析信托理财信息,获取到的产品类型为对公理财服务类型,产品领域为金融领域,产品属性包括释义、收益类型和信托理财各类型对应的特征,将信托理财信息根据收益类型进行分类,以获取分类信息。从信息库中获取到具有相当竞争力的具有对公理财服务的中国工商银行的信息以及中国工商银行的对公理财服务产品的信息,并对中国工商银行的对公理财服务产品分类为固定收益类、保本类和非保本浮动收益类,并获取各类型的特征信息(如:产品的内容和适合哪类人群)。建立信托理财信息与中国工商银行的对公理财服务产品信息的第一对应关系。当对话咨询模型接收到所输入“信托理财”时,对话咨询模型输出信托理财的各项信息,并将中国工商银行的对公理财服务产品的各项信息以推荐信息的形式输出。
上述图1至图5中任一实施例或实施方式中所提及的技术特征也同样适用于本申请中的图6和图7所对应的实施例,后续类似之处不再赘述。
以上对本申请中一种咨询对话处理的方法进行说明,以下对执行上述咨询对话处理的方法的装置60进行描述。
如图6所示的一种用于咨询对话处理的装置60的结构示意图,其可应用于企业智能平台对产品的咨询管理。本申请实施例中的装置60能够实现对应于上述图1至图5中任一实施例或实施方式中所执行的咨询对话处理的方法的步骤。装置60实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。所述装置60可包括输入输出模块601、处理模块602和显示模块603,所述输入输出模块601、处理模块602和显示模块603的功能实现可参考图1至图5中任一实施例或实施方式中所执行的操作,此处不作赘述。处理模块602可用于控制所述输入输出模块601的输入输出操作,显示模块603可用于显示处理模块602的处理操作。
一些实施方式中,输入输出模块601可用于获取训练信息,接收用户输入的目标产品信息,接收到用户输入的咨询信息;
处理模块602,用于将输入输出模块601获取的训练信息输入到模型中,对模型进行训练,以获取对话咨询模型,对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与咨询信息对应的返回结果;通过对话咨询模型对输入输出模块601接收的目标产品信息进行分类,获取分类结果;根据分类结果建立第一对应关系和/或第二对应关系,根据第一对应关系或第二对应关系构建产品信息库;将输入输出模块601接收的咨询信息输入到第一子模型中,通过第一子模型从咨询信息中获取关键信息;将关键信息输入到第二子模型,通过第二子模型分析关键信息以获取用户的咨询意图信息;在产品知识库中匹配与咨询意图信息对应的第二产品信息,并将第二产品信息的语义表示形式转换成话术语言,生成咨询返回结果并通过输入输出模块601将咨询返回结果输入至显示模块603;对历史关键信息和历史咨询返回结果进行统计与分析,生成多维度报表并通过输入输出模块601将多维度报表输入至显示模块603;
显示模块603,用于从输入输出模块601中接收并显示咨询返回结果和多维度报表。
其中,训练信息包括多种第一产品信息、咨询对话信息和网络知识信息。对话咨询模型包括第一子模型和第二子模型。
网络知识信息包括:与所述第一产品信息的产品所属的领域相同和/或相似的除所述第一产品信息外的第一其他产品信息,和与所述产品信息的产品所属的类型相同/或相似的除所述第一产品信息外的第二其他产品信息。
对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与所述咨询信息对应的咨询返回结果(也可为关联的返回结果)。
一些实施方式中,咨询返回结果包括被咨询的产品的信息和推荐的与被咨询的产品所属的领域、类型和特定性能相同或相似的产品的信息。
其中,分类结果包括目标产品的属性、所属领域和生产阶段。
目标产品信息包括产品的各类信息、产品的负责人员以及负责人员的工作流程节点信息,所述工作流程节点信息包括产品的项目制定与决策、产品前期各项工作的部署、产品中期各项工作的部署和产品后期各项工作的部署。例如:当用户在终端设备中输入“好福利APP产品”时,对话咨询模型将输出与好福利APP产品相关的功能、结构和性能等产品信息以及产品研发的团队的个人信息和其负责的内容。
其中,第一对应关系包括目标产品信息与目标信息的对应关系,第二对应关系包括归类信息、产品特征信息与推荐信息的对应关系。
一些实施方式中,对话咨询模型包括由收集的海量网络数据创建的知识库***,可用于在知识库***的基础上构建产品信息库。
通过构建产品信息库,以便于根据目标产品信息快速而准确地获取与目标产品信息对应的目标信息。
第一子模型包括图像识别子模型、文本识别子模型和音视频识别子模型,第一子模型还包括分类器。图像识别子模型、文本识别子模型和音视频识别子模型并行连接,图像识别子模型、文本识别子模型和音视频识别子模型分别与分类器串联。
一些实施方式中,第一子模型还包括多个过滤器,分别为图像识别子模型中的过滤器1、文本识别子模型中的过滤器2和音视频识别子模型中的过滤器3。图像识别子模型、文本识别子模型和音视频识别子模型并行连接,图像识别子模型、文本识别子模型和所述音视频识别子模型分别与一个过滤器串联。
第二子模型用于对关键信息进行分析与处理,以获取用户的咨询意图信息。第二子模型对接收到的关键信息进行分析,并获取用户的咨询意图信息,所获取的用户的咨询意图信息可包括多种内容。
通过将第二产品信息的语义表示形式转换成话术语言,以减少咨询者对第二产品信息的语言的销售表达形式构思的时间,从而便于咨询者对第二产品信息的快速使用。
其中,历史关键信息包括在预设时间内从接收到的多次咨询信息中获取的关键信息,历史咨询返回结果包括在预设时间内根据接收到的多次咨询信息中获取的咨询返回结果。
多维度报表至少包括以下的三项:咨询的用户人数、咨询内容类型,咨询次数、被重复咨询的信息、后台人工处理的咨询信息和后台人工已处理与未处理的咨询信息等。
本申请实施例中,处理模块602通过输入输出模块601接收的用户输入的目标产品信息,通过对话咨询模型对目标产品信息进行分类,获取分类结果;根据分类结果构建产品信息库;当接收到输入输出模块601获取的用户输入的咨询信息时,将咨询信息输入到对话咨询模型,获取用户的咨询意图信息;在产品知识库中匹配与咨询意图信息对应的第二产品信息,并将第二产品信息的语义表示形式转换成话术语言,生成并通过显示模块603输出咨询返回结果;对历史关键信息和历史咨询返回结果进行统计与分析,生成并通过显示模块603输出多维度报表。由于是通过对产品信息进行整理与分类以构建产品信息库,以便快速而准确地获取所述咨询信息对应的产品信息,且在产品信息库中获取与咨询信息对应的产品信息关联的产品信息,以多方面、多角度展现咨询返回结果,以提高咨询返回结果的准确性和多用性;通过以话术语言和多维度报表显示咨询返回结果,以便用户多角度理解咨询返回结果,从而缩短用户对咨询返回结果内容的获取时间。通过提高获取咨询返回结果的准确性和获取速度,和缩短用户对所述咨询返回结果内容的获取时间,以实现用户对企业服务平台的咨询次数和咨询时间的减少,从而,提高企业服务平台对产品咨询的服务效率。
可选的,在本申请的一些实施方式中,上述咨询对话处理的方法的任一实施例或实施方式中所提及的技术特征也同样适用于本申请中的对执行上述咨询对话处理的方法的装置60,后续类似之处不再赘述。
上面从模块化功能实体的角度分别介绍了本申请实施例中的装置60,以下从硬件角度介绍一种计算机装置,如图7所示,其包括:处理器、存储器、显示器、输入输出单元(也可以是收发器,图7中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如,该计算机程序可以为图1至图5任一实施例或实施方式中咨询对话处理的方法对应的程序。例如,当计算机装置实现如图6所示的装置60的功能时,所述处理器执行所述计算机程序时实现上述图6所对应的实施例中由装置60执行的咨询对话处理的方法中的各步骤;或者,所述处理器执行所述计算机程序时实现上述图6所对应的实施例的装置60中各模块的功能。又例如,该计算机程序可以为图1至图5中任一实施例或实施方式中咨询对话处理的方法对应的程序。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入输出单元也可以用接收器和发送器代替,可以为相同或者不同的物理实体。为相同的物理实体时,可以统称为输入输出单元。该输入输出单元可以为收发器。
所述存储器可以集成在所述处理器中,也可以与所述处理器分开设置。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本申请的保护之内。
Claims (10)
1.一种咨询对话处理的方法,其特征在于,所述方法包括:
获取训练信息,将所述训练信息输入到模型中,对所述模型进行训练,以获取对话咨询模型,所述对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与所述咨询信息对应的返回结果,其中,所述训练信息包括多种第一产品信息、咨询对话信息和网络知识信息,所述对话咨询模型包括第一子模型和第二子模型;
接收用户输入的目标产品信息,通过所述对话咨询模型对所述目标产品信息进行分类,以获取分类结果,其中,所述分类结果包括目标产品的属性、所属领域和生产阶段;
根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系和/或所述第二对应关系构建产品信息库,其中,所述第一对应关系包括目标产品信息与目标信息的对应关系,所述第二对应关系包括归类信息、产品特征信息与推荐信息的对应关系;
当接收到用户输入的咨询信息时,将所述咨询信息输入到所述第一子模型中,通过所述第一子模型从所述咨询信息中获取关键信息;
将所述关键信息输入到所述第二子模型,通过所述第二子模型分析所述关键信息以获取用户的咨询意图信息;
在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息,并将所述第二产品信息的语义表示形式转换成话术语言,生成并输出咨询返回结果;
对历史关键信息和历史咨询返回结果进行统计与分析,生成并输出多维度报表,其中,所述历史关键信息包括在预设时间内从接收到的多次咨询信息中获取的关键信息,所述历史咨询返回结果包括在预设时间内根据接收到的多次咨询信息中获取的咨询返回结果。
2.根据权利要求1所述的方法,其特征在于,所述获取训练信息,将所述训练信息输入到模型中,对所述模型进行训练,以获取对话咨询模型,包括:
获取训练信息,将所述训练信息输入至神经网络模型,按照预设关联规则分别对所述第一产品信息和所述网络知识信息进行分类,分别获取第一关联信息和第二关联信息,以及获取所述咨询对话信息的咨询目的信息;
建立所述咨询目的信息、所述第一关联信息和所述第二关联信息的对应关系,当所述神经网络模型在检测到所述咨询目的信息时,输出所述第一关联信息和所述第二关联信息,将所述咨询目的信息、所述对应关系、所述第一关联信息和所述第二关联信息输入至所述神经网络模型;
对所述神经网络模型进行多组参数训练,以获取多组参数下的待训练神经网络模型;
评估所述神经网络模型在每一组参数下的误差,以获取多个误差值;
通过计算多个所述误差值的大小以获取最小误差值,将所述最小误差值对应的一组参数作为所述神经网络模型的参数,获取目标神经网络模型,对所述目标神经网络模型进行部署,获取对话咨询模型,其中,所述部署是指对应用目标神经网络模型的配置文件、用户手册、帮助文档进行打包、安装、配置以及发布。
3.根据权利要求1所述的方法,其特征在于,所述对话咨询模型包括回归分析模型,所述根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库之前,所述方法还包括:
向所述对话咨询模型输入分析数据,其中,所述分析数据包括产品使用者的信息与购买信息、产品销售的情况信息、各地的消费水平与消费方向以及对于产品领域各地的购买情况;
通过所述回归分析模型对所述分析数据进行回归分析,以获取推荐信息,其中,所述推荐信息包括产品的发展趋势、可发展地域、可销售人群和产品所属领域的分析产品之外的产品信息;
所述根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库,包括:
将所述目标产品信息按照产品功能、产品类型和产品结构的类别进行归类,以获取归类信息;
获取所述归类信息的第一特征信息;
建立所述归类信息、所述第一特征信息与所述推荐信息的第二对应关系,以获取产品信息库。
4.根据权利要求1所述的方法,其特征在于,所述对话咨询模型包括胶囊网络模型,所述将所述关键信息输入到所述第二子模型,通过所述第二子模型分析所述关键信息以获取用户的咨询意图信息,包括:
至少对所述关键信息进行以下文本数据处理方式之一,获取目标咨询信息:领域分析、文本纠错、文本补全、指代消解、词语分解、词性标记、实体识别和文本特征提取;
通过所述胶囊网络模型对所述目标咨询信息进行意图分类,以获取意图分类信息;
获取所述意图分类信息中的属性信息,并对所述属性信息进行推理与上下文决策,获取用户的咨询意图信息。
5.根据权利要求4所述的方法,其特征在于,所述对所述关键信息进行文本数据处理之前,所述方法还包括:
获取训练数据,其中,所述训练数据包括陈述查询语言和疑问咨询语言;
对所述训练数据进行属性分析,并对经过属性分析的训练数据进行标记,以获取标记属性的词,其中,所述属性分析包括专有名词属性分析、性别属性分析、单复数属性分析、距离属性分析和缩略匹配属性分析;
获取所述训练数据的第二特征信息,从所述第二特征信息中选择一个特征作为节点的***标准,其中,获取所述***标准的计算公式如下:
其中,Info(D)为熵,G(A)是信息增益率,D是所述训练数据,m是所述标记属性的词的个数,pi是所述第二特征信息中选择的一个特征对应的所述标记属性的词,A是所述标记属性中的其中一个属性,v是对应于属性A测试的输出个数以及输出的划分个数;
以所述标记属性的词作为根节点,根据预设的分类标准和所述***标准,构建决策树;
所述对所述关键信息进行文本数据处理,包括:
对所述关键信息进行属性分析,并对经过属性分析的关键信息进行标记,获取标记属性的目标词;
通过所述决策树对所述目标词进行数据分析与处理。
6.根据权利要求1所述的方法,其特征在于,所述在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息之后,所述方法还包括:
获取匹配度,其中,所述匹配度为所述产品知识库中的产品信息与所述咨询意图信息的对应程度;
检测所述匹配度是否小于第一预设阈值;
当检测结果为是时,对所述咨询信息进行分析,获取待解决信息,其中,所述待解决信息包括产品的领域、名称、技术问题和问题类型;
根据所述待解决信息匹配咨询解答人员,将所述咨询信息以及解答时间限制的提示信息发送到信息获取工具中,以使所述信息获取工具根据所述咨询信息和所述提示信息生成解决结果;
获取所述信息获取工具接收的所述解决结果,并将所述解决信息与所述解决结果输入到所述对话咨询模型,对所述对话咨询模型进行训练,获取更新后的对话咨询模型。
7.根据权利要求1所述的方法,其特征在于,所述在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息之后,所述方法还包括:
获取多个匹配值,其中,所述匹配值为所述产品知识库中的产品信息与所述咨询意图信息的对应程度值;
计算多个所述匹配值,比较多个所述匹配值的大小,获取最大匹配值;
检测所述最大匹配值是否小于第二预设阈值;
若是,则输出目标推荐信息,其中,所述目标推荐信息包括所述最大匹配值对应的产品信息、所述产品信息匹配的推荐信息和与所述产品信息关联的产品信息。
8.一种用于咨询对话处理的装置,其特征在于,所述装置包括:
输入输出模块,用于获取训练信息,接收用户输入的目标产品信息,接收到用户输入的咨询信息;
处理模块,用于将所述输入输出模块获取的训练信息输入到模型中,对所述模型进行训练,以获取对话咨询模型,所述对话咨询模型用于对用户输入的目标产品信息进行分析与处理,以构建产品信息库,对用户输入的咨询信息进行分析与处理,以获取与所述咨询信息对应的返回结果;通过所述对话咨询模型对所述输入输出模块接收的所述目标产品信息进行分类,获取分类结果;根据所述分类结果建立第一对应关系和/或第二对应关系,根据所述第一对应关系或所述第二对应关系构建产品信息库;将所述输入输出模块接收的所述咨询信息输入到所述第一子模型中,通过所述第一子模型从所述咨询信息中获取关键信息;将所述关键信息输入到所述第二子模型,通过所述第二子模型分析所述关键信息以获取用户的咨询意图信息;在所述产品知识库中匹配与所述咨询意图信息对应的第二产品信息,并将所述第二产品信息的语义表示形式转换成话术语言,生成咨询返回结果并通过所述输入输出模块将所述咨询返回结果输入至显示模块;对历史关键信息和历史咨询返回结果进行统计与分析,生成多维度报表并通过所述输入输出模块将所述多维度报表输入至所述显示模块;
所述显示模块,用于从所述输入输出模块中接收并显示所述咨询返回结果和所述多维度报表。
9.一种计算机设备,其特征在于,所述计算机设备包括:
至少一个处理器、存储器、显示器和输入输出单元;
其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-7中任一项所述的方法。
10.一种计算机存储介质,其特征在于,其包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910849393.6A CN110688454A (zh) | 2019-09-09 | 2019-09-09 | 咨询对话处理的方法、装置、设备及存储介质 |
PCT/CN2020/087624 WO2021047186A1 (zh) | 2019-09-09 | 2020-04-28 | 咨询对话处理的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910849393.6A CN110688454A (zh) | 2019-09-09 | 2019-09-09 | 咨询对话处理的方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110688454A true CN110688454A (zh) | 2020-01-14 |
Family
ID=69107999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910849393.6A Pending CN110688454A (zh) | 2019-09-09 | 2019-09-09 | 咨询对话处理的方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110688454A (zh) |
WO (1) | WO2021047186A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274490A (zh) * | 2020-03-26 | 2020-06-12 | 北京百度网讯科技有限公司 | 咨询信息的处理方法和装置 |
CN111625699A (zh) * | 2020-04-02 | 2020-09-04 | 南京邮电大学 | 一种基于智能外呼的互联网弱可信数据校验方法 |
CN112241852A (zh) * | 2020-12-08 | 2021-01-19 | 深圳市房多多网络科技有限公司 | 房产交易过程中的即时通讯方法、装置及计算设备 |
WO2021047186A1 (zh) * | 2019-09-09 | 2021-03-18 | 深圳壹账通智能科技有限公司 | 咨询对话处理的方法、装置、设备及存储介质 |
CN113179352A (zh) * | 2021-05-25 | 2021-07-27 | 北京捷通华声科技股份有限公司 | 通话质量的确定方法、确定装置以及计算机可读存储介质 |
CN113407677A (zh) * | 2021-06-28 | 2021-09-17 | 北京百度网讯科技有限公司 | 评估咨询对话质量的方法、装置、设备和存储介质 |
CN113609275A (zh) * | 2021-08-24 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、设备及存储介质 |
CN116401355A (zh) * | 2023-06-08 | 2023-07-07 | 浙江天正思维信息技术有限公司 | 一种基于数智交互的咨询业务决策管理方法及*** |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076413B (zh) * | 2021-04-30 | 2023-12-26 | 平安国际智慧城市科技股份有限公司 | 参数关联服务方法、***、装置及存储介质 |
CN113743129B (zh) * | 2021-09-30 | 2023-09-26 | 平安科技(深圳)有限公司 | 基于神经网络的信息推送方法、***、设备及介质 |
CN114742610A (zh) * | 2022-03-22 | 2022-07-12 | 平安普惠企业管理有限公司 | 产品的筛选方法、装置、电子设备以及存储介质 |
CN114781401A (zh) * | 2022-05-06 | 2022-07-22 | 马上消费金融股份有限公司 | 一种数据处理方法、装置、设备和存储介质 |
CN116578682B (zh) * | 2023-05-22 | 2024-02-13 | 浙江法之道信息技术有限公司 | 一种法务服务的智能咨询方法及*** |
CN118069820A (zh) * | 2024-04-22 | 2024-05-24 | 来未来科技(浙江)有限公司 | 一种对话式数据分析方法、装置、设备及存储介质 |
CN118113854B (zh) * | 2024-04-29 | 2024-07-12 | 天津中医药大学 | 一种基于妇科护理知识库的在线咨询方法及*** |
CN118152544A (zh) * | 2024-05-08 | 2024-06-07 | 支付宝(杭州)信息技术有限公司 | 一种基于智能体的医疗问答方法、***和电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7409335B1 (en) * | 2001-06-29 | 2008-08-05 | Microsoft Corporation | Inferring informational goals and preferred level of detail of answers based on application being employed by the user |
US7966309B2 (en) * | 2007-01-17 | 2011-06-21 | Google Inc. | Providing relevance-ordered categories of information |
CN102033877A (zh) * | 2009-09-27 | 2011-04-27 | 阿里巴巴集团控股有限公司 | 检索方法和装置 |
CN106557576B (zh) * | 2016-11-24 | 2020-02-04 | 百度在线网络技术(北京)有限公司 | 基于人工智能的提示信息推荐方法以及装置 |
CN108920467B (zh) * | 2018-08-01 | 2021-04-27 | 北京三快在线科技有限公司 | 多义词词义学习方法及装置、搜索结果显示方法 |
CN110069690B (zh) * | 2019-04-24 | 2021-12-07 | 成都映潮科技股份有限公司 | 一种主题网络爬虫方法、装置及介质 |
CN110688454A (zh) * | 2019-09-09 | 2020-01-14 | 深圳壹账通智能科技有限公司 | 咨询对话处理的方法、装置、设备及存储介质 |
-
2019
- 2019-09-09 CN CN201910849393.6A patent/CN110688454A/zh active Pending
-
2020
- 2020-04-28 WO PCT/CN2020/087624 patent/WO2021047186A1/zh active Application Filing
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021047186A1 (zh) * | 2019-09-09 | 2021-03-18 | 深圳壹账通智能科技有限公司 | 咨询对话处理的方法、装置、设备及存储介质 |
CN111274490A (zh) * | 2020-03-26 | 2020-06-12 | 北京百度网讯科技有限公司 | 咨询信息的处理方法和装置 |
CN111274490B (zh) * | 2020-03-26 | 2024-01-19 | 北京百度网讯科技有限公司 | 咨询信息的处理方法和装置 |
CN111625699A (zh) * | 2020-04-02 | 2020-09-04 | 南京邮电大学 | 一种基于智能外呼的互联网弱可信数据校验方法 |
CN112241852A (zh) * | 2020-12-08 | 2021-01-19 | 深圳市房多多网络科技有限公司 | 房产交易过程中的即时通讯方法、装置及计算设备 |
CN113179352A (zh) * | 2021-05-25 | 2021-07-27 | 北京捷通华声科技股份有限公司 | 通话质量的确定方法、确定装置以及计算机可读存储介质 |
CN113179352B (zh) * | 2021-05-25 | 2023-04-07 | 北京捷通华声科技股份有限公司 | 通话质量的确定方法、确定装置以及计算机可读存储介质 |
CN113407677B (zh) * | 2021-06-28 | 2023-11-14 | 北京百度网讯科技有限公司 | 评估咨询对话质量的方法、装置、设备和存储介质 |
CN113407677A (zh) * | 2021-06-28 | 2021-09-17 | 北京百度网讯科技有限公司 | 评估咨询对话质量的方法、装置、设备和存储介质 |
CN113609275A (zh) * | 2021-08-24 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、设备及存储介质 |
CN113609275B (zh) * | 2021-08-24 | 2024-03-26 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、设备及存储介质 |
CN116401355B (zh) * | 2023-06-08 | 2023-08-15 | 浙江天正思维信息技术有限公司 | 一种基于数智交互的咨询业务决策管理方法及*** |
CN116401355A (zh) * | 2023-06-08 | 2023-07-07 | 浙江天正思维信息技术有限公司 | 一种基于数智交互的咨询业务决策管理方法及*** |
Also Published As
Publication number | Publication date |
---|---|
WO2021047186A1 (zh) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110688454A (zh) | 咨询对话处理的方法、装置、设备及存储介质 | |
CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
EP3985578A1 (en) | Method and system for automatically training machine learning model | |
CN109165840B (zh) | 风险预测处理方法、装置、计算机设备和介质 | |
CN111026842B (zh) | 自然语言处理方法、自然语言处理装置及智能问答*** | |
EP3522078A1 (en) | Explainable artificial intelligence | |
WO2020147395A1 (zh) | 基于情感的文本分类处理方法、装置和计算机设备 | |
CN110110038B (zh) | 话务预测方法、装置、服务器及存储介质 | |
CN111182162B (zh) | 基于人工智能的电话质检方法、装置、设备和存储介质 | |
CN109284371B (zh) | 反欺诈方法、电子装置及计算机可读存储介质 | |
KR20200007969A (ko) | 정보 처리 방법, 단말기, 및 컴퓨터 저장 매체 | |
CN108563783B (zh) | 一种基于大数据的财务分析管理***及方法 | |
Gajzler | Text and data mining techniques in aspect of knowledge acquisition for decision support system in construction industry | |
US20170185913A1 (en) | System and method for comparing training data with test data | |
JP6719399B2 (ja) | 解析装置、解析方法、およびプログラム | |
CN111597818B (zh) | 呼叫质检方法、装置、计算机设备和计算机可读存储介质 | |
CN111159987A (zh) | 数据图表绘制方法、装置、设备和计算机可读存储介质 | |
CN110780965A (zh) | 基于视觉的流程自动化方法、设备及可读存储介质 | |
KR20200053005A (ko) | 상황인지 기반의 기업주가예측 알고리즘 제공 방법 | |
CN114706966A (zh) | 基于人工智能的语音交互方法、装置、设备及存储介质 | |
CN113420018A (zh) | 用户行为数据分析方法、装置、设备及存储介质 | |
CN114647713A (zh) | 基于虚拟对抗的知识图谱问答方法、设备及存储介质 | |
CN112069315A (zh) | 提取文本多维度信息方法、装置、服务器及存储介质 | |
CN115618415A (zh) | 敏感数据识别方法、装置、电子设备和存储介质 | |
CN111488501A (zh) | 一种基于云平台的电商统计*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |