CN110955765A - 智能助理的语料构建方法、装置、计算机设备和存储介质 - Google Patents

智能助理的语料构建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110955765A
CN110955765A CN201911158765.7A CN201911158765A CN110955765A CN 110955765 A CN110955765 A CN 110955765A CN 201911158765 A CN201911158765 A CN 201911158765A CN 110955765 A CN110955765 A CN 110955765A
Authority
CN
China
Prior art keywords
question
answer
text
answer text
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911158765.7A
Other languages
English (en)
Inventor
林志达
吴石松
吴丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
China Southern Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Co Ltd, Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical China Southern Power Grid Co Ltd
Priority to CN201911158765.7A priority Critical patent/CN110955765A/zh
Publication of CN110955765A publication Critical patent/CN110955765A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种智能助理的语料构建方法、装置、计算机设备和存储介质。所述方法包括：从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。采用本方法能够缩短智能助理的语料库构建的周期并提升所构建的问答语料数据与应用场景的适用性。

Description

智能助理的语料构建方法、装置、计算机设备和存储介质
技术领域
本申请涉及电力技术领域，特别是涉及一种智能助理的语料构建方法、装置、计算机设备和存储介质。
背景技术
随着电力行业以及人工智能技术的快速发展，越来越多的电力业务开始使用智能助理(例如，也称为“智能对话助手”，或简称为“助理”)。用户可以基于计算机设备提供的用户接口与智能助理进行聊天、说话或以其他方式的交互以使智能助理响应用户的需求输出相应信息，或以其他方式执行某些操作。智能助理的实现逻辑与聊天机器人相似，但是多了业务处理的流程，智能助理会根据对话管理返回的结果进行相关业务的处理。
智能助理作为人工智能领域的一个重要分支，得到了越来越广泛的关注和应用。智能助理通过自然语言理解和问答***与用户进行交互，其中，原始语料库的采集和构建对于智能助理的响应准确度和功能涵盖程度都是至关重要的。目前的智能助理语料数据主要以人工采集标注或基于模板的方式进行构建，不但构建语料库的周期较长，而且也较难适用于相应的应用场景。
发明内容
基于此，有必要针对上述技术问题，提供一种能够缩短智能助理的语料库构建的周期并提升与应用场景的适用性的智能助理的语料构建方法、装置、计算机设备和存储介质。
一种智能助理的语料构建方法，该方法包括：
从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；
对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；
将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；
根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
在其中一个实施例中，上述的语料构建模型的训练过程包括：
从***日志中提取问答文本数据，从问答文本数据中划分出训练样本集，训练样本集包括多个第一问答文本数据；
将多个第一问答文本数据进行文本向量化操作，得到第一问答文本向量；
构建对抗网络，对抗网络包括生成器模型和判别器模型；生成器模型用于根据第一问答文本向量生成第一问题文本向量以及第一问答文本向量对应的第一答案文本向量；判别器模型用于对第一问答文本以及第一答案文本向量的真实性进行判别；
进行基于生成对抗网络的训练，得到语料构建模型。
在其中一个实施例中，上述的进行基于生成对抗网络的训练，得到语料构建模型，包括：
获取默认真实样本集，默认真实样本集包括默认真实问题文本和默认真实问题文本对应的默认真实答案文本；
将默认真实问题文本和默认真实答案文本进行文本向量化操作，得到第二问题文本向量和第二问题文本向量对应的第二答案文本向量；
通过第一问题文本向量、第一答案文本向量、第二问题文本向量以及第二答案文本向量训练对抗网络，判别器模型用于输出第一概率和第二概率，第一概率为判定输入样本来自于第一问题文本向量以及第一答案文本向量的概率，第二概率为判定输入样本来自于第二问题文本向量以及第二答案文本向量的概率，对抗网络的目标函数用于对对抗网络的网络参数进行优化，以使得最小化第一概率的目标函数与最大化第二概率的目标函数互相博弈达到平衡；
根据训练完成的对抗网络，得到语料构建模型。
在其中一个实施例中，上述的根据训练完成的对抗网络，得到语料构建模型，包括：
从问答文本数据中划分出测试样本集，测试样本集包括多个第二问答文本数据；
将多个第二问答文本数据进行文本向量化，得到第二问答文本向量；
用第二问答文本向量对训练完成的对抗网络进行测试，获得测试结果；
若测试结果满足测试条件，将训练完成的对抗网络作为语料构建模型。
在其中一个实施例中，上述的生成器模型包括问题生成器模型和答案生成器模型；问题生成器模型用于根据第一问答文本向量生成第一问题文本向量，答案生成器模型用于根据第一问答文本向量生成第一答案文本向量。
在其中一个实施例中，上述的问题生成器模型采用带注意力机制的编码-解码模型，该带注意力机制的编码-解码模型的编码层和解码层采用GRU模型，上述的答案生成器模型采用LSTM模型和对话生成模型。
在其中一个实施例中，上述的从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据，包括：
从上述的***日志中提取初始语料数据和/或用户行为数据，用户行为数据包括用户点击行为数据、用户搜索行为数据和/或用户对话数据；
根据初始语料数据、用户点击行为数据、用户搜索行为数据和/或用户对话数据，得到当前问答文本数据。
在其中一个实施例中，上述的语料构建模型的训练过程还包括：获取问答文本数据的生成时间信息，根据生成时间信息将问答文本数据划分为训练样本集和测试样本集。
一种智能助理的语料构建装置，所述装置包括：
数据获取模块，用于从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；
向量化操作模块，用于对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；
输入模块，用于将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；
语料构建模块，用于根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；
对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；
将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；
根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；
对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；
将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；
根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
上述智能助理的语料构建方法、装置、计算机设备和存储介质，是从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据，对该当前问答文本数据进行文本向量化操作，得到当前问答文本向量，将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到，根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。采用本实施方案，由于是基于从待构建语料的智能助理对应的电力运营管理***的***日志中提取的当前问答文本数进行语料构建，且由于语料构建模型是根据从待构建语料的智能助理对应的电力运营管理***的***日志中提取的问答文本数据训练得到的，与此得到的问答语料数据与待构建语料的智能助理是相匹配的，提升了与应用场景的适用性；同时，由于是对该当前问答文本数据进行文本向量化操作，得到当前问答文本向量，将当前问答文本向量输入到语料构建模型根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据，减少了人工标注工作，能够提升缩短智能助理的语料库构建的周期。
附图说明
图1为一个实施例中智能助理的语料构建方法的应用环境图；
图2为一个实施例中智能助理的语料构建方法的流程示意图；
图3为一个实施例中语料构建模型训练过程的流程示意图；
图4为一个实施例中进行基于生成对抗网络的训练步骤的流程示意图；
图5为一个实施例中对训练完成的对抗网络的测试步骤的流程示意图；
图6为一个实施例中智能助理的语料构建方法的流程示意图；
图7为一个实施例中的答案生成模型的LSTM+DA模型示意图；
图8为基于CNN的辨别器模型示意图；
图9为一个实施例中智能助理的语料构建装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或者”的关系。
本申请提供的智能助理的语料构建方法，可以应用于如图1所示的应用环境中。该应用环境中包括终端102、服务器106、数据库设备106和网络108，终端102、服务器104和数据库设备106之间均可以通过网络108实现可通信的连接。该终端102、服务器106、数据库设备106和网络108构成的网络***可以是基于互联网，也可以基于局域网，还可以基于互联网和局域网的组合网，在此不做赘述。
终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。数据库设备106包括多个数据库或者数据库集群，数据库设备106用于存储相关的***日志，例如待构建语料的智能助理对应的电力运营管理***的***日志，数据库设备106一般还可以连接能助理对应的电力运营管理***。网络108用于实现终端102与服务器104、服务器104与数据库设备106等之间的网络连接，可以包括多种类型的有线或无线网络。网络108都可以包括互联网、局域网(“LAN”)、广域网(“WAN”)、内部网、移动电话网络、虚拟专用网(VPN)、蜂窝式或其它移动通信网络、蓝牙、NFC或其任何组合。网络108进行数据传输时也会基于相应的通讯协议，例如网页浏览器接收网页相应的业务代码时会基于HTTP通讯协议，移动应用程序接收的业务代码时可以基于Websocket通讯协议。
在具体应用中，服务器106可以在接收到终端102发送的语料库构建指令后，确定待构建语料的智能助理对应的电力运营管理***，从该电力运营管理***的***日志中提取当前问答文本数据，对该当前问答文本数据进行文本向量化操作，得到当前问答文本向量，将所述当前问答文本向量输入到语料构建模型，该语料构建模型根据从所述***日志中提取的问答文本数据训练得到，根据该语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的该问题文本和该答案文本作为智能助理的问答语料数据。服务器106得到的问答语料数据可以反馈给终端102，也可以保存在本地，或者发送给其他计算机设备。得到的问答语料数据可以用于训练对话生成模型，对话生成模型用于生成用户与智能助理之间的对话。
在一个实施例中，如图2所示，提供了一种智能助理的语料构建方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据。
其中，用户登录某一电力运营管理***(或者称为智能助理运营管控平台)，会相应的有大量的用户行为序列数据以及较少的一部分与电力运营管理***的智能助理或者人工客服的对话文本，这些信息会记录到该电力运营管理***的***日志中，因此，服务器可以从待构建语料的智能助理对应的电力运营管理***的***日志中提取出这些信息，即当前问答文本数据，用户行为序列数据可以包括用户点击行为数据、用户搜索行为数据和/或用户对话数据。例如，用户点击“人力资源”按钮，跳转至人力资源看板，这作为用户点击行为数据；用户搜索“某财务指标”，***显示某财务指标数据，这作为用户搜索行为数据；用户与人工客服对话“如何查询XX指标”“您需先进入XX看板，再点击XX指标”，这作为用户对话数据。
具体地，服务器确定待构建语料的智能助理，获取该智能助理对应的电力运营管理***的***日志，从该***日志中提取当前问答文本数据。
步骤204，对当前问答文本数据进行文本向量化操作，得到当前问答文本向量。
具体地，服务器可以将问答文本数据经word2vec模型转换为向量的形式，得到当前问答文本向量。word2vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学的词文本。
步骤206，将当前问答文本向量输入到语料构建模型，语料构建模型根据从待构建语料的智能助理对应的***日志中提取的问答文本数据训练得到。
具体地，服务器可以预先根据从待构建语料的智能助理对应的***日志中提取的问答文本数据进行模型训练得到语料构建模型，在获得当前问答文本向量后，将该当前问答文本向量输入到语料构建模型，获得输出结果，该输出结果一般至少包括问题文本向量和答案文本向量。
步骤208，根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
具体地，服务器根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
本实施方案，由于是基于从待构建语料的智能助理对应的电力运营管理***的***日志中提取的当前问答文本数进行语料构建，且由于语料构建模型是根据从待构建语料的智能助理对应的电力运营管理***的***日志中提取的问答文本数据训练得到的，与此得到的问答语料数据与待构建语料的智能助理是相匹配的，提升了与应用场景的适用性；同时，由于是对该当前问答文本数据进行文本向量化操作，得到当前问答文本向量，将当前问答文本向量输入到语料构建模型根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据，减少了人工标注工作，能够提升缩短智能助理的语料库构建的周期。
在其中一个实施例中，如图3所示，上述的语料构建模型的训练过程可以包括如下步骤：
步骤302，从待构建语料的智能助理对应的电力运营管理***的***日志中提取问答文本数据，从问答文本数据中划分出训练样本集，训练样本集包括多个第一问答文本数据。
一般地，需要将问答文本数据划分为训练样本集和测试样本集，训练样本集用于模型训练，测试样本集用于对训练后的模型进行测试。同时，训练样本集和测试样本集的标签一般没有交叉。
步骤304，将多个第一问答文本数据进行文本向量化操作，得到第一问答文本向量。
具体地，服务器可以将多个第一问答文本数据经word2vec模型转换为向量的形式，得到第一问答文本向量。
步骤306，构建对抗网络，对抗网络包括生成器模型和判别器模型；生成器模型用于根据第一问答文本向量生成第一问题文本向量以及第一问答文本向量对应的第一答案文本向量；判别器模型用于对第一问答文本以及第一答案文本向量的真实性进行判别。
这里，生成器模型一般包括问题生成器模型和答案生成器模型；问题生成器模型用于根据第一问答文本向量生成第一问题文本向量，答案生成器模型用于根据第一问答文本向量生成第一答案文本向量。
在其中一个实施例中，该问题生成器模型采用带注意力机制的编码-解码模型，该带注意力机制的编码-解码模型的编码层和解码层采用GRU(Gated Recurrent Unit，门控循环单元)模型，由于GRU相对于LSTM(Long Short-Term Memory，长短期记忆网络)模型少一个门函数，可以提升问题生成器模型的训练速度。
在其中一个实施例中，该答案生成器模型采用LSTM模型和对话生成模型。其中，在LSTM模型中引入对话生成模型(Dialogue Act，DA)，对话生成模型用于决定为将来时间的步骤中保留哪些信息，并丢弃其他信息，可以对答案生成器模型进行优化。
步骤308，进行基于生成对抗网络的训练，得到语料构建模型。
具体地，可以交替进行生成器模型以及判别器模型的训练，直至生成器模型以及判别器模型均收敛，最终得到语料构建模型。
本实施例中，进行基于生成对抗网络的训练，可以使得生成器模型生成的第一问答文本以及第一答案文本向量尽可能的接近真实样本数据，达到对语料构建模型的尽可能优化。
在其中一个实施例中，如图4所示，上述的进行基于生成对抗网络的训练，得到语料构建模型，可以包括如下步骤：
步骤402，获取默认真实样本集，默认真实样本集包括默认真实问题文本和默认真实问题文本对应的默认真实答案文本；
具体地，可以将用户对话数据作为默认真实样本集。
步骤404，将默认真实问题文本和默认真实答案文本进行文本向量化操作，得到第二问题文本向量和该第二问题文本向量对应的第二答案文本向量；
步骤406，通过第一问题文本向量、第一答案文本向量、第二问题文本向量以及第二答案文本向量训练对抗网络，判别器模型用于输出第一概率和第二概率，第一概率为判定输入样本来自于第一问题文本向量以及第一答案文本向量的概率，第二概率为判定输入样本来自于第二问题文本向量以及第二答案文本向量的概率，对抗网络的目标函数用于对对抗网络的网络参数进行优化，以使得最小化第一概率的目标函数与最大化第二概率的目标函数互相博弈达到平衡。
其中，第一问题文本向量和对应的第一答案文本向量，或者第二问题文本向量以及对应的第二答案文本向量作为判别器模型的输入样本。
步骤408，根据训练完成的对抗网络，得到语料构建模型。
具体地，可以直接将训练完成的对抗网络作为语料构建模型，也可以将训练完成且满足指定条件的对抗网络作为语料构建模型。
在其中一个实施例中，如图5所示，上述的根据训练完成的对抗网络，得到语料构建模型，可以包括步骤：
步骤502，从问答文本数据中划分出测试样本集，测试样本集包括多个第二问答文本数据；
步骤504，将多个第二问答文本数据进行文本向量化，得到第二问答文本向量；
具体地，服务器可以将多个第二问答文本数据经word2vec模型转换为向量的形式，得到第二问答文本向量。
步骤506，用第二问答文本向量对训练完成的对抗网络进行测试，获得测试结果；
这里，测试结果可以是质量分数值。
步骤508，若测试结果满足测试条件，将训练完成的对抗网络作为语料构建模型。
这里，测试条件可以根据实际需要设定，例如，质量分数值大于预设阈值。
若测试结果不满足测试条件，可以生成提示信息，用于提示用户练完成的对抗网络不满足要求，用户可以据此进一步优化或者调整模型。
在其中一个实施例中，上述的从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据，包括：从待构建语料的智能助理对应的电力运营管理***的***日志中提取初始语料数据和/或用户行为数据，用户行为数据包括用户点击行为数据、用户搜索行为数据和/或用户对话数据；根据初始语料数据、用户点击行为数据、用户搜索行为数据和/或用户对话数据，得到当前问答文本数据。
在其中一个实施例中，上述的获取问答文本数据的生成时间信息，根据生成时间信息将问答文本数据划分为训练样本集和测试样本集。
具体地，可以时间划分多个连续等间隔或者不等间隔的时间段，例如，时间段1、时间段2、时间段3、…时间段n，生成时间信息为奇数时间段的问答文本数据划分到训练样本集(或者测试样本集)，生成时间信息为偶数时间段的问答文本数据划分到测试样本集(或者训练样本集)。其中，每个奇数时间段的长短可以是相等的，每个偶数时间段的长短也可以是相等的，奇数时间段的长短和偶数时间段的长短的比值大小可以根据实际需要设定，例如，7比3。
本实施例中，根据生成时间信息将问答文本数据划分为训练样本集和测试样本集，可以尽量消除时间对模型训练效果或者测试结果的影响。
为了便于理解本申请方案，以下以一个较佳实施例对本申请方案进行详细阐述。如图6所示，该实施例中的智能助理的语料构建方法，包括如下步骤：
步骤602，获取基础语料库、***日志中用户访问节点顺序以及节点文本内容。
本实施例所采用的数据处理方式为：从现实中的智能助理运营管控平台获取***日志数据。用户登陆智能助理运营管控平台之后，会有大量的点击等行为序列以及很少一部分向平台助理产生的各种对话文本。每个用户行为节点(例如，点击节点)对应一个关键文本信息。可以按照时间关系，将获取到的数据划分为训练集与测试集，并且使得两个集合的标签没有交叉。数据处理输入可以包括节点编号以及对应的关键文本信息，还可以包括部分已有的访问顺序形成的对话文本，即基础语料库。
为了便于理解后续内容，以下以问答文本数据为用户点击行为数据举例说明。
点击行为：用户点击“人力资源监控”按钮，进入人力资源看板。
初始生成器模型的训练结果为：
生成器输入：1.点击“人力资源监控”跳转人力资源看板。
生成器输出问题：查看人力资源看板数据？
生成器输出答案：“人力资源监控”按钮。
对抗网络(GAN)中的判别器模型：
真实数据：“请问如何查看人力资源数据”“请点击人力资源监控按钮，即可查看。”
根据真实数据判断生成器输出完善度不够，需要进一步训练生成器。
引入对抗网络后的生成器模型的训练结果为：
生成器模型输入：点击“人力资源监控”跳转人力资源看板。
生成器模型输出问题：请问如何查看人力资源看板数据？
生成器模型输出答案：请点击“人力资源监控”按钮。
即通过对抗网络让生成器模型和判别器模型对抗训练，从而使生成器模型的生成结果更接近真实数据。
以下对生成器模型以及判别器模型的构建以及对抗训练进行阐述。
步骤604，构建生成器模型，生成器模型包括问题生成模型和答案生成模型。
其中，生成器模型用于生成问题文本(或者称为问题文本向量)以及答案文本(或者称为答案文本向量)。生成器模型的输入数据为n个节点顺序编号形成的向量以及对应文本内容，生成器模型的输出数据为问题文本和答案文本。
具体步骤：将训练集的各个节点的文本内容经过word2vec模型转换为向量的形式Xn。
对于给定的文本序列X＝{x1，x2，...xn}，即第一问答文本向量，输出问题文本向量Y＝{y1，y2，...yn}和答案文本向量A＝{A1，A2，...An}。
其中，问题生成模型主要采用encoder-attention-decoder的结构，即带注意力机制的编码-解码模型，其中encoder和decoder层均使用了GRU模型，具体结构如下：
Encoder：使用GRU模型进行问题文本向量生成。
qi＝GRU(xi,qi-1) (1)
其中，i表示序列里第i个文字，x表示文本数据的初始文本向量，q代表编码层输出的隐藏层状态。
Attention：利用Attention机制；
Figure BDA0002285495110000131
其中，aij代表权重参数，并非固定而是由神经网络训练得到。将隐藏向量序列按权重相加，表示在生成第j个输出的时候的注意力分配是不同的。aij的值越高，表示第i个输出在第j个输入上分配的注意力越多，在生成第i个输出的时候受第j个输入的影响也就越大。c表示是最终输出的文本语义向量。
Decoder：
sj＝GRU(yj-1,sj-1,cj) (3)
其中，s表示解码出来的问题文本向量，y表示解码层输出的隐藏层状态。
其中，LSTM和GRU都是通过各种门函数来将重要特征保留下来，这样就保证了在长期传播的时候也不会丢失。不同的是，GRU相对于LSTM少了一个门函数，因此在参数的数量上也是要少于LSTM的，所以整体上GRU的训练速度要快于LSTM的。生成所有单词的概率分布是在真实数据，源文本向量和隐藏层状态的条件下生成的：
tj＝g(yj-1,cj,sj) (4)
Pj＝softmax(Wtj) (5)
其中，P为生成的各个目标文本向量的概率分布，g是线性函数，W为神经网络的参数矩阵，softmax为激活函数，该激活函数可以理解为将生成各个文本的概率投射到0-1的空间，并且各概率加和为1。
如图7所示，答案生成模型使用LSTM模型和对话生成模型(DA，dialogue act)，用于生成答案文本向量。核心点在于改进LSTM网络，引入了DA(dialogue act)机制，加入了关键词。其中，关键词的表示形式为one-hot编码，编码的长度为关键词表长度，其中0表示该关键词不表达，1表示输入该关键词，例如：关键词表["中国"，"美国，"法国"](这里N＝3)：中国＝>100，美国＝>010，法国＝>001。DA单元扮演了句子规划的角色，因为它在生成过程中能够精确编码输入信息的表面实现。DA单元决定为将来的时间步骤保留哪些信息，并丢弃其他信息。在LSTM的数学公式表达里面，通过引入DA单元，最总输出答案文本向量的表达式增加了一项，这一项直接影响了整个生成句子的规划。
其中，标准LSTM模块为：
it＝σ(WWixt)+Whiht-1 (6)
ft＝σ(WWfxt)+Whfht-1 (7)
ot＝σ(WWoxt)+Whoht-1 (8)
ct′＝tanh(Wwcxt)+Whcht-1 (9)
ct＝ft⊙ct-1+it⊙ct‘ (10)
ht＝ot⊙tanh(ct) (11)
其中，i是输入门，o是输出门，f是遗忘门，输入门表示是否允许当前的输入信息加入到隐层状态中，输出门表示是否允许当前隐层节点的输出值传递到下一层，遗忘门表示是否保留当前节点的历史状态，c为LSTM模型的细胞状态，h为LSTM模块的隐藏层状态，t为当前时刻，σ为sigmoid函数，是一种激活函数，W为神经网络的参数矩阵，不同的下标用于区分在计算中与不同的向量相乘的参数矩阵，圆圈⊙表示矩阵元素对应相乘。
Dialogue Act对话生成模块为：
rt＝σ(Wwrxt)+Whrht-1 (12)
dt＝rt⊙dt-1 (13)
ct＝ft⊙ct-1+it⊙ct′+tanh(Wdcdt) (14)
其中，r为DA模块单元状态，d为关键词向量，t为当前时刻，c表示最终输出的答案文本向量，W为神经网络的参数矩阵，不同的下标区分了在计算中与不同的向量相乘的参数矩阵，tanh为激活函数。
步骤606，构建判别器模型，对生成器模型生成的样本进行辨别。
其中，生成器生成的样本即生成器模型生成的问题文本向量和答案文本向量，对生成器生成的样本进行辨别可以增加文本的真实性。
如图8所示，在判别器模型中，使用基于卷积神经网络(CNN)的模型去辨别生成器生成的样本的真伪性，以增加文本的真实性。
对抗网络主要分为两部分：生成器模型和判别器模型。生成器模型的作用是模拟真实数据的分布，判别器模型的作用是判断一个样本是真实的样本还是生成的样本，对抗网络的目标是训练一个生成器模型完美的拟合真实数据分布使得判别器模型无法区分。
在生成式对抗网络中，目标是使生成器模型生成的文本分布尽量拟合真实数据分布，判别器模型的输出为输入数据来自真实数据而不是生成器的概率，所以要尽量提高生成器分布接近真实分布的概率，降低判别器模型判断数据来自真实数据的概率，从而实现优化。
步骤608，构建目标函数。
对抗网络使用对抗生成的方式来训练生成器模型和判别器模型，可以采用基于Adam(Adaptive Moment Estimation，自适应时刻估计方法)的深度学习神经网络优化方法。
使用Adam优化算法进行神经的训练，其优化目标函数函数定义为：
Figure BDA0002285495110000151
其中，Pdata是真实样本的分布，Pz是生成器生成的样本的分布，判别器模型D负责区分真实样本和生成样本，它的目标是D(x)(判断输入来自真实数据的概率)尽可能大、D(G(z))(判断输入来自生成数据的概率)尽可能小，即V(D,G)整体尽可能大；生成器模型G负责生成尽可能真实，判别器模型判断为真的样本，即D(G(z))尽可能大，即V(D,G)整体尽可能小。生成器模型G和判别器模型D相互对抗，即
Figure BDA0002285495110000152
最后达到全局最优。
模型当中涉及到各个式子中各个参数，均可以由Adam算法训练，Adam算法是一种自适应优化算法，可以很好地解决随机梯度下降方法的一些问题，它能够对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新。对梯度的一阶矩估计(即梯度的均值)和二阶矩估计(即梯度的未中心化的方差)进行综合考虑，计算出更新步长。
步骤610，进行基于生成对抗网络的训练，完成神经网络构建。
基于上述步骤，从***日志中提取问答文本数据并构建第一问答文本向量，通过训练神经网络实现问题和答案匹配，从而完成智能助理的语料数据(或者称为原始语料库)的构建。具体地，可以将第一问答文本向量输入至生成器模型中，生成器模型所输出的第一问题文本向量和第一答案文本向量输入到判别器模型中，判别器模型将返回的分类结果作为回报，采用强化学习架构训练生成器模型；同时，可以将生成器模型生成的第一问题文本向量和第一答案文本向量，与根据默认真实样本集得到的第二问题文本向量和第二答案文本向量，采用对抗生成网络的训练方式进行判别器模型的训练；交替进行生成器模型以及判别器模型的训练，直至生成器模型以及判别器模型均收敛，最终得到语料构建模型。将从***日志中提取问答文本数据文本向量化处理之后输入到语料构建模型，可以得到智能助理的预料数据。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种智能助理的语料构建装置，包括：数据获取模块902、向量化操作模块904、输入模块906和语料构建模块908，其中：
数据获取模块902，用于从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；
向量化操作模块904，用于对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；
输入模块906，用于将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；
语料构建模块908，用于根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
在其中一个实施例中，智能助理的语料构建装置还可以包括训练模块(图中未示出)，该训练模块可以包括获取单元、转换单元、转换单元和构建单元，其中：
获取单元，用于从***日志中提取问答文本数据，从问答文本数据中划分出训练样本集，训练样本集包括多个第一问答文本数据；
转换单元，用于将多个第一问答文本数据进行文本向量化操作，得到第一问答文本向量；
构建单元，用于构建对抗网络，对抗网络包括生成器模型和判别器模型；生成器模型用于根据第一问答文本向量生成第一问题文本向量以及第一问答文本向量对应的第一答案文本向量；判别器模型用于对第一问答文本以及第一答案文本向量的真实性进行判别；
训练单元，用于进行基于生成对抗网络的训练，得到语料构建模型。
在其中一个实施例中，训练单元可以获取默认真实样本集，默认真实样本集包括默认真实问题文本和默认真实问题文本对应的默认真实答案文本，将默认真实问题文本和默认真实答案文本进行文本向量化操作，得到第二问题文本向量和第二问题文本向量对应的第二答案文本向量，通过第一问题文本向量、第一答案文本向量、第二问题文本向量以及第二答案文本向量训练对抗网络，判别器模型用于输出第一概率和第二概率，第一概率为判定输入样本来自于第一问题文本向量以及第一答案文本向量的概率，第二概率为判定输入样本来自于第二问题文本向量以及第二答案文本向量的概率，对抗网络的目标函数用于对对抗网络的网络参数进行优化，以使得最小化第一概率的目标函数与最大化第二概率的目标函数互相博弈达到平衡，根据训练完成的对抗网络，得到语料构建模型。
在其中一个实施例中，训练单元可以从问答文本数据中划分出测试样本集，测试样本集包括多个第二问答文本数据，将多个第二问答文本数据进行文本向量化，得到第二问答文本向量，用第二问答文本向量对训练完成的对抗网络进行测试，获得测试结果，若测试结果满足测试条件，将训练完成的对抗网络作为语料构建模型。
在其中一个实施例中，上述的生成器模型包括问题生成器模型和答案生成器模型；问题生成器模型用于根据第一问答文本向量生成第一问题文本向量，答案生成器模型用于根据第一问答文本向量生成第一答案文本向量。
在其中一个实施例中，上述的问题生成器模型采用带注意力机制的编码-解码模型，该带注意力机制的编码-解码模型的编码层和解码层采用GRU模型，上述的答案生成器模型采用LSTM模型和对话生成模型。
在其中一个实施例中，数据获取模块902可以从待构建语料的智能助理对应的电力运营管理***的***日志中提取初始语料数据和/或用户行为数据，用户行为数据包括用户点击行为数据、用户搜索行为数据和/或用户对话数据，根据初始语料数据、用户点击行为数据、用户搜索行为数据和/或用户对话数据，得到当前问答文本数据。
在其中一个实施例中，获取单元还可以用于获取问答文本数据的生成时间信息，根据生成时间信息将问答文本数据划分为训练样本集和测试样本集。
关于智能助理的语料构建装置的具体限定可以参见上文中对于智能助理的语料构建方法的限定，在此不再赘述。上述智能助理的语料构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储智能助理的问答语料数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种智能助理的语料构建方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
在其中一个实施例中，处理器执行计算机程序时还实现语料构建模型的训练步骤，处理器在执行计算机程序实现该语料构建模型的训练步骤时，具体实现以下步骤：从***日志中提取问答文本数据，从问答文本数据中划分出训练样本集，训练样本集包括多个第一问答文本数据；将多个第一问答文本数据进行文本向量化操作，得到第一问答文本向量；构建对抗网络，对抗网络包括生成器模型和判别器模型；生成器模型用于根据第一问答文本向量生成第一问题文本向量以及第一问答文本向量对应的第一答案文本向量；判别器模型用于对第一问答文本以及第一答案文本向量的真实性进行判别；进行基于生成对抗网络的训练，得到语料构建模型。
在其中一个实施例中，处理器在执行计算机程序实现上述的进行基于生成对抗网络的训练，得到语料构建模型的步骤时，具体实现以下步骤：获取默认真实样本集，默认真实样本集包括默认真实问题文本和默认真实问题文本对应的默认真实答案文本；将默认真实问题文本和默认真实答案文本进行文本向量化操作，得到第二问题文本向量和第二问题文本向量对应的第二答案文本向量；通过第一问题文本向量、第一答案文本向量、第二问题文本向量以及第二答案文本向量训练对抗网络，判别器模型用于输出第一概率和第二概率，第一概率为判定输入样本来自于第一问题文本向量以及第一答案文本向量的概率，第二概率为判定输入样本来自于第二问题文本向量以及第二答案文本向量的概率，对抗网络的目标函数用于对对抗网络的网络参数进行优化，以使得最小化第一概率的目标函数与最大化第二概率的目标函数互相博弈达到平衡；根据训练完成的对抗网络，得到语料构建模型。
在其中一个实施例中，处理器在执行计算机程序实现上述的根据训练完成的对抗网络，得到语料构建模型的步骤时，具体实现以下步骤：从问答文本数据中划分出测试样本集，测试样本集包括多个第二问答文本数据；将多个第二问答文本数据进行文本向量化，得到第二问答文本向量；用第二问答文本向量对训练完成的对抗网络进行测试，获得测试结果；若测试结果满足测试条件，将训练完成的对抗网络作为语料构建模型。
上述的生成器模型包括问题生成器模型和答案生成器模型；问题生成器模型用于根据第一问答文本向量生成第一问题文本向量，答案生成器模型用于根据第一问答文本向量生成第一答案文本向量。
在其中一个实施例中，上述的问题生成器模型采用带注意力机制的编码-解码模型，该带注意力机制的编码-解码模型的编码层和解码层采用GRU模型，上述的答案生成器模型采用LSTM模型和对话生成模型。
在其中一个实施例中，处理器在执行计算机程序实现上述的从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据的步骤时，具体实现以下步骤：从待构建语料的智能助理对应的电力运营管理***的***日志中提取初始语料数据和/或用户行为数据，用户行为数据包括用户点击行为数据、用户搜索行为数据和/或用户对话数据；根据初始语料数据、用户点击行为数据、用户搜索行为数据和/或用户对话数据，得到当前问答文本数据。
在其中一个实施例中，处理器在执行计算机程序实现该语料构建模型的训练步骤时，具体还实现以下步骤：获取问答文本数据的生成时间信息，根据生成时间信息将问答文本数据划分为训练样本集和测试样本集。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；对当前问答文本数据进行文本向量化操作，得到当前问答文本向量；将当前问答文本向量输入到语料构建模型，语料构建模型根据从***日志中提取的问答文本数据训练得到；根据语料构建模型的输出结果获得问题文本和答案文本，将得到的问题文本和答案文本关联，关联后的问题文本和答案文本作为智能助理的问答语料数据。
在其中一个实施例中，计算机程序被处理器执行时还实现语料构建模型的训练步骤，计算机程序在被处理器执行实现该语料构建模型的训练步骤时，具体实现以下步骤：从***日志中提取问答文本数据，从问答文本数据中划分出训练样本集，训练样本集包括多个第一问答文本数据；将多个第一问答文本数据进行文本向量化操作，得到第一问答文本向量；构建对抗网络，对抗网络包括生成器模型和判别器模型；生成器模型用于根据第一问答文本向量生成第一问题文本向量以及第一问答文本向量对应的第一答案文本向量；判别器模型用于对第一问答文本以及第一答案文本向量的真实性进行判别；进行基于生成对抗网络的训练，得到语料构建模型。
在其中一个实施例中，计算机程序在被处理器执行实现上述的进行基于生成对抗网络的训练，得到语料构建模型的步骤时，具体实现以下步骤：获取默认真实样本集，默认真实样本集包括默认真实问题文本和默认真实问题文本对应的默认真实答案文本；将默认真实问题文本和默认真实答案文本进行文本向量化操作，得到第二问题文本向量和第二问题文本向量对应的第二答案文本向量；通过第一问题文本向量、第一答案文本向量、第二问题文本向量以及第二答案文本向量训练对抗网络，判别器模型用于输出第一概率和第二概率，第一概率为判定输入样本来自于第一问题文本向量以及第一答案文本向量的概率，第二概率为判定输入样本来自于第二问题文本向量以及第二答案文本向量的概率，对抗网络的目标函数用于对对抗网络的网络参数进行优化，以使得最小化第一概率的目标函数与最大化第二概率的目标函数互相博弈达到平衡；根据训练完成的对抗网络，得到语料构建模型。
在其中一个实施例中，计算机程序在被处理器执行实现上述的根据训练完成的对抗网络，得到语料构建模型的步骤时，具体实现以下步骤：从问答文本数据中划分出测试样本集，测试样本集包括多个第二问答文本数据；将多个第二问答文本数据进行文本向量化，得到第二问答文本向量；用第二问答文本向量对训练完成的对抗网络进行测试，获得测试结果；若测试结果满足测试条件，将训练完成的对抗网络作为语料构建模型。
上述的生成器模型包括问题生成器模型和答案生成器模型；问题生成器模型用于根据第一问答文本向量生成第一问题文本向量，答案生成器模型用于根据第一问答文本向量生成第一答案文本向量。
在其中一个实施例中，上述的问题生成器模型采用带注意力机制的编码-解码模型，该带注意力机制的编码-解码模型的编码层和解码层采用GRU模型，上述的答案生成器模型采用LSTM模型和对话生成模型。
在其中一个实施例中，计算机程序在被处理器执行实现上述的从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据的步骤时，具体实现以下步骤：从待构建语料的智能助理对应的电力运营管理***的***日志中提取初始语料数据和/或用户行为数据，用户行为数据包括用户点击行为数据、用户搜索行为数据和/或用户对话数据；根据初始语料数据、用户点击行为数据、用户搜索行为数据和/或用户对话数据，得到当前问答文本数据。
在其中一个实施例中，计算机程序在被处理器执行实现该语料构建模型的训练步骤时，具体还实现以下步骤：获取问答文本数据的生成时间信息，根据生成时间信息将问答文本数据划分为训练样本集和测试样本集。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种智能助理的语料构建方法，所述方法包括：
从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；
对所述当前问答文本数据进行文本向量化操作，得到当前问答文本向量；
将所述当前问答文本向量输入到语料构建模型，所述语料构建模型根据从所述***日志中提取的问答文本数据训练得到；
根据所述语料构建模型的输出结果获得问题文本和答案文本，将得到的所述问题文本和所述答案文本关联，关联后的所述问题文本和所述答案文本作为智能助理的问答语料数据。
2.根据权利要求1所述的方法，其特征在于，所述语料构建模型的训练过程包括：
从所述***日志中提取问答文本数据，从所述问答文本数据中划分出训练样本集，所述训练样本集包括多个第一问答文本数据；
将所述多个第一问答文本数据进行文本向量化操作，得到第一问答文本向量；
构建对抗网络，所述对抗网络包括生成器模型和所述判别器模型；所述生成器模型用于根据所述第一问答文本向量生成第一问题文本向量以及所述第一问答文本向量对应的第一答案文本向量；所述判别器模型用于对所述第一问答文本以及所述第一答案文本向量的真实性进行判别；
进行基于生成对抗网络的训练，得到所述语料构建模型。
3.根据权利要求2所述的方法，其特征在于，所述进行基于生成对抗网络的训练，得到语料构建模型，包括：
获取默认真实样本集，所述默认真实样本集包括默认真实问题文本和所述默认真实问题文本对应的默认真实答案文本；
将所述默认真实问题文本和所述默认真实答案文本进行文本向量化操作，得到第二问题文本向量和所述第二问题文本向量对应的第二答案文本向量；
通过所述第一问题文本向量、所述第一答案文本向量、所述第二问题文本向量以及所述第二答案文本向量训练所述对抗网络，所述判别器模型用于输出第一概率和第二概率，所述第一概率为判定输入样本来自于所述第一问题文本向量以及所述第一答案文本向量的概率，所述第二概率为判定输入样本来自于所述第二问题文本向量以及第二答案文本向量的概率，所述对抗网络的目标函数用于对所述对抗网络的网络参数进行优化，以使得最小化所述第一概率的目标函数与最大化所述第二概率的目标函数互相博弈达到平衡；
根据训练完成的对抗网络，得到语料构建模型。
4.根据权利要3所述的方法，其特征在于，根据训练完成的对抗网络，得到语料构建模型，包括：
从所述问答文本数据中划分出测试样本集，所述测试样本集包括多个第二问答文本数据；
将所述多个第二问答文本数据进行文本向量化，得到第二问答文本向量；
用所述第二问答文本向量对所述训练完成的对抗网络进行测试，获得测试结果；
若所述测试结果满足测试条件，将所述训练完成的对抗网络作为所述语料构建模型。
5.根据权利要求2至4任意一项所述的方法，所述生成器模型包括问题生成器模型和答案生成器模型；所述问题生成器模型用于根据所述第一问答文本向量生成第一问题文本向量，所述答案生成器模型用于根据所述第一问答文本向量生成第一答案文本向量；
优选地，所述问题生成器模型采用带注意力机制的编码-解码模型，所述带注意力机制的编码-解码模型的编码层和解码层采用GRU模型，所述答案生成器模型采用LSTM模型和对话生成模型。
6.根据权利要求5所述的方法，其特征在于，所述从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据，包括：
从所述***日志中提取初始语料数据和/或用户行为数据；
根据所述初始语料数据、所述用户点击行为数据、所述用户搜索行为数据和/或所述用户对话数据，得到所述当前问答文本数据。
7.根据权利要求2至4任意一项所述的方法，其特征在于，所述语料构建模型的训练过程还包括：
获取问答文本数据的生成时间信息，根据所述生成时间信息将所述问答文本数据划分为所述训练样本集和测试样本集。
8.一种智能助理的语料构建装置，其特征在于，所述装置包括：
数据获取模块，用于从待构建语料的智能助理对应的电力运营管理***的***日志中提取当前问答文本数据；
向量化操作模块，用于对所述当前问答文本数据进行文本向量化操作，得到当前问答文本向量；
输入模块，用于将所述当前问答文本向量输入到语料构建模型，所述语料构建模型根据从所述***日志中提取的问答文本数据训练得到；
语料构建模块，用于根据所述语料构建模型的输出结果获得问题文本和答案文本，将得到的所述问题文本和所述答案文本关联，关联后的所述问题文本和所述答案文本作为智能助理的问答语料数据。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911158765.7A 2019-11-22 2019-11-22 智能助理的语料构建方法、装置、计算机设备和存储介质 Pending CN110955765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158765.7A CN110955765A (zh) 2019-11-22 2019-11-22 智能助理的语料构建方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158765.7A CN110955765A (zh) 2019-11-22 2019-11-22 智能助理的语料构建方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110955765A true CN110955765A (zh) 2020-04-03

Family

ID=69978284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158765.7A Pending CN110955765A (zh) 2019-11-22 2019-11-22 智能助理的语料构建方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110955765A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985238A (zh) * 2020-06-30 2020-11-24 联想(北京)有限公司 一种答案生成方法及设备
CN113408305A (zh) * 2021-06-30 2021-09-17 北京百度网讯科技有限公司 模型的训练方法、装置、设备和存储介质
CN117195915A (zh) * 2023-11-06 2023-12-08 深圳市腾讯计算机***有限公司 会话内容的信息提取方法、装置、计算机设备及存储介质
CN111985238B (zh) * 2020-06-30 2024-07-26 联想(北京)有限公司 一种答案生成方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180242A1 (en) * 2014-12-17 2016-06-23 International Business Machines Corporation Expanding Training Questions through Contextualizing Feature Search
US20170242915A1 (en) * 2014-08-21 2017-08-24 National Institute Of Information And Communications Technology Question sentence generating device and computer program
CN109614471A (zh) * 2018-12-07 2019-04-12 北京大学 一种基于生成式对抗网络的开放式问题自动生成方法
CN110196899A (zh) * 2019-06-11 2019-09-03 中央民族大学 一种低资源语言问答语料库生成方法
CN110390006A (zh) * 2019-07-23 2019-10-29 腾讯科技（深圳）有限公司 问答语料生成方法、装置和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170242915A1 (en) * 2014-08-21 2017-08-24 National Institute Of Information And Communications Technology Question sentence generating device and computer program
US20160180242A1 (en) * 2014-12-17 2016-06-23 International Business Machines Corporation Expanding Training Questions through Contextualizing Feature Search
CN109614471A (zh) * 2018-12-07 2019-04-12 北京大学 一种基于生成式对抗网络的开放式问题自动生成方法
CN110196899A (zh) * 2019-06-11 2019-09-03 中央民族大学 一种低资源语言问答语料库生成方法
CN110390006A (zh) * 2019-07-23 2019-10-29 腾讯科技（深圳）有限公司 问答语料生成方法、装置和计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985238A (zh) * 2020-06-30 2020-11-24 联想(北京)有限公司 一种答案生成方法及设备
CN111985238B (zh) * 2020-06-30 2024-07-26 联想(北京)有限公司 一种答案生成方法及设备
CN113408305A (zh) * 2021-06-30 2021-09-17 北京百度网讯科技有限公司 模型的训练方法、装置、设备和存储介质
CN117195915A (zh) * 2023-11-06 2023-12-08 深圳市腾讯计算机***有限公司 会话内容的信息提取方法、装置、计算机设备及存储介质
CN117195915B (zh) * 2023-11-06 2024-02-23 深圳市腾讯计算机***有限公司 会话内容的信息提取方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN111368565B (zh) 文本翻译方法、装置、存储介质和计算机设备
CN108319599B (zh) 一种人机对话的方法和装置
CN111061847A (zh) 对话生成及语料扩充方法、装置、计算机设备和存储介质
CN108595436B (zh) 情感对话内容的生成方法和***、存储介质
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN109923558A (zh) 混合专家神经网络
CN106875940B (zh) 一种基于神经网络的机器自学习构建知识图谱训练方法
CN107704482A (zh) 方法、装置以及程序
CN109523014B (zh) 基于生成式对抗网络模型的新闻评论自动生成方法及***
CN111078847A (zh) 电力用户意图识别方法、装置、计算机设备和存储介质
CN112131888B (zh) 分析语义情感的方法、装置、设备及存储介质
CN108959388B (zh) 信息生成方法及装置
CN110069611B (zh) 一种主题增强的聊天机器人回复生成方法及装置
CN112000788B (zh) 一种数据处理方法、装置以及计算机可读存储介质
CN112084769B (zh) 依存句法模型优化方法、装置、设备及可读存储介质
CN113704419A (zh) 对话处理方法及装置
CN111444399A (zh) 回复内容的生成方法、装置、设备及可读存储介质
WO2023231513A1 (zh) 对话内容的生成方法及装置、存储介质、终端
CN111046157B (zh) 一种基于平衡分布的通用英文人机对话生成方法和***
CN110955765A (zh) 智能助理的语料构建方法、装置、计算机设备和存储介质
CN114048301B (zh) 一种基于满意度的用户模拟方法及***
CN117350304B (zh) 一种多轮对话上下文向量增强方法及***
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
CN111797220A (zh) 对话生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200403

WD01 Invention patent application deemed withdrawn after publication