CN107526725A - 基于人工智能的用于生成文本的方法和装置 - Google Patents
基于人工智能的用于生成文本的方法和装置 Download PDFInfo
- Publication number
- CN107526725A CN107526725A CN201710787262.0A CN201710787262A CN107526725A CN 107526725 A CN107526725 A CN 107526725A CN 201710787262 A CN201710787262 A CN 201710787262A CN 107526725 A CN107526725 A CN 107526725A
- Authority
- CN
- China
- Prior art keywords
- identification information
- text
- sequence
- word
- information sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例公开了基于人工智能的用于生成文本的方法和装置。该方法的一具体实施方式包括：获取待扩展文本；切分待扩展文本，得到待扩展文本的词序列；根据预先存储的词与标识信息的对应关系，确定与词序列对应的标识信息序列；将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列；根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本。该实施方式提高了文本生成的多样性。
Description
技术领域
本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及基于人工智能的用于生成文本的方法和装置。
背景技术
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。
目前，对文本进行扩展时，主要基于预先建立的离线数据库实现，即将待扩展文本中的词替换为离线数据库中与其语义相近的词，以生成扩展后的文本。
然而，目前采用的文本生成方法，由于离线数据库维护成本较高，且数据有限，所以文本生成结果较为局限。影响了了文本生成的多样性。
发明内容
本申请实施例的目的在于提出一种改进的基于人工智能的用于生成文本的方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种基于人工智能的用于生成文本的方法，该方法包括：获取待扩展文本；切分待扩展文本，得到待扩展文本的词序列；根据预先存储的词与标识信息的对应关系，确定与词序列对应的标识信息序列；将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，其中，文本扩展模型用于表征待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的对应关系；根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本。
在一些实施例中，文本扩展模型包括编码模型和解码模型，编码模型用于表征标识信息序列与编码信息序列之间的对应关系，解码模型用于表征预先设置的起始词的标识信息、编码信息序列二者与标识信息序列之间的对应关系；以及将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，包括：将所确定的标识信息序列输入编码模型，生成待扩展文本的编码信息序列；将所生成的编码信息序列和起始词的标识信息输入解码模型，生成扩展后的文本的标识信息序列。
在一些实施例中，将所确定的标识信息序列输入编码模型，生成待扩展文本的编码信息序列，包括：将所确定的标识信息序列中的各个标识信息正序输入用于编码的正向传播循环神经网络，生成第一参考编码信息序列；将所确定的标识信息序列中的各个标识信息倒序输入用于编码的反向传播循环神经网络，生成第二参考编码信息序列；根据第一参考编码信息序列和第二参考编码信息序列，生成待扩展文本序列的编码信息序列。
在一些实施例中，将所生成的编码信息序列和起始词的标识信息输入解码模型，生成扩展后的文本的标识信息序列，包括：基于用于解码的循环神经网络和所生成的编码信息序列，预测起始词的备选后续词序列的标识信息序列；根据所预测的每个标识信息序列包括的标识信息出现的概率，计算该标识信息序列出现的概率；从所预测的各个标识信息序列中按照出现的概率由大到小的顺序选择预定数目个标识信息序列，作为扩展后的文本的标识信息序列。
在一些实施例中，基于用于解码的循环神经网络和所生成的编码信息序列，预测起始词的备选后续词序列的标识信息序列，包括：根据注意力模型确定每次预测时所生成的编码信息序列的权重；根据权重对所生成的编码信息序列进行加权；基于用于解码的循环神经网络和加权后的编码信息序列，预测起始词的备选后续词序列的标识信息序列。
在一些实施例中，文本扩展模型是经由以下步骤训练的：将搜索引擎的点击日志中，与同一个点击链接对应的查询语句两两组成样本组；切分各个样本组包括的查询语句，得到切分出的各个词；从切分出的各个词中按照出现次数由大到小的顺序选择预设数目个词；为所选择的各个词分配标识信息，并存储词与标识信息的对应关系；根据词与标识信息的对应关系，确定与每个样本组包括的查询语句对应的标识信息序列；将与每个样本组包括的两个查询语句对应的标识信息序列，分别作为输入与输出，训练得到文本扩展模型。
在一些实施例中，待扩展文本是根据终端输入的查询信息生成的；以及根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本之后，方法还包括：基于所生成的文本进行搜索操作，得到搜索结果信息；向终端推送搜索结果信息。
第二方面，本申请提供了一种基于人工智能的用于生成文本的装置，该装置包括：获取单元，用于获取待扩展文本；切分单元，用于切分待扩展文本，得到待扩展文本的词序列；确定单元，用于根据预先存储的词与标识信息的对应关系，确定与词序列对应的标识信息序列；第一生成单元，用于将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，其中，文本扩展模型用于表征待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的对应关系；第二生成单元，用于根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本。
在一些实施例中，文本扩展模型包括编码模型和解码模型，编码模型用于表征标识信息序列与编码信息序列之间的对应关系，解码模型用于表征预先设置的起始词的标识信息、编码信息序列二者与标识信息序列之间的对应关系；以及第一生成单元，包括：编码子单元，用于将所确定的标识信息序列输入编码模型，生成待扩展文本的编码信息序列；解码子单元，用于将所生成的编码信息序列和起始词的标识信息输入解码模型，生成扩展后的文本的标识信息序列。
在一些实施例中，编码子单元，进一步配置用于：将所确定的标识信息序列中的各个标识信息正序输入用于编码的正向传播循环神经网络，生成第一参考编码信息序列；将所确定的标识信息序列中的各个标识信息倒序输入用于编码的反向传播循环神经网络，生成第二参考编码信息序列；根据第一参考编码信息序列和第二参考编码信息序列，生成待扩展文本序列的编码信息序列。
在一些实施例中，解码子单元进一步配置用于：基于用于解码的循环神经网络和所生成的编码信息序列，预测起始词的备选后续词序列的标识信息序列；根据所预测的每个标识信息序列包括的标识信息出现的概率，计算该标识信息序列出现的概率；从所预测的各个标识信息序列中按照出现的概率由大到小的顺序选择预定数目个标识信息序列，作为扩展后的文本的标识信息序列。
在一些实施例中，解码子单元进一步配置用于：根据注意力模型确定每次预测时所生成的编码信息序列的权重；根据权重对所生成的编码信息序列进行加权；基于用于解码的循环神经网络和加权后的编码信息序列，预测起始词的备选后续词序列的标识信息序列。
在一些实施例中，装置还包括训练单元，训练单元用于：将搜索引擎的点击日志中，与同一个点击链接对应的查询语句两两组成样本组；切分各个样本组包括的查询语句，得到切分出的各个词；从切分出的各个词中按照出现次数由大到小的顺序选择预设数目个词；为所选择的各个词分配标识信息，并存储词与标识信息的对应关系；根据词与标识信息的对应关系，确定与每个样本组包括的查询语句对应的标识信息序列；将与每个样本组包括的两个查询语句对应的标识信息序列，分别作为输入与输出，训练得到文本扩展模型。
在一些实施例中，待扩展文本是根据终端输入的查询信息生成的；以及装置还包括推送单元，推送单元用于：基于所生成的文本进行搜索操作，得到搜索结果信息；向终端推送搜索结果信息。
第三方面，本申请提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面所述的方法。
本申请实施例提供的基于人工智能的用于生成文本的方法和装置，通过获取待扩展文本，并切分待扩展文本，得到待扩展文本的词序列，而后将与词序列对应的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，最后，根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本，提高了文本生成的多样性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的基于人工智能的用于生成文本的方法的一个实施例的示意性流程图；
图3是根据本申请的基于人工智能的用于生成文本的方法的应用场景的示意图；
图4是根据本申请的基于人工智能的用于生成文本的方法的又一个实施例的示意性流程图；
图5是根据本申请的基于人工智能的用于生成文本的装置的一个实施例的示例性结构图；
图6是适于用来实现本申请实施例的服务器的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的基于人工智能的用于生成文本的方法或基于人工智能的用于生成文本的装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端设备101、102、103通过网络104与服务器105、106交互，以接收或发送数据等。终端设备101、102、103上可以安装有各种应用，例如网页浏览器应用、搜索引擎类应用、地图类应用、支付类应用、社交类应用、购物类应用、即时通信工具、手机助手类应用等。
终端设备101、102、103可以是具有显示屏并且支持搜索功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105、106可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析处理，并将处理结果反馈给终端设备，例如，可以根据终端发送来的待扩展文本，生成扩展后的文本。
需要说明的是，本申请实施例所提供的基于人工智能的用于生成文本的方法可以由服务器105、106执行，相应地，基于人工智能的用于生成文本的装置可以设置于服务器105、106中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于人工智能的用于生成文本的方法的一个实施例的流程200。该基于人工智能的用于生成文本的方法，包括以下步骤：
步骤201，获取待扩展文本。
在本实施例中，基于人工智能的用于生成文本的方法运行于其上的电子设备(例如图1所示的服务器)，可以从本地或者从其他电子设备上获取待扩展文本。待扩展文本可以是上述电子设备可获取到的具有分析价值的文本，例如，待扩展文本可以是预先存储在本地的用户历史输入的查询信息(query)，也可以是用户通过终端实时发送的查询请求中包括的查询信息，以及其他用户输入的文本。
步骤202，切分待扩展文本，得到待扩展文本的词序列。
在本实施例中，上述电子设备可以切分步骤201中获取的待扩展文本，得到待扩展文本的词序列。切分待扩展文本可以是对待扩展文本进行切词/分词操作，可以通过全切分方法等进行处理，把待扩展文本分割成词，得到待扩展文本的词序列。例如，“孕妇吃什么海产品补锌”可以切分为“孕妇，吃，什么，海产品，补，锌”。
步骤203，根据预先存储的词与标识信息的对应关系，确定与词序列对应的标识信息序列。
在本实施例中，上述电子设备可以根据预先存储的词与标识信息的对应关系，确定与步骤202中得到的词序列对应的标识信息序列。标识信息可以是词的另一种表示方式，可以由字母和/或数字组成，例如，标识信息可以是词在预先设置的词典中的序号，对于词典中不存在的词可以用统一的标识信息，如“UNKOWN”，表示。预先设置的词典可以是对语料进行切词处理后，统计得到的词出现的频率，将出现频率高的词进行存储得到的。
步骤204，将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列。
在本实施例中，上述电子设备可以将步骤203中所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列。文本扩展模型可以用于表征待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的对应关系。
作为示例，文本扩展模型可以包括一个或多个神经网络模型，神经网络模型可以使用循环神经网络模型(RNN，Recurrent Neural Network)，循环神经网络模型网络结构中的隐节点之间连接形成环状，其不仅会学习当前时刻的信息，也会依赖之前的序列信息。由于其特殊的网络模型结构解决了信息保存的问题。所以RNN对处理时间序列和语言文本序列问题有独特的优势。进一步的，也可以使用RNN的变体长短期记忆网络(LSTM，Long ShortTerm Memory networks)、门控递归单元(GRU，Gated Recurrent Unit)中的一个或多个组成文本扩展模型。文本扩展模型也可以是技术人员基于对大量数据的统计而预先设置并存储至上述电子设备中的、对待扩展文本的标识信息序列中的一个或多个标识信息进行运算以得到扩展后的文本的标识信息序列的运算公式。
在本实施例的一些可选实现方式中，文本扩展模型包括编码模型和解码模型，编码模型用于表征标识信息序列与编码信息序列之间的对应关系，解码模型用于表征预先设置的起始词的标识信息、编码信息序列二者与标识信息序列之间的对应关系；以及将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，包括：将所确定的标识信息序列输入编码模型，生成待扩展文本的编码信息序列；将所生成的编码信息序列和起始词的标识信息输入解码模型，生成扩展后的文本的标识信息序列。
在本实现方式中，编码，可以是将输入序列转化成一个固定长度的向量；解码，可以是将之前生成的固定向量再转化成输出序列。编码-存储-解码模仿了大脑读入-记忆-输出的过程。除“编码-解码”机制外，还可以使用注意力(attention)模型完成待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的映射，注意力模型不要求编码器将所有输入信息都编码进一个固定长度的向量之中。这样，在产生每一个输出的时候，都能够做到充分利用输入序列携带的信息。起始词可以根据实际需要进行设置，例如，可以是“START”。
在本实施例的一些可选实现方式中，文本扩展模型是经由以下步骤训练的：将搜索引擎的点击日志中，与同一个点击链接对应的查询语句两两组成样本组；切分各个样本组包括的查询语句，得到切分出的各个词；从切分出的各个词中按照出现次数由大到小的顺序选择预设数目个词；为所选择的各个词分配标识信息，并存储词与标识信息的对应关系；根据词与标识信息的对应关系，确定与每个样本组包括的查询语句对应的标识信息序列；将与每个样本组包括的两个查询语句对应的标识信息序列，分别作为输入与输出，训练得到文本扩展模型。
在本实现方式中，模型训练的损失函数可以根据词语出现的概率确定，可以首先随机初始化文本扩展模型，而后使用训练数据按照小批量随机梯度下降法训练该模型，使得经验风险最小化。由于搜索引擎的点击日志内容丰富，同一个点击链接对应的查询语句的之间关系并不单纯为语义相似，这样，生成的扩展后的文本更加丰富，且模型输出结果与查询语句更为贴近，若后续根据扩展后的文本进行搜索，搜索效果更佳。除同一个点击链接对应的查询语句外，训练文本扩展模型的语料也可以是其他用户提交的或机器生成的相关联的文本。
步骤205，根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本。
在本实施例中，上述电子设备可以根据词与标识信息的对应关系，确定与根据步骤204中所生成标识信息序列中各个标识信息对应的词，得到扩展后的文本。
在本实施例的一些可选实现方式中，待扩展文本是根据终端输入的查询信息生成的；以及根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本之后，方法还包括：基于所生成的文本进行搜索操作，得到搜索结果信息；向终端推送搜索结果信息。
在本实现方式中，用户可以通过终端输入语音、图片或文字等形式的查询信息，上述电子设备可以将其转换为文本，并将转换得到的文本作为待扩展文本。向终端推送的搜索结果信息可作为对待扩展文本搜索结果的补充，以此进一步节省了用户获取信息的时间。
本申请的上述实施例提供的方法通过获取待扩展文本，并切分待扩展文本，得到待扩展文本的词序列，而后将与词序列对应的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，最后，根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本，提高了文本生成的多样性。
继续参考图3，其示出了根据本申请的基于人工智能的用于生成文本的方法的应用场景的示意图。在图3的应用场景中，服务器301首先获取到用户通过终端302上传的待扩展文本303“孕妇吃什么海产品补锌”，而后服务器对其进行分词等处理，并将处理后的信息输入至预先训练的文本扩展模型，最终得到了扩展后的文本304，扩展后的文本304包括“孕妇吃海产品能补充什么微量元素”、“孕妇吃什么食物补锌”。
请参考图4，图4是根据本实施例的基于人工智能的用于生成文本的方法的又一个实施例的流程示意图。
在图4中，该基于人工智能的用于生成文本的方法400，包括以下步骤：
步骤401，获取待扩展文本。
在本实施例中，基于人工智能的用于生成文本的方法运行于其上的电子设备(例如图1所示的服务器)，可以从本地或者从其他电子设备上获取待扩展文本。
步骤402，切分待扩展文本，得到待扩展文本的词序列。
在本实施例中，上述电子设备可以切分步骤401中获取的待扩展文本，得到待扩展文本的词序列。
步骤403，根据预先存储的词与标识信息的对应关系，确定与词序列对应的标识信息序列。
在本实施例中，上述电子设备可以根据预先存储的词与标识信息的对应关系，确定与步骤402中得到的词序列对应的标识信息序列。
步骤404，将所确定的标识信息序列中的各个标识信息正序输入用于编码的正向传播循环神经网络，生成第一参考编码信息序列。
在本实施例中，上述电子设备可以将步骤403中确定的标识信息序列中的各个标识信息正序输入用于编码的正向传播循环神经网络，生成第一参考编码信息序列。以循环神经网络为LSTM循环神经网络为例，LSTM包括输入门、遗忘门、输出门，第一参考编码信息序列可以通过下列公式计算得到：
ienc,t＝σ(Wenc,ixenc+Uenc,iht-1+benc,i) (1)
fenc,t＝σ(Wenc,fxenc+Uenc,fht-1+benc,f) (2)
oenc,t＝σ(Wenc,oxenc+Uenc,oht-1+benc,o) (3)
ht＝oenc,t⊙cenc,t-1 (6)
将当前词语xt的信息和前续词语序列的信息ht-1综合建模后，生成当前词语序列的信息ht。
其中，符号⊙表示逐维度相乘，tanh()表示为双曲正切函数，σ表示S型函数(Sigmoid)函数。t表示当前时刻，xenc表示当前时刻编码用神经网络的输入，各个时刻的输入组成了步骤403中确定的标识信息序列。Wenc,i，Wenc,f，Wenc,o，Wenc,c，Uenc,i，Uenc,f，Uenc,o，Uenc,c表示编码用神经网络的权重矩阵，benc,i，benc,f，benc,o，benc,c表示编码用神经网络的偏置项。ienc,t表示当前时刻编码用神经网络输入门的权值，fenc,t表示当前时刻编码用神经网络遗忘门的权值，oenc,t表示当前时刻编码用神经网络输出门的权值。ht表示当前时刻编码用神经网络的输出状态，ht-1表示上一时刻编码用神经网络的输出状态。cenc,t表示编码用神经网络当前时刻的状态信息，cenc,t-1表示上一时刻编码用神经网络的状态信息，表示编码用神经网络中新出现的状态信息。
步骤405，将所确定的标识信息序列中的各个标识信息倒序输入用于编码的反向传播循环神经网络，生成第二参考编码信息序列。
在本实施例中，上述电子设备可以将步骤403中确定的标识信息序列中的各个标识信息倒序输入用于编码的反向传播循环神经网络，生成第二参考编码信息序列。反向传播循环神经网络可以通过梯度下降法多轮的迭代，得到合适的反向传播循环神经网络参数。
步骤406，根据第一参考编码信息序列和第二参考编码信息序列，生成待扩展文本序列的编码信息序列。
在本实施例中，上述电子设备可以根据步骤404中生成的第一参考编码信息序列和步骤405中生成的第二参考编码信息序列，生成待扩展文本序列的编码信息序列。上述电子设备可以通过设置权重矩阵，根据权重矩阵加权第一参考编码信息序列和第二参考编码信息序列，生成待扩展文本序列的编码信息序列。权重矩阵可以预先设置，也可以通过机器学习方法确定。
步骤407，基于用于解码的循环神经网络和所生成的编码信息序列，预测起始词的备选后续词序列的标识信息序列。
在本实施例中，上述电子设备可以基于用于解码的循环神经网络和步骤406中生成的编码信息序列，预测起始词的备选后续词序列的标识信息序列。与编码时不同，解码时序列遍历过程中产出的隐层结果需要预测出对应的目标词汇，该目标词汇会作为下一轮迭代的输入。此外，上述电子设备还可以根据注意力模型确定每次预测时所生成的编码信息序列的权重；根据权重对所生成的编码信息序列进行加权；基于用于解码的循环神经网络和加权后的编码信息序列，预测起始词的备选后续词序列的标识信息序列。对编码端结果按注意力模型进行加权求和，生成了上下文信息。
以循环神经网络为LSTM循环神经网络为例，可以根据以下公式，预测起始词的备选后续词序列的标识信息序列：
idec,t＝σ(Wdec,ixdec+Udec,ist-1+Aiat+bdec,i) (7)
fdec,t＝σ(Wdec,fxdec+Udec,fst-1+Afat+bdec，f) (8)
odec,t＝σ(Wdec,oxdec+Udec,ost-1+Aoat+bdec,o) (9)
st＝odec,t⊙cdec,t-1 (12)
其中，t表示当前时刻，xdec表示当前时刻解码用神经网络的输入，Wdec,i，Wdec,f，Wdec,o，Wdec,c，Udec,i，Udec,f，Udec,o，Udec,c，Ai，Af，Ao，Ac表示解码用神经网络的权重矩阵。bdec,i，bdec,f，bdec,o，bdec,c表示解码用神经网络的偏置项。idec,t表示当前时刻解码用神经网络输入门的权值，fdec,t表示当前时刻解码用神经网络遗忘门的权值，odec,t表示当前时刻解码用神经网络输出门的权值。cdec,t表示解码用神经网络当前时刻的状态信息，cdec,t-1表示上一时刻解码用神经网络的状态信息，表示解码用神经网络中新出现的状态信息。St表示当前时刻解码用神经网络的输出状态，St-1表示上一时刻解码用神经网络的输出状态。at表示注意力分配值。
at可以根据以下方式计算：
vit＝Vatanh(Wachi+Uast-1) (13)
其中，i＝1,2,3...，j＝1,2,3...表示待扩展文本序列的编码信息序列中各个编码信息对应的时刻。exp()表示以自然常数e为底的指数函数。Va，Wa，Ua表示权重矩阵。vit、vjt是为了确定与当前时刻用于解码的循环神经网络的输出应该对齐的输入的中间值。wit表示在当前时刻，待扩展文本序列的编码信息序列中i时刻的编码信息的权重。chi表示待扩展文本序列的编码信息序列中i时刻的编码信息。
步骤408，根据所预测的每个标识信息序列包括的标识信息出现的概率，计算该标识信息序列出现的概率。
在本实施例中，上述电子设备可以根据步骤407中预测的每个标识信息序列包括的标识信息出现的概率，计算该标识信息序列出现的概率。可以将St作线性变换投影到词表大小空间，然后通过柔性最大值传输函数(Softmax)操作预测出下一个词语的概率。
步骤409，从所预测的各个标识信息序列中按照出现的概率由大到小的顺序选择预定数目个标识信息序列，作为扩展后的文本的标识信息序列。
在本实施例中，上述电子设备可以从所预测的各个标识信息序列中按照步骤408中计算的出现的概率由大到小的顺序选择预定数目个标识信息序列，作为扩展后的文本的标识信息序列。预定数目可以根据实际需要进行设置。
可选的，上述电子设备也可以结合集束搜索(Beam Search)算法，生成概率最大的前预定数目个标识信息序列。作为示例，可以首先，给定序列起始词汇START作为时刻0的输入，然后经过解码端运算生成下一个词语的概率分布。我们从该分布中选出概率最大的预定数目个词语，然后分别以这预定数目个词语作为解码序列中的下一个词语，并作为时刻1的输入。接着，在预定数目个分支中每个分支产生的预定数目个分布中选出与前续序列概率乘积最大预定数目个词语作为时刻2的输入的候选，重复上述操作。若集束搜索产出序列终止词汇“END”，则集束搜索宽度减一，并继续搜索，直到集束的宽度变为0或达到最大序列生成长度为止。由此，即可得到预定数目个标识信息序列作为扩展后的文本的标识信息序列。
步骤410，根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本。
在本实施例中，上述电子设备可以根据词与标识信息的对应关系，确定与根据步骤409中得到的标识信息序列中各个标识信息对应的词，得到扩展后的文本。
步骤401、步骤402、步骤403、步骤410的实现细节和技术效果可以参考步骤201、步骤202、步骤203、步骤205中的说明，在此不再赘述。
从图4中可以看出，与图2对应的实施例相比，本申请的上述实施例提供的方法基于正向传播循环神经网络、反向传播循环神经网络的输出进行编码，而后通过循环神经网络进行解码，使得由循环神经网络组成的文本扩展模型表义更加丰富和准确。
进一步参考图5，作为对上述方法的实现，本申请提供了一种基于人工智能的用于生成文本的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的基于人工智能的用于生成文本的装置500包括：获取单元510、切分单元520、确定单元530、第一生成单元540、第二生成单元550，其中，获取单元510，用于获取待扩展文本；切分单元520，用于切分待扩展文本，得到待扩展文本的词序列；确定单元530，用于根据预先存储的词与标识信息的对应关系，确定与词序列对应的标识信息序列；第一生成单元540，用于将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，其中，文本扩展模型用于表征待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的对应关系；第二生成单元550，用于根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本。
在本实施例中，获取单元510、切分单元520、确定单元530、第一生成单元540、第二生成单元550的具体处理可以参考图2对应实施例步骤201、步骤202、步骤203、步骤204、步骤205的详细描述，在此不再赘述。
在本实施例的一些可选实现方式中，文本扩展模型包括编码模型和解码模型，编码模型用于表征标识信息序列与编码信息序列之间的对应关系，解码模型用于表征预先设置的起始词的标识信息、编码信息序列二者与标识信息序列之间的对应关系；以及第一生成单元50，包括：编码子单元541，用于将所确定的标识信息序列输入编码模型，生成待扩展文本的编码信息序列；解码子单元542，用于将所生成的编码信息序列和起始词的标识信息输入解码模型，生成扩展后的文本的标识信息序列。
在本实施例的一些可选实现方式中，编码子单元541，进一步配置用于：将所确定的标识信息序列中的各个标识信息正序输入用于编码的正向传播循环神经网络，生成第一参考编码信息序列；将所确定的标识信息序列中的各个标识信息倒序输入用于编码的反向传播循环神经网络，生成第二参考编码信息序列；根据第一参考编码信息序列和第二参考编码信息序列，生成待扩展文本序列的编码信息序列。
在本实施例的一些可选实现方式中，解码子单元541进一步配置用于：基于用于解码的循环神经网络和所生成的编码信息序列，预测起始词的备选后续词序列的标识信息序列；根据所预测的每个标识信息序列包括的标识信息出现的概率，计算该标识信息序列出现的概率；从所预测的各个标识信息序列中按照出现的概率由大到小的顺序选择预定数目个标识信息序列，作为扩展后的文本的标识信息序列。
在本实施例的一些可选实现方式中，解码子单元542进一步配置用于：根据注意力模型确定每次预测时所生成的编码信息序列的权重；根据权重对所生成的编码信息序列进行加权；基于用于解码的循环神经网络和加权后的编码信息序列，预测起始词的备选后续词序列的标识信息序列。
在本实施例的一些可选实现方式中，装置还包括训练单元560，训练单元560用于：将搜索引擎的点击日志中，与同一个点击链接对应的查询语句两两组成样本组；切分各个样本组包括的查询语句，得到切分出的各个词；从切分出的各个词中按照出现次数由大到小的顺序选择预设数目个词；为所选择的各个词分配标识信息，并存储词与标识信息的对应关系；根据词与标识信息的对应关系，确定与每个样本组包括的查询语句对应的标识信息序列；将与每个样本组包括的两个查询语句对应的标识信息序列，分别作为输入与输出，训练得到文本扩展模型。
在本实施例的一些可选实现方式中，待扩展文本是根据终端输入的查询信息生成的；以及装置还包括推送单元570，推送单元570用于：基于所生成的文本进行搜索操作，得到搜索结果信息；向终端推送搜索结果信息。
从图5中可以看出，本实施例中基于人工智能的用于生成文本的装置500通过获取预定时间段内到访过目标区域的目标用户信息；提取目标用户信息中包括的标识信息；获取用户信息数据库中符合标识信息的常驻地信息，其中，用户信息数据库包括标识信息和标识信息对应的常驻地信息；根据所获取的常驻地信息生成文本，提高了文本生成的多样性。本领域技术人员应理解，上述第一生成单元、第二生成单元仅代表两个不同的获取单元，第一生成单元，用于将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列；第二生成单元，用于根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本，其中，第一、第二并不构成对生成单元的特殊限定。
下面参考图6，其示出了适于用来实现本申请实施例的服务器的计算机***600的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分，该单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、切分单元、确定单元、第一生成单元、第二生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待扩展文本的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取待扩展文本；切分待扩展文本，得到待扩展文本的词序列；根据预先存储的词与标识信息的对应关系，确定与词序列对应的标识信息序列；将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，其中，文本扩展模型用于表征待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的对应关系；根据所生成的标识信息序列和词与标识信息的对应关系，生成扩展后的文本。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (16)
1.一种基于人工智能的用于生成文本的方法，其特征在于，所述方法包括：
获取待扩展文本；
切分所述待扩展文本，得到所述待扩展文本的词序列；
根据预先存储的词与标识信息的对应关系，确定与所述词序列对应的标识信息序列；
将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，其中，所述文本扩展模型用于表征待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的对应关系；
根据所生成的标识信息序列和所述词与标识信息的对应关系，生成扩展后的文本。
2.根据权利要求1所述的方法，其特征在于，所述文本扩展模型包括编码模型和解码模型，所述编码模型用于表征标识信息序列与编码信息序列之间的对应关系，所述解码模型用于表征预先设置的起始词的标识信息、编码信息序列二者与标识信息序列之间的对应关系；以及
所述将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，包括：
将所确定的标识信息序列输入所述编码模型，生成所述待扩展文本的编码信息序列；
将所生成的编码信息序列和所述起始词的标识信息输入所述解码模型，生成扩展后的文本的标识信息序列。
3.根据权利要求2所述的方法，其特征在于，所述将所确定的标识信息序列输入所述编码模型，生成所述待扩展文本的编码信息序列，包括：
将所确定的标识信息序列中的各个标识信息正序输入用于编码的正向传播循环神经网络，生成第一参考编码信息序列；
将所确定的标识信息序列中的各个标识信息倒序输入用于编码的反向传播循环神经网络，生成第二参考编码信息序列；
根据所述第一参考编码信息序列和所述第二参考编码信息序列，生成所述待扩展文本序列的编码信息序列。
4.根据权利要求2所述的方法，其特征在于，所述将所生成的编码信息序列和所述起始词的标识信息输入所述解码模型，生成扩展后的文本的标识信息序列，包括：
基于用于解码的循环神经网络和所生成的编码信息序列，预测所述起始词的备选后续词序列的标识信息序列；
根据所预测的每个标识信息序列包括的标识信息出现的概率，计算该标识信息序列出现的概率；
从所预测的各个标识信息序列中按照出现的概率由大到小的顺序选择预定数目个标识信息序列，作为扩展后的文本的标识信息序列。
5.根据权利要求4所述的方法，其特征在于，所述基于用于解码的循环神经网络和所生成的编码信息序列，预测所述起始词的备选后续词序列的标识信息序列，包括：
根据注意力模型确定每次预测时所生成的编码信息序列的权重；
根据所述权重对所生成的编码信息序列进行加权；
基于用于解码的循环神经网络和加权后的编码信息序列，预测所述起始词的备选后续词序列的标识信息序列。
6.根据权利要求1所述的方法，其特征在于，所述文本扩展模型是经由以下步骤训练的：
将搜索引擎的点击日志中，与同一个点击链接对应的查询语句两两组成样本组；
切分各个样本组包括的查询语句，得到切分出的各个词；
从所述切分出的各个词中按照出现次数由大到小的顺序选择预设数目个词；
为所选择的各个词分配标识信息，并存储词与标识信息的对应关系；
根据所述词与标识信息的对应关系，确定与每个样本组包括的查询语句对应的标识信息序列；
将与每个样本组包括的两个查询语句对应的标识信息序列，分别作为输入与输出，训练得到所述文本扩展模型。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述待扩展文本是根据终端输入的查询信息生成的；以及
所述根据所生成的标识信息序列和所述词与标识信息的对应关系，生成扩展后的文本之后，所述方法还包括：
基于所生成的文本进行搜索操作，得到搜索结果信息；
向所述终端推送所述搜索结果信息。
8.一种基于人工智能的用于生成文本的装置，其特征在于，所述装置包括：
获取单元，用于获取待扩展文本；
切分单元，用于切分所述待扩展文本，得到所述待扩展文本的词序列；
确定单元，用于根据预先存储的词与标识信息的对应关系，确定与所述词序列对应的标识信息序列；
第一生成单元，用于将所确定的标识信息序列输入预先训练的文本扩展模型，生成扩展后的文本的标识信息序列，其中，所述文本扩展模型用于表征待扩展文本的标识信息序列与扩展后的文本的标识信息序列之间的对应关系；
第二生成单元，用于根据所生成的标识信息序列和所述词与标识信息的对应关系，生成扩展后的文本。
9.根据权利要求8所述的装置，其特征在于，所述文本扩展模型包括编码模型和解码模型，所述编码模型用于表征标识信息序列与编码信息序列之间的对应关系，所述解码模型用于表征预先设置的起始词的标识信息、编码信息序列二者与标识信息序列之间的对应关系；以及
所述第一生成单元，包括：
编码子单元，用于将所确定的标识信息序列输入所述编码模型，生成所述待扩展文本的编码信息序列；
解码子单元，用于将所生成的编码信息序列和所述起始词的标识信息输入所述解码模型，生成扩展后的文本的标识信息序列。
10.根据权利要求9所述的装置，其特征在于，所述编码子单元，进一步配置用于：
将所确定的标识信息序列中的各个标识信息正序输入用于编码的正向传播循环神经网络，生成第一参考编码信息序列；
将所确定的标识信息序列中的各个标识信息倒序输入用于编码的反向传播循环神经网络，生成第二参考编码信息序列；
根据所述第一参考编码信息序列和所述第二参考编码信息序列，生成所述待扩展文本序列的编码信息序列。
11.根据权利要求9所述的装置，其特征在于，所述解码子单元进一步配置用于：
基于用于解码的循环神经网络和所生成的编码信息序列，预测所述起始词的备选后续词序列的标识信息序列；
根据所预测的每个标识信息序列包括的标识信息出现的概率，计算该标识信息序列出现的概率；
从所预测的各个标识信息序列中按照出现的概率由大到小的顺序选择预定数目个标识信息序列，作为扩展后的文本的标识信息序列。
12.根据权利要求11所述的装置，其特征在于，所述解码子单元进一步配置用于：
根据注意力模型确定每次预测时所生成的编码信息序列的权重；
根据所述权重对所生成的编码信息序列进行加权；
基于用于解码的循环神经网络和加权后的编码信息序列，预测所述起始词的备选后续词序列的标识信息序列。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括训练单元，所述训练单元用于：
将搜索引擎的点击日志中，与同一个点击链接对应的查询语句两两组成样本组；
切分各个样本组包括的查询语句，得到切分出的各个词；
从所述切分出的各个词中按照出现次数由大到小的顺序选择预设数目个词；
为所选择的各个词分配标识信息，并存储词与标识信息的对应关系；
根据所述词与标识信息的对应关系，确定与每个样本组包括的查询语句对应的标识信息序列；
将与每个样本组包括的两个查询语句对应的标识信息序列，分别作为输入与输出，训练得到所述文本扩展模型。
14.根据权利要求8-13中任一项所述的装置，其特征在于，所述待扩展文本是根据终端输入的查询信息生成的；以及
所述装置还包括推送单元，所述推送单元用于：
基于所生成的文本进行搜索操作，得到搜索结果信息；
向所述终端推送所述搜索结果信息。
15.一种设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710787262.0A CN107526725B (zh) | 2017-09-04 | 2017-09-04 | 基于人工智能的用于生成文本的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710787262.0A CN107526725B (zh) | 2017-09-04 | 2017-09-04 | 基于人工智能的用于生成文本的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107526725A true CN107526725A (zh) | 2017-12-29 |
| CN107526725B CN107526725B (zh) | 2021-08-24 |
Family
ID=60683533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710787262.0A Active CN107526725B (zh) | 2017-09-04 | 2017-09-04 | 基于人工智能的用于生成文本的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107526725B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509413A (zh) * | 2018-03-08 | 2018-09-07 | 平安科技（深圳）有限公司 | 文摘自动提取方法、装置、计算机设备及存储介质 |
| CN108932326A (zh) * | 2018-06-29 | 2018-12-04 | 北京百度网讯科技有限公司 | 一种实例扩展方法、装置、设备和介质 |
| CN109284367A (zh) * | 2018-11-30 | 2019-01-29 | 北京字节跳动网络技术有限公司 | 用于处理文本的方法和装置 |
| CN109800421A (zh) * | 2018-12-19 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种游戏剧本生成方法及其装置、设备、存储介质 |
| CN109858004A (zh) * | 2019-02-12 | 2019-06-07 | 四川无声信息技术有限公司 | 文本改写方法、装置及电子设备 |
| CN110188204A (zh) * | 2019-06-11 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 一种扩展语料挖掘方法、装置、服务器及存储介质 |
| CN110309407A (zh) * | 2018-03-13 | 2019-10-08 | 优酷网络技术（北京）有限公司 | 观点提取方法及装置 |
| CN110362810A (zh) * | 2018-03-26 | 2019-10-22 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN110362809A (zh) * | 2018-03-26 | 2019-10-22 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN110362808A (zh) * | 2018-03-26 | 2019-10-22 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN110555104A (zh) * | 2018-03-26 | 2019-12-10 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN110851673A (zh) * | 2019-11-12 | 2020-02-28 | 西南科技大学 | 一种改进的集束搜索策略及问答*** |
| CN110852093A (zh) * | 2018-07-26 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 文本信息生成方法、装置、计算机设备及存储介质 |
| CN110874771A (zh) * | 2018-08-29 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 一种商品搭配的方法和装置 |
| CN111209725A (zh) * | 2018-11-19 | 2020-05-29 | 阿里巴巴集团控股有限公司 | 一种文本信息生成方法、装置以及计算设备 |
| CN111783422A (zh) * | 2020-06-24 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种文本序列生成方法、装置、设备和介质 |
| CN111859888A (zh) * | 2020-07-22 | 2020-10-30 | 北京致医健康信息技术有限公司 | 一种诊断辅助方法、装置、电子设备和存储介质 |
| US11069346B2 (en) | 2019-04-22 | 2021-07-20 | International Business Machines Corporation | Intent recognition model creation from randomized intent vector proximities |
| CN113392639A (zh) * | 2020-09-30 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 基于人工智能的标题生成方法、装置及服务器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292693A1 (en) * | 2008-05-26 | 2009-11-26 | International Business Machines Corporation | Text searching method and device and text processor |
| CN106407381A (zh) * | 2016-09-13 | 2017-02-15 | 北京百度网讯科技有限公司 | 一种基于人工智能的推送信息的方法和装置 |
| CN106503255A (zh) * | 2016-11-15 | 2017-03-15 | 科大讯飞股份有限公司 | 基于描述文本自动生成文章的方法及*** |
| CN106919702A (zh) * | 2017-02-14 | 2017-07-04 | 北京时间股份有限公司 | 基于文档的关键词推送方法及装置 |
| CN106980683A (zh) * | 2017-03-30 | 2017-07-25 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
-
2017
- 2017-09-04 CN CN201710787262.0A patent/CN107526725B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292693A1 (en) * | 2008-05-26 | 2009-11-26 | International Business Machines Corporation | Text searching method and device and text processor |
| CN101593179A (zh) * | 2008-05-26 | 2009-12-02 | 国际商业机器公司 | 文档搜索方法和装置及文档处理器 |
| CN106407381A (zh) * | 2016-09-13 | 2017-02-15 | 北京百度网讯科技有限公司 | 一种基于人工智能的推送信息的方法和装置 |
| CN106503255A (zh) * | 2016-11-15 | 2017-03-15 | 科大讯飞股份有限公司 | 基于描述文本自动生成文章的方法及*** |
| CN106919702A (zh) * | 2017-02-14 | 2017-07-04 | 北京时间股份有限公司 | 基于文档的关键词推送方法及装置 |
| CN106980683A (zh) * | 2017-03-30 | 2017-07-25 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020520492A (ja) * | 2018-03-08 | 2020-07-09 | 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． | 文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体 |
| CN108509413A (zh) * | 2018-03-08 | 2018-09-07 | 平安科技（深圳）有限公司 | 文摘自动提取方法、装置、计算机设备及存储介质 |
| CN110309407A (zh) * | 2018-03-13 | 2019-10-08 | 优酷网络技术（北京）有限公司 | 观点提取方法及装置 |
| CN110362810A (zh) * | 2018-03-26 | 2019-10-22 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN110362809A (zh) * | 2018-03-26 | 2019-10-22 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN110362808A (zh) * | 2018-03-26 | 2019-10-22 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN110555104A (zh) * | 2018-03-26 | 2019-12-10 | 优酷网络技术（北京）有限公司 | 文本分析方法及装置 |
| CN108932326A (zh) * | 2018-06-29 | 2018-12-04 | 北京百度网讯科技有限公司 | 一种实例扩展方法、装置、设备和介质 |
| CN108932326B (zh) * | 2018-06-29 | 2021-02-19 | 北京百度网讯科技有限公司 | 一种实例扩展方法、装置、设备和介质 |
| CN110852093A (zh) * | 2018-07-26 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 文本信息生成方法、装置、计算机设备及存储介质 |
| CN110852093B (zh) * | 2018-07-26 | 2023-05-16 | 腾讯科技（深圳）有限公司 | 诗词生成方法、装置、计算机设备及存储介质 |
| CN110874771A (zh) * | 2018-08-29 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 一种商品搭配的方法和装置 |
| CN111209725A (zh) * | 2018-11-19 | 2020-05-29 | 阿里巴巴集团控股有限公司 | 一种文本信息生成方法、装置以及计算设备 |
| CN111209725B (zh) * | 2018-11-19 | 2023-04-25 | 阿里巴巴集团控股有限公司 | 一种文本信息生成方法、装置以及计算设备 |
| CN109284367A (zh) * | 2018-11-30 | 2019-01-29 | 北京字节跳动网络技术有限公司 | 用于处理文本的方法和装置 |
| CN109800421A (zh) * | 2018-12-19 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种游戏剧本生成方法及其装置、设备、存储介质 |
| CN109858004A (zh) * | 2019-02-12 | 2019-06-07 | 四川无声信息技术有限公司 | 文本改写方法、装置及电子设备 |
| CN109858004B (zh) * | 2019-02-12 | 2023-08-01 | 四川无声信息技术有限公司 | 文本改写方法、装置及电子设备 |
| US11521602B2 (en) | 2019-04-22 | 2022-12-06 | International Business Machines Corporation | Intent recognition model creation from randomized intent vector proximities |
| US11069346B2 (en) | 2019-04-22 | 2021-07-20 | International Business Machines Corporation | Intent recognition model creation from randomized intent vector proximities |
| CN110188204A (zh) * | 2019-06-11 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 一种扩展语料挖掘方法、装置、服务器及存储介质 |
| CN110188204B (zh) * | 2019-06-11 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 一种扩展语料挖掘方法、装置、服务器及存储介质 |
| CN110851673A (zh) * | 2019-11-12 | 2020-02-28 | 西南科技大学 | 一种改进的集束搜索策略及问答*** |
| CN111783422B (zh) * | 2020-06-24 | 2022-03-04 | 北京字节跳动网络技术有限公司 | 一种文本序列生成方法、装置、设备和介质 |
| US11669679B2 (en) | 2020-06-24 | 2023-06-06 | Beijing Byledance Network Technology Co., Ltd. | Text sequence generating method and apparatus, device and medium |
| CN111783422A (zh) * | 2020-06-24 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种文本序列生成方法、装置、设备和介质 |
| CN111859888A (zh) * | 2020-07-22 | 2020-10-30 | 北京致医健康信息技术有限公司 | 一种诊断辅助方法、装置、电子设备和存储介质 |
| CN111859888B (zh) * | 2020-07-22 | 2024-04-02 | 北京致医健康信息技术有限公司 | 一种诊断辅助方法、装置、电子设备和存储介质 |
| CN113392639A (zh) * | 2020-09-30 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 基于人工智能的标题生成方法、装置及服务器 |
| CN113392639B (zh) * | 2020-09-30 | 2023-09-26 | 腾讯科技（深圳）有限公司 | 基于人工智能的标题生成方法、装置及服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107526725B (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107526725A (zh) | 基于人工智能的用于生成文本的方法和装置 | |
| CN110796190B (zh) | 具有深度学习特征的指数建模 | |
| CN110083705B (zh) | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 | |
| CN107491547A (zh) | 基于人工智能的搜索方法和装置 | |
| CN107705784B (zh) | 文本正则化模型训练方法和装置、文本正则化方法和装置 | |
| CN107783960A (zh) | 用于抽取信息的方法、装置和设备 | |
| CN107273503A (zh) | 用于生成同语言平行文本的方法和装置 | |
| CN109906460A (zh) | 用于问答的动态协同注意力网络 | |
| CN107577737A (zh) | 用于推送信息的方法和装置 | |
| CN110555714A (zh) | 用于输出信息的方法和装置 | |
| CN110766142A (zh) | 模型生成方法和装置 | |
| CN109885756B (zh) | 基于cnn和rnn的序列化推荐方法 | |
| CN107680580A (zh) | 文本转换模型训练方法和装置、文本转换方法和装置 | |
| CN110348535A (zh) | 一种视觉问答模型训练方法及装置 | |
| CN110162766B (zh) | 词向量更新方法和装置 | |
| CN106682387A (zh) | 用于输出信息的方法和装置 | |
| CN108268629B (zh) | 基于关键词的图像描述方法和装置、设备、介质 | |
| CN107943895A (zh) | 信息推送方法和装置 | |
| US11423307B2 (en) | Taxonomy construction via graph-based cross-domain knowledge transfer | |
| CN107832300A (zh) | 面向微创医疗领域文本摘要生成方法及装置 | |
| CN109710953A (zh) | 一种翻译方法及装置、计算设备、存储介质和芯片 | |
| CN106407381A (zh) | 一种基于人工智能的推送信息的方法和装置 | |
| JP2022169743A (ja) | 情報抽出方法、装置、電子機器及び記憶媒体 | |
| CN111046757A (zh) | 人脸画像生成模型的训练方法、装置及相关设备 | |
| CN113377914A (zh) | 推荐文本生成方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |