CN110187780A - 长文本预测方法、装置、设备和存储介质 - Google Patents

长文本预测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110187780A
CN110187780A CN201910499897.XA CN201910499897A CN110187780A CN 110187780 A CN110187780 A CN 110187780A CN 201910499897 A CN201910499897 A CN 201910499897A CN 110187780 A CN110187780 A CN 110187780A
Authority
CN
China
Prior art keywords
text
input
client
long text
contextual information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910499897.XA
Other languages
English (en)
Other versions
CN110187780B (zh
Inventor
蔡泽华
王轶翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910499897.XA priority Critical patent/CN110187780B/zh
Publication of CN110187780A publication Critical patent/CN110187780A/zh
Application granted granted Critical
Publication of CN110187780B publication Critical patent/CN110187780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提出一种长文本预测方法、装置、设备和存储介质。该方法包括接收来自客户端的长文本预测请求，所述长文本预测请求中包括所述客户端的上下文信息；利用所述上下文信息和长文本预测模型进行预测，得到与所述上下文信息的语义关联的至少一个长文本，所述长文本中包括多个词语；向所述客户端发送至少一个所述长文本。本发明实施例利用训练得到长文本预测模型，根据客户端的上下文信息得到符合输入语境的预测长文本，以提升用户的输入效率。

Description

长文本预测方法、装置、设备和存储介质
技术领域
本发明涉及输入技术领域，尤其涉及一种长文本预测方法、装置、设备和存储介质。
背景技术
很多电子产品例如手机、电脑、智能家电等具有输入功能，可以在应用程序的客户端输入文本。在输入文本时能够给出下一个可能输入的词。例如，利用最近输入的词统计得到下一个高频组合的字或词。再如，通过N-Gram语言模型，根据前序N个词统计得到下一个字或词。
根据传统统计方案得到的词具有局限性，没有全面地考虑到上下文信息，无法直接给用户提供符合语境的短语、整句等选项。
发明内容
本发明实施例提供一种长文本预测方法、装置、设备和存储介质，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种长文本预测方法，包括：
接收来自客户端的长文本预测请求，所述长文本预测请求中包括所述客户端的上下文信息；
利用所述上下文信息和长文本预测模型进行预测，得到与所述上下文信息的语义关联的至少一个长文本，所述长文本中包括多个词语；
向所述客户端发送至少一个所述长文本。
在一种实施方式中，所述利用所述上下文信息和长文本预测模型进行预测，包括：
利用所述上下文信息确定模型输入特征；
将所述模型输入特征输入长文本预测模型进行预测。
在一种实施方式中，所述上下文信息包括所述客户端的输入文本；所述利用所述上下文信息确定模型输入特征，包括以下至少一种：
在所述输入文本包括所述客户端的输入框中的前序文本的情况下，利用所述前序文本得到所述模型输入特征；
在所述输入文本包括输入法的输入区中的当前输入码的情况下，利用所述当前输入码翻译得到的翻译文本得到所述模型输入特征；
在所述输入文本包括所述前序文本和所述当前输入码的情况下，将所述当前输入码获得翻译文本与所述前序文本拼接得到拼接文本，利用所述拼接文本得到所述模型输入特征。
在一种实施方式中，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
在一种实施方式中，所述向所述客户端发送至少一个所述长文本，包括：
对至少一个所述长文本进行过滤，向所述客户端发送过滤后的内容。
第二方面，本发明实施例提供了一种长文本预测方法，包括：
获取客户端的上下文信息；
向服务器发送长文本预测请求，所述长文本预测请求中包括所述上下文信息；
接收来自所述服务器的与所述上下文信息的语义关联的至少一个长文本，所述长文本是所述服务器利用所述上下文信息和长文本预测模型预测得到的。
在一种实施方式中，所述上下文信息包括所述客户端的输入文本，获取客户端的上下文信息，包括：
获取所述客户端的输入框中的前序文本；和/或，
获取所述客户端使用的输入法的输入区中的当前输入码。
在一种实施方式中，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
第三方面，本发明实施例提供了一种长文本预测装置，包括：
第一接收模块，用于接收来自客户端的长文本预测请求，所述长文本预测请求中包括所述客户端的上下文信息；
预测模块，用于利用所述上下文信息和长文本预测模型进行预测，得到与所述上下文信息的语义关联的至少一个长文本，所述长文本中包括多个词语；
第一发送模块，用于向所述客户端发送至少一个所述长文本。
在一种实施方式中，所述预测模块包括：
输入特征子模块，用于利用所述上下文信息确定模型输入特征；
预测子模块，用于将所述模型输入特征输入长文本预测模型进行预测。
在一种实施方式中，所述上下文信息包括所述客户端的输入文本，所述输入特征子模块用于执行至少一种：
在所述输入文本包括所述客户端的输入框中的前序文本的情况下，利用所述前序文本得到所述模型输入特征；
在所述输入文本包括输入法的输入区中的当前输入码的情况下，利用所述当前输入码翻译得到的翻译文本得到所述模型输入特征；
在所述输入文本包括所述前序文本和所述当前输入码的情况下，将所述当前输入码获得翻译文本与所述前序文本拼接得到拼接文本，利用所述拼接文本得到所述模型输入特征。
在一种实施方式中，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
在一种实施方式中，所述第一发送模块还用于对至少一个所述长文本进行过滤，向所述客户端发送过滤后的内容。
第四方面，本发明实施例提供了一种长文本预测装置，包括：
获取模块，用于获取客户端的上下文信息；
第二发送模块，向服务器发送长文本预测请求，所述长文本预测请求中包括所述上下文信息；
第二接收模块，用于接收来自所述服务器的与所述上下文信息的语义关联的至少一个长文本，所述长文本是所述服务器利用所述上下文信息和长文本预测模型预测得到的。
在一种实施方式中，所述上下文信息包括所述客户端的输入文本，所述获取模块还用于获取所述客户端的输入框中的前序文本；和/或，获取所述客户端使用的输入法的输入区中的当前输入码。
在一种实施方式中，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
第五方面，本发明实施例提供了一种长文本预测设备，所述长文本预测设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述长文本预测设备的结构中包括处理器和存储器，所述存储器用于存储支持所述长文本预测设备执行上述长文本预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述长文本预测设备还可以包括通信接口，用于与其他设备或通信网络通信。
第六方面，本发明实施例提供了一种计算机可读存储介质，用于存储长文本预测设备所用的计算机软件指令，其包括用于执行上述长文本预测方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果：利用训练得到长文本预测模型，根据客户端的上下文信息例如输入文本、输入场景信息、用户画像信息等，得到符合输入语境的预测长文本，以提升用户的输入效率。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的长文本预测方法的流程图。
图2示出根据本发明实施例的长文本预测方法的流程图。
图3示出根据本发明实施例的长文本预测方法中LSTM模型训练示意图。
图4示出根据本发明实施例的长文本预测方法中LSTM模型预测示意图。
图5示出根据本发明实施例的长文本预测方法中transformer模型训练示意图。
图6示出根据本发明实施例的长文本预测方法中transformer模型预测示意图。
图7示出不同预测场景中根据前序文本得到不同预测结果的对比示意图。
图8示出根据当前输入码得到预测结果的示意图。
图9示出根据本发明实施例的长文本预测装置的结构框图。
图10示出根据本发明实施例的长文本预测装置的结构框图。
图11示出根据本发明实施例的长文本预测装置的结构框图。
图12示出根据本发明实施例的长文本预测设备的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的长文本预测方法的流程图。如图1所示，该长文本预测方法可以包括：
步骤S11、接收来自客户端的长文本预测请求，所述长文本预测请求中包括所述客户端的上下文信息。
步骤S12、利用所述上下文信息和长文本预测模型进行预测，得到与所述上下文信息的语义关联的至少一个长文本，所述长文本中包括多个词语。
步骤S13、向所述客户端发送至少一个所述长文本。
在本发明实施例中，客户端的上下文信息包括但不限于输入文本、输入场景信息和用户画像信息等。
很多应用程序的客户端需要输入各种文本。例如：社交应用程序、购物应用程序等的客户端具有文本输入框。通常，可以通过输入法向客户端的输入框中输入所需要的文本。通过输入法输入所需要的文文本时，可以显示输入区和候选区。在输入区可以显示用户输入的内容例如用户通过敲击键盘或手写输入的输入码。在候选区可以显示与用户输入的内容关联的联想词。
在本申请实施例中，用户在客户端通过输入法输入后，客户端可以向服务器发送输入文本。服务器中可以包括已经训练的长文本预测模型。服务器利用长文本预测模型和输入文本，可以预测得到与输入文本关联的一个或多个长文本。长文本中可以包括由多个词语、标点符号等构成的短语、短句、长句等。
在一种实施方式中，所述长文本预测模型可以为长短期记忆(LSTM，Long Short-Term Memory)神经网络模型或变换(Transformer)模型等。
在本发明实施例中，服务器从客户端接收的输入文本可以包括多种，例如，客户端的输入框中的前序文本、输入法的输入区中的当前输入码等。此外，服务器还可以获取客户端的输入场景信息和用户画像信息等上下文信息。其中，前序文本可以为在某个应用程序的输入框中已经输入的文字内容。例如，在社交应用程序的输入框中已经输入的“我发”。当前输入码可以为在输入法的输入区显示的字符。例如，在购物应用程序中使用某输入法，在该输入法中用户输入了拼音“gongz”，但尚未点击候选词。“gongz”为当前输入码。
在一种实施方式中，利用所述上下文信息和长文本预测模型进行预测，包括：
利用所述上下文信息确定模型输入特征；
将所述模型输入特征输入长文本预测模型进行预测。
在一种实施方式中，所述上下文信息包括所述客户端的输入文本，利用所述上下文信息确定模型输入特征，包括以下至少一种：
方式一：在所述输入文本包括所述客户端的输入框中的前序文本的情况下，利用所述前序文本得到所述模型输入特征。
如果输入文本只包括前序文本，可以将前序文本作为模型输入特征。如果前序文本较长，可以对前序文本进行切词处理后得到模型输入特征。然后，将模型输入特征输入到已经训练好的长文本预测模型中进行预测，得到模型输出特征。例如，将输入框中已经输入的“我发”输入到长文本预测模型中进行预测。
方式二：在所述输入文本包括输入法的输入区中的当前输入码的情况下，利用所述当前输入码翻译得到的翻译文本得到所述模型输入特征。
如果输入文本只包括当前输入码，可以先将当前输入码翻译为文字内容。如果翻译得到的文字内容有多个，可以选取排名在首位的作为翻译文本，也可以选取排名在前几位的作为翻译文本。可以将翻译文本作为模型输入特征。如果翻译文本较长，可以对翻译文本进行切词处理后得到模型输入特征。然后，将模型输入特征输入到已经训练好的长文本预测模型中进行预测，得到模型输出特征。
方式三：在所述输入文本包括所述前序文本和所述当前输入码的情况下，将所述当前输入码获得翻译文本与所述前序文本拼接得到拼接文本，利用所述拼接文本得到所述模型输入特征。
如果输入文本只包括前序文本和当前输入码，可以先将当前输入码翻译为文字内容。如果翻译得到的文字内容有多个，可以选取排名在首位的作为翻译文本，也可以选取排名在前几位的作为翻译文本。将翻译文本和前序文本拼接得到拼接文本。可以将翻译文本作为模型输入特征。如果翻译文本较长，可以对翻译文本进行切词处理后得到模型输入特征。然后，将模型输入特征输入到已经训练好的长文本预测模型中进行预测，得到模型输出特征。
例如，将输入框中已经输入的前序文本“我发”，与当前输入码“gongz”翻译得到的“工资”拼接得到，“我发工资”输入到长文本预测模型中进行预测。也可以对“我发工资”进行切词处理得到“我”、“发”、“工资”，将“我”、“发”、“工资”输入到长文本预测模型中进行预测。
在一种实施方式中，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。服务器可以获取客户端的输入场景信息。客户端可以在发送长文本预测请求时携带输入场景信息，也可以通过单独的消息向服务器发送输入场景信息。其中，输入场景信息包括但不限于输入的应用程序(APP，Application)、时间、地理位置等信息。例如，输入场景信息包括某社交APP的名称、输入时间为10:00，地理位置为某个经纬度坐标等。用户画像信息包括但不限于输入习惯等。
服务器获取到客户端的输入文本、输入场景信息和用户画像信息后，可以利用输入文本、输入场景信息和用户画像信息确定对应的模型输入特征。然后将模型输入特征输入到长文本预测模型中进行预测。
在一种实施方式中，向所述客户端发送至少一个所述长文本，包括：对至少一个所述长文本进行过滤，向所述客户端发送过滤后的内容。
在服务器中通过模型得到预测结果后，如果输入文本只包括前序文本，将前序文本与预测结果按照顺序组成长文本。如果输入文本只包括当前输入码，将当前输入码的翻译文本与预测结果按照顺序组成长文本。如果输入文本包括前序文本和当前输入码，将前序文本、当前输入码的翻译文本与预测结果按照顺序组成长文本。
这样得到一个或多个长文本后，还可以对长文本进行清洗和过滤。然后，将清洗和过滤后的内容返回给客户端。例如，通过“黄反暴识别***”过滤敏感内容，将符合条件的内容返回给客户端。
客户端在输入法的候选区显示收到的内容。例如，如果某APP收到一个与输入文本关联的长文本，可以在输入法的候选区显示该长文本。如果某APP收到多个与输入文本关联的长文本，可以在输入法的候选区显示多个长文本。
本发明实施例的长文本预测方法，利用大数据及深度学习技术训练得到长文本预测模型，根据用户的输入场景及输入内容，可以提供更为智能的、适宜的、多元化的预测的长文本。可以根据场景特征、用户特征等的细化，使得预测结果更准确、更智能、更个性。
图2示出根据本发明实施例的长文本预测方法的流程图。如图2所示，该长文本预测方法可以包括：
步骤S21、获取应用程序中的上下文信息。
步骤S22、向服务器发送长文本预测请求，所述长文本预测请求中包括所述上下文信息。
步骤S23、接收来自所述服务器的与所述上下文信息的语义关联的至少一个长文本，所述长文本是所述服务器利用所述上下文信息和长文本预测模型预测得到的。
应用程序的客户端可以通过输入法向客户端的输入框中输入所需要的文本。通过输入法输入文本时，可以显示输入区和候选区。用户在客户端通过输入法输入后，客户端可以向服务器发送输入文本、输入场景信息、用户画像信息等上下文信息。服务器中可以包括已经训练的长文本预测模型。服务器利用长文本预测模型和上下文信息，可以预测得到与上下文信息关联的一个或多个长文本。长文本中可以包括由多个词语、标点符号等构成的短语、短句、长句等。
在一种实施方式中，所述长文本预测模型可以为LSTM神经网络模型或Transformer模型等。
在一种实施方式中，所述上下文信息包括所述客户端的输入文本，获取应用程序中的上下文信息，包括：
获取所述客户端的输入框中的前序文本；和/或
获取所述应用程序使用的输入法的输入区中的当前输入码。
在本发明实施例中，服务器从客户端接收的输入文本可以包括多种，例如，客户端的输入框中的前序文本、输入法的输入区中的当前输入码等。其中，前序文本可以为在某个应用程序的输入框中已经输入的文字内容。
在一种实施方式中所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。该方法还包括：向所述服务器发送所述客户端的输入场景信息和/或用户画像信息。服务器获取到客户端的输入文本、输入场景信息和用户画像信息后，可以利用输入文本、输入场景信息和用户画像信息确定对应的模型输入特征。然后将模型输入特征输入到长文本预测模型中进行预测，得到包括一个或多个长文本的预测结果。
在一种实施方式中，还包括：在客户端收到一个或多个长文本后，可以在输入法的候选区中显示收到的长文本。
采用本发明实施例，在输入场景中，根据用户输入场景信息、已输入的前序文本、当前正输入的输入码等，为用户提供符合输入语境的预测的长文本，包括但不限于短语、句子等。因此，能够提升用户的输入效率与产品体验。
在本发明实施例中，对经过特定预处理的大规模文本语料进行深度神经网络学习，得到一个长文本预测模型。该模型对长短文本上下文有连续记忆能力，能智能预测后续文本的语言模型。
在一种应用示例中，长文本预测方法可以包括以下步骤：
用户在APP(即客户端)输入框中输入前序文本(可选)：“我发”。
用户继续输入当前输入码(可选)：“gongz”。
客户端向服务器发起整句预测请求。
请求方案可以包括：云端KV引擎翻译当前当前输入码，获得首选结果：“工资”。与前序文本拼接，得到模型输入：“我发工资”。
预测方案可以包括：
方案A：
整句预测离线引擎：查询“我发工资”前缀，得到离线预测内容：“了，好开心”，进一步得到本次预测结果：“工资了，好开心”。
方案B：
整句预测在线引擎：对“我发工资”进行切词，得到“我”、“发”、“工资”。以此作为在线模型输入数据，得到预测内容：“了，好开心”，并进一步得到本次预测结果：“工资了，好开心”。
过滤方案：
对预测引擎返回的结果通过“黄反暴识别***”过滤敏感内容，将符合条件的内容返回给客户端。
展现方案：
如果用户在客户端直接点击预测内容进行上屏，至此，本次预测结束。如果用户未点击预测内容，而点击了本地候选词，则检测该候选词与本次预测内容前缀是否匹配。如果该候选词与本次预测内容前缀匹配，则继续显示。如：用户点击本地候选词“工资”，则继续显示“了，好开心”。如果该候选词与本次预测内容未前缀匹配，则本次预测结束。如：用户点击本地候选词“工作”。
上述仅为预测返回单条数据的示意逻辑，实际上，预测引擎可以返回多个结果返回给客户端，当用户首次未选择预测内容时，本地可以继续提供第二、第三选则等匹配用户所点击的候选词的预测结果。例如：上述输入情况下，模型返回：“工资了，好开心”、“工作流程给老板了”、“公仔照片给你看”等多个结果。客户端首选展示第一个，当用户点击“工作”候选词时，本地可以继续展示“流程给老板了”。此外，客户端展示的结果可以是一个或多个，例如，在客户端直接显示多个结果给用户选择。
下面介绍长文本预测模型的训练过程的示意。
采用大量的训练语料对为LSTM神经网络模型或Transformer模型进行训练。可以对训练语料进行切词处理，得到输入(input)文本和目标(target)文本。利用输入文本和目标文本对模型进行训练。训练后，将输入文本再次输入模型中，得到输出(output)文本。输出文本中文字的排列顺序可以具有动态权重。比较目标文本和输出文本，计算模型的损失。利用大量样本进行训练后，如果模型的损失收敛到一定值，表示训练成功。
如图3所示，在字词融合的动态权重LSTM模型的训练过程中，可以对训练语料进行切分。将语料切分成最小的字词单位。具体来说，对训练语料进行细粒度分词后，按照一定的比例将训练语料再细分成字粒度级别。例如，对300万样本按照词进行切分，并对其中的10％按照字进行切分。可以得到330万对输入文本和目标文本。例如，训练语料为“选择比努力更重要”。对该训练语料按照词进行切分，得到输入文本为：“<beg>”、“选择”、、“比”、“努力”、“更”、“重要”、“<end>”、“<null>”、“<null>”。其中，<null>表示空字符。与输入文本对应的目标文本为：“选择”、“比”、“努力”、“更”、“重要”、“<end>”、“<null>”、“<null>”、“<null>。对该训练语料按照字进行切分，得到输入文本为：“<beg>”、“选”、“择”、“比”、“努”、“力”、“更”、“重”、“要”。其中，<beg>表示文本开始符。与输入文本对应的目标文本为：“选”、“择”、“比”、“努”、“力”、“更”、“重”、“要”、“<end>”。其中，<end>表示终止符。
在训练计算损失(LOSS)时，按照预测的先后顺序，给予不同的权重，计算预测的输出(output)文本与目标(target)文本之间的LOSS。
并且，在训练时可以将场景有关的信息例如：APP、时间、定位信息等以及其他特征，输入到该LSTM模型中进行训练。在训练成功后，预测时，可以将场景有关的信息输入到已经训练好LSTM模型中进行预测。
如图4所示，训练成功后，将前序文本(当前输入码的翻译文本或拼接文本)、输入场景信息、用户画像信息等多种特征，输入到已经训练好的LSTM模型后，逐词预测形成整句。例如，形成的整句按照顺序包括文本a1、a2…an，或者包括文本b1、b2…bn，或者包括文本c1、c2…cn。
如图5所示，在字词融合的动态权重transformer模型的训练过程中，训练语料为“选择比努力更重要”。对该训练语料进行切分，得到输入文本和目标文本对。其中，输入文本为：“选”、“选择”、“选择比”、“选择比努”、“选择比努力”、“选择比努力更”、“选择比努力更重”。与输入文本对应的目标文本为：“择比努力更重要”、“比努力更重要”、“努力更重要”、“力更重要”、“更重要”、“重要”、“要”。并且，将场景有关的信息例如：APP、时间、定位信息等以及其他特征，输入到该transformer模型中，对该transformer模型进行训练。
如图6所示，训练成功后，将前序文本(或当前输入码的翻译文本或拼接文本)、输入场景信息、用户画像信息等多种特征，输入到已经训练好的transformer模型后，可以得到一个或多个预测内容。例如预测内容1、预测内容2、预测内容3。
如图7所示，为不同预测场景中根据前序文本得到不同预测结果的对比示意图。输入框中的前序文本为“我想”，在游戏A中可以显示出候选句子“玩一把射手”，在社交应用程序B中可以显示出候选句子“和你做朋友可以吗”，在游戏C中可以显示出候选句子“去找你”，在电商应用程序D中可以显示出候选句子“问一下”。在显示长文本的句子的同时，也可以显示一些可选的字或词。
如图8所示，为根据当前输入码得到预测结果的示意图。例如，在购物场景中，在输入法的输入区输入“kafei”，在候选区可以显示“咖啡色的有吗”。
本发明实施例的长文本预测方法，利用大数据及深度学习技术，根据用户的输入场景及输入内容，可以提供更为智能的、适宜的、多元化的预测的长文本。可以早在用户输入当前输入码的阶段，给出一个短语或者整句的预测长文本。并且，可以根据场景特征、用户特征的细化，使得预测结果更准确、更智能、更个性。
图9示出根据本发明实施例的长文本预测装置的结构框图。如图9所示，该装置可以包括：
第一接收模块61，用于接收来自客户端的长文本预测请求，所述长文本预测请求中包括所述客户端的上下文信息；
预测模块62，用于利用所述上下文信息和长文本预测模型进行预测，得到与所述上下文信息的语义关联的至少一个长文本，所述长文本中包括多个词语；
第一发送模块63，用于向所述客户端发送至少一个所述长文本。
在一种实施方式中，如图10所示，所述预测模块62包括：
输入特征子模块621，用于利用所述上下文信息确定模型输入特征；
预测子模块622，用于将所述模型输入特征输入长文本预测模型进行预测。
在一种实施方式中，，所述上下文信息包括所述客户端的输入文本，所述输入特征子模块621用于执行至少一种：
在所述输入文本包括所述客户端的输入框中的前序文本的情况下，利用所述前序文本得到所述模型输入特征；
在所述输入文本包括输入法的输入区中的当前输入码的情况下，利用所述当前输入码翻译得到的翻译文本得到所述模型输入特征；
在所述输入文本包括所述前序文本和所述当前输入码的情况下，将所述当前输入码获得翻译文本与所述前序文本拼接得到拼接文本，利用所述拼接文本得到所述模型输入特征。
在一种实施方式中，所述上下文信息包括所述客户端的输入场景信息和/或用户画像信息。
在一种实施方式中，所述第一发送模块63还用于对至少一个所述长文本进行过滤，向所述客户端发送过滤后的内容。
在一种实施方式中，所述长文本预测模型可以为LSTM神经网络模型或Transformer模型等。
图11示出根据本发明实施例的长文本预测装置的结构框图。如图11所示，该装置可以包括：
获取模块71，用于获取客户端的上下文信息；
第二发送模块72，用于向服务器发送长文本预测请求，所述长文本预测请求中包括所述上下文信息；
第二接收模块73，用于接收来自所述服务器的与所述上下文信息的语义关联的至少一个长文本，所述长文本是所述服务器利用所述上下文信息和长文本预测模型预测得到的。
在一种实施方式中，所述上下文信息包括所述客户端的输入文本，所述获取模块71还用于获取所述客户端的输入框中的前序文本；和/或，获取所述客户端使用的输入法的输入区中的当前输入码。
在一种实施方式中，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。所述第二发送模块72还用于向所述服务器发送所述客户端的输入场景信息和/或用户画像信息。
在一种实施方式中，所述长文本预测模型可以为LSTM神经网络模型或Transformer模型等。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
图12示出根据本发明实施例的长文本预测设备的结构框图。如图12所示，该设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的长文本预测方法。所述存储器910和处理器920的数量可以为一个或多个。
该设备还包括：
通信接口930，用于与外界设备进行通信，进行数据交互传输。
存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种长文本预测方法，其特征在于，包括：
接收来自客户端的长文本预测请求，所述长文本预测请求中包括所述客户端的上下文信息；
利用所述上下文信息和长文本预测模型进行预测，得到与所述上下文信息的语义关联的至少一个长文本，所述长文本中包括多个词语；
向所述客户端发送至少一个所述长文本。
2.根据权利要求1所述的方法，其特征在于，所述利用所述上下文信息和长文本预测模型进行预测，包括：
利用所述上下文信息确定模型输入特征；
将所述模型输入特征输入长文本预测模型进行预测。
3.根据权利要求2所述的方法，其特征在于，所述上下文信息包括所述客户端的输入文本；所述利用所述上下文信息确定模型输入特征，包括以下至少一种：
在所述输入文本包括所述客户端的输入框中的前序文本的情况下，利用所述前序文本得到所述模型输入特征；
在所述输入文本包括输入法的输入区中的当前输入码的情况下，利用所述当前输入码翻译得到的翻译文本得到所述模型输入特征；
在所述输入文本包括所述前序文本和所述当前输入码的情况下，将所述当前输入码获得翻译文本与所述前序文本拼接得到拼接文本，利用所述拼接文本得到所述模型输入特征。
4.根据权利要求1所述的方法，其特征在于，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述向所述客户端发送至少一个所述长文本，包括：
对至少一个所述长文本进行过滤，向所述客户端发送过滤后的内容。
6.一种长文本预测方法，其特征在于，包括：
获取客户端的上下文信息；
向服务器发送长文本预测请求，所述长文本预测请求中包括所述上下文信息；
接收来自所述服务器的与所述上下文信息的语义关联的至少一个长文本，所述长文本是所述服务器利用所述上下文信息和长文本预测模型预测得到的。
7.根据权利要求6所述的方法，其特征在于，所述上下文信息包括所述客户端的输入文本；所述获取客户端的上下文信息，包括：
获取所述客户端的输入框中的前序文本；和/或，
获取所述客户端使用的输入法的输入区中的当前输入码。
8.根据权利要求6或7所述的方法，其特征在于，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
9.一种长文本预测装置，其特征在于，包括：
第一接收模块，用于接收来自客户端的长文本预测请求，所述长文本预测请求中包括所述客户端的上下文信息；
预测模块，用于利用所述上下文信息和长文本预测模型进行预测，得到与所述上下文信息的语义关联的至少一个长文本，所述长文本中包括多个词语；
第一发送模块，用于向所述客户端发送至少一个所述长文本。
10.根据权利要求9所述的装置，其特征在于，所述预测模块包括：
输入特征子模块，用于利用所述上下文信息确定模型输入特征；
预测子模块，用于将所述模型输入特征输入长文本预测模型进行预测。
11.根据权利要求10所述的装置，其特征在于，所述上下文信息包括所述客户端的输入文本，所述输入特征子模块用于执行至少一种：
在所述输入文本包括所述客户端的输入框中的前序文本的情况下，利用所述前序文本得到所述模型输入特征；
在所述输入文本包括输入法的输入区中的当前输入码的情况下，利用所述当前输入码翻译得到的翻译文本得到所述模型输入特征；
在所述输入文本包括所述前序文本和所述当前输入码的情况下，将所述当前输入码获得翻译文本与所述前序文本拼接得到拼接文本，利用所述拼接文本得到所述模型输入特征。
12.根据权利要求9所述的装置，其特征在于，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
13.根据权利要求9至12中任一项所述的装置，其特征在于，所述第一发送模块还用于对至少一个所述长文本进行过滤，向所述客户端发送过滤后的内容。
14.一种长文本预测装置，其特征在于，包括：
获取模块，用于获取客户端的上下文信息；
第二发送模块，用于向服务器发送长文本预测请求，所述长文本预测请求中包括所述上下文信息；
第二接收模块，用于接收来自所述服务器的与所述上下文信息的语义关联的至少一个长文本，所述长文本是所述服务器利用所述上下文信息和长文本预测模型预测得到的。
15.根据权利要求14所述的装置，其特征在于，所述上下文信息包括所述客户端的输入文本，所述获取模块还用于获取所述客户端的输入框中的前序文本；和/或，获取所述客户端使用的输入法的输入区中的当前输入码。
16.根据权利要求14所述的装置，其特征在于，所述上下文信息还包括所述客户端的输入场景信息和/或用户画像信息。
17.一种长文本预测设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。
18.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
CN201910499897.XA 2019-06-10 2019-06-10 长文本预测方法、装置、设备和存储介质 Active CN110187780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910499897.XA CN110187780B (zh) 2019-06-10 2019-06-10 长文本预测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910499897.XA CN110187780B (zh) 2019-06-10 2019-06-10 长文本预测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110187780A true CN110187780A (zh) 2019-08-30
CN110187780B CN110187780B (zh) 2023-07-21

Family

ID=67721256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910499897.XA Active CN110187780B (zh) 2019-06-10 2019-06-10 长文本预测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110187780B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673748A (zh) * 2019-09-27 2020-01-10 北京百度网讯科技有限公司 输入法中候选长句的提供方法及装置
CN113126779A (zh) * 2019-12-30 2021-07-16 阿里巴巴集团控股有限公司 人机交互方法、装置、设备及***
CN113434045A (zh) * 2020-03-23 2021-09-24 北京搜狗科技发展有限公司 一种输入方法、装置和用于输入的装置
CN113449515A (zh) * 2021-01-27 2021-09-28 心医国际数字医疗***(大连)有限公司 一种医学文本的预测方法、预测装置及电子设备
CN113589946A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备
CN113589949A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种输入方法、装置和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050017954A1 (en) * 1998-12-04 2005-01-27 Kay David Jon Contextual prediction of user words and user actions
CN104182904A (zh) * 2014-07-02 2014-12-03 国家电网公司 一种变电站集中监控海量数据的多维分析可视化展示方法
CN104571584A (zh) * 2014-12-30 2015-04-29 北京奇虎科技有限公司 文字输入方法和装置
CN105279266A (zh) * 2015-10-26 2016-01-27 电子科技大学 一种基于移动互联网社交图片预测用户上下文信息的方法
CN105468900A (zh) * 2015-11-20 2016-04-06 邹远强 一种基于知识库的智能病历录入平台
CN106919072A (zh) * 2015-12-28 2017-07-04 青海沃爱思智能科技有限公司 自适应外语文本集群遥控执行***的方法
CN107621891A (zh) * 2017-09-28 2018-01-23 北京新美互通科技有限公司 一种文本输入方法、装置及电子设备
WO2018112023A1 (en) * 2016-12-14 2018-06-21 Jpmorgan Chase Bank, N.A. Systems and methods for aggregating, filtering, and presenting streaming data
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置
CN109684648A (zh) * 2019-01-14 2019-04-26 浙江大学 一种多特征融合的古今汉语自动翻译方法
CN109800352A (zh) * 2018-12-30 2019-05-24 上海触乐信息科技有限公司 基于剪贴板进行信息推送的方法、***及终端设备
CN109800427A (zh) * 2018-12-28 2019-05-24 北京金山安全软件有限公司 一种分词方法、装置、终端及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050017954A1 (en) * 1998-12-04 2005-01-27 Kay David Jon Contextual prediction of user words and user actions
CN104182904A (zh) * 2014-07-02 2014-12-03 国家电网公司 一种变电站集中监控海量数据的多维分析可视化展示方法
CN104571584A (zh) * 2014-12-30 2015-04-29 北京奇虎科技有限公司 文字输入方法和装置
CN105279266A (zh) * 2015-10-26 2016-01-27 电子科技大学 一种基于移动互联网社交图片预测用户上下文信息的方法
CN105468900A (zh) * 2015-11-20 2016-04-06 邹远强 一种基于知识库的智能病历录入平台
CN106919072A (zh) * 2015-12-28 2017-07-04 青海沃爱思智能科技有限公司 自适应外语文本集群遥控执行***的方法
WO2018112023A1 (en) * 2016-12-14 2018-06-21 Jpmorgan Chase Bank, N.A. Systems and methods for aggregating, filtering, and presenting streaming data
CN107621891A (zh) * 2017-09-28 2018-01-23 北京新美互通科技有限公司 一种文本输入方法、装置及电子设备
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置
CN109800427A (zh) * 2018-12-28 2019-05-24 北京金山安全软件有限公司 一种分词方法、装置、终端及计算机可读存储介质
CN109800352A (zh) * 2018-12-30 2019-05-24 上海触乐信息科技有限公司 基于剪贴板进行信息推送的方法、***及终端设备
CN109684648A (zh) * 2019-01-14 2019-04-26 浙江大学 一种多特征融合的古今汉语自动翻译方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HU CHANG 等: "Monotrans2: A new human computation system to support monolingual translation", 《PROCEEDINGS OF THE SIGCHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS》, pages 1133 - 1136 *
TURNEY PETER 等: "Literal and metaphorical sense identification through concrete and abstract context", 《PROCEEDINGS OF THE 2011 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING》, pages 680 - 690 *
于振龙: "基于LSTM的自然语言生成技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 11, pages 138 - 580 *
卢嘉颖: "基于用户行为的电商推荐***设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 03, pages 138 - 2203 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673748A (zh) * 2019-09-27 2020-01-10 北京百度网讯科技有限公司 输入法中候选长句的提供方法及装置
CN110673748B (zh) * 2019-09-27 2023-04-28 北京百度网讯科技有限公司 输入法中候选长句的提供方法及装置
CN113126779A (zh) * 2019-12-30 2021-07-16 阿里巴巴集团控股有限公司 人机交互方法、装置、设备及***
CN113434045A (zh) * 2020-03-23 2021-09-24 北京搜狗科技发展有限公司 一种输入方法、装置和用于输入的装置
CN113589946A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备
CN113589949A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种输入方法、装置和电子设备
CN113449515A (zh) * 2021-01-27 2021-09-28 心医国际数字医疗***(大连)有限公司 一种医学文本的预测方法、预测装置及电子设备

Also Published As

Publication number Publication date
CN110187780B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US11710136B2 (en) Multi-client service system platform
US20240104127A1 (en) Method and system for sentiment analysis of information
US11847106B2 (en) Multi-service business platform system having entity resolution systems and methods
CN110187780A (zh) 长文本预测方法、装置、设备和存储介质
Alaei et al. Sentiment analysis in tourism: capitalizing on big data
CN110427463B (zh) 搜索语句响应方法、装置及服务器和存储介质
CN106649818B (zh) 应用搜索意图的识别方法、装置、应用搜索方法和服务器
CN109271493B (zh) 一种语言文本处理方法、装置和存储介质
US20200193382A1 (en) Employment resource system, method and apparatus
CN107341145B (zh) 一种基于深度学习的用户情感分析方法
CN110377716A (zh) 对话的交互方法、装置及计算机可读存储介质
JP2019504413A (ja) 絵文字を提案するためのシステムおよび方法
CN110909145B (zh) 针对多任务模型的训练方法及装置
CN105612517A (zh) 上下文洞察及探索
CN106940726B (zh) 一种基于知识网络的创意自动生成方法与终端
CN112948534A (zh) 一种智能人机对话的交互方法、***和电子设备
CN109635080A (zh) 应答策略生成方法及装置
CN110489523A (zh) 一种基于网购评价的细粒度情感分析方法
US20110219299A1 (en) Method and system of providing completion suggestion to a partial linguistic element
Paul et al. Focused domain contextual AI chatbot framework for resource poor languages
CN110674415B (zh) 一种信息显示方法、装置及服务器
Fernández General extender use in spoken Peninsular Spanish: metapragmatic awareness and pedagogical implications
CN112507139B (zh) 基于知识图谱的问答方法、***、设备及存储介质
CN110321546B (zh) 账号识别、显示方法、装置、服务器、终端及存储介质
CN111563158A (zh) 文本排序方法、排序装置、服务器和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant