CN108604227B - 用于神经临床释义生成的***和方法 - Google Patents

用于神经临床释义生成的***和方法 Download PDF

Info

Publication number
CN108604227B
CN108604227B CN201780008325.6A CN201780008325A CN108604227B CN 108604227 B CN108604227 B CN 108604227B CN 201780008325 A CN201780008325 A CN 201780008325A CN 108604227 B CN108604227 B CN 108604227B
Authority
CN
China
Prior art keywords
level
word
character
focus
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780008325.6A
Other languages
English (en)
Other versions
CN108604227A (zh
Inventor
S·S·阿尔哈桑
刘波
O·F·法里
柳俊毅
A·普拉卡什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN108604227A publication Critical patent/CN108604227A/zh
Application granted granted Critical
Publication of CN108604227B publication Critical patent/CN108604227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本公开涉及释义生成***。所述***包括一个或多个硬件处理器和/或其他部件。所述***被配置为获得训练语料库。所述训练语料库包括语言和对语言的已知释义。所述***被配置为基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型。所述***被配置为基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。所述基于单词级关注的模型是单词级双向长短期记忆(LSTM)网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。所述单词级LSTM网络和所述字符级LSTM网络是基于所述训练语料库中的单词和字符来生成的。在一些实施例中，所述LSTM网络是堆叠的残余LSTM网络，其包括给定LSTM网络的堆叠层之间的残余连接。

Description

用于神经临床释义生成的***和方法
技术领域
本公开涉及一种释义生成***，其被配置为提供对自然语言输入的一个或多个释义。
背景技术
神经机器翻译***是已知的。现有的神经机器翻译***通常使用编码器-解码器方法(例如，其中，根据源句子来生成固定长度矢量用于形成目标句子)或基于关注的软搜索方法(例如，其中，模型能够学习联合对齐和翻译，这有助于通过使用最相关源词的上下文向量来改进相对长句中的目标词预测)方法，经由单词级计算执行双语机器翻译。给定未知源词，这些方法不能准确地预测目标词(例如，未包括在神经网络的训练数据集中的词)。
发明内容
因此，本公开的一个或多个方面涉及一种***，其被配置为包括一个或多个硬件处理器和/或其他部件的释义生成***。所述一个或多个硬件机处理器通过计算机可读指令被配置为：获得训练语料库，所述训练语料库包括语言和所述语言的释义；基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型；并且基于所述单词级和字符级基于关的注模型两者来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使得基于单词级关注的模型是单词级双向长短期记忆(LSTM)网络，并且基于字符级关注的模型是字符级双向LSTM网络。基于训练语料库中的单词和字符来生成单词级和字符级LSTM网络。在一些实施例中，所述一个或多个硬件处理器被配置为基于训练语料库来生成基于句子级关注的模型，并基于句子级、单词级和基于字符级关注的模型来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使用训练语料库来确定单词级、字符级和句子级嵌入；基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入；基于经更新的单词级和字符级嵌入来生成单词级和基于字符级关注的模型；并且基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来提供一个或多个候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使用递归神经网络(RNN)和/或卷积神经网络(CNN)来确定句子级、单词级和字符级嵌入。在一些实施例中，所述一个或多个硬件处理器被配置为使得提供所述一个或多个候选释义包括确定针对强化学习模型的奖励函数，所述强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且根据所述比较来输出候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使得所述基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，并且所述基于字符级关注的模型是堆叠的残余字符级双向LSTM网络。所述堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接。
本公开的另一方面涉及一种利用所述释义生成***来生成释义的方法。所述方法包括：获得训练语料库，所述训练语料库包括语言和所述语言的释义；基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型；并且基于所述单词级和基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述基于单词级关注的模型是单词级双向LSTM网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。基于训练语料库中的单词和字符来生成单词级和字符级LSTM网络。在一些实施例中，所述方法还包括基于训练语料库来生成基于句子级关注的模型，并且基于句子级、单词级和基于字符级关注的模型来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述方法还包括：使用训练语料库来确定单词级、字符级和句子级嵌入；基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入；基于经更新的单词级和字符级嵌入来生成单词级和基于字符级关注的模型；并且基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来提供一个或多个候选释义。在一些实施例中，使用RNN和/或CNN来确定句子级、单词级和字符级嵌入。在一些实施例中，提供一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。在一些实施例中，基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，并且基于字符级关注的模型是堆叠的残余字符级双向LSTM网络。所述堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接。
本公开的又一方面涉及一种用于生成释义的***。所述***包括：用于获得训练语料库的单元，所述训练语料库包括语言和所述语言的释义；用于基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型的单元；以及用于基于所述单词级和字符级基于关的注模型两者来提供自然语言输入的一个或多个候选释义的单元。在一些实施例中，所述基于单词级关注的模型是单词级双向LSTM网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。基于训练语料库中的单词和字符来生成单词级和字符级LSTM网络。在一些实施例中，所述***还包括用于基于训练语料库来生成基于句子级关注的模型并且基于句子级、单词级和基于字符级关注的模型来提供自然语言输入的一个或多个候选释义的单元。在一些实施例中，所述***还包括用于使用训练语料库来确定单词级、字符级和句子级嵌入的单元；用于基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入的单元；用于基于经更新的单词级和字符级嵌入来生成单词级和基于字符级关注的模型的单元；以及用于基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来提供一个或多个候选释义的单元。在一些实施例中，使用RNN和/或CNN来确定句子级、单词级和字符级嵌入。在一些实施例中，提供一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。在一些实施例中，基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，并且基于字符级关注的模型是堆叠的残余字符级双向LSTM网络。所述堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接。
本发明的这些和其他目的、特征和特性，以及相关结构元件的操作方法和功能以及部件组合和制造经济性将在参考附图理解本发明和权利要求后变得更加明显，所有附图均形成说明书的一部分，其中，在各个附图中，相同的附图标记指代对应的部件。然而，要明确理解，附图仅出于图示和说明的目的并且不旨在作为对本公开的限度的限制。
附图说明
图1是释义生成***的示意图。
图2图示了多层CNN架构。
图3图示了多层RNN架构。
图4A图示了LSTM网络。
图4B图示了堆叠的残余双向LSTM网络。
图5图示了强化学习架构。
图6图示了由***执行的一部分操作。
图7图示了利用释义生成***来生成释义的方法。
具体实施方式
本文中使用的单数形式的“一”、“一个”以及“该”包括多个指代物，除非上下文中明确地另行规定。本文中所用的两个或多个零件或部件被“耦合”的表述将意味着所述零件直接或间接地(即，通过一个或多个中间零件或部件，只要发生连接)被结合到一起或一起工作。本文中所用的“直接耦合”意指两个元件彼此直接接触。本文中所用的“固定耦合”或“固定”意指两个部件被耦合以作为一体移动，同时维持相对于彼此的固定取向。
本文中所用的词语“一体的”意指部件被创建为单件或单个单元。亦即，包括单独创建并然后被耦合到一起成为单元的多件的部件不是“一体的”部件或体。本文中采用的两个或多个零件或部件相互“接合”的表述将意味着所述零件直接地或通过一个或多个中间零件或部件而相互施加力。本文中采用的术语“若干”将意味着一或大于一的整数(即，多个)。
本文中使用的方向短语，例如但不限于，顶部、底部、左、右、上、下、前、后以及它们的派生词涉及附图中所示的元件的取向，并且不对权利要求构成限制，除非在权利要求中明确记载。
图1是释义生成***10的示意图。释义包括使用文本替代来表达由源内容表达的相同和/或相似的含义。释义在各种自然语言处理(NLP)应用中被使用，例如搜索总结、问答、信息提取、信息检索和自然语言生成。***10通过将释义生成任务作为单语神经机器翻译问题来促进基于深度神经网络的组合的释义生成(例如，临床释义生成)的整体方法。***10被配置为变换文本以提高可读性，同时保持整体意义完整。例如，临床释义生成对于开发以患者为中心的临床决策支持(CDS)应用具有价值，其中，用户能够通过更容易的替代释义和/或其他应用来理解复杂的临床术语。
传统释义生成方法利用手工制作的规则，自动学习的复杂的释义模式，基于词库的或语义分析驱动的自然语言生成方法，和/或利用统计机器学习理论。现有的神经机器翻译***使用编码器-解码器方法(例如，其中，根据源句子来生成固定长度矢量用于形成目标句子)或基于关注的软搜索方法(例如，其中，模型能够学习联合对齐和翻译，这有助于通过使用最相关源词的上下文向量来改进相对长句中的目标词预测)，经由单词级计算来执行双语机器翻译。然而，这些方法在给定未知源词预测目标词(例如，未包括在神经网络的训练数据集中的词)的能力方面受到限制。
***10是被配置用于临床和/或其他释义生成的深度神经网络，其克服了神经机器翻译的传统方法的限制。***10被配置为通过执行字符级建模和/或其他操作来克服现有***的限制，以解释未知的(例如，未包括在训练数据库中的单词和/或其他单词)源单词。在一些实施例中，***10组合卷积神经网络(CNN)，递归神经网络(RNN)，长短期记忆(LSTM)网络和强化学习操作来形成用于释义生成的系集架构。在一些实施例中，***10包括在层之间具有残余连接的多个堆叠LSTM网络。
本说明书通常提及“临床”释义生成。这并不旨在限制。***10可以生成如本文所述的用于临床、非临床和/或其他应用的释义。临床释义生成被用作一个方便的示例，因为有各种不同类型和风格的临床文献。这样的文档在其描述中通常是冗长的，并且通常忙碌的护理人员和/或其他用户12(例如，临床医师，医师，护士，护理机构工作人员，家庭成员，朋友等)将优选对由这样的文档所传达的信息的释义概述(例如，在与用户12相关联的计算设备18的用户接口16中呈现)。这样的文档通常还包括释义生成***先前未遇到的单词(例如，如上所述的“未知”单词)。特定用户12可能仅对报告中传达的信息的一部分感兴趣，例如，作为医学干预、处置规划期间和/或其他时间的提醒。使用临床释义生成作为示例，***10被配置为在临床文档中对语言进行释义，使得用户12可以快速地跟上与特定患者相关的最新信息。
在一些实施例中，***10包括计算设备18(包括用户接口16)、一个或多个处理器20、电子存储器22、外部资源24和/或其他部件。
计算设备18被配置为提供用户12与***10之间的接口。计算设备18被配置为向用户12和/或其他用户提供信息和/或从用户12和/或其他用户接收信息。计算设备18包括用户接口16和/或其他部件。用户接口16被配置为从用户12接收对信息的输入和/或选择。用户接口16被配置为向用户12和/或其他用户呈现所生成的释义。在一些实施例中，用户接口16包括例如与计算设备18、处理器20和/或***10的其他部件相关联的多个单独的接口。在一些实施例中，***10包括与多个用户12相关联的多个计算设备18。
在一些实施例中，给定计算设备18被配置为向***10提供用户接口16、处理能力、数据库和/或电子存储设备。这样，计算设备18可以包括处理器20、电子存储设备22、外部资源24和/或***10的其他部件。在一些实施例中，计算设备18被连接到网络(例如，互联网)。在一些实施例中，计算设备18不包括处理器20、电子存储设备22、外部资源24和/或***10的其他部件，而是经由网络与这些部件通信。例如，处理器20、电子存储设备22和外部资源24、和/或***10的其他部件可以位于“公有云”或“私有云”(下文中称为“云”)中。在一些实施例中，计算设备18例如是接收在公有云或私有云中存储和处理的信息的哑设备。与网络的连接可以是无线的或有线的。例如，处理器20可以位于远程服务器中，并且可以生成并无线地使得经由用户接口16在计算设备18上向用户12显示释义。在一些实施例中，计算设备18是膝上型计算机，台式计算机，智能电话，平板计算机和/或其他计算设备。
适合包含在用户接口16中的接口设备的示例包括触摸屏、小键盘、触敏和/或物理按钮、开关、键盘、旋钮、控制杆、显示器、扬声器、麦克风、指示灯、听觉警报、打印机和/或其他接口设备。本公开还预期计算设备18包括可移除存储接口。在该示例中，信息可以从可移动存储设备(例如，智能卡、闪存驱动器、可移动磁盘)加载到计算设备18中，该可移动存储设备使得用户12和/或其他用户能够定制计算设备18的实现方式。适于与计算设备18和/或用户接口16一起使用的其他示例性输入设备和技术包括但不限于RS-232端口、RF链路、IR链路、调制解调器(电话，电缆等)和/或其他设备。
处理器20被配置为在***10中提供信息处理能力(例如，使用标准图形处理单元(GPU)和/或其他部件)。这样，处理器20可以包括以下中一个或多个：数字处理器、逻辑处理器、被设计为处理信息的数字电路、被设计为处理信息的逻辑电路、状态机、和/或用于电子地处理信息的其他机制。虽然处理器20在图1中被示为单个实体，但是这仅出于说明目的。在一些实施例中，处理器20可包括多个处理单元。这些处理单元可以物理地位于同一设备(例如，服务器)内，或者处理器20可以表示协同操作的多个设备的处理功能(例如，一个或多个服务器、计算设备18、作为外部资源24的一部分的设备、电子存储设备22和/或其他设备)。
在一些实施例中，处理器20、外部资源24、计算设备18、电子存储器22和/或其他部件可以经由一个或多个电子通信链路可操作地链接。例如，这样的电子通信链路可以至少部分地经由诸如因特网之类的网络和/或其他网络来建立。应当理解，这不是旨在进行限制，并且本公开的范围包括这些部件可以经由某些其他通信介质可操作地链接的实施例。在一些实施例中，处理器20被配置为根据客户端/服务器架构、对等架构和/或其他架构来与外部资源24、计算设备18、电子存储设备22和/或其他部件进行通信。
如图1中所示，处理器20被配置为经由机器可读指令来执行一个或多个计算机程序部件。一个或多个计算机程序部件可以包括以下中的一个或多个：训练语料库部件3、嵌入生成部件32、模型部件34、系集学习部件36、强化学习部件38、输出部件40和/或其他部件。处理器20可以被配置为通过软件执行部件30、32、34、36、38和/或40；硬件；固件；软件、硬件和/或固件的某种组合；和/或用于在处理器20上配置处理能力的其它机构。
应当理解，尽管部件30、32、34、36、38和/或40在图1中示出为共同定位于单个处理单元中，但是在处理器20包括多个处理单元的实施例中，部件30、32、34、36、38和/或40中的一个或多个可以被定位为远离其他部件。以下描述的不由同部件30、32、34、36、38和/或40提供的功能仅用于说明的目的，并不旨在作为限制，因为部件30、32、34、36、38和/或40可以提供比所描述的更多或更少的功能。例如，可以去除部件30、32、34、36、38和/或40中的一个或多个，并且其功能的一些或全部可以由其他部件30、32、34、36、38和/或40提供。作为另一示例，处理器20可以被配置为执行一个或多个额外的部件，其可以执行以下归属于部件30、32、34、36、38和/或40中的一个的功能的一些或全部。
训练语料库部件30被配置为获得训练语料库。训练语料库包括语言、语言的释义和/或其他信息。该语言由作者以特定方式(例如，作为医学报告，医学记录等)排列的个体句子、短语、单词、字符(例如，字母)和/或其他成分形成。释义是与语言(例如，医学报告，医学记录等)相对应的字符、单词和/或其他符号，并且传达与由该语言传达的信息相同和/或类似的信息，但是以缩短的和/或缩写方式。例如，训练语料库可以包括临床语言(例如，句子，短语，单词，字符等)和以预定方式对应于临床语言的已知释义。
在一些实施例中，训练语料库部件30被配置为使得基于临床和/或非临床语言、数据和/或其他信息来确定训练语料库。非临床语言、数据和/或信息可以从非临床公开可用的释义数据库(例如，paraphrase.org等)和/或其他来源获得。临床语言、数据和/或其他信息可以从开源临床本体(例如，SNOMED CT中临床概念的唯一指定名称和相应同义词的集合)和/或其他来源获得。例如，像这样的信息源可以包括在外部资源24中。训练语料库部件30被配置为使得非临床和/或临床语言、数据和/或其他信息被组合以生成具有源语言和已知对应释义的训练语料库(例如，以诸如英语的个体语言，使得释义生成的任务作为单语翻译问题)。训练语料库部件30被配置为使得获得训练语料库还包括通过执行标记化和词汇生成来预处理语料库。例如，语料库中可用的唯一单词在适当的数据结构中被索引(例如，用于稍后确定单词级信息)；并且类似地索引唯一字符(例如，用于稍后在确定字符级信息中使用)。
嵌入部件32被配置为使用训练语料库来确定单词级、字符级和句子级嵌入，并基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入。在一些实施例中，使用RNN和/或CNN来确定句子级、单词级和字符级嵌入。
如在图2(CNN)和图3(RNN)中所示，多层CNN和/或RNN架构200和300(分别)用于执行训练语料库的无监督预训练以学***移不变性来帮助降低整个网络的计算复杂度。在一些实施例中，平移不变性可能是对NLP问题的限制，因为对可变大小的输入句子应用了大的最大池(而可能需要保留序列/排序)。在图2中，权重(W)W1和W4是共享的，W2和W5是共享的，并且W3和W6是共享的。
如图3中所示，RNN可以解决这样的序列预测问题，因为它们通常在网络上拥有三组共享参数：输入到隐藏权重(W)302，隐藏到隐藏权重(U)304，以及隐藏到输出权重(V)306。这种权重共享属性允许RNN适用于NLP问题中的可变大小输入。(如图3中所示，RNN包括输入层308、隐藏层310和输出层312。)在图3中，X0,1,...t指时间t处的输入单词/字符；h0,1,...t指时间t处的相应隐藏状态；并且y表示输出。在一些实施例中，嵌入部件32被配置为使得RNN是双向RNN。双向RNN基于以下假设：时间t处的输出可能不仅取决于序列中的先前元素，而且取决于未来元素。例如，为了预测序列中缺失的单词/字符，可能需要考虑序列中缺失单词左侧的上下文和序列中缺失单词右侧的上下文。因此，双向RNN架构遵循RNN编码器-解码器方法，其中两个RNN被用于对源句子进行编码，以便在前向和后向两个方向上捕获句子中的单词的上下文属性；然后将一个RNN用作解码器以生成目标句子。在一些实施例中，双向RNN架构被多次馈送输入源句子序列。基于关注的模型中的术语“关注”表示在解码过程中强调(即，进行关注)某些源词。基于关注的解码机制允许模型在预测下一个目标词的同时搜索最相关的源词，这减轻了与相对长的句子中的长程依赖性相关的问题。
在一些实施例中，所学习的嵌入(CNN和/或RNN的输出)包括表示与训练语料库中的句子、单词、字符和/或其他信息相关联的上下文信息的向量。在一些实施例中，嵌入部件32被配置为使用从现有知识库(例如，图1中所示的外部资源24中包括的***，PubMed文章等)获得的语义关系来更新学习的嵌入。经更新的单词和字符级嵌入分别用于初始化基于注意的单词级和字符级双向LSTM网络(例如，如下所述)。
在一些实施例中，CNN和/或RNN架构包括多层高速公路网络，其特征在于在“信息高速公路”上跨越若干层的基本上无阻碍的信息流。可以使用随机梯度下降直接训练具有数百层的公路网络，从而开辟了研究极其深入和高效的架构的可能性。例如，公路网络的概念可以允许图2和图3中所示的架构中的更多层，通过允许远处层中的神经元与经修改的门控功能之间的直接连接，使得模型能够训练非常深的神经网络以改善模型性能。
回到图1，模型部件34被配置为生成基于单词级关注的模型，基于字符级关注的模型和/或其他模型。如上所述，在一些场景中，单独的单词级模型可能不会基于先前未知的源(输入)单词准确地预测目标单词(例如，释义)。***10通过除了单词级模型之外还确定字符级模型来解决此问题。当使用字符级模型时，用于构成临床语言和/或文档的可用字符(例如，字母)的数量是有限的(与作者可用的无限数量的可能单词和/或句子不同)，从而便于准确预测一个或多个目标词(例如，通过减少可能的候选释义的集合，减少准确预测目标词所需的计算资源的量等)。
在一些实施例中，所述基于单词级关注的模型是单词级双向LSTM网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。图4A图示了LSTM网络的框图400以及描述LSTM网络的功能的对应方程402。LSTM网络是RNN，其在单独的时间步骤增加了内部记忆单元ct∈Rn。LSTM网络单元在单独时间的步骤取得三个输入xt；ht-1；ct-1并且产生时间步长t的隐藏状态ht和内部记忆状态ct。记忆单元经由三个学习门来控制：输入i，忘记f，输出o。这些记忆单元使用相对于时间的梯度的添加，从而最小化任何梯度***。在图4A中所示的等式中，Wx和Wh分别是x和h的学习参数；σ和tanh表示逐元素的S形和双曲正切函数；⊙是逐元素的乘法运算符；并且b表示增加的偏置。
如上所述，在一些实施例中，基于经更新的单词级和/或字符级嵌入生成单词级和字符级LSTM网络。在一些实施例中，基于训练语料库的单词、字符和/或其他特征来生成单词级和字符级LSTM网络(例如，不需要单词和/或字符级嵌入)。在这样的实施例中，单词级序列到序列模型是堆叠的残余单词级双向LSTM网络，并且字符级序列到序列模型是堆叠的残余字符级双向LSTM网络。堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接和/或其他信息。
图4B图示了堆叠的残余双向LSTM网络。在一些实施例中，模型部件34(图1)被配置为使得单词级和/或字符级LSTM网络包括垂直堆叠，其中，LSTM网络的前一层的输出作为输入馈送到后续层。在一些实施例中，在时间步骤t输入的除第一层之外的所有层都从前一层hlt的隐藏状态传递，其中l表示层。因此，对于层1，激活被描述为：
其中，递归地确定隐藏状态h，并且在t＝0和l＝0处的ht (l)由下式给出(例如，如图4A所示)：
ht＝ot⊙tanh(ct)。
在一些实施例中，如4B中所示，向正在学习的函数(例如，堆叠的LSTM网络406和408)添加残量x 404便于更深的网络训练而不过度拟合数据(在图4B的描述中，使用H'代替F以便避免与上述忘记门符号混淆；同样，如在图4A中，图4B中的“X”表示输入)。应注意，不一定在LSTM网络的每个堆叠层之后添加残余连接。例如，在四层堆叠LSTM网络中(例如，对于字符级和/或单词级模型中的任一个和/或两者)，可以在第二层添加残余连接作为逐点添加，使得输入需要与ht的输出处于相同的维度。模型部件34(图1)被配置为便于LSTM网络的上一隐藏单元堆叠，其允许剪切ht以匹配xt-2的尺寸(在它们不相同时)。通过填充x以匹配尺寸可以获得类似的结果。因此，针对具有残余连接的层学习的函数H'由下式给出：
有利地，添加残余连接不会增加可学习的参数以增加模型的复杂性。
返回图1，系集部件36被配置为提供一个或多个候选释义。一个或多个候选释义是自然语言输入的释义。候选释义是基于单词级和基于字符级关注的模型来确定的。以此方式，例如，除了基于单词级关注的模型之外，还可以使用基于字符级关注的模型，以克服单独使用单词级模型的一个或多个潜在缺陷(例如，以生成准确的以前未知单词的释义)。另外，在某些情况下，单独使用字符级模型进行释义生成可能会周期性地产生不正确的字符排序，从而产生不寻常和/或非智能的单词。系集部件36利用系集学习架构，其利用单词级和字符级模型的长处。
系集部件36被配置为基于单词级LSTM模型和字符-LSTM模型两者来确定多个候选释义。在一些实施例中，单词级和字符级模型可以单独地生成两组或更多组候选释义。例如，可以通过模型来生成单词级和字符级候选释义确定，其中，模型可以在输入层取得单词级/字符级输入并在预测/输出层生成单词级/字符级输出(它们组合在一起包括四组候选释义)。类似地，可以组合用于生成模型本身的多种方法(例如，双向编码器-解码器，基于关注的软搜索、堆叠残余LSTM网络等)以从相同的训练语料库产生多个学习模型，这可以贡献候选临床释义的多个不同的集合。
在一些实施例中，基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来确定所述一个或多个候选释义。在一些实施例中(例如，当基于单词级关注的模型是堆叠的残余单词级双向LSTM网络并且基于字符级关注的模型是堆叠的残余字符级双向LSTM网络时)所述一个或多个候选释义仅基于训练语料库确定，而不需要单词级和/或字符级嵌入。
增强部件38被配置为确定和/或利用奖励函数强化学习模型。奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子和/或其他信息进行比较。增强部件38从由系集部件36确定的可能释义中选择单独的候选释义，并使用奖励函数来确定候选释义相对于目标句子的好坏程度。奖励函数对候选释义与源/目标句子上下文的接近程度进行量度。奖励函数可以由任何句子相似性函数定义，该函数可以在意义、新颖性和语法性方面测量两个句子之间的相似性。可以基于单词选择与句子嵌入所传达的上下文信息的比较来基本上确定对个体可能释义的奖励。增强部件38被配置为使得由***10生成的释义是候选释义中最高排序(例如，基于比较和/或“奖励”)的一个。
增强部件38被配置为使用图5中所示的强化学习架构。如图5中所示，在强化学习架构500中，代理502与环境504交互。响应于个体动作506，环境504生成状态508奖励510对，并且代理502基于其从状态508奖励510对学习的内容来生成后续动作。增强部件38和系集部件36被配置为使得生成候选释义是“动作”506(例如，其中，操作由对应于代理502的系集部件36执行)以及对候选释义词的语义相似性和新颖性与对应于状态508奖励510对的目标句子的选择的比较的结果。
回到图1，输出部件40被配置为输出对自然语言输入的释义。输出的释义可以是由系集部件36提供的候选释义之一。可以基于增强部件38的比较，由系集部件36确定的一个或多个候选释义，单词级和字符级模型和/或其他信息来确定输出释义。输出部件可以将释义输出到计算设备18以经由用户接口16显示，将输出释义存储在电子存储器22中，将输出释义传送到外部资源24和/或执行其他操作。
图6总结了由***10(图1中所示)执行的一部分操作。图6总结了由***10的实施例执行的操作，其中，基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来确定所述一个或多个候选释义(与其中为以下情况的实施例不同：基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，基于字符级关注的模型是堆叠的残余字符级双向LSTM网络，并且所述一个或多个候选释义仅基于训练语料库确定，而不需要单词级和/或字符级嵌入)。例如，如图6中所示，***10(例如，图1中示出并在此描述的训练语料库部件30)被配置为获得600训练语料库。***10(例如，嵌入部件32)被配置为使用训练语料库来确定602、604单词级、字符级和句子级嵌入。在一些实施例中，使用RNN和/或CNN来确定句子级、单词级和字符级嵌入。***10被配置为基于根据现有知识库610、612中已知的语义关系来更新606、608单词级、字符级和句子级嵌入。***10(例如，模型部件34)被配置为生成614单词级和基于字符级关注的模型。在一些实施例中，所述基于单词级关注的模型是单词级双向LSTM网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。基于经更新的单词级和字符级嵌入和/或其他信息来生成单词级和字符级LSTM网络。***10(例如，系集部件36)被配置为提供616候选释义。在该实施例中，如图6中所示，***10(例如，系集部件36)被配置为使得基于基于单词级和字符级关注的模型，经更新的句子级嵌入和/或其他信息来确定一个或多个候选释义。***10(例如，增强部件38和/或输出部件40)被配置为确定618奖励函数强化学习模型，其被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较620，并基于比较来输出622对自然语言输入624的候选释义。
返回图1，电子存储设备22包括电子地存储信息的电子存储设备介质。电子存储设备22的电子存储介质可以包括与***10一体地(即，基本上不可移除)提供的***存储器和/或可经由例如端口(例如，USB端口，火线端口等)或驱动器(例如，磁盘驱动器等)可移除地可连接到***10的可移除存储器中的一个或两者。电子存储设备22可以(整体地或部分地)是***10内的分开的部件，或者电子存储设备22可以(整体地或部分地)与***10的一个或多个其他部件(例如，计算设备18，处理器20等)被集成提供。在一些实施例中，电子存储设备22可以与处理器20一起定位于服务器中，定位于为外部资源24的一部分的服务器中，定位于与对象12相关联的计算设备18中，和/或定位于其他位置。电子存储设备22可以包括以下中的一个或多个：光学可读存储介质(例如光盘等)、磁性可读存储介质(例如磁带、磁硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如EPROM、RAM等)，固态存储介质(例如闪速驱动器等)、和/或其他电子地可读的存储介质。电子存储设备22可以存储软件算法，由处理器20确定的信息(例如，候选释义)，经由计算设备18和/或用户接口16和/或其他外部计算***接收的信息，从外部资源24接收的信息，和/或使***10能够如本文所述起工作的其他信息。
外部资源24包括信息的源(例如，数据库；网站；训练语料库源，例如paraphrase.org，SNOMED CT等；由嵌入部件32用于更新单词级、字符级和句子级嵌入的现有知识库；参与***10的外部实体(例如，存储可由***10释义的临床记录的健康护理提供者的电子数据库***)，***10外部的一个或多个服务器，网络(例如，互联网)，电子存储设备，与Wi-Fi技术相关的设备，与蓝牙技术相关的设备，数据输入设备，传感器，扫描仪和/或其他资源。在一些实现中，本文中归属到外部资源24的功能中的一些或全部可以由包括在***10中的资源来提供。外部资源24可以被配置为经由有线和/或无线连接、经由网络(例如，局域网和/或互联网)、经由蜂窝技术、经由Wi-Fi技术和/或经由其他资源来与处理器20、计算设备18、电子存储设备22和/或***10的其他部件通信。
图7示出了利用释义生成***来生成释义的方法700。所述***包括计算设备，所述计算设备包括一个或多个硬件处理器和/或其他部件。所述一个或多个硬件处理器由机器可读指令配置为执行计算机程序部件。计算机程序部件包括训练语料库部件、嵌入部件、模型部件、系集部件、增强部件、输出部件和/或其他部件。以下呈现的方法700的操作旨在是说明性的。在一些实施例中，方法700可以利用一个或多个未描述的额外的操作来完成、或者在没有所讨论的操作中的一个或多个的情况下完成。另外，在图7中图示并且在以下描述的方法700的操作的顺序不旨在限制。
在一些实施例中，方法700可以在一个或多个处理设备(例如，数字处理器、逻辑处理器、被设计为处理信息的数字电路、被设计为处理信息的逻辑电路、状态机、和/或用于电子地处理信息的其他机构)中实施。所述一个或多个处理设备可以包括响应于电子地存储在电子存储设备介质中的指令来执行方法700的操作中的一些或全部的一个或多个设备。所述一个或多个处理设备可以包括通过硬件、固件、和/或软件被专门设计为执行方法700的操作中的一个或多个设备。
在操作702，获得训练语料库。训练语料库包括语言、语言的释义和/或其他信息。该语言由作者以特定方式(例如，作为医学报告，医学记录等)排列的个体句子、短语、单词、字符(例如，字母)和/或其他成分形成。释义是与语言(例如，医学报告，医学记录等)相对应的字符、单词和/或其他符号，并且传达与由该语言传达的信息相同和/或类似的信息，但是以缩短的和/或缩写方式。例如，训练语料库可以包括临床语言(例如，句子，短语，单词，字符等)和以预定方式对应于临床语言的已知释义。在一些实施例中，操作702由与(在图1中所示并且在本文中描述的)训练语料库部件30相同或相似的一个或多个处理器来执行。
在操作704，生成单词级和基于字符级关注的模型。在一些实施例中，所述基于单词级关注的模型是单词级双向LSTM网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。基于训练语料库的单词、字符和/或其他特征来生成单词级和字符级LSTM网络。在一些实施例中，基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，并且基于字符级关注的模型是堆叠的残余字符级双向LSTM网络。堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接和/或其他信息。
在一些实施例中，操作704包括：使用训练语料库确定单词级、字符级和句子级嵌入；基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入；并且基于经更新的单词级和字符级嵌入来生成单词级和基于字符级关注的模型；在一些实施例中，使用RNN和/或CNN来确定句子级、单词级和字符级嵌入。在一些实施例中，操作704由与(在图1中所示并且在本文中描述的)嵌入部件32和/或模型部件34相同或相似的一个或多个处理器来执行。
在操作706，提供候选释义。一个或多个候选释义是自然语言输入的释义。候选释义是基于单词级和基于字符级关注的模型来确定的。在一些实施例中，基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来确定所述一个或多个候选释义。在一些实施例中，提供一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。在一些实施例中，操作706由与(在图1中所示并且在本文中描述的)系集部件36、增强部件38和/或输出部件40相同或相似的一个或多个处理器来执行。
尽管以上提供的说明出于基于当前认为最优选和现实的实施例的提供了说明的目的细节，但是应理解，这样的细节仅用于该目的并且本公开不限于明确公开的实施例，而是相反，旨在涵盖在随附权利要求书的精神和范围之内的修改和等价布置。例如，应该理解，本公开预期，在可能的范围内，任何实施例的一个或多个特征可以与任何其他实施例的一个或多个特征相组合。
在权利要求中，置于括号之间的任何附图标记都不应被解释为对权利要求的限制。词语“包括”或“包含”不排除存在多于权利要求中列出的那些之外的元件或步骤的存在。在枚举了若干器件的装置型权利要求中，这些装置中的若干个可以由相同的硬件项来实现。元件前的词语“一”或“一个”不排除存在多个这样的元件。在枚举了若干器件的任何装置型权利要求中，这些装置中的若干个可以由同一硬件项来实现。尽管在互不相同的从属权利要求中记载了特定元件，但是这并不指示不能有利地使用这些元件的组合。

Claims (21)

1.一种包括通过机器可读指令配置的一个或多个硬件处理器（20）的释义生成***（10），所述机器可读指令用于：
获得训练语料库，所述训练语料库包括语言和所述语言的释义；
使用所述训练语料库来确定单词级嵌入和字符级嵌入；
基于根据现有知识库已知的语义关系来更新所述单词级嵌入和所述字符级嵌入；
基于所述训练语料库以及经更新的单词级嵌入和经更新的字符级嵌入来生成基于单词级关注的模型和基于字符级关注的模型；并且
基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。
2.根据权利要求1所述的***，其中，所述一个或多个硬件处理器被配置为使得所述基于单词级关注的模型是单词级双向长短期记忆（LSTM）网络，并且所述基于字符级关注的模型是字符级双向长短期记忆网络，并且其中，所述单词级双向长短期记忆网络和所述字符级双向长短期记忆网络是基于所述训练语料库中的单词和字符来生成的。
3.根据权利要求1所述的***，其中，所述一个或多个硬件处理器被配置为基于所述训练语料库来生成基于句子级关注的模型，其中，所述一个或多个硬件处理器被配置为基于所述基于句子级关注的模型、所述基于单词级关注的模型和所述基于字符级关注的模型来提供所述自然语言输入的所述一个或多个候选释义。
4.根据权利要求1所述的***，其中，所述一个或多个硬件处理器还被配置为：使用所述训练语料库来确定句子级嵌入；基于根据现有知识库已知的语义关系来更新所述句子级嵌入；并且还基于经更新的句子级嵌入来提供所述一个或多个候选释义。
5.根据权利要求4所述的***，其中，所述一个或多个硬件处理器被配置为使用递归神经网络（RNN）和/或卷积神经网络（CNN）来确定所述单词级嵌入、所述字符级嵌入和所述句子级嵌入。
6.根据权利要求1所述的***，其中，所述一个或多个硬件处理器被配置为使得提供所述一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。
7.根据权利要求1所述的***，其中，所述一个或多个硬件处理器被配置为使得所述基于单词级关注的模型是堆叠的残余单词级双向长短期记忆（LSTM）网络，并且所述基于字符级关注的模型是堆叠的残余字符级双向长短期记忆网络，所述堆叠的残余单词级双向长短期记忆网络和所述堆叠的残余字符级双向长短期记忆网络包括给定长短期记忆网络的堆叠层之间的残余连接。
8.一种利用释义生成***（10）来生成释义的方法，所述***包括通过机器可读指令配置的一个或多个硬件处理器（20），所述方法包括：
获得训练语料库，所述训练语料库包括语言和对所述语言的释义；
使用所述训练语料库来确定单词级嵌入和字符级嵌入；
基于根据现有知识库已知的语义关系来更新所述单词级嵌入和所述字符级嵌入；
基于所述训练语料库并且基于经更新的单词级嵌入和经更新的字符级嵌入来生成基于单词级关注的模型和基于字符级关注的模型；并且
基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。
9.根据权利要求8所述的方法，其中，所述基于单词级关注的模型是单词级双向长短期记忆（LSTM）网络，并且所述基于字符级关注的模型是字符级双向长短期记忆网络，并且其中，所述单词级双向长短期记忆网络和所述字符级双向长短期记忆网络是基于所述训练语料库中的单词和字符来生成的。
10.根据权利要求8所述的方法，还包括：基于所述训练语料库来生成基于句子级关注的模型，并且基于所述基于句子级关注的模型、所述基于单词级关注的模型和所述基于字符级关注的模型来提供所述自然语言输入的所述一个或多个候选释义。
11.根据权利要求8所述的方法，还包括：使用所述训练语料库来确定句子级嵌入；基于根据现有知识库已知的语义关系来更新所述句子级嵌入；并且基于经更新的句子级嵌入来提供所述一个或多个候选释义。
12.根据权利要求11所述的方法，其中，使用递归神经网络（RNN）和/或卷积神经网络（CNN）来确定所述句子级嵌入、所述单词级嵌入和所述字符级嵌入。
13.根据权利要求8所述的方法，其中，提供所述一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。
14.根据权利要求8所述的方法，其中，所述基于单词级关注的模型是堆叠的残余单词级双向长短期记忆（LSTM）网络，并且所述基于字符级关注的模型是堆叠的残余字符级双向长短期记忆网络，所述堆叠的残余单词级双向长短期记忆网络和所述堆叠的残余字符级双向长短期记忆网络包括给定长短期记忆网络的堆叠层之间的残余连接。
15.一种用于生成释义的***（10），所述***包括：
用于获得训练语料库的单元，所述训练语料库包括语言和对所述语言的释义；
用于使用所述训练语料库来确定单词级嵌入和字符级嵌入的单元；
用于基于根据现有知识库已知的语义关系来更新所述单词级嵌入和所述字符级嵌入的单元；
用于基于所述训练语料库和经更新的单词级嵌入和经更新的字符级嵌入来生成基于单词级关注的模型和基于字符级关注的模型的单元；以及
用于基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义的单元。
16.根据权利要求15所述的***，其中，所述基于单词级关注的模型是单词级双向长短期记忆（LSTM）网络，并且所述基于字符级关注的模型是字符级双向长短期记忆网络，并且其中，所述单词级双向长短期记忆网络和所述字符级双向长短期记忆网络是基于所述训练语料库中的单词和字符来生成的。
17.根据权利要求15所述的***，还包括：用于基于所述训练语料库来生成基于句子级关注的模型并且基于所述基于句子级关注的模型、所述基于单词级关注的模型和所述基于字符级关注的模型来提供所述自然语言输入的所述一个或多个候选释义的单元。
18.根据权利要求15所述的***，还包括：用于使用所述训练语料库来确定句子级嵌入的单元；用于基于根据现有知识库已知的语义关系来更新所述句子级嵌入的单元；以及用于基于经更新的句子级嵌入来提供一个或多个候选释义的单元。
19.根据权利要求18所述的***，其中，使用递归神经网络（RNN）和/或卷积神经网络（CNN）来确定所述句子级嵌入、所述单词级嵌入和所述字符级嵌入。
20.根据权利要求15所述的***，其中，提供所述一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。
21.根据权利要求15所述的***，其中，所述基于单词级关注的模型是堆叠的残余单词级双向长短期记忆（LSTM）网络，并且所述基于字符级关注的模型是堆叠的残余字符级双向长短期记忆网络，所述堆叠的残余单词级双向长短期记忆网络和所述堆叠的残余字符级双向长短期记忆网络包括给定长短期记忆网络的堆叠层之间的残余连接。
CN201780008325.6A 2016-01-26 2017-01-23 用于神经临床释义生成的***和方法 Active CN108604227B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662286989P 2016-01-26 2016-01-26
US62/286,989 2016-01-26
PCT/IB2017/050325 WO2017130089A1 (en) 2016-01-26 2017-01-23 Systems and methods for neural clinical paraphrase generation

Publications (2)

Publication Number Publication Date
CN108604227A CN108604227A (zh) 2018-09-28
CN108604227B true CN108604227B (zh) 2023-10-24

Family

ID=57906816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780008325.6A Active CN108604227B (zh) 2016-01-26 2017-01-23 用于神经临床释义生成的***和方法

Country Status (5)

Country Link
US (1) US11068660B2 (zh)
EP (1) EP3408755A1 (zh)
JP (1) JP6876061B2 (zh)
CN (1) CN108604227B (zh)
WO (1) WO2017130089A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462802B (zh) 2014-11-14 2019-08-06 谷歌有限责任公司 生成映像的自然语言描述
CN109661672B (zh) * 2016-05-04 2023-08-22 渊慧科技有限公司 使用强化学习利用外部存储器增强神经网络
US10706351B2 (en) * 2016-08-30 2020-07-07 American Software Safety Reliability Company Recurrent encoder and decoder
US10810482B2 (en) * 2016-08-30 2020-10-20 Samsung Electronics Co., Ltd System and method for residual long short term memories (LSTM) network
EP3516591B1 (en) * 2016-09-26 2024-07-31 Google LLC Neural machine translation systems
US10691998B2 (en) * 2016-12-20 2020-06-23 Google Llc Generating templated documents using machine learning techniques
US11023662B2 (en) 2017-02-15 2021-06-01 Specifio, Inc. Systems and methods for providing adaptive surface texture in auto-drafted patent documents
US10621371B1 (en) 2017-03-30 2020-04-14 Specifio, Inc. Systems and methods for facilitating editing of a confidential document by a non-privileged person by stripping away content and meaning from the document without human intervention such that only structural and/or grammatical information of the document are conveyed to the non-privileged person
US11593564B2 (en) 2017-02-15 2023-02-28 Specifio, Inc. Systems and methods for extracting patent document templates from a patent corpus
US10417341B2 (en) 2017-02-15 2019-09-17 Specifio, Inc. Systems and methods for using machine learning and rules-based algorithms to create a patent specification based on human-provided patent claims such that the patent specification is created without human intervention
US10713443B1 (en) * 2017-06-05 2020-07-14 Specifio, Inc. Machine learning model for computer-generated patent applications to provide support for individual claim features in a specification
US10747953B1 (en) 2017-07-05 2020-08-18 Specifio, Inc. Systems and methods for automatically creating a patent application based on a claim set such that the patent application follows a document plan inferred from an example document
EP3563302A1 (en) 2017-04-20 2019-11-06 Google LLC Processing sequential data using recurrent neural networks
US11030394B1 (en) * 2017-05-04 2021-06-08 Amazon Technologies, Inc. Neural models for keyphrase extraction
CN108959235B (zh) * 2017-05-19 2021-10-19 北京庖丁科技有限公司 文字中获取表达式的方法和装置
KR102342066B1 (ko) * 2017-06-21 2021-12-22 삼성전자주식회사 뉴럴 네트워크 모델을 이용한 기계 번역 방법, 장치 및 그 장치를 학습시키기 위한 방법
EP3642764A1 (en) * 2017-07-17 2020-04-29 Google LLC Learning unified embedding
KR102424540B1 (ko) * 2017-10-16 2022-07-25 삼성전자주식회사 문장 생성 모델의 업데이트 방법 및 문장 생성 장치
CN109710915B (zh) * 2017-10-26 2021-02-23 华为技术有限公司 复述语句生成方法及装置
CN109783795B (zh) * 2017-11-14 2022-05-06 深圳市腾讯计算机***有限公司 一种摘要获取的方法、装置、设备及计算机可读存储介质
CN110019648B (zh) * 2017-12-05 2021-02-02 深圳市腾讯计算机***有限公司 一种训练数据的方法、装置及存储介质
US10672388B2 (en) 2017-12-15 2020-06-02 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for open-vocabulary end-to-end speech recognition
KR102608469B1 (ko) * 2017-12-22 2023-12-01 삼성전자주식회사 자연어 생성 방법 및 장치
US20190354836A1 (en) * 2018-05-17 2019-11-21 International Business Machines Corporation Dynamic discovery of dependencies among time series data using neural networks
CN110555203B (zh) * 2018-05-31 2023-05-30 北京百度网讯科技有限公司 文本复述方法、装置、服务器及存储介质
US11042712B2 (en) 2018-06-05 2021-06-22 Koninklijke Philips N.V. Simplifying and/or paraphrasing complex textual content by jointly learning semantic alignment and simplicity
US11087089B2 (en) * 2018-10-05 2021-08-10 Sap Se Aspect-driven multi-document summarization
US10810382B2 (en) * 2018-10-09 2020-10-20 Disney Enterprises, Inc. Automated conversion of vocabulary and narrative tone
JP7116309B2 (ja) * 2018-10-10 2022-08-10 富士通株式会社 コンテキスト情報生成方法、コンテキスト情報生成装置およびコンテキスト情報生成プログラム
CN109840322B (zh) * 2018-11-08 2023-06-20 中山大学 一种基于强化学习的完形填空型阅读理解分析模型及方法
CN109558591A (zh) * 2018-11-28 2019-04-02 中国科学院软件研究所 中文事件检测方法及装置
CN110232183B (zh) * 2018-12-07 2022-05-27 腾讯科技（深圳）有限公司 关键词提取模型训练方法、关键词提取方法、装置及存储介质
US10909320B2 (en) * 2019-02-07 2021-02-02 International Business Machines Corporation Ontology-based document analysis and annotation generation
US11966389B2 (en) * 2019-02-13 2024-04-23 International Business Machines Corporation Natural language to structured query generation via paraphrasing
US11227102B2 (en) * 2019-03-12 2022-01-18 Wipro Limited System and method for annotation of tokens for natural language processing
CN109948691B (zh) * 2019-03-14 2022-02-18 齐鲁工业大学 基于深度残差网络及注意力的图像描述生成方法和装置
KR102264899B1 (ko) * 2019-03-15 2021-06-11 에스케이텔레콤 주식회사 자연어 처리 시스템, 그 학습 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록매체
CN110111864B (zh) * 2019-04-15 2023-05-26 中山大学 一种基于关系模型的医学报告生成***及其生成方法
CN110032739B (zh) * 2019-04-18 2021-07-13 清华大学 中文电子病历命名实体抽取方法及***
US11554322B2 (en) 2019-04-26 2023-01-17 Sony Interactive Entertainment LLC Game controller with touchpad input
US11663519B2 (en) 2019-04-29 2023-05-30 International Business Machines Corporation Adjusting training data for a machine learning processor
CN110096711B (zh) * 2019-05-09 2022-10-28 中国科学技术大学 序列全局关注和局部动态关注的自然语言语义匹配方法
CN110287333A (zh) * 2019-06-12 2019-09-27 北京语言大学 一种基于知识库进行释义生成的方法及***
JP7175474B2 (ja) * 2019-07-24 2022-11-21 日本電信電話株式会社 文生成学習方法、文生成学習装置及びプログラム
US20210035013A1 (en) * 2019-07-31 2021-02-04 International Business Machines Corporation Refined user enablement utilizing reinforced learning
US11048356B2 (en) 2019-07-31 2021-06-29 Sony Interactive Entertainment LLC Microphone on controller with touchpad to take in audio swipe feature data
US11244116B2 (en) * 2019-09-03 2022-02-08 International Business Machines Corporation Automatically bootstrapping a domain-specific vocabulary
CN110619123B (zh) * 2019-09-19 2021-01-26 电子科技大学 一种机器阅读理解方法
CN110852063B (zh) * 2019-10-30 2023-05-05 语联网（武汉）信息技术有限公司 基于双向lstm神经网络的词向量生成方法及装置
WO2021112141A1 (ja) * 2019-12-03 2021-06-10 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
US11341334B2 (en) * 2020-01-28 2022-05-24 Here Global B.V. Method and apparatus for evaluating natural language input to identify actions and landmarks
CN111339407B (zh) * 2020-02-18 2023-12-05 北京航空航天大学 一种信息抽取云平台的实现方法
US20210287805A1 (en) * 2020-03-11 2021-09-16 National Taiwan University Systems and methods for prognosis prediction of acute myeloid leukemia patients
US11681914B2 (en) 2020-05-08 2023-06-20 International Business Machines Corporation Determining multivariate time series data dependencies
US11494562B2 (en) * 2020-05-14 2022-11-08 Optum Technology, Inc. Method, apparatus and computer program product for generating text strings
US11586830B2 (en) 2020-06-03 2023-02-21 PM Labs, Inc. System and method for reinforcement learning based controlled natural language generation
US11501071B2 (en) * 2020-07-08 2022-11-15 International Business Machines Corporation Word and image relationships in combined vector space
US11947908B2 (en) * 2021-04-07 2024-04-02 Baidu Usa Llc Word embedding with disentangling prior
US11431472B1 (en) 2021-11-22 2022-08-30 Morgan Stanley Services Group Inc. Automated domain language parsing and data extraction
CN117313704B (zh) * 2023-11-28 2024-02-23 江西师范大学 基于公有与私有特征分解的混合可读性评估方法与***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656477A (zh) * 2002-06-17 2005-08-17 国际商业机器公司 用于识别一种或者多种自然语言中的单词及其词性的***、方法、程序产品和网络

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050022114A1 (en) * 2001-08-13 2005-01-27 Xerox Corporation Meta-document management system with personality identifiers
US20070016401A1 (en) * 2004-08-12 2007-01-18 Farzad Ehsani Speech-to-speech translation system with user-modifiable paraphrasing grammars
US8150677B2 (en) * 2008-06-26 2012-04-03 Microsoft Corporation Machine translation using language order templates
US8122021B2 (en) * 2008-10-06 2012-02-21 Microsoft Corporation Domain expertise determination
US9049477B2 (en) * 2008-11-13 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for managing media content
US20110314003A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Template concatenation for capturing multiple concepts in a voice query
US8219724B1 (en) * 2010-09-29 2012-07-10 Emc Corporation Flexibly managing I/O operations based on application awareness
CA2793268A1 (en) * 2011-10-21 2013-04-21 National Research Council Of Canada Method and apparatus for paraphrase acquisition
US20140358519A1 (en) * 2013-06-03 2014-12-04 Xerox Corporation Confidence-driven rewriting of source texts for improved translation
US20150006148A1 (en) * 2013-06-27 2015-01-01 Microsoft Corporation Automatically Creating Training Data For Language Identifiers
US10373047B2 (en) * 2014-02-28 2019-08-06 Educational Testing Service Deep convolutional neural networks for automated scoring of constructed responses
US9881631B2 (en) * 2014-10-21 2018-01-30 Mitsubishi Electric Research Laboratories, Inc. Method for enhancing audio signal using phase information
US10115055B2 (en) * 2015-05-26 2018-10-30 Booking.Com B.V. Systems methods circuits and associated computer executable code for deep learning based natural language understanding
US20170154258A1 (en) * 2015-11-30 2017-06-01 National Institute Of Information And Communications Technology Joint estimation method and method of training sequence-to-sequence model therefor
US9753618B1 (en) * 2016-05-11 2017-09-05 Vignet Incorporated Multi-level architecture for dynamically generating interactive program modules

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656477A (zh) * 2002-06-17 2005-08-17 国际商业机器公司 用于识别一种或者多种自然语言中的单词及其词性的***、方法、程序产品和网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Combining Word-Level and Character-Level Models for Machine Translation Between Closely-Related Languages;PRESLAV NAKOV 等;PROCEEDINGS OF THE 50TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTIONAL LINGUISTICS;第2卷;第301-305页 *

Also Published As

Publication number Publication date
EP3408755A1 (en) 2018-12-05
US20190034416A1 (en) 2019-01-31
JP2019510290A (ja) 2019-04-11
CN108604227A (zh) 2018-09-28
JP6876061B2 (ja) 2021-05-26
US11068660B2 (en) 2021-07-20
WO2017130089A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
CN108604227B (zh) 用于神经临床释义生成的***和方法
Zhang et al. Shifting machine learning for healthcare from development to deployment and from models to data
CN111291181B (zh) 经由主题稀疏自编码器和实体嵌入的用于输入分类的表示学习
US10311146B2 (en) Machine translation method for performing translation between languages
WO2022007823A1 (zh) 一种文本数据处理方法及装置
US20200097814A1 (en) Method and system for enabling interactive dialogue session between user and virtual medical assistant
US20220147845A1 (en) Generation of recommendation reason
US20160350653A1 (en) Dynamic Memory Network
US10445654B2 (en) Learning parameters in a feed forward probabilistic graphical model
Pesaranghader et al. deepBioWSD: effective deep neural word sense disambiguation of biomedical text data
JP2016218995A (ja) 機械翻訳方法、機械翻訳装置及びプログラム
US20200159863A1 (en) Memory networks for fine-grain opinion mining
WO2023029506A1 (zh) 病情分析方法、装置、电子设备及存储介质
US11847411B2 (en) Obtaining supported decision trees from text for medical health applications
US20210042344A1 (en) Generating or modifying an ontology representing relationships within input data
US10936962B1 (en) Methods and systems for confirming an advisory interaction with an artificial intelligence platform
Fan et al. Deepdiary: Lifelogging image captioning and summarization
Yuan et al. Large language models for healthcare data augmentation: An example on patient-trial matching
Yuan et al. Llm for patient-trial matching: Privacy-aware data augmentation towards better performance and generalizability
US20230094828A1 (en) Audio file annotation
Hellrich et al. Modeling word emotion in historical language: Quantity beats supposed stability in seed word selection
US20210133627A1 (en) Methods and systems for confirming an advisory interaction with an artificial intelligence platform
US20220083907A1 (en) Data generation and annotation for machine learning
Wang et al. Journal of visual communication and image representation
Yang et al. A comprehensive review on knowledge graphs for complex diseases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant