CN106663092A - 具有罕见词处理的神经机器翻译*** - Google Patents

具有罕见词处理的神经机器翻译*** Download PDF

Info

Publication number
CN106663092A
CN106663092A CN201580033550.6A CN201580033550A CN106663092A CN 106663092 A CN106663092 A CN 106663092A CN 201580033550 A CN201580033550 A CN 201580033550A CN 106663092 A CN106663092 A CN 106663092A
Authority
CN
China
Prior art keywords
word
unknown
sentence
mark
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580033550.6A
Other languages
English (en)
Other versions
CN106663092B (zh
Inventor
国·V·勒
梁明唐
伊利亚·苏特思科韦尔
奥里奥尔·温亚尔斯
沃伊切赫·扎连芭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202010075314.3A priority Critical patent/CN111291553B/zh
Publication of CN106663092A publication Critical patent/CN106663092A/zh
Application granted granted Critical
Publication of CN106663092B publication Critical patent/CN106663092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/02—Comparing digital values
    • G06F7/023—Comparing digital values adaptive, e.g. self learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/10—Selecting, i.e. obtaining data of one kind from those record carriers which are identifiable by data of a second kind from a mass of ordered or randomly- distributed record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

用于具有罕见词处理的神经翻译***的方法、***和设备，包括编码在计算机存储介质上的计算机程序。一种相应地用源语言和目标语言来训练神经网络翻译***以跟踪目标句中的未知词的源句中的源的方法。

Description

具有罕见词处理的神经机器翻译***
背景技术
本说明书涉及神经机器翻译(NMT)***。神经机器翻译***是包括将一种自然语言的源自然语言句映射到不同自然语言的目标句的任何神经网络的一个***。
神经网络是采用一个或多个模型层来针对接收到的输入预测输出的机器学习模型。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即，隐藏层或输出层)的输入。网络的每个层依照相应的一组参数的当前值从接收到的输入产生输出。
已经做出了开发纯神经翻译模型的许多尝试。NMT***用反向传播进行训练简单并且它们的解码器易于实现。
当前NMT***的主要局限是它们对固定且适度大小的词汇表的依赖。结果，当前NMT***不能翻译罕见词，而仅能够使用单个符号来表示所有词汇表以外的词。凭经验地，人们已观察到具有许多罕见词的句往往被NMT***拙劣地翻译。
发明内容
本说明书描述在一个或多个计算机上被实现为一个或多个计算机程序的***如何能够被训练成执行并且使用神经网络翻译模型和罕见词后处理来执行自然语言翻译。
本说明书中所描述的主题能够以特定实施例实现以便实现以下优点中的一个或多个。简单的基于对齐的技术能够减轻并且甚至克服当前NMT***无法翻译不在它们的词汇表中的词的缺点。本说明书中所描述的技术适用于任何NMT***。
根据本文中所描述的第一方面，提供用于将来自源语言的源句的自然语言文本翻译为目标语言的目标句的计算机实现的翻译***。该翻译***包括一个或多个计算机以及存储翻译指令和翻译数据的一个或多个存储装置。翻译数据包括词典和神经网络翻译模型，所述神经网络翻译模型被训练成跟踪目标句中的未知词的源句中的起源并且针对目标句中的每个词汇表外(OOV)词发出相应的未知标记。该模型能操作用于发出(i)指针标记和(ii)空未知标记，指针标记是标识与未知标记相对应的源句中的相应源词的未知标记，并且空未知标记是不标识源句中的任何源词的标记。
当由一个或多个计算机执行时，翻译指令能操作用于使所述一个或多个计算机针对由神经网络翻译模型从源句发出的目标句中的每个指针标记，根据源句中所对应的源词替换指针标记。
替换每个指针标记可以包括使用词典来根据源句中所对应的源词执行词翻译并且用翻译的结果替换指针标记。可替选地，如果在词典中不存在这样的翻译，则替换指针标记可以包括用来自源句的所对应的源词替换目标句中的指针标记。
该神经网络翻译模型可以包含深度编码器长短期记忆模型和深度解码器长短期记忆模型。编码器可以被训练成能操作用于读取源句，一次一个词，以产生概括整个源句的大隐藏状态。解码器可以被从编码器的最终隐藏状态初始化并且被训练成能操作用于产生目标翻译，一次一个词，直到解码器发出句结束符号为止。
该神经网络翻译模型可以是深度神经网络。
该神经网络翻译模型可以是大型深度长短期记忆模型。所述神经网络翻译模型可以是六层深度长短期记忆模型。
根据本文中所描述的第二方面，提供了相应地用源语言和目标语言来训练神经网络翻译***以跟踪目标句中的未知词的源句中的源的方法。未知源词是未在预定源语言词汇表中找到的词并且未知目标词是未在预定目标语言词汇表中找到的词。该方法包括从平行语料库(corpus)得到对齐数据，该对齐数据在平行语料库中的每对源语言句和目标语言句中标识对齐的源词和目标词。根据对齐数据和罕见词模型句在平行语料库中被作注解以产生成对的源语言句和目标语言句的训练数据集。神经网络翻译模型在训练数据集上被训练。
得到对齐数据可以包括使用无监督对齐器来得到对齐数据。
该无监督的对齐器可以是BerkeleyAligner软件包。
罕见词模型可以是多个标记被用于未知源词和未知目标词的模型。与未知源词对齐的每个未知目标词可以使用相同的未知标记。未对齐或者与已知源词对齐的每个未知目标词可以使用特殊的空未知标记。
该方法可以包括，针对训练数据集中的每对句，按顺序用不同的未知源标记来给源句中的未知源词作注解，其中，未知源词的多个实例被用相同的标记作注解。该方法还可以包括给目标句中的未知目标词作注解，包括：用与未知源词的未知标记相同的未知标记来给与未知源词对齐的未知目标词作注解；以及用空未知标记来给未对齐或者与已知源词对齐的未知目标词作注解。
罕见词模型可以是使用仅单个未知标记的模型。在目标句中，位置标记可以被***在指示在相对位置在预定范围内的情况下目标词如何通过相对于源词的位置被对齐或者目标词不与任何源词对齐的每个目标词之后。
该方法还可以包括，针对训练数据集中的每对句，用相同的未知标记来给源句中的每个未知源词作注解并且给目标句中的目标词作注解，包括：用空标记来给未对齐的目标词作注解；以及用指示目标句中已对齐的目标词相对于源句中已对齐的源词的位置的相对位置的位置标记来给在相对于已对齐的源词的位置的预定范围内的每个对齐的目标词作注解。
位置的范围可以是-7、-6、…-1、0、1、…7。
可以不给不在位置的预定范围内的对齐的目标词作注解。
罕见词模型可以是使用各自同时表示(a)未知目标词和(b)在相对位置的范围内相对于已对齐的源词的相对位置的不同标记的模型。通用未知标记可以被用于所有其它的未知源词和目标词。
该方法还可以包括，针对训练数据集中的每对句，给仅未知词作注解，包括：在相对位置在相对位置的范围内的情况下，用表示目标词相对于所对应的对齐的源词的相对位置的位置标记来给每个对齐的未知目标词作注解；以及用通用未知标记来给所有另外未作注解的未知源词和未知目标词作注解。
给仅未知词作注解还可以包括用空标记来给每个未对齐的未知目标词作注解。
相对位置的范围可以是-7、-6、…-1、0、1、…7。
该方法还可以包括，针对训练数据集中的每对句，将目标句上的第i个未知词视为与源句中的第i个未知词对齐。
该方法还可以包括从对齐数据构造词典以在对包括目标句中的词汇表外标记的神经网络产生的机器翻译所执行的后处理步骤中的词翻译中使用。
在本文中还描述了编码有指令的计算机存储介质，所述指令当由一个或多个计算机执行时，使所述一个或多个计算机执行第二方面的操作。
在本文中还描述了包括一个或多个计算机以及存储指令的一个或多个存储装置的***，当由一个或多个计算机执行所述指令时，能操作用于使所述一个或多个计算机执行第二方面的操作。
在本文中还描述了编码有指令的计算机存储介质，当由一个或多个计算机执行所述指令时，使所述一个或多个计算机执行第一方面的***的操作。
在本文中还描述了包括第一方面的***的操作的计算机实现的方法。
在附图和以下描述中阐述本说明书中所描述的主题的一个或多个实施例的进一步细节。本主题的其它特征、方面和优点从本说明书、附图和权利要求书将变得显而易见。
附图说明
图1示出示例翻译***。
图2是用于训练神经翻译模型的示例过程的流程图。
图3是从源语言句产生目标语言句的流程图。
各个附图中的相同的附图标记和名称指示相同的元件。
具体实施方式
图1示出示例翻译***100。翻译***100是作为计算机程序被实现在一个或多个位置中的一个或多个计算机上的***的示例，在下面所描述的***、组件和技术被实现在所述一个或多个位置中。
翻译***100接收源自然语言的句，例如，源语言句110，并且将源自然语言句翻译成目标自然语言的目标句，例如，针对源语言句110的目标语言句150。
翻译***100包括神经网络翻译模型120、罕见词处理子***130和词典140。
神经网络翻译模型120是将源语言句映射到目标语言句的神经网络。神经网络翻译模型120可以是任何基于神经网络的翻译模型。例如，神经网络翻译模型120可以是深度神经网络。更具体地，神经网络翻译模型120可以是大型深度长短期记忆模型，例如，六层深度长短期记忆模型。
作为又一个示例，神经网络翻译模型120能够包含深度编码器长短期记忆模型和深度解码器长短期记忆模型，其中编码器被配置成能操作用于读取源句，一次一个词，以产生概括整个源句的大隐藏状态，并且解码器被从编码器的最终隐藏状态初始化并且被配置成能操作用于产生目标翻译，一次一个词，直到解码器发出句结束符号为止。在Sutskever、Ilya、Oriol Vinyals和Quoc V Le.“Sequence to sequence learning with neuralnetworks.”Advances in neural information processing systems.2014中更详细地描述了这样的神经网络翻译模型。
作为将源语言句映射到目标语言句的一部分，神经网络翻译模型120被配置成唯一地表示在预定源语言词汇表中找到的源词以及在预定目标语言词汇表中找到的目标词。也就是说，神经网络翻译模型120被配置成使用唯一地标识源词的标记来表示在源语言词汇表中的源词并且产生包括唯一地标识目标语言词汇表中的目标词的标记的目标句。
然而，在一些情况下，输入源语言句可以包括未被包括在源语言词汇表中的源词，即，不唯一地标识标记由神经网络翻译模型120识别并且该神经网络翻译模型因此不能够唯一地表示的源词。附加地，在一些情况下，神经网络翻译模型120可以确定目标句中的某些目标词不是来自目标语言词汇表的词。也就是说，针对目标语言句中的给定位置，神经网络翻译模型120可以确定该位置处的词不应该是目标语言词汇表中的词中的任一个而应该为未知词。不在源语言词汇表中的源词以及不在目标语言词汇表中的目标词将在本说明书中被称为词汇表外(OOV)词或未知词。
为了说明出现在目标语言句中的OOV词，翻译***100训练神经网络翻译模型120以跟踪目标句中的未知词的源句中的起源。特别地，翻译***100将神经网络翻译模型120训练成能操作用于发出(i)指针标记和(ii)空未知标记，指针标记是标识与未知标记相对应的源句中的相应源词的未知标记，并且空未知标记是不标识源句中的任何源词的标记。在下面参考图2更详细地描述训练神经网络翻译模型120以跟踪目标句中的未知词的源句中的起源。
一旦神经网络翻译模型120已被训练，罕见词处理子***130就能够针对由神经网络翻译模型120从源句发出的目标句中的每个指针标记，使用词典140来根据源句中所对应的源词替换指针标记。
词典140是将源语言的词映射到这些词变成目标语言的翻译的词典。在一些实施方式中并且如参考图2在下面所描述的，翻译***100与神经网络翻译模型120的训练相结合地产生词典140。在一些其它实施方式中，***使用常规的词典作为词典140。
特别地，当指针标记被包括在由神经网络翻译模型120发出的目标句中时，罕见词处理子***130使用词典140来根据由指针标记指向的源句中所对应的源词执行词翻译并且用翻译的结果替换指针标记。如果在词典140中不存在这样的翻译，则罕见词处理子***130用来自源句的所对应的源词替换目标句中的指针标记。在下面参考图3更详细地描述从源句产生目标句。
图2是用于训练神经网络翻译模型的示例过程200的流程图。为了方便，过程200将被描述为由位于一个或多个位置中的一个或多个计算机的***来执行。例如，适当地编程的翻译***(例如，图1的翻译***100)能够执行过程200。
***获得平行语料库(步骤202)。该平行语料库包括句的对，其中每个对包括源语言句以及作为该源语言句变成目标语言的翻译的目标语言句。
***从平行语料库导出对齐数据(步骤204)。该对齐数据针对平行语料库中的每对句来标识对齐的源词和目标词。也就是说，该对齐数据针对目标语言句中的每个目标词来标识与目标词对齐的源语言句中的源词(若有的话)。***能够使用无监督词对齐算法来从平行语料库导出对齐数据。例如，词对齐算法可以是在例如可在https:// code.***.com/p/berkeleyaligner/得到的词对齐软件包BerkeleyAligner的版本2.0中实现的一个。
***根据对齐数据来给平行语料库中的句作注解以产生成对的源语言句和目标语言句的训练数据集(步骤206)。特别地，***依照通过将被称为罕见词模型的东西所指定的特定注解策略来给句作注解。本说明书特别地描述了三个罕见词模型注解策略：可复制模型、位置全模型以及位置未知模型。
在可复制模型中，多个标记被用于未知源词和未知目标词，与未知源词对齐的每个未知目标词使用与未知源词相同的未知标记，并且未对齐或者与已知源词对齐的每个未知目标词使用特殊的空未知标记。
特别地，在可复制模型中，***针对每对句按顺序用不同的未知源标记来给该对中的源语言句中的未知源词作注解，其例外是任何未知源词的多个实例被用相同的未知源标记作注解。***然后通过用与未知源词的未知标记相同的未知标记来给与未知源词对齐的未知目标词作注解并且用空未知标记来给未对齐或者与已知源词对齐的未知目标词作注解来给目标句中的未知目标词作注解。
在位置全模型中，使用仅单个未知标记，并且在每个目标句中，位置标记被***在指示(i)在相对位置在预定范围内的情况下目标词如何通过相对于源词的位置被对齐或者(ii)目标词不与任何源词对齐的目标句中的每个目标词之后。
特别地，在位置全模型中，***针对每对句用相同的未知标记来给源句中的每个未知源词作注解。***然后用空标记来给目标句中的每个未对齐的目标词作注解并且用指示目标句中已对齐的目标词相对于源句中已对齐的源词的位置的相对位置的位置标记来给在相对于已对齐的源词的位置的预定范围内的目标句中的每个对齐的目标词作注解。例如，位置的预定范围可以是-7、-6、…-1、0、1、…7。在一些实施方式中，不在位置的预定范围内的已对齐的目标词未被作注解。
在位置未知模型中，使用各自同时表示(a)未知目标词以及(b)在相对位置的范围内相对于已对齐的源词的相对位置的不同标记并且通用未知标记被用于所有其它的未知源词和目标词。例如，范围可以是-7、-6、…-1、0、1、…7。
特别地，在位置未知模型中，***仅给每对句中的源句和目标句中的未知词作注解。更具体地，***在相对位置在相对位置的范围内的情况下用表示目标词相对于所对应的对齐的源词的相对位置的位置标记来给每个对齐的未知目标词作注解，并且用通用未知标记来给所有另外未作注解的未知源词和未知目标词作注解。在一些实施方式中，***还用空标记来给每个未对齐的未知目标词作注解。
***在训练数据集上训练神经网络翻译模型(例如，图1的神经网络翻译模型120)(步骤208)。***使用常规的神经网络训练技术(例如，反向传播训练技术)来在训练数据集上训练神经网络翻译模型。
通过在训练数据集上训练神经网络翻译模型，***将该神经网络翻译模型训练成跟踪目标句中的未知词的源句中的起源并且针对目标句中的每个未知词发出相应的未知标记以及能操作用于发出(i)指针标记和(ii)空未知标记，指针标记是标识与未知标记相对应的源句中的相应源词的未知标记，并且空未知标记是不标识源句中的任何源词的标记。
***使用对齐数据来构造词典(步骤210)。***构造该词典以在对包括目标句中的词汇表外标记的神经网络产生的机器翻译所执行的后处理步骤中的词翻译中使用。特别地，***通过将目标句中对齐的未知目标词映射到与目标词对齐的源词来构造词典。在一些其它实施方式中，不是构造词典，而是***在后处理步骤中使用包括从源语言到目标语言的翻译的常规词典。
图3是用于从输入语言句产生目标语言句的示例过程300的流程图。为了方便，过程300将被描述为由位于一个或多个位置中的一个或多个计算机的***来执行。例如，适当地编程的翻译***(例如，图1的翻译***100)能够执行过程300。
***接收源语言句(步骤302)。
***使用训练的神经网络翻译模型(例如，图1的神经网络翻译模型120)来处理句以产生目标语言句(步骤304)。
作为使用经训练的神经网络翻译模型来处理句的一部分，***依照在训练神经网络翻译模型时使用的罕见词模型注解策略来给源语言句作注解。
特别地，在可复制模型中，***按顺序用不同的未知源标记来给源语言句中的任何未知源词作注解，其中任何未知源词的多个实例被用相同的未知源标记作注解。在位置全模型和位置未知模型中，***用相同的未知标记来给源语言句中的每个未知源词作注解。
***提供已作注解的源句作为经训练的神经网络翻译模型的输入并且该神经网络翻译模型产生目标语言句。
如果在目标语言句中存在任何未知目标词，则神经网络翻译***已被训练成针对每个未知目标词发出(i)指针标记或(ii)空未知标记，指针标记是标识与未知标记相对应的源句中的相应源词的未知标记，空未知标记是针对每个未知目标词不标识源句中的任何源词的标记。
指针标记标识源句中的源词的方式依赖于在训练神经网络翻译模型时使用的罕见词模型注解策略。
特别地，在可复制模型中，每个指针标记与用来给源语言句中的特定未知源词作注解的未知源标记相同。在位置全模型和位置未知模型中，每个指针标记是指示目标词如何通过相对于所对应的源词的位置被对齐的未知标记。
***替换目标语言句中的任何指针标记以为源语言句产生最终翻译(步骤306)。也就是说，***使用目标语言的每个指针标记来标识对应于该指针标记的源词。***使用词典来根据源句中所对应的源词执行词翻译并且用翻译的结果替换指针标记，或者，在词典中不存在这样的翻译的情况下，用来自源句的所对应的源词替换目标句中的指针标记。
本说明书中所描述的主题和功能操作的实施例能够用数字电子电路、用有形地具体化的计算机软件或固件、用包括本说明书中所公开的结构及其结构等同物的计算机硬件或者用它们中的一个或多个的组合来实现。本说明书中所描述的主题的实施例能够作为一个或多个计算机程序(即，在有形非暂时性程序载体上编码以用于由数据处理设备执行或者控制数据处理设备的操作的计算机程序指令的一个或多个模块)被实现。可替选地或此外，能够将程序指令编码在人工产生的传播信号(例如，被产生来编码信息以便发送到适合的接收器设备以供数据处理设备执行的机器产生的电、光学或电磁信号)上。计算机存储介质可以是机器可读存储装置、机器可读存储基底、随机或串行存取存储器装置，或它们中的一个或多个的组合。
术语“数据处理设备”包含用于处理数据的所有类型的设备、装置和机器，作为示例包括可编程处理器、计算机或多个处理器或计算机。设备能够包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。设备除了包括硬件之外，还能够包括为所述的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***或它们中的一个或多个的组合的代码。
计算机程序(其也可以被称为或者描述为程序、软件、软件应用、模块、软件模块、脚本或代码)能够用任何形式的编程语言(包括编译或解释语言)或者描述性或过程语言来编写，并且它能够被以任何形式(包括作为独立程序或者作为适合于在计算环境中使用的模块、组件、子例行程序或其它单元)部署。计算机程序可以但不必对应于文件***中的文件。能够在保持其它程序或数据的文件的一部分(例如，存储在标记语音文档中的一个或多个脚本)中、在专用于所述的程序的单个文件中或在多个协调文件(例如，存储一个或多个模块、子程序或代码的部分的文件)中存储程序。能够将计算机程序部署成在一个计算机上或者在位于一个站点处或跨越多个站点分布并且通过通信网络互连的多个计算机上执行。
本说明书中所描述的过程和逻辑流程能够由执行一个或多个计算机程序的一个或多个可编程计算机来执行以通过对输入数据进行操作并且产生输出来执行功能。过程和逻辑流程还能够由专用逻辑电路来执行，并且设备还能够作为专用逻辑电路被实现，所述专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
作为示例，适合于执行计算机程序的计算机能够基于通用微处理器或专用微处理器或两者，或任何其它类型的中央处理单元。一般地，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必要元件是用于依照指令执行或者实行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器装置。一般地，计算机还将包括或者被可操作地耦合以从用于存储数据的一个或多个大容量存储装置(例如，磁盘、磁光盘或光盘)接收数据或者向一个或多个大容量存储装置传递数据或两者。然而，计算机不必具有这些装置。而且，能够将计算机嵌入在另一装置(例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位***(GPS)接收器或便携式存储装置(例如，通用串行总线(USB)闪存驱动器)等等)中。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质以及存储器装置，作为示例包括半导体存储器装置，例如，EPROM、EEPROM和闪存装置；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器能够由专用逻辑电路补充或者被并入专用逻辑电路。
为了提供与用户的交互，能够将本说明书中所描述的主题的实施例实现在具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示)监视器)以及用户能够通过其向计算机提供输入的键盘和指示装置(例如，鼠标或轨迹球)的计算机上。其它类型的装置也能够被用来提供与用户交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且能够以包括声输入、语音输入或触觉输入的任何形式接收来自用户的输入。此外，计算机能够通过向由用户使用的装置发送文档并且从由用户使用的装置接收文档(例如，通过响应于从web浏览器接收到的请求而向用户的客户端装置上的web浏览器发送web页面)来与用户交互。
本说明书中所描述的主题的实施例能够被实现在计算***中，所述计算***包括后端组件(例如，作为数据服务器)，或者其包括中间件组件(例如，应用服务器)，或者其包括前端组件(例如，具有用户能够通过其与本说明中所描述的主题的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或一个或多个这种后端组件、中间件组件或前端组件的任何组合。***的组件能够通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如，互联网。
计算***能够包括客户端和服务器。客户端和服务器一般地彼此远离并且典型地通过通信网络交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
虽然本说明书包含许多特定实施方式细节，但是这些不应该被解释为对任何发明的范围或可能要求保护的范围构成限制，而应该被解释为可能特定于特定发明的特定实施例的特征的描述。还能够在单个实施例中相结合地实现在本说明书中在单独的实施例背景下所描述的特定特征。相反地，还能够单独地在多个实施例中或在任何适合的子组合中实现在单个实施例背景下所描述的各种特征。而且，尽管特征可以被以上描述为在特定组合中起作用并且甚至最初要求保护，但是来自要求保护的组合的一个或多个特征能够在一些情况下被从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然按特定次序在附图中描绘操作，但是这不应该被理解为要求这些操作被以所示出的特定次序或以顺序次序执行，或者要求执行所有图示的操作，以实现所希望的结果。在某些情况下，多任务处理和并行处理可能是有利的。而且，在上面所描述的实施例中使各种***模块和组件分离不应该被理解为在所有实施例中要求这种分离，而应该理解的是，所描述的程序组件和***一般地能够被一起集成在单个软件产品中或者被封装到多个软件产品中。
已经描述了本主题的特定实施例。其它实施例在以下权利要求的范围内。例如，权利要求中所记载的动作能够按照不同次序被执行并且仍然实现所希望的结果。作为一个示例，附图中所描绘的过程未必要求所示出的特定次序或顺序次序以实现所希望的结果。在某些实施方式中，多任务处理和并行处理可能是有利的。

Claims (26)

1.一种用于将来自源语言的源句的自然语言文本翻译为目标语言的目标句的计算机实现的翻译***，所述翻译***包括一个或多个计算机以及存储翻译指令和翻译数据的一个或多个存储装置，其中：
所述翻译数据包括：
词典；
神经网络翻译模型，所述神经网络翻译模型被训练成跟踪目标句中的未知词在源句中的起源并且针对所述目标句中的每个词汇表外OOV的词发出相应的未知标记，所述模型能操作用于发出(i)指针标记和(ii)空未知标记，所述指针标记是标识与所述未知标记相对应的所述源句中的相应源词的未知标记，并且所述空未知标记是不标识所述源句中的任何源词的标记；
当由所述一个或多个计算机执行时，所述翻译指令能操作用于使所述一个或多个计算机执行包括以下的操作：
针对由所述神经网络翻译模型从源句发出的目标句中的每个指针标记，根据所述源句中的对应源词来替换所述指针标记。
2.根据权利要求1所述的翻译***，其中，替换每个指针标记包括：
使用所述词典来根据所述源句中的所述对应源词来执行词翻译并且用所述翻译的结果替换所述指针标记，或者，在所述词典中不存在此种翻译的情况下，用来自所述源句的所述对应源词来替换所述目标句中的所述指针标记。
3.根据权利要求1至2中的任一项所述的翻译***，其中：
所述神经网络翻译模型包含深度编码器长短期记忆模型和深度解码器长短期记忆模型，其中：
所述编码器被训练成能操作用于读取所述源句，一次一个词，以产生概括整个源句的大隐藏状态；以及
所述解码器被从所述编码器的最终隐藏状态初始化并且被训练成能操作用于产生目标翻译，一次一个词，直到所述解码器发出句结束符号为止。
4.根据权利要求1至3中的任一项所述的翻译***，其中：
所述神经网络翻译模型是深度神经网络。
5.根据权利要求1至3中的任一项所述的翻译***，其中：
所述神经网络翻译模型是大型深度长短期记忆模型。
6.根据权利要求1至3中的任一项所述的翻译***，其中：
所述神经网络翻译模型是六层深度长短期记忆模型。
7.一种相应地用源语言和目标语言来训练神经网络翻译***以跟踪目标句中的未知词在源句中的源的方法，
其中：
未知源词是在预定源语言词汇表中未找到的词；以及
未知目标词是在预定目标语言词汇表中未找到的词；
所述方法包括：
从平行语料库导出对齐数据，所述对齐数据在所述平行语料库中的每对源语言句和目标语言句中标识对齐的源词和目标词；
根据所述对齐数据和罕见词模型来给所述平行语料库中的所述句作注解，以产生成对的源语言句和目标语言句的训练数据集；以及
在所述训练数据集上训练神经网络翻译模型。
8.根据权利要求7所述的方法，其中，导出对齐数据包括：使用无监督的对齐器来导出对齐数据。
9.根据权利要求8所述的方法，其中，所述无监督的对齐器是BerkeleyAligner软件包。
10.根据权利要求7至9中的任一项所述的方法，其中，所述罕见词模型是多个标记被用于未知源词和未知目标词的模型，其中：
与未知源词对齐的每个未知目标词使用相同的未知标记；以及
未对齐或者与已知源词对齐的每个未知目标词使用特殊的空未知标记。
11.根据权利要求7至9中的任一项所述的方法，还包括：针对所述训练数据集中的每对句：
按顺序用不同的未知源标记来给所述源句中的所述未知源词作注解，其中，未知源词的多个实例被用相同的标记作注解；以及
给所述目标句中的所述未知目标词作注解，包括：
用与所述未知源词的未知标记相同的未知标记来给与未知源词对齐的未知目标词作注解；
用空未知标记来给未对齐或者与已知源词对齐的未知目标词作注解。
12.根据权利要求7至9中的任一项所述的方法，其中，所述罕见词模型是仅使用单个未知标记的模型，其中：
在所述目标句中，位置标记被***在下述每个目标词之后：该目标词指示在相对位置处于预定范围内的情况下如何通过相对于源词的位置来对齐所述目标词、或者所述目标词没有与任何源词对齐。
13.根据权利要求7至9中的任一项所述的方法，还包括：针对所述训练数据集中的每对句：
用相同的未知标记来给所述源句中的每个未知源词作注解；以及
给所述目标句中的目标词作注解，包括：
用空标记来给未对齐的目标词作注解；以及
用位置标记来给相对于对齐的源词处于位置的预定范围内的每个对齐的目标词作注解，所述位置标记指示所述目标句中对齐的目标词相对于所述源句中的对齐的源词位置的相对位置。
14.根据权利要求12或权利要求13所述的方法，其中：
所述位置的范围是-7、-6、…-1、0、1、…7。
15.根据权利要求12至14中的任一项所述的方法，其中，没有处于所述位置的预定范围内的对齐的目标词未被作注解。
16.根据权利要求7至9中的任一项所述的方法，其中，所述罕见词模型是使用下述不同标记的模型：该不同标记中的每个同时表示(a)未知目标词和(b)相对于对齐的源词的相对位置处于相对位置范围内；以及
通用未知标记被用于所有其它的未知源词和目标词。
17.根据权利要求16所述的方法，其中：
所述相对位置范围是-7、-6、…-1、0、1、…7。
18.根据权利要求7至9中的任一项所述的方法，还包括：针对所述训练数据集中的每对句：
仅给未知词作注解，包括：
在所述相对位置处于相对位置范围内的情况下，用位置标记来给每个对齐的未知目标词作注解，所述位置标记表示所述目标词相对于对应的对齐源词的相对位置；以及
用通用未知标记来给所有其他未作注解的未知源词和未知目标词作注解。
19.根据权利要求18所述的方法，其中，仅给未知词作注解还包括：
用空标记来给每个未对齐的未知目标词作注解。
20.根据权利要求18或权利要求19所述的方法，其中：
所述相对位置范围是-7、-6、…-1、0、1、…7。
21.根据权利要求7至9中的任一项所述的方法，还包括：针对所述训练数据集中的每对句：
所述目标句上的第i个未知词被视为与所述源句中的第i个未知词对齐。
22.根据权利要求7至21中任何一项所述的方法，还包括：
从所述对齐数据来构造词典，以在后处理步骤中的词翻译中使用，所述后处理步骤是对包括目标句中的词汇表外标记的神经网络产生的机器翻译所执行的。
23.一种编码有指令的计算机存储介质，当所述指令由一个或多个计算机执行时，使所述一个或多个计算机执行根据权利要求7至22中的任一项所述的相应方法的操作。
24.一种***，所述***包括：
一个或多个计算机以及存储指令的一个或多个存储装置，当所述指令由所述一个或多个计算机执行时，能操作用于使所述一个或多个计算机执行根据权利要求7至22中的任一项所述的相应方法的操作。
25.一种编码有指令的计算机存储介质，当所述指令由一个或多个计算机执行时，使所述一个或多个计算机执行根据权利要求1至6中的任一项所述的***的操作。
26.一种计算机实现的方法，所述方法包括根据权利要求1至6中的任一项所述的***的操作。
CN201580033550.6A 2014-10-24 2015-10-23 具有罕见词处理的神经机器翻译*** Active CN106663092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010075314.3A CN111291553B (zh) 2014-10-24 2015-10-23 具有罕见词处理的神经机器翻译***

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462068601P 2014-10-24 2014-10-24
US62/068,601 2014-10-24
PCT/US2015/057229 WO2016065327A1 (en) 2014-10-24 2015-10-23 Neural machine translation systems with rare word processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010075314.3A Division CN111291553B (zh) 2014-10-24 2015-10-23 具有罕见词处理的神经机器翻译***

Publications (2)

Publication Number Publication Date
CN106663092A true CN106663092A (zh) 2017-05-10
CN106663092B CN106663092B (zh) 2020-03-06

Family

ID=54365469

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580033550.6A Active CN106663092B (zh) 2014-10-24 2015-10-23 具有罕见词处理的神经机器翻译***
CN202010075314.3A Active CN111291553B (zh) 2014-10-24 2015-10-23 具有罕见词处理的神经机器翻译***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010075314.3A Active CN111291553B (zh) 2014-10-24 2015-10-23 具有罕见词处理的神经机器翻译***

Country Status (4)

Country Link
US (2) US10133739B2 (zh)
EP (1) EP3210132A1 (zh)
CN (2) CN106663092B (zh)
WO (1) WO2016065327A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221330A (zh) * 2017-05-26 2017-09-29 北京搜狗科技发展有限公司 标点添加方法和装置、用于标点添加的装置
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机***有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN107590138A (zh) * 2017-08-18 2018-01-16 浙江大学 一种基于词性注意力机制的神经机器翻译方法
CN108132932A (zh) * 2017-12-27 2018-06-08 苏州大学 带有复制机制的神经机器翻译方法
CN109840331A (zh) * 2019-01-31 2019-06-04 沈阳雅译网络技术有限公司 一种基于用户词典的神经机器翻译方法
WO2019113783A1 (zh) * 2017-12-11 2019-06-20 中译语通科技股份有限公司 一种机器翻译数字泛化方法及***、计算机、计算机程序
CN110555097A (zh) * 2018-05-31 2019-12-10 罗伯特·博世有限公司 在口语语言理解中利用联合的指针和注意力的槽位填充
CN110612536A (zh) * 2017-05-19 2019-12-24 谷歌有限责任公司 神经机器翻译的逐深度可分离卷积
CN110688837A (zh) * 2019-09-27 2020-01-14 北京百度网讯科技有限公司 数据处理的方法及装置
CN110945495A (zh) * 2017-05-18 2020-03-31 易享信息技术有限公司 基于神经网络的自然语言查询到数据库查询的转换
CN111931517A (zh) * 2020-08-26 2020-11-13 腾讯科技（深圳）有限公司 文本翻译方法、装置、电子设备以及存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102357322B1 (ko) 2016-05-06 2022-02-08 이베이 인크. 인공신경망 기계 번역시 메타 정보를 이용하는 기법
US9922017B2 (en) * 2016-05-19 2018-03-20 International Business Machines Corporation Misaligned annotation processing
KR102565274B1 (ko) * 2016-07-07 2023-08-09 삼성전자주식회사 자동 통역 방법 및 장치, 및 기계 번역 방법 및 장치
KR102565275B1 (ko) * 2016-08-10 2023-08-09 삼성전자주식회사 병렬 처리에 기초한 번역 방법 및 장치
KR102577584B1 (ko) * 2016-08-16 2023-09-12 삼성전자주식회사 기계 번역 방법 및 장치
US20180068330A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Deep Learning Based Unsupervised Event Learning for Economic Indicator Predictions
US10565493B2 (en) * 2016-09-22 2020-02-18 Salesforce.Com, Inc. Pointer sentinel mixture architecture
US10346548B1 (en) * 2016-09-26 2019-07-09 Lilt, Inc. Apparatus and method for prefix-constrained decoding in a neural machine translation system
JP6870076B2 (ja) * 2016-09-26 2021-05-12 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ ニューラル機械翻訳システム
JP6705506B2 (ja) * 2016-10-04 2020-06-03 富士通株式会社 学習プログラム、情報処理装置および学習方法
US10529088B2 (en) * 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
KR102637338B1 (ko) 2017-01-26 2024-02-16 삼성전자주식회사 번역 보정 방법 및 장치와 번역 시스템
WO2018197921A1 (en) 2017-04-25 2018-11-01 Systran A translation system and a method thereof
US10447635B2 (en) 2017-05-17 2019-10-15 Slice Technologies, Inc. Filtering electronic messages
CN110574049B (zh) 2017-05-19 2023-05-16 谷歌有限责任公司 多任务多模态机器学习***
KR102342066B1 (ko) * 2017-06-21 2021-12-22 삼성전자주식회사 뉴럴 네트워크 모델을 이용한 기계 번역 방법, 장치 및 그 장치를 학습시키기 위한 방법
KR101970008B1 (ko) * 2017-06-23 2019-04-18 (주)디노비즈 딥러닝 신경망회로에 의한 번역알고리즘을 구비한 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램 및 사용자 장치
US11847246B1 (en) * 2017-09-14 2023-12-19 United Services Automobile Association (Usaa) Token based communications for machine learning systems
KR102509821B1 (ko) * 2017-09-18 2023-03-14 삼성전자주식회사 Oos 문장을 생성하는 방법 및 이를 수행하는 장치
KR102509822B1 (ko) * 2017-09-25 2023-03-14 삼성전자주식회사 문장 생성 방법 및 장치
CN107783960B (zh) * 2017-10-23 2021-07-23 百度在线网络技术（北京）有限公司 用于抽取信息的方法、装置和设备
US10341456B2 (en) * 2017-11-20 2019-07-02 Marc Berger Caching sticker profiles within a sticker communication system
KR102424514B1 (ko) * 2017-12-04 2022-07-25 삼성전자주식회사 언어 처리 방법 및 장치
US10423727B1 (en) 2018-01-11 2019-09-24 Wells Fargo Bank, N.A. Systems and methods for processing nuances in natural language
CN108255817B (zh) * 2018-01-19 2020-06-12 中国科学院软件研究所 基于web检索的实体翻译方法
US11803883B2 (en) 2018-01-29 2023-10-31 Nielsen Consumer Llc Quality assurance for labeled training data
CN108197123A (zh) * 2018-02-07 2018-06-22 云南衍那科技有限公司 一种基于智能手表的云翻译***和方法
WO2019167296A1 (ja) * 2018-02-28 2019-09-06 日本電信電話株式会社 自然言語処理のための装置、方法及びプログラム
CN108549644A (zh) * 2018-04-12 2018-09-18 苏州大学 面向神经机器翻译的省略代词翻译方法
CN108763230B (zh) * 2018-06-07 2020-07-21 南京大学 利用外部信息的神经机器翻译方法
CN110795928B (zh) * 2018-07-16 2023-09-05 中移(苏州)软件技术有限公司 一种基于神经网络的语言句子切分方法及装置
CN109062908B (zh) * 2018-07-20 2023-07-14 北京雅信诚医学信息科技有限公司 一种专用翻译器
CN109117483B (zh) * 2018-07-27 2020-05-19 清华大学 神经网络机器翻译模型的训练方法及装置
CN109359304B (zh) * 2018-08-22 2023-04-18 新译信息科技（深圳）有限公司 限定性神经网络机器翻译方法及存储介质
US10854189B2 (en) * 2018-09-24 2020-12-01 Amazon Technologies, Inc. Techniques for model training for voice features
US10937413B2 (en) 2018-09-24 2021-03-02 Amazon Technologies, Inc. Techniques for model training for voice features
WO2020064990A1 (en) * 2018-09-27 2020-04-02 Deepmind Technologies Limited Committed information rate variational autoencoders
CN111160004B (zh) * 2018-11-07 2023-06-27 北京猎户星空科技有限公司 一种断句模型的建立方法及装置
US11831344B2 (en) * 2019-01-21 2023-11-28 Dsp Group Ltd. Providing codewords
CN109902314B (zh) * 2019-04-18 2023-11-24 中译语通科技股份有限公司 一种术语的翻译方法和装置
CN110147556B (zh) * 2019-04-22 2022-11-25 云知声（上海）智能科技有限公司 一种多向神经网络翻译***的构建方法
CN110472255B (zh) * 2019-08-20 2021-03-02 腾讯科技（深圳）有限公司 神经网络机器翻译方法、模型、电子终端以及存储介质
US11341340B2 (en) * 2019-10-01 2022-05-24 Google Llc Neural machine translation adaptation
CN111046677B (zh) * 2019-12-09 2021-07-20 北京字节跳动网络技术有限公司 一种翻译模型的获取方法、装置、设备和存储介质
CN111178094B (zh) * 2019-12-20 2023-04-07 沈阳雅译网络技术有限公司 一种基于预训练的稀缺资源神经机器翻译训练方法
CN111368566B (zh) * 2020-03-19 2023-06-30 中国工商银行股份有限公司 文本处理方法、装置、电子设备及可读存储介质
US11455146B2 (en) 2020-06-22 2022-09-27 Bank Of America Corporation Generating a pseudo-code from a text summarization based on a convolutional neural network
US11704506B2 (en) * 2020-08-26 2023-07-18 Google Llc Learned evaluation model for grading quality of natural language generation outputs
US11551002B2 (en) * 2020-08-26 2023-01-10 Google Llc Learned evaluation model for grading quality of natural language generation outputs
WO2022081618A1 (en) * 2020-10-14 2022-04-21 TTEC Digital, LLC Integrated orchestration of intelligent systems
US11875141B2 (en) * 2020-11-20 2024-01-16 Infosys Limited System and method for training a neural machine translation model
KR20220093653A (ko) * 2020-12-28 2022-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770458A (zh) * 2009-01-07 2010-07-07 三星电子（中国）研发中心 基于实例短语的机器翻译方法
US20110288852A1 (en) * 2010-05-20 2011-11-24 Xerox Corporation Dynamic bi-phrases for statistical machine translation
CN102662936A (zh) * 2012-04-09 2012-09-12 复旦大学 融合Web挖掘、多特征与有监督学习的汉英未登录词翻译方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477451A (en) * 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
JPH07175813A (ja) * 1993-10-27 1995-07-14 Ricoh Co Ltd 複合通信処理装置
US8874431B2 (en) * 2001-03-16 2014-10-28 Meaningful Machines Llc Knowledge system method and apparatus
US8332207B2 (en) * 2007-03-26 2012-12-11 Google Inc. Large language models in machine translation
US8229729B2 (en) * 2008-03-25 2012-07-24 International Business Machines Corporation Machine translation in continuous space
US8615388B2 (en) * 2008-03-28 2013-12-24 Microsoft Corporation Intra-language statistical machine translation
KR20100037813A (ko) * 2008-10-02 2010-04-12 삼성전자주식회사 통계적 자동 번역 장치 및 방법
CN101599235B (zh) * 2009-04-27 2011-10-19 成都科来软件有限公司 一种网络协议多语言同时显示***及方法
US8725509B1 (en) * 2009-06-17 2014-05-13 Google Inc. Back-off language model compression
US8554558B2 (en) * 2010-07-12 2013-10-08 Nuance Communications, Inc. Visualizing automatic speech recognition and machine translation output
KR101682207B1 (ko) * 2010-08-23 2016-12-12 에스케이플래닛 주식회사 토큰 분리 및 번역 과정을 통합한 통합 디코딩 장치 및 그 방법
US8781810B2 (en) * 2011-07-25 2014-07-15 Xerox Corporation System and method for productive generation of compound words in statistical machine translation
US20130103695A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Machine translation detection in web-scraped parallel corpora
US8918320B2 (en) * 2012-01-03 2014-12-23 Nokia Corporation Methods, apparatuses and computer program products for joint use of speech and text-based features for sentiment detection
US8990066B2 (en) * 2012-01-31 2015-03-24 Microsoft Corporation Resolving out-of-vocabulary words during machine translation
US9613027B2 (en) * 2013-11-07 2017-04-04 Microsoft Technology Licensing, Llc Filled translation for bootstrapping language understanding of low-resourced languages
CN103646019A (zh) * 2013-12-31 2014-03-19 哈尔滨理工大学 一种多个机器翻译***融合的方法及装置
JP5850512B2 (ja) * 2014-03-07 2016-02-03 国立研究開発法人情報通信研究機構 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム
US20150286632A1 (en) * 2014-04-03 2015-10-08 Xerox Corporation Predicting the quality of automatic translation of an entire document

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770458A (zh) * 2009-01-07 2010-07-07 三星电子（中国）研发中心 基于实例短语的机器翻译方法
US20110288852A1 (en) * 2010-05-20 2011-11-24 Xerox Corporation Dynamic bi-phrases for statistical machine translation
CN102662936A (zh) * 2012-04-09 2012-09-12 复旦大学 融合Web挖掘、多特征与有监督学习的汉英未登录词翻译方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DZMITRY BAHDANAU 等: "Neural Machine Translation by Jointly Learning to Align and Translate", 《HTTP://ARXIV.ORG/PDF/1409.0473V3.PDF》 *
ILYA SUTSKEVER等: "Sequence to Sequence Learning with Neural Networks", 《HTTP://ARXIV.ORG/PDF/1409.3215V1.PDF》 *
RASHMI GANGADHARAIAH: "Coping with Data-sparsity in Example-based Machine Translation", 《DISSERTATION ABSTRACTS INTERNATIONAL》 *
孙常龙 等: "基于***的未登录词译文挖掘", 《计算机研究与发展》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526507B2 (en) 2017-05-18 2022-12-13 Salesforce, Inc. Neural network based translation of natural language queries to database queries
CN110945495B (zh) * 2017-05-18 2022-04-29 易享信息技术有限公司 基于神经网络的自然语言查询到数据库查询的转换
CN110945495A (zh) * 2017-05-18 2020-03-31 易享信息技术有限公司 基于神经网络的自然语言查询到数据库查询的转换
CN110612536B (zh) * 2017-05-19 2024-01-26 谷歌有限责任公司 神经机器翻译的逐深度可分离卷积
US11803711B2 (en) 2017-05-19 2023-10-31 Google Llc Depthwise separable convolutions for neural machine translation
CN110612536A (zh) * 2017-05-19 2019-12-24 谷歌有限责任公司 神经机器翻译的逐深度可分离卷积
CN107221330A (zh) * 2017-05-26 2017-09-29 北京搜狗科技发展有限公司 标点添加方法和装置、用于标点添加的装置
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机***有限公司 一种翻译的方法、目标信息确定的方法及相关装置
US11928439B2 (en) 2017-07-25 2024-03-12 Tencent Technology (Shenzhen) Company Limited Translation method, target information determining method, related apparatus, and storage medium
WO2019019916A1 (zh) * 2017-07-25 2019-01-31 腾讯科技（深圳）有限公司 翻译的方法、目标信息确定的方法及相关装置、存储介质
CN107590138B (zh) * 2017-08-18 2020-01-31 浙江大学 一种基于词性注意力机制的神经机器翻译方法
CN107590138A (zh) * 2017-08-18 2018-01-16 浙江大学 一种基于词性注意力机制的神经机器翻译方法
US10929619B2 (en) 2017-12-11 2021-02-23 Glabal Tone Communication Technology Co., Ltd. Numerical generalization method for machine translation and system, computer and computer program thereof
WO2019113783A1 (zh) * 2017-12-11 2019-06-20 中译语通科技股份有限公司 一种机器翻译数字泛化方法及***、计算机、计算机程序
CN108132932A (zh) * 2017-12-27 2018-06-08 苏州大学 带有复制机制的神经机器翻译方法
CN110555097A (zh) * 2018-05-31 2019-12-10 罗伯特·博世有限公司 在口语语言理解中利用联合的指针和注意力的槽位填充
CN109840331B (zh) * 2019-01-31 2023-04-28 沈阳雅译网络技术有限公司 一种基于用户词典的神经机器翻译方法
CN109840331A (zh) * 2019-01-31 2019-06-04 沈阳雅译网络技术有限公司 一种基于用户词典的神经机器翻译方法
CN110688837A (zh) * 2019-09-27 2020-01-14 北京百度网讯科技有限公司 数据处理的方法及装置
CN110688837B (zh) * 2019-09-27 2023-10-31 北京百度网讯科技有限公司 数据处理的方法及装置
CN111931517A (zh) * 2020-08-26 2020-11-13 腾讯科技（深圳）有限公司 文本翻译方法、装置、电子设备以及存储介质
CN111931517B (zh) * 2020-08-26 2023-12-12 腾讯科技（深圳）有限公司 文本翻译方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN106663092B (zh) 2020-03-06
EP3210132A1 (en) 2017-08-30
US20190188268A1 (en) 2019-06-20
CN111291553A (zh) 2020-06-16
WO2016065327A1 (en) 2016-04-28
US10936828B2 (en) 2021-03-02
US10133739B2 (en) 2018-11-20
US20160117316A1 (en) 2016-04-28
CN111291553B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN106663092A (zh) 具有罕见词处理的神经机器翻译***
US12014259B2 (en) Generating natural language descriptions of images
US10409908B2 (en) Generating parse trees of text segments using neural networks
US11222252B2 (en) Generating representations of input sequences using neural networks
US11853879B2 (en) Generating vector representations of documents
US10268671B2 (en) Generating parse trees of text segments using neural networks
US10635977B2 (en) Multi-task learning using knowledge distillation
US11093813B2 (en) Answer to question neural networks
CN109313719B (zh) 使用神经网络生成文本段的依存性解析
US10628735B2 (en) Reading comprehension neural networks
CN110140133A (zh) 机器学习任务的隐式桥接
US11954594B1 (en) Training recurrent neural networks to generate sequences
CN111488742B (zh) 用于翻译的方法和装置
WO2016032778A1 (en) Word classification based on phonetic features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant