CN113366484A - 用于解释自然语言句子的神经网络 - Google Patents

用于解释自然语言句子的神经网络 Download PDF

Info

Publication number
CN113366484A
CN113366484A CN201980075386.3A CN201980075386A CN113366484A CN 113366484 A CN113366484 A CN 113366484A CN 201980075386 A CN201980075386 A CN 201980075386A CN 113366484 A CN113366484 A CN 113366484A
Authority
CN
China
Prior art keywords
meaning
neuron
neural network
phrase
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980075386.3A
Other languages
English (en)
Inventor
米哈伊尔·尼古拉耶维奇·莫林
耶奥伊·米哈伊洛维奇·佩尔斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Invec Co ltd
Original Assignee
Invec Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Invec Co ltd filed Critical Invec Co ltd
Publication of CN113366484A publication Critical patent/CN113366484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及计算机***，并且旨在用于以自然语言解释句子。神经网络由神经元层组成。第一神经元层旨在用于解释句子中各个单词的含义。中间神经元层旨在用于解释句子中的短语，其中短语中的单词数量对应于神经元层的数量。最后神经元层由输出神经元表示，并且旨在用于基于在前面的神经元层中解释的词汇含义来解释句子。输入层和中间层的每个神经元包括旨在用于存储单词或短语的含义的存储器单元。此外，为了改进解释的质量，为每个此类含义分配了二进制特征，其编码根据规则描述，其中“1”是单词或短语的主要含义并且“0”是单词或单词组的次要含义。

Description

用于解释自然语言句子的神经网络
技术领域
本发明涉及用于解释自然语言句子的计算工具，包括执行上下文敏感的机器翻译。本发明可以用于各种工业和社会领域，其中语际沟通管理是必要条件。
背景技术
沟通管理是项目管理知识体系(Project Management Body of Knowledge，PMBOK)中突出的能力之一。正是由于国际合作的发展才产生了对项目的利益相关者之间的优质沟通的越来越多的需求。类似地，语言障碍往往是使人际沟通复杂化以及了解技术性质的文本实质的一个问题。
与需要从源语言到目标语言的消息密集翻译的项目有关的另一个问题是利用专家翻译人员的专业知识，其在项目结束时丢失，因为此类专业知识的数字化不足以在随后包含类似或相同主题的项目中使用。普遍接受的翻译质量指标是项目参与者处理的上下文的短语的翻译语料库的相关性，即翻译的质量直接取决于上下文。
在一个示例中，现有技术中已知的Reverso Context Web服务(访问模式：http://context.reverso.net/)提供了基于专业翻译人员执行的先前翻译的文本翻译。打开用户的请求，指定的服务器在目标语言中提供了源单词或短语在不同上下文中的含义的采样。这里，用户接收上下文选项，其中可以使用原始语言中的单词或短语。然而，这种已知的资源不会通知用户翻译结果是表示主要含义还是次要含义。这种资源的进一步缺点是其结合单词和短语的含义时的缺陷，由此可能将它们解释为完整句子的一部分。例如，在提交该申请的日期，已知资源对句子“Nobody can go back and start a new beginning,butanyone can start today and make a new ending”的翻译进行如下：“Никтонеможетвозвращатьсяиначинатьновоеначало,нолюбойможетначинатьсегодняиделатьновоеокончание”。该示例示出了在使用现有技术的服务时功能方面的限制。
从专利文献中已知以下等同物。美国专利号8,533,130(IPC G06F15/18，公开日09/10/2013)公开了一种装置，其中神经网络的使用旨在注释搜索结果。该装置由连接到处理器和神经网络的存储器组成。神经网络由多个单词神经元、多个句子神经元、至少一个文档神经元、至少一些单词神经元与句子神经元之间的多个连接，以及至少一些单词神经元与文档神经元之间的多个连接组成。因此，神经网络被配置为能够响应于文档神经元的激活而激活句子神经元之一。装置处理器被配置为依据输入数据改变显示器上的多个单词神经元的位置，由此改变单个单词神经元的位置导致与句子神经元中的至少一个有关的注释的改变。已知发明使得可以通过使用神经网络来产生对信息的本质的简要概述。然而，通过使用用于解释句子的已知解决方案可能导致原始句子中的一些所包含的含义的完全或部分损失。
美国专利号5,416,696(IPC G06F17/27，公开日05/16/1995)公开了一种用于使用神经网络翻译单词的装置和方法。根据该已知发明的神经网络包含神经元，在其存储器单元中存储有源语言和目标语言的单词的相关联的含义。神经元通过与不同语言中的单词相关联的正连接和负连接互连，所述单词是语言和语义近似的。此外，利用该神经网络的装置具有存储器，所述存储器包含涵盖源语言和目标语言的语法规则。нейроннуюсеть,такжесодержитпамятьсправиламиграмматикидляоригинальногоицелевогоязыков。在解释源句子时，装置基于源句子的单词顺序向用户显示输出，从而允许它传达源句子的字面含义。然而，当使用已知发明时，结果也可以是原始句子含义的部分丢失，因为神经网络存储器单元不被配置为存储由几个单词或短语组成的语言结构。
发明内容
开发人员要解决的技术问题是创建多层神经网络，所述多层神经网络被配置为解释原始信息，以便以与此类信息的用户相关的语言呈现原始信息。
通过利用专家的经验来改进解释自然语言句子的质量代表本发明的技术结果。
该技术结果是通过本发明实现的，由此用于解释自然语言句子的所要求保护的神经网络包括神经元层。此外，第一神经元层旨在解释句子的各个单词的含义。中间神经元层被配置用于解释句子的短语，其中单词的数量对应于神经网络中的神经元层的数量。最后神经元层由输出神经元表示，并且被配置为基于在先前神经元层中解释的词汇含义来解释句子。因此，输入层和中间层的每个神经元包含用于存储单词或短语的含义的存储器单元，其中每个含义对应于二进制特征，其编码由以下规则表征：“1”是单词或短语的基本含义，“0”是单词或短语的附加含义。
出于本申请的目的，术语“解释”的含义将主要用于指从源语言翻译为目标语言的过程。然而，该术语的使用可以适用于其他技术领域，这需要转换源信息以便用户更容易理解。
其中本发明与从现有技术已知的技术方案不同，主要如下：它配置用于解释短语的神经网络的单独层的神经元，其中单词的数量等于神经网络中的层的数量；它为所解释的单词或短语的含义分配二进制特征，从而指示所解释的单词或短语的基本含义或附加含义；输出神经元考虑它们的基本含义或附加含义和源句子的单词顺序而执行单词和短语的组合。在科学技术和专利文献中公开可用信息的分析期间，没有识别出具有相同的基本特征并提供在实施本发明时实现的技术结果的技术方案。
本发明的以下示例性实施方案不能用于限制通过本发明的权利要求假设的本发明构思。所提供的示例用于更详细地说明本发明的本质，而本发明本身不限于所呈现的具体细节。
附图说明
图1示出了用于解释自然语言句子的神经网络。
具体实施方式
解释是人类大脑的认知功能之一，其允许以基于规则的方式理解信息内容。当需要将信息翻译成另一种状态以便理解信息的本质时，可以实施解释特征。例如，为了了解基于数学逻辑的严格***以语言编写的数学公式的含义，必须可以将数学符号与目标语言的语义实质内容特性匹配。当需要以同一种语言转换句子时，也可能出现类似的问题，从而允许选择在特定情况下更合适的同义词，这取决于上下文和所选语体风格，即口语语言、正式语言、高雅语言等。当研究人员研究充斥复杂术语的科学出版物时，可能出现类似情况，无准备的读者并不总是可以理解该科学出版物。因此，当在单种语言内处理术语时并且同时当处理外国文献时，都可以在每当需要将源句子或原始语言的文本片段翻译为目标语言时对文本进行解释。
特别地，特别是在翻译研究领域，这个问题是瞩目的焦点，其中例如解决了将确保与国际合作有关的项目方面的语际沟通的任务。在此类项目的过程中，由专业翻译人员作为特定项目的一部分累积进行了大量翻译。这意味着在同一项目内，存在某种源语言单词将在目标语言中具有一个项目特定的基本含义的高可能性。这里，非项目特定的外语单词将具有附加含义。收集和捕获此类知识将使得将来可以重复使用专家翻译人员的专业知识，这将对同一主题领域内的翻译的速度和质量产生积极影响。这同样适用于特定科学或技术领域中的学术协作项目。
在开发信息***的先前阶段期间，通过对源信息元素分类和使用本体建模来解决分析、建模和解释用户信息的任务，其中使用将特征分配给知识库的记录的层次结构。此类本体结构的结构的复杂性允许通过专业化以及通过与存储在不同库部门中的书籍的类比来对知识库的记录进行详细排序。然而，在完成该排序后，知识库的这些记录和分配给其的关系将仅反映这种已建立的分类，即它们在处理后续用户信息时使用，其结构对用户而言尚未知晓，并且不会确保其有效地用于解释新信息。
可以通过在神经元的存储器单元中创建可训练的神经元网络来解决用于解释以自然语言表达的句子的工具的创建，其中存储了原始单词和短语的语义值。神经网络传统上在需要反映专家知识的领域中使用，因为它与外部环境的变化条件相关。
通过特定环境中的行动使人适应或教导人来进行正确响应的这种特征对应于由监督的机器学习解决的主要问题。所述问题包括对设定短语和语法结构的输入数据进行近似以便通过使用训练集(即源文本句子)，通过将其与测试集(其表示先前存储在神经网络中的源单词和短语的基本含义和附加含义)进行比较，并随后使用新单词、设定短语和语法结构的基本含义和附加含义来训练神经网络来获得最准确的输出响应。
为了更清楚地说明本发明，所有以下示例涉及在执行将原始语言的源单词、短语和句子翻译为目标语言方面对自然语言句子的解释。
根据图1，用于解释自然语言句子的神经网络由几个层Ln组成，其中n表示层的数量。神经网络的第一层L1被配置为解释各个源文本单词的含义。神经网络的第二层L2被配置为解释由两个单词组成的单独短语。类似地，第N层Ln被配置为解释由n个单词组成的短语。
每一层由神经元S组成。第一层L1的每个神经元S1i具有从多个存储器单元M获得的存储器单元，其包含用于将源语言的一个单词解释为目标语言的规则。解释规则包括将二进制特征分配给源语言中单词的含义。因此，如果将二进制特征“1”应用于目标语言的任意单词的含义，则其表示基本含义。其他翻译变体被分配了二进制特征“0”，由此该变体表示附加含义。可以例如由训练神经网络并且在翻译的上下文中知识渊博的专家翻译人员执行二进制特征的分配。在另一示例中，可以通过考虑在大量信息中单词或短语的翻译变体的频率的统计指标(例如，当比较由专家翻译人员翻译的文本的双语语料库时)来分配特征。
每一层的每个神经元对应于激活符号的序列，即，如果在源文本中出现单词“nobody”，则神经元S1i被激活，其存储器单元以目标语言存储单词“nobody”的值。当神经元被激活时，执行其目标函数fa，包括将单词或短语的基本值传送到表示输出加法器的最后一层的神经元SDNN的输入。神经网络组件是完全连接的，即，它支持网络的所有神经元对源语言文本的并行处理，包括输出加法器SDNN。所述特征也在图1中示出，根据该特征，输入符号序列P1、P2、P3、...、Pk在神经网络的所有层L的神经元的输入处并且在输出加法器SDNN的输入处同时接收。输入字符的序列可以由源句子的单独单词和短语、整个源句子、主要文本片段和语音输入的结果表示。
输出加法器的目标函数fDNN考虑源句子的单词顺序来聚合先前层的解释结果，并将目标语言中的原始句子返回给用户。由此产生的句子可以作为仅由基本词汇含义组成的结构以及由附加含义组成的结构而返回给用户。
如果目标语言的源句子中单词的含义未存储在网络神经元的存储器单元中，则输出加法器SDNN在用户接收到的文本中以原始语言返回该单词。
为了更清楚地说明本发明，在以下示例中英语显示为源语言并且俄语显示为目标语言
英语的原始句子是：
“Nobody can go back and start a new beginning,but anyone can starttoday and make a new ending.”
由单词和设定短语表示的句子结构的以下元素可由专家在分析句子结构时识别：“nobody can”、“go back”、“and”、“start a new beginning”、“but”、“anyone can”、“start”、“today”、“and”、“make a new ending”。
如果在其中创建了单个单词的第一层的神经元和设定短语的神经元以及第二层和后续层的语法结构，则训练的神经网络高效地工作。在网络中没有一个神经元可以以目标语言返回单词的含义的情况下，则在所解释的句子中，以原始语言向用户显示该单词。此类情况的发生可能向专家发出神经网络需要附加训练的信号。如果神经网络以源语言输出单词从而赋予其弃用的含义，这也可以向专家发出需要在神经网络层中的一个中进行更改的信号以便创建神经元，所述神经元存储可以与其比较翻译准确性的上下文的含义。因此，例如，单词“go”和“back”可以各自分别具有“go”和“back”的俄语的基本含义。然而，英语的短语“go back”是设定的。因此，在神经网络的第二层中保持短语“go back”的基本含义为“to return”是合逻辑的。
作为示例，要翻译上面的句子，第一神经网络层L1的神经元应该存储单词“nobody”、“can”、“go”、“back”、“and”、“start”、“a”、“new”、“beginning”、“but”、“anyone”、“start”、“today”、“make”和“ending”的俄语含义。
第二神经网络层L2的神经元应该存储以下短语的含义：
“nobody can”-“никто не может”；
“go back”-“вернуться обратно”；
“anyone can”-“каждый может”。
“new beginning”-“новое начало”；
“new ending”-“новое окончание”。
第二层还可以存储原始句子中出现的其他可能的单词组合。尽管在一些情况下存储非设定短语可能是冗余的，但是神经网络可能具有解决所遇到的语义模糊的能力。
此外，为了向用户提供进一步的信息，短语的许多附加含义也可以存储在神经元存储器单元中，例如：
《new beginning》-《новое начало》-1；
《new beginning》-《начало нового проекта》-0；
《new beginning》-《начало нового этапа》-0；
《new beginning》-《начало новой жизни》-0；
《new beginning》-《новая возможность》-0；
《new beginning》-《новая отправная точка》-0；
《new beginning》-《новое дело》-0；
《new beginning》-《новоеначинание》-0；
《new beginning》-《новое предприятие》-0；
《new beginning》-《новый проект》-0；
《new beginning》-《новый шанс》-0；
《new beginning》-《новый этап》-0。
在这种情况下，“1”表示分配给目标语言中短语的基本含义的二进制特征的值，“0”表示分配给目标语言中短语的附加含义的二进制特征的值。
对于短语“new ending”，存储短语的含义将通过类比完成：
《new ending》-《новое окончание》-1；
《new ending》-《новая концовка》-0；
“new ending”-“new completion”-0；
《new ending》-《новый финал》-0。
因此，上述设定短语“new beginning”和“new ending”是句子中的两个其他短语的子元素，即“make a new beginning”和“make a new ending”。由于训练，第四神经网络层L4的两个神经元的存储器单元包含以下词汇含义：
《make a new beginning》-《начать все заново》-1
《make a new beginning》-《начать новое дело》-0
《make a new beginning》-《начать с начала》-0
《make a new beginning》-《начать с чистого листа》-0
《make a new ending》-《завершить определенное новое дело》-1
“make a new ending”-“make a new ending”-0
《make a new ending》-《сделать новую концовку》-0
《make a new ending》-《сделать новый финал》-0
根据本发明的神经网络是完全连接的，即，原始句子由网络的所有层并行地解释，包括输出加法器神经元SDNN。这意味着，例如，同时从第一层L1的与单词“make”、“a”、“new”、“beginning”有关的神经元接收神经元SDNN值，正是短语“make a new beginning”的含义一样，即从第四层L4的神经元，并且在解释源句子时，从网络旧层接收的含义优先。鉴于原始句子的单词顺序特征，神经元SDNN以相同顺序聚合所产生的含义。因此，输出句子将具有以下外观：“Никто неможет вернуться обратно и начать все заново,но каждый можетначать сегодня и завершить определенное новое дело”。[“Noone can go back and start over,but everyone can start today and completeacertain new thing.”]
然后通过在相关网络层中创建新的神经元以便优化所产生的结果，用户分析解释的准确性并对其中包含的输入数据的新元素进行交互式训练。
同时，为了完善向用户提供的信息，神经网络显示包含输入数据的单词和短语的所有含义，从而确保对新短语的解释的准确性，其处理是新网络神经元的任务。
应注意，对于更高效的网络操作，神经元还可以包含原始语言中各种单词形式的含义。因此，在单词“go”的情况下，含义可以存储在其他可能的形式“goes”、“going”、“gone”、“have gone”、“has gone”、“has been going”等旁边。在考虑动词形式的人称进行翻译时，同样适用。在这种情况下，神经网络将存储短语“she has gone”、“he has gone”、“he is going”等的含义。
作为示例并且从现有技术中已知，用于训练神经网络的数据源可以是来自Reverso Context服务的数据，并且包含由专业翻译人员翻译的双语文本语料库。
所要求保护的用于将句子解释为自然语言的神经网络的功能可以部分地或完全地由一个或多个硬件逻辑部件实施。这些部件可以由例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、标准专用集成电路(ASSP)、片上***(SOC)、复杂可编程逻辑装置(CPLD)或另一种可配置处理器装置表示。
在不同的实施方案中，本发明还可以与客户端-服务器软件产品一起使用，其中客户端装置可以是个人计算机或移动装置，并且在客户端装置与服务器之间共享本发明提供的功能。另外，本发明可以用作基于云的软件产品的一部分，其中本发明提供的总功能被传送到服务器侧，并且客户端装置仅配备有Web浏览器或者访问互联网服务器的其他方法，从而为用户提供由互联网服务器生成的图形用户界面。
行业应用
通过重新使用专家经验来改进自然语言句子的解释质量代表了通过实施本发明获得的技术结果。本发明可以用于更通用目的的自动信息***，并且旨在组织包括在所有***中的需要将源文本从一种语言形式转换为另一种语言形式的语际沟通过程。

Claims (8)

1.一种由神经元层组成的用于解释自然语言句子的神经网络，其中第一神经元层被配置为解释句子的各个单词的含义，其中中间神经元层被配置为解释句子短语，所述句子短语中的单词数量对应于所述神经网络中的神经元层的数量，并且其中最后神经元层由输出神经元表示并且被配置为基于先前神经元层中的所解释的词汇含义来解释所述句子，其中输入层和中间层的每个神经元包含被配置为分别存储单词或短语的含义的存储器单元，其中每个此类含义对应于二进制特征，其编码由以下规则描述：“1”表示所述单词或短语的基本含义，“0”表示所述单词或短语的附加含义。
2.根据权利要求1所述的神经网络，其中用于确定单词或短语的所述含义的二进制符号的标准是它们在大量信息中使用的最大统计指标。
3.根据权利要求1所述的神经网络，其中用于确定单词或短语的所述含义的二进制特征的标准表示专家在考虑到使用所述单词或短语的上下文训练所述神经网络时做出的评估。
4.根据权利要求1所述的神经网络，其中所述输入层和所述中间层的每个神经元对应于为用户分配单词或短语的基本含义或附加含义并将所述基本含义传送到所述输出神经元的目标函数。
5.根据权利要求4所述的神经网络，其中在激活所述输入层神经元或中间层神经元后进行对此类神经元的所述目标函数的执行。
6.根据权利要求5所述的神经网络，其中用于激活所述输入层或中间层的所述神经元的条件是将所输入的单词或短语分别与单词或短语匹配，所述单词或短语的含义记录在所述神经元存储器单元中。
7.根据权利要求1所述的神经网络，其中所述输出神经元的所述目标函数是添加单词和短语的含义，所述单词和所述短语的所述含义在所述输入神经元层和所述中间神经元层中被解释。
8.根据权利要求1所述的神经网络，其在用户可编程门阵列上实施。
CN201980075386.3A 2018-11-19 2019-11-14 用于解释自然语言句子的神经网络 Pending CN113366484A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2018140784A RU2699396C1 (ru) 2018-11-19 2018-11-19 Нейронная сеть для интерпретирования предложений на естественном языке
RU2018140784 2018-11-19
PCT/RU2019/000812 WO2020106180A1 (ru) 2018-11-19 2019-11-14 Нейронная сеть для интерпретирования предложений на естественном языке

Publications (1)

Publication Number Publication Date
CN113366484A true CN113366484A (zh) 2021-09-07

Family

ID=67851394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980075386.3A Pending CN113366484A (zh) 2018-11-19 2019-11-14 用于解释自然语言句子的神经网络

Country Status (4)

Country Link
US (1) US12019991B2 (zh)
CN (1) CN113366484A (zh)
RU (1) RU2699396C1 (zh)
WO (1) WO2020106180A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210067294A (ko) * 2019-11-29 2021-06-08 한국전자통신연구원 자동 번역 장치 및 그 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470813A (zh) * 2003-06-26 2009-07-01 纽诺麦蒂克斯私人有限公司 具有学习和表达能力的神经网络
CN102402503A (zh) * 2010-09-15 2012-04-04 富士通株式会社 基于扩展的层次化短语模型的统计机器翻译装置和方法
US20130211820A1 (en) * 2012-02-15 2013-08-15 Electronics And Telecommunications Research Institute Apparatus and method for interpreting korean keyword search phrase
KR20140049252A (ko) * 2012-10-17 2014-04-25 임근석 영어문장을 구성하는 단어의 품사 배열 방식을 바탕으로 한 직독직해 교육 방법 및 이를 이용한 온라인 교육 시스템
CN105590623A (zh) * 2016-02-24 2016-05-18 百度在线网络技术（北京）有限公司 基于人工智能的字母音素转换模型生成方法及装置
CN107608973A (zh) * 2016-07-12 2018-01-19 华为技术有限公司 一种基于神经网络的翻译方法及装置
CN108491515A (zh) * 2018-03-26 2018-09-04 中国科学技术大学 一种用于校园心理咨询的句对匹配度预测方法
CN108647214A (zh) * 2018-03-29 2018-10-12 中国科学院自动化研究所 基于深层神经网络翻译模型的解码方法
CN108762523A (zh) * 2018-06-04 2018-11-06 重庆大学 基于capsule网络的输入法输出字符预测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416696A (en) * 1989-12-27 1995-05-16 Kabushiki Kaisha Toshiba Method and apparatus for translating words in an artificial neural network
DE4124501C2 (de) * 1991-07-24 1994-09-15 Dieter Prof Dr Ing Barschdorff Neuronales Netz mit automatischer Installation von Zwischenneuronen
US7412385B2 (en) * 2003-11-12 2008-08-12 Microsoft Corporation System for identifying paraphrases using machine translation
US9208144B1 (en) * 2012-07-12 2015-12-08 LinguaLeo Inc. Crowd-sourced automated vocabulary learning system
CN105068998B (zh) * 2015-07-29 2017-12-15 百度在线网络技术（北京）有限公司 基于神经网络模型的翻译方法及装置
US20170076199A1 (en) * 2015-09-14 2017-03-16 National Institute Of Information And Communications Technology Neural network system, and computer-implemented method of generating training data for the neural network
KR102565275B1 (ko) * 2016-08-10 2023-08-09 삼성전자주식회사 병렬 처리에 기초한 번역 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470813A (zh) * 2003-06-26 2009-07-01 纽诺麦蒂克斯私人有限公司 具有学习和表达能力的神经网络
CN102402503A (zh) * 2010-09-15 2012-04-04 富士通株式会社 基于扩展的层次化短语模型的统计机器翻译装置和方法
US20130211820A1 (en) * 2012-02-15 2013-08-15 Electronics And Telecommunications Research Institute Apparatus and method for interpreting korean keyword search phrase
KR20140049252A (ko) * 2012-10-17 2014-04-25 임근석 영어문장을 구성하는 단어의 품사 배열 방식을 바탕으로 한 직독직해 교육 방법 및 이를 이용한 온라인 교육 시스템
CN105590623A (zh) * 2016-02-24 2016-05-18 百度在线网络技术（北京）有限公司 基于人工智能的字母音素转换模型生成方法及装置
CN107608973A (zh) * 2016-07-12 2018-01-19 华为技术有限公司 一种基于神经网络的翻译方法及装置
CN108491515A (zh) * 2018-03-26 2018-09-04 中国科学技术大学 一种用于校园心理咨询的句对匹配度预测方法
CN108647214A (zh) * 2018-03-29 2018-10-12 中国科学院自动化研究所 基于深层神经网络翻译模型的解码方法
CN108762523A (zh) * 2018-06-04 2018-11-06 重庆大学 基于capsule网络的输入法输出字符预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAKOB USZKOREIT: "Transformer: A Novel Neural Network Architecture for Language Understanding", Retrieved from the Internet <URL:blog.research.***/2017/08/transformer-novel-neural-network.html> *
张文 等: "基于简单循环单元的深层神经网络机器翻译模型", 《中文信息学报》, 15 October 2018 (2018-10-15), pages 36 - 44 *

Also Published As

Publication number Publication date
US20210334470A1 (en) 2021-10-28
WO2020106180A1 (ru) 2020-05-28
RU2699396C1 (ru) 2019-09-05
US12019991B2 (en) 2024-06-25

Similar Documents

Publication Publication Date Title
Salur et al. A novel hybrid deep learning model for sentiment classification
Bharadiya A comprehensive survey of deep learning techniques natural language processing
US11157536B2 (en) Text simplification for a question and answer system
US20170300470A1 (en) Systems and methods for identifying evidentiary information
US11532387B2 (en) Identifying information in plain text narratives EMRs
Ly et al. A survey on natural language processing (nlp) and applications in insurance
US20230316003A1 (en) Natural Language Processing for Identifying Bias in a Span of Text
Majeed et al. Deep-EmoRU: mining emotions from roman urdu text using deep learning ensemble
Araujo et al. From bag-of-words to pre-trained neural language models: Improving automatic classification of app reviews for requirements engineering
Sivarethinamohan et al. Envisioning the potential of natural language processing (nlp) in health care management
Gupta et al. Senti_ALSTM: Sentiment analysis of movie reviews using attention-based-LSTM
Gasmi Medical text classification based on an optimized machine learning and external semantic resource
Tahayna et al. Applying english idiomatic expressions to classify deep sentiments in covid-19 tweets.
Kondurkar et al. Modern applications with a focus on training chatgpt and gpt models: Exploring generative ai and nlp
US20190318220A1 (en) Dispersed template-based batch interaction with a question answering system
Cohen et al. Text Classification
CN113366484A (zh) 用于解释自然语言句子的神经网络
Tripathy et al. Abstractive method-based text summarization using bidirectional long short-term memory and pointer generator mode
Pyne et al. Analysis of ‘One in a Million’primary care consultation conversations using natural language processing
Zhang et al. Survey of transformers and towards ensemble learning using transformers for natural language processing
Das et al. Analysis and Detection of Multilingual Hate Speech Using Transformer Based Deep Learning
Walsh Natural Language Processing
Al-azani et al. Arabic question-answering system based on deep learning models
Ibrahim et al. Utilizing Deep Learning in Arabic Text Classification Sentiment Analysis of Twitter
AOUCI et al. Opinion Analysis from Arabic Texts: A Case Study of the Algerian Dialect Comments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination