CN107657313A - 基于领域适应的自然语言处理任务的迁移学习***和方法 - Google Patents

基于领域适应的自然语言处理任务的迁移学习***和方法 Download PDF

Info

Publication number
CN107657313A
CN107657313A CN201710877941.7A CN201710877941A CN107657313A CN 107657313 A CN107657313 A CN 107657313A CN 201710877941 A CN201710877941 A CN 201710877941A CN 107657313 A CN107657313 A CN 107657313A
Authority
CN
China
Prior art keywords
mrow
msup
msubsup
msub
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710877941.7A
Other languages
English (en)
Other versions
CN107657313B (zh
Inventor
肖仰华
谢晨昊
梁家卿
崔万云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Several Eyes Technology Development Co Ltd
Original Assignee
Shanghai Several Eyes Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Several Eyes Technology Development Co Ltd filed Critical Shanghai Several Eyes Technology Development Co Ltd
Priority to CN201710877941.7A priority Critical patent/CN107657313B/zh
Publication of CN107657313A publication Critical patent/CN107657313A/zh
Application granted granted Critical
Publication of CN107657313B publication Critical patent/CN107657313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于领域适应的自然语言处理任务的迁移学习***和方法，包括：开放领域部分模块和特定领域部分模块，其中，开放领域部分模块，用于：利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；特定领域部分模块，用于：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。其解决了自然语言处理任务中领域适应的问题。

Description

基于领域适应的自然语言处理任务的迁移学习***和方法
技术领域
本发明是基于领域适应的自然语言处理任务的迁移学习***和方法，解决自然语言处理任务中领域适应的问题。
背景技术
自然语言处理(Natural Language Processing)是人工智能和语言学领域的分支学科。在这此领域中探讨如何处理及运用自然语言，包括自然语言认知，自然语言生成和自然语言理解等。自然语言认知则是指让电脑“懂”人类的语言。自然语言生成***把计算机数据转化为自然语言。自然语言理解***把自然语言转化为计算机程序更易于处理的形式。自然语言处理的主要任务包括词性标注、情感分析、句法分析等。
目前的自然语言处理技术在应用中仍然存在一些问题。目前的自然语言处理技术大多都是利用标准数据集进行训练的，但是大量实际应用中，需要面对特定领域进行自然语言处理。而自然语言的多义性以及模型在embedding层的过拟合会导致这些模型在特定领域的应用中效果不好。同时，由于特定领域的训练数据匮乏，无法利用特定领域数据进行训练。但是，自然语言处理任务在开放领域和特定领域有大量类似特征(比如：相同的词汇，相同的句法)，并且开放领域的训练数据往往很充足，因此利用迁移学习将开放领域的知识迁移到特定领域，可以解决这些问题。
深度学习在自然语言处理任务中已经取得了不错的成果，包括词性标注任务，情感分析任务和句法分析任务等。在自然语言处理任务中，深度神经网络往往能表示出自然语言不同层次的知识，神经网络中的每一层都能表示不同层次的知识，比如embedding层能表示词层次的知识，卷积神经网络和循环神经网络能够表示短语/语句层次的知识。这些神经网络层在自然语言理解中有着重要的作用。
发明内容
本发明所要解决的技术问题是提供基于领域适应的自然语言处理任务的迁移学习***和方法，用于解决现有技术存在的问题。
本发明解决上述技术问题所采取的技术方案如下：
基于领域适应的自然语言处理任务的迁移学习***，包括：
开放领域部分模块和特定领域部分模块，其中，开放领域部分模块，用于：
利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；
特定领域部分模块，用于：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；
其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。
优选的是，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；
ct＝it⊙ut+ft⊙ct-1
此外，输出层对于不同的自然语言处理任务是可变的。
优选的是，所述特定领域神经网络，具体包括：
开放领域部分模块的embedding层，LSTM层和独立的embedding层、LSTM层和输出层；
Embedding层和开放领域部分的embedding层类似；
LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入；
ct＝it⊙ut+ft⊙ct-1
输出层层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出；
输出层和开放领域部分输出层一致，是对于不同的自然语言处理任务是可变的。
优选的是，当为情感分析任务时，输出层输出一个感情得分；
这里SO、SS分别为开放领域部分和特定领域部分输出层的输出。σ是sigmoid函数。
基于领域适应的自然语言处理任务的迁移学习方法，包括：
开放领域部分学习步骤和特定领域部分学习步骤，其中，开放领域部分学习步骤，包括：
利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；
特定领域部分学习步骤，包括：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；
其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。
优选的是，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；
ct＝it⊙ut+ft⊙ct-1
此外，输出层对于不同的自然语言处理任务是可变的。
优选的是，所述特定领域神经网络，具体包括：
开放领域部分模块的embedding层，LSTM层和独立的embedding层、LSTM层和输出层；
Embedding层和开放领域部分的embedding层类似；
LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入；
ct＝it⊙ut+ft⊙ct-1
输出层层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出；
输出层和开放领域部分输出层一致，是对于不同的自然语言处理任务是可变的。
优选的是，当为情感分析任务时，输出层输出一个感情得分；
这里SO、SS分别为开放领域部分和特定领域部分输出层的输出。σ是sigmoid函数。
本发明利用神经网络建立迁移学习模型，解决自然语言处理任务中领域适应的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，
图1是本发明基于领域适应的自然语言处理任务的迁移学习***的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明是基于领域适应的自然语言处理任务的迁移学习方法，利用神经网络建立迁移学习模型，解决自然语言处理任务中领域适应的问题。
首先，为了方便说明，我们在表1中列出一些本专利用到的标记。
表1
其中，基于领域适应的自然语言处理任务的迁移学习***，包括：开放领域部分模块和特定领域部分模块，其中，开放领域部分模块，用于：
利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；
特定领域部分模块，用于：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；
其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。
优选的是，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；
ct＝it⊙ut+ft⊙ct-1
此外，输出层对于不同的自然语言处理任务是可变的。
优选的是，所述特定领域神经网络，具体包括：
开放领域部分模块的embedding层，LSTM层和独立的embedding层、LSTM层和输出层；
Embedding层和开放领域部分的embedding层类似；
LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入；
ct＝it⊙ut+ft⊙ct-1
输出层层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出；
输出层和开放领域部分输出层一致，是对于不同的自然语言处理任务是可变的。
优选的是，当为情感分析任务时，输出层输出一个感情得分；
这里SO、SS分别为开放领域部分和特定领域部分输出层的输出。σ是sigmoid函数。
基于领域适应的自然语言处理任务的迁移学习方法，包括：
开放领域部分学习步骤和特定领域部分学习步骤，其中，开放领域部分学习步骤，包括：
利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；
特定领域部分学习步骤，包括：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；
其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。
优选的是，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；
ct＝it⊙ut+ft⊙ct-1
此外，输出层对于不同的自然语言处理任务是可变的。
优选的是，所述特定领域神经网络，具体包括：
开放领域部分模块的embedding层，LSTM层和独立的embedding层、LSTM层和输出层；
Embedding层和开放领域部分的embedding层类似；
LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入；
ct＝it⊙ut+ft⊙ct-1
输出层层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出；
输出层和开放领域部分输出层一致，是对于不同的自然语言处理任务是可变的。
优选的是，当为情感分析任务时，输出层输出一个感情得分；
这里SO、SS分别为开放领域部分和特定领域部分输出层的输出。σ是sigmoid函数。
本发明利用神经网络建立迁移学习模型，解决自然语言处理任务中领域适应的问题。
如图1，我们将***整体分为了两部分：开放领域部分和特定领域部分。
开放领域部分：首先利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层。用如图黄色区域的LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵。
特定领域部分：构造如图中绿色部分的特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致。保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络。根据输出层结果得到不同自然语言处理任务的结果。
接下来我们讲解***每一部分的具体实施方式。
LSTM及开放领域部分神经网络构建步骤：
开放领域部分的神经网络，包括embedding层，LSTM层和输出层。
Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding。
ct＝it⊙ut+ft⊙ct-1
输出层对于不同的自然语言处理任务是可变的。
特定领域神经网络构建步骤：
特定领域部分的神经网络，包括开放领域部分的embedding层，LSTM层和独立的embedding层、LSTM层和输出层。
Embedding层和开放领域部分的embedding层类似。LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入。
ct＝it⊙ut+ft⊙ct-1
输出层层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出。
输出层和开放领域部分输出层一致，是对于不同的自然语言处理任务是可变的。如情感分析任务，输出层输出一个感情得分。
这里SO、SS分别为开放领域部分和特定领域部分输出层的输出。σ是sigmoid函数。
表2为我们的***在情感分析任务下，以STS数据集作为开放领域，SSTb数据集作为特定领域的结果以及和其他***的比较。其中baseline1和baseline2是不使用迁移学习直接训练LSTM神经网络的模型；
表2
表3为我们的***在词性标注任务下，在***标注语料上，以“经济”、“教育”、“科学”、“军事”为特定领域的结果以及和其他***的比较。
表3
表4为我们的***在实体边界识别任务下，在Brown语料上的结果以及和其他***的比较。
表4
需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于领域适应的自然语言处理任务的迁移学习***，包括：
开放领域部分模块和特定领域部分模块，其中，开放领域部分模块，用于：
利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；
特定领域部分模块，用于：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；
其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。
2.根据权利要求1所述的基于领域适应的自然语言处理任务的迁移学习***，其特征在于，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；
<mrow> <msub> <mi>i</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>o</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>u</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
此外，输出层对于不同的自然语言处理任务是可变的。
3.根据权利要求1所述的基于领域适应的自然语言处理任务的迁移学习***，其特征在于，所述特定领域神经网络，具体包括：
开放领域部分模块的embedding层，LSTM层和独立的embedding层、LSTM层和输出层；
Embedding层和开放领域部分的embedding层类似。LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入；
<mrow> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>=</mo> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msub> <mi>W</mi> <mn>1</mn> </msub> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> </mrow>
<mrow> <msub> <mi>i</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>o</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>u</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
输出层层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出；
<mrow> <msubsup> <mi>h</mi> <mn>3</mn> <mi>S</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>h</mi> <mn>2</mn> <mi>S</mi> </msubsup> <mo>+</mo> <msub> <mi>W</mi> <mn>2</mn> </msub> <msubsup> <mi>h</mi> <mn>2</mn> <mi>O</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
输出层和开放领域部分输出层一致，是对于不同的自然语言处理任务是可变的。
4.根据权利要求3所述的基于领域适应的自然语言处理任务的迁移学习***，其特征在于，当为情感分析任务时，输出层输出一个感情得分；
<mrow> <msup> <mi>S</mi> <mi>O</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msubsup> <mi>W</mi> <mi>S</mi> <mi>O</mi> </msubsup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <msub> <mi>n</mi> <mn>2</mn> </msub> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>S</mi> <mi>O</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>S</mi> <mi>S</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msubsup> <mi>W</mi> <mi>S</mi> <mi>S</mi> </msubsup> <mo>(</mo> <mrow> <msub> <mi>W</mi> <mn>2</mn> </msub> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <msub> <mi>n</mi> <mn>2</mn> </msub> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <msub> <mi>n</mi> <mn>2</mn> </msub> </mrow> <mi>S</mi> </msubsup> </mrow> <mo>)</mo> <mo>+</mo> <msubsup> <mi>b</mi> <mi>S</mi> <mi>S</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
这里SO、SS分别为开放领域部分和特定领域部分输出层的输出。σ是sigmoid函数。
5.基于领域适应的自然语言处理任务的迁移学习方法，包括：
开放领域部分学习步骤和特定领域部分学习步骤，其中，开放领域部分学习步骤，包括：
利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；
特定领域部分学习步骤，包括：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；
其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。
6.根据权利要求5所述的基于领域适应的自然语言处理任务的迁移学习方法，其特征在于，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；
<mrow> <msub> <mi>i</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>o</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>u</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
此外，输出层对于不同的自然语言处理任务是可变的。
7.根据权利要求1所述的基于领域适应的自然语言处理任务的迁移学习方法，其特征在于，所述特定领域神经网络，具体包括：
开放领域部分模块的embedding层，LSTM层和独立的embedding层、LSTM层和输出层；
Embedding层和开放领域部分的embedding层类似。LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入；
<mrow> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>=</mo> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msub> <mi>W</mi> <mn>1</mn> </msub> <msubsup> <mi>h</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>t</mi> </mrow> <mi>O</mi> </msubsup> </mrow>
<mrow> <msub> <mi>i</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>o</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>o</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>u</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>+</mo> <msup> <mi>U</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>S</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
输出层层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出；
<mrow> <msubsup> <mi>h</mi> <mn>3</mn> <mi>S</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>h</mi> <mn>2</mn> <mi>S</mi> </msubsup> <mo>+</mo> <msub> <mi>W</mi> <mn>2</mn> </msub> <msubsup> <mi>h</mi> <mn>2</mn> <mi>O</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
输出层和开放领域部分输出层一致，是对于不同的自然语言处理任务是可变的。
8.根据权利要求7所述的基于领域适应的自然语言处理任务的迁移学习***，其特征在于，当为情感分析任务时，输出层输出一个感情得分；
<mrow> <msup> <mi>S</mi> <mi>O</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msubsup> <mi>W</mi> <mi>S</mi> <mi>O</mi> </msubsup> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <msub> <mi>n</mi> <mn>2</mn> </msub> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>S</mi> <mi>O</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>S</mi> <mi>S</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msubsup> <mi>W</mi> <mi>S</mi> <mi>S</mi> </msubsup> <mo>(</mo> <mrow> <msub> <mi>W</mi> <mn>2</mn> </msub> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <msub> <mi>n</mi> <mn>2</mn> </msub> </mrow> <mi>O</mi> </msubsup> <mo>+</mo> <msubsup> <mi>h</mi> <mrow> <mn>2</mn> <mo>,</mo> <msub> <mi>n</mi> <mn>2</mn> </msub> </mrow> <mi>S</mi> </msubsup> </mrow> <mo>)</mo> <mo>+</mo> <msubsup> <mi>b</mi> <mi>S</mi> <mi>S</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
这里SO、SS分别为开放领域部分和特定领域部分输出层的输出。σ是sigmoid函数。
CN201710877941.7A 2017-09-26 2017-09-26 基于领域适应的自然语言处理任务的迁移学习***和方法 Active CN107657313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710877941.7A CN107657313B (zh) 2017-09-26 2017-09-26 基于领域适应的自然语言处理任务的迁移学习***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710877941.7A CN107657313B (zh) 2017-09-26 2017-09-26 基于领域适应的自然语言处理任务的迁移学习***和方法

Publications (2)

Publication Number Publication Date
CN107657313A true CN107657313A (zh) 2018-02-02
CN107657313B CN107657313B (zh) 2021-05-18

Family

ID=61131087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710877941.7A Active CN107657313B (zh) 2017-09-26 2017-09-26 基于领域适应的自然语言处理任务的迁移学习***和方法

Country Status (1)

Country Link
CN (1) CN107657313B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190120A (zh) * 2018-08-31 2019-01-11 第四范式（北京）技术有限公司 神经网络训练方法和装置及命名实体识别方法和装置
CN109782600A (zh) * 2019-01-25 2019-05-21 东华大学 一种通过虚拟环境建立自主移动机器人导航***的方法
CN111079447A (zh) * 2020-03-23 2020-04-28 深圳智能思创科技有限公司 一种面向中文的预训练方法及***
CN111539474A (zh) * 2020-04-23 2020-08-14 大连理工大学 一种分类器模型迁移学习方法
CN111989696A (zh) * 2018-04-18 2020-11-24 渊慧科技有限公司 具有顺序学习任务的域中的可扩展持续学习的神经网络

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104538028A (zh) * 2014-12-25 2015-04-22 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN106528776A (zh) * 2016-11-07 2017-03-22 上海智臻智能网络科技股份有限公司 一种文本分类的方法和装置
CN106952181A (zh) * 2017-03-08 2017-07-14 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测***
CN106980683A (zh) * 2017-03-30 2017-07-25 中国科学技术大学苏州研究院 基于深度学习的博客文本摘要生成方法
CN107168955A (zh) * 2017-05-23 2017-09-15 南京大学 利用基于词上下文的字嵌入与神经网络的中文分词方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104538028A (zh) * 2014-12-25 2015-04-22 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN106528776A (zh) * 2016-11-07 2017-03-22 上海智臻智能网络科技股份有限公司 一种文本分类的方法和装置
CN106952181A (zh) * 2017-03-08 2017-07-14 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测***
CN106980683A (zh) * 2017-03-30 2017-07-25 中国科学技术大学苏州研究院 基于深度学习的博客文本摘要生成方法
CN107168955A (zh) * 2017-05-23 2017-09-15 南京大学 利用基于词上下文的字嵌入与神经网络的中文分词方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEREK D. MONNER，JAMES A. REGGIA: "Recurrent Neural Collective Classification", 《 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 》 *
XIAOCONG WEI ET AL: "A Convolution-LSTM-Based Deep Neural Network for Cross-Domain MOOC Forum Post Classification", 《INFORMATION》 *
宋光慧: "基于迁移学习与深度卷积特征的图像标注方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989696A (zh) * 2018-04-18 2020-11-24 渊慧科技有限公司 具有顺序学习任务的域中的可扩展持续学习的神经网络
US12020164B2 (en) 2018-04-18 2024-06-25 Deepmind Technologies Limited Neural networks for scalable continual learning in domains with sequentially learned tasks
CN109190120A (zh) * 2018-08-31 2019-01-11 第四范式（北京）技术有限公司 神经网络训练方法和装置及命名实体识别方法和装置
CN109782600A (zh) * 2019-01-25 2019-05-21 东华大学 一种通过虚拟环境建立自主移动机器人导航***的方法
CN111079447A (zh) * 2020-03-23 2020-04-28 深圳智能思创科技有限公司 一种面向中文的预训练方法及***
CN111539474A (zh) * 2020-04-23 2020-08-14 大连理工大学 一种分类器模型迁移学习方法

Also Published As

Publication number Publication date
CN107657313B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
Kreutzer et al. Understanding artificial intelligence
CN107657313A (zh) 基于领域适应的自然语言处理任务的迁移学习***和方法
Gabora et al. Two cognitive transitions underlying the capacity for cultural evolution
Anastasio et al. Individual and collective memory consolidation: Analogous processes on different levels
Lévy The semantic sphere 1: Computation, cognition and information economy
McGranahan Darwinism and pragmatism: William James on evolution and self-transformation
CN107705806A (zh) 一种使用谱图和深卷积神经网络进行语音情感识别的方法
CN112084299A (zh) 一种基于bert语义表示的阅读理解自动问答方法
Fogel et al. Computational intelligence: the experts speak
Kreutzer et al. What Is Artificial Intelligence and How to Exploit It?
Sawicki et al. On the power of special-purpose GPT models to create and evaluate new poetry in old styles
Muzyka The outline of personhood law regarding artificial intelligences and emulated human entities
Haidar et al. Application of machine learning algorithms for predicting outcomes of accident cases in Moroccan courts
Chen et al. Imitation or efficiency? aesthetics of artificial intelligence
Dale The Mindset of Cognitive Science.
Zey Seizing the Future: Dawn of the Macroindustrial Era
Pebryawan et al. Positive problem solving skills in javanese fairy tales for Generation-Z
Zhao et al. [Retracted] Innovating Pedagogical Practices for Handmade Courses in Preschool Education Using Artificial Intelligence
Proudfoot God and the self: three types of philosophy of religion
Chattopadhyay Technologies in the Era of Singularity
Hasebrook et al. Knowledge robots for knowledge workers: Self-learning agents connecting information and skills
Dollens Metabolic Architectures.
Majeed et al. Analogical reasoning in architecture
Olyanitch et al. Artificial Intelligence: Semiolinguistic and Communicative Competencies
Paulson et al. Human cognition and the AI revolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant