CN110414682B - 神经信念推理器 - Google Patents

神经信念推理器 Download PDF

Info

Publication number
CN110414682B
CN110414682B CN201910277944.6A CN201910277944A CN110414682B CN 110414682 B CN110414682 B CN 110414682B CN 201910277944 A CN201910277944 A CN 201910277944A CN 110414682 B CN110414682 B CN 110414682B
Authority
CN
China
Prior art keywords
belief
function
computer
observations
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910277944.6A
Other languages
English (en)
Other versions
CN110414682A (zh
Inventor
钱海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN110414682A publication Critical patent/CN110414682A/zh
Application granted granted Critical
Publication of CN110414682B publication Critical patent/CN110414682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/023—Learning or tuning the parameters of a fuzzy system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开的实施例涉及神经信念推理器。本公开的实施例涉及用于无监督学习的生成模型，更具体地，涉及指定信念函数的生成模型。描述了用于指定信念函数的神经信念推理器模型生成模型的技术。各方面包括由可操作地耦合到处理器的设备接收对信念函数的请求，以及由设备基于训练的概率参数和最小化函数来在生成模型中处理对信念函数的请求，以确定由模糊集合定义的广义信念函数。与广义信念函数相对应的数据被输出为例如信念值和合理性值。

Description

神经信念推理器
技术领域
本公开涉及用于无监督学习的生成模型，更具体地，涉及指定信念函数的生成模型。
发明内容
以下提供发明内容以提供对本发明的一个或多个实施例的基本理解。本发明内容不旨在标识关键或重要元素，或描绘特定实施例的任意范围或权利要求的任意范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文描述的一个或多个实施例中，描述了有助于提供高效神经网络的设备、***、计算机实现的方法、装置和/或计算机程序产品。
根据一个实施例，一种***可以包括存储计算机可执行组件的存储器和执行存储在存储器中的计算机可执行组件的处理器。计算机可执行组件可包括神经信念推理器。神经信念推理器可以包括：接收组件，接收对信念函数的请求；生成模型组件，包括在观察上训练的一个或多个神经网络，其中生成模型组件基于训练的概率参数和最小化函数来处理对信念函数的请求，以确定由模糊集合定义的广义信念函数；以及信念函数输出组件，用于输出与广义信念函数相对应的数据。
根据另一实施例，提供了一种计算机实现的方法。该计算机实现的方法可以包括由可操作地耦合到处理器的设备接收对信念函数的请求，以及由该设备基于训练的概率参数和最小化函数在生成模型中处理对信念函数的请求，以确定由模糊集合定义的广义信念函数。该计算机实现的方法还可以包括由该设备输出与广义信念函数相对应的数据。
根据又一实施例，提供了一种用于促进神经信念推理器并且包括具有与其一起体现的程序指令的一个或多个计算机可读存储介质的计算机程序产品。程序指令可由处理组件执行以使处理器：接收对信念函数的请求；基于训练的概率参数和最小化函数，在生成模型中处理对信念函数的请求，以确定由模糊集合定义的广义信念函数。程序指令也可执行以使处理器输出与广义信念函数相对应的数据。
附图说明
图1是示出了根据本文描述的一个或多个实施例的示例性的技术的各个方面的示例、非限制性***的框图。
图2示出了根据本文描述的一个或多个实施例的表示与图1的各种技术方面相对应的示例组件的框图，其包括针对用信念函数来回答问题的神经信念推理器模型的查询回答组件。
图3是根据本文描述的一个或多个实施例的以作为神经信念推理器模型进行操作的神经网络的形式的技术的表示。
图4是根据本文描述的一个或多个实施例的以神经网络作为回答查询的神经信念推理器模型操作的形式来表示本文描述的技术。
图5示出了根据本文描述的一个或多个实施例的示例世界和其中的部分观察，其示例了神经信念推理器模型如何将信息处理成信念函数。
图6示出了根据本文描述的一个或多个实施例的促进神经信念推理器模型的示例非限制性***的框图。
图7示出了根据本文描述的一个或多个实施例的示例、非限制性计算机实现的方法的流程图。
图8示出了根据本文描述的一个或多个实施例的促进神经信念推理器模型的示例、非限制性计算机程序产品的图。
图9示出了其中可以促进本文描述的一个或多个实施例的示例非限制性操作环境的框图。
具体实施方式
以下具体实施方式仅是示意性的，并不旨在限制实施例和/或实施例的应用或使用。此外，不旨在受前述背景技术或发明内容部分或具体实施方式部分中呈现的任意明示或暗示的信息的约束。
现在参考附图描述一个或多个实施例，其中类似的附图标记始终用于指代类似的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施例的更透彻的理解。然而，显而易见的是，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施例。
本文描述的技术针对神经信念推理器，其包括用于无监督学习的生成模型。如将理解的，神经信念推理器指定信念函数，从而建模认知不确定性，不同于指定概率分布的其他生成模型。此外，神经信念推理器促进自动发现规则/关系。
图1示出了***100的示例组件，其包括处理器102和存储器104以及包括神经信念推理器模型106或与神经信念推理器模型106一起操作的组件。通常并且如本文所述，训练组件108基于观察来训练神经信念推理器模型106。
一旦经过训练，神经信念推理器模型106就可以执行各种任务，包括用回答响应从查询组件110接收的查询和/或关于来自样本请求组件112的样本请求用样本响应。应理解，响应包括信念函数/与信念函数相对应的数据，例如信念值和合理性值。
为此，神经信念推理器模型106包括请求接收组件114和信念函数输出组件116。根据所请求的内容，调用查询回答组件118或样本生成组件120以提供所请求的输出数据。注意，神经信念推理器模型通常可以输出答案数据和样本数据，并且如果是这样，则请求接收组件114可以适当地将请求路由到查询回答组件118或样本生成组件120；然而，具有专用于回答问题或生成样本数据而不是两者的神经信念推理器模型是替代地可行的。
图2概括了神经信念推理器模型106的查询回答组件118通常如何在一个或多个实现中操作。为简洁起见，省略了对本文描述的其他实施例中采用的相同元件的重复描述。给定条件C，假设为真，神经信念推理器模型106的输入222也提供命题/问题Q。举例来说，条件可以是“如果公司收益报告显示利润>J”和问题可能是“这家公司的股票会上涨吗？”(其中J是一些货币价值、百分比等)。如所理解的，输出224包括关于Q1是否为真的信念和合理性。
神经信念推理器模型基于函数x＝F(z)，其中x是表示观察变量的向量，向量z表示潜在变量。神经信念推理器模型也基于函数r＝R(z)，其中向量r的条目在[0，1]范围内。神经信念推理器模型也基于伯努利变量Y1，Y2，…，YK，其中K是向量r的维数。
实际上，F和R函数可以通过神经网络实现，并且这些神经网络可以彼此重叠。神经信念推理器模型的参数是θF，它们是函数F，θR，的参数，它们是函数R的参数，并且对于i＝1，2，…，K，
神经信念推理器模型描述z空间上的广义信念函数，其由以下质量分配函数指定：
其中是z空间中的模糊集合，具有以下成员函数：
神经信念推理器的上述质量分配函数和对应的信念函数是不同的，并且从它们的经典定义推广出来，因为它们是在模糊集合而不是经典集合上定义的。本文进一步定义的是从质量分配函数到信念函数的以下映射：对于任意集合A，
这是直接验证的，如果所涉及的所有集合都是经典集合，则方程式(3)变为从质量分配函数到信念函数的经典映射，。
因为x是z的确定性函数，所以神经信念推理器模型还指定x空间上的广义信念函数。
等式(1)在以下意义上使用Dempster的组合规则。如果R函数仅输出0或1，则等式(2)变为经典集合，等式(1)成为Dempster规则的实例。然而，虽然本文使用了Dempster的规则，但请注意Dempster的规则不是神经信仰推理器的要求。例如给定不同的组合规则，神经信念推理器可以通过修改等式(1)等来适应以与给定规则一致。
如将理解的，神经信念推理器模型可用于回答查询并生成样本。此外，可以从未标记的观察中训练神经信念推理器模型。
关于查询回答，查询的最一般形式是在给定条件函数C(z)的情况下在q＝Q(z)上请求信念函数，其中Q是确定性向量输出函数并且C是输出[0,1]范围内标量的函数。例如q可以是x的子集；如果x的另一个子集取某些值，则C(z)可以是1，否则为0，或者C可以是更平滑的函数。回答查询的一般方法是将C作为R中的附加条目，而其对应的Y变量始终为1。条件C下z空间上的质量赋值函数为：
其中是z空间中的模糊集合，具有以下成员函数：
因为q是z的确定性函数，所以可以从等式(4)计算条件C下q空间上的信念函数。
上述一般方法通常不必要地昂贵。描述了一种简化的替代方案，它适用于在实践中经常遇到的类型查询，即q的维数为1，并且Q和C都只输出0或1。换句话说，给定两个经典的非模糊逻辑公式Q和C，该过程在C为真的条件下计算Q的信念和合理性：
注意，当查询具有大K的神经信念推理器时，等式(6)和等式(7)都可以由蒙特卡洛近似。
转向样本生成，以生成样本观察x，本文描述的是组合由神经信念推理器指定的x空间上的信念函数与x空间上的先验知识概率分布。该先验知识概率分布表示不包括在神经信念推理器中的信息，如本文所述。
例如考虑先验知识概率分布是均匀分布，这意味着所有知识都包含在神经信念推理器中。信念函数和概率函数在同一样本空间上的组合是概率函数，因此允许样本生成。实际上，组合操作不需要明确执行；只需要从先验知识概率分布中提取样本的能力。
因此，样本是从先验知识概率分布(例如均匀分布)中提取的，并且对于任意样本，该过程随机地决定是保留还是拒绝它。保留从先验知识分布中抽取的样本的概率是：
因此，存在模型的信念函数和先验知识概率分布的组合。注意，上述过程可以从离散和连续分布中生成样本，并且因此选择先验知识概率分布是离散的或连续的。
图3是本文描述的以R和X神经网络的向量空间的形式的技术的表示，其表示向量r、x和z的向量空间，其中“向量空间”指的是向量的所有可能的值。为简洁起见，省略了对本文描述的其他实施例中采用的相同元件的重复描述。可以理解，给定一些输入，R函数输出范围从[0,1]到随机变量(对应于作为质量分配给模糊集合的概率)，在图3中表示为开关集合，具有馈入最小化函数332的开关输出。开关的数量是r的维数，(向量r是向量z的可训练的确定性函数)，即K，神经网络的宽度。
来自最小化函数的输出是μ，即z空间中的2K模糊集合的成员函数。如所理解的，这对应于上述等式。注意，对于样本生成，可以通过将条件数据添加到μ来实现条件生成。
图4是对应于查询应答的图3的更具体的表示。为简洁起见，省略了对本文描述的其他实施例中采用的相同元件的重复描述。
通过等式(6)和(7)计算信念度和合理性值。作为条件和查询的示例，考虑如图5中所示的具有11位的世界。可以得到观察到前十位或后十位的部分观察。在前十位的观察中，对于90％的情况，第一位是中间九位的强函数(“majority function”)，而对于百分之十的情况是倒数。在最后十位的观察中，对于百分之八十的情况，最后一位是中间九位的强函数的倒数，并且对于百分之二十的情况是强函数。在这些观察中训练了具有K＝2的神经信念推理器，下表显示了神经信念推理器模型对某些实际查询的答案；示出了两个版本，一个是培训达到全局最小值，另一个是培训达到局部最小值。
可以看出，上表中的答案定性地与人类直觉一致，并且数值在相对基础上与人类直觉一致(尽管在答案中具有实际数学信念和合理性值)。请注意，神经信念推理器从未见过同时显示x0和x10的观察，并且神经信念推理器通过执行具有不确定性的多跳推理来回答前两个查询。最后两个查询进一步证明了神经信念推理器推理冲突信息的能力，在这种情况下x0＝1和x10＝1。这些数据还表明，不需要训练神经信念推理器完美和局部最小值可以提供合理的答案。
关于训练，通常，训练基于观察的全视图或部分视图来操作以改进参数。因此，对神经信念推理器的训练过程的输入可以包括x的未标记的、可能是部分的观察和x空间上的先验知识概率分布。通常，训练最大化样本生成过程中观察的可能性。在训练数据中允许部分观察，具有对应的(更复杂的)损失函数。另一种替代方案是对抗性训练。
先验知识分布定义了神经信念推理器需要学习的内容，即在观察中呈现的信息，其超出已在先验知识分布中编码的内容。例如如果先验知识仅是x的范围，则可以使用统一的先验知识分布。作为另一示例，如果先验知识是x的均值和方差，则可以使用高斯先验知识分布。作为又一个示例，如果已经存在用于x的神经信念推理器模型，则可以使用由如本文所述作为先验知识分布的现有神经信念推理器生成的样本；此后，训练操作进行操作以用于训练新的第二神经信念推理器，其包含(并且仅包含)超出现有神经信念推理器的知识。注意，一旦训练了神经信念推理器，本文描述的查询回答过程独立于已经在训练中使用的先验知识分布。换句话说，查询回答操作提供仅基于神经信念推理器中包含的知识的答案，并且不利用在训练期间可能存在的先验知识。
对于训练第二神经信念推理器的上述示例，为了基于所有可用证据获得用于查询的通知答案，针对神经信念推理器评估等式(6)和(7)，其中两个得到的信念函数组合成单个最终的一个信念函数。通过本文描述的样本生成过程，可以使用神经信念推理器来基于先验知识分布来生成样本，该先验知识分布不同于神经信念推理器被训练的先验知识分布。神经信念推理器中的知识分离是有用的属性，因为例如从一种情况学习的知识变得可转移且可用于回答查询或在不同情况下生成样本。
存在训练神经信念推理器的各种方式，包括最大似然法和对抗训练法。关于最大似然法，如果训练数据都是x的完整观察，则可以通过最大化本文所述的样本生成过程中的观察的可能性来训练神经信念推理器。
令X表示根据先验知识分布中的x的分布的随机变量的向量。在移除一些常量项后，最大似然损失函数为：
注意，等式(9)中的第二项可以由蒙特卡罗近似，并且这样做仅需要从先验知识分布中提取样本的能力。如果训练数据包括x的部分观察，则损失函数需要考虑部分观察的可能性。很容易看出，从x的完整样本计算边际可能性可能是禁止的。更高效的方案是将可能性建立在与上述类似的样本生成过程上，但生成x的部分样本。
对于部分观察xi，令Xi表示对应于由xi观察到的条目的X的子集，并且令Ui是Xi的样本空间。以下描述的是样本生成过程。
作为一个样本生成过程，对于u∈Ui，让Su是x空间中的集合，其包含可以作为u观察到的所有x向量。在x空间上定义先验知识信念函数，使得对于任意u∈Ui，并将该信念函数与由神经信念推理器指定的x空间上的信念函数相结合。得到的信念函数的Ui上的边际分布被保证为概率函数，因此允许样本生成。如上所述，在实践中，绘制Xi样本，并且对于任意样本随机决定是保留它还是拒绝它。设表示保留部分样本/>的概率。
作为另一个样本生成过程，通过将x空间中的每个集合转换为Ui中的集合，将由神经信念推理器指定的x空间上的信念函数转换为Ui上的信念函数：对于任意这样的集合对和任意u∈Ui，μconverted(u)＝min(μoriginal(x)|x可以被视为u。通过Ui转换的信念函数可以与Xi的先验知识概率分布组合，并且样本生成过程如上面参考等式(8)所述。设表示保留部分样本/>的概率。
上述两个样本生成过程计算用于部分观察的两个不同似然值，同时计算完整观察的相同值。两者的加权平均值可以在损失函数中取得。移除一些常量项后，损失函数为：
其中γ是超参数。注意，如果每个Xi不同，则该损失函数在计算上可能是昂贵的。然而，在实际应用中，不同Xi的数量可能远远少于观察数量，因此计算和区分期望项的成本得到摊销。
虽然以上描述了训练神经信念推理器的最大似然方法，但是其他方式也是可行的。例如考虑使用对抗性鉴别器D的替代训练方法。训练神经信念推理器的损失函数是
其中xsample i是关于等式(8)由本文一般描述的过程生成的样本。注意，等式(11)含有具有合理性的额外的第一项，而不是生成-对抗网(GAN)工作中的生成器训练步骤的典型损失函数。这个额外的术语有助于确保神经信念推理器训练不会受制于模式下降，这是典型的用GAN训练。
转向与基于规则的推理的关系，考虑神经信念推理器的特殊情况，其中x和z仅包含二进制条目，函数F是身份函数，并且函数R仅输出0和1。这种特殊的神经信念推理器等同于一阶逻辑规则集合，每个一阶逻辑规则是r中的一个条目，每个一阶逻辑规则都用一个信念值bi进行注释。如上所述的该特殊情况神经信念推理器及其查询回答过程的信念函数(例如对应于等式(1)和(3))等同于，通过将每条规则视为完全独特的证据主体和在开放世界的假设下推理，来将Dempster的组合规则应用于该一阶逻辑规则的集合。从这个角度来看，神经信念推理器是具有不确定性的用于推理的新的基于规则的***，其具有许多有用的特征。例如神经信念推理器允许在潜在空间上定义的规则，并且使用针对不确定性的、比贝叶斯网络和马尔可夫逻辑网络更好的模型。一个显著的进步是神经信念推理器用于从未标记的观察中自动发现规则的能力。请注意，规则使用信念值注释，但不是合理性值；两者都可以被注释以构建替代的神经信念推理器，其与上述不同，因为Y1,Y2,…,YK是三值随机变量而不是伯努利。两个神经信念推理器的表现是相同的。在某些情况下，替代神经信念推理器可以在计算效率方面具有一些优势，而在其他情况下，它具有更高的复杂性，并且在生物学上更不可信。
根据另一方面，即多个神经信念推理器的可组合性，一起使用多个神经信念推理器的一般方式是在x层连接它们。例如让两个神经信念推理器具有观察向量x1和x2，其中它们部分重叠。换句话说，x1中的某些条目和x2中的某些条目是相同的真实世界观察。一个更大的神经信念推理器可以通过以下操作而被组成：将x1和x2级联成一个新的x，将两个z向量级联成一个新的z，将两个r向量级联成一个新的r，保持原始的F和R函数和Y变量不变，并将新条目集合添加到R中，其中对应的Y变量始终为1，并且其中每个指示新x中的某对条目相等。这些附加的R条目强制x1和x2中的重叠观察在新x中是一致的，并且它们可以实现为脆等或软等函数。这样组成的神经信息推理器在回答查询或生成样本时的计算效率低于没有重复观察的神经信念推理器，因此在培训成本、推理成本和给定的应用程序中动态组合需求方面存在平衡。为了帮助弥补这些效率低下，如果构成神经信念推理器预计会在相当长的时间内使用，可以训练等效的神经信仰推理器，其中没有重复观察，并从组成神经信念推理器开始这样做，可能需要较少的培训费用。如果预期两个神经信念推理器经常被联合使用，则可以为它们相应的F函数选择拓扑并协调它们的训练，使得它们的共同观察在它们各自的z层上被相同地编码，并且这样的两个神经信念推理器可以通过移除z和x中的重复条目而被紧凑地组合，并且不需要额外的R条目来强制执行一致观察。从这个角度来看，任意神经信念推理器都可以被视为K神经信念推理器的组合，每个神经信念推理器在R中只有一个条目，并且所有这些条目在z和x之间具有一致的编码。
考虑神经信念推理器组合的特殊情况，其中组件神经信念推理器包括相同神经信念推理器的多个实例。请注意，这些多个实例需要将x不同地映射到真实世界的观察。这类似于在命题逻辑中应用一阶逻辑规则以及在卷积神经网络中的层上应用相同的滤波器。一个关键的考虑因素是同一神经信念推理器的多个实例是否应该共享Y变量。答案是一些Y变量应该被共享，这些变量代表全局不确定性，而其他Y变量不应该被共享，这代表完全不同的证据体。实际上，具有非共享Y的R条目的不同实例应该与不同的现实世界观察相关。在神经信号推理器需要使用共享和非共享Y变量进行训练的应用中，训练需要不是通过孤立观察进行，而是通过神经信念推理器组合来测量损失函数的观察。强化学习应用程序，特别是计划任务，可以用神经信念推理器制定为优化问题。神经信念推理器，很可能是组合的推理器，作为环境的模型，可以及时展开。策略可以被制定为逻辑公式C，成功可以表示为逻辑公式Q，寻求使等式(6)或(7)最大化的C，或者两者的某种组合。
图6是示例***600的表示，其可包括存储计算机可执行组件的存储器和执行存储在存储器中的计算机可执行组件的处理器。为简洁起见，省略了对本文描述的其他实施例中采用的相同元件的重复描述。
计算机可执行组件可包括神经信念推理器(框602)，其可包括接收对信念函数的请求的接收组件(框604)。其他组件可以包括生成模型组件(框606)，其包括在观察上训练的一个或多个神经网络，其中生成模型组件基于训练的概率参数和最小化函数来处理对信念函数的请求以确定由生成查询表示的模糊集定义的广义信念函数，以及信念函数输出组件(框608)输出与广义信念函数相对应的数据。
接收对信念函数的请求的接收组件可以接收与查询相关联的条件函数，并且信念函数输出组件可以输出包括信念值和合理性值的广义信念函数作为查询的回答。接收组件可以接收关于观察的先验知识概率分布，并且生成模型组件可以将先验知识概率分布与广义信念函数组合以生成用于由信念函数输出组件输出的样本观察。接收组件可以接收关于观察的先验知识概率分布，并且生成模型组件可以从先验知识概率分布中抽取样本观察，并基于概率计算来确定是保持样本观察还是拒绝样本观察，用于生成样本观察，以用于由信念函数输出组件输出。
生成模型组件可以基于质量分配函数来指定空间上的广义信念函数，其中质量分配函数可以将从训练的概率参数得出的质量值分配给模糊集合，其由训练神经网络形成为成员函数。
训练组件可以输入先验知识概率分布和未标记的观察变量，并且可以使用先验知识概率分布和未标记的观察变量来训练神经信念推理器。
生成模型组件可以输入未标记的观察变量，并从未标记的观察变量中自动发现规则。
图7例示了计算机实现的方法的示例操作，包括例如通过请求接收组件114接收对信念函数的请求(操作702)，以及基于训练的概率参数和最小化函数来处理对生成模型中的信念函数的请求(例如经由神经信念推理器模式106的查询回答组件118和/或样本生成组件120)以确定由模糊集合定义的广义信念函数(操作704)。操作706表示输出对应于广义信念函数的数据(经由信念函数输出组件116)。
接收对信念函数的请求可以包括接收与查询相关联的条件函数，并且输出与广义信念函数相对应的数据可以包括输出信念值和合理性值作为对查询的回答。
接收对信念函数的请求可以包括接收关于观察的先验知识概率分布，并且各方面可以包括将先验知识概率分布与广义信念函数组合以生成用于由信念函数输出组件输出的样本观察。接收对信念函数的请求可以包括接收关于观察的先验知识概率分布，并且各方面可以包括从先验知识概率分布中抽取样本观察，并且基于概率计算来确定是保持样本观察还是拒绝样本观察，以生成样本观察，以用于输出作为与广义信念函数相对应的数据。
各方面可以包括基于质量分配函数来在空间上指定广义信念函数，其中质量分配函数可以将从训练的概率参数得出的质量值分配给模糊集合，其由训练的神经网络形成为会员函数。
各方面可以包括训练生成模型，包括输入先验知识概率分布和对应于观察的未标记观察变量，并使用先验知识概率分布和未标记观察变量来最大化观察的可能性。
各方面可包括输入未标记的观察变量，并从未标记的观察变量自动发现规则。
图8例示了促进神经信念推理器的计算机程序产品800，其中计算机程序产品包括计算机可读存储介质，计算机可读存储介质具有与其一起实施的程序指令。程序指令可以由处理器执行，并且可以包括使处理器执行操作的指令。操作可以包括：接收(框802)对信念函数的请求。其他指令可以包括使处理器基于训练的概率参数和最小化函数在生成模型中处理(框804)对信念函数的请求，以确定由模糊集合定义的广义信念函数。其他指令可以使处理器输出(框806)与广义信念函数相对应的数据。
接收对信念函数的请求可以包括接收与查询相关联的条件函数，并且输出与广义信念函数相对应的数据可以包括输出信念值和合理性值作为对查询的回答。
接收对信念函数的请求可以包括接收关于观察的先验知识概率分布，并且各方面可以包括将先验知识概率分布与广义信念函数组合以生成用于由信念函数输出组件输出的样本观察。接收对信念函数的请求可以包括接收关于观察的先验知识概率分布，并且各方面可以包括从先验知识概率分布中抽取样本观察，并且基于概率计算来确定是保持样本观察还是拒绝样本观察，以生成样本观察，用于作为与广义信念函数对应的数据输出。
各方面可以包括训练生成模型，包括输入先验知识概率分布和对应于观察的未标记观察变量，并使用先验知识概率分布和未标记观察变量来最大化观察的可能性。
各方面可包括输入未标记的观察变量，并从未标记的观察变量自动发现规则。
可以看出，本文描述了一种神经信念推理器，其包括用于无监督学习的生成模型。神经信念推理器指定信念函数而不是概率分布，并且可以在未标记(包括部分)观察上训练。神经信念推理器提供查询回答，例如以另一个为条件的命题的信念和合理性、包括条件数据生成的数据生成、以及规则/关系的自动发现。示例应用包括对话***、文档分类和检索、包括知识获取的专家***、和其他任务。
为了提供所公开主题的各个方面的上下文，图9以及以下讨论旨在提供其中所公开主题的各个方面可以被实现的合适环境的一般描述。图9示出了示例性、非限制性操作环境的框图，其中可以促进本文描述的一个或多个实施例。为简洁起见，省略了对本文描述的其他实施例中采用的相同元件的重复描述。
参考图9，用于实现本公开的各个方面的合适的操作环境900还可以包括计算机912。计算机912还可以包括处理单元914、***存储器916和***总线918。***总线918将包括但不限于***存储器916的***组件耦合到处理单元914。处理单元914可以是各种可用处理器中的任意一种。双微处理器和其他多处理器架构也可以用作处理单元914。***总线918可以是几种类型的总线结构中的任意一种，包括存储器总线或存储器控制器、***总线或外部总线、和/或使用各种可用总线架构的本地总线，各种可用总线架构包括但不限于工业标准架构(ISA)、微通道架构(MSA)、扩展ISA(EISA)、智能驱动电子(IDE)、VESA本地总线(VLB)、***组件互连(PCI)、卡总线、通用串行总线(USB)、高级图形端口(AGP)、Firewire(IEEE 1394)和小型计算机***接口(SCSI)。
***存储器916还可以包括易失性存储器920和非易失性存储器922。包含在计算机912内的元件之间传送信息的基本例程(诸如在启动期间)的基本输入/输出***(BIOS)被存储在非易失性存储器922中。计算机912还可以包括可移动/不可移动、易失性/非易失性计算机存储介质。例如，图9示出了例如盘存储装置924。盘存储装置924还可以包括但不限于诸如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存卡或记忆棒的设备。盘存储装置924还可以单独包括存储介质或与其他存储介质组合。为了便于盘存储装置924到***总线918的连接，通常使用可移动或不可移动的接口，诸如接口926。图9还描绘了充当用户与合适的操作环境900中描述的基本计算机资源之间的中介的软件。这样的软件还可以包括例如操作***928。可以存储在盘存储装置924上的操作***928用于控制和分配计算机912的资源。
***应用930利用由操作***928通过程序模块932和程序数据934对资源的管理，例如程序模块932和程序数据934被存储在***存储器916中或存储在盘存储装置924上。应当理解，本公开可以使用各种操作***或操作***组合实现。用户通过输入设备936将命令或信息输入到计算机912中。输入设备936包括但不限于诸如鼠标的指示设备、轨迹球、触控笔、触摸板、键盘、麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、电视调谐卡、数码相机、数码摄像机、网络摄像机等。这些和其他输入设备经由接口端口938通过***总线918连接到处理单元914。接口端口938包括例如串行端口、并行端口、游戏端口和通用串行总线(USB)。输出设备940使用一些相同类型的端口作为输入设备936。因此，例如USB端口可用于向计算机912提供输入，并将信息从计算机912输出到输出设备940。提供输出适配器942以说明存在需要特殊适配器的一些输出设备940，如监视器、扬声器和打印机，除了其他输出设备940。作为说明而非限制，输出适配器942包括视频和声卡，其提供输出设备940和***总线918之间的连接手段。应当注意，其他设备和/或设备***提供输入和输出能力两者，诸如远程计算机944。
计算机912可以使用到诸如远程计算机944的一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机944可以是计算机，服务器，路由器，网络PC，工作站，基于微处理器的设备，对等设备或其他公共网络节点等，并且通常还可以包括相对于计算机912描述的许多或所有元件。为了简洁起见，仅存储器存储设备946用远程计算机944说明。远程计算机944通过网络接口948逻辑连接到计算机912，然后经由通信连接950物理连接。网络接口948包括有线和/或无线通信网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络等。LAN技术包括光纤分布式数据接口(FDDI)、铜分布式数据接口(CDDI)、以太网、令牌环等。WAN技术包括但不限于点对点链路、诸如综合业务数字网络(ISDN)及其变体的电路交换网络、分组交换网络和数字用户线(DSL)。通信连接950指的是用于将网络接口948连接到***总线918的硬件/软件。虽然为了说明清楚而在计算机912内示出了通信连接950，但是它也可以在计算机912的外部。用于连接到网络接口948的硬件/软件还可以仅包括用于示例性目的的内部和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器和以太网卡。
本发明可以是任意可能的技术细节集成级别的***、方法、装置和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(或介质)，其上具有计算机可读程序指令，用于使处理器执行本发明的各方面。计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任意合适组合。计算机可读存储介质的更具体示例的非详尽列表还可包括以下各项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、诸如在其上记录有指令的凹槽中的穿孔卡或凸起结构的机械编码设备、以及前述的任意合适的组合。本文使用的计算机可读存储介质不应被解释为暂态信号本身，诸如无线电波或其他自由传播的电磁波，通过波导或其他传输介质传播的电磁波(例如通过光纤电缆的光脉冲)或通过电线发送的电信号。
本文描述的计算机可读程序指令从计算机可读存储介质下载到相应的计算/处理设备，或可以经由例如因特网、局域网、广域网和/或无线网络的网络下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据、或者以包括诸如Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的过程编程语言的一种或多种编程语言的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分在用户的计算机上、部分在远程计算机上、或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任意类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如通过互联网使用互联网服务提供商)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化电子电路来执行计算机可读程序指令，以执行本发明的各方面。
本文参考根据本发明实施例的方法、装置(***)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。将理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图中的一个或多个框中指定的功能/动作的部件。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括一种制品，其包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。计算机可读程序指令也可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得一系列操作动作在计算机，其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的***、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实现中，框中提到的功能可以不按图中所示的顺序发生。例如连续示出的两个方框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行特定功能或动作或执行专用硬件和计算机指令的组合的专用基于硬件的***来实现。
虽然上面已经在计算机和/或多个计算机上运行的计算机程序产品的计算机可执行指令的一般上下文中描述了主题，但是本领域技术人员将认识到本公开也可以或可以是与其他程序模块组合来实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域技术人员将理解，本发明的计算机实现的方法可以用其他计算机***配置来实践，包括单处理器或多处理器计算机***、小型计算设备、大型计算机以及计算机、手持式计算设备(例如PDA、电话)、基于微处理器或可编程的消费者或工业电子设备等。所示出的方面还可以在分布式计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实施。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
如在本申请中所使用的，术语“组件”、“***”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机器有关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件或执行中的软件。例如组件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。举例来说，在服务器上运行的应用和服务器都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程内，并且组件可以位于一台计算机上和/或分布在两台或更多台计算机之间。在另一示例中，相应组件可以从其上存储有各种数据结构的各种计算机可读介质执行。组件可以诸如根据具有一个或多个数据分组的信号经由本地和/或远程过程进行通信(例如来自一个组件的数据，该组件与本地***、分布式***的另一个组件交互和/或跨诸如英特网的网络经由信号与其他***交互)。作为另一示例，组件可以是具有由电气或电子电路操作的机械部件提供的特定功能的设备，其由处理器执行的软件或固件应用操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，组件可以是通过没有机械部件的电子组件提供特定功能的装置，其中电子组件可以包括处理器或用于执行至少部分地赋予电子组件的功能的软件或固件的其他部件。在一方面，组件可经由例如在云计算***内的虚拟机模拟电子组件。
此外，术语“或”旨在表示包含性的“或”而非排他性的“或”。即，除非另有说明或从上下文中清楚，否则“X采用A或B”旨在表示意味着自然的包容性排列中的任意一个。也就是说，如果X采用A；X采用B；或者X采用A和B两者，然后在任意前述情况下满足“X采用A或B”。此外，在主题说明书和附图中使用的冠词“一”和“一个”通常应该被解释为表示“一个或多个”，除非另有说明或从上下文清楚地指向单数形式。如本文所使用的，术语“示例”和/或“示例性”用于表示用作示例、实例或说明。为避免疑义，本文公开的主题不受这些示例的限制。另外，本文中描述为“示例”和/或“示例性”的任意方面或设计不必被解释为比其它方面或设计更优选或更具优势，也不意味着排除那些本领域普通技术人员已知的等效示例性结构和技术。
当在主题说明书中使用时，术语“处理器”可以指基本上任意计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑器件(CPLD)、离散的门或晶体管逻辑、分立的硬件组件或其任意组合，其被设计用于执行本文所述的功能。此外，处理器可以利用纳米级架构，诸如但不限于基于分子和量子点的晶体管、开关和门，以优化空间使用或增强用户设备的性能。处理器也可以实现为计算处理单元的组合。在本公开中，诸如“存储库”、“存储装置”、“数据存储库”、“数据存储装置”、“数据库”以及与组件的操作和功能相关的基本上任意其他信息存储组件的术语被用于指代“存储器组件”、体现在“存储器”中的实体、或包括存储器的组件。应当理解，本文描述的存储器和/或存储器组件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。作为说明而非限制，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪存或非易失性随机存取存储器(RAM)(例如铁电RAM(FeRAM)。易失性存储器可以包括RAM，其可以用作例如外部高速缓冲存储器。作为说明而非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM(RDRAM)的许多形式获得。另外，本文公开的***或计算机实现的方法的存储器组件旨在包括但不限于包括这些和任意其他合适类型的存储器。
上面所描述的仅包括***和计算机实现的方法的示例。当然，出于描述本公开的目的，不可能描述组件或计算机实现的方法的每个可想到的组合，但是本领域普通技术人员可以认识到本公开的许多其他组合和置换是可能的。此外，在具体实施方式、权利要求、附录和附图中使用术语“包括”、“具有”、“拥有”等等的范围内，这些术语旨在以与术语“包括”类似的方式是包含性的，因为“包括”在用作权利要求中的过渡词时被解释。
各种实施例的描述已经出于说明的目的被呈现了，但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变体对于本领域普通技术人员来说是显而易见的。选择本文使用的术语是为了最好地解释实施例的原理，实际应用或对市场中发现的技术的技术改进，或者使得本领域普通技术人员能够理解本文公开的实施例。

Claims (16)

1.一种***，包括：
存储器，所述存储器存储计算机可执行组件；以及
处理器，所述处理器执行被存储在所述存储器中的计算机可执行组件，其中所述计算机可执行组件包括：
神经信念推理器，包括：
接收组件，所述接收组件接收查询；
生成模型组件，包括在观察上被训练的两个以上的神经网络，其中所述两个以上的神经网络中的第一神经网络和第二神经网络重叠，所述生成模型组件作为一阶逻辑规则集合进行操作，其中所述生成模型组件基于所训练的概率参数和最小化函数来处理所述查询，以确定由模糊集合定义的广义信念函数，所述最小化函数包括随机开关集合，其中所述集合中的随机开关的数目是所述第二神经网络的函数，并且从未标记的观察变量中发现用于在基于规则的***中使用的规则，其中所述规则被注释有信念值，并且其中所述第一神经网络将潜在变量映射到观察，并且所述第二神经网络将潜在变量映射到向量；以及
信念函数输出组件，所述信念函数输出组件输出与所述广义信念函数相对应的数据作为针对所述查询的回答。
2.根据权利要求1所述的***，其中接收所述查询的所述接收组件接收与查询相关联的条件函数，并且其中所述信念函数输出组件输出包括信念值和合理性值的、与所述广义信念函数相对应的所述数据作为对所述查询的回答。
3.根据权利要求1所述的***，其中所述接收组件接收关于观察的先验知识概率分布，并且其中所述生成模型组件将所述先验知识概率分布与所述广义信念函数组合以生成用于由所述信念函数输出组件输出的样本观察。
4.根据权利要求1所述的***，其中所述接收组件接收关于观察的先验知识概率分布，并且其中所述生成模型组件从所述先验知识概率分布中抽取样本观察，并且基于概率计算来确定保持所述样本观察还是拒绝所述样本观察，以生成用于由所述信念函数输出组件输出的样本观察，其中所述概率计算基于所述信念函数和所述先验知识概率分布。
5.根据权利要求1所述的***，其中所述生成模型组件基于质量分配函数来指定空间上的所述广义信念函数，并且其中所述质量分配函数将从所训练的概率参数得出的质量值分配给模糊集合，所述模糊集合由所训练的神经网络形成为成员函数。
6.根据权利要求1所述的***，还包括：
训练组件，所述训练组件输入先验知识概率分布和所述未标记的观察变量，并使用所述先验知识概率分布和未标记的观察变量来训练所述神经信念推理器。
7.根据权利要求1所述的***，其中所述生成模型组件输入所述未标记的观察变量。
8.一种计算机实现的方法，包括：
由可操作地被耦合到处理器的设备接收查询；
由所述设备在基于所训练的概率参数和最小化函数训练的生成模型中处理所述查询，以确定由模糊集合定义的广义信念函数，所述生成模型包括重叠的第一神经网络和第二神经网络，所述生成模型作为一阶逻辑规则集合进行操作，所述最小化函数包括随机开关集合，其中所述集合中的随机开关的数目是所述第二神经网络的函数，其中所述第一神经网络将潜在变量映射到观察，并且所述第二神经网络将潜在变量映射到向量；
由所述设备从未标记的观察变量中发现用于在基于规则的***中使用的规则，其中所述规则被注释有信念值；以及由所述设备输出与所述广义信念函数相对应的数据作为针对所述查询的回答。
9.根据权利要求8所述的计算机实现的方法，其中所述接收所述查询包括接收与所述查询相关联的条件函数，并且其中与所述广义信念函数相对应的所述输出数据包括输出所述信念值和合理性值作为对所述查询的回答。
10.根据权利要求8所述的计算机实现的方法，其中所述接收所述查询包括：接收关于观察的先验知识概率分布，所述计算机实现的方法还包括：
由所述设备将所述先验知识概率分布与所述广义信念函数相组合，以生成样本观察用于作为与所述广义信念函数相对应的所述数据输出。
11.根据权利要求8所述的计算机实现的方法，其中所述接收所述查询包括接收关于观察的先验知识概率分布，所述计算机实现的方法还包括：
由所述设备从所述先验知识概率分布抽取样本观察；以及
由所述设备基于概率计算来确定是保持所述样本观察还是拒绝所述样本观察，以生成样本观察以用于作为与所述广义信念函数相对应的数据输出。
12.根据权利要求8所述的计算机实现的方法，还包括：
由所述设备基于质量分配函数来指定空间上的所述广义信念函数，其中所述质量分配函数将从所训练的概率参数得出的质量值分配给模糊集合，所述模糊集合由所训练的神经网络形成为成员函数。
13.根据权利要求8所述的计算机实现的方法，还包括：
由所述设备来训练所述生成模型，包括输入先验知识概率分布和与观察相对应的所述未标记的观察变量，并且使用所述先验知识概率分布和所述未标记的观察变量来最大化所述观察的可能性。
14.根据权利要求8所述的计算机实现的方法，还包括：
由所述设备输入未标记的观察变量。
15.一种计算机可读存储介质，所述计算机可读存储介质具有存储在其上的程序指令，所述程序指令由处理组件可执行以使所述处理组件实现权利要求8-14中的一项中的方法的步骤。
16.一种***，包括用于实现权利要求8-14中的一项中的方法的步骤的部件。
CN201910277944.6A 2018-04-30 2019-04-08 神经信念推理器 Active CN110414682B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/966,429 2018-04-30
US15/966,429 US11630987B2 (en) 2018-04-30 2018-04-30 Neural belief reasoner

Publications (2)

Publication Number Publication Date
CN110414682A CN110414682A (zh) 2019-11-05
CN110414682B true CN110414682B (zh) 2023-09-05

Family

ID=68292443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910277944.6A Active CN110414682B (zh) 2018-04-30 2019-04-08 神经信念推理器

Country Status (2)

Country Link
US (1) US11630987B2 (zh)
CN (1) CN110414682B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158012B1 (en) 2017-02-14 2021-10-26 Casepoint LLC Customizing a data discovery user interface based on artificial intelligence
US11275794B1 (en) * 2017-02-14 2022-03-15 Casepoint LLC CaseAssist story designer
US10740557B1 (en) 2017-02-14 2020-08-11 Casepoint LLC Technology platform for data discovery
US11893060B2 (en) * 2020-02-06 2024-02-06 Naver Corporation Latent question reformulation and information accumulation for multi-hop machine reading

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5809212A (en) 1993-07-12 1998-09-15 New York University Conditional transition networks and computational processes for use interactive computer-based systems
CN1423781A (zh) 2000-03-16 2003-06-11 陈垣洋 用于统计资料模糊分析的装置和方法
US7107254B1 (en) 2001-05-07 2006-09-12 Microsoft Corporation Probablistic models and methods for combining multiple content classifiers
US7742641B2 (en) 2004-12-06 2010-06-22 Honda Motor Co., Ltd. Confidence weighted classifier combination for multi-modal identification
US8260732B2 (en) * 2009-11-24 2012-09-04 King Fahd University Of Petroleum And Minerals Method for identifying Hammerstein models
KR101035038B1 (ko) 2010-10-12 2011-05-19 한국과학기술정보연구원 분류기의 동적 결합에 의한 대용량 분류기 자동 생성 시스템 및 방법
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US10346757B2 (en) * 2013-05-30 2019-07-09 President And Fellows Of Harvard College Systems and methods for parallelizing Bayesian optimization
EP3047417A2 (en) 2013-09-16 2016-07-27 Biodesix, Inc. Classifier generation method using combination of mini-classifiers with regularization and uses thereof
US10360513B2 (en) * 2014-11-11 2019-07-23 Singular Me Corp Belief data model management service
WO2016171778A1 (en) * 2015-04-24 2016-10-27 Exxonmobil Upstream Research Company Seismic stratigraphic surface classification
US9443192B1 (en) * 2015-08-30 2016-09-13 Jasmin Cosic Universal artificial intelligence engine for autonomous computing devices and software applications
US20180075347A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Efficient training of neural networks
CA3113807A1 (en) 2018-09-25 2020-04-02 Coalesce, Inc. Model aggregation using model encapsulation of user-directed iterative machine learning
US11005861B2 (en) 2018-12-18 2021-05-11 EMC IP Holding Company LLC Combining static and dynamic models for classifying transactions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Belief rule-based inference for predicting trauma outcome;Guilan Kong et al.;《Knowledge -Based Systems》;第95卷;第35-44页 *

Also Published As

Publication number Publication date
CN110414682A (zh) 2019-11-05
US11630987B2 (en) 2023-04-18
US20190332917A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
CN110414682B (zh) 神经信念推理器
CN112633010B (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及***
Puris et al. Variable mesh optimization for continuous optimization problems
Boella et al. Meta-argumentation modelling I: Methodology and techniques
Feng et al. Approximate planning for factored POMDPs
Farshbafan et al. Curriculum learning for goal-oriented semantic communications with a common language
Pasula et al. Approximate inference for first-order probabilistic languages
Mao et al. Information state embedding in partially observable cooperative multi-agent reinforcement learning
CN110610346A (zh) 智能办公自动化***工作流实例时间预测分析
CN113656696A (zh) 一种会话推荐方法及装置
Wang et al. Network meets chatgpt: Intent autonomous management, control and operation
Hanneke et al. Multiclass online learning and uniform convergence
Yang et al. The interactive step trade-off method (ISTM) for multiobjective optimization
Dikopoulou et al. Open source tool in R language to estimate the inference of the Fuzzy Cognitive Map in environmental decision making
Atef et al. On Some Types of Covering‐Based ℐ, T‐Fuzzy Rough Sets and Their Applications
Elouedi1 et al. Classification with belief decision trees
CN112817560B (zh) 一种基于表函数的计算任务处理方法、***及计算机可读存储介质
Madni Models in Systems Engineering: From Engineering Artifacts to Source of Competitive Advantage
Farhaoui et al. Big Data and Smart Digital Environment
Marín et al. Devolved ontology in practice for a seamless semantic alignment within dynamic collaboration networks of smes
Bernabé-Moreno et al. A fuzzy linguistic supported framework to increase Artificial Intelligence intelligibility for subject matter experts
Gorskis et al. Ontology building using classification rules and discovered concepts
Srinivas et al. Strategic decision-making processes: network-based representation and stochastic simulation
Ngan An automated data-driven tool to build artificial neural networks for predictive decision-making
Nayyef et al. A review of medical image techniques and methods based on a multi-agent system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant