CN110119446A - 可解释人工智能 - Google Patents

可解释人工智能 Download PDF

Info

Publication number
CN110119446A
CN110119446A CN201910075899.6A CN201910075899A CN110119446A CN 110119446 A CN110119446 A CN 110119446A CN 201910075899 A CN201910075899 A CN 201910075899A CN 110119446 A CN110119446 A CN 110119446A
Authority
CN
China
Prior art keywords
real
data
world
rule
knowledge model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910075899.6A
Other languages
English (en)
Inventor
李中生
熊光磊
A·贾因
E·穆恩奎亚·塔皮亚
姜锡律
B·N·格罗索夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Solutions Ltd
Original Assignee
Accenture Global Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Solutions Ltd filed Critical Accenture Global Solutions Ltd
Publication of CN110119446A publication Critical patent/CN110119446A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/042—Backward inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及可解释人工智能。描述了基于人工智能的推理解释的示例。在示例实施方式中，生成具有多个本体和多个推论规则的知识模型。一旦生成知识模型，基于真实世界问题，从各种知识模型中选择要用于解决真实世界问题的知识模型。将从真实世界问题获取的数据聚类和分类成为所确定的知识模型的本体。标识要用于解构真实世界问题的推论规则，并且生成机器推理以提供针对问题的假设和伴随假设的解释。

Description

可解释人工智能
优先权
本申请要求于2018年2月5日提交的美国临时申请号62/626,460的优先权，其公开内容通过引用整体并入本文。
背景技术
人工智能(还被称为AI)的核心是使用机器学习技术，以允许机器模拟人类行为的某些核心方面。换言之，AI允许机器表现为能够在很少或没有人为干预的情况下感知、学习、做出决策、以及采取行动的自主***。
基于AI的***在用于增强人类智能时的有效性通常根据***向用户解释决策和行动的能力来衡量。虽然在某些情况下用户可以同意某个行动或决策或者完全放弃对于来自机器的解释的需求，但是在大多数情况下，如果机器能够解释用于达成该推荐的逻辑步骤和推理(reasoning)，则用户可以仅欣赏或者甚至接受由机器给出的推荐。例如，用户可以不知道Netflix推荐某些电影的原因；但是，用户仍然可以接受推荐。但是，如果机器推荐用户经受侵入性医疗，则由于情况的严重性，用户可能希望能够看到用于推荐的推理和智力(intellect)。
例如，在财务和会计场景中，对于日记账分录的账户代码表的推荐，必须进行解释和推理。在另一示例中，在采购中，推理和解释是必要的，例如，以解释供应商的选择或最终出价。在又一示例中，在基于政策的内容审核中，对于被拒绝的政策外的广告或社交媒体发布，需要解释和推理。作为另一备选示例，在医疗保健中，对于被拒绝的索赔的解释是强制性的，作为福利解释的一部分。
传统上，存在用于可解释AI的各种技术，可解释AI是用于AI的术语，其能够针对由其做出的决策提供解释。例如，一种技术可以将数字媒体和社交媒体内容连接到所公认的真相源。因此，该技术基于内容是否与真实源相关联来提供关于媒体内容的真实性的解释。另一种技术试图基于与图像相关联的描述和类定义来对图像进行分类，并且通过描绘描述和类定义之间的连接来解释分类。又一种技术使用图像分解来标识图像中的各种元素。经分解的图像的不同元素用于解释图像和图像的最终分析。
然而，在可解释AI***中使用的大多数上述机器学习技术使用从输入数据中提取的特征向量(其可以是时间序列、文本、图像、视频)并且产生输出标签，而没有明确记录关于标签的产生方式和原因的解释。基于前向或后向链接(chaining)的其他机器推理技术可能无法提供推理过程的完整溯源。这些技术中的很多技术不提供答案的置信度，并且很少将与业务环境相关联的风险值考虑到对解释的考虑中。在很多情况下，单独的准确性或置信度不足以确定是否需要人为干预，因为做出正确或错误决策的值(或风险)变化很大。此外，由现有的可解释AI***提供的验证粒度可能不足以使得用户审核推荐并且确保可以信任决策做出(decision-making)。此外，在存在错误决策做出的情况下，用户无法准确地查明或标识出针对这种决策做出的原因。
这提出了可解释AI***的技术问题，因为它们在提供对它们提供的解决方案的分析方面可能是低效的。因此，现有***可以利用计算和手动资源，这仍然可能导致不充分和无效的结果。本公开涉及可解释AI工具，其以技术方式解决了上述技术问题。
发明内容
根据一个方面，提供了一种人工智能AI***，其包括知识模型构造器和执行器。知识模型构造器用于生成知识模型，知识模型包括多个本体和多个推论规则，多个推论规则用于生成针对由AI***做出的决策的解释，知识模型构造器包括：本体创建器，用于基于从知识模型构造器的真实世界交互获取的数据来创建多个本体，所获取的数据是真实世界数据，真实世界数据包括结构化数据、非结构化数据和半结构化数据；以及规则构造器，用于基于本体和从真实世界交互获取的真实世界数据来构造多个推论规则。执行器用于在面对真实世界问题时做出决策，执行器包括：知识模型检测器，用于基于真实世界问题来选择要用于解决真实世界问题的知识模型；以及解释器，用于执行决策做出过程并且生成针对所做出的决策的解释，解释器包括：分类器和簇生成器，用于将从真实世界问题获取的数据分类和聚类到所确定的知识模型的本体中；规则标识器，用于标识要用于解构真实世界问题的推论规则；以及推论器和假设生成器，用于提供基于机器学习的推理，以提供针对真实世界问题的假设和伴随假设的解释，其中推论器和假设生成器捕获置信度参数，置信度参数指示针对所做出的决策的解释的强度。
根据一个实施例，解释器使用机器学习技术来生成决策和解释的视觉表示。
根据一个实施例，规则标识器解析真实世界问题，以组织所述真实世界问题中的逻辑语句。
根据一个实施例，规则标识器提供真实世界问题的解构的人类可读形式，以预览推理线。
根据一个实施例，所标识的推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。
根据另一方面，提供了一种AI***，其包括知识模型构造器和执行器。知识模型构造器用于生成知识模型，知识模型包括多个本体和多个推论规则，多个推论规则用于生成针对由AI***做出的决策的解释，知识模型构造器包括：本体创建器，用于基于从知识模型构造器的真实世界交互获取的数据来创建多个本体，所获取的数据是真实世界数据，真实世界数据包括结构化数据、非结构化数据和半结构化数据，其中本体创建器利用归纳推理技术用于创建本体；以及规则构造器，用于基于本体和从真实世界交互获取的真实世界数据来构造多个推论规则，其中规则构造器利用演绎推理技术用于创建多个推论规则。执行器用于在面对真实世界问题时做出决策，执行器包括：知识模型检测器，用于基于真实世界问题来选择要用于解决真实世界问题的知识模型；以及解释器，用于执行决策做出过程并且生成针对所做出的决策的解释，解释器包括：分类器和簇生成器，用于将从真实世界问题获取的数据分类和聚类到所确定的知识模型的本体中，其中分类器和簇生成器使用归纳推理技术用于对数据进行分类和聚类；规则标识器，用于标识要用于解构真实世界问题的推论规则，其中规则标识器利用演绎推理技术用于解构真实世界问题；以及推论器和假设生成器，用于提供机器生成的推理，以提供针对问题的假设和伴随假设的解释，其中推论器和假设生成器利用溯因推理技术用于提供假设和解释。
根据一个实施例，规则构造器将解释的强度构建到推论规则中。
根据一个实施例，推论器和假设生成器确定置信度参数，置信度参数指示强度，置信度参数与决策和关联的解释相关联。
根据一个实施例，规则标识器解析真实世界问题，以组织真实世界问题中的逻辑语句。
根据一个实施例，规则标识器提供真实世界问题的解构的人类可读形式，以预览推理线。
根据一个实施例，所标识的推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。
根据一个实施例，归纳推理技术包括监督聚类技术和无监督聚类技术中的一者。
根据一个实施例，溯因推理技术包括基于证据的推理技术。
根据又一方面，提供了一种包括机器可读指令的非暂态计算机可读介质，机器可读指令由处理器可执行以：生成知识模型，知识模型包括多个本体和多个推论规则，多个推论规则用于生成针对由AI***做出的决策的解释，其中生成本体包括：通过使用归纳推理技术用于创建本体，而基于从真实世界交互获取的数据来创建多个本体；以及通过使用演绎推理技术用于创建多个推论规则，而基于本体和从真实世界交互获取的数据来创建多个推论规则；基于真实世界问题，确定要用于解决真实世界问题的知识模型；通过使用归纳推理技术用于对数据进行分类和聚类，而将从真实世界问题中获取的数据分类和聚类到所确定的知识模型的本体中；通过使用演绎推理技术用于解构真实世界问题，而标识要用于解构真实世界问题的推论规则；以及通过使用溯因推理技术用于提供假设和解释，而提供基于机器学习的推理，以提供针对问题的假设和伴随假设的解释。
根据一个实施例，为了提供基于机器学习的推理，处理器使用机器学习技术来生成决策和解释的视觉表示。
根据一个实施例，为了标识推论规则，处理器解析真实世界问题，以组织真实世界问题中的逻辑语句。
根据一个实施例，为了标识推论规则，处理器提供真实世界问题的解构的人类可读形式，以预览推理线。
根据一个实施例，所标识的推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。
根据一个实施例，归纳推理技术包括监督聚类技术和无监督聚类技术中的一者。
根据一个实施例，溯因推理技术包括基于证据的推理技术。
附图说明
通过在以下附图中示出的示例来说明本公开的特征。在下面的附图中，相同的数字指示相同的元素，其中：
图1图示了根据本公开的一个示例实施例的在网络环境内的***实施方式；
图2图示了根据本公开的一个示例实施例的***的框图；
图3A至图3C图示了根据本公开的一个示例实施例的结构知识模型的一个示例；
图4图示了根据本公开的一个示例实施例的作为决策做出和解释的一部分来负责数据元素的无监督分类的部件的示意图；
图5图示了根据本公开的一个示例实施例的作为决策做出和解释的一部分的数据元素的无监督分类的过程；
图6描述了根据本公开的一个示例实施例的作为演绎推理的一部分的后向链接过程的一个示例；
图7图示了根据本公开的一个示例实施例的用于遍历知识图的推理的溯源的过程；
图8a、图8b和图8c图示了根据本公开的一个示例实施例的由***执行的推理和解释的各种示例；
图9图示了根据本公开的一个示例实施例的用于实现***的硬件平台；以及
图10图示了根据本公开的一个示例实施例的解释推理或决策的方法。
具体实施方式
出于简化和说明的目的，通过主要参考其示例来描述本公开。在本文中所描述的本公开的实施例可以以不同的组合一起使用。在以下描述中，阐述细节以便提供对本公开的理解。然而，很清楚的是，可以实践本公开而不限于所有这些细节。而且，在整个本公开中，术语“一”和“一个”旨在表示至少一个特定元素。如本文中使用的，术语“包括”表示包括但不限于，术语“包括有”表示包括有但不限于。术语“基于”表示至少部分基于，术语“在……基础上”表示至少部分在……基础上，并且术语“诸如”表示诸如但不限于。
本公开描述了用于人工智能(AI)工具的***和方法，其能够从由人工智能工具处理的数据中导出逻辑推理并且使用该逻辑推理来设计解释以呈现给用户。因此，为了作为起点进行操作，本公开的技术涉及数据驱动的本体和推论(inferencing)规则构造。这样构造的推论规则被用于开发推理过程，并且还用于开发“置信度”或“信任度”的框架以指示推理过程的强度。一致地，这用于开发可解释AI技术，以提供一种有效的方式来在相当精细的级别说明AI***的后端推理过程，这允许用户做出知情的决策或接受代表其而做出的决策。此外，可解释AI技术还提供了框架以使用户能够标识在推理中的可能的错误或缺陷、在发生错误的过程中的确切步骤，并且提出解决方案以解决这些错误。
作为第一步，创建本体并且将其与数据相关联。为了实现这一点，经常解析大量数据并且对其进行组织(curate)，以形成本体并且将数据与本体链接。具体地，无监督学习(例如，k均值聚类)可以用于对从整个数据中提取的特征向量进行聚类，整个数据可以是结构化或非结构化数据的形式。在新数据变得可用时，通过AI***与真实世界的交互，在初始创建之后，逐步且不断地细化本体。另外，经组织的数据还用于提取关系和推论规则，其形成用于可解释AI的知识模型的基础，即，AI***最终向用户提供的解释的基础。
例如，组织不同类型的电子邮件和数据的本体，对其进行聚类，并且将其映射到各种本体。无监督学习技术被用于聚类以确定四个簇(cluster)；但是，当数据被组织和解析时，可以建立六个本体标签。然后，AI***将四个簇映射到六个本体标签。通过与真实世界的交互来对本体和簇进行迭代细化有助于AI***进行这种映射。例如，AI***可以使用主成分分析来建立簇的层次结构。然后，AI***递归地处理数据空间，以尝试建立本体并且使用与数据相关联的注释，并且然后将数据映射到分层簇。
如前所述，经组织的数据还被用于提取推论规则和关系。此外，所提取的推论规则和关系使用前向或后向链接来触发。通过前向或后向链接的在推论引擎内的推论规则的激活序列被称为推理的溯源。因此，如上所述，本公开的AI***使用机器学习方法和推论规则(或谓词(predicate))的组合来表示知识模型。
作为推理过程的一部分，推论规则的提取可以作为前向和/或后向链接过程的结果来被触发。前向链接可以表示AI***从假设或事实开始，并且然后基于该假设或事实而达成结果。向后链接可以表示AI***从假设结果开始，并且在结果与现有事实之间建立关联。在这两种情况下，AI***都试图证明为达成决策而采取的推理的路径，并且将该路径呈现给用户。也就是说，AI***使用各种模式来向用户提供解释，并且在特定实例中使用的模式可以基于很多因素，诸如已经寻求AI***的帮助的目的和行业。该方法既可以应用于确定性推理框架，还可以应用于概率性推理框架。
一旦以上述方式开发和设置了AI***，AI***就可以用于执行诸如将新鲜的真实世界数据分类到结果中的任务以及提供解释。在一个示例中，有助于提供解释的无监督聚类提供了特征向量的自下而上的结构，并且提供了自上而下的本体结构与自下而上的聚类结构之间的对准，以完全使得AI***能够解释分类。
在产生分类结果时，解释的强度还被捕获为“置信度”或“信任度”。在一个示例中，基于一个标签在特征向量空间中距离另一标签的边界有多远来评估置信度和信任度。此外，置信度由决策的“风险值”加权，因此较高的风险值将需要较高的置信度。
例如，假设分类应当标识在新会计规则下要考虑的范围内的合同。每份合同的价值可以大体从数千美元变化到数亿美元，因此，这些高价值合同的分类将自然需要更高的置信度。
置信度参数的存在以及分类可以使得用户能够正确地理解分类结果和解释。本公开的技术允许开发制定(formulate)分类方法的AI***，该分类方法使用谓词结构或推论规则用于逻辑和推理，从而使得AI***能够达成结论并且向用户解释该结论。此外，人工智能***涉及机器学习技术的汇合以实现分类，从而允许识别类似的推理模式并且调用类似的解释器来解释该决策。这有效地允许重复使用先前生成的解释，只要输入类似于先前的情况。
此外，本公开设想使用基于机器学习的方法以视觉表示的形式来开发知识表示。基于机器学习的方法提供了示例和反例，并且该方法可以用作例如使用模糊、逻辑、空间、时间和时空操作符来构造更复杂的知识模型的基本构建块。因此，本公开的技术可以有效地解释空间现象(诸如油气藏的深度)或时空图案(诸如电晕质量喷射(CME))。
图1图示了根据本公开的一个示例实施例的实现人工智能(AI)***105(下文中被称为***105)的网络环境100。在一个示例实施例中，出于创建框架以提供对于由***105所做出的决策的解释的目的，***105使用人工智能(AI)技术，诸如机器学习、数据挖掘和知识发现。***105与输入/输出(I/O)***110和真实世界实体115通信，并且利用人工智能工具，该人工智能工具能够根据从I/O***110和真实世界实体115(在下文中可互换地被称为真实世界115)收集的数据来导出逻辑推理。这样推导出的逻辑推理被用于设计解释。***105能够生成数据驱动的本体，以用于解析大量的真实世界数据并且筛选该数据以对该数据进行聚类。作为创建解释框架的一部分，***105还执行推论规则构造。这样构造的推论规则被用于开发推理过程，并且还用于开发“置信度”或“信任度”的框架以指示推理过程的强度。鉴于此，I/O***110被启用并且启发以便接受由***105做出的决策或向***105提出更好的解决方案。因为***105是基于机器学习的***，所以***105反复学习这些交互，以便向用户提供更好的解释和更好的决策。
在一个示例中，网络环境100可以是公共网络环境，包括多个个人计算机、膝上型计算机、各种服务器(诸如刀片式服务器)、以及其他计算设备和资源。在另一示例中，网络环境100可以是具有有限数目的计算设备(诸如个人计算机、服务器和膝上型计算机)的私人网络环境。此外，***105在各种计算***(诸如膝上型计算机、台式计算机、量子计算机、平板计算机等)中实现。
根据一个示例实施例，***105直接与真实世界实体115通信以获得数据，还被称为真实世界数据。所收集的数据可以是结构化数据、非结构化数据和半结构化数据的形式。非结构化数据可以包括例如文本、语音、图像、视频、地震数据、社交媒体内容和其他形式的数字媒体。例如，半结构化数据可以包括来自可扩展商业报告语言(XBRL)文件的数据、可扩展标记语言(XML)格式的文件和数据、以及来自资源描述框架(RDF)文件的数据。
根据本公开的一个方面，***105可以从网络环境100中与***105相关联的真实世界实体115收集真实世界数据。例如，真实世界实体115可以包括传感器、计算设备等。传感器例如可以是IoT设备，并且可以包括图像捕获设备、音频传感器、文本分析器、车载诊断(OBD2)传感器等。
在一个示例实施例中，***105可以通过网络120连接到I/O***110和真实世界实体115。网络120可以是单独的网络，或者是彼此互连并且用作单个大型网络(例如，因特网或内联网)的很多这样的单独网络的集合。网络120可以被实现为不同类型的网络之一，诸如内联网、局域网(LAN)、广域网(WAN)、因特网等。随着功能和技术的发展或开发，图1中所示的基础设施可以同时更换和升级，这将确保超越任何现有的和潜在的“瓶颈”或“边缘”。
根据本公开，***105可以提供使用知识模型创建的可解释AI技术，该知识模型包含各种本体，这些本体与***105将要用于的应用直接相关，并且该知识模型还包含各种推论规则。在一个示例中，***105可以通过数据簇提供解释，该数据簇被映射到本体，并且然后该数据簇被用于由***105进行决策做出以及提供针对所做出的决策的推理。在另一示例中，***105可以使用推论规则来进行决策做出，并且然后解释规则以用于提供解释。在又一示例中，***105可以使用数据簇到本体的映射以及推论规则来进行决策做出，并且然后提供针对决策的推理和解释。因此，对于相同的问题和相同的知识模型，***105可以能够提供不同的推理过程。例如，基于知识模型，***105可以触发进行解释的方式，可以有效地选择推理的模态，并且然后可以将本体映射到数据簇并且使用推论规则来进行决策做出和推理。
在操作中，***105使用真实世界数据以用于使用聚类技术来创建本体，并且还使用各种推理技术从数据中提取推论规则和谓词。因此，***105创建可以用于筛选来自真实世界的更多数据的知识模型。在该方面，知识模型被执行以便从数据中得出某些结论和推论并且向用户110提供解释。此外，***105还同化数据并且理解数据，以便递归地改进自身。结合图2进一步详细描述***105的各种部件的功能。
图2图示了根据本公开的一个示例实施例的***105的框图。除了其他之外，***105还包括知识模型构造器205和执行器210。知识模型构造器205包括但不限于数据收集器215、本体创建器220、规则构造器225，它们与彼此进行通信并且共同负责收集来自各种真实世界源的数据并且利用数据构建本体。执行器210包括但不限于与彼此进行通信的知识模型检测器230和解释器235。解释器235还包括分类器和簇生成器240、规则标识器245以及推论和假设生成器250。
如上所述，***105能够基于其处理的数据来导出决策。数据收集器215可以与真实世界通信，并且获取大量数据，以用于本体创建器220处理和生成一个或多个本体并且用于规则构造器225创建有效的推论规则、谓词和类似构造。本体以及推论规则和谓词被用于生成知识模型，该知识模型稍后可以被用于解决真实世界问题并且作为可解释AI的一部分来向用户110提供适当的解释。
数据收集器215可以从各种源获取数据，该各种源包括结构化数据源、非结构化数据源和半结构化数据源。非结构化数据源可以包括例如社交媒体和其他数字媒体源。非结构化数据可以包括例如文本、语音、图像、视频、地震数据和其他形式的数字媒体。半结构化数据源可以包括例如可扩展商业报告语言(XBRL)数据库、可扩展标记语言(XML)格式的数据库和资源描述框架(RDF)数据库。
反过来，本体创建器220使用由数据收集器215获取的数据来创建本体并且将数据与本体相关联。为此目的，本体创建器220解析大量数据并且组织该数据。例如，本体创建器220可以使用诸如演绎学习技术的各种类型的学习技术，用于组织数据和对数据进行聚类。在一个示例中，本体创建器220可以使用包括k均值聚类在内的无监督学习来对从整个数据中提取的特征向量进行聚类。在另一种情况下，本体创建器220可以使用涉及监督分类的技术用于整个数据块的聚类和组织。然后，经聚类的数据被用于创建本体，并且数据被映射回到本体。
例如，考虑不同类型的电子邮件的本体。本体创建器220可以执行任务，诸如筛选所有数据、混淆数据、以及将数据映射到各种本体。本体创建器220可以应用诸如无监督学习的演绎推理技术来对数据进行聚类。在一个示例实施例中，本体创建器220通过处理数据来组织四个簇；然而，本体创建器220在解析数据时建立六个本体标签。然后，本体创建器220将四个簇适当地映射到六个本体标签。
在一个示例中，映射可以简单地通过比较向数据分配的本体和数据被映射到的特定簇来完成。例如，特征向量x可以对应于簇#3和本体标签D。然后，***105可以建立对簇#3与本体标签D之间的等价的初始假设。附加特征向量可以为簇#3与本体标签D之间的映射以及簇#3与本体标签E之间的附加映射提供附加支持。这可以得出结论：簇#3等同于本体标签D和本体标签E。
另外，例如，本体创建器220可以使用主成分分析由数据建立簇的层次结构。然后，本体创建器220可以使用与数据相关联的注释并且将本体映射到先前建立的分层簇，来递归地处理数据。
规则构造器225使用经组织的数据，用于提取关系和推论规则。这些关系和推论规则构成了***105将其作为可解释AI的一部分来使用的知识模型的基础，即，***105最终向用户110提供的、针对由***105做出的决策的解释的基础。规则构造器225可以利用所提取的推论规则和关系(被称为推理的溯源)，用于使用推论规则(或谓词)来制定机器学习方法，以表示知识模型。
规则构造器225可以采用用于提取推论规则的各种推理/学习技术，诸如演绎推理技术。例如，在一种情况下，规则构造器225可以通过前向链接过程来触发推论规则和谓词的提取；而在另一示例中，作为推理过程的一部分，它可以作为后向链接过程的结果来被触发。在第一种情况下，作为前向链接技术的一部分，规则构造器225可以将推论规则配置为从假设或事实开始并且然后基于该假设或事实来达成结果。另一方面，作为后向链接的一部分，规则构造器225可以设计推论规则，该推论规则使得***105从假设结果开始并且建立结果与现有事实之间的关联。在这两种情况下，规则构造器225设计用于***105的机构，以试图证明由***105为了达成决策而采用的推理路径，并且规则构造器225将该路径呈现给用户110。该方法可以被应用于确定性推理框架以及概率性推理框架。
此外，规则构造器225可以被配置为将解释的强度构建到推论规则中。在产生分类结果时，由***105提供的解释强度被捕获为“置信度”或“信任度”值，该解释强度可以使得用户能够正确地理解分类结果和解释。
因此，数据收集器215、本体创建器220和规则构造器225以协同方式操作，以便制定将由***105使用用于推理和解释推理的知识模型。随后，执行器210可以使用知识模型并且处理另外的真实世界数据以用于分类或决策做出。例如，执行器210可以以问题或困境的形式遇到真实世界问题，执行诸如将新鲜的真实世界数据分类到结果中的任务，并且还可以提供针对决策的逻辑解释。
因此，知识模型检测器230确定要用于处理真实世界问题的知识模型(在推论规则、知识图或资源描述框架中)。知识模型可以在概念或功能级别、结构级别或行为级别进行定义。概念模型可以包括本体和预测逻辑。本体可以以元组(例如，资源描述框架(RDF)文件)或知识图的形式表示。谓词逻辑包括推论规则(捕获一阶或更高阶逻辑)。结构模型包括地理空间模型(诸如地图)、社交网络。行为模型包括时空模型。表示知识模型时可以涉及到一个或多个知识模型，包括推论规则、知识图、搜索索引(基于搜索引擎，诸如开源搜索引擎Apache Solr和Elastic Search)、结构模型和行为模型。
知识模型检测器230可以使用以下方法来检测知识模型。知识模型检测器230可以首先(通过分类)确定知识是概念性的、功能性的、结构性的还是行为性的。对于概念知识或功能知识，知识模型检测器230可以例如标识实体和关系的共现，其导致知识图或问题答案对或其他概念或功能知识表示的提取。另一方面，对于结构知识，知识模型检测器230可以提取地理空间或社交网络知识表示，而对于行为级知识，知识模型检测器230可以提取时空知识表示。在另一种情况下，知识模型检测器230可以以与上述相同的方式检测和提取一个或多个知识模型。
一旦知识模型检测器230已经确定了用于解决当前的真实世界问题所要采用的知识模型，解释器235就进一步承担找到解决方案以及向用户110解释背景推理过程的任务。因此，分类器和簇生成器(CCG)240利用归纳推理的概念，用于组织数据并且对来自真实世界问题的数据进行聚类。如先前关于本体创建器220所解释的，CCG 240可以以类似的方式剖析真实世界问题，以对数据进行分类并且将数据聚类成先前由知识模型检测器230标识的知识模型中的一个或多个本体。在一个示例中，CCG 240可以利用监督分类技术来对从真实世界问题中提取的数据进行聚类和分类。在另一示例中，CCG 240可以采用诸如k均值聚类技术的无监督聚类技术来将从真实世界问题中提取的数据聚类和映射到所确定的知识模型。
随后，规则标识器245执行标识将在给定情况下适用的推论规则的角色，***105在该基础上提供决策和针对决策的推理。通过各种推论规则和谓词，***105提供各种模式以用于向用户110提供对于由***105做出的决策的解释。在特定实例中使用的模式、(即，推论规则)可以基于很多因素，诸如已经寻求***105的帮助的目的和行业、或者已经由知识模型检测器230确定的知识模型。例如，规则标识器245可以确定对于某种情况，前向链接推理过程可能是适当的，而对于另一种情况，后向链接推理过程可能是合适的。
基于为应用选择的一个或多个推论规则，***105可以将真实世界问题解构为更小的结构。在一个示例中，在详细提供解释或推理之前，规则标识器245可以向I/O***提供问题的解构的人类可读形式。这为用户110提供了***105为了达成决策而可能采取的推理线的预览。
作为一个示例，根据本公开，以下描述由规则构造器225和规则标识器245执行的后向链接推理过程。在上述示例中，所遇到的真实世界问题是“Eagle Sporting Goods的库存为250万美元，并且应收账款为200万美元。它的平均每日销售额为100,000美元。公司的应付款延期为30天，并且平均每日销售成本为50,000美元。公司现金转换期有多长？提供以下选项作为答案选择：(a)90天；(b)60天；(c)50天；(d)40天。由解释器235(即由规则标识器245和IHG 250)执行的推理返回对上述真实世界问题的答案及其解释。
例如，规则标识器245可以解析问题以组织逻辑语句，该逻辑语句编码关于问题的会计知识。换言之，自然语言问题可以被编码为逻辑查询，如下所示：
i.Question Stem:
ii.company('Eagle Sporting Goods').
iii.inventory_of('Eagle Sporting Goods',2500000).
iv.receivables_of('Eagle Sporting Goods',2000000).
v.payables_deferral_period_of('Eagle Sporting Goods',time_amount(30,days)).
vi.sales_per_day_of('Eagle Sporting Goods',90000).
vii.cost_of_sales_per_day_of('Eagle Sporting Goods',50000).
viii.focal_company_of(Q7,'Eagle Sporting Goods').
ix.narrow_query_property_of(Q7,cash_conversion_period_of).
x.Question Alternatives:
xi.answer_choice(Q7,a,time_amount(100,days)).
xii.answer_choice(Q7,b,time_amount(60,days)).
xiii.answer_choice(Q7,c,time_amount(50,days)).
xiv.answer_choice(Q7,d,time_amount(40,days)).
规则标识器245可以将经编码的问题动态地添加到具有会计知识的整体逻辑知识库。另外，如上所述，规则标识器245可以向用户110提供问题的解构的人类可读形式，从而向用户110提供***105为了达成决策而可能采取的推理线的预览。例如，编码的逻辑语句可以如下：
i.inventory_conversion_period_of(？company,
ii.time_amount(？inventory_conversion_period,days)):-
iii.average_inventory_of(？company,？average_inventory)\and
iv.cost_of_sales_per_day_of(？company,
？cost_of_sales_per_day)\and
v.？inventory_conversion_period\is
vi.？average_inventory/？cost_of_sales_per_day
可以将上述经编码的逻辑语句转换为自然语言的、人类可读的语句“库存转换期等于平均库存除以每天售出商品成本”。
在另一种情况下，经编码的逻辑语句可以如下：
i.@{'presume average inventory is same as inventory'}
ii.average_inventory_of(？company,？inventory):-
iii.inventory_of(？company,？inventory).
以上经编码的逻辑语句可以被转换到自然语言的人类可读的语句，转换为“假设平均库存等于库存”。在上述两个示例中，规则标识器245可以被配置为读取符号：“:-”以表示“if”，以及“？”以作为逻辑变量的前缀，并且“@{…}”可以被理解为附上在异常处理中使用的优先级标记。
在以下示例中，规则标识器245通过在进行深度优先和从左到右的同时将逻辑推论规则与目标进行匹配来评估子问题并且创建目标树：
i.Goal1:answer_of(Q7,？choice).
b.Found:Inferencing rule1–from general test-taking knowledge–withconditions that become subgoals Goal2,Goal3,Goal4,Goal5,Goal6
c.Goal2:focal_company_of(Q7,？company).
d.Found:fact Inferencing rule2–from question stem–that satisfiesGoal2with binding？company＝‘Eagle Sporting Goods’
e.Goal3:narrow_query_property_of(Q7,？property).
f.Found:fact Inferencing rule3–from question stem–that satisfiesGoal3with binding？property＝cash_conversion_period_of
g.Goal4:？property(？company,？time_amount(？raw_value,days).
h.Found:Inferencing rule4–from accounting knowledge about workingcapital management–with conditions that become subgoals Goal7,Goal8,Goal9,Goal10,Goal11
i.Goal7:company(‘Eagle Sporting Goods’).
j.Found:fact Inferencing rule5–from question stem–that satisfiesGoal7
k.Goal8:inventory_conversion_period_of(‘Eagle Sporting Goods’,time_amount(？inventory_conversion_period,days)).
l.Found:Inferencing rule6–from accounting knowledge–that satisfiesGoal8 with conditions that become subgoals Goal12,Goal13,Goal14
m.Goal12:average_inventory_of('Eagle Sporting Goods',？average_inventory).
n.Found:Inferencing rule7–from accounting knowledge–that satisfiesGoal12 with a condition that becomes subgoal Goal15
o.Goal15:inventory_of('Eagle Sporting Goods',？inventory).
p.Found:fact Inferencing rule8–from question stem–that satisfiesGoal15 with binding？inventory＝2500000
q.Goal13:cost_of_sales_per_day_of('Eagle Sporting Goods',？cost_of_sales_per_day).
r.Found:fact Inferencing rule9–from question stem–that satisfiesGoal13 with binding？cost_of_sales_per_day＝50000
s.Goal14:？inventory_conversion_period \is？average_inventory/？cost_of_sales_per_day.
t.Found:builtin arithmetic operation that satisfies Goal14 withbinding？inventory_conversion_period＝50.0
u.Goal9:receivables_collection_period_of('Eagle Sporting Goods',time_amount(？receivables_collection_period,days)).
v.Found:Inferencing rule10 that satisfies Goal9 with conditions thatbecome subgoals Goal16,Goal17,Goal18
w.Goal16:receivables_of('Eagle Sporting Goods',？receivables).
x.Found:fact Inferencing rule11–from question stem–that satisfiesGoal16 with binding？receivables＝2000000
y.Goal17:credit_sales_per_day_of('Eagle Sporting Goods',？credit_sales_per_day).
z.Found:Inferencing rule12–from accounting knowledge–with a conditionthat becomes subgoal Goal19
aa.Goal19:sales_per_day_of('Eagle Sporting Goods',？sales_per_day).
bb.Found:fact Inferencing rule13–from question stem–that satisfiesGoal19 with binding？sales_per_day＝90000
cc.Goal18:？receivables_collection_period\is receivables/？credit_sales_per_day.
dd.Found:builtin arithmetic operation that satisfies Goal18 withbinding？receivables_collection_period＝20.0
ee.Goal10:payables_deferral_period_of('Eagle Sporting Goods',time_amount(？payment_deferral_period,days)).
ff.Found:fact Inferencing rule14–from question stem–that satisfiesGoal10 with binding？payables_deferral_period＝30
gg.Goal11:？cash_conversion_period\is？inventory_conversion_period+？receivables_collection_period-？payment_deferral_period.
hh.Found:builtin arithmetic operation that satisfies Goal11 withbinding？cash_conversion_period＝40.0 and thereby satisfies Goal4 withbinding？raw_value＝40.0
ii.Goal5:？raw_value[round->？value]@\basetype
jj.Found:Builtin arithmetic operation that satisfies Goal5withbinding？value＝40
kk.Goal6:answer_choice(Q7,？choice,time_amount(？value,days)).
Found:fact Inferencing rule15–from question alternatives–thatsatisfies Goal6with binding？choice＝d and thereby satisfies Goal1；这完成了推理。
此外，推论器和假设生成器(IHG)250使用经解构的问题，并且应用各种技术，IHG250可以提供机器推理以提供对问题的假设和伴随该假设的解释。在一个示例中，IHG 250可以使用诸如基于证据的推理技术的溯因推理技术，用于提供假设和解释性证据。
例如，溯因推理可以被理解为逻辑推论形式，其从观察进行到解释观察的假设，并且在过程中寻求找到最简单和最可能的解释。在溯因推理中，与诸如向后或向前链接的演绎推理不同，前提并不能保证结论。因此，溯因推理可以被理解为“对最佳解释的推论”。
为了提供由IHG 250使用的溯因推理技术的示例，考虑以下内容。以下观察导致推论或其之后的假设。观察是：(1)营销副总裁在1985年至1989年间经常与Sara沟通，(2)Sara与第三方Tom多次关于卷烟和儿童进行沟通，以及(3)Sara与营销副总裁之间的文件提到儿童。IHG 250在这些观察的基础上作为溯因推理的一部分而生成的假设是“营销副总裁知道在1989年之前香烟广告针对儿童”。因此，在这种情况下，IHG 250在分析社交交互网络时可以特别有效，该社交交互网络包括通过组织的显式交互和通过电子邮件、电话日志和即时消息以及信息和概念检索的隐式交互。
另外，解释器235能够对由规则构造器225在规则中构建的“强度”参数进行加权。因此，推论器和假设生成器250可以确定与决策和关联的解释相关联的强度或置信度，并且将其提供给用户110。这将参考图8a详细说明。
在一个示例中，解释器235能够使用机器学习技术生成决策以及推理或解释的视觉表示。这也参考图3A-图3C详细描述和解释。
图3A-图3C图示了根据本公开的一个示例的结构模型的一个示例。如所述，解释器235可以被配置为使用基于机器学习的方法以图3A-图3C中所示的视觉表示的形式开发知识表示。机器学习技术提供示例和反例，并且可以用作例如使用模糊、逻辑、空间、时间和时空操作符来构造更复杂的知识模型的基本构建块，。
图3A图示了结构知识模型的一个示例。在该示例中，图3A图示了潜在的油气藏310的结构300。油气藏310的结构300可以具有可渗透的基底1(诸如例如沙质层)，基底1邻近在不可渗透层3下面的凸体积2，并且整个结构300相当深4。可以使用知识模型检测器230来构造针对该结构的知识模型。图3B图示了查询的构造，查询的构造是基于这种结构300的知识而制定的，并且然后可以针对大型数据库来启动以搜索这种位置的类似实例。
图3C图示了结构知识模型的生成过程。从图3C中可以看出，在图3B中制定的查询的结果可以被用作油气勘探的起点。在图3C的框320处，可以获得图示油气藏的结构300的岩心照片，并且在框330处，可以使用岩心照片生成纹理图案，再次图示结构300的各个部分，诸如可渗透基底1、凸体积2和不可渗透层3。使用框340处的地震数据以及框330的纹理图案，知识模型检测器230可以在框350处通过图案匹配来检测关联知识模型。知识模型检测器230还可以利用测井记录360用于检测知识模型。
图4图示了CCG 240的示意图，作为本公开的一个示例，CCG240负责作为决策做出和解释的一部分的数据元素的无监督分类。从图中可以看出，传入数据405可以是结构化数据405-1、半结构化数据405-2或非结构化数据405-3。由CCG 240实现的特征410的提取可以完全手工制作(例如，200天移动平均值)以获得经手工制作的特征410-1，可以被组织(例如，从知识图)以获得经组织的特征410-2，或者可以是基于表示的(例如，单词嵌入)，其中通过机器学习获取特征，以获得基于表示的特征410-3。CCG 240然后通过无监督训练415(诸如k均值)和评分420来放置特征向量，以提供外部代理辅助决策425。因此，CCG 240使特征向量与本体对准。参考图5解释特征向量的无监督训练的详细过程。
图5图示了作为本公开的一个示例的作为决策做出和解释的一部分的数据元素的非监督分类的过程500。例如，如前所述，无监督分类由CCG 240实现。在所述示例中，在框505处，CCG 240可以从语料库、文本或图像构造特征向量，并且特征向量可以是20维向量。在框510处，通过应用无监督聚类(诸如k均值)，CCG 240可以将该组特征向量聚类成为6个簇。在框515处，通过将本体与簇对准，即，通过将本体和与“已知”数据相对应的簇进行比较，CCG 240将簇映射到本体。对于多级本体，如框520处所示，CCG 240可以潜在地将奇异值分解或主值分解应用于顶级簇，然后在完成顶级本体的映射之后进行聚类。然后，CCG 240可以将子簇映射到第二级本体。CCG 240可以递归地重复该过程，直到所有本体和簇已经彼此映射为止。
图6描述了根据本公开的一个示例的作为由规则构造器225和规则标识器245执行的演绎推理的一部分的前向链接处理的一个示例。示例图示了在由规则标识器245执行时所接收的响应的示例屏幕截图600。基于响应，解释器235可以为用户110生成解释和推荐。例如，响应允许用户110标识可以请求外部输入的空隙。这允许容易地标识不完整或错误的数据，例如从I/O***110寻求外部帮助来完成或校正数据，并且基于正确和/或无误的数据来实现有效的推论和推理解释。
图7图示了作为本公开的一个示例的由规则标识器245执行的用于遍历知识图的推理溯源的过程700。图7图示了使用前向链接推理过程进行解释的另一种技术。加深着色线表示用于生成用于计算现金转换期的解释的推理线。如将理解的，可解释AI与正在使用的知识模型密切关联。图7的图示示出了针对推理过程所选择的知识模型，以及在考虑到解释器235遇到的问题的情况下的、在知识图中被遍历以解决该问题的路径。例如，路径可以从705开始，现金转换周期到库存转换期710到售出商品成本715和平均库存720。此外，可以获得应付款延期725、售出商品成本730和平均应付款735。在多个实例中遍历路径以获得相关值时，也可以获得相对应的公式。
图8a、图8b和图8c图示了由***105执行的、包括添加置信度参数的推理和解释的各种示例。图8a图示了示例屏幕截图800；图8b图示了示例屏幕截图830；图8c图示了示例屏幕截图860。图8a中所示的屏幕截图800图示了根据具有置信度805的预先建立的本体由CCG240提供的段落的推荐分类。在需要校正的情况下，它可以通过标签810来提供，并且在不需要校正的情况下，结果可以如在发送结果815处所示被发送。图8b和图8c图示了屏幕截图830和860，提供在使用总分类账进行日记账分录验证之后由***105提供的解释。
图9图示了根据本公开的一个示例的用于实现***105的硬件平台900。特别地，计算机诸如但不限于可以用于执行***105或者可以具有硬件平台900的结构的内部/外部服务器簇、量子计算机、台式计算机、膝上型计算机、智能电话、平板计算机和可穿戴设备。硬件平台900可以包括未示出的附加部件，并且所描述的一些部件可以被去除和/或修改。在另一示例中，具有多个GPU的计算机***可以位于外部云平台(包括Amazon WebServices)、或者内部企业云计算簇、或者组织计算资源等上。
参考图9，硬件平台900可以是可以与本文中所描述的示例一起使用的计算机***900。计算机***900可以表示包括可以在服务器或另一计算机***中的部件的计算平台。计算机***900可以通过处理器(例如，单个或多个处理器)或其他硬件处理电路来执行本文中描述的方法、功能和其他过程。这些方法、功能和其他过程可以被实现为在计算机可读介质上所存储的机器可读指令，计算机可读介质可以是非暂态的，诸如硬件存储设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬盘驱动器和闪存)。计算机***900可以包括处理器905，处理器905执行在非暂态计算机可读存储介质910中所存储的软件指令或代码以执行本公开的方法。软件代码包括例如用于执行先前参考图2中的***105的部件所描述的步骤的指令。在一个示例中，知识模型构造器205和执行器210可以是执行这些步骤的软件代码或部件。
读取在计算机可读存储介质910上的指令，并且将指令存储在存储装置915或随机存取存储器(RAM)420中。存储装置915提供大空间用于保存静态数据，其中可以存储至少一些指令用于稍后执行。所存储的指令可以被进一步编译以生成指令的其他表示，并且被动态地存储在RAM 920中。处理器905从RAM 920读取指令并且按照指示执行行动。
计算机***900还包括输出设备925，以将至少一些执行结果(包括但不限于视觉信息)作为输出提供给诸如外部代理的用户。输出设备可以包括计算设备和虚拟现实眼镜上的显示器。例如，显示器可以是移动电话屏幕或膝上型计算机屏幕。GUI和/或文本作为输出被呈现在显示屏上。计算机***900还包括输入设备930，以向用户或另一设备提供用于输入数据和/或以其他方式与计算机***900交互的机构。输入设备可以包括例如键盘、小键盘、鼠标或触摸屏。在一个示例中，执行器210的输出被显示在输出设备925上。这些输出设备925和输入设备930中的每个设备可以通过一个或多个附加***设备连接。
例如，可以网络通信器935可以被设置为将计算机***900连接到网络，并且反过来还连接到与网络连接的其他设备，包括例如其他客户端、服务器、数据存储装置和接口。网络通信器935可以包括例如网络适配器，诸如LAN适配器或无线适配器。计算机***900包括用于访问数据源945的数据源接口940。数据源是信息资源。例如，异常和推论规则的数据库可以是数据源。此外，知识库和经组织的数据可以是数据源的其他示例。
图10图示了根据本公开的一个示例方法的用于解释推理或决策的方法1000。在框1005处，检测要用于处理真实世界问题的知识模型。
一旦确定了知识模型，在框1010处，使用推理/学习技术(诸如例如归纳推理技术、监督分类技术、无监督聚类技术、前向链接、后向链接和溯因推理技术)来将问题解构为较小的构造。在框1010的框1010-1处，利用归纳推理的概念用于组织数据并且对来自真实世界问题的数据进行聚类。可以采用监督分类技术用于对从真实世界问题中提取的数据进行聚类和分类。在另一示例中，可以使用诸如k均值聚类技术的无监督聚类技术用于对从真实世界问题中提取的数据进行聚类并且将其映射到所确定的知识模型。
随后，在框1010的框1010-2处，执行将在给定情况下适用的推论规则的标识，推论规则是***105提供决策和针对决策的推理所基于的推论规则。推论规则可以基于很多因素，诸如已经寻求***105的帮助的目的和行业、或者已经由知识模型检测器230确定的知识模型。例如，规则标识器245可以确定对于某种情况，前向链接推理过程可能是适当的，而对于另一种情况，后向链接推理过程可能是合适的。基于为应用选择的一个或多个推论规则，真实世界问题可以被分解为更小的构造。在一个示例中，在详细提供解释或推理之前，规则标识器245可以向用户110提供问题的解构的人类可读形式。这为用户110提供了***105为了达成决策而可能采取的推理线的预览。
此外，在框1010的框1010-3处，可以处理经解构的问题，并且生成机器推理，以提供针对问题的假设和伴随假设的解释。在一个示例中，可以采用诸如基于证据的推理技术等溯因推理技术，以用于提供假设和解释性证据。
此外，在框1015处，向用户110提供对推理过程的解释。
本文中所描述和说明的是本公开的示例及其一些变型。本文中所使用的术语、描述和附图仅通过说明来进行阐述，并不意味着限制。在旨在由所附权利要求及其等同物限定的主题内容的精神和范围内可以有很多变化，其中除非另有说明，否则所有术语均表示其最广泛的合理含义。

Claims (20)

1.一种人工智能AI***，包括：
知识模型构造器，用于生成知识模型，所述知识模型包括多个本体和多个推论规则，所述多个推论规则用于生成针对由所述AI***做出的决策的解释，所述知识模型构造器包括：
本体创建器，用于基于从所述知识模型构造器的真实世界交互获取的数据来创建所述多个本体，所获取的所述数据是真实世界数据，所述真实世界数据包括结构化数据、非结构化数据和半结构化数据；以及
规则构造器，用于基于所述本体和从所述真实世界交互获取的所述真实世界数据来构造所述多个推论规则；以及
执行器，用于在面对真实世界问题时做出决策，所述执行器包括：
知识模型检测器，用于基于所述真实世界问题来选择要用于解决所述真实世界问题的所述知识模型；以及
解释器，用于执行决策做出过程并且生成针对所做出的所述决策的解释，所述解释器包括：
分类器和簇生成器，用于将从所述真实世界问题获取的数据分类和聚类到所确定的所述知识模型的本体中；
规则标识器，用于标识要用于解构所述真实世界问题的推论规则；以及
推论器和假设生成器，用于提供基于机器学习的推理，
以提供针对所述真实世界问题的假设和伴随所述假设的解释，其中所述推论器和假设生成器捕获置信度参数，所述置信度参数指示针对所做出的所述决策的所述解释的强度。
2.根据权利要求1所述的AI***，其中所述解释器使用机器学习技术来生成所述决策和所述解释的视觉表示。
3.根据权利要求1所述的AI***，其中所述规则标识器解析所述真实世界问题，以组织所述真实世界问题中的逻辑语句。
4.根据权利要求1所述的AI***，其中所述规则标识器提供所述真实世界问题的所述解构的人类可读形式，以预览推理线。
5.根据权利要求1所述的AI***，其中所标识的所述推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。
6.一种AI***，包括：
知识模型构造器，用于生成知识模型，所述知识模型包括多个本体和多个推论规则，所述多个推论规则用于生成针对由所述AI***做出的决策的解释，所述知识模型构造器包括：
本体创建器，用于基于从所述知识模型构造器的真实世界交互获取的数据来创建所述多个本体，所获取的所述数据是真实世界数据，所述真实世界数据包括结构化数据、非结构化数据和半结构化数据，其中所述本体创建器利用归纳推理技术用于创建所述本体；以及
规则构造器，用于基于所述本体和从所述真实世界交互获取的所述真实世界数据来构造所述多个推论规则，其中所述规则构造器利用演绎推理技术用于创建所述多个推论规则；以及
执行器，用于在面对真实世界问题时做出决策，所述执行器包括：
知识模型检测器，用于基于所述真实世界问题来选择要用于解决所述真实世界问题的所述知识模型；以及
解释器，用于执行决策做出过程并且生成针对所做出的所述决策的解释，所述解释器包括：
分类器和簇生成器，用于将从所述真实世界问题获取的数据分类和聚类到所确定的所述知识模型的本体中，其中所述分类器和簇生成器使用所述归纳推理技术用于对数据进行分类和聚类；
规则标识器，用于标识要用于解构所述真实世界问题的推论规则，其中所述规则标识器利用所述演绎推理技术用于解构所述真实世界问题；以及
推论器和假设生成器，用于提供机器生成的推理，以提供针对所述问题的假设和伴随所述假设的解释，其中所述推论器和假设生成器利用溯因推理技术用于提供所述假设和所述解释。
7.根据权利要求6所述的AI***，其中所述规则构造器将所述解释的强度构建到所述推论规则中。
8.根据权利要求6所述的AI***，其中所述推论器和假设生成器确定置信度参数，所述置信度参数指示强度，所述置信度参数与决策和关联的解释相关联。
9.根据权利要求6所述的AI***，其中所述规则标识器解析所述真实世界问题，以组织所述真实世界问题中的逻辑语句。
10.根据权利要求6所述的AI***，其中所述规则标识器提供所述真实世界问题的所述解构的人类可读形式，以预览推理线。
11.根据权利要求6所述的AI***，其中所标识的所述推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。
12.根据权利要求6所述的AI***，其中所述归纳推理技术包括监督聚类技术和无监督聚类技术中的一者。
13.根据权利要求6所述的AI***，其中所述溯因推理技术包括基于证据的推理技术。
14.一种包括机器可读指令的非暂态计算机可读介质，所述机器可读指令由处理器可执行以：
生成知识模型，所述知识模型包括多个本体和多个推论规则，所述多个推论规则用于生成针对由AI***做出的决策的解释，其中生成所述本体包括：通过使用归纳推理技术用于创建所述本体，而基于从真实世界交互获取的数据来创建所述多个本体；以及通过使用演绎推理技术用于创建所述多个推论规则，而基于所述本体和从所述真实世界交互获取的所述数据来创建所述多个推论规则；
基于真实世界问题，确定要用于解决所述真实世界问题的所述知识模型；
通过使用所述归纳推理技术用于对数据进行分类和聚类，而将从所述真实世界问题中获取的数据分类和聚类到所确定的所述知识模型的本体中；
通过使用所述演绎推理技术用于解构所述真实世界问题，而标识要用于解构所述真实世界问题的推论规则；以及
通过使用溯因推理技术用于提供假设和解释，而提供基于机器学习的推理，以提供针对所述问题的所述假设和伴随所述假设的所述解释。
15.根据权利要求14所述的非暂态计算机可读介质，其中为了提供所述基于机器学习的推理，所述处理器使用机器学习技术来生成所述决策和所述解释的视觉表示。
16.根据权利要求14所述的非暂态计算机可读介质，其中为了标识所述推论规则，所述处理器解析所述真实世界问题，以组织所述真实世界问题中的逻辑语句。
17.根据权利要求14所述的非暂态计算机可读介质，其中为了标识所述推论规则，所述处理器提供所述真实世界问题的所述解构的人类可读形式，以预览推理线。
18.根据权利要求14所述的非暂态计算机可读介质，其中所标识的所述推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。
19.根据权利要求14所述的非暂态计算机可读介质，其中所述归纳推理技术包括监督聚类技术和无监督聚类技术中的一者。
20.根据权利要求14所述的非暂态计算机可读介质，其中所述溯因推理技术包括基于证据的推理技术。
CN201910075899.6A 2018-02-05 2019-01-25 可解释人工智能 Pending CN110119446A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862626460P 2018-02-05 2018-02-05
US62/626,460 2018-02-05
US16/019,120 US11615331B2 (en) 2018-02-05 2018-06-26 Explainable artificial intelligence
US16/019,120 2018-06-26

Publications (1)

Publication Number Publication Date
CN110119446A true CN110119446A (zh) 2019-08-13

Family

ID=64744510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910075899.6A Pending CN110119446A (zh) 2018-02-05 2019-01-25 可解释人工智能

Country Status (3)

Country Link
US (1) US11615331B2 (zh)
EP (1) EP3522078A1 (zh)
CN (1) CN110119446A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619585A (zh) * 2019-08-16 2019-12-27 广州越秀金融科技有限公司 推荐数据的方法、装置、存储介质和处理器

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016061576A1 (en) 2014-10-17 2016-04-21 Zestfinance, Inc. Api for implementing scoring functions
KR102366282B1 (ko) * 2017-07-25 2022-02-23 주식회사 마인드에이아이 인공 지능을 이용한 데이터 처리 방법 및 장치
WO2019028179A1 (en) * 2017-08-02 2019-02-07 Zestfinance, Inc. SYSTEMS AND METHODS FOR PROVIDING DISAPPEARED IMPACT INFORMATION OF AUTOMATIC LEARNING MODEL
WO2019173734A1 (en) 2018-03-09 2019-09-12 Zestfinance, Inc. Systems and methods for providing machine learning model evaluation by using decomposition
CA3098838A1 (en) 2018-05-04 2019-11-07 Zestfinance, Inc. Systems and methods for enriching modeling tools and infrastructure with semantics
JP7376593B2 (ja) * 2018-12-31 2023-11-08 インテル・コーポレーション 人工知能を利用した安全保障システム
EP3674993A1 (en) * 2018-12-31 2020-07-01 Tata Consultancy Services Limited Systems and methods for extending reasoning capability for data analytics in internet-of-things (iot) platform
US11816541B2 (en) 2019-02-15 2023-11-14 Zestfinance, Inc. Systems and methods for decomposition of differentiable and non-differentiable models
CA3134043A1 (en) 2019-03-18 2020-09-24 Sean Javad Kamkar Systems and methods for model fairness
WO2020255223A1 (ja) * 2019-06-17 2020-12-24 日本電信電話株式会社 識別結果説明装置、識別結果説明方法、及び識別結果説明プログラム
US11636331B2 (en) * 2019-07-09 2023-04-25 International Business Machines Corporation User explanation guided machine learning
US11049043B2 (en) * 2019-10-30 2021-06-29 UMNAI Limited Model induction method for explainable A.I
WO2021115929A1 (en) * 2019-12-09 2021-06-17 UMNAI Limited Xai and xnn conversion
WO2021148307A1 (en) * 2020-01-23 2021-07-29 UMNAI Limited Encoding and transmission of knowledge, data and rules for explainable ai
CA3072901A1 (en) * 2020-02-19 2021-08-19 Minerva Intelligence Inc. Methods, systems, and apparatus for probabilistic reasoning
US11645566B2 (en) 2020-03-09 2023-05-09 International Business Machines Corporation Methods and systems for graph computing with hybrid reasoning
EP4147076A1 (en) * 2020-05-06 2023-03-15 ExxonMobil Technology and Engineering Company Framework for integration of geo-information extraction, geo-reasoning and geologist-responsive inquiries
WO2022047571A1 (en) * 2020-09-03 2022-03-10 The Toronto-Dominion Bank Dynamic analysis and monitoring machine learning processes
US20220092444A1 (en) * 2020-09-21 2022-03-24 Vivek Mishra System and method for explaining actions taken in real-time on event stream using nlg
US11954605B2 (en) * 2020-09-25 2024-04-09 Sap Se Systems and methods for intelligent labeling of instance data clusters based on knowledge graph
US11455576B2 (en) * 2020-11-12 2022-09-27 UMNAI Limited Architecture for explainable reinforcement learning
US11720962B2 (en) 2020-11-24 2023-08-08 Zestfinance, Inc. Systems and methods for generating gradient-boosted models with improved fairness
US11823019B2 (en) * 2021-03-22 2023-11-21 Accenture Global Solutions Limited Early pattern detection in data for improved enterprise operations
TWI774324B (zh) * 2021-04-16 2022-08-11 馬爾他商優奈有限公司 用於變換黑箱模型以基於自黑箱模型、觀察資料、或合成資料導出之若干組一或多個規則產生白箱模型之電腦實施方法、電腦系統、及裝置及相關的電腦可讀媒體及低功率晶片、及用於白箱模型誘導之裝置及電腦程式產品
TWI808895B (zh) * 2021-04-16 2023-07-11 馬爾他商優奈有限公司 用於變換黑箱模型以基於自黑箱模型、觀察資料、或合成資料導出之若干組一或多個規則產生白箱模型之電腦實施方法、電腦系統、及裝置及相關的電腦可讀媒體及低功率晶片、及用於白箱模型誘導之裝置及電腦程式產品
US11810558B2 (en) 2021-05-26 2023-11-07 International Business Machines Corporation Explaining anomalous phonetic translations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480640B1 (en) * 2003-12-16 2009-01-20 Quantum Leap Research, Inc. Automated method and system for generating models from data
US20130275164A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Intelligent Automated Assistant
CN104679828A (zh) * 2015-01-19 2015-06-03 云南电力调度控制中心 一种基于规则的电网故障诊断智能***
CN107193895A (zh) * 2017-05-09 2017-09-22 四川师范大学 提取语言认知模型隐藏知识的新方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8015143B2 (en) * 2002-05-22 2011-09-06 Estes Timothy W Knowledge discovery agent system and method
US20150235143A1 (en) * 2003-12-30 2015-08-20 Kantrack Llc Transfer Learning For Predictive Model Development
US8078559B2 (en) * 2004-06-30 2011-12-13 Northrop Grumman Systems Corporation System and method for the automated discovery of unknown unknowns
US7493333B2 (en) * 2004-09-03 2009-02-17 Biowisdom Limited System and method for parsing and/or exporting data from one or more multi-relational ontologies
US7505989B2 (en) * 2004-09-03 2009-03-17 Biowisdom Limited System and method for creating customized ontologies
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US10311442B1 (en) * 2007-01-22 2019-06-04 Hydrojoule, LLC Business methods and systems for offering and obtaining research services
US10176245B2 (en) * 2009-09-25 2019-01-08 International Business Machines Corporation Semantic query by example
US20130179388A1 (en) * 2012-01-05 2013-07-11 Anurag Agarwal Method, System and Program Product for Intelligent Prediction of Industrial Gas Turbine Maintenance Workscope
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US10509814B2 (en) * 2014-12-19 2019-12-17 Universidad Nacional De Educacion A Distancia (Uned) System and method for the indexing and retrieval of semantically annotated data using an ontology-based information retrieval model
US10733532B2 (en) * 2016-01-27 2020-08-04 Bonsai AI, Inc. Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence
US11354590B2 (en) * 2017-11-14 2022-06-07 Adobe Inc. Rule determination for black-box machine-learning models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480640B1 (en) * 2003-12-16 2009-01-20 Quantum Leap Research, Inc. Automated method and system for generating models from data
US20130275164A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Intelligent Automated Assistant
CN104679828A (zh) * 2015-01-19 2015-06-03 云南电力调度控制中心 一种基于规则的电网故障诊断智能***
CN107193895A (zh) * 2017-05-09 2017-09-22 四川师范大学 提取语言认知模型隐藏知识的新方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张英: "基于支持向量机的过程工业数据挖掘技术研究", 中国优秀博士学位论文库 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619585A (zh) * 2019-08-16 2019-12-27 广州越秀金融科技有限公司 推荐数据的方法、装置、存储介质和处理器

Also Published As

Publication number Publication date
US20190244122A1 (en) 2019-08-08
EP3522078A1 (en) 2019-08-07
US11615331B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
CN110119446A (zh) 可解释人工智能
Andrienko et al. Viewing visual analytics as model building
EP3985578A1 (en) Method and system for automatically training machine learning model
Robnik-Šikonja et al. Perturbation-based explanations of prediction models
Zheng Methodologies for cross-domain data fusion: An overview
Rahimi et al. Toward requirements specification for machine-learned components
França et al. An overview of deep learning in big data, image, and signal processing in the modern digital age
del Mar Roldán-García et al. Enhancing semantic consistency in anti-fraud rule-based expert systems
Tocchetti et al. The role of human knowledge in explainable AI
Finzel et al. Generating explanations for conceptual validation of graph neural networks: An investigation of symbolic predicates learned on relevance-ranked sub-graphs
US11669753B1 (en) Artificial intelligence system providing interactive model interpretation and enhancement tools
Malandri et al. ContrXT: Generating contrastive explanations from any text classifier
Li et al. Study on the interaction between big data and artificial intelligence
Darias et al. Using case-based reasoning for capturing expert knowledge on explanation methods
CN116340793A (zh) 一种数据处理方法、装置、设备以及可读存储介质
Thandaga Jwalanaiah et al. Effective deep learning based multimodal sentiment analysis from unstructured big data
Ismaeil et al. FeaBI: A Feature Selection-Based Framework for Interpreting KG Embeddings
Li et al. Exploring the transition behavior of nodes in temporal networks based on dynamic community detection
Mejia-Escobar et al. Towards a Better Performance in Facial Expression Recognition: A Data‐Centric Approach
Tsay et al. Extracting enhanced artificial intelligence model metadata from software repositories
Han et al. Research on data mining and visualization technology
Regulwar et al. Big Data Collection, Filtering, and Extraction of Features
Yan [Retracted] Analysis and Simulation of Multimedia English Auxiliary Handle Based on Decision Tree Algorithm
Yin et al. Intelligent Data Engineering and Automated Learning--IDEAL 2018
Malandri et al. Contrastive Explanations of Text Classifiers as a Service

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination