CN112154383A - 处理命令 - Google Patents

处理命令 Download PDF

Info

Publication number
CN112154383A
CN112154383A CN201980034290.2A CN201980034290A CN112154383A CN 112154383 A CN112154383 A CN 112154383A CN 201980034290 A CN201980034290 A CN 201980034290A CN 112154383 A CN112154383 A CN 112154383A
Authority
CN
China
Prior art keywords
entity
environment
data
robotic system
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980034290.2A
Other languages
English (en)
Inventor
P·斯威艾拓简斯基
O·米斯基斯
I·蒙纳辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Emotech Ltd
Original Assignee
Emotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emotech Ltd filed Critical Emotech Ltd
Publication of CN112154383A publication Critical patent/CN112154383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40411—Robot assists human in non-industrial environment like home or office

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

一种可位于环境(100)中的机器人***(130)处理命令。获得表示在一个或多个时间点的所述环境(100)的环境数据。在所接收到的环境数据中表示第一实体和第二实体(110、120)。基于所述所接收到的环境数据来生成表示所述环境(100)的知识的数据。接收用于执行与给定实体有关的动作的命令。所述命令识别所述给定实体的关系属性。所述关系属性指示所述给定实体与参照实体之间的关系。使用所生成的数据和所述关系属性来确定所述第一实体(110)具有所述关系属性和/或所述第二实体(120)不具有所述关系属性。基于所述确定执行与所述第一实体(120)有关的动作。

Description

处理命令
技术领域
本发明涉及处理命令。
背景技术
机器人和其他个人数字助理在社会中变得更加普遍，并且具备增加的功能性。机器人可用于其他实体。例如，机器人可用于控制其他实体和/或有助于与其他实体的交互。机器人可在多个(例如许多)其他实体所处的环境中使用。
可经由用户发出的命令来控制机器人。虽然一些命令对于机器人来说可能处理起来很简单，但其他命令对于机器人来说可能处理起来更复杂、可能会被机器人误解，或者机器人可能根本无法处理这样的命令。
发明内容
根据本发明的第一方面，提供一种由可位于环境中的机器人***执行的处理命令的方法，所述方法包括：
获得表示在一个或多个时间点的所述环境的环境数据，其中在所接收到的环境数据中表示第一实体和第二实体；
基于所述所接收到的环境数据来生成表示所述环境的知识的数据；
接收用于执行与给定实体有关的动作的命令，所述命令识别所述给定实体的关系属性，所述关系属性指示所述给定实体与参照实体之间的关系；
使用所生成的数据和所述关系属性来确定所述第一实体具有所述关系属性和/或所述第二实体不具有所述关系属性；以及
基于所述确定来执行与所述第一实体有关的动作。
根据本发明的第二方面，提供一种由位于环境中的机器人***处理命令的方法，所述方法包括：
接收表示在一个或多个时间点的所述环境的环境数据；
分析所接收到的环境数据以识别第一实体和第二实体；
接收用于执行与给定实体有关的动作的命令，所述命令识别所述给定实体的第一属性和第二属性；
使用所述所接收到的环境数据来确定：
所述第一实体和所述第二实体两者都具有所述第一属性；并且
所述第一实体和所述第二实体中仅所述第一实体具有所述第二属性；以及
基于所述确定来执行与所述第一实体有关的动作，
其中执行所述动作包括传输控制信号以基于所接收到的命令来控制所述第一实体的操作。
根据本发明的第三方面，提供一种由机器人***处理命令的方法，所述方法包括：
分析所接收到的数据以识别第一实体和第二实体并且确定以下各项中的一项或两项：
所述第一实体和/或所述第二实体的当前操作状态；以及
所述机器人***对所述第一实体和/或所述第二实体的可控制性；
接收用于执行与给定实体有关的动作的命令，所述命令识别所述第一实体和所述第二实体共同的属性；
使用所述分析来确定仅能够执行与所述第一实体和所述第二实体中的所述第一实体有关的命令；以及
基于所述确定来执行与所述第一实体有关的动作。
根据本发明的第四方面，提供一种机器人***，所述机器人***被配置为执行根据本发明的第一、第二或第三方面中的任一者的方法。
根据本发明的第五方面，提供一种计算机程序，所述计算机程序包括指令，所述指令在被执行时致使机器人***执行根据本发明的第一、第二或第三方面中的任一者的方法。
本发明的其他特征和优点将从仅以举例方式给出的本发明的优选实施方案的以下描述中变得显而易见，所述描述是参照附图来进行。
附图说明
图1示意性地示出根据本发明的一个实施方案的环境的示例；
图2示意性地示出根据本发明的一个实施方案的表示图1中所示的环境的知识图谱的示例；以及
图3示出根据本发明的一个实施方案的由机器人接收的命令的示例的示意性框图。
具体实施方式
参照图1，示出环境100的示例。环境也可被称为“场景”或“工作环境”。
在此示例中，环境100包括多个实体。实体也可被称为“对象”。在此特定示例中，环境100包括至少三个实体，即，第一实体110、第二实体120和机器人***130。机器人***130是实体的示例。第一实体110和第二实体120与机器人***130不同。第一实体110和/或第二实体120可为人类。第一实体110和/或第二实体120可为非人类。第一实体110和/或第二实体120可为无生命的。第一实体110和/或第二实体120可为有生命的。
在此示例中，第一实体110和第二实体120两者同时处于环境100中。在其他示例中，第一实体110和第二实体120在不同时间处于环境100中。因而，在给定时间点，环境100可包括第一实体110和第二实体120中的一者或两者。
机器人***可被视为引导式代理。机器人***可通过一个或多个计算机程序和/或电子电路来引导。机器人***可通过外部控制装置来引导，或控件可嵌入于机器人***内。机器人***可包括一个或多个部件，所述一个或多个部件是在一个或多个硬件装置上实现。在一个示例中，机器人***的部件包括在单个壳体中。在另一个示例中，机器人***的部件包括在多个壳体中。所述多个壳体可分布在环境100中。所述多个壳体可通过有线和/或无线连接来耦合。机器人***可包括软件部件，包括基于云或基于网络的软件部件。机器人***可被配置为与环境中的人和/或非人实体交互。机器人***可被视为交互装置。如本文中所描述，机器人***可被或可不被配置为移动。机器人***可被视为智能装置。智能装置的示例是智能家用装置，或者被称为家用自动化装置。智能家用装置可被布置为控制环境的各方面，包括但不限于照明、加热、通风、电信***和娱乐***。如本文中的示例中所描述，机器人***可被布置为执行智能家用装置的一些或所有功能。机器人***130可包括自主机器人。自主机器人可被视为与非自主机器人相比以相对较高的自主程度或独立程度来执行功能的机器人。
为简洁起见，机器人***在本文中可被称为“机器人”，应理解，机器人***可包括一个以上硬件装置。
在此示例中，第一实体110具有第一和第二属性。
在此示例中，第二实体120具有第一属性。然而，第二实体120不具有第二属性。第二实体120可具有或可不具有第三属性，第三属性与第二属性不同。
因而，第一属性是第一实体110和第二实体120都与之相关联的共同属性。在一些示例中，第一属性与实体类型相关联。
另外，第二属性是第一实体110和第二实体120中的仅一者(即，第一实体110)与之相关联的消歧属性(其也可被称为“区别属性”)。
可使用指示符来指示第一属性和/或第二属性。此类指示符可为例如由机器人130接收的命令的一部分。在一些示例中，用于第一属性的指示符是实词性的。换句话说，在此类示例中，用于第一属性的指示符与实词有关。“实词”是“名词”的另一个术语。因而，术语“实词性”可被称为“名词性”。
在一些示例中，用于第二属性的指示符是形容词性的。换句话说，在此类示例中，第二属性和/或用于第二属性的指示符与形容词有关。例如，由机器人130接收的命令可能会提到“桌灯”。在此示例中，“灯”是实词性的并且指示第一属性，而“桌”是形容词性的并且指示第二属性。在另一个示例中，所述命令可提到“在TV旁边的灯”。在此示例中，“灯”是实词性的并且指示第一属性，而“在TV旁边”是形容词性的并且指示第二属性。
在一些示例中，第二属性被称为“关系属性”。关系属性与第一实体110和参照实体之间的关系相关联。在一些示例中，参照实体是第二实体120。在其他示例中，参照实体与第二实体120不同。在一些示例中，关系包括基于位置的关系。在一些示例中，关系包括基于交互的关系。
在其他示例中，第二属性是第一实体110的绝对属性。例如，在命令提到“红灯”的情况下，指示符“红”指示绝对属性，而非关系属性。
机器人***130包括输入部件部分140。输入部件部分140包括机器人***130的被布置为接收输入数据的一个或多个部件。
输入部件部分140获得环境数据。例如，输入部件部分140可接收环境数据。在一些示例中，机器人***130生成环境数据。环境数据是一种类型的输入数据。环境数据表示机器人***130可处的环境。在一些示例中，环境数据表示机器人***130在接收环境数据的时间点所处的环境100，即，机器人***130的周围。“周围”在本文中用于指在给定时间点时机器人***130四周的物理空间。环境数据表示在一个或多个时间点的环境110。在所接收到的环境数据中表示第一实体110和第二实体120。在环境数据包括多个时间样本的情况下，给定的时间样本可表示第一实体110与第二实体120，和/或给定的时间样本可表示第一实体110和第二实体120中的仅一者。
输入部件部分140包括接口。接口可处于机器人***130与环境100之间。接口包括数据可借以在一个或两个方向上进行传递或交换的边界。
在一些示例中，输入部件部分140包括摄像机。所获得的环境数据可包括使用摄像机接收的视觉环境数据。例如，环境数据可包括图像数据。
在一些示例中，输入部件部分140包括传声器。所获得的环境数据可包括使用传声器接收的音频环境数据。
在一些示例中，输入部件部分140包括网络接口。网络接口可使机器人***130能够经由一个或多个数据通信网络接收数据。可使用网络接口来接收一些或所有的所接收的环境数据。因而，环境数据可表示机器人***130目前未处于的环境，换句话说，机器人***130在接收环境数据的时间点未处于的环境。在一些示例中，环境数据是基于虚拟或人工环境。因而，可不使用摄像机或传声器(包括在机器人***中或其他情况)来获得环境数据。例如，可通过计算机生成人工环境，并且可将该环境的表示提供至机器人***130。在一些示例中，环境数据是基于一种环境，所述环境的图像是在机器人***130移动至所述环境或位于所述环境中之前通过图像捕捉装置而捕捉。
机器人***130还包括控制器150。控制器150可为处理器。控制器150可包括微处理器、微控制器、处理器模块或子***、可编程集成电路或可编程门阵列。控制器150通信地耦合至输入部件部分140。控制器150因此可从输入部件部分140接收数据。
在一些示例中，机器人***130获得环境数据包括控制器150致使机器人***130的至少一部分移动以捕捉环境100的不同部分的表示。例如，在输入部件部分140包括摄像机的情况下，机器人***130的包括摄像机的部分可从初始位置移动至一个或多个其他位置以使摄像机能够捕捉环境中的不同部分的图像。由机器人***130获得的环境数据可包括所述环境的不同部分的所捕捉图像。环境100的第一部分的表示可以是在一个时间点时，而环境100的第二部分的表示可以是在另一个时间点时。在一些示例中，环境100的第一部分和第二部分两者的表示可以是在同一个时间点时。此类移动可包括机器人***130的至少一部分的旋转。例如，机器人***130的至少一部分可围绕垂直轴线旋转360度。因而，可针对不同的旋转角度来捕捉图像。例如，可针对每个旋转角度来捕捉图像。机器人***130可被配置为以除了旋转之外的其他方式移动。可用数字方式将所述环境的从不同视角拍取的图像拼接在一起以形成所述环境的360度地图。因此，在不使用位于不同位置处的多个摄像机的情况下可获得环境的360度空间地图。在其他示例中，可使用多个摄像机来从不同视角捕捉环境数据。摄像机可位于例如环境100中的各种位置处。
在一些示例中，控制器150被配置为生成表示环境100的知识的数据。表示环境100的知识的数据可被称为环境100的“知识数据”或“知识表示”。控制器150基于所接收到的环境数据来生成表示环境的知识的数据。在一些示例中，控制器150基于初始知识数据和所接收到的环境数据来生成知识数据。例如，机器人***130可预先载入有表示初始环境的知识的初始知识数据，并且控制器150可基于所接收到的环境数据来修改初始知识数据以更准确地表示实际环境100。在例如在机器人***130处于环境100中之前知道实际环境100的大致情况的情况下，或在机器人***130在相对较长的时间段内逗留在同一个环境中的情况下，这可为有效的。与机器人***130在不具有初始知识数据的情况下生成表示环境100的知识的知识数据相比，以此方式预先载入初始知识数据可减少生成环境100的模型时的等待时间。基于所接收到的环境数据来修改初始知识数据还使得知识数据和/或其中表示的信息的准确性能够随着时间得到改进和/或提高。
表示环境的知识的数据是环境中的实体的概念性或语义数据模型和/或实体的相互关系。在一些示例中，知识数据包括知识图谱。知识图谱是环境中的实体的拓扑表示。知识图谱可被称为“场景图”。知识图谱可被表示为实体网络、实体属性和实体之间的关系。在一些示例中，知识数据不包括环境的图形或拓扑表示。例如，知识数据可包括在不生成明确的图形表示的情况下可辨识出和/或获知实体、实体属性和实体之间的关系的模型。知识数据可包括统计和/或概率模型。知识数据包括表示环境中的实体之间的关系的关系模型。与环境的更过分简单的表示或记忆相比，知识数据能够存储相对较大量的复杂信息或知识。所生成的知识数据可存储在本地，例如，存储在机器人***130的存储器中，并且可在一个或多个后续时间点由控制器150存取。
控制器150可独立于用户监督而生成知识数据。因而，与使用用户监督和/或输入的情况相比，用户的负担可减少。在一些示例中，生成知识数据涉及机器学习。生成知识数据可涉及人工神经网络、深度学习模型和/或其他机器学习模型的使用。例如，用于生成知识数据的机器学习可为有监督的、半监督的、弱监督的、数据受监督的或无监督的机器学习。如本文中所使用，“生成”可指代产生新的知识数据的行为，或更新或修正先前产生的知识数据的行为。在一些示例中，生成表示环境的知识的数据是自主地进行。
在一些示例中，生成知识数据包括确定第一实体110和/或第二实体120的操作状态。给定实体的操作状态指示给定实体目前的操作状态。在一个示例中，操作状态是二元的，因为其可为两个可能值中的一个。二元操作状态的示例是给定实体是开还是关。在另一个示例中，操作状态不是二元的，因为其可具有两个以上的可能值。知识数据可表示第一实体110和/或第二实体120的所确定的操作状态。另选地或另外地，第一实体110和/或第二实体120的所确定的操作状态可与知识数据分开存储。
在一些示例中，生成知识数据包括确定第一实体110和/或第二实体120是否可由机器人***130控制。可在知识数据中表示第一实体110和/或第二实体120的可控制性。可用各种方式来确定可控制性。例如，可基于实体类型(诸如TV)、机器人***130与实体之间的初始交互、测试信号等来确定可控制性。
如上文所阐释，在一些示例中，环境数据包括在多个时间点的环境100的表示。因而，生成知识数据可包括分析在多个时间点的环境100的表示。在一些示例中，环境数据包括在第一时间点的环境的第一表示以及在第二时间点的环境的第二表示，所述第二时间点晚于所述第一时间点。可基于在第一时间点的环境的第一表示来生成知识数据。随后可基于在第二时间点的环境的第二表示来更新此类知识数据。所述第一表示和所述第二表示可包括例如在不同的时间点拍取的环境的静态图像或“快照”。在一些示例中，响应于触发来获得所述第二表示。在一个示例中，响应于控制器150确定机器人***130的位置已改变而获得所述第二表示。例如，控制器150可被配置为确定机器人***130已移动至不同的和/或未知的环境，或移动至同一个环境内的不同位置。因而，触发可为对机器人***130已移动的确定。控制器150可被配置为基于来自机器人***130的运动传感器的输出来确定机器人***130已移动。在一个示例中，触发为预定时间段的期满。例如，机器人***130可被配置为接收环境的新表示并且一天一次、一周一次或按其他预定时间间隔来相应地更新知识数据。在一些示例中，触发为接收到命令，机器人***130将所述命令识别为触发。
在一些示例中，控制器150使用静态场景分析来生成知识数据。在静态场景分析中，对表示单个时间点的环境100的环境数据进行分析。在环境数据包括视觉环境数据的情况下，所述视觉环境数据可包括表示在单个时间点的环境100的图像。所述图像可自己进行分析。此类分析可识别在图像中表示的一个或多个实体、在图像中表示的一个或多个实体的一个或多个属性和/或在图像中表示的一个或多个实体之间的一种或多种关系。在一些示例中，在已对表示单个时间点的环境100的环境数据执行静态场景分析之后，丢弃此类环境数据。因此，此类环境数据可用于改善知识数据，而不是在进行了分析之后被存储在机器人***130中。这可使机器人***130能够具有比原本可能要具有的存储器数量少的存储器。在一些示例中，不会丢弃环境数据。
在一些示例中，控制器150使用动态场景分析来生成知识数据。在动态场景分析中，对表示多个时间点的环境100的环境数据进行分析。在环境数据包括视觉环境数据的情况下，所述视觉环境数据可包括表示在多个时间点的环境100的图像序列。所述图像序列可呈视频的形式，或其他形式。此类分析可识别在图像序列中表示的一个或多个实体、在图像序列中表示的一个或多个实体的一个或多个属性和/或在图像序列中表示的一个或多个实体之间的一种或多种关系。在一些示例中，将表示第一时间点的环境100的第一数据存储在机器人***130中。在一些示例中，使用静态场景分析对第一数据进行分析。然而，在一些这样的示例中，在静态场景分析之后并未丢弃第一数据。而是，接收表示在之后的第二时间点的环境100的第二数据。对第一数据和第二数据进行动态场景分析。在动态场景分析之后可丢弃第一和第二数据。动态场景分析可捕捉使用静态分析无法提取的额外信息。此类额外信息的示例包括但不限于实体随时间相对于彼此如何移动、实体随时间如何彼此交互等。在一些示例中，相较于静态场景分析，动态场景分析涉及存储较少量的数据。
控制器150可使用静态场景分析和/或动态场景分析来生成知识数据。动态场景分析可涉及至少暂时存储比静态场景分析多的数据，但可使得能够提取关于环境100的更多信息。
机器人***130经由输入部件部分140接收用于执行与给定实体有关的动作的命令。在一些示例中，所述命令识别给定实体的关系属性。关系属性指示给定实体与参照实体之间的关系。
在输入部件部分140包括摄像机的情况下，所接收到的命令可包括经由摄像机接收的视觉命令。例如，机器人130的用户可执行示意动作，所述示意动作被摄像机捕捉并被解译为命令。
在输入部件部分140包括传声器的情况下，所接收到的命令可包括经由传声器接收的语音命令。例如，机器人***130的用户可大声说出命令，所述命令被传声器拾取并被解译为命令。控制器150可被配置为使用自然语言处理(NLP)来处理所述语音命令。例如，控制器150可被配置为使用自然语言处理来从所接收到的语音命令中识别出给定实体的关系属性。在一些示例中，使用传声器来捕捉表示环境100的环境数据。控制器150可被配置为基于所接收到的音频数据来确定环境中的实体的属性。例如，控制器150可基于从电视机的方向接收到音频信号来确定电视机处于激活状态。
在输入部件部分140包括网络接口的情况下，可经由网络接口来接收命令。例如，机器人***130的用户可经由数据通信网络来传输命令，所述命令经由网络来接收并被解译为命令。用户在发出所述命令时可能不处于环境100中。因而，用户可能能够远程地命令机器人***130。
在一些示例中，所述命令识别给定实体的第一和第二属性。
关系可为基于位置的关系。例如，关系可基于给定实体相对于参照实体的位置。
关系可为基于交互的关系。例如，关系可基于给定实体与参照实体之间的一个或多个交互。
在一些示例中，参照实体是第二实体120。在其他示例中，参照实体是在所接收到的环境数据中表示的第三实体。第三实体可为机器人***130。第三实体可与第二实体120和机器人***130不同。
参照实体可以是人。例如，参照实体可为机器人***130的用户。
在此示例中，控制器150确定第一实体110具有关系属性和/或第二实体120不具有关系属性。所述确定是使用知识数据和关系属性来进行。在一个示例中，控制器150使用关系属性来搜索知识数据。在知识数据包括知识图谱的情况下，控制器150可使用关系属性来搜索知识图谱。使用关系属性搜索知识图谱可涉及控制器150使用在命令中识别的关系属性来访问知识图谱和查询知识图谱。在其他示例中，控制器150被配置为根据知识数据和关系属性推断出第一实体110具有关系属性和/或第二实体120不具有关系属性。
在一些示例中，控制器150被配置为使用所接收到的环境数据来确定第一实体110相对于参照实体的位置。控制器150还可被配置为确定第二实体120相对于参照实体的位置。在关系属性涉及基于位置的关系的示例中，可使用第一实体110和/或第二实体120相对于参照实体的所确定的位置来确定第一实体110为给定实体。
在一些示例中，控制器150自主地确定第一实体110具有关系属性和/或第二实体120不具有关系属性。换句话说，在此类示例中，控制器150在不需要特定用户输入的情况下执行所述确定。
控制器150被配置为基于确定了第一实体110具有关系属性和/或第二实体120不具有关系属性而执行在所接收到的命令中指示的与第一实体110有关的动作。
因而，控制器150能够确定第一实体110和第二实体120中的哪一个是所接收到的命令中提到的给定实体，并且相应地作出反应。
因此，与控制器150无法确定第一实体110和第二实体120中的哪一个是给定实体的情况相比，可以以更高的准确性和/或可靠性来处理命令并对命令作出响应。明确地说，表示环境100的知识的知识数据使机器人***130能够更准确地确定多个实体中的哪一个是命令中提到的给定实体。通过更准确地处理命令，与控制器150无法确定第一实体110和第二实体120中的哪一个是给定实体的情况相比，机器人***130可能能够以更自然的方式与用户交互。例如，机器人***130可能能够解译可能很不明确而使一些其他的已知机器人***难以解译的命令。此类潜在的不明确性可能是归因于例如用户在发出命令时所用的自然语言。机器人***130能够通过使用知识数据来消除此类命令的歧义。这允许机器人***130在不需要用户发出更明确、较少歧义的命令的情况下非平凡地推断出用户的意图，用户发出更明确、较少歧义的命令可能会导致与机器人***130的较不自然的交互。
另外，通过使用表示环境100的知识的知识数据，机器人***130可能能够处理新的命令或先前未遇到过的命令。例如，在接收到任何命令之前，所述知识数据可存储关系数据，所述关系数据表示不同实体之间的具有多种关系类型的多种关系。此类关系数据可经由知识数据存储并更新，并且用于解译随后接收到的命令。
在一些示例中，控制器150被配置为在输入部件部分140接收到命令之前生成知识数据的至少一部分。机器人***130可被置于校准状态以生成环境数据的至少一部分。在机器人***130首次被放到环境100中时，或其他情况，可将机器人***130置于校准状态。生成知识数据的至少一部分可以是自主地或在无用户监督的情况下执行。与在接收到命令之前未生成任何知识数据的情形相比，在接收到命令之前生成知识数据的至少一部分可减少处理命令时的等待时间。例如，与在接收到命令之后生成全部知识数据的情况相比，在接收到命令之后可执行较少处理，由此使得能够减少机器人***130的反应时间。
在一些示例中，控制器150被配置为响应于经由输入部件部分140接收到命令而生成知识数据的至少一部分。例如，可用在接收到命令之后获得的新信息来更新知识数据。响应于接收到命令而生成知识数据的至少一部分可提高处理命令的准确性，因为知识数据保持为相对最新的。在一些示例中，如果确定在接收到命令之前的预定时间段内未接收到环境数据，那么响应于接收到命令而更新知识数据。这可能是相对动态环境中的特殊考虑，在相对动态环境中，实体可相对于彼此移动和/或可在特定的时间点进入和离开所述环境。
在图1的示例中，机器人***130还包括输出部件部分160。输出部件部分160包括机器人***130的一个或多个部件，所述一个或多个部件被布置为生成一个或多个输出，例如呈输出数据或信令的形式。控制器150通信地耦合至输出部件部分160。控制器150可将数据传输至输出部件部分160以致使输出部件部分160生成输出数据。输出部件部分160包括例如在机器人***130与环境之间的接口。
在一些示例中，输出部件部分160包括扬声器。在此类示例中，执行动作可包括致使扬声器输出声音。所述声音可包括要递送给人的通知、警报、消息等。
在一些示例中，输出部件部分160包括网络接口。网络接口可使机器人***130能够经由一个或多个数据通信网络输出数据。在输入部件部分140包括网络接口的情况下，输出部件部分160中包括的网络接口可与输入部件部分140中包括的网络接口相同或不同。控制器150可能可操作以致使经由网络接口传输数据。
在一些示例中，输出部件部分160可操作以传输信号。执行动作可包括致使输出部件部分160针对第一实体110传输信号。
在一个示例中，所述信号被布置为向第一实体110提供通知。第一实体110例如可以是人，并且机器人***130可被配置为向该人提供消息或警报。在一些示例中，所述信号为音频信号以向第一实体110提供音频通知。在一些示例中，所述信号为视觉信号以向第一实体110提供视觉通知。
在一些示例中，例如在第一实体110可由机器人***130控制时，动作包括控制第一实体110。在此类示例中，控制器150可被配置为通过致使输出部件部分160传输控制信号以控制第一实体110的操作来控制第一实体110。所述控制信号可包括可操作以控制第一实体110的一个或多个操作、部件和/或功能的电信号。所述控制信号可被传输至第一实体110自身，或可被传输至另一个实体，所述另一个实体转而控制第一实体110。可在第一实体110在机器人130附近时或在第一实体110不在机器人***130附近时传输所述控制信号。在一个示例中，控制信号可操作以改变第一实体110的操作状态。改变操作状态可涉及激活或撤销激活第一实体110。可基于输入部件部分140接收到的不同命令而生成不同的控制信号。
在一些示例中，在输入部件部分140接收到命令时，第一实体110不在所述环境中。在此类示例中，执行与第一实体110有关的动作可以是响应于机器人***130检测到第一实体110存在于所述环境中而执行。例如，机器人***130可监视环境，并且当在所述环境中检测到第一实体110的存在时，执行动作。
机器人***130可具有多位用户。
在一些示例中，控制器150被配置为生成各自与所述多位用户中的不同者相关联的不同的知识数据。例如，表示环境的知识的第一知识数据可与第一用户相关联并且含有第一用户特有的属性和/或关系数据，并且表示环境的知识的第二知识数据可与第二用户相关联并且含有第二用户特有的属性和/或关系数据。
在其他示例中，与多位用户有关的信息可存储在环境的单个知识表示中。
在一些示例中，控制器150被配置为丢弃一些或全部的知识数据。丢弃一些或全部的知识数据可包括从存储器删除一些或全部的知识数据。可响应于触发而丢弃知识数据。此类触发的示例是确定机器人***130正在移动或已移动至新的环境，所述新的环境与环境100不同。此类触发的另一个示例是机器人***130的用户改变。此类触发的另一个示例是预定时间段的期满。在生成例如表示新的环境和/或针对新的用户的新知识数据之前可丢弃一些或全部的现有知识数据。丢弃一些或全部的现有知识数据使得能够基于当前环境和/或当前用户而非先前环境和/或先前用户来解译新接收到的命令。丢弃冗余的知识数据(例如表示旧环境的知识的知识数据)也使得存储知识数据所需要的存储量能够减少。如果不丢弃现有知识数据，那么机器人***130可能要花相对较长的时间来收敛到新情形的视角。通过删除现有知识数据，机器人***130可从头开始建构表示环境的知识的新知识数据，这可导致较快速的收敛，尤其是在新情形与先前的情形相对较不同时。然而，保留来自先前知识数据的一些信息可能是有用的。例如，如果机器人***130移动至机器人***130先前所处的同一所房子中的新房间，那么在实体是住在这所房子里的人的情况下，保留实体之间的关系信息可能是有用的，因为那些关系不太可能会受机器人***130在这所房子里的位置的变化所影响。
参照图2，示出知识图谱200的示例。知识图谱200表示环境。知识图谱200是表示环境的知识的数据的示例。在此示例中，知识图谱200表示上文参照图1所描述的环境100。
在知识图谱200中，表示了第一实体110、第二实体120和机器人***130。在其他示例中，表示了第一实体110和第二实体120，但未表示机器人***130。明确地说，在此类其他示例中，机器人***130可被配置为将其自身从知识图谱120排除出去。在此示例中，第一实体110、第二实体120和机器人***130中的每一者对应于知识图谱200中的节点。
知识图谱200还存储实体之间的关系。关系在知识图谱200中表示为节点之间的边。此类关系可例如是基于位置的和/或基于接近度的和/或基于交互的和/或基于相依性的关系。边R1,2表示第一实体110与第二实体120之间的关系。边R1,R表示第一实体110与机器人***130之间的关系。边R2,R表示第二实体120与机器人***130之间的关系。
知识图谱200还存储第一实体110和第二实体120的一个或多个属性。属性被表示为节点的标签。属性A1是第一实体110和第二实体120共同的。属性A1可与第一实体110和第二实体120的实体类型有关。属性A2不是第一实体110和第二实体120共同的。第一实体110具有属性A2，而第二实体120不具有属性A2。属性A2可为关系属性。属性A2因此可与第一实体110和实体参照实体之间的关系有关。属性A2可基于R1,2、R1,R或其他。在此示例中，第二实体具有属性A3，所述属性A3与属性A1和A2不同。属性A3也可为与第二实体120和另一个实体(例如参照实体)之间的关系有关的关系属性。属性A3可基于关系数据R1,2、R2,R或其他关系数据。类似的方法可用于两个以上的实体之间的关系。
参照图3，示出命令300的示例的示意表示。命令300由机器人接收。在此示例中，命令300由上文参照图1所描述的机器人***130接收。命令300可由机器人***130的用户发出。
在此示例中，命令300识别动作、第一属性A1和第二属性A2。第一属性A1是环境100中的第一实体110和第二实体120共同的。第二属性A2是区别属性，其与第一实体110相关联但不与第二实体120相关联。第二属性A2可为关系属性。机器人***130可解译命令300以基于在命令300中识别出的属性(即，A1和A2)来确定将执行与第一实体有关的但不与第二实体有关的动作。
在第一示例场景中，机器人可使用自然语言处理来执行自动推断出的照明操作。在所述第一示例场景中，环境包括机器人、两个灯和电视。所述两个灯中的第一灯在电视附近，而所述两个灯中的第二灯则不是。机器人可辨识并按语义理解机器人所处的工作环境。例如，机器人可生成环境的语义模型。环境的语义模型是表示环境的知识的数据的示例。机器人可使用所接收到的环境数据来识别环境中的两个灯和电视中的每一者。机器人还可识别至少第一灯与电视和第二灯与电视之间的关系。例如，机器人可确定在场景中两个灯和电视的空间定位。机器人可使用所确定的空间定位来识别相互接近度和/或依赖性。
机器人可识别第一灯和/或第二灯和/或电视的当前操作状态。机器人可使用视觉和/或声音环境数据来识别所述当前操作状态。
在此场景中，用户命令机器人打开在电视附近的灯。因而，将要执行的动作是将实体的操作状态从‘关’变为‘开’。第一属性是所述实体为灯。第一属性是第一灯和第二灯两者共同的。第二属性或“关系属性”是所述实体在电视附近。因而，在此示例中，给定实体是灯，并且参照实体是电视。仅第一灯具有第二属性。因此可使用第二属性来区别开第一灯与第二灯。
因而，机器人可确定命令涉及两个灯中的哪一个，可确定适用灯的当前操作状态，并且可通过调整适用灯的操作状态来控制适用灯。
在第二示例场景中，环境包括机器人、两个灯和在读书的用户。用户发出打开阅读灯的命令。机器人可确定用户正在读书和/或用户位于与读书相关联的特定位置。在这种情况中，第一属性是所述实体为灯。第二区别属性是所述实体为阅读灯。机器人可使用标签“阅读”来分析两个灯中的每一者与在读书的用户之间的关系，例如接近度。例如，机器人可识别两个灯中的为用户所处的特定位置处的阅读行为提供最好的操作条件的灯。机器人可控制所识别出的灯的一个或多个参数。此类参数的示例包括但不限于亮度和颜色。机器人可控制两个灯中的另一个灯。例如，机器人可控制两个灯中的另一个灯的操作状态、亮度和/或颜色。机器人可基于两个灯中的另一个灯在其他环境中的位置或其他因素来控制两个灯中的另一个灯。
在第三示例场景中，环境包括机器人，并且可包括多个人。所述多个人可同时或不同时处于所述环境中。用户向机器人发出命令以在机器人接下来在环境中检测所述用户的伙伴时使机器人向所述伙伴发出音频通知。在此示例中，参照实体是用户，并且给定实体是伙伴。在此示例中，给定实体与参照实体之间的关系是基于交互的关系。在此示例中，第一共同属性是实体为人，并且第二区别属性是该人是用户的伙伴。在此示例中，机器人执行身份辨识以及人之间的人际关系的提取。机器人可观察人之间(例如用户与一个或多个其他人之间)的交互，并且可使用此类观察到的交互来确定哪个人最有可能是用户的伙伴。在此示例中，机器人从环境中的人获知信息并且建构表示作为所关注实体的人之间的相依性的依赖图。依赖图是表示环境的知识的数据的示例。
在此示例场景中，在机器人接收到命令与机器人执行动作之间存在延迟。机器人可在第一时间接收命令，并且可响应于触发事件而执行动作。在此示例中，触发事件是在环境中检测到用户的伙伴。
因而，本文中描述的示例提供场景理解，例如音频-视觉场景理解，用于对用户意图进行上下文推断。
在校准状态下，机器人可建构所述场景中的相连接的装置和对象的音频-视觉表示。例如，所述表示可指示所述装置和对象中的哪些可由机器人控制、场景中的主动对象与被动对象之间的关系以及所述装置和对象与用户习惯和偏好怎样相关。原则上，机器人可获知在房间里有灯A、B和C，但仅灯B是在电视附近并且灯B可由机器人控制。机器人因此能够依据实体TV和灯的相互空间关系而执行包括实体‘TV’和‘灯’的动作。同样地，类似的局部场景知识图谱可用于不同的房间或对象配置，并且因此机器人能够执行对用户意图的推断并且相应地作出响应。
提供各种措施(例如，机器人***、方法、计算机程序和计算机可读介质)，其中机器人***获得表示一个或多个时间点的环境的环境数据。在所接收到的环境数据中表示第一实体和第二实体。机器人***基于所接收到的环境数据来生成表示环境的知识的数据。机器人***接收用于执行与给定实体有关的动作的命令。所述命令识别给定实体的关系属性。关系属性指示给定实体与参照实体之间的关系。机器人***使用所生成的数据和关系属性来确定第一实体具有关系属性和/或第二实体不具有关系属性。机器人***基于所述确定来执行与第一实体有关的动作。因而，机器人***使用表示环境的知识的数据来确定多个实体中的哪一者是命令中提到的给定实体，并且能够相应地作出反应。因此，可提高处理命令的可靠性和准确性。
在一些示例中，确定第一实体具有关系属性和/或第二实体不具有关系属性是自主地执行的。因而，可减少用户负担量。在一些示例中，生成表示环境的知识的数据涉及机器学习。与不使用机器学习的情况相比，机器学习可有助于更准确地映射环境中的实体之间的关系。实体之间的关系的准确映射允许提高处理命令的可靠性和准确性。
在一些示例中，执行动作包括针对第一实体传输信号。第一实体可在机器人***外部。针对第一实体传输信号允许机器人***基于所述命令来影响第一实体。例如，可直接地或经由所传输的信号间接地控制第一实体。
在一些示例中，第一实体可由机器人***控制，并且所述信号为用于控制第一实体的操作的控制信号。因此可由机器人***基于处理后的命令来控制第一实体。控制第一实体可包括改变第一实体的操作状态。机器人***因此可确定将根据所述命令来控制多个可能实体中的哪个实体，并且控制所确定的实体。这在发出命令时用户不能容易地控制第一实体的情况下可能是特别有用的。例如，用户可能离第一实体很远。机器人***可充当代理来代表用户控制第一实体。因而，可减少用户需要与之交互的不同实体的数量。
在一些示例中，所述信号被布置为向第一实体提供通知。因而，机器人***能够使用存储在表示环境的知识的数据中的关系信息来识别通知将被提供给的实体(例如人)。因此，与不使用表示环境的知识的数据的情况相比，更可靠地提供通知的递送。另外，即便在发出命令时不存在第一实体，仍可递送通知，由此增加机器人***的功能性。
在一些示例中，生成表示环境的知识的数据包括确定第一实体和/或第二实体和/或参照实体的操作状态，并且其中表示环境的知识的数据表示所确定的一种或多种操作状态。因而，获得在给定的时间点在环境中的实体的详细图片，从而允许准确地确定在命令中提到的实体。
在一些示例中，生成表示环境的知识的数据包括确定第一实体和/或第二实体是否可由机器人***控制。因而，获得在给定的时间点在环境中的实体的详细图片，从而允许准确地确定在命令中提到的实体。另外，资源可得到更有效的使用，因为除非确定给定实体实际上可由机器人***控制，否则可能不会向该给定实体发送控制信号。
在一些示例中，环境数据包括在多个时间点的环境的表示，并且生成表示环境的知识的数据包括分析在所述多个时间点的环境的表示。因而，机器人***可准确地且可靠地消除与动态环境有关的命令的歧义，在动态环境中一个或多个实体和/或实体之间的关系随时间而改变。
在一些示例中，环境数据包括在第一时间点的环境的第一表示以及在第二时间点的环境的第二表示，所述第二时间点晚于所述第一时间点。表示环境的知识的数据的生成可基于在第一时间点的环境的第一表示。在一些示例中，基于在第二时间点的环境的第二表示来更新表示环境的知识的数据。因而，可随时间而更新表示环境的知识的数据以将环境和/或环境中的实体之间的关系的发展或改变考虑进去，由此提高机器人***处理命令的准确性和/或可靠性。
在一些示例中，生成表示环境的知识的数据包括使用静态场景分析来分析所接收到的环境数据。使用静态场景分析可使用比其他情况下所使用的硬件资源少的硬件资源。与不使用静态场景分析的情况相比，静态场景分析可减少对由机器人***“即时”得到的信息的需要，由此减少处理量。
在一些示例中，生成表示环境的知识的数据包括使用动态场景分析来分析所接收到的环境数据。与一些其他情况相比，使用动态场景分析可使得与环境有关的更多信息能够被提取并且用于命令的准确处理。
在一些示例中，机器人***响应于触发而丢弃表示环境的知识的数据。丢弃表示环境的知识的数据可允许更快地生成表示环境的知识的后续数据，由此减少等待时间并改善用户体验。所述触发可包括预定时间段的期满。在一些示例中，所述触发包括确定机器人***的位置已改变。因而，不存储与机器人***不再位于其中的环境有关的冗余知识数据，由此减少机器人***的存储器需求量。
在一些示例中，获得环境数据包括致使机器人***的至少一部分移动以捕捉环境的不同部分的表示。因而，与不捕捉环境的不同部分的表示的情况相比，可获得环境的更完整图片并且使用所述图片来准确地处理命令。在所述表示是由一个或多个摄像机捕捉的视觉表示的示例中，通过移动机器人***的至少一部分获得此类表示使得能够使用单个摄像机(包括在机器人***中或其他情况)。如果机器人***的一部分不移动，那么可能需要指向多个不同方向的多个摄像机，以便捕捉环境的不同部分的表示。因此，与机器人***的部分不移动以捕捉环境的不同部分的表示的情况相比，可减少机器人***的复杂性和成本。
在一些示例中，在接收到命令时，第一实体不在所述环境中。在此类示例中，响应于检测到第一实体存在于所述环境中而执行动作。因而，即便给定实体不存在于环境中仍可识别命令中提到的给定实体，由此有助于灵活且准确地处理命令。另外，通过等到第一实体处于环境中才执行动作，资源可得到更有效的使用。
在一些示例中，参照实体是第二实体。因而，可基于第一实体与第二实体之间的关系来将第一实体识别为命令中提到的给定实体，由此有助于准确地处理命令。与参照实体和第二实体分开的情况相比，在参照实体是第二实体的情况下，机器人***可能要考虑较少的实体，例如，两个实体，在参照实体与第二实体分开的情况下，机器人***可能要考虑例如三个实体。减少要分析的实体的数量可减少计算复杂性并提高处理效率。然而，可存在权衡，借此减少计算复杂性意味着能够处理更有限的命令集。
在一些示例中，在所接收到的环境数据中表示第三实体，并且参照实体是所述第三实体。因而，可基于对第一实体和第二实体与独立的第三实体的关系的分析来将第一实体识别为在命令中提到的给定实体。与参照实体是第二实体的情况相比，在参照实体是第三实体的情况下，可辨识和可处理的命令的范围可增大。然而，可存在权衡，借此增大可辨识的命令的范围涉及较高的计算复杂性。
在一些示例中，所述生成包括在接收到命令之前生成表示环境的知识的数据的一部分。因而，与在接收到命令之前未生成表示环境的知识的任何数据的情况相比，可减少处理命令时的等待时间。
在一些示例中，所述生成包括响应于接收到命令而生成表示环境的知识的数据的一部分。因而，表示环境的知识的数据可保持为最新的，使得能够维持对命令的准确处理，尤其是在机器人***位于实体和/或实体之间的关系可随时间而改变的动态环境中时。
在一些示例中，关系包括基于位置的关系。因而，机器人***可使用与实体相对于彼此的相对位置有关的上下文信息来准确地处理命令。位置数据可为自含的并且在环境数据中可容易地得到。因此不需要来自其他源的数据。另外，用户命令可能有相对较高的可能性与基于位置的关系有关。因此，机器人***可准确地并且可靠地对此类命令作出反应。
在一些示例中，机器人***使用所接收到的环境数据来确定第一实体相对于参照实体的位置。因而，机器人***可自主地确定实体之间的基于位置或接近度的关系并且使用此类关系信息来准确地处理命令。确定第一实体相对于参照实体的位置允许机器人***使用最新的且准确的位置信息，例如在实体的初始位置可能已随时间而改变的情况中。
在一些示例中，关系包括基于交互的关系。因而，机器人***可使用实体之间的所观察到的交互来准确地解译和处理命令。交互数据可为自含的并且在环境数据中可容易地得到。因此不需要来自其他源的数据。另外，用户命令可能有相对较高的可能性与基于交互的关系有关。因此，机器人***可准确地并且可靠地对此类命令作出反应。
在一些示例中，第一实体和/或第二实体是人。因而，机器人***能够使用表示环境的知识的数据中的信息来辨别多个人以识别出命令中提到的特定的人。
在一些示例中，参照实体是人。因而，可分析人与多个其他实体之间的关系以准确地处理命令。例如，该人可为机器人***的用户。
在一些示例中，参照实体是机器人***。因而，可分析机器人***与多个其他实体之间的关系以准确地处理命令。
在一些示例中，环境数据包括视觉环境数据。因而，可获得并使用与环境中的实体之间的位置或接近关系有关的环境信息来准确地处理命令。
在一些示例中，环境数据包括音频环境数据。因而，可获得并使用与环境中的实体之间(例如，人之间)的交互有关的环境信息来准确地处理命令。
在一些示例中，所述命令包括语音命令。因而，用户可使用语音命令来与机器人***交互，所述语音命令使用自然语言，机器人***可准确地处理所述语音命令，由此允许与用户进行更自然且有意义的交互。
在一些示例中，机器人***使用自然语言处理来处理语音命令。因而，可在用户不必修改其自然语言的情况下准确地解译语音命令，由此减少用户的负担并有助于有意义的交互。
在一些示例中，所述命令包括视觉命令。因而，可用与语音命令或其他类型的命令类似的方式准确地处理视觉命令，诸如示意动作。另外，可在用户不必修改其自然行为的情况下由机器人***准确地解译相对‘自然’的示意动作，诸如指点。
提供各种措施(例如，机器人***、方法、计算机程序和计算机可读介质)，其中机器人***接收表示一个或多个时间点的环境的环境数据。分析所接收到的环境数据以识别第一和第二实体。机器人***接收用于执行与给定实体有关的动作的命令，所述命令识别给定实体的第一和第二属性。机器人***使用所接收到的环境数据来确定第一实体和第二实体两者都具有第一属性，并且第一实体和第二实体中仅第一实体具有第二属性。机器人***基于所述确定来执行与第一实体有关的动作。执行动作包括传输控制信号以基于所接收到的命令来控制第一实体的操作。因而，机器人***能够充当第一实体的代理，使得能够以新的方式，即，经由机器人***，来控制第一实体。与用户要直接与第一实体交互的情况相比，此类交互技术可具有减小的用户负担，并且可更可靠。另外，可经由用户的单个接触点(即机器人***)来控制多个可控制实体。
提供各种措施(例如，机器人***、方法、计算机程序和计算机可读介质)，其中机器人***分析所接收到的数据以识别第一实体和第二实体。机器人***确定以下各项中的一项或两项：第一实体和/或第二实体的当前操作状态；以及机器人***对第一实体和/或第二实体的可控制性。机器人***接收用于执行与给定实体有关的动作的命令，所述命令识别第一实体和第二实体共同的属性。机器人***使用所述分析来确定可仅执行与第一实体和第二实体中的第一实体有关的所述命令。机器人***基于所述确定来执行与第一实体有关的动作。因而，可获得环境的完整图片和与环境中的实体交互的能力，从而允许与未获得这样的完整图片的情况相比以更大的准确性和可靠性来处理命令。
以上实施方案应被理解为本发明的说明性示例。能设想到本发明的其他实施方案。
在上文描述的示例中，由机器人***生成表示环境的知识的知识数据。在其他示例中，从一个或多个其他实体接收所述知识数据。例如，知识数据可存储在网络中并且从网络下载。在一个示例中，从另一个机器人***接收知识数据。所述知识数据可以是由另一个机器人***生成。
在上文描述的示例中，机器人***可位于环境中。在其他示例中，机器人***的一部分可位于环境中，并且机器人***的另一部分可位于环境外部。例如，机器人***可包括基于网络的计算部件。在一些示例中，机器人***可与基于网络的部件一起使用。基于网络的部件的示例是服务器。由机器人***生成的知识数据可存储在此类基于网络的部件上和/或可从此类基于网络的部件检索。
在上文描述的示例中，机器人***自动地(例如独立于用户监督)获知关于机器人***所处的环境的信息。
在其他示例中，用户可手动地对机器人***进行预编程使之具有环境中的实体的名称。此类命名也可被称为“贴标签”或“做标注”。此类方法涉及用户监督。机器人***可提供用户可借以对实体命名的命名接口。用户可例如能够使用智能电话、平板装置、膝上型计算机等来输入实体名称。用户可手动地给灯指派好记的名称，例如“桌灯”而非“3号灯”。然而，此类方法涉及用户要花精力来执行预编程。此类方法因此会令用户感到有点烦。此类方法也可能容易出错。在环境被重配置的情况下，例如如果被命名为“桌灯”的灯从桌子移走，那么此类方法也可能是效率低下的。
应理解，相对于任何一个实施方案描述的任何特征可以单独地使用，或与所描述的其他特征结合使用，并且还可以与所述实施方案中的任何其他实施方案的一个或多个特征或所述实施方案中的任何其他实施方案的任何组合结合使用。此外，在不脱离本发明的范围的情况下，还可以采用上文未描述的等效物和修改，本发明的范围是在所附权利要求书中限定。

Claims (37)

1.一种由可位于环境中的机器人***执行的处理命令的方法，所述方法包括：
获得表示一个或多个时间点的所述环境的环境数据，其中在所接收到的环境数据中表示第一实体和第二实体；
基于所述所接收到的环境数据来生成表示所述环境的知识的数据；
接收用于执行与给定实体有关的动作的命令，所述命令识别所述给定实体的关系属性，所述关系属性指示所述给定实体与参照实体之间的关系；
使用所生成的数据和所述关系属性来确定所述第一实体具有所述关系属性和/或所述第二实体不具有所述关系属性；以及
基于所述确定来执行与所述第一实体有关的动作。
2.根据权利要求1所述的方法，其中所述确定是自主地执行的。
3.根据权利要求1或权利要求2所述的方法，其中所述生成表示所述环境的知识的所述数据涉及机器学习。
4.根据权利要求1至3中任一项所述的方法，其中执行所述动作包括针对所述第一实体传输信号。
5.根据权利要求4所述的方法，其中所述第一实体能够由所述机器人***控制，并且其中所述信号是用于控制所述第一实体的操作的控制信号。
6.根据权利要求4或权利要求5所述的方法，其中所述信号被布置为向所述第一实体提供通知。
7.根据权利要求1至6中任一项所述的方法，其中所述生成表示所述环境的知识的所述数据包括确定所述第一实体和/或所述第二实体和/或所述参照实体的操作状态，并且其中表示所述环境的知识的所述数据表示所确定的一种或多种操作状态。
8.根据权利要求1至7中任一项所述的方法，其中所述生成表示所述环境的知识的所述数据包括确定所述第一实体和/或所述第二实体是否能够由机器人控制。
9.根据权利要求1至8中任一项所述的方法，其中所述环境数据包括在多个时间点的所述环境的表示，并且所述生成表示所述环境的知识的所述数据包括分析在所述多个时间点的所述环境的所述表示。
10.根据权利要求1至9中任一项所述的方法，
其中所述环境数据包括在第一时间点的所述环境的第一表示以及在第二时间点的所述环境的第二表示，所述第二时间点晚于所述第一时间点，
其中所述生成表示所述环境的知识的所述数据是基于在所述第一时间点的所述环境的所述第一表示，并且
其中所述方法包括基于所述第二时间点的所述环境的所述第二表示来更新表示所述环境的知识的所述数据。
11.根据权利要求1至10中任一项所述的方法，其中所述生成表示所述环境的知识的所述数据包括使用静态场景分析来分析所述所接收到的环境数据。
12.根据权利要求1至10中任一项所述的方法，其中所述生成表示所述环境的知识的所述数据包括使用动态场景分析来分析所述所接收到的环境数据。
13.根据权利要求1至12中任一项所述的方法，所述方法包括响应于触发而丢弃表示所述环境的知识的所述数据。
14.根据权利要求13所述的方法，其中所述触发包括预定时间段的期满。
15.根据权利要求13所述的方法，其中所述触发包括确定所述机器人***的位置已改变。
16.根据权利要求1至15中任一项所述的方法，其中所述获得所述环境数据包括致使所述机器人***的至少一部分移动以捕捉所述环境的不同部分的表示。
17.根据权利要求1至16中任一项所述的方法，
其中在接收到所述命令时，所述第一实体不在所述环境中；并且
其中所述执行所述动作是响应于检测到所述第一实体存在于所述环境中而进行。
18.根据权利要求1至17中任一项所述的方法，其中所述参照实体是所述第二实体。
19.根据权利要求1至18中任一项所述的方法，其中在所述所接收到的环境数据中表示第三实体，并且其中所述参照实体是所述第三实体。
20.根据权利要求1至19中任一项所述的方法，其中所述生成包括在接收到所述命令之前生成表示所述环境的知识的所述数据的部分。
21.根据权利要求1至20中任一项所述的方法，其中所述生成包括响应于接收到所述命令而生成表示所述环境的知识的所述数据的部分。
22.根据权利要求1至21中任一项所述的方法，其中所述关系包括基于位置的关系。
23.根据权利要求22所述的方法，所述方法包括使用所述获得的环境数据来确定所述第一实体相对于所述参照实体的位置。
24.根据权利要求1至23中任一项所述的方法，其中所述关系包括基于交互的关系。
25.根据权利要求1至24中任一项所述的方法，其中所述第一实体和/或所述第二实体是人。
26.根据权利要求1至25中任一项所述的方法，其中所述参照实体是人。
27.根据权利要求1至25中任一项所述的方法，其中所述参照实体是所述机器人***。
28.根据权利要求1至27中任一项所述的方法，其中所述环境数据包括视觉环境数据。
29.根据权利要求1至28中任一项所述的方法，其中所述环境数据包括音频环境数据。
30.根据权利要求1至29中任一项所述的方法，其中所述命令包括语音命令。
31.根据权利要求30所述的方法，所述方法包括使用自然语言处理来处理所述语音命令。
32.根据权利要求1至31中任一项所述的方法，其中所述命令包括视觉命令。
33.一种由位于环境中的机器人***处理命令的方法，所述方法包括：
接收表示在一个或多个时间点的所述环境的环境数据；
分析所接收到的环境数据以识别第一实体和第二实体；
接收用于执行与给定实体有关的动作的命令，所述命令识别所述给定实体的第一属性和第二属性；
使用所述所接收到的环境数据来确定：
所述第一实体和所述第二实体两者都具有所述第一属性；并且
所述第一实体和所述第二实体中仅所述第一实体具有所述第二属性；以及
基于所述确定来执行与所述第一实体有关的动作，
其中执行所述动作包括传输控制信号以基于所接收到的命令来控制所述第一实体的操作。
34.一种由机器人***处理命令的方法，所述方法包括：
分析所接收到的数据以识别第一实体和第二实体并且确定以下各项中的一项或两项：
所述第一实体和/或所述第二实体的当前操作状态；以及
机器人对所述第一实体和/或所述第二实体的可控制性；
接收用于执行与给定实体有关的动作的命令，所述命令识别所述第一实体和所述第二实体共同的属性；
使用所述分析来确定仅能够执行与所述第一实体和所述第二实体中的所述第一实体有关的命令；以及
基于所述确定来执行与所述第一实体有关的动作。
35.一种机器人***，所述机器人***被配置为执行根据权利要求1至34中任一项所述的方法。
36.一种计算机程序，所述计算机程序包括指令，所述指令在被执行时致使机器人***执行根据权利要求1至34中任一项所述的方法。
37.一种计算机可读介质，所述计算机可读介质包括根据权利要求36所述的计算机程序。
CN201980034290.2A 2018-03-21 2019-03-20 处理命令 Pending CN112154383A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1804519.5A GB2572175B (en) 2018-03-21 2018-03-21 Processing a command
GB1804519.5 2018-03-21
PCT/GB2019/050785 WO2019180434A1 (en) 2018-03-21 2019-03-20 Processing a command

Publications (1)

Publication Number Publication Date
CN112154383A true CN112154383A (zh) 2020-12-29

Family

ID=62017973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034290.2A Pending CN112154383A (zh) 2018-03-21 2019-03-20 处理命令

Country Status (4)

Country Link
EP (1) EP3769168A1 (zh)
CN (1) CN112154383A (zh)
GB (1) GB2572175B (zh)
WO (1) WO2019180434A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11784845B2 (en) * 2018-09-28 2023-10-10 Qualcomm Incorporated System and method for disambiguation of Internet-of-Things devices
CN114153980A (zh) * 2020-09-07 2022-03-08 中兴通讯股份有限公司 知识图谱构建方法和装置、检查方法、存储介质
US20240233728A1 (en) * 2021-07-30 2024-07-11 Hewlett-Packard Development Company, L.P. User Gestures to Initiate Voice Commands
US11725924B2 (en) 2021-08-10 2023-08-15 Palo Alto Research Center Incorporated Controlling mechanical systems based on natural language input

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707797A (zh) * 2011-03-02 2012-10-03 微软公司 通过自然用户界面控制多媒体***中的电子设备
CN104025095A (zh) * 2011-10-05 2014-09-03 奥普唐公司 用于监视和/或生成动态环境的方法、装置和***
US20150088841A1 (en) * 2013-09-20 2015-03-26 Oracle International Corporation Techniques for correlating data in a repository system
US20150348554A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Intelligent assistant for home automation
CN105446162A (zh) * 2016-01-26 2016-03-30 北京进化者机器人科技有限公司 一种智能家居***以及机器人的智能家居控制方法
GB201712791D0 (en) * 2017-08-09 2017-09-20 Emotech Ltd Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150156030A1 (en) * 2012-09-21 2015-06-04 Google Inc. Handling specific visitor behavior at an entryway to a smart-home
US9900177B2 (en) * 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9579790B2 (en) * 2014-09-17 2017-02-28 Brain Corporation Apparatus and methods for removal of learned behaviors in robots
US10274911B2 (en) * 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model
EP3482391B1 (en) * 2016-07-06 2023-06-14 DRNC Holdings, Inc. System and method for customizing smart home speech interfaces using personalized speech profiles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707797A (zh) * 2011-03-02 2012-10-03 微软公司 通过自然用户界面控制多媒体***中的电子设备
CN104025095A (zh) * 2011-10-05 2014-09-03 奥普唐公司 用于监视和/或生成动态环境的方法、装置和***
US20150088841A1 (en) * 2013-09-20 2015-03-26 Oracle International Corporation Techniques for correlating data in a repository system
US20150348554A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Intelligent assistant for home automation
CN106415412A (zh) * 2014-05-30 2017-02-15 苹果公司 用于家庭自动化的智能助理
CN105446162A (zh) * 2016-01-26 2016-03-30 北京进化者机器人科技有限公司 一种智能家居***以及机器人的智能家居控制方法
GB201712791D0 (en) * 2017-08-09 2017-09-20 Emotech Ltd Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers

Also Published As

Publication number Publication date
WO2019180434A1 (en) 2019-09-26
GB2572175A (en) 2019-09-25
EP3769168A1 (en) 2021-01-27
GB201804519D0 (en) 2018-05-02
GB2572175B (en) 2022-10-12

Similar Documents

Publication Publication Date Title
CN112154383A (zh) 处理命令
KR102643027B1 (ko) 전자 장치, 그의 제어 방법
CN108369808B (zh) 电子设备和用于控制该电子设备的方法
EP3857860B1 (en) System and method for disambiguation of internet-of-things devices
CN109521927B (zh) 机器人互动方法和设备
EP3656094B1 (en) Controlling a device based on processing of image data that captures the device and/or an installation environment of the device
KR20200052448A (ko) 지식 그래프에 기초하여 데이터베이스들을 통합하는 시스템 및 방법
KR102420567B1 (ko) 음성 인식 장치 및 방법
CN112528004B (zh) 语音交互方法、装置、电子设备、介质和计算机程序产品
US11379510B2 (en) Automatic ontology generation for internet of things applications
CN110121696B (zh) 电子设备及其控制方法
KR20220104078A (ko) Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공
JP6919080B2 (ja) 自動化されたアシスタントのための視覚的な手掛かりの選択的検出
KR20200085143A (ko) 외부 장치를 등록하는 대화형 제어 시스템 및 방법
KR20190081373A (ko) 인공 신경망에 기반한 단말 장치 및 데이터 처리 방법
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
US20190346929A1 (en) Attention Levels in a Gesture Control System
US10970937B2 (en) Technologies for virtual attribute assignment referencing real objects
KR20190103222A (ko) 자동화된 활동-시간 트레이닝 기법
Wang et al. A gesture-based method for natural interaction in smart spaces
CN114187650A (zh) 动作识别方法、装置、电子设备及存储介质
Daniels et al. Interactive Device that Performs Output Based On Human Movement and/or Human Emotion Detected via Machine Learning
Vu et al. Hybrid On-Device Cloud Scheme for Re-Identification of Persons Based on Shared Embedding Gallery
Daniels et al. Interactive, Mobile Internet of Things Device with Image Capture Capability
CN118193863A (zh) 个性化页面推荐方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201229