CN1304177C - 机器人装置及其控制方法 - Google Patents

机器人装置及其控制方法 Download PDF

Info

Publication number
CN1304177C
CN1304177C CNB02804052XA CN02804052A CN1304177C CN 1304177 C CN1304177 C CN 1304177C CN B02804052X A CNB02804052X A CN B02804052XA CN 02804052 A CN02804052 A CN 02804052A CN 1304177 C CN1304177 C CN 1304177C
Authority
CN
China
Prior art keywords
target
behavior
robot device
information
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB02804052XA
Other languages
English (en)
Other versions
CN1487871A (zh
Inventor
佐部浩太郎
河本献太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1487871A publication Critical patent/CN1487871A/zh
Application granted granted Critical
Publication of CN1304177C publication Critical patent/CN1304177C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33051—BBC behavior based control, stand alone module, cognitive, independent agent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

一种合并在将识别结果传递给行为模块之前所异步通告的识别结果的机器人装置，并因此，所述行为模块能够容易地处理信息。因为将所识别的观察结果的信息以存储器的形式来保存，即使暂时没有观察结果进来，对上层节点模块来说总能察觉到目标。结果，所述机器人装置变得很能对抗识别错误或者传感器噪声，并能够实现独立于识别通告时序的稳定***。因此，所述机器人装置合并来自外部世界的多个识别结果，并将它们作为有意义的符号信息来处理，由此进行复杂的行为控制。

Description

机器人装置及其控制方法
技术领域
本发明涉及一种用于允许自主行为及真实交流的机器人装置及其控制方法。本发明尤其涉及能够识别诸如图像和声音的外部信息并在自己行为上反射这些信息的自动机器人装置及其控制方法。
更具体地讲，本发明涉及其中集成来自外部环境的多个识别结果并按用于控制行为的有意义符号信息处理的机器人装置及其控制方法。尤其地，本发明涉及一种其中利用诸如与早先所观察的识别结果的联系的更复杂识别结果来确定哪一个肉色区域是脸并对应哪一个人，或者哪个人已经发出此声音等的机器人装置及其控制方法。
背景技术
将通过电磁作用模仿人的操作的方式操作的机器装置称作为“机器人”。术语机器人的起源据说是斯拉夫语的词“ROBOTA(奴隶机器)”。在日本，在20世纪60年代后期开始广泛使用机器人，并且大多数机器人是用于在工厂允许自动的和非人工的生产工作的工业机器人，诸如操作器和搬运机器人。
近来，有关诸如模拟像狗、猫和熊的四足动物的物理机械和操作、和模拟诸如人和猴子的两足直立行走动物的物理机械和操作的“带有人的特点的”带腿机器人的结构和稳定步态控制的研究和开发正在进行中，并且，已经提高了用于实际应用的期望。尽管这些带腿的移动机器人和爬行动物机器人相比比较不稳，并有姿态控制和步态控制的困难，但是，带腿机器人的优点在于：能够实现诸如上下楼和跨越障碍物的灵活行走和跑步操作。
在特定地方所安装的机器人，诸如，手臂机器人，仅仅在例如用于部件的安装和选择的固定的、本地的空间操作。另一方面，移动机器人在不受限制的空间操作；它能够沿着预定道路或者在没有特定道路的情况下自由移动，并且执行预定的或者任意的人工任务，并且提供代表人、狗、或者其他生物的各种服务。
有腿移动机器人的一个用途是在工业活动、生产活动等中执行有关例如诸如在核能发电厂、热能发电厂或者石化厂中的维护工作，在制造工厂中的零件的转移和组装，在超高层建筑中的保洁、在火灾现场的援救等行为的各种艰难任务。
有腿移动机器人的另一个用途不是如上所述的工作援助，而是紧密与生活相关，即，与人类“在一起生活”或者“娱乐”。此类机器人复制丰富的表情，忠实地使用诸如，人类、狗(宠物)或者熊、或者用作肢的相对智能的有腿活动动物的操作机理再现丰富的表情。此外，除了忠实地展现在早先所输入的操作模式外，同样也要求机器人动态地根据用户(另一个机器人)的用词或者态度(例如，“表扬”、“责骂”、“撞击”)表达逼真的反应。
在传统的玩具机器中，用户操作和响应之间的关系是固定的，并且不能根据用户的偏好修改玩具的操作。因此，用户最终会对重复同样操作的玩具感到厌烦。
相反，自动操作的智能机器人能够识别外部环境的信息并在它自己的行为上对所述信息做出反应。即，机器人通过改变基于诸如声音、图像、和触觉的输入信息的情感模式和本能模式确定其行为，从而，实现自主思考和操作控制。即，通过提供情感模式和本能模式，允许机器人在更高级的智能水平实现和人的真实通信。
为了让机器人根据环境的变化自主地行动，传统上通过简单的行为描述的组合描述了行为，从而采取行动来响应观察结果的信息。通过将输入映射为行为，引入了诸如随机性、内部状态(情感和本能)、学习和成长的功能，从而允许非统一的、复杂行为的表达。
不过，根据行为映射的简单方法，例如，在追踪和踢球期间，即使球从视野只消失瞬间，由于没有保存有关球的信息，所以必须采取从零开始找球的行动。从而，没有一贯地使用识别结果。
而且，当观察到多个球时，机器人必须确定哪个识别结果和早先观察的哪个结果相联系。此外，为了使用诸如脸的识别、肉色的识别和声音的识别的更复杂的识别结果，机器人必须确定哪个肉色区域是脸以及对应哪个人，哪个人已经发出此声音等。
发明内容
本发明的一个目的是提供能够识别诸如图像和声音的外部环境信息并对有关其行为的信息做出反应的讨人喜欢的自主机器人装置及其控制方法。
本发明的另一个目的是提供一种把来自外部环境的多个识别结果作为有意义的信息集成和处理，允许复杂的行为控制的讨人喜欢的机器人装置及其控制方法。
本发明的另一个目的是提供一种利用诸如与早先观察的识别结果的联系的更复杂的识别结果能够确定哪个肉色区域是脸并且对应哪个人，哪个人已经发出此声音等的讨人喜欢的机器人装置及其控制方法。
鉴于上述目的所做出的本发明涉及一种根据外部环境的变化自主地操作的机器人装置或者对其的控制方法，包括：
一个或者多个用于识别外部环境的识别装置；
基于识别装置和步骤的识别结果检测外部环境中项目的存在的目标检测装置或步骤；以及
用于存储与由目标检测装置或者步骤所检测的项目有关的目标信息的目标存储装置或者步骤。
所述识别装置或者步骤允许识别例如用户的讲话、讲话表达的内容，项目的颜色、或者在外部环境中的用户的脸。
另外根据本发明的机器人装置或者其控制方法还可以包括：用于根据在目标存储装置或者步骤中所存储的目标信息，控制机器人装置自己行为的行为控制装置或者步骤。
目标存储装置或步骤存储识别装置或步骤的作为目标信息的所述项目的识别结果及该项目的位置和姿态信息。
目前，该项目的位置和姿态信息通过将在识别装置或者步骤的坐标系中的识别结果转换为基于机器人装置的装置体的固定坐标系来保存，并允许多个识别器的信息集成。例如，当机器人运动颈部等，并且传感器的姿态变化时，从根据目标信息控制机器人行为的上层模块(应用)所看到的所述项目的位置保持相同。
而且，可以提供用于删除关于在预定周期或者更长时间识别装置或者步骤未能识别的项目的目标信息的目标删除装置或者步骤。
并且，还可进一步提供忽略装置(forgetting means)，用于确定识别装置或者步骤未能识别的所述目标是否存在于识别范围内，并且，如果目标存在于所述范围之外则保存在目标存储装置中的相关联的目标信息，而如果目标存在于所述范围之内，则忽略在目标存储装置中的相关联的目标信息。
并且，可以提供用于揭示在相同的或者重叠的识别结果是关于相同项目的信息的假定下的目标信息之间关联的目标关联装置或者步骤。
同样，用于揭示在两个或者多个识别装置的在位置上重合或者重叠的识别结果是有关相同项目的信息的假定下的目标信息之间的关联的目标关联装置或者步骤。
而且，目标存储装置或者步骤可以添加以后识别的相同目标的信息，并将其作为单一目标信息保存在一起。
根据本发明的机器人装置或者其控制方法还可以包括：事件检测装置或者步骤，用于根据识别装置或者步骤的识别结果检测在外部环境中已经发生的事件，以及事件存储装置或者步骤，用于按事件发生的顺序保存事件检测装置或者步骤所检测的事件。
事件检测装置或者步骤可以处理作为事件的关于外部环境变化的信息，诸如演讲表达的识别内容、项目的出现和/或者消失以及机器人装置的自身行为。
而且，还可以进一步提供用于根据所存储的事件信息控制机器人装置的自身行为的行为控制装置或者步骤。
根据本发明的机器人装置及其步骤集成多个来自外部环境的识别结果并按有意义的符号信息处理它，从而允许更复杂的行为控制。而且，机器人装置或者其控制方法集成异步接收的单个识别结果，并接着将所集成的信息发送给行为模块。因此，简化了在行为模块中的信息的处理。
因此，利用诸如与早先所观察的识别结果的关联的更复杂的识别结果，能够确定哪个肉色区域是脸并且对应哪个人，哪个人已经发出此声音等。
而且，根据本发明的机器人装置或者其控制方法以存储器的形式存储有关识别观察结果的信息。因此，即使在自主行为期间暂时丢失了观察结果，对于诸如用于控制装置体的行为的应用软件的上层模块来说：在感知上项目总在此。因此，实现了对识别器错误和传感器噪声比较不受影响的并且其不依赖识别器的通告时序的稳定***。
而且，由于相关的识别结果是彼此相关联的，所以允许根据本发明的机器人装置及其控制方法利用诸如应用软件的上层模块的相关信息确定其行为。例如，允许机器人装置根据呼叫声音检索人名，并由此能够通过说“喂，XXX”来对问候做出反应。
此外，因为根据本发明的机器人装置及其控制方法保存有关于传感器视力之外的信息而不是立即忽略它，即使机器人一时没看到项目，机器人也能够在随后找到此项目。
而且，在根据本发明的机器人装置或者其控制方法中，即使从独立的单个识别器的角度看信息是不充分的，其他的识别结果有时也能补偿此不足，从而改善了整个的***识别性能。
本发明的其他目的、特性和优点将会通过随后本发明的实施例的描述和参照附图的更详细的描述而变得更清楚。
附图说明
图1是根据本发明实施例的有腿移动机器人100的前视图。
图2是根据本发明实施例的有腿移动机器人100的后视图。
图3是说明根据本发明实施例的有腿移动机器人100的自由度模式的示意图。
图4是说明在根据本发明实施例的有腿移动机器人100中所使用的行为控制***50的结构示意图。
图5是说明行为控制***50的操作流程示意图。
图6是说明短期限存储器55的操作的示意图。
图7所示为根据识别功能单元51至53的识别结果进入目标存储器的信息流图。
图8所示为根据识别功能单元51至53的识别结果进入事件存储器的信息流图。
图9所示为目标检测器的处理操作的流程图。
图10所示为用于由垃圾收集器从目标存储器中删除目标的处理步骤的流程图。
图11所示为目标存储器的数据表达的图。
图12所示为事件存储器的数据表达的图。
图13是用于存储由识别功能单元51至53的识别结果的结构的例子。
图14所示为机器人100与用户A和B进行交互处理的例子。
图15所示为机器人100与用户A和B进行交互处理的例子。
图16所示为机器人100与用户A和B进行交互处理的例子。
具体实施方式
现在，将参照附图描述本发明的实施例。
A.有腿移动机器人的结构
图1和2说明了分别从前面和后面看到的处于直立姿态的根据本发明实施例的有腿移动机器人100。带腿的移动机器人100属于所谓的“具有人的特征”的类型，并随后描述之，它能够根据诸如声音和图像的外部刺激的识别结果自主地控制它的行为。如图所示，有腿移动机器人100包括：两个下肢，即，左右肢，其允许和腿、躯干、左右上肢以及头一起移动。
左右下肢的每一个包括股、膝关节、胫骨、踝以及足板，并且通过臀关节在躯干的实质上是最低端相连接。左右上肢的每一个包括上臂、肘关节及前臂，并且通过肩关节在躯干的上部的左或右边沿处相连。头通过颈关节连接到实质上是躯干顶端的中心部分。
躯干单元包括一个在图1和2中未示出的控制单元。控制单元是包含用于控制有腿移动机器人100的关节致动器的驱动和用于处理来自传感器等(随后将述)的外部输入的控制器(主控制单元)、电源电路和其他***设备的一个盒子。所述控制单元还可以包括一允许遥控操作的通信接口或者一通信装置。
图3示意说明了在根据本实施例的有腿移动机器人100中的关节自由度。如图所示，有腿移动机器人100包括：一包括两只手臂和一个头1的上肢，一包括允许运动的两条腿的下肢、以及一连接上肢和下肢的躯干。
支持头1的颈关节有3个自由度，即，颈关节偏转轴2、颈关节俯仰轴3和颈关节横滚轴4。
每只手臂有一个肩关节俯仰轴8，一个肩关节横滚轴9、一个上臂偏转轴10、一个肘关节俯仰轴11、一个前臂偏转轴12、一个腕关节俯仰轴13、一个腕关节横滚轴14、以及一手15。手15实际上是一包括多个手指从而有多个关节和多个自由度的结构。不过，因为手15的操作对控制机器人100的姿态稳定性的控制或者步态的控制没有重要的贡献或者影响，所以在本说明书中将其自由度假定为零。因此，左右臂的每一只都有7个自由度。
躯干有3个自由度，即，躯干俯仰轴5、躯干横滚轴6以及躯干偏转轴7。
组成下肢的左右腿的每一条都有一个臀关节偏转轴16、臀关节俯仰轴17、臀关节横滚轴18、膝关节俯仰轴19、踝关节俯仰轴20、踝关节俯仰轴21和脚(脚底或者脚板)22。尽管人的脚(脚底)22实际上是一个包括多个关节和多个自由度的脚底的结构，但是，根据本实施例的有腿移动机器人100的脚底有零个自由度。因此，每一条腿都有6个自由度。
总之，根据本实施例的有腿移动机器人100作为一个整体总共有3+7×2+3+6×2＝32个自由度。不过，有腿移动机器人100的自由度没有必要局限于32个。显然，自由度，即，关节数可以根据在设计和制造中的约束条件、说明书要求等适当地增加或者降低。
如上所述，有腿移动机器人100的自由度实际上通过致动器的有效操作实现。考虑到各种要求，诸如为了避免装置的外表过度膨胀和模仿人的自然外形的要求，以及控制以两条腿走路的不稳定结构的姿态的要求，关节致动器最好尺寸小和重量轻。在本实施例中，使用了每一个都和传动装置相连接并包括包含在马达单元的单芯片伺服控制***的小尺寸AC伺服致动器。例如，在已经转让给本申请的申请人的日本待审专利申请第2000-299970号(日本专利申请第11-33386号的说明书)中，披露了能够在有腿移动机器人100中所使用的AC伺服致动器。
B.机器人的行为控制***的结构
允许根据本实施例的有腿移动机器人100根据外部刺激的识别结果和内部状态的变化控制其行为。图4示意说明了在根据本实施例的有腿移动机器人100中所使用的行为控制***50的基本结构。
通过面向对象编程能够实现如图所示的行为控制***50。在此例子中，由其中集成数据和用于该数据的处理步骤的被称作为“对象”的模块单元处理每个软件。允许每个对象通过消息通信和使用共享存储器传递数据并通过内部-对象通信实现调用。
行为控制***50包括：一视觉识别功能单元51、一听觉识别功能单元52，以及一允许外部环境(环境)识别的接触-识别功能单元53。
视觉识别功能单元(视频)51根据通过诸如CCD(电耦合设备)摄像机的图像输入设备所输入的捕获图像，执行诸如脸识别和颜色识别的图像识别，并且摘取特征。视觉识别功能单元51包括随后将要描述的诸如“多色***(MultiColorTracker)”、“脸检测器(FaceDector)”和“脸识别”的多个对象。
听觉识别功能单元(音频)52识别通过诸如麦克风的音频输入设备所输入的语音数据，并且摘取特征或者识别字集(文本)。听觉识别功能单元52包括随后所述的诸如“音频识别(AudioRecog)”和“Arthur解码器”的多个对象。
接触识别功能单元(触觉的)识别例如在装置体的头中所包含的接触传感器的传感信号，并由此识别诸如“抚摸”或者“撞击”的外部刺激。
内部状态管理器(ISM)54有一个本能模式和一个情感模式，并且，它根据由如上所述的视觉识别功能单元51、听觉识别功能单元52和触觉识别功能单元53所识别的外部刺激(ES：外部刺激(ExternalStimula))管理诸如机器人100的本能和情感的内部状态。
情感模式和本能模式分别有作为输入的识别结果和行为历史，并管理情感值和本能值。允许所述行为模式查询情感值和本能值。
短-期限存储器(短期限存储器(ShortTermMemory))55是一功能模块，该功能模块在短时间段内保存由如上所述的视觉识别功能单元51、听觉识别功能单元52和触觉识别功能单元53所识别的目标或者事件。例如，短-期限存储器55在大约15秒的短时间段内保存从摄像机所输入的图像。
长-期限存储器(LongTermMemory)56被用来在长时间段内保存通过学习而获得的诸如项目名的信息。例如，长-期限存储器56相关地存储在基于外部刺激的行为模块中的内部状态的变化。不过，由于在长-期限存储器56中的相关存储器和本发明的要旨不直接相关，所以在此忽略对其的描述。
从广义上将根据本实施例的有腿移动机器人100的行为控制划分为由反射行为单元59所实现的“反射行为”、由定位行为层58所实现的“定位行为”以及由慎重(deliberative)行为层57所实现的“慎重行为”。
慎重行为层(慎重层)57根据在长期限存储器56中所存储的内容，在一个相对长的时间段执行有腿移动机器人100的行为规划。
慎重行为基于推论和根据个人指令或特定情形产生推论的规划得到实施。由于推论和其规划与用于维护机器人100的互动的反应时间相比，可能要求更多的处理时间和操作负荷，所以当反射行为和定位行为在实时反应的同时，慎重行为执行推论和规划。
定位行为层(定位行为层(SituatedBehaviorsLayer))58根据存储在短期限存储器55和长期限存储器56中所存储的内容以及由内部状态管理器54所管理的内部状态，按照有腿移动机器人100的当前状态控制行为。
定位行为层58对每个行为都有一个状态机，并且，它根据早先的行为和位置对输入到传感器的外部信息的识别结果分类，因而所述装置体将表达一种行为。而且，定位行为层58执行用于维护在某个范围内的内部状态的行为(同样也称作“动态平衡”行为)。当内部状态超出所限定范围时，定位行为层58激活用于将内部状态返回到所述范围的行为，结果，使该行为更可能被接受。(实际上，根据内部状态和外部环境两者的考虑来选择行为)。与反射行为相比，定位行为的反应是慢的(随后描述)。
可以作为应用实现慎重行为层57和定位行为层58。
反射行为单元(构造依赖行为和反应)59是实现所述装置体的反射操作以响应由如上所述的视觉识别功能单元51、听觉识别功能单元52和接触识别功能单元53所识别的外部刺激的功能模块。
基本上来讲，反射行为直接接收输入到传感器的外部信息的识别结果，对该结果分类并且直接确定输出行为。例如，诸如跟踪某个人的脸并点头的行为最好按反射行为来实现。
在根据本实施例的有腿移动机器人100中，短期限存储器55集成视觉识别功能单元51、听觉识别功能单元52、接触识别功能单元53等的多个识别结果，以便维持时间上和空间上的完整性，并将在外部环境下的有关每个项目的感知作为短期限存储提供给诸如定位行为层(SBL)58的行为控制模块。
因此，作为上层模块所实现的行为控制模块集成来自外部环境的多个识别结果，并把它作为有意义的符号信息来处理，由此进行复杂的行为控制。而且，利用诸如与早先所观察的识别结果的联系的更复杂的识别结果，识别哪个肉色区是脸及它对应哪个人，哪个人发出此声音是可能的。
而且，因为短期限存储器55以存储器的形式保存了有关识别观察结果的信息，即使在自主行动的过程中临时失去了观察结果，对于诸如应用软件的上层模块来说：在感知上项目始终存在。例如，保存有关在传感器的视野之外的信息而不是立即忘记它，结果机器人暂时看不到的项目在随后可以再一次被检测到。因此，实现了对识别器误差和传感器噪声比较不敏感并且不取决于识别器的通知时序的稳定***。此外，由于用其他的识别结果有时能够补偿从单独的单个识别器的角度看正在丢失的信息，所以，改善了整个***的识别性能。
而且，由于相关的识别结果是彼此相互关联的，则允许诸如应用软件的上层模块利用相关信息确定其行为。例如，允许机器人装置检索已经呼叫所述机器人装置的人名。因此，通过说，例如，“喂，XXX”来对问候做出反应是可能的。
图5所示为组成如图4所示的行为控制***50的对象操作的流程图。
在该图中，每个圆圈代表一个所谓的“对象”或者“进程”的实体。整个***通过对象中的异步通信运行。每一个对象通过消息通信和利用共享存储器交换数据并实现对象间通信的调用。
语音只别(AudioRecog)：
这是一个接收来自诸如麦克风的语音输入设备的语音数据并摘取特征和检测语音片段的对象。而且，如果麦克风是立体声类型，则能够估计声源的水平方向。如果检测出音乐片断，则将此片断的语音数据特征和所述声源的方向提供给Arthur解码器(随后描述)
Arthur解码器：
这是利用从语音识别(AudioRecog)和语音字典以及语法字典所接收的语音特征来识别语音的对象。将一组已识别的字转发给短期限存储器(ShortTermMemory)55。
多颜色***(MultiColorTracker)：
这是一个识别颜色的对象。多颜色***接受来自诸如摄像机的图像输入设备的图像数据，根据早先准备的多个颜色模式摘取颜色区域以便形成连续的分隔区域。输出有关每一个分隔区域的位置、大小和特征的信息，并将其转发到短期限存储器(ShortTermMemory)55。
脸检测器：
这是一个从图像帧中检测脸区域的对象。脸检测器从诸如摄像机的图像输入设备中接收图像数据，并且将所述图像数据降低为9阶(nine scales)的图像。从所有的图像中搜索对应脸的长方形区域。输出关于通过降低重叠候选者区域作为脸最终确定的区域的位置、大小和特征的信息，并将其转发到脸识别(FaceIdentify)(随后描述)。
脸识别(FaceIdentify)：
这是鉴别所检测的脸图像的对象。脸识别(FaceIdentify)从脸检测器接收对应脸区域的长方形图像区域的图像，并通过确定手头的人字典中的哪个人对应所述脸图像来识别人。在此时，脸识别(FaceIdentify)从脸检测中接收脸图像，并输出脸图像区域的位置和大小信息以及此人的ID信息。
短期限存储器(ShortTermMemory)(短-期限存储器)：
这是一个在相对短的时间段保存有关机器人100的外部环境的信息对象。短期限存储器(ShortTermMemory)接收来自Arthur解码器中的语音识别结果(字、声源的方向和置信度)，来自多颜色***(MultiColorTracker)的肉色区域的位置和大小，脸区域的位置和大小，以及来自脸识别(FaceIdentify)的人的ID信息等。而且，短期限存储器(ShortTermMemory)接收来自机器人100的装置体上的传感器的机器人的颈的方向(关节角度)。而且，通过以集成的方式使用识别结果和传感器的输出，短期限存储器(ShortTermMemory)存储有关哪个人在哪个位置、哪个人在说话、以及此人进行了什么样的对话的信息。输出有关项目即目标的物理信息和以时间为顺序(历史)的事件的信息，并将其转发给诸如定位行为层(SBL)的上层模块。
定位行为层(SituatedBehaviorLayer)(定位的行为层)：
这是一个根据来自如上所述的ShortTermMemory(短期限存储器)的信息确定机器人100的行为(定位行为)的对象。定位行为层(SituatedBehaviorLayer)允许多个行为的同时评估和执行。而且，定位行为层(SituatedBehaviorLayer)允许行为的切换以便使所述装置体进入睡眠模式并激活另一个行为。
资源管理器(ResourceManager)：
这是一个执行机器人硬件资源的仲裁以响应输出命令的对象。在如图5所示的例子中，执行在控制用于音频输出的扬声器的对象和用于控制颈的移动的对象之间的资源仲裁。
声音演奏器TTS(SoundPerformerTTS)：
这是一个用于音频输出的对象。声音演奏器TTS(SoundPerformerTTS)实现语音合成以响应通过资源管理器从定位行为层(SituatedBehavior Layer)输入的文本命令，并输出来自机器人100的装置体的扬声器的语音。
头运动发生器(HeadMotionGenerator)：
这是计算颈的关节角以响应通过资源管理器从定位行为层(SituatedBehaviorLayer)所接收的用于移动颈的命令的对象。当接收到“跟踪”命令时，头运动发生器(HeadMotionGenerator)计算和输出关节角，根据从短期限存储器(ShortTermMemory)所接收的项目的位置信息将颈以该关节角指向项目位置。
C.短期限存储器：
在根据本实施例的有腿移动机器人100中，ShortTermMemory(短期限存储器)55集成有关多个识别器的外部刺激的识别结果，以维持时间和空间的完整性，并且按有意义的符号信息处理集成信息。因此，允许诸如定位行为层(SBL)的上层模块通过利用诸如与早先观察的识别结果的联系更复杂的识别结果，确定哪个肉色区是脸以及它对应哪个人，或者哪个人发此声。
短期限存储器单元55包括两个类型的存储器对象，即，目标存储器和事件存储器。
目标存储器集成来自识别功能单元51至53的信息，并保存目标，即，有关在当前感知中的项目的信息。因此，根据目标项目的出现和消失，从存储区(GarbageCollector(垃圾收集器))删除和重新生成相关目标。而且，通过多个识别属性(目标联系(TargetAssociate))能够表达单个目标，例如，肉色的、脸模式的和发声的目标(人脸)。
利用其中将诸如机器人100的躯干的装置体的特定部分固定在预定位置的完全坐标系，代替在识别功能单元51至53中所使用的传感器坐标系，来表示在目标存储器(目标)中所保存的项目的位置和姿态信息。因此，短期限存储器(STM)55经常监控机器人100的每一个关节的电流值(传感器输出)，并实现从传感器坐标系到固定坐标系的转换。此允许来自识别功能单元51至53的信息集成。例如，甚至当机器人100移动颈，并且传感器的姿态变化，从诸如定位行为层(SBL)的行为控制模块所看到的项目的信息仍保持相同，从而便利了目标的处理。
事件存储器是存储在外部环境下从过去到现在按时间顺序连续地出现的事件的对象。在事件存储器中所处理的事件包括有关外部环境变化的信息，00诸如目标的出现和消失、语音的识别字以及自己的行为或者姿态的变化。
事件包括目标状态的变化。因此，有关目标的ID包括在事件信息中，从而从如上所述的目标存储器中能够取出有关发生事件的更详细的信息。
本发明的一个特征在于通过集成具有不同属性的两个或者多个类型的传感器的信息检测目标。例如，通过使用从目标的中心位置的距离中减去传感器结果和存储结果的幅度的一半的结果的法线距离计算(用角度表示的极坐标)，来计算传感器结果和所存储的结果之间的距离。
当集成有关语音的传感信息和有关脸的传感信息时，如果当获得有关语音的识别结果时，有关脸的识别结果包括在短期限存储器单元的目标中，则根据法线(normal)距离计算实现集成。否则，假定距离是无穷大。
当集成有关颜色的传感信息时，如果颜色的识别结果和所存储的目标的颜色相同，则假定距离为(法线距离)×0.8，否则，假定距离为(法线距离)×4.0。
当集成传感器结果和所存储的结果时，为在极坐标表示的情形下俯仰角和方位角的平均在25度内的规则，或者在笛卡尔坐标系的情形下法线距离在50cm内的规则申请正交集成。
通过在识别结果和目标之间的距离计算中应用加权能够处理多个识别结果中的差异。
图6示意说明了短期限存储器55的操作。该图说明了按不同的时序处理脸识别(FACE)结果和语音识别和语音源方向识别(VOICE)的结果并将其告知给短期限存储器55的操作的例子。(该表示是以机器人100的装置体为原点的极坐标系)。在此情形下，因为识别结果在时间上和空间上彼此接近(重叠)，确定其为具有脸和语音属性的单个项目，并相应地更新目标存储器。
图7和8所示为根据识别功能单元51至53的识别结果分别进入短期限存储器的目标存储器和事件存储器的信息流。
参照图7，在短期限存储器55(STM对象)中，提供了用于从外部环境中检测目标的目标检测器。该目标检测器根据识别功能单元51至53的诸如语音识别、脸识别和颜色识别的识别结果，添加新目标或者更新现有目标，以便对该识别结果进行反射，将所检测的目标保存在目标存储器。
而且，目标存储器具有包括垃圾收集器和目标关联的功能，该垃圾收集器(GarbageCollector)用于发现不再被观察的目标并删除该目标，该目标联系(Target Associate)用于确定多个目标的关联并将相同的目标联系起来。如此实现垃圾收集器，以致随着时间的推移目标的置信度降低，并且删除置信度降低到预定值以下的目标。而且，目标关联允许根据具有相同属性(识别类型)的相似特性的目标间的空间和时间的近似对同一目标进行辨识。
定位行为层(SBL)是扮演短期限存储器55的客户的对象。定位行为层周期性地从目标存储器中接收有关目标(通知(Notify))的通告。在此实施例中，STM代理类复制在独立于短期限存储器55(STM对象)的客户本地工作区的目标以便总能保存最近的信息。接着，从本地目标列表(感兴趣的目标)中读取想要的目标，并确定模式，即，行为模块。
而且，如图8所示，在短期限存储器55(STM目标)中提供了用于检测在外部环境中所出现事件的事件检测器。事件检测器按事件检测目标检测器的目标生成和垃圾收集器的目标删除。如果识别功能单元51至53的识别结果涉及语音识别，则发声的内容组成事件，将所生成的事件按照生成的时间顺序作为事件列表存储在事件存储器中。
如前面所述，定位行为层(SBL)是扮演短期限存储器55(STM客户)的客户的对象，并且它经常从事件存储器中接收事件(通知(Notify))的通告。在本实施例中，STM代理类在独立于短期限存储器55(STM目标)的客户本地工作区创建事件列表的副本。接着，从本地事件列表中读取所想要的事件并确定模式，即，行为模块。按新事件由事件检测器检测已经执行的行为模块。将旧事件以例如FIFO(快进快出)的方式按顺序从事件列表中删除。
图9所示为目标检测器的处理操作的流程图。下面参照流程图描述目标检测器更新目标存储器的处理。
当从功能识别单元接收识别结果时(步骤S1)时，搜索在和识别结果时间相同的时间的关节角数据，并且根据关节角数据将识别结果从传感器坐标系转换为完全固定坐标系(步骤S2)。
接着，从目标存储器中选择目标(感兴趣目标)(步骤S3)，并且将目标的位置和时间信息和所述识别结果的位置和时间信息比较(步骤S4)。如果所述位置彼此重叠而测量时间相互接近，则确定目标和识别结果相符。
如果观察到相符，则进一步检查和识别结果具有相同识别类型的信息是否存在于目标中(步骤S5)。
如果相同识别类型的信息存在，则进一步检查特征是否彼此相符(步骤S6)。如果特征彼此相符，则对当前的识别结果进行反射(步骤S7)，更新目标位置和目标的观察时间(步骤S8)，并接着退出整个处理程序。
另一方面，如果特征不相符，则生成新目标，向其分配当前识别结果(步骤S11)，并接着退出整个处理程序。
如果在步骤S5确定相同识别类型的信息不存在于具有相符的识别信息的目标中，则添加此目标的识别结果(步骤S9)，更新目标位置和观察时间，并退出整个处理程序。
如果在步骤S4中确定所选择的目标和识别结果的位置和时间信息不相符，则顺序选择后继的目标(步骤S10)，并重复如上所述的处理。如果没有找到与识别结果相符的目标，则生成新目标，向其分配当前的识别结果(步骤S11)，并接着退出整个处理程序。
如前面所述，目标检测器对目标的添加或者更新组成事件。
图10说明了垃圾收集器从目标存储器中删除目标的处理步骤的流程图。
有规律地调用和激活垃圾收集器。首先，将传感器的测量范围转换为完全固定坐标系(步骤S21)。接着，从目标存储器选择目标(感兴趣目标)(步骤S22)。接着，检查所选择的目标是否在传感器的测量范围内(步骤S23)。
如果目标存在于传感器的测量范围内，则目标的置信度随着时间的流逝而降低(步骤S24)。即使目标在传感器的测量范围内，如果可能由于目标的更新信息失败而导致目标不存在，则目标的置信度同样降低。至于不在测量范围内的目标，则保存所述信息。
当目标置信度落在预定的阈值TH之下(步骤S25)，则确定该目标不再被观察，并从目标存储器中删除该目标(步骤S26)。
对每个目标重复如上所述的目标的置信度更新和目标删除。
如前面所述，垃圾收集器的目标删除组成事件。
图11说明了目标存储器的数据表示。如图所示，目标是具有多个作为其元素的称作AssociatedTarget的识别结果的表。因此，允许目标具有数量上不受限的关联识别结果。
在所述表的开始，存储根据所有识别结果所综合确定的诸如位置和大小的目标的物理信息。紧接着，存储有关语音(声音)，颜色和脸的识别结果。在共享存储器中加载、并根据目标的出现和消失生成和删除AssociatedTarget。允许上层模块通过查询所述存储区获得机器人100当前能察觉的项目的信息。
图12所示为事件存储器的数据表示。如图所示，每个事件用所谓的STMEvent结构来表达，包括每个事件通用的数据域和已经检测出事件的识别器所独有的域。
事件存储器是存储作为元素的STMEvent结构列表的存储区。允许上方模块利用在STMEvent数据域中的数据的相关数据找到所期望的事件。通过搜索如上所述的事件，当搜索与特定人通话的历史时，能够利用与该人相联系的目标ID和SPEECH(发声)的事件类型，列出此人说出的所有话。
图13所示为存储识别功能单元51至53的识别结果的结构例子。如图所示的结构的数据域包括依赖于识别功能单元51至53的特征等的数据域和独立于识别的诸如位置、大小和速度的物理参数域。
D.机器人的互动处理
在根据本实施例的有腿机器人中，集成多个识别器的外部刺激的识别结果以维持时间上和空间上的完整性，并且将所集成的信息作为有意义的符号信息来处理。因此，利用诸如与早先所观察的识别结果的联系的更复杂的识别结果，确定哪个肉色区是脸并对应哪个人，或者哪个人已经发出此声音成为可能。
下面参照图14至16描述机器人100和用户A和B的互动处理。
首先，如图14所示，当用户A喊叫着说“Masahiro！”(机器人的名字)时，识别功能单元51至53执行声音方向的检测、语音识别和脸的鉴别，并且机器人100转向喊叫的方向并执行诸如跟踪用户A的脸或者启动和用户A的互动的定位行为。
接着，如图15所示，当用户B喊叫着说“Masahiro！”(机器人的名字)时，则识别功能单元51至53执行声音方向的检测、语音识别和脸的鉴别，并且机器人100暂停和用户A的互动(存储对话内容)，转向喊叫的方向，并执行诸如跟踪用户B的脸或者启动和用户B的交互的定位行为。
接着，如图16所示，当用户A喊“嘿！”以提示继续对话时，所述机器人暂停此时和用户B的对话(存储对话内容)，并根据执行诸如跟踪用户A的脸或者根据所存储的上下文恢复和用户A的交互的定位行为。
补充
在上文中尽管本发明被作为一个特定实施例来描述，但是很易理解在不脱离本发明的精神的情况下本领域技术人员可以对实施例做出修改或者替代。
就其实质而言，本发明没有必要限于称作为“机器人”的产品。即，可以将本发明类似地应用到通过电或者磁的效果以模仿人动作的方式操作的机器装置，即使所述产品属于诸如玩具的其他工业领域。
即，本发明是通过举例的方法披露的，同时这种规范的披露不应该被理解为具有限制性。必须根据开头的权利要求部分明确本发明的要旨。
[工业应用性]
根据本发明，提供了能够识别诸如图像和声音的外部环境信息并通过其自身行为反射这些信息的讨人喜欢的自动机器人装置以及同样的对其控制的方法。
此外，根据本发明，提供了集成来自外部环境的多个识别结果并作为有意义的符号信息处理并允许进行复杂的行为控制的讨人喜欢的机器人装置及其控制方法。
此外，根据本发明，提供了能够利用诸如和早先所观察的识别结果的联系的更复杂识别结果，确定哪个肉色区是脸并且对应哪个人，哪个人已经发出此声音等的机器人装置及其控制方法。
根据本发明的机器人装置集成异步接收的单个识别结果，并接着将所集成的信息传递给行为模块。从而便利了在行为模块中对信息的处理。
根据本发明的机器人装置把有关识别观察到的结果的信息以存储器形式存储。因此，即使在自主行为期间暂时丢失了观察结果，对于诸如用于控制装置体行为的应用程序的上方模块来说，在感知中项目仍常在那里。因此，实现了对识别器错误和传感器噪声较不敏感的不依赖于识别器的通告时序的稳定***。
此外，由于相关的识别结果彼此关联，所以允许根据本发明的机器人装置利用在诸如应用程序的上方模块中的相关信息确定其行为。例如，允许机器人装置根据呼叫语音检索人名，并因此通过说“喂，XXX”而对问候做出反应。
此外，因为机器人装置保存了有关传感器视野以外的信息而不是立即忘记它，所以，即使机器人暂时看不到项目，机器人也能够随后找到此项目。
此外，在根据本发明的机器人装置中，即使从单独的识别器孤立的角度看，信息是不充分的，但是，其他的识别结果有时补偿了此不足，结果，***的识别性能整体上得到改善。

Claims (16)

1.一种根据输入信息操作的机器人装置，包括：
多个用于识别外部环境的识别装置；
目标检测装置，用于根据时间和/或空间关系，通过集成对每个感知目标的多个识别装置的识别结果检测感知目标；
目标存储器，用于存储由目标检测装置所检测的每个目标；以及
行为确定装置，用于根据在目标存储器中所存储的每个目标确定机器人装置的行为。
2.如权利要求1所述的机器人装置，其中，用多个识别属性的术语描述目标。
3.如权利要求2所述的机器人装置，其中，所述多个识别属性至少包括颜色信息、语音信息和模式信息。
4.如权利要求1所述的机器人装置，其中，所述目标是在机器人装置的预定位置所设置的机器人坐标系。
5.如权利要求1所述的机器人装置，还包括用于根据预定条件删除所述目标的垃圾收集器。
6.如权利要求1所述的机器人装置，还包括目标关联装置，用于确定多个目标的相关性，并且将具有彼此高相关性的目标联系起来。
7.如权利要求1所述的机器人装置，还包括事件存储器，用于按时间序列存储在外部环境中所生成的事件及相关的目标信息，
其中，所述行为确定装置根据在目标存储器中所存储的目标和在事件存储器中所存储的事件确定行为。
8.如权利要求7所述的机器人装置，其中，所述事件包括：所述目标的出现或者消失中的一个，所识别的语音词句，对话，以及所述机器人装置的自己行为的结果。
9.一种控制根据输入信息操作的机器人装置的方法，该方法包括：
多个识别外部环境的识别步骤；
目标检测步骤，用于根据时间和/或空间关系，通过集成对每个感知目标的多个识别装置的识别结果检测感知目标；
目标存储步骤，用于存储由目标检测步骤所检测的每个目标；以及
行为确定步骤，用于根据在目标存储步骤中所存储的每个目标确定机器人装置的行为。
10.如权利要求9所述的控制机器人装置的方法，其中，用多个识别属性的术语描述目标。
11.如权利要求10所述的控制机器人装置的方法，其中，所述多个识别属性至少包括颜色信息、语音信息和模式信息。
12.如权利要求9所述的控制机器人装置的方法，其中，所述目标是在机器人装置的预定位置所设置的机器人坐标系。
13.如权利要求9所述的控制机器人装置的方法，还包括用于根据预定条件删除所述目标的垃圾收集步骤。
14.如权利要求9所述的控制机器人装置的方法，还包括目标关联步骤，用于确定多个目标的相关性，并且将具有彼此高相关性的目标联系起来。
15.如权利要求9所述的控制机器人装置的方法，还包括事件存储步骤，用于按时间序列存储在外部环境中所生成的事件及相关的目标信息，
其中，所述行为确定步骤根据在目标存储步骤中所存储的目标和在事件存储步骤中所存储的事件确定行为。
16.如权利要求15所述的控制机器人装置的方法，其中，所述事件包括：所述目标的出现或者消失中的一个，所识别的语音词句，对话，以及所述机器人装置的自己行为的结果。
CNB02804052XA 2001-10-22 2002-10-22 机器人装置及其控制方法 Expired - Fee Related CN1304177C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP323259/2001 2001-10-22
JP2001323259 2001-10-22
JP323259/01 2001-10-22

Publications (2)

Publication Number Publication Date
CN1487871A CN1487871A (zh) 2004-04-07
CN1304177C true CN1304177C (zh) 2007-03-14

Family

ID=19140178

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB02804052XA Expired - Fee Related CN1304177C (zh) 2001-10-22 2002-10-22 机器人装置及其控制方法

Country Status (6)

Country Link
US (1) US6850818B2 (zh)
EP (1) EP1439039A4 (zh)
JP (1) JP4396273B2 (zh)
KR (1) KR100898435B1 (zh)
CN (1) CN1304177C (zh)
WO (1) WO2003035334A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106660205A (zh) * 2014-04-17 2017-05-10 软银机器人欧洲公司 用于处理类人机器人与人类交互的***、方法和计算机程序产品
CN106794579A (zh) * 2014-04-17 2017-05-31 软银机器人欧洲公司 具有自主生活能力的人形机器人

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3908735B2 (ja) * 2001-10-16 2007-04-25 本田技研工業株式会社 歩行状態判定装置及び方法
US7103447B2 (en) * 2002-09-02 2006-09-05 Sony Corporation Robot apparatus, and behavior controlling method for robot apparatus
WO2004044837A1 (de) * 2002-11-11 2004-05-27 Alfred Schurmann Determination und kontrolle der aktivitäten eines emotionalen systems
JP4048492B2 (ja) 2003-07-03 2008-02-20 ソニー株式会社 音声対話装置及び方法並びにロボット装置
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP4594663B2 (ja) * 2004-06-30 2010-12-08 本田技研工業株式会社 警備ロボット
JP2006015436A (ja) * 2004-06-30 2006-01-19 Honda Motor Co Ltd 監視ロボット
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP4460528B2 (ja) 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
US7441367B2 (en) * 2005-03-14 2008-10-28 Vmi Foundation Robotic pest removal system
EP1941411B1 (en) 2005-09-30 2011-09-14 iRobot Corporation Companion robot for personal interaction
JP4751192B2 (ja) * 2005-12-12 2011-08-17 本田技研工業株式会社 移動ロボット
JP4751222B2 (ja) * 2006-03-23 2011-08-17 株式会社東芝 生活行動改善支援装置、生活行動改善支援方法及びプログラム
JP5191119B2 (ja) * 2006-12-06 2013-04-24 株式会社ジャパンディスプレイウェスト 表示装置、表示装置の制御方法、及びプログラム
EP2014425B1 (en) * 2007-07-13 2013-02-20 Honda Research Institute Europe GmbH Method and device for controlling a robot
KR100940497B1 (ko) * 2007-12-17 2010-02-10 한국전자통신연구원 사용자 행동 패턴 생성 장치 및 방법
CN101493903A (zh) * 2008-01-24 2009-07-29 鸿富锦精密工业（深圳）有限公司 有性格特征的类生物装置及其展现方法
WO2009158653A1 (en) * 2008-06-27 2009-12-30 Intuitive Automata, Inc. Apparatus and method for assisting in achieving desired behavior patterns
TWI388956B (zh) * 2009-05-20 2013-03-11 Univ Nat Taiwan Science Tech 行動機器人與其目標物處理路徑的規劃方法
US9120224B2 (en) 2009-09-22 2015-09-01 GM Global Technology Operations LLC Framework and method for controlling a robotic system using a distributed computer network
US8452451B1 (en) * 2011-05-06 2013-05-28 Google Inc. Methods and systems for robotic command language
KR101273300B1 (ko) 2011-06-08 2013-06-11 한국과학기술연구원 인지 아키텍쳐를 이용한 로봇 제어 시스템 및 로봇 제어 방법
US8706299B2 (en) * 2011-08-02 2014-04-22 GM Global Technology Operations LLC Method and system for controlling a dexterous robot execution sequence using state classification
US8751042B2 (en) 2011-12-14 2014-06-10 Toyota Motor Engineering & Manufacturing North America, Inc. Methods of robot behavior generation and robots utilizing the same
US10350763B2 (en) * 2014-07-01 2019-07-16 Sharp Kabushiki Kaisha Posture control device, robot, and posture control method
US9802309B2 (en) 2014-07-24 2017-10-31 X Development Llc Methods and systems for generating instructions for a robotic system to carry out a task
JP6221158B2 (ja) * 2014-08-27 2017-11-01 本田技研工業株式会社 自律行動ロボット、及び自律行動ロボットの制御方法
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US10239740B2 (en) 2015-03-06 2019-03-26 Walmart Apollo, Llc Shopping facility assistance system and method having a motorized transport unit that selectively leads or follows a user within a shopping facility
US10549207B2 (en) * 2016-01-06 2020-02-04 Evollve, Inc. Robot having a changeable character
EP3403146A4 (en) 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
CN105798931B (zh) * 2016-04-26 2018-03-09 南京玛锶腾智能科技有限公司 智能机器人唤醒方法及装置
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
CN107813306B (zh) * 2016-09-12 2021-10-26 徐州网递智能科技有限公司 机器人及其动作控制方法和装置
JP6565853B2 (ja) * 2016-09-29 2019-08-28 トヨタ自動車株式会社 コミュニケーション装置
CN106774797B (zh) * 2016-12-02 2021-01-12 北京奇虎科技有限公司 机器人自动节电方法、装置和机器人
CN106914894A (zh) * 2017-03-10 2017-07-04 上海云剑信息技术有限公司 一种具有自我意识能力的机器人***
US10100968B1 (en) 2017-06-12 2018-10-16 Irobot Corporation Mast systems for autonomous mobile robots
CN109521927B (zh) * 2017-09-20 2022-07-01 阿里巴巴集团控股有限公司 机器人互动方法和设备
CN108115728A (zh) * 2017-12-24 2018-06-05 胡明建 一种机械听觉触觉嗅觉以时间相互映射的设计方法
CN108115729A (zh) * 2017-12-27 2018-06-05 胡明建 一种机械视觉听觉触觉嗅觉以时间相互映射的设计方法
CN109991989B (zh) * 2017-12-29 2021-12-17 深圳市优必选科技有限公司 机器人空闲状态下的动态平衡方法、装置及存储介质
CN108584231A (zh) * 2018-05-07 2018-09-28 北京三辰环卫机械有限公司 基于移动垃圾桶的迎宾方法、移动垃圾桶
DE102018207513A1 (de) * 2018-05-15 2019-11-21 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Lernen eines Roboters über einen Sprachdialog
US11110595B2 (en) 2018-12-11 2021-09-07 Irobot Corporation Mast systems for autonomous mobile robots
CN110633951B (zh) * 2019-08-02 2022-07-05 岭澳核电有限公司 一种核电站应急救援指挥***
CN115113626B (zh) * 2022-07-20 2023-04-11 威康(深圳)智能有限公司 一种机器人分布式控制***及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6151571A (ja) * 1984-08-21 1986-03-14 Nippon Seibutsu Kagaku Kenkyusho オ−エスキ−病診断用抗原の単離・精製法
JPH0981205A (ja) * 1995-09-11 1997-03-28 Fujitsu Ltd 学習システム
US6226401B1 (en) * 1997-01-31 2001-05-01 Yamaha Hatsudoki Kabushiki Kaisha Image recognition system and apparatus using active eyes
JP2001157981A (ja) * 1999-11-30 2001-06-12 Sony Corp ロボット装置及びその制御方法
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
CN1322056A (zh) * 2001-02-07 2001-11-14 王建功 磁力发动机

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155750A (ja) * 1998-11-24 2000-06-06 Omron Corp 行動生成装置、行動生成方法及び行動生成プログラム記録媒体
JP2000187435A (ja) * 1998-12-24 2000-07-04 Sony Corp 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters
US7590538B2 (en) * 1999-08-31 2009-09-15 Accenture Llp Voice recognition system for navigating on the internet
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
JP2001188555A (ja) 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
CN1283428C (zh) * 2000-03-31 2006-11-08 索尼公司 机器人设备、控制机器人设备动作的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6151571A (ja) * 1984-08-21 1986-03-14 Nippon Seibutsu Kagaku Kenkyusho オ−エスキ−病診断用抗原の単離・精製法
JPH0981205A (ja) * 1995-09-11 1997-03-28 Fujitsu Ltd 学習システム
US6226401B1 (en) * 1997-01-31 2001-05-01 Yamaha Hatsudoki Kabushiki Kaisha Image recognition system and apparatus using active eyes
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
JP2001157981A (ja) * 1999-11-30 2001-06-12 Sony Corp ロボット装置及びその制御方法
CN1322056A (zh) * 2001-02-07 2001-11-14 王建功 磁力发动机

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106660205A (zh) * 2014-04-17 2017-05-10 软银机器人欧洲公司 用于处理类人机器人与人类交互的***、方法和计算机程序产品
CN106794579A (zh) * 2014-04-17 2017-05-31 软银机器人欧洲公司 具有自主生活能力的人形机器人
CN106794579B (zh) * 2014-04-17 2019-12-06 软银机器人欧洲公司 具有自主生活能力的人形机器人
CN106660205B (zh) * 2014-04-17 2019-12-06 软银机器人欧洲公司 用于处理类人机器人与人类交互的***、方法和计算机程序产品
US10583559B2 (en) 2014-04-17 2020-03-10 Softbank Robotics Europe Humanoid robot with an autonomous life capability

Also Published As

Publication number Publication date
EP1439039A4 (en) 2007-08-08
JP4396273B2 (ja) 2010-01-13
JPWO2003035334A1 (ja) 2005-02-10
US6850818B2 (en) 2005-02-01
EP1439039A1 (en) 2004-07-21
US20040117063A1 (en) 2004-06-17
CN1487871A (zh) 2004-04-07
WO2003035334A1 (fr) 2003-05-01
KR100898435B1 (ko) 2009-05-21
KR20040050055A (ko) 2004-06-14

Similar Documents

Publication Publication Date Title
CN1304177C (zh) 机器人装置及其控制方法
CN100351054C (zh) 机器人设备和控制其行为的方法
JP7400923B2 (ja) 情報処理装置および情報処理方法
US7103447B2 (en) Robot apparatus, and behavior controlling method for robot apparatus
CN1460051A (zh) 机器人装置及其控制方法和存储介质
US20230266767A1 (en) Information processing apparatus, information processing method, and program
CN1372505A (zh) 机器人控制装置和方法
CN1463215A (zh) 有腿移动机器人及其动作教学方法和存储介质
CN1590038A (zh) 机器人设备、机器人设备的控制方法和机器人设备用玩具
CN1416381A (zh) 机器人设备、用于控制机器人设备运动的方法以及用于控制机器人设备运动的***
WO2002076686A1 (fr) Appareil d'apprentissage d'actions et procede d'apprentissage d'actions pour systeme robotique, et support de memoire
JP2024023193A (ja) 情報処理装置及び情報処理方法
US11938625B2 (en) Information processing apparatus, information processing method, and program
JP2007152445A (ja) 自走式ロボット
JP2004302644A (ja) 顔識別装置、顔識別方法、記録媒体、及びロボット装置
CN1396856A (zh) 机器人设备和机器人设备动作控制方法
JP2005111654A (ja) ロボット装置及びロボット装置の歩行制御方法
JP2003271958A (ja) 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置
Goto et al. A method for driving humanoid robot based on human gesture
JP2003266348A (ja) ロボット装置及びその制御方法
JP7459791B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2003271196A (ja) ロボット装置及びその制御方法
Begum et al. A probabilistic approach for attention-based multi-modal human-robot interaction
JP2006012082A (ja) 概念獲得装置及びその方法、並びにロボット装置及びその行動制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070314

Termination date: 20131022