CN114206561A - 机器人控制装置、方法和程序 - Google Patents

机器人控制装置、方法和程序 Download PDF

Info

Publication number
CN114206561A
CN114206561A CN202080056064.7A CN202080056064A CN114206561A CN 114206561 A CN114206561 A CN 114206561A CN 202080056064 A CN202080056064 A CN 202080056064A CN 114206561 A CN114206561 A CN 114206561A
Authority
CN
China
Prior art keywords
robot
attribute
robot control
risk
target person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080056064.7A
Other languages
English (en)
Inventor
铃木龙一
铃木洋贵
梁承夏
本乡一生
汤口雄大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114206561A publication Critical patent/CN114206561A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/002—Manipulators for defensive or military tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086—Proximity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39001—Robot, manipulator control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39091—Avoid collision with moving obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Fuzzy Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)

Abstract

一种机器人控制装置(10)，包括：属性确定单元(71)，其确定机器人(1)周围的区域中的目标(T)的属性；以及决定单元(74)，其基于由属性确定单元(71)确定的属性和与机器人(1)可能向目标(T)呈现的危害有关的风险的危害风险来决定是否采取通知动作，其中，从所述机器人(1)向目标(T)给出机器人(1)的存在的通知。

Description

机器人控制装置、方法和程序
技术领域
本公开内容涉及机器人控制装置、方法和程序。
背景技术
存在通过机器人的显示器向周围的对象人通知可能由机器人对周围的对象人造成的潜在危害的技术。为了避免危害，这样的机器人根据校正量来校正操作模式并且改变机器人的显示器的显示模式。
引用列表
专利文献
专利文献1：JP 2007-196298 A
发明内容
技术问题
然而，在现有技术中，对于从机器人给对象人的适当通知存在改进的空间。例如，由于对象人之间的感知不同，相同的通知内容对对象人来说可能是过多的通知内容，或者对另一对象人来说可能是不足的通知内容。
鉴于以上作出了本申请，并且本申请的目的在于提供被配置成提供适当通知的机器人控制装置、方法和程序。
问题的解决方案
一种机器人控制装置，包括：属性确定单元，其确定机器人周围的对象人的属性；以及决定单元，其基于由属性确定单元确定的属性和机器人对对象人可能造成的危害的风险来决定通过机器人向对象人通知机器人的存在的通知动作。
根据实施方式的一个方面，可以提供适当的通知。应当注意的是，这里描述的效果不必然是限制性的，并且可以提供本公开内容中描述的任何效果。
附图说明
图1是示出根据实施方式的机器人控制装置的概述的图。
图2是示出根据实施方式的机器人控制装置的配置示例的框图。
图3是示出根据实施方式的对象人信息的示例的表。
图4是示出根据实施方式的身体特性表的示例的图。
图5是示出根据实施方式的容易度级别表的示例的图。
图6是示出根据实施方式的理解级别表的示例的图。
图7是示出根据实施方式的风险表的示例的图。
图8是示出根据实施方式的干预级别的示例的图。
图9是示出根据实施方式的由机器人控制装置执行的处理过程的流程图。
图10是示出实现机器人控制装置的功能的计算机的示例的硬件配置图。
具体实施方式
下面将参照附图详细地描述本公开内容的实施方式。注意，在以下实施方式中，相同的部分由相同的附图标记或符号表示，并且将省略其重复描述。
实施方式
[根据实施方式的***的配置]
首先，将描述本公开内容的实施方式的概述。如上所述，存在通过机器人的显示器向周围的对象人通知可能由机器人对周围的对象人造成的潜在危害的技术。然而，在这样的技术中，在对给对象人的通知内容进行优化方面存在改进的空间。例如，即使提供了相同的通知内容，对象人也可能不同地感知该内容。
具体地，例如，虽然每天与机器人接触的对象人很了解机器人的行动作模式，但是第一次与机器人接触的对象人并不了解机器人的动作模式。为此，例如，当向两个对象人提供相同的通知内容时，相同的通知内容可能是过多的通知内容或者可能是不足的通知内容。
鉴于上述观点已经构思出本发明的技术构思，并且可以为各个对象人设置通知内容，从而提供适当的通知。此外，在本技术构思中，考虑到机器人对对象人可能造成的危害的风险(在下文中，称为危害的风险)来提供通知。
首先，将参照图1描述根据本实施方式的机器人控制装置的概述。图1是示出根据本实施方式的机器人控制装置的概述的图。如图1所示，机器人控制装置10是内置在机器人1中以控制机器人1的控制装置。
例如，机器人1是移动机器人，并且在图1所示的示例中，机器人1是轮式机器人。此处，机器人可以是腿式机器人或飞行移动体。另外，机器人可以包括至少一个或更多个臂，或者可以是无臂的移动体。
例如，机器人控制装置10基于来自对机器人1的周边进行感测的传感器S的感测结果来检测机器人1周围的对象人T，并且基于对象人T的属性和机器人1对对象人T可能造成的危害的风险来决定机器人1对对象人T的通知动作。
注意，图1所示的示例示出了与机器人1分开设置的传感器S，但是传感器S可以设置在机器人1内部，或者由对象人T穿戴的可穿戴装置可以用作传感器S。
例如，机器人控制装置10确定对象人T是否是与机器人1正常地接触的用户，作为对象人T的属性，并且基于机器人1的当前状态、对象人T与机器人1之间的距离等来确定危害的风险。
然后，机器人控制装置10基于上述属性和危害的风险来计算机器人1应当对对象人T进行干预的干预级别。此处，干预级别表示应当向对象人T通知机器人1的存在的程度。
机器人控制装置10在干预级别越高时决定对象人T容易注意到的通知动作，在干预级别越低时决定最小通知动作。
如上所述，根据实施方式的机器人控制装置10根据干预级别来决定通知动作，并且因此，可以根据对象人T的属性和危害的风险来适当地决定通知动作。
[根据实施方式的机器人控制装置的配置]
接下来，将参照图2描述根据实施方式的机器人控制装置10的配置示例。图2是示出根据实施方式的机器人控制装置10的配置示例的框图。
如图2所示，机器人控制装置10包括远程操作接收单元2、输入单元3、输出单元4、驱动单元5、存储单元6和控制单元7。远程操作接收单元2是接收机器人1的远程操作的通信单元。
输入单元3将机器人1周围的环境感测的感测结果输入至控制单元7。在图2所示的示例中，输入单元3包括激光距离测量装置31、RGB摄像装置32、立体摄像装置33和惯性测量单元34。
激光测距装置31是测量到障碍物的距离的装置，并且包括红外测距装置、超声测距装置、激光成像检测和测距(LiDAR)等。
RGB摄像装置32是捕获图像(静止图像或运动图像)的成像装置。立体摄像装置33是从多个方向对对象进行成像以测量到对象人的距离的成像装置。例如，惯性测量单元34是检测加速度和三个轴的角度的装置。
例如，输出单元4设置在机器人1中，并且包括显示装置或扬声器。输出单元4输出从控制单元7输入的图像或声音。驱动单元5包括致动器，并且基于控制单元7的控制来驱动机器人1。
存储单元6存储对象人信息61、模型信息62、身体特性表63、容易度级别表64、理解级别表65、风险表66、干预级别表67和动作表68。
对象人信息61是关于对象人T的信息。在实施方式中，对象人信息61是关于对象人T与机器人1接触的次数和接触频率的信息。图3是示出根据实施方式的对象人信息61的示例的表。
如图3所示，对象人信息61是其中“对象人ID”、“特征量”、“接触历史”、“识别级别”等彼此相关联的信息。“对象人ID”是用于识别对象人T的标识符。“特征量”表示对应对象人T的特征量。例如，特征量是关于对象人T的面部的特征量的信息。
“接触历史”是关于对应的对象人T与机器人1的接触历史的信息。换言之，此处的接触历史是机器人1对对象人T的识别的历史。例如，在接触历史中，记录关于机器人1识别对象人T的日期和时间、频率等的信息。
“识别级别”表示对应的对象人T对机器人1的认知的程度。在本实施方式中，基于接触历史，根据与机器人1接触的次数或接触的频率来设置识别级别。
在本实施方式中，识别级别被表示为三个级别，并且“A”指示最高识别级别，并且“C”指示最低识别级别。例如，识别级别“A”指示与机器人1的持续接触，并且由识别级别“C”指示的对象人T与机器人第一次接触。换言之，根据对象人T与机器人1接触的次数将识别级别设置为更高。
返回至图2，将描述模型信息62。模型信息62是关于基于图像数据来确定对象人T的身体特性的模型的信息。例如，模型包括用于估计对象人T的年龄的模型和用于确定对象人T是用手杖行走还是使用轮椅行走的模型。
身体特性表63是对象人T的身体特性的表。图4是示出根据实施方式的身体特性表63的示例的图。如图4所示，身体特性表63是示出作为身体特性的“年龄”和“其他”的项目中的每一个的等级的表。
身体特性各自被排列为A、B和C的三个级别，并且每个身体特性按照A、B和C的顺序降低。在图4的示例中，由“C”表示8岁以下的人，由“B”表示8岁至15岁或50岁以上的人，并且由“A”表示15岁至50岁的人。
在对象人T小于8岁或大于50岁的情况下，假设对象人T难以看得更远并且难以理解机器人1的操作。因此，8岁以下或50岁以上的对象人T的身体特性的等级比8岁至15岁的对象人T的身体特性的等级低。
此外，在图4的“其他”中，用手杖行走的对象人T或者使用轮椅或助行器的对象人T的身体特性的等级比健康人的身体特性的等级低。注意，图4所示的身体特性表63是示例，并且不限于此。
返回至图2，将描述容易度级别表64。容易度级别表64是示出由对象人T识别机器人1对对象人T的危害因素的容易度级别的表。图5是示出根据实施方式的容易度级别表64的示例的图。
如图5所示，容易度级别表64是示出可认知性级别与五感之间的关系的表。此处，五感表示对象人T的哪个器官用于识别机器人1的危害因素。
例如，由“C”表示仅通过触觉或味觉识别机器人1的危害因素的可认知性级别，并且由“B”表示仅通过视觉或嗅觉识别危害因素的可认知性级别。另外，由“A”表示通过听觉识别危害因素的可认知性级别。
例如，在危害因素是机器人1发热的情况下，对象人T仅能够通过触觉来识别危害因素，并且由“C”表示可认知性级别。另外，在对象人T能够通过视觉或嗅觉来识别危害因素的情况下，识别变得容易，并且由“B”表示可认知性级别。此外，在能够通过听觉识别危害因素的情况下，由于能够从更远的距离识别危害因素，并且因此，将识别的容易性设置为“A”。
返回至图2，将描述理解级别表65。理解级别表65是对象人T对机器人的理解级别的表。图6是示出根据实施方式的理解级别表65的示例的图。
如图6所示，理解级别表65是用于基于身体特性和可认知性级别来计算理解级别的表。在图4的示例中，当识别的容易性和识别级别都是“A”时，理解级别是“A”。此外，当识别的容易性是“A”并且身体特性是“B”时，根据图3所示的识别级别的等级来决定理解级别。
具体地，当识别级别是C或B时，理解级别是“B”，并且当识别级别是“A”时，理解级别是“A”。另外，在图6所示的示例中，理解级别随着识别的容易性的等级的降低而降低，并且理解级别随着身体特性的等级的降低而降低。
返回至图2，将描述风险表66。风险表66是机器人1对对象人T可能造成的危害的风险的表。图7是示出根据实施方式的风险表66的示例的图。如图7所示，风险表66是用于基于影响级别和接触时间/距离来决定危害的风险的表。
此处，影响级别表示当机器人1对对象人T造成危害时对象人T的受危害的大小。例如，当对象人T严重受伤时指示的影响级别是“A”，当对象人T轻微受伤时指示的影响级别是“B”，并且当对象人T未受伤时指示的影响级别是“C”。
此处，在可以预先降低影响级别的情况下，应用已经降低的影响级别。例如，在机器人1为双碗机器人并且一个臂被损坏且变得锐利的情况下，如果被损坏的臂缩回并且切换到未损坏的另一个臂，则可以降低影响级别。
另外，图7所示的“接触时间/距离”表示机器人1与对象人T接触之前的时间/距离。基于机器人1与对象人T之间的距离或机器人1和对象人T两者移动的速度来计算接触时间/距离。
例如，当机器人1与对象人T之间的距离为3m或更短或者接触时间为3秒或更少时，接触时间/距离为“C”，并且当机器人1与对象人T之间的距离为5m或更短或者接触时间为5秒或更少时，接触时间/距离为“B”。当机器人1与对象人T之间的距离为5m或更长或者接触时间为5秒或更多时，接触时间/距离为“A”。
然后，在图7所示的示例中，影响级别越高，危害的风险越高，并且接触时间/距离越高，危害的风险越高。
返回至图2，将描述干预级别表67。干预级别表67是用于基于危害的风险和理解级别来计算干预级别的表。图8是示出根据实施方式的干预级别表67的示例的图。
如图8所示，干预级别表67是示出危害的风险、理解级别与干预级别之间的关系的表。在图8所示的示例中，理解级别越高，干预级别越低，并且危害的风险越高，干预级别越高。
返回至图2，将描述动作表68。动作表68是根据干预级别限定通知动作的表。此外，在本实施方式中，在动作表68中限定了根据危害因素的通知动作。
控制单元7具有控制机器人控制装置10的每个配置的功能。另外，如图2所示，控制单元7包括属性确定单元71、状态确定单元72、计算单元73、决定单元74和行为检测单元75。
属性确定单元71确定对象人T的属性。具体地，例如，属性确定单元71从RGB摄像装置32捕获的图像数据中提取对象人T的特征量，并且将对象人T的特征量与对象人信息61的特征量进行比较，以确定对象人T是否是登记在对象人信息61中的人。
然后，当对象人T是登记在对象人信息61中的时，属性确定单元71提取该对象人T的识别级别，并且当对象人T未登记在对象人信息61中时，属性确定单元71将该对象人新登记在对象人信息61中。
此外，当机器人1沿计划行进路线移动时，属性确定单元71选择可能与机器人1碰撞的对象人T，并且根据对象人T的图像数据确定该对象人T的身体特性。具体地，如上所述，属性确定单元71基于模型信息62确定对象人T的年龄以及手杖、轮椅、助行器等的存在或不存在。
然后，属性确定单元71基于身体特性表63决定对象人T的身体特性的等级。另外，属性确定单元71基于由状态确定单元72(稍后描述)通知的可认知性级别参考理解级别表65，并且决定对象人T对机器人1的理解级别的等级。换言之，属性确定单元71取决于机器人1的危害因素是否被哪个器官识别来决定理解级别。
状态确定单元72确定机器人1的状态。具体地，例如，状态确定单元72通过使用通过对机器人1成像而获得的图像数据、设置在机器人1中的温度传感器等来确定机器人1的状态。
例如，状态确定单元72基于图像数据来确定机器人1的故障的存在或不存在、搬运物的存在或不存在、搬运物的内容等，并且通过使用温度传感器来确定机器人1的表面温度等。
然后，状态确定单元72根据所确定的状态来决定机器人1的当前“影响级别”(参见图7)。此外，向决定单元74通知关于由状态确定单元72确定的搬运物的内容的信息。
计算单元73基于由属性确定单元71确定的对象人T的属性和机器人1对对象人T可能造成的精神的风险，计算机器人1应当对对象人T进行干预的干预级别。
具体地，例如，当机器人1沿当前计划行进路线移动时，计算单元73选择可能与机器人1接触的对象人T。接下来，计算单元73基于激光距离测量装置31和立体摄像装置33的测量结果来计算到对象人T的距离。
此外，计算单元73被配置成跟踪对象人T以计算对象人T的移动速度和移动方向，并且基于惯性测量单元34的检测结果来计算机器人1的当前速度和方向。
然后，计算单元73基于距离和速度来计算上述接触时间/距离，并且决定接触时间/距离的等级。此后，计算单元73基于由状态确定单元72确定的“接触时间/距离”和“影响级别”参考风险表66，并且计算危害的风险。
此处，如上所述，接触时间/距离越小，危害的风险越高。换言之，当机器人1与对象人T之间的距离减小时，危害的风险增加。因此，计算单元73根据需要计算接触时间/距离，并且更新危害的风险。因此，可以根据危害的风险提供适当的通知。
决定单元74基于由属性确定单元71确定的属性和机器人1对对象人T可能造成的危害的风险，来决定由机器人1向对象人T通知机器人1的存在的通知动作。
具体地，决定单元74基于由计算单元73计算的干预级别来决定通知动作。在本实施方式中，决定单元74根据干预级别来选择针对通知动作的通知方法。此处，如下所述，通知方法包括直接通知方法和间接通知方法。
例如，在干预级别为“A”的情况下，决定单元74选择直接通知方法并且决定使对象人T可靠地注意到机器人1的存在的通知动作。
具体地，在输出单元4上显示警告图像，或者从输出单元4输出警告声音，以使机器人的存在直接吸引到对象人T。注意，在该配置中，例如，可以使诸如灯的光发射器闪烁，以使机器人1的存在吸引到对象人T。
此外，在对象人T要触摸具有被损坏或被加热的臂的机器人1的情况下，决定单元74可以执行促使对象人T握住除了臂以外的部分(例如，躯干)的动作。
此外，在干预级别为“B”的情况下，即，在干预级别在预定范围内的情况下，决定单元74决定对机器人1的危害因素进行间接通知的通知动作。例如，决定单元74将暗示由机器人1搬运的搬运物的内容的动作决定为通知动作。
当机器人1正在搬运较重的搬运物时，可以认为机器人1可能与对象人T接触并且将搬运物掉落在对象人T上。因此，决定单元74将暗示正在搬运较重的搬运物的动作决定为通知动作。
具体地，决定单元74将表示机器人1由于搬运物的重量而摇晃的动作决定为通知动作。另外，当机器人1正在搬运容纳液体的容器时，决定单元74将与保持容器的臂不同的臂放在容器上的动作决定为通知动作。因此，可以暗示搬运物是液体。
此外，在臂被损坏并且存在当臂触摸对象人T时对象人T可能受伤的风险的情况下，将根据当机器人1移动时的摇动将臂摆动的动作决定为通知动作。因此，可以向对象人间接地通知臂的损坏。当干预级别为“C”时，不执行通知动作。
决定单元74使输出单元4在其上显示警告图像，或者使驱动单元5根据所决定的通知动作进行驱动，并且因此，可以使机器人1执行通知动作。
然后，决定单元74基于稍后描述的由行为检测单元75检测的对象人T的行为来决定在通知动作之后的下一通知动作。具体地，当对象人T采取表示对通知动作的理解的行为时，决定单元74停止通知动作并且返回至原始任务的执行。
注意，在该配置中，决定单元74可以执行原始任务，同时以固定的干预级别继续通知动作。
同时，当对象人T不理解通知动作时，决定单元74根据当前干预级别继续执行通知动作。此处，如上所述，根据机器人1与对象人T之间的距离更新干预级别。因此，随着机器人1与对象人T之间的距离减小，干预级别增加，从而根据干预级别的改变执行通知动作。
此外，如上所述，在臂被损坏或被加热的情况下，当可以通过替选手段降低影响级别时，决定单元74允许诸如缩回被损坏的臂的动作。
行为检测单元75检测对象人T的行为。行为检测单元75分析由RGB摄像装置32捕获的图像数据以检测对象人T的行为。
在本实施方式中，行为检测单元75将与对象人T是否理解机器人1的通知动作相关的行为检测为对象人T的行为。具体地，例如，行为检测单元75检测诸如对象人T是否查看机器人1的通知动作或者对象人T的移动速度在通知动作之前和之后是否改变的行为。
换言之，机器人控制装置10关注对象人T在理解通知动作时与不理解通知动作时表现出不同行为的点，并且决定在通知动作之后的下一动作。
因此，不需要执行过度的通知动作，并且因此，可以适当地向对象人T通知机器人1的存在。
接下来，将参照图9描述由根据本实施方式的机器人控制装置10执行的处理过程。图9是示出由机器人控制装置10执行的处理过程的流程图。
如图9所示，机器人控制装置10首先确定机器人1的状态(步骤S101)，并且基于危害因素计算影响级别(步骤S102)。随后，机器人控制装置10确定在步骤S102中计算的影响级别是否高于“C”(步骤S103)，并且当影响级别高于“C”时(步骤S103，是)，机器人控制装置10确定是否存在可能与机器人1接触的对象人T(步骤S104)。
当在步骤S104的确定中发现对象人T时(步骤S104，是)，机器人控制装置10确定对象人T的属性(步骤S105)并且计算干预级别(步骤S106)。
然后，机器人控制装置10基于干预级别来决定通知动作(步骤S107)，并且使机器人1执行所决定的通知动作(步骤S108)。
随后，机器人控制装置10确定是否检测到识别机器人1的对象人T的行为(步骤S109)，并且当检测到这样的行为时(步骤S110)，执行原始任务(步骤S110)，并且处理结束。
另一方面，当在步骤S109的确定中未检测到行为时(步骤S109，否)，机器人控制装置10更新接触时间/距离(步骤S111)，并且至进行步骤S106。
此外，当在步骤S103的确定中影响级别是“C”时(步骤S103，否)，或者当在步骤S104的确定处理中不存在对象人时(步骤S104，否)，机器人控制装置10进行至步骤S110。
此外，在上述实施方式中描述的每个处理中，描述为自动执行的处理的全部或部分也可以手动执行，或者描述为手动执行的处理的全部或部分也可以通过已知方法自动执行。另外，除非另有说明，否则可以适当地改变以上说明书或附图中示出的处理过程、特定名称以及包括各种数据和参数的信息。例如，附图中所示出的各种信息不限于所示出的信息。
此外，装置的组成元件被示出为功能概念，并且不一定必须如示出的那样在物理上进行配置。换言之，装置的分布或集成的具体形式不限于所示出的那些，并且其全部或部分可以根据各种负载或使用条件被配置成在功能上或物理上以任意单位分布或集成。
此外，可以在与处理内容一致的范围内适当地组合上述实施方式和修改。
此外，在本文中描述的效果仅是示例，并且本公开内容不限于这些效果并且可以具有其他效果。
例如，诸如根据上述实施方式的机器人控制装置、HMD和控制器的信息装置由如图10所示的计算机1000实现。在下文中，将作为示例描述根据实施方式的机器人控制装置10。图10是示出实现机器人控制装置10的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的组成单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制每个单元。例如，CPU 1100将ROM 1300或HDD 1400中存储的程序调度部署到RAM 1200，并且执行对应于各种程序的处理。
ROM 1300存储诸如在计算机1000启动时由CPU 1100执行的基本输入输出***(BIOS)之类的引导程序、取决于计算机1000的硬件的程序等。
HDD 1400是非暂态地记录由CPU 1100执行的程序、由程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录作为程序数据1450的示例的根据本公开内容的程序的记录介质。
通信接口1500是将计算机1000连接到外部网络1550(例如，因特网)的接口。例如，CPU 1100经由通信接口1500从另一装置接收数据或将CPU 1100生成的数据发送到另一装置。
输入输出接口1600是用于连接输入/输出装置1650与计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。另外，CPU 1100经由输入/输出接口1600将数据发送到诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作读取记录在预定记录介质上的程序等的介质接口。例如，介质包括诸如数字多功能盘(DVD)和相变可重写盘(PD)的光学记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如，当计算机1000用作根据实施方式的机器人控制装置10时，计算机1000的CPU1100通过执行加载在RAM 1200上的程序来实现属性确定单元71等的功能。此外，HDD 1400存储根据本公开内容的程序和存储在存储单元6中的数据。注意，CPU 1100执行从HDD 1400读取的程序数据1450，但是在另一示例中，CPU 1100可以经由外部网络1550从其他装置获取程序。
注意，本技术还可以采用以下配置。
(1)一种机器人控制装置，包括：
属性确定单元，其确定机器人周围的对象人的属性；以及
决定单元，其基于由所述属性确定单元确定的属性和作为关于所述机器人对所述对象人造成的危害的风险的危害风险，决定由所述机器人向所述对象人通知所述机器人的存在的通知动作。
(2)根据(1)所述的机器人控制装置，还包括
计算单元，其基于所述属性和所述危害风险，计算所述机器人应当对所述对象人进行干预的干预级别，
其中，所述决定单元基于由所述计算单元计算的干预级别来决定所述通知动作。
(3)根据(2)所述的机器人控制装置，其中，
所述决定单元基于所述干预级别改变所述通知动作的通知方法。
(4)根据(1)至(3)中任一项所述的机器人控制装置，其中，
所述属性确定单元基于所述对象人对所述机器人的理解级别来确定所述属性。
(5)根据(1)至(3)中任一项所述的机器人控制装置，其中，
所述属性确定单元基于所述对象人的身体特征来确定所述属性。
(6)根据(2)至(5)中任一项所述的机器人控制装置，其中，
所述计算单元将所述干预级别计算为随着所述危害风险越高而越高。
(7)根据(2)至(6)中任一项所述的机器人控制装置，其中，
所述计算单元基于所述机器人与所述对象人之间的距离计算所述危害的风险。
(8)根据(2)至(7)中任一项所述的机器人控制装置，其中，
所述计算单元基于所述对象人接近所述机器人的速度计算所述危害的风险。
(9)根据(2)至(8)中任一项所述的机器人控制装置，还包括
状态确定单元，其基于所述机器人的状态来确定作为对所述对象人的潜在危害的危害因素，
其中，所述计算单元基于由所述状态确定单元确定的所述危害因素来计算所述危害的风险。
(10)根据(9)所述的机器人控制装置，其中，
所述状态确定单元基于所述机器人的表面温度确定所述危害因素。
(11)根据(9)或(10)所述的机器人控制装置，其中，
所述状态确定单元基于所述机器人的存在或不存在来确定所述危害因素
(12)根据(9)至(11)中任一项所述的机器人控制装置，其中，
所述状态确定单元基于正在由所述机器人搬运的搬运物来确定所述危害因素。
(13)根据(12)所述的机器人控制装置，其中，
所述决定单元将暗示所述搬运物的动作决定为所述通知动作。
(14)根据(9)至(13)中任一项所述的机器人控制装置，其中，
所述决定单元基于所述对象人认知所述危害因素的可认知性级别来决定所述通知动作。
(15)根据(9)至(14)中任一项所述的机器人控制装置，其中，
所述决定单元基于所述对象人在所述通知动作之后的行为来确定是否执行下一通知动作。
(16)根据(15)所述的机器人控制装置，其中，
在所述干预级别在预定范围内的情况下，所述决定单元将暗示所述危害因素的操作动作决定为所述通知动作。
(17)根据(1)至(16)中任一项所述的机器人控制装置，其中，
在所述干预级别超出所述预定范围的情况下，所述决定单元将输出图像和声音中的至少一者决定为所述通知动作。
(18)一种由计算机执行的方法，包括：
确定机器人周围的对象人的属性；以及
基于所确定的属性和作为关于所述机器人对所述对象人造成的危害的风险的危害风险，决定由所述机器人向所述对象人通知所述机器人的存在的通知动作。
(19)一种程序，所述程序使计算机用作以下：
属性确定单元，其确定机器人周围的对象人的属性；以及
决定单元，其基于由所述属性确定单元确定的属性和作为关于所述机器人对所述对象人造成的危害的风险的危害风险，决定由所述机器人向所述对象人通知所述机器人的存在的通知动作。
参考标记列表
1 机器人
10 机器人控制装置
71 属性确定单元
72 状态确定单元
73 计算单元
74 决定单元
75 行为检测单元

Claims (19)

1.一种机器人控制装置，包括：
属性确定单元，其确定机器人周围的对象人的属性；以及
决定单元，其基于由所述属性确定单元确定的属性和作为关于所述机器人对所述对象人造成的危害的风险的危害风险，决定由所述机器人向所述对象人通知所述机器人的存在的通知动作。
2.根据权利要求1所述的机器人控制装置，还包括：
计算单元，其基于所述属性和所述危害风险，计算所述机器人应当对所述对象人进行干预的干预级别，
其中，所述决定单元基于由所述计算单元计算的干预级别来决定所述通知动作。
3.根据权利要求2所述的机器人控制装置，其中，
所述决定单元基于所述干预级别改变所述通知动作的通知方法。
4.根据权利要求1所述的机器人控制装置，其中，
所述属性确定单元基于所述对象人对所述机器人的理解级别来确定所述属性。
5.根据权利要求1所述的机器人控制装置，其中，
所述属性确定单元基于所述对象人的身体特征来确定所述属性。
6.根据权利要求2所述的机器人控制装置，其中，
所述计算单元将所述干预级别计算为随着所述危害风险越高而越高。
7.根据权利要求2所述的机器人控制装置，其中，
所述计算单元基于所述机器人与所述对象人之间的距离计算所述危害风险。
8.根据权利要求2所述的机器人控制装置，其中，
所述计算单元基于所述对象人接近所述机器人的速度计算所述危害风险。
9.根据权利要求2所述的机器人控制装置，还包括：
状态确定单元，其基于所述机器人的状态来确定作为对所述对象人的潜在危害的危害因素，
其中，所述计算单元基于由所述状态确定单元确定的危害因素来计算所述危害风险。
10.根据权利要求9所述的机器人控制装置，其中，
所述状态确定单元基于所述机器人的表面温度确定所述危害因素。
11.根据权利要求9所述的机器人控制装置，其中，
所述状态确定单元基于所述机器人的存在或不存在来确定所述危害因素。
12.根据权利要求9所述的机器人控制装置，其中，
所述状态确定单元基于正在由所述机器人搬运的搬运物来确定所述危害因素。
13.根据权利要求12所述的机器人控制装置，其中，
所述决定单元将暗示所述搬运物的动作决定为所述通知动作。
14.根据权利要求9所述的机器人控制装置，其中，
所述决定单元基于所述对象人认知所述危害因素的可认知性级别来决定所述通知动作。
15.根据权利要求1所述的机器人控制装置，其中，
所述决定单元基于所述对象人在所述通知动作之后的行为来确定是否执行下一通知动作。
16.根据权利要求9所述的机器人控制装置，其中，
在所述干预级别在预定范围内的情况下，所述决定单元将暗示所述危害因素的操作动作决定为所述通知动作。
17.根据权利要求16所述的机器人控制装置，其中，
在所述干预级别超出所述预定范围的情况下，所述决定单元将输出图像和声音中的至少一者决定为所述通知动作。
18.一种由计算机执行的方法，包括：
确定机器人周围的对象人的属性；以及
基于所确定的属性和作为关于所述机器人对所述对象人造成的危害的风险的危害风险，决定由所述机器人向所述对象人通知所述机器人的存在的通知动作。
19.一种程序，所述程序使计算机用作：
属性确定单元，其确定机器人周围的对象人的属性；以及
决定单元，其基于由所述属性确定单元确定的属性和作为关于所述机器人对所述对象人造成的危害的风险的危害风险，决定由所述机器人向所述对象人通知所述机器人的存在的通知动作。
CN202080056064.7A 2019-08-14 2020-06-24 机器人控制装置、方法和程序 Pending CN114206561A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-148940 2019-08-14
JP2019148940 2019-08-14
PCT/JP2020/024824 WO2021029147A1 (ja) 2019-08-14 2020-06-24 ロボット制御装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
CN114206561A true CN114206561A (zh) 2022-03-18

Family

ID=74571035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056064.7A Pending CN114206561A (zh) 2019-08-14 2020-06-24 机器人控制装置、方法和程序

Country Status (6)

Country Link
US (1) US20220331960A1 (zh)
EP (1) EP4009129A1 (zh)
JP (1) JP7416070B2 (zh)
KR (1) KR20220047751A (zh)
CN (1) CN114206561A (zh)
WO (1) WO2021029147A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104039513A (zh) * 2012-01-13 2014-09-10 三菱电机株式会社 风险测定***
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的***和方法
CN106003047A (zh) * 2016-06-28 2016-10-12 北京光年无限科技有限公司 一种面向智能机器人的危险预警方法和装置
US20180133896A1 (en) * 2014-08-25 2018-05-17 X Development Llc Robot to Human Feedback
US20180165938A1 (en) * 2016-12-09 2018-06-14 Fuji Xerox Co., Ltd. Monitoring apparatus and non-transitory computer readable medium
CN109955245A (zh) * 2017-12-26 2019-07-02 深圳市优必选科技有限公司 一种机器人的避障方法、***及机器人

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007196298A (ja) 2006-01-24 2007-08-09 Yaskawa Electric Corp ディスプレイを備えたロボット
DE112011103155T5 (de) * 2010-09-21 2013-07-18 Toyota Jidosha Kabushiki Kaisha Beweglicher Körper

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104039513A (zh) * 2012-01-13 2014-09-10 三菱电机株式会社 风险测定***
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的***和方法
US20180133896A1 (en) * 2014-08-25 2018-05-17 X Development Llc Robot to Human Feedback
CN106003047A (zh) * 2016-06-28 2016-10-12 北京光年无限科技有限公司 一种面向智能机器人的危险预警方法和装置
US20180165938A1 (en) * 2016-12-09 2018-06-14 Fuji Xerox Co., Ltd. Monitoring apparatus and non-transitory computer readable medium
CN109955245A (zh) * 2017-12-26 2019-07-02 深圳市优必选科技有限公司 一种机器人的避障方法、***及机器人

Also Published As

Publication number Publication date
EP4009129A1 (en) 2022-06-08
US20220331960A1 (en) 2022-10-20
WO2021029147A1 (ja) 2021-02-18
JP7416070B2 (ja) 2024-01-17
KR20220047751A (ko) 2022-04-19
JPWO2021029147A1 (zh) 2021-02-18

Similar Documents

Publication Publication Date Title
JP6494331B2 (ja) ロボット制御装置およびロボット制御方法
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
JP6977730B2 (ja) 人流推定装置、人流推定方法およびプログラム
US11861678B1 (en) Updating cart state using auto-generated sensor data
US11669803B1 (en) Item movement based on weight transfer
US10841501B2 (en) Photographing control apparatus and photographing control method
US9952598B2 (en) Mobile robot system and method for controlling mobile robot
EP2665017B1 (en) Video processing apparatus and method for managing tracking object
US10507582B2 (en) Apparatus, robot, method, and recording medium
CN108846336B (zh) 目标检测方法、装置及计算机可读存储介质
JP7142718B2 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
JP2019087250A (ja) オブジェクト履歴関連付けにおけるシステムと方法
JP6557853B2 (ja) 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
KR102396794B1 (ko) 전자 장치 및 이의 제어 방법
CN116520681A (zh) 轮椅自动行驶控制方法及装置、自动行驶轮椅
KR20210004818A (ko) 매장 내 자동 결제 방법, 시스템 및 프로그램
CN114206561A (zh) 机器人控制装置、方法和程序
WO2020217812A1 (ja) 被写体の状態を認識する画像処理装置及びその方法
US11068962B1 (en) Updating cart state using auto-generated sensor data
Safarzadeh et al. Real-time fall detection and alert system using pose estimation
JP7476727B2 (ja) 自律移動ロボット制御システム、その制御方法、その制御プログラム及び自律移動ロボット制御装置
JP6451418B2 (ja) 注視対象判定装置、注視対象判定方法、および、注視対象判定プログラム
EP3760120A1 (en) Wearable cueing systems for assisting a subject with walking
JP2022083232A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20230316557A1 (en) Retail computer vision system for sensory impaired

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination