JP7416070B2 - ロボット制御装置、方法およびプログラム - Google Patents

ロボット制御装置、方法およびプログラム Download PDF

Info

Publication number
JP7416070B2
JP7416070B2 JP2021539829A JP2021539829A JP7416070B2 JP 7416070 B2 JP7416070 B2 JP 7416070B2 JP 2021539829 A JP2021539829 A JP 2021539829A JP 2021539829 A JP2021539829 A JP 2021539829A JP 7416070 B2 JP7416070 B2 JP 7416070B2
Authority
JP
Japan
Prior art keywords
robot
control device
determining
target person
robot control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021539829A
Other languages
English (en)
Other versions
JPWO2021029147A1 (ja
Inventor
龍一 鈴木
洋貴 鈴木
承夏 梁
一生 本郷
雄大 湯口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021029147A1 publication Critical patent/JPWO2021029147A1/ja
Application granted granted Critical
Publication of JP7416070B2 publication Critical patent/JP7416070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/002Manipulators for defensive or military tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086Proximity sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • B25J19/061Safety devices with audible signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39001Robot, manipulator control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39091Avoid collision with moving obstacles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Description

本開示は、ロボット制御装置、方法およびプログラムに関する。
ロボットが周囲の対象者へ危害を与えうる場合に、周囲の対象者へロボットが備えるディスプレイを介して、周知させる技術がある。かかるロボットは、危害を回避すべく動作パターンを補正するとともに、補正量に応じてロボットが備えるディスプレイの表示態様を変更する。
特開2007-196298号公報
しかしながら、従来技術では、ロボットから対象者へ適切な通知を行ううえで改善の余地があった。例えば、同じ通知内容であっても、対象者毎に捉え方が異なるので、対象者によっては過度な通知となる場合や、通知が不十分となる場合がある。
本願は、上記に鑑みてなされたものであって、適切な通知を行うことができるロボット制御装置、方法およびプログラムを提供することを目的とする。
上記の課題を解決するために、本開示に係る一態様のロボット制御装置は、属性判定部と、決定部とを備える。前記属性判定部は、ロボット周囲の対象者の属性を判定する。前記決定部は、前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する。
実施形態の一態様によれば、適切な通知を行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施形態に係るロボット制御装置の概要を示す図である。 実施形態に係るロボット制御装置の構成例を示すブロック図である。 実施形態に係る対象者情報の一例を示す図である。 実施形態に係る身体特性テーブルの一例を示す図である。 実施形態に係る容易度テーブルの一例を示す図である。 実施形態に係る理解度テーブルの一例を示す図である。 実施形態に係るリスクテーブルの一例を示す図である。 実施形態に係る介入度テーブルの一例を示す図である。 実施形態に係るロボット制御装置が実行する処理手順を示すフローチャートである。 ロボット制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
(実施形態)
[実施形態に係るシステムの構成]
まず、本開示の一実施形態の概要について説明する。上述したように、ロボットが周囲の対象者へ危害を与えうる場合に、周囲の対象者へロボットが備えるディスプレイを介して、周知させる技術がある。しかしながら、かかる技術では、対象者に対する通知内容を最適化するうえで、改善の余地があった。例えば、同一の通知内容であっても対象者によって捉え方が異なる場合がある。
具体的には、例えば、ロボットと日頃から接している対象者は、ロボットの行動パターンを熟知している一方で、ロボットと初めて接する対象者には、ロボットの行動パターンが分からない。このため、例えば、双方の対象者に対する通知内容が同一である場合には、過度な通知になる場合や、通知内容が不足する場合が考えられる。
本技術思想は、上記の点に着目して発想されたものであり、対象者毎に通知内容を設定することで、適切な通知を行うことが可能である。また、本技術思想は、ロボットが対象者に危害を与えるリスク(以下、危害リスクと記載する)を考慮して通知を行う。
まず、図1を用いて、本実施形態に係るロボット制御装置の概要について説明する。図1は、本実施形態に係るロボット制御装置の概要を示す図である。図1に示すように、ロボット制御装置10は、ロボット1内に内蔵され、ロボット1を制御する制御装置である。
例えば、ロボット1は、移動型ロボットであり、図1に示す例では、ロボット1が車輪で走行するロボットである場合を示す。ここで、ロボットとは、脚式型であってもよく、飛行型の移動体であってもよい。また、少なくとも1以上のアームを備えていてもよいし、アームを備えていない移動体であってもよい。
ロボット制御装置10は、例えば、ロボット1周囲をセンシングするセンサSのセンシング結果に基づいて、ロボット1周囲の対象者Tを検出し、対象者Tの属性と、ロボット1が対象者Tに対して危害を与えるリスクである危害リスクとに基づいて、対象者Tに対するロボット1の通知アクションを決定する。
なお、図1に示す例では、センサSがロボット1と別に設けられる場合について示しているが、センサSをロボット1内に設けることにしてもよいし、あるいは、対象者Tが装着するウェアラブルデバイスをセンサSとして用いることにしてもよい。
例えば、ロボット制御装置10は、対象者Tの属性として、対象者Tが普段からロボット1と接しているユーザか否かを判定し、ロボット1の現在の状態や、対象者Tとロボット1との距離などに基づいて、危害リスクを決定する。
そして、ロボット制御装置10は、上記の属性と、危害リスクとに基づいて、ロボット1が対象者Tに介入すべき介入度を算出する。ここで、介入度とは、ロボット1の存在を対象者Tに対して通知すべき度合である。
ロボット制御装置10は、介入度が高いほど、対象者Tが気づきやすい通知アクションに決定し、介入度が低いほど、最小限の通知アクションに決定する。
このように、実施形態に係るロボット制御装置10は、介入度に応じて、通知アクションを決定することで、対象者Tの属性および上記の危害リスクに応じて、適切に通知アクションを決定することが可能となる。
[実施形態に係るロボット制御装置の構成]
次に、図2を用いて、実施形態に係るロボット制御装置10の構成例について説明する。図2は、実施形態に係るロボット制御装置10の構成例を示すブロック図である。
図2に示すように、ロボット制御装置10は、遠隔操作受付部2と、入力部3と、出力部4と、駆動部5と、記憶部6と、制御部7とを備える。遠隔操作受付部2は、ロボット1に対する遠隔操作を受け付ける通信ユニットである。
入力部3は、ロボット1周囲の環境センシングのセンシング結果を制御部7へ入力する。図2に示す例において、入力部3は、レーザ測距装置31と、RGBカメラ32と、ステレオカメラ33と、慣性計測装置34とを備える。
レーザ測距装置31は、障害物までの距離を測距する装置であり、赤外線測距装置、超音波測距装置、LiDAR(Laser Imaging Detection and Ranging)などによって構成される。
RGBカメラ32は、画像(静止画像又は動画像)を撮像する撮像装置である。ステレオカメラ33は、対象物を複数の方向から撮像することで、対象者までの距離を測定する撮像装置である。慣性計測装置34は、例えば、3軸の角度と、加速度を検出する装置である。
出力部4は、例えば、ロボット1に設けられ、表示装置やスピーカによって構成される。出力部4は、制御部7から入力される画像や音声を出力する。駆動部5は、アクチュエータによって構成され、制御部7の制御に基づいて、ロボット1を駆動させる。
記憶部6は、対象者情報61と、モデル情報62と、身体特性テーブル63と、容易度テーブル64と、理解度テーブル65と、リスクテーブル66と、介入度テーブル67と、アクションテーブル68とを記憶する。
対象者情報61は、対象者Tに関する情報である。本実施形態において、対象者情報61は、対象者Tがロボット1と接した回数や接する頻度に関する情報である。図3は、実施形態に係る対象者情報61の一例を示す図である。
図3に示すように、対象者情報61は、「対象者ID」と、「特徴量」と、「接触履歴」と、「認知度」などが互いに関連付けられた情報である。「対象者ID」は、対象者Tを識別する識別子である。「特徴量」は、対応する対象者Tの特徴量を示す。例えば、特徴量は、対象者Tの顔の特徴量に関する情報である。
「接触履歴」は、対応する対象者Tがロボット1と接した履歴に関する情報である。言い換えれば、ここでの接触履歴は、ロボット1が対象者Tを認識した履歴である。例えば、接触履歴には、ロボット1が対象者Tを認識した日時、頻度などに関する情報が登録される。
「認知度」は、対応する対象者Tがロボット1のことをどれだけ認知しているかの度合を示す。本実施形態では、接触履歴に基づき、ロボット1と、接した回数又は接する頻度によって認知度が設定される。
本実施形態においては、認知度は、3段階で表現され、「A」が最も認知度が高いことを示し、「C」が認知度が最も低いことを示すものとする。例えば、認知度「A」は、定常的にロボット1と接していることを示し、認知度「C」である対象者Tは、初めてロボットと接することを示す。つまり、対象者Tのロボット1と接する回数によって、認知度が高く設定されることになる。
図2の説明に戻り、モデル情報62について説明する。モデル情報62は、画像データから対象者Tの身体的特性を特定するモデルに関する情報である。例えば、モデルには、対象者Tの年齢を推定するモデルや、対象者Tが杖をついているか否か、車椅子を利用しているか否かなどを判定するためのモデルを含む。
身体特性テーブル63は、対象者Tの身体特性に関するテーブルである。図4は、実施形態に係る身体特性テーブル63の一例を示す図である。図4に示すように、身体特性テーブル63は、身体的特性として、「年齢」、「その他」の項目ごとに、ランクを示すテーブルである。
身体的特性は、A、B、Cの3段階でランク付けされ、A、B、Cの順に、身体的特性が低下することを示す。図4の例において、8歳未満が「C」、8~15歳、50歳以上が「B」、15~50歳が「A」である場合を示す。
対象者Tが8歳未満の場合や、50歳以上の場合には、対象者Tが遠くまで把握しにくく、また、ロボット1の動作を理解しにくいことが想定される。このため、8~15歳までの対象者Tよりも身体的特性のランクを低くしている。
また、図4の「その他」には、杖をついている対象者Tや、車いすまたは歩行補助器を使用している対象者Tを健常者に比べて、身体的特性のランクを低くする場合を示す。なお、図4に示す身体特性テーブル63は、一例であり、これに限定されるものではない。
図2の説明に戻り、容易度テーブル64について説明する。容易度テーブル64は、ロボット1が対象者Tへ与えうる危害因子について、対象者Tの認知の容易さを示すテーブルである。図5は、実施形態に係る容易度テーブル64の一例を示す図である。
図5に示すように、容易度テーブル64は、認知容易度と、五感との関係を示すテーブルである。ここで、五感とは、ロボット1の危害因子を対象者Tのどの器官を使って認知するかを示す。
例えば、触覚や味覚でしか、ロボット1の危害因子を認知できない場合の認知容易度は、「C」であり、視覚や嗅覚でしか、危害因子を認知できない場合の認知容易度は、「B」である。また、聴覚を用いて、危害因子を認知可能な場合の認知容易度は、「A」となる。
例えば、危害因子がロボット1の発熱だった場合、対象者Tは触覚でしか危害因子を認知できないので、認知容易度は「C」となる。また、視覚や嗅覚を用いて、対象者Tが危害因子を認知できる場合には、認知が容易になり、認知容易度が「B」となる。さらに、聴覚で危害因子を認知可能な場合、より遠くから危害因子を認知できるので、認知容易性を「A」としている。
図2の説明に戻り、理解度テーブル65について説明する。理解度テーブル65は、対象者Tのロボットに対する理解度に関するテーブルである。図6は、実施形態に係る理解度テーブル65の一例を示す図である。
図6に示すように、理解度テーブル65は、身体的特性と、認知容易度とから理解度を算出するためのテーブルである。図4の例では、認知容易性および認知度がともに「A」である場合、理解度が「A」となる。また、認知容易性が「A」であり、身体的特性が「B」である場合、図3に示した認知度のランクによって理解度が決定される。
具体的には、認知度がCまたはBの場合、理解度が「B」となり、認知度が「A」の場合、理解度が「A」となる。その他、図6に示す例において、認知容易性のランクが低くなるにつれて、理解度が低くなり、身体的特性のランクが低くなるにつれて、理解度が低くなる。
図2の説明に戻り、リスクテーブル66について説明する。リスクテーブル66は、ロボット1が対象者Tに危害を与える危害リスクに関するテーブルである。図7は、実施形態に係るリスクテーブル66の一例を示す図である。図7に示すように、リスクテーブル66は、影響度と、接触猶予とに基づいて、危害リスクを決定するためのテーブルである。
ここで、影響度とは、ロボット1が対象者Tへ危害を与えたときに、対象者Tの被害の大きさを示す。例えば、対象者Tが重傷を負う場合の影響度を「A」、対象者Tが軽傷を負う場合の影響度を「B」、対象者Tに危害を与えない場合の影響度を「C」とする。
ここで、予め影響度を下げられる場合には、下げた後の影響度を適用する。例えば、ロボット1が双椀ロボットであり、一方のアームが故障し、鋭利になっている場合、故障しているアームを格納し、故障していない他方のアームに切り替えることで、影響度を低くすることができる。
また、図7に示す「接触猶予」とは、ロボット1と対象者Tとが接触するまでの猶予を示す。接触猶予は、ロボット1と対象者Tとの距離または双方の移動する速度に基づいて算出される。
例えば、ロボット1と対象者Tとの距離または接触するまでの時間が、3mまたは3秒以内である場合、接触猶予は「C」となり、ロボット1と対象者Tとの距離または接触するまでの時間が、5mまたは5秒以内である場合、接触猶予は、「B」となる。また、ロボット1と対象者Tとの距離または接触するまでの時間が、5m以上また5秒以上である場合、接触猶予は「A」となる。
そして、図7に示す例において、影響度が高いほど、危害リスクが高く、接触猶予が高いほど、危害リスクが高くなることを示す。
図2の説明に戻り、介入度テーブル67について説明する。介入度テーブル67は、危害リスクと理解度とから介入度を算出するためのテーブルである。図8は、実施形態に係る介入度テーブル67の一例を示す図である。
図8に示すように、介入度テーブル67は、危害リスクと理解度と介入度との関係を示すテーブルである。図8に示す例では、理解度が高いほど、介入度が低くなり、危害リスクが高いほど、介入度は高くなる。
図2の説明に戻り、アクションテーブル68について説明する。アクションテーブル68は、介入度に応じた通知アクションを定義したテーブルである。また、本実施形態において、アクションテーブル68には、危害因子に応じた通知アクションが定義される。
制御部7は、ロボット制御装置10が備える各構成を制御する機能を有する。また、図2に示すように、制御部7は、属性判定部71と、状態判定部72と、算出部73と、決定部74と、挙動検出部75とを備える。
属性判定部71は、対象者Tの属性を判定する。具体的には、属性判定部71は、例えば、RGBカメラ32で撮像された画像データから対象者Tの特徴量を抽出し、対象者Tの特徴量と、対象者情報61の特徴量とを比較することで、対象者Tが対象者情報61に登録された人物か否かを判定する。
そして、属性判定部71は、対象者Tが対象者情報61に登録されていた場合、かかる対象者Tの認知度を抽出し、対象者Tが対象者情報61に登録されていなければ、対象者情報61に新規登録する。
また、属性判定部71は、ロボット1が走行予定経路を移動する場合に、ロボット1と衝突するおそれのある対象者Tを選択し、かかる対象者Tについて、画像データから対象者Tの身体的特性を判定する。具体的には、上述のように、属性判定部71は、モデル情報62に基づいて、対象者Tの年齢や、杖、車いす、歩行補助器の有無などを判定する。
そして、属性判定部71は、身体特性テーブル63に基づいて、対象者Tに対する身体的特性のランクを決定する。また、属性判定部71は、後述する状態判定部72から通知される認知容易度に基づいて、理解度テーブル65を参照し、対象者Tのロボット1に対する理解度のランクを決定する。つまり、属性判定部71は、ロボット1の危害因子をどの器官で認知できるかによって、理解度を決定する。
状態判定部72は、ロボット1の状態を判定する。具体的には、状態判定部72は、例えば、ロボット1が撮像された画像データや、ロボット1に設けられた温度センサなどによってロボット1の状態を判定する。
例えば、状態判定部72は、画像データからロボット1の故障の有無や、搬送物の有無、搬送物の中身などを判定するとともに、温度センサからロボット1の表面温度などを判定する。
そして、状態判定部72は、判定した状態に応じて、ロボット1の現在の「影響度」(図7参照)を決定する。また、状態判定部72が判定した搬送物の中身に関する情報については、決定部74に通知される。
算出部73は、属性判定部71によって判定された対象者Tの属性と、ロボット1が対象者Tへ与える危害のリスクである気概リスクとに基づいて、ロボット1が対象者に介入すべき介入度を算出する。
具体的には、算出部73は、例えば、ロボット1が現在の走行予定経路を移動した場合に、ロボット1と接触する対象者Tを選択する。次いで、算出部73は、レーザ測距装置31や、ステレオカメラ33の計測結果に基づき、対象者Tとの距離を算出する。
また、算出部73は、対象者Tをトラッキングすることで、対象者Tの移動速度や、移動する向きを算出することができ、慣性計測装置34の検出結果に基づいて、ロボット1の現在の速度や向きを算出することができる。
そして、算出部73は、距離や速度に基づいて、上記の接触猶予を算出するとともに、接触猶予のランクを決定する。その後、算出部73は、決定した「接触猶予」と、状態判定部72によって決定された「影響度」とに基づき、リスクテーブル66を参照し、危害リスクを算出することになる。
ここで、上述のように、接触猶予が少ないほど、危害リスクが高くなる。言い換えれば、ロボット1と、対象者Tとの距離が近くなるにつれて、危害リスクが高まることになる。このため、算出部73は、接触猶予を随時算出し、危害リスクを更新する。これにより、危害リスクに応じて、適切な通知を行うことが可能となる。
決定部74は、属性判定部71によって判定された属性と、ロボット1が対象者Tへ与える危害に関するリスクである危害リスクとに基づいて、ロボット1から対象者Tへ存在を通知する通知アクションを決定する。
具体的には、決定部74は、算出部73によって算出された介入度に基づいて、通知アクションを決定する。本実施形態において、決定部74は、介入度に応じて、通知アクションの通知手法を選択する。ここで、以下に示すように、通知手法は、直接的に通知する手法と、間接的に通知する手法がある。
例えば、決定部74は、介入度が「A」である場合、直接的に通知する手法を選択し、対象者Tがロボット1の存在を確実に気づく通知アクションに決定する。
具体的には、出力部4に警告画像を表示したり、警告音を出力したりすることで、ロボット1の存在を対象者Tへ直接的にアピールする。なお、この場合、例えば、ライトなどの発光体を点滅させたりすることで、ロボット1の存在を対象者Tへアピールすることにしてもよい。
また、決定部74は、アームが故障している場合や、アームが発熱している場合等において、対象者Tがロボット1に触れる場合、対象者Tに対してアーム以外の箇所(例えば、胴体)を掴んでもらうよう促すアクションを実行することにしてもよい。
また、決定部74は、介入度が「B」である場合、すなわち、介入度が所定範囲内である場合、ロボット1の危害因子を間接的に通知する通知アクションに決定する。例えば、決定部74は、ロボット1の搬送物の中身を示唆するアクションを通知アクションとして決定する。
ロボット1が重い搬送物を搬送中である場合、ロボット1と対象者Tとが接触し、搬送物を対象者Tに落とす場合が考えられる。このため、決定部74は、重たい搬送物を搬送中であることを示唆するアクションを通知アクションとして決定する。
具体的には、決定部74は、ロボット1が搬送物の重さによってロボット1が振られるようなアクションを通知アクションとして決定する。また、決定部74は、ロボット1が液体を入れた容器を搬送中である場合、容器を保持するアームとは別のアームを容器に沿えるアクションを通知アクションとして決定する。これにより、搬送物が液体であることを示唆することができる。
また、アームが故障しており、かかるアームが対象者Tに触れると対象者Tが怪我を負うおそれがある場合、ロボット1の移動する際の揺れに応じて、かかるアームを摺動させるアクションを通知アクションとして決定する。これにより、アームの破損を間接的に対象者Tへ通知することができる。なお、介入度が「C」である場合、通知アクションを行わない。
決定部74は、決定した通知アクションに応じて、出力部4に警告画像を表示したり、駆動部5を駆動させることで、通知アクションをロボット1に対して実行させることができる。
その後、決定部74は、後述する挙動検出部75によって検出された対象者Tの挙動に基づいて、通知アクション後の次の通知アクションを決定する。具体的には、決定部74は、対象者Tが通知アクションに対する理解を示す挙動を取った場合、通知アクションを中止し、本来のタスクの実行に移る。
なお、この場合、決定部74は、介入度を固定した状態で通知アクションを継続しつつ、本来のタスクを行うことにしてもよい。
一方、決定部74は、対象者Tが通知アクションを理解していない場合、現在の介入度に応じた通知アクションを継続して行う。ここで、上述のように、介入度は、ロボット1と対象者Tとの距離によって更新されるため、ロボット1と、対象者Tとの距離が近づくにつれて、介入度が高くなり、介入度の変化に応じた通知アクションを行うことになる。
また、決定部74は、上述のように、アームが故障した場合や、アームが発熱した場合に、代替手段によって影響度を下げられる場合は、故障中のアームを格納するなどのアクションを行うことも可能である。
挙動検出部75は、対象者Tの挙動を検出する。挙動検出部75は、RGBカメラ32によって撮像された画像データを解析することで、対象者Tの挙動を検出する。
本実施形態において、挙動検出部75は、対象者Tの挙動として、対象者Tがロボット1の通知アクションを理解したか否かに関する挙動を検出する。具体的には、例えば、挙動検出部75は、対象者Tの視線がロボット1の通知アクションを向いたか否か、通知アクションの前後で、対象者Tの移動速度が変化したかなどの挙動を検出する。
つまり、ロボット制御装置10は、対象者Tが通知アクションを理解した場合と、理解していない場合とで異なる挙動を示す点に着眼し、通知アクション後のアクションを決定することになる。
これにより、過度な通知アクションを行わずに済むので、ロボット1の存在を対象者Tに対して、適切に周知させることが可能となる。
次に、図9を用いて、実施形態に係るロボット制御装置10が実行する処理手順について説明する。図9は、ロボット制御装置10が実行する処理手順を示すフローチャートである。
図9に示すように、ロボット制御装置10は、まず、ロボット1の状態を判定し(ステップS101)、危害因子に基づいて影響度を算出する(ステップS102)。続いて、ロボット制御装置10は、ステップS102にて算出した影響度が「C」よりも高いか否かを判定し(ステップS103)、影響度が「C」よりも高い場合(ステップS103,Yes)、ロボット1と接触するおそれのある対象者Tがいるか否かを判定する(ステップS104)。
ロボット制御装置10は、ステップS104の判定において、対象者Tがいた場合(ステップS104,Yes)、対象者Tの属性を判定し(ステップS105)、介入度を算出する(ステップS106)。
その後、ロボット制御装置10は、介入度に基づいて、通知アクションを決定し(ステップS107)、ロボット1に決定した通知アクションを実行させる(ステップS108)。
続いて、ロボット制御装置10は、ロボット1を認識する対象者Tの挙動を検出したか否かを判定し(ステップS109)、かかる挙動を検出した場合(ステップS110)、本来のタスクを実行して(ステップS110)、処理を終了する。
一方、ロボット制御装置10は、ステップS109の判定において、挙動を検出しなかった場合(ステップS109,No)、接触猶予を更新し(ステップS111)、ステップS106の処理へ移行する。
また、ロボット制御装置10は、ステップS103の判定において、影響度が「C」である場合(ステップS103,No)、ステップS104の判定処理において、対象者がいない場合(ステップS104,No)、ステップS110の処理へ移行する。
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
上述してきた各実施形態に係るロボット制御装置、HMD、コントローラ等の情報機器は、例えば図10に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係るロボット制御装置10を例に挙げて説明する。図10は、ロボット制御装置10の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係るプログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係るロボット制御装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、属性判定部71等の機能を実現する。また、HDD1400には、本開示に係るプログラムや、記憶部6内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
ロボット周囲の対象者の属性を判定する属性判定部と、
前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
を備える、ロボット制御装置。
(2)
前記属性と、前記危害リスクとに基づいて、前記ロボットが前記対象者に介入すべき介入度を算出する算出部を備え、
前記決定部は、
前記算出部によって算出された前記介入度に基づいて、前記通知アクションを決定する、
前記(1)に記載のロボット制御装置。
(3)
前記決定部は、
前記介入度に基づいて、通知アクションの通知手法を変更する、
前記(2)に記載のロボット制御装置。
(4)
前記属性判定部は、
前記対象者の前記ロボットに対する理解度に基づいて、前記属性を判定する、
前記(1)~(3)のいずれかに記載のロボット制御装置。
(5)
前記属性判定部は、
前記対象者の身体的特徴に基づいて、前記属性を判定する、
前記(1)~(3)のいずれかに記載のロボット制御装置。
(6)
前記算出部は、
前記危害リスクが高いほど、前記介入度を高く算出する、
前記(2)~(5)のいずれかに記載のロボット制御装置。
(7)
前記算出部は、
前記ロボットと前記対象者の距離に基づいて、前記危害リスクを算出する、
前記(2)~(6)のいずれかに記載のロボット制御装置。
(8)
前記算出部は、
前記対象者の前記ロボットに近づく速度に基づいて、前記危害リスクを算出する、
前記(2)~(7)のいずれかに記載のロボット制御装置。
(9)
前記ロボットの状態に基づいて、前記対象者へ前記危害を与えうる危害因子を判定する状態判定部
を備え、
前記算出部は、
前記状態判定部によって判定された前記危害因子に基づいて、前記危害リスクを算出する、
前記(2)~(8)のいずれかに記載のロボット制御装置。
(10)
前記状態判定部は、
前記ロボットの表面温度に基づいて、前記危害因子を判定する、
前記(9)に記載のロボット制御装置。
(11)
前記状態判定部は、
前記ロボットの有無に基づいて、前記危害因子を判定する、
前記(9)または(10)に記載のロボット制御装置。
(12)
前記状態判定部は、
前記ロボットが搬送中の搬送物に基づいて、前記危害因子を判定する、
前記(9)~(11)のいずれかに記載のロボット制御装置。
(13)
前記決定部は、
前記搬送物を示唆するアクションを前記通知アクションとして決定する、
前記(12)に記載のロボット制御装置。
(14)
前記決定部は、
前記危害因子を前記対象者が認知する認知容易度に基づいて、前記通知アクションを決定する、
前記(9)~(13)のいずれかに記載のロボット制御装置。
(15)
前記決定部は、
前記介入度が所定範囲内である場合に、前記危害因子を示唆する動作アクションを前記通知アクションとして決定する、
前記(9)~(14)のいずれかに記載のロボット制御装置。
(16)
前記決定部は、
前記介入度が前記所定範囲よりも大きい場合に、画像または音声のうち、少なくとも一方の出力を前記通知アクションとして決定する、
前記(15)に記載のロボット制御装置。
(17)
前記決定部は、
前記通知アクション後の前記対象者の挙動に基づいて、次の前記通知アクションを行うか否かを判定する、
前記(1)~(16)のいずれかに記載のロボット制御装置。
(18)
コンピュータが、
ロボット周囲の対象者の属性を判定し、
判定した前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する
方法。
(19)
コンピュータを
ロボット周囲の対象者の属性を判定する属性判定部と、
前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
として機能させる、プログラム。
1 ロボット
10 ロボット制御装置
71 属性判定部
72 状態判定部
73 算出部
74 決定部
75 挙動検出部

Claims (19)

  1. ロボット周囲の対象者の属性を判定する属性判定部と、
    前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
    を備える、ロボット制御装置。
  2. 前記属性と、前記危害リスクとに基づいて、前記ロボットが前記対象者に介入すべき介入度を算出する算出部を備え、
    前記決定部は、
    前記算出部によって算出された前記介入度に基づいて、前記通知アクションを決定する、
    請求項1に記載のロボット制御装置。
  3. 前記決定部は、
    前記介入度に基づいて、通知アクションの通知手法を変更する、
    請求項2に記載のロボット制御装置。
  4. 前記属性判定部は、
    前記対象者の前記ロボットに対する理解度に基づいて、前記属性を判定する、
    請求項1に記載のロボット制御装置。
  5. 前記属性判定部は、
    前記対象者の身体的特徴に基づいて、前記属性を判定する、
    請求項1に記載のロボット制御装置。
  6. 前記算出部は、
    前記危害リスクが高いほど、前記介入度を高く算出する、
    請求項2に記載のロボット制御装置。
  7. 前記算出部は、
    前記ロボットと前記対象者の距離に基づいて、前記危害リスクを算出する、
    請求項2に記載のロボット制御装置。
  8. 前記算出部は、
    前記対象者の前記ロボットに近づく速度に基づいて、前記危害リスクを算出する、
    請求項2に記載のロボット制御装置。
  9. 前記ロボットの状態に基づいて、前記対象者へ前記危害を与えうる危害因子を判定する状態判定部
    を備え、
    前記算出部は、
    前記状態判定部によって判定された前記危害因子に基づいて、前記危害リスクを算出する、
    請求項2に記載のロボット制御装置。
  10. 前記状態判定部は、
    前記ロボットの表面温度に基づいて、前記危害因子を判定する、
    請求項9に記載のロボット制御装置。
  11. 前記状態判定部は、
    前記ロボットの有無に基づいて、前記危害因子を判定する、
    請求項9に記載のロボット制御装置。
  12. 前記状態判定部は、
    前記ロボットが搬送中の搬送物に基づいて、前記危害因子を判定する、
    請求項9に記載のロボット制御装置。
  13. 前記決定部は、
    前記搬送物を示唆するアクションを前記通知アクションとして決定する、
    請求項12に記載のロボット制御装置。
  14. 前記決定部は、
    前記危害因子を前記対象者が認知する認知容易度に基づいて、前記通知アクションを決定する、
    請求項9に記載のロボット制御装置。
  15. 前記決定部は、
    前記通知アクション後の前記対象者の挙動に基づいて、次の前記通知アクションを行うか否かを判定する、
    請求項1に記載のロボット制御装置。
  16. 前記決定部は、
    前記介入度が所定範囲内である場合に、前記危害因子を示唆する動作アクションを前記通知アクションとして決定する、
    請求項9に記載のロボット制御装置。
  17. 前記決定部は、
    前記介入度が前記所定範囲よりも大きい場合に、画像または音声のうち、少なくとも一方の出力を前記通知アクションとして決定する、
    請求項16に記載のロボット制御装置。
  18. コンピュータが、
    ロボット周囲の対象者の属性を判定し、
    判定した前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する
    方法。
  19. コンピュータを
    ロボット周囲の対象者の属性を判定する属性判定部と、
    前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
    として機能させる、プログラム。
JP2021539829A 2019-08-14 2020-06-24 ロボット制御装置、方法およびプログラム Active JP7416070B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019148940 2019-08-14
JP2019148940 2019-08-14
PCT/JP2020/024824 WO2021029147A1 (ja) 2019-08-14 2020-06-24 ロボット制御装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021029147A1 JPWO2021029147A1 (ja) 2021-02-18
JP7416070B2 true JP7416070B2 (ja) 2024-01-17

Family

ID=74571035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021539829A Active JP7416070B2 (ja) 2019-08-14 2020-06-24 ロボット制御装置、方法およびプログラム

Country Status (6)

Country Link
US (1) US20220331960A1 (ja)
EP (1) EP4009129A1 (ja)
JP (1) JP7416070B2 (ja)
KR (1) KR20220047751A (ja)
CN (1) CN114206561A (ja)
WO (1) WO2021029147A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039280A1 (ja) 2010-09-21 2012-03-29 トヨタ自動車株式会社 移動体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007196298A (ja) 2006-01-24 2007-08-09 Yaskawa Electric Corp ディスプレイを備えたロボット
US7747351B2 (en) * 2007-06-27 2010-06-29 Panasonic Corporation Apparatus and method for controlling robot arm, and robot and program
DE112012005650B4 (de) * 2012-01-13 2018-01-25 Mitsubishi Electric Corporation Risikomesssystem
WO2014036549A2 (en) * 2012-08-31 2014-03-06 Rethink Robotics, Inc. Systems and methods for safe robot operation
US9902061B1 (en) * 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
CN106003047B (zh) * 2016-06-28 2019-01-22 北京光年无限科技有限公司 一种面向智能机器人的危险预警方法和装置
CN109416867B (zh) * 2016-07-04 2022-05-03 索尼公司 机器人、机器人***和记录介质
US10233021B1 (en) * 2016-11-02 2019-03-19 Amazon Technologies, Inc. Autonomous vehicles for delivery and safety
JP6812772B2 (ja) * 2016-12-09 2021-01-13 富士ゼロックス株式会社 監視装置及びプログラム
JP7003633B2 (ja) * 2017-12-20 2022-01-20 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
CN109955245A (zh) * 2017-12-26 2019-07-02 深圳市优必选科技有限公司 一种机器人的避障方法、***及机器人
EP3865032B1 (en) * 2018-10-12 2023-03-29 Sony Group Corporation Food preparation system, method for controlling food preparation system, and program
US20230086153A1 (en) * 2020-03-04 2023-03-23 Sony Group Corporation Information processing apparatus, information processing method, and program
WO2022138476A1 (ja) * 2020-12-23 2022-06-30 パナソニックIpマネジメント株式会社 ロボットの制御方法、ロボット、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039280A1 (ja) 2010-09-21 2012-03-29 トヨタ自動車株式会社 移動体

Also Published As

Publication number Publication date
JPWO2021029147A1 (ja) 2021-02-18
WO2021029147A1 (ja) 2021-02-18
EP4009129A1 (en) 2022-06-08
KR20220047751A (ko) 2022-04-19
CN114206561A (zh) 2022-03-18
US20220331960A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
WO2018168040A1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
JP6227669B2 (ja) 表面上でのジェスチャ認識のためのemgの使用
EP3407165A2 (en) Method of associating user input with a device
JP2014167716A5 (ja)
US10507582B2 (en) Apparatus, robot, method, and recording medium
JP2019087250A (ja) オブジェクト履歴関連付けにおけるシステムと方法
JP6519560B2 (ja) ロボット、ロボットの作動方法及びプログラム
JP2018022229A (ja) 安全運転行動通知システム及び安全運転行動通知方法
JP6385470B2 (ja) 対象の健康状態を検出するデバイス、システム及びコンピュータプログラム
CN111163906A (zh) 能够移动的电子设备及其操作方法
US20220351600A1 (en) Information processing apparatus, information processing method, and information processing program
JP6557853B2 (ja) 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
JP7416070B2 (ja) ロボット制御装置、方法およびプログラム
KR102396794B1 (ko) 전자 장치 및 이의 제어 방법
JP6616602B2 (ja) 対象者誘導装置、対象者誘導方法、プログラム及び対象者誘導システム
JP6347347B2 (ja) 通知システム、通知プログラム、通知方法および通知装置
JPWO2020116002A1 (ja) 情報処理装置及び情報処理方法
US20220410827A1 (en) Apparatus and method for controlling vehicle functions
EP3760120A1 (en) Wearable cueing systems for assisting a subject with walking
WO2021029151A1 (ja) ロボット制御装置、方法およびプログラム
US20240103172A1 (en) Systems and methods for using an accessibility headset system for providing directions to audio and visually impaired users
JP6340626B2 (ja) 通知システム、通知プログラム、通知方法および通知装置
US20220402500A1 (en) Apparatus and method for determining a cognitive state of a user of a vehicle
US11887457B2 (en) Information processing device, method, and program
US20230012053A1 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R151 Written notification of patent or utility model registration

Ref document number: 7416070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151