JP7370362B2 - ロボット管制方法及びシステム - Google Patents

ロボット管制方法及びシステム Download PDF

Info

Publication number
JP7370362B2
JP7370362B2 JP2021136951A JP2021136951A JP7370362B2 JP 7370362 B2 JP7370362 B2 JP 7370362B2 JP 2021136951 A JP2021136951 A JP 2021136951A JP 2021136951 A JP2021136951 A JP 2021136951A JP 7370362 B2 JP7370362 B2 JP 7370362B2
Authority
JP
Japan
Prior art keywords
robot
image
graphic object
space
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021136951A
Other languages
English (en)
Other versions
JP2022040060A (ja
Inventor
ガヒョン キム
セジン チャ
Original Assignee
ネイバーラボス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200108503A external-priority patent/KR102462634B1/ko
Application filed by ネイバーラボス コーポレーション filed Critical ネイバーラボス コーポレーション
Publication of JP2022040060A publication Critical patent/JP2022040060A/ja
Application granted granted Critical
Publication of JP7370362B2 publication Critical patent/JP7370362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボットの管制に関し、より詳細には、ロボットを遠隔で管理及び制御できるロボット管制方法及びシステムに関する。
技術が発展するにつれて、様々なサービスデバイスが出現しており、特に、近年は、様々な作業やサービスを行うロボットに関する技術開発が盛んに行われている。
さらに、近年は、人工知能技術やクラウド技術などが発展するにつれて、ロボットの活用度がますます高まっている。
一方、ロボットにより様々な作業やサービスを提供するためには、ロボットを正確に制御することが非常に重要である。しかし、ユーザがロボットの周辺で一々ロボットの制御を行うには現実的な限界があるので、ロボットを遠隔で管理及び制御する技術の必要性がますます高まっている。
よって、特許文献1(ラップアラウンド画像を用いたロボット遠隔制御のための方法及びそのための装置)においては、ロボットの四方にカメラを備え、ロボット周辺の画像を取得し、それを用いてロボットを遠隔で管理する技術について開示している。
一方、ロボットに備えられたカメラのみでロボットの走行を遠隔で管理する場合、ロボットの周辺状況に直ちに対処できないという問題が生じ得る。よって、ロボットの走行に関する情報をより直観的に提供できる管制システムに対するニーズが依然として存在する。
韓国登録特許第10-1305944号公報
本発明は、ロボットの管制方法及びシステムを提供するものである。より具体的には、本発明は、より直観的にロボットを遠隔で管理及び制御できるロボット管制方法及びシステムを提供するものである。
さらに具体的には、本発明は、ロボットの走行時に生じる危険状況に柔軟に対処できるユーザインタフェースを提供できるロボット管制方法及びシステムを提供するものである。
上記課題を解決するために、本発明によるロボット管制方法は、ロボットが走行する空間の画像を受信するステップと、前記ロボットから前記ロボットの走行に関する走行情報を受信するステップと、前記画像と共に前記走行情報に対応するグラフィックオブジェクトが出力されるように、ディスプレイ部を制御するステップとを含み、前記グラフィックオブジェクトの視覚的特性は、前記走行情報に基づいて決定され、前記ディスプレイ部を制御するステップにおいては、前記画像に前記グラフィックオブジェクトがオーバーラップして出力されるように、前記ディスプレイ部を制御することを特徴とする。
また、本発明によるロボット管制システムは、ディスプレイ部と、ロボットが走行する空間の画像及び前記ロボットの走行に関する走行情報を受信する通信部と、前記画像と共に前記走行情報に対応するグラフィックオブジェクトが出力されるように、前記ディスプレイ部を制御する制御部とを含み、前記制御部は、前記画像において前記ロボットの走行方向に対応する位置に前記グラフィックオブジェクトがオーバーラップして出力されるように、前記ディスプレイ部を制御することを特徴とする。
さらに、本発明による安全ガイドラインに沿ってロボットが走行する建物は、前記ロボットが走行する室内領域と、前記室内領域に配置される複数のカメラとを含み、前記ロボットと通信するクラウドサーバは、前記カメラから前記ロボットが走行する空間の画像を受信し、前記画像と共に前記ロボットを前記室内領域で安全に走行させる安全情報に関するグラフィックオブジェクトが出力されるようにディスプレイ部を制御し、前記グラフィックオブジェクトの視覚的特性は、前記ロボットの走行情報に基づいて決定されるようにしてもよい。
一例において、前記グラフィックオブジェクトは、前記画像にオーバーラップして出力され、前記グラフィックオブジェクトは、一方向に順次配列される複数の領域を含み、前記グラフィックオブジェクトの視覚的特性は、前記グラフィックオブジェクトにおいて前記複数の領域のそれぞれが占める面積に関するものであってもよい。
一例において、前記複数の領域は、前記ロボットの走行に関する異なる危険等級にそれぞれマッチングされ、前記ロボットから次第に遠ざかる方向に配列されるようにしてもよい。
一例において、前記異なる危険等級のうち、危険度が最も高い第1等級は、前記複数の領域のうち、前記画像において前記ロボットが位置する領域に最も近い第1領域にマッチングされ、前記異なる危険等級のうち、危険度が最も低い第2等級は、前記複数の領域のうち、前記画像において前記ロボットから最も遠い第2領域にマッチングされるようにしてもよい。
一例において、前記グラフィックオブジェクトにおいて前記第1領域及び前記第2領域がそれぞれ占める面積は、前記走行情報に基づいて決定されるようにしてもよい。
以上のように、本発明によるロボット管制方法は、ロボットから画像を受信し、受信した画像にロボットの走行情報に関するグラフィックオブジェクトを共に表示することができる。
より具体的には、本発明は、グラフィックオブジェクトを活用して、ロボットの走行に伴って生じる危険状況(例えば、衝突危険状況など)に対処できる情報を提供することができる。よって、ロボットを遠隔で管理するユーザは、グラフィックオブジェクトを参照して、遠隔でもロボットを安定して管理及び運用することができる。
本発明によるロボット管制方法及びシステムを説明するための概念図である。 本発明によるロボット管制方法及びシステムを説明するための概念図である。 本発明によるロボット管制方法及びシステムにおける、ロボットで収集される画像及びロボットの現在位置を推定する方法を説明するための概念図である。 本発明によるロボット管制方法及びシステムにおける、ロボットを識別する方法を説明するための概念図である。 本発明によるロボット管制方法を説明するためのフローチャートである。 ロボットの走行に関するグラフィックオブジェクトを出力する方法を説明するための概念図である。 ロボットの走行に関するグラフィックオブジェクトを出力する方法を説明するための概念図である。 ロボットの走行に関するグラフィックオブジェクトを出力する方法を説明するための概念図である。 ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御する方法を説明するための概念図である。 ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御する方法を説明するための概念図である。 ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御する方法を説明するための概念図である。 ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御する方法を説明するための概念図である。 ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御する方法を説明するための概念図である。 ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御する方法を説明するための概念図である。 ロボットの走行に関する案内メッセージを提供する方法を説明するための概念図である。
以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾辞である「モジュール」及び「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面により本明細書に開示される技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物又は代替物が本発明に含まれるものと理解されるべきである。
第1、第2などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は1つの構成要素を他の構成要素と区別する目的でのみ用いられる。
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。
単数の表現には、特に断らない限り複数の表現が含まれる。
本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定しようとするもので、1つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。
本発明は、ロボットの管制方法及びシステムを提供するものであり、より具体的には、より直観的にロボットを遠隔で管理及び制御できる方法及びシステムを提供するものである。以下、添付図面を参照して、ロボットが走行する空間及びそれに関連するロボット管制システムについて説明する。図1及び図2は、本発明によるロボット管制方法及びシステムを説明するための概念図である。
図1に示すように、技術が発展するにつれて、ロボットの活用度はますます高まっている。従来のロボットは、特殊な産業分野(例えば、産業自動化関連分野)で活用されていたが、次第に人間や設備のために有用な作業を行うサービスロボットに変貌している。
このように様々なサービスを提供するロボットは、与えられたタスクを実行するために、図1に示すような空間10を走行するようにしてもよい。ロボットが走行する空間の種類に制限はなく、ロボットは、必要に応じて、室内空間及び室外空間の少なくとも一方を走行するようにしてもよい。例えば、室内空間には、デパート、空港、ホテル、学校、ビル、地下鉄駅、列車の駅、書店など、様々な空間が含まれる。ロボットは、このように様々な空間に配置され、人間に有用なサービスを提供する。
また、本発明は、ロボットにやさしい建物に関するものであり、人とロボットが安全に共存し、ひいてはその内部でロボットが有益なサービスを提供することのできる、ロボットにやさしい建物を提案する。
より具体的には、本発明は、ロボット、ロボットにやさしいインフラ、及びそれらを制御する様々なシステムを用いて、人に有用なサービスを提供する方法を提供する。本発明による建物においては、人と複数のロボットが共存し、建物の内部で複数のロボットが自由に移動することのできる、様々なインフラ(又は設備インフラ)を提供することができる。
本発明による建物は、居住、生活、業務などのために前述した室内空間を含む構造物であり、商業用建物、産業用建物、機関用建物、居住用建物などのように様々な形態を有する。また、前記建物は、複数階からなる多層建物であってもよく、単層建物であってもよい。
さらに、本発明による建物においては、建物、建物に備えられた様々な設備インフラ、及びロボットの少なくとも1つが互いに連動して制御されることにより、建物内でロボットが安全かつ正確に様々なサービスを提供することができる。
一方、ロボットを用いて様々なサービスを提供する上で、ロボットを正確に制御することは非常に重要な要素である。よって、本発明は、空間に配置されたカメラを共に用いて、ロボットを遠隔でより正確に制御する方法を提案する。
図1に示すように、ロボットが位置する空間10にはカメラ20が配置されてもよい。空間10に配置されたカメラ20の数は制限されない。同図に示すように、空間10には、複数のカメラ20a、20b、20cが配置されてもよい。空間10に配置されたカメラ20としては、様々な種類を用いることができる。本発明においては、特に、空間10に配置されたカメラ20として、CCTV(closed-circuit television)を用いることができる。
図2に示すように、本発明によれば、ロボット管制システム100は、ロボットRを遠隔で管理及び制御することができる。
本発明において、「管制」は、ロボットを遠隔で管理、監視又は制御するという意味を含む包括的な用語として用いられる。すなわち、管制の対象となるロボットRは、本発明によるロボット管制システム100から受信した制御命令に基づいて、動作(例えば、走行)が制御される。
本発明によるロボット管制システム100は、空間10に配置されたカメラ20(例えば、CCTV)から受信する画像を用いて、ロボットの遠隔監視及び制御を適切に行うことができる。以下、空間に配置されたCCTVから受信する画像をロボットの管制に用いる方法についてより具体的に説明する。
図2に示すように、本発明によるロボット管制システム100は、通信部110、保存部120、ディスプレイ部130、入力部140及び制御部150の少なくとも1つを含む。
通信部110は、空間10に配置された様々なデバイスと有線又は無線で通信するように構成される。通信部110は、同図に示すように、ロボットRとの通信を行うことができる。通信部110は、ロボットRとの通信により、ロボットRに備えられたカメラで撮影される画像を受信するようにしてもよい。
また、通信部110は、カメラ20との直接的な通信を行うことができる。さらに、通信部110は、カメラ20を制御する画像管制システム2000との通信を行うことができる。画像管制システム2000と通信部110間で通信が行われる場合、ロボット管制システム100は、通信部110により、画像管制システム2000からカメラ20で撮影される(又は受信される)画像を受信することができる。
さらに、通信部110は、少なくとも1つの外部サーバ200(又は外部ストレージ)との通信を行うことができる。ここで、外部サーバ200は、同図に示すように、クラウドサーバ210及びデータベース220の少なくとも一方を含むように構成されてもよい。一方、外部サーバ200は、制御部150の少なくとも一部の役割を果たすように構成されてもよい。すなわち、データ処理やデータ演算などの実行は、外部サーバ200で行われるようにしてもよく、本発明においては、その方式に特に制限を設けていない。よって、本明細書においては、制御部150を外部サーバやクラウドサーバなどという。
一方、通信部110は、通信するデバイスの通信規格に準拠して、様々な通信方式をサポートすることができる。
例えば、通信部110は、WLAN(Wireless LAN)、Wi-Fi(Wireless Fidelity)、Wi-Fi Direct(Wireless Fidelity Direct)、DLNA(登録商標)(Digital Living Network Alliance)、WiBro(Wireless Broadband)、WiMAX(World Interoperability for Microwave Access)、HSDPA(High-Speed Downlink Packet Access)、HSUPA(High-Speed Uplink Packet Access)、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)、5G(5th Generation Mobile Telecommunication)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、IrDA(Infrared Data Association)、UWB(Ultra Wide Band)、ZigBee、NFC(Near Field Communication)及びワイヤレスUSB(Wireless Universal Serial Bus)技術の少なくとも1つを用いて、空間10の内外に位置するデバイス(クラウドサーバを含む)と通信を行うようにしてもよい。
次に、保存部120は、本発明に係る様々な情報を保存するようにしてもよい。本発明において、保存部120は、ロボット管制システム100自体に備えられてもよい。それとは異なり、保存部120の少なくとも一部は、クラウドサーバ210及びデータベース220の少なくとも一方であってもよい。すなわち、保存部120は、本発明によるロボットの管制のために必要な情報が保存される空間であれば十分であり、物理的な空間の制約はないものと解される。よって、以下では、保存部120、クラウドサーバ210及びデータベース220を区分せず、全てを保存部120とする。ここで、クラウドサーバ210とは「クラウドストレージ」を意味する。また、保存部120は、ロボット管制システム100に関する情報だけでなく、画像管制システム2000に関する様々な情報を保存するようにしてもよい。
まず、保存部120には、ロボットRに関する情報を保存することができる。
ロボットRに関する情報は、非常に様々であり、例えば、i)空間10に配置されたロボットRを識別するための識別情報(例えば、シリアル番号、TAG情報、QRコード(登録商標)情報など)、ii)ロボットRに与えられたタスクに関するタスク情報、iii)ロボットRに設定された走行経路に関する走行経路情報、iv)ロボットRの位置情報、v)ロボットRの状態情報(例えば、電源状態、故障の有無、バッテリ状態など)、vi)ロボットRに備えられたカメラから受信した画像に関する画像情報などが挙げられる。
次に、保存部120には、カメラ20に関する情報を保存することができる。
カメラ20に関する情報は、非常に様々であり、例えば、i)それぞれのカメラ20a、20b、20c、20d・・・の識別情報(例えば、シリアル番号、TAG情報、QRコード情報など)、ii)それぞれのカメラ20a、20b、20c、20d・・・の配置位置情報(例えば、空間内でそれぞれのカメラ20a、20b、20c、20d・・・が配置された位置に関する情報)、iii)それぞれのカメラ20a、20b、20c、20d・・・の画角情報(例えば、空間内でそれぞれのカメラ20a、20b、20c、20d・・・が撮影しているビューに関する情報)、iv)それぞれのカメラ20a、20b、20c、20d・・・の状態情報(例えば、電源状態、故障の有無、バッテリ状態など)、v)それぞれのカメラ20a、20b、20c、20d・・・から受信した画像に関する画像情報などが挙げられる。
一方、前記列挙されたカメラ20に関する情報は、それぞれのカメラ20a、20b、20c、20d・・・を基準に互いにマッチングされて存在するようにしてもよい。
例えば、保存部120には、特定のカメラ20aの識別情報、位置情報、画角情報、状態情報及び画像情報の少なくとも1つがマッチングされてマッチング情報として存在するようにしてもよい。このようなマッチング情報は、今後、画像を見ようとする位置が特定された場合、当該位置のカメラを特定するのに有用に用いることができる。
次に、保存部120には、空間10の地図(又は地図情報)を保存することができる。ここで、地図は、2次元地図及び3次元地図の少なくとも一方であってもよい。空間10の地図とは、ロボットRの現在位置を把握したり、ロボットRの走行経路を設定するのに活用できる地図を意味する。
特に、本発明によるロボット管制システム100においては、ロボットRから受信する画像に基づいて、ロボットRの位置を把握することができる。そのために、保存部120に保存された空間10の地図は、画像に基づいて位置を推定できるようにするデータで構成されてもよい。
ここで、空間10の地図は、事前に、空間10を移動する少なくとも1つのロボットにより、SLAM(Simultaneous Localization and Mapping)に基づいて作成された地図であってもよい。
一方、保存部120には、前記列挙された情報の種類以外にも様々な情報を保存することができる。
次に、ディスプレイ部130は、ロボットRに備えられたカメラ及び空間10に配置されたカメラ20の少なくとも一方から受信する画像を出力するようにしてもよい。ディスプレイ部130は、ロボットRを遠隔で管理する管理者のデバイスに備えられたものであり、図2に示すように、遠隔管制室100aに備えられてもよい。また、それとは異なり、ディスプレイ部130は、モバイルデバイスに備えられたディスプレイであってもよい。このように、本発明においては、ディスプレイ部の種類に制限を設けていない。
次に、入力部140は、ユーザ(又は管理者)からの情報の入力のためのものであり、入力部140は、ユーザ(又は管理者)とロボット管制システム100間の媒体であるといえる。より具体的には、入力部140とは、ユーザからロボットRを制御するための制御命令を受信する入力手段を意味する。
ここで、入力部140の種類に特に制限はなく、入力部140は、機械式(mechanical)入力手段(又はメカニカルキー)及びタッチ式入力手段の少なくとも一方を含む。機械式入力手段としては、例えば、マウス(mouse)、ジョイスティック(joystick)、物理的なボタン、ドームスイッチ(dome switch)、ジョグホイール、ジョグスイッチなどが挙げられる。タッチ式入力手段は、例えば、ソフトウェア的な処理によりタッチスクリーンに表示される仮想キー(virtual key)、ソフトキー(soft key)又はビジュアルキー(visual key)からなるようにしてもよく、前記タッチスクリーン以外の部分に配置されるタッチキー(touch key)からなるようにしてもよい。一方、前記仮想キー及び前記ビジュアルキーは、タッチスクリーン上に様々な形状で表示され、例えば、グラフ(graphic)、テキスト(text)、アイコン(icon)、ビデオ(video)又はそれらの組み合わせからなるようにしてもよい。ここで、入力部140がタッチスクリーンを含む場合、ディスプレイ部130は、タッチスクリーンからなるようにしてもよい。この場合、ディスプレイ部130は、情報を出力する役割と情報の入力を受ける役割の両方を果たす。
次に、制御部150は、本発明によるロボット管制システム100の全般的な動作を制御するように構成される。制御部150は、上記構成要素により入力又は出力される信号、データ、情報などを処理したり、ユーザに適切な情報又は機能を提供又は処理することができる。
特に、制御部150は、ロボットRに備えられたカメラから受信する画像、及び空間10に配置されたカメラ20から受信する画像の少なくとも一方を用いて、ロボットRを管制できるディスプレイ環境を提供することができる。
制御部150は、ロボットRの現在位置情報に基づいて、ロボットRが位置する空間に配置された少なくとも1つのカメラを特定することができる。特に、ロボットRに備えられたカメラから受信する画像から、空間でのロボットRの位置に関する位置情報を抽出することができる。また、制御部150は、保存部120から、前記抽出されたロボットRの位置情報に対応するカメラを特定することができる。
ここで、前記特定されたカメラは、ロボットRの位置情報に対応する場所に配置されたカメラであってもよい。また、前記特定されたカメラは、ロボットRの走行方向に対応する領域を画角とするカメラであってもよい。
一方、制御部150は、ロボットRから受信した画像と前記特定されたカメラから受信した画像がディスプレイ部130に共に出力されるように、ディスプレイ部130を制御することができる。また、制御部150は、入力部140を介してディスプレイ部130に入力されるユーザ入力に基づいて、ロボットRの遠隔制御を行うこともできる。
一方、上記説明においては、ロボットRの位置推定が制御部150により行われる例について説明したが、本発明は、これに限定されるものではない。すなわち、ロボットRの位置推定は、ロボットR自体で行われるようにしてもよい。すなわち、ロボットRは、ロボットR自体で受信する画像に基づいて、上記方式で現在位置を推定することができる。また、ロボットRは、推定された位置情報を制御部150に送信することができる。この場合、制御部150は、ロボットRから受信する位置情報に基づいて、一連の制御を行うことができる。
一方、画像管制システム2000は、空間10内に配置された少なくとも1つのカメラ20を制御するように構成されてもよい。同図に示すように、空間10には、複数のカメラ20a、20b、20c、20d・・・が配置される。複数のカメラ20a、20b、20c、20d・・・は、空間10内でそれぞれ異なる位置に配置される。
このように、空間10の異なる位置に複数のカメラ20a、20b、20c、20d・・・が配置されるので、ロボット管制システム100においては、このような複数のカメラ20a、20b、20c、20d・・・を用いて、ロボットRを遠隔で管理することができる。
画像管制システム2000は、ロボット管制システム100との相互通信により、ロボットRの管制に必要な情報をロボット管制システム100に提供することができる。前述した保存部120の構成と同様に、画像管制システム2000の保存部には、カメラ20に関する様々な情報を保存することができる。カメラ20に関する情報は、非常に様々であり、例えば、i)それぞれのカメラ20a、20b、20c、20d・・・の識別情報(例えば、シリアル番号、TAG情報、QRコード情報など)、ii)それぞれのカメラ20a、20b、20c、20d・・・の配置位置情報(例えば、空間内でそれぞれのカメラ20a、20b、20c、20d・・・が配置された位置に関する情報)、iii)それぞれのカメラ20a、20b、20c、20d・・・の画角情報(例えば、空間内でそれぞれのカメラ20a、20b、20c、20d・・・が撮影しているビューに関する情報)、iv)それぞれのカメラ20a、20b、20c、20d・・・の状態情報(例えば、電源状態、故障の有無、バッテリ状態など)、v)それぞれのカメラ20a、20b、20c、20d・・・から受信した画像に関する画像情報などが挙げられる。
一方、前記列挙されたカメラ20に関する情報は、それぞれのカメラ20a、20b、20c、20d・・・を基準に互いにマッチングされて存在するようにしてもよい。
例えば、画像管制システム2000の保存部には、特定のカメラ20aの識別情報、位置情報、画角情報、状態情報及び画像情報の少なくとも1つがマッチングされてマッチング情報として存在するようにしてもよい。このようなマッチング情報は、今後、画像を見ようとする位置が特定された場合、当該位置のカメラを特定するのに有用に用いることができる。
一方、以下では、前述したカメラに関する情報がどちらの保存部(又はストレージ)に保存されるかを区分せず、説明の便宜上、保存部120の構成に保存された場合を例に説明する。すなわち、カメラに関する情報は、状況に応じて様々な保存部に保存できるので、本発明においては、これに特に制限を設けていない。
以上、画像管制システム2000及びロボット管制システム100を別の構成として説明した。しかし、本発明は、これに限定されるものではなく、画像管制システム2000及びロボット管制システム100は、1つの統合されたシステムからなるようにしてもよい。この場合、画像管制システム2000は、「カメラ部」の構成として命名してもよい。
以下、添付図面を参照して、ロボットRから受信する画像に基づいて、ロボットRの現在位置を推定する方法についてより具体的に説明する。図3は、本発明によるロボット管制方法及びシステムにおける、ロボットで収集される画像及びロボットの現在位置を推定する方法を説明するための概念図である。
前述したように、本発明による制御部150は、ロボットRに備えられたカメラ(図示せず)を用いて空間10の画像を受信し、受信した画像からロボットRの位置を推定するビジュアルローカリゼーション(Visual Localization)を行うように構成される。ここで、ロボットRに備えられたカメラは、空間10の画像、すなわちロボットR周辺の画像を撮影(又は検知)するように構成される。以下、説明の便宜上、ロボットRに備えられたカメラにより取得された画像を「ロボット画像」という。また、空間10に配置されたカメラにより取得された画像を「空間画像」という。
制御部150は、図3の(a)に示すように、ロボットRに備えられたカメラによりロボット画像を取得するように構成される。また、制御部150は、取得されたロボット画像を用いて、ロボットRの現在位置を推定することができる。
さらに、制御部150は、ロボット画像と保存部120に保存された地図情報とを比較し、図3の(b)に示すように、ロボットRの現在位置に対応する位置情報(例えば、「3階のA区域(3,1,1)」)を抽出することができる。
前述したように、本発明において、空間10の地図は、事前に、空間10を移動する少なくとも1つのロボットにより、SLAMに基づいて作成された地図であってもよい。特に、空間10の地図は、画像情報に基づいて生成された地図であってもよい。
すなわち、空間10の地図は、ビジョン(又はビジュアル)ベースのSLAM技術により生成された地図であってもよい。
よって、制御部150は、図3の(b)に示すように、ロボットRで取得されたロボット画像の座標情報(例えば、「3階のA区域(3,1,1)」)を特定することができる。このように特定された座標情報は、ロボットRの現在位置情報となる。
ここで、制御部150は、ロボットRで取得されたロボット画像とビジョン(又はビジュアル)ベースのSLAM技術により生成された地図とを比較することにより、ロボットRの現在位置を推定することができる。この場合、制御部150は、i)ロボット画像と予め生成された地図を構成するイメージとのイメージ比較により、ロボット画像に最も類似したイメージを特定し、ii)特定されたイメージにマッチした位置情報を取得する方式で、ロボットRの位置情報を特定することができる。
このように、制御部150は、図3の(a)に示すように、ロボットRでロボット画像が取得されると、取得されたロボット画像を用いて、ロボットRの現在位置を特定することができる。前述したように、制御部150は、保存部120に予め保存された地図情報(例えば、「参照マップ」ともいえる)から、前記ロボット画像に対応する位置情報(例えば、座標情報)を抽出することができる。
一方、上記説明においては、ロボットRの位置推定が制御部150により行われる例について説明したが、前述したように、ロボットRの位置推定は、ロボットR自体で行われるようにしてもよい。すなわち、ロボットRは、ロボットR自体で受信する画像に基づいて、上記方式で現在位置を推定することができる。また、ロボットRは、推定された位置情報を制御部150に送信することができる。この場合、制御部150は、ロボットRから受信する位置情報に基づいて、一連の制御を行うことができる。
このように、ロボット画像からロボットRの位置情報が抽出されると、制御部150は、前記位置情報に対応する場所に配置された少なくとも1つのカメラ20を特定することができる。制御部150は、保存部120に保存されたカメラに関するマッチング情報から、前記位置情報に対応する場所に配置されたカメラ20を特定することができる。
また、制御部150は、ロボットRの管制のために、ロボットR自体で取得されるロボット画像だけでなく、ロボットRが位置する空間に配置されたカメラ20から取得された画像をディスプレイ部130に共に出力することができる。
一方、ロボットRの識別情報は、図4に示すように、ロボットRに備えられた識別標識(又は識別マーク)に基づいて、画像から抽出するようにしてもよい。図4の(a)、(b)及び(c)に示すように、ロボットRの識別標識301、302、303には、ロボットRの識別情報が含まれてもよい。同図に示すように、識別標識301、302、303は、バーコード301、シリアル情報(又は一連情報)302及びQRコード303から構成され、バーコード301、シリアル情報(又は一連情報)302及びQRコード303は、それぞれロボットRの識別情報を含むようにしてもよい。
ロボットRの識別情報は、ロボットRを区分するための情報であり、同じ種類のロボットであっても、異なる識別情報を有する。一方、識別標識を構成する情報は、前述したバーコード、シリアル情報、QRコードの他にも多様に構成することができる。
制御部150は、カメラ20から受信した画像から、前述した識別標識に基づいてロボットRの識別情報を抽出し、カメラ20により撮影されたロボットRを特定し、空間10での特定されたロボットRの位置を把握するようにしてもよい。
なお、本発明において、カメラ20により撮影されたロボットRを特定する方法は様々である。前述したように、制御部150は、画像からロボットRの識別情報を抽出することにより、ロボットRを特定することができる。その他に、制御部150は、画像が撮影された時間、及び画像を撮影したカメラ20にマッチした位置情報の少なくとも1つを用いて、カメラ20により撮影されたロボットRの現在位置を特定するようにしてもよい。
また、本発明において、カメラ20により撮影されたロボットRを特定する方法は様々である。前述したように、制御部150は、画像からロボットRの識別情報を抽出することにより、ロボットRを特定することができる。その他に、制御部150は、画像が撮影された時間、画像を撮影したカメラ20にマッチした位置情報、及びロボットRの位置情報の少なくとも1つを用いて、カメラ20により撮影されたロボットRを特定するようにしてもよい。
制御部150は、ロボットRの位置情報を用いて、画像が撮影された時間に、画像を撮影したカメラ20の画角に対応する領域に位置していたロボットRを特定することができる。ここで、ロボットRの位置情報は、ロボットRから受信されるようにしてもよく、制御部150により取得されるようにしてもよい。また、ロボットRの位置情報には、ロボットRの絶対位置に関する情報が含まれるようにしてもよい。
ロボットRの位置情報は、画像に基づいて取得されるようにしてもよい。より具体的には、ロボットRは、ロボットRに備えられたカメラ(図示せず)を用いて空間10の画像を受信し、受信した画像からロボットRの位置を推定するビジュアルローカリゼーションを行うように構成されてもよい。ここで、ロボットRに備えられたカメラは、空間10の画像、すなわちロボットR周辺の画像を撮影(又は検知)するように構成される。
ロボットR又は制御部150は、ロボットRで撮影された画像と保存部120に保存された地図情報とを比較し、ロボットRの現在位置に対応する位置情報を抽出することができる。
前述したように、本発明において、空間10の地図は、事前に、空間10を移動する少なくとも1つのロボットにより、SLAMに基づいて作成された地図であってもよい。特に、空間10の地図は、画像情報に基づいて生成された地図であってもよい。
このように、ロボットR又は制御部150によりロボットRの位置情報が抽出されると、制御部150は、前記位置情報から、カメラ20により撮影されたロボットRを特定することができる。
保存部120には、ロボットRの識別情報、ロボットRの位置情報、及び当該位置にロボットRが留まった時間に関する情報がマッチングされて保存されてもよい。このようなマッチング情報は、ロボットR毎に別々に存在するようにしてもよく、それをタイムスタンプ(time stamp)という。
制御部150は、i)カメラ20によりロボットRの画像が撮影された時点及びカメラ20の位置情報と、ii)保存部120に保存されたロボットRのタイムスタンプとに基づいて、カメラ20により撮影されたロボットRを特定するようにしてもよい。
このように、ロボットRの識別情報は、ロボットRの位置情報及びカメラ20の位置情報を用いて、抽出(又は特定)することができる。
なお、本発明においては、ロボットが走行する空間の画像及びロボットの走行に関する走行情報を反映したグラフィックオブジェクトをディスプレイ部130に共に出力することにより、ロボットの走行に関連して生じ得る危険状況を管理者に予め認知させるロボット管制方法及びシステムを提供する。
ここで、危険状況とは、ロボットに関連して事故が生じ得る状況を意味する。例えば、危険状況として、空間に位置するオブジェクトと衝突し得る状況が挙げられる。
ここで、オブジェクトとは、静的オブジェクト及び動的オブジェクトの少なくとも一方を意味する。
より具体的には、静的オブジェクトは、空間に配置された事物(例えば、テーブル、ソファ、看板、マネキンなど)及び空間を形成する構造物(例えば、階段、壁など)の少なくとも一方を意味する。
また、動的オブジェクトは、歩行者(又は人)、動物(例えば、犬、猫など)及び他のロボットの少なくとも1つを意味する。
本発明によるロボット管制システム100の制御部150は、ロボット又は空間に配置されたカメラから受信した画像に、ロボットの走行に関する走行情報に対応するグラフィックオブジェクトをオーバーラップして表示するようにしてもよい。
よって、ロボットの走行を遠隔で管理する管理者は、このような情報に基づいてロボットを遠隔で管理することにより、危険状況を防止することができる。
以下、添付図面を参照して、本発明によるロボット管制方法及びシステムについてより具体的に説明する。図5は、本発明によるロボット管制方法を説明するためのフローチャートであり、図6a、図6b及び図6cは、ロボットの走行に関するグラフィックオブジェクトを出力する方法を説明するための概念図である。また、図7a、図7b、図7c、図7d、図7e及び図7fは、ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御する方法を説明するための概念図である。さらに、図8は、ロボットの走行に関する案内メッセージを提供する方法を説明するための概念図である。
まず、本発明によるロボット管制方法においては、ロボットが走行する空間の画像を受信する過程が行われる(S510)。
ここで、画像を提供する主体は様々である。
一例として、前記画像は、ロボットに備えられたカメラにより撮影され、ロボットから提供されるようにしてもよい。制御部150は、通信部110により、ロボットから前記画像を受信するようにしてもよい。
他の例として、前記画像は、空間に配置されたカメラ(例えば、CCTV)により撮影され、空間に配置されたカメラから提供されるようにしてもよい。この場合、前記画像は、前述した画像管制システム2000から、本発明によるロボット管制システム100に提供されるようにしてもよい。制御部150は、通信部110により、画像管制システム2000から前記画像を受信するようにしてもよい。
一方、ロボットが走行する空間の画像は、ロボットの走行方向に対応する空間を画角とするカメラから受信する画像であってもよい。図6aに示すように、画像610は、ロボットを一人称時点とする画像であってもよい。本発明においては、画像610を「一人称時点の画像」ともいう。
例えば、図6aに示すように、ロボットが走行する空間の一人称時点の画像610は、ロボットを一人称時点とし、ロボットがロボットの走行方向に向かって見ている空間の画像であってもよい。
この場合、一人称時点の画像610は、ロボットから受信する画像であり得る。ロボットが正面を基準として走行すると仮定すると、一人称時点の画像610は、ロボットの正面に備えられたカメラから受信する画像であり得る。
一方、ロボットが走行する空間の画像は、図6bに示すように、ロボットを三人称時点とする画像630であってもよい。本発明においては、画像630を「三人称時点の画像」ともいう。
このような三人称時点の画像630は、空間に備えられたカメラ(例えば、CCTV)から受信する画像であり得る。三人称時点の画像630は、空間を走行するロボットを被写体として撮影した画像であり、図6bに示すように、撮影されたロボットに対応するロボットイメージ(又は被写体イメージ)Rを含む。
一方、本発明によるロボット管制方法においては、ロボットの走行に関する走行情報を受信する過程が行われる(S520)。
より具体的には、ロボットの走行に関する走行情報には、ロボットの走行速度、走行方向、回転方向、回転速度、走行開始、走行停止、走行終了などのように、ロボットの走行に関する少なくとも1つの情報が含まれる。
このような走行情報は、ロボットから受信するようにしてもよい。制御部150は、通信部110により、空間を走行するロボットから、リアルタイムで又は所定の時間間隔でロボットの走行情報を受信するようにしてもよい。
一方、ロボットの走行情報を取得する方法は、ロボットから受信する方法以外にも様々である。
例えば、制御部150は、予め設定されたアルゴリズムによる演算により、ロボットの走行情報を取得するようにしてもよい。より具体的には、制御部150は、ロボットの位置変位に基づいて、ロボットの走行速度を算出するようにしてもよい。この場合、制御部150は、空間に配置されたカメラから受信する画像を用いてロボットを検知し、検知したロボットの位置変位に基づいてロボットの走行速度を算出するようにしてもよい。
このようにロボットが走行する空間の画像及びロボットの走行に関する走行情報を受信すると、本発明においては、受信した画像及びロボットの走行情報に対応するグラフィックオブジェクトをディスプレイ部に共に出力する過程が行われる(S530)。
ここで、前記画像及び前記グラフィックオブジェクトを出力するディスプレイ部の種類に制限はない。例えば、ディスプレイ部は、ロボットを遠隔で管理する管理者のデバイスに備えられたものであり、図2に示すように、遠隔管制室100aに備えられてもよい。また、それとは異なり、ディスプレイ部は、モバイルデバイスに備えられたディスプレイであってもよい。
制御部150は、受信した画像にグラフィックオブジェクトがオーバーラップして表示されるように、ディスプレイ部を制御してもよい。図6a及び図6bに示すように、受信した画像610、630には、グラフィックオブジェクト620、640がオーバーラップするようにしてもよい。
ここで、画像610、630においてグラフィックオブジェクト620、640が占める面積は、ロボットとの距離及び画像の倍率を考慮して決定される。本発明において、グラフィックオブジェクトは、ロボットの走行に伴って生じ得る危険状況を管理者又は歩行者に認知させる役割を果たす。よって、グラフィックオブジェクトは、ロボットにより危険状況が生じ得る実際の空間に関する情報を反映しなければならない。よって、制御部150は、画像にグラフィックオブジェクトをオーバーラップして表示する際に、ロボットとの実際の距離が反映されるように、グラフィックオブジェクトのサイズを決定するようにしてもよい。
保存部120には、ロボットの走行情報(例えば、走行速度)に基づいて、危険領域の面積(又は大きさ)に関する情報が保存されて存在するようにしてもよい。例えば、保存部120には、ロボットの走行速度を基準に区分される、マッチした危険領域の属性に関する属性情報が含まれてもよい。属性情報には、危険領域の半径情報、危険領域の形状、危険領域の横長及び縦長の少なくとも1つが含まれる。
制御部150は、このような属性情報を参照して、グラフィックオブジェクトの出力サイズを、危険領域の実際の大きさに対応して決定するようにしてもよい。
一方、画像610、630は、ロボットが含まれる空間を撮影した画像であり、このような画像610、630は、空間の大きさを所定の比率で縮小した倍率を有する。よって、制御部150は、グラフィックオブジェクトの出力サイズも、画像が縮小された倍率と同じ倍率で危険領域の面積を縮小することにより決定するようにしてもよい。
以下、グラフィックオブジェクトが出力される例について説明する。
一例として、図6aに示すように、制御部150は、一人称時点の画像610にグラフィックオブジェクト620をオーバーラップして出力するようにしてもよい。
他の例として、図6bに示すように、制御部150は、三人称時点の画像630にグラフィックオブジェクト640をオーバーラップして出力するようにしてもよい。
その他にも、制御部150は、ロボットの走行情報に応じた視覚的特性を有するグラフィックオブジェクトに対応するデータをロボットRに送信するようにしてもよい。制御部150は、ロボットの走行情報に応じた視覚的特性が反映されたグラフィックオブジェクトに対応するイメージデータを生成するようにしてもよい。また、通信部110により、生成したイメージデータをロボットRに送信するようにしてもよい。ロボットRは、受信したイメージデータに基づいてグラフィックオブジェクトを出力するようにしてもよい。また、ロボットRは、グラフィックオブジェクトを独自に生成するようにしてもよく、その場合、グラフィックオブジェクトを生成する方法としては、後述する方法が同様に適用される。
一方、ロボットRは、図6cの(a)及び(b)に示すように、出力部により、ロボットの周辺にグラフィックオブジェクト650、660を出力するようにしてもよい。ここで、出力部は、空間に向けて視覚的な情報を出力する構成要素であればよく、出力部の配置位置及び種類については特に限定しない。例えば、出力部は、LED(Light-Emitting Diode)やプロジェクタなどであってもよい。
一方、図6a、図6b及び図6cに示すように、グラフィックオブジェクト620、640、650、660は、一方向に順次配列される複数の領域621、622、623、641、642、643、651、652、653、661、662、663を含んでもよい。グラフィックオブジェクトがディスプレイ部又はロボットにより出力される場合、前記一方向は、ロボットRが走行する走行方向に対応するようにしてもよい。
一例として、図6aに示すように、一人称時点の画像610は、ロボットが走行する方向を写す画像であるので、この場合、グラフィックオブジェクト620は、ロボットの走行方向に対応する一方向に順次配列された複数の領域621、622、623を含むようにしてもよい。
このとき、ディスプレイ部に出力される画像は、ロボットが走行方向に走行している空間を見ている画像である。よって、画像において、ディスプレイ部の下側に出力される部分に対応する空間上での位置は、ディスプレイ部の上側に出力される部分に対応する空間上での位置よりも、ロボットに近い位置である。
よって、図6aに示すように、画像610において、複数の領域621、622、623のうち、ディスプレイ部の下側に最も近い位置に出力される第1領域621がオーバーラップした部分は、第1領域621を除く他の領域622、623がオーバーラップした部分よりも、画像610に対応する実際の空間において、相対的にロボットに最も近い位置に対応する空間である。
他の例として、図6bに示すように、三人称時点の画像630は、ロボットに対応するロボットイメージ(又は被写体イメージ)R及びロボットの走行方向に向けて配置されたグラフィックオブジェクト640を含む。この場合、グラフィックオブジェクト640は、ロボットの走行方向に対応する一方向に順次配列された複数の領域641、642、643を含むようにしてもよい。
さらに他の例として、図6cに示すように、ロボットが直接グラフィックオブジェクト650を出力する場合、ロボットは、図6cの(a)に示すように、走行方向に向けてグラフィックオブジェクト650を出力するようにしてもよい。同図に示すように、グラフィックオブジェクト650は、ロボットの走行方向に対応する一方向に順次配列された複数の領域651、652、653を含むようにしてもよい。一方、ロボットの走行方向が変更されると、グラフィックオブジェクト650の出力位置が変更されるようにしてもよい。例えば、ロボットが正面方向に走行すると、グラフィックオブジェクト650はロボットの正面方向の第1空間に出力され、ロボットが背面方向に走行すると(例えば、後退すると)、グラフィックオブジェクト650は前記第1空間の反対方向の第2空間に出力されるようにしてもよい。
また、ロボットは、図6cの(b)に示すように、走行方向だけでなく、ロボットを囲む周辺領域に対してグラフィックオブジェクト650を出力するようにしてもよい。同図に示すように、ロボットの360°半径でグラフィックオブジェクト650が出力されるようにしてもよい。この場合も、同様に、グラフィックオブジェクト650は、ロボットの走行方向に対応する一方向に順次配列された複数の領域661、662、663を含むようにしてもよい。
なお、本発明において、グラフィックオブジェクトは、危険状況を通知するためのものであり、ロボットの走行情報に応じてグラフィックオブジェクトの視覚的特性が異なるようにしてもよい。
前述したように、危険状況とは、ロボットに関連して事故が生じ得る状況を意味する。例えば、危険状況として、空間に位置するオブジェクト(静的オブジェクト及び動的オブジェクトの少なくとも一方)と衝突し得る状況が挙げられる。
制御部150は、ロボットの走行情報に基づいて、ロボットが走行する空間で、ロボットにより危険が生じる可能性の高い領域を危険領域に設定し、危険領域に対して相対的に危険が生じる可能性の低い領域を安全領域に設定するようにしてもよい。また、危険領域と安全領域間には、少なくとも1つの中間領域が存在するようにしてもよい。さらに、本発明は、このような走行情報が視覚的特性として反映されたグラフィックオブジェクトを図6a、図6b及び図6cのような方式で出力するようにしてもよい。
以下、グラフィックオブジェクトがどの時点の画像に出力されたか、又はどの主体により出力されたかを区分せず、ロボットの走行情報に応じてグラフィックオブジェクトの視覚的特性を決定する方法について、図7a、図7b、図7c、図7d及び図7eを参照して具体的に説明する。
制御部150は、このような危険領域及び安全領域に関する情報を、グラフィックオブジェクトを用いてディスプレイ部に表示することにより、ロボットの走行に伴って生じ得る危険状況に関する情報を、ロボットを管制する管理者に直観的に提供することができる。また、図6cを参照して説明したように、ロボットがグラフィックオブジェクトを直接表示した場合、ロボットの周辺に位置する歩行者(又はユーザ)は、当該グラフィックオブジェクトを認識し、ロボットにより生じ得る危険状況に関する情報を直観的に把握することができる。
本発明において、制御部150は、ロボットの走行情報に基づいてグラフィックオブジェクトの視覚的特性を制御し、危険状況に関する情報を出力するようにしてもよい。
ここで、ロボットにより生じ得る危険状況は、ロボットの走行情報に基づいて決定されるようにしてもよい。例えば、ロボットの走行速度が速い場合、ロボットの走行速度が遅い場合よりも、歩行者との衝突危険がさらに大きい。よって、本発明において、制御部150は、ロボットの走行情報に基づいて、グラフィックオブジェクトの視覚的特性を決定するようにしてもよい。グラフィックオブジェクトの視覚的特性は、様々な視覚的要素(又は特徴)により定義することができる。グラフィックオブジェクトの視覚的特性を決定する視覚的要素としては、例えば、i)グラフィックオブジェクトにおける複数の領域間のサイズ比率(又は複数の領域がそれぞれ占める面積)、ii)グラフィックオブジェクトを構成する複数の領域のそれぞれの色、iii)グラフィックオブジェクトの縦長、iv)グラフィックオブジェクトの横長(又は幅)などが挙げられる。
制御部150は、前記列挙された視覚的要素の少なくとも1つを用いて、ロボットに関連する危険状況を反映するようにしてもよい。
一例として、制御部150は、複数の領域の比率を変化させ、異なる危険状況の程度を示すように表示してもよい。他の例として、制御部150は、複数の領域の色を変化させ、異なる危険状況の程度を示すように表示してもよい。
より具体的には、図7a及び図7bに示すように、グラフィックオブジェクト710a、710bは、一方向に順次配列される複数の領域711a、712a、713a、711b、712b、713bを含んでもよい。グラフィックオブジェクトがディスプレイ部又はロボットにより出力される場合、前記一方向は、ロボットRが走行する走行方向に対応するようにしてもよい。
本発明において、グラフィックオブジェクト710a、710bに含まれる複数の領域711a、712a、713a、711b、712b、713bは、前記ロボットの走行に関する異なる危険等級のそれぞれにマッチングされるようにしてもよい。また、グラフィックオブジェクト710a、710bにおける複数の領域711a、712a、713a、711b、712b、713bは、高い危険等級から低い危険等級の順に次第に遠ざかる方向に配列されるようにしてもよい。ここで、「高い危険等級から低い危険等級の順に次第に遠ざかる方向」は、ロボットの走行方向であり得る。また、「高い危険等級から低い危険等級の順に次第に遠ざかる方向」は、空間上でロボットから次第に遠ざかる方向に対応する方向であり得る。
制御部150は、異なる危険等級のうち危険度が最も高い第1等級は、複数の領域711a、712a、713a、711b、712b、713bのうちロボットに最も近く位置する第1領域711a、711bにマッチングされるようにしてもよい。ここで、図6aにおいて、ロボットに最も近い領域は、ディスプレイ部の下側に最も近く配置された領域621であり得る。
制御部150は、前記異なる危険等級のうち危険度が最も低い第2等級は、複数の領域711a、712a、713a、711b、712b、713bのうち前記ロボットに最も遠く位置する第2領域713a、713bにマッチングされるようにしてもよい。ここで、図6aにおいて、ロボットに最も遠い領域は、ディスプレイ部の上側に最も近く配置された領域623であり得る。
制御部150は、ロボットの走行情報に基づいて、グラフィックオブジェクト710a、710bにおいて複数の領域711a、712a、713a、711b、712b、713bがそれぞれ占める面積(又はそれぞれの比率)を制御してもよい。
前述したように、前記走行情報には、前記ロボットの走行速度が含まれ、制御部150は、ロボットの走行速度に応じて、グラフィックオブジェクト710a、710bにおいて複数の領域711a、712a、713a、711b、712b、713bがそれぞれ占める面積(又はそれぞれの比率)を制御してもよい。
制御部150は、ロボットの走行速度が速くなるほど(又はロボットが速く走行するほど)ロボットに近い位置にオーバーラップしている第1領域711a、711bが大きくなるように、グラフィックオブジェクトに対応するデータを生成するようにしてもよい。ここで、第1領域711a、711bは、最も高い危険度を有する第1等級にマッチングされる領域であり得る。よって、制御部150は、ロボットの走行速度が速くなるほど(又はロボットが速く走行するほど)第1領域711a、711bが大きくなるように、ディスプレイ部を制御するか、又はそれに対応するデータを生成するようにしてもよい。前述したように、画像においてグラフィックオブジェクトがオーバーラップする領域は、実際の空間に対応する領域である。
このように、前記ロボットの走行速度が速くなるほど、前記グラフィックオブジェクトにおいて、前記第1領域が占める面積は、前記第2領域が占める面積に比べて相対的に大きくなる。図7aの(a)におけるロボットの走行速度は、図7aの(b)におけるロボットの走行速度より速い。この場合、制御部150は、グラフィックオブジェクトにおいて、図7aの(a)の第1領域711aが占める面積の方が、図7aの(b)の第1領域711bが占める面積より大きくなるように、ディスプレイ部を制御するか、又は関連データを生成するようにしてもよい。
よって、前記ロボットの走行速度が遅くなるほど、図7aに示すように、グラフィックオブジェクト710a、710bにおいて、第1領域711a、711bが占める面積は、第2領域713a、713bが占める面積に比べて相対的に小さくなる。なお、ロボットが停止した場合、グラフィックオブジェクトの出力サイズが最も小さくなる。
一方、保存部120には、ロボットの走行速度に応じた、グラフィックオブジェクトにおいてそれぞれの領域が占める面積の比率に関する情報が保存されて存在するようにしてもよい。
制御部150は、ロボットの現在の走行速度及び保存部120に保存された情報に基づいて、グラフィックオブジェクトにおいてそれぞれの領域が占める面積を決定するようにしてもよい。
このように、制御部150は、出力されるグラフィックオブジェクトのサイズが同じであっても、ロボットの走行速度に基づいて、グラフィックオブジェクトにおける複数の領域の面積が異なるように制御することにより、ロボットの走行に伴って生じ得る危険度に関する情報を管理者又は歩行者に提供することができる。
一方、制御部150は、グラフィックオブジェクトを構成する複数の領域のそれぞれが異なる色で表示されるようにしてもよい。制御部150は、複数の領域のそれぞれが異なる色で表示されるようにディスプレイ部を制御することにより、どの領域が最も危ない領域であるかに関する情報を管理者又は歩行者に提供することができる。
よって、図7aに示すように、危険度等級が最も高い第1領域711a、711bと危険度等級が最も低い第2領域713a、713bとは異なる色で表示される。
一方、前述したグラフィックオブジェクトの視覚的特性は、ロボットの走行情報が変更されることに連動して、リアルタイムで又は所定の間隔で変更されるようにしてもよい。よって、ロボットの走行中にロボットの速度が変更されると、前述した複数の領域の面積もロボットの走行速度に連動して変更されるようにしてもよい。
一方、前述したように、画像においてグラフィックオブジェクトが占める面積は、ロボットとの距離及び画像の倍率を考慮して決定される。本発明において、グラフィックオブジェクトは、ロボットの走行に伴って生じ得る危険状況を管理者又は歩行者に認知させる役割を果たす。よって、グラフィックオブジェクトは、ロボットにより危険状況が生じ得る実際の空間に関する情報を反映しなければならない。よって、制御部150は、画像にグラフィックオブジェクトをオーバーラップして表示する際に、ロボットとの実際の距離が反映されるように、グラフィックオブジェクトのサイズを決定するようにしてもよい。
保存部120には、ロボットの走行情報(例えば、走行速度)に基づいて、危険領域の面積(又は大きさ)に関する情報が保存されて存在するようにしてもよい。例えば、保存部120には、ロボットの走行速度を基準に区分される、マッチした危険領域の属性に関する属性情報が含まれてもよい。属性情報には、危険領域の半径情報、危険領域の形状、危険領域の横長及び縦長の少なくとも1つが含まれる。
制御部150は、このような属性情報を参照して、グラフィックオブジェクトの出力サイズを、危険領域の実際の大きさに対応して決定するようにしてもよい。
一方、画像は、ロボットが含まれる空間を撮影した画像であり、このような画像は、空間の大きさを所定の比率で縮小した倍率を有する。よって、制御部150は、グラフィックオブジェクトの出力サイズも、画像が縮小された倍率と同じ倍率で危険領域の面積を縮小することにより決定するようにしてもよい。
制御部150は、ロボットの走行情報(例えば、走行速度)に基づいて、グラフィックオブジェクトの出力サイズを決定するようにしてもよい。前述したように、制御部150は、保存部120に保存された属性情報を参照して、グラフィックオブジェクトの出力サイズを決定するようにしてもよい。つまり、前記グラフィックオブジェクトの長さ及び幅の少なくとも一方は、前記ロボットの走行速度に基づいて変更されるようにしてもよい。
一例として、図7bに示すように、制御部150は、ロボットの走行速度に基づいて、グラフィックオブジェクトの長さH1、H2が異なるように制御するようにしてもよい。ロボットの走行速度が速い場合(又はロボットが速く走行する場合)は、ロボットの走行速度が遅い場合(又はロボットが遅く走行する場合)よりも、空間でのロボットの移動変位が大きいので、危険領域がさらに大きく設定されなければならない。
よって、制御部150は、図7bの(a)及び(b)に示すように、ロボットの走行速度に応じて、グラフィックオブジェクト720a、720bの長さが異なるように設定してもよい。よって、ディスプレイ部又はロボットにおいては、ロボットの走行速度に応じて、異なる長さを有するグラフィックオブジェクト720a、720bが出力される。
この場合、グラフィックオブジェクトに含まれる複数の領域が占める比率も、図7aを参照して説明した方式で制御されるようにしてもよい。
他の例として、図7cに示すように、制御部150は、ロボットの走行速度に基づいて、グラフィックオブジェクトの幅W1、W2が異なるように制御するようにしてもよい。ロボットの走行速度が速い場合(又はロボットが速く走行する場合)は、ロボットの走行速度が遅い場合(又はロボットが遅く走行する場合)よりも、空間への接近に注意する必要がある。よって、ロボットの速度が速いほど、危険領域がさらに大きく設定されなければならない。
よって、制御部150は、図7cの(a)及び(b)に示すように、ロボットの走行速度に応じて、グラフィックオブジェクト730a、730bの長さが異なるように設定してもよい。よって、ディスプレイ部又はロボットにおいては、ロボットの走行速度に応じて、異なる幅を有するグラフィックオブジェクト730a、730bが出力される。
この場合、グラフィックオブジェクトに含まれる複数の領域が占める比率も、図7aを参照して説明した方式で制御されるようにしてもよい。
一方、制御部150は、図7dに示すように、ロボットの走行速度に基づいて、グラフィックオブジェクトの長さH1、H2及びグラフィックオブジェクトの幅W1、W2がどちらも異なるように制御するようにしてもよい。制御部150は、図7dの(a)及び(b)に示すように、ロボットの走行速度に応じて、グラフィックオブジェクト740a、740bの長さ及び幅がどちらも異なるように設定してもよい。よって、ディスプレイ部又はロボットにおいては、ロボットの走行速度に応じて、異なる長さ及び幅を有するグラフィックオブジェクト740a、740bが出力される。
一方、制御部150は、ロボットの走行に応じた走行属性だけでなく、ロボットの物理的サイズを考慮して、グラフィックオブジェクトの出力サイズを決定するようにしてもよい。図7eの(a)及び(b)に示すように、制御部150は、ロボットの幅R1W、R2Wに応じて、グラフィックオブジェクト750a、750bの幅W1、W2が異なるように設定してもよい。
保存部120には、ロボットの幅を基準とするグラフィックオブジェクトの幅に関する情報が保存されて存在するようにしてもよい。このようなグラフィックオブジェクトの幅に関する情報は、ロボットの幅に応じたグラフィックオブジェクトの最小の幅に関する閾値情報であってもよい。制御部150は、このようなグラフィックオブジェクトの最小の幅に関する閾値情報に基づいて、グラフィックオブジェクトの幅が前記閾値情報に対応する幅と等しいか又はそれより大きくなるように制御してもよい。同図に示すように、第1ロボットR1の幅R1Wが第2ロボットR2の幅R2Wより小さい場合、第1ロボットR1に対応して出力される第1グラフィックオブジェクト750aの幅の方を、第2ロボットR2に対応して出力される第2グラフィックオブジェクト750bの幅より小さくする。
このように、本発明においては、ロボットの物理的サイズを考慮して、グラフィックオブジェクトの出力サイズを制御することにより、ロボットにより生じ得る事故に備えることができる。
一方、一方向に前進していたロボットが走行方向を変更すると(例えば、ロボットが回転すると)、危険領域の位置が変更されるようにしてもよい。例えば、図7fの(a)及び(b)に示すように、ロボットの走行方向が変更される瞬間、ロボットの危険領域の位置が変更されるようにしてもよい。本発明においては、ロボットの走行方向が変更されることによりロボットの危険領域の位置が変更されると、ロボットの走行方向が変更されることに連動して、危険領域を示すグラフィックオブジェクトの出力位置が変更されるようにしてもよい。
制御部150は、図7fの(a)及び(b)に示すように、ロボットの回転方向に応じて、グラフィックオブジェクト710fの視覚的外観が変更されるようにしてもよい。ここで、グラフィックオブジェクト710fは、図7fの(b)に示すように、ロボットの回転方向を向いて傾くか又は曲線を形成するようにしてもよい。この場合、制御部150は、ロボットの回転速度に応じて、グラフィックオブジェクト710fの勾配又は曲率の程度を変化させることにより、ロボットの回転により生じる危険領域の範囲を管理者に直観的に通知することができる。
一方、制御部150は、ロボットが回転している間にのみ、図7fの(b)に示すように、グラフィックオブジェクト710fの勾配又は曲率の程度を変化させることにより、ロボットが回転している状態であることを通知するようにしてもよい。なお、制御部150は、ロボットが回転を完了し、一方向(例えば、ロボットの正面が向く方向)に走行を行うと、再び、図7fの(a)に示すように、グラフィックオブジェクト710fがロボットの正面方向を向くようにグラフィックオブジェクト710fの出力を制御してもよい。
また、制御部150は、ロボットの回転速度が予め設定された基準条件を満たす速度である場合に限り、グラフィックオブジェクトの勾配又は曲率の程度を変化させるようにしてもよい。ここで、予め設定された基準条件は、ロボットが周辺に危険を生じさせる程度に非常に速い速度で回転する場合(急速に回転する場合)であってもよい。
以上、ロボットの走行情報又はロボットの物理的サイズに基づいてグラフィックオブジェクトの視覚的特性を決定する方法について説明した。本発明によるロボット管制方法及びシステムにおいては、ロボットの走行情報だけでなく、空間に位置するオブジェクトの特性を考慮して、グラフィックオブジェクトの視覚的特性を決定するようにしてもよい。
例えば、制御部150は、画像から空間に位置するオブジェクトを抽出するようにしてもよい。ここで、オブジェクトとは、人や動物のように空間内で移動をする動的オブジェクトを意味する。制御部150は、このような動的オブジェクトを考慮して、グラフィックオブジェクトの出力サイズを決定するようにしてもよい。
制御部150は、画像から、動的オブジェクトの移動速度及び移動方向を考慮して、グラフィックオブジェクトの出力サイズを決定するようにしてもよい。ここで、制御部150は、グラフィックオブジェクトの出力サイズを、グラフィックオブジェクトの長さ及び幅の少なくとも一方により規定するようにしてもよい。
また、制御部150は、動的オブジェクトの移動速度及び移動方向を考慮して、グラフィックオブジェクトにおける複数の領域の面積を決定するようにしてもよい。
制御部150は、ロボットの走行情報及び動的オブジェクトの移動情報(例えば、移動速度及び移動方向)の少なくとも一方を用いて、グラフィックオブジェクトの視覚的特性を決定するようにしてもよい。
例えば、制御部150は、動的オブジェクトの移動速度が速くなるほど、グラフィックオブジェクトが大きく出力されるように、ディスプレイ部を制御してもよい。また、制御部150は、動的オブジェクトの移動速度が速くなるほど、グラフィックオブジェクトにおいて、危険度等級が最も高い第1等級にマッチングされる領域が大きくなるように、ディスプレイ部を制御してもよい。このとき、危険度等級が最も低い第2等級にマッチングされる領域は相対的に小さくなる。
ここで、制御部150は、動的オブジェクトがロボットに向かって移動する場合に限り、グラフィックオブジェクトのサイズ及び第1等級にマッチングされる領域のサイズが大きくなるように、ディスプレイ部を制御してもよい。これは、動的オブジェクトがロボットから遠ざかる方向に移動する場合は、ロボットとの衝突可能性が低いからである。
それに対して、制御部150は、動的オブジェクトがロボットから遠ざかる方向に移動する場合、グラフィックオブジェクトのサイズ及び第1等級にマッチングされる領域のサイズが小さくなるように、ディスプレイ部を制御してもよい。このとき、危険度等級が最も高い第1等級にマッチングされる領域は相対的に大きくなる。
前述したように、本発明において、制御部150は、前記画像から前記空間に位置する動的オブジェクトを検知することができる、このとき、制御部150は、動的オブジェクトとロボットとの距離を算出し、算出した距離及びロボットの移動速度を考慮して、動的オブジェクトとロボットとの衝突可能性を予測するようにしてもよい。
一方、このような衝突可能性は、動的オブジェクトの特性によってその予測が異なる。
動的オブジェクトの特性は非常に多様である。
一例として、制御部150は、動的オブジェクトが子供である場合、動的オブジェクトが大人である場合より動的オブジェクトとロボットとの衝突可能性が高いものと予測する。
他の例として、制御部150は、動的オブジェクトの移動速度が速い場合、動的オブジェクトの移動速度が遅い場合より動的オブジェクトとロボットとの衝突可能性が高いものと予測する。
さらに他の例として、制御部150は、動的オブジェクトがロボットに向かって移動する場合、動的オブジェクトがロボットから遠ざかる方向に移動する場合より動的オブジェクトとロボットとの衝突可能性が高いものと予測する。
さらに他の例として、制御部150は、空間に複数の動的オブジェクトが位置していて空間が混雑した場合、空間が閑散した場合より動的オブジェクトとロボットとの衝突可能性が高いものと予測する。
さらに他の例として、制御部150は、空間に位置する動的オブジェクトがロボットを向いて姿勢を取っている場合、動的オブジェクトがロボットを向いて姿勢を取っていない場合より動的オブジェクトとロボットとの衝突可能性が低いものと予測する。
このように、制御部150は、予め設定されたアルゴリズムに基づいて、空間に位置する動的オブジェクトの特性を考慮して、動的オブジェクトとロボットとの衝突可能性を予測する。ここで、前記空間に位置する動的オブジェクトは、ロボット又は空間に配置されたカメラから受信した画像から検知するようにしてもよい。また、前記予め設定されたアルゴリズムは、人工知能又はディープラーニングに基づくアルゴリズムで構成されてもよい。
さらに、図8に示すように、このような衝突可能性に基づいて、ロボットの走行に関するガイド情報830を画像810と共に出力するようにしてもよい。
一方、このような動的オブジェクト1000との衝突可能性に関する情報は、グラフィックオブジェクトのサイズの決定にも活用することができる。制御部150は、動的オブジェクト1000とロボットとの衝突可能性が高くなるほど、グラフィックオブジェクトの出力サイズ及び危険度等級が最も高い第1等級にマッチングされる領域のサイズが大きくなるように、ディスプレイ部を制御してもよい。一方、制御部150は、このような特性が反映されたイメージデータをロボットに送信し、前記ロボットは、前記イメージデータに基づいて、動的オブジェクト1000とロボットとの衝突可能性が考慮されたグラフィックオブジェクトを出力するようにしてもよい。
前述したように、本発明によるロボット管制方法及びシステムは、ロボットから画像を受信し、受信した画像にロボットの走行情報に関するグラフィックオブジェクトを共に表示することができる。
より具体的には、本発明は、グラフィックオブジェクトを活用して、ロボットの走行に伴って生じる危険状況(例えば、衝突危険状況など)に対処できる情報を提供することができる。よって、ロボットを遠隔で管理するユーザは、グラフィックオブジェクトを参照して、遠隔でもロボットを安定して管理及び運用することができる。
一方、前述した本発明は、コンピュータで1つ以上のプロセスにより実行され、コンピュータ可読媒体に保存できるプログラムとして実現することができる。
また、前述した本発明は、プログラム記録媒体にコンピュータ可読コード又はコマンドとして実現することができる。すなわち、本発明は、プログラムの形態で提供することができる。
一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ記憶装置などが挙げられる。
また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから本発明によるプログラムをダウンロードすることができる。
さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置(Central Processing Unit, CPU)が搭載された電子機器であり、その種類は特に限定されない。
一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は添付の特許請求の範囲の合理的解釈により定められるべきであり、本発明の均等の範囲内でのあらゆる変更が本発明の範囲に含まれる。
10 空間
20 カメラ
110 通信部
120 保存部
130 ディスプレイ部
150 制御部
610、630、810 画像
620、640、650、660、710a、710b、720a、720b、730a、730b、740a、740b、750a、750b、710f グラフィックオブジェクト
621、622、623、641、642、643、651、652、653、661、662、663、711a、712a、713a、711b、712b、713b 複数の領域
1000 動的オブジェクト
2000 画像管制システム
R ロボット

Claims (13)

  1. ロボットが走行する空間の画像を受信するステップと、
    前記画像から前記空間に位置する動的オブジェクトを検知するステップと、
    前記ロボットから前記ロボットの走行に関する走行情報を受信するステップと、
    前記画像と共に前記ロボットに対応するロボットイメージの周辺に前記走行情報に対応するグラフィックオブジェクトが出力されるように、ディスプレイ部を制御するステップと、を含み、
    前記グラフィックオブジェクトの視覚的特性は、前記走行情報に基づいて決定され、
    前記ディスプレイ部を制御するステップにおいては、
    前記画像に前記グラフィックオブジェクトがオーバーラップして出力されるように、前記ディスプレイ部を制御し、
    前記グラフィックオブジェクトは、一方向に順次配列される複数の領域を含み、
    前記グラフィックオブジェクトの視覚的特性は、前記グラフィックオブジェクトにおいて前記複数の領域のそれぞれが占める面積に関するものであり、
    前記複数の領域は、前記ロボットの走行に関する異なる危険等級にそれぞれマッチングされ、前記ロボットから次第に遠ざかる方向に配列され、
    前記異なる危険等級は、前記動的オブジェクトが前記ロボットを向く姿勢を取っている場合に、前記動的オブジェクトが前記ロボットを向く姿勢を取っていない場合より衝突可能性が低いものと予測して変更されるものであり、
    前記ロボットイメージの周辺に出力される前記グラフィックオブジェクトは、
    前記ロボットが正面方向に向かって走行する場合、前記正面方向の第1空間に出力され、
    前記ロボットが後面方向に向かって走行する場合、前記後面方向の第2空間に出力されることを特徴とするロボット管制方法。
  2. 前記異なる危険等級のうち、危険度が最も高い第1等級は、前記複数の領域のうち、前記ロボットに最も近く位置する第1領域にマッチングされ、
    前記異なる危険等級のうち、危険度が最も低い第2等級は、前記複数の領域のうち、前記ロボットに最も遠く位置する第2領域にマッチングされることを特徴とする請求項1に記載のロボット管制方法。
  3. 前記グラフィックオブジェクトにおいて前記第1領域及び前記第2領域がそれぞれ占める面積は、前記走行情報に基づいて決定されることを特徴とする請求項2に記載のロボット管制方法。
  4. 前記走行情報には、前記ロボットの走行速度が含まれ、
    前記ロボットの走行速度が速くなるほど、前記グラフィックオブジェクトにおいて、前記第1領域が占める面積は、前記第2領域が占める面積に比べて相対的に大きくなり、
    前記ロボットの走行速度が遅くなるほど、前記グラフィックオブジェクトにおいて、前記第1領域が占める面積は、前記第2領域が占める面積に比べて相対的に小さくなることを特徴とする請求項3に記載のロボット管制方法。
  5. 前記第1領域及び前記第2領域は、異なる色で表示されることを特徴とする請求項3に記載のロボット管制方法。
  6. 前記第1領域及び前記第2領域の面積は、前記空間での前記動的オブジェクトの移動方向及び移動速度の少なくとも一方に基づいて変更されることを特徴とする請求項2乃至5のいずれか1項に記載のロボット管制方法。
  7. 前記グラフィックオブジェクトの長さ及び幅の少なくとも一方は、前記ロボットの走行速度に基づいて変更されることを特徴とする請求項1乃至6のいずれか1項に記載のロボット管制方法。
  8. 前記画像は、前記ロボットの走行方向を画角とするカメラから受信され、
    前記第1領域及び前記第2領域は、前記ディスプレイ部の下側から上側への一方向に順次配置されることを特徴とする請求項2乃至6のいずれか1項に記載のロボット管制方法。
  9. 前記画像は、前記空間に配置されたカメラから受信され、
    前記画像は、前記ロボットイメージを含み、前記グラフィックオブジェクトは、前記ロボットの走行方向を基準に前記ロボットイメージの周辺に出力されることを特徴とする請求項1乃至8のいずれか1項に記載のロボット管制方法。
  10. ディスプレイ部と、
    ロボットが走行する空間の画像及び前記ロボットの走行に関する走行情報を受信する通信部と、
    前記画像と共に前記走行情報に対応するグラフィックオブジェクトが出力されるように、前記ディスプレイ部を制御する制御部と、
    前記ロボットの周辺に前記グラフィックオブジェクトが出力されるように、前記ロボットが走行する前記空間に向けて視覚的情報を出力する前記ロボットの出力部とを含み、
    前記制御部は、請求項1乃至9のいずれか1項に記載のロボット管制方法を実行することを特徴とするロボット管制システム。
  11. 安全ガイドラインに沿ってロボットが走行する建物を含むシステムにおいて、
    前記建物は、
    前記ロボットが走行する室内領域と、
    前記室内領域に配置される複数のカメラとを含み、
    前記システムは、前記ロボットと通信するクラウドサーバをさらに含み、前記クラウドサーバは、
    前記カメラから前記ロボットが走行する空間の画像を受信し、
    前記画像から前記空間に位置する動的オブジェクトを検知し、
    前記画像と共に前記ロボットを前記室内領域で安全に走行させる安全情報に関するグラフィックオブジェクトが前記ロボットに対応するロボットイメージの周辺に出力されるようにディスプレイ部を制御し
    前記グラフィックオブジェクトの視覚的特性は、前記ロボットの走行情報に基づいて決定され、
    前記グラフィックオブジェクトは、前記画像にオーバーラップして出力され、
    前記グラフィックオブジェクトは、一方向に順次配列される複数の領域を含み、
    前記グラフィックオブジェクトの視覚的特性は、前記グラフィックオブジェクトにおいて前記複数の領域のそれぞれが占める面積に関するものであり、
    前記複数の領域は、前記ロボットの走行に関する異なる危険等級にそれぞれマッチングされ、
    前記ロボットから次第に遠ざかる方向に配列され、
    前記異なる危険等級は、前記動的オブジェクトが前記ロボットを向く姿勢を取っている場合に、前記動的オブジェクトが前記ロボットを向く姿勢を取っていない場合より衝突可能性が低いものと予測して変更されるものであり、
    前記ロボットイメージの周辺に出力される前記グラフィックオブジェクトは、
    前記ロボットが正面方向に向かって走行する場合、前記正面方向の第1空間に出力され、
    前記ロボットが後面方向に向かって走行する場合、前記後面方向の第2空間に出力されることを特徴とするシステム
  12. 前記異なる危険等級のうち、危険度が最も高い第1等級は、前記複数の領域のうち、前記画像において前記ロボットが位置する領域に最も近い第1領域にマッチングされ、
    前記異なる危険等級のうち、危険度が最も低い第2等級は、前記複数の領域のうち、前記画像において前記ロボットから最も遠い第2領域にマッチングされることを特徴とする請求項11に記載のシステム
  13. 前記グラフィックオブジェクトにおいて前記第1領域及び前記第2領域がそれぞれ占める面積は、前記走行情報に基づいて決定されることを特徴とする請求項12に記載のシステム
JP2021136951A 2020-08-27 2021-08-25 ロボット管制方法及びシステム Active JP7370362B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0108503 2020-08-27
KR1020200108503A KR102462634B1 (ko) 2020-08-27 2020-08-27 공간을 주행하는 로봇을 관제하는 건물, 로봇 관제 방법 및 시스템
KR10-2021-0082285 2021-06-24
KR1020210082285A KR20220027746A (ko) 2020-08-27 2021-06-24 로봇 주행에 따른 안전 가이드 라인을 제공하는 건물

Publications (2)

Publication Number Publication Date
JP2022040060A JP2022040060A (ja) 2022-03-10
JP7370362B2 true JP7370362B2 (ja) 2023-10-27

Family

ID=80358549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021136951A Active JP7370362B2 (ja) 2020-08-27 2021-08-25 ロボット管制方法及びシステム

Country Status (3)

Country Link
US (1) US20220066446A1 (ja)
JP (1) JP7370362B2 (ja)
KR (1) KR20220027746A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240079281A (ko) * 2022-11-28 2024-06-05 엘지전자 주식회사 복수개의 로봇과 통신 가능한 클라우드 서버의 제어 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005015466A1 (ja) 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. 生活支援システム及びその制御用プログラム
JP2011085999A (ja) 2009-10-13 2011-04-28 Ihi Aerospace Co Ltd 遠隔操縦システム
JP2018000383A (ja) 2016-06-29 2018-01-11 パナソニックIpマネジメント株式会社 歩行支援ロボット及び歩行支援方法
WO2018066054A1 (ja) 2016-10-04 2018-04-12 三菱電機株式会社 エレベーター制御装置および自律移動体制御装置
WO2018155159A1 (ja) 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
WO2018159315A1 (ja) 2017-02-28 2018-09-07 パナソニックIpマネジメント株式会社 遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラム
US20190227543A1 (en) 2018-01-24 2019-07-25 Hanwha Land Systems Co., Ltd. Driving information display device, driving information display method, and method of controlling driving speed of working vehicle
JP2019133450A (ja) 2018-01-31 2019-08-08 パナソニックIpマネジメント株式会社 移動ロボット及び移動ロボットの制御方法
CN110869866A (zh) 2017-07-07 2020-03-06 祖克斯有限公司 车辆与远程操作***之间的交互

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100993241B1 (ko) * 2008-07-04 2010-11-10 고려대학교 산학협력단 이동 로봇 모니터링 시스템, 및 방법
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
WO2019224162A1 (en) * 2018-05-22 2019-11-28 Starship Technologies Oü Method and system for analyzing robot surroundings
KR102280798B1 (ko) * 2019-06-18 2021-07-22 엘지전자 주식회사 카트 로봇 및 로봇 관제 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005015466A1 (ja) 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. 生活支援システム及びその制御用プログラム
JP2011085999A (ja) 2009-10-13 2011-04-28 Ihi Aerospace Co Ltd 遠隔操縦システム
JP2018000383A (ja) 2016-06-29 2018-01-11 パナソニックIpマネジメント株式会社 歩行支援ロボット及び歩行支援方法
WO2018066054A1 (ja) 2016-10-04 2018-04-12 三菱電機株式会社 エレベーター制御装置および自律移動体制御装置
WO2018155159A1 (ja) 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
WO2018159315A1 (ja) 2017-02-28 2018-09-07 パナソニックIpマネジメント株式会社 遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラム
CN110869866A (zh) 2017-07-07 2020-03-06 祖克斯有限公司 车辆与远程操作***之间的交互
US20190227543A1 (en) 2018-01-24 2019-07-25 Hanwha Land Systems Co., Ltd. Driving information display device, driving information display method, and method of controlling driving speed of working vehicle
JP2019133450A (ja) 2018-01-31 2019-08-08 パナソニックIpマネジメント株式会社 移動ロボット及び移動ロボットの制御方法

Also Published As

Publication number Publication date
KR20220027746A (ko) 2022-03-08
JP2022040060A (ja) 2022-03-10
US20220066446A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
JP5905031B2 (ja) モバイルテレプレゼンスロボットとのインタフェーシング
EP3945389B1 (en) Control method and system for robot
JP7213924B2 (ja) ロボット遠隔制御方法及びシステム
KR102462634B1 (ko) 공간을 주행하는 로봇을 관제하는 건물, 로봇 관제 방법 및 시스템
KR102671223B1 (ko) 맵 생성 방법, 이를 이용한 로봇 원격 제어 방법 및 시스템
JP7370362B2 (ja) ロボット管制方法及びシステム
KR20240042369A (ko) 로봇 친화형 건물, 로봇 및 건물을 주행하는 멀티-로봇 제어 시스템
KR20240025571A (ko) 로봇 친화형 건물, 복수의 로봇들을 이용한 협업 방법 및 시스템
KR102489722B1 (ko) 엘리베이터의 최적 대기 위치에 탑승하는 로봇이 주행하는 건물
KR102315361B1 (ko) 실내 공간을 주행하는 로봇의 동작을 평가하는 건물
KR102489723B1 (ko) 로봇 원격 제어 방법 및 시스템
KR20230144380A (ko) 로봇 친화형 건물, 로봇 운영 모니터링 방법 및 시스템
KR102462635B1 (ko) 실내 공간을 주행하는 로봇의 동작을 평가하는 건물
KR102620941B1 (ko) 건물을 주행하는 로봇 제어 방법 및 시스템
KR102657615B1 (ko) 로봇 친화형 건물, 로봇의 충전 제어 방법 및 시스템
KR20230171826A (ko) 로봇 친화형 건물, 로봇 운용을 위한 맵 생성 방법 및 시스템
KR20230173939A (ko) 로봇 친화형 건물, 로봇 운용을 위한 맵 생성 방법 및 시스템
KR20230056270A (ko) 건물을 주행하는 로봇 제어 방법 및 시스템
KR20230041353A (ko) 로봇 친화형 건물, 건물을 주행하는 로봇 제어 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231017

R150 Certificate of patent or registration of utility model

Ref document number: 7370362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150