JP7023971B2 - サービス提供システム、サービス提供方法およびサービス提供システム用管理装置 - Google Patents
サービス提供システム、サービス提供方法およびサービス提供システム用管理装置 Download PDFInfo
- Publication number
- JP7023971B2 JP7023971B2 JP2019544585A JP2019544585A JP7023971B2 JP 7023971 B2 JP7023971 B2 JP 7023971B2 JP 2019544585 A JP2019544585 A JP 2019544585A JP 2019544585 A JP2019544585 A JP 2019544585A JP 7023971 B2 JP7023971 B2 JP 7023971B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- robot
- unit
- image
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 10
- 238000001514 detection method Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 10
- 230000037152 sensory function Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 5
- 241000282412 Homo Species 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 26
- 238000007726 management method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 235000019613 sensory perceptions of taste Nutrition 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000035923 taste sensation Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0645—Rental transactions; Leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40131—Virtual reality control, programming of manipulator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Robotics (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Economics (AREA)
- Accounting & Taxation (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Operations Research (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、移動可能なロボットを活用してユーザに各種サービスを提供するサービス提供システム、サービス提供方法およびサービス提供システム用管理装置に関する。
この種のシステムとして、従来、ネットワークを介したユーザ端末からの指令により遠隔地のロボットを移動させるようにしたシステムが知られている（例えば特許文献１参照）。この特許文献１記載のシステムでは、ロボットに視覚センサが設けられ、視覚センサにより取得された画像信号がネットワークを介してユーザ端末に出力される。
特許文献１：特開２００５－６４８３７号公報
ところで、このようなロボットを用いたサービスが流行すると、ロボットの数が増えて、ユーザが利用するロボットの周囲に別のロボットが存在する可能性が高まる。その結果、ユーザは、提供されるサービスに対し十分な満足感を得られないおそれがある。
本発明の一態様であるサービス提供システムは、無線通信を介したユーザからの指令に応じて動作し、人が有する外界を感知するための感覚機能に対応した機能を有する検出部であって、カメラを含む検出部を備える移動可能なロボットと、カメラにより得られた画像に基づいて撮影対象が人であるか他のロボットであるかを判定する対象判定部と、対象判定部による判定結果に応じた信号を出力する出力部と、出力部により出力された信号に基づいてユーザが知覚可能な態様で動作する、表示部を有するユーザ機器と、を備え、出力部は、対象判定部により撮影対象が人であると判定されると、カメラにより得られた人の画像が表示部に表示され、撮影対象が他のロボットであると判定されると、他のロボットに対応付けられた他のユーザの外見を示す画像が表示部に表示されるようにユーザ機器に信号を出力する。
本発明の他の態様は、無線通信を介したユーザからの指令に応じて動作し、人が有する外界を感知するための感覚機能に対応した検出機能を有する検出部であって、カメラを含む検出部を備える移動可能なロボットと、表示部を有し、ユーザが知覚可能な態様で動作するユーザ機器と、を用いて、ユーザにサービスを提供するサービス提供方法であって、コンピュータが、カメラにより得られた画像に基づいて撮影対象が人であるか他のロボットであるかを判定し、撮影対象が人であると判定されると、カメラにより得られた人の画像が表示部に表示され、撮影対象が他のロボットであると判定されると、他のロボットに対応付けられた他のユーザの外見を示す画像が表示部に表示されるようにユーザ機器に信号を出力することを含む。
本発明のさらなる他の態様であるサービス提供システム用管理装置は、表示部を有するユーザ機器、及び、人が有する外界を感知するための感覚機能に対応した機能を有する検出部であって、カメラを含む検出部を備える移動可能なロボットと信号の送受信が可能な通信接続部と、通信接続部を介して受信したロボットからの信号より示される前記カメラにより得られた画像に基づいて撮影対象が人であるか他のロボットであるかを判定する対象判定部と、対象判定部により撮影対象が人であると判定されると、前記カメラにより得られた人の画像が前記表示部に表示され、撮影対象が他のロボットであると判定されると、前記他のロボットに対応付けられた他のユーザの外見を示す画像が前記表示部に表示されるようにユーザ機器に信号を出力する出力部と、を備える。
本発明によれば、ユーザが利用するロボットの周囲に他のロボットが存在する場合であっても、ユーザに対し十分な満足感を与えるサービスを提供することができる。
以下、図１～図９を参照して本発明の実施形態について説明する。本発明の実施形態に係るサービス提供システムは、ユーザからの指令により、ユーザから離れた場所に位置するロボットを動作させるとともに、ロボットにより検出された信号に基づいて、ユーザに知覚可能な態様でサービスを提供するものである。
ロボットは、ユーザからの指令により単独で行動することができるが、以下では、単独ではなくロボットがユーザの家族等の第三者とともに行動する例を説明する。具体的には、ユーザが家族とともに外出（例えば旅行）することが困難な場合に、ユーザの代わりにロボットが家族とともに旅行し、そのときにロボットが得た情報を、ユーザに提供するようにサービス提供システムを構成する。これによりユーザは、例えば自宅にいながら、あたかも家族とともに旅行している気分を味わうことができる。
図１は、本発明の実施形態に係るサービス提供システム１００の全体構成を概略的に示す図である。図１に示すように、サービス提供システム１００は、Ａ地点に位置するユーザＡに装着されたユーザ機器１０Ａと、Ｂ地点に位置するユーザＢに装着されたユーザ機器１０Ｂと、Ｃ地点に位置してユーザＡにより操作されるロボット２０Ａと、Ｃ地点に位置してユーザＢにより操作されるロボット２０Ｂと、管理サーバ３０とを含んで構成される。
これらユーザ機器１０Ａと、ユーザ機器１０Ｂと、ロボット２０Ａと、ロボット２０Ｂと、管理サーバ３０とは、インターネット回線等の無線通信網を含むネットワーク１で通信可能に接続される。なお、ユーザ機器１０Ａ，１０Ｂは互いに同一構成であり、これを符号１０で表すこともある。ロボット２０Ａ，２０Ｂは互いに同一構成であり、これを符号２０で表すこともある。
Ａ地点とＢ地点とＣ地点とは、互いに離れた地点、例えば互いに異なる地域である。なお、互いに異なる国であってもよい。Ａ地点とＢ地点とが同一の地点であり、Ｃ地点がＡ地点とＢ地点とに対し離れた地点（遠隔地）であってもよい。Ｃ地点のロボット２０Ａ，２０Ｂは、Ｃ地点またはＣ地点の近傍の店舗２からレンタルされる。すなわち、ロボット２０Ａは、店舗２に赴いたユーザＡの家族によりレンタルされ、Ｃ地点でユーザＡの家族とともに行動する。ロボット２０Ｂは、店舗２に赴いたユーザＢの家族によりレンタルされ、Ｃ地点でユーザＢの家族とともに行動する。ロボット２０Ａ，２０Ｂは、Ｃ地点での旅行が終了するときにユーザＡ，Ｂの家族により店舗２に返却される。店舗２の各ロボット２０には、予め固有の識別ＩＤが付されている。
図２は、ユーザ機器１０の構成を示す図である。図２に示すようにユーザ機器１０は、例えば全体が略ヘルメット形状を呈するウェアラブルコンピュータであり、ユーザの頭部に装着される。ユーザ機器１０は、ユーザの脳波や脳磁波、脳血流の状態等の脳活動を検出する複数のセンサ１１を備える。すなわち、ユーザ機器１０は、ユーザの思考ないし意図を脳活動信号から検出し、身体を使うことなく機械操作を実現する、いわゆるブレインマシンインタフェース（ＢＭＩ）を備える。
さらにユーザ機器１０は、ディスプレイ１２と、マイク１３と、スピーカ１４と、入力装置１５と、コントローラ１６と、無線ユニット１７とを有する。ディスプレイ１２は、例えば非透過型のヘッドマウントディスプレイであり、ユーザの顔面を覆うように配置され、ロボット２０からのカメラ画像だけでなく、仮想現実の三次元画像を表示することができる。マイク１３は、ユーザの口元に配置され、ユーザの発話による音声信号を入力する。スピーカは、ユーザの耳元に配置され、音声を出力する。入力装置１５は、ユーザにより操作されるスイッチやタッチパネル等により構成され、入力装置１５を介してユーザの個人情報等、各種情報を入力することができる。
コントローラ１６は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を有するマイクロコンピュータを含み、無線ユニット１７を制御して管理サーバ３０との間で通信する。例えばコントローラ１６は、センサ１１とマイク１３とからの信号を管理サーバ３０に送信させる。さらにコントローラ１６は、管理サーバ３０からの信号に基づきディスプレイ１２やスピーカ１４などに制御信号を出力する。
図３は、ロボット２０の構成を示す図である。図３に示すようにロボット２０は、頭、胴体、２つの腕部、２つの脚部を有する人型ロボットであり、二足歩行によりロボット自身で移動することができる。ロボット２０の高さは、成人の身長に近く、例えば１４０～１６０ｃｍ程度である。
ロボット２０は、外界を感知するための人の感覚機能である五感に対応した検出機能を有する複数のセンサ、すなわち視覚センサ２１１と、聴覚センサ２１２と、触覚センサ２１３と、臭覚センサ２１４と、味覚センサ２１５とを有する。これらセンサ２１１～２１５は、人の五感に対応した信号（五感信号）を検出信号として出力する。
より具体的には、視覚センサ２１１はカメラにより構成され、ロボット２０の目の位置に設けられたＣＭＯＳセンサやＣＣＤセンサ等の画像センサとレンズとを有する撮影部と、撮影部を上下左右に駆動する駆動部と、被写体を拡大縮小するズーム機構とを有し、ロボット２０の周囲の画像（動画）を取得する。聴覚センサ２１２は、例えばロボット２０の耳の位置に設けられたマイクにより構成され、ロボット２０の周囲の音声を取得する。触覚センサ２１３は、例えばロボット２０のハンドの位置等に設けられた力覚センサにより構成され、ロボット２０のハンドに作用する外力を検出する。臭覚センサ２１４は、ロボット２０の鼻の位置に設けられ、臭いを検出する。味覚センサ２１５は、ロボット２０の口の位置に設けられ、味を検出する。
さらにロボット２０は、アクチュエータ２２と、スピーカ２３と、入力装置２４と、ＧＰＳセンサ２５と、コントローラ２６と、無線ユニット２７とを有する。アクチュエータ２２は、例えばロボット２０の関節部に設けられた複数のサーボモータ等により構成され、アクチュエータ２２の駆動によりロボット２０が動作する。スピーカ２３は、ロボット２０の口の位置に設けられ、音声を出力する。入力装置２４は、電源スイッチ等の各種スイッチを備える。ＧＰＳセンサ２５は、ＧＰＳ衛星からのＧＰＳ信号を受信する。ＧＰＳセンサ２５からの信号により、ロボット２０の位置を検出することができる。
コントローラ２６は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を有するマイクロコンピュータを含み、無線ユニット２７を制御して管理サーバ３０との間で通信する。例えばコントローラ２６は、五感信号を出力するセンサ２１１～２１５とＧＰＳセンサ２５とからの信号を管理サーバ３０に送信させる。さらにコントローラ２６は、管理サーバ３０からの信号に基づきアクチュエータ２２やスピーカ２３などに制御信号を出力する。
図４は、管理サーバ３０の概略構成の一例を示すブロック図である。図４に示すように、管理サーバ３０は、入力装置３１と、表示装置３２と、コントローラ３３と、無線ユニット３４とを有する。なお、入力装置３１と表示装置３２とは、省略することができる。
コントローラ３３は、ＣＰＵ等の演算部３３Ａと、ＲＯＭ，ＲＡＭ，ハードディスク等の記憶部３３Ｂと、その他の周辺回路とを有し、無線ユニット３４を制御してユーザ機器１０およびロボット２０との間で通信する。演算部３３Ａは、機能的構成として、ロボット管理部３３１と、信号入力部３３２と、対象判定部３３３と、ロボット制御部３３４と、ユーザ機器制御部３３５とを有する。記憶部３３Ｂは、機能的構成としてユーザ登録部３３６を有する。
ユーザ登録部３３６は、ユーザ情報を記憶する。ユーザ情報は、各ユーザの氏名、年齢、性別、外見等の情報を含む。外見の情報は、予めユーザ自身をカメラで撮影することにより、あるいはユーザが写っている写真等の画像を読み込むことにより得られる。ユーザ機器制御部３３５は、ユーザ情報（特に外見などのユーザの態様の情報）を用いて、ユーザの外見に対応した画像信号を生成することができる。ユーザ情報には、ユーザ固有のユーザＩＤが付される。ユーザ情報は、例えばユーザ機器１０の入力装置１５（図２）を介して入力することができる。なお、ユーザの家族が店舗２（図１）でロボット２０をレンタルする際に、店舗２の端末を介してユーザ情報を入力することもできる。
ロボット管理部３３１は、店舗２が所有するロボット２０の情報（貸し出し情報、メンテナンス情報等）を管理する。ロボット２０がレンタルされる際には、ロボット管理部３３１は、レンタルされるロボット２０のロボットＩＤと、このロボット２０をレンタルするユーザのユーザＩＤとを紐付ける。これにより、各ロボット２０に対応するユーザの態様が特定される。
信号入力部３３２は、ユーザ機器１０（図２のセンサ１１やマイク１３等）から送信されたデータおよびロボット２０（図３のセンサ２１１～２１５やＧＰＳセンサ２５等）から送信されたデータを、無線ユニット３４を介して取得する。なお、無線ユニット３４はユーザ機器１０とロボット２０とを通信接続される構成（通信接続部）であれば良い。
対象判定部３３３は、ロボット２０の視覚センサ２１１（カメラ）で認識された対象が、人であるかロボット２０であるかを判定する。この判定は、例えば視覚センサ２１１により得られた画像と予め記憶部３３Ｂに記憶されたロボット２０の画像とのパターンマッチングを行うことで実現可能である。ＧＰＳセンサ２５からの信号により、ロボット２０の周囲に存在する他のロボット２０の位置を検出することで、認識された対象がロボット２０であるか否かを判定することもできる。
ロボット制御部３３４は、信号入力部３３２が読み込んだユーザ機器１０のセンサ１１からの信号（脳活動信号）に基づいて、ロボット２０のアクチュエータ２２に対する動作信号を、無線ユニット３４を介してロボット２０に送信する。ロボット２０のコントローラ２６は、この動作信号に応じてアクチュエータ２２に制御信号を出力する。これにより、ユーザの意図に従いロボット２０の動作が制御される。ロボット制御部３３４は、ユーザ機器１０のマイク１３からの信号に基づく音声を、ロボット２０のスピーカ２３から出力させることもできる。
ユーザ機器制御部３３５は、信号入力部３３２が読み込んだロボット２０のセンサ２１１～２１５からの信号（五感信号）に基づいて、ユーザ機器１０に対する動作信号を、無線ユニット３４を介してユーザ機器１０に送信する。例えば視覚センサ２１１により検出された画像信号を送信する。ユーザ機器１０のコントローラ１６は、この画像信号に応じてディスプレイ１２に制御信号を出力し、ディスプレイ１２に視覚センサ２１１から得られた三次元画像を表示させる。ユーザ機器制御部３３５は、聴覚センサ２１２からの信号に基づく音声を、ユーザ機器１０のスピーカ１４から出力させることもできる。
ところで、ユーザＡが操作するロボット２０Ａの視覚センサ２１１（カメラ）が、他のロボット（ユーザＢが操作するロボット２０Ｂ）を撮影したときに、その画像をそのままユーザＡのユーザ機器１０Ａのディスプレイ１２に表示させると、ユーザＡは、ユーザ機器１０Ａを介して提供されるサービスに対し十分な満足感を得られない。すなわち、旅行先でユーザＢの身代わりとしてのロボット２０Ｂを見かけると、ユーザＡは折角の旅行気分を損ない、味気ない気分となる。そこで、ユーザ機器制御部３３５は、以下のように対象判定部３３３での判定結果に応じてユーザ機器１０に制御信号を送信し、ディスプレイ１２の表示画像を制御する。
図５は、予め記憶部３３Ｂに記憶されたプログラムに従い演算部３３Ａで実行される処理の一例、特にユーザ機器制御部３３５で主に実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、視覚センサ２１１によりロボット２０の周囲の撮影が開始されると開始され、所定周期で繰り返される。
まず、Ｓ１（Ｓ：処理ステップ）で、撮影対象がロボット２０であるか否かを判定する。この判定は、対象判定部３３３で実行される。Ｓ１で否定、すなわち撮影対象が人や物（ロボット以外）であると判定されるとＳ２に進み、視覚センサ２１１からの画像信号をそのままユーザ機器１０に送信する。これにより視覚センサ２１１が取得した三次元画像（動画）が、ユーザ機器１０のディスプレイ１２にそのまま表示される。
一方、Ｓ１で、撮影対象がロボット２０であると判定されると、Ｓ３に進み、そのロボット２０を操作するユーザの情報をユーザ登録部３３６から読み込む。次いで、Ｓ４で、視覚センサ２１１が取得したロボット２０の画像信号を、ユーザ登録部３３６で読み込んだユーザの態様（外見）を示す画像信号に置き換えて、ユーザ機器１０に送信する。すなわちロボット２０を人に置き換えたときにセンサ２１１で検出されると予想される画像信号を、ユーザ機器１０に送信する。これによりユーザ機器１０のディスプレイ１２には、視覚センサ２１１が取得したロボット２０の画像に代えて、そのロボット２０を操作するユーザの三次元画像（動画）が表示される。
図６は、本発明の実施形態に係るサービス提供システム１００の主要な動作を説明するための図である。図６では、Ａ地点のユーザＡ（図１）により操作されるロボット２０Ａ（実線）と、Ｂ地点のユーザＢ（図１）により操作されるロボット２０Ｂ（実線）とが、Ｃ地点において互いに対向した状態を示す。このとき、ユーザＡのユーザ機器１０のディスプレイ１２には、点線で示すユーザＢの三次元画像が表示され（Ｓ４）、ユーザＢのユーザ機器１０のディスプレイ１２には、点線で示すユーザＡの三次元画像が表示される（Ｓ４）。一方、ロボット２０Ａ，２０Ｂの周囲の人３は、ディスプレイ１２にそのまま三次元画像で表示される（Ｓ２）。
このようにユーザによって操作されるロボット２０の視覚センサ２１１が他のロボット２０を撮影すると、そのロボット２０の画像が人に置き換えて表示される。これによりユーザは、旅行の気分を害することなく、ロボット２０を活用したサービス提供システム１００により提供されるサービス（画像の表示）に対し、十分な満足感を得ることができる。視覚センサ２１１によるロボット２０の画像は、ユーザの個人の画像に置き換えられるので、ユーザに提供される三次元画像についての現実空間であるかのようなリアル感が高まり、ユーザに対しより高いサービスを提供できる。
本実施形態によれば以下のような作用効果を奏することができる。
（１）本実施形態に係るサービス提供システム１００は、無線通信を介したユーザからの指令に応じて動作し、人の五感に対応した検出機能を有する複数のセンサ２１１～２１５を備える移動可能なロボット２０と、ロボット２０による撮影対象が人であるか他のロボット２０であるかを判定する対象判定部３３３と、対象判定部３３３により撮影対象が人であると判定されると、センサ（特に視覚センサ２１１）で検出された信号をそのまま出力し、撮影対象が他のロボット２０であると判定されると、視覚センサ２１１で検出された信号を、ユーザを表す画像信号に置き換えて出力するユーザ機器制御部３３５と、ユーザ機器制御部３３５から出力された信号に基づいてロボット２０の周囲の画像（動画）を表示するユーザ機器１０（ディスプレイ１２）とを備える（図１，４）。これにより人の身代わりとして利用されているロボット２０の画像が、そのままユーザ機器１０のディスプレイ１２に表示されることを防止できる。このためユーザは、利用中のロボット２０の周囲に、他のユーザによって利用されているロボット２０が存在する場合であっても、表示画像に対し高い満足感を得ることができる。
（１）本実施形態に係るサービス提供システム１００は、無線通信を介したユーザからの指令に応じて動作し、人の五感に対応した検出機能を有する複数のセンサ２１１～２１５を備える移動可能なロボット２０と、ロボット２０による撮影対象が人であるか他のロボット２０であるかを判定する対象判定部３３３と、対象判定部３３３により撮影対象が人であると判定されると、センサ（特に視覚センサ２１１）で検出された信号をそのまま出力し、撮影対象が他のロボット２０であると判定されると、視覚センサ２１１で検出された信号を、ユーザを表す画像信号に置き換えて出力するユーザ機器制御部３３５と、ユーザ機器制御部３３５から出力された信号に基づいてロボット２０の周囲の画像（動画）を表示するユーザ機器１０（ディスプレイ１２）とを備える（図１，４）。これにより人の身代わりとして利用されているロボット２０の画像が、そのままユーザ機器１０のディスプレイ１２に表示されることを防止できる。このためユーザは、利用中のロボット２０の周囲に、他のユーザによって利用されているロボット２０が存在する場合であっても、表示画像に対し高い満足感を得ることができる。
（２）ユーザ機器制御部３３５は、対象判定部３３３により撮影対象が人であると判定されると、視覚センサ２１１で検出された信号をそのまま出力し（Ｓ２）、撮影対象が他のロボット２０であると判定されると、他のロボット２０を人に置き換えたときに視覚センサ２１１で得られると予想される信号を出力する（Ｓ４）。これにより、ユーザのディスプレイ１２には、ロボット２０が人に置き換えられて表示されるため、ユーザは、旅行気分を違和感なく味わうことができる。
（３）サービス提供システム１００は、ロボット２０を利用するユーザの情報を登録するユーザ登録部３３６をさらに備える（図４）。ユーザ機器制御部３３５は、対象判定部３３３により動作対象が他のロボット２０であると判定されると、他のロボット２０をユーザ登録部３３６により登録されたユーザに置き換えたときに視覚センサ２１６で得られると予想される信号を出力する（Ｓ４）。これによりロボット２０を操作するユーザがあたかもその場所に存在するかのようにディスプレイ１２に仮想表示されるため、例えばロボット２０の周囲に複数の他のロボット２０が存在するときに、画一的な態様でユーザが仮想表示される場合に比べ、ユーザはより高い満足感を得られる。すなわち、画一的な態様でユーザが仮想表示されると、外見が同一のユーザが仮想表示されることとなる。この場合、ユーザにとって違和感が大きく、提供されるサービスに対し十分な満足感が得られない。
（４）本実施形態に係るサービス提供方法は、無線通信を介したユーザからの指令に応じて動作し、人の五感に対応した検出機能を有する複数のセンサ２１１～２１５を備える移動可能なロボット２０と、ロボット２０の周囲の画像を表示するディスプレイ１２を有するユーザ機器１０とを用いて、ユーザに画像表示のサービスを提供するものであり、ロボット２０による撮影対象が人であるか他のロボット２０であるかを判定し（Ｓ１）、撮影対象が人であると判定されると、センサ（特に視覚センサ２１１）により検出された信号をそのままユーザ機器１０に出力し（Ｓ２）、撮影対象が他のロボット２０であると判定されると、視覚センサ２１１により検出された信号をユーザの画像信号に置き換えてユーザ機器１０に出力することを含む（Ｓ４）。これにより、ユーザは、ディスプレイ１２の表示画像に対し高い満足感を得ることができる。
なお、上記実施形態では、視覚センサ２１１により取得された信号に基づいてユーザ機器１０のディスプレイ１２に画像を表示させるようにした。すなわち、ユーザ機器としてヘッドマウントディスプレイを用いたが、ユーザ機器制御部３３５により出力された信号に基づいてユーザが知覚可能な態様で動作するのであれば、ユーザ機器はいかなるものでもよい。例えばユーザに非装着のモニタの画面に画像を表示させるようにしてもよい。ＢＭＩが画像を脳刺激の態様に変換するとともに、ユーザの脳（後頭葉の視覚野など）を磁気刺激し、これにより画像をユーザの脳裏に浮かばせるようにしてもよい。画像以外のサービスを提供してもよい。
図７は、ユーザ機器の他の例を示す図である。図７では、ユーザの頭部に装着されたユーザ機器１０（１０Ａ）に加え、ユーザの手に例えば手袋形状のユーザ機器１０Ｃが装着される。ユーザ機器１０Ｃは、例えばユーザの指の関節部に相当する位置に電気信号によって動作するアクチュエータ１９を有するとともに、アクチュエータ１９の駆動を制御するコントローラ（不図示）を有する。コントローラからの指令によりアクチュエータ１９を駆動することで、ユーザ機器１０Ｃが伸縮し、これによりユーザに握手の感覚を付与することができる。
すなわち、例えば図８に示すように、ユーザにより操作されるロボット２０が第三者４と握手をすると、触覚センサ２１３により検出された信号が管理サーバ３０に送信される。管理サーバ３０（ユーザ機器制御部３３５）は、この検出信号に対応した動作信号をユーザ機器１０Ｃのコントローラに送信し、これによりアクチュエータ１９が作動し、ユーザは第三者４と握手をした感覚を得られる。
対象判定部３３３により、ロボット２０Ａの握手の相手が他のユーザにより操作されるロボット２０Ｂであると判定されるとき、図９に示すように、ロボット２０Ａ，２０Ｂ同士は互いに握手をする必要はなく、ユーザ機器１０Ａの画像上、握手しているだけでよい。この場合には、握手したときに触覚センサ２１３により検出されると予想される信号を、管理サーバ（ユーザ機器制御部３３５）がユーザ機器１０Ａに送信する。これによりロボット２０Ａを操作するユーザＡは、ロボット２０Ｂを操作するユーザＢと握手した感覚を得られる。ロボット２０Ａ，２０Ｂ同士が実際に握手する必要がないので、ロボット２０Ａ，２０Ｂの無駄な動作を省くことができる。
上記実施形態では、二足歩行可能な人型ロボット２０を用いたが、無線通信を介したユーザからの指令に応じて動作し、人が有する外界を感知するための感覚機能、すなわち視覚機能や触覚機能等に対応した機能を有する検出部を備えるのであれば、ロボットの構成は上述したものに限らない。上述したセンサ２１１～２１５は、人の感覚機能に対応した機能を有する検出部の一例であるが、検出部の構成はこれに限らない。
上記実施形態では、視覚センサ２１１やＧＰＳセンサ２５からの信号に基づいて、対象判定部３３３がロボット２０の撮影動作の対象あるいは握手の動作の対象が人であるか他のロボット２０であるかを判定するようにした。しかしながら、ロボットの動作対象はこれに限らず、他の動作対象が人であるか他のロボットであるかを判定するようにしてもよく、対象判定部の構成は上述したものに限らない。
上記実施形態では、対象判定部３３３によりロボット２０の動作対象（例えば撮影動作の対象）が人であると判定されると、センサ２１１の検出値をそのまま出力し、動作対象が他のロボット２０であると判定されると、他のロボット２０を人に置き換えたときにセンサ２１１により検出されると予想される信号を出力するようにした。しかしながら、人と判定されたときとロボットと判定されたときとで、互いに異なる態様（第１の態様、第２の態様）でディスプレイ１２等のユーザ機器に対し信号を出力するのであれば、出力部としてのユーザ機器制御部３３５の構成はいかなるもでもよい。すなわち、互いに異なる態様で信号を出力するのであれば、互いに同一の態様で信号を出力する場合に比べ、ユーザは提供されるサービスに対し高い満足感を得ることが可能となる。なお、対象判定部３３３の判定結果に拘らずにユーザ機器制御部３３５が常にセンサ信号を出力し、ユーザ機器１０のコントローラ１６が、対象判定部３３３の判定結果に応じて第１の態様と第２の態様の信号を出力するようにしてもよい。すなわち、ユーザ機器制御部３３５ではなく、コントローラ１６が出力部として機能してもよい。
上記実施形態では、管理サーバ３０とユーザ機器１０およびロボット２０との間で信号を送受信するようにした。すなわち、ユーザ機器１０とロボット２０とが管理サーバ３０を介して通信するようにしたが、ユーザ機器１０とロボット２０とが管理サーバ３０を介さずに直接通信するようにしてもよい。この場合、管理サーバ３０の機能を、ユーザ機器１０およびロボット２０のコントローラ１６，２６等が有するようにすればよい。
上記実施形態では、ロボット２０を店舗２でレンタルするようにしたが、例えばユーザが自宅に所有するロボットを用いても、本発明は、同様に構成することができる。ロボットを家族とともに行動させるのではなく、単独で行動させてもよい。管理サーバ３０と店舗２の端末とを通信可能に構成し、ロボット２０のレンタル予約の申し込み、レンタル料金の支払い等を、管理サーバ３０を介して行うようにしてもよい。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
１０，１０Ａ ユーザ機器、１２ ディスプレイ、１９ アクチュエータ、２０，２０Ａ，２０Ｂ ロボット、１００ サービス提供システム、２１１ 視覚センサ、２１３ 触覚センサ、３３３ 対象判定部、３３５ ユーザ機器制御部、３３６ ユーザ登録部
Claims (7)
- 無線通信を介したユーザからの指令に応じて動作し、人が有する外界を感知するための感覚機能に対応した機能を有する検出部であって、カメラを含む検出部を備える移動可能なロボットと、
前記カメラにより得られた画像に基づいて撮影対象が人であるか他のロボットであるかを判定する対象判定部と、
前記対象判定部による判定結果に応じた信号を出力する出力部と、
前記出力部により出力された信号に基づいてユーザが知覚可能な態様で動作する、表示部を有するユーザ機器と、を備え、
前記出力部は、前記対象判定部により前記撮影対象が人であると判定されると、前記カメラにより得られた人の画像が前記表示部に表示され、前記撮影対象が他のロボットであると判定されると、前記他のロボットに対応付けられた他のユーザの外見を示す画像が前記表示部に表示されるように前記ユーザ機器に信号を出力することを特徴とするサービス提供システム。 - 請求項１に記載のサービス提供システムにおいて、
前記ロボットを利用するユーザの固有の情報であるユーザ識別子が付された、該ユーザの態様を示すユーザ情報を登録するユーザ登録部と、
前記ロボットの固有の情報であるロボット識別子と、前記ロボットを利用するユーザの識別子とを紐づけて管理するロボット管理部と、をさらに備え、
前記出力部は、前記対象判定部により前記撮影対象が前記他のロボットであると判定されると、前記ロボット管理部により前記他のロボットの前記ロボット識別子に紐づけて管理された前記ユーザ識別子により識別されるユーザの前記ユーザ情報を前記ユーザ登録部から読み込み、該ユーザ情報に基づいて、前記ユーザ識別子により識別されるユーザの外見を示す画像を生成し、生成した前記画像が前記表示部に表示されるように前記ユーザ機器に信号を出力することを特徴とするサービス提供システム。 - 請求項１または２に記載のサービス提供システムにおいて、
前記ユーザ機器は、前記カメラにより撮影された画像のうち、前記他のロボットを含まない画像を前記表示部に立体的に表示するように構成されることを特徴とするサービス提供システム。 - 請求項１～３のいずれか１項に記載のサービス提供システムにおいて、
前記検出部は、力覚センサを含み、前記ユーザ機器は、ユーザの身体に装着されて、前記力覚センサにより検出された力をユーザの身体の所定部位に付与するアクチュエータを有することを特徴とするサービス提供システム。 - 請求項１～４のいずれか１項に記載のサービス提供システムにおいて、
前記他のロボットの位置を検出するセンサをさらに備え、
前記対象判定部はさらに、前記センサにより検出された前記他のロボットの位置に基づいて、前記撮影対象が人であるか他のロボットであるかを判定することを特徴とするサービス提供システム。 - 無線通信を介したユーザからの指令に応じて動作し、人が有する外界を感知するための感覚機能に対応した検出機能を有する検出部であって、カメラを含む検出部を備える移動可能なロボットと、表示部を有し、ユーザが知覚可能な態様で動作するユーザ機器と、を用いて、ユーザにサービスを提供するサービス提供方法であって、
コンピュータが、
前記カメラにより得られた画像に基づいて撮影対象が人であるか他のロボットであるかを判定し、
前記撮影対象が人であると判定されると、前記カメラにより得られた人の画像が前記表示部に表示され、前記撮影対象が他のロボットであると判定されると、前記他のロボットに対応付けられた他のユーザの外見を示す画像が前記表示部に表示されるように前記ユーザ機器に信号を出力することを含むことを特徴とするサービス提供方法。 - 表示部を有するユーザ機器、及び、人が有する外界を感知するための感覚機能に対応した機能を有する検出部であって、カメラを含む検出部を備える移動可能なロボットと信号の送受信が可能な通信接続部と、
前記通信接続部を介して受信した前記ロボットからの信号により示される前記カメラにより得られた画像に基づいて撮影対象が人であるか他のロボットであるかを判定する対象判定部と、
前記対象判定部により前記撮影対象が人であると判定されると、前記カメラにより得られた人の画像が前記表示部に表示され、前記撮影対象が他のロボットであると判定されると、前記他のロボットに対応付けられた他のユーザの外見を示す画像が前記表示部に表示されるように前記ユーザ機器に信号を出力する出力部と、を備えることを特徴とするサービス提供システム用管理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017189796 | 2017-09-29 | ||
| JP2017189796 | 2017-09-29 | ||
| PCT/JP2018/034161 WO2019065303A1 (ja) | 2017-09-29 | 2018-09-14 | サービス提供システム、サービス提供方法およびサービス提供システム用管理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019065303A1 JPWO2019065303A1 (ja) | 2020-11-05 |
| JP7023971B2 true JP7023971B2 (ja) | 2022-02-22 |
Family
ID=65903663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019544585A Active JP7023971B2 (ja) | 2017-09-29 | 2018-09-14 | サービス提供システム、サービス提供方法およびサービス提供システム用管理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11518036B2 (ja) |
| JP (1) | JP7023971B2 (ja) |
| WO (1) | WO2019065303A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11883963B2 (en) * | 2019-06-03 | 2024-01-30 | Cushybots Corporation | Robotic platform for interactive play using a telepresence robot surrogate |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000081917A (ja) | 1998-09-04 | 2000-03-21 | Sony Corp | 力触覚及び温度覚の呈示用装置 |
| JP2000218575A (ja) | 1999-01-28 | 2000-08-08 | Minolta Co Ltd | 画像提示装置 |
| WO2003063086A1 (fr) | 2002-01-23 | 2003-07-31 | Michihiko Shouji | Systeme de traitement d'images, appareil de traitement d'images, et appareil d'affichage |
| JP2014026590A (ja) | 2012-07-30 | 2014-02-06 | Yokohama National Univ | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6292713B1 (en) * | 1999-05-20 | 2001-09-18 | Compaq Computer Corporation | Robotic telepresence system |
| US6346950B1 (en) * | 1999-05-20 | 2002-02-12 | Compaq Computer Corporation | System and method for display images using anamorphic video |
| US6539284B2 (en) * | 2000-07-25 | 2003-03-25 | Axonn Robotics, Llc | Socially interactive autonomous robot |
| US6925357B2 (en) * | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
| US7113848B2 (en) * | 2003-06-09 | 2006-09-26 | Hanson David F | Human emulation robot system |
| JP4214860B2 (ja) | 2003-08-12 | 2009-01-28 | 沖電気工業株式会社 | ロボットによる中継システム、ロボットによる中継プログラム及びその方法 |
| US7756322B2 (en) * | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
| US20070061041A1 (en) * | 2003-09-02 | 2007-03-15 | Zweig Stephen E | Mobile robot with wireless location sensing apparatus |
| US7720572B2 (en) * | 2005-09-30 | 2010-05-18 | Irobot Corporation | Companion robot for personal interaction |
| US9198728B2 (en) * | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| US20100201512A1 (en) * | 2006-01-09 | 2010-08-12 | Harold Dan Stirling | Apparatus, systems, and methods for evaluating body movements |
| US8909370B2 (en) * | 2007-05-08 | 2014-12-09 | Massachusetts Institute Of Technology | Interactive systems employing robotic companions |
| US9160783B2 (en) * | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| US9586471B2 (en) * | 2013-04-26 | 2017-03-07 | Carla R. Gillett | Robotic omniwheel |
| US11154981B2 (en) * | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
| US10343283B2 (en) * | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| US9440356B2 (en) * | 2012-12-21 | 2016-09-13 | Crosswing Inc. | Customizable robotic system |
| US8918215B2 (en) * | 2011-01-19 | 2014-12-23 | Harris Corporation | Telematic interface with control signal scaling based on force sensor feedback |
| US9323250B2 (en) * | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US8718822B1 (en) * | 2011-05-06 | 2014-05-06 | Ryan Hickman | Overlaying sensor data in a user interface |
| US9259842B2 (en) * | 2011-06-10 | 2016-02-16 | Microsoft Technology Licensing, Llc | Interactive robot initialization |
| US9255813B2 (en) * | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
| US8958911B2 (en) * | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
| EP2890529A2 (en) * | 2012-08-31 | 2015-07-08 | Rethink Robotics Inc. | Systems and methods for safe robot operation |
| US9044863B2 (en) * | 2013-02-06 | 2015-06-02 | Steelcase Inc. | Polarized enhanced confidentiality in mobile camera applications |
| US9381426B1 (en) * | 2013-03-15 | 2016-07-05 | University Of Central Florida Research Foundation, Inc. | Semi-automated digital puppetry control |
| US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
| US10564815B2 (en) * | 2013-04-12 | 2020-02-18 | Nant Holdings Ip, Llc | Virtual teller systems and methods |
| US9872968B2 (en) * | 2013-04-17 | 2018-01-23 | Sri International | Biofeedback virtual reality sleep assistant |
| US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
| US9517559B2 (en) * | 2013-09-27 | 2016-12-13 | Honda Motor Co., Ltd. | Robot control system, robot control method and output control method |
| WO2016025941A1 (en) * | 2014-08-15 | 2016-02-18 | University Of Central Florida Research Foundation, Inc. | Control interface for robotic humanoid avatar system and related methods |
| US9713871B2 (en) * | 2015-04-27 | 2017-07-25 | Microsoft Technology Licensing, Llc | Enhanced configuration and control of robots |
| US9821455B1 (en) * | 2015-08-08 | 2017-11-21 | X Development Llc | Replacing a first robot with a second robot during performance of a task by the first robot |
| US10649460B2 (en) * | 2017-11-14 | 2020-05-12 | Facebook, Inc. | Interactive robots positionable for optimal interactions |
| US10890921B2 (en) * | 2018-05-31 | 2021-01-12 | Carla R. Gillett | Robot and drone array |
-
2018
- 2018-09-14 WO PCT/JP2018/034161 patent/WO2019065303A1/ja active Application Filing
- 2018-09-14 JP JP2019544585A patent/JP7023971B2/ja active Active
- 2018-09-14 US US16/650,775 patent/US11518036B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000081917A (ja) | 1998-09-04 | 2000-03-21 | Sony Corp | 力触覚及び温度覚の呈示用装置 |
| JP2000218575A (ja) | 1999-01-28 | 2000-08-08 | Minolta Co Ltd | 画像提示装置 |
| WO2003063086A1 (fr) | 2002-01-23 | 2003-07-31 | Michihiko Shouji | Systeme de traitement d'images, appareil de traitement d'images, et appareil d'affichage |
| JP2014026590A (ja) | 2012-07-30 | 2014-02-06 | Yokohama National Univ | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019065303A1 (ja) | 2019-04-04 |
| US11518036B2 (en) | 2022-12-06 |
| US20200238529A1 (en) | 2020-07-30 |
| JPWO2019065303A1 (ja) | 2020-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6155448B2 (ja) | ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 | |
| US12017351B2 (en) | Remote control system, information processing method, and non-transitory computer-readable recording medium | |
| KR101850028B1 (ko) | 가상 여행 체험 장치 및 그 방법 | |
| JP6601402B2 (ja) | 制御装置、制御方法およびプログラム | |
| JP7355006B2 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
| JP7375770B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2016158057A (ja) | 表示装置、表示方法およびプログラム | |
| JP7390541B2 (ja) | アニメーション制作システム | |
| CN113164822B (zh) | 穿衣服的机器人 | |
| JP6822413B2 (ja) | サーバ装置及び情報処理方法、並びにコンピュータ・プログラム | |
| JP2018120520A (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
| US20190121515A1 (en) | Information processing device and information processing method | |
| JP7023971B2 (ja) | サービス提供システム、サービス提供方法およびサービス提供システム用管理装置 | |
| JP6564484B1 (ja) | 同室感コミュニケーションシステム | |
| JP6892928B2 (ja) | 情報提供システム、情報提供方法および情報提供システム用管理装置 | |
| Maeda et al. | Parasitic humanoid: The wearable robotics as a behavioral assist interface like oneness between horse and rider | |
| US11135725B2 (en) | Robot control system, robot control method and user apparatus for robot control system | |
| JP6919568B2 (ja) | 情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラム | |
| JPWO2019065304A1 (ja) | 食品提供システム、食品提供方法および食品提供システム用管理装置 | |
| US20240061510A1 (en) | Motion sickness reduction, directional indication, and neural rehabilitation device | |
| CN116322507A (zh) | 一种性需求互动平台*** | |
| JP2003334219A (ja) | 遠隔地散策装置 | |
| JP2020043521A (ja) | 遠隔制御サーバおよび遠隔制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7023971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |