JP2019084628A - 自律移動ロボット - Google Patents

自律移動ロボット Download PDF

Info

Publication number
JP2019084628A
JP2019084628A JP2017214903A JP2017214903A JP2019084628A JP 2019084628 A JP2019084628 A JP 2019084628A JP 2017214903 A JP2017214903 A JP 2017214903A JP 2017214903 A JP2017214903 A JP 2017214903A JP 2019084628 A JP2019084628 A JP 2019084628A
Authority
JP
Japan
Prior art keywords
user
display
mobile robot
autonomous mobile
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017214903A
Other languages
English (en)
Inventor
良太 水谷
Ryota Mizutani
良太 水谷
喜浩 北川
Yoshihiro Kitagawa
喜浩 北川
タプリヤ ローシャン
Roshan Thapliya
タプリヤ ローシャン
彰 一星
Akira Ichiboshi
彰 一星
一成 小松崎
Kazunari Komatsuzaki
一成 小松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2017214903A priority Critical patent/JP2019084628A/ja
Publication of JP2019084628A publication Critical patent/JP2019084628A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能である。【解決手段】センサ30は、音声認識部48、顔認識部50、視線方向推定部52として機能する。CPU32は、駆動制御部54として機能して、ディスプレイ型ロボット10のヨー軸方向駆動部として機能する移動装置26、上下方向駆動部として機能する支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44を制御する。そして、駆動制御部54は、センサ30で検出されたユーザの状況に合わせて、移動装置26、支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44を制御してディスプレイ部28の位置、高さ、向きを調整する。【選択図】図8

Description

本発明は、自律移動ロボットに関する。
特許文献1には、ユーザが操作する機器と、ユーザによる機器の操作を支援する処理を実行する支援装置と、ユーザの位置と姿勢を表わすユーザ情報を取得するユーザ情報取得手段と、機器の位置と姿勢を表わす機器情報を取得する機器情報取得手段と、機器の作動状態を表す作動状態情報を取得する作動状態情報取得手段と、を備え、上記支援装置は、支援装置自体の位置と姿勢のうち少なくとも一方が変化するよう可動する可動部を有していることを特徴とするユーザ支援システムが開示されている。
特開2011−143511号公報
本発明の目的は、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することである。
請求項1に係る本発明は、ロボット本体部と、前記ロボット本体部を移動させる移動手段と、前記ロボット本体部に対して、少なくとも複数軸以上の自由度で可動可能な表示装置と、移動先のユーザの状況を検出する検出手段と、前記検出手段により検出されたユーザの状況に合わせて前記表示装置の向きを制御する制御手段と、を備えた自律移動ロボットである。
請求項2に係る本発明は、前記表示装置は、ピッチ軸、ロール軸およびヨー軸の三軸のうち少なくとも複数軸以上の自由度で可動可能である請求項1記載の自律移動ロボットである。
請求項3に係る本発明は、前記表示装置の地上からの位置を上下方向に変更する変更手段をさらに備えた請求項1又は2記載の自律移動ロボットである。
請求項4に係る本発明は、前記制御手段は、前記検出手段により検出されたユーザの目の高さに合わせて、前記表示装置の地上からの位置を変更するよう前記変更手段を制御する請求項3記載の自律移動ロボットである。
請求項5に係る本発明は、前記検出手段は、ユーザの顔を認識して、そのユーザの視線方向を推定する推定手段を有する請求項1から4のいずれか記載の自律移動ロボットである。
請求項6に係る本発明は、前記制御手段は、前記推定手段により推定されたユーザの視線方向と相対する位置に向くように前記表示装置の向きを制御する請求項5記載の自律移動ロボットである。
請求項7に係る本発明は、前記検出手段は、音声を認識する認識手段を有する請求項1から4のいずれか記載の自律移動ロボットである。
請求項8に係る本発明は、前記制御手段は、前記認識手段により認識された音声が発せられた方向に前記表示装置が向くように制御する請求項7記載の自律移動ロボットである。
請求項9に係る本発明は、前記制御手段は、前記認識手段により認識された音声によるユーザの指示により前記表示装置が上方向に向くように制御する請求項7記載の自律移動ロボットである。
請求項10に係る本発明は、前記認識手段により認識された音声によるユーザの会話内容から情報を抽出する抽出手段と、前記抽出手段により抽出された情報に関する情報をサーバから取得する取得手段と、を有し、前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボットである。
請求項11に係る本発明は、前記認識手段により認識された音声によるユーザの要求を受付ける受付手段と、前記受付手段により受付けられたユーザの要求に関する情報をサーバから取得する取得手段と、を有し、前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボットである。
請求項1に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。
請求項2に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。
請求項3に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい高さに合わせて表示装置の地上からの位置を変えることが可能な自律移動ロボットを提供することができる。
請求項4に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい高さに合わせて表示装置の地上からの位置を変えることが可能な自律移動ロボットを提供することができる。
請求項5に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。
請求項6に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。
請求項7に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。
請求項8に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが見やすい方向に表示装置の向きを変えることが可能な自律移動ロボットを提供することができる。
請求項9に係る本発明によれば、音声により、表示装置の向きを書込みモードに変更することが可能な自律移動ロボットを提供することができる。
請求項10に係る本発明によれば、ユーザの明示的な操作がなくても、ユーザが必要な情報を表示装置に提示することが可能な自律移動ロボットを提供することができる。
請求項11に係る本発明によれば、音声により、ユーザが必要な情報を表示装置に提示することが可能な自律移動ロボットを提供することができる。
本発明の一実施形態に係るディスプレイ型ロボットを適用したシステム構成を示す図である。 本発明の一実施形態に係るディスプレイ型ロボットを適用したオフィスを示す平面図である。 (A)は、本発明の一実施形態に係るディスプレイ型ロボットの正面図を示す図である。(B)は、本発明の一実施形態に係るディスプレイ型ロボットの側面図を示す図である。 (A)〜(C)は、本発明の一実施形態に係るディスプレイ型ロボットの動作を示す正面図である。 (A)〜(C)は、本発明の一実施形態に係るディスプレイ型ロボットの動作を示す側面図である。 本発明の一実施形態に係るディスプレイ型ロボットの動作を示す上面図である。 本発明の一実施形態に係るディスプレイ型ロボットのハードウェア構成を示すブロック図である。 本発明の一実施形態に係るディスプレイ型ロボットの機能構成を示すブロック図である。 本発明の一実施形態に係るサーバのハードウェア構成を示すブロック図である。 本発明の一実施形態に係るディスプレイ型ロボットの制御フローを示すフローチャートである。 (A)〜(D)は、本発明の一実施形態に係るディスプレイ型ロボットの動作を説明する上面図である。 本発明の一実施形態に係るディスプレイ型ロボットの動作の一例を示す図である。 本発明の一実施形態に係るディスプレイ型ロボットの動作の一例を示す図である。 図10に示すディスプレイ型ロボットのユーザ支援動作の一例であって、文書推薦機能の動作フローを示すフローチャートである。 図14に示す文書推薦機能の動作フローにおいて、ディスプレイに表示される画面の一例を示す図である。 図10に示すディスプレイ型ロボットのユーザ支援動作の一例であって、検索機能の動作フローを示すフローチャートである。 図16に示す検索機能の動作フローにおいて、ディスプレイに表示される画面の一例を示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の一実施形態の自律移動ロボットとしての自走式のディスプレイ型ロボット10を用いたシステムの構成を示す図である。
本発明の一実施形態のディスプレイ型ロボット10を用いたシステムは、図1に示されるように、ディスプレイ型ロボット10と、サーバ12とから構成されている。
そして、ディスプレイ型ロボット10とサーバ12とは、例えば無線LANターミナル14、インターネット16を経由して相互に接続されている。
図2は、本発明の一実施形態に係るディスプレイ型ロボット10を用いたシステムを適用したオフィス18の一例を示す。オフィス18内では、会議領域20a〜20cやフリースペース等の端末装置22を備えていない場所やモバイル端末等の端末装置を備えていない場合であってもディスプレイ型ロボット10を用いることにより端末装置と同様の操作を実行でき、ディスプレイ上にユーザが必要な情報を表示させることができる。
ディスプレイ型ロボット10は、無線LANターミナル14との間でデータ等を送受信するようになっている。また、ディスプレイ型ロボット10は、オフィス18内のマップを記憶し、オフィス18内を自走するよう構成されている。そして、ディスプレイ型ロボット10は、例えばユーザの呼びかけやジェスチャーによりユーザに接近し、ユーザはディスプレイ型ロボット10を利用して、ディスプレイ上にユーザの要求する情報を表示させたり、ディスプレイを利用してメモを書き込んだり等のユーザ支援を実行することができる。
次に、ディスプレイ型ロボット10の構成を説明する。
図3(A)は、ディスプレイ型ロボット10の外観を示す正面図であり、図3(B)は、ディスプレイ型ロボット10の外観を示す側面図である。
ディスプレイ型ロボット10は、ロボット本体部24、移動手段としての移動装置26、表示装置としてのディスプレイ部28、ロボット本体部24に対してディスプレイ部28を支持する支持部25、検出手段としてのセンサ30を備えている。
センサ30は、ロボット本体部24に設けられ、ユーザを検出して、ユーザの位置、動き、声、顔を認識する。そして、センサ30は、ユーザの顔の位置や顔の向き、姿勢等のユーザの状況を認識する。センサ30として、例えばKinectカメラが用いられ、RGBカメラや3Dカメラ等のカメラ、深度センサ、マイクロフォン、赤外線センサ、超音波センサ、レーザ距離計(LRF)等を組み合わせて用いることもできる。
移動装置26は、ロボット本体部24の下部に設けられ、ロボット本体部24を移動させる。移動装置26として、例えば車輪や脚等が用いられる。車輪や脚等に駆動源としての例えばモータ、アクチュエータ、エンジン、油圧ポンプ等が接続される。
ディスプレイ部28は、ロボット本体部24の上部に設けられ、文書データや画像データ等の各種情報を表示する。また、ディスプレイ部28は、タッチパネルとしての入力機能を有し、文字または画像の書き込みを受け付ける。
支持部25は、第1の支持部25aと第2の支持部25bとで構成され、ディスプレイ部28の地上からの位置を変更する変更手段として機能する。
図4〜図6は、ディスプレイ型ロボット10の動作を説明する図である。
ディスプレイ部28は、図4(A)及び図4(B)に示されるように、ロボット本体部24に対して、ディスプレイ型ロボット10の前後方向(図4においてX軸)を軸にしてロール軸方向に360度回転可能である。つまり、ロボット本体部24に対して、ディスプレイ部28を横長に配置したり、縦長に配置したりすることができる。
また、ディスプレイ部28は、図5(A)及び図5(B)に示されるように、ロボット本体部24に対して、ディスプレイ型ロボット10の左右方向(幅方向、図5においてY軸)を軸にしてピッチ軸方向に90度回転可能である。つまり、ロボット本体部24に対して、ディスプレイ部28が前(正面)方向に向くように配置したり、上方向に向くように配置したりすることができる。
また、ディスプレイ部28は、第1の支持部25aが、ロボット本体部24に装着されている第2の支持部25bに対してスライドして上下方向に移動することにより、図4(B)、図4(C)又は図5(B)、図5(C)に示されるように、ディスプレイ部28を上下方向(図4及び図5においてZ軸方向)に移動可能な構成となっている。すなわち、ディスプレイ部28の地上からの位置を変更可能な構成となっている。
また、ディスプレイ部28は、図6に示されるように、移動装置26の動作により、ディスプレイ部28をディスプレイ型ロボット10の上下方向(図6においてZ軸方向)を軸にしてヨー軸方向に360度回転可能である。
すなわち、ディスプレイ部28は、上下、ピッチ軸、ロール軸及びヨー軸の自由度4で可動可能である。これにより、ディスプレイ部28の位置、高さ、向きが可動可能に構成されている。
図7は、ディスプレイ型ロボット10のハードウェア構成を示すブロック図である。
ディスプレイ型ロボット10は、図7に示されるように、制御手段としてのCPU32、メモリ34、記憶装置36、センサ30、無線通信部38、ディスプレイ部28、移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を有し、これらが制御バス46を介して接続されている。
CPU32は、メモリ34に格納された制御プログラムに基づいて予め定められた処理を実行する。
記憶装置36は、ディスプレイ型ロボット10の各部を制御するための制御プログラムを記憶する。また、オフィス18等のマップを記憶する。
無線通信部38は、無線LANターミナル14との間で無線回線を介してデータの送受信を行っている。
図8は、プログラムが実行されることにより実現されるディスプレイ型ロボット10の機能構成を示すブロック図である。
ディスプレイ型ロボット10は、センサ30によりユーザを検出して接近する。そして、記憶装置36に記憶されている制御プログラムをCPU32において実行することにより、図8に示されるように、センサ30は、音声認識部48、顔認識部50、視線方向推定部52として機能する。そして、CPU32は、駆動制御部54として機能して、ディスプレイ型ロボット10のヨー軸方向駆動部として機能する移動装置26、上下方向駆動部として機能する支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44等を制御する。また、CPU32が、表示制御部49として機能して、ディスプレイ部28のディスプレイ上の画面(表示画面)を制御する。
音声認識部48は、音声を認識し、ユーザの呼びかけによりユーザの位置を認識する。また、ユーザの声を文字列に変換して認識する。また、会話内容を認識して話題に関連する情報を抽出し、文字列に変換して認識する。
顔認識部50は、音声認識部48により認識されたユーザの顔や、ジェスチャーにより支援を必要としているユーザの顔を認識する。
視線方向推定部52は、顔認識部50により認識されたユーザの視線方向を推定する。
そして、CPU32は、顔認識部50により認識された情報及び視線方向推定部52により推定された視線方向等に基づいてユーザの状況を推定する。
具体的には、顔認識部50及び視線方向推定部52により認識されたユーザの位置、動き、顔、視線等の情報から、ユーザが何をしているのか推定し、例えば、立っているのか、座っているのか、どちらを向いているのか、対面で会話しているのか等の情報を取得することができる。また、複数の人がいるときに、どのような配置であるのか、お互い対面しているのか、並んでいるのか、ばらばらの方向を向いているのかを推定することができる。
駆動制御部54は、センサ30により検出されたユーザに向かって移動するよう移動装置26を制御する。
そして、駆動制御部54は、センサ30により検出されたユーザの状況に合わせて、ヨー軸方向駆動部としての移動装置26、上下方向駆動部としての支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。
また、駆動制御部54は、音声によるユーザの指示であって、音声認識部48により認識された予め定められた文字列により、ディスプレイ型ロボット10が移動し、ディスプレイ部28の位置や向きを変更するように移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。
また、駆動制御部54は、音声認識部48により認識された音声が発せられた方向にディスプレイ型ロボット10が移動し、ディスプレイ部28が向くように移動装置26、支持部25、ピッチ軸方向駆動部42及びロール軸方向駆動部44を制御する。
すなわち、ディスプレイ型ロボット10は、センサ30で検出されたユーザの顔位置、顔の向き、姿勢等のユーザの状況に合わせて、移動装置26、支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44等を制御してディスプレイ部28の位置を調整したり、ユーザの目の高さに合わせてディスプレイ部28の地上からの位置を調整したり、ディスプレイ部28の向きを調整したりすることができる。
また、音声認識部48により認識された音声によるユーザの指示(予め定められた文字列)により、ディスプレイ部28を上方向に向くように制御したり、前(正面)方向に向くように制御したり、ディスプレイ部28の位置や地上からの高さを調整したり、ディスプレイ部28の向きを調整したりすることができる。
ここで、ユーザの位置、姿勢、顔の向き等の状況に合わせてディスプレイ部28の位置、高さ、向きを調整するとは、例えば、顔認識部50により認識されたユーザの身長に合わせてディスプレイ部28の地上からの位置を調整することや、顔認識部50により認識されたユーザの目の高さに合わせてディスプレイ部28の地上からの位置を調整することや、顔認識部50により認識されたユーザの頭のてっぺんから50cm程度の位置にディスプレイ部28の中央が配置されるように調整することや、顔認識部50により認識されたユーザの視線方向と相対する位置に向くようにディスプレイ部28の向きを調整することや、顔認識部50により認識されたユーザの顔がディスプレイ部28の中央(正面)に配置されるように調整すること等を意味している。
図9は、サーバ12のハードウェア構成を示すブロック図である。
サーバ12は、図9に示されるように、CPU56、メモリ58、記憶装置60、データベース61、インターネット16を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース(IF)62を有する。これらの構成要素は、制御バス64を介して互いに接続されている。
CPU56は、メモリ58または記憶装置60に格納された制御プログラムに基づいて所定の処理を実行して、サーバ12の動作を制御する。なお、本実施形態では、CPU56は、メモリ58または記憶装置60内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをCD−ROM等の記憶媒体に格納してCPU56に提供することも可能である。
データベース61は、文書推薦エンジン、検索エンジン等を格納する。文書推薦エンジンは、データベース61に格納されている情報やインターネット上の情報の中から話題に関連する情報を抽出する。検索エンジンは、データベース61に格納されている情報やインターネット上の情報の中からユーザに指定された情報と関連する情報を抽出する。
次に、ディスプレイ型ロボット10の動作について図10及び図11に基づいて説明する。図10は、ディスプレイ型ロボット10の制御フローを示すフローチャートである。図11(A)〜(D)は、ディスプレイ型ロボット10の動作を説明する上面図である。
まず、ディスプレイ型ロボット10は、センサ30により会話中のユーザa、ユーザbを検出する(ステップS10)。
次に、CPU32は、ユーザa、ユーザbが支援が必要か否かを判定する(ステップS11)。例えば、ユーザの呼びかけや手招き等のジェスチャーによりユーザの支援が必要か否かを判定する。そして、ユーザの支援が必要であると判定された場合には次のステップS12へ進む。ユーザの支援が必要でないと判定された場合には、処理を終了し、ホームポジションに移動したり、巡回動作に戻る。
そして、ユーザの支援が必要であると判定された場合には、CPU32は、顔認識部50、視線方向推定部52によりユーザa及びユーザbの位置、姿勢、顔の向き(視線方向)等のユーザa、ユーザbの状況を推定する(ステップS12)。
そして、図11(A)に示されるようにユーザa、ユーザbの視界に入るようにできるだけ横から接近(移動)する。そして、図11(B)に示されるように、CPU32は、推定されたユーザa、ユーザbの位置、姿勢、顔の向き等の状況に合わせて、ユーザaとユーザbの両方から見易い位置にディスプレイ部28が配置されるように、駆動制御部54により移動装置26、支持部25、ピッチ軸方向駆動部42、ロール軸方向駆動部44を制御して、ディスプレイ部28の位置や高さや向きを調整する(ステップS13)。
なお、ディスプレイに表示する内容に応じて、駆動制御部54によりロール軸方向駆動部44を制御して、ディスプレイ部28の向きをユーザに対して横長にして表示したり、回転して縦長にして表示したりする。
そして、CPU32は、ユーザの要求する情報をディスプレイ部28に表示する等のユーザ支援を実行するよう制御する(ステップS14)。
また、ユーザaが、ディスプレイに視線を向けたり呼びかけ(インタラクション)をした場合には、図11(C)及び図12に示されるように、CPU32は、ユーザaの方にディスプレイ部28を向けるように制御する。具体的には、CPU32は、ユーザaの顔位置、姿勢、顔の向き等のユーザaの状況に合わせてディスプレイ部28の位置、高さ、向きを制御する。
つまり、ユーザaのインタラクションにより、駆動制御部54により支持部(上下方向駆動部)25を制御して、ディスプレイ部28の高さをユーザaの顔位置、姿勢、顔の向きに合わせて調整する。また、駆動制御部54により移動装置(ヨー軸方向駆動部)26を制御して、ディスプレイ部28の向きをユーザaの顔位置、姿勢、顔の向きに合わせて調整する。すなわち、ディスプレイ部28が、センサ30により検出されたユーザaの視線方向と相対する位置に向くようにディスプレイ部28の位置、高さ、向きを調整する。
また、CPU32は、ユーザの「ブレストモードにして!」等の呼びかけにより、図11(D)及び図13に示されるように、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が90度倒れて上方向を向くように制御する。すなわち、ロボット本体部24に対してディスプレイ型ロボット10の左右方向を軸にしてディスプレイ部28をピッチ軸方向に90度回転させて書込みモードにすることができる。
さらに、CPU32は、ユーザの「戻って!」等の呼びかけにより、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が倒れて上方向を向いた状態(書込みモード)からディスプレイ部28が前(正面)方向を向くように制御する。
つまり、ユーザの予め定められた呼びかけにより、駆動制御部54によりピッチ軸方向駆動部42を制御してディスプレイ部28が上方向に向くように制御したり正面方向を向くように制御することができる。そして、上方向を向いたディスプレイ部28を利用して、ユーザは書込み操作等をすることができる。
次に、ディスプレイ型ロボット10のユーザ支援動作の一例について説明する。
図14は、ディスプレイ型ロボット10の文書推薦機能の動作フローを示すフローチャートである。
ここで、文書推薦機能とは、ユーザの明示的な指示がなくても、所定間隔で会話内容を音声認識して会話内容に含まれるキーワードを抽出し、抽出されたキーワードに関連する文書等の情報をデータベース61に格納されたデータ又はインターネット上から抽出して、関連文書としてユーザに推薦する機能をいう。
まず、センサ30により会話内容を聴き取る(ステップS20)。
そして、会話内容を音声認識して文字列に変換し、会話内容に含まれるキーワードを抽出する(ステップS21)。このとき、所定間隔であって、例えば15秒毎に音声認識して会話内容に含まれるキーワードを抽出する。
そして、抽出されたキーワードの情報を無線通信部38を介してサーバ12へ送信する。そして、文書推薦エンジンにより解析を行って、データベース61に格納されている情報やインターネット上の情報の中から、キーワードに関連する文書等の情報を解析結果として取得する(ステップS22)。
そして、解析結果一覧をディスプレイ部28に表示する(ステップS23)。具体的には、例えば、会話内容に含まれるキーワードとして「ロボット」、「AI」、「社内文書」が抽出されると、抽出された「ロボット」、「AI」、「社内文書」に関連する文書が検出され、図15に示されるように、検出された解析結果がディスプレイ部28に表示される。
そして、解析結果一覧の中からユーザにより選択された文書がディスプレイ部28に表示される(ステップS24)。
図16は、ディスプレイ型ロボット10の検索機能の動作フローを示すフローチャートである。
ここで、検索機能とは、ユーザの質問等の知りたい情報に基づいて、この知りたい情報(質問)に関連する文書等の情報をデータベース61に格納されたデータ又はインターネット上から検索してユーザに提示する機能をいう。
まず、図17に示されるように、ディスプレイ部28の検索画面においてユーザの質問(知りたい情報)を受け付ける(ステップS30)。
そして、質問内容を音声認識して文字列に変換する(ステップS31)。
そして、認識結果を無線通信部38を介してサーバ12へ送信する。そして、検索エンジンにより解析を行って、データベース61に格納されている情報やインターネット上の情報の中からユーザの知りたい情報に関連する文書等の情報を解析結果として取得する(ステップS32)。
そして、解析結果一覧をディスプレイ部28に表示する(ステップS33)。
そして、ユーザにより選択を受け付けると、選択された文書をディスプレイ部28に表示する(ステップS34)。
具体的には、例えば、ユーザが検索画面において「旅費の精算方法」について質問すると、音声認識されることにより、データベース61に格納された「旅費の精算方法」に関連する文書がディスプレイ部28に表示される。
なお、本発明は、上記実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。例えば、上記実施形態では、ディスプレイ部28が、上下、ピッチ軸、ロール軸及びヨー軸の自由度4で可動可能な構成について説明したが、これに限らず、少なくとも複数軸以上の自由度で可動可能な構成に適用することができる。
10 ディスプレイ型ロボット(自律移動ロボット)
12 サーバ
24 ロボット本体部
25 支持部(変更手段、上下方向駆動部)
26 移動装置(ヨー軸方向駆動部)
28 ディスプレイ部(表示装置)
30 センサ
32 CPU(制御手段)
34 メモリ
36 記憶装置
38 無線通信部
42 ピッチ軸方向駆動部
44 ロール軸方向駆動部

Claims (11)

  1. ロボット本体部と、
    前記ロボット本体部を移動させる移動手段と、
    前記ロボット本体部に対して、少なくとも複数軸以上の自由度で可動可能な表示装置と、
    移動先のユーザの状況を検出する検出手段と、
    前記検出手段により検出されたユーザの状況に合わせて前記表示装置の向きを制御する制御手段と、
    を備えた自律移動ロボット。
  2. 前記表示装置は、ピッチ軸、ロール軸およびヨー軸の三軸のうち少なくとも複数軸以上の自由度で可動可能である請求項1記載の自律移動ロボット。
  3. 前記表示装置の地上からの位置を上下方向に変更する変更手段をさらに備えた請求項1又は2記載の自律移動ロボット。
  4. 前記制御手段は、前記検出手段により検出されたユーザの目の高さに合わせて、前記表示装置の地上からの位置を変更するよう前記変更手段を制御する請求項3記載の自律移動ロボット。
  5. 前記検出手段は、ユーザの顔を認識して、そのユーザの視線方向を推定する推定手段を有する請求項1から4のいずれか記載の自律移動ロボット。
  6. 前記制御手段は、前記推定手段により推定されたユーザの視線方向と相対する位置に向くように前記表示装置の向きを制御する請求項5記載の自律移動ロボット。
  7. 前記検出手段は、音声を認識する認識手段を有する請求項1から4のいずれか記載の自律移動ロボット。
  8. 前記制御手段は、前記認識手段により認識された音声が発せられた方向に前記表示装置が向くように制御する請求項7記載の自律移動ロボット。
  9. 前記制御手段は、前記認識手段により認識された音声によるユーザの指示により前記表示装置が上方向に向くように制御する請求項7記載の自律移動ロボット。
  10. 前記認識手段により認識された音声によるユーザの会話内容から情報を抽出する抽出手段と、
    前記抽出手段により抽出された情報に関する情報をサーバから取得する取得手段と、を有し、
    前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボット。
  11. 前記認識手段により認識された音声によるユーザの要求を受付ける受付手段と、
    前記受付手段により受付けられたユーザの要求に関する情報をサーバから取得する取得手段と、を有し、
    前記制御手段は、前記取得手段により取得された情報を前記表示装置に表示するよう制御する請求項7から9のいずれか記載の自律移動ロボット。
JP2017214903A 2017-11-07 2017-11-07 自律移動ロボット Pending JP2019084628A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017214903A JP2019084628A (ja) 2017-11-07 2017-11-07 自律移動ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017214903A JP2019084628A (ja) 2017-11-07 2017-11-07 自律移動ロボット

Publications (1)

Publication Number Publication Date
JP2019084628A true JP2019084628A (ja) 2019-06-06

Family

ID=66763769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017214903A Pending JP2019084628A (ja) 2017-11-07 2017-11-07 自律移動ロボット

Country Status (1)

Country Link
JP (1) JP2019084628A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022009349A1 (ja) * 2020-07-08 2022-01-13 日本電気株式会社 会話監視装置、制御方法、及びコンピュータ可読媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038252A (ja) * 2002-06-28 2004-02-05 Toshiba Solutions Corp 情報提供支援システム及び情報提供支援方法
JP2004214895A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 通信補助装置
JP2010082714A (ja) * 2008-09-30 2010-04-15 Mitsubishi Heavy Ind Ltd コミュニケーションロボット
US20100180709A1 (en) * 2009-01-22 2010-07-22 Samsung Electronics Co., Ltd. Robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038252A (ja) * 2002-06-28 2004-02-05 Toshiba Solutions Corp 情報提供支援システム及び情報提供支援方法
JP2004214895A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 通信補助装置
JP2010082714A (ja) * 2008-09-30 2010-04-15 Mitsubishi Heavy Ind Ltd コミュニケーションロボット
US20100180709A1 (en) * 2009-01-22 2010-07-22 Samsung Electronics Co., Ltd. Robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022009349A1 (ja) * 2020-07-08 2022-01-13 日本電気株式会社 会話監視装置、制御方法、及びコンピュータ可読媒体
JP7416253B2 (ja) 2020-07-08 2024-01-17 日本電気株式会社 会話監視装置、制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
US20200225910A1 (en) Hands-free navigation of touch-based operating systems
US9483113B1 (en) Providing user input to a computing device with an eye closure
US11126257B2 (en) System and method for detecting human gaze and gesture in unconstrained environments
US20170256096A1 (en) Intelligent object sizing and placement in a augmented / virtual reality environment
US9910505B2 (en) Motion control for managing content
US10877564B2 (en) Approaches for displaying alternate views of information
US10186018B2 (en) Determining display orientations for portable devices
JP6126076B2 (ja) 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
US9288471B1 (en) Rotatable imaging assembly for providing multiple fields of view
US10360876B1 (en) Displaying instances of visual content on a curved display
Caggianese et al. Natural interaction and wearable augmented reality for the enjoyment of the cultural heritage in outdoor conditions
US9794516B1 (en) Telepresence system
WO2016189390A2 (en) Gesture control system and method for smart home
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
CN104350446A (zh) 上下文用户界面
US20180316911A1 (en) Information processing apparatus
JP2022502798A (ja) 電子視覚補助具における自律的ハンズフリー制御の改善
US10019140B1 (en) One-handed zoom
US20190312917A1 (en) Resource collaboration with co-presence indicators
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
Chacón-Quesada et al. Augmented reality controlled smart wheelchair using dynamic signifiers for affordance representation
JP2007265329A (ja) 道案内システム
CN112368181B (zh) 在车辆玻璃窗上显示多媒体内容的方法和***
JP2019084628A (ja) 自律移動ロボット
US9857869B1 (en) Data optimization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220125