JP3920317B2 - 物品運搬用ロボット - Google Patents

物品運搬用ロボット Download PDF

Info

Publication number
JP3920317B2
JP3920317B2 JP2006531465A JP2006531465A JP3920317B2 JP 3920317 B2 JP3920317 B2 JP 3920317B2 JP 2006531465 A JP2006531465 A JP 2006531465A JP 2006531465 A JP2006531465 A JP 2006531465A JP 3920317 B2 JP3920317 B2 JP 3920317B2
Authority
JP
Japan
Prior art keywords
article
transport
situation
robot
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006531465A
Other languages
English (en)
Other versions
JPWO2006013829A1 (ja
Inventor
修作 岡本
修 山田
善彦 松川
知宣 成岡
徹 谷川
智 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3920317B2 publication Critical patent/JP3920317B2/ja
Publication of JPWO2006013829A1 publication Critical patent/JPWO2006013829A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Description

本発明は、物品を運搬する物品運搬用ロボットに関する。
ロボットは、物品を把持・運搬する機能を生かして多くの分野で有効に利用されている。例えば、工場における自動製品組み立てラインにおいて部品の把持及び運搬を行うロボット、また自動化された倉庫において在庫品の運搬を行うロボット等、その例を挙げるときりがない。
そして今日では、産業用として成熟してきたロボット技術を生かし、産業用途以外の用途、特に家庭で人間と共存しながら人間の生活を支援するという目標に向けて一般家庭向けのロボットの研究開発がさかんに行われるようになってきた。例えば、ペットの飼えない環境においてペットのような振る舞いをすることによって人の心を癒すエンタテイメント系ロボットや、多数のセンサを備え、部屋の中の障害物をセンサで検知してそれを回避しながら部屋の中を掃除するロボットをはじめとする、いわゆる家事支援系ロボットが実際に開発され、製品化されている。
また、家庭内のおいて様々な家事支援を行うために必要不可欠な要素技術も、さかんに開発されている。例えば各種物品を自由に把持しかつ運搬するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等である。こうした技術開発が進むことによって、将来は人に代わって様々な家事を実行するロボットが実現するであろう。
ところで、ロボットが家事支援を行うために最も基本となる機能の1つとして、物品の把持機能及び運搬機能が挙げられる。こうした機能は、上述したように、工場における自動製品組み立てラインで使用されるロボット等によって、産業用途では既に実現されている。こうした、産業用途のロボットは、多くの場合、特定の環境で使用される。また特に少品種大量生産の場合は、そのロボットの動作プログラムを一旦設定すれば、その後はプログラムの修正はほとんど必要ない。
しかしながら、近年のユーザニーズの多様化に伴い製品が多様化しており、従来の大量生産型から多品種少量生産型に変わりつつある。そのため、工場においてもロボットが取り扱う部品の変更が頻繁に行われることになり、扱う部品を変更する際に、その変更に対してロボットの対応を簡単にしたいという要求が生まれる。
そうした要求を満たす従来技術の1つとして、例えば特許文献1に開示されたシステムが挙げられる。このシステムは、ロボットが取り扱う対象(部品)の種類と、その部品の取り扱い方法を表すロボットの動作情報(例えばアームやハンドの動作制御プログラム)とを対応付けたデータを蓄積したデータベースを備える。そして、このシステムは、ラインを流れる部品の種類を認識すると共に、その認識した部品の種類に対応する動作情報を上記データベースから取得して、上記ロボットがその動作情報に従って動作する。
このシステムは、ロボットが行う全ての動作をプログラムに埋め込むという従来のロボットシステムの構成方法を採用するのではなく、単にロボットを外部から制御可能な機械として位置づけ、ロボットを動作させる動作情報を外部に所有しておいて、ロボットが扱う物品に応じて動作情報を切り替える、点に特徴がある。つまり、上記特許文献1には、ロボット本体とロボット動作プログラムを切り分けたシステムの概念が示唆されており、こうしたシステムは、産業分野では非常に利用価値が高い。
特開昭64−2882号公報
ところで、上記のシステムをそのまま家庭用ロボットに適用しようとすると、以下のような大きな問題が生じる。
つまり、上記特許文献1に開示されたシステムは産業用途であるため、ロボットが取り扱う(運搬する)物品の種類が多くても、各物品に対して1つの運搬方法のみが設定されている。これに対し、一般家庭等においては物品の状況が変化するため、1つの運搬方法では対応することができない場合がある。
このことについて、具体例を挙げて説明する。例えば運搬対象がコップである場合を考える。一般家庭等においてコップは、「その内部に飲み物が入っていない」及び「その内部に飲み物が入っている」、という2つの状況を取り得る。これに対し、コップの運搬方法として、「飲み物が入っていない」状況に対応した運搬方法しか設定されていないと仮定すると、「飲み物が入っている」コップを運搬しようとしたときに、設定されている運搬方法では、重量が重いためコップを保持することができない、またコップの保持姿勢や運搬速度等の設定により、運搬中にコップの中の飲み物をこぼしてしまう、さらに飲み物が入っていない場合は食器棚Cbに、飲み物が入っている場合は冷蔵庫Rgに、それぞれコップを運搬させたいのに対し、飲み物の有無に拘らず常に同じ場所に運搬されてしまう、といった不具合が生じる。
また、別の例として運搬対象が食器(例えば皿等)である場合を考える。つまりロボットが食後の食器の片付け作業を行うとする。食後の食器は、「汚れている」、「食べ残しが存在する」等の様々な状況を取り得る。そのため、その食器の状況に応じた片付け作業をして欲しいという要求が生まれる。つまり、食べ残しが存在しない食器は、食洗機Dwに運搬する一方、食べ残しが存在する食器は、その食器をまず生ごみ入れGbに運搬して食べ残しを捨てた後に、食洗機Dwに運搬する、といったような作業である。ところが、食器に対して1つの運搬方法しか設定されていないと仮定すると、食器の状況に応じて運搬場所を切り替えることはできない。
すなわち、上記特許文献1に開示されたシステムをそのまま一般家庭等に適用しようとしたとき生じる問題は、一般家庭等においては物品の状況が刻々と変化するのに対し、物品の運搬方法をその状況の変化に対応して変えることができない点にある。
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、物品の状況が変化する場合に、その状況の変化に対応して物品を最適な運搬方法で運搬可能な、物品運搬用ロボットを提供することにある。
本発明は、上記目的を達成するため、以下のように構成している。
本発明の第1態様によれば、生活空間内の物品のIDが同じで上記物品の状況により運搬方法が異なるような上記物品の運搬を行う物品運搬用ロボットであって、
上記運搬対象の物品の状況を認識する状況認識手段と、
上記状況認識手段によって認識された上記物品の状況に応じて、当該物品の運搬方法を特定する運搬方法特定手段と、
上記運搬方法特定手段によって特定された運搬方法に従って、上記運搬対象の物品の運搬を行う運搬装置と、
各物品の物体の載置又は収容状況毎に、当該状況と載置又は収容された物体の運搬動作とを対応付けた運搬情報を蓄積する運搬情報データベースと、を備えるとともに、
上記運搬情報は、上記運搬装置によって物品が運搬場所に運搬された結果、変化する当該物品の次の状況についての情報をさらに含み、
上記運搬方法特定手段は、上記運搬情報データベースを参照することによって、上記物品の状況に対応する運搬情報を特定するとともに、上記認識された物品の状況に対応する運搬情報を選択した後に、上記選択した運搬情報に含まれる次の状況についての情報に基づいて、当該次の状況に対応する別の運搬情報をさらに選択し、
上記運搬装置は、上記別の運搬情報が選択されたときには、その別の運搬情報に従って上記物品の運搬をさらに実行する、物品運搬用ロボットを提供する。
本発明の第2態様によれば、生活空間内の物品のIDが同じで上記物品の状況により運搬方法が異なるような上記物品の運搬を行う物品運搬用ロボットであって、
上記運搬対象の物品の状況を認識する状況認識手段と、
上記状況認識手段によって認識された上記物品の状況に応じて、当該物品の運搬方法を特定する運搬方法特定手段と、
上記運搬方法特定手段によって特定された運搬方法に従って、上記運搬対象の物品の運搬を行う運搬装置と、を備えるとともに、
上記運搬対象の物品は、物体を載置又は収容する機能を有し、
上記状況認識手段は、上記運搬対象の物品が物体を載置又は収容しているか否かの状況を認識する、物品運搬用ロボット。
本発明の物品運搬用ロボットによれば、運搬対象の物品の状況を認識しかつ、その認識結果に応じて運搬方法を特定した上で物品を運搬するため、物品の状況が変化する場合に、その状況に応じた最適な運搬方法で物品を運搬することができる。
本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
以下、本発明の実施形態について説明する前に、本発明の種々の態様について説明する。
本発明の第1態様によれば、生活空間内の物品のIDが同じで上記物品の状況により運搬方法が異なるような上記物品の運搬を行う物品運搬用ロボットであって、
上記運搬対象の物品の状況を認識する状況認識手段と、
上記状況認識手段によって認識された上記物品の状況に応じて、当該物品の運搬方法を特定する運搬方法特定手段と、
上記運搬方法特定手段によって特定された運搬方法に従って、上記運搬対象の物品の運搬を行う運搬装置と、を備えた物品運搬用ロボットを提供する。
本発明の第2態様によれば、各物品の状況毎に、当該状況と運搬動作及び/又は運搬場所とを対応付けた運搬情報を蓄積する運搬情報データベースをさらに備え、
上記運搬方法特定手段は、上記運搬情報データベースを参照することによって、上記物品の状況に対応する運搬情報を特定する、第1の態様に記載の物品運搬用ロボットを提供する。
本発明の第3態様によれば、上記運搬情報は、上記運搬装置によって物品が運搬場所に運搬された結果、変化する当該物品の次の状況についての情報をさらに含み、
上記運搬方法特定手段は、上記認識された物品の状況に対応する運搬情報を選択した後に、上記選択した運搬情報に含まれる次の状況についての情報に基づいて、当該次の状況に対応する別の運搬情報をさらに選択し、
上記運搬装置は、上記別の運搬情報が選択されたときには、その別の運搬情報に従って上記物品の運搬をさらに実行する、第2の態様に記載の物品運搬用ロボットを提供する。
本発明の第4態様によれば、上記運搬対象の物品は、物体を載置又は収容する機能を有し、
上記状況認識手段は、上記運搬対象の物品が物体を載置又は収容しているか否かの状況を認識する、第1の態様に記載の物品運搬用ロボットを提供する。
本発明の第5態様によれば、上記状況認識手段は、上記運搬対象の物品に、他の物品が積載されているか否かの状況を認識する、第1の態様に記載の物品運搬用ロボットを提供する。
本発明の第6態様によれば、生活空間内の物品のIDが同じで上記物品の状況により運搬方法が異なるような上記物品の運搬を行うロボットに上記物品の運搬指示を出力する物品運搬システムであって、
運搬対象の各物品の状況毎に、当該状況と運搬方法及び/又は運搬場所とを対応付けた運搬情報を蓄積する運搬情報データベースと、
上記運搬対象の物品の状況を認識する状況認識手段からの認識結果を受けて、当該状況に応じて上記運搬情報データベースを参照して当該物品の運搬方法を特定する運搬方法特定手段とを備えて、
上記運搬方法特定手段により上記運搬情報データベースを参照して特定した運搬方法に基づいて上記ロボットに運搬指示を出力する物品運搬システムを提供する。
本発明の第7態様によれば、生活空間内の物品のIDが同じで上記物品の状況により運搬方法が異なるような上記物品の運搬をロボットで行う物品運搬方法であって、
上記運搬対象の物品の状況を認識し、
上記物品の状況を認識した物品の状況に応じて、当該物品の運搬方法を特定し、
上記特定した運搬方法に従って、上記ロボットが上記運搬対象の物品の運搬を行う、ことを含む物品運搬方法を提供する。
本発明の第8態様によれば、上記物品の状況により、上記物品の上記運搬方法が異なるとともに、さらに、運搬場所も異なる、第1の態様に記載の物品運搬用ロボットを提供する。
本発明の第9態様によれば、上記物品を保持する保持装置をさらに備え、
上記保持装置で上記物品を保持しながら上記物品を運搬する、第1の態様に記載の物品運搬用ロボットを提供する。
本発明の第10態様によれば、上記運搬対象の物品が食器であり、上記物品運搬用ロボットは食後の食器の片付け作業を行うロボットとして機能し、上記食器が汚れている状況と上記食器が汚れていない状況とでは運搬場所と運搬方法が異なる、第1の態様に記載の物品運搬用ロボットを提供する。
以下、本発明の実施形態について、図面を参照しながら説明する。
(物品運搬用ロボットの全体構成)
図1Aは、本発明の第1実施形態における、物品運搬用ロボット10又は物品運搬システム10の構成図を示す。この物品運搬用ロボット又は物品運搬システム10は、状況認識手段101、運搬方法特定手段102、運搬装置103、及び運搬情報データベース104とを備えて、運搬方法特定手段102には、状況認識手段101と運搬装置103と運搬情報データベース104とが接続されて構成されている。このような物品運搬用ロボット又は物品運搬システム10は、一般家庭、オフィス、ホテル、店舗又は病院等の、人間が生活を営む空間(以下、生活空間と呼ぶ)において、物品の運搬を、人に代わって行う物品運搬用ロボット又は物品運搬システム10であり、ユーザによる作業命令を受けたときに物品の運搬を行う場合と、物品運搬用ロボット又は物品運搬システム10が生活空間内の状況を判断して自動的に物品の運搬を行う場合とが存在する。自動的に物品の運搬を行う例としては、例えば物品が生活空間内に長時間置かれているときに、その物品を自動的に片付ける場合を挙げることができる。以下においては、一般家庭を対象とした物品運搬用ロボット又は物品運搬システム10の構成について説明する。なお、図2Bは、物品運搬用ロボット又は物品運搬システム10により物品が運搬される生活空間の一例としての部屋の間取り図であり、Dwは食洗機、Ksはシンク、Gbは生ゴミ入れ、Rgは冷蔵庫、Cbは食器棚、Tbはテーブルである。
本物品運搬用ロボット又は物品運搬システム10のうちの物品運搬用ロボットは、図1Bに示すように、状況認識手段101、運搬方法特定手段102、運搬装置103、及び運搬情報データベース104の全てを搭載した、図8に示すような1つのロボット50より構成することができる。運搬方法特定手段102には、状況認識手段101と運搬装置103と運搬情報データベース104とが接続されている。
なお、これらの構成要素を1つの装置(例えばロボット)に搭載した場合には、「物品運搬用ロボット」10と呼び、これらの構成要素のうちの一部の構成要素を、運搬装置103を備えるロボット50外に配置した場合には、「物品運搬システム」と呼ぶことにする。
上記運搬情報データベース104は、生活空間内の物品を運搬する際にその物品の状況に応じた複数の運搬方法の中から最適な運搬方法を特定するための知識(情報)を予め蓄積したデータベースである。
上記状況認識手段101は、運搬対象の物品の認識と、その物品の状況の認識とを行う。この状況認識手段101は、後述するように、カメラ(例えばカメラ502)、温度センサ、重量センサ(例えば重量センサ101b,101b−1〜101b−9)、タグリーダ(例えばタグリーダ101c,TR,TRw,TR1〜TR9,TR11〜TR17,TR91,TR92など)等の各種センサ101aより構成するか、又は、各種センサ101aと、各種センサ101aで検出されたデータを処理する処理部、例えば認識処理部101p又は推論処理部101gと、検出されたデータを処理(認識処理又は推論処理)する際に必要なデータが蓄積されたデータベース101dとより構成する(図2F参照)。
上記運搬方法特定手段102は、上記状況認識手段101によって認識された物品、及びその状況に応じて、運搬情報データベース104に予め蓄積された当該物品の複数の運搬方法の中から、当該物品を運搬する際に最適な運搬方法を特定する。すなわち、上記運搬方法特定手段102は、上記運搬情報データベース104を参照することによって、生活空間内の物品のIDが同じであるが、上記物品の状況により運搬方法が異なり、複数の運搬方法が存在するとき、上記物品の状況に応じて、複数の運搬方法のうちから1つの運搬方法の特定を行う。また、上記運搬方法特定手段102は、特定した運搬方法の情報を上記運搬装置103に送信する。
上記運搬装置103は、上記運搬方法特定手段102によって特定された運搬方法の情報に従って上記運搬対象の物品の運搬を実行する。
また、上記物品運搬用ロボット又は物品運搬システム10のうちの物品運搬システムの一例としては、図1Cに示すように、上記状況認識手段101を、図8のロボット50以外の、ロボット50が運搬作業を行う生活空間内に設置(例えば、状況認識手段101の一例であるカメラ502を図2Aに示すように天井に設置)し、上記運搬方法特定手段102、運搬装置103、及び運搬情報データベース104を、ロボット50に搭載して構成するようにしてもよい。
また、上記物品運搬システムの別の例としては、図1Dに示すように、運搬情報データベース104をコンピュータ(例えば家庭内情報サーバー等)内に構築するとともに、上記状況認識手段101を、図8のロボット50に設置するか、又は、図8のロボット50以外の、ロボット50が運搬作業を行う生活空間内に設置(例えば、状況認識手段101の一例であるカメラ502を図2Aに示すように天井に設置)し、ロボット50に運搬装置103と運搬方法特定手段102とが搭載され、その運搬方法特定手段102が、必要に応じて無線及び/又は有線のネットワークを介して上記コンピュータに構築された運搬情報データベース104にアクセスしてもよい。
さらに、上記物品運搬システムのさらに別の例としては、例えば図2Aに示すように、状況認識手段101、運搬方法特定手段102、運搬装置103、及び運搬情報データベース104をそれぞれ独立して設け、これらを有線又は無線のネットワークを介して互いに接続することによって構成することも可能である。より具体的には、図2Cに示すように、運搬情報データベース104と運搬方法特定手段102とをコンピュータ(例えば運搬情報管理サーバ401)内に構築し、ロボット50には運搬装置103のみを搭載し、必要に応じて上記コンピュータに構築された運搬情報データベース104に運搬方法特定手段102がアクセスし、無線及び/又は有線のネットワークを介して、ロボット50の運搬装置103に運搬情報を出力するようにしてもよい。この図2Aに示す物品運搬システムでは、ロボット50自体は、運搬装置103そのものとなる。また、運搬方法特定手段102は、状況認識手段101からの認識結果を受けて運搬方法を特定すると共に、その特定した方法に基づいて上記運搬装置103(例えばロボット50)に運搬指示を出力する運搬指示装置とも言うことができる。
図2Aに示す物品運搬システムのブロック図である図2Cにおいて、物品運搬システムは、大きく分けて、運搬装置103として機能するロボット50と、生活空間(環境)内の状況を把握する状況認識手段101を含むサーバとしての環境管理サーバ401と、及び操作装置としての操作端末403との3個のサブシステムから構成されている。
サブシステム401〜403はそれぞれ送受信手段409を備えており、これらの送受信手段409によって、それぞれの制御手段の制御の基に、無線又は有線のネットワークを介して、情報やデータ、信号などのやり取りを互いに独立して行うことができる。なお、各送受信手段409は、共通の処理を行うため、図2Cでは同一の符号409を付している。
なお、ここでの説明では、「環境」は、一例として、家の部屋とするが、本発明はこれに限られるものではなく、生活空間であって物品が配置されている空間を意味する。
各サブシステムの構成と動作について、以下に説明する。
<環境管理サーバの構成>
環境管理サーバ401は、上記状況認識手段101によって把握した状況のうち、環境内に存在する物品と、ロボット50の運搬方法を特定する上記運搬方法特定手段102と、生活空間内の物品を運搬する際にその物品の状況に応じた複数の運搬方法の中から最適な運搬方法を特定するための知識(情報)を予め蓄積した上記運搬情報データベース104と、運搬動作を行う生活空間(環境)の状況、すなわち、物品及び人やロボット50を含む移動体及び移動体以外の設備など環境全体の状況を管理する環境マップ管理手段407と、その環境全体の状況のデータを蓄積する環境マップデータベース408とを備えている。状況認識手段101からの出力信号は、運搬方法特定手段102と環境マップ管理手段407とにそれぞれ入力されるように接続されている。運搬方法特定手段102は、運搬情報データベース104と制御手段410とに接続されている。環境マップ管理手段407は、環境マップデータベース408と制御手段410とに接続されている。送受信手段409は、制御手段410に接続されている。
送受信手段409は、制御手段410の制御の基に、運搬情報データベース104のデータ及び環境マップ408のデータの問い合わせ(信号)や運搬動作要求(信号)を外部から受信したり、その応答信号を外部に発信したり、また、ロボット50に対する運搬動作などの制御コマンドを送信したりする。制御手段410は、運搬方法特定手段102、環境マップ管理手段407、及び送受信手段409のそれぞれの動作を独立してコントロールする。
状況認識手段101は、詳細は後述するように、運搬対象の物品の認識と、その物品の状況の認識とを行う他、環境内に存在する家具などの設備や物品、及び環境内に存在する人やロボット50について、その位置(位置座標)と状態(座る、外出、立つ、寝る、歩く、保持、吸着、把持、解放など)を常時監視することもできる。
また、状況認識手段101は、人やロボット50によって、環境内に物品が持ち込まれたことや、環境外へ物品が持ち出されたことも検出可能である。状況認識手段101は、具体的には、環境内に設置されたカメラ(画像センサ)502や、タグリーダTR等があるが、詳細については後述する。そして、物品などを検出したとき、状況認識手段101は、その検出情報を運搬方法特定手段102及び環境マップ管理手段407に送信する。状況認識手段101から運搬方法特定手段102及び環境マップ管理手段407に送信する情報としては、例えば、物品の検出時刻、物品の位置(位置座標)及び向き等がある。
運搬方法特定手段102は、状況認識手段101によって検出された物品などの情報を、運搬情報データベース104に蓄積して管理する。運搬情報データベース104に管理する情報は、少なくとも物品のID情報と現在位置(位置座標)の情報を含む。運搬情報データベース104の詳細については後述する。
また、運搬方法特定手段102は、状況認識手段101からの情報に基づいて、上記運搬情報データベース104を参照することによって1つの運搬方法の特定を行う。さらに、運搬方法特定手段102は、送受信手段409で受信するなどの結果として制御手段410から運搬方法特定手段102に物品の運搬動作の要求があったとき、その物品の運搬動作の要求の内容に応じて必要な情報を運搬情報データベース104から取り出し、制御手段410に送る。運搬方法特定手段102の詳細については後述する。
また、環境マップ管理手段407は、状況認識手段101からの情報に基づいて、環境マップを作成して環境マップデータベース408に蓄積するとともに、その作成した環境マップの管理を環境マップデータベース408で行う。環境マップデータベース408に蓄積された環境マップは、ロボット50が生活空間(環境)内を移動して物品の運搬動作を行うときに利用するものであり、ロボット50はこの環境マップをサーバ401から取得して、物品の運搬動作の際のロボット50の移動経路計画を立てることができる。
さらに、環境マップ管理手段407は、送受信手段409で受信するなどの結果として制御手段410から環境マップ管理手段407に、環境マップデータベース408に関する問い合わせや物品の運搬動作の要求などがあったとき、その問い合わせや物品の運搬動作の要求などの内容に応じて必要な情報を環境マップデータベース408から取り出し、制御手段410に送る。
また、制御手段410は、環境管理サーバ401の全体を制御する要素であり、主な制御内容としては以下のものがある。
1)送受信手段409が、環境管理サーバ401内にある各種データに関する問い合わせや物品の運搬動作などの要求を受信したとき、その問い合わせや物品の運搬動作などの要求の内容を制御手段410で判断し、その判断結果に応じて、制御手段410から運搬方法特定手段102や環境マップ管理手段407にデータの参照要求を出す。
2)上記要求に対して物品及び移動体検索管理手段405又は環境マップ管理手段407から制御手段410に送られてきた結果を、制御手段410の制御の基に、送受信手段409を介して、問い合わせ元や物品の運搬動作の要求元などに送る。
3)操作端末403から送受信手段409を介して制御手段410に送信されたロボット50の物品の運搬動作などの要求にかかる作業内容メッセージを解釈し、そのロボット50に動作を実行させるためのロボット制御コマンド列を制御手段410で生成して、制御手段410から送受信手段409を介してロボット50に送信する。なお、ロボット制御コマンド列については、後述する。
4)必要に応じて、一定時間毎に、運搬情報データベース104で管理している物品の一部又は全部の状況や、環境マップデータベース408で管理している環境マップの状況を、送受信手段409を介して制御手段410により、ロボット50やユーザ(操作端末403)にブロードキャストする。
(環境マップと設備データベース)
図2J〜図2Lは環境マップデータベース408の環境マップの例である。図2Jは実環境の例、図2Kは図2Jの実環境を立体モデルで簡略化した環境マップ、図2Lはさらに平面モデルで簡略化した環境マップである。
環境マップは、その用途や、作成にかかる時間(手間)に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、図2Kのように、環境内に存在する立体物を、それを覆う最小の直方体でモデル化すればよい。図2Kでは、テーブルTbと本棚Bsはそれぞれ直方体でモデル化され、ゴミ箱Tsは略円柱でモデル化されている。平面モデルからなる環境マップも同様であり、図2Lでは、テーブルTbと本棚Bsは平面に正射影した矩形領域(斜線を付した領域)でそれぞれモデル化され、ゴミ箱Tsは円領域(斜線を付した領域)でモデル化されている。これら2つの矩形領域及び円領域は、ロボット50が移動不可能な領域に設定される。さらに、図2Jに示すような実環境をそのまま立体モデル化したものを、環境マップとしてもよい。
図2Mは環境マップに付随する設備データベース408eの一例を示す図であり、上記環境に対応したものである。この設備データベース408eは、設備データと、設備属性データとをそれぞれ蓄積する2つのサブデータベース408e−1,408e−2からなる。
1)設備データ
設備データのサブデータベース408e−1に蓄積される設備データは、環境それ自体、及びこの環境内の個々の設備(物品とは異なり、環境に固定又は設置されたものであって、ロボット50の運搬動作作業の対象外となるもの)を特定するためのID情報(例えば、図2Mにおいて、IDとして「room_0001」など)と、設備属性データへのポインタ(例えば、図2Mにおいて、属性データとして「room01」など)とを含む。より具体的には、図2Mでは、環境(部屋)にはID情報として「room_0001」が付され、環境内に存在するテーブルTb、本棚Bs及びゴミ箱Tsには、それぞれ、ID情報として「table_0001」、「bookshelf_0001」、「trash_0001」が付されている。
2)設備属性データ
設備属性データのサブデータベース408e−2に蓄積される設備属性データは、環境自体に係る設備属性データは、その環境内の床面データを含む。例えばその環境内に互いに高さの異なる複数の床面が存在するときは、その床面の数だけ床面データ(例えば、図2Mにおいて、room_01の構成面として「床面1,床面2」など)が蓄積される。床面データは、例えば次のように表される。
((X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),2200,0)
ここで、最初の4組の座標値は、床面を構成する各頂点の実世界座標を表し、次の値(2200)は、その床面から天井までの距離(mm)を表す。また、最後の値(0)は床面の材質を意味する。例えば、「0」はフローリング、「1」は畳、「2」は絨毯等とすればよい。
家具等の設備に係る設備属性データは、その設備を構成する各面のデータ(面1,面2)、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢を含む。具体的には例えば、設備を構成する面のデータは次のように表される。
((X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),1,400)
ここで、最初の3組の座標値は、その面を構成する各頂点の実世界座標を表す。次の値(1)はその面に物品が運搬後に載置可能な否かのフラグであり、「1」は物品が運搬後に載置可能、「0」は運搬後に載置不可能を示す。最後の値(400)は、その面に物品が運搬後に載置可能であるとき、その載置可能な物品の上限高さ(mm)を示す。例えばその面がテーブルの天板であるときは、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。
設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、本を運搬した後に、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は、本を横にした状態で運搬したのち、そのまま横にした状態で本棚の棚面に載置するが、必要に応じて、本を立てた姿勢に変えて本棚の棚面に載置できるようにしてもよい。設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、例えば、ロボット50に本を本棚に運搬させる作業を指定したとき、そのロボット50は「主な物品の形状と姿勢」データを基にして、指定された本を立てた姿勢で本棚の棚に運搬して載置することができる。
ただし、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。例えばテーブルやゴミ箱は、物品の形状や姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。
<ロボットの構成>
ロボット50は、ユーザの指示に従って、環境内で物品を運搬させる作業を行うものとする。
図2C及び図8に示すように、このロボット50は、少なくとも、物品を把持する保持装置501、運搬対象の物品を認識するためのカメラ502及び認識処理部101p及び光源503、ロボット50の周囲の障害物等を検知する障害物センサ(物品運搬システム10の上記状況認識手段101の別の例として機能することもできる装置。)411と、ロボット50の送受信手段409及び制御手段415並びに環境管理サーバ401の送受信手段409及び制御手段410及び運搬方法特定手段102及び環境マップ管理手段407などを介して環境管理サーバ401の環境マップデータベース408内の環境マップを参照してロボット50の運搬動作に伴う移動計画を立てる移動計画作成手段413と、ロボット50自体を移動させる移動装置414とを備えている。送受信手段409は、制御手段415の制御の基に、環境管理サーバ401や操作端末403との間で種々のデータの送受信を行う。制御手段415は、障害物センサ411と、送受信手段409と、物品運搬システム10と、移動計画作成手段413と、移動装置414とに接続されて、それぞれの動作を独立してコントロールする。
図8は物品運搬機能を有するロボット50の構成例を示した概念図であり、このロボット50は、上記したように、移動計画作成手段413や制御手段415等を収容する略箱型の本体部53を備えている。以下、図8における紙面の右側を前側、紙面の左側を後側、紙面手前側を左側、紙面奥側を右側と呼ぶ。
ロボット50の保持装置501は、前述のように、多関節アーム51と、そのアーム51の先端に配設されたハンド52と、それぞれのアーム51及びハンド52を独立してそれぞれ駆動させる駆動装置とから構成され、本体部53の両側部の上部に取り付けられている。それぞれのアーム51及びハンド52の駆動装置は、モータ制御によるアクチュエータにより構成する(例えば、各関節部分に少なくとも1つのモータが配設されており、そのモータを駆動することによって、アーム51及びハンド52を動かすように構成する)ようにしてもよいし、その他のアクチュエータ、例えば油圧や人工筋肉などによるアクチュエータにより構成するようにしてもかまわない。また、保持装置501として、さらに、空気の吸引により物品を保持する吸着ハンドを備える場合には、吸着ハンドと吸着ハンドの吸引動作及び吸引解除動作を制御する吸引装置により構成するようにしても構わない。
また、環境内に存在する各物品に電子タグTgが付されているとして、保持装置501のハンド52には、環境管理サーバ401の状況認識手段101の一例としてのタグリーダTRなどを取り付けるようにしてもよい(図8参照)。これにより、保持装置501のハンド52が物品を保持したときに、保持した物品の電子タグTgに書き込まれた情報をハンド52のタグリーダTRが読み取り、読み取られた情報によって、保持装置501のハンド52により保持した物品が何であるかを、環境管理サーバ401の運搬方法特定手段102で運搬情報データベース104又は環境マップデータベース408を参照して特定することができる。なお、保持装置501のハンド52に取り付けるタグリーダTRは省略し、環境に設置されたタグリーダTRを利用するようにしてもかまわない。
移動装置414は、4つの車輪506と、4つの車輪506を正逆回転駆動するモータ304と、モータ304を駆動制御するモータドライバと303などによって構成されており(図2H参照)、これらの車輪506は、本体部53の左右両側にそれぞれ2つずつ取り付けられている(図8の例では、右側の2つの車輪506の図示を省略する)。なお、移動装置414の構成は、そのロボット50が使用される環境に応じて最適な構成を選択すればよい。例えば、移動する床面の凹凸が激しい場合は、移動装置414をクローラ型や多足歩行型に構成することが好ましい。
障害物センサ411は、ここでは、超音波センサ504、視覚センサとしての一対のカメラ502、及び衝突センサ505とから構成されている。
それぞれの超音波センサ504は、超音波を発してその反射波を受信するまでの時間を測定することによって障害物までのおおよその距離を計算し、近距離の障害物をロボット50との衝突前に検知する。超音波センサ504は、一例として、本体部53の各側面(前面、後面、左右側面)に3個ずつ取り付けられている。
また、それぞれのカメラ502は、ロボット50の周囲の状況を画像として入力する。この画像に対して認識処理等を行うことによって、障害物の有無を判断したり、運搬対象物品についてより正確な情報を得たりする。また、このカメラ502は、上述したように運搬対象の物品を認識する際にも利用される。カメラ502は、本体部53に取り付けられたアーム51の中間部の間接部51aに位置変更可能に取り付けられている。
さらに、衝突センサ505は、ロボット50に所定の衝撃力が加わったことを検知する。例えば障害物がロボット50に衝突してきたり、ロボット50自体が移動中に障害物に衝突したことを、衝突センサ505によって検知する。衝突センサ505は、本体部53の前面と後面の下部にそれぞれ取り付けられている。
図2Gは、物品保持時に姿勢制御を行うための上記保持装置501の模式図を示したものである。この図2Gにおいて、保持装置501の多間接アーム51は、長さL1の基端側のアームと、長さL2の先端側のアームと、基端側のアームの基端部が間接P0によりロボット2の本体部53の側部に回動可能に接続されているとともに、基端側のアームの先端部と先端側のアームの基端部とが間接P1(間接部51a)により屈曲可能に接続され、さらに、先端側のアームの先端部に間接P2を介してハンド52が接続されている。ここで、説明を簡単にするために、2次元平面上において、ハンド52とアーム51の接点間接P2を姿勢制御することを考える。
図2Hは、移動装置414や保持装置501のモータ制御形式のアクチュエータなどの任意の駆動部の駆動制御系を表している。なお、すべての駆動部について、同様の駆動制御系が構成されている。
モータ304は、その回転軸が、モータドライバ303から供給される電流によって正逆駆動されて、たとえば4個の車輪506を正逆回転させる。上記モータ304には、駆動された回転軸の回転角度を検出するための角度センサが設置されている。角度センサ307からの出力信号は、エンコーダ306及びエンコーダボード305を通して、CPU301に入力される。
CPU301は、上記モータ304の駆動を制御する。CPU301には、制御をするために必要な情報を格納するメモリ310が接続されている。
また、ハンド52には、運搬対象物である物品をきちんと保持しているかどうかの検出を行う圧力センサ309が、たとえば、把持面に設置されており、その圧力センサ309からのセンサ出力信号は、A/Dコンバータ308を通してCPU301に入力される。
角度センサ307からの出力信号と圧力センサ309からのセンサ出力信号を入力信号として受け取り、受け取られた入力信号に応じて、CPU301はモータ304に対する制御信号を作成し、その制御信号は、D/Aコンバータ302を通してモータドライバ303へ送られる。この制御信号に応じてモータ304は正逆駆動されることで、アーム51やハンド52の姿勢制御を実現する。
ここで、アーム51の長さはそれぞれL1、L2、角度センサ307が間接P0,P1において、角度センサ(ここでは、エンコーダ)によって取得されており、その角度をそれぞれθ、φとする。このとき、アーム51の先端位置P2の位置は、以下の関係式で求まる。
Figure 0003920317

この関係式から、運搬対象物の位置を推定し、任意の位置へ移動させることができるため、姿勢制御を実現することができる。姿勢制御とは、以上のような角度センサなどの情報を元に微調整を行い、位置や向きを正確に制御することである。また、ここでは簡略化のために2次元平面における位置制御のみについて説明したが、3次元空間における位置・姿勢制御についても同様の処理が可能である。
たとえば、内部に液体の入ったグラスGLをハンド52で保持する場合、3次元空間における姿勢制御とは、液体がこぼれないように姿勢を制御することである。ここで、座標系を図2Iのように設定する。すなわち、対象物の位置に関しては、互いに直交するXw軸とYw軸とで構成される水平な床面をXw−Yw平面、この平面から垂直上向きにZw軸を設定する。また、姿勢(回転)に関しては、グラスGLの底面を互いに直交するx軸とy軸とで構成されるx−y平面、この平面からグラスGLの口方向へ向かって垂直方向をz方向を設定し、x、y、zの各軸に対して原点側から見て右回りの方向にそれぞれ、α、β、γの方向とする。内部に液体LDの入ったグラスGLを姿勢制御する場合、この6軸に対して、αとβの方向のみが変化しないようにすればよい。
移動計画作成手段413は、物品の運搬動作が要求されたとき、ロボット50の現在位置の位置座標から目的位置の位置座標までの移動経路を、環境マップデータベース408の環境マップを参照して作成する。環境マップには、図2Lに示すように、移動不可領域(斜線を付した領域)が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成できる。例えば図2Lにおいて、A地点からB地点までの移動の際には、ロボット50の大きさを考慮して、矢線で示すような移動不可領域を回避するルートが作成される。移動経路の作成には、最も一般的なダイクストラ法を用いればよいし、環境が複雑な場合は、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。なお、環境が複雑すぎるため、移動経路の算出ができない、あるいは、その算出に多大な時間を要するような場合の対策として、ユーザが操作端末403を使用してロボット50の移動経路を移動計画作成手段413に指定するモードを設けてもよい。
(ロボットの制御コマンド)
ロボット50の制御手段415は、主に環境管理サーバ401から環境管理サーバ側及びロボット側の送受信手段409,409を介して送られてきたロボット制御コマンド列を解釈し、その制御コマンドを順に実行する。
ロボット制御コマンドとは、物品の保持や運搬動作のためのロボット50自体の移動の制御を行うためのコマンドであり、大きくわけると、主として「移動」、「保持」、「解放」の3種類がある。この3種類のコマンドについて簡単に説明する。
1)移動:(move,座標)又は(move,設備ID)
ロボット50の現在位置の位置座標から位置座標で指定された位置、又は設備ID情報で指定された設備の位置の位置座標までロボット50が物品運搬動作のために移動するコマンドである。位置座標は世界座標系で指定し、現在位置の位置座標から目的位置の位置座標までの移動経路は移動計画作成手段413が計画する。また、設備ID情報で指定された設備の位置の位置座標に移動するときは、その設備に対して所定の距離まで近づくような経路を作成するが、この場合、環境マップ内の設備属性データを利用する。
2)保持:(grab,物品ID)
物品ID情報で指定された物品を、保持装置501の一例としてのハンド52によって保持するコマンドである。物品の位置(位置座標)は、運搬情報データベース104又は環境マップデータベース408を参照して求め、運搬動作は運搬情報データベース104を参照して物品運搬システム10の上記運搬方法特定手段102が選定する。
3)解放:(release)
運搬終了後にハンド52を解放するコマンドである。
例えば、ある物品をある場所に移動させる作業がユーザから指示されたときは、その作業は、「(物品の位置B1への)移動」と、「(物品の)保持」と、「(移動先B2への)移動」と、「(物品の保持)解放」という4つの作業単位に分解される。この場合のロボット制御コマンド列は、
move,B1(物品が置かれている位置B1にロボット50を移動する)
grab,物品ID(位置B1にある物品を保持装置501で保持する)
move,B2((物品を保持装置501で保持した状態で)移動先である位置B2にロボット50が移動する)
release(保持装置501で保持している物品を解放する)
となる。複数の物品の移動を指示されたときは、コマンド列は、上記4つのコマンドを一組として物品の数だけ並べられ、ロボット50の制御手段415は、その順番に従って制御コマンドを順に実行する。
もちろん、ロボット制御コマンドはこの3種類に限られるものではなく、必要に応じて増やしてもよいことはいうまでもない。
<操作端末の構成>
操作端末403は、上記ロボットによる物品運搬システムにおけるユーザインタフェースであり、ユーザが、ロボット50に対して物品の運搬動作の要求などするために操作する端末である。
図2Cに示すように、操作端末403は、操作画面を表示する、例えばCRTや液晶ディスプレイからなる表示装置417と、表示装置417の操作画面上でロボット50に対して物品運搬動作を指示するための例えばポインティングデバイスからなる入力装置416と、表示装置417に表示される操作画面の作成等の表示制御を行う表示制御手段418とを備えている。送受信手段409は、制御手段419の制御の基に、入力装置416に入力されたロボット50の物品の運搬動作の要求などの内容や問合せ内容をサーバ401に送るとともに、物品の運搬動作の要求や問合せに対する回答を環境管理サーバ401から受信する。制御手段419は、送受信手段409と、入力装置416と、表示装置417と、表示制御手段418とに接続されて、それぞれの動作を独立してコントロールする。
この操作端末403としては、例えば汎用PC(パーソナルコンピュータ)を用いることも可能である。この場合、各処理を実行させる制御プログラムを汎用PCに読み込ませることによって、操作端末403として用いることが可能になる。
表示制御手段418は、環境管理サーバ401から送信された情報、具体的には、状況認識手段101の一例としてのカメラ502が環境内を撮像した画像のデータ、運搬情報データベース104に蓄積されたデータ、環境マップデータベース408に蓄積された環境マップに基づいて、操作画面を作成する。作成された操作画面は、表示装置417に表示される。
すなわち、以上のようなシステムでは、操作端末403が、所定の生活空間を表す画像を表示装置417に表示し、ユーザが操作端末403から、画像に含まれた物品に対する運搬動作の指示を行い、操作端末403から送信されたユーザの指示を、環境管理サーバ401の運搬方法特定手段102が、運搬情報データベース104を参照して、ロボット50が実行可能な制御コマンドに変換し、ロボット50に送信する。このような物品操作方法によって、ユーザは、生活空間の複雑な状況において、ロボット、言い換えれば、生活支援ロボット50に的確な物品運搬動作を、容易に実行させることができる。
また、上記物品運搬システム10によって、ロボット50の保持装置501は、運搬対象物である物品の位置(位置座標)、ID情報、形状といった対象物情報、及び人物の位置(位置座標)、ID情報といった人物の情報を利用して、物品の保持及び運搬動作を行うことが可能である。
尚、物品運搬用ロボット10や物品運搬システムの構成はこれらに限るものではなく、後述する運搬処理が実現できる構成であれば、どのような構成を採用してもよい。
以下、運搬情報データベース104、状況認識手段101、運搬方法特定手段102、及び運搬装置103のそれぞれについて、その詳細を説明する。
(運搬情報データベース)
上記運搬情報データベース104は、生活空間内の物品毎に、その物品が取り得る状況と運搬動作(言い換えれば運搬方法)及び/又は運搬場所とを対応付けた運搬情報を蓄積するデータベースである。
図3A、図3B、図3Cは、それぞれ、物品毎に上記運搬情報データベース104に蓄積されている運搬情報の一例を示している。この運搬情報は、物品を片付けることを目的としてその物品を運搬するときの運搬情報である。この運搬情報データベース104では、運搬情報として少なくとも2つの情報が含まれる。1つは運搬装置103による運搬動作に関する情報であり、この運搬動作の情報には、運搬する際の物品の姿勢情報、及び運搬速度の情報の少なくとも2つが含まれる。もう1つの運搬情報は、その物品の運搬先である運搬場所に関する情報である。
図3Aは、物品の一例である皿について設定されている運搬データの一例を示している。皿は一般家庭において使用されている場合に、「汚れ無し」、「汚れ有り」、「食べかす有り」、「食べ残し有り」の、少なくとも4つの状況を取り得る。尚、皿の状況としてはこれ以外に様々な状況を取り得るが、ここでは理解容易のために、これらの4つの状況に限定して説明する。
また、皿の状況は状況認識手段101によって認識されるが、この処理については後述する。
先ず、皿が「汚れ無し」の状況にあるときは、その皿を運搬する際に特に留意すべき点がないと考えられる。そこで、その状況に対する動作情報として、姿勢及び速度が共に「自由」に設定される。ここで、「自由」とは、運搬装置103にとって最適な姿勢、速度で物品を運搬すればよい、ことを意味する。また、「汚れ無し」の皿はそのまま保管すればよいため、「汚れ無し」の状況に対する運搬場所として「食器棚」Cbが設定される。
これに対し、皿が「汚れ有り」の状況にあるときは、「汚れ無し」の状況にあるときとは動作及び場所が異なる。つまり、その汚れが例えばソース等の液体状のものである場合には、皿を運搬している最中にそのソース等が皿から落下することを防止する必要がある。そのため、皿が「汚れ有り」の状況に対応する動作情報として、姿勢は「上向き」、速度は「低速」が設定される。また、汚れている皿は洗う必要があるため、運搬場所としては、「シンク」Ksが設定される。尚、「シンク」Ksに代えて「食洗機」Dwと設定してもよい。ここで、「低速」とは、皿を運搬している最中にそのソース等が皿から落下しないように運搬できる速度、例えば時速2km/h以下の速度で移動することを意味する。
また、皿が「食べかす有り」の状況にあるときには、「汚れ有り」の状況にあるときと同様に、皿を運搬している最中に皿の上の食べかすが落下することを防止する必要があるため、動作情報として、姿勢は「上向き」、速度は「低速」が設定される。また、食べかすが存在している場合は、皿を洗う前にその食べかすを捨てる必要があるため、運搬場所としては、「生ゴミいれ」Gbが設定される。ここで、「低速」とは、皿を運搬している最中に皿の上の食べかすが落下しないように運搬することができる速度、例えば時速2km/h以下の速度で移動することを意味する。
さらに、皿が「食べ残し有り」の状況にあるときには、皿を運搬している最中に皿の上の食べ残しが落下することを防止する必要があるため、動作情報として、姿勢は「上向き」、速度は「低速」が設定される。また、当該食べ残しが存在している場合は、その食べ残しの物品の保管に適切な場所に運搬することが望ましい。そこで、ここでは運搬場所として「冷蔵庫」Rgが設定される。尚、食べ残しの状況をさらに細分化して、その細分化した状況毎に運搬場所を設定してもよい。例えば、食べ残しの状況を、食べかす部分と食べ残し部分とに区分し、食べかす部分は、それを捨てる必要があるため、運搬場所としては「生ゴミいれ」Gbが設定され、食べ残し部分は、それを保管する必要があるため、運搬場所としては「冷蔵庫」Rgが設定されるようにしてもよい。ここで、「低速」とは、皿を運搬している最中に皿の上の食べ残しが落下しないように運搬することができる速度、例えば時速2km/h以下の速度で移動することを意味する。
図3Bは、物品の一例であるコップについて設定されている運搬データの一例を示している。コップは一般家庭において使用されている場合に、「汚れ無し」、「飲み残し無し」、「飲み残し有り」の、少なくとも3つの状況を取り得る。尚、コップの状況としてはこれ以外に様々な状況を取り得るが、ここでは理解容易のために、これらの3つの状況に限定して説明する。
先ず、コップが「汚れ無し」の状況にあるときは、そのコップを運搬する際に特に留意すべき点がないと考えられるため、その状況に対する動作情報として、姿勢及び速度が共に「自由」に設定される。また、「汚れ無し」のコップはそのまま保管すればよいため、「汚れ無し」の状況に対する運搬場所として「食器棚」Cbが設定される。
これに対し、コップが「飲み残し無し」の状況(飲み残しは無いが汚れは有る状況)にあるときは、コップに飲み残しが無くても、コップに付着している飲み物がコップを運搬している最中に垂れることを防止する必要がある。そのため、コップが「飲み残し無し」の状況に対応する動作情報として、姿勢は「上向き」が設定されるが、コップの姿勢を上向きにしておけば飲み物がこぼれることはないため、速度は「自由」が設定される。また、飲み残し無しであるがコップは汚れており、コップを洗う必要があるため、運搬場所として「食洗機」Dwが設定される。尚、「食洗機」Dwに代えて「シンク」Ksと設定してもよい。
また、コップが「飲み残し有り」の状況にあるときには、コップを運搬している最中に飲み物がこぼれることを防止する必要があるため、動作情報として、姿勢は「上向き」、速度は「低速」がそれぞれ設定される。また、当該飲み残しが存在している場合は、その飲み残しの飲み物を廃棄するために、運搬場所として「シンク」Ksが設定される。尚、飲み残しの状況に応じて運搬場所を適宜変更してももちろんよく、例えば、その飲み残しの飲み物の保管に適切な運搬場所として「冷蔵庫」Rgが設定されるようにしても構わない。ここで、「低速」とは、コップを運搬している最中に飲み物がこぼれないように運搬することができる速度、例えば時速2km/h以下の速度で移動することを意味する。
図3Cは、物品の一例である本について設定されている運搬データの一例を示している。本は一般家庭において使用されている場合に、本が一冊だけの「積載無し」、本又は他の物体が本の上に積載された「積載有り」の、少なくとも2つの状況を取り得る。尚、本の状況としてはこれ以外に様々な状況を取り得るが、ここでは理解容易のために、これらの2つの状況に限定して説明する。
先ず、本が「積載無し」の状況にあるときは、その本を運搬する際に特に留意すべき点がないと考えられるため、その状況に対する動作情報として、姿勢及び速度が共に「自由」に設定される。また、「積載無し」の本は、本が通常片付けられる場所に片付ければよいと考えられるため、「積載無し」の状況に対する運搬場所として「本棚」Bsが設定される。
これに対し、本が「積載有り」の状況にあるときは、その本の上に他の物体(例えば他の本)が載せられている状態であるため、その他の物体である積載物が運搬中に落下することを防止する必要がある。そのため、本が「積載有り」の状況に対応する動作情報として、姿勢は「上向き」、速度は「低速」がそれぞれ設定される。また、他の物体が積載された状況にある本を運搬する場合、その本を「本棚」に片付けるのではない場合が考えられるため、ここでは、「積載有り」の状況に対応する運搬場所として「ユーザー指定先」が設定される。これは、運搬場所を予め設定するのではなく、ユーザが運搬場所を指定することを意味する。ここで、「低速」とは、積載物が運搬中に落下しないように運搬することができる速度、例えば時速2km/h以下の速度で移動することを意味する。
以上は、運搬情報データベース104に蓄積されている運搬情報の基本的な構成であるが、その運搬情報を以下に示すように構成することによって、物品の運搬をより最適化したり、ユーザの利便性のより一層の向上を図ったりすることが可能である。以下、運搬情報の変形例について説明する。
(運搬情報の変形例1)
図4A〜図4Dは、変形例1に係る運搬情報の例を示す。この運搬情報は、物品を運搬する際の運搬速度の速度変化を設定しており、このことにより、運搬のさらなる最適化を図る。
図4Aに示す運搬情報は、コップについて設定されている運搬情報である。図3Bに示す運搬情報と比較して、図4Aに示す運搬情報は、運搬速度の設定が変更されている。つまり、図3Bに示す運搬情報では、運搬速度が「自由」や「低速」と設定されているだけであり、そうした低速の運搬速度をどのようにして制御するかについては設定されていない。これに対し、図4Aに示す運搬情報では、運搬速度を、「速度規制1」、「速度規制2」、「速度規制3」等と設定することにより、物品の運搬時における速度の変更制御をも設定している。
ここで、「速度規制」は、運搬開始から終了までの間で、速度をどのように変化させるかを、時間に対する速度の関係として数値的に定義したものである。
「速度規制1」は、図4Bに示すように、運搬開始から所定速度までは一定の加速度で加速し、その後、一定の速度を保って移動を継続し、運搬終了の所定時間前(運搬場所に近づいたら)一定の加速度で減速する、制御内容である。
また、「速度規制2」は、図4Cに示すように、速度規制1とは異なり、曲線の特性を有するものである。このような曲線的に加速度を変化させることによって、運搬している物品に作用する負担を和らげることができる。
さらに、「速度規制3」は、図4Dに示すように、物品を運搬する生活空間に応じて速度変化を切り換える制御内容である。ここでは、運搬する生活空間の床面がフローリングであるときと、絨毯・畳であるときとのそれぞれについて、互いに異なる速度規制が設定されている。これは、床がフローリングであるときには、凹凸が小さいため運搬装置103(例えばロボット50)が比較的高速でも安定走行が可能であるのに対し、床が絨毯や畳であるときには高速では運搬装置103(例えばロボット50)の走行が不安定になるためである。この速度規制3に従って運搬中の速度変化を実行する場合、床がフローリングから絨毯に変わったり、またはその逆に変わったりしたときには、その変化後の床に応じて制御を切り替えることになるが、その制御の切り替えを急激に行うのではなく、一方の制御から他方の制御へと滑らかに切り替えることが、運搬している物品に与える影響を低減する上で望ましい。
尚、床がフローリングであるか、絨毯であるか、畳であるか、を判断する方法は、例えば特開2003−346150号公報等によって公知である。これは、ガボア・フィルタリング(Gabor Filtering)処理結果を特徴量とし、その一致度合から床面を特定するものである。この手法を図4Eを用いて詳述する。
図4Eは、この床面を特定する処理の流れ順にそれぞれ所定の処理を行う構成要素を示すブロック図である。まず、撮像部801は、カメラ502などの撮像素子を利用して、床面の撮像を行なう。次いで、周波数解析部802により、こうして撮像したフレーム画像に高速フーリエ変換を行い、当該フレーム画像に含まれている周波数成分の高低及びその分布を解析した後、周波数方向フィルタ部803により、最も分布の多い周波数を含む複数種類の周波数ごとに、それぞれ複数の方向にガボア・フィルタリング処理を行って各周波数ごとの各方向に選択性のある特徴量をベクトル群として抽出する。
次に、非線形写像部804により、フレーム画像に基づく複数種類のベクトル群に非線形な写像を行って白色部分及び黒色部分をより強調した後、局所エネルギー計算部805により、ガウシアン・フィルタ処理を行って、複数のガボア・フィルタリング方向にそれぞれ対応するフレーム画像について、当該フレーム画像を形成する全画素に対して、当該各画素のテクスチャ特徴を表す局所エネルギーを求め、当該フレーム画像の全体をぼやけた状態にする。
この後、床面識別部806により、各フレーム画像の下側中央部分のウィンドウ画像FWに相当する画素群の局所エネルギーの平均値を算出し、その平均値をベクトル量及び該当する方向をベクトル方向とする1次元ベクトルを全てつないで、ウィンドウ画像FWの4次元ベクトルを生成する。
これと共に、床面識別部806により、これから進んでいく領域である、現在のフレーム画像の最上端の床面予定画素PFの局所エネルギーをベクトル量及び該当する方向をベクトル方向とする1次元ベクトルを全てつないで、床面予定画素PFの4次元ベクトルを生成する。
さらに、床面識別部806により、ウィンドウ画像FW及び床面予定画素PFのテクスチャ特徴を比較するために、こうして求めた床面予定画素PFの4次元ベクトルとウィンドウ画像FWの4次元ベクトルとのユークリッド距離を演算する。もし、この値が所定の閾値よりも低ければ、現在のフレーム画像に表示されている床面が同一種類の床面であると判断する。一方、この値が所定の閾値以上に高ければ、現在のフレーム画像に表示されている床面は複数種類の床面であると判断する。このようにすることにより、走行する床を分類することができる。
上記したように、図4Aに示す運搬情報データベース104では、コップが「汚れ無し」の状況にあるときは、そのコップを運搬する際に特に留意すべき点がないと考えられるため、「速度規制1」が設定され、コップが「飲み残し無し」の状況にあるときには、コップに付着している飲み物がコップを運搬している最中に垂れることを防止する必要があることから、「速度規制2」が設定され、コップが「飲み残し有り」の状況にあるときには、コップを運搬している最中に飲み物がこぼれることを防止する必要があるため、「速度規制3」が設定される。
こうして、物品の状況に応じて速度変化の態様を変更することによって、物品の状況に応じて最適な運搬が実現する。
(運搬情報の変形例2)
図5は、変形例2に係る運搬情報の例を示す。この運搬情報は、図3Bの運搬情報と比較して、「次の状況」についての情報をさらに含んでいる。このことにより、物品に対して複数の運搬作業を連続的にかつ自動的に行うようにし、その結果、ユーザがより簡便に物品の運搬作業の命令を行い得るようにする。
例えば使用したコップ(汚れ有りの状況にあるコップ)を片付ける場合を考える。この場合、汚れ有りのコップは、食洗機Dwで洗った後に、食器棚Cbに保管することになる。つまり、使用したコップを片付けることには、コップを食洗機Dwに運んで洗うことと、洗ったコップを食器棚Cbに保管することと、の2つの作業が含まれる。従って、ユーザがロボット(運搬装置103)に対してコップを片付ける作業を命令するときには、コップを洗うために食洗機Dwに運ぶことと、食洗機Dwによって洗い終えたコップを食器棚Cbに運ぶことと、の2つの作業を命令しなければならない。しかし、これは煩雑である。
これに対し、変形例2に係る運搬情報は、図5に示すように構成されており、この運搬情報には、上述した「運搬動作」、「運搬場所」の情報に加えて「次の状況」についての情報が含まれる。この「次の状況」についての情報は、運搬装置によって物品が運搬場所に運搬された結果として当該物品が取ることになる状況についての情報である。つまり、「飲み残し無し」(汚れ有り)の状況についての「運搬場所」は食洗機Dwが設定されているため、「飲み残し無し」のコップは食洗機Dwで洗浄されて「汚れ無し」の状況に変化する。従って、「飲み残し無し」の状況についての「次の状況」として「汚れ無し」が設定される。つまり、運搬場所が、物品の状況を変化させる場合は、図5に矢印で示すように「次の状況」が設定される(又は、「次の状況」が情報として関連付けられる)。これに対して、図5に示す例では、「汚れ無し」及び「飲み残し有り」の2つの状況については、食器棚Cbへの運搬、及び冷蔵庫Rgへの運搬された後にコップの状況が変化することがないため、「次の状況」としては何も情報が無いため、「−」が設定される。
運搬情報をこのように構成することによって、詳しくは後述するが、次のような運搬作業が行われる。先ず、飲み残し無し(汚れ有り)のコップが食洗機Dwに運搬される、そして、そのコップが食洗機Dwによって洗浄され、上記コップが汚れ無しの状況に変化すれば、汚れ無しのコップについて設定された運搬場所である「食器棚」Cbに、上記洗浄されたコップが自動的に運搬装置103により運搬される。このように、変形例2に係る運搬情報の構成によると、物品に対して複数の運搬作業を連続的にかつ自動的に行うことが求められる場合に、その複数の運搬作業を順序だててかつ効率的に記述することができる、という効果が得られる。
尚、ここではコップを例に説明したが、複数の運搬作業を連続的にかつ自動的に行うことが求められる例は、コップ以外にも様々な例が考えられる。
(運搬情報データベースの作成)
上述したように、上記運搬情報データベース104は、各物品について、その状況毎に動作、場所等を対応付けて構成される。ところが、一般家庭において運搬装置103の運搬対象となる物品は多種多様である上に、運搬対象となる物品は各家庭(各生活空間)で相違する。
そうすると、大量のデータを蓄積する運搬情報データベース104を、例えばユーザが手作業で作成することは極めて困難であり、そうした運搬情報データベース104を自動的に作成可能とすることが望まれる。
そこで、上記物品運搬用ロボット10及び物品運搬システムは、以下のようにして、運搬情報データベース104を自動的に作成してもよい。つまり、運搬対象となり得る物品を、人がどのようにして運搬しているかを学習し、その学習結果に基づいて運搬情報データベースを作成するのである。
この運搬情報データベース104の自動作成をするための前提として、各物品には、その3次元的な位置を検出することが可能でかつ物品のID(識別)情報を有するIDタグTgが取り付けられているとする。3次元位置が検出可能なタグTgとしては超音波を用いるタグTgが知られている(例えば、「超音波式3次元タグを用いた人の日常活動の頑健な計測〜冗長なセンサ情報に基づくロバスト位置推定〜」、西田佳史、相澤洋志、堀俊夫、柿倉正義、第20回日本ロボット学会学術講演会講演論文集、3C18、2002)。こうしたタグTgが取り付けられている物品は、その物品の位置を時系列的に検出することによって物品の移動軌跡を検出することができ、それによって、人がその物品をどのように取り扱ったか、を検出することができる。
例えば、人が干してある衣服を取り込むときにはその衣服を部屋の中に投げ込むため、その移動速度は高くなると共に、その衣服の移動中の向きには規制がない。これに対し、人が食器を台所に運ぶときにはその食器を落としたりしないように慎重に運ぶため、物品の移動速度は低くなると共に、その食器に食べ残し等が載置されているときには、食器の向きを上向きにしたまま運ぶことになる。
こうした人が行う物品の運搬動作を、例えば状況認識手段101を利用して認識し、その認識結果(認識情報)を運搬情報として蓄積する。すなわち、物品の運搬動作を、物品に付されたIDタグTgが移動するのを状況認識手段101を利用して認識し、その認識結果(認識情報)を運搬情報として運搬情報データベース104に蓄積する。例えば、上記の例では、人が干してある衣服を取り込むときにはその衣服を部屋の中に投げ込むため、衣服に付されたIDタグTgが部屋の中に投げ込まれるのを、例えば、窓と部屋にそれぞれ設置されたタグリーダ又は天井に設置したカメラ502で検知(認識)し、その移動速度も検知(認識)して、そのように検知(認識)した運搬情報を仮の運搬情報として運搬情報データベース104に蓄積する。また、人が食器を台所に運ぶときには、その食器を落としたりしないように慎重に運ぶため、食器に付されたIDタグTgの移動速度は低くなることを検知(認識)すると共に、その食器に食べ残し等が載置されているときには、食器の向きを上向きにしたまま運ぶことを、例えば、天井に設置したカメラ502で検知(認識)して、そのように検知(認識)した運搬情報を仮の運搬情報として運搬情報データベース104に蓄積する。そして、そのような認識した仮の運搬情報の信頼性が所定以上に高まれば(例えば、同様な仮の運搬情報が所定回数以上蓄積されれば)、使用可能な運搬情報として運搬情報データベース104に登録する。データベース104への登録は、上記運搬方法特定手段102が行ってもよいし、学習手段をさらに備え、その学習手段が行ってもよい。なお、好ましくは、人にもIDタグTgを付して、人の動作であることを認識させることが望ましい。
ここで、認識情報の信頼性とは、認識された情報の頻度や回数によって設定すればよい。これは、例えば、IDタグTgによって認識されたある物体が動かされた回数を信頼性としたり、または、IDタグTgによって認識されたある物体について、その物品が動かされる場合に、最も頻度の高い運搬方法の頻度を信頼性としたりすればよい。
このように、学習によって運搬情報を作成することにより、運搬情報を予め設定しなくてもよくなる一方で、人が行っている運搬動作に基づいて運搬情報を学習するため、適切な運搬情報を作成することができる。
以上説明したように、上記運搬情報データベース104は、物品を運搬する際に、その状況に応じた最適な運搬方法を採用するための知識として、物品の状況と運搬動作及び運搬場所とを対応付けた情報を蓄積したデータベースである。以下、物品の各状況と、それに対応する運搬動作及び運搬場所(及び次の状況についての情報)と、を含むデータを「運搬基本データ」と呼び、物品と上記運搬基本データとを含む情報単位を「運搬データ」と呼ぶ。
(状況認識手段)
上記状況認識手段101は、運搬対象の物品の認識と、その物品の状況を認識する手段である。この状況認識手段101は、カメラ(例えば、状況認識手段101の一例であるカメラ502)、レーザ、温度センサ、重量センサ、RFIDタグ及びタグリーダ(又はリーダライタ)、等の各種センサを、単独又は組み合わせるとともに、必要に応じて、各種センサで検出された情報を処理する処理部や、処理部で処理するときに必要なデータが蓄積されたデータベースを備えることによって、運搬対象の物品の検出と、その物品の状況の認識と、を行う。以下、物品の状況の認識方法について具体例を挙げて説明する。
先ず、運搬対象の物品の認識(検出)について説明する。物品の検出にはカメラを用いることが好ましい。つまり、カメラによって物品を撮像し、その撮像した画像(映像)に基づいてその物品を特定する。一例として、カメラ502は、図2Aに示すように、生活空間内の天井90に1つ又は複数個設置してもよいし、図8に示すように、ロボット50に1つ又は複数個のカメラ502を取り付けてもよい。カメラ502により撮像された画像を使って認識処理部101pで行う画像認識方法は、様々な方法が開発されており、例えば「固有空間法による画像認識」村瀬洋、”コンピュータビジョン 技術評論と将来展望”、新技術コミュニケーションズ、pp.206〜218、等に記載されている方法を利用することが可能である。尚、物品の認識精度を高めるために、ステレオカメラを用い、物品の形状をも利用して運搬対象の物品の検出を行ってもよい。
また、運搬対象の物品を検出する他の方法として、IDコードを利用した方法が挙げられる。つまり、各物品に、その物品を特定するIDコードを貼り付けておき、そのコードをカメラ502で検出することによって、運搬対象の物品の検出を行うのである。コードとしては、最も普及している光学的なコード(例えばバーコード、2次元コード等)を利用してもよい。この場合、コードを検出する手段としてはカメラを用いるのが好ましい。
また、近年脚光を浴びている新しいコードとして、RFIDタグTgを利用してもよい。RFIDタグTgは、データを蓄積するICと、そのデータを無線によって送信可能なアンテナとを含むデバイスであって、タグリーダ(リーダライタ)TRによって、タグTgにデータを書き込んだり、タグTgからデータを読み取ったりすることができるデバイスである。
RFIDタグTgを利用する場合、そのRFIDタグTgに、物品に関するデータ(例えば物品の種類、製造年月日、形状、重さ、物品画像等のデータ)を埋め込んでおく。尚、RFIDタグTgに十分な記憶容量がない場合には、そのRFIDタグTgに、物品に関するデータを格納する場所のリンク情報(例えばインターネットアドレス等)を埋め込んでおいてもよい。その場合、タグリーダTRによってそのリンク情報を取得し、その取得したリンク情報にアクセスすることによって物品に関するデータを取得すればよい。
各物品にRFIDタグTgを取り付けた場合、運搬対象の物品の検出は、多数のタグリーダTRを生活空間内(例えば一般家庭の家屋内)に設置し、その内のいずれかのタグリーダTRがRFIDタグTgのデータを読みとることによって、行えばよい。
ここで、RFIDタグTgとタグリーダTRとの間のデータの送受信には、人体に影響のない非常に弱い無線電波を使わざるを得ないため、RFIDタグTgは、その通信距離がせいぜい数10cmと非常に短いという問題がある。従って、物品を検出するには、生活空間内に極めて多数のタグリーダTRを設置しなければならない。一方で、タグリーダTRはカメラに比べてコストが高いため、生活空間内に多数のタグリーダTRを設置することは現実的ではない。
そこで、タグリーダTRとカメラを組み合わせた処理を行うことによって、物品の検出を行うようにしてもよい。つまり、例えば部屋のドア等の、物品が出入する場所にタグリーダTRを設置し、そのタグリーダTRによって物品の出入を検出する。例えば、図2Dに示すように、窓91の付近にはタグリーダTR91、ドア92の付近にはタグリーダTR92を設置する。それぞれのタグリーダTR91,TR92は、状況認識手段101の一例であり、それぞれの状況認識手段101と運搬情報管理サーバ401とは、先に説明したように接続されている。このようにタグリーダを設置して物品の出入を検出することによって、部屋の内部に物品が存在することは判明する。一方、部屋の内部には、所定の設置密度でタグリーダTRを設置する。例えば、部屋の床に図7Fに示すようにタグリーダTR1〜TR9を所定間隔で配置して、タグリーダTR1〜TR9の受信領域を複数個設置する。これによって、部屋の内部のどの位置に物品が存在しているかは、タグリーダTRの設置密度に応じて大まかに絞り込むことができる。そうして、物品のおおよその位置を特定した後に、カメラ502を利用して物品を撮像して検出する。このように、タグリーダTRとカメラ502を組み合わせて物品の検出を行うことによって、その検出精度の向上が図られる。
尚、タグリーダTRは生活空間内に設置するだけではなく、その生活空間内を移動可能な運搬装置103に設置してもよい。つまり、ロボット50のアーム51やハンド52にタグリーダTRを設置し、ロボット50が移動すると共に、アーム51及び/又はハンド52を物品に近づけることによって、その物品に付されたRFIDタグTgの情報をタグリーダTRで読み取るようにしてもよい。この構成は、運搬対象の物品の位置を、ある程度特定することができる場合に有効である。
尚、ここでは、運搬対象の物品を検出する方法として、カメラで撮像された画像を利用した方法、カメラで撮像されたコードを利用した方法、及びカメラで撮像された画像とコードとを利用した方法について説明したが、これに限るものではない。
次に、上記状況認識手段101による物品の状況認識について、図を参照しながら具体的に説明する。
(状況認識手段101による、コップに飲み物が入っているか否かの状況の認識)
先ず、物品の状況として、コップに飲み物が入っているか否かの状況を認識する方法について説明する。上述したように、コップに飲み物が入っているか否かの状況に応じて、最適な運搬方法は異なるのである(図3B,図4A,図5参照)。
コップに飲み物が入っているか否かを認識する方法として、光の屈折を利用した方法を挙げることができる。尚、上記コップは光透過性を有しているとする。
図6A及び図6Bは、光の屈折を利用してコップ201の内容物の認識を行う状況認識手段101の一例としての構成を示す図である。この状況認識手段101は、コップ201にレーザ光線503gを照射する光源503と、コップ201に投光された状態を撮像する撮像装置の一例としてのカメラ502と、カメラ502で撮像された情報を認識処理する認識処理部101pとを含む。光源503は、指向性の強い光503gを照射するものが好ましく、例えばレーザ照射装置とすることが可能である。カメラ502は、レーザ照射装置503から照射されたレーザ光線503gの軌跡を検出可能なものであればよい。レーザ照射装置503及びカメラ502はそれぞれ、図8に示すように、ロボット50のアーム51に取り付けて、その位置(位置座標)を変更可能にすることが好ましい。また、ロボット50が人型ロボットの場合には、その顔にカメラ502を埋め込むように構成してもよい。
上記状況認識手段101は、上記コップ201の内容物を認識するに際し、上記レーザ照射装置503によって、上記コップ201にレーザ光線503gを照射する。
通常、空気の屈折率と液体の屈折率とは異なる(例えば空気の屈折率は1.0、水の屈折率は約1.33)ため、コップ201の内部に液体が入っているか否かによって、レーザ光線503gの軌跡が変わる。つまり、図6Aに示すように、コップ201が空のときには、コップ201の内もコップ201の外も空気で満たされているため、そのコップ201に対し斜め上方から照射したレーザ光線503gは、同図に示すように直進する。これに対し、図6Bに示すように、コップ201に水201aが入れられているときには、空気の屈折率と水の屈折率とが異なるため、照射したレーザ光線503gは屈折する。
レーザ照射装置503がレーザ光線503gを照射している最中に、カメラ502によってそのコップ201を撮像する。このことにより、レーザ光線503gの軌跡を検出する。状況認識手段101の認識処理部101pは、その検出結果に基づいてコップ201の内部に液体が入っているか否かを認識する。
尚、光の屈折率は、物体(材質)によって異なるため、レーザ光線503gの屈折角度を検出することによって、コップ201の内部に入れられている物体の材質を検出することも可能になる。このことを利用して、そのコップ201内に入れられている物体の材質を物品の状況の1つと考え、その物体の材質に応じて物品の運搬を最適化させてもよい。例えばコップ201に入っている液体が水であるときには、そのコップ201を台所のシンクKsに運搬してコップ201の中の水を捨てた後に、そのコップ201を食器棚Cbに運搬する作業を行う一方、液体が水以外であるときには、そのコップ201を台所のシンクKsに運搬してその液体を捨てた後に、そのコップ201を食洗機Dwに運搬する作業を行う、といったことを行ってもよい。
尚、ここでは、レーザ光線503gの軌跡に基づいてコップ201の内容物の有無を認識しているが、光の屈折を利用した認識はこれに限るものではない。例えばカメラ502に対する相対的な位置が判明している物体をコップ201を通してカメラ502で撮像し、その物体がコップ201上のどの位置に見えるか、を検出することによってコップ201の内容物の有無を認識することができる。この場合、撮影物品は、その生活空間(一般家庭であれば部屋)に存在している物体を利用することができる。
また、コップ201に飲み物が入っているか否かの状況は、カメラ502を使って人が物品を取り扱っている様子を撮像し、その撮像した映像から物品の運搬方法を検出することによって、認識することも可能である。この運搬方法を検出する方法は、公知であるため(例えば、「赤外線画像を用いた視体積交差法による把持形状の認識」、橋本健太郎、小川原光一、高松淳、池内克史。コンピュータビジョンとイメージメディア135−10、pp.55−62、2002)、ここではその詳細な説明を省略する。尚、上記カメラ502は物品の認識に用いるカメラを利用してもよいし、別のカメラを利用してもよい。
(状況認識手段101による、食器に食べかすが存在しているか否かの状況の認識)
次に、物品の状況として、食器に食べかすが存在しているか否かの状況を認識する方法について説明する。上述したように、食器に食べかすが存在しているか否かの状況に応じて、最適な運搬方法は異なるのである(図3A参照)。
ここでは、食器表面の材質を認識することにより、その食器に食べかすが存在しているか否かの状況を認識する。
つまり、例えばRFIDタグTgの情報に基づけば、食器の種類を特定することができるものの、その食器に食べかすが存在しているか否かの状況は、時間に対して変化するため、RFIDタグTgに情報として予め記憶させることはできない。また、食器の重量を重量センサによって検出し、食べかすの有無を検出しようとしても、食べかすの量が少なく重量センサによって検出することが困難な場合には、食べかすの有無を検出することができない。
これに対し、食器のようにその表面の材質がその全体に亘って略一様であるときには、材質の情報を利用することによって、食べかすの有無を精度よく検出することが可能である。材質の情報としては、反射パラメータを利用することができる。この反射パラメータは、物品の材質に依存するパラメータであり、対象物に光を照射する光源と、対象物を撮像するカメラなどの撮像装置とを利用して検出することができる。図8に示すようにロボット50のアーム51にカメラ502と光源503(この光源は、この例では、レーザ照射装置とする必要はない)とを取り付け、そのカメラ502と光源503と認識処理部101pとによって反射パラメータを検出してもよい。尚、反射パラメータの検出方法は公知であるため、ここではその説明は省略する。
反射パラメータを利用した食べかすの有無の認識は次のようにして行えばよい。つまり、各食器のRFIDタグTgには、その食器の反射パラメータの情報を記憶させておく。そうして、食器の反射パラメータを実際に光源503とカメラ502と認識処理部101pで検出し、RFIDタグTgに記憶されている反射パラメータと、認識処理部101pで検出した反射パラメータとを比較する。両パラメータが同じであるときには、食器の上には何も存在しない、つまり食べかすが存在しないと判断することができる。一方、両パラメータが十分に異なるときには、食器の上に何かが存在している、つまり食べかすが存在していると判断することができる。尚、食べかすの反射パラメータを予め求めておいて、実際に検出した反射パラメータと食べかすの反射パラメータとを比較してもよい。
このとき、皿の反射パラメータを皿上の複数点において検出し、検出したパラメータと、RFIDタグTgに記憶されている反射パラメータがどの程度一致するかを表した反射パラメータ一致度を利用することで、「汚れなし」、「汚れ有り」、「食べかす有り」、「食べ残し有り」を判断する(図3Aの「反射パラメータ一致度」参照。すなわち、「汚れなし」、「汚れ有り」、「食べかす有り」、「食べ残し有り」のそれぞれの反射パラメータ一致度は、99%以上、90〜99%、80〜90%、80%以下)。反射パラメータ一致度Epは以下の式で表現される。
(数2)
Ep=Num_match / Num_points
ここで、Num_pointsは反射パラメータを検出した点の数、またNum_matchは検出した反射パラメータのうち、記憶されている反射パラメータと一致した数を示している。
例えば、皿上の200点の反射パラメータを検出したとする。このうち、185点においてはRFIDタグに記憶されていた反射パラメータと等しかったとする。このとき、反射パラメータの一致度は
(数3)
185 / 200 = 0.925
となり、92.5%である。また、図3Aの「反射パラメータ一致度」より、この皿は「汚れ有り」であると判断される。
以上のように、上記状況認識手段101は、カメラやタグリーダ等を利用して物品の状況を認識する。尚、状況認識手段101は、物品の状況の種類に応じてこれら以外のセンサ、例えば重量センサ等を利用して、物品の状況を検出することもできる。つまり、検出すべき状況は様々であるため、その検出すべき状況に応じて最適な認識方法を採用すればよい。
(状況認識手段101による、推論を利用した物品の状況の認識)
上記の認識方法では、各種センサ101aの検出データに基づいて物品の状況を認識していたが、上記状況認識手段101は、図2Fに示すように、各種センサ101aと、各種センサ101aの検出データを基に推論を行う推論処理部101gと、各種センサ101aで検出された物品の移動履歴を蓄積するデータベース、例えば物品移動履歴データベース101dとより構成することによって物品の状況を認識してもよい。この推論処理部101gによる推論について、衣服が汚れているか否かを認識する場合を例に説明する。例えば部屋に置かれている衣服を片付ける場合に、その衣服が汚れているときには洗濯機に運搬し、その衣服が汚れていないときにはタンスに運搬する、といったように、衣服が汚れているか否かの状況に応じて、最適な運搬方法(運搬場所)は異なるのである。
この認識の前提として、上記衣服CLにはRFIDタグTgが取り付けられているとし、その衣服CLが置かれている部屋を含む家屋内の出入口(例えば玄関、各部屋の出入口、ベランダへの出入口)にはタグリーダ(例えば、窓91の付近にはタグリーダTR91、ドア92の付近にはタグリーダTR92)が配設されているものとする(図2D参照)。
このように家屋内の出入口にタグリーダTRを配設することによって、人が衣服CLを着た状態で出入口を通過したり、人が衣服CLを保持した状態で出入口を通過したりすれば、そのことがタグリーダTRによって検出される。その検出結果を物品移動履歴データベース101dに逐次記憶することによって、衣服CLの移動履歴が得られる。
図2Eはこの様子を示したものである。図2E中の出入口1〜7にはタグリーダTR11〜TR17が配設されており、物品や人の出入を検出することができる。また、図2E中の洗濯機Wmの取り出し口にも同様のタグリーダTRwが配設されている。
このような状態で、上記物品移動履歴データベース101dに蓄積された移動履歴を推論処理部101gで参照することによって、1つの例として、現時点は、上記衣服CLは部屋95aに置かれているが、その現時点よりも1つ前の時点では上記衣服CLは玄関95bを通過しており(出入口2のタグリーダTR12を通過)、さらに前の時点でも上記衣服CLは玄関95bを通過していた(出入口1のタグリーダTR11を通過)とする。この場合、その衣服CLを着た人が家から外出して戻った後に、その衣服CLを部屋95aに置いた、と考えられる。そうすると、その部屋95aに置かれている衣服CLは汚れていると、推論処理部101gで推論することができる。
また、別の例として、上記物品移動履歴データベース101dに蓄積された移動履歴を推論処理部101gで参照することによって、例えば現時点は、上記衣服CLは部屋95aに置かれているが、その現時点よりも1つ前の時点では上記衣服CLはベランダ95cの出入口を通過しており(出入口4のタグリーダTR14を通過)、さらに前の時点では上記衣服CLは洗濯機Wmに入っていた(洗濯機Wmの取り出し口のタグリーダTRwを通過)とする。この場合、洗濯機Wmによって洗濯された衣服CLがベランダ95cで干された後に、その衣服CLが部屋95aに置かれている、と考えられる。そうすると、その部屋95aに置かれている衣服CLは汚れていないと、推論処理部101gで推論することができる。
このように推論を利用して物品の状況を認識することによって、各種センサ101aのみでは検出することが困難な物品の状況を、各種センサ101aの検出データを適宜処理する、認識処理部101pを使用したり、又は、推論処理部101gと物品移動履歴データベース101dとを使用して、比較的容易に認識することが可能になる。
(状況認識手段101による、物品が積み重なっているか否かの状況の認識)
次に、運搬対象の物品に、他の物品が積み重ねられているか否か(物品が単独で存在しているか、又は物品が積み重なっているか)、を認識する方法について説明する。上述したように、運搬対象の物品に、他の物品が積み重ねられているか否かに応じて、最適な運搬動作は異なるのである(図3C参照)。この認識は、センサ101aの別の例として、重量センサ101bとタグリーダ101cを用いた推論により可能である。
図7A及び図7Bは、重量センサ101bとタグリーダ101cとを用いた認識を説明するための図である。つまり、状況認識手段101は、重量センサ101bとタグリーダ101cとをさらに含み、この重量センサ101bとタグリーダ101cはテーブルTbに設置されているとする。重量センサ101bは、テーブルTb上に置かれた物品の重量と、その物品のおおよその重心位置とを検出することができるとする。また、上記タグリーダ101cは、テーブルTb上に置かれた物品のRFIDタグTgの情報を読み込むことができるとする。
テーブルTbには、図7Cに示したように複数個(ここでは9個)の重量センサ101b−1〜101b−9と一つのタグリーダ101cが配設されている。各重量センサ101b−1〜101b−9は、この図7CのようにテーブルTbの一部のみに置かれた重量を測定する。一方、タグリーダ101cはテーブルTb上であればどこに置かれたRFIDタグTgも検出が可能である。尚、RFIDタグTgには、アンチコリジョン機能があるとし、複数の物品が重ねられていても、各物品の情報を区別して読み込むことができるとする。
ここで、図7Aに示すように、2冊の本BkがテーブルTbの上の互いに異なる位置にそれぞれ置かれている第1の状況と、図7Bに示すように、3冊の本Bkが積み重なった状態でテーブルTbの上の1つの位置に置かれている第2の状況とを考える。
図7Dは図7Aの上記第1の状況を示したものである。このとき、2冊の本(本Bk−1,Bk−2)はどちらもタグリーダ101cによって検出されるが、本Bk−1は重量センサ101b−4のみに、また本Bk−2は重量センサ101b−6のみに検出される。そのため、重量センサ101bはテーブルTb上に重心が2つあるものが置かれていることを検出する。
一方、図7Eは図7Bの第2の状況を示したものである。このとき、3冊の本(本Bk−1,Bk−2,Bk−3)は積み重ねられているため、重量センサ101b−9のみに検出され、それ以外の重量センサ101bでは検出されない。そのため、重量センサ101bはテーブルTb上に重心がただ1つのものが置かれていることを検出する。また、タグリーダ101cによって3つの本Bk−1,Bk−2,Bk−3が存在していることが検出される。
以上のことから、この2つの状況を、上記重量センサ101b及びタグリーダ101cによって検出した場合、各センサ101b,101cによって次のことが検出される。
<第1の状況>
タグリーダ101c:2冊の本Bkがあること、及び各本Bkの重量。
重量センサ101b:重量、及び重心位置が2箇所存在していること。
<第2の状況>
タグリーダ101c:3冊の本Bkがあること、及び各本Bkの重量。
重量センサ101b:重量、及び重心位置が1箇所存在していること。
もちろん、図7Fのように、タグリーダTR1〜TR9を所定間隔でテーブルTbに配置して、タグリーダTR1〜TR9の受信領域を複数個用意することにより、同様の処理を行うようにしても構わない。このとき、物品の重量は、タグリーダTR1〜TR9で検出されるタグ情報から取得される。
次に、タグリーダ101cによって読み取った各本Bkの重量(合計値)と、重量センサ101bで検出した各本Bkの重量とを例えば推論処理部101gで比較する。その結果、両者の差がほとんどないときには、テーブルTbの上に置かれている物品は本Bkのみであること、及びその本Bkの数、が判明する。
次に、上記重量センサ101bによって検出された重心位置と、判明した本Bkの数とを比較する。第1の状況においては、本Bkの数が2冊であるのに対し、重心位置の数が2箇所である。一方、第2の状況においては、本Bkの数が3冊であるのに対し、重心位置の数が1箇所である。
従って、物品が単独で存在していることは、以下の2条件を満たすか否かを例えば推論処理部101gで判断することによって認識可能である。
第1の条件:RFIDタグTgの情報に基づく重量と、重量センサ101bで検出した重量とが略同じであること。
第2の条件:タグリーダTRで検出した物品の個数と、重量センサ101bで検出した重心位置の数とが一致すること。
つまり、第1の条件と第2の条件とを共に満たすと推論処理部101gで判断するときには、物品が単独で存在しており、第1の条件を満たす一方で、第2の条件を満たさないと推論処理部101gで判断するときには、物品が積み重ねられていると、推論処理部101gで認識することができる。
以上説明した状況認識手段101による物品の状況を認識方法は一例であり、物品が取り得る状況としては、ここで説明した状況以外にも様々な状況を取り得る。その場合、上記で説明した認識方法では、物品の状況を認識することができない場合も存在するが、例えば上記で説明した認識方法と、他の方法とを組み合わせたりすること等、状況の種類に応じて最適な認識方法を適宜採用することによって、各種物品の様々な状況を認識することは可能である。
また、同様に、積み重ねられている物品の数、例えば、本Bkの冊数によって運搬速度を変更するようにしても構わない。これにより、積み重ねられている多数の物品を運搬しているときには運搬装置103(例えばロボット50)は、積み重ねられている物品が落下しないような低速で移動を行うようにすれば、運搬装置103(例えばロボット50)により安全に多数の物品の運搬作業を行うことができる。
(運搬方法特定手段)
運搬方法特定手段102は、上記で説明したように、状況認識手段101によって認識された物品、及びその状況と、上記の運搬情報データベース104とに基づいて、状況に応じた運搬方法の特定を当該物品の複数の運搬方法の中から行う。
具体的に上記運搬方法特定手段102は、上記状況認識手段101によって認識された物品の状況に関するデータを受けて、上記運搬情報データベース104に蓄積されている当該物品の運搬データを参照する。そうして、その認識された状況に対応する運搬基本データ(すなわち、物品の各状況と、それに対応する運搬動作及び運搬場所(及び次の状況についての情報)とを含むデータ)を選定する。運搬基本データを選定すれば、上記運搬方法特定手段102は、上記運搬装置103に対して選定した運搬基本データを送信する。
尚、上記運搬情報データベース104に蓄積されている運搬基本データが、図5に示すように「次の状況」についての情報を含む場合には、1つの運搬作業の実行によって物品の状況が変更されれば、上記運搬方法特定手段102は、その変更された状況に対応する運搬基本データを新たに選定すると共に、新たに選定した運搬基本データを上記運搬装置103に送信する。こうして、運搬基本データの選定・送信を繰り返す。
このときに、次の運搬作業は、先の運搬作業が完了したことを待って行うことが望ましい。運搬作業の完了時点は、運搬場所に応じて変更すればよく、例えば、図5に示すコップの例においては、「汚れ無し」の状況でコップを「食器棚」Cbに運搬する作業においては、食器棚Cbに運搬したコップはその後に状況が変化することがないため、コップを食器棚Cbに運搬し終わった時点を、運搬作業の完了時点とすればよい。これに対し、「飲み残し無し」の状況でコップを「食洗機」Dwに運搬する作業においては、食洗機Dwに運搬したコップはその後、洗浄されて「汚れ無し」に状況が変化するため、コップを食洗機Dwに運搬し終わった時点ではなく、食洗機Dwによって洗浄が終わった時点を、運搬作業の完了時点とすればよい。この場合、食洗機Dwから運搬方法特定手段102に対して洗浄完了の情報を提供するために、食洗機Dwも有線及び/又は無線のネットワークを介して上記運搬方法特定手段102に接続されていることが好ましい(図2C参照)。
(運搬装置)
運搬装置103は、上記運搬方法特定手段102で特定された運搬方法に従って物品の運搬を行う。そのために、運搬装置103は、少なくとも、
1)運搬基本データに記載される運搬方法及び運搬場所を理解し、それに従ってプログラムを実行する機能、
2)物品を運搬する物理的構造、及び物品を把持解放する物理的構造、
を備えている。
先ず、上記1)について説明すると、図3A等に示す運搬データは、自然言語をベースにして記述しているが、上記運搬装置103に提供するデータは、姿勢・速度に関する数値パラメータとする。
上記運搬装置103は、物品運搬用のプログラムを実装しており、読み込んだ上記姿勢・速度に関するパラメータ値に従って、プログラムを実行することにより、物品の運搬を行う。尚、こうした技術は従来公知の産業用ロボットにおいて一般的に行われているため、ここでは詳細な説明は省略する。
また、上記運搬装置103として、既存のロボットを利用することも可能であるが、その場合に上記既存のロボットに実装されたプログラムによって、上記運搬基本データに係る数値パラメータを読み込むことができない場合も予想される。その場合は、情報翻訳プログラム等を、上記既存のロボットに追加実装することによって、上記運搬基本データに係る数値パラメータを上記既存のロボットに実装されたプログラムで使用可能にすればよい。またこの場合、運搬基本データに係る姿勢や速度の情報を、標準的な記述フォーマットの1つであるXML等を用いて記述しておくとよい。
次に、上記2)について説明すると、物品を運搬する物理的構造、及び物品を把持解放する物理的構造は、産業分野におけるロボットにおいて既に実用化されているため、ここではその詳細な技術内容の説明は省略する。なお、簡単な構成の一例については、先に図8を用いて説明している。
(物品運搬用ロボット又は物品運搬システムにおける運搬処理)
次に、図9に示すフローチャートを参照しながら、上記物品運搬用ロボット又は物品運搬システム10における運搬処理について説明する。尚、運搬情報データベース104は、図5に示す構成であるとする。
先ず、ステップS601において、状況認識手段101は、運搬対象の物品と、その物品の状況とを認識し、その認識結果を運搬方法特定手段102に送る。
続くステップS602で、上記運搬方法特定手段102は、受け取った認識結果に基づいて、当該物品に関連する運搬データを運搬情報データベース104から検索する。そして、認識物品に一致する運搬データが見つかったか否か(データが存在しているか否か)を判定し(ステップS603)、見つかったときにはステップS604に移行し、見つからなかったときにはそのまま処理を終了する。
上記ステップS604において、上記運搬方法特定手段102は、運搬情報データベースから運搬データを取得し、その運搬データから、当該物品の状況に対応する運搬基本データを検索する。そして、運搬基本データが見つかったか否か(データが存在しているか否か)を判定し(ステップS605)、見つかったときにはステップS606に移行し、見つからなかったときそのまま処理を終了する。
上記ステップS606においては、上記運搬方法特定手段102は、検索した運搬基本データから運搬方法と運搬場所とを取得し、その取得した情報を上記運搬装置103に送信する。
ステップS607では、上記運搬方法特定手段102から送られた情報を受けて、上記運搬装置103は、その運搬方法と運搬場所に従って物品の運搬を実行する。
ステップS608において、上記運搬方法特定手段102は、ステップS606で取得した運搬基本データに、次の状況についての情報が記述されているか否かを判断し、記述されていないときにはそのまま終了する一方、記述されているときには上記ステップS604に戻り、以下、ステップS604〜S608の各ステップを繰り返す。
尚、上記運搬方法特定手段102は、上記ステップS607において運搬装置103による運搬作業が完了したことを受けて、ステップS608からステップS604に戻ってもよいし、運搬作業の完了前にステップS608からステップS604に戻っておいて、運搬作業が完了したことを受けてステップS606における情報の送信を実行してもよい。
以上が物品運搬用ロボット及び物品運搬システム10における物品運搬処理の流れであるが、次に、具体例に沿って物品運搬処理について説明する。ここでは、食事の後にコップ(飲み残し無し(汚れ有り)のコップ)を片付ける場合を例とする。
先ず、ユーザが、物品運搬用ロボット10又は物品運搬システムに対してコップの運搬作業を、ロボット50に直接入力してロボット50に命令するか、又は操作端末403を使用して物品運搬システムに命令する。物品運搬用ロボット10又は物品運搬システム10がその作業命令を受けると、上記状況認識手段101は、生活空間内に置かれたコップを認識すると共に、そのコップの状況を認識し、その認識結果を上記運搬方法特定手段102に送る(ステップS601)。
コップの認識は、上述したように、カメラ502等を用いて行えばよい。尚、上記コップを見つけることが困難な場合には、ロボット50に直接入力するか、又は、操作端末403を使用して物品運搬システムに入力することにより、ユーザに運搬対象のコップのおおよその場所を指定してもらうようにしてもよい。コップのおおよその位置が特定されれば、コップの認識は容易である。また、コップの状況の認識は、上述したように、反射パラメータを利用して行えばよい。この例では、コップの状況は「飲み残し無し」(汚れ有り)と認識される。
認識結果を受けた運搬方法特定手段102は、運搬情報データベース104を参照して、コップに係る運搬データを検索する(ステップS602,S603)。そうして、図5に示す運搬データが検索されれば、その運搬データから、「飲み残し無し」(汚れ有り)の状況に対応する運搬基本データを検索する(ステップS604、S605)。
「飲み残し無し」(汚れ有り)の状況に対応する運搬基本データが検索されれば、上記運搬方法特定手段102は、そこに記述されている運搬方法(姿勢:上向き、速度:自由)と、運搬場所(食洗機Dw)とを取得して、その情報を上記運搬装置103に送信する(ステップS606)。
上記運搬方法及び運搬場所の情報を受けた運搬装置103は、その運搬方法及び運搬場所に従って、上記「飲み残し無し」(汚れ有り)の状況にあるコップを、上向きの姿勢でかつ最適な速度で食洗機Dwに運搬する(ステップS607)。
一方、上記運搬方法特定手段102は、ステップS606で取得した運搬基本データに、次の状況についての情報が記述されているかを判断する(ステップS608)。ここでは、「汚れ無し」と記述されているため、上記運搬方法特定手段102は、その「汚れ無し」の状況に対応する運搬基本データを検索して取得する(ステップS604、S605)。
そして、上記運搬方法特定手段102は、新たに取得した「汚れ無し」に対応する運搬方法(姿勢:自由、速度:自由)と、運搬場所(食器棚Cb)とを取得して、その情報を上記運搬装置103に送信する(ステップS606)。このとき、上記運搬方法特定手段102は、上記コップが食洗機Dwによって洗い終わるのを待って情報を送信する。食洗機Dwがコップを洗い終わることは、上記食洗機Dwから運搬方法特定手段102に対して通知すればよい。
上記運搬方法及び運搬場所の情報を受けた運搬装置103は、その運搬方法及び運搬場所に従って、上記「汚れ無し」の状況にあるコップを、最適な姿勢でかつ最適な速度で、食洗機Dwから食器棚Cbに運搬する(ステップS607)。
上記運搬方法特定手段102はさらに、運搬基本データに、次の状況についての情報が記述されているかを判断する。ここでは、次の状況についての情報が記述されていないため、運搬処理を終了する。
このように、上記物品運搬用ロボット又は物品運搬システム10によると、状況認識手段101によって、刻々と変化する物品の状況を認識し、その認識結果に応じて運搬方法特定手段102が、上記物品の状況に最適な運搬方法を特定することによって、上記物品を運搬装置103によって、最適に運搬することができる。
また、各物品の状況毎に、当該状況と運搬動作及び/又は運搬場所を対応付けた運搬基本データを蓄積する運搬情報データベース104を備えることによって、上記運搬方法特定手段102は、物品の状況に対応した運搬方法を的確に特定することができる。
さらに、図5に示すように、運搬情報データベース104に蓄積する運搬基本データに、上記運搬装置103によって物品が運搬場所に運搬された結果、変化する当該物品の次の状況についての情報をさらに含めることによって、物品に対して複数の運搬作業を連続的にかつ自動的に行うことが可能になる。その結果、ユーザが行う物品の運搬作業の命令が簡便になり、ユーザの利便性の向上が図られる。
尚、上記実施形態では、運搬情報データベース104は、各物品の状況毎に、当該状況と運搬動作及び/又は運搬場所を対応付けた運搬基本データを蓄積するデータベースとした。しかし、運搬情報データベース104は、これに限るものではなく、状況に応じた最適な運搬方法を特定するための知識を蓄積した知識ベースとしてもよい。この場合、上記運搬方法特定手段102は、知識ベースを用いて状況に応じた最適な運搬方法を特定する推論エンジンとして構成すればよい。
また、運搬対象の物品の把持方法によって、運搬方法を変化させても構わない。これは、運搬対象の物品の受け渡しを人と行なうときに効果的である。水を入れられたコップを例に図10A及び図10Bなどを用いて詳述する。
テーブルTbなどに置かれているコップを把持して運搬する場合と異なり、人がロボット50に物品を手渡し、運搬を依頼する場合、ロボット50は通常と異なる把持方法で把持することがある。図8に示したロボット50がコップ201を運搬する場合、その把持方法は通常、ハンド52でコップ201を挟む方法(図10A参照)が考えられる。しかし、人がロボット50に物品を渡す場合、ハンド52で掴むのではなく、例えば、ハンド52の上にコップ201を載せる(図10B参照)こともある。
そのため、物品情報データベース104には、図10Cのような物品の運搬情報が蓄積されている。この図10Cにおいて、「運搬場所」は省略した。この物品情報データベース104は「状況」として「物品の保持方法」を蓄積している。すなわち、水など内容物が有るコップの把持方法は、「ハンド52で掴む」、「ハンド52に載せる」の、少なくとも2つの方法を取り得る。尚、把持方法としてはこれ以外に様々な方法を取り得るが、ここでは理解容易のために、これらの2つの方法に限定して説明する。
まず、ロボット50が「ハンド52で掴む」ことによりコップ201を保持した場合、コップ201は安定して保持されていると考えられる。そこで、その状況に対する動作情報として、姿勢が「上向き」、速度が「中速」に設定される。これに対し、ロボット50が人からコップ201の受け渡しをされた際に、「ハンド52に載せる」ことによりコップ201を保持した場合、コップ201は不安定な状態で置かれていると考えられる。そこで、その状況に対する動作情報として、姿勢が「上向き」、速度が「低速」に設定され、コップ201を落とすことがないよう、ゆっくりとした運搬動作を行なう。
以上より、物品の把持方法が変化した場合においても、本実施形態の物品運搬用ロボット及び物品運搬システムは、多種多様な状況を取り得る物品を最適に運搬することができる。
また、運搬対象の物品の温度によって、運搬方法を変化させても構わない。これを、水を入れられた茶碗を例に図10Dを用いて詳述する。
このときの物品情報データベース104には、図10Dのような物品の運搬情報が蓄積されている。通常、水を入れられた茶碗は危険なものではないため、それほどゆっくりと動作を行なう必要はない。そこで、茶碗に入れられた水の水温があまり高くなく、万が一、茶碗から水をこぼした場合にも、やけどなどの心配がない場合(具体的には、40℃未満)、動作情報として姿勢が「上向き」、速度が「中速」に設定される。これに対し、茶碗に入れられた水の水温が十分に高く、ロボット50が人から茶碗の受け渡しをされた際に、「ハンドに載せる」ことにより茶碗をハンド52で保持した場合、万が一、茶碗から水(お湯)をこぼした場合にやけどなどの心配がある場合(具体的には、40℃以上)、動作情報として、姿勢が「上向き」、速度が「低速」に設定され、内容物であるお湯をこぼすことがないよう、ゆっくりとした運搬動作を行なう。
このような、内容物の温度検出は、例えば赤外線センサなど、公知のセンシング手段を利用すればよい。
本実施形態によれば、もともとお湯であったものが、冷めたという場合においても、最適に運搬することができる。
ここで、一例として、「低速」とは時速2km/h以下で移動することを、また、「中速」とは時速4km/h以下で移動することを意味する。
また、もちろん、ロボット50が把持方法を切り替えるようにしても構わない。すなわち、水が入ったコップを「ハンド52に載せる」という把持方法で運搬を行っていたが、別の運搬命令をユーザから受けた場合、ロボットは「ハンド52で掴む」という把持方法に変更し、運搬速度を上げるようにすればよい。このようなユーザからの命令は、ロボット50が運搬作業を行う生活空間内にマイクを取り付け、そのマイクが集音した音声情報を音声認識することで実行するようにすればよい。
なお、上記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
以上説明したように、本発明は、物品の状況を認識した上でその状況に応じた運搬方法でもって物品の運搬を行うため、多種多様な状況を取り得る物品を最適に運搬することができるから、生活空間内で利用される、各種のロボットを含む物品運搬用ロボット又は物品運搬システム等に有用である。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形や修正は明白である。そのような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。
図1Aは、本発明の1つの実施形態に係る物品運搬用ロボット又は物品運搬システムを示すブロック図である。 図1Bは、本発明の上記実施形態に係る物品運搬用ロボットを示すブロック図である。 図1Cは、本発明の上記実施形態に係る物品運搬システムを示すブロック図である。 図1Dは、本発明の上記実施形態に係る、別の物品運搬システムを示すブロック図である。 図2Aは、本発明の上記実施形態に係る、さらに別の物品運搬システムの構成例を示す説明図である。 図2Bは、本発明の上記実施形態に係る物品運搬システムのロボット又は物品運搬用ロボットにより物品が運搬される生活環境の一例としての部屋の間取り図である。 図2Cは、図2Aの物品運搬システムのブロック図である。 図2Dは、本発明の上記実施形態に係る物品運搬システムのロボット又は物品運搬用ロボットにより物品が運搬される生活環境の別の例としての部屋(本棚BsとテーブルTbと椅子Chがある部屋)の斜視図である。 図2Eは、本発明の上記実施形態に係る物品運搬システムのロボット又は物品運搬用ロボットにより物品が運搬される生活環境のさらに別の例としての部屋の間取り図である。 図2Fは、状況認識手段を詳細に示す物品運搬用ロボット又は物品運搬システムのブロック図である。 図2Gは、ロボットの保持装置の姿勢制御を行うための上記保持装置の模式図を示したものである。 図2Hは、移動装置や保持装置のモータ制御形式のアクチュエータなどの任意の駆動部の駆動制御系を示すブロック図である。 図2Iは、姿勢を制御するときに設定する座標系の説明図である。 図2Jは、環境マップデータベースの環境マップの実環境の例の説明図である。 図2Kは、環境マップデータベースの環境マップの図2Jの実環境を立体モデルで簡略化した環境マップの説明図である。 図2Lは、環境マップデータベースの環境マップの図2Jの実環境をさらに平面モデルで簡略化した環境マップの説明図である。 図2Mは、環境マップに付随する設備データベース内に記憶されるテーブルの一例を示す図である。 図3Aは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットの運搬情報データベースに蓄積されるデータ(皿について設定されている運搬データ)の一例を示す図である。 図3Bは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットの運搬情報データベースに蓄積されるデータ(コップについて設定されている運搬データ)の一例を示す図である。 図3Cは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットの運搬情報データベースに蓄積されるデータ(本について設定されている運搬データ)の一例を示す図である。 図4Aは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットの運搬情報データベースに蓄積されるデータ(コップについて設定されている運搬データ)の他の例を示す図である。 図4Bは、図4Aの運搬情報データベースに蓄積されるデータ(速度規制1の運搬速度を含むデータ)の他の例を示す図である。 図4Cは、図4Aの運搬情報データベースに蓄積されるデータ(速度規制2の運搬速度を含むデータ)の他の例を示す図である。 図4Dは、図4Aの運搬情報データベースに蓄積されるデータ(速度規制3の運搬速度を含むデータ)の他の例を示す図である。 図4Eは、図4Dの運搬情報データベースに蓄積されるデータに関して、床面を特定する手法を説明するための図である。 図5は、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットの運搬情報データベースに蓄積されるデータのさらに他の例を示す図である。 図6Aは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットのレーザ光線を使用した状況認識手段の例を示す説明図である。 図6Bは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットのレーザ光線を使用した状況認識手段の例を示す説明図である。 図7Aは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、重量センサとタグリーダを使用した状況認識手段の例を示した説明図である。 図7Bは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、重量センサとタグリーダを使用した状況認識手段の例を示した説明図である。 図7Cは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、重量センサとタグリーダを使用した状況認識手段の例を示した説明図である。 図7Dは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、重量センサとタグリーダを使用した状況認識手段の例を示した説明図である。 図7Eは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、重量センサとタグリーダを使用した状況認識手段の例を示した説明図である。 図7Fは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、タグリーダを使用した状況認識手段の例を示した説明図である。 図8は、本発明の上記実施形態に係る物品運搬システムのロボット又は物品運搬用ロボットを例示する模式図である。 図9は、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットの物品運搬処理を示すフローチャートである。 図10Aは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、水を入れたコップの把持方法によって運搬方法を変化させることを説明する説明図である。 図10Bは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、水を入れたコップの把持方法によって運搬方法を変化させることを説明する説明図である。 図10Cは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、水を入れたコップの把持方法によって運搬方法を変化させるときの物品情報データベースを示す図である。 図10Dは、本発明の上記実施形態に係る物品運搬システム又は物品運搬用ロボットにおいて、茶碗の中の水の温度によって運搬方法を変化させるときの物品情報データベースを示す図である。

Claims (6)

  1. 生活空間内の物品のIDが同じで上記物品の状況により運搬方法が異なるような上記物品の運搬を行う物品運搬用ロボットであって、
    上記運搬対象の物品の状況を認識する状況認識手段と、
    上記状況認識手段によって認識された上記物品の状況に応じて、当該物品の運搬方法を特定する運搬方法特定手段と、
    上記運搬方法特定手段によって特定された運搬方法に従って、上記運搬対象の物品の運搬を行う運搬装置と、
    各物品の物体の載置又は収容状況毎に、当該状況と載置又は収容された物体の運搬動作とを対応付けた運搬情報を蓄積する運搬情報データベースと、を備えるとともに、
    上記運搬情報は、上記運搬装置によって物品が運搬場所に運搬された結果、変化する当該物品の次の状況についての情報をさらに含み、
    上記運搬方法特定手段は、上記運搬情報データベースを参照することによって、上記物品の状況に対応する運搬情報を特定するとともに、上記認識された物品の状況に対応する運搬情報を選択した後に、上記選択した運搬情報に含まれる次の状況についての情報に基づいて、当該次の状況に対応する別の運搬情報をさらに選択し、
    上記運搬装置は、上記別の運搬情報が選択されたときには、その別の運搬情報に従って上記物品の運搬をさらに実行する、物品運搬用ロボット。
  2. 生活空間内の物品のIDが同じで上記物品の状況により運搬方法が異なるような上記物品の運搬を行う物品運搬用ロボットであって、
    上記運搬対象の物品の状況を認識する状況認識手段と、
    上記状況認識手段によって認識された上記物品の状況に応じて、当該物品の運搬方法を特定する運搬方法特定手段と、
    上記運搬方法特定手段によって特定された運搬方法に従って、上記運搬対象の物品の運搬を行う運搬装置と、を備えるとともに、
    上記運搬対象の物品は、物体を載置又は収容する機能を有し、
    上記状況認識手段は、上記運搬対象の物品が物体を載置又は収容しているか否かの状況を認識する、物品運搬用ロボット。
  3. 上記状況認識手段は、上記運搬対象の物品に、他の物品が積載されているか否かの状況を認識する、請求項1又は2に記載の物品運搬用ロボット。
  4. 上記物品の状況により、上記物品の上記運搬方法が異なるとともに、さらに、運搬場所も異なる、請求項1又は2に記載の物品運搬用ロボット。
  5. 上記物品を保持する保持装置をさらに備え、
    上記保持装置で上記物品を保持しながら上記物品を運搬する、請求項1又は2に記載の物品運搬用ロボット。
  6. 上記運搬対象の物品が食器であり、上記物品運搬用ロボットは食後の食器の片付け作業を行うロボットとして機能し、上記食器が汚れている状況と上記食器が汚れていない状況とでは運搬場所と運搬方法が異なる、請求項1又は2に記載の物品運搬用ロボット。
JP2006531465A 2004-08-02 2005-08-01 物品運搬用ロボット Expired - Fee Related JP3920317B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004225221 2004-08-02
JP2004225221 2004-08-02
PCT/JP2005/014052 WO2006013829A1 (ja) 2004-08-02 2005-08-01 物品運搬用ロボット、物品運搬システム、及び物品運搬方法

Publications (2)

Publication Number Publication Date
JP3920317B2 true JP3920317B2 (ja) 2007-05-30
JPWO2006013829A1 JPWO2006013829A1 (ja) 2008-05-01

Family

ID=35787114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006531465A Expired - Fee Related JP3920317B2 (ja) 2004-08-02 2005-08-01 物品運搬用ロボット

Country Status (3)

Country Link
US (1) US7269479B2 (ja)
JP (1) JP3920317B2 (ja)
WO (1) WO2006013829A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012870A1 (ja) * 2017-07-14 2019-01-17 パナソニックIpマネジメント株式会社 食器処理機
WO2020105778A1 (ko) * 2018-11-23 2020-05-28 전자부품연구원 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법
CN112045686A (zh) * 2020-09-07 2020-12-08 上海明略人工智能(集团)有限公司 餐品配送方法和装置
US11607801B2 (en) 2019-08-21 2023-03-21 Lg Electronics Inc. Artificial intelligence robot for managing movement of object using artificial intelligence and method of operating the same

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4456561B2 (ja) * 2005-12-12 2010-04-28 本田技研工業株式会社 自律移動ロボット
JP2007260838A (ja) * 2006-03-28 2007-10-11 Brother Ind Ltd 搬送ロボット及び搬送プログラム
US20090322493A1 (en) * 2007-03-20 2009-12-31 Kumagai Monto H Method to personalize, promote, and distribute multimedia content using radio frequency identification
US8577498B2 (en) * 2007-05-21 2013-11-05 Panasonic Corporation Automatic transfer method, transfer robot, and automatic transfer system
JP5037248B2 (ja) * 2007-07-17 2012-09-26 株式会社日立製作所 情報収集システムおよび情報収集ロボット
US8527093B2 (en) * 2007-09-20 2013-09-03 Posco Apparatus for controlling the position of crane tong according to slab bending and the method thereof
US20110024051A1 (en) * 2009-03-20 2011-02-03 Sanford Kyle L Automated lamination stacking system for a transformer core former
TWI388956B (zh) * 2009-05-20 2013-03-11 Univ Nat Taiwan Science Tech 行動機器人與其目標物處理路徑的規劃方法
KR20110015765A (ko) * 2009-08-10 2011-02-17 삼성전자주식회사 로봇의 경로계획장치 및 그 방법
EP2309357B1 (en) * 2009-10-02 2012-08-29 Poly-clip System GmbH & Co. KG Robotic device for inserting or removing rod-like elements
US8280544B2 (en) * 2009-11-02 2012-10-02 Mold Masters (2007) Limited System for use in performance of injection molding operations
JP5449546B2 (ja) * 2010-06-03 2014-03-19 株式会社日立製作所 人操作型作業機械システム
US11372391B2 (en) * 2011-04-06 2022-06-28 Koninklijke Philips N.V. Safety in dynamic 3D healthcare environment
US8452451B1 (en) 2011-05-06 2013-05-28 Google Inc. Methods and systems for robotic command language
US8639644B1 (en) 2011-05-06 2014-01-28 Google Inc. Shared robot knowledge base for use with cloud computing system
JP5895420B2 (ja) * 2011-09-21 2016-03-30 セイコーエプソン株式会社 ロボット制御装置、及びロボットシステム
SG11201400958XA (en) * 2012-01-25 2014-04-28 Adept Technology Inc Autonomous mobile robot for handling job assignments in a physical environment inhabited by stationary and non-stationary obstacles
JP2013184273A (ja) * 2012-03-09 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
US10022873B2 (en) * 2013-03-15 2018-07-17 Ori Inc. Apparatuses, systems, and methods for transformable living spaces
US9586320B2 (en) * 2013-10-04 2017-03-07 GM Global Technology Operations LLC System and method for controlling a vision guided robot assembly
US9886036B2 (en) * 2014-02-10 2018-02-06 John Bean Technologies Corporation Routing of automated guided vehicles
US9846806B2 (en) * 2014-06-26 2017-12-19 Amazon Technologies, Inc. Performing automated tasks based on visual cues
WO2016018908A1 (en) * 2014-07-29 2016-02-04 Robotic Arts, Inc. Robotically controlled architectural elements
US9840007B1 (en) * 2014-08-25 2017-12-12 X Development Llc Robotic operation libraries
GB2529848B (en) * 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile robot
JP6376279B2 (ja) * 2015-03-17 2018-08-22 株式会社村田製作所 センサ位置決め装置
EP3111768B1 (de) * 2015-07-01 2019-03-27 Bühler GmbH Anlage zur fertigung von nahrungsmitteln
US9815198B2 (en) * 2015-07-23 2017-11-14 X Development Llc System and method for determining a work offset
US9789610B1 (en) * 2015-09-02 2017-10-17 X Development Llc Safe path planning for collaborative robots
CN105522583B (zh) * 2016-01-25 2017-10-31 南京大学 一种基于rfid技术的自动式图书智能盘点上架机器人
US10500726B2 (en) * 2016-04-25 2019-12-10 Kindred Systems Inc. Facilitating device control
US10471598B1 (en) 2016-06-10 2019-11-12 Eric Fragola Robotic platform
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
US20180036889A1 (en) * 2016-08-08 2018-02-08 Dishcraft Robotics, Inc. Dish Manipulation Systems And Methods
KR102045388B1 (ko) * 2016-12-06 2019-11-15 버슘머트리얼즈한양기공 주식회사 실린더 이동용 카트
JP6586968B2 (ja) * 2017-02-01 2019-10-09 トヨタ自動車株式会社 移動ロボット、移動ロボットの制御方法および制御プログラム
WO2018156952A1 (en) * 2017-02-25 2018-08-30 Diligent Robotics, Inc. Systems, apparatus, and methods for robotic learning and execution of skills
US11833684B2 (en) 2017-02-25 2023-12-05 Diligent Robotics, Inc. Systems, apparatus, and methods for robotic learning and execution of skills
US11148288B2 (en) 2017-02-25 2021-10-19 Diligent Robotics, Inc. Systems, apparatus, and methods for robotic learning and execution of skills
US10467768B2 (en) * 2017-04-07 2019-11-05 Intel Corporation Optical flow estimation using 4-dimensional cost volume processing
JP6828572B2 (ja) * 2017-04-18 2021-02-10 富士通株式会社 ロボット移動時間推定プログラム及びロボット移動時間推定方法
JP7000704B2 (ja) * 2017-05-16 2022-01-19 富士フイルムビジネスイノベーション株式会社 移動式サービス提供装置及びプログラム
US10295364B2 (en) * 2017-05-26 2019-05-21 Alpine Electronics, Inc. Obstacle data providing system, data processing apparatus and method of providing obstacle data
JP6931457B2 (ja) * 2017-07-14 2021-09-08 オムロン株式会社 モーション生成方法、モーション生成装置、システム及びコンピュータプログラム
JP6948516B2 (ja) * 2017-07-14 2021-10-13 パナソニックIpマネジメント株式会社 食器処理機
JP7022547B2 (ja) * 2017-09-22 2022-02-18 パナソニック株式会社 ロボット
JP2019059004A (ja) * 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP2019155542A (ja) * 2018-03-14 2019-09-19 株式会社東芝 搬送装置、搬送システム、コントローラ、および搬送方法
JP7057214B2 (ja) * 2018-05-18 2022-04-19 トヨタ自動車株式会社 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法
US10471591B1 (en) * 2018-06-01 2019-11-12 X Development Llc Object hand-over between robot and actor
JP2020062691A (ja) * 2018-10-15 2020-04-23 株式会社Preferred Networks 検査装置、検査方法、ロボット装置、ロボット装置における検査方法及びプログラム
CN112912040A (zh) * 2018-10-22 2021-06-04 艾比力泰克医疗公司 手部辅助矫正器
JP2020089944A (ja) * 2018-12-05 2020-06-11 国立大学法人 東京大学 ロボットシステム
AU2019403407A1 (en) * 2018-12-20 2021-07-08 Avery Dennison Retail Information Services Llc Smart prep table and method of food traceability
KR20200134141A (ko) 2019-05-21 2020-12-01 삼성전자주식회사 이동 중 액체가 쏟아지지 않도록 하는 전자 장치
US20210362335A1 (en) * 2019-07-12 2021-11-25 Lg Electronics Inc. Robot and method for manage item using same
CN110340912A (zh) * 2019-07-25 2019-10-18 南通大学 一种智能物流搬运机器人控制***
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
JP7226268B2 (ja) * 2019-11-25 2023-02-21 トヨタ自動車株式会社 搬送システム、搬送方法およびプログラム
JP7192748B2 (ja) * 2019-11-25 2022-12-20 トヨタ自動車株式会社 搬送システム、学習済みモデル生成方法、学習済みモデル、制御方法およびプログラム
JP7188363B2 (ja) * 2019-11-25 2022-12-13 トヨタ自動車株式会社 搬送システム、搬送方法およびプログラム
US11945123B2 (en) 2020-04-28 2024-04-02 Altec Industries, Inc. Head mounted display for remote operation of machinery
JP7347349B2 (ja) * 2020-07-07 2023-09-20 トヨタ自動車株式会社 情報処理装置、情報処理システム、及び情報処理方法
US11684232B2 (en) 2021-01-07 2023-06-27 Dishcare Inc. Real-time single dish cleaner
AU2022218219A1 (en) 2021-02-08 2023-08-31 Diligent Robotics, Inc. Systems, apparatuses, and methods for robotic learning and execution of skills including navigation and manipulation functions
US11731282B2 (en) 2021-03-03 2023-08-22 Dishcare Inc. Dish handling robot
US11938640B2 (en) * 2021-03-15 2024-03-26 Dishcare Inc. Dish perception, planning and control for robots
JP6906724B1 (ja) * 2021-03-25 2021-07-21 Dmg森精機株式会社 工作機械
JP6957781B1 (ja) * 2021-06-14 2021-11-02 Dmg森精機株式会社 自走装置
US11969897B2 (en) * 2021-07-14 2024-04-30 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
US11937757B2 (en) 2022-03-04 2024-03-26 Dishcare Inc. Autonomous dishwasher
US11794359B1 (en) * 2022-07-28 2023-10-24 Altec Industries, Inc. Manual operation of a remote robot assembly
US11997429B2 (en) 2022-07-28 2024-05-28 Altec Industries, nc. Reducing latency in head-mounted display for the remote operation of machinery

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS642882A (en) 1987-06-25 1989-01-06 Omron Tateisi Electron Co Robot control method
JPH0774971B2 (ja) * 1990-10-31 1995-08-09 三洋電機株式会社 ロボットの作業計画装置
US5325468A (en) * 1990-10-31 1994-06-28 Sanyo Electric Co., Ltd. Operation planning system for robot
US5202832A (en) * 1991-01-29 1993-04-13 R. R. Donnelley & Sons Co. Material handling automation system using portable transfer module
DE10007864A1 (de) * 2000-02-21 2001-08-30 Wittenstein Gmbh & Co Kg Verfahren zum Erkennen, Bestimmen, Lokalisieren zumindest eines beliebigen Gegenstandes und/oder Raumes
US6898484B2 (en) * 2002-05-01 2005-05-24 Dorothy Lemelson Robotic manufacturing and assembly with relative radio positioning using radio based location determination
JP2003346150A (ja) 2002-05-24 2003-12-05 Sony Corp 床面認識装置及び床面認識方法並びにロボット装置
JP3738254B2 (ja) * 2003-02-19 2006-01-25 松下電器産業株式会社 物品管理システム
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012870A1 (ja) * 2017-07-14 2019-01-17 パナソニックIpマネジメント株式会社 食器処理機
JP2019017612A (ja) * 2017-07-14 2019-02-07 パナソニックIpマネジメント株式会社 食器処理機
CN110602974A (zh) * 2017-07-14 2019-12-20 松下知识产权经营株式会社 餐具处理机
WO2020105778A1 (ko) * 2018-11-23 2020-05-28 전자부품연구원 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법
US11607801B2 (en) 2019-08-21 2023-03-21 Lg Electronics Inc. Artificial intelligence robot for managing movement of object using artificial intelligence and method of operating the same
CN112045686A (zh) * 2020-09-07 2020-12-08 上海明略人工智能(集团)有限公司 餐品配送方法和装置

Also Published As

Publication number Publication date
US7269479B2 (en) 2007-09-11
WO2006013829A1 (ja) 2006-02-09
JPWO2006013829A1 (ja) 2008-05-01
US20070124024A1 (en) 2007-05-31

Similar Documents

Publication Publication Date Title
JP3920317B2 (ja) 物品運搬用ロボット
JP4041837B2 (ja) 物品保持システム、ロボット及びロボット制御方法
JP4646943B2 (ja) ロボット
US20210187735A1 (en) Positioning a Robot Sensor for Object Classification
JP6738112B2 (ja) ロボットシステムの制御装置及び制御方法
US10702986B2 (en) Order picking method and mechanism
KR20190106910A (ko) 이동 로봇과 그의 제어 방법
WO2004106009A1 (ja) 物品操作システムおよび方法、並びに物品管理システムおよび方法
JP2003524531A (ja) 少なくとも1個の物体および/または空間を認識、規定、位置検出するための方法
US20220168893A1 (en) Clutter-clearing robotic system
US11642780B2 (en) Monitoring of surface touch points for precision cleaning
JP3738256B2 (ja) 生活空間用の物品移動システム、及びロボット操作装置
Fukuzawa et al. A robotic system capable of recognition, grasping, and suction for dishwashing automation
JP3713021B2 (ja) 生活空間用の物品取扱いシステム及びロボット操作装置
JP2005056213A (ja) 情報提供システム、情報提供サーバ、情報提供方法
JP2021160941A (ja) ピッキング用移動体
JP3738254B2 (ja) 物品管理システム
JP2004323135A (ja) 物品管理システム
CN116709962A (zh) 杂物清理机器人***

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070214

R150 Certificate of patent or registration of utility model

Ref document number: 3920317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110223

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140223

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees