JP2005088146A - 物体処理システム、物体処理方法及びロボット - Google Patents

物体処理システム、物体処理方法及びロボット Download PDF

Info

Publication number
JP2005088146A
JP2005088146A JP2003326715A JP2003326715A JP2005088146A JP 2005088146 A JP2005088146 A JP 2005088146A JP 2003326715 A JP2003326715 A JP 2003326715A JP 2003326715 A JP2003326715 A JP 2003326715A JP 2005088146 A JP2005088146 A JP 2005088146A
Authority
JP
Japan
Prior art keywords
information
robot
tag
reading
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003326715A
Other languages
English (en)
Inventor
Kazuo Tanie
和雄 谷江
Shigeoki Hirai
成興 平井
Rakuei Cho
洛榮 丁
Kotaro Oba
光太郎 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2003326715A priority Critical patent/JP2005088146A/ja
Publication of JP2005088146A publication Critical patent/JP2005088146A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】作業環境における物体を撮像画像により簡単に特定できる。
【解決手段】このシステムでは、物体501〜506を画像認識するために必要な物体認識用情報OBSが記憶されている情報サーバ101と、情報サーバ101に記憶されている物体処理用情報OBSに基づいて物体501〜506を特定するロボット1と、ロボット1の環境を監視する物体特定用装置201〜206とを備える。ロボット1は、物体501〜506に付されているタグ501a〜506aから情報を読み取るタグリーダライタ4と、タグリーダライタ4が読み取ったID情報OBに基づいて、情報サーバ101から物体認識用情報OBSを読み込むためのアドレス処理部及びネットワーク処理部と、アドレス処理部等で読み込んだ物体認識用情報OBS、撮像部9が得た撮像画像情報及び物体特定用装置201〜206の物体特定結果を用いて物体を特定する制御部5とを備える。
【選択図】図7

Description

本発明は、与えられた作業環境で、作業環境内に存在する物体に対して操作や作業等の処理を自律的に行うロボット、並びにロボットを使用して行う物体処理システム及び物体処理方法に関する。
ロボットに撮像部を備えさせ、ロボットに作業をさせるシステムがある。いわゆる、ロボットがロボットビジョンにより自律的に作業する場合である。
このシステムでは、ロボットは、撮像部から得られる画像から、形状等の情報に基づいて、作業環境に存在する作業対象の物体を認識して、その物体を特定している。
ここで、与えられた作業環境でロボットに自律的に作業を遂行させる1つの方法として作業環境に存在する作業対象になる物体に関する情報を知識としてロボットに与え、ロボットにその知識を活用して作業計画を構築させ、自律的に作業を遂行させる方法がある。
例えば、図12に示すように、6個の種々の物体501,502,503,504,505,506が存在する作業環境でロボット600が自律的に作業する場合を例に挙げて説明する。図12では、作業環境に存在する物体501〜506を2次元平面の物体として示しているが、実際は、作業環境は3次元空間であり、この作業環境に存在する物体501〜506も3次元空間に存在する立体の物体である。
ここで、ロボット600が初期位置P1から目的位置P2まで自律的に移動する場合を考える。
図13は、このような移動をロボットに実現させるための人的作業を示す。
先ず、各物体501〜506の情報を含む作業環境モデルWMを用意する。
作業環境モデルWMはロボット600が作業する現実の作業環境Wの構造を示す情報であり、作業環境モデルWMには、作業環境Wに存在する各物体501〜506の情報が含まれている。
物体501〜506の情報の内容としては種々あるが、例えば当該物体501〜506の位置(例えば絶対位置)の情報や幾何学的形状の情報がある。このような情報を、ロボット600の設計者が作業環境モデルWMとして記述して、この作業環境モデルWMを、ロボット600の制御部(コンピュータ)601内に構築させている。例えば、作業環境モデルWMを環境データとして制御部(コンピュータ)601内に構築させている。
制御部601には、このような作業環境モデルWMの他に、ロボット600が動作するための情報或いはプログラムが格納されている。
例えば、ロボット600が動作するための情報として、ロボット600の大きさ等の情報が格納されている。また、ロボット600が動作するための制御プログラムとして、作業計画アルゴリズムが格納されている。作業計画アルゴリズムは、作業環境モデルWMに基づいてロボット600の作業手順である作業計画を作成するためのアルゴリズムである。そして、ロボット600が動作するための情報或いはプログラムは、ロボット600の設計者によって決定或いは設計されて、予め制御部601に格納されている。
そして、制御部601は、ロボット600の駆動部602を制御している。駆動部602は、例えばロボット600が移動するための移動手段等から構成されている。
このようなロボット600は、作業指令(或いは動作指令)が与えられると、制御部601が作業計画アルゴリズムにより、ロボット600の大きさ、作業環境モデルWMの物
体の位置や幾何学的形状を参照して、ロボット600と物体との干渉チェックを行う等数理的演算処理行い、初期位置P1から目標位置P2までの経路を割り出す。このとき、ロボット600は、撮像部が撮像した画像と幾何学的形状の情報(例えばテンプレート)を用いて認識処理を行い、例えばテンプレートマッチングを行い、物体を特定している。
そして、制御部601は、その割り出した経路に沿うように実際にロボット600が動作するように作業計画を立てる。ここで、作業計画とは、ロボット600が作業を実現するために、どのように駆動部602を制御すればよいかを示す情報(制御信号群)からなる。制御部601は、この作業計画に基づいて制御信号を駆動部602に出力して、駆動部602を制御する。これにより、ロボット600は、物体501〜506への接触を避けて、初期位置P1から目的位置P2まで自律的に移動する。
以上のように、ロボットを制御するコンピュータ(制御部)内に作業環境モデルを構築するとともに、その作業環境モデルを参照してロボットに作業計画を立てさせ、ロボットに自律的に作業させる方法が従来より提案されており、このような方法の研究が多くの研究者によりなされている。このようなロボットを自律的に作業させるこのような方法は、モデルベーストによるロボットの自律制御技術と呼ばれている。
なお、このような方法は、ロボットを移動させるためだけに用いられているとも限られない。例えば、作業環境に存在する物体に種々の操作を行うために使われるロボットアームやロボットマニピュレータを自律的に作業させるのにも適用できる。例えば、ロボットアーム・マニピュレータに適用する場合、作業環境の物体の情報(作業環境モデル)には、物体の位置や幾何学的形状の他に物体を把持する位置(把持に最適な位置)等が含ませること等が行われる。
しかし、ロボットが作業環境にある物体を認識する能力には限界があり、人間と同等の物体認識能力には至るものではない。すなわち、前述の例であれば、前記テンプレートマッチングで使用する幾何学的形状の情報(例えばテンプレート)を特定できないと、作業環境の物体を特定できなくなる。このように、作業環境に存在する物体をロボットが的確に特定できないと、ロボットが物体に対して適切に操作や作業をすることができなくなる。
そこで、本発明は、このような実情に鑑みてなされたものであり、作業環境における物体を撮像画像により簡単に認識(特定)できるロボット、物体処理システム及び物体処理方法の提供を目的とする。
請求項1記載の発明に係る物体処理システムは、物体を画像認識するために必要な物体認識用情報が記憶されている情報サーバと、前記情報サーバに記憶されている物体処理用情報に基づいて前記物体を特定するロボットと、前記ロボットの環境を監視する監視装置とを備える。この物体処理システムでは、前記監視装置は、前記ロボットの環境を監視して監視情報を得ており、前記ロボットは、周囲を撮像する第1の撮像手段と、前記情報サーバから前記物体認識用情報を読み込むための読み込み用情報を、前記物体に付されている非接触型タグから比接触で読み取る第1のタグリーダと、前記第1のタグリーダが読み取った前記読み込み用情報に基づいて、前記情報サーバから前記物体認識用情報を読み込む第1の通信手段と、前記第1の通信手段が読み込んだ前記物体認識用情報と前記第1の撮像手段が得た撮像画像情報とを用いて前記物体を特定するとともに、その物体の特定に前記監視手段が得た監視情報も用いる物体特定手段とを備えることを特徴とする。
また、請求項2記載の発明に係る物体処理システムは、請求項1記載の発明に係る物体処理システムにおいて、前記監視装置が、周囲を撮像する第2の撮像手段と、前記物体に付されている非接触型タグから比接触で前記読み込み用情報を読み取る第2のタグリーダと、前記第2のタグリーダが読み取った前記読み込み用情報に基づいて、前記情報サーバから前記物体認識用情報を読み込む第2の通信手段と、前記第2の通信手段が読み込んだ前記物体認識用情報と前記第2の撮像手段が得た撮像画像情報とを用いて前記物体を特定して、その特定結果を前記監視情報として前記ロボットに送信する送信手段とを備えることを特徴とする。
また、請求項3記載の発明に係る物体処理システムは、請求項1又は2に記載の発明に係る物体処理システムにおいて、前記ロボットが、前記タグに情報を書き込むタグライタと、前記物体特定手段が特定した物体の情報を前記タグライタにより前記タグに書き込む物体情報書き込み手段とを備え、前記タグリーダが、前記物体情報書き込み手段が前記タグに書き込んだ前記物体の情報を読み取ることを特徴とする。
また、請求項4記載の発明に係る物体処理方法は、物体を画像認識するために必要な物体認識用情報を情報サーバに記憶させ、かつ前記情報サーバから前記物体認識用情報を読み込むための読み込み用情報を、前記物体に付されている非接触型タグに記憶させ、監視装置によりロボットの環境を監視して監視情報を得ており、前記ロボットが、撮像手段により周囲の撮像画像情報を取得するとともに、前記非接触型タグからタグリーダにより比接触で前記読み込み用情報を読み取り、その読み取った読み込み用情報に基づいて、前記情報サーバから前記物体処理用情報を読み込み、その読み込んだ物体認識用情報と前記撮像画像情報とを用いて前記物体を特定するとともに、その物体の特定に前記監視情報も用いることを特徴とする。
また、請求項5記載の発明に係る物体処理方法は、請求項4記載の発明に係る物体処理方法において、前記ロボットが、前記特定した物体の情報をタグライタにより前記タグに書き込み、前記ロボットが、前記タグに前記物体の情報が書き込まれている場合には、前記タグリーダにより当該物体の情報を読み取ることを特徴とする。
また、請求項6記載の発明に係るロボットは、情報サーバに記憶されている物体を画像認識するために必要な物体処理用情報及び監視装置がロボットの環境を監視して得た監視情報に基づいて前記物体を特定するロボットである。このロボットは、周囲を撮像する撮像手段と、前記情報サーバから前記物体認識用情報を読み込むための読み込み用情報を、前記物体に付されている非接触型タグから比接触で読み取るタグリーダと、前記タグリーダが読み取った前記読み込み用情報に基づいて、前記情報サーバから前記物体認識用情報を読み込む通信手段と、前記通信手段が読み込んだ前記物体認識用情報と前記撮像手段が得た撮像画像情報とを用いて前記物体を特定するとともに、その物体の特定に前記監視情報も用いる物体特定手段とを備えることを特徴とする。
以上の請求項1、4及び6記載の発明では、物体を画像認識するために必要な物体認識用情報を情報サーバに記憶させ、かつ情報サーバから物体認識用情報を読み込むための読み込み用情報を、物体に付されている非接触型タグに記憶させることが前提となる。そして、ロボットが、撮像手段(第1の撮像手段)により周囲の撮像画像情報を取得するとともに、非接触型タグからタグリーダ(第1のタグリーダ)により比接触で読み込み用情報を読み取り、その読み取った読み込み用情報に基づいて、情報サーバから物体処理用情報を読み込み、その読み込んだ物体認識用情報と撮像画像情報とを用いて、物体を特定している。そして、この物体の特定には、ロボットの環境を監視する監視装置が得た監視情報も用いている。
すなわち、ロボット自身が物体に付されているタグの情報に基づいて当該物体を特定す
るためにふさわしい物体認識情報だけを情報サーバから得て、その物体認識用情報と撮像画像情報とを用いて物体を特定する処理を行っている。そして、この物体の特定に、ロボットの環境を監視する監視装置が得た監視情報も用いている。例えば、ロボットの環境としては、ロボットが特定する物体を含む環境が挙げられる。
本発明によれば、物体の特定の処理にふさわしい物体認識用情報だけを用いて、当該物体の特定の処理を行っているので、簡単かつ確実に物体を特定できる。そして、監視情報を用いることで、その物体の特定精度を高くすることができる。
また、請求項3及び5記載の発明によれば、特定した物体の情報をタグに書き込んでいるので、後にロボットが物体を特定しようとする際にタグに書き込まれているその特定した物体の情報、例えば物体の位置情報を読み出すことで、物体処理用情報を用いることなく、物体を特定できるようになる。
本発明を実施するための最良の形態を図面を参照しながら詳細に説明する。
図1は、作業環境(作業空間)Wに6個の物体(3次元物体)501,502,503,504,505,506が存在しており、その作業環境Wを移動するロボット1の様子を示す。
ロボット1は、移動台車2の上部にアーム3を備えることで、作業環境Wに存在する物体501〜506に対する操作或いは作業を行うことができるように構成されている。また、ロボット1は、インターネット等の情報通信ネットワークNETを介して情報サーバ101と接続されている。
情報サーバ101は、ロボット1が物体501〜506を認識するための情報(以下、物体認識用情報という。)OBSを管理している。その物体認識用情報OBSとしては、物体501〜506の幾何学的形状や色の情報が挙げられる。そして、この情報サーバ101への物体認識用情報OBSの初期の書き込み或いはアップロード(初期値の書き込み或いはアップロード)は、物体501〜506の製造者、その製造者から委託をうけた事業者等によって行われる。
この情報サーバ101の設置場所は、例えばインターネットのプロトコル等を使用して、情報通信ネットワークNET上でアクセス可能な場所であり、情報通信ネットワークNET上の任意の場所である。
例えば、情報サーバ101は、プロバイダのような情報管理企業であるユビキタス知識管理企業により管理されている。この場合、物体認識用情報OBSは、このユビキタス知識管理企業によって管理され、ユビキタス知識管理企業によって情報サーバ101への書き込み或いはアップロードがなされる。
例えば、多くの物体(製品)が存在するような場合に、物体認識用情報OBSの作成を、物体(製品)を製造する企業に任せてしまうと、それぞれ物体操作用情報OBの規格が統一できなくなり、物体操作用情報OBSの有用性は低いものになる。物体操作用情報OBの規格が統一されていないと、例えば、物体操作用情報OBSを扱うソフトウェアの作成は、その物体操作用情報OBSごとに全く異なる方式のもとで行う必要がある。このようなことから、ユビキタス知識管理企業が、各物体(製品)ごとに存在する物体認識用情報OBSを加工する等して一定規格のものとして、情報サーバ101で管理している。
各物体501〜506は、作業環境Wにおいてロボット1が扱う物体であり、図2に示すように、各物体501〜506にはタグ501a〜506aが装着されている。各物体501〜506はそれぞれが、固有の形状や重量等を有している。すなわち、各物体50
1〜506は、前記物体認識用情報OBSが示す特性を有している。
タグ501a〜506aとしては、RFID(Radio Frequency Identification)のような無線ICタグが挙げられる。RFIDは、対環境性に優れた数cm程度の大きさからなり、電子的にデータを記憶し、電波や電磁波で読み取り器と交信することが可能な構造を有している。
タグ501a〜506aには、当該タグ501a〜506aが付されている物体501〜506を特定するための情報(以下、物体ID情報という。)OBが書き込まれている。その物体ID情報OBには、物体認識用情報OBSを管理している情報サーバ101のアドレス情報が含まれている。そのアドレス情報は、情報通信ネットワークNET上の情報サーバ101を特定するための情報(以下、サーバアドレス情報という。)と、当該特定した情報サーバにおいて物体認識用情報OBSが格納されている特定の記憶領域に関する情報(例えばIP(Internet Protocol))情報(以下、データアドレス情報という。)とを含んで構成されている。また、物体ID情報OBには、物体の外見的特性であり、かつ少ないデータ量で示すことが可能な情報、例えば物体の色を示す色情報や2次元形状(平面視形状)の情報等が含まれている。この物体ID情報は、情報サーバ101から物体認識用情報OBSをロボット1に読み込むための読み込み用情報を構成している。
ロボット1は、図1及び図3に示すように、タグリーダライタ4、制御部5、駆動部6、アドレス処理部7、ネットワーク処理部8及び撮像部9を備えている。
タグリーダライタ4は、物体501〜506のタグ501a〜506aに対して情報の読み書きを行う。タグリーダライタ4は、図1に示すように、撮像部9とともに、アーム3に取り付けられている。このタグリーダライタ4は、無線でタグ501a〜506aに対して情報の読み書きをするように構成されている。タグ501a〜506aに対して情報の読み書きをするタイミングは、種々の方法が考えられるが、例えば、一般のICタグ技術が備えている標準的な機能を利用して、タグリーダライタ4から、ある一定の領域内に存在するタグ501a〜506aに対して情報の読み書きをするようにする。よって、タグリーダライタ4からある一定の領域内に複数のタグ(物体)が存在する場合、タグリーダライタ4は、自動的にそれら全てのタグから情報を読み取ることになる。
アドレス処理部7は、タグリーダライタ4によりタグ501a〜506aから読み込んだ物体ID情報からアドレス情報を読み出す。
ネットワーク処理部8は、アドレス処理部7が読み出したアドレス情報のサーバアドレス情報に基づいて、情報通信ネットワークNETを介して情報サーバ101にアクセスする。そして、ネットワーク処理部8は、アドレス情報のデータアドレス情報に基づいて、アクセスした情報サーバの所定の記憶領域に記憶されている物体認識用情報OBSを情報通信ネットワークNETを介して読み込む。そして、ネットワーク処理部8は、その物体認識用情報OBSを制御部5に出力する。
一方、撮像部9は、作業環境を撮像するためのものであり、立体視可能に構成されている。例えば、撮像部9は、ステレオタイプとして2つのCCD(Charge Coupled Device)センサを搭載している。撮像部9は、撮像画像を制御部5に出力する。
制御部5は、種々の処理やロボット1を制御するように構成されている。具体的には、制御部5による処理やロボット1の制御は次のようになる。
制御部5は、撮像部9からの撮像画像と物体認識用情報OBSの幾何学的形状情報とを用いて物体の認識処理、例えばテンプレートマッチング(この場合、物体認識用情報OBSの幾何学的形状情報はテンプレートをなす。)により、撮像画像中の物体がどの物体であるかを特定する。ここで、作業環境には種々の物体が存在しているので、物体の特定では、撮像画像の物体がそのような種々の物体のうちのどの物体かを特定する。通常、撮像
画像中の物体が操作又は作業の対象になるのであり、よって、特定された物体が操作又は作業の対象になる。
前述したように、物体認識用情報OBSは、タグ内の物体ID情報OBに基づいて取得されており、さらに、そのタグから取得される物体ID情報OBは、ロボット1(具体的にはタグリーダライタ4)から一定範囲内にあるタグ(物体)が位置されている場合に、当該一定範囲内にある物体(具体的にはタグ)のタグから得た物体ID情報OBである。
このようなことから、撮像部9により撮像されている物体があり、ロボット1(具体的にはタグリーダライタ4)から一定範囲内にその物体(具体的にはタグ)だけが存在している場合には、当該物体のタグ内の物体ID情報OBに基づいて唯一物体認識用情報OBSを情報サーバ101から取得するようになる。この場合、制御部5は、撮像部9からの撮像画像とその唯一の物体認識用情報OBSの幾何学的形状情報とを用いた認識処理により、撮像画像中の物体を特定することができる。
一方、撮像部9により一つの物体が撮像されているが、ロボット1(具体的にはタグリーダライタ4)から一定範囲内にその撮像されている物体(具体的にはタグ)以外にも複数の物体(具体的にはタグ)が存在している場合には、当該撮像されている物体を含めて複数の物体のタグ内の物体ID情報OBに基づいて、複数の物体認識用情報OBSを情報サーバ101から取得するようになる。この場合、制御部5は、撮像部9からの撮像画像とその複数の物体認識用情報OBSとを用いた認識処理により、撮像画像中の物体を特定することになる。すなわち、制御部5は、撮像画像に対して複数の物体認識用情報OBSを順番でマッチングさせていき、最終的に撮像画像中の物体を特定することになる。
このように、制御部5は、撮像部9からの撮像画像と物体認識用情報OBSとを用いた認識処理により撮像画像中の物体を特定する。
また、前述したように、物体ID情報には、物体の外見的特性であり、かつ少ないデータ量で示すことが可能な情報、例えば物体の色を示す色情報、2次元形状(平面視形状)の情報が含まれている。このようなことから、制御部5は、前述の認識処理に先立って、物体ID情報OBから得た色情報等と撮像部9からの撮像画像とを用いた認識処理を行う。この物体ID情報OBから得た色情報等を用いた認識処理により物体を特定できた場合には、制御部5は、前述の撮像画像と物体認識用情報OBSとを用いた認識処理を行わないようにする。なお、後述するように、物体認識用情報OBSは、作業環境モデルWMの作成に必要な情報であるので、物体ID情報OBに基づいた情報サーバからの物体認識用情報OBSの読み込みは行うようにする。
そして、物体認識用情報OBS又は色情報等で特定した物体501〜506に対する操作や作業をするために、制御部5には、図3に示すように、ロボット1を制御する制御プログラムPGと作業環境モデルWMとが格納されている。
作業環境モデルWMは、物体の操作に必要な情報として構築されている。物体認識用情報OBSは前述したように物体の幾何学的形状を含んでおり、この物体認識用情報OBS内の幾何学的形状に基づいて、物体を操作するための作業環境モデルWMが構築されている。すなわち、物体認識用情報OBSは、物体を認識するための情報を構成するとともに、認識した物体を操作するための情報(物体操作用情報)をも構成しているのである。このようなことから、このように物体認識用情報OBSが物体を操作するための情報として使用されることを前提として、物体認識用情報OBSに、幾何学的形状等の情報の他に、重量等の他の物体固有の情報や、物体に対する操作内容や作業内容を示す情報を含めておいてもよい。ここで、操作内容とは、物体を把持する操作等であり、また、作業内容とは、物体を所定の場所に搬送する等である。例えば、物体を把持する操作情報としては、物体の持ち方、持つ場所の情報が挙げられる。
なお、ここで制御部5が保持している作業環境モデルWMは、予めある程度構築されたデータからなり、物体認識用情報OBSに基づいて完成或いは更新するようなものであってもよい。
制御プログラムPGは、作業計画アルゴリズムにより構築されている。作業計画アルゴリズムは、作業環境モデルWMに基づいてロボット1による作業手順を示す作業計画を作成するためのアルゴリズムからなる。この制御するプログラムPGは、ロボット1が動作するための情報或いはプログラムであり、ロボット1の設計者によって決定或いは設計されて、予め制御部5に格納されている。
制御部5は、制御プログラムPGにより、作業環境モデルWMに基づいてロボット1の作業計画を作成する。ここで、制御プログラムPGによる作業環境モデルWMに基づいたロボット1の作業計画の作成は、例えば従来の作業計画作成技術を活用して行う。すなわち、制御部5は、ロボット1の大きさ、作業環境モデルWMを参照して、ロボット1と物体501〜506との干渉チェックを行う等数理的演算処理行い、作業計画を作成する。作成した作業計画は、作業を実現するために、どのように駆動部6を制御すればよいかを示す情報(行動制御)からなる。制御部5は、例えば、幾何学的形状や重量に基づいて物体501〜506における操作位置(持つ位置等)を決定する。ここで、駆動部6は、移動台車2やアーム3等によって構成されている。
制御部5は、作業計画に基づいて制御信号を駆動部6に出力して、駆動部6を制御する。
これにより、ロボット1は、自律的行動により、移動し、或いは物体501〜506に対する操作や作業を行う。具体的には、ロボット1は、物体501〜506を把持して、所定の場所に搬送する。
また、ロボット1は、場合によっては、物体認識用情報OBSを更新する処理を行う。
ロボット1は作業計画に基づいて自律的行動をするが、ロボット1が現実の物体501〜506とで誤差が生じた動作をしてしまう場合がある。例えば、物体の固有情報が変化する場合がある。例えば、経時的に、物体の形状や重量が変化したりする。このように物体の固有情報が変化した場合でも、情報サーバ101から得た当該物体認識用情報OBSに基づいて作業計画を作成してしまったのでは、ロボット1は、適切な移動や物体501〜506に対して適切な作業ができなくなり、すなわち現実の物体501〜506とで誤差が生じた動作をしてしまう。
このようなことから、ロボット1は、現実の物体501〜506とで誤差を生じた動作を検出した場合、すなわち物体501〜506の形状等の物体501〜506の固有情報の変化を検出した場合、物体認識用情報OBSを更新する。この場合、ネットワーク処理部8により、情報サーバ101にアクセスして、当該情報サーバ101に格納されている物体認識用情報OBSを更新する。この場合、情報の更新は、更新可能な者を限ったり、物体操作用情報OB内の所定の情報部分だけにしたり、一定の制限の下で行われるのが好ましい。また、同時に、制御部5は、自己が保持している物体認識用情報OBSや作業環境モデルWMも更新する。
また、ロボット1が、前記認識処理により特定した物体の情報、例えば物体の位置情報を当該物体のタグに書き込むようにしてもよい。
これにより、ロボット1が物体に対する操作や作業をするような場合、タグに書き込まれている位置情報を用いて行うことができる。ここで、例えば、タグに最初から物体の位置情報を格納しておくことも考えられる。しかし、物体が移動する場合には、現実の物体の位置(最新の位置)とタグ内の位置情報とが異なったものになってしまう。このようなことから、認識処理により特定した物体の位置情報をタグに書き込むようにすることで、ロボット1は、最近の位置情報に基づいて、物体を特定して、当該物体に対する操作や作
業を行うことができる。この場合、ロボット1が絶対位置を認識できる手段を備えていることが前提であり、ロボットは、その手段により位置情報から物体の位置を特定することができる。
また、タグへの位置情報の書き込みについては、物体特定手段としての制御部5が特定した物体の情報である物体の位置情報を、物体情報書き込み手段としてのタグリーダライタ4がタグに書き込んでいることといえる。
例えば、タグへの位置情報の書き込み方としては、当該タグ内に格納されている物体ID情報OBに付加するようにする。これにより、ロボット1は、通常動作として、タグリーダライタ4によりタグ内の物体ID情報OBを読み取りに行くが、この際に、当該物体ID情報OBに位置情報が付加されていることを検出した場合には、この位置情報を優先的に扱うようにする。すなわち、ロボット1は、物体認識用情報OBSを用いた認識処理を行うことなく、位置情報に基づいて物体を特定する。
また、前述したようにタグリーダライタ4がタグ501a〜506aから情報を読み取ることができる距離の範囲は一定であり、また、撮像部9による撮像範囲は一定であるので、ロボット1が物体501〜506に対する操作や作業をする場合には、ロボット1が物体501〜506にある程度近づく必要がある。このようなことから、ロボット1には、作業環境W内でのおおまかな走行経路の情報が基本動作情報として予め格納されており、ロボット1は、この走行経路の情報に基づいて作業環境W内を移動する。例えば、走行経路の情報は、作業環境モデルWMに予め格納されている。なお、ロボット1が予め保持している基本動作情報は、走行経路の情報であることに限定されるものではなく、他の基本動作を示す情報であってもよい。
次に図4を用いて一連の処理手順を示す。
先ず、必要データを作成等する(ステップS1)。具体的には、物体の製造者等が、物体認識用情報OBSを作成し、作成した物体認識用情報OBSを情報サーバ101に格納するとともに、その情報サーバ101に格納した物体認識用情報OBSに情報通信ネットワークNETを介してアクセスするための物体ID情報OB(アドレス情報)を物体501〜506のタグ501a〜506aに書き込む(格納する)。また、ロボット1の設計者が作業計画アルゴリズム(制御プログラムPG)を作成し、その作成した作業計画アルゴリズム(制御プログラムPG)を制御部5に書き込む(格納する)。
続いて、ロボット1は、タグリーダライタ4により、物体501〜506のタグ501a〜506aに書き込まれている物体ID情報OBのアドレス情報を読み込む(ステップS2)。このとき、物体ID情報OBの読み込み対象になるタグは、ロボット1から一定領域内に存在する物体のタグである。
続いて、ロボット1は、アドレス処理部7及びネットワーク処理部8により、アドレス情報に基づいて、情報通信ネットワークNETを介して情報サーバ101から物体認識用情報OBSを読み込む(ステップS3)。
続いて、ロボット1は対象物体を特定する(ステップS4)。図5は、その処理内容を示す。
先ず、制御部5は、撮像部9が得た撮像画像に基づいて、ロボット1本体のおおまかな位置決めを行う(ステップS11)。例えば、制御部5は、撮像部9の焦点が対象物体に合うように、移動台車2を制御してロボット1を移動させる。
続いて、制御部5は、タグリーダライタ4が対象物体の近くに位置されるように、駆動部6のアーム3を駆動させる(ステップS12)。
続いて、制御部5は、情報サーバ101から読み込んだ物体認識用情報OBSに基づいて対象物体を特定する(ステップS13)。具体的には、制御部5は、撮像部9からの撮
像画像と物体認識用情報OBSの幾何学的形状情報とを用いた認識処理により物体を特定する。
このように、ロボット1は、対象物体に近づいていくとともに、撮像部9から得た撮像画像と物体認識用情報OBSとを用いた認識処理により最終的にその物体がなんであるかを特定する。
図6は、このような処理をした際のロボット1の様子を示す。この図6に示すように、ロボット1は、物体501〜506のタグ501a〜506a内のアドレス情報に基づいて情報サーバ101から物体認識用情報OBSを読み込み、その読み込んだ物体認識用情報OBSに基づいて物体を特定する。
このように物体を特定した後、ロボット1は、制御部5により、物体認識用情報OBSに基づいて作業環境モデルWMを作成或いは更新する(ステップS5)。
続いて、ロボット1は、制御部5により、制御プログラム(作業計画アルゴリズム)PGに基づいて、作業環境モデルWMを参照して、作業計画を作成する(ステップS6)。そして、ロボット1は、その作業計画に基づいて自律的に行動する(ステップS7)。ここで、ロボット1は、自律的行動により、移動し、或いは物体に対する操作や作業を行う。
また、ロボット1は、制御部5により、物体認識用情報OBSの更新が必要か否かを判定する(ステップS8)。すなわち、制御部5は、ロボット1が現実の物体とで誤差が生じた動作をしたかを判定する。
ここで、制御部5は、ロボット1が現実の物体とで誤差が生じた動作をした場合、物体認識用情報OBSの更新が必要であるとして、情報サーバ101内の物体認識用情報OBSの更新及び作業環境モデルの更新を行う(ステップS8)。情報サーバ101内の物体認識用情報OBSの更新については、ネットワーク処理部8により、情報サーバ101にアクセスして、所定の記憶領域に記憶されている物体認識用情報OBSを更新する。
一方、制御部5は、ロボット1が現実の物体501〜506とで誤差が生じた動作をしなかった場合、物体認識用情報OBSの更新が必要でないとして、自律的行動に関する処理を終了する。
ここで例として、ロボット1から一定範囲内に複数の物体がある場合を考えてみる。
この場合、タグリーダライタ4は、当該複数の物体のタグそれぞれから物体ID情報OBを読み込むことになる(ステップS2)。この場合、その複数の物体の中には、撮像部9により撮像されている物体もあり、また、撮像部9により撮像されてはいないが、タグの物体ID情報だけが読み込まれている物体もある。
そして、ロボット1は、情報通信ネットワークNETを介して情報サーバ101から各物体ID情報OBに対応する複数の物体認識用情報OBSを読み込む(ステップS3)。そして、ロボット1は、各物体認識用情報OBSによる認識処理により物体を特定する(ステップS4)。ロボット1は、物体を特定した後、物体認識用情報OBSに基づいて作業環境モデルWMを作成或いは更新し(ステップS5)、続いて作業環境モデルWMを参照して、作業計画を作成し(ステップS6)、その作業計画に基づいて自律的に行動する(ステップS7)。
以上の処理或いは動作による効果を説明する。
前述したように、ロボット1は、タグリーダライタ4によりタグ501a〜506aに書き込まれている物体ID情報OBのアドレス情報を読み込み、そのアドレス情報に基づいて、情報サーバ101から物体認識用情報OBSを読み込み、その物体認識用情報OBSと撮像部9の撮像画像とを用いた認識処理により物体を特定している。このように、ロ
ボット1は、最適な物体認識用情報OBSを用いて物体を特定している。
従来のテンプレートマッチングでは、物体認識用情報OBSのようなテンプレートを特定するのに時間がかかり、さらにそのように特定したテンプレートも最適なものかも定かではなかった。
また、例えば、タグに格納されている情報だけで物体を特定しようとしても、タグリーダライタは一定範囲に存在するタグに格納されている情報(物体の形状等の固有情報)を読み込んでいるだけなので、当該タグに付されている物体の位置(ロボットに対する相対位置或いは方向)の特定はできない。その一方で、撮像画像だけで物体を特定しようとしても、前述したような理由から物体を特定することが困難となる。
しかし、タグリーダライタ4(ロボット1)から一定範囲内にある物体(タグ)に対応する数分だけ物体認識用情報OBSを情報サーバ101から読み込んできて、それら物体認識用情報OBSと撮像画像情報とをマッチングさせるだけで物体を特定できるようになる。
このように、ロボット1は、簡単な処理により確実に物体を特定することができる。この結果、ロボット1は、物体に対して最適な操作や作業を行うことができるようになる。
また、前述したように、ロボット1は、情報サーバ101から読み込んだ物体認識用情報(物体操作用情報)OBSに基づいて作業環境モデルMWを作成するとともに、その作業環境モデルMWに基づいて作業計画を生成している。そして、ロボット1は、その作業計画に基づいて物体501〜506に対して、当該物体501〜506に要求されている所望の操作や作業を行っている。
ここで、作業環境モデルMWを作成するための物体認識用情報(物体操作用情報)OBSの作成は、物体501〜506の製造者、その製造者から委託をうけた事業者等の物体501〜506の製造等に携わる者によって行われている。
従来においては、このような物体認識用情報(物体操作用情報)OBSに対応する情報をロボットの行動制御を規定するプログラムの格納時等において、ロボットに予め格納しておく必要があり、さらに、その情報の作成は、ロボットの設計者等のロボットの行動制御を設計する者自身が行っていた。
しかし、ロボットが扱う物体は作業環境に応じて無限に存在し、それをロボットで処理しようと考えた場合、ロボットの設計者等がロボットの作業環境を観察し、それを解釈し、その特徴部分を判断し、さらに、その判断に基づいて作業環境の情報を作成するのは困難である。
これに対して、物体認識用情報(物体操作用情報)OBSの作成は、物体501〜506の製造者、その製造者から委託をうけた事業者等の物体501〜506の製造等に携わる者によって行われている。すなわち、物体501〜506について詳細を知っており、専門知識を有する者が、物体操作用情報OBを作成している。
これにより、ロボットの設計者等に代わって物体501〜506の製造者が物体認識用情報(物体操作用情報)OBSを作成することで、ロボットの設計者等の負担を軽減することができる。さらに、物体について詳細を知っており、専門知識を有する者が物体認識用情報(物体操作用情報)OBSを作成することで、物体の固有情報を正確に示す物体認識用情報(物体操作用情報)OBSを作成することができる。これにより、ロボット1が物体を正確に把持する等、ロボット1が物体を正確に処理できるようになる。
次に、ロボットが複数の物体特定用装置の物体特定結果をも参照して、作業環境に存在する物体を特定するシステムを説明する。
図7は、そのシステムの構成を示す。
このシステムでは、情報通信ネットワークNET上に複数(この例では6台)の物体特定用装置201,202,203,204,205,206を接続して、ロボット1は、これら物体特定用装置201,202,203,204,205,206の物体特定結果をも得て、作業環境に存在する物体501〜506を最終的に特定している。
物体特定用装置201〜206は、ロボット1の環境を監視して監視情報を得る監視装置をなし、図7及び図8に示すように、タグリーダライタ211、撮像部212、アドレス処理部213、ネットワーク処理部214及び処理部215を備えている。この物体特定用装置201〜206は、作業環境の所定位置に固定されて設定されている。
タグリーダライタ211、撮像部212、アドレス処理部213及びネットワーク処理部214は、ロボット1が備えるものと同様な機能を有している。
すなわち、タグリーダライタ211は、無線により物体のタグに対する情報の読み書きを行う。このとき、タグリーダライタ211は一定の領域内に存在するタグ501a〜506a(物体501〜506)に対して情報の読み書きをする。
アドレス処理部213は、タグリーダライタ211によりタグ501a〜506aから読み込んだ物体ID情報OBから、情報サーバ101にアクセスするためのアドレス情報を読み出す。
ネットワーク処理部214は、アドレス処理部211が読み出したアドレス情報のサーバアドレス情報に基づいて、情報通信ネットワークNETを介して情報サーバ101にアクセスする。そして、ネットワーク処理部214は、アドレス情報に基づいて、アクセスした情報サーバ101の所定の記憶領域に記憶されている物体操作用情報OBSを情報通信ネットワークNETを介して読み込む。ネットワーク処理部214は、情報サーバ101から読み込んだ物体認識用情報OBSを処理部215に出力する。
また、ネットワーク処理部214は、種々の情報を情報通信ネットワークNETを介してロボット1に送信するようにも構成されている。
ここで、アドレス処理部213及びネットワーク処理部214は、タグリーダライタ211が読み取った物体ID情報OBに基づいて、情報サーバ101から物体認識用情報OBSを読み込む通信手段(第2の通信手段)を構成している。
撮像部212は、ロボット2の作業環境を撮像するためのものであり、立体視可能に構成されている。撮像部212は、撮像画像を処理部215に出力する。
処理部215は撮像部212からの撮像画像と物体認識用情報OBSの幾何学的形状情報とを用いた物体の認識処理、例えばテンプレートマッチング(この場合、物体認識用情報OBSの幾何学的形状情報はテンプレートをなす。)により、物体501〜506を特定している。
ここで、処理部215は、物体ID情報OBに色情報や2次元形状情報が含まれていることから、これを利用して、ロボット1の制御部5と同様な処理を行う。すなわち、処理部215は、前述の認識処理に先立って、物体ID情報OBから得た色情報等と撮像部212からの撮像画像とを用いた認識処理を行う。この物体ID情報OBから得た色情報等を用いた認識処理により物体を特定できた場合には、処理部215は、撮像画像と物体認識用情報OBSとを用いた認識処理を行わないようにする。
そして、処理部215は、物体認識用情報OBS又は物体ID情報の色情報等に基づいて得た監視結果である物体特定結果を情報通信ネットワークNETを介してロボット1に送信する。具体的には、処理部215は、ネットワーク処理部214に物体特定結果を出力して、ネットワーク処理部214は、その物体特定結果を情報通信ネットワークNETを介してロボット1に送信する。ここで、物体特定用装置201〜206とロボット1と
の間を通信可能に接続する情報通信ネットワークNETは例えばLAN(Local Area Network)によって構成されている。また、物体特定結果は例えば物体の位置情報であり、処理部215は、その物体の位置情報に物体ID情報を添付し、物体特定結果として、ロボット1に送信している。
ここで、処理部215と前記ネットワーク処理部214とは、前記通信手段の機能により読み込んだ物体認識用情報OBSと撮像部212が得た撮像画像とを用いて物体を特定して、その物体特定結果をロボットに送信する送信手段を構成している。
ロボット1は、ネットワーク処理部214により物体特定用装置201〜206からの物体特定結果を受信する。
ロボット1では、制御部5が、情報サーバ101から得た物体認識用情報OBSの幾何学的形状情報と撮像部9からの撮像画像とを用いた物体の認識処理により、作業対象となる物体501〜506を特定している。その一方で、制御部5は、物体特定用装置201〜206の物体特定結果に基づいて物体501〜506を特定する。すなわち、制御部5は、独自に物体501〜506を特定するとともに、物体特定用装置201〜206の物体特定結果に基づく物体501〜506の特定も行う。
次に一連の処理手順を示す。
ロボット1の処理や当該ロボット1と情報サーバ101との間の処理については、前記図4に示した処理内容と同じである。
一方、物体特定用装置201〜206は、図9に示すような処理を行う。
先ず、物体特定用装置201〜206は、タグリーダライタ211により物体501〜506のタグ501a〜506aに書き込まれている物体ID情報OBのアドレス情報を読み込む(ステップS21)。このとき、物体ID情報OBの読み込み対象になるタグは、ロボット1から一定領域内に存在する物体のタグである。
続いて、物体特定用装置201〜206は、アドレス処理部213及びネットワーク処理部214により、アドレス情報に基づいて、情報通信ネットワークNETを介して情報サーバ101から物体認識用情報OBを読み込む(ステップS22)。
続いて、物体特定用装置201〜206は、処理部215により、読み込んだ物体認識用情報OBSに基づいて物体を特定して(ステップS23)、その物体特定結果をロボット1に送信する(ステップS24)。
このような物体特定用装置201〜206の処理に対応して、ロボット1は、図10に示すような処理手順により自律的行動をする。
ロボットが自律的行動をする際の処理手順では、図5と図10とを比較するとわかるように、前記ステップS13の処理に替えて、ステップS31の処理を行うようになっている。
すなわち、ステップS31として、ロボット1の制御部5は、直接情報サーバ101から読み込んだ物体認識用情報OBS及び物体特定用装置201〜206の物体特定結果に基づいて物体を特定する。すなわち、ロボット1は、独自に物体501〜506を特定するとともに、物体特定用装置201〜206の物体特定結果に基づく物体501〜506の特定も行っている。
図11は、このような処理をする際のロボット1の様子を示す。この図11に示すように、ロボット1は、物体501〜506のタグ501a〜506aのアドレス情報に基づいて情報サーバ101から物体認識用情報OBSを読み込み、その読み込んだ物体認識用情報OBSと物体特定用装置201〜206の物体特定結果とに基づいて物体を特定する。
以上の処理或いは動作による効果を説明する。
前述したように、ロボット1は、物体501〜506のタグ501a〜506aのアドレス情報に基づいて情報サーバ101から物体認識用情報OBSを読み込み、その読み込んだ物体認識用情報OBSと物体特定用装置201〜206の物体特定結果とに基づいて対象物体を特定している。すなわち、ロボット1は、自己の物体特定結果を含めて複数の物体特定結果に基づいて最終的に物体を特定している。これにより、ロボット1は、物体を確実に特定することができる。この結果、ロボット1は、物体に対して最適な操作や作業を行うことができるようになる。
例えば、撮像部9による撮像範囲には限界がある。例えば、ロボット1が移動したり、アーム3を動作させてしまうと、当初、撮像部9が物体を確実に撮像していたにもかかわらず、焦点が合わなくなる等して撮像部9により物体を確実に撮像することができなくなる場合がある。このような場合でも、物体特定用装置201〜206の物体特定結果を用いることで、ロボット1は、物体を特定できるようになる。特に、本実施の形態のようにアーム3に撮像部9を備えているような場合、撮像部9の操作性は高くなる或いは撮像範囲が広くなるが、物体を操作等するためにアーム3を動かしてしまうと、撮像部9による撮像状況が変化してしまう。このような場合にも、物体特定用装置201〜206の物体特定結果を用いることで、物体を確実に特定できる。
また、ロボット1は、物体特定用装置201〜206の物体特定情報により、撮像部9により撮像している以外の物体、すなわち作業環境内に存在する全ての物体を特定することができるようになる。
以上、本発明の実施の形態について説明した。しかし、本発明は、前述の実施の形態として実現されることに限定されるものではない。
すなわち、前述の実施の形態では、処理手段が、操作手段としてのアーム3や移動手段としての移動台車2である場合を説明し、さらにその操作内容や作業内容である処理内容を具体的に説明した。しかし、処理手段や処理内容はこれに限定されないことはいうまでもない。
また、前述の実施の形態では、タグ501a〜506aがRFIDである場合を説明した。しかし、これに限定されないことはいうまでもなく、タグ501a〜506aは無線により情報の読み書きができるものであればよい。
また、タグリーダライタ4は、タグ501a〜506aに対して情報の読み書きをできるものであればどのようなものでもよい。また、タグ501a〜506aに対して情報を書き込む必要がない場面では、ロボット1は、タグリーダライタ4に代えて、読み取り専用のタグリーダを備えるようにしてもよい。
また、前述の実施の形態では、物体操作用情報OBが、物体の幾何学的形状、色及び重量の情報を含む場合を説明した。しかし、これに限定されないことはいうまでもない。すなわち例えば、物体操作用情報OBが材質の情報を含んでもよい。
また、物体認識用情報OBSが物体を操作するために必要な情報(物体操作用情報)を示すという側面を考慮して、物体認識用情報OBSは、物体をどのような目的で、どのようにロボットに扱われるかを物体の製造者が期待する内容を示すものであってもよい。また、物体認識用情報OBSの形態は、数値情報、ディジタル情報或いは言語情報として記述可能な形態であればよい。このような記述形態であれば、タグ501a〜506a或いは情報サーバ101〜106に物体認識用情報OBSを書き込むことは、現在の情報工学や計算機工学の技術を活用すれば可能だからである。
また、前述の実施の形態では、物体の認識のために使用する物体認識用情報OBSの形状情報が3次元の幾何学形状情報である場合を説明した。しかし、これに限定されなるも
のではない。前述の物体特定用装置201〜206を用いて物体特定結果を得るようなシステムの場合には、物体認識用情報OBSの形状情報は、2次元形状情報であってもよい。この場合、一の物体について、当該物体を各方向から見て得られる複数種類の2次元形状情報を用意しておく。これにより、物体特定用装置201〜206を作業環境に3次元的に配置しておくことで、それら物体特定用装置201〜206が、2次元形状情報により、物体を特定するとともに、ロボット1も、2次元形状情報により、物体を特定できるようになる。なお、2次元形状情報の場合、物体を特定できない物体特定用装置も出てくると考えられるが、最終的には、ロボット1が、各物体特定用装置201〜206から得られた複数の物体特定結果を確率計算等により評価して、物体を特定するようにする。
例えば、3次元形状情報よりも、2次元形状情報とした方がデータ量を少なくすることができると考えられる。このようなことから、物体認識用情報OBSの形状情報を2次元形状情報とした場合、情報サーバ101では、負荷を減らして物体認識用情報OBSを管理できるようになる。また、ロボット1や物体特定用装置201〜206における認識処理の負荷も減らすことができる。
また、前述の実施の形態では、物体認識用情報OBSが、物体の認識するために必要な情報と、物体を操作するために必要な情報(物体操作用情報)とを構成する場合を説明した。しかし、これに限定されるものではなく、物体の認識するために必要な情報である物体認識用情報OBSとは別に、物体を操作するために必要な情報である物体操作用情報を用意してもよい。この場合、例えば、物体操作用情報は、情報サーバやタグに書き込んでおく。例えば、タグに書き込んでおいた場合、ロボット1は、タグリーダライタ4によりタグからの物体操作用情報を読み出して、その物体操作用情報に基づいて作業環境モデルを作成(完成或いは更新)する。
また、前述の実施の形態では、物体特定用装置201〜206を作業環境Wに固定設置した場合を説明した。しかし、これに限定されるものではない。すなわち、物体特定用装置201〜206は、作業環境Wにおいて移動するものでもよい。例えば、物体特定用装置201〜206は、他のロボット1が備えるものであってもよい。すなわち、他のロボット1のタグリーダライタ4及び撮像部9が、物体特定用装置201〜206のタグリーダライタ211及び撮像部212を構成する。
また、物体特定用装置201〜206は、タグリーダライタ4と撮像部9とを備えることに限定されるものではない。例えば、物体特定用装置201〜206は、タグリーダライタ4又は撮像部9の一方、或いはその他の検出手段を備えていてもよい。ようは、物体特定用装置201〜206は、ロボット1が行う物体の特定を補足するような情報が得られるように構成されてさえいればよい。
例えば、物体特定用装置201〜206がタグリーダライタ4のみを備えている場合を考える。タグリーダライタ4は一定範囲内に存在するタグ内の情報を読み取ることが可能である。このようなことから、物体特定用装置201〜206をある決められた位置に配置したとすれば、物体特定用装置201〜206のタグリーダライタ4によりデータ読み取り可能領域が一定領域であることから、物体特定用装置201〜206のタグリーダライタ4が情報を取得できた場合には、その情報が取得されたタグ(物体)の位置をある程度特定することができる。よって、物体特定用装置201〜206が、物体特定情報として、物体の位置情報と当該物体の物体ID情報OBとをロボット1に送信することで、ロボット1は、その物体特定情報により物体の位置を特定或いは物体を特定することができるようになる。
また、前述の実施の形態では、作業環境に存在する物体の数、物体特定用装置の数を具体的なものとして説明したが、これに限定されないことはいうまでもない。
作業環境で物体に対する操作又は作業をするロボットの様子を示す図である。 タグが装着された物体を示す図である。 前記ロボットの構成を示すブロック図である。 前記ロボットによる処理を含むシステム種々の処理を示すフローチャートである。 前記ロボットが作業対象の物体の位置を特定する処理を示すフローチャートである。 作業対象の物体の位置を特定する際のロボットの様子を示す図である。 前記ロボットが物体特定用装置から認識結果を得るようにしたシステムを示す図である。 前記物体特定用装置の構成を示すブロック図である。 前記物体特定用装置の処理を示すフローチャートである。 前記ロボットが物体特定用装置から認識結果を得るようにしたシステムにおいて、前記ロボットが作業対象の物体の位置を特定する処理を示すフローチャートである。 前記ロボットが物体特定用装置から認識結果を得るようにしたシステムにおいて、作業対象の物体の位置を特定する際のロボットの様子を示す図である。 従来における、ある作業環境におけるロボットの自律的行動による作業の説明に使用した図である。 従来において、ロボットが使用するデータやプログラムを、当該ロボットに格納する方法の説明に使用した図である。
符号の説明
1 ロボット
2 移動台車
3 アーム
4 タグリーダライタ
5 制御部
6 駆動部
7 アドレス帳処理部
8 ネットワーク処理部
9 撮像部
101 情報サーバ
201〜206 物体特定用装置
211 タグリーダライタ
212 撮像部
213 アドレス処理部
214 ネットワーク処理部
215 処理部
501〜506 物体
501a〜506a タグ
510 製品(物体)
510a タグ
OB 物体ID情報
OBS 物体認識用情報
PG 制御プログラム
W 作業環境
WM 作業環境モデル

Claims (6)

  1. 物体を画像認識するために必要な物体認識用情報が記憶されている情報サーバと、前記情報サーバに記憶されている物体処理用情報に基づいて前記物体を特定するロボットと、前記ロボットの環境を監視する監視装置とを備え、
    前記監視装置は、前記ロボットの環境を監視して監視情報を得ており、
    前記ロボットは、周囲を撮像する第1の撮像手段と、前記情報サーバから前記物体認識用情報を読み込むための読み込み用情報を、前記物体に付されている非接触型タグから比接触で読み取る第1のタグリーダと、前記第1のタグリーダが読み取った前記読み込み用情報に基づいて、前記情報サーバから前記物体認識用情報を読み込む第1の通信手段と、前記第1の通信手段が読み込んだ前記物体認識用情報と前記第1の撮像手段が得た撮像画像情報とを用いて前記物体を特定するとともに、その物体の特定に前記監視装置が得た監視情報も用いる物体特定手段とを備えることを特徴とする物体処理システム。
  2. 前記監視装置は、周囲を撮像する第2の撮像手段と、前記物体に付されている非接触型タグから比接触で前記読み込み用情報を読み取る第2のタグリーダと、前記第2のタグリーダが読み取った前記読み込み用情報に基づいて、前記情報サーバから前記物体認識用情報を読み込む第2の通信手段と、前記第2の通信手段が読み込んだ前記物体認識用情報と前記第2の撮像手段が得た撮像画像情報とを用いて前記物体を特定して、その特定結果を前記監視情報として前記ロボットに送信する送信手段とを備えることを特徴とする請求項1記載の物体処理システム。
  3. 前記ロボットは、前記タグに情報を書き込むタグライタと、前記物体特定手段が特定した物体の情報を前記タグライタにより前記タグに書き込む物体情報書き込み手段とを備え、
    前記タグリーダは、前記物体情報書き込み手段が前記タグに書き込んだ前記物体の情報を読み取ることを特徴とする請求項1又は2に記載の物体処理システム。
  4. 物体を画像認識するために必要な物体認識用情報を情報サーバに記憶させ、かつ前記情報サーバから前記物体認識用情報を読み込むための読み込み用情報を、前記物体に付されている非接触型タグに記憶させ、監視装置によりロボットの環境を監視して監視情報を得ており、
    前記ロボットは、撮像手段により周囲の撮像画像情報を取得するとともに、前記非接触型タグからタグリーダにより比接触で前記読み込み用情報を読み取り、その読み取った読み込み用情報に基づいて、前記情報サーバから前記物体処理用情報を読み込み、その読み込んだ物体認識用情報と前記撮像画像情報とを用いて前記物体を特定するとともに、その物体の特定に前記監視情報も用いること
    を特徴とする物体処理方法。
  5. 前記ロボットは、前記特定した物体の情報をタグライタにより前記タグに書き込み、
    前記ロボットは、前記タグに前記物体の情報が書き込まれている場合には、前記タグリーダにより当該物体の情報を読み取ることを特徴とする請求項4記載の物体処理方法。
  6. 情報サーバに記憶されている物体を画像認識するために必要な物体処理用情報及び監視装置がロボットの環境を監視して得た監視情報に基づいて前記物体を特定するロボットであって、
    周囲を撮像する撮像手段と、前記情報サーバから前記物体認識用情報を読み込むための読み込み用情報を、前記物体に付されている非接触型タグから比接触で読み取るタグリーダと、前記タグリーダが読み取った前記読み込み用情報に基づいて、前記情報サーバから前記物体認識用情報を読み込む通信手段と、前記通信手段が読み込んだ前記物体認識用情
    報と前記撮像手段が得た撮像画像情報とを用いて前記物体を特定するとともに、その物体の特定に前記監視情報も用いる物体特定手段とを備えることを特徴とするロボット。
JP2003326715A 2003-09-18 2003-09-18 物体処理システム、物体処理方法及びロボット Pending JP2005088146A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003326715A JP2005088146A (ja) 2003-09-18 2003-09-18 物体処理システム、物体処理方法及びロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003326715A JP2005088146A (ja) 2003-09-18 2003-09-18 物体処理システム、物体処理方法及びロボット

Publications (1)

Publication Number Publication Date
JP2005088146A true JP2005088146A (ja) 2005-04-07

Family

ID=34456818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003326715A Pending JP2005088146A (ja) 2003-09-18 2003-09-18 物体処理システム、物体処理方法及びロボット

Country Status (1)

Country Link
JP (1) JP2005088146A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005279804A (ja) * 2004-03-29 2005-10-13 Advanced Telecommunication Research Institute International 対象物認識装置
JP2006102881A (ja) * 2004-10-06 2006-04-20 Nagasaki Prefecture 把持ロボット装置
JP2007011670A (ja) * 2005-06-30 2007-01-18 Nippon Telegr & Teleph Corp <Ntt> 蓄積システム、icタグ、蓄積装置、複写制御装置、蓄積指示装置、取得制御装置、icタグ情報の蓄積方法及びコンピュータプログラム並びに記録媒体
JP2009034806A (ja) * 2007-07-31 2009-02-19 Ind Technol Res Inst 無線識別技術を電子ロボットの動作系列制御に応用する構造
JP2009110382A (ja) * 2007-10-31 2009-05-21 Saxa Inc 生産システム
US7539563B2 (en) * 2004-11-03 2009-05-26 Samsung Electronics Co., Ltd. System and method for identifying objects in a space
JP2010228064A (ja) * 2009-03-27 2010-10-14 National Institute Of Advanced Industrial Science & Technology 福祉用ロボット装置のロボットアーム操作方法、ロボットアーム操作プログラム、及び、記録媒体
JP2011516283A (ja) * 2009-01-09 2011-05-26 チーユー リン ロボットシステムに教示する方法
JP2020189379A (ja) * 2019-05-22 2020-11-26 オムロン株式会社 作業ロボットおよびその制御方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005279804A (ja) * 2004-03-29 2005-10-13 Advanced Telecommunication Research Institute International 対象物認識装置
JP2006102881A (ja) * 2004-10-06 2006-04-20 Nagasaki Prefecture 把持ロボット装置
US7539563B2 (en) * 2004-11-03 2009-05-26 Samsung Electronics Co., Ltd. System and method for identifying objects in a space
JP2007011670A (ja) * 2005-06-30 2007-01-18 Nippon Telegr & Teleph Corp <Ntt> 蓄積システム、icタグ、蓄積装置、複写制御装置、蓄積指示装置、取得制御装置、icタグ情報の蓄積方法及びコンピュータプログラム並びに記録媒体
JP4633558B2 (ja) * 2005-06-30 2011-02-16 日本電信電話株式会社 蓄積システム、複写制御装置、蓄積指示装置、取得制御装置、icタグ情報の蓄積方法及びコンピュータプログラム並びに記録媒体
JP2009034806A (ja) * 2007-07-31 2009-02-19 Ind Technol Res Inst 無線識別技術を電子ロボットの動作系列制御に応用する構造
JP2009110382A (ja) * 2007-10-31 2009-05-21 Saxa Inc 生産システム
JP2011516283A (ja) * 2009-01-09 2011-05-26 チーユー リン ロボットシステムに教示する方法
JP2010228064A (ja) * 2009-03-27 2010-10-14 National Institute Of Advanced Industrial Science & Technology 福祉用ロボット装置のロボットアーム操作方法、ロボットアーム操作プログラム、及び、記録媒体
JP2020189379A (ja) * 2019-05-22 2020-11-26 オムロン株式会社 作業ロボットおよびその制御方法
JP7310297B2 (ja) 2019-05-22 2023-07-19 オムロン株式会社 作業ロボットおよびその制御方法

Similar Documents

Publication Publication Date Title
WO2018137445A1 (zh) 一种基于ros***的机械臂抓取方法及***
JP6873941B2 (ja) ロボット作業システム、及びロボット作業システムの制御方法
CN110891740B (zh) 用于为远程可控机器人提供机器人操作约束的方法和***
US11741701B2 (en) Autonomous task performance based on visual embeddings
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
CN102802884A (zh) 移动路径搜索装置及移动路径搜索方法
CN110888428B (zh) 移动机器人、远程终端、计算机可读介质、控制***、控制方法
KR20210076090A (ko) 모듈형 로봇을 위한 충돌 방지 안전 조치들
JP6950192B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP2005088146A (ja) 物体処理システム、物体処理方法及びロボット
JP2005088143A (ja) 物体処理システム、物体処理方法及びロボット
US20230330858A1 (en) Fine-grained industrial robotic assemblies
JP2005056213A (ja) 情報提供システム、情報提供サーバ、情報提供方法
JP2004243499A (ja) 生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置
JP5659787B2 (ja) 操作環境モデル構築システム、および操作環境モデル構築方法
JP2005088140A (ja) 物体処理システム、物体処理方法及びロボット
Babu et al. IoT enabled Robots with QR Code based localization
JP2005088137A (ja) ロボット及び物体処理方法
JP6809267B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN111267088A (zh) 一种动作分子的执行方法及装置、设备和存储介质
CN111267086A (zh) 一种动作任务的创建与执行方法及装置、设备和存储介质
CN111267087A (zh) 一种动作分子的生成与执行方法及装置、设备和存储介质
WO2022259600A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP6826375B2 (ja) 部品情報取得システム
Petrou et al. RoboCup Rescue 2015-Robot League Team PANDORA (Greece)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070220