JP4317518B2 - 物品運搬システム - Google Patents

物品運搬システム Download PDF

Info

Publication number
JP4317518B2
JP4317518B2 JP2004361467A JP2004361467A JP4317518B2 JP 4317518 B2 JP4317518 B2 JP 4317518B2 JP 2004361467 A JP2004361467 A JP 2004361467A JP 2004361467 A JP2004361467 A JP 2004361467A JP 4317518 B2 JP4317518 B2 JP 4317518B2
Authority
JP
Japan
Prior art keywords
article
robot
gripping
unit
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004361467A
Other languages
English (en)
Other versions
JP2006167837A (ja
Inventor
太郎 横山
謙一郎 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2004361467A priority Critical patent/JP4317518B2/ja
Priority to US11/301,099 priority patent/US7551978B2/en
Priority to EP05027371.3A priority patent/EP1671758B1/en
Publication of JP2006167837A publication Critical patent/JP2006167837A/ja
Application granted granted Critical
Publication of JP4317518B2 publication Critical patent/JP4317518B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S414/00—Material or article handling
    • Y10S414/135—Associated with semiconductor wafer handling
    • Y10S414/136—Associated with semiconductor wafer handling including wafer orienting means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、自律移動可能なロボットを用いた物品運搬システムに関する。
近年、自律移動可能なロボットに物品を運搬させる試みが行われている。このようなロボットは、物品を運搬する際に、人から物品を受け取る動作や、人に物品を受け渡す動作を行う。そのため、人に違和感を与えることなく物品の受取動作や受渡動作を行う制御が望まれている。
特許文献１に記載のロボット把持制御装置は、物品を把持したロボットが、人に物品を受け渡す際の制御を行うためのものである。
しかしながら、特許文献１に記載のロボット把持制御装置は、主にロボットが把持した物品を人に受け渡す場合を想定した技術であり、ロボットが人から物品を受け取る場合には、ロボットが物品を無理矢理奪っているなどの違和感を人に与えてしまうおそれがあった。
本発明は、前記した問題を解決すべく創案されたものであり、ロボットが人から物品を受け取る際に、人に違和感を与えることなく受取動作を行うことが可能な物品運搬システムを提供することを課題とする。
前記課題を解決するため、本発明の請求項１に記載の発明は、物品を把持する開閉可能な把持部と、前記把持部に作用する外力を検出する外力検出手段と、前記把持部の開度を検出する開度検出手段と、自律移動手段と、を備えたロボットと、物品受取作業における前記ロボットの行動を決定する受取行動決定手段と、を備え、前記把持部により物品の受取を行う物品運搬システムであって、前記受取行動決定手段は、前記把持部が物品を把持していない状態で前記外力検出手段が第一の所定値以上の外力を検出した場合に、前記把持部に受取動作を開始させる受取開始判定手段と、受取動作中において、前記外力検出手段が検出した外力と、前記開度検出手段が検出した開度と、の少なくとも一方に基づいて、物品の受取動作完了を判定する受取動作完了判定手段と、を備え、前記受取動作完了判定手段が受取動作完了と判定した場合に、前記受取行動決定手段が前記把持部に把持力を発生させ、さらに、前記受取行動決定手段が前記把持部に把持力を発生させた後において、物品把持の成否を判定する把持成否判定手段を備え、前記ロボットは、一対の前記把持部を備えており、前記一対の把持部が物品を把持し、前記把持成否判定手段は、前記一対の把持部を近接または離隔させたときに生じる物品からの外力に基づいて把持成否を判定することを特徴とする。
本発明における「開度」とは、把持部の開き具合を示す指標（値）であり、例えば、把持部の指部間の距離、把持部の指部と掌部との角度などである。
人が物品をロボットに渡す際には、人が物品をロボットの把持部に把持可能な状態で押し付ける。外力検出手段は、この物品による外力を検出し、受取開始判定手段は、外力の大きさに基づいて、受取動作開始を判定し、受取動作を開始させる。
そして、人は「ロボットが物品を受け取った」と判断すると、物品を手放すので、外力検出手段で検出される外力が低下する。物品運搬システムは、この外力の低下を利用して、ロボットによる物品の受取動作が完了したか否かを判定する。
また、物品運搬システムは、把持部の開度が小さくなった、すなわち、把持部が所定量以上閉じた場合にも、ロボットによる物品の受取動作が完了したと判定する。
このように、物品運搬システムは、受取動作の開始の可否判定と、受取動作の完了の把握と、を行うことができるので、人に違和感を与えることなく受取動作を行うことができる。
また、受取動作完了後に物品を把持することで、人にロボットが無理矢理物品を奪ったといった感覚を感じさせにくくなる。
さらには、物品の把持の成否を判定することが可能となる。
さらには、両把持部が物品を把持しているか否かを判定することが可能となる。
また、請求項２に記載の発明は、請求項１に記載の物品運搬システムであって、前記受取動作完了判定手段は、前記外力が第二の所定値以下になった場合に、受取動作完了と判定することを特徴とする。
このように、外力に関する第二の所定値を設定し、この値を用いて受取動作完了を判定することで、受取動作完了の判定が容易となる。
また、請求項３に記載の発明は、請求項１または請求項２に記載の物品運搬システムであって、前記受取動作完了判定手段は、前記開度が第三の所定値以下になった場合に、受取動作完了と判定することを特徴とする。
このように、開度に関する第三の所定値を設定し、この値を用いて受取動作完了を判定することで、受取動作完了の判定が容易となる。
また、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の物品運搬システムであって、前記把持成否判定手段は、前記開度が第四の所定値以下である場合に、把持の成否を判定することを特徴とする。
ロボットは、受け取る物品が薄い場合に、物品の把持に失敗してしまうおそれがある。そのため、開度が第四の所定値以下である場合にのみ物品把持の成否を判定することで、物品が厚い場合の把持成否判定を省略することが可能となる。
また、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の物品運搬システムであって、前記把持成否判定手段が把持失敗と判定した場合に、前記受取行動決定手段が、受取動作を再実行させることを特徴とする。
このようにすることで、物品の把持に失敗した場合に、物品の受取を再実行することが可能となる。
また、請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の物品運搬システムであって、前記把持成否判定手段は、前記外力検出手段によって検出された、前記一対の把持部を近接または離隔させたときに生じる物品からの外力が第五の所定値以上の場合に、把持成功と判定し、前記外力検出手段によって検出された、前記一対の把持部を近接または離隔させたときに生じる物品からの外力が第五の所定値未満の場合に、把持失敗と判定することを特徴とする。
また、請求項７に記載の発明は、請求項１から請求項６のいずれか一項に記載の物品運搬システムであって、前記把持部は、掌部と、前記掌部に第一関節を介して連結された第一指部と、前記掌部に第二関節を介して連結された第二指部と、を備え、前記第一指部と前記第二指部とによって物品を把持する構成であり、前記開度検出手段は、前記掌部と前記第一指部とがなす第一指部角度を検出する第一指部角度検出手段と、前記掌部と前記第二指部とがなす第二指部角度を検出する第二指部角度検出手段と、を備えていることを特徴とする。
このようにすることで、簡易な構成で開度の検出が可能となる。
また、請求項８に記載の発明は、請求項１から請求項７のいずれか一項に記載の物品運搬システムであって、前記外力検出手段は、水平方向の外力を検出可能であり、前記受取行動決定手段は、物品からの外力として、前記把持部に作用する水平方向の力を利用することを特徴とする。
このようにすることで、物品の自重による外力の影響を抑え、人との間での物品受取動作による外力を好適に検出し、利用することが可能となる。
また、請求項９に記載の発明は、請求項８に記載の物品運搬システムであって、前記外力検出手段は、６軸力センサであることを特徴とする。
このようにすることで、簡易な構成で水平方向の外力を検出することができる。
また、請求項１０に記載の発明は、請求項１から請求項９のいずれか一項に記載の物品運搬システムであって、さらに、人の位置を特定する人位置特定手段と、特定した人の位置に基づいて、前記ロボットの受取位置を決め、この受取位置に前記ロボットを移動させる受取位置決定手段と、を備えていることを特徴とする。
このように、ロボットが受取動作に好適な位置に移動することで、受取動作に伴う人の負担を軽減することができる。
また、請求項１１に記載の発明は、請求項１から請求項１０のいずれか一項に記載の物品運搬システムであって、さらに、人の身長を特定する身長特定手段と、特定した人の身長に基づいて、ロボットの受取高さを決め、この受取高さに前記把持部を移動させる受取高さ決定手段と、を備えていることを特徴とする。
このように、ロボットが受取動作に好適な高さに把持部を差し出すので、受取動作に伴う人の負担を軽減することができる。
また、請求項１２に記載の発明は、請求項１から請求項１１のいずれか一項に記載の物品運搬システムであって、さらに、タスクの実行命令信号に含まれる、前記ロボットに物品を渡そうとする人に関する情報に基づいて、前記ロボットに物品を渡そうとする人を特定する人特定手段を備えていることを特徴とする。
このようにすることで、ロボットが物品を受け渡す人を間違えることを防ぐことができる。
本発明によれば、人から物品を受け取る際に、人に違和感を与えることなく受取動作を行うことが可能な物品運搬システムを提供することができる。
以下、本発明の実施形態について、本発明の物品運搬システムを、オフィスをタスク実行エリアとし、オフィス内における物品運搬作業に適用したロボット制御システムを例にとり、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
（ロボット制御システムＡの構成）
はじめに、本発明の実施形態に係るロボット制御システムＡについて説明する。図１は、本発明の実施形態に係るロボット制御システムを示すシステム構成図である。
図１に示すように、ロボット制御システムＡは、タスク実行エリアＥＡに配置された１台以上（本実施形態では１台）のロボットＲと、これらロボットＲと無線通信によって接続された基地局（例えば、無線ＬＡＮ）１と、基地局１にルーター２を介して接続されたロボット管理装置（例えば、サーバー）３と、ロボット管理装置３にネットワーク４を介して接続された端末５と、検知対象（人）Ｈが装着した検知用タグＴと、を備えている。
ロボットＲは、タスク実行エリアＥＡに配置されており、タスク実行エリアＥＡ内において自律移動を行い、実行命令信号に基づいてタスク（物品運搬）を実行するものである。なお、このタスク実行エリアＥＡ内には、物品置き場Ｂ１が設けられている。ロボットＲは、物品を受け渡す人を発見できなかった場合などには、物品置き場Ｂ１に物品を置くことができる。
ロボット管理装置３は、後記する端末５から入力されるタスクデータに基づき、ロボットＲにタスクを実行させるため、このタスクの内容を含む実行命令信号を生成し、ロボットＲに出力する。このタスクデータは、ロボットＲに実行させるタスクに関するデータであり、例えば、ロボットＲに物品を渡す人、ロボットＲが物品を渡す人、運搬する物品の種類などを含んでいる。
端末５は、ロボット管理装置３にタスクデータを入力するための入力装置であり、デスクトップ型コンピュータ、ＰＨＳなどである。また、端末５は、ロボットＲから送られた行動報告信号（タスク完了報告信号）を人が確認可能に出力するための出力（表示）装置でもある。
（ロボットＲの構成）
続いて、本発明の実施形態に係るロボットＲについて説明する。以下の説明において、ロボットＲの前後方向にＸ軸、左右方向にＹ軸、上下方向にＺ軸をとる（図２参照）。
本発明の実施形態に係るロボットＲは、自律移動型の２足移動ロボットである。このロボットＲは、ロボット管理装置３から送信された実行命令信号に基づき、タスクを実行するものである。
図２は、図１のロボットの外観を示す模式図である。図２に示すように、ロボットＲは、人間と同じように２本の脚部Ｒ１（１本のみ図示）により起立、移動（歩行、走行など）し、上体部Ｒ２、２本の腕部Ｒ３（１本のみ図示）および頭部Ｒ４を備え、自律して移動する。また、ロボットＲは、これら脚部Ｒ１、上体部Ｒ２、腕部Ｒ３および頭部Ｒ４の動作を制御する制御装置搭載部Ｒ５を背負う形で背中（上体部Ｒ２の後部）に備えている。
（ロボットＲの駆動構造）
続いて、ロボットＲの駆動構造について説明する。図３は、図１のロボットの駆動構造を模式的に示す斜視図である。なお、図３における関節部は、当該関節部を駆動する電動モータにより示されている。
（脚部Ｒ１）
図３に示すように、左右それぞれの脚部Ｒ１は、６個の関節部１１Ｒ（Ｌ）〜１６Ｒ（Ｌ）を備えている。左右１２個の関節は、股部（脚部Ｒ１と上体部Ｒ２との連結部分）の脚部回旋用（Ｚ軸まわり）の股関節部１１Ｒ，１１Ｌ（右側をＲ、左側をＬとする。また、Ｒ，Ｌを付さない場合もある。以下同じ。）、股部のピッチ軸（Ｙ軸）まわりの股関節部１２Ｒ，１２Ｌ、股部のロール軸（Ｘ軸）まわりの股関節部１３Ｒ，１３Ｌ、膝部のピッチ軸（Ｙ軸）まわりの膝関節部１４Ｒ，１４Ｌ、足首のピッチ軸（Ｙ軸）まわりの足首関節部１５Ｒ，１５Ｌ、および、足首のロール軸（Ｘ軸）まわりの足首関節部１６Ｒ，１６Ｌから構成されている。そして、脚部Ｒ１の下には足部１７Ｒ，１７Ｌが取り付けられている。
すなわち、脚部Ｒ１は、股関節部１１Ｒ（Ｌ），１２Ｒ（Ｌ），１３Ｒ（Ｌ）、膝関節部１４Ｒ（Ｌ）および足首関節部１５Ｒ（Ｌ），１６Ｒ（Ｌ）を備えている。股関節部１１Ｒ（Ｌ）〜１３Ｒ（Ｌ）と膝関節部１４Ｒ（Ｌ）とは大腿リンク２１Ｒ，２１Ｌで、膝関節部１４Ｒ（Ｌ）と足首関節部１５Ｒ（Ｌ），１６Ｒ（Ｌ）とは下腿リンク２２Ｒ，２２Ｌで連結されている。
（上体部Ｒ２）
図３に示すように、上体部Ｒ２は、ロボットＲの基体部分であり、脚部Ｒ１、腕部Ｒ２および頭部Ｒ４と連結されている。すなわち、上体部Ｒ２（上体リンク５３）は、股関節部１１Ｒ（Ｌ）〜１３Ｒ（Ｌ）を介して脚部Ｒ１と連結されている。また、上体部Ｒ２は、後記する肩関節部３１Ｒ（Ｌ）〜３３Ｒ（Ｌ）を介して腕部Ｒ３と連結されている。また、上体部Ｒ２は、後記する首関節部４１，４２を介して頭部Ｒ４と連結されている。
また、上体部Ｒ２は、上体回旋用（Ｚ軸まわり）の関節部２１を備えている。
（腕部Ｒ３）
図３に示すように、左右それぞれの腕部Ｒ３は、７個の関節部３１Ｒ（Ｌ）〜３７Ｒ（Ｌ）を備えている。左右１４個の関節部は、肩部（腕部Ｒ３と上体部Ｒ２との連結部分）のピッチ軸（Ｙ軸）まわりの肩関節部３１Ｒ，３１Ｌ、肩部のロール軸（Ｘ軸）まわりの肩関節部３２Ｒ，３２Ｌ、腕部回旋用（Ｚ軸まわり）の肩関節部３３Ｒ，３３Ｌ、肘部のピッチ軸（Ｙ軸）まわりの肘関節部３４Ｒ，３４Ｌ、手首回旋用（Ｚ軸まわり）の腕関節部３５Ｒ，３５Ｌ、手首のピッチ軸（Ｙ軸）まわりの手首関節部３６Ｒ，３６Ｌ、および手首のロール軸（Ｘ軸）まわりの手首関節部３７Ｒ，３７Ｌから構成されている。そして、腕部Ｒ３の先端には把持部（ハンド）７１Ｒ，７１Ｌが取り付けられている。
すなわち、腕部Ｒ３は、肩関節部３１Ｒ（Ｌ），３２Ｒ（Ｌ），３３Ｒ（Ｌ）、肘関節部３４Ｒ（Ｌ）、腕関節部３５Ｒ（Ｌ）および手首関節部３６Ｒ（Ｌ），３７Ｒ（Ｌ）を備えている。肩関節部３１Ｒ（Ｌ）〜３３Ｒ（Ｌ）とは肘関節部３４Ｒ（Ｌ）とは上腕リンク５４Ｒ（Ｌ）で、肘関節部３４Ｒ（Ｌ）と手首関節部３６Ｒ（Ｌ），３７Ｒ（Ｌ）とは前腕リンク５５Ｒ（Ｌ）で連結されている。
（頭部Ｒ４）
図３に示すように、頭部Ｒ４は、首部（頭部Ｒ４と上体部Ｒ２との連結部分）のＹ軸まわりの首関節部４１と、首部のＺ軸まわりの首関節部４２と、を備えている。首関節部４１は頭部Ｒ４のチルト角を設定するためのものであり、首関節部４２は頭部Ｒ４のパンを設定するためのものである。
このような構成により、左右の脚部Ｒ１は合計１２の自由度を与えられ、移動中に１２個の関節部１１Ｒ（Ｌ）〜１６Ｒ（Ｌ）を適宜な角度で駆動することで、脚部Ｒ１に所望の動きを与えることができ、ロボットＲが任意に３次元空間を移動することができる。また、左右の腕部Ｒ３は合計１４の自由度を与えられ、１４個の関節部３１Ｒ（Ｌ）〜３７Ｒ（Ｌ）を適宜な角度で駆動することで、ロボットＲが所望の作業を行うことができる。
また、足首関節部１５Ｒ（Ｌ），１６Ｒ（Ｌ）と足部１７Ｒ（Ｌ）との間には、公知の６軸力センサ６１Ｒ（Ｌ）が設けられている。６軸力センサ６１Ｒ（Ｌ）は、床面からロボットＲに作用する床反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚと、モーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚと、を検出する。
また、手首関節部３６Ｒ（Ｌ），３７Ｒ（Ｌ）と把持部７１Ｒ（Ｌ）との間には、公知の６軸力センサ６２Ｒ（Ｌ）が設けられている。６軸力センサ６２Ｒ（Ｌ）は、ロボットＲの把持部３８Ｒ（Ｌ）に作用する反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚと、モーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚと、を検出する。
また、上体部Ｒ２には、傾斜センサ６３が設けられている。傾斜センサ６３は、上体部Ｒ２の重力軸（Ｚ軸）に対する傾きと、その角速度と、を検出する。
また、各関節部の電動モータは、その出力を減速・増力する減速機（図示せず）を介して前記した大腿リンク５１Ｒ（Ｌ）、下腿リンク５２Ｒ（Ｌ）などを相対変位させる。これら各関節部の角度は、関節角度検出手段（例えば、ロータリエンコーダ）によって検出される。
制御装置搭載部Ｒ５は、後記する自律移動制御部１５０、把持部制御部１６０、無線通信部１７０、主制御部２００、バッテリ（図示せず）などを収納している。各センサ６１〜６３などの検出データは、制御装置搭載部Ｒ５内の各制御部に送られる。また、各電動モータは、各制御部からの駆動指示信号により駆動される。
図４は、図１のロボットを示すブロック図である。図４に示すように、ロボットＲは、脚部Ｒ１、腕部Ｒ２および頭部Ｒ４に加えて、カメラＣ，Ｃ、スピーカＳ、マイクＭＣ，ＭＣ、画像処理部１００、音声処理部１１０、対象検知部１２０、自律移動制御部１５０、把持部制御部１６０、無線通信部１７０、主制御部２００および記憶部３００を備えている。
また、ロボットＲは、ジャイロセンサＳＲ１およびＧＰＳ受信器ＳＲ２を備えている。
ジャイロセンサＳＲ１は、ロボットＲの向きに関するデータ（向きデータ）を検出する。また、ＧＰＳ受信器ＳＲ２は、ロボットＲの位置に関するデータ（位置データ）を検出する。ジャイロセンサＳＲ１およびＧＰＳ受信器ＳＲ２が検出したデータは、主制御部２００に出力され、ロボットＲの行動を決定するために利用されると共に、主制御部２００から無線通信部１７０を介してロボット管理装置３に送信される。
［カメラ］
カメラＣ，Ｃは、映像をデジタルデータとして取り込むことができるものであり、例えばカラーＣＣＤ(Charge-Coupled Device)カメラが使用される。カメラＣ，Ｃは、左右に平行に並んで配置され、撮影した画像は画像処理部１００に出力される。このカメラＣ，Ｃと、スピーカＳおよびマイクＭＣ，ＭＣは、いずれも頭部Ｒ４の内部に配設される。
［画像処理部］
画像処理部１００は、カメラＣ，Ｃが撮影した画像を処理して、撮影された画像からロボットＲの周囲の状況を把握するため、周囲の障害物や人物の認識を行う部分である。この画像処理部１００は、ステレオ処理部１０１、移動体抽出部１０２および顔認識部１０３を備えている。
ステレオ処理部１０１は、左右のカメラＣ，Ｃが撮影した２枚の画像の一方を基準としてパターンマッチングを行い、左右の画像中の対応する各画素の視差を計算して視差画像を生成し、生成した視差画像及び元の画像を移動体抽出部１０２に出力する。なお、この視差は、ロボットＲから撮影された物体までの距離を表すものである。
移動体抽出部１０２は、ステレオ処理部１０１から出力されたデータに基づき、撮影した画像中の移動体を抽出するものである。移動する物体（移動体）を抽出するのは、移動する物体は人物であると推定して、人物の認識をするためである。
移動体の抽出をするために、移動体抽出部１０２は、過去の数フレーム（コマ）の画像を記憶しており、最も新しいフレーム（画像）と、過去のフレーム（画像）を比較して、パターンマッチングを行い、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラＣ，Ｃから所定の距離範囲内で、移動量の多い画素がある場合に、その位置に人物がいると推定し、その所定距離範囲のみの視差画像として、移動体を抽出し、顔認識部１０３へ移動体の画像を出力する。
また、移動体抽出部１０２は、抽出した移動体の高さ、すなわち身長を算出し、顔認識部１０３へ出力する。
すなわち、移動体抽出部１０２は、ロボットＲに対する人の位置を特定することができ、特許請求の範囲における「人位置特定手段」の一例である。
また、移動体抽出部１０２は、人の身長を算出することができ、特許請求の範囲における「身長特定手段」の一例である。
顔認識部１０３は、抽出した移動体から肌色の部分を抽出して、その大きさ、形状などから顔の位置を認識する。なお、同様にして、肌色の領域と、大きさ、形状などから手の位置も認識される。
認識された顔の位置は、ロボットＲが移動するときの情報として、また、その人とのコミュニケーションを取るため、主制御部２００に出力されると共に、無線通信部１７０に出力されて、基地局１を介して、ロボット管理装置３に送信される。
［スピーカ］
スピーカＳは、後記する音声合成部１１１により生成された音声データに基づき、音声を出力する。
［マイク］
マイクＭＣ，ＭＣは、ロボットＲの周囲の音を集音するものである。集音された音は、後記する音声認識部１１２および音源定位部１１３に出力される。
［音声処理部］
音声処理部１１０は、音声合成部１１１、音声認識部１１２および音源定位部１１３を備えている。
音声合成部１１１は、主制御部２００が決定し、出力してきた発話行動の指令に基づき、文字情報から音声データを生成し、スピーカＳに音声を出力する部分である。音声データの生成には、予め記憶している文字情報と音声データとの対応関係を利用する。
音声認識部１１２は、マイクＭＣ，ＭＣから音声データが入力され、予め記憶している音声データと文字情報との対応関係に基づき、音声データから文字情報を生成し、主制御部２００に出力するものである。
音源定位部１１３は、マイクＭＣ，ＭＣ間の音圧差および音の到達時間差に基づいて、音源の位置（ロボットＲからの距離および方向）を特定する。
［対象検知部］
続いて、図４の対象検知部１２０と、検知用タグＴと、について、図５ないし図８を参照して説明する。図５は、図４の対象検知部を示すブロック図である。図６は、図１の検知用タグを示すブロック図である。図７は、対象検知部による探索域を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。図８は、対象検知部による周辺領域のエリア分けを説明するための図である。
対象検知部１２０は、ロボットＲの周囲に検知用タグＴを備える検知対象Ｈが存在するか否かを検知すると共に、検知対象Ｈの存在が検知された場合、当該検知対象Ｈの位置を特定するものである。
図５に示すように、この対象検知部１２０は、制御手段１２１、電波送受信手段１２２、発光手段１２３および記憶手段１２４を備えている。
制御手段１２１は、後記する電波送受信手段１２２から無線送信される検索信号と、後記する発光手段１２３から赤外光として出力される方向検査信号とを生成すると共に、検索信号を受信した検知用タグＴから送信された受信報告信号を基に、検知対象Ｈの位置を特定するものである。
ここで、検索信号とは、ロボットＲの周囲に検知対象Ｈが存在するか否かを検知するための信号であり、方向検査信号とは、検知対象ＨがロボットＲを基準としてどの方向に位置するのかを検知するための信号である。
また、受信報告信号とは、検知用タグＴが、少なくとも検索信号を受信したことを示す信号である。
この制御手段１２１は、データ処理部１２１ａ、暗号化部１２１ｂ、時分割部１２１ｃ、復号化部１２１ｄおよび電界強度検出部１２１ｅを備えている。
データ処理部１２１ａは、検索信号および方向検査信号を生成すると共に、検知対象Ｈの位置を特定するものであり、信号生成部１２１ａ1および位置特定部１２１ａ2を備えている。
信号生成部１２１ａ1は、所定時間毎に、若しくはロボットＲの主制御部２００から電波の発信を命令する信号（発信命令信号）が入力されるたびに、記憶手段１２４を参照して、対象検知部１２０が設けられたロボットＲに固有の識別番号（以下、ロボットＩＤという）を取得する。
そして、信号生成部１２１ａ1は、当該ロボットＩＤと、受信報告要求信号とを含んで構成される検索信号を生成する。
ここで、受信報告要求信号とは、検索信号を受信した検知対象Ｈ（検知用タグＴ）に対して、当該検索信号を受信した旨を示す信号（受信報告信号）を生成するように要求する信号である。
さらに、信号生成部１２１ａ1は、この検索信号を生成する際に、後記する発光手段１２３から赤外線信号として照射される方向検査信号もまた生成する。
方向検査信号は、発光手段１２３に設けられた発光部（ＬＥＤ１〜ＬＥＤ８）の総てについて、個別に生成されるものであり、前記したロボットＩＤと、発光部を特定する識別子（発光部ＩＤ）を含んで構成される。
なお、この方向検査信号は、後記する復号化部１２１ｄから入力される受信報告信号に発光要求信号が含まれている場合にも生成される。
本実施形態の場合、発光部が合計８つ設けられているので、データ処理部１２１ａは、ロボットＩＤと発光部ＩＤとから構成される方向検査信号を、合計８つ生成する。
例えば、ロボットＩＤが「０２」であり、発光部（ＬＥＤ１〜ＬＥＤ８）の発光部ＩＤが「Ｌ１〜Ｌ８」である場合、発光部ＬＥＤ１について生成される方向検索信号は、ロボットＩＤ＝「０２」と、発光部ＩＤ＝「Ｌ１」とを含み、発光部ＬＥＤ２について生成される方向検査信号は、ロボットＩＤ＝「０２」と、発光部ＩＤ＝「Ｌ２」とを含むことになる。
そして、信号生成部１２１ａ1は、方向検査信号と前記した検索信号とを、暗号化部１２１ｂに出力する。
なお、位置特定部１２１ａ2は、検索信号を受信した検知用タグＴから送信された受信報告信号をもとに、検知対象Ｄの位置を特定するものであるが、その際にこの位置特定部１２１ａ2で行われる処理は、復号化部１２１ｄおよび電界強度検出部１２１ｅにおける処理と共に、後に詳細に説明する。
暗号化部１２１ｂは、入力された信号を暗号化した後、出力するものである。そして、暗号化部１２１ｂは、検索信号の暗号化により得られた検索信号（暗号化検索信号）を、後記する電波送受信手段１２２に出力する。
これにより、暗号化検索信号は、変調されたのち、電波送受信手段１２２から無線送信されることになる。
一方、暗号化部１２１ｂは、データ処理部１２１ａから入力された方向検査信号を、同様にして暗号化する。そして、暗号化部１２１ｂは、方向検査信号の暗号化により得られた方向検査信号（暗号化方向検査信号）を、後記する時分割部１２１ｃに出力する。
本実施の形態の場合、方向検査信号は、前記したデータ処理部１２１ａにおいて発光手段１２３の発光部ごとに一つずつ生成される。
よって、図５に示すように、発光手段１２３には合計８つの発光部が設けられているので、暗号化部１２１ｂには、合計８つの方向検査信号がデータ処理部１２１ａから入力される。
その結果、合計８つの暗号化方向検査信号がこの暗号化部１２１ｂにおいて生成され、時分割部１２１ｃに出力されることになる。
時分割部１２１ｃは、発光手段１２３の各発光部（ＬＥＤ１〜ＬＥＤ８）の発光順序と、発光タイミングを設定するものである。
具体的には、暗号化部１２１ｂから暗号化方向検査信号が入力されると、時分割部１２１ｃは、各発光部（ＬＥＤ１〜ＬＥＤ８）の発光順序及び発光タイミングを決定し、決定した発光順序及び発光タイミングで、暗号化方向検査信号を発光手段１２３に出力する。
例えば、発光部ＬＥＤ１、発光部ＬＥＤ４、発光部ＬＥＤ７、発光部ＬＥＤ２、発光部ＬＥＤ５、発光部ＬＥＤ８、発光部ＬＥＤ３、そして発光部ＬＥＤ６の順番で、各発光部を０．５秒間隔で発光させる場合、時分割部８３は、暗号化方向検査信号を０．５秒間隔で、発光部ＬＥＤ１の変調部、発光部ＬＥＤ４の変調部、発光部ＬＥＤ７の変調部、発光部ＬＥＤ２の変調部、発光部ＬＥＤ５の変調部、発光部ＬＥＤ８の変調部、発光部ＬＥＤ３の変調部、そして発光部ＬＥＤ６の変調部という順番で出力する。
本実施の形態の場合、合計８つの暗号化方向検査信号が時分割部１２１ｃに入力される。そして、これら暗号化方向検査信号は、前記したデータ処理部１２１ａにおいて、出力される発光部があらかじめ決められている。
したがって、時分割部１２１ｃは、暗号化方向検査信号が入力されると、暗号化方向検査信号に含まれる発光部ＩＤを確認し、発光部ＩＤにより特定される発光部に隣接する変調部に向けて、決められた順序及びタイミングで、暗号化方向検査信号を出力する。
例えば、発光部（ＬＥＤ１〜ＬＥＤ８）の発光部ＩＤが「Ｌ１〜Ｌ８」で規定される場合、時分割部１２１ｃは、発光部ＩＤが「Ｌ１」である暗号化方向検査信号を、発光部ＬＥＤ１に隣接する変調部に出力し、発光部ＩＤが「Ｌ２」である暗号化方向検査信号を、発光部ＬＥＤ２に隣接する変調部に出力することになる。
発光手段１２３は、ロボットＲを基準として当該ロボットＲの周囲において予め設定された探索域に向けて光を照射するものである。
発光手段１２３は、複数の発光部（ＬＥＤ１〜ＬＥＤ８）と、各発光部に対応させて設けられた変調部と、を備えている。
変調部は、時分割部１２１ｃから入力された暗号化方向検査信号を、所定の変調方式で変調し、変調信号とするものである。
発光部は、変調信号を赤外線信号（赤外光）として、予め決められた探索域に向けて照射するものである。
本実施形態では、検知対象Ｈの位置を特定するために、ロボットＲの周囲の領域が複数の探索域に区分されている（図７（ａ）参照）。そして、この探索域に向けて赤外光を発光する発光部として、発光ダイオードが探索域毎に一つずつ用意されている。
具体的には、図７（ａ）に示す例の場合、ロボットＲを中心として、全周方向、すなわち３６０度方向に、合計８つの探索域Ｄ１〜Ｄ８が設定されている。
言い換えると、ロボットＲを中心として、ほぼ扇形の探索域Ｄ１〜Ｄ８がロボットＲを取り囲むように複数設定されており、ロボットＲは、これら扇形の探索域で囲まれた領域のほぼ中心に位置している。
したがって、図７に示す例の場合、各探索域に向けて赤外光の照射が可能となるように、ロボットＲの頭部Ｒ３には、その外周に沿って合計８つの発光部が、それぞれ対応する探索域に向けて設けられている。
また、図７（ａ）から明らかなように、ロボットＲの正面側の探索域Ｄ１〜Ｄ３は、他の探索域Ｄ４〜Ｄ８に比べて狭くなるように設定されている。
このように探索域Ｄ１〜Ｄ８を設定するのは、ロボットＲが検知対象Ｈを検知し、検知対象Ｈの方向に顔を向ける動作を行う時に、ロボットＲの顔の正面（これを視線の方向という）と、検知対象Ｈの位置とのズレが生じると、ロボットＲの視線が自分の方を向いていないと検知対象Ｈが感じる場合があるという問題を解決するためである。
ここで、この問題を解決する方法の一つとして、探索域の数を多くするという方法が考えられる。しかし、必ずしも全周の探索域の数を増やす必要はなく、前方のみの探索域を増やして、前方側の位置特定を細かくできるようにすることで、検知対象Ｈの位置する方向にロボットＲの視線の方向を向けることができる。また、こうすることにより、発光部の数を少なく構築できる。
そのため、本実施の形態の場合、ロボットＲの正面側の探索域Ｄ１〜Ｄ３の赤外光の照射範囲を狭くすることで、ロボットＲの正面側にある探索域Ｄ１〜Ｄ３内における検知対象Ｈの位置をより正確に特定できるようにしているのである。
これにより、検知対象Ｈが人であり、かつロボットＲのカメラＣ，Ｃで人の顔の撮像を行う場合に、ロボットＲの正面側における検知対象Ｈの位置特定をより正確に行って、ロボットＲの移動制御やカメラＣ，Ｃの画角の調整に反映させることができるので、ロボットＲのカメラＣ，Ｃを、検知対象Ｈである人の顔の正面にきちんと位置させることが可能となる。
図５に示すように、電波送受信手段１２２は、ロボットＲの周辺領域に向けて電波を発信すると共に、当該電波を受信した検知対象Ｈから送信された受信報告信号を受信するものである。
この電波送受信手段１２２は、変調部１２２ａと、復調部１２２ｂと、送受信アンテナ１２２ｃと、を備えている。
変調部１２２ａは、データ処理部１２１ａから入力された検索信号（実際には、暗号化検索信号）を所定の変調方式で変調して変調信号とした後、これを、送受信アンテナ１２２ｃを介して無線送信するものである。
復調部１２２ｂは、検知対象Ｈの検知用タグＴから無線送信された変調信号を、送受信アンテナ１２２ｃを介して受信し、受信した変調信号の復調により、受信報告信号（実際には、暗号化受信報告信号）を取得するものである。
そして、この復調部１２２ｂは、取得した受信報告信号を、制御手段１２１の復号化部１２１ｄと電界強度検出部１２１ｅとに出力するものである。
復号化部１２１ｄは、暗号化された受信報告信号である暗号化受信報告信号を復号化して、受信報告信号を取得し、取得した受信報告信号を、データ処理部１２１ａに出力するものである。
本実施形態の場合、受信報告信号には、後に詳細に説明するが、発光部ＩＤとロボットＩＤとタグ識別番号とが少なくとも含まれているので、復号化部１２１ｄは、これらをデータ処理部１２１ａに出力することになる。
なお、受信報告信号に発光要求信号が含まれていた場合、この発光要求信号もまたデータ処理部１２１ａに出力されることになる。
電界強度検出部１２１ｅは、検知対象Ｈの検知用タグＴから送信された変調信号を電波送受信手段１２２が受信した際に、当該変調信号の強度を求めるものである。
具体的には、電界強度検出部１２１ｅは、電波送受信手段１２２の復調部１２２ｂから入力された、暗号化受信報告信号の電力を検波し、この検波された電力の平均値を電界強度として求め、この求めた電界強度をデータ処理部１２１ａに出力する。
データ処理部１２１ａの位置特定部１２１ａ2は、検知対象Ｈの位置を特定するものである。
具体的には、検知対象Ｈの検知用タグＴから送信された変調信号を電波送受信手段１２２において受信した際の、当該変調信号の電界強度から、ロボットＲから検知対象Ｈまでの距離を求める。さらに、位置特定部１２１ａ2は、受信報告信号に含まれる発光部ＩＤを参照して、検知対象Ｈが受信した光が、どの発光部から発光されたのかを特定し、特定された発光部の発光方向を、すなわち当該発光部に対応する探索域の方向を検知対象Ｈの存在する方向とみなし、検知対象Ｈの位置を特定するものである。
本実施形態の場合、はじめに、位置特定部１２１ａ2は、復号化部１２１ｄから入力された受信報告信号の中からロボットＩＤを取得する。そして取得したロボットＩＤと記憶手段１２４に記憶されたロボットＩＤとを比較し、両ロボットＩＤが一致した場合、位置特定部１２１ａ2は、検知対象Ｈの位置の特定を開始する。
また、本実施形態の場合、図８に示すように、ロボットＲの周辺領域は、ロボットＲからの距離に応じて４つのエリアに区分されている。すなわち、ロボットＲからの距離が短い順に、エリアＤ１１、エリアＤ１２、エリアＤ１３、そしてエリアＤ１４と定義されている。
この各エリアと電界強度とは、電界強度の大きさを基準として予め関連づけられており、この関連づけを示すテーブル（距離テーブル）が、記憶手段１２４に記憶されている。
したがって、位置特定部１２１ａ2は、電界強度検出部１２１ｅから入力された電界強度をもとに、記憶手段１２４に記憶された距離テーブルを参照し、受信報告信号を発信した検知対象Ｈがどのエリアにいるのかを示す情報（エリア情報）を取得する。
例えば、電界強度検出部１２１ｅから入力された電界強度が、エリアＤ１３を規定する閾値間の値である場合、位置特定部１２１ａ2は、エリアＤ１３を示す情報（エリア情報）を取得する。
さらに、位置特定部１２１ａ2は、復号化部１２１ｄから入力された受信報告信号に含まれる発光部ＩＤを参照して、受信報告信号を送信した検知対象Ｈが、ロボットＲの発光手段１２３のどの発光部から発光された光を受信したのかを特定し、特定された発光部の発光方向を示す情報（方向情報）を取得する。
本実施の形態の場合、図７（ａ）に示すように、ロボットＲの周辺領域には、ロボットＲを基準として合計８つの探索域Ｄ１〜Ｄ８が設定されている。
そして、記憶手段１２４には、各発光部がどの探索域に向けて設置されているのかを示すテーブル（方向テーブル）が記憶されている。
したがって、データ処理部１２１ａは、発光部ＩＤをもとに記憶手段１２４に記憶された方向テーブルを参照し、当該発光部ＩＤを持つ発光部から発せられる赤外光が、予め設定された探索域Ｄ１〜Ｄ８のうち、どの領域に照射されるのかを確認する。そして、データ処理部１２１ａは、確認された探索域を示す情報を、検知対象Ｈが存在する方向を示す情報（方向情報）として取得する。
そして、位置特定部１２１ａ2は、取得したエリア情報と方向情報とから検知対象Ｈの位置を示す情報（位置情報）を生成する。
これにより、ロボットＲが受信した受信報告信号の強度と、この受信報告信号に含まれる発光部ＩＤとから、ロボットＲと検知対象Ｈとの位置関係が特定される。言い換えれば、検知対象Ｈが、ロボットＲを基準としてどの方向に、どれだけ離れた位置に存在するのか、すなわち、検知対象Ｈの位置が特定される。
そして、位置特定部１２１ａ2は、位置情報を、復号化部１２１ｄから入力された受信報告信号に含まれるタグ識別番号と共に、ロボットＲの主制御部２００に出力する。
これにより、ロボットＲの主制御部２００は、自律移動制御部１５０を制御して、ロボットＲを検知対象Ｈの正面に移動させることや、検知対象Ｈが人である場合、カメラＣ，Ｃの仰角や向きを修正して、当該検知対象Ｈの顔の撮像を行うことが可能となる。
なお、受信報告信号に発光要求信号が含まれている場合、信号生成部１２１ａ1は方向検査信号を生成し、暗号化部１２１ｂに出力する。これにより、発光手段１２３の各発光部から赤外線信号が発光されることになる。
［検知用タグ］
検知用タグＴは、ロボットＲから送信された電波と、照射された光とを受信し、これらを受信したことを示す受信報告信号を、ロボットＲに送信するものである。
本実施の形態では、検知用タグＴが取り付けられた人が検知対象Ｈであるので、ロボットＲから送信された電波と照射された光は、この検知用タグＴにおいて受信される。よって、この検知用タグＴについて以下に説明する。
図６に示すように、この検知用タグＴは、電波送受信手段１２５と、光受信手段１２６と、受信報告信号生成手段１２７と、記憶手段１２８と、を備えている。
電波送受信手段１２５は、ロボットＲから無線送信された変調信号を受信すると共に、後記する受信報告信号生成手段１２７において生成された受信報告信号を、変調した後、ロボットＲに向けて無線送信するものである。
この電波送受信手段１２５は、送受信アンテナ１２５ａと、復調部１２５ｂと、変調部１２５ｃと、を備えている。
復調部１２５ｂは、ロボットＲから発信されると共に、送受信アンテナ１２５ａを介して受信した変調信号を復調し、検索信号（実際には、暗号化検索信号）を取得し、取得した検索信号を後記する受信報告信号生成手段１２７に出力するものである。
変調部１２５ｃは、後記する受信報告信号生成手段１２７の暗号化部１２７ｃから入力された暗号化後の受信報告信号（暗号化受信報告信号）を変調して変調信号を生成すると共に、当該変調信号を、送受信アンテナ１２５ａを介して、無線送信するものである。
光受信手段１２６は、ロボットＲから照射された赤外光を受光するものである。
この光受信手段１２６は、受光部１２６ａと、光復調部１２６ｂと、を備えている。
受光部１２６ａは、ロボットＲから照射された赤外光（赤外線信号）を直接受光するものである。
光復調部１２６ｂは、受光部１２６ａにおいて受光した赤外線信号を復調して、方向検査信号（実際には、暗号化方向検査信号）を取得するものである。
具体的には、光受信手段１２６は、ロボットＲから照射された赤外光を受光部１２６ａで受光すると、受光した赤外線信号を光復調部１２６ｂにおいて復調して、暗号化方向検査信号を取得する。そして、取得した暗号化方向検査信号を受信報告信号生成手段１２７に出力する。
受信報告信号生成手段１２７は、ロボットＲから発信された検索信号を電波送受信手段１２５で受信した場合、この検索信号に含まれる受信報告要求信号に従って、ロボットＲから発信された検索信号を受信したことを示す信号（受信報告信号）を生成するものである。
この受信報告信号生成手段１２７は、復号化部１２７ａと、データ処理部１２７ｂと、暗号化部１２７ｃと、を備えている。
復号化部１２７ａは、入力された暗号化信号を復号化して、信号を取得するものである。
この復号化部１２７ａは、電波送受信手段１２５から入力された暗号化検索信号と、光受信手段１２６から入力された暗号化方向検査信号とを復号化して、検索信号と方向検査信号とを取得する。そして、復号化部１２７ａは、取得した検索信号と方向検査信号とを後段のデータ処理部１２７ｂに出力する。
データ処理部１２７ｂは、受信報告信号を生成するものである。
ここで、本実施形態の場合、検索信号には、検索信号を発信したロボットＲを特定する識別子であるロボットＩＤと、当該電波を受信した検知対象Ｈに対し、所定の処理を命ずる受信報告要求信号とが含まれている。
また、方向検査信号には、方向検査信号を発信したロボットＲを特定する識別子であるロボットＩＤと、方向検査信号を発信した発光部を特定する発光部ＩＤとが含まれている。
したがって、データ処理部１２７ｂは、検索信号が入力されると、この検索信号に含まれる受信報告要求信号に従って、この検知用タグＴの光受信手段１２６を待機状態から起動状態にする。
そして、光受信手段１２６を起動状態にした後、所定時間経過するまでの間に方向検査信号が入力された場合、データ処理部１２７ｂは、方向検査信号に含まれるロボットＩＤと、検索信号に含まれるロボットＩＤとを比較する。
データ処理部１２７ｂは、両ロボットＩＤが一致した場合、記憶手段１２８を参照し、検知用タグＴに割り当てられた固有の識別番号（タグ識別番号）を取得する。
続いて、データ処理部１２７ｂは、タグ識別番号と、検索信号に含まれていたロボットＩＤと、そして方向検査信号に含まれていた発光部ＩＤとを含んで構成される受信報告信号を生成し、生成した受信報告信号を暗号化部１２７ｃに出力する。
一方、検知用タグＴの光受信手段１２６を起動状態にした後、所定時間経過しても方向検査信号が入力されない場合、または検索信号に含まれていたロボットＩＤと方向検査信号に含まれていたロボットＩＤとが異なる場合、データ処理部１２７ｂは、発光要求信号をさらに含む受信報告信号を生成し、生成した受信報告信号を、暗号化部１２７ｃに出力する。
ここで、発光要求信号とは、検知装置であるロボットＲに対して、赤外光を発光するように命令する信号である。
暗号化部１２７ｃは、入力された受信報告信号を暗号化して、暗号化受信報告信号とした後、これを電波送受信手段１２５に出力する。
これにより、暗号化受信報告信号は、前記した電波送受信手段１２５の変調部１２５ｃにおいて変調された後、送受信アンテナ１２５ａを介して、無線送信されることになる。
［自律移動制御部］
図４に示すように、自律移動制御部１５０は、頭部制御部１５１、腕部制御部１５２および脚部制御部１５３を備えている。
頭部制御部１５１は、主制御部２００の指示に従い頭部Ｒ４を駆動し、腕部制御部１５２は、主制御部２００の指示に従い腕部Ｒ２を駆動し、脚部制御部１５３は、主制御部２００の指示に従い脚部Ｒ１を駆動する。これら自律移動制御部１５０、頭部Ｒ１、腕部Ｒ２および脚部Ｒ１の組み合わせが、特許請求の範囲における「自律移動手段（自律移動装置）」の一例である。
［把持部制御部］
把持部制御部１６０は、主制御部２００の指示に従い把持部７１を駆動する。
［無線通信部］
無線通信部１７０は、ロボット管理装置３とデータの送受信を行う通信装置である。無線通信部１７０は、公衆回線通信装置１７１および無線通信装置１７２を備えている。
公衆回線通信装置１７１は、携帯電話回線やＰＨＳ(Personal Handyphone System)回線などの公衆回線を利用した無線通信手段である。一方、無線通信装置１７２は、IEEE802.11b規格に準拠するワイヤレスＬＡＮなどの、近距離無線通信による無線通信手段である。
無線通信部１７０は、ロボット管理装置３からの接続要求に従い、公衆回線通信装置１７１または無線通信装置１７２を選択してロボット管理装置３とデータ通信を行う。
［把持部］
続いて、ロボットＲの把持部７１Ｒ（Ｌ）について、図９ないし図１１を参照してさらに詳しく説明する。図９は、ロボットの把持部を示す斜視図であり、指開状態を示す図である。図１０は、ロボットの把持部を示す斜視図であり、指閉状態を示す図である。図１１は、ロボットの把持部、開度検出手段および６軸力センサを示すブロック図である。なお、一対の把持部７１Ｒ，７１Ｌは鏡面対称であり、図９および図１０には、左側の把持部７１Ｌが示されている。以下、場合により、Ｒ，Ｌを除いた符号を用いて説明する。
図９および図１０に示すように、把持部７１は、掌部７２と、第一指部７３と、第二指部７４と、を備えている。
掌部７２は、手首関節部３６，３７を介して前腕リンク５５に連結されている（図３参照）。
第一指部７３は、人間の親指に相当する部分であり、第一指関節部７３ａを介して掌部７２の基端側に連結されている。
第二指部７４は、人間の示指、中指、環指、小指に相当する部分であり、第二指関節部７４ａを介して掌部７２の先端側に連結されている。
また、掌部７２内には、第一指部７３を駆動するための第一指部用モータ７３ｂと、第二指部７４を駆動するための第二指部用モータ７４ｂとが内蔵されている。また、掌部７２には、第一指部角度α（第一指部７３と掌部７２との角度）を検出する第一指部角度検出手段８３と、第二指部角度β（第二指部７４と掌部７２との角度）を検出する第二指部角度検出手段８４と、が内蔵されている（図１１参照）。
第一指部角度αは、第一指部７３と掌部７２とがなす角度であり、指開状態から指閉状態に向かって大きくなる。この第一指部角度αは、図９に示す指開状態（把持時全開）でα1、図１０に示す指閉状態（把持時全閉）でα2である（α1≦α≦α2）。
第二指部角度βは、第二指部７４と掌部７２とがなす角度であり、指開状態から指閉状態に向かって大きくなる。この第二指部角度βは、図９に示す指開状態（把持時全開）でβ1（＝０）、図１０に示す指閉状態（把持時全閉）でβ2である（０≦β≦β2）。
ここで、把持部７１の開度に関する数値として、第一指部角度αおよび第二指部角度βに対する把持角度偏差θを以下のように定義する。
θ ＝ （α2−α）＋（β2−β）
すなわち、把持角度偏差θは、把持部７１の全閉状態に対する開き具合（開度）を示す数値であり、指閉状態（把持時全閉）で最小値θmin＝０となり、指開状態（把持時全開）で最大値θmax＝α2＋β2となる。
把持部７１が物品を把持した状態では、指閉状態となる手前の状態で各指部７３，７４が止まるので、把持角度偏差θは正の値をとる。把持角度偏差θは、把持される物品の厚みが大きいほど、その値が大きくなるといった特徴を有している。
また、本実施形態のロボット制御システムＡは、物品により把持部７１に作用する外力を検出する外力検出手段として、６軸力センサ６２を採用している。この６軸力センサ６２は、外力の方向も検出可能である。そのため、物品から把持部７１に作用する外力のうち、Ｘ軸方向の力Ｆｘ、Ｙ軸方向の力Ｆｙ、Ｚ軸方向の力Ｆｚをそれぞれ検出可能である。したがって、物品が重い場合であっても、物品の重力によるＺ軸方向の力を除去し、人が物品を渡そうとしたり、受けとろうとしたことによる外力（本実施形態ではＦｘ）を検出することが可能である。
（主制御部２００および記憶部３００）
続いて、図４の主制御部２００および記憶部３００について、図１２を参照して説明する。図１２は、図４の主制御部および記憶部を示すブロック図である。
（記憶部）
図１２に示すように、記憶部３００は、人データ記憶部３１０、地図データ記憶部３２０、物品データ記憶部３３０および発話データ記憶部３４０を備えている。
人データ記憶部３１０は、タスク実行エリアＥＡであるオフィス内にいる人に関するデータ（人データ）を、それぞれ関連付けて記憶している。
人データとしては、人識別番号（ＩＤ）、名前、所属、タグ識別番号、通常居場所、机位置、顔画像などに関するデータが含まれる。
地図データ記憶部３２０は、タスク実行エリアＥＡの地形（壁位置、机位置など）に関するデータ（地図データ）を記憶している。
物品データ記憶部３３０は、ロボットＲに運搬させる物品に関するデータ（物品データ）を、それぞれ関連付けて記憶している。
物品データとしては、物品識別番号、物品の名称、大きさ、重さなどに関するデータが含まれる。
発話データ記憶部３４０は、ロボットＲが発話するためのデータ（発話データ）を記憶している。
（主制御部）
図１２に示すように、主制御部２００は、行動管理手段２１０、人特定手段２２０、移動行動決定手段２３０、受取行動決定手段２４０および計時手段２５０を備えている。
（行動管理手段）
行動管理手段２１０は、ロボット管理装置３から送信された実行命令信号を取得し、この実行命令信号に基づき、人特定手段２２０、移動行動決定手段２３０および受取行動決定手段２４０を制御する。
また、行動管理手段２１０は、ジャイロセンサＳＲ１によって検出されたロボットＲの向きデータ、ＧＰＳ受信器ＳＲ２によって検出されたロボットＲの位置データなどをロボット管理装置３に出力する。
また、行動管理手段２１０は、ロボットＲのタスク実行状況を報告するための行動報告信号をロボット管理装置３へ向けて出力する。
（人特定手段）
人特定手段２２０は、人データ記憶部３１０に記憶された人情報と、対象検知部１２０によって取得されたタグＴのタグ識別番号と、に基づいて、対象検知部によって検知された人（検知対象）が誰であるかを特定する。人データ記憶部３１０には、その人の名前と、その人固有のタグＴのタグ識別番号とが関連付けて記憶されているので、これらのデータと、実行命令信号とを参照することによって、ロボットＲ近傍にいる人が、タスク実行に関係ある人であるか否かを判定することができる。
さらに、人特定手段２２０は、移動体抽出部１０２で抽出された移動体の位置データと、対象検知部１２０で検知された検知対象の位置データと、に基づいて、カメラＣ，Ｃで撮像された移動体が誰であるかを特定する。
（移動行動決定手段）
移動行動決定手段２３０は、ロボットＲの自律移動の内容を決定するためのものであり、移動経路決定手段２３１および受取位置決定手段２３２を備えている。
移動経路決定手段２３１は、タスク実行命令信号と、ロボットＲの位置データと、ロボットＲの向きデータと、人データと、地図データと、に基づいて、ロボットＲの移動経路を決定する。
受取位置決定手段２３２は、移動体抽出部１０２によって検出された移動体（人）の位置データに基づいて、ロボットＲの受取位置を決定する。また、受取位置決定手段２３２は、移動体抽出部１０２によって検出された移動体（人）の位置データに基づいて、ロボットＲの受渡位置を決定する。
受取位置決定手段２３２が受取位置または受渡位置を決定すると、移動経路決定手段２３１は、この受取位置または受渡位置に移動するように、ロボットＲの移動経路を決定する。この受取位置または受渡位置は、ロボットＲと人との間で物品の受取または受渡が好適に行われる位置であり、予め設定された距離ａ１（図１４参照）を用いて決定される。
（受取行動決定手段）
受取行動決定手段２４０は、物品運搬作業に伴う把持部７１の行動（動作）内容を決定するためのものであり、受取方法決定手段２４１、受取高さ決定手段２４２、受取開始判定手段２４３、受取動作完了判定手段２４４、把持成否判定手段２４５、受渡開始判定手段２４６、受渡完了判定手段２４７、運搬状態設定手段２４８および習熟度判定手段２４９を備えている。
受取方法決定手段２４１は、実行命令信号と、物品データ記憶部３３０に記憶された物品データに基づいて、受取方法を決定する。
本実施形態のロボットＲが選択可能な受取方法としては、片手受取および両手受取の２種類がある。
片手受取は、ロボットＲの一方の把持部７１Ｒ（または７１Ｌ）が物品を受け取る受取方法である。両手受取は、ロボットＲの両方の把持部７１Ｒ，７１Ｌが物品を受け取る受取方法である。受取方法決定手段２４１は、物品データの大きさや重さに基づいて、これら２種類の一方を選択する。例えば、Ａ４サイズの書類など、両手受取可能な大きさの物品を受け取る場合には両手受取とし、両手受取不可能な大きさである小さいサイズの物品を受け取る場合には片手受取とすることが考えられる。
（受取高さ決定手段）
受取高さ決定手段２４２は、移動体抽出部１０２によって算出された人の身長に基づいて、把持部７１の差し出し高さａ３（図１７参照）を決定する。この差し出し高さは、ロボットＲと人との間で物品の受取または受渡が好適に行われる高さであり、算出された身長に基づいて、予め設定された３段階の高さのいずれかを選択する。
そして、受取高さ決定手段２４２は、自律移動制御部１５０を介して、把持部７１を高さａ３に差し出させると共に、人から把持部７１までの距離が距離ａ２となり、さらには、移動体抽出部１０２で算出した人の中心（中心鉛直線）に合わせるように把持部７１を差し出させる（図１６、図１７参照）。
（受取開始判定手段）
受取開始判定手段２４３は、人が物品をロボットＲの受取可能な位置に差し出し、ロボットＲが受取動作を開始可能であるか否かを判定し、受取動作を開始可能であると判定した場合に、把持部７１に受取動作を開始させる。
受取開始判定手段２４３は、把持部７１が物品を把持していない状態、詳しくは、後記する受取待機状態において、６軸力センサ６２が検出するＸ軸方向の力Ｆｘが所定値Ｆｘ１（第一の所定値）以上である場合に、受取動作を開始可能であると判定し、把持部制御部１６０を介して把持部７１を駆動し、指閉動作を行わせる。
これは、ロボットＲに物品を渡そうとする人が、物品を掌部７２に押し付けることを利用した制御である。
（受取動作完了判定手段）
受取動作完了判定手段２４４は、把持部７１が物品の受取中である状態において、受取動作が完了したか否かを判定する。
この受取動作完了判定手段２４４は、６軸力センサ６２が検出するＸ軸方向の力Ｆｘが所定値Ｆｘ２（第二の所定値；Ｆｘ２≦Ｆｘ１）以下となった場合に、受取動作が完了したと判定する。
これは、ロボットＲに物品を渡そうとする人が、ロボットＲが物品を受け取ったと判断して手を離したときに、物品が掌部７２に押し付けられる力が減少することを利用した制御である。
また、受取動作完了判定手段２４４は、受取待機状態において、把持部７１の開度が所定値以下になった場合、すなわち、把持角度偏差θが所定値θ１（第三の所定値）以下になった場合（例えば、θ＝０）に、受取動作が完了したと判定する。
受取動作完了判定手段２４４は、受取動作が完了したと判定した場合に、把持部制御部１６０を介して把持部７１を駆動し、指閉方向にトルクを発生させ、物品を把持させる。
（把持成否判定手段）
把持成否判定手段２４５は、物品の把持が成功したか否かを判定する。
本実施形態において、把持成否判定手段２４５は、両手受取を行った場合において、腕部制御部１５２を介して把持部７１Ｒ，７１Ｌを近接または離隔させる。そして、６軸力センサ６２が検出する物品からの反力Ｆｙに基づいて、把持部７１Ｒ，７１Ｌの両方が物品を把持しているか否かを判定する。
この把持成否判定手段２４５は、物品からの反力Ｆｙが所定値Ｆｙ１（第五の所定値）以上である場合に、把持成功であると判定する。
（受渡開始判定手段）
受渡開始判定手段２４６は、ロボットＲが物品を人の受取可能な位置に差し出した状態で、人が物品を受け取ろうしているか否かを判定し、人が物品を受け取ろうとしていると判定した場合に、把持部７１に受渡動作を開始させる。
受渡開始判定手段２４６は、後記する受渡待機状態において、６軸力センサ６２が検出するＸ軸方向の力Ｆｘが所定値Ｆｘ３以上である場合に、受渡動作を開始可能であると判定し、把持部制御部１６０を介して把持部７１を駆動し、指開動作を行わせる。
これは、ロボットＲから物品を受け取ろうとする人が、物品を引っ張ることを利用した制御である。
また、受渡開始判定手段２４６は、受渡待機状態において、把持部７１の開度が所定値以下になった場合、すなわち、把持角度偏差θが所定値θ２以下になった場合（例えば、θ＝０）に、受渡動作を開始可能であると判定する。
これは、ロボットＲから物品を受け取ろうとする人が物品を引っ張ることによって、物品が把持部７１から取り除かれ、把持部７１が把持トルクによって閉じてしまうことを利用した制御である。
（受渡完了判定手段）
受渡完了判定手段２４７は、後記する受渡中状態において、６軸力センサ６２によって検出されるＸ軸方向の力Ｆｘが所定値Ｆｘ４（Ｆｘ４≦Ｆｘ３）以下となった場合に、受渡動作が完了したと判定する。
これは、人が物品を完全に受け取ることによって、物品により把持部７１に生じる外力Ｆｘが小さくなることを利用した制御である。
（運搬状態設定手段）
運搬状態設定手段２４８は、把持部７１の状態を検出し、設定・更新する。
把持部７１の状態としては、以下のものがある。
１：フリー…物品運搬タスクが依頼されていない状態
２：受取待機…把持部を差し出し、人が物品を受け渡すのを待っている状態
３：受取中…人が物品を受け渡し、物品の受取を行っている状態
４：受取動作完了…人が物品から手を離し、物品がロボット側に渡った（と思われる）状態
５：把持成否判定…ロボットが物品把持の成否を判定する状態
６：受取失敗…ロボットが物品の受取に失敗した状態
７：把持完了…ロボットが物品の受取に成功し、物品を把持した状態
８：受渡待機…把持部を差し出し、人が物品を受け取るのを待っている状態
９：受渡中…人が物品を受け取り、物品の受渡を行っている状態
１０：受渡完了…人が完全に物品を受け取り、物品が人側に渡った状態
１１：エラー…搬送中に物品を落とした状態など
（習熟度判定手段）
習熟度判定手段２４９は、受取動作および受渡動作に関する人の習熟度を判定する。
習熟度判定手段２４９は、主制御部２００内に設けられた時計である計時手段２５０を用いて、受取待機状態から受取中状態に移行するのに要する時間や、受渡待機状態から受渡中状態に移行するのに要する時間を測定する。そして、測定された時間の長さに基づいて、人の習熟度を判定する。ここでは、測定時間の短い方から順に、習熟度高・習熟度中・習熟度低と判定する。
把持部制御部１６０は、この習熟度に基づいて、指閉・指開動作のスピードを設定する。すなわち、ロボットＲが習熟度低と判定された人に対して受取動作または受渡動作を行う場合には、把持部７１に指閉・指開動作を遅く行わせ、人に不安感を与えないようにする。
また、ロボットＲが習熟度高と判定された人に対して受取動作または受渡動作を行う場合には、受取行動決定手段２４０は、把持部７１に指閉・指開動作を速く行わせ、人に煩わしさを感じさせないようにする。
また、受取行動決定手段２４０は、この習熟度に基づいて、発話行動を決定し、発話データに基づいてスピーカＳに発話を行わせる。
（ロボットの動作例）
続いて、本発明の実施形態に係るロボット制御システムＡによるロボットＲの物品運搬動作について説明する。ここでは、ロボットＲが、「人Ｈ１から物品Ｍを受け取り、人Ｈ２に物品Ｍを受け渡す」といったタスクに関する実行命令信号を受けた場合を例にとって説明する。この物品Ｍは、Ａ４サイズの書類であり、ロボットＲが両手把持可能な大きさであるものとする。
（受取位置移動）
まず、ロボットＲの受取位置への移動について説明する。図１３は、本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、受取位置への移動を示すフローチャートである。
まず、ロボットＲは、タスク実行エリアＥＡに設定されたホームポジションで待機している（ステップＳ１）。
ロボットＲが、ロボット管理装置３から送信された実行命令信号を受信すると（ステップＳ２でＹｅｓ）、ロボットＲは、ホームポジションから人Ｈ１の通常居場所（以下、「通常居場所Ｐ１」と記載する。）までの移動を開始する（ステップＳ３）。そして、人Ｈ１の通常居場所Ｐ１に到着すると（ステップＳ４でＹｅｓ）、ロボットＲは移動を中止し、人Ｈ１の探索を開始する（ステップＳ５）。
対象検知部１２０で人Ｈ１のタグ識別番号を検知すると（ステップＳ６でＹｅｓ）、ロボットＲは、カメラＣ，Ｃで人Ｈ１の画像を取得し、（ステップＳ７でＹｅｓ）、図１４に示すように、人Ｈ１の正面に移動する（ステップＳ８）。図１４には、ロボットＲが受取位置決定手段２３２で決定した受取位置に移動した状態が示されている。
なお、対象検知部１２０が、所定時間内に人Ｈ１のタグ識別番号を検知することができなかった場合には（ステップＳ９でＹｅｓ）、ロボットＲは、行動管理手段２１０でタスク実行が不可能である旨を伝える行動報告信号を生成し、ロボット管理装置３へ出力すると共に、ホームポジションに移動する（ステップＳ１０）。
（受取動作）
続いて、ロボットＲの受取動作について説明する。図１５は、本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、受取動作を示すフローチャートである。
受取位置に移動したロボットＲは、図１６および図１７に示すように、受取高さ決定手段２４２で決定した受取高さに、指開状態の把持部７１（７１Ｒ，７１Ｌ）を差し出す（ステップＳ２１）。
図１６および図１７に示すように、ロボットＲは、受取高さ決定手段２４２で決定した高さａ３に把持部７１Ｒ，７１Ｌを差し出すと共に、人Ｈ１から把持部７１Ｒ，７１Ｌまでの距離が、距離ａ２となるように把持部７１Ｒ，７１Ｌを差し出す。さらに、ロボットＲは、把持部７１Ｒ，７１Ｌの差し出し方向を、移動体抽出部１０２で算出した人Ｈ１の中心（中心鉛直線）に合わせる。
把持部７１Ｒ，７１Ｌの差し出しが完了すると、運搬状態設定手段２４８が運搬状態を「受取待機」と設定すると共に、ロボットＲが、「物品Ｍをお渡しください」と発話する（ステップＳ２２）。
受取待機状態において、ロボットＲが６軸力センサ６２Ｒ，６２ＬでＦｘ１以上の外力Ｆｘを検出すると（ステップ２３でＹｅｓ）、運搬状態設定手段２４８が運搬状態を「受取中」と設定すると共に、ロボットＲが把持部７１Ｒ，７１Ｌを閉じ始める（ステップＳ２４）。図１８には、ロボットＲが物品Ｍの受取を開始した状態が示されている。
そして、受取中状態において、ロボットＲが６軸力センサ６２Ｒ，６２Ｌで検出する力ＦｘがＦｘ２以下となるか、または、把持角度偏差θがθ１以下となると（ステップＳ２５でＹｅｓ）、運搬状態設定手段２４８が運搬状態を「受取動作完了」と設定すると共に、図１９に示すように、把持部７１Ｒ，７１Ｌが物品Ｍを把持する。
続いて、把持成否判定手段２４５が、把持部７１Ｒ，７１Ｌの開度を判定する（ステップＳ２７）。
把持部７１Ｒ，７１Ｌの両方の開度、すなわち把持角度偏差θが所定値θ３（第四の所定値）以上（条件Ｄ１）である場合には、物品Ｍが厚く、把持部７１Ｒ，７１Ｌの両方が物品Ｍを把持したものと判定し、運搬状態設定手段２４８が運搬状態を「把持完了」と設定する（ステップＳ２８）。
把持部７１Ｒ，７１Ｌの少なくとも一方の把持角度偏差θが所定値θ３未満（条件Ｄ２）である場合には、運搬状態設定手段２４８が運搬状態を「把持正否判定」と設定すると共に（ステップＳ２９）、把持成否判定手段２４５が、把持の成否を判定する（ステップＳ３０）。
詳しくは、ロボットＲは、把持部７１Ｒ，７１Ｌを近接または離隔させ、６軸力センサ６２Ｒ，６２Ｌで物品Ｍから作用する反力Ｆｙを検出する。把持成否判定手段２４５は、反力Ｆｙが所定値Ｆｙ１以上である場合（条件Ｄ３）に、把持成功であると判定し、運搬状態設定手段２４８が運搬状態を「受取動作完了」と設定すると共に、把持部７１Ｒ，７１Ｌが物品Ｍを把持する。
また、把持成否判定手段２４５は、反力Ｆｙが所定地Ｆｙ１未満である場合（条件Ｄ４）に、把持失敗であると判定し、運搬状態設定手段２４８が運搬状態を「受取失敗」と設定する。
ここで、図２０を参照して、把持成否判定について説明する。
図２０（ａ）に示すように、把持部７１Ｒ，７１Ｌの両方が物品Ｍを把持している場合には、把持部７１Ｒ，７１Ｌを近接させると物品Ｍによる反力Ｆｙ（所定値Ｆｙ１以上）が生じる。
図２０（ｂ）に示すように、把持部７１Ｒ，７１Ｌの一方（ここでは把持部７１Ｒ）のみが物品Ｍを把持している場合には、把持部７１Ｒ，７１Ｌを近接させても物品Ｍによる反力Ｆｙはごく小さい値（所定値Ｆｙ２以上、かつ、所定値Ｆｙ１よりも小さい。Ｆｙ２≦Ｆｙ＜Ｆｙ１）となる。
図２０（ｃ）に示すように、把持部７１Ｒ，７１Ｌの両方が物品Ｍを把持していない場合には、把持部７１Ｒ，７１Ｌを近接させても物品Ｍによる反力Ｆｙは生じない（Ｆｙ＝０）。
したがって、反力Ｆｙが所定値Ｆｙ１以上である場合に、把持成否判定手段２４５が、把持成功であると判定することで、ロボットＲが両手（把持部７１Ｒ，７１Ｌ）で物品を把持している否かを判定することができる。
（受け直し準備）
続いて、ロボットＲの受け直し準備について説明する。図２１は、本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、物品の受け直し準備を示すフローチャートである。
把持成否判定手段２４５が把持失敗であると判定すると（ステップＳ２９で条件Ｄ４）、運搬状態設定手段２４８が把持部状態を「受取失敗」と設定し（ステップＳ４１）、把持成否判定手段２４５が、把持部７１Ｒ，７１Ｌの状態を判定する（ステップＳ４２）。把持成否判定動作において、６軸力センサ６２Ｒ，６２Ｌの少なくとも一方が所定値Ｆｙ２以上の外力Ｆｙを検出している場合には（ステップＳ４２で条件Ｄ５）、運搬状態設定手段２４８が運搬状態を「受渡待機」と設定し、ロボットＲが、「物品Ｍを受け取って、再度お渡しください」と発話する（ステップＳ４３）。
そして、ロボットＲが、６軸力センサ６２Ｒ，６２Ｌのうち、物品Ｍを把持している方で所定値Ｆｘ５以上の外力Ｆｘを検出すると（ステップＳ４４でＹｅｓ）、運搬状態設定手段２４８が運搬状態を「受渡中」と設定すると共に、把持部７１Ｒ，７１Ｌが開放される（ステップＳ４５）。その後、ステップＳ２２に移行し、受取動作を再実行する。
なお、ステップＳ４２で、把持成否判定動作において、把持部７１Ｒ，７１Ｌの把持部角度偏差θが所定値θ４以下である場合（例えば、θ＝０）には（条件Ｄ６）、ロボットＲが、「物品Ｍを再度お渡しください」と発話し、把持部７１Ｒ，７１Ｌが開放される（ステップＳ４５）。その後、ステップＳ２２に移行し、受取動作を再実行する。
（運搬移動）
続いて、ロボットＲの物品運搬移動について説明する。図２２は、本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、物品の運搬移動を示すフローチャートである。
ステップＳ２８において、物品把持完了となると、ロボットＲは、把持部７１Ｒ，７１Ｌを、カメラＣ，Ｃによる撮像領域Ｄ２１から外れた位置（死角）に移動させる（図２３参照）（ステップＳ６１）。これは、把持された物品ＭがカメラＣ，Ｃの視野を塞ぐことを防ぐためである。
そして、ロボットＲは、受取位置から、人Ｈ２の通常居場所（以下、「通常居場所Ｐ２」と記載する。）までの移動を開始する（ステップＳ６２）。そして、人Ｈ２の通常居場所Ｐ２に到着すると（ステップＳ６３でＹｅｓ）、ロボットＲは移動を中止し、人Ｈ２の探索を開始する（ステップＳ６４）。
対象検知部１２０で人Ｈ２のタグ識別番号を検知すると（ステップＳ６５でＹｅｓ）、ロボットＲは、カメラＣ，Ｃで人Ｈ２の画像を取得し（ステップＳ６６でＹｅｓ）、人Ｈ２の正面に移動する（ステップＳ６７）。
なお、対象検知部１２０が、所定時間に人Ｈ２のタグ識別番号を検知することができなかった場合には（ステップＳ６８でＹｅｓ）、ロボットＲは、物品Ｍをタスク実行エリアＥＡ内に設けられた物品置き場Ｂ１（図１参照）へと運搬することになる。
（受渡動作）
続いて、ロボットＲの受渡動作について説明する。図２４は、本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、受渡動作を示すフローチャートである。
受渡位置に移動したロボットＲは、図２５および図２６に示すように、受取高さ決定手段２４２で決定した受渡高さに、物品Ｍを把持した把持部７１（７１Ｒ，７１Ｌ）を差し出す（ステップＳ８１）。
把持部７１Ｒ，７１Ｌの差し出しが完了すると、運搬状態設定手段２４８が運搬状態を「受渡待機」と設定すると共に、ロボットＲが、「物品Ｍをお受け取りください」と発話する（ステップＳ８２）。
受渡待機状態において、ロボットＲが６軸力センサ６２Ｒ，６２Ｌで所定値Ｆｘ３以上の外力Ｆｘを検出するか、または、把持角度偏差θが所定値θ２以下（例えば、θ＝０）となった場合には（ステップＳ８３でＹｅｓ）、運搬状態設定手段２４８が運搬状態を「受渡中」と設定すると共に、ロボットＲが把持部７１Ｒ，７１Ｌを開きはじめる（ステップＳ８４）。図２７には、人Ｈ２がロボットＲから物品Ｍを受け取ろうとする状態が示されている。
そして、受渡中状態において、ロボットＲが６軸力センサ６２Ｒ，６２Ｌで検出する力Ｆｘが所定値Ｆｘ４（Ｆｘ４≦Ｆｘ３）以下となると（ステップＳ８５でＹｅｓ）、運搬状態設定手段２４８が運搬状態を「受渡完了」と設定する（ステップＳ８６）。
物品Ｍの受渡が完了すると、ロボットＲは、行動管理手段２１０でタスク実行終了を伝える行動報告信号を生成し、ロボット管理装置３へ出力する（ステップＳ８７）。
そして、ロボットＲは、受渡位置からホームポジションまでの移動を行う（ステップＳ８８）。
なお、運搬移動中において、ロボットＲが物品Ｍを落とした場合には、運搬状態設定手段２４８が運搬状態を「エラー」と設定すると共に、行動管理手段２１０が運搬失敗を伝える行動報告信号を生成し、ロボット管理装置３へ出力する。
本実施形態では、把持角度偏差θが所定値θ５以下となった場合に（例えば、θ＝０）、受取行動決定手段２４０が、ロボットＲが物品Ｍを落としたと判定する。
また、運搬移動中において、６軸力センサ６２で検出する力Ｆｘが大きく変化した場合（例、物品Ｍが障害物にぶつかっている）には、ロボットＲは、自律移動を一時停止し、Ｆｘが通常値に戻るのを待つ。
同様に、運搬移動中において、カメラＣ，Ｃで前方に障害物を検出した場合（例、人がロボットの前を横切る）にも、ロボットＲは、自律移動を一時停止し、障害物が前方からなくなるのを待つ。
（物品置き場移動）
続いて、ロボットＲの物品置き場Ｂ１への移動について説明する。図２８は、本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、物品置き場への移動を示すフローチャートである。
ロボットＲが、所定時間に人Ｈ２の探索ができなかった場合には（ステップＳ６８でＹｅｓ）、ロボットＲは、人Ｈ２の通常居場所Ｐ２から物品置き場Ｂ１への移動を行う（ステップＳ１０１）。
そして、ロボットＲは、物品置き場Ｂ１に物品Ｍを置くと共に（ステップＳ１０２）、物品Ｍを物品置き場Ｂ１に置いた旨を伝える行動報告信号を生成し、ロボット管理装置３および人Ｈ２専用の端末５へ出力する（ステップＳ１０３）。そして、ロボットＲは物品置き場Ｂ１からホームポジションまでの移動を行う（ステップＳ１０４）。
本発明の実施形態に係るロボット制御システムによると、以下のような効果がある。
（１）受取中状態において、人が物品から手を離し、物品を把持部に押し付ける力が弱まることを検出し、物品の受取が完了したことを判定することができる。そして、ロボットが物品の受取完了後に把持トルクを生成して物品を把持するので、人は物品を無理矢理奪い取られた感じを受けにくくなる。
（２）ロボットが、受取（受渡）待機から受取（受渡）開始までの時間によって、人の物品受取（受渡）動作の習熟度を判定し、この習熟度に基づいた受取（受渡）動作を行う。したがって、習熟度の低い人にはゆっくり、習熟度の高い人には迅速に、といった受取（受渡）動作の使い分けが可能である。
（３）両手受取において、ロボットが、両把持部で物品を把持しているか否かを判定することによって、物品が軽量、薄い場合であっても、把持成否の確認が可能となる。また、把持失敗の場合であっても、物品の受け直し（受取動作の再実行）が可能である。
（４）ロボットが、人の位置、身長に応じた動作を行うので、人の負担を減らし、より自然な感じの受取動作および受渡動作が可能となる。すなわち、ロボットが人に合わせた動作を行うことによって、人がロボットの動作に合わせることによる負担が減少している。
（５）ロボットが、物品による外力のうち、水平方向の力を利用して受取動作および受渡動作を制御するので、人の動作による外力と、物品の自重による外力と、を分けて検出することができ、物品の自重による誤作動防止することができる。
以上、本発明の実施形態について説明したが、本発明は前記した実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、物品運搬中において、ロボットが物品を落としたか否かを判定するのに、６軸力センサによって検出されるＺ軸方向の外力Ｆｚを利用してもよい。これは、ロボットが物品を落とした場合には、６軸力センサは物品の荷重を検知しなくなり、Ｆｚが低下するからである。
また、ロボットの各関節部の数・配置なども適宜設計変更可能である。
また、本実施形態では、受取行動決定手段、人位置特定手段、受取位置決定手段、身長特定手段、受取高さ決定手段および人特定手段を、ロボットに組み込まれた各制御部内に設ける構成としたが、これら各手段のうちの少なくとも一つを、ロボット管理装置側に設ける構成であってもよい。
本発明の実施形態に係るロボット制御システムを示すシステム構成図である。 図１のロボットの外観を示す側面図である。 図１のロボットの内部構造を模式的に示す斜視図である。 図１のロボットを示すブロック図である。 図４の対象検知部を示すブロック図である。 図１の検知用タグを示すブロック図である。 対象検知部による探索領域を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。 対象検知部による周辺領域のエリア分けを説明するための図である。 ロボットの把持部を示す斜視図であり、指開状態を示す図である。 ロボットの把持部を示す斜視図であり、指閉状態を示す図である。 ロボットの把持部、開度検出手段および外力検出手段を示すブロック図である。 図２の主制御部および記憶部を示すブロック図である。 本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、受取位置への移動を示すフローチャートである。 ロボットが受取位置に移動した状態を示す図である。 本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、受取動作を示すフローチャートである。 ロボットが受取高さに把持部を差し出した状態を示す図である。 ロボットが受取高さに把持部を差し出した状態を示す図である。 ロボットが物品の受取を開始した状態を示す図である。 ロボットが物品の受取を完了した状態を示す図である。 把持成否判定を説明するための図であり、（ａ）は把持成功状態を示す図、（ｂ）および（ｃ）は把持失敗状態を示す図である。 本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、物品の受け直し準備を示すフローチャートである。 本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、運搬移動を示すフローチャートである。 ロボットが物品を運搬している状態を示す図である。 本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、受渡動作を示すフローチャートである。 ロボットが受渡位置に移動し、受渡高さに把持部を差し出した状態を示す図である。 ロボットが受渡位置に移動し、受渡高さに把持部を差し出した状態を示す図である。 ロボットが物品の受渡を開始した状態を示す図である。 本発明の実施形態に係るロボット制御システムによる物品運搬作業を示すフローチャートであり、物品置き場への移動を示すフローチャートである。
符号の説明
３ ロボット管理装置
６２，６２Ｌ，６２Ｒ ６軸力センサ（外力検出手段）
７１，７１Ｌ，７１Ｒ 把持部
８１，８１Ｌ，８１Ｒ 開度検出手段
８３ 第一指部角度検出手段
８４ 第二指部角度検出手段
１０２ 移動体抽出部（人位置特定手段、身長特定手段）
２２０ 人特定手段
２３２ 受取位置決定手段
２４０ 受取行動決定手段
２４２ 受取高さ決定手段
２４３ 受取開始判定手段
２４４ 受取動作完了判定手段
２４５ 把持成否判定手段
２４６ 受渡開始判定手段
２４７ 受渡完了判定手段
Ａ ロボット制御システム
Ｒ ロボット（物品運搬システム）

Claims (12)

  1. 物品を把持する開閉可能な把持部と、前記把持部に作用する外力を検出する外力検出手段と、前記把持部の開度を検出する開度検出手段と、自律移動手段と、を備えたロボットと、
    物品受取作業における前記ロボットの行動を決定する受取行動決定手段と、
    を備え、前記把持部により物品の受取を行う物品運搬システムであって、
    前記受取行動決定手段は、
    前記把持部が物品を把持していない状態で前記外力検出手段が第一の所定値以上の外力を検出した場合に、前記把持部に受取動作を開始させる受取開始判定手段と、
    受取動作中において、前記外力検出手段が検出した外力と、前記開度検出手段が検出した開度と、の少なくとも一方に基づいて、物品の受取動作完了を判定する受取動作完了判定手段と、
    を備え、
    前記受取動作完了判定手段が受取動作完了と判定した場合に、前記受取行動決定手段が前記把持部に把持力を発生させ、
    さらに、前記受取行動決定手段が前記把持部に把持力を発生させた後において、物品把持の成否を判定する把持成否判定手段を備え、
    前記ロボットは、一対の前記把持部を備えており、
    前記一対の把持部が物品を把持し、
    前記把持成否判定手段は、前記一対の把持部を近接または離隔させたときに生じる物品からの外力に基づいて把持成否を判定する
    ことを特徴とする物品運搬システム。
  2. 前記受取動作完了判定手段は、前記外力が第二の所定値以下になった場合に、受取動作完了と判定する
    ことを特徴とする請求項１に記載の物品運搬システム。
  3. 前記受取動作完了判定手段は、前記開度が第三の所定値以下になった場合に、受取動作完了と判定する
    ことを特徴とする請求項１または請求項２に記載の物品運搬システム。
  4. 前記把持成否判定手段は、前記開度が第四の所定値以下である場合に、把持の成否を判定する
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の物品運搬システム。
  5. 前記把持成否判定手段が把持失敗と判定した場合に、前記受取行動決定手段が、受取動作を再実行させる
    ことを特徴とする請求項１から請求項４のいずれか一項に記載の物品運搬システム。
  6. 前記把持成否判定手段は、
    前記外力検出手段によって検出された、前記一対の把持部を近接または離隔させたときに生じる物品からの外力が第五の所定値以上の場合に、把持成功と判定し、
    前記外力検出手段によって検出された、前記一対の把持部を近接または離隔させたときに生じる物品からの外力が第五の所定値未満の場合に、把持失敗と判定する
    ことを特徴とする請求項１から請求項５のいずれか一項に記載の物品運搬システム。
  7. 前記把持部は、掌部と、前記掌部に第一関節を介して連結された第一指部と、前記掌部に第二関節を介して連結された第二指部と、を備え、前記第一指部と前記第二指部とによって物品を把持する構成であり、
    前記開度検出手段は、前記掌部と前記第一指部とがなす第一指部角度を検出する第一指部角度検出手段と、前記掌部と前記第二指部とがなす第二指部角度を検出する第二指部角度検出手段と、を備えている
    ことを特徴とする請求項１から請求項６のいずれか一項に記載の物品運搬システム。
  8. 前記外力検出手段は、水平方向の外力を検出可能であり、
    前記受取行動決定手段は、物品からの外力として、前記把持部に作用する水平方向の力を利用する
    ことを特徴とする請求項１から請求項７のいずれか一項に記載の物品運搬システム。
  9. 前記外力検出手段は、６軸力センサである
    ことを特徴とする請求項８に記載の物品運搬システム。
  10. さらに、人の位置を特定する人位置特定手段と、
    特定した人の位置に基づいて、前記ロボットの受取位置を決め、この受取位置に前記ロボットを移動させる受取位置決定手段と、
    を備えていることを特徴とする請求項１から請求項９のいずれか一項に記載の物品運搬システム。
  11. さらに、人の身長を特定する身長特定手段と、
    特定した人の身長に基づいて、ロボットの受取高さを決め、この受取高さに前記把持部を移動させる受取高さ決定手段と、
    を備えていることを特徴とする請求項１から請求項１０のいずれか一項に記載の物品運搬システム。
  12. タスクの実行命令信号に含まれる、前記ロボットに物品を渡そうとする人に関する情報に基づいて、前記ロボットに物品を渡そうとする人を特定する人特定手段を備えている
    ことを特徴とする請求項１から請求項１１のいずれか一項に記載の物品運搬システム。
JP2004361467A 2004-12-14 2004-12-14 物品運搬システム Expired - Fee Related JP4317518B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004361467A JP4317518B2 (ja) 2004-12-14 2004-12-14 物品運搬システム
US11/301,099 US7551978B2 (en) 2004-12-14 2005-12-13 System for carrying an item
EP05027371.3A EP1671758B1 (en) 2004-12-14 2005-12-14 Robot system for carrying an item with receiving / passing motion deciding means based on external force detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004361467A JP4317518B2 (ja) 2004-12-14 2004-12-14 物品運搬システム

Publications (2)

Publication Number Publication Date
JP2006167837A JP2006167837A (ja) 2006-06-29
JP4317518B2 true JP4317518B2 (ja) 2009-08-19

Family

ID=36071957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004361467A Expired - Fee Related JP4317518B2 (ja) 2004-12-14 2004-12-14 物品運搬システム

Country Status (3)

Country Link
US (1) US7551978B2 (ja)
EP (1) EP1671758B1 (ja)
JP (1) JP4317518B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4456561B2 (ja) 2005-12-12 2010-04-28 本田技研工業株式会社 自律移動ロボット
US8260463B2 (en) * 2006-02-02 2012-09-04 Kabushiki Kaisha Yaskawa Denki Robot system
JP4316630B2 (ja) * 2007-03-29 2009-08-19 本田技研工業株式会社 ロボット、ロボットの制御方法およびロボットの制御プログラム
DE102008029693A1 (de) * 2008-06-24 2009-12-31 Karl-Heinz Bosch Vorrichtung zur Verteilung von Schriftstücken und/oder Kleinteilen und/oder zur Wegweisung
US9527207B2 (en) * 2011-03-23 2016-12-27 Sri International Dexterous telemanipulator system
US8676425B2 (en) * 2011-11-02 2014-03-18 Harvest Automation, Inc. Methods and systems for maintenance and other processing of container-grown plants using autonomous mobile robots
KR101882490B1 (ko) 2011-11-29 2018-07-30 삼성전자주식회사 로봇 및 그 제어방법
JP2013184273A (ja) * 2012-03-09 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP5915381B2 (ja) * 2012-05-28 2016-05-11 富士通株式会社 ロボット及びロボットの制御方法
CN104656676B (zh) * 2014-12-25 2017-11-07 北京理工大学 一种仿人机器人手腿眼伺服控制的装置与方法
JP6577326B2 (ja) * 2015-10-16 2019-09-18 ファナック株式会社 人と協働して物体を運搬するロボットを制御するロボット制御装置、ロボットシステム、およびその方法
US9844885B2 (en) * 2015-11-27 2017-12-19 Tamkang University Gripping device having opened and closed gripping modes
JP6844135B2 (ja) * 2016-07-05 2021-03-17 富士ゼロックス株式会社 移動ロボットおよび移動制御システム
JP6869172B2 (ja) * 2016-12-28 2021-05-12 本田技研工業株式会社 自律移動体の運用方法
JP6958091B2 (ja) * 2017-08-08 2021-11-02 セイコーエプソン株式会社 ロボットシステム、及びロボット制御方法
JP6902208B2 (ja) * 2017-11-14 2021-07-14 オムロン株式会社 把持方法、把持システム及びプログラム
US10792809B2 (en) * 2017-12-12 2020-10-06 X Development Llc Robot grip detection using non-contact sensors
JP7133836B2 (ja) * 2018-05-02 2022-09-09 国立大学法人豊橋技術科学大学 ロボット
CN109828576B (zh) * 2019-02-22 2022-09-06 北京京东乾石科技有限公司 用于无人配送机器人的手势控制方法、装置、设备及介质
JP7415775B2 (ja) 2020-04-30 2024-01-17 トヨタ自動車株式会社 ロボット
JP2023169034A (ja) * 2022-05-16 2023-11-29 株式会社デンソー 搬送処理システム、搬送処理装置、自律搬送車両、搬送処理方法、搬送処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0097191B1 (de) * 1981-12-24 1986-08-27 Hans Richter Montageroboter
US4617502A (en) * 1983-06-30 1986-10-14 Hitachi, Ltd. Method and apparatus for controlling a robot hand along a predetermined path
US4955918A (en) * 1989-05-30 1990-09-11 University Of Southern California Artificial dexterous hand
US5373747A (en) * 1991-03-30 1994-12-20 Kabushiki Kaisha Toshiba Robot hand and robot
US7206753B2 (en) * 2001-05-04 2007-04-17 Axxon Robotics, Llc Methods for facilitating a retail environment
US20020165643A1 (en) * 2001-05-04 2002-11-07 Bancroft Allen John Retail robot time share system
US6584375B2 (en) * 2001-05-04 2003-06-24 Intellibot, Llc System for a retail environment
JP2002346957A (ja) 2001-05-21 2002-12-04 Univ Waseda ２足歩行型ロボットの動作軌道制御方法
US6580246B2 (en) * 2001-08-13 2003-06-17 Steven Jacobs Robot touch shield
US6667592B2 (en) * 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
JP3914045B2 (ja) * 2001-12-17 2007-05-16 本田技研工業株式会社 多指ハンド装置
US7443115B2 (en) 2002-10-29 2008-10-28 Matsushita Electric Industrial Co., Ltd. Apparatus and method for robot handling control
JP4228871B2 (ja) 2002-10-29 2009-02-25 パナソニック株式会社 ロボット把持制御装置及びロボット把持制御方法
CN100567098C (zh) * 2003-05-21 2009-12-09 松下电器产业株式会社 物品管理***和物品管理服务器
JP4313125B2 (ja) * 2003-09-12 2009-08-12 本田技研工業株式会社 ロボットハンド
JP2005167517A (ja) * 2003-12-01 2005-06-23 Olympus Corp 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム
JP2006159320A (ja) * 2004-12-03 2006-06-22 Sharp Corp ロボットハンド

Also Published As

Publication number Publication date
US20060142896A1 (en) 2006-06-29
EP1671758A1 (en) 2006-06-21
JP2006167837A (ja) 2006-06-29
EP1671758B1 (en) 2019-01-23
US7551978B2 (en) 2009-06-23

Similar Documents

Publication Publication Date Title
JP4317518B2 (ja) 物品運搬システム
JP4456561B2 (ja) 自律移動ロボット
JP4456560B2 (ja) 脚式移動ロボット制御装置および脚式移動ロボット、並びに、脚式移動ロボット制御方法
JP4658892B2 (ja) 移動ロボット、並びに、移動ロボットの制御装置、移動ロボットの制御方法及び移動ロボットの制御プログラム
KR100807449B1 (ko) 레그식 로봇의 제어 장치
JP4276624B2 (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
KR100840427B1 (ko) 각식 이동 로봇의 제어장치
JP4856510B2 (ja) 移動ロボット
JP2006192563A (ja) 識別対象識別装置およびそれを備えたロボット
JP4608472B2 (ja) 移動ロボット及び移動ロボットの制御装置
JP5145569B2 (ja) 対象物特定方法および装置
JP2006272471A (ja) コミュニケーションロボット
JP5613114B2 (ja) 分散制御システム
JP4580226B2 (ja) ロボット制御システム
JP2005238382A (ja) コミュニケーションロボット
TW201540281A (zh) 機器人的行動輔助系統
JP2022178334A (ja) 生体情報取得装置
CN115225682A (zh) 管理服务器、远程操作***、远程操作方法以及存储介质
JP2022157101A (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
CN107783677A (zh) 一种增强现实交互方法和增强现实握柄

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090522

R150 Certificate of patent or registration of utility model

Ref document number: 4317518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140529

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees