WO2022030242A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022030242A1
WO2022030242A1 PCT/JP2021/027079 JP2021027079W WO2022030242A1 WO 2022030242 A1 WO2022030242 A1 WO 2022030242A1 JP 2021027079 W JP2021027079 W JP 2021027079W WO 2022030242 A1 WO2022030242 A1 WO 2022030242A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
sensor
unit
distance
information processing
Prior art date
Application number
PCT/JP2021/027079
Other languages
English (en)
French (fr)
Inventor
佳和 古山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/006,733 priority Critical patent/US20230302632A1/en
Priority to EP21852161.5A priority patent/EP4190514A4/en
Priority to JP2022541425A priority patent/JPWO2022030242A1/ja
Publication of WO2022030242A1 publication Critical patent/WO2022030242A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37425—Distance, range
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39487—Parallel jaws, two fingered hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39527—Workpiece detector, sensor mounted in, near hand, gripper
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40264—Human like, type robot arm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation

Definitions

  • Various tasks using a robot hand such as grasping an object, are usually realized by controlling the robot hand or determining the success or failure of the task based on the sensor value acquired by the sensor. ..
  • This technology was made in view of such a situation, and makes it possible to appropriately control the alignment of the operating object.
  • the information processing device on one aspect of the present technology is used to execute a task of moving an object to a specific position, and the position of a hand portion provided with a plurality of sensors on the surface is determined while the hand portion is moving. It is an information processing apparatus including a control unit that controls based on the positional relationship information representing the positional relationship between the object and an object around the object, which is estimated based on the distance measured by the sensor.
  • the arm portion 13 When it is not necessary to distinguish between the arm portions 13-1 and 13-2 as appropriate, they are collectively referred to as the arm portion 13.
  • the hand unit 14 When it is not necessary to distinguish between the hand units 14-1 and 14-2, they are collectively referred to as the hand unit 14.
  • Other configurations provided in plurality will also be described together as appropriate.
  • FIG. 2 is an enlarged view of the hand portion 14-1.
  • nine distance sensors 41-0 are provided vertically and horizontally on the upper surface of the base portion 21 corresponding to the palm.
  • the distance sensors 41-0 are provided at predetermined intervals.
  • Distance sensors 41L-7 and 41L-8 are provided side by side inside the plate-shaped portion 31L.
  • a distance sensor 41L-9 (not shown) is provided on the outside of the plate-shaped portion 31L as on the right finger 22R side.
  • the distance sensor 41 when it is not necessary to distinguish between the distance sensors 41L-1 to 41L-9 and the distance sensors 41R-1 to 41R-9 as appropriate, they are collectively referred to as the distance sensor 41.
  • the distance to each position of the object is measured by detecting the reflected light of the light beam emitted by each distance sensor 41.
  • the light emitted by the distance sensor 41 is shown in color.
  • the hand portion 14 is a two-finger type grip portion
  • a multi-finger type grip portion having a different number of finger portions, such as a three-finger type and a five-finger type, may be provided.
  • the degree of freedom of the finger portion, the number of distance sensors 41, and the arrangement of the distance sensors 41 can be arbitrarily set.
  • FIG. 5 is a block diagram showing a hardware configuration example of the robot 1.
  • the hand finger initial position determination unit 103 determines a use sensor, which is a distance sensor 41 used for monitoring the execution status of the task, according to the task determined by the task determination unit 102. From the plurality of distance sensors 41 provided in the hand unit 14, the distance sensor 41 suitable for monitoring the execution status of the task is determined as the sensor to be used.
  • step S1 the task determination unit 102 determines the task to be executed.
  • the contactable area Est is the target value. Is reached, and it is determined that the task of moving the card C1 toward you has succeeded. At this time, next, the task of bringing the left finger 22L into contact with the lower surface of the card C1 is executed.
  • the slide of the hand portion 14-1 is continued.
  • the card C1 shifts further slightly, as shown in A in FIG.
  • the contactable area Rest of the card C1 is smaller than that in the case of A in FIG. 9, in which the hand portion 14-1 could be slid without slipping.
  • n ref represents the number of distance sensors 41 that measure the sensor values within the effective distance range required for the contactable area to reach the target value.
  • n represents the current number of distance sensors 41 that measure sensor values within the effective distance range.
  • S ref represents the target value of the contactable area.
  • Equation (2) states that if the area of the card C1 corresponding to the footprint area of the n ref distance sensors 41 protrudes from the edge portion of the desk D1, the contactable area Est becomes larger than the target value S ref . show.
  • FIG. 12 is a diagram showing an example of control by the alignment control unit 108.
  • the control of the hand unit 14 by the alignment control unit 108 is performed by moving the hand unit 14 while decelerating as the contactable area Rest , which is geometric information, increases.
  • the converter 132 applies the conversion coefficient K to the difference supplied from the subtractor 131, and calculates the target value v ref of the moving speed. For example, the smaller the difference between the target value S ref and the contactable area S est , the smaller the value is calculated as the target value v ref of the moving speed.
  • the converter 132 outputs the target value v ref of the moving speed to the subtractor 133.
  • Robot 1 can improve the accuracy and success rate of the task of moving the operating object to the target position.
  • the inclination (attitude) of the kitchen knife K1 obtained based on the sensor value measured by the distance sensor 41-0 is used as geometric information together with the distance to the desk D1.
  • the inclination of the kitchen knife K1 is represented by, for example, the difference between the distance measured by the light ray L12 and the distance measured by the light ray L13.
  • the robot 1 can restart the task of cutting the object Ob1 without restarting from the beginning.
  • the distance sensor 41L-5 at the fingertip of the left finger 22L and the distance sensor 41R-5 at the fingertip of the right finger 22R are determined as the sensors to be used, and the distance sensor 41L-5 and the distance sensor 41R-5 are determined. Measures the distance.
  • the distance to the present B11 is measured by the distance sensor 41L-5 provided at the fingertip of the left finger 22L.
  • the distance to the present B12 is measured by the distance sensor 41R-5 provided at the fingertip of the right finger 22R.
  • the robot 1 After performing the recovery operation, the robot 1 can execute the next task such as performing the task again.
  • a plurality of distance sensors 41 provided on the arm portion 13-1 are determined as the sensors to be used, and the distance is measured by the distance sensor 41.
  • the distance sensor 41 provided on the arm portion 13-1 is arranged so as to be parallel to the top plate of the desk D1, and the distance to the desk D1 is measured by the light ray L31.
  • FIG. 22 is a diagram showing a configuration example of the system.
  • the information processing device controls the position of the hand unit by driving the arm unit that supports the hand unit and driving each of the finger units.
  • the information processing apparatus according to (3) further comprising an estimation unit that estimates the positional relationship based on the distribution of distances measured by the plurality of sensors.
  • the information processing apparatus estimates the contactable area of the object by the finger portion based on the number of sensors that measure a distance within a predetermined range.
  • the task is a task of moving the object placed on the top plate as the object in the surroundings to a position where the object can be pinched from above and below by the finger portion.
  • the information processing apparatus which estimates the positional relationship.
  • the task is a task of bringing the object in contact with the plane closer to the object provided at the end of the plane while being pressed against the plane by the support portion provided side by side with the sensors.
  • the control unit moves the hand unit in a state where the sensor provided in the finger unit and the sensor provided in the support unit are positioned so as to be aligned in parallel with the plane.
  • Information processing equipment. (13)
  • the estimation unit estimates the positional relationship based on the distance to an object in the moving direction measured by the sensor provided at the tip of the finger unit that grips the object. Information processing equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本技術は、操作物体の位置合わせを適切に制御することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の情報処理装置は、特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、ハンド部の移動中にセンサにより計測された距離に基づいて推定された、対象物と対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する制御部を備える。本技術は、例えば、ハンド部を用いて物体を移動させるタスクを実行するロボットに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、操作物体の位置合わせを適切に制御することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　物体を把持するなどのロボットハンドを用いた各種のタスクは、通常、センサにより取得されたセンサ値に基づいて、ロボットハンドの制御を行ったり、タスクの成否判定を行ったりすることにより実現される。
　例えば、特許文献１には、ビジョンセンサにより取得された画像情報と力覚センサにより取得された力覚情報とに基づいて、対象物と周辺物の動きを検知し、ロボットが対象物を正常に操作しているか否かを判定する技術が開示されている。
　特許文献２には、物体の計測が容易な位置にセンサ部を移動させた後、センサ部により計測された物体の位置と姿勢に基づいて、ロボットハンドを移動させ、物体を把持する技術が開示されている。
特開２０１６－１９６０７７号公報 特開２０２０－１６４４６号公報
　特許文献１に記載の技術においては、ビジョンセンサとロボットハンドの位置関係によっては、ロボットハンドにより物体が遮蔽され、ビジョンセンサによって物体を観測することができない場合がある。この場合、画像情報に基づくロボットハンドの制御が困難となる。
　また、対象物と周辺物の位置関係や移動量を力覚センサにより取得された力覚情報に基づいて推定することは、推定の精度の面からは好ましくない。
　特許文献２に記載の技術においては、物体の位置と姿勢の計測結果には誤差が含まれるため、一度の計測結果に基づいてロボットハンドを移動させた場合には、実際の物体の位置および姿勢が、推定した位置および姿勢とずれることがある。
　また、計測が容易な位置にセンサ部を移動させるだけでは、センサ部により取得された情報をタスクの成否判定やロボットハンドの制御に利用することができないことがある。例えば、物体を把持するために物体に近づけたロボットハンドが物体を遮蔽してしまった場合には、物体の位置と姿勢をセンサ部によって計測することができない。
　本技術はこのような状況に鑑みてなされたものであり、操作物体の位置合わせを適切に制御することができるようにするものである。
　本技術の一側面の情報処理装置は、特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する制御部を備える情報処理装置である。
　本技術の一側面においては、特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置が、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御される。
本技術の一実施の形態に係るロボットの外観の例を示す図である。 ハンド部を拡大して示す図である。 距離センサによる計測の様子を示す図である。 距離センサによる計測の様子を示す図である。 ロボットのハードウェア構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 情報処理装置の処理について説明するフローチャートである。 薄い物体を把持するタスクの実行時の様子を示す図である。 タスクの実行時の様子を示す、図８に続く図である。 タスク失敗時の様子を示す図である。 タスク失敗時の様子を示す図である。 位置合わせ制御部による制御の例を示す図である。 接触可能面積とハンド部の移動速度の指令値の例を示す図である。 クリーナを用いて窓の拭き掃除を行うタスクの成功時の様子を示す図である。 クリーナを用いて窓の拭き掃除を行うタスクの成功時の様子を示す図である。 間隔とハンド部の移動速度の指令値の例を示す図である。 窓の拭き掃除を行うタスクの失敗時時の様子を示す図である。 包丁を操作して物体を切るタスクの成功時の様子を示す図である。 包丁を操作して物体を切るタスクの失敗時の様子を示す図である。 本と本の間に別の本を置くタスクの失敗時の様子を示す図である。 机の特定の位置に操作物体を配置するタスクの様子を示す図である。 システムの構成例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．ロボットの外観構成
　２．ロボットの構成
　３．情報処理装置の動作
　４．他のタスクの例
　５．変形例
＜１．ロボットの外観構成＞
　図１は、本技術の一実施の形態に係るロボット１の外観の例を示す図である。
　図１に示すように、ロボット１は、上半身が人型であり、車輪を用いた移動機構を有するロボットである。胴体部１１の上には、扁平球体状の頭部１２が設けられる。頭部１２の正面には、人間の目を真似た形で２つの視覚センサ１２Ａが設けられる。
　胴体部１１の上端には、多自由度のマニピュレータにより構成されるアーム部１３－１，１３－２が設けられる。アーム部１３－１，１３－２のそれぞれの先端には、エンドエフェクタであるハンド部１４－１，１４－２が設けられる。ロボット１は、ハンド部１４－１，１４－２によって物体を把持する機能を有する。
　以下、適宜、アーム部１３－１，１３－２を区別する必要がない場合、まとめてアーム部１３という。また、ハンド部１４－１，１４－２を区別する必要がない場合、まとめてハンド部１４という。複数設けられる他の構成についても、適宜、まとめて説明する。
　胴体部１１の下端には、台車状の移動体部１５が設けられる。移動体部１５の左右に設けられた車輪を回転させたり、車輪の向きを変えたりすることにより、ロボット１は移動することができる。
　このように、ロボット１は、ハンド部１４により物体を把持したり、物体を把持した状態で運搬したりするなどの各種のタスクを実行可能なロボットである。図１の例では、ロボット１の前にある机Ｄ１の天板の上にカードＣ１が置かれている。後述するように、ロボット１は、カードＣ１を拾い上げる一連のタスクを、ハンド部１４に設けられた距離センサによってタスクの実行状況を監視しながら実行する。
　なお、図１に示すように双腕のロボットではなく、単腕（アーム部１３が１本）のロボットとしてロボット１が構成されるようにしてもよい。また、台車（移動体部１５）に代えて、脚部の上に胴体部１１が設けられるようにしてもよい。
　図２は、ハンド部１４－１を拡大して示す図である。
　図２に示すように、ハンド部１４－１は、２本指のグリッパタイプの把持部である。立方体状の形状を有するベース部２１には、２本のフィンガ部２２である左指２２Ｌと右指２２Ｒが取り付けられる。ベース部２１は、複数のフィンガ部２２を支持する支持部として機能する。
　左指２２Ｌは、所定の厚さを有する板状の部材である板状部３１Ｌと板状部３２Ｌが連結することにより構成される。ベース部２１に取り付けられた板状部３１Ｌの先端側には板状部３２Ｌが設けられる。ベース部２１と板状部３１Ｌの連結部、および、板状部３１Ｌと板状部３２Ｌの連結部は、それぞれ所定の可動域を有している。板状部３２Ｌの内側には、薄板状のフィンガ接触部３３Ｌが設けられる。
　右指２２Ｒも、左指２２Ｌと同様の構成を有している。すなわち、ベース部２１に取り付けられた板状部３１Ｒの先端側に板状部３２Ｒが設けられる。ベース部２１と板状部３１Ｒの連結部、および、板状部３１Ｒと板状部３２Ｒの連結部は、それぞれ所定の可動域を有している。板状部３２Ｒの内側には、薄板状のフィンガ接触部３３Ｒ（不図示）が設けられる。
　それぞれの連結部を動かすことにより、左指２２Ｌと右指２２Ｒが開閉する。板状部３２Ｌの内側と、板状部３２Ｒの内側で挟むようにして、カードＣ１などの各種の物体が把持される。フィンガ接触部３３Ｌが設けられた板状部３２Ｌの内側の面と、フィンガ接触部３３Ｒが設けられた板状部３２Ｒの内側の面が、物体を把持する際の、物体との接触面となる。
　図２に色を付して示すように、ハンド部１４－１を構成する各部材の表面には、近距離計測が可能な距離センサが複数設けられる。距離センサは、例えば光学式のセンサである。
　例えば、掌に相当するベース部２１の上面には、９つの距離センサ４１－０が縦横に並べて設けられる。それぞれの距離センサ４１－０は所定の間隔を空けて設けられる。
　また、物体との接触面となる板状部３２Ｌの内側には、指先側から順に、２つの距離センサのペアである距離センサ４１Ｌ－１，４１Ｌ－２，４１Ｌ－３が設けられる。距離センサ４１Ｌ－１，４１Ｌ－２，４１Ｌ－３を構成する２つの距離センサは、フィンガ接触部３３Ｌを挟むように、板状部３２Ｌの縁に沿って設けられる。
　板状部３２Ｌの側面には距離センサ４１Ｌ－４が設けられ、指先となる半円筒状の面には距離センサ４１Ｌ－５が設けられる。板状部３２Ｌの外側には、右指２２Ｒ側と同様に距離センサ４１Ｌ－６（不図示）が設けられる。
　板状部３１Ｌの内側には距離センサ４１Ｌ－７，４１Ｌ－８が並べて設けられる。板状部３１Ｌの外側には、右指２２Ｒ側と同様に距離センサ４１Ｌ－９（不図示）が設けられる。
　右指２２Ｒにも、左指２２Ｌと同様に距離センサ４１Ｒ－１乃至４１Ｒ－９が設けられる。すなわち、板状部３２Ｒの内側には、指先側から順に、距離センサ４１Ｒ－１，４１Ｒ－２，４１Ｒ－３（不図示）が設けられ、板状部３２Ｒの側面には距離センサ４１Ｒ－４が設けられる。
　板状部３２Ｒの指先の面には距離センサ４１Ｒ－５が設けられ、板状部３２Ｒの外側には距離センサ４１Ｒ－６が設けられる。板状部３１Ｒの内側には距離センサ４１Ｒ－７，４１Ｒ－８（不図示）が設けられ、板状部３１Ｒの外側には距離センサ４１Ｒ－９が設けられる。
　以下、適宜、距離センサ４１Ｌ－１乃至４１Ｌ－９および距離センサ４１Ｒ－１乃至４１Ｒ－９を区別する必要がない場合、まとめて距離センサ４１という。
　タスクを実行する際、図３、図４に示すように、それぞれの距離センサ４１が発する光線の反射光を検出することにより、物体の各位置までの距離が計測される。図３、図４においては、距離センサ４１が発する光が色を付して表されている。
　例えば、距離センサ４１－０、距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７，４１Ｌ－８、および、距離センサ４１Ｒ－１乃至４１Ｒ－３，４１Ｒ－７，４１Ｒ－８を用いて、ハンド部１４が把持している物体の各位置までの距離などが計測される。
　このように、ハンド部１４－１の各部に距離センサ４１が設けられることにより、操作物体としてのカードＣ１までの距離の分布（カードＣ１の各位置までの距離）がリアルタイムで計測される。また、カードＣ１の周囲の環境を構成する机Ｄ１までの距離の分布がリアルタイムで計測される。カードＣ１と机Ｄ１の各位置までの距離に基づいて、タスクの実行状況が監視される。
　以上のようなハンド部１４－１の構成と同じ構成が、ハンド部１４－２にも設けられる。
　ハンド部１４が２本指タイプの把持部であるものとしたが、３指タイプ、５指タイプなど、フィンガ部の本数が異なる多指タイプの把持部が設けられるようにしてもよい。フィンガ部の自由度、距離センサ４１の数、距離センサ４１の配置については、任意に設定可能である。
＜２．ロボットの構成＞
・ハードウェアの構成
　図５は、ロボット１のハードウェア構成例を示すブロック図である。
　図５に示すように、ロボット１は、情報処理装置５１に対して、胴体部１１、頭部１２、アーム部１３、ハンド部１４、および移動体部１５に設けられる各構成が接続されることによって構成される。
　情報処理装置５１は、CPU(Central Processing Unit)，ROM(Read Only Memory)，RAM(Random Access Memory)、フラッシュメモリなどを有するコンピュータにより構成される。情報処理装置５１は、例えば胴体部１１内に収納される。情報処理装置５１は、CPUにより所定のプログラムを実行し、ロボット１の全体の動作を制御する。
　情報処理装置５１は、センサによる検出結果や視覚センサにより撮影された画像などに基づいてロボット１の周りの環境を認識し、認識結果に応じてタスクを実行する。胴体部１１、頭部１２、アーム部１３、ハンド部１４、および移動体部１５の各部には、各種のセンサやカメラが設けられる。例えば、頭部１２には、RGBカメラなどにより構成される視覚センサ１２Ａが設けられる。ハンド部１４には、距離センサ４１が設けられる。
・機能構成
　図６は、情報処理装置５１の機能構成例を示すブロック図である。
　図６に示すように、情報処理装置５１は、環境計測部１０１、タスク決定部１０２、ハンド・フィンガ初期位置決定部１０３、初期位置データベース１０４、初期位置移動制御部１０５、目標値計算部１０６、幾何情報推定部１０７、位置合わせ制御部１０８、タスク成否条件計算部１０９、およびタスク成否判定部１１０により構成される。図６に示す機能部のうちの少なくとも一部は、情報処理装置５１のCPUにより所定のプログラムが実行されることによって実現される。
　環境計測部１０１は、視覚センサ１２Ａの出力に基づいて、操作物体とその周囲の環境を構成する物体を対象とした３次元計測を行う。３次元計測を行うことにより、操作物体の位置と形状、周囲の環境を構成する物体の形状などが計算される。環境計測部１０１による計測結果は、ハンド・フィンガ初期位置決定部１０３に出力される。
　タスク決定部１０２は、実行するタスクを決定し、タスクの内容を表す情報を出力する。タスクの内容を表す情報には、幾何情報としてどのような情報を用いるのかを表す情報が含まれる。後述するように、幾何情報は、各部の制御とともに、タスクの実行状況の監視に用いられる情報である。タスク決定部１０２から出力された情報は、ハンド・フィンガ初期位置決定部１０３、目標値計算部１０６、および幾何情報推定部１０７に供給される。
　ハンド・フィンガ初期位置決定部１０３は、タスク決定部１０２により決定されたタスクに応じて、タスクの実行状況の監視に使用する距離センサ４１である使用センサを決定する。ハンド部１４に設けられた複数の距離センサ４１の中から、タスクの実行状況の監視に適した距離センサ４１が使用センサとして決定される。
　また、ハンド・フィンガ初期位置決定部１０３は、環境計測部１０１による計測結果と、タスク決定部１０２により決定されたタスクの内容とに基づいて、使用センサとして決定した距離センサ４１の初期位置を計算する。
　距離センサ４１の初期位置の候補は、タスクの内容ごとにあらかじめ設定される。初期位置の候補を表す情報は、初期位置データベース１０４に保存され、適宜、ハンド・フィンガ初期位置決定部１０３により読み出される。ハンド・フィンガ初期位置決定部１０３により計算された距離センサ４１の初期位置を表す情報は、初期位置移動制御部１０５に出力される。
　初期位置移動制御部１０５は、ハンド・フィンガ初期位置決定部１０３により計算された初期位置に距離センサ４１が位置するように、駆動部１２１を制御する。駆動部１２１は、アーム部１３、ハンド部１４、移動体部１５などの、ロボット１の駆動部分に対応する。
　目標値計算部１０６は、タスク決定部１０２から供給された情報に基づいて、幾何情報の目標値を計算し、位置合わせ制御部１０８に出力する。
　幾何情報推定部１０７は、距離センサ４１により計測された距離分布情報を取得する。距離分布情報は、操作物体や環境を構成する物体の各位置までの距離を表す。幾何情報推定部１０７は、タスク決定部１０２により決定された幾何情報を距離分布情報に基づいて推定し、タスク決定部１０２、位置合わせ制御部１０８、およびタスク成否判定部１１０に出力する。
　位置合わせ制御部１０８は、幾何情報推定部１０７により推定された幾何情報が、目標値計算部１０６から供給された目標値に達するように駆動部１２１を制御することで、位置合わせ制御を行う。位置合わせ制御は、操作物体を所定の位置に移動させる制御である。また、位置合わせ制御は、距離センサ４１が所定の位置にくるようにアーム部１３やハンド部１４を移動させる制御でもある。
　タスク成否条件計算部１０９は、タスクの成功条件と失敗条件を決定し、成功条件と失敗条件を表す情報をタスク成否判定部１１０に出力する。
　タスク成否判定部１１０は、幾何情報推定部１０７により推定された幾何情報が、タスク成否条件計算部１０９により決定された条件を満たすか否かに応じて、実行中のタスクの成否を判定する。タスク成否判定部１１０は、タスクに成功したと判定した場合、または、タスクに失敗したと判定した場合、停止指令を位置合わせ制御部１０８に出力する。タスクの成否判定の結果は、適宜、タスク決定部１０２などの他の処理部にも供給される。
＜３．情報処理装置の動作＞
・薄い物体を把持するタスクの例
　図７のフローチャートを参照して、情報処理装置５１の処理について説明する。
　ここでは、机Ｄ１の天板上に置かれたカードＣ１を把持するタスクを実行する場合の処理について、適宜、図８、図９に示す、タスクの実行時の様子を参照して説明する。
　カードＣ１などの薄い物体を把持する際、人間は、爪を使って拾い上げたり、机Ｄ１の手前までずらしてから拾い上げたりすることが多い。机Ｄ１の手前までずらしてからカードＣ１を拾い上げる後者の動作が、情報処理装置５１により実現される。
　ステップＳ１において、タスク決定部１０２は、実行するタスクを決定する。
　カードＣ１を把持するタスクには、左指２２Ｌと右指２２Ｒで挟むことができるように、カードＣ１を手前にずらすタスクと、カードＣ１の下面に左指２２Ｌを接触させるタスク（左指２２Ｌと右指２２ＲでカードＣ１を挟むタスク）とが含まれる。タスク決定部１０２は、はじめに、カードＣ１を手前にずらすタスクを実行することを決定する。
　ステップＳ２において、環境計測部１０１は、視覚センサ１２Ａの出力に基づいて環境の３次元計測を行う。３次元計測を行うことにより、カードＣ１の位置と形状、机Ｄ１の形状などが認識される。
　ステップＳ３において、ハンド・フィンガ初期位置決定部１０３は、タスクの内容と環境計測部１０１による計測結果とに基づいて、ハンド部１４とフィンガ部２２のそれぞれの初期位置を計算する。位置とともに、ハンド部１４とフィンガ部２２のそれぞれの姿勢も計算される。
　ステップＳ４において、ハンド・フィンガ初期位置決定部１０３は、使用センサを決定する。
　ここでは、タスクの実行状況の監視に適した位置となるように、ハンド部１４とフィンガ部２２のそれぞれの初期位置がステップＳ３において計算されるとともに、使用センサがステップＳ４において決定される。
　図８は、薄い物体を把持するタスクの実行時の様子を示す図である。
　例えば、図８のＡに示すように、左指２２Ｌを机Ｄ１の下に配置し、右指２２Ｒを、カードＣ１の上面に接触させるような初期位置が計算される。
　図８のＡの例においては、左指２２Ｌの内側に設けられた距離センサ４１Ｌ－１乃至４１Ｌ－３と距離センサ４１Ｌ－７，４１Ｌ－８（図２）が、使用センサとして決定されている。図８のＡに示す初期位置は、左指２２Ｌの内側に設けられた距離センサ４１が、カードＣ１の移動方向と平行に並ぶ位置である。図８のＡにおいて、白抜き矢印で示す水平右方向が、ハンド部１４の移動方向、すなわち、カードＣ１の移動方向である。
　このような各部の初期位置が、タスク決定部１０２により決定されたタスクに応じて選択される。タスクに応じた決定が行われるようにあらかじめプログラムしておくことの他に、初期位置の決定方法として様々な方法を用いることが可能である。
　例えば、機械学習によって得られた推論モデルを用いて、タスクの成否の検出に最も適している初期位置等が決定されるようにしてもよい。この場合、ハンド部１４の位置を様々な位置としてタスクを実行して記録された、タスク成功時とタスク失敗時のそれぞれの時系列のセンサデータを用いた機械学習が行われることによって、推論モデルが生成される。
　図７の説明に戻り、ステップＳ５において、タスク決定部１０２は、駆動部１２１の制御に用いる幾何情報を決定する。
　幾何情報は、大きさ（面積）、傾き、距離などの、物体の少なくとも一部の状態を表す情報であり、ハンド部１４の移動中に距離センサ４１により計測された距離に基づいて求められる。操作物体と周囲の物体の位置関係に応じて変化することから、幾何情報は、タスク実行中（ハンド部１４の移動中）の、操作物体と周囲の物体の位置関係を表す情報として、駆動部１２１の制御とともに、タスクの実行状況の監視に用いられる。
　カードＣ１をずらすタスクを実行する場合、左指２２Ｌを接触させることが可能な面積である接触可能面積Ｓが幾何情報として決定される。接触可能面積Ｓestは次式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｎは、有効距離レンジ内のセンサ値を計測した距離センサ４１の数を表す。Ａは、距離センサ４１のフットプリント面積を表す。
　有効距離レンジは、距離センサ４１（左指２２Ｌの距離センサ４１）から机Ｄ１までの距離より大きく（長く）、距離センサ４１から、反対側のフィンガ部２２である右指２２Ｒまでの距離よりも小さい（短い）距離の範囲である。
　左指２２Ｌが机Ｄ１の下に配置されているから、接触可能面積Ｓestは、カードＣ１全体のうち、机Ｄ１の縁部分からはみ出した領域の面積となる。
　幾何情報として、操作物体の接触可能面積の他に、距離センサ４１により計測される距離、環境に対する操作物体の姿勢（傾き）などを用いることが可能である。操作物体の接触可能面積以外の情報を幾何情報として用いる例については、他のタスクを実行する例を参照して後述する。
　ステップＳ６において、初期位置移動制御部１０５は、ハンド・フィンガ初期位置決定部１０３により計算された初期位置にハンド部１４を移動させる。
　ステップＳ７において、初期位置移動制御部１０５は、ハンド部１４を操作物体に接触させる。具体的には、図８のＡを参照して説明したように、初期位置移動制御部１０５は、右指２２ＲをカードＣ１の上面にラフな位置で接触させる。
　図８のＡに示す初期位置に左指２２Ｌと右指２２Ｒが配置された後、使用センサである距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７，４１Ｌ－８により距離の計測が行われる。図８のＡの破線で示す光線Ｌ１乃至Ｌ５は、それぞれ、距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７，４１Ｌ－８が発する光線を表す。
　図８のＡの場合、距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７により、机Ｄ１までの距離を表すセンサ値が計測され、距離センサ４１Ｌ－８により、右指２２Ｒまでの距離を表すセンサ値が計測される。有効距離レンジの距離を計測している距離センサがないから、この場合、接触可能面積は０となる。
　ステップＳ８において、目標値計算部１０６は、幾何情報の目標値を計算する。ハンド部１４等の制御は、幾何情報を目標値に近付けるようにして行われる。
　ステップＳ９において、タスク成否条件計算部１０９は、タスクの成功条件と失敗条件を決定する。
　例えば、タスク成否条件計算部１０９は、カードＣ１の下面に左指２２Ｌを接触できる程度の面積を閾値として設定し、接触可能面積Ｓestが閾値よりも大きいことを成功条件として決定する。目標値計算部１０６がステップＳ８において計算する目標値は、成功条件の閾値として用いられる面積となる。
　また、タスク成否条件計算部１０９は、接触可能面積Ｓestが目標値よりも小さく、かつ、有効距離レンジ外のセンサ値を計測している全ての距離センサ４１のセンサ値が異常レンジであることを失敗条件として決定する。有効距離レンジ外の距離のうち、左指２２Ｌに設けられた距離センサ４１から右指２２Ｒまでの距離が異常レンジとして設定される。
　なお、失敗条件として複数の条件が決定されるようにしてもよい。例えば、上述した失敗条件とともに、左指２２Ｌに設けられた距離センサ４１により計測されたセンサ値の最小値（机Ｄ１までの最短距離）がタスク開始時よりも小さくなったことが、失敗条件として決定される。この場合、ハンド部１４を机Ｄ１の天板と平行にスライドできずに、右指２２ＲがカードＣ１から離れてしまっていることになる。
　ステップＳ１０において、幾何情報推定部１０７は、距離センサ４１により計測されたセンサ値に基づいて接触可能面積Ｓestを計算する。
　ステップＳ１１において、位置合わせ制御部１０８は、幾何情報推定部１０７により推定された接触可能面積Ｓestに基づいて位置合わせ制御を行う。
　具体的には、位置合わせ制御部１０８は、図８のＡに示す状態にあるハンド部１４－１を、机Ｄ１と平行にスライドさせる。ハンド部１４－１をスライドさせ、カードＣ１をずらすことによって、図８のＢに示すように、カードＣ１の一部が机Ｄ１の縁部分からはみ出す。
　この場合、一点鎖線の光線Ｌ３で示すように、距離センサ４１Ｌ－３は、距離センサ４１からカードＣ１までの、有効距離レンジ内のセンサ値を計測することになる。この状態の場合、接触可能面積Ｓestとして所定の面積が求められる。
　図８のＢの例においては、距離センサ４１Ｌ－１，４１Ｌ－２は、距離センサ４１から机Ｄ１までの距離、すなわち、有効距離レンジ外のセンサ値を計測している。また、距離センサ４１Ｌ－７，４１Ｌ－８は、右指２２Ｒまでの距離、すなわち、有効距離センサ外のセンサ値を計測している。
　後述するように、位置合わせ制御部１０８による制御は、幾何情報である接触可能面積Ｓestが大きくなるにつれて減速させながら、ハンド部１４－１（駆動部１２１）を移動させるようにして行われる。
　ステップＳ１２において、タスク成否判定部１１０は、異常が発生したか否かを判定する。
　異常が発生していないとステップＳ１２において判定した場合、ステップＳ１３において、タスク成否判定部１１０は、タスクが成功したか否かを判定する。ここでは、接触可能面積Ｓestが成功条件を満たした場合に、タスクが成功したと判定される。
　タスクが成功していないとステップＳ１３において判定された場合、ステップＳ１０に戻り、それ以降の処理が繰り返される。位置合わせ制御部１０８は、接触可能面積が目標値に達するまで、ハンド部１４－１をスライドさせ続ける。
　接触可能面積Ｓestが目標値に達したことから、タスクが成功したとステップＳ１３において判定された場合、ステップＳ１４において、位置合わせ制御部１０８は、タスク成否判定部１１０からの停止指令に従って、ハンド部１４－１のスライドを停止させる。
　図９は、タスクの実行時の様子を示す、図８に続く図である。
　図９のＡの一点鎖線の光線Ｌ２，Ｌ３で示すように、距離センサ４１Ｌ－２，４１Ｌ－３により計測されたセンサ値が有効距離レンジ内となった場合、接触可能面積Ｓestが目標値に達し、カードＣ１を手前にずらすタスクが成功したとして判定される。このとき、次に、カードＣ１の下面に左指２２Ｌを接触させるタスクを実行する状態となる。
　ステップＳ１５において、タスク決定部１０２は、全てのタスクが完了したか否かを判定する。
　例えば、カードＣ１の下面に左指２２Ｌを接触させるタスクがあることから、全てのタスクが完了していないとステップＳ１５において判定された場合、ステップＳ１６において、目標値計算部１０６は、現在のセンサ値に基づいて次のタスクの指令値を計算する。次のタスクの指令値の計算は、カードＣ１の下面に左指２２Ｌを接触させるタスクが、次に実行するタスクとしてタスク決定部１０２により決定された後に行われる。
　例えば、図９のＡの吹き出しに示すように、目標値計算部１０６は、距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７，４１Ｌ－８により取得されたセンサ値に基づいて、左指２２Ｌの目標位置を指令値として計算する。
　次のタスクの指令値が計算された後、ステップＳ３に戻り、上述した処理と同様の処理が行われる。
　すなわち、幾何情報を用いてタスクの実行状況を監視しながら左指２２Ｌを移動させる処理が行われ、図９のＢに示すように、机Ｄ１の縁部分からはみ出したカードＣ１の領域の下面に左指２２Ｌが接触し、カードＣ１が把持される。左指２２ＬをカードＣ１に接触させるタスクにおいては、例えば、左指２２Ｌの指先に設けられた距離センサ４１Ｌ－５が使用センサとして用いられる。また、使用センサである距離センサ４１Ｌ－５からカードＣ１までの距離が幾何情報として用いられる。
　一方、ステップＳ１２において失敗条件を満たす場合、タスク成否判定部１１０は異常が発生したと判定する。
　図１０および図１１は、タスク失敗時の様子を示す図である。
　右指２２ＲによってカードＣ１を押し付ける力が弱い場合、カードＣ１をずらすためにハンド部１４－１をスライドさせても、図１０のＡの吹き出しに示すように、右指２２ＲとカードＣ１の間で滑りが生じてしまう。
　滑りが生じたままハンド部１４－１をスライドさせた場合、図１０のＢに示すように、カードＣ１は、僅かにずれるが、机Ｄ１の縁部分からはみ出ない。
　この場合、破線の光線Ｌ１，Ｌ２で示すように、距離センサ４１Ｌ－１，４１Ｌ－２により、それぞれ、有効距離レンジ外のセンサ値が計測される。また、破線の光線Ｌ３乃至Ｌ５で示すように、距離センサ４１Ｌ－３，４１Ｌ－７，４１Ｌ－８により、それぞれ、異常レンジのセンサ値が計測される。
　距離センサ４１Ｌ－１，４１Ｌ－２により異常レンジのセンサ値が計測されていないため、ハンド部１４－１のスライドが継続される。スライドが継続されることにより、図１１のＡに示すように、カードＣ１はさらに僅かにずれる。この場合、カードＣ１の接触可能面積Ｓestは、滑りが生じずにハンド部１４－１をスライドさせることができた、図９のＡの場合よりも小さくなる。
　図１１のＡにおいては、一点鎖線の光線Ｌ１で示すように、距離センサ４１Ｌ－１だけによって有効距離レンジ内のセンサ値が計測されている。接触可能面積Ｓestが目標値よりも小さく、かつ、有効距離レンジ外のセンサ値を計測している全ての距離センサ４１のセンサ値が異常レンジであることから、失敗条件を満たす、すなわち、カードＣ１を手前にずらすタスクが失敗したと判定される。
　以上のような失敗条件を満たすことから、異常が発生したとステップＳ１２において判定された場合、ステップＳ１７において、タスク決定部１０２は、現在のセンサ値に基づいて、復帰動作タスクをセットする。その後、ステップＳ３に戻り、上述した処理と同様の処理によって、復帰動作タスクが実行される。
　例えば、タスク決定部１０２は、カードＣ１をずらすタスクを再度行うための復帰動作タスクを、次に実行するタスクとして決定する。目標値計算部１０６は、接触可能面積Ｓestに基づいて、復帰動作タスクの移動量の目標値を次式（２）によって計算する。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、ｎrefは、接触可能面積が目標値に達するために必要な、有効距離レンジ内のセンサ値を計測する距離センサ４１の数を表す。ｎは、有効距離レンジ内のセンサ値を計測する距離センサ４１の現在の数を表す。Ｓrefは、接触可能面積の目標値を表す。
　式（２）は、ｎref個の距離センサ４１のフットプリント面積に相当するカードＣ１の領域が机Ｄ１の縁部分からはみ出せば、接触可能面積Ｓestが目標値Ｓrefよりも大きくなることを表す。
　位置合わせ制御部１０８は、机Ｄ１までの距離を計測する距離センサ４１の数がｎref個となるような位置にハンド部１４－１を移動させる。例えば、図１１のＢに示すように、位置合わせ制御部１０８は、２つの距離センサ４１（距離センサ４１Ｌ－１，４１Ｌ－２）の分だけ、ハンド部１４－１を白抜き矢印で示す前方（ハンド部１４－１の指先の方向）に移動させている。
　以上のように、ｎref個の距離センサ４１の分だけハンド部１４－１を移動させる動作が復帰動作タスクとして行われる。復帰動作タスクが行われた後、例えば、右指２２ＲによってカードＣ１を押し付ける力を強くして、カードＣ１をずらすタスクが再度行われる。
　カードＣ１を手前にずらすタスクが失敗した場合、カードＣ１が当該タスクの開始時の位置から移動している可能性がある。この場合、当該タスクの初期位置にハンド部１４－１を移動させても、ハンド部１４－１をカードＣ１に接触させることができないことがある。
　このような場合、従来手法においては、机から離れた位置にハンド部を一旦移動させた後に視覚センサを用いて環境の計測を再度行い、認識したカードの位置に合わせてハンド部を再び移動させることになる。
　以上の処理により、ハンド部１４－１を机Ｄ１から一旦移動させることなく、必要最低限の移動量だけハンド部１４－１を移動させて、タスクを再開することが可能となる。すなわち、情報処理装置５１は、タスクを迅速にやり直すことが可能となる。
　図７の説明に戻り、全てのタスクが完了したとステップＳ１５において判定された場合、ステップＳ１８において、位置合わせ制御部１０８は、操作物体との接触を解除し、処理を終了させる。
・位置合わせ制御部１０８による制御の例
　図１２は、位置合わせ制御部１０８による制御の例を示す図である。
　上述したように、位置合わせ制御部１０８によるハンド部１４の制御は、幾何情報である接触可能面積Ｓestが大きくなるにつれて減速させながらハンド部１４を移動させるようにして行われる。
　位置合わせ制御部１０８による制御は、減算器１３１、変換器１３２、減算器１３３、およびコントローラ１３４により実現される。図１２において破線で囲んで示す、減算器１３１、変換器１３２、減算器１３３、およびコントローラ１３４が、位置合わせ制御部１０８に設けられる。
　減算器１３１は、接触可能面積の目標値Ｓrefと、幾何情報推定部１０７により推定された接触可能面積Ｓestの差を計算し、変換器１３２に出力する。
　変換器１３２は、減算器１３１から供給された差に対して変換係数Ｋを適用し、移動速度の目標値ｖrefを計算する。例えば、目標値Ｓrefと接触可能面積Ｓestの差が小さいほど、小さい値が移動速度の目標値ｖrefとして計算される。変換器１３２は、移動速度の目標値ｖrefを減算器１３３に出力する。
　減算器１３３は、変換器１３２から供給された目標値ｖrefと駆動部１２１の実際の移動速度ｖの差を計算し、コントローラ１３４に出力する。
　コントローラ１３４は、減算器１３３から供給された移動速度の差が０になるように駆動部１２１を制御する。
　駆動部１２１の実際の移動速度ｖは、各部に設けられたセンサにより計測され、減算器１３３に供給される。また、距離センサ４１の各計測点の３次元座標ｐは、幾何情報推定部１０７に供給される。例えば、Ｎ個の距離センサ４１が設けられる場合、３次元座標ｐは３×Ｎの行列で表される。
　幾何情報推定部１０７は、３次元座標ｐに基づいて接触可能面積Ｓestを推定し、減算器１３１に出力する。
　図１３は、接触可能面積とハンド部１４の移動速度の指令値の例を示す図である。
　図１３の上段は接触可能面積Ｓestを表し、下段は、ハンド部１４に対する移動速度の指令値を表す。図１３の横軸は時刻を表す。
　時刻ｔ０から時刻ｔ１までの期間は、図８のＡを参照して説明したように、有効距離レンジ内のセンサ値がいずれの距離センサ４１によっても計測されていない期間である。この期間においては、接触可能面積Ｓestは０となる。また、移動速度の指令値は所定の速度となる。
　時刻ｔ１から時刻ｔ２までの期間は、図８のＢを参照して説明したように、有効距離レンジ内のセンサ値が距離センサ４１Ｌ－３により計測されている期間である。この期間においては、接触可能面積Ｓestは、時刻ｔ１以前よりも増加する。また、移動速度の指令値は、時刻ｔ１以前よりも低い値となる。
　時刻ｔ２以降の期間は、図９のＡを参照して説明したように、有効距離レンジ内のセンサ値が距離センサ４１Ｌ－２，４１Ｌ－３により計測されている期間である。この期間においては、接触可能面積Ｓestは、時刻ｔ２以前よりも増加する。また、移動速度の指令値は、時刻ｔ２以前よりも低い値となる。
　以上のように、位置合わせ制御部１０８によるハンド部１４の制御は、ハンド部１４の移動速度を、幾何情報としての接触可能面積Ｓestの変化に応じて調整するようにして行われる。
・効果
　以上のように、ロボット１においては、実行するタスクの内容に応じて、操作物体と環境の変位を計測しやすい位置に距離センサ４１が配置される。これにより、位置が固定のカメラでは計測が困難となる、ロボットハンドが操作物体を遮蔽してしまうようなタスクの進行状況の監視を常に行うことが可能となる。
　ロボット１は、操作物体を目標位置に移動させるタスクの精度と成功率を向上させることができる。
　また、ロボット１においては、カードＣ１とハンド部１４－１の接触位置を計測する必要がなく、おおよその目標位置にハンド部１４－１を接触させるだけでも、カードＣ１をずらすタスクを成功させることが可能となる。
　通常、位置が固定のカメラにより取得された情報に基づいてロボットハンドを制御する場合、カードと机のタスク開始時の位置関係、および、カードとロボットハンドの位置関係を計測する必要がある。
　ロボット１においては、視覚センサ１２Ａは、カードＣ１と机Ｄ１のタスク開始時の位置関係の計測に用いられるだけである。ハンド部１４－１の制御やタスクの成功判定は、左指２２Ｌに設けられた距離センサ４１により計測される、カードＣ１と机Ｄ１の相対変位に基づいて行われる。カードＣ１とハンド部１４－１の接触位置はそれほど重要ではないため、ハンド部１４－１がカードＣ１の中心を接触する必要もなく、カードＣ１の手前側や奥側に接触しても構わないことになる。
　さらに、ロボット１においては、距離センサ４１により計測された距離分布情報に基づいて幾何情報が計算され、幾何情報の変化に応じて、ハンド部１４の制御やタスクの成功判定が行われる。操作物体と環境の位置関係によってタスクの成否が決まるようなタスクを実行する場合、ロボット１は、観測が容易かつ単純なアルゴリズムで、ハンド部１４の制御やタスクの成功判定を行うことが可能となる。
＜４．他のタスクの例＞
　他のタスクに本技術を適用した例を以下に示す。なお、タスクの基本的な流れは、図８乃至図１１を参照して説明した、カードＣ１を把持するタスクの流れと同様の流れとなる。
・拭き掃除のタスクの例
　図１４、図１５は、クリーナＣ１１を用いて窓Ｗ１の拭き掃除を行うタスクの成功時の様子を示す図である。
　図１４、図１５においては、ハンド部１４－１により、クリーナＣ１１が窓Ｗ１の表面に押し付けられている。窓Ｗ１の端部には、窓Ｗ１を囲むように、窓Ｗ１より厚みのあるフレームＦ１が設けられる。この例においては、操作物体はクリーナＣ１１となる。また、操作物体の周囲の環境を構成する物体は、窓Ｗ１とフレームＦ１となる。
　図１４は、垂直面となる窓Ｗ１の表面にクリーナＣ１１を押し付けているハンド部１４－１を下から見た図であり、図１５は、正面から見た図である。図１４の横方向がｘ軸方向となり、図１４の縦方向がｚ軸方向となる。図１５の横方向がｘ軸方向となり、図１５の縦方向がｙ軸方向となる。
　窓Ｗ１の拭き掃除を行うタスクの開始時、図１４のＡに示すように、左指２２Ｌと右指２２Ｒが広げられ、ハンド部１４－１の掌としてのベース部２１によって、クリーナＣ１１が窓Ｗ１の表面に押し付けられる。図１４の例においては、左指２２Ｌが図の右側に位置し、右指２２Ｒが図の左側に位置している。図１４のＡに示すハンド部１４の初期位置は、ベース部２１に設けられた距離センサ４１－０と左指２２Ｌの内側に設けられた距離センサ４１Ｌが、窓Ｗ１と平行に並ぶような位置である。
　ここでは、ロボット１は、ハンド部１４－１をラフな位置でクリーナＣ１１に接触させる。ベース部２１、左指２２Ｌ、および右指２２Ｒには距離センサ４１が設けられているため、クリーナＣ１１にラフな位置で接触させることにより、ロボット１は、ハンド部１４－１のどの部分にクリーナＣ１１が接触しているのかを、距離センサ４１により計測されたセンサ値に基づいて検出することができる。
　左指２２Ｌと右指２２Ｒが広げて配置された後、使用センサである距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７，４１Ｌ－８により距離の計測が行われる。図１４の場合、一点鎖線の光線Ｌ１で示すように、距離センサ４１Ｌ－１により、有効距離レンジ内のセンサ値（フレームＦ１までの距離を表すセンサ値）が計測される。ここでは、有効距離レンジは、０より大きく、かつ窓Ｗ１までの距離より小さい距離の範囲、あるいは、窓Ｗ１までの距離より大きい距離の範囲である。
　また、破線の光線Ｌ２乃至Ｌ４で示すように、距離センサ４１Ｌ－２，４１Ｌ－３，４１Ｌ－７により、有効距離レンジ外のセンサ値が計測される。
　距離センサ４１Ｌ－８が設けられている左指２２Ｌの部分が、ベース部２１とともにクリーナＣ１１に押し付けられているため、コンタクトレンジのセンサ値が距離センサ４１Ｌ－８により計測される。コンタクトレンジはセンサ値が０であることを表す。
　拭き掃除のタスクを実行する場合、クリーナＣ１１の端と窓Ｗ１の端の間隔である間隔δｘを幾何情報として用いて、タスクの進行状況の監視やハンド部１４－１の制御が行われる。図１４のＡの双方向の矢印で示す間隔δｘは、次式（３）により表される。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、ｘｅは、有効距離レンジ内のセンサ値を計測している距離センサ４１の位置の集合を表す。ｘｃは、コンタクトレンジのセンサ値を取得している距離センサ４１の位置の集合を表す。
　すなわち、min(ｘe)は、フレームＦ１の左端（窓Ｗ１との接触面側の端）の位置を表し、max(ｘc)は、クリーナＣ１１の右端の位置を表す。ハンド部１４－１による位置合わせ制御は、間隔δｘが小さくなるようにして行われる。
　具体的には、ロボット１は、図１４のＡに示す状態にあるハンド部１４－１を、白抜き矢印で示す＋ｘ方向（左指２２Ｌの指先側の方向）に移動させる。ハンド部１４－１を移動させることによって、図１４のＢに示すように、クリーナＣ１１の右端がフレームＦ１に近づく。
　この場合、一点鎖線の光線Ｌ１乃至Ｌ４で示すように、距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７は、有効距離レンジ内のセンサ値を計測することになる。この状態においては、min(ｘe)が距離センサ４１Ｌ－７の位置に対応する位置であり、max(ｘc)が距離センサ４１Ｌ－８の位置に対応する位置であるものとして、所定の長さの間隔δｘが求められる。
　間隔δｘが十分小さくなった場合、タスクが成功したとして判定される。このとき、図１５に示すように、ロボット１は、白抜き矢印で示す＋ｙ方向にハンド部１４－１を移動させる。ハンド部１４－１の移動に伴って、クリーナＣ１１も、同じ＋ｙ方向に移動する。
　タスクが成功したと判定したときに距離センサ４１により計測されたセンサ値は、次の動作としての、＋ｙ方向にハンド部１４－１を移動させるタスクに利用される。＋ｙ方向にハンド部１４－１を移動させるタスクにおいては、クリーナＣ１１とフレームＦ１の間の距離である間隔δｘを一定の距離に保つようにして、ハンド部１４－１の移動が制御される。
　通常、ハンド部を用いた窓の拭き掃除は、ハンド部の左右のフィンガ部でクリーナをつかんで行われることが多い。
　ロボット１においては、左指２２Ｌ、右指２２Ｒを広げ、ハンド部１４－１のベース部２１でクリーナＣ１１を窓Ｗ１の表面に押し付けて、幾何情報としての間隔δｘを計測しながら、拭き掃除の作業が行われる。間隔δｘを計測しながら拭き掃除が行われるため、窓Ｗ１の端のぎりぎりまで、クリーナＣ１１を移動させることが可能となる。
　なお、ハンド部１４－１の制御は、幾何情報である間隔δｘが小さくなるにつれて減速させながらハンド部１４－１を移動させるようにして行われる。
　図１６は、間隔δｘとハンド部１４－１の移動速度の指令値の例を示す図である。
　図１６の上段は間隔δｘを表し、下段は、ハンド部１４－１に対する移動速度の指令値を表す。図１６の横軸は時刻を表す。
　時刻ｔ０から時刻ｔ１までの期間は、図１４のＡを参照して説明したように、有効距離レンジ内のセンサ値が距離センサ４１Ｌ－１により計測されている期間である。この期間においては、間隔δｘは所定の距離となる。また、移動速度の指令値は所定の速度となる。
　時刻ｔ１から時刻ｔ２までの期間は、ハンド部１４－１が＋ｘ方向に移動する期間である。この期間においては、間隔δｘは、時刻ｔ１から徐々に低下する。また、移動速度の指令値は、時刻ｔ１から徐々に低下する。
　時刻ｔ２以降の期間は、図１４のＢを参照して説明したように、有効距離レンジ内のセンサ値が距離センサ４１Ｌ－１乃至４１Ｌ－３，４１Ｌ－７により計測されている期間である。この期間においては、間隔δｘは、時刻ｔ２以前よりも低い値となる。また、移動速度の指令値は、時刻ｔ２以前よりも低い値となる。
　図１７は、窓Ｗ１の拭き掃除を行うタスクの失敗時の様子を示す図である。
　図１７のＡに示すように、ハンド部１４－１とクリーナＣ１１の間で滑りが生じた状態でハンド部１４－１を移動させた場合、図１７のＢに示すように、クリーナＣ１１の移動量は、ハンド部１４－１の移動量よりも小さくなってしまう。すなわち、クリーナＣ１１とハンド部１４－１の接触位置がずれることになる。
　この場合、一点鎖線の光線Ｌ５で示すように、移動前においてはコンタクトレンジのセンサ値を計測していた距離センサ４１Ｌ－８により、有効距離レンジ外のセンサ値が計測される状態となる。クリーナＣ１１とハンド部１４－１との接触位置、すなわちmax(ｘc)の値が変化した場合、ハンド部１４－１とクリーナＣ１１の間で滑りが生じた（タスクが失敗した）と判定される。
　コンタクトレンジのセンサ値を計測していた１つの距離センサ４１のセンサ値が変化した場合、図１７のＣに示すように、情報処理装置５１は、１つの距離センサ４１（距離センサ４１Ｌ－８）の分だけ、ハンド部１４－１を白抜き矢印で示す方向（右指２２Ｒの指先の方向）に復帰動作タスクによって移動させる。その後、ロボット１は、ハンド部１４－１をクリーナＣ１１に再度接触させて、拭き掃除のタスクを再度行う。
　なお、距離センサ４１により計測されたセンサ値だけではなく、ハンド部１４に設けられた振動センサや触覚センサにより計測されたセンサ値をも用いて、ハンド部１４の制御が行われるようにしてもよい。例えば、ハンド部１４と操作物体の間で生じた滑りが、振動センサや触覚センサにより計測されたセンサ値に基づいて検出され、それにより、タスクの失敗が判定される。複数種類のセンサによる計測結果を用いることにより、ロボット１は、タスクの失敗判定の確度を向上させることが可能となる。
・物体を切るタスクの例
　図１８は、包丁Ｋ１を操作して物体Ｏｂ１を切るタスクの成功時の様子を示す図である。
　図１８の例においては、机Ｄ１に物体Ｏｂ１が置かれている。ロボット１は、フィンガ部２２で包丁Ｋ１の柄部分を把持し、指先を下に向けて、物体Ｏｂ１に包丁Ｋ１の刃部分を当てる。例えば、物体Ｏｂ１は野菜や果物などの食材である。この例においては、操作物体は包丁Ｋ１となる。また、操作物体の周囲の環境を構成する物体は、机Ｄ１（テーブル）と球体状の物体Ｏｂ１となる。
　包丁Ｋ１の刃部分を物体Ｏｂ１に当てた後、指先にある距離センサ４１－５が使用センサとして決定され、距離センサ４１－５により距離の計測が行われる。図１８の例においては、破線の光線Ｌ１１で示すように、机Ｄ１までの距離を表すセンサ値が距離センサ４１－５により計測される。
　物体Ｏｂ１を切るタスクを実行する場合、距離センサ４１－５により計測された、包丁Ｋ１の刃部分から机Ｄ１までの距離を幾何情報として用いて、タスクの進行状況の監視やハンド部１４－１の制御が行われる。例えば、指先が包丁Ｋ１の刃部分と同じ高さにある場合、距離センサ４１－５により計測された距離は、図１８のＡにおいて双方向の矢印で示す、包丁Ｋ１の刃部分から机Ｄ１までの距離と同じ距離になる。
　また、破線の光線Ｌ１２，Ｌ１３で示すように、ベース部２１に設けられた距離センサ４１－０により、包丁Ｋ１の柄部分までの複数の距離が計測される。図２等を参照して説明したように、掌に相当するベース部２１の上面には、複数の距離センサ４１－０が設けられる。
　物体Ｏｂ１を切るタスクにおいては、距離センサ４１－０により計測されたセンサ値に基づいて求められた包丁Ｋ１の傾き（姿勢）が、机Ｄ１までの距離とともに幾何情報として用いられる。包丁Ｋ１の傾きは、例えば、光線Ｌ１２によって計測される距離と光線Ｌ１３によって計測される距離の差によって表される。
　包丁Ｋ１を下ろすための位置合わせ制御は、机Ｄ１までの距離が小さくなるようにして行われる。具体的には、物体Ｏｂ１に包丁Ｋ１の刃部分を当てた状態にあるハンド部１４－１を、図１８のＡの白抜き矢印で示す下方向に移動させることによって、位置合わせ制御が行われる。ハンド部１４－１を移動させることによって、図１８のＡに示すように、包丁Ｋ１の刃部分が物体Ｏｂ１に押し込まれる。
　距離センサ４１－５により計測されたセンサ値が十分に小さくなった場合、包丁Ｋ１の刃部分が完全に机Ｄ１に接触したため、これ以上下がらなくなったと判定され、タスクが成功したとして判定される。
　距離センサ４１－５により計測されたセンサ値とともに、ハンド部１４－１の手首部分に設けられた力センサにより計測されたセンサ値が、タスクの成功判定に用いられるようにしてもよい。ハンド部１４－１の手首部分に設けられた力センサにより、例えば、包丁Ｋ１の刃部分が机Ｄ１に当たったときの反力が計測される。複数種類のセンサによる計測結果を用いることにより、ロボット１は、タスクの成功判定の確度を向上させることが可能となる。
　物体Ｏｂ１を切るタスクが成功したと判定された場合、物体Ｏｂ１から包丁Ｋ１を離すための位置合わせ制御が行われる。具体的には、図１８のＣに示すように、距離センサ４１－５により計測されたセンサ値が十分に大きくなるまで、ハンド部１４－１を白抜き矢印で示す上方向に移動させることによって、位置合わせ制御が行われる。
　なお、トングで掴んだ物体を特定の位置に置くタスクなどの、道具を使って物体の位置合わせを行うタスクにおいても、道具を含めてエンドエフェクタとみなすことによって、本技術を適用することが可能である。
　図１９は、包丁Ｋ１を操作して物体Ｏｂ１を切るタスクの失敗時の様子を示す図である。
　図１９のＡに示すように、包丁Ｋ１を物体Ｏｂ１に押し込んでいる際、物体Ｏｂ１から包丁Ｋ１が受けるモーメントにより、図１９のＢに示すように、包丁Ｋ１とハンド部１４－１の間で滑りが生じ、包丁Ｋ１の姿勢が変化することがある。
　この場合、一点鎖線の光線Ｌ１２，Ｌ１３で示すように、複数の距離センサ４１－０により、それぞれ異なるセンサ値が計測されることになる。距離センサ４１－０により計測されたセンサ値に基づいて、包丁Ｋ１の傾きが計算される。
　ロボット１は、幾何情報としての包丁Ｋ１の傾きに基づいて、包丁Ｋ１を物体Ｏｂ１に押し込む姿勢を調整する。具体的には、図１９のＣの白抜き矢印で示すように、包丁Ｋ１の傾きが０になるように、ハンド部１４－１の姿勢を変えるか、包丁Ｋ１を持ち直すことによって、姿勢の調整が行われる。このような姿勢を調整するタスクが、復帰動作タスクとして実行される。
　包丁Ｋ１の姿勢を調整することにより、ロボット１は、物体Ｏｂ１を切るタスクを最初からやり直すことなく、再開することが可能となる。
・物体の間に操作物体を置くタスクの例
　図２０は、本Ｂ１１と本Ｂ１２の間に別の本Ｂ１を置くタスクの失敗時の様子を示す図である。
　図２０の例においては、本Ｂ１１と本Ｂ１２が、所定の隙間を空けた状態で例えば本棚に置かれている。図２０は、それぞれの本の位置関係を上から見た図である。図２０のＡの状態においては、本Ｂ１１と本Ｂ１２が平行に並べられている。ロボット１は、右指２２Ｒと左指２２Ｌで本Ｂ１を把持し、本Ｂ１１と本Ｂ１２の間の隙間に置くように本Ｂ１を移動させる。この例においては、操作物体は本Ｂ１となる。また、操作物体の周囲の環境を構成する物体は、本Ｂ１１と本Ｂ１２となる。
　本Ｂ１を把持した後、左指２２Ｌの指先にある距離センサ４１Ｌ－５と右指２２Ｒの指先にある距離センサ４１Ｒ－５が使用センサとして決定され、距離センサ４１Ｌ－５と距離センサ４１Ｒ－５により距離の計測が行われる。図２０のＢの例においては、破線の光線Ｌ２１で示すように、左指２２Ｌの指先に設けられた距離センサ４１Ｌ－５により本Ｂ１１までの距離が計測される。また、破線の光線Ｌ２２で示すように、右指２２Ｒの指先に設けられた距離センサ４１Ｒ－５により本Ｂ１２までの距離が計測される。
　本Ｂ１１と本Ｂ１２の間に本Ｂ１を置くタスクを実行する場合、距離センサ４１Ｌ－５と距離センサ４１Ｒ－５により計測されたセンサ値の平均値を幾何情報として用いて、タスクの進行状況の監視やハンド部１４－１の制御が行われる。
　本Ｂ１を置くための位置合わせ制御は、距離センサ４１Ｌ－５と距離センサ４１Ｒ－５により計測されたセンサ値の平均値が０になるまで、本Ｂ１１と本Ｂ１２の隙間に本Ｂ１を挿入するようにして行われる。
　本Ｂ１を挿入する際、図２０のＢに示すように本Ｂ１が周囲の本Ｂ１１に接触し、図２０のＣに示すように本Ｂ１１が移動してしまうことがある。
　この場合、一点鎖線の光線Ｌ２１で示すように、距離センサ４１Ｌ－５により計測されたセンサ値が大きい値となる。これにより、距離センサ４１Ｌ－４と距離センサ４１Ｒ－５により計測されたセンサ値の平均値も大きい値となる。
　距離センサ４１Ｌ－４と距離センサ４１Ｒ－５により計測されたセンサ値の平均値が大きくなった場合、タスクが失敗したとして判定される。タスクが失敗したと判定された場合、復旧動作が行われる。具体的には、図２０のＤに示すように、ロボット１は、本Ｂ１を初期位置に戻し、動いてしまったＢ１１を元の位置に戻す。
　復旧動作を行った後、ロボット１はタスクを再度行うなどの、次のタスクを実行することができる。
　以上のように、ロボット１は、操作物体の周囲の物体が想定外に動いた場合の異常を検出することが可能となる。
＜５．変形例＞
・センサについて
　距離センサ４１により計測されたセンサ値に基づいて幾何情報が求められるものとしたが、ToF(Time of Flight)カメラやステレオカメラなどの他のセンサの計測結果に基づいて、幾何情報が求められるようにしてもよい。このように、距離の分布情報（多点の距離情報）を取得可能な各種のセンサを計測に用いることが可能である。
　また、スキャンするようにハンド部１４を移動させ、距離センサ４１による計測結果の時系列データをマージして作成されたハンド部１４の周囲の地図に基づいて、幾何情報が求められるようにしてもよい。これにより、ハンド部１４に設けられる距離センサ４１の数が少ない場合でも、距離センサ４１の位置を移動させることによって、幾何情報を求めるために必要な距離の分布情報を取得することが可能である。
　距離センサ４１がハンド部１４以外の他の部位に設けられるようにしてもよい。例えば、カードＣ１を拾い上げるタスクにおいては、他方の手（ハンド部１４－２）が机Ｄ１の下に配置され、ハンド部１４－２に設けられた距離センサ４１により計測されたセンサ値に基づいて位置合わせ制御が行われる。
　この場合、ロボット１は、ハンド部１４－２を初期位置に配置するのと同時に、ハンド部１４－１を用いて位置合わせ制御を行うことができる。これにより、ロボット１は、タスクに要する時間を短縮することが可能となる。
　操作物体の移動先となる目標位置に形状的な特徴がなく、目印が代わりにあるような場合、ハンド部１４に搭載されたRGBカメラやカラーセンサが出力する情報に基づいて、操作物体を目標位置に移動させるようにしてもよい。
　図２１は、机Ｄ１の特定の位置に操作物体を配置するタスクの様子を示す図である。
　図２１の例においては、机Ｄ１の天板上には形状的な特徴や目印がないものとされている。星印で示す、机Ｄ１の天板上の位置Ｐ１が、操作物体を配置する目標位置である。ロボット１は、フィンガ部２２で物体Ｏｂ１１を把持し、位置Ｐ１に置くように物体Ｏｂ１を移動させる。この例において、操作物体は物体Ｏｂ１１となる。また、操作物体の周囲の環境を構成する物体は、机Ｄ１となる。
　位置Ｐ１に物体Ｏｂ１１を配置するタスクを実行する場合、はじめに、視覚センサ１２Ａにより出力された画像情報に基づいて、図２１のＡの双方向の矢印に示す、机Ｄ１の端から位置Ｐ１までの目標距離が計算される。
　物体Ｏｂ１１を把持した後、アーム部１３－１に設けられた複数の距離センサ４１が使用センサとして決定され、距離センサ４１により距離の測定が行われる。図２１のＡの例においては、アーム部１３－１に設けられた距離センサ４１が机Ｄ１の天板と平行になるように配置され、机Ｄ１までの距離が光線Ｌ３１により計測される。
　位置Ｐ１に操作物体を配置するタスクにおいては、机Ｄ１の端から物体Ｏｂ１１までの距離を幾何情報として用いて、アーム部１３－１の制御が行われる。机Ｄ１の端から物体Ｏｂ１１までの距離は、アーム部１３－１に設けられた複数の距離センサ４１により計測されたセンサ値に基づいて求められる。
　物体Ｏｂ１１を位置Ｐ１に配置するための位置合わせは、机Ｄ１の端から物体Ｏｂ１１までの距離と目標距離との差が小さくなるようにして行われる。具体的には、アーム部１３－１を、図２１のＡの白抜き矢印で示す左方向に移動させることによって、図２１のＢ示すように、机Ｄ１の端から物体Ｏｂ１１までの距離は、双方向の矢印で示す目標距離と同じになる。
　この場合、破線の光線Ｌ３１乃至Ｌ３３で示すように、アーム部１３－１に設けられた距離センサ４１は、机Ｄ１までの距離を表すセンサ値を計測することになる。机Ｄ１までの端から物体Ｏｂ１１までの距離と目標位置との差が十分に小さくなった場合、物体Ｏｂ１１を机Ｄ１に置くようにアーム部１３－１を下方向に移動させることによって、位置Ｐ１に物体Ｏｂ１１が配置される。
・アクチュエータについて
　電磁モータ以外のアクチュエータがエンドエフェクタに搭載されるようにしてもよい。例えば、吸着方式のエンドエフェクタがロボット１に搭載される。ロボット１は、吸着式のエンドエフェクタを用いて、カードのような軽い物体を容易に保持することができる。
　吸着式のエンドエフェクタを用いて重量の重い物体を保持する場合、カードＣ１を拾い上げる場合と同様に、ロボット１は、物体を吸着した状態で机の手前に一旦移動させてから、別のフィンガ部の吸着機構で物体の裏を吸着して保持することも可能である。机の手前に重い物体を一旦移動させてから保持することにより、ロボット１は、保持の安定性を増すことができる。
・制御について
　距離センサ４１により計測されたセンサ値とともに、視覚センサ１２Ａ（Depthカメラなどの３次元計測器）によりタスク開始時に計測された情報に基づいて、位置合わせ制御が行われるようにしてもよい。距離センサ４１は離散的に配置されるため、そのような距離センサ４１により計測されたセンサ値に基づいて求められた幾何情報の精度は低くなることがある。
　視覚センサ１２Ａにより計測された情報に基づいて距離センサ４１間の距離情報を補完することによって、ロボット１は、精度の高い幾何情報を求めることができ、小さい物体や複雑な形状の物体の位置合わせ制御の精度を向上させることが可能となる。
　ハンド部１４－１を初期位置に移動させる動作が複数回行われるようにしてもよい。例えば、ハンド部１４－１を初期位置に移動させた後に距離センサ４１により計測されたセンサ値の質が悪い場合（ノイズが大きい場合、計測抜けが多い場合等）、ロボット１は、その初期位置からハンド部１４－１の姿勢を変更したり、別の候補となる初期位置に移動したりする。
・システム構成について
　図２２は、システムの構成例を示す図である。
　図２２に示すシステムは、情報処理装置５１がロボット１の外部の装置として設けられることによって構成される。このように、情報処理装置５１が、ロボット１の筐体の外部に設けられるようにしてもよい。
　図２２のロボット１と情報処理装置５１の間では、無線LAN、LTE(Long Term Evolution)などの所定の規格の無線通信が行われる。
　ロボット１から情報処理装置５１に対しては、ロボット１の状態を表す情報やセンサの検出結果を表す情報などの各種の情報が送信される。情報処理装置５１からロボット１に対しては、ロボット１の動作を制御するための情報などが送信される。
　ロボット１と情報処理装置５１が、図２２のＡに示すように直接接続されるようにしてもよいし、図２２のＢに示すように、インターネットなどのネットワーク６１を介して接続されるようにしてもよい。複数台のロボット１の動作が１台の情報処理装置５１により制御されるようにしてもよい。
・コンピュータについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する制御部を備える
　情報処理装置。
（２）
　前記ハンド部は、複数のフィンガ部と、複数の前記フィンガ部を支持する支持部とから構成され、
　前記センサは、少なくとも、前記対象物との接触面となる、それぞれの前記フィンガ部の内側の面に複数並べて設けられる
　（１）に記載の情報処理装置。
（３）
　前記制御部は、前記ハンド部を支持するアーム部を駆動させるとともに、それぞれの前記フィンガ部を駆動させることによって、前記ハンド部の位置を制御する
　前記（２）に記載の情報処理装置。
（４）
　複数の前記センサにより計測された距離の分布に基づいて、前記位置関係を推定する推定部をさらに備える
　前記（３）に記載の情報処理装置。
（５）
　前記推定部は、所定の範囲内の距離を計測した前記センサの数に基づいて、前記対象物の、前記フィンガ部による接触可能面積を推定する
　前記（４）に記載の情報処理装置。
（６）
　前記タスクは、周囲にある前記物体としての天板の上に置かれている前記対象物を、前記フィンガ部によって上下から挟むことができる位置に移動させるタスクであり、
　前記制御部は、前記対象物の上に配置された前記フィンガ部が前記対象物に接触し、前記天板の下に配置された前記フィンガ部に設けられた前記センサが前記対象物の移動方向と平行に並ぶように位置決めされた状態の前記ハンド部を、前記移動方向に移動させる
　前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記ハンド部の移動速度を前記接触可能面積に応じて制御する
　前記（６）に記載の情報処理装置。
（８）
　前記センサとは異なる位置に設けられた視覚センサによる計測結果に基づいて、前記タスクに応じた前記ハンド部の初期位置を決定する初期位置決定部と、
　前記ハンド部を初期位置に移動させる初期位置移動制御部と
　をさらに備える前記（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記初期位置決定部は、使用する前記センサである使用センサを、前記ハンド部に設けられた複数の前記センサの中から前記タスクに応じて決定し、前記使用センサの初期位置を決定する
　前記（８）に記載の情報処理装置。
（１０）
　前記タスクに応じて決定される条件を前記位置関係が満たすか否かに応じて、前記タスクの成否を判定する判定部をさらに備え、
　前記制御部は、前記タスクに失敗したと判定された場合、前記タスクに失敗したときの前記位置関係に基づいて決定された復帰タスクに従って、前記ハンド部の位置を制御する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記推定部は、第１の範囲内の距離を計測した前記センサと、第２の範囲内の距離を計測した前記センサとの間隔に基づいて、前記対象物と周囲にある前記物体との前記位置関係を推定する
　前記（４）に記載の情報処理装置。
（１２）
　前記タスクは、平面に接触している前記対象物を、前記センサが並べて設けられた前記支持部によって前記平面に押し付けた状態のまま、前記平面の端に設けられた前記物体に近付けるタスクであり、
　前記制御部は、前記フィンガ部に設けられた前記センサと前記支持部に設けられた前記センサが前記平面と平行に並ぶように位置決めされた状態の前記ハンド部を移動させる
　前記（１１）に記載の情報処理装置。
（１３）
　前記推定部は、前記対象物を把持する前記フィンガ部の先端に設けられた前記センサにより計測された移動方向にある物体までの距離に基づいて、前記位置関係を推定する
　前記（４）に記載の情報処理装置。
（１４）
　前記推定部は、さらに、前記支持部に並べて設けられた前記センサにより計測された前記対象物までの距離に基づいて前記対象物の姿勢を推定する
　前記（１３）に記載の情報処理装置。
（１５）
　前記推定部は、前記対象物を把持する複数の前記フィンガ部のそれぞれの先端に設けられた前記センサにより計測された、移動方向にある前記物体までの距離の平均に基づいて、前記位置関係を推定する
　前記（４）に記載の情報処理装置。
（１６）
　情報処理装置が、
　特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
　情報処理方法。
（１７）
　コンピュータに、
　特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
　処理を実行させるためのプログラム。
　１　ロボット，　１３　アーム部，　１４　ハンド部，　２１　ベース部，　２２　フィンガ部，　４１　距離センサ，　５１　情報処理装置，　６１　ネットワーク，　１０１　環境計測部，　１０２　タスク決定部，　１０３　ハンド・フィンガ初期位置決定部，　１０４　初期位置データベース，　１０５　初期位置異動制御部，　１０６　目標値計算部，　１０７　幾何情報推定部，　１０８　位置合わせ制御部，　１０９　タスク成否条件計算部，　１１０　タスク成否判定部，　１２１　駆動部，　１３１　減算器，　１３２　変換器，　１３３　減算器，　１３４　コントローラ

Claims (17)

  1. 　特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する制御部を備える
    　情報処理装置。
  2. 　前記ハンド部は、複数のフィンガ部と、複数の前記フィンガ部を支持する支持部とから構成され、
    　前記センサは、少なくとも、前記対象物との接触面となる、それぞれの前記フィンガ部の内側の面に複数並べて設けられる
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記ハンド部を支持するアーム部を駆動させるとともに、それぞれの前記フィンガ部を駆動させることによって、前記ハンド部の位置を制御する
    　請求項２に記載の情報処理装置。
  4. 　複数の前記センサにより計測された距離の分布に基づいて、前記位置関係を推定する推定部をさらに備える
    　請求項３に記載の情報処理装置。
  5. 　前記推定部は、所定の範囲内の距離を計測した前記センサの数に基づいて、前記対象物の、前記フィンガ部による接触可能面積を推定する
    　請求項４に記載の情報処理装置。
  6. 　前記タスクは、周囲にある前記物体としての天板の上に置かれている前記対象物を、前記フィンガ部によって上下から挟むことができる位置に移動させるタスクであり、
    　前記制御部は、前記対象物の上に配置された前記フィンガ部が前記対象物に接触し、前記天板の下に配置された前記フィンガ部に設けられた前記センサが前記対象物の移動方向と平行に並ぶように位置決めされた状態の前記ハンド部を、前記移動方向に移動させる
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記ハンド部の移動速度を前記接触可能面積に応じて制御する
    　請求項６に記載の情報処理装置。
  8. 　前記センサとは異なる位置に設けられた視覚センサによる計測結果に基づいて、前記タスクに応じた前記ハンド部の初期位置を決定する初期位置決定部と、
    　前記ハンド部を初期位置に移動させる初期位置移動制御部と
    　をさらに備える請求項２に記載の情報処理装置。
  9. 　前記初期位置決定部は、使用する前記センサである使用センサを、前記ハンド部に設けられた複数の前記センサの中から前記タスクに応じて決定し、前記使用センサの初期位置を決定する
    　請求項８に記載の情報処理装置。
  10. 　前記タスクに応じて決定される条件を前記位置関係が満たすか否かに応じて、前記タスクの成否を判定する判定部をさらに備え、
    　前記制御部は、前記タスクに失敗したと判定された場合、前記タスクに失敗したときの前記位置関係に基づいて決定された復帰タスクに従って、前記ハンド部の位置を制御する
    　請求項１に記載の情報処理装置。
  11. 　前記推定部は、第１の範囲内の距離を計測した前記センサと、第２の範囲内の距離を計測した前記センサとの間隔に基づいて、前記対象物と周囲にある前記物体との前記位置関係を推定する
    　請求項４に記載の情報処理装置。
  12. 　前記タスクは、平面に接触している前記対象物を、前記センサが並べて設けられた前記支持部によって前記平面に押し付けた状態のまま、前記平面の端に設けられた前記物体に近付けるタスクであり、
    　前記制御部は、前記フィンガ部に設けられた前記センサと前記支持部に設けられた前記センサが前記平面と平行に並ぶように位置決めされた状態の前記ハンド部を移動させる
    　請求項１１に記載の情報処理装置。
  13. 　前記推定部は、前記対象物を把持する前記フィンガ部の先端に設けられた前記センサにより計測された移動方向にある物体までの距離に基づいて、前記位置関係を推定する
    　請求項４に記載の情報処理装置。
  14. 　前記推定部は、さらに、前記支持部に並べて設けられた前記センサにより計測された前記対象物までの距離に基づいて前記対象物の姿勢を推定する
    　請求項１３に記載の情報処理装置。
  15. 　前記推定部は、前記対象物を把持する複数の前記フィンガ部のそれぞれの先端に設けられた前記センサにより計測された、移動方向にある前記物体までの距離の平均に基づいて、前記位置関係を推定する
    　請求項４に記載の情報処理装置。
  16. 　情報処理装置が、
    　特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
    　情報処理方法。
  17. 　コンピュータに、
    　特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
    　処理を実行させるためのプログラム。
PCT/JP2021/027079 2020-08-03 2021-07-20 情報処理装置、情報処理方法、およびプログラム WO2022030242A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/006,733 US20230302632A1 (en) 2020-08-03 2021-07-20 Information processing device, information processing method, and program
EP21852161.5A EP4190514A4 (en) 2020-08-03 2021-07-20 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM
JP2022541425A JPWO2022030242A1 (ja) 2020-08-03 2021-07-20

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-131437 2020-08-03
JP2020131437 2020-08-03

Publications (1)

Publication Number Publication Date
WO2022030242A1 true WO2022030242A1 (ja) 2022-02-10

Family

ID=80117298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027079 WO2022030242A1 (ja) 2020-08-03 2021-07-20 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20230302632A1 (ja)
EP (1) EP4190514A4 (ja)
JP (1) JPWO2022030242A1 (ja)
WO (1) WO2022030242A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009274204A (ja) * 2008-05-13 2009-11-26 Samsung Electronics Co Ltd ロボット、ロボットハンド及びロボットハンドの制御方法
WO2016135861A1 (ja) * 2015-02-24 2016-09-01 株式会社日立製作所 マニプレータ、マニプレータの動作計画方法、および、マニプレータの制御システム
JP2016196077A (ja) 2015-04-06 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019059021A (ja) * 2012-05-31 2019-04-18 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 非接触式光学距離及び触覚を感知する装置及び方法
JP2020016446A (ja) 2018-07-23 2020-01-30 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム、計測装置、及び物品製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009274204A (ja) * 2008-05-13 2009-11-26 Samsung Electronics Co Ltd ロボット、ロボットハンド及びロボットハンドの制御方法
JP2019059021A (ja) * 2012-05-31 2019-04-18 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 非接触式光学距離及び触覚を感知する装置及び方法
WO2016135861A1 (ja) * 2015-02-24 2016-09-01 株式会社日立製作所 マニプレータ、マニプレータの動作計画方法、および、マニプレータの制御システム
JP2016196077A (ja) 2015-04-06 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020016446A (ja) 2018-07-23 2020-01-30 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム、計測装置、及び物品製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4190514A4

Also Published As

Publication number Publication date
EP4190514A1 (en) 2023-06-07
US20230302632A1 (en) 2023-09-28
EP4190514A4 (en) 2024-01-17
JPWO2022030242A1 (ja) 2022-02-10

Similar Documents

Publication Publication Date Title
US11090814B2 (en) Robot control method
JP6921151B2 (ja) ロボットの把持のための深層機械学習方法および装置
Li et al. A Control Framework for Tactile Servoing.
US10589424B2 (en) Robot control device, robot, and robot system
EP4219088A1 (en) Determining and utilizing corrections to robot actions
JP6450960B2 (ja) ロボット、ロボットシステム及び教示方法
JP2020532440A (ja) オブジェクトをロバストに把持し、ターゲティングするためのロボットシステムおよび方法
JP2018161692A (ja) 情報処理装置、情報処理方法およびプログラム
JP2015213973A (ja) ピッキング装置およびピッキング方法
JP7481427B2 (ja) 取り出しシステム及び方法
JP4001105B2 (ja) ロボットによる任意形状物体の把持方法
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
Koyama et al. Integrated control of a multi-fingered hand and arm using proximity sensors on the fingertips
CN115070781B (zh) 一种物体抓取方法及双机械臂协作***
JP2016196077A (ja) 情報処理装置、情報処理方法、およびプログラム
Back et al. Control a contact sensing finger for surface haptic exploration
US20220203517A1 (en) Non-transitory storage medium and method and system of creating control program for robot
WO2022030242A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6931585B2 (ja) 作業システム、作業システムの制御方法及びプログラム
JP7353948B2 (ja) ロボットシステム及びロボットシステムの制御方法
Schiebener et al. Discovery, segmentation and reactive grasping of unknown objects
JP4640499B2 (ja) 把持制御装置
JP2021045810A (ja) モーション情報生成装置、エンドエフェクタ、ロボット及びロボットシステム
WO2022085560A1 (ja) ロボットハンド制御装置、及びロボットハンドの制御方法
US20230234231A1 (en) Teleoperation assist device, teleoperation assist method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21852161

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022541425

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021852161

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021852161

Country of ref document: EP

Effective date: 20230303