WO2022030242A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2022030242A1 WO2022030242A1 PCT/JP2021/027079 JP2021027079W WO2022030242A1 WO 2022030242 A1 WO2022030242 A1 WO 2022030242A1 JP 2021027079 W JP2021027079 W JP 2021027079W WO 2022030242 A1 WO2022030242 A1 WO 2022030242A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- task
- sensor
- unit
- distance
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 70
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 18
- 230000036544 posture Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000005520 cutting process Methods 0.000 description 9
- 238000004140 cleaning Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 239000012636 effector Substances 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37425—Distance, range
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39487—Parallel jaws, two fingered hand
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39527—Workpiece detector, sensor mounted in, near hand, gripper
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39543—Recognize object and plan hand shapes in grasping movements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40264—Human like, type robot arm
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40298—Manipulator on vehicle, wheels, mobile
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40564—Recognize shape, contour of object, extract position and orientation
Definitions
- Various tasks using a robot hand such as grasping an object, are usually realized by controlling the robot hand or determining the success or failure of the task based on the sensor value acquired by the sensor. ..
- This technology was made in view of such a situation, and makes it possible to appropriately control the alignment of the operating object.
- the information processing device on one aspect of the present technology is used to execute a task of moving an object to a specific position, and the position of a hand portion provided with a plurality of sensors on the surface is determined while the hand portion is moving. It is an information processing apparatus including a control unit that controls based on the positional relationship information representing the positional relationship between the object and an object around the object, which is estimated based on the distance measured by the sensor.
- the arm portion 13 When it is not necessary to distinguish between the arm portions 13-1 and 13-2 as appropriate, they are collectively referred to as the arm portion 13.
- the hand unit 14 When it is not necessary to distinguish between the hand units 14-1 and 14-2, they are collectively referred to as the hand unit 14.
- Other configurations provided in plurality will also be described together as appropriate.
- FIG. 2 is an enlarged view of the hand portion 14-1.
- nine distance sensors 41-0 are provided vertically and horizontally on the upper surface of the base portion 21 corresponding to the palm.
- the distance sensors 41-0 are provided at predetermined intervals.
- Distance sensors 41L-7 and 41L-8 are provided side by side inside the plate-shaped portion 31L.
- a distance sensor 41L-9 (not shown) is provided on the outside of the plate-shaped portion 31L as on the right finger 22R side.
- the distance sensor 41 when it is not necessary to distinguish between the distance sensors 41L-1 to 41L-9 and the distance sensors 41R-1 to 41R-9 as appropriate, they are collectively referred to as the distance sensor 41.
- the distance to each position of the object is measured by detecting the reflected light of the light beam emitted by each distance sensor 41.
- the light emitted by the distance sensor 41 is shown in color.
- the hand portion 14 is a two-finger type grip portion
- a multi-finger type grip portion having a different number of finger portions, such as a three-finger type and a five-finger type, may be provided.
- the degree of freedom of the finger portion, the number of distance sensors 41, and the arrangement of the distance sensors 41 can be arbitrarily set.
- FIG. 5 is a block diagram showing a hardware configuration example of the robot 1.
- the hand finger initial position determination unit 103 determines a use sensor, which is a distance sensor 41 used for monitoring the execution status of the task, according to the task determined by the task determination unit 102. From the plurality of distance sensors 41 provided in the hand unit 14, the distance sensor 41 suitable for monitoring the execution status of the task is determined as the sensor to be used.
- step S1 the task determination unit 102 determines the task to be executed.
- the contactable area Est is the target value. Is reached, and it is determined that the task of moving the card C1 toward you has succeeded. At this time, next, the task of bringing the left finger 22L into contact with the lower surface of the card C1 is executed.
- the slide of the hand portion 14-1 is continued.
- the card C1 shifts further slightly, as shown in A in FIG.
- the contactable area Rest of the card C1 is smaller than that in the case of A in FIG. 9, in which the hand portion 14-1 could be slid without slipping.
- n ref represents the number of distance sensors 41 that measure the sensor values within the effective distance range required for the contactable area to reach the target value.
- n represents the current number of distance sensors 41 that measure sensor values within the effective distance range.
- S ref represents the target value of the contactable area.
- Equation (2) states that if the area of the card C1 corresponding to the footprint area of the n ref distance sensors 41 protrudes from the edge portion of the desk D1, the contactable area Est becomes larger than the target value S ref . show.
- FIG. 12 is a diagram showing an example of control by the alignment control unit 108.
- the control of the hand unit 14 by the alignment control unit 108 is performed by moving the hand unit 14 while decelerating as the contactable area Rest , which is geometric information, increases.
- the converter 132 applies the conversion coefficient K to the difference supplied from the subtractor 131, and calculates the target value v ref of the moving speed. For example, the smaller the difference between the target value S ref and the contactable area S est , the smaller the value is calculated as the target value v ref of the moving speed.
- the converter 132 outputs the target value v ref of the moving speed to the subtractor 133.
- Robot 1 can improve the accuracy and success rate of the task of moving the operating object to the target position.
- the inclination (attitude) of the kitchen knife K1 obtained based on the sensor value measured by the distance sensor 41-0 is used as geometric information together with the distance to the desk D1.
- the inclination of the kitchen knife K1 is represented by, for example, the difference between the distance measured by the light ray L12 and the distance measured by the light ray L13.
- the robot 1 can restart the task of cutting the object Ob1 without restarting from the beginning.
- the distance sensor 41L-5 at the fingertip of the left finger 22L and the distance sensor 41R-5 at the fingertip of the right finger 22R are determined as the sensors to be used, and the distance sensor 41L-5 and the distance sensor 41R-5 are determined. Measures the distance.
- the distance to the present B11 is measured by the distance sensor 41L-5 provided at the fingertip of the left finger 22L.
- the distance to the present B12 is measured by the distance sensor 41R-5 provided at the fingertip of the right finger 22R.
- the robot 1 After performing the recovery operation, the robot 1 can execute the next task such as performing the task again.
- a plurality of distance sensors 41 provided on the arm portion 13-1 are determined as the sensors to be used, and the distance is measured by the distance sensor 41.
- the distance sensor 41 provided on the arm portion 13-1 is arranged so as to be parallel to the top plate of the desk D1, and the distance to the desk D1 is measured by the light ray L31.
- FIG. 22 is a diagram showing a configuration example of the system.
- the information processing device controls the position of the hand unit by driving the arm unit that supports the hand unit and driving each of the finger units.
- the information processing apparatus according to (3) further comprising an estimation unit that estimates the positional relationship based on the distribution of distances measured by the plurality of sensors.
- the information processing apparatus estimates the contactable area of the object by the finger portion based on the number of sensors that measure a distance within a predetermined range.
- the task is a task of moving the object placed on the top plate as the object in the surroundings to a position where the object can be pinched from above and below by the finger portion.
- the information processing apparatus which estimates the positional relationship.
- the task is a task of bringing the object in contact with the plane closer to the object provided at the end of the plane while being pressed against the plane by the support portion provided side by side with the sensors.
- the control unit moves the hand unit in a state where the sensor provided in the finger unit and the sensor provided in the support unit are positioned so as to be aligned in parallel with the plane.
- Information processing equipment. (13)
- the estimation unit estimates the positional relationship based on the distance to an object in the moving direction measured by the sensor provided at the tip of the finger unit that grips the object. Information processing equipment.
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
Description
1.ロボットの外観構成
2.ロボットの構成
3.情報処理装置の動作
4.他のタスクの例
5.変形例
図1は、本技術の一実施の形態に係るロボット1の外観の例を示す図である。
・ハードウェアの構成
図5は、ロボット1のハードウェア構成例を示すブロック図である。
図6は、情報処理装置51の機能構成例を示すブロック図である。
・薄い物体を把持するタスクの例
図7のフローチャートを参照して、情報処理装置51の処理について説明する。
図12は、位置合わせ制御部108による制御の例を示す図である。
以上のように、ロボット1においては、実行するタスクの内容に応じて、操作物体と環境の変位を計測しやすい位置に距離センサ41が配置される。これにより、位置が固定のカメラでは計測が困難となる、ロボットハンドが操作物体を遮蔽してしまうようなタスクの進行状況の監視を常に行うことが可能となる。
他のタスクに本技術を適用した例を以下に示す。なお、タスクの基本的な流れは、図8乃至図11を参照して説明した、カードC1を把持するタスクの流れと同様の流れとなる。
図14、図15は、クリーナC11を用いて窓W1の拭き掃除を行うタスクの成功時の様子を示す図である。
図18は、包丁K1を操作して物体Ob1を切るタスクの成功時の様子を示す図である。
図20は、本B11と本B12の間に別の本B1を置くタスクの失敗時の様子を示す図である。
・センサについて
距離センサ41により計測されたセンサ値に基づいて幾何情報が求められるものとしたが、ToF(Time of Flight)カメラやステレオカメラなどの他のセンサの計測結果に基づいて、幾何情報が求められるようにしてもよい。このように、距離の分布情報(多点の距離情報)を取得可能な各種のセンサを計測に用いることが可能である。
電磁モータ以外のアクチュエータがエンドエフェクタに搭載されるようにしてもよい。例えば、吸着方式のエンドエフェクタがロボット1に搭載される。ロボット1は、吸着式のエンドエフェクタを用いて、カードのような軽い物体を容易に保持することができる。
距離センサ41により計測されたセンサ値とともに、視覚センサ12A(Depthカメラなどの3次元計測器)によりタスク開始時に計測された情報に基づいて、位置合わせ制御が行われるようにしてもよい。距離センサ41は離散的に配置されるため、そのような距離センサ41により計測されたセンサ値に基づいて求められた幾何情報の精度は低くなることがある。
図22は、システムの構成例を示す図である。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
本技術は、以下のような構成をとることもできる。
特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する制御部を備える
情報処理装置。
(2)
前記ハンド部は、複数のフィンガ部と、複数の前記フィンガ部を支持する支持部とから構成され、
前記センサは、少なくとも、前記対象物との接触面となる、それぞれの前記フィンガ部の内側の面に複数並べて設けられる
(1)に記載の情報処理装置。
(3)
前記制御部は、前記ハンド部を支持するアーム部を駆動させるとともに、それぞれの前記フィンガ部を駆動させることによって、前記ハンド部の位置を制御する
前記(2)に記載の情報処理装置。
(4)
複数の前記センサにより計測された距離の分布に基づいて、前記位置関係を推定する推定部をさらに備える
前記(3)に記載の情報処理装置。
(5)
前記推定部は、所定の範囲内の距離を計測した前記センサの数に基づいて、前記対象物の、前記フィンガ部による接触可能面積を推定する
前記(4)に記載の情報処理装置。
(6)
前記タスクは、周囲にある前記物体としての天板の上に置かれている前記対象物を、前記フィンガ部によって上下から挟むことができる位置に移動させるタスクであり、
前記制御部は、前記対象物の上に配置された前記フィンガ部が前記対象物に接触し、前記天板の下に配置された前記フィンガ部に設けられた前記センサが前記対象物の移動方向と平行に並ぶように位置決めされた状態の前記ハンド部を、前記移動方向に移動させる
前記(5)に記載の情報処理装置。
(7)
前記制御部は、前記ハンド部の移動速度を前記接触可能面積に応じて制御する
前記(6)に記載の情報処理装置。
(8)
前記センサとは異なる位置に設けられた視覚センサによる計測結果に基づいて、前記タスクに応じた前記ハンド部の初期位置を決定する初期位置決定部と、
前記ハンド部を初期位置に移動させる初期位置移動制御部と
をさらに備える前記(2)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記初期位置決定部は、使用する前記センサである使用センサを、前記ハンド部に設けられた複数の前記センサの中から前記タスクに応じて決定し、前記使用センサの初期位置を決定する
前記(8)に記載の情報処理装置。
(10)
前記タスクに応じて決定される条件を前記位置関係が満たすか否かに応じて、前記タスクの成否を判定する判定部をさらに備え、
前記制御部は、前記タスクに失敗したと判定された場合、前記タスクに失敗したときの前記位置関係に基づいて決定された復帰タスクに従って、前記ハンド部の位置を制御する
前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記推定部は、第1の範囲内の距離を計測した前記センサと、第2の範囲内の距離を計測した前記センサとの間隔に基づいて、前記対象物と周囲にある前記物体との前記位置関係を推定する
前記(4)に記載の情報処理装置。
(12)
前記タスクは、平面に接触している前記対象物を、前記センサが並べて設けられた前記支持部によって前記平面に押し付けた状態のまま、前記平面の端に設けられた前記物体に近付けるタスクであり、
前記制御部は、前記フィンガ部に設けられた前記センサと前記支持部に設けられた前記センサが前記平面と平行に並ぶように位置決めされた状態の前記ハンド部を移動させる
前記(11)に記載の情報処理装置。
(13)
前記推定部は、前記対象物を把持する前記フィンガ部の先端に設けられた前記センサにより計測された移動方向にある物体までの距離に基づいて、前記位置関係を推定する
前記(4)に記載の情報処理装置。
(14)
前記推定部は、さらに、前記支持部に並べて設けられた前記センサにより計測された前記対象物までの距離に基づいて前記対象物の姿勢を推定する
前記(13)に記載の情報処理装置。
(15)
前記推定部は、前記対象物を把持する複数の前記フィンガ部のそれぞれの先端に設けられた前記センサにより計測された、移動方向にある前記物体までの距離の平均に基づいて、前記位置関係を推定する
前記(4)に記載の情報処理装置。
(16)
情報処理装置が、
特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
情報処理方法。
(17)
コンピュータに、
特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
処理を実行させるためのプログラム。
Claims (17)
- 特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する制御部を備える
情報処理装置。 - 前記ハンド部は、複数のフィンガ部と、複数の前記フィンガ部を支持する支持部とから構成され、
前記センサは、少なくとも、前記対象物との接触面となる、それぞれの前記フィンガ部の内側の面に複数並べて設けられる
請求項1に記載の情報処理装置。 - 前記制御部は、前記ハンド部を支持するアーム部を駆動させるとともに、それぞれの前記フィンガ部を駆動させることによって、前記ハンド部の位置を制御する
請求項2に記載の情報処理装置。 - 複数の前記センサにより計測された距離の分布に基づいて、前記位置関係を推定する推定部をさらに備える
請求項3に記載の情報処理装置。 - 前記推定部は、所定の範囲内の距離を計測した前記センサの数に基づいて、前記対象物の、前記フィンガ部による接触可能面積を推定する
請求項4に記載の情報処理装置。 - 前記タスクは、周囲にある前記物体としての天板の上に置かれている前記対象物を、前記フィンガ部によって上下から挟むことができる位置に移動させるタスクであり、
前記制御部は、前記対象物の上に配置された前記フィンガ部が前記対象物に接触し、前記天板の下に配置された前記フィンガ部に設けられた前記センサが前記対象物の移動方向と平行に並ぶように位置決めされた状態の前記ハンド部を、前記移動方向に移動させる
請求項5に記載の情報処理装置。 - 前記制御部は、前記ハンド部の移動速度を前記接触可能面積に応じて制御する
請求項6に記載の情報処理装置。 - 前記センサとは異なる位置に設けられた視覚センサによる計測結果に基づいて、前記タスクに応じた前記ハンド部の初期位置を決定する初期位置決定部と、
前記ハンド部を初期位置に移動させる初期位置移動制御部と
をさらに備える請求項2に記載の情報処理装置。 - 前記初期位置決定部は、使用する前記センサである使用センサを、前記ハンド部に設けられた複数の前記センサの中から前記タスクに応じて決定し、前記使用センサの初期位置を決定する
請求項8に記載の情報処理装置。 - 前記タスクに応じて決定される条件を前記位置関係が満たすか否かに応じて、前記タスクの成否を判定する判定部をさらに備え、
前記制御部は、前記タスクに失敗したと判定された場合、前記タスクに失敗したときの前記位置関係に基づいて決定された復帰タスクに従って、前記ハンド部の位置を制御する
請求項1に記載の情報処理装置。 - 前記推定部は、第1の範囲内の距離を計測した前記センサと、第2の範囲内の距離を計測した前記センサとの間隔に基づいて、前記対象物と周囲にある前記物体との前記位置関係を推定する
請求項4に記載の情報処理装置。 - 前記タスクは、平面に接触している前記対象物を、前記センサが並べて設けられた前記支持部によって前記平面に押し付けた状態のまま、前記平面の端に設けられた前記物体に近付けるタスクであり、
前記制御部は、前記フィンガ部に設けられた前記センサと前記支持部に設けられた前記センサが前記平面と平行に並ぶように位置決めされた状態の前記ハンド部を移動させる
請求項11に記載の情報処理装置。 - 前記推定部は、前記対象物を把持する前記フィンガ部の先端に設けられた前記センサにより計測された移動方向にある物体までの距離に基づいて、前記位置関係を推定する
請求項4に記載の情報処理装置。 - 前記推定部は、さらに、前記支持部に並べて設けられた前記センサにより計測された前記対象物までの距離に基づいて前記対象物の姿勢を推定する
請求項13に記載の情報処理装置。 - 前記推定部は、前記対象物を把持する複数の前記フィンガ部のそれぞれの先端に設けられた前記センサにより計測された、移動方向にある前記物体までの距離の平均に基づいて、前記位置関係を推定する
請求項4に記載の情報処理装置。 - 情報処理装置が、
特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
情報処理方法。 - コンピュータに、
特定の位置に対象物を移動させるタスクの実行に用いられ、表面に複数のセンサが設けられたハンド部の位置を、前記ハンド部の移動中に前記センサにより計測された距離に基づいて推定された、前記対象物と前記対象物の周囲にある物体との位置関係を表す位置関係情報に基づいて制御する
処理を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/006,733 US20230302632A1 (en) | 2020-08-03 | 2021-07-20 | Information processing device, information processing method, and program |
EP21852161.5A EP4190514A4 (en) | 2020-08-03 | 2021-07-20 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM |
JP2022541425A JPWO2022030242A1 (ja) | 2020-08-03 | 2021-07-20 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-131437 | 2020-08-03 | ||
JP2020131437 | 2020-08-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022030242A1 true WO2022030242A1 (ja) | 2022-02-10 |
Family
ID=80117298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/027079 WO2022030242A1 (ja) | 2020-08-03 | 2021-07-20 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230302632A1 (ja) |
EP (1) | EP4190514A4 (ja) |
JP (1) | JPWO2022030242A1 (ja) |
WO (1) | WO2022030242A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009274204A (ja) * | 2008-05-13 | 2009-11-26 | Samsung Electronics Co Ltd | ロボット、ロボットハンド及びロボットハンドの制御方法 |
WO2016135861A1 (ja) * | 2015-02-24 | 2016-09-01 | 株式会社日立製作所 | マニプレータ、マニプレータの動作計画方法、および、マニプレータの制御システム |
JP2016196077A (ja) | 2015-04-06 | 2016-11-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2019059021A (ja) * | 2012-05-31 | 2019-04-18 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 非接触式光学距離及び触覚を感知する装置及び方法 |
JP2020016446A (ja) | 2018-07-23 | 2020-01-30 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、プログラム、計測装置、及び物品製造方法 |
-
2021
- 2021-07-20 WO PCT/JP2021/027079 patent/WO2022030242A1/ja active Application Filing
- 2021-07-20 US US18/006,733 patent/US20230302632A1/en active Pending
- 2021-07-20 JP JP2022541425A patent/JPWO2022030242A1/ja active Pending
- 2021-07-20 EP EP21852161.5A patent/EP4190514A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009274204A (ja) * | 2008-05-13 | 2009-11-26 | Samsung Electronics Co Ltd | ロボット、ロボットハンド及びロボットハンドの制御方法 |
JP2019059021A (ja) * | 2012-05-31 | 2019-04-18 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 非接触式光学距離及び触覚を感知する装置及び方法 |
WO2016135861A1 (ja) * | 2015-02-24 | 2016-09-01 | 株式会社日立製作所 | マニプレータ、マニプレータの動作計画方法、および、マニプレータの制御システム |
JP2016196077A (ja) | 2015-04-06 | 2016-11-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2020016446A (ja) | 2018-07-23 | 2020-01-30 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、プログラム、計測装置、及び物品製造方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4190514A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4190514A1 (en) | 2023-06-07 |
US20230302632A1 (en) | 2023-09-28 |
EP4190514A4 (en) | 2024-01-17 |
JPWO2022030242A1 (ja) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11090814B2 (en) | Robot control method | |
JP6921151B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
Li et al. | A Control Framework for Tactile Servoing. | |
US10589424B2 (en) | Robot control device, robot, and robot system | |
EP4219088A1 (en) | Determining and utilizing corrections to robot actions | |
JP6450960B2 (ja) | ロボット、ロボットシステム及び教示方法 | |
JP2020532440A (ja) | オブジェクトをロバストに把持し、ターゲティングするためのロボットシステムおよび方法 | |
JP2018161692A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2015213973A (ja) | ピッキング装置およびピッキング方法 | |
JP7481427B2 (ja) | 取り出しシステム及び方法 | |
JP4001105B2 (ja) | ロボットによる任意形状物体の把持方法 | |
JP6902369B2 (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
Koyama et al. | Integrated control of a multi-fingered hand and arm using proximity sensors on the fingertips | |
CN115070781B (zh) | 一种物体抓取方法及双机械臂协作*** | |
JP2016196077A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Back et al. | Control a contact sensing finger for surface haptic exploration | |
US20220203517A1 (en) | Non-transitory storage medium and method and system of creating control program for robot | |
WO2022030242A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6931585B2 (ja) | 作業システム、作業システムの制御方法及びプログラム | |
JP7353948B2 (ja) | ロボットシステム及びロボットシステムの制御方法 | |
Schiebener et al. | Discovery, segmentation and reactive grasping of unknown objects | |
JP4640499B2 (ja) | 把持制御装置 | |
JP2021045810A (ja) | モーション情報生成装置、エンドエフェクタ、ロボット及びロボットシステム | |
WO2022085560A1 (ja) | ロボットハンド制御装置、及びロボットハンドの制御方法 | |
US20230234231A1 (en) | Teleoperation assist device, teleoperation assist method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21852161 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022541425 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2021852161 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021852161 Country of ref document: EP Effective date: 20230303 |