WO2023276238A1 - ロボット制御装置、およびロボット制御方法 - Google Patents

ロボット制御装置、およびロボット制御方法 Download PDF

Info

Publication number
WO2023276238A1
WO2023276238A1 PCT/JP2022/005211 JP2022005211W WO2023276238A1 WO 2023276238 A1 WO2023276238 A1 WO 2023276238A1 JP 2022005211 W JP2022005211 W JP 2022005211W WO 2023276238 A1 WO2023276238 A1 WO 2023276238A1
Authority
WO
WIPO (PCT)
Prior art keywords
posture
robot
observation
generation unit
gripping
Prior art date
Application number
PCT/JP2022/005211
Other languages
English (en)
French (fr)
Inventor
良 寺澤
康宏 松田
キリル ファンヘールデン
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023276238A1 publication Critical patent/WO2023276238A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme

Definitions

  • the present disclosure relates to a robot control device and a robot control method.
  • a robot control apparatus includes a gripping posture generation unit that calculates a gripping posture when a grip target object is gripped by a hand of a robot, and based on the gripping posture calculated by the gripping posture generation unit: , an observation position generation unit that calculates an observation position at which the robot can observe a grasp target object; An observation posture generation unit that calculates the observation posture of the robot, and controls the posture of the robot so that it becomes the observation posture calculated by the observation posture generation unit, and causes the robot to observe the object to be grasped in the observation posture. and a robot controller for executing an approach to the object to be grasped.
  • a robot control method calculates a gripping posture when a gripping target object is gripped by a robot hand, and observes the gripping target object by the robot based on the calculated gripping posture. calculating a possible observation position; calculating an observation posture of the robot at the observation position based on the calculated grasping posture and the observation position; controlling the robot to observe the object to be grasped in the observation posture, and then causing the robot to approach the object to be grasped.
  • a robot control device or a robot control method calculates an observed position and an observed orientation based on a grasped orientation before executing an approach to an object to be grasped.
  • FIG. 5 is an explanatory diagram showing an overview of a robot control method according to a comparative example
  • FIG. 5 is an explanatory diagram showing an example of a problem of a robot control method according to a comparative example
  • 1 is a block diagram schematically showing one configuration example of a robot control device according to a first embodiment of the present disclosure
  • FIG. FIG. 4 is an explanatory diagram showing an outline of a control operation by the robot control device according to the first embodiment
  • FIG. 4 is a flow chart showing an example of control operation of the robot control device according to the first embodiment
  • 8 is a flow chart showing a modification of the control operation of the robot control device according to the first embodiment
  • FIG. 1 shows an overview of a robot control method according to a comparative example.
  • FIG. 2 shows an example of the problem of the robot control method according to the comparative example.
  • the robot 1 includes a body 2, and an arm 3 and a carriage 4 attached to the body 2, as shown in FIG. 1(A).
  • the robot 1 is movable by means of a carriage 4 provided at the bottom of the body 2 .
  • a hand (tip) 30 is provided at the tip of the arm 3 .
  • the hand 30 is provided with a hand camera 31 so that the object to be grasped 100 near the hand 30 can be photographed (recognized).
  • a bird's-eye view camera 21 is provided on the upper part (head) of the body 2 so that a bird's-eye view of the surroundings can be photographed.
  • the robot 1 can grasp the grasping target object 100 while recognizing (observing) the grasping target object 100 with the overhead camera 21 and the hand camera 31 .
  • a target gripping position is set based on the recognition result of the bird's-eye view camera 21 in the initial posture ((A) in FIG. 1), and then the target gripping position is satisfied.
  • a gripping operation is performed.
  • the position of the hand after movement may deviate from the actual gripping position, and as a result, gripping may fail.
  • a hand camera 31 that is closer to the object to be grasped 100 and has high accuracy is used to capture the object to be grasped at a position (hereinafter referred to as an “observation position”) in front of the target grasping position.
  • a possible control method is to observe the object 100 and approach the target gripping position while slightly modifying it ((B) to (D) in FIG. 1).
  • observation posture the posture at the observation position
  • FGS. 2A and 2B the posture at the observation position
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2012-510473 proposes a technique related to determination of redundant degrees of freedom, and attempts to realize a system or control device that can optimally control a manipulator having redundant degrees of freedom.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2012-51043 proposes a technique related to determination of redundant degrees of freedom, and attempts to realize a system or control device that can optimally control a manipulator having redundant degrees of freedom.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2012-51043 proposes a technique related to determination of redundant degrees of freedom, and attempts to realize a system or control device that can optimally control a manipulator having redundant degrees of freedom.
  • the gripping posture is obtained first, and then the observation position and the observation posture that easily reach the gripping posture are determined.
  • the grasp target object 100 is approached by a method such as searching. This makes it possible to appropriately determine the redundant degrees of freedom at the stage of setting the observation attitude, so that it is possible to prevent the approach trajectory from becoming unintentionally complicated.
  • FIG. 3 schematically shows a configuration example of the robot control device 5 according to the first embodiment of the present disclosure.
  • FIG. 4 shows an overview of control operations by the robot control device 5 according to the first embodiment.
  • the control target of the robot control device 5 may have the same configuration as the robot 1 described in the above comparative example ((A) in FIG. 4).
  • the robot 1 has an articulated arm 3 .
  • a hand 30 capable of gripping an object 100 to be gripped is provided at the tip of the arm 3 .
  • Each joint of the arm 3 is provided with an actuator 32 capable of controlling the position and attitude of each part of the arm 3 including the hand 30 based on instructions from the robot control device 5 .
  • the hand 30 is provided with the hand camera 31 .
  • An overhead camera 21 is provided on the upper portion (head) of the body 2 .
  • the robot 1 can grasp the grasp target object 100 while recognizing (observing) the grasp target object 100 with the overhead camera 21 and the hand camera 31 under the control of the robot control device 5 .
  • the bird's-eye view camera 21 corresponds to a specific example of the "first sensor” in the technology of the present disclosure.
  • the hand camera 31 corresponds to a specific example of the "second sensor” in the technology of the present disclosure.
  • the robot control device 5 includes a target gripping position generation unit 51, a corrected target gripping position generation unit 52, a gripping posture generation unit 53, an observation position generation unit 54, and a trajectory generation unit 55. , an arm control unit 56 and a reverse reproduction trajectory storage unit 57 .
  • the robot control device 5 is composed of a computer including, for example, one or more CPUs (Central Processing Units), one or more ROMs (Read Only Memories), and one or more RAMs (Random Access Memories). good too.
  • the processing of each unit by the robot control device 5 can be realized by one or more CPUs executing processing based on programs stored in one or more ROMs or RAMs. Further, the processing of each unit by the robot control device 5 may be realized by one or a plurality of CPUs executing processing based on a program externally supplied via a wired or wireless network, for example.
  • the target gripping position generation unit 51 calculates the target gripping position based on information from the overhead camera 21 .
  • the corrected target gripping position generation unit 52 calculates a corrected target gripping position (hereinafter referred to as "corrected target gripping position") based on information from the hand camera 31 .
  • the grip posture generation unit 53 calculates the grip posture when the hand 30 of the robot 1 grips the grip target object 100 .
  • the gripping posture generator 53 calculates a gripping posture that satisfies the target gripping position calculated by the target gripping position generator 51 . As a result, the gripping posture generator 53 will calculate the gripping posture based on the sensor information from the hand camera 31 .
  • the observation position generation unit 54 calculates an observation position at which the robot 1 can observe the object to be grasped 100 based on the grasping posture calculated by the grasping posture generation unit 53 .
  • the observation position generation unit 54 searches for a position where the grasp target object 100 can be observed by the hand camera 31 provided on the hand 30 of the robot 1 as the observation position.
  • the trajectory generation unit 55 corresponds to a specific example of the "observation attitude generation unit" in the technology of the present disclosure.
  • the trajectory generation unit 55 calculates the observation posture of the robot 1 at the observation position based on the grasping posture calculated by the grasping posture generation unit 53 and the observation position calculated by the observation position generation unit 54 .
  • the trajectory generation unit 55 calculates the observation posture by, for example, calculating a trajectory from the grip posture calculated by the grip posture generation unit 53 to the observation position calculated by the observation position generation unit 54 .
  • the trajectory generation unit 55 generates a trajectory from the gripping posture to the observation position such that the hand camera 31 can continue to observe the gripping target object 100 from the gripping posture to the observation position.
  • a trajectory may be calculated such that the target object 100 can be kept contained.
  • the gripping posture generation unit 53 may search for a plurality of gripping postures, as in a modified example (FIG. 6) described later.
  • the observation position generator 54 may search for a plurality of observation positions for each of the plurality of gripping postures based on each of the plurality of gripping postures searched by the gripping posture generator 53 .
  • the trajectory generation unit 55 generates a trajectory from the grip posture to the observation position and the robot 1 based on the plurality of grip postures searched by the grip posture generation unit 53 and the plurality of observation positions searched by the observation position generation unit 54 . It may be determined whether or not the trajectory from the initial posture to the observation posture calculated by the observation posture generation unit (trajectory generation unit 55) can be calculated (steps S606 and S607 in FIG. 6 described later). .
  • the reverse playback trajectory storage unit 57 is a storage unit that stores the reverse playback trajectory of the trajectory calculated by the trajectory generation unit 55 .
  • the arm control unit 56 corresponds to a specific example of the "robot control unit” in the technology of the present disclosure.
  • the arm control unit 56 controls the posture of the robot 1 to be the observation posture calculated by the observation posture generation unit (trajectory generation unit 55), and causes the robot 1 to observe the grip target object 100 in the observation posture. After that, an approach to the object to be grasped 100 is executed.
  • the arm control unit 56 uses, for example, the target grasping position calculated based on the result of observing the graspable object 100 by the hand camera 31 as the first target, and the reverse reproduction trajectory stored in the reverse reproduction trajectory storage unit 57 as the second target. By performing target position control, the robot 1 is caused to approach the object to be grasped 100 .
  • FIG. 5 is a flow chart showing an example of the control operation of the robot control device 5 according to the first embodiment.
  • the robot control device 5 sets the target grip position (step S501, (A) in FIG. 4).
  • the target gripping position may be determined autonomously by the target gripping position generator 51 based on information from the overhead camera 21 using a general gripping planning algorithm, or may be specified by the user. Note that the target grasping position at this stage cannot absorb the recognition error of the bird's-eye view camera 21 and the mechanical error such as backlash and deflection after moving the arm 3, so it is expected to be finely corrected immediately before the approach. It is assumed.
  • the robot control device 5 determines a gripping posture that satisfies the target gripping position in the gripping posture generation unit 53 (step S502, (B) in FIG. 4).
  • the observation position and the observation orientation are determined, and then the gripping orientation is often determined after the movement is performed.
  • the gripping posture can be obtained by inverse kinematics calculation or the like.
  • the final posture of the gripping posture may be slightly modified in the same manner as the target gripping position.
  • the robot control device 5 searches for a position (observation position) where the graspable object 100 can be observed in the observation position generation unit 54 (step S503, (C) in FIG. 4).
  • the observation position may be set at a position where the object to be grasped 100 can be imaged in consideration of the field of view of the hand camera 31 . Further, for example, the observation position is set to a position where the grasp target object 100 is not hidden by obstacles around the grasp target object 100 during observation, and when the hand 30 is moved, the hand 30 and the arm 3 can be viewed from above. It may be set so as not to obstruct the field of view of the camera 21 .
  • the robot control device 5 calculates the trajectory from the grip posture to the observation position in the trajectory generation unit 55, and stores the reverse reproduction trajectory in the reverse reproduction trajectory storage unit 57 (step S504, FIG. 4). (D)).
  • the trajectory can be calculated using a general trajectory planning algorithm, it is desirable that the velocity and acceleration be zero as the initial and terminal conditions so that even the reverse playback trajectory can be executed. Also, the trajectory may be calculated by dynamic simulation from the holding posture to the observation position instead of the trajectory planning algorithm.
  • the robot control device 5 controls the actuator 32 by the arm control unit 56 to move the arm 3 from the initial posture to the observation posture, observe the grip target object 100 with the hand camera 31, and generate a corrected target grip position.
  • the target gripping position (corrected target gripping position) corrected relative to the hand camera is set (step S505, (E) in FIG. 4).
  • the corrected target gripping position generating unit 52 grasps the positional relationship between the bird's-eye view camera 21 and the hand camera 31 by point group matching or the like, and performs coordinate transformation based on it to determine the corrected target gripping position.
  • the corrected target gripping position may be reset by performing a gripping plan using only information from the hand camera 31 .
  • the recognition error of the bird's-eye view camera 21 can be absorbed by setting the corrected target gripping position relative to the gripping target object 100 with the hand camera that is closer.
  • the robot control device 5 causes the robot 1 to approach the object to be grasped 100 by position control by controlling the actuator 32 with the arm control unit 56 (step S506, (F )).
  • the position control sets the first target to the corrected target gripping position and the second target to the joint angle sequence of the reverse reproduction trajectory.
  • a method using a null space or inverse dynamics with priority may be used.
  • restrictions such as normal obstacle avoidance are added to the second target instead of the reverse playback trajectory. may Even in that case, since the redundant degrees of freedom are appropriately determined at the stage of the observation posture, it is possible to reduce the possibility of failures such as collisions with obstacles during approach and stagnation at the limit of joint range of motion.
  • FIG. 6 is a flow chart showing a modification of the control operation of the robot control device 5 according to the first embodiment.
  • the robot control device 5 determines in advance whether or not it is possible to grip based on the list of gripping postures and observation positions. Furthermore, in order to perform visual feedback control (visual servo) when approaching, hand constraint conditions are added when calculating the trajectory from the grip posture to the observation position (step S606 in FIG. 6). It should be noted that the prior determination of whether or not the object can be grasped and the visual feedback control are independent of each other, and as a modified example, only one of them may be used.
  • the robot control device 5 acquires a target gripping position in the target gripping position generator 51 (step S601).
  • the robot control device 5 searches for and obtains several gripping postures that satisfy the target gripping position in the gripping posture generation unit 53, and adds them to the gripping posture queue (step S602).
  • a plurality of patterns of gripping postures are added by taking advantage of redundancy, such as obtaining initial values for inverse kinematics calculation with various joint angles.
  • the robot control device 5 confirms whether or not the grip posture queue is empty (step S603).
  • the gripping posture queue becomes empty (step S603; N)
  • the robot control device 5 determines that there is no gripping posture that can reach the target gripping position, deems gripping impossible, and moves the position of the carriage 4. grope another method (step S611). It is an important point to be able to make such a preliminary determination before the robot 1 operates.
  • the robot control device 5 causes the observation position generation unit 54 to search for and obtain several observation positions and add them to the observation position queue. (step S604).
  • the robot control device 5 confirms whether or not the observation position queue is empty (step S605). If the observation position queue is empty (step S605; N), the robot control device 5 returns to the process of step S603.
  • the robot control device 5 next retrieves the heads of the observation position queue and the grasping posture queue, and the trajectory generation unit 55 calculates the distance from the grasping posture to the observation position.
  • a trajectory of the hand with constraints and a trajectory from the initial posture to the observation posture are obtained (step S606).
  • the orientation (observation orientation) at the observation position is also obtained by previously planning the trajectory from the gripping orientation to the observation position in the trajectory generation unit 55 . Therefore, in the trajectory generation unit 55, the robot control device 5 next determines whether or not two trajectories, ie, the trajectory from the grip posture to the observation position and the trajectory from the initial posture to the observation posture, can be calculated (step S607).
  • step S607; N If it is determined that two trajectories cannot be calculated (step S607; N), the robot control device 5 returns to the process of step S605. On the other hand, if it is determined that two trajectories can be calculated (step S607; Y), the robot control device 5 next stores the reverse playback trajectory of the trajectory from the grip posture to the observation position in the reverse playback trajectory storage unit 57. Store (step S608). Next, the robot control device 5 causes the robot 1 to execute a trajectory from the initial posture to the observation posture by controlling the actuator 32 with the arm control unit 56 (step S609).
  • the robot control device 5 controls the actuator 32 by the arm control unit 56 to perform visual feedback control (visual servo control) with the corrected target gripping position in each time series as the first target and the reverse playback trajectory as the second target. ) to approach the object to be grasped 100 (step S610).
  • each time series refers to the time series of the predetermined time unit since the trajectory and the joint angle are set for each predetermined time unit (predetermined step).
  • a queue was used as a representative data structure for the list of gripping postures and observation positions, various patterns such as queues with priorities are conceivable. For example, if we use a queue with priority sorted based on the operability of the observation posture at the grasping posture or observation position, we can generate motions in descending order of operability of the grasping posture or observation posture and check whether it can be executed. This allows for more optimal operation.
  • the hand camera 31 is controlled while continuously correcting the target gripping position when approaching. For this purpose, it is basically necessary to continue imaging the object to be grasped 100 whenever the object to be grasped 100 is approached.
  • the hand camera 31 since the approach is performed while referring to the reverse reproduction trajectory of the trajectory from the grasping posture to the observation position, the hand camera 31 always keeps the grasp target object 100 in mind when planning the trajectory from the grasping posture to the observation position. Constraints regarding the posture of the hand that continue to be imaged are included (step S606 in FIG. 6). As a result, the trajectory, which is the second target during the approach, is set so that the hand camera 31 can continue to capture images of the object to be grasped 100, so the hand posture is significantly corrected during the approach. chances are greatly reduced.
  • the observation position and the observation orientation are calculated based on the grasping orientation. This makes it possible to reduce the probability of failure in approaching the object to be grasped.
  • the observation position and the observation orientation are calculated based on the gripping orientation, thereby performing processing for facilitating determination of redundant degrees of freedom during approach.
  • the robot control device 5 according to the first embodiment, several patterns are searched for as gripping postures and observation positions, and processing is performed to determine in advance whether or not each posture can be reached ( Figure 6). As a result, it is possible to ensure that the grasping posture and the observation posture can be reached in advance, and it is possible to prevent failures such as not being able to reach the grasping posture after reaching the observation posture.
  • the reverse reproduction trajectory storage unit 57 is provided for obtaining the trajectory from the grasp posture to the observation posture and storing the reverse reproduction trajectory. Then, position control is performed with the position of the object to be grasped 100 from the hand camera 31 as the first target and the reverse reproduction trajectory as the second target.
  • redundant degrees of freedom can be determined using trajectories that are guaranteed to satisfy constraints such as obstacle avoidance and joint range of motion during approach. Redundant degrees of freedom can be appropriately determined so as to satisfy the constraints.
  • the search for the observation position and the trajectory from the grip posture to the observation posture are calculated such that the grip target object 100 can be included in the field of view of the hand camera 31. and perform the process of searching.
  • the object to be grasped 100 can be imaged within the field of view of the visual sensor at the start of the approach and during the approach, and visual feedback control can be performed from the observation position to the target grasping position (FIG. 6). step S610).
  • the present technology can also have the following configuration.
  • an observation position and an observation orientation are calculated based on a grasping orientation before an approach to a grasping target object is executed. This makes it possible to reduce the probability of failure in approaching the object to be grasped.
  • a grasping posture generation unit that calculates a grasping posture when a grasp target object is grasped by a robot hand; an observation position generation unit that calculates an observation position at which the robot can observe the graspable object based on the grasping posture calculated by the grasping posture generation unit; an observation posture generation unit that calculates an observation posture of the robot at the observation position based on the grasp posture calculated by the grasp posture generation unit and the observation position calculated by the observation position generation unit;
  • the posture of the robot is controlled so as to be the observation posture calculated by the observation posture generation unit, and after the robot observes the graspable object in the observation posture, the robot moves toward the graspable object.
  • a robot control device comprising: a robot control unit that executes the approach of; (2) The robot control device according to (1), wherein the gripping posture generator calculates the gripping posture based on sensor information from a first sensor provided in the robot. (3) The robot control according to the above (1) or (2), wherein the observation position generation unit searches for a position where the grasp target object can be observed by a second sensor provided in the hand of the robot as the observation position. Device. (4) The gripping posture generation unit searches for a plurality of gripping postures, The observation position generation unit searches for a plurality of observation positions for each of the plurality of gripping postures based on each of the plurality of gripping postures searched by the gripping posture generation unit. (1) to (3) above. ).
  • a trajectory from the grip posture to the observation position and an initial stage of the robot are calculated based on the plurality of grip postures searched by the grip posture generation unit and the plurality of observation positions searched by the observation position generation unit.
  • the robot control apparatus according to (4) above, further comprising a trajectory generation unit that determines whether or not a trajectory from a posture to the observation posture calculated by the observation posture generation unit can be calculated.
  • a trajectory generation unit that calculates a trajectory from the grip posture calculated by the grip posture generation unit to the observation position calculated by the observation position generation unit;
  • the robot control device according to any one of (1) to (5) above, further comprising: a storage unit that stores the reverse reproduction trajectory of the trajectory calculated by the trajectory generation unit.
  • the robot control unit sets a target grasping position calculated based on a result of observing the grasping target object by a second sensor provided in the hand of the robot as a first target, The robot control device according to (6) above, wherein the robot is caused to approach the object to be grasped by performing position control with a reproduction trajectory as a second target.
  • the observation position generation unit calculates an observation position where the grip target object can be observed by a second sensor provided in the hand of the robot,
  • the trajectory generation unit calculates, as the trajectory from the gripping posture to the observation position, a trajectory that enables the second sensor to continuously observe the graspable object from the gripping posture to the observation position.
  • the robot control device according to (1) or (2) above.
  • a robot control method including and .

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本開示のロボット制御装置は、把持対象物体をロボットのハンドによって把持する際の把持姿勢を算出する把持姿勢生成部と、把持姿勢生成部によって算出された把持姿勢に基づいて、ロボットによって把持対象物体を観測可能な観測位置を算出する観測位置生成部と、把持姿勢生成部によって算出された把持姿勢と観測位置生成部によって算出された観測位置とに基づいて、観測位置におけるロボットの観測姿勢を算出する観測姿勢生成部と、ロボットの姿勢を、観測姿勢生成部によって算出された観測姿勢となるように制御し、ロボットに対して、把持対象物体を観測姿勢において観測させた後、把持対象物体へのアプローチを実行させるロボット制御部とを備える。

Description

ロボット制御装置、およびロボット制御方法
　本開示は、ロボット制御装置、およびロボット制御方法に関する。
　求められる位置および姿勢の自由度よりも多くの冗長自由度を有するロボットの制御を行うロボット制御装置がある（例えば特許文献１参照）。
特開２０１２－５１０４３号公報
　例えばロボットのハンドに設けられたハンドセンサで把持対象物体を観測した後、把持対象物体へのアプローチを実行させる場合、アプローチの際の冗長自由度を適切に設定しておかないと、アプローチの失敗を招く。
　把持対象物体へのアプローチの失敗確率を減らすことが可能なロボット制御装置、およびロボット制御方法を提供することが望ましい。
　本開示の一実施の形態に係るロボット制御装置は、把持対象物体をロボットのハンドによって把持する際の把持姿勢を算出する把持姿勢生成部と、把持姿勢生成部によって算出された把持姿勢に基づいて、ロボットによって把持対象物体を観測可能な観測位置を算出する観測位置生成部と、把持姿勢生成部によって算出された把持姿勢と観測位置生成部によって算出された観測位置とに基づいて、観測位置におけるロボットの観測姿勢を算出する観測姿勢生成部と、ロボットの姿勢を、観測姿勢生成部によって算出された観測姿勢となるように制御し、ロボットに対して、把持対象物体を観測姿勢において観測させた後、把持対象物体へのアプローチを実行させるロボット制御部とを備える。
　本開示の一実施の形態に係るロボット制御方法は、把持対象物体をロボットのハンドによって把持する際の把持姿勢を算出することと、算出された把持姿勢に基づいて、ロボットによって把持対象物体を観測可能な観測位置を算出することと、算出された把持姿勢と観測位置とに基づいて、観測位置におけるロボットの観測姿勢を算出することと、ロボットの姿勢を、算出された観測姿勢となるように制御し、ロボットに対して、把持対象物体を観測姿勢において観測させた後、把持対象物体へのアプローチを実行させることとを含む。
　本開示の一実施の形態に係るロボット制御装置、またはロボット制御方法では、把持対象物体へのアプローチを実行させる前に、把持姿勢に基づいて観測位置および観測姿勢を算出する。
比較例に係るロボット制御方法の概要を示す説明図である。 比較例に係るロボット制御方法の課題の一例を示す説明図である。 本開示の第１の実施の形態に係るロボット制御装置の一構成例を概略的に示すブロック図である。 第１の実施の形態に係るロボット制御装置による制御動作の概要を示す説明図である。 第１の実施の形態に係るロボット制御装置の制御動作の一例を示すフローチャートである。 第１の実施の形態に係るロボット制御装置の制御動作の変形例を示すフローチャートである。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例（図１，図２）
　１．第１の実施の形態（図３～図６）
　　１．１　構成
　　１．２　動作
　　１．３　変形例
　　１．４　効果
　２．その他の実施の形態
 
＜０．比較例＞
　図１は、比較例に係るロボット制御方法の概要を示している。図２は、比較例に係るロボット制御方法の課題の一例を示している。
　まず、比較例に係るロボット制御方法の制御の対象となるロボット１の概要を説明する。ロボット１は、図１の（Ａ）に示したように、ボディ２と、ボディ２に取り付けられたアーム３および台車４とを備えている。ロボット１は、ボディ２の下部に設けられた台車４によって移動可能となっている。
　アーム３の先端にはハンド（手先）３０が設けられている。ハンド３０には、ハンドカメラ３１が設けられ、ハンド３０の近くにある把持対象物体１００の撮影（認識）が可能となっている。また、ボディ２の上部（頭部）には、俯瞰カメラ２１が設けられ、周囲を俯瞰した撮影が可能となっている。これにより、ロボット１は、俯瞰カメラ２１およびハンドカメラ３１によって把持対象物体１００を認識（観測）しながら、把持対象物体１００を把持する動作が可能となっている。
　ロボット１が物体把持を行うには、一般に、まず、初期姿勢において俯瞰カメラ２１の認識結果をもとに目標把持位置を設定（図１の（Ａ））し、次に、目標把持位置を満たす姿勢（以下、「把持姿勢」と呼ぶ。）までアーム３を移動させてから把持動作を行う。このとき、俯瞰カメラ２１の計測誤差やアーム３の機構的誤差の影響で、移動させた後の手先の位置が実際の把持位置からずれてしまい、結果として把持に失敗してしまう可能性がある。これを回避するための１つの手法として、より把持対象物体１００に近接して高精度なハンドカメラ３１を用いて目標把持位置の手前の位置（以下、「観測位置」と呼ぶ。）で把持対象物体１００を観測し、目標把持位置に微修正を加えながらアプローチするといった制御方法が考えられる（図１の（Ｂ）～（Ｄ））。
　しかし、ハンドカメラ３１で把持対象物体１００を観測してから位置制御で把持対象物体１００にアプローチする際、観測位置における姿勢（以下、「観測姿勢」と呼ぶ。）次第ではアプローチ時に障害物回避に失敗したり、関節可動域限界に達して動けなくなってしまったりする可能性がある（図２の（Ａ），（Ｂ））。阻害要因としては、アプローチの際に制御ループ内で高負荷な動作計画を行わずに適切に冗長自由度を決定するのが難しいことが挙げられる。
　なお、特許文献１（特開２０１２－５１０４３号公報）には、冗長自由度の決定に関する技術が提案されており、冗長な自由度を有するマニピュレータを最適に制御できるシステムまたは制御装置を実現しようとしている。特許文献１で提案されている手法では、目標位置姿勢に対してアプローチする際に冗長角度定義テーブルをもとに設定した冗長軸角度と目標位置姿勢までの動作軌跡をもとに動作指令を生成する。この手法では、初期姿勢から目標位置姿勢に達するまでの動作軌跡が生成可能であることを前提としており、初期姿勢の段階で冗長自由度が目標位置姿勢に到達しづらい姿勢になってしまっているような状況は想定されていない。
＜１．第１の実施の形態＞
　上述の比較例に係るロボット制御方法に対し、本開示の第１の実施の形態に係るロボット制御方法では、把持姿勢を先に求めてから把持姿勢に到達しやすいような観測位置および観測姿勢を探索する、といった手法で把持対象物体１００へのアプローチを行うようにする。これにより、観測姿勢を設定する段階で冗長自由度を適切に決定できるため、アプローチの軌道が意図せず複雑な軌道になってしまうことを防ぐことができる。また、ハンドカメラ３１で微修正する前の目標把持位置および把持姿勢に実際に到達可能かどうかも観測姿勢に移動させる前に確認することが可能になる。以下、本開示の第１の実施の形態に係るロボット制御方法を実現するロボット制御装置５の一例を説明する。
［１．１　構成］
　図３は、本開示の第１の実施の形態に係るロボット制御装置５の一構成例を概略的に示している。図４は、第１の実施の形態に係るロボット制御装置５による制御動作の概要を示している。
　第１の実施の形態に係るロボット制御装置５の制御の対象は、上述の比較例で説明したロボット１と同様の構成であってよい（図４の（Ａ））。ロボット１は、多関節のアーム３を有している。アーム３の先端には把持対象物体１００を把持することが可能なハンド３０が設けられている。アーム３の各関節部にはハンド３０を含むアーム３の各部の位置および姿勢を、ロボット制御装置５からの指示に基づいて制御することが可能なアクチュエータ３２が設けられている。上述したように、ハンド３０にはハンドカメラ３１が設けられている。ボディ２の上部（頭部）には、俯瞰カメラ２１が設けられている。これにより、ロボット１は、ロボット制御装置５の制御に従って、俯瞰カメラ２１およびハンドカメラ３１によって把持対象物体１００を認識（観測）しながら、把持対象物体１００を把持する動作が可能となっている。
　俯瞰カメラ２１は、本開示の技術における「第１センサ」の一具体例に相当する。ハンドカメラ３１は、本開示の技術における「第２センサ」の一具体例に相当する。
　第１の実施の形態に係るロボット制御装置５は、目標把持位置生成部５１と、修正目標把持位置生成部５２と、把持姿勢生成部５３と、観測位置生成部５４と、軌道生成部５５と、アーム制御部５６と、逆再生軌道記憶部５７とを備えている。
　ロボット制御装置５は、例えば１または複数のＣＰＵ（Central Processing Unit）と、１または複数のＲＯＭ（Read Only Memory）と、１または複数のＲＡＭ（Random Access Memory）とを備えたコンピュータで構成されてもよい。この場合、ロボット制御装置５による各部の処理は、１または複数のＲＯＭまたはＲＡＭに記憶されたプログラムに基づく処理を１または複数のＣＰＵが実行することで実現し得る。また、ロボット制御装置５による各部の処理は、例えば有線または無線によるネットワークにより外部から供給されたプログラムに基づく処理を１または複数のＣＰＵが実行することで実現してもよい。
　目標把持位置生成部５１は、俯瞰カメラ２１からの情報に基づいて、目標把持位置を算出する。
　修正目標把持位置生成部５２は、ハンドカメラ３１からの情報に基づいて、修正された目標把持位置（以下、「修正目標把持位置」と呼ぶ。）を算出する。
　把持姿勢生成部５３は、把持対象物体１００をロボット１のハンド３０によって把持する際の把持姿勢を算出する。把持姿勢生成部５３は、目標把持位置生成部５１によって算出された目標把持位置を満たす把持姿勢を算出する。結果として、把持姿勢生成部５３は、ハンドカメラ３１からのセンサ情報に基づく把持姿勢を算出することとなる。
　観測位置生成部５４は、把持姿勢生成部５３によって算出された把持姿勢に基づいて、ロボット１によって把持対象物体１００を観測可能な観測位置を算出する。観測位置生成部５４は、観測位置として、ロボット１のハンド３０に設けられたハンドカメラ３１によって把持対象物体１００を観測可能な位置を探索する。
　軌道生成部５５は、本開示の技術における「観測姿勢生成部」の一具体例に相当する。軌道生成部５５は、把持姿勢生成部５３によって算出された把持姿勢と観測位置生成部５４によって算出された観測位置とに基づいて、観測位置におけるロボット１の観測姿勢を算出する。軌道生成部５５は、例えば、把持姿勢生成部５３によって算出された把持姿勢から観測位置生成部５４によって算出された観測位置までの軌道を算出することによって、観測姿勢を算出する。軌道生成部５５は、把持姿勢から観測位置までの軌道として、把持姿勢から観測位置まで、ハンドカメラ３１によって把持対象物体１００を観測し続けることが可能となるような（ハンドカメラ３１の視野に把持対象物体１００を収め続けることが可能となるような）軌道を算出するようにしてもよい。
　なお、把持姿勢生成部５３は、後述の変形例（図６）のように、把持姿勢を複数、探索するようにしてもよい。この場合、観測位置生成部５４は、把持姿勢生成部５３によって探索された複数の把持姿勢のそれぞれに基づいて、複数の把持姿勢のそれぞれに対する観測位置を複数、探索するようにしてもよい。軌道生成部５５は、把持姿勢生成部５３によって探索された複数の把持姿勢と観測位置生成部５４によって探索された複数の観測位置とに基づいて、把持姿勢から観測位置までの軌道と、ロボット１の初期姿勢から観測姿勢生成部（軌道生成部５５）によって算出された観測姿勢までの軌道とを算出可能か否かを判断するようにしてもよい（後述の図６のステップＳ６０６～ステップＳ６０７）。
　逆再生軌道記憶部５７は、軌道生成部５５によって算出された軌道の逆再生軌道を記憶する記憶部である。
　アーム制御部５６は、本開示の技術における「ロボット制御部」の一具体例に相当する。アーム制御部５６は、ロボット１の姿勢を、観測姿勢生成部（軌道生成部５５）によって算出された観測姿勢となるように制御し、ロボット１に対して、把持対象物体１００を観測姿勢において観測させた後、把持対象物体１００へのアプローチを実行させる。アーム制御部５６は、例えば、ハンドカメラ３１によって把持対象物体１００を観測した結果に基づいて算出された目標把持位置を第１目標、逆再生軌道記憶部５７に記憶された逆再生軌道を第２目標とする位置制御を行うことにより、ロボット１に対して、把持対象物体１００へのアプローチを実行させる。
［１．２　動作］
　図５は、第１の実施の形態に係るロボット制御装置５の制御動作の一例を示すフローチャートである。
　まず、ロボット制御装置５は、目標把持位置を設定する（ステップＳ５０１、図４の（Ａ））。目標把持位置は、目標把持位置生成部５１が俯瞰カメラ２１からの情報をもとに、一般の把持計画アルゴリズムを用いて自律的に決定してもよいし、ユーザが指定してもよい。なお、この段階での目標把持位置は俯瞰カメラ２１の認識誤差やアーム３を移動させた後のがたつきやたわみといった機構的誤差を吸収できていないため、アプローチ直前に微修正されることを前提としている。
　次に、ロボット制御装置５は、把持姿勢生成部５３において、目標把持位置を満たす把持姿勢を決定する（ステップＳ５０２、図４の（Ｂ））。通常の動作の流れでは観測位置および観測姿勢を決めて動作させてから把持姿勢を決めることが多いが、本開示の技術では、先に把持姿勢を求めておく。なお、把持姿勢については逆運動学計算などによって求めることができる。また、把持姿勢についても目標把持位置と同様に最終的な姿勢は微修正される可能性がある。
　続いて、ロボット制御装置５は、観測位置生成部５４において、把持対象物体１００を観測可能な位置（観測位置）を探索する（ステップＳ５０３、図４の（Ｃ））。観測位置についてはハンドカメラ３１の視野を考慮したうえで把持対象物体１００を撮像可能な位置に設定すればよい。また、例えば把持対象物体１００の周辺の障害物で観測時に把持対象物体１００が隠れてしまわないような位置に観測位置を設定したり、ハンド３０を移動させた際にハンド３０やアーム３が俯瞰カメラ２１の視野を邪魔しないように設定したりしてもよい。
　観測位置が求まったら、ロボット制御装置５は、軌道生成部５５において、把持姿勢から観測位置までの軌道を算出し、その逆再生軌道を逆再生軌道記憶部５７に記憶する（ステップＳ５０４、図４の（Ｄ））。軌道の算出は一般の軌道計画アルゴリズムを用いて行えばよいが、逆再生軌道でも実行可能となるように、初期条件および終端条件として速度および加速度がゼロであることが望ましい。また、軌道の算出を軌道計画アルゴリズムではなく、把持姿勢から観測位置に至るまでの動力学シミュレーションで行ってもよい。
　その後、ロボット制御装置５は、アーム制御部５６によってアクチュエータ３２を制御することにより、初期姿勢から観測姿勢までアーム３を移動させて把持対象物体１００をハンドカメラ３１により観測し、修正目標把持位置生成部５２においてハンドカメラ相対で修正された目標把持位置（修正目標把持位置）を設定する（ステップＳ５０５、図４の（Ｅ））。このとき、修正目標把持位置生成部５２は、点群マッチングなどで俯瞰カメラ２１とハンドカメラ３１との位置関係を把握し、それをもとに座標変換することで修正目標把持位置を決定してもよいし、ハンドカメラ３１の情報のみを使って把持計画を行うなどによって修正目標把持位置を設定しなおしてもよい。いずれにしても、把持対象物体１００に、より近接したハンドカメラ相対で修正目標把持位置を設定することで、俯瞰カメラ２１の認識誤差を吸収することができる。
　最後に、ロボット制御装置５は、アーム制御部５６によってアクチュエータ３２を制御することにより、ロボット１に対して、位置制御で把持対象物体１００へのアプローチを行わせる（ステップＳ５０６、図４の（Ｆ））。位置制御は第１目標を修正目標把持位置、第２目標を逆再生軌道の関節角度列に設定する。なお、第１目標、第２目標といった形で優先度をつけて位置制御を行うためには、零空間を用いた方法でもよいし、優先度付き逆動力学で行ってもよい。また、ステップＳ５０５（図４の（Ｅ））の処理において、修正量が大きいと想定される場合などに対しては、第２目標に逆再生軌道ではなく通常の障害物回避などの制約を入れてもよい。その場合でも、観測姿勢の段階で冗長自由度が適切に決定されているため、アプローチ時の障害物への衝突や関節可動域限界での停滞という失敗の可能性を減らすことができる。
［１．３　変形例］
　図６は、第１の実施の形態に係るロボット制御装置５の制御動作の変形例を示すフローチャートである。
　変形例では、ロボット制御装置５は把持姿勢および観測位置のリストをもとに把持可否の事前判定を行っている。さらに、アプローチの際に視覚フィードバック制御（ビジュアルサーボ）を実施するため、把持姿勢から観測位置までの軌道を算出する際に手先の制約条件を付加する（図６のステップＳ６０６）。なお、把持可否の事前判定と視覚フィードバック制御はそれぞれ独立しており、変形例としては一方のみを用いた処理としてもよい。
　まず、把持可否の事前判定の詳細について説明する。
　まず、ロボット制御装置５は、目標把持位置生成部５１において目標把持位置を取得する（ステップＳ６０１）。次に、ロボット制御装置５は、把持姿勢生成部５３において、目標把持位置を満たす把持姿勢をいくつか探索して求めて把持姿勢キューに追加する（ステップＳ６０２）。キューに追加する把持姿勢は、例えば逆運動学計算の初期値を様々な関節角度にして求めるなど、冗長性を生かして複数のパターンの把持姿勢を追加する。
　次に、ロボット制御装置５は、把持姿勢キューが空ではないか否かを確認する（ステップＳ６０３）。把持姿勢キューが空になった場合（ステップＳ６０３；Ｎ）、ロボット制御装置５は、目標把持位置に到達し得る把持姿勢がないと判断して把持不可能とみなし、台車４の位置を移動させるなど別の手法を模索する（ステップＳ６１１）。ロボット１が動作する前にこのような事前判定ができることは重要なポイントである。一方、把持姿勢キューが空ではなかった場合（ステップＳ６０３；Ｙ）、次に、ロボット制御装置５は、観測位置生成部５４において、観測位置についてもいくつか探索して求めて観測位置キューに追加する（ステップＳ６０４）。次に、ロボット制御装置５は、観測位置キューが空ではないか否かを確認する（ステップＳ６０５）。観測位置キューが空であった場合（ステップＳ６０５；Ｎ）、ロボット制御装置５は、ステップＳ６０３の処理に戻る。
　観測位置キューが空ではなかった場合（ステップＳ６０５；Ｙ）、ロボット制御装置５は、次に、観測位置キューおよび把持姿勢キューの先頭を取り出し、軌道生成部５５において、把持姿勢から観測位置までの手先の制約条件付きの軌道と、初期姿勢から観測姿勢までの軌道とを求める（ステップＳ６０６）。このとき、軌道生成部５５において、先に把持姿勢から観測位置までの軌道計画を行うことにより、観測位置における姿勢（観測姿勢）も求まる。そこで、ロボット制御装置５は、次に、軌道生成部５５において、把持姿勢から観測位置までの軌道と、初期姿勢から観測姿勢までの軌道との２つの軌道を算出可能か否かを判断する（ステップＳ６０７）。２つの軌道が算出可能ではないと判断した場合（ステップＳ６０７；Ｎ）、ロボット制御装置５は、ステップＳ６０５の処理に戻る。一方、２つの軌道が算出可能であると判断した場合（ステップＳ６０７；Ｙ）、ロボット制御装置５は、次に、把持姿勢から観測位置までの軌道の逆再生軌道を逆再生軌道記憶部５７に記憶する（ステップＳ６０８）。次に、ロボット制御装置５は、アーム制御部５６によってアクチュエータ３２を制御することにより、初期姿勢から観測姿勢までの軌道をロボット１に実行させる（ステップＳ６０９）。最後に、ロボット制御装置５は、アーム制御部５６によってアクチュエータ３２を制御することにより、各時系列における修正目標把持位置を第１目標、逆再生軌道を第２目標とする視覚フィードバック制御（ビジュアルサーボ）を行って把持対象物体１００へのアプローチを行う（ステップＳ６１０）。ここで、各時系列とは、軌道および関節角度は所定時間単位（所定ステップ）ごとに設定されるので、その所定時間単位の時系列のことをいう。
　なお、ここでは把持姿勢や観測位置のリストのデータ構造としてキューを代表として説明したが、優先度付きのキューなどいろいろなパターンが考えられる。例えば、把持姿勢や観測位置における観測姿勢の可操作度をもとにソートした優先度付きキューを用いれば、把持姿勢ないし観測姿勢の可操作性の高い順に動作生成を行って実行可能かを確かめることができるため、より最適な動作にすることができる。
　続いて、視覚フィードバック制御のための処理について、説明する。
　視覚フィードバック制御では、アプローチの際にハンドカメラ３１で逐次目標把持位置を修正し続けながら制御する。このためには基本的に把持対象物体１００へアプローチするときには常に把持対象物体１００を撮像し続ければよい。本開示の技術では、把持姿勢から観測位置までの軌道の逆再生軌道を参照しながらアプローチを行うため、把持姿勢から観測位置までの軌道計画を行う際にハンドカメラ３１が常に把持対象物体１００を撮像し続けるような手先の姿勢に関する制約条件を含める（図６のステップＳ６０６）。これにより、アプローチの際の第２目標となる軌道はハンドカメラ３１が把持対象物体１００を撮像し続けられるような姿勢になるように設定されているため、アプローチで手先姿勢に関して大幅に修正される可能性は大きく減る。
［１．４　効果］
　以上説明したように、第１の実施の形態に係るロボット制御装置５によれば、把持対象物体１００へのアプローチを実行させる前に、把持姿勢に基づいて観測位置および観測姿勢を算出する。これにより、把持対象物体へのアプローチの失敗確率を減らすことが可能となる。
　第１の実施の形態に係るロボット制御装置５によれば、把持姿勢に基づいて観測位置および観測姿勢を算出することでアプローチの際の冗長自由度の決定を容易にする処理を行う。把持姿勢を考慮したうえで観測姿勢を決定することにより、アプローチの際に障害物に衝突したり関節可動域制約で把持姿勢に到達できなかったりといった失敗の可能性を減らすことができる。
　また、第１の実施の形態に係るロボット制御装置５によれば、把持姿勢および観測位置としていくつかのパターンを探索し、それぞれの姿勢に到達できるか否かを事前に判断する処理を行う（図６）。これにより、事前に把持姿勢や観測姿勢に到達可能であることが担保でき、観測姿勢に達してから把持姿勢に到達できない、といった失敗を防ぐことができる。
　また、第１の実施の形態に係るロボット制御装置５によれば、把持姿勢から観測姿勢までの軌道を求めてその逆再生軌道を保持しておく逆再生軌道記憶部５７を備え、アプローチの際にハンドカメラ３１から把持対象物体１００の位置を第１目標、逆再生軌道を第２目標とする位置制御を行う処理を行う。これにより、アプローチの際に障害物回避や関節可動域という制約を満たしていることが保証されている軌道を使って冗長自由度を決定できるため、高負荷な動作計画をせずとも制御ループのなかで制約を満たすように冗長自由度を適切に決定できる。
　また、第１の実施の形態に係るロボット制御装置５によれば、観測位置の探索や把持姿勢から観測姿勢までの軌道はハンドカメラ３１の視野に把持対象物体１００を収められるような位置を算出して探索する処理を行う。これにより、アプローチ開始時点およびアプローチ途中で視覚センサの視野内に把持対象物体１００を撮像可能であることが担保でき、観測位置から目標把持位置まで視覚フィードバック制御を行うことが可能となる（図６のステップＳ６１０）。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．その他の実施の形態＞
　本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、把持対象物体へのアプローチを実行させる前に、把持姿勢に基づいて観測位置および観測姿勢を算出する。これにより、把持対象物体へのアプローチの失敗確率を減らすことが可能となる。
（１）
　把持対象物体をロボットのハンドによって把持する際の把持姿勢を算出する把持姿勢生成部と、
　前記把持姿勢生成部によって算出された前記把持姿勢に基づいて、前記ロボットによって前記把持対象物体を観測可能な観測位置を算出する観測位置生成部と、
　前記把持姿勢生成部によって算出された前記把持姿勢と前記観測位置生成部によって算出された前記観測位置とに基づいて、前記観測位置における前記ロボットの観測姿勢を算出する観測姿勢生成部と、
　前記ロボットの姿勢を、前記観測姿勢生成部によって算出された前記観測姿勢となるように制御し、前記ロボットに対して、前記把持対象物体を前記観測姿勢において観測させた後、前記把持対象物体へのアプローチを実行させるロボット制御部と
　を備える
　ロボット制御装置。
（２）
　前記把持姿勢生成部は、前記ロボットに設けられた第１センサからのセンサ情報に基づいて前記把持姿勢を算出する
　上記（１）に記載のロボット制御装置。
（３）
　前記観測位置生成部は、前記観測位置として、前記ロボットの前記ハンドに設けられた第２センサによって前記把持対象物体を観測可能な位置を探索する
　上記（１）または（２）に記載のロボット制御装置。
（４）
　前記把持姿勢生成部は、前記把持姿勢を複数、探索し、
　前記観測位置生成部は、前記把持姿勢生成部によって探索された複数の前記把持姿勢のそれぞれに基づいて、複数の前記把持姿勢のそれぞれに対する前記観測位置を複数、探索する
　上記（１）ないし（３）のいずれか１つに記載のロボット制御装置。
（５）
　前記把持姿勢生成部によって探索された複数の前記把持姿勢と前記観測位置生成部によって探索された複数の前記観測位置とに基づいて、前記把持姿勢から前記観測位置までの軌道と、前記ロボットの初期姿勢から前記観測姿勢生成部によって算出された前記観測姿勢までの軌道とを算出可能か否かを判断する軌道生成部、をさらに備える
　上記（４）に記載のロボット制御装置。
（６）
　前記把持姿勢生成部によって算出された前記把持姿勢から前記観測位置生成部によって算出された前記観測位置までの軌道を算出する軌道生成部と、
　前記軌道生成部によって算出された前記軌道の逆再生軌道を記憶する記憶部と
　をさらに備える
　上記（１）ないし（５）のいずれか１つに記載のロボット制御装置。
（７）
　前記ロボット制御部は、前記ロボットの前記ハンドに設けられた第２センサによって前記把持対象物体を観測した結果に基づいて算出された目標把持位置を第１目標、前記記憶部に記憶された前記逆再生軌道を第２目標とする位置制御を行うことにより、前記ロボットに対して、前記把持対象物体へのアプローチを実行させる
　上記（６）に記載のロボット制御装置。
（８）
　前記観測位置生成部は、前記ロボットの前記ハンドに設けられた第２センサによって前記把持対象物体を観測可能な観測位置を算出し、
　前記軌道生成部は、前記把持姿勢から前記観測位置までの軌道として、前記把持姿勢から前記観測位置まで、前記第２センサによって前記把持対象物体を観測し続けることが可能となるような軌道を算出する　上記（１）または（２）に記載のロボット制御装置。
　上記（６）または（７）に記載のロボット制御装置。
（９）
　把持対象物体をロボットのハンドによって把持する際の把持姿勢を算出することと、
　算出された前記把持姿勢に基づいて、前記ロボットによって前記把持対象物体を観測可能な観測位置を算出することと、
　算出された前記把持姿勢と前記観測位置とに基づいて、前記観測位置における前記ロボットの観測姿勢を算出することと、
　前記ロボットの姿勢を、算出された前記観測姿勢となるように制御し、前記ロボットに対して、前記把持対象物体を前記観測姿勢において観測させた後、前記把持対象物体へのアプローチを実行させることと
　を含む
　ロボット制御方法。
　本出願は、日本国特許庁において２０２１年７月２日に出願された日本特許出願番号第２０２１－１１０８１７号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (9)

  1. 　把持対象物体をロボットのハンドによって把持する際の把持姿勢を算出する把持姿勢生成部と、
    　前記把持姿勢生成部によって算出された前記把持姿勢に基づいて、前記ロボットによって前記把持対象物体を観測可能な観測位置を算出する観測位置生成部と、
    　前記把持姿勢生成部によって算出された前記把持姿勢と前記観測位置生成部によって算出された前記観測位置とに基づいて、前記観測位置における前記ロボットの観測姿勢を算出する観測姿勢生成部と、
    　前記ロボットの姿勢を、前記観測姿勢生成部によって算出された前記観測姿勢となるように制御し、前記ロボットに対して、前記把持対象物体を前記観測姿勢において観測させた後、前記把持対象物体へのアプローチを実行させるロボット制御部と
    　を備える
    　ロボット制御装置。
  2. 　前記把持姿勢生成部は、前記ロボットに設けられた第１センサからのセンサ情報に基づいて前記把持姿勢を算出する
    　請求項１に記載のロボット制御装置。
  3. 　前記観測位置生成部は、前記観測位置として、前記ロボットの前記ハンドに設けられた第２センサによって前記把持対象物体を観測可能な位置を探索する
    　請求項１に記載のロボット制御装置。
  4. 　前記把持姿勢生成部は、前記把持姿勢を複数、探索し、
    　前記観測位置生成部は、前記把持姿勢生成部によって探索された複数の前記把持姿勢のそれぞれに基づいて、複数の前記把持姿勢のそれぞれに対する前記観測位置を複数、探索する
    　請求項１に記載のロボット制御装置。
  5. 　前記把持姿勢生成部によって探索された複数の前記把持姿勢と前記観測位置生成部によって探索された複数の前記観測位置とに基づいて、前記把持姿勢から前記観測位置までの軌道と、前記ロボットの初期姿勢から前記観測姿勢生成部によって算出された前記観測姿勢までの軌道とを算出可能か否かを判断する軌道生成部、をさらに備える
    　請求項４に記載のロボット制御装置。
  6. 　前記把持姿勢生成部によって算出された前記把持姿勢から前記観測位置生成部によって算出された前記観測位置までの軌道を算出する軌道生成部と、
    　前記軌道生成部によって算出された前記軌道の逆再生軌道を記憶する記憶部と
    　をさらに備える
    　請求項１に記載のロボット制御装置。
  7. 　前記ロボット制御部は、前記ロボットの前記ハンドに設けられた第２センサによって前記把持対象物体を観測した結果に基づいて算出された目標把持位置を第１目標、前記記憶部に記憶された前記逆再生軌道を第２目標とする位置制御を行うことにより、前記ロボットに対して、前記把持対象物体へのアプローチを実行させる
    　請求項６に記載のロボット制御装置。
  8. 　前記観測位置生成部は、前記ロボットの前記ハンドに設けられた第２センサによって前記把持対象物体を観測可能な観測位置を算出し、
    　前記軌道生成部は、前記把持姿勢から前記観測位置までの軌道として、前記把持姿勢から前記観測位置まで、前記第２センサによって前記把持対象物体を観測し続けることが可能となるような軌道を算出する
    　請求項６に記載のロボット制御装置。
  9. 　把持対象物体をロボットのハンドによって把持する際の把持姿勢を算出することと、
    　算出された前記把持姿勢に基づいて、前記ロボットによって前記把持対象物体を観測可能な観測位置を算出することと、
    　算出された前記把持姿勢と前記観測位置とに基づいて、前記観測位置における前記ロボットの観測姿勢を算出することと、
    　前記ロボットの姿勢を、算出された前記観測姿勢となるように制御し、前記ロボットに対して、前記把持対象物体を前記観測姿勢において観測させた後、前記把持対象物体へのアプローチを実行させることと
    　を含む
    　ロボット制御方法。
PCT/JP2022/005211 2021-07-02 2022-02-09 ロボット制御装置、およびロボット制御方法 WO2023276238A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-110817 2021-07-02
JP2021110817 2021-07-02

Publications (1)

Publication Number Publication Date
WO2023276238A1 true WO2023276238A1 (ja) 2023-01-05

Family

ID=84691132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005211 WO2023276238A1 (ja) 2021-07-02 2022-02-09 ロボット制御装置、およびロボット制御方法

Country Status (1)

Country Link
WO (1) WO2023276238A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090113A (ja) * 2000-09-20 2002-03-27 Fanuc Ltd 位置姿勢認識装置
JP2014046433A (ja) * 2012-09-03 2014-03-17 Canon Inc 情報処理システム、方法及びプログラム
WO2018092860A1 (ja) * 2016-11-16 2018-05-24 三菱電機株式会社 干渉回避装置
JP2018158391A (ja) * 2017-03-22 2018-10-11 株式会社東芝 物体ハンドリング装置およびその較正方法
JP2019030925A (ja) * 2017-08-07 2019-02-28 三菱重工業株式会社 作業システム及び作業システムの作業方法
JP2019089188A (ja) * 2017-11-16 2019-06-13 株式会社東芝 作動システムおよびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090113A (ja) * 2000-09-20 2002-03-27 Fanuc Ltd 位置姿勢認識装置
JP2014046433A (ja) * 2012-09-03 2014-03-17 Canon Inc 情報処理システム、方法及びプログラム
WO2018092860A1 (ja) * 2016-11-16 2018-05-24 三菱電機株式会社 干渉回避装置
JP2018158391A (ja) * 2017-03-22 2018-10-11 株式会社東芝 物体ハンドリング装置およびその較正方法
JP2019030925A (ja) * 2017-08-07 2019-02-28 三菱重工業株式会社 作業システム及び作業システムの作業方法
JP2019089188A (ja) * 2017-11-16 2019-06-13 株式会社東芝 作動システムおよびプログラム

Similar Documents

Publication Publication Date Title
CN110039542B (zh) 具有速度方向控制的视觉伺服跟踪控制方法及机器人***
JP5261495B2 (ja) 重み行列を用いたリアルタイム自己衝突および障害物回避
JP5306313B2 (ja) ロボット制御装置
JP2008302496A (ja) ロボットアームの制御装置及び制御方法、ロボット、及びロボットアームの制御プログラム
WO2001038048A1 (fr) Unite de commande de robot
Li et al. A hybrid visual servo control method for simultaneously controlling a nonholonomic mobile and a manipulator
JP2014024162A (ja) ロボットシステム、ロボット制御装置、ロボット制御方法及びロボット制御プログラム
CN110464470B (zh) 手术机器人及其臂体的控制方法、控制装置
JP2011500349A (ja) リアルタイム自己衝突および障害物回避
CN109664317A (zh) 机器人的物体抓取***及方法
US20240042593A1 (en) Hybrid master-slave mapping method, robotic arm system, and computer device
KR20220148857A (ko) 로봇 제어
CN109623812B (zh) 考虑航天器本体姿态运动的机械臂轨迹规划方法
CN114571469A (zh) 一种机械臂零空间实时避障控制方法及***
Huang et al. Realizing peg-and-hole alignment with one eye-in-hand high-speed camera
JP6322949B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
Žlajpah On orientation control of functional redundant robots
CN115179297A (zh) 手术机器人位置姿态控制联合避障关节极限的方法及***
Khatib et al. Visual coordination task for human-robot collaboration
WO2023276238A1 (ja) ロボット制御装置、およびロボット制御方法
Capolei et al. Positioning the laparoscopic camera with industrial robot arm
Lin et al. Intuitive kinematic control of a robot arm via human motion
CN115366115B (zh) 一种机械臂控制方法及其控制***和计算机可读存储介质
CN116619369A (zh) 一种基于遥操作柔性机械臂的共享控制方法及其应用
Qu et al. Multi-cameras visual servoing for dual-arm coordinated manipulation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832406

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22832406

Country of ref document: EP

Kind code of ref document: A1